CN106101503A - 实时全景直播网络摄像机和系统及方法 - Google Patents

实时全景直播网络摄像机和系统及方法 Download PDF

Info

Publication number
CN106101503A
CN106101503A CN201610564544.XA CN201610564544A CN106101503A CN 106101503 A CN106101503 A CN 106101503A CN 201610564544 A CN201610564544 A CN 201610564544A CN 106101503 A CN106101503 A CN 106101503A
Authority
CN
China
Prior art keywords
panoramic
live
video
real time
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610564544.XA
Other languages
English (en)
Inventor
李伟
范治江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advantage Development (beijing) Technology Co Ltd
Original Assignee
Advantage Development (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advantage Development (beijing) Technology Co Ltd filed Critical Advantage Development (beijing) Technology Co Ltd
Priority to CN201610564544.XA priority Critical patent/CN106101503A/zh
Publication of CN106101503A publication Critical patent/CN106101503A/zh
Priority to PCT/CN2016/110632 priority patent/WO2018014495A1/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种实时全景直播网络摄像机和系统及方法。该实时全景直播网络摄像机，包括SoC芯片，全景相机镜头模组，网络接口；SoC芯片电连接所述全景相机镜头模组和网络接口，将所述全景相机镜头模组采集的视频图像进行处理，然后通过网络接口将视频图像发送出去直播；全景相机镜头模组包括至少一个鱼眼镜头和一个图像传感器；所述图像传感器为高清、超高清或者超高清以上分辨率的图像传感器。其机身小巧，便于随身携带。

Description

实时全景直播网络摄像机和系统及方法
技术领域
本发明涉及全景摄像和直播技术领域，特别是一种实时全景直播摄像机和系统及方法。
背景技术
网络直播是指用户通过网络收看远端正在进行的现场音视频实况，例如赛事、演出、会议、教学等。近年来个人网络直播也得到了迅猛发展，甚至出现了“直播网红”。
随着互联网络技术的发展，直播的概念有了新的拓展和发展，现在更多的人关注网络直播，特别是网络视频直播更受关注。通过网络信号，在线收看球赛、体育赛事、重大活动和新闻等，这样，让大众有了广阔且自由的选择空间。当然，直播技术随着移动互联技术的发展，还会有新的进步。到那时，可能我们能够真正的随时随地的体验直播的快乐和便捷。
目前，网络直播使用的主要还是传统的摄像机或摄像头，画面比例为4:3或16:9，水平视野范围大都小于120°。为了直播一场赛事通常要在不同角落安装一组摄像机以达到360°全景覆盖。多路视频流通过本地服务器上传至CDN(Content Delivery Network，内容发布网络)云端，导播员通过导播工具实时选择其中某个视角导播，之后送回CDN云端，终端用户观看到导播处理过的比赛多角度视频直播。这种方式的缺点是接入设备多、系统架构复杂、直播流程复杂、参与人员的专业要求高。
近一两年，全景摄像机(panorama camera)开始进入大众视野。全景摄像机的视野范围比普通摄像机大，通常认为水平视野达到360度，垂直视野达到及超过180度，可以满足一个场所的全景录像，都可以称之为全景摄像机。
但是，目前的全景摄像机只是拍摄原始的鱼眼图像和视频，需要在后端显示设备(例如智能手机、PC机、服务器)中进行复杂计算。进一步地，如果直播，现有技术需要一台高性能的本地服务器，并推送到直播平台服务器进行直播；有的甚至需要在平台服务器端进行二次转码，才能在客户端实现3D或VR直播观看。这种需要本地服务器和/或平台服务器配合的直播架构复杂而昂贵，不适合个人消费者、以及突发事件的现场报道等场合。
进一步地，观看全景直播时，由于全景影像是映射在一个球面上实现3D或VR显示，显示面积比传统的4:3或16:9的平面大很多，高清分辨率(High Definition，1080p)已无法提供足够的像素密度以保证画面的清晰度。
发明内容
为克服现有技术的缺点，本发明提出了一种实时全景直播网络摄像机和系统及方法，解决了现有直播系统接入设备多、系统架构复杂、直播流程复杂、参与人员的专业要求高、视角有限、分辨率较低等问题。
为实现本发明目的而提供的一种实时全景直播网络摄像机，包括SoC芯片，全景相机镜头模组，网络接口；
所述SoC芯片，电连接所述全景相机镜头模组和网络接口，将所述全景相机镜头模组采集的视频图像进行处理，然后通过网络接口将视频图像推送出去直播；
所述全景相机镜头模组，包括至少一个鱼眼镜头和一个图像传感器；
所述图像传感器为高清、超高清或者超高清以上分辨率的图像传感器。
为实现本发明目的还提供一种实时全景直播网络摄像系统，包括硬件和固件，其中：
所述硬件包括上述的实时全景直播网络摄像机；
所述SoC，用于通过固件控制所述全景相机镜头模组进行视频图像采集，对采集到的视频图像进行图像变换，对变换后的图像进行编码处理，并封装成视频的标准格式的多媒体流文件，然后通过网络接口将多媒体流文件推送出去直播；
所述固件，包括网络模块、直播模块、摄像模块和图像处理模块；其中：
所述网络模块，用于建立和/或终止直播所需的网络层协议连接；
所述直播模块，用于在网络层协议已连接的情况下，建立和/或终止直播所需的传输层和应用层协议连接，以及实时推送直播视频流；
所述摄像模块，用于在全景网络直播中，将全景镜头模组采集的视频图像实时传递给图像处理模块；
所述图像处理模块，用于对全景镜头模组采集的鱼眼视频图像实时进行变换；
所述鱼眼图像实时进行变换，是指在全景网络直播中，鱼眼图像实时变换为符合全景标准、水平360°、垂直180°、宽高比为2:1的球面展开图。
为实现本发明目的更进一步提供一种实时全景直播网络摄像方法，包括如下步骤：
建立直播所需的传输层和应用层协议连接；
在网络层、传输层和应用层协议已连接的情况下，实时在全景摄像机内部对全景直播视频进行图像变换、视频编码、封装视频流、最终推送流媒体；
所述图像变换为标准全景2:1球面展开视频/图像，即符合全景标准、水平360°、垂直180°、宽高比为2:1的球面展开图；
所述视频编码是用H264/H265标准对全景直播视频进行编码；
当需要停止直播时，终止直播所需的传输层和应用层协议连接。
本发明具有如下有益效果：
本发明的实时全景直播网络摄像机和系统及方法，解决了现有直播系统接入设备多、系统架构复杂、直播流程复杂、参与人员的专业要求高、视角有限、分辨率较低等问题。而且机身小巧，便于随身携带，超高清画质，适合企业、个人、现场新闻报道等各种场合。无需外接任何设备(例如服务器)，单机实现网络全景直播。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要的附图做简单的介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例实时全景直播网络摄像机硬件结构示意图。
图2是本发明实施例实时全景直播网络摄像方法流程示意图。
图3是本发明实施例3D坐标系与标准全景2:1球面展开图的对应关系示意图。
图4是本发明实施例3D坐标系与鱼眼图像坐标系的对应关系示意图。
图5是本发明实施例单鱼眼镜头且镜头向上时，标准全景2:1球面展开图。
图6是本发明实施例单鱼眼镜头且镜头向下时，标准全景2:1球面展开图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图1-6，对本发明实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提出了一种实时全景直播网络摄像机，如图1所示，包括嵌入式片上系统(System on a Chip，SoC)芯片，全景相机镜头模组，音频收集单元，网络接口；
所述SoC芯片，电连接所述全景相机镜头模组和网络接口，将所述全景相机镜头模组采集的视频图像进行处理，然后通过网络接口将视频图像推送出去直播；
所述全景相机镜头模组，包括至少一个鱼眼镜头和一个图像传感器；
所述图像传感器为高清、超高清或者超高清以上分辨率的图像传感器。
在720°全景的情况下，所述鱼眼镜头为2个及以上镜头模组。
所谓720°全景摄像，是指水平视野360°、垂直视野360°的全景摄像。
所述音频收集单元，电连接到所述SoC芯片，用于采集直播音频并发送给SoC芯片；
所述SoC芯片对音频分别进行编码处理；并与视频一起封装成包含音视频的标准格式的多媒体流文件。
作为一种可实施方式，所述音频收集单元可以是麦克风。
作为一种可实施方式，所述实时全景直播网络摄像机，还包括陀螺仪和/或加速度计，电连接到SoC芯片，用于采集全景摄像机围绕某个轴向的旋转角速率和/或加速度并发送给SoC芯片；
所述SoC芯片根据采集到的旋转角速率和/或加速度数据计算全景摄像机当前的空间姿态，并计算出全景直播图像，从而得到出正确的全景直播图像。
作为一种可实施方式，所述网络接口可以是WIFI/蓝牙无线网络接口，和/或USB及USB HOST通讯接口连接USB网卡。
所述蓝牙(Bluetooth)技术为蓝牙4.0以上版本的蓝牙技术。所述WIFI/蓝牙无线网络接口通过无线协议连接全景摄像机与移动设备(例如智能手机、智能手表、遥控器等)，方便用户对全景摄像机进行设置；WIFI网络接口还用于连接全景摄像机与无线路由器，建立直播所需的网络环境。全景摄像机通过WIFI连接到无线路由器，接入到广域网，进一步与直播平台服务器建立连接，用于直播并存储直播数据。
USB及USB HOST通讯接口连接USB网卡，用有线的方式进行网络连接，使直播的网络环境更稳定。
本发明实施例的实时全景直播网络摄像机，解决了现有直播系统接入设备多、系统架构复杂、直播流程复杂、参与人员的专业要求高、视角有限、分辨率较低等问题。而且机身小巧，便于随身携带。
实施例二
为实现本发明目的，本发明实施例还包括一种实时全景直播网络摄像系统，包括硬件(hardware)和固件(firmware)；其中：
所述硬件包括实施例一所述的实时全景直播网络摄像机；
所述SoC，用于通过固件控制所述全景相机镜头模组进行视频图像采集，对采集到的视频图像进行图像变换，对变换后的图像进行编码处理，并封装成视频的标准格式的多媒体流文件，然后通过网络接口将多媒体流文件推送出去直播；
所述固件，包括网络模块、直播模块、摄像模块和图像处理模块；其中：
所述网络模块，用于建立和/或终止直播所需的网络层协议连接；
所述直播模块，用于在网络层协议已连接的情况下，建立和/或终止直播所需的传输层和应用层协议连接，以及实时推送直播视频流；
所述摄像模块，用于在全景网络直播中，将全景镜头模组采集的视频图像实时传递给图像处理模块；
所述图像处理模块，用于对全景镜头模组采集的鱼眼视频图像实时进行变换；
所述鱼眼图像实时进行变换，是指在全景网络直播中，鱼眼图像实时变换为符合全景标准、水平360°、垂直180°、宽高比为2:1的球面展开图。
固件将在实施例三中详细描述。
所述SoC芯片是核心组件，是一个为网络摄像机设计的集成电路芯片，其中包含完整的硬件系统及其驱动程序，通过外部管脚与其它组件相连。本发明实施例中视频/图像处理、视频编解码、音频编解码、多媒体流封装等运算都是通过所述SoC芯片的片上DSP(Digital Signal Processor)和CPU(Central Processing Unit)调用固件中的程序实现的。
作为一种可实施方式，所述全景相机镜头模组的图像传感器，为高清(HighDefinition，1080p)，甚至4K超高清(Ultra High-Definition)及以上分辨率的图像传感器。
作为一种可实施方式，4K分辨率的定义有两种：4096x2160和/或3840x2160。
作为一种可实施方式，本发明实施例中全景VR 4K分辨率与上述不同，全景VR4K直播的全景图像宽高比是2:1，全景VR 4K分辨率分别为：4096x2048和/或3840x1920。
本发明实施例的实时全景直播网络摄像系统，解决了现有直播系统接入设备多、系统架构复杂、直播流程复杂、参与人员的专业要求高、视角有限、分辨率较低等问题。而且机身小巧，便于随身携带，超高清画质，适合企业、个人、现场新闻报道等各种场合。其无需外接任何设备(例如服务器)，单机实现网络全景直播。
进一步地，本发明的实时全景直播网络摄像系统能够根据直播平台的协议自适应地设置直播图像分辨率、码率、码流数等参数，实时上传一路或多路不同分辨率的全景直播视频，包括但不限于1080p、4K及以上分辨率，而且无需全景直播平台服务器进行二次转码，用其现有的浏览器插件和/或APP直接可以在客户端用3D/VR方式进行全景直播观看。
实施例三
固件(Firmware)是写入硬件设备中EROM(Erasable Read Only Memory，可擦写只读存储器)、EEPROM(Electrically Erasable Programmable ROM，电可擦可编程只读存储器)或FLASH芯片中的程序。
固件担任着一个系统最基础、最底层的工作。在硬件设备中，固件就是硬件设备的灵魂，因为一些硬件设备除了固件以外没有其它软件组成，因此固件也就决定着硬件设备的功能及性能。
本发明实施例中的固件，与全景网络直播功能相关的软件模块包括网络模块、直播模块、设置模块、摄像模块、图像处理模块；
所述网络模块，用于建立和/或终止直播所需的网络层协议连接。通过开启/关闭WIFI或者使用/断开USB连接线与USB网卡，建立/终止全景摄像机通过无线局域网(WLAN，Wireless LAN)或局域网(LAN,Local Area Network)接入到互联网(Internet)中。
所述直播模块，是在网络层协议已连接的情况下，建立和/或终止直播所需的传输层和应用层协议连接，以及实时推送直播视频流至CDN云端。
所述建立直播所需的传输层和应用层协议连接，包括根据CDN云端提供的唯一的直播ID及流媒体服务器地址，向所述流媒体服务器发送连接请求，经过预设的互相认证后建立全景摄像机与所述流媒体服务器的协议连接。
所述终止直播所需的传输层和应用层协议连接，指当需要停止直播时，向流媒体服务器发送停止请求，中断全景摄像机与流媒体服务器的协议连接。
所述实时推送直播视频流至CDN云端是在网络层、传输层和应用层协议已连接的情况下，实时在全景摄像机内部对全景直播视频进行视频编码、对音频编码、封装音视频流、最终推送流媒体的过程。
所述视频编码是用H264/H265标准对全景直播视频进行编码。
所述音频编码是用AAC等标准对音频进行编码。
所述封装音视频流是将编码后的视频和音频按照FLV(Flash Video)/MP4(MPEG-4)等标准格式转换成多媒体流。
所述推送流媒体是通过RTMP/RTSP/HLS等协议实时将封装的多媒体流推送给CDN云端。
所述设置模块，当直播所需的应用层协议已连接，能够根据流媒体服务器的协议自适应地设置全景摄像机内部的直播参数，包括直播全景视频的分辨率、码率、码流数等参数，使得流媒体服务器不仅能获得所需的一路或多路不同分辨率的码流，而且无需进行二次转码，大大降低了直播过程中的延迟。此外，设置模块还能够同时/提前通过WIFI/蓝牙连接的移动设备(例如智能手机)来设置全景摄像机的操作提示音、亮度、对比度、饱和度等其它参数。
所述摄像模块，是全景摄像机的基本功能模块。在全景网络直播功能中，负责将全景镜头模组采集的视频图像实时传递给图像处理模块。
所述图像处理模块，用于对全景镜头模组采集的视频图像实时进行变换。在全景网络直播功能中，鱼眼图像需要实时变换为符合全景标准、水平360°、垂直180°、宽高比为2:1的球面展开图。不论是单鱼眼还是多鱼眼，虽然图像变换的算法不同，但最终都符合上述直播全景图像的标准。
直播过程中，终端用户通过CDN云端提供的直播地址使用浏览器或播放器观看直播。在支持全景/VR的直播平台，可以直接看到3D/VR效果，若戴上VR眼镜，将获得具有震撼力的现场感、沉浸感的视听感受。
由于能提供360°～720°视野，能够进行全景直播，全景摄像机将迅速得到用户的认可。
本发明实施例中，终端用户观看直播时能够按照自己的喜好实时选择视角，不再需导播进行视角切换。如果配合VR眼镜，通过转动头部来观看四周环境，则犹如身在现场一般，这种现场感是传统直播无法企及的。
现在一些提供全景内容分享的平台，如Youtube、720云、优酷VR等，都支持水平360°、垂直180°、宽高比为2:1的球面展开全景视频/图像，提供相应的3D和/或VR视频/图像显示。从全景和VR的行业发展来看，支持这一标准的平台将越来越多，实现行业的统一，而原来各自使用的自有标准将慢慢被取代。因此，在全景摄像机内部直接生成和推送符合上述标准的全景直播视频具有重大意义。在支持这一标准的平台上进行直播，终端用户直接可以用3D和/或VR方式观看直播；而且，由于参数自适应，视频的延迟小，体验更好。
实施例四
为实现本发明目的，本发明实施例还提供一种实时全景直播网络摄像方法，如图2所示，包括如下步骤：
建立直播所需的传输层和应用层协议连接；
在网络层、传输层和应用层协议已连接的情况下，实时在全景摄像机内部对全景直播视频进行图像变换、视频编码、封装视频流、最终推送流媒体；
所述图像变换为标准全景2:1球面展开视频/图像，即符合全景标准、水平360°、垂直180°、宽高比为2:1的球面展开图；
所述视频编码是用H264/H265标准对全景直播视频进行编码；
当需要停止直播时，终止直播所需的传输层和应用层协议连接。
作为一种可实施方式，建立直播所需的传输层和应用层协议连接，是根据CDN云端提供的唯一的直播ID及流媒体服务器地址，向所述流媒体服务器发送连接请求，经过预设的互相认证后建立全景摄像机与所述流媒体服务器的协议连接。
所述终止直播所需的传输层和应用层协议连接，指当需要停止直播时，向CDN云端的流媒体服务器发送停止请求，中断全景摄像机与流媒体服务器的协议连接。
作为一种可实施方式，所述一种实时全景直播网络摄像方法，还包括如下步骤：
实时对音频进行采集，并在全景摄像机内部对视频编码同时，也对音频编码、封装音视频流；
作为一种可实施方式，所述音频编码是用AAC等标准对音频进行编码。所述封装为音视频流封装。
所述封装音视频流是将编码后的视频和音频按照FLV(Flash Video)/MP4(MPEG-4)等标准格式转换成多媒体流。
所述推送流媒体是通过RTMP/RTSP/HLS等协议实时将封装的多媒体流推送给CDN云端。
下面详细描述所述图像变换为标准全景2:1球面展开视频/图像的过程，即标准全景2:1球面展开视频/图像的计算方法。
在支持标准全景2:1球面展开视频的直播平台客户端，直播视频被贴在3D球面模型上。为了不造成畸变，在全景展开的时候就要按照球面模型进行展开。
如图3所示，3D坐标系为笛卡尔右手系xyz，全景展开图像坐标系为XOY。假定全景展开图像的宽度和高度分别是W、H像素。水平X轴对应于3D坐标系中与x轴的夹角[0,W]对应角度[0,2π]；垂直Y轴对应于3D坐标系中与y轴的夹角θ，[0,H]对应角度[0,π]，从而以o为圆心的整个3D球面影像全部包含在全景展开图中。根据角度关系有W:H＝2:1。
设全景展开图中任一点P坐标为(X,Y)，由线性比例关系得到俯仰角θ和方向角如式1所示。θ和确定了3D球面上一点p。
θ = π H Y φ = 2 π W X - - - ( 1 )
设鱼眼镜头的光轴方向与y轴一致，鱼眼图像位于坐标系x’o’y’中，且鱼眼图像的圆心坐标为(x0,y0)，如图4所示。则球面上的点p对应于鱼眼图像上一点p’(x’,y’)，坐标由式(2)给出。
x , = F ( θ ) s i n φ + x 0 y , = F ( θ ) c o s φ + y 0 - - - ( 2 )
式(2)中，r＝F(θ)为鱼眼镜头的投影函数，其中，r为投影半径，θ为光线与光轴的夹角，
作为一种可实施方式，对于比较复杂的函数，采用查找表的方法实现r＝F(θ)。
具体地，所述查找表的方法，是把每度入射角对应的成像半径写在一个数组里，对于不在表格中的角度值，采用线性插值的方法得到近似的成像半径。这种方法的效率往往高于实际函数的计算，特别是在嵌入式系统上。
至此，全景展开图像中任一点(X,Y)的颜色值来自鱼眼图像中的点(x’,y’)，如果(x’,y’)不在整数像素点上，可以采用双线性插值算法来计算该点的颜色值。
作为一种可实施方式，一个鱼眼镜头情况下，无法覆盖到图3所示的整个球面影像。事实上，在全景直播功能中，单镜头的时候只有两种状态：镜头朝上和镜头朝下。
以下是单鱼眼镜头的直播全景展开图的计算方法。
设鱼眼镜头的垂直视野最大为θm。
当镜头朝上时，如图5所示，在2:1的全景展开图中只有垂直视野范围[0,θm]内，即对应展开图中Y轴[0,Yu-1]，根据式(1)和式(2)存在鱼眼展开图像；镜头视野外的范围[θm,π]内，即对应展开图中Y轴[Yu,H-1]，用纯黑色或其它图像填充。
Yu＝Hxθm/π (3)
当镜头向下时，如图6所示，2:1的全景展开图中镜头视野之外的范围[0,π-θm]，即对应展开图中Y轴[0,Yd-1]，用纯黑色或其它图像填充；而垂直视野范围[π-θm,π]内，即对应展开图中Y轴[Yd,H-1]，存在鱼眼展开影像图像。
Yd＝H x(π–θm)/π (4)
根据陀螺仪/加速度计的数据，实时计算出镜头光轴与y轴的夹角，判断出当前镜头的朝向，从而根据式(3)或(4)，及式(1)和(2)获取正确的直播全景展开图。
本发明实施例的实时全景直播网络摄像方法，解决了现有直播系统接入设备多、系统架构复杂、直播流程复杂、参与人员的专业要求高、视角有限、分辨率较低等问题。而且机身小巧，便于随身携带，超高清画质，适合企业、个人、现场新闻报道等各种场合。其无需外接任何设备(例如服务器)，单机实现网络全景直播。
进一步地，本发明的实时全景直播网络摄像方法能够根据直播平台的协议自适应地设置直播图像分辨率、码率、码流数等参数，实时上传一路或多路不同分辨率的全景直播视频，包括但不限于1080p、4K及以上分辨率。无需全景直播平台服务器进行二次转码，用其现有的浏览器插件和/或APP直接可以在客户端用3D/VR方式进行全景直播观看。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其与方法实施例相似，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进轨道了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种实时全景直播网络摄像机，其特征在于，包括嵌入式片上系统(System on aChip，SoC)芯片，全景相机镜头模组，网络接口；
所述SoC芯片，电连接所述全景相机镜头模组和网络接口，将所述全景相机镜头模组采集的视频图像进行处理，然后通过所述网络接口将视频图像发送出去直播；
所述全景相机镜头模组，包括至少一个鱼眼镜头和一个图像传感器；
所述图像传感器为高清、超高清或者超高清以上分辨率的图像传感器。
2.根据权利要求1所述的实时全景直播网络摄像机，其特征在于，还包括电连接到所述SoC芯片的音频收集单元，用于采集直播音频并发送给SoC芯片；
所述SoC芯片对音频分别进行编码处理；并与视频一起封装成包含音视频的标准格式的多媒体流文件。
3.根据权利要求2所述的实时全景直播网络摄像机，其特征在于，还包括陀螺仪，电连接到SoC芯片，用于采集全景摄像机围绕某个轴向的旋转角速率并发送给SoC芯片；
和/或
加速度计，电连接到SoC芯片，用于采集全景摄像机加速度并发送给SoC芯片；
所述SoC芯片根据采集到的旋转角速率和/或加速度数据计算全景摄像机当前的空间姿态，并计算出全景直播图像。
4.根据权利要求3所述的实时全景直播网络摄像机，其特征在于，在720°全景的情况下，所述鱼眼镜头为2个及以上镜头模组。
5.根据权利要求2所述的实时全景直播网络摄像机，其特征在于，所述网络接口是WIFI/蓝牙无线网络接口，和/或USB及USB HOST通讯接口连接USB网卡。
6.一种实时全景直播网络摄像系统，其特征在于，包括硬件和固件，其中：
所述硬件包括权利要求1～5任一项所述的实时全景直播网络摄像机；
所述SoC，用于通过固件控制所述全景相机镜头模组进行视频图像采集，对采集到的视频图像进行图像变换，对变换后的图像进行编码处理，并封装成视频的标准格式的多媒体流文件，然后通过所述网络接口将多媒体流文件发送出去直播；
所述固件，包括网络模块、直播模块、摄像模块和图像处理模块；其中：
所述网络模块，用于建立和/或终止直播所需的网络层协议连接；
所述直播模块，用于在网络层协议已连接的情况下，建立和/或终止直播所需的传输层和应用层协议连接，以及实时推送直播视频流；
所述摄像模块，用于在全景网络直播中，将全景镜头模组采集的视频图像实时传递给图像处理模块；
所述图像处理模块，用于对全景镜头模组采集的鱼眼视频图像实时进行变换；
所述鱼眼图像实时进行变换，是指在全景网络直播中，鱼眼图像实时变换为符合全景标准、水平360°、垂直180°、宽高比为2:1的球面展开图。
7.根据权利要求6所述的实时全景直播网络摄像系统，其特征在于，还包括CDN云端；
所述建立直播所需的传输层和应用层协议连接，是根据CDN云端提供的唯一的直播ID及流媒体服务器地址，向所述流媒体服务器发送连接请求，经过预设的互相认证后建立全景摄像机与所述流媒体服务器的协议连接；
所述终止直播所需的传输层和应用层协议连接，指当需要停止直播时，向所述流媒体服务器发送停止请求，中断全景摄像机与所述流媒体服务器的协议连接；
所述实时推送直播视频流至CDN云端是在网络层、传输层和应用层协议已连接的情况下，全景摄像机实时对全景直播视频进行视频编码和/或对音频编码和/或封装音视频流生成的流媒体，推送到CDN云端。
8.根据权利要求7所述的实时全景直播网络摄像系统，其特征在于：
所述视频编码是用H264/H265标准对全景直播视频进行编码；
所述音频编码是用AAC标准对音频进行编码；
所述封装音视频流是将编码后的视频和音频按照FLV/MP4标准格式转换成多媒体流；
所述推送流媒体是通过RTMP/RTSP/HLS协议实时将封装的多媒体流推送给CDN云端。
9.根据权利要求8所述的实时全景直播网络摄像系统，其特征在于，还包括设置模块，用于当直播所需的应用层协议已连接，根据流媒体服务器的协议自适应地设置全景摄像机的直播参数。
10.根据权利要求9所述的实时全景直播网络摄像系统，其特征在于，所述直播参数包括直播全景视频的分辨率、码率、码流数参数。
11.根据权利要求10所述的实时全景直播网络摄像系统，其特征在于，所述设置模块，还用于同时/提前通过WIFI/蓝牙连接的移动设备，设置全景摄像机的操作提示音、亮度、对比度、饱和度参数。
12.一种实时全景直播网络摄像方法，其特征在于，包括如下步骤：
建立直播所需的传输层和应用层协议连接；
在网络层、传输层和应用层协议已连接的情况下，实时在全景摄像机内部对全景直播视频进行图像变换、视频编码、封装视频流、最终推送流媒体；
当需要停止直播时，终止直播所需的传输层和应用层协议连接。
13.根据权利要求12所述的实时全景直播网络摄像方法，其特征在于，所述图像变换为标准全景2:1球面展开视频/图像，即符合全景标准、水平360°、垂直180°、宽高比为2:1的球面展开图。
14.根据权利要求13所述的实时全景直播网络摄像方法，其特征在于，所述标准全景2:1球面展开视频/图像的计算方法如下：
设3D坐标系为笛卡尔右手系xyz，全景展开图像坐标系为XOY；
设全景展开图像的宽度和高度分别是W、H像素；
水平X轴对应于3D坐标系中与x轴的夹角[0,W]对应角度[0,2π]；
垂直Y轴对应于3D坐标系中与y轴的夹角θ，[0,H]对应角度[0,π]；
则以o为圆心的整个3D球面影像全部包含在全景展开图中；
根据角度关系有W:H＝2:1；
设全景展开图中任一点P坐标为(X,Y)，由线性比例关系得到俯仰角θ和方向角如下式S1)所示；
θ = π H Y φ = 2 π W X - - - S 1 )
θ和确定了3D球面上一点p；
设鱼眼镜头的光轴方向与y轴一致，鱼眼图像位于坐标系x’o’y’中，且鱼眼图像的圆心坐标为(x0,y0)，则球面上的点p对应于鱼眼图像上一点p’(x’,y’)，坐标由下式S2)给出：
x , = F ( θ ) sin φ + x 0 y , = F ( θ ) cos φ + y 0 - - - S 2 )
上式S2)中，r＝F(θ)为鱼眼镜头的投影函数，其中，r为投影半径，θ为与光线与光轴的夹角；
投影函数r＝F(θ)采用查找表的方法得到；
所述查找表的方法，是把每度入射角对应的成像半径写在一个数组里，对于不在表格中的角度值，采用线性插值的方法得到近似的成像半径；
至此，全景展开图像中任一点(X,Y)的颜色值来自鱼眼图像中的点(x’,y’)；
如果(x’,y’)不在整数像素点上，则采用双线性插值算法来计算该点的颜色值。
15.根据权利要求14所述的实时全景直播网络摄像方法，其特征在于，所述镜头模组中的镜头为单镜头，所述单鱼眼镜头的直播全景展开图的计算方法：
设鱼眼镜头的垂直视野最大为θm；
当镜头朝上时，在2:1的全景展开图中只有垂直视野范围[0,θm]内，即对应展开图中Y轴[0,Yu-1]，存在鱼眼展开图像；镜头视野外的范围[θm,π]内，即对应展开图中Y轴[Yu,H-1]，用纯黑色或其它图像填充；
Yu＝H xθm/π S3)
当镜头向下时，2:1的全景展开图中镜头视野之外的范围[0,π-θm]，即对应展开图中Y轴[0,Yd-1]，用纯黑色或其它图像填充；而垂直视野范围[π-θm,π]内，即对应展开图中Y轴[Yd,H-1]，存在鱼眼展开影像图像；
Yd＝H x(π–θm)/π S4)
根据陀螺仪/加速度计的数据，能够实时计算出镜头光轴与y轴的夹角，判断出当前镜头的朝向，根据上式S3)或S4)，结合式S1)和S2)，获取正确的直播全景展开图。
16.根据权利要求12至15任一项所述的实时全景直播网络摄像方法，其特征在于：
所述建立直播所需的传输层和应用层协议连接，是根据CDN云端提供的唯一的直播ID及流媒体服务器地址，向所述流媒体服务器发送连接请求，经过预设的互相认证后建立全景摄像机与所述流媒体服务器的协议连接；
所述终止直播所需的传输层和应用层协议连接，指当需要停止直播时，向CDN云端的流媒体服务器发送停止请求，中断全景摄像机与流媒体服务器的协议连接。
17.根据权利要求16所述的实时全景直播网络摄像方法，其特征在于，还包括如下步骤：
实时对音频进行采集，并在全景摄像机内部对视频编码同时，也对音频编码、封装音视频流；
所述音频编码是用AAC等标准对音频进行编码；
所述封装为音视频流封装；
所述封装音视频流是将编码后的视频和音频按照FLV/MP4标准格式转换成多媒体流；
所述推送流媒体是通过RTMP/RTSP/HLS协议实时将封装的多媒体流推送给CDN云端。
CN201610564544.XA 2016-07-18 2016-07-18 实时全景直播网络摄像机和系统及方法 Pending CN106101503A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610564544.XA CN106101503A (zh) 2016-07-18 2016-07-18 实时全景直播网络摄像机和系统及方法
PCT/CN2016/110632 WO2018014495A1 (zh) 2016-07-18 2016-12-19 实时全景直播网络摄像机和系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610564544.XA CN106101503A (zh) 2016-07-18 2016-07-18 实时全景直播网络摄像机和系统及方法

Publications (1)

Publication Number Publication Date
CN106101503A true CN106101503A (zh) 2016-11-09

Family

ID=57220527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610564544.XA Pending CN106101503A (zh) 2016-07-18 2016-07-18 实时全景直播网络摄像机和系统及方法

Country Status (2)

Country Link
CN (1) CN106101503A (zh)
WO (1) WO2018014495A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106888398A (zh) * 2016-12-31 2017-06-23 天脉聚源（北京）科技有限公司 竞猜互动的方法和装置
CN106899891A (zh) * 2016-12-31 2017-06-27 天脉聚源（北京）科技有限公司 竞猜互动的方法和装置
CN106993177A (zh) * 2016-10-12 2017-07-28 深圳市圆周率软件科技有限责任公司 一种双目720度全景采集系统
CN107071500A (zh) * 2017-04-13 2017-08-18 深圳电航空技术有限公司 直播系统
CN107341754A (zh) * 2017-07-13 2017-11-10 哈尔滨市舍科技有限公司 无人机观景景区用管理系统
WO2018014495A1 (zh) * 2016-07-18 2018-01-25 范治江 实时全景直播网络摄像机和系统及方法
WO2018040910A1 (zh) * 2016-09-02 2018-03-08 丰唐物联技术（深圳）有限公司 一种直播方法及系统
CN107835433A (zh) * 2017-06-09 2018-03-23 越野族（北京）传媒科技有限公司 一种赛事宽视角直播系统、相关联的设备和直播方法
CN107835434A (zh) * 2017-06-09 2018-03-23 越野族（北京）传媒科技有限公司 赛事宽视角直播设备和相关联的直播系统和方法
CN108055472A (zh) * 2017-12-21 2018-05-18 长沙全度影像科技有限公司 一种实时全景直播系统及方法
CN108235143A (zh) * 2016-12-15 2018-06-29 广州市动景计算机科技有限公司 视频播放模式转换方法、装置及移动终端
CN108282606A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 全景拼接方法及其设备
CN110386081A (zh) * 2018-04-16 2019-10-29 比亚迪股份有限公司 车辆的多媒体娱乐系统、方法及车辆
CN111683196A (zh) * 2020-05-27 2020-09-18 杭州多技教育科技有限公司 一种高效切换拍摄视角的移动端镜头变相取景外设
CN112312071A (zh) * 2019-07-31 2021-02-02 上海鋆锐医疗器械有限公司 一种基于3d摄像技术的4k超高清医学摄像系统
CN112383679A (zh) * 2020-11-02 2021-02-19 北京德火科技有限责任公司 一种ar沉浸式全景仿真系统异地同屏远程采访方式及其控制方法
CN112770178A (zh) * 2016-12-14 2021-05-07 上海交通大学 一种全景视频传输方法、接收方法、传输系统及接收系统
CN113194326A (zh) * 2021-04-28 2021-07-30 平安国际智慧城市科技股份有限公司 全景直播方法、装置、计算机设备及计算机可读存储介质
CN113206943A (zh) * 2021-04-30 2021-08-03 深圳市永诺摄影器材股份有限公司 一种基于网络通讯的相机
CN113873311A (zh) * 2021-09-09 2021-12-31 北京都是科技有限公司 一种直播控制方法、装置及存储介质
WO2024172222A1 (ko) * 2023-02-15 2024-08-22 한화비전 주식회사 다축-회전 가능한 카메라의 촬영방향을 제어하는 사용자 인터페이스(ui)를 제공하기 위한 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586344B (zh) * 2019-02-18 2022-03-11 浙江宇视科技有限公司 一种网络摄像机的消息发送方法及装置
CN112312112A (zh) * 2020-11-02 2021-02-02 北京德火科技有限责任公司 一种ar沉浸式全景仿真系统多终端操控系统及其控制方法
CN112533002A (zh) * 2020-11-17 2021-03-19 南京邮电大学 一种用于vr全景直播的动态图像融合方法及系统
CN112702578B (zh) * 2020-12-24 2022-04-15 河北优盈信息技术有限公司 一种全景vr视频采集、传输和转播装置以及方法
CN112866733B (zh) * 2021-01-05 2023-06-30 广东中兴新支点技术有限公司 多直播设备的云导播同步系统及方法
CN113113128A (zh) * 2021-04-15 2021-07-13 王小娟 基于vr、算法和5g技术的医疗手术辅助系统以及方法
CN113207019A (zh) * 2021-04-28 2021-08-03 深圳市沃特沃德信息有限公司 网络直播一体机以及网络直播装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100033553A1 (en) * 2008-08-08 2010-02-11 Zoran Corporation In-camera panorama image stitching assistance
CN201860379U (zh) * 2010-01-13 2011-06-08 深圳市在线通网络科技开发有限公司 便携式无线网络高清摄录设备
CN102194207A (zh) * 2011-05-24 2011-09-21 哈尔滨工程大学 嵌入式高分辨率全景图像处理系统
US20110285810A1 (en) * 2010-05-21 2011-11-24 Qualcomm Incorporated Visual Tracking Using Panoramas on Mobile Devices
CN103002249A (zh) * 2011-09-09 2013-03-27 中国航天科工集团第三研究院第八三五八研究所 基于图像拼接的sdi全景摄像系统
CN104079918A (zh) * 2014-07-22 2014-10-01 北京蚁视科技有限公司 全景三维摄像装置
CN105245909A (zh) * 2015-10-10 2016-01-13 上海慧体网络科技有限公司 结合智能硬件、云计算、互联网进行比赛直播的方法
CN105744137A (zh) * 2016-04-22 2016-07-06 王俊懿 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205812165U (zh) * 2016-06-30 2016-12-14 张先江 一种全景视频直播盒子
CN106101503A (zh) * 2016-07-18 2016-11-09 优势拓展（北京）科技有限公司 实时全景直播网络摄像机和系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100033553A1 (en) * 2008-08-08 2010-02-11 Zoran Corporation In-camera panorama image stitching assistance
CN201860379U (zh) * 2010-01-13 2011-06-08 深圳市在线通网络科技开发有限公司 便携式无线网络高清摄录设备
US20110285810A1 (en) * 2010-05-21 2011-11-24 Qualcomm Incorporated Visual Tracking Using Panoramas on Mobile Devices
CN102194207A (zh) * 2011-05-24 2011-09-21 哈尔滨工程大学 嵌入式高分辨率全景图像处理系统
CN103002249A (zh) * 2011-09-09 2013-03-27 中国航天科工集团第三研究院第八三五八研究所 基于图像拼接的sdi全景摄像系统
CN104079918A (zh) * 2014-07-22 2014-10-01 北京蚁视科技有限公司 全景三维摄像装置
CN105245909A (zh) * 2015-10-10 2016-01-13 上海慧体网络科技有限公司 结合智能硬件、云计算、互联网进行比赛直播的方法
CN105744137A (zh) * 2016-04-22 2016-07-06 王俊懿 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018014495A1 (zh) * 2016-07-18 2018-01-25 范治江 实时全景直播网络摄像机和系统及方法
WO2018040910A1 (zh) * 2016-09-02 2018-03-08 丰唐物联技术（深圳）有限公司 一种直播方法及系统
CN106993177A (zh) * 2016-10-12 2017-07-28 深圳市圆周率软件科技有限责任公司 一种双目720度全景采集系统
CN112770178A (zh) * 2016-12-14 2021-05-07 上海交通大学 一种全景视频传输方法、接收方法、传输系统及接收系统
US10841530B2 (en) 2016-12-15 2020-11-17 Alibaba Group Holding Limited Method, device, and mobile terminal for converting video playing mode
CN108235143B (zh) * 2016-12-15 2020-07-07 广州市动景计算机科技有限公司 视频播放模式转换方法、装置及移动终端
CN108235143A (zh) * 2016-12-15 2018-06-29 广州市动景计算机科技有限公司 视频播放模式转换方法、装置及移动终端
CN106888398A (zh) * 2016-12-31 2017-06-23 天脉聚源（北京）科技有限公司 竞猜互动的方法和装置
CN106899891A (zh) * 2016-12-31 2017-06-27 天脉聚源（北京）科技有限公司 竞猜互动的方法和装置
CN108282606B (zh) * 2017-01-05 2020-09-15 浙江舜宇智能光学技术有限公司 全景拼接方法及其设备
CN108282606A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 全景拼接方法及其设备
CN107071500A (zh) * 2017-04-13 2017-08-18 深圳电航空技术有限公司 直播系统
CN107835434A (zh) * 2017-06-09 2018-03-23 越野族（北京）传媒科技有限公司 赛事宽视角直播设备和相关联的直播系统和方法
CN107835433A (zh) * 2017-06-09 2018-03-23 越野族（北京）传媒科技有限公司 一种赛事宽视角直播系统、相关联的设备和直播方法
CN107835434B (zh) * 2017-06-09 2021-09-14 越野一族（北京）传媒科技有限公司 赛事宽视角直播设备和相关联的直播系统和方法
CN107341754A (zh) * 2017-07-13 2017-11-10 哈尔滨市舍科技有限公司 无人机观景景区用管理系统
CN108055472A (zh) * 2017-12-21 2018-05-18 长沙全度影像科技有限公司 一种实时全景直播系统及方法
CN110386081A (zh) * 2018-04-16 2019-10-29 比亚迪股份有限公司 车辆的多媒体娱乐系统、方法及车辆
CN112312071A (zh) * 2019-07-31 2021-02-02 上海鋆锐医疗器械有限公司 一种基于3d摄像技术的4k超高清医学摄像系统
CN111683196A (zh) * 2020-05-27 2020-09-18 杭州多技教育科技有限公司 一种高效切换拍摄视角的移动端镜头变相取景外设
CN112383679A (zh) * 2020-11-02 2021-02-19 北京德火科技有限责任公司 一种ar沉浸式全景仿真系统异地同屏远程采访方式及其控制方法
CN113194326A (zh) * 2021-04-28 2021-07-30 平安国际智慧城市科技股份有限公司 全景直播方法、装置、计算机设备及计算机可读存储介质
CN113206943A (zh) * 2021-04-30 2021-08-03 深圳市永诺摄影器材股份有限公司 一种基于网络通讯的相机
CN113873311A (zh) * 2021-09-09 2021-12-31 北京都是科技有限公司 一种直播控制方法、装置及存储介质
CN113873311B (zh) * 2021-09-09 2024-03-12 北京都是科技有限公司 一种直播控制方法、装置及存储介质
WO2024172222A1 (ko) * 2023-02-15 2024-08-22 한화비전 주식회사 다축-회전 가능한 카메라의 촬영방향을 제어하는 사용자 인터페이스(ui)를 제공하기 위한 방법

Also Published As

Publication number Publication date
WO2018014495A1 (zh) 2018-01-25

Similar Documents

Publication Publication Date Title
CN106101503A (zh) 实时全景直播网络摄像机和系统及方法
US10757423B2 (en) Apparatus and methods for compressing video content using adaptive projection selection
KR102692926B1 (ko) 3차원 객체들을 나타내는 포인트 클라우드를 인코딩하기 위한 방법 및 장치
US20210084221A1 (en) Image processing system and image processing method
US9838668B2 (en) Systems and methods for transferring a clip of video data to a user facility
KR102013403B1 (ko) 구면 영상 스트리밍
CN108055472A (zh) 一种实时全景直播系统及方法
US10334220B2 (en) Aggregating images and audio data to generate virtual reality content
CN108648257B (zh) 全景画面的获取方法、装置、存储介质及电子装置
JP2020515937A (ja) 没入型ビデオフォーマットのための方法、装置、及びストリーム
US20190130539A1 (en) Elimination of distortion in 360-degree video playback
EP4287637A1 (en) Information processing method and apparatus
CN111557094A (zh) 用于编码/解码体积式视频的方法、设备和流
CN109891465A (zh) 用于处理虚拟现实图像的方法和装置
KR102308604B1 (ko) 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림
KR20200088485A (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
US11019258B2 (en) Aggregating images and audio data to generate content
CN106210525A (zh) 用于实现视频直播的相机及方法
CN106993177A (zh) 一种双目720度全景采集系统
WO2021259054A1 (zh) 沉浸媒体数据的处理方法及装置、存储介质和电子装置
US11490129B2 (en) Creating multi-camera panoramic projections
CN111667438A (zh) 视频重建方法、系统、设备及计算机可读存储介质
CN206533440U (zh) 应用于全景图像拍摄装置的摄像模块、全景图像拍摄装置以及图像处理系统
CN107438203A (zh) 用于建立清单的方法和网络设备
US20240119660A1 (en) Methods for transmitting and rendering a 3d scene, method for generating patches, and corresponding devices and computer programs

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161109