CN111107293B - 360度视频录制方法、装置、电子设备及存储介质 - Google Patents

360度视频录制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111107293B
CN111107293B CN201911293370.8A CN201911293370A CN111107293B CN 111107293 B CN111107293 B CN 111107293B CN 201911293370 A CN201911293370 A CN 201911293370A CN 111107293 B CN111107293 B CN 111107293B
Authority
CN
China
Prior art keywords
video
user
time
degree video
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911293370.8A
Other languages
English (en)
Other versions
CN111107293A (zh
Inventor
莫东松
张进
王科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MIGU Culture Technology Co Ltd
Original Assignee
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MIGU Culture Technology Co Ltd filed Critical MIGU Culture Technology Co Ltd
Priority to CN201911293370.8A priority Critical patent/CN111107293B/zh
Publication of CN111107293A publication Critical patent/CN111107293A/zh
Application granted granted Critical
Publication of CN111107293B publication Critical patent/CN111107293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明提供一种360度视频录制方法、装置、电子设备及存储介质。该方法获取360度视频,在所述360度视频播放的过程中获取用户的时间关联的视野范围序列,根据所述时间关联的视野范围序列对所述360度视频进行视频剪切,得到剪切视频集,并根据所述剪切视频集生成新视频。利用本发明能够能够在将360度视频存储时,有效减小需要的存储空间。

Description

360度视频录制方法、装置、电子设备及存储介质
技术领域
本发明涉及视频处理领域,尤其涉及一种360度视频的录制方法、装置、电子设备及存储介质。
背景技术
360度视频是多个摄像机同时对同一个空间下的物体进行多个角度拍摄,以支持多角度视频播放。用户可以使用能显示360度视频的显示设备,或者多个屏幕分开同时显示360度视频的各个部分的方式来显示所述360度视频。
云DVR业务是在版权运行的情况下,允许用户对视频节目进行录制,形成自己个人版权的视频内容,并将所录制的视频内容放置在云端,供自己日后观看的一种视频业务。发明人发现,因为云DVR业务是对个人版权的,所以,每个用户的拷贝都是自己的,每个用户一份拷贝,不与跟别人共享。所以云DVR业务需要巨大的存储空间。而当把360度视频应用在云DVR业务时,由于360度视频本身所需存储空间非常大,使得云DVR业务需要的存储空间更为巨大。
发明内容
鉴于以上内容,有必要提供一种360度视频录制方法、装置、电子设备及存储介质,能够在将360度视频存储在云DVR时,有效减小DVR业务需要的存储空间。
为了解决上述问题,本发明提出一种360度视频录制方法,包括:
获取360度视频;
在所述360度视频播放的过程中获取用户跟时间关联的视野范围序列;
根据所述时间关联的视野范围序列对所述360度视频进行视频剪切,得到剪切视频集;
根据所述剪切视频集生成新视频。
优选地,所述在所述360度视频播放的过程中获取用户跟时间关联的视野范围序列,包括:
获取用户眼睛的视线角度数据以及与播放终端的距离数据;
根据所述视线角度数据及所述距离数据计算视野范围;
从所述视野范围中筛选出有效视野范围,并结合时间数据生成时间关联的视野范围序列;
按照预设的角度变化阈值,从所述时间关联的视野范围序列中筛出有效的时间关联的视野范围序列。
优选地,所述根据所述时间关联的视野范围序列对所述360度视频进行视频剪切,得到剪切视频集,包括:
在所述跟时间关联的视野范围序列中,从第一组数据开始,依次获取一组数据作为当前数组,并获取所述当前数组的下一组数组;
获取所述两组数据中的时间差和视野范围差;
根据所述时间差以及所述视野范围差,计算得到视野变化幅度,根据所述视野变化幅度从所述360度视频资源中剪切视频帧,并根据所述视频帧生成剪切视频;
按照时间顺序汇总所述剪切视频得到所述剪切视频集。
优选地,所述根据所述时间差以及所述视野范围差,计算得到视野变化幅度,包括:
计算所述360度视频的每秒帧数,并利用下述方法计算得到所述视野变化幅度:
Figure BDA0002319845470000021
其中,w表示所述视野变化幅度,n表示所述视野范围差,t表示所述时间差,以及p表示所述每秒帧数,*代表乘号。
优选地,所述获取360度视频数据包括:向视频服务器发送360度视频数据的视频订阅请求;
接收所述视频服务器返回的所述视频订阅请求对应在CDN系统中的地址;
根据所述CDN系统中的地址从CDN系统中获取所述360度视频资源。
优选地,该方法还包括:
将所述跟时间关联的视野范围序列以及所述新视频存储到云DVR业务的DVR服务器中。
为了解决上述问题,本发明还提出一种360度视频录制装置,所述装置包括:
视频数据获取模块,用于获取360度视频数据。
视野范围序列获取模块,用于在所述360度视频播放的过程中获取用户的跟时间关联的视野范围序列;
视频剪切模块,用于根据所述时间关联的视野范围序列对所述360度视频进行视频剪切,得到剪切视频集;
新视频生成模块,用于根据所述剪切视频集生成新视频。
为了解决上述问题,本发明还提出一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现上述所述的360度视频录制方法。
优选地,所述电子设备还包括摄像头,所述摄像头实时采集用户的眼球图像,根据所述眼球图像检测所述用户的眼球的转动,测量眼球在所述360度视频数据的播放终端上的目光凝视点。
为了解决上述问题,本发明还提出一种用户终端系统,所述用户终端系统包括上述的电子设备,以及一个头戴式眼球感应设备,所述头戴式眼球感应设备基于眼球运动检测技术时时检测所述用户的眼球的转动,测量眼球在所述360度视频数据的电子设备上的目光凝视点,并将所述眼球在所述360度视频数据的电子设备上的目光凝视点传送给所述电子设备。
为了解决上述问题,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的360度视频录制方法。
本发明实施方式通过获取用户在观看360度视频的视野范围数据,对所述360度视频进行剪切录制,只保留用户关注的视野范围内的视频内容,而删除冗余的视野范围内的视频内容,从而可以减少360度视频的存储空间。
此外,本发明上述实施方式因为只录制360度视频的部分视野范围的视频画面,画面可能会产生跳跃感,从而影响观众的回放体验,因此本发明实施例在上述实施方式的基础上进一步计算可接受的视野变化幅度,根据所述视野变化幅度从所述360度视频资源进行视频剪切,解决了画面的跳跃感给用户带来的不好的用户体验。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明360度视频录制方法的第一较佳实施例的应用环境示意图。
图2是本发明360度视频录制方法的第二较佳实施例的应用环境示意图。
图3是本发明360度视频录制方法的较佳实施例的实施流程图。
图4是图3所示360度视频录制方法的较佳实施例中其中一个步骤的详细实施流程图。
图5是图3所示360度视频录制方法的较佳实施例中另一个步骤的详细实施流程图。
图6是图3所示360度视频录制方法的较佳实施例中另一个步骤的详细实施流程图。
图7是图6所示步骤中其中一个子步骤的详细实施流程图。
图8是本发明360度视频录制装置的较佳实施例的功能模块图。
图9是实现本发明360度视频录制方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本发明实施方式涉及一种360度视频录制方法。现实中,虽然360度视频可以显示360度的视角,但是观众的视野是有限,一个时刻只会关注部分视野的内容,其他内容对观众来说都是冗余的。在云DVR业务中,去掉冗余内容,只录制用户关注的内容,将大幅减少云DVR业务的存储需求。本实施方式通过获取用户在观看360度视频的视野范围数据,对所述360度视频进行剪切录制,实现了只保留用户关注的视野范围内的视频内容,而删除冗余的视野范围内的视频内容,从而可以减少360度视频的存储空间。下面对本实施方式的360度视频录制实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须。
参阅图1所示,是本发明360度视频录制方法的第一较佳实施例的应用环境示意图。本发明所述360度视频录制方法应用在包括播放终端1、视频服务器2、CDN(ContentDelivery Network,内容分发网络)系统3、DVR(Digital Video Recorder,硬盘录像机)服务器4、视频剪切装置5的网络架构中。所述播放终端1、视频服务器2、CDN系统3、DVR服务器4、视频剪切装置5之间通过网络进行通信。
所述网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(VirtualPrivate Network,VPN)等。
在本发明实施方式中,所述播放终端1在接收到用户发送的视频请求时,向所述视频服务器2发送视频订阅请求,所述视频服务器2根据所述视频订阅请求发送对应视频的CDN地址给所述播放终端1,所述播放终端1根据所述CDN地址到所述CDN系统中获取对应的视频数据。本发明较佳实施例中,所述获取的视频数据为360度视频。进一步地,在用户观看所述视频时,所述播放终端1获取用户的跟时间关联的视野范围序列,并将所述跟时间关联的视野范围序列传送给所述视频剪切装置5。所述视频剪切装置5根据所述跟时间关联的视野范围序列对所述视频进行剪切,得到剪切视频集,并将根据所述剪切视频集生成的新的视频存储到所述DVR服务器4中。所述新的视频在一个时刻内只包含用户关注的视野范围内的视频内容,因此,所需存储空间相较原来的360度视频小。
所述播放终端1可以是机顶盒或者其他视频播放终端或者应用程序等360度视频播放显示设备,本发明其他实施例中,所述播放终端1也可以是多个显示屏,如4个、8个甚至更多,每个显示器用于显示360度视频中的其中一个角度的视频画面。
所述视频服务器2可以是一个向用户提供视频和音频服务的网络服务器。
所述CDN系统3包括多个边缘节点,用于将源视频网站发布的视频分发到最接近用户的边缘节点,使用户可就近取得所需内容,提高用户访问的响应速度和成功率。
所述DVR服务器4用于录制来自视频服务器2的数字化视频数据,也可以称之为NVR(NetworkVideoRecorder,即网络视频录像机)。本发明较佳实施例中,所述DVR服务器4是云服务中的DVR。
所述视频剪切装置5是对视频进行非线性编辑的软件或者设备,对视频源进行切割、合并,通过二次编码,生成具有不同表现力的新视频。
本发明第一实施例中,所述视频剪切装置5可以是一个独立的服务器或者设备,与CDN系统3及DVR服务器4通信连接,参阅图1所示。本发明第二实施例中,所述视频剪切装置5也可以是一个软件,安装在播放终端1或者DVR服务器4等中,参阅图2所示。
具体地,本发明360度视频录制方法的详细实施方式可以参阅下述的图3至图7的描述。
如图3所示,是本发明360度视频录制方法的较佳实施例的方法实施流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
图3所示所述360度视频录制方法的较佳实施例应用于一个或者多个电子设备中,所述电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
优选地,本发明实施例中,执行图3所示360度视频录制方法的电子设备可以是图1或图2中所示的播放终端1。
本发明所述360度视频录制方法的较佳实施例详细包括如下步骤:
S1、获取360度视频数据。
优选地,本发明较佳实施例中,参阅图4所示,所述S1详细包括:
S10、向视频服务器2发送视频订阅请求。
较佳地,用户通过播放终端1向所述视频服务器2发送观看某个360度的直播节目的视频订阅请求。
S11、接收视频服务器2返回的所述视频订阅请求对应在CDN系统3中的地址。
所述视频服务器2响应所述视频订阅请求,给播放终端1返回一个360度直播视频的CDN地址。所述播放终端1接收所述视频服务器2返回的所述CDN地址。
S12、根据所述CDN系统3中的地址从CDN系统中获取所述360度视频资源。
所述播放终端1根据所述CDN地址从所述CDN系统3中获取并播放360度直播视频。
优选地,本发明较佳实施例中,所述播放终端1与视频服务器2之间可以通过基于网络Socket的协议,如HTTP或者其他协议通信进行通信。进一步地,所述播放终端1与视频服务器2之间传输数据的数据格式可以是JSON、XML或protobuf等。所述CDN系统3通过如HLS、DASH、RTMP、WebRTC等流媒体协议给所述播放终端1提供360度视频的视频流。
S2、在所述360度视频播放的过程中获取用户跟时间关联的视野范围序列。
优选地,本发明较佳实施例中,参阅图5所示,所述S2详细包括:
S20、基于眼球运动检测技术时时检测用户的眼球的转动,测量眼球在所述播放终端1上的目光凝视点,从而获知用户眼睛的视线角度数据以及与播放终端的距离数据。
本发明其中一个较佳实施例中,用户在观看所述360度视频时,可以使用一个用户终端系统。所述用户终端系统包括一个电子设备,如所述播放终端1以及一个头戴式眼球感应设备。所述眼球感应设备通过眼球生物动力检测眼球的转动,测量眼球在所述播放终端1上的目光凝视点,从而获知用户眼睛的视线角度以及与播放终端1的距离数据。
进一步地,所述眼球感应设备与所述播放终端1可以通过蓝牙或者无线局域网络方式进行点对点连接,在用户在观看所述360度视频的时候,所述眼球感应设备实时把数据<眼球与播放终端的相对位置P,眼球视线角度D>的数组序列发送给所述播放终端1。
本发明另外一个较佳实施例中,不需要用户头戴眼球感应设备,而是通过播放终端1自带的高清摄像头实时采集用户的眼球图像,识别和判断出用户的眼球视线角度D,同时通过图像测距方法计算眼球与播放终端1的相对位置P,得到数组序列<眼球与播放终端的相对位置P,眼球视线角度D>。
S21、根据所述视线角度数据及所述距离数据,计算所述用户的视野中心,并根据所述视野中心计算视野范围。
详细地,所述播放终端1上述得到的数组序列<眼球与播放终端的相对位置P,眼球视线角度D>,计算出用户视频的视野中心位置C和用户的视野范围Wu。比如,用户离播放终端1比较近,用户看到的视频内容范围就小,更为专注,用户的视野范围Wu就小;离播放终端1比较远,用户看到的视频内容范围就大,用户的视野范围Wu就大。
S22、从所述视野范围中筛选出有效视野范围,并结合时间数据生成时间关联的视野范围序列。
本发明实施例中所述筛选出有效视野范围是指去除不包含视频内容的视野范围Wu。例如,某一时刻用户的视野中心位置C不在播放终端1中,而是在例如,地板上,此时得到的视野范围Wu内不包含视频内容,即此刻用户并没有在观看视频,所以需要将这样的视野范围Wu删除,保留包含视频内容的有效视野范围。进一步地,所述播放终端1根据所述视野范围Wu以及所述视野范围Wu对应的时间数据生成时间关联的视野范围序列CTW<Ti,Wi>。
S23、按照预设的角度变化阈值,从所述时间关联的视野范围序列中筛出有效的时间关联的视野范围序列。
在一个实施例中,假设用户的视频视野大小是90度,当前时间点T1的用户视野中心在45度的位置,则当前用户的视野范围为W1为(0,90)度;如果下一个时间点T2的用户视野中心改变到50度,那么时间点T2的用户的视野范围为W2为(5,95)度。因为角度变化只有5度,较小,对用户观看感受而言,W1和W2几乎是没有区别的,所以时间点T2的用户的视野范围W2可以跳过,延续使用时间点T1的用户的视野范围W1。用户观感可接受的角度变化阈值可以根据经验值设置,比如为不大于15度。
因此,进一步地,本发明较佳实施例中,所述播放终端1按照所述预设的角度变化阈值,对上述S22生成的时间关联的视野范围序列CTW<Ti,Wi>进行再次筛选过滤,生成有效的时间关联的视野范围序列STW<Ti,Wi>。
本发明实施例中,所述播放终端1可以把有效的时间关联的视野范围序列STW<Ti,Wi>反馈给所述DVR服务器4。
本发明其他实施例中,所述S23中,有效的时间关联的视野范围序列STW<Ti,Wi>的筛选过程也可以由所述DVR服务器4执行,使得所述DVR服务器可以接收到用户观看视频过程的所有视线变化信息,这些信息可以用来做其他用途,比如用户意图、用户画像等。
S3、把所述时间关联的视野范围序列传送给视频剪切单元进行视频剪切,得到剪切视频集。
优选地,本发明较佳实施例中,参阅图6所示,所述S3详细包括:
S30、获取所述360度视频资源。
本发明较佳实施例中,所述播放终端1或者DVR服务器4将所述STW<Ti,Wi>数据发送给视频剪切装置5。所述视频剪切装置5从所述CDN系统3中获取对应的360度视频,即用户当前观看的360度视频。
本发明较佳实施例中,当所述视频剪切装置5为一个独立的服务器或者设备时,所述DVR服务器4与所述视频剪切装置5之间可以通过基于网络Socket的协议如HTTP或者其他协议通信,数据格式可以是JSON、XML或protobuf等。进一步地,所述视频剪切装置5通过如HLS、DASH等流媒体协议从所述CDN系统3中获取视频资源。
S31、根据有效的时间关联的视野范围序列中的时间Ti和对应的用户视野Wi,对所述360度视频资源进行剪切,得到剪切视频集。
本发明较佳实施例中,所述视频剪切装置5根据所述STW<Ti,Wi>中的对应的时间Ti和用户视频视野Wi,对所述360度视频进行剪切,得到剪切视频集。
上面方法流程描述了对360度视频进行剪切的过程,本发明其他较佳实施例中还需要解决一个问题:当用户视野跳跃跨度比较大时,但视频场景变化又不会很大时,直接剪切出来的视频跳跃比较突兀,用户体验会比较差。例如:假设用户的视频视野大小是90度,当前时间点T1的用户视野中心在45度的位置,那么当前的用户的视野范围为W1(0,90)度;如果下一个时间点T2用户的视野中心改变到75度,那么这个时间点用户的视野范围为W2(30,120)度。按照上述方法,如果设置的角度变化阈值为15度,则此时角度变化大于所述角度变化阈,则时间点T2就不会使用T1时间点的视野范围W1,而是要使用自己的视野范围W2。那么,在时间点T1使用视野范围W1来剪切视频,而在时间点T2时,直接使用视野范围W2来剪切视频,当用户回看是,就会感觉到视频突然从45度的位置跳跃到75度的视频位置,会有一种不太好的用户体验。因此,参阅图7所示,本发明所述S31进一步包括:
S310、从所述跟时间关联的视野范围序列中获取一组数据作为当前数组;
S311、获取所述当前数组的下一组数组;
S312、获取所述两组数据中的时间差和视野范围差;
S313、根据所述时间差以及所述视野范围差,计算得到视野变化幅度,根据所述视野变化幅度从所述360度视频资源中剪切视频帧,并根据所述视频帧生成剪切视频;
其中,所述根据所述时间差以及所述视野范围差,计算得到视野变化幅度,包括:
计算所述360度视频的每秒帧数,并利用下述方法计算得到所述视野变化幅度:
Figure BDA0002319845470000121
其中,w表示所述视野变化幅度,n表示所述视野范围差,t表示所述时间差,以及p表示所述每秒帧数,*代表乘号。S314、将所述下一组数组作为当前数组,并判断所述当前数组是否存在下一组数组。
当所述当前数组存在下一组数组时,返回上述的S311;
当所述当前数组不存在下一组数组时,执行S315、按照时间顺序汇总所述剪切视频得到所述剪切视频集。
本发明的其中一个例子中,假设用户在T1时间点开始,观看了2秒的视野范围W1(0,90)的视频;然后到达T2时间点,用户又看了3秒的视野范围W2(30,120)的视频,假设原始的360度视频是每秒50帧,则本发明对所述360度视频资源进行剪切时执行下述处理:
a、从T1时间点开始,在2秒的时间差内,逐步改变视野范围,从原来的W1(0,90)逐步改变到(15,105),变化的角度幅度为15/100=0.15,其中,所述的100是2秒,每秒50帧,共100帧,而15度是用户可接受的角度变化范围。这样,原来的从T1开始的2秒的时间内,共100帧,得到的视野变化幅度为:(0,90),(0.15,90.15),(0.3,90.3),……,(14.85,104.85),(15,105);
b、对于时间点T2的视野范围W2(30,120),改变成在T2时间点的视频视野是(15,105),并在3秒的时间差内把视频视野逐步改变到W2(30,120),变化幅度为15/150=0.1,这里的150是3秒,每秒50帧,共150帧,得到的视野变化幅度为:(15,105),(15.1,105.1),(15.2,105.2),……,(29.9,119.9),(30,120)。
通过上面的方法剪辑出来的视频就会改变原来的跳跃的体验。需要说明的是,上面只是示例说明,实际的数字会在实现中变化。
S4、根据所述剪切视频集生成新视频,并存储在DVR服务器中。
由于所述剪切视频集在时间上是连续的,只是在不同时间点Ti,从360度视频中剪切出来的不同视频Wi,因此,将所述剪切视频集按照时间顺序整合起来就会生成新的视频,并将该新的视频上传到DVR服务器2中,或者上传到CDN系统3中,并通知所述DVR服务器2与所述CDN系统3中的所述新视频进行关联。
如图8所示,是本发明360度视频录制装置的较佳实施例的功能模块图。
根据实现的功能,所述360度视频录制装置100可以包括视频数据获取模块101、视野范围序列获取模块102、视频剪切模块103以及新视频生成模块104。本发明所述模块也可以称之为单元,是指一种能够被电子设备10的处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备,如播放终端、服务器等的存储器中。本发明实施例中,所述360度视频录制装置100可以安装于所述播放终端1中。
详细地,在本实施例中,关于各模块/单元的功能如下:
所述视频数据获取模块101用于获取360度视频数据。
具体地,所述视频数据获取模块101向视频服务器2发送视频订阅请求,接收所述视频服务器2返回的所述视频订阅请求对应在CDN系统3中的地址,并根据所述CDN系统3中的地址从CDN系统中获取视频资源。
所述视野范围序列获取模块102用于在所述360度视频播放的过程中获取用户的跟时间关联的视野范围序列。
具体地,所述视野范围序列获取模块102利用用户头戴的眼球感应设备或者所述播放终端1自带的高清摄像头实时采集的用户的眼球图像,基于眼球运动检测技术时时检测用户的眼球的转动获取视线角度数据以及测量用户眼球与播放终端的距离数据,根据所述视线角度数据及所述距离数据,计算所述用户的视野中心,并根据所述视野中心计算视野范围,从所述视野范围中筛选出有效视野范围,并结合时间数据生成时间关联的视野范围序列。进一步地,所述视野范围序列获取模块102按照预设的角度变化阈值,从所述时间关联的视野范围序列中筛出有效的时间关联的视野范围序列。
所述视频剪切模块103用于根据所述时间关联的视野范围序列对所述360度视频进行视频剪切,得到剪切视频集。
较佳地,所述视频剪切模块103从所述跟时间关联的视野范围序列中从第一组数据开始,依次获取一组数据作为当前数组,并获取所述当前数组的下一组数组;进一步,获取所述两组数据中的时间差和视野范围差,并根据所述时间差以及所述视野范围差,计算得到视野变化幅度,根据所述视野变化幅度从所述360度视频资源中剪切视频帧,并根据所述视频帧生成剪切视频,并按照时间顺序汇总所述剪切视频得到所述剪切视频集。
所述新视频生成模块104用于根据所述剪切视频集生成新视频,并存储在DVR服务器4中。
如图9所示,是本发明实现360度视频录制方法的较佳实施例的电子设备的结构示意图。
所述电子设备10可以是所述播放终端1,进一步地,所述电子设备10可以包括处理器11、存储器12和总线,还可以包括存储在所述存储器12中并可在所述处理器11上运行的计算机程序,例如360度视频录制程序13。
其中,所述存储器12至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器12在一些实施例中可以是电子设备10的内部存储单元,例如该电子设备10的移动硬盘。所述存储器12在另一些实施例中也可以是电子设备10的外部存储设备,例如电子设备10上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器12还可以既包括电子设备10的内部存储单元也包括外部存储设备。所述存储器12不仅可以用于存储安装于电子设备10的应用软件及各类数据,例如360度视频录制程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器11在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器11是所述电子设备10的控制核心(Control Unit),利用各种接口和线路连接整个电子设备10的各个部件,通过运行或执行存储在所述存储器12内的程序或者模块(例如执行360度视频的剪切等),以及调用存储在所述存储器12内的数据,以执行电子设备10的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器12以及至少一个处理器11等之间的连接通信。
图9仅示出了具有部件11-12的电子设备10,本领域技术人员可以理解的是,图9示出的结构并不构成对所述电子设备10的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备10还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器11逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备10还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备10还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备10与其他电子设备之间建立通信连接。
可选地,该电子设备10还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备10中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备10中的所述存储器12存储的360度视频录制程序13是多个指令的组合,在所述处理器11中运行时,可以实现:
获取360度视频数据;
在所述360度视频播放的过程中获取用户的跟时间关联的视野范围序列;
根据所述时间关联的视野范围序列对所述360度视频进行视频剪切,得到剪切视频集;
根据所述剪切视频集生成新视频,并存储在DVR服务器中。
具体地,所述处理器11对上述指令的具体实现方法可参考图2及图3对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备10集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种360度视频录制方法,其特征在于,所述方法包括:
获取360度视频;
在所述360度视频播放的过程中获取用户跟时间关联的视野范围序列;
在所述跟时间关联的视野范围序列中,从第一组数据开始,依次获取一组数据作为当前数组,并获取所述当前数组的下一组数组;
获取所述当前数组和所述当前数组的下一组数组中的时间差和视野范围差;
计算所述360度视频的每秒帧数,并利用下述方法计算得到视野变化幅度:
Figure FDA0003526991250000011
其中,w表示所述视野变化幅度,n表示所述视野范围差,t表示所述时间差,以及p表示所述每秒帧数,*代表乘号;根据所述视野变化幅度从所述360度视频资源中剪切视频帧,并根据所述视频帧生成剪切视频;
按照时间顺序汇总所述剪切视频得到所述剪切视频集;
根据所述剪切视频集生成新视频。
2.如权利要求1所述的360度视频录制方法,其特征在于,所述在所述360度视频播放的过程中获取用户跟时间关联的视野范围序列,包括:
获取用户眼睛的视线角度数据以及与播放终端的距离数据;
根据所述视线角度数据及所述距离数据计算视野范围;
从所述视野范围中筛选出有效视野范围,并结合时间数据生成时间关联的视野范围序列;
按照预设的角度变化阈值,从所述时间关联的视野范围序列中筛出有效的时间关联的视野范围序列。
3.如权利要求1或2所述的360度视频录制方法,其特征在于,所述获取360度视频包括:
向视频服务器发送360度视频数据的视频订阅请求;
接收所述视频服务器返回的所述视频订阅请求对应在CDN系统中的地址;
根据所述CDN系统中的地址从CDN系统中获取所述360度视频资源。
4.一种360度视频录制装置,其特征在于,所述装置包括:
视频数据获取模块,用于获取360度视频数据;
视野范围序列获取模块,用于在所述360度视频播放的过程中获取用户的跟时间关联的视野范围序列;
视频剪切模块,用于在所述跟时间关联的视野范围序列中,从第一组数据开始,依次获取一组数据作为当前数组,并获取所述当前数组的下一组数组;获取所述当前数组和所述当前数组的下一组数组中的时间差和视野范围差;计算所述360度视频的每秒帧数,并利用下述方法计算得到所述视野变化幅度:
Figure FDA0003526991250000021
其中,w表示所述视野变化幅度,n表示所述视野范围差,t表示所述时间差,以及p表示所述每秒帧数,*代表乘号;根据所述视野变化幅度从所述360度视频资源中剪切视频帧,并根据所述视频帧生成剪切视频;按照时间顺序汇总所述剪切视频得到所述剪切视频集;
新视频生成模块,用于根据所述剪切视频集生成新视频。
5.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现如权利要求1至3中任意一项所述的360度视频录制方法。
6.如权利要求5所述的电子设备,其特征在于,所述电子设备还包括摄像头,所述摄像头实时采集用户的眼球图像,根据所述眼球图像检测所述用户的眼球的转动,测量眼球在所述360度视频数据的播放终端上的目光凝视点。
7.一种用户终端系统,其特征在于,所述用户终端系统包括如权利要求5所述的电子设备,以及一个头戴式眼球感应设备,所述头戴式眼球感应设备基于眼球运动检测技术时时检测所述用户的眼球的转动,测量眼球在所述360度视频数据的电子设备上的目光凝视点,从而得到用户眼睛的视线角度数据以及与播放终端的距离数据,并将所述用户眼睛的视线角度数据以及与播放终端的距离数据传送给所述电子设备。
8.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至3中任意一项所述的360度视频录制方法。
CN201911293370.8A 2019-12-16 2019-12-16 360度视频录制方法、装置、电子设备及存储介质 Active CN111107293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911293370.8A CN111107293B (zh) 2019-12-16 2019-12-16 360度视频录制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911293370.8A CN111107293B (zh) 2019-12-16 2019-12-16 360度视频录制方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111107293A CN111107293A (zh) 2020-05-05
CN111107293B true CN111107293B (zh) 2022-07-01

Family

ID=70423000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911293370.8A Active CN111107293B (zh) 2019-12-16 2019-12-16 360度视频录制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111107293B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114501049B (zh) * 2022-01-18 2023-10-27 上海哔哩哔哩科技有限公司 直播连接的建立方法、装置及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9300882B2 (en) * 2014-02-27 2016-03-29 Sony Corporation Device and method for panoramic image processing
CN105323552B (zh) * 2015-10-26 2019-03-12 北京时代拓灵科技有限公司 一种全景视频播放方法及系统
US10148874B1 (en) * 2016-03-04 2018-12-04 Scott Zhihao Chen Method and system for generating panoramic photographs and videos
CN107404641A (zh) * 2016-05-18 2017-11-28 中兴通讯股份有限公司 视频处理方法、视频播放方法、机顶盒以及vr设备
CN106303448B (zh) * 2016-08-29 2020-06-09 天津远度科技有限公司 航拍图像处理方法、无人机、头戴显示设备及系统

Also Published As

Publication number Publication date
CN111107293A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
US11303881B2 (en) Method and client for playing back panoramic video
US11683540B2 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
CN111083515B (zh) 处理直播内容的方法、装置、系统
US11153658B2 (en) Image display method and generating method, device, storage medium and electronic device
US10511767B2 (en) Information processing device, information processing method, and program
CN109511004B (zh) 一种视频处理方法及装置
CN109547724B (zh) 一种视频流数据的处理方法、电子设备及存储装置
US10531153B2 (en) Cognitive image obstruction
RU2718118C2 (ru) Устройство для обработки информации и способ обработки информации
CN108810600B (zh) 一种视频场景的切换方法、客户端及服务器
JP6669403B2 (ja) 通信装置、通信制御方法および通信システム
CN112243137A (zh) 一种直播间界面更新方法、装置、服务器以及系统
CN106713942A (zh) 视频处理方法和装置
CN111147911A (zh) 视频裁剪方法、装置、电子设备和存储介质
CN111107293B (zh) 360度视频录制方法、装置、电子设备及存储介质
CN111147883A (zh) 直播方法、装置、头戴显示设备和可读存储介质
JP2008199373A (ja) 動画コンテンツ視聴率集計システム及び動画コンテンツ視聴率集計方法
WO2018042963A1 (ja) 注目対象物に関する情報提供システムおよび情報提供方法
KR20130067855A (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
JP6804968B2 (ja) 情報配信装置、情報配信方法および情報配信プログラム
US10931985B2 (en) Information processing apparatus and information processing method
CN111107388A (zh) 处理直播内容的方法、装置、系统、设备、存储介质
WO2018197743A1 (en) Virtual reality viewport adaption
WO2018178510A2 (en) Video streaming
CN114827753B (zh) 视频索引信息的生成方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant