CN110636375B - 视频流处理方法、装置、终端设备及计算机可读存储介质 - Google Patents

视频流处理方法、装置、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110636375B
CN110636375B CN201911095690.2A CN201911095690A CN110636375B CN 110636375 B CN110636375 B CN 110636375B CN 201911095690 A CN201911095690 A CN 201911095690A CN 110636375 B CN110636375 B CN 110636375B
Authority
CN
China
Prior art keywords
video stream
frame rate
slow motion
camera
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911095690.2A
Other languages
English (en)
Other versions
CN110636375A (zh
Inventor
陈雪繁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realme Chongqing Mobile Communications Co Ltd
Original Assignee
Realme Chongqing Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realme Chongqing Mobile Communications Co Ltd filed Critical Realme Chongqing Mobile Communications Co Ltd
Priority to CN201911095690.2A priority Critical patent/CN110636375B/zh
Publication of CN110636375A publication Critical patent/CN110636375A/zh
Priority to EP20888442.9A priority patent/EP4037329A4/en
Priority to PCT/CN2020/124150 priority patent/WO2021093583A1/zh
Application granted granted Critical
Publication of CN110636375B publication Critical patent/CN110636375B/zh
Priority to US17/695,031 priority patent/US11711623B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Abstract

本申请适用于视频处理技术领域，提供了视频流处理方法、装置、终端设备及计算机可读存储介质，包括：若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流，所述慢动作拍摄指令携带慢动作视频流的帧率；根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，所述第三帧率大于所述第一帧率，所述第三帧率大于所述第二帧率；将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流，所述第四帧率与所述慢动作拍摄指令携带的慢动作视频流的帧率相同，且所述第四帧率大于所述第三帧率。通过上述方法能够获得画质更好的慢动作视频流。

Description

视频流处理方法、装置、终端设备及计算机可读存储介质
技术领域
本申请属于视频处理技术领域，尤其涉及视频流处理方法、装置、终端设备及计算机可读存储介质。
背景技术
慢动作就是通过在相同的时间内录制、存储尽可能多的帧，播放的时候却仍然按照正常帧率，如30FPS(每秒传输帧数，Frames Per Second)来播放实现的，即采用较高的帧率录制视频帧，而采用较低的帧率播放录制的视频帧。这种方式称为：高帧率录制(Highframe rate recording，HFR)，慢动作通过这种高帧率录制，低帧率播放的方式就可以达到"慢"的效果。相对于普通视频帧率(30FPS)来说，120FPS的慢动作视频会慢120/30＝4倍。
随着传感器帧率以及带宽的逐步提升，慢动作方案逐步向更高帧率，更好画质，更高流畅度的方向发展，但目前市面上的硬件难以支持直出高帧率。
发明内容
本申请实施例提供了视频流处理方法、装置、终端设备及计算机可读存储介质，可以解决用户难以获得更高帧率的视频流的问题。
第一方面，本申请实施例提供了一种视频流处理方法，所述视频流处理方法应用于终端设备，所述终端设备的同一侧设置第一摄像头和第二摄像头，所述视频流处理方法包括：若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流，所述慢动作拍摄指令携带慢动作视频流的帧率，所述第一视频流的第一帧率为所述第一摄像头能够直接输出的最大帧率，所述第二视频流的第二帧率为所述第二摄像头能够直接输出的最大帧率；
根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，所述第三帧率大于所述第一帧率，所述第三帧率大于所述第二帧率；
将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流，所述第四帧率与所述慢动作拍摄指令携带的慢动作视频流的帧率相同，且所述第四帧率大于所述第三帧率。
第二方面，本申请实施例提供了一种视频流处理装置，所述视频流处理装置应用于终端设备，所述终端设备的同一侧设置第一摄像头和第二摄像头，所述视频流处理装置包括：
视频流获取单元，用于若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流，所述慢动作拍摄指令携带慢动作视频流的帧率，所述第一视频流的第一帧率为所述第一摄像头能够直接输出的最大帧率，所述第二视频流的第二帧率为所述第二摄像头能够直接输出的最大帧率；
视频流编码单元，用于根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，所述第三帧率大于所述第一帧率，所述第三帧率大于所述第二帧率；
第四视频流生成单元，用于将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流，所述第四帧率与所述慢动作拍摄指令携带的慢动作视频流的帧率相同，且所述第四帧率大于所述第三帧率。
第三方面，本申请实施例提供了一种终端设备，包括至少两个摄像头、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中所述的方法。
本申请实施例与现有技术相比存在的有益效果是：由于第四帧率大于第三帧率，而第三帧率大于第一帧率且大于第二帧率，即得到的第四视频流的帧率大于第一帧率且大于第二帧率，因此，保证得到的慢动作视频流(即第四视频流)的帧率大于第一摄像头和第二摄像头能够直接输出的帧率，从而使得得到的慢动作视频流的画质更好，流畅度更高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请一实施例提供的视频流处理方法所适用于的手机的结构示意图；
图2是本申请一实施例提供的一种视频流处理方法的流程示意图；
图3是本申请一实施例提供的将30FPS通过插值算法插帧X2倍的效果示意图；
图4是本申请一实施例提供的另一种视频流处理方法的流程示意图；
图5是本申请一实施例提供的慢动作视频流快-慢-快区间生成策略示意图；
图6(1)和图6(2)是本申请一实施例提供的录制慢动作视频流的场景示意图；
图7是本申请一实施例提供的一种视频流处理装置的结构示意图；
图8是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的视频流处理方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
例如，所述终端设备可以是WLAN中的站点(STAION，ST)，可以是蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol，SIP)电话、无线本地环路(WirelessLocal Loop，WLL)站、个人数字处理(Personal Digital Assistant，PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、电视机顶盒(set top box，STB)、用户驻地设备(customer premise equipment，CPE)和/或用于在无线系统上进行通信的其它设备以及下一代通信系统，例如，5G网络中的移动终端或者未来演进的公共陆地移动网络(Public Land Mobile Network，PLMN)网络中的移动终端等。
作为示例而非限定，当所述终端设备为可穿戴设备时，该可穿戴设备还可以是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，如智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。
以所述终端设备为手机为例。图1示出的是与本申请实施例提供的手机的部分结构的框图。参考图1，手机包括：射频(Radio Frequency，RF)电路110、存储器120、输入单元130、显示单元140、传感器150、音频电路160、无线保真(wireless fidelity，WiFi)模块170、处理器180、以及电源190等部件。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图1对手机的各个构成部件进行具体的介绍：
RF电路110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器180处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元130可用于接收输入的数字或字符信息，以及产生与手机100的用户设置以及功能控制有关的键信号输入。具体地，输入单元130可包括触控面板131以及其他输入设备132。触控面板131，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板131上或在触控面板131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板131。除了触控面板131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元140可包括显示面板141，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板141。进一步的，触控面板131可覆盖显示面板141，当触控面板131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图1中，触控面板131与显示面板141是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板131与显示面板141集成而实现手机的输入和输出功能。
手机100还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在手机移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路160、扬声器161，传声器162可提供用户与手机之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一手机，或者将音频数据输出至存储器120以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块170，但是可以理解的是，其并不属于手机100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理单元；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
手机100还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机100还包括摄像头。可选地，摄像头在手机100的上的位置可以为前置的，也可以为后置的，本申请实施例对此不作限定。
可选地，手机100可以包括双摄像头或三摄像头等，本申请实施例对此不作限定。
例如，手机100可以包括三摄像头，其中，一个为主摄像头、一个为广角摄像头、一个为长焦摄像头。
可选地，当手机100包括多个摄像头时，这多个摄像头可以全部前置，或者全部后置，或者至少两个前置且剩下的后置，本申请实施例对此不作限定。
另外，尽管未示出，手机100还可以包括蓝牙模块等，在此不再赘述。
以下实施例可以在具有上述硬件结构/软件结构的手机100上实现。以下实施例将以手机100为例，对本申请实施例提供的视频流处理方法进行说明。在本实施例中，终端设备(手机)的同一侧(比如都在手机的后端)设置有两个摄像头：第一摄像头和第二摄像头，该第一摄像头和第二摄像头能够直接输出较高帧率的视频流，比如直接输出960FPS的视频流，为了获取更宽大的视野，则设置第二摄像头为广角摄像头(第一摄像头作为主摄像头)，当然，若在实际情况中对视野没有要求，则也可以设置第二摄像头为微距摄像头，此处不作限定。本实施例中，当用户需要拍摄慢动作视频流时，将启动第一摄像头和第二摄像头，手机获取两路视频流，通过对这两路视频流进行编码，再对编码后的视频流执行插值算法，从而得到更高帧率的视频流，这样，在采用相同的帧率播放时，能够得到更高帧率的慢动作视频流。
图2示出了本申请实施例提供的一种视频流处理方法的流程图，所述视频流处理方法应用于终端设备，所述终端设备的同一侧设置第一摄像头和第二摄像头，所述视频流处理方法包括：
步骤S21，若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流，所述慢动作拍摄指令携带慢动作视频流的帧率，所述第一视频流的第一帧率为所述第一摄像头能够直接输出的最大帧率，所述第二视频流的第二帧率为所述第二摄像头能够直接输出的最大帧率；
本实施例中，当用户触发预览界面显示的慢动作拍摄图标，则终端设备将接收到慢动作拍摄指令，该慢动作拍摄指令携带当前慢动作模式下对应的帧率。在一些实施例中，为了便于用户知悉当前拍摄慢动作视频流的帧率，则在预览界面显示该帧率，例如，显示7680FPS。
在一些实施例中，为了快速响应慢动作拍摄指令，则在接收到慢动作拍摄指令之前，包括：初始化采集音视频的类(MediaRecorder)：配置基本的数据流格式(如配置为MP4格式)，数据源(指示从相机还是用其他应用获取视频帧)以及视频比特率等。这样，当接收到慢动作拍摄指令之后，可以直接根据初始化后的信息快速响应慢动作拍摄指令。
在本实施例中，为了使得第一摄像头和第二摄像头能够直接输出更大帧率的视频流，则设置该第一摄像头和第二摄像头具有强大的像素缓存能力，例如，在第一摄像头和第二摄像头中分别加入三层堆叠式动态随机存取存储器(Dynamic Random Access Memory，DRAM)互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)传感器，又例如，设置第一摄像头和第二摄像头支持直接输出960FPS等。
需要指出的是，上述第一视频流和第二视频流为相同时间拍摄的视频流。
步骤S22，根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，所述第三帧率大于所述第一帧率，所述第三帧率大于所述第二帧率；
本实施中，由于第一摄像头和第二摄像头都设置在终端设备的同一侧，且拍摄时间相同，因此，第一视频流和第二视频流所包括的事物信息类似，从而，可直接将第一视频流和第二视频流中相邻时间对应的视频帧进行组合，比如，将第一视频流的第一帧作为第三视频流的第一帧，将第二视频流的第一帧作为第三视频流的第二帧等，从而得到更多的视频帧，即得到具有更高帧率的第三视频流。
步骤S23，将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流，所述第四帧率与所述慢动作拍摄指令携带的慢动作视频流的帧率相同，且所述第四帧率大于所述第三帧率。
本实施例中，插帧得到的第四视频流的帧率与慢动作拍摄指令携带的慢动作视频流的帧率相同，例如，假设慢动作拍摄指令携带的慢动作视频流的帧率为7680FPS，则第四视频流的帧率也为7680FPS。
本申请实施例中，若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流，所述慢动作拍摄指令携带慢动作视频流的帧率，根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，所述第三帧率大于所述第一帧率，所述第三帧率大于所述第二帧率，将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流，所述第四帧率与所述慢动作拍摄指令携带的慢动作视频流的帧率相同，且所述第四帧率大于所述第三帧率。由于第四帧率大于第三帧率，而第三帧率大于第一帧率且大于第二帧率，即得到的第四视频流的帧率大于第一帧率且大于第二帧率，因此，保证得到的慢动作视频流(即第四视频流)的帧率大于第一摄像头和第二摄像头能够直接输出的帧率，从而使得得到的慢动作视频流的画质更好，流畅度更高。
在一些实施例中，由于第一视频流和第二视频流是分别通过第一摄像头和第二摄像头采集得到，而第一摄像头和第二摄像头的采集帧率有可能是不同的，因此，为了便于后续快速编码出第三视频流以及便于后续为获得第四视频流所进行的插值运算，则在生成第三视频流之前需统一第一帧率和第二帧率，此时，所述步骤S22，包括：
A1、若所述第一帧率大于所述第二帧率，将所述第二视频流经过插值算法得到具有第一帧率的第五视频流，根据所述第一视频流和所述第五视频流交叉编码成具有第三帧率的第三视频流；
A2、若所述第一帧率等于所述第二帧率，根据所述第一视频流和所述第二视频流交叉编码成具有第三帧率的第三视频流。
本实施例中，为了获得更高的帧率，因此，将较低帧率的第二视频流(帧率为第二帧率)插值为更高帧率的第五视频流(帧率为第一帧率)。例如，若第一帧率为1920FPS，第二帧率为960FPS，则首先将第二视频流插值为具有1920FPS的第五视频流，再根据第一视频流和第五视频流交叉编码成具有第三帧率(3840FPS)的第三视频流。
在一些实施例中，为了提高插值运算的速度，可设置终端设备具有优秀的平台带宽处理能力和强大的性能，比如，具有高通骁龙高端8系处理器等。
在一些实施例中，由于插值算法将需要耗费一定的时间，因此，为了减少用户拍摄慢动作视频流的等待时长，则插值得到第四视频流的步骤将在接收到用户发出的播放指令之后再触发，而不是在得到第三视频流之后就触发，此时，所述步骤S23，包括：
若接收到用户发出的播放指令，将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流。
本实施例中，若接收到用户发出的播放指令，则根据慢动作拍摄指令携带慢动作视频流的帧率确定相应的放大倍数，进而执行相应的插值算法得到具有相同帧率的第四视频流。例如，假设第三视频流的第三帧率为1920FPS，慢动作拍摄指令携带慢动作视频流的帧率为7680FPS，则通过插值算法将第三视频流插帧X4倍实现7680FPS。参见图3，图3示出了将30FPS通过插值算法插帧X2倍的效果示意图。
在一些实施例中，若插值得到第四视频流的步骤将在接收到用户发出的播放指令之后再触发，则为了便于用户快速查找到所需播放的慢动作视频流，在所述步骤S22之后，包括：
为所述第三视频流写入慢动作视频流标识，并保存；
对应地，在所述步骤S23之后，包括：
将所述第四视频流替换已保存的第三视频流。
本实施例中，除了为第三视频流写入慢动作视频流标识，比如写入“slow_motion_hfr”，也可以再写入该慢动作视频流的帧率，比如“slow_motion_hfr_7680”，当然，也可以进一步写入保存该第三视频流的时间，此处不作限定。在保存该第三视频流之后，若接收到用户发出的播放指令，将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流之后，保存真正的慢动作视频流(第四视频流)，以替换之前保存的第三视频流。这样，当用户对第四视频流发出播放指令后，终端设备无需对该第四视频流进行再次插值，从而能够直接播放该第四视频流，提高该播放指令的响应速度。
图4示出了本申请实施例提供的另一种视频流处理方法的流程图，在本实施例中，为了使得用户能够更清楚地感受到慢动作视频流的“慢”，则将获取的第一视频流和第二视频流分别划分为三段时长的视频帧，且只将第二段时长的视频帧处理为慢动作视频流，其余两段的视频帧保持正常帧率，这样，用户观看拍摄的视频流时，将得到“快-慢-快”的感受，即能够更好地凸显慢动作视频流对用户的冲击。具体如下：
步骤S41，若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流，所述慢动作拍摄指令携带慢动作视频流的帧率，所述第一视频流的第一帧率为所述第一摄像头能够直接输出的最大帧率，所述第二视频流的第二帧率为所述第二摄像头能够直接输出的最大帧率；
步骤S42，获取预先确定的慢动作视频流的时长；
具体地，由于本申请实施例中的慢动作视频流并不是直接通过摄像头直接输出，还需要经过一些插值运算，而插值运算将需要耗费一定的时长，因此，为了避免用户长时间等待，则设置的慢动作视频流的时长不能过大，比如，建议设置的慢动作视频流的时长小于3分钟，优选设置为34秒等。
步骤S43，根据所述预先确定的慢动作视频流的时长选取所述第一视频流的中段视频帧和第二视频流的中段视频帧，并将选取的两个中段视频帧编码成具有第三帧率的第三视频流；
为了保证获得足够时长的第四视频流，而第四视频流的时长与选取的中段视频帧的时长有关，因此，设定[中段视频帧的时长/(前段视频帧的时长+中段视频帧的+后段视频帧的时长)]大于90％。
步骤S44，将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流；
步骤S45，按顺序保存以下视频流，并将保存的以下视频流作为慢动作视频流：根据所述第一视频流的前段视频帧和所述第二视频流的前段视频帧生成的前段视频流、所述第四视频流、根据所述第一视频流的后段视频帧和所述第二视频流的后段视频帧生成的后段视频流。
参加图5，假设生成的慢动作视频流的时长为34秒，则前段视频流的时长可设置为1秒，第四视频流的时长为32秒，后段视频流的时长为1秒。即播放整个慢动作视频流时，将给用户“快-慢-快”的观看体验，通过这样的生成策略，不仅节省处理时间，也能更好地对比前后速度的变化，更加突出慢的部分。需要指出的是，图5中的30FPS和7680FPS仅为示例，此处不作限定。
在一些实施例中，由于第一帧率高于第二帧率，即第一摄像头作为主摄，因此，可直接在预览界面显示第一摄像头获取的第一视频流，此时，在所述步骤S21之后，包括：
在预览界面显示所述第一视频流。
本实施例中，由于只在预览界面显示第一视频流，即忽略作为辅助摄像头的第二摄像头获取的第二视频流，且没有对第一视频流进行插值处理，因此，无需用户等待，就能够快速在预览界面实现预览。
在一些实施例中，由于用户不能从慢动作视频流中获取静态物体更多的信息，但能获取动态物体更多的信息，且录制的帧率越高，用户能够在播放的慢动作视频流中获取的信息也更多，因此，可根据拍摄的物体的速度推荐匹配的录制帧率，此时，若慢动作模式大于或等于2，且不同慢动作模式对应不同的帧率，则在所述步骤S21之前，包括：
若相机进入慢动作模式，则根据预览界面中物体的运动速度推荐相应的慢动作模式，推荐的策略是：物体的运动速度越大推荐对应越大帧率的慢动作模式。
本实施例中，若终端设备检测到进入相机的慢动作模式，则检测预览界面中的物体的速度，若物体的速度与某一慢动作模式的录制帧率匹配，则在预览界面推荐用户使用该某一慢动作模式进行慢动作视频流的录制；或者，直接切换至该某一慢动作模式，并在预览界面提示慢动作模式已切换的信息。具体地，预设设置物体的不同速度与慢动作模式的对应关系，例如，M1≤物体的速度<M2，则推荐慢动作模式一；若M2≤物体的速度<M3，则推荐慢动作模式二等。
为了更加清晰地描述本申请实施例的视频流处理方法，下面以一具体应用例进行说明：
1.用户打开相机进入慢动作模式，并选择7680FPS后，同时打开主摄和副摄的超广角摄像头，启动预览，默认以主摄数据为准，绘制预览，如图6(1)所示。
2.初始化MediaRecorder：配置基本的数据流格式，数据源以及视频比特率。
3.用户点击录制后，将两路视频Surface(两路视频的录制帧率都是960FPS)输入至MediaRecorder，从底层获取视频帧后经过libffmpeg库帧交叉编解码输出一个1920FPS的第三视频流。
4.将得到的1920FPS再输入给插帧算法库进行插X4倍实现7680FPS的第四视频流。录制结束后保存并更新媒体库，写入title slow_motion_hfr_7680_:0,0,0,0标记此视频为慢动作视频流，用于图库、视频APP播放识别。如图6(2)所示，当点击录制按钮后，开始录制倒计时，录像按钮转圈处理，等待在给定的视角完成后停止录制，后台开始合成处理两路慢动作视频数据，生成最终的快-慢-快区间的7680FPS慢动作视频流。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的视频流处理方法，图7示出了本申请实施例提供的视频流处理装置7的结构框图，所述视频流处理装置7应用于终端设备，所述终端设备的同一侧设置第一摄像头和第二摄像头，为了便于说明，仅示出了与本申请实施例相关的部分。
该视频流处理装置7包括：视频流获取单元71、视频流编码单元72、第四视频流生成单元73，其中：
视频流获取单元71，用于若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流，所述慢动作拍摄指令携带慢动作视频流的帧率，所述第一视频流的第一帧率为所述第一摄像头能够直接输出的最大帧率，所述第二视频流的第二帧率为所述第二摄像头能够直接输出的最大帧率；
在一些实施例中，为了快速响应慢动作拍摄指令，则在接收到慢动作拍摄指令之前，该视频流处理装置7包括：初始化单元，用于初始化采集音视频的类：配置基本的数据流格式，数据源以及视频比特率等。
视频流编码单元72，用于根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，所述第三帧率大于所述第一帧率，所述第三帧率大于所述第二帧率；
第四视频流生成单元73，用于将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流，所述第四帧率与所述慢动作拍摄指令携带的慢动作视频流的帧率相同，且所述第四帧率大于所述第三帧率。
本申请实施例中，由于第四帧率大于第三帧率，而第三帧率大于第一帧率且大于第二帧率，即得到的第四视频流的帧率大于第一帧率且大于第二帧率，因此，保证得到的慢动作视频流(即第四视频流)的帧率大于第一摄像头和第二摄像头能够直接输出的帧率，从而使得得到的慢动作视频流的画质更好，流畅度更高。
在一些实施例中，由于第一视频流和第二视频流是分别通过第一摄像头和第二摄像头采集得到，而第一摄像头和第二摄像头的采集帧率有可能是不同的，因此，为了便于后续快速编码出第三视频流以及便于后续为获得第四视频流所进行的插值运算，则在生成第三视频流之前需统一第一帧率和第二帧率，此时，所述视频流编码单元72，包括：
插值及编码模块，用于若所述第一帧率大于所述第二帧率，将所述第二视频流经过插值算法得到具有第一帧率的第五视频流，根据所述第一视频流和所述第五视频流交叉编码成具有第三帧率的第三视频流；
直接编码模块，用于若所述第一帧率等于所述第二帧率，根据所述第一视频流和所述第二视频流交叉编码成具有第三帧率的第三视频流。
在一些实施例中，由于插值算法将需要耗费一定的时间，因此，为了减少用户拍摄慢动作视频流的等待时长，则所述第四视频流生成单元73具体用于：
若接收到用户发出的播放指令，将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流。
本实施例中，若接收到用户发出的播放指令，则根据慢动作拍摄指令携带慢动作视频流的帧率确定相应的放大倍数，进而执行相应的插值算法得到具有相同帧率的第四视频流。
在一些实施例中，为了便于用户快速查找到所需播放的慢动作视频流，则该视频流处理装置7还包括：
第三视频流存储单元，用于为所述第三视频流写入慢动作视频流标识，并保存；
对应地，该视频流处理装置7还包括：第四视频流存储单元，用于在所述将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流之后，将所述第四视频流替换已保存的第三视频流。
本实施例中，除了为第三视频流写入慢动作视频流标识，比如写入“slow_motion_hfr”，也可以再写入该慢动作视频流的帧率，比如“slow_motion_hfr_7680”，当然，也可以进一步写入保存该第三视频流的时间，此处不作限定。
在一些实施例中，为了使得用户能够更清楚地感受到慢动作视频流的“慢”，则将获取的第一视频流和第二视频流分别划分为三段时长的视频帧，且只将第二段时长的视频帧处理为慢动作视频流，其余两段的视频帧保持正常帧率，这样，用户观看拍摄的视频流时，将得到“快-慢-快”的感受，即能够更好地凸显慢动作视频流对用户的冲击，此时，所述视频流编码单元72，包括：
慢动作视频流的时长获取模块，用于获取预先确定的慢动作视频流的时长；
中段视频帧获取单元，用于根据所述预先确定的慢动作视频流的时长选取所述第一视频流的中段视频帧和第二视频流的中段视频帧，并将选取的两个中段视频帧编码成具有第三帧率的第三视频流；
对应地，该视频流处理装置7还包括：慢动作视频流保存单元，用于在所述将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流之后，按顺序保存以下视频流，并将保存的以下视频流作为慢动作视频流：根据所述第一视频流的前段视频帧和所述第二视频流的前段视频帧生成的前段视频流、所述第四视频流、根据所述第一视频流的后段视频帧和所述第二视频流的后段视频帧生成的后段视频流。
在一些实施例中，由于第一帧率高于第二帧率，即第一摄像头作为主摄，因此，可直接在预览界面显示第一摄像头获取的第一视频流，此时，该视频流处理装置7还包括：
预览单元，用于在预览界面显示所述第一视频流。
在一些实施例中，由于用户不能从慢动作视频流中获取静态物体更多的信息，但能获取动态物体更多的信息，且录制的帧率越高，用户能够在播放的慢动作视频流中获取的信息也更多，因此，可根据拍摄的物体的速度推荐匹配的录制帧率。即若慢动作模式大于或等于2，且不同慢动作模式对应不同的帧率，则在所述若接收到慢动作拍摄指令，则该视频流处理装置7还包括：
慢动作模式推荐单元，用于若相机进入慢动作模式，则根据预览界面中物体的运动速度推荐相应的慢动作模式，推荐的策略是：物体的运动速度越大推荐对应越大帧率的慢动作模式。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图7为本申请一实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个处理器)、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，至少2个摄像头73。所述处理器70执行所述计算机程序72时实现上述任意各个方法实施例中的步骤。
若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流，所述慢动作拍摄指令携带慢动作视频流的帧率，所述第一视频流的第一帧率为所述第一摄像头能够直接输出的最大帧率，所述第二视频流的第二帧率为所述第二摄像头能够直接输出的最大帧率；
根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，所述第三帧率大于所述第一帧率，所述第三帧率大于所述第二帧率；
将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流，所述第四帧率与所述慢动作拍摄指令携带的慢动作视频流的帧率相同，且所述第四帧率大于所述第三帧率。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种视频流处理方法，其特征在于，所述视频流处理方法应用于终端设备，所述终端设备的同一侧设置第一摄像头和第二摄像头，所述视频流处理方法包括：
若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流，所述慢动作拍摄指令携带慢动作视频流的帧率，所述第一视频流的第一帧率为所述第一摄像头能够直接输出的最大帧率，所述第二视频流的第二帧率为所述第二摄像头能够直接输出的最大帧率；
根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，所述第三帧率大于所述第一帧率，所述第三帧率大于所述第二帧率；
将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流，所述第四帧率与所述慢动作拍摄指令携带的慢动作视频流的帧率相同，且所述第四帧率大于所述第三帧率；
其中，所述根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，包括：若所述第一帧率大于所述第二帧率，将所述第二视频流经过插值算法得到具有第一帧率的第五视频流，根据所述第一视频流和所述第五视频流交叉编码成具有第三帧率的第三视频流；
若包含多种慢动作模式，且不同慢动作模式对应不同的帧率，则在所述若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流之前，包括：
若相机进入慢动作模式，则根据预览界面中物体的运动速度推荐相应的慢动作模式，推荐的策略是：物体的运动速度越大推荐对应越大帧率的慢动作模式。
2.如权利要求1所述的视频流处理方法，其特征在于，所述根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，还包括：若所述第一帧率等于所述第二帧率，根据所述第一视频流和所述第二视频流交叉编码成具有第三帧率的第三视频流。
3.如权利要求1所述的视频流处理方法，其特征在于，所述将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流，包括：
若接收到用户发出的播放指令，将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流。
4.如权利要求3所述的视频流处理方法，其特征在于，在所述根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流之后，包括：
为所述第三视频流写入慢动作视频流标识，并保存；
对应地，在所述将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流之后，包括：
将所述第四视频流替换已保存的第三视频流。
5.如权利要求1所述的视频流处理方法，其特征在于，所述根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，包括：
获取预先确定的慢动作视频流的时长；
根据所述预先确定的慢动作视频流的时长选取所述第一视频流的中段视频帧和第二视频流的中段视频帧，并将选取的两个中段视频帧编码成具有第三帧率的第三视频流；
对应地，在所述将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流之后，包括：
按顺序保存以下视频流，并将保存的以下视频流作为慢动作视频流：根据所述第一视频流的前段视频帧和所述第二视频流的前段视频帧生成的前段视频流、所述第四视频流、根据所述第一视频流的后段视频帧和所述第二视频流的后段视频帧生成的后段视频流。
6.如权利要求1至5任一项所述的视频流处理方法，其特征在于，在所述若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流之后，包括：
在预览界面显示所述第一视频流。
7.一种视频流处理装置，其特征在于，所述视频流处理装置应用于终端设备，所述终端设备的同一侧设置第一摄像头和第二摄像头，所述视频流处理装置包括：
视频流获取单元，用于若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流，所述慢动作拍摄指令携带慢动作视频流的帧率，所述第一视频流的第一帧率为所述第一摄像头能够直接输出的最大帧率，所述第二视频流的第二帧率为所述第二摄像头能够直接输出的最大帧率；
视频流编码单元，用于根据所述第一视频流和第二视频流编码成具有第三帧率的第三视频流，所述第三帧率大于所述第一帧率，所述第三帧率大于所述第二帧率；
第四视频流生成单元，用于将所述第三视频流经过插帧算法得到具有第四帧率的第四视频流，所述第四帧率与所述慢动作拍摄指令携带的慢动作视频流的帧率相同，且所述第四帧率大于所述第三帧率；
其中，所述视频流编码单元包括：插值及编码模块，用于若所述第一帧率大于所述第二帧率，将所述第二视频流经过插值算法得到具有第一帧率的第五视频流，根据所述第一视频流和所述第五视频流交叉编码成具有第三帧率的第三视频流；
若包含多种慢动作模式，且不同慢动作模式对应不同的帧率，则在所述若接收到慢动作拍摄指令，则分别从所述第一摄像头和所述第二摄像头获取第一视频流和第二视频流之前，包括：
若相机进入慢动作模式，则根据预览界面中物体的运动速度推荐相应的慢动作模式，推荐的策略是：物体的运动速度越大推荐对应越大帧率的慢动作模式。
8.一种终端设备，包括至少两个摄像头、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN201911095690.2A 2019-11-11 2019-11-11 视频流处理方法、装置、终端设备及计算机可读存储介质 Active CN110636375B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911095690.2A CN110636375B (zh) 2019-11-11 2019-11-11 视频流处理方法、装置、终端设备及计算机可读存储介质
EP20888442.9A EP4037329A4 (en) 2019-11-11 2020-10-27 VIDEO STREAM PROCESSING METHOD AND APPARATUS, TERMINAL DEVICE, AND COMPUTER READABLE STORAGE MEDIA
PCT/CN2020/124150 WO2021093583A1 (zh) 2019-11-11 2020-10-27 视频流处理方法、装置、终端设备及计算机可读存储介质
US17/695,031 US11711623B2 (en) 2019-11-11 2022-03-15 Video stream processing method, device, terminal device, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911095690.2A CN110636375B (zh) 2019-11-11 2019-11-11 视频流处理方法、装置、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110636375A CN110636375A (zh) 2019-12-31
CN110636375B true CN110636375B (zh) 2022-03-11

Family

ID=68979373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911095690.2A Active CN110636375B (zh) 2019-11-11 2019-11-11 视频流处理方法、装置、终端设备及计算机可读存储介质

Country Status (4)

Country Link
US (1) US11711623B2 (zh)
EP (1) EP4037329A4 (zh)
CN (1) CN110636375B (zh)
WO (1) WO2021093583A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636375B (zh) * 2019-11-11 2022-03-11 RealMe重庆移动通信有限公司 视频流处理方法、装置、终端设备及计算机可读存储介质
CN111314639A (zh) * 2020-02-28 2020-06-19 维沃移动通信有限公司 一种视频录制方法及电子设备
CN111277779B (zh) * 2020-03-05 2022-05-06 Oppo广东移动通信有限公司 一种视频处理方法及相关装置
CN113691862B (zh) * 2020-05-19 2023-09-01 深圳市环球数码科技有限公司 视频处理方法、用于视频播放的电子设备和视频播放系统
CN114070993B (zh) * 2020-07-29 2023-04-18 华为技术有限公司 摄像方法、装置、摄像设备及可读存储介质
CN111918098A (zh) * 2020-09-16 2020-11-10 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备、服务器及存储介质
US11671704B2 (en) * 2020-11-13 2023-06-06 Samsung Electronics Co., Ltd. Electronic device including a plurality of image sensors and method for thereof
CN112532880B (zh) * 2020-11-26 2022-03-11 展讯通信（上海）有限公司 视频处理方法、装置、终端设备及存储介质
CN115242992B (zh) * 2021-08-12 2023-08-18 荣耀终端有限公司 视频处理方法、装置、电子设备和存储介质
CN114286003A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 拍摄方法、拍摄装置和电子设备
CN114520874B (zh) * 2022-01-28 2023-11-24 西安维沃软件技术有限公司 视频处理方法、装置及电子设备
CN117177080B (zh) * 2023-11-03 2024-04-16 荣耀终端有限公司 视频获取方法、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812651A (zh) * 2015-07-27 2016-07-27 维沃移动通信有限公司 一种视频数据的处理方法及终端设备
CN106210584A (zh) * 2016-08-02 2016-12-07 乐视控股（北京）有限公司 一种视频录制方法和装置
CN108683852A (zh) * 2018-05-23 2018-10-19 努比亚技术有限公司 一种视频录制方法、终端及计算机可读存储介质
CN109819161A (zh) * 2019-01-21 2019-05-28 北京中竞鸽体育文化发展有限公司 一种帧率的调整方法、装置、终端及可读存储介质
WO2019183784A1 (zh) * 2018-03-26 2019-10-03 华为技术有限公司 一种录像方法及电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157391A (en) * 1994-01-10 2000-12-05 International Business Machines Corporation Method and apparatus for providing slow motion video at normal motion play speed
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
CN101448099B (zh) * 2008-12-26 2012-05-23 华为终端有限公司 一种多摄像头摄影方法和设备
US8797439B1 (en) * 2011-06-22 2014-08-05 Rawles Llc High frame rate interleaved imagers
KR101872944B1 (ko) * 2011-08-02 2018-08-03 삼성디스플레이 주식회사 표시 패널의 구동 방법 및 이를 수행하기 위한 표시 장치
US9014544B2 (en) * 2012-12-19 2015-04-21 Apple Inc. User interface for retiming in a media authoring tool
JP2015122734A (ja) * 2013-11-25 2015-07-02 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
US20150221335A1 (en) * 2014-02-05 2015-08-06 Here Global B.V. Retiming in a Video Sequence
CN104363374A (zh) * 2014-11-28 2015-02-18 广东欧珀移动通信有限公司 高帧率的视频生成方法、装置及终端
US9570106B2 (en) * 2014-12-02 2017-02-14 Sony Corporation Sensor configuration switching for adaptation of video capturing frame rate
US9906715B2 (en) * 2015-07-08 2018-02-27 Htc Corporation Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device
CN105847636B (zh) * 2016-06-08 2018-10-16 维沃移动通信有限公司 一种视频拍摄方法及移动终端
US11159742B2 (en) * 2016-06-30 2021-10-26 Intel Corporation High-speed video from camera arrays
US10691201B2 (en) * 2016-12-19 2020-06-23 Intel Corporation Image stream switcher
CN110086905B (zh) 2018-03-26 2020-08-21 华为技术有限公司 一种录像方法及电子设备
CN110868560B (zh) * 2018-08-27 2022-04-15 青岛海信移动通信技术股份有限公司 一种基于双目相机的录像方法及终端设备
CN110650294A (zh) * 2019-11-06 2020-01-03 深圳传音控股股份有限公司 视频拍摄方法、移动终端及可读存储介质
CN110636375B (zh) * 2019-11-11 2022-03-11 RealMe重庆移动通信有限公司 视频流处理方法、装置、终端设备及计算机可读存储介质
US11356604B2 (en) * 2020-02-14 2022-06-07 Pixelworks, Inc. Methods and systems for image processing with multiple image sources
US11295427B2 (en) * 2020-02-14 2022-04-05 Pixelworks, Inc. Methods and systems for image processing with multiple image sources

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812651A (zh) * 2015-07-27 2016-07-27 维沃移动通信有限公司 一种视频数据的处理方法及终端设备
CN106210584A (zh) * 2016-08-02 2016-12-07 乐视控股（北京）有限公司 一种视频录制方法和装置
WO2019183784A1 (zh) * 2018-03-26 2019-10-03 华为技术有限公司 一种录像方法及电子设备
CN108683852A (zh) * 2018-05-23 2018-10-19 努比亚技术有限公司 一种视频录制方法、终端及计算机可读存储介质
CN109819161A (zh) * 2019-01-21 2019-05-28 北京中竞鸽体育文化发展有限公司 一种帧率的调整方法、装置、终端及可读存储介质

Also Published As

Publication number Publication date
US11711623B2 (en) 2023-07-25
WO2021093583A1 (zh) 2021-05-20
CN110636375A (zh) 2019-12-31
US20220201205A1 (en) 2022-06-23
EP4037329A1 (en) 2022-08-03
EP4037329A4 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
CN110636375B (zh) 视频流处理方法、装置、终端设备及计算机可读存储介质
CN108322685B (zh) 视频插帧方法、存储介质以及终端
US11451706B2 (en) Photographing method and mobile terminal
CN110022489B (zh) 视频播放方法、装置及存储介质
US20200382781A1 (en) Video encoding method and apparatus, storage medium, and device
CN112449099B (zh) 一种图像处理方法、电子设备及云服务器
CN107948562B (zh) 视频录制方法和视频录制终端
WO2009051857A2 (en) System and method for video coding using variable compression and object motion tracking
WO2018228241A1 (zh) 图像选择方法及相关产品
WO2020078273A1 (zh) 一种拍摄方法及电子设备
CN112770059B (zh) 拍照方法、装置及电子设备
CN106993136B (zh) 移动终端及其基于多摄像头的图像降噪方法和装置
EP4007287A1 (en) Video processing method, device, terminal, and storage medium
CN111294625B (zh) 组合设备服务能力的方法、装置、终端设备和存储介质
CN109474833B (zh) 一种网络直播的方法、相关装置和系统
KR20100041108A (ko) Ｕｄｔａ 정보를 이용한 ＭＰ4 동영상 연속 촬영 방법 및 이를 지원하는 휴대 단말기
CN107959755A (zh) 一种拍照方法及移动终端
CN104751488A (zh) 运动物体的运动轨迹的拍摄方法及终端设备
CN110113669B (zh) 获取视频数据的方法、装置、电子设备及存储介质
CN111385513B (zh) 通话方法以及相关设备
CN105389152B (zh) 投射图片的方法、装置及终端设备
CN109819188B (zh) 视频的处理方法和终端设备
CN107948571B (zh) 视频录制的方法、装置及计算机可读存储介质
CN113518243A (zh) 一种图像处理方法及装置
CN115623257A (zh) 投屏显示方法、系统、终端设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant