CN108924464B - 视频文件的生成方法、装置及存储介质 - Google Patents
视频文件的生成方法、装置及存储介质 Download PDFInfo
- Publication number
- CN108924464B CN108924464B CN201810751296.9A CN201810751296A CN108924464B CN 108924464 B CN108924464 B CN 108924464B CN 201810751296 A CN201810751296 A CN 201810751296A CN 108924464 B CN108924464 B CN 108924464B
- Authority
- CN
- China
- Prior art keywords
- video
- image frame
- video call
- analog video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 239000000463 material Substances 0.000 claims abstract description 170
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 36
- 238000004088 simulation Methods 0.000 claims abstract description 13
- 238000009877 rendering Methods 0.000 claims description 41
- 230000015572 biosynthetic process Effects 0.000 claims description 31
- 238000003786 synthesis reaction Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 description 23
- 230000006854 communication Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes
Abstract
本发明实施例公开了一种视频文件的生成方法、装置及存储介质,该方法包括:当接收到模拟视频通话请求时,启动图像采集装置以实时采集用户图像,以及启动视频解码控件解码预定的素材视频;同步获取所述图像采集装置当前采集的用户图像帧和所述视频解码控件当前解码的素材视频图像帧;将同步获取的所述用户图像帧和所述素材视频图像帧进行合成以得到模拟视频通话图像帧;在模拟视频通话窗口显示所述模拟视频通话图像帧,以及根据得到的所有所述模拟视频通话图像帧生成关于模拟视频通话过程的视频文,通过上述方式,可以减少生成视频文件所需的时间,提高视频文件的生成效率。
Description
技术领域
本发明涉及电子技术领域,具体涉及一种视频文件的生成方法、装置及存储介质。
背景技术
随着互联网技术的不断发展,各种应用的功能越来越丰富,比如在一些应用中,可以提供模拟视频通话的功能,该功能主要有模拟视频通话阶段和保存模拟视频通话过程的视频阶段。其中在模拟视频通话阶段主要是播放一段预先录制的素材视频,并将摄像头实时获取的用户图像一同显示在该素材视频的播放界面上,该播放界面也即模拟视频通话界面,用户可以根据素材视频的播放内容进行语音回应,从而实现模拟视频通话。该素材视频例如可以是邀请明星做广告宣传或者公益宣传等的视频,由此不仅可以对产品进行广告宣传,还能够使得用户获得与明星进行视频通话的体验,增加应用的趣味性,吸引更多追星用户,有利于提高应用的热度。
在模拟视频通话完成后,通常会生成模拟视频通话过程的视频文件,从而用户可以保存该视频文件,通过观看该视频文件以还原模拟视频通话体验。
在对现有技术的研究和实践过程中,本发明的发明人发现,现有技术中,主要是在模拟视频通话过程中利用摄像头录制用户视频,在模拟视频通话结束后,将相互独立的用户视频和素材视频进行合成而得到模拟视频通话过程的视频文件,由于是对两个独立视频进行合成,即合成对象是视频,因而合成速度较慢,导致耗时较多,降低视频文件的生成效率。
发明内容
本发明实施例提供一种视频文件的生成方法、装置及存储介质,可以有效减少生成视频文件所需的时间,提高视频文件的生成效率。
本发明实施例提供一种视频文件的生成方法,包括:
当接收到模拟视频通话请求时,启动图像采集装置以实时采集用户图像,以及启动视频解码控件解码预定的素材视频;
同步获取所述图像采集装置当前采集的用户图像帧和所述视频解码控件当前解码的素材视频图像帧;
将同步获取的所述用户图像帧和所述素材视频图像帧进行合成以得到模拟视频通话图像帧;
在模拟视频通话窗口显示所述模拟视频通话图像帧,以及根据得到的所有所述模拟视频通话图像帧生成关于模拟视频通话过程的视频文件。
本发明实施例还提供一种视频文件的生成装置,包括:
启动模块,用于当接收到模拟视频通话请求时,启动图像采集装置以实时采集用户图像,以及启动视频解码控件解码预定的素材视频;
第一获取模块,用于同步获取所述图像采集装置当前采集的用户图像帧和所述视频解码控件当前解码的素材视频图像帧;
合成模块,用于将同步获取的所述用户图像帧和所述素材视频图像帧进行合成以得到模拟视频通话图像帧;
显示和生成模块,用于在模拟视频通话窗口显示所述模拟视频通话图像帧,以及根据得到的所有所述模拟视频通话图像帧生成关于模拟视频通话过程的视频文件。
其中,所述第一图像位置为视频通话窗口的显示界面的右上角,所述第一图像尺寸小于视频通话窗口的显示界面;
所述第二图像位置为视频通话窗口的显示界面的任一位置,所述第二图像尺寸为铺满视频通话窗口的整个显示界面。
其中,所述显示和生成模块用于:
通过硬件合成的方式将所述画面视频和所述音频音轨文件进行合成;
当采用所述硬件合成的方式合成失败时,通过软件合成的方式将所述画面视频和所述音频音轨文件进行合成。
其中,还包括:预览模块,用于在预览窗口同步播放所述画面视频和所述音频音轨文件。
其中,还包括:分享模块,用于根据接收到的分享指令,将所述视频文件分享至社交网络。
本发明视频图像的处理方法中,同步获取图像采集装置当前采集的用户图像帧和视频解码控件当前解码的素材视频图像帧,然后将同步获取的用户图像帧和素材视频图像帧进行合成,以得到模拟视频通话图像帧,之后在视频通话窗口显示模拟视频通话图像帧,由此可以实现模拟视频通话,此外本方案的模拟视频通话图像帧是通过将用户图像帧和素材视频图像帧进行合成而得到,因此一模拟视频通话图像帧包含了用户图像帧和素材视频图像帧,因此只需根据模拟视频通话图像帧即可生成关于模拟视频通话过程的视频文件,而不需要对两个视频进行合成,且与视频合成相比,图像的合成更快速,因此本方案可以有效减少生成视频文件所需的时间,提高视频文件的生成效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的视频文件的生成方法的场景示意图;
图2是本发明实施例提供的视频文件的生成方法的一流程示意图;
图3是本发明实施例提供的视频文件的生成方法中,模拟视频通话来电界面示意图;
图4是本发明实施例提供的视频文件的生成方法中,模拟视频通话的通话界面示意图;
图5是本发明实施例提供的视频文件的生成方法中,预览窗口的界面示意图;
图6是本发明实施例提供的视频文件的生成方法的又一流程示意图;
图7是本发明实施例提供的视频文件的生成装置的一结构示意图;
图8是本发明实施例提供的视频文件的生成装置的另一结构示意图;
图9是本发明实施例提供的终端的结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例,其不应被视为限制本发明未在此详述的其它具体实施例。
在以下的说明中,本发明的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本发明原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本发明保护范围之内。
本发明实施例提供一种视频文件的生成方法、装置及存储介质。
其中,视频文件的生成装置可以集成在平板电脑、PC(个人计算机,PersonalComputer)、手机等具备储存单元并安装有微处理器而具有运算能力的终端机中。
例如,如图1所示,该视频文件的生成装置具有至少一个图像采集装置,比如可以是终端的前置摄像头,该视频文件的生成装置可以用于接收模拟视频通话请求,该请求例如可以是用户点击互联网应用的页面上的模拟视频通话请求按钮来发出。根据该请求,启动图像采集装置以实时采集用户图像,以及启动视频解码控件解码预定的素材视频,然后同步获取图像采集装置当前采集的用户图像帧和视频解码控件当前解码的素材视频图像帧,然后将同步获取的用户图像帧和素材视频图像帧进行合成以得到模拟视频通话图像帧,之后将该模拟视频通话图像帧显示在模拟视频通话窗口,从而可以实现模拟视频通话,并且根据所得到的所有模拟视频通话图像帧生成关于模拟视频通话过程的视频文件。由此,通过上述方式,本发明能够减少视频合成的时间,可以有效减少生成视频文件所需的时间,提高视频文件的生成效率。
在介绍本发明之前,先对本发明涉及的模拟视频通话功能做一些简单介绍。
本发明的模拟视频通话即是指对视频通话的模拟,并非是真实的通讯双方之间的视频通话,本发明主要是预先设定一素材视频,该素材视频的播放内容比如可以是明星打广告或者做宣传等,通过将该素材视频在模拟视频通话窗口中播放,并利用前置摄像头实时采集用户图像,将采集的用户图像也在模拟视频通话窗口中显示,从而用户可以在模拟视频通话窗口上看到明星素材视频中的图像以及用户自己的图像,从而模拟视频通话的通话画面,以实现模拟视频通话。素材视频中的内容具体比如可以是:明星面对着屏幕说“你好,我是XXX”、“拍照,我选择**手机”等等之类的内容,当在播放至这些内容时,用户也可以回应说“你好,我是XXX”,等等,从而模拟和明星进行视频通话,可以提高互联网应用的趣味性,并且还能达到广告宣传作用。
本发明实施例的模拟视频通话功能可以应用于各种互联网应中,比如即时通讯应用、朋友圈、微博、QQ空间、社交论坛等等,从而使得互联网应用可以实现模拟视频通话的功能。例如,可以在QQ空间的页面上设置一个用户接口,比如一个名称为“体验和XXX明星视频通话”的按键,用户可以通过点击该按键来发出模拟视频通话的请求,以进行模拟视频通话。
以下分别进行详细介绍。
第一实施例
本实施例将以终端的角度进行描述。参阅图2,本实施例的视频图像的合成方法中,可以包括如下步骤:
201、当接收到模拟视频通话请求时,启动图像采集装置以实时采集用户图像,以及启动视频解码控件解码预定的素材视频。
其中,图像采集装置比如可以是摄像头,如终端的前置摄像头。
例如,可以在互联网应用的页面上设置一个用户接口,比如一个名称为“体验和XXX明星视频通话”的按键,用户可以通过点击该按键来发出模拟视频通话的请求,以根据该请求进行模拟视频通话。
进一步地,如图3所示,为了使得用户获得更真实的视频通话体验,该“体验和XXX明星视频通话”的按键可以是一个模拟来电的按键,用户在点击该按键后,可以显示模拟视频通话窗口,该模拟视频通话窗口的大小可以和屏幕大小一致。此时,在模拟视频通话窗口的显示界面上可以显示“接听”的按键,另外还可以在显示界面上显示“XXX正在给你拨打视频电话”、或者头像等模拟视频通话对方的信息,此外,还可以在该显示界面上提供是否打开扬声器的按键,用户可以通过扬声器按键选择使用扬声器播放声音或者使用听筒播放声音,以此来模拟真实来电界面。
当用户点击“接听”按键后,则为发出模拟视频通话请求,从而根据该请求启动图像采集装置例如摄像头以实时采集用户图像,以及启动视频解码控件解码预定的素材视频。其中,视频解码控件例如为视频播放器中的解码器,即接收到模拟视频通话请求时,启动视频播放器播放素材视频,从而对素材视频进行解码,获得一帧帧的素材视频图像。需要说明的是,在本步骤中,启动视频播放器播放素材视频并非是指将素材视频在屏幕上显示播放,而是指对素材视频的解码过程,以获取解码的素材视频图像。
其中,素材视频为预先录制的视频,比如为了使用户可以模拟和明星视频通话,可以预先录制一段明星的视频,以获得素材视频。
在一种实施例中,可以提供用户可选的多种素材视频,多种素材视频存放在素材库中,多种素材视频比如可以是事先录制的不同明星的视频,用户可以选择自己喜欢的明星进行模拟视频通话。譬如,当用户点击“体验和XXX明星视频通话”的按键之后,可以显示多种素材视频供用户选择,当用户选择了其中一种素材视频之后,显示如图3所示的“接听”界面,以通过该界面发起模拟视频通话请求。此外,素材库中的素材视频的种类可以是多种多样,比如可以是关于节日的素材视频,或者关于各个城市的素材视频,等等,素材视频的选择也可以是根据当前时间或用户当前所处的地点进行自动选择。比如,当用户发起模拟视频通话请求后,可以获取当前时间,并根据当前时间判断当前时间所属的节日,或者在距离当前时间一段时间内最近的节日,然后选择与该节日相关的素材视频作为预定的素材视频;又或者,当用户发起模拟视频通话请求后,可以获取用户当前所处的位置,然后选取与用户所处的位置相关的素材视频作为预定的素材视频。
202、同步获取图像采集装置当前采集的用户图像帧和视频解码控件当前解码的素材视频图像帧。
当前采集的用户图像帧也即当前采集的一帧用户图像,当前解码的素材视频图像帧也即当前解码的一帧素材视频图像。
其中,在摄像头实时采集用户图像时,视频解码控件也在逐帧解码素材视频。当摄像头采集到一帧用户图像时,获取该帧用户图像,并且同步获取视频解码控件当前解码的一帧素材视频图像。进一步而言,可以是在检测到摄像头获取的用户图像帧产生更新时,在获取该更新后的用户图像帧时,同步获取视频解码控件当前解码的素材视频图像帧,从而实现图像的同步获取。
203、将同步获取的用户图像帧和素材视频图像帧进行合成以得到模拟视频通话图像帧。
本实施例中,每同步获取一用户图像帧和一素材视频图像帧,则将该同步获取的用户图像帧和素材视频图像帧进行合成,从而得到一模拟视频通话图像帧,具体可以包括如下步骤:
(11)获取用户图像帧的纹理数据和素材视频图像帧的纹理数据。
纹理数据可以反应图像表面的花纹或图案等,包括图像的颜色、亮度等信息。
其中,获取摄像头当前采集的一用户图像帧后,获取该当前用户图像帧的纹理数据,并同步获取视频解码控件当前解码的一素材视频图像帧,并获取该当前素材视频图像帧的纹理数据。
(12)根据第一渲染参数对用户图像帧的纹理数据进行渲染,得到渲染后的用户图像帧,第一渲染参数包括第一图像位置和第一图像尺寸。
(13)根据第二渲染参数对素材视频图像帧的纹理数据进行渲染,得到渲染后的素材视频图像帧,第二渲染参数包括第二图像位置和第二图像尺寸。
(14)将渲染后的用户图像帧合成至渲染后的素材视频图像帧中,得到模拟视频通话图像。
渲染参数是对纹理数据进行渲染的规则,规定了渲染后得到的图像所显示的位置和尺寸大小,其中第一渲染参数和第二渲染参数可以根据实际需要进行设置。
在一种实施例中,第一图像位置例如可以是视频通话窗口的显示界面的右上角,第二图像尺寸例如可以是小于视频通话窗口的显示界面,具体可以是1/6或者1/4等,也就是待渲染后的用户图像帧将在视频通话窗口的显示界面的右上角显示,其尺寸为该显示图像的1/6或者1/4等。第二图像位置比如可以是视频同窗口的显示界面的任一位置,比如显示界面的中间位置,第二图像尺寸为视频通话窗口的整个显示界面,即待渲染后的素材视频图像帧铺满视频通话窗口的整个显示界面,可以理解为该显示界面的背景图。
其中,步骤(14)中,将渲染后的用户图像帧合成至素材视频图像帧中,即,将渲染后的用户图像帧叠加在渲染后的素材视频图像帧上,例如将渲染后的用户图像帧放置在素材视频图像帧的右上角的位置,渲染后的用户图像帧的大小占素材视频图像帧的1/6或1/4等,而素材视频图像帧为铺满模拟视频通话窗口的整个显示界面。因此,得到的模拟视频通话图像的大小为模拟视频通话窗口的显示界面的大小。
204、在模拟视频通话窗口显示模拟视频通话图像帧,以及根据得到的所有模拟视频通话图像帧生成关于模拟视频通话过程的视频文件。
其中,每得到一模拟视频通话图像帧,则将得到的模拟视频通话图像帧进行显示,由此可以在模拟视频通话窗口中逐帧显示模拟视频通话图像,从而实现模拟视频通话。在模拟视频通话窗口逐帧显示模拟视频通话图像的过程也即使用视频播放器在模拟视频通话窗口播放模拟视频通话图像的过程。
如图4所示,本实施例中,在模拟视频通话窗口逐帧显示模拟视频通话图像。其中,显示模拟视频通话图像的过程中,模拟视频通话窗口上还可以显示“挂断”的按键,该“挂断”按键例如为图4中所示的中间图标,当用户点击该“挂断”按键时,则结束模拟视频通话;还可以显示麦克风打开或关闭的开关按键,即图4所示的左边图标;还可以显示对图像加特效的按键,即图4所示的右边图标。因此,在本实施例中,可以通过点击特效图标,对当前显示的模拟视频通话图像加特效或滤镜等。此外,还可以在模拟视频通话窗口中显示“XXX,与你的通话时间还剩下XX:XX”等信息,比如,可以通过获取素材视频中未解码的视频时长来获取剩余通话时间。通过上述方式,可以模拟真实视频通话的界面,使用户获得更真实的视频通话体验,提高应用的趣味性。
此外,当模拟视频通话结束后,根据所得到的所有模拟视频通话图像帧生成关于模拟视频通话过程的视频文件。该视频文件是对模拟视频通话过程的视频回放。
本实施例中,当接收到模拟视频通话请求后,启动语音输入装置,并通过语音输入装置获取第一语音信息。该第一语音信息包括用户输入的语音信息,该语音输入装置例如为终端自带的麦克风。此外,在模拟视频通话窗口显示模拟视频通话图像帧时,还获取模拟视频通话窗口当前播放的素材视频的语音信息,以获取第二语音信息,其中该第二语音信息也即包含在当前显示的模拟视频通话图像帧中的素材视频图像帧所对应的语音信息,由此根据第一语音信息和第二语音信息,确定模拟视频通话图像帧对应的语音信息。因此,在每合成得到一模拟视频通话图像帧后,在将模拟视频通话图像帧进行显示时,可以根据当前收到的第一语音信息和获取的第二语音信息确定当前显示的模拟视频通话图像帧对应的语音信息。其中,在显示模拟视频通话图像帧时,也同步播放包含在当前显示的模拟视频通话图像帧中的素材视频图像帧所对应的语音。
其中,用户可以手动结束模拟视频通话,或者也可以是在素材视频的播放时间到达时自动结束模拟视频通话。例如,当用户点击如图4所示的“挂断”按键以结束模拟视频通话后,即接收到完成模拟视频通话的指令,此时可以弹出对话框询问用户是否保存模拟视频通话过程的视频文件,当用户选择保存时,则根据用户的保存指令,生成该视频文件。或者,在其他实施方式中,也可以是在接收到结束模拟视频通话的指令时直接生成模拟视频通话过程的视频文件。
在一种实施方式中,生成该视频文件例如可以包括:每合成得到一模拟视频通话图像帧,则对该模拟视频通话图像帧进行视频编码,以得到模拟视频通话图像帧对应的视频帧;当接收到用户的保存指令时,根据所有视频帧生成画面视频,以及根据所有视频帧各自对应的语音信息生成音频音轨文件;将画面视频和音频音轨文件进行合成以得到模拟视频通话过程的视频文件。其中各视频帧对应的语音信息也即各视频帧对应的模拟视频通话图像帧所对应的语音信息。
此种方式中,显示模拟视频通话图像帧和对模拟视频通话图像帧进行视频编码是同步进行,即在将用户图像帧和素材视频图像帧进行合成得到一模拟视频通话图像帧后,将该模拟视频通话图像帧在模拟视频通话窗口进行显示,并将该模拟视频通话图像帧送入视频编码器进行视频编码,以转换成视频帧并存储,而不是在模拟视频通话结束后再对所有模拟视频通话图像帧逐一进行编码,由此可以进一步减少生成视频文件所需的时间。
当然,在另一种实施方式中,生成该视频文件比如可以包括:当接收到用户的保存指令时,对得到的所有模拟视频通话图像帧依次进行视频编码,以得到每一模拟视频通话图像帧对应的视频帧;根据每一模拟视频通话图像帧对应的语音信息,确定相应视频帧所对应的语音信息;根据得到的所有视频帧生成画面视频,以及根据所有视频帧各自对应的语音信息生成音频音轨文件;将画面视频和音频音轨文件进行合成以得到关于模拟视频通话过程的视频文件。
此种方式中,是在模拟视频通话结束后,再将所有模拟视频通话图像帧逐一进行编码,由此可以减少模拟视频通话过程的内存消耗,有利于提高模拟视频通话过程的流畅性。
其中本发明实施例中,可以采用系统硬件的方式将画面视频和音频音轨文件进行合成,通过使用系统硬件合成该画面视频和音频音轨文件,可以提高合成速度,具有更好的稳定性能。当硬件合成方式失败时,可以使用第三方合成软件进行合成,比如采用ffmpeg音视频编解码软件将画面视频和音频音轨文件进行合成。
本发明实施例中,通过同步获取图像采集装置当前采集的用户图像帧和视频解码控件当前解码的素材视频图像帧,然后将用户图像帧和素材视频图像帧进行合成后,再在模拟视频通话窗口显示合成得到的模拟视频通话图像帧,由此可以实现模拟视频通话,可以提高应用的趣味性,有利于吸引更多用户,并且利用素材视频还可以进行广告宣传等。
此外,本发明实施例是先对用户图像帧和素材视频图像帧进行合成,从而可以直接根据合成得到的模拟视频通话图像帧生成关于模拟视频通话过程的视频文件,即只需对模拟视频通话图像帧进行视频编码即可,且本发明实施例中涉及的图像之间的合成、画面视频和音频音轨文件的合成,相比两个视频之间的合成更为简单快速,因此与现有通过将两个独立视频进行合成方式相比,本发明实施例可以更快速地生成视频文件,能够减少视频文件的生成时间,提高视频文件的生成效率。另外,在本发明实施例中,可以一边进行模拟视频通话(也即显示模拟视频通话图像帧),一边对模拟视频通话图像帧进行视频编码以生成视频文件,可以进一步减少生成视频文件所需的时间。
为了使得模拟视频通话更逼真,用户可以在听到模拟视频通话窗口播放的素材视频的语音时,予以应答,比如,素材视频的语音为“hello,我是XXX”,用户可以通过麦克风进行语音应答,如可以说“hi你好,很高兴见到你”,等等。此外,为了增加与用户的互动性,通过语音输入装置获取第一语音信息之后,还可以包括:对第一语音信息进行识别,得到识别结果;根据识别结果获取与第一语音信息相匹配的应答内容,以获取第三语音信息,并播放第三语音信息。其中,可以预先存储多种语音信息以及对应的应答内容,例如,语音信息为“你使用的是什么手机”,对应的应答内容可以是“我正在使用**拍照手机与您进行视频通话”,等等。通过对用户输入的第一语音信息进行语音识别,以识别用户的讲话内容,然后根据识别的结果查询对应的应答内容,从而获得第三语音信息,并播放该第三语音信息。其中根据所述第一语音信息和所述第二语音信息,确定模拟视频通话图像帧对应的语音信息,包括:根据第一语音信息、第二语音信息和第三语音信息确定模拟视频通话图像帧对应的语音信息。
其中,如图5所示,在本发明另一实施例中,在将画面视频和音频音轨文件进行合成之前,还包括:在预览窗口同步播放画面视频和音频音轨文件,由此用户可以预览关于模拟视频通话过程的视频文件。
具体地,当用户点击如图4所示的“挂断”按键以结束模拟视频通话后,根据所有视频帧生成画面视频以及根据各视频帧各自对应的语音信息生成音频音轨文件后,可以显示如图5所示的预览窗口,即自动跳转到该预览窗口,并且可以自动同步播放画面视频和音频音轨文件,以播放关于模拟视频通话过程的视频文件的预览,用户也可以手动停止播放预览。其中,在该预览窗口设置有保存、编辑、分享、重新录制等按键,点击某一按键则会触发相应的事件,以实现相应的功能。其中,当用户点击保存按键时,根据用户的保存指令,将画面视频和音频音轨文件进行合成,以生成关于模拟视频通话过程的视频文件,并存储该视频文件。当用户点击编辑按键时,可以将画面视频和音频音轨文件进行合成以生成视频文件,并跳转至视频编辑界面,从而用户可以对该视频文件进行编辑,比如对视频文件中的视频画面增加滤镜等效果。当用户点击分享按键时,可以将画面视频和音频音轨文件进行合成以生成视频文件,并弹出各种社交网络,例如QQ、微信或微博等,用户可以选择其中一个或多个社交网络进行分享,从而根据用户的分享指令将该视频文件分享至用户所选择的社交网络。
比如,以QQ空间或朋友圈为例,当用户选择“分享”时,可以直接跳转至QQ空间的说说发表页面或者朋友圈的发表页面,用户可以在此页面编辑如“我和XXX视频通话了”、或者“XXX给我打电话了”等文字信息,然后将视频文件和文字一同发表在QQ空间或朋友圈。当然,还可以是自动生成上述文字信息,即当跳转至QQ空间的说说发表页面时,可以在文字编辑栏中生成上述文字信息,用户可以对该文字信息进行修改、删除等操作。或者,当用户点击分享按键之后,可以直接将视频文件发表出去,并自动生成相关文字信息进行发表。
通过提供用户将关于模拟视频通话过程的视频文件进行分享的功能,使得用户可以将视频文件分享出去,从而引起二次传播分享热点,使得素材视频中的广告宣传得到更好的传播,不仅提高趣味性,还可以吸引更多的用户。此外,本实施例在预览阶段,只需要一个视频播放器播放画面视频即可,与现有需要两个视频播放器分别播放素材视频和用户视频的方式相比,可以减少预览阶段所占用的内存资源,从而对终端的硬件要求更低,能够更好地支持中低端型终端,具有较好的稳定性和扩展性。
第二实施例
本实施例将以终端的角度进行描述,其中图像采集装置以摄像头为例进行说明。本实施例中,在视频文件的生成过程中,通过OpenGL渲染将素材视频图像帧和用户图像帧合成在一起。OpenGL(Open Graphics Library,开放式图形库)是定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口,主要用于三维图像、二维图像的绘制,是一个功能强大、调用方便的底层图像库。
参阅图6,本实施例的视频文件的生成方法中,包括如下步骤:
601、初始化视频播放器和摄像头,以分别对视频播放器和摄像头绑定一个surfaceTexture对象,并初始化视频编码组件(MediaCodec)实例。
其中,surfaceTexture可以用来捕获视频流中的图像帧,视频流可以是相机图像或者视频解码数据,也即解码的视频帧图片。通过对视频播放器绑定surfaceTexture对象,可以获取解码的素材视频的素材视频图像帧,通过对图像采集装置比如摄像头绑定surfaceTexture对象,可以获取摄像头采集的用户图像帧。
602、当检测到摄像头采集的用户图像帧更新时,同步更新视频播放器绑定的surfaceTexture对象所获取的素材视频图像帧和摄像头绑定的surfaceTexture对象所获取的用户图像帧。
通过步骤702,可以获取摄像头采集的用户图像帧,并在获取一用户图像帧时,同步获取视频解码控件当前解码的素材视频图像帧。其中,当摄像头采集的用户图像帧更新时,通过摄像头绑定的surfaceTexture对象获取更新后的用户图像帧,以及同步获取视频解码控件当前解码的素材视频图像帧,从而同步更新视频播放器绑定的surfaceTexture对象所获取的素材视频图像帧和摄像头绑定的surfaceTexture对象所获取的用户图像帧,以实现图像同步。
603、通过摄像头绑定的surfaceTexture对象获取用户图像帧的纹理数据,并通过OpenGL的着色器(Shader)根据第一渲染参数对用户图像帧的纹理数据进行渲染,得到渲染后的用户图像帧,以及通过视频播放器绑定的surfaceTexture对象获取素材视频图像帧的纹理数据,并通过OpenGL Shader根据第二渲染参数对素材视频图像帧的纹理数据进行渲染,得到渲染后的素材视频图像帧。
具体地,同步更新视频播放器绑定的surfaceTexture对象所获取的素材视频和摄像头绑定的surfaceTexture对象所获取的用户图像后,获取更新后的用户图像的纹理数据,以及更新后的素材视频光滑面的纹理数据。
其中,可以将渲染后的用户图像帧和素材视频图像帧缓存在帧缓存区(FBO,FrameBuffer Object)中,比如在FBO1中缓存渲染的用户图像帧,在FBO2缓存渲染的素材视频图像帧。
其中,第一渲染参数包括第一图像位置和第一图像尺寸,第二渲染参数包括第二图像位置和第二图像尺寸。第一图像位置例如可以是视频通话窗口的显示界面的右上角,第二图像尺寸例如可以是小于视频通话窗口的显示界面,具体可以是1/6或者1/4等,也就是待渲染后的用户图像将在视频通话窗口的显示界面的右上角显示,其尺寸为该显示图像的1/6或者1/4等。第二图像位置比如可以是视频同窗口的显示界面的任一位置,比如显示界面的中间位置,第二图像尺寸为视频通话窗口的整个显示界面,即待渲染后的素材视频图像铺满视频通话窗口的整个显示界面,可以理解为该显示界面的背景图。
604、将渲染后的用户图像帧和渲染后的素材视频图像帧进行合成,得到模拟视频通话图像帧。
其中,将渲染后的用户图像帧叠加在渲染后的素材视频图像帧上,以对用户图像帧和素材视频图像帧进行合成。进一步而言,通过将渲染后的用户图像帧的纹理数据叠加在渲染后的素材视频图像帧的纹理数据上,并将叠加后的纹理数据缓存在FBO3中,通过将FBO3的纹理数据渲染在GLsurfaceView上,从而得到一模拟视频通话图像帧。
605、在模拟视频通话窗口显示模拟视频通话图像帧,并根据得到的所有模拟视频通话图像帧生成关于模拟视频通话过程的视频文件。
其中,在将模拟视频通话图像帧进行显示时,视频编码组件实例可以是同步获取FBO3中缓存的纹理数据,以获取模拟视频通话图像帧,然后通过OpenGL Shader将该纹理数据渲染到视频编码组件绑定的surfaceView上,从而视频编码组件以任务队列的形式从surfaceView获取模拟视频通话图像帧,然后进行视频编码以获取相应的视频帧,以生成视频文件。
相比于将素材视频和摄像头获取的用户视频进行合成以生成视频文件的方式相比,本发明实施例不需要合成两个独立视频,只需对一帧帧模拟视频通话图像进行视频编码即可,可以极大减少视频生成所需的时间,提高视频生成的效率。
第三实施例
本实施例提供一种视频文件的生成装置,该装置例如可以集成在手机等终端中。参阅图7,该模拟视频通话的装置包括启动模块701、第一获取模块702、合成模块703以及显示和生成模块704。
(1)启动模块701;
启动模块701用于当接收到模拟视频通话请求时,启动图像采集装置以实时采集用户图像,以及启动视频解码控件解码预定的素材视频。
图像采集装置例如可以是终端的摄像头,比如前置摄像头。
例如,可以在互联网应用的页面上设置一个用户接口,比如一个名称为“体验和XXX明星视频通话”的按键,用户可以通过点击该按键来发出模拟视频通话的请求,以根据该请求进行模拟视频通话。
其中,视频解码控件例如为视频播放器中的解码器,即接收到模拟视频通话请求时,启动视频播放器播放素材视频,从而对素材视频进行解码,获得一帧帧的素材视频图像。需要说明的是,启动视频播放器播放素材视频并非是指将素材视频在屏幕上显示播放,而是指对素材视频的解码过程,以获取解码的素材视频图像。
其中,素材视频为预先录制的视频,比如为了使用户可以模拟和明星视频通话,可以预先录制一段明星的视频,以获得素材视频。
(2)第一获取模块702;
第一获取模块702用于同步获取图像采集装置当前采集的用户图像帧和视频解码控件当前解码的素材视频图像帧。
其中,在摄像头实时采集用户图像时,视频解码控件也在逐帧解码素材视频。当摄像头采集到一帧用户图像时,获取该帧用户图像,并且同步获取视频解码控件当前解码的一帧素材视频图像。进一步而言,可以是在检测到摄像头获取的用户图像帧产生更新时,在获取该更新后的用户图像帧时,同步获取视频解码控件当前解码的素材视频图像帧,从而实现图像的同步获取。
(3)合成模块703;
合成模块703用于将同步获取的用户图像帧和素材视频图像帧进行合成以得到模拟视频通话图像帧。具体地,合成模块703可以用于获取用户图像帧的纹理数据和素材视频图像帧的纹理数据,然后根据第一渲染参数对用户图像帧的纹理数据进行渲染,得到渲染后的用户图像帧,第一渲染参数包括第一图像位置和第一图像尺寸,根据第二渲染参数对素材视频图像帧的纹理数据进行渲染,得到渲染后的素材视频图像帧,第二渲染参数包括第二图像位置和第二图像尺寸。之后将渲染后的用户图像帧和渲染后的素材视频图像帧进行合成,得到模拟视频通话图像帧。
在一种实施例中,第一图像位置例如可以是视频通话窗口的显示界面的右上角,第二图像尺寸例如可以是小于视频通话窗口的显示界面,具体可以是1/6或者1/4等,也就是待渲染后的用户图像帧将在视频通话窗口的显示界面的右上角显示,其尺寸为该显示图像的1/6或者1/4等。第二图像位置比如可以是视频同窗口的显示界面的任一位置,比如显示界面的中间位置,第二图像尺寸为视频通话窗口的整个显示界面,即待渲染后的素材视频图像帧铺满视频通话窗口的整个显示界面,可以理解为该显示界面的背景图。
其中,将渲染后的用户图像帧合成至素材视频图像帧中,即,将渲染后的用户图像帧叠加在渲染后的素材视频图像帧上,例如将渲染后的用户图像帧放置在素材视频图像帧的右上角的位置,渲染后的用户图像帧的大小占素材视频图像帧的1/6或1/4等,而素材视频图像帧为铺满模拟视频通话窗口的整个显示界面。因此,得到的模拟视频通话图像的大小为模拟视频通话窗口的显示界面的大小。
(4)显示和生成模块704;
显示和生成模块804用于在视频通话窗口显示模拟视频通话图像,以及根据得到的所有模拟视频通话图像帧生成关于模拟视频通话过程的视频文件。
其中,每得到一模拟视频通话图像帧,则将得到的模拟视频通话图像帧进行显示,由此可以在模拟视频通话窗口中逐帧显示模拟视频通话图像,从而实现模拟视频通话。在模拟视频通话窗口逐帧显示模拟视频通话图像的过程也即使用视频播放器在模拟视频通话窗口播放模拟视频通话图像的过程。
其中,显示和生成模块704具体可以用于每得到一模拟视频图像帧,则对得到的一模拟视频通话图像帧进行视频编码,以得到模拟视频通话图像帧对应的视频帧;在接收到完成模拟视频通话的指令后,根据所有视频帧生成关于模拟视频通话过程的视频文件。在其他实施方式中,显示和生成模块704也可以是在接收到完成模拟视频通话的指令后,对得到的所有模拟视频通话图像帧依次进行视频编码,以得到每一模拟视频通话图像帧对应的视频帧,从而根据所有视频帧生成关于模拟视频通话过程的视频文件。
本发明实施例中,通过同步获取图像采集装置当前采集的用户图像帧和视频解码控件当前解码的素材视频图像帧,然后将用户图像帧和素材视频图像帧进行合成后,再在模拟视频通话窗口显示合成得到的模拟视频通话图像帧,由此可以实现模拟视频通话,可以提高应用的趣味性,有利于吸引更多用户,并且利用素材视频还可以进行广告宣传等。
此外,本发明实施例是先对用户图像帧和素材视频图像帧进行合成,从而可以直接根据合成得到的模拟视频通话图像帧生成关于模拟视频通话过程的视频文件,即只需对模拟视频通话图像帧进行视频编码即可,且本发明实施例中涉及的图像之间的合成,相比两个视频之间的合成更为简单快速,因此与现有通过将两个独立视频进行合成方式相比,本发明实施例可以更快速地生成视频文件,能够减少视频文件的生成时间,提高视频文件的生成效率。另外,在本发明实施例中,可以一边进行模拟视频通话(也即显示模拟视频通话图像帧),一边对模拟视频通话图像帧进行视频编码以生成视频文件,可以进一步减少生成视频文件所需的时间。
进一步地,参阅图8,视频文件的生成装置还可以包括第二获取模块705、第三获取模块706、确定模块707、预览模块708以及分享模块709。
第二获取模块705用于当接收到模拟视频通话请求后,启动语音输入装置,并通过语音输入装置获取第一语音信息。该第一语音信息包括用户输入的语音信息,该语音输入装置例如为终端自带的麦克风。第三获取模块706用于在显示和生成模块704在模拟视频通话窗口显示模拟视频通话图像帧时,获取模拟视频通话窗口当前播放的素材视频的语音信息,以获取第二语音信息。其中该第二语音信息也即包含在当前显示的模拟视频通话图像帧中的素材视频图像帧所对应的语音信息。确定模块707用于根据第一语音信息和第二语音信息,确定模拟视频通话图像帧对应的语音信息。
其中,显示和生成模块704具体可以用于每合成得到一模拟视频通话图像帧,则对该模拟视频通话图像帧进行视频编码,以得到模拟视频通话图像帧对应的视频帧;当接收到用户的保存指令时,根据所有视频帧生成画面视频,以及根据所有视频帧各自对应的语音信息生成音频音轨文件;将画面视频和音频音轨文件进行合成以得到模拟视频通话过程的视频文件。其中,各视频帧对应的语音信息也即各视频帧对应的模拟视频通话图像帧所对应的语音信息。
本实施例中,显示模拟视频通话图像帧和对模拟视频通话图像帧进行视频编码是同步进行,即在将用户图像帧和素材视频图像帧进行合成得到一模拟视频通话图像帧后,将该模拟视频通话图像帧在模拟视频通话窗口进行显示,并将该模拟视频通话图像帧送入视频编码器进行视频编码,以转换成视频帧并存储,而不是在模拟视频通话结束后再对所有模拟视频通话图像帧逐一进行编码,由此可以进一步减少生成视频文件所需的时间。
其中,显示和生成模块704具体可以采用系统硬件的方式将画面视频和音频音轨文件进行合成,通过使用系统硬件合成该画面视频和音频音轨文件,可以提高合成速度,具有更好的稳定性能。当硬件合成方式失败时,可以使用第三方合成软件进行合成,比如采用ffmpeg音视频编解码软件将画面视频和音频音轨文件进行合成。
其中,预览模块708用于在生成和显示模块704将画面视频和音频音轨文件进行合成之前,在预览窗口同步播放画面视频和音频音轨文件。由此,用户可以预览关于模拟视频通话过程的视频文件。
其中,分享模块709用于根据用户的分享指令,将视频文件分享至社交网络。
通过提供用户将关于模拟视频通话过程的视频文件进行分享的功能,使得用户可以将视频文件分享出去,从而引起二次传播分享热点,使得素材视频中的广告宣传得到更好的传播,不仅提高趣味性,还可以吸引更多的用户。此外,本实施例在预览阶段,只需要一个视频播放器播放画面视频即可,与现有需要两个视频播放器分别播放素材视频和用户视频的方式相比,可以减少预览阶段所占用的内存资源,从而对终端的硬件要求更低,能够更好地支持中低端型终端,具有较好的稳定性和扩展性。
第四实施例
相应的,本发明实施例还提供一种终端,如图9所示,该终端可以包括射频(RF,Radio Frequency)电路901、包括有一个或一个以上计算机可读存储介质的存储器902、输入单元903、显示单元904、传感器905、音频电路906、无线保真(WiFi,Wireless Fidelity)模块907、包括有一个或者一个以上处理核心的处理器908、以及电源909等部件。本领域技术人员可以理解,图9中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路901可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器908处理;另外,将涉及上行的数据发送给基站。通常,RF电路901包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路901还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GSM,Global System of Mobile communication)、通用分组无线服务(GPRS,GeneralPacket Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division Multiple Access)、长期演进(LTE,Long TermEvolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器902可用于存储软件程序以及模块,处理器908通过运行存储在存储器902的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器902可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器902还可以包括存储器控制器,以提供处理器908和输入单元903对存储器902的访问。
输入单元903可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元903可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器908,并能接收处理器908发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元903还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元904可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元904可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器908以确定触摸事件的类型,随后处理器908根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图9中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器905,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路906、扬声器,传声器可提供用户与终端之间的音频接口。音频电路906可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路906接收后转换为音频数据,再将音频数据输出处理器908处理后,经RF电路901以发送给比如另一终端,或者将音频数据输出至存储器902以便进一步处理。音频电路906还可能包括耳塞插孔,以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术,终端通过WiFi模块907可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块907,但是可以理解的是,其并不属于终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器908是终端的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器902内的软件程序和/或模块,以及调用存储在存储器902内的数据,执行终端的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器908可包括一个或多个处理核心;优选的,处理器908可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器908中。
终端还包括给各个部件供电的电源909(比如电池),优选的,电源可以通过电源管理系统与处理器908逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源909还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端中的处理器908会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中,并由处理器908来运行存储在存储器902中的应用程序,从而实现各种功能:
当接收到模拟视频通话请求时,启动图像采集装置以实时采集用户图像,以及启动视频解码控件解码预定的素材视频,然后同步获取图像采集装置当前采集的用户图像帧和视频解码控件当前解码的素材视频图像帧,并将同步获取的用户图像帧和素材视频图像帧进行合成以得到模拟视频通话图像帧;之后在模拟视频通话窗口显示模拟视频通话图像帧,以及根据得到的所有模拟视频通话图像帧生成关于模拟视频通话过程的视频文件。
其中,可以通过获取用户图像帧的纹理数据和素材视频图像帧的纹理数据,然后根据第一渲染参数对用户图像帧的纹理数据进行渲染,根据第二渲染参数对素材视频图像帧的纹理数据进行渲染,将渲染后的用户图像帧合成至渲染后的素材视频图像帧中,得到模拟视频通话图像帧。
其中,可以每得到一模拟视频图像帧,则对得到的一模拟视频通话图像帧进行视频编码,以得到模拟视频通话图像帧对应的视频帧;在接收到完成模拟视频通话的指令后,根据所有视频帧生成关于模拟视频通话过程的视频文件。
其中,当接收到模拟视频通话请求后,启动语音输入装置,并通过语音输入装置获取第一语音信息;当在模拟视频通话窗口显示模拟视频通话图像帧时,获取模拟视频通话窗口当前播放的素材视频的语音信息,以获取第二语音信息;根据第一语音信息和第二语音信息,确定模拟视频通话图像帧对应的语音信息,进而在得到模拟视频通话图像帧对应的视频帧后,确定视频帧对应的语音信息。
其中,根据所有视频帧生成画面视频,以及根据所有视频帧各自对应的语音信息生成音频音轨文件,然后将画面视频和音频音轨文件进行合成,以得到关于模拟视频通话过程的视频文件。
其中,可以通过硬件合成的方式将画面视频和音频音轨文件进行合成;当采用硬件合成的方式合成失败时,通过软件合成的方式将画面视频和音频音轨文件进行合成。
第五实施例
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种视频文件的生成方法中的步骤。例如,该指令可以如下步骤:
当接收到模拟视频通话请求时,启动图像采集装置以实时采集用户图像,以及启动视频解码控件解码预定的素材视频,然后同步获取图像采集装置当前采集的用户图像帧和视频解码控件当前解码的素材视频图像帧,并将同步获取的用户图像帧和素材视频图像帧进行合成以得到模拟视频通话图像帧;之后在模拟视频通话窗口显示模拟视频通话图像帧,以及根据得到的所有模拟视频通话图像帧生成关于模拟视频通话过程的视频文件。
其中,可以通过获取用户图像帧的纹理数据和素材视频图像帧的纹理数据,然后根据第一渲染参数对用户图像帧的纹理数据进行渲染,根据第二渲染参数对素材视频图像帧的纹理数据进行渲染,将渲染后的用户图像帧合成至渲染后的素材视频图像帧中,得到模拟视频通话图像帧。
其中,可以每得到一模拟视频图像帧,则对得到的一模拟视频通话图像帧进行视频编码,以得到模拟视频通话图像帧对应的视频帧;在接收到完成模拟视频通话的指令后,根据所有视频帧生成关于模拟视频通话过程的视频文件。
其中,当接收到模拟视频通话请求后,启动语音输入装置,并通过语音输入装置获取第一语音信息;当在模拟视频通话窗口显示模拟视频通话图像帧时,获取模拟视频通话窗口当前播放的素材视频的语音信息,以获取第二语音信息;根据第一语音信息和第二语音信息,确定模拟视频通话图像帧对应的语音信息,进而在得到模拟视频通话图像帧对应的视频帧后,确定视频帧对应的语音信息。
其中,根据所有视频帧生成画面视频,以及根据所有视频帧各自对应的语音信息生成音频音轨文件,然后将画面视频和音频音轨文件进行合成,以得到关于模拟视频通话过程的视频文件。
其中,可以通过硬件合成的方式将画面视频和音频音轨文件进行合成;当采用硬件合成的方式合成失败时,通过软件合成的方式将画面视频和音频音轨文件进行合成。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种视频文件的生成方法中的步骤,因此,可以实现本发明实施例所提供的任一种视频文件的生成方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种视频文件的生成方法、装置及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种视频文件的生成方法,其特征在于,包括:
当接收到模拟视频通话请求时,启动图像采集装置以实时采集用户图像,以及启动视频解码控件解码预定的素材视频;
同步获取所述图像采集装置当前采集的用户图像帧和所述视频解码控件当前解码的素材视频图像帧;
将同步获取的所述用户图像帧和所述素材视频图像帧进行合成以得到模拟视频通话图像帧;
在模拟视频通话窗口显示所述模拟视频通话图像帧;
每得到一模拟视频图像帧,则对得到的一所述模拟视频通话图像帧进行视频编码,以得到所述模拟视频通话图像帧对应的视频帧;
在接收到完成模拟视频通话的指令后,根据所有所述视频帧生成关于模拟视频通话过程的视频文件。
2.根据权利要求1所述的方法,其特征在于,所述将同步获取的所述用户图像帧和所述素材视频图像帧进行合成以得到模拟视频通话图像帧,包括:
获取所述用户图像帧的纹理数据和所述素材视频图像帧的纹理数据;
根据第一渲染参数对所述用户图像帧的纹理数据进行渲染,得到渲染后的用户图像帧,所述第一渲染参数包括第一图像位置和第一图像尺寸;
根据第二渲染参数对所述素材视频图像帧的纹理数据进行渲染,得到渲染后的素材视频图像帧,所述第二渲染参数包括第二图像位置和第二图像尺寸;
将所述渲染后的用户图像帧合成至所述渲染后的素材视频图像帧中,得到模拟视频通话图像帧。
3.根据权利要求2所述的方法,其特征在于,所述第一图像位置为视频通话窗口的显示界面的右上角,所述第一图像尺寸小于视频通话窗口的显示界面;
所述第二图像位置为视频通话窗口的显示界面的任一位置,所述第二图像尺寸为铺满视频通话窗口的整个显示界面。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到模拟视频通话请求后,启动语音输入装置,并通过所述语音输入装置获取第一语音信息;
当在模拟视频通话窗口显示所述模拟视频通话图像帧时,获取模拟视频通话窗口当前播放的素材视频的语音信息,以获取第二语音信息;
根据所述第一语音信息和所述第二语音信息,确定所述模拟视频通话图像帧对应的语音信息,进而在得到所述模拟视频通话图像帧对应的视频帧后,确定所述视频帧对应的语音信息。
5.根据权利要求4所述的方法,其特征在于,所述在接收到完成模拟视频通话的指令后,根据所有所述视频帧生成关于模拟视频通话过程的视频文件,包括:
根据所有所述视频帧生成画面视频,以及根据所有所述视频帧各自对应的语音信息生成音频音轨文件;
将所述画面视频和所述音频音轨文件进行合成,以得到关于模拟视频通话过程的视频文件。
6.根据权利要求5所述的方法,其特征在于,所述将所述画面视频和所述音频音轨文件进行合成,包括:
通过硬件合成的方式将所述画面视频和所述音频音轨文件进行合成;
当采用所述硬件合成的方式合成失败时,通过软件合成的方式将所述画面视频和所述音频音轨文件进行合成。
7.根据权利要求5所述的方法,其特征在于,在将所述画面视频和所述音频音轨文件进行合成之前,还包括:
在预览窗口同步播放所述画面视频和所述音频音轨文件。
8.根据权利要求1所述的方法,其特征在于,在根据所有所述视频帧生成关于模拟视频通话过程的视频文件之后,还包括:
根据接收到的分享指令,将所述视频文件分享至社交网络。
9.一种视频文件的生成装置,其特征在于,包括:
启动模块,用于当接收到模拟视频通话请求时,启动图像采集装置以实时采集用户图像,以及启动视频解码控件解码预定的素材视频;
第一获取模块,用于同步获取所述图像采集装置当前采集的用户图像帧和所述视频解码控件当前解码的素材视频图像帧;
合成模块,用于将同步获取的所述用户图像帧和所述素材视频图像帧进行合成以得到模拟视频通话图像帧;
显示模块,用于在模拟视频通话窗口显示所述模拟视频通话图像帧;
编码模块,用于每得到一模拟视频图像帧,则对得到的一所述模拟视频通话图像帧进行视频编码,以得到所述模拟视频通话图像帧对应的视频帧;
生成模块,用于在接收到完成模拟视频通话的指令后,根据所有所述视频帧生成关于模拟视频通话过程的视频文件。
10.根据权利要求9所述的生成装置,其特征在于,所述合成模块用于:
获取所述用户图像帧的纹理数据和所述素材视频图像帧的纹理数据;
根据第一渲染参数对所述用户图像帧的纹理数据进行渲染,得到渲染后的用户图像帧,所述第一渲染参数包括第一图像位置和第一图像尺寸;
根据第二渲染参数对所述素材视频图像帧的纹理数据进行渲染,得到渲染后的素材视频图像帧,所述第二渲染参数包括第二图像位置和第二图像尺寸;
将所述渲染后的用户图像帧合成至所述渲染后的素材视频图像帧中,得到模拟视频通话图像帧。
11.根据权利要求9所述的生成装置,其特征在于,还包括:
第二获取模块,用于当接收到模拟视频通话请求后,启动语音输入装置,并通过所述语音输入装置获取第一语音信息;
第三获取模块,用于当在模拟视频通话窗口显示所述模拟视频通话图像帧时,获取模拟视频通话窗口当前播放的素材视频的语音信息,以获取第二语音信息;
确定模块,用于根据所述第一语音信息和所述第二语音信息,确定所述模拟视频通话图像帧对应的语音信息,进而在得到所述模拟视频通话图像帧对应的视频帧后,确定所述视频帧对应的语音信息。
12.根据权利要求11所述的生成装置,其特征在于,所述生成模块用于:
根据所有所述视频帧生成画面视频,以及根据所有所述视频帧各自对应的语音信息生成音频音轨文件;
将所述画面视频和所述音频音轨文件进行合成,以得到关于模拟视频通话过程的视频文件。
13.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至8任一项所述的视频文件的生成方法中的步骤。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810751296.9A CN108924464B (zh) | 2018-07-10 | 2018-07-10 | 视频文件的生成方法、装置及存储介质 |
PCT/CN2019/090346 WO2020010971A1 (zh) | 2018-07-10 | 2019-06-06 | 视频文件的生成方法、装置及存储介质 |
TW108123648A TWI732240B (zh) | 2018-07-10 | 2019-07-04 | 視頻檔案的生成方法、裝置及儲存媒體 |
US17/007,664 US10904482B2 (en) | 2018-07-10 | 2020-08-31 | Method and apparatus for generating video file, and storage medium |
US17/119,372 US11178358B2 (en) | 2018-07-10 | 2020-12-11 | Method and apparatus for generating video file, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810751296.9A CN108924464B (zh) | 2018-07-10 | 2018-07-10 | 视频文件的生成方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108924464A CN108924464A (zh) | 2018-11-30 |
CN108924464B true CN108924464B (zh) | 2021-06-08 |
Family
ID=64412445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810751296.9A Active CN108924464B (zh) | 2018-07-10 | 2018-07-10 | 视频文件的生成方法、装置及存储介质 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10904482B2 (zh) |
CN (1) | CN108924464B (zh) |
TW (1) | TWI732240B (zh) |
WO (1) | WO2020010971A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108924464B (zh) * | 2018-07-10 | 2021-06-08 | 腾讯科技(深圳)有限公司 | 视频文件的生成方法、装置及存储介质 |
CN109547711A (zh) * | 2018-11-08 | 2019-03-29 | 北京微播视界科技有限公司 | 视频合成方法、装置、计算机设备及可读存储介质 |
CN109889877A (zh) * | 2019-03-29 | 2019-06-14 | 上海势航网络科技有限公司 | 客车多屏显示控制方法及装置 |
CN110507992B (zh) * | 2019-08-28 | 2023-08-25 | 腾讯科技(深圳)有限公司 | 一种虚拟场景中的技术支持方法、装置、设备及存储介质 |
CN111161392B (zh) * | 2019-12-20 | 2022-12-16 | 苏宁云计算有限公司 | 一种视频的生成方法、装置及计算机系统 |
CN113556500B (zh) * | 2020-04-24 | 2022-05-13 | 华为技术有限公司 | 一种视频叠加方法、装置及系统 |
CN111935528B (zh) * | 2020-06-22 | 2022-12-16 | 北京百度网讯科技有限公司 | 视频生成方法和装置 |
CN112511741A (zh) * | 2020-11-25 | 2021-03-16 | 努比亚技术有限公司 | 一种图像处理方法、移动终端以及计算机存储介质 |
CN112565627B (zh) * | 2020-11-30 | 2023-02-03 | 天津津航计算技术研究所 | 一种基于位图叠加的多路视频集中显示设计方法 |
CN114915722B (zh) * | 2021-02-09 | 2023-08-22 | 华为技术有限公司 | 处理视频的方法和装置 |
CN113296723B (zh) * | 2021-05-21 | 2022-04-01 | 重庆紫光华山智安科技有限公司 | 目标框与视频帧的同步显示方法、系统、设备及介质 |
CN114979766B (zh) * | 2022-05-11 | 2023-11-21 | 深圳市闪剪智能科技有限公司 | 音视频的合成方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101489087A (zh) * | 2008-01-18 | 2009-07-22 | 德信智能手机技术(北京)有限公司 | 一种视频通话过程中图像的合成录制方法 |
CN101616295A (zh) * | 2009-07-15 | 2009-12-30 | 中兴通讯股份有限公司 | 视频通话中视频文件的生成方法和装置 |
CN101938623A (zh) * | 2010-09-09 | 2011-01-05 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于视频通话的多路图像传输方法及终端 |
CN103489210A (zh) * | 2013-09-06 | 2014-01-01 | 雷路德 | 一种虚拟人物主动联系系统及其方法 |
CN105120301A (zh) * | 2015-08-25 | 2015-12-02 | 小米科技有限责任公司 | 视频处理方法和装置、智能设备 |
CN105187733A (zh) * | 2014-06-06 | 2015-12-23 | 腾讯科技(北京)有限公司 | 视频处理方法、装置及终端 |
CN107170030A (zh) * | 2017-05-31 | 2017-09-15 | 珠海金山网络游戏科技有限公司 | 一种虚拟主播直播方法及系统 |
CN107465818A (zh) * | 2017-07-26 | 2017-12-12 | 深圳市金立通信设备有限公司 | 一种虚拟来电的方法及终端 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8386918B2 (en) * | 2007-12-06 | 2013-02-26 | International Business Machines Corporation | Rendering of real world objects and interactions into a virtual universe |
KR101764372B1 (ko) * | 2011-04-19 | 2017-08-03 | 삼성전자주식회사 | 휴대용 단말기에서 영상 합성 방법 및 장치 |
US10230950B2 (en) * | 2013-05-30 | 2019-03-12 | Intel Corporation | Bit-rate control for video coding using object-of-interest data |
US20150091891A1 (en) * | 2013-09-30 | 2015-04-02 | Dumedia, Inc. | System and method for non-holographic teleportation |
US9332046B2 (en) * | 2013-10-17 | 2016-05-03 | Cisco Technology, Inc. | Rate-adapted delivery of virtual desktop image elements by an edge server in a computer network environment |
US9654727B2 (en) * | 2015-06-01 | 2017-05-16 | Apple Inc. | Techniques to overcome communication lag between terminals performing video mirroring and annotation operations |
CN104992187B (zh) * | 2015-07-14 | 2018-08-31 | 西安电子科技大学 | 基于张量动态纹理模型的极光视频分类方法 |
US10645137B2 (en) * | 2015-12-28 | 2020-05-05 | Facebook, Inc. | Systems and methods to create composite videos |
CN107613239B (zh) * | 2017-09-11 | 2020-09-11 | Oppo广东移动通信有限公司 | 视频通信背景显示方法和装置 |
CN107995420B (zh) * | 2017-11-30 | 2021-02-05 | 努比亚技术有限公司 | 远程合影控制方法、双面屏终端及计算机可读存储介质 |
CN108924464B (zh) * | 2018-07-10 | 2021-06-08 | 腾讯科技(深圳)有限公司 | 视频文件的生成方法、装置及存储介质 |
US10609332B1 (en) * | 2018-12-21 | 2020-03-31 | Microsoft Technology Licensing, Llc | Video conferencing supporting a composite video stream |
-
2018
- 2018-07-10 CN CN201810751296.9A patent/CN108924464B/zh active Active
-
2019
- 2019-06-06 WO PCT/CN2019/090346 patent/WO2020010971A1/zh active Application Filing
- 2019-07-04 TW TW108123648A patent/TWI732240B/zh active
-
2020
- 2020-08-31 US US17/007,664 patent/US10904482B2/en active Active
- 2020-12-11 US US17/119,372 patent/US11178358B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101489087A (zh) * | 2008-01-18 | 2009-07-22 | 德信智能手机技术(北京)有限公司 | 一种视频通话过程中图像的合成录制方法 |
CN101616295A (zh) * | 2009-07-15 | 2009-12-30 | 中兴通讯股份有限公司 | 视频通话中视频文件的生成方法和装置 |
CN101938623A (zh) * | 2010-09-09 | 2011-01-05 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于视频通话的多路图像传输方法及终端 |
CN103489210A (zh) * | 2013-09-06 | 2014-01-01 | 雷路德 | 一种虚拟人物主动联系系统及其方法 |
CN105187733A (zh) * | 2014-06-06 | 2015-12-23 | 腾讯科技(北京)有限公司 | 视频处理方法、装置及终端 |
CN105120301A (zh) * | 2015-08-25 | 2015-12-02 | 小米科技有限责任公司 | 视频处理方法和装置、智能设备 |
CN107170030A (zh) * | 2017-05-31 | 2017-09-15 | 珠海金山网络游戏科技有限公司 | 一种虚拟主播直播方法及系统 |
CN107465818A (zh) * | 2017-07-26 | 2017-12-12 | 深圳市金立通信设备有限公司 | 一种虚拟来电的方法及终端 |
Also Published As
Publication number | Publication date |
---|---|
TWI732240B (zh) | 2021-07-01 |
US11178358B2 (en) | 2021-11-16 |
US20210099674A1 (en) | 2021-04-01 |
TW202007142A (zh) | 2020-02-01 |
US20200396419A1 (en) | 2020-12-17 |
WO2020010971A1 (zh) | 2020-01-16 |
US10904482B2 (en) | 2021-01-26 |
CN108924464A (zh) | 2018-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108924464B (zh) | 视频文件的生成方法、装置及存储介质 | |
CN110377250B (zh) | 一种投屏场景下的触控方法及电子设备 | |
US11880628B2 (en) | Screen mirroring display method and electronic device | |
WO2020187086A1 (zh) | 一种视频剪辑方法、装置、设备和存储介质 | |
CN106341695B (zh) | 直播间互动方法、装置及系统 | |
TWI592021B (zh) | 生成視頻的方法、裝置及終端 | |
WO2016177296A1 (zh) | 一种生成视频的方法和装置 | |
CN106789562B (zh) | 一种虚拟物品发送方法、接收方法、装置和系统 | |
CN107770618B (zh) | 一种图像处理方法、装置及存储介质 | |
CN110213504B (zh) | 一种视频处理方法、信息发送方法及相关设备 | |
CN108566332B (zh) | 一种即时通讯信息处理方法、装置和存储介质 | |
WO2017181796A1 (zh) | 节目互动系统、方法、客户端及后台服务器 | |
CN110662090B (zh) | 一种视频处理方法和系统 | |
CN105979312B (zh) | 一种信息分享方法及装置 | |
CN103207728A (zh) | 提供增强现实的方法和支持该方法的终端 | |
CN112312144B (zh) | 一种直播方法、装置、设备和存储介质 | |
KR101972939B1 (ko) | 과거 채팅 기록을 표시하는 방법 및 장치 | |
CN112995727A (zh) | 一种多屏协同方法、系统及电子设备 | |
CN110908638A (zh) | 一种操作流创建方法及电子设备 | |
CN109300177B (zh) | 一种图片处理方法和装置 | |
EP4195639A1 (en) | Service sharing method, system and electronic device | |
WO2022110939A1 (zh) | 一种设备推荐方法及电子设备 | |
CN113873187B (zh) | 跨终端录屏方法、终端设备及存储介质 | |
CN113031903B (zh) | 电子设备及其音频流合成方法 | |
WO2022179530A1 (zh) | 一种视频配音的方法、相关设备以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |