CN110996150A - 视频融合方法、电子设备及存储介质 - Google Patents

视频融合方法、电子设备及存储介质 Download PDF

Info

Publication number
CN110996150A
CN110996150A CN201911126268.9A CN201911126268A CN110996150A CN 110996150 A CN110996150 A CN 110996150A CN 201911126268 A CN201911126268 A CN 201911126268A CN 110996150 A CN110996150 A CN 110996150A
Authority
CN
China
Prior art keywords
video
background image
area
display area
fusion method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911126268.9A
Other languages
English (en)
Inventor
陈国仕
廖智勇
曾达峰
唐颖
李振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
MIGU Comic Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
MIGU Comic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd, MIGU Comic Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911126268.9A priority Critical patent/CN110996150A/zh
Publication of CN110996150A publication Critical patent/CN110996150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Abstract

本发明实施例涉及信息处理领域，公开了一种视频融合方法、电子设备及存储介质。本发明中的视频融合方法，包括：获取目标指令；根据目标指令在预设的背景图像中绘制用于显示插入视频的第一显示区域；根据第一显示区域的形状在背景图像中绘制至少一个第二显示区域，其中，第二显示区域用于显示素材视频；将背景图像、插入视频和素材视频合成生成融合视频。通过在预设的背景图片中，为插入视频设置播放区域，并根据插入视频的播放区域形状设置对应待融合的素材视频播放区域形状，能够使两个播放区域融合更加的协调，使视频融合具有个性化背景和播放区域，提高视频融合趣味。

Description

视频融合方法、电子设备及存储介质
技术领域
本发明实施例涉及信息处理领域，特别涉及一种视频融合方法、电子设备及存储介质。
背景技术
趣合拍是一种用户可以拍摄、剪辑、合成视频，并分享的互动社交平台。用户可以自由选择拍摄模版素材，与自己的亲朋好友、偶像明星等进行趣味合拍，分享生活。在现有技术中，用户可以选择自己感兴趣的视频进行合拍，并绘制到矩形区域中。
本发明的发明人发现：在现有技术中，用户进行视频融合时，只是简单的按融合视频的数量将显示区域划分为几个区域，这种视频融合方法效果单一，视频内容不饱满，用户体验差。
发明内容
本发明实施方式的目的在于提供一种视频融合方法、电子设备及存储介质，不仅方便用户使用，同时，素材视频的播放区域根据插入视频的播放区域形状对应设置，能够使两个播放区域融合更加的协调，使视频融合具有个性化背景和播放区域，提高视频融合趣味。
为解决上述技术问题，本发明的实施方式提供了一种视频融合方法，包括：获取目标指令；根据目标指令在预设的背景图像中绘制用于显示插入视频的第一显示区域；根据第一显示区域的形状在背景图像中绘制至少一个第二显示区域，其中，第二显示区域用于显示素材视频；将背景图像、插入视频和素材视频合成生成融合视频。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述视频融合方法。
本发明的实施方式还提供了一种存储介质，存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述的视频融合方法。
本发明实施方式相对于现有技术而言，通过在预设的背景图片中，为插入视频设置播放区域，并根据插入视频的播放区域形状设置对应待融合的素材视频播放区域形状，不仅方便用户使用，同时，素材视频的播放区域根据插入视频的播放区域形状对应设置，能够使两个播放区域融合更加的协调，使视频融合具有个性化背景和播放区域，提高视频融合趣味。
另外，获取目标指令之前，包括：采集目标信号沿时间轴变化形成的轨迹信息；根据轨迹信息在预设的编辑界面中生成裁剪区域；根据裁剪区域对插入视频进行裁剪。用户可选择性的播放插入视频的特定区域，提高融合视频的个性化需求，进一步提高用户体验。
另外，根据目标指令在预设的背景图像中绘制用于显示插入视频的第一显示区域，包括：根据裁剪区域的形状在预设的背景图像中绘制用于显示插入视频的第一显示区域。从而使插入视频的画面内容能够不变形，提高视频融合效果。
另外，根据裁剪区域的形状在预设的背景图像中绘制用于显示插入视频的第一显示区域之后，包括：分别获取裁剪区域和第一显示区域的各个顶点的顶点坐标；根据顶点坐标计算裁剪后的插入视频的缩放比率；根据缩放比率对裁剪后的插入视频进行等比率缩放。从而使裁剪后的插入视频的画面能够完整的呈现在第一显示区域，提高视频融合效果。
另外，根据裁剪区域对插入视频进行裁剪，包括：识别插入视频中目标物图像的位置信息；根据位置信息和裁剪区域的形状对插入视频进行画面裁剪。使目标物图像始终以合适的大小呈现在融合视频中，提高视频融合趣味。
另外，将背景图像、插入视频和素材视频合成生成融合视频，包括：分别将背景图像、插入视频和素材视频转码为预设格式；对背景图像、插入视频和素材视频进行合成编码生成融合视频。确保融合后的各路视频能保持视音画同步，有效提升融合视频质量，增强用户体验。
另外，背景图像中包括一个第二显示区域，第二显示区域与第一显示区域的形状相同。设置素材视频与插入视频的播放区域形状一样，增加素材视频与插入视频的一致性，使视频融合效果更好。
另外，第一显示区域与第二显示区域沿背景图像横长方向上的对称轴镜像设置。将第一显示区域与第二显示区域轴对称设置在背景图片中，使各个视频的播放区域在背景图片中的位置关系更加和谐，提高视频融合的效果。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是根据本发明第一实施方式中的视频融合方法流程图；
图2是根据本发明第二实施方式中的视频融合方法流程图；
图3是根据本发明第三实施方式中的视频融合方法流程图；
图4是根据本发明第三实施方式中插入视频裁剪区域示意图；
图5是根据本发明第三实施方式中在背景图片中设置的第一显示区域示意图；
图6是根据本发明第三实施方式中插入视频裁剪区域的最小外接矩形示意图；
图7是根据本发明第三实施方式中在背景图片中设置的第一显示区域的最小外接矩形示意图；
图8是根据本发明第三实施方式中融合后的视频画面显示情况示意图；
图9是根据本发明第四实施方式中的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种视频融合方法，包括：获取目标指令；根据目标指令在预设的背景图像中绘制用于显示插入视频的第一显示区域；根据第一显示区域的形状在背景图像中绘制至少一个第二显示区域，其中，第二显示区域用于显示素材视频；将背景图像、插入视频和素材视频合成生成融合视频。通过在预设的背景图片中，为插入视频设置播放区域，并根据插入视频的播放区域形状设置对应待融合的素材视频播放区域形状，能够使两个播放区域融合更加的协调，使视频融合具有个性化背景和播放区域，提高视频融合趣味。下面对本实施方式的视频融合方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施方式中的视频融合方法如图1所示，具体包括：
步骤101，获取目标指令。
具体地说，目标指令可以是用户输入的开始合成融合视频的指令，指令中具体可以包含用户选择待融合的插入视频、素材视频。插入视频可以是从摄像头获取用户直接拍摄的视频，也可以是用户本地存储的视频；素材视频可以是本地存储的视频，也可以是从服务器中选择和下载的视频，素材视频可以只有一个，也可以有多个，本实施方式不作限制。指令中还可以含有用户设置的插入视频对应的播放区域形状，例如，用户直接在屏幕中绘制出用于显示插入视频的区域。
步骤102，根据目标指令在预设的背景图像中绘制用于显示插入视频的第一显示区域。
具体地说，预设的背景图像可以是系统设置的默认的背景图片，也可以是用户选择的背景图片，用户可以在本地相册中选择一个图片作为背景图片，也可以从系统中预存的背景图库中选择一个图片作为背景图片。在设定的背景图片中绘制出第一显示区域，在融合视频后，第一显示区域会播放插入视频对应的画面内容。在一个例子中，可以根据待融合的插入视频的形状绘制第一显示区域，也可以根据用户设置的播放形状绘制第一显示区域，还可以设置成任意形状，本实施方式不作限制。
步骤103，根据第一显示区域的形状在背景图像中绘制至少一个第二显示区域，其中，第二显示区域用于显示素材视频。
具体地说，为了使素材视频与插入视频的融合效果更好，可以根据插入视频的播放区域形状绘制对应的素材视频的播放区域形状。
在一个例子中，背景图像中包括一个第二显示区域，第二显示区域与第一显示区域的形状相同。具体地说，当仅有一个素材视频与插入视频融合时，可以设置素材视频与插入视频的播放区域形状一样，增加素材视频与插入视频的一致性，使视频融合效果更好。例如，绘制插入视频对应的第一显示区域为梯形，素材视频对应的第二显示区域可以绘制成梯形。进一步地，第一显示区域与第二显示区域沿背景图像横长方向上的对称轴镜像设置。将第一显示区域与第二显示区域轴对称设置在背景图片中，使各个视频的播放区域在背景图片中的位置关系更加和谐，提高视频融合的效果。在其他实施方式中，第一显示区域与第二显示区域形状和位置也可以是其他对应关系，例如可以设置当第一显示区域的形状为圆形时，则对应的第二显示区域形状为菱形；第一显示区域与第二显示区域可以上下排列或者左右排列等等。
步骤104，将背景图像、插入视频和素材视频合成生成融合视频。
具体地，在设置好各个待融合视频的显示区域后，将插入视频和待融合的素材视频分别绘制到背景图像中对应的播放区域中，在一个例子中可以采用如下方法将插入视频绘制到对应的第一显示区域：第一步，定位到第一显示区域的最小外接矩形在背景图的左上角的顶点坐标位置；第二步，根据插入视频的画面分辨率，得到一个行数为视频像素行数，列数为视频像素列数的矩阵。将该矩阵中第一显示区域四个顶点坐标外的值设置为0；将第一显示区域四个顶点坐标内的值设置为1；第三步，遍历最小外接矩形矩阵的值，对不同矩阵元素值进行如下处理：如果矩阵元素值是0，那么保留背景图的像素点；如果矩阵元素值是1，那么将视频帧对应的像素点绘制到背景图中，替换原背景图像素点的值。按照上述步骤，将待融合的各路视频都绘制到对应的显示区域中。如果多路视频流的显示区域有重叠，在本实施方式中，后面到来的视频流会覆盖前面的多视频流。最终得到融合了插入视频、素材视频的背景图图像。在其他实施方式中，当多路视频流的显示区域有重合，还可以设置重合区域优先显示插入视频的画面。
最后，对融合了多路视频的图像数据进行编码合成融合视频。在一个例子中可以采用FFMPEG+X264开源库对待融合的数据进行编码合成。
本实施方式通过在预设的背景图片中，为插入视频设置播放区域，并根据插入视频的播放区域形状设置对应待融合的素材视频播放区域形状，能够使两个播放区域融合更加的协调，使视频融合具有个性化背景和播放区域，提高视频融合趣味。
本发明的第二实施方式涉及一种视频融合方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：在第一实施方式中，对待融合的视频格式没有限制。而在本发明第二实施方式中，统一设置待融合的各路视频格式及背景图片格式，使时长相等的视频能够同时结束，视频融合效果更佳。本实施方式中的视频融合方法如图2所示，具体包括：
步骤201，获取目标指令。
步骤202，根据目标指令在预设的背景图像中绘制用于显示插入视频的第一显示区域；
步骤203，根据第一显示区域的形状在背景图像中绘制至少一个第二显示区域，其中，第二显示区域用于显示素材视频。
本实施方式中步骤201、202和203与第一实施方式中的步骤101、102和103相同，在此不一一赘述。
步骤204，分别将背景图像、插入视频和素材视频转码为预设格式。
具体地说，如果待融合的各路视频播放帧率不同，那么会导致相同时长的两路视频，最终融合生成的视频不能同时结束播放。为了保证相同视频时长的两路视频在进行视频数据融合后可以同时播放结束，需要统一配置各路视频采集帧率。
在一个例子中，可以设置视频流输出格式为YUV420P、采集帧率设置为25fps，音频采样率设置为44100bits/s。从摄像头获取插入视频数据，或者从本地相册选择的素材视频文件，可以分别获取视频文件的帧率和音频采样率，如果视频帧率不是25fps或者音频采用率不是44100bits/s，那么需要对视频文件进行转码，将视频帧率修改为25fps，音频采样率设置为44100bits/s。对应的可以设置背景图片的格式为YUV图像。
步骤205，对背景图像、插入视频和素材视频进行合成编码生成融合视频。
本步骤与第一实施方式中的步骤104相同，在此不再赘述。
本实施方式通过在预设的背景图片中，为插入视频设置播放区域，并根据插入视频的播放区域形状设置对应待融合的素材视频播放区域形状，能够使两个播放区域融合更加的协调，使视频融合具有个性化背景和播放区域，提高视频融合趣味。
本发明的第三实施方式涉及一种视频融合方法。第三实施方式与第二实施方式大致相同，主要区别之处在于：在第二实施方式中，对插入视频没有进行处理。而在本发明第三实施方式中，对插入视频进行裁剪和缩放后再进行融合，使用户可选择性的播放插入视频的特定区域，提高融合视频的个性化需求，进一步提高用户体验。本实施方式中的视频融合方法如图3所示，具体包括：
步骤301，采集目标信号沿时间轴变化形成的轨迹信息。
具体地，目标信号是获取用户输入的信号，目标信号沿时间轴变化形成的轨迹信息可以是用户在触目屏上输入的绘制信号，在一个例子中，绘制信号可以转换成坐标数据，每个坐标对应用户绘制轨迹中的一个点。
步骤302，根据轨迹信息在预设的编辑界面中生成裁剪区域。
具体地，可以只获取用户输入裁剪区域的顶点坐标就能生成完整的裁剪区域，或者获取用户直接绘制出裁剪区域的形状和位置。在一个例子中，可以在显示摄像头拍摄的画面过程中获取用户输入的裁剪区域对应的形状与位置；也可以在已拍摄的视频库中选择一个视频播放，在播放的过程中获取用户输入的裁剪区域信息，从而生成对应的裁剪区域。例如，获取用户在摄像头拍摄画面中输入的绘制信号坐标为左上角(x1，y1)、右上角(x2，y2)、左下角(x3，y3)、右下角(x4，y4)，如图4所示，虚线内的区域即为确定出的裁剪区域，将获取到的裁剪区域坐标写入JSON文件中。
步骤303，根据裁剪区域对插入视频进行裁剪。
具体地，插入视频可以是从摄像头获取的拍摄视频，也可以是本地存储的视频。根据用户输入的裁剪信号对应的裁剪区域对获取的视频进行裁剪，生成剪裁后的插入视频。
在一个例子中，可以解析JSON文件获得裁剪区域的顶点坐标，通过OpenGL(OpenGraphics Library即开放式图形库)首先把图像转化为纹理，然后通过改变纹理坐标和顶点坐标，对纹理图像进行裁剪。具体地，通过FFMPEG滤镜算法对视频内容进行裁剪。具体算法程序如下：
crop＝crop_width:crop_crop_height:crop_x:crop_y
其中，
crop 表示FFMPEG视频裁剪滤镜关键字；
crop_width 表示需要裁剪的视频帧的宽度；
crop_height 表示需要裁剪的视频帧的高度；
crop_x 表示裁剪的视频帧的x轴起点；
crop_y 表示裁剪的视频帧的y轴起点。
进一步地，还可以识别插入视频中目标物图像的位置信息；根据位置信息和裁剪区域的形状对插入视频进行画面裁剪。在一个例子中，插入视频是网络直播视频，可以通过AI人脸识别技术获取人脸框的位置信息，根据人脸框的位置调整裁剪区域的位置和大小，当主播的脸部突然远离或者靠近摄像头，都能裁剪出来一个同样合适大小的人脸呈现在播放画面中。在其他实施方式中，目标物图像还可以是宠物、球赛视频中的篮球、舞蹈视频中的舞者等等。
步骤304，获取目标指令。
步骤305，根据目标指令在预设的背景图像中绘制用于显示插入视频的第一显示区域。
步骤306，根据第一显示区域的形状在背景图像中绘制至少一个第二显示区域，其中，第二显示区域用于显示素材视频。
本实施方式中步骤304、305和306与第一实施方式中的步骤101、102和103相似，在此不一一赘述，下面对不同之处进行说明。
步骤305，根据目标指令在预设的背景图像中绘制用于显示插入视频的第一显示区域。
具体地，可以根据裁剪区域的形状在预设的背景图像中绘制用于显示插入视频的第一显示区域。为了使插入视频能够完整的在第一显示区域播放且视频内容不变形，第一显示区域是根据裁剪区域的顶点坐标等比率缩放的。插入视频的第一显示区域如图5所示。
步骤307，分别获取裁剪区域和第一显示区域的各个顶点的顶点坐标。
解析JSON文件，获取JOSN文件中插入视频的裁剪区域和插入视频在背景图片中的第一显示区域顶点坐标。
步骤308，根据顶点坐标计算裁剪后的插入视频的缩放比率。
通过插入视频的裁剪区域和第一显示区域顶点坐标计算得到插入视频的裁剪区域和其在背景图片中的第一显示区域的最小外接矩形。如图6所示，插入视频中的实线矩形即为插入视频裁剪区域的最小外接矩形，图7所示，背景图片中的实线矩形即为插入视频在背景图片中对应的第一显示区域的最小外接矩形。根据插入视频的裁剪区域和第一显示区域的最小外接矩形宽高比得到对应的缩放比例。
步骤309，根据缩放比率对裁剪后的插入视频进行等比率缩放。
具体地，根据计算得到的缩放比例将裁剪后的插入视频进行缩放，使其能够恰好铺满第一显示区域且视频内容不变形。在一个例子中，如果设定的裁剪区域和第一显示区域是矩形，那么此时的裁剪区域和第一显示区域即是它们各自的最小外接矩形。
在一个例子中，可以通过OpenGL(Open Graphics Library即开放式图形库)首先把图像转化为纹理，然后通过改变纹理坐标和顶点坐标，对纹理图像进行缩放。具体地，通过FFMPEG滤镜算法对视频内容进行缩放。具体算法程序如下：
scale＝width:height
其中，
scale 表示FFMPEG视频缩放滤镜关键字；
width 表示缩放后生成图像的宽度；
height 表示缩放后生成图像的高度。
需要说明的是，对素材视频也可以按照上述方式设置裁剪区域进行裁剪，在设置素材视频对应的第二显示区域时，为了保证素材视频能够呈现完整的视频画面且内容不变形，除了根据第一显示区域的的形状与位置，还要结合裁剪后的素材视频的形状与大小设置第二显示区域。
步骤310，分别将背景图像、插入视频和素材视频转码为预设格式；
步骤311，对背景图像、插入视频和素材视频进行合成编码生成融合视频。
具体地，将裁剪和缩放后的插入视频或素材视频，以及绘制显示区域后的背景图片转码为预设格式，然后根据缩放后的视频画面分辨率，建立坐标矩阵，进行后续的视频编码合成。本实施方式中的步骤310与步骤311，与第二实施方式中的步骤204和步骤205相似，在此不再赘述。本领域技术人员可以理解，视频转码成预设格式可以在获取到视频之后，对视频进行裁剪缩放处理之前，也可以在缩放处理之后，本发明不作限制，如图8所示为融合后的视频画面显示情况示意图。
本实施方式通过在预设的背景图片中，为插入视频设置播放区域，并根据插入视频的播放区域形状设置对应待融合的素材视频播放区域形状，能够使两个播放区域融合更加的协调，使视频融合具有个性化背景和播放区域，提高视频融合趣味。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第四实施方式涉及一种电子设备，如图9所示，包括至少一个处理器402；以及，与至少一个处理器402通信连接的存储器401。其中，存储器401存储有可被至少一个处理器402执行的指令，指令被至少一个处理器402执行，以使至少一个处理器402能够执行上述实施方式中的视频融合方法。
本实施方式中，处理器402以中央处理器(Central Processing Unit，CPU)为例，存储器402以可读写存储器(Random Access Memory，RAM)为例。处理器402、存储器401可以通过总线或者其他方式连接，图9中以通过总线连接为例。存储器401作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中实现视频融合方法的程序就存储于存储器401中。处理器402通过运行存储在存储器401中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述视频融合方法。
存储器401可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器401可选包括相对于处理器402远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。
一个或者多个程序模块存储在存储器401中，当被一个或者多个处理器402执行时，执行上述任意方法实施方式中的视频融合方法。
上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。
本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种视频融合方法，其特征在于，包括：
获取目标指令；
根据所述目标指令在预设的背景图像中绘制用于显示插入视频的第一显示区域；
根据所述第一显示区域的形状在所述背景图像中绘制至少一个第二显示区域，其中，所述第二显示区域用于显示素材视频；
将所述背景图像、插入视频和素材视频合成生成融合视频。
2.根据权利要求1所述的视频融合方法，其特征在于，所述获取目标指令之前，包括：
采集目标信号沿时间轴变化形成的轨迹信息；
根据所述轨迹信息在预设的编辑界面中生成裁剪区域；
根据所述裁剪区域对所述插入视频进行裁剪。
3.根据权利要求2所述的视频融合方法，其特征在于，所述根据所述目标指令在预设的背景图像中绘制用于显示插入视频的第一显示区域，包括：根据所述裁剪区域的形状在预设的背景图像中绘制用于显示插入视频的第一显示区域。
4.根据权利要求3所述的视频融合方法，其特征在于，所述根据所述裁剪区域的形状在预设的背景图像中绘制用于显示插入视频的第一显示区域之后，包括：
分别获取所述裁剪区域和所述第一显示区域的各个顶点的顶点坐标；
根据所述顶点坐标计算裁剪后的插入视频的缩放比率；
根据所述缩放比率对所述裁剪后的插入视频进行等比率缩放。
5.根据权利要求3所述的视频融合方法，其特征在于，所述根据所述裁剪区域对所述插入视频进行裁剪，包括：
识别所述插入视频中目标物图像的位置信息；
根据所述位置信息和裁剪区域的形状对所述插入视频进行画面裁剪。
6.根据权利要求1所述的视频融合方法，其特征在于，所述将所述背景图像、插入视频和素材视频合成生成融合视频，包括：
分别将所述背景图像、插入视频和素材视频转码为预设格式；
对所述背景图像、插入视频和素材视频进行合成编码生成融合视频。
7.根据权利要求1-6任意一项所述的视频融合方法，其特征在于，所述背景图像中包括一个第二显示区域，所述第二显示区域与所述第一显示区域的形状相同。
8.根据权利要求1-6任意一项所述的视频融合方法，其特征在于，所述第一显示区域与所述第二显示区域沿所述背景图像横长方向上的对称轴镜像设置。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的视频融合方法。
10.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的视频融合方法。
CN201911126268.9A 2019-11-18 2019-11-18 视频融合方法、电子设备及存储介质 Pending CN110996150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911126268.9A CN110996150A (zh) 2019-11-18 2019-11-18 视频融合方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911126268.9A CN110996150A (zh) 2019-11-18 2019-11-18 视频融合方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110996150A true CN110996150A (zh) 2020-04-10

Family

ID=70084700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911126268.9A Pending CN110996150A (zh) 2019-11-18 2019-11-18 视频融合方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110996150A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862936A (zh) * 2020-07-28 2020-10-30 游艺星际(北京)科技有限公司 生成及发布作品的方法、装置、电子设备和存储介质
CN112333400A (zh) * 2020-10-20 2021-02-05 深圳市前海手绘科技文化有限公司 一种有用于线下展示的手绘视频优化方法与装置
CN113395588A (zh) * 2021-06-23 2021-09-14 北京字跳网络技术有限公司 一种视频处理方法、装置、设备及存储介质
CN113840159A (zh) * 2021-09-26 2021-12-24 北京沃东天骏信息技术有限公司 视频处理方法、装置、计算机系统及可读存储介质
CN114339401A (zh) * 2021-12-30 2022-04-12 北京翼鸥教育科技有限公司 一种视频背景处理方法及装置
CN117082294A (zh) * 2023-10-18 2023-11-17 广东视腾电子科技有限公司 一种视频一体机切换方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102595231A (zh) * 2012-02-21 2012-07-18 深圳市同洲电子股份有限公司 图像融合方法、设备及系统
CN103209312A (zh) * 2012-01-12 2013-07-17 中兴通讯股份有限公司 一种视频播放器、移动终端及移动终端播放视频的方法
US9680923B1 (en) * 2016-10-06 2017-06-13 Pranav Jain Platform and network for joint distribution of content by multiple publishers
US20170347153A1 (en) * 2015-04-16 2017-11-30 Tencent Technology (Shenzhen) Company Limited Method of zooming video images and mobile terminal
CN109068166A (zh) * 2018-08-17 2018-12-21 北京达佳互联信息技术有限公司 一种视频合成方法、装置、设备及存储介质
CN109120950A (zh) * 2018-09-30 2019-01-01 北京金山安全软件有限公司 视频拼接方法、装置、终端设备和存储介质
CN109413352A (zh) * 2018-11-08 2019-03-01 北京微播视界科技有限公司 视频数据的处理方法、装置、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209312A (zh) * 2012-01-12 2013-07-17 中兴通讯股份有限公司 一种视频播放器、移动终端及移动终端播放视频的方法
CN102595231A (zh) * 2012-02-21 2012-07-18 深圳市同洲电子股份有限公司 图像融合方法、设备及系统
US20170347153A1 (en) * 2015-04-16 2017-11-30 Tencent Technology (Shenzhen) Company Limited Method of zooming video images and mobile terminal
US9680923B1 (en) * 2016-10-06 2017-06-13 Pranav Jain Platform and network for joint distribution of content by multiple publishers
CN109068166A (zh) * 2018-08-17 2018-12-21 北京达佳互联信息技术有限公司 一种视频合成方法、装置、设备及存储介质
CN109120950A (zh) * 2018-09-30 2019-01-01 北京金山安全软件有限公司 视频拼接方法、装置、终端设备和存储介质
CN109413352A (zh) * 2018-11-08 2019-03-01 北京微播视界科技有限公司 视频数据的处理方法、装置、设备和存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862936A (zh) * 2020-07-28 2020-10-30 游艺星际(北京)科技有限公司 生成及发布作品的方法、装置、电子设备和存储介质
CN112333400A (zh) * 2020-10-20 2021-02-05 深圳市前海手绘科技文化有限公司 一种有用于线下展示的手绘视频优化方法与装置
CN112333400B (zh) * 2020-10-20 2021-11-09 深圳市前海手绘科技文化有限公司 一种有用于线下展示的手绘视频优化方法与装置
WO2022083131A1 (zh) * 2020-10-20 2022-04-28 深圳市前海手绘科技文化有限公司 一种用于线下展示的手绘视频优化方法与装置
CN113395588A (zh) * 2021-06-23 2021-09-14 北京字跳网络技术有限公司 一种视频处理方法、装置、设备及存储介质
CN113840159A (zh) * 2021-09-26 2021-12-24 北京沃东天骏信息技术有限公司 视频处理方法、装置、计算机系统及可读存储介质
CN114339401A (zh) * 2021-12-30 2022-04-12 北京翼鸥教育科技有限公司 一种视频背景处理方法及装置
CN117082294A (zh) * 2023-10-18 2023-11-17 广东视腾电子科技有限公司 一种视频一体机切换方法及系统
CN117082294B (zh) * 2023-10-18 2024-02-02 广东视腾电子科技有限公司 一种视频一体机切换方法及系统

Similar Documents

Publication Publication Date Title
CN110996150A (zh) 视频融合方法、电子设备及存储介质
US8963951B2 (en) Image processing apparatus, moving-image playing apparatus, and processing method and program therefor to allow browsing of a sequence of images
CN107197341B (zh) 一种基于gpu的炫屏显示方法、装置及一种存储设备
JP5108877B2 (ja) 表示装置
US20180018944A1 (en) Automated object selection and placement for augmented reality
US8754959B2 (en) Image processing device, dynamic image reproduction device, and processing method and program in them
JP3793142B2 (ja) 動画像加工方法及び装置
KR20160013984A (ko) 비디오 편집을 위한 터치 최적화 디자인
TW200945895A (en) Image processor, animation reproduction apparatus, and processing method and program for the processor and apparatus
KR20080028433A (ko) 메타데이터를 이용하여 다중 비디오 스트림을 핸들링하는방법 및 장치
WO2018095253A1 (zh) 图像互换格式图的制作方法和装置
CN110636365B (zh) 视频字符添加方法、装置、电子设备及存储介质
JP2014021570A (ja) 動画像生成装置
CN112954459A (zh) 一种视频数据的处理方法和装置
CN113660528A (zh) 一种视频合成方法、装置、电子设备和存储介质
WO2023231235A1 (zh) 动态图像的编辑方法、装置和电子设备
EP3616402A1 (en) Methods, systems, and media for generating and rendering immersive video content
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
WO2021217385A1 (zh) 一种视频处理方法和装置
US20220068313A1 (en) Systems and methods for mixing different videos
KR102413098B1 (ko) 영상 처리 방법 및 이를 이용한 영상 재생 장치
JP2006309612A (ja) 画像表示装置
CN111800663B (zh) 一种视频合成方法及装置
CN113873319A (zh) 视频处理方法、装置、电子设备及存储介质
CN110121032B (zh) 一种显示动画特效的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410