CN108650542A - 生成竖屏视频流、图像处理的方法、电子设备和视频系统 - Google Patents
生成竖屏视频流、图像处理的方法、电子设备和视频系统 Download PDFInfo
- Publication number
- CN108650542A CN108650542A CN201810438248.4A CN201810438248A CN108650542A CN 108650542 A CN108650542 A CN 108650542A CN 201810438248 A CN201810438248 A CN 201810438248A CN 108650542 A CN108650542 A CN 108650542A
- Authority
- CN
- China
- Prior art keywords
- video frame
- screen video
- transverse screen
- vertical screen
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 239000000463 material Substances 0.000 claims description 112
- 238000003860 storage Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000010030 laminating Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了一种生成竖屏视频流、图像处理的方法、电子设备和视频系统，属于电子技术领域。所述方法包括：获取横屏视频帧，所述横屏视频帧通过摄像设备在目标拍摄方向上拍摄得到，所述目标拍摄方向与正常拍摄方向垂直；基于横屏视频帧，生成所述横屏视频帧对应的竖屏视频帧，竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同；对竖屏视频帧进行编码，生成竖屏视频流。采用本发明，可以在保证视频图像完整的同时，防止竖屏直播视频流的清晰度降低。
Description
技术领域
本发明涉及电子技术领域，特别涉及一种生成竖屏视频流、图像处理的方法、电子设备和视频系统。
背景技术
随着电子技术和互联网技术的发展，各种各样的终端得到了广泛的应用，相应的，终端上的应用程序的种类越来越多、功能越来越丰富。直播答题类应用程序即是一种很常用的应用程序。为了增强交互体验，可以通过编码服务器将摄像机拍摄到的适合横屏显示的各视频帧(可称为横屏视频帧)，转换为适合竖屏显示的直播视频流(可称为竖屏直播视频流)，比如，可以将摄像机拍摄到的各个横竖比例为16:9的视频帧，转换为视频帧的横竖比例为9:16的直播视频流。
目前，生成竖屏直播视频流的方法一般是：获取各个横屏视频帧，对于每个横屏视频帧，编码服务器可以按照预设的图像大小，在该横屏视频帧中裁剪出横屏视频帧的中间部分，得到适合竖屏显示的视频帧(可称为竖屏视频帧)，进而，可以对各个竖屏视频帧进行编码，生成直播视频流。例如，横屏视频帧可以是横竖比例为1920×1080的视频帧，编码服务器可以在该横屏视频帧中裁剪出中间部分，得到横竖比例为608×1080的视频帧。
在实现本发明的过程中，发明人发现相关技术至少存在以下问题：
基于上述生成竖屏直播视频流的处理方式，裁剪得到的竖屏视频帧的像素数目小于横屏视频帧的像素数目，导致竖屏视频帧的分辨率比较小，从而，导致竖屏直播视频流的清晰度降低。
发明内容
本发明实施例提供了一种生成竖屏视频流、图像处理的方法、电子设备和视频系统，可以解决相关技术中存在的竖屏直播视频流的清晰度降低的问题。所述技术方案如下：
一方面，提供了一种生成竖屏视频流的方法，应用于编码服务器，所述方法包括：
获取横屏视频帧，所述横屏视频帧通过摄像设备在目标拍摄方向上拍摄得到，所述目标拍摄方向与正常拍摄方向垂直；
基于所述横屏视频帧，生成所述横屏视频帧对应的竖屏视频帧，所述竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，所述竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同；
对所述竖屏视频帧进行编码，生成竖屏视频流。
一方面，提供了一种图像处理的方法，应用于播放控制设备，所述方法包括：
获取摄像设备在目标拍摄方向拍摄得到的原始视频帧，所述目标拍摄方向与正常拍摄方向垂直；
如果所述原始视频帧需要叠加素材图像，则获取各素材图像，所述各素材图像的显示方向与正常显示方向垂直；
基于各素材图像的显示位置，将各素材图像与所述原始视频帧进行叠加，得到横屏视频帧。
一方面，提供了一种生成竖屏视频流的装置，所述装置应用于编码服务器，所述装置包括：
获取模块，用于获取横屏视频帧，所述横屏视频帧通过摄像设备在目标拍摄方向上拍摄得到，所述目标拍摄方向与正常拍摄方向垂直；
第一生成模块，用于基于所述横屏视频帧，生成所述横屏视频帧对应的竖屏视频帧，所述竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，所述竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同；
第二生成模块，用于对所述竖屏视频帧进行编码，生成竖屏视频流。
一方面，提供了一种图像处理的装置，所述装置应用于播放控制设备，所述装置包括：
接收模块，用于获取摄像设备在目标拍摄方向拍摄得到的原始视频帧，所述目标拍摄方向与正常拍摄方向垂直；
获取模块，用于如果所述原始视频帧需要叠加素材图像，则获取各素材图像，所述各素材图像的显示方向与正常显示方向垂直；
叠加模块，用于基于各素材图像的显示位置，将各素材图像与所述原始视频帧进行叠加，得到横屏视频帧。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述所述的生成竖屏视频流的方法或者如上述所述的图像处理的方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述所述的生成竖屏视频流的方法或者如上述所述的图像处理的方法。
一方面，提供了一种视频系统，所述视频系统包括编码服务器和播放控制设备，其中：所述编码服务器，用于执行如上述所述的生成竖屏视频流的方法；所述播放控制设备，用于执行如上述所述的图像处理的方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，编码服务器通过对摄像设备在目标拍摄方向拍摄到的横屏视频帧进行转换，得到横屏视频帧对应的竖屏视频帧，从而，可以避免通过对横屏视频帧进行裁剪的方式来得到竖屏视频帧，其中，目标拍摄方向可以是摆放方位与正常拍摄方向垂直的方向，每个竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，每个竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同。这样，通过本发明实施例得到的竖屏视频帧的像素数目与摄像设备拍摄的横屏视频帧的像素数目相同，即竖屏视频帧的分辨率与横屏视频帧的分辨率相同，从而，可以在保证视频图像完整的同时，避免竖屏视频流的清晰度降低。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1(a)是本发明实施例提供的一种视频系统的框架示意图；
图1(b)是本发明实施例提供的一种界面示意图；
图2是本发明实施例提供的一种生成竖屏视频流的方法流程图；
图3是本发明实施例提供的一种原始视频帧的示意图；
图4是本发明实施例提供的一种夹角示意图；
图5是本发明实施例提供的一种原始视频帧的示意图；
图6是本发明实施例提供的一种生成竖屏视频帧的示意图；
图7是本发明实施例提供的一种夹角示意图；
图8是本发明实施例提供的一种原始视频帧的示意图；
图9是本发明实施例提供的一种生成竖屏视频帧的示意图；
图10是本发明实施例提供的一种图像处理的方法流程图；
图11是本发明实施例提供的一种旋转示意图；
图12是本发明实施例提供的一种旋转示意图；
图13是本发明实施例提供的一种界面示意图；
图14是本发明实施例提供的一种界面示意图；
图15是本发明实施例提供的一种界面示意图；
图16是本发明实施例提供的一种界面示意图；
图17(a)是本发明实施例提供的一种界面示意图；
图17(b)是本发明实施例提供的一种处理流程示意图；
图18是本发明实施例提供的一种生成竖屏视频流的装置结构示意图；
图19是本发明实施例提供的一种图像处理的装置结构示意图；
图20是本发明实施例提供的一种图像处理的装置结构示意图；
图21是本发明实施例提供的一种图像处理的装置结构示意图；
图22是本发明实施例提供的一种图像处理的装置结构示意图；
图23是本发明实施例提供的一种电子设备的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种视频系统，如图1(a)所示，该视频系统包括摄像设备101，播放控制设备(可称为播控设备)102、编码服务器103、CDN(Content DeliveryNetwork，内容分发网络)服务器104。其中，摄像设备101可以用于拍摄得到原始视频帧，可以是专业摄像设备，可以通过HD-SDI(High Definition-serial digital interface高清数字分量串行接口)输出拍摄得到的各原始视频帧，可以是视频帧的生成部件，也可以是具有拍摄功能的手机、平板电脑等终端。本方案中，摄像设备101可以用于在目标拍摄方向拍摄得到原始视频帧，向播控设备102传输原始视频帧。播控设备102也可称为播控系统，播控设备102可以包括播控包装设备，其中，播控设备102一般可以用于对通过HD-SDI接收到的视频帧进行编辑加工处理，比如叠加文字、标签，实现画中画、替换背景、场景动画等特效，还可以执行对非压缩原始图像数据进行图像特效变换优化的处理，比如旋转图像、锐化、亮度、色度、饱和度值调整，帧率转换，颜色空间转换等处理。本方案中，播控设备102可以用于基于各素材图像的显示位置，对各素材图像与原始视频帧进行叠加，得到横屏视频帧，向编码服务器103传输横屏视频帧，其中，播控设备102可以基于HD-SDI与编码服务器103进行通信。编码服务器103可以用于对播控设备102发送的横屏视频帧进行旋转并编码处理，得到竖屏视频流(比如，可以得到FLV格式的竖屏直播视频流，其中，FLV是直播行业通用的媒体数据流封装格式，视频流包括实时音视频编码压缩后的数据，比如视频H.264、音频AAC，其中，H.264和AAC是一种编码方式)，即可以将图像由无压缩数据转换为压缩数据，常用的编码压缩方式包括：H264、H265、VP8等，可以向CDN服务器104传输竖屏视频流。CDN服务器104可以用于向各客户端提供竖屏视频流，即播放竖屏视频流的客户端可以向CDN服务器104发送视频流获取请求，CND服务器104接收到各客户端发送的视频流获取请求后，可以向编码服务器103拉取竖屏视频流，并将其发送至客户端。其中，编码服务器103与CDN服务器104可以是集成设置，也可以是独立设置。
编码服务器103可以包括处理器、存储器、收发器等部件。处理器可以为CPU(Central Processing Unit，中央处理单元)等，可以用于生成竖屏视频流的相关处理。存储器可以为RAM(Random Access Memory，随机存取存储器)、Flash(闪存)等，可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等，如横屏视频帧等。收发器可以用于与其它服务器(如CDN服务器)进行数据传输，例如，接收播控设备102发送的对摄像设备101拍摄的原始视频帧进行图像处理后的横屏视频帧。
播放控制设备102可以包括处理器、存储器、收发器等部件。处理器可以为CPU等，可以用于对各素材图像与原始视频帧进行叠加，得到横屏视频帧的相关处理。存储器可以为RAM、Flash等，可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等，如原始视频帧、各素材图像等。收发器可以用于与其它设备(如编码服务器、摄像设备)进行数据传输，例如，向编码服务器103发送对摄像设备101拍摄的原始视频帧进行图像处理后的横屏视频帧，获取摄像设备101在目标拍摄方向拍摄得到的原始视频帧。
随着电子技术和互联网技术的发展，各种各样的终端得到了广泛的应用，相应的，终端上的应用程序的种类越来越多、功能越来越丰富。直播答题类应用程序即是一种很常用的应用程序。直播答题类应用程序中直播视频流的内容生成是非常重要且不可或缺的一部分，基于题目以及答案的展示形式，为了增强交互体验，往往采用竖屏展示方式来显示直播视频流，如图1(b)所示。竖屏展示相对横屏展示有着更好的交互体验优势。直播答题类应用程序的直播视频流在内容上需要更多更复杂更丰富的元素，如背景抠图、实时动画展示、动态插播的标题内容(如主持人标识，平台Logo，当前的答题进度等)、题目的背景资料素材、开场倒计时动画等等，这些元素的叠加要求更多的操作响应性、实时性以及软硬件性能处理能力。为满足上述要求，往往通过广电级的播控设备来实现，然而广电级的播控设备的输入输出均是HD-SDI信号，即均是横竖比例为16:9的横屏视频帧。
基于HD-SDI输入输出标准的局限性，为了得到适合竖屏显示的竖屏视频帧，可以通过编码服务器将摄像机拍摄到的适合横屏显示的各横屏视频帧，转换为适合竖屏显示的竖屏视频流，比如，可以将摄像机拍摄到的各个横竖比例为16:9的横屏视频帧，转换为视频帧的横竖比例为9:16的竖屏视频流。相关技术中，生成竖屏直播视频流的方法一般是：获取各个横屏视频帧，对于每个横屏视频帧，编码服务器可以按照预设的图像大小，在该横屏视频帧中裁剪出横屏视频帧的中间部分，得到适合竖屏显示的竖屏视频帧，进而，可以对各个竖屏视频帧进行编码，生成竖屏视频流。例如，横屏视频帧可以是横竖比例为1920×1080的视频帧，编码服务器可以在该横屏视频帧中裁剪出中间部分，得到横竖比例为608×1080的竖屏视频帧。这样，裁剪得到的竖屏视频帧的像素数目小于横屏视频帧的像素数目，导致竖屏视频帧的分辨率比较小，从而，导致竖屏直播视频流的清晰度降低。
然而，本方案中，摄像设备可以在目标拍摄方向拍摄得到横屏视频帧，其中，目标拍摄方向与正常拍摄方向垂直，正常拍摄方向可以是能够拍摄出正常显示的横屏视频帧的拍摄方向。相应的，编码服务器获取到的横屏视频帧后，可以基于横屏视频帧，生成横屏视频帧对应的竖屏视频帧，进而，可以对竖屏视频帧进行编码，生成竖屏视频流。这样，通过本发明实施例得到的竖屏视频帧的像素数目与摄像设备拍摄得到的横屏视频帧的像素数目相同，即竖屏视频帧的分辨率与横屏视频帧的分辨率相同，从而，可以避免竖屏视频流的清晰度降低。另外，得到的竖屏视频流的分辨率较高，即得到的竖屏视频流的清晰度较高，这样，可以为后续扩展多清晰度格式提供信号源。
下面将结合具体实施方式，对图2所示的处理流程进行详细的说明，图2所示的处理流程可以由编码服务器执行，内容可以如下：
步骤201，获取横屏视频帧，横屏视频帧通过摄像设备在目标拍摄方向上拍摄得到，目标拍摄方向与正常拍摄方向垂直。
在实施中，摄像设备在拍摄视频帧之前，技术人员可以先调整摄像设备的拍摄方向，可以将摄像设备的拍摄方向调整为目标拍摄方向，目标拍摄方向可以与正常拍摄方向(也可以称为横向方向)垂直，其中，正常拍摄方向可以是能够拍摄到正常显示的横屏视频帧的拍摄方向，摄像设备在正常拍摄方向拍摄到的原始视频帧如图3所示。当接收到摄像开启指令时，摄像设备可以在目标拍摄方向进行拍摄，得到横屏视频帧(可称为原始视频帧)。相应的，编码服务器可以获取通过摄像设备在目标拍摄方向上拍摄得到的横屏视频帧，其中，横屏视频帧的数目可以是一个，也可以是多个，每个横屏视频帧的横竖比例可以是16:9。
可选的，横屏视频帧可以通过HD-SDI传输。也就是说，编码服务器可以通过HD-SDI获取横屏视频帧。
可选的，获取到的横屏视频帧可以包括原始视频帧，也可以包括图像处理后的原始视频帧，相应的，步骤201的处理过程可以如下：获取摄像设备拍摄的原始视频帧；或者，获取播放控制设备发送的对摄像设备拍摄的原始视频帧进行图像处理后的横屏视频帧。
在实施中，摄像设备在目标拍摄方向得到原始视频帧后，可以将得到的原始视频帧发送至编码服务器，其中，可以通过播放控制设备发送，只是此种情况下，播放控制设备可以不对原始视频帧进行图像处理。或者，摄像设备在目标拍摄方向得到原始视频帧后，也可以先将其发送至播放控制设备，播放控制设备接收到原始视频帧后，可以对原始视频帧进行图像处理(其中，图像处理的具体处理过程将在后续详细描述)，进而，可以将图像处理后的原始视频帧发送至编码服务器，即此种情况下，编码服务器可以获取播放控制设备发送的对摄像设备拍摄的原始视频帧进行图像处理后的横屏视频帧。换言之，编码服务器获取到的横屏视频帧可以均是原始视频帧，也可以均是播放控制设备发送的对原始视频帧进行图像处理后的横屏视频帧，也可以既包括原始视频帧，又包括播放控制设备发送的对原始视频帧进行图像处理后的横屏视频帧。
其中，针对获取播放控制设备发送的对摄像设备拍摄的原始视频帧进行图像处理后的横屏视频帧的情况，横屏视频帧可以是原始视频帧与各素材图像叠加后的横屏视频帧(或者是背景替换后的原始视频帧与各素材图像叠加后的横屏视频帧)，其中，各素材图像的显示方向与正常显示方向垂直。当目标拍摄方向是在正常拍摄方向基础上顺时针旋转90度后的拍摄方向时，各素材图像的显示方向是在正常显示方向基础上逆时针旋转90度后的显示方向。当目标拍摄方向是在正常拍摄方向基础上逆时针旋转90度后的拍摄方向时，各素材图像的显示方向是在正常显示方向基础上顺时针旋转90度后的显示方向。
步骤202，基于横屏视频帧，生成横屏视频帧对应的竖屏视频帧，竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同。
在实施中，编码服务器获取到横屏视频帧后，可以基于目标拍摄方向与正常拍摄方向的夹角关系，对横屏视频帧进行处理，生成横屏视频帧对应的竖屏视频帧，其中，竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同。例如，横屏视频帧的像素大小为1920×1080(其中，1920为像素列数，1080为像素行数)，生成的对应该横屏视频帧的竖屏视频帧的像素大小可以是1080×1920(其中，1920为像素行数，1080为像素列数)。
可选的，基于目标拍摄方向的不同，步骤202的处理方式可以多种多样，以下给出了几种可行的处理方式：
方式一，当目标拍摄方向是在正常拍摄方向基础上顺时针旋转90度后的拍摄方向时，步骤202的处理过程可以是：按照从下向上、从左到右的顺序，遍历横屏视频帧的每个像素点；按照从左到右、从上下的顺序，将遍历到的每列中的每个像素点的像素值依次作为竖屏视频帧的每行像素点中每个像素点的像素值，得到横屏视频帧对应的竖屏视频帧。
在实施中，技术人员在调整摄像设备的拍摄方向时，可以将摄像设备的摆放方位在正常拍摄方向的基础上顺时针旋转90度，得到目标拍摄方向，即目标拍摄方向是在正常拍摄方向基础上顺时针旋转90度后的拍摄方向，如图4所示，其中，摄像设备在目标拍摄方向拍摄得到的原始视频帧如图5所示。
此种情况下，编码服务器获取到横屏视频帧后，编码服务器可以按照从下向上、从左到右的顺序，遍历横屏视频帧的每个像素点，并可以按照从左到右、从上到下的顺序，将遍历到的每个像素点的像素值依次作为竖屏视频帧的每行像素点中每个像素点的像素值，得到横屏视频帧对应的竖屏视频帧。也就是说，编码服务器可以将横屏视频帧中从下到上的第一列像素点的像素值，作为竖屏视频帧中从左到右的第一行像素点的像素值，以此类推，将横屏视频帧中从下到上的第N列像素点的像素值，作为竖屏视频帧中从左到右的第N行像素点的像素值，N为横屏视频帧的最大像素列数，如图6所示。
方式二，当目标拍摄方向是在正常拍摄方向基础上逆时针旋转90度后的拍摄方向时，步骤202的处理过程可以是：按照从上向下、从右到左的顺序，遍历横屏视频帧的每个像素点；按照从左到右、从上下的顺序，将遍历到的每列中的每个像素点的像素值依次作为竖屏视频帧的每行像素点中每个像素点的像素值，得到横屏视频帧对应的竖屏视频帧。
在实施中，技术人员在调整摄像设备的拍摄方向时，可以将摄像设备的摆放方位在正常拍摄方向的基础上逆时针旋转90度，得到目标拍摄方向，即目标拍摄方向是在正常拍摄方向基础上逆时针旋转90度后的拍摄方向，如图7所示，其中，摄像设备在目标拍摄方向拍摄得到的原始视频帧如图8所示。
此种情况下，编码服务器获取到横屏视频帧后，编码服务器可以按照从上向下、从右到左的顺序，遍历横屏视频帧的每个像素点，并可以按照从左到右、从上到下的顺序，将遍历到的每个像素点的像素值依次作为竖屏视频帧的每行像素点中每个像素点的像素值，得到横屏视频帧对应的竖屏视频帧。也就是说，编码服务器可以将横屏视频帧中从上到下的第N(其中，N为横屏视频帧的最大像素列数)列像素点的像素值，作为竖屏视频帧中从左到右的第一行像素点的像素值，以此类推，将横屏视频帧中从上到下的第一列像素点的像素值，作为竖屏视频帧中从左到右的第N行像素点的像素值，如图9所示。
在内存数据表现上，需要针对特定的图像像素格式来处理，以编码系统常用的YUV420P像素格式(图像总大小(Y、U、V三个分量和)为宽度×高度×1.5)进行处理，分别对Y分量数据(宽度×高度)、U分量数据(宽度×高度/4)、V分量数据(宽度×高度/4)按上述算法进行像素值的复制。
另外，本方案中，编码服务器可以对横屏视频帧的拍摄方向进行检测，即编码服务器可以对目标拍摄方向进行检测，当检测到目标拍摄方向是在正常拍摄方向基础上顺时针旋转90度后的拍摄方向时，可以按照方式一生成竖屏视频帧，当检测到目标拍摄方向是在正常拍摄方向基础上逆时针旋转90度后的拍摄方向时，可以按照方式二生成竖屏视频帧。这样，编码服务器可以对摄像设备在不同拍摄方向上拍摄到的横屏视频帧进行处理，从而，可以增强生成竖屏视频流的灵活性。
步骤203，对竖屏视频帧进行编码，生成竖屏视频流。
在实施中，得到竖屏视频帧后，可以对竖屏视频帧进行编码，得到竖屏视频流。
本发明实施例中，编码服务器通过对摄像设备在目标拍摄方向拍摄到的横屏视频帧进行转换，得到横屏视频帧对应的竖屏视频帧，从而，可以避免通过对横屏视频帧进行裁剪的方式来得到竖屏视频帧，其中，目标拍摄方向可以是摆放方位与正常拍摄方向垂直的方向，每个竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，每个竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同。这样，通过本发明实施例得到的竖屏视频帧的像素数目与摄像设备拍摄的横屏视频帧的像素数目相同，即竖屏视频帧的分辨率与横屏视频帧的分辨率相同，从而，可以在保证视频图像完整的同时，避免竖屏视频流的清晰度降低。
另外，针对上述播放控制设备对原始视频帧进行处理的情况，本发明实施例还提供了一种图像处理的方法，如图10所示。
下面将结合具体实施方式，对图10所示的处理流程进行详细的说明，图10所示的处理流程可以由播放控制设备执行，内容可以如下：
步骤1001，获取摄像设备在目标拍摄方向拍摄得到的原始视频帧，目标拍摄方向与正常拍摄方向垂直。
在实施中，摄像设备在拍摄视频帧之前，技术人员可以先调整摄像设备的拍摄方向，可以将摄像设备的拍摄方向调整为目标拍摄方向，目标拍摄方向可以与正常拍摄方向(也可以称为横向方向)垂直，其中，正常拍摄方向可以是能够拍摄到正常显示的横屏视频帧。当接收到摄像开启指令时，摄像设备可以在目标拍摄方向进行拍摄，得到原始视频帧，其中，原始视频帧的横竖比例可以是16:9。摄像设备拍摄得到原始视频帧后，可以向播放控制设备发送原始视频帧。相应的，播放控制设备可以接收摄像设备在目标拍摄方向拍摄得到的原始视频帧。
可选的，原始视频帧可以通过HD-SDI传输。也就是说，摄像设备可以通过HD-SDI向播放控制设备发送原始视频帧，相应的，播放控制设备可以通过HD-SDI接收摄像设备发送的原始视频帧。
步骤1002，如果原始视频帧需要叠加素材图像，则获取各素材图像，各素材图像的显示方向与正常显示方向垂直。
其中，各素材图像可以是单帧素材图像，也可以是素材动画图像。
在实施中，播放控制服务器中可以预先存储有各素材图像，其中，素材图像可以是待叠加到原始视频帧中的图像，比如可以包括：标题图像(主持人标识、平台标签、当前的答题进度条等)、题目的背景资料素材、开场倒计时等图像。播放控制设备接收到原始视频帧后，可以判断原始视频帧是否需要叠加素材图像，如果原始视频帧需要叠加素材图像，则播放控制设备可以获取各素材图像，其中，各素材图像的显示方向与正常显示方向垂直。如果原始视频帧不需要叠加素材图像，则播放控制服务器可以不执行步骤1003，可以向编码服务器发送原始视频帧，即原始视频帧可以用于生成竖屏视频流，也即可以用于编码服务器执行如2所示的处理流程。
其中，播放控制设备中预先存储的各素材图像可以是显示方向与正常显示方向垂直的素材图像，此种情况下，播放控制设备可以直接获取预先存储的各素材图像。播放控制设备中预先存储的各素材图像也可以是正常显示方向的素材图像，此种情况下，播放控制服务器获取到预先存储的正常显示方向的素材图像后，可以对其进行旋转处理，得到显示方向与正常显示方向垂直的素材图像。这样，播放控制设备可以自动对素材图像的显示方向进行调整，从而，可以避免技术人员耗费时间制作显示方向与正常显示方向垂直的素材图像，从而，可以降低对素材图像的制作成本。
可选的，素材图像的显示方向与目标拍摄方向相匹配，基于目标拍摄方向的不同，素材图像的显示方向也不同。
情况一，当目标拍摄方向是在正常拍摄方向基础上顺时针旋转90度后的拍摄方向时，各素材图像的显示方向是在正常显示方向基础上逆时针旋转90度后的显示方向。
在实施中，，当目标拍摄方向是在正常拍摄方向基础上顺时针旋转90度后的拍摄方向时，各素材的显示方向可以是在正常显示方向基础上逆时针旋转90度后的显示方向，如图11所示。
情况二，当目标拍摄方向是在正常拍摄方向基础上逆时针旋转90度后的拍摄方向时，各素材图像的显示方向是在正常显示方向基础上顺时针旋转90度后的显示方向。
在实施中，当目标拍摄方向是在正常拍摄方向基础上逆时针旋转90度后的拍摄方向时，各素材的显示方向可以是在正常显示方向基础上顺时针旋转90度后的显示方向，如图12所示。
可选的，播放控制设备判断原始视频帧是否需要叠加素材图像的处理方式可以多种多样，以下给出了几种可行的处理方式：
方式一，如果原始视频帧的接收时刻在预设的素材叠加时间范围内，则将原始视频帧确定为需要叠加素材图像的原始视频帧。
在实施中，播放控制设备中可以预先存储有待叠加素材图像的素材叠加时间范围。此种情况下，播放控制设备获取到原始视频帧后，可以判断原始视频帧对应的接收时刻是否在预设的素材叠加时间范围内，如果原始视频帧的接收时刻在预设的素材叠加时间范围内，则可以将原始视频帧确定为需要叠加素材图像的原始视频帧，进而，可以获取各素材图像。
方式二，如果已接收到叠加指令且未接收到叠加取消指令，则将原始视频帧确定为需要叠加素材图像的原始视频帧。
在实施中，播放控制设备上可以设置有叠加按钮，当当前的原始视频帧需要叠加素材图像时，技术人员可以按压叠加按钮，此时，播放控制设备可以接收到叠加指令，当当前的原始视频帧不再需要叠加素材图像时，技术人员可以按压叠加按钮，此时，播放控制设备可以接收到叠加取消指令。此种情况下，获取到原始视频帧时，如果已接收到叠加指令且未接收到叠加取消指令，则控制播放设备可以将原始视频帧确定为需要叠加素材图像的原始视频帧。
步骤1003，基于各素材图像的显示位置，将各素材图像与原始视频帧进行叠加，得到横屏视频帧。
在实施中，播放控制设备中可以预先存储有各个素材图像在原始视频帧中的显示位置。对于每个素材图像，播放控制设备获取到该素材图像后，还可以获取该素材图像对应的显示位置，进而，可以基于该素材图像的显示位置，将该素材图像叠加到原始视频中，得到横屏视频帧，如图13、图14、图15、图16所示。另外，播放控制设备得到横屏视频帧后，可以向编码服务器发送横屏视频帧，即横屏视频帧可以用于生成竖屏视频流，也即可以用于编码服务器执行如图2所示的处理流程。其中，可以通过HD-SDI向编码服务器发送横屏视频帧，即横屏视频帧可以通过HD-SDI传输。
可选的，播放控制设备获取到原始视频帧后，可以先对其背景进行替换处理，相应的，播放控制设备还可以进行如下处理：基于背景模板图像，将原始视频帧中的背景图像替换为背景模板图像，得到背景替换后的原始视频帧。相应的，步骤1003的处理过程可以如下：基于各素材图像的显示位置，将各素材图像与背景替换后的原始视频帧进行叠加，得到横屏视频帧。
在实施中，播放控制设备中可以预先存储有背景模板图像，其中，背景模板图像的显示方向与正常显示方向垂直，可以与各素材图像的显示方向相同。每当获取到原始视频帧后，可以对原始视频帧进行图像处理，对原始视频帧进行抠图处理，将原始视频帧的背景图像替换为背景模板图像，得到背景替换后的原始视频帧。具体的，可以将原始视频帧中的背景图像中的每个像素点的像素值，替换为背景模板图像中相应像素点上的像素值，如图17(a)所示。
此种情况下，播放控制设备获取到各素材图像后，可以基于各素材图像的显示位置，将各素材图像叠加到背景替换后的原始视频帧中，得到横屏视频帧。
另外，本发明实施例可以同时支持对图2和图10所示处理流程的处理。针对竖屏视频流为竖屏直播视频流的情况，具体处理过程可以如下：摄像机可以在目标拍摄方向拍摄得到原始视频帧，进而，可以通过HD-SDI向播控系统发送原始视频帧。播控系统接收到原始视频帧后，可以基于背景模板图像(也可称为抠图动态背景)，对原始视频帧的背景图像进行抠图处理，得到背景替换后的原始视频帧，如果原始视频帧是待叠加素材图像的原始视频帧，则可以获取各素材图像，基于各素材图像的显示位置，对各素材图像与背景替换后的原始视频帧进行叠加，得到横屏视频帧，进而，可以通过HD-SDI向编码服务器发送横屏视频帧。编码服务器获取到横屏视频帧后，可以基于上述两种方式，生成每个横屏视频帧对应的竖屏视频帧(比如，可以将横屏视频帧顺时针旋转90度)，进而，可以对得到的竖屏视频帧进行编码，得到竖屏直播视频流(即直播流FLV)。CDN服务器可以向编码服务器拉取直播流FLV，并将其发送至客户端，如图17(b)所示。
另外，本方案采用专业级播放控制设备执行图像处理的方法，可以保证生成视频流的实时性、灵活性、准确性，以及可以达到较好的抠图叠加处理效果。
此外，需要说明的是，该方法可适用于需要高度与演播室播控系统紧密配合的直播答题场景，即可适用于追求互动性、内容丰富、画面效果炫酷、且针对画面突出单一人物个体(如以主持人、明星等个体为中心)的直播应用。除此之外，可扩展多种角度旋转，如逆时针90度，或其他不规则旋转角度如45度，180度等，满足个性化画面需求。
基于相同的技术构思，本发明实施例还提供了一种生成竖屏视频流的装置，该装置可以是上述编码服务器，如图18所示，该装置包括：
获取模块1810，用于获取横屏视频帧，所述横屏视频帧通过摄像设备在目标拍摄方向上拍摄得到，所述目标拍摄方向与正常拍摄方向垂直；
第一生成模块1820，用于基于所述横屏视频帧，生成所述横屏视频帧对应的竖屏视频帧，所述竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，所述竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同；
第二生成模块1830，用于对所述竖屏视频帧进行编码，生成竖屏视频流。
可选的，所述目标拍摄方向是在正常拍摄方向基础上顺时针旋转90度后的拍摄方向；
所述第一生成模块1820，用于：
按照从下向上、从左到右的顺序，遍历所述横屏视频帧的每个像素点；
按照从左到右、从上下的顺序，将遍历到的每列中的每个像素点的像素值依次作为竖屏视频帧的每行像素点中每个像素点的像素值，得到所述横屏视频帧对应的竖屏视频帧。
可选的，所述目标拍摄方向是在正常拍摄方向基础上逆时针旋转90度后的拍摄方向；
所述第一生成模块1820，用于：
按照从上向下、从右到左的顺序，遍历所述横屏视频帧的每个像素点；
按照从左到右、从上下的顺序，将遍历到的每列中的每个像素点的像素值依次作为竖屏视频帧的每行像素点中每个像素点的像素值，得到所述横屏视频帧对应的竖屏视频帧。
可选的，所述获取模块1810，用于：
获取所述摄像设备拍摄的原始视频帧；或者，
获取播放控制设备发送的对所述摄像设备拍摄的原始视频帧进行图像处理后的横屏视频帧。
可选的，所述横屏视频帧通过高清数字分量串行接口HD-SDI传输。
本发明实施例中，编码服务器通过对摄像设备在目标拍摄方向拍摄到的横屏视频帧进行转换，得到横屏视频帧对应的竖屏视频帧，从而，可以避免通过对横屏视频帧进行裁剪的方式来得到竖屏视频帧，其中，目标拍摄方向可以是摆放方位与正常拍摄方向垂直的方向，每个竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，每个竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同。这样，通过本发明实施例得到的竖屏视频帧的像素数目与摄像设备拍摄的横屏视频帧的像素数目相同，即竖屏视频帧的分辨率与横屏视频帧的分辨率相同，从而，可以在保证视频图像完整的同时，避免竖屏视频流的清晰度降低。
需要说明的是：上述实施例提供的生成竖屏视频流的装置在生成竖屏视频流时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将编码服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的生成竖屏视频流的装置与生成竖屏视频流的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于相同的技术构思，本发明实施例还提供了一种图像处理的装置，该装置可以是上述播放控制设备，如图19所示，该装置包括：
接收模块1910，用于获取摄像设备在目标拍摄方向拍摄得到的原始视频帧，所述目标拍摄方向与正常拍摄方向垂直；
获取模块1920，用于如果所述原始视频帧需要叠加素材图像，则获取各素材图像，所述各素材图像的显示方向与正常显示方向垂直；
叠加模块1930，用于基于各素材图像的显示位置，将各素材图像与所述原始视频帧进行叠加，得到横屏视频帧。
可选的，当所述目标拍摄方向是在正常拍摄方向基础上顺时针旋转90度后的拍摄方向时，所述各素材图像的显示方向是在正常显示方向基础上逆时针旋转90度后的显示方向。
可选的，当所述目标拍摄方向是在正常拍摄方向基础上逆时针旋转90度后的拍摄方向时，所述各素材图像的显示方向是在正常显示方向基础上顺时针旋转90度后的显示方向。
可选的，如图20所示，所述装置还包括：
替换模块1940，用于基于背景模板图像，将所述原始视频帧中的背景图像替换为背景模板图像，得到背景替换后的原始视频帧；
所述叠加模块1930，用于：
基于各素材图像的显示位置，将各素材图像与所述背景替换后的原始视频帧进行叠加，得到横屏视频帧。
可选的，如图21所示，所述装置还包括：
第一确定模块1950，用于如果所述原始视频帧的接收时刻在预设的素材叠加时间范围内，则将所述原始视频帧确定为需要叠加素材图像的原始视频帧。
可选的，如图22所示，所述装置还包括：
第二确定模块1960，用于如果已接收到叠加指令且未接收到叠加取消指令，则将所述原始视频帧确定为需要叠加素材图像的原始视频帧。
可选的，所述原始视频帧和所述横屏视频帧通过高清数字分量串行接口HD-SDI传输。
需要说明的是：上述实施例提供的图像处理的装置在图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将播放控制设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理的装置与图像处理的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本发明实施例还提供了一种视频系统，该视频系统可以包括编码服务器和播放控制设备，其中：
所述编码服务器，用于获取横屏视频帧，所述横屏视频帧通过摄像设备在目标拍摄方向上拍摄得到，所述目标拍摄方向与正常拍摄方向垂直；基于所述横屏视频帧，生成所述横屏视频帧对应的竖屏视频帧，所述竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，所述竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同；对所述竖屏视频帧进行编码，生成竖屏视频流；
所述播放控制设备，用于获取摄像设备在目标拍摄方向拍摄得到的原始视频帧，所述目标拍摄方向与正常拍摄方向垂直；如果所述原始视频帧需要叠加素材图像的原始视频帧，则获取各素材图像，所述各素材图像的显示方向与正常显示方向垂直；基于各素材图像的显示位置，将各素材图像与所述原始视频帧进行叠加，得到横屏视频帧。
本发明实施例中，编码服务器通过对摄像设备在目标拍摄方向拍摄到的横屏视频帧进行转换，得到横屏视频帧对应的竖屏视频帧，从而，可以避免通过对横屏视频帧进行裁剪的方式来得到竖屏视频帧，其中，目标拍摄方向可以是摆放方位与正常拍摄方向垂直的方向，每个竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，每个竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同。这样，通过本发明实施例得到的竖屏视频帧的像素数目与摄像设备拍摄的横屏视频帧的像素数目相同，即竖屏视频帧的分辨率与横屏视频帧的分辨率相同，从而，可以在保证视频图像完整的同时，避免竖屏视频流的清晰度降低。
图23是本发明实施例提供的一种电子设备的结构示意图，该电子设备2300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)2301和一个或一个以上的存储器2302，其中，所述存储器2302中存储有至少一条指令，所述至少一条指令由所述处理器2301加载并执行以实现上述生成竖屏视频流、图像处理的方法步骤。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的生成竖屏视频流、图像处理的方法。
本发明实施例中，编码服务器通过对摄像设备在目标拍摄方向拍摄到的横屏视频帧进行转换，得到横屏视频帧对应的竖屏视频帧，从而，可以避免通过对横屏视频帧进行裁剪的方式来得到竖屏视频帧，其中，目标拍摄方向可以是摆放方位与正常拍摄方向垂直的方向，每个竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，每个竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同。这样，通过本发明实施例得到的竖屏视频帧的像素数目与摄像设备拍摄的横屏视频帧的像素数目相同，即竖屏视频帧的分辨率与横屏视频帧的分辨率相同，从而，可以在保证视频图像完整的同时，避免竖屏视频流的清晰度降低。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的一个实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.一种生成竖屏视频流的方法，其特征在于，应用于编码服务器，所述方法包括：
获取横屏视频帧，所述横屏视频帧通过摄像设备在目标拍摄方向上拍摄得到，所述目标拍摄方向与正常拍摄方向垂直；
基于所述横屏视频帧，生成所述横屏视频帧对应的竖屏视频帧，所述竖屏视频帧的像素列数与对应的横屏视频帧的像素行数相同，所述竖屏视频帧的像素行数与对应的横屏视频帧的像素列数相同；
对所述竖屏视频帧进行编码，生成竖屏视频流。
2.根据权利要求1所述的方法，其特征在于，所述目标拍摄方向是在正常拍摄方向基础上顺时针旋转90度后的拍摄方向；
所述基于所述横屏视频帧，生成所述横屏视频帧对应的竖屏视频帧，包括：
按照从下向上、从左到右的顺序，遍历所述横屏视频帧的每个像素点；
按照从左到右、从上下的顺序，将遍历到的每列中的每个像素点的像素值依次作为竖屏视频帧的每行像素点中每个像素点的像素值，得到所述横屏视频帧对应的竖屏视频帧。
3.根据权利要求1所述的方法，其特征在于，所述目标拍摄方向是在正常拍摄方向基础上逆时针旋转90度后的拍摄方向；
所述基于所述横屏视频帧，生成所述横屏视频帧对应的竖屏视频帧，包括：
按照从上向下、从右到左的顺序，遍历所述横屏视频帧的每个像素点；
按照从左到右、从上下的顺序，将遍历到的每列中的每个像素点的像素值依次作为竖屏视频帧的每行像素点中每个像素点的像素值，得到所述横屏视频帧对应的竖屏视频帧。
4.根据权利要求1所述的方法，其特征在于，所述获取横屏视频帧，包括：
获取所述摄像设备拍摄的原始视频帧；或者，
获取播放控制设备发送的对所述摄像设备拍摄的原始视频帧进行图像处理后的横屏视频帧。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述横屏视频帧通过高清数字分量串行接口HD-SDI传输。
6.一种图像处理的方法，其特征在于，应用于播放控制设备，所述方法包括：
获取摄像设备在目标拍摄方向拍摄得到的原始视频帧，所述目标拍摄方向与正常拍摄方向垂直；
如果所述原始视频帧需要叠加素材图像，则获取各素材图像，所述各素材图像的显示方向与正常显示方向垂直；
基于各素材图像的显示位置，将各素材图像与所述原始视频帧进行叠加，得到横屏视频帧。
7.根据权利要求6所述的方法，其特征在于，当所述目标拍摄方向是在正常拍摄方向基础上顺时针旋转90度后的拍摄方向时，所述各素材图像的显示方向是在正常显示方向基础上逆时针旋转90度后的显示方向。
8.根据权利要求6所述的方法，其特征在于，当所述目标拍摄方向是在正常拍摄方向基础上逆时针旋转90度后的拍摄方向时，所述各素材图像的显示方向是在正常显示方向基础上顺时针旋转90度后的显示方向。
9.根据权利要求6所述的方法，其特征在于，所述方法还包括：
基于背景模板图像，将所述原始视频帧中的背景图像替换为背景模板图像，得到背景替换后的原始视频帧；
所述基于各素材图像的显示位置，将各素材图像与所述原始视频帧进行叠加，得到横屏视频帧，包括：
基于各素材图像的显示位置，将各素材图像与所述背景替换后的原始视频帧进行叠加，得到横屏视频帧。
10.根据权利要求6所述的方法，其特征在于，所述方法还包括：
如果所述原始视频帧的接收时刻在预设的素材叠加时间范围内，则将所述原始视频帧确定为需要叠加素材图像的原始视频帧。
11.根据权利要求6所述的方法，其特征在于，所述方法还包括：
如果已接收到叠加指令且未接收到叠加取消指令，则将所述原始视频帧确定为需要叠加素材图像的原始视频帧。
12.根据权利要求6-11任意一项所述的方法，其特征在于，所述原始视频帧和所述横屏视频帧通过高清数字分量串行接口HD-SDI传输。
13.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一所述的生成竖屏视频流的方法或者如权利要求6至12任一所述的图像处理的方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一所述的生成竖屏视频流的方法或者如权利要求6至12任一所述的图像处理的方法。
15.一种视频系统，其特征在于，所述视频系统包括编码服务器和播放控制设备，其中：
所述编码服务器，用于执行如权利要求1至5任一所述的生成竖屏视频流的方法；
所述播放控制设备，用于执行如权利要求6至12任一所述的图像处理的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810438248.4A CN108650542B (zh) | 2018-05-09 | 2018-05-09 | 生成竖屏视频流、图像处理的方法、电子设备和视频系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810438248.4A CN108650542B (zh) | 2018-05-09 | 2018-05-09 | 生成竖屏视频流、图像处理的方法、电子设备和视频系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108650542A true CN108650542A (zh) | 2018-10-12 |
| CN108650542B CN108650542B (zh) | 2022-02-01 |
Family
ID=63754077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810438248.4A Active CN108650542B (zh) | 2018-05-09 | 2018-05-09 | 生成竖屏视频流、图像处理的方法、电子设备和视频系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108650542B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110062252A (zh) * | 2019-04-30 | 2019-07-26 | 广州酷狗计算机科技有限公司 | 直播方法、装置、终端及存储介质 |
| CN111047508A (zh) * | 2019-12-16 | 2020-04-21 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN111277915A (zh) * | 2018-12-05 | 2020-06-12 | 阿里巴巴集团控股有限公司 | 一种视频转换方法及装置 |
| CN111953919A (zh) * | 2019-05-17 | 2020-11-17 | 成都鼎桥通信技术有限公司 | 视频单呼中手持终端的视频录制方法和装置 |
| CN112333513A (zh) * | 2020-07-09 | 2021-02-05 | 深圳Tcl新技术有限公司 | 竖屏视频库的创建方法、设备及存储介质 |
| CN113077470A (zh) * | 2021-03-26 | 2021-07-06 | 天翼爱音乐文化科技有限公司 | 一种横竖屏转换画面的裁剪方法、系统、装置及介质 |
| CN113438550A (zh) * | 2020-03-23 | 2021-09-24 | 阿里巴巴集团控股有限公司 | 一种视频播放方法、视频会议方法、直播方法及相关装置 |
| CN113452916A (zh) * | 2021-06-29 | 2021-09-28 | 技德技术研究所(武汉)有限公司 | 一种Linux兼容Android的摄像头图像处理方法及装置 |
| CN113556500A (zh) * | 2020-04-24 | 2021-10-26 | 华为技术有限公司 | 一种视频叠加方法、装置及系统 |
| CN113592734A (zh) * | 2021-07-23 | 2021-11-02 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置和电子设备 |
| CN114222188A (zh) * | 2021-12-28 | 2022-03-22 | 深圳小湃科技有限公司 | 基于旋转屏的全屏显示方法、装置、设备及存储介质 |
| CN114286136A (zh) * | 2021-12-28 | 2022-04-05 | 咪咕文化科技有限公司 | 视频播放编码方法、装置、设备及计算机可读存储介质 |
| CN116095225A (zh) * | 2022-05-30 | 2023-05-09 | 荣耀终端有限公司 | 终端设备的图像处理方法及装置 |
| CN116546333A (zh) * | 2023-04-03 | 2023-08-04 | 华光影像科技合肥有限公司 | 同时输出不同拍摄模式的视频画面的方法、系统和摄像机 |
| CN114286136B (zh) * | 2021-12-28 | 2024-05-31 | 咪咕文化科技有限公司 | 视频播放编码方法、装置、设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011514789A (ja) * | 2008-03-20 | 2011-05-06 | インスティテュート フュール ラントファンクテクニーク ゲー・エム・ベー・ハー | ビデオ画像の小さな画面サイズへの適合方法 |
| CN202261490U (zh) * | 2011-08-30 | 2012-05-30 | 深圳万利达移动通信有限公司 | 拍照手机 |
| CN107682637A (zh) * | 2017-10-20 | 2018-02-09 | 维沃移动通信有限公司 | 一种拍摄方法、移动终端和计算机可读存储介质 |
-
2018
- 2018-05-09 CN CN201810438248.4A patent/CN108650542B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011514789A (ja) * | 2008-03-20 | 2011-05-06 | インスティテュート フュール ラントファンクテクニーク ゲー・エム・ベー・ハー | ビデオ画像の小さな画面サイズへの適合方法 |
| CN202261490U (zh) * | 2011-08-30 | 2012-05-30 | 深圳万利达移动通信有限公司 | 拍照手机 |
| CN107682637A (zh) * | 2017-10-20 | 2018-02-09 | 维沃移动通信有限公司 | 一种拍摄方法、移动终端和计算机可读存储介质 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111277915A (zh) * | 2018-12-05 | 2020-06-12 | 阿里巴巴集团控股有限公司 | 一种视频转换方法及装置 |
| CN111277915B (zh) * | 2018-12-05 | 2022-08-12 | 阿里巴巴集团控股有限公司 | 一种视频转换方法及装置 |
| CN110062252A (zh) * | 2019-04-30 | 2019-07-26 | 广州酷狗计算机科技有限公司 | 直播方法、装置、终端及存储介质 |
| CN111953919A (zh) * | 2019-05-17 | 2020-11-17 | 成都鼎桥通信技术有限公司 | 视频单呼中手持终端的视频录制方法和装置 |
| CN111047508A (zh) * | 2019-12-16 | 2020-04-21 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN111047508B (zh) * | 2019-12-16 | 2024-04-26 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113438550A (zh) * | 2020-03-23 | 2021-09-24 | 阿里巴巴集团控股有限公司 | 一种视频播放方法、视频会议方法、直播方法及相关装置 |
| CN113556500A (zh) * | 2020-04-24 | 2021-10-26 | 华为技术有限公司 | 一种视频叠加方法、装置及系统 |
| CN113556500B (zh) * | 2020-04-24 | 2022-05-13 | 华为技术有限公司 | 一种视频叠加方法、装置及系统 |
| CN112333513A (zh) * | 2020-07-09 | 2021-02-05 | 深圳Tcl新技术有限公司 | 竖屏视频库的创建方法、设备及存储介质 |
| CN112333513B (zh) * | 2020-07-09 | 2024-02-06 | 深圳Tcl新技术有限公司 | 竖屏视频库的创建方法、设备及存储介质 |
| CN113077470A (zh) * | 2021-03-26 | 2021-07-06 | 天翼爱音乐文化科技有限公司 | 一种横竖屏转换画面的裁剪方法、系统、装置及介质 |
| CN113452916A (zh) * | 2021-06-29 | 2021-09-28 | 技德技术研究所(武汉)有限公司 | 一种Linux兼容Android的摄像头图像处理方法及装置 |
| CN113592734A (zh) * | 2021-07-23 | 2021-11-02 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置和电子设备 |
| CN113592734B (zh) * | 2021-07-23 | 2024-01-23 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置和电子设备 |
| CN114222188A (zh) * | 2021-12-28 | 2022-03-22 | 深圳小湃科技有限公司 | 基于旋转屏的全屏显示方法、装置、设备及存储介质 |
| CN114286136A (zh) * | 2021-12-28 | 2022-04-05 | 咪咕文化科技有限公司 | 视频播放编码方法、装置、设备及计算机可读存储介质 |
| CN114286136B (zh) * | 2021-12-28 | 2024-05-31 | 咪咕文化科技有限公司 | 视频播放编码方法、装置、设备及计算机可读存储介质 |
| CN116095225A (zh) * | 2022-05-30 | 2023-05-09 | 荣耀终端有限公司 | 终端设备的图像处理方法及装置 |
| CN116546333B (zh) * | 2023-04-03 | 2023-10-31 | 华光影像科技合肥有限公司 | 同时输出不同拍摄模式的视频画面的方法、系统和摄像机 |
| CN116546333A (zh) * | 2023-04-03 | 2023-08-04 | 华光影像科技合肥有限公司 | 同时输出不同拍摄模式的视频画面的方法、系统和摄像机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108650542B (zh) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108650542A (zh) | 生成竖屏视频流、图像处理的方法、电子设备和视频系统 | |
| Niamut et al. | MPEG DASH SRD: spatial relationship description | |
| CN106060582B (zh) | 视频传输系统、方法及装置 | |
| US11153615B2 (en) | Method and apparatus for streaming panoramic video | |
| CN107040794A (zh) | 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统 | |
| US8803991B2 (en) | Snapshot capture in video stream | |
| CN109983500A (zh) | 重新投影全景视频图片的平板投影以通过应用进行渲染 | |
| CN104023192A (zh) | 一种录制视频的方法和装置 | |
| CN106303663B (zh) | 直播处理方法和装置、直播服务器 | |
| CN109547724B (zh) | 一种视频流数据的处理方法、电子设备及存储装置 | |
| CN103607578B (zh) | 基于视频编码的全视角图片浏览系统 | |
| JP7177034B2 (ja) | レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム | |
| CN1561637A (zh) | 用于传输多媒体信息流的系统和方法,例如用于远程教学 | |
| JP2002330440A (ja) | 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置 | |
| CN104602127A (zh) | 导播视频同步播放方法和系统以及视频导播设备 | |
| CN104822070A (zh) | 多路视频流播放方法及装置 | |
| CN105898370A (zh) | 用于多机位的视频播放器、播放系统及播放方法 | |
| CN108810567A (zh) | 一种音频与视频视角匹配的方法、客户端和服务器 | |
| Niamut et al. | Live event experiences-interactive UHDTV on mobile devices | |
| US10764655B2 (en) | Main and immersive video coordination system and method | |
| CN112887653B (zh) | 一种信息处理方法和信息处理装置 | |
| CN112423108B (zh) | 码流的处理方法、装置、第一终端、第二终端及存储介质 | |
| CN112954394A (zh) | 一种高清视频的编码及解码播放方法、装置、设备和介质 | |
| US20210263697A1 (en) | System for Cloud-Composited Low-Latency Video Wall for Videoconferencing | |
| TWI838050B (zh) | 立體成像串流方法及應用其之電子裝置與伺服裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |