CN114745597A - 视频处理方法和装置、电子设备和计算机可读存储介质 - Google Patents
视频处理方法和装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114745597A CN114745597A CN202210129983.3A CN202210129983A CN114745597A CN 114745597 A CN114745597 A CN 114745597A CN 202210129983 A CN202210129983 A CN 202210129983A CN 114745597 A CN114745597 A CN 114745597A
- Authority
- CN
- China
- Prior art keywords
- video
- visual angle
- user
- playing
- playing visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000009877 rendering Methods 0.000 claims abstract description 121
- 230000000007 visual effect Effects 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 230000001172 regenerating effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种视频处理方法和装置、电子设备和计算机可读存储介质。该方法包括：获取针对当前播放的第一视频的播放视角指令；获取与所述播放视角指令指定的第一播放视角对应的渲染数据；对所述渲染数据进行渲染处理，以生成用户指定的第一播放视角的第二视频。本申请实施例消除了在用户的终端中重新生成渲染数据的需要，而是仅要求用户的终端具有解码和渲染能力，从而可以仅对获取到的对应渲染数据进行渲染就能够为用户呈现对应的视频，从而使得用户可以使用计算能力较低的终端来体验自由角度的视频观看。
Description
技术领域
本申请涉及视频处理技术领域，尤其涉及一种视频处理方法和装置、电子设备和计算机可读存储介质。
背景技术
随着视频技术的发展，已经能够为客户提供更多互动的视频体验。自由视角点播服务就是当前视频技术发展的产物，用户可以使用该服务而在观看视频提供方提供的视频时自由地选择观看的视角，尤其是在观看体育比赛或者演唱会等视频时，这样的自由视角观看技术能够使得用户能够在观看过程中通过选择不同的视角来实现更个性化的观看体验。因此，在现有技术中已经提出了通过使用多个视频采集设备来对同一个目标从不同角度同时进行视频采集，并且将采集到的多个不同角度的视频数据发送给用户来实现各个视角的观看。但是，现有技术中这样的方案对于计算能力要求较高，因此需要一种能够使得拥有计算能力不高的终端的用户也能够使用的自由角度视频观看方案。
发明内容
本申请实施例提供一种视频处理方法和装置、电子设备和计算机可读存储介质，以解决现有技术中自由角度视频观看对于计算能力要求过高的缺陷。
为达到上述目的，本申请实施例提供了一种视频处理方法，包括
获取针对当前播放的第一视频的播放视角指令；
获取与所述播放视角指令指定的第一播放视角对应的渲染数据；
对所述渲染数据进行渲染处理，以生成用户指定的第一播放视角的第二视频。
本申请实施例还提供了一种视频处理装置，包括：
第一获取模块，用于获取针对当前播放的第一视频的播放视角指令；
第二获取模块，用于获取与所述播放视角指令指定的第一播放视角对应的渲染数据；
渲染模块，用于对所述渲染数据进行渲染处理，以生成用户指定的第一播放视角的第二视频。
本申请实施例还提供了一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，所述程序运行时执行本申请实施例提供的视频处理方法。
本申请实施例还提供了一种计算机可读存储介质，其上存储有可被处理器执行的计算机程序，其中，该程序被处理器执行时实现如本申请实施例提供的视频处理方法。
本申请实施例提供的视频处理方法和装置、电子设备和计算机可读存储介质，通过获取针对当前播放的第一视频的播放视角指令，并根据指令所指定的播放视角来获取对应的渲染数据，以对获取到的渲染数据进行渲染来为用户显示指定的播放视角的视频，从而可以根据用户的播放视角指令来获取与用户指定的播放视角对应的渲染数据，并对该渲染数据进行渲染来生成最终呈现给用户的视频，因此消除了在用户的终端中重新生成渲染数据的需要，而是仅要求用户的终端具有解码和渲染能力，从而可以仅对获取到的对应渲染数据进行渲染就能够为用户呈现对应的视频，从而使得用户可以使用计算能力较低的终端来体验自由角度的视频观看。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请实施例提供的视频处理方案的应用场景示意图；
图2为本申请提供的视频处理方法的一个实施例的流程图；
图3为本申请提供的视频处理方法的另一个实施例的流程图；
图4为本申请提供的视频处理装置的实施例的结构示意图；
图5为本申请提供的电子设备实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
本申请实施例提供的方案可应用于任何具有文本排序能力的优化的系统，例如包括有文本排序功能的芯片以及相关组件的服务器系统等等。图1为本申请实施例提供的攻击文本生成方案的应用场景示意图，图1所示的场景仅仅是本申请的技术方案可应用的示例之一。
随着视频技术的发展，已经能够为客户提供更多互动的视频体验。自由视角点播服务就是当前视频技术发展的产物，用户可以使用该服务而在观看视频提供方提供的视频时自由地选择观看的视角，尤其是在观看体育比赛或者演唱会等视频时，这样的自由视角观看技术能够使得用户能够在观看过程中通过选择不同的视角来实现更个性化的观看体验。因此，在现有技术中已经提出了通过使用多个视频采集设备来对同一个目标从不同角度同时进行视频采集，并且将采集到的多个不同角度的视频数据发送给用户来实现各个视角的观看。
现有技术中已经提出了基于深度图的图像绘制技术，其可以根据视频采集设备采集的当前视角的视频数据和深度数据来通过计算获得该视角周围任一点的视点数据。换言之，通过使用现有技术的该方案，可以使用由视点附近的视频采集设备所采集到的视频基于用户选择的视点来为用户重新生成在该视点观看的视频数据，从而用户就可以以自己想要的视点来观看视频。因此，在这样的技术方案中，用户所观看到的视频实际上并不是由视频采集设备所采集到的，而是基于视频采集设备采集到的视频重新生成的视频。因此，这样的现有技术的核心在于基于深度图像的算法的算法模块。该算法模块实际上需要使用用户终端中的计算芯片来提供计算能力。特别是为用户实现自由视角观看的视频是需要重新生成的，因此，该现有技术对于用户终端处的计算能力的要求是比较高的，这导致只有一部分具有较高计算能力的终端的用户才能够享受到该技术带来的观看体验，而其他用户则由于使用的终端的计算能力较低而不能够满足实时计算新视角的视频数据的要求，从而这些用户就无法体验到这样的自由选择角度观看视频的服务。
例如，如图1中所示，在图1中示出了可以应用根据本申请实施例的视频处理方案的场景的示意图。图1中所示的场景仅是本申请可以应用的场景的示例之一。在图1所示的场景中，可以由围绕目标设置的多个摄像机来采集不同视角的视频，并且将这些视频聚合为原始视频发送给用户。如上所述，用户可以使用安装有现有技术的基于深度图像的算法的算法模块来对这些原始视频进行处理，以根据用户指定的视角重新生成该视角的渲染数据，并进而对该渲染数据进行渲染而生成展示的视频。换言之，在现有技术中，用户的终端处并非是直接对接收到的原始视频进行播放，而是基于包含了多个播放视角的多个视频的原始视频按照用户指定的视角来生成新的渲染数据，例如，生成用户指定的视角下的视频纹理，并将这样生成的视频纹理数据作为渲染数据发送给用户的终端中的渲染模块进行渲染处理，以生成该视角的视频，从而用户可以通过终端观看到自己想要的视角下的视频。
但是如上所述，现有技术中的上述方案需要在用户的终端处进行渲染数据的重新生成，尤其是基于包含了大量视频的原始视频来生成纹理数据需要耗费大量的计算资源，并且由于自由视角的播放方案通常是通过用户在显示界面上的操作交互来实现的，因此也需要视频生成具有较高的及时性，从而该方案只能够应用在具有较高计算能力的终端上。
对此，根据本申请实施例的视频处理方案，通过根据用户输入的播放视角指令来确定用户指定的播放视角，并从原始视频中解码来获得对应的渲染数据，从而在用户的终端处只需要对这样获取到的渲染数据进行渲染处理就能够得到对应于用户指定的视角的视频来呈现给用户。
例如，在如图1中所示的场景中，可以由例如3台相机分别对于同一个目标(例如，篮球架)进行视频采集，因此，这三个相机可以分别具有不同的视角。在本申请实施例中，视角可以表示采集设备所在的位置(点)与目标的连线相对于预定方向的参考线所成的角度。例如，在图1中所示的场景中，可以以篮球架的底座的中心向下的水平线作为参考线，因此，位于上面的相机可以具有120度的视角，位于中间的相机可以具有90度的视角，并且位于下面的相机可以具有60度的视角。当然，在具体实施中，在现场对于目标拍摄的相机的数量不限于三个，可以根据视频的用途以及用户的需要而设置更多的相机来采集更加细分视角的视频，或者可以设置更少，例如2个相机来采集视频。
在图1中所示的三个相机分别采集到各自视角的视频之后，可以通过例如视频服务器来将这三路视频汇总生成原始视频以发送给用户的终端。从而用户的终端在接收到该原始视频时，可以首先以默认视角来直接播放或者也可以在接收到原始视频后先询问用户想要以哪个视角开始播放，之后再以用户想要的视角播放。
在视频的播放过程中，可以获取针对当前播放的视频的播放视角指令。例如，在图1中所示的场景中，当前正在以相机2的视角，也就是90度的视角为用户播放第二路视频。这时，用户想要从篮球架侧面角度来观看比赛视频。因此，用户可以在播放界面上向例如左侧滑动以试图切换到右侧观看的视角。因此，用户的终端可以根据用户在界面上的该滑动手势操作来确定用户在该第二路视频的播放画面上滑动的轨迹，并进而确定该滑动轨迹的起点、终点以及路径等信息。特别地，在本申请实施例中，由于在用户的终端上呈现的视频是对采集的原始视频进行渲染而生成的，因此与视频中的实际画面存在着一定的差异。例如，在渲染时可以对原始视频数据进行缩放以适配终端的显示界面。因此，用户在显示界面上的滑动手势操作无法直接获得与实际拍摄场景对应的位置信息。例如，用户在显示界面上向左滑动到了屏幕的边缘，例如滑动了5cm，以表示想要从观看从侧面拍摄的视频。但是如果将该5cm直接作为视角改变距离而反映到实际的拍摄画面中。即认为用户在图1中所示的拍摄场景中从当前正对篮球架的相机2向上，即相机1的方向滑动了5cm，那么这样的距离的改变与相机1与相机2的实际距离相比就相差甚远，无法用于判断用户想要观看的视角。
因此，在本申请实施例中，可以基于在显示界面上获得的用户的滑动手势轨迹确定在显示画面中的例如起点坐标、终点坐标以及路径长度等信息，之后由对原始渲染数据进行渲染的渲染模块来计算该显示画面中的坐标与渲染数据中的实际画面中的坐标的对应关系。例如，可以计算显示画面中的像素坐标与拍摄画面的世界坐标系之间的转换矩阵，从而根据该转换矩阵就可以将用户的手势轨迹在界面上的像素坐标值转换为世界坐标系中的坐标值，从而就可以获得了实际拍摄画面中用户的轨迹对应的视角改变量。例如通过上述转换，可以计算出用户滑动的5cm轨迹可以对应于实际画面中，从相机2的位置向上2米的距离，而相机1与相机2的距离为2米2。因此，可以根据该视角改变量，例如向上2米而确定出用户的滑动轨迹对应的播放视角指令中实际上是想将当前的正对视角改变为相机1附近的视角。
对此，在现有技术中实际上就以用户的轨迹对应的该2米的改变量对应的位置作为新的视角来重新生成渲染数据。例如，现有技术中就可以基于覆盖该新的视角位置的相机1和相机2的视频来计算新的渲染数据。但是如上所述，这样的重新计算会要求非常大的计算能力。而且，通常情况下，用户对于视角的改变并不是非常精确的，在实际的生活中，用户想要从不同角度来观看同一对象，也不是必须要指定非常精确的视角才能够观看。因此，在本申请实施例中，可以根据用户如上通过在界面上的手势操作的轨迹来确定出真实场景中的新的视角，例如，在图1中所示的场景中，该新的视角可以位于相机1的左侧。之后可以根据该新的视角的位置与相机1和相机2的距离来判断该新的视角的位置与哪个相机更近，从而就可以使用该相机的视角作为为用户展示侧面观看的视频的视角。
因此，如上所述，根据用户在界面上的滑动轨迹确定的新的视角位置距离相机1更近，因此就可以将相机1的视角确定为新的视角，从而根据本申请实施例的视频处理方案可以从终端获得的原始视频中获取该相机1的渲染数据来作为用于展示给用户的视频的渲染数据，并且因此用户的终端就可以使用该渲染数据来生成视频显示给用户，从而用户就可以观看到由位于篮球架侧面的相机1拍摄的视频，满足了用户想要从侧面的视角观看比赛的意图。
此外，在生成了新的视角的视频之后，在本申请实施例中，可以对于该视频进行矫正处理，以在从之前播放的相机2的第二路视频切换到相机1的第一路视频的过程中的显示平滑性。
因此，本申请实施例提供的视频处理方案，通过获取针对当前播放的第一视频的播放视角指令，并根据指令所指定的播放视角来获取对应的渲染数据，以对获取到的渲染数据进行渲染来为用户显示指定的播放视角的视频，从而可以根据用户的播放视角指令来获取与用户指定的播放视角对应的渲染数据，并对该渲染数据进行渲染来生成最终呈现给用户的视频，因此消除了在用户的终端中重新生成渲染数据的需要，而是仅要求用户的终端具有解码和渲染能力，从而可以仅对获取到的对应渲染数据进行渲染就能够为用户呈现对应的视频，从而使得用户可以使用计算能力较低的终端来体验自由角度的视频观看。
上述实施例是对本申请实施例的技术原理和示例性的应用框架的说明，下面通过多个实施例来进一步对本申请实施例具体技术方案进行详细描述。
实施例二
图2为本申请提供的视频处理方法的一个实施例的流程图，该方法的执行主体可以为具有视频处理能力的各种终端或服务器设备，也可以为集成在这些设备上的装置或芯片。如图2所示，该视频处理方法包括如下步骤：
S201，获取针对当前播放的第一视频的播放视角指令。
在步骤S201中，用户可以针对当前正在播放的第一视频输入播放视角指令。例如，用户可以通过在该第一视频的播放过程中，直接输入想要的视角信息来作为播放视角指令，或者也可以通过在播放界面，即第一视频的播放画面上使用例如滑动的手势，来输入播放视角指令。例如，如图1中所示，用户可以在当前正在显示相机2的第二路视频的过程中在播放界面上直接向屏幕左侧滑动，以输入想要切换到画面的右侧视角来进行观看的指令。
S202，获取与播放视角指令指定的第一播放视角对应的渲染数据。
在步骤S202，可以根据步骤S201中获取到的用户输入的播放视角指令来获取对应的渲染数据。在本申请实施例中，用户在使用终端显示例如如图1中所示的自由角度视频时，终端接收到的是由不同视角的多个相机采集到的视频汇总成的原始视频，因此，在步骤S202中可以基于步骤S201中确定的用户想要的播放视角来从原始视频中解码获得该播放视角的渲染数据。
S203，对渲染数据进行渲染处理，以生成用户指定的第一播放视角的第二视频。
在步骤S203中，可以基于步骤S202中通过解码获得的渲染数据来使用终端中的例如渲染模块进行渲染处理，从而可以生成最终展示给用户的视频。因此，用户就可以观看到自己通过滑动操作而指定的侧面视角拍摄的视频。
本申请实施例提供的视频处理方法，通过获取针对当前播放的第一视频的播放视角指令，并根据指令所指定的播放视角来获取对应的渲染数据，以对获取到的渲染数据进行渲染来为用户显示指定的播放视角的视频，从而可以根据用户的播放视角指令来获取与用户指定的播放视角对应的渲染数据，并对该渲染数据进行渲染来生成最终呈现给用户的视频，因此消除了在用户的终端中重新生成渲染数据的需要，而是仅要求用户的终端具有解码和渲染能力，从而可以仅对获取到的对应渲染数据进行渲染就能够为用户呈现对应的视频，从而使得用户可以使用计算能力较低的终端来体验自由角度的视频观看。
实施例三
图3为本申请提供的视频处理方法的另一个实施例的流程图，该方法的执行主体可以为具有视频处理能力的各种终端或服务器设备，也可以为集成在这些设备上的装置或芯片。如图3所示，在上述图2所示实施例的基础上，本申请实施例提供的视频处理方法可以包括如下步骤：
S301，获取用户的终端上第一视频的显示画面上的手势轨迹。
用户可以在视频的观看过程中通过在显示画面上输入手势轨迹来输入视角指令。例如，可以在步骤S301中获取用户终端上播放的视频的显示画面上的手势轨迹。该手势轨迹可以是用户在播放的视频的显示画面上的任一点开始的滑动轨迹，或者也可以是在未接触屏幕的情况下，由终端的摄像头捕获到的用户的隔空手势轨迹。在本申请实施例中，对手势的输入方式没有限制，只要该手势是针对终端当前播放的视频的显示画面做出的即可。因此，步骤S301中可以获取该手势轨迹的输入，并且例如计算该手势轨迹的轨迹信息，例如起点坐标、终点坐标以及路径信息。特别地，在本申请实施例中，轨迹信息可以是基于显示屏幕的像素坐标。
S302，根据手势轨迹计算播放视角改变量。
在步骤S302中可以基于步骤S301中获得的像素坐标的手势轨迹的信息来计算对应的播放视角改变量，以确定为客户播放哪个视角的视频。例如，在步骤S302中，可以将手势轨迹的像素坐标，例如起点坐标、终点坐标和路径信息基于渲染模块中预先计算的坐标转换矩阵来转换到拍摄场景中的世界坐标系中的坐标。例如在图1中所示的场景中，在步骤S301中可以获取到用户在屏幕上向左滑动了5cm的距离到达了屏幕的边缘，在步骤S302中就可以根据预先确定的转换矩阵将该轨迹转换到拍摄场景中的世界坐标系中，从而可以获得对应的轨迹是从相机2朝向相机1的方向移动2米的距离。因此视角改变量可以确定为从相机2朝向相机1移动2米。
S303，根据播放视角改变量和第一视频的当前播放视角确定第二播放视角。
S304，根据第二播放视角确定第一播放视角。
在步骤S303中可以根据步骤S302中确定的播放视角改变量来进一步确定对应的新的视角，从而可以在步骤S304中确定为用户展示哪个视角的视频。换言之，在本申请实施例中，需要判断用户输入的手势轨迹对应的新的视角在原始视频中对应的视角。
例如，如果在步骤S301中接受到的用户的手势轨迹实际上只是用户不小心触碰到屏幕而产生的，那么在步骤S303中根据步骤S302中计算出的改变量和当前的视角就可以确定新的视角并没有离开当前的视角的拍摄相机2太远。那么在步骤S304中就可以根据步骤S303中确定的新的视角和当前视角的相机2的位置而确定仍然为用户播放相机2的视角的视频。
此外，在图1中所示的示例中，在步骤S301中已经获得了用户在播放画面上向左滑动了5cm的手势，在步骤S302中相应地计算出视角改变量为2米，因此在步骤S303中可以结合步骤S302中确定的改变量以及当前的视角相机2，确定新的视角为从相机2朝向相机1移动2米的位置，而相机2与相机1的实际距离例如为2.2米，因此在步骤S304中可以确定新的视角位置实际上与相机1的位置很接近，或者说步骤S303中确定的新的视角位置距离相机1比距离相机2更近，因此，在步骤S304中就可以将相机1的视角确定为将要为用户显示的视频的视角。
S305，对原始视频进行解码，以获得多个播放视角的视频的渲染数据。
S306，选择与第一播放视角对应的渲染数据。
在步骤S305中可以对终端接收到的原始视频进行解码，以获得原始视频中包含的各个播放视角的视频的渲染数据。因此，在步骤S306中可以从步骤S305解码获得的各个视角的渲染数据中选择在步骤S304中确定的第一播放视角对应的渲染数据来作为以便于向用户展示新视角的视频。
S307，对渲染数据进行渲染处理，以生成用户指定的第一播放视角的第二视频。
在步骤S307中，可以基于步骤S306中获得的渲染数据来使用终端中的例如渲染模块进行渲染处理，从而可以生成最终展示给用户的视频。因此，用户就可以观看到自己通过滑动操作而指定的侧面视角拍摄的视频。
S308，对第二视频进行校正处理。
在步骤S308中，可以对于步骤S307生成的第二视频进行矫正处理，以确保从之前播放的视频切换到新视角的第二视频过程中的显示平滑性。
本申请实施例提供的视频处理方法，通过获取针对当前播放的第一视频的播放视角指令，并根据指令所指定的播放视角来获取对应的渲染数据，以对获取到的渲染数据进行渲染来为用户显示指定的播放视角的视频，从而可以根据用户的播放视角指令来获取与用户指定的播放视角对应的渲染数据，并对该渲染数据进行渲染来生成最终呈现给用户的视频，因此消除了在用户的终端中重新生成渲染数据的需要，而是仅要求用户的终端具有解码和渲染能力，从而可以仅对获取到的对应渲染数据进行渲染就能够为用户呈现对应的视频，从而使得用户可以使用计算能力较低的终端来体验自由角度的视频观看。
实施例四
图4为本申请提供的视频处理装置的实施例的结构示意图，可以用于执行图2或图3中所示的视频处理方法。如图4所示，该视频处理装置可以包括：第一获取模块41、第二获取模块42和渲染模块43。
第一获取模块41可以用于获取针对当前播放的第一视频的播放视角指令。
用户可以通过第一获取模块41针对当前正在播放的第一视频输入播放视角指令。例如，用户可以通过在该第一视频的播放过程中，直接输入想要的视角信息来作为播放视角指令，或者也可以通过在播放界面，即第一视频的播放画面上使用例如滑动的手势，来输入播放视角指令。例如，如图1中所示，用户可以在当前正在显示相机2的第二路视频的过程中在播放界面上直接向屏幕左侧滑动，以输入想要切换到画面的右侧视角来进行观看的指令。
例如，第一获取模块41可以获取用户终端上播放的视频的显示画面上的手势轨迹。该手势轨迹可以是用户在播放的视频的显示画面上的任一点开始的滑动轨迹，或者也可以是在未接触屏幕的情况下，由终端的摄像头捕获到的用户的隔空手势轨迹。在本申请实施例中，对手势的输入方式没有限制，只要该手势是针对终端当前播放的视频的显示画面做出的即可。因此，第一获取模块41可以获取该手势轨迹的输入，并且例如计算该手势轨迹的轨迹信息，例如起点坐标、终点坐标以及路径信息。特别地，在本申请实施例中，轨迹信息可以是基于显示屏幕的像素坐标。
第一获取模块41可以获得的像素坐标的手势轨迹的信息来计算对应的播放视角改变量，以确定为客户播放哪个视角的视频。例如，第一获取模块41可以将手势轨迹的像素坐标，例如起点坐标、终点坐标和路径信息基于渲染模块中预先计算的坐标转换矩阵来转换到拍摄场景中的世界坐标系中的坐标。例如在图1中所示的场景中，可以获取到用户在屏幕上向左滑动了5cm的距离到达了屏幕的边缘，就可以根据预先确定的转换矩阵将该轨迹转换到拍摄场景中的世界坐标系中，从而可以获得对应的轨迹是从相机2朝向相机1的方向移动2米的距离。因此视角改变量可以确定为从相机2朝向相机1移动2米。
第一获取模块41可以根据确定的播放视角改变量来进一步确定对应的新的视角，从而可以确定为用户展示哪个视角的视频。换言之，在本申请实施例中，需要判断用户输入的手势轨迹对应的新的视角在原始视频中对应的视角。
例如，如果第一获取模块41获取到的用户的手势轨迹实际上只是用户不小心触碰到屏幕而产生的，那么根据计算出的改变量和当前的视角就可以确定新的视角并没有离开当前的视角的拍摄相机2太远。那么第一获取模块41就可以根据确定的新的视角和当前视角的相机2的位置而确定仍然为用户播放相机2的视角的视频。
此外，在图1中所示的示例中，第一获取模块41已经获得了用户在播放画面上向左滑动了5cm的手势，并相应地计算出视角改变量为2米，因此可以结合确定的改变量以及当前的视角相机2，确定新的视角为从相机2朝向相机1移动2米的位置，而相机2与相机1的实际距离例如为2.2米，因此可以确定新的视角位置实际上与相机1的位置很接近，或者说确定的新的视角位置距离相机1比距离相机2更近，因此，就可以将相机1的视角确定为将要为用户显示的视频的视角。
第二获取模块42可以用于获取与播放视角指令指定的第一播放视角对应的渲染数据。
第二获取模块42可以根据第一获取模块41获取到的用户输入的播放视角指令来获取对应的渲染数据。在本申请实施例中，用户在使用终端显示例如如图1中所示的自由角度视频时，终端接收到的是由不同视角的多个相机采集到的视频汇总成的原始视频，因此，第二获取模块42可以基于第一获取模块41确定的用户想要的播放视角来从原始视频中解码获得该播放视角的渲染数据。
特别地，第二获取模块42可以对终端接收到的原始视频进行解码，以获得原始视频中包含的各个播放视角的视频的渲染数据。因此，可以解码获得的各个视角的渲染数据中选择第一获取模块41确定的第一播放视角对应的渲染数据来作为以便于向用户展示新视角的视频。
渲染模块43可以用于对渲染数据进行渲染处理，以生成用户指定的第一播放视角的第二视频。
渲染模块43可以基于第二获取模块42通过解码获得的渲染数据来使用终端中的例如渲染模块进行渲染处理，从而可以生成最终展示给用户的视频。因此，用户就可以观看到自己通过滑动操作而指定的侧面视角拍摄的视频。
此外，渲染模块43还可以对生成的第二视频进行矫正处理，以确保从之前播放的视频切换到新视角的第二视频过程中的显示平滑性。
本申请实施例提供的视频处理装置，通过获取针对当前播放的第一视频的播放视角指令，并根据指令所指定的播放视角来获取对应的渲染数据，以对获取到的渲染数据进行渲染来为用户显示指定的播放视角的视频，从而可以根据用户的播放视角指令来获取与用户指定的播放视角对应的渲染数据，并对该渲染数据进行渲染来生成最终呈现给用户的视频，因此消除了在用户的终端中重新生成渲染数据的需要，而是仅要求用户的终端具有解码和渲染能力，从而可以仅对获取到的对应渲染数据进行渲染就能够为用户呈现对应的视频，从而使得用户可以使用计算能力较低的终端来体验自由角度的视频观看。
实施例五
以上描述了视频处理装置的内部功能和结构，该装置可实现为一种电子设备。图5为本申请提供的电子设备实施例的结构示意图。如图5所示，该电子设备包括存储器51和处理器52。
存储器51，用于存储程序。除上述程序之外，存储器51还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器52，不仅仅局限于处理器(CPU)，还可能为图形处理器(GPU)、现场可编辑门阵列(FPGA)、嵌入式神经网络处理器(NPU)或人工智能(AI)芯片等处理芯片。处理器52，与存储器51耦合，执行存储器51所存储的程序，以执行上述实施例二或三的视频处理方法。
进一步，如图5所示，电子设备还可以包括：通信组件53、电源组件54、音频组件55、显示器56等其它组件。图5中仅示意性给出部分组件，并不意味着电子设备只包括图5所示组件。
通信组件53被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi、2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件53经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件53还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
电源组件54，为电子设备的各种组件提供电力。电源组件54可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件55被配置为输出和/或输入音频信号。例如，音频组件55包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器51或经由通信组件53发送。在一些实施例中，音频组件55还包括一个扬声器，用于输出音频信号。
显示器56包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种视频处理方法，包括
获取针对当前播放的第一视频的播放视角指令；
获取与所述播放视角指令指定的第一播放视角对应的渲染数据；
对所述渲染数据进行渲染处理，以生成用户指定的第一播放视角的第二视频。
2.根据权利要求1所述的视频处理方法，其中，所述获取针对当前播放的第一视频的播放视角指令，包括：
获取用户的终端上所述第一视频的显示画面上的手势轨迹；
根据所述手势轨迹计算播放视角改变量；
根据所述播放视角改变量和所述第一视频的当前播放视角确定第二播放视角；
根据所述第二播放视角确定所述第一播放视角。
3.根据权利要求2所述的视频处理方法，其中，所述根据所述第二播放视角确定所述第一播放视角，包括：
获取原始视频数据中包含的播放视角信息，其中，所述播放视角信息包括构成所述原始视频数据的各视频数据的多个播放视角；
计算所述第二播放视角与所述多个播放视角中的各个播放视角的差值；
根据所述差值确定所述多个播放视角中的一个作为所述第一播放视角。
4.根据权利要求1所述的视频处理方法，其中，所述获取与所述播放视角指令指定的第一播放视角对应的渲染数据，包括：
对原始视频进行解码，以获得多个播放视角的视频的渲染数据；
选择与所述第一播放视角对应的渲染数据。
5.根据权利要求1所述的视频处理方法，其中，在所述对所述渲染数据进行渲染处理，以生成用户指定的第一播放视角的第二视频之后，所述方法还包括：
对所述第二视频进行校正处理。
6.一种视频处理装置，包括：
第一获取模块，用于获取针对当前播放的第一视频的播放视角指令；
第二获取模块，用于获取与所述播放视角指令指定的第一播放视角对应的渲染数据；
渲染模块，用于对所述渲染数据进行渲染处理，以生成用户指定的第一播放视角的第二视频。
7.根据权利要求6所述的视频处理装置，其中，所述第一获取模块进一步用于：
获取用户的终端上所述第一视频的显示画面上的手势轨迹；
根据所述手势轨迹计算播放视角改变量；
根据所述播放视角改变量和所述第一视频的当前播放视角确定第二播放视角；
根据所述第二播放视角确定所述第一播放视角。
8.根据权利要求7所述的视频处理装置，其中，所述根据所述第二播放视角确定所述第一播放视角包括：
获取原始视频数据中包含的播放视角信息，其中，所述播放视角信息包括构成所述原始视频数据的各视频数据的多个播放视角；
计算所述第二播放视角与所述多个播放视角中的各个播放视角的差值；
根据所述差值确定所述多个播放视角中的一个作为所述第一播放视角。
9.一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行如权利要求1至5中任一项所述的视频处理方法。
10.一种计算机可读存储介质，其上存储有可被处理器执行的计算机程序，其中，所述程序被处理器执行时实现如权利要求1至5中任一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210129983.3A CN114745597B (zh) | 2022-02-11 | 视频处理方法和装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210129983.3A CN114745597B (zh) | 2022-02-11 | 视频处理方法和装置、电子设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114745597A true CN114745597A (zh) | 2022-07-12 |
| CN114745597B CN114745597B (zh) | 2024-06-07 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111866525A (zh) * | 2020-09-23 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 多视点视频的播放控制方法及装置、电子设备、存储介质 |
| CN112465939A (zh) * | 2020-11-25 | 2021-03-09 | 上海哔哩哔哩科技有限公司 | 全景视频渲染方法及系统 |
| CN113038117A (zh) * | 2021-03-08 | 2021-06-25 | 烽火通信科技股份有限公司 | 一种基于多视角的全景播放方法与装置 |
| CN113194326A (zh) * | 2021-04-28 | 2021-07-30 | 平安国际智慧城市科技股份有限公司 | 全景直播方法、装置、计算机设备及计算机可读存储介质 |
| CN113453073A (zh) * | 2021-06-29 | 2021-09-28 | 北京百度网讯科技有限公司 | 一种图像渲染方法、装置、电子设备及存储介质 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111866525A (zh) * | 2020-09-23 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 多视点视频的播放控制方法及装置、电子设备、存储介质 |
| CN112465939A (zh) * | 2020-11-25 | 2021-03-09 | 上海哔哩哔哩科技有限公司 | 全景视频渲染方法及系统 |
| CN113038117A (zh) * | 2021-03-08 | 2021-06-25 | 烽火通信科技股份有限公司 | 一种基于多视角的全景播放方法与装置 |
| CN113194326A (zh) * | 2021-04-28 | 2021-07-30 | 平安国际智慧城市科技股份有限公司 | 全景直播方法、装置、计算机设备及计算机可读存储介质 |
| CN113453073A (zh) * | 2021-06-29 | 2021-09-28 | 北京百度网讯科技有限公司 | 一种图像渲染方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109416931B (zh) | 用于视线跟踪的装置和方法 | |
| US9485493B2 (en) | Method and system for displaying multi-viewpoint images and non-transitory computer readable storage medium thereof | |
| US11962858B2 (en) | Video playback method, video playback terminal, and non-volatile computer-readable storage medium | |
| US11151359B2 (en) | Face swap method, face swap device, host terminal and audience terminal | |
| US20170171274A1 (en) | Method and electronic device for synchronously playing multiple-cameras video | |
| US11184646B2 (en) | 360-degree panoramic video playing method, apparatus, and system | |
| CN109862380B (zh) | 视频数据处理方法、装置及服务器、电子设备和存储介质 | |
| CN104012106A (zh) | 使表示不同视点的视频对准 | |
| JP5923021B2 (ja) | 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム | |
| CN107040808B (zh) | 用于视频播放中弹幕图片的处理方法和装置 | |
| CN110166795B (zh) | 一种视频截图方法及装置 | |
| CN112019907A (zh) | 直播画面分流方法、计算机设备及可读存储介质 | |
| CN113301355B (zh) | 视频传输、直播与播放方法、设备及存储介质 | |
| KR20130056529A (ko) | 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법 | |
| KR20180038256A (ko) | Vr 스트림의 지연을 보상하는 방법 및 시스템 | |
| CN106604147A (zh) | 一种视频处理方法及装置 | |
| US20190228804A1 (en) | Device, method, storage medium, and terminal for controlling video stream data playing | |
| CN108986117B (zh) | 视频图像分割方法及装置 | |
| CN114040230A (zh) | 视频码率确定方法、装置、电子设备及其存储介质 | |
| CN108965711B (zh) | 视频处理方法及装置 | |
| CN114581566A (zh) | 一种动画特效生成方法、装置、设备及介质 | |
| CN110928509B (zh) | 显示控制方法、显示控制装置、存储介质、通信终端 | |
| CN113315927B (zh) | 视频处理方法和装置、电子设备和存储介质 | |
| CN114445600A (zh) | 一种特效道具的展示方法、装置、设备及存储介质 | |
| US20170161871A1 (en) | Method and electronic device for previewing picture on intelligent terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |