CN109511004B - 一种视频处理方法及装置 - Google Patents

一种视频处理方法及装置 Download PDF

Info

Publication number
CN109511004B
CN109511004B CN201710829230.2A CN201710829230A CN109511004B CN 109511004 B CN109511004 B CN 109511004B CN 201710829230 A CN201710829230 A CN 201710829230A CN 109511004 B CN109511004 B CN 109511004B
Authority
CN
China
Prior art keywords
thumbnail
video stream
video
scene
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710829230.2A
Other languages
English (en)
Other versions
CN109511004A (zh
Inventor
冯斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201710829230.2A priority Critical patent/CN109511004B/zh
Priority to EP18855912.4A priority patent/EP3684062A4/en
Priority to US16/627,923 priority patent/US11582506B2/en
Priority to JP2019572744A priority patent/JP7111288B2/ja
Priority to KR1020207000333A priority patent/KR102309318B1/ko
Priority to PCT/CN2018/100979 priority patent/WO2019052306A1/zh
Publication of CN109511004A publication Critical patent/CN109511004A/zh
Application granted granted Critical
Publication of CN109511004B publication Critical patent/CN109511004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Abstract

本发明提供了一种视频处理方法及装置，其中，该方法包括：接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令；根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成；在所述VR/AR界面中呈现所述画面布局流，通过提供虚拟的多路视频流画面的布局界面，解决了相关技术中用户不能灵活便捷的浏览视频的问题，用户可以通过手柄或手势控制对整个布局界面内多路视频流画面进行操作。

Description

一种视频处理方法及装置
技术领域
本发明涉及通信领域，具体而言，涉及一种视频处理方法及装置。
背景技术
传统视频会议或监控等视频应用系统受到显示屏幕分辨率和尺寸、会议室物理空间、系统成本等的限制，只能同时实现两路或三路视频流画面。如果系统要支持更多路视频流，要么需要分辨率和尺寸非常大的屏幕或多个显示屏，要么需要缩小画面才能同时显示多路视频流。前者成本较高，后者清晰度下降，都不能让用户灵活便捷的对视频进行浏览。
针对相关技术中用户不能灵活便捷的浏览视频的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种视频处理方法及装置，以至少解决相关技术中用户不能灵活便捷的浏览视频的问题。
根据本发明的一个实施例，提供了一种视频处理方法，包括：
接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成的；
在所述VR/AR界面中呈现所述画面布局流。
可选地，在接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令之前，所述方法还包括：
根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，
获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。
可选地，所述获取一路或多路视频流的关键帧包括：
从服务器中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述服务器在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。
可选地，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：
接收选中所述场景缩略图的选中指令；
根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述AR/VR界面中。
可选地，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流包括：
根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；
选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；
根据所述场景缩略图在所述AR/V界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述AR/VR界面，更新所述场景缩略图。
可选地，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：
通过AR/VR摄像头采集通过手势沿预定方向形成的虚拟框；
通过计算得到所述虚拟框在所述AR/VR界面中的坐标和尺寸；
在所述AR/VR界面中渲染所述虚拟框标示的虚拟电视。
可选地，所述方法还包括：
接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；
根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。
根据本发明的另一个实施例，还提供了一种视频处理装置，应用于虚拟现实/增强现实AR/VR设备，包括：
第一接收模块，用于接收选中待浏览的视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
第一生成模块，用于根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据AR/VR界面中显示的场景生成的；
呈现模块，用于在所述VR/AR界面中呈现所述画面布局流。
可选地，所述装置还包括：
第二生成模块，用于根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，
获取模块，用于获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。
可选地，所述获取模块，还用于
从服务器中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述服务器在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。
可选地，所述装置还包括：
第二接收模块，用于接收选中所述场景缩略图的选中指令；
放大模块，用于根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述AR/VR界面中。
可选地，所述第一生成模块，还用于
根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；
选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；
根据所述场景缩略图在所述AR/V界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述AR/VR界面，更新所述场景缩略图。
可选地，所述装置还包括：
采集模块，用于通过AR/VR摄像头采集通过手势沿预定方向形成的虚拟框；
计算模块，用于通过计算得到所述虚拟框在所述AR/VR界面中的坐标和尺寸；
渲染模块，用于在所述AR/VR界面中渲染所述虚拟框标示的虚拟电视。
可选地，所述装置还包括：
第三接收模块，用于接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；
调整模块，用于根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述任一项所述的方法。
根据本发明的又一个实施例，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任一项所述的方法。
通过本发明，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令；根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成；在所述VR/AR界面中呈现所述画面布局流，通过提供虚拟的多路视频流画面的布局界面，解决了相关技术中用户不能灵活便捷的浏览视频的问题，用户可以通过手柄或手势控制对整个布局界面内多路视频流画面进行操作。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的视频处理方法的流程图；
图2是根据本发明实施例的视频处理的系统架构图；
图3是根据本发明实施例的终端自由选择视频流的示意图；
图4是根据本发明实施例的从服务端获取所有终端的视频流缩略图的流程图；
图5是根据本发明实施例的从本地获取当前接收的视频流缩略图的流程图；
图6是根据本发明实施例的从本地获取某一路接收的视频流的关键帧的流程图；
图7是根据本发明实施例的从本地获取多路接收的视频流的关键帧的流程图；
图8是根据本发明实施例的在虚拟现实中多路视频流呈现和布局方式的流程图；
图9是根据本发明实施例的在增强现实中多路视频流呈现和布局方式的流程图；
图10是根据本发明实施例虚拟现实界面中虚拟电视的示意图；
图11是根据本发明实施例的视频处理装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
在本实施例中提供了一种运行于服务器的视频处理方法，图1是根据本发明实施例的视频处理方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
步骤S104，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成的；
步骤S106，在所述VR/AR界面中呈现所述画面布局流。
通过上述步骤，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令；根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成；在所述VR/AR界面中呈现所述画面布局流，通过提供虚拟的多路视频流画面的布局界面，解决了相关技术中用户不能灵活便捷的浏览视频的问题，用户可以通过手柄或手势控制对整个布局界面内多路视频流画面进行操作。
可选地，在接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令之前，所述方法还包括：
根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，
获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。
可选地，所述获取一路或多路视频流的关键帧可以包括：从服务器中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述服务器在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。
可选地，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：接收选中所述场景缩略图的选中指令；根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述AR/VR界面中。
可选地，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流包括：根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；根据所述场景缩略图在所述AR/V界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述AR/VR界面，更新所述场景缩略图。
可选地，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：通过AR/VR摄像头采集通过手势沿预定方向形成的虚拟框；通过计算得到所述虚拟框在所述AR/VR界面中的坐标和尺寸；在所述AR/VR界面中渲染所述虚拟框标示的虚拟电视。
可选地，所述方法还包括：接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。
本发明实施例提出一种多路视频流的呈现方式，利用虚拟现实或增强现实技术虚拟显示设备，接收并显示从一路或多路视频流，通过价格低廉的AR/VR眼镜就可以实现一个用户体验更好的多路视频流呈现。
本发明实施例中的每个终端都可以发送一路或多路视频流，每个终端也可以控制接收到的每一路视频流。提供虚拟的多路视频流画面的布局界面，用户可以通过手柄或手势控制对整个布局界面内多路视频流画面进行操作。由于AR/VR的视野很宽广，为了更加便利的对画面进行操作，用户可以利用场景缩略图对多路视频流在AR/VR视野整个界面布局进行调整，还可以利用视频流缩略图对多路视频流画面进行画面选择、画面切换以及画面的回溯和对比等操作。此外,系统通过追踪眼球焦点或检测用户事件，动态调整每路视频流的编码带宽，降低整个系统的传输带宽。
本发明实施例提供一种基于虚拟现实或增强现实的多路视频流呈现的系统，允许每一个终端可以选择接收一个或多个终端发送的一路或多路视频流，能够同时呈现多路视频流，并能够便捷地对多路视频流进行布局、切换、回溯和对比，提升视频呈现系统的易用性和沉浸感。
图2是根据本发明实施例的视频处理的系统架构图，如图2所示，主要包含三个功能模块：多画面布局模块22、关键帧提取模块24、带宽动态调整模块26。
多画面布局模块22，多画面布局模块的任务，是生成当前终端接收到的多路视频流画面的缩略图，或者从服务端获取到的所有终端发送的多路视频流画面的缩略图，或者某一路视频流或多路视频流的多个关键帧的缩略图，由用户选择需要浏览的视频流或关键帧，将其放到场景缩略图中并进行布局，最终系统根据场景缩略图在VR/AR界面中生成相应的画面布局流呈现给用户。该模块包括视频流缩略图、关键帧缩略图和场景缩略图三部分，视频流缩略图的实现步骤为：
获取每个终端的一路或多路视频流；
生成视频流缩略图；
从视频流缩略图中选择视频流画面进行操作。
关键帧缩略图的实现步骤：
获取某一路或多路视频流的关键帧；
生成关键帧缩略图；
从关键帧缩略图中选择关键帧画面进行操作。
场景缩略图的实现步骤：
根据当前AR/VR界面布局生成场景缩略图；
从视频流缩略图、关键帧缩略图中选择想要显示的画面放到场景缩略图中；
检测更新场景缩略图的布局；
在AR/VR界面上的相应位置上进行画面显示。
关键帧提取模块24：关键帧提取模块的任务，是在解码过程中收集码字、量化参数等信息，并根据这些信息，生成当前视频流的关键帧，并保存在相应的关键帧队列中。
带宽动态调整模块26：带宽动态调整模块的任务，是跟踪用户眼球焦点或者根据当前的布局位置，提高用户关注的视频流的带宽，增大分辨率、帧率等参数，降低用户未关注的视频流的带宽，减小分辨率、帧率等参数，在保持总体带宽不变的情况下，最大程度增强用户视觉感受。该模块的实现步骤为：
通过AR/VR眼镜的眼球跟踪功能，跟踪用户当前注视的方向，同时检测用户是否进行布局调整；
将眼球焦点和实时画面布局反馈给服务器；
服务端根据终端实时反馈的布局信息，调整每路视频流的分辨率、帧率、码率等参数，降低非关注画面的带宽，提高关注画面的带宽。
本发明实施例基于虚拟现实或增强现实技术，实现了一种多路视频流的呈现方式和系统，每个终端都可以方便的选择要浏览的视频流，并在虚拟现实或增强现实中便捷的调整视频流画面布局，也可以对视频流画面进行回溯和对比，且能够在不显著增加编码带宽的基础上，实现每个终端接收一个或多个终端发送的一路或多路视频流。
关键帧提取模块24在解码视频流的过程中收集MB或LCU级的码字、量化参数等信息，并根据这些信息，生成当前视频流的关键帧并保存到关键帧队列。
多画面布局模块22首先会将AR/VR视野整个界面生成一个场景缩略图，然后将接收到的视频流生成视频流缩略图，关键帧画面生成关键帧缩略图，用户再根据自己的需求将自己想要看到的视频流和关键帧放到场景缩略图中，并进行布局调整，最终将场景缩略图的布局结果在AR/VR视野整个界面的相应位置上进行显示。
带宽动态调整模块26通过AR/VR眼镜的眼球跟踪功能，跟踪用户当前注视的方向。系统将结果反馈给服务器，服务器再根据反馈结果调整发送给该终端的相应的视频流的帧率、分辨率等参数以增加或降低带宽。
图3是根据本发明实施例的终端自由选择视频流的示意图，如图3所示，以视频会议为例，召开多点会议，参加会议的有T1、T2、T3、T4四个终端，四个终端都发送了一个或多个视频流，四个终端都可以自由选择浏览其他终端的视频流，也可以浏览自己的视频流，如T1浏览T1、T2、T3、T4的视频流，T2浏览T1、T2、T3、T4的视频流，T3浏览T1、T2的视频流，T4浏览T1的视频流。
图4是根据本发明实施例的从服务端获取所有终端的视频流缩略图的流程图，如图4所示，包括以下步骤：
步骤401，每个终端入会发送视频流到服务端，服务端检测每个视频流的码流是否存在IDR帧，如果当前视频流有新的IDR帧，则服务端解码该IDR帧，并缩小得到当前视频流的缩略图；
步骤402，当前终端向服务端发送消息，希望从服务端获取所有终端的视频流缩略图；
步骤403，服务端将所有终端视频流的缩略图按照一定的顺序排列布局形成一个较大的缩略图画面，然后编码发送给终端；
步骤404，当前终端T3收到并解码得到缩略图画面后，将缩略图画面中的每个子画面都裁剪出来，得到每路视频流对应的缩略图；
步骤405，将当前AR/VR眼镜中显示的场景，缩小生成场景缩略图；
步骤406，将每路视频流对应的缩略图以合适的方式，显示在布局界面中，同时将场景缩略图也显示在布局界面中；
步骤407，用户通过手柄或手势等方式操作，将选择的视频流缩略图放到场景缩略图中，表示希望看到该视频流画面，并在对应的位置显示；
步骤408，用户确定场景缩略图的布局后，系统将在相应的视频流在AR/VR界面位置上进行显示；
步骤409，用户确定最终多画面布局后，系统将用户选择的视频流序号、希望显示的位置、尺寸等信息反馈给服务端，服务端根据上述信息动态调整带宽，并将对应的码流转发给当前终端。
图5是根据本发明实施例的从本地获取当前接收的视频流缩略图的流程图，如图5所示，包括以下步骤：
步骤501，本地接收到所有视频流画面；
步骤502，系统将本地接收到的所有视频流画面，缩小得到每路视频流的缩略图；
步骤503，将当前AR/VR眼镜中显示的场景，缩小生成场景缩略图；
步骤504，将每路视频流对应的缩略图以合适的方式，显示在布局界面中，同时将场景缩略图也显示在布局界面中；
步骤505，用户通过手柄或手势等方式操作，将选择的视频流缩略图放到场景缩略图中，表示希望看到该视频流画面，并在对应的位置显示；
步骤506，用户确定场景缩略图的布局后，系统将在相应的视频流在VR/AR界面位置上进行显示；
步骤507，用户确定最终多画面布局后，系统将用户选择的视频流序号、希望显示的位置、尺寸等信息反馈给服务端，服务端根据上述信息动态调整带宽，并将对应的码流转发给当前终端。
图6是根据本发明实施例的从本地获取某一路接收的视频流的关键帧的流程图，如图6所示，包括以下步骤：
步骤501，本地获取某一路接收的视频流；
步骤602，系统将当前AR/VR眼镜中显示的场景，缩小生成场景缩略图；
步骤603，系统从该路视频流的历史关键帧队列中，取出一定数量的关键帧，生成缩略图以合适的方式在布局界面中显示；
步骤604，用户通过手柄或手势等方式操作，将选择的关键帧缩略图放到场景缩略图中，表示希望看到该关键帧画面，并在对应的位置显示；
步骤605，系统按照用户设置关键帧的布局，在相应的AR/VR界面位置上将选中的关键帧画面进行显示；
图7是根据本发明实施例的从本地获取多路接收的视频流的关键帧的流程图，如图7所示，包括以下步骤：
步骤701，系统将当前AR/VR眼镜中显示的场景，缩小生成场景缩略图；
步骤702，系统从该路视频流的历史关键帧队列中，取出一定数量的关键帧，生成缩略图以合适的方式在布局界面中显示；
步骤703，用户通过手柄或手势等方式操作，将选择的关键帧缩略图放到场景缩略图中，表示希望看到该关键帧画面，并在对应的位置显示；
步骤704，重复步骤702～703，用户将其他视频流的关键帧的缩略图放到场景缩略图中；
步骤705，系统按照用户设置关键帧的布局，在相应的AR/VR界面位置上将选中的关键帧画面进行显示。
图8是根据本发明实施例的在虚拟现实中多路视频流呈现和布局方式的流程图，如图8所示，包括以下步骤：
步骤801，整个VR视野的3D场景缩略图按照一定比例实时显示在用户VR视野的正前方但不影响用户视线的位置；
步骤802，用户选中场景缩略图，缩略图放大到用户容易操作的尺寸并显示在布局界面；
步骤803，用户按照上述的方法获得视频流缩略图；
步骤804，用户将希望观看的视频流的缩略图拖拽到场景缩略图中适当的位置；
步骤805，用户根据场景缩略图的参考物，调整视频流缩略图的位置和尺寸，并选择播放该视频流的虚拟电视的类型(如平面电视、曲面电视等,图10是一个虚拟电视的图例,包含两个曲面电视和一个平面电视)；
步骤806，重复上述803～805步骤，直到用户希望观看的视频流全部拖拽到场景缩略图中并完成调整，用户确定调整完毕；
步骤807，更新场景缩略图，将虚拟电视渲染到场景缩略图中；
步骤808，系统根据场景缩略图与VR视野的坐标关系，将视频流和虚拟电视渲染到VR视野；
步骤809，更新场景缩略图并缩小，在不影响用户视线的位置实时显示。
图9是根据本发明实施例的在增强现实中多路视频流呈现和布局方式的流程图，如图9所示，包括以下步骤：
步骤901，用户通过手势在空中画出一个框，AR眼镜的摄像头采集到用户动作；
步骤902，AR眼镜通过计算分析得到用户所画的框相对AR坐标系的坐标和尺寸，并在AR眼镜中渲染该框标示一个虚拟电视；
步骤903，用户按照上述的方法，选择一个视频流的缩略图；
步骤904，用户将希望观看的视频流的缩略图拖拽到虚拟电视中；
步骤905，用户调整视频流缩略图尺寸和位置，并选择虚拟电视的类型(如平面电视、曲面电视等，图10是根据本发明实施例虚拟现实界面中虚拟电视的示意图，如图10所示，包含两个曲面电视和一个平面电视)；
步骤906，用户重复上述901～905步骤，直到所有用户希望观看的视频流都调整好尺寸和位置，用户确定调整完毕；
步骤907，AR眼镜根据虚拟电视的坐标和尺寸渲染并播放用户选择的视频流。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种视频处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
根据本发明的另一个实施例，还提供了一种视频处理装置，图11是根据本发明实施例的视频处理装置的结构框图，如图11所示，应用于虚拟现实/增强现实AR/VR设备，该装置包括：
第一接收模块112，用于接收选中待浏览的视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
第一生成模块114，用于根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据AR/VR界面中显示的场景生成的；
呈现模块116，用于在所述VR/AR界面中呈现所述画面布局流。
可选地，所述装置还包括：
第二生成模块，用于根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，
获取模块，用于获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。
可选地，所述获取模块，还用于
从服务器中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述服务器在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。
可选地，所述装置还包括：
第二接收模块，用于接收选中所述场景缩略图的选中指令；
放大模块，用于根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述AR/VR界面中。
可选地，所述第一生成模块，还用于
根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；
选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；
根据所述场景缩略图在所述AR/V界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述AR/VR界面，更新所述场景缩略图。
可选地，所述装置还包括：
采集模块，用于通过AR/VR摄像头采集通过手势沿预定方向形成的虚拟框；
计算模块，用于通过计算得到所述虚拟框在所述AR/VR界面中的坐标和尺寸；
渲染模块，用于在所述AR/VR界面中渲染所述虚拟框标示的虚拟电视。
可选地，所述装置还包括：
第三接收模块，用于接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；
调整模块，用于根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项所述的方法。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S11，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
S12，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成的；
S13，在所述VR/AR界面中呈现所述画面布局流。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
实施例4
本发明的实施例还提供了一种处理器，该处理器用于运行程序，其中，该程序运行时执行上述任一项方法中的步骤。
可选地，在本实施例中，上述程序用于执行以下步骤：
S21，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
S22，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成的；
S23，在所述VR/AR界面中呈现所述画面布局流。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在两个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的两个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种视频处理方法，其特征在于，包括：
接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
接收选中场景缩略图的选中指令，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成的；
根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述AR/VR界面中；
根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流；
在所述VR/AR界面中呈现所述画面布局流；
接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下参数至少之一：分辨率、帧率、码率。
2.根据权利要求1所述的方法，其特征在于，在接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令之前，所述方法还包括：
根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，
获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。
3.根据权利要求2所述的方法，其特征在于，所述获取一路或多路视频流的关键帧包括：
从服务器中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述服务器在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。
4.根据权利要求1所述的方法，其特征在于，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流包括：
根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；
选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；
根据所述场景缩略图在所述AR/VR界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述AR/VR界面，更新所述场景缩略图。
5.根据权利要求4所述的方法，其特征在于，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：
通过AR/VR摄像头采集通过手势沿预定方向形成的虚拟框；
通过计算得到所述虚拟框在所述AR/VR界面中的坐标和尺寸；
在所述AR/VR界面中渲染所述虚拟框标示的虚拟电视。
6.一种视频处理装置，应用于虚拟现实/增强现实AR/VR设备，其特征在于，包括：
第一接收模块，用于接收选中待浏览的视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
第二接收模块，用于接收选中场景缩略图的选中指令，其中，所述场景缩略图是根据AR/VR界面中显示的场景生成的；
放大模块，用于根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述AR/VR界面中；
第一生成模块，用于根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流；
呈现模块，用于在所述VR/AR界面中呈现所述画面布局流；
第三接收模块，用于接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；
调整模块，用于根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下参数至少之一：分辨率、帧率、码率。
7.一种计算机可读的存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至5中任一项所述的方法。
8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任一项所述的方法。
CN201710829230.2A 2017-09-14 2017-09-14 一种视频处理方法及装置 Active CN109511004B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201710829230.2A CN109511004B (zh) 2017-09-14 2017-09-14 一种视频处理方法及装置
EP18855912.4A EP3684062A4 (en) 2017-09-14 2018-08-17 VIDEO PROCESSING PROCESS AND APPARATUS AND STORAGE MEDIA
US16/627,923 US11582506B2 (en) 2017-09-14 2018-08-17 Video processing method and apparatus, and storage medium
JP2019572744A JP7111288B2 (ja) 2017-09-14 2018-08-17 ビデオ処理方法、装置および記憶媒体
KR1020207000333A KR102309318B1 (ko) 2017-09-14 2018-08-17 비디오 처리방법, 장치 및 저장매체
PCT/CN2018/100979 WO2019052306A1 (zh) 2017-09-14 2018-08-17 一种视频处理方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710829230.2A CN109511004B (zh) 2017-09-14 2017-09-14 一种视频处理方法及装置

Publications (2)

Publication Number Publication Date
CN109511004A CN109511004A (zh) 2019-03-22
CN109511004B true CN109511004B (zh) 2023-09-01

Family

ID=65723904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710829230.2A Active CN109511004B (zh) 2017-09-14 2017-09-14 一种视频处理方法及装置

Country Status (6)

Country Link
US (1) US11582506B2 (zh)
EP (1) EP3684062A4 (zh)
JP (1) JP7111288B2 (zh)
KR (1) KR102309318B1 (zh)
CN (1) CN109511004B (zh)
WO (1) WO2019052306A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110366024A (zh) * 2019-07-01 2019-10-22 北京达佳互联信息技术有限公司 一种播放视频的方法及装置
CN110989840B (zh) * 2019-12-03 2023-07-25 成都纵横自动化技术股份有限公司 数据处理方法、前端设备、后端设备及地理信息系统
CN114415907B (zh) * 2022-01-21 2023-08-18 腾讯科技（深圳）有限公司 媒体资源显示方法、装置、设备及存储介质
CN115086758A (zh) * 2022-05-09 2022-09-20 全芯(佛山)科技有限公司 一种视频封面的生成方法及终端
CN114615458B (zh) * 2022-05-10 2022-07-19 全时云商务服务股份有限公司 一种云会议中实时合屏快速出图的方法、装置、存储介质和服务器
CN114979732B (zh) * 2022-05-12 2023-10-20 咪咕数字传媒有限公司 视频流的推送方法、装置、电子设备和介质

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1863295A (zh) * 2004-05-13 2006-11-15 索尼公司 图像数据处理装置、图像数据处理方法、程序、和记录介质
CN101902652A (zh) * 2009-05-29 2010-12-01 精工爱普生株式会社 图像显示系统、图像显示装置及图像显示方法
CN102332001A (zh) * 2011-07-26 2012-01-25 深圳市万兴软件有限公司 一种视频缩略图生成方法及装置
CN102364960A (zh) * 2011-11-04 2012-02-29 北京播思软件技术有限公司 移动数字电视画中画和频道缩略图的播放方法及移动终端
CN102498717A (zh) * 2009-06-24 2012-06-13 思科系统国际公司 用于修改合成视频信号布局的方法和设备
CN103970894A (zh) * 2014-05-27 2014-08-06 合一网络技术(北京)有限公司 自适应调整的界面流式布局显示的方法和系统
CN104378578A (zh) * 2013-08-15 2015-02-25 中兴通讯股份有限公司 一种切换视频源的方法及装置、显示装置
CN104618788A (zh) * 2014-12-29 2015-05-13 北京奇艺世纪科技有限公司 一种显示视频信息的方法及装置
CN104915374A (zh) * 2015-04-27 2015-09-16 厦门理工学院 一种旅游景区360度全景构建系统及方法
CN104918095A (zh) * 2015-05-19 2015-09-16 乐视致新电子科技（天津）有限公司 多媒体流数据预览展示方法及装置
CN105549934A (zh) * 2015-12-16 2016-05-04 广东威创视讯科技股份有限公司 显示界面控制方法和系统
CN105900088A (zh) * 2013-12-03 2016-08-24 谷歌公司 用于视频播放列表的动态缩略图表示
CN105898342A (zh) * 2015-12-30 2016-08-24 乐视致新电子科技（天津）有限公司 一种视频的多点同屏播放方法及系统
CN106249879A (zh) * 2016-07-19 2016-12-21 深圳市金立通信设备有限公司 一种虚拟现实图像的显示方法及终端
CN106293395A (zh) * 2016-08-03 2017-01-04 深圳市金立通信设备有限公司 一种虚拟现实眼镜及其界面交互方法
CN106534963A (zh) * 2016-11-24 2017-03-22 北京小米移动软件有限公司 直播处理方法、装置及终端
CN106527709A (zh) * 2016-10-28 2017-03-22 惠州Tcl移动通信有限公司 一种虚拟场景调整方法及头戴式智能设备
CN106664389A (zh) * 2014-09-26 2017-05-10 英特尔公司 用于在视频会议中增强用户体验的技术
CN106713964A (zh) * 2016-12-05 2017-05-24 乐视控股（北京）有限公司 一种生成视频摘要视点图的方法及装置
CN106875244A (zh) * 2016-12-19 2017-06-20 乐视控股（北京）有限公司 一种虚拟现实购物方法、装置和电子设备
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN106980379A (zh) * 2017-03-30 2017-07-25 联想(北京)有限公司 一种显示方法及终端
CN106993152A (zh) * 2016-01-21 2017-07-28 杭州海康威视数字技术股份有限公司 三维监控系统及其快速部署方法
CN107018386A (zh) * 2017-06-08 2017-08-04 柳州智视科技有限公司 一种视频流多分辨率观测系统
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN107147882A (zh) * 2017-06-08 2017-09-08 柳州智视科技有限公司 一种自动实时跟踪目标对象的多分辨率观测系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001264723A1 (en) * 2000-05-18 2001-11-26 Imove Inc. Multiple camera video system which displays selected images
US20080111822A1 (en) * 2006-09-22 2008-05-15 Yahoo, Inc.! Method and system for presenting video
US8713439B2 (en) * 2006-12-15 2014-04-29 Yahoo! Inc. Systems and methods for providing a video playlist
KR20080092501A (ko) * 2007-04-12 2008-10-16 엘지전자 주식회사 모바일 서비스 데이터 수신 장치 및 제어 방법
US20090207316A1 (en) * 2008-02-19 2009-08-20 Sorenson Media, Inc. Methods for summarizing and auditing the content of digital video
JP5493531B2 (ja) * 2009-07-17 2014-05-14 三菱電機株式会社 映像音声記録再生装置および映像音声記録再生方法
JP4902765B2 (ja) 2010-03-31 2012-03-21 新日鉄ソリューションズ株式会社 情報処理システム及び情報処理方法
US9659313B2 (en) * 2010-09-27 2017-05-23 Unisys Corporation Systems and methods for managing interactive features associated with multimedia content
US9363579B2 (en) * 2010-12-22 2016-06-07 Google Inc. Video player with assisted seek
KR101952260B1 (ko) 2012-04-03 2019-02-26 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
EP2680615B1 (en) * 2012-06-25 2018-08-08 LG Electronics Inc. Mobile terminal and audio zooming method thereof
US20150206349A1 (en) * 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
KR101472015B1 (ko) 2012-11-01 2014-12-12 주식회사 케이티 컨텐츠의 재생을 제어하는 제어 장치 및 방법
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
EP2932703A4 (en) * 2012-12-17 2016-05-18 Intel Corp EMBEDDING MINIATURE IMAGE INFORMATION IN VIDEO TONES
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10295338B2 (en) * 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US9179096B2 (en) 2013-10-11 2015-11-03 Fuji Xerox Co., Ltd. Systems and methods for real-time efficient navigation of video streams
KR20160091316A (ko) 2013-11-27 2016-08-02 울트라덴트 프로덕츠, 인코포레이티드 물리적 위치들 간 비디오 대화
JP6326996B2 (ja) * 2014-06-13 2018-05-23 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
US10078922B2 (en) * 2015-03-11 2018-09-18 Oculus Vr, Llc Eye tracking for display resolution adjustment in a virtual reality system
KR102304023B1 (ko) * 2015-04-03 2021-09-24 한국과학기술원 증강현실 기반 인터렉티브 저작 서비스 제공 시스템
CN104765156B (zh) * 2015-04-22 2017-11-21 京东方科技集团股份有限公司 一种三维显示装置和三维显示方法
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
CN107888987B (zh) * 2016-09-29 2019-12-06 华为技术有限公司 一种全景视频播放方法及装置
CN110199525B (zh) * 2017-01-18 2021-12-14 Pcms控股公司 用于在增强现实界面中浏览历史记录的系统和方法
JP7096836B2 (ja) * 2017-03-22 2022-07-06 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベース中心窩化レンダリング
US10687119B2 (en) * 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
US10754496B2 (en) * 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
US10437328B2 (en) * 2017-09-27 2019-10-08 Igt Gaze detection using secondary input

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1863295A (zh) * 2004-05-13 2006-11-15 索尼公司 图像数据处理装置、图像数据处理方法、程序、和记录介质
CN101902652A (zh) * 2009-05-29 2010-12-01 精工爱普生株式会社 图像显示系统、图像显示装置及图像显示方法
CN102498717A (zh) * 2009-06-24 2012-06-13 思科系统国际公司 用于修改合成视频信号布局的方法和设备
CN102332001A (zh) * 2011-07-26 2012-01-25 深圳市万兴软件有限公司 一种视频缩略图生成方法及装置
CN102364960A (zh) * 2011-11-04 2012-02-29 北京播思软件技术有限公司 移动数字电视画中画和频道缩略图的播放方法及移动终端
CN104378578A (zh) * 2013-08-15 2015-02-25 中兴通讯股份有限公司 一种切换视频源的方法及装置、显示装置
CN105900088A (zh) * 2013-12-03 2016-08-24 谷歌公司 用于视频播放列表的动态缩略图表示
CN103970894A (zh) * 2014-05-27 2014-08-06 合一网络技术(北京)有限公司 自适应调整的界面流式布局显示的方法和系统
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN106664389A (zh) * 2014-09-26 2017-05-10 英特尔公司 用于在视频会议中增强用户体验的技术
CN104618788A (zh) * 2014-12-29 2015-05-13 北京奇艺世纪科技有限公司 一种显示视频信息的方法及装置
CN104915374A (zh) * 2015-04-27 2015-09-16 厦门理工学院 一种旅游景区360度全景构建系统及方法
CN104918095A (zh) * 2015-05-19 2015-09-16 乐视致新电子科技（天津）有限公司 多媒体流数据预览展示方法及装置
CN105549934A (zh) * 2015-12-16 2016-05-04 广东威创视讯科技股份有限公司 显示界面控制方法和系统
CN105898342A (zh) * 2015-12-30 2016-08-24 乐视致新电子科技（天津）有限公司 一种视频的多点同屏播放方法及系统
CN106993152A (zh) * 2016-01-21 2017-07-28 杭州海康威视数字技术股份有限公司 三维监控系统及其快速部署方法
CN106249879A (zh) * 2016-07-19 2016-12-21 深圳市金立通信设备有限公司 一种虚拟现实图像的显示方法及终端
CN106293395A (zh) * 2016-08-03 2017-01-04 深圳市金立通信设备有限公司 一种虚拟现实眼镜及其界面交互方法
CN106527709A (zh) * 2016-10-28 2017-03-22 惠州Tcl移动通信有限公司 一种虚拟场景调整方法及头戴式智能设备
CN106534963A (zh) * 2016-11-24 2017-03-22 北京小米移动软件有限公司 直播处理方法、装置及终端
CN106713964A (zh) * 2016-12-05 2017-05-24 乐视控股（北京）有限公司 一种生成视频摘要视点图的方法及装置
CN106875244A (zh) * 2016-12-19 2017-06-20 乐视控股（北京）有限公司 一种虚拟现实购物方法、装置和电子设备
CN106980379A (zh) * 2017-03-30 2017-07-25 联想(北京)有限公司 一种显示方法及终端
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN107018386A (zh) * 2017-06-08 2017-08-04 柳州智视科技有限公司 一种视频流多分辨率观测系统
CN107147882A (zh) * 2017-06-08 2017-09-08 柳州智视科技有限公司 一种自动实时跟踪目标对象的多分辨率观测系统

Also Published As

Publication number Publication date
EP3684062A1 (en) 2020-07-22
KR102309318B1 (ko) 2021-10-06
JP2020527883A (ja) 2020-09-10
WO2019052306A1 (zh) 2019-03-21
JP7111288B2 (ja) 2022-08-02
US20210152876A1 (en) 2021-05-20
US11582506B2 (en) 2023-02-14
EP3684062A4 (en) 2021-01-27
KR20200014415A (ko) 2020-02-10
CN109511004A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
CN109511004B (zh) 一种视频处理方法及装置
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
US9955147B2 (en) Zoom related methods and apparatus
CN105472440B (zh) 视频节目的预览方法及智能电视
KR102069930B1 (ko) 이머전 통신 클라이언트, 서버 및 컨텐츠 뷰를 획득하는 방법
JP2020527883A5 (zh)
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质
CN117376658A (zh) 一种视频播放方法以及相关装置
CN117979041A (zh) 数据的处理方法、装置、介质、终端设备及直播设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant