CN105376461A - 用于发送数据的系统和方法 - Google Patents

用于发送数据的系统和方法 Download PDF

Info

Publication number
CN105376461A
CN105376461A CN201510481998.6A CN201510481998A CN105376461A CN 105376461 A CN105376461 A CN 105376461A CN 201510481998 A CN201510481998 A CN 201510481998A CN 105376461 A CN105376461 A CN 105376461A
Authority
CN
China
Prior art keywords
layer
frame
electronic equipment
resolution
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510481998.6A
Other languages
English (en)
Other versions
CN105376461B (zh
Inventor
D·亚当斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105376461A publication Critical patent/CN105376461A/zh
Application granted granted Critical
Publication of CN105376461B publication Critical patent/CN105376461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Abstract

本发明涉及用于发送数据的系统和方法。本文公开了一种用于发送数据的系统和方法的各个方面。该方法包括在第一电子设备中。该第一电子设备将视频数据的每帧分割成多个部分分辨率层。该多个部分分辨率层包括基础帧层和一个或多个附加帧层。该视频数据的帧的基础帧层和一个或多个附加帧层被发送到第二电子设备。

Description

用于发送数据的系统和方法
技术领域
本公开的各种实施例涉及发送数据。更具体地，本公开的各种实施例涉及基于帧的分割发送视频数据。
背景技术
图像处理领域中最近的进展已经见证了视频数据的记录和广播领域的快速发展。随着新一代多媒体捕获设备的到来，视频数据的多种多媒体特性(诸如分辨率)已被显著改善。
但是，在某些场景中，多媒体特性的此类改善可以反过来增加记录的视频数据的文件大小。因此，诸如记录的视频文件的文件传输操作和/或文件修改操作之类的附加操作可能需要广播所述视频文件。由于增加的大小和附加操作，广播高分辨率视频文件可能需要更长的时间，这对用户来说可能是不期望的。
通过参考附图将常规和传统系统与在本申请的剩余部分阐述的公开内容的一些方面进行比较，常规和传统方法的进一步的限制和缺点对本领域技术人员会变得清晰。
发明内容
提出了一种大致如至少一个附图所示的，和/或结合至少一个附图描述的用于发送数据的方法和系统，如在权利要求中更完整阐述的。
本公开的示例方面可以包括一种方法，该方法可以包括将视频数据的每帧分割成多个部分分辨率层(partialresolutionlayer)。在一种实施例中，该多个部分分辨率层的每个都包括基础帧层(baseframelayer)和一个或多个附加帧层。该方法还可以包括将该视频数据的帧的基础帧层发送给第二电子设备。
在一种实施例中，该方法还可以包括基于与该帧的基础帧层相关联的优先级信息将该帧的一个或多个附加帧层发送给第二电子设备。
在一种实施例中，该基础帧层的分辨率值可以小于该一个或多个附加帧层的每个的分辨率值。在一种实施例中，该方法可以包括发送该一个或多个附加帧层的第一附加帧层与该一个或多个附加帧层的第二附加帧层之间的层差异信息。在一种实施例中，该一个或多个附加帧层的第一附加帧层与该一个或多个附加帧层的第二附加帧层可以彼此邻接。
在一种实施例中，该一个或多个附加帧层的第一附加帧层可以由第二电子设备基于发送的层差异信息确定。在一种实施例中，视频数据的每帧的基础帧层可以以第一帧速率发送，以使得第一帧速率低于预定义帧速率。在一种实施例中，该一个或多个附加帧层的第一附加帧层(与基础帧层邻接)的帧速率可以大于第一帧速率。在一种实施例中，该一个或多个附加帧层的至少一个帧层可以以第二帧速率发送，以使得第二帧速率大于该一个或多个附加帧层的先前发送的一个附加帧层的帧速率。
在一种实施例中，该方法还包括基于发送的基础帧层的分辨率信息、帧速率、和/或优先级信息中的一个或多个来发送基础帧层。在一种实施例中，该方法还包括基于一个或多个运动检测算法计算视频数据的运动信息。在一种实施例中，该方法还包括基于该视频数据的计算的运动信息来确定发送的基础帧层的优先级信息。
在一种实施例中，该方法还包括从第二电子设备接收多个参数。该多个参数可以包括与该帧的基础帧层相关联的使用信息。在一种实施例中，该使用信息可以基于对所述帧的所述基础帧层执行的选择操作来计算。在一种实施例中，该帧的一个或多个附加帧层可以基于计算的使用信息来发送给第二电子设备。
在一种实施例中，该方法还包括基于接收的多个参数确定优先级信息。在一种实施例中，发送的每帧的基础帧层可以在第二电子设备上显示。
本公开的另一个示例方面可以包括用于发送编码视频数据的方法。该方法可以包括从编码视频数据确定图片组(GOP)。GOP可以包括基础层和一个或多个增强层。该方法还可以包括将GOP的基础层发送到第二电子设备。在一种实施例中，该方法还可以包括将该一个或多个增强层发送到第二电子设备，所述发送是基于以下的一个或多个：与基础层相关联的优先级信息、分辨率信息、和/或使用信息。
在一种实施例中，分辨率信息可以包括与GOP的基础层和一个或多个增强层相关联的一个或多个分辨率值。在一种实施例中，该基础层的分辨率值可以小于该一个或多个增强层的分辨率值。
通过结合附图查看本公开的以下详细描述，可以理解本公开的这些和其他特征和优点，在所有附图中相似标号指代相似部分。
附图说明
图1是说明根据本公开的一种实施例的网络环境的框图；
图2是说明根据本公开的一种实施例的第一电子设备的框图；
图3是说明根据本公开的一种实施例的第二电子设备的框图；
图4说明了根据本公开的一种实施例的将帧分割成部分分辨率层的示例场景；
图5说明了根据本公开的一种实施例的示例第二电子设备的示例界面；
图6是说明根据本公开的一种实施例的用于发送数据的第一方法的流程图；
图7是说明根据本公开的一种实施例的用于发送编码视频数据的第二方法的流程图。
具体实施方式
以下描述的实施方式可以在用于发送视频数据的系统和/或方法中发现。
图1是说明根据本公开的一种实施例的网络环境的框图。参考图1，示出了网络环境100。网络环境100可以包括第一电子设备102、第二电子设备104、多媒体服务器106、通信网络108、用户110、显示屏112、和用户界面114。然而，在不限制本公开的范围的情况下，本公开可以并不如此受限并且网络环境100可以包括示出的组件(例如，第一电子设备102和第二电子设备104)的子集或不同组合。
第一电子设备102可以经通信网络108与第二电子设备104和多媒体服务器106通信耦接。用户110可以与第一电子设备102和/或第二电子设备104相关联。第二电子设备104可以包括显示屏102，显示屏102可以可操作以经由用户界面114渲染诸如视频数据之类的数据。
第一电子设备102可以包括可操作以记录视频数据的合适的逻辑、电路、接口、和/或代码。第一电子设备102还可以可操作以执行应用来将记录的数据传送给第二电子设备104。第一电子设备102的示例可以包括但不限于，相机、平板计算机、智能手机、和/或个人数字助理(PDA)设备、光盘(CD)、蓝光光盘(BD)、DVD-ROM、USB存储设备、闪存驱动器、笔驱动器、和/或存储卡。
第二电子设备104可以包括可操作以接收由第一电子设备102传送的视频数据的合适的逻辑、电路、接口、和/或代码。第二电子设备104还可以可操作以编辑从第一电子设备102接收的视频数据。第二电子设备104还可以可操作以经由用户界面114在显示屏112上渲染接收的视频数据。第二电子设备104的示例可以包括但不限于，膝上型计算机、平板计算机、智能手机、和/或个人数字助理(PDA)设备。尽管为了简化，图1仅示出了一个第一电子设备102和一个第二电子设备104，但本领域技术人员可以理解，在本公开的范围内，本公开的实施例可以针对网络环境100中的更大量的第一电子设备和第二电子设备实施。
多媒体服务器106可以包括可操作以将视频数据经通信网络108流送(stream)到第一电子设备102的合适的逻辑、电路、接口、和/或代码。多媒体服务器106还可以可操作以组织和管理可以由第一电子设备102检索的视频数据的存储库。多媒体服务器106还可以可操作以向请求设备(诸如第一电子设备102)提供多媒体点播内容。在一种实施例中，多媒体服务器106可以是通用网络连接的存储设备，例如是运行WindowsXPMediaCenter的家庭影院个人计算机(HTPC)。在一种实施例中，多媒体服务器106可以是为大型网站托管多媒体的商业网络服务器。这种商业多媒体服务器的示例可以包括但不限于，Sony的GigajukeMusic OliveNuVoTchnologiesMusic和/或EscientFireballSE-80DigitalMusic在一种实施例中，多媒体服务器106可以实施为服务器云的一部分。在一种实施例中，多媒体服务器106可以由第三方访问和管理。
通信网络108可以包括媒介，第一电子设备102可以通过所述媒介与第二电子设备104和多媒体服务器106通信。通信网络108的示例可以包括但不限于，因特网、无线保真(Wi-Fi)网络、无线局域网(WLAN)、局域网(LAN)、电话线(POTS)、和/或城域网(MAN)。该通信可以根据各种有线和无线通信协议，诸如传输控制协议和因特网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、红外(IR)、IEEE802.11、802.16、蜂窝通信协议、和/或蓝牙(BT)通信协议。
在操作中，第一电子设备102可以接收编码格式的视频数据。该视频数据可以基于一个或多个编码技术来编码。该一个或多个编码技术的示例可以包括但不限于，可分级视频编码技术(SVC)、和/或运动图像专家组(MPEG)视频压缩技术。
在一种实施例中，该视频数据可以预编码在与用户110相关联的第一电子设备102中。在一种实施例中，第一电子设备102可以可操作以从多媒体服务器106下载该视频数据。在一种实施例中，第一电子设备102可以可操作以从电视广播站(未示出)接收该视频数据。在一种实施例中，该视频数据可以包括但不限于，直播的体育赛事、电影文件、和/或音频文件。
在一种实施例中，第一电子设备102可以可操作以从记录的视频数据中确定多个帧。在一种实施例中，该多个帧可以根据与记录的多媒体内容相关联的一个或多个时间戳来确定。例如，第一帧可以在诸如“00:10秒”的第一时间戳处确定，而第二帧可以在诸如“00:15秒”的第二时间戳处确定。第一和第二时间戳都可以根据参考标记(诸如记录的视频数据的起始点)来确定。
在一种实施例中，该多个帧可以以该一个或多个时间戳之间的固定的预定义间隔确定。在一种实施例中，预定义间隔可以由用户110提供。在一种实施例中，该多个帧可以以该一个或多个时间戳之间的任意间隔确定。在一种实施例中，该多个帧可以由用户110选择。在一种实施例中，该多个帧可以基于一组算法(诸如自适应时间抽样算法)来确定。然而，本公开并不限于此，并且可以实施用于从视频数据确定帧的本领域已知的其他技术和算法，而不限制本公开的范围。
在一种实施例中，第一电子设备102可以可操作以将该多个帧的每帧分割成多个部分分辨率层。该多个帧可以按照从最高分辨率层到最低分辨率层的顺序来排列。在一种实施例中，该排列可以是该多个部分分辨率层的分辨率金字塔的形式。分辨率金字塔可以基于该多个部分分辨率层的每层的分辨率值。在一种实施例中，分辨率金字塔的基底可以对应于最高分辨率层并且分辨率金字塔的顶点可以对应于最低分辨率层。在一种实施例中，最低分辨率层可以对应于基础帧层。在一种实施例中，除了基础帧层之外的多个部分分辨率层可以对应于附加帧层的集合。在一种实施例中，附加帧层的集合可以包括一个或多个附加帧层。在一种实施例中，分辨率金字塔中的该多个部分分辨率层可以通过利用拉普拉斯金字塔(Laplacianpyramid)来生成。根据该实施例，拉普拉斯系数的集合可以对应于该多个部分分辨率层的每层的分辨率。在一种实施例中，分辨率金字塔可以基于小波压缩技术而生成。对本领域技术人员明显的是，在不限制本公开的范围的情况下，可以使用其他技术来生成分辨率金字塔。
在一种实施例中，第一电子设备102可以可操作以将对应于多个帧的每帧的多个基础帧层发送到第二电子设备104。在一种实施例中，该多个基础帧层可以经通信网络108发送到第二电子设备104。在一种实施例中，第一帧的基础帧层可以经第一类型的通信网络108(诸如无线局域网(WLAN)等)发送到第二电子设备104。在一种实施例中，第二帧的基础帧层可以经第二类型的通信网络108(诸如电话线(POTS))发送到第二电子设备104。
在一种实施例中，对应于多个帧的每帧的该多个基础帧层可以以第一帧速率发送。在一种实施例中，第一帧速率可以对应于预定义帧速率(诸如每秒60帧(fps)的标准帧速率)。在一种实施例中，该多个基础帧层的第一集合可以以第一帧速率发送，以使得该多个基础帧层的第一集合对应于奇数帧。因此，因为该多个基础帧层的第一集合是该多个基础帧层的一半，所以第一帧速率可以确定为是标准帧速率的一半的帧速率。
在一种实施例中，该多个基础帧层的第二集合可以以第一帧速率发送，以使得该多个基础帧层的第二集合对应于偶数帧。因此，因为该多个基础帧层的第二集合是该多个基础帧层的一半，所以第一帧速率可以确定为是标准帧速率的一半的帧速率。例如，第一帧速率最初与预定义帧速率相同，诸如是“60fps”。因此，该多个帧的每帧的多个基础帧层可以以诸如“60fps”的第一帧速率发送到第二电子设备104。在实例中，为了将第一帧速率减半而使得第二帧速率是“30fps”，对应于奇数帧的该多个基础帧层的第一集合可以被发送。在另一实例中，为了将第一帧速率减半而使得第三帧速率是“30fps”，对应于偶数帧的该多个基础帧层的第二集合可以被发送。
在一种实施例中，第二电子设备104可以接收对应于多个帧的每帧的该多个基础帧层。第二电子设备104可以经用户界面114在显示屏112上渲染接收的多个基础帧层。在一种实施例中，第二电子设备104可以可操作以对在显示屏112上渲染的多个基础帧层执行修改操作。修改操作的示例可以包括但不限于，修剪操作、帧选择操作、和/或编辑操作。
在一种实施例中，用户110当与第二电子设备104相关联时，可以提供从多媒体服务器106下载视频数据的请求。基于该请求，多媒体服务器106可以可操作以从可以被发送到第二电子设备104的视频数据中确定多个帧。多媒体服务器106可以执行相似功能，诸如如以上已经描述的由第一电子设备102执行的将视频数据的每帧分割成多个部分分辨率层。
然而，本公开可以不如此受限，并且如以上针对从视频数据中确定的多个帧说明的相似功能，可以针对从编码视频数据中确定的多个GOP实施，而不限制本公开的范围。
图2是说明根据本公开的实施例的第一电子设备的框图。图2是结合图1的元件来说明的。参考图2，示出了第一电子设备102。第一电子设备102可以包括一个或多个处理器(诸如处理器202)、存储器204、收发器206、和一个或多个输入输出(I/O)设备(诸如I/O设备208)。收发器206可以与处理器202、存储器204、和I/O设备208通信耦接。而且，收发器206可以经通信网络108与第二电子设备104和多媒体服务器106通信耦接.
处理器202可以包括可以可操作以执行存储在存储器204中的指令集的合适的逻辑、电路、接口、和/或代码。基于发送的视频数据的分辨率信息、帧速率、和/或优先级信息的一个或多个，处理器202可以可操作以执行应用来将视频数据发送到第二电子设备104。在一种实施例中，处理器202可以可操作以基于多个参数确定优先级信息。该多个参数可以对应于但不限于，第二电子设备104处的视频数据的使用信息、和/或运动信息。处理器202可以基于本领域已知的多种处理器技术实施。处理器202的示例可以包括基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器、或其他处理器。
存储器204可以包括可以可操作以存储可由处理器202执行的指令集的合适的逻辑、电路、接口、和/或代码。存储器204还可以可操作以记录从多媒体服务器106下载的视频数据。存储器204可以可操作以存储与记录的视频数据相关联的多个参数。存储器204还可以可操作以存储该记录的视频数据的分辨率信息、帧速率信息、和/或优先级信息。存储器204还可以可操作以存储一组算法，所述算法可以由处理器202使用以从记录的视频数据中确定多个帧。存储器204还可以可操作以存储一个或多个运动检测算法，所述检测算法可以由处理器202使用以确定视频数据中的运动信息。存储器204可以基于但不限于这些来实施：随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)、存储服务器、和/或安全数字(SD)卡。
收发器206可以包括可操作以经各种通信接口与多媒体服务器106通信的合适的逻辑、电路、接口、和/或代码。收发器206可以实施用于支持与通信网络108进行有线通信或无线通信的已知技术。收发器206可以包括但不限于，天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器解码器(CODEC)芯片组、订户身份模块(SIM)卡、和/或存储器。收发器206可以经无线通信与网络和/或其他设备等通信，所述网络是诸如因特网、内联网、和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)、和/或城域网(MAN))。无线通信可以使用多种通信标准、协议和技术，包括但不限于全球移动通信系统(GSM)、增强的数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如IEEE802.11b、IEEE802.11g和/或IEEE802.11n)、互联网协议语音(VoIP)、Wi-MAX、用于电子邮件、即时消息、和/或短消息服务(SMS)的协议。
I/O设备208可以包括可以可操作以接收输入或提供对用户110的输出的各种输入和输出设备。I/O设备208可以包括可以可操作以与处理器202通信的各种输入和输出设备。输入设备的示例包括但不限于，键盘、鼠标、操纵杆、触摸屏、麦克风、相机、运动传感器、光传感器、和/或扩展坞。输出设备的示例可以包括但不限于，显示屏112和/或扬声器。
在操作中，第一电子设备102的处理器202可以可操作以在存储器204中记录视频数据。在一种实施例中，处理器202可以可操作以经收发器206从多媒体服务器106下载视频数据。在一种实施例中，处理器202可以可操作以经收发器206和解码器(未示出)从电视广播站(未示出)接收视频数据。
在一种实施例中，处理器202可以可操作以基于一组算法(诸如自适应时间抽样算法)来从记录的或接收的视频数据确定多个帧。该组算法可以由处理器202从存储器204检索。
在一种实施例中，处理器202可以可操作以将多个帧的每帧分割成多个部分分辨率层。该多个分辨率层可以按照从最高分辨率层到最低分辨率层的顺序来排列。在一种实施例中，处理器202可以用多个部分分辨率层的分辨率金字塔的形式来排列该顺序。在一种实施例中，分辨率金字塔的基底可以对应于最高分辨率层，并且分辨率金字塔的顶点可以对应于最低分辨率层。在一种实施例中，最低分辨率层可以对应于基础帧层。在一种实施例中，除了基础帧层之外的多个部分分辨率层可以对应于附加帧层的集合。在一种实施例中，附加帧层的集合可以包括一个或多个部分分辨率层。在一种实施例中，处理器202可以可操作以在存储器204中存储用于多个帧的每帧的基础帧层和附加帧层的集合的分辨率信息。
在一种实施例中，处理器202可以可操作以从存储器204检索对应于多个帧的每帧的多个基础帧层。在一种实施例中，处理器202可以可操作以基于从第二电子设备104接收的请求来把检索的多个基础帧层发送到第二电子设备104。在一种实施例中，多个基础帧层可以经收发器206发送到第二电子设备104。在一种实施例中，处理器202可以可操作以将对应于多个帧的第一集合的多个基础帧层的第一集合发送到第二电子设备104。多个帧的第一集合可以对应于该多个帧的一个或多个偶数帧。在一种实施例中，处理器202可以可操作以将对应于多个帧的第二集合的多个基础帧层的第二集合发送到第二电子设备104。多个帧的第二集合可以对应于该多个帧的一个或多个奇数帧。
在一种实施例中，收发器206可以可操作以从第二电子设备104接收优先级信息。优先级信息可以包括可由用户110经用户界面114提供的一个或多个用户偏好。在一种实施例中，处理器202可以可操作以基于多个参数(诸如使用信息和/或运动信息)来确定优先级信息。处理器202可以可操作以在存储器204中存储优先级信息。在一种实施例中，可以基于从多个基础帧层中选择一个或多个基础帧层来从第二电子设备104中接收使用信息和/或运动信息。该一个或多个基础帧层可以由用户110选择。用户110可以与第二电子设备104相关联。在一种实施例中，运动信息可以由处理器202基于存储在处理器204中的一个或多个运动检测算法来确定。
处理器202可以可操作以在存储器204中存储接收的优先级信息。基于优先级信息，处理器202可以可操作以确定附加帧层的一个或多个集合，所述附加帧层的一个或多个集合的每个集合可以对应于多个帧的一个。附加帧层的一个或多个集合的每个集合可以包括一个或多个部分分辨率层。附加帧层的一个或多个集合的每个集合可以对应于多个帧的一个。
在一种实施例中，处理器202可以可操作以将第一部分分辨率层从附加帧层的一个或多个集合的每个集合，发送到第二电子设备104。这样的第一部分分辨率层可以挨着由用户在第二电子设备104处选择的一个或多个基础帧层的每个基础帧层定位。每个第一部分分辨率层的帧速率可以大于对应的基础帧层的帧速率。在一种实施例中，处理器202可以可操作以将第二部分分辨率层从附加帧层的一个或多个集合的每个集合，发送到第二电子设备104。这样的第二部分分辨率层可以挨着发送到第二电子设备104的每个第一部分分辨率层定位。每个第二部分分辨率层的帧速率可以大于对应的第一部分分辨率层的帧速率。尽管为了简化，实施例仅描述了第一部分分辨率层和第二部分分辨率层，但是本领域技术人员可以理解，在不限制本公开的范围的情况下，可以发送另外的后续的部分分辨率层以使得每个后续的部分分辨率层的帧速率大于在前的部分分辨率层的帧速率。
然而，本公开可以不如此受限，并且第一电子设备102中的处理器202可以可操作以基于优先级信息、分辨率信息、和/或使用信息来执行多个GOP的分割和发送，类似于如以上说明的多个帧的分割和发送，而不限制本公开的范围。
图3是说明根据本公开的实施例的第二电子设备的框图。图3是结合图1和图2的元件来说明的。参考图3，示出了第二电子设备104。第二电子设备104可以包括一个或多个处理器(诸如处理器302)、存储器304、收发器306、和一个或多个输入输出(I/O)设备(诸如I/O设备308)。收发器306可以与处理器302、存储器304、和I/O设备308通信耦接。而且，收发器306可以经通信网络108与第一电子设备102和多媒体服务器106通信耦接.
处理器302可以包括可以可操作以执行存储在存储器304中的指令集合的合适的逻辑、电路、接口、和/或代码。处理器302还可以可操作以经收发器306从第一电子设备102接收视频数据。在一种实施例中，处理器302可以可操作以从第一电子设备102接收视频数据的多个帧的每帧的基础帧层。在一种实施例中，处理器302可以可操作以在显示屏112上渲染接收的多个帧的每帧的基础帧层。处理器302还可以可操作以基于接收的视频数据的使用信息和/或运动信息来确定优先级信息。在一种实施例中，处理器302可以可操作以将优先级信息发送到第一电子设备102。在一种实施例中，处理器302可以可操作以执行可以类似于由处理器202执行的功能的功能。处理器302可以基于本领域已知的多种处理器技术实施。处理器302的示例可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器、或其他这样的处理器。
存储器304可以包括可以可操作以存储由处理器302执行的指令集的合适的逻辑、电路、接口、和/或代码。存储器304可以可操作以存储与接收的视频数据相关联的多个参数。该多个参数可以对应于但不限于，使用信息、和/或运动信息。存储器304还可以存储接收的视频数据的优先级信息。存储器304还可以可操作以存储一个或多个运动检测算法，所述运动检测算法可以由处理器302使用以确定接收的视频数据中的运动信息。存储器304可以基于但不限于这些来实施：随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)、存储服务器、和/或安全数字(SD)卡。
收发器306可以包括可操作以经各种通信接口与多媒体服务器106和第一电子设备102通信的合适的逻辑、电路、接口、和/或代码。收发器306可以实施用于支持与通信网络108有线通信或无线通信的已知技术。收发器306可以包括但不限于，天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器解码器(CODEC)芯片组、订户身份模块(SIM)卡、和/或存储器。收发器306可以经无线通信与网络和/或其他设备等通信，所述网络是诸如因特网、内联网、和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)、和/或城域网(MAN))。无线通信可以使用多种通信标准、协议和技术，包括但不限于全球移动通信系统(GSM)、增强的数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如IEEE802.11b、IEEE802.11g和/或IEEE802.11n)、网络电话(VoIP)、Wi-MAX、用于邮件、即时消息、和/或短消息服务(SMS)的协议。
I/O设备308可以包括可以可操作以接收输入或提供对用户110的输出的各种输入和输出设备。I/O设备308可以包括可以可操作以与处理器302通信的各种输入和输出设备。输入设备的示例可以包括但不限于，键盘、鼠标、操纵杆、触摸屏、麦克风、相机、运动传感器、光传感器、和/或扩展坞。输出设备的示例可以包括但不限于，显示屏112和/或扬声器。
在操作中，处理器302可以可操作以经收发器306从第一电子设备102接收视频数据。在一种实施例中，处理器302可以可操作以从第一电子设备102接收多个帧的每帧的基础帧层。在一种实施例中，处理器302可以可操作以在存储器304中存储接收的多个帧的每帧的基础帧层。在一种实施例中，处理器302可以可操作以在存储器304中存储分辨率信息、和/或帧速率信息。分辨率信息和/或帧速率信息这两者都可以对应于接收的多个帧的每帧的基础帧层。在一种实施例中，处理器302可以可操作以在用户界面114上显示接收的基础帧层，所述基础帧层在第二电子设备104的显示屏112上渲染。
在一种实施例中，接收的多个帧的每帧的基础帧层可以在用户界面114上被渲染为多个缩略图。在一种实施例中，与多个帧的每帧的基础帧层相关联的缩略图和相关联的时间线可以经用户界面114在显示屏112上渲染。
在一种实施例中，与第二电子设备104相关联的用户110可以从多个缩略图中选择缩略图。多个缩略图的每个都可以对应于多个基础帧层的每个基础帧层。多个缩略图和基础帧层可以经收发器306由处理器302接收。在一种实施例中，处理器302可以可操作以基于由用户110提供的输入，对选择的缩略图执行一个或多个修改操作。可以由用户提供的输入的示例可以包括但不限于，基于触摸的输入、和/或无触摸(touch-less)输入。基于触摸的输入可以包括屏幕点击(screen-tap)输入、和/或屏幕抓捏(screen-pinch)输入。无触摸输入可以包括基于姿势的输入(诸如手指点击)和/或基于声音的输入。
在一种实施例中，与第二电子设备104相关联的用户110可以对在用户界面114上显示的多个缩略图执行一个或多个修改操作。在一种实施例中，一个或多个修改操作可以包括但不限于，修剪操作、颜色增强操作、删除操作、放大操作、缩小操作、和/或选择操作。在一种实施例中，一个或多个修改操作可以对应于优先级信息。在一种实施例中，优先级信息可以包括可经用户界面114由用户110提供的一个或多个用户偏好。在一种实施例中，优先级信息可以基于多个参数(诸如使用信息、和/或运动信息等)来确定。在一种实施例中，多个参数可以经第二电子设备104由用户110基于对一个或多个基础帧层的选择来提供。在一种实施例中，多个参数可以由处理器302来动态确定。在一种实施例中，处理器302可以可操作以基于与选择的一个或多个基础帧层相关联的高优先级标记来指示优先级信息。
在一种实施例中，处理器302可以可操作以基于对多个缩略图中的一个或多个缩略图的选择来确定使用信息。用户110可以经用户界面114对多个缩略图中的选择的一个或多个缩略图执行一个或多个修改操作，诸如放大操作或缩小操作。在一种实施例中，处理器302可以可操作以基于对用户显示屏112上渲染的多个缩略图图像中的一个或多个的内容的运动分析来确定运动信息。在一种实施例中，运动信息可以由处理器302基于从存储器304检索的一个或多个运动检测算法来确定。在一种实施例中，处理器302可以可操作以经通信网络108将确定的使用信息和/或运动信息发送到第一电子设备102。
在一种实施例中，处理器302可以可操作以基于由用户提供的一个或多个用户偏好(诸如时间间隔等)来确定优先级信息。优先级信息可以经用户界面114从用户110接收。例如，处理器302可以基于经用户界面114提供的时间间隔(诸如“1:00AM到2:00AM”的时间间隔)来确定优先级信息。可以由用户110提供时间间隔，以基于该时间间隔来优先化对多个基础帧层的一个或多个基础帧层的接收。因此，处理器302可以可操作以在诸如“1:00AM到2:00AM”的时间间隔内接收对应的多个基础帧层。在一种实施例中，处理器302可以可操作以经收发器306将优先级信息发送到第一电子设备102。
在一种实施例中，处理器302可以可操作以基于发送的优先级信息经由收发器306接收附加帧层的一个或多个集合。这样的附加帧层的一个或多个集合可以对应于从第一电子设备102接收的多个基础帧层的一个或多个基础帧层。在一种实施例中，结合多个基础帧层的选择的一个或多个基础帧层，处理器302可以可操作以渲染接收的附加帧层的一个或多个集合。多个基础帧层的一个或多个基础帧层和附加帧层的一个或多个集合可以在显示屏112上渲染。在一种实施例中，附加帧层的一个或多个集合的接收和显示可以增加显示的缩略图图像的分辨率，并且通过增加显示的缩略图图像的图片质量进一步提升用户体验。
在一种实施例中，处理器302可以可操作以从第一电子设备102接收附加帧层的一个或多个集合的每个集合的第一部分分辨率层。这样的第一部分分辨率层可以与可以在第二电子设备104处选择的一个或多个基础帧层的每个基础帧层相邻。在一种实施例中，第一部分分辨率层可以以大于先前发送的对应基础帧层的帧速率的帧速率来发送。在一种实施例中，第一部分分辨率层可以以大于一个或多个附加帧层的先前发送的一个附加帧层的帧速率的帧速率来发送。
在一种实施例中，处理器302可以可操作以经由第一电子设备102从附加帧层的一个或多个集合的每个集合接收第二部分分辨率帧层。这样的第二部分分辨率层可以挨着经由第一电子设备102接收的每个第一部分分辨率层定位。第二部分分辨率层的帧速率可以大于对应的第一部分分辨率层的帧速率。在一种实施例中，第二部分分辨率层可以以先前发送的对应第一部分分辨率层的帧速率的两倍的帧速率来发送。尽管为了简化，实施例仅示出了第一分辨率层和第二分辨率层，但是在不限制本公开范围的情况下，本领域技术人员会理解可以接收另外后续的部分分辨率层，以使得每个后续的部分分辨率层的帧速率都大于在先的部分分辨率层的帧速率。
在示例场景中，处理器302可以可操作以从第一电子设备102接收预定数目的帧(诸如六帧)。在一种实施例中，第一电子设备102可以可操作以从记录的视频数据中确定多个帧。在一种实施例中，第一电子设备102还可以将六帧的每帧都分割成多个部分分辨率层。对于每帧，部分分辨率层可以包括基础帧层和附加帧层的集合(诸如三个附加帧层)。每帧的基础帧层可以对应于多个部分分辨率层中的具有最低分辨率的部分分辨率层。图4将进一步解释将帧分割成多个部分分辨率层的过程。根据示例场景，第二电子设备104可以经由通信网络108从第一电子设备102接收六个基础帧层。
处理器302还可以可操作以经由用户界面114在显示屏112上渲染接收的六个基础帧层中的每个，作为按序的六个缩略图。在一种实施例中，与第二电子设备104相关联的用户110可以从该序列中选择第一缩略图图像和第三缩略图图像。基于对第一和第三缩略图的选择，处理器302可以将高优先级标记与第一基础帧层和第三基础帧层关联。在一种实施例中，高优先级标记可以是与第一和第三基础帧层相关联的数据值(诸如1)。第一基础帧层对应于用户110选择的第一缩略图。第三基础帧层对应于用户110选择的第三缩略图。处理器302还可以将低优先级标记关联到第二基础帧层、第四基础帧层、第五基础帧层和第六基础帧层。在一种实施例中，低优先级标记可以是与第二、第四、第五和第六基础帧层相关联的另一个数据值(诸如0)。基于与渲染的缩略图相关联的高优先级标记和低优先级标记，处理器302可以将优先级信息确定为数据值集合，诸如“{1,0,1,0,0,0}”。此数据值集合可以与从第一电子设备102接收的六个基础帧层相关联。处理器302可以可操作以经由通信网络108将确定的优先级信息(诸如数据值集合“{1,0,1,0,0,0}”)发送到第一电子设备102。
在一种实施例中，处理器302可以可操作以经由用户界面114基于由用户110提供一个或多个用户偏好(诸如时间间隔)确定优先级信息。例如，用户110可以提供时间间隔，诸如相对于参考时间测量的在第50秒与第60秒之间发生的“10秒”的持续时间。基于由用户110提供的时间间隔，处理器302可以将用于一个或多个基础帧层的优先级信息确定为“1”。该一个或多个基础帧层可以对应于可针对“10秒”的持续时间而确定的一个或多个帧。在一种实施例中，多个时间间隔可以由用户110提供，以使得一个或多个基础帧层可以对应于针对多个时间间隔的每个时间间隔的持续时间而确定的一个或多个帧。
基于发送的优先级信息，处理器302可以可操作以从第二电子设备104接收分别对应于第一帧和第三帧的两个第一附加帧层。在一种实施例中，处理器302可以可操作以经由第一电子设备102同时接收对应于具有高优先级标记的数据值(诸如“1”)的第一帧的三个附加帧层。类似地，处理器302还可以可操作以经由第一电子设备102同时接收对应于具有高优先级标记的数据值(诸如“1”)的第三帧的三个附加帧层。
在此示例场景中，在第二电子设备104的显示屏112处渲染的第一和第三基础帧层可以具有第一分辨率值。随着第二电子设备104经由第一电子设备102接收对应于第一帧的三个附加帧层的集合，该第一分辨率值可以增加到第二分辨率值。类似地，随着第二电子设备104经由第一电子设备102接收对应于第三帧的三个附加帧层的集合，该第一分辨率值可以增加到第二分辨率值。本领域技术人员可以清晰可知的是，在不背离本公开的范围的情况下，该附加帧层的一个或多个集合的接收和显示可以增加显示的缩略图图像的分辨率，并且通过增加显示的缩略图图像的像素数目来进一步提升用户体验。
尽管如此，本公开可以不如此受限，在不限制本公开的范围的情况下，第二电子设备104中的处理器302可以可操作以显示缩略图并且发送从第一电子设备102接收的多个GOP的使用信息，这类似于上面说明的对多个帧的使用信息的显示和发送。
图4说明了根据本公开的一种实施例的在第一电子设备102处将帧分割成部分分辨率层的示例场景。结合图1、图2、图3的元件解释图4。参考图4，其中示出了多个帧402。多个帧402可以包括第一帧402a、第二帧402b、和第三帧402c。还示出了对应于多个帧402的每帧的多个部分分辨率层404。例如，第一帧402a可以包括第一多个部分分辨率层404a。另外，多个部分分辨率层404的每个都包括基础帧层406和附加帧层的集合408，两者可以共同对应于多个帧402的分辨率金字塔414。附加帧层的集合408可以包括一个或多个部分分辨率层。参考图4，对应于第一帧402a的第一多个部分分辨率层404a可以包括第一基础帧层406a和附加帧层的第一集合408a。类似地，对于第二帧402b，第二多个部分分辨率层404b(未示出)可以包括第二基础帧层406b(未示出)和附加帧层的第二集合408b(未示出)。附加帧层的集合408可以包括第一附加帧层410和第二附加帧层412。
在一种实施例中，处理器202可以可操作以基于该组算法(诸如自适应时间抽样算法)从记录的视频数据确定多个帧402。处理器202还可以可操作以将一个或多个时间戳与多个帧402的每帧相关联。在一种实施例中，与第一电子设备102相关联的另一用户(未示出)可以提供包括基于时间的数据值(诸如“0.5秒”)的输入，基于所述输入可以从记录的视频数据确定多个帧。在一种实施例中，第二用户可以提供包括时间间隔(诸如“0.3秒”)的第二输入，基于所述输入可以从记录的视频数据确定多个帧。
在一种实施例中，第一电子设备102可以可操作以将多个帧402的每帧分割成多个部分分辨率层404。该多个部分分辨率层404以最高分辨率层到最低分辨率层的顺序排列。在一种实施例中，该排列可以是如图4中示出的多个部分分辨率层404的分辨率金字塔414的形式。分辨率金字塔414可以基于多个部分分辨率层404的每个部分分辨率层的分辨率值。在一种实施例中，分辨率金字塔414的基底可以对应于最高分辨率层而分辨率金字塔414的顶点可以对应于最低分辨率层。在一种实施例中，最低分辨率层可以对应于基础分辨率层406。在一种实施例中，除了基础帧层406之外的多个部分分辨率层404可以对应于附加帧层的集合408。在一种实施例中，分辨率金字塔414可以是可用来生成多个部分分辨率层404的拉普拉斯金字塔。根据该实施例，拉普拉斯系数的集合可以对应于多个部分分辨率层404的每个部分分辨率层的分辨率。在实施例中，分辨率金字塔414可以基于小波压缩技术生成。对本领域技术人员可以清晰可知的是，在不限制本公开的范围的情况下，可以使用其他技术来生成分辨率金字塔414。
这种分割可以基于多个部分分辨率层404的每个部分分辨率层的分辨率。多个部分分辨率层404的每个部分分辨率层还可被分组为基础帧层406以及附加帧层的集合408。例如，第一多个部分分辨率层404a可以分组成第一基础帧层406a和附加帧层的第一集合408a。在一种实施例中，第一基础帧层406a可以对应于多个部分分辨率层404中的具有最小分辨率和最小尺寸的一个部分分辨率层。对本领域技术人员可以清晰可知的是，视频的帧的分辨率或图像的分辨率是基于图像或帧中存在的像素的数目来估计的。对本领域技术人员可以清晰可知的是，较低的图像分辨率可以对应于较低的像素数目以及相应地较低的文件大小。
在一种实施例中，基于附加帧层的集合408中的层差异信息(诸如两个相邻层之间的分辨率的差异)，多个部分分辨率层404的一个或多个部分分辨率层可以分组成附加帧层的集合408。在一种实施例中，第一附加帧层410可以具有比基础帧层406的分辨率大第一数据值(诸如“X”)的第一分辨率。类似地，第二附加帧层412可以具有比第一附加帧层410的分辨率大第二数据值(诸如“Y”)的第二分辨率。因此，处理器202可以可操作以将分辨率差异的集合(诸如“{X,Y}”)发送到第二电子设备104。
图5说明了根据本公开的一种实施例的第二电子设备104的示例用户界面。结合图1、图2和图3中的元件说明图5。参考图5，其中示出了在显示屏112上渲染的用户界面114。用户界面114可以包括第一显示器段502、第二显示器段504、第三显示器段506和光标图标508。用户界面114还可以包括第一选项510“提供定时输入”和第二选项512“移除缩略图”、第三选项514“放大”、和第四选项516“缩小”。第一显示器段502可以包括可以对应于记录的视频数据的时间线。时间线可以提供关于第二电子设备104以什么帧速率接收记录的视频数据的信息。第二显示器段504可以显示多个帧的每帧的多个基础帧层。第三显示器段506可以显示多个基础帧层中的由用户110选择的一个。基础帧层可以显示为缩略图图像，以使得一个或多个修改操作可以由用户110执行。
在一种实施例中，第二显示器段504可以显示对应于由第二电子设备104接收的多个基础帧层的多个缩略图图像。在一种实施例中，显示的多个缩略图图像的一个或多个可以由用户110经由光标图标508选择。在一种实施例中，选择的缩略图图像可以在第三显示器段506中显示。
在一种实施例中，基于多个缩略图中的由用户110选择的一个或多个缩略图，对应于多个基础帧层的一个或多个基础帧层的优先级信息被更新成“1”。在一种实施例中，随着附加帧层的集合的一个或多个被第二电子设备104接收，显示的多个缩略图的一个或多个缩略图的分辨率增加。在一种实施例中，用户110可以选择第二选项512以从第三显示器段506中移除选择的缩略图。用户110可能不想接收对应于选择的缩略图图像的附加帧层的集合。在一种实施例中，用户110可以使用第三选项514和第四选项516以分别放大和缩小选择的缩略图图像。
图6是说明根据本公开的一种实施例的用于发送视频数据的第一方法600的流程图。结合图1、图2、图3、图4和图5的元件来描述图6。第一方法600可以在经由通信网络108与第二电子设备104和多媒体服务器106通信耦接的第一电子设备102中实施。
方法600开始于步骤602。在步骤604，可以由处理器202记录视频数据。在步骤606，多个帧可以从记录的视频数据确定。在步骤608，多个帧402的每帧可以分割成多个部分分辨率层。多个部分分辨率层可以包括基础帧层和一个或多个附加帧层。在步骤610，每帧的基础帧层可被发送到第二电子设备104。每帧的基础帧层可以基于与每帧的基础帧层相关联的优先级信息、分辨率信息和/或使用信息来发送。在步骤612，所述一个或多个附加帧层可以基于以下中的一个或多个来发送：与所述一个或多个基础帧层相关联的优先级信息、分辨率信息和/或使用信息。控制接着移动到结束步骤614。
图7是说明根据本公开的一种实施例的用于发送编码视频数据的第二方法700的流程图。结合图1、图2和图3的元件来描述图7。第二方法700可以在经由通信网络108与第二电子设备104和多媒体服务器106通信耦接的第一电子设备102中实施。第二方法700开始于步骤702。
在步骤704，可以接收编码视频数据。在步骤706，多个图片组(GOP)可以从接收的编码视频数据确定。多个GOP的每个GOP可以包括一个或多个基础帧层和一个或多个增强层。在步骤708，可以发送多个GOP的GOP的基础层。在步骤710，一个或多个增强层可以基于以下的一个或多个而发送：与一个或多个基础层相关联的优先级信息、分辨率信息和/或使用信息。控制接着移动到结束步骤712。
根据本公开，提出了一种用于发送视频数据的系统。本公开的示例方面可以包括第一电子设备102(图1)中的一个或多个处理器、和/或电路，诸如处理器202(图2)。处理器202可以可操作以将视频数据的每帧402a(图4)分割成多个部分分辨率层404a(图4)。多个部分分辨率层的每个部分分辨率层可以包括基础帧层406a(图4)和一个或多个附加帧层408a(图4)。处理器202可以可操作以将视频数据的帧的基础帧层406a发送到第二电子设备104。
本公开的另一示例方面可以包括用于发送编码视频数据的系统。本公开的示例方面可以包括第一电子设备102(图1)中的一个或多个处理器、和/或电路，诸如处理器202(图2)。处理器202可以可操作以从编码视频数据确定多个图片组(GOP)。每个GOP都可以包括一个或多个基础层和一个或多个增强层。处理器202可以可操作以将多个GOP的GOP的基础层发送到第二电子设备104。
本公开的各种实施例可以提供其上存储有机器代码和/或计算机程序的非暂态计算机可读介质和/或存储介质、和/或非暂态机器可读介质和/或存储介质，所述机器代码和/或计算机程序具有至少一个可由机器和/或计算机执行以用于发送数据的代码段。在第一电子设备中的该至少一个代码段可以使得机器和/或计算机执行包括将视频数据的每帧分割成多个部分分辨率层的步骤。多个部分分辨率层可以包括基础帧层和附加帧层。机器和/或计算机还执行包括将视频数据的每帧的基础帧层发送到第二电子设备的步骤。处理器可以可操作以将视频数据的帧的基础帧层发送到第二电子设备。机器和/或计算机还执行进一步包括基于优先级信息将帧的一个或多个附加帧层发送到第二电子设备的步骤。该优先级信息可以对应于帧的发送的基础帧层。
本公开可以用硬件或软件和硬件的组合来实现。本公开可以在至少一个计算机系统中用中心化方式实现、或用分布式方式实现，在分布式方式中不同元件可以跨若干互联的计算机系统分布。针对实现本文所描述的方法而适配的计算机系统或其他装置可以是合适的。软件和硬件的组合可以是带有计算机程序的通用计算机系统，当所述计算机程序被加载和执行时，可以控制该计算机系统使得实现本文所描述的方法。本公开可以用包括也执行其他功能的集成电路的一部分的硬件来实现。
本公开还可以嵌入在计算机程序产品中，所述计算机程序产品包括使得本文所描述的方法能够实施的所有特征，并且当所述计算机程序加载到计算机系统中时，能够实现这些方法。在本语境中，计算机程序意味着用任何语言、代码或标记表示的旨在使得具有信息处理能力的系统执行特定功能的一组指令，所述执行或者是直接的或者是经在以下两个步骤的任意一个或两个以后执行：a)转换成另一语言、代码或标记；b)在不同材料形式中复制。
尽管本公开已经参考某些实施例描述，但是本领域技术人员将要明白在不背离本公开的范围的情况下，可以做出各种改变和使用各种等价物替代。此外，可以做出许多修改使得特定情形或材料适配于本公开的教导而不背离本公开的范围。因此，不旨在将本公开限制到描述的特定实施例，而是本公开将包括所有落入到所附权利要求范围内的实施例。

Claims (24)

1.一种用于发送视频数据的方法，所述方法包括：
在第一电子设备中：
将所述视频数据的每帧分割成多个部分分辨率层，其中所述多个部分分辨率层的每一个包括基础帧层和一个或多个附加帧层；以及
将所述视频数据的所述帧的所述基础帧层和所述一个或多个附加帧层发送到第二电子设备。
2.根据权利要求1所述的方法，其中所述帧的所述一个或多个附加帧层基于与所述帧的所述发送的所述基础帧层相关联的优先级信息被发送到所述第二电子设备。
3.根据权利要求1所述的方法，其中所述基础帧层的分辨率值小于所述一个或多个附加帧层的每个附加帧层的分辨率值。
4.根据权利要求1所述的方法，还包括发送所述一个或多个附加帧层的第一附加帧层与所述一个或多个附加帧层的第二附加帧层之间的层差异信息，其中所述一个或多个附加帧层的所述第一附加帧层与所述一个或多个附加帧层的所述第二附加帧层彼此相邻。
5.根据权利要求4所述的方法，其中所述一个或多个附加帧层的所述第一附加帧层由所述第二电子设备基于所述发送的所述层差异信息确定。
6.根据权利要求1所述的方法，其中所述视频数据的所述帧的所述基础帧层以第一帧速率发送，其中所述第一帧速率低于预定义帧速率。
7.根据权利要求6所述的方法，其中所述一个或多个附加帧层中的与所述基础帧层相邻的所述第一附加帧层的帧速率大于所述第一帧速率。
8.根据权利要求6所述的方法，其中所述一个或多个附加帧层的至少一个附加帧层以第二帧速率发送，其中所述第二帧速率大于所述一个或多个附加帧层的先前发送的一个附加帧层的帧速率。
9.根据权利要求1所述的方法，还包括基于以下的一个或多个发送所述基础帧层：所述发送的所述基础帧层的分辨率信息、帧速率、和/或优先级信息。
10.根据权利要求1所述的方法，还包括基于一个或多个运动检测算法计算所述视频数据的运动信息。
11.根据权利要求10所述的方法，还包括基于所述计算的所述视频数据的所述运动信息，确定所述发送的所述基础帧层的优先级信息。
12.根据权利要求1所述的方法，还包括从所述第二电子设备接收多个参数，其中所述多个参数包括与所述帧的所述基础帧层相关联的使用信息。
13.根据权利要求12所述的方法，其中所述使用信息基于对所述帧的所述基础帧层执行的选择操作来计算，其中所述帧的所述一个或多个附加帧层基于所述计算的所述使用信息被发送到所述第二电子设备。
14.根据权利要求12所述的方法，还包括基于所述接收的多个参数确定优先级信息。
15.根据权利要求1所述的方法，其中所述帧的所述发送的所述基础帧层在所述第二电子设备上显示。
16.一种用于发送视频数据的系统，所述系统包括：
在第一电子设备中的一个或多个处理器，所述一个或多个处理器可操作以：
将所述视频数据的每帧分割成多个部分分辨率层，其中所述多个部分分辨率层的每个部分分辨率层包括基础帧层和一个或多个附加帧层；以及
将所述视频数据的所述帧的所述基础帧层发送到第二电子设备。
17.根据权利要求16所述的系统，其中所述一个或多个处理器可操作以基于以下的一个或多个将所述帧的所述一个或多个附加帧层发送到所述第二电子设备：与所述帧的所述基础帧层相关联的优先级信息、分辨率信息和/或使用信息。
18.一种用于发送编码视频数据的方法，所述方法包括：
在第一电子设备中：
从所述编码视频数据确定图片组GOP，其中所述GOP包括基础层和一个或多个增强层；以及
将所述GOP的所述基础层发送到第二电子设备。
19.根据权利要求18所述的方法，还包括基于以下的一个或多个将所述一个或多个增强层发送到所述第二电子设备：与所述一个或多个基础层相关联的优先级信息、分辨率信息和/或使用信息。
20.根据权利要求19所述的方法，其中所述分辨率信息包括与所述GOP的所述一个或多个增强层和所述基础层相关联的一个或多个分辨率值，其中所述基础层的分辨率值小于所述一个或多个增强层的分辨率值。
21.一种用于发送编码视频数据的系统，所述系统包括：
第一电子设备中的一个或多个处理器，所述一个或多个处理器可操作以：
从所述编码视频数据确定图片组GOP，其中所述GOP包括基础层和一个或多个增强层；以及
将所述GOP的基础层发送到第二电子设备。
22.根据权利要求21所述的系统，其中所述一个或多个处理器可操作以基于以下的一个或多个将所述一个或多个增强层发送到所述第二电子设备：与所述一个或多个基础层相关联的优先级信息、分辨率信息和/或使用信息。
23.一种用于发送视频数据的系统，所述系统包括：
在第一电子设备中的收发器；
在所述第一电子设备中的一个或多个处理器，耦接到所述收发器，所述一个或多个处理器可操作以：
将所述视频数据的每帧分割成多个部分分辨率层，其中所述多个部分分辨率层的每个部分分辨率层包括基础帧层和一个或多个附加帧层；以及
经由所述收发器将所述视频数据的所述帧的所述基础帧层发送到第二电子设备。
24.一种用于发送编码视频数据的系统，所述系统包括：
在第一电子设备中的收发器；
在所述第一电子设备中的一个或多个处理器，耦接到所述收发器，所述一个或多个处理器可操作以：
从所述编码视频数据确定图片组GOP，其中所述GOP包括基础层和一个或多个增强层；以及
经由所述收发器将所述GOP的基础层发送到第二电子设备。
CN201510481998.6A 2014-08-19 2015-08-04 用于发送数据的系统和方法 Active CN105376461B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/463,231 2014-08-19
US14/463,231 US9813654B2 (en) 2014-08-19 2014-08-19 Method and system for transmitting data

Publications (2)

Publication Number Publication Date
CN105376461A true CN105376461A (zh) 2016-03-02
CN105376461B CN105376461B (zh) 2019-06-28

Family

ID=53836445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510481998.6A Active CN105376461B (zh) 2014-08-19 2015-08-04 用于发送数据的系统和方法

Country Status (3)

Country Link
US (1) US9813654B2 (zh)
EP (1) EP2988502B1 (zh)
CN (1) CN105376461B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933587B (zh) * 2017-03-10 2019-12-31 Oppo广东移动通信有限公司 一种图层绘制控制方法、装置及移动终端

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020018072A1 (en) * 2000-05-11 2002-02-14 Chui Charles K. Scalable graphics image drawings on multiresolution image with/without image data re-usage
CN101366283A (zh) * 2006-01-11 2009-02-11 高通股份有限公司 具有精细粒度空间可缩放性的视频编码
CN101909063A (zh) * 2010-08-11 2010-12-08 中国电信股份有限公司 基于分层编码的视频流推送方法和系统
CN102165515A (zh) * 2008-09-30 2011-08-24 索尼计算机娱乐公司 图像处理装置以及图像处理方法
CN103155571A (zh) * 2010-09-24 2013-06-12 高通股份有限公司 译码立体视频数据
CN103458241A (zh) * 2012-06-01 2013-12-18 三星电子株式会社 用于多层视频编码的速率控制方法和设备
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
CN103518374A (zh) * 2011-06-10 2014-01-15 联发科技股份有限公司 可伸缩视频编码方法及其装置
US20140044179A1 (en) * 2012-08-07 2014-02-13 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3d video coding
US20140153634A1 (en) * 2011-08-01 2014-06-05 Sony Computer Entertainment Inc. Moving image data generation device, moving image display device, moving image data generation method, moving image displaying method, and data structure of moving image file

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2295936B (en) 1994-12-05 1997-02-05 Microsoft Corp Progressive image transmission using discrete wavelet transforms
US5621660A (en) 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
US5764814A (en) 1996-03-22 1998-06-09 Microsoft Corporation Representation and encoding of general arbitrary shapes
US6567564B1 (en) 1996-04-17 2003-05-20 Sarnoff Corporation Pipelined pyramid processor for image processing systems
US7460157B2 (en) 2000-02-02 2008-12-02 Fujifilm Corporation Image storing-transferring method and apparatus, image processing method, image processing system, and image processor
US6593925B1 (en) 2000-06-22 2003-07-15 Microsoft Corporation Parameterized animation compression methods and arrangements
US7206459B2 (en) 2001-07-31 2007-04-17 Ricoh Co., Ltd. Enhancement of compressed images
US8411938B2 (en) 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization
EP2144199B1 (en) 2008-07-11 2018-12-26 Agfa HealthCare NV Method and apparatus for multimodal visualization of volume data sets
US8340415B2 (en) 2010-04-05 2012-12-25 Microsoft Corporation Generation of multi-resolution image pyramids

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020018072A1 (en) * 2000-05-11 2002-02-14 Chui Charles K. Scalable graphics image drawings on multiresolution image with/without image data re-usage
CN101366283A (zh) * 2006-01-11 2009-02-11 高通股份有限公司 具有精细粒度空间可缩放性的视频编码
CN102165515A (zh) * 2008-09-30 2011-08-24 索尼计算机娱乐公司 图像处理装置以及图像处理方法
CN101909063A (zh) * 2010-08-11 2010-12-08 中国电信股份有限公司 基于分层编码的视频流推送方法和系统
CN103155571A (zh) * 2010-09-24 2013-06-12 高通股份有限公司 译码立体视频数据
CN103518374A (zh) * 2011-06-10 2014-01-15 联发科技股份有限公司 可伸缩视频编码方法及其装置
US20140153634A1 (en) * 2011-08-01 2014-06-05 Sony Computer Entertainment Inc. Moving image data generation device, moving image display device, moving image data generation method, moving image displaying method, and data structure of moving image file
CN103458241A (zh) * 2012-06-01 2013-12-18 三星电子株式会社 用于多层视频编码的速率控制方法和设备
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US20140044179A1 (en) * 2012-08-07 2014-02-13 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3d video coding

Also Published As

Publication number Publication date
US20160057373A1 (en) 2016-02-25
EP2988502B1 (en) 2024-05-15
EP2988502A1 (en) 2016-02-24
US9813654B2 (en) 2017-11-07
CN105376461B (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
US11726645B2 (en) Display apparatus for classifying and searching content, and method thereof
US11392285B2 (en) Method and a system for performing scrubbing in a video stream
US11537562B2 (en) Auxiliary manifest file to provide timed metadata
KR101951337B1 (ko) 컨텐츠를 시퀀싱
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
US20190149885A1 (en) Thumbnail preview after a seek request within a video
US20190146651A1 (en) Graphical user interface for navigating a video
CN108847259B (zh) 短视频制作方法、装置、电子设备及计算机存储介质
US8761577B2 (en) System and method for continuous playing of moving picture between two devices
WO2009001181A1 (en) Method, apparatus, system and computer program product for selectively and interactively downloading a media item
CN105430393B (zh) 一种图片处理方法、图片处理装置、图片处理平台以及存储介质
CN107040825B (zh) 终端、电视机、多屏互动系统和抓屏参数的设置方法
CN108307248B (zh) 视频播放方法、装置、计算设备及存储介质
JP6527579B2 (ja) クラウドストリーミングサービスシステム、スチールイメージ基盤クラウドストリーミングサービス方法及びそのための装置
CN105376461A (zh) 用于发送数据的系统和方法
JP4970912B2 (ja) 動画分割サーバおよびその制御方法
US10862935B2 (en) Distribution device and information device
WO2022193141A1 (zh) 多媒体文件的播放方法及相关装置
KR101452269B1 (ko) 콘텐트 가상 세그멘테이션 방법과, 이를 이용한 스트리밍 서비스 제공 방법 및 시스템
KR101906396B1 (ko) 중계 방송을 지원하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN117714696A (zh) 一种视频码率计算方法及系统
JP2008219224A (ja) 携帯端末用動画像転送システム
JP2013135280A (ja) 編集装置、および編集方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant