CN109716769B - 在多媒体信息中提供面向对象的缩放的系统和方法 - Google Patents

在多媒体信息中提供面向对象的缩放的系统和方法 Download PDF

Info

Publication number
CN109716769B
CN109716769B CN201780057259.1A CN201780057259A CN109716769B CN 109716769 B CN109716769 B CN 109716769B CN 201780057259 A CN201780057259 A CN 201780057259A CN 109716769 B CN109716769 B CN 109716769B
Authority
CN
China
Prior art keywords
video stream
screen display
selected object
receiver
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780057259.1A
Other languages
English (en)
Other versions
CN109716769A (zh
Inventor
罗伊·吉那特
利龙·赫兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GLIDE TALK Ltd
Original Assignee
GLIDE TALK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GLIDE TALK Ltd filed Critical GLIDE TALK Ltd
Publication of CN109716769A publication Critical patent/CN109716769A/zh
Application granted granted Critical
Publication of CN109716769B publication Critical patent/CN109716769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)

Abstract

本发明提供一种面向对象的缩放，通过以下步骤实现：在发射器中识别拍摄的视频部分中的感兴趣区域；向接收器传送视频流和感兴趣区域的识别；在屏幕显示器上的接收器的显示上标记拍摄的视频流上的感兴趣区域；接收从显示的感兴趣区域的选择形成的所选对象；将选择传送至发射器；在发射器中将视频流划分为包括所选对象的第一部分和包括拍摄的视频流中的第一部分之外的至少一部分的第二部分；将第一部分和第二部分传送至接收器；同时显示第一部分和第二部分，其中，第一部分在接收器的屏幕显示器的基本上恒定的位置中显示，第二部分围绕第一部分显示以填充接收器的屏幕显示器。

Description

在多媒体信息中提供面向对象的缩放的系统和方法
技术领域
本文公开的方法和装置涉及视频通信领域，更具体地但非排他地，涉及用于稳定视频信息中的对象的显示的系统和方法。
背景技术
已知视频可以通过通信网络传送，并且通过智能手机相机和可穿戴相机而广泛使用。由小型手持相机(特别是可穿戴相机)拍摄的视频流往往是不稳定的，从这方面来说，当显示时，感兴趣的对象容易快速地经过屏幕显示器。这种对象的不稳定性使得难以观看，令观看者不适。另外，图像的不稳定性载入通常是稀缺资源的通信带宽。
因此，存在广泛公认的需求，并且非常有利的是，具备一种用于克服上述限制传送视频流的系统和方法。
发明内容
在以下说明中，将描述本发明的一些方面和实施例。应当理解，在最广泛的意义上，可以在不具备这些方面和实施例的一个或多个特征的情况下实践本发明。还应当理解，这些方面和实施例只是示例。
公开的实施例包括一种用于面向对象的缩放的由计算机执行的方法。这种方法可以包括：接收来自发射器的拍摄的视频流和在所述拍摄的视频流中至少一个感兴趣区域的识别；在屏幕显示器上的所述拍摄的视频流的显示上标记所述至少一个感兴趣区域；接收来自用户的所述标记的感兴趣区域的选择，其中，所述选择形成一个所选对象；将所述选择传送至所述发射器；接收来自所述发射器的所述视频流的分割版本，所述视频流的分割版本包括包含所述所选对象的第一部分和包含所述视频流的所述第一部分之外的至少一部分的第二部分；同时显示所述第一部分和所述第二部分的至少一部分。
在一些实施例中，所述第一部分包括第一视频流，并且所述第二部分包括第二视频流。
另外，实施例包括接收交叉的多媒体流，所述交叉的多媒体流包括：包括多个第一通信元素的所述第一视频流；以及包括多个第二通信元素的所述第二视频流；其中，所述交叉的多媒体流包括所述第一通信元素和所述第二通信元素的交叉的序列；并且，其中，至少一个所述第一通信元素与至少一个所述第二通信元素在时间上和空间上中至少一者上相关联。
在另外的实施例中，所述交叉的多媒体流还包括提供了在所述至少一个第一通信元素和所述至少一个第二通信元素之间的所述关联的至少一个通信元素。
一些实施例还包括：接收所述所选对象的尺寸选择；显示所述所选对象，同时执行下列操作中的至少一个：保持所述所选对象的所述所选尺寸；和保持所述屏幕显示器上的中心位置和所述所选对象的中心的位置中的至少一者。
根据另外的实施例，所述所选对象包括多个感兴趣区域，并且满足下列内容中的至少一者：其中，所述保持所述所选对象的所述所选尺寸的步骤包括保持所述多个感兴趣区域之间的所述尺寸；和其中，所述保持所述中心位置和所述所选对象的中心的位置中的至少一者的步骤包括保持所述多个感兴趣区域的中心的所述位置。
另外的实施例包括下列步骤中的至少一个：剪裁所述第一部分以适应显示器屏幕，缩小所述第一部分以适应所述显示器屏幕，和将所述第一部分转换至非线性模式以适应所述显示器屏幕。
在一些实施例中，所述第一部分包括相对高质量的视频，并且所述第二部分包括相对低质量的视频。
在另外的实施例中，所述第二部分的所述低质量是适应于下列中的至少一个：分配用于显示所述第二部分的所述屏幕显示器的区域尺寸，分配用于显示所述第二部分的所述屏幕显示器的显示参数，和在通信上连接所述发射器和包括所述屏幕显示器的通信设备的网络的通信参数。
根据一些实施例，所述高质量和低质量基于下列中的至少一个：分配至所述第一部分的带宽、分配至所述第二部分的带宽、分配至所述第二部分的压缩、分配至所述第一部分的压缩、分配至所述第二部分的有损压缩、分配至所述第一部分的无损压缩、分配至所述第一部分的分辨率、分配至所述第二部分的分辨率、分配至所述第一部分的颜色深度、以及分配至所述第二部分的颜色深度。
一些实施例还包括下列步骤中的至少一个：将所述第二部分转换至非线性模式和将所述第一部分转换至线性模式。
另外的实施例包括通过下列步骤中的至少一个来创建所述第一部分和所述第二部分：由拍摄所述视频流的成像设备创建所述部分的至少一个；由所述发射器创建所述部分的至少一个；由接收器通信终端创建所述部分的至少一个；由网络服务器创建所述部分的至少一个；和在连接所述发射器和所述接收器通信终端的通信网络中的中间位置中创建所述部分的至少一个。
公开的实施例还包括用于传送面向对象的缩放的系统。该系统可以包括发射器，该发射器包括执行软件程序指令以执行操作的处理器，所述操作包括：识别拍摄的视频流中的至少一个感兴趣区域；向接收器传送所述视频流和所述感兴趣区域的识别；接收来自所述接收器的所述感兴趣区域的选择，其中，所述选择形成所选对象；将所述视频流划分为至少一个包括所述所选对象的第一部分和包括所述视频流的所述第一部分之外的至少一部分的第二部分；和将所述第一部分和所述第二部分传送至所述接收器以在所述接收器上同时显示；以及所述接收器，其包括执行软件程序指令以执行操作的处理器，所述操作包括：在屏幕显示器上的所述视频流的显示上标记所述感兴趣区域；接收来自用户的所述感兴趣区域的选择；将所述选择传送至所述发射器；接收来自所述发射器的所述第一部分和所述第二部分；以及同时显示所述第一部分和所述第二部分的至少一部分。
另一实施例包括面向对象缩放的发射器。发射器可以包括执行软件程序指令以执行操作的处理器，所述操作包括：识别拍摄的视频流中的至少一个感兴趣区域；向接收器传送所述视频流和所述感兴趣区域的识别；接收来自所述接收器的所述感兴趣区域的用户选择，其中，所述选择形成所选对象；将所述视频流划分为包括所述所选对象的第一部分和包括所述视频流的所述第一部分之外的至少一个流的第二部分；和将所述第一部分和所述第二部分传送至所述接收器。
在另外的实施例中，所述第一部分包括第一视频流，所述第二部分包括第二视频流。
在另外的实施例中，所述处理器进一步执行软件程序指令以执行包括发送交叉的多媒体流的操作，所述交叉的多媒体流包括：包括多个第一通信元素的所述第一视频流；包括多个第二通信元素的所述第二视频流；其中，所述交叉的多媒体流包括所述第一通信元素和所述第二通信元素的交叉的序列；并且，其中，至少一个所述第一通信元素与至少一个所述第二通信元素在时间上和空间上中至少一者上相关联。
根据另外的实施例，所述交叉的多媒体流还包括：提供了在所述至少一个第一通信元素和所述至少一个第二通信元素之间的所述关联的至少一个通信元素。
在另外的实施例中，所述第二部分是下列中的至少一个：裁剪至适合显示器屏幕；缩小至适合所述显示器屏幕；以及转换至非线性模式以适应所述显示器屏幕。
在一些实施例中，所述第一部分包括相对高质量的视频，所述第二部分包括相对低质量的视频。
根据另外的实施例，所述第二部分的所述低质量适应于下列中的至少一个：分配用于显示所述第二部分的所述屏幕显示器的区域尺寸；分配用于显示所述第二部分的所述屏幕显示器的显示参数；和在通信上连接所述发射器和包括所述屏幕显示器的通信设备的网络的通信参数。
在另外的实施例中，所述高质量和所述低质量基于下列中的至少一个：分配至所述第一部分的带宽、分配至所述第二部分的带宽、分配至所述第二部分的压缩、分配至所述第一部分的压缩、分配至所述第二部分的有损压缩、分配至所述第一部分的无损压缩、分配至所述第一部分的分辨率、分配至所述第二部分的分辨率、分配至所述第一部分的颜色深度、以及分配至所述第二部分的颜色深度。
根据另外的实施例，执行所述软件程序指令的所述处理器还提供了将所述第二部分转换至非线性模式以适应所述接收器的所述屏幕显示器，以及将所述第一部分转换至线性模式以适应所述接收器的所述屏幕显示器。
在另外的实施例中，所述发射器包括便携式服务器、网络服务器和连接所述发射器和所述接收器的通信网络中的中间位置中的至少一个。
进一步公开的实施例包括面向对象的缩放的接收器。所述接收器包括执行软件程序指令以执行操作的处理器，所述操作包括：接收来自发射器的拍摄的视频流和所述视频流中至少一个感兴趣区域的识别；在所述拍摄的视频流的显示上标记所述至少一个感兴趣区域；接收来自用户的所述至少一个感兴趣区域的选择，其中，所述选择形成所选对象；将所述选择传送至所述发射器；接收来自所述发射器的包括所述所选对象的第一部分和包括所述拍摄的视频流的所述第一部分之外的至少一部分的第二部分；以及同时显示所述第一部分和所述第二部分的至少一部分。
根据一些实施例，所述第一部分包括第一视频流，所述第二部分包括第二视频流。
在一些实施例中，所述处理器执行软件程序指令以执行包括接收交叉的多媒体流的操作，所述交叉的多媒体流包括：包括多个第一通信元素的所述第一视频流；和包括多个第二通信元素的所述第二视频流；其中，所述交叉的多媒体流包括所述第一通信元素和所述第二通信元素的交叉的序列；并且，其中，至少一个所述第一通信元素与至少一个所述第二通信元素在时间上和空间上中至少一者上相关联。
根据一些实施例，所述交叉的多媒体流还包括：提供了在所述至少一个第一通信元素和所述至少一个第二通信元素之间的所述关联的至少一个通信元素。
在另外的实施例中，执行所述软件程序指令的所述处理器还提供：接收所述所选对象的尺寸选择；以及显示所述所选对象，同时执行下列操作中的至少一个：保持所述所选对象的所述所选尺寸；和保持所述屏幕显示器上的中心位置和所述所选对象的中心的位置中的至少一者。
在另外的实施例中，所述所选对象包括多个感兴趣区域；其中，执行所述软件程序指令的所述处理器还提供下列操作中的至少一个：保持所述多个感兴趣区域之间的尺寸；和保持中心位置和所述多个感兴趣区域的中心的位置中的至少一个。
根据另外的实施例，所述第一部分包括相对高质量的视频，所述第二部分包括相对低质量的视频。
在另外的实施例中，所述第二部分的所述低质量适应于下列中的至少一个：分配用于显示所述第二部分的所述屏幕显示器的区域尺寸；分配用于显示所述第二部分的所述屏幕显示器的显示参数；和在通信上连接所述第二部分的发射器和所述接收器的网络的至少一个通信参数。
根据另外的实施例，所述高质量和所述低质量基于下列中的至少一个：分配至所述第一部分的带宽、分配至所述第二部分的带宽、分配至所述第二部分的压缩、分配至所述第一部分的压缩、分配至所述第二部分的有损压缩、分配至所述第一部分的无损压缩、分配至所述第一部分的分辨率、分配至所述第二部分的分辨率、分配至所述第一部分的颜色深度、以及分配至所述第二部分的颜色深度。
一些实施例还可以包括将所述第二部分转换为非线性模式和将所述第一部分转换为线性模式中的至少一个。
进一步公开的实施例包括在非暂时性计算机可读介质上实现的计算机程序产品。计算机程序产品可以包括用于下列步骤的计算机代码：在发射器中识别拍摄的视频流中至少一个感兴趣区域；向接收器传送所述视频流和所述感兴趣区域的识别；接收所述感兴趣区域的选择，其中，所述选择形成所选对象；在所述发射器中将所述视频流划分为包括所述所选对象的第一部分和包括所述拍摄的视频流的所述第一部分之外的至少一部分的第二部分；将所述第一部分和所述第二部分传送至所述接收器；以及能够同时显示所述第一部分和所述第二部分。
在一些实施例中，所述第一部分包括第一视频流，所述第二部分包括第二视频流。
一些实施例还包括用于接收交叉的多媒体流的计算机代码，所述交叉的多媒体流包括：包括多个第一通信元素的所述第一视频流；包括多个第二通信元素的所述第二视频流；其中，所述交叉的多媒体流包括所述第一通信元素和所述第二通信元素的交叉的序列；并且，其中，至少一个所述第一通信元素与至少一个所述第二通信元素在时间上和空间上中至少一者上相关联。
根据一些实施例，所述交叉的多媒体流还包括：提供了在所述至少一个第一通信元素和所述至少一个第二通信元素之间的所述关联的至少一个通信元素。
另外的实施例还包括：接收所述所选对象的尺寸选择；以及显示所述所选对象，同时执行下列操作中的至少一个：保持所述所选对象的所述所选尺寸；和保持所述屏幕显示器上的中心位置和所述所选对象的中心的位置中的至少一者。
在另外的实施例中，所述所选对象包括多个所述感兴趣区域；并且满足下列内容中的至少一者：其中，所述保持所述所选对象的所述所选尺寸的步骤包括保持所述多个感兴趣区域之间的所述尺寸；和其中，所述保持所述中心位置和所述所选对象的中心的位置中的至少一者的步骤包括保持所述多个感兴趣区域的中心的所述位置。
另外的实施例包括下列步骤中的至少一个：裁剪所述第一部分以适应显示器屏幕；缩小所述第一部分以适应所述显示器屏幕；和将所述第一部分转换为非线性模式以适应所述显示器屏幕。
在另外的实施例中，所述第一部分包括相对高质量的视频，并且所述第二部分包括相对低质量的视频。
在一些实施例中，所述第二部分的所述低质量适应于下列中的至少一个：分配用于显示所述第二部分的所述屏幕显示器的区域尺寸；分配用于显示所述第二部分的所述屏幕显示器的显示参数；和在通信上连接所述发射器和包括所述屏幕显示器的通信设备的网络的参数。
根据另外的实施例，所述高质量和所述低质量基于下列中的至少一个：分配至所述第一部分的带宽、分配至所述第二部分的带宽、分配至所述第二部分的压缩、分配至所述第一部分的压缩、分配至所述第二部分的有损压缩、分配至所述第一部分的无损压缩、分配至所述第一部分的分辨率、分配至所述第二部分的分辨率、分配至所述第一部分的颜色深度、以及分配至所述第二部分的颜色深度。
一些实施例可以包括将所述第二部分转换为非线性模式和将所述第一部分转换为线性模式中的至少一个。
在进一步的实施例中，通过下列方式中的至少一个来创建所述第一部分和所述第二部分：由拍摄所述视频流的成像设备的处理器创建所述部分的至少一个；由第一发射器的处理器创建所述部分的至少一个；由接收器通信终端的处理器创建所述部分的至少一个；由网络服务器的处理器创建所述部分的至少一个；和由在连接所述发射器和所述接收器的通信网络中的中间位置的处理器创建所述部分的至少一个。
进一步公开的实施例包括用于面向对象的缩放的由计算机执行的方法。该方法可以包括：发射来自发射器的拍摄的视频流和在所述拍摄的视频流中至少一个感兴趣区域的识别；在所述发射器处接收在所述拍摄的视频流中标记的感兴趣区域的选择，其中，所述选择形成所选对象；以及发射来自所述发射器的所述视频流的分割版本，所述视频流的所述分割版本包括包含所述所选对象的第一部分和包含所述视频流的所述第一部分之外的至少一部分的第二部分。
另外公开的实施例包括在非暂时性计算机可读介质上实现的计算机程序产品。计算机程序产品可以包括用于下列步骤的计算机代码：在接收器处接收拍摄的视频流和在所述拍摄的视频流中感兴趣区域的识别；在所述接收器处接收所述感兴趣区域的选择，其中，所述选择形成所选对象；在所述接收器处接收所述视频流的分割版本，所述分割版本包括包含所述所选对象的第一部分和包含所述视频流的所述第一部分之外的至少一部分的第二部分；以及在所述接收器上同时显示所述第一部分和所述第二部分的至少一部分。
根据本发明的另外的实施例，公开了一种在非暂时性计算机可读介质上实现的计算机程序产品，其存储指令，当由处理器执行指令时，所述指令使处理器执行与一个或多个公开的方法和实施例一致的操作。
应当理解，前述的一般性描述和下面的详细的描述都只是示例性和说明性的，并不是对要求保护的公开的实施例的限制。
附图说明
这里，仅通过示例参照附图描述各实施例。现在，具体参照附图，需要强调的是，通过示例并且仅为了对优选实施例的说明性讨论而示出细节，呈现所述细节以便提供被认为是对实施例的原理和概念方面的最有用的和易于理解的说明。在这方面，没有试图更详细地示出对主题的基本理解所必需的之外的实施例的结构细节，通过附图进行的描述使得本领域技术人员明白在实践中如何实现几种形式和结构。
在附图中：
图1是视频缩放系统的简化图；
图2是视频缩放系统使用的计算系统的简化框图；
图3是流式多媒体的简化框图；
图4是由五帧视频流所拍摄的景物的简化图；
图5是示出具有对象指示器的五帧视频流所拍摄的景物的简化图；
图6是在缩放操作之后显示的图4和图5的五帧的图；
图7是包括在缩放操作之后显示的具有多个所选取的识别对象的选取对象的五帧的图；
图8是包括可穿戴的相机和便携式服务器的通信通道的简化图；
图9A是景物的线性模式显示的图；
图9B是景物的非线性模式显示的图。
具体实施方式
现在详细说明公开的实施例，其示例在附图中示出。
本实施例包括一种用于稳定视频流中的显示对象的方法、装置和计算机程序。参照以下附图及其说明可以更好地理解根据本文所呈现的多个示例性实施例的装置和方法的原理和操作。
在详细说明至少一个实施例之前，应该理解的是，实施例的应用不限于以下说明中所述的或附图中所示的组件的结构和布置的细节。可以以各种方式实践或实施其他实施例。而且，应该理解，本文所采用的措辞和术语是说明性的，而不应被认为是限制性的。
在本文中，未在附图的范围内描述且标有在先前附图中描述过的附图标记的附图的元件具有与先前附图中描述的相同的用途和说明。同样地，由本文中所述的未出现在附图中的附图标记在本文中标记的元件具有与其在之前的附图中所描述的相同的用途和说明。
在本文中，附图可以不是任何比例的。不同的附图可以使用不同的比例，并且甚至在同一附图中也可以使用不同的比例，例如，对于相同对象的不同视角的不同的比例或者对于两个相邻的对象的不同的比例。
几个公开的实施例涉及提供至少一个用于稳定视频流或视频信息中的至少一个对象的系统和/或方法和/或计算机程序。这种视频流或视频信息可以是从通常包括相机的第一终端设备通信至通常包括屏幕显示器的第二终端设备的多媒体信息或多媒体文件的一部分。这种视频流或视频信息或多媒体信息或多媒体文件可以通过通信网络(特别是通过通信节点或通信服务器)从第一终端设备通信至第二终端设备。
术语“多媒体”或“多媒体内容”可以指两种或更多内容类型的任何组合。内容类型或介质可以是声音、谈话、图像、图片、视频、文本、图形、动画、数据、元数据、控制信息、会话信息等。
术语“数据”(特别是作为内容类型或介质)可以指在不同媒体的元素之间引用的数据，例如同步信息(例如唇形同步)数据。术语“数据”还可以指诸如位置(例如GPS数据)、运动(例如，加速计和/或陀螺仪数据)、方向(例如，重力计、陀螺仪和/或指南针数据)、时序信息(例如唇形同步)、计量生物学数据(例如，心率、皮肤传导率)等测量信息。
诸如在“视频流”、“流式内容”、“流式信息”或“流式多媒体”中的术语“流”或“流式”，可以指诸如各自以固定的或恒定的速率产生、传播和消耗的声音和视频等内容。通信网络的比特率可以是变化的，但是期望媒体流的各个数据包根据传输介质的固定的速率严格按时到达接收者。根据示例性实施例，几个媒体可以以其自己的速率容纳在交叉存取的文件中，并且期望每个媒体的数据包按时(严格地)到达。由于网络比特率可改变，所以媒体类型可以改变或用与当前比特率兼容的另一媒体类型代替，使得数据包按时(严格地)到达。
术语“同步”或“同步的”指任何两种或更多内容类型之间的时间参照或关联，例如，伴随视频的声音。例如，唇形同步将说话者嘴唇的运动同说话者的话音相关联(反之亦然)。流式多媒体可以涉及流的至少一些构成(内容类型、媒体)之间的精确的同步。
在上下文中，术语“图像”指用于创建图像数据的任何类型或技术，例如摄影、静态摄影(静态图像、静态图片或简单图片)、视频摄影、立体摄影、三维(3D)成像、热或红外(IR)成像等。在上下文中，可以“捕获”、“获取”或“拍摄”任何这样的图像。
在上下文中，术语“相机”指用于创建诸如本文中所述的一个或多个图像或图像数据的任何类型或技术(包括成像类型或技术的任何组合等)的设备。
术语“服务器”或“通信服务器”指连接至便于一个或多个相机(例如本地相机)与一个或多个远程用户和/或远程系统之间通信的通信网络的任何类型的计算机器。
术语“网络”或“通信网络”指任何类型的通信介质，包括但不限于固定(有线、光纤、电缆)网络、无线网络和/或卫星网络、固定或无线的广域网(WAN)，包括各种类型的蜂窝网络、固定或无线的局域网(LAN)、以及固定或无线的个域网(PAN)，以及它们的任意组合。
术语“缩放”可以指在拍摄图像和显示图像之间针对图像进行的任何改变和/或处理。具体地但非排他地，“缩放”可以指改变图像的大小和/或裁剪图像的一部分。更具体地但非排他地，术语“缩放”可以指以与原始大小不同的大小(放大或缩小)呈现图像的一部分，并且可选的，以不同的大小呈现图像的另一部分。更进一步的是，术语“缩放”可以指改变图像或图像的一部分的一个以上的维度(例如，长宽比)，和/或图像失真(例如鱼眼失真)，和/或校正失真(例如校正鱼眼失真)。
应当理解，网络带宽通常是稀缺资源，并且图像不稳定性在带宽上产生负载和/或限制了用于减少带宽消耗的大多数方法(例如压缩)。图像缩放和/或稳定图像的类似方法可以有助于或增强优化带宽利用。
应当理解，网络带宽可以随时间改变，因此影响能够在特定时间段内以特定传输速率在网络的特定分支上传送的数据量。因此，例如，通过改变压缩级别、改变图像分辨率、去除所传送的内容和/或数据的构成或部分、用要求较低的内容和/或数据替换所传送的内容和/或数据的构成或部分等，内容(尤其是流式内容)应该适应网络带宽。
现在参照附图1，图1是根据一个示例性实施例的视频缩放系统10的简化图。
如图1所示，视频缩放系统10可以包括通信网络11，在通信网络11中可分布有一个或多个多媒体通信服务器12以形成云计算服务器。服务器12可以与通信终端13(例如，接收器和发射器)通信，其中一些通信终端13可以由用户14来操作。
通信终端13中的一个或多个可以分别创建或获得内容，并将其传送至可以接收传送的内容并提供给它们各自用户14的一个或多个其他通信终端13。通常，在通信终端13之间传送的内容可以包括视频(例如，流式视频和/或视频流)。通常，发射器通信终端13可以包括相机(例如摄像机)，并且接收器通信终端13可以包括用于显示接收的视频的屏幕显示器。
通常，发射器通信终端13可以将内容传送至服务器12中的一个，然后，该服务器12可以将内容传送至一个或多个其他服务器12，然后，服务器12将内容传送至它们各自的接收器通信终端13。
应当理解，发射器通信终端13可以成为接收器，并且接收器通信终端13可以成为发射器。应当理解，服务器12可以被视为接收器和发射器的组合，接收器接收来自发射器通信终端13的通信内容，发射器将通信内容发送至接收器通信终端13中。应当理解，服务器12可以包括任何数量的这种接收器和发射器。
通信终端13可以是能够创建或获得任何类型的内容和/或接收和向用户提供任何类型的内容的任何类型的计算设备。内容类型或媒介可以是声音、谈话、图像、图片、视频、文本、图形、动画、数据、元数据、控制信息、会话信息等。多媒体内容指两个或多个内容类型(媒体)的任何组合。特别是，两种或多种媒体的同步耦合组合。
例如，通信终端13可以是台式计算机、笔记本电脑、平板电脑、诸如移动电话或智能手机等移动通信设备、具有通信功能的相机、车载相机等，特别是可穿戴设备。诸如智能手表、腕戴式相机、头戴式相机、头盔式相机、带有显示器和/或相机的眼镜(智能眼镜)等可穿戴设备，包括诸如生物传感器和环境/周边环境传感器等各种可穿戴的传感器。
通信终端13和通信服务器12可以包括面向对象的缩放软件程序(即缩放软件)。通常，通信终端13可以包括客户端缩放软件15，并且通信服务器12可以包括服务器缩放软件16。
通常，通信终端13和/或其客户端缩放软件15可以创建或获得内容、打开至一个或多个其他通信终端13或至服务器12的通信通道，并通过通信通道向其传送内容。
通常，通信终端13和/或其客户端缩放软件15可以打开与一个或多个其他通信终端13或服务器12通信的通信通道，并通过通信通道接收内容。
通常，服务器12和/或其服务器缩放软件16可以打开与一个或多个通信终端13通信的通信通道，通常响应于来自通信终端13的请求，以接收来自发射器通信终端13或另一个服务器12的内容，和/或以将内容传送至接收器通信终端13中或另一个服务器12。在典型的通道中，第一通信终端13创建内容并将内容传送至第一服务器12，第一服务器12将内容传送至一个或多个其他服务器12，其他服务器12将内容传送至一个或多个接收器通信终端13。
视频缩放系统10的服务器可以采用便携式服务器17的形式。便携式服务器17可以在诸如智能电话等任何类型的便携式计算机和/或通信设备中操作。便携式服务器17可以以作为云计算服务器的一部分的常规服务器12来操作，或除了云计算服务器外，作为辅助通信层来操作，与不具有远程通信能力的内容输入/输出设备共同定位。便携式服务器17可以由用户携带或由用户佩戴(例如可穿戴计算机)。
例如，如图1所示，由附图标记18指示的终端13(例如，手持相机、头盔式相机、车载相机(未图示)等)可以与使用诸如蓝牙、Wi-Fi等的短程通信网络搭配的便携式服务器17通信。然后，便携式服务器17可以通过蜂窝网络与服务器12通信。应当理解，便携式服务器17可以执行客户端缩放软件15和服务器缩放软件16。
在通信终端13和服务器12之间传送的内容通常被认为是多媒体内容，因为它可以包括两个或多个媒体。这些不同的媒体可以是相同内容类型的或不同内容类型的，例如，声音、谈话、图像、图片、视频、文本、图形、动画、数据、元数据、控制信息、会话信息等。
诸如通信终端13和服务器12等视频缩放系统10的每个实体，可以存储或保存由视频缩放系统10传送的任何内容或信息的任何部分。
诸如通信终端13和服务器12等视频缩放系统10的每个实体，可以缩放由视频缩放系统10传送的视频内容的任何部分。当在通信终端13和服务器12之间传送内容和/或信息时，可以针对该内容和/或信息“在线”或者实时地进行这种缩放。或者，可以对任何通信终端13和服务器12存储或保存的内容和/或消息，进行“离线”缩放或以批处理模式进行缩放。可以由一个实体对由另一个实体存储或保存的内容和/或信息进行这种缩放，或者与另一实体合作执行这种缩放，其中每个实体执行缩放处理的不同部分。
就此而言，视频缩放系统10的每个实体可以包括缩放设施19，例如，作为由视频缩放系统10的各自的网络实体的处理器执行的软件程序。
现在参照附图2，图2是根据一个示例性实施例的计算系统20的简化框图。作为选择，可以在前面或后面的附图的细节的上下文中看待图2的框图。然而，当然也可以在任何期望的环境的上下文中看待图2的框图。另外，上述定义同样适用于下面的说明。
计算系统20的框图可以表示用于执行客户端缩放软件15和/或服务器缩放软件16和/或视频缩放软件程序19或任何其他类型的软件程序的设备的一般示例。为此，计算系统20可以表示通信终端13和/或服务器12和/或便携式服务器17。
术语“计算系统”或“计算装置”涉及计算装置或与计算相关的单元的任何类型或组合，其包括但不限于处理装置、记忆装置、存储装置和/或通讯装置。
如图2所示，计算系统20可以包括至少一个处理器单元21、一个或多个记忆单元22(例如，随机存取存储器(RAM)、诸如闪存等非易失性存储器等)、一个或多个存储单元23(例如，包括硬盘驱动器和/或可移动存储驱动器，表示软盘驱动器、磁带驱动器、光盘驱动器、闪存装置等)。计算系统20还可以包括一个或多个通信单元24、一个或多个图形处理器25和显示器26、多种用户输入和输出(I/O)装置27、以及连接上述单元的一个或多个通信总线28。计算系统20可以由包括电池的电源29供电。
计算系统20还可以包括成像传感器30，成像传感器30被配置为创建静止图片、静止图片序列、视频剪辑或流、3D图像、热(例如IR)图像、立体摄像和/或任何其他类型的图像数据及其组合。
计算系统20还可以包括存储在任何记忆单元22和/或存储单元23中的一个或多个计算机程序31或计算机控制逻辑算法。这种计算机程序在被执行时，能够使计算系统20执行各种功能(例如，如图1的上下文中所述的等)。记忆单元22和/或存储单元23和/或任何其他存储器是有形的计算机可读介质的可行示例。
特别地，计算机程序31可以包括客户端缩放软件15和/或服务器缩放软件16和/或视频缩放软件19。计算机程序31还可以或可选地包括发射器通信软件和/或接收器通信软件或模块。计算机程序31还可以或可选地包括多媒体文件处理软件或模块。任何上述软件或模块可以以硬件模块或单元的形式实现。
通信单元24可以支持一种或多种类型的通信技术，例如，短程通信(例如，PAN，诸如USB、Wi-Fi、蓝牙等)或远程通信(例如，以太网、IP、蜂窝、WiMAX等)，无论是有线的还是无线的。就此而言，计算系统20和/或通信单元24可以包括用户身份识别模块(SIM)或类似的装置。
现在参照附图3，图3是根据一个示例性实施例的流式多媒体32的简化框图。
作为选择，可以在前面或后面的附图的细节的上下文中看待图3的框图。然而，当然也可以在任何期望环境的上下文中看待图3的框图。另外，上述定义同样适用于下面的说明。
术语“流式多媒体”可以指例如通常通过一个或多个服务器由发射器发送到接收器的流文件或信息。图3的框图可以被认为是随着时间从发射器发送到接收器的流式多媒体32的数据元素33的结构的描述，其中右侧元素33及时跟随左侧元素33。流式多媒体32的元素按时间从左(早)到右(晚)、从上至下排序。
本文所述的流式多媒体32可以由任何类型的通信技术承载，例如，作为或在ISOOSI网络模型的应用层中。例如，流式多媒体32可以通过互联网协议(IP)来传送，例如，使用TCP、UDP和/或RTP。例如，图3的流式多媒体32可以支持TCP上的RTP。
如图3所示，流式多媒体32可以包括多个元素33，多个元素33包括根据示例性实施例的通信协议的控制信息、数据和各种类型的媒体。例如，数据元素33可以在诸如数据包交换通信技术等中体现为通信数据包。在图3的示例中，这种元素33可以是指定类型的控制信息、数据和媒体：
“CC”表示描述流的配置控制数据包。
“CMS”表示指定连续轨迹的媒体移位控制数据包。
“V”表示视频数据包。
“ZI”表示缩放信息数据包。
“A”表示音频数据包。
“P”表示图片数据包。
“CT”表示控制文本数据包。
“CGEO”表示控制定位数据包。
“A1”和“A2”可以表示两个不同的音频通道，如立体声。“V1”和“V2”可以表示两个不同的视频通道，例如，来自两个相机，如立体相机或智能手机、智能手表的前置相机和后置(自拍)相机、和/或腕戴式相机。也可以是其他类型的媒体，如图形和动画。CGEO 34是载有任何类型的数据的数据包的示例，例如从诸如GPS、加速度计、陀螺仪、重力计、指南针等传感器得到的测量值、计量生物学数据、时序信息(例如唇形同步)、元数据等。
“CC”和“CMS”是控制数据包的类型的示例，通常包含控制信息。“CC”或配置控制数据包是通常包括流中的媒体元素的类型的描述的数据元素33。通常，提供CC元素作为会话或信息的数据头。然后，CMS元素可以用于移除、添加、改变和/或代替跟随CMS元素的媒体元素的类型。
在如图3所示的流式多媒体32的示例中，流式多媒体32包括音频流A、视频流V、多个图片P和多个文本组件CT。例如，文本组件可以是信息(例如，如在即时消息中)、字幕、评论等。各种元素33可以是相关的和/或同步的。各种元素33可以在时间和/或空间上相关和/或同步。
例如，音频流和视频流是相关的，使得它们能够以同步的方式提供或显示给用户。文本组件可以与视频或图片元素相关联，使得它们能够通过正确的图像显示给用户。
由附图标记35指定的CMS元素将例如第二音频流A2和第二视频流V2以及位置数据CGEO添加到流式多媒体32。
缩放信息数据包36可以包括关于与特定视频数据包或者通常跟随缩放信息数据包的多个视频数据包相关联的缩放效果的数据。特别地，缩放信息数据包36可以包括关联不同视频流(例如，V1和V2)的两个以上元素33的数据。可以理解，缩放信息数据包36的内容(数据)是可替代地或者可选地包含在各个视频流(例如，V1和V2)的各个通信元素33中。
可以理解，流式多媒体32可以作为单个多媒体内容文件存储或传输，其中，单个多媒体内容文件包括内容类型的任何组合和/或媒体流的任何组合和/或任何数量的内容类型和/或媒体流。媒体流和/或内容类型的特定组合或配置通常由CC元素指定，并能够由CMS元素修改。然后，媒体流和/或内容类型在流式多媒体内容32内作为一系列的元素33被复用。
元素33可以包括数据头部分和有效负载部分。数据头部分可以包含诸如源ID、类型指示符、时序标记、序列号、有效负载数量等参数。
源ID可以唯一地标识发起、创建和/或产生有效负载部分中所包含的数据或内容的装置。
类型指示符可以指示有效负载部分中所包含的数据或内容的类型，如音频、视频、图片、控制等。
时序标记可以指示特定元素的创建时间。时序标记可以是绝对的(例如GMT)或相对的。相对的时序标记可以指多媒体文件32的开端，或者相对于多媒体文件中的特定流(例如，A1、V2等)的开端，或相对于最后的(最近的)CC或CMS元素等。
序列号可以指示关于多媒体文件内的特定流(例如，A1元素流、V2元素流等)的开端的特定元素的数量，或者相对于最后的(最近的)CC或CMS元素等。
有效负载数量可以指示有效负载部分中包含多少有效负载，例如以比特、字节、秒、帧等为单位。有效负载部分可以包含通常与在数据头部分中指示的类型相关的数据和/或内容。有效负载数量和/或有效负载部分的大小可以是可变的。在这方面，多媒体文件32中的每种类型的媒体和/或每种媒体流可以具有不同的和/或特定大小的有效负载部分。然而，通常或可选地，特定类型的元素可以跟随特定的CMS元素(或者在CMS元素之间)具有相同的有效负载大小。
可以理解，多媒体文件32的结构以及元素33的结构能够有效地随机访问多媒体文件32内的每个和任何元素33。特别地，多媒体文件32的结构以及元素33的结构能够有效地直接访问多媒体文件32内的每个媒体流或媒体类型内的每个和任何元素33。例如，能够访问特定介质流或介质类型的特定元素33，而不必读取目标元素33之前的所有元素33或者甚至特定介质类型或流中的目标元素33之前的元素33。
应当理解，多媒体文件62内的每个流元素63可以严格地及时到达接收器。交叉存取的多媒体文件62可以容纳多个各自具有其自己的速率(流)的媒体。多媒体文件62的协议使得每个介质的元素63能够根据特定的介质的流速率(严格地)及时到达。在一些实施例中，由于网络的比特率可以改变，多媒体文件62的一个或多个媒体类型可以用与当前比特率兼容的另一种介质类型替换，使得元素63能够(严格地)按时到达。
应当理解，流式多媒体32的各种元素可以独立于流式多媒体32的特定配置地如上所述紧密和/或精确地关联和/或同步。在这方面，由流式多媒体32载有的任何组合和/或数量的类型可以紧密地和/或精确地关联和/或同步。
多媒体文件32及其元素33的结构可以进一步实现合并时钟或者关于合并时钟的各种媒体流及其元素33的时序或同步。通常诸如通过原始的发射器和/或源装置等在初始时提供合并时钟。因此，特定的多媒体文件32的合并时钟将各种源装置的时钟合并到单个的、同步的多媒体文件32中。因此，通过将它们各自的时钟合并至多媒体文件32的合并时钟，可以将媒体流提取和/或添加至多媒体文件32。
应当理解，流式多媒体32的内容或结构或配置可以在不关闭文件的情况下改变，而不会启动新文件的传送，并且不会影响流式多媒体32的元素之间的关联和/或同步。在保持流式多媒体32的元素之间的关联和/或同步的同时，可以提取、移除、添加、改变和/或替换内容类型。
因此，诸如接收者通信终端13和/或服务器12等接收器可以接收诸如流式多媒体32等单一数据流，并提取任何所选媒介的任何数量的元素33。因此，这种接收器可以将单一数据流分离(例如解复用)为多个媒体，同时保持流式多媒体32的元素33之间的关联和/或同步。
接收器和/或发射器和/或通信终端13和/或服务器12可以包括诸如流式文件处理模块或单元等模块或单元(包括硬件和/或软件)，根据示例性实施例的通信协议，流式文件处理模块或单元能够通过例如提取、添加、转换等流式多媒体文件的至少一个元素33来处理流式多媒体文件。
因此，诸如发射器通信终端13和/或服务器12的发射器可以实时地改变流式多媒体32内的媒体类型的配置(或组合)，同时例如通过插入CMS元素来传送流式多媒体32。CMS元素可以添加、移除或替换CMS元素之后的一个或多个媒体类型。可以使用任何数量的上述CMS元素。在CMS元素可以改变流式多媒体32的配置的同时，能够保持旧元素和新元素33之间的同步。
例如，如图3所示，第一CMS配置流式多媒体32载有音频通道A、视频通道V、图片P和文本T。由附图标记35指示的第二CMS通过添加第二音频通道、第二视频通道和位置数据来改变配置。由附图标记37指示的第三CMS通过移除音频通道和第二视频通道、插入文本通道(例如替换音频通道)和插入图片序列(例如替换视频通道)来改变流式多媒体32的配置。
因此，应当理解，多媒体文件32及其元素33的结构还能够使服务器与任何其他服务器或接收终端通信以从多媒体文件32内的任何点向用户提供多媒体文件32的任何部分，无论是单一流或流的组合。多媒体文件32的这一部分可以立即传送或提供，或者具有低延迟，同时保留文件或流的原始结构和/或格式。在这方面，如果元素33丢失和/或延迟和/或损坏，则从另外传送和/或提供给用户的数据中省略特定的缺失的元素33。
即使多媒体文件32的某些部分丢失或被剪切，或者多媒体文件32是从原始多媒体文件32的任意点传送的，多媒体文件32及其元素33也还能够使服务器和/或接收终端重建相同流和/或不同流的元素33之间的同步。
例如，可以通过在开端添加CC元素33从任意点传送或恢复多媒体文件32，其中CC元素适用于紧随其后的内容承载元素33的类型。此后，添加CMS元素33可以为其后的内容承载元素33添加新类型的内容。通常，通过各始发发射装置(例如，创建多媒体文件的装置)识别CC，反之亦然(特定的始发装置可以具有特定的恒定的CC)。因此，如果已知特定的多媒体文件的始发装置，则CC也是已知的，并且可以被添加在特定的多媒体文件的任何部分之前。
因此，例如，便携式服务器(例如，图1中的服务器17)可以接收由远程通信终端13创建的并经一个或多个服务器12通信的流式多媒体32。然后，便携式服务器17可以使用可用的输出装置(例如，智能手机、智能手表和智能眼镜)的任何组合向用户14提供流式多媒体32的内容，同时保持流式多媒体32的元素33之间的关联和/或同步。
类似地，便携式服务器17可以收集各种内容流和/或数据(例如，来自智能手机、智能手表和智能眼镜)、创建流式多媒体32，并通过一个或多个服务器12将流式多媒体32传送至任何数量的接收器通信终端。便携式服务器17可以实时地在流式多媒体32上多路复用所收集的内容或数据，从而保持流式多媒体32的元素33之间的关联和/或同步。
因此，存储在终端装置或服务器的存储设施中的流式多媒体文件32以及多媒体文件32的任何元素33可以通过多个参数来识别，例如：
发送装置、接收装置(或多个接收装置)。
发送内容和/或消息的人、接收和/或消费消息的人。
创建时间、传送时间、接收时间、消耗时间。
用于多媒体文件的每个组件(例如媒体)的源装置。
上述参数可以独立地应用于多媒体文件的每个元素33。
存储在视频缩放系统10的任何和所有实体(终端装置和服务器)中的流式多媒体文件32的集合创建了多媒体数据库。该多媒体数据库包括由视频缩放系统10处理的所有流式多媒体文件32，无论是由构成视频缩放系统10的任何实体(例如，终端装置和服务器)存储或传送的。
因此，当视频缩放软件19扫描多媒体数据库时，它可以扫描多媒体数据库中的流式多媒体文件32的任何和所有元素33。因此，视频缩放软件19可以独立地关联和/或分析任何成对的元素33。
现在参照附图4，图4是根据一个示例性实施例的由五帧视频流拍摄的景物的简化图。
作为选择，可以在前面或后面的附图的细节的上下文中看待图4。然而，当然也可以在任何期望的环境的上下文中看待图4。另外，上述定义同样适用于以下说明。
如图4所示，景物38包括在景物38内移动的对象39。视频流在五个位置中拍摄了对象39。图4示出了在相应的五个位置中拍摄对象39的视频流的五个帧40、41、42、43和44。帧40、41、42、43和44是根据它们各自的拍摄时间排序的。
现在参照图5，图5是显示根据一个示例性实施例利用对象指示器45拍摄的景物38的视频流的五帧的简化图。
作为选择，可以在前面或后面的附图的细节的上下文中看待图5。然而，当然也可以在任何期望的环境的上下文中看待图5。另外，上述定义同样适用于以下说明。
如图5所示，对象39在显示器周围“跳跃”，并且因此，显示的图像被认为是“不稳定的”。然而，视频缩放软件程序19识别对象39，并且因此视频缩放软件程序19可以利用对应的指示器45标记对象39，将对象39识别为识别对象。
图5示出了指示器45作为围绕对象39的矩形的示例性实施例。然而，可以使用诸如重轮廓线、伪色(false color)等其他类型的视觉上的指示器。
识别对象39的视频缩放软件程序19可以由发射器通信终端13的处理器和/或接收器通信终端13的处理器和/或由在发射器通信终端13和接收器通信终端13之间的服务器12的处理器来执行。
特别地，参照由发射器通信终端13和/或服务器12执行的视频缩放软件程序19，可以将指示器45插入至通常具有缩放信息数据包36的有效负载的流式多媒体32中。(应当理解，缩放信息数据包36的内容(数据)可以是可替代地或可选地包含在各个视频流的各自的通信元素33中)。
如果对象39由位于发射器通信终端13的下游的诸如服务器12或接收器通信终端13等网络实体确定为识别对象，则该网络实体可以将该信息发布给其他涉及的实体，例如其他服务器12和/或其他接收器通信终端13和/或其他发射器通信终端13。这种更新过程可以采用带有相应的指示器45的并与它们各自的视频数据包(33)相关联的缩放信息数据包36的流。
应当理解，诸如帧40、41、42、43和44等一帧可以包括任何数量的对象39和各自的指示器45。应当理解，缩放信息数据包36可以包括任何数量的指示器45。应当理解，通信终端13可以显示任何数量的指示器45。
通信终端13的用户可以选择一个或多个识别的对象39(由各自的指示器45限定的)，以形成所选的图像对象。应当理解，包括帧40、41、42、43和44中的任何帧的视频流以及对象39和相应的指示器45可以显示在发射器通信终端13和/或接收器终端13中的任一个或两者的显示屏上，并且因此，用户可以使用发射器通信终端13和/或接收器终端13中的任何一个的用户界面(例如定点装置或触敏屏幕显示器)进行选择。
应当理解，缩放信息数据包36可以包括任何数量的指示器45。应当理解，通信终端13可以显示任何数量的指示器45。并且，所选的对象可以包括任何数量的指示器45和/或各自的对象39。
为了形成所选的对象，(发射器通信终端13和/或接收器终端13的)用户例如可以在所显示的识别对象39上或其各自的指示器45上点击或轻敲。用户可以在多个所显示的识别对象39(或它们各自的指示器45)上轻敲，以形成组合了所选的多个识别对象39的所选对象。
在选择一个或多个识别的对象39以形成所选对象之后，发射器通信终端13和/或接收器终端13的用户可以确定所选对象所需的大小。通常，所选对象的大小被确定为使用的发送器通信终端13和/或接收器终端13的屏幕显示的分数(百分比)。通常，使用缩放用户界面来确定所选对象的大小，例如拉动所显示的图像(例如所显示的所选对象)的至少一个角或类似的操作。
现在参照图6，图6是根据一个示例性实施例在缩放操作之后所显示的图4和图5的五帧的图。
作为选择，可以在前面或后面的附图的细节的上下文中看待图6。然而，当然也可以在任何期望的环境的上下文中看待图6。另外，上述定义同样适用于以下说明。
图6包括所显示的视频流的五帧(由附图标记46、47、48、49和50来标记)，对应于图4和/或图5的帧40、41、42、43和44。帧46、47、48、49和50包括所选的对象51。
如图6所示，视频缩放系统10和/或视频缩放软件程序19可以显示所选对象51，同时保持由用户确定的所选对象51的大小。例如，帧46、47、48、49和50包括以相同尺寸显示的所选的对象51。
另外或可选地，视频缩放系统10和/或视频缩放软件程序19可以显示所选对象51，同时保持所选对象51在屏幕显示器中的位置。特别地，如图6所示，视频缩放系统10和/或视频缩放软件程序19可以通过将所显示的所选对象51的中心定位在屏幕显示器的中心(或者在小于显示屏幕的显示区域的中心)来保持所选对象51的位置。
如图6所示，屏幕显示的剩余部分可以包括围绕所选对象的视频流的视频图像。
现在参照图7，图7是根据一个示例性实施例在缩放操作之后所显示的包括多个所选识别对象39的所选对象的五帧的图。
作为选择，可以在前面或后面的附图的细节的上下文中看待图7。然而，当然也可以在任何期望的环境的上下文中看待图7。另外，上述定义同样适用于以下说明。
如图7所示，所选对象52可以包括多个所选识别对象39。多个所选识别对象39可以在各个方向上移动，因此，它们各自的大小以及它们之间的距离可以变化。因此，所选对象的形状和/或面积可以改变。
如图7所示，视频缩放系统10和/或视频缩放软件程序19可以将所选对象52的中心53保持在屏幕显示的中心(或者在小于显示屏幕的显示区域的中心)内。
另外，视频缩放系统10和/或视频缩放软件程序19可以保持所选对象52的大小，例如，其中所选对象52的至少一个维度在相对于屏幕显示的相关联的至少一个维度上被限制。例如，可以通过保持多个感兴趣区域之间的距离来保持大小。例如，可以通过保持多个感兴趣区域的平均中心的位置来实现保持所选对象的中心的位置。
例如，可以选择需要显示区域54的所选对象52的缩放视图，其具有与屏幕显示器55的形状不同的形状，和/或其面积小于屏幕显示器55的面积。所选的缩放视图还可以确定所选对象52的面积和显示区域54的面积之间的特定的比率。此后，由于识别对象39之间的关系可以改变，视频缩放系统10和/或视频缩放软件程序19可以调整显示区域54的形状，例如，通过使其最大化。因此，视频缩放系统10和/或视频缩放软件程序19可以调整所显示的所选对象52的形状以保持所选对象52的大小，例如，通过调整所选对象52的面积以达到相对于显示区域54的所需的比率。
应当理解，可以使用与屏幕显示器55和/或显示区域54和/或所选对象52和/或多个识别对象39相关联的任何类型的参数和任何数量的参数，来计算并确定如何保持所选对象的所选尺寸，以及如何保持所述多个感兴趣区域之间的尺寸或距离。
应当理解，可以使用与屏幕显示器55和/或显示区域54和/或所选对象52和/或多个识别对象39相关联的任何类型的参数和任何数量的参数来计算并确定如何保持所选对象的中心的位置，以及如何保持多个感兴趣区域的中心的位置。
因此，为了保持所选对象的大小和/或位置，视频缩放系统10和/或视频缩放软件程序19可以裁剪围绕所选对象52的视频流或图像，以使其适应显示区域54的形状和/或大小。
或者，视频缩放系统10和/或视频缩放软件程序19可以缩小围绕所选对象52的视频流或图像，以适应显示区域54的形状和/或大小。例如，缩小可以改变图像的长宽比，使得与所选对象52水平而置的图像看起来比实际更薄，并且垂直于所选对象52而置的图像看起来比实际更短(和/或更宽)。
或者，视频缩放系统10和/或视频缩放软件程序19可以通过如使用鱼眼镜头所见的那样的非线性转换来调整围绕所选对象52的视频流或图像，以适应显示区域54的形状和/或大小。非线性模式可以逐渐改变在围绕所选对象52的区域中的图像的长宽比，使得越靠近所选对象52的图像受到的影响越小，并且远离所选对象52的图像受到的影响越多。因此，视频缩放系统10和/或视频缩放软件程序19可以将视频流分成(或分离)为两个视频流。在图3中，示出了包括所选对象52的第一或核心视频流56，以及包括所选对象52周围的区域的第二或环绕视频流57。
因此，视频缩放系统10和/或视频缩放软件程序19可以创建包括由相机或任何类型的成像设备拍摄的图像的两个或多个视频流。可以理解，可以存在多个核心视频流和一个环绕视频流。
应当理解，环绕视频流可以仅包括所拍摄的除去核心视频流中包括的成像之外的成像。或者(或可选地)，环绕视频流可以包括所拍摄的整个成像，但是其质量低于核心视频流。或者(或可选地)，环绕视频流可以包括所拍摄的除去核心视频流中包括的成像之外的成像，并例如以低于各自的核心视频流的质量包括核心视频流中包括的成像的任何组件。
第一或核心视频流和第二或环绕视频流可以被包括在诸如参照图3所示和描述的等单一的多媒体文件中。核心视频流和环绕视频流可以在多媒体文件中与它们各自的缩放信息数据包36交叉存取。
应当理解，视频缩放系统10和/或视频缩放软件程序19通常可以在同一屏幕显示器上同时显示第一或核心视频流以及第二或环绕视频流。
通常，核心视频流的通信元素(例如，图3中的元素33)可以在时间上和/或空间上与环绕视频流的通信元素相关联。可以在与视频元素通信的缩放信息数据包36中设置这种关联。在这方面，单个的缩放信息数据包36可以为核心视频流和环绕视频流的一对通信元素服务。
应当理解，使用由屏幕显示器提供的最高分辨率显示所选对象52是有利的。另一方面，围绕所选对象52的图像可以被裁剪、缩小或非线性转换，并且因此，可以以低于拍摄的分辨率显示。因此，发射器通信终端13可以对所选对象52和围绕所选对象52的图像使用不同的分辨率和/或不同的压缩。特别地，核心视频流(包含所选对象52)可以具有相对高质量的视频，并且环绕视频流(包括围绕所选对象52的图像)可以具有相对低质量的视频。
术语“质量”可以指任何参数或参数的组合，如分辨率水平、像素数量、像素密度、颜色深度、压缩水平、方法或损失、帧速率等。
环绕视频流可以包含拍摄的整个视频流，并以相对低质量的方式进行通信。环绕视频流的质量可以根据显示参数和/或网络参数来调整。例如，显示参数可以包括屏幕显示的区域大小或分配用于显示环绕视频流的显示区域。例如，显示参数可以包括分配用于显示环绕视频流的屏幕显示的规格，例如，分辨率、颜色深度、长宽比、像素个数等。例如，网络参数可以包括网络带宽。
应当理解，通过创建集中在(一个或多个)感兴趣对象上的一个(或多个)核心视频流，通过使环绕视频流的形状适应显示设备的大小和其他参数，并且通过调节或降低环绕视频流、视频缩放系统10和/或视频缩放软件程序19的质量，可以优化发射器和接收器之间的通信网络的带宽的使用。这种优化可以创建在通信网络或在发射器终端设备和接收器终端设备之间的任何发射器和接收器之间的任何部分或分支中。
因此，将用户对感兴趣区域的选择从接收器设备传送至发射器设备在优化发射器和接收器之间的网络带宽的使用方面是有用的。
将用户对感兴趣区域的选择从接收器设备传送至发射器设备在优化发射器和接收器之间的网络带宽的使用方面是有用的。
因此，如果涉及多个接收器用户，可以将多个感兴趣区域传送至发射器设备的上游，从而产生多个核心视频流和一个(或多个)环绕视频流。
现在参照附图8，图8是根据一个示例性实施例的包括可穿戴相机和便携式服务器的通信通道的简化图。
作为选择，可以在前面或后面的附图的细节的上下文中看待图8。然而，当然也可以在任何期望的环境的上下文中看待图8。另外，上述定义同样适用于以下说明。
如图8所示，通信通道58可以包括例如以安装在腕带上的相机60或头戴式相机61的形式的可穿戴相机59。可穿戴相机59可以被视为发射器通信终端13。
通信通道58还可以包括例如以智能手机或平板电脑62或智能手表63(例如，如果配备有SIM卡)的形式的便携式服务器17。智能手表63还可以用作诸如智能手机或平板电脑62等便携式服务器17的显示设备和/或用户输入设备。
如图8所示，可穿戴相机59(例如，安装在腕带上的相机60)可以将视频流发送至便携式服务器17(例如，智能手机62)，其可以检测到一个或多个感兴趣区域并发送相应的指示器45。然后，便携式服务器17(例如，智能手机62)可以在智能手表63上显示由可穿戴相机59拍摄的视频流以及指示器45。然后，用户64可以选择一个或多个对象39，创建所选对象并将选择传送至智能手机62(便携式服务器17)。
然后，便携式服务器17(例如智能手机62)可以根据由用户64确定的所选对象将从可穿戴相机59接收的视频流划分(或分离)成两个或者多个视频流。例如，可以将一对视频流(包括针对所选对象的核心视频流和针对围绕所选对象的图像的第二视频流)发送至智能手表63，并且可以将另一对视频流发送至接收者通信设备65。
可选地或可替代地，服务器12可以进一步使核心和/或环绕视频流适应接收者通信设备65的大小和/或分辨率规范。服务器12还可以分析视频流，在接收者通信设备65上显示指示器45，从接收者通信设备65接收所选对象，并向接收者通信设备65传送适合于由接收者通信设备65的用户所确定的所选对象的不同对的视频流。
现代的相机可以具有比诸如智能手机或智能手表的显示器等便携式显示器更多的像素。因此，相机可以使用诸如鱼眼镜头等非线性镜头以拍摄广角图像。然后，相机或与相机关联的发射器通信终端13或与相机关联的便携式服务器17或服务器12可以确定一个或多个感兴趣区域，并向用户显示各自的指示器45。
然后，相机或上文列出的任何其他实体可以从用户接收感兴趣区域的选择或指示器45，并创建所选对象。然后，相机(或上文列出的任何其他实体)可以使所选对象的非线性图像线性化(例如转换为线性模式)。期望线性模式的所选对象的分辨率可以匹配或超出显示设备的分辨率(尽管是非线性拍摄的图像)。
围绕所选对象的图像也可以以非线性模式显示，或者也能够转换为线性模式，然后被裁剪以适合屏幕显示。
线性和/或非线性、空间压缩的压缩类型和/或参数和/或函数和/或算法可以从发射器或提供压缩的任何其他实体传送至接收器或提供解压的任何其他实体。然后，接收者实体可以使用压缩类型和/或参数和/或函数和/或算法提供解压。
例如，压缩类型、参数、函数和/或算法可以在流式多媒体文件32的缩放信息元素36中或作为其一部分进行传送。可以理解，这种特定的压缩类型、参数、函数和/或算法可以与一个或多个特定的内容元素33相关联。
可以理解，这种特定的压缩类型、参数、函数和/或算法可以沿着特定的流式多媒体文件32改变。可以理解，设置在相关联的缩放信息元素36中的这种压缩及其相关数据(压缩类型、参数、函数和/或算法)可以通过任何服务器和/或发射器沿着初始发射器和特定接收器之间的通信通道增加、改变、移除等。
可以理解，相机分辨率可以显著变化，并且显示分辨率也可以变化。相机长宽比也会变化，显示器长宽比也会变化。可以理解，预计这种变化持续增长，将导致相机和显示器之间的不兼容性增强，特别是对于可穿戴相机和便携式显示设备。因此，有利的是，传送图像信息(尤其是易于适应显示设备的特性的视频流)，充分利用显示区域，提供高质量的图像，并且还适应中间通信网络的可用的通信带宽。
使用本文中所示和所述的视频缩放系统10的设施，相机或发射器通信终端13或便携式服务器17或中间服务器12可以将拍摄的视频流划分(或分离)成两个或者多个视频流。核心类型的视频流可以集中每个(或多个)识别的对象(例如对象39)，环绕类型的视频流可以包含围绕识别的对象的图像。如参照图3所述和所示，多个视频流可以作为交叉的多媒体流或文件传送，通常包括各自的缩放信息数据包36。
通常，核心类型的视频流可以以相对高的质量传送，环绕类型的视频流可以以相对低的质量传送，例如，以节省网络带宽。例如，环绕类型的视频流可以以非线性模式传送。环绕类型的视频流可以包含以相对低质量和/或非线性的模式传送、适应可用的网络带宽的所拍摄的整个视频流。
因此，接收器通信终端13或接收器便携式服务器17或中间服务器12可以创建和/或向用户显示一个或多个指示器45，并接收用户选择的一个或多个指示器45。
此后，接收器通信终端13或接收器便携式服务器17或中间服务器12可以组合包括按照由用户选择的指示器45的第一(核心)类型视频流的内容的第一(可显示的)视频流以及包括来自第二(环绕)类型视频流的内容和未选择的第一(核心)类型视频流(围绕用户选择的指示器45)的内容的第二(可显示的)视频流。
接收器便携式服务器17或中间服务器12可以将第一和第二(可显示的)视频流传送至接收器通信终端13作为交叉的多媒体流或文件。
此后，接收器通信终端13或接收器便携式服务器17或中间服务器12可以组合显示内容，以在特定的屏幕显示器上显示，其中第二(可显示的)视频流适应于特定的屏幕显示器的特征(例如，大小、像素的个数和分辨率)。
现在参照图9A和图9B，图9A是根据一个示例性实施例的图5中的图像41的景物的线性模式显示的简化图，图9B是图5中的图像41的景物的非线性模式显示的简化图。
作为选择，可以在前面的附图的细节的上下文中看待图9A和图9B。然而，当然也可以在任何期望的环境的上下文中看待图9A和图9B。另外，上述定义同样适用于以下说明。
第二(可显示的)视频流可以包括线性模式的成像，并且可以被剪裁以适应特定的屏幕显示器的大小。例如，线性模式压缩。
图9A示出了水平线性压缩的图5中的图像41的景物。图9A的图像的中心部分(核心图像)可以处于放大模式(扩大)，同时环绕部分(在核心图像的两侧)可以以线性的方式在空间上被水平压缩。如上所述，核心图像部分和环绕图像部分可以作为两个交叉的流传送。
以线性方式对图像的整个环绕部分的压缩是恒定的。如上所述，核心图像部分和环绕图像部分可以作为两个交叉的流传送。
应当理解，提供的图9A的线性水平压缩是作为简单的视觉上的示例，可以以各种和/或所有方向和方式实现类似于线性水平压缩的空间压缩。
图9B示出了非线性水平压缩的图5中的图像41的景物。图9B中的图像的中心部分(核心图像)可以处于放大模式(扩大)，同时环绕部分(在核心图像的两侧)可以以非线性的方式在空间上被水平压缩。
以非线性方式的压缩可以随着距离核心图像的距离而增加。如上所述，核心图像部分和环绕图像部分可以作为两个交叉的流传送。
应当理解，提供的图9B的非线性水平压缩是作为简单的视觉上的示例，可以以各种和/或所有方向和方式实现类似于非线性水平压缩的空间压缩。
或者，第二(可显示的)视频流可以包括和显示适配于适应特定的屏幕显示器的大小的非线性模式的成像。
第二(可显示的)视频流可以包括非线性模式的成像，并且可以转换成线性模式，然后被剪裁以适应特定的屏幕显示器的大小。
第二(可显示的)视频流可以包括线性模式的成像，并且可以转换成非线性模式以适应特定的屏幕显示器的大小。
应当理解，围绕所选对象的区域的非线性显示可以在不同方向上具有不同的非线性(或压缩)。例如，用户从拍摄的初始图像的中心向左平移可以导致在所选对象的右侧显示的图像的压缩增加，同时在所选对象的左侧显示的图像的压缩可以减少。
或者，接收器通信终端13或接收器便携式服务器17或中间服务器12可以自动假设用户已经选择视频图像的中心部分作为感兴趣区域，并创建包括两部分的可显示的图像。以线性模式显示的中心部分通常保持相机的原始长宽比。包括剩余的显示部分的第二部分以非线性模式显示。非线性模式通常压缩图像(空间上和/或径向地)，其中压缩随着距显示器的中心的距离而增加。通常压缩第二部分的边缘以适应屏幕显示器区域的剩余部分。
如果观看图像的用户平移或滚动图像，将不失真地显示(例如以线性模式)位于显示器的中心或平移/滚动的方向上的图像的部分。
应当理解，视频缩放系统10和/或缩放软件15和/或16可以通过通信网络实现分开的面向对象的缩放。例如，接收器用户和/或接收器终端可以指示(或指导或发指令)至发射终端和/或拍摄图像的相机，以将图像分成一个或多个感兴趣的区域和环绕图像(如上所述)。
可以理解，视频缩放系统10和/或缩放软件15和/或16可以通过网络实现面向对象的缩放分别传送。例如，发射终端和/或拍摄图像的相机可以将每个感兴趣区域作为独立的视频(内容、媒体)流(例如，核心流)传送，并且将环绕图像作为另一个独立的视频(内容、媒体)流传送。以这种方式将拍摄的原始图像或视频流在空间上分成两个(或多个)独立的图像或视频流。
另外和/或可选地，两个或多个视频流以交叉的方式在统一标准的文件中传送，其中不同流的流元素在时间上和/或空间上相关联。视频缩放系统10和/或缩放软件15和/或16可以传送包括多个交叉的内容流的流式多媒体文件32，其中一些内容流(例如核心流)各自带有一个感兴趣区域，并且另一内容流带有环绕图像或视频(如上所述)。各种交叉流的流元素至少在时间上和/或空间上关联和/或同步。
应当理解，视频缩放系统10和/或缩放软件15和/或16可以使用分为一个或多个感兴趣区域的图像和环绕图像，通过将更高的带宽(更多的每秒位数)分配给带有感兴趣区域的(核心)流以更好地利用可用的带宽，并通过将较低的带宽(较少的每秒位数)分配给带有环绕图像的流以补偿带宽。
在这层意义上，可以使用分割缩放(指向发射器的接收器)和分割通信(以交叉的方式通信、具有空间上和/或时间上关联的通信元素的两个独立的流)提供更高的带宽效率。
可以理解，视频缩放系统10和/或缩放软件15和/或16可以使用分割为一个或多个感兴趣区域的图像和环绕图像以更好地利用可用的带宽。例如，这可以通过对感兴趣区域使用无损耗(或降低损耗的)的压缩来完成，并且通过对环绕图像使用有损耗的或增大的压缩来补偿带宽。
在这层意义上，可以使用分割缩放(指向发射器的接收器)和分割通信(以交叉的方式通信、具有空间上和/或时间上关联的通信元素的两个以上独立的流)提供提高观感的图像质量，例如，通过使用不同的压缩技术(例如，有损耗的和无损耗的)。
应当理解，视频缩放系统10和/或缩放软件15和/或16可以使用分割为一个或多个感兴趣区域的图像和环绕图像以更好地利用诸如分辨率、颜色深度等可用的相机参数。例如，这可以通过分配更多的像素至感兴趣区域来完成，并通过分配较少的像素至环绕图像来补偿带宽。另外，这可以通过分配较高的颜色深度至感兴趣区域来完成，并通过分配较低的颜色深度至环绕图像来补偿带宽。
在这层意义上，可以使用分割缩放(指向发射器的接收器)和分割通信(以交叉的方式通信、具有空间上和/或时间上相关联的通信元素的两个独立的流)提供提高观感的图像质量，例如，通过使用诸如分辨率、颜色深度等不同的相机参数。
应当理解，视频缩放系统10和/或缩放软件15和/或16可以使用分割为一个或多个感兴趣区域的图像和环绕图像以更好地利用可用的带宽。例如，这可以通过调整环绕图像或带有环绕图像的流以适应接收器终端的参数(特别是适应接收器终端的接收器屏幕显示器的参数)来完成的。另外，这还可以通过根据接收器屏幕显示器的性能减小图像的大小或分辨率或颜色深度来完成。
应当理解，视频缩放系统10和/或缩放软件15和/或16还可以使用所拍摄的视频流的非线性转换。例如，可以通过在空间上压缩周边区域(远离感兴趣区域)而不是紧密围绕感兴趣区域的区域来完成(例如像鱼眼一样)。例如，因此，这可以导致带宽需求的减小。
应当理解，视频缩放系统10和/或缩放软件15和/或16可以将线性模式的视频部分(例如感兴趣区域)作为第一(核心)视频流传送，将非线性模式的视频部分作为第二视频流传送。例如，各种交叉的流的流元素可以至少在时间上和/或空间上相关联和/或同步。
应当理解，视频缩放系统10和/或缩放软件15和/或16可以使用至少一个通信元素来提供由单个交叉的多媒体文件所包含的不同的流的通信元素之间的关联。
尽管上文结合了具体的实施例进行说明，但显然有许多替代选择、改变和变化对本领域技术人员而言是显而易见的。因此，旨在涵盖落入所附的权利要求书的实质和广泛的保护范围内的所有这种替代选择、改变和变化。应当理解，本发明并不必然限制应用于在以下说明书所述的和/或附图和/或示例中所示的构造和组件的布置和/或方法的细节。本发明能够具有其他实施例或以各种方法实践或实施。
本发明可以是一种系统、一种方法和/或一种计算机程序产品。这种计算机程序产品可以包括计算机可读存储介质(或媒介)，其上具有计算机可读程序指令以使处理器执行本发明的各方面。
计算机可读存储介质能够保留和存储供指令执行设备使用的指令的有形的设备。例如，计算机可读存储介质可以是但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述设备的任何合适的组合。计算机可读存储介质的更具体的示例的非详尽列表包括以下内容：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒、软盘、诸如打孔卡或其上记录有指令的凹槽中的凸起结构等机械编码设备、以及前述设备的任何合适的组合。此处使用的计算机可读存储介质本质上不应被解释为瞬变信号，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质(例如，通过光纤电缆的光脉冲)传播的电磁波、或通过电线传播的电信号。
此处描述的计算机可读程序指令可以是从计算机可读存储介质下载至各自的计算/处理设备，或通过例如互联网、局域网、广域网和/或无线网的网络下载至外部计算机或外部存储设备。网络可以包括铜传输光缆、光传输光缆、无线传输、路由器、防火墙、交换机、网间连接计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口接收来自网络的计算机可读程序指令，并转发该计算机可读程序指令用于存储在各自的计算/处理设备中的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或以一种或多种编程语言(包括诸如Smalltalk、C++等面向对象的编程语言和诸如“C”编程语言或类似的编程语言等传统的程序编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可以作为独立的软件数据包完全在用户的计算机上执行、部分在用户的计算机上执行、部分在用户的计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至用户的计算机，或者可以连接至外部计算机(例如，通过网络使用互联网服务提供商)。在一些实施例中，例如包括编程逻辑电路、现场可编辑门阵列(FPGA)、或可编程逻辑阵列(PLA)的电子电路，可以通过利用计算机可读程序指令的状态信息而使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。
在此，参照根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来说明本发明的各方面。应当理解，可以通过计算机可读程序指令来执行流程图和/或框图的每一步以及流程图和/或框图中步骤的组合。
将这些计算机可读程序指令提供至通用计算机、专用计算机或其他可编程数据处理装置的处理器，以生产机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令创建用于执行在流程图和/或框图模块中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在能够指示计算机、可编程数据处理装置和/或其他以特定方式运行的设备的计算机可读存储介质中，使得其中存储有指令的计算机可读存储介质具有包括执行在流程图和/或框图模块中指定的功能/动作的各方面的指令的产品。
计算机可读程序指令还可以被加载至计算机、其他可编程数据处理装置或其他设备，以产生在计算机、其他可编程数据处理装置或其他设备上执行的一系列操作步骤，以产生计算机执行的过程，使得在计算机、其他可编程数据处理装置或其他设备上执行的指令执行在流程图和/或框图块中指定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品能够执行的架构、功能和操作。就这一点而言，流程图或框图中的每一模块可以表示包括用于实现指定的逻辑功能的一个或多个可执行的指令的软件模块、片段或一段代码。还应当指出，在一些可替代实施方式中，在模块中提到的功能可以不按附图中所示的顺序实现。例如，事实上，连续示出的两个模块可以基本上同时执行，或者有时模块可以以相反的顺序被执行，这取决于其所涉及的功能。还应当指出，框图和/或流程图的每个模块以及框图和/或流程图中的模块的组合可以由执行指定的功能或动作的专用的基于硬件的系统、或专用硬件和计算机指令的组合来执行。
本发明的各种实施例的描述旨在说明，而不是穷举或限制所公开的实施例。在不脱离所述实施例的实质和范围的情况下，本领域技术人员显然能够做出许多改变和变化。选择此处使用的术语是为了最好地解释实施例的原理、实际应用或对市场中发现的技术的技术改进，或为了使本领域普通技术人员能够理解本文公开的实施例。
预计在本申请的专利成熟期间，将开发许多相关客户端、目标服务、协议、通信网络、信息和票据，并且术语客户端、目标服务、协议、通信网络、信息和票据的范围旨在包括所有先验的新技术。
应当理解，为了清楚起见，在独立的实施例的上下文中所述的本发明的某些特征还可以以组合的形式在单一实施例中提供。相反，为了简洁起见，在单一实施例的上下文中所述的本发明的各种特征还可以单独地或以任何合适的子组合或合适地在本发明的任何其他所述的实施例中提供。在各种实施例的上下文中所述的某些特征不应认为是这些实施例的必要特征，除非该实施例在没有这些元素的情况下是无效的。
尽管已经结合其具体实施例描述了本发明，但显然有许多替代选择、改变和变化对本领域技术人员而言是显而易见的。因此，旨在涵盖落入所附权利要求的实质和宽范围内的所有这种替代选择、改变和变化。
优先权
本申请要求于2016年7月18日提交的名为“在多媒体信息中提供面向对象的缩放的系统和方法”的美国临时专利申请第62/363,699号的优先权，该美国临时专利申请的内容以引用的方式并入本文中。

Claims (55)

1.一种用于面向对象的缩放的由计算机执行的方法，该方法包括：
接收来自发射器的拍摄的视频流和在所述拍摄的视频流中的至少一个感兴趣区域的识别；
在屏幕显示器上的所述拍摄的视频流的显示上标记所述至少一个感兴趣区域；
接收来自用户的所述标记的感兴趣区域的选择，其中所述选择形成所选对象；
将所述选择传送至所述发射器；
接收来自所述发射器的所述视频流的分割版本，所述视频流的所述分割版本包括包含所述所选对象的第一部分和包含所述视频流的所述第一部分之外的至少一部分的第二部分，
其中，所述第一部分包括第一视频流，并且所述第二部分包括第二视频流，
其中，所述第一视频流包括多个第一通信元素，并且所述第二视频流包括多个第二通信元素，所述方法还包括接收交叉的多媒体流，其中，所述交叉的多媒体流包括所述第一通信元素和所述第二通信元素的交叉的序列，
其中，至少一个所述第一通信元素与至少一个所述第二通信元素在时间上和空间上中的至少一者上相关联，
其中，所述交叉的多媒体流还包括：提供了在所述至少一个第一通信元素和所述至少一个第二通信元素之间的所述关联的至少一个通信元素；以及
同时显示所述第一部分和所述第二部分的至少一部分。
2.根据权利要求1所述的方法，其还包括：
接收所述所选对象的尺寸选择；以及
显示所述所选对象，同时执行下列操作中的至少一个：
保持所述所选对象的所述所选尺寸；和
保持所述所选对象在所述屏幕显示器中的位置。
3.根据权利要求2所述的方法，其中，通过将所述所选对象的中心定位在所述屏幕显示器的中心或者定位在所述屏幕显示器的显示区域的中心来保持所述所选对象在所述屏幕显示器中的位置。
4.根据权利要求2所述的方法，其中，通过将所述所选对象的中心定位在所述屏幕显示器的相同位置来保持所述所选对象在所述屏幕显示器中的位置。
5.根据权利要求2所述的方法，其中，所述所选对象包括多个所述感兴趣区域；并且满足下列内容中的至少一者：
其中，所述保持所述所选对象的所述所选尺寸的步骤包括保持所述多个感兴趣区域之间的所述尺寸；和
其中，所述保持所述所选对象在所述屏幕显示器中的位置的步骤包括保持所述多个感兴趣区域的平均中心的位置。
6.根据权利要求5所述的方法，其中，通过将所述多个感兴趣区域的所述平均中心定位在所述屏幕显示器的中心或者定位在所述屏幕显示器的显示区域的中心来保持所述所选对象在所述屏幕显示器中的位置。
7.根据权利要求5所述的方法，其中，通过将所述多个感兴趣区域的所述平均中心定位在所述屏幕显示器的相同位置来保持所述所选对象在所述屏幕显示器中的位置。
8.根据权利要求1所述的方法，还包括下列步骤中的至少一个：
裁剪所述第二部分以适应所述屏幕显示器；
缩小所述第二部分以适应所述屏幕显示器；和
将所述第二部分转换为非线性模式以适应所述屏幕显示器。
9.根据权利要求1所述的方法，其中，所述第一部分包括相对高质量的视频，并且所述第二部分包括相对低质量的视频。
10.根据权利要求9所述的方法，其中，所述第二部分的所述低质量适应于下列中的至少一个：
分配用于显示所述第二部分的所述屏幕显示器的区域尺寸；
分配用于显示所述第二部分的所述屏幕显示器的显示参数；和
在通信上连接所述发射器和包括所述屏幕显示器的通信设备的网络的通信参数。
11.根据权利要求9所述的方法，其中，所述高质量和所述低质量基于下列中的至少一个：
分配至所述第一部分的带宽；
分配至所述第二部分的带宽；
分配至所述第二部分的压缩；
分配至所述第一部分的压缩；
分配至所述第一部分的分辨率；
分配至所述第二部分的分辨率；
分配至所述第一部分的颜色深度；和
分配至所述第二部分的颜色深度。
12.根据权利要求11所述的方法，其中，分配至所述第二部分的压缩为有损压缩。
13.根据权利要求11所述的方法，其中，分配至所述第一部分的压缩为无损压缩。
14.根据权利要求9所述的方法，还包括下列步骤中的至少一个：
将所述第二部分转换为非线性模式；和
将所述第一部分转换为线性模式。
15.根据权利要求1所述的方法，进一步包括通过下列步骤中的至少一个来创建所述第一部分和所述第二部分：
由拍摄所述视频流的成像设备创建所述部分的至少一个；
由所述发射器创建所述部分的至少一个；
由接收器通信终端创建所述部分的至少一个；
由网络服务器创建所述部分的至少一个；和
在连接所述发射器和接收器通信终端的便携式服务器中创建所述部分的至少一个。
16.一种用于传送面向对象的缩放的系统，所述系统包括：
发射器，其包括执行软件程序指令以执行操作的处理器，所述操作包括：
识别拍摄的视频流中的至少一个感兴趣区域；
向接收器传送所述视频流和所述感兴趣区域的识别；
接收来自所述接收器的所述感兴趣区域的选择，其中，所述选择形成所选对象；
将所述视频流划分为至少一个包括所述所选对象的第一部分和包括所述视频流的所述第一部分之外的至少一部分的第二部分；和
将所述第一部分和所述第二部分传送至所述接收器以在所述接收器上同时显示；以及
所述接收器，其包括执行软件程序指令以执行操作的处理器，所述操作包括：
在屏幕显示器上的所述视频流的显示上标记所述感兴趣区域；
接收来自用户的所述感兴趣区域的选择；
将所述选择传送至所述发射器；
接收来自所述发射器的所述第一部分和所述第二部分，
其中，所述第一部分包括第一视频流，并且所述第二部分包括第二视频流，
其中，所述第一视频流包括多个第一通信元素，并且所述第二视频流包括多个第二通信元素，所述接收器的所述操作还包括接收交叉的多媒体流，其中，所述交叉的多媒体流包括所述第一通信元素和所述第二通信元素的交叉的序列，
其中，至少一个所述第一通信元素与至少一个所述第二通信元素在时间上和空间上中的至少一者上相关联，
其中，所述交叉的多媒体流还包括：提供了在所述至少一个第一通信元素和所述至少一个第二通信元素之间的所述关联的至少一个通信元素；以及
同时显示所述第一部分和所述第二部分的至少一部分。
17.一种面向对象的缩放的发射器，所述发射器包括执行软件程序指令以执行操作的处理器，所述操作包括：
识别拍摄的视频流中的至少一个感兴趣区域；
向接收器传送所述视频流和所述感兴趣区域的识别；
接收来自所述接收器的所述感兴趣区域的用户选择，其中，所述选择形成所选对象；
将所述视频流划分为包括所述所选对象的第一部分和包括所述视频流的所述第一部分之外的至少一部分的第二部分；和
将所述第一部分和所述第二部分传送至所述接收器，
其中，所述第一部分包括第一视频流，并且所述第二部分包括第二视频流，
其中，所述第一视频流包括多个第一通信元素，并且所述第二视频流包括多个第二通信元素，所述处理器进一步执行软件程序指令以执行包括发送交叉的多媒体流的操作，其中，所述交叉的多媒体流包括所述第一通信元素和所述第二通信元素的交叉的序列，
其中，至少一个所述第一通信元素与至少一个所述第二通信元素在时间上和空间上中的至少一者上相关联，
其中，所述交叉的多媒体流还包括：提供了在所述至少一个第一通信元素和所述至少一个第二通信元素之间的所述关联的至少一个通信元素。
18.根据权利要求17所述的发射器，其中，所述第二部分是下列中的至少一个：
裁剪至适合屏幕显示器；
缩小至适合屏幕显示器；以及
转换至非线性模式以适应屏幕显示器。
19.根据权利要求17所述的发射器，其中，所述第一部分包括相对高质量的视频，并且所述第二部分包括相对低质量的视频。
20.根据权利要求19所述的发射器，其中，所述第二部分的所述低质量适应于下列中的至少一个：
分配用于显示所述第二部分的屏幕显示器的区域尺寸；
分配用于显示所述第二部分的屏幕显示器的显示参数；和
在通信上连接所述发射器和包括屏幕显示器的通信设备的网络的通信参数。
21.根据权利要求19所述的发射器，其中，所述高质量和所述低质量基于下列中的至少一个：
分配至所述第一部分的带宽；
分配至所述第二部分的带宽；
分配至所述第二部分的压缩；
分配至所述第一部分的压缩；
分配至所述第一部分的分辨率；
分配至所述第二部分的分辨率；
分配至所述第一部分的颜色深度；和
分配至所述第二部分的颜色深度。
22.根据权利要求21所述的发射器，其中，分配至所述第二部分的压缩为有损压缩。
23.根据权利要求21所述的发射器，其中，分配至所述第一部分的压缩为无损压缩。
24.根据权利要求17所述的发射器，其中，执行所述软件程序指令的所述处理器还提供：
将所述第二部分转换至非线性模式以适应所述接收器的屏幕显示器；以及
将所述第一部分转换至线性模式以适应所述接收器的所述屏幕显示器。
25.根据权利要求17所述的发射器，其中，所述发射器包括在下列中的至少一个中：
便携式服务器；和
网络服务器。
26.一种面向对象的缩放的接收器，所述接收器包括执行软件程序指令以执行操作的处理器，所述操作包括：
接收来自发射器的拍摄的视频流和所述视频流中至少一个感兴趣区域的识别；
在所述拍摄的视频流的显示上标记所述至少一个感兴趣区域；
接收来自用户的所述至少一个感兴趣区域的选择，其中，所述选择形成所选对象；
将所述选择传送至所述发射器；
接收来自所述发射器的包括所述所选对象的第一部分和包括所述拍摄的视频流的所述第一部分之外的至少一部分的第二部分，
其中，所述第一部分包括第一视频流，并且所述第二部分包括第二视频流，
其中，所述第一视频流包括多个第一通信元素，并且所述第二视频流包括多个第二通信元素，所述处理器执行软件程序指令以执行包括接收交叉的多媒体流的操作，其中，所述交叉的多媒体流包括所述第一通信元素和所述第二通信元素的交叉的序列，
其中，至少一个所述第一通信元素与至少一个所述第二通信元素在时间上和空间上中的至少一者上相关联，
其中，所述交叉的多媒体流还包括：提供了在所述至少一个第一通信元素和所述至少一个第二通信元素之间的所述关联的至少一个通信元素；以及
同时显示所述第一部分和所述第二部分的至少一部分。
27.根据权利要求26所述的接收器，其中，执行所述软件程序指令的所述处理器还提供：
接收所述所选对象的尺寸选择；以及
显示所述所选对象，同时执行下列操作中的至少一个：
保持所述所选对象的所述所选尺寸；和
保持所述所选对象在屏幕显示器中的位置。
28.根据权利要求27所述的接收器，其中，通过将所述所选对象的中心定位在所述屏幕显示器的中心或者定位在所述屏幕显示器的显示区域的中心来保持所述所选对象在所述屏幕显示器中的位置。
29.根据权利要求27所述的接收器，其中，通过将所述所选对象的中心定位在所述屏幕显示器的相同位置来保持所述所选对象在所述屏幕显示器中的位置。
30.根据权利要求27所述的接收器，其中，所述所选对象包括多个感兴趣区域；其中，执行所述软件程序指令的所述处理器还提供下列操作中的至少一个：
保持所述多个感兴趣区域之间的尺寸；和
保持所述所选对象在所述屏幕显示器中的位置包括保持所述多个感兴趣区域的平均中心的位置。
31.根据权利要求30所述的接收器，其中，通过将所述多个感兴趣区域的平均中心定位在所述屏幕显示器的中心或者定位在所述屏幕显示器的显示区域的中心来保持所选对象在所述屏幕显示器中的位置。
32.根据权利要求30所述的接收器，其中，通过将所述多个感兴趣区域的平均中心定位在所述屏幕显示器的相同位置来保持所选对象在所述屏幕显示器中的位置。
33.根据权利要求26所述的接收器，其中，所述第一部分包括相对高质量的视频，并且所述第二部分包括相对低质量的视频。
34.根据权利要求33所述的接收器，其中，所述第二部分的所述低质量适应于下列中的至少一个：
分配用于显示所述第二部分的屏幕显示器的区域尺寸；
分配用于显示所述第二部分的屏幕显示器的显示参数；和
在通信上连接所述发射器和所述接收器的网络的至少一个通信参数。
35.根据权利要求33所述的接收器，其中，所述高质量和所述低质量基于下列中的至少一个：
分配至所述第一部分的带宽；
分配至所述第二部分的带宽；
分配至所述第二部分的压缩；
分配至所述第一部分的压缩；
分配至所述第一部分的分辨率；
分配至所述第二部分的分辨率；
分配至所述第一部分的颜色深度；和
分配至所述第二部分的颜色深度。
36.根据权利要求35所述的接收器，其中，分配至所述第二部分的压缩为有损压缩。
37.根据权利要求35所述的接收器，其中，分配至所述第一部分的压缩为无损压缩。
38.根据权利要求33所述的接收器，还包括下列步骤中的至少一个：
将所述第二部分转换为非线性模式；和
将所述第一部分转换为线性模式。
39.一种非暂时性计算机可读介质，其中存储有计算机程序产品，所述计算机程序产品包括用于下列步骤的计算机代码：
在发射器中识别拍摄的视频流中至少一个感兴趣区域；
向接收器传送所述视频流和所述感兴趣区域的识别；
接收所述感兴趣区域的选择，其中，所述选择形成所选对象；
在所述发射器中将所述视频流划分为包括所述所选对象的第一部分和包括所述拍摄的视频流的所述第一部分之外的至少一部分的第二部分；
将所述第一部分和所述第二部分传送至所述接收器，
其中，所述第一部分包括第一视频流，并且所述第二部分包括第二视频流，
其中，所述第一视频流包括多个第一通信元素，并且所述第二视频流包括多个第二通信元素，所述计算机程序产品还包括用于接收交叉的多媒体流的计算机代码，其中，所述交叉的多媒体流包括所述第一通信元素和所述第二通信元素的交叉的序列，
其中，至少一个所述第一通信元素与至少一个所述第二通信元素在时间上和空间上中的至少一者上相关联，
其中，所述交叉的多媒体流还包括：提供了在所述至少一个第一通信元素和所述至少一个第二通信元素之间的所述关联的至少一个通信元素；以及
同时显示所述第一部分和所述第二部分。
40.根据权利要求39所述的非暂时性计算机可读介质，还包括：
接收所述所选对象的尺寸选择；以及
显示所述所选对象，同时执行下列操作中的至少一个：
保持所述所选对象的所述所选尺寸；和
保持所述所选对象在屏幕显示器中的位置。
41.根据权利要求40所述的非暂时性计算机可读介质，其中，通过将所述所选对象的中心定位在所述屏幕显示器的中心或者定位在所述屏幕显示器的显示区域的中心来保持所述所选对象在所述屏幕显示器中的位置。
42.根据权利要求40所述的非暂时性计算机可读介质，其中，通过将所述所选对象的中心定位在所述屏幕显示器的相同位置来保持所述所选对象在所述屏幕显示器中的位置。
43.根据权利要求40所述的非暂时性计算机可读介质，其中，所述所选对象包括多个所述感兴趣区域；并且满足下列内容中的至少一者：
其中，所述保持所述所选对象的所述所选尺寸的步骤包括保持所述多个感兴趣区域之间的所述尺寸；和
其中，所述保持所述所选对象在所述屏幕显示器中的位置的步骤包括保持所述多个感兴趣区域的平均中心的位置。
44.根据权利要求43所述的非暂时性计算机可读介质，其中，通过将所述多个感兴趣区域的所述平均中心定位在所述屏幕显示器的中心或者定位在所述屏幕显示器的显示区域的中心来保持所述所选对象在所述屏幕显示器中的位置。
45.根据权利要求43所述的非暂时性计算机可读介质，其中，通过将所述多个感兴趣区域的所述平均中心定位在所述屏幕显示器的相同位置来保持所述所选对象在所述屏幕显示器中的位置。
46.根据权利要求39所述的非暂时性计算机可读介质，还包括下列步骤中的至少一个：
裁剪所述第二部分以适应屏幕显示器；
缩小所述第二部分以适应屏幕显示器；和
将所述第二部分转换为非线性模式以适应屏幕显示器。
47.根据权利要求39所述的非暂时性计算机可读介质，其中，所述第一部分包括相对高质量的视频，并且所述第二部分包括相对低质量的视频。
48.根据权利要求47所述的非暂时性计算机可读介质，其中，所述第二部分的所述低质量适应于下列中的至少一个：
分配用于显示所述第二部分的屏幕显示器的区域尺寸；
分配用于显示所述第二部分的屏幕显示器的显示参数；和
在通信上连接所述发射器和包括屏幕显示器的通信设备的网络的参数。
49.根据权利要求47所述的非暂时性计算机可读介质，其中，所述高质量和所述低质量基于下列中的至少一个：
分配至所述第一部分的带宽；
分配至所述第二部分的带宽；
分配至所述第二部分的压缩；
分配至所述第一部分的压缩；
分配至所述第一部分的分辨率；
分配至所述第二部分的分辨率；
分配至所述第一部分的颜色深度；和
分配至所述第二部分的颜色深度。
50.根据权利要求49所述的非暂时性计算机可读介质，其中，分配至所述第二部分的压缩为有损压缩。
51.根据权利要求49所述的非暂时性计算机可读介质，其中，分配至所述第一部分的压缩为无损压缩。
52.根据权利要求47所述的非暂时性计算机可读介质，还包括下列步骤中的至少一个：
将所述第二部分转换为非线性模式；和
将所述第一部分转换为线性模式。
53.根据权利要求39所述的非暂时性计算机可读介质，其中，通过下列方式中的至少一个来创建所述第一部分和所述第二部分：
由拍摄所述视频流的成像设备的处理器创建所述部分的至少一个；
由发射器的处理器创建所述部分的至少一个；
由接收器通信终端的处理器创建所述部分的至少一个；
由网络服务器的处理器创建所述部分的至少一个；和
由在连接所述发射器和所述接收器的便携式服务器创建所述部分的至少一个。
54.一种用于面向对象的缩放的由计算机执行的方法，该方法包括：
发射来自发射器的拍摄的视频流和在所述拍摄的视频流中至少一个感兴趣区域的识别；
在所述发射器处接收在所述拍摄的视频流中标记的感兴趣区域的选择，其中，所述选择形成所选对象；以及
发射来自所述发射器的所述视频流的分割版本，所述视频流的所述分割版本包括包含所述所选对象的第一部分和包含所述视频流的所述第一部分之外的至少一部分的第二部分，
其中，所述第一部分包括第一视频流，并且所述第二部分包括第二视频流，
其中，所述第一视频流包括多个第一通信元素，并且所述第二视频流包括多个第二通信元素，所述方法还包括发射交叉的多媒体流，其中，所述交叉的多媒体流包括所述第一通信元素和所述第二通信元素的交叉的序列，
其中，至少一个所述第一通信元素与至少一个所述第二通信元素在时间上和空间上中的至少一者上相关联，
其中，所述交叉的多媒体流还包括：提供了在所述至少一个第一通信元素和所述至少一个第二通信元素之间的所述关联的至少一个通信元素。
55.一种非暂时性计算机可读介质，其中存储有计算机程序产品，所述计算机程序产品包括用于下列步骤的计算机代码：
在接收器处接收拍摄的视频流和在所述拍摄的视频流中感兴趣区域的识别；
在所述接收器处接收所述感兴趣区域的选择，其中，所述选择形成所选对象；
在所述接收器处接收所述视频流的分割版本，所述分割版本包括包含所述所选对象的第一部分和包含所述视频流的所述第一部分之外的至少一部分的第二部分，
其中，所述第一部分包括第一视频流，并且所述第二部分包括第二视频流，
其中，所述第一视频流包括多个第一通信元素，并且所述第二视频流包括多个第二通信元素，所述计算机程序产品还包括接收交叉的多媒体流的计算机代码，其中，所述交叉的多媒体流包括所述第一通信元素和所述第二通信元素的交叉的序列，
其中，至少一个所述第一通信元素与至少一个所述第二通信元素在时间上和空间上中的至少一者上相关联，
其中，所述交叉的多媒体流还包括：提供了在所述至少一个第一通信元素和所述至少一个第二通信元素之间的所述关联的至少一个通信元素；以及
在所述接收器上同时显示所述第一部分和所述第二部分的至少一部分。
CN201780057259.1A 2016-07-18 2017-07-14 在多媒体信息中提供面向对象的缩放的系统和方法 Active CN109716769B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662363699P 2016-07-18 2016-07-18
US62/363,699 2016-07-18
PCT/IB2017/001026 WO2018015806A1 (en) 2016-07-18 2017-07-14 System and method providing object-oriented zoom in multimedia messaging

Publications (2)

Publication Number Publication Date
CN109716769A CN109716769A (zh) 2019-05-03
CN109716769B true CN109716769B (zh) 2023-09-05

Family

ID=60993177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780057259.1A Active CN109716769B (zh) 2016-07-18 2017-07-14 在多媒体信息中提供面向对象的缩放的系统和方法

Country Status (5)

Country Link
US (2) US11272094B2 (zh)
EP (1) EP3485639A4 (zh)
CN (1) CN109716769B (zh)
DE (1) DE202017007466U1 (zh)
WO (1) WO2018015806A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664531B2 (en) * 2017-01-13 2020-05-26 Samsung Electronics Co., Ltd. Peer-based user evaluation from multiple data sources
GB201705230D0 (en) * 2017-03-31 2017-05-17 Bluebox Aviation Systems Ltd Wireless content distribution
US10834465B1 (en) * 2019-06-28 2020-11-10 Netflix, Inc. Automated video cropping
CN110636294B (zh) * 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
WO2021062240A1 (en) * 2019-09-27 2021-04-01 Nevermind Capital Llc Methods and apparatus for encoding frames captured using fish-eye lenses
JP7458756B2 (ja) * 2019-11-29 2024-04-01 キヤノン株式会社 表示制御装置及びその制御方法
JP7396919B2 (ja) * 2020-02-12 2023-12-12 シャープ株式会社 電子機器、撮像表示制御装置、撮像表示システム、撮像表示制御方法、および、プログラム
CN113497957A (zh) * 2020-03-18 2021-10-12 摩托罗拉移动有限责任公司 从远程电子设备的外部显示器捕获图像的电子设备和方法
US11523145B2 (en) * 2021-01-04 2022-12-06 Western Digital Technologies, Inc. Data storage device and method for real-time data locking in surveillance storage
CN116783878A (zh) * 2021-01-13 2023-09-19 三星电子株式会社 电子装置和图像发送/接收方法
US11582422B2 (en) * 2021-02-24 2023-02-14 Gn Audio A/S Conference device with multi-videostream capability
US11985389B2 (en) * 2021-07-12 2024-05-14 Avago Technologies International Sales Pte. Limited Object or region of interest video processing system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247461A (zh) * 2007-02-16 2008-08-20 安讯士有限公司 为照相机提供区域缩放功能
CN105357509A (zh) * 2009-01-29 2016-02-24 杜比实验室特许公司 视频编码方法、视频信号解码方法及视频装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001095513A1 (en) * 2000-06-09 2001-12-13 Imove Inc. Streaming panoramic video
US8977063B2 (en) * 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
US7876978B2 (en) * 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
US20070097261A1 (en) * 2005-10-25 2007-05-03 Brad Smith Region or frame based aspect ratio scaling
US8213774B2 (en) * 2005-11-30 2012-07-03 Broadcom Corporation Spotlight effect in video processing and playback
US20070296822A1 (en) * 2006-06-09 2007-12-27 Yin-Chun Blue Lan Method and device for wireless video communication
US9240056B2 (en) * 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
US20090320081A1 (en) * 2008-06-24 2009-12-24 Chui Charles K Providing and Displaying Video at Multiple Resolution and Quality Levels
US20100296583A1 (en) * 2009-05-22 2010-11-25 Aten International Co., Ltd. Image processing and transmission in a kvm switch system with special handling for regions of interest
US8331760B2 (en) * 2010-06-02 2012-12-11 Microsoft Corporation Adaptive video zoom
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US8773498B2 (en) 2011-09-30 2014-07-08 Polycom, Inc. Background compression and resolution enhancement technique for video telephony and video conferencing
US20130089153A1 (en) * 2011-10-06 2013-04-11 Mstar Semiconductor, Inc. Image compression method, and associated media data file and decompression method
GB2501675B (en) * 2012-03-27 2014-11-19 Microsoft Corp Encoding and transmitting video streams
WO2014074200A2 (en) * 2012-08-21 2014-05-15 Skybox Imaging, Inc. Multi-resolution pyramid for georeferenced video
US10447746B2 (en) 2013-07-26 2019-10-15 Futurewei Technologies, Inc. System and method for spatial adaptation in adaptive streaming
JP6436761B2 (ja) * 2014-12-24 2018-12-12 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム
US10162936B2 (en) * 2016-03-10 2018-12-25 Ricoh Company, Ltd. Secure real-time healthcare information streaming

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247461A (zh) * 2007-02-16 2008-08-20 安讯士有限公司 为照相机提供区域缩放功能
CN105357509A (zh) * 2009-01-29 2016-02-24 杜比实验室特许公司 视频编码方法、视频信号解码方法及视频装置

Also Published As

Publication number Publication date
WO2018015806A1 (en) 2018-01-25
US11272094B2 (en) 2022-03-08
DE202017007466U1 (de) 2021-11-22
EP3485639A1 (en) 2019-05-22
US11729465B2 (en) 2023-08-15
EP3485639A4 (en) 2020-03-04
US20190208114A1 (en) 2019-07-04
US20220174209A1 (en) 2022-06-02
CN109716769A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
CN109716769B (zh) 在多媒体信息中提供面向对象的缩放的系统和方法
US11025959B2 (en) Probabilistic model to compress images for three-dimensional video
US20220174252A1 (en) Selective culling of multi-dimensional data sets
US10491711B2 (en) Adaptive streaming of virtual reality data
EP3391639B1 (en) Generating output video from video streams
US11553025B2 (en) System and method for interleaved media communication and conversion
US10785513B2 (en) Methods and systems for using 2D captured imagery of a scene to provide media content
EP2713614A2 (en) Apparatus and method for stereoscopic video with motion sensors
EP2816564A1 (en) Method and apparatus for smart video rendering
EP3371966B1 (en) Depth camera based image stabilization
CN104065911A (zh) 显示控制方法及装置
KR102002037B1 (ko) 멀티 트랙 영상을 이용한 다시점 영상 시청 방법 및 다시점 영상 제공 방법 및 사용자 단말
CN113891057A (zh) 视频的处理方法、装置、电子设备和存储介质
CN113099150B (zh) 图像处理的方法、设备及系统
KR102094848B1 (ko) (초)다시점 미디어의 라이브 스트리밍 방법 및 장치
CN117440176A (zh) 用于视频传输的方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant