CN1732690A - 视频流传输 - Google Patents

视频流传输 Download PDF

Info

Publication number
CN1732690A
CN1732690A CNA2003801080569A CN200380108056A CN1732690A CN 1732690 A CN1732690 A CN 1732690A CN A2003801080569 A CNA2003801080569 A CN A2003801080569A CN 200380108056 A CN200380108056 A CN 200380108056A CN 1732690 A CN1732690 A CN 1732690A
Authority
CN
China
Prior art keywords
frame
pixel
video
server
vision area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2003801080569A
Other languages
English (en)
Other versions
CN1732690B (zh
Inventor
奥顿·卡玛里奥蒂斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of CN1732690A publication Critical patent/CN1732690A/zh
Application granted granted Critical
Publication of CN1732690B publication Critical patent/CN1732690B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Digital Computer Display Output (AREA)
  • Studio Devices (AREA)

Abstract

一种文件服务器(1)，与远程客户端(例如，PPC(7)、移动电话客户端(5))进行通信，其从摄像机(2)或者视频存储器(4)接收图像，作为完整帧图像。选择和压缩程序使得能够传输限定压缩视频图像的比特流，以在移动客户端的较小屏幕上进行显示，并允许简单的虚拟缩放和由用户选择要观看的帧区域。压缩和选择算法使得用户能够选择具有与本地屏幕相对应的像素数量的角视区，该角视区是从整个原始帧导出并完全压缩的，具有压缩的可变选择，可以由文件服务器(1)来选择原始帧的具有相同数量的像素的一部分。该系统尤其适用于客户端和文件服务器之间的带宽有限的情况，以使得不需要将整个视频帧发送给客户端，而仅需要从客户端到服务器的有限返回信令。

Description

视频流传输
技术领域
本发明涉及视频流传输(streaming)，更具体地，涉及一种用于控制视频流传输以允许远程选择所观看的图像的方法和装置。
背景技术
已知为了安全的目的而使用数码摄相机来采集视频图像，由此可以使用摄像机来观察某个区域，然后将信号传输到远程地点或存储在计算机存储介质中。通常使用多个摄像机来保证所观察图像的合理分辨率，并且缩放工具(facilities)使得能够实时地对要采集的图像进行特写。可以同时提供不同的视角以使得能够从不同的角度观看同一场景。
还已知下述技术：将电影序列存储在计算机存储器中，用于通过高带宽链路下载到电视屏幕或其他显示装置上，以及/或者提供例如通过MPEG编码提供的视频压缩，从而使得能够通过低带宽互连来实时或近似实时地传送图像。
诸如袖珍个人电脑(例如Hewlett Packard PPC或者康柏IPAQ计算机)的小型显示装置也具有分辨率相对较高的显示屏幕，这些显示屏幕实际上对于覆盖例如监视区域的大多数电影或摄像机图像来说相对较小。
甚至有可能在诸如Sony Ericsson T68i移动电话的紧凑型移动电话中设置更小的显示屏幕，Sony Ericsson T68i移动电话包括高级的接收和处理能力，该能力使得能够通过移动电话网络来接收和显示彩色图像。
近来，家庭电视收看领域的最新发展(例如存储和读取保存在数字多功能盘(DVD)上的数字数据的能力)使得观众能够选择不同的摄像机视角来观看场景，以及选择所示场景的特定区域的特写视图。DVD的播放器包括下述的处理能力：对所存储的数据进行改编，以将其转换为用于待显示图像的信号。
如果不降低观众的体验，则这种数据到信号的转换需要强大的实时处理能力。另外，由于需要传送到本地设备的数据量，非常大量的不同视角等是不切实际的。
EP1162810中描述了一种数据分配装置，用于对保存在文件服务器中的数据进行转换，该文件服务器可以保存由摄像机生成的图像。该数据分配装置用于将所接收的或所存储的数据转换为能够在请求数据终端上显示的格式，该请求数据终端可以是便携式电话显示器。其中的转换装置能够将所存储的或所接收的图像分割为多个固定部分，由此可以使用从该显示装置接收到的信号来选择特定的一个可用图像部分。
发明内容
根据本发明，提供了一种对视频信号进行流传输的方法，该方法包括以下步骤：采集和/或存储视频帧或者视频帧序列，其中每一帧都包括“m”像素דn”像素的矩阵；将该m×n的帧压缩或者每一个所述m×n的帧压缩为“p”像素דq”像素的相应导出帧，以将其显示在能够显示至少p像素×q像素的帧的屏幕上，其中p和q分别远小于m和n；发送该至少一个导出帧，并接收用于限定小于m×n像素的优选观看区域的信号；将所选择的观看区域压缩为p像素×q像素的进一步导出帧或者进一步导出帧序列；以及发送该进一步导出帧，以进行具有下述特征的显示：所接收的信号包括用来限定所发送的进一步导出帧内的优选位置的数据，该数据确定了从中选出下一个进一步导出帧的m像素×n像素内的位置。
优选地，所接收的信号还可以限定缩放级别，该缩放级别包括从所提供的多个有效缩放级别中选择的一个，每一次选择都限定了包括至少p像素×q像素但不多于m像素×n像素的帧。
所接收的信号可以用于导致所发送帧以像素为基础或者以帧区域选择为基础，从当前位置向新位置的移动。另选地，可以通过在主帧中检测明显活跃的区域并发送该区域周围的较小帧，来使用自动帧选择。
可以使用控制信号来选择多个预定帧大小和/或视角中的一个。在优选实施例中，可以使用控制信号在主帧内从当前位置移动到新位置，以及改变观看区域的大小，因此，可以实现对该主帧的特定区域的详细检查。这种选择可以利用响应于控制功能的跳跃功能，以根据指针的位置或者通过逐个像素卷动来选择该主帧中的不同帧区域。
用于这种系统的终端装置可以包括：第一显示屏，用于显示所发送的帧；第二显示屏，具有可选择点，用于表示正在显示的区域，或者想要显示的区域；以及发送装置，用于发送在当前显示的帧中限定优选位置的信号，下一个发送的帧是从该当前显示帧中导出的。
这种终端还可以包括进一步显示装置，该装置具有显示当前观看帧的坐标的能力，以及/或者用于显示与该观看帧相关的文本或其他信息。所显示的文本可以是存储有限定观看帧的信息的URL或类似位置标识的形式。
可以利用具有用于发送所选择的观看帧的较高带宽返回路径的低带宽路径来执行控制传输。可以使用任何适当的传输协议。
本发明所用的服务器可以包括计算机或文件服务器，该计算机或文件服务器可以访问多个视频存储器和/或连接用于采集要发送的图像的摄像机。还可以提供数字图像存储器，其中可以存储由该摄像机采集的图像，以使得如果实况动作观看表示感兴趣的观看可能超过或者部分超过当前观看帧，则用户可以及时地执行通过所观看区域的移动。
该服务器可以运行选择和压缩程序的多个实例，以使得能够进行向不同用户的多个发送。每一个这种实例都可以从摄像机源提供选择，或者从所述视频存储器之一中提供所存储的图像。
在一种操作模式下，该程序实例使得可以预选择来自摄像机或视频存储的数字化图像，并将其分割为多个帧，每一个帧都可以同时用于切换装置，该切换装置响应于用户数据输入来选择要发送所述多个帧中的哪一个。然后，使所选择的数字化图像经过编码解码器，以提供经封装的比特流，来发送给进行请求的用户。
在另选操作模式下，将所述多个帧中的每一个转换为准备发送给进行请求的用户的相应比特流，响应于用户数据输入，选择该多个比特流中要发送的一个。
在用户从主帧中选择待观看的部分帧的情况下，服务器通过发送该主帧的压缩版本或者来自该主帧的预选择区域对请求发送的用户数据分组进行响应，并且对限定观看帧的优选位置的用户数据信号进行响应，以发送用于限定优选位置处的观看帧的比特流，其中该服务器响应于限定较早发送的帧中的优选位置的数据信号，以在m×n的主帧内选择该位置，其中从该m×n的主帧中发送下一个p×q的导出帧。
附图说明
下面仅参照附图，通过示例的方式来说明用于执行本发明的装置和方法，附图中：
图1是根据本发明的视频流传输系统的示意性方框图；
图2是适用于图1的系统的PDA的示意图；
图3是来自视频流传输源或视频采集装置的观看帧(主帧)的域的示意图；
图4、5和6是以不同的压缩比从显示在观看屏幕上的主帧导出的观看帧的域的示意图；
图7是观看终端与图1的服务器之间的传输的示意图；
图8是表示导出观看帧以及选择用于传输的观看帧的示意图；
图9是表示图7的另选传输结构的示意图；
图10、11和12是表示选择用于传输的主帧的区域的示意图；
图13是表示图8的另选导出的示意图；以及
图14表示选择用于传输的图13的比特流输出。
具体实施方式
参照图1，该系统包括：服务器1，例如合适的计算机；至少一个摄像机2，具有宽视场；以及数字图像存储器3。除摄像机以外，还可以提供多个视频存储装置4，用于存储为分配给客户端而预先采集的图像、电影等，该客户端由具有观看屏幕6的便携式移动电话5、个人袖珍计算机(PPC)7以及台式监视器8来表示。通信装置5、7、8中的每一个都仅在由摄像机2采集的或者来自视频存储装置4的图像首先被压缩至与相应观看屏幕的水平和垂直方向中的每一个上的像素数量相对应的级别的情况下，才能够显示该图像。
我们希望摄像机2(例如，具有高像素密度，并以…像素×…像素采集大面积图像的…)能够将图像分解为比在观看屏幕上可以详细看到的高得多的级别。因此，服务器1运行由程序图标9表示的压缩程序的多个实例，每一个程序都为至少一个观看用户服务，并如下所述进行操作。
为了说明该体系结构，假设视频采集源是最大分辨率为640×480像素的摄像机2。然而，可以理解，该视频源可以是任意类型(能够提供限定用于传输或存储的图像的数字化数据的视频采集卡、未压缩文件流等)，并且该最大分辨率也可以是任意大小(仅受到视频采集源的分辨率极限的限制)。
另外，我们假设视频服务器以176×144像素的“固定”帧大小对视频进行压缩和流传输，该“固定”帧大小始终小于或等于原始采集帧大小。可以理解，该“固定”视频帧大小也可以是任意类型(取决于通信接收器的视频显示器)，并可以可变地提供该“固定”视频帧大小，并且各个程序9适于为与其传输相关联的装置5、7、8提供图像。
使用下述算法来确定可能的可用视角。也可以使用其他算法来确定潜在的“视角”。
简单地参照图7，示意性地示出了第一客户端服务器交互体系结构，包括服务器1和与图1的观看屏幕6、7之一相对应的客户端观众终端10。在向前方向(从服务器1至客户端10)上，将使用反映通信链路11的带宽的适当协议的数据传输用于提供分组化的数据流，包括适当的显示信息和控制信息。该链路例如可以是到便携式电话或者个人数字助理(PDA)或者袖珍个人计算机(PPC)的蜂窝通信链路，或者可以是诸如通过互联网或光纤或者铜电缆的高带宽链路。使用的协议可以是TCP、UDP、RTP或者任何其他合适的协议，以使得能够通过链路11满意地传送信息。
在向后方向(从客户端10到服务器1)上，可以使用带宽较窄的链路12，因为通常该方向仅传送反映在客户端10的输入的有限数据，这些有限数据请求特定的视角，或者限定该客户端10希望观看的坐标。
现返回到图3，所采集(或存储)的图像包括由矩形12表示的640×840像素图像。矩形14表示176×144像素区域，希望该像素区域能够显示客户端观看画面10，而矩形13包括352×288像素的视区。
另外参照图4，在由矩形121表示的压缩为176×144像素之后，可以重现矩形12的视区。从图中可以看出，所示的图像可以包含所采集图像中的所有信息。然而，由于执行了压缩，所以该图像可能会“失真”或者模糊并缺少细节。然而，可以在第一实例中将该视区发送给客户终端10，以使得该客户端能够在客户终端显示器上确定优选视区。可以通过将矩形121定义为“角视区1”，将较小的区域13(矩形131)定义为角视区2，并将与选择14(矩形141)相对应的屏幕大小定义为角视区3，来完成以上操作，使得能够通过从键盘简单地输入数字1、2或者3来选择要传送的视区。这使得观众能够选择在服务器1中实现的虚拟缩放的缩放级别，而不是摄像机1或者其他图像采集装置的物理缩放。
因此，如果客户选择了角视区2，则图像会表现得与图5相似，具有稍微更多的可用细节(尽管由于所采集图像的x和y轴之间的任何不兼容会导致所观看图像区域的某些变形)。该客户可以再次选择进一步缩放，以观看由矩形141包围的区域，来获得图6的视区，该视区是在像素对应关系的基础上从所采集的图像中直接选择的。
尽管上述说明表示提供了三个角视区的情况，但是应该理解，可以从所采集的图像12中导出的视区的数量不受限制，并且可以在服务器1中容易地生成潜在视区的更多选择，以为客户10提供视角和缩放级别的更多选择，以从中进行选择。
还应该注意，从客户终端10返回的数字信息无需作为所显示图像的结果，而可以是由可用视区的用户基于在先知识，通过客户终端10进行的预空闲(pre-emptive)输入。在另选实施例中，服务器可以在用户的历史记录简档的基础上选择最初发送的视区，从而最初传输用户的正常优选视区，并且用户响应于该传输而确定依次传输的缩放级别或角视区的任何变化。
用于提供潜在角视区的算法很简单，并且使用以下步骤：
需要采集源(例如，摄像机1)的最大分辨率，在本示例中为640×480像素。还需要压缩视频流的分辨率，在此假设为176×144像素。
对于首先计算出的角视区，采用直接根据所采集的视频流的一对一关系。因此，还参照图3，直接使用窗口14中的像素来提供176×144像素视区(图6中的角视区3)。
为了计算下一角视区的尺寸，将x和y尺寸中的每一个都乘以2，以提供352×488像素作为下一推荐角视区。对该服务器进行编程，以检查乘数(multiplier)的应用不会超过下述的选择，该选择超过来自采集源的视频流的尺寸(640×480)，这在该步骤中为真。
在下一步骤中，如果先前的乘数没有导致x和y尺寸中的任何一个超过所采集视区的尺寸，则将最小窗口14的尺寸乘以3。在所示示例中，该乘数导致528×432像素的窗口(未示出)，该窗口是可进一步选择的虚拟缩放。
连续进行该最小窗口14的x和y尺寸的增量乘法，直到其中一个尺寸超过了视频采集窗口的尺寸为止，由此进程终止，并确定该被乘数为角视区1，通过增量角视区定义来限定其他缩放因子。由此产生已经确定的角视区的数量以及可能的角视区，由服务器1将可用角视区的数量发送给客户端10。这些视区之一将成为该客户端的默认视区，该默认视区可以是完全压缩的视区(图4中的角视区1)，或者如上所述，是来自已知用户的优选或者通过在服务器中预选择的优选。
客户终端将在客户观看终端10上显示可用角视区，以使得用户能够确定选择哪个视区。一旦客户做出确定，则将限定该选择的所需视区数据发送给服务器1，服务器1随后发送具有远程选择角视区的相应视频流。
因此，现参照图8，服务器1从视频采集源(例如，摄像机2、数字图像存储器3或者视频存储器4)获取信息，并应用上述的多视区确定算法(14)。这产生了选定数量的角视区(示出了3个)121、131、141，将它们输入到开关15。开关15对来自客户端(例如图1的PPC 6)的包含角视区确定的输入数据包16进行响应，以将适当的角视区数据流传输给编码解码器17，并且由此对数据包18中的压缩视频进行流传输。
为避免疑惑，应该注意，编码解码器17可以使用诸如MPEG4、H26L等的任何适当的编码，所产生的角视区完全独立于所采用的视频压缩标准。
图9中示出了另选客户端服务器交互，其中仅产生1路交互。仅从客户端向服务器发送网络消息，以考虑带宽限制，使用任意适合的协议(TCP、UDP、RDP等)来传输，在客户端和服务器中预先确定角视区，从而没有数据传回给客户端。使用了具有默认值(例如，5个视区)的预定多视区确定算法，并且一种该类算法具有以下格式(尽管可以开发和使用其他算法)：
步骤1
由最大分辨率减去最小分辨率。在我们的示例中，最大分辨率为(640×480)，最小分辨率为(176×144)。因此，该减法((640-176)&(480-144))的结果为(464，336)。
按照以下方式来生成这5个视区。
每一个视区都是通过向最小分辨率(176×144)添加在步骤1中产生的差(464，336)的百分比而产生的。
该百分比通常为(视区1＝100％、视区2->75％、视区3->50％、视区4->25％、视区5->0％)。当然，也可以应用类似的百分比。
因此，对于每一个视区，产生以下坐标。
视区1(640，480)
X＝176+464＝640。
Y＝144+336＝480。
视区2(524，396)
X＝176+(0.75*464)＝524。
Y＝144+(0.75*336)＝396。
视区3(408，312)
X＝176+(0.50*464)＝408。
Y＝144+(0.50*336)＝312。
视区4(292，228)
X＝176+(0.25*464)＝292。
Y＝144+(0.25*336)＝228。
视区5(176，144)
X＝176+0＝176。
Y＝144+0＝144。
该处理完成后，生成了具有上述坐标的5个视区。
可以类似于图3的示图来说明可能的视区，但是应该绘制出5个视区。
另一方面，“客户”应用也知道该“算法”，因此每个视区都应该表示最大和最小分辨率之间的差的百分比(100％、75％、50％、25％、0％)。通过这种方式，客户无需知道流视频的最大和最小坐标，因此1路客户端/服务器交互是可行的，这加快了改变“角视区”的处理。
此外，服务器1获取最大和最小分辨率，以执行以上步骤。通常，最大分辨率是由视频采集卡(摄像机)2提供的分辨率，而最小分辨率是由流传输应用提供的分辨率(对于移动视频通常为176×144)。当首先启动服务器应用9时，应当开始并完成“多视区确定算法”处理。
在客户端的设备上显示5个“角视区”。
在选择一个“视区”后，生成包含所识别的“角视区”的消息，并将其发送给服务器。
服务器根据与图8所示相同但具有可用于流传输的5个角视区的方式来选择该视区并对内容进行流传输。
图2表示适合的客户端设备，示出了进行控制，以使得观众能够改变要显示的角视区。提供了其上显示有选定视频流的主观看屏幕20。在该示例中，该屏幕包括176×144的像素画面。另外，提供了次级屏幕21，其具有低分辨率，以使得画面22能够显示主屏幕20上所显示的实际视频的比例和位置。因此屏幕21中的方框22的位置表示图像相对于原始全尺寸基准帧的位置。较小的屏幕21可以是触敏的，以使得观众能够即时地选择要将流传输视频移动到的位置。
另选地，可以使用选择键23-27根据以上概述的角视区基本原理，或者在逐个像素的基础上来移动该图像，其中客户端和服务器之间具有足够的带宽，以使得能够发送大量数据包。键27旨在使得能够选择待显示在显示屏幕20上的中心视区。如果使用了固定数量的角视区，则屏幕显示可以根据可用帧的数量而左右上下分阶段地变化(stepped)。
在提供文件内容的视频流传输的情况下，提供一组视频控制键28-32，这些视频控制键分别为停止功能28、倒退功能29、播放功能30、快进31和暂停32，用于提供适当的控制信息，以控制本地(下载视频并将其存储在装置7中)视频显示或者作为控制包发送给服务器1的视频显示。
通过选择键33-37提供选择固定角视区的另选控制方法，并且为了完整，示出了本地音量控制装置38。还可以显示信息显示画面39，其可以显示与所显示的视频相关的字母数字文本说明，并且还可以显示状态画面40，其例如显示用于移动电话接收的信号强度。
下面，首先参照图10来描述视区选择的进一步说明。由此使用箭头键33-37并以上述5个角视区开始，这些角视区是视区1(640×480像素)、视区2(524，396)、视区3(408，312)、视区4(292，228)和视区5(176×144像素)。在图10中，与640×480像素的完整帧21相比较来看视区5(176×144像素)(矩形22)。也可以将其表示为图2的画面21中的矩形，以使用户获悉显示在主显示屏幕20上的可用视频采集的比例。
用户现在可以选择要传输的角视区中的任何一个，例如对键33的操作将从服务器1产生信号包请求角视区1。将传输完全压缩的显示(图3)，以显示在显示区域20中，同时屏幕21将表示当前显示的完整视区。
分别通过对键34、35、36和37进行操作来选择角视区2、3、4，以及首先讨论的视区(视区5)。应该理解，可以设置多于或者少于5个的键，或者如果显示屏幕20为触敏型，则可以覆盖视频显示虚拟键组，从而在适当位置接触该屏幕可以导致发送角视区请求以及在从服务器1进行传输的所需变化。还可以实现以下效果：较小屏幕21由矩形22占据的比例也会改变，以反映出当前显示的角视区。这种调整可以通过装置7的内部编程来进行，或者可以将其从服务器1与数据包18一起发送。
以上考虑了中心角视区，下面我们考虑用户如何能够观看到以偏离图像中心的不同点为中心的角视区。5个可用的视区仍具有相同的压缩比，从而使用相对于整个视频帧(640×480)显示在图10的中心的角视区5(176×144像素)来说明观众横跨图像移动或上下移动的方式。
再次考虑图2和图10至12，并假定用户操作了左箭头键26。这将导致客户端向服务器1发送网络数据包。该数据包可以包括“左移”指令以及以下两者之一：例如根据用户操作键26的时间长度导出的要移动的画面的百分比；以及可能要移动的“像素数量”。服务器1计算要移动的像素数量，并沿左方向将角视区移动所需的像素数量，直到该角视区的左边缘到达整个视频帧的最左侧为止。返回的数据包现在包括新位置处的角视区5的压缩视频，而较小观看屏幕中的矩形22还可以表示改变后的大致位置。一旦定位在新位置的中心，就可以使用键33至37来改变由客户端接收的完整帧的数量。
可以使用键23来表示向上移动，使用键24表示向右移动，而使用键25表示向下移动。这些键中的每一个都使得客户端程序发送适当的数据包，并且服务器通过沿任意方向相应地移动到完整视频帧的边限处来导出要发送的视区。如果用户操作了键27，则可以使用该操作将该视区返回到中心位置，如同使用所选择的压缩(角视区1-5)最初发送的那样，该所选择的压缩是使用键33-37最后选择的。
下面考虑图2的虚拟窗口画面21，可以使用该虚拟窗口来使得用户能够快速移动至另一位置，并且还使该用户能够确定在主显示屏幕20的哪个位置显示完整视频帧以及显示多少完整视频帧。如果假定较小的画面具有12像素×10像素的最大尺寸(作为另选，可以是主显示区的角部的覆盖图)，每一个视区都将具有虚拟屏幕的以下百分比表示：视区1＝100％、视区2＝80％、视区3＝60％、视区4＝40％、视区5＝20％.
因此，通过将虚拟窗口的尺寸乘以这些百分比，可以得到所显示的矩形22的以下尺寸：
视区1(12，10)
X＝12*1＝12
Y＝10*1＝10
视区2(10，8)
X＝12*0.8＝10
Y＝10*0.8＝8
视区3(7，6)
X＝12*0.6＝7
Y＝10*0.6＝6
视区4(5，4)
X＝12*0.4＝5
Y＝10*0.4＝4
视区5(2，2)
X＝12*0.2＝2
Y＝10*0.2＝2
因此，使用以上尺寸绘制内部矩形22(在黑色画面中可能是白色显示)，在以下示例中，使用上述尺寸。因此，虚拟窗口以下述方式进行工作。如果选择了视区5，则矩形22(2像素×2像素)和屏幕21(12像素×10像素)将具有那些尺寸，并且除了较小矩形22为白色外，该虚拟窗口将为黑色。在图2中示出了这种情况，并且图10至12中也示出了这种情况。如果该虚拟窗口为触敏型并且用户按压了左上角，如图11中的点41所示，则该显示画面需要如图12所示从中心位置移动到整个帧的左上角(0，0定义了帧的左顶角)。
因此，在客户端中，将每一个像素都认为是一个单元，并且客户端计算需要沿左上方向移动多少单元。从图11可以看出，当前位置可以定义为矩形22(白色方框)的左上角位置(5，4)。因此为了移动到(0，0)，必须向左移动5个像素并向上移动4个像素。计算黑色方框和白色方框之间的单元之差，在本示例中是水平方向5个单元，垂直方向4个单元。
因此，当需要从当前位置按屏幕的百分比来移动时，可以通过使要移动的像素数量除以当前位置与新位置之间的像素数量差，来计算从当前位置向左和向上的100％移动。结果，该移动为100％，以在白色方框中移动到黑色方框间隙，从而要发送的网络消息包含左100、上100指令，该数字通常表示比率。
服务器将该消息翻译为向左移100％，向上移100％，并启动以下过程。
根据图12考虑，角视区为视区5(176×144像素)而完整视频帧为640×480像素，必须计算角视区5窗口的左上角的相对位置。在图12中由白点表示的全尺寸窗口的中心位于“x”方向的640/2＝320以及“y”方向的480/2＝240(320，240)。角视区5中的中心点相对于左上角的位置是“x”方向176/2＝88以及“y”方向144/2＝72。因此对于左上角，为了移动到(0，0)，中心点必须在向左方向(x方向)移动320-88＝232，以及在向上方向(y方向)移动240-72＝168。因此，相对于当前位置的移动是向左232个像素，向上168个像素，由此将该视区从中心位置移动到图12中由阴影所示的左上位置。因此，将新的角视区5从服务器1发送到客户端装置。
应该理解，例如如果用户选择了虚拟屏幕的第二(垂直)像素行中的左侧位置，则所发送的数据包将包含左80，即沿虚拟窗口的左方向移动4个像素，该虚拟窗口由虚拟窗口差的5个像素进行了相除。对于其他移动，由客户端应用类似的计算。
应该理解，为了从新位置(0，0)移回到原始位置(232，168)，例如如果用户启动虚拟窗口的中心，则所发送的移动是右42(5像素移动12像素差＝5/12＝大约42％)以及下40(4像素移动10像素剩余＝4/10＝40％)。
返回到图8，其中使用文件内容来提供对较小观看客户的传输，需要下采样算法。假定传输帧大小为176×144像素，则必须通过任何大小的滤波器将要发送的视频下采样为176×144像素。
该处理开始于分为两个下采样的循环，直到该视频不能进一步分为两个为止。计算因子，然后进行最终下采样。因此假定输入视频具有“M”דN”像素，并且输出帧大小为176×144像素，第一步骤是将176除以M，给出各个水平(X)帧尺寸为X＝M/176。现将X除以2，并且如果在除法之后X小于1，则计算宽度和高度因子，并使用这些因子对该视频进行的采样提供了176×144格式的视频。
在应用该算法之前和之后，以YUV文件格式应用下采样。因此，Y分量(640×480)被下采样为176×144Y分量，而U和V分量(320×240)相应地被下采样为88×72。下采样算法的整个过程如下。
步骤1：
计算H因子、W因子：
H因子＝宽度/176，其中宽度指水平方向(在我们的示例中为640)
W因子＝高度/144，其中高度指垂直方向(在我们的示例中为480)
步骤2：
计算X因子：
X＝H因子/2
步骤3：
检查是否X≥1
如果是，则进行到步骤4，否则进行到步骤6
步骤4：
通过除以4来进行下采样：
对于Y分量，使用以下公式：
Y’[i*宽度/4+j/2]＝((Y[i*宽度+j]+Y[i*宽度+j+1]+Y[(i+1)*宽度+j]+Y[(i+1)*宽度+j+1])/4)
其中，Y’＝转换后的Y分量，
Y＝转换前的Y分量，
0≤i＜高度，i＝0，2，4，6…等
0≤j＜宽度，j＝0，2，4，6…等
对于U、V分量，使用以下公式：
U’[i*宽度/2/4+j/2]＝((U[i*宽度/2+j]+U[i*宽度/2+j+1]+U[(i+1)*宽度/2+j]+U[(i+1)*宽度/2+j+1])/4)
其中，U’＝转换后的U或V分量
U＝转换前的U或V分量
0≤i＜高度/2，i＝0，2，4，6…等
0≤j＜宽度/2，j＝0，2，4，6…等
步骤5：
高度＝高度/2
宽度＝宽度/2
X＝X/2
转到步骤3：
步骤6：
计算高度因子(Hcoe)和宽度因子(Vcoe)：
Hcoe＝宽度/176
Vcoe＝高度/144
步骤7：
仅在宽度≠176、高度≠144的情况下，才执行该步骤。
因此，该步骤对大小不是176×144的偶倍数的输入图像进行校正。
通过宽度/Vcoe以及高度/Hcoe来进行“下采样”：
对于Y分量使用以下公式：
Y’[i*176+j]＝((Hcoe*Y[(i*Vcoe)*宽度+(j*Hcoe)]+Y[(i*Vcoe*宽度)+(j*Hcoe+1)])/2/(1+Hcoe)+(Vcoe*Y[(i*Vcoe+1)*宽度+(j*Hcoe)+Y[(i*Vcoe+1)*宽度+(j*Hcoe+1)])/2/(1+Vcoe))
其中Y’＝转换后的Y分量，
Y＝转换前的Y分量
0≤i＜144，i＝0，1，2，3…等
0≤j＜176，j＝0，1，2，3…等
对于U、V分量，采用以下公式：
U’[i*88+j]＝((Hcoe*U[(i*Vcoe)*宽度/2+(j*Hcoe)]+U[(i*Vcoe*宽度/2)+(j*Hcoe+1)])/2/(1+Hcoe)+(Vcoe*U[(i*Vcoe+1)*宽度/2+(j*Hcoe)+U[(i*Vcoe+1)*宽度/2+(j*Hcoe+1)])/2/(1+Vcoe))
其中，U’＝转换后的U或V分量
U＝转换前的U或V分量
0≤i＜72，i＝0，1，2，3…等
0≤j＜88，j＝0，1，2，3…等
处理结束。
应该理解，也可以开发其他算法，以上算法仅给出示例。
下面参照图13，对于预记录内容，可以首先应用以上提到的多视区确定算法，以生成与角视区一样多的压缩比特流，多视区确定切换机制确定要传输哪个比特流。由此视频采集源(2，4)向多视区确定算法14提供完整帧图像，以生成如上参照图8所述的角视区121、131、141。然而，在此，将各个角视区输入到相应的编码解码器171、172、173，以产生相应的比特流181、182、183。该方法对于预记录视频内容尤其适用。
参照图14，将三个比特流提供给角视区开关151，通过利用网络从客户端输入数据包来预先对其进行控制。于是将适当的比特流传送到编码解码器17，该比特流被转换为适当的传输协议，用于对数据包18进行流传输，以显示在客户端装置上。
本发明尤其适于远程控制角视区，以从诸如摄像机或文件存储器的远程视频源提供可选图像或图像比例，以显示在小屏幕上，以及例如通过IP和移动通信网络进行传输。例如，本发明在视频监视、视频会议以及视频流传输方面的应用使得用户能够确定以什么样的细节来观看，并允许对由远程客户端控制的发送帧进行有效的虚拟缩放，而无需物理调整摄像机设置。
在视频监视中，可以观看整个场景，并且如果存在可能感兴趣的行为，则缩放为该场景的一部分。更具体地，由于可以将整个摄像机帧存储在数字数据存储器中，所以可以通过回溯所存储的图像并移动与所存储的帧相关的角视区，来在远程屏幕上检查显示出细节的区域。

Claims (21)

1、一种对视频信号进行流传输的方法，包括以下步骤：采集和/或存储视频帧或者视频帧序列，其中每一帧都包括“m”像素דn”像素的矩阵；将每一个所述m×n的帧压缩为“p”像素דq”像素的各个导出帧，以将其显示在能够显示至少p像素×q像素的帧的屏幕上，其中p和q分别远小于m和n；发送所述至少一个导出帧，并接收用于限定小于m×n像素的优选观看区域的信号；将所选择的观看区域压缩为p像素×q像素的进一步导出帧或者进一步导出帧序列；以及发送所述进一步导出帧，以进行具有下述特征的显示：所接收的信号包括用来限定所发送的进一步导出帧内的优选位置的数据，该数据确定了从中选出下一个进一步导出帧的m像素×n像素内的位置。
2、根据权利要求1所述的方法，其中所接收的信号还限定缩放级别，该缩放级别包括从所提供的多个有效缩放级别中选择一个，所述多个有效缩放级别中的每一个都限定包括至少p像素×q像素但不多于m像素×n像素的帧。
3、根据权利要求1或权利要求2所述的方法，其中所接收的信号用于使所发送的帧以逐个像素为基础从当前位置移动到新位置。
4、根据权利要求1或权利要求2所述的方法，其中所接收的信号用于使所发送的帧以帧区域选择为基础来移动。
5、根据权利要求1所述的方法，其中通过在主(M×N)帧中检测明显活跃的区域并发送该区域周围的较小帧，来自动选择要发送的帧。
6、根据以上任意一项权利要求所述的方法，其中使用所接收的控制信号来选择多个预定帧大小和/或视角中的一个。
7、根据权利要求6所述的方法，其中使用所述控制信号在所述主帧内从当前位置移动到新位置，并改变视区的大小，由此可以实现对所述主帧的特定区域的详细检查。
8、根据权利要求7所述的方法，其中所述选择是通过跳跃功能来进行的，该跳跃功能对控制功能进行响应，以根据指针的位置在所述主帧中选择不同的帧区域。
9、根据权利要求7所述的方法，其中所述选择是通过卷动功能来进行的，控制信号在逐个像素的基础上使帧移动。
10、一种用于视频流传输系统的终端装置，该装置包括：第一显示屏幕(20)，用于显示所传输的帧；第二显示屏幕(21)，具有可选择点，用于表示正在显示的区域或者想要显示的区域；以及传输装置，用于发送在当前显示的帧中限定优选位置的信号，其中从该当前显示的帧中导出下一个传输的帧。
11、根据权利要求10所述的终端装置，包括进一步显示装置(39)，该装置具有显示当前观看帧的坐标的能力，并且/或者用于显示与该观看帧相关的文本或其他信息。
12、根据权利要求11所述的终端装置，其中所述进一步显示装置(39)以其中存储有限定观看帧的信息的URL或类似定位标识的格式来显示文本。
13、根据权利要求10、11或12所述的终端装置，包括用于发送控制信号的低带宽接收路径，以及用于接收所选择的观看帧的高带宽路径。
14、一种服务器，其包括可以访问多个视频存储器(4)的计算机或文件服务器(1)，每一个视频存储器(4)都存储有多个视频帧，每一个视频帧都包括“m”像素דn”像素的矩阵；
并且/或者与摄像机(2)和数字图像存储器(3)相连，该摄像机(2)用于采集待发送的图像，在该数字图像存储器(3)中，将这些图像保存为视频帧序列，每一个帧都包括“m”像素דn”像素的矩阵；
该计算机(1)包括：装置(9)，用于将每一个所述m×n的帧压缩为“p”像素דq”像素的导出帧，以将其显示在能够显示至少p像素×q像素的帧的屏幕(6)上，并将所述每一个帧发送出去，其中p和q分别远小于m和n；服务器(1)，对用于限定小于m×n像素的优选观看区域的所接收的信号进行响应，以将所选择的观看区域压缩为p像素×q像素的导出帧或者进一步导出帧序列，以及传送该进一步导出帧，以进行具有下述特征的显示：服务器(1)响应于限定先前发送的帧内的优选位置的数据信号，以在所述m×n的主帧中选择该位置，其中从该主帧发送下一p×q的导出帧。
15、根据权利要求14所述的服务器，其中由所述摄像机(2)采集的图像存储在所述数字图像存储器(3)中，所述计算机(1)对从终端装置(6、7)接收的控制信号进行响应，以在所存储的主(m×n)帧内从当前位置移动到新位置，以及对所述新位置处的所选择的区域进行压缩，以使得如果实况动作观看表示感兴趣的观看可能超过或者部分超过当前观看帧，则用户可以及时地执行通过所观看区域的移动
16、根据权利要求14或15所述的服务器，其中所述计算机(1)运行选择和压缩程序(9)的多个实例，以使得能够进行对不同用户的分别发送。
17、根据权利要求16所述的服务器，其中所述选择和压缩程序的每一个实例都从摄像机源(2)提供选择，或者从所述视频存储器(4)之一中提供所存储的图像。
18、根据权利要求14到17中的任意一个所述的服务器，其中对来自摄像机(2)或者视频存储器(4)的数字化图像(主帧)进行预选择并将其分为多个帧，每一个帧对于开关装置(15)都同时可用，该开关装置(15)对用户数据输入(16)进行响应，以选择要发送所述帧中的哪一个。
19、根据权利要求18所述的服务器，其中所选择的数字化图像经过编码解码器(17)，以提供经封装的比特流，来发送给发出请求的用户。
20、根据权利要求18所述的服务器，其中所述多个帧中的每一个都被转换为准备发送给发出请求的用户的相应比特流，开关(15)响应于用户数据输入(16)选择要发送的比特流之一。
21、根据权利要求14至20中的任意一个所述的服务器，其中所述计算机对限定从主帧选择要观看的部分帧的用户输入信号进行响应，所述服务器(1)通过发送所述主帧(12)的压缩版本或者所述主帧的预选择区域(13、14)来对请求传输的用户数据包进行响应，并对限定观看帧的优选位置的后续用户数据信号进行响应，以传输限定该优选位置处的观看帧的比特流。
CN2003801080569A 2002-12-31 2003-12-30 视频流传输 Expired - Fee Related CN1732690B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0230328.7 2002-12-31
GBGB0230328.7A GB0230328D0 (en) 2002-12-31 2002-12-31 Video streaming
PCT/GB2003/005643 WO2004059979A1 (en) 2002-12-31 2003-12-30 Video streaming

Publications (2)

Publication Number Publication Date
CN1732690A true CN1732690A (zh) 2006-02-08
CN1732690B CN1732690B (zh) 2012-04-18

Family

ID=9950543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2003801080569A Expired - Fee Related CN1732690B (zh) 2002-12-31 2003-12-30 视频流传输

Country Status (8)

Country Link
US (1) US20060150224A1 (zh)
EP (1) EP1579695A1 (zh)
JP (1) JP4414345B2 (zh)
CN (1) CN1732690B (zh)
AU (1) AU2003290327A1 (zh)
CA (1) CA2511302A1 (zh)
GB (1) GB0230328D0 (zh)
WO (1) WO2004059979A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7893999B2 (en) 2006-05-22 2011-02-22 Broadcom Corporation Simultaneous video and sub-frame metadata capture system
US7953315B2 (en) 2006-05-22 2011-05-31 Broadcom Corporation Adaptive video processing circuitry and player using sub-frame metadata
CN101652986B (zh) * 2007-05-25 2012-01-04 索尼爱立信移动通讯股份有限公司 通信设备和图像传输方法
CN102364963A (zh) * 2011-11-08 2012-02-29 叶尔肯.拜山 一种针对不同访问终端的互联网视频数据提供方法
CN101529910B (zh) * 2006-09-29 2012-11-28 卢森特技术有限公司 用于移动视频服务的缩放特征的方法和设备
CN103493495A (zh) * 2011-04-27 2014-01-01 莫雷加系统股份有限公司 具有虚拟文件系统的自适应视频服务器及其使用方法
CN105245485A (zh) * 2014-05-26 2016-01-13 联想(北京)有限公司 一种信息处理方法及电子设备
CN109845274A (zh) * 2016-10-25 2019-06-04 索尼公司 发送设备、发送方法、接收设备和接收方法
CN110226316A (zh) * 2016-02-19 2019-09-10 阿尔卡鲁兹公司 用于对虚拟现实视频执行转换及流传输的系统及方法
CN111226264A (zh) * 2017-10-20 2020-06-02 索尼公司 回放装置和方法以及生成装置和方法
CN113176961A (zh) * 2021-05-14 2021-07-27 深圳前海微众银行股份有限公司 桌面帧处理方法、装置、设备及存储介质
CN113259716A (zh) * 2021-07-07 2021-08-13 摩尔线程智能科技(北京)有限责任公司 视频下发方法、视频获取方法、服务器、终端和系统
CN116033224A (zh) * 2023-02-17 2023-04-28 南京点量云流科技有限公司 一种实时云渲染系统中视频动态索引操控方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8112778B2 (en) * 2004-06-30 2012-02-07 Movius Interactive Corporation Video mail and content playback control with cellular handset
US7710349B2 (en) * 2005-07-18 2010-05-04 Sony Ericsson Mobile Communications Ab Methods and systems for sharing multimedia application data by a plurality of communication devices
WO2007043775A1 (en) * 2005-10-07 2007-04-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding hopping default view for multiple cameras system
SG138477A1 (en) * 2006-06-16 2008-01-28 Xia Lei Device with screen as remote controller for camera, camcorder or other picture/video capture device
US8375304B2 (en) * 2006-11-01 2013-02-12 Skyfire Labs, Inc. Maintaining state of a web page
US8443398B2 (en) * 2006-11-01 2013-05-14 Skyfire Labs, Inc. Architecture for delivery of video content responsive to remote interaction
US9247260B1 (en) 2006-11-01 2016-01-26 Opera Software Ireland Limited Hybrid bitmap-mode encoding
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
WO2008092131A2 (en) * 2007-01-25 2008-07-31 Skyfire Labs, Inc. Mobile device user interface for remote interaction
US8868785B1 (en) 2010-02-11 2014-10-21 Adobe Systems Incorporated Method and apparatus for displaying multimedia content
KR20110095800A (ko) * 2010-02-19 2011-08-25 삼성전자주식회사 코덱에 의해 압축된 동영상 컨텐트 전송 방법 및 그 장치
JP2011259114A (ja) * 2010-06-08 2011-12-22 Hitachi Ltd データ配信装置
CN102123259B (zh) * 2010-12-28 2012-09-26 四川长虹电器股份有限公司 一种在电视机上显示超大分辨率图片的方法
KR101467868B1 (ko) * 2012-12-20 2014-12-03 주식회사 팬택 소스 장치, 싱크 장치, 이들을 포함하는 무선랜 시스템, 싱크 장치를 제어하는 방법, 단말 장치 및 사용자 인터페이스
JP2014127744A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 撮像装置、撮像制御方法、及びプログラム
CN103685981B (zh) * 2013-12-23 2017-02-01 广东威创视讯科技股份有限公司 视频编码发送及分布式视频编解码方法、装置
KR101550885B1 (ko) * 2014-05-30 2015-09-07 주식회사 코이노 원격 화면 공유 환경에서 실시간 영역지정을 이용한 스트리밍 제어장치 및 그 방법
US20160353146A1 (en) * 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
US20170201689A1 (en) * 2016-01-10 2017-07-13 Project Ray Ltd. Remotely controlled communicated image resolution
US10326806B1 (en) 2016-07-19 2019-06-18 Google Llc Persisting state of a streaming application
US10652284B2 (en) * 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US10664553B2 (en) * 2017-10-06 2020-05-26 Schweitzer Engineering Laboratories, Inc. Generating a representation of high-frequency signal data from an electric power delivery system
KR20200094525A (ko) 2019-01-30 2020-08-07 삼성전자주식회사 서로 연관된 복수의 데이터를 포함하는 하나의 파일을 처리하는 전자 장치
US11509329B2 (en) 2021-02-10 2022-11-22 Schweitzer Engineering Laboratories, Inc. Compression of power system signals
US20230068739A1 (en) 2021-08-26 2023-03-02 Schweitzer Engineering Laboratories, Inc. Event analysis and display

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7849393B1 (en) * 1992-12-09 2010-12-07 Discovery Communications, Inc. Electronic book connection to world watch live
US5542003A (en) * 1993-09-13 1996-07-30 Eastman Kodak Method for maximizing fidelity and dynamic range for a region of interest within digitized medical image display
JP2813728B2 (ja) * 1993-11-01 1998-10-22 インターナショナル・ビジネス・マシーンズ・コーポレイション ズーム／パン機能付パーソナル通信機
US5960126A (en) * 1996-05-22 1999-09-28 Sun Microsystems, Inc. Method and system for providing relevance-enhanced image reduction in computer systems
JP3516328B2 (ja) 1997-08-22 2004-04-05 株式会社日立製作所 情報通信端末装置
US6178204B1 (en) * 1998-03-30 2001-01-23 Intel Corporation Adaptive control of video encoder's bit allocation based on user-selected region-of-interest indication feedback from video decoder
US6385772B1 (en) * 1998-04-30 2002-05-07 Texas Instruments Incorporated Monitoring system having wireless remote viewing and control
US7023469B1 (en) * 1998-04-30 2006-04-04 Texas Instruments Incorporated Automatic video monitoring system which selectively saves information
US6816184B1 (en) * 1998-04-30 2004-11-09 Texas Instruments Incorporated Method and apparatus for mapping a location from a video image to a map
WO2001069911A2 (en) * 2000-03-07 2001-09-20 Relative Motion Technologies, Inc. Interactive multimedia transmission system
US20030172131A1 (en) * 2000-03-24 2003-09-11 Yonghui Ao Method and system for subject video streaming
WO2001089221A1 (en) * 2000-05-18 2001-11-22 Imove Inc. Multiple camera video system which displays selected images
EP1162810A3 (en) 2000-06-07 2003-11-05 Hitachi Ltd. Data distribution device and method
AU2001275453A1 (en) * 2000-06-09 2001-12-17 Imove Inc. Streaming panoramic video
US6931661B2 (en) 2000-10-19 2005-08-16 Motorola, Inc. Dynamic image provisioning
WO2002067083A2 (en) 2001-02-16 2002-08-29 Wizeguides.Com Inc. Bundled map guide

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7893999B2 (en) 2006-05-22 2011-02-22 Broadcom Corporation Simultaneous video and sub-frame metadata capture system
US7953315B2 (en) 2006-05-22 2011-05-31 Broadcom Corporation Adaptive video processing circuitry and player using sub-frame metadata
CN101529910B (zh) * 2006-09-29 2012-11-28 卢森特技术有限公司 用于移动视频服务的缩放特征的方法和设备
CN101652986B (zh) * 2007-05-25 2012-01-04 索尼爱立信移动通讯股份有限公司 通信设备和图像传输方法
CN103493495A (zh) * 2011-04-27 2014-01-01 莫雷加系统股份有限公司 具有虚拟文件系统的自适应视频服务器及其使用方法
CN102364963A (zh) * 2011-11-08 2012-02-29 叶尔肯.拜山 一种针对不同访问终端的互联网视频数据提供方法
CN105245485A (zh) * 2014-05-26 2016-01-13 联想(北京)有限公司 一种信息处理方法及电子设备
US11470301B2 (en) 2016-02-19 2022-10-11 Alcacruz Inc. Systems and method for virtual reality video conversion and streaming
US11843759B2 (en) 2016-02-19 2023-12-12 Alcacruz Inc. Systems and method for virtual reality video conversion and streaming
CN110226316A (zh) * 2016-02-19 2019-09-10 阿尔卡鲁兹公司 用于对虚拟现实视频执行转换及流传输的系统及方法
CN110226316B (zh) * 2016-02-19 2022-06-10 阿尔卡鲁兹公司 用于对虚拟现实视频执行转换及流传输的系统及方法
US11375172B2 (en) 2016-02-19 2022-06-28 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
CN115225882A (zh) * 2016-02-19 2022-10-21 阿尔卡鲁兹公司 用于对虚拟现实视频执行转换及流传输的系统及方法
CN109845274B (zh) * 2016-10-25 2021-10-12 索尼公司 发送设备、发送方法、接收设备和接收方法
CN109845274A (zh) * 2016-10-25 2019-06-04 索尼公司 发送设备、发送方法、接收设备和接收方法
CN111226264A (zh) * 2017-10-20 2020-06-02 索尼公司 回放装置和方法以及生成装置和方法
CN113176961A (zh) * 2021-05-14 2021-07-27 深圳前海微众银行股份有限公司 桌面帧处理方法、装置、设备及存储介质
CN113176961B (zh) * 2021-05-14 2024-05-31 深圳前海微众银行股份有限公司 桌面帧处理方法、装置、设备及存储介质
CN113259716A (zh) * 2021-07-07 2021-08-13 摩尔线程智能科技(北京)有限责任公司 视频下发方法、视频获取方法、服务器、终端和系统
CN116033224B (zh) * 2023-02-17 2024-02-06 南京点量云流科技有限公司 一种实时云渲染系统中视频动态索引操控方法
CN116033224A (zh) * 2023-02-17 2023-04-28 南京点量云流科技有限公司 一种实时云渲染系统中视频动态索引操控方法

Also Published As

Publication number Publication date
CA2511302A1 (en) 2004-07-15
EP1579695A1 (en) 2005-09-28
JP2006512815A (ja) 2006-04-13
CN1732690B (zh) 2012-04-18
US20060150224A1 (en) 2006-07-06
JP4414345B2 (ja) 2010-02-10
WO2004059979A1 (en) 2004-07-15
AU2003290327A1 (en) 2004-07-22
GB0230328D0 (en) 2003-02-05

Similar Documents

Publication Publication Date Title
CN1732690A (zh) 视频流传输
CN1198454C (zh) 信息处理方法及设备、内容分配服务器及其方法
CN1165164C (zh) 效果添加设备和效果添加方法
US20140007211A1 (en) System, method and computer readable recording medium for linking television and smart phone using image authentication key
US20090300701A1 (en) Area of interest processing of video delivered to handheld device
CN1276660C (zh) 信息提供系统、广播接收装置和服务器装置
CN101616258B (zh) 图像处理设备和图像处理方法
CN101035277A (zh) 产生压缩的代码转换提示元数据的方法和设备
CN1949839A (zh) 视频处理系统、机顶盒及处理音/视频信息的方法
CN1691775A (zh) 用于电子节目指南的内容进度指示器
US20120088478A1 (en) Apparatus and method for controlling application in wireless terminal
CN1607828A (zh) 通信系统和方法
CN1574912A (zh) 与远程摄像·照相机通信时的便携终端装置的操作
CN1205154A (zh) 图像声音解码装置和图像声音编码装置以及信息传输系统
CN1714554A (zh) 视听媒体编码系统
US20140157294A1 (en) Content providing apparatus, content providing method, image displaying apparatus, and computer-readable recording medium
CN101052130A (zh) 提供可用编解码器信息的设备和方法
JP2013255210A (ja) 映像表示方法、映像表示装置および映像表示プログラム
TW201720170A (zh) 用戶變焦編碼內容解譯及表達方法及系統
JP5123681B2 (ja) 映像表示装置及びその制御方法、並びに映像出力装置及びその制御方法
CN101039420A (zh) 一种基于流格式的图像传输方法、预测算法及显示方法
CN1738388A (zh) 信息处理方法和设备和记录介质
JP2004072398A (ja) 情報処理システム、情報処理装置および方法、プログラム格納媒体、並びにプログラム
JP2004274260A (ja) テレビジョン受像機、画像閲覧システムおよび方法、ならびに、端末装置およびサーバ装置
KR100736898B1 (ko) 원격 카메라 서비스 제공 영상전송 이동통신 시스템 및이를 이용한 영상전송 서비스 제공방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120418

Termination date: 20131230