CN1118767C - 用于在显示屏幕上显示多个图像的方法和系统以及使用该方法的服务器和远程监控系统 - Google Patents
用于在显示屏幕上显示多个图像的方法和系统以及使用该方法的服务器和远程监控系统 Download PDFInfo
- Publication number
- CN1118767C CN1118767C CN98122648A CN98122648A CN1118767C CN 1118767 C CN1118767 C CN 1118767C CN 98122648 A CN98122648 A CN 98122648A CN 98122648 A CN98122648 A CN 98122648A CN 1118767 C CN1118767 C CN 1118767C
- Authority
- CN
- China
- Prior art keywords
- video
- size
- frame
- reduces
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Controls And Circuits For Display Device (AREA)
- Digital Computer Display Output (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
一种在基于计算机的系统的显示屏幕上提供的窗口阵列显示多个特定图像的方法和系统。使用帧尺寸将活动和/或静止的图像尺寸减小为减小尺寸图像。将减小尺寸图像编码为编码减小尺寸图像并存储在硬盘。响应预定的信号和要显示的图像列表,通过所述列表从编码减小尺寸图像编辑显示帧。解码显示帧并显示。
Description
本发明涉及用于显示在一帧上尺寸减小的图像阵列的方法和系统以及加入诸如视频编辑装置,电影或图像数据库系统,视频监控装置之类装置的装置。显示图像可以是静止图像,不同视频帧和/或不同的单独视频帧(视频指的是一组活动图像)。
存在必须同时显示多个图像的各种系统。1993.1.29公布的日本未审查专利公报No.平5-19731公开了一种活动图像显示装置。在该装置中,以预定的格式编码每一帧并预先存储在硬盘。通过仅解码要求的活动图像的局内编码帧,将解码帧的尺寸减少为适当的尺寸,并同时显示尺寸减小的帧作为一个单独的活动图像来完成同时显示多个活动图像。用于显示的局内编码帧是通过使用DCT(离散余弦变换)已编码为静止图像的帧,由此在不需要涉及其他帧的情况下可以被单独解码。
然而,由于必须以该方案解码要显示的每一帧,如果要同时显示较大数量的帧,该方案需要较多的解码器或较快的解码器。此外,由于每次显示要执行减小和解码操作,所以要花费较长时间显示多个图像。
因此,本发明的一个目的是提供一种通过在编码可用的活动和/或静止图像之前减小其尺寸使用一个单独的解码器从可用的活动和/或静止图像同时显示要求的图像阵列的系统和方法。
依据本发明的一个方面,提供了一种在基于计算机的系统的显示屏幕上所提供的窗口阵列中显示多个特定(由用户选择和指定)的静止和/或活动图像的方法和系统。
根据本发明的一个方面,一种在基于计算机的系统的显示屏幕上所提供的窗口阵列中显示多个特定图像的方法包括步骤:由所述窗口的尺寸将所述图像的尺寸减小为尺寸减小的图像;将所述尺寸减小的图像编码为编码的尺寸减小图像;将所述经编码的尺寸减小图像存储在大容量存储装置;响应于预定的信号和所述多个特定图像,编辑包括所述特定图像的经编码的尺寸减小图像的帧;以及解码所述经编辑的帧用于显示。
依据本发明的一个方面,一种在基于计算机的系统的显示屏幕上所提供的窗口阵列中显示多个特定图像的系统包括:用于由所述窗口的尺寸将所述图像的尺寸减小为尺寸减小的图像的装置;用于将所述尺寸减小的图像编码为经编码的尺寸减小图像的装置;用于将所述经编码的尺寸减小图像存储在大容量存储装置的装置;用于响应于预定的信号和所述多个特定图像,编辑包括所述特定图像的经编码的尺寸减小图像的帧的装置;以及用于解码所述编辑帧用于显示的装置。
依据本发明的另一个方面,提供了一种使用诸如MPEG(活动图像专家组)解码器等标准解码器在显示屏幕上所提供的窗口阵列中显示多个特定视频(或活动图像)的方法和系统。在此方法或系统中,由所述窗口的尺寸将所述视频的尺寸减小为尺寸减小的视频。将所述尺寸减小的视频编码为每个包含N个位片的经编码的尺寸减小视频,这里N是构成每个经编码的尺寸减小视频的位片的数目。产生和存储使每个所述尺寸减小的视频与长度和距所述每个尺寸减小的视频开始处的距离相联系的位片信息。将所述经编码的尺寸减小视频和所述位片信息多路复用为一组组件,每个组件包括视频数据部分和位片信息部分,所述视频数据部分包括第一标题,该标题包含所述第一ID代码和每个经编码的尺寸减小视频的预定的帧数,所述位片信息部分包含第二标题,该标题包含第二ID代码和所述预定帧数的位片信息。响应于预定的信号和所述特定视频,对于每个所述经编码的尺寸减小视频,通过使用所述位片信息从所述组件组读取所述N个位片以编辑一组帧,每个所述帧包括从相应的特定视频得到的经编码的尺寸减小帧。使用标准解码器解码所述经编辑的帧组用于显示。
依据本发明的再一个方面,提供了一种使客户终端在所述客户终端的显示屏幕上所提供的窗口阵列中显示多个特定图像的服务器,所述服务器包括:用于由所述窗口的尺寸将所述图像的尺寸减小为尺寸减小的图像的装置;用于将所述尺寸减小的图像编码为经编码的尺寸减小图像的装置;用于把所述经编码的尺寸减小图像存储在大容量存储装置中的装置;响应于预定的信号和所述多个特定图像,编辑包括所述特定图像的经编码的尺寸减小图像的帧的装置;以及把所述经编辑的帧传输到所述客户终端的装置。
依据本发明的又一个方面,提供了一种使客户终端在客户终端的显示屏幕上所提供的窗口阵列中显示所存储的视频中多个检索视频的视频数据库服务器,所述服务器包括:用于由所述窗口的尺寸将所述图像的尺寸减小为尺寸减小的图像的装置;用于将所述尺寸减小的图像编码为经编码的尺寸减小图像的装置;用于把所述经编码的尺寸减小图像存储在大容量存储装置中的装置;响应于接收到来自请求客户终端的请求,提供预定的信号和检索图像列表的装置;响应于所述预定的信号和所述检索图像列表,编辑包括所述列表中所述检索图像的经编码的尺寸减小图像的帧的装置;以及把所述经编辑的帧传输到所述请求客户终端的装置。
依据本发明的还有一个方面,提供了一种远程监控系统。该远程监控系统包括:多个远程终端;以及中心装置,用于收集来自所述远程终端的视频数据并在显示屏幕上所提供的窗口阵列中显示所述收集的视频。每个远程终端包括:用于提供拍摄视频的视频摄像机;用于将以所述窗口的尺寸将所述视频的尺寸减小为尺寸减小的视频的装置;用于将所述尺寸减小的视频编码为经编码的尺寸减小视频的装置;以及把所述经编码的尺寸减小视频发送到所述中心装置的装置。所述中心装置包括:用于接收来自每个远程终端的所述经编码的尺寸减小视频的装置;用于编辑包括来自所述远程终端的所述接收到的经编码的尺寸减小视频的帧的装置;以及用于解码所述经编辑的帧用于显示的装置。
通过下面结合附图对本发明的优选实施例所做的描述,本发明的进一步的目的和优点将变得显而易见,其中:
图1是表示根据本发明的原理同时显示多个视频或活动图像的方法的基本点的流程图;
图2是表示加入本发明的示范实施例的用户-服务器视频(活动图像)数据库系统的示意方框图;
图3是表示图2的硬盘的典型内容的图;
图4是表示编码操作如何使尺寸减小的视频的固定长度位片成为可变长度的图;
图5是表示将经编码的尺寸减小视频存储在硬盘194的方式的图;
图6是表示要求的尺寸减小的图像如何显示在窗口阵列的图;
图7是表示在尺寸减小的视频如图6所示排列显示的情况下的典型的输出视频图的图;
图8是表示在尺寸减小的视频按窗口(1,1),(2,1),*,(X,1),(1,2)等顺序排列显示的情况下的另一个典型的输出视频图的图;
图9是表示在较高的帧频Ri时的视频的编辑帧Fk(k=1,2,*)和帧Fi,j=1,2,*)之间的时间相关性的图;
图10是表示在较低的帧频Ri时的视频的编辑帧Fk(k=1,2,*)和帧Fi,j(j=1,2,*)之间的时间相关性的图;
图11是表示根据本发明的原理同时显示多个不同帧频的视频的典型操作的流程图;
图12是表示显示包括仅显示帧数100到299的视频的多个视频的典型操作的流程图;
图13是表示优选输出视频的典型结构的图;
图14是表示响应于控制器113的指令帧编辑器逻辑电路109从选择的帧F1,j,F2j,.....Fv,j编辑显示帧FK的典型操作的流程图;
图15是表示根据本发明的第二实施例的用于视频DB服务器的视频编码器的原理方框图;
图16是在编码尺寸减小的视频Pi时位片INFO发生器169产生的位片信息表180的实例;
图17是表示图15的视频编码器产生的多路复用经编码的尺寸减小视频数据流的实例图;
图18是表示多路复用经编码的尺寸减小视频数据如何分配并存储在多个硬盘的图:
图19是表示加入本发明的示范实施例的独立应用系统的原理方框图;
图20是表示加入本发明的第三示范实施例的远程监控系统3的原理方框图;
附图中,在多于一张附图中表示的相同元件被标以相同的参考数字。
图1是示出本发明方法和系统的基本概念的流程图。在图1中,由窗口的尺寸把静止和/或活动图像的尺寸减小成为尺寸减小的图像(步骤301);把尺寸减小的图像编码成为经编码的尺寸减小图像(步骤302),把这些图像存储在大容量存储装置中(步骤303);响应于预定信号和待显示的图像的列表,从列表所指定的经编码的尺寸减小图像中编辑图像的帧(步骤304);对经编辑的图像进行解码以显示(305)。
图2是表示加入本发明的示范实施例的客户-服务器视频(活动图像)数据(DB)库系统1的原理方框图。视频数据库系统包括:
收集并管理多种视频的视频数据库服务器10;
允许用户从视频数据库服务器10检索期望的视频的多个客户终端20;
传输网络30,用于视频数据库服务器10和客户终端20互相通信;
该传输网络30可以是LAN(局域网),包括能够通过电话线或无线电波在一个相对较大的地域内通信的诸如以太网(IEEE802.3标准),令牌环网络,等等或WAN(广域网)之类的高速数据传输系统。
为接收视频数据,视频DB服务器10至少包括一个用于接收视频像素数据的视频接口(IF)101或者用于重新播放一光盘以接收编码视频数据的诸如光盘驱动器之类的视频接收装置102和用于将接收的编码视频数据解码为视频像素数据的视频解码器103的组合。假定服务器10具有它们两个装置。服务器10还包括:
硬盘104,用于存储包括编码视频的各种程序和数据;
图像尺寸减小逻辑电路105,用于将来自视频解码器103或视频接口101的视频像素数据的尺寸减小为一适当的尺寸,即,宽度和高度分别为X和Y,这里M和N是一个适当的自然数;
视频编码器107,用于将来自图像尺寸减小逻辑电路105的尺寸减小的视频数据编码为用于显示的经编码的尺寸减小视频,并将其存储在硬盘104,该装置还用于将来自视频IF101的视频像素数据编码为用于响应于客户20的最终或一般要求的提供实际视频数据的全尺寸编码视频,然后将视频存储在硬盘104;
帧编辑器109,用于编辑包含来自存储在硬盘104的要求的经编码的尺寸减小视频之一的编码视频阵列的帧;
通信接口111,用于接收来自客户206服务请求并通过传输网络30将经编码的尺寸减小视频的编辑帧和正式请求的全尺寸编码视频传输给客户20;
控制器113,用于控制整个的视频DB服务器10;和
系统总线117,用于互连上述部件。
控制器113包括未示出的CPU(中央处理单元),以及本领域所熟知的未示出的只读存储器和RAM(随机存取存储器)115。注意到如果服务器10设置视频IF101,就使得视频编码器107能够用于尺寸减小视频和全尺寸视频。
客户终端20包括:
通信接口(IF)121,用于与视频DB服务器10通信;
视频解码器123,用于将来自通信IF121的接收的经编码的尺寸减小视频帧解码为数字视频数据帧;
数字到模拟转换器(DAC)125,用于将数字视频数据帧转换为模拟视频数据帧;
NTSC/PAL(全国电视制式委员会/相位变化线)编码器127,用于将模拟视频数据帧编码为NTSC或PAL格式;
控制器135,用于控制视频解码器123的操作;
用户接口129,用于将控制器接口提供给用户;
显示装置131,与用户IF129连接,用于显示尺寸减小的视频帧;和
输入装置133,诸如键盘,鼠标等等,控制器135包括未示出的CPU(中央处理单元),以及本领域所熟知的未示出的只读存储器和未示出的随机存取存储器。
图3表示图2的硬盘104的典型内容。在图3,单独的线框表示程序,阴影框表示数据。
硬盘104存储:
操作系统141;
接收程序143,用于通过接收装置102和视频IF101分别接收编码视频数据和视频像素数据;
全尺寸编码视频151,已通过视频接收装置102或通过视频IF101和视频编码器107被接收;
编码尺寸减小的视频153或编码视频151的减小尺寸型式,通过视频编码器107被接收;
视频信息DB(数据库)155,包括视频155上的信息;
DBMS(数据库管理系统)145,用于管理视频信息DB155;和
DB服务程序或主程序147,用于接收来自客户20之一的服务请求并将借助于DBMS155所获得的信息提供给请求客户20。
视频DB服务器10的工作大略分为两类,即,视频的收集和维护与为客户20收集的视频的检索服务,从本发明的角度来看,包括用于准备接收的全尺寸视频的编码减小尺寸型式的预处理和用于编辑来自检索视频的编码减小尺寸型式的编码视频数据帧的编辑处理。因此,下面我们讨论集中在预处理和编辑处理的视频接收操作和检索服务操作。
如果接收的视频是一个编码视频,经视频接收装置102接收编码视频并将其存储在硬盘作为全尺寸编码视频151。为减小接收编码视频的尺寸,通过视频解码器103将接收编码视频解码为数字视频数据帧,然后通过图像尺寸减小逻辑电路105。
如果接收的视频是诸如NTSC或PAL之类的YIQ格式(为亮度(Y)信号和两个加权色差信号I和Q(相位和90度相移)的组合),通过视频IF101将YIQ格式视频转化为数字视频数据帧,然后不仅通过图像尺寸减小逻辑电路105而且通过视频编码器107。通过视频编码器107将来自视频IF101的数字视频数据帧编码为编码视频,然后将其存储在硬盘104作为全尺寸编码视频151。
图像尺寸减小逻辑电路105将数字视频数据帧的尺寸减小为X*Y帧,即,帧的宽度为X,高度为Y。假定检索视频在客户20的显示装置131显示为X-Y尺寸减小的图像阵列。
然后通过视频编码器107编码尺寸减小的视频并存储在硬盘104作为经编码的尺寸减小视频153。
在视频编码器107,输入的尺寸减小的视频暂存在缓冲存储器108。如果全尺寸帧被分为M’*N’宏模块(M’位片),存储在缓冲器108的尺寸减小的视频被分为如图4所示的M*N宏模块,这里M=M’/X,N=N’/Y。如果全尺寸帧包括例如40*32宏模块(32位片)并且如果检索视频显示为8×8尺寸减小的图像阵列,每个尺寸减小的帧就被分为5(=40/8)*4(=32/8)宏模块(4位片)。每个宏模块包括2×2模块,每个模块包括8×8像素。
视频编码器107对每个宏模块的每个模块执行公知的编码操作。由于在编码操作结束时执行可变长度编码,模块的长度是可变的,因此位片的长度也是可变的。
由此,在该特定实施例以图5所示的格式存储每个经编码的尺寸减小视频153。尤其是,假定每个经编码的尺寸减小视频153包括帧{Fj;j=1,2...},每个帧Fj包括位片{Sj,k;k=1,2*N},以及每个位片Sj,k的长度由固定长度长度代码Lj,k(字节)指定,接着存储每一个由固定长度长度代码Lj,k开始的每个经编码的尺寸减小视频,S1,1,S1,2,...,S1,N,S2,1,S2,2…。这样做是使得从每个经编码的尺寸减小视频文件153有效地读取位片数据。这样,为同时多重显示准备了经编码的尺寸减小视频。
如果视频DB服务器10接收查询表达式的视频检索请求,服务器10就将查询表达式送到DBMS。响应于接收的检索视频IDs表,服务器10编辑由检索视频IDs识别的来自经编码的尺寸减小视频的编码视频帧。下面将描述编辑过程。
图6是表示要求的尺寸减小的图像如何以窗口阵列显示。如图6所示,显示屏幕分为X*Y窗口{Wx,y:x=1,2,...X,y=1,2,...Y}。每排窗口包括N个位片(N是构成一个尺寸减小的视频的位片数)。假定要显示的经编码的尺寸减小视频的IDs给定为{Pi:i=1,2,..,V,V≤X*Y},控制器113首先将视频P1,P2,*PV分配给要求的各个窗口,如图6所示。可以以任何几何模式进行视频P1,P2,*PV的分配。然后,控制器113根据该分配产生一个输出(或显示)视频图。图7表示在如图6所示排列显示视频P1,P2,*PV的情况下的典型的输出视频图;图8是表示在以窗口(1,1),(2,1),*,(X,1),(1,2)顺序排列的视频P1,P2,*PV的情况下的另一个典型的输出视频图
反之,每个视频Pi包括帧{Fi,j:j=1,2,3...}。在决定每个经编码的尺寸减小视频Pi和要显示该视频Pi的窗口(x,y)之间的对应之后,控制器113指示帧编辑器逻辑电路109开始编辑帧。
假定显示视频P1, P2,*PV的帧频为R1,R2,*RV(帧/秒),帧编辑器逻辑电路109以R帧/秒的速率编辑帧{Fk:k=1,2,3,*}。编辑帧的帧频R最好处于视频P1,P2,*PV的最小速率和最大速率的之间的范围。在编辑每帧时,帧编辑器逻辑电路109以下面的方式从视频P1,P2,*PV选择一适当的帧Fi,j。
图9是表示在较高帧频Ri的情况下编辑帧Fk(k=1,2,*)和视频帧Fi,j(j=1,2,*)之间的时间相关性。在图9,用于编辑帧Fk的视频Pi的帧数给定为满足等式:
(k-1)/R=(j-1)/Ri
的最大整数j。
这样,j=[(Ri/R)*(k-1)]+1。
这里,[A]表示不大于A的最大整数。
图10是表示在较低帧频Ri的情况下编辑帧Fk(k=1,2,*)和视频帧Fi,j(j=1,2,*)之间的时间相关性。从图10可看出,用于编辑帧Fk的编辑帧Fk的帧数k和视频Pi的帧数j为满足等式:
(1/Ri)*(j-1)≤(1/R)*(k-1)<(1/Ri)*j
的整数。
解出j为
(Ri/R)*(k-1)<j≤(Ri/R)*(k-1)+1
由于帧数j为整数,我们再次得到
j=[(Ri/R)*(k-1)]+1。
这样,对于每个帧Fk,可以从由
j=[(Ri/R)*(k-1)]+1。
识别的视频P1,P2,*PV帧Fi,j(I=1,2,...V)中选择的任何要求速率显示编辑帧Fk(k=1,2,*),与视频的帧频无关。
图11是表示根据本发明的原理同时显示各种帧频的多个视频的典型操作的流程图。在创建输出视频图之后,控制器113进入图11的操作。在步骤202,包括在帧Fk的编辑帧数k和第一视频的号码“i”设定为1。在步骤204,根据等式(1)设定视频P1的帧数j。
在步骤206,做一个测试看该视频是否是一个特定的从要求的帧No.B1显示的视频PI1。如果是,在步骤208将值(B1-1)增加到视频PI1的帧数j。如图12所示可能希望仅显示限定的帧。在图12,仅从帧No.100到300显示视频PI1=A2,而从视频的开始显示其他的视频A1,B1和B2。在视频A2的情况下,在步骤208将值(100-1)增加到帧数j。如果存在要显示来自某一帧而不是第一帧的另一个视频,就将象206和208这样的一对步骤插入用于该视频的从步骤206到步骤210的“NO”通道,重复这样的过程直到全部这样的视频处理完为止。为能够系统地进行上述过程,最好如图13所示将用于显示的初始帧数Fi,Bi和结束帧数Fi,Ei的帧场增加到显示视频图并将用于某值的视频的一对类似206和208这样的步骤插入到输出视频图。
在步骤210,选择这样确定帧数的一帧用于视频Pi。在步骤212增加视频ID号码i。在步骤214做一个测试看是否已处理完视频。如果否,控制返回204。如果步骤214的结果为YES,在步骤216控制器113就指示帧编辑器逻辑电路109编辑来自选择的帧F1,j,F2,j,...Fv,j的帧Fk(下面将描述由帧编辑器逻辑电路109进行的编辑操作)。
在步骤218,做一个测试看编辑的帧数k是否等于(E1-B1)+1,这里E1是用于特定的视频PI1显示的最后帧数(在该实例中=A2)。如果是这样,因为不必再次显示视频PI1,在步骤220控制器113删除输出视频图中的视频PI1的ID。在图12的A2的情况下,如果在步骤218k=(299-100)+1=200,从输出视频图删除视频A2,这使得不再显示帧F11.201和后面的帧。如果存在仅显示从帧数B2到E2的帧的另一个视频,就将类似218和220这样的一对步骤插入用于该视频的从步骤218到步骤222的“NO”通道,重复这样的过程直到全部这样的视频处理完为止。为能够系统地进行上述过程,最好将用于某值的视频的一对类似218和220这样的步骤插入到输出视频图的结束帧场。
在步骤222,增加编辑帧数k。在步骤224,做一个测试看是否继续多重视频显示操作。可以以多种方式进行这样的测试,例如,通过比较编辑帧数,从显示操作开始所过去的时间,或者具有一预置值的特定视频的帧数或通过检查是否发出停止指令。如果否,控制器进入步骤204。如果步骤224的测试结果为YES,控制器113结束该操作。以这种方式,视频DB服务器10能够以任何要求的速率同时显示不同帧频的多个视频。
图14是表示帧编辑器逻辑电路109响应于控制器113的指令从选择的帧F1,j,F2,j,...Fv,j编辑显示帧Fk的典型操作的流程图。在图14,在步骤401帧编辑器逻辑电路109首先将当前窗口的y坐标设定为1,在步骤402将y=1的窗口行的位片数s设定为1,并在步骤403将当前窗口的x坐标设定为1。
在步骤404,帧编辑器逻辑电路109做一个测试看是否有任何视频与输出视频图内的窗口(x,y)有关。如果是,帧编辑器逻辑电路109输出与该窗口(x,y)有关的视频的选择帧Fi,j的第s位片Si,j。否则,逻辑电路109输出表示步骤406内的视频不存在的预定代码。参考图6和7,我们特别讨论这种情况。如果图6中(x,y)=(2,1),由于在步骤404没有视频与图7的窗口有关,帧编辑器逻辑电路109输出预定代码。如果(x,y)=(3,1),由于在步骤404视频P1与图7的窗口有关,帧编辑器逻辑电路109输出与该窗口(3,1)有关的视频P1的选择帧F1,j的第一位片S1,j,1。在这种情况下,根据等式(1)输出的帧数j给定为:
j=[(R1/R)*(k-1)]+1
如果k=1,则j=1。即,逻辑电路109检索P1文件用于第一帧的第一位片的长度代码,L1,1,并输出长度为L1,1的数据,其中数据跟随长度代码L1,1。
在步骤407,增加x坐标。在步骤407,做一个测试看是否x>X。如果是,逻辑电路109返回步骤404。否则,逻辑电路109进入步骤409,在这里增加位片数s。在步骤410,做一个测试看是否s>N或已处理完窗口内的位片。如果是,在步骤411增加y坐标。否则,控制进入步骤403。在步骤412,做一个测试看是否y>Y如果否,控制进入步骤402。如果步骤411中y>Y,。帧编辑器逻辑电路109就结束这种操作。以这种方式,包括来自视频P1,P1,*PV的帧的编辑帧发送到请求客户20。然后,每次控制器113执行图11的步骤216用于后面的显示帧F2,F3,*时,帧编辑器逻辑电路109执行图14的操作。
响应于接收的编辑帧Fk,请求客户20由部件123,125和127解码,模拟到数字转换和NTSC/PAL编码接收的编辑帧Fk以显示由检索视频Ids识别的尺寸减小的视频阵列。
通过使用输出视频图,如图6所示在窗口阵列可以以任何要求的模式排列尺寸减小的视频。显示的尺寸减小的视频的尺寸不必相同。在水平和/或垂直范围可以两倍或三倍地增加一个或多个视频。
此外还注意到显示图像不必来自不同的视频,的某些或全部可以来自相同的视频。
在上述实施例,如图15所示,使用位片长度代码Lj存储经编码的尺寸减小视频153。作为一种替换,参考视频编码器产生的位片信息可以获得视频Pi的位片Sj,s。
第二实施例
图15是表示根据本发明的第二实施例的用于视频DB服务器的视频编码器167的原理方框图。在图15,视频编码器167还包括位片信息(INFO)发生器169,通过该发生器能够获得要求的视频Pi的位片Sj,s,和与后面详细描述的位片INFO和填充比特对应的,用于多路复用经编码的尺寸减小视频Pi数据的多路复用器(MUX)171。
图16是在编码尺寸减小的视频Pi时位片信息INFO发生器169产生的位片信息表180的实例。每次记录的表180包含帧数j181,位片数s183,从Pi文件153开始的偏移185,和位片长度Lj,s187。注意到由于在第一位片信息之前存在诸如标题之类的各种数据,所以第一帧(j=1)的第一位位片(s=1)的偏移值不为零。最好将视频Pi的位片INFO表180与对应的视频文件Pi相联系地存储,例如,通过在表中给出相同的名字,但不同的文件扩展名。
当使用位片Sj,d时,帧编辑器逻辑电路109使用与j有关的偏移185和位片长度187而不是使用图5的位片长度。
为能够用一个诸如MPEG(活动图像专家组)解码器之类的标准解码器解码全尺寸编码视频和经编码的尺寸减小视频,最好使用编码器167这样的标准编码器,同样地最好使用图2的解码器103和123这样的标准解码器。
为此目的,如图17所示,多路复用器(MUX)171最好产生一多路复用数据流180。数据流180包括一组组件。在该特定实例,每个组件包括一个包含8帧经编码的尺寸减小视频数据的视频数据部分183,一个包含该八帧的位片信息的位片表数据部分184。每个组件还包括使组件长度恒定的填充数据部分185。假定包含填充数据部分187的每个组件使每个组件的长度为L0字节并假定三个部分183-185的长度分别为L1,L2和L3。
三个部分183-185分别以32-比特分组开始代码PSC1,PSC2和PSC3开始。每个分组开始代码包括24-比特固定值代码和用于识别后面的数据的8-比特ID代码。
长度L1等于32比特加上8帧经编码的尺寸减小视频数据的长度。
L2=(Lpi+Ls1)*N*FN+3字节
这里是位片的位置信息的长度,Ls1是位片长度的长度,N是构成一编码视频的位片树,FN是一组件内的帧数(在该实例为8)。如果Lpi和Ls1是4字节,则L2=64N+3字节。
L3=L0_(L1+L2)
这样,多路复用器171实际输出长度等于L3-3字节,即,L0-(L1+L2+3)字节的填充数据。
控制器113和帧编辑器逻辑电路109使用跟在开始代码PSC1后面的数据作为8帧经编码的尺寸减小视频数据和跟在代码PSC2后面的数据作为八帧的位片表180数据并忽略跟在代码PSC3后面的数据。
如果我们假定多路复用数据流180是MPEG比特流,每个组件是MPEG系统组件,每个视频数据部分是视频信息包。分组开始代码PSC1的ID代码通过EFH可以取值E0(H表示十六进制)。分组开始代码PSC2和PSC3的ID代码最好设定为BFH以处理作为由MPEG标准定义的两个专用信息包的位片数据部分和填充数据部分。如果使多路复用器171产生多路复用比特流或包括作为组件标题和系统标题所必须的代码的Pi比特流,就能够使包括用于帧编辑的位片表数据的多路复用经编码的尺寸减小视频数据流由普通的MPEG解码器解码。也有可能排列多路复用编码比特流使得多路复用编码比特流为AVI(视听交错)格式或DV(DVCPRO)格式。
下面将描述从Pi比特流获得帧的方法。假定得到帧100(=j),即,F1,100。
由于每个组件包含8帧,包含帧j的组件的组件号Np给定为:
Np=<j/8>
=13
这里<A>表示不小于A的最小整数。这样,帧编辑器逻辑电路109读取跟在以Pi比特流180开始处开始的L0*(13-1)(=12*L0)字节后面的L0字节数据。如果我们假定L0为8192,接着逻辑电路109读取跟在以比特流180开始处开始的106496字节后面的8192字节数据。通过使用位片数据,能够读取任何位片。
修改I
上述实施例已使用一个硬盘104。然而,如图18所示,服务器1可以配置多个(Nd)硬盘104a,例如,4个硬盘D1,D2,D3和D4。在这种情况下,视频编码器107或167最好以下面的方式存储视频Pi数据帧(下面的十进制数字表示帧数)。
D1: 1,5,9,13,17,*
D2: 2,6,10,14,18,*
D3: 3,7,11,15,19,*
D4: 4,8,12,16,20,*
由于每个组件包含8帧,存储在盘D1的组件包含下面的帧:
组件D1/1: 1,5,9,13,17,21,25,29
组件D1/2: 33,37,41,45,49,53,57
组件D1/3: 61,65,69,73,77,81,85
以D1/1,2,3的顺序在硬盘存储组件D1/1,2,3*等等。
帧编辑器逻辑电路109从帧1到32的视频数据,帧数据的位片信息和填充数据创建组件D1/1,D2/1,D3/1和D4/1。组件D1/1,D2/1,D3/1和D4/1存储在相应的硬盘D1,D2,D3和D4。从帧33到64创建组件D1/2,D2/2,D3/2和D4/2并存储在相应的硬盘。
通过指定帧数或者通过指定分组号实现帧的读取。如果指定帧数j,存储帧j的硬盘D#给定为:
#=(j mod Nd)
这里#是盘号,Nd是盘的数目(在这种情况下为4),和(X mod Y)表示j/Nd的除法结果的余数。包含特定帧j的组件的数目给定为<j/(Nd*Nf)>,这里Nf是一个组件中的帧的数目,<A>是不小于A的最小整数。
这样做使得进入硬盘104所包括的负载分配到多个硬盘。
修改II
上述视频DB系统1是客户-服务器配置。然而,体现本发明的系统可以是独立存在的配置。
图19是表示加入本发明的示范实施例的独立应用系统的原理方框图。在图19,系统2包括:
上述的视频接收装置102;
帧编辑器逻辑电路109;
视频解码器323,用于将接收的编码视频数据解码为视频像素数据并解码来自帧编辑器逻辑电路109的尺寸减小的视频的编辑帧;
硬盘104;
图像尺寸减小逻辑电路105;
视频编码器107a,用于将来自图像尺寸减小逻辑电路105的尺寸减小的视频数据编码为用于显示的经编码的尺寸减小视频,然后将其存储在硬盘103;
视频输出IF330,其具有上述的DAC125,NTSC/PAL编码器127和显示接口的功能;
控制器310,用于控制整个系统2;
输入用户接口340,用于将控制器310的接口提供给用户;和
输入装置133。
除系统2不必具有帧编辑器逻辑电路109和解码器323之间的通信设施之外,由于系统2的操作与系统1的操作相同,所以省略对其系统操作的描述。
实施例III
图20是表示加入本发明的第三示范实施例的远程监控系统3的原理方框图。在图20,远程监控系统3包括多个远程终端50,用于发送视频数据的编码减小尺寸型式,中心装置70,用于收集和同时显示经编码的尺寸减小视频,和传输路径60,用于传输相应的经编码的尺寸减小视频。
每个远程终端50包括:
视频摄象机501,用于获得视频帧;
摄象机接口(IF)503,具有与摄象机501相连的输入;
图像尺寸减小逻辑电路505,用于将来自摄象机接口503的视频像素数据的尺寸减小为适当的尺寸;
视频编码器507,用于将来自图像尺寸减小逻辑电路505的尺寸减小的视频数据编码为用于显示的经编码的尺寸减小视频;
通信接口509,用于将经编码的尺寸减小视频发送到中心装置70;和
控制器511,用于控制全部终端50。
中心装置70包括:
通信接口71,用于与远程终端50通信;
帧编辑器75,用于编辑包括来自经编码的尺寸减小视频所要求的编码视频阵列的帧;
视频解码器77,用于解码来自编辑器75的经编码的尺寸减小视频帧;
视频输出IF79,用于转换解码帧以显示;
控制器83,用于控制视频解码器123的操作;
显示装置81,与用户IF129连接,用于显示尺寸减小的视频帧;和
输入装置82,如键盘,鼠标等等。
在每个远程终端50的操作中,选中的视频帧经摄象机接口(IF)503通过图像尺寸减小逻辑电路505。图像尺寸减小逻辑电路505将视频帧的尺寸减小为控制器511规定的尺寸。通过视频解码器507解码尺寸减小的图像并经相应的传输路径将其发送到中心装置70。
在中心装置,与远程终端50有关的通信接口71从各个远程终端接收经编码的尺寸减小图像并使经编码的尺寸减小图像到达帧编辑器逻辑电路73,该电路根据上述输出视频图编辑来自经编码的尺寸减小图像的显示帧。然后,以与上述实施例相同的方式显示编辑帧。
在不脱离本发明的精神和范围的情况下可以做出差别很大的本发明的实施例。应该清楚,除去附属权利要求书所定义的之外,本发明不限于说明书所描述的特定实施例。
Claims (26)
1.一种在基于计算机的系统(20)的显示屏幕上所提供的窗口阵列中显示多个特定图像的方法,该方法包括步骤:
由所述窗口的尺寸将所述图像的尺寸减小为尺寸减小的图像;
将所述尺寸减小的图像编码为编码的尺寸减小图像;
将所述经编码的尺寸减小图像存储在大容量存储装置;
响应于预定的信号和所述多个特定图像,编辑包括所述特定图像的经编码的尺寸减小图像的帧;以及
解码所述经编辑的帧用于显示。
2.根据权利要求1的方法,其中所述编码步骤包括编码所述尺寸减小的图像使得所述经编码的尺寸减小图像包含N个位片的步骤,这里N为一正整数,其中所述存储步骤包括使用位于所述位片前面的长度代码存储每个所述位片的步骤,所述长度代码表示每个所述位片的长度,以及其中所述编辑步骤包括对于每个所述经编码的尺寸减小图像,使用在相应位片前面的长度代码读取N个所述位片的步骤。
3.根据权利要求1的方法,其中所述编码步骤包括:
编码所述尺寸减小的图像使得所述经编码的尺寸减小图像包含N个位片,这里N为一正整数;以及
产生和存储使每个所述尺寸减小的图像与长度和距所述每个尺寸减小的图像开始处的距离相联系的位片信息,和其中所述编辑步骤包括对于每个所述经编码的尺寸减小图像,使用所述位片信息读取N个所述位片的步骤。
4.根据权利要求1的方法,还包括以下步骤,即响应于所述多个特定图像,产生和存储使所述多个特定图像与所述窗口相联系的图,所述编辑步骤包括将所述帧阵列的所述经编码的尺寸减小图像排列到所述图的步骤。
5.根据权利要求4的方法,其中所述编辑步骤包括以下步骤,即响应于一个窗口图像的缺席,对于这种情况提供一个预定的代码,所述解码步骤还包括以下步骤,即响应于所述预定的代码,产生这样的数据使得在所述窗口什么也不显示。
6.根据权利要求1的方法,其中从相应的视频或活动图像得到所述图像,其中所述编码步骤还包括产生所述各个视频的帧频的步骤,每个所述帧频表示每秒的帧数,其中所述编辑步骤包括响应于所述预定的信号和多个特定视频,编辑一组帧,每个所述帧包括从相应的所述特定视频得到的经编码的尺寸减小图像的步骤。
7.根据权利要求6的方法,其中编辑一组帧的所述步骤包括以下步骤:
对于每个所述帧,在编辑时,根据所述帧频和所述帧组的帧频,选择每个所述特定视频的所述经编码的尺寸减小视频中最后或最新的一个经编码的尺寸减小视频;以及
以任何要求的恒定速率来编辑所述帧组。
8.根据权利要求7的方法,还包括设定所述帧组的所述帧频等于所述相应视频的所述帧频之一的步骤。
9.一种在基于计算机的系统(20)的显示屏幕上所提供的窗口阵列中显示多个特定视频或活动图像的方法,该方法包括步骤:
由所述窗口的尺寸将所述视频的尺寸减小为尺寸减小的视频;
将所述尺寸减小的视频编码为每个包含N个位片的经编码的尺寸减小视频,这里N是构成每个经编码的尺寸减小视频的位片的数目;
产生和存储使每个所述尺寸减小的视频与长度和距所述每个尺寸减小的视频开始处的距离相联系的位片信息;
将所述经编码的尺寸减小视频和所述位片信息多路复用为一组组件,每个组件包括视频数据部分和位片信息部分,所述视频数据部分包括第一标题,该标题包含第一ID代码和每个经编码的尺寸减小视频的预定帧数,所述位片信息部分包含第二标题,该标题包含第二ID代码和所述预定帧数的位片信息;
响应于预定的信号和所述多个特定视频,对于每个所述经编码的尺寸减小视频,通过使用所述位片信息从所述组件组读取所述N个位片以编辑一组帧,每个所述帧包括从相应的特定视频得到的经编码的尺寸减小帧;和
解码所述经编辑的帧组用于显示。
10.根据权利要求9的方法,其中所述多路复用步骤包括以下步骤,在每个所述组件中包括一填充数据部分,所述填充数据部分包括所述第二标题,该标题包含所述第二ID代码和填充字节的长度,所述长度使得所述组件长度相等。
11.根据权利要求9的方法,还包括将所述组件组存储到多个大容量存储装置中,使得所述组件组均匀分配到所述大容量存储装置的步骤。
12.一种在基于计算机的系统(20)的显示屏幕上所提供的窗口阵列中显示多个特定图像的系统(1或2),该系统包括:
用于由所述窗口的尺寸将所述图像的尺寸减小为尺寸减小的图像的装置(105);
用于将所述尺寸减小的图像编码为经编码的尺寸减小图像的装置(107或107a);
用于将所述经编码的尺寸减小图像存储在大容量存储装置(104)的装置(113或310);
用于响应于预定的信号和所述多个特定图像,编辑包括所述特定图像的经编码的尺寸减小图像的帧的装置(109);以及
用于解码所述编辑帧用于显示的装置(123或323)。
13.根据权利要求12的系统,其中所述编码装置包括编码所述尺寸减小的图像使得所述经编码的尺寸减小图像包含N个位片的装置,这里N为一正整数,其中所述存储装置包括使用位于所述位片前面的长度代码存储每个所述位片的装置,所述长度代码表示每个所述位片的长度,以及其中所述编辑装置包括对于每个所述经编码的尺寸减小图像,使用在相应位片前面的长度代码读取N个所述位片的装置。
14.根据权利要求12的系统,其中所述编码装置包括:
用于编码所述尺寸减小的图像使得所述经编码的尺寸减小图像包含N个位片的装置,这里N为一正整数;以及
用于产生和存储使每个所述尺寸减小的图像与长度和距所述每个尺寸减小的图像开始处的距离相联系的位片信息的装置,其中所述编辑装置包括对于每个所述经编码的尺寸减小图像,使用所述位片信息读取N个所述位片的装置。
15.根据权利要求12的系统,还包括响应于所述多个特定图像产生和存储使所述特定图像与所述窗口相联系的图的装置,其中所述编辑装置包括用于根据所述图将所述经编码的尺寸减小图像排列到所述帧阵列的装置。
16.根据权利要求15的系统,其中所述编辑装置包括用于响应于一个窗口图像的缺席,对于这种情况提供一个预定的代码的装置,所述解码装置还包括用于响应于所述预定的代码,产生这样的数据使得在所述窗口什么也不显示的装置。
17.根据权利要求12的系统,其中从相应的视频得到所述图像,其中所述编码装置还包括用于产生所述各个视频的帧频的装置,每个所述帧频表示每秒的帧数,其中所述编辑装置包括响应于所述预定的信号和多个特定视频,编辑一组帧的装置,每个所述帧包括从相应的所述特定视频得到的经编码的尺寸减小图像。
18.根据权利要求17的系统,其中用于编辑一组帧的所述装置包括:
一装置,所述装置对于每个所述帧,用于在编辑时,根据所述帧频和所述帧组的帧频,选择每个所述特定视频的所述经编码的尺寸减小视频中最后或最新的一个经编码的尺寸减小视频;以及
以任何要求的恒定速率来编辑所述帧组的装置。
19.根据权利要求18的系统,还包括用于设定所述帧组的所述帧频等于所述相应视频的所述帧频之一的装置。
20.一种在基于计算机的系统(20)的显示屏幕上所提供的窗口阵列中显示多个特定视频或活动图像的系统(1,167),该系统包括:
用于由所述窗口的尺寸将所述视频的尺寸减小为尺寸减小的视频的装置(105);
用于将所述尺寸减小的视频编码为每个包含N个位片的经编码的尺寸减小视频的装置(167),这里N是构成每个经编码的尺寸减小视频的位片的数目;
用于产生和存储使每个所述尺寸减小的视频与长度和距所述每个尺寸减小的视频开始处的距离相联系的位片信息(180)的装置(169);
用于将所述经编码的尺寸减小视频和所述位片信息多路复用为一组组件的装置(171),每个组件包括视频数据部分和位片信息部分,所述视频数据部分包括第一标题,该标题包含第一ID代码和每个经编码的尺寸减小视频的预定帧数,所述位片信息部分包含第二标题,该标题包含第二ID代码和所述预定帧数的位片信息;
用于响应于预定的信号和所述多个特定视频,对于每个所述经编码的尺寸减小视频,通过使用所述位片信息从所述组件组读取所述N个位片以编辑一组帧的装置(109),每个所述帧包括从相应的特定视频得到的经编码的尺寸减小帧;和
用于解码所述经编辑的帧组以显示的装置(123)。
21.根据权利要求20的系统,其中所述多路复用装置包括一装置,所述装置用于在每个所述组件中包括一填充数据部分,所述填充数据部分包括所述第二标题,该标题包含所述第二ID代码和填充字节的长度,所述长度使得所述组件长度相等。
22.根据权利要求20的系统,还包括用于将所述组件组存储到多个大容量存储装置使得所述组件组均匀分配到所述大容量存储装置的装置;
23.根据权利要求20的系统,其中所述解码装置包括仅解码由所述第一ID代码开头的数据而忽略由所述第二ID代码开头的数据的装置。
24.一种使客户终端(20)在所述客户终端的显示屏幕上所提供的窗口阵列中显示多个特定图像的服务器(10),所述服务器包括:
用于由所述窗口的尺寸将所述图像的尺寸减小为尺寸减小的图像的装置(105);
用于将所述尺寸减小的图像编码为经编码的尺寸减小图像的装置(107);
用于把所述经编码的尺寸减小图像存储在大容量存储装置(104)中的装置(113);
响应于预定的信号和所述多个特定图像,编辑包括所述特定图像的经编码的尺寸减小图像的帧的装置(109);以及
把所述经编辑的帧传输到所述客户终端的装置(111)。
25.一种使客户终端(20)在客户终端的显示屏幕上所提供的窗口阵列中显示所存储的视频中多个检索视频的视频数据库服务器(10),所述服务器包括:
用于由所述窗口的尺寸将所述图像的尺寸减小为尺寸减小的图像的装置(105);
用于将所述尺寸减小的图像编码为经编码的尺寸减小图像的装置(107);
用于把所述经编码的尺寸减小图像存储在大容量存储装置(104)中的装置(113);
响应于接收到来自请求客户终端的请求,提供预定的信号和检索图像列表的装置(144,145,147);
响应于所述预定的信号和所述检索图像列表,编辑包括所述列表中所述检索图像的经编码的尺寸减小图像的帧的装置(109);以及
把所述经编辑的帧传输到所述请求客户终端的装置(111)。
26.一种远程监控系统(3),包括:
多个远程终端(50);以及
中心装置(70),用于收集来自所述远程终端(50)的视频数据并在显示屏幕上所提供的窗口阵列中显示所述收集的视频,其中每个远程终端包括:
用于提供拍摄视频的视频摄像机(501);
用于将以所述窗口的尺寸将所述视频的尺寸减小为尺寸减小的视频的装置(505);
用于将所述尺寸减小的视频编码为经编码的尺寸减小视频的装置(507);以及
把所述经编码的尺寸减小视频发送到所述中心装置的装置(509),其中所述中心装置包括:
用于接收来自每个远程终端的所述经编码的尺寸减小视频的装置(71);
用于编辑包括来自所述远程终端的所述接收到的经编码的尺寸减小视频的帧的装置(73);以及
用于解码所述经编辑的帧用于显示的装置(77)。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30148897 | 1997-11-04 | ||
JP301488/1997 | 1997-11-04 | ||
JP303192/1998 | 1998-10-12 | ||
JP30319298A JPH11231849A (ja) | 1997-11-04 | 1998-10-12 | 画像合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1248022A CN1248022A (zh) | 2000-03-22 |
CN1118767C true CN1118767C (zh) | 2003-08-20 |
Family
ID=26562705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN98122648A Expired - Fee Related CN1118767C (zh) | 1997-11-04 | 1998-11-04 | 用于在显示屏幕上显示多个图像的方法和系统以及使用该方法的服务器和远程监控系统 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6457057B1 (zh) |
EP (1) | EP0915622B1 (zh) |
JP (1) | JPH11231849A (zh) |
CN (1) | CN1118767C (zh) |
CA (1) | CA2250445C (zh) |
DE (1) | DE69836890T2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100498761C (zh) * | 2004-05-24 | 2009-06-10 | 株式会社东芝 | 医疗图像显示设备 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6748421B1 (en) * | 1998-12-23 | 2004-06-08 | Canon Kabushiki Kaisha | Method and system for conveying video messages |
WO2001037565A1 (en) * | 1999-11-12 | 2001-05-25 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for controlling moving picture synthesis |
WO2001075884A2 (en) * | 2000-04-05 | 2001-10-11 | Sony United Kingdom Limited | Audio/video reproducing apparatus and method |
JP3738353B2 (ja) * | 2001-04-20 | 2006-01-25 | カシオ計算機株式会社 | 動画再生装置及び動画再生プログラム |
US7170936B2 (en) * | 2002-03-28 | 2007-01-30 | Intel Corporation | Transcoding apparatus, system, and method |
US20060212903A1 (en) * | 2003-04-03 | 2006-09-21 | Akihiko Suzuki | Moving picture processing device, information processing device, and program thereof |
US8675059B2 (en) | 2010-07-29 | 2014-03-18 | Careview Communications, Inc. | System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients |
US9311540B2 (en) * | 2003-12-12 | 2016-04-12 | Careview Communications, Inc. | System and method for predicting patient falls |
US9318012B2 (en) | 2003-12-12 | 2016-04-19 | Steve Gail Johnson | Noise correcting patient fall risk state system and method for predicting patient falls |
US7477285B1 (en) | 2003-12-12 | 2009-01-13 | Careview Communication, Inc. | Non-intrusive data transmission network for use in an enterprise facility and method for implementing |
JP2006287596A (ja) * | 2005-03-31 | 2006-10-19 | Toshiba Corp | 複数画像選択画面における動画再生機能を有するカメラ装置 |
JP4926601B2 (ja) * | 2005-10-28 | 2012-05-09 | キヤノン株式会社 | 映像配信システム、クライアント端末及びその制御方法 |
JP4569968B2 (ja) * | 2006-06-13 | 2010-10-27 | Kddi株式会社 | 動画像合成装置及びプログラム |
US8238420B1 (en) * | 2008-01-24 | 2012-08-07 | Adobe Systems Incorporated | Video content transcoding for mobile devices |
US8484299B2 (en) | 2008-02-28 | 2013-07-09 | Hitachi Consumer Electronics Co., Ltd. | Content delivery system, delivery server, receiving terminal, and content delivery method |
US9579047B2 (en) | 2013-03-15 | 2017-02-28 | Careview Communications, Inc. | Systems and methods for dynamically identifying a patient support surface and patient monitoring |
US9959471B2 (en) | 2008-05-06 | 2018-05-01 | Careview Communications, Inc. | Patient video monitoring systems and methods for thermal detection of liquids |
US9794523B2 (en) | 2011-12-19 | 2017-10-17 | Careview Communications, Inc. | Electronic patient sitter management system and method for implementing |
US10645346B2 (en) | 2013-01-18 | 2020-05-05 | Careview Communications, Inc. | Patient video monitoring systems and methods having detection algorithm recovery from changes in illumination |
US9866797B2 (en) | 2012-09-28 | 2018-01-09 | Careview Communications, Inc. | System and method for monitoring a fall state of a patient while minimizing false alarms |
US20100122165A1 (en) * | 2008-11-10 | 2010-05-13 | Google Inc. | Mechanism for displaying external video in playback engines |
US8471899B2 (en) | 2008-12-02 | 2013-06-25 | Careview Communications, Inc. | System and method for documenting patient procedures |
JP2011210223A (ja) * | 2010-03-09 | 2011-10-20 | Toshiba Corp | コンテンツ編集配信システム及びコンテンツ編集装置 |
US9313514B2 (en) | 2010-10-01 | 2016-04-12 | Sharp Kabushiki Kaisha | Methods and systems for entropy coder initialization |
JP5979406B2 (ja) * | 2012-02-22 | 2016-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4780709A (en) * | 1986-02-10 | 1988-10-25 | Intel Corporation | Display processor |
US5189516A (en) | 1990-04-23 | 1993-02-23 | The Grass Valley Group, Inc. | Video preview system for allowing multiple outputs to be viewed simultaneously on the same monitor |
IE910049A1 (en) * | 1991-01-07 | 1992-07-15 | Zandar Res Ltd | Multiple video monitoring |
JPH0519731A (ja) | 1991-07-16 | 1993-01-29 | Canon Inc | 動画像情報表示装置 |
US5257113A (en) * | 1991-09-20 | 1993-10-26 | International Business Machines Corporation | Video mixing technique using JPEG compressed data |
US5414455A (en) * | 1993-07-07 | 1995-05-09 | Digital Equipment Corporation | Segmented video on demand system |
US5517605A (en) | 1993-08-11 | 1996-05-14 | Ast Research Inc. | Method and apparatus for managing browsing, and selecting graphic images |
US5631693A (en) * | 1993-10-25 | 1997-05-20 | Antec Corporation | Method and apparatus for providing on demand services in a subscriber system |
DE69523321T2 (de) * | 1994-04-15 | 2002-07-04 | Koninkl Philips Electronics Nv | Vorrichtung zur dekodierung von digitalen videosignalen |
US5586264A (en) * | 1994-09-08 | 1996-12-17 | Ibm Corporation | Video optimized media streamer with cache management |
US5592612A (en) * | 1995-04-28 | 1997-01-07 | Birk; Yitzhak | Method and apparatus for supplying data streams |
US5623308A (en) * | 1995-07-07 | 1997-04-22 | Lucent Technologies Inc. | Multiple resolution, multi-stream video system using a single standard coder |
US5691768A (en) * | 1995-07-07 | 1997-11-25 | Lucent Technologies, Inc. | Multiple resolution, multi-stream video system using a single standard decoder |
JPH1023348A (ja) * | 1996-05-02 | 1998-01-23 | Matsushita Electric Ind Co Ltd | テレビ放送番組送信装置,受信装置 |
US5995146A (en) * | 1997-01-24 | 1999-11-30 | Pathway, Inc. | Multiple video screen display system |
EP0903676A3 (en) | 1997-09-17 | 2002-01-02 | Sun Microsystems, Inc. | Identifying optimal thumbnail images for video search hitlist |
US6181693B1 (en) * | 1998-10-08 | 2001-01-30 | High Speed Video, L.L.C. | High speed video transmission over telephone lines |
-
1998
- 1998-10-12 JP JP30319298A patent/JPH11231849A/ja active Pending
- 1998-11-03 EP EP19980120855 patent/EP0915622B1/en not_active Expired - Lifetime
- 1998-11-03 DE DE1998636890 patent/DE69836890T2/de not_active Expired - Fee Related
- 1998-11-03 CA CA 2250445 patent/CA2250445C/en not_active Expired - Fee Related
- 1998-11-04 US US09/185,597 patent/US6457057B1/en not_active Expired - Fee Related
- 1998-11-04 CN CN98122648A patent/CN1118767C/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100498761C (zh) * | 2004-05-24 | 2009-06-10 | 株式会社东芝 | 医疗图像显示设备 |
Also Published As
Publication number | Publication date |
---|---|
CA2250445A1 (en) | 1999-05-04 |
DE69836890T2 (de) | 2007-10-18 |
US6457057B1 (en) | 2002-09-24 |
EP0915622A3 (en) | 2001-11-14 |
CA2250445C (en) | 2003-01-07 |
EP0915622A2 (en) | 1999-05-12 |
DE69836890D1 (de) | 2007-03-08 |
EP0915622B1 (en) | 2007-01-17 |
JPH11231849A (ja) | 1999-08-27 |
CN1248022A (zh) | 2000-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1118767C (zh) | 用于在显示屏幕上显示多个图像的方法和系统以及使用该方法的服务器和远程监控系统 | |
CN1198454C (zh) | 信息处理方法及设备、内容分配服务器及其方法 | |
CN1194552C (zh) | 数字视频系统中译码数字视频流的方法和装置 | |
CN1218313C (zh) | 用用户反馈回放有视频和图形项的记录载体的设备和方法 | |
CN1118197C (zh) | 一种用于选择和合并数字化节目的方法、合并器和数字电缆端头 | |
CN1135708C (zh) | 图像信号处理系统及方法,解码器及解码方法 | |
CN1217542C (zh) | 信息提供装置和方法、信息接收装置和方法 | |
CN1189024C (zh) | 信息处理设备 | |
CN1089982C (zh) | 用于图象编码及记录/再现的装置及方法 | |
CN1285059C (zh) | 活动图像转换方法和设备、活动图像传输方法和设备、程序 | |
CN1378387A (zh) | 用于生成用户镶嵌图象的视频传输和处理系统 | |
CN1233913A (zh) | 电视广播接收机系统 | |
CN1130970A (zh) | 用反复误差数据编码方法进行视频压缩 | |
CN1178497C (zh) | 数据再生传输设备和数据再生传输方法 | |
CN1433641A (zh) | 可配合图像群结构中改变的统计式复用器及再复用器 | |
CN1815606A (zh) | 使用多个数据处理设备进行数据处理的设备和方法 | |
CN1698376A (zh) | 内容配送系统、内容配送装置、内容记录再现装置与内容记录再现方法及计算机程序 | |
CN1155241C (zh) | 接收机和收发信机 | |
CN1848935A (zh) | 信息记录/再现系统、设备和方法 | |
CN1106082C (zh) | 译码方法及其装置 | |
CN1272272A (zh) | 内容提供系统 | |
CN1845595A (zh) | 传输、提取并搜索节目信息的方法及搜索引擎、机顶盒 | |
CN1949858A (zh) | 图像处理设备、图像拍摄设备以及图像处理方法 | |
CN1263290C (zh) | 图像处理装置和方法 | |
CN1081805A (zh) | 包括扩展数据业务的辅助视频信息系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |