CN1206863C - 图像传输方法 - Google Patents

图像传输方法 Download PDF

Info

Publication number
CN1206863C
CN1206863C CNB001188763A CN00118876A CN1206863C CN 1206863 C CN1206863 C CN 1206863C CN B001188763 A CNB001188763 A CN B001188763A CN 00118876 A CN00118876 A CN 00118876A CN 1206863 C CN1206863 C CN 1206863C
Authority
CN
China
Prior art keywords
image data
gop
data transmission
video camera
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB001188763A
Other languages
English (en)
Other versions
CN1289211A (zh
Inventor
篠原利章
都築健吾
佐佐木雄飛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1289211A publication Critical patent/CN1289211A/zh
Application granted granted Critical
Publication of CN1206863C publication Critical patent/CN1206863C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

一种图像数据传输系统，可减少由图像数据的压缩处理而引起的延迟。所述图像数据传输系统包括：摄像机，用于压缩编码的图像数据和传输被压缩编码的图像数据；译码器；控制装置，监视器和LAN。当控制装置选定一个被控制的摄像机时，该控制装置通过LAN获取关于摄像机的能力的信息。当被控制的摄像机使用许多功能当中的受由于压缩编码而引起的延迟的影响的功能时，在该摄像机中实行减少所述延迟的压缩编码。

Description

图像传输方法
本发明一般涉及一种用于转换压缩编码的图像数据的系统，尤其涉及一种减少由于压缩编码而引起的延迟的图像数据传输方法。
对图像数据进行压缩编码并通过网络传输被编码数据的系统已经付诸使用，例如电视电话系统，电视会议系统，监视系统等等。这种系统采用例如ITU-T，H.261，MPEG(运动图像专家组)等编码方法，使得高清晰度的图像信息在较窄的传输带宽内传输。
在利用帧间信息压缩图像数据，例如MPEG那样，并传输被压缩的图像数据的系统中，除去网络上的延迟之外，一般在压缩处理期间发生数量级为150-500ms的传输延迟。
因而，上述系统具有的问题是，例如，当一机械系统受到控制而对图像数据发送侧的电视摄像机进行扫视/俯仰、变焦距、聚焦等操作，同时在接收侧的监视器上观看产生的图像数据时，会插入一个较长的时间延迟，直到响应输入的控制指令使图像在监视器上显示为止。特别是，由于用于扫视/俯仰的电视摄像机的控制涉及控制转动的机座的转动，这加重了长的延迟时间的问题。
另一方面，在传输作为一个GOP(图像组)的多个图像的系统中，例如MPEG，当图像数据流在多个图像源当中转换时，存在的问题是发生相应于构成GOP的最大的图像数的时间间隔的转换延迟。
本发明是为了解决上述问题而作出的，因而本发明的目的在于提供一种图像数据传输方法，其能够减少和图像数据的压缩处理相关的延迟。
本发明的另一个目的在于提供一种图像数据的传输方法，其能够减少由转换具有GOP结构的图像数据流而可能引起的转换延迟。
根据本发明的一个方面，提供了一种图像数据传输方法，包括以下步骤：提供多个图像数据传输装置，用于压缩编码图像数据并传输被压缩编码的图像数据；提供图像数据接收装置，用于接收所述图像数据；提供用于控制所述图像数据传输装置的控制装置；提供用于互联上述各个装置的网络；通过使图像数据接收装置和控制装置周期地或在图像数据接收装置或控制装置每次接通电源时或在每次操作时请求有关图像数据传输装置的信息，获取存储在设置在每一所述图像接收装置内的存储单元中的关于能力的信息；以及当所述控制装置根据关于所述能力的信息确定被控制的图像数据传输装置具有受由压缩编码而引起的延迟的影响的功能时，或者当所述被控制的图像数据传输装置使用许多功能当中的一种受由压缩编码而引起的延迟的影响的功能时，实行减少所述延迟的压缩编码。
根据本发明的另一方面，提供了一种图像数据传输方法，包括以下步骤：提供多个图像数据传输装置，用于把图像数据转换成具有GOP结构的压缩编码的数据流并传输所述被压缩编码的数据流；提供一个计数器，用于对每个GOP的传输的图像数进行计数；提供图像数据接收装置，用于接收所述数据流；提供用于选择所述图像数据传输装置中的一个的选择器；提供用于互联所述各个装置的网络；以及当所述选择器从任意一个图像数据传输装置转换到另一个图像数据传输装置时，在紧跟转换之后的一个预定的时间间隔内改变GOP的结构，以减少由所述转换引起的延迟。
按照本发明的一个方面的图像数据传输方法用于一种图像数据传输系统，所述图像数据传输系统包括：多个图像数据传输装置，用于压缩编码图像数据并传输被压缩编码的图像数据；图像数据接收装置，用于接收图像数据；用于控制图像数据传输装置的控制装置；和用于互联各个装置的网络。用获取存储在设置在每一所述图像接收装置内的存储单元中的关于能力的信息；以及当图像数据传输装置被控制装置控制时，控制装置获取关于多个图像数据传输装置的能力的信息。当控制装置根据关于所述能力的信息决定被控制的图像数据传输装置具有受由压缩编码而引起的延迟的影响的功能时，或者当被控制的图像数据传输装置使用许多功能当中的受由压缩编码而引起的延迟的影响的功能时，图像数据传输装置被控制而执行减少所述延迟的压缩编码。利用这种结构，当图像数据传输装置被控制从而操作一个机械系统，例如同时观看图像接收装置的监视器时，可以减少被插入的延迟时间，直到响应输入的控制指令使图像在监视器上显示为止。
此外，按照本发明的另一个方面的图像数据传输方法，所述方法和一种图像数据传输系统一起使用，所述图像数据传输系统包括：多个图像数据传输装置，用于把图像数据转换为具有GOP结构的压缩编码的数据流，并传输被压缩编码的数据流；图像数据接收装置，用于接收所述的数据流；选择器，用于从多个图像数据传输装置中选择一个图像数据传输装置；以及用于互联各个装置的网络。当选择器从任意一个图像数据传输装置转换到另一个图像数据传输装置时，在紧跟转换之后的一个预定的时间间隔内改变GOP的结构，使得减少由所述转换而引起的延迟。利用这种结构，可以减少当多个图像数据流在图像数据传输装置当中被转换时可能发生的转换延迟时间。
图1概括表示按照本发明的一个实施例的图像数据传输系统的结构；
图2是表示构成图1的图像数据传输系统的相应装置的内部结构的方块图；
图3表示在图1所示摄像机的存储单元中存储的信息的例子；
图4A和4B表示在图1所示的控制装置和译码器中的各个存储单元中存储的信息的例子；
图5表示用于使图1所示的控制装置和译码器获得每个摄像机的功能的步骤；
图6表示用于使图1所示的控制装置和译码器选择并操作每个摄像机的步骤；
图7是图1所示的控制装置执行的用于选择和控制摄像机的流程图；
图8A-8C是表示在图1中选择了摄像机1的状态下用于选择摄像机2控制的定时图；
图9A和图9B是用于说明在本发明的一个实施例中的高效压缩处理和低延迟压缩处理的第一个例子的曲线；
图10A-10D是用于说明在本发明的一个实施例中的高效压缩处理和低延迟压缩处理的第二个例子的图解；
图11A-11E是用于说明在本发明的实施例中的GOP同步的图解；
图12A-12C是用于说明在本发明的实施例中减少摄像机转换延迟的第一示例的方法的定时图；
图13是用于说明在本发明的实施例中减少摄像机转换延迟的第一示例的方法的流程图；
图14A-14C是用于说明在本发明的实施例中减少摄像机转换延迟的第二示例的方法的定时图；
图15是用于说明在本发明的实施例中减少摄像机转换延迟的第二示例的方法的流程图。
下面参照图1-15详细说明本发明的实施例。
(1)图像数据传输系统的结构和操作的概貌
图1表示按照本发明实施例的图像数据传输系统的结构。所示的图像数据传输系统包括多个(图中是3个)电视摄像机(以后称为“摄像机”)1，2，3；控制装置6；译码器7；多个(图中是两个)监视器8，9；以及LAN(局域网)5。
每个摄像机1，2，3按照MPEG2或其类似物压缩成像的数据，并向LAN5发送被压缩的图像数据。电视摄像机2具有转动的机架4。LAN5是通过一总线，例如符合IEEE1394的总线(以后称为“1394总线”)，互联各个装置的网络。控制装置6(例如可以由个人计算机或远方指令器来实现)，通过LAN5向摄像机1，2，3发送指令，以便对摄像机1，2，3进行控制或类似的操作。译码器7对通过LAN5接收的图像数据进行译码。监视器8，9分别以不同的尺寸显示由译码器7译码的图像数据。
图2是构成图1所示的图像数据传输系统的各个装置的内部方块图。因为各个摄像机具有相同的结构，所以图2中只示出了摄像机2。同样理由，只示出了监视器8。
摄像机2包括光学系统11；用于获取由光学系统11聚焦的物体的图像的成像单元12；用于驱动成像单元12的驱动单元13；以及用于对由驱动单元13驱动的成像输出进行图像数据压缩处理例如MPEG2等的编码器14。
摄像机2还包括控制单元15，用于进行摄像机2中各个元件的控制；存储单元16，用于存储各种信息；以及网络接口17。控制单元5包括CPU、DSP与逻辑电路，用于产生和确定例如通过LAN5和外部控制装置6交换的控制信息。控制单元15还控制和编码器14相关的参数，并记录这些参数，用于转换网络接口17的操作。因而，控制单元15利用高于IEEE1394的链路层的协议实现。存储单元16预先存储关于摄像机的能力的信息，例如是否每个摄像机具有转动的机架4，以及摄像机的固有信息，例如产品号。在存储单元16中存储的内容可以通过DMA从网络接口17中直接读取。网络接口17具有网络接口功能，例如IEEE1394的物理层和链路层，并和控制单元15、存储单元16交换信息，以及输入、输出作为编码器14的输出的图像数据流。
控制装置6包括控制单元21，键控单元22，网络接口23和存储单元24。控制单元21可以包括CPU，用于控制网络接口17。更具体地说，控制单元21用于产生和确定例如通过LAN5和外部控制装置6交换的控制信息。控制单元21也利用软件来实现，用于管理和控制和LAN5相连的各个装置(摄像机、译码器)的配置和能力，以及网络的拓扑信息(连接结构)。键控单元22可以是键盘、为用户提供的鼠标，用于向控制单元22输入各种指令。网络接口23具有网络接口功能，例如IEEE1394的物理层和链路层，例如用于和控制单元21以及存储单元24交换信息。存储单元24用于存储和LAN5连接的各个装置的配置和能力、以及网络的拓扑信息。在存储单元24中存储的内容可以通过DMA从网络接口23中直接读取。此外，控制装置6可以配备包括LCD的显示单元。
译码器7包括用于控制译码器7的各个元件的控制单元31；键控单元32；网络接口33；用于存储各种信息的存储单元34；以及译码器35。控制单元31包括CPU、DSP和逻辑电路，用于产生和确定例如通过LAN5和外部摄像机2交换的控制信息。控制单元31还控制和译码器35相关的参数，并记录这些参数，用于转换网络接口33的操作。此外，控制单元31利用高于IEEE1394的链路层的协议实现。控制单元31也可以利用软件来实现，用于管理和控制和LAN5相连的各个装置的配置和能力，以及网络的拓扑信息。键控单元32可以是键盘、为用户提供的鼠标，用于输入各种指令。网络接口33具有网络接口功能，例如IEEE1394的物理层和链路层，例如用于和控制单元31以及存储单元34交换信息；用于输入和输出由摄像机2产生的、由LAN5输入的图像数据流；用于传输同步信息包(packet)(对于1394总线的循环开始信息包)。应当注意，虽然在本实施例中译码器7发送同步信息包，但是当利用在IEEE1394中规定的循环主机确定方法时，摄像机2中的网络接口17，23之一以及控制装置6都可以作为循环主机，于利用IEEE1394中定义的循环主机确定方法时发送循环开始信息包。存储单元34存储可译码的压缩方法的类型、连接的监视器的尺寸、译码器7的能力(例如可用于显示的图像的尺寸)和译码器7的固有信息(例如产品号)。在存储单元34中存储的内容可以通过DMA从网络接口33中直接读取。译码器35对通过网络接口33接收的数据流进行被译码，并向监视器8输出译码的数据流。
图3表示在摄像机2的存储单元16中存储的信息的例子。存储单元16存储销售者ID和产品号作为摄像机2的固有信息，以及有无实时控制功能(扫视，俯仰，变焦距，聚焦，外部控制转换)作为装置的能力信息。存储单元16可以是非易失性存储器，例如快速ROM。
图4A和图4B分别表示控制单元6中的存储单元24和译码器7中的存储单元34中存储的信息的例子。每个存储单元24，34存储关于摄像机1的信息，包括作为摄像机1的固有信息的销售者ID和产品号，以及作为摄像机的能力信息的有无实时控制功能(扫视，俯仰，变焦距，聚焦，外部控制转换)。类似地，每个存储单元24，34存储关于摄像机2的信息，包括作为摄像机2的固有信息的销售者ID和产品号，以及作为摄像机的能力信息的有无实时控制功能(扫视，俯仰，变焦距，聚焦，外部控制转换)。存储单元24，34包括DRAM，并存储所述的在接通电源时通过LAN5获得的各种信息，包括网络配置的改变，总线的重设或摄像机的选择。
下面概要地说明图1所示的图像数据传输系统的操作。用户可以使用控制装置6的键控单元22从摄像机1，2，3中选择任意一个摄像机。所选择的摄像机的图像通过LAN5发送到译码器7，由译码器7译码，并在监视器8，9上显示。在这种情况下，摄像机可以按照各种方式(扫视，俯仰，变焦距，聚焦，外部控制转换)被控制。此外，使用控制装置6的键控单元2可以把已经选择的摄像机转换到另一个摄像机。应当注意，可以使用译码器7的键控单元32进行上述的键控。
(2)减少传输延迟的方法
在图1所示的图像数据传输系统中的摄像机1，2，3具有传输延迟，这是由于在传输之前图像数据要被进行压缩因而执行的压缩处理而引起的。此外，当摄像机被控制进行扫视，俯仰，变焦距，聚焦时，为了响应相关的机械系统所需的延迟被加到由于压缩处理而引起的传输延迟上，从而产生较长的延迟时间，直到响应由控制装置6输入的控制指令使图像在监视器上显示为止。
因而，为了减少延迟时间，本发明的实施例采用下述减少延迟时间的方法。具体地说，控制装置6识别摄像机是否具有可能受到延迟时间的影响的功能，例如扫视，俯仰，变焦距，聚焦。当所述的摄像机具有这种功能并且实际上正在使用其中的任何一种功能时，摄像机便被控制，迫使编码器进行产生较短的延迟时间的压缩处理。下面详细说明这种方法。
(2-1)用于获取摄像机的各种信息的处理
首先参看图5，说明控制装置6和译码器7获得各个摄像机的功能的处理。在这种情况下，当图1所示的图像数据传输系统或者和该系统连接的装置被接通电源时，在和LAN5相连的1394总线上发生总线复位。然后，在总线复位并进行识别网络拓扑处理之后，控制装置6和译码器7分别向摄像机1，2，…，n按照顺序发送信息请求指令。在收到信息请求指令时，作为响应，每个摄像机返回在存储单元中存储的信息。以摄像机2为例，因为存储单元16存储图3所示的信息，故摄像机2便返回该信息。返回的信息被分别存储在控制装置6的存储单元24和译码器7的存储单元34中，如前面所述图4A和图4B所示。类似地，关于各个摄像机的这种信息被分别存储在控制单元6和译码器7的存储单元24、34中。
这一程序的执行使得控制装置6和译码器7识别到各个摄像机的能力的信息。当用户选择摄像机时，关于摄像机能力的信息可以被显示。
另一个办法是，在选择摄像机的同时可以获得每个摄像机的能力的信息。图6说明这个比较方案的程序。在这个程序中，当控制装置6或译码器7选择好一个摄像机时，便向该被选择的摄像机发送信息请求指令。在收到信息请求指令之后，被选择的摄像机便作为响应返回存储在存储单元中的信息。接着，用户便可以操纵被选择的摄像机。
(2-2)和选择与操纵摄像机有关的处理
下面参看图7，说明当选择和操纵任一摄像机时图1所示的图像数据传输系统的操作。如上所述，虽然可以由控制装置6或者译码器7进行摄像机的选择和操作，但是下面的说明假定使用控制装置6进行所述的选择和操作。
首先，如步骤A1所示，用户使用控制装置6的键控单元22发出用于选择任一摄像机的指令。当输入该指令时，控制装置6的控制单元21便参考一个被选的摄像机能力的信息，如步骤A2所示。具体地说，控制单元21按照图5所示的程序在总线复位时获得关于摄像机能力的信息。当该信息被预先存储在存储单元24中时，控制单元21便参考被存储的信息。另一方面，为了按照图6所示的程序，即在选择摄像机时获得关于摄像机能力的信息，此时，控制单元21便发送一个摄像机信息请求指令，并在存储单元24中返回响应内存储关于摄像机能力的信息。
如步骤A3所示，控制单元21检查由用户输入的摄像机控制指令，确定所述控制指令是否要求实时控制。实时控制指的是扫视，俯仰，调焦距，聚焦，如图3和图4A，4B所示。当不要求实时控制时(步骤A3为否)，则程序执行步骤A6，其中控制单元21选择能够进行高效传输的压缩处理。具体地说，控制装置6的控制单元21通过网络接口23和LAN5发出一个指令，命令被选择的摄像机选择能够高效传输的压缩处理。该指令通过网络接口17被输入到所选择的摄像机例如摄像机2的控制单元15。然后，控制单元15解释该指令，从而按照所述的解释使编码器14选择所述的压缩处理。稍后将详细说明能够进行高效传输的压缩处理。
与此相反，当在步骤A3为是时，程序执行步骤A4，由控制单元21确定是否存在实时控制。当控制单元21确定实行实时控制时，程序执行步骤A5，其中由控制单元21选择能够进行低延迟(短的延迟时间)传输的压缩处理。能够进行低延迟(短的延迟时间)传输的压缩处理将在稍后详细说明。当控制单元21在步骤A4确定在预定的时间间隔内不进行实时控制时，程序执行步骤A6，而由控制单元21选择能够进行高效传输的压缩处理。然后，重复执行前面步骤A4的处理，直到在步骤A1进行的摄像机选择结束(步骤A7)。另一方面，摄像机本身可以确定在预定的时间间隔内是否实行实时控制，使得摄像机本身选择合适的压缩处理。此外，在步骤A2参考装置的能力之后，控制单元21根据扫视/俯仰功能的有无可以确定所选择的摄像机是否具有转动机架，并且在被选择的摄像机具有转动机架时，不管有无实时控制，都选择能够进行低延迟(短的延迟时间)传输的压缩处理。接着，当确定在预定的时间间隔内没有命令执行实时控制时，控制单元21可以转换到能够进行高效传输的压缩处理。
图8A到图8C是表示当选定摄像机1时用于选择摄像机2所执行的控制的定时图。如这些定时图中所示，摄像机2在时刻t0从摄像机1被选择但是不被控制的状态被选择。从时刻t1开始进行摄像机1的实时控制，接着，在时刻t2控制结束。在这种情况下，因为从时刻t0到时刻t1没有进行实时控制，所以摄像机2传输在监视器8上显示的高效压缩的图像。此外，因为从时刻t1到时刻t2进行实时控制，所以摄像机2发送在监视器8上显示的低延迟的压缩图像。然后，在从结束控制的时刻t2经过预定的时间间隔之后，摄像机2发送在监视器8上显示的高效压缩的图像。
(2-3)高效压缩处理和低延迟压缩处理
举两个例子说明高效压缩处理和低延迟压缩处理。图9A和9B用于说明第一个例子，图10A-10D用于说明第二个例子。
首先说明第一个例子。按照第一个例子的方法是改变包括摄像机内编码器的FIFO存储器的VBV缓冲器的尺寸，从而使得能够在高效压缩处理和低延迟压缩处理之间转换。更具体地说，如图9A所示，当VBV具有较大的尺寸时，延迟时间则较大，因而压缩效率较高。相反，如图9B所示，当VBV缓冲器具有较小的尺寸时，延迟时间较短，因而压缩效率较低。
按照第二个例子的方法是转换MPEG编码的结构，使得能够在高效压缩处理和低延迟压缩处理之间转换。更具体地说，如图10A和图10B所示，因为当使用帧结构时，由于帧结构至少引起一场加上一个时间片的延迟，所以延迟时间较长，压缩效率较高。相反，如图10C和10D所示，当使用场结构时，由于场结构将至少只引起一个时间片的延迟，因而延迟时间较短，压缩效率较低。
如上所述，按照本发明的本发明实施例，当摄像机使用可以受延迟时间影响的功能时，例如扫视，俯仰，变焦距，聚焦，摄像机中的编码器执行产生短的延迟时间的压缩处理，从而减少延迟时间。
(3)减少摄像机转换延迟的方法
图1所示的摄像机1-3使用MPEG2以压缩数据，并以包括多个(例如15个)图像的GOP为单位传输图像数据。在图11所示的例子中，每个摄像机由作为1394总线上的循环主机的装置(图1的译码器7)取一个循环开始信息包在网络上传输。然后，每个摄像机使用所述的信息包建立GOP同步，并向编码器输入摄像机的图像数据。为此，从一个摄像机向另一个摄像机的转换引起一个转换延迟，其至多持续一个相应于构成GOP的最大图像数的时间间隔。
因而，本发明的一个实施例依靠以下的方法减少转换延迟时间。具体地说，在把摄像机转换为另一个摄像机之后立即在一个预定的时间间隔内改变GOP结构。下面说明改变GOP结构的两个例子。
(3-1)第一种方法
按照第一种方法，提供一个计数器用于对每个GOP的正在被传输的图像数进行计数，使得，直到下一个GOP同步，传输一个特定的GOP，其具有的图像数等于通过从正常的GOP中的图像数中减去在摄像机转换完成之后瞬间的计数器的一个计数值而计算出来的值。
图12A-12C是和第一种方法的操作相关的定时图以及所要求的网络资源容量，图13以流程图的形式说明第一种方法。假定在每个摄像机中一个GOP包括由I，B，B，P，B，B，P，B，B，P，B，B，P，B，B构成的15个图像。
首先，如图12A-12C所示，假定来自摄像机1的数据流被传输并在图1的显示器8或9上显示。还假定在时刻t1向摄像机2的控制单元15输入从摄像机1转换为摄像机2的指令，其中t1是从GOP在同步时刻t0经过时间间隔T之后时刻(图13中的步骤B1)。在控制单元15中，GOP计数器对图像进行计数，以便确定当前传输的图像位于离开每个GOP的头部的位置。然后，GOP计数器输出那个时刻的计数值Gn(步骤B2)。
在传输一个图像之后(B3)，计数值Gn被减1(步骤B4)。重复上述处理，直到计数值Gn被减计数到0或更小(步骤B5)。然后，当计数值Gn成为0或更小时，换句话说，当达到GOP同步的下一个定时时，传输包括15个图像的GOP(步骤B6)。
用这种方式，在从图12A-12C中的时刻t1到t2的时间间隔内，摄像机2传送其数量等于从15减去在时间间隔T内传送的图像数而计算出的数量的图像，并且当在时刻t2达到GOP同步的下一个定时时，摄像机2传送包括15个图像的数据流或GOP，如同在转换之前摄像机1那样。在这种情况下，在转换中所需的网络资源容量始终保持为一个信道的一部分。
上述的操作是在假定摄像机1-3的GOP循环被同步的情况下进行的。对于其中摄像机的操作离开GOP同步的系统，可以从命令转换的时刻(其被认为是起点)开始一个新的GOP循环。此外，即使在具有同步的摄像机的系统中，也允许在转换完成之后的时刻在GOP循环中有一定偏移，使得同步被逐渐地恢复。具体地说，假定一个GOP包括15个图像，并且命令在GOP内的第9个图像处转换，在完成转换后立即传送由6个图像构成的GOP之后可以不恢复GOP同步，而是代之以例如可以在由12个图像构成的GOP被传送3次之后恢复同步。此外，这种特定的GOP可以不小于一般的GOP。例如，当命令在一个GOP内的第9个图像转换时，可以传送包括21个图像的GOP，以便在跳过一次GOP同步之后恢复同步。
(3-2)第二种方法
第二种方法涉及从一个摄像机转换到另一个摄像机之后的时刻到下一个GOP同步只传输帧内图像(I图像)。
图14A-14C表示和第二种方法的操作有关的定时图，以及所要求的网络资源容量，图15以流程图的形式说明第二种方法。和第一种方法类似，假定在每个摄像机中一个GOP包括由I，B，B，P，B，B，P，B，B，P，B，B，P，B，B构成的15个图像。
首先，如图14A-14C所示，假定来自摄像机1的数据流被传输并在图1的显示器8或9上显示。还假定在时刻t1向摄像机2的控制单元15输入从摄像机1转换为摄像机2的指令，其中t1是从GOP在同步时刻t0经过时间间隔T之后时刻(图15中的步骤C1)。在控制单元15中，GOP计数器对图像进行计数，以便确定当前传输的图像位于离开每个GOP的头部的位置。然后，GOP计数器输出那个时刻的计数值Gn(步骤C2)。
在传输I图像之后(C3)，计数值Gn被减1(步骤C4)。重复上述处理，直到计数值Gn被减计数到0或更小(步骤C5)。然后，当计数值Gn成为0或更小时，换句话说，当达到GOP同步的下一个定时时，传输包括15个图像的GOP(步骤C6)。
用这种方式，在从图14A-14C中的时刻t1到t2的时间间隔内，摄像机2只传送I图像。并且当在时刻t2达到下一个GOP同步的定时时，摄像机2传送包括由I，B，B，P，B，B，P，B，B，P，B，B，P，B，B构成的15个图像的数据流，如同在转换之前摄像机1那样。在这种情况下，在转换中所需的网络资源容量始终保持为一个信道的一部分。
上述的操作是在假定摄像机1-3的GOP循环被同步的情况下进行的，并且GOP同步被用作用于确定是否结束只传输I图像的这种传输方式的条件。另一方面，可以设想，只传输I图像的这种传输方式可以根据其它条件结束，即，当经过一个预置的恒定时间间隔时，当对视频图像的分析表明视频图像的变化等于或小于一个阈值时，当发出结束指令时，当在网络上监视的通信量发生改变时，以及当通信量超过一个阈值时。
如上所述，按照本发明的本实施例，在摄像机转换完成之后立即开始的一个预定的时间间隔内，通过改变GOP的结构可以减少转换延迟。
如上所详细说明的那样，按照本发明，当图像数据传输装置由控制装置控制时，控制装置获取关于图像数据传输装置的能力的信息。当控制装置根据关于所述能力的信息决定被控制的图像数据传输装置具有受由压缩编码而引起的延迟的影响的功能时，或者当被控制的图像数据传输装置使用受由压缩编码而引起的延迟的影响的功能时，图像数据传输装置被控制实行减少所述延迟的压缩编码。因此，可以提供一种图像数据传输方法，其具有减少延迟时间的显著优点，所述延迟时间被插入，直到响应输入的控制指令使图像在监视器上显示为止，例如，当图像数据传输装置被控制从而操作一个机械系统，同时在图像接收装置上观看监视器时。
此外，按照本发明，当选择器从任意一个图像数据传输装置转换到另一个图像数据传输装置时，在紧跟转换之后的一个预定的时间间隔内，改变GOP的结构，使得减少由所述转换而引起的延迟。因此，可以提供一种图像数据传输方法，当多个图像数据流在图像数据传输装置当中被转换时，其具有减少可能发生的转换延迟时间的优点。

Claims (13)

1.一种图像数据传输方法，包括以下步骤：
提供多个图像数据传输装置，用于压缩编码图像数据并传输被压缩编码的图像数据；
提供图像数据接收装置，用于接收所述图像数据；
提供用于控制所述图像数据传输装置的控制装置；
提供用于互联上述各个装置的网络；
通过使图像数据接收装置和控制装置周期地或在图像数据接收装置或控制装置每次接通电源时或在每次操作时请求有关图像数据传输装置的信息，获取存储在设置在每一所述图像接收装置内的存储单元中的关于能力的信息；以及
当所述控制装置根据关于所述能力的信息确定被控制的图像数据传输装置具有受由压缩编码而引起的延迟的影响的功能时，或者当所述被控制的图像数据传输装置使用许多功能当中的一种受由压缩编码而引起的延迟的影响的功能时，实行减少所述延迟的压缩编码。
2.如权利要求1所述的图像数据传输方法，还包括以下步骤：当所述图像数据传输装置的任何一个在一个预定的时间间隔内不被控制时，或者当所述图像数据传输装置的任何一个在一个预定的时间间隔内不使用受延迟影响的功能时，转换为具有高的传输效率的压缩编码。
3.如权利要求1所述的图像数据传输方法，其中当一个图像数据传输装置被选定时，所述控制装置通过网络获取关于能力的信息。
4.如权利要求2所述的图像数据传输方法，其中当一个图像数据传输装置被选定时，所述控制装置通过网络获取关于能力的信息。
5.如权利要求1所述的图像数据传输方法，其中当所述图像数据传输装置和所述网络相连时，所述控制装置通过所述网络获取关于能力的信息并存储所述信息。
6.如权利要求2所述的图像数据传输方法，其中当所述图像数据传输装置和所述网络相连时，所述控制装置通过所述网络获取关于能力的信息并存储所述信息。
7.如权利要求1-6中任何一个所述的图像数据传输方法，其中所述减少所述延迟的压缩编码，利用在编码时使用的被减小容量的缓冲存储器进行。
8.如权利要求1-6中任何一个所述的图像数据传输方法，其中所述减少所述延迟的压缩编码，包括使用场结构的编码。
9.一种图像数据传输方法，包括以下步骤：
提供多个图像数据传输装置，用于把图像数据转换成具有GOP结构的压缩编码的数据流并传输所述被压缩编码的数据流；
提供一个计数器，用于对每个GOP的传输的图像数进行计数；
提供图像数据接收装置，用于接收所述数据流；
提供用于选择所述图像数据传输装置中的一个的选择器；
提供用于互联所述各个装置的网络；以及
当所述选择器从任意一个图像数据传输装置转换到另一个图像数据传输装置时，在紧跟转换之后的一个预定的时间间隔内改变GOP的结构，以减少由所述转换引起的延迟。
10.如权利要求9所述的图像数据传输方法，其中所述改变GOP结构的步骤，包括在命令转换的时刻停止发送当前的GOP，并开始一个新的GOP循环。
11.如权利要求9所述的图像数据传输方法，还包括以下步骤：直到下一个GOP同步发送一个GOP，其具有的图像数等于通过从正常的GOP中的图像数中减去在摄像机转换完成之后瞬间所述计数器的一个计数值而计算出来的值。
12.如权利要求9所述的图像数据传输方法，其中所述改变GOP结构的步骤，包括在紧跟转换之后的一个预定时间间隔内只传输GOP的帧内图像的步骤。
13.如权利要求9所述的图像数据传输方法，其中所述改变GOP结构的步骤，包括从转换完成后的时刻到下一个GOP同步只传输GOP的帧内图像的步骤。
CNB001188763A 1999-09-22 2000-06-22 图像传输方法 Expired - Fee Related CN1206863C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP269132/1999 1999-09-22
JP26913299A JP4331835B2 (ja) 1999-09-22 1999-09-22 画像データ伝送方法

Publications (2)

Publication Number Publication Date
CN1289211A CN1289211A (zh) 2001-03-28
CN1206863C true CN1206863C (zh) 2005-06-15

Family

ID=17468150

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB001188763A Expired - Fee Related CN1206863C (zh) 1999-09-22 2000-06-22 图像传输方法

Country Status (7)

Country Link
US (1) US6707947B1 (zh)
EP (2) EP2148511A3 (zh)
JP (1) JP4331835B2 (zh)
CN (1) CN1206863C (zh)
AU (1) AU774608B2 (zh)
CA (1) CA2311211C (zh)
TW (1) TW510094B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980234B2 (en) * 2000-10-19 2005-12-27 Canon Kabushiki Kaisha System for changing setup of first device that executes predetermined function by second device and these devices
CA2344930C (en) * 2001-04-23 2007-04-17 Leitch Technology International Inc. Data monitoring system
JP2003299076A (ja) * 2002-04-04 2003-10-17 Matsushita Electric Ind Co Ltd 画像伝送装置
AU2002357266A1 (en) 2002-11-12 2004-06-03 Zetera Corporation Communication protocols, systems and methods
US7170890B2 (en) 2002-12-16 2007-01-30 Zetera Corporation Electrical devices with improved communication
US7649880B2 (en) 2002-11-12 2010-01-19 Mark Adams Systems and methods for deriving storage area commands
US8005918B2 (en) 2002-11-12 2011-08-23 Rateze Remote Mgmt. L.L.C. Data storage devices having IP capable partitions
FR2871649B1 (fr) * 2004-06-10 2006-09-22 Mediasyscom Soc Par Actions Si Procede de commutation de programmes video numeriques et emetteur pour sa mise en oeuvre
CN100568960C (zh) * 2004-10-12 2009-12-09 国际商业机器公司 建立和管理视频监视系统的设备和方法
JP2006203817A (ja) * 2005-01-24 2006-08-03 Nippon Soken Inc マルチカメラシステム
US7702850B2 (en) 2005-03-14 2010-04-20 Thomas Earl Ludwig Topology independent storage arrays and methods
US7620981B2 (en) 2005-05-26 2009-11-17 Charles William Frank Virtual devices and virtual bus tunnels, modules and methods
US8819092B2 (en) 2005-08-16 2014-08-26 Rateze Remote Mgmt. L.L.C. Disaggregated resources and access methods
US7743214B2 (en) 2005-08-16 2010-06-22 Mark Adams Generating storage system commands
US9270532B2 (en) 2005-10-06 2016-02-23 Rateze Remote Mgmt. L.L.C. Resource command messages and methods
US8194132B2 (en) 2006-01-20 2012-06-05 Old World Industries, Llc System for monitoring an area adjacent a vehicle
US7924881B2 (en) 2006-04-10 2011-04-12 Rateze Remote Mgmt. L.L.C. Datagram identifier management
JP2009272921A (ja) * 2008-05-08 2009-11-19 Panasonic Corp 動画像記録装置、動画像再生装置、動画像記録方法、動画像再生方法および半導体集積回路
JP5052578B2 (ja) * 2009-09-18 2012-10-17 シャープ株式会社 通信装置および通信装置としてコンピュータを機能させるためのプログラム
JP4691193B1 (ja) * 2010-04-13 2011-06-01 株式会社東芝 映像表示装置および映像処理方法
DE102014220372A1 (de) * 2014-10-08 2016-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum schneiden von mehreren kodierten videoströmen ohne vorherige dekodierung

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2944278B2 (ja) 1991-10-16 1999-08-30 富士通株式会社 可変レート符号化方式
JP2551305B2 (ja) * 1992-09-11 1996-11-06 日本電気株式会社 動画像符号化制御方式
US5491516A (en) 1993-01-14 1996-02-13 Rca Thomson Licensing Corporation Field elimination apparatus for a video compression/decompression system
JP3431953B2 (ja) 1993-07-27 2003-07-28 キヤノン株式会社 カメラ制御装置及び方法
JPH0767113A (ja) * 1993-08-24 1995-03-10 Toshiba Corp フレーム間帯域圧縮信号切り替え回路
JPH07212766A (ja) 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 動画像圧縮データ切り換え装置
JPH07250322A (ja) * 1994-03-09 1995-09-26 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置とそれを用いた遠隔監視システム
JPH07327228A (ja) * 1994-05-31 1995-12-12 Nippon Hoso Kyokai <Nhk> ディジタル符号化・伝送システム
JPH0837614A (ja) 1994-07-26 1996-02-06 Kyocera Corp カメラ遠隔制御操作装置
JP3058028B2 (ja) * 1994-10-31 2000-07-04 三菱電機株式会社 画像符号化データ再符号化装置
US5629736A (en) * 1994-11-01 1997-05-13 Lucent Technologies Inc. Coded domain picture composition for multimedia communications systems
JPH08223582A (ja) * 1995-02-15 1996-08-30 Sony Corp 圧縮画像データ選択システムおよび画像処理システム
JP3689447B2 (ja) * 1995-03-20 2005-08-31 キヤノン株式会社 カメラ制御システム及び方法
JP2824028B2 (ja) * 1995-06-08 1998-11-11 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 動画像圧縮装置
GB2307613B (en) * 1995-08-31 2000-03-22 British Broadcasting Corp Switching bit-rate reduced signals
GB2307151A (en) 1995-11-10 1997-05-14 British Broadcasting Corp Digital coding of video signals
EP0776130A3 (en) 1995-11-27 1998-03-04 Canon Kabushiki Kaisha Camera control system with variable frame rate
JPH10164555A (ja) * 1996-11-29 1998-06-19 Canon Inc サーバ及びクライアント及び制御方法及び記憶媒体
US5793425A (en) * 1996-09-13 1998-08-11 Philips Electronics North America Corporation Method and apparatus for dynamically controlling encoding parameters of multiple encoders in a multiplexed system
JPH10136324A (ja) * 1996-10-25 1998-05-22 Canon Inc 映像伝送方法及びその装置と該装置を含む映像伝送システム
JPH10155156A (ja) * 1996-11-22 1998-06-09 Sony Corp 映像信号切換装置とその方法
JP3304799B2 (ja) * 1997-01-30 2002-07-22 株式会社日立製作所 信号処理方法及び装置
JP3592025B2 (ja) * 1997-03-11 2004-11-24 キヤノン株式会社 撮影画像記録装置
US6384862B1 (en) * 1997-03-12 2002-05-07 Telefoaktiebolaget L M Ericsson Imaging system and method for interactive control of image quality
JPH10322694A (ja) * 1997-05-21 1998-12-04 Sony Corp ストリーム切替え装置
JPH10341371A (ja) * 1997-06-09 1998-12-22 Victor Co Of Japan Ltd カメラ遠隔制御システム
GB2369518B (en) * 1997-07-18 2002-07-17 British Broadcasting Corp Switching compressed video bitstreams
US5943508A (en) * 1997-07-28 1999-08-24 Tektronix, Inc. Switcher using shared decompression processors for processing both broadband and compressed video data
EP0895421A3 (en) 1997-07-29 1999-11-17 Canon Kabushiki Kaisha Camera control system controlling different types of cameras
DE19882097B3 (de) * 1997-12-08 2012-12-20 Sony Corp. Codiereinrichtung und Codierverfahren
GB2337392B (en) * 1997-12-08 2002-04-17 Sony Corp Coding device and method
US6414998B1 (en) * 1998-01-27 2002-07-02 Sony Corporation Method and apparatus for inserting an image material
JPH11239329A (ja) 1998-02-23 1999-08-31 Sony Corp 画像伝送装置およびそれを使用した画像伝送システム

Also Published As

Publication number Publication date
EP2148511A2 (en) 2010-01-27
EP2148511A3 (en) 2010-04-28
JP2001094987A (ja) 2001-04-06
US6707947B1 (en) 2004-03-16
AU3940600A (en) 2001-03-29
CA2311211A1 (en) 2001-03-22
JP4331835B2 (ja) 2009-09-16
EP1087620A3 (en) 2004-05-12
CA2311211C (en) 2011-09-13
CN1289211A (zh) 2001-03-28
EP1087620A2 (en) 2001-03-28
TW510094B (en) 2002-11-11
AU774608B2 (en) 2004-07-01

Similar Documents

Publication Publication Date Title
CN1206863C (zh) 图像传输方法
CN1169370C (zh) 对预定场奇偶性的场进行编码的装置和方法
CN1268130C (zh) 固定带宽网络中多个压缩视频流的自适应带宽轨迹匹配
US8160129B2 (en) Image pickup apparatus and image distributing method
CN1852429A (zh) 视频码流分组传输方法及系统
CN1728829A (zh) 根据内容属性自适应控制缓冲量的设备和方法
CN1717047A (zh) 用于运动图像数据流业务的数据流文件、方法和系统
CN1592362A (zh) 网络照相机
CN101061718A (zh) 用于数字订户线路系统中的频道改变的方法和设备
CN1151656A (zh) 具有模拟和数字两种视频方式的接收机及其接收方法
CN1171158C (zh) 视频点播系统中活动图象的流动方法
CN1117690A (zh) 图像信号帧格式转换装置
CN1221132C (zh) 实现多种视音频流格式转换的装置和方法
CN101030938A (zh) QoS自适应的P2P流媒体数据组织与传输系统及方法
US20140362864A1 (en) Transmitting apparatus, transmitting method, and storage medium
US7593580B2 (en) Video encoding using parallel processors
CN1643932A (zh) 用于数据流式传输系统的数据结构
CN104918123A (zh) 用于运动视频回放的方法和系统
CN1214629C (zh) 传送静止图像的终端和方法
CN102724489A (zh) 一种减少视频编码时延的方法
CN100444640C (zh) 一种网络摄像装置
CN111212285A (zh) 硬件视频编码系统和硬件视频编码系统的控制方法
JP2013168941A (ja) 画像データを表示するためのビデオシステム及び方法及びコンピュータプログラムならびに符号化装置
CN112203050A (zh) 一种视频续传的方法及装置
CN206100340U (zh) 一种智能化jpeg图像编解码系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20050615

Termination date: 20190622