CN1279753C - 视频中继装置及视频分布系统 - Google Patents

视频中继装置及视频分布系统 Download PDF

Info

Publication number
CN1279753C
CN1279753C CNB038005808A CN03800580A CN1279753C CN 1279753 C CN1279753 C CN 1279753C CN B038005808 A CNB038005808 A CN B038005808A CN 03800580 A CN03800580 A CN 03800580A CN 1279753 C CN1279753 C CN 1279753C
Authority
CN
China
Prior art keywords
video
mentioned
relay
zone
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB038005808A
Other languages
English (en)
Other versions
CN1522535A (zh
Inventor
胁本浩司
神田准史郎
叶谷晋利
岛光秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1522535A publication Critical patent/CN1522535A/zh
Application granted granted Critical
Publication of CN1279753C publication Critical patent/CN1279753C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2221—Secondary servers, e.g. proxy server, cable television Head-end being a cable television head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2225—Local VOD servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

通过在传统的一般视频分布系统的服务器(200)与终端(400)之间插入视频中继装置(100)，即使在视频中继装置中不能事先存储视频的场合下，在采用了传送容量有限的通信单元的视频分布系统中，也可以高质量地显示视频。视频中继装置(100)中具有：接收视频的接收单元(10)；存储单元(20)，其暂时存储所接收的视频；区域定义单元(60)，其分割视频，对区域进行定义；区域分类单元(70)，其对由该区域定义单元(60)定义的区域进行分类；视频再构成单元(30)，其根据基于区域分类单元(70)的分类结果，对由区域定义单元(60)定义的区域的视频进行取舍选择或进行质量调整，并再构成；发送单元(40)，其发送由视频再构成单元(30)再构成的视频。

Description

视频中继装置及视频分布系统
技术领域
本发明涉及在利用因特网、从服务器向终端分布监视摄像机的视频等的视频分布系统中，设置于服务器与终端之间，对视频进行中继的视频中继装置及视频中继方法。
背景技术
以往，作为利用因特网来分布视频的系统示例，已知的比如有由RealNetworks公司推出的RealSystem等。在这种系统中，采用一种从服务器向终端连续发送数字化视频数据，终端边接收数据边同时进行再生的流分布技术。
图11是说明一般的视频分布系统的附图。
在服务器与终端之间，通常收发控制信息和视频信息这2种信息。作为用于收发控制信息的协议，已知的比如有RTSP(实时流协议)，作为用于收发视频信息的协议，已知的比如有RTP(实时传输协议)。从终端向服务器发送请求视频的控制信息后，服务器与此对应来开始视频信息的分布。终端构成为接收从服务器发送来的视频信息，在画面上将其显示出来。
这里，从服务器向终端分布视频的方式大致可分为实况分布与存储分布这2种。实况分布是一种类似于电视现场直播的方式，其将由摄像机摄影的实时视频按原样向终端分布。在这种方式中，当然用户不能在方便的时间视听所希望观看的视频。另一方面，存储分布是一种分布预先存储于服务器的视频的方式，它可进一步分为广播型和点播型。广播型存储分布是一种与电视的录像中继相同的方式，其按照预定的节目表来分布节目，因而在这种方式中，用户仍然不能在方便的时间视听所希望观看的视频。另一方面，在点播型存储分布中，用户可在方便时选择视听所希望观看的视频，而且与磁带录像机同样，可进行再生、停止、搜索等控制。
一般，对于数字视频，为提高视频的质量，有必要增加数据量，反之在减少数据量后，视频的质量将有变劣的倾向。这里，决定视频质量的主要因素有帧速率和画质。帧速率是1秒内的帧数(fps)，画质是由分辨率和灰度决定的各帧的图像质量。
比如在采用了作为访问因特网的线路而被一般性采用的ISDN(集成服务数字网络)线路的场合下，由于只能按有限的帧速率及画质来传送视频，因而与通常的电视视频相比，其动作不平滑，而且只能分布缺乏鲜明度的视频。另一方面，为按与电视视频同等的质量来分布视频，必须确保相当于ISDN线路数倍以上的传送容量，但在这种场合下，存在着通信费上扬的问题。
作为解决该问题的方法，考虑一种将视频数据的一部或全部事先存储到中继装置，然后读出所存储的视频数据并再生的方法。比如，在特开2001-25023所示的视频流分布方法中，通过事先将视频的一部分存储到中继装置，可以使超过传送路的容量的视频流再生。此外在特开2000-209258中所示的时间系列数据存储分布系统中，当未事先存储到中继装置的视频被请求时，使所请求的视频的再生开始延迟，或暂时进行低质量的分布，在这期间，将视频存储到服务器与终端之间的中继装置，在存储了足量视频的时点下，利用所存储的视频数据，开始从中继装置向终端进行高质量的分布。
图10是表示利用了上述2个中继装置的视频分布系统中通用的构成的附图。
这里，假设中继装置与终端之间的线路能确保为分布高质量视频所需的足够的通信速度。该系统中的中继装置对终端相当于一个服务器，而对服务器则相当于一个终端。即，首先，终端向中继装置发送请求视频分布的控制信息。中继装置判定所请求的视频是否已被存储，如果已存储，则将该视频信息向终端分布。当所请求的视频未被存储时，则向服务器发送请求视频分布的控制信息。服务器对应于该请求，开始视频的分布。中继装置将其接收并进行存储，同时对终端进行分布。
传统的视频中继装置按以上形式来构成，在存储分布方式中，通过将超过传送路容量的视频数据事先转送并存储到中继装置，具有可进行高质量的视频再生的效果。此外由于中继装置对服务器相当于一个终端，因而具有通过在由服务器与终端构成的视频分布系统中插入中继装置，无需变更服务器的构成，便可进行高质量的视频再生的效果。
不过，在远程确认监视摄像机的视频的场合下，由于有希望在终端侧当场再生并确认所摄影的视频的请求，因而有必要采取实况分布的方式。在该场合下，不能像采用了上述传统的视频中继装置的视频分布系统那样，事先将视频存储到中继装置。因此在传统的视频中继装置中存在以下问题，即：在远程监视等希望在终端侧当场再生并确认所摄影的视频的场合下，不能进行超过传送路容量的高质量的视频再生。
此外即使对于存储分布方式，也存在着以下问题，即：在点播型视频分布中，有必要分布用户从多种视频中选择的视频，难以事先将用户可能选择的所有视频都分布到视频中继装置。
尤其在特开2000-209258所示的时间系列数据存储分布系统中，当未事先存储到中继装置的视频被请求时，使所请求的视频的再生开始延迟，或暂时进行低质量的分布，在这期间，将视频存储到服务器与终端之间的中继装置，在存储了足量视频的时点下，利用所存储的视频数据，开始从中继装置向终端进行高质量的分布，但是存在着以下问题，即：当将从服务器向中继装置分布的视频设置为高质量后，在存储足量的视频之前需要长时间等待，反之当将从服务器向中继装置分布的视频设置为低质量后，不能以高质量来显示希望以高质量显示的部位。
本发明旨在解决上述问题点，其目的在于，获得一种视频中继装置及视频分布系统，其通过在传统的一般视频分布系统的服务器与终端之间插入视频中继装置，即使在不能将视频事先存储到视频中继装置的场合下，也能在采用了传送容量有限的通信单元的视频分布系统中，以高质量来显示视频并进行确认。
发明内容
本发明涉及的视频中继装置的特征在于：具有
接收视频的接收单元；
存储单元，其暂时存储上述接收单元所接收的视频；
解析分类单元，其解析上述存储单元所存储的视频，按区域来对视频分类；
视频再构成单元，其根据基于上述解析分类单元的分类结果，变更上述存储单元所存储的视频的质量，来再构成视频；
发送单元，其发送由上述视频再构成单元再构成的视频；
上述视频再构成单元使分类了的区域中规定区域的视频的再生速度降低，来再构成视频。
其特征在于：上述视频再构成单元
对视频的取舍选择、视频的画质变更、视频的再生速度的至少任意一个进行调整，变更视频的质量。
其特征在于：上述解析分类单元具有
区域定义单元，其按所注目的区间来分割视频，并定义注目区；
区域分类单元，其对由上述区域定义单元定义的区域进行分类。
其特征在于：上述解析分类单元还具备解析视频的视频解析单元，
上述区域定义单元根据基于上述视频解析单元的解析结果，来对区域进行定义，同时
上述区域分类单元根据基于上述视频解析单元的解析结果，来对区域进行分类。
其特征在于：上述视频解析单元对被摄体与摄像装置至少任意一个的变化的大小进行解析，
上述区域分类单元基于被摄体与摄像装置至少任意一个的变化的大小，来将区域分类为动态区间和静态区间，
上述视频再构成单元在动态区间提高质量，来再构成视频。
其特征在于：上述视频解析单元对被摄体与摄像装置至少任意一个的变化的大小进行解析，
上述区域分类单元基于被摄体与摄像装置至少任意一个的变化的大小，来将区域分类为动态区间和静态区间，
上述视频再构成单元在静态区间降低质量，来再构成视频。
其特征在于：上述视频解析单元检测被摄体的移动，
上述区域分类单元将区域分类为被摄体存在区和被摄体不存在区，
上述视频再构成单元选择被摄体存在区，来再构成视频。
其特征在于：上述区域定义单元从终端接收用户的操作信息，基于该信息，按区域来分割视频。
其特征在于：上述区域分类单元从终端接收用户的操作信息，基于该信息来对区域进行分类。
本发明涉及的视频分布系统的特征在于：在从服务器向终端分布视频的视频分布系统中，
在服务器与终端之间，配置视频中继装置，其具有
接收视频的接收单元；
存储单元，其暂时存储上述接收单元所接收的视频；
解析分类单元，其解析上述存储单元所存储的视频，按区域来对视频分类；
视频再构成单元，其根据基于上述解析分类单元的分类结果，变更上述存储单元所存储的视频的质量，来再构成视频；
发送单元，其发送由上述视频再构成单元再构成的视频，
上述视频中继装置的视频再构成单元使分类了的区域中规定区域的视频的再生速度降低，来再构成视频。
本发明涉及的视频分布系统的特征在于：在从服务器向终端分布视频的视频分布系统中，
作为第1视频中继装置及第2视频中继装置，在服务器与终端之间配置2个视频中继装置，其具有
接收视频的接收单元；
存储单元，其暂时存储上述接收单元所接收的视频；
解析分类单元，其解析上述存储单元所存储的视频，按区域来对视频分类；
视频再构成单元，其根据基于上述解析分类单元的分类结果，变更上述存储单元所存储的视频的质量，来再构成视频；
发送单元，其发送由上述视频再构成单元再构成的视频，
上述第1视频中继装置使分类了的区域中规定区域的视频的再生速度降低，来再构成视频，并发送到上述第2视频中继装置，
上述第2视频中继装置使从上述第1视频中继装置接收的视频恢复到原来的再生速度来进行再构成。
其特征在于：上述视频中继装置接收来自终端的请求，基于该请求，向终端发送上述存储单元中存储的任意时刻的视频。
本发明涉及的视频分布系统的特征在于：在从服务器向终端分布视频的视频分布系统中，
作为第1视频中继装置及第2视频中继装置，在服务器与终端之间配置2个视频中继装置，其具有
接收视频的接收单元；
存储单元，其暂时存储上述接收单元所接收的视频；
解析分类单元，其解析上述存储单元所存储的视频，按区域来对视频分类；
视频再构成单元，其根据基于上述解析分类单元的分类结果，变更上述存储单元所存储的视频的质量，来再构成视频；
发送单元，其发送由上述视频再构成单元再构成的视频，
上述第2视频中继装置接收来自终端的请求，将来自终端的请求发送到上述第1视频中继装置，
上述第1视频中继装置接收来自上述第2中继装置的请求，基于该请求，向第2视频中继装置发送第1视频中继装置的存储单元中存储的任意时刻的视频，
上述第2视频中继装置将从第1视频中继装置发送的视频存储到第2视频中继装置的存储单元，向终端分布。
本发明涉及的视频分布系统的特征在于：在从服务器向终端分布视频的视频分布系统中，在服务器与终端之间，具备第1视频中继装置和第2视频中继装置，
上述第1视频中继装置使规定区域的视频的再生速度降低，来再构成视频，并发送到上述第2视频中继装置，
上述第2视频中继装置使从上述第1视频中继装置接收的视频恢复到原来的再生速度，进行再构成。
本发明涉及的视频分布系统的特征在于：在从服务器向终端分布视频的视频分布系统中，
在服务器与终端之间，具备
第1视频中继装置，其具有存储视频的第1存储单元；
第2视频中继装置，其具有存储视频的第2存储单元，
上述第2视频中继装置接收来自终端的请求，将来自终端的请求发送到上述第1视频中继装置，
上述第1视频中继装置接收来自上述第2中继装置的请求，基于该请求，向第2视频中继装置发送第1视频中继装置的第1存储单元中存储的任意时刻的视频，
上述第2视频中继装置将从第1视频中继装置发送的视频存储到第2视频中继装置的第2存储单元，向终端分布。
本发明涉及的视频中继方法的特征在于：
通过通信线路来接收视频，
将所接收的视频暂时存储到存储器，
对存储器中存储的视频进行解析，按区域来对视频分类，
根据分类结果，来变更存储器中存储的视频的质量，再构成视频，
发送再构成的视频。
附图说明
图1是表示实施方式1的视频中继装置100的构成例的构成图。
图2是表示采用了实施方式1的视频中继装置100的视频分布系统的构成例的附图。
图3是说明实施方式1的视频解析单元的动作的附图。
图4是表示实施方式2的视频分布系统构成的附图。
图5是说明实施方式2的视频分布的想法的附图。
图6是表示实施方式3的接收的视频示例的附图。
图7是说明实施方式3的区域定义单元及视频再构成单元的动作的附图。
图8是表示实施方式4的终端画面示例的附图。
图9是表示基于实施方式5的视频分布系统的终端400的画面示例的附图。
图10是说明采用了传统的视频中继装置的视频分布系统构成的附图。
图11是说明一般的视频分布系统的附图。
图12是实施方式1的解析分类单元80的动作流程图。
图13是实施方式1的视频再构成单元30的动作流程图。
图14是表示实施方式1的动态区间与静态区间中视频再构成单元30的图像帧的取舍选择动作一例的附图。
图15是实施方式6的「过去视频」的嵌入分布的附图。
图16是表示进行了实施方式7的图像一览显示的终端400的画面示例的附图。
具体实施方式
实施方式1
图1是表示本发明的视频中继装置100的构成例的构成图。
图示的各构成要素概念性地表示各功能，并非一定与物理构成相对应。各构成要素在实际中可由计算机的硬件、存储器、缓冲器、存储装置、电子电路、半导体芯片、固件及在计算机上动作的软件程序来实现。因此下述的所谓「单元」如果可由计算机的硬件、电子电路、半导体芯片、固件及/或在计算机上动作的软件及/或其组合来实现，则可以是任意一种，在物理上，可以以系统单元、装置、部件、基片、程序的形式来实现。
此外，「单元」可只由硬件来实现，也可只由软件来实现，也可由其组合来实现。此外所谓「单元」一词在考虑实现下述功能的场合下，可置换为「手段」，在考虑实现下述机构的场合下，可置换为「机构」。同样，「单元」一词可置换为「电路」、「软件」、「程序」、「装置」词语。此外可对下述的「单元」进一步分割，形成「分单元」，也可以将2个单元合并，组成1个单元。
图1表示在传统的一般视频分布系统的服务器200与终端400之间插入视频中继装置100的场合。
视频中继装置100具有
在接收缓冲器中接收视频的接收单元10；
存储单元20，其在存储器中暂时存储上述接收单元所接收的视频；
解析分类单元80，其解析上述存储单元20所存储的视频，按时间区间的区域来对视频分类；
视频再构成单元30，其根据基于上述解析分类单元80的分类结果，变更上述存储单元20所存储的视频的质量，来再构成视频；
发送单元40，其从发送缓冲器发送由上述视频再构成单元30再构成的视频。
上述解析分类单元80具备
视频解析单元50，其对被摄体与摄像装置的至少任意一个变化的大小进行解析，并解析视频，将解析结果存储到存储器；
区域定义单元60，其按时间区间来分割视频，对时间区间的区域进行定义；
区域分类单元70，其将由上述区域定义单元定义的区域分类为动态区间和静态区间。
上述区域定义单元60根据基于上述视频解析单元50的解析结果，来对区域进行定义，并存储到存储器，同时上述区域分类单元70根据基于上述视频解析单元50的解析结果，来对区域进行分类，并存储到存储器。
上述视频再构成单元30对视频的取舍选择、视频的质量变更、视频的再生速度的至少任意一个进行调整，变更视频的质量。
上述视频再构成单元30在动态区间提高质量，来再构成视频。上述视频再构成单元30在静态区间降低质量，来再构成视频。
图2是表示采用了本发明的视频中继装置100的视频分布系统的构成例的附图。
这里，作为一例，考虑一种由固定摄像机300来对特定的停车场进行摄影，由远程终端400来对其进行监视的场合。服务器200可以设置到摄像机300附近，也可以设置到别处，经由通信线路来连接。由摄像机300摄影的视频以每秒30帧的间隔被作为数字数据取入到服务器200。服务器200依次发送从摄像机300取入的视频。这里，通过RTSP(实时流协议)来接收来自终端400的发送请求，通过RTP(实时传输协议)来向请求方终端400发送视频。
另一方面，终端400通过在设置于监视者所在的场所的桌面型个人计算机中接收视频并运行再生用程序来实现。经由通信线路，将该终端400与服务器200直接连接后，可通过终端400来确认由摄像机300摄影的当前视频，但在该场合下，视频的质量受到通信线路的传送容量限制。这里，假设终端400通过调制解调器连接等，经由因特网服务提供商500来与因特网连接。
在本实施方式中，在因特网服务提供商500中设置视频中继装置100，分别通过通信线路来连接视频中继装置100与终端400、视频中继装置100与服务器200。这里，假设在服务器200与视频中继装置100之间有足够的传送容量，1秒内可分布30帧视频。另一方面，假设在视频中继装置100与终端400之间，传送容量受到限制，1秒内只能分布3帧的程度。
以下，对其动作作以说明。
首先，终端400对视频中继装置100发行请求视频分布的控制信息。视频中继装置100将该控制信息再向服务器200发行。服务器200对应于该分布请求，开始向视频中继装置100分布视频。
视频中继装置100的接收单元10接收从服务器200分布的视频数据，将所接收的数据依次存储到存储单元20。
区域定义单元60分割视频，对区域进行定义。
这里，对区域的概念作以说明。
这里，将视频看作是具有使具有X轴及Y轴的2维视频数据沿着成为Z轴的时间轴排列的XYZ坐标的3维视频数据，将构成该3维数据排列的一部分的要素集合称为区域。即，区域可由Z轴上的开始时刻、Z轴上的结束时刻、开始时刻与结束时刻之间各时刻(Z坐标)中图像上的位置(XY坐标)来定义。
在本实施方式中，区域定义单元60不将构成由XY坐标组成的1帧的图像在XY坐标上分割为多个区域，而将可沿时间轴(Z轴)对视频进行分割的时间区间定义为区域。
作为视频的分割方法，可以单纯地按各规定的秒数来分割视频，以下所示的是一种基于由视频解析单元50检测出的被摄体或摄像装置的变化大小，来进行分割的方法。
首先，对基于视频解析单元50的被摄体的变化或摄像装置(摄像机300)的变化的解析作以说明。
这里，所谓被摄体的变化系指比如被摄体的动作、移动、变形等。所谓摄像装置的变化系指比如摄像机的设置位置的移动、基于摄像机转动等的摄影方向的变更、基于移近/移离的摄像机视角的扩大缩小等。
图12是解析分类单元80的动作流程图。
视频解析单元50为判定被摄体或摄像装置的变化大小，从存储单元20读出视频(S10)，并进行解析(S11)。变化的大小通过比如比较邻接的2个帧，对其亮度变化超过一定量的像素数进行计数来判定。或者还有一种方法，在该方法中，通过对各帧像素的颜色、灰度等进行统计性解析，对各帧求出直方图，并评估直方图之差，来判定变化的大小。或者还有一种方法，在该方法中，通过图形匹配等，对构成某帧的若干个像素求出其它帧中对应的点，来评估各像素的移动量，由此来判定变化的大小。
区域定义单元60基于如此求出的变化量，来定义区域(S12)。即，如图3所示，在变化量处于规定量以下的区间连续了规定时间以上的场合下，将该区间作为静态区间(S13)，将除此之外的区间作为动态区间(S14)。区域定义单元60通过按静态区间与动态区间的切换点来分割视频，来对区间进行定义。
区域分类单元70基于上述静态区间或动态区间的定义，来将各区域分类为静态区间与动态区间，并保持分类结果(S15)。
视频再构成单元30由区域的取舍选择或画质的变更等来进行视频的质量调整，再构成视频。对视频按静态区间与动态区间分类后，具有重要意义的是动态区间。在动态区间，以高质量来传送从服务器200接收的视频，在静态区间，可以降低视频质量来传送。或者也可以在静态区间不进行传送，只传送动态区间。
这里，视频中继装置100与终端400之间的通信线路可以在1秒内只传送3帧(3fps)。对动态区间，为提高视频的质量，将帧速率设定为每秒15帧(15fps)后，为通过该通信线路来进行传送，有必要将再生速度设至五分之一。另一方面，对静态区间，完全不传送视频，或将帧速率设为1fps至3fps，降低质量来传送。
这样，动态区间的视频传送长于实际时间，而静态区间的视频传送则等于或短于实际时间。
在动态区间，产生视频中继装置100中的延迟时间，在该延迟时间内，存储单元20对视频进行存储。即，延迟时间的增加意味着存储单元20内未分布的剩余视频量的增加。不过，在监视停车场的出入库之类的场合下，由于动态区间被假设为整体中的极小区间，因而不必担心因延迟时间而使视频在存储单元20内无限制地存储。
反之，在静态区间，当将帧速率设定到1fps后，可使再生速度增至3倍，可缩短延迟时间。这里，在静态区间，对延迟时间即存储单元20中未分布的剩余视频量进行监视，当延迟时间超过规定时间时，设定为1fps的视频质量，使再生速度增至3倍，当延迟时间低于规定时间时，设定为3fps的视频质量，再生速度可以达到正常速度。
图13是视频再构成单元30的动作流程图。
图14是表示动态区间与静态区间中视频再构成单元30的图像帧的取舍选择动作一例的附图。
视频再构成单元30按时间轴的顺序(时间系列顺序)来读入存储单元20中存储的视频数据(图像帧)(S20)。视频再构成单元30参照区域分类单元70所保持的分类结果，来判定所读入的图像帧是处于静态区间还是动态区间(S21)。
在动态区间，为提高视频质量而将帧速率设定为每秒15帧(15fps)后，视频再构成单元30在图14的从帧1至9的动态区间内，从每2帧中选择1帧(S22)。
反之，在静态区间，当将帧速率设定到1fps后，在静态区间，视频再构成单元30对延迟时间即存储单元20中未分布的剩余视频量(剩余量)进行监视(S23)，比如对于图14的从帧10至79的各帧，当其延迟时间超过规定时间(M秒)后，对帧10至79，每30帧选1帧，选出帧10、40、70(S24)，设定1fps左右的视频质量，使再生速度增至3倍。此外比如对于图14的帧80以后的各帧，当其延迟时间低于规定时间(M秒)后，对帧80以后的帧，每10帧选1帧，选出帧80、90、100、110...(S25)，设定3fps左右的视频质量，使再生速度达到正常速度。
发送单元40向终端400发送由视频再构成单元30再构成的视频。
终端400接收如此再构成的视频，在画面上显示。在静态区间，进行正常的再生速度或3倍速度下的再生，在动态区间，形成五分之一左右速度的慢速动作视频。由于用户所注目的主要是动态区间的视频，因而动态区间的视频按慢速动作来再生这一点是适宜的。
此外在本实施方式中，具有对只由传统的服务器200与终端400构成的视频分布系统只插入视频中继装置100，而几乎不变更服务器200及终端400，便可得到上述效果的长处。
在考虑远程显示并确认监视摄像机的视频的场合的情况下，不必以高质量来显示所有的视频，只需有选择地以高质量来显示发生了特别事件的区间及拍摄特定被摄体的位置即可。
如上所述，本实施方式涉及的视频中继装置的特征在于：具有
接收视频的接收单元10；
存储单元20，其暂时存储所接收的视频；
区域定义单元60，其分割视频，对区域进行定义；
区域分类单元70，其对由该区域定义单元60定义的区域进行分类；
视频再构成单元30，其根据基于区域分类单元70的分类结果，对由区域定义单元60定义的区域的视频进行取舍选择或进行质量调整，并再构成；
发送单元40，其发送由视频再构成单元30再构成的视频。
根据该视频中继装置，由于视频再构成单元30根据基于区域分类单元70的区域信息，按各区域来进行取舍选择或质量调整，予以再构成，并将再构成的视频发送到终端400，因而终端400中可按高质量来有选择地显示出特定区域。
本实施方式的第一特征在于：不对从服务器200发送来的视频数据进行取舍选择并存储到存储单元20，而将从服务器200发送来的正常视频数据按原样存储到存储单元20。因此，服务器200中不进行任何变更。第二特征在于：对存储单元20中存储的视频进行取舍选择或进行质量调整，以降低传送路的负荷。因此，即使发送侧线路的传送容量较小，也可以使数据量与该发送侧的传送容量相匹配。第三特征在于：可进行其动态区间之类的注目区域的视频质量较高，而静态区间之类的非注目区域的视频质量较低的视频再构成。因此，变化大的视频部分可以按高质量来再生视频。
实施方式2
接下来，对在服务器200与终端400之间插入2个视频中继装置的方式作以说明。
2个视频中继装置的构成分别与实施方式1大致相同。
图4是表示本实施方式的视频分布系统构成的附图。
在本例中，第1视频中继装置101与实施方式1同样，设置于因特网服务提供商等内。第2视频中继装置102设置于比如与终端400同一的结构内，通过结构内的LAN(局域网)来与终端400连接。假设在第1视频中继装置101与服务器200之间，以及第2视频中继装置102与终端400之间，分别具有足够的传送容量，1秒内可分布30帧视频。另一方面，假设在第1视频中继装置101与第2视频中继装置102之间，1秒内只能传送3帧的程度。
以下，对其动作作以说明。
首先，终端400对第2视频中继装置102发行请求视频分布的控制信息。第2视频中继装置102将该控制信息再向第1视频中继装置101传送。第1视频中继装置101再将该控制信息向服务器200发行。服务器200对应于该分布请求，开始向第1视频中继装置101分布视频。
第1视频中继装置101的动作与实施方式1基本相同。但是发送单元40不是向终端400，而是向第2视频中继装置102发送视频。
以下，对第2视频中继装置102的动作作以说明。
接收单元10接收从第1视频中继装置101分布的视频数据，将所接收的数据依次存储到存储单元20。区域定义单元60对视频进行分割，定义区域。视频的分割与第1视频中继装置101相同，可以利用基于视频解析单元50的视频解析结果，也可以经由通信线路来传送第1视频中继单元中的区域定义结果。
此外，区域分类单元70将各区域分类为静态区间和动态区间，并保持分类结果。该分类与第1视频中继装置101同样，可以利用基于视频解析单元50的视频解析结果，也可以经由通信线路来传送第1视频中继装置101中的区域定义结果。
第2视频中继装置102的视频再构成单元30再构成视频。由于在接收时其动态区间的视频再生速度达到五分之一，因而这里使再生速度恢复到原来的再生速度。
图5是说明基于上述考虑的视频分布的附图。
横轴表示时间。纵左轴表示视频数据的转送与再构成的顺序。视频数据的高度(图面的上下幅度)表示视频数据的质量。
首先，在服务器200侧的第1视频中继装置101中，通过降低画质或帧速率，对判定为静态区间的区域，生成降低了质量的视频，并将其传送到终端400侧的第2视频中继装置102。在第1视频中继装置101的视频再构成单元30中，为降低各帧的画质，可以使由服务器200压缩后所接收的数据一次扩展，再次降低质量并压缩，在JPEG(联合图像专家组)规范下的级进式可阶段扩展压缩形式的场合下，可以只从数据中取出必要的部分来传送。此外在第1视频中继装置101的视频再构成单元30中，为降低帧速率，如果比如每隔1帧来取出1帧并进行传送，便可使帧速率下降一半。这里，假设在第1视频中继装置101的视频再构成单元30中，使30fps的视频帧速率下降到1fps至3fps。这样，可通过在1秒内可传送3帧的通信线路来进行传送。第1视频中继装置101的视频再构成单元30对判定为动态区间的区域，减少质量的下降。这里，设定为15fps。为通过上述通信线路来进行传送，有必要使再生速度降至五分之一。
这样，在从第1视频中继装置101向第2视频中继装置102的传送中，在静态区间，由于通过可在1秒内传送3帧的通信线路，按照1fps至3fps的传送速度来传送视频，因而成为正常的再生速度或稍快速度的视频，在动态区间，由于通过可在1秒内传送3帧的通信线路，按照15fps的传送速度来传送视频，因而成为慢速动作视频。在第2视频中继装置102的视频再构成单元30中，使视频恢复原速度来再构成。即，在动态区间，使各帧之间的间隔降至1/5左右，使其与30fps的图像再生速度相同，来再构成视频，在静态区间，使各帧之间的间隔扩展10～30倍，使其与30fps的图像再生速度相同，来再构成视频。
发送单元40将再构成的视频发送到终端400。在终端400，在静态区间成为低质量的视频，但在动态区间，可见到高质量的视频。
实施方式3
该实施方式以由固定摄像机300来监视在海上航行的船舶的场合为例来进行说明。
视频中继装置的构成和视频分布系统的构成与实施方式1的图1、图2大体相同。
在该实施方式中，对不按时间轴(Z轴)方向来区分区域，而在帧内(XY轴)区分区域的场合作以说明。
以下对动作作以说明。
接收单元10接收从服务器200分布的视频数据，存储到存储单元20。图6表示所接收的视频的示例。这里，假设各帧的像素数比如在X轴为1024像素，在Y轴为768像素(1024*768像素)。在构成视频的各帧中，根据时间的推移，对船舶自右向左行驶来移动的状态进行摄像。
区域定义单元60根据基于视频解析单元50的被摄体移动的检测结果来对区域进行定义。
视频解析单元50比如按以下方法来求出被摄体的移动。首先，生成2个视频帧的差异图像，然后只抽出移动中的船舶区域。对所抽出的船舶区域，在2个视频帧之间进行图形匹配，然后便可判定该区域如何运动。
这种帧间匹配可在每当接收视频帧时，在与前一视频帧之间进行，也可以比如按每秒来有选择地取出视频帧，只以所选择的帧为对象来进行。对如此获得的移动信息进行综合后，便可获知一系列的帧串中其被摄体如何运动。
区域定义单元60基于由视频解析单元50检测出的被摄体的移动信息，来分割为被摄体所在的区域及除此之外的区域。
此外，区域分类单元70对所分割的各区域进行分类。这里，将区域分类为被摄体所在的注目区域及被摄体不在的非注目区域，并保持分类结果。
视频再构成单元30基于由区域分类单元70分类的区域的信息，来再构成视频。如果以高画质按原样来传送从服务器200接收的视频，则需要比实际时间更长的时间，因而对按各分类来定义的被摄体区域以外的区域，降低其质量，或者省略传送。视频再构成单元30在图7的示例中，只取出被摄体所在的由虚线表示的注目区域来传送，对非注目区域省略传送。即，在1024*768像素的各帧中，将区域所在的范围作为剪贴范围来取出图像并再构成。这里的所谓再构成意味着比如与切换终端400的显示画面显示模式的指示一起，不增加取出的数据量，按原样将切出的视频数据发送到终端400。比如，视频再构成单元30在帧a中，切出128*96像素，将128*96像素的图像数据与使1024*768像素在终端400的画面上扩大显示的指令一起发送。或者，不增加所取出的数据量，扩大所取出的数据来传送。
这是因为通过省略拍摄被摄体的区域以外的视频，可不降低拍摄被摄体的区域的质量。
各帧a，b，c，d的传送量按以下方式减少。
帧a：(128*96)/(1024*768)＝0.015
帧b：(256*192)/(1024*768)＝0.062
帧c：(512*384)/(1024*768)＝0.254
帧d：(768*576)/(1024*768)＝0.562
在图例中，完全省略所选择区域之外的区域，使所选择的区域在终端400的画面上完全放大，但作为其它方法，也可以考虑只使所选择的区域达到高质量，而降低其它区域的质量来再构成。
如此再构成的视频由发送单元40来传送到终端400。
根据上述方法，由于对被摄体所在区域以外的区域，降低其质量或省略传送，因而即使在受限的传送容量下，对被摄体所在区域，也可进行高画质或高帧速率的分布。
实施方式4
在上述实施方式1、2、3中，表示了区域定义单元60或区域分类单元70根据基于视频解析单元50的视频解析结果，来进行区域定义或分类的方式，以下表示一种基于终端400中的用户操作，来进行时间轴(Z轴)上的区域即时间区间区域的定义或分类的方式。
该实施方式的视频分布系统的构成与实施方式2相同，如图4所示，在服务器200侧与终端400侧，分别配备视频中继装置101、102，通过通信线路来将其连接。这里同样，假设将通过通信线路来连接了2个视频中继装置101、102的系统综合看作是1个视频中继装置100。
假设视频中继装置101中，具有从终端400接收用户的操作信息的操作信息接收单元，视频中继装置101与终端400可双向通信。此外假设视频中继装置102中，具有接收来自视频中继装置101的请求的请求接收单元，视频中继装置102与视频中继装置101可双向通信。
此时，假设在服务器200与视频中继装置100之间以及视频中继装置100与终端400之间，具有每秒传送30帧的容量，另一方面，在视频中继装置100内，在1秒内可从服务器200侧的第1视频中继装置101向终端400侧的第2视频中继装置102传送3帧的程度。
服务器200侧的第1视频中继装置101在1秒内从服务器200接收30帧视频，并存储到存储单元20。由于在1秒内只能从服务器200侧的第1视频中继装置101向终端400侧的第2视频中继装置102传送3帧视频，因而终端400侧的第2视频中继装置102的视频再构成单元30再构成使帧速率下降至十分之一的视频，在1秒内，向终端400侧的第1视频中继装置101传送3个视频。终端400侧的第2视频中继装置102在1秒内接收3帧视频，发送到终端400。在终端400的画面上，从视频中继装置100传送来的视频按照每秒3帧的间隔来依次显示。
接下来，假设用户在显示于终端400的视频中发现了某个应注目的现象。用户通过终端400中的操作，来指定显示出应注目的现象的视频中的区域。这里，如上所述，其区域由开始时刻、结束时刻及各时刻下图像中的位置来规定。作为用户通过终端400中的操作来指定视频中的区域的方法，比如有以下方法。
即，如图8所示，在画面上显示出按钮，在用户发现了应注目的现象时，点击该钮。将点击按钮时所显示出的视频时刻的数秒前及数秒后分别看作是区域的开始及结束时刻，将该信息传送到视频中继装置100(第2视频中继装置102)。视频中继装置100的第2视频中继装置102的区域定义单元60基于该信息，将相应区间作为区域来定义。
或者，也可以考虑一种用户直接点击终端400的画面上所注目的被摄体的方法。将点击时所显示出的视频时刻的数秒前及数秒后分别看作是区域的开始及结束时刻，将被点击位置周围的规定范围看作是区域的位置，将该信息传送到视频中继装置100(第2视频中继装置102)后，视频中继装置100的第2视频中继装置102的区域定义单元60基于该位置及时间信息，来对区域进行定义。
由这些方法定义的区域再由第2视频中继装置102的区域分类单元70来分类为注目区域。
第2视频中继装置102将注目区域通报到第1视频中继装置101。第1视频中继装置101的区域分类单元70保持该注目区域。
在该时点下，注目区域的再生正在进行中，而第1视频中继装置101与第2视频中继装置102的视频再构成单元30再次返回注目区域的起点，以不同于正常的方法来再构成视频。通常，考虑到通信线路的传送容量，使帧速率降至十分之一来再构成，但对于注目区域，使帧速率达到每秒15帧，即达到二分之一。如果将该视频按原样来传送，则将超过传送容量，因而在第1视频中继装置101中使再生速度降至五分之一来传送，在第2视频中继装置102中，进行使再生速度复原的处理。如果基于用户的注目区域的指定在结束了该区域的分布之后进行，则第2视频中继装置102已经接收了低质量的视频，因而低质量的视频应被存储到存储单元20。由于在第1视频中继装置101中，从服务器200接收的高质量的视频应按原样存储，因而第2视频中继装置102的视频再构成单元30可以对向第1视频中继装置101的视频再构成单元30请求不足部分的视频数据。第2视频中继装置102的视频再构成单元30可从第1视频中继装置101的视频再构成单元30接收不足部分，结合已存储的低质量的视频，再构成高质量的视频来分布。
如果将从注目区域的开始时刻至结束时刻为止的这一期间设为5秒，则从第1视频中继装置101向第2视频中继装置102传送再构成的视频需要25秒。第2视频中继装置102等待从第1视频中继装置101的视频再构成单元30向第2视频中继装置102的存储单元20传送再构成视频的结束，第2视频中继装置102的视频再构成单元30读出第2视频中继装置102的存储单元20中存储的视频，并进行再生后，在终端400，对注目区域可以按15fps来再生视频。
此外在分布该注目区域视频的期间，从服务器来分布下一个非注目区域的视频，但该视频也可以存储到第1视频中继装置101的存储单元20，从第1视频中继装置101向第2视频中继装置102的注目区域分布结束后，转入该非注目区域的视频分布。
实施方式5
在以下的实施方式中，区域定义单元60根据基于视频解析单元50的视频解析结果来进行区域的定义，接着由终端400中的用户操作来对区域进行分类。
该实施方式下的视频分布系统的构成与实施方式4同样，如图4所示，在服务器200侧与终端400侧，分别配置视频中继装置101、102，通过通信线路对其进行连接。这里同样，假设将通过通信线路来连接了2个视频中继装置101、102的系统综合看作是一个视频中继装置100。
本实施方式的视频分布系统的动作与实施方式3相同，以下对其不同点作以说明。
第1视频中继装置101的区域定义单元60与实施方式1同样，对区域的信息进行定义。第1视频中继装置101经由第2视频中继装置102，将区域信息发送到终端400。
图9是基于本实施方式的视频分布系统的终端400的画面示例。
画面上的视频显示部是显示与实施方式4同样的视频的部分，区域信息显示部是显示由第1视频中继装置101的区域定义单元60定义，并经由第2视频中继装置102来发送到终端400的区域信息的部分。在图例中，与实施方式1同样，按照由第1视频中继装置101的区域定义单元60基于视频的变化量来分割视频并进行了定义的各区域，以曲线形式来显示视频的变化量。这里，区域信息显示部下部的数字是表示以当前时刻为基准，若干秒之前的数字。在该例中，区域信息显示部中以曲线形式来表示变化量，但也可以缩小各区域的代表图像来进行显示。
用户参考该区域信息显示部的显示，来选择应注目的区域。通过点击区域显示部的相应部分等来指示所选择的区域后，所选择的区域的信息被传送到视频中继装置100。视频中继装置100的区域分类单元70将该区域分类为注目区域。
视频中继装置100内的动作与实施方式4同样，视频中继装置100读出并再构成被分类为注目区域的区域。
通过上述动作，用户通过在视频中继装置100中从由视频解析单元50定义的区域中选择应注目的区域，在画面上对其进行指示，可以按高质量的视频来确认所选择的区域。在该实施方式中，由于向用户提示由区域定义单元60自动定义的区域信息，由用户选择欲按高质量来确认的区域，因而与实施方式4相比，可简化用户指定区域的操作。
实施方式6
对实施方式1(以及实施方式3)中记述的第2视频中继装置102，设置了从终端400接收用户操作信息的操作信息接收单元，对视频中继装置中的存储单元20进行了扩展，以便接收来自终端的用户操作信息，并基于该信息，将存储单元20内存储的任意时刻的视频作为发送对象。本实施方式中的视频分布系统的构成与实施方式1相同。
在图2中的终端400中，在比如向视频中继装置100请求了希望观看当前分布来的视频摄影时刻3秒前的视频的场合下，视频中继装置100的存储单元20调查是否存储了该时刻的视频，如果已存储，则将其分布到终端400。在下文中将从终端400请求的指定时刻的视频称为「过去视频」。此外，「过去视频」在这里表示指定时刻的1帧视频。此时，假设在视频中继装置100与终端400之间，由实施方式1中所说明的机构来控制分布视频。在这种场合下，比如如图15所示，通过嵌入「过去视频」来进行分布，可以对其它分布不产生过大的影响，来分布「过去视频」。图15中，上段表示正常分布的状态。下段表示在正常分布的8帧与9帧之间嵌入1帧「过去视频」的状态。此外，比如在「过去视频」的场合下，通过将意味着是从终端400请求的时刻的识别数据(ID)附加到视频来发送，可以在终端400中与正常的视频分布相区别来接收数据。这样，在终端400的显示画面上的其它窗口中，「过去视频」可作为静止画面来持续显示，在监视时可再次详细察看异常点。此外在本图15中，「过去视频」表示存储单元20中存在的1个帧，但如实施方式1所述，也可以将所指定时刻的前后数秒时间作为区域来指定。在该场合下，比如在终端400中，可以进行基于反复请求该部分的视频放像机等中的重复再生。即，可进行动画重放。在本实施方式中，表示了一种在正常视频分布中嵌入「过去视频」的分布方法，但也可以采用在将「过去视频」作为区域来规定的场合下，使正常的视频分布直至「过去视频」分布结束才停止或取消的方法。
根据上述构成，通过利用本实施方式中的视频中继装置，可追溯过去，再确认视频。
实施方式7
本实施方式中的视频分布系统的构成与实施方式2(以及实施方式4及5)相同，如图4所示。对实施方式4中记述的第1视频中继装置101中的存储单元20进行了扩展，以接收来自第2视频中继装置102的请求，并基于该请求，将存储单元20内存储的任意时刻的视频作为发送对象。此外对第2视频中继装置102中的存储单元20进行了扩展，以接收来自终端400的请求，对存储单元20内存储的视频进行一览显示。
假设用户在显示于终端400的视频中发现了某个应注目的现象。用户通过终端400中的操作，来请求第2视频中继装置102内存储单元20中存储的视频帧一览。在终端400中，比如如图16所示，在显示画面上对该结果进行一览显示。在图16中，点击右滚动钮后，按时间先后显示出新的视频(t+x中x值增加)，反之点击左滚动钮后，按时间先后显示出旧的视频(t-x中x值增加)。由此可指定希望观看的时刻的视频。由用户操作，通过终端400指定了所希望观看的时刻后，该请求经由第2视频中继装置102被发送到第1视频中继装置101。第1视频中继装置101接收请求后，确认存储单元20中是否存在所请求时刻的视频，在存在的场合下，将其向第2视频中继装置102分布。此外这里的分布机构可采用实施方式6中说明的方法。即，所请求的视频被嵌入到正常分布中来分布，此外由附加于所请求的视频的识别数据(ID)，可识别为是从第2视频中继装置102请求的视频。这样，与实施方式6同样，所请求的视频可持续在终端400上显示。
通过上述构成，由于第2视频中继装置102中只存储所分布来的质量下的视频，因而可利用它来将一览提供给终端400，在终端400，由用户操作，可从一览显示中请求任意时刻的视频，从第1视频中继装置101来分布视频，因而对在进行监视时，希望在更高的画质状态下来观察所发现的异常变化的场合等是有效的。
产业上的可利用性
根据本发明的最佳实施方式，由于视频再构成单元对由解析分类单元分类了的区域再构成视频，并将再构成的视频发送到终端，因而在采用了传送容量有限的通信单元的视频分布系统中，通过在服务器与终端之间插入视频中继装置，可以以高质量来显示视频并进行确认。
此外根据本发明的最佳实施方式，可以对视频的取舍选择、视频的画质变更、视频的再生速度的至少任意一个进行调整，视频再构成单元可变更视频的质量。
此外根据本发明的最佳实施方式，视频再构成单元对由区域定义单元定义的区域，可根据由区域分类单元分类的结果来再构成视频。
根据本发明的最佳实施方式，由于视频解析单元具备解析视频的视频解析单元，因而区域定义单元可根据基于上述视频解析单元的解析结果，来对区域进行定义，同时区域分类单元可根据基于视频解析单元的解析结果，来对区域进行分类。
根据本发明的最佳实施方式，视频解析单元对被摄体或摄像装置的变化大小进行解析，视频再构成单元按沿时间轴分割的各区间，基于被摄体或摄像装置的变化大小，使再生速度变化来再构成视频，因而可以以高质量来有选择地显示变化大的场景并进行确认。
根据本发明的最佳实施方式，视频解析单元检测出被摄体的移动，视频再构成单元根据在各时刻被摄体的拍摄位置，来再构成视频，因而可以以高质量来有选择地显示特定被摄体的拍摄部分并进行确认。
根据本发明的最佳实施方式，区域定义单元或区域分类单元通过接收用户的请求，来进行视频区间的定义或分类，因而可以以高质量来有选择地显示用户希望详细观看的部分并进行确认。
根据本发明的最佳实施方式，由于在服务器与终端之间配置视频中继装置，因而可获得即使利用传送容量有限的通信路，也可以以高质量来显示特定的场景并进行确认的视频分布系统。

Claims (13)

1.一种视频中继装置，其特征在于：具有
接收视频的接收单元；
存储单元，其暂时存储上述接收单元所接收的视频；
解析分类单元，其解析上述存储单元所存储的视频，按区域来对视频分类；
视频再构成单元，其根据基于上述解析分类单元的分类结果，变更上述存储单元所存储的视频的质量，来再构成视频；
发送单元，其发送由上述视频再构成单元再构成的视频；
上述视频再构成单元使分类了的区域中规定区域的视频的再生速度降低，来再构成视频。
2.权利要求1中记载的视频中继装置，其特征在于：
上述视频再构成单元
对视频的取舍选择、视频的画质变更、视频的再生速度的至少任意一个进行调整，变更视频的质量。
3.权利要求1中记载的视频中继装置，其特征在于：
上述解析分类单元具有
区域定义单元，其按所注目的区间来分割视频，并定义注目区；
区域分类单元，其对由上述区域定义单元定义的区域进行分类。
4.权利要求3中记载的视频中继装置，其特征在于：
上述解析分类单元还具备解析视频的视频解析单元，
上述区域定义单元根据基于上述视频解析单元的解析结果，来对区域进行定义，同时
上述区域分类单元根据基于上述视频解析单元的解析结果，来对区域进行分类。
5.权利要求4中记载的视频中继装置，其特征在于：
上述视频解析单元对被摄体与摄像装置至少任意一个的变化的大小进行解析，
上述区域分类单元基于被摄体与摄像装置至少任意一个的变化的大小，来将区域分类为动态区间和静态区间，
上述视频再构成单元在动态区间提高质量，来再构成视频。
6.权利要求4中记载的视频中继装置，其特征在于：
上述视频解析单元对被摄体与摄像装置至少任意一个的变化的大小进行解析，
上述区域分类单元基于被摄体与摄像装置至少任意一个的变化的大小，来将区域分类为动态区间和静态区间，
上述视频再构成单元在静态区间降低质量，来再构成视频。
7.权利要求4中记载的视频中继装置，其特征在于：
上述视频解析单元检测被摄体的移动，
上述区域分类单元将区域分类为被摄体存在区和被摄体不存在区，
上述视频再构成单元选择被摄体存在区，来再构成视频。
8.权利要求3中记载的视频中继装置，其特征在于：
上述区域定义单元从终端接收用户的操作信息，基于该信息，按区域来分割视频。
9.权利要求3中记载的视频中继装置，其特征在于：
上述区域分类单元从终端接收用户的操作信息，基于该信息来对区域进行分类。
10.权利要求1中记载的视频中继装置，其特征在于：
上述视频中继装置接收来自终端的请求，基于该请求，向终端发送上述存储单元中存储的任意时刻的视频。
11.一种从服务器向终端分布视频的视频分布系统，其特征在于：
在服务器与终端之间，配置视频中继装置，其具有
接收视频的接收单元；
存储单元，其暂时存储上述接收单元所接收的视频；
解析分类单元，其解析上述存储单元所存储的视频，按区域来对视频分类；
视频再构成单元，其根据基于上述解析分类单元的分类结果，变更上述存储单元所存储的视频的质量，来再构成视频；
发送单元，其发送由上述视频再构成单元再构成的视频，
上述视频中继装置的视频再构成单元使分类了的区域中规定区域的视频的再生速度降低，来再构成视频。
12.一种从服务器向终端分布视频的视频分布系统，其特征在于：
作为第1视频中继装置及第2视频中继装置，在服务器与终端之间配置2个视频中继装置，其具有
接收视频的接收单元；
存储单元，其暂时存储上述接收单元所接收的视频；
解析分类单元，其解析上述存储单元所存储的视频，按区域来对视频分类；
视频再构成单元，其根据基于上述解析分类单元的分类结果，变更上述存储单元所存储的视频的质量，来再构成视频；
发送单元，其发送由上述视频再构成单元再构成的视频，
上述第1视频中继装置使分类了的区域中规定区域的视频的再生速度降低，来再构成视频，并发送到上述第2视频中继装置，
上述第2视频中继装置使从上述第1视频中继装置接收的视频恢复到原来的再生速度来进行再构成。
13.一种从服务器向终端分布视频的视频分布系统，其特征在于：
在服务器与终端之间，具备第1视频中继装置和第2视频中继装置，
上述第1视频中继装置使规定区域的视频的再生速度降低，来再构成视频，并发送到上述第2视频中继装置，
上述第2视频中继装置使从上述第1视频中继装置接收的视频恢复到原来的再生速度，进行再构成。
CNB038005808A 2002-04-03 2003-04-01 视频中继装置及视频分布系统 Expired - Fee Related CN1279753C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP101545/2002 2002-04-03
JP2002101545 2002-04-03

Publications (2)

Publication Number Publication Date
CN1522535A CN1522535A (zh) 2004-08-18
CN1279753C true CN1279753C (zh) 2006-10-11

Family

ID=28672118

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038005808A Expired - Fee Related CN1279753C (zh) 2002-04-03 2003-04-01 视频中继装置及视频分布系统

Country Status (5)

Country Link
US (1) US20040190607A1 (zh)
EP (1) EP1492341A1 (zh)
JP (1) JPWO2003084225A1 (zh)
CN (1) CN1279753C (zh)
WO (1) WO2003084225A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7280753B2 (en) * 2003-09-03 2007-10-09 Canon Kabushiki Kaisha Display apparatus, image processing apparatus, and image processing system
CN100499536C (zh) * 2003-10-22 2009-06-10 华为技术有限公司 无线局域网中选定业务的解析接入处理方法
JP4718860B2 (ja) * 2005-02-17 2011-07-06 株式会社クリプトン 遠方監視システムおよび遠方監視方法
US20090205001A1 (en) * 2005-07-29 2009-08-13 Thomson Licensing Intelligent Disaster Recovery for Digital Cinema Multiplex Theaters
JP2007049305A (ja) * 2005-08-08 2007-02-22 Nihon Brain Ware Co Ltd 観察プログラム放送システム
CN100459695C (zh) * 2005-08-18 2009-02-04 腾讯科技（深圳）有限公司 视频数据传输方法及其传输系统
KR101166446B1 (ko) * 2006-03-14 2012-07-19 닛본 덴끼 가부시끼가이샤 버퍼 제어 방법, 중계 장치, 통신 시스템
US9026677B2 (en) * 2006-03-17 2015-05-05 Cisco Technology, Inc. Method and apparatus for providing video on demand
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
JP5312807B2 (ja) * 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
JP6479062B2 (ja) * 2017-02-06 2019-03-06 セコム株式会社 データ配信システム及びデータ配信方法
US10772551B2 (en) * 2017-05-09 2020-09-15 International Business Machines Corporation Cognitive progress indicator
JP7115058B2 (ja) * 2018-06-21 2022-08-09 日本電気株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08214201A (ja) * 1994-11-28 1996-08-20 Canon Inc 撮像装置
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
JP4270623B2 (ja) * 1999-01-13 2009-06-03 三菱電機株式会社 時系列データ蓄積配信システム
JP2000293937A (ja) * 1999-04-06 2000-10-20 Hitachi Ltd 記録再生装置
JP2001069510A (ja) * 1999-08-31 2001-03-16 Matsushita Electric Ind Co Ltd 映像監視装置
US6937770B1 (en) * 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video

Also Published As

Publication number Publication date
WO2003084225A1 (fr) 2003-10-09
JPWO2003084225A1 (ja) 2005-08-11
CN1522535A (zh) 2004-08-18
EP1492341A1 (en) 2004-12-29
US20040190607A1 (en) 2004-09-30

Similar Documents

Publication Publication Date Title
CN1279753C (zh) 视频中继装置及视频分布系统
CN1278557C (zh) 信息传递系统与方法以及信息处理设备与方法
CN100352270C (zh) 一种支持多源流媒体的同步播放控制方法
CN1103981C (zh) 视频信息调节装置
CN1278560C (zh) 视频数据发送/接收方法和视频监督系统
CN1299502C (zh) 解码设备和解码方法
CN1928888A (zh) 信息处理设备和信息处理方法
CN1636400A (zh) 运动图像分配系统、运动图像分配设备及方法、记录介质及程序
CN1756307A (zh) 图像发布系统及其控制方法
CN1784003A (zh) 内容递送系统、通信装置、通信方法和程序
CN1402853A (zh) 图像检索系统及图像检索方法
CN1922652A (zh) 信息显示方法以及信息显示装置
CN1740990A (zh) 优先化重放内容的信息处理设备及相关方法
CN1170312A (zh) 取自运动图像的静止图像文件的图像处理和显示方法及装置
CN1692640A (zh) 广播记录系统、记录设备、广播设备及用于节省用来记录内容的记录介质的存储空间的记录程序
CN1906924A (zh) 成像设备及成像辅助标记使用控制方法
CN1960442A (zh) 摄像设备和摄像方法
CN101077007A (zh) 内容呈现系统
CN1714554A (zh) 视听媒体编码系统
CN1192609C (zh) 图像编辑装置和图像编辑方法
CN1726529A (zh) 用于处理图像信号的设备和方法、用于执行该方法的程序、以及用于记录该程序的计算机可读介质
CN1817035A (zh) 信息处理设备和方法、程序记录介质及程序
CN101075233A (zh) 多媒体内容收集部件、系统及其方法
CN1929578A (zh) 记录装置和方法以及程序
CN1645924A (zh) 图像记录再生装置和图像再生方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061011

Termination date: 20120401