CN100517746C - 监控摄像机装置、使用其的监控系统及监控图像传送方法 - Google Patents

监控摄像机装置、使用其的监控系统及监控图像传送方法 Download PDF

Info

Publication number
CN100517746C
CN100517746C CNB2006800017735A CN200680001773A CN100517746C CN 100517746 C CN100517746 C CN 100517746C CN B2006800017735 A CNB2006800017735 A CN B2006800017735A CN 200680001773 A CN200680001773 A CN 200680001773A CN 100517746 C CN100517746 C CN 100517746C
Authority
CN
China
Prior art keywords
data
image
view data
monitoring
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006800017735A
Other languages
English (en)
Other versions
CN101099240A (zh
Inventor
松田圭右
樋口学
获野亮司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101099240A publication Critical patent/CN101099240A/zh
Application granted granted Critical
Publication of CN100517746C publication Critical patent/CN100517746C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19663—Surveillance related processing done local to the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Communication Control (AREA)

Abstract

本发明提供的监控摄像机装置具备：生成监控对象的图像数据的成像部(11)；从所述图像数据中提取每个特定帧周期的图像数据的运动图像提取部(12)；通过对所提取的图像数据进行压缩编码而生成运动图像数据的运动图像编码器(13)；输出表示拍摄对象变化的变化检测信号的变化检测部(17)；以及根据变化检测信号来切换至少两种通信协议而进行数据传输处理的传送处理部(19)。传送处理部(19)，在变化检测信号表示无变化时根据无连接型通信协议，或在变化检测信号表示有变化时根据连接型通信协议，通过网络(30)将运动图像数据传输给监控终端装置(40)。通过这样的结构，提供能够准确地送出判别监控对象是否异常时所必需的图像的监控摄像机装置以及监控系统。

Description

监控摄像机装置、使用其的监控系统及监控图像传送方法
技术领域
本发明涉及利用由监控摄像机等所拍摄的拍摄对象图像来进行远程监控的监控摄像机装置，以及使用此监控摄像机装置的监控系统，尤其涉及将所拍摄的拍摄对象图像的图像数据利用网络等进行远程传送的监控系统，以及所述系统中所利用的监控摄像机装置及监控图像传送方法。
背景技术
迄今，提出了各种与监控摄像机装置或监控系统相关的技术。尤其在近年，提出了通过利用因特网等网络，将设置在监控场所的监控摄像机所拍摄到的图像数据传输给远程监视器而进行监控的监控系统、以及所述监控系统中所利用的监控摄像机装置的相关技术。这些技术内容例如在日本专利特开2001-189932号公报中有所揭示。
图5是表示使用了这样的现有监控摄像机装置的监控系统的实例的框图。在监控摄像机装置92中，由成像部91所拍摄的监控对象的拍摄对象图像被压缩编码。经过压缩编码的图像数据，通过例如国际互联网等的传送网93，从监控摄像机装置92传送给监控监视器装置94。
成像部91拍摄拍摄对象，并将所拍摄的拍摄对象的图像数据提供给监控摄像机装置92中所设置的各编码器。动态图像编码器913根据动态图像压缩编码格式，对由成像部91所提供的图像数据进行压缩编码，生成经过压缩编码的动态图像的图像数据，即动态图像数据。
此处，作为这样的对动态图像的图像数据进行压缩编码的一种数字技术，有利用一个帧内的图像数据进行压缩编码、并且利用相邻的帧间的图像数据进行压缩编码的帧间压缩编码格式。而且，作为帧间压缩编码格式，有作为图像编码规格的MPEG(Moving Picture Image Coding Experts Group，活动图像专家组)2格式或MPEG4格式，这些格式在数字电视播放或通过国际互联网传递动态图像等过程中得到了实际应用。
静态图像编码器914根据静态图像压缩编码格式，对由成像部91所提供的图像数据进行压缩编码，生成经过压缩编码的静态图像的图像数据，即静态图像数据。此时，静态图像编码器914，以比动态图像编码器913生成动态图像数据的周期更晚的周期生成静态图像数据，且生成分辨率高于动态图像数据的静态图像数据。
作为这样的对静态图像的图像数据进行压缩编码的一种数字技术，有利用一个帧内的图像数据来进行压缩编码的帧内压缩编码格式。而且，作为帧内压缩编码格式，有作为图像编码规格的JPEG(Joint Photographic ImageExperts Group，联合图像专家组)格式，所述格式在数码相机记录拍摄图像数据或通过国际互联网发布静态图像等过程中得到了实际应用。
发送部915进行以下控制，即，对于各包的形态，将经过压缩编码的动态图像数据及静态图像数据通过传送网93而发送给监控监视器装置94。接收部916，对从监控监视器装置94通过传送网93传送而来的数据的接收进行控制，且将接收数据传输给发送部915。发送部915根据来自接收部916的接收数据，控制选择发送动态图像数据及静态图像数据中的哪一者。
变化检测部919，例如检测图像分割成多个区块后所成的各区块的经时变化。并且，变化检测部919在有变化的区块超过特定比例时，指示静态图像编码器914生成此时刻的静态图像数据。而且，变化检测部919指示发送部915将所述静态图像数据发送给监控监视器装置94。
在监控监视器装置94的内部，设置有接收部921、动态图像解码器922、静态图像解码器923、显示部924、用户输入部925、及发送部927。
接收部921接收来自监控摄像机装置92的数据。动态图像解码器922从接收部921所接收的数据中提取动态图像数据，并转换成视频信号。静态图像解码器923从接收部921所接收的数据中提取静态图像数据，并转换成视频信号。动态图像解码器922及静态图像解码器923所生成的视频信号由显示部924再现。而且，用户输入部925接受用户的指令，并将与所接受的指令相关的信息通知给发送部927。发送部927通过传送网93，将与用户的指令相关的通知信息，通知给监控摄像机装置92的接收部916。
如上所述的现有监控系统，不仅进行动态图像数据的传送，当监控对象产生变化时，也传送此时刻的监控对象的静态图像数据。因此，用户可以根据需要显示所述静态图像数据。而且，由于用户无需一直观察显示部924，所以可以减轻负担，也可以尽量避免漏看监控对象的变化。
在利用了所述国际互联网等网络的监控系统的情况下，用于传送数据的传送网与其他数据通信共用，或者使用由多个监控摄像机装置所共用的通信线路。因此，由于通信线路复杂，因此可传送的容量并不固定。当传送负荷较重时，有可能会发生传送延迟，或者发生包丢失这样的问题。
因此，为了解决如上所述的因监控系统的传送负荷而引起的故障，先前提出了以下方法，即，根据网络的拥塞状态而变更监控图像的传送形态，从而可减轻传送负荷的影响。作为这样的方法的一例，例如提出了如下所述的监控系统：在所述监控摄像机装置92这样的监控图像发送装置中，设置测量网络负荷状态的测量机构，经过测量，当网络处于轻负荷状态时送出动态图像数据，而当网络处于超负荷状态时则送出静态图像数据。通过构成这样的监控系统，当网络较不拥塞时，可以利用良好的活动的动态图像来进行监控，而当网络较拥塞时也可以利用画质良好的静态图像来进行监控。另外，所述技术内容在日本专利特开2003-163914号公报中有所揭示。
一般而言，在利用国际互联网等网络来传送图像数据时，根据所传送的数据的重要度或类别而选择不同的传送协议。例如，在利用国际互联网传递静态图像数据的过程中，通常对静态图像的实时性要求不高，所以利用如下所述的被称为下载格式的格式，即，在接收侧积累了接收的静态图像数据之后再进行再现。
为了实现这样的下载格式，通常利用在数据传输中必须在通信双方间建立连接的连接型通信协议。在这样的连接型通信协议中，最重要的是数据传输的可靠性，并且所述协议中加入了双向的确认响应步骤或针对传送错误的再发处理等。因此，如上所述，当网络较拥塞时，已送出的数据也传送到接收侧。但是，由于必需这样的复杂处理或步骤，所以，有可能会产生时间延迟，所述时间延迟直至接收侧接收到所送出的数据为止。另外，作为这样的连接型通信协议，已知有为了在传输层进行可靠的连接型通信而被标准化的TCP(Transmission Control Protocol，传输控制协议)。
另一方面，例如，在利用国际互联网进行的动态图像数据传递过程中，通常是对动态图像要求实时性，所以利用加入了如下构造的被称为流(streaming)格式的格式，即，在接收侧以正确的时间间隔再现动态图像。
为了实现这样的流格式，通常利用在数据传输中无须在通信双方间建立连接的无连接型通信协议。在这样的无连接型通信协议中，最重要的是数据传输的实时性，所以未加入如连接型通信协议般的确认响应步骤或重传处理等，可以实现高速传送处理。但是，如上所述，当网络严重拥塞时，在网络上会发生包丢失，所以有可能会发生接收侧的图像受扰、或者动态图像的活动停止等故障。另外，作为这样的无连接型通信协议，已知有为了在传输层进行重试高速传送的无连接型通信而提出的UDP(User Datagram Protocol，用户数据报协议)，而且已知有在应用层中所规定的、且由动态图像等要求实时性的数据传输所标准化的RTP(Real-time Transport Protocol，实时传送协议)。
如以上说明，通常在利用网络来传送图像数据时，对于静态图像数据而言，利用如最重视数据传输的可靠性的TCP这样的连接型通信协议。而且，对于动态图像数据而言，利用如最重视数据传输的实时性的UDP或RTP这样的无连接型通信协议。作为这样的动态图像传送中的现有技术的一例，也提出了根据网络的质量状况而适应地切换基于UDP的传送协议与基于TCP的传送协议来提高传送效率的图像传送系统的相关技术。所述技术内容在日本专利特开平11-313330号公报中有所揭示。
然而，在不仅传送动态图像数据，也根据监控对象的图像变化而传送静态图像数据的监控系统的情况下，如上所述，当网络变得更加拥塞而处于超负荷状态时，在如监控监视器装置94这样的接收侧，有可能会发生监控中的动态图像受扰或者活动停止等问题。尤其是在网络处于超负荷状态时监控拍摄对象产生变化的情况下，无法流畅地显示动态图像。因此，存在以下课题：变得难以观察监控拍摄对象的变化，会漏看监控对象的异常，或者变得难以判别拍摄对象的变化是否导致监控对象的异常。而且，如果在检测监控拍摄对象的变化后送出的静态图像数据的静态图像的分辨率较高，就会断断续续的显示。因此，存在难以观察监控拍摄对象的变化，且难以判别监控对象是否发生了异常。
作为这样的现有监控系统的课题的更具体的示例，以下例如以人物经过监控摄像机装置前的情况为例进行说明。首先，由于人物的通过而使监控拍摄对象产生了变化，所以在监控监视器装置中，不仅显示监控中的动态图像，而且显示出现了人物的静态图像。由此，监控者更容易识别出监控对象产生了变化。而且，监控者可以根据同时传送的动态图像，来确认所述人物的行动，所以可以确认所述人物是否在进行例如盗窃等犯罪行动。但是，当由于网络处于超负荷状态，而发生监控中的人物的动态图像受扰或者活动停止等问题时，变得难以确认所述人物的行动，从而变得难以判别人物是否在进行盗窃等行动，即，与监控对象的相关异常行动。而且，即便静态图像的分辨率较高，但由于是断断续续的显示，所以有可能会漏看如盗窃等被认定为异常行动的瞬间。
在一般的利用国际互联网来进行电影或电视节目的动态图像传递的情况下，如上所述要求实时性。与此相对，对于以监控为主要目的的监控系统而言，虽然可以在某种程度上忽略实时性，但重要的是能够明了地判别监控对象有无异常。因此，当如现有的监控系统那样出现缺失必要的图像时，会导致所需要的监控的可靠性降低。
而且，在根据网络的拥塞状态来适当传送监控对象的动态图像数据与静态图像数据的监控系统中，当在网络处于超负荷状态而监控对象产生异常时，处于超负荷状态时也会传送静态图像数据。因此，断断续续地显示监控图像，从而难以观察监控拍摄对象的变化，且难以判别监控对象是否发生了异常。通过增加所传送的静态图像的帧数，可以更容易地识别出监控对象的变化。但是，一般而言，与动态图像数据相比，JPEG格式等静态图像数据中，每1帧的数据量较多，所以会更加重对处于超负荷状态的网络的负荷，对于帧数的增加也有界限。
如所述示例所示，人物经过监控摄像机装置前的情况下，监控者通常可以根据所传送的动态图像来确认所述人物的行动，从而可以确认所述人物是否在进行盗窃等异常行动。此时，如果网络处于超负荷状态，则取代通常的动态图像而传送静态图像。但是，由于静态图像的显示是断断续续的，所以有可能会漏看如盗窃般被认定为异常的行动的瞬间。
而且，在根据网络的质量状况而适应地切换UDP与TCP传送协议来进行传送的图像传送系统中，在网络处于超负荷状态但监控对象无变化时，利用加入了双向的确认响应步骤或针对传送错误的重传处理等的TCP来进行图像传送。由于利用高质量的传送协议来传送无变化或异常的图像的图像数据，所以会导致传送数据量的增加，从而加重对网络的负荷。
如所述示例所示，人物经过监控摄像机装置前时，监控者可以根据不管网络的负荷状态如何而传送的动态图像来确认所述人物的行动，从而可以确认所述人物是否在进行如盗窃等异常行动。但是，在人物未通过监控摄像机装置前的情况下，即，在完全识别不出有异常的情况下，如果网络处于超负荷状态，则也会利用高质量的传送协议来传送不是特别重要的图像。因此，结果会导致传送数据量的增加。
发明内容
本发明是为了解决上述课题而设计的，其目的在于提供不考虑国际互联网等网络的负荷状态，而可抑制对网络的负荷，并且能够准确地送出判别监控对象的异常时所必需的图像的监控摄像机装置以及使用此监控摄像机装置的监控系统。
为了解决如上所述的课题，本发明的监控摄像机装置，通过作为通信网络的网络，将所摄取的监控用图像数据传输给监控终端装置，以此来进行远程监控的监控系统的监控摄像机装置，此监控摄像机装置的特征在于，其包括：成像部，拍摄作为监控对象的拍摄对象，并以固定帧周期生成与所拍摄的拍摄对象图像相对应的图像数据；运动图像提取部，从成像部所生成的固定帧周期的图像数据中，提取每个特定帧周期中的各帧的图像数据；运动图像编码器，根据静态图像压缩编码格式或动态图像压缩编码格式，对由运动图像提取部所提取的图像数据进行压缩编码，生成经过压缩编码的图像数据，即运动图像数据；变化检测部，根据运动图像数据检测拍摄对象的变化，并输出所检测出的结果作为变化检测信号；以及传送处理部，为了通过网络向监控终端装置进行数据传输，具有基于必须在通信双方间建立连接的连接型通信协议的处理机构、及基于无须在通信双方间建立连接的无连接型通信协议的处理机构，根据变化检测信号来选择性地切换传送协议的处理机构而进行数据传输处理。
而且，传送处理部，在变化检测信号表示无变化时，根据无连接型通信协议，通过网络，将运动图像编码器所生成的运动图像数据传输给监控终端装置，而在变化检测信号表示有变化时，根据连接型通信协议，通过网络，将运动图像编码器所生成的运动图像数据传输给监控终端装置。
根据这样的结构，当作为监控对象的拍摄对象的图像无变化时，根据无连接型通信协议，将特定帧周期的监控对象图像数据传输给监控终端装置。即，在传送无变化或异常的监控图像时，由于是利用并不重视质量的传送协议进行传送，所以不会导致传送数据量的增加，对网络的负荷也较小。与此相对，当作为监控对象的拍摄对象的图像有变化时，根据连接型通信协议，将监控对象图像数据传输给监控终端装置。即，在传送有变化的监控图像时，是利用不考虑网络的负荷状态的高质量的传送协议进行传送。因此，监控对象有可能有异常的图像，在监控终端装置中不会有图像受扰或者活动停止等问题。而且，可在每个特定帧周期连续进行观察，从而能够准确地判别监控对象是否产生异常。而且，仅在监控对象有变化时根据高质量的连接型通信协议来传送运动图像数据。所以，可以抑制单位时间内的数据传输量，也可以抑制对网络的负荷。
而且，本发明的监控摄像机装置进一步包括：静态图像提取部，从成像部所生成的固定帧周期的图像数据中，提取任意帧的图像数据；以及静态图像编码器，根据静态图像压缩编码格式，对静态图像提取部所提取的图像数据进行压缩编码，生成经过压缩编码的图像数据，即静态图像数据；并且，传送处理部，根据连接型通信协议，通过网络，将静态图像编码器所生成的静态图像数据传输给监控终端装置，且在变化检测信号表示无变化时，根据无连接型通信协议，通过网络，将运动图像编码器所生成的运动图像数据传输给监控终端装置，而在变化检测信号表示有变化时，根据连接型通信协议，通过网络，将运动图像编码器所生成的运动图像数据传输给监控终端装置。
根据这样的结构，在监控终端装置中，可以不仅显示运动图像数据的活动的图像，而且显示静态图像数据的例如高分辨率的静态图像或切出一部分的静态图像，而进行监控，所以可以进一步提高监控的精度。而且，由于具备用来传送静态图像数据的连接型通信协议的处理机构，且所述处理机构处于操作状态，所以，当作为监控对象的拍摄对象的图像有变化时，可以立即从无连接型通信协议处理切换为连接型通信协议而传送运动图像数据。因此，无需用于进行传送协议处理切换的处理时间，可以通过抑制延迟而传送监控对象有可能有异常的图像。
根据本发明的监控摄像机装置及监控系统，当作为监控对象的拍摄对象的图像无变化时，根据并不重视质量的传送协议即无连接型通信协议，来传送与作为监控对象的拍摄对象的图像相对应的运动图像数据。因此，可以抑制网络的负荷。而且，当作为监控对象的拍摄对象的图像有变化时，根据不考虑网络的负荷状态的高质量的传送协议，即连接型通信协议，来传送运动图像数据。所以，在监控终端装置中不会有图像受扰或活动停止等问题，而且可在每个特定帧周期而连续进行观察。
而且，根据本发明的监控摄像机装置及监控系统，在监控终端装置中，可以显示运动图像数据的活动的图像、及静态图像数据的静态图像，而进行监控，所以可以进一步提高监控的精度。而且，当作为监控对象的拍摄对象的图像有变化时，利用用于传送静态图像数据的连接型通信协议的处理机构，可以立即从无连接型通信协议处理切换为连接型通信协议而传送运动图像数据。因此，无需用于进行传送协议处理切换的处理时间，可以通过抑制延迟而传送监控对象有可能有异常的图像。
如上所述，根据本发明，能够不考虑国际互联网等网络的负荷状态，而抑制网络的负荷。而且，能够准确地送出判别监控对象是否异常时所必需的图像。而且，可以提供处理的传送延迟得到了抑制的监控摄像机装置及使用此监控摄像机装置的监控系统。
附图说明
图1是表示包含本发明实施方式1的监控摄像机装置的监控系统结构的框图。
图2是表示本发明实施方式1的监控摄像机装置中将运动图像数据传输给监控终端装置的步骤的流程图。
图3是表示本发明实施方式1的监控摄像机装置中将运动图像数据及静态图像数据分别传送给监控终端装置的步骤的流程图。
图4是表示包含本发明实施方式2的监控摄像机装置的监控系统结构的框图。
图5是表示使用了现有监控摄像机装置的监控系统之一例的框图。
附图标记的说明
10、92    监控摄像机装置
11、91    成像部
12        运动图像提取部
13        运动图像编码器
14        静态图像提取部
15        静态图像编码器
16        活动处理部
17、919   变化检测部
19        传送处理部
20         控制部
21         网络监控部
27         警报处理部
28         传感器
29         记录再现部
30         网络
40         监控终端装置
93         传送网
94         监控监视器装置
121、141   分辨率转换部
191        UDP处理部
192        TCP处理部
193        连接切换部
194        通信部
913        动态图像编码器
914        静态图像编码器
915、927   发送部
916、921   接收部
922        动态图像解码器
923        静态图像解码器
924        显示部
925        用户输入部
具体实施方式
以下，参照图式详细说明本发明的实施方式。
(实施方式1)
图1是表示包含本发明实施方式1的监控摄像机装置的监控系统结构的框图。如图1所示，本监控系统中，通过观察由作为监控用摄像机的成像部11所拍摄的拍摄对象图像来进行监控。本监控系统中包含：生成拍摄对象的图像数据的监控摄像机装置10、远程传送监控摄像机装置10所拍摄的拍摄对象的图像数据的网络30、及通过网络30而与监控摄像机装置10通信连接的监控终端装置40。本监控系统中，监控摄像机装置10所摄取的监控用图像数据，通过作为通信网络的网络30而传送给监控终端装置40。因此，例如，监控者利用监控终端装置40监视所传送的图像，而进行远程监控。尤其是，在本实施方式1的监控系统中，监控摄像机装置10具备以下功能，即，根据拍摄对象图像的变化或监控对象的状态变化，自适应地切换监控摄像机装置10与监控终端装置40之间的通信协约，即协议，并传送监控用图像数据。
以下，参照图1，以本实施方式1的监控系统中作为本发明特征的监控摄像机装置10的结构为重点进行说明。
在图1中，控制部20进行以下控制：针对监控摄像机装置10的各种处理进行控制，或者接收对下述各部分的控制信息等通知、及来自各部分的通知信息等。控制部20由微型计算机及存储器等所构成，微型计算机通过执行存储在存储器中的各种程序而进行各种控制或处理等。而且，控制部20可以通过网络30与监控终端装置40进行数据通信。例如，监控者对监控终端装置40输入指令信息，从而将所述指令信息通知给控制部20，控制部20根据所述指令信息来对各部分进行控制等。
成像部11拍摄作为监控对象的拍摄对象，并以固定帧周期生成与所拍摄的拍摄对象图像相对应的图像数据。成像部11例如是具有CCD(ChargeCoupled Device，电荷耦合器件)等拍摄元件的摄像机。与所拍摄的图像相对应的图像信号，例如以30fps(frame per second，帧/秒)作为固定的帧周期，而从拍摄元件输出。而且，成像部11具有用于将模拟信号转换成数字信号的A/D转换器等。来自拍摄元件的图像信号由所述A/D转换器转换成作为数字信号的图像数据。所述图像数据，例如以30fps的帧周期而从成像部11输出。而且，来自成像部11的图像数据提供给运动图像提取部12、及静态图像提取部14。
运动图像提取部12，从成像部11所生成的固定帧周期的图像数据中，提取每个特定帧周期中的各帧的图像数据，或者转换成特定帧周期的图像数据。例如，当成像部11以30fps的帧周期提供图像数据时，运动图像提取部12进行以下处理，即，通过在每2帧中提取1帧而转换成15fps的图像数据，或者通过在每4帧中提取1帧而转换成7.5fps的图像数据。另外，运动图像提取部12还可以具有以下功能，即，从1帧中提取1帧，也就是直接输出30fps的图像数据。而且，所提取的帧周期，是作为帧周期信息而由控制部20通知的。运动图像提取部12根据所述所通知的帧周期信息而转换帧数。来自运动图像提取部12的图像数据提供给分辨率转换部121。
分辨率转换部121针对来自运动图像提取部12的图像数据，转换所述图像的分辨率。分辨率转换部121对像素数据进行内插处理等，并转换所提供的图像数据的每1帧的像素数，以此转换成特定的分辨率。例如，在假设来自成像部11的图像数据为高分辨率的4VGA(1280×960像素)时，分辨率转换部121将所述4VGA图像数据转换成中间分辨率的VGA(640×480像素)或CIF(352×288像素)或低分辨率的QCIF(176×144像素)而输出。另外，分辨率转换部121也可以具有将所述4VGA图像数据直接输出的功能。另外，这些4VGA、VGA、CIF、及QCIF格式是数字图像大小通用的标准化的图像格式的名称。分辨率转换部121除了具备这样的分辨率的转换功能以外，还可以具备从每1帧的图像中切出某区域的功能。例如具有以下功能，即，从所述4VGA图像数据中，提取右上部的1/4区域的图像数据，作为VGA的图像数据而输出。控制部20通知这样的转换分辨率、或切出位置、切出大小等。分辨率转换部121根据所通知的这些信息而进行分辨率转换、或图像的切出处理等。来自分辨率转换部121的图像数据被提供给运动图像编码器13。
运动图像编码器13，根据静态图像压缩编码格式、或动态图像压缩编码格式，对分辨率转换部121所提供的图像数据进行压缩编码，生成经过压缩编码的图像数据，即运动图像数据。作为运动图像编码器13所利用的压缩编码格式，有帧间压缩编码格式，更具体而言，有作为动态图像压缩编码规格的MPEG2格式或MPEG4格式。运动图像编码器13根据MPEG2格式或MPEG4格式而进行压缩编码处理。而且，运动图像编码器13也可以根据静态图像压缩编码格式，即作为帧内压缩编码格式的JPEG格式，进行所提供的图像数据的在帧周期内的压缩编码。另外，根据这样的JPEG格式来对每帧进行压缩编码的处理被称为活动JPEG格式。图像数据是以周期性的帧为单位而提供到运动图像编码器13中的，所以，运动图像编码器13只要能够对以周期性的帧为单位而提供的图像数据进行压缩编码即可。如此，运动图像编码器13生成经过压缩编码的周期性的多个帧的图像数据，即运动图像数据。另外，运动图像编码器13也可以根据控制部20的控制而切换所述压缩编码格式。例如，也可以根据帧间压缩编码格式对某图像数据进行压缩编码，而且根据帧内压缩编码格式对同一帧的图像数据进行压缩编码，并将两者传送给传送处理部19。
静态图像提取部14从成像部11所生成的固定帧周期的图像数据中，提取任意帧的图像数据。静态图像提取部14从所提供的图像数据中提取1帧的图像数据。而且，静态图像提取部14响应来自控制部20的指令，提取所述1帧的图像数据。来自静态图像提取部14的图像数据被提供给分辨率转换部141。
分辨率转换部141具有与分辨率转换部121同样的功能。分辨率转换部141针对来自静态图像提取部14的图像数据，转换所述图像的分辨率。而且，与分辨率转换部121同样，分辨率转换部141也可以具备将被提供的图像数据直接输出的功能、或对被提供的图像数据切出某个图像区域的功能。这样的转换的分辨率或切出位置、切出大小等由控制部20通知。分辨率转换部141，根据所通知的这些信息来进行分辨率转换、或进行图像的切出处理等。来自分辨率转换部141的图像数据被提供给静态图像编码器15。
静态图像编码器15，例如根据诸如作为帧内压缩编码格式的JPEG格式这样的静态图像压缩编码格式，对分辨率转换部141所提供的图像数据进行压缩编码，生成经过压缩编码的图像数据即静态图像数据。在静态图像编码器15中，1帧的图像数据是以任意时序而提供的。静态图像编码器15，根据提供图像数据的时序来进行压缩编码，生成经过压缩编码的1帧的图像数据，即静态图像数据。
根据如上所述的结构，运动图像编码器13输出与每隔特定的时间间隔而拍摄的图像相对应的运动图像数据。将运动图像数据解压缩，可以再现如电视影像那样的活动的图像。因此，通过将这样的运动图像数据传输给监控终端装置40，可以观察监控对象的经时变化。另一方面，与在任意时间拍摄的图像相对应的静态图像数据，从静态图像编码器15输出。例如，以根据来自监控者的指令而输出静态图像数据的方式而构成，这样，监控者可以根据需要而显示所期望的图像。
而且，由控制部20对分辨率转换部121、分辨率转换部141、及运动图像提取部12适当设定分辨率和帧周期。由此，可以针对广范围的监控对象设置分辨率较低的运动图像数据，并且能够仅将关注的部位切出而设置为高分辨率的静态图像数据。可以向监控者提供容易观看的图像，提高监控的可靠性。
记录再现部29具有记录介质，且向所述记录介质记录数据、或从所述记录介质读出所记录的数据等处理。记录再现部29是具有磁盘作为记录介质的硬盘驱动器(Hard Disk Drive)等。或者，也可以是以半导体存储器作为记录介质的存储卡等，且所述存储卡可为可插拔的形态。记录再现部29用于记录并再现所述运动图像编码器13所生成的运动图像数据、或者静态图像编码器15所生成的静态图像数据等。记录再现部29的记录处理或再现处理是由控制部20控制的。
通过设置记录再现部29，即便在漏看监控对象的异常时，也可以通过将记录再现部29中所记录的图像数据再现，事后确认监控对象的状况或过程。由此也可以提高监控的可靠性。
活动处理部16进行成像部11所拍摄的图像的活动的相关处理。在运动图像编码器13根据MPEG2格式或MPEG4格式进行压缩编码处理时，运动图像编码器13根据这些格式生成活动矢量。所述活动矢量被提供给活动处理部16。活动处理部16利用所述活动矢量而生成拍摄图像的活动信息。而且，在运动图像编码器13利用JPEG格式时，运动图像编码器13不生成活动矢量。此时，活动处理部16例如也可以求出运动图像编码器13所提供的图像数据的帧差分值，并根据所述帧差分值而生成活动信息。而且，活动处理部16也可以是根据这些活动矢量及帧差分值这两者来生成活动信息。而且，活动处理部16例如也可以具有生成将图像分割成多个区块而得到的各区块的活动信息的功能。活动处理部16所生成的活动信息通知给下述变化检测部17及传送处理部19。
变化检测部17检测成像部11所拍摄的图像的变化或监控对象的状况变化等。变化检测部17利用活动处理部16所通知的活动信息，检测所拍摄的图像的变化。例如，在人物经过监控摄像机装置10前的情况下，由于所述人物的经过，而形成活动的监控拍摄对象的连续图像。因此，活动处理部16将表示监控图像产生了活动的活动信息通知给变化检测部17。变化检测部17根据所述所通知的活动信息，检测所拍摄的图像的变化，作为监控拍摄对象产生了经时变化的信息。而且，为了检测监控对象的状况变化等，变化检测部17上连接有传感器28。传感器28例如是检测温度的变化，或者检测监控摄像机装置10的振动，或者检测有人或动物等接近的感测器，且是为了检测监控对象的状况变化而设置的。这样，变化检测部17检测监控图像的变化或监控对象的状况变化等，并将这样的与变化相关的信息通知给警报处理部27。而且，变化检测部17检测到监控图像的变化或监控对象的状况变化等时，作为变化检测信号通知给传送处理部19。
警报处理部27响应从变化检测部17通知的与变化相关的信息，生成例如编辑有所述变化的种类、变化的时间、此时的监控摄像机装置10的状态等的警报信息。所述警报信息通知给记录再现部29，由记录再现部29进行记录。每当在变化检测部17中检测变化时，警报处理部27则将警报信息累积记录到记录再现部29中。由此，在记录再现部29中制作出将警报信息设为一览形式的警报列表。而且，警报信息也被通知给传送处理部19。另外，也可以响应来自变化检测部17的与变化相关的信息，也将静态图像数据或运动图像数据与所述警报信息一并记录到记录再现部29中。通过设为这样的结构，例如，可以进一步提高监控效果，例如事后能够更详细地确认变化状况等。
传送处理部19是通过网络30与监控终端装置40进行通信连接的通信接口。图像数据等各种数据从传送处理部19被传送到监控终端装置40。而且，来自监控终端装置40的指令信息等数据被传送处理部19接收。传送处理部19通过网络30向监控终端装置40传送所述运动图像编码器13所生成的运动图像数据、静态图像编码器15所生成的静态图像数据、警报处理部27所生成的警报信息、及活动处理部16所生成的活动信息等。而且，传送处理部19也与控制部20相连接。控制部20与监控终端装置40之间所进行的数据通信是通过传送处理部19来执行的。
如图1所示，传送处理部19具备：UDP处理部191，基于作为用来传送数据的协议的UDP(User Datagram Protocol)而进行处理；TCP处理部192，基于作为用来传送数据的协议的TCP(Transmission Control Protocol)而进行处理；通信部194，连接于网络30且通过网络30进行数据通信；以及连接切换部193，根据切换控制，将UDP处理部191及TCP处理部192连接于通信部194。
UDP处理部191进行以下处理：形成附加有UDP包头的UDP包，并在所述UDP包中存储所提供的数据。而且，来自运动图像编码器13的运动图像数据被提供给UDP处理部191，UDP处理部191对于所述运动图像数据基于UDP进行封包。另外，如上所述，UDP是为了进行重视在传输层的高速传送的通信而提出的一种无连接型通信协议。UDP处理部191可以通过以下方式而构成，即，以传输层UDP为基础，并配置适合动态图像传送的RTP(Real-time Transport Protocol)作为其高层协议。
TCP处理部192进行以下处理：形成附加有TCP包头的TCP包，并在所述TCP包中存储所提供的数据。而且，如上所述，TCP是一种连接型通信协议，其在数据传输中必须在通信双方间建立连接、或者在错误时必须进行重传的处理等。因此，TCP处理部192在进行数据传输之前进行以下处理，即，利用被称为ACK信号或NACK信号的连接确认用信号，来建立与监控终端装置40之间的连接。而且，TCP处理部192在数据传输中也判定与监控终端装置40之间的连接状态。当在数据传输中判定为发生了错误时，进行重传处理，再次传送错误发生时的数据。TCP处理部192通过执行这样的复杂的处理，在网络30的拥塞程度较严重的情况下也能够可靠地将数据传输给监控终端装置40。TCP处理部192可以通过以下方式而构成，即，以传输层TCP为基础，并配置规定为文件转送协议的FTP(File TransferProtocol)或规定为多媒体数据传输用协议的HTTP(Hyper Text TransferProtocol)作为其上层的应用协议。另外，尤其在有变化的情况下，较理想的是使用FTP协议保存到服务器中。
如上所述，TCP可以进行可靠性较高的通信，所以利用TCP处理部192来在控制部20与监控终端装置40之间进行各种控制信息或通知信息的相互传送。而且，来自警报处理部27的警报信息、及来自活动处理部16的活动信息被通知给TCP处理部192，TCP处理部192也可以用于将这些信息传送给监控终端装置40。而且，运动图像编码器13所生成的运动图像数据、及静态图像编码器15所生成的静态图像数据被提供给TCP处理部192，TCP处理部192也可以用于传送这些图像数据。
连接切换部193根据切换控制，将UDP处理部191所生成的UDP包、及TCP处理部192所生成的TCP包提供给通信部194。为了进行这样的切换控制，连接切换部193接收来自控制部20的切换控制信号，且接收到来自变化检测部17的变化检测信号。本发明的实施方式1的特征在于，在传送运动图像数据时，连接切换部193根据来自变化检测部17的变化检测信号，将来自UDP处理部191的包含运动图像数据的UDP包、以及来自TCP处理部192的包含运动图像数据的TCP包选择性地提供给通信部194。在变化检测信号表示无变化时，连接切换部193选择来自UDP处理部191的包含运动图像数据的UDP包，将所述UDP包提供给通信部194。另一方面，在变化检测信号表示有变化时，连接切换部193选择来自TCP处理部192的包含运动图像数据的TCP包，将所述TCP包提供给通信部194。
这样，传送处理部19具有，基于必须在通信双方间建立连接的连接型通信协议的处理机构，即TCP处理部192以及基于无须在通信双方间建立连接的无连接型通信协议的处理机构，即UDP处理部191。传送处理部19通过连接切换部193，根据变化检测信号而选择性地切换传送协议的处理机构，并根据所选择的协议由通信部194执行数据传输。传送处理部19通过连接切换部193，在变化检测信号表示无变化时，根据无连接型通信协议即UDP，通过网络30，将运动图像数据传输给监控终端装置40。而且，在变化检测信号表示有变化时，根据连接型通信协议，即TCP，通过网络30，将运动图像数据传输给监控终端装置40。
控制部20还将切换控制信号提供给连接切换部193。控制部20在传送来自静态图像编码器15的静态图像数据、来自警报处理部27的警报信息、及来自活动处理部16的活动信息时，利用所述切换控制信号，通过连接切换部193连接TCP处理部192与通信部194，并根据TCP将这些数据和信息传送给监控终端装置40。而且，控制部20在与监控终端装置40之间进行通信时，也利用所述切换控制信号，通过连接切换部193连接TCP处理部192与通信部194，并根据TCP而与监控终端装置40进行通信。
这样，由于可以由控制部20来控制连接切换部193的连接，所以例如当变化检测信号表示有变化时，也可以分别根据无连接型通信协议，即UDP、及连接型通信协议，即TCP，通过网络30将运动图像数据并行地传送给监控终端装置40。而且，通过将变化检测信号也提供给控制部20，使控制部20也可以相应于所述变化检测信号而进行控制，从而例如当变化检测信号表示有变化时，也可以根据TCP而将静态图像数据及运动图像数据这两者传送给监控终端装置40。
以下，在如上述所构成的本实施方式1的监控系统的监控摄像机装置10中，以适应地切换作为本发明特征的协议而传送监控用图像数据的动作为重点，进行详细说明。
图2是表示在监控摄像机装置10中将运动图像数据传输给监控终端装置40的步骤的、作为本发明的监控图像传送方法的流程图。以下，参照图2，说明监控摄像机装置10的基本操作，即运动图像数据的传送处理。
例如，当监控摄像机装置10的电源接通等完成，并且监控摄像机装置10的初始设定完成后，监控摄像机装置10开始进行监控处理。由此，在监控摄像机装置10中，控制部20的状态为：可以通过网络30与监控终端装置40进行通信。控制部20等待来自监控终端装置40的指令信息所示的指令。
关于运动图像数据的传送，如图2所示，控制部20判定是否有发送运动图像数据的指令。在监控终端装置40未指示发送运动图像数据时，控制部20等待所述指令。而且，在监控终端装置40指示了发送运动图像数据时，控制部20控制执行步骤S102的处理(步骤S100)。
当监控终端装置40指示了发送运动图像数据时，运动图像编码器13根据控制部20的控制，对分辨率转换部121所提供的图像数据进行压缩编码，生成经过压缩编码的图像数据，即运动图像数据(步骤S102)。所生成的运动图像数据被提供给传送处理部19。另一方面，所述来自变化检测部17的变化检测信号被提供给传送处理部19。传送处理部19在UDP处理部191中形成UDP包，并在UDP包中存储所提供的运动图像数据。而且，在TCP处理部192中形成TCP包，并且也在TCP包中存储所提供的运动图像数据。
在传送处理部19中，连接切换部193对被提供的变化检测信号进行判定。在变化检测信号表示无变化时，连接切换部193选择来自UDP处理部191的UDP包。而且，在变化检测信号表示有变化时，选择来自TCP处理部192的TCP包(步骤S104)。由连接切换部193所选择的包被提供给通信部194，从通信部194将包含运动图像数据的包发送给监控终端装置40。
在变化检测信号表示无变化时，传送处理部19根据无连接型通信协议，即UDP，通过网络30，将运动图像编码器13所生成的运动图像数据传输给监控终端装置40(步骤S108)。而且，在变化检测信号表示有变化时，传送处理部19根据TCP而与监控终端装置40之间建立连接，并根据连接型通信协议，即TCP，通过网络30，将运动图像编码器13所生成的运动图像数据传输给监控终端装置40(步骤S106)。另外，传送处理部19例如也可以是，在监控摄像机装置10的初始设定时开始进行监控处理等的时候，预先根据TCP来与监控终端装置40之间建立连接。
接着，控制部20判定监控终端装置40所要求的运动图像数据的传送处理是否已结束。当传送处理已结束时，进入步骤S112的处理。当传送处理未结束时，继续进行从步骤S102开始的处理(步骤S110)。当传送处理已结束时，控制部20判定是否指示了结束监控处理。当指示了结束监控处理时，结束监控处理。当未指示结束监控处理时，返回步骤S100的处理，等待运动图像数据的发送指令(步骤S112)。
如以上所述，本发明的监控摄像机装置10，在作为监控对象的拍摄对象的图像或监控对象的状况无变化时，根据无连接型通信协议即UDP，将运动图像数据传输给监控终端装置40。在传送无变化或异常的监控图像时，由于是利用不重视质量的传送协议来进行传送，所以不会导致传送数据量的增加，对网络的负荷也较小。
与此相对，当作为监控对象的拍摄对象的图像有变化时，根据连接型通信协议，即TCP，将监控对象的运动图像数据传输给监控终端装置40。在传送有变化的监控图像时，由于是利用不受网络的负荷状态影响的高质量的传送协议来进行传送的，所以监控对象有可能有异常的图像，在监控终端装置40中不会发生图像破碎或者动作停止等故障，而且能够以每个特定的帧周期连续进行观察，从而能够准确地辨别监控对象的异常的发生。而且，仅在监控对象有变化时，才根据高质量的连接型通信协议，即TCP，来传送运动图像数据。因此，可以抑制单位时间的数据传输量，而且也可以抑制对网络的负荷。
图3是表示在监控摄像机装置10中将运动图像数据及静态图像数据分别传送给监控终端装置40的步骤的、作为本发明的监控图像传送方法的流程图。以下，参照图3，说明监控摄像机装置10的特征，即传送运动图像数据及静态图像数据这两种图像数据的处理。另外，对于与图2相同的步骤，标注了相同的符号，并省略其详细说明。
与图2的说明相同，当监控摄像机装置10的电源接通等完成后，并且监控摄像机装置10的初始设定完成后，监控摄像机装置10开始进行监控处理。由此，在监控摄像机装置10中，控制部20的状态为：可以通过网络30与监控终端装置40进行通信。控制部20等待来自监控终端装置40的指令信息所示的指令。而且，如上所述，静态图像数据是根据TCP来传送的。因此，在传送处理部19中，TCP处理部192为了传送静态图像数据，而执行基于TCP与监控终端装置40之间建立连接的处理(步骤S200)。由此，例如当监控者要求传送静态图像数据时，监控摄像机装置10可以立即响应所述要求而传送静态图像数据。
接着，如图3所示，控制部20判定是否有发送静态图像数据的指令。在监控终端装置40未指示发送静态图像数据时，控制部20等待所述指令。而且，在监控终端装置40指示了发送静态图像数据时，控制部20则执行步骤S204的处理(步骤S202)。
当监控终端装置40指示了发送静态图像数据时，静态图像编码器15根据控制部20的控制，对从分辨率转换部141所提供的图像数据进行压缩编码，生成经过压缩编码的图像数据，即静态图像数据(步骤S204)。所生成的静态图像数据被传送给传送处理部19。
控制部20控制向传送处理部19发送所述静态图像数据。与此相应，传送处理部19在TCP处理部192中形成TCP包，并在TCP包中存储所提供的静态图像数据。而且，控制部20控制连接切换部193选择来自TCP处理部192的TCP包，将存储有静态图像数据的TCP包从通信部194发送给监控终端装置40(步骤S206)。
当静态图像数据的传送结束时，控制部20判定是否指示了结束监控处理。当指示了结束监控处理时，结束监控处理。当未指示结束监控处理时，返回步骤S100的处理，等待运动图像数据或静态图像数据的发送指令(步骤S112)。
以上，通过执行如图3所示的处理，在监控终端装置40中，可以一边并行显示运动图像数据得到的活动的图像以及静态图像数据得到的例如特别关注的图像等，一边进行监控，所以可以进一步提高监控的精度。如上所述，监控摄像机装置10具备能够变换运动图像的帧周期的运动图像提取部12、能够变换运动图像的分辨率或切出位置的分辨率转换部121、以及能够变换静态图像的分辨率或切出位置的分辨率转换部141。因此，利用这些部件，以某种程度的低分辨率的特定帧周期显示运动图像，且作为活动的图像而进行监控。并且，当发现所述活动的图像有变化时，利用高分辨率的静态图像对所述变化部位进行确认，或者切出所述变化部位，或者利用高分辨率的静态图像进行确认等，从而可以提高监控的精度。而且，为了传送静态图像数据，使TCP处理部192与监控终端装置40之间建立连接，且TCP处理部192处于动作状态。因此，在运动图像数据的传送中，当作为监控对象的拍摄对象有变化时，可以立即从基于UDP的传送切换为基于TCP的传送，从而传送运动图像数据。因此，无需用于进行传送协议处理切换的处理时间，可以抑制延迟，从而传送监控对象有可能有异常的图像。
(实施方式2)
图4是表示包含本发明实施方式2的监控摄像机装置的监控系统结构的框图。
本实施方式2中，与实施方式1相同，本监控系统是利用作为监控用摄像机的成像部11所拍摄的拍摄对象图像来进行监控的。本监控系统包含：生成拍摄对象的图像数据的监控摄像机装置10；远程传送监控摄像机装置10所拍摄的拍摄对象的图像数据的网络30；以及通过网络30与监控摄像机装置10进行通信连接的监控终端装置40。监控摄像机装置10所摄取的监控用图像数据，通过作为通信网络的网络30而被传送给监控终端装置40。而且，对于与图1相同的构成要素，标注了相同的标记，并省略这些相同构成要素的详细说明。图4所示的监控摄像机装置10的特征在于：其进一步具备与通信部194连接的网络监控部21，在传送运动图像数据的协议中，除了根据变化检测信号得到的监控对象的变化而适当地切换协议以外，也根据网络30的拥塞状况而适当地切换协议，从而传送运动图像数据。
在图4中，网络监控部21连接于通信部194，监控与网络30的状况相应的传送负荷状态，并将基于监控的网络信息通知给控制部20。网络监控部21例如定期从监控终端装置40接收特定容量的数据，并根据所述接收状态来测量网络30的传送负荷状态，即拥塞状态，基于所述测量而生成网络信息。
控制部20根据所述网络信息，控制运动图像编码器13的压缩编码格式。控制部20，当网络信息中网络30处于轻负荷状态时，选择JPEG格式等帧内压缩编码格式，即静态图像压缩编码格式，将根据静态图像压缩编码格式而生成的运动图像数据提供给传送处理部19。而且，在显示网络30处于超负荷状态时，选择MPEG4格式等帧间压缩编码格式，即动态图像压缩编码格式，将根据动态图像压缩编码格式而生成的运动图像数据提供给传送处理部19。
根据如上所述的结构，可以根据网络30的状况来传送数据量较多的运动图像数据。例如，当网络30处于超负荷状态时，传送MPEG4格式等静态图像压缩编码格式得到的运动图像数据，从而能够控制由于传送运动图像数据对网络30的负荷。
而且，当网络30处于超负荷状态时，传送JPEG格式等动态图像压缩编码格式得到的运动图像数据。由此，在根据UDP来传送运动图像数据时，能够抑制因网络30的超负荷状态所引起的丢包所产生的影响。尤其是，当如MPEG4格式的帧间压缩编码格式的数据丢失时，例如图像会停滞直至下个I帧为止，通过这样的控制可以抑制运动图像受扰等。
产业上的可利用性
使用本发明的监控摄像机装置及监控系统，不受因特网等网络的负荷状态的影响，且可以抑制网络的负荷。而且，由于能够确实地送出辨别监控对象的异常时所需的图像，所以可用作监控用拍摄装置、或使用此监控用拍摄装置的拍摄系统。

Claims (18)

1.一种监控摄像机装置，是通过作为通信网络的网络，将监控摄像机装置所摄取的监控用图像数据传输给监控终端装置，以此来进行远程监控的监控系统的监控摄像机装置，所述监控摄像机装置的特征在于，
包括：
成像部，拍摄作为监控对象的拍摄对象，并以固定帧周期生成与所拍摄的拍摄对象图像相对应的图像数据；
运动图像提取部，从所述成像部所生成的固定帧周期的图像数据中，提取每个特定帧周期中的各帧的图像数据；
运动图像编码器，根据静态图像压缩编码格式或动态图像压缩编码格式，对由所述运动图像提取部所提取的图像数据进行压缩编码，生成经过压缩编码的图像数据，即运动图像数据；
变化检测部，根据所述运动图像数据来检测拍摄对象的变化，并输出所检测出的结果作为变化检测信号；以及
传送处理部，用于通过所述网络向所述监控终端装置传送数据，具有基于必须在通信双方间建立连接的传送协议即连接型通信协议的处理机构、及基于无须在通信双方间建立连接的传送协议即无连接型通信协议的处理机构，根据所述变化检测信号来选择性地切换基于所述传送协议的处理机构而进行数据传输处理；并且，
所述传送处理部，
在所述变化检测信号表示无变化时，根据所述无连接型通信协议，通过所述网络，将所述运动图像编码器所生成的运动图像数据传输给所述监控终端装置，
在所述变化检测信号表示有变化时，根据所述连接型通信协议，通过所述网络，将所述运动图像编码器所生成的运动图像数据传输给所述监控终端装置。
2.一种监控摄像机装置，是通过作为通信网络的网络，将监控摄像机装置所摄取的监控用图像数据传输给监控终端装置，以此来进行远程监控的监控系统的监控摄像机装置，所述监控摄像机装置的特征在于，
包括：
成像部，拍摄作为监控对象的拍摄对象，并以固定帧周期生成与所拍摄的拍摄对象图像相对应的图像数据；
运动图像提取部，从所述成像部所生成的固定帧周期的图像数据中，提取每个特定帧周期中的各帧的图像数据；
运动图像编码器，根据静态图像压缩编码格式或动态图像压缩编码格式，对由所述运动图像提取部所提取的图像数据进行压缩编码，生成经过压缩编码的图像数据，即运动图像数据；
变化检测部，根据所述运动图像数据来检测拍摄对象的变化，并输出所检测出的结果作为变化检测信号；以及
传送处理部，用于通过所述网络向所述监控终端装置传送数据，具有基于必须在通信双方间建立连接的传送协议即连接型通信协议的处理机构、及基于无须在通信双方间建立连接的传送协议即无连接型通信协议的处理机构，根据所述变化检测信号来选择性地切换基于所述传送协议的处理机构而进行数据传输处理；并且，
所述传送处理部，
在所述变化检测信号表示无变化时，根据所述无连接型通信协议，通过所述网络，将所述运动图像编码器所生成的运动图像数据传输给所述监控终端装置，
在所述变化检测信号表示有变化时，分别根据所述无连接型通信协议及所述连接型通信协议，通过所述网络将所述运动图像编码器所生成的运动图像数据并行地传送给所述监控终端装置。
3.根据权利要求1所述的监控摄像机装置，其特征在于，
所述监控摄像机装置进一步包括：
静态图像提取部，从所述成像部所生成的固定帧周期的图像数据中提取任意帧的图像数据；以及
静态图像编码器，根据所述静态图像压缩编码格式对所述静态图像提取部所提取的图像数据进行压缩编码，生成经过压缩编码的图像数据，即静态图像数据；并且
所述传送处理部，
根据所述连接型通信协议，通过所述网络，将所述静态图像编码器所生成的静态图像数据传输给所述监控终端装置。
4.根据权利要求2所述的监控摄像机装置，其特征在于，
所述监控摄像机装置进一步包括：
静态图像提取部，从所述成像部所生成的固定帧周期的图像数据中提取任意帧的图像数据；以及
静态图像编码器，根据所述静态图像压缩编码格式对所述静态图像提取部所提取的图像数据进行压缩编码，生成经过压缩编码的图像数据，即静态图像数据；并且
所述传送处理部，
根据所述连接型通信协议，通过所述网络，将所述静态图像编码器所生成的静态图像数据传输给所述监控终端装置。
5.根据权利要求3所述的监控摄像机装置，其特征在于，
所述传送处理部，
在所述变化检测信号表示无变化时，根据所述无连接型通信协议，通过所述网络，将所述运动图像编码器所生成的运动图像数据传输给所述监控终端装置，
在所述变化检测信号表示有变化时，根据所述连接型通信协议，通过所述网络，将所述静态图像编码器所生成的静态图像数据传输给所述监控终端装置，并根据所述连接型通信协议，通过所述网络，将所述运动图像编码器所生成的运动图像数据传输给所述监控终端装置。
6.根据权利要求3所述的监控摄像机装置，其特征在于，
所述静态图像编码器所生成的静态图像数据的图像的分辨率高于所述运动图像编码器所生成的运动图像数据的图像的分辨率。
7.根据权利要求1或2所述的监控摄像机装置，其特征在于，
所述监控摄像机装置还包括网络监控部，所述网络监控部监控与所述网络的状况相对应的传送负荷状态，并将基于监控所得的网络信息通知给所述运动图像编码器，
所述运动图像编码器，根据来自所述网络监控部的网络信息，选择所述动态图像压缩编码格式与所述静态图像压缩编码格式，并将根据所选择的压缩编码格式而生成的运动图像数据提供给所述传送处理部。
8.根据权利要求1或2所述的监控摄像机装置，其特征在于，
所述变化检测部，根据表示与所述成像部所拍摄的图像相对应的图像数据的活动的活动信息，来检测拍摄对象的变化。
9.根据权利要求8所述的监控摄像机装置，其特征在于，
所述活动信息，是所述运动图像编码器的动态图像压缩编码所生成的活动矢量。
10.根据权利要求8所述的监控摄像机装置，其特征在于，
所述活动信息，是根据与所述成像部所拍摄的图像相对应的图像数据的帧差分值而生成的信息。
11.根据权利要求8所述的监控摄像机装置，其特征在于，
所述变化检测部，根据所述活动信息以及从设置于外部的传感器所提供的感测信号，来检测拍摄对象的变化。
12.根据权利要求3所述的监控摄像机装置，其特征在于，
所述监控摄像机装置还包括记录再现部，所述记录再现部用于进行将数据记录到记录介质中以及读出所记录的数据的处理，所述记录再现部根据所述变化检测信号，记录所述静态图像数据及所述运动图像数据中的至少一个图像数据。
13.根据权利要求12所述的监控摄像机装置，其特征在于，
所述监控摄像机装置还包括警报处理部，所述警报处理部编辑与所述变化检测部中所检测出的变化相关的信息作为警报信息，所述记录再现部根据所述变化检测信号而记录图像数据，并且记录所述警报信息。
14.根据权利要求1或2所述的监控摄像机装置，其特征在于，
所述无连接型通信协议，是在数据传输中无须在通信双方间建立连接的协议之一的UDP，
所述连接型通信协议，是在数据传输中必须在通信双方间建立连接的协议之一的TCP。
15.根据权利要求1或2所述的监控摄像机装置，其特征在于，
所述静态图像压缩编码格式，是利用一个帧内的图像的数据来进行压缩编码的帧内压缩编码格式，所述动态图像压缩编码格式，是利用一个帧内的图像数据进行压缩编码、并且利用相邻帧间的图像数据进行压缩编码的帧间压缩编码格式。
16.根据权利要求15所述的监控摄像机装置，其特征在于，
所述静态图像压缩编码格式以JPEG格式的图像编码规格为标准，而所述动态图像压缩编码格式以MPEG4格式的图像编码规格为标准。
17.一种监控系统，其包含生成监控用图像数据的监控摄像机装置；作为用来传送所述监控用图像数据的通信网络的网络；以及接收通过所述网络传送的所述监控用图像数据并进行再现的监控终端装置，所述监控系统的特征在于，
所述监控摄像机装置包括：
成像部，拍摄作为监控对象的拍摄对象，并以固定帧周期生成与所拍摄的拍摄对象图像相对应的图像数据；
运动图像提取部，从所述成像部所生成的固定帧周期的图像数据中，提取每个特定帧周期中的各帧的图像数据；
运动图像编码器，根据静态图像压缩编码格式或动态图像压缩编码格式，对所述运动图像提取部所提取的图像数据进行压缩编码，生成经过压缩编码的图像数据即运动图像数据；
变化检测部，根据所述运动图像数据检测拍摄对象的变化，并输出所检测出的结果作为变化检测信号；以及
传送处理部，用于通过所述网络向所述监控终端装置进行数据传输，具有基于必须在通信双方间建立连接的传送协议即连接型通信协议的处理机构、及基于无须在通信双方间建立连接的传送协议即无连接型通信协议的处理机构，根据所述变化检测信号来选择性地切换基于所述传送协议的处理机构，从而进行数据传输处理；并且，
所述监控摄像机装置的所述传送处理部，
在所述变化检测信号表示无变化时，根据所述无连接型通信协议，通过所述网络，将所述运动图像编码器所生成的运动图像数据传输给所述监控终端装置，
在所述变化检测信号表示有变化时，根据所述连接型通信协议，通过所述网络，将所述运动图像编码器所生成的运动图像数据传输给所述监控终端装置。
18.一种监控图像传送方法，是通过作为通信网络的网络，将监控摄像机装置所摄取的监控用图像数据传输给监控终端装置，以此来进行远程监控的监控系统的监控图像传送方法，所述监控图像传送方法的特征在于：
成像部拍摄作为监控对象的拍摄对象，以固定帧周期生成与所拍摄的拍摄对象图像相对应的图像数据，从所述固定帧周期的图像数据中，提取每个特定帧周期中的各帧的图像数据的步骤；
根据静态图像压缩编码格式或动态图像压缩编码格式，对所提取出的每个特定帧周期中的各帧的图像数据进行压缩编码，生成经过压缩编码的图像数据，即运动图像数据的步骤；
根据所述运动图像数据来检测拍摄对象的变化，并输出所检测出的结果作为变化检测信号的步骤；以及
用于通过所述网络向所述监控终端装置进行数据传输，对于基于必须在通信双方间建立连接的传送协议即连接型通信协议的处理、以及基于无须在通信双方间建立连接的传送协议即无连接型通信协议的处理，根据所述变化检测信号来选择性地切换各个处理，从而进行数据传输处理的步骤；并且
进行所述数据传输处理的步骤是，
在所述变化检测信号表示无变化时，根据所述无连接型通信协议，通过所述网络，将运动图像编码器所生成的运动图像数据传输给所述监控终端装置，
在所述变化检测信号表示有变化时，根据所述连接型通信协议，通过所述网络，将所述运动图像编码器所生成的运动图像数据传输给所述监控终端装置。
CNB2006800017735A 2005-02-09 2006-02-06 监控摄像机装置、使用其的监控系统及监控图像传送方法 Expired - Fee Related CN100517746C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP032554/2005 2005-02-09
JP2005032554 2005-02-09

Publications (2)

Publication Number Publication Date
CN101099240A CN101099240A (zh) 2008-01-02
CN100517746C true CN100517746C (zh) 2009-07-22

Family

ID=36793072

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006800017735A Expired - Fee Related CN100517746C (zh) 2005-02-09 2006-02-06 监控摄像机装置、使用其的监控系统及监控图像传送方法

Country Status (5)

Country Link
US (1) US20090135252A1 (zh)
EP (1) EP1806786A1 (zh)
JP (1) JPWO2006085500A1 (zh)
CN (1) CN100517746C (zh)
WO (1) WO2006085500A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924666A (zh) * 2015-08-31 2018-04-17 夏普株式会社 显示控制装置、显示装置、显示控制装置的控制方法以及控制程序

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4317234B2 (ja) * 2007-03-05 2009-08-19 キヤノンマーケティングジャパン株式会社 画像表示制御装置および画像表示制御方法および画像表示制御プログラム
JP2009004931A (ja) * 2007-06-20 2009-01-08 Meidensha Corp 遠方監視システム
JP2009246935A (ja) * 2008-03-14 2009-10-22 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
KR20100133205A (ko) * 2009-06-11 2010-12-21 (주)씨디네트웍스 최적의 전송 프로토콜 선택 방법 및 그 장치
KR101039248B1 (ko) * 2009-07-09 2011-06-07 엠텍비젼 주식회사 차량용 영상 저장 장치 및 그 설치 상태 통지 방법
US8737825B2 (en) * 2009-09-10 2014-05-27 Apple Inc. Video format for digital video recorder
CN102045768A (zh) * 2009-10-26 2011-05-04 宏碁股份有限公司 数据传输方法及其用户装置与数据传输系统
WO2011059502A1 (en) * 2009-11-13 2011-05-19 Steven Donald Edelson Monitoring and camera system and method
CN102243856B (zh) * 2010-05-13 2013-12-04 华为技术有限公司 动态切换屏幕数据处理方式的方法及装置
JP4983961B2 (ja) 2010-05-25 2012-07-25 株式会社ニコン 撮像装置
JP5250065B2 (ja) * 2011-03-04 2013-07-31 株式会社コナミデジタルエンタテインメント 配信システム、端末装置、配信方法、端末方法、並びにプログラム
CN102184694B (zh) * 2011-03-24 2013-01-02 北京市速连科通信设备有限责任公司 采用视频图像和/或数码照片监测室外显示屏的系统和方法
CN102184723A (zh) * 2011-03-28 2011-09-14 广东威创视讯科技股份有限公司 多屏拼接处理系统回显装置和回显方法
JP5561433B2 (ja) * 2011-05-24 2014-07-30 日産自動車株式会社 車両用監視装置及び車両の監視方法
CN102387354B (zh) * 2011-11-25 2014-11-12 中山大学 一种基于嵌入式Web服务器的视频监控系统
JP5736341B2 (ja) * 2012-04-24 2015-06-17 株式会社 日立産業制御ソリューションズ カメラシステム、監視カメラ制御端末、プロトコル変更方法およびプログラム
JP6024952B2 (ja) * 2012-07-19 2016-11-16 パナソニックＩｐマネジメント株式会社 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム
CN103581697A (zh) * 2012-07-23 2014-02-12 宏碁股份有限公司 数据传送装置和方法
US10115431B2 (en) * 2013-03-26 2018-10-30 Sony Corporation Image processing device and image processing method
JP6235876B2 (ja) * 2013-11-13 2017-11-22 株式会社ザクティ 撮像装置及び画像転送方法
JP6237357B2 (ja) * 2014-03-11 2017-11-29 富士通株式会社 パケット転送システムおよびパケット転送方法
KR101637653B1 (ko) * 2014-06-09 2016-07-07 박상래 영상열선장치 및 이를 이용한 침입 감지 시스템
CN106375364B (zh) * 2015-12-18 2019-09-20 北京智谷睿拓技术服务有限公司 监控采集方法与设备以及监控播放方法与设备
JP6815926B2 (ja) * 2017-04-27 2021-01-20 キヤノン株式会社 撮像装置、撮像システム、移動体、チップ
CN107608376A (zh) * 2017-09-16 2018-01-19 北京神鹫智能科技有限公司 一种基于无人机的环境监察系统
JP7107596B2 (ja) * 2018-08-20 2022-07-27 株式会社音楽館 駅監視システム及び駅監視方法
JP2020170965A (ja) * 2019-04-04 2020-10-15 パナソニックＩｐマネジメント株式会社 カメラおよび通信方法
CN112489340A (zh) * 2019-09-12 2021-03-12 华为技术有限公司 消防终端、消防控制端以及消防方法
WO2022009356A1 (ja) * 2020-07-09 2022-01-13 三菱電機ビルテクノサービス株式会社 監視システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799662A (ja) * 1993-09-28 1995-04-11 Oki Electric Ind Co Ltd 動画像信号伝送方法
JP3202606B2 (ja) * 1996-07-23 2001-08-27 キヤノン株式会社 撮像サーバ及びその方法及び媒体
US5999979A (en) * 1997-01-30 1999-12-07 Microsoft Corporation Method and apparatus for determining a most advantageous protocol for use in a computer network
US6930709B1 (en) * 1997-12-04 2005-08-16 Pentax Of America, Inc. Integrated internet/intranet camera
US7196720B2 (en) * 1998-03-06 2007-03-27 Intel Corporation Method and apparatus for powering on an electronic device with a video camera that detects motion
JP4176865B2 (ja) * 1998-04-30 2008-11-05 シャープ株式会社 画像伝送装置
JP2001189932A (ja) * 1999-12-28 2001-07-10 Toshiba Corp 画像伝送システムおよび画像伝送方法
JP2001298479A (ja) * 2000-04-12 2001-10-26 Nec Corp インターネット電話装置
JP4789223B2 (ja) * 2000-05-16 2011-10-12 株式会社メガチップス 侵入者監視システム
JP2003163914A (ja) * 2001-11-26 2003-06-06 Kubota Corp 監視システム及び画像伝送ユニット
JP2004171936A (ja) * 2002-11-20 2004-06-17 Jeol Ltd 電子顕微鏡像の遠隔観察システム
US7272658B1 (en) * 2003-02-13 2007-09-18 Adobe Systems Incorporated Real-time priority-based media communication

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924666A (zh) * 2015-08-31 2018-04-17 夏普株式会社 显示控制装置、显示装置、显示控制装置的控制方法以及控制程序

Also Published As

Publication number Publication date
JPWO2006085500A1 (ja) 2008-06-26
US20090135252A1 (en) 2009-05-28
CN101099240A (zh) 2008-01-02
WO2006085500A1 (ja) 2006-08-17
EP1806786A1 (en) 2007-07-11

Similar Documents

Publication Publication Date Title
CN100517746C (zh) 监控摄像机装置、使用其的监控系统及监控图像传送方法
JP3839526B2 (ja) ディジタルカメラ
US9049362B2 (en) Photographing apparatus and method of providing photographed video
JP2007194928A (ja) 遠隔監視装置及び遠隔監視方法
KR100555012B1 (ko) 영상 신호 기록 및 송신 장치
WO2008035657A1 (en) Monitor video accumulation system
EP2538670B1 (en) Data processing unit
JP2015041822A (ja) 画像通信装置およびその制御方法
KR20140124497A (ko) 이벤트에 따라 적응적으로 가변 화질 영상을 전송하는 감시 카메라 시스템
JP2001189932A (ja) 画像伝送システムおよび画像伝送方法
CN103997649B (zh) 处理数据的方法和使用所述方法的拍摄设备
KR101280443B1 (ko) 영역 영상을 처리하는 장치 및 그 제어방법
KR101494537B1 (ko) 영상 감시 시스템에서 모니터링 채널 결정 방법 및 장치
JP4474063B2 (ja) ディジタル監視カメラシステムおよび制御装置
CN114786036B (zh) 自动驾驶车辆的监控方法及装置、存储介质、计算机设备
JP3085003U (ja) 動体検出装置および動体検出システム
KR100363550B1 (ko) 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치
KR100997082B1 (ko) 다해상도 동영상 코덱 방법 및 장치
JP2003111061A (ja) 動体検出装置、動体検出システムおよび動体検出方法
KR100563781B1 (ko) 주목해야 할 화상의 표시방법과 장치 및 원격화상감시시스템
JP4522835B2 (ja) 画像伝送装置及び画像監視システム
JP3724363B2 (ja) ネットワーク監視カメラシステム及び監視カメラ及びカメラシステムコントロール装置
CN103841373A (zh) 3g视频无线传输终端
JP3658016B2 (ja) ディジタル画像の通信・記録装置、送信装置、受信装置
JP5131954B2 (ja) ビデオレコーダ並びにカメラシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090722

Termination date: 20110206