CN104041016B - 服务器装置及系统控制方法 - Google Patents

服务器装置及系统控制方法 Download PDF

Info

Publication number
CN104041016B
CN104041016B CN201380004882.2A CN201380004882A CN104041016B CN 104041016 B CN104041016 B CN 104041016B CN 201380004882 A CN201380004882 A CN 201380004882A CN 104041016 B CN104041016 B CN 104041016B
Authority
CN
China
Prior art keywords
load
image
case
reliability
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380004882.2A
Other languages
English (en)
Other versions
CN104041016A (zh
Inventor
横光澄男
藤井博文
藤松健
渡边伟志
松本裕
松本裕一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN104041016A publication Critical patent/CN104041016A/zh
Application granted granted Critical
Publication of CN104041016B publication Critical patent/CN104041016B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供有效地利用网络频带并且减少服务器的处理负荷的服务器装置、摄像机装置、图像监视系统、图像监视系统控制方法及图像监视系统控制程序。第二图像判定处理单元(132)对从监视终端(110)发送的截取图像进行分析，对截取图像的质量(可靠度)进行评价，可靠度判定单元(133)在从第二图像判定处理单元(132)输出的分析数值小于预先设定的阈值Th2的情况下，将经过分析的截取图像的个别ID输出到负荷估计单元(135)。负荷估计单元(135)对服务器(130)的处理负荷和网络负荷进行估计，重发请求单元(136)根据服务器的处理负荷和网络负荷，进行关于从负荷估计单元(135)输出的个别ID的重发请求的控制。

Description

服务器装置及系统控制方法
技术领域
本发明涉及对拍摄到的图像进行处理的摄像机装置、服务器装置、图像监视系统、图像监视系统控制方法及图像监视系统控制程序。
背景技术
图1是表示以往的影像监视系统的概略结构的方框图。图1中，以往的影像监视系统，能够在网络14中不发生拥塞的范围内有效利用传输容量，根据需要在影像监视终端12接收帧速率高的影像信号，其结构包括多台监视摄像机终端11、多台影像监视终端12、一台中央监视控制装置13、以及网络14。
监视摄像机终端11的结构包括拍摄影像的监视摄像机11a、以及对影像进行编码并传输到网络14的图像输入装置11b。
影像监视终端12的结构包括：图像输出装置12a，其从网络14接收影像并进行解码；监视屏12c，其显示解码后的影像；以及控制面板12b，其设定对毎秒的传输帧数进行规定的帧速率，并将其值传递给中央监视控制装置13和监视摄像机终端11。
中央监视控制装置13的结构包括：图像输出装置13a，其从监视摄像机终端11接收影像信号，并进行解码；监视屏13c，其显示解码后的影像；监视控制装置13j，其接收来自影像监视终端12的设定信息，存储用哪个影像监视终端12对来自哪个监视摄像机终端11的影像进行监视的各个连接目的地和帧速率，对影像信号的通信状况进行监视；以及控制面板13b，其对在中央监视控制装置13中利用哪个影像监视终端12对来自哪个监视摄像机终端11的影像进行监视的连接目的地和帧速率进行设定。
监视控制装置13j在从影像监视终端12收到新的监视条件(连接目的地和帧速率)的设定请求时，对设定的可否进行判断，将该设定信息传递给影像监视终端12和监视摄像机终端11，由此对网络14的传输容量进行管理(例如，参照专利文献1)。
图2是表示监视摄像机终端11的概略结构的方框图。图2中，监视摄像机终端11的结构包括：监视摄像机21，其拍摄监视影像；编码器22，其对影像信号进行编码；传输单元23，向网络进行传输；以及区域分割单元30，其指示每个监视区域的监视重要度，监视摄像机终端11可配合监视影像内的区域的重要度进行编码、传输。
区域分割单元30的结构包括：显示单元27，其显示进行传输的动态图像；输入单元26，其具备鼠标等指向装置，在图像内指定区域和重要度；存储单元25，其保持所输入的区域信息和重要度信息；以及合成单元24，其将区域信息和重要度在图像上重叠显示，作为图像的明亮度之差。
编码器22根据存储于存储单元25的区域信息和重要度信息，以按每个区域不同的压缩率进行编码(例如，参照专利文献2)。
现有技术文献
专利文献
专利文献1：日本特开2003-289528号公报
专利文献2：日本特开2000-333156号公报
发明内容
发明要解决的问题
但是，专利文献1和专利文献2中公开的技术由于固定地发送来自监视摄像机的数据，因此，网络频带的使用率总是一定，无法减少频带的使用率。因此，存在无法有效利用网络频带的问题。另外，由于一律地对监视摄像机群分配频带而不考虑来自各个监视摄像机的数据的可靠性等，存在监视摄像机继续发送可靠性低的不需要的数据，使服务器的处理负荷增大的问题。
本发明的目的在于，提供有效地利用网络频带并且减少服务器的处理负荷的摄像机装置、服务器装置、图像监视系统、图像监视系统控制方法及图像监视系统控制程序。
解决问题的方案
本发明的服务器装置，包括：接收单元，其从终端装置接收图像；图像判定处理单元，其评价所述图像的基于特征量的可靠度；可靠度判定单元，其进行所述可靠度和规定的阈值之间的阈值判定；负荷估计单元，其在所述可靠度小于所述阈值的情况下，对本装置的处理负荷以及本装置和所述终端装置之间的网络负荷进行估计；以及重发请求单元，其根据所述处理负荷和所述网络负荷，控制所述可靠度小于所述阈值的所述图像的重发请求，所述重发请求单元，在所述网络负荷小且所述处理负荷小的情况下，进行所述重发请求，在所述网络负荷小且所述处理负荷大的情况下、以及在所述网络负荷大且所述处理负荷小的情况下，将所述重发请求积累在队列中，在所述网络负荷大且所述处理负荷大的情况下，不进行所述重发请求。
本发明的系统控制方法包括以下步骤：服务器装置从终端装置接收图像的接收步骤；对从所述终端装置发送来的图像的基于特征量的可靠度进行评价的图像判定处理步骤；进行所述可靠度和规定的阈值之间的阈值判定的可靠度判定步骤；在所述可靠度小于所述阈值的情况下，对所述服务器装置的处理负荷、以及所述服务器装置和所述终端装置之间的网络负荷进行估计的负荷估计步骤；以及根据所述处理负荷和所述网络负荷，控制所述可靠度小于所述阈值的截取图像的重发请求的重发请求步骤，在所述重发请求步骤中，在所述网络负荷小且所述处理负荷小的情况下进行所述重发请求，在所述网络负荷小且所述处理负荷大的情况下、以及所述网络负荷大且所述处理负荷小的情况下，将所述重发请求积累在队列中，在所述网络负荷大且所述处理负荷大的情况下，不进行所述重发请求。
本发明的摄像机装置采用的结构包括：拍摄单元，其从拍摄元件输入影像；以及第一图像判定处理单元，其进行所拍摄到的所述影像的图像判定处理，从所述影像提取截取图像，在所述影像的基于第一特征量的第一可靠度为规定的第一阈值以上的情况下，将所述截取图像发送到服务器装置。
本发明的服务器装置采用的结构包括：接收单元，其从摄像机装置接收基于第一特征量从由所述摄像机装置拍摄到的影像提取出的截取图像；第二图像判定处理单元，其对所述截取图像的基于第二特征量的第二可靠度进行评价；可靠度判定单元，其进行所述第二可靠度和规定的第二阈值之间的阈值判定；负荷估计单元，其在所述第二可靠度小于所述第二阈值的情况下，对本装置的处理负荷、以及本装置和所述摄像机装置之间的网络负荷进行估计；以及重发请求单元，其根据所述处理负荷和所述网络负荷，控制所述第二可靠度小于所述第二阈值的所述截取图像的重发请求。
本发明的图像监视系统采用的结构包括摄像机装置和服务器装置，所述摄像机装置包括：拍摄单元，其从拍摄元件输入影像；以及第一图像判定处理单元，其进行所拍摄到的所述影像的图像判定处理，从所述影像提取截取图像，将所述截取图像发送到所述服务器装置，所述服务器装置包括：第二图像判定处理单元，其对从所述摄像机装置发送的截取图像的基于第二特征量的第二可靠度进行评价；可靠度判定单元，其进行所述第二可靠度和规定的第二阈值之间的阈值判定；负荷估计单元，其在所述第二可靠度小于所述第二阈值的情况下，对本装置的处理负荷、以及本装置和所述摄像机装置之间的网络负荷进行估计；以及重发请求单元，其根据所述处理负荷和所述网络负荷，控制所述第二可靠度小于所述第二阈值的所述截取图像的重发请求。
本发明的图像监视系统控制方法包括以下步骤：服务器装置接收基于第一特征量从由摄像机装置拍摄到的影像提取出的截取图像的接收步骤；对从所述摄像机装置发送来的截取图像的基于第二特征量的第二可靠度进行评价的第二图像判定处理步骤；进行所述第二可靠度和规定的第二阈值之间的阈值判定的可靠度判定步骤；在所述第二可靠度小于所述第二阈值的情况下，对所述服务器装置的处理负荷、以及所述服务器装置和所述摄像机装置之间的网络负荷进行估计的负荷估计步骤；以及根据所述处理负荷和所述网络负荷，控制所述第二可靠度小于所述第二阈值的所述截取图像的重发请求的重发请求步骤。
本发明的图像监视系统控制程序用于使计算器作为以下单元动作：接收单元，其从摄像机装置接收基于第一特征量从由所述摄像机装置拍摄到的影像提取出的截取图像；第二图像判定处理单元，其对所述截取图像的基于第二特征量的第二可靠度进行评价；可靠度判定单元，其进行所述第二可靠度和规定的第二阈值之间的阈值判定；负荷估计单元，其在所述第二可靠度小于所述第二阈值的情况下，对本装置的处理负荷、以及本装置和所述摄像机装置之间的网络负荷进行估计；以及重发请求单元，其根据所述处理负荷和所述网络负荷，控制所述第二可靠度小于所述第二阈值的所述截取图像的重发请求。
发明效果
根据本发明，能够有效利用网络频带并且减少服务器的处理负荷。附图简要说明
图1是表示以往的影像监视系统的概略结构的方框图。
图2是表示以往的监视摄像机终端的概略结构的方框图。
图3是表示本发明实施方式1的图像监视系统的概略结构的方框图。
图4是表示参数的例子的图。
图5(a)、图5(b)、图5(c)、图5(d)是表示重发请求控制方法的表的图。
图6(a)、图6(b)是用于说明第一图像判定处理单元中的人物的脸部检测处理的图。
图7(a)、图7(b)是用于说明第二图像判定处理单元中的眼睛的模板匹配处理的图。
具体实施方式
下面，参照附图对本发明的实施方式详细地进行说明。
(实施方式1)
图3是表示本发明实施方式1的图像监视系统100的概略结构的方框图。图3中，具备多个监视终端110(图中只示出一个)、网络120、以及云服务器(以下简称为“服务器”)130。
监视终端110具备摄像机111和第一图像判定处理单元112。摄像机111从CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)等拍摄元件输入影像，将所输入的影像输出到第一图像判定处理单元112。
第一图像判定处理单元112对从摄像机111输出的影像进行图像判定处理，判定是否将该图像发送到服务器130。具体而言，例如，第一图像判定处理单元112将与人物的脸部模型相似的图像区域作为脸部候选区域，对上检测框。对全图像区域执行光栅扫描(rasterscan)，导出作为脸部候选区域的检测框，提取包括人物脸部的区域，作为截取图像(缩图)。这时，第一图像判定处理单元112在对拍摄在截取图像中的人物的脸部(第一特征量)进行检测的检测框的数量为预先设定的阈值Th1以上的情况下，判定为发送该截取图像，在小于阈值Th1的情况下，判定为不发送该截取图像。在此，检测框的数量越多则意味着可靠度(似然)越高，将具有一定可靠度的截取图像发送到服务器130。
第一图像判定处理单元112将判定为阈值Th1以上的截取图像与参数一起发送到服务器130。在此，作为参数，可以例举图4所示的参数，包括识别ID、状态标志等。状态标志表示检测对象(这里是人物的脸部)的出现、追踪、消失。
网络120是使监视终端110和服务器130相互连接的通信网。
服务器130包括发送接收单元131、第二图像判定处理单元132、可靠度判定单元133、识别处理单元134、负荷估计单元135以及重发请求单元136。
发送接收单元131接收从监视终端110发送来的截取图像，将接收到的截取图像输出到第二图像判定处理单元132。另外，发送接收单元131将从重发请求单元136输出的重发请求发送到监视终端110。进而，发送接收单元131从监视终端110接收传播延迟计算中使用的传播信息，将接收到的传播信息输出到负荷估计单元135。
第二图像判定处理单元132对从发送接收单元131输出的截取图像进行分析，并对截取图像的质量(可靠度)进行评价。具体而言，第二图像判定处理单元132分析在截取图像之中是否存在特征性的脸器官。例如，第二图像判定处理单元132事先持有眼睛的模板，在脸器官的区域之中进行搜索，进行诸如是否存在与模板相似的区域等(第二特征量)的眼睛位置的分析。或者，由于人的脸部一般左右对称，因此分析截取图像是否具有对称性等(第二特征量)。将该分析结果(可靠度)进行数值化，并将分析数值输出到重发请求单元136，而且，与分析数值一起将截取图像输出到可靠度判定单元133。另外，第二图像判定处理单元132将处理所需的CPU(Central Processing Unit，中央处理单元)的使用率输出到负荷估计单元135。
可靠度判定单元133进行从第二图像判定处理单元132输出的分析数值与预先设定的阈值Th2之间的阈值判定，在分析数值为阈值Th2以上的情况下，将经过分析的截取图像输出到识别处理单元134，在小于阈值Th2的情况下，将经过分析的截取图像的识别ID输出到负荷估计单元135。另外，可靠度判定单元133将处理所需的CPU的使用率输出到负荷估计单元135。
识别处理单元134基于从可靠度判定单元133输出的截取图像进行识别处理。具体而言，例如，识别处理单元134进行拍摄在截取图像中的人物的年龄以及性别等(第三特征量)的识别处理，将通过识别处理得到的信息通知给操作人员等。另外，识别处理单元134将处理所需的CPU的使用率输出到负荷估计单元135。
负荷估计单元135对从第二图像判定处理单元132、可靠度判定单元133以及识别处理单元134输出的CPU的使用率进行合计，估计为服务器130的处理负荷。另外，负荷估计单元135基于从发送接收单元131输出的传播信息，求延迟时间，根据所求出的延迟时间估计网络的负荷。在此，例如，使用作为ICMP(Internet Control Message Protocol，因特网控制报文协议)的“ping”，作为将ICMP ECHO包发送到监视终端的时刻与来自该监视终端的相应包(ICMP REPLY)的到达时刻之间的时间差(RTT:Round Trip Time，往复时间)，求出延迟时间。另外，对于网络负荷，既可以根据RTT的绝对值进行估计，也可以根据波动(抖动)进行估计。对于网络负荷的估计方法的细节，在電気情報通信学会「知識ベース」5群9編ネットワーク管理3章ネットワーク管理の共通機能(电气信息通信学会“知识基础”5群9篇网络管理3章网络管理的共同功能)(http://www.ieice-hbkb.org/files/05/05gun_09hen_03.pdf)、日本特开2004-23794号公报等中已公开。
负荷估计单元135将从可靠度判定单元133输出的识别ID、以及估计出的服务器处理负荷和网络负荷输出到重发请求单元136。
重发请求单元136基于从第二图像判定处理单元132输出的分析数值、以及从负荷估计单元135输出的服务器处理负荷和网络负荷，进行关于从负荷估计单元135输出的识别ID的重发请求的控制。具体而言，如图5(a)所示，例如，根据服务器处理负荷是否为CPU使用率80％以上、以及网络负荷是否为网络的使用効率60％以上，预先在表中规定了重发请求的控制方法，根据可靠度(分析数值)准备有三种(高、中、低)的表。
图5(b)表示可靠度低的情况下的重发请求控制方法的表。优选，在分析数值低的情况下，尽可能地进行重发请求，获得新的截取图像。因此，不管服务器处理负荷如何，在网络负荷小的情况下，进行重发请求，在网络负荷大的情况下，将重发请求积累在队列中。
图5(c)表示可靠度为中的情况下的重发请求控制方法的表。在分析数值为中的情况下，根据服务器处理负荷和网络负荷，在能够获得新的截取图像的情况下获得新的截取图像。因此，在网络负荷小且服务器处理负荷小的情况下进行重发请求，在网络负荷小且服务器处理负荷大的情况下将重发请求积累在队列中。另外，在网络负荷大且服务器处理负荷小的情况下将重发请求积累在队列中，在网络负荷大且服务器处理负荷大的情况下不进行重发请求。
图5(d)是表示可靠度高的情况下的重发请求控制方法的表的图。优选，在网络负荷和服务器处理负荷大的情况下，不获得新的截取图像。因此，只在网络负荷和服务器处理负荷小的情况下进行重发请求，在其他情况下不进行重发请求。
此外，对于积累在队列中的重发请求，可以考虑(1)在经过预先设定的时间后进行发送、(2)在成为预先设定的网络频带以下的情况下进行发送、(3)在网络负荷和/或服务器处理负荷减少了的情况下进行发送等。
这样，通过根据网络负荷和服务器处理负荷控制重发请求，能够控制来自摄像机的截取图像的发送，因此能够控制网络频带，另外能够减少可靠性低的数据的发送，因此能够减少服务器的处理负荷。
这样，根据实施方式1，在服务器中，对从监视终端发送的截取图像的可靠度进行评价，对于可靠度低的截取图像，根据网络负荷和服务器的处理负荷，控制重发请求，由此能够有效地利用网络频带，而且，能够减少服务器的处理负荷。
此外，本实施方式中，对根据分析数值准备了三种重发请求控制方法的表的情况进行了说明，但是，也可以与可靠度无关地使用一种的表。在这种情况下，可以考虑使用图5(c)所示的分析数值为中的情况下的重发请求控制方法的表。
另外，本实施方式中，对将在监视终端的第一图像判定处理单元中使用的阈值Th1固定的情况进行了说明，但是，本发明并不限于此，也可以根据网络负荷使阈值Th1可变。例如，在网络负荷高的情况下增大阈值Th1，将可靠性高的截取图像发送到服务器，这样来抑制截取图像的发送频度，而在网络负荷低的情况下减小阈值Th1，将具有一定可靠性的截取图像发送到服务器，增加截取图像的发送频度。
另外，也可以根据服务器处理负荷使阈值Th1可变。例如，在服务器处理负荷高的情况下增大阈值Th1，将可靠性高的截取图像发送到服务器，这样来抑制截取图像的发送频度，而在服务器处理负荷低的情况下减小阈值Th1，将具有一定可靠性的截取图像发送到服务器，这样来增加截取图像的发送频度。
进而，也可以根据从监视终端发送的截取图像的质量使阈值Th1可变。当在服务器的可靠度判定单元中小于阈值Th2的截取图像多的情况下，可认为从监视终端发送的截取图像的质量差，而使阈值Th1增大。
也可以按每个识别ID进行这种阈值Th1的控制。
另外，本实施方式中说明了，在第一图像判定处理单元112中，将人物作为截取图像提取，在第二图像判定处理单元132中，分析拍摄在截取图像中的人物是否存在眼睛位置的候选，或者截取图像是否是左右对称等，但是，本发明并不限于此。
例如，也可以构成为，在第一图像判定处理单元112提取存在运动的部分作为截取图像，在第二图像判定处理单元132识别拍摄在截取图像中的部分是否是人物。重发请求单元136在拍摄在截取图像中的部分不是人物的情况下，或者是人物的可靠性低的情况下，进行重发请求。
另外，也可以构成为，在第一图像判定处理单元112中提取方形的物体作为截取图像，在第二图像判定处理单元132中，进行拍摄在截取图像中的方形的物体的编号识别处理。重发请求单元136在无法读取出拍摄在截取图像中的编号的情况下，或者编号识别的可靠性低的情况下，进行重发请求。
进而，也可以构成为，在第一图像判定处理单元112中提取存在运动的部分作为截取图像，在第二图像判定处理单元132中识别拍摄在截取图像中的部分是否是车辆。重发请求单元136在拍摄在截取图像中的部分不是车辆的情况下，或者是车辆的可靠性低的情况下，进行重发请求。
(实施方式2)
本发明实施方式2的图像监视系统的结构与实施方式1的图3所示的结构相同，因此引用图3进行说明。
本发明实施方式2中，具体地说明第一图像判定处理单元112中的人物的脸部检测处理、以及第二图像判定处理单元132中的眼睛的模板匹配处理。
图6是用于说明第一图像判定处理单元112中的人物的脸部检测处理的图。图6(a)是表示闭上眼睛的脸部图像A，图6(b)表示睁开眼睛的脸部图像B。
第一图像判定处理单元112对于脸部图像A和脸部图像B对上矩形的检测框DF。检测框DF由上侧一半的上部检测框df1和下侧一半的下部检测框df2构成，从脸部图像的左上开始按顺序向右滑动，到了右端后稍稍向下错开，再次从脸部图像的左开始向右滑动。这时，第一图像判定处理单元112求上部检测框df1的像素的亮度值的平均与下部检测框df2的像素的亮度值的平均之间的差，在该差大于规定的阈值时，判定为在那里存在眼睛(维奥拉-琼斯方法：参照“Rapid Object Detection using a Boosted Cascade of SimpleFeatures”,Paul Viola,Michael Jones,Computer Vision and Pattern Recognition,2001.CVPR2001.Vol 1,P511-518)。
在是图6(a)的脸部图像A的情况下，闭着眼睛，但是有前发或眉毛等。因此，在检测框DF与眼睛的位置对上时，上部检测框df1的像素的亮度值的平均与下部检测框df2的像素的亮度值的平均之差大于规定的阈值，因此，可以判定为在检测框DF的位置存在眼睛。其结果，第一图像判定处理单元112识别为检测出人物的脸部。此外，对于上部检测框df1和下部检测框df2中的像素的亮度值的平均，只是计算像素的亮度值的和与差，因此能够高速地求出。
另外，在是图6(b)的脸部图像B的情况下，睁着眼睛，拍摄到黒眼珠。因此，若检测框DF与眼睛的位置对上，则上部检测框df1的像素的亮度值的平均与下部检测框df2的像素的亮度值的平均之差大于规定的阈值，因此，能够判定为在检测框DF的位置存在眼睛。其结果，第一图像判定处理单元112识别为检测到人物的脸部。
这样，第一图像判定处理单元112对图6(a)的脸部图像A以及图6(b)的脸部图像B都能够检测出脸部，将检测出的脸部图像从监视终端110发送到服务器130。
图7是用于说明第二图像判定处理单元132中的眼睛的模板匹配处理的图。图7(a)表示闭着眼睛的脸部图像A，图7(b)表示睁开眼睛的脸部图像B。
第二图像判定处理单元132具有眼睛的模板，使该眼睛的模板与脸部图像A以及脸部图像B匹配。匹配处理中，既可以与第一图像判定处理单元112的人物的脸部检测处理同样，在整个脸部图像中使模板滑动，也可以基于第一图像判定处理单元112中检测出的脸部位置进行匹配处理。
另外，模板匹配处理中，对眼睛的模板和脸部图像，在像素之间进行比较。该比较中例如可以使用SSD(Sum of Squared Difference，平方差和)法。在SSD的结果小于规定的阈值时，可以判定为在模板的位置存在眼睛。其结果，第二图像判定处理单元132识别为检测出人物的脸部。
在是图7(a)的脸部图像A的情况下，闭着眼睛，因此，检测不出眼睛，从而，检测不出脸部。另一方面，在是图7(b)的脸部图像B的情况下，睁着眼睛，因此检测出眼睛，从而检测出脸部。
这样，第二图像判定处理单元132能够只从适于脸部识别的图像检测出脸部。
在2012年2月6日提出的日本专利申请特愿2012-022953中包含的说明书、附图以及摘要的公开内容全部引用于本申请。
工业实用性
本发明的摄像机装置、服务器装置、图像监视系统、图像监视系统控制方法及图像监视系统控制程序适于有效地利用网络频带并且减少服务器的处理负荷。
符号说明
110 监视终端
111 摄像机
112 第一图像判定处理单元
120 网络
130 服务器
131 发送接收单元
132 第二图像判定处理单元
133 可靠度判定单元
134 识别处理单元
135 负荷估计单元
136 重发请求单元

Claims (4)

1.服务器装置，包括：
接收单元，其从终端装置接收图像；
图像判定处理单元，其评价所述图像的基于特征量的可靠度；
可靠度判定单元，其进行所述可靠度和规定的阈值之间的阈值判定；
负荷估计单元，其在所述可靠度小于所述阈值的情况下，对本装置的处理负荷以及本装置和所述终端装置之间的网络负荷进行估计；以及
重发请求单元，其根据所述处理负荷和所述网络负荷，控制所述可靠度小于所述阈值的所述图像的重发请求，
所述重发请求单元，
在所述网络负荷小且所述处理负荷小的情况下，进行所述重发请求，
在所述网络负荷小且所述处理负荷大的情况下、以及在所述网络负荷大且所述处理负荷小的情况下，将所述重发请求积累在队列中，
在所述网络负荷大且所述处理负荷大的情况下，不进行所述重发请求。
2.如权利要求1所述的服务器装置，
在经过预先设定的时间的情况下、在成为预先设定的网络频带以下的情况下、或者在所述网络负荷和所述处理负荷减少了的情况下，所述重发请求单元发送积累在所述队列的所述重发请求。
3.系统控制方法，包括以下步骤：
服务器装置从终端装置接收图像的接收步骤；
对从所述终端装置发送来的图像的基于特征量的可靠度进行评价的图像判定处理步骤；
进行所述可靠度和规定的阈值之间的阈值判定的可靠度判定步骤；
在所述可靠度小于所述阈值的情况下，对所述服务器装置的处理负荷、以及所述服务器装置和所述终端装置之间的网络负荷进行估计的负荷估计步骤；以及
根据所述处理负荷和所述网络负荷，控制所述可靠度小于所述阈值的截取图像的重发请求的重发请求步骤，
在所述重发请求步骤中，在所述网络负荷小且所述处理负荷小的情况下进行所述重发请求，
在所述网络负荷小且所述处理负荷大的情况下、以及所述网络负荷大且所述处理负荷小的情况下，将所述重发请求积累在队列中，
在所述网络负荷大且所述处理负荷大的情况下，不进行所述重发请求。
4.如权利要求3所述的系统控制方法，
在所述重发请求步骤中，在经过预先设定的时间的情况下、在成为预先设定的网络频带以下的情况下、或者在所述网络负荷和所述处理负荷减少了的情况下，发送积累在所述队列中的所述重发请求。
CN201380004882.2A 2012-02-06 2013-02-05 服务器装置及系统控制方法 Expired - Fee Related CN104041016B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-022953 2012-02-06
JP2012022953 2012-02-06
PCT/JP2013/000624 WO2013118491A1 (ja) 2012-02-06 2013-02-05 カメラ装置、サーバ装置、画像監視システム、画像監視システム制御方法及び画像監視システム制御プログラム

Publications (2)

Publication Number Publication Date
CN104041016A CN104041016A (zh) 2014-09-10
CN104041016B true CN104041016B (zh) 2017-05-17

Family

ID=48947261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380004882.2A Expired - Fee Related CN104041016B (zh) 2012-02-06 2013-02-05 服务器装置及系统控制方法

Country Status (5)

Country Link
US (1) US9639766B2 (zh)
EP (1) EP2814246A4 (zh)
JP (1) JP5899518B2 (zh)
CN (1) CN104041016B (zh)
WO (1) WO2013118491A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256165B2 (ja) * 2014-04-09 2018-01-10 富士通株式会社 視線検出装置、視線検出プログラム及び視線検出方法
JP2016191973A (ja) * 2015-03-30 2016-11-10 日本電気株式会社 情報転送装置、学習システム、情報転送方法及びプログラム
JP6613900B2 (ja) * 2016-01-06 2019-12-04 日本電気株式会社 遠隔サーバ、通信システム、及び通信制御方法
JP6688970B2 (ja) * 2016-07-15 2020-04-28 パナソニックＩｐマネジメント株式会社 画像認識システム
CN108093209B (zh) * 2016-11-21 2024-04-12 松下知识产权经营株式会社 影像传输系统以及移动摄像机设备
EP3553739B1 (en) * 2016-12-06 2023-12-06 Konica Minolta, Inc. Image recognition system and image recognition method
US11169661B2 (en) 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
JP7122625B2 (ja) * 2018-07-02 2022-08-22 パナソニックＩｐマネジメント株式会社 学習データ収集装置、学習データ収集システム、及び学習データ収集方法
CN110889569A (zh) * 2018-09-10 2020-03-17 杭州萤石软件有限公司 一种计算能力调配方法和装置
KR102525577B1 (ko) * 2018-10-19 2023-04-26 삼성전자주식회사 데이터 스트리밍 방법 및 장치
WO2020174994A1 (ja) * 2019-02-26 2020-09-03 パナソニックＩｐマネジメント株式会社 カメラ映像伝送再生システム、それを構成するカメラおよびビューア
JP7261195B2 (ja) * 2020-03-25 2023-04-19 株式会社日立製作所 サーバ負荷予測システム及びサーバ負荷予測方法
CN112199138A (zh) * 2020-09-01 2021-01-08 北京达佳互联信息技术有限公司 任务图片的展示方法、装置及服务器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136221A (ja) * 2008-12-05 2010-06-17 Bankutekku Japan Kk イメージ処理システム及びイメージ処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224569A (ja) * 1999-01-29 2000-08-11 Matsushita Electric Ind Co Ltd 監視装置
JP2000333156A (ja) 1999-05-20 2000-11-30 Fujitsu General Ltd 動画像伝送装置
US7822967B2 (en) * 2000-09-27 2010-10-26 Huron Ip Llc Apparatus, architecture, and method for integrated modular server system providing dynamically power-managed and work-load managed network devices
CA2359269A1 (en) 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
JP2003289528A (ja) 2002-03-28 2003-10-10 Toshiba Corp 遠隔監視システムおよび同システムの監視制御方法
EP1376945B1 (en) 2002-06-18 2006-06-07 Matsushita Electric Industrial Co., Ltd. Receiver-based RTT measurement in TCP
JP4064196B2 (ja) * 2002-10-03 2008-03-19 株式会社リコー クライアントコンピュータ、サーバコンピュータ、プログラム、記憶媒体、画像データ処理システム及び画像データ処理方法
JP4622301B2 (ja) * 2004-05-07 2011-02-02 オムロン株式会社 監視システム、および監視カメラ
JP2009071733A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置、画像処理システム、画像処理方法、およびプログラム
FR2933263A1 (fr) * 2008-06-30 2010-01-01 Thomson Licensing Methode de reception de flux de donnees et methode d'emission correspondante
JP5393086B2 (ja) * 2008-09-12 2014-01-22 セコム株式会社 画像センサ
JP5207895B2 (ja) * 2008-09-17 2013-06-12 キヤノン株式会社 送信装置、受信装置、及び方法、プログラム
CN101686262B (zh) * 2009-05-14 2012-07-25 南京大学 一种基于多节点协作的传感器网络存储方法
JP5598155B2 (ja) * 2010-08-12 2014-10-01 ソニー株式会社 情報処理装置および方法、並びに送受信システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136221A (ja) * 2008-12-05 2010-06-17 Bankutekku Japan Kk イメージ処理システム及びイメージ処理方法

Also Published As

Publication number Publication date
US9639766B2 (en) 2017-05-02
EP2814246A1 (en) 2014-12-17
US20140313415A1 (en) 2014-10-23
WO2013118491A1 (ja) 2013-08-15
EP2814246A4 (en) 2015-07-15
JPWO2013118491A1 (ja) 2015-05-11
JP5899518B2 (ja) 2016-04-06
CN104041016A (zh) 2014-09-10

Similar Documents

Publication Publication Date Title
CN104041016B (zh) 服务器装置及系统控制方法
CN108038422B (zh) 摄像装置、人脸识别的方法及计算机可读存储介质
US10691949B2 (en) Action recognition in a video sequence
TWI686774B (zh) 人臉活體檢測方法和裝置
US8938092B2 (en) Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program
US10579880B2 (en) Real-time object re-identification in a multi-camera system using edge computing
KR100776805B1 (ko) 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
US8903130B1 (en) Virtual camera operator
CN102985933A (zh) 区分真人面部与平坦表面
Irgan et al. Low-cost prioritization of image blocks in wireless sensor networks for border surveillance
US9256789B2 (en) Estimating motion of an event captured using a digital video camera
CN106897695A (zh) 一种图像识别处理装置、系统及方法
CN111314395B (zh) 一种图像的传输方法及终端、存储介质
KR20150074867A (ko) 영상 변화 추출에 기반한 다채널 영상 분석 시스템 및 그 방법
Chen et al. Quality-of-content (QoC)-driven rate allocation for video analysis in mobile surveillance networks
CN109167912A (zh) 一种智能眼镜的图像处理方法及装置
JP2013143655A (ja) 現場状況把握システム及び現場画像提供方法
JP7104523B2 (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
JP5769468B2 (ja) 物体検出システム及び物体検出方法
CN112507798B (zh) 活体检测方法、电子设备与存储介质
JP5777389B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
CN114448952B (zh) 流媒体数据的传输方法和装置、存储介质及电子设备
CN113781341B (zh) 图像处理方法、装置、电子设备及存储介质
CN112785487B (zh) 图像处理方法及装置、存储介质和电子设备
CN117896552B (zh) 视频会议的处理方法、视频会议系统以及相关装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170517

Termination date: 20180205

CF01 Termination of patent right due to non-payment of annual fee