JP2007142861A - ネットワークカメラ、ネットワークカメラシステム、監視方法 - Google Patents

ネットワークカメラ、ネットワークカメラシステム、監視方法 Download PDF

Info

Publication number
JP2007142861A
JP2007142861A JP2005334548A JP2005334548A JP2007142861A JP 2007142861 A JP2007142861 A JP 2007142861A JP 2005334548 A JP2005334548 A JP 2005334548A JP 2005334548 A JP2005334548 A JP 2005334548A JP 2007142861 A JP2007142861 A JP 2007142861A
Authority
JP
Japan
Prior art keywords
image
network camera
unit
transmission
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005334548A
Other languages
English (en)
Other versions
JP2007142861A5 (ja
JP4712537B2 (ja
Inventor
Takeshi Ogata
剛 小方
Yasuharu Nakamura
靖治 中村
Yasuo Fujimura
泰生 藤村
Junichi Hamada
準一 濱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005334548A priority Critical patent/JP4712537B2/ja
Priority to US12/094,095 priority patent/US9113065B2/en
Priority to EP06832762A priority patent/EP1956843A1/en
Priority to PCT/JP2006/322882 priority patent/WO2007058269A1/ja
Priority to CN2006800431769A priority patent/CN101313571B/zh
Publication of JP2007142861A publication Critical patent/JP2007142861A/ja
Publication of JP2007142861A5 publication Critical patent/JP2007142861A5/ja
Application granted granted Critical
Publication of JP4712537B2 publication Critical patent/JP4712537B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6338Control signals issued by server directed to the network components or client directed to network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】指定された配信先へ確実に画像を配信することができるネットワークカメラ、ネットワークカメラシステムを提供すること。
【解決の手段】ネットワーク130に接続されたネットワークカメラ110および複数のPC120を有するネットワークカメラシステム100であって、ネットワークカメラ110は、画像を撮像する撮像部111と、PC120へ撮像画像を配信する送受信部115と、撮像画像が複数のPC120のうちの予め指定されたPC120へ配信されたか否かを監視する画像送信監視部116と、指定されたPC120への配信が途切れた場合に、撮像画像を蓄積する蓄積メモリ119とを有し、PC120は、配信された撮像画像を受信する画像受信部121を有する。
【選択図】図1

Description

本発明は、通信回線を介して複数の配信先へ画像を配信可能なネットワークカメラ、
通信回線に接続された、ネットワークカメラおよび前記ネットワークカメラによって画像を配信される複数の配信先を有するネットワークカメラシステム、ならびにネットワークカメラシステムにおいて用いられる監視方法に関する。
従来のネットワークカメラでは、FTPクライアント/サーバシステムにおいて、ネットワーク回線が一時的に使用できない状態になったときに、画像データのカメラ側でのバックアップが行われている(例えば、特許文献1参照)。従来のネットワークカメラは、クライアントである1台のネットワークカメラおよびネットワークカメラから画像を配信される1台のFTPサーバがネットワークを介して接続されている。
特開2005−026866号公報
一方、ネットワークカメラがサーバとなり、ネットワークカメラから画像を配信される不特定多数のクライアントがネットワークを介して接続されているシステムにおいては、クライアントとして、ネットワークカメラの画像を監視するためのモニタリング装置、ネットワークカメラの画像データを記録する記録装置などを有することが考えられる。
このシステムでは、ネットワークカメラの画像をバックアップする場合、クライアントであるモニタリング装置には確実な画像の配信が必要ではないが、記録装置には確実に画像を配信しなければならないなど、クライアントの種類によって画像の蓄積の必要性が異なる。したがって、指定された配信先への確実な画像の配信が必要であるという事情がある。
本発明は、上記事情を鑑みてなされたものであって、指定された配信先へ確実に画像を配信することができるネットワークカメラ、ネットワークカメラシステムおよび監視方法を提供することを目的とする。
上記目的を達成するために、本発明のネットワークカメラは、通信回線を介して複数の配信先へ画像を配信可能なネットワークカメラであって、画像を撮像する撮像部と、前記撮像部によって撮像された撮像画像の配信を要求する前記配信先へ前記撮像画像を配信する送信部と、前記撮像画像が前記複数の配信先のうちの予め指定された配信先へ前記送信部によって配信されたか否かを監視する送信監視部と、前記送信監視部によって監視された前記送信部による前記指定された配信先への配信が途切れた場合に、前記撮像画像を蓄積する蓄積部とを有する構成としている。
この構成により、指定された配信先へ確実に画像を配信することができる。
また、本発明のネットワークカメラは、前記蓄積部が、前記指定配信が復帰した場合に前記撮像画像の蓄積を停止する構成としている。
この構成により、特定の配信先への画像配信ができない間のみ画像の蓄積を行い、メモリなどの蓄積手段への蓄積データ量を必要最小限に抑えることができる。
また、本発明のネットワークカメラは、前記指定された配信先への配信が途切れてから前記蓄積部による蓄積を開始するまでの時間を含む蓄積開始情報を有し、前記蓄積部が、前記蓄積開始情報に基づいて、前記指定された配信先への配信が途切れた場合に前記撮像画像の蓄積を開始する構成としている。
この構成により、ネットワークカメラの指示によって、録画機器などの配信先への画像配信が途切れた場合、画像配信が途切れてから特定時間後にネットワークカメラに入力された画像を蓄積することができる。
また、本発明のネットワークカメラは、前記蓄積部によって前記撮像画像を蓄積する時間間隔を含む蓄積間隔情報を有し、前記蓄積部が、前記蓄積間隔情報に基づいて、前記指定された配信先への配信が途切れた場合の前記撮像画像を蓄積する時間間隔を決定する構成としている。
この構成により、ネットワークカメラの指示によって、録画機器などの配信先への画像配信が途切れた場合、特定の時間間隔でネットワークカメラに入力された画像を蓄積することができる。
また、本発明のネットワークカメラは、前記蓄積部によって前記撮像画像が蓄積されていることを前記配信先へ通知する蓄積監視部を有する構成としている。
この構成により、画像の配信先はメモリに蓄積画像が存在することを認識し、必要に応じて蓄積画像を取得することができる。
また、本発明のネットワークカメラは、前記送信監視部によって前記指定された配信先への前記撮像画像の配信を監視する監視時間帯を示す録画期間を含む録画時間情報を有し、前記蓄積部が、前記録画時間情報に基づいて、前記指定された配信先への配信が途切れた場合の前記撮像画像の蓄積を行う期間を決定する構成としている。
この構成により、ネットワークカメラの指示によって、指定時間帯におけるネットワークカメラに入力された画像が指定された配信先へ配信できなかった場合にのみ、その画像をメモリへ蓄積することができる。
また、本発明のネットワークカメラは、前記送信監視部によって前記指定された配信先への前記撮像画像の配信を監視する時間隔を示す録画間隔を含む録画間隔情報を有し、前記録画間隔情報に基づいて、前記指定された配信先への配信が途切れた場合の前記撮像画像の蓄積を行う時間間隔を決定する構成としている。
この構成により、ネットワークカメラの指示によって、ネットワークカメラに入力された画像が指定された配信先へ指定された時間間隔で配信できなかった場合にのみ、その画像をメモリへ蓄積することができる。
また、本発明のネットワークカメラシステムは、通信回線に接続された、ネットワークカメラおよび前記ネットワークカメラによって画像を配信される複数の配信先を有するネットワークカメラシステムであって、前記ネットワークカメラは、画像を撮像する撮像部と、前記配信先へ前記撮像部によって撮像された撮像画像を配信する送信部と、前記撮像画像が前記複数の配信先のうちの予め指定された配信先へ前記送信部によって指定配信されたか否かを監視する送信監視部と、前記送信監視部によって監視された前記送信部による前記指定された配信先への配信が途切れた場合に、前記撮像画像を蓄積する蓄積部とを有し、前記配信先は、前記送信部によって前記指定された配信先へ配信された撮像画像を受信する受信部を有する構成としている。
この構成により、指定された配信先へ確実に画像を配信することができる。
また、本発明の監視方法は、通信回線に接続された、ネットワークカメラおよび前記ネットワークカメラによって画像を配信される複数の配信先を有するネットワークカメラシステムで用いられる監視方法であって、画像が撮像される撮像ステップと、前記配信先へ前記撮像ステップにおいて撮像された撮像画像が配信される送信ステップと、前記撮像画像が前記複数の配信先のうちの予め指定された配信先へ前記送信ステップにおける配信がされたか否かが監視される送信監視ステップと、前記送信監視ステップにおいて前記送信ステップにおける前記指定された配信先への配信が途切れた場合に、前記撮像画像が蓄積される蓄積ステップと前記送信ステップにおいて前記指定された配信先へ配信された撮像画像が受信される受信ステップとを有する方法としている。
この方法により、指定された配信先へ確実に画像を配信することができる。
本発明は、指定された配信先へ確実に画像を配信することができるネットワークカメラ、ネットワークカメラシステムおよび監視方法を提供することができる。
以下に、本発明の実施形態について、図面を参照しながら説明する。
(実施形態)
図1は、本発明の実施形態におけるネットワークカメラシステム100のブロック図である。ネットワークカメラシステム100は、ネットワークカメラ110、PC(Personal Computer)120およびネットワーク130を有する。ネットワークカメラ110は、撮像部111、信号処理部112、エンコード部113、一時メモリ114、送受信部115、画像送信監視部116、蓄積処理部117、蓄積容量監視部118、蓄積メモリ119を有する。PC120は、画像受信部121、蓄積画像取得要求部122、蓄積画像リスト取得部123を有する。
ここで、ネットワーク130は通信回線の一例である。また、ネットワークカメラ110はネットワークカメラの一例である。また、PC120は配信先の一例である受信装置である。また、撮像部111は撮像部の一例である。また、送受信部115は送信部の一例である。また、画像送信監視部116は送信監視部の一例である。また、蓄積メモリ119は蓄積部の一例である。また、蓄積容量監視部118は蓄積監視部の一例である。また、画像受信部121は受信部の一例である。
ネットワークカメラ110およびPC120はネットワーク130に接続されている。ネットワークカメラ110は、ネットワーク130に接続することのできるカメラである。PC120は、ネットワークカメラ110によって撮影された画像データを閲覧するためのモニタリングPCや画像データを録画するための録画機器などである。
撮像部111は画像信号を入力する。信号処理部112は、入力された画像信号に対して、信号処理を行う。エンコード部113は、信号処理された画像信号に対して圧縮処理を行い、画像データとして一時メモリ114に一時的に保存する。また、ネットワークカメラシステム100の1週間のスケジュールを示した後述する図7のスケジュールテーブル114aも一時メモリ114に保存される。送受信部115は、一時メモリ114に保存された画像データおよび後述する図6の蓄積画像リスト117aをネットワーク130を介してPC120へ配信する。また、送受信部115は、PC120から送信される蓄積画像取得要求および蓄積画像リスト取得要求を受信し、一時メモリ114へ一時的に保存する。
画像送信監視部116は、送受信部115による画像データの配信の状態を監視し、配信が途切れた場合に蓄積処理部117へ通知する。蓄積処理部117は、画像送信監視部116による配信途切れの通知を受けた際、一時メモリ114に保存された画像データを蓄積メモリ119へ保存する。また、蓄積処理部117は、送受信部115によって蓄積画像取得要求を受信した際には蓄積メモリ119に保存された画像データを一時メモリ114へ引き渡し、一時メモリに一時的に保存する。また、蓄積処理部117は、蓄積画像リスト117aを作成し、一時メモリ114へ一時的に保存する。
蓄積容量監視部118は、蓄積メモリ119への画像データの蓄積量を監視し、その結果を蓄積処理部117およびネットワーク130を介してPC120へ通知する。これにより、PC120は蓄積画像が存在するか否かを把握することができる。蓄積メモリ119は、SDメモリカードなどである。
画像受信部121は、送受信部115からネットワーク130を介して送信された画像データを受信する。蓄積画像取得要求部122は、蓄積画像リスト取得部123が取得した蓄積画像リスト117aに基づいて、PC120の処理負荷の軽い時間帯に、蓄積画像取得要求をネットワーク130を介してネットワークカメラ110へ送信し、送受信部115からネットワーク130を介して送信される蓄積画像を取得する。
蓄積画像リスト取得部123は、蓄積画像リスト取得要求をネットワーク130を介してネットワークカメラ110へ送信し、送受信部115からネットワーク130を介して送信される蓄積画像リスト117aを取得する。
蓄積画像リスト117aは、蓄積メモリ119に蓄積された蓄積画像の詳細情報を有するリストである。リスト項目として、連続番号、画像生成日時、配信先IP、カメラ名称などを有する。蓄積画像リスト117aの一例を図6に示す。
図6において、連続番号には、1から順番に番号が記載される。画像生成日時には、該当画像が蓄積メモリ119に蓄積された日時が記載される。配信先IPには、画像蓄積時に画像送信監視部116が該当画像の配信を監視していた監視対象のPC120のIPアドレスが記載される。カメラ名称には、1台以上のネットワークカメラ110のうち、該当画像を蓄積したネットワークカメラ110のカメラ名が記載される。
スケジュールテーブル114aは、ネットワークカメラシステム100の1週間のスケジュールを示しており、項目として録画開始時間、録画終了時間、録画間隔および配信先IPを有する。スケジュールテーブル114aは一時メモリ114に保存されている。スケジュールテーブル114aはネットワークカメラ110側で作成されてもよいし、PC120側で作成後にネットワーク130を介してネットワークカメラ110へ送信してもよい。スケジュールテーブル114aの一例を図7に示す。
図7において、録画開始時間には、画像送信監視部116による監視中に送受信部115による画像の配信が途切れた場合に画像の蓄積を行う時間帯を示す録画期間の開始時間が記載される。録画終了時間には、録画期間の終了時間が記載される。録画間隔には、画像を蓄積メモリ119へ蓄積する時間間隔が記載される。配信先IPには、画像送信監視部116が画像の配信を監視する監視対象のPC120のIPアドレスが記載される。
次に、ネットワークカメラ110がPC120へ画像データを配信する際の監視手順について説明する。画像データの配信を監視する方法は、PC120が一定間隔毎に画像取得要求に基づいて一定量ずつ画像データの配信を行う場合の監視方法(クライアントプル)と、PC120の一度の画像取得要求に対してネットワークカメラ130が画像データを一度に配信する場合の監視方法(サーバプッシュ)とがある。
まず、クライアントプルの場合の画像配信監視手順について説明する。図2は本発明の実施形態におけるネットワークカメラシステム100のクライアントプルの場合の画像配信監視シーケンス図である。ここでは、ネットワークカメラシステム100は1台以上のネットワークカメラ110を有するサーバ、1台以上のPC120を有するn台(nは1以上の整数)のクライアントを有し、第2のクライアントからの画像取得要求のみを監視することにする。各サーバおよび各クライアントは同一の構成および機能を有している。サーバのうちの任意の1台をサーバ110Aとし、n台のクライアントを第1のクライアント120A、第2のクライアント120B、・・・、第nのクライアント120nとする。
まず、画像取得要求が第1のクライアント120Aからサーバ110Aへ送信されてサーバAによって検出され(ステップS201)、サーバ110Aから第1のクライアント120Aへ画像が正常に配信されている(ステップS202)。また、画像取得要求が第2のクライアント120Bからサーバ110Aへ送信されてサーバ110Aによって検出され(ステップS203)、サーバ110Aから第2のクライアント120Bへ画像が正常に配信されている(ステップS204)。
次に、画像取得要求が第2のクライアント120Bからサーバ110Aへ送信されたにもかかわらず、あらかじめ定めた設定時間内にサーバ110Aにおいて次の画像取得要求が検出されない場合(ステップS205)、第2のクライアント120Aからの画像取得要求は監視されているため、サーバ110Aは蓄積メモリ119へ画像の蓄積を開始する(ステップS206)。
ここで、特定のクライアント(ここでは第2のクライアント120B)からの画像取得要求の送信において、サーバ110Aが画像取得要求を正常に受信すると、ACK(ACKnowledgement)がサーバ110Aからクライアント側へ送られるため、クライアントはサーバ110Aが正常に画像取得要求を受信したことを知ることができる。
ステップS205における画像取得要求の非検出からあらかじめ定めた設定時間tだけ経過した後、再び第2のクライアント120Bは画像取得要求をサーバ110Aへ送信する(ステップS207)。ステップS207における画像取得要求もサーバ110Aにおいて設定時間内に検出されない場合、引き続き蓄積メモリ119へ画像の蓄積を行う(ステップS208)。
再び設定時間tだけ経過した後、画像取得要求が第2のクライアント120Bからサーバ110Aへ送信されてサーバ110Aによって要求が検出され(ステップS209)、サーバ110Aから第2のクライアント120Bへ画像が配信されている(ステップS210)。ステップS209において画像取得要求が正常に検出されているので、蓄積メモリ119への画像の蓄積を停止する(ステップS211)。
また、画像取得要求が第1のクライアント120Aからサーバ110Aへ送信されたにもかかわらず、あらかじめ定めた設定時間内にサーバ110Aにおいて検出されない場合は、第2のクライアント120Bからの画像取得要求は監視されていないため、蓄積メモリ119への画像の蓄積を行わない(ステップS211)。
また、画像取得要求が第nのクライアント120nからサーバ110Aへ送信されてサーバ110Aによって検出され(ステップS213)、サーバ110Aから第nのクライアント120nへ画像が正常に配信されている(ステップS214)。
以上がクライアントプルの場合の画像配信監視手順である。
次に、サーバプッシュの場合の画像配信監視手順について説明する。図3は本発明の実施形態におけるネットワークカメラシステム100のサーバプッシュの場合の画像配信監視シーケンス図である。ここでネットワークカメラシステム100は、サーバ110A、第1のクライアント120A、第2のクライアント120B、・・・、第nのクライアント120nを有し、第2のクライアントへの画像配信のみを監視することにする。各クライアントは同一の構成および機能を有している。
まず、画像配信開始要求が第1のクライアント120Aからサーバ110Aへ送信されると(ステップS301)、サーバ110Aから第1のクライアント120Aへ画像の配信が行われ、サーバ110Aが第1のクライアント120Aから画像配信停止要求を受信するまで、もしくは配信された画像が第1のクライアント120Aに正常に受信されなくなるまで画像の配信が続行される(ステップS302)。
ここで、特定のクライアント(ここでは第2のクライアント120B)からの各画像の配信において、クライアントが画像を正常に受信すると、ACKがクライアントからサーバ110A側へ送られるため、サーバ110Aはクライアントが正常に画像を受信したことを知ることができる。
第1のクライアント120Aからサーバ110Aへの画像の配信途中であって、画像の正常な受信があらかじめ定められた設定時間以上の間検出されない場合は、第1のクライアント120Aは監視対象外のクライアントであるため、蓄積メモリ119への画像の蓄積は行われない(ステップS303)。
次に、画像配信開始要求が第2のクライアント120Bからサーバ110Aへ送信され(ステップS304)、サーバ110Aから第2のクライアント120Bへ画像の配信が行われ、サーバ110Aが第2のクライアント120Bから画像配信停止要求を受信するまで、もしくは配信された画像が第2のクライアント120Bに正常に受信されなくなるまで画像の配信が継続される(ステップS305)。
第2のクライアント120Bからサーバ110Aへの画像の配信途中であって、画像の正常な受信(ACK等)があらかじめ定められた設定時間以上の間検出されない場合は(ステップS306)、第2のクライアント120Bは監視対象のクライアントであるため、蓄積メモリ119への画像の蓄積を開始する(ステップS307)。
ステップS306を実施した後、あらかじめ定められた設定間隔毎にサーバ110Aから第2のクライアント120Bへ画像が再配信される(ステップS308)。この再配信によっても第2のクライアント120Bが画像の受信を検出を受信できない場合は、蓄積メモリ119への画像の蓄積を継続する(ステップS309)。図3においては第1回目の再配信以外は図示が省略されている。この再配信は、第2のクライアント120Bが正常に画像の受信を検出するまで、もしくは、あらかじめ定めた一定期間の間行われる。
配信に失敗していた画像の再配信において、第2のクライアント120Bが正常に画像を受信したら(ステップS310)、蓄積メモリ119への画像の蓄積を停止する(ステップS311)。その後も配信する第2のクライアント120Bからの画像配信停止要求があるまで、もしくは配信された画像が第2のクライアント120Bに正常に受信されなくなるまで画像の配信が継続される(ステップS312)。
画像配信停止要求が第2のクライアント120Bからサーバ110Aへ送信されてサーバ110Aが画像配信停止要求を検出すると、サーバ110Aは画像の配信を停止する(ステップS313)。また、画像配信開始要求が第nのクライアント120nからサーバ110Aへ送信されると(ステップS314)、サーバ110Aから第nのクライアント120nへ画像の配信が行われ、サーバ110Aが第nのクライアント120nから画像配信停止要求を受信するまで、もしくは配信された画像が第nのクライアント120nに正常に受信されなくなるまで画像の配信が続行される(ステップS315)。
以上がサーバプッシュの場合の画像配信監視手順である。
次に、画像を蓄積メモリ119へ蓄積した後の蓄積画像存在通知および蓄積画像の取得について説明する。図4は本発明の実施形態におけるネットワークカメラシステム100の蓄積画像存在通知および蓄積画像取得シーケンス図である。ここでネットワークカメラシステム100は、サーバ110A、第1のクライアント120A、第2のクライアント120B、・・・、第nのクライアント120nを有し、第2のクライアントが蓄積画像取得を行う場合を想定している。
まず、サーバ110Aに蓄積された蓄積画像の詳細を示した蓄積画像リスト117aが各クライアント120A、120B、・・・、120nへブロードキャスト通知される(ステップS401)。このブロードキャスト通知は、あらかじめ定められた一定時間毎に行われる。
第2のクライアント120Bは蓄積画像リスト117aの受信によって蓄積画像の存在を認識すると、第2のクライアント120B自身の動作負荷が軽い時間帯に蓄積画像取得要求をサーバ110Aへ送信する(ステップS402)。サーバ110Aは蓄積画像取得要求を受信すると、蓄積メモリ119から蓄積画像を取り出して第2のクライアント120Bへが蓄積画像を配信する(ステップS403)。一度に配信できる蓄積画像の量はあらかじめ定められている。第2のクライアント120Bへの送信が完了した蓄積画像は、蓄積メモリ119から削除される(ステップS404)。
ステップS402の蓄積画像取得要求に対する蓄積画像の配信が第2のクライアント120Bによって検出されない場合(ステップS405)、第2のクライアント120Bへの蓄積画像の送信が完了していないので、送信予定であった蓄積画像は蓄積メモリ119から削除されない(ステップS406)。
また、ステップS401では一定時間間隔で蓄積画像リスト117aのブロードキャスト通知を示したが、例えば第2のクライアント120Bが蓄積画像リスト取得要求をサーバ110Aへ送信し(ステップS407)、それに対して蓄積画像リスト117aの通知を行うようにしてもよい(ステップS408)。
ここで、サーバ110Aの蓄積処理部117が蓄積画像リスト117aを作成するタイミングとしては、蓄積メモリ119への蓄積画像が発生する毎に蓄積画像リスト117aへ追記する、各クライアントから蓄積画像リスト取得要求を受信したときに蓄積メモリ119に蓄積されている画像の情報を一覧で作成する、あらかじめ定められた一定時間毎に蓄積画像リスト117aを更新するなど、様々なタイミングが考えられる。
以上が蓄積画像存在通知および蓄積画像取得の手順である。
次に、ネットワークカメラシステム100の録画スケジュールについて説明する。図5は本発明の実施形態におけるネットワークカメラシステム100の録画スケジュールに基づいた録画シーケンス図である。ここでは、金曜日から土曜日にかけての図7のような録画スケジュールに関して、詳細に説明する。ここでネットワークカメラシステム100は、サーバ110A、第1のクライアント120A、第2のクライアント120B、・・・、第nのクライアント120nを有する。
図7から、金曜日においては録画開始時間は8:30、録画終了時間は22:00、録画間隔は6秒、配信先IPは第1のクライアント120A、第2のクライアント120Bとなっているので、金曜日の8:30になると、ネットワークカメラシステム100は第1のクライアント120Aおよび第2のクライアント120Bへの画像配信の監視を開始する。
画像配信を監視されている期間は、画像取得要求が第2のクライアント120Bからサーバ110Aへ送信される(ステップS501)と、サーバ110Aは第2のクライアント120Bへ画像を配信する(ステップS502)。画像取得要求はあらかじめ定められた一定時間間隔で送信される。画像取得要求が第2のクライアント120Bからサーバ110Aへ送信された後(ステップS501)、設定時間以上経っても第2のクライアント120Bが画像の配信を検出できない場合は(ステップS503)、蓄積メモリ119への画像の蓄積を開始する(ステップS504)。
また、画像取得要求が第1のクライアント120Aからサーバ110Aへ送信され(ステップS505)、サーバ110Aが第1のクライアント120Bへ画像の配信を行うことができたとしても(ステップS506)、第2のクライアント120Aへの画像の配信が途切れてしまっている場合は蓄積メモリ119への画像の蓄積を継続する(ステップS507)。この蓄積メモリ119への画像の蓄積は、録画間隔毎に行うので、ここでは6秒毎に画像の蓄積を行う。
画像取得要求が第2のクライアント120Bからサーバ110Aへ送信され(ステップS508)、第2のクライアント120Bが蓄積画像の配信を検出し(ステップS509)、かつ、画像取得要求が第1のクライアント120Aからサーバ110Aへ送信され(ステップS510)、第1のクライアント120Aが蓄積画像の配信を検出した場合(ステップS511)、つまり、監視対象の第1のクライアント120Aおよび第2のクライアント120Bの両方への画像配信が実施可能であれば、蓄積メモリ119への画像の蓄積を停止する(ステップS512)。
また、画像配信を監視されている期間であって、監視対象外である第nのクライアント120nが画像取得要求をサーバ110Aへ送信されても(ステップS513)、サーバ110Aから第nのクライアント120nへの画像の配信は行われない(ステップS514)。
また、画像配信の監視対象である第2のクライアント120Bから画像取得要求がサーバ110Aへ送信されても(ステップ515)、例えば金曜日の22:00より遅く土曜日の9:00より早い時間帯のような録画非対象期間内の画像取得要求に対しては、サーバ110Aから第2のクライアント120Bへの画像の配信は行われない(ステップS516)。
以上が録画スケジュールに基づいた録画手順である。
このように、録画期間を設定することで、サーバ側であるネットワークカメラの蓄積メモリの容量を効率よく活用することができる。
このような本発明の実施形態におけるネットワークカメラシステム100によれば、ネットワーク130に接続された、ネットワークカメラ110およびネットワークカメラ110によって画像を配信される複数のPC120を有するネットワークカメラシステム100であって、ネットワークカメラ110は、画像を撮像する撮像部111と、PC120へ撮像部111によって撮像された撮像画像を配信する送受信部115と、撮像画像が複数のPC120のうちの予め指定されたPC120へ送受信部115によって配信されたか否かを監視する画像送信監視部116と、画像送信監視部116によって監視された送受信部115による指定されたPC120への配信が途切れた場合に、撮像画像を蓄積する蓄積メモリ119とを有し、PC120は、送受信部115によって指定されたPC120へ配信された撮像画像を受信する画像受信部121を有する構成とすることで、指定されたPC120へ確実に画像を配信することができる。
本発明は、指定された配信先へ確実に画像を配信することができるネットワークカメラ、ネットワークカメラシステム等に有用である。
本発明の実施形態におけるネットワークカメラシステムのブロック図 本発明の実施形態におけるネットワークカメラシステムのクライアントプルの場合の画像配信監視シーケンス図 本発明の実施形態におけるネットワークカメラシステムのサーバプッシュの場合の画像配信監視シーケンス図 本発明の実施形態におけるネットワークカメラシステムの蓄積画像存在通知および蓄積画像取得シーケンス図 本発明の実施形態におけるネットワークカメラシステムの録画スケジュールに基づいた録画シーケンス図 本発明の実施形態における蓄積画像リストの一例 本発明の実施形態におけるスケジュールテーブルの一例
符号の説明
100 ネットワークカメラシステム
110 ネットワークカメラ
111 撮像部
112 信号処理部
113 エンコード部
114 一時メモリ
115 送受信部
116 画像送信監視部
117 蓄積処理部
118 蓄積容量監視部
119 蓄積メモリ
120 PC(受信装置)
121 画像受信部
122 蓄積画像取得要求部
123 蓄積画像リスト取得部
130 ネットワーク

Claims (9)

  1. 通信回線を介して複数の受信装置へ画像を配信可能なネットワークカメラであって、
    画像を撮像する撮像部と、
    前記撮像部によって撮像された撮像画像の配信を要求する前記受信装置へ前記撮像画像を配信する送信部と、
    前記撮像画像が前記複数の受信装置のうちの予め指定された受信装置へ前記送信部によって配信されたか否かを監視する送信監視部と、
    前記送信監視部によって監視された前記送信部による前記指定された受信装置への配信が途切れた場合に、前記撮像画像を蓄積する蓄積部と
    を有するネットワークカメラ。
  2. 請求項1に記載のネットワークカメラであって、
    前記蓄積部は、
    前記指定配信が復帰した場合に前記撮像画像の蓄積を停止するネットワークカメラ。
  3. 請求項1または2に記載のネットワークカメラであって、
    前記指定された受信装置への配信が途切れてから前記蓄積部による蓄積を開始するまでの時間を含む蓄積開始情報を有し、
    前記蓄積部は、
    前記蓄積開始情報に基づいて、前記指定された受信装置への配信が途切れた場合に前記撮像画像の蓄積を開始するネットワークカメラ。
  4. 請求項1または2に記載のネットワークカメラであって、
    前記蓄積部によって前記撮像画像を蓄積する時間間隔を含む蓄積間隔情報を有し、
    前記蓄積部は、
    前記蓄積間隔情報に基づいて、前記指定された受信装置への配信が途切れた場合の前記撮像画像を蓄積する時間間隔を決定するネットワークカメラ。
  5. 請求項1ないし4のいずれか1項に記載のネットワークカメラであって、
    前記蓄積部によって前記撮像画像が蓄積されていることを前記受信装置へ通知する蓄積監視部
    を有するネットワークカメラ。
  6. 請求項1ないし5のいずれか1項に記載のネットワークカメラであって、
    前記送信監視部によって前記指定された受信装置への前記撮像画像の配信を監視する監視時間帯を示す録画期間を含む録画時間情報を有し、
    前記蓄積部は、
    前記録画時間情報に基づいて、前記指定された受信装置への配信が途切れた場合の前記撮像画像の蓄積を行う期間を決定するネットワークカメラ。
  7. 請求項1ないし5のいずれか1項に記載のネットワークカメラであって、
    前記送信監視部によって前記指定された受信装置への前記撮像画像の配信を監視する時間隔を示す録画間隔を含む録画間隔情報を有し、
    前記録画間隔情報に基づいて、前記指定された受信装置への配信が途切れた場合の前記撮像画像の蓄積を行う時間間隔を決定するネットワークカメラ。
  8. 通信回線に接続された、ネットワークカメラおよび前記ネットワークカメラによって画像を配信される複数の受信装置を有するネットワークカメラシステムであって、
    前記ネットワークカメラは、
    画像を撮像する撮像部と、
    前記受信装置へ前記撮像部によって撮像された撮像画像を配信する送信部と、
    前記撮像画像が前記複数の受信装置のうちの予め指定された受信装置へ前記送信部によって配信されたか否かを監視する送信監視部と、
    前記送信監視部によって監視された前記送信部による前記指定された受信装置への配信が途切れた場合に、前記撮像画像を蓄積する蓄積部とを有し、
    前記受信装置は、
    前記送信部によって前記指定された受信装置へ配信された撮像画像を受信する受信部
    を有するネットワークカメラシステム。
  9. 通信回線に接続された、ネットワークカメラおよび前記ネットワークカメラによって画像を配信される複数の受信装置を有するネットワークカメラシステムで用いられる監視方法であって、
    画像が撮像される撮像ステップと、
    前記受信装置へ前記撮像ステップにおいて撮像された撮像画像が配信される送信ステップと、
    前記撮像画像が前記複数の受信装置のうちの予め指定された受信装置へ前記送信ステップにおける配信がされたか否かが監視される送信監視ステップと、
    前記送信監視ステップにおいて前記送信ステップにおける前記指定された受信装置への配信が途切れた場合に、前記撮像画像が蓄積される蓄積ステップと
    前記送信ステップにおいて前記指定された受信装置へ配信された撮像画像が受信される受信ステップと
    を有する監視方法。
JP2005334548A 2005-11-18 2005-11-18 ネットワークカメラ、ネットワークカメラシステム、監視方法 Expired - Fee Related JP4712537B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005334548A JP4712537B2 (ja) 2005-11-18 2005-11-18 ネットワークカメラ、ネットワークカメラシステム、監視方法
US12/094,095 US9113065B2 (en) 2005-11-18 2006-11-16 Network camera, network camera system and monitoring method
EP06832762A EP1956843A1 (en) 2005-11-18 2006-11-16 Network camera, network camera system, monitor method
PCT/JP2006/322882 WO2007058269A1 (ja) 2005-11-18 2006-11-16 ネットワークカメラ、ネットワークカメラシステム、監視方法
CN2006800431769A CN101313571B (zh) 2005-11-18 2006-11-16 网络摄像机、网络摄像机系统及监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005334548A JP4712537B2 (ja) 2005-11-18 2005-11-18 ネットワークカメラ、ネットワークカメラシステム、監視方法

Publications (3)

Publication Number Publication Date
JP2007142861A true JP2007142861A (ja) 2007-06-07
JP2007142861A5 JP2007142861A5 (ja) 2008-08-14
JP4712537B2 JP4712537B2 (ja) 2011-06-29

Family

ID=38048653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005334548A Expired - Fee Related JP4712537B2 (ja) 2005-11-18 2005-11-18 ネットワークカメラ、ネットワークカメラシステム、監視方法

Country Status (5)

Country Link
US (1) US9113065B2 (ja)
EP (1) EP1956843A1 (ja)
JP (1) JP4712537B2 (ja)
CN (1) CN101313571B (ja)
WO (1) WO2007058269A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021168464A (ja) * 2020-02-24 2021-10-21 アクシス アーベー ライブビデオストリームのストリーミング

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742197B (zh) * 2008-11-18 2012-10-03 华为技术有限公司 前端设备、录像文件备份方法及其控制方法、装置及系统
JP5316550B2 (ja) * 2011-01-05 2013-10-16 株式会社デンソー 後方視界支援システム
EP2538672B1 (en) * 2011-06-21 2020-08-12 Axis AB Method for configuring networked cameras
JP6059806B2 (ja) * 2013-06-28 2017-01-11 株式会社 日立産業制御ソリューションズ ネットワークカメラ、ネットワークカメラ制御端末および映像記録配信システム
JP6249754B2 (ja) * 2013-12-13 2017-12-20 オリンパス株式会社 撮像装置、撮像システム、通信機器、撮像方法、及び撮像プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018525A (ja) * 2001-07-04 2003-01-17 Fujitsu Ltd ネットワーク蓄積型ビデオカメラシステム
JP2004147262A (ja) * 2002-10-28 2004-05-20 Matsushita Electric Ind Co Ltd ネットワークカメラ装置およびカメラ映像配信方法
JP2005026866A (ja) * 2003-06-30 2005-01-27 Sony Corp ネットワークカメラ
JP2005295255A (ja) * 2004-03-31 2005-10-20 Toshiba Corp 撮像装置、及び撮像画像の送信方法
JP2007049681A (ja) * 2005-07-11 2007-02-22 Canon Inc ネットワークカメラ装置およびネットワークカメラ装置の映像フレームの送信方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998000809A1 (en) * 1996-06-28 1998-01-08 Hopkins T Eric Image acquisition system
CN2588705Y (zh) * 2002-07-15 2003-11-26 李鹏 高安全网络摄像机
JP4276452B2 (ja) * 2003-02-18 2009-06-10 パナソニック株式会社 ネットワークカメラ
JP2004320642A (ja) * 2003-04-18 2004-11-11 Sumitomo Electric Ind Ltd 動体通知方法、動体検出方法、撮像装置及び動体検出システム
WO2005022902A1 (ja) * 2003-09-01 2005-03-10 Matsushita Electric Industrial Co., Ltd. 送信機能付きカメラと携帯電話機、画像データ取得送信プログラム
US20050052548A1 (en) * 2003-09-09 2005-03-10 Delaney Beth M. P. Digital camera and method providing automatic image file backup during upload
CN2636533Y (zh) * 2003-09-11 2004-08-25 上海复旦聚升信息科技有限公司 一种网络摄像机
JP2005339361A (ja) * 2004-05-28 2005-12-08 Fuji Photo Film Co Ltd 画像表示装置および方法並びにプログラム
JP4535317B2 (ja) 2004-05-31 2010-09-01 株式会社吉野工業所 コンパクト容器
US7698487B2 (en) * 2004-06-30 2010-04-13 Intel Corporation Share resources and increase reliability in a server environment
HK1066447A2 (zh) * 2004-09-14 2005-02-04 Multivision Intelligent Surveillance Hong Kong Ltd 用於數字監控系統的備份系統
US7877777B2 (en) 2006-06-23 2011-01-25 Canon Kabushiki Kaisha Network camera apparatus and distributing method of video frames

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018525A (ja) * 2001-07-04 2003-01-17 Fujitsu Ltd ネットワーク蓄積型ビデオカメラシステム
JP2004147262A (ja) * 2002-10-28 2004-05-20 Matsushita Electric Ind Co Ltd ネットワークカメラ装置およびカメラ映像配信方法
JP2005026866A (ja) * 2003-06-30 2005-01-27 Sony Corp ネットワークカメラ
JP2005295255A (ja) * 2004-03-31 2005-10-20 Toshiba Corp 撮像装置、及び撮像画像の送信方法
JP2007049681A (ja) * 2005-07-11 2007-02-22 Canon Inc ネットワークカメラ装置およびネットワークカメラ装置の映像フレームの送信方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021168464A (ja) * 2020-02-24 2021-10-21 アクシス アーベー ライブビデオストリームのストリーミング
JP7278318B2 (ja) 2020-02-24 2023-05-19 アクシス アーベー ライブビデオストリームのストリーミング

Also Published As

Publication number Publication date
WO2007058269A1 (ja) 2007-05-24
US20090174770A1 (en) 2009-07-09
US9113065B2 (en) 2015-08-18
CN101313571B (zh) 2011-04-27
EP1956843A1 (en) 2008-08-13
CN101313571A (zh) 2008-11-26
JP4712537B2 (ja) 2011-06-29

Similar Documents

Publication Publication Date Title
JP4712537B2 (ja) ネットワークカメラ、ネットワークカメラシステム、監視方法
TWI568269B (zh) 組態網路相機的方法
CN1976447B (zh) 网络相机系统和网络相机控制方法
CN109196430B (zh) 监视装置及监视方法
US20090265462A1 (en) Monitoring apparatus and storage method
EP2112806A1 (en) Information collecting system
JP2000341680A (ja) 情報制御装置及び情報制御方法及びカメラクライアント装置及びそのカメラ制御方法及びカメラサーバ装置及びそのカメラ制御方法及び記憶媒体
JP2007312028A (ja) 監視画像送出装置およびプログラム
JP2007166181A (ja) データ取得装置及びデータ記録システム並びにデータ記録方法
JP2007142861A5 (ja)
JP2019092133A (ja) 送信装置、受信装置、通信システムおよびプログラム
JP2006345208A (ja) 映像監視システム、監視映像管理装置及び監視映像提供装置
JP2006203342A (ja) 映像監視システム
JP2006086991A (ja) 監視カメラシステム、および監視カメラシステムの制御装置、並びに制御方法
JP2010140193A (ja) 画像記録装置、画像蓄積方法、および警備システム
CN106162051B (zh) 图像显示系统
JP2001326926A (ja) データ配信方式及びデータ配信方法
JP2007013733A (ja) ファイル作成装置および方法
JP2009200973A (ja) カメラ制御システム、カメラ制御方法及びプログラム
JP6476995B2 (ja) 中継装置、コンテンツ配信システム、中継方法およびプログラム
JP4683609B2 (ja) 画像管理装置、画像取得装置、画像管理システム、画像管理装置の制御方法、画像取得装置の制御方法及びプログラム
JP2005092645A (ja) 印刷結果情報管理システム
JP4191653B2 (ja) 画像取得システム、画像取得システムの制御方法及びプログラム
CN117520284A (zh) 文件同步任务的管理方法及电子设备
JP2004289323A (ja) 監視カメラシステムの制御方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080702

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110323

LAPS Cancellation because of no payment of annual fees