JP2016127563A - 人物追尾システム及び人物追尾方法 - Google Patents

人物追尾システム及び人物追尾方法 Download PDF

Info

Publication number
JP2016127563A
JP2016127563A JP2015002385A JP2015002385A JP2016127563A JP 2016127563 A JP2016127563 A JP 2016127563A JP 2015002385 A JP2015002385 A JP 2015002385A JP 2015002385 A JP2015002385 A JP 2015002385A JP 2016127563 A JP2016127563 A JP 2016127563A
Authority
JP
Japan
Prior art keywords
person
detection camera
information
cam
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015002385A
Other languages
English (en)
Other versions
JP6128468B2 (ja
Inventor
隆恵 小口
Takae Oguchi
隆恵 小口
山本 宗生
Muneo Yamamoto
宗生 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015002385A priority Critical patent/JP6128468B2/ja
Priority to PCT/JP2015/006290 priority patent/WO2016110903A1/ja
Priority to US15/540,544 priority patent/US10592730B2/en
Publication of JP2016127563A publication Critical patent/JP2016127563A/ja
Application granted granted Critical
Publication of JP6128468B2 publication Critical patent/JP6128468B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】人物を特定する精度の高い情報と人物を特定する精度の低い情報とを用いて、簡易な構成で処理負荷の増大を抑制して特定の人物の居場所を予測する。
【解決手段】監視カメラシステム10では、Cam−A或いはCam−Fで顔検出が行われ、顔画像の照合の結果、特定人物の顔画像と一致している場合、追跡クライアント30から、Cam−A或いはCam−Fに対応付けてグルーピングされた、他のCam−B〜Cam−Eに外見的特徴情報が送信される。他のCam−B〜Cam−Eは、外見的特徴情報を検出すると、人物発見情報を追跡クライアント30に送信する。
【選択図】図2

Description

本発明は、複数の監視カメラを連携して人物を追尾する人物追尾システム及び人物追尾方法に関する。
従来、例えば施設内に設置された多くの監視カメラを用いて、監視カメラにより撮像された画像から不審者を特定する監視カメラシステムが知られている。
また、複数の監視カメラを用いて不審者を特定する監視カメラシステムに関する先行技術として、特許文献1に示す監視カメラシステムが提案されている。
特許文献1に示す監視カメラシステムは、各監視装置の監視カメラで撮像された映像から不審者の特徴量を抽出し、この特徴量を予め登録された不審者リストの特徴量と照合し、照合の結果、ある監視装置においてこの特徴量が一致又は近似したと判断された場合には、この不審者の顔画像や特徴量等のデータを他の監視装置及び予め登録された携帯端末に送信することが知られている。これにより、各監視装置の監視視野範囲の追尾が可能となり、次にこの人物がどこにいるかを予測することができる。
特開2013−153304号公報
しかし、上述した特許文献1を含む従来技術では、複数の監視カメラを用いた場合でも全ての監視カメラで、精度の高い照合を行うことは困難な場合があった。つまり、監視カメラの設置環境によっては、明るさや撮影角度等の撮像条件が異なり、照合に適した撮像画像が得られず、照合の精度が不十分となる場合があった。この結果、不審者とは別人の顔画像等、誤った情報を送信してしまうことがあり、警備員を混乱させていた。
上述した特許文献1の構成では、全ての監視装置は、各監視カメラで撮像された映像を画像処理することで得られる特徴量や顔画像等のデータ(精度の高い情報)しか送信しない(言い換えると、不審者であるか否か疑わしい情報を送信しない)ために、不審者を発見したとの情報が、警備員が所持する携帯端末等に十分に集まらず、不審者を取り逃してしまう可能性があった。
また、不審者を発見した旨の不審者情報は、監視カメラシステムを構成する全ての監視視野範囲に設置された監視装置及び携帯端末に送信されるので、不審者情報の情報転送量も多くなり、受信側の監視装置における処理負荷も増加するという問題もあった。
本発明は、上述した従来の状況に鑑みて案出され、人物を特定する精度の高い情報と人物を特定する精度の低い情報とを用いて、簡易な構成で処理負荷の増大を抑制して特定の人物の居場所を予測する人物追尾システム及び人物追尾方法を提供することを目的とする。
本発明は、特定の人物に関する顔画像を記憶する記憶装置と、人物の顔及び外見特徴の検出機能を有する少なくとも1つの第1検出カメラと、人物の外見特徴の検出機能を有する少なくとも1つの第2検出カメラと、前記第1検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶される前記特定の人物に関する顔画像とを照合する照合装置と、前記少なくとも1つの第1検出カメラと前記少なくとも1つの第2検出カメラとのグルーピング情報を有する指示装置と、を備え、前記照合装置は、前記第1検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信し、前記指示装置は、前記照合装置から送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第1検出カメラに対応付けてグルーピングされた前記少なくとも1つの第2検出カメラに指示し、前記第1検出カメラに対応付けてグルーピングされたいずれかの前記第2検出カメラは、前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信する、人物追尾システムである。
また、本発明は、特定の人物に関する顔画像を記憶装置に記憶するステップと、人物の顔及び外見特徴の検出機能を有する少なくとも1つの第1検出カメラと人物の外見特徴の検出機能を有する少なくとも1つの第2検出カメラとのグルーピング情報を指示装置において記憶するステップと、前記第1検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶された前記特定の人物に関する顔画像とを照合するステップと、前記第1検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信するステップと、送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第1検出カメラに対応付けてグルーピングされた前記少なくとも1つの第2検出カメラに指示するステップと、前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信するステップと、を有する、人物追尾方法である。
本発明によれば、人物を特定する精度の低い情報も集めて、特定の人物の居場所を予測できる。
本実施形態の監視カメラシステムの概略構成の一例を示す図 本実施形態の監視カメラシステムのハードウェア構成の一例を示すブロック図 特定人物顔情報DBに登録された顔画像データの一例を示す図 グルーピング情報登録部の登録内容の一例を示すテーブル (A)マップモニタの初期画面の一例を示す図、(B)ライブモニタの初期画面の一例を示す図 本実施形態の監視カメラシステムの監視動作の一例を示すシーケンス図 (A)捜索者Xを発見した場合の捜索者Xの顔画像の一例を示す図、(B)捜索者Xを発見した場合のマップモニタの画面の一例を示す図、(C)捜索者Xを発見した場合のライブモニタの画面の一例を示す図 (A)図7(A)に続くマップモニタの画面の一例を示す図、(B)図7(B)に続くライブモニタの画面の一例を示す図 (A)図8(A)に続くマップモニタの画面の一例を示す図、(B)図8(B)に続くライブモニタの画面の一例を示す図 (A)捜索者Xを再び発見した場合のマップモニタの画面の一例を示す図、(B)捜索者Xを再び発見した場合のライブモニタの画面の一例を示す図 (A)監視者がライブモニタ38を見て捜索者Xを発見した場合のマップモニタの画面の一例を示す図、(B)監視者がライブモニタ38を見て捜索者Xを発見した場合のライブモニタの画面の一例を示す図 本実施形態の変形例の監視カメラシステムのハードウェア構成の一例を示す図
以下、本発明に係る人物追尾システム及び人物追尾方法を具体的に開示した実施形態(以下、「本実施形態」という)について、図面を参照して説明する。本実施形態の人物追尾システムは、例えば複数の監視カメラを用いた監視カメラシステムに適用される。
図1は、本実施形態の監視カメラシステム10の概略構成の一例を示す図である。監視カメラシステム10は、顔照合サーバ20、追跡クライアント30、スイッチングハブ40及び複数の監視カメラ51〜56を有する。
顔照合サーバ20(照合装置)は、監視カメラ51,56から送信された顔画像のサムネイルと予め登録された顔画像とを照合し、照合の結果、一致する場合、該当する人物等の情報を追跡クライアント30に送信する。追跡クライアント30に送信される情報には、監視カメラ51,56において検出された人物の顔画像のサムネイル、照合の結果として得られた監視カメラの識別番号(以下、「カメラ番号」という)及び人物の外見的特徴情報が含まれる。外見的特徴として、例えば服装の色若しくは形状、持ち物の形状、服に付されたロゴ(ブランド名称)等が挙げられる。
追跡クライアント30(指示装置)は、顔照合サーバ20で照合した結果、顔画像が一致していることが通知されると、他の監視カメラ(例えば監視カメラ52,53,54,55)に外見的特徴情報を送信する。
監視カメラ51〜56は、各監視対象エリアを撮像し、それぞれ撮像画像を映像として出力する。監視カメラ51,56は、人物の顔画像及び外見的特徴の検知機能を有し、撮像画像に含まれる顔画像を検出し、その顔画像のサムネイル及び外見的特徴情報を顔照合サーバ20に送信する。その他の監視カメラ52,53,54,55は、顔検出機能を有しておらず、外見的特徴の検知機能のみを有し、撮像画像に含まれる外見的特徴を検出した場合、カメラ番号を追跡クライアント30に通知する。なお、監視カメラ51〜56は、全方位カメラでもよいし、パン・チルト・ズーム可能なPTZカメラでもよいし、撮影画角が固定された固定カメラでもよい。
以後、説明の都合上、監視カメラ51を「Cam−A」と称する。同様に、監視カメラ52,53,54,55,56をそれぞれ「Cam−B」,「Cam−C」,「Cam−D」,「Cam−E」,「Cam−F」と称する。
スイッチングハブ40は、Cam−A〜Cam−Fの通信回線を集線し、Cam−A〜Cam−Fと、顔照合サーバ20又は追跡クライアント30との通信の接続を制御する。
図2は、本実施形態の監視カメラシステム10のハードウェア構成の一例を示すブロック図である。顔照合サーバ20は、特徴データ取得部21、顔照合部22、特定人物顔情報DB(データベース)23及びデータ送信部24を有する。
特徴データ取得部21は、Cam−A又はCam−F(第1検出カメラ)で撮像された撮像画像に含まれる顔画像のサムネイル及び外見的特徴のデータを取得する。
顔照合部22は、特徴データ取得部21で取得された顔画像のサムネイルと、特定人物顔情報DB23に登録された顔画像とを照合し、この照合の結果とカメラ番号をデータ送信部24に送出する。
データ送信部24は、照合の結果、顔画像が一致していると判定された場合、この照合結果、カメラ番号(「Cam No」とも称する)、及び特徴データ取得部21で取得された顔画像のサムネイルと外見的特徴情報とを、追跡クライアント30に送信する。
特定人物顔情報DB23(記憶装置)は、不審者等の特定人物の顔画像データを登録している。図3は、特定人物顔情報DB23に登録された顔画像データの一例を示す図である。この特定人物顔情報DB23には、後述する捜索者Xの顔画像231も含まれている。
追跡クライアント30は、映像受信部31、データ受信部32、制御部37、グルーピング情報登録部33、送信部34、映像出力部35及びマップ出力部36を有する。
映像受信部31は、Cam−A〜Cam−Fで撮像された撮像画像を全て受信し、映像出力部35にそのまま出力する。
データ受信部32は、顔照合サーバ20から送信された情報(照合の結果、カメラ番号、外見的特徴情報及び顔画像のサムネイルを含む)、及びCam−B〜Cam−E(第2検出カメラ)から送信された情報(ここでは、外見的特徴を検出したことを表すカメラ番号)を受信する。
制御部37は、データ受信部32で受信した照合の結果が一致である場合、グルーピング情報登録部33にカメラ番号を送信し、このカメラ番号と連携している(グル―ピングされている)カメラ番号を取得する。制御部37は、連携しているカメラ番号の監視カメラに対し、送信部34に外見的特徴情報を送信する指示を行う。制御部37は、映像出力部35に対し、多画面表示を指示し、また、マップ出力部36に対し、カメラ番号を送信し、マップモニタ39に表示されるマップ画像上のカメラアイコンを点滅させる等の表示を指示する。
送信部34は、制御部37からの指示に従い、連携しているカメラ番号の監視カメラに対し、外見的特徴情報を送信する。
グルーピング情報登録部33には、監視カメラ毎に設定された監視カメラのグルーピング情報が登録されている。図4は、グルーピング情報登録部33の登録内容の一例を示すテーブルである。ここでは、隣接している監視カメラがグルーピングとして設定される。例えば、Cam−Aに対し、隣接しているCam−Bが設定される。Cam−Bに対し、隣接しているCam−A、Cam−C、Cam−Dが設定される。Cam−Cに対し、隣接しているCam−B、Cam−Fが設定される。Cam−Dに対し、隣接しているCam−B、Cam−C、Cam−Eが設定される。Cam−Eに対し、隣接しているCam−Dが設定される。Cam−Fに対し、隣接しているCam−Cが設定される。
なお、ここでは、隣接している1台の監視カメラをグルーピングに含めるように設定したが、グルーピングの設定の仕方はこれに限られない。例えば直接隣接していないが、同じ通路に1台以上離れて設置された監視カメラをグルーピングに設定してもよい。これにより、隣接している監視カメラよりも、捜索者Xを発見しやすい位置にあると考えられる監視カメラを設定することもできる。また、対象の監視カメラから一定の距離の範囲にある監視カメラを全てグルーピングに設定することも可能である。これにより、捜索者Xの移動する距離を考慮した監視が可能である。
映像出力部35は、追跡クライアント30の筐体の外部に設けられたライブモニタ38に接続され、制御部37からの指示に従い、Cam−A〜Cam−Fで撮像された撮像画像(映像)を多画面でライブモニタ38(第1表示装置)に表示させる。ライブモニタ38は、例えば64チャンネルまで画面分割して、各撮像画像を表示可能である。
マップ出力部36は、ライブモニタ38と同様、追跡クライアント30の筐体の外部に設けられたマップモニタ39に接続され、制御部37からの指示に従い、Cam−A〜Cam−Fが設置された施設の地図情報(マップ画像)をマップモニタ39(第2表示装置)に表示させる。マップモニタ39は、Cam−A〜Cam−Fのカメラアイコンが描かれたマップ画像を画面に表示する。
上述した構成を有する監視カメラシステム10の動作を示す。
監視カメラシステム10を起動させると、マップモニタ39及びライブモニタ38はそれぞれ初期画面を表示する。図5(A)は、マップモニタ39の初期画面の一例を示す図である。マップモニタ39の初期画面には、Cam−A〜Cam−Fが設置されていることを表すカメラアイコン51i〜56iが施設のマップ画像61上に重なるように表示される。初期画面では、全てのカメラアイコン51i〜56iはデフォルト表示となっている。図5(B)は、ライブモニタ38の初期画面の一例を示す図である。ライブモニタ38の初期画面では、施設の入口に設置されているCam−Aで撮像された撮像画像(映像)が一画面として広範囲に表示される。また、画面の下部には、カメラ番号(ここでは、Cam−A)が表示される。
図6は、本実施形態の監視カメラシステム10の監視動作の一例を示すシーケンス図である。全てのCam−A〜Cam−Fは、リアルタイムで撮像し、各々の撮像画像のデータを追跡クライアント30に常時送信している。また、Cam−A及びCam−Fは、前述したように、撮像画像に含まれる顔画像を検出すると、顔画像のサムネイル、カメラ番号及び外見的特徴情報を顔照合サーバ20に送信可能な監視カメラである。
まず、施設の入口に設置されたCam−Aは、リアルタイムで撮像している画像に顔画像が含まれていることを検出すると、顔画像のサムネイル、カメラ番号及び外見的特徴情報を顔照合サーバ20に送信する(T1)。
顔照合サーバ20は、Cam−Aから受信したサムネイルの顔画像と、特定人物顔情報DB23に登録されている顔画像とが一致すると(T2)、追跡クライアント30にカメラ番号、外見的特徴情報、照合の結果、及び顔画像のサムネイルを送信する(T3)。ここでは、照合の結果、サムネイルの顔画像が特定人物顔情報DB23に登録されている捜索者Xの顔画像231と一致した場合を示す。図7(A)〜(C)は、捜索者Xを発見した場合の監視動作を説明する図である。図7(A)は、捜索者Xを発見した場合の特定人物顔情報DB23に登録された捜索者Xの顔画像231の一例を示す図である。
追跡クライアント30は、グルーピング情報登録部33を参照し、Cam−Aと連携しているCam−Bに対し、外見的特徴情報を送信する(T4)。また、追跡クライアント30は、ライブモニタ38に対し、Cam−A及びCam−Bで撮像された画像を対比可能に多画面表示で出力する(T5)。図7(C)は、捜索者Xを発見した場合のライブモニタ38の画面の一例を示す図である。これにより、監視カメラシステム10は、Cam−Aで撮像された、捜索者Xが映っている画像をライブモニタ38に表示させるので、監視者に対して視覚的に捜索者Xの発見を確認させることができる。
ライブモニタ38は、Cam−A及びCam−Bで撮像された画像にカメラ番号を付けて各画面に表示するとともに、Cam−Aで捜索者Xを発見したことを表す発見情報として、Cam−Aのカメラ番号を点滅表示させる。これにより、監視者は、ライブモニタ38のどの画面に捜索者Xが発見された可能性があって捜索者Xが映っているのかを、顔画像が検出されたCam−Aにより撮像された画像と比べながら即座に知ることができる。
また、追跡クライアント30は、マップモニタ39に表示されたマップ画像61上のCam−Aのカメラアイコン51iを点滅させるとともに、Cam−Aと連携しているCam−Bのカメラアイコン52iを別の色で表示する(T6)。図7(B)は、捜索者Xを発見した場合のマップモニタ39の画面の一例を示す図である。捜索者Xを発見したCam−Aのカメラアイコン51iを点滅させて他のカメラアイコンと識別可能にすることで、どの監視カメラで捜索者Xを撮像したかが即座に把握できる。
また、Cam−Aに対応付けてグルーピングされたCam−Bのカメラアイコン52iを他のカメラアイコンとは別の色で表示することで、次に捜索者Xが発見される可能性が高い監視カメラの位置を把握できる。
Cam−Bは、撮像画像に含まれる外見的特徴を検出すると(T7)、捜索者Xを発見した可能性があるとして、追跡クライアント30にカメラ番号を通知する(T8)。図8(A),(B)は、図7に続く監視動作を説明する図である。追跡クライアント30は、グルーピング情報登録部33を参照し、Cam−Bと連携しているCam−C、Cam−Dに対し、外見的特徴情報を送信する(T9)。この時、Cam−Aは外見的特徴情報を持っているので、Cam−Aには、外見的特徴情報は送信されない。また、追跡クライアント30は、ライブモニタ38に対し、Cam−A、Cam−B、Cam−C及びCam−Dで撮像された画像を多画面表示で出力する(T10)。図8(B)は、図7(B)に続くライブモニタ38の画面の一例を示す図である。Cam−Bの画面に含まれる外見的特徴を有する人物には、発見仮情報として、疑わしい人物であることを表す「?」のマークが近接して表示されている。
追跡クライアント30は、マップモニタ39に表示されたマップ画像61上のCam−Bのカメラアイコン52iを点滅させるとともに、Cam−A、Cam−B間を点線で表示し、連携しているCam−Aのカメラアイコン51i、Cam−Cのカメラアイコン53i及びCam−Dのカメラアイコン54iを別の色で表示する(T11)。Cam−A、Cam−B間の軌跡64Aを点線で表示することで、この軌跡64Aは、捜索者Xが通過したと予測される想定情報であることが分かる。図8(A)は、図7(A)に続くマップモニタ39の画面の一例を示す図である。
Cam−Dは、撮像画像に含まれる外見的特徴を検出すると(T12)、捜索者Xを発見した可能性があるとして、追跡クライアント30にカメラ番号を通知する(T13)。図9(A),(B)は、図8(A),(B)に続く監視動作を説明する図である。追跡クライアント30は、グルーピング情報登録部33を参照し、Cam−Dと連携しているCam−B、Cam−C、Cam−Eに対し、外見的特徴情報を送信する(T14)。また、追跡クライアント30は、ライブモニタ38に対し、Cam−B、Cam−C、Cam−D及びCam−Eで撮像された画像を多画面表示で出力する(T15)。図9(B)は、図8(B)に続くライブモニタ38の画面を示す。
追跡クライアント30は、マップモニタ39に表示されたマップ画像61上のCam−Dのカメラアイコン52iを点滅させるとともに、Cam−A、Cam−B間に続いて、Cam−B、Cam−D間の軌跡(第1軌跡)64Bを点線で表示し、連携しているCam−Bのカメラアイコン52i、Cam−Cのカメラアイコン53i及びCam−Eのカメラアイコン55iを別の色で表示する(T16)。点線で表されたCam−A、Cam−B、Cam−D間の軌跡64Bは、捜索者Xが通過したと予測される想定情報であることが分かる。図9(A)は、図8(A)に続くマップモニタ39の画面の一例を示す図である。
この後、Cam−Fは、撮像画像に含まれる顔画像を検出すると、顔画像のサムネイル、カメラ番号及び外見的特徴情報を顔照合サーバ20に送信する(T17)。
顔照合サーバ20は、Cam−Fから受信したサムネイルの顔画像と、特定人物顔情報DB23に登録されている顔画像とが一致すると(T18)、追跡クライアント30にカメラ番号と外見的特徴情報を送信する(T19)。ここでは、既に追跡されている捜索者Xの顔画像が一致したとする。図10(A),(B)は、捜索者Xを再び発見した場合の監視動作を説明する図である。
追跡クライアント30は、グルーピング情報登録部33を参照し、Cam−Fと連携しているCam−Cに対し、外見的特徴情報を送信する(T20)。また、追跡クライアント30は、ライブモニタ38に対し、Cam−F及びCam−Cで撮像された画像を多画面表示で出力する(T21)。図10(B)は、捜索者Xを再び発見した場合のライブモニタ38の画面の一例を示す図である。追跡クライアント30は、マップモニタ39に表示されたマップ画像61上のCam−Fのカメラアイコン56iを点滅させるとともに、Cam−A、Cam−F間の軌跡(第2軌跡)65を実線で表示し、連携しているCam−Cのカメラアイコン52iを別の色で表示する(T22)。図10(A)は、捜索者Xを再び発見した場合のマップモニタ39の画面の一例を示す図である。実線で表されたCam−A〜Cam−F間の軌跡65は、捜索者Xが通過したと確定される確定情報であることが分かる。この時、追跡クライアント30は、想定情報として、点線で表示されていたCam−A〜Cam−D間の軌跡64A、64Bを消去する。これにより、追跡クライアント30は、間違ったCam−A〜Cam−D間の軌跡64A、64Bをマップモニタ39において消去できるので、正確な捜索者Xの軌跡65を監視者に対して見せ易くできる。また、例えば捜索者Xが途中で服を着替えた場合でも、Cam−Fで検出された顔画像及び外見的特徴が追跡クライアント30に再び送信されるので、外見的特徴が更新されて、以後の追跡が可能となる。
このように、捜索者Xが通過したと考えられる不確かな想定情報と、捜索者Xが通過したことが確認された確認情報とを明確に区別することができ、操索者Xの位置が予測し易くなる。
また、追跡クライアント30は、Cam−Fで捜索者Xが発見された際、Cam−Aで発見されてからの捜索者Xの移動時間がCam−A及びCam−F間の距離から想定した時間と比べて長いと判断した場合、例えば、通常より1/3以下の歩行速度で移動した場合の移動時間であった場合、捜索者Xが寄り道をしている可能性が高いとして、CamF−A間の軌跡を、確定情報を表す実線でなく、想定情報を表す点線で表示する。これにより、監視者は、捜索者Xが寄り道をしているおそれがあり、この軌跡が正確でないかも知れないと判断できる。
図11(A),(B)は、監視者がライブモニタ38を見て捜索者Xを発見した場合の監視動作を説明する図である。図11(B)は、監視者がライブモニタ38を見て捜索者Xを発見した場合のライブモニタ38の画面の一例を示す図である。監視者は、ライブモニタ38を見ている際、捜索者Xを発見すると、追跡クライアント30に対し、発見したことを通知する操作を行う。例えば、ライブモニタ38がタッチパネルである場合、監視者がCam−Cの撮像画像が表示されている画面をタッチすることで、捜索者Xの発見情報(カメラ番号)が追跡クライアント30の制御部37に通知される。
図11(A)は、監視者がライブモニタ38を見て捜索者Xを発見した場合のマップモニタ39の画面の一例を示す図である。追跡クライアント30は、マップモニタ39に表示されたマップ画像61上のCam−Cのカメラアイコン53iを点滅させるとともに、Cam−A〜Cam−C間の軌跡66を実線で表示し、Cam−Cと連携しているCam−Bのカメラアイコン52i、Cam−Fのカメラアイコン56iを別の色で表示する。
この監視カメラシステム10では、Cam−A或いはCam−Fで顔検出が行われ、顔画像の照合の結果、特定人物の顔画像と一致している場合、追跡クライアント30から、Cam−A或いはCam−Fに対応付けてグルーピングされた、他のCam−B〜Cam−Eに外見的特徴情報が送信される。他のCam−B〜Cam−Eは、外見的特徴情報を検出すると、人物発見情報(カメラ番号)を追跡クライアント30に送信する。
これにより、全ての監視カメラが顔検出機能を有していなくても、つまり、外見的特徴検出機能のみを有した、比較的安価な監視カメラであっても、追跡クライアントは、服装の色等の外見的特徴情報を用いて、多くの人物発見情報を取得することができ、捜索者Xを追跡できる。
従って、監視カメラシステム10は、人物を特定する精度の高い情報(例えば顔画像)だけでなく、人物を特定する精度の低い情報(例えば外見的特徴)も集めて、特定の人物の居場所を高精度に予測できる。これにより、追尾の精度が向上する。また、特定人物の顔画像或いは外見的特徴を検出した監視カメラに対応付けてグルーピングされている監視カメラにだけ、外見的特徴情報を送信することで、グルーピングされていない他の監視カメラに余計な負荷をかけなくて済む。
(本実施形態の変形例)
図12は、本実施形態の変形例の監視カメラシステム10Aのハードウェア構成の一例を示す図である。本実施形態の変形例の監視カメラシステム10Aは、上述した本実施形態とほぼ同一の構成を有する。上述した本実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。
この監視カメラシステム10Aでは、監視カメラ51A(「Cam−A1」と称する)は、顔検出機能の他、前述した顔照合サーバ20が持つ顔照合サーバ機能を有する。つまり、Cam−A1の筐体51zに顔照合サーバ20Aが収容される。また、Cam−Fは、顔検出機能を有し、顔照合サーバ機能を有しない。その他のCam−B〜Cam−Eは前述した通りである。
この監視カメラシステム10Aは、検出された顔画像と予め登録された特定の人物の顔画像との照合を、Cam−A1が行う点を除き、前述した追跡動作と同様の動作を行う。
このように、Cam−A1が顔照合サーバ機能を有することで、監視カメラシステム10Aの構成を簡素化できる。
以上、図面を参照しながら実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、ライブモニタ38で表示される多画面のうち、現在発見された監視カメラの画像を識別可能に表示するとともに、直前に発見した監視カメラの画像を別の枠で強調表示してもよい。これにより、直前に発見した監視カメラを容易に識別できる。また、直前に発見した監視カメラの画像を一画面として拡大して表示してもよい。また、今まで外見的特徴を検出した監視カメラの画像を多画面で表示してもよい。これにより、捜索者の軌跡を監視カメラにより撮像された画面を見ながら確認できる。
また、追跡クライアントに顔照合サーバの機能を搭載してもよく、同様に監視カメラシステムの構成を簡素化できる。
以下に、本発明に係る人物追尾システム及び人物追尾方法の構成、作用、効果について列挙する。
本発明の一実施形態は、特定の人物に関する顔画像を記憶する記憶装置と、人物の顔及び外見特徴の検出機能を有する少なくとも1つの第1検出カメラと、人物の外見特徴の検出機能を有する少なくとも1つの第2検出カメラと、前記第1検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶される前記特定の人物に関する顔画像とを照合する照合装置と、前記少なくとも1つの第1検出カメラと前記少なくとも1つの第2検出カメラとのグルーピング情報を有する指示装置と、を備え、前記照合装置は、前記第1検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信し、前記指示装置は、前記照合装置から送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第1検出カメラに対応付けてグルーピングされた前記少なくとも1つの第2検出カメラに指示し、前記第1検出カメラに対応付けてグルーピングされたいずれかの前記第2検出カメラは、前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信する、人物追尾システムである。
この人物追尾システムでは、照合装置は、第1検出カメラにより検出された人物の顔画像が特定の人物に関する顔画像であると判断された場合に、特定の人物に関する外見特徴情報を含む人物特徴情報を指示装置に送信し、指示装置は、照合装置から送信された人物特徴情報に含まれる外見特徴情報の検出を、第1検出カメラに対応付けてグルーピングされた少なくとも1つの第2検出カメラに指示し、第1検出カメラに対応付けてグルーピングされたいずれかの第2検出カメラは、指示装置から送信された外見特徴情報を検出した外見特徴検出情報を前記指示装置に送信する。
これにより、人物追尾システムは、人物を特定する精度の高い情報(例えば顔)だけでなく人物を特定する精度の低い情報(例えば服装や持ち物などの外見特徴)も用いることで、処理負荷の高い人物の顔画像の検出機能は一部のカメラ(第1検出カメラ)に有し、処理負荷の低い人物の外見特徴の検出機能は全てのカメラ(第1検出カメラ及び第2検出カメラ)に有するので処理負荷の増大を抑制でき、特定の人物の居場所を高精度に予測でき、追尾の精度を向上できる。
また、本発明の一実施形態は、前記第1検出カメラに対応付けてグルーピングされたいずれかの前記第2検出カメラにおいて前記外見特徴情報が検出された場合に、前記特定の人物の発見仮情報を表示する第1表示装置、を更に備える、人物追尾システムである。
これにより、人物追尾システムは、特定人物が発見された可能性のある発見仮情報を、ユーザである監視者に対して視覚的に確認させることができる。
また、本発明の一実施形態は、前記第1表示装置は、前記第1検出カメラで撮像された画像及び前記第2検出カメラで撮像された画像を対比可能に表示し、更に、前記第2検出カメラで撮像された画像に前記特定の人物の発見仮情報を表示する、人物追尾システムである。
これにより、監視者は、第1表示装置のどの画面に特定の人物が発見された可能性があって特定の人物が映っているのかを、顔画像が検出された第1検出カメラにより撮像された画像と比べながら即座に知ることができる。
また、本発明の一実施形態は、前記第1検出カメラ及び前記第2検出カメラが設置されたエリアの地図情報を表示する第2表示装置、を更に備え、前記第2表示装置は、前記第1検出カメラを示す第1アイコンと前記第2検出カメラを示す第2アイコンとを前記地図情報に表示し、前記第1検出カメラが前記特定の人物の顔画像を検出した場合に前記第1のアイコンを前記第1アイコンに対する他アイコンと識別可能に表示し、前記第2検出カメラが前記外見特徴情報を検出した場合に前記第2アイコンを前記第2アイコンに対する他アイコンと識別可能に表示する、人物追尾システムである。
これにより、人物追尾システムは、特定の人物の顔画像を検出した(つまり、特定の人物を発見した)第1検出カメラを示す第1アイコンを他のアイコンと識別可能にすることで、監視者に、どの第1検出カメラで特定の人物が検出されたかを即座に把握させることができる。
また、本発明の一実施形態は、前記第2表示装置は、前記第1検出カメラが前記特定の人物の顔画像を検出した場合に前記第1アイコンを前記第1アイコンに対する他アイコンと識別可能に表示し、更に、前記第1検出カメラに対応付けてグル―ピングされた、他の前記第1検出カメラの第1アイコン及び前記第2検出カメラの第2アイコンを前記第1アイコン及び前記第2アイコンに対する他アイコンと識別可能に表示する、人物追尾システムである。
これにより、人物追尾システムは、次に特定の人物が発見される可能性が高い検出カメラの位置を、監視者に容易に把握させることができる。
また、本発明の一実施形態は、前記第2表示装置は、前記第2検出カメラが前記外見特徴情報を検出した場合に、想定情報として前記特定の人物の第1軌跡を前記地図情報に表示し、前記第1検出カメラが前記特定の人物の顔画像を検出した場合に、確定情報として前記特定の人物の第2軌跡を前記第1軌跡と異なる態様で前記地図情報に表示する、人物追尾システムである。
これにより、人物追尾システムは、特定の人物が通過した可能性があると考えられる不確かな想定情報と、特定の人物が通過したことが適正に確認された確定情報とを明確に区別することができ、特定の人物の位置を予測し易くすることができる。
また、本発明の一実施形態は、前記第2表示装置は、前記特定の人物の第1軌跡を前記地図情報に表示した後、前記特定の人物の第2軌跡を表示する場合に前記第1軌跡を消去する、人物追尾システムである。
これにより、人物追尾システムは、特定の人物が通過した可能性があると考えられる不確かな第1軌跡を第2表示装置において消去するので、特定の人物が通過したことが適正に確認された正確な第2軌跡を監視者に対して見せ易くすることができる。
また、本発明の一実施形態は、前記第2表示装置は、前記第1検出カメラにより検出された前記特定の人物の移動時間が所定の想定時間より長い場合に、前記想定情報として前記特定の人物の第1軌跡を表示する、人物追尾システムである。
これにより、監視者は、特定の人物が寄り道をしているおそれがあり、第1軌跡が正確でないかも知れないと容易に判断できる。
また、本発明の一実施形態は、前記第1検出カメラと前記照合装置とが同一の筐体に収容された、人物追尾システムである。
これにより、人物追尾システムの構成を簡素化できる。
また、本発明の一実施形態は、特定の人物に関する顔画像を記憶装置に記憶するステップと、人物の顔及び外見特徴の検出機能を有する少なくとも1つの第1検出カメラと人物の外見特徴の検出機能を有する少なくとも1つの第2検出カメラとのグルーピング情報を指示装置において記憶するステップと、前記第1検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶された前記特定の人物に関する顔画像とを照合するステップと、前記第1検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信するステップと、送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第1検出カメラに対応付けてグルーピングされた前記少なくとも1つの第2検出カメラに指示するステップと、前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信するステップと、を有する、人物追尾方法である。
これにより、人物追尾システムは、人物を特定する精度の高い情報(例えば顔)だけでなく人物を特定する精度の低い情報(例えば服装や持ち物などの外見特徴)も用いることで、処理負荷の高い人物の顔画像の検出機能は一部のカメラ(第1検出カメラ)に有し、処理負荷の低い人物の外見特徴の検出機能は全てのカメラ(第1検出カメラ及び第2検出カメラ)に有するので処理負荷の増大を抑制でき、特定の人物の居場所を高精度に予測でき、追尾の精度を向上できる。
本発明は、人物を特定する精度の高い情報と人物を特定する精度の低い情報とを用いて、簡易な構成で処理負荷の増大を抑制して特定の人物の居場所を予測する人物追尾システム及び人物追尾方法として有用である。
10 監視カメラシステム
20、20A 顔照合サーバ
21 特徴データ取得部
22 顔照合部
23 特定人物顔情報DB
24 データ送信部
30 追跡クライアント
31 映像受信部
32 データ受信部
33 グルーピング情報登録部
34 送信部
35 映像出力部
36 マップ出力部
37 制御部
38 ライブモニタ
39 マップモニタ
40 スイッチングハブ
51〜56、51A 監視カメラ
51i〜56i カメラアイコン
51z 筐体
61 マップ画像
64A、64B、65、66 軌跡
231 顔画像

Claims (10)

  1. 特定の人物に関する顔画像を記憶する記憶装置と、
    人物の顔及び外見特徴の検出機能を有する少なくとも1つの第1検出カメラと、
    人物の外見特徴の検出機能を有する少なくとも1つの第2検出カメラと、
    前記第1検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶される前記特定の人物に関する顔画像とを照合する照合装置と、
    前記少なくとも1つの第1検出カメラと前記少なくとも1つの第2検出カメラとのグルーピング情報を有する指示装置と、を備え、
    前記照合装置は、前記第1検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信し、
    前記指示装置は、前記照合装置から送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第1検出カメラに対応付けてグルーピングされた前記少なくとも1つの第2検出カメラに指示し、
    前記第1検出カメラに対応付けてグルーピングされたいずれかの前記第2検出カメラは、前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信する、
    人物追尾システム。
  2. 請求項1に記載の人物追尾システムであって、
    前記第1検出カメラに対応付けてグルーピングされたいずれかの前記第2検出カメラにおいて前記外見特徴情報が検出された場合に、前記特定の人物の発見仮情報を表示する第1表示装置、を更に備える、
    人物追尾システム。
  3. 請求項2に記載の人物追尾システムであって、
    前記第1表示装置は、前記第1検出カメラで撮像された画像及び前記第2検出カメラで撮像された画像を対比可能に表示し、更に、前記第2検出カメラで撮像された画像に前記特定の人物の発見仮情報を表示する、
    人物追尾システム。
  4. 請求項1に記載の人物追尾システムであって、
    前記第1検出カメラ及び前記第2検出カメラが設置されたエリアの地図情報を表示する第2表示装置、を更に備え、
    前記第2表示装置は、前記第1検出カメラを示す第1アイコンと前記第2検出カメラを示す第2アイコンとを前記地図情報に表示し、前記第1検出カメラが前記特定の人物の顔画像を検出した場合に前記第1アイコンを前記第1アイコンに対する他アイコンと識別可能に表示し、前記第2検出カメラが前記外見特徴情報を検出した場合に前記第2アイコンを前記第2アイコンに対する他アイコンと識別可能に表示する、
    人物追尾システム。
  5. 請求項4に記載の人物追尾システムであって、
    前記第2表示装置は、前記第1検出カメラが前記特定の人物の顔画像を検出した場合に前記第1アイコンを前記第1アイコンに対する他アイコンと識別可能に表示し、更に、前記第1検出カメラに対応付けてグル―ピングされた、他の前記第1検出カメラの第1アイコン及び前記第2検出カメラの第2アイコンを前記第1アイコン及び前記第2アイコンに対する他アイコンと識別可能に表示する、
    人物追尾システム。
  6. 請求項4に記載の人物追尾システムであって、
    前記第2表示装置は、前記第2検出カメラが前記外見特徴情報を検出した場合に、想定情報として前記特定の人物の第1軌跡を前記地図情報に表示し、前記第1検出カメラが前記特定の人物の顔画像を検出した場合に、確定情報として前記特定の人物の第2軌跡を前記第1軌跡と異なる態様で前記地図情報に表示する、
    人物追尾システム。
  7. 請求項6に記載の人物追尾システムであって、
    前記第2表示装置は、前記特定の人物の第1軌跡を前記地図情報に表示した後、前記特定の人物の第2軌跡を表示する場合に前記第1軌跡を消去する、
    人物追尾システム。
  8. 請求項6に記載の人物追尾システムであって、
    前記第2表示装置は、前記第1検出カメラにより検出された前記特定の人物の移動時間が所定の想定時間より長い場合に、前記想定情報として前記特定の人物の第1軌跡を表示する、
    人物追尾システム。
  9. 請求項1に記載の人物追尾システムであって、
    前記第1検出カメラと前記照合装置とが同一の筐体に収容された、
    人物追尾システム。
  10. 特定の人物に関する顔画像を記憶装置に記憶するステップと、
    人物の顔及び外見特徴の検出機能を有する少なくとも1つの第1検出カメラと人物の外見特徴の検出機能を有する少なくとも1つの第2検出カメラとのグルーピング情報を指示装置において記憶するステップと、
    前記第1検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶された前記特定の人物に関する顔画像とを照合するステップと、
    前記第1検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信するステップと、
    送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第1検出カメラに対応付けてグルーピングされた前記少なくとも1つの第2検出カメラに指示するステップと、
    前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信するステップと、を有する、
    人物追尾方法。
JP2015002385A 2015-01-08 2015-01-08 人物追尾システム及び人物追尾方法 Active JP6128468B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015002385A JP6128468B2 (ja) 2015-01-08 2015-01-08 人物追尾システム及び人物追尾方法
PCT/JP2015/006290 WO2016110903A1 (ja) 2015-01-08 2015-12-17 人物追尾システム及び人物追尾方法
US15/540,544 US10592730B2 (en) 2015-01-08 2015-12-17 Person tracking system and person tracking method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015002385A JP6128468B2 (ja) 2015-01-08 2015-01-08 人物追尾システム及び人物追尾方法

Publications (2)

Publication Number Publication Date
JP2016127563A true JP2016127563A (ja) 2016-07-11
JP6128468B2 JP6128468B2 (ja) 2017-05-17

Family

ID=56355633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015002385A Active JP6128468B2 (ja) 2015-01-08 2015-01-08 人物追尾システム及び人物追尾方法

Country Status (3)

Country Link
US (1) US10592730B2 (ja)
JP (1) JP6128468B2 (ja)
WO (1) WO2016110903A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180040A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 映像処理装置、映像解析システム、方法およびプログラム
JP2020178167A (ja) * 2019-04-15 2020-10-29 パナソニックi−PROセンシングソリューションズ株式会社 人物監視システムおよび人物監視方法
US10997398B2 (en) 2018-09-27 2021-05-04 Canon Kabushiki Kaisha Information processing apparatus, authentication system, method of controlling same, and medium
JP2021132378A (ja) * 2017-04-28 2021-09-09 ホーチキ株式会社 連携監視設備
JPWO2020115890A1 (ja) * 2018-12-07 2021-10-28 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
WO2022190652A1 (ja) * 2021-03-09 2022-09-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、追跡システム、および撮像方法
KR102618508B1 (ko) * 2022-09-01 2023-12-27 인빅 주식회사 엣지 cctv를 이용한 객체 탐지 및 추적 시스템과 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10146797B2 (en) * 2015-05-29 2018-12-04 Accenture Global Services Limited Face recognition image data cache
JP6700791B2 (ja) * 2016-01-05 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10824878B2 (en) * 2016-03-08 2020-11-03 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
US10769828B2 (en) * 2017-07-13 2020-09-08 Nimai C. Malle Automated photo collages
CA3117239A1 (en) * 2018-11-06 2020-05-14 Avigilon Coporation Method and system for displaying video streams
WO2020115910A1 (ja) * 2018-12-07 2020-06-11 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
WO2021152837A1 (ja) * 2020-01-31 2021-08-05 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
US11468576B2 (en) * 2020-02-21 2022-10-11 Nec Corporation Tracking within and across facilities
CN111476183A (zh) * 2020-04-13 2020-07-31 腾讯科技(深圳)有限公司 客流信息处理方法及装置
US20230300296A1 (en) * 2020-06-10 2023-09-21 Maxell, Ltd. Watching monitoring device and watching monitoring method
US20230267727A1 (en) * 2020-07-20 2023-08-24 Nec Corporation Image analysis apparatus, image analysis method, and storage medium
JP7482011B2 (ja) * 2020-12-04 2024-05-13 株式会社東芝 情報処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146323A (ja) * 2004-11-16 2006-06-08 Matsushita Electric Ind Co Ltd 顔特徴照合装置、顔特徴照合方法、及びプログラム
JP2008219570A (ja) * 2007-03-06 2008-09-18 Matsushita Electric Ind Co Ltd カメラ間連結関係情報生成装置
JP2013247586A (ja) * 2012-05-28 2013-12-09 Fujitsu Ltd 位置関係判定プログラム、位置関係判定方法および位置関係判定装置
JP5500303B1 (ja) * 2013-10-08 2014-05-21 オムロン株式会社 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5500303A (en) * 1992-09-24 1996-03-19 The Pillsbury Company Package having improved barrier properties
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7664292B2 (en) * 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
EP1867167A4 (en) * 2005-04-03 2009-05-06 Nice Systems Ltd DEVICE AND METHOD FOR SEMI-AUTOMATIC TRACKING AND INVESTIGATION OF AN OBJECT OR EVENT AT A MONITORED LOCATION
US7806604B2 (en) * 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
RU2007102021A (ru) * 2007-01-19 2008-07-27 Корпораци "Самсунг Электроникс Ко., Лтд." (KR) Способ и система распознавания личности
JP4594945B2 (ja) * 2007-02-13 2010-12-08 株式会社東芝 人物検索装置および人物検索方法
JP4866754B2 (ja) * 2007-02-19 2012-02-01 パナソニック株式会社 行動履歴検索装置及び行動履歴検索方法
US8036425B2 (en) * 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
US8254633B1 (en) * 2009-04-21 2012-08-28 Videomining Corporation Method and system for finding correspondence between face camera views and behavior camera views
EP2397995B1 (en) * 2010-06-21 2014-08-20 Eldon Technology Limited Anti fare evasion system
US9134399B2 (en) * 2010-07-28 2015-09-15 International Business Machines Corporation Attribute-based person tracking across multiple cameras
US8848702B2 (en) * 2011-02-19 2014-09-30 Cisco Technology, Inc. Automated transitioning between different communication protocols in a network
US9922256B2 (en) * 2011-06-30 2018-03-20 Yale University Subject sensing in an environment
US9111147B2 (en) * 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
JP5894807B2 (ja) 2012-01-25 2016-03-30 株式会社日立国際電気 監視装置及び監視カメラシステム並びに映像送信方法
US9781336B2 (en) * 2012-01-30 2017-10-03 Panasonic Intellectual Property Management Co., Ltd. Optimum camera setting device and optimum camera setting method
JP5506990B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5438861B1 (ja) * 2013-07-11 2014-03-12 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US9453904B2 (en) * 2013-07-18 2016-09-27 Golba Llc Hybrid multi-camera based positioning
US9361775B2 (en) * 2013-09-25 2016-06-07 Oncam Global, Inc. Mobile terminal security systems
GB2519348B (en) * 2013-10-18 2021-04-14 Vision Semantics Ltd Visual data mining
WO2015081029A1 (en) * 2013-11-27 2015-06-04 Ultradent Products, Inc. Video interaction between physical locations
SG11201607547UA (en) * 2014-03-14 2016-11-29 Hitachi Int Electric Inc Video monitoring support apparatus, video monitoring support method, and storage medium
US9836756B2 (en) * 2015-06-24 2017-12-05 Intel Corporation Emotional engagement detector
US10198625B1 (en) * 2016-03-26 2019-02-05 Videomining Corporation Association of unique person to a mobile device using repeat face image matching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146323A (ja) * 2004-11-16 2006-06-08 Matsushita Electric Ind Co Ltd 顔特徴照合装置、顔特徴照合方法、及びプログラム
JP2008219570A (ja) * 2007-03-06 2008-09-18 Matsushita Electric Ind Co Ltd カメラ間連結関係情報生成装置
JP2013247586A (ja) * 2012-05-28 2013-12-09 Fujitsu Ltd 位置関係判定プログラム、位置関係判定方法および位置関係判定装置
JP5500303B1 (ja) * 2013-10-08 2014-05-21 オムロン株式会社 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846865B2 (en) 2017-03-31 2020-11-24 Nec Corporation Video image processing device, video image analysis system, method, and program
JPWO2018180040A1 (ja) * 2017-03-31 2019-12-19 日本電気株式会社 映像処理装置、映像解析システム、方法およびプログラム
WO2018180040A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 映像処理装置、映像解析システム、方法およびプログラム
JP7176036B2 (ja) 2017-04-28 2022-11-21 ホーチキ株式会社 連携監視設備
JP2021132378A (ja) * 2017-04-28 2021-09-09 ホーチキ株式会社 連携監視設備
US10997398B2 (en) 2018-09-27 2021-05-04 Canon Kabushiki Kaisha Information processing apparatus, authentication system, method of controlling same, and medium
JPWO2020115890A1 (ja) * 2018-12-07 2021-10-28 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JP7196932B2 (ja) 2018-12-07 2022-12-27 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US11847848B2 (en) 2018-12-07 2023-12-19 Nec Corporation Information processing apparatus, information processing method, and program
JP7032350B2 (ja) 2019-04-15 2022-03-08 パナソニックi-PROセンシングソリューションズ株式会社 人物監視システムおよび人物監視方法
JP2020178167A (ja) * 2019-04-15 2020-10-29 パナソニックi−PROセンシングソリューションズ株式会社 人物監視システムおよび人物監視方法
US11640726B2 (en) 2019-04-15 2023-05-02 i-PRO Co., Ltd. Person monitoring system and person monitoring method
WO2022190652A1 (ja) * 2021-03-09 2022-09-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、追跡システム、および撮像方法
KR102618508B1 (ko) * 2022-09-01 2023-12-27 인빅 주식회사 엣지 cctv를 이용한 객체 탐지 및 추적 시스템과 방법
WO2024048901A1 (ko) * 2022-09-01 2024-03-07 인빅 주식회사 엣지 cctv를 이용한 객체 탐지 및 추적 시스템과 방법

Also Published As

Publication number Publication date
US20170351906A1 (en) 2017-12-07
JP6128468B2 (ja) 2017-05-17
WO2016110903A1 (ja) 2016-07-14
US10592730B2 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
JP6128468B2 (ja) 人物追尾システム及び人物追尾方法
US11533436B2 (en) Monitoring system, monitoring method, and monitoring program
US9509900B2 (en) Camera control method, and camera control device for same
US9477891B2 (en) Surveillance system and method based on accumulated feature of object
US10200631B2 (en) Method for configuring a camera
CN110557603B (zh) 移动目标的监控方法、装置和可读存储介质
CN103873959A (zh) 一种控制方法和电子设备
US10896513B2 (en) Method and apparatus for surveillance using location-tracking imaging devices
KR101757884B1 (ko) 전장 상황 인식 기반 상황 정보 제공 장치 및 그 방법
CN104255022B (zh) 为相机添加虚拟变焦能力的服务器、客户终端、系统和可读介质
EP3462734A1 (en) Systems and methods for directly accessing video data streams and data between devices in a video surveillance system
KR101466132B1 (ko) 카메라 통합 관리 시스템 및 그 방법
KR101448727B1 (ko) 카메라 및 rfid를 이용한 실시간 위치 파악 시스템
CN111294732A (zh) 视频追踪方法和系统、存储介质
JP6979643B2 (ja) 監視映像表示システム、監視映像表示装置、監視情報管理サーバ、および、監視映像表示方法
JP2019091230A (ja) 車両監視システム、監視装置および情報共有方法
US11151730B2 (en) System and method for tracking moving objects
KR101448728B1 (ko) 카메라 및 rfid를 이용한 실시간 위치 파악 시스템
CN111862576A (zh) 追踪嫌疑目标的方法及相应的车辆、服务器、系统和介质
KR101535890B1 (ko) 텍스트 인식을 이용한 영상 감시 방법 및 그 장치
KR101604651B1 (ko) 영상 감시 장치 및 그 방법
KR101596142B1 (ko) 지리정보를 표시하는 위치추적 시스템
US20190392592A1 (en) Method and system for tracking an object of interest in a talkgroup
CN117671576A (zh) 一种识别危险目标的成像处理方法
CN116828287A (zh) 一种多机系统及其拍摄方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170331

R151 Written notification of patent or utility model registration

Ref document number: 6128468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250