JP2017139701A - 追跡支援装置、追跡支援システムおよび追跡支援方法 - Google Patents

追跡支援装置、追跡支援システムおよび追跡支援方法 Download PDF

Info

Publication number
JP2017139701A
JP2017139701A JP2016020891A JP2016020891A JP2017139701A JP 2017139701 A JP2017139701 A JP 2017139701A JP 2016020891 A JP2016020891 A JP 2016020891A JP 2016020891 A JP2016020891 A JP 2016020891A JP 2017139701 A JP2017139701 A JP 2017139701A
Authority
JP
Japan
Prior art keywords
video
tracking
person
displayed
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016020891A
Other languages
English (en)
Other versions
JP6284086B2 (ja
Inventor
園子 平澤
Sonoko Hirasawa
園子 平澤
藤松 健
Takeshi Fujimatsu
健 藤松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2016020891A priority Critical patent/JP6284086B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to GB1810666.6A priority patent/GB2562641B/en
Priority to US16/074,255 priority patent/US11335173B2/en
Priority to RU2018127847A priority patent/RU2691057C1/ru
Priority to DE112016006156.0T priority patent/DE112016006156T5/de
Priority to PCT/JP2016/004898 priority patent/WO2017134712A1/ja
Priority to CN201680080381.6A priority patent/CN108605115B/zh
Publication of JP2017139701A publication Critical patent/JP2017139701A/ja
Application granted granted Critical
Publication of JP6284086B2 publication Critical patent/JP6284086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/1968Interfaces for setting up or customising the system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/915Television signal processing therefor for field- or frame-skip recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができるようにする。
【解決手段】ユーザの操作で検索条件を設定する検索条件設定部31と、検索条件に適合する映像を表示する追跡対象検索画面において追尾マークを選択する監視者の操作で指定された人物を追跡対象に設定する追跡対象設定部32と、追跡対象とした人物と同一である可能性が最も高い人物のカメラごとの映像のみが確認映像として表示された追跡対象確認画面を表示させる確認映像提示部39と、追跡対象検索画面において追跡対象に追尾マークが表示されない場合に、ユーザの操作で映像表示期間を設定する映像表示期間設定部33と、映像表示期間に基づいて追跡対象確認画面において確認映像を表示させるように追尾情報を修正するカメラ内追尾情報修正部26と、を備えたものとする。
【選択図】図3

Description

本発明は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置、追跡支援システムおよび追跡支援方法に関するものである。
監視エリア内に複数のカメラを設置し、この複数のカメラごとの映像を表示する監視画面をモニタに表示して、監視者に監視させる監視システムが広く普及している。このような監視システムでは、カメラの映像をレコーダに蓄積することで、万引きなどの問題のある行為を行った人物が監視エリア内でどのような行動を行ったかを監視者が事後に確認することができる。
このように監視者が監視画面を見ながら人物の行動を追跡する場合、人物が監視エリア内を移動するのに応じて、その人物を撮影するカメラが次々と切り替わるため、カメラごとの映像を順次確認する必要がある。このとき、監視者が逐一カメラを選択しながら映像を確認するようにすると、非常に手間のかかる作業となることから、追跡対象とした人物が写るカメラごとの映像を時間の経過にしたがって順次表示されるようにすると、人物の行動を追跡する作業を効率よく行うことができる。
このような人物の行動を追跡する作業を効率よく行う技術とし、従来、監視者が日時およびカメラを指定して、追跡対象となる人物が写った映像を探し出して、追跡対象となる人物を指定し、この指定された人物に関する追尾情報に誤りがないかを監視者に確認させる追跡対象確認画面を表示させ、追尾情報に誤りがないことが確認されると、追尾情報に基づいて追跡対象とした人物が写るカメラごとの映像を時間の経過にしたがって連続再生する技術が知られている(特許文献1参照)。
特許第5506990号公報
さて、前記従来の技術では、注目する日時およびカメラの映像で追跡対象とする人物を探し出す人物検索において、映像に表示させた人物枠を選択することで、追跡対象とする人物を指定するようにしている。ところが、混雑した環境などではカメラ内追尾で人物検知が失敗することがあり、人物検知が失敗した人物には人物枠が表示されないため、追跡対象とする人物が映像に写っていても、その人物を追跡対象として指定することができない場合がある。この場合、追跡対象確認画面に遷移することができないため、カメラを変更したり日時を変更したりして、追跡対象とする人物に人物枠が表示された映像を探し出すしかないため、手間を要する作業が必要になる。
また、追跡対象確認画面では、カメラ内追尾で取得したカメラ内追尾情報に基づいて、追跡対象とした人物が映像に現れてからその人物が映像からいなくなるまでの期間の映像を再生することで、注目するカメラの撮影エリアにおける人物の行動を漏れなく確認することができる。ところが、カメラ内追尾情報に誤りがあると、追跡対象とした人物の映像が一部欠落したり、追跡対象とした人物が写っていない映像が表示されたりする不具合が発生し、追跡対象とした人物の行動を確認する作業を円滑に行うことができなくなる。
そこで、本発明は、カメラ内追尾がいかなる結果になっても、監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができるような追跡支援装置、追跡支援システムおよび追跡支援方法を提供することを主な目的とする。
本発明の追跡支援装置は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、ユーザの操作入力に応じて、追跡対象となる移動体の映像を探し出すための検索条件を設定する検索条件設定部と、前記映像蓄積手段より前記検索条件に適合する映像を取得して追跡対象検索画面を前記表示装置に表示させて、その追跡対象検索画面において映像上に表示された追尾マークを選択する操作により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を前記追跡対象に設定する追跡対象設定部と、前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、前記追跡対象検索画面において追跡対象とする移動体に前記追尾マークが表示されない場合に、ユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定する映像表示期間設定部と、前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する追尾情報修正部と、を備えた構成とする。
また、本発明の追跡支援システムは、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、監視エリアを撮影する前記カメラと、このカメラごとの映像を表示する前記表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、ユーザの操作入力に応じて、追跡対象となる移動体の映像を探し出すための検索条件を設定する検索条件設定部と、前記映像蓄積手段より前記検索条件に適合する映像を取得して追跡対象検索画面を前記表示装置に表示させて、その追跡対象検索画面において映像上に表示された追尾マークを選択する操作により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を前記追跡対象に設定する追跡対象設定部と、前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、前記追跡対象検索画面において追跡対象とする移動体に前記追尾マークが表示されない場合に、ユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定する映像表示期間設定部と、前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する追尾情報修正部と、を備えた構成とする。
また、本発明の追跡支援方法は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、ユーザの操作入力に応じて、追跡対象となる移動体の映像を探し出すための検索条件を設定し、前記映像蓄積手段より前記検索条件に適合する映像を取得して追跡対象検索画面を前記表示装置に表示させて、その追跡対象検索画面において映像上に表示された追尾マークを選択する操作により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を前記追跡対象に設定し、前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させ、前記追跡対象検索画面において追跡対象とする移動体に前記追尾マークが表示されない場合に、ユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定し、前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する構成とする。
本発明によれば、追跡対象とする移動体に追尾マークが表示されない、すなわち、追跡対象とする移動体の追尾ができていない場合に、追尾マークを選択して追跡対象とする移動体を指定する代わりに、追跡対象とする移動体の映像表示期間をユーザに指定させるため、あるカメラで追跡対象とする移動体の追尾ができていない場合でも、そのカメラの確認映像を適切に追跡対象確認画面に表示させることができる。これにより、カメラ内追尾がいかなる結果になっても、監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができる。
本実施形態に係る追跡支援システムの全体構成図 店舗におけるカメラ1の設置状況を示す平面図 PC3の機能ブロック図 モニタ7に表示される人物検索画面を示す説明図 各画面で行われる監視者の操作に応じてPC3の各部で行われる処理の手順を示すフロー図 各画面で行われる監視者の操作に応じてPC3の各部で行われる処理の手順を示すフロー図 モニタ7に表示される人物検索画面を示す説明図 モニタ7に表示される確認映像表示状態のタイムライン画面を示す説明図 モニタ7に表示される連続再生状態のタイムライン画面を示す説明図 モニタ7に表示される候補映像表示状態のタイムライン画面を示す説明図 人物検索画面で映像表示期間を指定したときのタイムライン画面を示す説明図 モニタ7に表示される追尾結果編集画面を示す説明図 映像の遷移状況の一例を示す説明図 追尾結果編集画面における編集操作時の状況を示す説明図 映像の遷移状況の一例を示す説明図 追尾結果編集画面における編集操作時の状況を示す説明図 映像の遷移状況の一例を示す説明図 追尾結果編集画面における編集操作時の状況を示す説明図
前記課題を解決するためになされた第1の発明は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、ユーザの操作入力に応じて、追跡対象となる移動体の映像を探し出すための検索条件を設定する検索条件設定部と、前記映像蓄積手段より前記検索条件に適合する映像を取得して追跡対象検索画面を前記表示装置に表示させて、その追跡対象検索画面において映像上に表示された追尾マークを選択する操作により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を前記追跡対象に設定する追跡対象設定部と、前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、前記追跡対象検索画面において追跡対象とする移動体に前記追尾マークが表示されない場合に、ユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定する映像表示期間設定部と、前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する追尾情報修正部と、を備えた構成とする。
これによると、追跡対象とする移動体に追尾マークが表示されない、すなわち、追跡対象とする移動体の追尾ができていない場合に、追尾マークを選択して追跡対象とする移動体を指定する代わりに、追跡対象とする移動体の映像表示期間をユーザに指定させるため、あるカメラで追跡対象とする移動体の追尾ができていない場合でも、そのカメラの確認映像を適切に追跡対象確認画面に表示させることができる。これにより、カメラ内追尾がいかなる結果になっても、監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができる。
また、第2の発明は、前記映像表示期間設定部は、前記追跡対象検索画面に、前記映像表示期間の開始時刻および終了時刻をそれぞれ表す可動操作部を表示して、その可動操作部をずらすことで前記映像表示期間の範囲を調整する操作をユーザに行わせる構成とする。
これによると、映像表示期間の開始時刻および終了時刻をそれぞれ表す可動部をずらす操作を行えばよいため、映像表示期間を適切な範囲に迅速に調整することができる。
また、第3の発明は、前記映像表示期間設定部は、前記追跡対象検索画面において、前記カメラの映像を、その表示時刻を調整可能に表示して、追跡対象とする移動体が最初に出現した映像と、追跡対象とする移動体が消失する直前の映像とを選択する操作をユーザに行わせて、前記映像表示期間の開始時刻および終了時刻を取得する構成とする。
これによると、映像表示期間の開始時刻および終了時刻にそれぞれ対応する映像を選択するため、映像表示期間を適切な範囲に正確に設定することができる。
また、第4の発明は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、前記追跡対象確認画面に表示される前記カメラごとの前記確認映像に過不足がある場合に、追尾結果編集画面を前記表示装置に表示させて、前記追尾結果編集画面上でのユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定する映像表示期間設定部と、前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する追尾情報修正部と、を備えた構成とする。
これによると、確認映像に過不足がある、すなわち、カメラ内追尾情報に誤りがある場合に、追跡対象とする移動体の映像表示期間をユーザに指定させるため、あるカメラで追跡対象とする移動体の追尾が適切にできていない場合でも、そのカメラの確認映像を適切に追跡対象確認画面に表示させることができる。これにより、カメラ内追尾がいかなる結果になっても、監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができる。
また、第5の発明は、前記映像表示期間設定部は、前記カメラごとの映像に対するカメラ内追尾処理により取得した追尾期間を初期の映像表示期間として前記追尾結果編集画面に表示して、その追尾結果編集画面において、前記初期の映像表示期間に対して部分的な削除および追加の少なくともいずれが行われるように、前記映像表示期間の範囲を調整する操作をユーザに行わせる構成とする。
これによると、カメラ内追尾により取得した追尾期間を初期の映像表示期間として表示して、その初期の映像表示期間に対する部分的な削除や追加で映像表示期間の範囲を調整するため、映像表示期間を適切な範囲に容易に調整することができる。
また、第6の発明は、前記映像表示期間設定部は、前記追尾結果編集画面に、前記映像表示期間の開始時刻および終了時刻をそれぞれ表す可動操作部を表示して、その可動操作部をずらすことで前記映像表示期間の範囲を調整する操作をユーザに行わせる構成とする。
これによると、映像表示期間の開始時刻および終了時刻をそれぞれ表す可動部をずらす操作を行えばよいため、映像表示期間を適切な範囲に迅速に調整することができる。
また、第7の発明は、前記映像表示期間設定部は、前記追尾結果編集画面において、前記カメラの映像を、その表示時刻を調整可能に表示して、追跡対象とした移動体が最初に出現した映像と、追跡対象とした移動体が消失する直前の映像との少なくともいずれかを選択する操作をユーザに行わせて、前記映像表示期間の開始時刻および終了時刻の少なくともいずれかを取得する構成とする。
これによると、映像表示期間の開始時刻および終了時刻にそれぞれ対応する映像を選択するため、映像表示期間を適切な範囲に正確に設定することができる。
また、第8の発明は、前記映像表示期間設定部は、前記追尾結果編集画面において映像に現れる追跡対象となる移動体の追尾マークを選択する操作をユーザに行わせて、その選択された移動体の追尾期間を含むように前記映像表示期間を設定する構成とする。
これによると、追跡対象とした移動体が別の移動体として追尾されていた場合に、その移動体の追尾マークを選択することで、追跡対象とした移動体が別の移動体として追尾されていた追尾期間を映像表示期間に追加することができるため、映像表示期間を適切な範囲に容易に調整することができる。
また、第9の発明は、さらに、前記追跡対象に設定された移動体、およびその移動体と同一として対応づけられた移動体に関する前記カメラごとの映像が撮影時刻順に並べて表示された連続再生画面を前記表示装置に表示させ、この連続再生画面において、前記カメラごとの映像を、時間の経過にしたがって順次動画で表示させる連続再生を行う映像再生部を備えた構成とする。
これによると、追跡対象とした移動体を連続して追跡することができるため、追跡対象とした移動体が監視エリア内でどのような行動を行ったかを監視者が簡単に確認することができる。
また、第10の発明は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、監視エリアを撮影する前記カメラと、このカメラごとの映像を表示する前記表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、ユーザの操作入力に応じて、追跡対象となる移動体の映像を探し出すための検索条件を設定する検索条件設定部と、前記映像蓄積手段より前記検索条件に適合する映像を取得して追跡対象検索画面を前記表示装置に表示させて、その追跡対象検索画面において映像上に表示された追尾マークを選択する操作により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を前記追跡対象に設定する追跡対象設定部と、前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、前記追跡対象検索画面において追跡対象とする移動体に前記追尾マークが表示されない場合に、ユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定する映像表示期間設定部と、前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する追尾情報修正部と、を備えた構成とする。
これによると、第1の発明と同様に、カメラ内追尾がいかなる結果になっても、監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができる。
また、第11の発明は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、監視エリアを撮影する前記カメラと、このカメラごとの映像を表示する前記表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、前記追跡対象確認画面に表示される前記カメラごとの前記確認映像に過不足がある場合に、追尾結果編集画面を前記表示装置に表示させて、前記追尾結果編集画面上でのユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定する映像表示期間設定部と、前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する追尾情報修正部と、を備えた構成とする。
これによると、第4の発明と同様に、カメラ内追尾がいかなる結果になっても、監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができる。
また、第12の発明は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、ユーザの操作入力に応じて、追跡対象となる移動体の映像を探し出すための検索条件を設定し、前記映像蓄積手段より前記検索条件に適合する映像を取得して追跡対象検索画面を前記表示装置に表示させて、その追跡対象検索画面において映像上に表示された追尾マークを選択する操作により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を前記追跡対象に設定し、前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させ、前記追跡対象検索画面において追跡対象とする移動体に前記追尾マークが表示されない場合に、ユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定し、前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する構成とする。
これによると、第1の発明と同様に、カメラ内追尾がいかなる結果になっても、監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができる。
また、第13の発明は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させ、前記追跡対象確認画面に表示される前記カメラごとの前記確認映像に過不足がある場合に、追尾結果編集画面を前記表示装置に表示させて、前記追尾結果編集画面上でのユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定し、前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する構成とする。
これによると、第4の発明と同様に、カメラ内追尾がいかなる結果になっても、監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。なお、本実施形態の説明では、「追跡」および「追尾」という同様の意味を持つ用語を使用しており、これは、単に説明の便宜上使い分けているに過ぎないが、「追跡」は、主として監視者の行為と関わりが強い場合に用いており、「追尾」は、主として装置で行われる処理と関わりが強い場合に用いている。
図1は、本実施形態に係る追跡支援システムの全体構成図である。この追跡支援システムは、スーパーマーケットやホームセンターなどの小売店舗などを対象にして構築されるものであり、カメラ1と、レコーダ(映像蓄積手段)2と、PC(追跡支援装置)3と、カメラ内追尾処理装置4と、を備えている。
カメラ1は店舗内の適所に設置され、カメラ1により店舗内(監視エリア)が撮影され、このカメラ1で撮影された店舗内の映像がレコーダ2に録画される。
PC3には、監視者(ユーザ)が種々の入力操作を行うマウスなどの入力デバイス6と、監視画面を表示するモニタ(表示装置)7とが接続されている。このPC3は、店舗の警備室などに設置され、監視者(警備員)が、モニタ7に表示される監視画面で、カメラ1で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ2に録画された過去の店舗内の映像を閲覧することができる。
なお、本部に設けられたPC11にも図示しないモニタが接続され、カメラ1で撮影された店舗内の映像をリアルタイムで閲覧し、また、レコーダ2に録画された過去の店舗内の映像を閲覧して、本部で店舗内の状況を確認することができる。
カメラ内追尾処理装置4では、カメラ1の映像から検出された人物(移動体)を追尾して、人物ごとにカメラ内追尾情報を生成する処理が行われる。このカメラ内追尾処理には、公知の画像認識技術(人物検出技術および人物追跡技術など)を利用すればよい。
なお、本実施形態では、カメラ内追尾処理装置4が、PC3とは独立して、カメラ内追尾処理を常時行うようにしているが、PC3からの指示に応じて追尾処理を実行するものとしてもよい。また、カメラ内追尾処理装置4では、映像から検出された全ての人物を対象にして追尾処理を行うことが望ましいが、追跡対象に指定された人物およびこれと関連度の高い人物に絞って追尾処理を行うようにしてもよい。
次に、カメラ1の店舗での設置状況について説明する。図2は、店舗におけるカメラ1の設置状況を示す平面図である。
店舗内(監視エリア)には、商品陳列スペースの間に通路が設けられており、この通路を主に撮影するように複数のカメラ1が設置されている。
店舗内の通路を人物が移動すると、カメラ1のいずれか1つあるいは複数で人物が撮影され、人物が移動するのに応じて、人物の撮影が次のカメラ1に引き継がれる。このとき、人物の撮影を引き継ぐカメラは、店舗内の通路の形態およびカメラ1の撮影エリアにより限定され、この人物の撮影が引き継がれる関係にあるカメラを、本実施形態では、連携関係を有するカメラと呼称する。このカメラの連携関係に関する情報は予め設定されて、カメラ連携情報としてPC3に保持されている。なお、カメラの連携関係に関する情報は、カメラ1の台数や設置場所などの変更に備え、システムの起動時などに各カメラ1の設置情報などをPC3により個別に取得し、各カメラの連携関係に関する情報を更新するようにしてもよい。
次に、PC3の概略構成について説明する。図3は、PC3の概略構成を示す機能ブロック図である。
PC3は、追尾情報蓄積部21と、カメラ間追尾処理部22と、入力情報取得部23と、追跡対象処理部24と、映像提示部25と、カメラ内追尾情報修正部26と、映像再生部27と、画面生成部28と、を備えている。
追尾情報蓄積部21では、カメラ内追尾処理装置4で生成したカメラ内追尾情報が蓄積される。また、追尾情報蓄積部21では、カメラ間追尾処理部22で生成したカメラ間追尾情報が蓄積される。
入力情報取得部23では、マウスなどの入力デバイス6を用いた監視者の入力操作に応じて、その入力操作に基づく入力情報を取得する処理が行われる。
追跡対象処理部24は、検索条件設定部31と、追跡対象設定部32と、映像表示期間設定部33と、追跡対象追加設定部34と、を備えている。
検索条件設定部31では、監視者の入力操作に応じて、追跡対象となる人物が写った映像を探し出すための検索条件を設定する処理が行われる。本実施形態では、人物検索画面(追跡対象検索画面、図7参照)をモニタ7に表示させて、この人物検索画面で、検索条件として、撮影日時およびカメラ1に関する情報を監視者に入力させる。
追跡対象設定部32では、検索条件設定部31で設定された検索条件と、追尾情報蓄積部21に蓄積されたカメラ内追尾情報とに基づいて、レコーダ2に蓄積された映像の中から検索条件に適合する日時およびカメラ1の映像を人物検索画面に表示させて、その人物検索画面において人物枠(追尾マーク)を選択することで追跡対象となる人物を監視者に指定させて、その指定された人物を追跡対象に設定する処理が行われる。
カメラ間追尾処理部22は、リンクスコア算出部35と、初期追尾情報生成部36と、候補選択部37と、カメラ間追尾情報修正部38と、を備えている。
リンクスコア算出部35では、追尾情報蓄積部21から各カメラ1に関するカメラ内追尾情報を取得して、各カメラ1に関するカメラ内追尾処理で検出追尾された人物同士で、同一人物である可能性の高さを表すリンクスコア(評価値)を算出する。この処理では、人物の検出時刻(フレームの撮影時刻)、人物の検出位置、人物の移動速度、人物像の色情報などに基づいてリンクスコアを算出する。
初期追尾情報生成部36では、追跡対象設定部32で追跡対象に設定された人物を起点にして、連携関係にあるカメラ1に関するカメラ内追尾で追尾された人物の中から、リンクスコアが最も高い、すなわち、同一人物である可能性が最も高い人物をカメラ1ごとに順次選択して、それらの人物を同一人物として対応づけた初期追尾情報を生成する処理が行われる。
具体的には、まず、人物検索画面で人物を追跡対象に指定したときの映像(追跡対象指定映像)を撮影したカメラ1と連携関係にあるカメラ1のカメラ内追尾で追尾された人物の中からリンクスコアが最も高い人物を選択し、次に、その選択された人物を撮影したカメラ1と連携関係にあるカメラ1のカメラ内追尾で追尾された人物の中からリンクスコアが最も高い人物を選択し、このような人物の選択を連携関係にあるカメラ1ごとに繰り返す。このような人物を選択する処理は、追跡対象指定映像より時間的に前および後の双方で行われ、最も高いリンクスコアが所定のしきい値以下になった時点で、追跡対象とした人物が監視エリア内に存在しないものと判断して、人物の選択を終了する。
映像提示部25は、確認映像提示部39と、候補映像提示部40と、を備えている。
確認映像提示部39では、初期追尾情報生成部36で生成した初期追尾情報に基づいて、リンクスコアが最も高い人物の映像、すなわち、追跡対象とした人物が写っている可能性が最も高い映像を確認映像としてカメラ1ごとに抽出して、その確認映像を提示する、具体的には、確認映像が撮影時刻順に並べて表示された確認映像表示状態のタイムライン画面(追跡対象確認画面、図8参照)をモニタ7に表示させる処理が行われる。
カメラ間追尾処理部22の候補選択部37では、確認映像提示部39により提示された確認映像に誤りがある、すなわち、初期追尾情報生成部36で生成した初期追尾情報に誤りがある場合に、その誤りがある確認映像に対応する期間においてカメラ内追尾で追尾された人物の中から、誤りがある確認映像に対応する人物よりリンクスコアが低い人物を候補人物として高い方から所定数選択する処理が行われる。
このとき、リンクスコアが所定のしきい値以上となり、かつ、誤りがあるものとして選択された確認映像に対応する人物の追尾期間(カメラ内追尾で追尾された期間)を基準にして設定された検索期間内に追尾期間が含まれる人物を対象にして候補人物が選択される。なお、リンクスコアのしきい値、および検索期間を設定する際の時間幅に関する設定情報が、PC3の設定情報保持部(図示せず)に保持されている。
候補映像提示部40では、確認映像提示部39により提示された確認映像に誤りがある場合に、候補選択部37で選択した候補人物に関する映像、すなわち、追跡対象とした人物が写っている可能性が確認映像の次に高い映像を候補映像として抽出して、その候補映像を提示する、具体的には、所定数の候補映像が表示された候補映像表示状態のタイムライン画面(候補選択画面、図10参照)をモニタ7に表示させて、その画面上で追跡対象とした人物が写った候補映像を監視者に選択させる処理が行われる。
カメラ間追尾情報修正部38では、候補映像提示部40により提示された候補映像の中に適切な候補映像がある場合に、その候補映像に対応する人物を追跡対象とした人物と対応づけるように、追跡対象とした人物に関する追尾情報を修正して、修正追尾情報を生成する処理が行われる。
このとき、カメラ間追尾情報修正部38では、初期追尾情報を生成する処理と同様に、候補映像に対応する人物を起点にして、連携関係にあるカメラ1に関するカメラ内追尾で追尾された人物の中から、リンクスコアが最も高い、すなわち、同一人物である可能性が最も高い人物をカメラ1ごとに順次選択して、それらの人物を同一人物として対応づけた修正追尾情報を生成する。また、この追尾情報修正処理では、追跡対象設定部32で設定した人物、監視者により確定の操作が行われた確認映像に対応する人物、および既に誤りがある確認映像と入れ替えられた候補映像に対応する人物が、修正対象から除外される。
追跡対象処理部24の追跡対象追加設定部34では、候補映像提示部40により提示された候補映像の中に適切な候補映像がない場合に、レコーダ2に蓄積された映像を表示させた人物検索画面(追跡対象検索画面、図7参照)をモニタ7に表示させて、その人物検索画面において、誤りがある確認映像に対応する期間における映像の中から追跡対象とした人物を監視者に指定させて、その指定された人物を追跡対象に追加設定する処理が行われる。
カメラ間追尾情報修正部38では、追跡対象追加設定部34で追跡対象に設定された人物を、追跡対象設定部32で追跡対象に設定した人物と対応づけて、追跡対象とした人物に関する追尾情報を修正して、修正追尾情報を生成する処理が行われる。
追跡対象処理部24の映像表示期間設定部33では、人物検索画面(追跡対象検索画面、図7参照)において追跡対象とする人物に人物枠が表示されない場合に、監視者の操作入力に応じて、追跡対象とした人物が映像に出現する映像表示期間を設定する処理が行われる。
また、映像表示期間設定部33では、確認映像表示状態のタイムライン画面(追跡対象確認画面、図8参照)に表示されるカメラ1ごとの確認映像に過不足がある場合に、追尾結果編集を指示する監視者の操作に応じて、追尾結果編集画面(図12参照)をモニタ7に表示させて、この追尾結果編集画面上でのユーザの操作入力に応じて、追跡対象とした人物が映像に出現する映像表示期間を設定する処理が行われる。
また、映像表示期間設定部33では、候補映像提示部40により提示された候補映像の中に適切な候補映像がない場合に、レコーダ2に蓄積された映像を表示させた人物検索画面をモニタ7に表示させて、その人物検索画面において、追跡対象とした人物が映像に写っている期間を監視者に指定させて、その期間を映像表示期間として設定する処理が行われる。
カメラ内追尾情報修正部26では、映像表示期間設定部33で設定された映像表示期間を、追跡対象とした人物に関する追尾情報に付加する修正を行って、修正追尾情報を生成する処理が行われる。したがって、カメラ内追尾情報は追尾期間と映像表示期間とを含むものとなる。
追跡対象処理部24の追跡対象追加設定部34では、映像表示期間設定部33において映像表示期間が設定されて、その映像表示期間が設定されたカメラ1に隣接するカメラ1の確認映像がタイムライン画面においてブランク状態(映像が表示されない状態)となった場合に、レコーダ2に蓄積された映像を表示させた人物検索画面(追跡対象検索画面、図7参照)をモニタ7に表示させて、その人物検索画面において、ブランク状態の確認映像に対応する期間における映像の中から追跡対象とした人物を監視者に指定させて、その指定された人物を追跡対象に追加設定する処理が行われる。
映像再生部27では、モニタ7に表示される画面上でカメラ1の映像を動画で表示させる処理が行われる。本実施形態では、連続再生状態のタイムライン画面(連続再生画面、図9参照)をモニタ7に表示させる処理が行われ、このタイムライン画面では、追跡対象となる人物が写ったカメラ1ごとの映像を、時間の経過にしたがって順次動画で表示させる連続再生が行われる。
画面生成部28は、モニタ7に表示させる画面を生成するものであり、具体的には、追跡対象設定部32からの指示に応じて人物検索画面(追跡対象検索画面、図7参照)を生成し、確認映像提示部39からの指示に応じて確認映像表示状態のタイムライン画面(追跡対象確認画面、図8参照)を生成し、候補映像提示部40からの指示に応じて候補映像表示状態のタイムライン画面(候補選択画面、図10参照)を生成し、映像再生部27からの指示に応じて連続再生状態のタイムライン画面(連続再生画面、図9参照)を生成する。
なお、図3に示したPC3の各部は、PC3のプロセッサ(CPU)にHDD等のメモリに保存した追跡支援用のプログラム(インストラクション)を実行させることで実現される。これらのプログラムは、情報処理装置としてのPC3に予め導入して専用の装置として構成する他、所定のOS上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
次に、モニタ7に表示される各画面、および各画面で行われる監視者の操作に応じてPC3の各部で行われる処理について説明する。図4は、モニタ7に表示される画面の遷移状況を示す説明図である。図5および図6は、各画面で行われる監視者の操作に応じてPC3の各部で行われる処理の手順を示すフロー図である。
まず、PC3において追跡支援処理を開始する操作を行うと、人物検索画面(追跡対象検索画面、図7参照)がモニタ7に表示される(ST101)。
この人物検索画面は、追跡対象とする人物が万引きなどの問題のある行為を行った日時を指定するとともに、追跡したい人物が問題のある行為を行った場所や、その人物が通ったものと想定されるエリアを撮影するカメラ1を指定して、追跡対象とする人物が写った映像を探し出して、その映像上で追跡対象とする人物を指定するものであり、日時およびカメラ1を指定して表示された映像に追跡対象とする人物が写っていると、その人物に表示された人物枠を選択して、その人物を追跡対象に指定する操作が監視者により行われる(ST102でYes)。
なお、人物検索画面には、単一カメラによる人物検索画面と複数カメラによる人物検索画面とがあり、単一カメラによる人物検索画面は、単一のカメラ1の映像を表示させて追跡対象とする人物が写った映像を探し出すものであり、複数カメラによる人物検索画面は、複数のカメラ1の映像を表示させて追跡対象とする人物が写った映像を探し出すものである。
人物検索画面で、カメラ選択の操作を行うと、カメラ選択画面(図示せず)に遷移する。このカメラ選択画面でカメラ1を選択すると、人物検索画面に戻り、その人物検索画面に選択されたカメラ1の映像が表示される。
なお、カメラ選択画面には、単一カメラ選択画面と複数カメラ選択画面とがある。単一カメラ選択画面では、人物検索画面に映像を表示させるカメラ1を監視者が1つ選択することができる。複数カメラ選択画面では、人物検索画面に映像を表示させるカメラ1を監視者が複数選択することができる。
人物検索画面で、監視者が追跡対象とする人物を指定すると、追跡対象設定部32において、監視者が指定した人物を追跡対象に設定する処理が行われる(ST103)。ついで、初期追尾情報生成部36において、各カメラ1に関するカメラ内追尾処理で検出追尾された人物の中からリンクスコアが最も高い人物をカメラごとに順次選択して、初期追尾情報を生成する処理が行われる(ST104)。そして、確認映像提示部39において、初期追尾情報に基づいて、追跡対象とした人物が写っている可能性が最も高い映像を確認映像としてカメラ1ごとに抽出して、その確認映像が表示された確認映像表示状態のタイムライン画面(追跡対象確認画面、図8参照)をモニタ7に表示させる処理が行われる(ST105)。
一方、人物検索画面において、日時およびカメラ1を指定して表示された映像に追跡対象とする人物が写っていない場合には、人物枠を選択する操作を行うことができず(ST102でNo)、その代わりに、追跡対象とする人物が映像に現れている期間(映像表示期間)を指定する操作が監視者により行われ(ST106でYes)、映像表示期間設定部33において、映像表示期間を設定する処理が行われる(ST107)。そして、確認映像提示部39において、映像表示期間に対応する映像が確認映像として表示された確認映像表示状態のタイムライン画面(図11参照)をモニタ7に表示させる処理が行われる(ST105)。
確認映像表示状態のタイムライン画面は、確認映像によってカメラ間追尾情報(初期追尾情報)に誤りがないかを監視者に確認させるものであり、人物検索画面で人物枠を選択して追跡対象とする人物を指定する操作が監視者により行われた場合には、カメラ間追尾により、追跡対象とする人物を指定したカメラ1の前後のカメラ1ごとの確認映像が表示される。
この確認映像表示状態のタイムライン画面に表示された全ての確認映像に誤りがない、すなわち、全ての確認映像に追跡対象とした人物が写っており、かつ、その人物に人物枠が表示されている場合には、連続再生を指示する操作が監視者により行われて(ST108でYes)、連続再生状態のタイムライン画面(連続再生画面、図11参照)に遷移する(ST109)。
この連続再生状態のタイムライン画面では、追跡対象が写ったカメラ1ごとの映像を、時間の経過にしたがって順次表示させる連続再生が行われる。
一方、確認映像表示状態のタイムライン画面に表示された複数の確認映像の中に適切でない確認映像が見つかった場合、すなわち、確認映像に追跡対象とした人物が写っているものの、確認映像を再生した際に、追跡対象でない人物のみが写る映像が表示されたり、追跡対象とした人物が写る映像が途中から開始されたり、追跡対象とした人物が写る映像が途中で終了したりして、追跡対象とした人物が映像に現れてからその人物が映像からいなくなるまでの期間の全体に渡って追跡対象とした人物が適切に写っていない場合には、その確認映像を選択して追尾結果編集を指示する操作が監視者により行われる(ST110でYes)。そして、映像表示期間設定部33において、追尾結果編集画面(図12参照)をモニタ7に表示させる処理が行われる(ST111)。
この追尾結果編集画面では、映像表示期間の不要部分を削除したり、映像表示期間の不足部分を追加したりする編集操作が監視者により行われる。この編集操作が終了すると、カメラ内追尾情報修正部26において、編集操作による入力情報に基づいて、カメラ内追尾情報を修正する処理が行われ、さらに必要に応じて、カメラ間追尾情報修正部38において、カメラ内追尾情報に基づいてカメラ間追尾情報を修正する処理が行われる(ST112)。そして、確認映像提示部39において、確認映像表示状態のタイムライン画面をモニタ7に表示させる処理が行われる(ST105)。
一方、確認映像表示状態のタイムライン画面に表示された複数の確認映像の中に誤りがある確認映像が見つかった場合、すなわち、いずれかの確認映像に、追跡対象とした人物が写っていないか、あるいは追跡対象とした人物が写っているものの、追跡対象を示す人物枠が追跡対象とした人物と異なる人物に表示されている場合には、その確認映像を選択して候補映像の表示を指示する操作が監視者により行われる(ST113でYes)。
すると、候補選択部37において、確認映像に対応する人物よりリンクスコアが低い人物を上位から所定数選択する処理が行われ、候補映像提示部40において、候補選択部37で選択された人物の映像を候補映像として抽出して、その候補映像が並べて表示された候補映像表示状態のタイムライン画面(候補選択画面、図10参照)をモニタ7に表示させる処理が行われる(ST114)。
この候補映像表示状態のタイムライン画面では、追跡対象とした人物が写っている可能性が確認映像の次に高い映像が候補映像として上位のものから所定数だけ表示される。なお、リンクスコアが最も高い人物と次順位以降の人物とが同一のカメラ1で撮影されている場合もあり、候補映像は、確認映像と同じカメラ1である場合もある。
この候補映像表示状態のタイムライン画面に表示された候補映像の中に、適切な候補映像がある、すなわち、追跡対象とした人物が写った候補映像が見つかり、かつ、その人物に人物枠が表示されている場合には、その候補映像を選択する操作が監視者により行われる(ST115でYes)。
すると、カメラ間追尾情報修正部38において、候補映像表示状態のタイムライン画面で選択された候補映像に対応する人物を、最初に追跡対象に指定した人物と対応づけるように追尾情報を修正する処理が行われる(ST116)。そして、確認映像表示状態のタイムライン画面に戻り(ST105)、このタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、タイムライン画面の確認映像が候補映像に置き換えられて表示される。
一方、候補映像表示状態のタイムライン画面に表示された候補映像の中に、適切な候補映像がない、すなわち、追跡対象とした人物が写った候補映像が見つからないか、または、追跡対象とした人物が写った候補映像が見つかったが、その人物に人物枠が表示されていない場合には、人物手動検索を選択する操作が監視者により行われて(ST117でYes)、人物検索画面(追跡対象検索画面、図7参照)に遷移する(ST118)。この人物検索画面では、日時およびカメラ1を指定して追跡対象とした人物が写った映像を探し出す作業が監視者により行われる。
この人物検索画面で、追跡対象とした人物が写った映像が見つかり、かつ、その人物に人物枠が表示されている場合、すなわち、追跡対象とした人物に関するカメラ内追尾が成功している場合には、その人物枠を選択する操作が監視者により行われる(ST119でYes)。すると、カメラ間追尾情報修正部38において、人物検索画面で選択された人物を最初に追跡対象に指定した人物と対応づけるように追尾情報を修正する処理が行われる(ST116)。そして、確認映像表示状態のタイムライン画面に戻り(ST105)、このタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、タイムライン画面の確認映像が、人物検索画面で指定した人物の映像に置き換えられて表示される。
一方、人物検索画面で、追跡対象とした人物が写った映像が見つかったが、その人物に人物枠が表示されていない、すなわち、追跡対象とした人物に関するカメラ内追尾が失敗している場合には、この人物検索画面で、追跡対象とした人物が映像に写っている期間を映像表示期間として指定する操作が監視者により行われる(ST120でYes)。すると、映像表示期間設定部33において、映像表示期間を設定する処理が行われ、ついで、カメラ間追尾情報修正部38において、追跡対象とした人物に関する追尾情報に映像表示期間を付加する修正が行われる(ST121)。そして、確認映像表示状態のタイムライン画面に戻り(ST105)、このタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、タイムライン画面の確認映像が、人物検索画面で指定した映像表示期間の映像に置き換えられて表示される。
以上のように、確認映像表示状態のタイムライン画面に表示される確認映像に不都合がある場合には、追跡対象とした人物が映像に写る映像表示期間を入力する操作や、候補映像を指定する操作や、追跡対象とした人物を探し出して指定する操作が、監視者により行われ、これらの操作が、誤りがある確認映像がなくなるまで繰り返される。そして、全ての確認映像に誤りがないことが確認されると、連続再生を指示する操作が監視者により行われて(ST108でYes)、連続再生状態のタイムライン画面がモニタ7に表示される(ST109)。
なお、人物検索画面において人物の選択の代わりに映像表示期間を指定し、また、追尾結果編集画面において映像表示期間を指定することで、追跡対象とした人物のカメラ間追尾が途切れた状態となるが、人物検索画面や追尾結果編集画面で指定した映像表示期間がカメラ間追尾情報の欠落部分を補間する状態となるため、連続再生状態のタイムライン画面で連続再生を行う際に、追跡対象とした人物の映像を途切れることなく再生することができる。
以下に、図4に示した各画面について詳しく説明する。
まず、図4に示した人物検索画面(追跡対象検索画面)について説明する。図7は、モニタ7に表示される人物検索画面を示す説明図である。
この人物検索画面(追跡対象検索画面)は、追跡したい人物が万引きなどの問題のある行為を行った日時を指定して、追跡対象とする人物が写った映像を探し出して、その映像上で追跡対象とする人物を指定するものであり、検索日時指定部41と、検索カメラ指定部42と、映像表示部43と、再生操作部44と、表示時刻調整部45と、映像表示期間指定部46と、調整範囲指定部47と、選択解除ボタン48と、設定完了ボタン49と、が設けられている。
検索日時指定部41では、追跡対象とする人物が写っているものと想定される期間の中心となる日時を監視者が指定する。この検索日時指定部41で日時を指定して検索ボタン(検索指示部)51を操作すると、指定した日時の映像が映像表示部43に表示される。
検索カメラ指定部42では、検索モード(単一カメラモードおよび複数カメラモード)に応じてカメラ1を監視者が選択する。単一カメラモードは、単一のカメラ1を指定して、その単一のカメラ1の映像から追跡対象とする人物が写った映像を探し出すものであり、複数カメラモードは、複数のカメラ1を指定して、その複数のカメラ1ごとの映像から追跡対象とする人物が写った映像を探し出すものである。
この検索カメラ指定部42には、検索モード選択部(ラジオボタン)52と、カメラ選択部53と、カメラ選択ボタン54と、マップ表示ボタン55と、が設けられている。
検索モード選択部52では、単一カメラモードおよび複数カメラモードのいずれかの検索モードを選択する。カメラ選択部53では、プルダウンメニューにより単一のカメラ1を選択する。
カメラ選択ボタン54を操作すると、カメラ選択画面(図示せず)が表示され、このカメラ選択画面で複数のカメラ1を選択することができる。なお、カメラ選択画面は、店舗に設置されたカメラ1を一覧表示したものである。
マップ表示ボタン55を操作すると、カメラ位置確認画面(図示せず)が表示される。このカメラ位置確認画面によりカメラ1の位置を確認することができる。なお、カメラ位置確認画面は、店舗内のレイアウトを示す地図画像上にカメラ1の位置を示すカメラアイコンを重畳して表示したものであり、選択されたカメラ1の位置を確認することができ、さらに、カメラアイコンを選択することで別のカメラ1に変更することもできる。
なお、検索モード(単一カメラモードおよび複数カメラモード)の選択状態およびカメラ1の選択状態に関する情報は、図示しない情報保持部に保持され、次回起動時に、前回終了時に選択されていた検索モードおよびカメラ1のままで人物検索画面が表示される。
単一カメラモードを選択して、日時およびカメラ1を指定して、検索ボタン51を操作すると、図7に示す単一カメラによる人物検索画面が表示され、この単一カメラによる人物検索画面では、映像表示部43に、指定された単一のカメラ1の映像が表示される。一方、複数カメラモードを選択して、日時およびカメラ1を指定して、検索ボタン51を操作すると、複数カメラによる人物検索画面(図示せず)が表示され、この複数カメラによる人物検索画面では、映像表示部43に、指定された複数のカメラ1の映像が並べて表示される。
映像表示部43には、カメラ1の映像が表示される。この映像表示部43では、ここに表示された映像から検出された人物、すなわち、カメラ内追尾処理の対象となった人物の画像領域に赤色の人物枠(追尾マーク)61が表示され、この人物枠61を選択する操作、具体的には人物枠61上にポインタを合わせて左クリック操作を行うことで、その人物が追跡対象に設定される。また、映像表示部43の近傍には、カメラ1の名称と、日時すなわち映像の撮影時刻と、が表示される。
再生操作部44は、映像表示部43に表示される映像の再生に関する操作を行うものである。この再生操作部44には、再生、逆再生、停止、早送り、および巻き戻しの各ボタン62が設けられており、これらのボタン62を操作することで、映像を効率的に閲覧することができ、追跡対象とする人物が写る映像を効率よく見つけ出すことができる。
表示時刻調整部45は、映像表示部43に表示される映像の表示時刻を調整するものである。この表示時刻調整部45は、いわゆるシークバーであり、スライダ63がバー64に沿って移動可能に設けられている。マウスなどの入力デバイス6を用いてスライダ63をずらす操作(ドラッグ)を行うと、そのスライダ63が指し示す時刻の映像が映像表示部43に表示される。なお、バー64は、検索日時指定部41で指定された時刻を中心とした表示時刻の調整範囲を規定する。
映像表示期間指定部46は、追跡対象とした人物が映像に写っている期間を映像表示期間として監視者が操作入力するものである。この映像表示期間指定部46は、いわゆるデュレーションバーであり、枠65内に映像表示期間を表すバー(可動操作部)66が表示されている。この映像表示期間指定部46は、映像表示部43に追跡対象とする人物が写った映像が表示されているが、その人物に人物枠61が表示されていない場合に、人物枠61の選択に代えて、追跡対象とする人物が映像に写っている期間を監視者が指定するものである。
調整範囲指定部47は、映像表示部43に表示される映像の表示時刻の調整範囲(有効再生範囲)、すなわち、表示時刻調整部45のバー64で規定されるスライダ63の移動範囲を指定するものである。この調整範囲指定部47では、表示時刻の調整範囲をプルダウンメニューにより所定の時間(例えば、5分、15分など)の中から選択することができる。
選択解除ボタン48を操作すると、映像表示期間指定部46の指定内容が破棄され、映像表示期間(開始時刻および終了時刻)の指定をやり直すことができる。設定完了ボタン49を操作すると、確認映像表示状態のタイムライン画面(図8参照)に遷移する。
次に、図4に示した確認映像表示状態のタイムライン画面(追跡対象確認画面)について説明する。図8は、モニタ7に表示される確認映像表示状態のタイムライン画面を示す説明図である。
図7に示した人物検索画面において、監視者が、映像表示部43で人物枠61を選択して追跡対象とする人物を指定した上で、設定完了ボタン49を操作すると、図8に示す確認映像表示状態のタイムライン画面に遷移する。
この確認映像表示状態のタイムライン画面は、人物検索画面で追跡対象に指定した人物が写っている可能性が最も高い各カメラ1の映像を確認映像として表示して、この確認映像によってカメラ間追尾情報(初期追尾情報)に誤りがないかを監視者に確認させるものであり、このタイムライン画面には、映像表示部71と、再生操作部44と、表示時刻調整部45と、マップ表示ボタン72と、が設けられている。
再生操作部44および表示時刻調整部45は、人物検索画面(図7参照)と同様であるが、連続再生状態のタイムライン画面(図9参照)において映像を動画で表示させる際に使用されるものであり、後に詳しく説明する。
マップ表示ボタン72を操作すると、カメラ位置確認画面(図示せず)が表示される。このカメラ位置確認画面によりカメラの位置を確認することができる。なお、カメラ位置確認画面は、店舗内のレイアウトを示す地図画像上にカメラ1の位置を示すカメラアイコンを重畳して表示したものであり、確認映像を撮影したカメラ1の位置を確認することができる。
なお、人物検索画面(図7参照)において、監視者が、映像表示期間指定部46で映像表示期間を指定した上で、設定完了ボタン49を操作した場合にも、確認映像表示状態のタイムライン画面に遷移するが、このときのタイムライン画面(図11参照)については後に詳しく説明する。
映像表示部71には、確認映像表示部73と、候補映像表示部74と、が設けられている。なお、候補映像表示部74は、候補映像表示状態のタイムライン画面(図10参照)において映像が表示されるものであり、後に詳しく説明する。
確認映像表示部73には、所定数のカメラ別映像表示部81が横方向に並べて設けられ、このカメラ別映像表示部81の映像表示枠82に、確認映像が撮影時刻順に並べて表示されており、監視エリア(店舗内)に進入して追尾が開始されてから、監視エリアを退出するまでの確認映像が、撮影時刻が古い順に左端から並べて表示されている。また、カメラ別映像表示部81には、各確認映像の撮影時刻、および各確認映像を撮影したカメラ1の名称が表示されている。タイムライン画面を開いた際の初期状態では、カメラ1でカメラ内追尾が開始された追尾開始時刻の確認映像が静止画で表示される。確認映像に誤りがない場合には、再生操作部44の操作にしたがって連続再生へと移行させることができる。なお、確認映像には、人物検索画面(図7参照)と同様に、その確認映像で検出追尾された人物に人物枠が表示される。
カメラ別映像表示部81には、拡大ボタン83と、候補映像表示ボタン84と、が設けられている。拡大ボタン83を操作すると、確認映像を拡大して表示する拡大映像表示画面(図示せず)が別ウィンドウでホップアップ表示され、この画面で確認映像を詳細に観察することができる。候補映像表示ボタン84を操作すると、候補映像表示状態のタイムライン画面(図10参照)に遷移する。
また、確認映像表示部73では、追跡対象指定映像、すなわち、人物検索画面(図7参照)で人物を追跡対象に指定した映像も表示され、この追跡対象指定映像を表示するカメラ別映像表示部81には、候補映像表示ボタン84の代わりに、追跡対象指定映像を識別するためのマーク85が表示される。なお、カメラ別映像表示部81の映像表示枠82に、追跡対象指定映像であることを表す枠画像が表示されるようにしてもよい。また、確定された確認映像に、確定状態を表す枠画像が表示されるようにしてもよい。
また、映像表示部71には、第1のスクロールバー(スクロール操作部)75が設けられている。この第1のスクロールバー75は、全ての確認映像が確認映像表示部(確認映像の表示領域)73に収まりきらない場合に、確認映像の配列方向、すなわち横方向に確認映像をスライドさせて表示するものであり、ノブ75aをドラッグすると横方向に確認映像をスライドさせることができ、アロー(左右の矢印)75bをクリックすることで、その方向に確認映像をノブ75aとともに一単位(確認映像1つ分)だけスライドさせることができる。
このように構成された確認映像表示状態のタイムライン画面では、確認映像表示部73に表示された確認映像が、追跡対象に指定した人物のものか否かを判断することで、追跡対象に指定した人物に関するカメラ間追尾情報(初期追尾情報)に誤りがないかを監視者が確認することができる。カメラ間追尾情報に誤りがある場合には、確認映像に、追跡対象とした人物が写っていないか、あるいは追跡対象とした人物が写っているものの、追跡対象とした人物と異なる人物に人物枠が表示されており、この確認映像を見ることで、カメラ間追尾情報に誤りがあるか否かを判断することができる。
ここで、確認映像表示部73に表示された全ての確認映像に誤りがない、すなわち、全ての確認映像に追跡対象とした人物が写っており、かつ、その人物に人物枠が表示されている場合には、連続再生を指示する操作、すなわち、再生操作部44の再生のボタン62を操作する。すると、図9に示す連続再生状態のタイムライン画面に遷移する。
次に、図4に示した連続再生状態のタイムライン画面(連続再生画面)について説明する。図9は、モニタ7に表示される連続再生状態のタイムライン画面を示す説明図である。
この連続再生状態のタイムライン画面は、確認映像表示状態のタイムライン画面(図8参照)と略同様の構成であるが、この連続再生状態のタイムライン画面では、確認映像表示部73に表示された確認映像を、時間の経過にしたがって順次動画で表示させる連続再生が行われる。再生中の確認映像には、再生中であることを示す枠画像76が表示される。
なお、再生操作部44において、確認映像表示部73に表示される確認映像の表示時刻を調整するスライダ63の移動範囲、すなわち、表示時刻の調整範囲を規定するバー64の始点(左端)は、撮影時刻が最も古い確認映像の開始時刻となり、バー64の終点(右端)は、撮影時刻が最も新しい確認映像の終了時刻となる。
ここで、各カメラ1の映像が動画で表示される映像表示期間は、人物枠が表示されている期間、すなわち、各カメラ1に関するカメラ内追尾で人物が検出追尾されている期間となる。また、前後の映像で映像表示期間が整合しない、すなわち、前の映像の終了時刻と後の映像の開始時刻との間にタイムラグがある場合には、映像の再生が途切れないように、映像表示期間を前後に延長して映像表示期間を時間的につなぎ合わせる処理を行う。また、前後の映像で映像表示期間が重複している場合もあり、この場合には、前後の映像で並行して再生が行われる。これにより、連続再生時には、必ず1つまたは2つの映像が再生されている状態となる。
なお、この連続再生状態のタイムライン画面では、撮影時刻が古いものから順に確認映像が左から並べて表示されているため、連続再生時には確認映像が左から順に再生されるが、全ての確認映像が確認映像表示部73に収まりきらない場合には、確認映像を適宜なタイミングで自動でスライドさせる処理が行われ、これにより監視者が特別な操作を行うことなく、全ての確認映像が連続して再生される状況を閲覧することができる。
また、カメラ別映像表示部81の拡大ボタン83を操作すると、確認映像を拡大して表示する拡大映像表示画面(図示せず)が別ウィンドウでホップアップ表示され、この画面において確認映像を拡大した状態で動画で表示させることができる。なお、連続再生中に拡大ボタン83を操作した場合に、以降の全ての確認映像に対して、拡大表示を有効状態とし、1つまたは2つの別ウィンドウにて拡大映像が連続再生されるようにすると良い。
次に、図4に示した候補映像表示状態のタイムライン画面(候補選択画面)について説明する。図10は、モニタ7に表示される候補映像表示状態のタイムライン画面を示す説明図である。
確認映像表示状態のタイムライン画面(図8参照)に表示された複数の確認映像の中に誤りがある確認映像が見つかった場合、すなわち、いずれかの確認映像に、追跡対象とした人物が写っていないか、あるいは追跡対象とした人物が写っているものの、追跡対象を示す人物枠が追跡対象とした人物と異なる人物に表示されている場合には、その確認映像に対応する候補映像表示ボタン84を監視者が操作することで、図10に示す候補映像表示状態のタイムライン画面に遷移する。
この候補映像表示状態のタイムライン画面(候補選択画面)は、確認映像表示状態のタイムライン画面に表示された確認映像に誤りがある場合に、追跡対象とした人物が写っている可能性が確認映像の次に高い映像を候補映像として表示して監視者に選択させるものである。
この候補映像表示状態のタイムライン画面は、確認映像表示状態のタイムライン画面(図8参照)と略同様であるが、候補映像表示部74において、誤りがあるものとして選択された確認映像の下に、所定数のカメラ別映像表示部81が縦方向に一列に並べて設けられ、このカメラ別映像表示部81の映像表示枠82に、候補映像がリンクスコアが高い順に上から並べて表示されている。なお、この候補映像表示状態のタイムライン画面では、候補映像に対応する確認映像の映像表示枠82に、選択状態を示す枠画像77が所定の表示色(例えば黄色)で表示される。
また、映像表示部71には、第2のスクロールバー(スクロール操作部)78が設けられている。この第2のスクロールバー78は、全ての候補映像が候補映像表示部(候補映像の表示領域)74に収まりきらない場合に、候補映像の配列方向、すなわち縦方向に候補映像をスライドさせて表示するものであり、ノブ78aをドラッグすると縦方向に候補映像をスライドさせることができ、アロー(上下の矢印)78bをクリックすることで、その方向に候補映像をノブ78aとともに一単位(候補映像1つ分)だけスライドさせることができる。
なお、候補映像表示部74におけるカメラ別映像表示部81の拡大ボタン83を操作すると、候補映像を拡大して表示する拡大映像表示画面(図示せず)が別ウィンドウでホップアップ表示され、この画面で候補映像を詳細に観察することができる。
この候補映像表示状態のタイムライン画面において、候補映像表示部74に表示された候補映像の中に、適切な候補映像がある、すなわち、追跡対象とした人物が写った候補映像が見つかり、かつ、その人物に人物枠が表示されている場合には、その候補映像を選択する操作(左クリック)が監視者により行われる。
すると、カメラ間追尾情報修正部38において、候補映像表示状態のタイムライン画面で選択された候補映像に対応する人物を、人物検索画面(図7参照)で追跡対象に指定した人物と対応づけるように追尾情報を修正する処理が行われる。そして、この追尾情報を修正した結果を反映させた状態で、確認映像表示状態のタイムライン画面(図8参照)がモニタ7に表示される。
この確認映像表示状態のタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、確認映像表示状態のタイムライン画面で誤りがあるものとして選択された確認映像が、候補映像表示状態のタイムライン画面で選択された候補映像に置き換えられて表示される。また、誤りがある確認映像を候補映像と入れ替えたことに伴って、その前後の確認映像が変更される場合もある。すなわち、カメラ間追尾情報修正部38では、候補映像に対応する人物を起点にして、リンクスコアが最も高い人物をカメラ1ごとに順次選択する処理が行われ、ここで選択された人物が、確認映像に対応する人物と異なる場合には、人物の入れ替えが発生し、これに応じて確認映像が変更される。また、カメラ間追尾情報修正部38において追尾情報を修正する際には、追跡対象設定部32で設定した人物、監視者により確定の操作が行われた確認映像に対応する人物、および既に誤りがある確認映像と入れ替えられた候補映像に対応する人物は対象から除外されるため、それらの人物に関する確認映像は変更されない。
なお、本実施形態では、候補映像表示状態のタイムライン画面で適切な候補映像を選択するようにしたが、候補映像上の人物枠を選択するようにしてもよい。このようにすると、誤った人物で追尾情報が修正されることを避けることができる。
次に、図7に示した人物検索画面において追跡対象とする人物に人物枠61が表示されない場合について説明する。
本実施形態では、図7に示した人物検索画面において、追跡したい人物が万引きなどの問題のある行為を行った日時を指定すると共に、追跡したい人物が問題のある行為を行った場所を撮像するカメラ1を選択して、追跡対象とする人物が写った映像を探し出して、その映像上で追跡対象とする人物を指定することができるが、このような注目した日時およびカメラ1の映像で追跡対象とする人物の追尾ができていない場合がある。この場合、追跡対象とする人物には人物枠61が表示されないため、人物枠61の選択で追跡対象を指定することができない。
このような場合、本実施形態では、人物枠61の選択の代わりに、追跡対象とする人物が映像に写っている期間、すなわち、追跡対象とした人物が映像に現れてからその人物が映像からいなくなるまでの期間を、該当するカメラ1の映像表示期間として監視者が指定することができる。この映像表示期間の指定は、人物検索画面の映像表示期間指定部46で行われる。
人物検索画面の映像表示期間指定部46では、枠65内に映像表示期間を表すバー66が表示されており、このバー66で映像表示期間を調整することができる。映像表示期間は開始時刻および終了時刻により規定され、バー66の左端および右端の位置がそれぞれ映像表示期間の開始時刻および終了時刻となる。
映像表示期間の開始時刻を調整するには、開始時刻を表すバー66の左端にポインタを合わせてドラッグ操作を行う。映像表示期間の終了時刻を調整するには、終了時刻を表すバー66の右端にポインタを合わせてドラッグ操作を行う。なお、バー66の左端または右端にポインタを合わせると、ポインタが両矢印形状のトリムポインタに変化する。このとき、監視者は、映像表示部43に表示された映像を見ながら、追跡対象とした人物が映像に最初に現れた時刻またはその近傍の適切な時刻を、映像表示期間の開始時刻として指定すればよい。また、追跡対象とした人物が映像からいなくなる直前の時刻またはその近傍の適切な時刻を、映像表示期間の終了時刻として指定すればよい。
また、開始時刻および終了時刻の映像を選択することでも、映像表示期間の開始時刻および終了時刻を指定することができる。すなわち、再生操作部44や表示時刻調整部45を操作して、該当する時刻(開始時刻または終了時刻)の映像を映像表示部43に表示させる。そして、映像表示部43の映像を選択する操作を行う。具体的には、映像表示部43の映像にポインタを合わせて左クリック操作を行う。これにより、映像表示部43に表示されている映像の撮影時刻が開始時刻または終了時刻に指定される。
このようにして映像表示期間の開始時刻および終了時刻を指定して、設定完了ボタン49を操作すると、タイムライン画面(図11参照)に遷移する。
次に、図7に示した人物検索画面で映像表示期間を指定したときのタイムライン画面について説明する。図11は、人物検索画面で映像表示期間を指定したときのタイムライン画面を示す説明図である。
タイムライン画面では、通常、カメラ間追尾情報に基づいてカメラ1ごとの確認映像が撮影時刻順に並べて表示されるが、人物検索画面において、人物枠61の選択により追跡対象となる人物を指定する操作に代えて、映像表示期間を指定した場合、追跡対象となる人物のカメラ内追尾情報がないため、カメラ間追尾情報のリンクスコアで、隣接するカメラの映像で追尾された人物の中から追跡対象とした人物を特定することができない。このため、人物検索画面で映像表示期間を指定したときのタイムライン画面では、映像表示期間を指定したカメラ1の確認映像が1つだけ表示され、前後のカメラ1の映像表示枠82はブランク状態(映像が表示されない状態)となる。そこで、隣接する前後のカメラ1で追跡対象となる人物を監視者が手動で選択する操作を行う。
この場合、前後のカメラ1を選択した上で「人物手動検索」を選択する操作を行う。具体的には、ブランク状態の映像表示枠82上にポインタを合わせて右クリックを行うことで表示されるメニューで「人物手動検索」を選択する。すると、図7に示した人物検索画面が表示される。
このとき、最初に映像表示期間を指定したカメラ1より前のカメラ1を選択した場合には、人物検索画面に、指定した映像表示期間の直前の期間で、隣接するカメラ1の映像が表示される。最初に映像表示期間を指定したカメラ1より後のカメラ1を選択した場合には、人物検索画面に、指定した映像表示期間の直後の期間で、隣接するカメラ1の映像が表示される。そして、この人物検索画面に、追跡対象とした人物に人物枠61が表示されていれば、その人物枠61を選択して追跡対象とする人物を指定すればよい。
このように人物枠61を選択して追跡対象とする人物を指定して設定完了ボタン49を操作すると、タイムライン画面に遷移する。ここで、カメラ間追尾により、追跡対象とした人物と同一人物である可能性が最も高い人物がカメラ1ごとに順次選択され、前のカメラ1の映像で追尾ができている場合には、タイムライン画面では、それ以前のカメラ1の確認映像が表示され、また、後のカメラ1で追尾ができている場合には、タイムライン画面では、それ以後のカメラ1の確認映像が表示される。
また、最初に映像表示期間を指定したカメラ1の前後のカメラ1で、映像に追跡対象とした人物が写っている場合でも、その人物に人物枠61が表示されていない場合には、人物枠61の選択により追跡対象とする人物を指定することができない。この場合、再度、そのカメラ1に関して映像表示期間を指定すればよい。そして、隣接するカメラ1に関する人物検索画面を表示させて、人物枠61の選択による追跡対象とする人物の指定、または映像表示期間の指定を行い、人物枠61の選択による追跡対象とする人物の指定を行うことができた場合には、そのカメラ1より前または後のカメラ1の確認映像がタイムライン画面に表示される。
このように、本実施形態では、注目する日時およびカメラ1の映像で、人物枠61の選択による追跡対象とする人物の指定を行うことができなかった場合でも、そのカメラ1に関する映像表示期間を指定することにより、そのカメラ1がタイムライン画面の起点となって、隣接するカメラ1の映像が決定され、時系列的に連続するカメラ1ごとの映像をタイムライン画面に表示させることができる。これにより、各カメラ1の映像を順に確認しながら追跡対象とする人物の指定を行うのに比較して、ユーザの作業負担を軽減することができる。
次に、タイムライン画面において確認映像が適切に再生されない場合について説明する。
タイムライン画面では、カメラ内追尾で取得した追尾期間の映像が再生される。このとき、追跡対象とした人物を対象としたカメラ内追尾が、追跡対象とした人物が映像に現れてからその人物が映像からいなくなるまでの出現期間の全体に渡って成功していないと、カメラ内追尾で取得した追尾期間が不完全となり、タイムライン画面の確認映像に過不足が発生する。すなわち、追跡対象とした人物がいない映像が表示され、また、追跡対象とした人物が写る映像が途中で終了し、また、追跡対象とした人物が写る映像が途中から開始され、また、追跡対象とした人物が写る映像が連続していない状態で再生されるという不具合が発生する。
そこで、本実施形態では、カメラ内追尾情報に誤りがあり、確認映像が適切に再生されない、すなわち、追跡対象とした人物が映像に現れてからその人物が映像からいなくなるまでの出現期間の全体に渡って再生されない場合に、図4に示した追尾結果編集画面を表示させて、この追尾結果編集画面で映像表示期間を適切な範囲、すなわち、出現期間に概ね一致する範囲に調整する編集操作を行うことができる。
次に、図4に示した追尾結果編集画面について説明する。図12は、モニタ7に表示される追尾結果編集画面を示す説明図である。
図8に示した確認映像表示状態のタイムライン画面において、映像表示期間の編集を行いたいカメラ1の確認映像を選択して「追尾結果編集」を選択する、具体的には、確認映像上で右クリックを行うことで表示されるメニューで「追尾結果編集」を選択すると、図12に示す追尾結果編集画面がポップアップ表示される。
この追尾結果編集画面は、タイムライン画面に表示される確認映像に過不足がある場合に、確認映像の映像表示期間が適切な期間となるように監視者が編集操作を行うものであり、この追尾結果編集画面には、映像表示部91と、初期映像表示期間表示部92と、表示時刻調整部45と、映像表示期間指定部93と、再生操作部44と、調整範囲指定部47と、戻るボタン95と、キャンセルボタン96と、確定ボタン97と、が設けられている。
映像表示部91には、タイムライン画面で選択されたカメラ1の映像が表示される。また、映像表示部91の近傍には、映像を撮影したカメラ1の名称や設置場所と、日時すなわち映像の撮影時刻と、が表示される。
初期映像表示期間表示部92は、未編集の映像表示期間、すなわち、追跡対象とした人物のカメラ内追尾で取得した追尾期間を表示するものである。この初期映像表示期間表示部92は、いわゆるデュレーションバーであり、枠65内に初期の映像表示期間(追尾期間)を表すバー66が表示されている。このバー66では、左端および右端の位置がそれぞれ映像表示期間の開始時刻および終了時刻となる。バー66は赤色で表示される。
表示時刻調整部45は、映像表示部91に表示される映像の表示時刻を調整するものである。この表示時刻調整部45は、いわゆるシークバーであり、スライダ63がバー64に沿って移動可能に設けられている。マウスなどの入力デバイス6を用いてスライダ63をずらす操作(ドラッグ)を行うと、そのスライダ63が指し示す時刻の映像が映像表示部91に表示される。
映像表示期間指定部93は、監視者の編集操作により入力された映像表示期間を表示するものである。この映像表示期間指定部93は、初期映像表示期間表示部92と同様に、いわゆるデュレーションバーであり、枠65内に映像表示期間を表すバー(可動操作部)66が表示されている。バー66では、左端および右端の位置がそれぞれ映像表示期間の開始時刻および終了時刻となる。編集可能状態では、バー66の左端および右端の位置をドラッグ操作により移動させることができる。
映像表示期間指定部93のバー66は、状態に応じて表示色が変化する。編集前の状態では、初期映像表示期間表示部92と同様に、バー66が赤色で表示される。編集可能状態とするとバー66が黄色に変化する。また、映像表示部91に表示された人物枠61を選択してその人物枠61の追尾期間を映像表示期間に追加した場合には、その追加部分が青色で表示される。
再生操作部44は、映像表示部91に表示される映像の再生に関する操作を行うものである。この再生操作部44には、再生、逆再生、停止、早送り、および巻き戻しの各ボタン62が設けられており、これらのボタン62を操作することで、映像を効率的に閲覧することができ、追跡対象とした人物が映像に写っている期間を効率よく把握することができる。
調整範囲指定部47は、映像表示部91に表示される映像の表示時刻の調整範囲(有効再生範囲)、すなわち、表示時刻調整部45のバー64で規定されるスライダ63の移動範囲を指定するものである。この調整範囲指定部47では、表示時刻の調整範囲をプルダウンメニューにより所定の時間(例えば、5分、15分など)の中から選択することができる。
戻るボタン95を操作すると、この追尾結果編集画面において編集を行なった最後の操作入力を破棄し、1つ前の状態に戻る。キャンセルボタン96を操作すると、編集操作で入力された映像表示期間に関する編集内容を全て破棄して、タイムライン画面に戻る。確定ボタン97を操作すると、編集操作で入力された映像表示期間を確定させることができる。
以下に、この追尾結果編集画面において編集操作により映像表示期間を適切な範囲に調整する例について説明する。
まず、初期の映像表示期間(追尾期間)の不要部分を削除する場合について説明する。図13は、映像の遷移状況の一例を示す説明図である。図14は、追尾結果編集画面における編集操作時の状況を示す説明図である。
図13に示す例では、追跡対象とした人物が映像に現れると追跡対象として適切に追尾され、時刻T1,T2の映像では、追跡対象とした人物に赤色の人物枠が表示されている。そして、追尾が失敗して追尾人物の入れ替わりが発生し、以降、追跡対象でない人物を追跡対象として追尾すると共に、追跡対象とした人物を別人として追尾され、時刻T3の映像では、追跡対象とした人物に追跡対象でないことを示す緑色の人物枠が表示され、追跡対象でない人物に追跡対象であることを示す赤色の人物枠が表示されている。その後、追跡対象とした人物が映像からいなくなるが、誤って追跡対象とした人物は映像に残り、時刻T4の映像では、追跡対象でない人物のみが現れている。
このような場合、カメラ内追尾で取得した追尾期間(初期の映像表示期間)は、別人を追尾していた不要な期間が含まれたものとなり、タイムライン画面では、映像の再生時に、追跡対象とした人物が映像からいなくなった後の映像が表示される。
また、追跡対象でない人物を追跡対象として追尾した後に、追尾人物の入れ替わりが発生して、以降、追跡対象とした人物が適切に追尾されていた場合にも、カメラ内追尾で取得した追尾期間は、別人を追尾していた不要な期間が含まれるものとなり、タイムライン画面では、映像の再生時に、追跡対象とした人物が写っていない不要な映像が最初に表示される。
このように、カメラ内追尾で取得した追尾期間の最初や最後に不要部分がある場合には、本実施形態では、図14に示すように、追尾結果編集画面において、映像表示期間の不要部分を削除する編集操作を行うことができる。
この編集操作では、映像表示期間の開始時刻および終了時刻、すなわち映像表示期間指定部93に表示されるバー66の左端および右端の位置を調整する。
具体的には、まず、バー66上で右クリックを行うことで表示されるポップアップメニューで「部分編集」を選択してバー66を編集可能状態にする。このとき、バー66は全体的に編集可能状態を表す黄色に変化する。
次に、映像表示期間の開始時刻を調整する場合には、開始時刻を表すバー66の左端にポインタを合わせてドラッグ操作を行う。映像表示期間の終了時刻を調整するには、終了時刻を表すバー66の右端にポインタを合わせてドラッグ操作を行う。なお、バー66の左端または右端にポインタを合わせると、ポインタが両矢印形状のトリムポインタ98に変化する。
そして、バー66上にポインタを合わせて左クリック操作を行う。これにより、映像表示期間が、追跡対象とした人物が映像に写らない不要部分を削除した状態で確定される。
なお、ここではドラッグ操作で映像表示期間の不要部分を削除する例を示したが、ドラッグ操作で映像表示期間の不足部分を追加することも可能である。
次に、追跡対象とした人物が別人として追尾されていた追尾期間を映像表示期間に追加する場合について説明する。図15は、映像の遷移状況の一例を示す説明図である。図16は、追尾結果編集画面における編集操作時の状況を示す説明図である。
図15に示す例では、追跡対象とした人物が映像に現れると追跡対象として適切に追尾され、時刻T1,T2の映像では、追跡対象とした人物に赤色の人物枠が表示されている。その後、追尾が失敗して追尾人物の入れ替わりが発生し、以降、追跡対象でない人物が追跡対象として追尾されると共に、追跡対象とした人物が別人として追尾され、時刻T3,T4の映像では、追跡対象とした人物に追跡対象でないことを示す緑色の人物枠が表示され、追跡対象ではない人物に追跡対象であることを示す赤色の人物枠が表示されている。
このような場合、カメラ内追尾で取得した追尾期間は、未来側に不足部分がある不完全なものとなり、タイムライン画面では、映像の再生時に、追跡対象とした人物が写る映像が途中で途切れた状態となる。
また、追跡対象でない人物を追跡対象として追尾すると共に、追跡対象とした人物を別人として追尾した後に、追尾が失敗して追尾人物の入れ替わりが発生し、以降、追跡対象とした人物を追跡対象として適切に追尾していた場合、カメラ内追尾で取得した追尾期間(初期の映像表示期間)は、過去側に不足部分がある不完全なものとなり、タイムライン画面では、映像の再生時に、追跡対象とした人物が写る映像が途中から表示される。
このように、カメラ内追尾で取得した追尾期間の過去側や未来側に不足部分があり、追跡対象とした人物が別人として追尾されていた場合、本実施形態では、図16に示すように、追尾結果編集画面において、追跡対象とした人物が別人として追尾されていた追尾期間を映像表示期間に追加する編集操作を行うことができる。
この編集操作では、追跡対象とした人物が別人として追尾されていた期間の映像において、追跡対象となる人物に表示されている人物枠61を選択する。このとき、追跡対象とした人物は別人として追尾されているため、追跡対象とした人物には緑色の人物枠61が表示されるため、その緑色の人物枠61を選択する。具体的には、まず、人物枠61上にポインタを合わせて左クリック操作を行う。
すると、映像表示部91において、追跡対象となる人物に表示されていた緑色の人物枠61が選択状態を表す青色に変化する。また、映像表示期間指定部93のバー66に、選択された人物枠61の追尾期間が追加される。このとき、追加部分が青色で表示される。
このように追跡対象となる人物に表示されていた緑色の人物枠61を選択する操作を行なうことで、人物枠61の色が青色に変化し、映像表示期間を確定させることができる。これにより、映像表示期間が、追跡対象とした人物が別人として追尾されていた期間を含む状態で確定される。
ここで、追跡対象となる人物が複数の別人として追尾される場合がある。この場合、追跡対象となる人物に表示されている緑色の人物枠を順次選択すればよく、選択された複数の人物枠の追尾期間が映像表示期間指定部93のバー66に追加される。
ところで、追跡対象となる人物を途中から別人として追尾し、その後、さらに追尾人物の入れ替わりが発生して、追跡対象ではない人物を同一人物として追尾する場合がある。この場合、映像表示期間に追加した追尾期間に追跡対象ではない別人の追尾期間が含まれ、この別人の追尾期間は不要であるため、この不要部分を削除する必要がある。
この場合、映像表示期間指定部93のバー66内の青色で表示された追加部分を選択して「部分編集」を選択する。具体的には、青色で表示された追加部分上で右クリックを行うことで表示されるポップアップメニューで「部分編集」を選択する。すると、バー66の追加部分が編集可能状態を表す黄色に変化し、図14に示した例と同様に、ドラッグ操作により表示期間の開始時刻および終了時刻を調整する。
ところで、このように追跡対象とした人物が別人として追尾されていたときの人物枠を選択して、その人物枠の追尾期間を映像表示期間に追加すると、その人物枠の人物を追跡対象とした人物に変更するように、追跡対象となる人物のカメラ内追尾情報を修正する。そして、隣接するカメラ1との間のカメラ間追尾をやり直して、カメラ間追尾情報も修正する。このとき、図16に示した例のように、未来側で人物枠が選択されると、未来側のカメラ1でカメラ間追尾をやり直し、過去側で人物枠が選択されると、過去側のカメラ1でカメラ間追尾をやり直す。
次に、映像表示期間の不足部分を追加する場合について説明する。図17は、映像の遷移状況の一例を示す説明図である。図18は、追尾結果編集画面における編集操作時の状況を示す説明図である。
図17に示す例では、カメラ内追尾において追跡対象とした人物の人物検知が最初から失敗して、時刻T1,T2の映像では、追跡対象とした人物に人物枠が表示されていない。そして、追跡対象とした人物のカメラ内追尾が途中から開始され、以降、追跡対象とした人物が映像からいなくなるまで、追跡対象とした人物が適切に追尾され、時刻T3,T4の映像では、追跡対象とした人物に赤色の人物枠が表示されている。
このような場合、カメラ内追尾で取得した追尾期間(初期の映像表示期間)は、過去側に不足部分がある不完全なものとなり、タイムライン画面では、映像の再生時に、追跡対象とした人物が写る映像が途中から表示される。
また、追跡対象とした人物のカメラ内追尾が途中で失敗して、追跡対象とした人物のカメラ内追尾が途中で終了した場合、カメラ内追尾で取得した追尾期間(初期の映像表示期間)は、未来側に不足部分がある不完全なものとなり、タイムライン画面では、映像の再生時に、追跡対象とした人物が写る映像が途中で途切れた状態となる。
このように、カメラ内追尾で取得した追尾期間の過去側や未来側に不足部分がある場合、本実施形態では、図18に示すように、追尾結果編集画面において、映像表示期間の不足部分を追加する編集操作を行うことができる。
この編集操作では、追尾期間の過去側に不足部分がある場合には、追跡対象とした人物が映像に最初に現れた時刻またはその近傍の適切な時刻を、映像表示期間の開始時刻として指定する。また、追尾期間の未来側に不足部分がある場合には、追跡対象とした人物が映像からいなくなる直前の時刻またはその近傍の適切な時刻を、映像表示期間の終了時刻として指定する。
具体的には、まず、再生操作部44や表示時刻調整部45を操作して、該当する時刻(開始時刻または終了時刻)の映像を映像表示部91に表示させる。そして、映像表示部91の映像を選択する操作を行う。具体的には、映像表示部91の映像上にポインタを合わせて左クリック操作を行う。
これにより、開始時刻または終了時刻が入力され、映像表示期間指定部93に、映像表示期間の不足部分が追加される。すなわち、追尾期間の過去側に不足部分がある場合には、開始時刻から初期の映像表示期間(追尾期間)までの期間が映像表示期間に追加される。また、追尾期間の未来側に不足部分がある場合には、初期の映像表示期間から終了時刻までの期間が映像表示期間に追加される。このとき、映像表示期間の追加部分は黄色で表示される。
また、映像表示期間指定部93で開始時刻や終了時刻を入力することもできる。すなわち、映像表示期間指定部93の枠65内で該当する時刻を指定する操作を行う。具体的には、枠65内の該当する時刻の部分にポインタを合わせて左クリック操作を行う。これにより、開始時刻や終了時刻が入力され、映像表示期間指定部93の映像表示期間に不足部分が追加される。
なお、映像表示期間の範囲は、映像表示部91の映像上にポインタを合わせて左クリック操作した時点で確定しており、再度、映像表示期間の範囲を調整する場合には、再度、追加された黄色のバー66上で、右クリックにて部分編集を選択することで、編集可能状態とすることができる。
このように、映像表示部91に表示させた開始時刻や終了時刻の映像を選択する操作や、映像表示期間指定部93で開始時刻や終了時刻を指定する操作により、開始時刻や終了時刻を入力することができるが、時刻の微調整などの目的で必要であれば、さらに、図14に示した例と同様に、ドラッグ操作により映像表示期間の開始時刻および終了時刻を調整するようにしてもよい。
以上のように、本実施形態では、前記のように、ドラッグ操作による映像表示期間の開始時刻および終了時刻の調整(不要部分の削除や不足部分の追加)や、人物枠の選択による追尾期間の映像表示期間への追加や、映像の選択による映像表示期間の開始時刻および終了時刻の指定などの各種の編集操作を行うことができ、これらの編集操作は、前記に例示した方法に限定されるものではなく、映像の状況に応じて各種の編集操作を適宜に組み合わせて行うこともできる。
また、映像表示期間指定部93においてバー66で表される映像表示期間に関する編集内容は、必要に応じて、全て破棄することができる。
具体的には、映像表示期間指定部93のバー66上で右クリックを行うことで表示されるポップアップメニューで「全削除」を選択する。また、映像表示部91で人物枠を選択してその追尾期間を映像表示期間に追加した場合には、映像表示部91に表示された人物枠上で右クリックを行うことで表示されるポップアップメニューで「全削除」を選択する。
すなわち、この「全削除」を選択された場合には、追加にかかる映像表示期間の編集内容を全て破棄する全削除(部分全削除)が実行される。そして、映像表示期間に関する編集内容を全て破棄する場合には、キャンセルボタンを操作することにより、タイムライン画面に戻り、映像表示期間に関する編集をやり直すことができる。
このように、追尾結果編集画面において映像表示期間を適切な期間に修正する編集操作を行うことができ、この編集操作を行って確定ボタン97を操作すると、確認映像表示状態のタイムライン画面(追跡対象確認画面、図8参照)に戻る。このタイムライン画面では、追尾結果編集画面における編集結果が反映された状態で映像が適切に再生される。すなわち、追跡対象とした人物が映像に現れてからその人物が映像からいなくなるまでの出現期間の全体に渡って映像が再生される。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、前記の実施形態では、スーパーマーケットなどの小売店舗の例について説明したが、ファミリーレストランなどの飲食店など、小売店舗以外の業務形態の店舗に適用することも可能であり、さらに、事業所などの店舗以外の施設にも適用することができる。
また、前記の実施形態では、移動体として人物を追跡する例について説明したが、人物以外の移動体、例えば自動車や自転車などの車両を追跡する構成も可能である。
また、前記の実施形態では、追跡対象確認画面および候補選択画面として、カメラ1ごとの映像を撮影時刻順に並べて表示したタイムライン画面を表示するようにしたが、このタイムライン画面の代わりに、店舗内のレイアウトを示す地図画像上に、カメラ1ごとの映像をそれぞれ表示する複数の映像表示枠を、カメラ1の撮影領域に概ね対応する位置に配置したマップ画面を表示するようにしてもよい。また、追跡対象検索画面もマップ画面で表示することも可能である。
また、前記の実施形態では、人物が追尾されていることを表す追尾マークとして矩形の人物枠を表示するようにしたが、追尾マークはこのような形態のものに限定されるものではなく、種々の形態のものを採用することができる。
また、前記の実施形態では、追跡対象とした人物に関する追尾情報に基づいて確認映像提示部39により提示された確認映像に対応する人物を、候補映像提示部40により提示された候補映像に対応する人物や、監視者が映像上で指定した人物に置き換えるように追跡情報の修正が、カメラ内追尾情報修正部26やカメラ間追尾情報修正部38で行われるが、この追跡情報の修正には、誤った追跡情報を単に削除することも含まれる。すなわち、確認映像に誤りがあるものの、それに代わる適切な映像が見つからない場合には、誤りがある確認映像に対応する人物を追跡情報から削除する。
また、前記の実施形態では、図1および図3に示したように、カメラ内追尾処理をカメラ内追尾処理装置4に行わせ、カメラ間追尾処理および追跡支援処理をPC3に行わせる例について説明したが、カメラ内追尾処理もPC3に行わせる構成としてもよい。また、カメラ内追尾処理部をカメラ1に設ける構成も可能である。また、カメラ間追尾処理部22の全部または一部をPC3とは別の追尾処理装置で構成することも可能である。
また、前記の実施形態では、図2に示したように、カメラ1を、視野角の限定される箱型カメラとしたが、これに限らず、広範囲の撮影が可能な全方位カメラを用いることもできる。
また、本実施形態では、カメラ内追尾処理および追跡支援処理を、店舗に設けられた装置に行わせるようにしたが、これらの必要な処理を、図1に示したように、本部に設けられたPC11や、クラウドコンピューティングシステムを構成するクラウドコンピュータ12に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、IPネットワークやLANなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で追跡支援システムが構成される。
特に、クラウドコンピュータ12を含むシステム構成では、店舗や本部に設けられたPC3,11の他に、クラウドコンピュータ12にネットワーク接続されたスマートフォン13やタブレット端末14などの携帯型端末で、必要な情報を表示させることができるようにするとよく、これにより店舗や本部の他に外出先などの任意の場所で必要な情報を確認することができる。
また、前記の実施形態では、カメラ1の映像を蓄積するレコーダ2を店舗に設置するようにしたが、追跡支援に必要な処理を、本部に設置されたPC11やクラウドコンピュータ12に行わせる場合には、カメラ1の映像を、本部や、クラウドコンピューティングシステムの運営施設などに送信して、そこに設置された装置にカメラ1の映像を蓄積するようにしてもよい。
本発明に係る追跡支援装置、追跡支援システムおよび追跡支援方法は、カメラ内追尾がいかなる結果になっても、監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができる効果を有し、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置、追跡支援システムおよび追跡支援方法などとして有用である。
1 カメラ
2 レコーダ(映像蓄積手段)
3 PC(追跡支援装置)
4 カメラ内追尾処理装置
6 入力デバイス
7 モニタ
11 PC
12 クラウドコンピュータ
13 スマートフォン
14 タブレット端末
21 追尾情報蓄積部
22 カメラ間追尾処理部
23 入力情報取得部
24 追跡対象処理部
25 映像提示部
26 カメラ内追尾情報修正部
27 映像再生部
28 画面生成部
31 検索条件設定部
32 追跡対象設定部
33 映像表示期間設定部
34 追跡対象追加設定部
35 リンクスコア算出部
36 初期追尾情報生成部
37 候補選択部
38 カメラ間追尾情報修正部
39 確認映像提示部
40 候補映像提示部
46 映像表示期間指定部
93 映像表示期間指定部
66 バー(可動操作部)

Claims (13)

  1. 映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、
    ユーザの操作入力に応じて、追跡対象となる移動体の映像を探し出すための検索条件を設定する検索条件設定部と、
    前記映像蓄積手段より前記検索条件に適合する映像を取得して追跡対象検索画面を前記表示装置に表示させて、その追跡対象検索画面において映像上に表示された追尾マークを選択する操作により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を前記追跡対象に設定する追跡対象設定部と、
    前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、
    前記追跡対象検索画面において追跡対象とする移動体に前記追尾マークが表示されない場合に、ユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定する映像表示期間設定部と、
    前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する追尾情報修正部と、
    を備えたことを特徴とする追跡支援装置。
  2. 前記映像表示期間設定部は、前記追跡対象検索画面に、前記映像表示期間の開始時刻および終了時刻をそれぞれ表す可動操作部を表示して、その可動操作部をずらすことで前記映像表示期間の範囲を調整する操作をユーザに行わせることを特徴とする請求項1に記載の追跡支援装置。
  3. 前記映像表示期間設定部は、前記追跡対象検索画面において、前記カメラの映像を、その表示時刻を調整可能に表示して、追跡対象とする移動体が最初に出現した映像と、追跡対象とする移動体が消失する直前の映像とを選択する操作をユーザに行わせて、前記映像表示期間の開始時刻および終了時刻を取得することを特徴とする請求項1に記載の追跡支援装置。
  4. 映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、
    前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、
    前記追跡対象確認画面に表示される前記カメラごとの前記確認映像に過不足がある場合に、追尾結果編集画面を前記表示装置に表示させて、前記追尾結果編集画面上でのユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定する映像表示期間設定部と、
    前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する追尾情報修正部と、
    を備えたことを特徴とする追跡支援装置。
  5. 前記映像表示期間設定部は、前記カメラごとの映像に対するカメラ内追尾処理により取得した追尾期間を初期の映像表示期間として前記追尾結果編集画面に表示して、その追尾結果編集画面において、前記初期の映像表示期間に対して部分的な削除および追加の少なくともいずれが行われるように、前記映像表示期間の範囲を調整する操作をユーザに行わせることを特徴とする請求項4に記載の追跡支援装置。
  6. 前記映像表示期間設定部は、前記追尾結果編集画面に、前記映像表示期間の開始時刻および終了時刻をそれぞれ表す可動操作部を表示して、その可動操作部をずらすことで前記映像表示期間の範囲を調整する操作をユーザに行わせることを特徴とする請求項4に記載の追跡支援装置。
  7. 前記映像表示期間設定部は、前記追尾結果編集画面において、前記カメラの映像を、その表示時刻を調整可能に表示して、追跡対象とした移動体が最初に出現した映像と、追跡対象とした移動体が消失する直前の映像との少なくともいずれかを選択する操作をユーザに行わせて、前記映像表示期間の開始時刻および終了時刻の少なくともいずれかを取得することを特徴とする請求項4に記載の追跡支援装置。
  8. 前記映像表示期間設定部は、前記追尾結果編集画面において映像に現れる追跡対象となる移動体の追尾マークを選択する操作をユーザに行わせて、その選択された移動体の追尾期間を含むように前記映像表示期間を設定することを特徴とする請求項4に記載の追跡支援装置。
  9. さらに、前記追跡対象に設定された移動体、およびその移動体と同一として対応づけられた移動体に関する前記カメラごとの映像が撮影時刻順に並べて表示された連続再生画面を前記表示装置に表示させ、この連続再生画面において、前記カメラごとの映像を、時間の経過にしたがって順次動画で表示させる連続再生を行う映像再生部を備えたことを特徴とする請求項1から請求項8のいずれかに記載の追跡支援装置。
  10. 映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、
    監視エリアを撮影する前記カメラと、
    このカメラごとの映像を表示する前記表示装置と、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    ユーザの操作入力に応じて、追跡対象となる移動体の映像を探し出すための検索条件を設定する検索条件設定部と、
    前記映像蓄積手段より前記検索条件に適合する映像を取得して追跡対象検索画面を前記表示装置に表示させて、その追跡対象検索画面において映像上に表示された追尾マークを選択する操作により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を前記追跡対象に設定する追跡対象設定部と、
    前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、
    前記追跡対象検索画面において追跡対象とする移動体に前記追尾マークが表示されない場合に、ユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定する映像表示期間設定部と、
    前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する追尾情報修正部と、
    を備えたことを特徴とする追跡支援システム。
  11. 映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、
    監視エリアを撮影する前記カメラと、
    このカメラごとの映像を表示する前記表示装置と、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、
    前記追跡対象確認画面に表示される前記カメラごとの前記確認映像に過不足がある場合に、追尾結果編集画面を前記表示装置に表示させて、前記追尾結果編集画面上でのユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定する映像表示期間設定部と、
    前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正する追尾情報修正部と、
    を備えたことを特徴とする追跡支援システム。
  12. 映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、
    ユーザの操作入力に応じて、追跡対象となる移動体の映像を探し出すための検索条件を設定し、
    前記映像蓄積手段より前記検索条件に適合する映像を取得して追跡対象検索画面を前記表示装置に表示させて、その追跡対象検索画面において映像上に表示された追尾マークを選択する操作により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を前記追跡対象に設定し、
    前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させ、
    前記追跡対象検索画面において追跡対象とする移動体に前記追尾マークが表示されない場合に、ユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定し、
    前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正することを特徴とする追跡支援方法。
  13. 映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、
    前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させ、
    前記追跡対象確認画面に表示される前記カメラごとの前記確認映像に過不足がある場合に、追尾結果編集画面を前記表示装置に表示させて、前記追尾結果編集画面上でのユーザの操作入力に応じて、前記追跡対象に設定された移動体が映像に出現する映像表示期間を設定し、
    前記映像表示期間に基づいて前記追跡対象確認画面において前記確認映像を表示させるように前記追尾情報を修正することを特徴とする追跡支援方法。
JP2016020891A 2016-02-05 2016-02-05 追跡支援装置、追跡支援システムおよび追跡支援方法 Active JP6284086B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2016020891A JP6284086B2 (ja) 2016-02-05 2016-02-05 追跡支援装置、追跡支援システムおよび追跡支援方法
US16/074,255 US11335173B2 (en) 2016-02-05 2016-11-16 Tracking assistance device, tracking assistance system, and tracking assistance method
RU2018127847A RU2691057C1 (ru) 2016-02-05 2016-11-16 Устройство помощи в слежении, система помощи в слежении и способ помощи в слежении
DE112016006156.0T DE112016006156T5 (de) 2016-02-05 2016-11-16 Verfolgungsunterstützungsvorrichtung, verfolgungsunterstützungssystem und verfolgungsunterstützungsverfahren
GB1810666.6A GB2562641B (en) 2016-02-05 2016-11-16 Tracking assistance device, tracking assistance system, and tracking assistance method
PCT/JP2016/004898 WO2017134712A1 (ja) 2016-02-05 2016-11-16 追跡支援装置、追跡支援システムおよび追跡支援方法
CN201680080381.6A CN108605115B (zh) 2016-02-05 2016-11-16 跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016020891A JP6284086B2 (ja) 2016-02-05 2016-02-05 追跡支援装置、追跡支援システムおよび追跡支援方法

Publications (2)

Publication Number Publication Date
JP2017139701A true JP2017139701A (ja) 2017-08-10
JP6284086B2 JP6284086B2 (ja) 2018-02-28

Family

ID=59499448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016020891A Active JP6284086B2 (ja) 2016-02-05 2016-02-05 追跡支援装置、追跡支援システムおよび追跡支援方法

Country Status (7)

Country Link
US (1) US11335173B2 (ja)
JP (1) JP6284086B2 (ja)
CN (1) CN108605115B (ja)
DE (1) DE112016006156T5 (ja)
GB (1) GB2562641B (ja)
RU (1) RU2691057C1 (ja)
WO (1) WO2017134712A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866428A (zh) * 2018-08-28 2020-03-06 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
JP2020047069A (ja) * 2018-09-20 2020-03-26 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
KR102114687B1 (ko) * 2019-05-10 2020-05-25 정원주 오브젝트 트랙킹 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019044124A1 (ja) * 2017-09-04 2019-03-07 大樹 梶田 多視点映像視聴システムおよびカメラシステム
SG10201807678WA (en) * 2018-09-06 2020-04-29 Nec Asia Pacific Pte Ltd A method for identifying potential associates of at least one target person, and an identification device
CN109831622B (zh) * 2019-01-03 2021-06-22 华为技术有限公司 一种拍摄方法及电子设备
EP3912132A4 (en) * 2019-02-28 2022-12-07 Stats Llc SYSTEM AND METHOD FOR GENERATION OF PLAYER TRACKING DATA FROM BROADCAST VIDEO
WO2021152837A1 (ja) * 2020-01-31 2021-08-05 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP2022011666A (ja) * 2020-06-30 2022-01-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN116915959B (zh) * 2023-09-06 2023-11-28 南京比特兔机器人科技有限公司 监控数据处理方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006654A (ja) * 2001-06-20 2003-01-10 Nippon Telegr & Teleph Corp <Ntt> 動画像における移動体の特徴量抽出方法と自動追跡方法及びそれらの装置、並びに、それらの方法の実行プログラムとこの実行プログラムを記録した記録媒体
JP2008141386A (ja) * 2006-11-30 2008-06-19 Secom Co Ltd 監視システム
JP2010161562A (ja) * 2009-01-07 2010-07-22 Canon Inc 画像処理装置、その制御方法、プログラム及び記録媒体
JP2010183253A (ja) * 2009-02-04 2010-08-19 Nikon Corp 情報表示装置および情報表示プログラム
JP2011170711A (ja) * 2010-02-19 2011-09-01 Toshiba Corp 移動物体追跡システムおよび移動物体追跡方法
JP2011199526A (ja) * 2010-03-18 2011-10-06 Fujifilm Corp 被写体の追尾装置およびその動作制御方法
JP2012099976A (ja) * 2010-10-29 2012-05-24 Keyence Corp 動画追尾装置、動画追尾方法および動画追尾プログラム
JP2012099975A (ja) * 2010-10-29 2012-05-24 Keyence Corp 動画追尾装置、動画追尾方法および動画追尾プログラム
JP2013247508A (ja) * 2012-05-25 2013-12-09 Canon Inc 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ
JP2015019249A (ja) * 2013-07-11 2015-01-29 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP2015019250A (ja) * 2013-07-11 2015-01-29 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5131882A (ja) 1974-09-12 1976-03-18 Matsushita Electric Works Ltd Sashikomisetsuzokuki
JPS556990A (en) 1979-04-27 1980-01-18 Houjiyou Tsushin Kk Transmission system
JP2000069346A (ja) * 1998-06-12 2000-03-03 Canon Inc カメラ制御装置、方法、カメラ、追尾カメラシステム及びコンピュ―タ読み取り可能な記憶媒体
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
JP5528151B2 (ja) 2010-02-19 2014-06-25 パナソニック株式会社 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム
JP2012247508A (ja) * 2011-05-25 2012-12-13 Dainippon Printing Co Ltd パターン位相差フィルムの作製方法、パターン位相差フィルム作製用金型の作製方法
JP5999105B2 (ja) * 2012-01-17 2016-09-28 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5962916B2 (ja) 2012-11-14 2016-08-03 パナソニックIpマネジメント株式会社 映像監視システム
JP5506989B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5834249B2 (ja) * 2013-11-20 2015-12-16 パナソニックIpマネジメント株式会社 人物移動分析装置、人物移動分析システムおよび人物移動分析方法
JP5999394B2 (ja) 2015-02-20 2016-09-28 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US10186044B2 (en) 2015-03-04 2019-01-22 Panasonic Intellectual Property Management Co., Ltd. Person tracking method and person tracking device
JP6399356B2 (ja) 2015-05-26 2018-10-03 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006654A (ja) * 2001-06-20 2003-01-10 Nippon Telegr & Teleph Corp <Ntt> 動画像における移動体の特徴量抽出方法と自動追跡方法及びそれらの装置、並びに、それらの方法の実行プログラムとこの実行プログラムを記録した記録媒体
JP2008141386A (ja) * 2006-11-30 2008-06-19 Secom Co Ltd 監視システム
JP2010161562A (ja) * 2009-01-07 2010-07-22 Canon Inc 画像処理装置、その制御方法、プログラム及び記録媒体
JP2010183253A (ja) * 2009-02-04 2010-08-19 Nikon Corp 情報表示装置および情報表示プログラム
JP2011170711A (ja) * 2010-02-19 2011-09-01 Toshiba Corp 移動物体追跡システムおよび移動物体追跡方法
JP2011199526A (ja) * 2010-03-18 2011-10-06 Fujifilm Corp 被写体の追尾装置およびその動作制御方法
JP2012099976A (ja) * 2010-10-29 2012-05-24 Keyence Corp 動画追尾装置、動画追尾方法および動画追尾プログラム
JP2012099975A (ja) * 2010-10-29 2012-05-24 Keyence Corp 動画追尾装置、動画追尾方法および動画追尾プログラム
JP2013247508A (ja) * 2012-05-25 2013-12-09 Canon Inc 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ
JP2015019249A (ja) * 2013-07-11 2015-01-29 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP2015019250A (ja) * 2013-07-11 2015-01-29 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866428A (zh) * 2018-08-28 2020-03-06 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN110866428B (zh) * 2018-08-28 2023-12-15 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
JP2020047069A (ja) * 2018-09-20 2020-03-26 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
JP7018001B2 (ja) 2018-09-20 2022-02-09 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
KR102114687B1 (ko) * 2019-05-10 2020-05-25 정원주 오브젝트 트랙킹 방법 및 장치

Also Published As

Publication number Publication date
JP6284086B2 (ja) 2018-02-28
US20210174652A1 (en) 2021-06-10
RU2691057C1 (ru) 2019-06-10
US11335173B2 (en) 2022-05-17
CN108605115B (zh) 2020-08-28
CN108605115A (zh) 2018-09-28
GB2562641B (en) 2021-07-28
GB201810666D0 (en) 2018-08-15
DE112016006156T5 (de) 2018-09-20
WO2017134712A1 (ja) 2017-08-10
GB2562641A (en) 2018-11-21
GB2562641A8 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
JP6284086B2 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5999394B2 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5506990B1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6206857B1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5438861B1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6399356B2 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
US10496878B2 (en) Information processing apparatus, method and computer program product
JP6593742B2 (ja) 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法
CN100583999C (zh) 处理图像的装置和方法及处理再现图像的装置和方法
US20080304706A1 (en) Information processing apparatus and information processing method
US9773523B2 (en) Apparatus, method and computer program
US20160381290A1 (en) Apparatus, method and computer program
JP4185376B2 (ja) 画像処理システム
JP4175622B2 (ja) 画像表示システム
JP6847168B2 (ja) 動画再生装置及び動画再生方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180119

R151 Written notification of patent or utility model registration

Ref document number: 6284086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151