JP2016063468A - 映像処理装置、映像処理方法及び映像処理システム - Google Patents
映像処理装置、映像処理方法及び映像処理システム Download PDFInfo
- Publication number
- JP2016063468A JP2016063468A JP2014191416A JP2014191416A JP2016063468A JP 2016063468 A JP2016063468 A JP 2016063468A JP 2014191416 A JP2014191416 A JP 2014191416A JP 2014191416 A JP2014191416 A JP 2014191416A JP 2016063468 A JP2016063468 A JP 2016063468A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- video
- moving body
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012544 monitoring process Methods 0.000 claims abstract description 164
- 238000003384 imaging method Methods 0.000 claims abstract description 122
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 48
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 description 31
- 238000007726 management method Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000009434 installation Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】映像処理装置は、複数の撮像部で撮像された各画像から、監視対象である特定移動体を検出する特定移動体検出手段と、特定移動体が移動しようとしている方向を特定するための移動情報を検出する移動情報検出手段と、移動情報と、複数の撮像部の撮像範囲を示す情報とに基づいて、特定移動体を撮像している第一の撮像部の次に当該特定移動体を撮像する第二の撮像部を予測する予測手段と、予測手段で予測した結果を特定するための表示を、第二の撮像部で特定移動体を撮像する前に行わせる表示制御手段と、を備える。
【選択図】 図1
Description
また、近年、複数台の監視カメラを用いて、広域にわたって監視対象を追尾する技術も考えられている。
しかしながら、監視対象範囲が広域にわたる場合、監視カメラの設置台数が多くなり、監視員が一度に確認できる映像が限られる。そのため、監視対象者が撮影されている映像を画面で追尾し続けることが困難になる。
そこで、本発明は、複数の撮像部が設置されている監視対象空間を監視する監視者が、監視対象である特定移動体を効率よく監視することができる映像処理装置、映像処理方法及び映像処理システムを提供することを課題としている。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
図1は、本実施形態における映像処理システムの動作環境の一例を示したネットワーク接続構成図である。本実施形態では、映像処理システムをネットワークカメラシステムに適用する。
ネットワークカメラシステム10は、複数台のネットワークカメラ(以下、単に「カメラ」ともいう)20A及び20Bと、ストレージ装置30と、管理サーバ装置40と、及び映像表示装置50とを備える。カメラ20A及び20B、ストレージ装置30、管理サーバ装置40及び映像表示装置50は、ネットワーク回線であるLAN(Local Area Network)60によって接続されている。なお、ネットワーク回線はLANに限定されるものではなく、インターネットやWAN (Wide Area Network)などであってもよい。
カメラ20A及び20Bは、被写体を撮影すると同時に、撮影した映像と管理サーバ装置40が管理している人物照合データとを照合して特定人物(監視対象者)を検出し、当該監視対象者の追尾処理を行う機能を有する。カメラ20A及び20Bは、撮影した映像データや映像解析処理後の映像解析データを含む映像データファイルを、LAN60を介してストレージ装置30に送信する。
管理サーバ装置40は、ストレージ装置30に記録された映像データファイルを収集する。そして、管理サーバ装置40は、収集されたデータ(現在の映像データ及び映像解析データ、並びに過去の映像データ及び映像解析データ)を利用し、監視対象範囲全体に亘る映像情報の管理を行う。
映像表示装置50は、例えばパーソナルコンピューター(PC)により構成されており、カメラ20A及び20Bからの映像の表示制御を行う。映像表示装置50は、各カメラで撮像された複数の映像を一画面で分割表示する複数画面表示(マルチ画面表示)機能を有する。また、映像表示装置50は、監視対象者の追尾映像を表示する機能、及び次に監視対象者を撮像すると予測されるカメラの映像(出現予測映像)を、当該カメラで監視対象者を撮像する前に強調表示(明示的に表示)する機能を有する。
なお、映像表示装置50のLAN60への物理的な接続形態は、有線に限定されるものではなく、例えばタブレット端末のように無線であってもよい。すなわち、プロトコル的に接続されていれば、物理的な形態にこだわるものではない。
また、図1に示すシステムにおいて、撮像装置であるカメラは2台以上で構成されていればよく、2台以上であれば何台でもよい。さらに、ストレージ装置30、管理サーバ装置40及び映像表示装置50がLAN60に接続される数は、図1に示す数に限定されるものではなく、アドレスなどで識別できれば多数存在してもよい。
また、監視対象である移動体は人物に限定されるものではなく、例えば車両等の任意の移動体オブジェクトであってもよい。
図2は、カメラ20A,20Bのハードウェア構成の一例を示す図である。なお、カメラ20Aとカメラ20Bとは同一のハードウェア構成を有するため、ここではカメラ20Aについてのみ説明する。
カメラ20Aは、CPU21と、ROM22と、RAM23と、外部メモリ24と、撮像部25と、入力部26と、通信I/F27と、システムバス28とを備える。
ROM22は、CPU21が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ24や着脱可能な記憶媒体(不図示)に記憶されていてもよい。
RAM23は、CPU21の主メモリ、ワークエリア等として機能する。すなわち、CPU21は、処理の実行に際してROM22から必要なプログラム等をRAM23にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
撮像部25は、被写体の撮像を行うためのものであり、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等の撮像素子を含んで構成される。
通信I/F27は、外部装置(ここでは、ストレージ装置30及び管理サーバ装置40)と通信するためのインターフェースである。通信I/F27は、例えばLANインターフェースである。
システムバス28は、CPU21、ROM22、RAM23、外部メモリ24、撮像部25、入力部26及び通信I/F27を通信可能に接続する。
すなわち、CPU21は、ROM22に記憶されたプログラムを実行することで、上述した撮影処理及び追尾処理を実現する。
映像表示装置50は、CPU51と、ROM52と、RAM53と、外部メモリ54と、入力部55と、表示部56と、通信I/F57と、システムバス58とを備える。
CPU51は、映像表示装置50における動作を統括的に制御するものであり、システムバス58を介して、各構成部(52〜57)を制御する。
ROM52は、CPU51が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ54や着脱可能な記憶媒体(不図示)に記憶されていてもよい。
外部メモリ54は、例えば、CPU51がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ54には、例えば、CPU51がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
表示部56は、液晶ディスプレイ(LCD)等のモニタで構成される。
通信I/F57は、外部装置(ここでは、ストレージ装置30及び管理サーバ装置40)と通信するためのインターフェースである。通信I/F27は、例えばLANインターフェースである。
システムバス58は、CPU51、ROM52、RAM53、外部メモリ54、入力部55、表示部56及び通信I/F57を通信可能に接続する。
すなわち、CPU51は、ROM52に記憶されたプログラムを実行することで、上述した追尾映像及び出現予測映像の表示制御処理を実現する。
カメラ20Aは、撮像センサ部121と、現像処理部122と、人物照合処理部123と、人物照合データ蓄積部124と、特定人物移動パターン検出部125と、映像符号化部126と、LANI/F部127と、を備える。
現像処理部122は、撮像センサ部121により光電変換されて得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行ない、RGBあるいはYUVなどのデジタル映像を生成する。また、現像処理部122は、現像を施した後のデジタル映像を用いて所定の演算処理を行ない、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの映像処理を行う。
人物照合データ蓄積部124は、不揮発性のメモリなどに対する人物照合データの書き込み、読み出し及び消去が可能となっている。人物照合データ蓄積部124で書き込まれる人物照合データは、管理サーバ装置40で管理されている人物照合データである。つまり、人物照合データ蓄積部124は、管理サーバ装置40から送信される人物照合データを、後述するLANI/F部127によって取得し、上記メモリ等に書き込む。
例えば、予めカメラの撮影画角に応じて映像画面上のどの位置からどの位置への移動がどの方向の移動に対応付けられるかを設定しておくことが可能である。この場合、監視対象者が進んでいる方向を方位角、監視対象者の移動する軌跡を軌跡座標、監視対象者の移動する速度をフレーム間で移動した距離として、これらを組み合わせて移動パターンデータを生成する。なお、本実施形態において、監視対象者の移動方向は、第1の期間における監視対象者の移動方向によって特定される情報であり、監視対象者の移動軌跡は、第1の期間よりも長い第2の期間における監視対象者の移動方向によって特定される情報である。特定人物移動パターン検出部125は、検出した移動パターンデータを映像符号化部126へ出力する。
映像符号化部126は、現像処理部122、人物照合処理部123、特定人物移動パターン検出部125を通じて入力されるデジタル映像信号(映像データ、映像解析データ)に対して、配信用に圧縮、フレームレート設定などを施し、符号化する。ここでの配信用の圧縮方式は、所定の例えば、MPEG4(Moving Picture Experts Group phase4)、H.264、MJPEG(Motion-JPEG)またはJPEG(Joint Photographic Experts Group)などの規格に基づく。
LANI/F部127は、通信I/F27を制御して、管理サーバ装置40との通信制御を行う。このLANI/F部127は、管理サーバ装置40から送信される人物照合データを受信し、人物照合データ蓄積部124へ送信する。
映像表示装置50は、LANI/F部151と、映像復号化部152と、特定人物出現情報生成部153と、映像表示処理部154と、ディスプレイ155と、を備える。
LANI/F部151は、カメラ20AのLANI/F部127と同等の機能を有する。このLANI/F部151は、管理サーバ装置40から送信される各種管理情報を受信したり、ストレージ装置30に記憶された各カメラからの映像データファイルを受信したりする。
特定人物出現情報生成部153は、映像復号化部152から入力した監視対象者の移動パターンデータをもとに、特定人物出現情報を生成する。特定人物出現情報には、監視対象者がどのカメラの撮像範囲に向かって進んでいるのかを示す情報(監視対象者を次に撮像するカメラの情報)と、監視対象者を次に撮像するカメラの映像画面上において、当該監視対象者がどのあたりに出現されるかの範囲を示す情報とを含む。
このように、本実施形態では、1つのカメラの映像から監視対象者の移動パターンを検出し、当該移動パターンに応じて、次に監視対象者が映るはずのカメラを予測する。そして、本実施形態の映像表示装置50は、当該予測された結果を特定するための表示を、次に監視対象者が移るはずのカメラが監視対象者を撮像する前におこなわせる。予測された結果を特定するための表示とは、例えば、予測されたカメラにより撮像された映像(出現予測映像)の強調表示である。強調表示の方法は、例えば、出現予測映像を拡大表示したり、出現予測映像の枠をフラッシュないし点滅(ブリンク)させたり、ハイライト表示したり、矢印などによって明示させたりといった方法がある。ただし、強調表示の方法は、上記の方法に限らない。また、予測された結果を特定するための表示は、強調表示に限らない。例えば、予測されたカメラの撮像画像がディスプレイ上に表示されていない場合に、当該カメラの撮像画像を、予測結果に応じてディスプレイ上に表示させることも、予測された結果を特定するための表示に含まれる。
次にステップS2では、カメラ20Aは、ステップS1で取得した人物照会データを所定の記憶領域(メモリ等)に蓄積し、ステップS3に移行する。
ステップS3では、カメラ20Aは、撮像部25による撮像を開始し、ステップS4に移行する。このステップS3では、カメラ20Aは、撮像センサ部121から得られたデジタル電気信号に対して所定の現像処理を施し、映像データを生成する処理を開始する。
ステップS5では、カメラ20Aは、ステップS4で検出した人物映像を人物照会データ蓄積部125に蓄積された人物照会データと照合する。照合の結果、撮像された人物映像と人物照会データの人物とが一致しない場合には、監視対象者は撮影されていないと判断してステップS4に移行する。すなわち、照合に用いた映像データと照合処理後の監視対象者が非検出であることを示す映像解析データとを符号化し、符号化した映像データファイルをストレージ装置30に対して送信する。
ステップS5の照合の結果、撮像された人物映像と人物照会データの人物とが一致した場合には、監視対象者が撮影されていると判断してステップS6に移行する。
ステップS6では、カメラ20Aは、監視対象者の追尾処理を行う。すなわち、監視対象者に識別子となるIDを付与して当該監視対象者の追尾を行う。
そして、ステップS7で一定時間が経過したと判断すると、カメラ20Aは、ステップS8に移行して、監視対象者の移動パターンを検出し、移動パターンデータを生成する。
ステップS10では、カメラ20Aは、監視対象者の追尾を終了するか否かを判定する。ここでは、映像から監視対象者が消失したと判断したとき、監視対象者の追尾を終了すると判断する。監視対象者が映像から消失しておらず、監視対象者の追尾を継続する場合にはステップS6に移行し、監視対象者の追尾を終了する場合にはステップS11に移行する。
図6は、映像表示装置50で実行する映像表示処理手順を示すフローチャートである。図6に示される処理は、図3で示すCPU51が、図6のフローチャートに対応する処理の実行のために必要なプログラムを読み出して実行することにより、実現される。本実施形態において、図6の処理は、ユーザからカメラ20Aに対する撮影開始指示が行われてから所定時間ごとに繰り返し実行される。ただし、図6の処理の実行タイミングは上記のタイミングに限らない。
ステップS22では、映像表示装置50は、ステップS21で取得した各映像データファイルを復号化し、当該映像データファイルに含まれる各カメラの映像データをもとに、各カメラ映像をマルチ画面表示する。
ステップS24では、映像表示装置50は、ステップS23で選択した追尾映像を強調表示する。例えば、映像表示装置50は、監視対象者が撮像された映像データと当該映像データの映像解析データとを重畳し、ディスプレイ上で拡大表示する。
次にステップS26で、映像表示装置50は、各映像データファイルに含まれる移動パターンデータを解析し、ステップS25で選択した出現予測映像の表示画面上において、監視対象者が出現すると予測される範囲(出現予測範囲)を特定し、ステップS27に移行する。
ステップS27では、映像表示装置50は、ステップS25で選択した出現予測映像をディスプレイ上で強調表示(例えば、拡大表示)し、映像表示処理を終了する。このとき、映像表示装置50は、出現予測映像の表示に際し、ステップS26で特定した出現予測範囲を当該出現予測映像に重畳して表示する。
次に、第一の実施形態の動作について説明する。
ここでは、図7に示すように、監視対象範囲に6台のカメラ201〜206が分散して配置されている環境での動作について説明する。ここで、カメラ201〜206は、上述したカメラ20A及び20Bと同一構成を有する。図7において、カメラ201は撮影範囲211内の被写体を撮像し、カメラ202は撮像範囲212内の被写体を撮像する。カメラ203〜206についても同様である。
図8において、出力画面500中の領域501,501,…,506は、それぞれカメラ201(camera1),202(camera2),…,206(camera6)が撮影した映像を表示する領域である。また、領域511は、監視対象者の追尾映像を表示する領域である。この時点では、領域511には、カメラ201の映像が表示される。
その後、カメラ201で監視対象者P1を追尾可能な状態となった時点から一定時間が経過すると、カメラ201は監視対象者P1の移動パターンを検出する(ステップS8)。そして、カメラ201は、検出した移動パターンを示す移動パターンデータを映像データと共にストレージ装置30へ送信する(ステップS9)。
図7に示すように、監視対象者P1がカメラ201の撮影範囲211からカメラ202の撮影範囲212の方向へ移動した場合、カメラ201の撮影画面上では、監視対象者P1は図9の矢印の方向へ移動する。そして、監視対象者P1がカメラ202の撮影範囲212内に入り、カメラ202で監視対象者P1を撮像すると、カメラ202の撮影画面上では、監視対象者P1は図10の破線で示す位置に出現する。
このように、映像表示装置50は、出力画面500の領域512に、カメラ202が撮像した映像を表示する。すなわち、映像表示装置50は、監視対象者P1の出現予測映像を拡大表示することで、当該出現予測映像を強調表示する。また、映像表示装置50は、監視対象者P1の出現予測範囲521も強調表示する。
以降、監視対象者P1がカメラ206の撮影範囲216を通過するまで同様の動作を繰り返す。
また、上記の例では、監視対象者が1人である場合について説明したが、監視対象者が複数人の場合にも適用可能である。この場合、監視対象者毎に、それぞれ追尾映像と出現予測映像とを表示すればよい。
以上のように、本実施形態では、監視対象空間に複数のカメラが設置されている環境で、監視対象者を撮像している1つのカメラ(第一のカメラ)の映像データをもとに、第一のカメラの次に当該監視対象者を撮像する第二のカメラを予測し、その予測された第二のカメラによる撮像画像を強調表示する。第二のカメラの予測に際し、先ず、複数のカメラで撮像された各画像から、監視対象者を検出する。次に、当該監視対象者が移動しようとしている方向を特定するための移動情報を検出する。そして、検出した移動情報と、複数のカメラの撮像範囲を示す情報とに基づいて、上記第二のカメラを予測し、予測されたカメラの撮像画像を強調表示する。
また、監視対象者の出現予測をするので、単に監視対象者の現在位置近傍に配置されているカメラ(監視対象者を撮像しているカメラに隣接配置するカメラ)の映像を表示する場合と比較して、容易且つ適切に監視対象者を映像で追尾することができる。
このとき、監視対象者の移動方向、移動軌跡、移動速度を示す情報の組み合わせから当該監視対象者が移動しようとしている方向を特定するため、次に監視対象者を撮像するカメラを精度よく予測することができる。
また、マルチ画面表示において、第二のカメラの映像を他の映像とは異なる視覚的効果(画面枠フラッシュ、矢印表示など)を付与して表示すれば、監視員は、どのカメラからの映像が出現予測映像として選択されているかを容易に認識することができる。
次に、本発明における第二の実施形態について説明する。
この第二の実施形態は、パン・チルト・ズーム制御機能が搭載されたカメラを用いたものである。
すなわち、図1におけるカメラ20A及び20Bは、図12に示すように、パン・チルト・ズーム制御部128を備える。なお、この図12においては、図4と同一構成を有する部分には同一符号を付し、以下、図4と構成の異なる部分を中心に説明する。
パン・チルト・ズーム制御部128は、カメラ20Aのパン機構、チルト機構及びズーム機構をそれぞれ制御するための制御指令を各機構の駆動部に対して出力し、カメラ20Aの撮影方向・範囲・画角を制御する。
映像表示装置50は、LANI/F部151を介して各カメラから送信された撮影方位角データを管理サーバ装置40から取得する。取得した撮影方位角データは、特定人物出現情報生成部153に送られ、特定人物出現情報の生成に用いられる。
特定人物出現情報は、上述したように、予め記憶されたカメラマップと、各カメラの設置位置(設置座標)及びカメラ情報とを参照し、監視対象者の移動パターンデータをもとに生成する。そこで、特定人物出現情報生成部153は、取得した撮影方位角データに基づいて記憶されている各カメラの撮影方向・範囲・画角を更新し、特定人物出現情報を生成する。
なお、上記において、パン・チルト・ズーム制御部128が駆動制御手段に対応している。
次に、第二の実施形態の動作について説明する。
ここでは、図13に示す監視対象範囲内を、監視対象者P1が矢印100に示す移動軌跡で通過する場合について説明する。なお、図13において、カメラ201〜206は、上述したカメラ20A及び20Bと同一構成を有する。また、図13において、カメラ201は撮影範囲211内の被写体を撮像し、カメラ202は撮像範囲212内の被写体を撮像する。カメラ203〜206についても同様である。
この場合、映像表示装置50は、カメラ202から送信された撮影方位角データを取得し、取得した撮影方位角データをもとに当該カメラ202の変更後の撮影範囲212を求める。そして、映像表示装置50は、変更後の撮影範囲212を示す情報をもとに監視対象者P1の出現予測範囲を特定し、これを出現予測映像に重畳して表示する。このときの出力画面を図14に示す。
以上のように、各カメラがパン機構、チルト機構及びズーム機構の少なくとも1つを備える場合、これら各機能を駆動制御するための制御指令に基づいて、監視対象者を撮像している第一のカメラの次に当該監視対象者を撮像する第二のカメラの撮像範囲を把握することができる。したがって、その情報に基づいて出現予測映像内における監視対象者の出現予測範囲を特定することで、上記機構により各カメラの撮像範囲が変化し得る環境においても監視対象者の出現予測を適切に行うことができる。
上記各実施形態においては、映像表示装置50で出現予測映像を表示した後、表示した出現予測が正しいか否かの正否判定をユーザから入力可能な構成としてもよい。この場合、映像表示装置50に、ユーザが入力した正否判定を示す情報(正否情報)を取得する正否情報取得部を設け、取得した正否情報に基づいて、監視対象者の移動パターンの検出に用いる移動方向、移動軌跡、移動速度の重み付けを変化させるなどの学習機能を付与してもよい。これにより、より適切な出現予測が可能となる。
上記各実施形態においては、人物照合処理と移動パターン検出処理とをカメラ(撮像装置)側で行う場合について説明したが、管理サーバ装置40で実行したり、映像表示装置50で実行したりしてもよい。また、監視対象者を検出するための人物照合処理は、例えばユーザが行うようにしてもよい。すなわち、各カメラで撮像した映像を映像表示装置50で表示し、これらの映像を確認したユーザが、表示画面上で(画面タッチやマウス操作等により)監視対象者を選択してもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (14)
- 監視対象空間に設置され、それぞれ他の撮像部とは少なくとも一部が異なる撮影範囲を有する複数の撮像部で撮像された各画像から、監視対象である特定移動体を検出する特定移動体検出手段と、
前記特定移動体検出手段で検出した特定移動体が移動しようとしている方向を少なくとも特定するための移動情報を検出する移動情報検出手段と、
前記移動情報検出手段で検出した移動情報と、前記複数の撮像部のそれぞれの撮像範囲を示す情報とに基づいて、当該特定移動体を撮像している第一の撮像部の次に当該特定移動体を撮像する第二の撮像部を予測する予測手段と、
前記予測手段で予測した結果を特定するための表示を、前記第二の撮像部で前記特定移動体を撮像する前に行わせる表示制御手段と、を備えることを特徴とする映像処理装置。 - 前記移動情報検出手段は、
前記移動情報として、前記特定移動体の移動方向を示す情報を検出することを特徴とする請求項1に記載の映像処理装置。 - 前記移動情報検出手段は、
前記移動情報として、前記特定移動体の移動速度を示す情報をさらに検出することを特徴とする請求項1又は2に記載の映像処理装置。 - 前記表示制御手段は、
前記第二の撮像部で撮像された画像を、前記第二の撮像部で前記特定移動体を撮像する前に強調表示させることを特徴とする請求項1〜3のいずれか1項に記載の映像処理装置。 - 前記表示制御手段は、前記複数の撮像部で撮像された複数の画像を1つの画面で分割表示可能な複数画面表示部に、前記複数の画像を表示させ、
前記第二の撮像部で撮像された画像を、前記複数画面表示部で分割表示される前記複数の画像よりも大きく表示させるための表示制御を前記第二の撮像部で前記特定移動体を撮像する前に実行することを特徴とする請求項4に記載の映像処理装置。 - 前記表示制御手段は、前記複数の撮像部で撮像された複数の画像を1つの画面で分割表示可能な複数画面表示部に、前記複数の画像を表示させ、
前記複数画面表示部で分割表示される前記複数の画像のうち、前記第二の撮像部で撮像された画像を、他の撮像部で撮像された画像とは異なる視覚的効果を付与して表示させることを特徴とする請求項4又は5に記載の映像処理装置。 - 前記第二の撮像部の撮影範囲のうち、前記特定移動体が出現すると予測される出現予測範囲を、前記移動情報検出手段で検出した移動情報と、前記第二の撮像部の撮像範囲を示す情報とに基づいて特定する出現予測範囲特定手段を備え、
前記表示制御手段は、
前記第二の撮像部で前記特定移動体を撮像する前に、前記第二の撮像部で撮像された画像に、前記出現予測範囲特定手段で特定した出現予測範囲を示す情報を重畳して表示させることを特徴とする請求項1〜6のいずれか1項に記載の映像処理装置。 - 前記複数の撮像部のパン機構、チルト機構及びズーム機構の少なくとも1つを駆動制御するための制御指令を出力する駆動制御手段を備え、
前記出現予測範囲特定手段は、
前記駆動制御手段が出力する制御指令に基づいて前記第二の撮像部の撮像範囲を検出し、当該検出された撮像範囲を前記出現予測範囲の特定に用いることを特徴とする請求項7に記載の映像処理装置。 - 前記移動情報検出手段は、複数の移動情報を検出するものであって、
前記予測手段による予測結果の正否情報を取得する正否情報取得手段をさらに備え、
前記予測手段は、前記正否情報取得手段で取得した正否情報に基づいて、前記移動情報検出手段で検出した複数の移動情報の重み付けを変更して第二の撮像部を予測することを特徴とする請求項1〜8のいずれか1項に記載の映像処理装置。 - 前記特定移動体検出手段で検出した特定移動体の特徴量に応じて、前記予測手段によって前記第二の撮像部を予測する処理を実施するか否かを判定する判定手段を備えることを特徴とする請求項1〜9のいずれか1項に記載の映像処理装置。
- 監視対象空間に設置され、それぞれ他の撮像部とは少なくとも一部が異なる撮影範囲を有する複数の撮像部で撮像された各画像から、監視対象である特定移動体を検出するステップと、
前記特定移動体が移動しようとしている方向を少なくとも特定するための移動情報を検出するステップと、
前記移動情報と、前記複数の撮像部のそれぞれの撮像範囲を示す情報とに基づいて、当該特定移動体を撮像している第一の撮像部の次に当該特定移動体を撮像する第二の撮像部を予測するステップと、
前記予測された前記第二の撮像部で撮像された画像を、前記第二の撮像部で前記特定移動体を撮像する前に強調表示させる表示制御ステップと、を含むことを特徴とする映像処理方法。 - 前記表示制御ステップにおいて、前記第二の撮像部で前記特定移動体を撮像する前に、前記第二の撮像部で撮像された画像を強調表示することを特徴とする請求項11に記載の映像処理方法。
- 監視対象空間に配置された複数の撮像装置と、当該複数の撮像装置と通信可能に接続された映像表示装置とを備える映像処理システムであって、
前記撮像装置に設けられ、他の撮像装置とは少なくとも一部が異なる撮像範囲を有する撮像手段と、
前記撮像装置及び前記映像表示装置の少なくとも一方に設けられ、前記撮像部で撮像した画像から、監視対象である特定移動体を検出する特定移動体検出手段と、
前記撮像装置及び前記映像表示装置の少なくとも一方に設けられ、前記特定移動体検出手段で検出した特定移動体が移動しようとしている方向を少なくとも特定するための移動情報を検出する移動情報検出手段と、
前記映像表示装置に設けられ、前記移動情報検出手段で検出した移動情報と、前記複数の撮像装置のそれぞれの撮像範囲を示す情報とに基づいて、前記特定移動体を撮像している第一の撮像装置の次に当該特定移動体を撮像する第二の撮像装置を予測する第二の撮像装置予測手段と、
前記映像表示装置に設けられ、前記第二の撮像装置予測手段で予測した結果を特定するための表示を、前記第二の撮像装置で前記特定移動体を撮像する前に行わせる表示制御手段と、を備えることを特徴とする映像処理システム。 - コンピュータを、前記請求項1〜10のいずれか1項に記載の映像処理装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014191416A JP6465600B2 (ja) | 2014-09-19 | 2014-09-19 | 映像処理装置および映像処理方法 |
US14/855,039 US20160084932A1 (en) | 2014-09-19 | 2015-09-15 | Image processing apparatus, image processing method, image processing system, and storage medium |
EP15185909.7A EP2999217A1 (en) | 2014-09-19 | 2015-09-18 | Image processing apparatus, image processing method, image processing system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014191416A JP6465600B2 (ja) | 2014-09-19 | 2014-09-19 | 映像処理装置および映像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016063468A true JP2016063468A (ja) | 2016-04-25 |
JP2016063468A5 JP2016063468A5 (ja) | 2017-10-26 |
JP6465600B2 JP6465600B2 (ja) | 2019-02-06 |
Family
ID=54207306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014191416A Active JP6465600B2 (ja) | 2014-09-19 | 2014-09-19 | 映像処理装置および映像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20160084932A1 (ja) |
EP (1) | EP2999217A1 (ja) |
JP (1) | JP6465600B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017191716A1 (ja) * | 2016-05-06 | 2017-11-09 | ソニー株式会社 | 表示制御装置および撮像装置 |
JP2018157287A (ja) * | 2017-03-16 | 2018-10-04 | 三菱電機インフォメーションネットワーク株式会社 | 映像再生装置、映像再生方法、映像再生プログラム及び映像再生システム |
JP2020096262A (ja) * | 2018-12-11 | 2020-06-18 | キヤノン株式会社 | 追尾装置および方法 |
JP7546035B2 (ja) | 2022-12-28 | 2024-09-05 | イオンディライト株式会社 | 人物追跡システム、人物追跡サーバ装置、人物追跡方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3244344A1 (en) * | 2016-05-13 | 2017-11-15 | DOS Group S.A. | Ground object tracking system |
JP6729793B2 (ja) * | 2017-03-30 | 2020-07-22 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US11350060B1 (en) * | 2018-03-05 | 2022-05-31 | Amazon Technologies, Inc. | Using motion sensors for direction detection |
CN109040709B (zh) * | 2018-09-21 | 2020-12-08 | 深圳市九洲电器有限公司 | 视频监控方法及装置、监控服务器及视频监控系统 |
US11997388B2 (en) * | 2019-05-03 | 2024-05-28 | Toyota Motor Europe | Image obtaining means for finding an object |
CN115052110B (zh) * | 2022-08-16 | 2022-11-18 | 中保卫士保安服务有限公司 | 安保方法、安保系统及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09331520A (ja) * | 1996-06-13 | 1997-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 自動追跡システム |
JP2000032435A (ja) * | 1998-07-10 | 2000-01-28 | Mega Chips Corp | 監視システム |
JP2014072598A (ja) * | 2012-09-28 | 2014-04-21 | Hitachi Kokusai Electric Inc | 侵入者監視システム |
WO2014061342A1 (ja) * | 2012-10-18 | 2014-04-24 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2378339A (en) * | 2001-07-31 | 2003-02-05 | Hewlett Packard Co | Predictive control of multiple image capture devices. |
JP4195991B2 (ja) * | 2003-06-18 | 2008-12-17 | パナソニック株式会社 | 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ |
JP4881766B2 (ja) * | 2007-03-06 | 2012-02-22 | パナソニック株式会社 | カメラ間連結関係情報生成装置 |
JP4937016B2 (ja) | 2007-07-09 | 2012-05-23 | 三菱電機株式会社 | 監視装置及び監視方法及びプログラム |
US9615064B2 (en) * | 2010-12-30 | 2017-04-04 | Pelco, Inc. | Tracking moving objects using a camera network |
US20130128050A1 (en) * | 2011-11-22 | 2013-05-23 | Farzin Aghdasi | Geographic map based control |
US8781293B2 (en) * | 2012-08-20 | 2014-07-15 | Gorilla Technology Inc. | Correction method for object linking across video sequences in a multiple camera video surveillance system |
JP5506989B1 (ja) * | 2013-07-11 | 2014-05-28 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
-
2014
- 2014-09-19 JP JP2014191416A patent/JP6465600B2/ja active Active
-
2015
- 2015-09-15 US US14/855,039 patent/US20160084932A1/en not_active Abandoned
- 2015-09-18 EP EP15185909.7A patent/EP2999217A1/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09331520A (ja) * | 1996-06-13 | 1997-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 自動追跡システム |
JP2000032435A (ja) * | 1998-07-10 | 2000-01-28 | Mega Chips Corp | 監視システム |
JP2014072598A (ja) * | 2012-09-28 | 2014-04-21 | Hitachi Kokusai Electric Inc | 侵入者監視システム |
WO2014061342A1 (ja) * | 2012-10-18 | 2014-04-24 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017191716A1 (ja) * | 2016-05-06 | 2017-11-09 | ソニー株式会社 | 表示制御装置および撮像装置 |
US10911681B2 (en) | 2016-05-06 | 2021-02-02 | Sony Corporation | Display control apparatus and imaging apparatus |
JP2018157287A (ja) * | 2017-03-16 | 2018-10-04 | 三菱電機インフォメーションネットワーク株式会社 | 映像再生装置、映像再生方法、映像再生プログラム及び映像再生システム |
JP2020096262A (ja) * | 2018-12-11 | 2020-06-18 | キヤノン株式会社 | 追尾装置および方法 |
JP7325180B2 (ja) | 2018-12-11 | 2023-08-14 | キヤノン株式会社 | 追尾装置および方法 |
JP7546035B2 (ja) | 2022-12-28 | 2024-09-05 | イオンディライト株式会社 | 人物追跡システム、人物追跡サーバ装置、人物追跡方法 |
Also Published As
Publication number | Publication date |
---|---|
US20160084932A1 (en) | 2016-03-24 |
EP2999217A1 (en) | 2016-03-23 |
JP6465600B2 (ja) | 2019-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6465600B2 (ja) | 映像処理装置および映像処理方法 | |
EP3024227B1 (en) | Image processing apparatus and image processing method | |
US11343575B2 (en) | Image processing system, image processing method, and program | |
US11533436B2 (en) | Monitoring system, monitoring method, and monitoring program | |
CN109040709B (zh) | 视频监控方法及装置、监控服务器及视频监控系统 | |
JP6399356B2 (ja) | 追跡支援装置、追跡支援システムおよび追跡支援方法 | |
JP6049448B2 (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
WO2014171258A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US20180061065A1 (en) | Information processing apparatus, method thereof, and computer-readable storage medium | |
US20150244928A1 (en) | Camera control method, and camera control device for same | |
US9628700B2 (en) | Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program | |
JP2019186955A (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2008085874A (ja) | 人物監視システムおよび人物監視方法 | |
KR20190016900A (ko) | 정보 처리장치, 정보 처리방법 및 기억매체 | |
US20200045242A1 (en) | Display control device, display control method, and program | |
JP2012257021A (ja) | 表示制御装置および方法、プログラム、並びに記録媒体 | |
KR20180075506A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
KR20160048428A (ko) | 팬틸트줌 카메라 기반의 영상 재생방법 및 장치 | |
JP5677055B2 (ja) | 監視映像表示装置 | |
JP2012124767A (ja) | 撮像機器 | |
JP7085925B2 (ja) | 情報登録装置、情報処理装置、情報登録装置の制御方法、情報処理装置の制御方法、システム、及びプログラム | |
JP2016021716A (ja) | 追尾装置及びその制御方法 | |
JP2016220148A (ja) | 制御装置、制御方法、システム | |
JP2015050697A (ja) | 映像処理装置及び映像処理装置の制御方法 | |
KR101623331B1 (ko) | 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170912 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6465600 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |