JP2020191585A - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP2020191585A JP2020191585A JP2019096917A JP2019096917A JP2020191585A JP 2020191585 A JP2020191585 A JP 2020191585A JP 2019096917 A JP2019096917 A JP 2019096917A JP 2019096917 A JP2019096917 A JP 2019096917A JP 2020191585 A JP2020191585 A JP 2020191585A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- recording
- information
- alarm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method and a program.
近年、多数のネットワークカメラを用いた大規模な監視システムが登場してきている。このような監視システムでは、オフィスや、店舗、ショッピングモール、スタジアム、街頭、地域全体等、広い範囲にネットワークカメラが設置されるようになっており、セキュリティの向上に役立っている。
このような監視システムとして、ネットワークカメラで撮像した画像に対して画像解析及び認識処理を行うことで、画像中の被写体認識を行い、被写体を検出する被写体検出システムが提案されている。被写体検出システムでは、検出すべき特定の被写体の画像をシステムに予め登録しておき、リアルタイムにカメラ映像を解析し検出対象の被写体を検出した際に警報(アラーム)を監視員又は警備員に通知する。被写体検出システムは、検出時に監視モニタへアラーム表示を行うことで、監視員らに通知することができる。このとき監視員らはアラーム通知の原因となったカメラ映像も確認できる。
このような被写体検出システムにつき特許文献1では、ネットワークカメラで撮像した人物の顔画像と、予め登録した要注意人物の顔画像と照合することで、要注意人物であるか否かを判定するシステムが提案されている。
In recent years, large-scale surveillance systems using a large number of network cameras have appeared. In such a monitoring system, network cameras are installed in a wide range such as offices, stores, shopping malls, stadiums, streets, and the entire area, which is useful for improving security.
As such a monitoring system, a subject detection system has been proposed in which an image captured by a network camera is subjected to image analysis and recognition processing to recognize the subject in the image and detect the subject. In the subject detection system, an image of a specific subject to be detected is registered in the system in advance, the camera image is analyzed in real time, and an alarm is notified to a guard or a guard when the subject to be detected is detected. To do. The subject detection system can notify the observers by displaying an alarm on the monitoring monitor at the time of detection. At this time, the observers can also confirm the camera image that caused the alarm notification.
Regarding such a subject detection system, in
また、このような被写体検出システムではカメラ映像を録画及び保存しておくことにより、監視員や、警備員、施設管理者が問題発生時の映像を遡って確認すること及び証拠映像保全の用途に記録映像を活用することができる。
また、監視システムが大規模化するにつれカメラ台数が増加し、その映像を記録するための記録装置も増強する必要がありコストアップの要因となっている。そのため映像記録装置に記録時刻から一定時間経過後に古い映像から削除を行う自動削除機能を備え、必要な記憶媒体の容量を削減することが実現されている。
特許文献2では、映像信号に関連して発生したイベントの開始日時と終了日時に基づいて映像記録配信装置から長期保存装置に映像データを取り出して保存する技術が提案されている。
In addition, in such a subject detection system, by recording and saving camera images, observers, security guards, and facility managers can retroactively check the images when a problem occurs and use them for evidence image preservation. Recorded video can be used.
In addition, as the scale of the surveillance system increases, the number of cameras increases, and it is necessary to increase the number of recording devices for recording the video, which is a factor of cost increase. Therefore, the video recording device is provided with an automatic deletion function for deleting old videos after a certain period of time has elapsed from the recording time, and the capacity of the required storage medium has been reduced.
上述のようなシステムでは、イベント発生時刻の録画映像のみが保全され、イベントに関連する映像が自動消去されてしまう恐れがある。
そのため、イベント検出された特定人物と接触した人物の足跡を映像で確認したり、特定人物と接近した人物の行方を映像で追ったりする際に映像が消去されてしまっている恐れがある。
In a system as described above, only the recorded video at the time of event occurrence is preserved, and there is a risk that the video related to the event will be automatically deleted.
Therefore, there is a possibility that the image may be erased when the footprint of the person who has come into contact with the specific person whose event has been detected is confirmed by the image or when the whereabouts of the person who approaches the specific person is tracked by the image.
本発明の情報処理装置は、撮像画像より被写体を検出する検出手段と、特定の被写体と関連する関連被写体を判定する判定手段と、前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定手段と、を有することを特徴とする。 The information processing apparatus of the present invention protects the recording of a recorded image based on a detection means for detecting a subject from a captured image, a determination means for determining a related subject related to a specific subject, and a time range in which the related subject exists. It is characterized by having a determination means for determining a range.
本発明によれば、映像を確認する際に必要な映像が削除されてしまうことを防ぐことができる。 According to the present invention, it is possible to prevent the video necessary for checking the video from being deleted.
以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<実施形態1>
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
図1は、録画システムのシステム構成の一例を示した図である。本実施形態では、録画システムをネットワークカメラシステム10に適用する。
ネットワークカメラシステム10は、少なくとも1台のネットワークカメラ(以下、単に「カメラ」ともいう)102と、情報処理装置103、104、105と、を備える。情報処理装置103は画像録画サーバ、情報処理装置104は画像解析サーバ、情報処理装置105は操作端末として、それぞれ構成することができる。これらの情報処理装置は、物理的に独立した装置として構成しても、又は、一体的に構成してもよい。
カメラ102と情報処理装置103、104、105とは、ネットワーク回線であるLAN(Local Area Network)101によって接続されている。ネットワーク回線はLANに限定されるものではなく、インターネット、又はWAN(Wide Area Network)等であってもよい。また、LAN101への物理的な接続形態は、有線であってもよいし、無線であってもよい。更に、図1において、カメラ102及び情報処理装置103、104、105は、1台又は2台がLAN101に接続されているが、接続台数は図1に示す数に限定されない。
カメラ102は、所定の画角で監視対象空間内に存在する所定の被写体を撮像する、監視カメラ等の撮像装置である。カメラ102は、撮像画像(以下、単に「画像」ともいう。)を、LAN101を介して各情報処理装置103、104、105へ送信する機能を有する。
<
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a diagram showing an example of a system configuration of a recording system. In this embodiment, the recording system is applied to the
The
The
The
画像録画サーバ103は、カメラ102から送信された撮像画像をLAN101経由で受信して保存、蓄積する。また、画像録画サーバ103は、画像解析サーバ104及び操作端末105から受け付けた要求に応じて保存している撮像画像を各装置に送信する。
また、画像録画サーバ103は、画像解析サーバ104から受け付けた録画の開始及び終了、録画画像の削除、削除されないよう指定範囲の映像へのロックの設定、指定された時刻以前の録画映像の一括削除等の録画映像の制御機能を有する。
本実施形態では、画像録画サーバ103は、カメラ102の画像を常時録画しているものとする。また本実施形態での画像録画サーバ103の画像を記録するための記憶媒体は有限であるため、画像録画サーバ103で定期的に古い画像を削除する定期削除処理が実行される。
The
Further, the
In the present embodiment, it is assumed that the
画像解析サーバ104は、撮像画像から検出すべき被写体の画像等を操作端末105からLAN101経由で受信し、被写体検出処理に必要な特徴量を生成し被写体を検出するために用いる特徴情報として保存しておく。
また、画像解析サーバ104は、カメラ102が撮像した撮像画像をLAN101経由でカメラ102から受信して画像解析処理を行い、検出すべき被写体が撮像画像に含まれているかどうかの被写体検出処理を行うことができる。また、画像録画サーバ103に記録されている撮像画像をLAN101経由で受信した場合も、画像解析サーバ104は、撮像画像について同様に被写体検出処理を行うことができる。
画像解析サーバ104は、撮像画像中で検出すべき被写体を検出した場合にはアラーム表示情報を生成し、操作端末105に生成したアラーム表示情報を送信する。画像解析サーバ104は、アラーム表示情報の送信を、操作端末105からの要求に基づき実行してもよい。また、操作端末105が検出結果をリアルタイムで受信する設定であれば、画像解析サーバ104は、解析結果を解析処理終了毎に操作端末105へ送信してもよい。
また、画像解析サーバ104は、撮像画像からアラームを生成した際に、アラームを発生させた被写体と関連のある別の被写体を検出し、関連被写体検出の結果に応じて画像解析サーバ104への録画制御を行う。
The
Further, the
When the
Further, when the
本実施形態の以下の説明では、画像解析サーバ104がカメラ102の撮像画像を画像録画サーバ103経由で受信する場合を想定しているが、カメラ102から直接受信する場合も同様にして各種の処理を実行することができる。また、以下の説明では、画像解析サーバ104が解析結果及び登録情報を保持する場合を想定しているが、ネットワークを介した他のデータベース、又は操作端末105に保存するようにしてもよい。
操作端末105は、表示装置(ディスプレイ)を備え、カメラ102から受信した撮像画像、画像録画サーバ103に記録された画像データの再生及び表示、画像解析サーバ104から受信したアラーム表示情報を表示するための表示制御機能を有する。また操作端末105は、被写体検出用のユーザインタフェースと入力部とを備え、被写体検出のための画像解析処理に関するパラメータ設定、登録情報の設定、アラーム表示情報の各種パラメータの設定、一括録画削除時刻設定の操作を行うための機能を有する。
In the following description of the present embodiment, it is assumed that the
The
次に、各装置の構成について説明する。
図2は、カメラ102のハードウェア構成の一例を示す図である。カメラ102は、CPU201、ROM202、RAM203、外部メモリ204、撮像部205、入力部206、通信I/F207、システムバス208を含んで構成することができる。これ以外の構成を更に含んでいてもよい。
CPU201は、カメラ102における動作を統括的に制御する制御部であって、システムバス208を介して、各構成要素(202〜207)の動作を制御する。ROM202は、CPU201が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。プログラムは、外部メモリ204、又は着脱可能な記憶媒体(不図示)に記憶されていてもよい。RAM203は、CPU201の主メモリ、ワークエリア等として機能する。即ち、CPU201は、処理の実行に際してROM202から必要なプログラム等をRAM203にロードし、プログラム等を実行することで各種の機能動作を実現する。
Next, the configuration of each device will be described.
FIG. 2 is a diagram showing an example of the hardware configuration of the
The
外部メモリ204は、例えば、CPU201がプログラムを用いた処理を行う際に必要な各種データ及び各種情報等を記憶している。また、外部メモリ204には、例えば、CPU201がプログラム等を用いた処理を行うことにより得られた各種データ及び各種情報等が記憶される。撮像部205は、被写体の撮像を行って撮像画像を生成する。撮像部205は、例えばCMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等の撮像素子、A/D変換器、現像処理部等を含んで構成することができる。
入力部206は電源ボタン及び設定ボタン等から構成され、カメラ102の操作者は、入力部206を介してカメラ102に指示を与えることができる。通信I/F207は、外部装置(ここでは、情報処理装置103)と通信するためのインターフェースである。通信I/F207は、例えばLANインターフェースである。システムバス208は、CPU201、ROM202、RAM203、外部メモリ204、撮像部205、入力部206及び通信I/F207を通信可能に接続する。カメラ102の各部の機能は、CPU201がROM202、又は外部メモリ204に記憶されたプログラムを実行することで実現される。
The
The
本実施形態において、情報処理装置103から105までのそれぞれのハードウェア構成についても、図2(A)に示すハードウェア構成に準ずることができる。但し、その場合には、撮像部205に代えて、表示部等のハードウェア構成を具備することができる。ここで、表示部は、液晶ディスプレイ(LCD)等のモニタで構成される。また、情報処理装置103から105までは、入力部206として、キーボード及びマウス等のポインティングデバイスを具備し、操作者が情報処理装置に対して指示を与えることができるように構成される。また、外部メモリ204は、種々の情報を記憶しておくためのデータベースを含むことができる。
In the present embodiment, the hardware configurations of the
図3は、画像解析サーバ104の機能構成の一例を示す図である。画像解析サーバ104は、画像取得部301、被写体検出部302、特徴量取得部303、特定被写体情報登録部304、特定被写体情報管理部305、照合部306を備えることができる。更に、画像解析サーバ104は、アラーム情報設定部307、アラーム情報管理部308、アラーム作成部309、関連被写体判定部310、軌跡管理部311、録画制御部312、定期削除管理部313、通信部314を備えることができる。
図3に示す各機能構成要素は、画像解析サーバ104のCPU201が対応する処理プログラムを実行することによって実現され得る。但し、図3に示す各要素のうち少なくとも一部を専用のハードウェアで実現するように構成してもよい。この場合、専用のハードウェアは、CPU201の制御に基づいて動作する。
本実施形態では、図3の各機能を画像解析サーバ104内に搭載する場合を説明するが、機能の一部を他の機器に搭載してもよい。例えば、機能の一部をカメラ102内に搭載してもよいし、画像録画サーバ103を含む他の情報処理装置に搭載してもよい。また、本実施形態においては、画像解析サーバ104が被写体として主に人物を検出する場合を説明するが、検出対象となる被写体は人物に限定されるものではない。例えば、車両、又は不審物等の特定の被写体を検出対象とすることもできる。
FIG. 3 is a diagram showing an example of the functional configuration of the
Each functional component shown in FIG. 3 can be realized by the
In the present embodiment, the case where each function of FIG. 3 is mounted in the
画像取得部301は、カメラ102から送信された撮像画像を画像録画サーバ103経由で受信し、伸長、復号化して画像(動画像若しくは静止画像)を取得する。画像取得部301は、取得した画像を順次、被写体検出部302へ送出する。ここで、本実施形態においてカメラ102から提供される撮像画像は、静止画であっても動画であってもよい。また、撮像画像の供給元については特に限定するものではない。供給元は、有線、又は無線を介して撮像画像を供給するカメラ102、画像録画サーバ103、又は、それら以外の他の撮像装置であってもよい。また、画像取得部301は、同一の装置内のメモリ(例えば、外部メモリ204)から撮像画像を取得するようにしてもよい。以下の説明では、動画像を取得した場合であっても静止画像を取得した場合であっても、画像取得部301は、被写体検出部302へ1枚の画像を送出する場合について説明する。前者の場合は、1枚の画像が動画像を構成する各フレームに相当し、後者の場合は、1枚の画像が静止画像に相当する。動画像の場合は、各フレームについて同様の処理を繰り返せばよい。
次に、被写体検出部302は、画像取得部301が受信した撮像画像に対し、照合パターン辞書等を用いて被写体検出処理を実施する。これにより、撮像画像中で被写体(例えば、人物)が含まれる被写体領域(人物領域)が抽出される。特徴量取得部303は、被写体検出部302で抽出された被写体領域の画像から、所定の演算に基づいて特徴量を抽出する特徴量抽出処理を行う。例えば、被写体として人物が抽出される場合、特徴量として人物の顔の特徴量を抽出することができる。また、顔以外にも上半身、下半身、全身、後姿、着衣等の特徴量を抽出してもよい。又は、人物がかばん、又はバックパック等の荷物を持つことを抽出してもよい。
The
Next, the
次に、特定被写体情報登録部304は、検出対象とする特定被写体の画像を含む情報を操作端末105からLAN101経由で受信し、特定被写体検出処理に必要な特徴量を生成し特定被写体の特徴情報(以下、「特定被写体情報」という)として特定被写体情報管理部305に登録する。ここでの特徴量の生成については、特徴量取得部303が行う処理と同様に実施することができる。特定被写体情報管理部305は、特定被写体情報登録部304が生成した登録対象の被写体の特徴量、画像を、登録名、登録時刻等の情報と共に特定被写体情報として管理する。
照合部306は、特徴量取得部303が取得した特徴量と特定被写体情報管理部305が保持及び管理する検出対象の被写体の特徴量とを照合し、類似度を算出する。照合部306は、算出した類似度が所定の閾値以上である場合、撮像された被写体は、検出対象の被写体に類似していると判断し、検出対象の特定被写体が検出されたと認識する。
Next, the specific subject
The
上述のように本実施形態において検出すべき対象である被写体は人物に限定されない。したがって、特定被写体情報登録部304は、操作端末105から提供された特定被写体画像から、当該被写体を撮像画像において検出するのに有効となる特徴量を抽出する。検出対象が車両であれば、車両を検出可能な車両の形状的特徴、又は車両に固有の識別情報(例えばナンバープレートの番号)を特徴量として抽出することができる。
As described above, the subject to be detected in this embodiment is not limited to a person. Therefore, the specific subject
アラーム情報設定部307は、画像解析サーバ104での解析処理結果に応じたアラームの通知内容、対象カメラ等のアラーム設定を行う。アラーム情報設定部307は、アラーム設定を操作端末105からLAN101経由で受信し、アラーム情報管理部308へ登録する。アラーム作成部309は、検出対象の特定被写体が検出されたことを通知するためのアラーム表示情報をアラーム情報管理部308の設定等に基づき作成する。
通信部314は、アラーム作成部309が作成したアラーム表示情報をLAN101経由で操作端末105へ送信する。設定管理部315は、画像解析サーバ104の設定、画像録画サーバ103の設定、映像解析に必要な設定、カメラ設定等映像解析処理及びアラーム作成処理に必要な情報を保持している。
The alarm
The
軌跡管理部311は、被写体検出部302及び照合部306で取得する被写体情報を、管理情報として被写体毎に管理する。図4を参照して、軌跡管理部311が管理する管理情報の例を説明する。管理情報701には、被写体ID(Object ID)ごとに被写体情報702が管理されている。1つの被写体に対する被写体情報702には、被写体が検出されたフレーム毎の情報703が管理されている。情報703には、情報が作成された日時を示すタイムスタンプ(Time Stamp)、検出された被写体の座標位置(Position)、検出された被写体の領域を包含する外接矩形を規定する情報(Bounding box)、被写体のサイズ(size)、被写体の属性(Attribute)が含まれている。但し、情報703に含まれる情報はこれらに限らず、如何なる情報を含めてもよい。
例えば被写体の属性(Attribute)は被写体検出部302で検出する属性を示しているが、これに限らず、検出した被写体に対して任意の特徴量を抽出し属性を判別するようにして情報703へ含めるようにしてもよい。また例えば、被写体として人物が抽出される場合、被写体の特徴として性別推定、年齢推定、物体所持の有無、帽子の有無、着衣の色等を含めるようにしてもよい。また例えば、被写体外接矩形に換え被写体検出部302で被写体の輪郭を検出するようにし検出した被写体輪郭を記録することで被写体間の重なり及び距離をより正確に計測することができる。
The locus management unit 311 manages the subject information acquired by the
For example, the attribute of the subject indicates the attribute detected by the
また、被写体情報702には、被写体と関連する被写体に関する情報が管理されている。関連被写体情報704には、関連被写体のID(Relation object ID)、関連情報が作成された日時を示すタイムスタンプ(Time Stamp)、種類(Event type)が含まれている。但し、関連被写体情報704に含まれる情報はこれらに限らず、如何なる情報を含めてもよい。
被写体情報702の関連被写体のIDには、管理情報701の被写体IDと関連付けられており、関連被写体IDから関連被写体の情報を参照することができる。
また、軌跡管理部311は、対象被写体が照合部306の照合処理において特定被写体情報登録部304で登録されている特定被写体と判定された場合、被写体情報702の特定被写体ID(Member ID)へ判定された特定被写体IDが入力される。
関連被写体判定部310は、アラーム作成部309でアラーム対象となった被写体について、関連する被写体を軌跡管理部311の管理情報701に基づいて抽出する。抽出された関連被写体は軌跡管理部311の管理情報701で関連被写体情報として管理される。
また、関連被写体判定部310は、アラーム対象被写体の関連被写体の存在する時間範囲に基づき録画保護範囲を決定する。
Further, the
The ID of the related subject of the
Further, when the target subject is determined to be a specific subject registered by the specific subject
The related
Further, the related
定期削除管理部313は、画像録画サーバ103で保存されている録画映像に対して所定時間経過した古い映像の削除指示を行う。所定時間は操作端末105からの入力で設定管理部315に設定することができる。
録画制御部312は、定期削除管理部313からの定期削除情報に基づき画像録画サーバ103へ録画制御を行う。また録画制御部312は、関連被写体判定部310から受信した録画保護範囲に基づき、画像録画サーバ103へ録画保護制御を行う。
設定管理部315に設定で保存される定期削除情報として、録画経過時間と削除頻度及び時刻がある。本実施形態では、録画経過時間を1週間以上、削除頻度及び時刻を1日毎、午前0時0分とする。この定期削除情報に基づき録画制御部312は、毎日午前0時0分に、録画した映像のうち1週間以上経過した範囲を削除する。但しこの定期削除処理において、録画保護範囲が設定されている場合はこの定期削除処理で録画保護範囲は削除されない。
The periodic
The
Periodic deletion information stored in the
また、定期削除処理において、アラーム発生により録画保護制御が行われた際に、アラーム発生のタイミングにより定期削除が正しく行われない可能性がある。そのため、定期削除処理は録画保護範囲が及ばない程度に数秒等ではなく十分に長い1週間以上経過した範囲等を設定することが望ましい。また、定期削除処理自体もアラーム発生時刻と被らずに処理負荷の低い時間帯(例えば深夜)等に時刻設定しておくことが望ましい。
通信部314は、アラーム作成部309が作成したアラーム表示情報、定期削除管理部313の録画削除情報、関連被写体判定部310の録画保護範囲情報をLAN101経由で操作端末105へ送信する。
設定管理部315は、画像解析サーバ104の設定、画像録画サーバ103の設定、映像解析に必要な設定、カメラ設定等映像解析処理及びアラーム作成処理に必要な情報を保持している。
Further, in the periodic deletion process, when the recording protection control is performed due to the occurrence of an alarm, the periodic deletion may not be performed correctly depending on the timing of the alarm occurrence. Therefore, it is desirable to set a sufficiently long range such as one week or more for the periodic deletion process, not a few seconds or the like so that the recording protection range does not reach. In addition, it is desirable to set the time of the periodic deletion process itself in a time zone (for example, midnight) where the processing load is low without suffering from the alarm occurrence time.
The
The
図5は、画像録画サーバ103の機能構成の一例を示す図である。
画像録画サーバ103は、通信部401と、記録部402と、録画映像制御部403とを備える。
通信部401は、カメラ102から映像データを受信する。また通信部401は、画像解析サーバ104からアラーム表示情報、録画削除情報、録画保護範囲情報をLAN101経由で受信する。
記録部402は、通信部401が受信したカメラ映像データを保存及び蓄積する。
録画映像制御部403は、通信部401が受信した録画削除情報、録画保護範囲情報に基づき記録部402で保存している録画映像に対し録画映像制御を行う。
FIG. 5 is a diagram showing an example of the functional configuration of the
The
The
The
The recorded
図6は、操作端末105の機能構成の一例を示す図である。操作端末105は、アラーム受信部501と、画像取得部502と、設定入力部503と、通信部504と、表示部505とを備える。設定入力部503は、検出対象とする被写体の画像を含む被写体に関する情報及びアラーム設定情報を入力する。通信部504は、入力された情報をLAN101経由で画像解析サーバ104に送信する。アラーム受信部501は、画像解析サーバ104からアラーム表示情報をLAN101経由で受信する。画像取得部502は、受信したアラーム表示情報のアラーム発生時刻の撮像画像、アラーム対象が記録されている範囲の撮像画像、又はアラーム対象の関連被写体が記録されている範囲の撮像画像を画像録画サーバ103から取得する。表示部505は、受信したアラーム表示情報とアラームに関する撮像画像等とを含むアラーム表示画面をディスプレイに表示し操作者へアラームを通知する。
FIG. 6 is a diagram showing an example of the functional configuration of the
録画システムの動作の詳細を説明する。まず画像解析サーバ104が実行する被写体情報登録処理手順について、図7を参照しながら説明する。
S601では、特定被写体情報登録部304は、検出対象となる特定被写体に関する情報が入力されたか否かを判定する。本実施形態では、操作端末105から画像解析サーバ104に対して情報を入力することができる。操作端末105の操作者は、特定被写体情報登録時に、登録しようとする被写体の名称(人物であれば氏名、名称)、被写体画像、被写体に関する記述的情報を含めることができる。例えば、記述的情報には、被写体に関するコメント、被写体が人物である場合には性別、年齢、その他の当該人物に関連する任意の属性情報を含めることができる。被写体画像は、例えば人物の場合には顔画像とすることができ、複数枚数の画像を登録することができる。複数枚の画像を登録することで、人物を検出する精度をより高めることが可能となる。情報が入力された場合、処理はS602へ進む。
The details of the operation of the recording system will be described. First, the subject information registration processing procedure executed by the
In S601, the specific subject
S602では、特定被写体情報登録部304は、S601で入力された情報のチェックを行う。入力値のチェックとして、入力された画像に対し特徴量の抽出処理を行う。例えば、検出対象の被写体が人物の場合には、特定被写体情報登録部304は、顔検出処理を行って、入力画像に顔画像が含まれるかどうかを判定する。顔画像が含まれる場合には、特定被写体情報登録部304は、顔特徴量抽出処理を更に行って、顔特徴量が抽出する。S601において顔画像が複数枚入力された場合には、特定被写体情報登録部304は、顔画像ごとに顔特徴量を抽出する。顔特徴量が抽出できる場合には、処理はS603へ進む。一方、検出対象の被写体の特徴量が抽出できない場合には、入力された情報は、登録するには不十分な情報であるので、処理はS601に戻る。S603では、特定被写体情報登録部304は、S601で入力された被写体画像等の情報と、S602で抽出した特徴量とを関連付けて特定被写体情報管理部305に被写体情報として登録する。
In S602, the specific subject
ここで、特定被写体情報管理部305が管理する被写体情報について説明する。図8は被写体情報として人物情報を登録している登録者リスト800の一例を示す。登録者リスト800は、登録者ID801、登録時刻802、登録名803、特徴量804、顔画像805、性別806、コメント807のフィールドを有するが、登録人物に関する更なる情報が登録されていてもよい。
登録者ID801は、登録人物に対して一意に割り当てられる識別情報であり、登録人物と関連付けられた登録情報を識別するために用いることができる。登録時刻802は、特定被写体情報管理部305に人物情報が登録された時刻を示す。登録名803は、登録された人物の指名、名称等が登録される。登録名803は、操作端末105から被写体情報を画像解析サーバ104に登録する際に、端末操作者により入力することができる。同様に顔画像805、性別806、コメント807は端末操作者により入力された内容を登録することができる。特徴量804には、登録人物が含まれる画像において、人物を特定するために利用可能な特徴量が登録される。本実施形態では、顔画像805から抽出された顔特徴量を登録することができる。また、顔画像以外の他の画像(全身画像、上半身画像、下半身画像、後姿、着衣の画像)が提供される場合にも、それらの画像から抽出された特徴量が登録される。また、提供された他の画像も登録者リスト800に登録することができる。
このようにして登録者リストを生成することができるが、登録者リストは登録される対象の属性に応じて複数種類を生成することもできる。
Here, the subject information managed by the specific subject
The
Although the registrant list can be generated in this way, a plurality of types of the registrant list can also be generated according to the attribute of the target to be registered.
図9は、複数種類のリストが生成される場合に、リストを管理するための登録者リスト管理テーブルの構成の一例を示す図である。図9に示すように、図8の一般的な登録人物のリストの他に、例えば要注意人物リスト、又は従業員リストといったリストを作成することもできる。テーブル900は、これらのリストを識別するための識別情報であるリストID、リスト名902、コメント903が登録される。ここで、リストID001の登録者リスト1が図8に示した登録者リスト800に対応している。
登録者リスト800は、一部の情報が操作端末105に保持されてもよい。例えば、登録者ID801、登録時刻802、登録名803、顔画像805、性別806、コメント807の情報は、操作端末105側にもリストとして保持されてもよい。このリストを操作端末105側で保持しておくことにより、画像解析サーバ104から受信したアラーム表示情報を操作端末105の表示装置に表示する際に、検出された被写体の画像を特定してアラーム表示に含めることができる。
FIG. 9 is a diagram showing an example of the configuration of a registrant list management table for managing the list when a plurality of types of lists are generated. As shown in FIG. 9, in addition to the general list of registered persons in FIG. 8, a list such as a list of persons requiring attention or a list of employees can be created. In the table 900, a list ID, a
In the
次に、画像解析サーバ104が実行するアラーム制御、録画制御処理について、図10のフローチャートを参照しながら説明する。まず、S1601では、画像取得部301が、カメラ102が撮像した撮像画像を画像録画サーバ103経由で受信し、伸長、復号化して画像(動画像又は静止画像)を取得する。画像取得部301は、取得した画像を、順次、被写体検出部302へ送出する。S1602では、被写体検出部302が、照合パターン辞書等を用いて取得した画像から被写体を検出する処理を実施する。ここで検出すべき被写体が特定の人物である場合には、撮像画像から人物領域を抽出する。その場合、被写体検出部302は、画像から人物が含まれる領域であって、少なくとも顔特徴量等を抽出可能な領域を検出する機能を有していればよく、人物領域の検出処理はパターン処理に限定されない。
Next, the alarm control and the recording control process executed by the
人物領域を検出するための他の手法としては例えば、以下の方法がある。被写体検出部302は、所定の大きさの検出ウィンドウを入力画像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人物であるか否かの2クラス判別を行う。この判別には、アダブーストを使って多くの弱判別器を有効に組み合わせて判別器を構成し、判別精度を向上させる。また、この判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。弱判別器はHOG特徴量で構成されている。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去する。それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人物かどうかの判別を行う。
As another method for detecting the person area, for example, there are the following methods. The
また、被写体検出部302による被写体検出処理においては、必ずしも受信した撮像画像の全体について処理を行う必要はない。例えば、撮像画像のうち特定の領域又は範囲を予め処理対象に定めておき、処理対象の範囲内で被写体が存在するか否かを判定し、被写体を抽出してもよい。また、検出対象とする被写体の最大サイズと最小サイズとに基づく範囲を指定しておき、この範囲から外れた被写体の検出を行わないようにすることもできる。このような処理により、被写体検出処理を高速化することができる。範囲等の指定は、情報処理装置104又は操作端末105のユーザインタフェースを介して被写体検出部302に処理パラメータを設定することにより行うことができる。
Further, in the subject detection process by the
S1603では、軌跡管理部311が、S1601で取得された被写体から被写体に関する情報を管理情報として被写体単位で軌跡管理部311へ記録する。被写体情報は被写体検出部302から送信される被写体位置情報を時刻ごとに記録するため被写体の移動軌跡が取得できる。また被写体の外接矩形を管理しているため、同時刻における他の被写体の位置及び外接矩形情報により、被写体間における接近度合い、又は接触を判定することができる。被写体間の接触は、各被写体の外接矩形の重なりの有無により判定を行う。被写体間の接近は、被写体位置又は外接矩形と、他の被写体の被写体位置又は外接矩形との間の距離が所定値以内のときに接近と判定する。被写体間の関連については、被写体外接矩形に換え被写体検出部302で被写体の輪郭検出を行い得た被写体輪郭に基づき行うことでより正確に判定することができる。
又は、被写体間が接近又は接触した状態が一定時間以上継続した場合に被写体間で接近又は接触したと判断するようにしてもよい。このように一定時間以上継続した場合のみ判断することにより判断の見逃しは増加するが精度を向上させることができる。また又は、人物の所持する荷物が人物間の接触時に荷物を所持する人物が入れ替わった場合は荷物を受け渡したとして判断できる。
S1603で行った被写体間の接触、又は接近といった判定結果は、関連被写体情報704として軌跡管理部311へ登録される。
In S1603, the locus management unit 311 records the information about the subject from the subject acquired in S1601 as management information in the locus management unit 311 for each subject. As the subject information, the subject position information transmitted from the
Alternatively, when the state in which the subjects are approaching or in contact continues for a certain period of time or longer, it may be determined that the subjects are approaching or in contact with each other. By making a judgment only when the judgment is continued for a certain period of time or longer in this way, the oversight of the judgment is increased, but the accuracy can be improved. Alternatively, if the person carrying the baggage is replaced when the person carrying the baggage is in contact with each other, it can be determined that the baggage has been delivered.
The determination result such as contact or approach between subjects performed in S1603 is registered in the locus management unit 311 as related
S1604では、特徴量取得部303が、S1602で取得した被写体領域画像から特徴量を抽出する抽出処理を行う。例えば、被写体が人物である場合には、特徴量取得部303は、被写体領域である人物領域から顔検出処理を行って顔領域を特定し、顔領域から顔特徴量を抽出する。顔検出処理は、画像から目、口等のエッジを検出して人物の顔の特徴部分を検出する処理を行う。即ち、顔検出処理では、顔位置、顔の大きさ、顔の確からしさ等から顔領域を検出する。
S1605では、照合部306が、S1604で取得した特徴量と、特定被写体情報管理部305に保持されている被写体情報における特徴量とを照合し、類似度を算出する。例えば、検出しようとする被写体が図8に示す登録者リスト1に含まれる人物である場合、照合部306は、S1604で取得した特徴量としての顔特徴量と、登録者リスト800に登録されている各人物の特徴量804とを順に比較して、それぞれについて類似度を算出する。
In S1604, the feature
In S1605, the
S1606では、照合部306が、特定被写体情報管理部305に登録されている特定被写体と同一とみなされる被写体が検出されたか否かの判定を行う。判定は、S1605で算出した類似度が所定の類似度閾値以上となるかどうかに基づく。具体的に図8のリストを用いた場合では、登録者リスト800に登録されている各人物の特徴量804と比較して算出された類似度のうち、閾値以上となった特徴量804があれば、特徴量804に対応する人物が判定対象の撮像画像に写っている人物とみなすことができるので、登録人物が検出されたことになる。一方、類似度が閾値以上となる特徴量804が存在しない場合には、撮像画像に写っている人物は、登録人物ではないとみなすことができる。類似度が閾値以上になる人物が複数存在する場合には、照合部306は、類似度がより高い人物を選択する。また、複数の登録画像が存在する場合には、照合部306は、画像ごとに算出された特徴量との比較を行い、算出された類似度の平均値がより高くなる人物を選択してもよい。
S1606において、照合部306が登録被写体を検出したと判定される場合、処理はS1607に進む。一方、照合部306が登録被写体を検出していないと判定される場合、処理はS1610に進む。S1607では、アラーム作成部309が、登録された被写体が検出されたことを操作端末105において報知(画面表示)するためのアラーム表示情報の作成を行う。このアラーム表示情報は、アラーム情報管理部308で設定された条件を満たす検出結果について生成される。
In S1606, the
If it is determined in S1606 that the
S1608において、通信部314が、S1607で作成したアラーム表示情報を操作端末105へ送信する。
S1608における送信では、生成したアラーム表示情報を外部装置である操作端末105に送信する場合を記載したが、画像解析サーバ104がディスプレイ等の表示装置を有する場合に、表示装置にも表示してもよい。
In S1608, the
In the transmission in S1608, the case where the generated alarm display information is transmitted to the
S1609では、関連被写体判定部310が、S1606で検出された被写体について関連被写体の判別処理を行う。
関連被写体判定部310は、S1606で検出された特定被写体について、図4における全ての種類(Event type)の関連被写体情報704の関連被写体を関連被写体と判断する。
ここで関連被写体は全ての関連被写体情報704の関連被写体としたが、関連オブジェクトの種類により特定の条件の関連被写体のみをS1606で検出された被写体についての関連被写体とするようにしてもよい。
例えば、関連被写体を接触のみと設定する場合は、全ての関連被写体でなく種類(Event type)が接触の関連被写体をS1606で検出された被写体についての関連被写体とする。
関連とする被写体の設定は操作端末105から画像解析サーバ104に対して情報を入力することができる。また関連とする被写体の設定は操作端末105で保存してもよいし画像解析サーバ104で保存するようにしてもよい。
ここで本実施形態においては関連被写体の抽出をS1603で行うが、S1606で特定被写体を検出したときに特定被写体の関連被写体を関連被写体情報704から抽出するようにしてもよい。
In S1609, the related
Regarding the specific subject detected in S1606, the related
Here, the related subject is the related subject of all the related
For example, when the related subject is set to contact only, the related subject whose type (Event type) is contact is set as the related subject for the subject detected in S1606 instead of all the related subjects.
Information can be input from the
Here, in the present embodiment, the related subject is extracted in S1603, but when the specific subject is detected in S1606, the related subject of the specific subject may be extracted from the related
S1610で、関連被写体判定部310は、抽出した関連被写体の存在する時刻範囲に基づき録画映像に対しての録画保護範囲を決定する。
S1611で、録画制御部312は、S1610で決定した録画保護範囲に基づき、画像録画サーバ103で録画保護制御を行うための録画制御情報を通信部314へ渡す。
また、録画制御部312は、定期削除管理部313から定期削除情報を受信し、画像録画サーバ103で録画定期削除処理を行うための削除制御情報を通信部314へ渡す。
画像録画サーバ103は、録画映像制御部403で、受け取った録画保護範囲情報及び削除制御情報を基に記録部402に対して録画映像の保存及び削除処理を行う。
S1612では、録画制御部312は、本処理を継続するか否かを判別し、継続する場合はS1601へ戻り、継続しない場合は本処理を終了する。
In S1610, the related
In S1611, the
Further, the
The
In S1612, the
次に図11を参照して、アラーム情報管理部308で管理するアラーム設定項目について説明する。図11はアラーム設定リストであり、アラーム情報管理部308で管理するアラーム条件設定の一例である。アラーム設定は画像解析サーバ104が保持する情報であり、アラームID1001、リストID1002、アラーム種別1003、優先度1004、対象カメラ1005、アラーム閾値1006の項目が含まれる。
アラームID1001はアラーム設定に対して一意に割り当てられ、アラームを識別するための識別情報である。リストID1002は、アラーム設定が適用されるリストIDを示し、図9のリストID901と共通の識別情報が用いられる。図11の設定では登録者リストID「001」の登録者が検出された際はアラームID「1」が出力される。
アラーム種別1003には、撮像画像を解析して検出する内容が登録される。本実施形態では人物検出を行っているため設定値として「Human Detection」が設定されている。画像解析サーバ104で他の画像解析を行い、その結果をアラームとして通知する場合には、対応する解析種別を設定することができる。例えば画像解析サーバ104で人物が侵入禁止エリアに侵入したことを検知し、それをアラームとして出力することもできる。
Next, with reference to FIG. 11, the alarm setting items managed by the alarm
The
In the
優先度1004には、出力するアラームの優先度を示す値が設定される。優先度1004は、リストID1002に登録されるリストの種別に対応付けられている。よって、操作端末105上でアラーム表示画面に優先度の表示を含めることで、どのリストに登録されている人物についてアラームが出力されたのかを把握することができる。優先度は、アラームに対する優先度の高低を操作者が認識することを可能とする。例えば、アラームとしての緊急性が高いものほど優先度を高くすることができる。図9に示したリストとの関連では、リストID901が002の要注意人物リストには優先度Highを割り当て、001の登録者リスト1にはMiddleを割り当て、003の従業員リストにはLowを割り当てることができる。また、優先度に応じて操作端末105側で別の警報装置へ通知する等のシステムを導入することもできる。
A value indicating the priority of the alarm to be output is set in the
対象カメラ1005には、アラーム生成の対象となるカメラ102を特定する値が登録される。ネットワークカメラシステム10に接続されているカメラ102のすべてを対象とする場合は「all」を示す値が登録される。一部のカメラ102のみを指定する場合には、カメラを特定するためのカメラID等を登録することができる。アラーム閾値1006には、照合部306が算出した類似度に基づきアラームを生成する場合に用いるアラーム閾値が登録される。アラーム閾値1006は、照合部306が登録された被写体が検出されたか否かを判定する際に用いる閾値とは異なる。アラーム閾値1006は、照合部306で登録人物と判定された人物について、アラーム生成の有無、アラーム種別の変更等を行うかどうかを判定するために用いられる閾値である。よって、リスト001、又はリスト002の人物が検出されたと照合部306が判定した場合には、アラーム閾値は0であるので、全てがアラーム生成の対象となる。アラーム閾値1006を設定することにより、例えば、画像解析処理の設定パラメータは変更せずにアラームの発行制限を行うこと、類似度が高く登録人物の可能性が高い場合に別のアラーム種別のアラーム生成を行うこと等ができる。
A value that identifies the
図12は、アラーム表示情報テーブルの一例を示す図である。アラーム表示情報テーブル1100は画像解析サーバ104が保持する情報であり、検出日時1101、登録者ID1102、登録名1103、アラーム種別1104、場所1105、カメラID1106、カメラ名1107、優先度1108、登録リスト名1109、類似度1110のフィールドを有する。
検出日時1101は、カメラ102の撮像画像から登録人物が検出された日時である。登録者ID1102は、照合部306で検出した人物を識別するための識別情報であり、図8の登録者ID801と対応する値が登録される。登録名1103は、照合部306で検出した被写体の登録名であり、図8の登録名803と対応する値が登録される。アラーム種別は1104、アラーム情報管理部308の設定条件に基づき作成されたアラームの種類である。場所1105は、被写体が検出された画像を撮像したカメラ102の設置場所である。カメラID1106は、被写体を検出した画像を撮像したカメラ102の識別情報である。カメラ名1107は、被写体を検出した画像を撮像したカメラ102のカメラ名である。優先度1108は、アラーム情報管理部308の設定条件に基づき作成されたアラームの優先度である。登録リスト名1109は、検出した被写体が含まれるリスト名である。類似度1110は、被写体を検出した際に算出した類似度である。
このようなアラーム表示情報は、画像解析サーバ104から操作端末105へアラーム表示を操作端末105で行うための表示情報として送信され、図15に示すアラーム表示処理手順にしたがって表示される。
FIG. 12 is a diagram showing an example of an alarm display information table. The alarm display information table 1100 is information held by the
The detection date and
Such alarm display information is transmitted from the
次に図13は、カメラ情報テーブル1200の一例を示す図である。カメラ情報テーブル1200は、カメラID1201、カメラ名1202、場所1203、IPアドレス1204、領域1205、マップID1206、マップ位置1207の項目を有する。カメラID1201には、個々のカメラ102を識別する情報が登録される。カメラ名1202には、個々のカメラに与えられる名称が登録される。場所1203には、カメラが配置される場所を示す情報が登録される。IPアドレス1204には、個々のカメラに与えられたIPアドレスが登録される。これによりカメラ102は外部装置と直接に通信することができる。領域1205には、カメラが撮像する領域を示す情報が登録される。マップID1206には、表示情報で用いられるマップ画像を特定するための識別情報が登録される。マップ位置1207は、マップID1206により特定されるマップ画像上におけるカメラ相対位置を示す情報が登録される。これらの情報は画像解析サーバ104が保持する情報であり、カメラ名1202、場所1203、領域1205、マップ位置1207は、操作端末105からも変更ができる。また、アラーム作成部309は、情報をアラーム作成時に参照し、作成したアラーム表示情報を操作端末105へ送信する。
Next, FIG. 13 is a diagram showing an example of the camera information table 1200. The camera information table 1200 has items of
次に図14は、マップ情報テーブル1400の一例を示す図である。マップ情報テーブル1400は、マップID1401、マップ名1402、画像データ1403の項目を有する。マップID1401は、マップを一意に特定するための識別情報が登録され、カメラ情報テーブル1200のマップID1206と対応する。マップ名1402には、マップの名称が登録される。画像データ1403は、マップIDで識別されるマップ画像のデータが登録される。本テーブルを参照することにより、マップIDが特定されれば、対応するマップ画像を取得することが可能となる。マップ情報テーブル1400は、画像解析サーバ104が保持していてもよいし、操作端末105が保持していてもよい。また、両装置がそれぞれ保持していてもよい。
Next, FIG. 14 is a diagram showing an example of the map information table 1400. The map information table 1400 has items of
次に、操作端末105が実行するアラーム表示処理手順について、図15のフローチャートを参照しながら説明する。S1301において、操作端末105は、画像解析サーバ104からアラーム表示情報を受信する。S1302において、操作端末105は、操作端末105の表示装置にアラーム表示画面を表示するために、S1301で受信したアラーム表示情報を解析する。S1303において、S1302における解析結果に基づき、アラーム表示情報に含める各種の情報を取得する。情報は、画像録画サーバ103、又は画像解析サーバ104から取得することもできるし、操作端末105自体が保持している場合には操作端末105が保持する情報を利用することもできる。例えば、操作端末105は、検出日時1101及びカメラID1106に基づいてアラーム発生時の撮像画像を画像録画サーバ103から取得する。また、操作端末105は、受信したアラーム表示情報の登録者ID1102に基づき、登録者リストからアラーム表示に含める顔画像を取得する。また、操作端末105は、アラーム表示情報のカメラID1106に基づき、カメラ情報テーブル1200に従いマップID1206及びマップ位置1207を取得する。また、操作端末105は、取得したマップID1206とマップ情報テーブル1400とに基づき、対応するマップ画像データを取得する。
Next, the alarm display processing procedure executed by the
S1304では、操作端末105は、以上により取得した情報に基づいてアラーム表示画面を操作端末105の表示装置上に表示する。アラーム表示画面には、アラーム表示情報に含まれる検出日時、アラーム種別等のテキストデータの他、検出した被写体の画像、被写体が検出された画像をカメラ102の位置により、マップ上において被写体が検出された位置を示すマップ画像等を含めることができる。S1304におけるアラーム画面表示では、S1303で取得した情報を全て表示してもよいが、操作者の設定、又は操作に応じて、所定の情報に絞り込んで表示を行ったり、段階的に情報を提供したりするようにしてもよい。
また、アラーム表示情報を画像解析サーバ104がディスプレイ等の表示装置に表示する場合には、画像解析サーバ104が図15の処理を実行することができる。
In S1304, the
Further, when the
次に、図16を参照して、画像録画サーバ103の録画状態を説明する。
図16(A)は定期削除管理部313の定期削除実行処理前の録画状態を説明するための模式図である。
図16(A)において、録画バー1500は画像録画サーバ103のカメラ102の画像の録画状態を示す録画バーである。録画バー1500は各時刻における録画の有無を示しており、状態1511は、録画データが存在し録画されていることを示す。時刻1512が現在時刻を示しており、録画バーの右が新しく左が古い時刻である。状態1513は録画データが存在しないことを示している。時刻1512よりも未来の状態であるため状態1513には録画データは存在しない。
Next, the recording state of the
FIG. 16A is a schematic diagram for explaining the recording state of the periodic
In FIG. 16A, the
図16(B)は定期削除管理部313の定期削除実行処理後の録画状態を示す図である。図16(B)では説明のため録画制御部312の録画保護制御が行われていない状態とする。
図16(B)において、時刻1523は定期削除が実行された時刻である。本実施形態では、時刻1523は、時刻1512から1週間前の午前0時0分である。
定期削除管理部313の定期削除実行処理により、状態1522は録画データが削除されており、状態1521は定期削除範囲外であるため録画データは削除されない。
図16(C)は録画制御部312の録画保護制御が行われた場合の定期削除管理部313の定期削除実行処理後の録画状態を示す図である。
図16(C)において、時刻1532はアラーム作成部309によりアラームが発生した時刻である。範囲1533は、アラーム発生対象の被写体の追尾時間である。状態1531は、アラーム発生対象の被写体の追尾時間が録画保護範囲であるため、定期削除管理部313の定期削除実行処理で削除されず録画データが保護される。
FIG. 16B is a diagram showing a recording state after the periodic deletion execution process of the periodic
In FIG. 16B,
The recorded data is deleted in the
FIG. 16C is a diagram showing a recording state after the periodic deletion execution process of the periodic
In FIG. 16C,
図16(D)は録画保護範囲を一次関連被写体までとした場合の録画状態を示す図である。
一次関連被写体とは、被写体の被写体情報の関連被写体で管理される被写体である。例えば図4のように被写体(Object:32)の関連被写体は、被写体ID51、60、85の被写体である。
図16(D)において範囲1542及び範囲1543は、範囲1533の被写体と関連する被写体の追尾時間である。よって状態1541は、範囲1542と範囲1543と範囲1533を全て含む時間であり定期削除されず画像が保護されている状態である。
FIG. 16D is a diagram showing a recording state when the recording protection range is set to the primary related subject.
The primary related subject is a subject managed by the related subject in the subject information of the subject. For example, as shown in FIG. 4, the related subject of the subject (Object: 32) is the subject of the
In FIG. 16D, the
図16(E)は録画保護範囲を二次関連被写体までとした場合の録画状態を示す図である。
二次関連被写体とは、被写体の関連被写体と関連する被写体である。例えば図4のように被写体(Object:32)の関連被写体IDを51、60、85とする。すると被写体(Object:32)の二次関連被写体とは、被写体ID:51、60、85が持つ被写体情報の関連被写体情報704に記載されている被写体が二次関連被写体となる。
図16(E)において範囲1552及び範囲1553は、範囲1551の被写体の二次関連被写体の追尾時間である。よって範囲1551は、範囲1533の被写体の一次関連被写体及び二次関連被写体の追尾範囲を全て含む時間が録画保護され定期削除から除外される。
FIG. 16E is a diagram showing a recording state when the recording protection range is set to the secondary related subject.
The secondary related subject is a subject related to the related subject of the subject. For example, as shown in FIG. 4, the related subject IDs of the subject (Object: 32) are 51, 60, and 85. Then, as the secondary related subject of the subject (Object: 32), the subject described in the related
In FIG. 16E, the
図16(F)は録画画像品質を関連被写体に応じて変化させて保存することを例示する図である。
範囲1562は、特定被写体が存在せず関連被写体又は二次関連被写体のみが存在する時間範囲である。図16(F)では1561は通常の録画保護処理に加えて録画品質を下げるように変換して保存する。つまり重要度の高いものは高画質で、そうでないものは低画質で保存することで必要な記憶媒体容量を低減することができる。録画品質とは映像のフレームレート、解像度、圧縮率である。又は画面内の領域を被写体の存在する周囲の範囲に絞るようにしてもよい。
FIG. 16F is a diagram illustrating that the quality of the recorded image is changed and stored according to the related subject.
The
本実施形態では、検出イベントに関する関連被写体又は二次関連被写体の映っている映像の範囲を定期削除範囲から除くことで、記憶媒体の容量を抑えつつ検出イベントに関する映像を確認する際に必要な映像が削除されてしまうことを低減することができる。 In the present embodiment, by excluding the range of the image of the related subject or the secondary related subject related to the detection event from the periodic deletion range, the image required for confirming the image related to the detection event while suppressing the capacity of the storage medium. Can be reduced from being deleted.
(変形例)
変形例では、実施形態1と異なる点のみについて説明し、以下で、特に、説明しない限りは、実施形態1と同様であるものとする。
変形例における画像処理システムの動作環境も実施形態1と同じく図2のネットワーク接続構成図を用いる。また、変形例における画像解析サーバ104の機能構成も図3に示す図を用いる。
但し変形例では実施形態1と異なり、画像録画サーバ103はカメラ102の画像を常時録画していない。画像録画サーバ103は、アラーム作成部309でアラームが作成された場合に録画を開始し、アラームに関する全ての被写体及び関連被写体の追尾が終了したときに録画を停止する。
変形例においても、常時録画でない録画システムにおいても記憶媒体の容量を抑えつつ検出イベントに関する映像を確認する際に必要な映像が記録されていないことを低減することができる。
(Modification example)
In the modified example, only the points different from the first embodiment will be described, and the same as the first embodiment will be described below unless otherwise specified.
As the operating environment of the image processing system in the modified example, the network connection configuration diagram of FIG. 2 is used as in the first embodiment. Further, the figure shown in FIG. 3 is also used for the functional configuration of the
However, in the modified example, unlike the first embodiment, the
In both the modified example and the recording system that is not constantly recorded, it is possible to reduce the fact that the video required for confirming the video related to the detection event is not recorded while suppressing the capacity of the storage medium.
次に、変形例における画像解析サーバ104が実行するアラーム制御、録画制御処理について、図17のフローチャートを参照しながら説明する。
図17において、S1701〜S1707は、図10のS1601〜S1607の処理と同じである。
S1708では、通信部314が、S1707で作成したアラーム表示情報を操作端末105へ送信する。更に、通信部314は、画像録画サーバ103に対して録画開始指示を送信する。
画像録画サーバ103は、録画映像制御部403で、受け取った録画制御情報を基に記録部402に対して録画開始処理を行う。
Next, the alarm control and the recording control process executed by the
In FIG. 17, S1701 to S1707 are the same as the processes of S1601 to S1607 of FIG.
In S1708, the
The
S1709では、関連被写体判定部310が、S1706で検出された被写体について関連被写体の判別処理を行う。関連被写体判別処理はS1609と同様の処理を行う。
S1710で、関連被写体判定部310は、抽出した関連被写体又はS1707で作成したアラーム対象の被写体又はその関連被写体を追尾中か否かの判定を行う。S1710で何れかの被写体を追尾中であると判定された場合は、関連被写体判定部310は、S1712へ進む。S1710で追尾中の被写体はないと判定された場合は、関連被写体判定部310は、S1711へ進む。
S1711で、録画制御部312は、画像録画サーバ103で行っている録画を停止するための録画制御情報を通信部314へ渡す。
画像録画サーバ103は、録画映像制御部403で、受け取った録画制御情報を基に記録部402に対して録画停止処理を行う。
S1712では、録画映像制御部403は、本処理を継続するか否かを判別し、継続する場合はS1701へ戻り、継続しない場合は本処理を終了する。
In S1709, the related
In S1710, the related
In S1711, the
The
In S1712, the recorded
次に、図18を参照して、画像録画サーバ103の録画状態を説明する。
図18は、録画制御部312が録画制御実行後の録画状態を示すための模式図である。
図18において、1800は画像録画サーバ103のカメラ102の画像の録画状態を示す録画バーである。録画バー1800は各時刻における録画の有無を示す。録画状態1805は、録画データが存在し録画されていることを示す。時刻1801が現在時刻を示しており、録画バーの右が新しく左が古い時刻である。録画状態1806は録画データが存在しないことを示している。
1802はアラームが発生したことを示す。範囲1803は、アラーム対象被写体が追尾されている範囲を示す。範囲1804は、アラーム対象者の関連被写体が追尾されている範囲を示す。
Next, the recording state of the
FIG. 18 is a schematic diagram for the
In FIG. 18, 1800 is a recording bar showing the recording state of the image of the
1802 indicates that an alarm has occurred. The
図18において、録画範囲1085は、アラーム発生時刻から録画が開始され、アラーム対象被写体又はアラーム対象被写体の関連被写体の追尾が全て終了した時点(1807)で録画が終了していることを示す。また、本変形例は、実施形態1と異なり、アラーム発生時刻から録画を開始するため、アラーム対象被写体の範囲1803のアラーム発生1802より前の録画はされない。
In FIG. 18, the recording range 1085 indicates that the recording is started from the time when the alarm occurs, and the recording is finished when the tracking of the alarm target subject or the related subject of the alarm target subject is completed (1807). Further, in this modification, unlike the first embodiment, since the recording is started from the alarm occurrence time, the recording before the
本変形例では、アラーム発生時から録画を開始するとしたがこの限りではない。例えば、カメラ102の撮像画像データに対し、画像録画サーバ103のRAM203に撮像時刻から数秒間前までの範囲の画像を常時バッファとしてためておく。そしてアラーム発生時にはRAM203内の画像データを記録部402でアラーム発生後の録画データと合わせて保存する。このようにすることでアラーム発生時から数秒前までの画像を保存することができる。
以上説明したとおり、本変形例では、常時録画でない録画システムにおいても記憶媒体の容量を抑えつつ検出イベントに関する映像を確認する際に必要な映像が記録されていないことを低減することができる。
In this modification, recording is started when an alarm occurs, but this is not the case. For example, for the captured image data of the
As described above, in the present modification, it is possible to reduce the fact that the video necessary for confirming the video related to the detection event is not recorded while suppressing the capacity of the storage medium even in the recording system that is not constantly recorded.
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other Embodiments>
The present invention supplies a system or device via a network or storage medium with a program that realizes one or more functions of the above-described embodiment. It can also be realized by a process in which one or more processors in the computer of the system or apparatus reads and executes a program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。 Although an example of the embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment.
104 画像解析サーバ
201 CPU
104
Claims (13)
特定の被写体と関連する関連被写体を判定する判定手段と、
前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定手段と、
を有することを特徴とする情報処理装置。 A detection means that detects the subject from the captured image,
Judgment means for determining a related subject related to a specific subject,
A determination means for determining the recording protection range of the recorded video based on the time range in which the related subject exists, and
An information processing device characterized by having.
特定の被写体と関連する関連被写体を判定する判定手段と、
前記特定の被写体及び前記関連被写体の何れかを追尾中の場合は、録画を継続するよう制御し、前記特定の被写体及び前記関連被写体の何れも追尾中でない場合は、録画を停止するよう制御する制御手段と、
を有することを特徴とする情報処理装置。 A detection means that detects the subject from the captured image,
Judgment means for determining a related subject related to a specific subject,
When either the specific subject or the related subject is being tracked, recording is controlled to continue, and when neither the specific subject nor the related subject is being tracked, recording is controlled to be stopped. Control means and
An information processing device characterized by having.
前記決定手段は、前記関連被写体が存在する時刻範囲と、前記二次関連被写体が存在する時刻範囲と、に基づき、録画映像の録画保護範囲を決定する請求項1に記載の情報処理装置。 The determination means determines a secondary related subject related to the related subject, and determines the secondary related subject.
The information processing device according to claim 1, wherein the determination means determines a recording protection range of a recorded video based on a time range in which the related subject exists and a time range in which the secondary related subject exists.
特定の被写体と関連する関連被写体を判定する判定ステップと、
前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定ステップと、
を含むことを特徴とする情報処理方法。 A detection step that detects the subject from the captured image,
Judgment steps to determine related subjects related to a specific subject,
A determination step of determining the recording protection range of the recorded video based on the time range in which the related subject exists, and
An information processing method characterized by including.
特定の被写体と関連する関連被写体を判定する判定ステップと、
前記特定の被写体、又は前記関連被写体を追尾中の場合は、録画を継続するよう制御し、前記特定の被写体、又は前記関連被写体を追尾中でない場合は、録画を停止するよう制御する制御ステップと、
を含むことを特徴とする情報処理方法。 A detection step that detects the subject from the captured image,
Judgment steps to determine related subjects related to a specific subject,
When the specific subject or the related subject is being tracked, the recording is controlled to be continued, and when the specific subject or the related subject is not being tracked, the recording is controlled to be stopped. ,
An information processing method characterized by including.
撮像画像より被写体を検出する検出手段と、
特定の被写体と関連する関連被写体を判定する判定手段と、
前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定手段、
として機能させるためのプログラム。 Computer,
A detection means that detects the subject from the captured image,
Judgment means for determining a related subject related to a specific subject,
A determination means for determining the recording protection range of the recorded video based on the time range in which the related subject exists.
A program to function as.
撮像画像より被写体を検出する検出手段と、
特定の被写体と関連する関連被写体を判定する判定手段と、
前記特定の被写体、又は前記関連被写体を追尾中の場合は、録画を継続するよう制御し、前記特定の被写体、又は前記関連被写体を追尾中でない場合は、録画を停止するよう制御する制御手段、
として機能させるためのプログラム。 Computer,
A detection means that detects the subject from the captured image,
Judgment means for determining a related subject related to a specific subject,
A control means that controls to continue recording when the specific subject or the related subject is being tracked, and to stop recording when the specific subject or the related subject is not being tracked.
A program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019096917A JP2020191585A (en) | 2019-05-23 | 2019-05-23 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019096917A JP2020191585A (en) | 2019-05-23 | 2019-05-23 | Information processing device, information processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020191585A true JP2020191585A (en) | 2020-11-26 |
Family
ID=73454793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019096917A Pending JP2020191585A (en) | 2019-05-23 | 2019-05-23 | Information processing device, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020191585A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220159585A (en) * | 2021-05-26 | 2022-12-05 | (주)블루컴 | System for tracking suspicious vehicle and mehtod for tracking suspicious vehicle using therewith |
-
2019
- 2019-05-23 JP JP2019096917A patent/JP2020191585A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220159585A (en) * | 2021-05-26 | 2022-12-05 | (주)블루컴 | System for tracking suspicious vehicle and mehtod for tracking suspicious vehicle using therewith |
KR102623593B1 (en) * | 2021-05-26 | 2024-01-11 | (주)블루컴 | System for tracking suspicious vehicle and mehtod for tracking suspicious vehicle using therewith |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
JP6854881B2 (en) | Face image matching system and face image search system | |
US9477876B2 (en) | Person recognition apparatus and method thereof | |
US11640726B2 (en) | Person monitoring system and person monitoring method | |
JP6915542B2 (en) | Information processing equipment, notification system, information transmission method and program | |
US9891798B2 (en) | Face image tracking system | |
JPWO2008126185A1 (en) | Information processing apparatus, information processing program, and information processing method | |
JP5982557B2 (en) | Video surveillance system and image search system | |
US11450186B2 (en) | Person monitoring system and person monitoring method | |
KR101372860B1 (en) | System for searching video and server for analysing video | |
JP7145622B2 (en) | Information processing device, information processing device control method, subject detection system, and program | |
CN109784231A (en) | Safeguard information management method, device and storage medium | |
JP2005086626A (en) | Wide area monitoring device | |
JP5202419B2 (en) | Security system and security method | |
KR20210043960A (en) | Behavior Recognition Based Safety Monitoring System and Method using Artificial Intelligence Technology and IoT | |
US20210286978A1 (en) | Face detection method and server | |
JP2020191585A (en) | Information processing device, information processing method, and program | |
US10783365B2 (en) | Image processing device and image processing system | |
CN112330742A (en) | Method and device for recording activity routes of key personnel in public area | |
US11676439B2 (en) | Face authentication system and face authentication method | |
JP2021056869A (en) | Facility user management system | |
JP2021106330A (en) | Information processing apparatus, information processing method, and program | |
US20220277642A1 (en) | Investigation assistance system and investigation assistance method | |
US20030004913A1 (en) | Vision-based method and apparatus for detecting an event requiring assistance or documentation | |
JP4120379B2 (en) | Behavior monitoring system and program |