JP2015070401A - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP2015070401A JP2015070401A JP2013201908A JP2013201908A JP2015070401A JP 2015070401 A JP2015070401 A JP 2015070401A JP 2013201908 A JP2013201908 A JP 2013201908A JP 2013201908 A JP2013201908 A JP 2013201908A JP 2015070401 A JP2015070401 A JP 2015070401A
- Authority
- JP
- Japan
- Prior art keywords
- category
- video
- operator
- video data
- setting screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、監視カメラからの映像を解析する技術に関する。 The present invention relates to a technique for analyzing video from a surveillance camera.
上記技術分野において、特許文献1には、リアルタイム学習により、挙動認識システムの事前知識、事前学習を不要とする技術が開示されている。 In the above technical field, Patent Document 1 discloses a technique that eliminates the prior knowledge of the behavior recognition system and prior learning by real-time learning.
しかしながら、上記文献に記載の技術では、挙動認識を機械学習することにより、類似の物体の過去の観測に基づいて、一定の挙動を正常または異常と特徴付けている。これでは、システム運用者が積極的に介在、支援しないため、監視システムの実運用中に効果的かつ効率的にオペレータの習熟度を高めることができない。 However, the technique described in the above document characterizes a certain behavior as normal or abnormal based on past observations of similar objects by machine learning of behavior recognition. In this case, since the system operator does not actively intervene and support, the operator's proficiency cannot be improved effectively and efficiently during the actual operation of the monitoring system.
本発明の目的は、上述の課題を解決する技術を提供することにある。 The objective of this invention is providing the technique which solves the above-mentioned subject.
上記目的を達成するため、本発明に係る映像処理装置は、
監視カメラで撮影された映像データを表示させると共に、前記映像データに含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御手段と、
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定手段と、
前記判定手段による判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価手段と、
を備えた。
In order to achieve the above object, a video processing apparatus according to the present invention provides:
Display control means for displaying video data captured by a monitoring camera and displaying a category setting screen for setting a category of an event included in the video data;
Determination means for determining the appropriateness of the category information set according to the operator's operation on the category setting screen;
In accordance with the determination result by the determination unit, an evaluation unit that evaluates the level of proficiency of the monitoring technique of the operator;
Equipped with.
上記目的を達成するため、本発明に係る映像処理方法は、
監視カメラで撮影された映像データを表示させると共に、前記映像データに含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御ステップと、
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定ステップと、
前記判定ステップによる判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価ステップと、
を含む。
In order to achieve the above object, a video processing method according to the present invention includes:
A display control step of displaying video data captured by the surveillance camera and displaying a category setting screen for setting a category of an event included in the video data;
A determination step of determining the appropriateness of the category information set according to the operation of the operator on the category setting screen;
In accordance with the determination result of the determination step, an evaluation step for evaluating the level of proficiency of the operator's monitoring technique;
including.
上記目的を達成するため、本発明に係る映像処理プログラムは、
監視カメラで撮影された映像データを表示させると共に、前記映像データに含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御ステップと、
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定ステップと、
前記判定ステップによる判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価ステップと、
をコンピュータに実行させる。
In order to achieve the above object, a video processing program according to the present invention provides:
A display control step of displaying video data captured by the surveillance camera and displaying a category setting screen for setting a category of an event included in the video data;
A determination step of determining the appropriateness of the category information set according to the operation of the operator on the category setting screen;
In accordance with the determination result of the determination step, an evaluation step for evaluating the level of proficiency of the operator's monitoring technique;
Is executed on the computer.
本発明によれば、監視システムの実運用中に効果的かつ効率的にオペレータの習熟度を高めることができる。 According to the present invention, it is possible to effectively and efficiently increase the proficiency level of an operator during actual operation of the monitoring system.
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the components described in the following embodiments are merely examples, and are not intended to limit the technical scope of the present invention only to them.
[第1実施形態]
本発明の第1実施形態としての映像処理装置100について、図1を用いて説明する。図1に示すように、映像処理装置100は、表示制御部102と、判定部103と、評価部104と、を含む。
[First Embodiment]
A video processing apparatus 100 as a first embodiment of the present invention will be described with reference to FIG. As illustrated in FIG. 1, the video processing apparatus 100 includes a display control unit 102, a
表示制御部102は、監視カメラ110で撮影された映像データ111を表示させると共に、映像データ111に含まれる事象のカテゴリを設定するためのカテゴリ設定画面121を表示させる。
The display control unit 102 displays the video data 111 captured by the monitoring camera 110 and also displays a
判定部103は、カテゴリ設定画面121に対するオペレータの操作に応じて設定されたカテゴリ情報122の適切度を判定する。
The
評価部104は、判定部103による判定結果を収集して、オペレータ120の監視技術の習熟度を評価する。
The evaluation unit 104 collects the determination results by the
本実施形態によれば、監視システムの実運用中に効果的かつ効率的にオペレータの習熟度を高めることができる。 According to the present embodiment, it is possible to effectively and efficiently increase the proficiency level of the operator during actual operation of the monitoring system.
[第2実施形態]
本発明の第2実施形態は、映像検知エンジンの検知対象の学習用映像をカテゴリ別に収集し、収集した学習用映像を新規モジュール作成、既定モジュールの精度向上に活用する技術に関するものである。なお、以下の説明中「映像」という用語は、動画のみを意味する概念ではなく、静止画をも含む概念として用いている。
[Second Embodiment]
The second embodiment of the present invention relates to a technique for collecting learning videos to be detected by the video detection engine by category, and using the collected learning videos for creating a new module and improving the accuracy of a default module. In the following description, the term “video” is used as a concept including not only a moving image but also a still image.
(前提技術)
まず、本発明の第2実施形態に係る映像監視システムの前提技術について、図2A〜図4を用いて説明する。図2A、図2Bは、本実施形態の映像監視システム200を説明するための図である。
(Prerequisite technology)
First, the prerequisite technology of the video surveillance system according to the second embodiment of the present invention will be described with reference to FIGS. 2A to 4. 2A and 2B are diagrams for explaining the
図2Aに示すように、映像監視システム200は、データセンタ201と監視カメラ群202とを含む。データセンタ201は、映像解析プラットフォーム210と映像監視プラットフォーム220とを含み、さらに、複数の映像監視操作端末群232を含んでいる。この図では、複数の映像監視操作端末群232を備えた映像監視室230の様子を示している。映像監視室230では、オペレータ240が、映像監視操作端末群232のそれぞれの端末が備える2画面のモニタを見ながら、監視対象映像をチェックしている。ここでは、左画面において16画面分割表示を行ない、右画面において1画面拡大表示を行なった場合の例を示している。しかし、本発明はこれに限定されるものではなく、どのような表示でもよい。例えば左右が逆でもよいし、それぞれの画面での分割数も任意の数である。映像監視室230の前方の壁には、複数の大型モニタ231が設けられ、問題のある映像または静止画面が表示される。このような映像監視室230では、例えば、200人のオペレータ240が、交代しながら、一人あたり16カメラの映像を監視し、全2000カメラの映像を24時間360日間監視し続ける。そして、オペレータ240は、割り当てられた16台の監視カメラの映像を見つつ、暴走車、銃やナイフなどの危険物、窃盗、ひったくり、家出、傷害事件、殺人、麻薬取引、不法侵入といった問題行為、それらに準ずる物および行為(例えば不審者や群衆の動き)などといった検出すべき事象を見つけ出し、スーパバイザに報告する。スーパバイザは、映像を再確認して、必要に応じて警察や病院に連絡し、被害者の救助および犯罪者の逮捕に協力する。
As shown in FIG. 2A, the
映像監視プラットフォーム220は、VMS(Video Management System)と呼ばれ、監視カメラ群202から取得した映像データの保存、および映像監視操作端末群232に対する配信を行なう。その結果、映像監視操作端末群232では、所定の割り当てルールに応じて、映像データのリアルタイム表示を行なう。映像監視プラットフォーム220は、映像監視操作端末群232を操作するオペレータ240からのリクエストに応じて、監視カメラ群202のいずれかを選択し、PTZ(パン・チルト・ズーム)操作指示を送る。
The
映像解析プラットフォーム210は、映像監視プラットフォーム220において保存された映像データに対して解析処理を施し、条件に合った映像データが存在した場合、対象となる映像データを指定したアラート情報を映像監視プラットフォーム220へ送信する。映像監視プラットフォーム220は、映像解析プラットフォーム210から受け取ったアラート情報に応じて、アラート画面を生成し、映像監視操作端末群232の所定端末に対して通知する。場合によっては、問題映像の強制拡大表示、大型モニタ231への表示を行なう。
The
図2Bは、映像監視システム200の詳しい構成を示すブロック図である。図2に示すとおり、映像監視プラットフォーム220は、監視カメラ群202から映像データ250を収集して、採取時刻、カメラ位置、カメラID、その他の情報を付加して映像ストレージ221に蓄積する。また、カメラ選択操作部222は、オペレータ240による映像監視操作端末群232を介した、カメラの指定およびPTZ(パン・チルト・ズーム)操作指示を受け取り、指定された監視カメラを操作する。
FIG. 2B is a block diagram illustrating a detailed configuration of the
映像監視プラットフォーム220は、映像監視操作端末群232に対してアラートを表示させる表示制御部223と、映像監視操作端末群232からの指示に応じて、映像ストレージ221に保存された過去映像の再生/編集を行なう映像読出処理部224とを含む。
The
映像解析プラットフォーム210は、既定映像解析モジュール211を備えている。各映像解析モジュールは、それぞれ別々の種類の問題映像を検出するためのアルゴリズムおよび/またはパラメータで構成されている。これらの既定映像解析モジュール211は、あらかじめ用意されたアルゴリズムおよびパラメータを用いて、あらかじめ設定された事象を含む映像検出を行ない、検出した映像データに対して、あらかじめ用意されたアラート情報を映像監視プラットフォーム220に送信する。
The
図3は、データセンタ201での処理の流れを説明するためのフローチャートである。ステップS301において、映像監視プラットフォーム220は、監視カメラ群202から、映像データ250を受信する。
FIG. 3 is a flowchart for explaining the flow of processing in the
次に、ステップS302において、映像監視プラットフォーム220は受信した映像データ250を映像ストレージ221へ保存し、映像監視操作端末群232および映像解析プラットフォーム210へ送信する。
In step S <b> 302, the
次に、ステップS303において、カメラ選択操作部222は、映像監視操作端末群232を介してオペレータ240からカメラ選択情報とカメラ操作情報とを受信し、選択された監視カメラに対して操作コマンドを送信する。
In step S303, the camera
一方、ステップS304では、映像解析プラットフォーム210が、既定映像解析モジュール211を用いて、映像監視プラットフォーム220から受信した映像データの解析処理を行なう。
On the other hand, in step S304, the
そして、ステップS305において、既定映像解析モジュール211は、あらかじめ定められた条件を満たす映像を検出した場合に、ステップS307に進み、アラート情報を映像監視プラットフォーム220へ送信する。アラートを検出しない場合には特別な動作を行なわず処理を終了する。
In step S 305, when the default
さらにステップS308では、映像監視プラットフォーム220の表示制御部223にてアラート画面を生成し、対象監視カメラの映像と共に映像監視操作端末群232に送信する。
In step S308, an alert screen is generated by the
ステップS309では、アラート画面に対するオペレータ240の報告操作(スーパーバイザや警察への報告操作)を受け付ける。
In step S309, the
図4は、既定映像解析モジュール211を生成する際の処理の流れを説明するためのフローチャートである。ここでの映像解析モジュール生成処理は、データセンタ201を現地に構築する前に行なう。まずステップS401では、膨大な過去映像の中から検出すべき事象を含む映像を人間の目で大量に抽出する。あるいは、ステップS402において、実運用環境と類似の環境において、検出すべき事象と類似する事象を意図的に発生させ、撮影を実施し、サンプル映像を抽出する。ステップS403では、抽出/収集された大量の映像データの一つ一つに対してマニュアルで付加情報を付与し、学習用映像を作成する。さらに、ステップS404では、対象となるオブジェクト、事象、動作に対して最適なアルゴリズムを研究者/エンジニアが選択し、学習用映像データを学習させて既定映像解析モジュール211を生成する。
FIG. 4 is a flowchart for explaining the flow of processing when the default
(前提技術の課題)
上記前提技術では既定映像解析モジュールを作成する際、収集と正解付けに莫大な工数と期間を必要としていた。例えば、顔認証では2000枚の画像、ライセンスプレート認識では200枚の画像、ディープラーニングでの特定事象検知では100万枚の画像が必要であり、導入までのハードルが高かった。つまり、学習用映像からの映像解析モジュール(識別器)作成はマニュアルで実施され、その過程の中で映像解析モジュールの動作検証も個別に実施しており、個別に環境を整備していた為、工数と期間を必要としていた。
(Issues of prerequisite technologies)
In the base technology described above, enormous man-hours and time are required for collection and correct answer when creating the default video analysis module. For example, 2000 images are required for face authentication, 200 images are required for license plate recognition, and 1 million images are required for specific event detection in deep learning. In other words, the video analysis module (discriminator) creation from the video for learning was performed manually, and the operation verification of the video analysis module was also performed individually in the process, and the environment was individually maintained, It required man-hours and duration.
これに対し、近年、犯罪や事故の種別が多様化する中で、検出できる事象の追加処理に対する運用顧客の需要は高まっている。また、監視環境とは異なる環境で収集をした学習用映像のみを適用した既定映像解析モジュールでは、実際の映像監視環境によっては問題映像の検出精度が大きく落ちてしまう場合があった。そして、実際の監視環境にフィットさせるためには、多くの工数と長い期間を必要としていた。 On the other hand, in recent years, as the types of crimes and accidents are diversified, the demand of operation customers for additional processing of detectable events is increasing. In addition, in the default video analysis module to which only learning videos collected in an environment different from the monitoring environment are applied, the problem video detection accuracy may be greatly lowered depending on the actual video monitoring environment. In order to fit the actual monitoring environment, many man-hours and a long period of time are required.
しかし一方で、図4のステップS402、S403の作業を現場のオペレータに任せてしまうと、学習用映像データの精度がオペレータの能力や習熟度に左右されてしまい、ひいては映像解析精度の低下が懸念される。 On the other hand, if the operations in steps S402 and S403 in FIG. 4 are left to the operator at the site, the accuracy of the video data for learning depends on the ability and proficiency of the operator, and there is a concern that the video analysis accuracy may be lowered. Is done.
(本実施形態の構成)
図5A〜図5Cは、本実施形態に係る監視情報処理システムの一例としての映像監視システム500の構成を示すブロック図である。前提技術と同様の構成には同じ符号を付して説明を省略する。図2Aに示した前提技術と異なり、本実施形態に係る映像処理装置の一例としてのデータセンタ501は、図5Aに示すように、学習用データベース540とオペレータ評価プラットフォーム550と映像監視操作端末570とを新たに備える。また、映像解析プラットフォーム510、映像監視プラットフォーム520もそれぞれ異なる構成を備える。
(Configuration of this embodiment)
5A to 5C are block diagrams showing the configuration of a
学習用データベース540は、学習用映像データを蓄積する。オペレータ評価プラットフォーム550は、映像監視室230で映像を監視するオペレータ240を評価するためのプラットフォームである。映像監視操作端末570は、スーパバイザ580がカテゴリ指定を行なうための端末である。
The learning database 540 stores learning video data. The operator evaluation platform 550 is a platform for evaluating the
図5Bは、映像解析プラットフォーム510および映像監視プラットフォーム520の内部構成を詳しく説明するための図である。
FIG. 5B is a diagram for explaining the internal configurations of the video analysis platform 510 and the
映像解析プラットフォーム510は、新規に作成される新規映像解析モジュール511とカテゴリ追加部515と新規映像解析モジュール生成部516とを備える。一方、映像監視プラットフォーム520は、新たに学習用映像登録部525を備える。
The video analysis platform 510 includes a new video analysis module 511, a
学習用データベース540は、オペレータ240が選択したカテゴリ情報561を付加された学習用映像データ560を蓄積する。
The learning database 540 stores the learning video data 560 to which the
ここで、カテゴリ情報561とは映像中に検知したいオブジェクト、動作の分類を示す情報である。カテゴリとしては、例えば"拳銃"、"ナイフ"、"喧嘩"、"暴走"、"バイクの二人乗り"、"麻薬取引"等がある。映像解析プラットフォーム510は、既定カテゴリテーブル517と新規カテゴリテーブル518とを備えており、各種のカテゴリとその属性が対応付けて保存されている。既定カテゴリテーブル517は、システム導入時に事前設定されている既定のカテゴリとその属性を設定するものである。一方、新規カテゴリテーブル518は、オペレータ240とスーパバイザ580とによって新たに設定されたカテゴリとその属性を設定するテーブルである。
Here, the
図6A、図6Bは、既定カテゴリテーブル517と新規カテゴリテーブル518の内容を示す図である。既定カテゴリテーブル517と新規カテゴリテーブル518は、カテゴリ名に対応付けて、カテゴリ種別、形状、軌跡情報、大きさの閾値などを記憶している。これらを参照することにより、映像解析モジュール211、511は、映像データに含まれる事象のカテゴリを決定することができる。
6A and 6B are diagrams showing the contents of the default category table 517 and the new category table 518. FIG. The default category table 517 and the new category table 518 store the category type, shape, trajectory information, size threshold, and the like in association with the category name. By referring to these, the
図6Cに、映像監視操作端末群232から学習用映像登録部525に送られるカテゴリ情報531の内容を示す。図6Cに示すように、カテゴリ情報531としては、「カテゴリ」、「カメラID」、「映像撮影時刻」、「事象領域」、「オペレータ情報」、「カテゴリ種別」を登録する。ここで、「カメラID」とは、監視カメラを特定するための識別子である。「映像撮影時刻」とは、そのカテゴリを付加すべき映像データが撮影された年月日と時刻を示す情報である。特定の期間(採取開始〜終了)を表す場合もある。「事象領域」とは、映像における"対象となる形"、"映像背景差分"、"背景差分の全体映像の中の位置"を表す情報である。事象領域は矩形領域だけでなく、マスク映像、背景差分映像、多角形映像等、様々な種類を用意する。「オペレータ情報」とは、カテゴリを付与したオペレータの情報を示し、オペレータIDや名前などを含む。カテゴリ種別とは、検知対象物/事象のタイプのことである。例えばカテゴリ"銃"については、対象となる銃の「形状」を学習用映像データとして蓄積するカテゴリ種別である。また、カテゴリ"暴走"であれば、指定領域の背景差分の起点から終点までの軌跡を「動作」として学習用映像データを蓄積するカテゴリ種別である。さらに、カテゴリ"麻薬取引"であれば、映像全体における背景差分の軌跡を「動作」として学習用映像データを蓄積するカテゴリ種別dせある。
FIG. 6C shows the contents of the category information 531 sent from the video monitoring
図5Bに戻ると、カテゴリ追加部515は、パラメータの調整または追加によって、新たに検出しようとする事象のカテゴリを増やすことができる場合、映像解析モジュール211、511に対してパラメータの調整または追加を行なう。一方、既に存在する映像解析モジュール211、511のパラメータの調整または追加では、新たに検出しようとする事象カテゴリを増やすことができないと判断した場合、新規映像解析モジュール生成部516を用いて新規映像解析モジュール511を生成する。また、学習用データベース540に蓄積された学習用映像データ560を、カテゴリ情報561に基づいて選択した映像解析モジュール211、511に振り分け、それぞれの映像解析モジュールに学習処理を行なわせる。
Returning to FIG. 5B, the
表示制御部523は、図7Aに示すようなカテゴリ選択画面701を生成して、映像データと共に映像監視操作端末群232に送る。この例では1台の映像監視操作端末232が、2枚のディスプレイ710、720を備えており、左側のディスプレイ710には、16台の監視カメラ群202から取得した16枚の映像が表示されている。そのなかから、何らかの事件や事象が表示されているもの(例えば左隅の映像711)を選択すると、右側のディスプレイ720に拡大表示される。それと同時に、左側の選択映像711を撮影したカメラの属性や、映像解析プラットフォーム510によるリアルタイム映像解析などにより、右側のディスプレイ720に拡大された映像に含まれる事象の候補をカテゴリ選択画面701として表示する。カテゴリ選択画面701には、あらかじめ用意されたカテゴリ(例えば「ヘルメット無し」「バイク二人乗り」「スピード超過」「拳銃」「ナイフ」「麻薬取引」「喧嘩」など)とは別に、カテゴリの選択肢として「その他」712が含まれている。
The display control unit 523 generates a category selection screen 701 as shown in FIG. 7A and sends it to the video monitoring
ここで、カテゴリの選択肢が多すぎるとオペレータ240によるカテゴリ選択のモチベーションが下がってしまう。そこで、図7Bに示すカメラ事象テーブル702を参照することによりあらかじめ予測した一部のカテゴリ候補(例えば5個)のみをカテゴリ選択画面701に表示することが好ましい。カメラ事象テーブル702は、カメラID721ごとに、そのカメラで撮影される映像に含まれる可能性の高い事象のカテゴリを蓄積したものであり、統計データ541の一部として学習用データベース540に保存される。カメラ事象テーブル702は、発生した事象のカテゴリ722とその発生率723とを、発生率の高いものから順次記憶する。
Here, if there are too many category choices, the motivation of category selection by the
カテゴリ選択画面701を介して選択されたカテゴリに関するカテゴリ情報561はカテゴリが選択された映像データ560と共に学習用データベース540に蓄積される。
The
学習用映像登録部525は、「その他」711が選択された映像については、スーパバイザ580が適宜、映像監視操作端末570を介して具体的なカテゴリを入力できるように、別途、学習用データベース540に蓄積する。また、「その他」が選択された際、その時点での映像を示す映像識別情報と共に、カテゴリ入力を求めるアラートが、スーパバイザ580用の映像監視操作端末570に送信される。オペレータ240が映像監視操作端末群232を通じて映像監視中にカテゴリ選択操作を実施すると、映像識別情報とカテゴリ情報とのセット531を、映像監視プラットフォーム520を介して学習用データベース540に蓄積する。一方、表示制御部523は、スーパバイザ580による新規カテゴリ生成処理を促すための、新規カテゴリ生成画面を映像監視操作端末570に送信する。
The video registration unit 525 for learning separately stores the video for which “others” 711 is selected in the learning database 540 so that the supervisor 580 can appropriately input a specific category via the video
新規映像解析モジュール生成部516は、新たなカテゴリにフィットする既存アルゴリズムを選択し、そのアルゴリズムに従ったニューラルネットワーク等により、新たな映像解析モジュールを作成する。そしてさらに、蓄積された学習用映像データを用いて、学習させる。学習、適用処理としては、カテゴリに合わせてバッチ処理かオンザフライ処理かを選択可能である。 The new video analysis module generation unit 516 selects an existing algorithm that fits a new category, and creates a new video analysis module using a neural network or the like according to the algorithm. Further, learning is performed using the stored learning video data. As learning and application processing, either batch processing or on-the-fly processing can be selected in accordance with the category.
カテゴリ追加部515は、バッチ処理、もしくはリアルタイム処理を施し、追加されたカテゴリに関する情報を新規カテゴリテーブル518に登録する。既定映像解析モジュール211は、既定カテゴリテーブル517を参照して映像中の事象のカテゴリを決定する。一方、新規映像解析モジュール511は、新規カテゴリテーブル518を参照して、映像中の事象のカテゴリを決定する。
The
既定映像解析モジュール211、新規映像解析モジュール511は、指定されたカテゴリに基づいてそれぞれの学習用映像データを用いて学習処理を行なう。これにより、既定映像解析モジュール211の映像解析精度が向上し、新規映像解析モジュール511は新たな映像解析モジュールとして完成する。
The default
新規映像解析モジュール生成部516は、新たなカテゴリにフィットする既存アルゴリズムがない場合には、新たなアルゴリズム(例えば、人の前を複数の人が通過しても、後ろの人をまだ人として認識する)を自動生成する。 If there is no existing algorithm that fits a new category, the new video analysis module generation unit 516 recognizes a new algorithm (for example, even if a plurality of people pass in front of a person, the person behind is still a person) Automatically).
オペレータ評価プラットフォーム550には、オペレータごとのカテゴリ設定統計データつまり、図7Cに示すオペレータ評価データベース703が含まれる。オペレータ評価データベース703は、オペレータID731ごとに、そのオペレータが発見した事象を、発見率の高い順番に蓄積したものである。発見率は、例えば、スーパバイザまたは映像解析プラットフォーム510がある映像中に発見した事象を、そのオペレータがどれぐらいの確率で発見できたかを示す。100%に近いほど、このオペレータのその事象発見に対する習熟度が高いことになる。 The operator evaluation platform 550 includes category setting statistical data for each operator, that is, the operator evaluation database 703 shown in FIG. 7C. The operator evaluation database 703 stores, for each operator ID 731, events discovered by the operator in descending order of discovery rate. The discovery rate indicates, for example, the probability that the operator can find an event found in a certain image by the supervisor or the image analysis platform 510. The closer to 100%, the higher the level of proficiency that this operator is for finding the event.
このようなオペレータ評価データベース703を生成するため、オペレータ評価プラットフォーム550は、図5Cに示す構成を有する。 In order to generate such an operator evaluation database 703, the operator evaluation platform 550 has a configuration shown in FIG. 5C.
すなわち、オペレータ評価プラットフォーム550は、基準カテゴリ情報取得部551と、オペレータカテゴリ情報取得部552と判定部553とオペレータ評価結果通知部556と評価部557とを備える。
That is, the operator evaluation platform 550 includes a reference category information acquisition unit 551, an operator category information acquisition unit 552, a determination unit 553, an operator evaluation result notification unit 556, and an
基準カテゴリ情報取得部551は、映像解析プラットフォームの既定映像解析モジュール211による解析の結果、導き出されたカテゴリ情報、または、スーパバイザまたは習熟度の高いオペレータがカテゴリ設定画面から設定したカテゴリ情報を基準カテゴリ情報として取得する。また、オペレータカテゴリ情報取得部552は、習熟度が不明なオペレータがカテゴリ設定画面から設定したカテゴリ情報を取得する。
The reference category information acquisition unit 551 generates the category information derived as a result of the analysis by the default
判定部553は、同じ映像に対して、スーパバイザまたは習熟度の高いオペレータがカテゴリ設定画面から設定したカテゴリ情報と、習熟度が不明なオペレータがカテゴリ設定画面から設定したカテゴリ情報と、を比較する。そして、その比較結果から、カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する。 The determination unit 553 compares the category information set from the category setting screen by a supervisor or an operator with a high level of proficiency with the category information set from the category setting screen by an operator whose level of proficiency is unknown. And the appropriateness of the category information set according to the operator's operation with respect to a category setting screen is determined from the comparison result.
オペレータ評価データベース703は、判定部553による判定結果を収集する。評価部557は、適切度に基づいて、オペレータの監視技術の習熟度を評価する。さらに、評価部557は、さらに適切度に基づいて、オペレータの映像解析対象の得意カテゴリと不得意カテゴリとを認識する。
The operator evaluation database 703 collects determination results by the determination unit 553. The
評価通知部556は、評価部557により評価されたオペレータの監視技術の習熟度を通知する。その習熟度は、映像監視プラットフォーム520を介して、オペレータおよびスーパバイザに伝えられる。
The evaluation notification unit 556 notifies the operator's skill level of the monitoring technique evaluated by the
図7Dは、基準カテゴリ情報とオペレータが設定したカテゴリ情報との比較テーブル704を示す。この比較テーブル704では、オペレータIDごと、かつ映像IDごとに、映像解析モジュール211またはスーパバイザがどのようなカテゴリの事象を発見したか、あるいは未習熟のオペレータが、どのようなカテゴリの事象を発見し、あるいは発見しなかったかを記憶する。比較テーブル704は、オペレータ評価データベース703に格納される。
FIG. 7D shows a comparison table 704 between the reference category information and the category information set by the operator. In this comparison table 704, for each operator ID and each video ID, what category of event is detected by the
そして、それらの結果を比較して、オペレータが起こした発見ミスとカテゴリ設定ミスをカウントする。比較結果を蓄積することにより、オペレータ毎の評価を行なう。基準カテゴリ情報が設定されている映像に対してオペレータがカテゴリ情報を設定しなかった場合には、発見ミスとなり、誤ったカテゴリ情報を設定した場合には、カテゴリ設定ミスとなる。発見ミスは、カテゴリ設定ミスよりも評価が低くなるように重み付けされている。 Then, the results are compared, and a discovery error and a category setting error caused by the operator are counted. By accumulating the comparison results, each operator is evaluated. If the operator does not set the category information for the video for which the reference category information is set, a discovery error occurs. If the wrong category information is set, a category setting error occurs. The discovery mistake is weighted so that the evaluation is lower than the category setting mistake.
図7Eは、蓄積した比較結果を用いてオペレータ評価を算出するための評価テーブル705を示す図である。オペレータIDごとに、監視日時、事象のカテゴリ、事象発見の難易度、監視結果(発生数、発見数、発見率)、カテゴリ設計精度(正解数、正解率)、カテゴリごとの評価、監視期間ごとの総合評価、全期間でのオペレータレベルを記憶する。 FIG. 7E is a diagram showing an evaluation table 705 for calculating an operator evaluation using the accumulated comparison results. For each operator ID, monitoring date / time, event category, event discovery difficulty, monitoring result (number of occurrences, number of discoveries, discovery rate), category design accuracy (number of correct answers, accuracy rate), evaluation for each category, for each monitoring period The overall evaluation and the operator level over the entire period are stored.
例えば、カテゴリごとの正解率を、難易度で重み付けしつつ足し込むことで、オペレータの総合評価を得ることができる。また、カテゴリ毎の正解率をまとめることにより、図7Fに示すような、得意、不得意を表わすオペレータ傾向テーブル706を生成してもよい。 For example, the operator's comprehensive evaluation can be obtained by adding the correct answer rate for each category while weighting it with the degree of difficulty. Further, an operator tendency table 706 representing good and bad points as shown in FIG. 7F may be generated by collecting the correct answer rates for each category.
図8は、各オペレータに対して評価結果をフィードバックするための通知画面801の一例を示す図である。カテゴリ毎の難易度、発見率、カテゴリ正解率、評価結果を通知する。 FIG. 8 is a diagram showing an example of a notification screen 801 for feeding back evaluation results to each operator. Notify the difficulty level, discovery rate, category correct answer rate, and evaluation result for each category.
(処理の流れ)
図9A〜図9Cは、映像監視システム500による処理の流れを説明するためのフローチャートである。ステップS301からステップS308までは、図3において説明した前提技術の処理と同様であるため、ここでは説明を省略し、ステップS909以降のステップについて説明する。
(Process flow)
9A to 9C are flowcharts for explaining the flow of processing by the
オペレータが、映像監視操作端末で監視中に着目すべき映像が見つかった場合、あるいは、映像解析プラットフォーム510による映像解析の結果、着目すべき映像が見つかった場合、ステップS303またはS308から、ステップS909に進む。 When an operator finds a video to be noticed during monitoring with the video surveillance operation terminal, or when a video to be noticed is found as a result of video analysis by the video analysis platform 510, the process proceeds from step S303 or S308 to step S909. move on.
ステップS909においては、オペレータによるカテゴリ付与操作を受け付ける。 In step S909, a category assignment operation by the operator is accepted.
図9Bは、オペレータによるカテゴリ付与操作受付処理の流れを示すフローチャートである。まず、ステップS911では、表示制御部523は、映像監視操作端末群232において図7Aに示すようなカテゴリ選択画面701を表示してカテゴリ選択操作を待つ。
FIG. 9B is a flowchart showing a flow of category assignment operation acceptance processing by the operator. First, in step S911, the display control unit 523 displays a category selection screen 701 as shown in FIG. 7A on the video monitoring
ここで選択したカテゴリが、特定のカテゴリの場合には、ステップS912に進み、学習用映像登録部525において、カテゴリ情報を生成して、映像データに付与し、学習用映像データを生成する。 If the category selected here is a specific category, the process proceeds to step S912, where the learning video registration unit 525 generates category information, adds it to the video data, and generates learning video data.
次にステップS913では、学習用映像登録部525が、生成した学習用映像データを学習用データベース540蓄積し、さらにステップS904において、既定の映像解析モジュール211で学習処理を行なう。
Next, in step S913, the learning video registration unit 525 accumulates the generated learning video data in the learning database 540, and further, in step S904, the default
一方、ステップS911において、オペレータ240が、「その他」カテゴリを選択した場合には、ステップS915に進み、学習用映像登録部525にてカテゴリ名を"その他"、カテゴリ種別を"NULL"としたカテゴリ情報を生成し、学習用映像データに付与する。
On the other hand, if the
次にステップS916では、学習用映像登録部525が、カテゴリ情報「その他」を付加した学習用映像データを学習用データベース540に格納すると同時に、表示制御部523が、スーパバイザ580の映像監視操作端末570に対し学習用映像データおよび新規カテゴリ設定画面を送る。
In step S916, the learning video registration unit 525 stores the learning video data to which the category information “others” is added in the learning database 540, and at the same time, the display control unit 523 displays the video
ステップS917において、カテゴリ追加部515は、スーパバイザ580の指示を受けて新たなカテゴリを設定し、蓄積された学習用映像データとの紐付けを行なう。
In step S917, the
ステップS918に進むと、カテゴリ追加部515が、設定された新たなカテゴリにフィットする既定映像解析モジュール211があるか否かを判定する。設定された新たなカテゴリにフィットする既定の映像解析モジュール211がある場合には、ステップS919に進み、対象の既定映像解析モジュール211の新たなカテゴリとして設定し、さらにステップS914において、新たなカテゴリを付された学習用映像データを用いて学習を行なう。
In step S918, the
一方、ステップS918において、設定された新たなカテゴリにフィットする既定の映像解析モジュール211が存在していなければ、ステップS921に進み、新規映像解析モジュール511を生成し、学習用映像して学習させる。
On the other hand, in step S918, if there is no default
図9Bは、ステップS921の新規映像解析モジュール生成処理の詳細な流れを示すフローチャートである。ステップS931では、不図示のアルゴリズムデータベースを参照する。ステップS933では、スーパバイザによって指定されたカテゴリ種別に応じたアルゴリズム(例えば特徴ベクトルを抽出するアルゴリズム、ブロブ(小さな画像領域)の集合からなるクラスタとそのクラスタの境界を抽出するアルゴリズムなど)を選択し、映像解析プログラムモジュールの骨組みを生成する。次に、ステップS935では、スーパバイザによって指定された判定領域を用いて、映像解析モジュールが解析対象とする映像領域を設定する。さらにステップS937において、複数の学習用映像データを用いて、検出対象となる物の形状、大きさや、検出対象となる動きの方向、距離などの閾値を決定する。このとき、学習用映像データ中の検出対象となる物やその動作の特徴ベクトルを抽出しその特徴量を閾値として設定してもよい。ブロブの集合からなるクラスタとそのクラスタの境界を特徴量として抽出する場合、その特徴量を閾値として設定してもよい。 FIG. 9B is a flowchart showing a detailed flow of the new video analysis module generation processing in step S921. In step S931, an algorithm database (not shown) is referred to. In step S933, an algorithm corresponding to the category type specified by the supervisor (for example, an algorithm for extracting a feature vector, a cluster formed by a set of blobs (small image areas) and an algorithm for extracting a boundary of the cluster, etc.) is selected. Generate the framework of the video analysis program module. Next, in step S935, the video area to be analyzed by the video analysis module is set using the determination area specified by the supervisor. In step S937, threshold values such as the shape and size of the object to be detected, the direction of movement to be detected, and the distance are determined using a plurality of learning video data. At this time, an object to be detected in the learning video data and a feature vector of the action may be extracted and the feature amount may be set as a threshold value. When a cluster composed of a set of blobs and a boundary between the clusters are extracted as feature amounts, the feature amounts may be set as threshold values.
図10Aは、積極的にオペレータの評価を行なう場合の、オペレータ評価処理の流れを示すフローチャートである。 FIG. 10A is a flowchart showing the flow of operator evaluation processing when an operator is positively evaluated.
まずステップS1001において、映像監視プラットフォーム520がいずれかの映像監視操作端末から端末IDとその端末を使用するオペレータのオペレータIDを取得すると、評価すべきオペレータか否かを判定する。オペレータIDに基づいて評価対象のオペレータと判断すると、ステップS1003では、オペレータ評価プラットフォーム550がそのオペレータの端末に対して、学習用データベース540から、カテゴリ情報が付随した映像データを選択して、読み出す。さらに、映像監視プラットフォーム520を介して映像監視操作端末群232に送信する。このとき、過去の評価によって設定されたオペレータレベルがある場合には、そのオペレータレベルに応じた難易度のカテゴリを含む映像を読出して、その端末に表示する。
First, in step S1001, when the
次に、ステップS1003に進み、オペレータカテゴリ情報取得部552がオペレータによるカテゴリ設定受付処理を行なう。このとき、オペレータレベルに応じて、カテゴリの選択肢を変えてもよい。例えば、超初心者のオペレータの場合には、注目すべき映像をオペレータに教えた上で、カテゴリを2択とし、中級のオペレータの場合には、注目すべき映像を第1数(例えば8つ)の映像から選択させた上でカテゴリも4択としてもよい。上級のオペレータの場合には、注目すべき映像を第1数より多い第2数(例えば16)の映像から選択させた上でカテゴリも8択としてもよい。 In step S1003, the operator category information acquisition unit 552 performs category setting reception processing by the operator. At this time, the category options may be changed according to the operator level. For example, in the case of a super beginner operator, a video to be noticed is taught to the operator, and then two categories are selected, and in the case of an intermediate operator, a first number (for example, eight) of the videos to be noticed. It is also possible to select four categories from the selected video. In the case of an advanced operator, the video to be noted may be selected from a second number (for example, 16) of videos that is larger than the first number, and the category may be selected from 8 options.
このようにオペレータレベルに応じて、映像やカテゴリ選択肢を変えるには、オペレータ評価プラットフォーム550に、オペレータID取得部やオペレータレベル取得部を設ければよい。さらに、取得したオペレータIDやオペレータレベルに応じたカテゴリ設定画面の表示を行なうカテゴリ設定画面表示部を設けてもよい。 In this way, in order to change the video and category options according to the operator level, the operator evaluation platform 550 may be provided with an operator ID acquisition unit and an operator level acquisition unit. Furthermore, you may provide the category setting screen display part which displays the category setting screen according to acquired operator ID and operator level.
また、複数の映像中から事象を含む問題映像を発見しないまま所定時間が経過した場合、図11Aの画面1101に示すように、ベテランオペレータやスーパバイザがあらかじめ発見した問題映像1111を知らせて、カテゴリ設定画面1112でカテゴリ入力のみ求めてもよい。また、図11Bの画面1102に示すように、映像解析プラットフォーム510があらかじめ発見した問題映像1121を知らせて、カテゴリ設定画面1122でカテゴリ入力のみ求めてもよい。
When a predetermined time has passed without finding a problem video including an event from a plurality of videos, as shown in a screen 1101 in FIG. 11A, a problem video 1111 discovered in advance by a veteran operator or a supervisor is notified, and category setting is performed. Only the category input may be obtained on the screen 1112. In addition, as shown in a screen 1102 in FIG. 11B, the
さらにステップS1005では、判定部553が、評価終了を判定し、評価対象となる映像データが終了した場合や、所定時間の評価が終了した場合や、所定回数のカテゴリ設定が行なわれた場合には、評価終了と判定してステップS1007に進む。ステップS1007では、判定部552および評価部557がカテゴリ適切度を評価して出力する。
Further, in step S1005, the determination unit 553 determines the end of the evaluation, and when the video data to be evaluated is completed, when the evaluation for a predetermined time is completed, or when a predetermined number of categories are set. Then, it is determined that the evaluation is finished, and the process proceeds to step S1007. In step S1007, the determination unit 552 and the
図10Bは、オペレータ評価処理の詳しい流れを示すフローチャートである。まず、ステップS1011では、映像監視操作端末で設定されたカテゴリ情報を取得する。次に、ステップS1013では、映像データに付随しているカテゴリ情報と比較して、そのカテゴリが同じか判定する。カテゴリが異なれば、ステップS1015に進み、正解カテゴリをオペレータに通知する。 FIG. 10B is a flowchart showing a detailed flow of the operator evaluation process. First, in step S1011, category information set in the video surveillance operation terminal is acquired. Next, in step S1013, it is determined whether the category is the same as compared with the category information attached to the video data. If the categories are different, the process advances to step S1015 to notify the operator of the correct category.
図11Cは、正解カテゴリ通知画面1103の一例を示す図である。正解カテゴリ通知画面1103では、16分割画面中の画面位置、オペレータ設定カテゴリ、正解カテゴリを表示する。正解カテゴリ通知画面1103によると、どのような映像に対して、そのオペレータがどのようにカテゴリ設定を行ない、どのように誤ったのか復習することができる。
FIG. 11C is a diagram illustrating an example of a correct
図10Bに戻ると、ステップS1013で、あらかじめ設定されたカテゴリとオペレータが選択したカテゴリが同一であれば、カテゴリ選択が適切と判断し、ステップS1017に進む。ステップS1017では、評価ポイントをアップさせるべく、オペレータ評価データベース703を更新する。さらに、ステップS1019に進むと、評価結果をオペレータに提示する。 Returning to FIG. 10B, if the category set in advance and the category selected by the operator are the same in step S1013, it is determined that category selection is appropriate, and the flow advances to step S1017. In step S1017, the operator evaluation database 703 is updated to increase the evaluation points. In step S1019, the evaluation result is presented to the operator.
図11Dは、評価結果表示画面1104の一例を示す図である。オペレータID、カテゴリ正答率、総合評価、オペレータレベルなどを表示する。カテゴリ正解率の平均値や標準偏差などを表示してもよい。ベテランオペレータのカテゴリ正解率の平均値を表示してもよい。
FIG. 11D is a diagram showing an example of the evaluation
以上のようにオペレータを評価するが、評価結果を表示するだけではなく、他の用途に用いてもよい。例えば、図12に示すように、オペレータが設定したカテゴリ情報1201について、そのオペレータのオペレータレベルに応じた重み付け値を設定し、映像データに付随するカテゴリ情報の信頼性を設定してもよい。映像解析プラットフォーム510は、そのような重み付け値を参照しつつ、大量の映像データから特定カテゴリの映像データを効果的に抽出してもよい。抽出した映像データについて、レベルの高いオペレータがカテゴリを付与した映像データが見つかった場合には、信頼性が高いものとして赤くアラートし、レベルの低いオペレータのみがカテゴリを付与した映像データが見つかった場合には、信頼性が高いものとして青くアラートしてもよい。 Although the operator is evaluated as described above, the operator may not only display the evaluation result but also use it for other purposes. For example, as shown in FIG. 12, for category information 1201 set by the operator, a weight value corresponding to the operator level of the operator may be set, and the reliability of the category information attached to the video data may be set. The video analysis platform 510 may effectively extract video data of a specific category from a large amount of video data while referring to such weighting values. When video data with a category assigned by a high-level operator is found in the extracted video data, it is alerted red as being highly reliable, and video data with a category assigned only by a low-level operator is found May be alerted blue as reliable.
あるいは、オペレータレベルに応じて、担当する監視カメラの割り振りを行なってもよい。つまり、重要カメラ映像(例えば犯罪が多い地域のカメラ映像)については一定値以上のレベルのオペレータのみを自動的に割り振るように制御してもよい。カメラIDに紐付けて最低オペレータレベルを設定し、オペレータIDの入力と共にログインがあった場合に、最低オペレータレベルを満たすカメラ映像のみを重要度の高いものから選択して表示してもよい。あるいは、さらに重要度の高いカメラ映像については、複数のオペレータに同じ映像を割り当ててもよい。 Alternatively, the assigned monitoring camera may be allocated according to the operator level. That is, for important camera video (for example, camera video in a region with many crimes), control may be performed so that only operators having a certain level or higher are automatically allocated. When a minimum operator level is set in association with the camera ID and login is performed together with the input of the operator ID, only camera images satisfying the minimum operator level may be selected and displayed from those having the highest importance. Alternatively, the same video may be assigned to a plurality of operators for a camera video with higher importance.
なお、上記の構成を利用して、リアルタイムに、ベテランオペレータと新人オペレータが同じ映像をチェックして、カテゴリ付与の精度を検査してもよい。 In addition, using the above configuration, the veteran operator and the new operator may check the same video in real time to check the accuracy of the category assignment.
以上、本実施形態によれば、運用者が実運用中、簡易に学習用映像を蓄積し、同時にカテゴリも付随させることができる。これにより、半自動的な学習用映像収集とカテゴリとの関連付けを実現でき、環境へのローカライズや、新規映像解析モジュール生成の工数と期間を抑制することができる。 As described above, according to the present embodiment, the learning video can be easily accumulated during the actual operation by the operator, and at the same time, the category can be attached. As a result, the semi-automatic learning video collection and the association with the category can be realized, and the man-hour and the period for the localization to the environment and the generation of the new video analysis module can be suppressed.
また、運用環境の映像が学習できる為、より精度の高い映像解析モジュールを構築することが可能となる。このような技術は、映像監視や警備等のセキュリティ分野に適用可能である。また、映像による店舗や公共エリアでの顧客指向分析にも適用可能である。 In addition, since the video of the operating environment can be learned, it is possible to construct a video analysis module with higher accuracy. Such a technique can be applied to security fields such as video surveillance and security. It can also be applied to customer-oriented analysis in stores and public areas using video.
さらに、監視システムの実運用中に効果的かつ効率的にオペレータの習熟度を高めることができる。 Furthermore, the proficiency of the operator can be increased effectively and efficiently during the actual operation of the monitoring system.
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
[Other Embodiments]
While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention. In addition, a system or an apparatus in which different features included in each embodiment are combined in any way is also included in the scope of the present invention.
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。 In addition, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention can also be applied to a case where an information processing program that implements the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention on a computer, a program installed in the computer, a medium storing the program, and a WWW (World Wide Web) server that downloads the program are also included in the scope of the present invention. . In particular, at least a non-transitory computer readable medium storing a program for causing a computer to execute the processing steps included in the above-described embodiments is included in the scope of the present invention.
Claims (10)
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定手段と、
前記判定手段による判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価手段と、
を備えた映像処理装置。 Display control means for displaying video data captured by a monitoring camera and displaying a category setting screen for setting a category of an event included in the video data;
Determination means for determining the appropriateness of the category information set according to the operator's operation on the category setting screen;
In accordance with the determination result by the determination unit, an evaluation unit that evaluates the level of proficiency of the monitoring technique of the operator;
A video processing apparatus.
前記学習用データ蓄積手段に蓄積された前記学習用データを用いて、前記監視カメラで撮影された映像データを解析して、特定のカテゴリに属する事象を検出し、その検出結果を出力する映像解析手段と、
をさらに備えた請求項1に記載の映像処理装置。 Learning data storage means for storing the category information together with the video data as learning data;
Video analysis that analyzes video data captured by the monitoring camera using the learning data stored in the learning data storage means, detects an event belonging to a specific category, and outputs the detection result Means,
The video processing apparatus according to claim 1, further comprising:
前記判定手段は、前記映像解析手段が導き出したカテゴリ情報を基準に、習熟度が不明なオペレータが設定した前記カテゴリ情報の適切度を判定する請求項1乃至3のいずれか1項に記載の映像処理装置。 Analyzing video data captured by the monitoring camera, further comprising video analysis means for deriving event category information included in the video data,
The video according to any one of claims 1 to 3, wherein the determination unit determines an appropriateness of the category information set by an operator whose proficiency is unknown based on the category information derived by the video analysis unit. Processing equipment.
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定ステップと、
前記判定ステップによる判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価ステップと、
を含む映像処理方法。 A display control step of displaying video data captured by the surveillance camera and displaying a category setting screen for setting a category of an event included in the video data;
A determination step of determining the appropriateness of the category information set according to the operation of the operator on the category setting screen;
In accordance with the determination result of the determination step, an evaluation step for evaluating the level of proficiency of the operator's monitoring technique;
Video processing method.
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定ステップと、
前記判定ステップによる判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価ステップと、
をコンピュータに実行させる映像処理プログラム。 A display control step of displaying video data captured by the surveillance camera and displaying a category setting screen for setting a category of an event included in the video data;
A determination step of determining the appropriateness of the category information set according to the operation of the operator on the category setting screen;
In accordance with the determination result of the determination step, an evaluation step for evaluating the level of proficiency of the operator's monitoring technique;
A video processing program that causes a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013201908A JP2015070401A (en) | 2013-09-27 | 2013-09-27 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013201908A JP2015070401A (en) | 2013-09-27 | 2013-09-27 | Image processing apparatus, image processing method, and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015070401A true JP2015070401A (en) | 2015-04-13 |
Family
ID=52836708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013201908A Pending JP2015070401A (en) | 2013-09-27 | 2013-09-27 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015070401A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017187954A (en) * | 2016-04-06 | 2017-10-12 | Kddi株式会社 | Image synthesis device, program and data structure |
JP2018033050A (en) * | 2016-08-25 | 2018-03-01 | 株式会社知能フレームワーク研究所 | State monitoring system |
WO2018105171A1 (en) * | 2016-12-06 | 2018-06-14 | コニカミノルタ株式会社 | Image recognition system and image recognition method |
JP2018113661A (en) * | 2017-01-13 | 2018-07-19 | キヤノン株式会社 | Video monitoring device, control method and system thereof |
WO2020153076A1 (en) * | 2019-01-25 | 2020-07-30 | 株式会社デンソー | Road abnormality determination device, road abnormality determination system, and road abnormality determination method |
US10878688B2 (en) | 2017-07-26 | 2020-12-29 | Asahi Kasei Kabushiki Kaisha | Monitoring system and monitoring method |
WO2021039229A1 (en) * | 2019-08-30 | 2021-03-04 | 日本電気株式会社 | Processing device, processing system, processing method, and program |
KR102310192B1 (en) * | 2021-03-16 | 2021-10-08 | (주)드림테크 | Convergence camera for enhancing object recognition rate and detecting accuracy, and boundary surveillance system therewith |
US11727750B2 (en) | 2015-08-03 | 2023-08-15 | Angel Group Co., Ltd. | Fraud detection system in a casino |
WO2023171068A1 (en) * | 2022-03-07 | 2023-09-14 | 株式会社日立国際電気 | Surveillance system |
-
2013
- 2013-09-27 JP JP2013201908A patent/JP2015070401A/en active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11741780B2 (en) | 2015-08-03 | 2023-08-29 | Angel Group Co., Ltd. | Fraud detection system in a casino |
US11727750B2 (en) | 2015-08-03 | 2023-08-15 | Angel Group Co., Ltd. | Fraud detection system in a casino |
JP2017187954A (en) * | 2016-04-06 | 2017-10-12 | Kddi株式会社 | Image synthesis device, program and data structure |
JP2018033050A (en) * | 2016-08-25 | 2018-03-01 | 株式会社知能フレームワーク研究所 | State monitoring system |
CN110073405B (en) * | 2016-12-06 | 2023-06-27 | 柯尼卡美能达株式会社 | Image recognition system and image recognition method |
WO2018105171A1 (en) * | 2016-12-06 | 2018-06-14 | コニカミノルタ株式会社 | Image recognition system and image recognition method |
CN110073405A (en) * | 2016-12-06 | 2019-07-30 | 柯尼卡美能达株式会社 | Image identification system and image-recognizing method |
JPWO2018105171A1 (en) * | 2016-12-06 | 2019-10-24 | コニカミノルタ株式会社 | Image recognition system and image recognition method |
US10846538B2 (en) | 2016-12-06 | 2020-11-24 | Konica Minolta, Inc. | Image recognition system and image recognition method to estimate occurrence of an event |
JP2018113661A (en) * | 2017-01-13 | 2018-07-19 | キヤノン株式会社 | Video monitoring device, control method and system thereof |
US10878688B2 (en) | 2017-07-26 | 2020-12-29 | Asahi Kasei Kabushiki Kaisha | Monitoring system and monitoring method |
WO2020153076A1 (en) * | 2019-01-25 | 2020-07-30 | 株式会社デンソー | Road abnormality determination device, road abnormality determination system, and road abnormality determination method |
WO2021039229A1 (en) * | 2019-08-30 | 2021-03-04 | 日本電気株式会社 | Processing device, processing system, processing method, and program |
KR102310192B1 (en) * | 2021-03-16 | 2021-10-08 | (주)드림테크 | Convergence camera for enhancing object recognition rate and detecting accuracy, and boundary surveillance system therewith |
WO2023171068A1 (en) * | 2022-03-07 | 2023-09-14 | 株式会社日立国際電気 | Surveillance system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6555547B2 (en) | Video monitoring system, video processing apparatus, video processing method, and video processing program | |
JP2015070401A (en) | Image processing apparatus, image processing method, and image processing program | |
AU2017436901B2 (en) | Methods and apparatus for automated surveillance systems | |
CN109858365B (en) | Special crowd gathering behavior analysis method and device and electronic equipment | |
JP7160154B2 (en) | System, abnormality determination device and method | |
JP7040463B2 (en) | Analysis server, monitoring system, monitoring method and program | |
US20220092881A1 (en) | Method and apparatus for behavior analysis, electronic apparatus, storage medium, and computer program | |
US10956753B2 (en) | Image processing system and image processing method | |
US20160019427A1 (en) | Video surveillence system for detecting firearms | |
JP2018173914A (en) | Image processing system, imaging apparatus, learning model creation method, and information processing device | |
CN108701393A (en) | System and method for event handling | |
KR20200059643A (en) | ATM security system based on image analyses and the method thereof | |
CA3069539A1 (en) | Role-based perception filter | |
JP2019110474A (en) | Suspicious person detection device | |
CN114067437B (en) | Method and system for detecting pipe removal based on positioning and video monitoring data | |
CN115147775A (en) | Video image processing and identifying system | |
WO2014097699A1 (en) | Information processing system, information processing method and program | |
CN114863307A (en) | Detection model training method and device and event detection method and device | |
CN118097543A (en) | AI-based early warning method and device, storage medium and electronic equipment |