JP2021111820A - レコーダ、監視カメラ、監視システム、および、映像解析プログラム - Google Patents
レコーダ、監視カメラ、監視システム、および、映像解析プログラム Download PDFInfo
- Publication number
- JP2021111820A JP2021111820A JP2020000781A JP2020000781A JP2021111820A JP 2021111820 A JP2021111820 A JP 2021111820A JP 2020000781 A JP2020000781 A JP 2020000781A JP 2020000781 A JP2020000781 A JP 2020000781A JP 2021111820 A JP2021111820 A JP 2021111820A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- recorded video
- recorded
- video analysis
- surveillance camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 489
- 230000005540 biological transmission Effects 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims description 215
- 238000001454 recorded image Methods 0.000 claims description 73
- 238000010191 image analysis Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008451 emotion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
ところで、例えば、特許文献1には、監視システムにおいて、複数のカメラが撮像した撮像画像内のオブジェクトの検出に際し、当該検出に用いるパラメータの学習等の処理を複数のカメラ間で分散し、複数のカメラに接続されるサーバの処理負荷の軽減を支援する技術が開示されている。
監視システムにおいて、例えば、レコーダまたはサーバが、単独で、増大した記録映像の解析処理を行うと、過大な処理負荷がかかる。レコーダまたはサーバにおける、記録映像の解析処理にかかる過大な処理負荷を軽減するため、例えば、解析専用のサーバを用いることも考えられるが、その場合、監視システムにおいて、当該解析専用のサーバを新たに設ける必要があるという課題があった。
特許文献1に開示されているような技術は、カメラが撮像した、ライブ映像の解析処理を行う際に処理負荷を軽減することへの考慮はなされているが、記録映像の解析処理の際の処理負荷への考慮は何らなされていない。
実施の形態1.
図1は、実施の形態1に係る監視システム1の構成例を示す図である。
図1に示すように、監視システム1は、1台以上の監視カメラ10−1〜10−nと、レコーダ11とを備える。実施の形態1において、1台以上の監視カメラ10−1〜10−nを、まとめて、監視カメラ10ともいう。
監視カメラ10とレコーダ11とは、ネットワーク2を介して接続される。監視カメラ10とレコーダ11とは、直接、接続されていてもよい。
また、監視カメラ10は、監視映像に対する解析処理を行う。具体的には、監視カメラ10は、現在の監視領域を撮影した監視映像(以下「ライブ映像」という。)に対して、解析処理を行う。以下、監視カメラ10が行う、ライブ映像に対する解析処理を、「ライブ映像解析処理」ともいう。監視カメラ10は、ライブ映像解析処理を行った結果を、レコーダ11に送信する。
また、監視カメラ10は、レコーダ11の制御に基づき、過去に監視領域を撮影した監視映像であって、レコーダ11によって記録部113に記録されている監視映像、に対して、解析処理を行う。以下、記録部113に記録されている、監視カメラ10が過去に監視領域を撮影した監視映像を、「記録映像」ともいう。また、監視カメラ10が行う、記録映像に対する解析処理を、「記録映像解析処理」ともいう。監視カメラ10は、記録映像解析処理を行った結果を、レコーダ11に送信する。
監視カメラ10は、レコーダ11に対して、監視カメラ10において、画像解析に使用しているリソースの使用状況に関する情報(以下「リソース情報」という。)を送信する。リソース情報は、具体的には、例えば、監視カメラ10において、画像解析に使用しているリソースの使用率を示す情報である。レコーダ11は、監視カメラ10のリソース情報を管理し、当該リソース情報に基づいて、監視カメラ10に記録映像解析処理を行わせる制御を行う。なお、監視カメラ10が複数存在する場合、レコーダ11は、複数の監視カメラ10のうち、記録映像解析処理を行わせる監視カメラ10を決定する。レコーダ11が監視カメラ10に記録映像解析処理を行わせる制御の詳細については、後述する。
また、レコーダ11は、監視カメラ10から送信されたライブ映像、ライブ映像解析処理を行った結果に関する情報、または、記録映像解析処理を行った結果に関する情報を、表示装置12(詳細は後述する)に表示させる。
なお、レコーダ11は、レコーダ11にて、記録映像解析処理を行うことも可能である。レコーダ11がレコーダ11にて記録映像解析処理を行った場合、レコーダ11は、記録映像解析処理を行った結果に関する情報を、表示装置12に表示させる。
監視カメラ10は、撮影部101、受信部102、デコード部103、映像解析部104、エンコード部105、および、送信部106を備える。
受信部102は、記録映像受信部1021を備える。
映像解析部104は、ライブ映像解析部1041および記録映像解析部1042を備える。
送信部106は、リソース情報送信部1061、解析結果送信部1062、および、映像送信部1063を備える。
受信部102の記録映像受信部1021は、レコーダ11から送信された記録映像を受信する。レコーダ11は、ユーザから、記録映像に対する記録映像解析処理を実行する旨の指示を受け付けると、当該記録映像解析処理を実行可能な監視カメラ10があるか否かを判定する。レコーダ11は、記録映像解析処理を実行可能な監視カメラ10があると判定した場合に、当該監視カメラ10に対して、記録映像を送信する。レコーダ11の詳細については、後述する。記録映像受信部1021は、レコーダ11から送信された記録映像を受信する。
記録映像受信部1021は、受信した記録映像を、デコード部103に出力する。
デコード部103は、デコードした後の記録映像を、映像解析部104に出力する。
映像解析部104のライブ映像解析部1041は、撮影部101から出力されたライブ映像に対するライブ映像解析処理を行う。
ライブ映像解析部1041は、ライブ映像解析処理を行うと、ライブ映像解析処理を行った結果に関する情報(以下「ライブ映像解析結果情報」という。)を、送信部106に出力する。例えば、ライブ映像解析処理が人物を検知するという映像解析処理であった場合、ライブ映像解析部1041は、ライブ映像解析結果情報に、人物を何人検知したかを特定可能な数値情報、ライブ映像のどの領域に人物を検知したかを特定するためのライブ映像上の座標情報、または、人物を検知した時間に関する情報を含める。
ライブ映像解析部1041は、ライブ映像解析結果情報に、例えば、ライブ映像解析処理を行った日時に関する情報を対応付ける。
また、ライブ映像解析部1041は、監視カメラ10における画像解析に使用しているリソースの使用状況に関する情報であるリソース情報を、送信部106に出力する。ライブ映像解析部1041は、リソース情報に、監視カメラ10を特定可能な情報を対応付ける。
ここで、ライブ映像解析部1041がエンコード部105に出力するライブ映像について説明する。
ライブ映像解析部1041は、ライブ映像から、低解像度のライブ映像と、高解像度のライブ映像とを生成する。低解像度のライブ映像は、QVGA(Quarter VGA)程度を想定しており、高解像度の映像は、Full HDまたは4K相当を想定している。
ライブ映像解析部1041は、ライブ映像に基づき、当該ライブ映像のサイズを変更して、高解像度のライブ映像と低解像度のライブ映像とをそれぞれ生成する。
ライブ映像解析部1041は、低解像度のライブ映像と、高解像度のライブ映像とを、エンコード部105に出力する。なお、ライブ映像解析部1041は、ライブ映像に、低解像度のライブ映像であるか、高解像度のライブ映像であるかが判別可能な情報を対応付ける。
なお、ライブ映像解析部1041は、ライブ映像に、監視カメラ10を特定可能な情報、および、ライブ映像の撮影日時に関する情報を対応付けて出力する。
記録映像解析部1042は、記録映像解析処理を行うと、記録映像解析処理を行った結果に関する情報(以下「記録映像解析結果情報」という。)を、送信部106に出力する。記録映像解析部1042は、記録映像解析結果情報に、例えば、記録映像解析処理を行った日時に関する情報を対応付ける。例えば、記録映像解析処理が人物を検知するという映像解析処理であった場合、記録映像解析部1042は、記録映像解析結果情報に、人物を何人検知したかを特定可能な数値情報、記録映像のどの領域に人物を検知したかを特定するための記録映像上の座標情報、または、人物を検知した時間に関する情報を含める。
エンコード部105は、エンコードした後のライブ映像を、送信部106に出力する。
送信部106のリソース情報送信部1061は、ライブ映像解析部1041から出力されたリソース情報を、レコーダ11に送信する。
送信部106の解析結果送信部1062は、ライブ映像解析部1041から出力されたライブ映像解析結果情報、または、記録映像解析部1042から出力された記録映像解析結果情報を、レコーダ11に送信する。
送信部106の映像送信部1063は、エンコード部105から出力されたライブ映像を、レコーダ11に出力する。具体的には、映像送信部1063は、低解像度のライブ映像と、高解像度のライブ映像とを、レコーダ11に送信する。
レコーダ11は、表示装置12および入力装置13と接続される。表示装置12は、例えば、ユーザが操作する監視用PC(Personal Computer。図示省略)に接続されているディスプレイである。入力装置13は、監視用PCに接続されているマウスまたはキーボード等である。ユーザは、例えば、入力装置13を操作して、表示装置12に、記録映像に対する記録映像解析処理を実行させる指示を入力するための画面を表示させ、当該指示を入力する。また、表示装置12は、監視映像、ライブ映像解析処理の結果に関する情報、または、記録映像解析処理の結果に関する情報を表示する。なお、上述のとおり、記録映像に対する記録映像解析処理は、監視カメラ10が、レコーダ11の制御に基づき、行う。また、レコーダ11は、レコーダ11にて、記録映像解析処理を行うことも可能である。レコーダ11は、監視カメラ10に行わせた記録映像解析処理の結果に関する情報、または、レコーダ11にて行った記録映像解析処理の結果に関する情報を、表示装置12に表示させる。
受信部111は、映像受信部1111、リソース情報受信部1112、および、解析結果受信部1113を備える。
受信部111の映像受信部1111は、監視カメラ10が送信した、当該監視カメラ10が撮影したライブ映像を受信する。なお、監視カメラ10が複数ある場合、映像受信部1111は、監視カメラ10毎に、当該監視カメラ10が送信したライブ映像を受信する。監視カメラ10からは、常時、低解像度のライブ映像と、高解像度のライブ映像とが出力される。映像受信部1111は、監視カメラ10毎に、低解像度のライブ映像と、高解像のライブ映像とを受信する。
映像受信部1111は、受信したライブ映像を、記録制御部112に出力する。なお、ライブ映像には、監視カメラ10を特定可能な情報、および、ライブ映像の撮影日時に関する情報が対応付けられている。
リソース情報受信部1112は、受信したリソース情報を、記録制御部112に出力する。なお、リソース情報には、監視カメラ10を特定可能な情報が対応付けられている。
具体的には、解析結果受信部1113は、監視カメラ10が送信したライブ映像解析結果情報を受信する。また、解析結果受信部1113は、監視カメラ10から記録映像解析結果が送信された場合は、記録映像解析結果を受信する。
解析結果受信部1113は、記録映像解析結果情報またはライブ映像解析結果情報を、記録制御部112に出力する。
ここで、図4は、実施の形態1において、レコーダ11が、監視カメラ10との間でやり取りするストリームの概略を説明するための図である。図4Aは、監視カメラ10からレコーダ11へ送信されるストリームの概略を説明するための図であり、図4Bは、レコーダ11から監視カメラ10へ送信されるストリームの概略を説明するための図である。
映像受信部1111が監視カメラ10から受信するライブ映像には、低解像度のライブ映像と、高解像度のライブ映像とが含まれる。
記録制御部112は、映像受信部1111が受信した、低解像度のライブ映像を、記録映像として、記録部113に記録する(図4A参照)。なお、監視カメラ10が複数ある場合、記録制御部112は、ライブ映像を、監視カメラ10毎に記録する。
記録部113に記録された記録映像は、ユーザによって当該記録映像に対する記録解析処理を行う指示が入力された場合に、レコーダ11の送信部119から監視カメラ10へと送信される(図4B参照)。送信部119については後述する。
記録制御部112は、映像受信部1111が受信した、高解像度のライブ映像を、表示装置12への表示用の監視映像として、表示制御部115に出力する(図4A参照)。
リソース情報記録部114は、リソース情報を記録する。
具体的には、例えば、表示制御部115は、表示装置12に、解析結果受信部1113が受信したライブ映像解析結果情報または記録映像解析結果情報を、表示させる。
また、例えば、表示制御部115は、表示装置12に、映像受信部1111が受信したライブ映像を、表示させる。表示制御部115は、ライブ映像を表示させる際は、当該ライブ映像をデコードする。
表示制御部115は、例えば、記録制御部112を介して、ライブ映像解析結果情報、記録映像解析結果情報、または、ライブ映像を取得する。表示制御部115は、受信部111から直接、ライブ映像解析結果情報、記録映像解析結果情報、または、ライブ映像を取得してもよい。
また、例えば、表示制御部115は、表示装置12に、映像解析部110が行った記録映像解析処理に関する記録映像解析結果情報を、表示させる。映像解析部110については後述する。
例えば、ユーザは、入力装置13を操作して、表示装置12に、記録映像に対する記録映像解析処理の実行指示を入力するための画面を表示させる。ユーザは、入力装置13を操作して、表示させた画面から、記録映像解析処理の実行指示を入力する。記録映像解析処理の実行指示には、例えば、記録映像解析処理を実行する対象とする記録映像、を撮像した監視カメラ10(以下「解析映像撮影カメラ」という。)を指定する情報、および、解析映像撮影カメラによって記録映像解析処理を実行する対象とする記録映像が撮像された時刻を指定する情報が含まれる。時刻を指定する情報は、時刻範囲を示す情報であってもよい。具体例を挙げると、例えば、映像解析処理の実行指示に、監視カメラXを指定する情報と、2019/1/1 9:00:00を指定する情報とが含まれている場合、当該映像解析処理の実行指示は、監視カメラXが2019/1/1 9:00:00に撮像した記録映像を解析させるための指示である。また、例えば、映像解析処理の実行指示に、監視カメラYを指定する情報と、2019/1/1 9:00:00〜2019/1/1 9:10:00を指定する情報とが含まれている場合、当該映像解析処理の実行指示は、監視カメラYが2019/1/1 9:00:00〜2019/1/1 9:10:00に撮像した記録映像を解析させるための指示である。ユーザは、映像解析処理の実行指示によって、ある監視カメラ10が撮像した、1以上のフレームの記録映像に対する、記録映像解析処理を指示することができる。なお、上述した例は一例に過ぎず、映像解析処理の実行指示には、記録映像解析処理を実行する対象とする記録映像を特定することができる情報が含まれるようになっていればよい。
受付部116は、受け付けた、記録映像解析処理の実行指示を、リソース判定部117および記録映像取得部118に出力する。
リソース判定部117は、監視カメラ10が、1つの監視カメラ10−1である場合、当該監視カメラ10−1が、記録映像解析処理を実行可能な監視カメラ10−1であるか否かを判定する。リソース判定部117は、監視カメラ10−1が、記録映像解析処理を実行可能な監視カメラ10−1である場合、当該監視カメラ10−1を、記録映像解析処理を実行させる監視カメラ10(以下「解析実行カメラ」という。)に決定する。
リソース判定部117は、監視カメラ10が複数存在する場合、複数の監視カメラ10のうち、記録映像解析処理を実行可能な監視カメラ10があるか否かを判定する。リソース判定部117は、記録映像解析処理を実行可能な監視カメラ10がある場合、当該監視カメラ10を解析実行カメラに決定する。
リソース判定部117は、決定した、解析実行カメラに関する情報を、記録映像取得部118に出力する。
記録映像取得部118は、取得した記録映像を、送信部119に出力する。
レコーダ11にて記録映像解析処理を行う場合、記録映像取得部118は、記録部113から取得した、記録映像解析処理の実行指示に基づく記録映像を、映像解析部110に出力する。
上述のとおり、レコーダ11は、レコーダ11にて、記録映像解析処理を行うことも可能である。例えば、レコーダ11は、異なる内容の記録映像解析処理を行う場合、ある内容の記録映像解析処理をレコーダ11にて実行し、他の内容の記録映像解析処理を監視カメラ10に実行させることができる。また、例えば、レコーダ11は、10台の監視カメラ10の記録映像解析処理を実行させる実行指示を受け付けた場合、レコーダ11に6台の監視カメラ10の記録映像解析処理を実行させるだけ空きリソースがあれば、当該6台の監視カメラ10に関する記録映像解析処理はレコーダ11にて実行し、残りの4台の監視カメラ10に関する記録映像解析処理を監視カメラ10に実行させることができる。
レコーダ11がレコーダ11にて記録映像解析処理を行う場合、記録映像取得部118は、レコーダ11にて実行する記録映像解析処理の対象となる記録映像を、映像解析部110に出力する。記録映像取得部118は、監視カメラ10に実行させる記録映像解析処理の対象となる記録映像を、送信部119に出力する。
なお、レコーダ11と監視カメラ10とで記録映像解析処理を並行して実行する場合、例えば、レコーダ11の制御部(図示省略)が、記録映像解析処理の実行指示に基づき、レコーダ11にて実行する記録映像解析処理と、監視カメラ10に実行させる記録映像解析処理を振り分ける。
映像解析部110は、記録映像取得部118から出力された記録映像に対する記録映像解析処理を行う。映像解析部110は、記録映像解析結果情報を、表示制御部115に出力する。
まず、実施の形態1に係る監視カメラ10の動作について説明する。
図5は、実施の形態1に係る監視カメラ10の動作を説明するためのフローチャートである。
監視カメラ10は、電源が投入されると、例えば電源がオフされるまで、図5のフローチャートを用いて説明する動作を継続して行う。
具体的には、監視カメラ10の撮影部101が、監視エリアを撮影し、ライブ映像を映像解析部104に出力する。映像解析部104のライブ映像解析部1041は、撮影部101から出力されたライブ映像に対するライブ映像解析処理を行う。ライブ映像解析部1041は、ライブ映像解析結果情報を送信部106に出力するとともに、リソース情報を、送信部106に出力する。ライブ映像解析部1041は、ライブ映像解析処理を行うと、当該ライブ映像解析処理済みのライブ映像を、エンコード部105に出力する。エンコード部105は、ライブ映像解析部1041から出力されたライブ映像をエンコードし、エンコードした後のライブ映像を、送信部106に出力する。送信部106の解析結果送信部1062は、ライブ映像解析部1041から出力されたライブ映像解析結果情報を、レコーダ11に送信する。送信部106の映像送信部1063は、エンコード部105から出力されたライブ映像を、レコーダ11に出力する。
受信部102の記録映像受信部1021が、レコーダ11から送信された記録映像を受信すると(ステップST503の“YES”の場合)、図5のフローチャートで示す監視カメラ10の動作は、ステップST504に進む。
映像解析部104の記録映像解析部1042は、ステップST503にて記録映像受信部1021が受信した記録映像に対する記録映像解析処理を行う(ステップST504)。具体的には、記録映像受信部1021が記録映像を受信すると、記録映像受信部1021は、受信した記録映像を、デコード部103に出力する。デコード部103は、記録映像受信部1021から出力された記録映像をデコードし、デコードした後の記録映像を、映像解析部104に出力する。記録映像解析部1042は、デコード部103から出力された記録映像に対する記録映像解析処理を行う。
記録映像解析部1042は、記録映像解析結果情報を、送信部106に出力する。
図6は、実施の形態1に係るレコーダ11の動作について説明するためのフローチャートである。
レコーダ11は、電源が投入されると、例えば電源がオフされるまで、図6のフローチャートを用いて説明する動作を継続して行う。
具体的には、受信部111の映像受信部1111は、監視カメラ10が送信した(図5のステップST501参照)、当該監視カメラ10が撮影したライブ映像を受信する。映像受信部1111は、受信したライブ映像を、記録制御部112に出力する。また、受信部111の解析結果受信部1113は、監視カメラ10が送信した(図5のステップST501参照)、ライブ映像解析結果情報を受信する。解析結果受信部1113は、ライブ映像解析結果情報を、記録制御部112に出力する。
記録制御部112は、映像受信部1111が受信したライブ映像を、表示制御部115に出力する。また、記録制御部112は、解析結果受信部1113が受信したライブ映像解析結果情報を、表示制御部115に出力する。表示制御部115は、表示装置12に、解析結果受信部1113が受信したライブ映像解析結果情報を、表示させる。また、表示制御部115は、表示装置12に、映像受信部1111が受信したライブ映像を、表示させる。
リソース情報受信部1112は、受信したリソース情報を、記録制御部112に出力する。
受付部116が、記録映像解析処理の実行指示を受け付けると(ステップST604の“YES”の場合)、図6のフローチャートで示すレコーダ11の動作は、ステップST605に進む。
リソース判定部117は、受付部116が記録映像解析処理の実行指示を受け付けた場合(ステップST604の“YES”の場合)、リソース情報記録部114を参照して、記録映像解析処理を実行可能な監視カメラ10があるか否か判定する(ステップST605)。
リソース判定部117は、記録映像解析処理を実行可能な監視カメラ10があると判定した場合(ステップST605の“YES”の場合)、当該監視カメラ10を解析実行カメラに決定する。
リソース判定部117は、決定した、解析実行カメラに関する情報を、記録映像取得部118に出力する。
記録映像取得部118は、取得した記録映像を、送信部119に出力する。
解析結果受信部1113は、受信した記録映像解析結果情報を、記録制御部112に出力する。
レコーダ11が、空きリソースのある監視カメラ10に記録映像解析処理を行わせるようにしたため、監視システム1は、解析専用のサーバを設けることなく、記録映像の解析処理を行うことが可能となる。
実施の形態1では、レコーダ11にて、記録映像解析処理を実行可能な監視カメラ10がないと判定すると、記録映像解析処理は行われないものとしていた。
実施の形態2では、レコーダ11aにて、記録映像解析処理を実行可能な監視カメラ10aがないと判定した場合に、監視カメラ10aにて記録映像解析処理を実行可能な空きリソースを確保させるようにした実施の形態について説明する。
実施の形態2では、監視カメラ10aとレコーダ11aとで監視システム1aを構成する。
図7において、実施の形態1にて図2を用いて説明した監視カメラ10の構成と同様の構成には、同じ符号を付して重複した説明を省略する。
実施の形態2に係る監視カメラ10aは、実施の形態1に係る監視カメラ10とは、受信部102aが、記録映像受信部1021の他に停止指示受信部1022を備える点が異なる。
また、実施の形態2に係る監視カメラ10aでは、ライブ映像解析部1041aの具体的な動作が、実施の形態1に係る監視カメラ10におけるライブ映像解析部1041の具体的な動作とは異なる。
停止指示受信部1022は、ライブ映像解析停止指示を受信すると、当該ライブ映像解析停止指示を受信した旨の情報を、映像解析部104aに出力する。
なお、ライブ映像解析部1041aがライブ映像解析処理を停止した場合も、リソース情報送信部1061は、現在のリソース情報を、常時、レコーダ11aに送信するようにする。また、ライブ映像解析部1041aがライブ映像解析処理を停止した場合も、ライブ映像解析部1041aから、エンコード部105および映像送信部1063を介して、レコーダ11aに、ライブ映像は送信される。
図8において、実施の形態1にて図3を用いて説明したレコーダ11の構成と同様の構成には、同じ符号を付して重複した説明を省略する。
実施の形態2に係るレコーダ11aは、実施の形態1に係るレコーダ11とは、送信部119aが、停止指示送信部1191を備える点が異なる。
また、実施の形態2に係るレコーダ11aでは、リソース判定部117aの具体的な動作が、実施の形態1に係るレコーダ11におけるリソース判定部117の具体的な動作とは異なる。
リソース判定部117aは、記録映像解析処理を実行可能な監視カメラ10aはないと判定した場合、送信部119aの停止指示送信部1191に、ライブ映像解析停止指示を送信させるための情報(以下「停止指示要情報」という。)を出力する。このとき、リソース判定部117aは、停止指示要情報に、どの監視カメラ10aに対して、ライブ映像解析停止指示を送信するかを指定した情報を含める。リソース判定部117aが、ライブ映像解析停止指示の送信先に決定した監視カメラ10aを、「停止対象カメラ」ともいう。
リソース判定部117aは、監視カメラ10aが複数存在する場合、予め設定されたルールに従って、停止対象カメラを決定すればよい。例えば、リソース判定部117aは、リソースの空き容量が一番大きい監視カメラ10aを、停止対象カメラに決定する。
監視システム1aにおいて、記録映像解析処理の優先度とライブ映像解析処理の優先度の、どちらの優先度の方が高いかは、予め、ユーザによって設定されているものとする。
具体的には、リソース判定部117aは、記録映像解析処理を実行可能な監視カメラ10aがないと判定した場合であって、かつ、記録映像解析処理の優先度がライブ映像解析処理の優先度よりも低い場合、表示制御部115に対して、待機指示受付画面を表示させる旨の情報を出力する。表示制御部115は、リソース判定部117aから、待機指示受付画面を表示させる旨の情報が出力されると、表示装置12に、待機指示受付画面を表示させる。ユーザは、入力装置13を操作して、待機指示受付画面から、停止対象カメラのリソースが空くまで待つか否かの指示を入力する。受付部116は、停止対象カメラのリソースが空くまで待つか否かの指示を受け付ける。受付部116は、停止対象カメラのリソースが空くまで待つ旨の指示を受け付けた場合、待機要情報を、記録映像取得部118に出力する。記録映像取得部118は、停止対象カメラが、記録映像解析処理を実行可能となってから、記録映像を取得する。
なお、実施の形態2に係るレコーダ11aにおいても、映像解析部110が記録映像解析処理を行うことができる。
例えば、レコーダ11aは、異なる内容の記録映像解析処理を行う場合、ある内容の記録映像解析処理をレコーダ11にて実行し、他の内容の記録映像解析処理を監視カメラ10に実行させることができる。このとき、記録映像解析処理を実行可能な監視カメラ10aがない場合、リソース判定部117aは、当該監視カメラ10aに、停止指示要情報を出力するようにしてもよい。
なお、レコーダ11aと解析映像撮影カメラとで記録映像解析処理を並行して実行する場合、例えば、レコーダ11aの制御部(図示省略)が、記録映像解析処理の実行指示に基づき、レコーダ11aにて実行する記録映像解析処理と、監視カメラ10aに実行させる記録映像解析処理を振り分ける。
まず、実施の形態2に係る監視カメラ10aの動作について説明する。
図9は、実施の形態2に係る監視カメラ10aの動作について説明するためのフローチャートである。
図9のステップST901〜ステップST902、ステップST905〜ステップST907の具体的な動作は、それぞれ、実施の形態1にて説明した、図5のステップST501〜ステップST502、ステップST503〜ステップST505の具体的な動作と同様であるため、重複した説明を省略する。
停止指示受信部1022がライブ映像解析停止指示を受信していない場合(ステップST903の“NO”の場合)、図9のフローチャートにて示す、監視カメラ10aの動作は、ステップST905に進む。
停止指示受信部1022は、ライブ映像解析停止指示を受信した場合(ステップST903の“YES”の場合)、ライブ映像解析停止指示を受信した旨の情報を、映像解析部104aに出力する。
図10は、実施の形態2に係るレコーダ11aの動作について説明するためのフローチャートである。
図10は、実施の形態2に係るレコーダ11aの動作について説明するためのフローチャートである。
図10のステップST1001〜ステップST1005、ステップST1010〜ステップST1014の具体的な動作は、それぞれ、実施の形態1にて説明した、図6のステップST601〜ステップST610の具体的な動作と同様であるため、重複した説明を省略する。
停止対象カメラが、記録映像解析処理を実行可能となると、図10のフローチャートで示すレコーダ11aの動作は、ステップST1010へ進む。
リソース判定部117aが、記録映像解析処理を実行可能な監視カメラ10aがないと判定すると(ステップST1005の“NO”の場合)、停止指示送信部1191が、停止対象カメラにライブ映像解析停止指示を送信する(ステップST1007)ようにしてもよい。
レコーダ11aが、空きリソースのある監視カメラ10aに記録映像解析処理を行わせるようにしたため、監視システム1aは、解析専用のサーバを設けることなく、記録映像の解析処理を行うことが可能となる。
これにより、監視システム1aにおいて、解析専用のサーバを設けなくても、限られたリソースを有効活用して、記録映像の解析処理を行うことが可能となる。
また、レコーダ11aは、監視カメラ10aに、記録映像解析処理を実行するだけの空きリソースがない場合、記録映像解析処理の優先度の方が、前記ライブ映像解析処理の優先度よりも高ければ、監視カメラ10aに、ライブ映像解析停止指示を送信するようにしてもよいものとした。
これにより、監視システム1aにおいて、優先されるライブ映像解析処理を停止してしまうことなく、限られたリソースを有効活用して、記録映像の解析処理を行うことが可能となる。
また、レコーダ11aにおいて、停止指示送信部1191は、記録映像解析処理の優先度の方が、ライブ映像解析処理の優先度よりも高い場合に、ライブ映像解析停止指示を送信するように構成した。
そのため、監視システム1aにおいて、優先されるライブ映像解析処理を停止してしまうことなく、限られたリソースを有効活用して、記録映像の解析処理を行うことが可能となる。
また、以上の実施の形態1,2において、レコーダ11,11aは、解析結果受信部1113が受信した記録映像解析結果情報を表示装置12に表示させることを必須としない。例えば、レコーダ11,11aは、解析結果受信部1113が受信した記録映像解析結果情報を、記録部113に記録させるようにしてもよい。
また、以上の実施の形態1,2において、監視カメラ10,10aは、ライブ映像解析処理を行わず、監視カメラ10の外部に設けられた装置にてライブ映像解析処理を行うようにしてもよい。この場合、例えば、撮影部101は、ライブ映像を、ライブ映像解析処理を行う装置に送信するようにし、リソース情報送信部1061は、ライブ映像解析処理を行う装置からリソース情報を取得するようにする。
また、実施の形態1,2において、レコーダ11,11aがリソース情報記録部114を備えることに加え、監視カメラ10,10aが、リソース情報記録部を備えるようにしてもよい。
また、以上の実施の形態1,2において、リソース判定部117,117aは、記録映像解析処理を実行可能な監視カメラ10,10aが複数存在する場合、当該複数の監視カメラ10,10aから1つ、解析実行カメラを決定するものとしたが、これは一例に過ぎない。リソース判定部117,117aは、記録映像解析処理を実行可能な監視カメラ10,10aが複数存在する場合、当該複数の監視カメラ10,10aのうち、複数の監視カメラ10,10aを解析実行カメラに決定するようにしてもよい。例えば、リソース判定部117,117aは、受付部116が受け付けた記録映像解析処理の実行指示に基づき、記録映像解析処理を実行可能な監視カメラ10,10aが1つでは、記録映像解析処理を実行するためのリソースが足りないと判断した場合、複数の、記録映像解析処理を実行可能な監視カメラ10,10aを、解析実行カメラに決定することができる。
また、以上の実施の形態2では、リソース判定部117aは、停止対象カメラを1つ決定するものとしたが、これは一例に過ぎない。リソース判定部117aは、複数の監視カメラ10,10aを停止対象カメラに決定するようにしてもよい。
また、以上の実施の形態1,2において、監視カメラ10,10aの映像解析部104,104a、または、レコーダ11aの映像解析部110は、機械学習済みのモデル(以下「機械学習済モデル」という。)に基づいて、映像解析処理を行うこともできる。この場合、レコーダ11,11aは、解析実行カメラに記録映像解析処理を実行させる際、記録映像取得部118が取得した記録映像とともに、機械学習済モデルを、解析実行カメラに出力するようにしてもよい。例えば、ある監視カメラ10,10aにおいて、人物検知の映像解析処理が実行できる状態にある、言い換えれば、監視カメラ10,10aに人物検知用の機械学習モデルが記憶されているとする。レコーダ11,11aは、上述の状態にある、ある監視カメラ10,10aに対して、人物検知とは異なる内容の記録映像解析処理を実行させるとする。例えば、レコーダ11,11aは、ある監視カメラ10,10aに対して、物体検知の記録映像解析処理を実行させるとする。この場合、レコーダ11,11aは、ある監視カメラ10,10aに対して、記録映像解析処理を行わせる記録映像とともに、物体検知用の機械学習済モデルを、出力する。物体検知用の機械学習済モデルは、レコーダ11,11aが記憶しているものとしてもよいし、物体検知用の機械学習済モデルはレコーダ11,11aの外部の装置に記憶されており、レコーダ11,11aが、外部の装置から物体検知用の機械学習済モデルを取得し、ある監視カメラ10,10aに出力するようにしてもよい。
また、以上の実施の形態1,2では、ライブ映像解析処理は監視カメラ10,10aが行うものしたが、記録映像解析処理同様、レコーダ11,11aがライブ映像解析処理を行うようにすることもできる。この場合、映像解析部110が、監視カメラ10,10aから送信されたライブ映像に対してライブ映像解析処理を行う。
実施の形態1,2において、受信部102,102aと、デコード部103と、映像解析部104,104aと、エンコード部105と、送信部106の機能は、処理回路1101により実現される。すなわち、監視カメラ10,10aは、レコーダ11,11aから送信された記録映像に対して記録映像解析処理を行う処理回路1101を備える。
処理回路1101は、図11Aに示すように専用のハードウェアであっても、図11Bに示すようにメモリ1107に格納されるプログラムを実行するCPU(Central Processing Unit)1106であってもよい。
また、撮影部101は、撮像装置1105で構成される。
また、監視カメラ10,10aは、レコーダ11,11a等の装置と、有線通信または無線通信を行う入力インタフェース装置1103および出力インタフェース装置1104を備える。
実施の形態1,2において、受信部111と、記録制御部112と、表示制御部115と、受付部116と、リソース判定部117,117aと、記録映像取得部118と、送信部119,119aと、映像解析部110の機能は、処理回路1201により実現される。すなわち、レコーダ11,11aは、監視カメラ10,10aの空きリソースに応じて、監視カメラ10,10aに、記録映像に対する記録映像解析処理を実行させる制御を行う処理回路1201を備える。
処理回路1201は、図12Aに示すように専用のハードウェアであっても、図12Bに示すようにメモリ1206に格納されるプログラムを実行するCPU(Central Processing Unit)1205であってもよい。
記録部113とリソース情報記録部114は、HDD1202で構成される。なお、これは一例であって、記録部113とリソース情報記録部114は、メモリ1206、SSD(Solid State Drive)、または、DVD等によって構成されるものであってもよい。
また、レコーダ11,11aは、監視カメラ10,10a、表示装置12、または、入力装置13等の装置と、有線通信または無線通信を行う入力インタフェース装置1203および出力インタフェース装置1204を備える。
Claims (9)
- 監視カメラにおける、リソースの使用状況に関するリソース情報を受信するリソース情報受信部と、
前記監視カメラが過去に撮像した記録映像に対する記録映像解析処理の実行指示を受け付ける受付部と、
前記受付部が前記実行指示を受け付けた場合、前記リソース情報受信部が受信したリソース情報に基づき、前記記録映像解析処理を実行可能な前記監視カメラがあるか否か判定するリソース判定部と、前記受付部が受け付けた実行指示に基づく前記記録映像を取得する記録映像取得部と、
前記記録映像取得部が取得した記録映像を、前記記録映像解析処理を実行可能な前記監視カメラに送信し、当該記録映像解析処理を実行させる送信部
とを備えたレコーダ。 - 前記リソース判定部が、前記記録映像解析処理を実行可能な前記監視カメラはないと判定した場合、前記監視カメラに、当該監視カメラが撮像したライブ映像に対するライブ映像解析処理を停止させるライブ映像解析停止指示を送信する停止指示送信部を備えた
ことを特徴とする請求項1記載のレコーダ。 - 前記停止指示送信部は、
前記記録映像解析処理の優先度の方が、前記ライブ映像解析処理の優先度よりも高い場合に、前記ライブ映像解析停止指示を送信する
ことを特徴とする請求項2記載のレコーダ。 - 前記監視カメラから、前記送信部が送信した記録映像に対する前記記録映像解析処理を行った結果に関する記録映像解析結果情報を受信する解析結果受信部と、
前記解析結果受信部が受信した記録映像解析結果情報を表示させる表示制御部
とを備えた請求項1から請求項3のうちのいずれか1項記載のレコーダ。 - レコーダに対して、リソースの使用状況に関するリソース情報を送信するリソース情報送信部と、
前記リソース情報送信部が送信したリソース使用情報に基づいて前記レコーダから送信された記録映像を受信する記録映像受信部と、
前記記録映像受信部が受信した記録映像に対する記録映像解析処理を実行する記録映像解析部
とを備えた監視カメラ。 - 前記レコーダに、前記記録映像解析部が行った前記記録映像解析処理の結果に関する記録映像解析結果情報を送信する解析結果送信部
を備えた請求項5記載の監視カメラ。 - 監視エリアを撮像する撮影部と、
前記撮影部が前記監視エリアを撮像したライブ映像に対するライブ映像解析処理を行うライブ映像解析部と、
前記レコーダから、前記ライブ映像解析処理を停止させるライブ映像解析停止指示を受信する停止指示受信部とを備え、
前記ライブ映像解析部は、前記停止指示受信部が前記ライブ映像解析停止指示を受信すると、前記ライブ映像解析処理を停止する
ことを特徴とする請求項5または請求項6記載の監視カメラ。 - 請求項1から請求項4のうちのいずれか1項記載のレコーダと、
請求項5から請求項7記載の監視カメラ
とを備えた監視システム。 - コンピュータを、
監視カメラにおける、リソースの使用状況に関するリソース情報を受信するリソース情報受信部と、
前記監視カメラが過去に撮像した記録映像に対する記録映像解析処理の実行指示を受け付ける受付部と、
前記受付部が前記実行指示を受け付けた場合、前記リソース情報受信部が受信したリソース情報に基づき、前記記録映像解析処理を実行可能な前記監視カメラがあるか否か判定するリソース判定部と、前記受付部が受け付けた実行指示に基づく前記記録映像を取得する記録映像取得部と、
前記記録映像取得部が取得した記録映像を、前記記録映像解析処理を実行可能な前記監視カメラに送信し、当該記録映像解析処理を実行させる送信部
として機能させるための映像解析プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020000781A JP7430063B2 (ja) | 2020-01-07 | 2020-01-07 | レコーダ、監視カメラ、監視システム、および、映像解析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020000781A JP7430063B2 (ja) | 2020-01-07 | 2020-01-07 | レコーダ、監視カメラ、監視システム、および、映像解析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021111820A true JP2021111820A (ja) | 2021-08-02 |
JP7430063B2 JP7430063B2 (ja) | 2024-02-09 |
Family
ID=77060272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020000781A Active JP7430063B2 (ja) | 2020-01-07 | 2020-01-07 | レコーダ、監視カメラ、監視システム、および、映像解析プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7430063B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018205900A (ja) * | 2017-05-31 | 2018-12-27 | パナソニックIpマネジメント株式会社 | 監視システム及び監視方法 |
-
2020
- 2020-01-07 JP JP2020000781A patent/JP7430063B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018205900A (ja) * | 2017-05-31 | 2018-12-27 | パナソニックIpマネジメント株式会社 | 監視システム及び監視方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7430063B2 (ja) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10951833B2 (en) | Method and device for switching between cameras, and terminal | |
US20100272364A1 (en) | Image editing system and method | |
KR20150090223A (ko) | 비디오 재생 방법, 단말 및 시스템 | |
US9967473B2 (en) | Information processing apparatus, information processing method, and program | |
US9756278B2 (en) | Image processing system and image capturing apparatus | |
US11496671B2 (en) | Surveillance video streams with embedded object data | |
JP2021168134A (ja) | 情報処理装置、情報処理方法および情報処理システム | |
US11170520B2 (en) | Image processing apparatus for analyzing an image to detect an object within the image | |
US20200045242A1 (en) | Display control device, display control method, and program | |
US20160112656A1 (en) | Thermal imaging device, analyzing device, thermal image photographing method, and analyzing method | |
JP6602080B2 (ja) | 撮影システム及びその制御方法、コンピュータプログラム | |
JP2009200757A (ja) | 映像データ処理装置、プログラム及び方法 | |
JP2021111820A (ja) | レコーダ、監視カメラ、監視システム、および、映像解析プログラム | |
CN104639892A (zh) | 视频记录系统以及用于处理主系统中的图像的方法和设备 | |
JP2012533922A (ja) | 映像処理方法及び装置 | |
JP7182893B2 (ja) | 画像処理装置、撮影装置、画像処理方法、およびプログラム | |
US10440218B2 (en) | Image processing apparatus, control method for image processing apparatus, and non-transitory computer-readable recording medium | |
JP2016212500A (ja) | 撮影方向変動検出装置および撮影方向変動検出方法 | |
JP6358165B2 (ja) | 動画編集再生装置および動画編集再生プログラム | |
JP6662223B2 (ja) | 映像記録再生装置 | |
WO2023210334A1 (ja) | 画像処理装置、撮像装置及びそれらの制御方法 | |
US11283938B2 (en) | Communication apparatus communicating with another communication apparatus based on performance, control method, and storage medium | |
US11843847B2 (en) | Device, information processing apparatus, control method therefor, and computer-readable storage medium | |
KR20080022837A (ko) | 디지털 비디오 레코더에서의 카메라 영상 기록 방법 | |
KR101809404B1 (ko) | 비디오 스트리밍 시스템에서 애플케이션 요구 기반 영상 품질 설정 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220817 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230728 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231130 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7430063 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |