JP2021111820A - レコーダ、監視カメラ、監視システム、および、映像解析プログラム - Google Patents

レコーダ、監視カメラ、監視システム、および、映像解析プログラム Download PDF

Info

Publication number
JP2021111820A
JP2021111820A JP2020000781A JP2020000781A JP2021111820A JP 2021111820 A JP2021111820 A JP 2021111820A JP 2020000781 A JP2020000781 A JP 2020000781A JP 2020000781 A JP2020000781 A JP 2020000781A JP 2021111820 A JP2021111820 A JP 2021111820A
Authority
JP
Japan
Prior art keywords
unit
recorded video
recorded
video analysis
surveillance camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020000781A
Other languages
English (en)
Other versions
JP7430063B2 (ja
Inventor
将博 松江
Masahiro Matsue
将博 松江
教敬 岸田
Noritaka Kishida
教敬 岸田
顕仁 菊地
Akihito Kikuchi
顕仁 菊地
舞 菊地
Mai Kikuchi
舞 菊地
駿太 木村
Shunta Kimura
駿太 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2020000781A priority Critical patent/JP7430063B2/ja
Publication of JP2021111820A publication Critical patent/JP2021111820A/ja
Application granted granted Critical
Publication of JP7430063B2 publication Critical patent/JP7430063B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】監視システムにおいて、解析専用のサーバを設けることなく、記録映像の解析処理を行うことを可能とする。【解決手段】レコーダが、監視カメラにおける、リソースの使用状況に関するリソース情報を受信するリソース情報受信部と、監視カメラが過去に撮像した記録映像に対する記録映像解析処理の実行指示を受け付ける受付部と、受付部が実行指示を受け付けた場合、リソース情報受信部が受信したリソース情報に基づき、記録映像解析処理を実行可能な監視カメラがあるか否か判定するリソース判定部と、受付部が受け付けた実行指示に基づく記録映像を取得する記録映像取得部と、記録映像取得部が取得した記録映像を、記録映像解析処理を実行可能な監視カメラに送信し、当該記録映像解析処理を実行させる送信部とを備えた。【選択図】図2

Description

本開示は、映像の記録および解析を行うレコーダ、監視カメラ、および、レコーダと監視カメラとで構成される監視システム、および、映像解析プログラムに関する。
監視システムにおいて、監視カメラが撮像した映像がレコーダに記録されることがある。また、レコーダに映像を記録後に、記録された映像(以下「記録映像」という。)の解析が行われることがある。記録映像の解析は、例えば、レコーダまたはサーバが行う。
ところで、例えば、特許文献1には、監視システムにおいて、複数のカメラが撮像した撮像画像内のオブジェクトの検出に際し、当該検出に用いるパラメータの学習等の処理を複数のカメラ間で分散し、複数のカメラに接続されるサーバの処理負荷の軽減を支援する技術が開示されている。
特開2018−205900号公報
昨今、映像記録媒体の大容量化、または、監視カメラの台数の増加等に伴い、監視システムにおいて、レコーダに記録される記録映像のデータ量は増大している。
監視システムにおいて、例えば、レコーダまたはサーバが、単独で、増大した記録映像の解析処理を行うと、過大な処理負荷がかかる。レコーダまたはサーバにおける、記録映像の解析処理にかかる過大な処理負荷を軽減するため、例えば、解析専用のサーバを用いることも考えられるが、その場合、監視システムにおいて、当該解析専用のサーバを新たに設ける必要があるという課題があった。
特許文献1に開示されているような技術は、カメラが撮像した、ライブ映像の解析処理を行う際に処理負荷を軽減することへの考慮はなされているが、記録映像の解析処理の際の処理負荷への考慮は何らなされていない。
本開示は、上記のような課題を解決するためになされたもので、監視システムにおいて、解析専用のサーバを設けることなく、記録映像の解析処理を行うことを可能とすることを目的とする。
本開示に係るレコーダは、監視カメラにおける、リソースの使用状況に関するリソース情報を受信するリソース情報受信部と、監視カメラが過去に撮像した記録映像に対する記録映像解析処理の実行指示を受け付ける受付部と、受付部が実行指示を受け付けた場合、リソース情報受信部が受信したリソース情報に基づき、記録映像解析処理を実行可能な監視カメラがあるか否か判定するリソース判定部と、受付部が受け付けた実行指示に基づく記録映像を取得する記録映像取得部と、記録映像取得部が取得した記録映像を、記録映像解析処理を実行可能な監視カメラに送信し、当該記録映像解析処理を実行させる送信部を備えたものである。
本開示によれば、監視システムにおいて、解析専用のサーバを設けることなく、記録映像の解析処理を行うことができる。
実施の形態1に係る監視システムの構成例を示す図である。 実施の形態1に係る監視カメラの構成例を示す図である。 実施の形態1に係るレコーダの構成例を示す図である。 実施の形態1において、レコーダが、監視カメラとの間でやり取りするストリームの概略を説明するための図であって、図4Aは、監視カメラからレコーダへ送信されるストリームの概略を説明するための図であり、図4Bは、レコーダから監視カメラへ送信されるストリームの概略を説明するための図である。 実施の形態1に係る監視カメラの動作を説明するためのフローチャートである。 実施の形態1に係るレコーダの動作について説明するためのフローチャートである。 実施の形態2に係る監視カメラの構成例を示す図である。 実施の形態2に係るレコーダの構成例を示す図である。 実施の形態2に係る監視カメラの動作について説明するためのフローチャートである。 実施の形態2に係るレコーダの動作について説明するためのフローチャートである。 図11A,図11Bは、実施の形態1,2に係る監視カメラのハードウェア構成の一例を示す図である。 図12A,図12Bは、実施の形態1,2に係るレコーダのハードウェア構成の一例を示す図である。
以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、実施の形態1に係る監視システム1の構成例を示す図である。
図1に示すように、監視システム1は、1台以上の監視カメラ10−1〜10−nと、レコーダ11とを備える。実施の形態1において、1台以上の監視カメラ10−1〜10−nを、まとめて、監視カメラ10ともいう。
監視カメラ10とレコーダ11とは、ネットワーク2を介して接続される。監視カメラ10とレコーダ11とは、直接、接続されていてもよい。
監視カメラ10は、常時、任意の監視領域を撮影する。監視カメラ10は、撮影した映像(以下「監視映像」という。)を、常時、レコーダ11に送信する。レコーダ11は、監視カメラ10から送信された監視映像を記録部113(詳細は後述する)に記録する。
また、監視カメラ10は、監視映像に対する解析処理を行う。具体的には、監視カメラ10は、現在の監視領域を撮影した監視映像(以下「ライブ映像」という。)に対して、解析処理を行う。以下、監視カメラ10が行う、ライブ映像に対する解析処理を、「ライブ映像解析処理」ともいう。監視カメラ10は、ライブ映像解析処理を行った結果を、レコーダ11に送信する。
また、監視カメラ10は、レコーダ11の制御に基づき、過去に監視領域を撮影した監視映像であって、レコーダ11によって記録部113に記録されている監視映像、に対して、解析処理を行う。以下、記録部113に記録されている、監視カメラ10が過去に監視領域を撮影した監視映像を、「記録映像」ともいう。また、監視カメラ10が行う、記録映像に対する解析処理を、「記録映像解析処理」ともいう。監視カメラ10は、記録映像解析処理を行った結果を、レコーダ11に送信する。
監視カメラ10は、レコーダ11に対して、監視カメラ10において、画像解析に使用しているリソースの使用状況に関する情報(以下「リソース情報」という。)を送信する。リソース情報は、具体的には、例えば、監視カメラ10において、画像解析に使用しているリソースの使用率を示す情報である。レコーダ11は、監視カメラ10のリソース情報を管理し、当該リソース情報に基づいて、監視カメラ10に記録映像解析処理を行わせる制御を行う。なお、監視カメラ10が複数存在する場合、レコーダ11は、複数の監視カメラ10のうち、記録映像解析処理を行わせる監視カメラ10を決定する。レコーダ11が監視カメラ10に記録映像解析処理を行わせる制御の詳細については、後述する。
レコーダ11は、監視カメラ10から送信されたライブ映像、記録映像解析処理を行った結果に関する情報、および、リソース情報を、記録部113(詳細は後述する)またはリソース情報記録部114(詳細は後述する)に記録する。
また、レコーダ11は、監視カメラ10から送信されたライブ映像、ライブ映像解析処理を行った結果に関する情報、または、記録映像解析処理を行った結果に関する情報を、表示装置12(詳細は後述する)に表示させる。
なお、レコーダ11は、レコーダ11にて、記録映像解析処理を行うことも可能である。レコーダ11がレコーダ11にて記録映像解析処理を行った場合、レコーダ11は、記録映像解析処理を行った結果に関する情報を、表示装置12に表示させる。
図2は、実施の形態1に係る監視カメラ10の構成例を示す図である。
監視カメラ10は、撮影部101、受信部102、デコード部103、映像解析部104、エンコード部105、および、送信部106を備える。
受信部102は、記録映像受信部1021を備える。
映像解析部104は、ライブ映像解析部1041および記録映像解析部1042を備える。
送信部106は、リソース情報送信部1061、解析結果送信部1062、および、映像送信部1063を備える。
撮影部101は、監視エリアを撮影する。具体的には、撮影部101は、レンズ(図示省略)から出力された光を取得し、電気信号である撮影データに変換する。撮影部101は、電気信号から変換した撮影データを、監視映像として、映像解析部104に出力する。撮影部101から出力される監視映像は、撮影部101が監視エリアを撮影したライブ映像である。撮影部101は、フレーム単位で、監視映像を出力する。
受信部102は、各種情報を受信する。
受信部102の記録映像受信部1021は、レコーダ11から送信された記録映像を受信する。レコーダ11は、ユーザから、記録映像に対する記録映像解析処理を実行する旨の指示を受け付けると、当該記録映像解析処理を実行可能な監視カメラ10があるか否かを判定する。レコーダ11は、記録映像解析処理を実行可能な監視カメラ10があると判定した場合に、当該監視カメラ10に対して、記録映像を送信する。レコーダ11の詳細については、後述する。記録映像受信部1021は、レコーダ11から送信された記録映像を受信する。
記録映像受信部1021は、受信した記録映像を、デコード部103に出力する。
デコード部103は、記録映像受信部1021から出力された記録映像をデコードする。
デコード部103は、デコードした後の記録映像を、映像解析部104に出力する。
映像解析部104は、監視映像に対する任意の解析処理を行う。任意の解析処理とは、例えば、特定の物体または特定の人物を検知する処理である。特定の物体とは、例えば、鞄または車椅子である。また、任意の解析処理は、例えば、感情または人物の骨格を推定する処理である。映像解析部104は、任意の解析処理を、既知の画像認知技術を用いて行う。映像解析部104は、フレーム単位で、監視映像に対する任意の解析処理を行う。映像解析部104は、例えば、全てのフレームに対して任意の解析処理を行ってもよいし、予め決められたフレーム毎に、当該フレームに対して任意の解析処理を行ってもよい。
映像解析部104のライブ映像解析部1041は、撮影部101から出力されたライブ映像に対するライブ映像解析処理を行う。
ライブ映像解析部1041は、ライブ映像解析処理を行うと、ライブ映像解析処理を行った結果に関する情報(以下「ライブ映像解析結果情報」という。)を、送信部106に出力する。例えば、ライブ映像解析処理が人物を検知するという映像解析処理であった場合、ライブ映像解析部1041は、ライブ映像解析結果情報に、人物を何人検知したかを特定可能な数値情報、ライブ映像のどの領域に人物を検知したかを特定するためのライブ映像上の座標情報、または、人物を検知した時間に関する情報を含める。
ライブ映像解析部1041は、ライブ映像解析結果情報に、例えば、ライブ映像解析処理を行った日時に関する情報を対応付ける。
また、ライブ映像解析部1041は、監視カメラ10における画像解析に使用しているリソースの使用状況に関する情報であるリソース情報を、送信部106に出力する。ライブ映像解析部1041は、リソース情報に、監視カメラ10を特定可能な情報を対応付ける。
また、ライブ映像解析部1041は、ライブ映像解析処理を行うと、当該ライブ映像解析処理が完了したライブ映像を、エンコード部105に出力する。
ここで、ライブ映像解析部1041がエンコード部105に出力するライブ映像について説明する。
ライブ映像解析部1041は、ライブ映像から、低解像度のライブ映像と、高解像度のライブ映像とを生成する。低解像度のライブ映像は、QVGA(Quarter VGA)程度を想定しており、高解像度の映像は、Full HDまたは4K相当を想定している。
ライブ映像解析部1041は、ライブ映像に基づき、当該ライブ映像のサイズを変更して、高解像度のライブ映像と低解像度のライブ映像とをそれぞれ生成する。
ライブ映像解析部1041は、低解像度のライブ映像と、高解像度のライブ映像とを、エンコード部105に出力する。なお、ライブ映像解析部1041は、ライブ映像に、低解像度のライブ映像であるか、高解像度のライブ映像であるかが判別可能な情報を対応付ける。
なお、ライブ映像解析部1041は、ライブ映像に、監視カメラ10を特定可能な情報、および、ライブ映像の撮影日時に関する情報を対応付けて出力する。
映像解析部104の記録映像解析部1042は、デコード部103から出力された記録映像に対する記録映像解析処理を行う。
記録映像解析部1042は、記録映像解析処理を行うと、記録映像解析処理を行った結果に関する情報(以下「記録映像解析結果情報」という。)を、送信部106に出力する。記録映像解析部1042は、記録映像解析結果情報に、例えば、記録映像解析処理を行った日時に関する情報を対応付ける。例えば、記録映像解析処理が人物を検知するという映像解析処理であった場合、記録映像解析部1042は、記録映像解析結果情報に、人物を何人検知したかを特定可能な数値情報、記録映像のどの領域に人物を検知したかを特定するための記録映像上の座標情報、または、人物を検知した時間に関する情報を含める。
エンコード部105は、ライブ映像解析部1041から出力されたライブ映像をエンコードする。具体的には、エンコード部105は、ライブ映像解析部1041から出力された、低解像度のライブ映像と高解像度のライブ映像とを、それぞれエンコードする。
エンコード部105は、エンコードした後のライブ映像を、送信部106に出力する。
送信部106は、各種情報を送信する。
送信部106のリソース情報送信部1061は、ライブ映像解析部1041から出力されたリソース情報を、レコーダ11に送信する。
送信部106の解析結果送信部1062は、ライブ映像解析部1041から出力されたライブ映像解析結果情報、または、記録映像解析部1042から出力された記録映像解析結果情報を、レコーダ11に送信する。
送信部106の映像送信部1063は、エンコード部105から出力されたライブ映像を、レコーダ11に出力する。具体的には、映像送信部1063は、低解像度のライブ映像と、高解像度のライブ映像とを、レコーダ11に送信する。
図3は、実施の形態1に係るレコーダ11の構成例を示す図である。
レコーダ11は、表示装置12および入力装置13と接続される。表示装置12は、例えば、ユーザが操作する監視用PC(Personal Computer。図示省略)に接続されているディスプレイである。入力装置13は、監視用PCに接続されているマウスまたはキーボード等である。ユーザは、例えば、入力装置13を操作して、表示装置12に、記録映像に対する記録映像解析処理を実行させる指示を入力するための画面を表示させ、当該指示を入力する。また、表示装置12は、監視映像、ライブ映像解析処理の結果に関する情報、または、記録映像解析処理の結果に関する情報を表示する。なお、上述のとおり、記録映像に対する記録映像解析処理は、監視カメラ10が、レコーダ11の制御に基づき、行う。また、レコーダ11は、レコーダ11にて、記録映像解析処理を行うことも可能である。レコーダ11は、監視カメラ10に行わせた記録映像解析処理の結果に関する情報、または、レコーダ11にて行った記録映像解析処理の結果に関する情報を、表示装置12に表示させる。
レコーダ11は、受信部111、記録制御部112、記録部113、リソース情報記録部114、表示制御部115、受付部116、リソース判定部117、記録映像取得部118、送信部119、および、映像解析部110を備える。
受信部111は、映像受信部1111、リソース情報受信部1112、および、解析結果受信部1113を備える。
受信部111は、監視カメラ10から各種情報を受信する。
受信部111の映像受信部1111は、監視カメラ10が送信した、当該監視カメラ10が撮影したライブ映像を受信する。なお、監視カメラ10が複数ある場合、映像受信部1111は、監視カメラ10毎に、当該監視カメラ10が送信したライブ映像を受信する。監視カメラ10からは、常時、低解像度のライブ映像と、高解像度のライブ映像とが出力される。映像受信部1111は、監視カメラ10毎に、低解像度のライブ映像と、高解像のライブ映像とを受信する。
映像受信部1111は、受信したライブ映像を、記録制御部112に出力する。なお、ライブ映像には、監視カメラ10を特定可能な情報、および、ライブ映像の撮影日時に関する情報が対応付けられている。
受信部111のリソース情報受信部1112は、監視カメラ10が送信したリソース情報を受信する。
リソース情報受信部1112は、受信したリソース情報を、記録制御部112に出力する。なお、リソース情報には、監視カメラ10を特定可能な情報が対応付けられている。
受信部111の解析結果受信部1113は、監視カメラ10が送信した、監視映像に対する解析結果に関する情報を受信する。
具体的には、解析結果受信部1113は、監視カメラ10が送信したライブ映像解析結果情報を受信する。また、解析結果受信部1113は、監視カメラ10から記録映像解析結果が送信された場合は、記録映像解析結果を受信する。
解析結果受信部1113は、記録映像解析結果情報またはライブ映像解析結果情報を、記録制御部112に出力する。
記録制御部112は、映像受信部1111が受信したライブ映像を、記録部113に記録するとともに、表示制御部115に出力する。
ここで、図4は、実施の形態1において、レコーダ11が、監視カメラ10との間でやり取りするストリームの概略を説明するための図である。図4Aは、監視カメラ10からレコーダ11へ送信されるストリームの概略を説明するための図であり、図4Bは、レコーダ11から監視カメラ10へ送信されるストリームの概略を説明するための図である。
映像受信部1111が監視カメラ10から受信するライブ映像には、低解像度のライブ映像と、高解像度のライブ映像とが含まれる。
記録制御部112は、映像受信部1111が受信した、低解像度のライブ映像を、記録映像として、記録部113に記録する(図4A参照)。なお、監視カメラ10が複数ある場合、記録制御部112は、ライブ映像を、監視カメラ10毎に記録する。
記録部113に記録された記録映像は、ユーザによって当該記録映像に対する記録解析処理を行う指示が入力された場合に、レコーダ11の送信部119から監視カメラ10へと送信される(図4B参照)。送信部119については後述する。
記録制御部112は、映像受信部1111が受信した、高解像度のライブ映像を、表示装置12への表示用の監視映像として、表示制御部115に出力する(図4A参照)。
また、記録制御部112は、リソース情報受信部1112が受信したリソース情報を、リソース情報記録部114に記録する。記録制御部112は、監視カメラ10毎に、少なくとも、最新のリソース情報を記録する。例えば、記録制御部112は、各監視カメラ10の最新のリソース情報を、リソース情報記録部114にてテーブル管理する。
また、記録制御部112は、解析結果受信部1113が受信したライブ映像解析結果情報を、表示制御部115に出力する。記録制御部112は、解析結果受信部1113が記録映像解析結果情報を受信した場合は、当該記録映像解析結果情報を、記録部113に記録するとともに、表示制御部115に出力する。なお、ライブ映像解析結果情報または記録映像解析結果情報には、例えば、ライブ映像解析処理または記録映像解析処理を行った日時に関する情報が対応付けられている。
記録部113は、記録映像、または、記録映像解析結果情報を記録する。
リソース情報記録部114は、リソース情報を記録する。
表示制御部115は、表示装置12に各種情報を表示させる。
具体的には、例えば、表示制御部115は、表示装置12に、解析結果受信部1113が受信したライブ映像解析結果情報または記録映像解析結果情報を、表示させる。
また、例えば、表示制御部115は、表示装置12に、映像受信部1111が受信したライブ映像を、表示させる。表示制御部115は、ライブ映像を表示させる際は、当該ライブ映像をデコードする。
表示制御部115は、例えば、記録制御部112を介して、ライブ映像解析結果情報、記録映像解析結果情報、または、ライブ映像を取得する。表示制御部115は、受信部111から直接、ライブ映像解析結果情報、記録映像解析結果情報、または、ライブ映像を取得してもよい。
また、例えば、表示制御部115は、表示装置12に、映像解析部110が行った記録映像解析処理に関する記録映像解析結果情報を、表示させる。映像解析部110については後述する。
受付部116は、監視カメラ10が過去に撮像した監視映像に対する記録映像解析処理の実行指示を受け付ける。監視カメラ10が過去に撮像した監視映像とは、言い換えれば、レコーダ11において記録部113に記録されている記録映像である。
例えば、ユーザは、入力装置13を操作して、表示装置12に、記録映像に対する記録映像解析処理の実行指示を入力するための画面を表示させる。ユーザは、入力装置13を操作して、表示させた画面から、記録映像解析処理の実行指示を入力する。記録映像解析処理の実行指示には、例えば、記録映像解析処理を実行する対象とする記録映像、を撮像した監視カメラ10(以下「解析映像撮影カメラ」という。)を指定する情報、および、解析映像撮影カメラによって記録映像解析処理を実行する対象とする記録映像が撮像された時刻を指定する情報が含まれる。時刻を指定する情報は、時刻範囲を示す情報であってもよい。具体例を挙げると、例えば、映像解析処理の実行指示に、監視カメラXを指定する情報と、2019/1/1 9:00:00を指定する情報とが含まれている場合、当該映像解析処理の実行指示は、監視カメラXが2019/1/1 9:00:00に撮像した記録映像を解析させるための指示である。また、例えば、映像解析処理の実行指示に、監視カメラYを指定する情報と、2019/1/1 9:00:00〜2019/1/1 9:10:00を指定する情報とが含まれている場合、当該映像解析処理の実行指示は、監視カメラYが2019/1/1 9:00:00〜2019/1/1 9:10:00に撮像した記録映像を解析させるための指示である。ユーザは、映像解析処理の実行指示によって、ある監視カメラ10が撮像した、1以上のフレームの記録映像に対する、記録映像解析処理を指示することができる。なお、上述した例は一例に過ぎず、映像解析処理の実行指示には、記録映像解析処理を実行する対象とする記録映像を特定することができる情報が含まれるようになっていればよい。
受付部116は、受け付けた、記録映像解析処理の実行指示を、リソース判定部117および記録映像取得部118に出力する。
リソース判定部117は、受付部116が記録映像解析処理の実行指示を受け付けた場合、リソース情報記録部114を参照して、リソース情報に基づき、記録映像解析処理を実行可能な監視カメラ10があるか否か判定する。具体的には、リソース判定部117は、リソース情報に基づき、記録映像解析処理を実行できるだけの空きリソースがある監視カメラ10があるか否か判定する。リソース判定部117は、監視カメラ10の空きリソースが、予め設定された閾値以上であれば、記録映像解析処理を実行できるだけの空きリソースがあると判定する。
リソース判定部117は、監視カメラ10が、1つの監視カメラ10−1である場合、当該監視カメラ10−1が、記録映像解析処理を実行可能な監視カメラ10−1であるか否かを判定する。リソース判定部117は、監視カメラ10−1が、記録映像解析処理を実行可能な監視カメラ10−1である場合、当該監視カメラ10−1を、記録映像解析処理を実行させる監視カメラ10(以下「解析実行カメラ」という。)に決定する。
リソース判定部117は、監視カメラ10が複数存在する場合、複数の監視カメラ10のうち、記録映像解析処理を実行可能な監視カメラ10があるか否かを判定する。リソース判定部117は、記録映像解析処理を実行可能な監視カメラ10がある場合、当該監視カメラ10を解析実行カメラに決定する。
リソース判定部117は、記録映像解析処理を実行可能な監視カメラ10が複数存在する場合、適宜の方法で、当該複数の監視カメラ10から、解析実行カメラを決定する。例えば、リソース判定部117は、記録映像解析処理を実行可能な複数の監視カメラ10のうち、一番空きリソースの容量が大きい監視カメラ10を、解析実行カメラに決定する。
リソース判定部117は、決定した、解析実行カメラに関する情報を、記録映像取得部118に出力する。
記録映像取得部118は、リソース判定部117が、記録映像解析処理を実行可能な監視カメラ10があると判定した場合、言い換えれば、リソース判定部117から解析実行カメラに関する情報が出力された場合、記録部113を参照して、受付部116が受け付けた、記録映像解析処理の実行指示に基づく記録映像を、取得する。具体的には、記録映像取得部118は、記録部113を参照して、例えば、ユーザが指定した解析映像撮影カメラによって、ユーザが指定した日時に撮影された記録映像を、取得する。
記録映像取得部118は、取得した記録映像を、送信部119に出力する。
レコーダ11にて記録映像解析処理を行う場合、記録映像取得部118は、記録部113から取得した、記録映像解析処理の実行指示に基づく記録映像を、映像解析部110に出力する。
上述のとおり、レコーダ11は、レコーダ11にて、記録映像解析処理を行うことも可能である。例えば、レコーダ11は、異なる内容の記録映像解析処理を行う場合、ある内容の記録映像解析処理をレコーダ11にて実行し、他の内容の記録映像解析処理を監視カメラ10に実行させることができる。また、例えば、レコーダ11は、10台の監視カメラ10の記録映像解析処理を実行させる実行指示を受け付けた場合、レコーダ11に6台の監視カメラ10の記録映像解析処理を実行させるだけ空きリソースがあれば、当該6台の監視カメラ10に関する記録映像解析処理はレコーダ11にて実行し、残りの4台の監視カメラ10に関する記録映像解析処理を監視カメラ10に実行させることができる。
レコーダ11がレコーダ11にて記録映像解析処理を行う場合、記録映像取得部118は、レコーダ11にて実行する記録映像解析処理の対象となる記録映像を、映像解析部110に出力する。記録映像取得部118は、監視カメラ10に実行させる記録映像解析処理の対象となる記録映像を、送信部119に出力する。
なお、レコーダ11と監視カメラ10とで記録映像解析処理を並行して実行する場合、例えば、レコーダ11の制御部(図示省略)が、記録映像解析処理の実行指示に基づき、レコーダ11にて実行する記録映像解析処理と、監視カメラ10に実行させる記録映像解析処理を振り分ける。
送信部119は、記録映像取得部118が取得した記録映像を、解析実行カメラに出力する。これにより、送信部119は、解析実行カメラに対して、記録映像解析処理を実行させる。解析実行カメラは、送信部119から送信された記録映像に対して、記録映像解析処理を行う。
映像解析部110は、記録映像取得部118から出力された記録映像に対する記録映像解析処理を行う。映像解析部110は、記録映像解析結果情報を、表示制御部115に出力する。
実施の形態1では、図3に示すように、記録部113およびリソース情報記録部114は、レコーダ11に備えられるものとしたが、これは一例に過ぎない。記録部113およびリソース情報記録部114は、レコーダ11の外部の、レコーダ11が参照可能な場所に備えられるようにしてもよい。この場合、レコーダ11は、記録制御部112を備えないようにすることができる。受信部111は、高解像度のライブ映像を、直接、表示制御部115に出力する。
実施の形態1に係る監視システム1における監視カメラ10およびレコーダ11の動作について説明する。以下の動作説明では、一例として、監視システム1において、レコーダ11は、レコーダ11にて記録映像解析処理は行わず、監視カメラ10に記録映像解析処理を実行させるものとする。
まず、実施の形態1に係る監視カメラ10の動作について説明する。
図5は、実施の形態1に係る監視カメラ10の動作を説明するためのフローチャートである。
監視カメラ10は、電源が投入されると、例えば電源がオフされるまで、図5のフローチャートを用いて説明する動作を継続して行う。
監視カメラ10は、ライブ映像処理を行う(ステップST501)。
具体的には、監視カメラ10の撮影部101が、監視エリアを撮影し、ライブ映像を映像解析部104に出力する。映像解析部104のライブ映像解析部1041は、撮影部101から出力されたライブ映像に対するライブ映像解析処理を行う。ライブ映像解析部1041は、ライブ映像解析結果情報を送信部106に出力するとともに、リソース情報を、送信部106に出力する。ライブ映像解析部1041は、ライブ映像解析処理を行うと、当該ライブ映像解析処理済みのライブ映像を、エンコード部105に出力する。エンコード部105は、ライブ映像解析部1041から出力されたライブ映像をエンコードし、エンコードした後のライブ映像を、送信部106に出力する。送信部106の解析結果送信部1062は、ライブ映像解析部1041から出力されたライブ映像解析結果情報を、レコーダ11に送信する。送信部106の映像送信部1063は、エンコード部105から出力されたライブ映像を、レコーダ11に出力する。
ステップST501にてライブ映像解析部1041からリソース情報が出力されると、送信部106のリソース情報送信部1061は、ライブ映像解析部1041から出力されたリソース情報を、レコーダ11に送信する(ステップST502)。
受信部102の記録映像受信部1021が、レコーダ11から送信された記録映像を受信しなければ(ステップST503の“NO”の場合)、図5のフローチャートで示す監視カメラ10の動作はステップST501に戻る。
受信部102の記録映像受信部1021が、レコーダ11から送信された記録映像を受信すると(ステップST503の“YES”の場合)、図5のフローチャートで示す監視カメラ10の動作は、ステップST504に進む。
映像解析部104の記録映像解析部1042は、ステップST503にて記録映像受信部1021が受信した記録映像に対する記録映像解析処理を行う(ステップST504)。具体的には、記録映像受信部1021が記録映像を受信すると、記録映像受信部1021は、受信した記録映像を、デコード部103に出力する。デコード部103は、記録映像受信部1021から出力された記録映像をデコードし、デコードした後の記録映像を、映像解析部104に出力する。記録映像解析部1042は、デコード部103から出力された記録映像に対する記録映像解析処理を行う。
記録映像解析部1042は、記録映像解析結果情報を、送信部106に出力する。
送信部106の解析結果送信部1062は、ステップST504にて記録映像解析部1042から出力された記録映像解析結果情報を、レコーダ11に送信する(ステップST505)。
図5のフローチャートでは、便宜上、ステップST501〜ステップST505の順番で動作が行われるものとしたが、ステップST501およびステップST502の動作は、常時行われている。例えば、記録映像解析部1042が記録映像解析処理を行っている(ステップST504参照)間も、ステップST501およびステップST502の動作は並行して行われている。
次に、実施の形態1に係るレコーダ11の動作について説明する。
図6は、実施の形態1に係るレコーダ11の動作について説明するためのフローチャートである。
レコーダ11は、電源が投入されると、例えば電源がオフされるまで、図6のフローチャートを用いて説明する動作を継続して行う。
レコーダ11は、ライブ映像処理を行う(ステップST601)。
具体的には、受信部111の映像受信部1111は、監視カメラ10が送信した(図5のステップST501参照)、当該監視カメラ10が撮影したライブ映像を受信する。映像受信部1111は、受信したライブ映像を、記録制御部112に出力する。また、受信部111の解析結果受信部1113は、監視カメラ10が送信した(図5のステップST501参照)、ライブ映像解析結果情報を受信する。解析結果受信部1113は、ライブ映像解析結果情報を、記録制御部112に出力する。
記録制御部112は、映像受信部1111が受信したライブ映像を、表示制御部115に出力する。また、記録制御部112は、解析結果受信部1113が受信したライブ映像解析結果情報を、表示制御部115に出力する。表示制御部115は、表示装置12に、解析結果受信部1113が受信したライブ映像解析結果情報を、表示させる。また、表示制御部115は、表示装置12に、映像受信部1111が受信したライブ映像を、表示させる。
受信部111のリソース情報受信部1112は、監視カメラ10が送信した(図5のステップST502参照)、リソース情報を受信する(ステップST602)。
リソース情報受信部1112は、受信したリソース情報を、記録制御部112に出力する。
記録制御部112は、ステップST602にてリソース情報受信部1112が受信したリソース情報を、リソース情報記録部114に記録する(ステップST603)。
受付部116が、記録映像解析処理の実行指示を受け付けなければ(ステップST604の“NO”の場合)、図6のフローチャートで示すレコーダ11の動作はステップST601に戻る。
受付部116が、記録映像解析処理の実行指示を受け付けると(ステップST604の“YES”の場合)、図6のフローチャートで示すレコーダ11の動作は、ステップST605に進む。
リソース判定部117は、受付部116が記録映像解析処理の実行指示を受け付けた場合(ステップST604の“YES”の場合)、リソース情報記録部114を参照して、記録映像解析処理を実行可能な監視カメラ10があるか否か判定する(ステップST605)。
リソース判定部117は、記録映像解析処理を実行可能な監視カメラ10があると判定した場合(ステップST605の“YES”の場合)、当該監視カメラ10を解析実行カメラに決定する。
リソース判定部117は、決定した、解析実行カメラに関する情報を、記録映像取得部118に出力する。
リソース判定部117が、記録映像解析処理を実行可能な監視カメラ10がないと判定した場合(ステップST605の“NO”の場合)、図6のフローチャートで示すレコーダ11の動作は、ステップST601に戻る。
記録映像取得部118は、ステップST605にて、リソース判定部117が記録映像解析処理を実行可能な監視カメラ10があると判定した場合、言い換えれば、リソース判定部117から解析実行カメラに関する情報が出力された場合、記録部113を参照して、ステップST604にて受付部116が受け付けた、記録映像解析処理の実行指示に基づく記録映像を、取得する(ステップST606)。
記録映像取得部118は、取得した記録映像を、送信部119に出力する。
送信部119は、記録映像取得部118が取得した記録映像を、ステップST605にてリソース判定部117が決定した解析実行カメラに送信する(ステップST607)。これにより、送信部119は、解析実行カメラに対して、記録映像解析処理を実行させる。解析実行カメラは、送信部119から送信された記録映像に対して、記録映像解析処理を行う(図5のステップST504参照)。
受信部111の解析結果受信部1113は、監視カメラ10から、記録映像解析結果情報を受信する(ステップST608)。
解析結果受信部1113は、受信した記録映像解析結果情報を、記録制御部112に出力する。
記録制御部112は、ステップST608にて解析結果受信部1113が受信した記録映像解析結果情報を、記録部113に記録する(ステップST609)とともに、表示制御部115に出力する。
表示制御部115は、表示装置12に、ステップST608にて解析結果受信部1113が受信した記録映像解析結果情報を、表示させる(ステップST610)。
図6のフローチャートでは、便宜上、ステップST601〜ステップST610の順番で動作が行われるものとしたが、ステップST601〜ステップST603の動作は、常時行われている。すなわち、例えば、受付部116が、記録映像解析処理の実行指示を受け付け(ステップST605参照)、送信部119が、記録映像取得部118が取得した記録映像を、監視カメラ10に送信し、監視カメラ10に記録映像解析処理を実行させている(ステップST604〜ステップST610参照)間も、ステップST601〜ステップST603の動作は並行して行われている。
このように、実施の形態1に係る監視システム1において、監視カメラ10は、レコーダ11に、リソース情報を送信する。レコーダ11は、記録映像解析処理の実行指示を受け付けると、監視カメラ10から送信されたリソース情報に基づき、記録映像解析処理を実行可能な監視カメラ10があるか否かを判定する。レコーダ11は、記録映像解析処理を実行可能な監視カメラ10があると判定した場合、当該監視カメラ10に、記録映像解析処理の実行指示に基づく記録映像を送信し、記録映像解析処理を行わせる。
レコーダ11が、空きリソースのある監視カメラ10に記録映像解析処理を行わせるようにしたため、監視システム1は、解析専用のサーバを設けることなく、記録映像の解析処理を行うことが可能となる。
以上のように、実施の形態1によれば、監視システム1において、レコーダ11は、監視カメラ10における、リソースの使用状況に関するリソース情報を受信するリソース情報受信部1112と、監視カメラ10が過去に撮像した記録映像に対する記録映像解析処理の実行指示を受け付ける受付部116と、受付部116が実行指示を受け付けた場合、リソース情報受信部1112が受信したリソース情報に基づき、記録映像解析処理を実行可能な監視カメラ10があるか否か判定するリソース判定部117と、受付部116が受け付けた、記録映像解析処理の実行指示に基づく記録映像を取得する記録映像取得部118と、記録映像取得部118が取得した記録映像を、記録映像解析処理を実行可能な監視カメラ10に送信し、当該記録映像解析処理を実行させる送信部119とを備えるように構成した。そのため、監視システムにおいて、解析専用のサーバを設けることなく、記録映像の解析処理を行うことが可能となる。
監視システム1において、監視カメラ10は、レコーダ11に対して、リソースの使用状況に関するリソース情報を送信するリソース情報送信部1061と、リソース情報送信部1061が送信したリソース使用情報に基づいてレコーダ11から送信された記録映像を受信する記録映像受信部1021と、記録映像受信部1021が受信した記録映像に対する記録映像解析処理を実行する記録映像解析部1042とを備えるように構成した。そのため、監視システムにおいて、解析専用のサーバを設けることなく、記録映像の解析処理を行うことが可能となる。
実施の形態2.
実施の形態1では、レコーダ11にて、記録映像解析処理を実行可能な監視カメラ10がないと判定すると、記録映像解析処理は行われないものとしていた。
実施の形態2では、レコーダ11aにて、記録映像解析処理を実行可能な監視カメラ10aがないと判定した場合に、監視カメラ10aにて記録映像解析処理を実行可能な空きリソースを確保させるようにした実施の形態について説明する。
実施の形態2に係る監視システム1aの構成例は、実施の形態1において図1を用いて説明した監視システム1の構成例と同様であるため、重複した説明を省略する。
実施の形態2では、監視カメラ10aとレコーダ11aとで監視システム1aを構成する。
図7は、実施の形態2に係る監視カメラ10aの構成例を示す図である。
図7において、実施の形態1にて図2を用いて説明した監視カメラ10の構成と同様の構成には、同じ符号を付して重複した説明を省略する。
実施の形態2に係る監視カメラ10aは、実施の形態1に係る監視カメラ10とは、受信部102aが、記録映像受信部1021の他に停止指示受信部1022を備える点が異なる。
また、実施の形態2に係る監視カメラ10aでは、ライブ映像解析部1041aの具体的な動作が、実施の形態1に係る監視カメラ10におけるライブ映像解析部1041の具体的な動作とは異なる。
停止指示受信部1022は、レコーダ11aから、ライブ映像解析処理を停止させるライブ映像解析停止指示を受信する。ライブ映像解析停止指示の詳細については、後述する。
停止指示受信部1022は、ライブ映像解析停止指示を受信すると、当該ライブ映像解析停止指示を受信した旨の情報を、映像解析部104aに出力する。
映像解析部104aのライブ映像解析部1041aは、停止指示受信部1022から、ライブ映像解析停止指示を受信した旨の情報が出力されると、ライブ映像解析処理を停止する。
なお、ライブ映像解析部1041aがライブ映像解析処理を停止した場合も、リソース情報送信部1061は、現在のリソース情報を、常時、レコーダ11aに送信するようにする。また、ライブ映像解析部1041aがライブ映像解析処理を停止した場合も、ライブ映像解析部1041aから、エンコード部105および映像送信部1063を介して、レコーダ11aに、ライブ映像は送信される。
図8は、実施の形態2に係るレコーダ11aの構成例を示す図である。
図8において、実施の形態1にて図3を用いて説明したレコーダ11の構成と同様の構成には、同じ符号を付して重複した説明を省略する。
実施の形態2に係るレコーダ11aは、実施の形態1に係るレコーダ11とは、送信部119aが、停止指示送信部1191を備える点が異なる。
また、実施の形態2に係るレコーダ11aでは、リソース判定部117aの具体的な動作が、実施の形態1に係るレコーダ11におけるリソース判定部117の具体的な動作とは異なる。
リソース判定部117aは、記録映像解析処理を実行可能な監視カメラ10aがあるか否か判定する。リソース判定部117aが記録映像解析処理を実行可能な監視カメラ10aがあるか否か判定する具体的な動作は、実施の形態1にて説明した、リソース判定部117が記録映像解析処理を実行可能な監視カメラ10があるか否か判定する具体的な動作と同様であるため、重複した説明を省略する。
リソース判定部117aは、記録映像解析処理を実行可能な監視カメラ10aはないと判定した場合、送信部119aの停止指示送信部1191に、ライブ映像解析停止指示を送信させるための情報(以下「停止指示要情報」という。)を出力する。このとき、リソース判定部117aは、停止指示要情報に、どの監視カメラ10aに対して、ライブ映像解析停止指示を送信するかを指定した情報を含める。リソース判定部117aが、ライブ映像解析停止指示の送信先に決定した監視カメラ10aを、「停止対象カメラ」ともいう。
リソース判定部117aは、監視カメラ10aが1つの監視カメラ10a−1である場合、監視カメラ10a−1を停止対象カメラに決定する。リソース判定部117aは、停止指示送信部1191に対して、停止対象カメラである監視カメラ10a−1にライブ映像解析停止指示を送信させるための停止指示要情報を、出力する。
リソース判定部117aは、監視カメラ10aが複数存在する場合、予め設定されたルールに従って、停止対象カメラを決定すればよい。例えば、リソース判定部117aは、リソースの空き容量が一番大きい監視カメラ10aを、停止対象カメラに決定する。
停止指示送信部1191は、リソース判定部117aから停止要情報が出力された場合、監視カメラ10aに、当該監視カメラ10aが撮像したライブ映像に対するライブ映像解析処理を停止させるライブ映像解析停止指示を送信する。なお、停止指示送信部1191がライブ映像解析停止指示を送信する対象となる監視カメラ10aは、リソース判定部117aが決定した停止対象カメラである。
停止指示送信部1191が停止対象カメラに対してライブ映像解析停止指示を送信すると、記録映像取得部118は、記録部113から記録映像を取得する。記録映像取得部118が記録映像を取得する具体的な処理は、実施の形態1において説明済であるため、重複した説明を省略する。このとき、記録映像取得部118は、リソース情報記録部114を参照し、停止対象カメラが、記録映像解析処理を実行可能となったか否かを判定する。言い換えれば、記録映像取得部118は、停止対象カメラにおいて、記録映像解析処理を実行できるだけの空きリソースが確保されたかを判定する。記録映像取得部118は、停止対象カメラが、記録映像解析処理を実行可能となってから、記録映像を取得する。
以上の説明では、リソース判定部117aは、記録映像解析処理を実行可能な監視カメラ10aがなければ停止指示要情報を出力するものとしたが、これは一例に過ぎない。リソース判定部117aは、記録映像解析処理を実行可能な監視カメラ10aがない場合、所定の条件を満たすか否かによって、停止指示要情報を出力するか否かを決定するようにしてもよい。具体的には、例えば、リソース判定部117aは、記録映像解析処理を実行可能な監視カメラ10aがない場合に、記録映像解析処理の優先度とライブ映像解析処理の優先度の、いずれの優先度の方が高いかによって、停止指示要情報を出力するか否かを決定してもよい。リソース判定部117aは、記録映像解析処理の優先度の方がライブ映像解析処理の優先度よりも高い場合に、停止対象カメラを決定し、停止指示送信部1191に対して、停止指示要情報を出力する。
監視システム1aにおいて、記録映像解析処理の優先度とライブ映像解析処理の優先度の、どちらの優先度の方が高いかは、予め、ユーザによって設定されているものとする。
リソース判定部117aが記録映像解析処理を実行可能な監視カメラ10aがないと判定した場合であって、かつ、記録映像解析処理の優先度がライブ映像解析処理の優先度よりも低い場合、リソース判定部117aは、停止指示要情報は出力しない。この場合、例えば、レコーダ11aは、ユーザから、監視カメラ10aのリソースが空くまで待つか否かの指示を受け付けるようにしてもよい。なお、リソースが空くまで待つか否かの対象となる監視カメラ10aは、リソース判定部117aが決定した停止対象カメラである。
具体的には、リソース判定部117aは、記録映像解析処理を実行可能な監視カメラ10aがないと判定した場合であって、かつ、記録映像解析処理の優先度がライブ映像解析処理の優先度よりも低い場合、表示制御部115に対して、待機指示受付画面を表示させる旨の情報を出力する。表示制御部115は、リソース判定部117aから、待機指示受付画面を表示させる旨の情報が出力されると、表示装置12に、待機指示受付画面を表示させる。ユーザは、入力装置13を操作して、待機指示受付画面から、停止対象カメラのリソースが空くまで待つか否かの指示を入力する。受付部116は、停止対象カメラのリソースが空くまで待つか否かの指示を受け付ける。受付部116は、停止対象カメラのリソースが空くまで待つ旨の指示を受け付けた場合、待機要情報を、記録映像取得部118に出力する。記録映像取得部118は、停止対象カメラが、記録映像解析処理を実行可能となってから、記録映像を取得する。
なお、実施の形態2に係るレコーダ11aにおいても、映像解析部110が記録映像解析処理を行うことができる。
例えば、レコーダ11aは、異なる内容の記録映像解析処理を行う場合、ある内容の記録映像解析処理をレコーダ11にて実行し、他の内容の記録映像解析処理を監視カメラ10に実行させることができる。このとき、記録映像解析処理を実行可能な監視カメラ10aがない場合、リソース判定部117aは、当該監視カメラ10aに、停止指示要情報を出力するようにしてもよい。
なお、レコーダ11aと解析映像撮影カメラとで記録映像解析処理を並行して実行する場合、例えば、レコーダ11aの制御部(図示省略)が、記録映像解析処理の実行指示に基づき、レコーダ11aにて実行する記録映像解析処理と、監視カメラ10aに実行させる記録映像解析処理を振り分ける。
実施の形態2に係る監視システム1aにおける監視カメラ10aおよびレコーダ11aの動作について説明する。以下の動作説明では、一例として、監視システム1aにおいて、レコーダ11aは、レコーダ11aにて記録映像解析処理は行わず、監視カメラ10aに記録映像解析処理を実行させるものとする。
まず、実施の形態2に係る監視カメラ10aの動作について説明する。
図9は、実施の形態2に係る監視カメラ10aの動作について説明するためのフローチャートである。
図9のステップST901〜ステップST902、ステップST905〜ステップST907の具体的な動作は、それぞれ、実施の形態1にて説明した、図5のステップST501〜ステップST502、ステップST503〜ステップST505の具体的な動作と同様であるため、重複した説明を省略する。
受信部102aの停止指示受信部1022は、レコーダ11aから、ライブ映像解析処理を停止させるライブ映像解析停止指示を受信したか否かを判定する(ステップST903)。
停止指示受信部1022がライブ映像解析停止指示を受信していない場合(ステップST903の“NO”の場合)、図9のフローチャートにて示す、監視カメラ10aの動作は、ステップST905に進む。
停止指示受信部1022は、ライブ映像解析停止指示を受信した場合(ステップST903の“YES”の場合)、ライブ映像解析停止指示を受信した旨の情報を、映像解析部104aに出力する。
ライブ映像解析部1041aは、ステップST903にて停止指示受信部1022から、ライブ映像解析停止指示を受信した旨の情報が出力されると、ライブ映像解析処理を停止する(ステップST904)。
次に、実施の形態2に係るレコーダ11aの動作について説明する。
図10は、実施の形態2に係るレコーダ11aの動作について説明するためのフローチャートである。
図10は、実施の形態2に係るレコーダ11aの動作について説明するためのフローチャートである。
図10のステップST1001〜ステップST1005、ステップST1010〜ステップST1014の具体的な動作は、それぞれ、実施の形態1にて説明した、図6のステップST601〜ステップST610の具体的な動作と同様であるため、重複した説明を省略する。
リソース判定部117aは、記録映像解析処理を実行可能な監視カメラ10aがないと判定した場合(ステップST1005の“NO”の場合)、記録映像解析処理の優先度とライブ映像解析処理の優先度の、いずれの優先度の方が高いかを判定する(ステップST1006)。リソース判定部117aは、記録映像解析処理の優先度の方が、ライブ映像解析処理の優先度よりも高い場合(ステップST1006の“YES”の場合)、停止対象カメラを決定し、停止指示送信部1191に対して、停止指示要情報を出力する。
停止指示送信部1191は、ステップST1006にてリソース判定部117aから停止指示要情報が出力された場合、監視カメラ10a、言い換えれば、停止対象カメラに、ライブ映像解析停止指示を送信する(ステップST1007)。そして、図10のフローチャートで示すレコーダ11aの動作は、ステップST1010へ進む。
リソース判定部117aは、ライブ映像解析処理の優先度の方が、記録映像解析処理の優先度よりも高い場合(ステップST1006の“NO”の場合)、表示制御部115に対して、待機指示受付画面を表示させる旨の情報を出力する。表示制御部115は、待機指示受付画面を表示させる。ユーザは、入力装置13を操作して、待機指示受付画面から、停止対象カメラのリソースが空くまで待つか否かの指示を入力する。
受付部116は、停止対象カメラのリソースが空くまで待つ旨の指示を受け付けたか否かを判定する(ステップST1008)。受付部116が、停止対象カメラのリソースが空くまで待つ旨の指示を受け付けた場合(ステップST1008の“YES”の場合)、待機要情報を、記録映像取得部118に出力する。
記録映像取得部118は、停止対象カメラのリソースが空くまで待機する(ステップST1009)。具体的には、記録映像取得部118は、停止対象カメラが、記録映像解析処理を実行可能となるまで待機する。
停止対象カメラが、記録映像解析処理を実行可能となると、図10のフローチャートで示すレコーダ11aの動作は、ステップST1010へ進む。
受付部116が、停止対象カメラのリソースが空くまで待つ旨の指示を受け付けない場合(ステップST1008の“NO”の場合)、図10のフローチャートで示すレコーダ11aの動作は、ステップST1001に戻る。
なお、図10のフローチャートを用いて説明した、レコーダ11aの動作について、図10のステップST1006、ステップST1008、および、ステップST1009の動作は必須ではない。
リソース判定部117aが、記録映像解析処理を実行可能な監視カメラ10aがないと判定すると(ステップST1005の“NO”の場合)、停止指示送信部1191が、停止対象カメラにライブ映像解析停止指示を送信する(ステップST1007)ようにしてもよい。
このように、実施の形態2に係る監視システム1aにおいて、監視カメラ10aは、レコーダに、リソース情報を送信する。レコーダ11aは、記録映像解析処理の実行指示を受け付けると、監視カメラ10aから送信されたリソース情報に基づき、記録映像解析処理を実行可能な監視カメラ10aがあるか否かを判定する。レコーダ11aは、記録映像解析処理を実行可能な監視カメラ10aがあると判定した場合、当該監視カメラ10aに、記録映像解析処理の実行指示に基づく記録映像を送信し、記録映像解析処理を行わせる。
レコーダ11aが、空きリソースのある監視カメラ10aに記録映像解析処理を行わせるようにしたため、監視システム1aは、解析専用のサーバを設けることなく、記録映像の解析処理を行うことが可能となる。
また、実施の形態2に係る監視システム1aにおいて、レコーダ11aは、監視カメラ10aに、記録映像解析処理を実行するだけの空きリソースがない場合、監視カメラ10aに、ライブ映像解析処理を停止させるライブ映像解析停止指示を送信するようにした。ライブ映像解析停止指示を受信した監視カメラ10aは、ライブ映像解析処理を停止する。レコーダ11aは、監視カメラ10aがライブ映像解析処理を停止したことによって空いたリソースを使用して、当該監視カメラ10aに、記録映像解析処理を行わせる。
これにより、監視システム1aにおいて、解析専用のサーバを設けなくても、限られたリソースを有効活用して、記録映像の解析処理を行うことが可能となる。
また、レコーダ11aは、監視カメラ10aに、記録映像解析処理を実行するだけの空きリソースがない場合、記録映像解析処理の優先度の方が、前記ライブ映像解析処理の優先度よりも高ければ、監視カメラ10aに、ライブ映像解析停止指示を送信するようにしてもよいものとした。
これにより、監視システム1aにおいて、優先されるライブ映像解析処理を停止してしまうことなく、限られたリソースを有効活用して、記録映像の解析処理を行うことが可能となる。
以上のように、実施の形態2によれば、監視システム1aにおいて、レコーダ11aは、実施の形態1に係るレコーダ11の構成と同様の構成に加え、リソース判定部117aが、記録映像解析処理を実行可能な監視カメラ10aはないと判定した場合、監視カメラ10aに、当該監視カメラ10aが撮像したライブ映像に対するライブ映像解析処理を停止させるライブ映像解析停止指示を送信する停止指示送信部1191を備えるように構成した。そのため、監視システム1aにおいて、解析専用のサーバを設けなくても、限られたリソースを有効活用して、記録映像の解析処理を行うことが可能となる。
また、レコーダ11aにおいて、停止指示送信部1191は、記録映像解析処理の優先度の方が、ライブ映像解析処理の優先度よりも高い場合に、ライブ映像解析停止指示を送信するように構成した。
そのため、監視システム1aにおいて、優先されるライブ映像解析処理を停止してしまうことなく、限られたリソースを有効活用して、記録映像の解析処理を行うことが可能となる。
なお、以上の実施の形態1,2において、レコーダ11,11aは、ネットワーク2のトラフィック状況に余裕がある場合は、高解像度の監視映像である記録映像を解析実行カメラに送信し、ネットワーク2のトラフィック状況に余裕がない場合は、低解像度の監視映像である記録映像を解析実行カメラに送信するようにしてもよい。この場合、レコーダ11,11aにおいて、記録制御部112は、映像受信部1111が監視カメラ10,10aから受信した高解像度のライブ映像、および、低解像度のライブ映像を、記録映像として、記録部113に記録する。
また、以上の実施の形態1,2において、レコーダ11,11aは、解析結果受信部1113が受信した記録映像解析結果情報を表示装置12に表示させることを必須としない。例えば、レコーダ11,11aは、解析結果受信部1113が受信した記録映像解析結果情報を、記録部113に記録させるようにしてもよい。
また、以上の実施の形態1,2において、監視カメラ10,10aは、ライブ映像解析処理を行わず、監視カメラ10の外部に設けられた装置にてライブ映像解析処理を行うようにしてもよい。この場合、例えば、撮影部101は、ライブ映像を、ライブ映像解析処理を行う装置に送信するようにし、リソース情報送信部1061は、ライブ映像解析処理を行う装置からリソース情報を取得するようにする。
また、実施の形態1,2において、レコーダ11,11aがリソース情報記録部114を備えることに加え、監視カメラ10,10aが、リソース情報記録部を備えるようにしてもよい。
また、以上の実施の形態1,2において、監視カメラ10,10aのライブ映像解析部1041,1041aは、ライブ映像から、低解像度のライブ映像と、高解像度のライブ映像とを生成するものとしたが、ライブ映像解析部1041,1041aは、低解像度のライブ映像および高解像度のライブ映像の生成を必須としない。ライブ映像解析部1041,1041aは、撮影部101から出力されたライブ映像をそのまま、デコード部103に出力するようにしてもよい。但し、ライブ映像解析部1041,1041aが、低解像度のライブ映像を生成するようにしておいたほうが、レコーダ11,11aから監視カメラ10,10aへ、記録映像解析処理を実行させるための記録映像を送信する際の通信トラフィックを削減することができる。
また、以上の実施の形態1,2において、リソース判定部117,117aは、記録映像解析処理を実行可能な監視カメラ10,10aが複数存在する場合、当該複数の監視カメラ10,10aから1つ、解析実行カメラを決定するものとしたが、これは一例に過ぎない。リソース判定部117,117aは、記録映像解析処理を実行可能な監視カメラ10,10aが複数存在する場合、当該複数の監視カメラ10,10aのうち、複数の監視カメラ10,10aを解析実行カメラに決定するようにしてもよい。例えば、リソース判定部117,117aは、受付部116が受け付けた記録映像解析処理の実行指示に基づき、記録映像解析処理を実行可能な監視カメラ10,10aが1つでは、記録映像解析処理を実行するためのリソースが足りないと判断した場合、複数の、記録映像解析処理を実行可能な監視カメラ10,10aを、解析実行カメラに決定することができる。
また、以上の実施の形態2では、リソース判定部117aは、停止対象カメラを1つ決定するものとしたが、これは一例に過ぎない。リソース判定部117aは、複数の監視カメラ10,10aを停止対象カメラに決定するようにしてもよい。
また、以上の実施の形態1,2では、撮影部101は、フレーム単位で、監視映像を出力するものとしたが、これは一例に過ぎない。撮影部101は、複数フレーム単位で、監視映像を出力するようにしてもよい。
また、以上の実施の形態1,2において、監視カメラ10,10aの映像解析部104,104a、または、レコーダ11aの映像解析部110は、機械学習済みのモデル(以下「機械学習済モデル」という。)に基づいて、映像解析処理を行うこともできる。この場合、レコーダ11,11aは、解析実行カメラに記録映像解析処理を実行させる際、記録映像取得部118が取得した記録映像とともに、機械学習済モデルを、解析実行カメラに出力するようにしてもよい。例えば、ある監視カメラ10,10aにおいて、人物検知の映像解析処理が実行できる状態にある、言い換えれば、監視カメラ10,10aに人物検知用の機械学習モデルが記憶されているとする。レコーダ11,11aは、上述の状態にある、ある監視カメラ10,10aに対して、人物検知とは異なる内容の記録映像解析処理を実行させるとする。例えば、レコーダ11,11aは、ある監視カメラ10,10aに対して、物体検知の記録映像解析処理を実行させるとする。この場合、レコーダ11,11aは、ある監視カメラ10,10aに対して、記録映像解析処理を行わせる記録映像とともに、物体検知用の機械学習済モデルを、出力する。物体検知用の機械学習済モデルは、レコーダ11,11aが記憶しているものとしてもよいし、物体検知用の機械学習済モデルはレコーダ11,11aの外部の装置に記憶されており、レコーダ11,11aが、外部の装置から物体検知用の機械学習済モデルを取得し、ある監視カメラ10,10aに出力するようにしてもよい。
また、以上の実施の形態1,2では、ライブ映像解析処理は監視カメラ10,10aが行うものしたが、記録映像解析処理同様、レコーダ11,11aがライブ映像解析処理を行うようにすることもできる。この場合、映像解析部110が、監視カメラ10,10aから送信されたライブ映像に対してライブ映像解析処理を行う。
図11A,図11Bは、実施の形態1,2に係る監視カメラ10,10aのハードウェア構成の一例を示す図である。
実施の形態1,2において、受信部102,102aと、デコード部103と、映像解析部104,104aと、エンコード部105と、送信部106の機能は、処理回路1101により実現される。すなわち、監視カメラ10,10aは、レコーダ11,11aから送信された記録映像に対して記録映像解析処理を行う処理回路1101を備える。
処理回路1101は、図11Aに示すように専用のハードウェアであっても、図11Bに示すようにメモリ1107に格納されるプログラムを実行するCPU(Central Processing Unit)1106であってもよい。
処理回路1101が専用のハードウェアである場合、処理回路1101は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
処理回路1101がCPU1106の場合、受信部102,102aと、デコード部103と、映像解析部104,104aと、エンコード部105と、送信部106の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、受信部102,102aと、デコード部103と、映像解析部104,104aと、エンコード部105と、送信部106は、HDD(Hard Disk Drive)1102、メモリ1107等に記憶されたプログラムを実行するCPU1106、システムLSI(Large−Scale Integration)等の処理回路により実現される。また、HDD1102、メモリ1107等に記憶されたプログラムは、受信部102,102aと、デコード部103と、映像解析部104,104aと、エンコード部105と、送信部106の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ1107とは、例えば、RAM、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
なお、受信部102,102aと、デコード部103と、映像解析部104,104aと、エンコード部105と、送信部106の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、受信部102,102aおよび送信部106については専用のハードウェアとしての処理回路1101でその機能を実現し、デコード部103と、映像解析部104と、エンコード部105については処理回路1101がメモリ1107に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、撮影部101は、撮像装置1105で構成される。
また、監視カメラ10,10aは、レコーダ11,11a等の装置と、有線通信または無線通信を行う入力インタフェース装置1103および出力インタフェース装置1104を備える。
図12A,図12Bは、実施の形態1,2に係るレコーダ11,11aのハードウェア構成の一例を示す図である。
実施の形態1,2において、受信部111と、記録制御部112と、表示制御部115と、受付部116と、リソース判定部117,117aと、記録映像取得部118と、送信部119,119aと、映像解析部110の機能は、処理回路1201により実現される。すなわち、レコーダ11,11aは、監視カメラ10,10aの空きリソースに応じて、監視カメラ10,10aに、記録映像に対する記録映像解析処理を実行させる制御を行う処理回路1201を備える。
処理回路1201は、図12Aに示すように専用のハードウェアであっても、図12Bに示すようにメモリ1206に格納されるプログラムを実行するCPU(Central Processing Unit)1205であってもよい。
処理回路1201が専用のハードウェアである場合、処理回路1201は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
処理回路1201がCPU1205の場合、受信部111と、記録制御部112と、表示制御部115と、受付部116と、リソース判定部117,117aと、記録映像取得部118と、送信部119,119aと、映像解析部110の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、受信部111と、記録制御部112と、表示制御部115と、受付部116と、リソース判定部117,117aと、記録映像取得部118と、送信部119,119aと、映像解析部110は、HDD(Hard Disk Drive)1202、メモリ1206等に記憶されたプログラムを実行するCPU1205、システムLSI(Large−Scale Integration)等の処理回路により実現される。また、HDD1202、メモリ1206等に記憶されたプログラムは、受信部111と、記録制御部112と、表示制御部115と、受付部116と、リソース判定部117,117aと、記録映像取得部118と、送信部119,119aと、映像解析部110の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ1206とは、例えば、RAM、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
なお、受信部111と、記録制御部112と、表示制御部115と、受付部116と、リソース判定部117,117aと、記録映像取得部118と、送信部119,119aと、映像解析部110の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、受信部111および送信部119,119aについては専用のハードウェアとしての処理回路1201でその機能を実現し、記録制御部112と、表示制御部115と、受付部116と、リソース判定部117,117aと、記録映像取得部118と、映像解析部110については処理回路1201がメモリ1206に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
記録部113とリソース情報記録部114は、HDD1202で構成される。なお、これは一例であって、記録部113とリソース情報記録部114は、メモリ1206、SSD(Solid State Drive)、または、DVD等によって構成されるものであってもよい。
また、レコーダ11,11aは、監視カメラ10,10a、表示装置12、または、入力装置13等の装置と、有線通信または無線通信を行う入力インタフェース装置1203および出力インタフェース装置1204を備える。
なお、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
1,1a 監視システム、2 ネットワーク、10,10a 監視カメラ、11,11a レコーダ、12 表示装置、13 入力装置、101 撮影部、102,111 受信部、1021 記録映像受信部、1022 停止指示受信部、103 デコード部、104a,110 映像解析部、1041,1041a ライブ映像解析部、1042 記録映像解析部、105 エンコード部、106,119,119a 送信部、1061 リソース情報送信部、1062 解析結果送信部、1063 映像送信部、1111 映像受信部、1112 リソース情報受信部、1113 解析結果受信部、112 記録制御部、113 記録部、114 リソース情報記録部、115 表示制御部、116 受付部、117,117a リソース判定部、118 記録映像取得部、1101,1201 処理回路、1102,1202 HDD、1103,1203 入力インタフェース装置、1104,1204 出力インタフェース装置、1105 撮像装置、1106,1205 CPU、1107,1206 メモリ。

Claims (9)

  1. 監視カメラにおける、リソースの使用状況に関するリソース情報を受信するリソース情報受信部と、
    前記監視カメラが過去に撮像した記録映像に対する記録映像解析処理の実行指示を受け付ける受付部と、
    前記受付部が前記実行指示を受け付けた場合、前記リソース情報受信部が受信したリソース情報に基づき、前記記録映像解析処理を実行可能な前記監視カメラがあるか否か判定するリソース判定部と、前記受付部が受け付けた実行指示に基づく前記記録映像を取得する記録映像取得部と、
    前記記録映像取得部が取得した記録映像を、前記記録映像解析処理を実行可能な前記監視カメラに送信し、当該記録映像解析処理を実行させる送信部
    とを備えたレコーダ。
  2. 前記リソース判定部が、前記記録映像解析処理を実行可能な前記監視カメラはないと判定した場合、前記監視カメラに、当該監視カメラが撮像したライブ映像に対するライブ映像解析処理を停止させるライブ映像解析停止指示を送信する停止指示送信部を備えた
    ことを特徴とする請求項1記載のレコーダ。
  3. 前記停止指示送信部は、
    前記記録映像解析処理の優先度の方が、前記ライブ映像解析処理の優先度よりも高い場合に、前記ライブ映像解析停止指示を送信する
    ことを特徴とする請求項2記載のレコーダ。
  4. 前記監視カメラから、前記送信部が送信した記録映像に対する前記記録映像解析処理を行った結果に関する記録映像解析結果情報を受信する解析結果受信部と、
    前記解析結果受信部が受信した記録映像解析結果情報を表示させる表示制御部
    とを備えた請求項1から請求項3のうちのいずれか1項記載のレコーダ。
  5. レコーダに対して、リソースの使用状況に関するリソース情報を送信するリソース情報送信部と、
    前記リソース情報送信部が送信したリソース使用情報に基づいて前記レコーダから送信された記録映像を受信する記録映像受信部と、
    前記記録映像受信部が受信した記録映像に対する記録映像解析処理を実行する記録映像解析部
    とを備えた監視カメラ。
  6. 前記レコーダに、前記記録映像解析部が行った前記記録映像解析処理の結果に関する記録映像解析結果情報を送信する解析結果送信部
    を備えた請求項5記載の監視カメラ。
  7. 監視エリアを撮像する撮影部と、
    前記撮影部が前記監視エリアを撮像したライブ映像に対するライブ映像解析処理を行うライブ映像解析部と、
    前記レコーダから、前記ライブ映像解析処理を停止させるライブ映像解析停止指示を受信する停止指示受信部とを備え、
    前記ライブ映像解析部は、前記停止指示受信部が前記ライブ映像解析停止指示を受信すると、前記ライブ映像解析処理を停止する
    ことを特徴とする請求項5または請求項6記載の監視カメラ。
  8. 請求項1から請求項4のうちのいずれか1項記載のレコーダと、
    請求項5から請求項7記載の監視カメラ
    とを備えた監視システム。
  9. コンピュータを、
    監視カメラにおける、リソースの使用状況に関するリソース情報を受信するリソース情報受信部と、
    前記監視カメラが過去に撮像した記録映像に対する記録映像解析処理の実行指示を受け付ける受付部と、
    前記受付部が前記実行指示を受け付けた場合、前記リソース情報受信部が受信したリソース情報に基づき、前記記録映像解析処理を実行可能な前記監視カメラがあるか否か判定するリソース判定部と、前記受付部が受け付けた実行指示に基づく前記記録映像を取得する記録映像取得部と、
    前記記録映像取得部が取得した記録映像を、前記記録映像解析処理を実行可能な前記監視カメラに送信し、当該記録映像解析処理を実行させる送信部
    として機能させるための映像解析プログラム。
JP2020000781A 2020-01-07 2020-01-07 レコーダ、監視カメラ、監視システム、および、映像解析プログラム Active JP7430063B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020000781A JP7430063B2 (ja) 2020-01-07 2020-01-07 レコーダ、監視カメラ、監視システム、および、映像解析プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020000781A JP7430063B2 (ja) 2020-01-07 2020-01-07 レコーダ、監視カメラ、監視システム、および、映像解析プログラム

Publications (2)

Publication Number Publication Date
JP2021111820A true JP2021111820A (ja) 2021-08-02
JP7430063B2 JP7430063B2 (ja) 2024-02-09

Family

ID=77060272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020000781A Active JP7430063B2 (ja) 2020-01-07 2020-01-07 レコーダ、監視カメラ、監視システム、および、映像解析プログラム

Country Status (1)

Country Link
JP (1) JP7430063B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018205900A (ja) * 2017-05-31 2018-12-27 パナソニックIpマネジメント株式会社 監視システム及び監視方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018205900A (ja) * 2017-05-31 2018-12-27 パナソニックIpマネジメント株式会社 監視システム及び監視方法

Also Published As

Publication number Publication date
JP7430063B2 (ja) 2024-02-09

Similar Documents

Publication Publication Date Title
US10951833B2 (en) Method and device for switching between cameras, and terminal
US20100272364A1 (en) Image editing system and method
KR20150090223A (ko) 비디오 재생 방법, 단말 및 시스템
US9967473B2 (en) Information processing apparatus, information processing method, and program
US9756278B2 (en) Image processing system and image capturing apparatus
US11496671B2 (en) Surveillance video streams with embedded object data
JP2021168134A (ja) 情報処理装置、情報処理方法および情報処理システム
US11170520B2 (en) Image processing apparatus for analyzing an image to detect an object within the image
US20200045242A1 (en) Display control device, display control method, and program
US20160112656A1 (en) Thermal imaging device, analyzing device, thermal image photographing method, and analyzing method
JP6602080B2 (ja) 撮影システム及びその制御方法、コンピュータプログラム
JP2009200757A (ja) 映像データ処理装置、プログラム及び方法
JP2021111820A (ja) レコーダ、監視カメラ、監視システム、および、映像解析プログラム
CN104639892A (zh) 视频记录系统以及用于处理主系统中的图像的方法和设备
JP2012533922A (ja) 映像処理方法及び装置
JP7182893B2 (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
US10440218B2 (en) Image processing apparatus, control method for image processing apparatus, and non-transitory computer-readable recording medium
JP2016212500A (ja) 撮影方向変動検出装置および撮影方向変動検出方法
JP6358165B2 (ja) 動画編集再生装置および動画編集再生プログラム
JP6662223B2 (ja) 映像記録再生装置
WO2023210334A1 (ja) 画像処理装置、撮像装置及びそれらの制御方法
US11283938B2 (en) Communication apparatus communicating with another communication apparatus based on performance, control method, and storage medium
US11843847B2 (en) Device, information processing apparatus, control method therefor, and computer-readable storage medium
KR20080022837A (ko) 디지털 비디오 레코더에서의 카메라 영상 기록 방법
KR101809404B1 (ko) 비디오 스트리밍 시스템에서 애플케이션 요구 기반 영상 품질 설정 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220817

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230728

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240130

R150 Certificate of patent or registration of utility model

Ref document number: 7430063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150