JP2019176397A - Operation management apparatus, operation management system, operation management method, and program - Google Patents
Operation management apparatus, operation management system, operation management method, and program Download PDFInfo
- Publication number
- JP2019176397A JP2019176397A JP2018064661A JP2018064661A JP2019176397A JP 2019176397 A JP2019176397 A JP 2019176397A JP 2018064661 A JP2018064661 A JP 2018064661A JP 2018064661 A JP2018064661 A JP 2018064661A JP 2019176397 A JP2019176397 A JP 2019176397A
- Authority
- JP
- Japan
- Prior art keywords
- target device
- notification
- work target
- operation management
- setting information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は、運用管理装置、運用管理システム、運用管理方法、プログラムに関する。 The present invention relates to an operation management apparatus, an operation management system, an operation management method, and a program.
映像分析技術が着実に進化してきており、様々な場所で映像を使った分析が可能となってきていることを受け、映像分析ニーズが高まっている。典型的な例としては、駅などで様々な人物が往来している中、特定の個人(例えば要人や指名手配犯)やその個人の年齢及び性別を映像から自動検知し、セキュリティ向上や、テロ防止、優良顧客へのサービス向上対応、リテール購買分析などに利用する例がある。 Video analysis technology has been steadily evolving and the need for video analysis is increasing due to the fact that video analysis can be performed in various places. As a typical example, while various people come and go at a station etc., a specific individual (for example, a key person or a wanted criminal) and the age and gender of the individual are automatically detected from the video to improve security, There are examples of using it for terrorism prevention, service improvement response to excellent customers, and retail purchasing analysis.
こういった状況下で、映像分析システムの特にカメラの設置や設定内容が重要となっている。しかしながら、これらの設置や設定作業は難しいことが多い。一般的には、作業員が設定マニュアルを見て、目標との間で最適な設定(距離、角度、明度)になるまで設置場所や設定を変更しながらその都度映像を確認する作業を繰り返し行う。 Under these circumstances, the camera installation and setting contents of the video analysis system are particularly important. However, these installation and setting operations are often difficult. In general, the operator repeats the work of checking the video each time while viewing the setting manual and changing the installation location and setting until the optimal setting (distance, angle, brightness) with the target is reached. .
特許文献1には、監視カメラの撮像方向が変わっても、基準ラインおよび特徴点の輝度の変化量差分から、短時間のうちに監視カメラの撮像位置が変わったことを検知して監視者に異常を知らせる監視カメラシステムが記載されている。 In Patent Document 1, even if the imaging direction of the monitoring camera changes, it is detected from the difference in luminance change between the reference line and the feature point that the imaging position of the monitoring camera has changed in a short period of time. A surveillance camera system for reporting an abnormality is described.
しかしながら、映像を撮像する作業対象機器の設置や設定作業は、設置場所や設定を変更する度に、写りを確認したり、その写りをシステムにかけて分析精度が本当にでるかどうかを確認する必要がある場合が多く、正確に設置や設定ができているかの判別に時間がかかる。 However, the installation and setting work of the target device that captures images must be checked every time the installation location or setting is changed, or the shot must be applied to the system to check whether the analysis accuracy is really true. In many cases, it takes time to determine whether the installation and setting have been performed correctly.
そこでこの発明は、上述の課題を解決する運用管理装置、運用管理システム、運用管理方法、プログラムを提供することを目的としている。 Therefore, an object of the present invention is to provide an operation management apparatus, an operation management system, an operation management method, and a program that solve the above-described problems.
本発明の第1の態様によれば、運用管理装置は、映像を撮像する作業対象機器における前記映像に関する最適設定情報を記憶する設定情報記憶部と、前記作業対象機器が撮像した映像から得られる設定情報と前記最適設定情報との乖離差を判定する差分判定部と、前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定部と、を備えることを特徴とする。 According to the first aspect of the present invention, the operation management apparatus is obtained from the setting information storage unit that stores the optimum setting information related to the video in the work target device that captures the video, and the video captured by the work target device. A difference determination unit that determines a difference between setting information and the optimum setting information, and a notification method determination unit that determines a notification mode in a notification unit that notifies the degree of fitness of setting in the work target device according to the difference. And.
本発明の第2の態様によれば、映像を撮像する作業対象機器と運用管理装置とを備えた運用管理システムは、前記運用管理装置が、前記作業対象機器における前記映像に関する最適設定情報を記憶する設定情報記憶部と、前記作業対象機器が撮像した映像から得られる設定情報と前記最適設定情報との乖離差を判定する差分判定部と、前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定部と、を備え、前記作業対象機器が、決定された前記通知態様で前記通知手段により設定の適合度を通知する通知部と、を備えることを特徴とする。 According to the second aspect of the present invention, in an operation management system including a work target device that captures a video and an operation management device, the operation management device stores optimum setting information related to the video in the work target device. A setting information storage unit, a difference determination unit that determines a difference between the setting information obtained from the video captured by the work target device and the optimum setting information, and a setting in the work target device according to the difference A notification method determining unit that determines a notification mode in a notification unit that notifies the degree of fitness of the notification unit, and a notification unit that notifies the fitness of setting by the notification unit in the determined notification mode by the work target device; It is characterized by providing.
本発明の第3の態様によれば、運用管理方法は、映像を撮像する作業対象機器における前記映像に関する最適設定情報と、前記作業対象機器が撮像した映像から得られる設定情報との乖離差を判定し、前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定することを特徴とする。 According to the third aspect of the present invention, the operation management method calculates a divergence difference between the optimal setting information related to the video in the work target device that captures the video and the setting information obtained from the video captured by the work target device. It is determined, and according to the deviation difference, a notification mode in a notification unit for notifying a fitness of setting in the work target device is determined.
本発明の第4の態様によれば、プログラムは、運用管理装置のコンピュータを、映像を撮像する作業対象機器における前記映像に関する最適設定情報と前記作業対象機器が撮像した映像から得られる設定情報との乖離差を判定する差分判定手段、前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定手段、として機能させることを特徴とする。 According to the fourth aspect of the present invention, the program causes the computer of the operation management apparatus to perform optimum setting information related to the video in the work target device that captures the video, and setting information obtained from the video captured by the work target device; A difference determination unit that determines a difference between the notifications, and a notification method determination unit that determines a notification mode in a notification unit that notifies the degree of fitness of setting in the work target device according to the difference. .
本発明によれば、映像を撮像する作業対象機器を正確に設置や設定ができているかの判別を容易にすることができる。 According to the present invention, it is possible to easily determine whether a work target device that captures an image has been accurately installed or set.
以下、本発明について図面を参照して説明する。 The present invention will be described below with reference to the drawings.
(第1の実施形態)
まず、第1の実施形態について説明する。
図1は、本実施形態による運用管理システムを示す図である。
本図に示すように運用管理システム100は、運用管理装置1と、作業対象機器2と、情報入力端末3とを含んで構成される。作業対象機器2及び情報入力端末3と運用管理装置1とは無線通信ネットワークや有線通信ネットワークを介して接続される。また、運用管理装置1は、インターネット網等の外部のネットワークに通信接続する。
(First embodiment)
First, the first embodiment will be described.
FIG. 1 is a diagram illustrating an operation management system according to the present embodiment.
As shown in the figure, the
運用管理装置1は、作業対象機器2の運用を管理するコンピュータである。作業対象機器2は、映像を撮像する監視カメラ等である。情報入力端末3は、例えばノート型のパーソナルコンピュータやタブレット端末やスマートフォン等の携帯可能な端末装置である。映像認識目標Tは作業対象機器2の撮像に関する設定値を測定するための目標物体であり、作業対象機器2の通常使用時の主撮像ポイントに設置作業時に設置される。
The operation management apparatus 1 is a computer that manages the operation of the
図2は、本実施形態による運用管理装置のハードウェア構成図である。
この図が示すように運用管理装置1はCPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、データベース14、通信モジュール15等の各ハードウェアを備えたコンピュータである。
FIG. 2 is a hardware configuration diagram of the operation management apparatus according to the present embodiment.
As shown in FIG. 1, the operation management apparatus 1 is a computer having hardware such as a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a
図3は、本実施形態による運用管理装置の機能ブロック図である。
運用管理装置1は電源が投入されると起動し、予め記憶する運用管理プログラムを実行する。これにより運用管理装置1には、制御部101、通信部102、設定情報記憶部103、通知パターン記憶部104、入力情報受信部105、作業対象機器情報受信部106、映像認識部107、差分判定部108、通知方法決定部109、を少なくとも備える。
FIG. 3 is a functional block diagram of the operation management apparatus according to the present embodiment.
The operation management apparatus 1 is activated when the power is turned on, and executes an operation management program stored in advance. Accordingly, the operation management apparatus 1 includes a
制御部101は他の機能部を制御する。また、制御部101は、通知方法決定部109が決定した通知方法により設定の適合度を通知させる制御信号を通信部102から作業対象機器2に送信する。
The
通信部102は、作業対象機器2又は情報入力端末3と通信接続する。また、通信部102は、インターネット網等の外部のネットワークに通信接続する。
The
設定情報記憶部103は、運用管理システム100に接続された作業対象機器2の一覧と、各作業対象機器2における映像に関する最適な設定を示す最適設定情報とを記憶するデータベースである。最適設定情報は、映像認識目標Tに対する撮像方向(角度)や映像認識目標Tまでの距離や映像認識目標Tの明度等を含む。
The setting
通知パターン記憶部104は、各作業対象機器2における通知パターンを記憶するデータベースである。通知パターンは、通知手段と、最適設定情報と作業対象機器2の現在の設定情報との乖離差に応じた通知態様とを含む。通知手段は、例えば光を発する発光や音声を出力する発音等を行う。通知態様は、各通知手段による通知の態様である。例えば、通知手段が発光であれば、通知態様は乖離差が大きいほど発光する間隔を短く或いは長くする等が考えられる。なお、通知態様はこれに限らず、乖離差に応じて発光する色を変える等、他の態様であってもよい。また、通知手段が発音であれば、通知態様は乖離差が大きいほど発音する間隔を短く或いは長くする等が考えられる。なお、通知態様はこれに限らず、乖離差に応じて発音の大きさを変えたり、発音する内容を変える等、他の態様であってもよい。
The notification
入力情報受信部105は、通信部102を介して情報入力端末3から作業対象機器2の最適設定情報及び通知パターンを受信する。また、入力情報受信部105は、受信した最適設定情報を設定情報記憶部103に格納可能な形に変換して書き込む。また、入力情報受信部105は、受信した通知パターンを通知パターン記憶部104に格納可能な形に変換して書き込む。
The input
作業対象機器情報受信部106は、通信部102を介して作業対象機器2から映像認識目標Tを撮像した映像データと作業対象機器2の現在の設定値を示す機器設定情報とを受信する。映像データは、撮像した映像を示す動画像データとその音声を示す音声データとを含む。また、作業対象機器情報受信部106は、受信した映像データを映像認識部107に出力する。また、作業対象機器情報受信部106は、受信した機器設定情報を差分判定部108に出力する。
The work target device
映像認識部107は、入力された映像データを解析して、映像認識目標Tとの距離、映像認識目標Tに対する撮像方向(角度)及び映像認識目標Tの明度を判定し、判定した解析情報(設定情報)を差分判定部108に出力する。具体的には、映像認識部107は、映像認識目標Tのフレームに占める割合に基づいて映像認識目標Tまでの距離を算出する。また、映像認識部107は、映像認識目標Tの正面からの上下角度差に基づいて映像認識目標Tに対する撮像方向を判定する。また、映像認識部107は、映像認識目標Tの明度を数値化する。そして、映像認識部107は、映像認識目標Tまでの距離と、映像認識目標Tに対する撮像方向及び映像認識目標Tの明度を含む解析情報を生成する。
The
差分判定部108は、設定情報記憶部103から作業対象機器2の最適設定情報を読み出し、読み出した最適設定情報と入力された機器設定情報及び解析情報とを比較してその乖離差を判定する。また、差分判定部108は、判定した乖離差を通知方法決定部109に出力する。
The
通知方法決定部109は、差分判定部108から入力された乖離差に応じて、作業対象機器2において設定の適合度を通知する方法を決定する。具体的には、通知パターン記憶部104から作業対象機器2の通知パターンを読み出し、読み出した通知パターンが示す通知手段で、差分判定部108から入力された乖離差に対応する通知態様により通知すると決定する。通知方法決定部109は、決定した通知方法を制御部101に出力する。
The notification
図4は、本実施形態による作業対象機器のハードウェア構成図である。
作業対象機器2は、カメラ21、通信装置22、記憶装置23、制御装置24、ランプ25、スピーカ26、入力装置27、マイク28などを含んで構成される。カメラ21は、映像を撮像して動画像や静止画像を生成する。通信装置22は、運用管理装置1と通信接続する。記憶装置23は、動画像、静止画像や作業対象機器2の機器設定情報等を記憶する。制御装置24は、作業対象機器2の各機能を制御する。ランプ25は、例えばLED(Light Emitting Diode)等であり、発光する。スピーカ26は、音声を出力する。入力装置27は、操作ボタン等であり、入力を受け付ける。マイク28は、音声を入力する。なお作業対象機器2の制御装置24は、CPU、ROM、RAM等を備えたコンピュータである。
FIG. 4 is a hardware configuration diagram of the work target device according to the present embodiment.
The
図5は、本実施形態による作業対象機器に備わる制御装置の機能ブロック図である。
作業対象機器2に備わる制御装置24は作業対象機器2が起動すると制御プログラムを実行する。これにより制御装置24には、情報送信部241、通知部242の各機能部が備わる。情報送信部241は、カメラ21が映像認識目標Tを撮像した映像データ及び機器設定情報を運用管理装置1に送信する。通知部242は、運用管理装置1から受信した制御信号が示す通知方法により、設定状態の適合度を通知する。つまり、通知部242は、運用管理装置1が決定した通知態様で通知手段により設定状態の適合度を通知する。例えば、通知部242は、通知手段が発光であれば、乖離差に応じた明滅間隔でランプ25を点灯(発光)させる。また、通知部242は、通知手段が発音であれば、乖離差に応じた発音間隔でスピーカ26に音声を出力させる。
FIG. 5 is a functional block diagram of a control device provided in the work target device according to the present embodiment.
The
図6は、本実施形態による情報入力端末のハードウェア構成図である。
この図が示すように情報入力端末3はCPU31、ROM32、RAM33、データベース34、通信モジュール35、入力装置36、表示装置37等の各ハードウェアを備えたコンピュータである。入力装置36は、マウス、タッチパネル、キーボード等であり、これらを複数または全て備えていてもよい。表示装置37は、有機EL(Electro-Luminescence)ディスプレイや液晶ディスプレイ等である。
FIG. 6 is a hardware configuration diagram of the information input terminal according to the present embodiment.
As shown in this figure, the
図7は、本実施形態による情報入力端末の機能ブロック図である。
情報入力端末3は電源が投入されると起動し、予め記憶する制御プログラムを実行する。これにより情報入力端末3には、制御部301、記憶部302、入力部303、情報送信部304、を少なくとも備える。
FIG. 7 is a functional block diagram of the information input terminal according to the present embodiment.
The
制御部301は、他の機能部を制御する。記憶部302は、作業対象機器2の最適設定情報や通知パターン等の種々の情報を記憶する。入力部303は、作業対象機器2の最適設定情報や通知パターン等の入力を受け付ける。情報送信部304は、作業対象機器2の最適設定情報及び通知パターンを運用管理装置1に送信する。
The
図8は、本実施形態による運用管理装置の処理フローを示す図である。
次に運用管理システム100の処理フローについて順を追って説明する。
作業対象機器2を設置及び設定する作業員が、作業を行う前の段階で情報入力端末3に作業対象機器2の最適設定情報及び通知パターンを入力する。情報入力端末3は、入力された最適設定情報及び通知パターンを運用管理装置1に送信する。
FIG. 8 is a diagram showing a processing flow of the operation management apparatus according to the present embodiment.
Next, the processing flow of the
The worker who installs and sets the
運用管理装置1の入力情報受信部105が、情報入力端末3から作業対象機器2の最適設定情報及び通知パターンを受信する(ステップS101)。入力情報受信部105は、受信した最適設定情報を設定情報記憶部103に書き込んで記憶し、受信した通知パターンを通知パターン記憶部104に書き込んで記憶する(ステップS102)。これにより、最適設定情報が設定情報記憶部103に格納され、通知パターンが通知パターン記憶部104に格納される。
The input
次に、作業員は、作業対象機器2を運用管理装置1に接続させて、機器設定情報と映像データを運用管理装置1に送信できる状態にする。その後、作業員は、本番での主撮像対象が通過するポイントに映像認識目標Tを設置する。そして、作業員は、作業対象機器2に対して設定作業を開始する。作業対象機器2の情報送信部241は、映像認識目標Tを撮像した映像データと機器設定情報とを運用管理装置1に送信する。
Next, the worker connects the
運用管理装置1の作業対象機器情報受信部106は、作業対象機器2から映像データ及び機器設定情報を受信したか否かを判定する(ステップS103)。作業対象機器情報受信部106は、映像データ及び機器設定情報を受信していない場合には、ステップS103の処理を再度実行する。また、作業対象機器情報受信部106は、映像データ及び機器設定情報を受信した場合には、受信した映像データを映像認識部107に出力し、受信した機器設定情報を差分判定部108に出力する。
The work target device
映像認識部107は、入力された映像データを解析して解析情報を生成する(ステップS104)。そして、映像認識部107は、生成した解析情報を差分判定部108に出力する。
The
差分判定部108は、入力された解析情報及び機器設定情報と、設定情報記憶部103が記憶する当該作業対象機器2の最適設定情報とを比較してその乖離差を算出する(ステップS105)。具体的には差分判定部108は、解析情報が示す画像の明度と、最適設定情報が示す画像との明度を比較し、その明度差を乖離差として算出してよい。また差分判定部108は、機器設定情報が示す設置角度と、最適設定情報が示す設置角度とを比較し、その角度差を乖離差として算出してよい。差分判定部108その他の解析情報及び機器設定情報と、最適設定情報との乖離差を算出してもよい。差分判定部108は、算出した乖離差を通知方法決定部109に出力する。
The
通知方法決定部109は、通知パターン記憶部104が記憶する通知パターンに基づいて、入力された乖離差に応じた通知方法を決定する(ステップS106)。通知方法決定部109は、決定した通知方法を制御部101に出力する。
The notification
制御部101は、入力された通知方法により設定の適合度を通知させる制御信号を通信部102から作業対象機器2に送信する(ステップS107)。
The
作業対象機器2の通知部242は、運用管理装置1から制御信号を受信し、制御信号が示す通知方法により設定の適合度を通知する。例えば、通知部242は、通知手段が発光である場合には、乖離差に応じた間隔でランプ25を明滅させる。これにより作業者はその明滅間隔により作業対象機器2のカメラ21の撮像方向、映像認識目標Tまでの距離、カメラ21の明度等がどのぐらい適合しているのかを容易に判別することができる。
The
上述したとおり、本実施形態における運用管理システム100は、運用管理装置1と作業対象機器2とを備える。運用管理装置1は、映像を撮像する作業対象機器2における映像に関する最適設定情報を記憶する設定情報記憶部103と、設定情報を得るための目標物体を撮像した映像を作業対象機器2から受信する作業対象機器情報受信部106と、作業対象機器2が撮像した映像から得られる設定情報と最適設定情報との乖離差を判定する差分判定部108と、乖離差に応じて、作業対象機器2において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定部109と、を備える。作業対象機器2は、決定された通知態様により通知手段で設定の適合度を通知する通知部242と、を備える。最適設定情報は、目標物体までの距離、目標物体に対する角度、又は目標物体の明度のうち少なくともいずれか1を含む。
As described above, the
このような構成により、作業対象機器2は、現在の設定と最適な設定との乖離差に応じた通知態様により設定の適合度を通知する。例えば、作業対象機器2は、乖離差に応じた明滅間隔によりランプ25を発光させる。或いは、作業対象機器2は、剥離差に応じた発音間隔によりスピーカ26を発音させる。これにより、作業者は、その明滅間隔又は発音間隔により現在の設定(カメラ21の撮像方向、カメラ21の明度、カメラ21から目標物体までの距離)が作業対象機器2に適したものかどうかを容易に判断可能となる。よって、作業者は作業対象機器2の設置及び設定作業を効率良く行うことができる。
With such a configuration, the
(第2の実施形態)
次に、第2の実施形態について説明する。
以下、第1の実施形態と同様の構成には同じ符号を付してその説明を省略する。
(Second Embodiment)
Next, a second embodiment will be described.
Hereinafter, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
作業対象機器2は屋内又は屋外に関わらず分析を行いたい場所に綿密に設置されているため、設置場所によってはその場所固有の外部環境の影響を受けて、発光が見え難い場合や発音が聞き難い場合がある。このため、外部環境によっては設定の適合度の通知を作業員が認知し難い場合がある。よって、本実施形態では、作業対象機器2が設置された場所の周囲(外部)の環境を示す外部環境条件に応じて設定の適合度を通知する通知態様を決定する点が第1の実施形態と異なる。
Since the
図9は、本実施形態による運用管理システムを示す図である。
本図に示すように運用管理システム100Aは、第1の実施形態における運用管理システム100の構成に対し、運用管理装置1に代えて運用管理装置1Aを備える。運用管理装置1Aは、作業対象機器2の運用を管理するコンピュータである。運用管理装置1Aのハードウェア構成は、第1の実施形態における運用管理装置1と同様であるためその説明を省略する。
FIG. 9 is a diagram showing the operation management system according to the present embodiment.
As shown in the figure, the
図10は、本実施形態による運用管理装置の機能ブロック図である。
運用管理装置1Aは、第1の実施形態における運用管理装置1の機能に加えて、外部環境認識部110を備える。
FIG. 10 is a functional block diagram of the operation management apparatus according to the present embodiment.
1 A of operation management apparatuses are provided with the external
外部環境認識部110は、作業対象機器情報受信部106が受信した映像データを解析し、作業対象機器2の設置場所における外部環境条件を判定し、判定した外部環境条件を通知方法決定部109に出力する。外部環境条件は、例えば天候や気温や環境ノイズの音量等である。環境ノイズとは、周囲の雑音である。また、外部環境認識部110は、インターネットを介して作業対象機器2が設置された場所の天候や気温を取得してもよい。この場合には、情報入力端末3は、作業対象機器2の設置場所を最適設定情報とともに運用管理装置1Aに送信してもよい。
The external
通知方法決定部109は、作業対象機器2において設定の適合度を通知する方法を決定する。具体的には、通知パターン記憶部104から作業対象機器2の通知パターンを読み出し、読み出した通知パターンが示す通知手段で、差分判定部108から入力された乖離差及び外部環境認識部110から入力された外部環境条件に応じた通知態様により通知すると決定する。例えば、通知方法決定部109は、通知手段が発光である場合には、外部環境条件に応じて発光する色を変更したり、複数の色を連続で発光する等、明滅間隔を視認し易い通知態様にする。具体的には、通知方法決定部109は、天候が快晴で日照の影響を受ける外部環境条件の場合や、天候が豪雨や吹雪等の外部環境条件の場合には、それぞれの環境下で視認し易い色に変更する。また、通知方法決定部109は、通知手段が発音である場合には、環境ノイズの音量が大きくて音が聞こえ難い外部環境条件のときには、発生する音声の音量を作業員が十分に聞き取れる大きさに変更する等、発音間隔が聞こえ易い通知態様にする。
The notification
図11は、本実施形態による運用管理装置の処理フローを示す図である。
次に運用管理システム100Aの処理フローについて順を追って説明する。
ステップS201〜ステップS205までの処理は、第1の実施形態におけるステップS101〜ステップS105までの処理と同様であるため、説明を省略する。
FIG. 11 is a diagram illustrating a processing flow of the operation management apparatus according to the present embodiment.
Next, the processing flow of the
Since the processing from step S201 to step S205 is the same as the processing from step S101 to step S105 in the first embodiment, a description thereof will be omitted.
外部環境認識部110は、作業対象機器情報受信部106が受信した映像データを解析し、作業対象機器2の外部環境条件を判定する(ステップS206)。或いは、外部環境認識部110は、インターネットを介して作業対象機器2が設置された場所の天候や気温等の情報を取得し、取得した情報に基づいて作業対象機器2の外部環境条件を判定してもよい。外部環境認識部110は、判定した外部環境条件を通知方法決定部109に出力する。
The external
通知方法決定部109は、通知パターン記憶部104が記憶する通知パターンに基づいて、入力された乖離差及び外部環境条件に応じた通知方法を決定する(ステップS207)。通知方法決定部109は、決定した通知方法を制御部101に出力する。
Based on the notification pattern stored in the notification
制御部101は、入力された通知方法により設定の適合度を通知させる制御信号を通信部102から作業対象機器2に送信する(ステップS208)。
The
作業対象機器2の通知部242は、運用管理装置1から制御信号を受信し、制御信号が示す通知方法により設定の適合度を通知する。例えば、通知部242は、通知手段が発光である場合には、乖離差に応じた間隔でランプ25を明滅させる。これにより、作業者は、その明滅間隔により作業対象機器2のカメラ21の撮像方向、映像認識目標Tまでの距離、カメラ21の明度等がどのぐらい適合しているのかを容易に判別することができる。また、通知部242は、外部環境条件において視認し易い色でランプ25を発光させる。これにより、作業者がランプ25の点灯(発光)を判別し易くなる。
The
上述したとおり、本実施形態における運用管理システム100Aは、運用管理装置1Aと作業対象機器2とを備える。運用管理装置1Aは、映像を撮像する作業対象機器2における映像に関する最適設定情報を記憶する設定情報記憶部103と、設定情報を得るための目標物体を撮像した映像を作業対象機器2から受信する作業対象機器情報受信部106と、作業対象機器2が撮像した映像から得られる設定情報と最適設定情報との乖離差を判定する差分判定部108と、乖離差に応じて、作業対象機器2において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定部109と、を備える。通知方法決定部109は、作業対象機器の外部の環境を示す外部環境情報に基づいて、通知態様を決定する。作業対象機器2は、決定された通知態様により通知手段で設定の適合度を通知する通知部242と、を備える。
As described above, the
このような構成により、作業対象機器2は、外部環境条件に応じた通知態様により設定の適合度を通知する。例えば、作業対象機器2は、外部環境条件に応じた色でランプ25を発光させる。これにより、外部環境条件に応じて視認し易い色で発光させることができ、作業員は適合度を通知する明滅間隔を視認し易くなる。或いは、作業対象機器2は、外部環境条件に応じた音量でスピーカ26に発音させる。これにより、外部環境条件に応じて作業員に十分に聞こえる音量で発音することができ、作業員は適合度を通知する発音間隔を確認し易くなる。
With such a configuration, the
(第3の実施形態)
次に、第3の実施形態について説明する。
本実施形態における運用管理システム100Aの構成は、第2の実施形態と同様であるためその説明を省略する。
(Third embodiment)
Next, a third embodiment will be described.
Since the configuration of the
作業対象機器2は屋内又は屋外に関わらず分析を行いたい場所に綿密に設置されているため、設置場所によってはその場所固有の外部環境の影響を受けて、発光が見え難い場合や発音が聞き難い場合がある。このため、外部環境によっては、設定の適合度の通知を作業員が認知し難い場合がある。よって、本実施形態では、作業対象機器2が設置された場所の周囲(外部)の環境を示す外部環境条件に応じて設定の適合度を通知する通知手段を選択する点が第1の実施形態及び第2の実施形態と異なる。
Since the
具体的には、運用管理装置1Aの通知方法決定部109は、通知パターン記憶部104から作業対象機器2の通知パターンを読み出し、外部環境認識部110から入力された外部環境条件に応じた通知手段を選択する。例えば、通知方法決定部109は、吹雪や豪雨等の発光を視認し難い外部環境条件の場合は、通知手段を発音とする。また、通知方法決定部109は、環境ノイズの音量が大きい等の音声を聞き取り難い外部環境条件の場合は、通知手段を発光とする。そして、通知方法決定部109は、選択した通知手段における通知態様を差分判定部108から入力された乖離差及び外部環境認識部110から入力された外部環境条件に基づいて決定する。
Specifically, the notification
図12は、本実施形態による運用管理装置の処理フローを示す図である。
次に運用管理システム100Aの処理フローについて順を追って説明する。
ステップS301〜ステップS306までの処理は、第2の実施形態におけるステップS201〜ステップS206までの処理と同様であるため、説明を省略する。
FIG. 12 is a diagram illustrating a processing flow of the operation management apparatus according to the present embodiment.
Next, the processing flow of the
Since the processing from step S301 to step S306 is the same as the processing from step S201 to step S206 in the second embodiment, a description thereof will be omitted.
通知方法決定部109は、通知パターン記憶部104から通知パターンを読み出し、外部環境条件に応じた通知手段を選択し、選択した通知手段おける通知態様を乖離差及び外部環境条件に基づいて決定する(ステップS307)。通知方法決定部109は、決定した通知方法を制御部101に出力する。
The notification
制御部101は、入力された通知方法により設定の適合度を通知させる制御信号を通信部102から作業対象機器2に送信する(ステップS308)。
The
作業対象機器2の通知部242は、運用管理装置1から制御信号を受信し、制御信号が示す通知方法により設定の適合度を通知する。例えば、通知部242は、例えば吹雪や豪雨等の視認し難い外部環境条件で有る場合には、乖離差に応じた間隔でスピーカ26に発音させる。このとき、通知部242は、環境ノイズの音量に応じて作業員に十分に聞こえる音量でスピーカ26に発音させる。これにより、作業者は、ランプ25の点灯(発光)を視認し難い状況であっても、スピーカ26から出力される音声の発音間隔により作業対象機器2のカメラ21の撮像方向、映像認識目標Tまでの距離、カメラ21の明度等がどのぐらい適合しているのかを容易に判別することができる。
The
上述したとおり、本実施形態における運用管理システム100Aは、運用管理装置1Aと作業対象機器2とを備える。運用管理装置1Aは、映像を撮像する作業対象機器2における映像に関する最適設定情報を記憶する設定情報記憶部103と、設定情報を得るための目標物体を撮像した映像を作業対象機器2から受信する作業対象機器情報受信部106と、作業対象機器2が撮像した映像から得られる設定情報と最適設定情報との乖離差を判定する差分判定部108と、乖離差に応じて、作業対象機器2において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定部109と、を備える。通知方法決定部109は、作業対象機器2の外部の環境を示す外部環境情報に基づいて、通知手段を選択する。作業対象機器2は、決定された通知態様により通知手段で設定の適合度を通知する通知部242と、を備える。
As described above, the
このような構成により、作業対象機器2は、作業対象機器2の外部環境条件に応じた通知手段により設定の適合度を通知する。例えば、作業対象機器2は、豪雨や吹雪等の視認し難い外部環境条件のときにはスピーカ26から発音させて適合度を通知し、環境ノイズの音量が大きい外部環境条件のときにはランプ25を発光させて適合度を通知する。これにより、適合度の通知の認知率を向上させることができる。
With such a configuration, the
上述の処理においてはクラウドサーバとして通信ネットワークに接続された運用管理装置1,1Aが設定の適合度を通知する通知方法を決定する通知方法決定処理を行っている。しかしながら上述の通知方法決定処理は作業対象機器2が単独で行うようにしてもよい。つまり作業対象機器2が運用管理装置1,1Aとして動作してもよい。または情報入力端末3が運用管理装置1,1Aとして動作してもよい。
In the above-described processing, the
図13は、運用管理装置の最小構成を示す図である。
運用管理装置1は少なくとも設定情報記憶部103、差分判定部108、通知方法決定部109を備えればよい。設定情報記憶部103は、映像を撮像する作業対象機器2における映像に関する最適設定情報を記憶する。差分判定部108は、作業対象機器2が撮像した映像から得られる設定情報と最適設定情報との乖離差を判定する。通知方法決定部109は、乖離差に応じて、作業対象機器2において設定の適合度を通知する通知手段における通知態様を決定する。
FIG. 13 is a diagram illustrating a minimum configuration of the operation management apparatus.
The operation management apparatus 1 may include at least the setting
上述の運用管理装置1,1A、作業対象機器2および情報入力端末3は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
The
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
また、本発明の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。 In addition, one aspect of the present invention can be modified in various ways within the scope of the claims, and the technical aspects of the present invention also relate to embodiments obtained by appropriately combining technical means disclosed in different embodiments. Included in the range. Moreover, it is the element described in said each embodiment and modification, and the structure which substituted the element which has the same effect is also contained.
1,1A・・・運用管理装置
2・・・作業対象機器
3・・・情報入力端末
100,100A・・・運用管理システム
101・・・制御部
102・・・通信部
103・・・設定情報記憶部
104・・・通知パターン記憶部
105・・・入力情報受信部
106・・・作業対象機器情報受信部
107・・・映像認識部
108・・・差分判定部
109・・・通知方法決定部
110・・・外部環境認識部
241・・・情報送信部
242・・・通知部
301・・・制御部
302・・・記憶部
303・・・入力部
304・・・情報送信部
DESCRIPTION OF
本発明の第1の態様によれば、運用管理装置は、映像を撮像する作業対象機器における前記映像に関する最適設定情報を記憶する設定情報記憶部と、前記映像を解析して前記映像に映る映像認識目標との距離、前記映像認識目標に対する撮影方向、前記映像認識目標の明度を判定し、前記距離、前記撮影方向、前記明度を含む解析情報を生成する映像認識部と、前記解析情報と前記最適設定情報との乖離差を判定する差分判定部と、前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定部と、を備えることを特徴とする。 According to the first aspect of the present invention, the operation management apparatus includes: a setting information storage unit that stores optimum setting information regarding the video in a work target device that captures the video; and a video that is analyzed and displayed in the video A video recognition unit that determines a distance to a recognition target, a shooting direction with respect to the video recognition target, and a brightness of the video recognition target, and generates analysis information including the distance, the shooting direction, and the brightness; the analysis information ; A difference determination unit that determines a difference between the optimum setting information and a notification method determination unit that determines a notification mode in a notification unit that notifies the degree of fitness of setting in the work target device according to the difference. It is characterized by that.
本発明の第2の態様によれば、映像を撮像する作業対象機器と運用管理装置とを備えた運用管理システムは、映像を撮像する作業対象機器と運用管理装置とを備えた運用管理システムであって、 前記運用管理装置が、前記作業対象機器における前記映像に関する最適設定情報を記憶する設定情報記憶部と、前記映像を解析して前記映像に映る映像認識目標との距離、前記映像認識目標に対する撮影方向、前記映像認識目標の明度を判定し、前記距離、前記撮影方向、前記明度を含む解析情報を生成する映像認識部と、前記解析情報と前記最適設定情報との乖離差を判定する差分判定部と、前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定部と、を備え、前記作業対象機器が、決定された前記通知態様で前記通知手段により設定の適合度を通知する通知部と、を備えることを特徴とする。 According to the second aspect of the present invention, an operation management system including a work target device for capturing a video and an operation management apparatus is an operation management system including a work target device for capturing a video and an operation management device. A distance between a setting information storage unit that stores optimum setting information related to the video in the work target device, and a video recognition target that analyzes the video and appears in the video, the video recognition target. A video recognition unit that generates an analysis information including the distance, the imaging direction, and the brightness, and a difference between the analysis information and the optimal setting information is determined. A difference determination unit, and a notification method determination unit that determines a notification mode in a notification unit that notifies the degree of fitness of setting in the work target device according to the deviation difference, and the work target The device includes a notification unit that notifies the degree of fitness of setting by the notification unit in the determined notification mode.
本発明の第3の態様によれば、運用管理方法は、映像を撮像する作業対象機器における前記映像に関する最適設定情報を記憶し、前記映像を解析して前記映像に映る映像認識目標との距離、前記映像認識目標に対する撮影方向、前記映像認識目標の明度を判定し、前記距離、前記撮影方向、前記明度を含む解析情報を生成し、前記解析情報と前記最適設定情報との乖離差を判定し、前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定することを特徴とする。 According to the third aspect of the present invention, the operation management method stores the optimum setting information related to the video in the work target device that captures the video, analyzes the video, and the distance from the video recognition target reflected in the video , Determining a shooting direction with respect to the video recognition target, brightness of the video recognition target, generating analysis information including the distance, the shooting direction, and the brightness, and determining a difference between the analysis information and the optimal setting information And according to the said divergence difference, the notification aspect in the notification means which notifies the fitness of setting in the said work object apparatus is determined, It is characterized by the above-mentioned.
本発明の第4の態様によれば、プログラムは、映像を撮像する作業対象機器における前記映像に関する最適設定情報を記憶する設定情報記憶部を備えた運用管理装置のコンピュータを、前記映像を解析して前記映像に映る映像認識目標との距離、前記映像認識目標に対する撮影方向、前記映像認識目標の明度を判定し、前記距離、前記撮影方向、前記明度を含む解析情報を生成する映像認識手段、前記解析情報と前記最適設定情報との乖離差を判定する差分判定手段、前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定手段、として機能させることを特徴とする。 According to the fourth aspect of the present invention, a program analyzes a video of an operation management apparatus including a setting information storage unit that stores optimal setting information related to the video in a work target device that captures the video. Video recognition means for determining a distance from a video recognition target reflected in the video, a shooting direction with respect to the video recognition target, a brightness of the video recognition target, and generating analysis information including the distance, the shooting direction, and the brightness; A difference determination unit that determines a difference between the analysis information and the optimum setting information, and a notification method determination unit that determines a notification mode in a notification unit that notifies the degree of fitness of setting in the work target device according to the difference. It is characterized by functioning as.
差分判定部108は、入力された解析情報及び機器設定情報と、設定情報記憶部103が記憶する当該作業対象機器2の最適設定情報とを比較してその乖離差を算出する(ステップS105)。具体的には差分判定部108は、解析情報が示す画像の明度と、最適設定情報が示す画像との明度を比較し、その明度差を乖離差として算出してよい。また差分判定部108は、機器設定情報が示す設置角度と、最適設定情報が示す設置角度とを比較し、その角度差を乖離差として算出してよい。差分判定部108は、その他の解析情報及び機器設定情報と、最適設定情報との乖離差を算出してもよい。差分判定部108は、算出した乖離差を通知方法決定部109に出力する。
The
Claims (10)
前記作業対象機器が撮像した映像から得られる設定情報と前記最適設定情報との乖離差を判定する差分判定部と、
前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定部と、
を備える運用管理装置。 A setting information storage unit for storing optimum setting information regarding the video in the work target device that captures the video;
A difference determination unit that determines a difference between setting information obtained from the image captured by the work target device and the optimum setting information;
A notification method determination unit that determines a notification mode in a notification unit that notifies the degree of fitness of setting in the work target device according to the deviation difference;
An operation management apparatus comprising:
請求項1に記載の運用管理装置。 The operation management apparatus according to claim 1, wherein the notification method determination unit determines the notification mode based on an external environment condition indicating an external environment of the work target device.
請求項1または請求項2に記載の運用管理装置。 The operation management apparatus according to claim 1, wherein the notification method determination unit selects the notification unit based on an external environmental condition indicating an external environment of the work target device.
前記通知態様は、発光の態様である
請求項1から請求項3の何れか一項に記載の運用管理装置。 The notification means emits light;
The operation management apparatus according to any one of claims 1 to 3, wherein the notification mode is a light emission mode.
前記通知態様は、発音の態様である
請求項1から請求項4の何れか一項に記載の運用管理装置。 The notification means outputs a voice;
The operation management apparatus according to any one of claims 1 to 4, wherein the notification mode is a pronunciation mode.
を備える請求項1から請求項5の何れか一項に記載の運用管理装置。 A work target device information receiving unit that receives, from the work target device, an image of a target object for obtaining the setting information;
The operation management apparatus according to any one of claims 1 to 5, further comprising:
請求項6に記載の運用管理装置。 The operation management apparatus according to claim 6, wherein the optimum setting information includes at least one of a distance to the target object, an angle with respect to the target object, and a brightness of the target object.
前記運用管理装置が、
前記作業対象機器における前記映像に関する最適設定情報を記憶する設定情報記憶部と、
前記作業対象機器が撮像した映像から得られる設定情報と前記最適設定情報との乖離差を判定する差分判定部と、
前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定部と、
を備え、
前記作業対象機器が、
決定された前記通知態様で前記通知手段により設定の適合度を通知する通知部と、
を備える運用管理システム。 An operation management system comprising a work target device for capturing video and an operation management device,
The operation management device is
A setting information storage unit for storing optimum setting information regarding the video in the work target device;
A difference determination unit that determines a difference between setting information obtained from the image captured by the work target device and the optimum setting information;
A notification method determination unit that determines a notification mode in a notification unit that notifies the degree of fitness of setting in the work target device according to the deviation difference;
With
The work target device is
A notification unit for notifying the degree of fitness of setting by the notification means in the determined notification mode;
An operation management system comprising:
前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定する
運用管理方法。 Determining the divergence between the optimum setting information related to the video in the work target device that captures the video and the setting information obtained from the video captured by the work target device;
An operation management method for determining a notification mode in a notification means for notifying the degree of fitness of setting in the work target device according to the difference.
映像を撮像する作業対象機器における前記映像に関する最適設定情報と前記作業対象機器が撮像した映像から得られる設定情報との乖離差を判定する差分判定手段、
前記乖離差に応じて、前記作業対象機器において設定の適合度を通知する通知手段における通知態様を決定する通知方法決定手段、
として機能させるプログラム。 The computer of the operation management device
Difference determination means for determining a divergence difference between optimum setting information related to the video in the work target device that captures a video and setting information obtained from the video captured by the work target device;
A notification method determining unit that determines a notification mode in a notification unit that notifies the degree of fitness of setting in the work target device according to the difference.
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018064661A JP6648776B2 (en) | 2018-03-29 | 2018-03-29 | Operation management device, operation management system, operation management method, program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018064661A JP6648776B2 (en) | 2018-03-29 | 2018-03-29 | Operation management device, operation management system, operation management method, program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019176397A true JP2019176397A (en) | 2019-10-10 |
JP6648776B2 JP6648776B2 (en) | 2020-02-14 |
Family
ID=68167387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018064661A Active JP6648776B2 (en) | 2018-03-29 | 2018-03-29 | Operation management device, operation management system, operation management method, program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6648776B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0937137A (en) * | 1995-07-25 | 1997-02-07 | Minolta Co Ltd | Mobile stereoscopic camera apparatus |
JP2004312098A (en) * | 2003-04-02 | 2004-11-04 | Sanyo Electric Co Ltd | Monitoring camera apparatus |
JP2006197499A (en) * | 2005-01-17 | 2006-07-27 | Canon Inc | Image pickup device |
-
2018
- 2018-03-29 JP JP2018064661A patent/JP6648776B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0937137A (en) * | 1995-07-25 | 1997-02-07 | Minolta Co Ltd | Mobile stereoscopic camera apparatus |
JP2004312098A (en) * | 2003-04-02 | 2004-11-04 | Sanyo Electric Co Ltd | Monitoring camera apparatus |
JP2006197499A (en) * | 2005-01-17 | 2006-07-27 | Canon Inc | Image pickup device |
Also Published As
Publication number | Publication date |
---|---|
JP6648776B2 (en) | 2020-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9380225B2 (en) | Systems and methods for receiving infrared data with a camera designed to detect images based on visible light | |
US9800738B2 (en) | Systems and methods for monitoring sound during an in-building emergency | |
KR101544019B1 (en) | Fire detection system using composited video and method thereof | |
US20160163184A1 (en) | Global positioning system equipped with hazard detector and a system for providing hazard alerts thereby | |
CN109107149B (en) | Ambient light control and calibration via a console | |
KR101483943B1 (en) | The system for indication of crime area and safe area on electronic map | |
KR102407327B1 (en) | Apparatus for Monitoring Fire And System having the same | |
KR100980268B1 (en) | Illumination control system | |
JP2019079369A (en) | Evacuation guide system | |
KR101773898B1 (en) | System for monitoring fall of care-object | |
US20220076547A1 (en) | Systems and methods for operating emergency systems and exit signs | |
JP2007018101A (en) | Fall detection system | |
US10388068B2 (en) | System and method of augmented reality alarm system installation | |
KR101707382B1 (en) | Management System Of CCTV Malfunction | |
JP2019176397A (en) | Operation management apparatus, operation management system, operation management method, and program | |
KR20080020344A (en) | System for notifying a fire and method at the same | |
JP6594110B2 (en) | Control device, control system, and program | |
KR101482912B1 (en) | Electric sign control systems utilizing vision boards with uninterruptible power supply | |
FI20195002A1 (en) | A method of using a machine-readable code for instructing camera for detecting and monitoring objects | |
WO2021090702A1 (en) | Information processing device, information processing method, and program | |
JP2016092740A (en) | Remote controller, remote control method, remote control program, and remote control system | |
KR102113419B1 (en) | System and method for reporting disaster using automatic video call switching | |
JP5357360B1 (en) | Imaging device detection unit, imaging device detection system, imaging device detection device, imaging device detection method, and imaging device detection program | |
KR20210027994A (en) | Unbrella attachment and umbrella information provision method using the same | |
JP7253975B2 (en) | Notification system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191230 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6648776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |