JP2019161437A - 監視装置およびプログラム - Google Patents

監視装置およびプログラム Download PDF

Info

Publication number
JP2019161437A
JP2019161437A JP2018045303A JP2018045303A JP2019161437A JP 2019161437 A JP2019161437 A JP 2019161437A JP 2018045303 A JP2018045303 A JP 2018045303A JP 2018045303 A JP2018045303 A JP 2018045303A JP 2019161437 A JP2019161437 A JP 2019161437A
Authority
JP
Japan
Prior art keywords
file
monitoring
monitoring device
recording
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018045303A
Other languages
English (en)
Other versions
JP7138908B2 (ja
Inventor
高木 太郎
Taro Takagi
高木  太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IMAGEOM KK
Original Assignee
IMAGEOM KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IMAGEOM KK filed Critical IMAGEOM KK
Priority to JP2018045303A priority Critical patent/JP7138908B2/ja
Publication of JP2019161437A publication Critical patent/JP2019161437A/ja
Application granted granted Critical
Publication of JP7138908B2 publication Critical patent/JP7138908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】出荷前の監視者による各種調整及び出荷後の偶発的トラブルの原因究明に必要な映像を撮影・記録できる監視装置を提供する。
【解決手段】監視装置1は、組み込まれた自動機械100で所定の事象が生じた時に、自動機械100の作動部分101〜101を撮影して映像を取得するカメラ5〜5と、カメラが取得した映像をファイルとして保存する記録制御部12と、記録制御部12が作成する映像ファイル151〜151を保持するファイル保持部15とを有し、動作モードとして、少なくとも設定モードと運用モードとの二つを有する。
【選択図】図2

Description

本発明は、監視装置およびプログラムに関し、特に装置や設備で偶発的に発生するトラブルの原因を究明するための映像を撮影・記録する監視装置およびプログラムに関する。
ものづくりの現場では、工作機械・印刷機械・梱包機械・検査機械・運搬機械など、さまざまな自動機械が運用される。これらの機械に異常や故障などのトラブルが生じると、ライン全体が停止するなど大きな損害が発生する。そこでトラブルの発生に対しては、すみやかな原因の分析と原因の特定を行い、適切な改良を行って再発を防ぐことが求められる。
トラブルの原因を調べる方法として、過去には、人間の監視者が、対象となる装置や設備の近くに駐在して目視を行い、継続的に監視する方法が行われていた。しかし、数日に一度しか発生しないような偶発的なトラブルに対し、人間の監視者が長時間集中力を維持することは、人間の監視者にとって大きな負担となり、あまり有効な方法ではなかった。
この問題に対処し、目視に代わる方法として、ビデオカメラなどの撮影手段を応用した監視システムが知られている。たとえば「任意の監視対象を撮像するための単一または複数の撮像手段によって撮像された動画に任意の処理を行う動画処理装置であって、前記撮像手段によって撮像された前記動画の構成要素であるフレームを一時的に記録するフレーム記録手段と、前記フレーム記録手段に記録された単一または複数の前記フレームの時系列的集合である動画から、あらかじめ設定された縮約ルールに基づいてデータ量を減少させた縮約済み動画を作成する動画縮約処理を行う縮約手段と、前記縮約手段によって前記縮約が行われた前記動画を、監視者が目視による監視および/または分析に用いるために記録する縮約動画記録手段とを備え、前記縮約手段は、前記縮約の方法を具体的に定義する縮約ルールを複数保持する手段を備え、その中から選択された前記縮約ルールを使用して前記縮約を行うことを特徴とする動画処理装置」が公知となっている(特許文献1参照)。
特許2012−245296号公報
特許文献1のような監視システムを、自動機械の内部に組み込み、その自動機械を製品として販売・出荷し、購入者である自動機械のユーザのもとで運用したい場合がある。このような場合、用途に特有の課題に対する次のような配慮が必要になる。
第1は、限られた空間に設置しなければならないことである。監視システムの運用に先立っては、監視システムの運用者である監視者(たとえば自動機械の製造者や販売者、トラブル対策の担当者、監視システムの運用・保守の受託者など。以下単に「監視者」と称する。)が、監視システムの動作を確認しながら、カメラを取り付ける位置・向きや、監視システムのプログラムに関する設定の調整(以下単に「各種調整」と称する。)を行う必要がある。そのため監視システムは、監視システムの動作を確認するためのディスプレイ(表示機器)や、監視システムの動作を変更するためのキーボード・マウス・タッチパネルなど(入力機器)を備えてなければならない。しかしながら自動機械は、本来監視システムの組み込みを想定して設計されてはいないので、その内部に表示機器や入力機器を設置する物理的な空間が確保できるとは限らない。監視システムの本体であるコンピュータやカメラは小型化が進んでいるが、人間の監視者とのやり取りが必要な表示機器や入力機器を小型化することは難しい。自動機械の内部に、これらの機器を恒久的に設置するのに必要な空間が存在しない可能性があり、あるいは空間が存在しても操作困難な場所にしかない可能性がある。
第2は、運用負担の増大を避けなければならないことである。監視システムの運用にあたっては、それが組み込まれている自動機械の運用者(たとえば自動機械を購入して使用するオペレータなど。以下に「運用者」と称する。)が監視者とは異なる人間であることにも注意が必要である。運用者にとって、監視システムの運用は本来の業務とは関係のないものである。そのため監視システムを組み込んだことにより、自動機械を運用するための手間が増えたり、監視システムの破損や誤動作を生じさせるリスクが生じたりすることは避けなければならない。
第3は、設置にかかる費用を抑えなければならないことである。自動機械に組み込まれる監視システムは、製品である自動機械の数だけ必要になるので、製品全体の価格を下げようとすると、その構成要素である監視システムの価格もできるだけ安くしなければならない。
本発明はかかる課題に鑑みてなされたものであり、自動機械に組み込まれて、自動機械の出荷前には監視者による各種調整を可能にするとともに、自動機械の出荷後には自動機械とともに自動起動して、自動機械で偶発的に発生するトラブルの原因究明に必要な映像を撮影・記録することのできる監視装置を提供することを課題としている。
かかる課題を解決するため、請求項1に記載の発明は、自動機械に組み込まれて動作し、前記自動機械で所定の事象が生じた時に、前記自動機械の作動部分の映像を記録する機能を有する監視装置であって、前記作動部分を撮影して映像を取得する撮影手段と、所定の事象が発生した時に前記撮影手段が取得した前記映像をファイルとしてファイル記録手段に保存する記録制御手段と、前記記録制御手段が作成する前記ファイルを保持するファイル保持手段とを有し、動作モードとして、少なくとも設定モードと運用モードとの二つを有し、所定の外部デバイスがアクセス可能な形で存在するかどうかを起動時に判定する外部デバイス検出手段と、前記外部デバイス検出手段の判定結果に応じて前記動作モードの一つを選択する動作モード決定手段とを有し、前記設定モードにおいて、前記監視装置に外部接続された入力機器および表示機器を介して監視者との対話的操作を可能にするユーザインタフェース手段を有し、前記運用モードにおいて、起動後に自動的に前記撮影手段および前記記録制御手段の動作を開始させ、撮影記録動作を開始させる自動動作開始手段を有することを特徴とする。
請求項2に記載の発明は、請求項1に記載の構成に加え、前記外部デバイスがファイル保持機能を有し、前記監視装置が、前記運用モードにおいて、前記外部デバイスがアクセス可能になった時に、前記ファイル記録手段に保持されている前記ファイルのうち、少なくとも一部を前記外部デバイスにコピーまたは移動させるファイル取り出し手段を有することを特徴とする。
請求項3に記載の発明は、請求項2に記載の構成に加え、前記監視装置が、特定の外部デバイスを一意に区別する識別情報を登録するデバイス識別情報登録手段を有し、前記外部デバイス検出手段が、検出された前記外部デバイスの前記識別情報を読み出し、あらかじめ前記デバイス識別情報登録手段に登録された前記識別情報と照合するデバイス識別情報照合手段を有し、前記デバイス識別情報照合手段の照合結果に応じ、前記動作モード決定手段が設定モードを選択することを禁止する動作モード制限手段を有し、前記デバイス識別情報照合手段の照合結果に応じ、前記ファイル取り出し手段が前記ファイルを前記外部デバイスにコピーまたは移動させることを禁止するファイル取り出し禁止手段を有することを特徴とする。
請求項4に記載の発明は、請求項1ないし請求項3のいずれかに記載の構成に加え、前記監視装置が、無停電電源装置からの電源供給によって動作しており、前記記録制御手段が、前記無停電電源装置が停電を検出した時に前記撮影手段が取得した前記映像をファイルに保存することを特徴とする。
請求項5に記載の発明は、請求項1ないし請求項4のいずれかに記載の構成に加え、前記ファイル記録手段による前記ファイルの保持状況を監視する映像ファイル管理手段を有し、前記映像ファイル管理手段が、前記ファイル記録手段の空き容量が所定の値を下回ったら、設定モードでは前記撮影手段または前記記録制御手段の動作を停止させて撮影記録動作を終了させるのに対し、運用モードでは古い前記ファイルを消去して撮影記録動作を継続させることを特徴とする。
請求項6に記載の発明は、請求項1ないし請求項5のいずれかに記載の構成に加え、前記外部デバイスがUSBメモリであることを特徴とする。
請求項7に記載の発明は、請求項1ないし請求項5のいずれかに記載の構成に加え、前記外部デバイスがネットワークファイルサーバであることを特徴とする。
請求項8に記載の発明は、プログラムであって、コンピュータを請求項1ないし7のいずれか一つに記載の監視装置として機能させることを特徴とする。
請求項1に記載の発明によれば、監視システム1Aに設定モードと運用モードの二つの動作モードを持たせたことにより、その設定・運用に必要な機能を損なうことなく、監視装置1を自動機械100に組み込む場合に特有の課題を次のように解決することができる。
1.限られた空間への設置
→かさばる表示機器・入力機器が不要なので、狭い場所にも設置可能。
2.運用負担の増大の回避
→監視装置を意識する必要がないので、ユーザの手間が増えない。
3.設置にかかる費用の抑制
→表示機器・入力機器が不要な分だけ、製品全体の低価格化が図れる。
請求項2に記載の発明によれば、監視システム1Aに記録されている映像ファイルを外部デバイスに取り出すのに、表示機器・入力機器や複雑な操作手順が不要になるので、監視装置1を自動機械100に組み込む場合に特有の課題をより高度に解決することができる。
請求項3に記載の発明によれば、監視システム1Aの設定・運用に伴うセキュリティ上の危険を根本的に回避することができるので、他の方法でセキュリティを確保する場合と比べ、監視装置1を自動機械100に組み込む場合に特有の課題をより高度に解決することができる。
請求項4に記載の発明によれば、監視装置1を自動機械100に組み込む場合に特有の課題を解決しつつ、異常の原因を究明するために最も重要な停止直前の映像を、映像ファイル151に記録することができる。
請求項5に記載の発明によれば、監視装置1を自動機械100に組み込む場合に特有の課題を解決しつつ、設定作業中に、記録された映像ファイル151が意図せず消去され、作業の妨げになることを防ぐことができる。
請求項6に記載の発明によれば、監視装置1を自動機械100に組み込む場合に特有の課題を解決しつつ、持ち運びやすく監視装置1に対する着脱が容易な外部デバイスを使い、監視装置1の設定・運用を能率的に行うことができる。
請求項7に記載の発明によれば、監視装置1を自動機械100に組み込む場合に特有の課題を解決しつつ、汎用的に使えて監視装置1に対する通信接続が容易な外部デバイスを使い、監視装置1の設定・運用を能率的に行うことができる。
請求項8に記載の発明によれば、本発明を、多様なコンピュータや多様なコンピュータシステムにおいて構築することができる。
この実施の形態1の監視システムのシステム構成図および機能ブロック図である。 同上監視システムの全体構成を示す機能ブロック図である。 設定モードにおける、監視システム1Aのハードウェア構成例を示す図である。 運用モードにおける、監視システム1Aのハードウェア構成例を示す図である。 実施の形態1の監視装置1の動作を示すフローチャートである。 ステップS2の詳細を示すフローチャートである。 ステップS3の詳細を示すフローチャートである。 この実施の形態2の監視システムのシステム構成図および機能ブロック図である。
[発明の実施の形態1]
図1ないし図8にこの発明の実施の形態1を示す。以下、この発明の実施の形態1について図面を参照して説明する。
[システム構成概要]
図1は、この実施の形態1の監視システムのシステム構成図および機能ブロック図である。この監視システム1Aは、監視対象である自動機械100のトラブルの原因究明のために用いられるものである。
図1に示すとおり、監視システム1Aは、自動機械100に組み込まれた「監視装置」としての監視装置1と、監視者用端末2と、無停電電源装置3と、「外部デバイス」としてのUSBメモリ4とを備えている。監視装置1の電源は、通常は自動機械100に内蔵された電源(図示せず)から供給されている。また監視装置1は無停電電源装置3に接続されており、自動機械100の主電源が遮断されても、無停電電源装置3に内蔵された蓄電池から供給される電力によって10分ほど動作を続けることができる。監視装置1と監視者用端末2は、ネットワーク20を介して直接的に、またはUSBメモリ4を介して間接的に、ファイルの受け渡しを行うことができる。
自動機械100は、自動制御によって機械的に作動する部分を少なくとも一部に有する機器や装置であり、工作機械・印刷機械・梱包機械・検査機械・運搬機械などがこれに相当する。具体的には、食品、雑貨品、事務用品、電化製品、素材、車両、機械部品などの生産に用いられる加工機械・搬送機械・梱包機械、集積回路や電子部品の生産に用いられる半導体プロセス機械・搬送機械、新聞・雑誌などの印刷に用いられる印刷機械・紙折り機械・製本機械・梱包機械などがこれに該当する。自動機械100は、各種製品の製造メーカや印刷業者、検査業者、運搬業者などの施設内に設置されて運用される。
監視者用端末2は、監視装置1の設定や動作状態や異常の検証を行う監視者(図示せず)が所持または管理する機器である。具体的には、パーソナルコンピュータ、タブレット、スマートフォン、携帯電話端末など、監視装置1の作成したファイルの一覧または内容を表示させたり、監視装置1に各種のコマンドを入力したりする機能を有する電子機器である。
監視者用端末2は、液晶パネルなど、監視装置1が作成したファイルの一覧または内容を視覚的に表示することのできるディスプレイ21と、マウス・キーボード・タッチパネルなど、監視者が上記のファイルの一覧または内容を表示する方法を指示することのできる入力機器22と、USBメモリ4を接続することのできるUSBポート23とを有している。監視者用端末2は、個々の自動機械100の近傍に固定設置されていてもよいが、その使用者である監視者(図示せず)の数が自動機械100の数に比べて少ないことを考えると、監視者とともに移動することができるよう、運搬可能な形態のものが望ましい。
[監視装置]
図2は、この実施の形態1の監視システム1Aの全体構成を示す機能ブロック図である。
この実施の形態1の監視システム1Aは、監視対象である自動機械100のトラブルの原因究明のために用いられるものであり、監視装置1が自動機械100の処理を制御する制御システム(図示せず)と連動する形で組み込まれている。
図2に示すとおり、この実施の形態1の監視装置1は、n台(n≧1)の「撮影手段」としてのカメラ5,5,……,5が、記録制御主体部6に接続された構成となっている。カメラ5,5,……,5は、たとえばCMOS(complementary metal oxide semiconductor)カメラなどのディジタルカメラであり、自動機械100の個々の作動部分101,101・・・101、またはその任意の組み合わせを被写体として撮影を行う。なお、この実施の形態1においては、それぞれのカメラ5,5,……,5が動画を撮影することを想定しているが、カメラ5,5,……,5の一部または全部が静止画を撮影するものであってもよい。 記録制御主体部6には、ハードウェアとして、制御手段としてのCPU(central processing unit、中央処理装置)、CPUの作業領域として機能するRAM(random access memory)、起動用ブートプログラムなどを保持するROM(read only memory)、各種のプログラムやデータを保持・保存する、SSD(solid state drive)などの補助記憶装置(いずれも図示せず)などが設けられている。また補助記憶装置には、OS(operating system)プログラム、各種のアプリケーションプログラム、プログラムの動作に必要なデータなどがソフトウェアとして保持されている。これらのソフトウェアは、CPUの演算処理によってハードウェアと協働し、各種機能を実現する。
図2に示すとおり、記録制御主体部6は、機能手段として、「撮影制御手段」としての撮影制御部7、カメラ映像プレビュー部8、フレームメモリ9、「動作モード決定手段」および「動作モード制限手段」としての動作モード決定部10、「デバイス識別情報登録手段」および「デバイス識別情報照合手段」としてのUSBメモリ識別部11、「記録制御手段」および「自動動作開始手段」としての記録制御部12、「外部デバイス検出手段」としての外部デバイス検出部13、「映像ファイル管理手段」としての映像ファイル管理部14、「ファイル記録手段」としてのファイル保持部15、「空き容量確認手段」としての空き容量確認部16、カメラ入力インターフェース部17、ファイル出力インターフェース部18を備えている。これらの機能手段は、ハードウェアとソフトウェアの協働によって実現される。ただし、これらの機能手段のうちの一部または全部が、ハードウェアロジックやプログラムの実行のみで実現されてもよい。なお、記録制御主体部6は、監視装置1に外部接続された入力機器および表示機器(例えば監視者用端末2の入力機器22やディスプレイ21)を介して監視者との対話的操作を可能にする「ユーザインタフェース手段」としての機能も備えている。
撮影制御部7は、それぞれのカメラ5,5,……,5から入力される映像の取り込みを開始させ、あるいは終了させる。この操作は、カメラ5,5,……,5のすべてに対して一斉に行われてもよいし、一部に対して他と独立に行われてもよい。
カメラ映像プレビュー部8は、それぞれのカメラ5,5,……,5から入力される映像を、たとえば画面に表示する。監視者はこの表示を見て、カメラが正しく接続されていることを確認したり、対象物が明瞭に撮影されるように調整したりすることができる。
フレームメモリ9は、過去の映像を記録する目的で、カメラ5,5,……,5から入力される映像を一時的に記憶する。フレームメモリ9の詳細な機能については後述する。
動作モード決定部10は、監視装置1の動作モードを決定する。具体的には、監視装置1を、設定モード(後述)と運用モード(後述)のいずれかに設定する。
USBメモリ識別部11は、監視装置1に接続されているUSBメモリ4から、一意の識別番号を読み出し、あらかじめ登録された識別番号と照合し、USBメモリ4を一種の「鍵」として使うことを可能にする。これについて詳しくは後述する。
記録制御部12は、カメラ5から入力されてフレームメモリ9に記憶されている映像を、時間を区切って取り込み、映像ファイル151,151,……,151(k≧1)のそれぞれに保存する。自動機械100で異常動作が発生した時の映像を記録する目的のため、記録制御部12には、自動機械100の所定の異常動作を検出する機能を持たせてもよいし、自動機械100の所定の異常動作を検出する機能を持つ外部機器、たとえば図2に示す異常検出装置19からの信号を受け取る機能を持たせてもよい。また自動機械100が異常停止をして所定の状態になった場合(たとえば無停電電源装置3が作動した状態)を検出する機能を持たせてもよい。
また記録制御部12は、フレームメモリ9から取り込んだ映像を映像ファイル151,151,……,151に記録する際、映像に各種の加工を施したりしてもよい。
外部デバイス検出部13は、監視装置1に対する所定の外部デバイスの接続状態を検出する。この実施の形態1では、監視装置1にUSBメモリ4が接続されているかどうかを検出する。
映像ファイル管理部14は、記録制御部12による映像ファイル151,151,……,151の作成を監視しており、ファイル保持部15の空き容量が所定の値を下回った時には、所定の規則に基づく順番で映像ファイル151,151,……,151を削除する。
ファイル保持部15は、記録制御部12の作成した映像ファイル151,151,……,151を保持する。
空き容量確認部16は、新たな映像ファイル151k+1(図示せず)が保存できなくなる事態を避けるため、ファイル保持部15の空き容量を継続的に調べる。これについて詳しくは後述する。
カメラ入力インターフェース部17は、記録制御主体部6がカメラ5,5,……,5から映像信号を受信するために必要な各種の処理を行う。またファイル出力インターフェース部18は、USBメモリ4を接続するUSBポート181を備え、記録制御主体部6がUSBメモリ4に映像ファイルを送出するために必要な各種の処理を行う。
なお、以下の記載では、説明を簡単にするため、特に区別する必要がある場合を除き、カメラ5,5,……,5をカメラ5と記載し、映像ファイル151,151,……,151を映像ファイル151と記載する。
[設定モードと運用モード]
この実施の形態1の監視システム1Aは、設定モードと運用モードという、2種類の動作モードを有する。
設定モードは、監視装置1を組み込んだ自動機械100の出荷前になされるべき、監視装置1に対する各種調整を行うための動作モードである。具体的には、監視装置1に表示手段(図示せず)と入力手段(図示せず)が外付けされることを前提に、監視者による対話的操作によって動作する。たとえば入力手段を使い、監視者が入力したコマンドを受け付けて、それぞれに応じた動作を行ったり、表示手段を使い、カメラ5からの映像や、記録制御主体部6の各種設定内容を監視者に表示したりする。
設定モードにおける、監視システム1Aのハードウェア構成例を図3に示す。設定モードにおいて使用される外付けの表示手段と入力手段には、通常は個別のディスプレイ21や、キーボード・マウスなどの入力機器22が使われる(図3の(A))。しかしネットワーク20を経由して他のコンピュータを使うためのリモートデスクトップソフトウェアを使えば、監視者用端末2が備えるディスプレイ21と入力機器22とを、監視装置1のための表示手段と入力手段として、それぞれ流用することも可能である(図3の(B))。
これに対して運用モードは、監視装置1を組み込んだ自動機械100が出荷され、実際に運用されている時の動作モードである。具体的には、表示手段(図示せず)と入力手段(図示せず)が外付けされていないことを想定し、撮影・記録を含むほぼすべての動作を自動的に行う。また監視装置1にUSBメモリ4が接続された時には、ファイル保持部15に蓄積されている映像ファイル151を、自動的にUSBメモリ4にコピーする動作も行う。
運用モードにおける、監視システム1Aのハードウェア構成例を図4に示す。運用モードでは、監視装置1と表示手段・入力手段を直接接続することができない場合もある。そのため設定モードで可能であった、コマンドを入力して動作を行わせたりする操作や、カメラ5からの映像や記録制御主体部6の設定内容を表示させたりする操作がいつでも可能であるとは限らない。しかし監視装置1は、それらの操作ができなくても、映像ファイル151を取り出すことができるように構成されている。そのための動作については図7で説明する。
この実施の形態1の監視システム1Aでは、設定モードと運用モードの二つの動作モードを持たせたことにより、その設定・運用に必要な機能を損なうことなく、監視装置1を自動機械100に組み込む場合に特有の課題を次のように解決することができる。
1.限られた空間への設置
→かさばる表示機器・入力機器が不要なので、狭い場所にも設置可能。
2.運用負担の増大の回避
→監視装置を意識する必要がないので、ユーザの手間が増えない。
3.設置にかかる費用の抑制
→表示機器・入力機器が不要な分だけ、製品全体の低価格化が図れる。
[動作モードの選択]
この実施の形態1において、記録制御主体部6は、監視装置1の起動時にUSBポート181に登録済みのUSBメモリ4が接続されているかどうかで動作モードを決定する。具体的には、外部デバイス検出部13が、ファイル出力インターフェース部18を介し、USBポート181にUSBメモリ4が接続されているかどうかを調べる。登録済みのUSBメモリ4が検出された場合、動作モード決定部10は監視装置1を設定モードで動作させ、検出されなかった場合、動作モード決定部10は監視装置1を運用モードで動作させる。
[映像ファイルの記録管理]
カメラ5,5,……,5が撮影した映像ファイルは、記録制御部12の動作によって映像ファイル151,151,……,151として記録される。映像ファイル管理部14は、個々の映像ファイル151,151,……,151を特定するための情報(たとえばファイル名)と、映像ファイル151,151,……,151をファイル保持部15に記録した順序を示す情報(たとえばファイルの更新日時など)とを関連付けて記録する。この機能は、OSの提供するファイルシステム機能を利用して実現することもできる。
空き容量確認部16は、ファイル保持部15の空き容量を継続的に確認している。空き容量が不足していると確認された場合、運用モードにおいては古いものから順に映像ファイルを消去して、新たな映像ファイル151を記録することのできる空き容量を確保する。しかし設定モードにおいては、映像ファイル151を消去するのではなく、記録制御部12の動作を停止させ、新しい映像ファイル151が作られないようにする。これは設定作業中に、記録された映像ファイル151が意図せず消去され、原因究明の妨げになることを防ぐための仕様である。
また運用モードにおいて、映像ファイル管理部14は、USBポート181にUSBメモリ4が接続されているかどうかを継続的に確認している。接続が確認された場合、映像ファイル管理部14は、ファイル保持部15に記録されている映像ファイル151を、USBポート181を介してUSBメモリ4にコピーする。この際に映像ファイル管理部14は、映像ファイル151を加工せずにUSBメモリ4にコピーしてもよいし、映像ファイル151に対して所定の圧縮処理や縮約処理を行ってからUSBメモリ4にコピーしてもよい。
[異常停止時の記録]
この実施の形態1では、記録制御部12が自動機械100の電源遮断を検出した際に、その直前にカメラ5が撮影していた映像を、映像ファイル151としてファイル保持部15に記録させる機能を有する。
具体的には、この実施の形態1の監視装置1では、記録制御部12がフレームメモリ9を有している。フレームメモリ9はカメラ5から入力される映像を、動画を構成する個々の静止画(フレーム)に分解して一時的に蓄積することのできる大容量のメモリであり、新たに投入されるフレームで上書きされるまでは、過去のフレームを取り出すことができるものである。たとえばフレームメモリ9が、10秒間に投入されるフレームを蓄積するだけの容量を持っているとすると、このフレームメモリ9からは10秒前の映像を取り出すことができることになる。
自動機械100には、重大な障害が発生した時に、主電源を遮断してすべての動作を緊急停止させる機能がある。たとえば自動機械100が異常な状態に陥って安全保護機能が作動したり、自動機械100のオペレータが自動機械100の緊急停止スイッチ(図示せず)を押したりすると、自動機械100のすべての電源が強制的に遮断される。自動機械100の主電源から、無停電電源装置3を介して接続されている監視装置1は、主電源が遮断されても、しばらくは動き続けることができる。その間に記録制御部12は、異常の原因を究明するために最も重要な停止直前の映像を、映像ファイル151に記録することができる。
この実施の形態1において、記録制御部12は、無停電電源装置3が停電時動作に移行した(つまり無停電電源装置3が停電を検知し、無停電電源装置3に内蔵された蓄電池から監視装置1への電力供給を開始した)かどうかを継続的に監視している。無停電電源装置3が停電時動作に移行したことを検出すると、すべてのカメラ5を停止させてフレームメモリ9の内容が上書きされないようにした上、フレームメモリ9に蓄積されている直前の映像を映像ファイル151に記録する。
この実施の形態1では、自動機械100の主電源が遮断された時に直前の映像を記録するのは、監視装置1が運用モードである場合のみである。しかし監視装置1が設定モードである場合にも、同様に映像の記録が行われるようにしてもよい。また記録制御部12は、自動機械100の主電源が遮断された以外の場合に映像を記録するようにしてもよい。監視装置1を自動機械100に組み込むにあたっては、記録制御部12を、自動機械100が備えている各種の異常検出用手段と連動させるように構成してもよい。
[動作手順]
図5は、実施の形態1の監視装置1の動作を示すフローチャートである。この監視装置1では、起動した直後に外部デバイス検出部13がファイル出力インターフェース部18に問い合わせを行い、USBポート181にUSBメモリ4が接続されているかどうかを調べる。USBメモリ4が接続されている場合(ステップS1の“Yes”)、動作モード決定部10は監視装置1を設定モードで動作させる(ステップS2)。接続されていない場合(ステップS1の“No”)、監視装置1を運用モードで動作させる(ステップS3)。
USBメモリ4には、USBの規格上、それぞれに異なる識別番号が割り振られている。USBメモリ識別部11は、USBメモリ4から固有の識別番号を読み出すことができる。このことを利用し、あらかじめ登録された識別番号を持つUSBメモリ4が接続されている場合にのみ、監視装置1を設定モードで動作させるようにしてもよい。これによってUSBメモリ4に、監視装置1の設定・調整を行うのに必要な「鍵」としての機能を持たせることができる。
図6はステップS2の詳細を示すフローチャートである。図6に示すとおり、設定モードにおいて、動作モード決定部10は起動直後にカメラの接続と手動操作の有効化を行い、監視システム1Aを構成する各機能要素の設定や調整を行うことができる状態を形成する(ステップS21)。その後は動作のきっかけとなる事象(イベント)の発生を継続的に検出し(ステップS22)、イベントが発生している場合には対応する処理を行う(ステップS23)動作を繰り返す。設定モードにおける具体的なイベントとしては、たとえば監視者からのコマンド入力や、自動機械100の異常動作を模擬した信号の入力がある。
監視者によって入力されるコマンドにはいくつかの種類がある。終了コマンド以外のコマンド、たとえばカメラの選択コマンドや記録方法の変更コマンドが入力された場合(ステップS221の“Yes”)、そのコマンドに対応する各種の処理を実行し(ステップS231)、ステップS221に戻って処理を繰り返す。また、監視者による設定や調整が終わり、終了コマンドが入力された場合(ステップS221の“No”〜ステップS222の“Yes”)、確定した設定データを記録制御主体部6の補助記憶装置(図示せず)にセーブし(ステップS232)、動作を終了させる。コマンドが入力されていなければ(ステップS221の“No”〜ステップS222の“No”)、ステップS221に戻って処理を繰り返す。
ステップS2で行うべき設定・調整には、使用するカメラ5の選択や、映像の記録方法に関するソフトウェア的な設定・調整だけでなく、カメラ5の設置や接続に関するハードウェア的な設定・調整も含まれる。それを可能にする設定機能として、たとえば監視者用端末2が監視装置1に接続されている時、そのディスプレイ21に、記録制御主体部6を構成するそれぞれの機能要素の動作を定義するパラメータを表示させたり、それぞれのカメラ5から入力される映像を表示させたりする機能が用意されている。ステップS22〜S23において、監視者(図示せず)は、監視者用端末2の入力機器22を使い、機能要素の動作を定義するパラメータを設定することができる。また監視者(図示せず)は、カメラ5の設置方法・接続方法を見直して、記録制御主体部6に必要な映像が入力されるように視野範囲、ピント、絞り、照明などを調整したりすることができる。
図7はステップS3の詳細を示すフローチャートである。図7に示すとおり、運用モードにおいては、撮影制御部7は起動直後に、手動操作を禁止するとともに設定モードで保存された設定データをロードし、記録動作を自動的に開始させる(ステップS31)。その後は動作のきっかけとなる事象(イベント)の発生を継続的に検出し(ステップS32)、イベントが発生している場合には対応する処理を行う(ステップS33)動作を繰り返す。
ステップS32で検出されるイベントには、たとえば次に示すものがある。
(例1)自動機械100の異常動作が検出された。
(例2)所定のUSBメモリ4が接続された。
(例3)ファイル保持部15の空き容量が少なくなった。
(例4)無停電電源装置が動作した。
自動機械100の異常動作が検出された場合(ステップS321の“Yes”)、記録制御部12はフレームメモリ9の中にある映像を取り込んで映像ファイル151に保存する動作を行う(ステップS331)。記録制御部12の内蔵するフレームメモリ9には、カメラ5からの映像が一定時間蓄積されており、これをファイルに保存することで、監視装置1の電源が遮断された時刻以前の映像も残すことができる。
運用モードにおいては、もう一つ特徴的な動作がある。それはファイル保持部15に蓄積された映像ファイル151を、USBポート181に接続されたUSBメモリ4に移動させる動作である。映像ファイル管理部14は、USBポート181に所定の識別番号を持つUSBメモリ4が接続されていないかどうかを定期的に調べている。USBメモリ4が接続されたら(ステップS321の“No”〜ステップS322の“Yes”)、ファイル保持部15に蓄積された映像ファイル151をすべて、USBメモリ4に移動させる(ステップS332)。この動作によって監視者は、監視システム1Aに監視者用端末2を接続しなくても、小型軽量のUSBメモリ4を接続するだけで、監視システム1Aの記録した映像を取り出すことができる。
自動機械100で異常が発生する回数が多いと、多数の映像ファイル151がファイル保持部15に蓄積され、ついに容量いっぱいになる。これに備えるため、空き容量確認部16は、ファイル保持部15の空き容量が、映像ファイル151をさらに記録するために充分であるかどうかを継続的に監視している。映像ファイル管理部14が、ファイル保持部15の空き容量が映像ファイル151をさらに記録するために充分ではないことを検出した場合(ステップS322の“No”〜ステップS323の“Yes”)、映像ファイル管理部14はファイル保持部15に記録された映像ファイル151のうち古い映像ファイル151(つまりファイル保持部15に記録された時刻が最も古い映像ファイル151)から順に、新しい映像ファイル151を記録するために充分な記憶容量が確保されるまで削除する(ステップS333)。なお設定モードではこれと異なる動作をすることは、上記[映像ファイルの記録管理]に記載したとおりである。
映像ファイル151を作成するのは、自動機械100で異常が発生した場合に限らない。むしろ運用モードにおいては、自動機械100の電源遮断によって無停電電源装置3が動作した時にも映像ファイル151を作成するべきである。自動機械100は多くの場合、重大な異常が発生すると主電源が緊急遮断されるように構成されているので、電源遮断の直前には異常が発生した可能性が高いからである。記録制御部12は、無停電電源装置3が停電時動作に移行したことを検出すると(ステップS323の“Yes”〜ステップS324の“Yes”)、すべてのカメラ5を停止させてフレームメモリ9の内容が上書きされないようにした上、フレームメモリ9に蓄積されている直前の映像を映像ファイル151に記録する(ステップS334)。ここでの動作詳細は、上記[異常停止時の記録]に記載したとおりである。
そしてステップS324で無停電電源装置3の動作が検出されなかった、すなわちいずれのイベントも発生していなかった場合(ステップS323の“Yes”〜ステップS324の“No”)、ステップS321に戻って処理を繰り返す。
運用モードにおける以上の動作は、自動機械100の電源遮断が所定の時間だけ継続するまで続けられる。無停電電源装置3の動作が所定の時間に達し、主電源の遮断が継続していることが確認されたら、記録制御主体部6はすみやかに監視装置1の動作を終了させ、無停電電源装置3の放電による電力供給遮断に備える。
以上、この実施の形態1においては、起動時に動作モード決定部10が、外部デバイス検出部13によって検出されたUSBメモリ4の接続状態をもとに、監視装置1の動作モードを設定モードと運用モードとに切り替えることにより、出荷前には監視者による監視装置1の自由な設定・調整を可能としながら、出荷後には自動機械100の運用者が監視装置1を起動させたり、設定・調整を行ったりする手間を避けることができる。
また撮影制御部7は、記録制御部12が自動機械100の異常動作を検出した時に、カメラ5からの映像を映像ファイル151に保存することにより、異常の発生した瞬間の映像を残し、その発生原因の究明に供することができる。
さらに撮影制御部7は、記録制御部12が無停電電源装置3の動作を検出した時にも、カメラ5からの映像を映像ファイル151に保存することにより、自動機械100の電源遮断の原因となったかもしれない異常の発生した瞬間の映像を残し、その発生原因究明に供することができる。
この実施の形態1においては、所定のUSBメモリ4が監視装置1に接続されている場合にのみ動作モードを設定モードとすることで、監視装置1を設定・調整する権限を有する者を、特定の監視者のみに容易に限定することができる。またUSBメモリ4が監視装置1に接続されていない場合には動作モードを運用モードとし、自動的に動作を開始させることにより、USBメモリ4を所持する者が不在であっても、自動機械100の異常動作が発生した時には、その原因究明に必要な映像を残すことができる。
また小型・軽量のUSBメモリ4を外部デバイスとして用いることにより、監視装置1の保守を行う監視者が、監視装置1を使うのに必要な機材を運搬する労力を最小限に抑えることができる。
さらに監視装置1の動作モードを切り替えるUSBメモリ4に監視装置1に記録した映像ファイル151を外部に取り出すデバイスの機能を兼用させて、動作モードを運用モードから設定モードに切り替える際に、併せて監視装置1に記録された映像を外部に取り出すことを可能とし、監視者の作業効率が良好で利便性の高い監視システム1Aを提供することができる。
[発明の実施の形態2]
図8に、この発明の実施の形態2を示す。
図8に示すとおり、この実施の形態2の監視システム1Bにおいては、図1に示す発明の実施の形態1の監視システム1AにおけるUSBメモリ4に替えて、無線通信局31を備える。監視装置30と監視者用端末2との間は、無線通信局31を介して、「外部デバイス」としての無線通信32,32によって接続される。また、この実施の形態においては、「外部デバイス」として、映像ファイル151を受信・蓄積するネットワークファイルサーバ(図示せず)を備えている。
また、発明の実施の形態1の監視装置1のファイル出力インターフェース部18(図2参照)が備えるUSBポート181に替えて、監視装置30のファイル出力インターフェース部18が無線通信部182を備える。また発明の実施の形態1の監視者用端末2のUSBポート23に替えて、監視者用端末2が無線通信部24を備える。
無線通信部182、および無線通信部24は、映像ファイル151や各種データを無線で送受信するために必要な処理を行う。無線通信32は、無線LAN、インターネットなど、Wi−Fi、Bluetooth(登録商標)、赤外線通信など、どのようなものでもよい。なお、無線通信32の方式によっては、図8に示す無線通信局31が存在せず、監視装置30の無線通信部182と監視者用端末2の無線通信部24とが直接通信する形であってもよい。
この実施の形態2の監視システム1Bにおける無線通信局31は、監視装置30の無線通信部182との間、および監視者用端末2の無線通信部24との間でデータや信号を送受信し、監視装置30と監視者用端末2との無線通信を実現する。
この実施の形態2の監視装置30は、USBポート181に替えて無線通信部182を備える以外は、図2に示す、この実施の形態1の記録制御主体部6と同様の構成を備える。ただし、外部デバイス検出部13は、無線通信部182が無線通信局31または監視者用端末2の無線通信部24と通信可能に接続されたか否かを検出する。また動作モード決定部10は、無線通信部182が無線通信局31または監視者用端末2の無線通信部24と通信可能に接続されたか否かを基準に、監視装置30の動作モードを設定モードと運用モードとに切り替える。それ以外の構成は、発明の実施の形態1と同じである。
この実施の形態2においては、監視装置30と監視者用端末2との無線通信32の設定モードと運用モードとを切り替えることにより、動作モードの切り替えを遠隔操作によって簡易に行うことができるようになる。特に、設定モードにおいて、自動機械100の設置された場所から離れた場所で、それぞれのカメラ5,5,……,5(図2参照)の設定や調整、また、監視装置30の備える機能手段の設定や調整を、無線通信32を介して行うことができる。また、設定モードにおいて、監視装置1から監視者用端末2へ、無線通信32を介して映像ファイル151を移送させることができる。これにより、監視システム1Bを用いた自動機械100の監視や異常検出を遠隔地から迅速かつ容易に行うことができ、監視システム1Bによる自動機械100の監視や異常検出の利便性を高めることができる。
なお、この実施の形態2においては、監視装置30と監視者用端末2とを接続する構成として、無線通信32に代えて有線LANなどの有線通信を用いてもよい。 上記各実施の形態は本発明の例示であり、本発明が上記各実施の形態のみに限定されることを意味するものではないことは、いうまでもない。
1,30・・・監視装置
1A,1B・・・監視システム
2・・・監視者用端末
3・・・無停電電源装置
4・・・USBメモリ(外部デバイス)
5,5,5,……,5・・・カメラ(撮影手段)
6・・・記録制御主体部
7・・・撮影制御部(撮影制御手段)
8・・・カメラ映像プレビュー部
9・・・フレームメモリ
10・・・動作モード決定部(動作モード決定手段)
11・・・USBメモリ識別部
12・・・記録制御部(記録制御手段)
13・・・外部デバイス検出部(外部デバイス検出手段)
14・・・映像ファイル管理部
15・・・ファイル保持部
16・・・空き容量確認部
17・・・カメラ入力インターフェース部
18・・・ファイル出力インターフェース部
19・・・異常検出装置
20・・・ネットワーク
21・・・ディスプレイ
22・・・入力機器
23・・・USBポート
31・・・無線通信局
32・・・無線通信(外部デバイス)
100・・・自動機械
101,101,101・・・101・・・作動部分
151,151,151,……,151・・・映像ファイル
181・・・USBポート
182・・・無線通信部

Claims (8)

  1. 自動機械に組み込まれて動作し、前記自動機械で所定の事象が生じた時に、前記自動機械の作動部分の映像を記録する機能を有する監視装置であって、
    前記作動部分を撮影して映像を取得する撮影手段と、所定の事象が発生した時に前記撮影手段が取得した前記映像をファイルとしてファイル記録手段に保存する記録制御手段と、前記記録制御手段が作成する前記ファイルを保持するファイル保持手段とを有し、
    動作モードとして、少なくとも設定モードと運用モードとの二つを有し、
    所定の外部デバイスがアクセス可能な形で存在するかどうかを起動時に判定する外部デバイス検出手段と、前記外部デバイス検出手段の判定結果に応じて前記動作モードの一つを選択する動作モード決定手段とを有し、
    前記設定モードにおいて、前記監視装置に外部接続された入力機器および表示機器を介して監視者との対話的操作を可能にするユーザインタフェース手段を有し、
    前記運用モードにおいて、起動後に自動的に前記撮影手段および前記記録制御手段の動作を開始させ、撮影記録動作を開始させる自動動作開始手段を有することを特徴とする監視装置。
  2. 請求項1に記載の監視装置であって、
    前記外部デバイスがファイル保持機能を有し、
    前記監視装置が、前記運用モードにおいて、前記外部デバイスがアクセス可能になった時に、前記ファイル記録手段に保持されている前記ファイルのうち、少なくとも一部を前記外部デバイスにコピーまたは移動させるファイル取り出し手段を有することを特徴とする監視装置。
  3. 請求項2に記載の監視装置であって、
    前記監視装置が、特定の外部デバイスを一意に区別する識別情報を登録するデバイス識別情報登録手段を有し、
    前記外部デバイス検出手段が、検出された前記外部デバイスの前記識別情報を読み出し、あらかじめ前記デバイス識別情報登録手段に登録された前記識別情報と照合するデバイス識別情報照合手段を有し、
    前記デバイス識別情報照合手段の照合結果に応じ、前記動作モード決定手段が設定モードを選択することを禁止する動作モード制限手段を有し、
    前記デバイス識別情報照合手段の照合結果に応じ、前記ファイル取り出し手段が前記ファイルを前記外部デバイスにコピーまたは移動させることを禁止するファイル取り出し禁止手段を有することを特徴とする監視装置。
  4. 請求項1ないし請求項3のいずれかに記載の監視装置であって、
    前記監視装置が、無停電電源装置からの電源供給によって動作しており、
    前記記録制御手段が、前記無停電電源装置が停電を検出した時に前記撮影手段が取得した前記映像をファイルに保存することを特徴とする監視装置。
  5. 請求項1ないし請求項4のいずれかに記載の監視装置であって、
    前記ファイル記録手段による前記ファイルの保持状況を監視する映像ファイル管理手段を有し、
    前記映像ファイル管理手段が、前記ファイル記録手段の空き容量が所定の値を下回ったら、設定モードでは前記撮影手段または前記記録制御手段の動作を停止させて撮影記録動作を終了させるのに対し、運用モードでは古い前記ファイルを消去して撮影記録動作を継続させることを特徴とする監視装置。
  6. 前記外部デバイスがUSBメモリであることを特徴とする、請求項1ないし請求項5のいずれかに記載の監視装置。
  7. 前記外部デバイスがネットワークファイルサーバであることを特徴とする、請求項1ないし請求項5のいずれかに記載の監視装置。
  8. コンピュータを、請求項1ないし請求項7のいずれか一つに記載の監視装置として機能させることを特徴とするプログラム。
JP2018045303A 2018-03-13 2018-03-13 監視装置およびプログラム Active JP7138908B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018045303A JP7138908B2 (ja) 2018-03-13 2018-03-13 監視装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018045303A JP7138908B2 (ja) 2018-03-13 2018-03-13 監視装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2019161437A true JP2019161437A (ja) 2019-09-19
JP7138908B2 JP7138908B2 (ja) 2022-09-20

Family

ID=67996377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018045303A Active JP7138908B2 (ja) 2018-03-13 2018-03-13 監視装置およびプログラム

Country Status (1)

Country Link
JP (1) JP7138908B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH054299U (ja) * 1991-07-04 1993-01-22 松下電器産業株式会社 コントローラの設定器
JP2003022108A (ja) * 2001-07-10 2003-01-24 Yamazaki Mazak Corp 工作機械の異常管理装置
JP2009105515A (ja) * 2007-10-22 2009-05-14 Hitachi Ltd 監視装置
JP2015043153A (ja) * 2013-08-26 2015-03-05 沖電気工業株式会社 現金処理装置及びその制御方法
JP2016122319A (ja) * 2014-12-25 2016-07-07 因幡電機産業株式会社 工程監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH054299U (ja) * 1991-07-04 1993-01-22 松下電器産業株式会社 コントローラの設定器
JP2003022108A (ja) * 2001-07-10 2003-01-24 Yamazaki Mazak Corp 工作機械の異常管理装置
JP2009105515A (ja) * 2007-10-22 2009-05-14 Hitachi Ltd 監視装置
JP2015043153A (ja) * 2013-08-26 2015-03-05 沖電気工業株式会社 現金処理装置及びその制御方法
JP2016122319A (ja) * 2014-12-25 2016-07-07 因幡電機産業株式会社 工程監視装置

Also Published As

Publication number Publication date
JP7138908B2 (ja) 2022-09-20

Similar Documents

Publication Publication Date Title
WO2015045851A1 (ja) 作業支援システムおよび作業者支援方法
US20180149557A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
CN108391147B (zh) 显示控制装置和显示控制方法
JP6028032B2 (ja) 電気回路製造ライン支援システム
JP5293270B2 (ja) 撮影対象選択装置、撮影対象選択装置の制御方法、撮影対象選択装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7138908B2 (ja) 監視装置およびプログラム
JP2005204792A5 (ja)
JP2013033417A (ja) 端末監視装置及び端末監視システム並びにプログラム
JP2002182889A (ja) 制御用表示装置
JP2895269B2 (ja) プラント監視システム
US11676439B2 (en) Face authentication system and face authentication method
JP2022107675A (ja) 情報処理システム、情報処理システムの制御方法、およびプログラム
US11782661B2 (en) Monitoring control apparatus, monitoring control method, monitoring system, and medium
JP7098367B2 (ja) プログラムプロダクト及び監視制御システム並びに情報処理装置
KR20060047799A (ko) Cctv와 pos 통합시스템 및 이를 이용한 영상처리방법
TWM487495U (zh) 保全監視系統
WO2017103971A1 (ja) 情報処理装置、エレベータ装置及びプログラム更新方法
JP2018088579A (ja) 監視システム
US20130135485A1 (en) Electronic apparatus
JP2007096500A (ja) ナースコールシステム
JP6365284B2 (ja) 決済システム
JP2021022128A (ja) 画像形成装置およびデータ保護方法
KR100849518B1 (ko) 업무단위별 동영상과 디지털정보를 저장하는 시스템 및 그 방법
JP7271769B1 (ja) 高圧ガス設備監視システム及び高圧ガス設備監視方法
JP6112145B2 (ja) 端末制御装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R150 Certificate of patent or registration of utility model

Ref document number: 7138908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150