JP2022003488A - Image analysis communication device - Google Patents
Image analysis communication device Download PDFInfo
- Publication number
- JP2022003488A JP2022003488A JP2020108068A JP2020108068A JP2022003488A JP 2022003488 A JP2022003488 A JP 2022003488A JP 2020108068 A JP2020108068 A JP 2020108068A JP 2020108068 A JP2020108068 A JP 2020108068A JP 2022003488 A JP2022003488 A JP 2022003488A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- communication device
- unit
- image analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
Description
本発明は、所定の撮影エリアの画像データを取得し、その画像データを解析して撮像エリアに係る事項を認識し、その認識結果を送信する画像解析通信装置に関する。 The present invention relates to an image analysis communication device that acquires image data of a predetermined shooting area, analyzes the image data, recognizes matters related to the imaging area, and transmits the recognition result.
近年、所定の撮影エリアを撮影した画像データの認識結果を利用して、撮影エリアに係る施設の入退場をチェックすること、個人認証することなどのサービスが普及している。 In recent years, services such as checking the entrance / exit of facilities related to a shooting area and personal authentication by using the recognition result of image data shot in a predetermined shooting area have become widespread.
しかしながら、個人を特定できる画像データは、個人のプライバシーに係る個人情報を含むものであり、その画像データを適切なセキュリティの元に保護する社会的要求が高まっている。 However, the image data that can identify an individual includes personal information related to the privacy of the individual, and there is an increasing social demand for protecting the image data under appropriate security.
そうした社会的要求に答える形で個人情報を外部ネットワークに接続された装置に置かないといった対策が取られているシステムも存在しているが、上記のような撮影エリアに係る施設の入退場をチェックすること、個人認証することなどのサービスを行うシステムに利用される装置の場合、外部ネットワークとの通信接続を完全に遮断するとサービスそのものが成り立たないという問題がある。
サービスに必要な通信接続を保ちつつ、取得した画像データを適切に保護できる画像解析通信装置を提供することが課題となっていた。
There are systems that take measures such as not placing personal information on devices connected to external networks in response to such social demands, but check the entrance and exit of facilities related to the shooting area as described above. In the case of a device used for a system that performs services such as performing and personal authentication, there is a problem that the service itself cannot be established if the communication connection with the external network is completely cut off.
The challenge has been to provide an image analysis communication device that can appropriately protect the acquired image data while maintaining the communication connection required for the service.
特許文献1には、クライアント側で取得した情報の特徴量を抽出した上で、パブリックネットワークの入り口となる複数のエッジサーバから1つを選択して特徴量辞書との照合を行い、照合結果のみをパブリックネットワークを介してクラウドに送信するシステムが記載されている。 In Patent Document 1, after extracting the feature amount of the information acquired on the client side, one is selected from a plurality of edge servers which are the entrances of the public network and collated with the feature amount dictionary, and only the collation result is obtained. Is described as a system that sends information to the cloud via a public network.
ここで、特に人物画像や声等を送信する場合は、パブリックネットワークに上る前に、データから個人情報を落とすことに加え、エッジサーバの接続先が動的に変更されることにより個人情報の漏えいリスクを低減できるとも、記載されている。
しかしながら、人物画像等の情報が存在するクライアントマシン自体を防御する事項についての記載はなく、情報を取得するクライアント側の個人情報等漏洩の危険への対処という課題がある。
Here, especially when transmitting a person image, voice, etc., personal information is leaked by dynamically changing the connection destination of the edge server in addition to dropping personal information from the data before going up to the public network. It is also stated that the risk can be reduced.
However, there is no description about the matters to protect the client machine itself in which the information such as a person image exists, and there is a problem of dealing with the risk of leakage of personal information etc. on the client side for acquiring the information.
本発明の課題は、内部関係者等の悪意または過誤による装置自身の外部ネットワークへ画像データを漏洩すること、あるいは外部の不正者からハッキングにより不正取得されること等の画像流出に対する防御機能を備え、その画像データの認識結果だけを外部ネットワークに送信する画像解析通信装置を提供することである。 An object of the present invention is to provide a protective function against image leakage such as leakage of image data to the external network of the device itself due to malicious or error by an insider or the like, or unauthorized acquisition by hacking from an external unauthorized person. The present invention is to provide an image analysis communication device that transmits only the recognition result of the image data to an external network.
本発明の第一の観点では、撮影ユニットと、前記撮影ユニットで撮影された画像データに含まれる生物の全体もしくは部位を、ディープラーニングを使用して、認識をする認識プロセッサを含む認識ユニットと、前記認識ユニットの認識結果であるメタデータを送出する通信ユニットと、前記画像データの伝送をフィルターする画像ブロッキングユニットとを含む画像解析通信装置であって、前記認識ユニットと前記通信ユニットとの間のデータ伝送路が前記画像ブロッキングユニットで分離されていることを特徴とする画像解析通信装置が提供される。 From the first aspect of the present invention, the photographing unit, a recognition unit including a recognition processor that recognizes the whole or a part of a living body included in the image data photographed by the photographing unit by using deep learning, and a recognition unit. An image analysis communication device including a communication unit that sends out metadata that is a recognition result of the recognition unit and an image blocking unit that filters the transmission of the image data, and is between the recognition unit and the communication unit. An image analysis communication device is provided, wherein the data transmission path is separated by the image blocking unit.
前記画像ブロッキングユニットが、前記画像データをブロッキングするAPIで提供される、としてもよい。
ここでAPIとは、アプリケーションプログラムインタフェース(Application Programming Interface)であって、画像ブロッキング機能を本願装置外部のシステム等や本願装置内部のアプリケーションに対して提供し、自由な通信を阻害する。例えば、API呼出に対する返信として送出するデータの属性、取得先等が規定されることにより、内部関係者が上記メタデータのテキスト配列にエンコードした画像を入れてデータ漏洩することを阻止するようにAPIが機能する。
The image blocking unit may be provided by an API that blocks the image data.
Here, the API is an application programming interface, which provides an image blocking function to a system outside the device of the present application or an application inside the device of the present application, and hinders free communication. For example, by defining the attributes of the data to be sent as a reply to the API call, the acquisition destination, etc., the API is designed to prevent insiders from leaking the encoded image in the text array of the above metadata. Works.
前記認識が、個人認識である、としてもよい。 The recognition may be an individual recognition.
前記認識が、生体数認識である、としてもよい。 The recognition may be the recognition of the number of living organisms.
前記認識が、動作検知である、としてもよい。 The recognition may be motion detection.
前記画像ブロッキングユニットが稼働中であることを装置外部に知らしめる表示装置を具備する、としてもよい。 It may be provided with a display device for notifying the outside of the device that the image blocking unit is in operation.
以下、本発明の具体例につき図面を用いた実施例において説明する。 Hereinafter, specific examples of the present invention will be described in examples using drawings.
(ハードウエア構成)
図1は、本実施例の画像解析通信装置のハードウエア構成図である。
画像解析通信装置1001は、CPU(Central Processing Unit)1002、メモリ1003、ストレージ1004、カメラインタフェース1005、イメージセンサ1006、通信インタフェース1007、機器インタフェース1008、表示装置1009そしてこれらを直接または間接的に接続するデータバス1010というハードウエアをそれぞれ少なくとも1つ含んでいる。
(Hardware configuration)
FIG. 1 is a hardware configuration diagram of the image analysis communication device of this embodiment.
The image
CPU1002は、メモリ1003やストレージ1004に格納されたプログラムを実行し、他のデバイスと協働して、後で示す画像解析通信装置の機能を実現する。
The
メモリ1003は、後で示すプログラムを格納したり、これらプログラムに係るデータを格納したりすることが可能なCPUの作業領域であり、RAM(Random Access Memory)が採用される。
The
ストレージ1004は、通信プログラムを含む少なくとも1つのシステムプログラムとシステム制御に係るデータを格納するシステムプログラム領域1011、少なくとも1つの画像ブロッキングプログラムと画像ブロッキングに係るルール等を格納する画像ブロッキングプログラム領域1012、そして少なくとも1つの認識プログラムと認識モデルデータ等を格納する認識プログラム領域1013を備えている。
The
本発明に係るプログラムやデータの格納方式は、ここで例示したストレージへの格納に限定されるものではなく、例えば、ROM(Read Only Memory)に格納する方式、特にストレージを設けずメモリに格納する方式などが、本発明の趣旨に沿ったものであれば適宜採用されうる。 The storage method of the program or data according to the present invention is not limited to the storage in the storage exemplified here, and is, for example, a method of storing in ROM (Read Only Memory), in particular, storing in memory without providing storage. If the method or the like is in line with the gist of the present invention, it can be appropriately adopted.
イメージセンサ1006は、例えば、USB接続可能なWebカメラ、ネットワーク接続可能なネットワークカメラ、デジタルカメラで利用されるイメージセンサ等でよい。また、赤外線センサやレーザーセンサなどの特殊なセンサを用いてもよい。画像解析通信装置1001を設置する場所や画像取得する対象に応じて、イメージセンサのタイプが適宜選択されうる。
カメラインタフェース1005として、イメージセンサとして選択した機器の接続可能なインタフェースが適宜採用される。
イメージセンサ1006としてネットワークカメラを採用した場合、このネットワークカメラは画像解析通信装置が接続するネットワークと同一ネットワーク上にあればよい。
The
As the
When a network camera is adopted as the
通信インタフェース1007は、所定の通信プロトコルをサポートし、CPU1002によって実行された通信プログラムと協働して、画像解析通信装置1001を外部ネットワーク1000に通信接続させる。
ここで、上記通信プロトコルとして、例えばTCP/IPが採用されうる。
The
Here, for example, TCP / IP may be adopted as the communication protocol.
表示装置1009は、例えば、LED(light emitting diode)ライトでよいし、「画像ブロッキング動作中」等の画面表示する液晶ディスプレイでもよい。また、「画像ブロッキング動作中」であることを示す音声を出力する音声発声装置であってもよい。
The
(論理構成)
図2は、本実施例の画像解析通信装置の論理構成図である。
画像解析通信装置1001の主要な論理構成要素は、通信インタフェースモジュール2001、ユーザインタフェース2002、システム制御モジュール2003、画像ブロッキングバーチャルマシン(以下、画像ブロッキングVMという。)2004、画像ブロッキングVMをリソースとするAPIエンドポイント2005、認識バーチャルマシン(以下、認識VMという。)2006、画像取得モジュール2008、表示モジュール2009である。
(Logical structure)
FIG. 2 is a logical configuration diagram of the image analysis communication device of this embodiment.
The main logical components of the image
通信インタフェースモジュール2001は、CPU1002がシステムプログラム領域1011に格納された通信プログラムを実行し、通信インタフェース1007と協働することにより実現された仮想ルーター2010と仮想スイッチ2011から構成される。
仮想ルーター2010は、所定の通信プロトコルによる通信により外部ネットワークとの接続をサポートする。ここで、所定の通信プロトコルとして、例えばTCP/IPが採用されうる。
仮想スイッチ2011は、所定の通信プロトコルによる通信により内部ネットワークをサポートする。ここで、所定の通信プロトコルとして、例えばTCP/IPが採用されうる。
The
The
The
ユーザインタフェース2002は、CPU1002がシステムプログラム領域1011に格納されたシステムプログラムを実行することにより、外部ネットワーク1000上のノードからアクセスしてくるユーザシステムあるいはユーザ端末に対して、本画像解析通信装置のシステム制御モジュール2003に係る設定画面を提供する。
The
(画像ブロッキングバーチャルマシン)
画像ブロッキングVM2004は、CPU1002が画像ブロッキングプログラム領域1012に格納された画像ブロッキングプログラムを実行することにより実現された仮想フィルタリング回路である。
この仮想フィルタリング回路は、認識VMの認識によって生成された認識結果データを画像データと分離して受信し、通信インタフェースモジュールに送信するフィルタリング・プロセスを実行する。
(Image blocking virtual machine)
The
This virtual filtering circuit executes a filtering process that receives the recognition result data generated by the recognition of the recognition VM separately from the image data and sends it to the communication interface module.
また、画像ブロッキングVM2004は、所定の認識対象を認識した認識VMからの呼出に対して、認識により画像データから分離された認識結果データのみを通信インタフェースモジュールに送信する画像ブロッキング機能を提供するAPIとして構成される。
ここでは、認識VMの画像認識をトリガとする呼出で機能する方式を採用したが、本願発明の画像ブロッキング機能呼出のトリガはこれに限定されるものではない。例えば、外部ネットワーク1000からの呼出に応じて、認識VMから認識データのみを分離して受信し、通信インタフェースモジュールに送信する方式などが適宜採用されうる。
Further, the
Here, a method that functions by a call triggered by image recognition of the recognition VM is adopted, but the trigger of the image blocking function call of the present invention is not limited to this. For example, in response to a call from the
APIエンドポイント2005は、内部ネットワークの認識VMあるいは外部ネットワーク上のノードからのAPI呼出の宛先であり、上記フィルタリング・プロセスにより認識結果データを出力するゲートウェイとなる。画像ブロッキングVMから通信インタフェースモジュール2001へのデータ伝送は、仮想スイッチ2011にサポートされた内部ネットワークを経由して伝送される。説明の便宜のために、この内部ネットワークにより形成される伝送路2016を第1の伝送路と呼ぶこととする。
The
ここで提供されるAPIは、引数を限定した呼出に応じて、認識結果データで構成されたレスポンスデータを通信インタフェースモジュールに送信するストリクトAPIとして提供されている。
このAPIの規定により、レスポンスデータのデータフォーマット及びデータ構造が定められており、外部のユーザ等は勿論のこと、内部関係者がAPIの規定に含まれないデータをレスポンスデータに含ませることもブロッキングされている。
内部関係者が画像解析通信装置内に不正のプログラム等を入れても、APIがブロッキングポイントとなって、画像データが漏洩されることを防ぐ効果がある。
また、引数を限定したAPIは、引数に悪意のコマンドを注入するなどの外部からの攻撃により画像ブロッキング機能が無効化される危険も未然に防ぐ効果を有する。
The API provided here is provided as a strict API that sends response data composed of recognition result data to the communication interface module in response to a call with limited arguments.
The data format and data structure of the response data are defined by this API specification, and it is blocking that not only external users but also internal parties include data that is not included in the API specification in the response data. Has been done.
Even if an insider puts an unauthorized program or the like in the image analysis communication device, the API becomes a blocking point and has the effect of preventing the image data from being leaked.
In addition, the API with limited arguments has the effect of preventing the risk of the image blocking function being invalidated by an external attack such as injecting a malicious command into the argument.
また、上記フィルタリング回路には、表示装置ドライバー2010がバーチャルに備えられており、フィルタリング・プロセスの動作中において、表示モジュール2009に表示命令を送信される。
Further, the filtering circuit is virtually provided with a
(認識バーチャルマシン)
認識VM2006は、CPU1002が認識プログラム領域1013に格納された認識プログラムを実行することによりエミュレートされた仮想プロセッサ2011、認識命令セット2014及び認識モデルデータ2015を記憶した第2の仮想メモリ2012そしてカメラドライバー2013により動作する。
ここで、認識VM2006は、CPU1002によって実行中のプロセスであるが、他のプログラム領域のプログラムのプロセスとは、論理的に分離独立して存在するバーチャルマシンである。
(Recognition virtual machine)
The
Here, the
認識VMと画像ブロッキングVMとの間は、プロセス間通信によって接続している。この接続によるデータ伝送路2007を第2の伝送路と呼ぶこととする。
先に説明した第1の伝送路2016と第2の伝送路2007とにより、通信インタフェースモジュールから認識VMへの伝送路が形成されている。そして、第1の伝送路と第2の伝送路の間に画像ブロッキングVMが存在し、2つの伝送路が分離されている。
ここで、プロセス間通信の方式として、例えば、プロセスとしての画像ブロッキングVMと認識VMとのそれぞれに専用のメモリ空間を割り当てる方式が採用されうる。それぞれのバーチャルマシンに係るメモリが分離されるので、バーチャルマシン同士の分離独立性が強くなる。
上記プロセス間通信に代えて、TCP/IP等のプロトコルによるネットワーク通信によって、第2の伝送路2007が構成されるとしてもよい。
The recognition VM and the image blocking VM are connected by interprocess communication. The
The
Here, as a method of interprocess communication, for example, a method of allocating a dedicated memory space to each of the image blocking VM and the recognition VM as a process can be adopted. Since the memory related to each virtual machine is separated, the independence of the virtual machines becomes stronger.
Instead of the interprocess communication, the
仮想プロセッサ2011は、認識命令セット2014を実行することにより、認識モデル2015を使って、画像取得モジュール2008から受信した画像データを解析し、その画像データに含まれる対象を認識する。
By executing the
ここで認識モデル2015は、予め設定した認識対象を深層学習させた多層ニューラルネットワークから構成される。この多層ニューラルネットは、認識命令セットの実行による認識プロセスにおいて、認識プロセスから画像データの入力を受けて画像データに含まれる認識対象に係る特徴を解析し、さらに解析結果を判断して認識対象に対する認識結果データを生成し、画像データのメタデータとして、認識プロセスに出力する。
ここで認識として、例えば、認識対象を人や動物として個体数を認識する生体数認識、認識対象を顔や生体部位として個人認証等をする個人認識、認識対象を動作として認識する動作検知など様々なタイプの認識が採用されうる。画像データの認識結果データの構成は、画像解析通信装置を適用する目的に応じて、適宜変更されうる。
Here, the
Here, as recognition, for example, there are various types of recognition such as biological number recognition that recognizes the number of individuals as a human or animal, personal recognition that recognizes the recognition target as a face or a biological part, and motion detection that recognizes the recognition target as an action. Types of recognition can be adopted. The composition of the recognition result data of the image data can be appropriately changed depending on the purpose of applying the image analysis communication device.
(画像取得モジュール)
画像取得モジュール2008は、イメージセンサ1006とカメラインタフェース1005から構成され、所定の撮影エリアの画像データを取得し、カメラドライバー2013を介して、画像認識VM2006に送信する。
(Image acquisition module)
The
(表示モジュール)
表示モジュール2009は、表示装置1009と機器インタフェース1008から構成され、表示装置ドライバー2010を介して、画像ブロッキングVM2004からの表示命令を受信して、所定の表示動作を実行する。
(Display module)
The
(機能構成)
図3は、本実施例の画像解析通信装置の画像処理に係る機能構成を示したブロック図である。
画像解析通信装置1001は、通信ユニット3001、第1の伝送路3002、画像ブロッキングユニット3003、第2の伝送路3004、認識ユニット3005、撮影ユニット3006そして表示ユニット3007という機能ブロックから構成される。
(Functional configuration)
FIG. 3 is a block diagram showing a functional configuration related to image processing of the image analysis communication device of this embodiment.
The image
通信ユニット3001は、通信インタフェースモジュール2001とユーザインタフェース2002から構成され、装置外部の外部ネットワーク1000との通信接続を実行し、さらにシステム制御のためのユーザインタフェース機能を提供する。
The
第1の伝送路3002は、先の論理構成の説明で示した通り、通信インタフェースモジュール2001を構成する仮想スイッチ2011にサポートされた、APIエンドポイント2005と仮想スイッチ2011とを結ぶ内部ネットワークの通信で構成される。API呼出を受けて、通信ユニット3001に対して認識結果データを出力する伝送路となる。
通信ユニット側から見ると、画像ブロッキングユニットはAPIとして構成されており、画像ブロッキングユニット内のプロセスは、通信ユニットと分離されている。
The
Seen from the communication unit side, the image blocking unit is configured as an API, and the processes in the image blocking unit are separated from the communication unit.
画像ブロッキングユニット3003は、画像ブロッキングVM2004によって構成され、フィルタリング・プロセスにより画像データから分離された認識結果データのみを認識ユニット3005から受信して通信ユニット3001に伝送する。
フィルタリング・プロセスの実行時において、画像ブロッキングユニット3003は、表示ユニット3007に表示命令を送信する。
本実施例では、画像ブロッキングユニットとして画像ブロッキングVMによる構成が採用されているが、本発明の画像ブロッキングユニットの構成は適宜変更されうる。本発明の画像ブロッキングユニットとして、物理的に構成されたフィルタリング回路等が適宜採用されうる。
The
At the time of executing the filtering process, the
In this embodiment, the configuration by the image blocking VM is adopted as the image blocking unit, but the configuration of the image blocking unit of the present invention can be changed as appropriate. As the image blocking unit of the present invention, a physically configured filtering circuit or the like can be appropriately adopted.
第2の伝送路3004は、プロセス間通信によって構成される論理的伝送路であり、先の論理構成の説明で示した通りである。認識ユニット3005と画像ブロッキングユニット3003との間のデータ伝送路となる。
また、プロセス間通信に代えて、ネットワーク通信によって第2の伝送路が構成されるとしてもよい。
The
Further, instead of interprocess communication, a second transmission line may be configured by network communication.
認識ユニット3005は、認識VM2006によって構成される。認識VMによって、撮影ユニット3006が取得した画像データが解析され、所定の認識対象が認識される。認識結果は、APIとして提供された画像ブロッキングユニット3003の機能によってフィルタリングされて、認識結果データのみが通信ユニット3001に送信される。
認識結果データの送信は、認識VM自身よる認識をトリガとする呼出又は外部ネットワークからの呼出をトリガに実行される。
本実施例では、認識ユニットとして認識VMによる構成を採用しているが、本発明の認識ユニットとして物理的プロセッサと物理的メモリによるリアルなコンピュータによる構成を採用するなど、本発明の認識ユニットの構成を適宜変更してもよい。
The
The transmission of the recognition result data is executed triggered by a call triggered by recognition by the recognition VM itself or a call from an external network.
In the present embodiment, the configuration by the recognition VM is adopted as the recognition unit, but the configuration of the recognition unit of the present invention is adopted, for example, by adopting the configuration by a real computer by the physical processor and the physical memory as the recognition unit of the present invention. May be changed as appropriate.
撮影ユニット3006は、画像取得モジュール2008から構成され、予め設定したエリアの画像データを取得し、認識ユニット3005に送信する。
The photographing
表示ユニット3007は、表示モジュール2009から構成され、画像ブロッキングユニットからの表示命令に従って表示動作をする。
The
(画像認識をトリガに認識結果を送信する構成の動作)
図4は、認識VMの画像認識をトリガに認識結果を送信する構成を採用した場合における画像解析通信装置の動作を示したフローチャートである。
画像解析通信装置の動作が開始されると、画像取得ステップ4001となり、認識ユニット3005は、撮影ユニット3006から、所定の間隔で画像データを取得する。
(Operation of the configuration that sends the recognition result triggered by image recognition)
FIG. 4 is a flowchart showing the operation of the image analysis communication device when a configuration is adopted in which the recognition result is transmitted by using the image recognition of the recognition VM as a trigger.
When the operation of the image analysis communication device is started, the
解析・認識ステップ4002において、認識ユニット3005は、画像データを解析し、予め設定した認識対象が存在する場合、解析の結果を判断し、画像のメタデータとして認識結果データを生成し、画像データと分離する。
In the analysis /
認識対象の認識が無い場合、画像解析通信装置の動作は、画像取得ステップ4001に戻る。
認識が有る場合、その動作は、呼出ステップ4003に移る。
If there is no recognition of the recognition target, the operation of the image analysis communication device returns to the
If there is recognition, the operation moves to the
呼出ステップ4003において、認識ユニット3005は、画像ブロッキングユニット3003に対してAPI呼出をする。
In the
画像ブロッキングステップ4004において、画像ブロッキングユニット3003は、認識ユニットにおけるデータから認識結果データのみを分離して、第1の伝送路3002を介し通信ユニット3001に認識結果データを出力する。
In the
送信ステップ4005において、通信ユニット3001は、外部ネットワーク1000における所定の送信先に認識結果データを送信する。
In the
以上のようなステップに従って、外部ネットワーク1000のユーザが認識結果データのみを取得するように、画像解析通信装置を動作させることができる。
According to the above steps, the image analysis communication device can be operated so that the user of the
ここでは、認識結果データを送信するトリガを装置内部における認識とする構成を採用したが、本願発明の装置の構成として、外部からの呼出をトリガに認識結果を送信する構成も採用されうる。 Here, a configuration is adopted in which the trigger for transmitting the recognition result data is recognized inside the device, but as the configuration of the device of the present invention, a configuration in which the recognition result is transmitted by using a call from the outside as a trigger can also be adopted.
(外部からの呼出をトリガに認識結果を送信する構成の動作)
外部からの呼出をトリガとする場合、画像解析通信装置の動作が開始されると、画像解析通信装置を構成する各ユニットが起動して、外部ネットワークからのAPI呼出を受けられる状態になる。
(Operation of the configuration that sends the recognition result triggered by a call from the outside)
When a call from the outside is used as a trigger, when the operation of the image analysis communication device is started, each unit constituting the image analysis communication device is activated, and the API call from the external network is received.
次に、通信ユニット3001がAPI呼出を受信すると、画像ブロッキングユニット3003は、認識ユニット3005に対して認識開始の依頼を送信する。
上記依頼を受信した認識ユニット3005は、撮影ユニット3006から、画像データを取得し、画像データを解析し、解析の結果を判断し、画像のメタデータとして認識結果データを生成し、画像データと分離する。
Next, when the
Upon receiving the above request, the
次に、画像ブロッキングユニット3003は、分離された認識結果データのみを第2の伝送路3004を介し認識ユニット3005から受信し、API呼出の返信として認識結果データを通信ユニット3001に出力する。当該データを受けた通信ユニットは、呼出元に当該データを返信する。
Next, the
以上のように、外部ネットワーク1000のユーザが認識結果データのみを取得するように、画像解析通信装置を動作させることもできる。
As described above, the image analysis communication device can be operated so that the user of the
いずれの構成を採用しても、認識ユニットから通信ユニットへのデータ伝送という観点から見ると、認識結果データを送信する伝送路は画像ブロッキングユニット3003によって第1の伝送路3002と第2の伝送路3004とに分離されている。
ここで、撮影ユニットから認識ユニットに送信される画像データは、画像ブロッキングユニットによって認識ユニット側に閉じ込められている。つまり、撮影した画像データが画像ブロッキングユニットの内側に閉じ込められるサンドボックス効果を有する。
Regardless of which configuration is adopted, from the viewpoint of data transmission from the recognition unit to the communication unit, the transmission lines for transmitting the recognition result data are the
Here, the image data transmitted from the photographing unit to the recognition unit is confined on the recognition unit side by the image blocking unit. That is, it has a sandbox effect in which the captured image data is confined inside the image blocking unit.
(出席管理システムへの適用)
実施例2は、出席管理向けに構成した画像解析通信装置を利用した出席管理システムの例である。
ここでは、実施例1で説明した画像解析通信装置の構成の一部が本システムの目的に沿って最適化され、変形されている。そうした最適化や変形を除く、実施例1と共通する部分については、以下の説明では省略される。
(Application to attendance management system)
The second embodiment is an example of an attendance management system using an image analysis communication device configured for attendance management.
Here, a part of the configuration of the image analysis communication device described in the first embodiment is optimized and modified according to the purpose of the system. Except for such optimization and modification, the parts common to the first embodiment are omitted in the following description.
図5は、本実施例の画像解析通信装置を適用した出席管理システムを示す模式図である。
会議室5000、会議室の入口5001、入室済みの会議メンバー5002、画像ブロッキング動作中は点灯するLEDライト5003を備えた画像解析通信装置5004、入室しようとする会議メンバー5005、外部ネットワーク5006、出席管理サーバ5007、出席管理者5008そして出席管理者の通信端末5009というシステム構成である。
FIG. 5 is a schematic diagram showing an attendance management system to which the image analysis communication device of this embodiment is applied.
画像解析通信装置5004は、その撮影エリアが入口を入ろうとする人の顔が含まれるように設定されている。また、この画像解析通信装置は、実施例1で説明した画像認識をトリガに認識結果を送信する画像解析通信装置と同様の構成が採用されており、予め深層学習することにより会議メンバーの顔を認識するように作成された学習モデルが組み込まれており、画像データを取得し、画像データに含まれる顔領域から会議メンバーの個人認識をして、画像データのメタデータである認識結果として「認識された会議メンバー」の識別情報を出席管理サーバに送信する。
The image
図6は、画像解析通信装置5004に係る深層学習と認識モデルの組み込みの手順を示した模式図である。認識対象となる会議メンバー6001の画像をイメージセンサ6002により複数回取得し、多層ニューラルネットワークを格納するトレーニングコンピュータ6003に、会議メンバーの識別情報と取得画像をペアとした教師データとして読み込ませ、学習する。ここで認識の頑健さを担保するため会議メンバーとは異なる人や事物の画像に係るデータも教師データに含ませるなどの手法を採用してもよい。
FIG. 6 is a schematic diagram showing a procedure for incorporating a deep learning and recognition model according to the image
トレーニングコンピュータ6003における深層学習によって生成された認識モデル6004は、画像解析通信装置5004におけるストレージ6005の認識プログラム領域6006に記憶される。
The
出席管理サーバ5007は、画像解析通信装置5004から送信された認識結果データに対応する会議メンバーの出欠情報を更新する。
出席管理者5008は、通信端末5009によって出席管理サーバ5007にアクセスし、会議メンバーの出欠情報を閲覧し、会議の現場である会議室に居なくても、遠隔で会議の出席状況を把握することができる。
The
The
図7は、本実施例の出席管理システムの出席管理動作を示したフローチャートである。
画像取得ステップ7001において、画像解析通信装置5004によって、撮影エリアの画像が取得される。
解析・認識ステップ7002において、画像解析通信装置5004によって、取得された画像が解析され、その画像領域に会議メンバーが存在すれば、認識される。
FIG. 7 is a flowchart showing the attendance management operation of the attendance management system of this embodiment.
In the
In the analysis /
認識が無い場合、システムの動作は、画像取得ステップ7001に移り、所定の間隔で画像取得が繰り返される。
認識が有る場合、システムの動作は、認識結果送信ステップ7003に移る。
If there is no recognition, the operation of the system shifts to the
If there is recognition, the operation of the system shifts to the recognition
認識結果送信ステップ7003において、画像解析通信装置5004によって、会議メンバーについての個人認識の結果が出席管理サーバ5007に送信される。このとき、LEDライト5003が点灯する。
出欠情報更新ステップ7004において、出席管理サーバ5007によって、出欠管理情報が更新される。
In the recognition
In the attendance
以上のような動作フローにより、会議メンバーが認識される毎に出欠管理情報が更新される。出席管理者5008は、通信端末5009により出席管理サーバ5007にアクセスすることにより、最新の出席状況を把握して管理することができる。また、会議メンバーの方でも、出席管理のために取得された自身の画像データがブロッキングされて、個人データがガードされていることを表示ユニットであるLEDライト5003の点灯動作により確認することができる。
With the above operation flow, the attendance management information is updated every time the conference member is recognized. The
(混雑管理システムへの適用)
実施例3は、混雑把握向けに構成した画像解析通信装置を利用した混雑管理システムの例である。ここでは、実施例1で説明した画像解析通信装置の構成の一部が本システムの目的に沿って最適化され、変形されている。そうした最適化や変形を除く、実施例1と共通する部分については、以下の説明では省略される。
(Application to congestion management system)
The third embodiment is an example of a congestion management system using an image analysis communication device configured for congestion grasping. Here, a part of the configuration of the image analysis communication device described in the first embodiment is optimized and modified according to the purpose of the system. Except for such optimization and modification, the parts common to the first embodiment are omitted in the following description.
図8は、本実施例の画像解析通信装置を適用した混雑管理システムを示す模式図である。
部屋8000、部屋の利用者8001、画像ブロッキング動作中は点灯するLEDライト8002を備えた画像解析通信装置8003、外部ネットワーク8004、混雑管理者8005そして混雑管理者の通信端末8006というシステム構成である。
FIG. 8 is a schematic diagram showing a congestion management system to which the image analysis communication device of this embodiment is applied.
The system consists of a
画像解析通信装置8003は、部屋8000の内部が撮影エリアに含まれるように設定されている。また、この画像解析通信装置は、実施例1で説明した外部からの呼出をトリガに認識結果を送信する構成の画像解析通信装置と同様の構成が採用されており、予め深層学習することにより撮影エリア内の人間の生体数を認識するように作成された学習モデルが組み込まれている。この画像解析通信装置は、通信端末8006からのAPI呼出に応じて画像データを取得し、画像データに含まれる人間を認識して、画像データのメタデータである認識結果として生体数を通信端末に送信する。
混雑管理者8005は、所望の時間に通信端末8006を操作して、画像解析通信装置のAPI呼出をすることにより、部屋8000の混雑の指標となる生体数を返信として取得することができる。
画像ブロッキングユニットが稼働中である場合、表示ユニットが表示動作をするので、室内にいる人間は、自身の画像データが外部に流出されるのがブロッキングされて個人情報保護されていることを確認することができる。
The image
By operating the
When the image blocking unit is in operation, the display unit performs the display operation, so the person in the room confirms that the leakage of his / her image data is blocked and the personal information is protected. be able to.
図9は、画像解析通信装置8003に係る深層学習と認識モデルの組み込みの手順を示した模式図である。認識モデル生成用に準備した部屋9000に認識対象となる人間9001の画像をイメージセンサ9002により複数回取得し、多層ニューラルネットワークを格納するトレーニングコンピュータ9003に、正解となる人数と取得画像をペアとした教師データとして読み込ませ、学習する。ここで認識の頑健さを担保するため家具等の人間でない物が含まれる画像に係るデータも教師データに含ませるなどの手法を採用してもよい。
FIG. 9 is a schematic diagram showing a procedure for incorporating a deep learning and recognition model according to the image
トレーニングコンピュータ9003における深層学習によって生成された認識モデル9004は、画像解析通信装置8003におけるストレージ9005の認識プログラム領域9006に記憶される。
The
ここでは、人間の混雑を把握するシステムとしているが、人間に限らず動物を対象として、例えば、動物園の飼育室の密集度を把握するシステムとしてもよい。 Here, the system is used to grasp the congestion of humans, but it may be a system for grasping the density of breeding rooms in a zoo, for example, not only for humans but also for animals.
(スイッチシステム)
実施例4は、動作検知向けに構成した画像解析通信装置を利用したスイッチシステムの例である。
ここでは、実施例1で説明した画像解析通信装置の構成の一部が本システムの目的に沿って最適化され、変形されている。そうした最適化や変形を除く、実施例1と共通する部分については、以下の説明では省略される。
本実施例のシステムは、画像解析通信装置による認識結果データを部屋の設備をコントロールするスイッチ動作のトリガとして利用する。
(Switch system)
The fourth embodiment is an example of a switch system using an image analysis communication device configured for motion detection.
Here, a part of the configuration of the image analysis communication device described in the first embodiment is optimized and modified according to the purpose of the system. Except for such optimization and modification, the parts common to the first embodiment are omitted in the following description.
The system of this embodiment uses the recognition result data from the image analysis communication device as a trigger for the switch operation to control the equipment in the room.
図10は、本実施例の画像解析通信装置を適用したスイッチシステムを示す模式図である。
室内10000、体の部位の所定の動作10002をするユーザ10001、画像ブロッキング動作中は点灯するLEDライト10003を備えた画像解析通信装置10004、外部ネットワーク10005、室内設備コントローラ10006、ブラインド10007、照明10008そして空調装置10009というシステム構成である。
ユーザ10001は、画像解析通信装置10004に向けて、所定の動作をしているところである。ここで画像解析通信装置10004は、動作中は常に画像撮影し、認識し、認識結果データを、外部ネットワーク10005を介して、室内設備コントローラ10006に送信するように設けられている。
FIG. 10 is a schematic diagram showing a switch system to which the image analysis communication device of this embodiment is applied.
Indoor 10000,
ブラインド10007は、例えば、電動式巻き上げ機能を備えたブラインドであり、外部ネットワーク10005を介して接続した室内設備コントローラ10006からの動作命令により動作する。照明機器10008も同様に室内設備コントローラからの命令により点灯/消灯動作する。さらに、正面の壁上部には、空調設備10009が備えられ、同様に室内設備コントローラからの命令により動作する。
The blind 10007 is, for example, a blind having an electric winding function, and operates by an operation command from an
画像解析通信装置10004の機能を構成する第1の伝送路は、プロセス間通信によって構成されている。通信ユニットは、通信インタフェースモジュールを含むシステム制御バーチャルマシンとして構成され、画像ブロッキングユニットとは、プロセス間通信により内部通信する。
ここで、プロセス間通信に代えて、ネットワーク通信により内部通信が構成されるとしてもよい
認識ユニットにおける認識は手という生体部分についての動作検知であり、撮影ユニットに用いるイメージセンサとして、例えば、赤外線センサを採用してもよい。
赤外線センサを採用することにより、室内が暗い場合でもスイッチ機能を損なわれない効果がある。
ここでは手という人の部位の動作をスイッチシステムで利用する動作として採用しているが、本発明で採用可能な生体部位はこれに限定されるものではない。例えば、首の動作、足の動作あるいは頭の動作などが適宜採用されうる。
The first transmission line constituting the function of the image
Here, instead of interprocess communication, internal communication may be configured by network communication. Recognition in the recognition unit is motion detection for the biological part of the hand, and as an image sensor used in the photographing unit, for example, an infrared sensor. May be adopted.
By adopting an infrared sensor, there is an effect that the switch function is not impaired even when the room is dark.
Here, the movement of the human part called the hand is adopted as the movement used in the switch system, but the biological part that can be adopted in the present invention is not limited to this. For example, neck movements, foot movements, head movements, and the like can be appropriately adopted.
画像解析通信装置10004は、室内のユーザの動作が撮影エリアに含まれるように設定されている。また、この画像解析通信装置は、実施例1で説明した画像認識をトリガに認識結果を送信する画像解析通信装置と同様の構成が採用されており、予め深層学習することにより所定の動作を認識するように作成された学習モデルが組み込まれており、動作中は常に画像データを取得し、画像データから動作検知をして、画像データのメタデータである認識結果として動作の識別情報を室内設備コントローラに送信する。
The image
図11は、画像解析通信装置10004に係る深層学習と認識モデルの組み込みの手順を示した模式図である。認識対象となる動作をする人11001の画像をイメージセンサ11002により複数回取得し、多層ニューラルネットワークを格納するトレーニングコンピュータ11003に、動作の識別情報と取得画像をペアとした教師データとして読み込ませ、学習する。ここで認識の頑健さを担保するため予め設定した動作とは異なる動作の画像に係るデータも教師データに含ませるなどの手法を採用してもよい。
FIG. 11 is a schematic diagram showing a procedure for incorporating a deep learning and recognition model according to the image
トレーニングコンピュータ11003における深層学習によって生成された認識モデル11004は、画像解析通信装置10004におけるストレージ11005の認識プログラム領域11006に記憶される。
The
室内設備コントローラ10006は、画像解析通信装置10004による動作検知による動作の識別情報を受信し、動作の識別情報に対応する「室内設備の動作命令」を送信する。
ユーザ10001は、所定の動作によって室内設備の動作をコントロールすることができる。また、ユーザは、画像ブロッキング動作中は点灯するLEDライト10003によって、画像解析通信装置によって取得された画像データが装置外部に流出しないようにブロッキングしていることを確認することができるので、プライバシーが保護されているという安心感を得ることができる。
The
The
以上のように装置の利用を図ることにより、会議出席管理システム、混雑管理システム、スイッチシステムあるいは人間の代わりに動物を検知対象とした同様のシステムにおける画像認識により利便性を図る一方で、個人情報等を含む画像データについての情報保護を強化することができる。 By using the device as described above, it is possible to improve convenience by image recognition in a conference attendance management system, a congestion management system, a switch system, or a similar system that targets animals instead of humans, while personal information. Information protection for image data including, etc. can be strengthened.
本発明は、個人情報等のセキュリティ管理が必要な画像データを取得する業界、例えば施設管理サービス業界、社内管理サービス業界、動物調査サービス業界等の業界において適用可能である。 The present invention is applicable to industries such as facility management service industry, in-house management service industry, animal research service industry, etc., which acquire image data requiring security management such as personal information.
1001 画像解析通信装置
1002 CPU
1003 メモリ
1004 ストレージ
1005 カメラインタフェース
1006 イメージセンサ
1007 通信インタフェース
1008 機器インタフェース
1009 表示装置
1010 データバス
1001 Image
1003
本発明の第一の観点では、撮影ユニットと、前記撮影ユニットで撮影された画像データに含まれる生物の全体もしくは部位を、ディープラーニングを使用して、認識をする認識プロセッサを含む認識ユニットと、前記認識ユニットの認識結果であるメタデータを送出する通信ユニットと、前記画像データをブロッキングし前記メタデータを伝送するように規定された画像ブロッキングユニットとを含む画像解析通信装置であって、
a)前記画像ブロッキングユニットは、前記認識ユニットからのAPI呼出を受けて、又は、外部ネットワークからのAPI呼出への返信として、前記通信ユニットへ前記メタデータの伝送を行うことと、
b)前記認識ユニットと前記通信ユニットとの間のデータ伝送路が前記画像ブロッキングユニットで分離されていることと、
を特徴とする画像解析通信装置が提供される。
From the first aspect of the present invention, the photographing unit, a recognition unit including a recognition processor for recognizing the whole or a part of a living body included in the image data photographed by the photographing unit by using deep learning, and a recognition unit. An image analysis communication device including a communication unit that sends out metadata that is a recognition result of the recognition unit, and an image blocking unit that blocks the image data and is specified to transmit the metadata.
a) The image blocking unit receives the API call from the recognition unit or transmits the metadata to the communication unit as a reply to the API call from the external network.
b) The data transmission path between the recognition unit and the communication unit is separated by the image blocking unit .
An image analysis communication device characterized by the above is provided.
ここでAPIは、アプリケーションプログラムインタフェース(Application Programmi
ng Interface)であって、画像ブロッキング機能を本願装置外部のシステム等や本願装置
内部のアプリケーションに対して提供し、自由な通信を阻害する。例えば、API呼出に対
する返信として送出するデータの属性、取得先等が規定されることにより、内部関係者が
上記メタデータのテキスト配列にエンコードした画像を入れてデータ漏洩することを阻止
するようにAPIが機能する。
Here the API is the Application Program Interface (Application Programmi)
ng Interface), which provides an image blocking function to a system outside the device of the present application or an application inside the device of the present application, and hinders free communication. For example, by defining the attributes of the data to be sent as a reply to the API call, the acquisition destination, etc., the API is designed to prevent insiders from leaking the encoded image in the text array of the above metadata. Works.
Claims (6)
The image analysis communication device according to claim 1, further comprising a display device for notifying the outside of the device that the image blocking unit is in operation.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020108068A JP6792112B1 (en) | 2020-06-23 | 2020-06-23 | Image analysis communication device |
PCT/JP2021/021461 WO2021261224A1 (en) | 2020-06-23 | 2021-06-04 | Image analyzing and communicating device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020108068A JP6792112B1 (en) | 2020-06-23 | 2020-06-23 | Image analysis communication device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6792112B1 JP6792112B1 (en) | 2020-11-25 |
JP2022003488A true JP2022003488A (en) | 2022-01-11 |
Family
ID=73452886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020108068A Active JP6792112B1 (en) | 2020-06-23 | 2020-06-23 | Image analysis communication device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6792112B1 (en) |
WO (1) | WO2021261224A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014007685A (en) * | 2012-06-27 | 2014-01-16 | Panasonic Corp | Nursing care system |
JP2016110578A (en) * | 2014-12-10 | 2016-06-20 | 株式会社リコー | Image recognition system, server device, and image recognition method |
JP2019028744A (en) * | 2017-07-31 | 2019-02-21 | 株式会社東芝 | Data processing system, data processing method and program |
-
2020
- 2020-06-23 JP JP2020108068A patent/JP6792112B1/en active Active
-
2021
- 2021-06-04 WO PCT/JP2021/021461 patent/WO2021261224A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014007685A (en) * | 2012-06-27 | 2014-01-16 | Panasonic Corp | Nursing care system |
JP2016110578A (en) * | 2014-12-10 | 2016-06-20 | 株式会社リコー | Image recognition system, server device, and image recognition method |
JP2019028744A (en) * | 2017-07-31 | 2019-02-21 | 株式会社東芝 | Data processing system, data processing method and program |
Non-Patent Citations (4)
Title |
---|
"来店客の動向/属性情報をスマート活用", PANASONIC BUSINESS VIEUREKAプラットフォーム店舗向け来客分析サービス, JPN6020036624, July 2018 (2018-07-01), ISSN: 0004354956 * |
中村一茂 他1名: "個人情報の扱いに配慮した画像解析システム事例", 別冊技報 UNISYS TECHNOLOGY REVIEW EXTRA EDITION, vol. 37, no. 4, JPN6020025969, 28 February 2018 (2018-02-28), pages 41 - 47, ISSN: 0004307365 * |
映像IOTシステム AISION, JPN6020036625, March 2019 (2019-03-01), ISSN: 0004354957 * |
谷口恭弘: "ネットワークやクラウドの負荷を抑える画像データ処理のアーキテクチャー", T−SOUL, vol. 16, JPN6020036623, 31 October 2015 (2015-10-31), pages 10 - 11, ISSN: 0004354955 * |
Also Published As
Publication number | Publication date |
---|---|
JP6792112B1 (en) | 2020-11-25 |
WO2021261224A1 (en) | 2021-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102350507B1 (en) | Access control method, access control device, system and storage medium | |
KR101803081B1 (en) | Robot for store management | |
US10189677B2 (en) | Elevator control system with facial recognition and authorized floor destination verification | |
CN106557678B (en) | A kind of intelligent terminal mode switching method and its device | |
ES2881251T3 (en) | Anti-fraud monitoring, detection and prevention solution for contact centers | |
US11443551B2 (en) | Facial recognitions based on contextual information | |
JP2013235329A (en) | Face identification monitoring/management method | |
KR101941966B1 (en) | Apparatus, method and program for access control based on pattern recognition | |
JP7238346B2 (en) | Information processing device, control program for information processing device, and communication terminal | |
US10964199B2 (en) | AI-based monitoring system for reducing a false alarm notification to a call center | |
EP3249570B1 (en) | Method and device for providing prompt indicating loss of terminal | |
CN108875468A (en) | Biopsy method, In vivo detection system and storage medium | |
US9065975B2 (en) | Method and apparatus for hands-free control of a far end camera | |
JP2018036812A (en) | System and method for remotely supporting it operation work | |
WO2021261224A1 (en) | Image analyzing and communicating device | |
US20230132575A1 (en) | Facial authentication apparatus and control method for facial authentication apparatus | |
CN115334048B (en) | Information security system for video conference based on artificial intelligence | |
JP6789698B2 (en) | Image processing device, control method and program of image processing device | |
KR20220080884A (en) | Method and system for extracting image using thermal camera | |
US20220415106A1 (en) | Information processing system, information processing method, and non-transitory computer-readable recording medium | |
KR102364371B1 (en) | Method of bloking suspending screen playing based on face and body recognition | |
KR102567798B1 (en) | Apparatus for untact entrance control | |
KR102633414B1 (en) | Elevator monitoring system | |
CN112380514B (en) | Biological identification security situation prediction method and device and electronic equipment | |
JP7077504B1 (en) | Information processing equipment, programs, and control methods for information processing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200623 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200623 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200930 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6792112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |