JP2021176060A - Information processing device, information processing method and program - Google Patents
Information processing device, information processing method and program Download PDFInfo
- Publication number
- JP2021176060A JP2021176060A JP2020081539A JP2020081539A JP2021176060A JP 2021176060 A JP2021176060 A JP 2021176060A JP 2020081539 A JP2020081539 A JP 2020081539A JP 2020081539 A JP2020081539 A JP 2020081539A JP 2021176060 A JP2021176060 A JP 2021176060A
- Authority
- JP
- Japan
- Prior art keywords
- weight
- transition
- information processing
- time
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 98
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 230000007704 transition Effects 0.000 claims abstract description 123
- 230000004308 accommodation Effects 0.000 claims description 48
- 230000007423 decrease Effects 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 6
- 230000004580 weight loss Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000003287 bathing Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Abstract
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関し、特に、人が利用する場所の状況をカメラやマイクによらずに予測する技術に関するものである。 The present invention relates to an information processing device, an information processing method and a program, and more particularly to a technique for predicting a situation of a place used by a person without using a camera or a microphone.
ある場所の状況を、その場所の撮影画像から推測する技術が知られている。例えば、特許文献1には、監視エリアを撮影した撮影画像に基づいて、監視エリアにおける動体の混雑情報を検知する混雑検知技術が開示されている。この技術によれば、監視エリアが混雑する前に報知することにより、混雑の発生を事前に監視者が把握することができる。
A technique is known for inferring the situation of a certain place from a photographed image of the place. For example,
しかしながら、上記のように、撮影画像に基づいて、その場所の状況を予測する技術は、プライバシーの観点から、適用できる場所が限られる。例えば、公共宿泊施設の脱衣所や浴室は、カメラを設置することはできないから、撮影画像を取得することはできない。また、プライバシーの観点から、音声を取得するためのマイクの設置も許容されないことがある。さらに、空間的あるいは物理的な制約により、カメラ等が設置できないこともありうる。 However, as described above, the technique of predicting the situation of the place based on the captured image is limited to the place where it can be applied from the viewpoint of privacy. For example, in a dressing room or a bathroom of a public accommodation facility, a camera cannot be installed, so a photographed image cannot be acquired. Also, from the viewpoint of privacy, it may not be permissible to install a microphone for acquiring audio. Furthermore, it may not be possible to install a camera or the like due to spatial or physical restrictions.
したがって、カメラ、マイク等を設置できない場所であっても、その場所の状況を知りたいという要望がある。 Therefore, there is a desire to know the situation of a place where a camera, a microphone, etc. cannot be installed.
本発明によれば、カメラ、マイク等の装置を設置することが難しい場所において、重量からその場所の状況を予測することが可能な情報処理装置、情報処理方法及びプログラムを提供することができる。 According to the present invention, it is possible to provide an information processing device, an information processing method and a program capable of predicting the situation of the place from the weight in a place where it is difficult to install a device such as a camera or a microphone.
本発明の第1の観点に係る情報処理装置は、
重量センサにより検知されている重量を取得する重量取得部と、
前記取得された重量の推移と、前記重量センサにより過去に検知された重量の履歴から生成された重量の推移モデルと、に基づいて前記重量センサにより検知されるべき重量の将来の推移を予測する予測部と、
を備えることを特徴とする。
The information processing device according to the first aspect of the present invention is
A weight acquisition unit that acquires the weight detected by the weight sensor,
Based on the acquired weight transition and the weight transition model generated from the history of the weight detected in the past by the weight sensor, the future transition of the weight to be detected by the weight sensor is predicted. Prediction department and
It is characterized by having.
また、上記観点に係る情報処理装置において、
前記重量センサは、施設に設置された複数の重量センサの一つであり、
前記予測部は、
前記複数の重量センサのそれぞれにより検知されるべき重量の将来の推移を予測し、
前記複数の重量センサのそれぞれについて前記予測された将来の推移に基づいて、前記施設の将来の混雑度合を予測する
ことを特徴とする。
In addition, in the information processing device according to the above viewpoint,
The weight sensor is one of a plurality of weight sensors installed in the facility.
The prediction unit
Predict the future transition of the weight to be detected by each of the plurality of weight sensors,
It is characterized in that the future degree of congestion of the facility is predicted based on the predicted future transition of each of the plurality of weight sensors.
また、上記観点に係る情報処理装置において、
前記予測部は、前記取得された重量の推移のうち直近の所定時間長区間における推移が、所定パターンにマッチすると、前記将来の推移を予測する
ことを特徴とする。
In addition, in the information processing device according to the above viewpoint,
The prediction unit is characterized in that when the transition in the latest predetermined time length section of the acquired weight transition matches a predetermined pattern, the future transition is predicted.
また、上記観点に係る情報処理装置において、
前記所定時間長区間は、前記履歴において、前記所定時間長区間の候補となる候補時間長区間に、前記重量が一定の状態から変化して再び一定になる推移を有するサンプル数を求め、当該サンプル数が最大値をとる候補時間長区間を前記所定時間長区間とする
ことを特徴とする。
In addition, in the information processing device according to the above viewpoint,
For the predetermined time length section, the number of samples having a transition in which the weight changes from a constant state to a constant state again is obtained in the candidate time length section that is a candidate for the predetermined time length section in the history, and the sample is obtained. The candidate time length section in which the number takes the maximum value is set as the predetermined time length section.
また、上記観点に係る情報処理装置において、
前記取得された重量の推移のうち前記将来の予測がされて以後の予測後推移が、前記予測された将来の推移から逸脱しているか否かを判定する判定部
をさらに備えることを特徴とする。
In addition, in the information processing device according to the above viewpoint,
It is characterized by further including a determination unit for determining whether or not the post-prediction transition after the future prediction is made among the acquired weight transitions deviates from the predicted future transition. ..
また、上記観点に係る情報処理装置において、
前記判定された結果に対する正否の入力を受け付ける入力部と、
前記受け付けられた入力と、前記予測後推移と、に基づいて、前記推移モデルを更新する更新部と、
をさらに備えることを特徴とする。
In addition, in the information processing device according to the above viewpoint,
An input unit that accepts input of correctness for the determined result, and
An update unit that updates the transition model based on the received input and the post-prediction transition.
Is further provided.
また、上記観点に係る情報処理装置において、
前記重量センサは、1つの収容体に収容された物体の重量を検知するセンサであり、
前記所定パターンは、
前記収容体に対する収容の開始前から完了後に対応付けられる収容パターンであり、
前記推移モデルは、前記履歴において、前記収容パターンにマッチする重量の増加があった増加時点と、前記収容体からの取り出しの開始前から完了後に対応付けられる取り出しパターンにマッチする重量の減少があった減少時点と、の間の時間長の分布により表現される
ことを特徴とする。
In addition, in the information processing device according to the above viewpoint,
The weight sensor is a sensor that detects the weight of an object housed in one container.
The predetermined pattern is
It is a containment pattern associated with the containment body from before the start to after the completion.
The transitive model has an increase in weight that matches the containment pattern in the history and a decrease in weight that matches the take-out pattern associated with the take-out pattern from before the start to after the take-out from the containment. It is characterized by being represented by the distribution of the time length between the point of decrease and the time of decrease.
また、上記観点に係る情報処理装置において、
前記重量センサは、複数の収容体に収容された物体の総重量を検知するセンサであり、
前記所定パターンは、前記複数の収容体のいずれかに対する
収容の開始前から完了後に対応付けられる収容パターン
であり、
前記推移モデルは、前記履歴において、前記収容パターンにマッチする重量の増加があった増加時点と、前記履歴において、当該増加時点の後前記複数の収容体が空になるまでに、前記複数の収容体のいずれかに対する取り出しの開始前から完了後に対応付けられる取り出しパターンにマッチし、前記増加に呼応する重量の減少があった減少時点と、の間の時間長の分布により表現され、
前記予測部は、
前記収容パターンにマッチする重量の増加があると、直前までに予測された推移に、当該増加に相当する重量を前記分布に応じて増す
ことにより、将来の推移を予測する
ことを特徴とする。
In addition, in the information processing device according to the above viewpoint,
The weight sensor is a sensor that detects the total weight of an object housed in a plurality of housing bodies.
The predetermined pattern is a containment pattern associated with any of the plurality of containments from before the start to after the completion of the containment.
The transitive model includes the plurality of accommodations at the time of increase in which there was an increase in weight matching the accommodation pattern in the history and before the plurality of accommodations are emptied after the time of increase in the history. It is represented by the distribution of time lengths between the point of decrease and the time of decrease in which there was a weight loss in response to the increase, matching the withdrawal pattern associated with any of the bodies before and after removal.
The prediction unit
When there is an increase in weight that matches the accommodation pattern, the future transition is predicted by increasing the weight corresponding to the increase in accordance with the distribution in addition to the transition predicted immediately before.
また、上記観点に係る情報処理装置において、
非重量センサにより検知された所定イベントの発生時点を取得する時点取得部と、
前記取得された発生時点と、前記判定部により逸脱していると判定された逸脱時点と、が、所定範囲内であるか否かに応じた警告情報を出力する出力部と、
をさらに備えることを特徴とする。
In addition, in the information processing device according to the above viewpoint,
A time point acquisition unit that acquires the time point of occurrence of a predetermined event detected by a non-weight sensor,
An output unit that outputs warning information according to whether or not the acquired time of occurrence and the time of deviation determined by the determination unit are within a predetermined range.
Is further provided.
また、上記観点に係る情報処理装置において、
前記重量センサは、収容体に収容された物体の重量を検知し、
前記非重量センサは、前記収容体の扉の開閉、もしくは、前記収容体が設置された部屋の扉の開閉を検知する開閉センサであり、
前記所定イベントは、前記扉の開閉である
ことを特徴とする。
In addition, in the information processing device according to the above viewpoint,
The weight sensor detects the weight of an object contained in the housing and determines the weight of the object.
The non-weight sensor is an open / close sensor that detects the opening / closing of the door of the housing or the opening / closing of the door of the room in which the housing is installed.
The predetermined event is characterized in that the door is opened and closed.
また、上記観点に係る情報処理装置において、
前記重量センサは、複数の脱衣籠を収容可能な棚の棚板の上面に設置され、前記複数の脱衣籠ならびに当該複数の脱衣籠に収容された物体の重量を検知し、
前記非重量センサは、前記棚が設置される部屋の扉の開閉を検知する開閉センサであり、
前記所定イベントは、前記扉の開閉である
ことを特徴とする。
In addition, in the information processing device according to the above viewpoint,
The weight sensor is installed on the upper surface of a shelf board of a shelf capable of accommodating a plurality of undressing baskets, and detects the weights of the plurality of undressing baskets and objects contained in the plurality of undressing baskets.
The non-weight sensor is an open / close sensor that detects the opening / closing of the door of the room in which the shelf is installed.
The predetermined event is characterized in that the door is opened and closed.
また、上記観点に係る情報処理装置において、
前記重量センサは、ロッカーに収容された物体の重量を検知し、
前記非重量センサは、前記ロッカーの扉の開閉を検知する開閉センサであり、
前記所定イベントは、前記ロッカーの利用を終了するために前記ロッカーの扉が閉まることである
ことを特徴とする。
In addition, in the information processing device according to the above viewpoint,
The weight sensor detects the weight of an object contained in the rocker and determines the weight of the object.
The non-weight sensor is an open / close sensor that detects the opening / closing of the locker door.
The predetermined event is characterized in that the door of the locker is closed in order to end the use of the locker.
本発明の第2の観点に係る情報処理方法は、
情報処理装置が、
重量センサにより検知されている重量を取得し、
前記取得された重量の推移と、前記重量センサにより過去に検知された重量の履歴から生成された重量の推移モデルと、に基づいて前記重量センサにより検知されるべき重量の将来の推移を予測する
ことを特徴とする。
The information processing method according to the second aspect of the present invention is
Information processing device
Obtain the weight detected by the weight sensor and
Based on the acquired weight transition and the weight transition model generated from the history of the weight detected in the past by the weight sensor, the future transition of the weight to be detected by the weight sensor is predicted. It is characterized by that.
本発明の第3の観点に係るプログラムは、
コンピュータを、
重量センサにより検知されている重量を取得する重量取得部、
前記取得された重量の推移と、前記重量センサにより過去に検知された重量の履歴から生成された重量の推移モデルと、に基づいて前記重量センサにより検知されるべき重量の将来の推移を予測する予測部
として機能させることを特徴とする。
The program according to the third aspect of the present invention
Computer,
Weight acquisition unit that acquires the weight detected by the weight sensor,
Based on the acquired weight transition and the weight transition model generated from the history of the weight detected in the past by the weight sensor, the future transition of the weight to be detected by the weight sensor is predicted. It is characterized by functioning as a predictor.
上記プログラムは、非一時的な(non-transitory)記録媒体に記録されてもよい。非一時的な記録媒体は、コンピュータとは独立して配布・販売することができる。ここで、非一時的な記録媒体とは、有形な(tangible)記録媒体をいう。非一時的な記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等である。また、一時的な(transitory)記録媒体とは、伝送媒体(伝搬信号)それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波等である。なお、一時的な(temporary)記憶領域とは、データやプログラムを一時的に記憶するための領域であり、例えば、RAM(Random Access Memory)等の揮発性メモリである。 The program may be recorded on a non-transitory recording medium. Non-temporary recording media can be distributed and sold independently of computers. Here, the non-temporary recording medium means a tangible recording medium. The non-temporary recording medium is, for example, a compact disk, a flexible disk, a hard disk, a magneto-optical disk, a digital video disk, a magnetic tape, a semiconductor memory, or the like. Further, the transient recording medium refers to the transmission medium (propagation signal) itself. The temporary recording medium is, for example, an electric signal, an optical signal, an electromagnetic wave, or the like. The temporary storage area is an area for temporarily storing data or a program, and is, for example, a volatile memory such as a RAM (Random Access Memory).
本発明によれば、カメラ、マイク等の装置を設置することが難しい場所において、重量からその場所の状況を知ることが可能な情報処理装置、情報処理方法及びプログラムを提供することができる。 According to the present invention, it is possible to provide an information processing device, an information processing method and a program capable of knowing the situation of the place from the weight in a place where it is difficult to install a device such as a camera or a microphone.
(1.全体構成)
本発明の実施形態1に係る情報処理装置100は、図1に示すように、ネットワーク300に接続される。ネットワーク300には、情報処理装置100の他に、重量センサ210と非重量センサ220とが接続されている。
(1. Overall configuration)
As shown in FIG. 1, the
情報処理装置100は、重量センサ210が検知した重量に基づいて重量センサ210が設置されている場所Xの状況を示すものである。また、情報処理装置100は、重量センサ210が検知した重量と、非重量センサ220が検知した所定イベントとに基づき、警告を示すものである。以下では、例として、重量センサ210が設置されている場所Xを、宿泊施設の浴場内の脱衣所として、実施形態1,2を説明する。この場合、情報処理装置100のユーザは、宿泊施設のスタッフである。
The
重量センサ210は、施設に複数設置されたセンサであり、1つの収容体に収容された物体の重量を検知するセンサ、又は、複数の収容体に収容された物体の総重量を検知するセンサである。重量センサ210と収容体との関係を図2に示す。
The
図2(a),(b)は、脱衣所に置かれている脱衣籠を収容体とみなす場合の例である。図2(a)は、1つの脱衣籠410に1つの重量センサ210−Aが設置されている様子を示す。重量センサ210−Aは、脱衣籠410の底面に設置され、1つの脱衣籠410に収容された物体の重量を検知する。図2(b)は、複数の脱衣籠410−1,410−2,410−3に対し1つの重量センサ210−Bが設置されている様子を示す。重量センサ210−Bは、棚420の棚板の上面に設置され、複数の脱衣籠410に収容された物体の総重量を検知する。
FIGS. 2 (a) and 2 (b) show an example in which a dressing basket placed in a dressing room is regarded as a container. FIG. 2A shows a state in which one weight sensor 210-A is installed in one
図2(c)は、脱衣所の脱衣籠が置かれる棚を収容体とした場合の例である。図2(c)は、複数の棚420−1,420−2,420−3のそれぞれに重量センサ210−Cが設置されている様子を示す。重量センサ210−Cは、棚420−1,420−2,420−3の棚板の上面に設置され、棚板に乗っている複数の脱衣籠410及び脱衣籠410に収容された物体の重量を検知する。以下では、重量センサ210−A,210−B,210−Cは、いずれかを特定する場合を除き、総称して重量センサ210と表記する。
FIG. 2C shows an example in which a shelf on which the dressing basket of the dressing room is placed is used as the housing. FIG. 2C shows how the weight sensors 210-C are installed on each of the plurality of shelves 420-1, 420-2, and 420-3. The weight sensor 210-C is installed on the upper surface of the shelf board of the shelves 420-1, 420-2, 420-3, and the weight of the objects housed in the plurality of undressing
重量センサ210は、所定の周期で重量を検知し、所定のタイミングで検知した重量を示すデータを情報処理装置100に送信する。所定の周期及び所定のタイミングは、情報処理装置100のユーザが任意に設定することができる。重量センサ210は、例えば、24時間継続して1分毎に重量を検知し、1分毎に検知した重量のデータを、情報処理装置100に送信する。重量センサ210から所定の周期で送信された重量のデータは、情報処理装置100に格納される。
The
非重量センサ220は、所定イベントを検知するものである。所定イベントは、例えば、扉の開閉であり、非重量センサ220は、収容体が設置された部屋の扉の開閉を検知する開閉センサである。非重量センサ220は、開閉を検知する度に、検知した開閉を示すデータを情報処理装置100に送信する。例えば、非重量センサ220は、脱衣所の部屋の扉の開閉を検知し、検知した開閉を示すデータを、情報処理装置100に送信する。非重量センサ220から送信された開閉を示すデータは、情報処理装置100に格納される。
The
ネットワーク300は、無線又は有線による通信ネットワークである。ネットワーク300は、いかなるものであってもよく、例えば、インターネット、イントラネット、エクストラネット、LAN(Local Area Network)、VPN(Virtual Private Network)、電話回線網等である。
The
(2.情報処理装置のハードウェア構成)
図3は、情報処理装置100のハードウェア構成を示すブロック図である。
(2. Hardware configuration of information processing device)
FIG. 3 is a block diagram showing a hardware configuration of the
情報処理装置100は、図3に示すように、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM13と、記録媒体14と、出力デバイス15と、通信デバイス16と、操作デバイス17と、を備える。各構成要素は、バス18により接続されている。
As shown in FIG. 3, the
CPU11は、情報処理装置100全体の動作を制御し、各構成要素と接続され、制御信号やデータをやりとりする。
The CPU 11 controls the operation of the entire
ROM12には、情報処理装置100全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
The
RAM13は、データやプログラムを一時的に記録するためのもので、記録媒体14から読み出したプログラムやデータ、その他、通信に必要なデータ等が保持される。
The
記録媒体14は、ハードディスクやフラッシュメモリ等から構成され、情報処理装置100で処理するデータを記録する。
The
出力デバイス15は、LCD(Liquid Crystal Display)及びバックライト等の表示装置や、スピーカ等の音声出力装置を備える。出力デバイス15は、CPU11による制御の下、例えば、CPU11から出力されたデータを出力する。
The
通信デバイス16は、情報処理装置100をインターネット等のコンピュータ通信網に接続するための通信インターフェースを含み、通信デバイス16を介して他の情報処理装置等とやりとりをする。
The
操作デバイス17は、ボタン、キーボード、タッチパネル等の入力装置を備える。操作デバイス17は、情報処理装置100のユーザからの操作入力を受け付け、受け付けた操作入力に対応する信号をCPU11に出力する。
The
(3.実施形態1の情報処理装置の機能構成)
実施形態1の情報処理装置100は、重量センサ210が検知した重量に基づいて重量センサが設置されている場所の混雑状況を示すものである。
(3. Functional configuration of the information processing device of the first embodiment)
The
実施形態1の情報処理装置100は、図4に示すように、機能的には、重量取得部101と、予測部102と、判定部103と、出力部104と、入力部105と、更新部106とを備える。本実施形態において、CPU11及び通信デバイス16が協働して、重量取得部101として機能し、CPU11が予測部102、判定部103及び更新部106として機能する。また、CPU11、出力デバイス15及び通信デバイス16が協働して、出力部104として機能し、CPU11及び操作デバイス17が協働して、入力部105として機能する。
As shown in FIG. 4, the
重量取得部101は、重量センサ210により検知されている重量を取得する。例えば、重量取得部101は、現在の脱衣籠に収容された物体の重量を、重量センサ210から取得する。
The
予測部102は、取得された重量の推移と、重量センサ210により過去に検知された重量の履歴から生成された重量の推移モデルと、に基づいて重量センサ210により検知されるべき重量の将来の推移を予測する。
The
重量の履歴とは、重量センサ210より過去に所定の周期で送信された重量の時系列データである。例えば、重量センサ210は、重量の時系列データを情報処理装置100に送信し、情報処理装置100は、受信した重量のデータを、記録媒体14に格納されている重量履歴テーブルに登録する。
The weight history is time-series data of weight transmitted from the
図5に、重量履歴テーブルの例を示す。重量履歴テーブル100aには、重量センサ210を識別するためのセンサIDと、検知された重量の時系列データの一部を識別するためのデータIDと、重量が検知された検知時刻と、検知された重量と、重量の推移が正常か異常かを示すラベルと、が対応づけて登録されている。
FIG. 5 shows an example of a weight history table. In the weight history table 100a, a sensor ID for identifying the
センサID“1”、“2”・・・“n”のセンサは、それぞれ、収容体1,2,・・・nの重量を検知するものとする。また、データIDは、重量センサが24時間検知した時系列データから、重量の変化があった部分を抜粋した時系列データについて付与したIDである。また、ラベルは、データIDが付与された時系列データが、正常又は異常な重量の推移を示すものかをユーザが判断して付与するものである。ラベルは、後述するように、入力部105が受け付けた入力に基づいて登録される。
The sensors with the sensor IDs "1", "2" ... "N" shall detect the weights of the
例えば、重量履歴テーブル100aの一行目は、センサID“1”のセンサが検知したデータID“1−1”の時系列データは、検知時刻“2020年2月1日17時59分”に、1.0kgの重量を検知し、データID“1−1”の時系列データは、重量の推移として、“正常”なパターンであることを示している。 For example, in the first row of the weight history table 100a, the time series data of the data ID "1-1" detected by the sensor of the sensor ID "1" is set at the detection time "17:59 on February 1, 2020". A weight of 1.0 kg is detected, and the time-series data of the data ID "1-1" indicates that the pattern is "normal" as the transition of the weight.
予測部102は、図5の重量履歴テーブル100aを参照して、推移モデルを生成する。推移モデルは、収容体に物体が収容されてから取り出されるまでの時間長(以下「収容時間長」という)の分布により表現される。例えば、浴場に置かれている脱衣籠410についての収容時間長は、脱衣籠410に衣類等が収容されてから、衣類等が取り出されるまでの時間長である。浴場の利用者は、脱衣籠から衣類等の荷物を取り出した後は浴場を去るのが通常であるので、収容時間長は浴場の利用時間長と見なすことができる。
The
収容時間長は、過去の重量の推移のうち、収容パターンにマッチする重量の増加時点から取り出しパターンにマッチする重量の減少時点までの時間長である。ここで、収容パターンとは、収容体に対する収容の開始前から完了後に対応付けられるパターンであり、例えば、所定時間長区間において、重量が一定の状態から急に増加して、再び一定になる重量の推移のパターンである。また、取り出しパターンとは、収容体からの取り出しの開始前から完了後に対応付けられるパターンであり、例えば、所定時間長区間において、重量が一定の状態から急に減少して、再び一定になる重量の推移のパターンである。 The accommodating time length is the length of time from the time when the weight matching the accommodating pattern increases to the time when the weight matching the taking-out pattern decreases in the past changes in weight. Here, the accommodation pattern is a pattern associated with the accommodation body from before the start to after the completion. For example, the weight suddenly increases from a constant state to become constant again in a predetermined time-long section. It is a pattern of transition. The take-out pattern is a pattern associated with each other from before the start of take-out from the housing to after the completion. For example, the weight suddenly decreases from a constant state to become constant again in a predetermined time-long section. It is a pattern of transition.
ここで、所定時間長区間は、情報処理装置100のユーザが任意に設定することができる。例えば、脱衣所を想定した場合、所定時間長区間は、数分程度の区間とすることができる。
Here, the predetermined time length section can be arbitrarily set by the user of the
図6に、1つの収容体に収容された物体の重量を検知する重量センサ210−Aにより検知された、過去の重量の推移を示す。図6は、例えば、図2(a)に示す構成において、1つの脱衣籠410に収容された物体の重量の推移を示す。図6において、時刻t1〜t2の区間501が所定時間長区間であり、収容パターンは、区間501における重量の推移のパターンである。収容パターンにマッチする重量の増加があった増加時点とは、図6では、時刻t1である。また、図6において、時刻t3〜t4の区間502が所定時間長区間であり、取り出しパターンは、区間502における重量の推移のパターンである。取り出しパターンにマッチする重量の減少時点とは、図6では、時刻t4である。よって、収容時間長は、時刻t1〜t4の区間の時間長Tである。
FIG. 6 shows the transition of the past weight detected by the weight sensor 210-A that detects the weight of the object housed in one container. FIG. 6 shows, for example, a change in the weight of an object housed in one
予測部102は、図5の重量履歴テーブル100aを参照して、データIDが付与されたデータについて収容時間長を算出し、収容時間長の分布を求める。
The
なお、重量センサ210が複数の収容体に収容された物体の総重量を検知するセンサの場合は、次のように、収容時間長を算出する。収容時間長は、過去の重量の推移において、収容パターンにマッチする重量の増加があった増加時点と、当該増加時点の後複数の収容体が空になるまでに取り出しパターンにマッチし、増加に呼応する重量の減少があった減少時点と、の間の時間長とする。
When the
図7に、複数の収容体に収容された物体の総重量を検知する重量センサ210−B,210−Cにより検知された、過去の重量の推移の例を示す。図7は、例えば、図2(b)に示す構成において、3つの脱衣籠410−1,410−2,410−3に収容された物体の総重量の推移を示すものとみなす。収容パターンにマッチする重量の増加があった増加時点は、図7では、時刻t5,t6,t7である。ここで、時刻t5,t6,t7は、それぞれ脱衣籠410−1,410−2,410−3へ物体が入れられた時刻とする。時刻t5,t6,t7における重量の増加は、それぞれ、重量A,重量B,重量Cである。 FIG. 7 shows an example of past changes in weight detected by weight sensors 210-B and 210-C that detect the total weight of objects housed in a plurality of housings. FIG. 7 is considered to show, for example, the transition of the total weight of the objects housed in the three undressing baskets 410-1, 410-2, 410-3 in the configuration shown in FIG. 2 (b). The time of increase in which there was an increase in weight matching the containment pattern is at time t5, t6, t7 in FIG. Here, the times t5, t6, and t7 are the times when the object is put into the undressing baskets 410-1, 410-2, and 410-3, respectively. The weight increases at time t5, t6, and t7 are weight A, weight B, and weight C, respectively.
例えば、時刻t5の増加時点の後、3つの脱衣籠410が空になるまでに取り出しパターンにマッチし、時刻t5の重量の増加に呼応する重量Aの減少があった減少時点は、時刻t10である。すなわち、脱衣籠410−1についての収容時間長は、時刻t5〜t10までの時間長TAと求められる。同様に、時刻t6の増加時点の後、3つの脱衣籠410が空になるまでに取り出しパターンにマッチし、時刻t6の重量の増加に呼応する重量Bの減少があった減少時点は、時刻t8である。すなわち、脱衣籠410−2についての収容時間長は、時刻t6〜t8までの時間長TBと求められる。時刻t7の増加時点の後、3つの脱衣籠410が空になるまでに取り出しパターンにマッチし、時刻t7の重量の増加に呼応する重量Cの減少があった減少時点は、時刻t9である。すなわち、脱衣籠410−3についての収容時間長は、時刻t7〜t9までの時間長TCと求められる。
For example, after the time t5 increases, the three undressing
なお、2以上の収容体において、同時に物体が収容されたり、取り出されたりした場合は、重量の呼応関係が正確に計測されないので、そのような場合に計測されたデータは、推移モデルを表現する時間長の分布に含めない。 When objects are housed or taken out at the same time in two or more housings, the weight response relationship is not accurately measured. Therefore, the data measured in such a case represents a transitive model. Not included in the time length distribution.
求めた収容時間長の分布の例を図8に示す。図8の分布は、横軸が収容時間長であり、縦軸は各階級に該当したデータ数である。 An example of the obtained distribution of the accommodation time length is shown in FIG. In the distribution of FIG. 8, the horizontal axis is the accommodation time length, and the vertical axis is the number of data corresponding to each class.
図8の分布が正規分布に従うとすると、分布の平均μ±2×分布の標準偏差σの範囲には、収容時間長のデータの約95%が含まれる。例えば、脱衣籠の収容時間長の場合、物体の収容が開始されてから、μ+2×σの時間長の間に、収容が終了される(物体が取り出される)と考えられる。つまり、浴場の大多数の利用者は、μ+2×σの時間長までに浴場の利用を終了すると考えられる。 Assuming that the distribution in FIG. 8 follows a normal distribution, the range of mean μ ± 2 × standard deviation σ of the distribution includes about 95% of the accommodation time data. For example, in the case of the storage time length of the undressing basket, it is considered that the storage is completed (the object is taken out) within the time length of μ + 2 × σ after the storage of the object is started. In other words, it is considered that the majority of users of the bathhouse will finish using the bathhouse by the time length of μ + 2 × σ.
ここで、予測部102は、取得された重量の推移のうち直近の所定時間長区間における推移が、所定パターンにマッチすると、将来の推移を予測する。以下、所定パターンを収容パターンとする。
Here, the
図2(a)に示すように、1つの重量センサ210−Aが、1つの収容体(脱衣籠410)に収容された物体の重量を検知する場合の予測手法について説明する。図9に、重量取得部101が取得した、1つの重量センサ210−Aにより検知されている重量の推移を示す。
As shown in FIG. 2A, a prediction method when one weight sensor 210-A detects the weight of an object housed in one container (undressing basket 410) will be described. FIG. 9 shows the transition of the weight detected by one weight sensor 210-A acquired by the
予測部102は、直近の所定時間区間503において、時刻t11〜時刻t12の収容パターンを検知すると、時刻t12以降の重量の推移を予測する。例えば、予測部102は、時刻t11から、図8の分布のμ+2σの時間長後の時刻t13に、重量が0になる、すなわち、物体が全て取り出されると予測する。
When the
図2(b)に示すように、1つの重量センサ210−Bが、複数の収容体(脱衣籠410−1,410−2,410−3)に収容された物体の総重量を検知する場合の予測手法について、図10,11を用いて説明する。まず、予測部102は、図8のヒストグラムから、データ総数で正規化した、横軸を収容時間長とする累積度数分布を求める。この累積度数分布は、その時間長に収容体から物体が取出し済である割合を示している。次に、予測部102は、1から求めた累積度数分布の値を減算した曲線を求め、求めた曲線に、検知された収容パターンの重量Wを乗じる。この曲線を、図10の曲線506に示す。図10は、時間長に対する重量の分布を示すものであり、曲線506は、重さWの収容パターンを検知すると、その後どのように重量が変化するかを示したものである。例えば、図10の曲線506は、収容パターンを検知してから、時間長taの経過後に、重量Wは重量Waまで減少することを示し、時間長tbの経過後には、重量Wは重量Wbまで減少することを示している。
As shown in FIG. 2B, when one weight sensor 210-B detects the total weight of an object housed in a plurality of housing bodies (undressing baskets 410-1, 410-2, 410-3). The prediction method of the above will be described with reference to FIGS. 10 and 11. First, the
予測部102は、収容パターンにマッチする重量の増加があると、直前までに予測された推移に、当該増加に相当する重量を分布に応じて増すことにより、将来の推移を予測する。
When there is an increase in weight that matches the accommodation pattern, the
図11(a)は、脱衣籠410−1,410−2,410−3に何も物体が収容されていない状態から、脱衣籠410−1に、重量W1の物体が収容された場合に予測された重量の推移(分布)を示すものとする。時刻t14は、重量の推移における収容パターンの開始時刻である。また、図11(b)は、脱衣籠410−1,410−2,410−3に何も物体が収容されていない状態から、脱衣籠410−2に、重量W2の物体が収容された場合に予測された重量の推移(分布)を示すものとする。時刻t15は、重量の推移における収容パターンの開始時刻である。 FIG. 11A shows a prediction when an object having a weight of W1 is contained in the undressing basket 410-1 from a state in which no object is housed in the undressing baskets 410-1, 410-2, 410-3. It shall show the transition (distribution) of the weight. Time t14 is the start time of the accommodation pattern in the transition of weight. Further, FIG. 11B shows a case where an object having a weight of W2 is housed in the undressing basket 410-2 from a state in which no object is housed in the undressing baskets 410-1, 410-2, 410-3. It is assumed that the predicted change (distribution) of the weight is shown in. Time t15 is the start time of the accommodation pattern in the transition of weight.
ここで、図11(a)に示す推移が予測された状態で、重量W2の収容パターンが検知されたとすると、予測部102は、図11(a)に示す重量の推移に、図11(b)に示す重量の推移を加算し、図11(c)を求める。このようにして、予測部102は、脱衣籠410−1に物体が入れられてから、脱衣籠410−2に物体が入れられた場合に予測される将来の重量の推移(図11(c))を求める。そして、予測部102は、図11(c)の推移において、重量が所定の値W0になる時刻t16を、物体が取り出される時刻と予測する。
Here, assuming that the accommodation pattern of the weight W2 is detected in the state where the transition shown in FIG. 11 (a) is predicted, the
上記の例では、図2(b)を用いて予測手法を説明したが、図2(c)に示すように1つの重量センサ210−Cが、複数の収容体(棚420)の総重量を検知する場合の予測手法も、同様の手法が採用できる。 In the above example, the prediction method has been described with reference to FIG. 2 (b), but as shown in FIG. 2 (c), one weight sensor 210-C can determine the total weight of a plurality of housings (shelf 420). A similar method can be adopted as the prediction method for detection.
次に、予測部102は、複数の重量センサ210のそれぞれにより検知されるべき重量の将来の推移を予測し、複数の重量センサ210のそれぞれについて予測された将来の推移に基づいて、施設の将来の混雑度合を予測する。
Next, the
まず、n個の収容体のそれぞれについて、収容パターンが検知されると、収容パターンが検知された収容体から物体が取り出される時刻を求めるとする。予測部102は、例えば、n個の収容体のうち、いずれかの収容体(i=1)において収容パターンが検知されると、他の収容体(i=2〜n)について予測されている重量の推移から、10分後に、n個のうち何個の収容体に物体が収容されているかを求める。例えば、n個のうち、10分後には、m個の収容体に物体が収容されているとすると、収容体が配置されている施設の混雑度合をm/nと求める。
First, for each of the n containment bodies, when a containment pattern is detected, it is assumed that the time when an object is taken out from the containment body in which the containment pattern is detected is obtained. For example, when the accommodation pattern is detected in one of the n accommodations (i = 1), the
図4に戻って、出力部104は、予測部102により予測された混雑度合を出力する。例えば、出力部104は、情報処理装置100のディスプレイに宿泊施設の浴場の混雑度合m/nを表示する。
Returning to FIG. 4, the
また、出力部104は、混雑度合に色彩を対応付け、現在の混雑度合を示す色彩から、予測された将来の混雑度合を示す色彩に次第に変化させることを繰り返すことにより、混雑度合の推移を出力する。例えば、出力部104は、宿泊施設の各部屋に設置されているランプを用いて、宿泊客に混雑度合を通知する。混雑度合が高いほど、色相において、赤色に近づき、混雑度合が低いほど、青色に近づく。現在の混雑度合が、(m+5)/nであり、10分後には、混雑度合がm/nになると予測されたとすると、出力部104は、ランプの色を暖色系の色から寒色系の色に次第に変化させ、これを繰り返すことにより、混雑度合の変化を通知する。
Further, the
判定部103は、取得された重量の推移のうち将来の予測がされて以後の予測後推移が、予測された将来の推移から逸脱しているか否かを判定する。
The
予測後推移とは、例えば、図9の場合では、時刻t12以降の重量の推移である。判定部103は、図9のように予測時間長が求められた場合であって、時刻t13を過ぎても重量が0にならなかった場合、予測後推移が予測された将来の推移から逸脱していると判定する。一方、時刻t13までに、重量が0になった場合は、判定部103は、予測後推移が予測された将来の推移から逸脱していないと判定する。
The post-prediction transition is, for example, in the case of FIG. 9, the transition of the weight after the time t12. The
例えば、図9において、重量の推移が時刻t13を超えても0にならない場合、時刻t13は、収容時間長の分布のμ+2σだけ経過した時刻なので、特殊な状況と考えられる。重量の推移が、μ+2σの時間長を超えても減少しない場合、例えば、脱衣籠の利用者が浴場で倒れてしまったか、脱衣籠に忘れ物をしている場合などが考えられる。また、重量センサ210が検知した重量の推移が、μ−2σの時間長よりも前に減少した場合、例えば、忘れ物を取りに来た、或いは、脱衣籠内の荷物が盗まれた場合と考えられる。
For example, in FIG. 9, when the change in weight does not become 0 even if it exceeds the time t13, the time t13 is considered to be a special situation because the time t13 is the time when μ + 2σ of the distribution of the accommodation time length has elapsed. If the change in weight does not decrease even if the time length of μ + 2σ is exceeded, for example, it is conceivable that the user of the undressing basket has fallen down in the bathhouse or has left something in the undressing basket. Further, it is considered that the change in the weight detected by the
また、図10のように重量の推移が予測された場合は、求めた曲線506を、+2σ(区間509)だけずらした曲線507と、−2σ(区間510)だけずらした曲線508と、を求める。例えば、図11(a)及び図11(b)に示す予測された重量の推移のそれぞれについて、−2σだけずらした曲線と+2σだけずらした曲線を求める。そして、−2σだけずらした曲線同士を加算し、+2σだけずらした曲線同士を加算する。重量の推移が、加算により求められた曲線が示すμ±2σの範囲内に収まっていれば、判定部103は、重量の推移が逸脱していないと判断する。
Further, when the change in weight is predicted as shown in FIG. 10, the obtained
出力部104は、判定部103により逸脱していると判定されると、判定された結果を出力する。
When the
例えば、出力部104は、図12に示す画像610を、情報処理装置100のディスプレイに表示する。
For example, the
入力部105は、判定された結果に対する正否の入力を受け付ける。
The
例えば、入力部105は、画像610におけるボタン611,612のクリック入力を受け付ける。例えば、重量取得部101により取得された重量の時系列データが示す予測後推移が、予測された将来の推移から逸脱していると判定された場合、宿泊施設のスタッフは、浴場の利用者の一般的な入浴時間か否かを判断する。例えば、時刻t13を1分超えた時点から重量が減少し始めた時系列データの場合、一般的な入浴時間と判断し、宿泊施設のスタッフは、画像610において、ボタン611をクリックする。あるいは、時刻t13を30分超えても重量が減少しない時系列データの場合、宿泊施設のスタッフは、この時系列データのパターンを、浴場の利用者の一般的な入浴時間を逸脱していると判断し、画像610において、ボタン612をクリックする。
For example, the
更新部106は、受け付けられた入力と、予測後推移と、に基づいて、推移モデルを更新する。
The
例えば、ボタン611がクリックされた場合、更新部106は、この時系列データにデータIDを付与し、ラベル“正常”を対応付けて、図5の重量履歴テーブル100aに登録する。或いは、ボタン612がクリックされた場合、更新部106は、この時系列データにデータIDを付与し、ラベル“異常”を対応付けて、図5の重量履歴テーブル100aに登録する。そして、更新部106は、図5の重量履歴テーブル100aを参照して、ラベルに“異常”が付された時系列データを除外して、収容時間長の分布を求めることにより、推移モデルの更新を行う。
For example, when the
(4.実施形態1の情報処理装置の動作)
本実施形態の情報処理装置100の動作について説明する。例えば、情報処理装置100は、重量センサ210から24時間、所定の周期で重量を取得しており、情報処理装置100のユーザの指示により、図13に示す情報処理が実行される。
(4. Operation of Information Processing Device of Embodiment 1)
The operation of the
予測部102は、取得された重量の推移のうち直近の所定時間長区間における推移が、所定パターンにマッチするか否かを判断する(ステップS101)。予測部102は、直近の所定時間長区間における推移が、所定パターンにマッチすると判断すると(ステップS101;YES)、将来の推移を予測する(ステップS102)。一方、予測部102は、直近の所定時間長区間における推移が、所定パターンにマッチしないと判断すると(ステップS101;NO)、そのまま待機する。例えば、予測部102は、図9に示す時刻t11〜時刻t12の収容パターンを検知すると、推移モデルを表す図8の分布を参照して、時刻t11から、図8の分布のμ+2σの時間長後の時刻t13に、物体が全て取り出されると予測する。
The
次に、予測部102は、施設の将来の混雑度合を予測する(ステップS103)。例えば、収容体(i=1)において収容パターンが検知されると、他の収容体(i=2〜n)について予測されている重量の推移から、10分後に、n個のうち何個の収容体に物体が収容されているかを求める。そして、出力部104は、予測された混雑度合を出力する(ステップS104)。
Next, the
判定部103は、取得された重量の推移のうち将来の予測がされて以後の予測後推移が、予測された将来の推移から逸脱しているか否かを判定する(ステップS105)。判定部103が、予測後推移が予測された将来の推移から逸脱していると判断すると(ステップS105;YES)、出力部104は、判定された結果を出力する(ステップS106)。一方、判定部103は、予測後推移が予測された将来の推移から逸脱していないと判断すると(ステップS105;NO)、ステップS101にもどる。
The
ステップS106において、判定結果が出力されると、入力部105は、判定された結果に対する正否の入力を受け付けたか否かを判断する(ステップS107)。入力部105が、正否の入力を受け付けたと判断すると(ステップS107;YES)、更新部106は、推移モデルを更新する(ステップS108)。一方、入力部105が、正否の入力を受け付けていないと判断すると(ステップS107;NO)、ステップS101にもどる。例えば、入力部105は、画像610におけるボタン611,612のクリック入力を受け付け、更新部106は、取得した重量の推移の時系列データに、入力されたボタン611,612に対応付けられるラベルを付与して、図5の重量履歴テーブル100aに登録し、この重量履歴テーブル100aを参照して、推移モデルを更新する。
When the determination result is output in step S106, the
本実施形態によれば、浴室や脱衣場など、プライバシーの観点からカメラ及びマイク等の装置を設置することが難しい場所において、重量からその場所の状況を知ることができる。また、重力から予測したその場所の状況に基づいて、その場所の将来における混雑度合を予測することができる。例えば、脱衣場に配置された脱衣籠の重量から、現在、脱衣場が使用されているか否かを知ることができ、さらに、将来のいつごろまで使用されるか否かを予測することができる。また、将来の使用予測に基づき、浴室の混雑度合を予測することができる。 According to the present embodiment, in a place where it is difficult to install a device such as a camera and a microphone from the viewpoint of privacy, such as a bathroom or a dressing room, the situation of the place can be known from the weight. In addition, the degree of congestion in the future of the place can be predicted based on the situation of the place predicted from gravity. For example, from the weight of the undressing basket placed in the undressing place, it is possible to know whether or not the undressing place is currently used, and further, it is possible to predict when it will be used in the future. .. In addition, the degree of congestion in the bathroom can be predicted based on the future usage prediction.
また、本実施形態によれば、予測した混雑度合を他のデバイスに通知することができる。例えば、浴場の混雑状況を、宿泊施設の利用者に、各部屋に設置されたランプで伝えることができるので、利用客は、浴場に訪れなくても、何分後にどの程度の混雑具合なのかを知ることができる。 Further, according to the present embodiment, the predicted degree of congestion can be notified to other devices. For example, the congestion status of the bathhouse can be notified to the users of the accommodation facility with the lamps installed in each room, so even if the guest does not visit the bathhouse, how many minutes later how crowded it will be. Can be known.
(5.実施形態2の情報処理装置の機能構成)
実施形態2の情報処理装置100は、重量センサ210が検知した重量と、非重量センサ220が検知した所定イベントとに基づき、警告を示すものである。
(5. Functional configuration of the information processing device of the second embodiment)
The
実施形態2の情報処理装置100は、図14に示すように、機能的には、重量取得部101と、予測部102と、判定部103と、出力部104と、入力部105と、更新部106と、時点取得部107と、を備える。本実施形態において、CPU11及び通信デバイス16が協働して、重量取得部101及び時点取得部107として機能し、CPU11が、予測部102、判定部103及び更新部106、として機能する。また、CPU11、出力デバイス15及び通信デバイス16が協働して、出力部104として機能し、CPU11及び操作デバイス17が協働して、入力部105として機能する。
As shown in FIG. 14, the
時点取得部107は、非重量センサ220により検知された所定イベントの発生時点を取得する。
The time
ここで、非重量センサ220は、扉の開閉を検知する開閉センサであり、所定イベントは、扉の開閉である。
Here, the
例えば、収容体が、脱衣籠、又は、複数の脱衣籠を収容可能な棚の場合、非重量センサは、脱衣籠又は棚が設置される部屋の扉の開閉を検知する開閉センサであり、所定イベントは、部屋の扉の開閉である。以下では、部屋の扉を、浴場と廊下を隔てる扉とする。 For example, when the container is a undressing basket or a shelf capable of accommodating a plurality of undressing baskets, the non-weight sensor is an open / close sensor that detects the opening / closing of the door of the room in which the undressing basket or the shelf is installed, and is predetermined. The event is the opening and closing of the door of the room. In the following, the door of the room will be the door that separates the bathhouse from the corridor.
出力部104は、取得された発生時点と、判定部103により逸脱していると判定された逸脱時点と、が、所定範囲内であるか否かに応じた警告情報を出力する。
The
例えば、図9の場合において、時刻t17に扉の開閉が発生し、時刻t13を超えて重量が減少せずに、重量の推移が逸脱していると判定されたとする。出力部104は、時刻t17(発生時点)から時刻t13(逸脱時点)までの時間長504が、所定範囲内か否かを判断する。例えば、所定範囲を5分とし、時間長504が5分以内の長さの場合、浴場の利用者が、脱衣籠に荷物を置いたまま、浴場を去ってしまったと考えられる。よって、出力部104は、図15に示すように、警告情報が含まれる画像620を、情報処理装置100のディスプレイに表示する。そして、宿泊施設のスタッフは、例えば、警告情報が正しくないと判断した場合は、画像620において、ボタン621をクリックし、警告情報が正しいと判断した場合は、画像620において、ボタン622をクリックする。
For example, in the case of FIG. 9, it is assumed that the door is opened and closed at time t17, and the weight does not decrease beyond the time t13, and it is determined that the weight transition deviates. The
なお、図9の場合において、時刻t13から5分を超えても発生時点が取得されない場合は、浴場の利用者が倒れている可能性があるとして、出力部104は、情報処理装置100のディスプレイに、警告情報を通知してもよい。
In the case of FIG. 9, if the time of occurrence is not acquired even after 5 minutes from the time t13, it is considered that the user of the bathhouse may have collapsed, and the
また、図9の場合において、時刻t18において、重量の減少が検出され、時刻t18が、時刻t11からμ−2σ以下の時点であるとすると、重量の推移が逸脱していると判定される。この後に、時刻t19に扉の開閉が発生したとすると、出力部104は、時刻t19(発生時点)から時刻t18(逸脱時点)までの時間長505が、所定範囲内か否かを判断する。例えば、所定範囲を2分とし、時間長505が2分以内の長さの場合、何者かが脱衣籠の荷物を取り、浴場を去った可能性が考えられる。このような場合、出力部104は、窃盗の可能性がある旨の警告情報を、情報処理装置100のディスプレイに表示する。
Further, in the case of FIG. 9, if a decrease in weight is detected at time t18 and the time t18 is at a time point of μ-2σ or less from the time t11, it is determined that the change in weight deviates. If the door is opened and closed at time t19 after this, the
(6.実施形態2の情報処理装置の動作)
本実施形態の情報処理装置100の動作について説明する。例えば、情報処理装置100は、重量センサ210から24時間、所定の周期で、重量を取得しており、非重量センサ220からは、開閉の検知の度に開閉があった通知を受け取り、この通知に基づき開閉の発生時点を取得しているとする。情報処理装置100のユーザの指示により、図16に示す情報処理が実行される。
(6. Operation of Information Processing Device of Embodiment 2)
The operation of the
図16のステップS201〜ステップS205、ステップS208、ステップS209の処理は、図13のステップS101〜ステップS105、ステップS107、ステップS108の処理と同じである。 The processing of steps S201 to S205, step S208, and step S209 of FIG. 16 is the same as the processing of steps S101 to S105, step S107, and step S108 of FIG.
ステップS205において、判定部103が、予測後推移が予測された将来の推移から逸脱していると判断すると(ステップS205;YES)、出力部104は、取得された発生時点と、判定部103により逸脱していると判定された逸脱時点と、が、所定範囲内であるか否かを判断する(ステップS206)。一方、判定部103が、予測後推移が予測された将来の推移から逸脱していないと判断すると(ステップS205;NO)、ステップS201にもどる。例えば、出力部104は、非重量センサ220から取得した発生時点と、逸脱時点とが所定範囲内であるか否かを判断する。
In step S205, when the
出力部104は、発生時点と逸脱時点とが、所定範囲内であると判断すると(ステップS206;YES)、警告情報を出力する(ステップS207)。一方、出力部104は、発生時点と逸脱時点とが、所定範囲外であると判断すると(ステップS206;NO)、ステップS201に戻る。例えば、出力部104は、図9の場合において、時刻t17(発生時点)から時刻t13(逸脱時点)までの時間長504が、5分以内(所定範囲内)と判断すると、図15に示すように、画像620を、情報処理装置100のディスプレイに表示する。
When the
本実施形態によれば、浴室や脱衣場など、プライバシーの観点からカメラ及びマイク等の装置を設置することが難しい場所において、その場所で発生している状況を推測して、ユーザに警告を通知することができる。これにより、例えば、浴場において、忘れ物がある場合や長時間入浴している利用客がいる場合に、スタッフに通知することができる。よって、監視カメラ等のデバイスが備わっていなくても、利用客に高い利便性を提供したり、利用客の安全を確保したりすることができる。 According to the present embodiment, in a place where it is difficult to install a device such as a camera and a microphone from the viewpoint of privacy, such as a bathroom or a dressing room, the situation occurring in that place is estimated and a warning is notified to the user. can do. This makes it possible to notify the staff, for example, when there is something left behind or there is a customer who has been bathing for a long time in the bathhouse. Therefore, even if a device such as a surveillance camera is not provided, it is possible to provide the user with high convenience and ensure the safety of the user.
(7.変形例)
以上、本発明の実施形態を説明したが、本発明を実施するにあたっては、種々の形態による変形及び応用が可能である。
(7. Modification example)
Although the embodiments of the present invention have been described above, various modifications and applications are possible in carrying out the present invention.
上記実施形態において、重量センサ210から送信される重量のデータは、情報処理装置100の記録媒体14に格納されるとしたが、これに限らない。重量センサ210から送信される重量のデータは、情報処理装置100以外の他の装置に格納されてもよい。この場合、予測部102は、重量のデータが格納された他の装置にアクセスして、推移モデルを生成する。
In the above embodiment, the weight data transmitted from the
上記実施形態において、所定時間長区間は、ユーザが任意に設定するとしたが、これに限らない。所定時間長区間は、重量の履歴に基づいて、自動調整されてもよい。以下、所定時間長区間の候補となる時間長区間を候補時間長区間という。 In the above embodiment, the predetermined time length section is arbitrarily set by the user, but the present invention is not limited to this. The predetermined time length interval may be automatically adjusted based on the weight history. Hereinafter, a time length section that is a candidate for a predetermined time length section is referred to as a candidate time length section.
例えば、候補時間長区間tを様々な値に設定し、重量の履歴において、候補時間長区間t内に重量が一定の状態から急に変化して、再び一定になるサンプル数cを求める。候補時間長区間tが0に近づくほど、一定になる状態が含まれなくなるので、サンプル数cは0に近い値をとる。一方、候補時間長区間tを長くすると、サンプル数cは、ある程度まで増加し、その後減少していく。これは、図7を例とすると、候補時間長区間tを長くすれば、重量Aの増加と、重量Bの増加とが1つのサンプルと判断されるためである。候補時間長区間tを様々な値に設定して求めたサンプル数cのうち、最もサンプル数cが大きい時の候補時間長区間tを、所定時間長区間とする。これにより、適当な所定時間長区間を設定することができる。なお、所定時間長区間は、サンプル数cが最大値を取った後、例えば、9割程度まで減少した時の候補時間長区間tの値であってもよい。 For example, the candidate time length interval t is set to various values, and in the weight history, the number of samples c in which the weight suddenly changes from a constant state to become constant within the candidate time length interval t is obtained. As the candidate time length interval t approaches 0, the constant state is not included, so the number of samples c takes a value close to 0. On the other hand, when the candidate time length interval t is lengthened, the number of samples c increases to some extent and then decreases. This is because, for example, in FIG. 7, if the candidate time length interval t is lengthened, it is determined that the increase in weight A and the increase in weight B are one sample. Of the number of samples c obtained by setting the candidate time length interval t to various values, the candidate time length interval t when the number of samples c is the largest is defined as a predetermined time length interval. Thereby, an appropriate predetermined time length section can be set. The predetermined time length section may be the value of the candidate time length section t when the number of samples c takes the maximum value and then decreases to, for example, about 90%.
サンプル数cの求め方は、次のようにしてもよい。候補時間長区間tにおいて始めのt/3の区間及び終わりのt/3区間の重量が一定で、始めのt/3の区間における重量の値が、終わりのt/3区間の区間における重量の値と、十分に異なるサンプル数cを求める。 The number of samples c may be obtained as follows. In the candidate time length interval t, the weights of the first t / 3 section and the last t / 3 section are constant, and the weight value in the first t / 3 section is the weight in the last t / 3 section. Find the value and the number of samples c that are sufficiently different.
ここで、十分に異なるとみなすことができる重量の閾値は、例えば、最初に500gのように適当な値を設定し、サンプル数cが最大値をとる候補時間長区間tを所定時間長区間とする。例えば、所定時間長区間が5分20秒になったとすると、履歴において、所定時間長区間5分20秒を用いて、収容パターンと取り出しパターンを検出する。例えば、図7の場合を例とすると、重量A,B,Cに相当する重量が検出できる。このように、検出された、重量A,B,C等の重量の分布を求め、求めた分布を正規分布として、正規分布の平均μa−2×標準偏差σaの重量の値を「十分に異なるとみなすことができる重量の閾値」とする。そして、この値を用いて、所定時間長区間を求め、上記閾値を算出するということを繰り返すことにより、所定時間長区間及び上記閾値ともに、妥当な値に収束させることができる。 Here, the weight threshold value that can be regarded as sufficiently different is set to an appropriate value such as 500 g first, and the candidate time length interval t at which the number of samples c takes the maximum value is defined as the predetermined time length interval. do. For example, assuming that the predetermined time length section is 5 minutes and 20 seconds, the accommodation pattern and the extraction pattern are detected using the predetermined time length section of 5 minutes and 20 seconds in the history. For example, taking the case of FIG. 7 as an example, the weight corresponding to the weights A, B, and C can be detected. In this way, the weight distribution of the detected weights A, B, C, etc. is obtained, and the obtained distribution is used as the normal distribution, and the value of the weight of the average μ a- 2 × standard deviation σ a of the normal distribution is “sufficient”. The weight threshold that can be considered different. Then, by repeating the process of obtaining the predetermined time length interval and calculating the threshold value using this value, both the predetermined time length interval and the threshold value can be converged to appropriate values.
また、所定時間区間長を、センサが置かれている場所ごとに求めてもよい。例えば、脱衣場の例の場合、センサが男湯におかれているか女湯におかれているかによって、重量の履歴を分類し、分類された履歴に基づいて、上記のように所定時間長区間を求めてもよい。 Further, the predetermined time section length may be obtained for each place where the sensor is placed. For example, in the case of a dressing room, the weight history is classified according to whether the sensor is placed in the men's bath or the women's bath, and based on the classified history, the predetermined time length section is described as described above. May be sought.
上記実施形態2において、収容体を、脱衣籠として説明したが、これに限らない。例えば、収容体は、ロッカーであってもよい。ロッカーは、例えば、宿泊施設の貴重品入れや、宅配ボックスのロッカーである。収容体がロッカーの場合、開閉センサは、ロッカーの扉の開閉を検知する開閉センサであり、所定イベントは、ロッカーの利用を終了するためにロッカーの扉が閉まることである。これにより、ロッカーの現在の利用状況及び将来の空き状況を知ることができる。 In the second embodiment, the container has been described as an undressing basket, but the present invention is not limited to this. For example, the enclosure may be a locker. Lockers are, for example, lockers for valuables in accommodation facilities and delivery boxes. When the housing is a locker, the open / close sensor is an open / close sensor that detects the opening / closing of the locker door, and the predetermined event is that the locker door is closed to end the use of the locker. This makes it possible to know the current usage status and future availability status of the locker.
また、上記実施形態2において、出力部104は、発生時点と逸脱時点とが所定範囲内か否かに応じた警告情報を出力するとしたが、これに限らない。例えば、上記実施形態1において、判定部103が逸脱していると判断した場合に、出力部104が警告情報を出力するようにしてもよい。
Further, in the second embodiment, the
上記実施形態及び変形例において、標準偏差に乗じる係数を“2”として説明したが、標準偏差に乗じる係数は、“2”以外の値としても良い。また、重量の分布を正規分布に従うとしたが、これに限らず、例えば、ポアソン分布等のほかの分布を採用して、その分布に応じた収束時間長や閾値等を定めることとしてもよい。 In the above-described embodiment and modification, the coefficient for multiplying the standard deviation has been described as “2”, but the coefficient for multiplying the standard deviation may be a value other than “2”. Further, although the weight distribution follows a normal distribution, the weight distribution is not limited to this, and for example, another distribution such as a Poisson distribution may be adopted to determine the convergence time length, the threshold value, or the like according to the distribution.
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。 The present invention allows for various embodiments and modifications without departing from the broad spirit and scope of the present invention. Moreover, the above-described embodiment is for explaining the present invention, and does not limit the scope of the present invention. That is, the scope of the present invention is indicated not by the embodiment but by the claims. Then, various modifications made within the scope of the claims and the equivalent meaning of the invention are considered to be within the scope of the present invention.
本発明は、カメラ及びマイク等の装置を設置することが難しい場所において、重量からその場所の状況を知ることが可能な情報処理装置、情報処理方法及びプログラムを提供することができる。 The present invention can provide an information processing device, an information processing method, and a program capable of knowing the situation of the place from the weight in a place where it is difficult to install a device such as a camera and a microphone.
100 情報処理装置
101 重量取得部
102 予測部
103 判定部
104 出力部
105 入力部
106 更新部
107 時点取得部
210,210−A,210−B,210−C 重量センサ
220 非重量センサ
300 ネットワーク
410,410−1,410−2,410−3 脱衣籠
420,420−1,420−2,420−3 棚
11 CPU
12 ROM
13 RAM
14 記録媒体
15 出力デバイス
16 通信デバイス
17 操作デバイス
18 バス
100
12 ROM
13 RAM
14
Claims (14)
前記取得された重量の推移と、前記重量センサにより過去に検知された重量の履歴から生成された重量の推移モデルと、に基づいて前記重量センサにより検知されるべき重量の将来の推移を予測する予測部と、
を備えることを特徴とする情報処理装置。 A weight acquisition unit that acquires the weight detected by the weight sensor,
Based on the acquired weight transition and the weight transition model generated from the history of the weight detected in the past by the weight sensor, the future transition of the weight to be detected by the weight sensor is predicted. Prediction department and
An information processing device characterized by being equipped with.
前記予測部は、
前記複数の重量センサのそれぞれにより検知されるべき重量の将来の推移を予測し、
前記複数の重量センサのそれぞれについて前記予測された将来の推移に基づいて、前記施設の将来の混雑度合を予測する
ことを特徴とする請求項1に記載の情報処理装置。 The weight sensor is one of a plurality of weight sensors installed in the facility.
The prediction unit
Predict the future transition of the weight to be detected by each of the plurality of weight sensors,
The information processing apparatus according to claim 1, wherein the future congestion degree of the facility is predicted based on the predicted future transition of each of the plurality of weight sensors.
ことを特徴とする請求項1に記載の情報処理装置。 The information processing according to claim 1, wherein the prediction unit predicts the future transition when the transition in the latest predetermined time length section of the acquired weight transition matches a predetermined pattern. Device.
ことを特徴とする請求項3に記載の情報処理装置。 For the predetermined time length section, the number of samples having a transition in which the weight changes from a constant state to a constant state again is obtained in the candidate time length section that is a candidate for the predetermined time length section in the history, and the sample is obtained. The information processing apparatus according to claim 3, wherein the candidate time length section having the maximum number is set as the predetermined time length section.
をさらに備えることを特徴とする請求項1に記載の情報処理装置。 It is characterized by further including a determination unit for determining whether or not the post-prediction transition after the future prediction is made among the acquired weight transitions deviates from the predicted future transition. The information processing device according to claim 1.
前記受け付けられた入力と、前記予測後推移と、に基づいて、前記推移モデルを更新する更新部と、
をさらに備えることを特徴とする請求項5に記載の情報処理装置。 An input unit that accepts input of correctness for the determined result, and
An update unit that updates the transition model based on the received input and the post-prediction transition.
The information processing apparatus according to claim 5, further comprising.
前記所定パターンは、
前記収容体に対する収容の開始前から完了後に対応付けられる収容パターンであり、
前記推移モデルは、前記履歴において、前記収容パターンにマッチする重量の増加があった増加時点と、前記収容体からの取り出しの開始前から完了後に対応付けられる取り出しパターンにマッチする重量の減少があった減少時点と、の間の時間長の分布により表現される
ことを特徴とする請求項3に記載の情報処理装置。 The weight sensor is a sensor that detects the weight of an object housed in one container.
The predetermined pattern is
It is a containment pattern associated with the containment body from before the start to after the completion.
The transitive model has an increase in weight that matches the containment pattern in the history and a decrease in weight that matches the take-out pattern associated with the take-out pattern from before the start to after the take-out from the containment. The information processing apparatus according to claim 3, wherein the information processing apparatus is represented by a distribution of time lengths between the time of decrease and the time of decrease.
前記所定パターンは、前記複数の収容体のいずれかに対する
収容の開始前から完了後に対応付けられる収容パターン
であり、
前記推移モデルは、前記履歴において、前記収容パターンにマッチする重量の増加があった増加時点と、前記履歴において、当該増加時点の後前記複数の収容体が空になるまでに、前記複数の収容体のいずれかに対する取り出しの開始前から完了後に対応付けられる取り出しパターンにマッチし、前記増加に呼応する重量の減少があった減少時点と、の間の時間長の分布により表現され、
前記予測部は、
前記収容パターンにマッチする重量の増加があると、直前までに予測された推移に、当該増加に相当する重量を前記分布に応じて増す
ことにより、将来の推移を予測する
ことを特徴とする請求項3に記載の情報処理装置。 The weight sensor is a sensor that detects the total weight of an object housed in a plurality of housing bodies.
The predetermined pattern is a containment pattern associated with any of the plurality of containments from before the start to after the completion of the containment.
The transitive model includes the plurality of accommodations at the time of increase in which there was an increase in weight matching the accommodation pattern in the history and before the plurality of accommodations are emptied after the time of increase in the history. It is represented by the distribution of time lengths between the point of decrease and the time of decrease in which there was a weight loss in response to the increase, matching the withdrawal pattern associated with any of the bodies before and after removal.
The prediction unit
When there is an increase in weight that matches the accommodation pattern, the claim is characterized in that the future transition is predicted by increasing the weight corresponding to the increase according to the distribution to the transition predicted immediately before. Item 3. The information processing apparatus according to item 3.
前記取得された発生時点と、前記判定部により逸脱していると判定された逸脱時点と、が、所定範囲内であるか否かに応じた警告情報を出力する出力部と、
をさらに備えることを特徴とする請求項5に記載の情報処理装置。 A time point acquisition unit that acquires the time point of occurrence of a predetermined event detected by a non-weight sensor,
An output unit that outputs warning information according to whether or not the acquired time of occurrence and the time of deviation determined by the determination unit are within a predetermined range.
The information processing apparatus according to claim 5, further comprising.
前記非重量センサは、前記収容体の扉の開閉、もしくは、前記収容体が設置された部屋の扉の開閉を検知する開閉センサであり、
前記所定イベントは、前記扉の開閉である
ことを特徴とする請求項9に記載の情報処理装置。 The weight sensor detects the weight of an object contained in the housing and determines the weight of the object.
The non-weight sensor is an open / close sensor that detects the opening / closing of the door of the housing or the opening / closing of the door of the room in which the housing is installed.
The information processing apparatus according to claim 9, wherein the predetermined event is opening and closing of the door.
前記非重量センサは、前記棚が設置される部屋の扉の開閉を検知する開閉センサであり、
前記所定イベントは、前記扉の開閉である
ことを特徴とする請求項9に記載の情報処理装置。 The weight sensor is installed on the upper surface of a shelf board of a shelf capable of accommodating a plurality of undressing baskets, and detects the weights of the plurality of undressing baskets and objects contained in the plurality of undressing baskets.
The non-weight sensor is an open / close sensor that detects the opening / closing of the door of the room in which the shelf is installed.
The information processing apparatus according to claim 9, wherein the predetermined event is opening and closing of the door.
前記非重量センサは、前記ロッカーの扉の開閉を検知する開閉センサであり、
前記所定イベントは、前記ロッカーの利用を終了するために前記ロッカーの扉が閉まることである
ことを特徴とする請求項9に記載の情報処理装置。 The weight sensor detects the weight of an object contained in the rocker and determines the weight of the object.
The non-weight sensor is an open / close sensor that detects the opening / closing of the locker door.
The information processing apparatus according to claim 9, wherein the predetermined event is that the door of the locker is closed in order to end the use of the locker.
重量センサにより検知されている重量を取得し、
前記取得された重量の推移と、前記重量センサにより過去に検知された重量の履歴から生成された重量の推移モデルと、に基づいて前記重量センサにより検知されるべき重量の将来の推移を予測する
ことを特徴とする情報処理方法。 Information processing device
Obtain the weight detected by the weight sensor and
Based on the acquired weight transition and the weight transition model generated from the history of the weight detected in the past by the weight sensor, the future transition of the weight to be detected by the weight sensor is predicted. An information processing method characterized by the fact that.
重量センサにより検知されている重量を取得する重量取得部、
前記取得された重量の推移と、前記重量センサにより過去に検知された重量の履歴から生成された重量の推移モデルと、に基づいて前記重量センサにより検知されるべき重量の将来の推移を予測する予測部
として機能させることを特徴とするプログラム。 Computer,
Weight acquisition unit that acquires the weight detected by the weight sensor,
Based on the acquired weight transition and the weight transition model generated from the history of the weight detected in the past by the weight sensor, the future transition of the weight to be detected by the weight sensor is predicted. A program characterized by functioning as a predictor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020081539A JP6959392B1 (en) | 2020-05-01 | 2020-05-01 | Information processing equipment, information processing methods and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020081539A JP6959392B1 (en) | 2020-05-01 | 2020-05-01 | Information processing equipment, information processing methods and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6959392B1 JP6959392B1 (en) | 2021-11-02 |
JP2021176060A true JP2021176060A (en) | 2021-11-04 |
Family
ID=78282122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020081539A Active JP6959392B1 (en) | 2020-05-01 | 2020-05-01 | Information processing equipment, information processing methods and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6959392B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014114129A (en) * | 2012-12-11 | 2014-06-26 | Toshiba Corp | Elevator controller |
JP2014189338A (en) * | 2013-03-26 | 2014-10-06 | Hitachi Ltd | Elevator system |
JP2017091008A (en) * | 2015-11-04 | 2017-05-25 | 株式会社日立製作所 | Data processing method and data processing system |
-
2020
- 2020-05-01 JP JP2020081539A patent/JP6959392B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014114129A (en) * | 2012-12-11 | 2014-06-26 | Toshiba Corp | Elevator controller |
JP2014189338A (en) * | 2013-03-26 | 2014-10-06 | Hitachi Ltd | Elevator system |
JP2017091008A (en) * | 2015-11-04 | 2017-05-25 | 株式会社日立製作所 | Data processing method and data processing system |
Also Published As
Publication number | Publication date |
---|---|
JP6959392B1 (en) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108230574B (en) | Storage terminal pickup method and device and electronic equipment | |
US10600267B2 (en) | Storage apparatus and storage system | |
CN105518755A (en) | Security system, security method, and non-temporary computer-readable medium | |
US20200258035A1 (en) | Locker management system | |
EP3671441A1 (en) | Application management method and apparatus, storage medium, and electronic device | |
KR20170142278A (en) | Method and system for intergrated managing of accommodations | |
CN110675570A (en) | Control method and device of express cabinet, express cabinet and storage medium | |
JP6765224B2 (en) | Storage device | |
CN111599104A (en) | Method, system and storage medium for distributing goods | |
CN110648468A (en) | Express cabinet, management method thereof and computer-readable storage medium | |
JP6959392B1 (en) | Information processing equipment, information processing methods and programs | |
US9953267B2 (en) | Control method and non-transitory computer readable recording medium | |
US20210374389A1 (en) | Control method for notification system, and notification system | |
US11658496B1 (en) | Methods and systems for charging and monitoring electronic devices in confinement institutions | |
CN107832848B (en) | Application management method, device, storage medium and electronic equipment | |
JP7145532B2 (en) | Mobile terminal and communication method | |
JP2009176204A (en) | Monitoring system and monitoring method | |
JP6814553B2 (en) | Custody notification system | |
CN107851369B (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
EP3279878B1 (en) | Monitoring system, control method, and recording medium | |
CN107870791B (en) | Application management method, device, storage medium and electronic equipment | |
JP6238783B2 (en) | Storage management system | |
CN106291016A (en) | A kind of intelligent electric meter preventing power stealing | |
CN110942584B (en) | Laboratory access door | |
CN114023010A (en) | Control method and device of storage cabinet |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6959392 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |