JP2019117424A - Information processing device, control method therefor, and program - Google Patents
Information processing device, control method therefor, and program Download PDFInfo
- Publication number
- JP2019117424A JP2019117424A JP2017249638A JP2017249638A JP2019117424A JP 2019117424 A JP2019117424 A JP 2019117424A JP 2017249638 A JP2017249638 A JP 2017249638A JP 2017249638 A JP2017249638 A JP 2017249638A JP 2019117424 A JP2019117424 A JP 2019117424A
- Authority
- JP
- Japan
- Prior art keywords
- person
- queue
- information processing
- processing apparatus
- specifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、情報処理装置、及びその制御方法、プログラムに関し、特に、待ち行列として並んでいる人物の人数をより好適に特定する技術に関する。 The present invention relates to an information processing apparatus, a control method thereof, and a program, and more particularly to a technology for more suitably specifying the number of persons queued.
従来、予め設定されたエリア内の人数（レジ待ちの人数）をカウントして、所定時人数がカウントされた場合には、発報することが提案されている。 Conventionally, it has been proposed to issue a notification when the number of people in a predetermined area (the number of people waiting for cash) is counted and the number of people at a predetermined time is counted.
特許文献１には、会計を待つ顧客の人数に基づいて、新たにレジ装置の稼働を指示する報知を行うことが提案されている。
しかしながら、特許文献１では、会計待ちエリアに入ってきた顧客の人数をカウントするだけであるため、例えば、レジ待ちの列の途中にいる親（会計する人物）のところ（会計待ちエリア）に、子供（会計しない人物）が入ってきた場合、その子供も、会計待ちの人数としてカウントされてしまい、会計する人数を実際よりも多くカウントされてしまい、例えば、会計する人数が少ないにも関わらず発報されてしまうおそれが高まる。
However, in
そこで、本発明の目的は、待ち行列として並んでいる人物の人数をより好適に特定することができる仕組みを提供することである。 Therefore, an object of the present invention is to provide a mechanism capable of more suitably specifying the number of persons queued.
本発明は、撮像手段により撮像された映像を取得する取得手段と、前記取得手段により取得された映像を解析して、待ち行列として並んでいる人物の人数を計数する計数手段と、前記取得手段により取得された映像を解析して、前記待ち行列の途中から割り込んだ人物を特定する特定手段と、を備え、前記計数手段は、前記特定手段により特定された人物を、前記待ち行列として並んでいる人物として計数しないことを特徴とする。 According to the present invention, there are provided an acquisition means for acquiring an image picked up by an imaging means, a counting means for analyzing the image acquired by the acquisition means and counting the number of persons lined up as a queue, and the acquisition means Analyzing means for analyzing the image obtained by the method, and specifying means for specifying a person who has cut in the middle of the queue, and the counting means arranges the people specified by the specifying means as the queue. It is characterized by not counting as a certain person.
また、本発明は、撮像手段により撮像された映像を取得する取得手段と、前記取得手段により取得された映像を解析して、待ち行列として並んでいる人物の人数を計数する計数手段と、前記取得手段により取得された映像を解析して、前記待ち行列として並んでいる最後尾の人物の、前記待ち行列の先頭方向に対して後方側に新たに並んだ人物を特定する特定手段と、を備え、前記計数手段は、前記特定手段により特定された人物を、前記待ち行列として並んでいる人物として計数することを特徴とする。 Further, according to the present invention, there are provided an acquisition means for acquiring an image taken by an imaging means, a counting means for analyzing the image obtained by the acquisition means, and counting the number of persons lined up as a queue. An identifying means for analyzing the image acquired by the acquiring means and identifying a person who is newly arranged on the rear side with respect to the head direction of the queue of the last person arranged as the queue; The counting means may count the person specified by the specifying means as a person who is arranged in the queue.
また、本発明は、情報処理装置における制御方法であって、撮像手段により撮像された映像を取得する取得工程と、前記取得工程により取得された映像を解析して、待ち行列として並んでいる人物の人数を計数する計数工程と、前記取得工程により取得された映像を解析して、前記待ち行列の途中から割り込んだ人物を特定する特定工程と、を備え、前記計数工程は、前記特定工程により特定された人物を、前記待ち行列として並んでいる人物として計数しないことを特徴とする。 Further, the present invention is a control method in an information processing apparatus, which is an acquisition step of acquiring an image captured by an imaging unit, and a person who is queued by analyzing the image acquired by the acquisition step. A counting step of counting the number of people, and a specifying step of analyzing the image obtained by the obtaining step and specifying a person who has cut in the middle of the queue; the counting step includes the steps of: The identified person is not counted as the person queued in the queue.
また、本発明は、情報処理装置における制御方法であって、撮像手段により撮像された映像を取得する取得工程と、前記取得工程により取得された映像を解析して、待ち行列として並んでいる人物の人数を計数する計数工程と、前記取得工程により取得された映像を解析して、前記待ち行列として並んでいる最後尾の人物の、前記待ち行列の先頭方向に対して後方側に新たに並んだ人物を特定する特定工程と、を備え、前記計数工程は、前記特定工程により特定された人物を、前記待ち行列として並んでいる人物として計数することを特徴とする。 Further, the present invention is a control method in an information processing apparatus, which is an acquisition step of acquiring an image captured by an imaging unit, and a person who is queued by analyzing the image acquired by the acquisition step. And counting the number of people, and analyzing the image acquired by the acquisition step, the last person standing as the queue is newly arranged on the back side with respect to the head direction of the queue. The identification step of identifying the person is characterized in that the counting step counts the person identified by the identification step as the person who is queued in the queue.
また、本発明は、コンピュータを、情報処理装置の各手段として機能させるためのプログラムを特徴とする。 Further, the present invention is characterized by a program for causing a computer to function as each means of an information processing apparatus.
本発明によれば、待ち行列として並んでいる人物の人数をより好適に特定することができる。 According to the present invention, the number of persons queued can be more suitably specified.
以下、図面を参照して、本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明の情報処理システムのシステム構成の一例を示すである。 FIG. 1 shows an example of the system configuration of the information processing system of the present invention.
図１（Ａ）は、第１の情報処理システムのシステム構成の一例であり、図１（Ｂ）は、第２の情報処理システムのシステム構成の一例である。 FIG. 1A is an example of a system configuration of a first information processing system, and FIG. 1B is an example of a system configuration of a second information processing system.
まず、第１の情報処理システム（図１（Ａ））について説明する。 First, the first information processing system (FIG. 1A) will be described.
図１（Ａ）に示す第１の情報処理システムは、ネットワークカメラ１０１と、クライアント端末１０２と、警告手段１０３と、ＰＯＳレジシステム１０６とを備えている。
The first information processing system shown in FIG. 1A includes a
ネットワークカメラ１０１と、クライアント端末１０２と、警告手段１０３と、ＰＯＳレジシステム１０６とは、ＬＡＮ等のネットワーク１０４を介して相互に通信可能に接続されている。
The
ネットワークカメラ１０１は、例えば、店舗内に設置されており、顧客がレジでの会計を待つエリアを撮影可能に設置されている。
The
ネットワークカメラ１０１は、撮影した映像を解析して、エリアで会計を待っている顧客が所定人数以上であると判定された場合には、アラートを警告手段１０３に出力する機能を備えている。本実施形態において、映像とは、動画、フレーム画像（群）、又は静止画である。
The
ＰＯＳレジシステム１０６は、店舗内の複数のレジスター（単にレジとも言う）と通信可能なシステムであり、当該各レジの稼働状況を示す情報（図９の稼働レジ管理テーブル９０３）を管理している装置である。ここで、稼働とは、例えば、レジの電源が入っていること、又は、店員がレジを使用するためにレジに対して必要な設定（例えば認証等）が済んだ状態であること、あるいは、店員がレジ前でレジを操作しレジが会計を行うことが可能な状態であることを含む。
The POS
クライアント端末１０２は、ネットワークカメラ１０１が撮影した映像（動画や静止画）や後述する表示画面８０１の表示、後述する枠４０２（人数をカウントするエリア）の設定をユーザ（店員）から受け付ける情報処理装置である。クライアント端末１０２は、ユーザにより、矩形等の枠４０２をレジ４０１に対応するように設定を受け付け、当該設定されたデータを、ネットワークカメラ１０１に送信する。そして、ネットワークカメラ１０１は、当該データを受信すると、当該データを図９のレジ対応枠管理テーブル９０４として設定する。クライアント端末１０２は、パソコンやタブレットＰＣ等の端末を含む。
An information processing apparatus that receives, from a user (salesman), settings of a video (moving image or still image) captured by the
後述する枠４０２は、レジ対応枠管理テーブル９０４の「レイアウト」に示される配置情報（枠の位置情報）に基づいて、映像に重畳して配置される。そして、当該枠内の人に対して後述の解析処理が行われる。 A frame 402 described later is arranged so as to be superimposed on the video based on the arrangement information (position information of the frame) shown in the “layout” of the registration corresponding frame management table 904. And the below-mentioned analysis processing is performed to the person in the frame concerned.
警告手段１０３は、ネットワークカメラ１０１から、アラートを受信すると、警光灯などを光らせて光で店員にアラートを知らせる機能、あるいは、サイレンなどの音で店員にアラートを知らせる機能を備えている。また、この警告手段１０３は、クライアント端末１０２が備えているものとしてもよい。クライアント端末１０２と、警告手段１０３は、例えば、店員の控室などに設けられている。
The warning means 103 has a function of lighting an alarm light or the like to notify a store clerk of the alert with light when receiving an alert from the
後述する図８に示す処理、及び図１１に示す処理は、図１（Ａ）に示す第１の情報処理システムのネットワークカメラ１０１のＣＰＵが実行することができる。
The processing shown in FIG. 8 described later and the processing shown in FIG. 11 can be executed by the CPU of the
次に、第２の情報処理システム（図１（Ｂ））について説明する。 Next, a second information processing system (FIG. 1B) will be described.
図１（Ｂ）に示す第２の情報処理システムは、ネットワークカメラ１０１と、クライアント端末１０２と、警告手段１０３と、サーバ１０５と、ＰＯＳレジシステム１０６とを備えている。
The second information processing system shown in FIG. 1B includes a
図１（Ａ）に示す第１の情報処理システムとは、サーバ１０５を備えている点で異なる。そのため、異なる点についてのみ説明する。
It differs from the first information processing system shown in FIG. 1A in that the
図１（Ｂ）に示す第２の情報処理システムは、ネットワークカメラ１０１のＣＰＵではなくサーバ１０５のＣＰＵが、後述する図８に示す処理、及び図１１に示す処理を実行することが可能である。
In the second information processing system shown in FIG. 1B, the CPU of the
ネットワークカメラ１０１と、クライアント端末１０２と、警告手段１０３と、サーバ１０５と、ＰＯＳレジシステム１０６とは、ＬＡＮ等のネットワーク１０４を介して相互に通信可能に接続されている。
The
サーバ１０５は、ネットワークカメラ１０１が撮影した映像（ライブ映像の動画又は静止画）をネットワークカメラ１０１から受信すると、その映像を解析して、エリアで会計を待っている顧客が所定人数以上であると判定された場合に、アラートを警告手段１０３に出力する機能を備えている。
When the
警告手段１０３は、サーバ１０５から、アラートを受信すると、警光灯などを光らせて光で店員にアラートを知らせる機能、あるいは、サイレンなどの音で店員にアラートを知らせる機能を備えている。
The warning means 103 has a function of lighting an alarm light or the like to notify a store clerk of an alert with light when receiving an alert from the
ネットワークカメラ１０１、サーバ１０５は、本発明の情報処理装置の適用例である。
The
図２は、図１に示すクライアント端末１０２、サーバ１０５、及びＰＯＳレジシステム１０６に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。
FIG. 2 is a block diagram showing an example of a hardware configuration of an information processing apparatus applicable to the
図２に示すように、情報処理装置は、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、および通信Ｉ／Ｆコントローラ２０８が接続される。
As shown in FIG. 2, the information processing apparatus includes a central processing unit (CPU) 201, a read only memory (ROM) 203, a random access memory (RAM) 202, an
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
The
ＲＯＭ２０３あるいは外部メモリ２１１等の記憶装置は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。
A storage device such as the
ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードし、ロードしたプログラムを実行することで各種動作を実現する。
The
入力コントローラ２０５は、入力装置２０９（入力デバイス）からの入力を制御する。入力装置２０９としては、キーボード、タッチパネル、マウス等のポインティングデバイス等が挙げられる。
The
なお、入力装置２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。
When the
また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。 Further, the touch panel may be a touch panel capable of detecting a position touched by a plurality of fingers, such as a multi-touch screen.
ビデオコントローラ２０６は、ディスプレイ装置２１０などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、入力装置２０９を提供する。
なおビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０２の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。
The
メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるメモリ等を利用可能である。
The
通信Ｉ／Ｆコントローラ２０８は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信、Ｗｉ−Ｆｉ、および３Ｇ回線、ＬＴＥ回線を用いた通信が可能である。
The communication I /
なお、外部メモリ２１１等の記憶装置は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。
The storage device such as the
また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。 Moreover, it can also be used as a temporary memory area at the time of various processes performed by the communication terminal in the present embodiment.
尚、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
次に、図３を用いて、図１に示したネットワークカメラ１０１（情報処理装置）のハードウェア構成の一例について説明する。 Next, an example of the hardware configuration of the network camera 101 (information processing apparatus) illustrated in FIG. 1 will be described using FIG. 3.
図３は、ネットワークカメラ１０１のハードウェアの構成を示す構成図である。
FIG. 3 is a block diagram showing the hardware configuration of the
ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０２あるいは外部メモリ３０５には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、画像処理サーバ１０８の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。
The
ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。
The
メモリコントローラ（ＭＣ）３０６は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像データ等を記憶するハードディスク（ＨＤ）やＰＣＭＣＩＡカードスロットにアダプタを介して接続されるスマートメディア（登録商標）等の外部メモリ３０５へのアクセスを制御する。
A memory controller (MC) 306 is a smart connected via an adapter to a hard disk (HD) that stores a boot program, various applications, font data, user files, editing files, various data, image data, etc. It controls access to the
カメラ部３０７は、画像処理部３０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号を画像処理部３０８に対して出力する。
The
画像処理部３０８は、ＲＧＢ信号や捕色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成し、ＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像データとして外部メモリ３０５へ一時保管される。
The
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、外部メモリ３０５に記憶された画像データは、通信Ｉ／Ｆコントローラ３０９によって外部機器へ送信される。
A communication I / F controller (communication I / FC) 309 is for connecting and communicating with an external device via a network, executes communication control processing in the network, and stores the image stored in the
次に、図１２を用いて、本発明の情報処理装置が適用可能なネットワークカメラ１０１、サーバ１０５が備える機能について説明する。
Next, functions of the
図１２は、ネットワークカメラ１０１、サーバ１０５が備える機能を示す機能ブロック図の一例を示す図である。
FIG. 12 is a diagram showing an example of a functional block diagram showing functions of the
取得部１２０１は、撮像手段（撮像部）により撮像された映像を取得する。
An
また、計数部１２０２は、取得部１２０１により取得された映像を解析して、待ち行列として並んでいる人物の人数を計数する。
Further, the
また、特定部１２０３は、取得部１２０１により取得された映像を解析して、待ち行列の途中から割り込んだ人物を特定する。
Also, the identifying
計数部１２０２は、特定部１２０３により特定された人物を、待ち行列として並んでいる人物として計数しないことを特徴とする。
The
また、人物特定部１２０４は、取得部１２０１により取得された映像を解析して、待ち行列として並んでいる最後尾の人物の、待ち行列の先頭方向に対して後方側に新たに並んだ人物を特定する。
In addition, the
計数部１２０２は、人物特定部１２０４により特定された人物を、待ち行列として並んでいる人物として計数する。
The
特定部１２０３は、取得部１２０１により取得された映像を解析して、待ち行列として並んでいる最後尾の人物よりも、待ち行列の先頭方向側の位置に新たに入ってきた人物を、待ち行列の途中から割り込んだ人物として特定する。
The identifying
計数部１２０２は、取得部１２０１により取得された映像の所定のエリア内の人数を、待ち行列として並んでいる人物の人数として計数する。
The
計数部１２０２は、待ち行列として並んでいる最後尾の人物と、所定のエリア内で、待ち行列の先頭方向に対して後方側に新たに入ってきた人物との間が所定距離以内であることを条件に、当該人物を、待ち行列として並んでいる人物として計数する。
Within the predetermined area, the
計数部１２０２は、待ち行列として並んでいる最後尾の人物と、所定のエリア内で、待ち行列の先頭方向に対して後方側に新たに入ってきた人物との間が所定距離以内であり、かつ、当該人物と最後尾の人物との間の距離が所定距離以内の状態で当該人物が所定時間滞留していることを条件に、当該人物を、待ち行列として並んでいる人物として計数する。
Within the predetermined area, the
計数部１２０２は、待ち行列として並んでいる最後尾の人物と、所定のエリア内で、待ち行列の先頭方向に対して後方側に新たに入ってきた人物との間が所定距離以内であり、当該人物を、待ち行列として並んでいる人物として計数した後に、当該新たに入ってきた人物と、当該最後尾の人物との間が所定距離よりも離れたとしても、当該新たに入ってきた人物を、待ち行列として並んでいる人物として計数する。
Within the predetermined area, the
計数部１２０２は、待ち行列として並んでいる人物を、会計を行う対象の人物として計数する。
The
また、特定部１２０３は、取得部１２０１により取得された映像を解析して、待ち行列として並んでいる最後尾の人物の、待ち行列の先頭方向に対して後方側に新たに並んだ人物を特定する
そして、計数部１２０２は、特定部１２０３により特定された人物を、待ち行列として並んでいる人物として計数する。
Further, the identifying
計数部１２０２は、待ち行列の途中から割り込んだ人物を、待ち行列として並んでいる人物として計数せずに、特定部１２０３により特定された人物を、待ち行列として並んでいる人物として計数する。
The
次に、図８示すフローチャートを用いて、ネットワークカメラ１０１、又はサーバ１０５が実行する処理について説明する。
Next, processing executed by the
図８は、会計待ち人数に係るアラート出力条件を満たした場合にアラートを出力する処理を示すフローチャートの一例である。 FIG. 8 is an example of a flowchart showing processing for outputting an alert when the alert output condition relating to the number of people waiting for accounting is satisfied.
ここでは、ネットワークカメラ１０１のＣＰＵ３０１が、図８に示す処理を実行するものとして説明する。図８に示す処理を、サーバ１０５のＣＰＵが実行する処理とする場合には、ネットワークカメラ１０１をサーバ１０５と読み替えればよい。ただ、この場合、Ｓ８０１においては、サーバ１０５が、ネットワークカメラ１０１が撮影した映像を取得するものとする。また、後述する９０１、９０２、９０４の各テーブルは、サーバ１０５のメモリ等の記憶手段に記憶されているものとする。
Here, it is assumed that the
まず、ネットワークカメラ１０１は、ネットワークカメラ１０１が撮影した映像を取得する（Ｓ８０１）。
First, the
Ｓ８０１は、本発明の取得手段の適用例であり、撮像手段により撮像された映像を取得する。ここで、撮像手段は、カメラ部３０７、及び／又は画像処理部３０８の適用例である。
S801 is an application example of the acquisition unit of the present invention, and acquires an image captured by the imaging unit. Here, the imaging unit is an application example of the
ネットワークカメラ１０１には、ネットワークカメラ１０１の画角の中で、予めユーザにより所定のエリアが設定されている。図４は、ネットワークカメラ１０１が撮影した映像の一例である。図４に示す４０２は、予めユーザにより設定された枠であり、この枠内が所定のエリアである。
In the
図４の例では、レジ４０１Ａで会計を行う顧客が会計待ちで並ぶ領域（所定のエリア）を４０２Ａの枠で予め設定されている。また、レジ４０１Ｂで会計を行う顧客が会計待ちで並ぶ領域（所定のエリア）を４０２Ｂの枠で予め設定されている。
In the example of FIG. 4, an area (predetermined area) in which customers who are to be accounted at the
また、図４に示す４０１Ａのレジは、稼働しておらず、４０２Ａには顧客が会計待ちで並んでいない様子を示している。図４に示す４０１Ｂのレジは、稼働しており、４０２Ｂには顧客が会計待ちで並んでいる様子を示している。
Further, the cash register of 401A shown in FIG. 4 is not in operation, and 402A shows that customers are not waiting for accounting. The
次に、ネットワークカメラ１０１は、Ｓ８０１で取得した映像を解析して、枠４０２Ｂで囲まれたエリア（所定のエリア）に顧客（人物）が入ってきたか否かを判定する（Ｓ８０２）。
Next, the
ネットワークカメラ１０１は、枠４０２Ｂで囲まれたエリア（所定のエリア）に顧客が入ってきたと判定された場合には（Ｓ８０２：ＹＥＳ）、当該入ってきた顧客（人物）の特徴情報を、当該映像を解析して取得し、当該顧客の識別情報としてレジ行列管理テーブル９０１の「識別情報」の項目に登録する。また、このとき、レジ行列管理テーブル９０１の「人物Ｎｏ」にも、当該識別情報と対応付けて、当該顧客の番号を採番し登録する。
When it is determined that the customer has entered the area (predetermined area) enclosed by the
図４は、レジ行列管理テーブル９０１の一例を示す図である。 FIG. 4 is a diagram showing an example of the registration matrix management table 901. As shown in FIG.
レジ行列管理テーブルは、枠４０２ごとに、ネットワークカメラ１０１のメモリに記憶されている情報であり、当該枠内で並んでいる顧客を管理するテーブルである。
The registration matrix management table is information stored in the memory of the
レジ行列管理テーブル９０１は、枠４０２Ｂ内を並んでいる顧客を管理するテーブルである。
The cashier matrix management table 901 is a table for managing customers lining up in the
レジ行列管理テーブル９０１は、「人物Ｎｏ」、「識別情報」、「会計対象人物」の項目を備えている。 The cashier matrix management table 901 has items of “person No”, “identification information”, and “accountant person”.
「人物Ｎｏ」は、ネットワークカメラ１０１が採番した顧客を示す番号が格納される。「識別情報」は、顧客（人物）を識別する特徴情報が識別情報として格納される。「会計対象人物」は、当該識別情報により識別される人物が、会計待ち人数として算出（特定）する対象の人物であるか否かを示す情報が格納される。会計待ち人数として算出（特定）する対象の人物である場合には「○」が格納され、会計待ち人数として算出（特定）する対象の人物ではない場合には「×」が格納される。
In “Person No”, a number indicating a customer numbered by the
また、ネットワークカメラ１０１は、枠４０２Ｂで囲まれたエリア（所定のエリア）に顧客が入ってきていないと判定された場合には（Ｓ８０２：ＮＯ）、処理をＳ８１５に移行する。
When it is determined that the customer has not entered the area (predetermined area) enclosed by the
ネットワークカメラ１０１は、Ｓ８０１で取得した映像を解析して、具体的には、枠４０２Ｂに囲まれたエリア内の映像を解析して、当該エリア内に並んでいる人の行列の最後尾の人の特定を行う（Ｓ８０４）。
The
ネットワークカメラ１０１は、例えば、枠４０２Ｂに囲まれたエリア内の人物をそれぞれ特定して、図４に示す映像の最も上部側に近い（図４に示す映像の下部側から最も遠い）人物を、行列の最後尾の人として特定する。
The
また、ネットワークカメラ１０１は、例えば、枠４０２Ｂに囲まれたエリア内の人物をそれぞれ特定して各人により形成された行列を特定し、図４に示す映像の最も上部側に近い（図４に示す映像の下部側から最も遠い）人物を、待ち行列の最後尾の人として特定することもできる。
In addition, the
次に、ネットワークカメラ１０１は、Ｓ８０１で取得された映像を解析して、Ｓ８０４で特定された最後尾の人（４０３）よりも前に（最後尾の人より待ち行列の先頭方向側の位置に）、Ｓ８０３で登録された人が割り込んできたか、それとも、Ｓ８０４で特定された最後尾の人の後ろ側（図４に示す映像の上部側）に、Ｓ８０３で登録された人が入ってきたかを判定する（Ｓ８０５）。
Next, the
具体的には、ネットワークカメラ１０１は、枠４０２Ｂに囲まれたエリア内の人物をそれぞれ特定し、その特定された各人物の間の位置に、Ｓ８０３で登録された人が入ってきたかを判定する。各人物の間の位置に人が入ってきたと判定された場合には、人が割り込んできたと判定する。このようにして、会計の待ち行列の途中から割り込んだ人物を特定する。
Specifically, the
また、具体的には、ネットワークカメラ１０１は、Ｓ８０４で特定された最後尾の人よりも前に（待ち行列の先頭方向側の位置に）、新たに入ってきた人物（Ｓ８０３で登録された人）を、待ち行列の途中から割り込んだ人物として特定する。
Also, specifically, the
Ｓ８０５は、本発明の特定手段の適用例であり、Ｓ８０１の取得手段により取得された映像を解析して、会計の待ち行列の途中から割り込んだ人物を特定する。また、当該映像を解析して、待ち行列として並んでいる最後尾の人物の、待ち行列の先頭方向に対して後方側に新たに並んだ人物を特定する。 S805 is an application example of the specifying unit of the present invention, and analyzes the image acquired by the acquiring unit of S801, and specifies a person who has been interrupted in the middle of the accounting queue. Further, the video is analyzed to specify a person who is newly lined backward with respect to the head direction of the queue of the last person in queue.
Ｓ８０５は、本発明の人物特定手段の適用例であり、Ｓ８０１の取得手段により取得された映像を解析して、Ｓ８０４で特定された最後尾の人の後ろ側（図４に示す映像の上部側）に、Ｓ８０３で登録された人が入ってきたと判定された場合、当該人を、会計の待ち行列として並んでいる最後尾の人物の、待ち行列の先頭方向に対して後方側に新たに並んだ人物として特定する。
そして、ネットワークカメラ１０１は、Ｓ８０５で、最後尾の人（図４の４０３）よりも前に人（図４の４０４Ｂ）が割り込んできたと判定された場合には（ＹＥＳ）、処理をＳ８０６に移行し、最後尾の人（図４の４０３）の後ろ側に人（図４の４０４Ａ）が入ってきたと判定された場合には（ＮＯ）、処理をＳ８０７に移行する。 When it is determined in S805 that the person (404B in FIG. 4) has interrupted before the last person (403 in FIG. 4) in S805 (YES), the process proceeds to S806. If it is determined that a person (404A in FIG. 4) has entered behind the last person (403 in FIG. 4) (NO), the process proceeds to S807.
図４は、最後尾の人（図４の４０３）よりも前に割り込んできた人物（図４の４０４Ｂ）と、最後尾の人（図４の４０３）の後ろ側に入ってきた人（図４の４０４Ａ）の位置関係を示す映像の一例を示す図である。 FIG. 4 shows a person who has entered before the last person (403 in FIG. 4) (404 B in FIG. 4) and a person who has entered the back of the last person (403 in FIG. 4) (FIG. 4) It is a figure which shows an example of the image | video which shows the positional relationship of 404A of 4).
ネットワークカメラ１０１は、Ｓ８０６において、割り込んだ人が会計対象人物ではない設定を行う。具体的には、Ｓ８０３で登録された人物の識別情報に対応して、レジ行列管理テーブル９０１の「会計対象人物」に「×」を格納する。そして、処理をＳ８１１に移行する。
In step S806, the
このようにして、Ｓ８０６は、Ｓ８０５の特定手段により特定された人物を、会計の待ち行列として並んでいる人物として、Ｓ８１１で計数しないように制御する。 Thus, in step S806, control is performed so that the person specified by the specifying unit in step S805 is not counted in step S811 as a person queued as an accounting queue.
ネットワークカメラ１０１は、Ｓ８０７において、枠４０２Ｂで囲まれたエリア（所定のエリア）に入ってきた顧客（人物）と、Ｓ８０４で特定された最後尾の人物との間の距離が、所定距離（例えば、７０ｃｍ）以内であるか否かを判定する。
In S807, the
図６は、枠４０２Ｂで囲まれたエリア（所定のエリア）に入ってきた人物６０１と、Ｓ８０４で特定された最後尾の人物（図６の４０３）との間の距離が、所定距離よりも離れている状態を示した図の一例である。
In FIG. 6, the distance between the
図６に示すように、枠４０２Ｂで囲まれたエリア（所定のエリア）に入ってきた人物６０１と、Ｓ８０４で特定された最後尾の人物（図６の４０３）との間の距離が、所定距離よりも離れている状態であれば、その人物６０１は、レジ待ちのために当該所定のエリアに入ってきた人物ではなく、単に、当該所定のエリアの近くの商品を見ているだけの人物かもしれない。
As shown in FIG. 6, the distance between the
そのため、ネットワークカメラ１０１は、Ｓ８０７において、枠４０２Ｂで囲まれたエリア（所定のエリア）に入ってきた顧客（人物）と、Ｓ８０４で特定された最後尾の人物との間の距離が、所定距離以内であると判定された場合には（ＹＥＳ）、処理をＳ８０８に進め、一方、所定距離以内ではないと判定された場合には（ＮＯ）、当該入ってきて来た人物６０１を、会計対象人物ではない設定を行う（Ｓ８１０）。具体的には、Ｓ８０３で登録された人物の識別情報に対応して、レジ行列管理テーブル９０１の「会計対象人物」に「×」を格納する。そして、処理をＳ８０１に移行する。そして、ネットワークカメラ１０１は、Ｓ８１０で「×」が格納された「会計対象人物」に対応してレジ行列管理テーブル９０１に記憶されている識別情報により識別される人物が、Ｓ８０１で取得した映像の解析の結果、枠４０２Ｂで囲まれたエリア（所定のエリア）内にいると判定された場合、当該人物については、Ｓ８０２で、枠４０２Ｂで囲まれたエリア（所定のエリア）に入ってきた人物として判定され（Ｓ８０２：ＹＥＳ）、Ｓ８０３の処理をスキップし処理をＳ８０４に移行する。また、ネットワークカメラ１０１は、Ｓ８０１で取得した映像の解析の結果、当該人物が、枠４０２Ｂで囲まれたエリア（所定のエリア）から出て行ったと判定された場合（Ｓ８０２：ＮＯ、Ｓ８１５：ＹＥＳ）、処理をＳ８１６に移行する。
Therefore, the
ネットワークカメラ１０１は、Ｓ８０７において、枠４０２Ｂで囲まれたエリア（所定のエリア）に入ってきた人物（例えば６０１）と、Ｓ８０４で特定された最後尾の人物（例えば４０３）との間の距離が、所定距離以内であると判定された場合には（ＹＥＳ）、当該所定距離以内の状態でその人物（例えば６０１）が滞留している時間が所定時間（例えば、３０秒）を超えたか否かを判定する（Ｓ８０８）。
In S807, the
そして、ネットワークカメラ１０１は、入ってきた人物（例えば図７の６０１）と、最後尾の人物（例えば図７の４０３）との間の距離が、所定距離以内の状態でその人物（例えば図７の６０１）が滞留している時間が所定時間（例えば、３０秒）を超えたと判定された場合には（Ｓ８０８：ＹＥＳ）、処理Ｓ８０９に移行し、一方、超えていないと判定された場合には（Ｓ８０８：ＮＯ）、処理をＳ８１０に移行する。
Then, the
図７の（Ａ）は、入ってきた人物（例えば図７の６０１）と、最後尾の人物（例えば図７の４０３）との間の距離が、所定距離以内の状態であることを示す映像の図の一例である。 FIG. 7A is an image showing that the distance between the incoming person (eg, 601 in FIG. 7) and the last person (eg, 403 in FIG. 7) is within a predetermined distance. Is an example of a diagram of FIG.
ネットワークカメラ１０１は、Ｓ８０９において、入ってきた人物（例えば図７の６０１）が、会計対象人物である設定を行う。具体的には、Ｓ８０３で登録された人物（例えば図７の６０１）の識別情報に対応して、レジ行列管理テーブル９０１の「会計対象人物」に「○」を格納する。
In step S809, the
図７は、入ってきた人物（例えば図７の６０１）と、最後尾の人物（例えば図７の４０３）との間の距離が所定距離以内の状態にある映像の一例（Ａ）と、その後、当該入ってきた人物（例えば図７の６０１）が、再度、所定距離よりも離れた状態になった映像の一例（Ｂ）を示す図である。 FIG. 7 shows an example (A) of an image in which the distance between the incoming person (for example, 601 in FIG. 7) and the last person (for example, 403 in FIG. 7) is within a predetermined distance; FIG. 10 is a diagram showing an example (B) of an image in which the incoming person (for example, 601 in FIG. 7) is separated again from a predetermined distance.
図７の（Ａ）に示すように、入ってきた人物（例えば図７の６０１）と、最後尾の人物（例えば図７の４０３）との間の距離が所定距離以内の状態で、その人物（例えば図７の６０１）が滞留している時間が所定時間を超えた場合には、その人物（例えば図７の６０１）の、レジ行列管理テーブル９０１の「会計対象人物」に「○」を格納する。その後に、入ってきた人物（例えば図７の６０１）が、再度、図７の（Ｂ）に示すように、入ってきた人物（例えば図７の６０１）と、最後尾の人物（例えば図７の４０３）との間の距離が所定距離よりも離れた状態になったとしても、ネットワークカメラ１０１は、入ってきた人物（例えば図７の６０１）が、枠４０２Ｂ内のエリア内にいるのであれば、Ｓ８０２でＮＯと判定され、Ｓ８１５でＮＯと判定されるように制御する。
As shown in FIG. 7A, when the distance between the incoming person (eg, 601 in FIG. 7) and the last person (eg, 403 in FIG. 7) is within a predetermined distance, the person If the time for which (for example, 601 in FIG. 7) is staying exceeds the predetermined time, “○” is added to “Accounting Target Person” of the registration matrix management table 901 of the person (for example, 601 in FIG. 7). Store. Thereafter, as shown in FIG. 7B, the person who has entered (for example, 601 in FIG. 7) again enters the person who has come in (for example, 601 in FIG. 7) and the last person (for example, FIG. 7). Of the
すなわち、Ｓ８０９で、一旦、会計対象人物として設定された人（例えば図７の６０１）が、最後尾の人（すぐ前の人）（例えば図７の４０３）と所定距離よりも離れたとしても、非会計対象人物として設定されないように制御することができる。 That is, even if the person (for example, 601 in FIG. 7) once set as the accounting object person at S809 is separated from the last person (immediately before) (for example, 403 in FIG. 7) by more than a predetermined distance. It can be controlled not to be set as a non-accounting person.
このようにして、計数手段は、待ち行列として並んでいる最後尾の人物（４０３）と、所定のエリア（４０２Ｂ）内で、待ち行列の先頭方向に対して後方側に新たに入ってきた人物（６０１）との間が所定距離以内であり、当該人物（６０１）を、待ち行列として並んでいる人物として計数した後に、当該新たに入ってきた人物（６０１）と、当該最後尾の人物（４０３）との間が所定距離よりも離れたとしても、当該新たに入ってきた人物（６０１）を、待ち行列として並んでいる人物として計数する。 In this way, the counting means is the last person (403) arranged in a queue, and the person who has newly entered behind the front of the queue in the predetermined area (402B) (601) is within a predetermined distance, and after counting the person (601) as a queued person, the newly entered person (601) and the last person Even if the distance from 403) is greater than a predetermined distance, the newly entered person (601) is counted as a person queued.
そのため、会計が進み、人（例えば図７の４０３）がレジの方向に進み、図７の６０１の人がレジの方向に進み遅れてしまった場合であっても、図７の６０１の人が非会計対象人物とはならず、会計対象人物として設定することができ、より適切な人数を推定（特定）することが出来るようになる。
Therefore, even if the accounting advances and a person (for example, 403 in FIG. 7) advances in the direction of the cash register and the
ネットワークカメラ１０１は、Ｓ８０６又はＳ８０９の何れかの処理を実行すると、Ｓ８１１に処理を移行して、会計待ち人数を計測（計数）して特定（推定）する（Ｓ８１１）。
After executing the processing of either S806 or S809, the
具体的には、ネットワークカメラ１０１は、レジ行列管理テーブル９０１の「会計対象人数」が「○」の数をカウントして、当該カウントして得られた数値を、枠４０２で囲まれたエリアにおいて、会計を行うために待っている人の人数として推定（特定）する。
Specifically, in the
Ｓ８０２〜Ｓ８１１は、本発明の計数手段の適用例であり、Ｓ８０１の取得手段により取得された映像を解析して、待ち行列として並んでいる人物の人数を計数する。 S802 to S811 are application examples of the counting means of the present invention, which analyzes the image acquired by the acquiring means of S801, and counts the number of persons lined up as a queue.
この計数手段は、Ｓ８０５の人物特定手段により特定された人物を、待ち行列として並んでいる人物として計数する。また、計数手段は、待ち行列として並んでいる人物を、会計を行う対象の人物として計数する。
This counting means counts the person specified by the person specifying means in
すなわち、計数手段は、Ｓ８０１の取得手段により取得された映像の所定のエリア内の人数を、待ち行列として並んでいる人物の人数として計数するが、Ｓ８０５の人物特定手段により特定された人物を、待ち行列として並んでいる人物として計数する。 That is, the counting means counts the number of people in the predetermined area of the image acquired by the acquiring means of S801 as the number of persons queued in the queue, but the person specified by the person specifying means of S805 is Count as people queued up.
この計数手段は、待ち行列として並んでいる最後尾の人物（４０３）と、所定のエリア内で、待ち行列の先頭方向に対して後方側に新たに入ってきた人物（６０１）との間が所定距離以内であることを条件に（Ｓ８０７：ＹＥＳ）、当該人物（６０１）を、待ち行列として並んでいる人物として計数する。 In this counting means, there is a gap between the last person (403) in a queue and the person (601) that has entered the back of the queue in the predetermined area. Under the condition that the distance is within the predetermined distance (S807: YES), the person (601) is counted as a person who is queued.
また、この計数手段は、待ち行列として並んでいる最後尾の人物（４０３）と、所定のエリア内で、待ち行列の先頭方向に対して後方側に新たに入ってきた人物（６０１）との間が所定距離以内であり（Ｓ８０７：ＹＥＳ）、かつ、当該人物（６０１）と最後尾の人物（４０３）との間の距離が所定距離以内の状態で当該人物（６０１）が所定時間滞留していることを条件に（Ｓ８０８：ＹＥＳ）、当該人物（６０１）を、待ち行列として並んでいる人物として計数する。 In addition, this counting means includes the last person (403) arranged in a queue and the person (601) that has entered the back side with respect to the top direction of the queue in a predetermined area. The person (601) stays for a predetermined time while the distance is within the predetermined distance (S807: YES) and the distance between the person (601) and the last person (403) is within the predetermined distance. On the condition that it is (S808: YES), the person (601) is counted as a person queued.
そして、ネットワークカメラ１０１は、Ｓ８１１で特定された会計待ち人数が、所定人数（例えば３人）以上であるか否かを判定し（Ｓ８１２）、会計待ち人数が、所定人数以上であると判定された場合には（ＹＥＳ）、処理をＳ８１３に移行し、会計待ち人数が、所定人数未満であると判定された場合には（ＮＯ）、処理をＳ８０１に戻す。
Then, the
ネットワークカメラ１０１は、Ｓ８１３において、空いているレジがあり、レジの対応が可能な店員（スタッフ）がいるかを判定する。
In S813, the
具体的には、ネットワークカメラ１０１は、ＰＯＳレジシステム１０６のメモリ等の記憶手段に記憶されている稼働レジ管理テーブル９０３を取得し、当該稼働レジ管理テーブル９０３に基づいて、稼働していない空いているレジ（非稼働のレジ）があるか否かを判定する。
Specifically, the
図９の９０３は、稼働レジ管理テーブル９０３の一例を示す図である。 Reference numeral 903 in FIG. 9 is a diagram showing an example of the operating register management table 903.
稼働レジ管理テーブル９０３は、レジを識別する識別情報が格納される「レジ情報」の項目と、当該識別情報により識別されるレジが稼働しているか、稼働していないかを示す情報が格納される「稼働／非稼働」の項目とを備えている。「稼働／非稼働」には、稼働しているレジについては、「○」が格納され、稼働していないレジについては、「×」が格納される。 The operating register management table 903 stores an item of “register information” in which identification information for identifying a register is stored, and information indicating whether the register identified by the identification information is operating or not operating. And “operating / non-operating” items. In the "operation / non-operation", "o" is stored for the operating cash register, and "x" is stored for the cash register not operating.
ネットワークカメラ１０１は、稼働レジ管理テーブル９０３の「稼働／非稼働」に「×」が格納されているか否かを判定することにより、非稼働のレジがあるか否かを判定する。また、ネットワークカメラ１０１は、「稼働／非稼働」に格納されている「×」に対応する「レジ情報」に格納される識別情報により識別されるレジを、非稼働のレジとして特定する。
The
また、ネットワークカメラ１０１は、現在時刻のレジの対応が可能な店員（スタッフ）の人数（レジ対応可能スタッフ人数）から、稼働レジ管理テーブル９０３の「稼働／非稼働」に「○」が格納されている数を減算した値が１以上であるか否かを判定することにより、レジの対応が可能な店員（スタッフ）がいるかを判定する。 In addition, “o” is stored in “operation / non-operation” of the operation register management table 903 from the number of clerks (staff) who can respond to the cash register at the current time. By determining whether or not the value obtained by subtracting the number is 1 or more, it is determined whether there is a store clerk (staff) who can cope with the cash register.
図９の９０２は、レジ対応可能スタッフ人数管理テーブルの一例を示す図である。 902 of FIG. 9 is a figure which shows an example of the cashier corresponding possible staff number management table.
レジ対応可能スタッフ人数管理テーブル９０２は、ネットワークカメラ１０１のメモリ等の記憶手段に記憶されている。
The cashier-adaptable staff number management table 902 is stored in storage means such as a memory of the
レジ対応可能スタッフ人数管理テーブル９０２は、時間帯ごとの、レジの対応が可能な店員（スタッフ）の人数（レジ対応可能スタッフ人数）が記憶されている。 The cashier-adaptable staff number management table 902 stores the number of clerks (staff) capable of cashier correspondence (the number of cashier-capable staff) for each time zone.
そのため、ネットワークカメラ１０１は、現在時刻の時間帯に対応して、レジ対応可能スタッフ人数管理テーブル９０２に記憶されているレジ対応可能スタッフ人数をから、稼働レジ管理テーブル９０３の「稼働／非稼働」に「○」が格納されている数を減算した値を、レジ対応可能スタッフの人数として、レジの対応が可能な店員（スタッフ）がいるかを判定する。
Therefore, the
ネットワークカメラ１０１は、Ｓ８１３において、空いているレジがあり、レジの対応が可能な店員（スタッフ）がいると判定された場合には（ＹＥＳ）、処理をＳ８１４に移行し、一方、空いているレジが無い、又は、レジの対応が可能な店員（スタッフ）がいないと判定された場合には（ＮＯ）、処理をＳ８０１に移行する。
If it is determined that the
ネットワークカメラ１０１は、Ｓ８１４において、アラートを出力する。
The
具体的には、ネットワークカメラ１０１は、警告手段１０３に、空きのレジに店員を行かせて当該レジで会計を行うようにするためのアラート信号を送信（出力）する。
Specifically, the
そして、警告手段１０３は、当該アラート信号を受信すると、例えば、警光灯を光らせて、空いている店員に、空きのレジに店員を行かせて当該レジで会計を行うことを伝える。また、クライアント端末１０２が警告手段１０３を備えている場合は、表示部に、空きのレジに店員を行かせて当該レジで会計を行う旨を表示する。また、ネットワークカメラ１０１は、ネットワークカメラ１０１が特定した非稼働のレジを示す情報を、アラート信号と共に警告手段１０３に送信し、警告手段１０３が、当該非稼働のレジを示す情報を受信すると、当該非稼働のレジを示す情報を当該表示部に表示するようにすることもできる。
Then, when the alerting means 103 receives the alert signal, for example, the warning light is turned on to notify the vacant clerk that the clerk should go to the vacant cash register to perform accounting at the cash register. Further, when the
そして、ネットワークカメラ１０１は、Ｓ８１４の処理を実行すると、処理をＳ８０１に戻す。
Then, when the process of step S814 is performed, the
ネットワークカメラ１０１は、Ｓ８０２において、Ｓ８０１で取得した映像を解析して、枠４０２Ｂで囲まれたエリア（所定のエリア）に顧客（人物）が入ってきていないと判定された場合には（ＮＯ）、処理をＳ８１５に移行する。
If the
そして、ネットワークカメラ１０１は、Ｓ８０１で取得した映像を解析して、枠４０２Ｂで囲まれたエリア（所定のエリア）から顧客（人物）が出て行ったか否かを判定する（Ｓ８１５）。
Then, the
ネットワークカメラ１０１は、枠４０２Ｂで囲まれたエリア（所定のエリア）から顧客（人物）が出て行ったと判定された場合には（Ｓ８１５：ＹＥＳ）、当該出て行った人を特定する（Ｓ８１６）。具体的には、Ｓ８０１で取得した映像を解析して、当該出て行った顧客（人物）の特徴情報（識別情報）を取得して、当該人物を特定する。
When it is determined that the customer (person) has left the area (predetermined area) surrounded by the
図５は、枠４０２Ｂで囲まれたエリア（所定のエリア）から顧客（人物）が出て行っている様子の映像の一例を示す図である。
FIG. 5 is a view showing an example of an image of a customer (person) leaving from an area (predetermined area) surrounded by a
図５に示すように、図５の４０４Ｂの人物は、行列の途中から割り込んで入ってきた人、又は行列の最後尾に並びはじめて途中で、枠４０２Ｂで囲まれたエリア（所定のエリア）外に出て行った人を示している。
As shown in FIG. 5, the person in 404B in FIG. 5 is a person who has entered in the middle of the matrix, or is outside the area (predetermined area) surrounded by a
そして、ネットワークカメラ１０１は、当該特定された人物の識別情報に対応して、レジ行列管理テーブル９０１に登録しているレコードを削除する（Ｓ８１７）。このようにして、当該出て行った顧客（人物）の、レジ行列管理テーブル９０１のレコード（登録内容）を削除する。そして、ネットワークカメラ１０１は、処理をＳ８１１に移行する。
Then, the
また、ネットワークカメラ１０１は、枠４０２Ｂで囲まれたエリア（所定のエリア）から顧客（人物）が出て行っていないと判定された場合には（Ｓ８１５：ＮＯ）、処理をＳ８０１に戻す。
If it is determined that the customer (person) does not go out from the area (predetermined area) surrounded by the
次に、図１１を用いて、レジ行列管理テーブル９０１に登録されている内容をユーザ操作により変更する処理について説明する。 Next, processing for changing the content registered in the registration matrix management table 901 by a user operation will be described using FIG.
図１１は、レジ行列管理テーブル９０１に登録されている内容をユーザ操作により変更する処理のフローチャートの一例を示す図である。 FIG. 11 is a diagram showing an example of a flowchart of processing for changing the content registered in the registration matrix management table 901 by a user operation.
図１１に示す各処理は、ネットワークカメラ１０１、又はサーバ１０５のいずれかが実行する処理である。
Each process shown in FIG. 11 is a process executed by either the
ここでは、ネットワークカメラ１０１のＣＰＵが実行する処理として説明する。サーバ１０５のＣＰＵが実行する処理とする場合には、ネットワークカメラ１０１をサーバ１０５と読み替えればよい。
Here, the process performed by the CPU of the
ネットワークカメラ１０１は、ネットワークカメラ１０１のメモリ等の記憶手段に記憶されているレジ行列管理テーブル９０１と、レジ対応枠管理テーブル９０４とを取得する（Ｓ１１０１）。
The
そして、ネットワークカメラ１０１は、Ｓ１１０１で取得したレジ行列管理テーブル９０１と、レジ対応枠管理テーブル９０４と、ネットワークカメラ１０１が撮影して取得した映像とを用いて、表示画面８０１（図１０）を生成し、当該表示画面８０１をクライアント端末１０２に送信する（Ｓ１１０２）。
Then, the
図１０は、表示画面８０１の一例を示す図である。 FIG. 10 is a diagram showing an example of the display screen 801. As shown in FIG.
表示画面８０１には、ネットワークカメラ１０１が撮影して取得した映像に対して、予めユーザが設定した各枠（４０２Ａ、４０２Ｂ）が重畳して表示されている。
On the display screen 801, frames (402A, 402B) set in advance by the user are displayed superimposed on the video captured and acquired by the
レジ対応枠管理テーブル９０４は、レジを示すレジ情報に対応して、枠４０２（枠４０２Ａ、枠４０２Ｂ）の配置位置（レイアウト）が記憶されている。
The registration corresponding frame management table 904 stores the arrangement position (layout) of the frame 402 (the
ネットワークカメラ１０１は、ネットワークカメラ１０１が撮影して取得した映像に対して、当該配置位置に示される枠４０２を重畳して表示する表示画面を生成する。また、ネットワークカメラ１０１は、ネットワークカメラ１０１が撮影して取得した映像に含まれている人物のうち、レジ行列管理テーブル９０１の会計対象人物が「×」のレコードに含まれる識別情報（例えば１０３）により識別される顧客（人物）を、非会計対象人物の人物として識別可能に表示する表示画面を生成する。
The
図１０では、枠線１００１で非会計対象人物を識別可能に示すと共に、枠線内に非会計対象人物である旨を表示する。
In FIG. 10, the non-accounting target person is shown identifiably by a
また、図１０に示す表示画面８０１には、レジ行列管理テーブル９０１の「会計対象人物」に示される会計対象人物（○）を、非会計対象人物（×）に変更するためのボタン１００２と、レジ行列管理テーブル９０１の「会計対象人物」に示される非会計対象人物（×）を、会計対象人物（○）に変更するためのボタン１００３とを受付部として備えている。
Further, on the display screen 801 shown in FIG. 10, a
ネットワークカメラ１０１は、生成された表示画面８０１をクライアント端末１０２に送信すると、クライアント端末１０２は、当該表示画面８０１を受信して表示部に表示する。
When the
クライアント端末１０２は、ユーザから、表示画面８０１に表示されている顧客（人物）を選択し、ボタン１００２、又はボタン１００３のいずれかの選択を受け付けると、当該選択された人物を識別する識別情報と、選択されたボタンに対応する指示内容（非会計対象人物（×）に変更する指示、または会計対象人物（○）に変更する指示）を含む、レジ行列管理テーブル９０１の修正指示をネットワークカメラ１０１に送信する。
When the
ネットワークカメラ１０１は、クライアント端末１０２から、当該修正指示を受け付けると（Ｓ１１０３：ＹＥＳ）、当該修正指示に含まれる当該識別情報に対応して、レジ行列管理テーブル９０１に登録された「会計対象人物」の登録内容を、当該修正指示に含まれる当該指示内容の通りに変更する。すなわち、当該指示内容が、非会計対象人物（×）に変更する指示であれば、当該「会計対象人物」の登録内容を「×」に変更し、当該指示内容が、会計対象人物（○）に変更する指示であれば、当該「会計対象人物」の登録内容を「○」に変更する。そして、処理をＳ１１０１に戻す。
When the
また、ネットワークカメラ１０１は、クライアント端末１０２から、当該修正指示を受け付けていない場合（Ｓ１１０３：ＮＯ）、処理をＳ１１０１に戻す。
When the
このようにして、ユーザの操作により、ネットワークカメラ１０１が顧客を、会計対象人物（○）、あるいは非会計対象人物（×）と判定した内容を、ユーザが手作業で変更して、より実態にあう内容に修正（変更）することができる。
In this manner, the user manually changes the content that the
以上、本発明によれば、待ち行列として並んでいる人物の人数をより好適に特定することができる。また、会計待ちの顧客の人数をより適切に特定することができる。 As described above, according to the present invention, the number of persons queued can be more suitably specified. In addition, the number of customers waiting for accounting can be identified more appropriately.
本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。 The present invention can be embodied as, for example, a system, an apparatus, a method, a program, or a recording medium. Specifically, the present invention may be applied to a system constituted by a plurality of devices, or may be applied to an apparatus comprising a single device.
また、本発明におけるプログラムは、図示したフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は当該処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは各装置の処理方法ごとのプログラムであってもよい。 Further, the program in the present invention is a program that can execute the processing method of the flowchart illustrated in the computer, and the storage medium of the present invention stores a program that can execute the processing method. The program in the present invention may be a program for each processing method of each device.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。 As described above, the recording medium recording the program for realizing the functions of the above-described embodiments is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by reading and executing.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。 In this case, the program itself read out from the recording medium realizes the novel function of the present invention, and the recording medium recording the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。 As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, non-volatile memory card, ROM, EEPROM, silicon A disk etc. can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the functions of the above-described embodiment are realized, but also an operating system (OS) or the like running on the computer is actually executed based on the instructions of the program. It goes without saying that the processing is partially or entirely performed, and the processing realizes the functions of the above-described embodiments.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program read from the recording medium is written to the memory provided to the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is read based on the instruction of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiment are realized by the processing.
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Further, the present invention may be applied to a system constituted by a plurality of devices or to an apparatus comprising a single device. It goes without saying that the present invention can also be applied to the case where it is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can receive the effects of the present invention.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Further, by downloading and reading out a program for achieving the present invention from a server on a network, a database or the like by a communication program, the system or apparatus can receive the effects of the present invention. In addition, the structure which combined each embodiment mentioned above and its modification is also contained in this invention altogether.
１０１ ネットワークカメラ
１０２ クライアント端末
１０３ 警告手段
１０４ ネットワーク
１０５ サーバ
１０６ ＰＯＳレジシステム
101
Claims (14)
前記取得手段により取得された映像を解析して、待ち行列として並んでいる人物の人数を計数する計数手段と、
前記取得手段により取得された映像を解析して、前記待ち行列の途中から割り込んだ人物を特定する特定手段と、
を備え、
前記計数手段は、前記特定手段により特定された人物を、前記待ち行列として並んでいる人物として計数しないことを特徴とする情報処理装置。 Acquisition means for acquiring an image captured by the imaging means;
A counting unit that analyzes the image acquired by the acquisition unit and counts the number of persons lined up as a queue;
Specifying means for analyzing the image obtained by the obtaining means and specifying a person who has cut in the middle of the queue;
Equipped with
An information processing apparatus characterized in that the counting means does not count the person specified by the specifying means as a person who is lined up in the queue.
前記計数手段は、前記人物特定手段により特定された人物を、待ち行列として並んでいる人物として計数することを特徴とする請求項１に記載の情報処理装置。 A person specifying means for analyzing a video obtained by the obtaining means and specifying a person who is newly lined backward with respect to the head direction of the queue of the last person in line as the queue In addition,
The information processing apparatus according to claim 1, wherein the counting unit counts the person specified by the person specifying unit as a person who is arranged in a queue.
前記取得手段により取得された映像を解析して、待ち行列として並んでいる人物の人数を計数する計数手段と、
前記取得手段により取得された映像を解析して、前記待ち行列として並んでいる最後尾の人物の、前記待ち行列の先頭方向に対して後方側に新たに並んだ人物を特定する特定手段と、
を備え、
前記計数手段は、前記特定手段により特定された人物を、前記待ち行列として並んでいる人物として計数することを特徴とする情報処理装置。 Acquisition means for acquiring an image captured by the imaging means;
A counting unit that analyzes the image acquired by the acquisition unit and counts the number of persons lined up as a queue;
Specifying means for analyzing the image obtained by the obtaining means and specifying a person who is newly lined backward with respect to the leading direction of the queue of the last person in line as the queue;
Equipped with
An information processing apparatus characterized in that the counting means counts the person specified by the specifying means as a person who is arranged in the queue.
撮像手段により撮像された映像を取得する取得工程と、
前記取得工程により取得された映像を解析して、待ち行列として並んでいる人物の人数を計数する計数工程と、
前記取得工程により取得された映像を解析して、前記待ち行列の途中から割り込んだ人物を特定する特定工程と、
を備え、
前記計数工程は、前記特定工程により特定された人物を、前記待ち行列として並んでいる人物として計数しないことを特徴とする制御方法。 A control method in the information processing apparatus,
An acquisition step of acquiring an image captured by the imaging unit;
Analyzing the image acquired by the acquiring step to count the number of persons queued as a queue;
A specifying step of analyzing the image obtained by the obtaining step to specify a person who has interrupted in the middle of the queue;
Equipped with
The control method, wherein the counting step does not count the person specified in the specifying step as a person who is arranged in the queue.
撮像手段により撮像された映像を取得する取得工程と、
前記取得工程により取得された映像を解析して、待ち行列として並んでいる人物の人数を計数する計数工程と、
前記取得工程により取得された映像を解析して、前記待ち行列として並んでいる最後尾の人物の、前記待ち行列の先頭方向に対して後方側に新たに並んだ人物を特定する特定工程と、
を備え、
前記計数工程は、前記特定工程により特定された人物を、前記待ち行列として並んでいる人物として計数することを特徴とする制御方法。 A control method in the information processing apparatus,
An acquisition step of acquiring an image captured by the imaging unit;
Analyzing the image acquired by the acquiring step to count the number of persons queued as a queue;
A specifying step of analyzing the image obtained by the obtaining step to specify a person who is newly arranged on the rear side with respect to the head direction of the queue of the last person arranged as the queue;
Equipped with
The control method is characterized in that the counting step counts the person specified in the specifying step as a person who is lined up in the queue.
The program for functioning a computer as each means of the information processing apparatus described in any one of Claim 1 to 11.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017249638A JP7060786B2 (en) | 2017-12-26 | 2017-12-26 | Information processing equipment, its control method, and programs |
| JP2022066024A JP7307378B2 (en) | 2017-12-26 | 2022-04-13 | Information processing device, its control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017249638A JP7060786B2 (en) | 2017-12-26 | 2017-12-26 | Information processing equipment, its control method, and programs |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022066024A Division JP7307378B2 (en) | 2017-12-26 | 2022-04-13 | Information processing device, its control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019117424A true JP2019117424A (en) | 2019-07-18 |
| JP7060786B2 JP7060786B2 (en) | 2022-04-27 |
Family
ID=67304398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017249638A Active JP7060786B2 (en) | 2017-12-26 | 2017-12-26 | Information processing equipment, its control method, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7060786B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022113569A1 (en) * | 2020-11-27 | 2022-06-02 | 日本電気株式会社 | Notification system, notification method, and program |
| CN116797986A (en) * | 2022-12-14 | 2023-09-22 | 慧之安信息技术股份有限公司 | Nucleic acid detection point personnel distance maintenance system based on edge calculation |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070253595A1 (en) * | 2006-04-18 | 2007-11-01 | Sorensen Associates Inc | Still Image Queue Analysis System and Method |
| JP2008519567A (en) * | 2004-11-02 | 2008-06-05 | センサーマティック・エレクトロニクス・コーポレーション | System and method for matrix monitoring |
| JP2015215787A (en) * | 2014-05-12 | 2015-12-03 | キヤノン株式会社 | Information processing device, waiting time estimation system, information processing method and program |
| US20160224844A1 (en) * | 2013-09-13 | 2016-08-04 | Xovis Ag | Method for analyzing the distribution of objects in free queues |
| JP2017033165A (en) * | 2015-07-30 | 2017-02-09 | 株式会社日立製作所 | Residence condition measuring apparatus, residence condition measuring system, and residence condition measuring method |
| JP2017123024A (en) * | 2016-01-06 | 2017-07-13 | パナソニックＩｐマネジメント株式会社 | Traffic line analysis system and traffic line analysis method |
-
2017
- 2017-12-26 JP JP2017249638A patent/JP7060786B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008519567A (en) * | 2004-11-02 | 2008-06-05 | センサーマティック・エレクトロニクス・コーポレーション | System and method for matrix monitoring |
| US20070253595A1 (en) * | 2006-04-18 | 2007-11-01 | Sorensen Associates Inc | Still Image Queue Analysis System and Method |
| US20160224844A1 (en) * | 2013-09-13 | 2016-08-04 | Xovis Ag | Method for analyzing the distribution of objects in free queues |
| JP2015215787A (en) * | 2014-05-12 | 2015-12-03 | キヤノン株式会社 | Information processing device, waiting time estimation system, information processing method and program |
| JP2017033165A (en) * | 2015-07-30 | 2017-02-09 | 株式会社日立製作所 | Residence condition measuring apparatus, residence condition measuring system, and residence condition measuring method |
| JP2017123024A (en) * | 2016-01-06 | 2017-07-13 | パナソニックＩｐマネジメント株式会社 | Traffic line analysis system and traffic line analysis method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022113569A1 (en) * | 2020-11-27 | 2022-06-02 | 日本電気株式会社 | Notification system, notification method, and program |
| CN116797986A (en) * | 2022-12-14 | 2023-09-22 | 慧之安信息技术股份有限公司 | Nucleic acid detection point personnel distance maintenance system based on edge calculation |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7060786B2 (en) | 2022-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220156686A1 (en) | Commodity monitoring device, commodity monitoring system, output destination device, commodity monitoring method, display method and program | |
| JP5311239B2 (en) | Sales data processing apparatus and program | |
| JP6323586B1 (en) | Store system, electronic shelf label, store system processing method and program | |
| JP2007179199A (en) | Sales analysis device, sales analysis method, program, and recording medium | |
| US20170213427A1 (en) | Register system that tracks a position of a customer for checkout | |
| US10984249B2 (en) | Information processing apparatus, system, control method for information processing apparatus, and non-transitory computer readable storage medium | |
| JP2015149089A (en) | Accounting service support device, accounting service support system, and accounting service support method | |
| US20190147251A1 (en) | Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium | |
| JP2019117424A (en) | Information processing device, control method therefor, and program | |
| JP2019117964A (en) | Information processing device, control method thereof, and program | |
| JP7307378B2 (en) | Information processing device, its control method, and program | |
| JP6663229B2 (en) | Information processing apparatus, information processing method, and program | |
| JPWO2017163532A1 (en) | Information processing apparatus, information processing method, and program | |
| JP6508728B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| JP5673743B2 (en) | Data processing apparatus and program | |
| JP2001118146A (en) | Pos system and security system utilizing it | |
| JP2019117425A (en) | Information processing device, control method therefor, and program | |
| JP2013247461A (en) | Camera control device and camera control method | |
| US20220005009A1 (en) | Apparatus, method for controlling the same, and storage medium | |
| JP2017219909A (en) | Operation input device, sales data processor and program | |
| JP5329626B2 (en) | Information terminal and computer program | |
| JP2019185714A (en) | Information processing apparatus, information processing system, control method of information processing apparatus, and program | |
| JP2019113976A (en) | Movement line analysis system, control method therefor, and program | |
| JP2019113978A (en) | Movement line analysis system, control method therefor, and program | |
| KR20030004160A (en) | A counter supervising method using CCTV and POS system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190109 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220328 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7060786 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |