JP2020129231A - Customer service state analyzer, customer service state analysis system, and customer service state analysis method - Google Patents
Customer service state analyzer, customer service state analysis system, and customer service state analysis method Download PDFInfo
- Publication number
- JP2020129231A JP2020129231A JP2019021079A JP2019021079A JP2020129231A JP 2020129231 A JP2020129231 A JP 2020129231A JP 2019021079 A JP2019021079 A JP 2019021079A JP 2019021079 A JP2019021079 A JP 2019021079A JP 2020129231 A JP2020129231 A JP 2020129231A
- Authority
- JP
- Japan
- Prior art keywords
- customer service
- clerk
- determination
- store
- customer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims description 68
- 230000008859 change Effects 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 42
- 238000013459 approach Methods 0.000 claims description 26
- 230000010365 information processing Effects 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 64
- 238000010586 diagram Methods 0.000 description 21
- 238000003860 storage Methods 0.000 description 18
- 230000007613 environmental effect Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 8
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本開示は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置、接客状況分析システム、及び接客状況分析方法に関する。 The present disclosure relates to a customer service situation analysis device, a customer service situation analysis system, and a customer service situation analysis method, in which a processor performs a process of analyzing a customer service situation of a clerk to a customer at a store and generating information on the customer service situation.
店舗では、来店した顧客に店員が声掛けや案内などの接客を行うが、この来店時の接客を迅速に行って、顧客を長時間放置しないようにすることが、顧客満足度を向上させる上で重要である。 At the store, a salesclerk provides customer service such as calling out and giving guidance to customers who have visited the store, but it is important to improve customer satisfaction by promptly serving customers and not leaving them for a long time. Is important in.
このような店舗での店員による接客状況を把握する技術として、従来、店舗内の人物を撮像した画像データから取得した人物の位置情報、および店員が所持する携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、また、店舗内の音声を収音した音声データから取得した音声の位置情報、および店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、それら発話位置情報および顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、その判定結果に基づいて、接客状況に関する情報を生成する技術が知られている(特許文献1参照)。 As a technique for grasping the customer service situation by a clerk in such a store, conventionally, based on the position information of the person acquired from the image data of the person in the store, and the position information of the mobile terminal device owned by the clerk, An utterance that indicates the position where the clerk uttered, based on the position information of the clerk who acquired the clerk's position information and the customer's position information, and also the position information of the voice acquired from the voice data collected in the store A technology is known that acquires position information, determines whether or not a salesclerk has served customers based on the utterance position information and the position information of the customer, and generates information regarding the customer service status based on the determination result. (See Patent Document 1).
ところで、上述のような店舗では、店員の発話とは無関係に店舗内で発生する環境音(例えば、BGM、店舗内放送)や、店員の発話とは無関係に店舗外から侵入する環境音(例えば、人や車両の往来による騒音など)が検出(収音)されるエリアが存在する場合がある。 By the way, in the stores as described above, environmental sounds (for example, BGM and in-store broadcasting) generated in the store irrespective of the clerk's utterance, and environmental sounds intruding from outside the store irrespective of the clerk's utterance (eg, , There may be an area in which noise (such as noise due to people and vehicles coming and going) is detected (picked up).
しかしながら、上記従来技術では、そのような店員の発話以外の環境音が発生するエリアにおいて、店舗内の音声を収音した音声データから店員が発話した位置を表す発話位置情報を取得し、その発話位置情報に基づき店員が接客を行ったか否かを判定すると、生成された接客状況に関する情報の信頼性を高く維持することが難しくなる場合がある。 However, in the above-mentioned conventional technology, in an area where environmental sounds other than the utterance of the store clerk are generated, the utterance position information indicating the position where the clerk uttered is acquired from the voice data collected in the store, and the utterance is obtained. If it is determined based on the position information whether or not the salesclerk has performed customer service, it may be difficult to maintain high reliability of the generated information regarding the customer service situation.
そこで、本開示は、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することができる接客状況分析装置、接客状況分析システム、及び接客状況分析方法を提供することを主な目的とする。 Therefore, the present disclosure, a customer service situation analysis device capable of determining that a customer clerk has performed customer service while suppressing the influence of environmental sounds other than the utterance of the customer clerk, and generating more reliable customer service information, a customer service situation. Its main purpose is to provide an analysis system and a customer service situation analysis method.
本開示の接客状況分析装置は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、前記プロセッサは、店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内のエリアの一部として設定された判定変更エリアに含まれるか否かを判別し、前記店員の位置が前記判定変更エリアに含まれる場合、前記判定変更エリアに対して設定された判定基準を用いて前記判定を行う構成とする。 The customer service situation analysis device of the present disclosure is a customer service situation analysis device that analyzes a customer service situation of a clerk with respect to a customer in a store, and executes a process of generating information on the customer service state by a processor, wherein the processor is in a store. Position information of the person acquired from the image data of the captured image of the person, position information of the clerk's belongings, and position information of the voice acquired from the voice data collected in the store, and the position information of the person. Based on the position information of the possession item and the position information of the voice, it is determined whether or not the clerk has performed customer service, based on the result of the determination, the information on the customer service situation is generated, and the determination is performed. When performing, determine whether the position of the clerk is included in the determination change area set as a part of the area in the store, if the position of the clerk is included in the determination change area, the The determination is made by using the determination standard set for the determination change area.
また、本開示の接客状況分析システムは、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、店舗内の音声を収音する収音装置と、店舗内の人物を撮像する撮像装置と、店員が所持する携帯端末装置と、1つまたは複数の情報処理装置と、備え、前記1つまたは複数の情報処理装置は、前記撮像装置から出力される画像データから取得した人物の位置情報、前記携帯端末装置の位置情報、及び前記収音装置から出力される音声の位置情報を取得し、前記人物の位置情報、前記携帯端末装置の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内のエリアの一部として設定された判定変更エリアに含まれるか否かを判別し、前記店員の位置が前記判定変更エリアに含まれる場合、前記判定変更エリアに対して設定された判定基準を用いて前記判定を行う構成とする。 Further, the customer service situation analysis system of the present disclosure is a customer service situation analysis system that analyzes the customer service situation of a clerk to a customer in a store and generates information on the customer service state, and collects sound in the store. A device, an image pickup device for picking up an image of a person in a store, a mobile terminal device carried by a store clerk, and one or more information processing devices, wherein the one or more information processing devices are from the image pickup device. The position information of the person acquired from the output image data, the position information of the portable terminal device, and the position information of the sound output from the sound collecting device are acquired, and the position information of the person and the position of the portable terminal device are acquired. Based on the information and the position information of the voice, it is determined whether or not the store clerk has served the customer, based on the result of the determination, the information regarding the customer service situation is generated, and when the determination is performed, the store clerk Position is determined whether or not included in the determination change area set as a part of the area in the store, if the position of the clerk is included in the determination change area, with respect to the determination change area The determination is made by using the set determination standard.
また、本開示の接客状況分析方法は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析方法であって、店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内のエリアの一部として設定された判定変更エリアに含まれるか否かを判別し、前記店員の位置が前記判定変更エリアに含まれる場合、前記判定変更エリアに対して設定された判定基準を用いて前記判定を行う構成とする。 Further, the customer service situation analysis method of the present disclosure is a customer service situation analysis method that analyzes the customer service situation of a clerk with respect to a customer in a store, and executes a process of generating information regarding the customer service state by a processor. Position information of the person obtained from the image data of the captured image, the position information of the clerk's belongings, and the position information of the voice obtained from the voice data collected in the store, the position information of the person, Based on the position information of the possession item and the position information of the voice, it is determined whether or not the clerk has performed customer service, and based on the result of the determination, the information on the customer service situation is generated and the determination is performed. To determine whether the position of the clerk is included in the determination change area set as a part of the area in the store, and when the position of the clerk is included in the determination change area, the determination change The determination is performed by using the determination standard set for the area.
本開示によれば、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することができる。 According to the present disclosure, it is possible to determine that a store clerk has performed customer service while suppressing the influence of environmental sounds other than the utterance of the store clerk, and generate more reliable customer service information.
前記課題を解決するためになされた第1の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、前記プロセッサは、店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内のエリアの一部として設定された判定変更エリアに含まれるか否かを判別し、前記店員の位置が前記判定変更エリアに含まれる場合、前記判定変更エリアに対して設定された判定基準を用いて前記判定を行う構成とする。 A first invention made to solve the above-mentioned problems is a customer service situation analyzing apparatus that analyzes a customer service situation of a salesclerk to a customer in a store, and executes a process of generating information on the customer service situation by a processor. The processor acquires position information of a person acquired from image data of a person in a store, position information of a clerk's belongings, and position information of a voice acquired from voice data of a voice in the store. Based on the position information of the person, the position information of the property, and the position information of the voice, it is determined whether or not the clerk has served the customer, and based on the result of the determination, the information regarding the customer service status is displayed. When generating, the position of the clerk determines whether the position of the clerk is included in the determination change area set as a part of the area in the store, and the position of the clerk is the determination change area. When included in the above, the judgment is made using the judgment standard set for the judgment change area.
これによると、店員の位置が判定変更エリアに含まれる場合に専用の判定基準を用いて判定を行うため、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することが可能となる。 According to this, when the position of the store clerk is included in the determination change area, the determination is performed using a dedicated determination criterion, so it is determined that the store clerk has served the customer while suppressing the influence of environmental sounds other than the utterance of the store clerk. However, it becomes possible to generate more reliable customer service information.
また、第2の発明は、前記判定基準は、少なくとも音声に関する閾値を含む構成とする。 In the second aspect of the invention, the determination criterion includes at least a threshold value regarding voice.
これによると、店員の位置が判定変更エリアに含まれる場合に、音声に関する閾値を用いて判定を行うため、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することが可能となる。 According to this, when the position of the store clerk is included in the determination change area, the determination is performed using the threshold value related to the voice, and thus it is determined that the store clerk has served the customer while suppressing the influence of the environmental sound other than the utterance of the store clerk. However, it becomes possible to generate more reliable customer service information.
また、第3の発明は、前記プロセッサは、前記判定変更エリアをユーザが追加あるいは編集するための設定画面を表示する構成とする。 The third invention is configured such that the processor displays a setting screen for a user to add or edit the determination change area.
これによると、ユーザは、環境音の発生に影響を及ぼす店舗内のレイアウトや人物の活動状況などに応じて判定変更エリアおよび判定基準を適切に設定することができ、その結果、より信頼性の高い接客情報を生成することが可能となる。 According to this, the user can appropriately set the judgment change area and the judgment standard according to the layout in the store, the activity status of the person, and the like that influence the generation of the environmental sound, and as a result, the reliability can be improved. It becomes possible to generate high customer service information.
また、第4の発明は、前記設定画面は、前記音声データに基づく音声レベルの分布状況を可視化した音声可視化画像と、前記音声可視化画像が前記店舗内のエリアの対応する位置に重畳された店舗マップ画像とを含む構成とする。 Further, in a fourth aspect of the present invention, the setting screen is a store in which a voice visualization image visualizing a distribution state of voice levels based on the voice data and the voice visualization image are superimposed at corresponding positions in an area in the store. It is configured to include a map image.
これによると、ユーザは、店舗内における音声の発生状況を考慮した上で、判定変更エリアおよび判定基準をより適切に設定することが可能となる。 According to this, the user can more appropriately set the determination change area and the determination reference in consideration of the voice generation situation in the store.
また、第5の発明は、前記プロセッサは、前記音声に関する閾値として、前記店員の発話時間の閾値を用いる構成とする。 Further, in a fifth aspect of the present invention, the processor uses a threshold value of the utterance time of the clerk as the threshold value of the voice.
これによると、店員の発話時間の閾値を用いて判定を行うため、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。 According to this, since the determination is performed using the threshold of the utterance time of the store clerk, it is possible to more accurately determine that the store clerk has served, and to generate more reliable customer service information.
また、第6の発明は、前記プロセッサは、前記判定基準として、前記店員と前記顧客との接近時間の閾値を用いる構成とする。 Further, in the sixth invention, the processor uses a threshold value of an approach time between the clerk and the customer as the determination criterion.
これによると、店員と顧客との接近時間の閾値を用いて判定を行うため、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。 According to this, since the determination is performed using the threshold value of the approach time between the clerk and the customer, it is possible to more accurately determine that the clerk has served the customer, and it is possible to generate more reliable customer service information. ..
また、第7の発明は、前記プロセッサは、前記判定基準として、前記店員の近くに存在する前記顧客の人数の閾値を用いる構成とする。 In the seventh invention, the processor uses a threshold value of the number of customers existing near the store clerk as the determination criterion.
これによると、店員の近くに存在する顧客の人数の閾値を用いて判定を行うため、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。 According to this, since the determination is performed using the threshold value of the number of customers existing near the store clerk, it is possible to more accurately determine that the store clerk has served the customer and generate more reliable customer service information. Becomes
また、第8の発明は、前記プロセッサは、前記判定基準として、前記店員と前記顧客との接近距離の閾値を用いる構成とする。 Further, in the eighth invention, the processor uses a threshold value of an approach distance between the clerk and the customer as the criterion.
これによると、店員と顧客との接近距離の閾値を用いて判定を行うため、店員が接客を行ったことをより精度良く判定し、より信頼性の高い接客情報を生成することが可能となる。 According to this, since the determination is performed using the threshold value of the approach distance between the clerk and the customer, it is possible to more accurately determine that the clerk has served the customer, and it is possible to generate more reliable customer service information. ..
また、第9の発明は、前記判定変更エリアに対して予め生成された前記判定基準を記憶するメモリを更に備え、前記プロセッサは、前記判定を行う際に、前記店員の位置が前記判定変更エリアに含まれる場合、前記メモリに記憶された前記判定基準を読み出す構成とする。 Further, a ninth aspect of the present invention further includes a memory that stores the determination reference generated in advance for the determination change area, wherein the processor determines that the position of the clerk is the determination change area. If it is included in the above item, the judgment criterion stored in the memory is read out.
これによると、予め生成された専用の判定基準を用いるため、ユーザは簡易な操作により、店員が接客を行ったことを精度良く判定し、信頼性の高い接客情報を生成することが可能となる。 According to this, since the dedicated determination criterion generated in advance is used, the user can accurately determine that the clerk has performed customer service by a simple operation, and can generate highly reliable customer service information. ..
また、第10の発明は、前記プロセッサは、前記人物の位置情報および前記所持物の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得する構成とする。 A tenth aspect of the invention is configured such that the processor acquires the position information of the clerk and the position information of the customer based on the position information of the person and the position information of the possessed object.
これによると、店員および顧客の位置を容易に推定し、それらの位置を店員が接客を行ったか否かの判定に用いることが可能となる。 According to this, it becomes possible to easily estimate the positions of the store clerk and the customer and use those positions for determining whether or not the store clerk has served the customer.
また、第11の発明は、前記プロセッサは、前記音声の位置情報および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得する構成とする。 An eleventh aspect of the invention is configured such that the processor acquires utterance position information indicating a position uttered by the store clerk, based on the position information of the voice and the position information of the store clerk.
これによると、店員が発話した位置を容易に推定し、その発話した位置を、店員が接客を行ったか否かの判定に用いることが可能となる。 According to this, it is possible to easily estimate the position spoken by the store clerk and use the position spoken for determining whether the store clerk has served the customer.
また、第12の発明は、前記プロセッサは、前記発話位置情報および前記顧客の位置情報に基づいて、前記店員が接客を行ったか否かを判定する構成とする。 A twelfth aspect of the present invention is configured such that the processor determines whether or not the clerk has served a customer based on the utterance position information and the position information of the customer.
これによると、発話位置情報および顧客の位置情報に基づいて、店員が接客を行ったか否かを適切に判定することが可能となる。 According to this, based on the utterance position information and the customer position information, it becomes possible to appropriately determine whether or not the store clerk has served the customer.
また、第13の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、店舗内の音声を収音する収音装置と、店舗内の人物を撮像する撮像装置と、店員が所持する携帯端末装置と、1つまたは複数の情報処理装置と、を備え、前記1つまたは複数の情報処理装置は、前記撮像装置から出力される画像データから取得した人物の位置情報、前記携帯端末装置の位置情報、及び前記収音装置から出力される音声の位置情報を取得し、前記人物の位置情報、前記携帯端末装置の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内のエリアの一部として設定された判定変更エリアに含まれるか否かを判別し、前記店員の位置が前記判定変更エリアに含まれる場合、前記判定変更エリアに対して設定された判定基準を用いて前記判定を行う構成とする。 A thirteenth invention is a customer service situation analysis system that analyzes a customer service situation of a clerk to a customer in a store and generates information on the customer service situation, and a sound collecting device that collects voice in the store, An image pickup device for picking up an image of a person in a store, a mobile terminal device carried by a store clerk, and one or more information processing devices are provided, and the one or more information processing devices are output from the image pickup device. Position information of the person acquired from the image data, position information of the mobile terminal device, and position information of the sound output from the sound collecting device, position information of the person, position information of the mobile terminal device, And, based on the position information of the voice, it is determined whether or not the store clerk has served the customer, based on the result of the determination, the information regarding the customer service situation is generated, and when the determination is performed, the position of the store clerk is determined. Is determined to be included in the determination change area set as a part of the area in the store, and if the position of the clerk is included in the determination change area, it is set for the determination change area. The above-mentioned determination is performed by using the above-mentioned determination criteria.
これによると、店員の位置が判定変更エリアに含まれる場合に専用の判定基準を用いて判定を行うため、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することが可能となる。 According to this, when the position of the store clerk is included in the determination change area, the determination is performed using a dedicated determination criterion, so it is determined that the store clerk has served the customer while suppressing the influence of environmental sounds other than the utterance of the store clerk. However, it becomes possible to generate more reliable customer service information.
また、第14の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析方法であって、店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを判定し、前記判定の結果に基づいて、前記接客状況に関する情報を生成し、前記判定を行う際に、前記店員の位置が、前記店舗内のエリアの一部として設定された判定変更エリアに含まれるか否かを判別し、前記店員の位置が前記判定変更エリアに含まれる場合、前記判定変更エリアに対して設定された判定基準を用いて前記判定を行う構成とする。 A fourteenth aspect of the present invention is a customer service situation analyzing method in which a processor performs a process of analyzing a customer service situation of a clerk with respect to a customer in a store and generating information regarding the customer service situation, and images a person in the store. Position information of the person acquired from the image data, position information of the clerk's belongings, and position information of the voice acquired from the voice data collected in the store, position information of the person, the possession Based on the position information and the position information of the voice, it is determined whether or not the store clerk has served the customer, based on the result of the determination, the information on the customer service situation is generated, and when the determination is performed, the The position of the clerk determines whether or not it is included in the determination change area set as a part of the area in the store, and if the position of the clerk is included in the determination change area, with respect to the determination change area. The determination is performed using the determination standard set by the above.
これによると、店員の位置が判定変更エリアに含まれる場合に専用の判定基準を用いて判定を行うため、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することが可能となる。 According to this, when the position of the store clerk is included in the determination change area, the determination is performed using a dedicated determination criterion, so it is determined that the store clerk has served the customer while suppressing the influence of environmental sounds other than the utterance of the store clerk. However, it becomes possible to generate more reliable customer service information.
以下、本開示の実施の形態を、図面を参照しながら説明する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.
図1は、本実施形態に係る接客状況分析システムの全体構成図である。 FIG. 1 is an overall configuration diagram of a customer service situation analysis system according to the present embodiment.
この接客状況分析システムは、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成するものであり、マイク1(収音装置)と、カメラ2(撮像装置)と、ビーコン発信機3と、携帯端末4(携帯端末装置)と、音声処理用PC5(情報処理装置)と、画像処理用PC6(情報処理装置)と、測位管理サーバ7と、分析用PC8(接客状況分析装置、情報処理装置)と、閲覧端末9と、を備えている。
This customer service situation analysis system analyzes the customer service situation of a clerk to a customer in a store and generates information on the customer service situation. The microphone 1 (sound pickup device), the camera 2 (imaging device), and the beacon.
マイク1、カメラ2、音声処理用PC5、画像処理用PC6は、店舗内ネットワークに接続されている。店舗内ネットワークはゲートウェイ11を介して外部ネットワークに接続されている。携帯端末4は、無線LANなどの公衆アクセスポイント12を介して外部ネットワークに接続されている。分析用PC8、測位管理サーバ7、閲覧端末9は、外部ネットワークに接続されている。
The
マイク1は、店舗内に設置され、店舗内に滞在する人物(店員や顧客)が発話する音声を収音する。このマイク1は、全方向の音声を収音する、いわゆる全方位マイクであり、複数(例えば16個)のマイク素子(収音素子)が円形状に等間隔に配置されたマイクアレイを備えている。このマイク1では、店舗内の音声を複数のマイク素子で収音して、複数のチャネルの音声データを生成して、この音声データを音声処理用PC5に送信する。なお、マイク1によって収音される音声には、発話とは無関係に店舗内で発生する環境音(例えば、BGM、店舗内放送)や、発話とは無関係に店舗外から侵入する環境音(例えば、人や車両の往来による騒音など)が含まれる場合がある。
The
カメラ2は、店舗内に設置され、店舗内に滞在する人物(店員や顧客)を撮像し、また、店舗に来店する人物を撮像する。このカメラ2は、全方位を撮像する、いわゆる全方位カメラである。このカメラ2では、店舗内を撮像して画像データを生成して、この画像データを画像処理用PC6に送信する。
The
音声処理用PC5は、マイク1から送信される音声データを受信して、その音声データに対して音声処理を行う。本実施形態では、音源の位置を特定する音声検出(音源位置検出)を行い、店舗内の音声レベルの分布状況、すなわち、どこでどの程度の音声レベル(音量)が発生しているかを表す音声ヒートマップ情報を生成して、その音声ヒートマップ情報を分析用PC8に送信する。
The
画像処理用PC6は、カメラ2から送信される画像データを受信して、その画像データに対して画像処理を行う。本実施形態では、画像データから店舗内に滞在する人物を検出して、人物ごとの位置情報を取得して、その位置情報を分析用PC8に送信する。
The
ビーコン発信機3は、店舗内に複数設置され、測位用のビーコン信号を送信する。
A plurality of
携帯端末4は、スマートフォンなどであり、店員が所持する。この携帯端末4では、ビーコン発信機3から送信されるビーコン信号を用いた測位を行って自装置の位置情報を取得して、その位置情報を測位管理サーバ7に送信する。
The
なお、本実施形態では、ビーコン発信機3が発するビーコン信号で、携帯端末4の測位を行うようにしたが、GPS(Global Positioning System)などの衛星測位システムなどの他の測位システムで、携帯端末4の測位を行うようにしてもよい。また、天井に設置したロケータ(測位管理サーバ7とネットワーク接続)を用いて、店員が所持物に装着したタグの電波角度・強度と測定アルゴリズムにより、店員の位置情報を取得することができる。
Although the
測位管理サーバ7は、携帯端末4ごとの位置情報を携帯端末4から収集して、携帯端末4ごとの位置情報を管理し、その携帯端末4ごとの位置情報を分析用PC8に送信する。
The
分析用PC8は、音声処理用PC5から音声ヒートマップ情報を取得し、また、画像処理用PC6から人物ごとの位置情報を取得し、また、測位管理サーバ7から携帯端末4ごとの位置情報を取得し、これらの情報に基づいて、店舗での顧客に対する店員の接客状況に関する分析を行い、接客状況を表す情報を生成する。
The
閲覧端末9は、PCやスマートフォンやタブレット端末などであり、ユーザ、例えばスーパーバイザーなどの本部側の管理者や店長などの店舗側の管理者が操作するものであり、ユーザは、閲覧端末9から分析用PC8にアクセスすることで、分析用PC8の処理に関する各種設定や、分析用PC8で生成した接客状況に関する情報の閲覧を行うことができる。なお、分析用PC8とは別に情報配信専用のサーバを設けるようにしてもよい。
The
また、チェーン店などのように管理する店舗が複数ある場合には、分析用PC8では、複数の店舗ごとの音声処理用PC5および画像処理用PC6ならびに測位管理サーバ7から各店舗の情報を収集して、店舗ごとの接客状況に関する情報を生成する。
Further, when there are a plurality of stores to be managed such as a chain store, the
次に、店舗の一例について説明する。図2は、店舗のレイアウトと、マイク1、カメラ2およびビーコン発信機3の設置状況と、店舗に設定される分割エリアとを示す平面図である。
Next, an example of a store will be described. FIG. 2 is a plan view showing the layout of the store, the installation status of the
店舗には、出入口、発券機、ソファ、什器(陳列棚や陳列台など)、テーブル、カウンタ、トイレ、作業室、バックヤードなどが設けられている。顧客は、出入口から店舗内に入店し、発券機で番号札を受け取り、ソファに座ったり、什器に陳列されている商品を見たりして、呼び出しがあるまで待機し、呼び出しを受けると、カウンタで商品の購入や契約などの手続きを行う。店員は、顧客が店舗内に入店すると、発券機の案内や什器に陳列されている商品の説明などの接客を行ったり、カウンタで接客を行ったりする。 The store is provided with a doorway, a ticket issuing machine, a sofa, furniture (display shelves, display stands, etc.), a table, a counter, a toilet, a work room, a backyard, and the like. The customer enters the store from the doorway, receives the number tag at the ticket issuing machine, sits on the sofa, looks at the products displayed on the furniture, waits until there is a call, and when the call is received, Perform procedures such as purchasing products and contracts at the counter. When a customer enters the store, the store clerk provides customer service such as guidance of ticketing machines and explanation of products displayed on the furniture, or customer service at the counter.
また、店舗には、マイク1、カメラ2およびビーコン発信機3が設置されている。マイク1が、店舗内に滞在する店員や顧客が発話する音声を収音し、カメラ2が、店舗内に滞在する店員や顧客を撮像し、また、店舗に来店する顧客を撮像する。図2に示す例では、便宜上、マイク1およびカメラ2が一体に構成された1つの装置のみを示しているが、店舗では、複数のマイク1およびカメラ2を、それぞれ店舗内の天井などの適宜な位置に設置することができる。また、ビーコン発信機3は、店舗内の適宜な位置に複数設置されており、このビーコン発信機3から送信されるビーコン信号が、店員が所持する携帯端末4で受信される。
A
また、本実施形態では、ユーザによって店舗マップ上に設定された監視エリアに、格子状に均等分割した所定の大きさ(例えば50cm四方)の複数のセル(分割エリア)が設定されており、このセルを単位として、分析用PC8で各種の処理が行われる。なお、セルのサイズは、マイク1、カメラ2、携帯端末4の感度によって、種々のサイズに変更することが可能である。
Further, in the present embodiment, a plurality of cells (divided areas) of a predetermined size (for example, 50 cm square) equally divided into a grid are set in the monitoring area set by the user on the store map. Various processes are performed by the analyzing
次に、本接客状況分析システムで行われる処理について説明する。図3は、携帯端末4、音声処理用PC5、画像処理用PC6、測位管理サーバ7、および分析用PC8の概略構成を示すブロック図である。図4は、携帯端末4、音声処理用PC5、画像処理用PC6、および測位管理サーバ7で行われる処理の概要を示す説明図である。図5は、分析用PC8で行われる処理の概要を示す説明図である。図6は、音声処理用PC5、画像処理用PC6、測位管理サーバ7、および分析用PC8で生成する情報を示す説明図である。図7は、店員特定の処理の要領を示す説明図である。図8は、発話判定および接客判定の要領を示す説明図である。図9は、発話判定の手順を示すフロー図である。図10は、接客判定の手順を示すフロー図である。図11は、接客ヒートマップ表示画面を示す説明図である。
Next, the processing performed by the present customer service situation analysis system will be described. FIG. 3 is a block diagram showing a schematic configuration of the
図3に示すように、携帯端末4は、ビーコン受信部21と、通信部22と、プロセッサ23と、記憶部24と、を備えている。
As shown in FIG. 3, the
ビーコン受信部21は、ビーコン発信機3から送信されるビーコン信号を受信して、そのビーコン信号の電波強度を測定する。
The
通信部22は、測位管理サーバ7との間で通信を行う。本実施形態では、プロセッサ23で取得した位置情報を測位管理サーバ7に送信する。
The
記憶部24は、端末IDなどを記憶する。また、記憶部24は、プロセッサ23で実行するプログラムを記憶する。
The
プロセッサ23は、記憶部24に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、ビーコン測位の処理を行う。
The
ビーコン測位では、複数のビーコン発信機3からのビーコン信号の電波強度に基づいて、携帯端末4の位置情報(緯度、経度、高度など)を取得する。この処理では、例えば、予め測定された各位置でのビーコン発信機3ごとの電波強度を表す電波強度分布情報を用いて、ビーコン受信部21で取得したビーコン発信機3ごとの電波強度から、携帯端末4の位置情報を取得する。
In beacon positioning, the position information (latitude, longitude, altitude, etc.) of the
測位管理サーバ7は、図4に示すように、各携帯端末4から送信される位置情報を受信して、携帯端末4ごとの位置情報を収集し、各時刻における各携帯端末4の位置を表す端末別位置情報を生成して、その端末別位置情報を分析用PC8に送信する。この端末別位置情報には、図6(A)に示すように、時刻、端末ID、位置座標の各情報が含まれる。
As shown in FIG. 4, the
図3に示すように、音声処理用PC5は、通信部31と、プロセッサ32と、記憶部33と、を備えている。
As shown in FIG. 3, the
通信部31は、マイク1および分析用PC8との間で通信を行う。本実施形態では、マイク1から送信される音声データを受信する。また、プロセッサ32で生成した音声ヒートマップ情報を分析用PC8に送信する。
The
記憶部33は、マイク1から取得した音声データなどを記憶する。また、記憶部33は、プロセッサ32で実行するプログラムを記憶する。
The
プロセッサ32は、記憶部33に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、音声検出(音源位置検出)の処理を行う。
The
図4に示すように、音声検出の処理では、マイク1から取得した複数(例えば16)のチャネルの音声データに基づいて、各位置における音声レベル(例えば4段階)を取得して、音声ヒートマップ情報を生成する。このとき、指向性を制御することで各方向の音声を取得することができ、複数のチャネルの音声データの位相差に基づいて、各位置の音声レベルを取得する。
As shown in FIG. 4, in the voice detection process, the voice level (for example, four stages) at each position is obtained based on the voice data of a plurality of (for example, 16) channels obtained from the
本実施形態では、監視エリアを格子状に分割したセル単位で音声レベルを取得し、図6(E)に示すように、各時刻における各セルでの音声レベルを表す音声ヒートマップ情報を生成する。この音声ヒートマップ情報を可視化すると、図8(A)に示すようになる。 In the present embodiment, the sound level is acquired in units of cells obtained by dividing the monitoring area in a grid pattern, and as shown in FIG. 6E, sound heat map information representing the sound level in each cell at each time is generated. .. When this audio heat map information is visualized, it becomes as shown in FIG.
なお、本実施形態では、図2に示すように、分析用PC8において、接客状況に関する分析処理をセル単位で行うことができるが、この分析処理で用いられるセルと、音声ヒートマップ情報で用いられるセルとは、必ずしも同一の大きさとする必要はない。
Note that, in the present embodiment, as shown in FIG. 2, the
図3に示すように、画像処理用PC6は、通信部41と、プロセッサ42と、記憶部43と、を備えている。
As shown in FIG. 3, the
通信部41は、カメラ2および分析用PC8との間で通信を行う。本実施形態では、カメラ2から送信される画像データを受信する。また、プロセッサ42で生成した人物別位置情報を分析用PC8に送信する。
The
記憶部43は、カメラ2から取得した画像データなどを記憶する。また、記憶部43は、プロセッサ42で実行するプログラムを記憶する。
The
プロセッサ42は、記憶部43に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、人物検出の処理を行う。
The
図4に示すように、人物検出の処理では、カメラ2から取得した画像データに含まれる撮像画像(フレーム)から人物を検出して、その人物の位置情報を取得して、各時刻における人物の位置を表す人物別位置情報を生成する。この人物別位置情報には、図6(B)に示すように、時刻、人物ID、位置座標の各情報が含まれる。
As shown in FIG. 4, in the person detection processing, a person is detected from the captured image (frame) included in the image data acquired from the
図3に示すように、分析用PC8は、通信部51と、プロセッサ52と、記憶部53と、を備えている。
As shown in FIG. 3, the
通信部51は、音声処理用PC5、画像処理用PC6、および測位管理サーバ7との間で通信を行う。本実施形態では、音声処理用PC5から送信される音声ヒートマップ情報を受信する。また、画像処理用PC6から送信される人物別位置情報を受信する。また、測位管理サーバ7から送信される端末別位置情報を受信する。
The
記憶部53は、音声処理用PC5、画像処理用PC6、および測位管理サーバ7から取得した情報や、プロセッサ52で生成した情報などを記憶する。また、記憶部53は、プロセッサ52で実行するプログラムを記憶する。
The
さらに、記憶部53は、接客判定の処理で用いられる判定基準の情報を記憶する。判定基準の情報は、予め設定された1以上の判定指標について設定された閾値を含む。そのような閾値には、少なくとも音声に関する閾値(すなわち、音声に関する判定指標について設定された閾値)が含まれる。また後述するように、判定基準には、店舗内の監視エリアの一部に1以上の判定変更エリアが設定された場合に、当該判定変更エリアに対して個別に設定される専用の判定基準と、その判定変更エリア(すなわち、特別なエリア)を除く監視エリアの全体に対して設定されている通常の判定基準とが含まれる。
Further, the
プロセッサ52は、記憶部53に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、店員特定、発話判定、接客判定、第1の接客集計、第2の接客集計、来店集計、顧客集計および店員集計の各処理を行う。
The
図5に示すように、店員特定の処理では、測位管理サーバ7から取得した端末別位置情報と、画像処理用PC6から取得した人物別位置情報と、に基づいて、人物別位置情報の各人物が店員であるか否かを判定して、店員別位置情報および顧客別位置情報を生成する。この顧客別位置情報および店員別位置情報には、図6(B)に示すように、時刻、人物ID、位置座標の各情報が含まれる。
As shown in FIG. 5, in the clerk-specific process, each person in the position information for each person is based on the position information for each terminal acquired from the
この店員特定の処理では、図7(A)に示すように、端末別位置情報において携帯端末4が存在する位置と、図7(B)に示すように、人物別位置情報において人物が存在する位置と、を比較して、携帯端末4の近傍に人物が存在する場合に、図7(C)に示すように、その人物を店員と判定する。また、図7(D)に示すように、店員と判定された人物以外の人物を顧客と判定する。そして、店員と判定された人物に関する人物別位置情報を店員別位置情報とし、顧客と判定された人物に関する人物別位置情報を顧客別位置情報とする。
In this clerk-specific process, as shown in FIG. 7A, the position where the
なお、測位管理サーバ7から取得した端末別位置情報から店員別位置情報を生成することも可能であるが、カメラ2の画像から取得した人物別位置情報の方が、ビーコン測位による端末別位置情報より精度が高いため、人物別位置情報から店員別位置情報を生成するようにするとよい。
Although it is possible to generate the position information for each clerk from the position information for each terminal acquired from the
図5に示すように、発話判定の処理では、顧客別位置発話情報および店員別位置発話情報を生成する。より詳細には、発話判定の処理では、図9に示すように、店員特定の処理による店員別位置情報および顧客別位置情報と、音声処理用PC5からの音声ヒートマップ情報とを取得し(ST101)、店員が存在するセルで所定レベル以上の音声が検出されたか否かを判定する(ST102)。そこで、所定レベル以上の音声が検出された場合(Yes)には、店員の発話があると判定し(ST103)、一方で、所定レベル以上の音声が検出されない場合(No)には、店員の発話がないと判定する(ST104)。その後、店員の発話の有無に応じて、顧客別位置発話情報および店員別位置発話情報を生成する(ST105)。
As shown in FIG. 5, in the process of utterance determination, customer-specific position utterance information and clerk-specific position utterance information are generated. More specifically, in the utterance determination process, as shown in FIG. 9, the salesclerk-specific position information and the customer-specific position information by the salesclerk specifying process and the voice heat map information from the
店員別位置発話情報および顧客別位置発話情報は、図6(C)に示すように、図6(B)に示す店員別位置情報および顧客別位置情報に、停留時間、および発話の有無の各情報を付加したものである。なお、停留時間は、ある位置に店員または顧客が滞在している時間である。 As shown in FIG. 6C, the position clerk-specific position utterance information and the customer-specific position utterance information include the stop time and the presence or absence of utterance in the clerk-specific position information and the customer-specific position information shown in FIG. 6B. It is information added. Note that the stoppage time is the time when a store clerk or a customer stays at a certain position.
この発話判定の処理では、図8(A)に示すように、音声ヒートマップ情報において音声が検出された位置と、図8(B)に示すように、店員別位置情報において店員が存在する位置と、を比較して、図8(C)に示すように、店員が存在する位置で、所定レベル以上の音声が検出された場合には、その位置で店員が発話したものと判定する。 In this utterance determination processing, as shown in FIG. 8(A), the position where the voice is detected in the voice heat map information, and as shown in FIG. 8(B), the position where the store clerk exists in the position information for each store clerk. 8C is compared, as shown in FIG. 8C, when a voice having a predetermined level or higher is detected at the position where the store clerk exists, it is determined that the store clerk uttered at that position.
また、本実施形態では、監視エリアを格子状に分割したセル単位で判定を行い(図2参照)、店員が存在するセルで、所定レベル以上の音声が検出された場合に、店員が発話したものと判定する。 In addition, in the present embodiment, determination is made in units of cells obtained by dividing the monitoring area in a grid pattern (see FIG. 2), and when a voice having a predetermined level or higher is detected in a cell in which a clerk exists, the clerk speaks. Judge as something.
なお、店員が歩行している状態では、足音を発話と誤判定するおそれがあるため、店員が停止している状態で、所定レベル以上の音声が検出された場合に、店員が発話したものと判定するようにするとよい。 Since the footsteps may be erroneously determined to be utterance when the store clerk is walking, it is said that the store clerk uttered when a voice of a predetermined level or higher is detected while the store clerk is stopped. You should make a decision.
図5に示すように、接客判定の処理では、発話判定の処理で取得した店員別位置発話情報および顧客別位置発話情報に基づいて、店員が接客を行ったか否かを判定して、接客情報(店員別位置発話接客情報および顧客別位置発話接客情報)を取得する。この接客判定の処理では、店員の発話時間、店員と顧客との接近時間、及び店員の近くに存在する顧客の人数等に基づき店員が顧客に対して接客を行ったか否かを判定する。 As shown in FIG. 5, in the customer service determination process, it is determined whether the clerk has performed customer service based on the salesclerk-specific position utterance information and the customer-specific position utterance information acquired in the utterance determination process, and the customer service information is obtained. (Position clerk/customer information for each salesclerk and position utterance/customer information for each customer) are acquired. In this customer service determination processing, it is determined whether or not the store clerk has served the customer based on the utterance time of the store clerk, the approach time between the store clerk and the customer, the number of customers near the store clerk, and the like.
店員の発話時間は、図8(D)に示すように、店員別位置発話情報において発話した店員が存在する位置と、顧客別位置発話情報において顧客が存在する位置とを比較して、店員と顧客との距離が予め設定した所定範囲(例えば50cm)内にある場合において、店員が発話する状態が継続した時間である。 As shown in FIG. 8D, the clerk's utterance time is compared with the clerk by comparing the position where the clerk who uttered in the clerk-specific position utterance information exists with the position where the customer exists in the customer-specific position utterance information. When the distance to the customer is within a predetermined range (for example, 50 cm) set in advance, this is the time during which the state in which the clerk speaks continues.
なお、接客時には発話が断続的に行われることから、店員の発話状態の判定では、所定の単位時間において発話が所定割合以上検知された否かを判定するようにするとよい。また、店員の発話状態の判定では、店員および顧客の少なくとも一方の(すなわち、発話の主体を区別せずに)発話が検知された否かを判定するようにしてもよい。 Since the utterance is intermittently performed during customer service, it is preferable to determine whether or not the utterance is detected in a predetermined unit time in a predetermined unit time in the determination of the utterance state of the store clerk. Further, in the determination of the utterance state of the store clerk, it may be determined whether or not the utterance of at least one of the store clerk and the customer (that is, without distinguishing the utterance subject).
また、店員と顧客との距離が所定範囲内にあるか否かについては、例えば、店員が存在するセルと同一のセル内(または互いに隣接するセル内)に顧客が存在する場合に、店員と顧客との距離が所定範囲内にあると判定してもよい。 Further, regarding whether or not the distance between the store clerk and the customer is within a predetermined range, for example, when the customer is present in the same cell as the cell in which the store clerk exists (or in cells adjacent to each other), It may be determined that the distance to the customer is within a predetermined range.
店員と顧客との接近時間は、店員と顧客との距離が予め設定した所定範囲内にある状態が継続した時間である。この所定範囲は、上述の店員の発話時間を決定するための範囲とは異なる値に設定することもできる。 The approach time between the store clerk and the customer is the time during which the distance between the store clerk and the customer remains within a predetermined range set in advance. The predetermined range can be set to a value different from the range for determining the utterance time of the store clerk described above.
店員の近くに存在する顧客の人数は、店員との距離が予め設定した所定範囲内にある顧客の人数である。この所定範囲は、上述の店員の発話時間を決定するための範囲や、接近時間を決定するための範囲とは異なる値に設定することもできる。 The number of customers existing near the store clerk is the number of customers whose distance from the store clerk is within a predetermined range set in advance. The predetermined range can be set to a value different from the range for determining the utterance time of the store clerk and the range for determining the approach time.
店員別位置発話接客情報および顧客別位置発話接客情報は、図6(D)に示すように、図6(C)に示す店員別位置発話情報および顧客別位置発話情報に、接客の有無および応対人数の各情報を付加したものである。なお、応対人数は、顧客別位置発話接客情報では、接客している店員の人数であり、店員別位置発話接客情報では、接客されている顧客の人数(ここでは、店員の近くに存在する顧客の人数)である。 As shown in FIG. 6(D), the position clerk position information by customer and the customer position utterance information include presence/absence of a customer and a response to the position information by clerk and position information by customer shown in FIG. 6(C). Each piece of information on the number of people is added. In the customer-specific position utterance reception information, the number of customers is the number of clerk who is serving the customer, and in the clerk position utterance reception information, the number of customers being served (here, the customers existing near the clerk). The number of people).
より詳細には、接客判定の処理では、図10に示すように、店員別位置発話接客情報および顧客別位置発話接客情報を取得し(ST201)、店員の近く(例えば、店員と同一のセル内または店員から所定範囲内の距離)に顧客が所定の時間以上滞在しているか否かを判定する(ST202)。そこで、店員の近くに顧客が所定の時間以上滞在している場合(Yes)には、店員の位置が予め設定された判定変更エリア内に含まれるか否かを判別する(ST203)。一方、店員の近くに顧客が所定の時間以上滞在していない場合(ST202:No)には、店員による接客は行われていないと判定する(ST204)。 More specifically, in the customer service determination process, as shown in FIG. 10, the store clerk position utterance customer information and the customer position utterance customer information are acquired (ST201), and the vicinity of the clerk (for example, in the same cell as the clerk Alternatively, it is determined whether or not the customer stays at a distance within a predetermined range from the clerk for a predetermined time or more (ST202). Therefore, when the customer stays near the store clerk for a predetermined time or longer (Yes), it is determined whether or not the position of the store clerk is included in the preset determination change area (ST203). On the other hand, when the customer does not stay near the store clerk for a predetermined time or longer (ST202: No), it is determined that the store clerk is not serving the customer (ST204).
また、ステップST203において、店員の位置が判定変更エリア内に含まれる場合(Yes)、当該判定変更エリアに対して設定された専用の判定基準を取得し、これを通常の判定基準に代えて使用する(ST205)。一方、店員の位置が判定変更エリア内に含まれない場合(ST203:No)、通常の判定基準がそのまま使用される。判定基準には、発話時間の閾値(音声に関する閾値)、店員と顧客との接近時間の閾値、および店員の近くに存在する顧客の人数の閾値が含まれる。後に詳述するように、ユーザは、接客判定の処理中またはその処理の開始前に、判定変更エリアおよび発話時間等の閾値を設定することができる。 Further, in step ST203, when the position of the clerk is included in the determination change area (Yes), the dedicated determination standard set for the determination change area is acquired and used in place of the normal determination standard. (ST205). On the other hand, when the position of the clerk is not included in the judgment change area (ST203: No), the normal judgment standard is used as it is. The determination criteria include a threshold of speech time (threshold regarding voice), a threshold of approach time between a store clerk and a customer, and a threshold of the number of customers existing near the store clerk. As will be described later in detail, the user can set thresholds such as the determination change area and the speech time during or before the processing of customer service determination.
次に、店員の発話時間とその閾値に基づき、発話時間に関する接客尤度を算出する(ST206)。この発話時間に関する接客尤度としては、店員の発話時間がその閾値以上である場合に一定の数値が設定される。また、そのような発話時間に関する接客尤度の数値は、店員の発話時間とその閾値との差分の大きさに応じて増大させるようにしてもよい。一方、発話時間がその閾値未満である場合には、その接客尤度は無効とされる(例えば、ゼロに設定される)。 Next, the customer likelihood regarding the utterance time is calculated based on the utterance time of the clerk and the threshold value (ST206). As the customer likelihood related to the speech time, a certain numerical value is set when the speech time of the store clerk is equal to or more than the threshold value. Further, the value of the likelihood of customer service relating to such utterance time may be increased according to the magnitude of the difference between the clerk's utterance time and its threshold value. On the other hand, when the speech time is less than the threshold value, the customer service likelihood is invalidated (for example, set to zero).
続いて、店員と顧客との接近時間とその閾値に基づき、店員と顧客との接近時間に関する接客尤度を算出する(ST207)。この接近時間に関する接客尤度としては、その接近時間がその閾値以上である場合に一定の数値が設定される。また、そのような接近時間に関する接客尤度の数値は、店員と顧客との接近時間とその閾値との差分の大きさに応じて増大させるようにしてもよい。一方、接近時間がその閾値未満である場合には、その接客尤度は無効とされる。 Then, based on the approach time between the clerk and the customer and the threshold value, the likelihood of customer service related to the approach time between the clerk and the customer is calculated (ST207). As the customer likelihood regarding the approach time, a constant numerical value is set when the approach time is equal to or more than the threshold value. Further, the value of the likelihood of customer service related to such approach time may be increased according to the magnitude of the difference between the approach time between the clerk and the customer and the threshold value. On the other hand, when the approach time is less than the threshold value, the customer likelihood is invalidated.
続いて、店員の近くに存在する顧客の人数とその閾値に基づき、店員の近くに存在する顧客の人数に関する接客尤度を算出する(ST208)。この顧客の人数に関する接客尤度としては、店員の近くに存在する顧客の人数がその閾値以上である場合に一定の数値が設定される。また、そのような顧客の人数に関する接客尤度の数値は、店員の近くに存在する顧客の人数とその閾値との差分の大きさに応じて増大させるようにしてもよい。一方、顧客の人数がその閾値未満である場合には、その接客尤度は無効とされる。 Then, based on the number of customers existing near the clerk and the threshold value thereof, the customer likelihood regarding the number of customers existing near the clerk is calculated (ST208). As the customer reception likelihood regarding the number of customers, a certain numerical value is set when the number of customers existing near the clerk is equal to or more than the threshold value. Further, such a value of the likelihood of customer service regarding the number of customers may be increased according to the magnitude of the difference between the number of customers existing near the clerk and the threshold value. On the other hand, if the number of customers is less than the threshold value, the likelihood of customer service is invalidated.
なお、上述のような接客尤度に加え(或いはそれらの接客尤度の代わりに)、例えば、店員と顧客との接近距離に関する接客尤度を同様に算出することもできる。この接近距離に関する接客尤度としては、店員と顧客との接近距離がその閾値以下である場合に一定の数値が設定される。また、そのような接近距離に関する接客尤度の数値は、接近距離とその閾値との差分(マイナスの値)の絶対値の大きさに応じて増大させるようにしてもよい。 Note that, in addition to the above-mentioned customer likelihoods (or instead of those customer likelihoods), for example, the customer likelihood regarding the approach distance between the clerk and the customer can be calculated in the same manner. As the customer likelihood regarding the approach distance, a certain numerical value is set when the approach distance between the clerk and the customer is equal to or less than the threshold value. Further, the value of the likelihood of customer service related to such an approach distance may be increased according to the magnitude of the absolute value of the difference (negative value) between the approach distance and its threshold value.
また、店員及び顧客の姿勢や顔の向きを判定し、その結果に応じて上述の各接客尤度の値を調整してもよい。 Further, the attitudes and face orientations of the store clerk and the customer may be determined, and the value of each customer service likelihood described above may be adjusted according to the result.
その後、ステップST206−ST208で算出した接客尤度の総合値が、予め設定した総合値の閾値以上か否かを判定する(ST209)。そこで、接客尤度の総合値がその閾値以上である場合(ST209:Yes)には、店員によって顧客に対する接客が行われたと判定し(ST210)、それに基づき店員別位置発話接客情報および顧客別位置発話接客情報を生成する(ST211)。一方、接客尤度の総合値がその閾値未満である場合(ST209:No)には、店員によって顧客に対する接客が行われていないと判定し(ST204)、それに基づき店員別位置発話接客情報および顧客別位置発話接客情報を生成する(ST211)。 Then, it is determined whether the total value of the likelihood of customer service calculated in steps ST206 to ST208 is greater than or equal to a preset threshold of the total value (ST209). Therefore, when the total value of the likelihood of customer service is equal to or more than the threshold value (ST209: Yes), it is determined that the customer is serviced by the store clerk (ST210), and based on that, the clerk-specific position utterance service information and the customer-specific position Utterance reception information is generated (ST211). On the other hand, when the total value of the likelihood of customer service is less than the threshold value (ST209: No), it is determined that the customer is not serving the customer by the clerk (ST204), and based on that, the location utterance by customer clerk customer information and the customer Another position utterance reception information is generated (ST211).
なお、接客尤度の総合値としては、例えば、発話時間に関する接客尤度、接近時間に関する接客尤度、および店員の近くに存在する顧客の人数に関する接客尤度の和を用いることができる。その場合、各接客尤度の優先度に応じて、接客尤度の各々に対して重み付けを行ってもよい。また、接客尤度の総合値は、算出された(すなわち、無効とされていない)複数の接客尤度のうちの一部を省略して算出してもよい。 As the total value of the likelihood of customer service, for example, the sum of the likelihood of customer service related to the utterance time, the likelihood of customer service related to the approach time, and the likelihood of customer service related to the number of customers existing near the clerk can be used. In that case, weighting may be performed on each of the customer likelihoods according to the priority of each customer likelihood. Further, the total value of the likelihood of customer service may be calculated by omitting a part of the calculated likelihood of customer service (that is, not invalidated).
上記接客判定の処理では、店員の位置が判定変更エリアに含まれる場合に音声に関する専用の判定基準を用いて判定を行うため、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することができる。 In the above-mentioned customer service determination process, since the determination is performed using a dedicated determination criterion regarding voice when the position of the clerk is included in the determination change area, the clerk can handle the service while suppressing the influence of environmental sound other than the utterance of the clerk. It is possible to determine what has been done and generate more reliable customer service information.
図5に示すように、第1の接客集計では、顧客別位置発話接客情報に基づいて、顧客が出入口から入店した時刻(入店時刻)と、店員が最初の接客(声掛けなどのファーストコンタクト)に着手した時刻(接客着手時刻)と、を取得して、入店時刻と接客着手時刻とに基づいて、顧客が入店してから店員が最初の接客に着手するまでの所要時間である接客着手時間を算出する。 As shown in FIG. 5, in the first customer service aggregation, based on the customer-based position utterance customer service information, the time when the customer entered the store from the doorway (entry time) and the first clerk to service the customer (first call The time from when the customer enters the store to when the clerk starts the first customer service, based on the time when the customer started the customer service (the customer service start time) and the time when the customer entered the store and the customer service start time. Calculate a customer service start time.
また、第1の接客集計の処理では、接客着手時間の平均値を算出する。このとき、店員および店舗を集計対象として、店員ごとに接客着手時間を集計して、店員ごとの平均値を算出し、また、店舗ごとに接客着手時間を集計して、店舗ごとの平均値を算出する。 In addition, in the first process of totaling customer service, an average value of service start times is calculated. At this time, the sales staff and stores are aggregated, and the customer service start time is totaled for each shop staff to calculate an average value for each shop staff.The customer service start time is calculated for each shop, and the average value for each store is calculated. calculate.
第2の接客集計の処理では、接客判定の処理で取得した店員別位置発話接客情報に基づいて、店員ごとの接客回数、接客時間、および接客ポイント(接客が行われた位置)、接客人数を取得する。 In the second process of counting the number of customers, the number of times of customer service, the number of customer service times, the customer service point (position where customer service was performed), and the number of customer services are calculated based on the position utterance by customer clerk information acquired in the customer service determination process. get.
具体的には、店員別位置発話接客情報に含まれる各時刻の接客の有無に基づいて、店員ごとの接客回数を取得する。 Specifically, the number of customer visits for each clerk is acquired based on the presence or absence of customer attendance at each time included in the position utterance customer service information for each clerk.
また、店員別位置発話接客情報に含まれる各時刻の接客の有無に基づいて、接客の開始時刻および終了時刻を取得して、接客時間を取得する。なお、集計期間において店員が接客を複数回行った場合には、各回の接客時間の合計値を取得する。 Further, the start time and end time of customer service are acquired based on the presence or absence of customer service at each time included in the position utterance customer service information for each clerk, and the customer service time is acquired. In addition, when the clerk performs customer service a plurality of times during the aggregation period, the total value of the customer service time of each time is acquired.
また、店員別位置発話接客情報に含まれる各時刻の店員の位置および接客の有無に基づいて、接客ポイントを取得する。この場合、店員の位置が接客ポイントとなる。なお、顧客位置発話接客情報も加味して接客ポイントを取得するようにしてもよい。すなわち、顧客が一人の場合、顧客位置発話接客情報に含まれる顧客の位置に基づいて、店員と顧客との間の中間点を接客ポイントとしてもよい。 Further, the customer service point is acquired based on the location of the shop assistant at each time and the presence or absence of customer service, which is included in the position utterance customer service information for each shop employee. In this case, the position of the clerk is the customer service point. It should be noted that the customer service points may be acquired in consideration of the customer position utterance customer service information. That is, when there is only one customer, the customer service point may be an intermediate point between the clerk and the customer based on the customer position included in the customer position utterance customer service information.
来店集計の処理では、画像処理用PC6から取得した人物別位置情報に基づいて、来店人数を取得する。本実施形態では、撮像画像における店舗の出入口の近傍に計測ラインを設定して、人物の位置情報に基づく人物の動線が、計測ラインに対して入店方向で交差することで、人物が来店したことを検知し、来店した人物をカウントして、来店人数を取得する。
In the process of totaling visits to the store, the number of people visiting the store is acquired based on the position information for each person acquired from the
なお、計測ラインの代わりに計測エリアを設定して、この計測エリアに対する動線の交差状況に基づいて、人物の来店を検知するようにしてもよい。 A measurement area may be set instead of the measurement line, and the visit of a person may be detected based on the intersection of the flow line with respect to this measurement area.
また、来店集計の処理では、来店構成人数ごとの組数、すなわち、何人構成の顧客が何組来店したかを取得する。このとき、人物ごとの入店時刻を取得して、人物同士の入店間隔が所定時間(例えば5秒間)以内である場合には、グループで来店したものと判定する。また、発券機で番号札を受け取る時刻に基づいてグループ代表者を特定し、そのグループ構成を把握するようにしてもよい。 In addition, in the process of totaling the number of customers who visit the store, the number of groups for each number of people who visit the store, that is, how many groups of customers visit the store, is acquired. At this time, the entry time for each person is acquired, and if the entry interval between the persons is within a predetermined time (for example, 5 seconds), it is determined that the group has come to the store. Further, the group representative may be specified based on the time when the ticket issuing machine receives the number tag, and the group configuration may be grasped.
顧客集計の処理では、店員特定の処理で取得した顧客別位置情報に基づいて、滞在時間および滞在人数を取得する。このとき、各顧客が各セル(分割エリア)に滞在している時間を合計して、セルごとの滞在時間を取得する。また、各顧客が各セルに滞在している期間を集計して、セルごとの滞在人数を取得する。 In the customer totaling process, the staying time and the number of people staying are acquired based on the customer-specific position information acquired in the process of specifying the clerk. At this time, the time spent by each customer in each cell (divided area) is totaled to obtain the stay time for each cell. In addition, the number of stays in each cell is acquired by totaling the period in which each customer stays in each cell.
店員集計の処理では、測位管理サーバ7から取得した端末位置情報に基づいて、各店員の運動量、休憩回数および休憩時間、ならびに実働店員人数を取得する。このとき、各店員の携帯端末4の位置情報に基づいて、各店員の移動量を算出して、各店員の運動量を取得する。また、各店員の携帯端末4の位置情報に基づいて、各店員がバックヤードや店舗外に滞在している休憩期間を取得して、各店員の休憩回数および休憩時間を取得する。また、各店員の勤務期間から休憩期間を除いた実働期間を集計して、単位時間ごとの実働店員人数を取得する。
In the salesclerk totaling process, the amount of exercise, the number of breaks and the break time of each salesclerk, and the number of actual salesclerks are acquired based on the terminal position information acquired from the
画面生成の処理では、接客状況に関する情報として、接客ヒートマップ表示画面の画面情報を生成する。図11に示すように、接客ヒートマップ表示画面では、条件設定部61と、メニュー表示ボタン62と、ヒートマップ表示部63と、映像表示部64と、再生操作部65と、が設けられている。
In the screen generation process, screen information of the customer service heat map display screen is generated as information on the customer service situation. As shown in FIG. 11, the customer service heat map display screen is provided with a
ユーザは、条件設定部61において、検索条件、すなわち、ヒートマップ表示部63の表示対象を絞り込むフィルタリングの条件を設定することができ、設定した検索条件に該当する情報のみがヒートマップ表示部63に表示される。検索条件には、接客ヒートマップ表示等の項目、店員、顧客、エリア、期間、接客時間等の範囲などが含まれる。条件設定部61でユーザが各種の検索条件を指定する操作を行って「検索」のボタン77を操作すると、指定した検索条件に基づいて、表示対象のフィルタリングが行われて、指定した検索条件に該当する情報がヒートマップ表示部63に表示される。ユーザがメニュー表示ボタン62を操作すると、接客ヒートマップ、グラフ、および設定などを選択するメニューが表示される。
The user can set search conditions in the
映像表示部64には、カメラ2の撮像映像が表示される。本実施形態では、カメラ2が、魚眼レンズを用いた全方位カメラであるため、映像表示部64には魚眼映像が表示される。この映像表示部64に表示される撮像映像により、ヒートマップ表示部63でヒートマップ画像81や動線84を再生している最中に、注目するタイミングでの店舗内の実際の状況を確認することができる。なお、映像表示部64は、ユーザの好みに応じて、非表示にしたり、別ウィンドウで拡大表示したりするようにしてもよい。また、魚眼映像を補正したパノラマ映像または4画に分けた分割映像などを表示するようにしてもよい。
The video image captured by the
画面生成の処理では、評価対象としてユーザに選択された店員について、第2の接客集計の処理で取得した統計情報(接客時間、接客人数および接客回数)に基づいて、各時刻の接客のヒートマップ画像81を生成して、店舗マップ画像82上に重畳する。また、店員別位置発話接客情報および顧客別位置発話接客情報に含まれる店員および顧客の位置情報に基づいて、各時刻の店員および顧客の動線84の画像を生成して、この動線84の画像および人物マーク85を店舗マップ画像82上に重畳する。また、ファーストタッチの時刻(接客着手時刻)および位置に基づいて、ファーストタッチのマーク87を店舗マップ画像82上に重畳する。ここでは、ヒートマップ画像81の大きさは、接客回数を表しており、また、ヒートマップ画像81の塗りつぶし色の濃さは、接客時間を表している。
In the screen generation process, the heat map of the customer service at each time is based on the statistical information (service time, the number of customer service and the number of customer services) acquired in the second customer service aggregation process for the clerk selected by the user as the evaluation target. An
また、画面生成の処理では、第1の接客集計、第2の接客集計、来店集計、店員集計、顧客集計の各処理で取得した統計情報に基づいて、接客状況に関する情報として、各種の一覧表や各種のグラフ(例えば、第1の接客集計、第2の接客集計、来店集計、店員集計、顧客集計の各処理で取得した統計情報に関する一覧表やグラフ)を生成して、この一覧表やグラフが表示される統計情報画面の画面情報を生成することもできる。 In addition, in the screen generation process, various list tables are provided as information regarding the customer service status based on the statistical information acquired in each of the first customer service total, second customer service total, visit total, store employee total, and customer total process. And various graphs (for example, a list or a graph relating to the statistical information acquired in each process of the first customer count, the second customer count, the store visit count, the salesclerk count, and the customer count) are generated, and this list or It is also possible to generate screen information for the statistical information screen on which the graph is displayed.
ヒートマップ表示部63には、人物(店員および顧客)の行動状況を表す画像として、人物が移動した軌跡を描画した動線84が店舗マップ画像82上に表示される。また、動線84の終端には人物マーク85が表示される。この人物マーク85は、再生時刻での人物の位置を示している。動線84は、人物ごとに異なる色で表示される。また、店員と顧客とを容易に識別できるように、人物ごとの動線84の配色を行うとよい。例えば、店員の動線84を寒色系の色で表示し、顧客の動線84を暖色系の色で表示するようにするとよい。
On the heat
再生操作部65には、再生停止ボタン91が設けられており、この再生停止ボタン91を操作することで、ヒートマップ表示部63の動画像(ヒートマップ画像81、動線84など)の再生および停止を行うことができる。この再生停止ボタン91で再生を開始すると、再生時刻の進行に応じて動画像が変化する。すなわち、店員や顧客が存在する位置に人物マーク85が出現し、店員や顧客が移動するのに応じて、店員や顧客の動線84が徐々に延びる。そして、店員が接客を始めると、ヒートマップ画像81が出現し、ファーストタッチであればマーク87が出現する。また、接客時間や接客回数が増えるのに応じて、ヒートマップ画像81の形態(大きさや色など)が徐々に変化する。
The
また、再生操作部65には、バー92に沿って移動するスライダ93が設けられており、このスライダ93をずらす操作を行うことで、再生時刻を調整することができる。また、バー92の両端部には、集計期間の開始時刻および終了時刻が表示され、スライダ93の近傍には、再生時刻が表示される。
Further, the
また、ユーザが指定した検索期間より短い期間を統計情報の集計期間として、再生時刻から過去に遡った集計期間での統計情報をヒートマップ画像81で表現するようにしてもよい。この場合、再生時刻が進むのに応じて集計期間が移動(更新されるように)する。
Alternatively, the
次に、上述の接客判定の判定基準(専用の判定基準)のユーザによる設定方法について説明する。図12、図13、及び図14は、それぞれ接客判定の判定基準を設定する要領を示す説明図である。なお、図12−図14に示す接客判定の判定基準の設定画面では、上述の接客ヒートマップ表示画面と同様の構成要素について同一の符号を付してある。 Next, a method of setting the above-mentioned determination criteria (dedicated determination criteria) for customer service determination by the user will be described. 12, FIG. 13, and FIG. 14 are explanatory diagrams showing the procedure for setting the determination standard for customer service determination. 12 to 14, the same reference numerals are attached to the same components as those of the customer service heat map display screen described above.
図12−図14に示すように、設定画面の条件設定部61には、表示設定部101と、エリア追加部102と、エリア指定部103と、判定設定部104と、期間設定部75と、が設けられている。
As shown in FIGS. 12 to 14, the
表示設定部101では、ユーザは、判定基準の設定時にヒートマップ表示部63に表示させる項目を選択することができる。本実施形態では、音声ヒートマップおよび動線の各項目を選択することができる。音声ヒートマップの項目を選択すると、音声の発生位置及びその音声レベルを表す画像として音声のヒートマップ画像111(音声可視化画像)が表示され、動線の項目を選択すると、動線84および人物マーク85が表示される。なお、音声のヒートマップ画像81は、店舗マップ画像82上に透過状態で重畳され、これによりヒートマップ画像81が重畳された位置でも、店舗マップ画像82が透けて見える。また、ユーザが再生停止ボタン91を操作して時間を進めると、音声のヒートマップ画像81の表示形態は、音声データの統計情報の経時変化に応じて変化する。
In the
エリア追加部102は、判定変更エリアとして新たに追加(または編集)したいエリアを設定するためのものである。例えば、図12に示すように、ユーザは、ヒートマップ表示部63に表示される店舗マップ上の所望のエリア(破線で示された矩形107を参照)を選択した状態で、エリア追加部102に追加したいエリア名として「エリアC」を入力し、Addボタン112を押下することにより、新たな判定変更エリアを追加することができる。追加の操作が完了した「エリアC」は、実線で示される(図13、図14参照)。なお、判定変更エリアは、矩形に限らず、円形など他の形状によって設定されてもよい。
The
ユーザは、エリア追加部102で新たなエリアを追加する際に、表示設定部101における操作により、店舗内における音声の発生を表す画像としての音声のヒートマップ画像81(定形画像)を、ヒートマップ表示部63の店舗マップ画像82上に表示させておくことができる。
When the user adds a new area with the
これにより、ユーザは、店員の発話とは無関係に店舗内で発生する環境音の発生位置を容易に把握することができ、判定変更エリアとして設定すべき所望のエリアを精度良く選択することが可能となる。この場合、ユーザは、音声のヒートマップ画像81により、音声の実際の発生位置のみならず、壁などの反射により音声の実際の発生位置とは異なる位置で生じた音声についても把握することができる。また、ユーザは、必要に応じて、ヒートマップ画像81に加え、店舗マップ画像82上に動線84および人物マーク85を表示させることができる。これにより、ユーザは、人物の動きを確認して環境音の発生位置をより精度良く把握することができる。
With this, the user can easily grasp the position where the environmental sound is generated in the store regardless of the utterance of the store clerk, and can accurately select the desired area to be set as the determination change area. Becomes In this case, the user can understand not only the actual sound generation position by the
ここでは、音声レベルに応じて、ヒートマップ画像81の表示形態(例えば色合い)が次第に変化する。この場合、複数のしきい値を設定して、ヒートマップ画像81の色合いが段階的に変化する、例えば、ヒートマップ画像81が青色から緑色、黄色、赤色に段階的に変化するようにできる。また、音声レベルをヒートマップ画像81の大きさで表現してもよい。また、ここでは、ヒートマップ画像81の形状を円形としたが、ヒートマップ画像81の形状は円形に限定されるものではなく、矩形などの他の形状としてもよい。
Here, the display form (for example, hue) of the
エリア指定部103は、判定基準を設定する対象となる判定変更エリアをユーザが指定するためのものである。図12では、判定基準を設定する対象としてエリアAおよびエリアBが指定(チェック)されている。なお、エリア追加部102の操作によってエリアCが追加された後は、エリアCもエリア指定部103に表示される(図13、図14参照)。
The
また、映像表示部64には、ユーザによって設定された判定変更エリアを表示する画像が、同時刻の撮像映像(ここでは、魚眼映像)における対応する位置に重畳してそれぞれ表示される。なお、図12−図14では、判定変更エリアを表示する画像は、便宜上、矩形の枠120として示されているが、実際の映像表示部64では、枠120は、魚眼映像に対応して歪んだ形状を有している。この撮像映像により、ヒートマップ表示部63でヒートマップ画像81や動線84を再生している最中に、注目するタイミングでの店舗内の実際の状況および判定変更エリアの位置を確認することができる。再生停止ボタン91で再生を開始すると、再生時刻の進行に応じて撮像映像(動画像)が変化する。
Further, on the
判定設定部104は、エリア指定部103で指定された各判定変更エリアに対する専用の判定基準をユーザが設定するためのものである。本実施形態では、ユーザは、判定基準として、店員の発話時間に関する閾値、店員と顧客との接近時間に関する閾値、及び店員の近くに存在する顧客の人数に関する閾値を設定できる。なお、判定変更エリアで設定される判定基準は、全ての閾値の再設定を必要とするものでなく、通常の判定基準で設定された閾値の一部のみを変更するものであってもよい。
The
図12では、判定設定部104において、設定対象として発話時間に関する閾値が選択された状態が示されている。また、判定設定部104には、バー105に沿って移動するスライダ106が設けられており、このスライダ106をずらす操作を行うことで、閾値の値を調整することができる。同様に、図13では、判定設定部104において、設定対象として店員と顧客との接近時間に関する閾値が選択された状態が示されており、図14では、店員の近くに存在する顧客の人数に関する閾値が選択された状態が示されている。
FIG. 12 shows a state in which the threshold value relating to speech time is selected as a setting target in the
図12に示すように、例えば、発話時間の閾値を最大(MAX)に設定することにより、対象の判定変更エリア(ここでは、エリアA、B)の発話時間に関する接客尤度を無効とすることができる。つまり、上述の図10に示した接客判定の処理において、店員が判定変更エリアとしてのエリアAまたはエリアB内に位置する場合(ST203:Yes)、発話時間の判定基準(閾値)として最大が設定され(ST205)、その結果、発話時間に関する接客尤度が無効とされる(ST206)。 As shown in FIG. 12, for example, by setting the threshold of the utterance time to the maximum (MAX), the customer likelihood regarding the utterance time of the target determination change area (here, areas A and B) is invalidated. You can That is, in the processing of customer service determination shown in FIG. 10 described above, when the salesclerk is located in the area A or the area B as the determination change area (ST203: Yes), the maximum is set as the determination reference (threshold value) of the utterance time. As a result (ST205), the likelihood of customer service related to speech time is invalidated (ST206).
なお、ユーザは、例えば、発話時間の閾値を設定する際には、店舗内に実際に配置されたスピーカの配置や、出入口の位置、上述のヒートマップ画像81などを考慮することができる。また、ユーザは、判定設定部104において、Defaultボタン114を押下することにより、設定対象の閾値を予め設定された初期値に戻すことができる。
Note that, for example, when setting the threshold of the utterance time, the user can consider the arrangement of the speakers actually arranged in the store, the position of the entrance and exit, the
期間設定部75は、ヒートマップ表示部63の表示対象となる項目の期間(年月日、開始時刻、終了時刻)をユーザが指定するためのものである。期間設定部75において、ユーザが期間を指定してViewボタン115を押下することにより、ユーザが指定した期間に対応した情報(音声ヒートマップや動線情報など)がヒートマップ表示部63に表示される。
The
なお、ユーザは、上述のような都度設定される判定変更エリア及びそれに対する専用の判定基準と共に、或いは、それらの判定変更エリア及び判定基準の代わりに、例えば、エリアの特性に応じてプリセットされた専用の判定基準を用いることもできる。 It should be noted that the user is preset according to the characteristics of the area, for example, together with the determination change area and the determination criteria dedicated to the determination change area set as described above, or instead of the determination change area and the determination criteria. It is also possible to use a dedicated criterion.
図15は、接客判定の判定基準のプリセットの手順を示すフロー図である。図16は、接客判定の判定基準のプリセットの要領を示す説明図である。なお、図16に示す接客判定の判定基準のプリセット画面では、上述の判定基準の設定画面と同様の構成要素について同一の符号を付してある。 FIG. 15 is a flow chart showing a procedure for presetting a determination standard for customer service determination. FIG. 16 is an explanatory diagram showing a procedure for presetting a determination standard for customer service determination. In addition, in the preset screen of the determination standard of the customer service determination illustrated in FIG. 16, the same components as those in the determination standard setting screen described above are denoted by the same reference numerals.
図15に示すように、判定基準のプリセットの処理では、ユーザがプリセット名を設定し(ST301)、そのプリセット名に対し、店員の発話時間に関する閾値(ST302)、店員と顧客との接近時間に関する閾値(ST303)、及び店員の近くに存在する顧客の人数の閾値(ST304)を順次設定する。その後、それらの設定に関し、プリセット登録がなされることにより(ST305)、処理が終了する。 As shown in FIG. 15, in the determination standard preset process, the user sets a preset name (ST301), and with respect to the preset name, a threshold value (ST302) relating to the clerk's utterance time and the approach time between the clerk and the customer. The threshold value (ST303) and the threshold value (ST304) of the number of customers existing near the clerk are sequentially set. Thereafter, with respect to those settings, preset registration is performed (ST305), and the processing ends.
図16において、エリア追加部102は、プリセットされた判定変更エリアとして新たに追加したいエリアを設定するためのものである。例えば、ユーザは、ヒートマップ表示部63に表示される店舗マップ上の所望のエリア(破線で示された矩形207を参照)を選択した状態で、エリア追加部102に追加したいエリア名として「入口A」を入力して、Addボタン112を押下することにより、新たにプリセットされた判定変更エリアを追加することができる。
In FIG. 16, the
既存プリセット表示部123は、既に設定されているプリセット名を表示する。ここでは、店舗内のカウンタA−Cに対してプリセットされた判定基準が設定されている例を示す。また、ユーザは、既存のプリセット名を選択(チェック)することにより、判定設定部104において、当該プリセット名に対応するエリアに対し、上述と同様の要領で所望の閾値を設定することが可能である。
The existing
また、判定設定部104では、ユーザが、プリセット設定を選択し、さらに既存のプリセット名を選択(チェック)することにより、それらについて設定された専用の判定基準が有効となる。ここでは、カウンタA、Bについてのプリセット設定(判定基準)が有効とされている。
In the
プリセット名に対応づけて設定された判定基準は、分析用PC8の記憶部53(メモリ)に記憶され、プリセットが有効な場合、ユーザが都度設定する必要なく接客判定の処理に適用される。なお、プリセットされた判定基準が適用されるエリアと重複するエリアに対して、図12−図14に示す接客判定の判定基準の設定画面で判定変更エリアが設定された場合には、その設定画面で設定された判定基準が優先される。
The determination criterion set in association with the preset name is stored in the storage unit 53 (memory) of the
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。 The embodiments have been described above as examples of the technology disclosed in the present application. However, the technology of the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, etc. have been made. Further, it is also possible to combine the constituent elements described in the above-described embodiment to form a new embodiment.
例えば、前記の実施形態では、音声処理用PC5と、画像処理用PC6と、測位管理サーバ7と、分析用PC8と、を備えた構成としたが、これらの装置の各機能は、かならずしも単一の情報処理装置で実現する必要はなく、適宜に1つまたは複数の情報処理装置に統合することができる。また、分析用PCの機能を複数の情報処理装置で分担することも可能である。また、マイク1およびカメラ2が一体の監視カメラを多機能化し、音声処理用PC5や画像処理用PC6を介さずに、監視カメラのプロセッサが、人物別位置情報や音声ヒートマップを生成して、分析用PC8へ送信するようにすることも可能である。
For example, in the above-described embodiment, the
なお、近年、IoT(Internet of Things)の世界では、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるCPS(Cyber Physical Systems)が注目されている。こうした中、本実施形態においても、CPSコンセプトを採用することができる。すなわち、CPSの基本構成として、例えば、フィジカル空間に配置されるエッジサーバと、サイバー空間に配置されるクラウドサーバとをネットワークを介して接続し、エッジサーバとクラウドサーバに搭載されたプロセッサにより、接客分析処理を分散して処理することが可能である。この接客分析処理においては、エッジサーバとして、音声処理用PC5、画像処理用PC6、測位管理サーバ7を含んだサーバを構築する。次に、クラウドサーバは、ネットワークを介してエッジサーバより受信した処理データ(音声ヒートマップ情報、人物位置情報、端末位置情報)に基づき、接客データを生成する処理を実行し、その接客データを接客分析アプリケーションソフトウェアで引き継ぎ、アプリケーション上で定義された出力フォーマットでディスプレイ等に表示する。ここで、エッジサーバまたはクラウドサーバにおいて生成される各データは、標準化されたプラットフォームに搭載されたWebアプリケーション等で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やIoTアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。
In recent years, in the IoT (Internet of Things) world, CPS (Cyber Physical Systems), which is a new concept of creating new added value by information collaboration between physical space and cyber space, has been attracting attention. Under these circumstances, the CPS concept can also be adopted in this embodiment. That is, as a basic configuration of CPS, for example, an edge server arranged in a physical space and a cloud server arranged in a cyber space are connected via a network, and the edge server and the processor mounted in the cloud server serve customers. It is possible to disperse the analytical processing. In this customer service analysis process, a server including the
また、本開示の接客状況分析装置、接客状況分析システム、及び接客状況分析方法が適用される店舗の構成は、上述の例に限定されず、また、店舗で行われる商業的活動についても販売店、金融機関、飲食店などによる種々の形態を採用することが可能である。 Further, the configuration of the store to which the customer service situation analysis device, the customer service situation analysis system, and the customer service situation analysis method of the present disclosure are not limited to the above-described example, and the commercial activities performed in the store are also sold by the store. It is possible to adopt various forms by financial institutions, restaurants, and the like.
本開示に係る接客状況分析装置、接客状況分析システム、及び接客状況分析方法は、店員の発話以外の環境音の影響を抑制しつつ店員が接客を行ったことを判定し、より信頼性の高い接客情報を生成することができる効果を有し、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置、接客状況分析システム、及び接客状況分析方法などとして有用である。 A customer service situation analysis device, a customer service situation analysis system, and a customer service situation analysis method according to the present disclosure determine that a store clerk has served a customer while suppressing the influence of environmental sounds other than the utterance of the store clerk, and have higher reliability. Having an effect of being able to generate customer service information, analyzing a customer service situation of a clerk with respect to a customer at a store, and performing a process of generating information on the customer service situation by a processor, a customer service analysis apparatus, a customer service situation analysis system, It is also useful as a method of analyzing customer service situations.
1 マイク(収音装置)
2 カメラ(撮像装置)
3 ビーコン発信機
4 携帯端末(携帯端末装置)
5 音声処理用PC(情報処理装置)
6 画像処理用PC(情報処理装置)
7 測位管理サーバ
8 分析用PC(接客状況分析装置、情報処理装置)
9 閲覧端末
11 ゲートウェイ
12 公衆アクセスポイント
52 プロセッサ
63 ヒートマップ表示部
81 ヒートマップ画像(定形画像)
82 店舗マップ画像
84 動線
85 人物マーク
91 再生停止ボタン
101 表示設定部
102 エリア追加部
103 エリア指定部
104 判定設定部
111 ヒートマップ画像
123 既存プリセット表示部
1 microphone (sound pickup device)
2 cameras (imaging device)
3
5 Voice processing PC (information processing device)
6 Image processing PC (information processing device)
7
9
82
Claims (14)
前記プロセッサは、
店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、
前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを判定し、
前記判定の結果に基づいて、前記接客状況に関する情報を生成し、
前記判定を行う際に、前記店員の位置が、前記店舗内のエリアの一部として設定された判定変更エリアに含まれるか否かを判別し、前記店員の位置が前記判定変更エリアに含まれる場合、前記判定変更エリアに対して設定された判定基準を用いて前記判定を行うことを特徴とする接客状況分析装置。 A customer service situation analysis device that analyzes a customer service situation of a clerk to a customer in a store, and executes a process of generating information on a customer service situation by a processor,
The processor is
Position information of a person obtained from image data of a person in a store, position information of a clerk's belongings, and position information of a voice acquired from voice data of a voice in the store are acquired,
Based on the position information of the person, the position information of the belongings, and the position information of the voice, it is determined whether or not the clerk has served the customer,
Based on the result of the determination, to generate information about the customer service situation,
When making the determination, it is determined whether or not the position of the clerk is included in the determination change area set as a part of the area in the store, and the position of the clerk is included in the determination change area. In this case, the customer service situation analysis device is characterized in that the determination is performed using a determination standard set for the determination change area.
前記判定変更エリアをユーザが追加あるいは編集するための設定画面を表示することを特徴とする請求項1または請求項2のいずれかに記載の接客状況分析装置。 The processor is
3. The customer service situation analyzing apparatus according to claim 1, wherein a setting screen for a user to add or edit the determination change area is displayed.
前記音声に関する閾値として、前記店員の発話時間の閾値を用いることを特徴とする請求項2から請求項4のいずれかに記載の接客状況分析装置。 The processor is
The customer service situation analyzing apparatus according to any one of claims 2 to 4, wherein a threshold of the utterance time of the clerk is used as the threshold for the voice.
前記判定基準として、前記店員と前記顧客との接近時間の閾値を用いることを特徴とする請求項1から請求項5のいずれかに記載の接客状況分析装置。 The processor is
The customer service situation analyzing apparatus according to any one of claims 1 to 5, wherein a threshold value of an approach time between the clerk and the customer is used as the determination criterion.
前記判定基準として、前記店員の近くに存在する前記顧客の人数の閾値を用いることを特徴とする請求項1から請求項6のいずれかに記載の接客状況分析装置。 The processor is
7. The customer service situation analyzing apparatus according to claim 1, wherein a threshold value of the number of customers existing near the clerk is used as the criterion.
前記判定基準として、前記店員と前記顧客との接近距離の閾値を用いることを特徴とする請求項1から請求項7のいずれかに記載の接客状況分析装置。 The processor is
The customer service situation analyzing apparatus according to any one of claims 1 to 7, wherein a threshold value of an approach distance between the clerk and the customer is used as the determination criterion.
前記プロセッサは、前記判定を行う際に、前記店員の位置が前記判定変更エリアに含まれる場合、前記メモリに記憶された前記判定基準を読み出すことを特徴とする請求項1から請求項8のいずれかに記載の接客状況分析装置。 Further comprising a memory for storing the determination standard generated in advance for the determination change area,
9. The processor according to claim 1, wherein, when the determination is performed, the processor reads the determination reference stored in the memory when the position of the clerk is included in the determination change area. The customer service situation analyzer described in Crab.
前記人物の位置情報および前記所持物の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得することを特徴とする請求項1から請求項9のいずれかに記載の接客状況分析装置。 The processor is
10. The customer service situation analyzing apparatus according to claim 1, wherein position information of the clerk and position information of the customer are acquired based on the position information of the person and the position information of the belongings. ..
前記音声の位置情報および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得することを特徴とする請求項10に記載の接客状況分析装置。 The processor is
11. The customer service situation analyzing apparatus according to claim 10, wherein the utterance position information indicating the position uttered by the store clerk is acquired based on the position information of the voice and the position information of the store clerk.
前記発話位置情報および前記顧客の位置情報に基づいて、前記店員が接客を行ったか否かを判定する請求項11に記載の接客状況分析装置。 The processor is
The customer service situation analyzing apparatus according to claim 11, wherein it is determined whether or not the clerk has performed customer service based on the utterance location information and the location information of the customer.
店舗内の音声を収音する収音装置と、
店舗内の人物を撮像する撮像装置と、
店員が所持する携帯端末装置と、
1つまたは複数の情報処理装置と、
を備え、
前記1つまたは複数の情報処理装置は、
前記撮像装置から出力される画像データから取得した人物の位置情報、前記携帯端末装置の位置情報、及び前記収音装置から出力される音声の位置情報を取得し、
前記人物の位置情報、前記携帯端末装置の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを判定し、
前記判定の結果に基づいて、前記接客状況に関する情報を生成し、
前記判定を行う際に、前記店員の位置が、前記店舗内のエリアの一部として設定された判定変更エリアに含まれるか否かを判別し、前記店員の位置が前記判定変更エリアに含まれる場合、前記判定変更エリアに対して設定された判定基準を用いて前記判定を行うことを特徴とする接客状況分析システム。 A customer service situation analysis system that analyzes the customer service situation of a clerk to a customer in a store and generates information on the customer service situation,
A sound pickup device that picks up the sound in the store,
An imaging device for imaging a person in a store,
A mobile terminal device carried by a clerk,
One or more information processing devices,
Equipped with
The one or more information processing devices,
Position information of the person acquired from the image data output from the imaging device, position information of the mobile terminal device, and position information of the sound output from the sound collecting device,
Based on the position information of the person, the position information of the mobile terminal device, and the position information of the voice, it is determined whether or not the store clerk has served the customer,
Based on the result of the determination, to generate information about the customer service situation,
When making the determination, it is determined whether or not the position of the clerk is included in the determination change area set as a part of the area in the store, and the position of the clerk is included in the determination change area. In this case, the customer service situation analysis system is characterized in that the determination is performed using a determination standard set for the determination change area.
店舗内の人物を撮像した画像データから取得した人物の位置情報、店員の所持物の位置情報、及び店舗内の音声を収音した音声データから取得した音声の位置情報を取得し、
前記人物の位置情報、前記所持物の位置情報、及び前記音声の位置情報に基づいて、店員が接客を行ったか否かを判定し、
前記判定の結果に基づいて、前記接客状況に関する情報を生成し、
前記判定を行う際に、前記店員の位置が、前記店舗内のエリアの一部として設定された判定変更エリアに含まれるか否かを判別し、前記店員の位置が前記判定変更エリアに含まれる場合、前記判定変更エリアに対して設定された判定基準を用いて前記判定を行うことを特徴とする接客状況分析方法。 A customer service situation analysis method for analyzing a customer service situation of a clerk to a customer in a store, and executing a process of generating information on a customer service situation by a processor,
Position information of a person obtained from image data of a person in a store, position information of a clerk's belongings, and position information of a voice acquired from voice data of a voice in the store are acquired,
Based on the position information of the person, the position information of the belongings, and the position information of the voice, it is determined whether or not the clerk has served the customer,
Based on the result of the determination, to generate information about the customer service situation,
When performing the determination, it is determined whether or not the position of the clerk is included in the determination change area set as a part of the area in the store, and the position of the clerk is included in the determination change area. In this case, the customer service situation analysis method is characterized in that the determination is performed using a determination standard set for the determination change area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019021079A JP7316580B2 (en) | 2019-02-07 | 2019-02-07 | Customer Service Situation Analysis Device, Customer Service Situation Analysis System, and Customer Service Situation Analysis Method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019021079A JP7316580B2 (en) | 2019-02-07 | 2019-02-07 | Customer Service Situation Analysis Device, Customer Service Situation Analysis System, and Customer Service Situation Analysis Method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020129231A true JP2020129231A (en) | 2020-08-27 |
JP2020129231A5 JP2020129231A5 (en) | 2022-01-28 |
JP7316580B2 JP7316580B2 (en) | 2023-07-28 |
Family
ID=72174584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019021079A Active JP7316580B2 (en) | 2019-02-07 | 2019-02-07 | Customer Service Situation Analysis Device, Customer Service Situation Analysis System, and Customer Service Situation Analysis Method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7316580B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006134212A (en) * | 2004-11-09 | 2006-05-25 | Fujitsu Ltd | Employee station program and system |
JP2016163075A (en) * | 2015-02-26 | 2016-09-05 | キヤノン株式会社 | Video processing device, video processing method, and program |
JP6300130B1 (en) * | 2017-01-24 | 2018-03-28 | パナソニックIpマネジメント株式会社 | Service situation analysis device and service situation analysis system |
-
2019
- 2019-02-07 JP JP2019021079A patent/JP7316580B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006134212A (en) * | 2004-11-09 | 2006-05-25 | Fujitsu Ltd | Employee station program and system |
JP2016163075A (en) * | 2015-02-26 | 2016-09-05 | キヤノン株式会社 | Video processing device, video processing method, and program |
JP6300130B1 (en) * | 2017-01-24 | 2018-03-28 | パナソニックIpマネジメント株式会社 | Service situation analysis device and service situation analysis system |
Also Published As
Publication number | Publication date |
---|---|
JP7316580B2 (en) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10812761B2 (en) | Complex hardware-based system for video surveillance tracking | |
JP5994397B2 (en) | Information processing apparatus, information processing method, and program | |
JP6300130B1 (en) | Service situation analysis device and service situation analysis system | |
US10412559B2 (en) | Tracking building locations of fixed wireless devices | |
WO2018096787A1 (en) | Person's behavior monitoring device and person's behavior monitoring system | |
JP5822667B2 (en) | Information providing system, acoustic signal output device, computer program, portable device program, data transmission method, and information acquisition method | |
JPWO2017029718A1 (en) | Smart security digital system, method and program | |
US10360572B2 (en) | Image processing system, method and computer program product for evaluating level of interest based on direction of human action | |
WO2018146938A1 (en) | Person detection system | |
US9082290B2 (en) | Crowd activity and ambient condition measurement and reporting system | |
KR101888922B1 (en) | System for Management of Customer and Customer Behavior Analysis | |
US7194109B2 (en) | Method and system for delivering monitored image signal of subject to be monitored | |
US20180302767A1 (en) | Ambient condition measurement and reporting system | |
CN106104646A (en) | Numeral anti-lost safety-protection system, methods and procedures | |
JP6300131B1 (en) | Service situation analysis device and service situation analysis system | |
US20160205355A1 (en) | Monitoring installation and method for presenting a monitored area | |
US20200169702A1 (en) | Enhanced Video System | |
WO2019085945A1 (en) | Detection device, detection system, and detection method | |
JP7316580B2 (en) | Customer Service Situation Analysis Device, Customer Service Situation Analysis System, and Customer Service Situation Analysis Method | |
JP7336674B2 (en) | Customer Service Situation Analysis Device, Customer Service Situation Analysis System, and Customer Service Situation Analysis Method | |
JP5969072B2 (en) | Information providing system, acoustic signal output device, computer program, portable device program, data transmission method, and information acquisition method | |
JP6796000B2 (en) | Monitoring support device and monitoring system | |
WO2018134943A1 (en) | Discriminating device, discriminating system, discriminating method, and program | |
US20170280044A1 (en) | Sensor management system, sensor management device, sensor device, sensor management method, and program | |
JP2020074506A (en) | Person behavior monitoring apparatus and person behavior monitoring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230706 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7316580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |