JP2017174135A - 動線判定装置、動線判定システム、動線判定方法及びプログラム - Google Patents

動線判定装置、動線判定システム、動線判定方法及びプログラム Download PDF

Info

Publication number
JP2017174135A
JP2017174135A JP2016059142A JP2016059142A JP2017174135A JP 2017174135 A JP2017174135 A JP 2017174135A JP 2016059142 A JP2016059142 A JP 2016059142A JP 2016059142 A JP2016059142 A JP 2016059142A JP 2017174135 A JP2017174135 A JP 2017174135A
Authority
JP
Japan
Prior art keywords
flow line
information
unit
line information
customer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016059142A
Other languages
English (en)
Other versions
JP7160430B2 (ja
Inventor
信一 阿南
shinichi Anan
信一 阿南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2016059142A priority Critical patent/JP7160430B2/ja
Priority to US15/999,623 priority patent/US20210209615A1/en
Priority to PCT/JP2017/011602 priority patent/WO2017164272A1/ja
Publication of JP2017174135A publication Critical patent/JP2017174135A/ja
Priority to JP2021146191A priority patent/JP2021185533A/ja
Application granted granted Critical
Publication of JP7160430B2 publication Critical patent/JP7160430B2/ja
Priority to JP2023135866A priority patent/JP2023153340A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】顧客に特別な行為を強いることなく領域における顧客の動線の分析を高精度で行うことができる動線判定装置を提供する。【解決手段】動線判定装置は、動線情報取得部と、判定部と、を備える。前記動線情報取得部は、対象の動線を取得する。前記判定部は、前記対象の動線のうち、前記動線の少なくとも一部が所定領域に含まれている動線を、第1分類に属する人物の動線と判定する。【選択図】図17

Description

本発明は、動線判定装置、動線判定システム、動線判定方法及びプログラムに関する。
販売促進や顧客満足度の向上などを目的として顧客の動線の分析が行われる場合がある。
特許文献1には、関連する技術として、顧客の動きの軌跡を抽出し、その軌跡の情報に映像から抽出した顧客の性別、年齢、などの属性情報を付加する技術が記載されている。
特開平08−242987号公報
ところで、スーパーマーケットやコンビニエンスストアなどで端末などの認証装置を持たない顧客の動線を分析する場合、作業中の店員と顧客とが混在し、顧客の動線の分析の精度が低下する可能性がある。
そのため、顧客に特別な行為を強いることなく領域における顧客の動線の分析を高精度で行うことのできる技術が求められていた。
そこで、この発明は、上記の課題を解決することのできる動線判定装置、動線判定システム、動線判定方法及びプログラムを提供することを目的としている。
上記目的を達成するために、本発明は、対象の動線を取得する動線情報取得部と、前記対象の動線のうち、前記動線の少なくとも一部が所定領域に含まれている動線を、第1分類に属する人物の動線と判定する判定部と、を備える動線判定装置である。
また、本発明は、対象の動線を取得することと、前記対象の動線のうち、前記動線の少なくとも一部が所定領域に含まれている動線を、第1分類に属する人物の動線と判定することと、を含む動線判定方法である。
また、本発明は、コンピュータに、対象の動線を取得することと、前記対象の動線のうち、前記動線の少なくとも一部が所定領域に含まれている動線を、第1分類に属する人物の動線と判定することと、を実行させるプログラムである。
また、本発明は、画像を撮影する撮像部と、前記画像に含まれる対象の動線を生成する動線生成部と、前記動線生成部から取得した前記対象の動線のうち、前記動線の少なくとも一部が所定領域に含まれている動線を、第1分類に属する人物の動線と判定する判定部と、を備える動線判定システムである。
本発明によれば、顧客に特別な行為を強いることなく領域における顧客の動線の分析を高精度で行うことができる。
本発明の第一の実施形態による動線判定システムの構成を示す図である。 本発明の第一の実施形態による映像取得システムの構成を示す図である。 本発明の第一の実施形態による動線情報生成装置の構成を示す図である。 本発明の第一の実施形態による動線判定装置の構成を示す図である。 本発明の第一の実施形態による動線判定システムの処理フローを示す図である。 本発明の第二の実施形態による動線判定システムの構成を示す図である。 本発明の第二の実施形態による動線情報生成装置の構成を示す図である。 本発明の第二の実施形態による動線判定システムの処理フローを示す図である。 本発明の第三の実施形態による動線判定システムの構成を示す図である。 本発明の第三の実施形態による動線情報生成装置の構成を示す図である。 本発明の第三の実施形態による動線判定システムの処理フローを示す図である。 本発明の第四の実施形態による動線判定システムの構成を示す図である。 本発明の第四の実施形態による映像取得システムの構成を示す図である。 本発明の第四の実施形態による動線判定システムの処理フローを示す図である。 本発明の第五の実施形態による動線判定装置の構成を示す図である。 本発明の第五の実施形態による動線判定システムの処理フローを示す図である。 本発明の動線判定装置の最小構成を示す図である。 本発明の動線判定システムの最小構成を示す図である。
<第一の実施形態>
以下、図面を参照しながら実施形態について詳しく説明する。
本発明の第一の実施形態による動線判定システムの構成について説明する。
本発明の第一の実施形態による動線判定システム1は、図1に示すように、映像取得システム10と、動線情報生成装置20と、動線判定装置30と、を備える。
映像取得システム10は、図2に示すように、映像取得部101a、101b、101c、101d、101e、101f、101g、101h、101i(撮像部)を備える。
なお、映像取得部101a、101b、101c、101d、101e、101f、101g、101h、101iを総称して、映像取得部101と呼ぶ。
映像取得部101のそれぞれは、スーパーマーケットやコンビニエンスストアなどの空間R(エリア)(領域)における側壁や天井などに設けられている。
映像取得部101のそれぞれは、空間R内の映像を撮影する。
動線情報生成装置20は、図3に示すように、動線情報生成部201(動線生成部)と、記憶部202と、を備える。
動線情報生成部201は、映像取得部101のそれぞれからそれぞれが撮影した映像を取得する。
動線情報生成部201は、例えば、上記の特許文献1に記載の技術を取得した映像に用いることにより、移動対象それぞれの動線情報を生成する。
記憶部202は、動線情報生成装置20が行う処理に必要な種々の情報を記憶する。
動線判定装置30は、図4に示すように、動線情報取得部301と、第一移動対象検出部302(判定部)と、動線情報分類部303と、を備える。
動線情報取得部301は、空間R内を移動する移動対象それぞれの動線情報を取得する。
具体的には、動線情報取得部301は、動線情報生成装置20から動線情報生成部201が生成した動線情報を取得する。
第一移動対象検出部302は、第一分類に属する従業員(第一移動対象)の動線情報を検出する。
具体的には、第一移動対象検出部302は、動線情報取得部301が取得した複数の動線情報の中から、1つまたは複数の所定の位置を判定の誤差の範囲内で通過する動線情報を特定する。ここでの所定の位置は、従業員しか通過しないレジスターやバックヤードなどの位置である。第一移動対象検出部302は、特定した動線情報を第一分類に属する従業員の動線情報と判定する。
動線情報分類部303は、第一分類に属する従業員(第一移動対象)と、第一分類に属さない顧客(第二移動対象)に属する移動対象のうち、従業員についての動線情報を含まない動線情報を顧客の動線情報と判定する。
例えば、動線情報分類部303は、動線情報取得部301が取得した複数の動線情報の中から、第一移動対象検出部302が従業員の動線情報と判定した動線情報を除いたものを顧客の動線情報と判定する。
次に、本発明の第一の実施形態による動線判定システム1の処理について説明する。
ここでは、図5に示す本発明の第一の実施形態による動線判定システム1の処理フローについて説明する。
なお、動線判定システム1は、図1で示した構成であるものとする。映像取得システム10は、図2で示した構成であるものとする。動線情報生成装置20は、図3で示した構成であるものとする。動線判定装置30は、図4で示した構成であるものとする。
映像取得部101のそれぞれは、スーパーマーケットやコンビニエンスストアなどの空間R内の映像を撮影する(ステップS1)。
動線情報生成部201は、映像取得部101のそれぞれからそれぞれが撮影した映像を取得する(ステップS2)。動線情報生成部201は、撮影した映像を記憶部202に書き込む(ステップS3)。
動線情報生成部201は、例えば、上記の特許文献1に記載の技術を取得した映像に用いることにより、移動対象それぞれの動線情報を生成する(ステップS4)。
動線情報取得部301は、空間R内を移動する移動対象それぞれの動線情報を取得する(ステップS5)。
具体的には、動線情報取得部301は、動線情報生成装置20から動線情報生成部201が生成した動線情報を取得する。
動線情報取得部301は、取得した移動対象それぞれの動線情報を第一移動対象検出部302と動線情報分類部303とに送信する。
第一移動対象検出部302と動線情報分類部303は、動線情報取得部301から移動対象それぞれの動線情報を受信する。
第一移動対象検出部302は、第一分類に属する従業員(第一移動対象)の動線情報を検出する(ステップS6)。
具体的には、第一移動対象検出部302は、動線情報取得部301から受信した複数の動線情報の中から、1つまたは複数の所定の位置を判定の誤差の範囲内で通過する動線情報を特定する。第一移動対象検出部302は、特定した動線情報を第一分類に属する従業員の動線情報と判定する。
第一移動対象検出部302は、判定した従業員の動線情報を動線情報分類部303に送信する。
動線情報分類部303は、第一移動対象検出部302から従業員の動線情報を受信する。
動線情報分類部303は、第一分類に属する従業員(第一移動対象)と、第一分類に属さない顧客(第二移動対象)に属する移動対象のうち、従業員についての動線情報を含まない動線情報を顧客の動線情報と判定する(ステップS7)。
例えば、動線情報分類部303は、動線情報取得部301が取得した複数の動線情報の中から、第一移動対象検出部302が従業員の動線情報と判定した動線情報を除いたものを顧客の動線情報と判定する。
以上、本発明の第一の実施形態による動線判定システム1の処理フローについて説明した。上述の本発明の第一の実施形態による動線判定システム1は、映像取得システム10と、動線情報生成装置20と、動線判定装置30と、を備える。映像取得システム10は、映像取得部101a、101b、101c、101d、101e、101f、101g、101h、101iを備える。映像取得部101のそれぞれは、スーパーマーケットやコンビニエンスストアなどの空間Rにおける側壁や天井などに設けられている。映像取得部101のそれぞれは、空間R内の映像を撮影する。動線情報生成装置20は、動線情報生成部201と、記憶部202と、を備える。動線情報生成部201は、映像取得部101のそれぞれからそれぞれが撮影した映像を取得する。記憶部202は、動線情報生成装置20が行う処理に必要な種々の情報を記憶する。動線判定装置30は、動線情報取得部301と、第一移動対象検出部302と、動線情報分類部303と、を備える。動線情報取得部301は、空間R内を移動する移動対象それぞれの動線情報を取得する。第一移動対象検出部302は、第一分類に属する従業員(第一移動対象)の動線情報を検出する。動線情報分類部303は、第一分類に属する従業員(第一移動対象)と、第一分類に属さない顧客(第二移動対象)に属する移動対象のうち、従業員についての動線情報を含まない動線情報を顧客の動線情報と判定する。
このようにすれば、動線判定システム1は、領域における顧客の動線情報と従業員の動線情報とを区別することができ、顧客の動線情報のみを特定することができる。その結果、動線判定システム1は、顧客に特別な行為を強いることなく領域における顧客の動線の分析を高精度で行うことができる。
<第二の実施形態>
本発明の第二の実施形態による動線判定システムの構成について説明する。
本発明の第二の実施形態による動線判定システム1は、図6に示すように、映像取得システム10と、動線情報生成装置20と、動線判定装置30と、内部属性取得システム40と、を備える。
内部属性取得システム40は、属性情報を管理する。属性情報は、顧客毎に関連付けられて記憶される情報であり、例えば、顔を含む映像から年齢性別推定プログラムを用いて推定された年齢や性別、顔の映像やポイントカードなどの登録時の登録情報から得られた個人名を含む個人情報、購買履歴から推定される趣味趣向、制服や持ち物などの物体認識から得られた所属情報などを示す情報である。
内部属性取得システム40は、自企業が備えるシステムである。
動線情報生成装置20は、図7に示すように、動線情報生成部201と、記憶部202と、属性抽出部203と、対応付部204と、を備える。
属性抽出部203は、動線情報分類部303が判定した顧客の動線情報に対応する映像を取得する。
属性抽出部203は、取得した顧客の動線情報に対応する映像に基づいて、内部属性取得システム40が管理する属性情報の中からその顧客に最も近い属性情報を抽出する。
例えば、顧客が過去に顔の映像を登録していた場合、属性抽出部203は、客の動線情報に対応する映像における顔を用いて、内部属性取得システム40が管理する属性情報の中からその顧客の顔を特定する。属性抽出部203は、特定した顧客の顔に関連付けられている属性情報を抽出する。
また、例えば、顧客が顔の映像を登録していない場合、属性抽出部203は、年齢性別推定プログラムを用いて、年齢や性別を特定する。また、属性抽出部203は、顔の映像やポイントカードなどの登録時の登録情報から得られた個人名を含む個人情報、購買履歴から推定される趣味趣向、制服や持ち物などの物体認識から得られた所属情報などを示す情報を特定する。そして、属性抽出部203は、特定した年齢や性別、個人名を含む個人情報、購買履歴から推定される趣味趣向、所属情報などが最も近い属性情報を、内部属性取得システム40が管理する属性情報の中から抽出してもよい。
対応付部204は、顧客の動線情報と対応する属性抽出部203が抽出した属性情報とを対応付ける。
次に、本発明の第二の実施形態による動線判定システム1の処理について説明する。
ここでは、図8に示す本発明の第二の実施形態による動線判定システム1の処理フローについて説明する。
動線判定システム1は、ステップS1〜ステップS7の処理を行う。
属性抽出部203は、動線情報分類部303が判定した顧客の動線情報に対応する映像を記憶部202から読み出す(ステップS8)。
属性抽出部203は、取得した顧客の動線情報に対応する映像に基づいて、内部属性取得システム40が管理する属性情報の中からその顧客に最も近い属性情報を抽出する(ステップS9)。
例えば、顧客が過去に顔の映像を登録していた場合、属性抽出部203は、客の動線情報に対応する映像における顔を用いて、内部属性取得システム40が管理する属性情報の中からその顧客の顔を特定する。属性抽出部203は、特定した顧客の顔に関連付けられている属性情報を抽出する。
また、例えば、顧客が顔の映像を登録していない場合、属性抽出部203は、年齢性別推定プログラムを用いて、年齢や性別を特定する。また、属性抽出部203は、顔の映像やポイントカードなどの登録時の登録情報から得られた個人名を含む個人情報、購買履歴から推定される趣味趣向、制服や持ち物などの物体認識から得られた所属情報などを示す情報を特定する。そして、属性抽出部203は、特定した年齢や性別、個人名を含む個人情報、購買履歴から推定される趣味趣向、所属情報などが最も近い属性情報を、内部属性取得システム40が管理する属性情報の中から抽出してもよい。
対応付部204は、顧客の動線情報と対応する属性抽出部203が抽出した属性情報とを対応付ける(ステップS10)。
以上、本発明の第二の実施形態による動線判定システム1の処理フローについて説明した。上述の本発明の第二の実施形態による動線判定システム1は、映像取得システム10と、動線情報生成装置20と、動線判定装置30と、内部属性取得システム40と、を備える。内部属性取得システム40は、属性情報を管理する。内部属性取得システム40は、自企業が備えるシステムである。動線情報生成装置20は、動線情報生成部201と、記憶部202と、属性抽出部203と、対応付部204と、を備える。属性抽出部203は、動線情報分類部303が判定した顧客の動線情報に対応する映像を取得する。属性抽出部203は、取得した顧客の動線情報に対応する映像に基づいて、内部属性取得システム40が管理する属性情報の中からその顧客に最も近い属性情報を抽出する。対応付部204は、顧客の動線情報と対応する属性抽出部203が抽出した属性情報とを対応付ける。
このようにすれば、動線判定システム1は、領域における顧客の動線情報に属性情報を関連付けることができる。その結果、動線判定システム1は、顧客に特別な行為を強いることなく領域における顧客の動線の分析を高精度で行うことができ、より顧客に適したサービスを提供することができる。
<第三の実施形態>
本発明の第三の実施形態による動線判定システムの構成について説明する。
本発明の第三の実施形態による動線判定システム1は、図9に示すように、映像取得システム10と、動線情報生成装置20と、動線判定装置30と、外部属性取得システム50と、を備える。
外部属性取得システム50は、属性情報を管理する。属性情報は、顧客毎に関連付けられて記憶される情報であり、例えば、顔を含む映像から年齢性別推定プログラムを用いて推定された年齢や性別、顔の映像やポイントカードなどの登録時の登録情報から得られた個人名を含む個人情報、購買履歴から推定される趣味趣向、制服や持ち物などの物体認識から得られた所属情報などを示す情報である。
外部属性取得システム50は、外部の企業が備えるシステムである。
動線情報生成装置20は、図10に示すように、動線情報生成部201と、記憶部202と、対応付部204と、属性取得部205と、を備える。
属性取得部205は、動線情報分類部303が判定した顧客の動線情報に対応する映像を取得する。
属性取得部205は、取得した顧客の動線情報に対応する映像に基づいて、外部属性取得システム50が管理する属性情報の中からその顧客に最も近い属性情報を抽出する。
例えば、顧客が過去に顔の映像を登録していた場合、属性取得部205は、客の動線情報に対応する映像における顔を用いて、外部属性取得システム50が管理する属性情報の中からその顧客の顔を特定する。属性取得部205は、特定した顧客の顔に関連付けられている属性情報を抽出する。
また、例えば、顧客が顔の映像を登録していない場合、属性取得部205は、年齢性別推定プログラムを用いて、年齢や性別を特定する。また、属性取得部205は、顔の映像やポイントカードなどの登録時の登録情報から得られた個人名を含む個人情報、購買履歴から推定される趣味趣向、制服や持ち物などの物体認識から得られた所属情報などを示す情報を特定する。そして、属性取得部205は、特定した年齢や性別、個人名を含む個人情報、購買履歴から推定される趣味趣向、所属情報などが最も近い属性情報を、外部属性取得システム50が管理する属性情報の中から抽出してもよい。
対応付部204は、顧客の動線情報と対応する属性取得部205が抽出した属性情報とを対応付ける。
次に、本発明の第三の実施形態による動線判定システム1の処理について説明する。
ここでは、図11に示す本発明の第三の実施形態による動線判定システム1の処理フローについて説明する。
動線判定システム1は、ステップS1〜ステップS7の処理を行う。
属性取得部205は、動線情報分類部303が判定した顧客の動線情報に対応する映像を記憶部202から読み出す(ステップS11)。
属性取得部205は、取得した顧客の動線情報に対応する映像に基づいて、外部属性取得システム50が管理する属性情報の中からその顧客に最も近い属性情報を抽出する(ステップS12)。
例えば、顧客が過去に顔の映像を登録していた場合、属性取得部205は、客の動線情報に対応する映像における顔を用いて、外部属性取得システム50が管理する属性情報の中からその顧客の顔を特定する。属性取得部205は、特定した顧客の顔に関連付けられている属性情報を抽出する。
また、例えば、顧客が顔の映像を登録していない場合、属性取得部205は、年齢性別推定プログラムを用いて、年齢や性別を特定する。また、属性取得部205は、顔の映像やポイントカードなどの登録時の登録情報から得られた個人名を含む個人情報、購買履歴から推定される趣味趣向、制服や持ち物などの物体認識から得られた所属情報などを示す情報を特定する。そして、属性取得部205は、特定した年齢や性別、個人名を含む個人情報、購買履歴から推定される趣味趣向、所属情報などが最も近い属性情報を、外部属性取得システム50が管理する属性情報の中から抽出してもよい。
対応付部204は、顧客の動線情報と対応する属性取得部205が抽出した属性情報とを対応付ける(ステップS13)。
以上、本発明の第三の実施形態による動線判定システム1の処理フローについて説明した。上述の本発明の第三の実施形態による動線判定システム1は、映像取得システム10と、動線情報生成装置20と、動線判定装置30と、外部属性取得システム50と、を備える。外部属性取得システム50は、属性情報を管理する。外部属性取得システム50は、外部の企業が備えるシステムである。動線情報生成装置20は、動線情報生成部201と、記憶部202と、対応付部204と、属性取得部205と、を備える。属性取得部205は、動線情報分類部303が判定した顧客の動線情報に対応する映像を取得する。属性取得部205は、取得した顧客の動線情報に対応する映像に基づいて、外部属性取得システム50が管理する属性情報の中からその顧客に最も近い属性情報を抽出する。対応付部204は、顧客の動線情報と対応する属性取得部205が抽出した属性情報とを対応付ける。
このようにすれば、動線判定システム1は、領域における顧客の動線情報に属性情報を関連付けることができる。その結果、動線判定システム1は、顧客に特別な行為を強いることなく領域における顧客の動線の分析を高精度で行うことができ、より顧客に適したサービスを提供することができる。
<第四の実施形態>
本発明の第四の実施形態による動線判定システムの構成について説明する。
本発明の第四の実施形態による動線判定システム1は、図12に示すように、映像取得システム10と、動線情報生成装置20と、動線判定装置30と、端末装置60と、を備える。
映像取得システム10は、図13に示すように、近距離通信部102a、102b、102c、102d、102e、102f、102g、102h、102i、102jを備える。
なお、近距離通信部102a、102b、102c、102d、102e、102f、102g、102h、102i、102jを総称して、近距離通信部102と呼ぶ。
近距離通信部102のそれぞれは、スーパーマーケットやコンビニエンスストアなどの空間Rにおける会計領域、バックヤード、商品棚など、従業員しか通過しない、または、顧客に比べて従業員が長時間滞在する可能性の高い場所に設けられている。
近距離通信部102のそれぞれは、後述する端末装置60と近距離通信を行う。近距離通信とは、例えば、WiFi(登録商標)、BLE(Bluetooth Low Energy)(Bluetoothは登録商標)などを用いて行う通信である。近距離通信部102のそれぞれは、端末装置60と近距離通信を行った時刻を記録する。
端末装置60は、従業員のそれぞれが備える近距離通信部102と通信する。端末装置60は、例えば、スマートフォンである。
次に、本発明の第四の実施形態による動線判定システム1の処理について説明する。
ここでは、図14に示す本発明の第四の実施形態による動線判定システム1の処理フローについて説明する。
なお、動線判定システム1は、図12で示した構成であるものとする。映像取得システム10は、図13で示した構成であるものとする。動線情報生成装置20は、図3で示した構成であるものとする。動線判定装置30は、図4で示した構成であるものとする。
動線判定システム1は、ステップS1の処理を行う。
また、動線判定システム1のステップS1の処理と並行して、近距離通信部102のそれぞれは、端末装置60と近距離通信を行う(ステップS14)。
近距離通信部102のそれぞれは、端末装置60と近距離通信を行った時刻を記録する(ステップS15)。
動線判定システム1は、ステップS2〜ステップS5の処理を行う。
動線情報取得部301は、取得した移動対象それぞれの動線情報を第一移動対象検出部302と動線情報分類部303とに送信する。
第一移動対象検出部302と動線情報分類部303は、動線情報取得部301から移動対象それぞれの動線情報を受信する。
第一移動対象検出部302は、映像取得システム10から近距離通信部102が端末装置60と近距離通信を行った時刻と、近距離通信部102の位置情報とを取得する(ステップS16)。
第一移動対象検出部302は、第一分類に属する従業員(第一移動対象)の動線情報を検出する(ステップS17)。
具体的には、第一移動対象検出部302は、近距離通信部102が端末装置60と近距離通信を行った時刻と、近距離通信部102の位置情報とから、従業員の位置と時刻との対応関係を特定する。ここでの位置と時刻との対応関係は、所定の位置を通過した時刻、所定の位置に滞留した滞留時間を含む。また、第一移動対象検出部302は、動線情報取得部301から受信した複数の動線情報のそれぞれに対して位置と時刻との対応関係を特定する。第一移動対象検出部302は、動線情報取得部301から受信した複数の動線情報のそれぞれに対する位置と時刻との対応関係と、従業員の位置と時刻との対応関係とを比較する。第一移動対象検出部302は、従業員の位置と時刻との対応関係に判定誤差の範囲内で一致する対応関係を含む動線情報取得部301から受信した動線情報を従業員の動線情報と特定する。
例えば、第一移動対象検出部302は、同一の商品棚に所定時間以上滞留することを示す動線情報を従業員の動線情報と特定する。これは、同一の商品棚に所定時間以上滞留する人物は、商品を陳列する作業を行っている可能性が高いという判定に基づくものである。
第一移動対象検出部302は、判定した従業員の動線情報を動線情報分類部303に送信する。
動線情報分類部303は、第一移動対象検出部302から従業員の動線情報を受信する。
動線判定システム1は、ステップS7の処理を行う。
なお、従業員の位置と時刻との対応関係を特定する手段として、近距離通信部102の代わりに、GPS(Global Positioning System)、UWB(Ultra WideBand)、音波、IMES(Indoor MEssaging System)、PDR(Pedestrian Dead Reckoning)などを用いて位置と時刻を特定する装置を使用してもよい。
以上、本発明の第四の実施形態による動線判定システム1の処理フローについて説明した。上述の本発明の第四の実施形態による動線判定システム1は、映像取得システム10と、動線情報生成装置20と、動線判定装置30と、端末装置60と、を備える。映像取得システム10は、近距離通信部102a、102b、102c、102d、102e、102f、102g、102h、102i、102jを備える。近距離通信部102のそれぞれは、スーパーマーケットやコンビニエンスストアなどの空間Rにおける会計領域、バックヤード、商品棚など、従業員しか通過しない、または、顧客に比べて従業員が長時間滞在する可能性の高い場所に設けられている。近距離通信部102のそれぞれは、端末装置60と近距離通信を行う。近距離通信部102のそれぞれは、端末装置60と近距離通信を行った時刻を記録する。第一移動対象検出部302は、映像取得システム10から近距離通信部102が端末装置60と近距離通信を行った時刻と、近距離通信部102の位置情報とを取得する。第一移動対象検出部302は、第一分類に属する従業員(第一移動対象)の動線情報を検出する。具体的には、第一移動対象検出部302は、近距離通信部102が端末装置60と近距離通信を行った時刻と、近距離通信部102の位置情報とから、従業員の位置と時刻との対応関係を特定する。また、第一移動対象検出部302は、動線情報取得部301から受信した複数の動線情報のそれぞれに対して位置と時刻との対応関係を特定する。第一移動対象検出部302は、動線情報取得部301から受信した複数の動線情報のそれぞれに対する位置と時刻との対応関係と、従業員の位置と時刻との対応関係とを比較する。第一移動対象検出部302は、従業員の位置と時刻との対応関係に判定誤差の範囲内で一致する対応関係を含む動線情報取得部301から受信した動線情報を従業員の動線情報と特定する。
このようにすれば、動線判定システム1は、従業員の位置と時刻との対応関係に基づいて領域における顧客の動線情報と従業員の動線情報とをより区別することができ、顧客の動線情報のみを特定することができる。その結果、動線判定システム1は、顧客に特別な行為を強いることなく領域における顧客の動線の分析をより高精度で行うことができる。
<第五の実施形態>
本発明の第五の実施形態による動線判定システムの構成について説明する。
本発明の第五の実施形態による動線判定システム1は、本発明の第一の実施形態による動線判定システム1と同様に、映像取得システム10と、動線情報生成装置20と、動線判定装置30と、を備える。
動線判定装置30は、図15に示すように、動線情報取得部301と、第一移動対象検出部302と、動線情報分類部303と、動線情報出力部304と、サービス情報出力部305と、を備える。
動線情報出力部304は、顧客の動線情報のうち所定の動線に対応すると判定した動線情報を出力する。
サービス情報出力部305は、動線情報出力部304の出力した動線情報の軌跡上を移動した顧客に対するサービス情報を出力する。サービス情報は、例えば、特売日の情報やその軌跡上の商品に関連する割引クーポンの情報などである。
次に、本発明の第五の実施形態による動線判定システム1の処理について説明する。
ここでは、図16に示す本発明の第五の実施形態による動線判定システム1の処理フローについて説明する。
なお、動線判定システム1は、図1で示した構成であるものとする。映像取得システム10は、図12で示した構成であるものとする。動線情報生成装置20は、図3で示した構成であるものとする。動線判定装置30は、図15で示した構成であるものとする。
動線判定システム1は、ステップS1〜ステップS7の処理を行う。
動線情報出力部304は、顧客の動線情報のうち所定の動線に対応すると判定した動線情報を出力する(ステップS18)。
例えば、動線情報出力部304は、記憶部から予め定めた所定の動線を示す所定の動線情報を読み出す。動線情報出力部304は、読み出した所定の動線情報と、顧客の動線情報のそれぞれとを比較する。動線情報出力部304は、顧客の動線情報のうち読み出した所定の動線情報と判定誤差の範囲内で一致すると判定した場合、その顧客の動線情報を所定の動線に対応すると判定する。そして、動線情報出力部304は、動線情報をモニタなどに出力する。このとき、動線情報出力部304は、動線情報と共に顧客の映像をモニタに同時に表示してもよい。
サービス情報出力部305は、動線情報出力部304の出力した動線情報の軌跡上を移動した顧客に対してサービス情報を出力する。サービス情報は、例えば、特売日の情報やその軌跡上の商品に関連する割引クーポンの情報などである。
なお、サービス情報は、従業員がモニタなどに表示された顧客を見て、手渡しや郵送などで提供してもよい。
以上、本発明の第五の実施形態による動線判定システム1の処理フローについて説明した。上述の本発明の第五の実施形態による動線判定システム1は、映像取得システム10と、動線情報生成装置20と、動線判定装置30と、を備える。動線判定装置30は、動線情報取得部301と、第一移動対象検出部302と、動線情報分類部303と、動線情報出力部304と、サービス情報出力部305と、を備える。動線情報出力部304は、顧客の動線情報のうち所定の動線に対応すると判定した動線情報を出力する。サービス情報出力部305は、動線情報出力部304の出力した動線情報の軌跡上を移動した顧客に対するサービス情報を出力する。
このようにすれば、動線判定システム1は、顧客の趣味趣向に応じたサービス情報を提供することができる。
本発明の最小構成の動線判定装置について説明する。
本発明の最小構成の動線判定装置30は、図17に示すように、動線情報取得部301と、判定部302と、を備える。
動線情報取得部301は、対象の動線を取得する。
判定部302は、対象の動線のうち、動線の少なくとも一部が所定領域に含まれている動線を、第1分類に属する人物の動線と判定する。
このようにすれば、動線判定装置30は、第1分類に属する人物(例えば、従業員)の動線情報を判定することができ、顧客の動線情報と区別することができる。その結果、動線判定装置30は、顧客に特別な行為を強いることなく領域における顧客の動線の分析をより高精度で行うことができる。
本発明の最小構成の動線判定システムについて説明する。
本発明の最小構成の動線判定システム1は、図18に示すように、撮像部101と、動線生成部201と、判定部302と、を備える。
撮像部101は、画像を撮影する。
動線生成部201は、撮像部101が撮影した画像に含まれる対象の動線を生成する。
判定部302は、動線生成部201から取得した対象の動線のうち、動線の少なくとも一部が所定領域に含まれている動線を、第1分類に属する人物の動線と判定する。
このようにすれば、動線判定システム1は、第1分類に属する人物(例えば、従業員)の動線情報を判定することができ、顧客の動線情報と区別することができる。その結果、動線判定装置30は、顧客に特別な行為を強いることなく領域における顧客の動線の分析をより高精度で行うことができる。
なお、本発明の実施形態による動線判定装置30は、動線情報生成装置20の機能部の一部または全部を含んでいてもよい。
なお、本発明の実施形態における処理フローは、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。
本発明の実施形態における記憶部202、その他の記憶部のそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部202、その他の記憶部のそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。
本発明の実施形態について説明したが、上述の映像取得システム10、動線情報生成装置20、動線判定装置30、内部属性取得システム40、外部属性取得システム50、端末装置60のそれぞれは内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータがそのプログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル(差分プログラム)であってもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、追加、種々の省略、置き換え、変更を行ってよい。
1・・・動線判定システム
10・・・映像取得システム
20・・・動線情報生成装置
30・・・動線判定装置
40・・・内部属性取得システム
50・・・外部属性取得システム
60・・・端末装置
101、101a、101b、101c、101d、101e、101f、101g、101h、101i・・・映像取得部
102、102a、102b、102c、102d、102e、102f、102g、102h、102i、102j・・・近距離通信部
201・・・動線情報生成部
202・・・記憶部
203・・・属性抽出部
204・・・対応付部
205・・・属性取得部
301・・・動線情報取得部
302・・・第一移動対象検出部、判定部
303・・・動線情報分類部
304・・・動線情報出力部
305・・・サービス情報出力部

Claims (9)

  1. 対象の動線を取得する動線情報取得部と、
    前記対象の動線のうち、前記動線の少なくとも一部が所定領域に含まれている動線を、第1分類に属する人物の動線と判定する判定部と、
    を備える動線判定装置。
  2. 前記判定部は、
    前記対象の動線のうち、前記第1分類に判定された以外の動線を第2分類に属する人物の動線と判定する、
    請求項1に記載の動線判定装置。
  3. 前記判定部は、
    所定時刻に前記所定領域に存在していた前記対象の動線を、前記第1分類に属する人物の動線と判定する、
    請求項1または請求項2に記載の動線判定装置。
  4. 前記所定領域は、携帯端末の存在する位置であり、
    前記所定時刻は、当該位置に前記携帯端末が存在していた時刻である、
    請求項3に記載の動線判定装置。
  5. 前記所定領域は複数の領域を含み、
    前記判定部は、
    前記動線の少なくとも一部が前記複数の領域それぞれに含まれている動線を、前記第1分類に属する人物の動線と判定する、
    請求項1から請求項4の何れか一項に記載の動線判定装置。
  6. 前記判定部は、
    前記所定領域における前記対象の滞留時間に基づいて、前記第1分類に属する人物か否かの判定する、
    請求項1から請求項5の何れか一項に記載の動線判定装置。
  7. 対象の動線を取得することと、
    前記対象の動線のうち、前記動線の少なくとも一部が所定領域に含まれている動線を、第1分類に属する人物の動線と判定することと、
    を含む動線判定方法。
  8. コンピュータに、
    対象の動線を取得することと、
    前記対象の動線のうち、前記動線の少なくとも一部が所定領域に含まれている動線を、第1分類に属する人物の動線と判定することと、
    を実行させるプログラム。
  9. 画像を撮影する撮像部と、
    前記画像に含まれる対象の動線を生成する動線生成部と、
    前記動線生成部から取得した前記対象の動線のうち、前記動線の少なくとも一部が所定領域に含まれている動線を、第1分類に属する人物の動線と判定する判定部と、
    を備える動線判定システム。
JP2016059142A 2016-03-23 2016-03-23 動線判定装置、動線判定システム、動線判定方法及びプログラム Active JP7160430B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016059142A JP7160430B2 (ja) 2016-03-23 2016-03-23 動線判定装置、動線判定システム、動線判定方法及びプログラム
US15/999,623 US20210209615A1 (en) 2016-03-23 2017-03-23 Traffic flow determination device, traffic flow determination system, traffic flow determination method, and program
PCT/JP2017/011602 WO2017164272A1 (ja) 2016-03-23 2017-03-23 動線判定装置、動線判定システム、動線判定方法及びプログラム
JP2021146191A JP2021185533A (ja) 2016-03-23 2021-09-08 動線判定装置、動線判定システム、動線判定方法及びプログラム
JP2023135866A JP2023153340A (ja) 2016-03-23 2023-08-23 動線判定装置、動線判定システム、動線判定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016059142A JP7160430B2 (ja) 2016-03-23 2016-03-23 動線判定装置、動線判定システム、動線判定方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021146191A Division JP2021185533A (ja) 2016-03-23 2021-09-08 動線判定装置、動線判定システム、動線判定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017174135A true JP2017174135A (ja) 2017-09-28
JP7160430B2 JP7160430B2 (ja) 2022-10-25

Family

ID=59900299

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016059142A Active JP7160430B2 (ja) 2016-03-23 2016-03-23 動線判定装置、動線判定システム、動線判定方法及びプログラム
JP2021146191A Pending JP2021185533A (ja) 2016-03-23 2021-09-08 動線判定装置、動線判定システム、動線判定方法及びプログラム
JP2023135866A Pending JP2023153340A (ja) 2016-03-23 2023-08-23 動線判定装置、動線判定システム、動線判定方法及びプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021146191A Pending JP2021185533A (ja) 2016-03-23 2021-09-08 動線判定装置、動線判定システム、動線判定方法及びプログラム
JP2023135866A Pending JP2023153340A (ja) 2016-03-23 2023-08-23 動線判定装置、動線判定システム、動線判定方法及びプログラム

Country Status (3)

Country Link
US (1) US20210209615A1 (ja)
JP (3) JP7160430B2 (ja)
WO (1) WO2017164272A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021047734A (ja) * 2019-09-19 2021-03-25 株式会社Local24 動線分析システム、および、動線分析方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460330B1 (en) * 2018-08-09 2019-10-29 Capital One Services, Llc Intelligent face identification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3142791U (ja) * 2008-04-15 2008-06-26 シーアイ化成株式会社 化粧板及びサービスカウンター
JP2011086045A (ja) * 2009-10-14 2011-04-28 Giken Torasutemu Kk 店員顧客分離集計装置
JP2014232362A (ja) * 2013-05-28 2014-12-11 Kddi株式会社 移動体行動分析・予測装置
JP5679086B1 (ja) * 2014-10-07 2015-03-04 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
WO2015140853A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 Pos端末装置、posシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP5811295B1 (ja) * 2015-02-12 2015-11-11 日本電気株式会社 精算処理ユニット集合体及び精算処理ユニット集合体用の架台

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08242987A (ja) * 1995-03-08 1996-09-24 Sanyo Electric Co Ltd 店内レイアウト評価装置
US6837436B2 (en) * 1996-09-05 2005-01-04 Symbol Technologies, Inc. Consumer interactive shopping system
JP2000200357A (ja) * 1998-10-27 2000-07-18 Toshiba Tec Corp 人物動線情報の収集方法及び収集装置
US20090231436A1 (en) * 2001-04-19 2009-09-17 Faltesek Anthony E Method and apparatus for tracking with identification
US9355530B1 (en) * 2002-03-18 2016-05-31 Diebold Self-Service Systems Division Of Diebold, Incorporated Processing automated banking transactions requiring approval
US8010402B1 (en) * 2002-08-12 2011-08-30 Videomining Corporation Method for augmenting transaction data with visually extracted demographics of people using computer vision
US20060010027A1 (en) * 2004-07-09 2006-01-12 Redman Paul J Method, system and program product for measuring customer preferences and needs with traffic pattern analysis
US7957565B1 (en) * 2007-04-05 2011-06-07 Videomining Corporation Method and system for recognizing employees in a physical space based on automatic behavior analysis
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
JP4753193B2 (ja) * 2008-07-31 2011-08-24 九州日本電気ソフトウェア株式会社 動線管理システムおよびプログラム
JP5622629B2 (ja) * 2011-03-24 2014-11-12 三菱電機インフォメーションテクノロジー株式会社 情報処理システム及びプログラム
JP2015133131A (ja) * 2015-02-27 2015-07-23 株式会社野村総合研究所 販売機会損失分析用データ出力システム及び方法
JP6366529B2 (ja) * 2015-03-20 2018-08-01 株式会社日立ソリューションズ 動線処理システム及び動線処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3142791U (ja) * 2008-04-15 2008-06-26 シーアイ化成株式会社 化粧板及びサービスカウンター
JP2011086045A (ja) * 2009-10-14 2011-04-28 Giken Torasutemu Kk 店員顧客分離集計装置
JP2014232362A (ja) * 2013-05-28 2014-12-11 Kddi株式会社 移動体行動分析・予測装置
WO2015140853A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 Pos端末装置、posシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP5679086B1 (ja) * 2014-10-07 2015-03-04 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP5811295B1 (ja) * 2015-02-12 2015-11-11 日本電気株式会社 精算処理ユニット集合体及び精算処理ユニット集合体用の架台

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021047734A (ja) * 2019-09-19 2021-03-25 株式会社Local24 動線分析システム、および、動線分析方法
JP7373187B2 (ja) 2019-09-19 2023-11-02 株式会社Local24 動線分析システム、および、動線分析方法

Also Published As

Publication number Publication date
JP7160430B2 (ja) 2022-10-25
US20210209615A1 (en) 2021-07-08
JP2023153340A (ja) 2023-10-17
WO2017164272A1 (ja) 2017-09-28
JP2021185533A (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
US9418352B2 (en) Image-augmented inventory management and wayfinding
JP2023153340A (ja) 動線判定装置、動線判定システム、動線判定方法及びプログラム
JP5704279B1 (ja) 関連付プログラム及び情報処理装置
US20170068945A1 (en) Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
KR20200022341A (ko) 무인 상점 관리 방법 및 시스템
JP6512283B2 (ja) 情報処理装置及び発注支援方法
JP2019109751A (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
JP2012088878A (ja) 顧客優待管理システム
JP6885385B2 (ja) 販売促進装置、販売促進システム、店舗システム、システム、販売促進方法及びプログラム
US11216651B2 (en) Information processing device and reporting method
JP2013084182A (ja) 情報処理装置およびプログラム
US20180089725A1 (en) Product information management apparatus, product information management system, product information management method, and program
WO2019181364A1 (ja) 店舗管理装置および店舗管理方法
US20230360098A1 (en) Methods and systems for providing information about a location with image analysis
US20210090135A1 (en) Commodity information notifying system, commodity information notifying method, and program
JP2023153148A (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
US20140085180A1 (en) Selecting an interaction scenario based on an object
US20190122231A1 (en) Container, non-transitory computer-readable storage medium for storing program, and customer management method
JP2018077664A (ja) 情報処理システム、情報処理装置、表示装置及びプログラム
JP2018160107A (ja) 決済処理装置、方法およびプログラム
JP2016081498A (ja) 関連付プログラム及び情報処理装置
JP7315046B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
US9842276B2 (en) System and method for analyzing personalized characteristics
US11574294B2 (en) Information processing method, information processing device, and recording medium
JP2014032458A (ja) デジタルサイネージ装置およびその制御プログラム、ならびにデジタルサイネージシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210908

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210908

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210917

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210921

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20211001

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20211005

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220222

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220412

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220426

C19 Decision taken to dismiss amendment

Free format text: JAPANESE INTERMEDIATE CODE: C19

Effective date: 20220510

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220809

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220913

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221006

R151 Written notification of patent or utility model registration

Ref document number: 7160430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151