JP2023012574A - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JP2023012574A
JP2023012574A JP2021116069A JP2021116069A JP2023012574A JP 2023012574 A JP2023012574 A JP 2023012574A JP 2021116069 A JP2021116069 A JP 2021116069A JP 2021116069 A JP2021116069 A JP 2021116069A JP 2023012574 A JP2023012574 A JP 2023012574A
Authority
JP
Japan
Prior art keywords
visitor
person
attribute
information processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021116069A
Other languages
English (en)
Other versions
JP7064642B1 (ja
Inventor
希 林田
Nozomi Hayashida
香奈子 土肥
Kanako Doi
昌幸 本島
Masayuki Motojima
竜聡 坂東
Tatsuaki Bando
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Computer Vision Corp
Original Assignee
Japan Computer Vision Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Computer Vision Corp filed Critical Japan Computer Vision Corp
Priority to JP2021116069A priority Critical patent/JP7064642B1/ja
Priority to US17/529,028 priority patent/US20230021003A1/en
Application granted granted Critical
Publication of JP7064642B1 publication Critical patent/JP7064642B1/ja
Publication of JP2023012574A publication Critical patent/JP2023012574A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Alarm Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】特定の属性であると判断された訪問者について以降の訪問を効果的にトラッキングすること。【解決手段】本願に係る情報処理装置は、取得部と、判定部と、通知部とを有する。取得部は、所定の訪問先に訪問したことがある第1の訪問者の顔画像と、当該第1の訪問者の訪問時の属性を示す属性情報とを取得する。判定部は、所定の訪問先に第2の訪問者が訪問した場合に、第1の訪問者の顔画像と、第2の訪問者の顔画像との照合により、第1の訪問者の中に第2の訪問者と同一人物が存在するか否かを判定する。通知部は、第2の訪問者と同一人物であると判定された第1の訪問者に対応する属性情報が特定の属性を示す場合には、少なくとも上記の訪問時において当該特定の属性であった対象人物が第2の訪問者として再訪したことを通知する。【選択図】図3

Description

特許法第30条第2項適用申請有り 公開日 令和3年2月5日 Tag&Trackアプリの紹介
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
従来、顔認証により訪問者を管理する仕組みが提案されている。例えば、特許文献1には、撮像装置により撮像された訪問者の顔画像を用いて認証を行うことにより、施錠装置による入口扉の開錠を行う施錠システムが開示されている。
特許第6858914号
しかしながら、上記の従来技術では、特定の属性であると判断された訪問者について以降の訪問を効果的にトラッキングすることができるとは限らない。
例えば、上記の従来技術では、入口に設置された撮像装置により撮像された訪問者の顔画像と記録されている訪問者の顔画像に関する情報との比較、および、顔画像が撮像された日時と事前に登録されている訪問日時情報との比較により訪問者の認証を行い、認証できた場合には、施錠装置に対して開錠指令を送信し、また、開錠完了を所有者に通知する。
このように、上記の従来技術では、訪問者の顔画像および顔画像が撮像された日時に基づき訪問者を認証できた場合には、入口扉を開錠させているに過ぎないため、例えば、特定の属性であると判断された訪問者について以降の訪問を効果的にトラッキングすることができるとは限らない。
本願は、上記に鑑みてなされたものであって、特定の属性であると判断された訪問者について以降の訪問を効果的にトラッキングすることができることができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
本願に係る情報処理装置は、所定の訪問先に訪問したことがある第1の訪問者の顔画像と、当該第1の訪問者の訪問時の属性を示す属性情報とを取得する取得部と、前記所定の訪問先に第2の訪問者が訪問した場合に、前記第1の訪問者の顔画像と、前記第2の訪問者の顔画像との照合により、前記第1の訪問者の中に前記第2の訪問者と同一人物が存在するか否かを判定する判定部と、前記第2の訪問者と同一人物であると判定された第1の訪問者に対応する属性情報が特定の属性を示す場合には、少なくとも前記訪問時において当該特定の属性であった対象人物が前記第2の訪問者として再訪したことを通知する通知部とを有することを特徴とする。
実施形態の一態様によれば、特定の属性であると判断された訪問者について以降の訪問を効果的にトラッキングすることができる。
図1は、実施形態に係る情報処理の概要を説明するための図である。 図2は、実施形態に係る情報処理をサービスとして適用可能シーンの一例を示す図である。 図3は、実施形態に係る情報処理装置の構成例を示す図である。 図4は、実施形態に係る撮像履歴データベースの一例を示す図である。 図5は、実施形態に係る訪問者情報データベースの一例を示す図である。 図6は、実施形態に係るタグ情報データベースの一例を示す図である。 図7は、実施形態に係る登録者情報データベースの一例を示す図である。 図8は、実施形態に係る通知設定データベースの一例を示す図である。 図9は、タグ作成に係る情報処理の一例を示す図である。 図10は、タグ付与に係る情報処理の一例を示す図である。 図11は、通知設定に係る情報処理の一例を示す図である。 図12は、設定内容の確認に係る情報処理の一例(1)を示す図である。 図13は、設定内容の確認に係る情報処理の一例(2)を示す図である。 図14は、情報処理装置が有するダッシュボード機能の一例を示す図である。 図15は、実施形態に係る情報処理手順を示すシーケンス図である。 図16は、情報処理装置100の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本願に係る情報処理装置、情報処理方法および情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法および情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。
〔1.はじめに〕
入口に設置された端末装置(例えば、各種センサを有する端末装置)による撮像画像から人物の認証を行うことで認証結果に応じて入館ゲート開閉を制御したり、係る端末装置により検知された体温から人物のヘルスチェックを行ったりする技術が知られている。
しかしながら、端末装置から得られた情報を利用者が効果的に活用できるよう利用者向けのサービスを提供する点については十分とは限らない。例えば、端末装置から得られた訪問者に関する情報を、防犯対策、販促活動あるいは顧客管理等に活用できるようなサービスの提供が求められている。
そこで、本実施形態では、利用者が訪問者を適切に管理することができるような仕組みを利用者向けのサービスとして提供する。例えば、利用者は、特定の属性(例えば、VIP、不審者等)であると判断した訪問者について今後の訪問をトラッキングしたいと考える場合がある。このようなシチュエーションに応じて、本実施形態では、利用者の操作に応じて、特定の属性を示す属性情報を訪問者に対してタグ付けする。また、本実施形態では、訪問者の顔画像を用いた顔認証技術により、タグ付けされた訪問者について以降の訪問を検知することで、検知結果に応じた各種の通知を行うことを可能とする。
〔2.情報処理の概要〕
まず、図1を用いて、実施形態に係る情報処理の概要について説明する。図1は、実施形態に係る情報処理の概要を説明するための図である。図1に示す情報処理は、情報処理システム1によって実現される。
〔2-1.情報処理システムについて〕
情報処理システム1は、実施形態に係る情報処理に対応するサービスの利用者であって、所定施設に属する利用者(以下、単に「利用者」と略す)によって利用される端末装置10と、所定の施設の入口に設置される撮像装置30と、実施形態に係る情報処理を行う中心的な装置である情報処理装置100とを備える。端末装置10と、撮像装置30と、情報処理装置100とは所定のネットワークN(図示略)を介して、有線または無線により通信可能に接続される。なお、図1に示す情報処理システム1には、任意の数の端末装置10と、任意の数の撮像装置30と、任意の数の情報処理装置100とが含まれてもよい。
端末装置10は、利用者によって利用される情報処理装置である。端末装置10は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。例えば、端末装置10は、利用者の操作に応じて、情報処理装置100に対して各種の情報設定を行う。また、例えば、端末装置10は、情報処理装置100から通知されてきた情報を表示画面に表示させる。
また、端末装置10には、情報処理装置100との間での情報の送受信を実現するための所定のアプリケーションが導入されてよい。係るアプリケーションは、例えば、ブラウザのような汎用的なアプリケーションであってもよいし、実施形態に係る情報処理に対応する専用のアプリケーションであってもよい。
撮像装置30は、撮像機能(カメラ)を有する情報処理装置であり、所定の施設の入口に設置されてよい。例えば、撮像装置30は、所定の施設に訪問した訪問者について顔を検知すると、検知した顔の顔画像を撮像する機能を有する。また、撮像装置30は、所定の施設に訪問した訪問者の体温を検知する機能も有してよい。端末装置10は、例えば、タブレット型端末やIPカメラ等により実現されてよい。
情報処理装置100は、実施形態に係る情報処理を行うことで利用者に対して訪問者管理のための各種サービスを提供する。情報処理装置100は、例えば、サーバ装置により実現される。また、端末装置10および撮像装置30が利用者に近い位置でエッジ処理を行う所謂エッジコンピュータであるとすると、情報処理装置100は、クラウド側に存在するククラウドコンピュータであってよい。
〔2-2.情報処理の具体例について〕
続いて、図1を用いて、実施形態に係る情報処理の具体的な一例を説明する。図1には、店舗FC1(所定の施設の一例)の入口に撮像装置30-11(撮像装置30の一例)が設置されている例が示される。また、図1には、店舗FC1に属する利用者U11が、端末装置10を用いて、撮像装置30-11が撮像した顔画像に応じた情報設定を情報処理装置100に対して行う例や、情報処理装置100から訪問者に関する通知を受ける例が示される。また、利用者U11は、店舗FC1に関係する人物であればいかなる人物であってもよい。例えば、利用者U11は、店舗FC1に属する人物であってよいが、図1の例では、利用者U11は、店舗FC1に雇われている警備員であるものとする。なお、利用者U11は、例えば、店舗FC1の店員であってもよいし、店舗FC1のオーナー等であってもよい。また、利用者U11は、例えば、店舗FC1のオーナーが契約しているコンサルタントであってもよい。
また、図1には、トラッキング目的のためのタグ付け設定に関する情報処理(ステップS11~S16)が実線で示されている。一方、図1には、タグ付け設定に応じた訪問通知に関する情報処理(ステップS21~S24)が点線で示される。
まず、タグ付け設定に関する情報処理の一例について説明する。係る例では、人物P11、P12、P13およびP14が、店舗FC1に客として初めて訪問したものとして説明する。このように初回訪問時では、人物P11、P12、P13およびP14は、店舗FC1にとって見知らぬ客(ストレンジャー)である。
例えば、撮像装置30-11は、人物P11、P12、P13およびP14が、店舗FC1の入口を順に通過することに応じて、各人物の顔を順次検知し、検知するたびに人物の顔画像を撮像する(ステップS11)。
次に、撮像装置30-11は、撮像した顔画像を情報処理装置100に送信する(ステップS12)。図1の例では、撮像装置30-11は、人物P11、P12、P13、P14という順で顔を検知し顔画像を撮像したことに応じて、人物P11の顔画像♯111、人物P12の顔画像♯112、人物P13の顔画像♯113、人物P14の顔画像♯114を順に情報処理装置100に送信したものとする。
情報処理装置100は、撮像装置30-11から顔画像を取得すると、任意の顔認証技術を用いた同一人物判定処理を行う(ステップS13)。具体的には、情報処理装置100は、店舗FC1に既に訪問したことがある他の人物(第1の訪問者)の顔画像と、今回店舗FC1訪問した人物P11~P14(第2の訪問者)の顔画像との照合により、第1の訪問者の中に第2の訪問者と同一人物が存在するか否かを判定する。例えば、情報処理装置100は、店舗FC1に既に訪問したことがある他の人物の顔画像が、第1の訪問者の顔画像として登録されるデータベースを有してよく、このデータベースに登録される第1の訪問者の顔画像と、今回取得した第2の訪問者の顔画像との間で照合を行うことができる。
具体的には、情報処理装置100は、データベースに登録される第1の訪問者それぞれの顔画像と、第2の訪問者である人物P11の顔画像♯111とを照合する。また、情報処理装置100は、その他の第2の訪問者の顔画像、具体的には、人物P12の顔画像♯112、人物P13の顔画像♯113、人物P14の顔画像♯114についても同様にして照合を行う。
上記の通り、人物P11~P14は、いずれも店舗F1に初めて訪問する訪問者であり、店舗FC1にとって見知らぬ客である。したがって、この時点では、データベースには、人物P11~P14それぞれの顔画像は、第1の訪問者の顔画像として登録されていない。このため、情報処理装置100は、第1の訪問者(店舗FC1に既に訪問したことがある他の人物)の顔画像と、第2の訪問者(人物P11~P14)の顔画像との照合の結果、第1の訪問者の中に第2の訪問者と同一人物は存在しないと判定する。
また、このように同一人物が存在しないと判定した結果、ステップS13では、情報処理装置100は、第2の訪問者である人物P11~P14を新たな訪問者としてデータベースに登録する。例えば、情報処理装置100は、人物P11~P14を新たな訪問者として識別する訪問者IDを払い出し、払い出した訪問者IDに対して、人物P11~P14の顔画像を対応付けてデータベースに登録する。
図1(a)には、ステップS13での登録状況に応じたデータベースの一例が示される。図1(a)の例では、情報処理装置100が、人物P11を識別する訪問者ID「VID11」を払い出し、訪問者ID「VID11」に人物P11の顔画像♯111を対応付けてデータベースに登録した例が示される。人物P12、人物P13および人物P14についても図1(a)の通りであるため説明を省略する。
なお、人物P11~P14は、図1(a)のように新規登録されたことで、店舗FC1に訪問したという実績ができたことになる。したがって、情報処理装置100による以降の判定処理では、人物P11~P14は、店舗FC1に訪問したことがある第1の訪問者として取り扱われることができるようになる。つまり、図1の例において、第1の訪問者とは、店舗FC1に訪問したことがあり顔画像を撮像された実績のある人物を示す。また、これに対して、第2の訪問者とは、実績の有無に拘わらず、店舗FC1に訪問し顔画像を撮像されたことで判定処理の対象となった人物を示す。
また、情報処理装置100は、撮像装置30-11から顔画像を取得するたびに、取得した顔画像を、利用者U11の端末装置10に表示されるタイムライン画面C21においてリアルタイムに表示させてゆく(ステップS14)。タイムライン画面C21では、顔画像が撮像日時に応じて時系列順にリアルタイム表示されてゆく。したがって、図1の例では、人物P11の顔画像♯111、P12の顔画像♯112、P13の顔画像♯113、P14の顔画像♯114という順で上から流れるようにタイムライン画面C21に表示されてゆく。このように、情報処理装置100は、タイムライン画面C21を介して、店舗FC1への訪問者を随時利用者U11に通知する。
また、情報処理装置100は、訪問者として通知した人物について今後の再訪を利用者U11がトラッキングできるよう、トラッキング対象の人物にタグ付けする設定を受け付ける(ステップS15)。例えば、利用者U11は、タイムライン画面C21で表示される人物のうち、気になった特定の人物の再訪をトラッキングできるよう、この人物を示す情報に対してトラッキング目的の属性情報をタグ付けさせることができる。
例えば、利用者U11は、顔画像や、人物を実際に目視した印象等から、不審であると感じた人物がいれば、この人物について特定の属性(例えば、不審者)であると判断し、この人物を示す情報に対して属性情報「不審者」をタグ付けさせるための設定を行うことができる。図1の例では、利用者U11は、タイムライン画面C21に表示された顔画像♯111から、人物P14について不審であると判断したとする。また、利用者U11は、係る判断に応じて、人物P14を示す情報に対して属性情報「不審者」をタグ付けすることで、人物P14の再訪をトラッキングできるよう情報処理装置100に設定したものとする。
情報処理装置100は、利用者U11からタグ付けに関する設定として、属性情報「不審者」の入力を受け付けると、人物P14を示す情報に対して属性情報「不審者」をタグ付けできるよう属性情報「不審者」をデータベースに登録する(ステップS16)。
図1(b)には、ステップS16での登録状況に応じたデータベースの一例が示される。図1(b)の例では、情報処理装置100が、人物P14を識別する訪問者ID「VID14」と、人物P14の顔画像♯114との組に対して、属性情報「不審者」を対応付けた例が示される。
続いて、タグ付け設定に応じた訪問通知に関する情報処理の一例について説明する。係る例では、特定の属性として「不審者」と判断されている人物P14が、店舗FC1に再訪したものとして説明する。このような場合、撮像装置30-11は、人物P14が店舗FC1の入口を通過することに応じて人物P14の顔を検知し、そして、人物P14の顔画像を撮像する(ステップS21)。
次に、撮像装置30-11は、撮像した顔画像を情報処理装置100に送信する(ステップS22)。図1の例では、撮像装置30-11は、人物P14の顔画像♯115を情報処理装置100に送信したものとする。
情報処理装置100は、撮像装置30-11から顔画像を取得すると、任意の顔認証技術を用いた同一人物判定処理を行う(ステップS23)。具体的には、情報処理装置100は、店舗FC1に既に訪問したことがある他の人物(第1の訪問者)の顔画像と、店舗FC1再訪した人物P14(第2の訪問者)の顔画像♯115との照合により、第1の訪問者の中に第2の訪問者と同一人物が存在するか否かを判定する。つまり、情報処理装置100は、過去に店舗FC1に訪問した第1の訪問者と、今回店舗FC1に訪問した第2の訪問者との間で1人の共通する人物が存在するか否かを判定する。
ここで、ステップS23の判定処理が行われる時点では、情報処理装置100が有するデータベースでの登録状況は、図1(b)に示される状況となっている。つまり、この時点では、人物P11~P14は、店舗FC1に訪問したことがある第1の訪問者として識別された状態で、既に取得されている顔画像(顔画像♯111、♯112、♯113および♯114)がデータベースに登録されている。また、利用者U11によるタグ付け設定により、人物P14を第1の訪問者として識別する訪問者ID「VID14」と、人物P14の顔画像♯114との組には、属性情報「不審者」が対応付けられている。
したがって、情報処理装置100は、ステップS23での判定処理では、第1の訪問者の中に第2の訪問者と同一人物が存在すると判定する。例えば、情報処理装置100は、顔画像♯114と顔画像♯115との照合の結果、顔画像♯114の人物と、顔画像♯115の人とは同一人物であると認識し、この結果、第1の訪問者の中に第2の訪問者と同一人物が存在すると判定する。
また、情報処理装置100は、このように同一人物が存在すると判定した場合には、第2の訪問者と同一人物であると判定された第1の訪問者(以下、「判定対象の第1の訪問者」と表記する場合がある)を識別する訪問者IDに対して、第2の訪問者の顔画像を対応付けてデータベースに登録する。図1の例では、情報処理装置100は、判定対象の第1の訪問者を識別する訪問者ID「VID14」に対して、第2の訪問者である人物P14の顔画像♯115を対応付けてデータベースに登録する。
また、係る例では、情報処理装置100は、データベースを参照することで、判定対象の第1の訪問者に対応する属性情報が特定の属性「不審者」を示すと判定することができる。このため、情報処理装置100は、少なくとも前回訪問時において、利用者U11によって不審者と判断された対象人物(人物P14)が再訪したことを通知する(ステップS24)。例えば、情報処理装置100は、対象人物の顔画像♯115に対して属性情報「不審者」をタグ付けすることで、属性情報「不審者」がタグ付された顔画像♯115を端末装置10に表示させてよい。この一例として、情報処理装置100は、タイムライン画面C21において時系列順に一覧表示される顔画像のうち、対象人物の顔画像♯115に対して属性情報「不審者」をタグとして付与することで、不審者と判断され対象人物が店舗FC1に再訪したことを通知してよい。
なお、図1の例では、端末装置10と、撮像装置30と、情報処理装置100とは、それぞれ別々の装置である例を示した。しかしながら、端末装置10と、撮像装置30と、情報処理装置100とは、適宜組み合わされてよい。例えば、端末装置10と撮像装置30とは1つの装置として構成されてよい。係る場合、店舗FC1に訪問した人物は、例えば、端末装置10で自身の顔を自撮りすることで、自撮りした顔画像を情報処理装置100へと送信することが想定される。
また、例えば、撮像装置30と情報処理装置100とが1つの装置として構成されてよい。係る場合、撮像装置30が、情報処理装置100に含まれる機能の全てまたは一部を有してよく、これにより図1で説明した判定処理等は撮像装置30によって行われてもよい。
〔3.適用シーンについて〕
次に、図2を用いて、実施形態に係る情報処理をサービスとして適用可能なシーンついて説明する。図2は、実施形態に係る情報処理をサービスとして適用可能シーンの一例を示す図である。
図2(a)によれば、実施形態に係る情報処理は、訪問者の健康管理に関するサービスとして適用され得る。係るサービスでは、撮像装置30は訪問者の体温を検知する。また、情報処理装置100は、検知された体温から訪問者が温度異常(例えば、37.5℃以上)であることを認識した場合には、この訪問者を示す情報に対して属性情報「温度異常」を動的に付与することで、例えば、属性情報「温度異常」がタグ付けされた訪問者の顔画像を端末装置10に表示させる。これにより、利用者は、温度異常であると判断された訪問者をトラッキングできるようになるため、例えば、施設内での感染症対策を効果的に行うことができるようになる。なお、温度異常とは体温異常を意味するものである。
また、図2(b)によれば、実施形態に係る情報処理は、不審者の検知に関するサービスとして適用され得る。図1で説明したように、係るサービスでは、撮像装置30は訪問者の顔画像を撮像する。また、情報処理装置100は、撮像された顔画像を用いて人物の訪問を通知することで、特定の属性(係る例では、不審者)であると判断された人物に対して、この特定の属性を示す属性情報をタグとして付与するための設定を利用者から受け付ける。これにより、利用者は、自身が不審者と判断した訪問者をトラッキングできるようになるため、例えば、施設内での防犯対策を効果的に行うことができるようになる。
また、図2(c)によれば、実施形態に係る情報処理は、VIP客の検知に関するサービスとして適用され得る。係るサービスでは、撮像装置30は訪問者の顔画像を撮像する。また、情報処理装置100は、撮像された顔画像を用いて人物の訪問を通知することで、特定の属性(係る例では、VIP)であると判断された人物に対して、この特定の属性を示す属性情報をタグとして付与するための設定を利用者から受け付ける。これにより、利用者は、自身がVIPと判断した訪問者をトラッキングできるようになるため、例えば、各顧客に応じた適切な販売活動を行うことができるようになる。
また、図2(d)によれば、実施形態に係る情報処理は、取引会社からの訪問に関するサービスとして適用され得る。係るサービスでは、撮像装置30は訪問者の顔画像を撮像する。また、情報処理装置100は、撮像された顔画像を用いて人物の訪問を通知することで、特定の属性(係る例では、○○会社様の××様)であると判断された人物に対して、この特定の属性を示す属性情報をタグとして付与するための設定を利用者から受け付ける。これにより、利用者は、特定の会社からの訪問をトラッキングできるようになるため、例えば、迅速な受付対応を行うことができるようになる。
〔4.情報処理装置の構成〕
次に、図3を用いて、実施形態に係る情報処理装置100について説明する。図3は、実施形態に係る情報処理装置100の構成例を示す図である。図3に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。
(通信部110について)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークと有線または無線で接続され、例えば、端末装置10や撮像装置30との間で情報の送受信を行う。
(記憶部120について)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、撮像履歴データベース121と、訪問者情報データベース122と、タグ情報データベース123、登録者情報データベース124と、通知設定データベース125とを有する。
(撮像履歴データベース121について)
撮像履歴データベース121は、顔画像の撮像に関する履歴情報を記憶する。ここで、図4に実施形態に係る撮像履歴データベース121の一例を示す。
図4の例では、撮像履歴データベース121は、「施設ID(Identifier)」、「装置ID(Identifier)」、「画像ID(Identifier)」、「顔画像」、「撮像日時」といった項目を有する。
「施設ID(Identifier)」は、所定の訪問先となる施設を識別する識別情報を示す。また、ここでいう施設とは、例えば、店舗や企業等であってよい。「装置ID」は、「施設ID」で識別される施設に設置される撮像装置30を識別する識別情報を示す。
図4には、施設ID「FC1」と、装置ID「30-11」とが対応付けられる例が示される。係る例は、図1の例に対応し、例えば、店舗FC1の入口には、撮像装置30-11が設置されている例を示す。なお、施設に設置される撮像装置30の数は限定されず、例えば、施設の管理者によって任意に定められてよい。
「画像ID(Identifier)」は、「顔画像」を識別する識別情報を示す。例えば、「画像ID」は、「顔画像」が撮像された際に情報処理装置100によって払い出されてよい。「顔画像」は、「施設ID」で識別される施設に訪問した人物の顔が検知されたことに応じて、「装置ID」で識別される撮像装置30によって撮像された顔画像データを示す。「撮像日時」は、「顔画像」が撮像された日時を示す。なお、「撮像日時」は、「装置ID」で識別される撮像装置30が顔を検知した日時であってもよい。また、「撮像日時」は、情報処理装置100が、データベースに「顔画像」を登録した日時であってもよい。また、図4では不図示であるが、撮像履歴データベース121は、「撮像画像」から抽出された「特徴情報」をさらに記録してよい。係る場合、「撮像日時」は、「撮像画像」から顔の特徴を示す「特徴情報」が抽出された日時であってもよい。
図4には、画像ID「FID111」と、顔画像「顔画像♯111」と、撮像日時「2021-03-09 00:08」とが対応付けられる例が示される。係る例は、図1の例に対応し、店舗FC1の入口に設置される撮像装置30-11が、2021年3月9日0時8分において撮像したことにより、顔画像♯111が取得され、また、顔画像♯111について画像ID「FID111」が払い出された例を示す。
このように、撮像履歴データベース121では、顔画像が撮像されるたびに、撮像された顔画像に関する情報が、撮像履歴を示す1レコードして随時登録されてゆく。したがって、撮像履歴データベース121に登録される撮像履歴は、例えば、図1で説明したタイムライン画面C21に表示される情報に対応していてよい。
(訪問者情報データベース122について)
訪問者情報データベース122では、顔画像を撮像された人物を第1の訪問者として管理される。ここで、図5に実施形態に係る訪問者情報データベース122の一例を示す。
図5の例では、訪問者情報データベース122は、「訪問者ID(Identifier)」、「画像ID(Identifier)」、「顔画像」、「撮像日時」、「属性情報」といった項目を有する。
「訪問者ID(Identifier)」は、施設に訪問したことにより「顔画像」を撮像された人物を、第1の訪問者として識別する識別情報を示す。「画像ID(Identifier)」は、「顔画像」を識別する識別情報を示し、図4の「画像ID」に対応する。「顔画像」は、「訪問者ID」で識別される人物の顔画像データを示し、図4の「顔画像」に対応する。「撮像日時」は、「顔画像」が撮像された日時を示し、図4の「撮像日時」に対応する。
「属性情報」は、「訪問者ID」で識別される人物に対して判断された、特定の属性を示す情報である。また、ここでいう特定の属性は、利用者によって独自に判断されたものであってもよいし、情報処理装置100によって動的に判断されたものであってもよい。例えば、情報処理装置100は、撮像装置30によって検知された体温から、検知対象の人物について温度異常と認識できた場合には、係る人物に対して属性「温度異常」と判断することができる。また、例えば、情報処理装置100は、撮像装置30によって検知された顔画像から、検知対象の人物についてマスク未着用と認識できた場合には、係る人物に対して属性「マスク未着用」と判断することができる。
ここで、「訪問者ID」に対する「顔画像」の対応付けについて説明する。例えば、情報処理装置100は、「訪問者ID」に対応付けられる「顔画像」(すなわち第1の訪問者の顔画像)と、今回訪問した第2の訪問者の顔画像との照合により、第1の訪問者の中に第2の訪問者と同一人物が存在すると判定したとする。係る場合、情報処理装置100は、この第1の訪問者を識別する「訪問者ID」に対して、今回の第2の訪問者の「顔画像」を対応付けて訪問者情報データベース122に登録する。
一方、情報処理装置100は、「訪問者ID」に対応付けられる「顔画像」(すなわち第1の訪問者の顔画像)と、今回訪問した第2の訪問者の顔画像との照合により、第1の訪問者の中に第2の訪問者と同一人物が存在しないと判定したとする。係る場合、情報処理装置100は、第2の訪問者である人物を第1の訪問者として識別する新たな「訪問者ID」を払い出し、払い出した「訪問者ID」に対して第2の訪問者の顔画像を対応付けて訪問者情報データベース122に登録する。
なお、図5で説明した判定処理は判定部136によって行われてよく、また、登録処理は登録部137によって行われてよい。
(タグ情報データベース123について)
まず、情報処理装置100は、特定の属性であると判断された人物が再訪した場合に、当該人物を示す情報に対してタグとして付与することで当該人物の再訪を通知させるための属性情報であって、この特定の属性を示す属性情報(第2の属性情報)の設定を受け付けてよい。
このような情報処理装置100によれば、利用者は、自身の考える特定の属性を示すタグ(すなわち、第2の属性情報に対応するタグ)を作成し、作成したタグを情報処理装置100に設定しておくことができる。例えば、利用者は、後述するタグ作成画面C13を介して、タグを作成することができる。よって、タグ情報データベース123は、利用者により作成されたタグに関する情報を記憶する。ここで、図6に実施形態に係るタグ情報データベース123の一例を示す。
図6の例では、タグ情報データベース123は、「利用者ID(Identifier)」、「タグID(Identifier)」、「タグ名称」、「タグカラー」といった項目を有する。
「利用者ID(Identifier)」は、情報処理装置100により提供されるサービスの利用者(例えば、訪問者をトラッキングしたいと考える利用者)を識別する識別情報を示す。なお、「利用者ID」は、利用者の端末装置10を識別する識別情報であってもよい。
「タグID(Identifier)」は、「利用者ID」で識別される利用者が作成したタグを識別する識別情報を示す。「タグ名称」は、利用者が訪問者に対して判断し得る属性を特徴付ける名称であり、利用者によって任意の名称が設定されてよい。例えば、ある利用者は、不審者と判断した人物に対して、属性情報「不審者」をタグとして付与させたい場合には、タグ名称として「不審者」を設定することができる。また、別の利用者は、不審者と判断した人物に対して、属性情報「要注意人物」をタグとして付与させたい場合には、タグ名称として「要注意人物」を設定することができる。一方で、情報処理装置100は、利用者に対して「タグ名称」の候補を提示することで、候補の中から適切な「タグ名称」を選択させてもよい。
「タグカラー」は、「タグID」で識別されるタグを表示させる際の色を識別する情報である。例えば、情報処理装置100は、利用者に対して「タグカラー」の候補を提示することで、候補の中から好みの「タグカラー」を選択させることができる。
図6には、利用者ID「U11」と、タグID「TG111」と、タグ名称「VIP」と、タグカラー「カラーNo.03」とが対応付けられる例が示される。係る例は、利用者ID「U11」で識別される利用者(利用者U11)は、属性「VIP」と判断した人物をトラッキングしたいために、タグ名称として「VIP」を設定することで、「VIP」タグを作成した例を示す。また、係る例は、「VIP」タグを「カラーNo.03」で識別される色で表示させるよう、利用者U11により設定された例を示す。また、係る例は、利用者U11により設定された情報が、タグID「TG111」で管理されている例を示す。
(登録者情報データベース124について)
また、情報処理装置100は、利用者が作成したタグ(第2の属性情報に対応するタグ)がタグ付される人物であるタグ付け対象者の指定をさらに受け付けてよい。また、情報処理装置100は、タグ付け対象者が指定された場合には、第1の訪問者として登録されている人物の顔画像うち、指定されたタグ付け対象者の顔画像に対してタグを対応付けて登録者情報データベース124に登録する。
ここで、図7に実施形態に係る登録者情報データベース124の一例を示す。図7の例では、登録者情報データベース124は、「利用者ID(Identifier)」、「対象者ID(Identifier)」、「画像ID(Identifier)」、「第2の属性情報」といった項目を有する。また、「第2の属性情報」は、「タグID(Identifier)」、「タグ名称」といった項目を有する。
「利用者ID(Identifier)」は、情報処理装置100により提供されるサービスの利用者を識別する識別情報を示し、図6の「利用者ID」に対応する。「対象者ID(Identifier)」は、訪問者情報データベース122において第1の訪問者として管理されている人物のうち、タグ付け対象者として利用者により指定された人物を識別する識別情報を示す。また、このようなことから「対象者ID」には、図5の「訪問者ID」が用いられてよい。
「画像ID(Identifier)」は、「対象者ID」で識別される人物であって、第1の訪問者として登録されている人物の顔画像を識別する識別情報を示す。また、後に図10で説明するが、利用者は、タイムライン画面C21で一覧表示される顔画像の中から任意の顔画像を選択し、選択した顔画像の人物をタグ付け対象者として設定することができる。したがって、ここでいう「画像ID」は、タグ付け対象者を指定するために、タイムライン画面C21で一覧表示される顔画像の中から選択された顔画像を識別する識別情報であってよい。また、このようなことから「画像ID」には、図4の「画像ID」が用いられてよい。
「第2の属性情報」は、「対象者ID」で識別される人物が再訪したことを通知させるために、当該人物に対して利用者が判断した属性を示す属性情報である。また、図7に示すように、「第2の属性情報」は、「タグID」と「タグ名称」との組合せであってよい。また、係る場合、「タグID」は、利用者が作成したタグのうち、「対象者ID」で識別される人物に対して判断された属性に対応するタグを識別する識別情報である。また、このようなことから、「タグ名称」は、「対象者ID」で識別される人物に対して判断された属性を特徴付ける名称である。
図7には、利用者ID「U11」と、対象者ID「VID11」と、画像ID「FID111」と、タグID「TG111」と、タグ名称「VIP」とが対応付けられる例が示される。係る例は、利用者U11が、対象者ID「VID11」で識別される人物について、特定の属性「VIP」と判断したことにより、係る人物の再訪をトラッキングしたいためにタグ付け対象者として指定した例を示す。また、係る例は、対象者ID「VID11」で識別される人物が再訪した場合には、タグID「TG111」およびタグ名称「VIP」で識別されるタグを用いて再訪を通知するよう利用者U11が通知設定した例を示す。また、このような通知設定に応じて、情報処理装置100は、図5に示されるように、訪問者ID「VID11」と、画像ID「FID111」との組に対して、属性情報「VIP」を登録することができる。
(通知設定データベース125について)
情報処理装置100は、利用者により作成されたタグに応じて、通知制御に関する設定(通知設定)をさらに受け付けることができる。このような情報処理装置100によれば、利用者は、例えば、自身が作成したタグを用いて通知のON/OFFの切り替えを設定することができる。例えば、利用者は、後述する通知設定画面C31を介して、通知設定することができる。よって、通知設定データベース125は、利用者による通知設定に関する情報を記憶する。ここで、図8に実施形態に係る通知設定データベース125の一例を示す。
図8の例では、通知設定データベース125は、「利用者ID(Identifier)」、「通知」、「対象属性通知」、「タグ通知」、「利用対象装置ID(Identifier)」といった項目を有する。
「利用者ID(Identifier)」は、情報処理装置100により提供されるサービスの利用者を識別する識別情報を示し、図6および図7の「利用者ID」に対応する。
「通知」は、利用者により訪問通知のON/OFFが切り替えられることによる切替状況を示す情報である。例えば、利用者は、通知設定画面C31の切り替えスイッチSW32を用いて、訪問通知のON/OFFを設定することができる。例えば、利用者の操作に応じて、切り替えスイッチSW32がONに切り替えられた場合、図8の例のように通知「ON」が登録される。
ここで、情報処理装置100は、特定の属性の人物が訪問するたびに訪問通知させるための属性情報であって、この特定の属性を示す属性情報(第1の属性情報)の設定をさらに受け付けてよい。また、第1の属性情報の対象となる対象属性は、感染症対策用の属性であってよい。感染症対策用の属性としては、例えば、体温が37.5℃以上であることにより「温度異常」や、「マスク未着用」が挙げられる。
例えば、利用者は、通知設定画面C31のチェックボックスCB321を用いて、「温度異常」の人物が訪問したことを通知させることができる。例えば、利用者の操作に応じて、チェックボックスCB321にチェックマークが入力された場合、図8の例のように温度異常「ON」が登録される。また、温度異常「ON」が登録されている状況では、情報処理装置100は、訪問者について検知された体温から属性「温度異常」であると認識した場合には、第1の訪問者の中にこの訪問者が存在するか否かに拘わらず、属性「温度異常」の人物が訪問したことを通知する。
また、例えば、利用者は、通知設定画面C31のチェックボックスCB322を用いて、「マスク未着用」の人物が訪問したことを通知させることができる。例えば、利用者の操作に応じて、チェックボックスCB322にチェックマークが入力された場合、図8の例のようにマスク未着用「ON」が登録される。また、マスク未着用「ON」が登録されている状況では、情報処理装置100は、訪問者の顔画像から属性「マスク未着用」であると認識した場合には、第1の訪問者の中にこの訪問者が存在するか否かに拘わらず、属性「マスク未着用」の人物が訪問したことを通知する。
「タグ通知」は、利用者により作成されたタグが付された人物が再訪した場合に、再訪したことを通知させるか否かが設定された設定状況を示す。また、このようなことから、「タグ通知」に含まれる項目は、利用者ごとに異なる場合がある。例えば、図8の例では、利用者ID「U11」に対応する「タグ通知」には、「VIP」、「温度異常」、「マスク未着用」、「会員様」、「不審者」が含まれる例が示される。係る例は、図6の例に対応し、利用者U11が、「VIP」タグ、「温度異常」タグ、「マスク未着用」タグ、「会員様」タグ、「不審者」タグを作成したことに準ずる。また、係る例によれば、利用者U11は、通知設定画面C31のチェックボックスCB323を用いて、「VIP」タグが付された人物が再訪したことを通知させることができる。
例えば、利用者U11の操作に応じて、チェックボックスCB323にチェックマークが入力された場合、図8の例のようにVIP「ON」が登録される。また、VIP「ON」が登録されている状況において、情報処理装置100は、第1の訪問者の中に第2の訪問者と同一人物が存在すると判定したとする。係る場合、情報処理装置100は、この第1の訪問者に対応する属性情報(第2の属性情報)が「VIP」を示していれば、少なくとも過去の訪問時に「VIP」と判断された人物が第2の訪問者として再訪したことを利用者U11に通知する。
「利用対象装置ID(Identifier)」は、「利用者ID」で識別される利用者に管理の権限が与えられている撮像装置30のうち、いずれの撮像装置30により撮像された顔画像を通知に利用させるか、利用対象の撮像装置30を識別する識別情報を示す。また、このようなことから、「利用対象装置ID」の内容は、利用者ごとに異なる場合がある。例えば、図8の例では、利用者ID「U11」に対応する「利用対象装置ID」が、「AAABBB1」および「AAABBB2」である例が示される。係る例は、利用者U11には、「AAABBB1」で識別される撮像装置30、および、「AAABBB2」で識別される撮像装置30を管理する権限が与えられている例を示す。
また、利用者U11は、通知設定画面C31のチェックボックスCB328を用いて、「AAABBB1」で識別される撮像装置30を利用対象とするか否かを設定することができる。例えば、利用者U11の操作に応じて、チェックボックスCB328にチェックマークが入力された場合、図8の例のようにAAABBB1「ON」が登録される。AAABBB1「ON」が登録されている状況では、情報処理装置100は、「AAABBB1」で識別される撮像装置30により撮像された顔画像に基づく判定処理を行い、また、「AAABBB1」で識別される撮像装置30により撮像された顔画像を訪問通知に用いる。
また、利用者U11は、通知設定画面C31のチェックボックスCB329を用いて、「AAABBB2」で識別される撮像装置30を利用対象とするか否かを設定することができる。例えば、利用者U11の操作に応じて、チェックボックスCB329にチェックマークが入力された場合、図8の例のようにAAABBB2「ON」が登録される。AAABBB2「ON」が登録されている状況では、情報処理装置100は、「AAABBB2」で識別される撮像装置30により撮像された顔画像に基づく判定処理を行い、また、「AAABBB1」で識別される撮像装置30により撮像された顔画像を訪問通知に用いる。
(制御部130について)
図3に戻り、制御部130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラム(例えば、実施形態に係る情報処理プログラム)がRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図3に示すように、制御部130は、取得部131と、画面制御部132と、通知設定受付部133と、作成設定受付部134と、付与設定受付部135と、判定部136と、登録部137と、通知部138を有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部130が有する各処理部の接続関係は、図3に示した接続関係に限られず、他の接続関係であってもよい。
(取得部131について)
取得部131は、実施形態に係る情報処理に利用される所定の情報を取得する。例えば、取得部131は、顔画像を取得する。例えば、取得部131は、撮像装置30により訪問者の顔画像が撮像された場合に、撮像された顔画像を撮像装置30から取得する。また、取得部131は、撮像装置30から取得した顔画像を撮像履歴データベース121に登録することができる。
また、取得部131は、撮像装置30から顔画像を取得すると、取得した顔画像である第2の訪問者の顔画像を用いた判定処理が判定部136によって行われるよう、第1の訪問者の顔画像の顔画像も取得する。例えば、取得部131は、訪問者情報データベース122から第1の訪問者の顔画像を取得する。
また、取得部131は、判定部136によって判定処理が行われるよう、第1の訪問者の訪問時の属性を示す属性情報も取得する。例えば、取得部131は、訪問者情報データベース122から第1の訪問者の訪問時の属性を示す属性情報を取得してよい。
(画面制御部132について)
画面制御部132は、利用者に提供される各種画面を制御する。例えば、画面制御部132は、利用者からのアクセスに応じて、アクセスに対応する画面で表示される表示対象の情報を制御する。また、画面制御部132は、制御した表示対象の情報が、アクセスに対応する画面に表示されるよう表示制御する。
また、画面制御部132は、利用者からのアクセスに応じて、アクセスに対応する画面を利用者に提供する。例えば、画面制御部132は、図9~図14で説明する各種画面を利用者に提供することができる。もちろん、画面制御部132が提供可能な画面は、図9~図14に示される画面に限定されるものではない。
(通知設定受付部133について)
通知設定受付部133は、通知部138による通知態様に関する情報設定を利用者から受け付ける。例えば、通知設定受付部133は、どのような属性の人物が訪問した場合に利用者に対して訪問通知するか、通知対象の属性情報を受け付ける。
例えば、通知設定受付部133は、特定の属性の人物が訪問するたびに訪問通知させるための属性情報であって、この特定の属性を示す第1の属性情報を通知対象の属性情報として受け付ける。なお、第1の属性情報が示す属性としては、感染症対策用の属性が挙げられる。また、感染症対策用の属性とは、例えば、体温が37.5℃以上であることによる「温度異常」や、「マスク未着用」等であってよい。
また、通知設定受付部133は、図11に示す通知設定画面C31を介して、第1の属性情報の設定を受け付けることができる。また、第1の属性情報が通知対象の属性情報として受け付けられている状態では、通知部138は、訪問者について第1の属性情報が示す属性(例えば、「温度異常」)であると認識された場合には、第1の訪問者の中にこの訪問者が存在するか否かに拘わらず、第1の属性情報が示す属性(例えば、「温度異常」)の人物が訪問したことを通知する。
また、通知設定受付部133は、特定の属性であった人物が再訪したことを通知させるための属性情報であって当該特定の属性を示す属性情報である第2の属性情報を通知対象の属性情報として受け付ける。
また、通知設定受付部133は、図11に示す通知設定画面C31を介して、第2の属性情報の設定を受け付けることができる。また、第2の属性情報が通知対象の属性情報として受け付けられている状態において、判定部136が第1の訪問者の中に第2の訪問者と同一人物が存在すると判定したとする。係る場合、通知部138は、この第1の訪問者に対対応付けられる属性情報が第2の属性情報である場合には、少なくとも過去の訪問時において第2の属性情報が示す属性であった対象人物が第2の訪問者として再訪したことを通知する。
なお、通知設定受付部133は、利用者に紐付けられる撮像装置30のうち、いずれの撮像装置30により撮像された人物を訪問通知の対象とするか、利用対象の撮像装置30の指定をさらに受け付けてよい。例えば、通知設定受付部133は、図11に示す通知設定画面C31を介して、利用対象の撮像装置30の指定を受け付けることができる。
また、通知設定受付部133は、利用者から受け付けた設定内容に基づいて、通知設定データベース125への登録を行ってよい。
(作成設定受付部134について)
上記の通り、利用者は、自身の考える特定の属性を示すタグ(すなわち、第2の属性情報に対応するタグ)を作成し、作成したタグを情報処理装置100に設定しておくことができる。すなわち、作成設定受付部134は、タグの作成に関する情報設定を受け付ける。例えば、作成設定受付部134は、利用者が特定の属性を示すタグ(すなわち、第2の属性情報に対応するタグ)を作成することができるよう、タグの作成に関する情報設定を受け付ける。例えば、作成設定受付部134は、タグ作成画面C13を介して、タグの作成に関する情報設定を受け付けることができる。例えば、作成設定受付部134は、タグ作成画面C13を介して、タグ名称の設定や、タグカラーの選択を受け付けることができる。
また、作成設定受付部134は、利用者から受け付けた設定内容に基づいて、タグ情報データベース123への登録も行ってよい。
(付与設定受付部135について)
付与設定受付部135は、所定の訪問先に訪問した訪問者のうち、第2の属性情報がタグ付けされるタグ付け対象者の指定を受け付ける。また、付与設定受付部135は、タグ付け対象者が指定された場合には、第2の属性情報を第1の訪問者の訪問時の属性を示す属性情報として、タグ付け対象者の顔画像に対応付けて記憶する。例えば、付与設定受付部135は、タグ付け対象者が指定された場合には、第1の訪問者として登録されている人物の顔画像うち、指定されたタグ付け対象者の顔画像に対してタグとしての第2の属性情報を対応付けて登録者情報データベース124に登録する。
なお、付与設定受付部135は、タイムライン画面C21で一覧表示される顔画像の中から任意の顔画像が選択された場合に、選択された顔画像の人物がタグ付け対象者として表示される登録者画面C22を介して、タグ付け対象者の登録設定を受け付けることができる。
また、付与設定受付部135は、タグ付け対象者に対して第2の属性情報がタグとして付与されてから所定期間経過した場合には、この第2の属性情報の付与を解除してよい。
(判定部136について)
判定部136は、所定の訪問先に第2の訪問者が訪問した場合に、所定の訪問先に訪問したことがある第1の訪問者の顔画像と、第2の訪問者の顔画像との照合により、第1の訪問者の中に第2の訪問者と同一人物が存在するか否かを判定する。例えば、判定部136は、第2の訪問者ごとに顔画像が撮像されるたびに、撮像された第2の訪問者の顔画像と、第1の訪問者の顔画像とをリアルタイムに照合することで、第1の訪問者の中に第2の訪問者と同一人物が存在するか否かを判定する。
例えば、判定部136は、任意の顔認証技術を用いて、第1の訪問者の中に第2の訪問者と同一人物が存在するか否かを判定してよい。また、第1の訪問者の顔画像と、第2の訪問者の顔画像との照合について、より具体的な一例を挙げると、判定部136は、第1の訪問者の顔画像から抽出された特徴情報と、第2の訪問者の顔画像から抽出された特徴情報とを比較することにより、第1の訪問者と第2の訪問者との間で顔の類似度を算出してよい。そして、判定部136は、算出した類似度に基づいて、第1の訪問者の中に第2の訪問者と同一人物が存在するか否かを判定してよい。なお、ここで用いられる「特徴情報」は、例えば、撮像履歴データベース121に登録されていてよい。
(登録部137について)
登録部137は、判定部136による判定結果に応じて、訪問者情報データベース122への情報登録を行う。
例えば、登録部137は、第1の訪問者の中に第2の訪問者と同一人物が存在すると判定された場合には、第2の訪問者と同一人物であると判定された第1の訪問者を識別する識別情報に対して、当該第2の訪問者の顔画像を対応付けて訪問者情報データベース122に登録する。
一方、登録部137は、第1の訪問者の中に第2の訪問者と同一人物が存在しないと判定された場合には、当該第2の訪問者を新たな訪問者として識別する識別情報を払い出し、払い出した識別情報に対して、当該第2の訪問者の顔画像を対応付けて訪問者情報データベース122に登録する。
登録部137は、所定の訪問先に設置される撮像装置30により訪問者に対して検知された検知結果から、訪問者が特定の属性であると認識された場合には、当該特定の属性を示す属性情報を識別情報に対応付けて訪問者情報データベース122に登録してよい。具体的な一例を挙げると、登録部137は、撮像装置30により訪問者に対して検知された体温から、訪問者が温度異常であると認識できた場合には、温度異常を示す属性情報を識別情報に対応付けて訪問者情報データベース122に登録する。また、登録部137は、撮像装置30により訪問者に対して検知された顔から、訪問者がマスク未着用であると認識できた場合には、マスク未着用を示す属性情報を識別情報に対応付けて訪問者情報データベース122に登録する。
(通知部138について)
通知部138は、第2の訪問者と同一人物であると判定された第1の訪問者に対応する属性情報が特定の属性を示す場合には、少なくとも過去の訪問時において当該特定の属性であった対象人物が第2の訪問者として今回再訪したことを通知する。
例えば、通知部138は、第1の訪問者の中に第2の訪問者と同一人物が存在すると判定された場合には、第2の訪問者の顔画像が撮像日時に応じて時系列順にリアルタイム表示される画面であるタイムライン画面において、対象人物が再訪したことを通知する。具体的には、通知部138は、タイムライン画面において時系列順に一覧表示される第2の訪問者の顔画像のうち、対象人物の顔画像に対して、特定の属性を示す属性情報をタグ付けすることで、対象人物が再訪したことを通知する。
〔5.情報処理の具体的な一例について〕
続いて、情報処理装置100による画面制御の例を用いて、図3で説明した処理部によって行われる情報処理の一例についてより詳細に説明する。具体的には、図9~図14にかけて実施形態に係る情報処理の具体的な一例を示す。なお、図9~図14に説明では、情報処理装置100との間で情報の送受信を行う利用者として、店舗FC1の利用者U11を例に挙げて説明する。なお、以下の実施形態において、「押下」との表現は、タッチ、タップ、クリック等、選択操作を示す各種ユーザ操作の概念を含み得るものとする。
〔5-1.タグ作成について〕
まず、図9を用いて、利用者に対してタグ作成を行わせるための情報処理の一例について説明する。図9は、タグ作成に係る情報処理の一例を示す図である。図9に示すように、利用者U11は、まず、設定TOP画面C11にアクセスし、設定TOP画面C11から様々な画面にアクセスすることで、アクセス先の画面で情報設定することができる。
例えば、利用者U11は、設定TOP画面C11に設けられる「タグ管理」ボタンを押下することで、タグ作成に関する画面にアクセスすることができる。
したがって、画面制御部132は、「タグ管理」ボタンが押下された場合には、利用者U11の端末装置10にタグ管理画面C12が表示されるよう表示制御する。タグ管理画面C12に表示される内容は、利用者U11による現時点でのタグ作成状況によって更新されてよい。
図9に示すタグ管理画面C12には、「VIP」、「温度異常」、「マスク未着用」、「会員様」といった属性情報(第2の属性情報)が一覧表示される例が示される。係る例は、「VIP」、「温度異常」、「マスク未着用」、「会員様」と判断された人物が再訪した旨の通知を受けたいために、利用者U11が、属性情報「VIP」を用いて「VIP」タグを作成し、属性情報「温度異常」を用いて「温度異常」タグを作成し、属性情報「マスク未着用」を用いて「マスク未着用」タグを作成し、また、属性情報「会員様」を用いて「会員様」タグを作成している例を示す。
このような状態において、利用者U11は、さらに新たなタグを作成したいとする。図9の例では、利用者U11は、「不審者」タグを新たに作成したいとする。このような場合、利用者U11は、タグ管理画面C12に設けられる「タグを追加」ボタンを押下する。
画面制御部132は、「タグを追加」ボタンが押下された場合には、利用者U11の端末装置10にタグ作成画面C13が表示されるよう表示制御する。
図9の例によれば、タグ作成画面C13には、タグ名称を入力するための入力欄IF131が含まれるとともに、タグに対して好みのカラーを適用できるようタグカラーの候補が選択可能な状態で表示されてよい。また、図9に示すように、タグ作成画面C13には、利用者U11に紐付けられる(利用者U11に管理の権限が与えられている)撮像装置30に関する情報がさらに表示されてもよい。
ここで、利用者U11は、図9に示すように、タグ作成画面C13の入力欄IF131に「不審者」を入力し、また、タグカラー「黒」を選択したうえで、画面上部の「登録ボタン」を押下したとする。係る場合、作成設定受付部134は、タグ名称「不審者」およびタグカラー「黒」で構成される「不審者」タグを識別するタグID「TG115」を払い出す。そして、作成設定受付部134は、利用者ID「U11」とタグID「TG115」との組に対して、タグ名称「不審者」と、タグカラー「黒」を示すカラーNo「01」とを対応付けて、タグ情報データベース123に登録する。なお、係る例は、図6に示すタグ情報データベース123の例に対応する。
また、この時点で、利用者U11による「不審者」タグの作成は完了することとなる。例えば、画面制御部132は、タグ作成が完了したことの通知として、「登録ボタン」が押下された場合には、図9に示すように、黒色の「不審者」タグが新たに追加されたタグ管理画面C12を再表示させて良い。
〔5-2.タグ付与について〕
次に、図10を用いて、作成されたタグを実際にタグ付け対象者に付与するための情報処理の一例について説明する。図10は、タグ付与に係る情報処理の一例を示す図である。
利用者U11は、タグ付けするにあたって、まず、タグ付け対象者を指定する。例えば、利用者U11は、タイムライン画面C21で一覧表示される顔画像の中から任意の顔画像を選択し、選択した顔画像の人物をタグ付け対象者として指定することができる。
図10に示すタイムライン画面C21では、店舗FC1に設置される撮像装置30-11によって人物が撮像された順に、当該人物の顔画像が上から下へと流れるようにリアルタイム表示される。このようなタイムライン画面C21によれば、上に表示される顔画像程、撮像日時が新しい最新の顔画像となる。
このような状態において、利用者U11は、タイムライン画面C21に顔画像が表示される人物のうち、人物P11に対して「VIP」および「会員様」と判断したとする。また、利用者U11は、係る判断に応じて、属性情報「VIP」に対応する「VIP」タグ、属性情報「会員様」に対応する「会員様」タグを人物P11に付与したいとする。このような場合、利用者U11は、まずは、タイムライン画面C21に一覧表示される顔画像のうち、人物P11の顔画像を選択する。図10の例では、利用者U11は、人物P11の顔画像として、顔画像♯111を選択したものとする。
なお、図1の例に倣えば、情報処理装置100は、訪問者情報データベース122に登録される第1の訪問者それぞれの顔画像と、第2の訪問者である人物P11の顔画像♯111との照合の結果、この時点では、第1の訪問者としての人物の中に人物P11と同一人物は存在しないと判定している。また、係る判定結果に応じて、情報処理装置100は、人物P11を第1の訪問者として新たに識別する訪問者ID「VID11」を払い出し、払い出した訪問者ID「VID11」に対して、人物P11の顔画像♯111を対応付けて訪問者情報データベース122している。
図10の説明に戻ると、画面制御部132は、顔画像♯111が選択されたことに応じて、利用者U11の端末装置10に登録者画面C22が表示されるよう表示制御する。図10の例では、登録者画面C22には、人物P11に関する現在の登録状況が表示される。この時点では、利用者U11は、人物P11に対してタグ付与を行っておらず、また、その他の情報も登録していない。このため、図10に示す登録者画面C22では、TAG欄や、NOTE欄は空欄であり、人物P11をタグ付け対象者として、その顔画像♯111が表示されるのみである。
ここで、利用者U11は、人物P11にタグを付与するために画面上部の「編集ボタン」を押下したとする。そうすると、画面制御部132は、利用者U11の端末装置10にタグ選択画面C23が表示されるよう表示制御する。図10の例では、タグ選択画面C23には、利用者U11による生成済みのタグが表示される。例えば、図6の例のように、利用者U11が、「VIP」タグ、「温度異常」タグ、「マスク未着用」タグ、「会員様」タグ、「不審者」タグを作成済みであると、係る例に合わせて、タグ選択画面C23には、これらのタグが一覧表示される。また、タグ選択画面C23では、生成済みのタグの中から任意のタグを選択可能なように、各タグに対してチェックボックスが対応付けられる。
そして、利用者U11は、図10に示すように、タグ選択画面C23において、「VIP」タグのチェックボックス、および、「会員様」タグのチェックボックスにチェックマークを入力したうえで、画面上部の「完了ボタン」を押下したとする。係る場合、付与設定受付部135は、利用者ID「U11」と対象者ID「VID11」と画像ID「FID111」との組に対して、タグID「TG111」と、タグ名称「VIP」とを対応付けて、登録者情報データベース124に登録する。また、付与設定受付部135は、利用者ID「U11」と対象者ID「VID11」と画像ID「FID111」との組に対して、画像ID「FID111」と、タグID「TG114」と、タグ名称「会員様」とを対応付けて、登録者情報データベース124に登録する。
また、この時点で、タグ付け対象者である人物P11に対する、「VIP」タグおよび「会員様」タグの付与が完了することとなる。
また、画面制御部132は、「VIP」タグおよび「会員様」タグの付与が完了すると、利用者U11の端末装置10に確認画面C24が表示されるよう表示制御する。図10に示すように、確認画面C24には、人物P11に対して、「VIP」タグおよび「会員様」タグが付与されたことが示される。具体的には、確認画面C24のTAG欄において、「VIP」タグおよび「会員様」タグが表示される。また、図10に示す確認画面C24の例では、利用者U11によってNOTE欄に「常連のお客様」がテキスト入力されている。
〔5-3.通知設定について〕
次に、図11を用いて、通知制御に関する設定(通知設定)を受け付けるための情報処理の一例について説明する。図11は、通知設定に係る情報処理の一例を示す図である。
利用者U11は、設定TOP画面C11に設けられる「通知設定」ボタンを押下することで、通知設定に関する画面にアクセスすることができる。
したがって、画面制御部132は、「通知設定」ボタンが押下された場合には、利用者U11の端末装置10に通知設定画面C31が表示されるよう表示制御する。通知設定画面C31に表示される内容は、利用者U11による現時点でのタグ作成状況によって更新されてよい。
図11に示すように、通知設定画面C31には、訪問通知のON/OFFを切り替えるための切り替えスイッチSW32が含まれてよい。
また、図11に示すように、通知設定画面C31には、特定の属性の人物が訪問するたびに訪問通知させるための属性情報であって、この特定の属性を示す属性情報(第1の属性情報)の設定を通知対象の属性情報として受け付けるためのチェックボックスCB321およびCB322が含まれてよい。第1の属性情報とは、感染症対策用の属性「温度異常」であってよく、「温度異常」の人物が訪問したことの通知を受けたい場合には、チェックボックスCB321にチェックマークが入力される。他の一例として、第1の属性情報とは、感染症対策用の属性「マスク未着用」であってよく、「マスク未着用」の人物が訪問したことの通知を受けたい場合には、チェックボックスCB322にチェックマークが入力される。
また、図11に示すように、通知設定画面C31には、特定の属性であった人物が再訪したことを通知させるための属性情報であって、この特定の属性を示す属性情報(第2の属性情報)を通知対象の属性情報として受け付けるためのチェックボックスが含まれてよい。つまり、通知設定画面C31には、利用者U11により作成されたタグが付された人物が再訪した場合に、再訪したことを通知させるか否かを設定するためのチェックボックスが含まれる。
例えば、図6の例のように、利用者U11が、「VIP」タグ、「温度異常」タグ、「マスク未着用」タグ、「会員様」タグ、「不審者」タグを作成済みであると、係る例に合わせて、通知設定画面C31には、これらのタグに応じたチェックボックスが一覧表示される。具体的には、第2の属性情報「VIP」に対応する「VIP」タグを利用者U11が作成したことに応じて、図11に示すように、通知設定画面C31には、「VIP」タグが付された人物の再訪を通知させるためのチェックボックスCB323が設けられる。また、第2の属性情報「温度異常」に対応する「温度異常」タグを利用者U11が作成したことに応じて、通知設定画面C31には、「温度異常」タグが付された人物の再訪を通知させるためのチェックボックスCB324が設けられる。また、第2の属性情報「マスク未着用」に対応する「マスク未着用」タグを利用者U11が作成したことに応じて、通知設定画面C31には、「マスク未着用」タグが付された人物の再訪を通知させるためのチェックボックスCB325が設けられる。また、第2の属性情報「会員様」に対応する「会員様」タグを利用者U11が作成したことに応じて、通知設定画面C31には、「会員様」タグが付された人物の再訪を通知させるためのチェックボックスCB326が設けられる。また、第2の属性情報「不審者」に対応する「不審者」タグを利用者U11が作成したことに応じて、通知設定画面C31には、「不審者」タグが付された人物の再訪を通知させるためのチェックボックスCB327が設けられる。
また、図11に示すように、通知設定画面C31には、利用者U11に紐付けられる撮像装置30のうち、いずれの撮像装置30により撮像された顔画像を通知に利用させるか、利用対象の撮像装置30を設定するためのチェックボックスが含まれてよい。
例えば、利用者U11に紐付けられる撮像装置30が、装置ID「AAABBB1」で識別される撮像装置30、および、装置ID「AAABBB2」であるとする。係る場合には、図11に示すように、通知設定画面C31には、これらの装置IDとともにチェックボックスが表示されよい。図11の例によれば、通知設定画面C31には、装置ID「AAABBB1」で識別される撮像装置30を利用対象の撮像装置30と定めるためのチェックボックスCB328が設けられる。また、図11の例によれば、通知設定画面C31には、装置ID「AAABBB2」で識別される撮像装置30を利用対象の撮像装置30と定めるためのチェックボックスCB329が設けられる。なお、通知設定画面C31には、装置IDだけでなく、装置IDで識別される撮像装置30のデバイス名や、装置IDで識別される撮像装置30の設置場所が表示されてもよい。
ここで、利用者U11は、図11の例のように、切り替えスイッチSW32をONにし、また、各チェックボックスにチェックマークを入力したとする。係る場合、通知設定受付部133は、係る入力操作に応じた設定内容を通知設定しとして受け付け、通知設定データベース125に登録する。
〔5-4.設定内容の確認について〕
また、利用者U11は、自身がタグ付けした人物が再訪したことによる再訪通知に応じて、係る人物に対する設定内容(登録内容)を確認することができる。この点について、図12を用いて説明する。図12は、設定内容の確認に係る情報処理の一例(1)を示す図である。
図12では、人物P11が店舗FC1に再訪した場合のタイムライン画面C21の例を用いて、再訪した人物P11について利用者U11が設定内容を確認する場面を示す。
まず、利用者U11によるこれまでの設定内容によれば、対象者ID「VID11」で識別される人物P11に「VIP」タグおよび「会員様」タグが付与される(図7より)。この結果、訪問者情報データベース122では、訪問者ID「VID11」に対して、「顔画像♯111」と、属性情報「VIP」および「会員様」とが対応付けられた状態で登録される(図5より)。係る例によれば、判定部136は、人物P11について今回撮像された顔画像♯131(第2の訪問者の顔画像)と、顔画像♯111(第1の訪問者の顔画像)との照合の結果、人物P11は初めての訪問者ではなく、再訪であると判定することができる。
また、通知部138は、判定部136による判定結果に応じて、人物P11の顔画像♯131に対して「VIP」タグおよび「会員様」タグを付与した状態でタイムライン画面C21に表示させるという再訪通知を行う。図12に示すタイムライン画面C21は、通知部138による係る再訪通知に対応し、最上部の顔画像♯131には、「VIP」タグと「会員様」タグとが付されている。
利用者U11は、図12に示すタイムライン画面C21を介して、自身が「VIP」および「会員様」と判断した人物P11が再訪したことを認識すると、人物P11に対して設定した内容を確認するために、タイムライン画面C21から登録者画面C22へとアクセスすることができる。例えば、利用者U11は、「VIP」タグおよび「会員様」タグが付された人物P11の顔画像♯131を選択することで、登録者画面C22へとアクセスすることができる。例えば、画面制御部132は、人物P11の顔画像♯131が選択された場合には、利用者U11の端末装置10に登録者画面C22が表示されるよう表示制御する。
また、図12の例のように、例えば、設定内容の確認のためタイムライン画面C21からアクセスされた場合には、アクセス先の登録者画面C22において、人物P11がこれまでに撮像された顔画像および撮像日時の組が撮像履歴(検知履歴)としてさらに表示されてもよい。また、撮像履歴には、図12に示すように、顔画像を撮像した撮像装置30を識別する装置IDや、顔画像を撮像した撮像装置30の設置場所が含まれてもよい。
〔5-5.人物追跡について〕
図12では、タグ付けされた人物が再訪したことによる再訪通知に応じて、係る人物に対する設定内容を確認させるため情報処理が行われる点について説明した。しかしながら、情報処理装置100は、タグ付けされた人物が一覧表示される追跡画面を介して、タグ付された人物のうち任意の人物に対する設定内容を確認させることもできる。この点について、図13を用いて説明する。図13は、設定内容の確認に係る情報処理の一例(2)を示す図である。
図13の例では、画面制御部132は、利用者U11からのアクセスに応じて、利用者U11の端末装置10に追跡画面C41が表示されるよう表示制御する。例えば、画面制御部132は、登録者情報データベース124に登録されている情報に基づいて、利用者U11によってタグが付与されている人物に関する情報を、対応するデータベースから抽出する。そして、画面制御部132は、抽出した情報を用いて、利用者U11によってタグ付けされた人物が一覧表示される追跡画面C41を生成し、生成した追跡画面C41が端末装置10に表示されるよう表示制御する。
ここで、利用者U11は、「VIP」タグおよび「会員様」タグが付された人物P11の顔画像♯131を選択したとする。係る場合、画面制御部132は、利用者U11の端末装置10に登録者画面C22が表示されるよう表示制御する。
また、図13の例のように、例えば、設定内容の確認のため追跡画面C41からアクセスされた場合には、アクセス先の登録者画面C22において、人物P11がこれまでに撮像された顔画像および撮像日時の組が撮像履歴(検知履歴)としてさらに表示されてもよい。また、撮像履歴には、図13に示すように、顔画像を撮像した撮像装置30を識別する装置IDや、顔画像を撮像した撮像装置30の設置場所が含まれてもよい。
〔5-6.ダッシュボード機能について〕
また、情報処理装置100は、訪問者に関する情報を分析しグラフィカルにまとめることで、分析結果を可視化するツールとして、ダッシュボード機能を有してよい。図14では、情報処理装置100が有するダッシュボード機能の一例について説明する。
図14の例では、画面制御部132は、利用者U11からのアクセスに応じて、利用者U11の端末装置10に分析結果画面C51が表示されるよう表示制御する。例えば、画面制御部132は、訪問者情報データベース122に登録されている情報を集計/分析することで、分析結果が表示される分析結果画面C51を生成する。そして、画面制御部132は、生成した分析結果画面C51が端末装置10に表示されるよう表示制御する。
これまで説明したように、利用者あるいは情報処理装置200は、訪問してきた人物に対して検知された体温から、係る人物が属性「温度異常」であるか否かを判断することができる。また、属性「温度異常」と判断された人物には、対応するタグが付与される場合がある。付与結果は訪問者情報データベース122に反映されるため、画面制御部132は、訪問者情報データベース122を参照し、属性「温度異常」と判断された人物の数が、時間経過に応じてどのように推移しているかを分析し、分析結果RE511が表示される分析結果画面C51を生成してよい。図14の例によれば、分析結果RE511は、横軸を「時間」、縦軸を「累計人数」とするグラフG1で示されてよい。
また、利用者あるいは情報処理装置200は、訪問してきた人物の顔画像から、係る人物が属性「マスク未着用」であるか否かを判断することができる。また、属性「マスク未着用」と判断された人物には、対応するタグが付与される場合がある。付与結果は訪問者情報データベース122に反映されるため、画面制御部132は、訪問者情報データベース122を参照し、属性「マスク未着用」と判断された人物の数が、時間経過に応じてどのように推移しているかを分析し、分析結果RE512が表示される分析結果画面C51を生成してよい。図14の例によれば、分析結果RE512は、横軸を「時間」、縦軸を「累計人数」とするグラフG2で示されてよい。
また、利用者は、訪問してきた人物の顔画像から、係る人物が属性「ブラックリスト」であると判断することで、対応するタグが付与する場合がある。付与結果は訪問者情報データベース122に反映されるため、画面制御部132は、訪問者情報データベース122を参照し、属性「ブラックリスト」と判断された人物の数が、時間経過に応じてどのように推移しているかを分析し、分析結果RE513が表示される分析結果画面C51を生成してよい。図14の例によれば、分析結果RE513は、横軸を「時間」、縦軸を「累計人数」とするグラフG3で示されてよい。
なお、図14では、分析対象の属性情報が「温度異常」、「マスク未着用」、「ブラックリスト」である例を示したが、分析対象の属性は、係る例に限定されない。
例えば、利用者U11が、「VIP」タグ、「温度異常」タグ、「マスク未着用」タグ、「会員様」タグ、「不審者」タグを作成済であるとする。係る場合、画面制御部132は、属性情報「VIP」、属性情報「温度異常」、属性情報「マスク未着用」、属性情報「会員様」、属性情報「不審者」それぞれについて、時間経過に応じた累積人数を分析することで、各属性情報に対応するグラフが分析結果として表示される分析結果画面C51を生成してもよい。
また、画面制御部132は、属性情報「VIP」、属性情報「温度異常」、属性情報「マスク未着用」、属性情報「会員様」、属性情報「不審者」の中から、分析対象の属性情報を利用者U11に選択させることで、選択された属性情報について累積人数を分析してもよい。
〔6.処理手順〕
次に、図15を用いて、実施形態に係る情報処理手順の一例について説明する。図15は、実施形態に係る情報処理手順を示すシーケンス図である。図15では、実施形態に係る情報処理システム1に含まれる各装置間で行われる情報処理の手順を示す。なお、図15の例では、利用者によってタグ作成、タグ付け対象者へのタグ付与、各種通知設定が行われているものとして説明する。
また、図15に示す撮像装置30は、所定の施設FCxに設置される撮像端末であり、端末装置10は、施設FCxに属する任意の利用者Uxにより利用される情報処理端末であるものとして説明する。また、図15の例では、利用者Uxは、訪問通知を受けるために、端末装置10を用いて、情報処理装置100にアクセスしているものとする。
まず、撮像装置30は、施設FCxに人物が訪問することに応じて、訪問してきた人物(第2の訪問者)の顔を検知できたか否かを判定する(ステップS101)。撮像装置30は、顔を検知できていない間は(ステップS101;No)、顔を検知できるまで待機する。
一方、撮像装置30は、顔を検知できた場合には(ステップS101;Yes)、検知した顔の顔画像を撮像する(ステップS102)。
また、撮像装置30は、ステップS102で撮像した顔画像を情報処理装置100に送信する(ステップS103)。なお、撮像装置30は、ステップS102において、人物の体温も検知し、検知結果から属性「温度異常」と判断できた場合には、顔画像とともに属性情報「温度異常」を情報処理装置100に送信してもよい。また、撮像装置30は、顔画像から属性「マスク未着用」と判断できた場合には、顔画像とともに属性情報「マスク未着用」を情報処理装置100に送信してもよい。
情報処理装置100の取得部131は、撮像装置20が送信した顔画像を取得する(ステップS104)。
次に、情報処理装置100の判定部136は、取得部131により取得された顔画像を用いて、同一人物判定処理を行う(ステップS105)。例えば、判定部136は、訪問者情報データベース122に登録される顔画像(第1の本門者の顔画像)と、取得部131により取得された顔画像(第2の訪問者の顔画像)との照合により第1の訪問者の中に第2の訪問者と同一人物が存在するか否かを判定する。
ここで、通知部138、第1の訪問者の中に第2の訪問者と同一人物が存在すると判定された場合には(ステップS105a;Yes)、判定対象の第1の訪問者による過去訪問時の属性が特定の属性であるか否かを判定する(ステップS106a)。例えば、通知部138は、訪問者情報データベース122を参照し、判定対象の第1の訪問者に対して、利用者Uxが判断した属性情報あるいは情報処理装置100が動的に判断した属性情報がタグとして付与されているか否かを判定する。そして、通知部138は、属性情報がタグとして付与されていると判定した場合には、判定対象の第1の訪問者による過去訪問時の属性が特定の属性(タグによって示される属性)であると判定することができる。一方、通知部138は、属性情報がタグとして付与されていないと判定した場合には、判定対象の第1の訪問者による過去訪問時の属性が特定の属性でないと判定することができる。
通知部138は、判定対象の第1の訪問者による過去訪問時の属性が特定の属性であると判定した場合には(ステップS106a;Yes)、第2の訪問者の顔画像(ステップS102で撮像された顔画像)を取得する(ステップS107)。
そして、通知部138は、ステップS106aで対象となっている特定の属性を示す属性情報を、ステップS107で取得した顔画像にタグ付けする(ステップS108)。また、通知部138は、ステップS108でタグを付されたタグ付け画像をタイムライン画面C21への表示対象として決定する(ステップS109)。
そして、通知部138は、決定した画像(タグ付け画像)がタイムライン画面C21に表示されるよう表示制御することで、少なくとも過去訪問時において特定の属性であった対象人物が第2の訪問者として再訪したことを通知する(ステップS110)。
ステップS106aに戻り、通知部138は、判定対象の第1の訪問者による過去訪問時の属性が特定の属性でないと判定した場合には(ステップS106a;No)、第2の訪問者の顔画像(ステップS102で撮像された顔画像)を取得する(ステップS111)。そして、通知部138は、ステップS107で取得した顔画像そのもの(つまり、タグが付されていないタグなし画像)をタイムライン画面C21への表示対象として決定する(ステップS112)。
また、係る例では、通知部138は、ステップS110では、決定した画像(タグ付なし画像)がタイムライン画面C21に表示されるよう表示制御することで訪問通知する。
ステップS105に戻り、登録部137は、第1の訪問者の中に第2の訪問者と同一人物が存在しないと判定された場合には(ステップS105a;No)、第2の訪問者を施設FCxへの初回訪問者として新規登録する(ステップS106b)。例えば、登録部137は、第2の訪問者である人物を第1の訪問者として識別する新たな「訪問者ID」を払い出し、払い出した「訪問者ID」に対して第2の訪問者の顔画像を対応付けて訪問者情報データベース122に登録する。
なお、登録部137は、第1の訪問者の中に第2の訪問者と同一人物が存在すると判定された場合には(ステップS105a;Yes)、判定対象の第1の訪問者を識別する「訪問者ID」に対して、第2の訪問者の顔画像を対応付けて訪問者情報データベース122に登録してよい。
〔7.まとめ〕
これまで説明してきたように、実施形態に係る情報処理装置100は、所定の訪問先に訪問したことがある第1の訪問者の顔画像と、当該第1の訪問者の訪問時の属性を示す属性情報とを取得する。また、情報処理装置100は、所定の訪問先に第2の訪問者が訪問した場合に、第1の訪問者の顔画像と、第2の訪問者の顔画像との照合により、第1の訪問者の中に第2の訪問者と同一人物が存在するか否かを判定する。
そして、情報処理装置100は、第1の訪問者の中に第2の訪問者と同一人物が存在すると判定した場合であって、第2の訪問者と同一人物であると判定された第1の訪問者に対応する属性情報が特定の属性を示す場合には、少なくとも上記の訪問時において特定の属性であった対象人物が第2の訪問者として再訪したことを通知する。
このような情報処理装置100によれば、情報処理装置100からサービス提供を受ける利用者は、特定の属性であると判断された訪問者について以降の訪問を効果的にトラッキングすることができることができるようになる。また、この結果、利用者は、例えば、訪問者の健康管理、感染症対策、防犯対策、販促活動、営業活動、あるいは、受付対応等を適切に行うことができるようになる。
〔8.ハードウェア構成〕
また、上述してきた情報処理装置100は、例えば、図16に示すような構成のコンピュータ1000によって実現される。図16は、情報処理装置100の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が端末装置10として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部13の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
また、例えば、コンピュータ1000が情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130の機能を実現する。
〔9.その他〕
また、上記各実施形態において説明した処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上記各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
1 情報処理システム
10 端末装置
30 撮像装置
100 情報処理装置
120 記憶部
121 撮像履歴データベース
122 訪問者情報データベース
123 タグ情報データベース
124 登録者情報データベース
125 通知設定データベース
130 制御部
131 取得部
132 画面制御部
133 通知設定受付部
134 作成設定受付部
135 付与設定受付部
136 判定部
137 登録部
138 通知部

Claims (17)

  1. 所定の訪問先に訪問したことがある第1の訪問者の顔画像と、当該第1の訪問者の訪問時の属性を示す属性情報とを取得する取得部と、
    前記所定の訪問先に第2の訪問者が訪問した場合に、前記第1の訪問者の顔画像と、前記第2の訪問者の顔画像との照合により、前記第1の訪問者の中に前記第2の訪問者と同一人物が存在するか否かを判定する判定部と、
    前記第2の訪問者と同一人物であると判定された第1の訪問者に対応する属性情報が特定の属性を示す場合には、少なくとも前記訪問時において当該特定の属性であった対象人物が前記第2の訪問者として再訪したことを通知する通知部と
    を有することを特徴とする情報処理装置。
  2. 前記判定部は、前記第2の訪問者ごとに顔画像が撮像されるたびに、撮像された前記第2の訪問者の顔画像と、前記第1の訪問者の顔画像とをリアルタイムに照合することで、前記第1の訪問者の中に前記第2の訪問者と同一人物が存在するか否かを判定し、
    前記通知部は、前記第1の訪問者の中に前記第2の訪問者と同一人物が存在すると判定された場合には、前記第2の訪問者の顔画像が撮像日時に応じて時系列順にリアルタイム表示される画面であるタイムライン画面において、前記対象人物が再訪したことを通知する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記通知部は、前記タイムライン画面において時系列順に一覧表示される前記第2の訪問者の顔画像のうち、前記対象人物の顔画像に対して、前記特定の属性を示す属性情報をタグ付けすることで、前記対象人物が再訪したことを通知する
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記判定部による判定結果に応じて、所定の記憶部への情報登録を行う登録部をさらに有する
    ことを特徴とする請求項1~3のいずれか1つに記載の情報処理装置。
  5. 前記登録部は、前記第1の訪問者の中に前記第2の訪問者と同一人物が存在すると判定された場合には、前記第2の訪問者と同一人物であると判定された第1の訪問者を識別する識別情報に対して、当該第2の訪問者の顔画像を対応付けて前記所定の記憶部に登録する
    ことを特徴とする請求項4に記載の情報処理装置。
  6. 前記登録部は、前記第1の訪問者の中に前記第2の訪問者と同一人物が存在しないと判定された場合には、当該第2の訪問者を新たな訪問者として識別する識別情報を払い出し、払い出した識別情報に対して、当該第2の訪問者の顔画像を対応付けて前記所定の記憶部に登録する
    ことを特徴とする請求項4または5に記載の情報処理装置。
  7. 前記登録部は、前記所定の訪問先に設置される撮像装置により訪問者に対して検知された検知結果から、前記訪問者が特定の属性であると認識された場合には、当該特定の属性を示す属性情報を前記識別情報に対応付けて前記所定の記憶部に登録する
    ことを特徴とする請求項5または6に記載の情報処理装置。
  8. 前記特定の属性は、温度異常、または、マスク未着用のいずれかである
    ことを特徴とする請求項7に記載の情報処理装置。
  9. 前記通知部による通知態様に関する情報設定を利用者から受け付ける設定受付部をさらに有する
    ことを特徴とする請求項1~8のいずれか1つに記載の情報処理装置。
  10. 前記設定受付部は、どのような属性の人物が訪問した場合に前記利用者に対して訪問通知するか、通知対象の属性情報を受け付け、
    前記通知部は、前記通知対象の属性情報に応じた通知を行う
    ことを特徴とする請求項9に記載の情報処理装置。
  11. 前記設定受付部は、特定の属性の人物が訪問するたびに訪問通知させるための属性情報であって当該特定の属性を示す第1の属性情報を前記通知対象の属性情報として受け付け、
    前記通知部は、前記第2の訪問者が訪問した際に当該第2の訪問者について前記第1の属性情報が示す属性であると認識された場合には、前記第1の訪問者の中に当該第2の訪問者と同一人物が存在するか否かに拘わらず、前記第1の属性情報が示す属性の人物が訪問したことを通知する
    ことを特徴とする請求項10に記載の情報処理装置。
  12. 前記設定受付部は、特定の属性であった人物が再訪したことを通知させるための属性情報であって当該特定の属性を示す属性情報である第2の属性情報を前記通知対象の属性情報として受け付け、
    前記通知部は、前記第2の訪問者と同一人物であると判定された第1の訪問者に対応する属性情報が前記第2の属性情報である場合には、少なくとも前記訪問時において前記第2の属性情報が示す属性であった対象人物が前記第2の訪問者として再訪したことを通知する
    ことを特徴とする請求項10または11に記載の情報処理装置。
  13. 前記設定受付部は、前記所定の訪問先に訪問した訪問者のうち、前記第2の属性情報がタグ付されるタグ付け対象者の指定をさらに受け付け、前記タグ付け対象者が指定された場合には、前記第2の属性情報を前記第1の訪問者の訪問時の属性を示す属性情報として、前記タグ付け対象者の顔画像に対応付けて記憶する
    ことを特徴とする請求項12に記載の情報処理装置。
  14. 前記設定受付部は、前記タグ付け対象者に対して前記第2の属性情報が付与されてから所定期間経過した場合には、前記第2の属性情報から前記第2の属性情報の付与を解除する
    ことを特徴とする請求項13に記載の情報処理装置。
  15. 前記設定受付部は、前記利用者に紐付けられる撮像装置のうち、いずれの撮像装置により撮像された人物を訪問通知の対象とするか、利用対象の撮像装置の指定をさらに受け付ける
    ことを特徴とする請求項9~14のいずれか1つに記載の情報処理装置。
  16. 情報処理装置が実行する情報処理方法であって、
    所定の訪問先に訪問したことがある第1の訪問者の顔画像と、当該第1の訪問者の訪問時の属性を示す属性情報とを取得する取得工程と、
    前記所定の訪問先に第2の訪問者が訪問した場合に、前記第1の訪問者の顔画像と、前記第2の訪問者の顔画像との照合により、前記第1の訪問者の中に前記第2の訪問者と同一人物が存在するか否かを判定する判定工程と、
    前記第2の訪問者と同一人物であると判定された第1の訪問者に対応する属性情報が特定の属性を示す場合には、少なくとも前記訪問時において当該特定の属性であった対象人物が前記第2の訪問者として再訪したことを通知する通知工程と
    を含むことを特徴とする情報処理方法。
  17. 所定の訪問先に訪問したことがある第1の訪問者の顔画像と、当該第1の訪問者の訪問時の属性を示す属性情報とを取得する取得手順と、
    前記所定の訪問先に第2の訪問者が訪問した場合に、前記第1の訪問者の顔画像と、前記第2の訪問者の顔画像との照合により、前記第1の訪問者の中に前記第2の訪問者と同一人物が存在するか否かを判定する判定手順と、
    前記第2の訪問者と同一人物であると判定された第1の訪問者に対応する属性情報が特定の属性を示す場合には、少なくとも前記訪問時において当該特定の属性であった対象人物が前記第2の訪問者として再訪したことを通知する通知手順と
    をコンピュータに実行させることを特徴とする情報処理プログラム。
JP2021116069A 2021-07-14 2021-07-14 情報処理装置、情報処理方法および情報処理プログラム Active JP7064642B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021116069A JP7064642B1 (ja) 2021-07-14 2021-07-14 情報処理装置、情報処理方法および情報処理プログラム
US17/529,028 US20230021003A1 (en) 2021-07-14 2021-11-17 Information processing apparatus, information processing method, and non-transitory computer readable storage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021116069A JP7064642B1 (ja) 2021-07-14 2021-07-14 情報処理装置、情報処理方法および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP7064642B1 JP7064642B1 (ja) 2022-05-10
JP2023012574A true JP2023012574A (ja) 2023-01-26

Family

ID=81535291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021116069A Active JP7064642B1 (ja) 2021-07-14 2021-07-14 情報処理装置、情報処理方法および情報処理プログラム

Country Status (2)

Country Link
US (1) US20230021003A1 (ja)
JP (1) JP7064642B1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011204062A (ja) * 2010-03-26 2011-10-13 Panasonic Electric Works Co Ltd 入退場管理システム及び入退場管理装置
JP2011233133A (ja) * 2010-04-09 2011-11-17 Miyake Inc 万引き防止システム
JP2014016969A (ja) * 2012-07-11 2014-01-30 Toshiba Corp 顔照合システム
JP2016184197A (ja) * 2015-03-25 2016-10-20 株式会社 日立産業制御ソリューションズ 管理システム及び管理方法
JP2017054361A (ja) * 2015-09-10 2017-03-16 株式会社東芝 監視システム及び通行管理システム
JP2020077319A (ja) * 2018-11-09 2020-05-21 セコム株式会社 画像監視システム
JP2020120323A (ja) * 2019-01-25 2020-08-06 パナソニックi−PROセンシングソリューションズ株式会社 情報処理装置および照合方法
US20200365002A1 (en) * 2020-06-24 2020-11-19 Paul Edward Moshe Modiano Crowd management in an enclosed premises
JP2021068201A (ja) * 2019-10-24 2021-04-30 日本金銭機械株式会社 ネットワークシステム、不審者検知装置、および不審者検知方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011204062A (ja) * 2010-03-26 2011-10-13 Panasonic Electric Works Co Ltd 入退場管理システム及び入退場管理装置
JP2011233133A (ja) * 2010-04-09 2011-11-17 Miyake Inc 万引き防止システム
JP2014016969A (ja) * 2012-07-11 2014-01-30 Toshiba Corp 顔照合システム
JP2016184197A (ja) * 2015-03-25 2016-10-20 株式会社 日立産業制御ソリューションズ 管理システム及び管理方法
JP2017054361A (ja) * 2015-09-10 2017-03-16 株式会社東芝 監視システム及び通行管理システム
JP2020077319A (ja) * 2018-11-09 2020-05-21 セコム株式会社 画像監視システム
JP2020120323A (ja) * 2019-01-25 2020-08-06 パナソニックi−PROセンシングソリューションズ株式会社 情報処理装置および照合方法
JP2021068201A (ja) * 2019-10-24 2021-04-30 日本金銭機械株式会社 ネットワークシステム、不審者検知装置、および不審者検知方法
US20200365002A1 (en) * 2020-06-24 2020-11-19 Paul Edward Moshe Modiano Crowd management in an enclosed premises

Also Published As

Publication number Publication date
JP7064642B1 (ja) 2022-05-10
US20230021003A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
US20190357049A1 (en) Method and Apparatus for Passive Authentication of an Individual's Geo-Location Via a Communication Network and for User Authenticating Images, Video, Social Media Check in And Social Media Content
US7145457B2 (en) Integrated visualization of security information for an individual
US20180204299A1 (en) Method and system for controlling distribution of composite data of user by aggregation server
US20210196169A1 (en) Methods and System for Monitoring and Assessing Employee Moods
US20060283938A1 (en) Integrated visualization of security information for an individual
CN112749413B (zh) 一种基于智慧园区管理的权限验证装置及方法
JP7196932B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6624340B2 (ja) 入場管理システムおよび入場管理方法
JP2007241501A (ja) 訪問者特定システムおよび訪問者特定方法
US20220148354A1 (en) Face authentication machine and face authentication method
CN113519013A (zh) 面部认证系统以及面部认证方法
JP2007280083A (ja) 入退室・所在管理システム
US7219236B2 (en) Administering a security system
JP7064642B1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR102205671B1 (ko) 지능형 골프서비스 제공 시스템, 서버 및 방법
US20200168015A1 (en) Systems, devices, methods, and program products enhancing structure walkthroughs
US20220329589A1 (en) Methods and apparatus for providing biometric authentication and authorization services
Vagts et al. User-centric protection and privacy in smart surveillance systems
US20200125709A1 (en) Tagging system for similarity-based retriebal
JP2020191585A (ja) 情報処理装置、情報処理方法及びプログラム
WO2010004485A1 (en) A system for managing measured sensor data of a user in accordance to predefined policy rules
JP7474957B2 (ja) 顔認証システムおよび顔認証方法
JP7098508B2 (ja) 物体認証システム、物体登録装置、物体認証方法及び物体認証プログラム
CN115966031A (zh) 采用陌生人脸辨识技术的社区安保系统
TWM639272U (zh) 社區安保系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210721

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210721

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220422

R150 Certificate of patent or registration of utility model

Ref document number: 7064642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150