JP2019185236A - 案内システム - Google Patents

案内システム Download PDF

Info

Publication number
JP2019185236A
JP2019185236A JP2018072888A JP2018072888A JP2019185236A JP 2019185236 A JP2019185236 A JP 2019185236A JP 2018072888 A JP2018072888 A JP 2018072888A JP 2018072888 A JP2018072888 A JP 2018072888A JP 2019185236 A JP2019185236 A JP 2019185236A
Authority
JP
Japan
Prior art keywords
data
content
person
analysis
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018072888A
Other languages
English (en)
Other versions
JP6999237B2 (ja
Inventor
綾乃 河江
Ayano Kawae
綾乃 河江
一仁 佐野
Kazuhito Sano
一仁 佐野
博 丹下
Hiroshi Tange
博 丹下
拓己 宇津木
Takumi Utsugi
拓己 宇津木
鋭 水野
Ei Mizuno
鋭 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Energy System Corp
Original Assignee
Yazaki Energy System Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Energy System Corp filed Critical Yazaki Energy System Corp
Priority to JP2018072888A priority Critical patent/JP6999237B2/ja
Priority to CN201980024428.0A priority patent/CN111971708A/zh
Priority to SG11202009713SA priority patent/SG11202009713SA/en
Priority to PCT/JP2019/002168 priority patent/WO2019193816A1/ja
Priority to TW108107248A priority patent/TWI684938B/zh
Publication of JP2019185236A publication Critical patent/JP2019185236A/ja
Application granted granted Critical
Publication of JP6999237B2 publication Critical patent/JP6999237B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address

Landscapes

  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】特定の個人にあわせた案内を行う案内システムを提供する。【解決手段】案内システム1は、画像データ、位置データを含む解析用データを収集する収集装置10と、複数のコンテンツ出力装置40と、画像データが表す画像に含まれる人物の属性及び当該属性が特定された人物の人流を解析するデータ解析処理部23Bと、人物の人流に基づいて属性が特定された人物の動きを予測する動き予測処理部23Cと、人物の属性に基づいてコンテンツ出力装置40に出力させるコンテンツを選択するコンテンツ選択処理部33Aと、予測された人物の動きに基づいてコンテンツを出力させるコンテンツ出力装置40を決定する出力先決定処理部33Bとを備える。出力先決定処理部33Bによって決定されたコンテンツ出力装置40は、属性が特定された人物に対して選択されたコンテンツを、予測された人物の動きに応じたタイミングで出力する。【選択図】図1

Description

本発明は、案内システムに関する。
従来の案内システムとして、例えば、特許文献1には、検出手段と、推定手段と、提供手段とを備えた情報処理装置が開示されている。検出手段は、人流を検出する。推定手段は、検出手段により検出された人流に基づいて人流を構成する人員の属性を推定する。そして、提供手段は、推定手段により推定された属性に基づいて情報を提供する。
特開2017−146380号公報
ところで、上述のような案内システムは、例えば、より特定の個人にあわせた案内を行う点で更なる改善の余地がある。
本発明は、上記の事情に鑑みてなされたものであって、特定の個人にあわせた案内を行うことができる案内システムを提供することを目的とする。
上記目的を達成するために、本発明に係る案内システムは、人物を含む画像を表す画像データ、及び、前記画像が撮像された位置を表す位置データを含む解析用データを収集する収集装置と、それぞれ複数のコンテンツを出力可能である複数のコンテンツ出力装置と、前記収集装置によって収集された前記解析用データに基づいて、前記画像データが表す画像に含まれる人物の属性、及び、当該属性が特定された人物の人流を解析するデータ解析部と、前記データ解析部によって解析された前記人物の人流に基づいて、前記属性が特定された人物の動きを予測する動き予測部と、前記データ解析部によって解析された前記人物の属性に基づいて、前記複数のコンテンツから、前記コンテンツ出力装置に出力させるコンテンツを選択するコンテンツ選択部と、前記動き予測部によって予測された前記人物の動きに基づいて、前記複数のコンテンツ出力装置から、前記コンテンツ選択部によって選択された前記コンテンツを出力させるコンテンツ出力装置を決定する出力先決定部とを備え、前記出力先決定部によって決定された前記コンテンツ出力装置は、前記データ解析部によって前記属性が特定された人物に対して、前記コンテンツ選択部によって選択された前記コンテンツを、前記動き予測部によって予測された前記人物の動きに応じたタイミングで出力することを特徴とする。
また、上記案内システムでは、前記収集装置は、路上あるいは建造物に固定された固定体、又は、移動可能である移動体に複数設けられるものとすることができる。
また、上記案内システムでは、前記複数のコンテンツ出力装置は、路上あるいは建造物に固定された固定体、又は、移動可能である移動体に設けられるものとすることができる。
また、上記案内システムでは、前記複数のコンテンツ出力装置は、路上あるいは建造物に固定された固定体、又は、路面を走行する移動体に設けられるものとすることができる。
本発明に係る案内システムは、収集装置によって収集された解析用データに基づいて、データ解析部によって画像データが表す画像に含まれる人物の属性、及び、人流が解析される。そして、案内システムは、出力先決定部によって決定されたコンテンツ出力装置が、コンテンツ選択部によって人物の属性に応じて選択されたコンテンツを、動き予測部によって予測された当該人物の動きに応じたタイミングで出力する。この結果、案内システムは、特定の個人にあわせた案内を行うことができる、という効果を奏する。
図1は、実施形態1に係る案内システムの概略構成を表すブロック図である。 図2は、実施形態1に係る案内システムにおける処理の一例を表すフローチャート図である。 図3は、実施形態1に係る案内システムの動作の一例を表す模式図である。 図4は、実施形態1に係る案内システムの動作の一例を表す模式図である。 図5は、実施形態1に係る案内システムの動作の一例を表す模式図である。 図6は、実施形態2に係る案内システムの概略構成を表すブロック図である。
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
[実施形態1]
図1に示す本実施形態の案内システム1は、収集装置10と、解析装置20と、コンテンツサービス装置30と、複数のコンテンツ出力装置40とを備え、これらが連携して特定の個人にあわせたコンテンツを出力するリアルタイムサイネージシステムである。複数のコンテンツ出力装置40は、それぞれ複数のコンテンツを出力可能な装置である。本実施形態の案内システム1は、撮像した画像に含まれる特定の人物(個人)の属性、及び、当該属性が特定された人物の人流を解析し、解析結果に応じて当該人物の属性に応じたコンテンツを選択し、選択したコンテンツをコンテンツ出力装置40によって先回りして出力する。以下、各図を参照して案内システム1の構成について詳細に説明する。
収集装置10は、コンテンツの提供対象となる人物の特定、解析に用いる解析用データを収集するものである。解析用データは、人物を含む画像を表す画像データ、及び、当該画像が撮像された位置を表す位置データを含むデータである。解析用データは、解析装置20による人物の属性、及び、当該人物の人流の解析に用いられる。収集装置10は、典型的には、固定体F、又は、移動体Vに設けられる。収集装置10が搭載される固定体Fは、典型的には、路上あるいは建造物に据え付けられ固定されたものである。固定体Fは、例えば、路上に設けられたバス停留所、デジタルサイネージ、自動販販売機、標識、電柱等の構造体であってもよいし、収集装置10を設置するために設けられた専用の構造体であってもよい。また、収集装置10が搭載される固定体Fは、例えば、デパート、マンション、オフィスビル、ホテル等の建造物の出入口、内部、屋上等に設けられた構造体であってもよい。収集装置10が搭載される移動体Vは、典型的には、移動可能に構成された物体である。ここでは、移動体Vは、典型的には、路面を走行する車両であり、例えば、自家用車、レンタカー、シェアリングカー、ライドシェアカー、バス、タクシー、トラック、輸送車、作業車等のいずれであってもよい。なお、移動体Vは、これに限らず、例えば、フライングカーやドローン等、空中を飛行する飛行体であってもよい。収集装置10は、典型的には、複数の固定体F、及び、複数の移動体Vにそれぞれ搭載される。つまり、本実施形態の案内システム1は、複数の固定体F、及び、複数の移動体Vにそれぞれ搭載された複数の収集装置10を備え、当該複数の収集装置10から解析用データを収集することが可能である。複数の収集装置10の少なくとも一部は、予め定められた経路を繰り返し走行する車両、例えば、路線バスや長距離輸送用トラック等に搭載されてもよい。また、複数の収集装置10の少なくとも一部は、事業者に管理される事業用の車両、例えば、シェアリングカー、ライドシェアカー、タクシー等に搭載されてもよい。移動体Vに搭載される収集装置10は、例えば、移動体Vに搭載されるいわゆるドライブレコーダ等の車載機器を用いることができるがこれに限らない。
具体的には、収集装置10は、カメラ11と、位置情報測定器12と、通信部(収集装置通信部)13と、制御部14とを備える。
カメラ11は、人物を含む画像を撮像する撮像装置である。カメラ11は、典型的には、案内システム1におけるコンテンツの提供対象である人物を含む動画像を撮像する。カメラ11は、人物を撮像可能な画角となるように設定される。カメラ11は、収集装置10が路上の固定体Fに設けられる場合には、典型的には、当該固定体Fの外部の画像を撮像する。この場合、カメラ11は、例えば、固定体Fの外部の路上の人物を撮像可能な画角となるように固定体Fに設置され、当該路上の人物を含む画像を撮像する。カメラ11は、収集装置10が建造物の固定体Fに設けられる場合には、典型的には、固定体Fが設けられる建造物の内部、及び、当該建造物の外部の画像を撮像する。この場合、カメラ11は、例えば、建造物の外部の人物、建造物の内部の人物を撮像可能な画角となるように固定体Fに設置され、当該建造物の外部の人物、建造物の内部の人物を含む画像を撮像する。カメラ11は、収集装置10が移動体Vに設けられる場合には、典型的には、当該移動体Vの内部、及び、当該移動体Vの外部の画像を撮像する。この場合、カメラ11は、例えば、移動体Vの内部の人物、移動体Vの外部の路上に位置する人物を撮像可能な画角となるように移動体Vに設置され、当該移動体Vの内部の人物、移動体Vの外部の人物を含む画像を撮像する。この場合、カメラ11は、移動体Vの移動に伴って当該移動体Vの外部の画像を撮像することもできる。カメラ11は、固定体F、移動体Vそれぞれにおいて、それぞれの位置の人物をより好適に撮像可能なように複数設けられてもよい。カメラ11は、単眼カメラであってもよいし、ステレオカメラであってもよい。また、カメラ11が撮像する画像は、モノクロであってもよいしカラーであってもよい。カメラ11は、上記のように画像を撮像し当該画像を表す画像データを収集する。カメラ11は、制御部14と通信可能に接続されており、収集した画像データを制御部14に出力する。
位置情報測定器12は、収集装置10の現在位置を測定する測位器である。位置情報測定器12は、例えば、GPS(Global Positioning System))衛星から送信される電波を受信するGPS受信器等を用いることができる。位置情報測定器12は、GPS衛星から送信される電波を受信し収集装置10の現在位置を表す情報としてGPS情報(緯度経度座標)を取得することで、カメラ11によって画像が撮像された位置を表す位置データを収集する。位置情報測定器12は、制御部14と通信可能に接続されており、収集した位置データを制御部14に出力する。
通信部13は、収集装置10とは異なる機器と当該収集装置10との間で各種データの通信を行うものである。本実施形態の通信部13は、収集装置10とは異なる機器である解析装置20に対して、解析用データを送信(出力)可能である。通信部13は、有線、無線を問わずネットワークを介した通信によって、収集装置10とは異なる機器との間でデータを送受信する。
制御部14は、収集装置10の各部を統括的に制御するものである。制御部14は、解析用データを収集するための種々の演算処理を実行する。制御部14は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の中央演算処理装置、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、インターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御部14は、カメラ11、位置情報測定器12、通信部13等の各部と通信可能に接続され、各部との間で相互に各種信号、データを授受可能である。
より具体的には、制御部14は、記憶部14A、及び、処理部14Bを含んで構成される。記憶部14A、及び、処理部14Bは、各部との間で相互に各種信号、データを授受可能である。記憶部14Aは、処理部14Bでの各種処理に必要な条件や情報、制御部14で実行する各種プログラムやアプリケーション、制御データ等が格納されている。記憶部14Aは、解析用データを、収集した時刻等と共に記憶することができる。言い換えれば、解析用データは、当該データを収集した時刻を表す時刻データやその他のデータも含む。記憶部14Aは、例えば、処理部14Bによる処理の過程で生成される各種データを一時的に記憶することもできる。記憶部14Aは、処理部14B、通信部13等によってこれらのデータが必要に応じて読み出される。記憶部14Aは、例えば、ハードディスク、SSD(Solid State Drive)、光ディスクなどの比較的に大容量の記憶装置、あるいは、RAM、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリであってもよい。処理部14Bは、各種入力信号等に基づいて、記憶部14Aに記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する。処理部14Bは、カメラ11、位置情報測定器12の動作を制御し、画像データ、位置データを含む解析用データを収集する処理を実行する。また、処理部14Bは、通信部13を介したデータの送受信に関わる処理を実行する。処理部14Bは、例えば、解析用データを、通信部13を介して解析装置20に送信する処理を実行する。
解析装置20は、収集装置10によって収集された解析用データを解析し、解析結果を表す解析結果データをコンテンツサービス装置30に提供するものである。解析装置20、及び、コンテンツサービス装置30は、ネットワーク上に実装されるいわゆるクラウドサービス型の装置(クラウドサーバ)を構成する。解析装置20は、収集装置10によって収集された解析用データに基づいて、当該解析用データを構成する画像データが表す画像に含まれる人物の属性、及び、当該属性が特定された人物の人流を解析する。解析装置20は、当該人物の属性を表す人物属性データ、及び、当該属性が特定された人物の人流を表す属性別人流データを生成する。さらに、解析装置20は、属性が特定された人物の人流を表す属性別人流データに基づいて、当該属性が特定された人物の動きを予測し、当該予測された人物の動きを表す動き予測データを生成する。そして、解析装置20は、人物属性データ、属性別人流データ、及び、動き予測データを含む解析結果データをコンテンツサービス装置30に提供する。
解析装置20は、解析用データに基づいて人物の属性、及び、人物の人流を解析するための種々の演算処理を実行する。また、解析装置20は、属性別人流データに基づいて当該属性が特定された人物の動きを予測するための種々の演算処理を実行する。解析装置20は、CPU、GPU等の中央演算処理装置、ROM、RAM、及び、インターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。解析装置20は、既知のPCやワークステーションなどのコンピュータシステムに下記で説明する種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。なお、解析装置20は、必ずしもクラウドサービス型の装置を構成するものでなくてもよく、また、複数のPCを相互通信可能に組み合わせることで構成されてもよい。
具体的には、解析装置20は、通信部(解析装置通信部)21と、記憶部22と、処理部23とを備える。通信部21、記憶部22、及び、処理部23は、各部との間で相互に各種信号、データを授受可能である。
通信部21は、解析装置20とは異なる機器と当該解析装置20との間で各種データの通信を行うものである。本実施形態の通信部21は、解析装置20とは異なる機器である収集装置10から解析用データを受信(入力)可能である。さらに、本実施形態の通信部21は、解析装置20とは異なる機器であるコンテンツサービス装置30に対して、解析結果データを送信(出力)可能である。通信部21は、通信部13と同様に、有線、無線を問わずネットワークを介した通信によって、解析装置20とは異なる機器との間でデータを送受信する。
記憶部22は、処理部23での各種処理に必要な条件や情報、処理部23で実行する各種プログラムやアプリケーション、制御データ等が格納されている。記憶部22は、通信部21によって受信された解析用データを記憶することができる。記憶部22は、例えば、処理部23による処理の過程で生成される各種データを一時的に記憶することもできる。記憶部22は、通信部21、処理部23等によってこれらのデータが必要に応じて読み出される。記憶部22は、例えば、ハードディスク、SSD、光ディスクなどの比較的に大容量の記憶装置、あるいは、RAM、フラッシュメモリ、NVSRAMなどのデータを書き換え可能な半導体メモリであってもよい。
より具体的には、記憶部22は、機能概念的に、解析対象データベース(以下、「解析対象DB」と略記する。)22A、解析参照データベース(以下、「解析参照DB」と略記する。)22B、及び、解析結果データベース(以下、「解析結果DB」と略記する。)22Cを含んで構成される。
解析対象DB22Aは、処理部23による解析対象データである解析用データ(画像データ、位置データ、時刻データ等)を蓄積しデータベース化して記憶する部分である。収集装置10から通信部21に入力された解析用データは、この解析対象DB22Aに記憶される。
解析参照DB22Bは、処理部23による解析用データの解析の際に参照する解析参照データを蓄積しデータベース化して記憶する部分である。解析参照データは、例えば、地図参照データ、属性予測参照データ等を含む。地図参照データは、位置データ等に基づいて収集装置10の位置、言い換えれば、人物を含む画像が撮像された位置を特定する際に参照する地図を表すデータである。属性予測参照データは、画像データが表す画像に含まれる人物の属性の推定等に参照するデータである。属性予測参照データについては、後で詳細に説明する。解析参照データは、処理部23によって解析用データの解析の際に参照される。
解析結果DB22Cは、処理部23による解析用データの解析結果を表す解析結果データを蓄積しデータベース化して記憶する部分である。解析結果データは、例えば、画像データが表す画像に含まれる人物の属性を表す人物属性データ、属性が特定された人物の人流を表す属性別人流データ、及び、属性が特定された人物について予測された当該人物の動きを表す動き予測データ等を含む。解析結果データは、通信部21からコンテンツサービス装置30に送信、提供される。
なお、解析対象DB22A、解析参照DB22B、解析結果DB22Cに記憶される各種データは、いわゆるビッグデータ(big data)として活用することができる。
処理部23は、各種入力信号等に基づいて、記憶部22に記憶されている各種プログラムを実行し、当該プログラムが動作することにより解析用データを解析するための種々の処理を実行する。また、処理部23は、属性別人流データに基づいて属性が特定された人物の動きを予測するための種々の処理を実行する。また、処理部23は、通信部21を介したデータの送受信に関わる処理を実行する。処理部23は、例えば、解析結果データを、通信部21を介してコンテンツサービス装置30に送信する処理を実行する。
より具体的には、処理部23は、機能概念的に、データ前処理部23A、データ解析部としてのデータ解析処理部23B、及び、動き予測部としての動き予測処理部23Cを含んで構成される。
データ前処理部23Aは、解析対象データである解析用データに対して種々の前処理を施す部分である。データ前処理部23Aは、前処理として、例えば、解析対象DB22Aから解析対象データとなる解析用データを読み出し、当該解析用データに含まれる画像データが表す動画像から静止画像を切り出す処理を実行する。また、データ前処理部23Aは、前処理として、例えば、切り出した当該静止画像と、解析対象データとなる解析用データに含まれる位置データが表す位置とを紐付する処理を実行する。
データ解析処理部23Bは、データ前処理部23Aによって前処理が施された解析用データに基づいて、画像データが表す画像に含まれる人物の属性、及び、当該属性が特定された人物の人流を解析する部分である。ここでは、データ解析処理部23Bは、例えば、種々の公知の人工知能(Artificial Intelligence)技術や深層学習(Deep Learning)技術を用いて画像データが表す画像に含まれる人物の属性、及び、当該属性が特定された人物の人流を解析する処理を実行可能に構成される。
本実施形態のデータ解析処理部23Bは、種々の公知の画像処理技術を用いて、データ前処理部23Aによって切り出された静止画像から人物を検出し抽出する処理を実行する。またここでは、データ解析処理部23Bは、画像データが表す画像から当該人物の特徴点を含む画像を抽出する処理を実行する。ここで、当該人物の特徴点とは、画像に含まれる人物において当該人物の属性を特定可能な部位である。当該人物の特徴点とは、例えば、当該人物の表情が現われる顔、しぐさ・ジェスチャが現れる手足、アクセサリ等が装着されやすい傾向にある位置等の部位である。データ解析処理部23Bは、例えば、異なる角度から撮像された多数の画像から、人物の属性特定に用いることができる当該人物の特徴点が写った画像を抽出する。
そして、データ解析処理部23Bは、画像データから抽出した人物の特徴点を含む画像に基づいて、当該画像に含まれる人物の属性を解析する処理を実行する。データ解析処理部23Bは、例えば、解析参照DB22Bに記憶されている属性予測参照データ(解析参照データ)と、データ前処理部23Aによって画像データから抽出された画像に含まれる人物の特徴点とに基づいて、当該人物の属性を解析する。ここで、属性予測参照データは、人工知能技術や深層学習技術を用いた様々な手法によって、画像に含まれる人物の特徴点等に応じて推定可能な当該人物の属性を学習した結果が反映される情報である。言い換えれば、属性予測参照データは、画像に含まれる人物の特徴点等に基づいて人物の属性を推定するために、人工知能技術や深層学習技術を用いた様々な手法を用いてデータベース化されたデータである。この属性予測参照データは、逐次更新可能である。属性予測参照データは、例えば、データ解析処理部23Bによる解析結果を表す解析結果データ(人物属性データ)自体を学習のためのデータとすることもできる。
データ解析処理部23Bによって解析される人物の属性としては、典型的には、当該人物の外観の特徴点から解析可能な事項、例えば、当該人物の性別、年齢、体格、社会的地位、嗜好、又は、行動志向等を含む。ここで、性別とは、男性、女性の別を表す属性である。年齢とは、生まれてから現在(その時)までの年月の長さを表す属性である。体格とは、身長、体重、各種寸法等を表す属性である。社会的地位とは、職業(自営業、ビジネスマン、警官、学生、無職、アルバイト)、年収、身分、同行者等を表す属性である。嗜好とは、服装・所持品・ファッションの傾向(カジュアル志向、エレガント志向、ブランド志向、高級志向、ファストファッション志向)、趣味(スポーツ/サブカルチャー/アウトドア/美容等)等を表す属性である。行動志向とは、その時点での気分、興味関心(やりたいこと、行きたいところ)等を表す属性である。つまりここでは、データ解析処理部23Bは、人物の属性として、性別、年齢、体格、社会的地位、嗜好、行動志向等を推定する。
データ解析処理部23Bは、属性予測参照データを参照して、画像に含まれる人物の特徴点に対応する属性(性別、年齢、体格、社会的地位、嗜好、又は、行動志向)を抽出し、抽出した属性を当該画像に映り込んだ人物の属性であるものと推定する。データ解析処理部23Bは、例えば、画像に含まれる人物の特徴点である顔の表情、手足のしぐさ・ジェスチャ、装着されているアクセサリや洋服等に応じて、属性予測参照データを参照し、当該特徴点にあう属性をマッチングし、当該人物の性別、年齢、体格、社会的地位、嗜好、行動志向等の属性を推定する。
そしてさらに、データ解析処理部23Bは、人物の属性が特定された画像データに紐付された位置データに基づいて、上記のようにして属性が特定された人物の人流を解析する処理を実行する。データ解析処理部23Bは、例えば、解析対象DB22Aから、人物の属性が特定された画像データに紐付された位置データを読み出す。そして、データ解析処理部23Bは、解析参照DB22Bに記憶されている地図参照データ(解析参照データ)と、読み出した位置データとに基づいて、当該属性が特定された人物の人流を解析する。例えば、データ解析処理部23Bは、地図参照データを参照して、当該位置データに基づいて当該画像が撮像された位置を特定する。そして、データ解析処理部23Bは、当該位置データが表す位置に基づいて、属性が特定された人物の位置を特定し、これを時系列で並べることで人流を特定する。データ解析処理部23Bによって解析される人物の人流は、典型的には、当該人物の各時間帯における分布、移動方向、移動速度、動きの始点・終点等によって表される。つまりここでは、データ解析処理部23Bは、属性が特定された人物の人流として、当該人物の各時間帯における分布、移動方向、移動速度、動きの始点・終点等を推定する。
データ解析処理部23Bは、解析用データを解析した解析結果データとして、上記のように解析した人物の属性を表す人物属性データ、及び、属性が特定された人物の人流を表す属性別人流データを生成する。そして、データ解析処理部23Bは、生成した人物属性データ、及び、属性別人流データを含む解析結果データを解析結果DB22Cに蓄積しデータベース化して記憶させる。
動き予測処理部23Cは、データ解析処理部23Bによって解析された属性別人流データに基づいて、属性が特定された人物の動きを予測する部分である。動き予測処理部23Cは、属性が特定された人物の人流を表す属性別人流データに基づいて、当該属性が特定された人物の動きを予測する処理を実行する。動き予測処理部23Cは、例えば、属性別人流データが表す当該人物の各時間帯における分布、移動方向、移動速度、動きの始点・終点等の人流に応じて、種々の公知の技術を用いて、属性が特定された人物の動きを予測する。動き予測処理部23Cは、例えば、人物の動きとして、時間経過に伴う当該人物の予測の軌跡を生成する。動き予測処理部23Cは、例えば、複数の属性別人流データを組み合わせて、属性が特定された人物の動きを予測してもよい。
動き予測処理部23Cは、解析用データを解析した解析結果データとして、上記のように予測した人物の動きを表す動き予測データを生成する。そして、動き予測処理部23Cは、生成した動き予測データを、上述の人物属性データ、属性別人流データと共に解析結果データとして解析結果DB22Cに蓄積しデータベース化して記憶させる。
そして、処理部23は、上記のように、データ解析処理部23Bによって解析された人物属性データ、属性別人流データ、及び、動き予測処理部23Cによって予測された動き予測データを含む解析結果データを、通信部21を介してコンテンツサービス装置30に送信する処理を実行する。
コンテンツサービス装置30は、解析装置20によって解析、予測された解析結果データに基づいて、コンテンツの提供対象である人物に応じたコンテンツを選択し、選択したコンテンツを所定のコンテンツ出力装置40に出力させるものである。コンテンツサービス装置30は、上述したようにネットワーク上に実装されるいわゆるクラウドサービス型の装置を構成する。コンテンツサービス装置30は、解析装置20から送信、提供された解析結果データに基づいて、属性が特定された人物に対して提供するコンテンツを選択する。また、コンテンツサービス装置30は、解析装置20から送信、提供された解析結果データに基づいて、当該選択したコンテンツを出力させるコンテンツ出力装置40を決定する。コンテンツサービス装置30は、選択したコンテンツに関する種々のデータを生成し、当該データを、当該コンテンツを表示させるコンテンツ出力装置40に送信する。
コンテンツサービス装置30は、解析結果データに基づいて、特定された人物の属性に応じたコンテンツを選択するための種々の演算処理を実行する。また、コンテンツサービス装置30は、解析結果データに基づいて、選択したコンテンツを出力させるコンテンツ出力装置40を決定するための種々の演算処理を実行する。コンテンツサービス装置30は、CPU、GPU等の中央演算処理装置、ROM、RAM、及び、インターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。コンテンツサービス装置30は、既知のPCやワークステーションなどのコンピュータシステムに下記で説明する種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。なお、コンテンツサービス装置30は、必ずしもクラウドサービス型の装置を構成するものでなくてもよく、また、複数のPCを相互通信可能に組み合わせることで構成されてもよい。
具体的には、コンテンツサービス装置30は、通信部(コンテンツサービス装置通信部)31と、記憶部32と、処理部33とを備える。通信部31、記憶部32、及び、処理部33は、各部との間で相互に各種信号、データを授受可能である。
通信部31は、コンテンツサービス装置30とは異なる機器と当該コンテンツサービス装置30との間で各種データの通信を行うものである。本実施形態の通信部31は、コンテンツサービス装置30とは異なる機器である解析装置20から解析結果データを受信(入力)可能である。さらに、本実施形態の通信部31は、コンテンツサービス装置30とは異なる機器であるコンテンツ出力装置40に対して、選択されたコンテンツに関する種々のデータを送信(出力)可能である。通信部31は、通信部13、21と同様に、有線、無線を問わずネットワークを介した通信によって、コンテンツサービス装置30とは異なる機器との間でデータを送受信する。
記憶部32は、処理部33での各種処理に必要な条件や情報、処理部33で実行する各種プログラムやアプリケーション、制御データ等が格納されている。記憶部32は、通信部31によって受信された解析結果データを記憶することができる。記憶部32は、例えば、処理部33による処理の過程で生成される各種データを一時的に記憶することもできる。記憶部32は、通信部31、処理部33等によってこれらのデータが必要に応じて読み出される。記憶部32は、例えば、ハードディスク、SSD、光ディスクなどの比較的に大容量の記憶装置、あるいは、RAM、フラッシュメモリ、NVSRAMなどのデータを書き換え可能な半導体メモリであってもよい。
より具体的には、記憶部32は、機能概念的に、コンテンツデータベース(以下、「コンテンツDB」と略記する。)32Aを含んで構成される。
コンテンツDB32Aは、コンテンツ出力装置40に出力させるコンテンツを表すコンテンツデータを蓄積しデータベース化して記憶する部分である。ここで、コンテンツ出力装置40に出力させるコンテンツとしては、広告やクーポン等のコンテンツの他、地域情報や所定の施設への道順情報、災害時の避難経路/安全サポート情報等、様々な案内情報を構成するコンテンツを含んでいてもよい。コンテンツ出力装置40に出力させる可能性のある候補となるコンテンツを表すコンテンツデータは、人物の属性等に応じて異なる種類のものが複数このコンテンツDB32Aに記憶される。当該コンテンツDB32Aに記憶されているコンテンツデータは、逐次更新可能である。コンテンツDB32Aに記憶されているコンテンツデータは、複数のコンテンツの中から選択されたコンテンツを特定のコンテンツ出力装置40に出力させる際に、都度、当該出力させるコンテンツに応じたコンテンツデータが通信部21から当該特定のコンテンツ出力装置40に送信、ダウンロードされてもよい。また、コンテンツDBに記憶されているコンテンツデータは、コンテンツ出力装置40に出力させる可能性のある候補となる全てのコンテンツに応じたコンテンツデータが、夜間等、ネットワークのトラフィックが相対的に少ない時間帯に一括で通信部21から各コンテンツ出力装置40に送信、ダウンロードされてもよい。
処理部33は、各種入力信号等に基づいて、記憶部32に記憶されている各種プログラムを実行し、当該プログラムが動作することによりコンテンツを選択するための種々の処理を実行する。また、処理部33は、コンテンツを出力させるコンテンツ出力装置40を決定するための種々の処理を実行する。また、処理部33は、通信部31を介したデータの送受信に関わる処理を実行する。処理部33は、例えば、選択したコンテンツに関する種々のデータを、通信部31を介して当該コンテンツを出力させるコンテンツ出力装置40に送信する処理を実行する。
より具体的には、処理部33は、機能概念的に、コンテンツ選択部としてのコンテンツ選択処理部33A、及び、出力先決定部としての出力先決定処理部33Bを含んで構成される。
コンテンツ選択処理部33Aは、データ解析処理部23Bによって解析された人物の属性に基づいて、コンテンツDB32Aに記憶されている複数のコンテンツから、コンテンツ出力装置40に出力させるコンテンツを選択する部分である。コンテンツ選択処理部33Aは、解析装置20から送信され通信部31で受信した解析結果データに含まれる人物属性データに基づいて、コンテンツDB32Aに記憶されている複数のコンテンツの中から、当該人物属性データが表す人物の属性に対応するコンテンツを選択する処理を実行する。例えば、コンテンツ選択処理部33Aは、人物属性データが表す当該人物の属性が女性、若者、カジュアル志向等の属性を含む場合には、女性用、若者向けのカジュアルな服飾の広告やクーポンを表すコンテンツを選択するようにしてもよい。また例えば、コンテンツ選択処理部33Aは、人物属性データが表す当該人物の属性が男性、中年、高級志向等の属性を含む場合には、高級腕時計の広告を表すコンテンツを選択するようにしてもよい。また例えば、コンテンツ選択処理部33Aは、人物属性データが表す当該人物の属性がスポーツ趣味等を含む属性である場合には、最寄りのスタジアムでのスポーツイベントやチケット情報を表すコンテンツを選択するようにしてもよい。また例えば、コンテンツ選択処理部33Aは、人物属性データが表す当該人物の属性が芸術趣味、美術への関心等を含む属性である場合には、最寄りの美術館への道順を表すコンテンツを選択するようにしてもよい。また例えば、コンテンツ選択処理部33Aは、人物属性データが表す当該人物の属性が災害避難、救護を要する状態等を含む属性である場合には、避難所への避難経路、安全サポートを表すコンテンツを選択するようにしてもよい。また、コンテンツ選択処理部33Aは、コンテンツを選択する際には、例えば、さらに、現在時刻や暦、季節等も加味して、人物属性データが表す人物の属性に対応するコンテンツを選択するようにしてもよい。
出力先決定処理部33Bは、動き予測処理部23Cによって予測された人物の動きに基づいて、複数のコンテンツ出力装置40から、コンテンツ選択処理部33Aによって選択されたコンテンツを出力させるコンテンツ出力装置40を決定する部分である。出力先決定処理部33Bは、解析装置20から送信され通信部31で受信した解析結果データに含まれる属性別人流データ、動き予測データに基づいて、複数のコンテンツ出力装置40から、属性が特定された人物に対して、選択されたコンテンツを出力させるコンテンツ出力装置40を決定する処理を実行する。例えば、コンテンツ選択処理部33Aは、属性別人流データが表す当該人物の各時間帯における分布、移動方向、移動速度、動きの始点・終点、動き予測データが表す当該人物の予測の動き、時間経過に伴う当該人物の予測の軌跡等に基づいて、複数のコンテンツ出力装置40の中から、当該人物に対して上記で選択されたコンテンツを先回りして出力し認識させることができるコンテンツ出力装置40を決定する。
そして、処理部33は、上記のように、出力先決定処理部33Bによって決定されたコンテンツ出力装置40に対して、コンテンツ選択処理部33Aによって選択されたコンテンツに関する種々のデータを、通信部31を介して送信する処理を実行する。処理部33は、例えば、コンテンツDB32Aに記憶されているコンテンツデータを、都度、コンテンツ出力装置40に送信する仕様である場合には、コンテンツに関するデータとして、コンテンツ選択処理部33Aによって選択されたコンテンツを表すコンテンツデータそのものをコンテンツ出力装置40に送信する。一方、処理部33は、例えば、コンテンツDBに記憶されている複数のコンテンツデータを所定の時間帯に予め一括でコンテンツ出力装置40に送信しておく仕様である場合には、コンテンツに関するデータとして、複数のコンテンツの中から当該選択したコンテンツを特定することができる識別データをコンテンツ出力装置40に送信する。
なお、案内システム1は、上記で説明したコンテンツサービス装置30を複数備えていてもよい。
複数のコンテンツ出力装置40は、上述したように、それぞれ複数のコンテンツを出力可能な装置である。複数のコンテンツ出力装置40は、収集装置10と同様に、固定体F、又は、移動体Vに設けられてもよい。複数のコンテンツ出力装置40は、少なくとも一部が上述の収集装置10と一体で構成されてもよい。
具体的には、コンテンツ出力装置40は、出力装置41と、通信部(コンテンツ出力装置通信部)42と、制御部43とを備える。
出力装置41は、コンテンツを出力する装置である。出力装置41は、コンテンツに応じた画像を表示可能であるディスプレイ41A、コンテンツに応じた音・音声を出力可能であるスピーカ41B等を含んで構成される。
通信部42は、コンテンツ出力装置40とは異なる機器と当該コンテンツ出力装置40との間で各種データの通信を行うものである。本実施形態の通信部42は、コンテンツ出力装置40とは異なる機器であるコンテンツサービス装置30から、出力装置41で出力させるコンテンツに関する種々のデータを受信(入力)可能である。さらに、本実施形態の通信部42は、コンテンツ出力装置40とは異なる機器であるコンテンツサービス装置30に対して、コンテンツの出力結果に応じたフィードバックデータを送信(出力)可能である。通信部42は、通信部13、21、31と同様に、有線、無線を問わずネットワークを介した通信によって、コンテンツサービス装置30とは異なる機器との間でデータを送受信する。
制御部43は、コンテンツ出力装置40の各部を統括的に制御するものである。制御部43は、コンテンツを出力するための種々の演算処理を実行する。制御部43は、CPU、GPU等の中央演算処理装置、ROM、RAM、及び、インターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御部43は、出力装置41、通信部42等の各部と通信可能に接続され、各部との間で相互に各種信号、データを授受可能である。
制御部43は、記憶部43A、及び、処理部43Bを含んで構成される。記憶部43A、及び、処理部43Bは、各部との間で相互に各種信号、データを授受可能である。記憶部43Aは、処理部43Bでの各種処理に必要な条件や情報、処理部43Bで実行する各種プログラムやアプリケーション、制御データ等が格納されている。記憶部43Aは、通信部42によって受信されたコンテンツに関する種々のデータを記憶することができる。記憶部43Aは、例えば、処理部43Bによる処理の過程で生成される各種データを一時的に記憶することもできる。記憶部43Aは、通信部42、処理部43B等によってこれらのデータが必要に応じて読み出される。記憶部43Aは、例えば、ハードディスク、SSD、光ディスクなどの比較的に大容量の記憶装置、あるいは、RAM、フラッシュメモリ、NVSRAMなどのデータを書き換え可能な半導体メモリであってもよい。処理部43Bは、各種入力信号等に基づいて、記憶部43Aに記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する。処理部43Bは、出力装置41の動作を制御し、コンテンツを出力する処理を実行する。また、処理部43Bは、通信部42を介したデータの送受信に関わる処理を実行する。処理部43Bは、例えば、コンテンツサービス装置30から、通信部42を介して出力装置41で出力させるコンテンツに関する種々のデータを受信する処理を実行する。また、処理部43Bは、例えば、コンテンツの出力結果に応じたフィードバックデータを、通信部42を介してコンテンツサービス装置30に送信する処理を実行する。
より具体的には、記憶部43Aは、機能概念的に、コンテンツデータベース(以下、「コンテンツDB」と略記する。)43Aaを含んで構成される。また、処理部43Bは、機能概念的に、出力処理部43Ba、及び、フィードバック部43Bbを含んで構成される。
コンテンツDB43Aaは、コンテンツ出力装置40に出力させるコンテンツを表すコンテンツデータを蓄積しデータベース化して記憶する部分である。コンテンツサービス装置30から通信部42に入力されたコンテンツデータは、このコンテンツDB43Aaに記憶される。当該コンテンツDB43Aaに記憶されるコンテンツデータは、上述したように、出力装置41にコンテンツを出力させる際に、都度、コンテンツサービス装置30から受信してもよいし、所定の時間帯に予め複数を一括で受信してもよい。
出力処理部43Baは、出力装置41の動作を制御し、コンテンツを出力する部分である。出力処理部43Baは、コンテンツサービス装置30から送信され通信部42で受信したコンテンツに関する種々のデータに基づいて、出力装置41に、属性が特定された人物の当該属性に対応するコンテンツを出力させる処理を実行する。出力処理部43Baは、出力装置41を構成するディスプレイ41Aを制御し、当該コンテンツに応じた画像を表示させる。また、出力処理部43Baは、出力装置41を構成するスピーカ41Bを制御し、当該コンテンツに応じた音・音声を出力させる。出力処理部43Baは、コンテンツDB32Aに記憶されているコンテンツデータを、都度、コンテンツ出力装置40のコンテンツDB43Aaに送信する仕様である場合には、コンテンツサービス装置30から送信されたコンテンツデータそのものに基づいて、当該コンテンツを出力装置41に出力させる。出力処理部43Baは、コンテンツDB32Aに記憶されているコンテンツデータを、所定の時間帯に複数を予め一括でコンテンツ出力装置40のコンテンツDB43Aaに送信する仕様である場合には、コンテンツサービス装置30から送信された識別データに応じたコンテンツデータをコンテンツDB43Aaから読み出す。そして、出力処理部43Baは、読み出したコンテンツデータに応じたコンテンツを出力装置41に出力させる。そして、出力先決定処理部33Bによって決定されたコンテンツ出力装置40は、データ解析処理部23Bによって属性が特定された人物に対して、コンテンツ選択処理部33Aによって選択されたコンテンツを、動き予測処理部23Cによって予測された人物の動きに応じたタイミングで出力する。
なお、出力処理部43Baは、カメラ等を利用し、コンテンツの提供対象である人物の視線を検出し、当該検出した視線に基づいて出力装置41によって表示するコンテンツの情報量を調整してもよい。出力処理部43Baは、例えば、コンテンツの提供対象である人物の視線が出力装置41側に向いている場合には出力装置41に出力させるコンテンツの情報量を相対的に多くする。一方、出力処理部43Baは、例えば、コンテンツの提供対象である人物の視線が出力装置41側に向いていない場合には出力装置41に出力させるコンテンツの情報量を相対的に少なくする。また、出力処理部43Baは、例えば、コンテンツの提供対象である人物の視線が出力装置41側に向いていない場合には、出力装置41に、当該視線を出力装置41側に誘導するための画像や音声等を出力させるようにしてもよい。この構成により、コンテンツ出力装置40は、コンテンツの提供対象である人物の視線の状態に応じてより適正にコンテンツを出力することができる。
フィードバック部43Bbは、出力装置41によるコンテンツの出力結果をコンテンツサービス装置30にフィードバックする部分である。フィードバック部43Bbは、出力装置41によるコンテンツの出力結果に応じたフィードバックデータを、通信部42を介してコンテンツ出力装置40に送信する処理を実行する。出力装置41によるコンテンツの出力結果に応じたフィードバックデータとしては、例えば、コンテンツの提供対象である人物の属性に応じて選択されたコンテンツの内容に関する情報、当該コンテンツを実際に出力したか否かの情報等を含んでいてもよい。なお、フィードバック部43Bbは、コンテンツサービス装置30の他、さらに、複数のコンテンツ出力装置40をグループに分け当該グループ内のコンテンツ出力装置40を統括的に管理する管理装置等にも、上記フィードバックデータを送信するようにしてもよい。
次に、図2のフローチャート図を参照し案内システム1における処理の一例を説明する。
まず、収集装置10は、画像データ、位置データを含む解析用データを収集する(ステップS1)。
次に、収集装置10は、収集した解析用データを、通信部13を介して出力し、通信部21を介して解析装置20に入力する(ステップS2)。解析装置20に入力された解析用データは、解析対象DB22Aに記憶される。
次に、解析装置20のデータ前処理部23Aは、解析対象DB22Aに記憶されている解析用データに対して、上述したような種々の前処理を施す(ステップS3)。
次に、解析装置20のデータ解析処理部23Bは、データ前処理部23Aによって前処理が施された解析用データに基づいて、画像データが表す画像に含まれる人物の属性、及び、当該属性が特定された人物の人流を解析する(ステップS4)。
そして、データ解析処理部23Bは、解析結果データとして、人物属性データ、及び、属性別人流データを生成し、解析結果DB22Cに蓄積しデータベース化して記憶させる(ステップS5)。
次に、解析装置20の動き予測処理部23Cは、データ解析処理部23Bによって属性が特定された人物の人流を表す属性別人流データに基づいて、当該属性が特定された人物の動きを予測する。そして、動き予測処理部23Cは、解析結果データとして、動き予測データを生成し、人物属性データ、属性別人流データと共に、解析結果DB22Cに蓄積しデータベース化して記憶させる(ステップS6)。
次に、解析装置20は、解析した解析結果データ(人物属性データ、属性別人流データ、動き予測データ)を、通信部21を介して出力し、通信部31を介してコンテンツサービス装置30に入力する(ステップS7)。
次に、コンテンツサービス装置30のコンテンツ選択処理部33Aは、解析結果データに含まれる人物属性データに基づいて、コンテンツDB32Aに記憶されている複数のコンテンツの中から、当該人物属性データが表す人物の属性に対応するコンテンツを選択する(ステップS8)。
次に、コンテンツサービス装置30の出力先決定処理部33Bは、解析結果データに含まれる属性別人流データ、動き予測データに基づいて、複数のコンテンツ出力装置40の中から、属性が特定された人物に対して、選択されたコンテンツを出力させるコンテンツ出力装置40を決定する(ステップS9)。
次に、ステップS9の処理で決定されたコンテンツ出力装置40の出力処理部43Baは、出力装置41を制御し、ステップS4の処理で属性が特定された人物に対して、ステップS8の処理で選択されたコンテンツを、ステップS6の処理で予測された当該人物の動きに応じたタイミングで出力する(ステップS10)。
次に、ステップS10の処理でコンテンツを出力したコンテンツ出力装置40のフィードバック部43Bbは、出力装置41によるコンテンツの出力結果に応じたフィードバックデータを、コンテンツサービス装置30にフィードバックし(ステップS11)、一連の処理を終了する。
次に、図3、図4、図5の模式図を参照し案内システム1の動作の一例を説明する。
例えば、図3に示す例では、案内システム1は、バス停留所等の固定体Fに設けられた収集装置10によって、画像データ、位置データを含む解析用データが収集される。そして、案内システム1は、収集装置10によって収集された解析用データが解析装置20に送信され、当該解析装置20によって解析される。そして、案内システム1は、解析装置20によって解析された解析結果データがコンテンツサービス装置30に送信され、当該コンテンツサービス装置30によって人物の属性に応じたコンテンツが選択されると共に当該選択されたコンテンツの出力先が決定される。そして、案内システム1は、収集装置10が設けられた固定体Fとは離れた位置にあるバス停留所等の固定体Fに設けられたコンテンツ出力装置40によって、選択されたコンテンツが予測された当該人物の動きに応じたタイミングで先回りして出力される。その後、案内システム1は、コンテンツの出力結果に応じたフィードバックデータが当該コンテンツ出力装置40からコンテンツサービス装置30に送信される。
また、例えば、図4に示す例では、案内システム1は、バス等の移動体Vに設けられた収集装置10によって、画像データ、位置データを含む解析用データが収集される。そして、案内システム1は、収集装置10によって収集された解析用データが解析装置20に送信され、当該解析装置20によって解析される。そして、案内システム1は、解析装置20によって解析された解析結果データがコンテンツサービス装置30に送信され、当該コンテンツサービス装置30によって人物の属性に応じたコンテンツが選択されると共に当該選択されたコンテンツの出力先が決定される。そして、案内システム1は、収集装置10が設けられた移動体Vと同じ移動体Vに設けられたコンテンツ出力装置40によって、選択されたコンテンツが予測された当該人物の動きに応じたタイミングで先回りして出力される。その後、案内システム1は、コンテンツの出力結果に応じたフィードバックデータが当該コンテンツ出力装置40からコンテンツサービス装置30に送信される。
また、例えば、図5に示す例では、案内システム1は、バス等の移動体Vに設けられた収集装置10によって、画像データ、位置データを含む解析用データが収集される。そして、案内システム1は、収集装置10によって収集された解析用データが解析装置20に送信され、当該解析装置20によって解析される。そして、案内システム1は、解析装置20によって解析された解析結果データがコンテンツサービス装置30に送信され、当該コンテンツサービス装置30によって人物の属性に応じたコンテンツが選択されると共に当該選択されたコンテンツの出力先が決定される。そして、案内システム1は、建造物の屋上等の固定体Fに設けられたコンテンツ出力装置40によって、選択されたコンテンツが予測された当該人物の動きに応じたタイミングで先回りして出力される。その後、案内システム1は、コンテンツの出力結果に応じたフィードバックデータが当該コンテンツ出力装置40からコンテンツサービス装置30に送信される。
そして、案内システム1は、複数の収集装置10、複数のコンテンツ出力装置40を連携させ、図3、図4、図5等に示す例を組み合わせることで、属性が特定された人物の動きに応じて連続的にコンテンツを出力することもできる。なお、コンテンツ出力装置40は、さらに、通信部42を介してコンテンツ出力装置40とは異なる機器として、コンテンツの提供対象となる人物が所持する携帯端末(スマートフォン)と通信を行い、出力装置41で出力させるコンテンツに関する種々のデータを送信してもよい。この場合、処理部43Bは、例えば、コンテンツに関する種々のデータを、通信部42を介して通信対象を限定した近距離無線通信等によって、コンテンツの提供対象となる人物が所持する携帯端末に送信する処理を実行するようにしてもよい。またこの場合、案内システム1は、例えば、バス停留所等の固定体Fに設けられたコンテンツ出力装置40によって出力したコンテンツに応じたクーポンを携帯端末に送信したり、ディスプレイ41Aに当該クーポンに対応するQRコード(登録商標)等を表示させ、携帯端末によって読み取らせたりするように促してもよい。また、案内システム1は、例えば、コンテンツの提供対象となる人物を含む学生グループがコンテンツ出力装置40の近傍を通った場合に、スピーカ41Bから「写真撮らない?」等の音声を出力させてコンテンツ出力装置40側に誘導し、内蔵カメラで写真を撮影、携帯端末に転送すると共に転送の際に写真に帯広告を付して当該携帯端末へ送信するようにしてもよい。
以上で説明した案内システム1は、収集装置10によって収集された解析用データに基づいて、データ解析処理部23Bによって画像データが表す画像に含まれる人物の属性、及び、人流が解析される。そして、案内システム1は、出力先決定処理部33Bによって決定されたコンテンツ出力装置40が、コンテンツ選択処理部33Aによって人物の属性に応じて選択されたコンテンツを、動き予測処理部23Cによって予測された当該人物の動きに応じたタイミングで出力する。この結果、案内システム1は、特定の人物に対して、当該人物の属性に応じたコンテンツを、当該人物の動きに応じたタイミングで先回りして出力することができるので、特定の個人にあわせた案内を行うことができる。つまり、案内システム1は、属性が解析された特定の人物がどこに向かうのか(滞在も含む)を予測して、当該属性に応じたコンテンツをリアルタイムで選択し、当該人物の動きにあわせて出力することができる。
また、以上で説明した案内システム1は、収集装置10が固定体Fや移動体Vに複数設けられるので、複数の収集装置10によって収集された解析用データに基づいて、複数のコンテンツ出力装置40によって動的に連続した案内を行うことができる。
また、以上で説明した案内システム1は、複数のコンテンツ出力装置40が固定体Fや移動体Vに設けられるので、属性が特定された人物の動きに応じて適正なタイミングでコンテンツを出力し案内を行うことができる。
一例として、以上で説明した案内システム1は、画像データが表す画像に含まれる人物の属性として、性別、年齢、体格、社会的地位、嗜好、行動志向等を推定する。この結果、案内システム1は、特定の個人にあわせて性別、年齢、体格、社会的地位、嗜好、行動志向等を反映させた案内を行うことができる。
[実施形態2]
実施形態2に係る案内システムは、収集装置、解析装置の構成が実施形態1とは異なる。以下では、上述した実施形態と同様の構成要素には共通の符号が付されるとともに、共通する構成、作用、効果については、重複した説明はできるだけ省略する。
図6に示す本実施形態に係る案内システム201は、収集装置10にかえて収集装置210を備え、解析装置20にかえて解析装置220を備える点で上述の案内システム1と異なる。案内システム201のその他の構成は、当該案内システム1と略同様の構成である。
本実施形態の案内システム201は、上述した解析装置20の機能の一部が収集装置210側に組み込まれ、解析装置20の残りの部分が当該解析装置220を構成する。より具体的には、案内システム201は、上述した解析装置20のデータ前処理部23A、 データ解析処理部23Bを収集装置210側に組み込むことでいわゆるエッジコンピューティングシステムを採用している。
本実施形態の収集装置210は、処理部14Bにかえて処理部214Bを備える点で上述の収集装置10と異なる。収集装置210のその他の構成は、当該収集装置10と略同様の構成である。処理部214Bは、機能概念的に、データ収集処理部214Ba、データ前処理部214Bb、及び、データ解析部としてのデータ解析処理部214Bcを含んで構成される。
データ収集処理部214Baは、カメラ11、位置情報測定器12を制御して画像データ、位置データを含む解析用データを収集する部分である。データ収集処理部214Baは、カメラ11、位置情報測定器12の動作を制御し、画像データ、位置データを含む解析用データを収集する処理を実行する。
データ前処理部214Bbは、上述したデータ前処理部23Aと同様に、解析対象データである解析用データに対して種々の前処理を施す部分である。データ前処理部214Bbは、前処理として、例えば、データ収集処理部214Baによって収集された解析用データに含まれる画像データが表す動画像から静止画像を切り出す処理を実行する。また、データ前処理部214Bbは、前処理として、例えば、切り出した当該静止画像と、データ収集処理部214Baによって収集された解析用データに含まれる位置データが表す位置とを紐付する処理を実行する。
データ解析処理部214Bcは、上述したデータ解析処理部23Bと同様に、データ前処理部214Bbによって前処理が施された解析用データに基づいて、画像データが表す画像に含まれる人物の属性、及び、当該属性が特定された人物の人流を解析する部分である。データ解析処理部214Bcは、データ前処理部214Bbによって切り出された静止画像から人物を検出し抽出する処理を実行する。データ解析処理部214Bcは、画像データが表す画像から当該人物の特徴点を含む画像を抽出する処理を実行する。データ解析処理部214Bcは、画像データから抽出した人物の特徴点を含む画像に基づいて、当該画像に含まれる人物の属性を解析する処理を実行する。データ解析処理部214Bcは、人物の属性が特定された画像データに紐付された位置データに基づいて、当該属性が特定された人物の人流を解析する処理を実行する。本実施形態のデータ解析処理部214Bcは、人物の属性、及び、人物の人流の解析の際には、通信部13を介して解析参照DB22Bに記憶されている解析参照データ(地図参照データ、属性予測参照データ)を適宜参照する。
データ解析処理部214Bcは、解析用データを解析した解析結果データとして、上記のように解析した人物の属性を表す人物属性データ、及び、属性が特定された人物の人流を表す属性別人流データを生成する。そして、本実施形態の処理部214Bは、解析用データと共に、当該人物属性データ、及び、当該属性別人流データを含む解析結果データを、通信部13を介して解析装置220に送信する処理を実行する。
本実施形態の解析装置220は、処理部23にかえて処理部223を備える点で上述の解析装置20と異なる。解析装置220のその他の構成は、当該解析装置20と略同様の構成である。本実施形態の処理部223は、機能概念的に、動き予測部としての動き予測処理部23Cを含んで構成される点では上述の処理部23と同様である一方、上述したデータ前処理部23A、データ解析処理部23Bを備えない点で上述の処理部23と異なる。言い換えれば、本実施形態の解析装置220は、動き予測処理部23Cを主体とした動き予測装置を構成する。
本実施形態の通信部21は、解析装置220とは異なる機器である収集装置210から解析用データ、及び、解析結果データ(人物属性データ、属性別人流データ)を受信(入力)可能である。収集装置210から通信部21に入力された解析用データは、解析対象DB22Aに記憶される。同様に、収集装置210から通信部21に入力された解析結果データ(人物属性データ、属性別人流データ)は、解析結果DB22Cに記憶される。
そして、動き予測処理部23Cは、予測した人物の動きを表す動き予測データを生成し、生成した動き予測データを、上述の人物属性データ、属性別人流データと共に解析結果データとして解析結果DB22Cに蓄積しデータベース化して記憶させる。そして、処理部223は、解析結果DB22Cに記憶されている人物属性データ、属性別人流データ、及び、動き予測データを含む解析結果データを、通信部21を介してコンテンツサービス装置30に送信する処理を実行する。
以上で説明した案内システム201は、案内システム1と同様に、特定の個人にあわせた案内を行うことができる。その上で、案内システム201は、解析装置220における演算負荷を抑制し、当該演算負荷を収集装置210側に分散させることができる。
なお、上述した本発明の実施形態に係る案内システムは、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。本実施形態に係る案内システムは、以上で説明した各実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。
以上で説明した案内システム1、201は、解析装置20、220とコンテンツサービス装置30とが一体で1つの装置を構成してもよい。また、例えば、動き予測処理部23Cは、コンテンツサービス装置30側に設けられていてもよい。
以上で説明した案内システム1、201は、例えば、異なる事業者が管理する複数のコンテンツサービス装置30が相互に連携してもよく、例えば、複数のコンテンツサービス装置30と複数のコンテンツ出力装置40とが相互にネットワークを構成していてもよい。
以上で説明した制御部14、43、解析装置20、220、コンテンツサービス装置30は、各部が別体に構成され、当該各部が各種の電気信号を相互に授受可能に接続されることで構成されてもよく、一部の機能が他の制御装置によって実現されてもよい。また、以上で説明したプログラム、アプリケーション、各種データ等は、適宜、更新されてもよいし、案内システム1、201に対して任意のネットワークを介して接続されたサーバに記憶されていてもよい。以上で説明したプログラム、アプリケーション、各種データ等は、例えば、必要に応じてその全部又は一部をダウンロードすることも可能である。また、例えば、制御部14、43、解析装置20、220、コンテンツサービス装置30が備える処理機能については、その全部又は任意の一部を、例えば、CPU等及び当該CPU等にて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。
1、201 案内システム
10、210 収集装置
20、220 解析装置
23B、214Bc データ解析処理部(データ解析部)
23C 動き予測処理部(動き予測部)
30 コンテンツサービス装置
33A コンテンツ選択処理部(コンテンツ選択部)
33B 出力先決定処理部(出力先決定部)
40 コンテンツ出力装置
F 固定体
V 移動体

Claims (4)

  1. 人物を含む画像を表す画像データ、及び、前記画像が撮像された位置を表す位置データを含む解析用データを収集する収集装置と、
    それぞれ複数のコンテンツを出力可能である複数のコンテンツ出力装置と、
    前記収集装置によって収集された前記解析用データに基づいて、前記画像データが表す画像に含まれる人物の属性、及び、当該属性が特定された人物の人流を解析するデータ解析部と、
    前記データ解析部によって解析された前記人物の人流に基づいて、前記属性が特定された人物の動きを予測する動き予測部と、
    前記データ解析部によって解析された前記人物の属性に基づいて、前記複数のコンテンツから、前記コンテンツ出力装置に出力させるコンテンツを選択するコンテンツ選択部と、
    前記動き予測部によって予測された前記人物の動きに基づいて、前記複数のコンテンツ出力装置から、前記コンテンツ選択部によって選択された前記コンテンツを出力させるコンテンツ出力装置を決定する出力先決定部とを備え、
    前記出力先決定部によって決定された前記コンテンツ出力装置は、前記データ解析部によって前記属性が特定された人物に対して、前記コンテンツ選択部によって選択された前記コンテンツを、前記動き予測部によって予測された前記人物の動きに応じたタイミングで出力することを特徴とする、
    案内システム。
  2. 前記収集装置は、路上あるいは建造物に固定された固定体、又は、移動可能である移動体に複数設けられる、
    請求項1に記載の案内システム。
  3. 前記複数のコンテンツ出力装置は、路上あるいは建造物に固定された固定体、又は、移動可能である移動体に設けられる、
    請求項1又は請求項2に記載の案内システム。
  4. 前記データ解析部によって解析される人物の属性は、性別、年齢、体格、社会的地位、嗜好、又は、行動志向を含む、
    請求項1乃至請求項3のいずれか1項に記載の案内システム。
JP2018072888A 2018-04-05 2018-04-05 案内システム Active JP6999237B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018072888A JP6999237B2 (ja) 2018-04-05 2018-04-05 案内システム
CN201980024428.0A CN111971708A (zh) 2018-04-05 2019-01-24 引导系统
SG11202009713SA SG11202009713SA (en) 2018-04-05 2019-01-24 Guide system
PCT/JP2019/002168 WO2019193816A1 (ja) 2018-04-05 2019-01-24 案内システム
TW108107248A TWI684938B (zh) 2018-04-05 2019-03-05 導引系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018072888A JP6999237B2 (ja) 2018-04-05 2018-04-05 案内システム

Publications (2)

Publication Number Publication Date
JP2019185236A true JP2019185236A (ja) 2019-10-24
JP6999237B2 JP6999237B2 (ja) 2022-01-18

Family

ID=68100788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018072888A Active JP6999237B2 (ja) 2018-04-05 2018-04-05 案内システム

Country Status (5)

Country Link
JP (1) JP6999237B2 (ja)
CN (1) CN111971708A (ja)
SG (1) SG11202009713SA (ja)
TW (1) TWI684938B (ja)
WO (1) WO2019193816A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021130926A1 (ja) * 2019-12-25 2021-07-01 日本電信電話株式会社 人流予測装置、人流予測方法、及び人流予測プログラム
JP2022090355A (ja) * 2020-12-07 2022-06-17 フジテック株式会社 情報提供システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992397B (zh) * 2019-10-21 2023-07-21 浙江大华技术股份有限公司 人员出入轨迹追踪方法、系统、计算机设备和存储介质
CN111996947A (zh) * 2020-08-13 2020-11-27 中铁第一勘察设计院集团有限公司 机场综合交通枢纽潮汐性客流智能移动人流隔断系统
JP7150912B2 (ja) * 2021-02-22 2022-10-11 東芝エレベータ株式会社 エレベータの広告表示方法、かご内表示装置および広告表示プログラム
CN114604800B (zh) * 2022-03-31 2023-12-15 江苏西顿科技有限公司 一种防爆agv车

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041167A (ja) * 2008-08-01 2010-02-18 Seiko Epson Corp 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム
JP2013238969A (ja) * 2012-05-14 2013-11-28 Secom Co Ltd 避難情報提供装置
JP2015002477A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP2016151847A (ja) * 2015-02-17 2016-08-22 恒夫 鳥居 携帯情報端末およびそれを用いる電子クーポンの配布回収システム
JP2017016345A (ja) * 2015-06-30 2017-01-19 東芝テック株式会社 情報処理装置、販売データ処理装置および情報処理システム
JP2017107436A (ja) * 2015-12-10 2017-06-15 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法及び配信装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113711A (ja) * 2004-10-13 2006-04-27 Matsushita Electric Ind Co Ltd マーケティング情報提供システム
JP2011008571A (ja) * 2009-06-26 2011-01-13 Shunkosha:Kk 通行人流動データ生成装置、コンテンツ配信制御装置、通行人流動データ生成方法及びコンテンツ配信制御方法
CN202383971U (zh) * 2011-12-22 2012-08-15 无锡德思普科技有限公司 带人脸识别功能的广告播放系统
CN103218913A (zh) * 2012-12-26 2013-07-24 深圳市汇沣电子有限公司 智能交通导引装置
CN105160549A (zh) * 2015-08-21 2015-12-16 浙江视科文化传播有限公司 一种客流统计分析系统
CN105404850B (zh) * 2015-10-21 2019-03-05 中南大学 车站客流监测系统、车站客流监测方法及车站客流管控系统、车站客流管控方法
JP6835065B2 (ja) * 2016-03-18 2021-02-24 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041167A (ja) * 2008-08-01 2010-02-18 Seiko Epson Corp 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム
JP2013238969A (ja) * 2012-05-14 2013-11-28 Secom Co Ltd 避難情報提供装置
JP2015002477A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP2016151847A (ja) * 2015-02-17 2016-08-22 恒夫 鳥居 携帯情報端末およびそれを用いる電子クーポンの配布回収システム
JP2017016345A (ja) * 2015-06-30 2017-01-19 東芝テック株式会社 情報処理装置、販売データ処理装置および情報処理システム
JP2017107436A (ja) * 2015-12-10 2017-06-15 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法及び配信装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021130926A1 (ja) * 2019-12-25 2021-07-01 日本電信電話株式会社 人流予測装置、人流予測方法、及び人流予測プログラム
JPWO2021130926A1 (ja) * 2019-12-25 2021-07-01
JP7338704B2 (ja) 2019-12-25 2023-09-05 日本電信電話株式会社 人流予測装置、人流予測方法、及び人流予測プログラム
JP2022090355A (ja) * 2020-12-07 2022-06-17 フジテック株式会社 情報提供システム
JP7188427B2 (ja) 2020-12-07 2022-12-13 フジテック株式会社 情報提供システム

Also Published As

Publication number Publication date
JP6999237B2 (ja) 2022-01-18
SG11202009713SA (en) 2020-10-29
WO2019193816A1 (ja) 2019-10-10
TW201944324A (zh) 2019-11-16
CN111971708A (zh) 2020-11-20
TWI684938B (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
WO2019193816A1 (ja) 案内システム
KR102043588B1 (ko) 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법
US11906312B2 (en) Localizing transportation requests utilizing an image based transportation request interface
US10049389B2 (en) System and method for interacting with digital signage
US9761139B2 (en) Location based parking management system
JP5940579B2 (ja) 移動制御装置、移動制御方法及び移動制御システム
US10325489B2 (en) Dynamic natural guidance
US11520033B2 (en) Techniques for determining a location of a mobile object
JP2017228115A (ja) 情報を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および情報を提供するための装置
CN115053254A (zh) 用于个性化地面交通处理和用户意图预测的系统和方法
CN109978220A (zh) 用于提供引导信息的系统、设备、方法和介质
US20170199050A1 (en) Route search system, route search device, route search method, program, and information storage medium
WO2019193817A1 (ja) 解析システム
WO2020090310A1 (ja) 解析システム
JP6989901B2 (ja) 情報処理装置、情報処理システム及び情報処理プログラム
JP6914983B2 (ja) 解析システム
JP6133967B1 (ja) 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、携帯端末装置およびその制御プログラム
KR102188008B1 (ko) 전자 기기, 교통 관련 컨텐츠 제공 방법 및 시스템
US11250598B2 (en) Image generation apparatus, image generation method, and non-transitory recording medium recording program
KR102335466B1 (ko) 전자 기기, 서버 및 교통 정보 제공 방법
KR102305136B1 (ko) 전자 기기, 서버 및 교통 정보 제공 방법
KR20120107670A (ko) 전자 기기, 서버 및 교통 정보 제공 방법
JP6184357B2 (ja) 移動制御装置、移動制御方法及び移動制御システム
EP3420494A1 (en) Method for managing advanced plugins in an electronic device for analyzing the people behaviour in a physical space, electronic device for analyzing the people behaviour in a physical space and related program product
KR20200140221A (ko) 전자 기기, 교통 관련 컨텐츠 제공 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210304

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211109

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211109

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211116

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211221

R150 Certificate of patent or registration of utility model

Ref document number: 6999237

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350