JP2015158866A - Congestion state grasping device, congestion state grasping system and congestion state grasping method - Google Patents
Congestion state grasping device, congestion state grasping system and congestion state grasping method Download PDFInfo
- Publication number
- JP2015158866A JP2015158866A JP2014034362A JP2014034362A JP2015158866A JP 2015158866 A JP2015158866 A JP 2015158866A JP 2014034362 A JP2014034362 A JP 2014034362A JP 2014034362 A JP2014034362 A JP 2014034362A JP 2015158866 A JP2015158866 A JP 2015158866A
- Authority
- JP
- Japan
- Prior art keywords
- congestion status
- facility
- congestion
- information
- status information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000003384 imaging method Methods 0.000 claims abstract description 38
- 230000005540 biological transmission Effects 0.000 claims abstract description 37
- 230000002093 peripheral effect Effects 0.000 claims abstract description 22
- 230000004044 response Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、施設等の混雑状況を蓄積及び把握するための混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法に関する。 The present invention relates to a congestion state grasping device, a congestion state grasping system, and a congestion state grasping method for accumulating and grasping a congestion state of a facility or the like.
従来、店舗内の混雑状況を管理するシステムが知られている。例えば、下記特許文献１では、店舗内の床に目印を予め配置し、店舗内の床を撮影部により撮影し、撮影された画像中の目印の数を用いて店舗内の混雑度を算出する混雑状況管理システムが開示されている。
2. Description of the Related Art Conventionally, a system for managing a congestion situation in a store is known. For example, in
しかしながら、上述の混雑状況管理システムでは、店舗側が混雑度を蓄積するためには、床に目印を配置したり、床を撮影する撮影部を用意したり、当該混雑状況管理システムを管理する人員を配置したりする等、店舗側のコストがかかる。 However, in the above-described congestion situation management system, in order for the store side to accumulate the degree of congestion, a mark is placed on the floor, a photographing unit for photographing the floor is prepared, and the person who manages the congestion situation management system is assigned. The store side costs, such as arranging.
そこで、本発明は、かかる課題に鑑みて為されたものであり、施設側のコストをかけることなく、施設の混雑状況に関する情報を蓄積することができる混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法を提供することを目的とする。 Therefore, the present invention has been made in view of such a problem, and a congestion status grasping device, a congestion status grasping system, and a congestion status capable of accumulating information on the congestion status of a facility without incurring the cost on the facility side. The purpose is to provide a situation grasp method.
上記課題を解決するため、本発明の混雑状況把握装置は、ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置であって、撮像手段によって撮像された周辺画像を画像認識する画像認識手段と、画像認識手段による画像認識結果に基づいて、ユーザが滞在する施設を特定する施設特定手段と、画像認識手段による画像認識結果に基づいて、施設特定手段によって特定された施設の混雑状況を特定する混雑状況特定手段と、施設特定手段によって特定された施設を識別する施設情報と、混雑状況特定手段によって特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信手段と、を備える。 In order to solve the above-described problem, a congestion situation grasping apparatus according to the present invention is a congestion situation grasping apparatus that is equipped with an imaging unit capable of imaging a user's surroundings and is captured by the imaging unit. Is identified by the facility identifying means based on the image recognition result by the image recognition means, the facility identification means for identifying the facility where the user stays based on the image recognition result by the image recognition means, and the image recognition result by the image recognition means. The congestion status specifying means for specifying the congestion status of the facility, the facility information for identifying the facility specified by the facility specifying means, and the congestion status information regarding the congestion status specified by the congestion status specifying means are transmitted to the server device. And a congestion status information transmitting means.
このような混雑状況把握装置によれば、画像認識結果に基づいて、ユーザが滞在する施設及び当該施設の混雑状況が特定される。つまり、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、施設の混雑状況が特定される。そして、特定された施設を識別する施設情報と、特定された混雑状況に関する混雑状況情報とがサーバ装置に送信される。つまり、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、施設の混雑状況に関する情報である施設情報と混雑状況情報とがサーバ装置に蓄積される。 According to such a congestion state grasping device, the facility where the user stays and the congestion state of the facility are specified based on the image recognition result. That is, the congestion situation of the facility is specified without incurring the cost on the facility side and without any special operation by the user. Then, the facility information for identifying the specified facility and the congestion status information regarding the specified congestion status are transmitted to the server device. That is, the facility information and the congestion status information, which are information related to the congestion status of the facility, are accumulated in the server device without incurring cost on the facility side and without any special operation by the user.
また、本発明の混雑状況把握装置において、混雑状況情報をサーバ装置から受信する混雑状況情報受信手段と、混雑状況情報受信手段によって受信された混雑状況情報をユーザに通知する通知手段と、をさらに備えることが好ましい。かかる構成を採れば、混雑状況情報がサーバ装置から受信され、ユーザに通知される。これにより、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、ユーザが施設の混雑状況を把握することができる。 Further, in the congestion status grasping device of the present invention, the congestion status information receiving means for receiving the congestion status information from the server device, and the notification means for notifying the user of the congestion status information received by the congestion status information receiving means, It is preferable to provide. With this configuration, the congestion status information is received from the server device and notified to the user. Thereby, the user can grasp the congestion situation of the facility without incurring the cost on the facility side and without the user performing a special operation.
また、本発明の混雑状況把握装置において、混雑状況情報の取得要求をサーバ装置に送信する取得要求送信手段をさらに備え、混雑状況情報受信手段は、取得要求送信手段による取得要求に応じてサーバ装置から送信された混雑状況情報を受信することが好ましい。かかる構成を採れば、混雑状況把握装置が指定したタイミングで混雑状況情報をサーバ装置から受信することができるため、ユーザの利便性を向上することができる。 The congestion status grasping apparatus according to the present invention further includes an acquisition request transmitting unit that transmits an acquisition request for congestion status information to the server device, and the congestion status information receiving unit is configured to respond to the acquisition request by the acquisition request transmitting unit. It is preferable to receive the congestion status information transmitted from. By adopting such a configuration, it is possible to receive the congestion status information from the server device at the timing specified by the congestion status grasping device, so that the convenience for the user can be improved.
また、本発明の混雑状況把握装置において、特定の位置を示す位置情報を取得する位置情報取得手段をさらに備え、取得要求送信手段は、位置情報取得手段によって取得された位置情報を含む、混雑状況情報の取得要求をサーバ装置に送信し、混雑状況情報受信手段は、取得要求送信手段による取得要求に応じてサーバ装置から送信された混雑状況情報であって、当該サーバ装置により抽出された、当該取得要求に含まれる位置情報が示す位置から所定の範囲内に位置する施設の混雑状況情報を受信することが好ましい。かかる構成を採れば、特定の位置から所定の範囲内に位置する施設の混雑状況情報をサーバ装置から受信することができるため、例えば、ユーザが指定した位置近辺の施設の混雑状況をユーザが把握することができ、ユーザの利便性を向上することができる。 Further, in the congestion status grasping device of the present invention, the congestion status grasping device further includes a location information acquisition unit that acquires location information indicating a specific location, and the acquisition request transmission unit includes the location information acquired by the location information acquisition unit. The information acquisition request is transmitted to the server device, and the congestion status information receiving unit is the congestion status information transmitted from the server device in response to the acquisition request by the acquisition request transmitting unit, and is extracted by the server device. It is preferable to receive the congestion status information of facilities located within a predetermined range from the position indicated by the position information included in the acquisition request. By adopting such a configuration, it is possible to receive the congestion status information of facilities located within a predetermined range from a specific position from the server device. For example, the user grasps the congestion status of facilities near the position specified by the user. It is possible to improve user convenience.
また、本発明の混雑状況把握装置において、位置情報取得手段は、当該混雑状況把握装置の現在位置を示す位置情報を取得することが好ましい。かかる構成を採れば、例えば、ユーザの現在位置近辺の施設の混雑状況をユーザが把握することができ、ユーザの利便性を向上することができる。 In the congestion situation grasping device of the present invention, it is preferable that the position information acquisition means obtains position information indicating the current position of the congestion situation grasping device. By adopting such a configuration, for example, the user can grasp the congestion situation of the facility near the current position of the user, and the convenience of the user can be improved.
また、本発明の混雑状況把握装置において、撮像手段によって撮像された周辺画像をユーザに表示する表示手段をさらに備え、通知手段は、混雑状況情報受信手段によって受信された混雑状況情報を、表示手段によって表示された周辺画像に重畳して表示することが好ましい。かかる構成を採れば、ユーザに表示された周辺画像に、混雑状況情報が重畳して表示されるため、混雑状況情報がユーザの視界に入りやすく、例えば音や振動でその存在を通知されるよりも確実に気づくことができ、ユーザは施設の混雑状況をより確実に把握することができる。また、例えば、周辺画像に混雑状況情報を重畳して表示する際に、当該情報が示す施設が周辺画像中の実際に存在する場所近辺に重畳して表示することで、ユーザは当該施設が具体的にどの場所にあるかを容易に気づくことができ、ユーザの利便性を向上することができる。 The congestion status grasping apparatus according to the present invention further includes display means for displaying a peripheral image captured by the imaging means to the user, and the notification means displays the congestion status information received by the congestion status information receiving means. It is preferable to display the image by superimposing it on the peripheral image displayed. If such a configuration is adopted, the congestion status information is superimposed on the peripheral image displayed to the user, so that the congestion status information can easily enter the user's field of view. Can be surely recognized, and the user can more reliably grasp the congestion status of the facility. Further, for example, when the congestion status information is displayed superimposed on the surrounding image, the facility indicated by the information is displayed superimposed on the vicinity of the location where the facility actually exists in the surrounding image. Therefore, it is possible to easily recognize the location, and the convenience for the user can be improved.
また、上記課題を解決するため、本発明の混雑状況把握システムは、ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置と、サーバ装置とを含む混雑状況把握システムであって、混雑状況把握装置は、撮像手段によって撮像された周辺画像を画像認識する画像認識手段と、画像認識手段による画像認識結果に基づいて、ユーザが滞在する施設を特定する施設特定手段と、画像認識手段による画像認識結果に基づいて、施設特定手段によって特定された施設の混雑状況を特定する混雑状況特定手段と、施設特定手段によって特定された施設を識別する施設情報と、混雑状況特定手段によって特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信手段と、を備え、サーバ装置は、施設情報と混雑状況情報とを混雑状況把握装置から受信する混雑状況情報受信手段と、混雑状況情報受信手段によって受信された施設情報と混雑状況情報とを対応付けて格納する混雑状況情報格納手段と、を備える。 In order to solve the above-described problem, the congestion status grasping system of the present invention includes a congestion situation grasping device equipped with an imaging unit capable of photographing the user's surroundings and a server device, and a congestion situation grasping device. The congestion state grasping apparatus is an image recognition unit that recognizes a peripheral image captured by an imaging unit, and a facility identification unit that identifies a facility where the user stays based on an image recognition result by the image recognition unit And, based on the image recognition result by the image recognition means, the congestion status specifying means for specifying the congestion status of the facility specified by the facility specifying means, the facility information for identifying the facility specified by the facility specifying means, and the congestion status A congestion status information transmission unit that transmits congestion status information related to the congestion status specified by the specifying unit to the server device, and the server device Congestion status information receiving means for receiving facility information and congestion status information from the congestion status grasping device; and congestion status information storage means for storing facility information and congestion status information received by the congestion status information receiving means in association with each other And comprising.
このような混雑状況把握システムによれば、混雑状況把握装置にて、画像認識結果に基づいて、ユーザが滞在する施設及び当該施設の混雑状況が特定される。つまり、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、施設の混雑状況が特定される。そして、特定された施設を識別する施設情報と、特定された混雑状況に関する混雑状況情報とが混雑状況把握装置からサーバ装置に送信され、サーバ装置にて格納される。つまり、施設側のコストをかけることなく、施設の混雑状況に関する情報である施設情報と混雑状況情報とがサーバ装置に蓄積される。 According to such a congestion situation grasping system, the congestion situation grasping apparatus identifies the facility where the user stays and the congestion situation of the facility based on the image recognition result. That is, the congestion situation of the facility is specified without incurring the cost on the facility side and without any special operation by the user. Then, the facility information for identifying the specified facility and the congestion status information regarding the specified congestion status are transmitted from the congestion status grasping device to the server device and stored in the server device. That is, the facility information and the congestion status information, which are information related to the congestion status of the facility, are accumulated in the server device without incurring costs on the facility side.
ところで、本発明は、上記のように混雑状況把握装置及び混雑状況把握システムの発明として記述できる他に、以下のようにそれぞれ混雑状況把握方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。 By the way, the present invention can be described as the invention of the congestion situation grasping apparatus and the congestion situation grasping system as described above, and can also be described as the invention of the congestion situation grasping method as follows. This is substantially the same invention only in different categories, and has the same operations and effects.
即ち、本発明に係る混雑状況把握方法は、ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置により実行される混雑状況把握方法であって、撮像手段によって撮像された周辺画像を画像認識する画像認識ステップと、画像認識ステップにおける画像認識結果に基づいて、ユーザが滞在する施設を特定する施設特定ステップと、画像認識ステップにおける画像認識結果に基づいて、施設特定ステップにおいて特定された施設の混雑状況を特定する混雑状況特定ステップと、施設特定ステップにおいて特定された施設を識別する施設情報と、混雑状況特定ステップにおいて特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信ステップと、を含む。 That is, the congestion state grasping method according to the present invention is a congestion state grasping method executed by a congestion state grasping device worn by the user, which has an image pickup unit capable of picking up an image of the periphery of the user, An image recognition step for recognizing the surrounding image, a facility identification step for identifying a facility where the user stays based on the image recognition result in the image recognition step, and a facility identification based on the image recognition result in the image recognition step A congestion status identifying step for identifying the congestion status of the facility identified in the step, facility information for identifying the facility identified in the facility identification step, and congestion status information regarding the congestion status identified in the congestion status identifying step, And a congestion status information transmission step to be transmitted to the server device.
また、本発明に係る混雑状況把握方法は、ユーザの周辺を撮像可能な撮像手段を備えた、当該ユーザが装着する混雑状況把握装置と、サーバ装置とを含む混雑状況把握システムにより実行される混雑状況把握方法であって、混雑状況把握装置が、撮像手段によって撮像された周辺画像を画像認識する画像認識ステップと、混雑状況把握装置が、画像認識ステップにおける画像認識結果に基づいて、ユーザが滞在する施設を特定する施設特定ステップと、混雑状況把握装置が、画像認識ステップにおける画像認識結果に基づいて、施設特定ステップにおいて特定された施設の混雑状況を特定する混雑状況特定ステップと、混雑状況把握装置が、施設特定ステップにおいて特定された施設を識別する施設情報と、混雑状況特定ステップにおいて特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信ステップと、サーバ装置が、施設情報と混雑状況情報とを混雑状況把握装置から受信する混雑状況情報受信ステップと、サーバ装置が、混雑状況情報受信ステップにおいて受信された施設情報と混雑状況情報とを対応付けて格納する混雑状況情報格納ステップと、を含む。 In addition, the congestion state grasping method according to the present invention is a congestion state executed by a congestion state grasping system including a congestion state grasping device worn by the user and a server device, which includes an imaging unit capable of photographing the periphery of the user. An image recognition step for recognizing a surrounding image captured by an imaging unit, and a user who stays on the basis of an image recognition result in the image recognition step. A facility identification step for identifying a facility to be operated, a congestion situation grasping device for identifying a congestion situation of the facility identified in the facility identification step based on an image recognition result in the image recognition step, and a congestion situation grasp The device has facility information that identifies the facility identified in the facility identification step and special information in the congestion status identification step. A congestion status information transmission step for transmitting the congestion status information regarding the congestion status to the server device, a congestion status information receiving step for the server device to receive facility information and congestion status information from the congestion status grasping device, and a server The apparatus includes a congestion status information storage step in which the facility information received in the congestion status information reception step and the congestion status information are stored in association with each other.
本発明によれば、施設側のコストをかけることなく、施設の混雑状況に関する情報を蓄積することができる。 According to the present invention, it is possible to accumulate information regarding the congestion status of a facility without incurring cost on the facility side.
以下、図面とともに本発明による混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。 Hereinafter, preferred embodiments of a congestion situation grasping device, a congestion situation grasping system, and a congestion situation grasping method according to the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.
図１は、本発明の実施形態に係る混雑状況把握システム４のシステム構成図である。図１に示す通り、混雑状況把握システム４は、混雑状況把握装置１と、サーバ装置２と、ネットワーク３とを含んで構成される。混雑状況把握装置１とサーバ装置２とは、ネットワーク３を介して互いに通信可能である。なお、図１において、混雑状況把握装置１と、サーバ装置２と、ネットワーク３とはそれぞれ１つずつ示しているが、それぞれ２つ以上あってもよい。本発明の実施形態に係る混雑状況把握システム４では、複数の混雑状況把握装置１からの情報（後述の混雑状況情報）をサーバ装置２が蓄積し、サーバ装置２が蓄積した情報に基づく情報を各混雑状況把握装置１に配信することを想定している。
FIG. 1 is a system configuration diagram of a congestion
混雑状況把握装置１は、身につけて持ち歩くことができるコンピュータであるウェアラブルデバイスの一種、ヘッドマウントディスプレイである。図１に示す通り、混雑状況把握装置１は、本体部１ａと、撮像部１ｂ（撮像手段）と、表示部１ｃ（表示手段）と、音声入力部１ｄとを含んで構成される。また、混雑状況把握装置１は、サーバ装置２と通信するための通信機能を搭載する。
The congestion state
本体部１ａは、コンピュータシステム本体であり、撮像部１ｂ、表示部１ｃ及び音声入力部１ｄの入出力制御を行い、撮像部１ｂ及び音声入力部１ｄからの情報を入力し、入力された情報に基づいて演算を行い、表示部１ｃ及びサーバ装置２へ演算結果や指示等の情報を出力する等、混雑状況把握装置１全体の処理制御を行う。なお、本体部１ａにはスマートフォン向けのＯＳ（Operating System）が組み込まれていてもよい。
The
撮像部１ｂは、混雑状況把握装置１を装着しているユーザ（本実施形態では単に「ユーザ」と呼ぶ）の周辺を撮像可能であり、具体的にはカメラである。撮像部１ｂは、ユーザの視線方向の風景を撮像してもよい。
The
表示部１ｃは、ユーザに情報を表示することが可能であり、具体的にはディスプレイである。表示部１ｃは、眼鏡のレンズのようにユーザの目の近辺の位置に配置される。表示部１ｃは、撮像部１ｂによって撮像された周辺画像を表示する。
The
音声入力部１ｄは、ユーザが発声した音声を入力することが可能であり、具体的にはマイクである。
The
なお、混雑状況把握装置１は上記以外の構成、例えばユーザが目のウインクをしたことを検出する検出用カメラ、ユーザに対して音声出力するスピーカなどをさらに備えていてもよい。
The congestion state
サーバ装置２は、一般的なコンピュータ装置である。サーバ装置２は、ネットワーク３を介して混雑状況把握装置１から情報を受信し、サーバ装置２内のデータベース等に蓄積する。そして、サーバ装置２は、蓄積した情報に対して集計処理を適宜行う。そして、サーバ装置２は、蓄積した情報や集計処理の結果を、ネットワーク３を介して混雑状況把握装置１に配信する。
The
ネットワーク３は、一般的なネットワークであり、具体的にはインターネットである。
The
図２は、混雑状況把握装置１及びサーバ装置２の機能ブロック図である。図２に示す通り、混雑状況把握装置１は、画像取得部１０、画像認識部１１（画像認識手段）、施設特定部１２（施設特定手段）、混雑状況特定部１３（混雑状況特定手段）、混雑状況情報送信部１４（混雑状況情報送信手段）、位置情報取得部１５（位置情報取得手段）、取得要求送信部１６（取得要求送信手段）、混雑状況情報受信部１７（混雑状況情報受信手段）、及び通知部１８（通知手段）を含んで構成される。また、サーバ装置２は、混雑状況情報受信部２０、混雑状況情報格納部２１（混雑状況情報格納手段）、取得要求受信部２２（取得要求受信手段）、及び混雑状況情報送信部２３を含んで構成される。
FIG. 2 is a functional block diagram of the congestion
混雑状況把握装置１は、ＣＰＵ等のハードウェアから構成されているものである。図３は、混雑状況把握装置１のハードウェア構成の一例を示す図である。図２に示される混雑状況把握装置１は、物理的には、図３に示すように、ＣＰＵ１００、主記憶装置であるＲＡＭ１０１及びＲＯＭ１０２、撮像部１ｂ、表示部１ｃ及び音声入力部１ｄ等の入出力装置１０３、通信モジュール１０４、補助記憶装置１０５、及びＧＰＳ（Global Positioning System）１０６等を含むコンピュータシステムとして構成されている。
The congestion
図２に示す混雑状況把握装置１の各機能ブロックの機能は、図３に示すＣＰＵ１００、ＲＡＭ１０１等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御のもとで入出力装置１０３、通信モジュール１０４、補助記憶装置１０５、及びＧＰＳ１０６を動作させるとともに、ＲＡＭ１０１におけるデータの読み出し及び書き込みを行うことで実現される。
The function of each functional block of the congestion
同様に、サーバ装置２は、ＣＰＵ等のハードウェアから構成されているものである。図４は、サーバ装置２のハードウェア構成の一例を示す図である。図２に示されるサーバ装置２は、物理的には、図４に示すように、ＣＰＵ２００、主記憶装置であるＲＡＭ２０１及びＲＯＭ２０２、キーボードやディスプレイ等の入出力装置２０３、通信モジュール２０４、及び補助記憶装置２０５等を含むコンピュータシステムとして構成されている。
Similarly, the
図２に示すサーバ装置２の各機能ブロックの機能は、図４に示すＣＰＵ２００、ＲＡＭ２０１等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ２００の制御のもとで入出力装置２０３、通信モジュール２０４、及び補助記憶装置２０５を動作させるとともに、ＲＡＭ２０１におけるデータの読み出し及び書き込みを行うことで実現される。
The function of each functional block of the
まず、以下では、図２に示す混雑状況把握装置１の各機能ブロックについて説明する。
First, each functional block of the congestion
画像取得部１０は、撮像部１ｂによって撮像された周辺画像を取得する。画像取得部１０は、混雑状況把握装置１の補助記憶装置１０５に格納された周辺画像を取得してもよいし、他の装置からネットワーク３を介して周辺画像を取得してもよい。画像取得部１０は、取得した周辺画像を、後述の画像認識部１１に出力する。
The
画像認識部１１は、画像取得部１０から入力された周辺画像、具体的には撮像部１ｂによって撮像された周辺画像を画像認識する。画像認識としては一般的な画像認識技術を採用する。画像認識部１１は、画像認識結果として、例えばＯＣＲ（Optical Character Reader）によるテキスト情報や、画像解析による画像オブジェクト情報等を抽出する。画像認識部１１は、抽出した画像認識結果を、後述の施設特定部１２及び混雑状況特定部１３に出力する。
The
施設特定部１２は、画像認識部１１から入力された画像認識結果に基づいて、ユーザが滞在する施設を特定する。ここで、施設とは、人等の混雑状況を確認する対象となる所定の空間であり、具体的には、店舗、レストランや会場等の建物内の空間や、屋外広場等の屋外空間である。施設特定部１２は、特定した施設に関する情報を後述の混雑状況特定部１３及び混雑状況情報送信部１４に出力する。
The
図５は、施設特定部１２が、ユーザが滞在する施設を特定している場面を示す図である。図５では、施設特定部１２が、３つの例にてユーザが滞在する施設を特定している。１つ目の例は、レシートＭ１の撮像画像の画像認識結果に基づく施設の特定である。店舗内にて、ユーザが店舗で買い物した際に店舗側によって発行されたレシートＭ１が撮像部１ｂによって撮像されると、画像認識部１１によってレシートＭ１に印字されている店舗名、住所、及び電話番号等のテキスト情報が抽出される。そして、施設特定部１２が、当該テキスト情報に基づいて、ユーザが滞在する施設（店舗）を特定する。施設特定部１２は、施設を特定する際に、画像認識部１１から入力された画像認識結果と共に、混雑状況把握装置１に予め格納された施設に関する施設情報や、他の装置に格納された施設情報を利用して、施設を特定してもよい。
FIG. 5 is a diagram illustrating a scene in which the
２つ目の例は、ナプキンＭ２の撮像画像の画像認識結果に基づく施設の特定である。レストラン内にて、ユーザが食事している際にユーザが使用しているナプキンＭ２が撮像部１ｂによって撮像されると、画像認識部１１によってナプキンＭ２に印字されているレストラン名及びレストランのロゴマーク等のテキスト情報及び画像オブジェクト情報が抽出される。そして、施設特定部１２が、当該テキスト情報及び画像オブジェクト情報に基づいて、ユーザが滞在する施設（レストラン）を特定する。
The second example is the identification of the facility based on the image recognition result of the captured image of the napkin M2. When the napkin M2 used by the user while the user is eating in the restaurant is imaged by the
３つ目の例は、看板Ｍ３の撮像画像の画像認識結果に基づく施設の特定である。施設外にて、ユーザが施設周辺を眺めている際に施設の看板Ｍ３が撮像部１ｂによって撮像されると、画像認識部１１によって看板Ｍ３に書かれている施設名及び施設のロゴマーク等のテキスト情報及び画像オブジェクト情報が抽出される。そして、施設特定部１２が、当該テキスト情報及び画像オブジェクト情報に基づいて、ユーザが滞在する（予定の）施設を特定する。なお、施設特定部１２が、ユーザが滞在する施設を特定する具体例は上記３つの例に限定されず、その他の施設名が書かれている物品等に基づいてユーザが滞在する施設を特定してもよい。
The third example is the identification of the facility based on the image recognition result of the captured image of the signboard M3. When the signboard M3 of the facility is imaged by the
混雑状況特定部１３は、画像認識部１１による画像認識結果に基づいて、施設特定部１２によって特定された施設の混雑状況を特定する。ここで、混雑状況とは、人等の動物や、車や自転車等の物体の混雑具合のことで、より具体的には「混雑している」、「混雑していない」、「人口密度Ｘ％」、「乗車率Ｘ％」、「満室」、「満車」、「空席あり」、「空」、「残りＸ人」、「待ち時間Ｘ分」、及び「列にＸ人」等が挙げられる。混雑状況特定部１３は、特定した混雑状況に関する情報を後述の混雑状況情報送信部１４に出力する。
The congestion
図６は、混雑状況特定部１３が、施設の混雑状況を特定している場面を示す図である。図６に示す例では、施設特定部１２から入力された施設に関する情報が示す施設内にて、当該施設内の空間にいる人々が撮像部１ｂによって撮像されると、画像認識部１１によって人々の画像オブジェクト情報が抽出される。そして、混雑状況特定部１３が、当該画像オブジェクト情報に基づいて、施設内の人の密度を算出し（例えば、画像取得部１０によって取得された画像全体に含まれる人の数に基づいて算出）、施設の混雑状況を特定する。混雑状況特定部１３は、図６に示す例に限られず、その他の方法を用いて施設の混雑状況を特定してもよい。
FIG. 6 is a diagram illustrating a scene in which the congestion
混雑状況情報送信部１４は、施設特定部１２によって特定された施設を識別する施設情報と、混雑状況特定部１３によって特定された混雑状況に関する混雑状況情報とを、サーバ装置２に送信する。より具体的には、混雑状況情報送信部１４は、施設特定部１２から入力された施設に関する情報に基づいて、施設名や施設の位置情報等のテキスト情報である当該施設を識別する施設情報を生成する。また、混雑状況情報送信部１４は、混雑状況特定部１３から入力された混雑状況に関する情報に基づいて、「混雑している」や「混雑していない」等のテキスト情報である混雑状況情報を生成する。そして、混雑状況情報送信部１４は、生成した施設情報と混雑状況情報とを、ネットワーク３を介してサーバ装置２の混雑状況情報受信部２０に送信する。なお、施設情報及び混雑状況情報は、それぞれ施設特定部１２及び混雑状況特定部１３が生成し、混雑状況情報送信部１４に出力し、混雑状況情報送信部１４がそのままサーバ装置２に送信してもよい。
The congestion status
混雑状況情報送信部１４は、混雑状況情報が蓄積され次第、施設情報と混雑状況情報とを、サーバ装置２に送信してもよい。もし、混雑状況把握装置１に混雑情報が蓄積されたときに通信モジュール１０４によるネットワーク通信が不可能な通信エリア外だった場合は、その後にネットワーク通信が可能な通信エリア内に入った時にまとめて施設情報と混雑状況情報とを送信する。
The congestion status
位置情報取得部１５は、特定の位置を示す位置情報を取得する。位置情報の具体例としては、緯度や経度等を含む情報、移動体通信網内の基地局を識別する情報、住所や電話番号を含む情報が挙げられる。位置情報取得部１５は特定の位置を示す位置情報を、ユーザの指示に基づいてユーザから取得してもよいし、混雑状況把握装置１の内部機能から取得してもよいし、他の装置からネットワーク３を介して取得してもよい。また、位置情報取得部１５は、当該混雑状況把握装置１の現在位置を示す位置情報を、ＧＰＳ１０６を介して取得してもよい。位置情報取得部１５は、取得した位置情報を後述の取得要求送信部１６に出力する。
The position
取得要求送信部１６は、混雑状況情報の取得要求をサーバ装置２にネットワーク３を介して送信する。取得要求とは、混雑状況情報の取得を要求する旨の情報である。取得要求送信部１６は、位置情報取得部１５によって取得され、入力された位置情報を含む取得要求であって、混雑状況情報の取得要求をサーバ装置２に送信してもよい。取得要求送信部１６が取得要求を送信するタイミングは、ユーザの指示に基づくものであってもよいし、所定のタイミングであってもよいし、位置情報取得部１５による位置情報取得時であってもよい。
The acquisition
混雑状況情報受信部１７は、混雑状況情報をサーバ装置２からネットワーク３を介して受信する。混雑状況情報受信部１７は、取得要求送信部１６による取得要求のサーバ装置２への送信に応じて、混雑状況情報を当該サーバ装置２から受信してもよい。混雑状況情報受信部１７は、混雑状況情報と共に、当該混雑状況情報が示す混雑状況の対象である施設の施設情報やその他の情報をサーバ装置２から受信してもよい。混雑状況情報受信部１７は、サーバ装置２から受信した混雑状況情報及びその他の情報を後述の通知部１８に出力する。
The congestion status
混雑状況情報受信部１７は、取得要求送信部１６による取得要求のサーバ装置２への送信に応じて、当該サーバ装置２により抽出された、当該取得要求に含まれる位置情報が示す位置から所定の範囲内に位置する施設の混雑状況情報を、当該サーバ装置２から受信してもよい。所定の範囲内の具体例としては、「２００ｍ以内」等の所定の距離以内や、撮像部１ｂが撮像しているエリア内が挙げられる。図７は、ユーザの近隣エリアにおける施設を示す図である。より具体的には、図７は、位置情報取得部１５により当該混雑状況把握装置１の現在位置を示す位置情報が取得され、取得された位置情報が取得要求送信部１６により取得要求に含められてサーバ装置２に送信され、その応答として、混雑状況情報受信部１７により、当該取得要求に含まれる当該位置情報が示す位置から所定の範囲内（近隣エリアＮ）に位置する施設の混雑状況情報を受信した場面を示す。図７において、ユーザの周りには施設Ｓ１〜Ｓ９が位置するが、混雑状況情報受信部１７により受信された混雑状況情報は、ユーザの近隣エリアＮ（例えばユーザから２００ｍ以内）に含まれる施設Ｓ１〜Ｓ４の混雑状況情報のみが含まれる。
In response to transmission of the acquisition request by the acquisition
通知部１８は、混雑状況情報受信部１７によって受信され、入力された混雑状況情報をユーザに通知する。通知部１８による通知方法の具体例としては、表示部１ｃにテキスト情報又は画像として表示出力、スピーカ等を通した音声出力、バイブレーション機能による振動出力などが挙げられる。
The
通知部１８は、混雑状況情報受信部１７によって受信された混雑状況情報を、表示部１ｃによって表示された周辺画像に重畳して表示してもよい。図８は、通知部１８が、施設に対して混雑状況情報を重畳して表示している場面を示す図である。図８に示す例では、施設情報「店舗Ａ」及び混雑状況情報「混雑している」の組と、施設情報「店舗Ｂ」及び混雑状況情報「混雑していない」の組とを入力した通知部１８が、表示部１ｃによって表示された周辺画像のうち、「店舗Ａ」を示す画像部分にテキスト情報「混雑している」を重畳して表示し、「店舗Ｂ」を示す画像部分にテキスト情報「混雑していない」を重畳して表示している。
The
続いて、以下では、図２に示すサーバ装置２の各機能ブロックについて説明する。
Subsequently, each functional block of the
混雑状況情報受信部２０は、施設情報と混雑状況情報とを混雑状況把握装置１からネットワーク３を介して受信する。混雑状況情報受信部２０は、受信した施設情報と混雑状況情報とを後述の混雑状況情報格納部２１に出力する。
The congestion state
混雑状況情報格納部２１は、混雑状況情報受信部２０によって受信され、入力された施設情報と混雑状況情報とを対応付けた混雑状況情報テーブルとして、サーバ装置２のデータベース等に格納する。図９は、混雑状況情報テーブルのテーブル例を示す図である。図９に示す通り、混雑状況情報テーブルでは、施設情報と混雑状況情報とが対応付けられて、施設ごとに混雑状況情報が格納されている。混雑状況情報格納部２１は、混雑状況情報テーブルとして、施設情報と混雑状況情報とを送信した混雑状況把握装置１の識別情報や、情報を受信又は格納した日時等、その他の情報をさらに対応付けて格納してもよい。混雑状況情報格納部２１は、一つ以上の混雑状況把握装置１から収集した情報を随時混雑状況情報テーブルに格納し、各施設ごとに最新の混雑状況情報に更新したり、古い情報を削除したりする等の集計・整理処理を行う。
The congestion status
取得要求受信部２２は、取得要求を混雑状況把握装置１からネットワーク３を介して受信する。取得要求受信部２２は、受信した取得要求、又は受信した旨の情報を、後述の混雑状況情報送信部２３に出力する。
The acquisition
混雑状況情報送信部２３は、混雑状況情報格納部２１によって格納された混雑状況情報を混雑状況把握装置１にネットワーク３を介して送信する。混雑状況情報送信部２３は、取得要求受信部２２によって取得要求が受信され、入力された際に、混雑状況情報を送信してもよい。また、混雑状況情報送信部２３は、取得要求受信部２２によって取得要求が受信されると、混雑状況情報格納部２１によって格納された混雑状況情報のうち、当該取得要求に含まれる位置情報が示す位置から所定の範囲内に位置する施設の混雑状況情報を抽出し、抽出した混雑状況情報を混雑状況把握装置１に送信してもよい。混雑状況情報送信部２３は、取得要求に含まれる位置情報が示す位置から所定の範囲内に位置する施設の混雑状況情報を抽出する際に、サーバ装置２に予め格納された施設ごとの位置情報や、他の装置に格納された当該情報を利用して、抽出してもよい。また、混雑状況情報送信部２３は、取得要求受信部２２が受信した取得要求の送信元の混雑状況把握装置１がサーバ装置２に対して送信してきた混雑状況情報以外の混雑状況情報を抽出してもよい。すなわち、取得要求の送信元以外の混雑状況把握装置１が生成及び送信した混雑状況情報を抽出する。その場合、混雑状況情報格納部２１は、混雑状況把握装置１の識別情報も対応付けて格納する。
The congestion status
続いて、図１０に示すフローチャートを用いて、従来技術において混雑状況を把握する際の処理について説明する。 Next, a process for grasping the congestion status in the related art will be described using the flowchart shown in FIG.
まず、混雑状況に関する混雑情報を提供する施設が、人手を使って生成した混雑情報、又は、自前のシステムを利用して生成した混雑情報をユーザに送信し（ステップＳ０１）、ユーザの携帯電話、スマートフォン又はパーソナルコンピュータ等が混雑情報を受信する（ステップＳ０２）。そして、ユーザが、Ｓ０２にて受信した情報に基づいて混雑状況を確認する（ステップＳ０３）。なお、混雑情報をウェブやメール等で配信していない施設の混雑情報を把握する必要がある場合は、ユーザがその施設へ電話などで直接問い合わせることで混雑状況を把握する。Ｓ０３にて混雑していれば、しばらく間を置いてＳ０２に戻る。Ｓ０３にて混雑していなければ、ユーザが、施設へ行ったり、施設の利用予約等をしたりする（ステップＳ０４）。 First, a facility that provides congestion information related to the congestion situation transmits congestion information generated manually or congestion information generated using its own system to the user (step S01). A smartphone or a personal computer receives the congestion information (step S02). Then, the user confirms the congestion status based on the information received in S02 (step S03). In addition, when it is necessary to grasp the congestion information of the facility where the congestion information is not distributed via the web or e-mail, the user grasps the congestion status by directly inquiring to the facility by telephone or the like. If it is congested in S03, it returns to S02 after a while. If it is not crowded in S03, the user goes to the facility or makes a use reservation for the facility (step S04).
次に、図１１及び図１２に示すフローチャートを用いて、本実施形態に係る混雑状況把握装置１で実行される処理（混雑状況把握方法）について説明する。図１１は、混雑状況情報をサーバ装置２にて蓄積するまでの処理を示し、図１２は、混雑状況把握装置１がサーバ装置２から混雑状況情報を受信し、ユーザが行動に移すまでの処理を示す。
Next, processing (congestion status grasping method) executed by the congestion
図１１において、まず、混雑状況把握装置１を装着したユーザが施設に移動する（ステップＳ１０）。次に、混雑状況把握装置１の画像取得部１０により、施設の周辺画像が取得される（ステップＳ１１）。次に、画像認識部１１により、Ｓ１１にて取得された周辺画像が画像認識される（ステップＳ１２、画像認識ステップ）。次に、施設特定部１２により、Ｓ１２の画像認識結果に基づいて施設が特定される（ステップＳ１３、施設特定ステップ）。次に、混雑状況特定部１３により、Ｓ１２の画像認識結果に基づいて混雑状況が特定される（ステップＳ１４、混雑状況特定ステップ）。次に、混雑状況情報送信部１４により、Ｓ１３にて特定された施設の施設情報と、Ｓ１４にて特定された混雑状況の混雑状況情報とがサーバ装置２に送信される（ステップＳ１５、混雑状況情報送信ステップ）。
In FIG. 11, first, the user wearing the congestion
次に、サーバ装置２の混雑状況情報受信部２０により、Ｓ１５にて送信された施設情報と混雑状況情報とが受信される（ステップＳ１６、混雑状況情報受信ステップ）。次に、混雑状況情報格納部２１により、Ｓ１６にて受信された施設情報と混雑状況情報とが格納される（ステップＳ１７、混雑状況情報格納ステップ）。
Next, the facility information and the congestion status information transmitted in S15 are received by the congestion status
続いて、図１２において、まず、混雑状況把握装置１の位置情報取得部１５により、位置情報が取得される（ステップＳ２０）。次に、取得要求送信部１６により、Ｓ２０にて取得された位置情報を含む取得要求がサーバ装置２に送信される（ステップＳ２１）。次に、サーバ装置２の取得要求受信部２２により、Ｓ２１にて送信された取得要求が受信される（ステップＳ２２）。次に、混雑状況情報送信部２３により、混雑状況情報格納部２１によって格納された混雑状況情報が抽出され（ステップＳ２３）、抽出された混雑状況情報が混雑状況把握装置１に送信される（ステップＳ２４）。
Subsequently, in FIG. 12, first, the position information is acquired by the position
次に、混雑状況把握装置１の混雑状況情報受信部１７により、Ｓ２４にて送信された混雑状況情報が受信される（ステップＳ２５）。次に、通知部１８により、Ｓ２５にて受信された混雑状況情報がユーザに通知される（ステップＳ２６）。次に、ユーザが、Ｓ２５にて通知された混雑状況情報を確認する（ステップＳ２７）。Ｓ２７にて混雑していれば、しばらく間を置いてＳ２６に戻る。Ｓ２７にて混雑していなければ、ユーザが、施設へ行ったり、施設の利用予約等をしたりする（ステップＳ２８）。
Next, the congestion state
次に、本実施形態のように構成された混雑状況把握装置１、サーバ装置２及び混雑状況把握システム４の作用効果について説明する。
Next, operations and effects of the congestion
本実施形態の混雑状況把握装置１によれば、画像認識結果に基づいて、ユーザが滞在する施設及び当該施設の混雑状況が特定される。つまり、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、施設の混雑状況が特定される。そして、特定された施設を識別する施設情報と、特定された混雑状況に関する混雑状況情報とがサーバ装置２に送信される。つまり、施設側のコストをかけることなく、施設の混雑状況に関する情報である施設情報と混雑状況情報とがサーバ装置２に蓄積される。
According to the congestion
また、本実施形態の混雑状況把握装置１によれば、混雑状況情報がサーバ装置２から受信され、ユーザに通知される。これにより、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、ユーザが施設の混雑状況を把握することができる。
Further, according to the congestion
また、本実施形態の混雑状況把握装置１によれば、取得要求送信部１６を備えることで、自装置が指定したタイミングで混雑状況情報をサーバ装置２から受信することができるため、ユーザの利便性を向上することができる。
Further, according to the congestion
また、本実施形態の混雑状況把握装置１によれば、位置情報取得部１５を備えることで、特定の位置から所定の範囲内に位置する施設の混雑状況情報をサーバ装置２から受信することができるため、例えば、ユーザが指定した位置近辺の施設の混雑状況をユーザが把握することができ、ユーザの利便性を向上することができる。
Further, according to the congestion
また、本実施形態の混雑状況把握装置１によれば、位置情報取得部１５を備える事で、例えば、ユーザの現在位置近辺の施設の混雑状況をユーザが把握することができ、ユーザの利便性を向上することができる。
In addition, according to the congestion
また、本実施形態の混雑状況把握装置１によれば、表示部１ｃを備えることで、ユーザに表示された周辺画像に、混雑状況情報が重畳して表示されるため、混雑状況情報がユーザの視界に入りやすく、例えば音や振動でその存在を通知されるよりも確実に気づくことができ、ユーザは施設の混雑状況をより確実に把握することができる。また、例えば、周辺画像に混雑状況情報を重畳して表示する際に、当該情報が示す施設が周辺画像中の実際に存在する場所近辺に重畳して表示することで、ユーザは当該施設が具体的にどの場所にあるかを容易に気づくことができ、ユーザの利便性を向上することができる。
Further, according to the congestion
本実施形態の混雑状況把握システム４によれば、混雑状況把握装置１にて、画像認識結果に基づいて、ユーザが滞在する施設及び当該施設の混雑状況が特定される。つまり、施設側のコストをかけることなく、かつユーザが特別な操作をすることなく、施設の混雑状況が特定される。そして、特定された施設を識別する施設情報と、特定された混雑状況に関する混雑状況情報とが混雑状況把握装置１からサーバ装置２に送信され、サーバ装置２にて格納される。つまり、施設側のコストをかけることなく、施設の混雑状況に関する情報である施設情報と混雑状況情報とがサーバ装置２に蓄積される。
According to the congestion
ここで、従来技術では、店舗・施設側が自ら混雑状況情報をユーザへ配信しない限りは、ユーザは混雑状況を把握するために店舗・施設へ直接問い合わせる必要がある。また、店舗・施設側が混雑状況情報をユーザへ配信するとしても、混雑状況情報のリアルタイム性を高めれば高めるほど、多くの稼動・コストが店舗・施設側に必要となる。 Here, in the prior art, unless the store / facility side itself distributes the congestion status information to the user, the user needs to make an inquiry directly to the store / facility to grasp the congestion status. Further, even if the store / facility side distributes the congestion status information to the user, the more the real-time property of the congestion status information is improved, the more operation / cost is required on the store / facility side.
そこで本実施形態の混雑状況把握システム４では、各ユーザの装着する混雑状況把握装置１が各ユーザの滞在している店舗・施設等を自動特定し、画像認識により混雑状況を把握してサーバ装置２へ自動送信し、別のユーザのヘッドマウントディスプレイに混雑状況を自動表示することで、店舗・施設側への稼働・コストがかからず、ユーザ操作を必要としない、混雑状況の把握が可能となる。
Therefore, in the congestion
つまり、店舗・施設側が混雑状況情報を配信していなくても、各ユーザの装着する混雑状況把握装置１が自動収集する混雑状況情報に基づいてリアルタイムに混雑状況情報をユーザが把握することができる。さらに、ユーザ操作を伴わず、ユーザが装着する混雑状況把握装置１がユーザの位置を自動特定し、その位置に適した混雑状況情報を表示部１ｃに自動表示することで、ユーザの利便性を向上することができると共に、サーバ装置２の混雑状況情報格納部２１への混雑状況情報の登録増が期待できる。
That is, even if the store / facility side does not distribute the congestion state information, the user can grasp the congestion state information in real time based on the congestion state information automatically collected by the congestion state
本実施形態の混雑状況把握装置１は、ヘッドマウントディスプレイだけに限らず、通信モジュール組み込み機器やウェアラブルデバイス等のその他通信機器にも同様に適用可能である。
The congestion
１…混雑状況把握装置、２…サーバ装置、３…ネットワーク、４…混雑状況把握システム、１０…画像取得部、１１…画像認識部、１２…施設特定部、１３…混雑状況特定部、１４…混雑状況情報送信部、１５…位置情報取得部、１６…取得要求送信部、１７…混雑状況情報受信部、１８…通知部、２０…混雑状況情報受信部、２１…混雑状況情報格納部、２２…取得要求受信部、２３…混雑状況情報送信部。
DESCRIPTION OF
Claims (9)
前記撮像手段によって撮像された周辺画像を画像認識する画像認識手段と、
前記画像認識手段による画像認識結果に基づいて、前記ユーザが滞在する施設を特定する施設特定手段と、
前記画像認識手段による画像認識結果に基づいて、前記施設特定手段によって特定された施設の混雑状況を特定する混雑状況特定手段と、
前記施設特定手段によって特定された施設を識別する施設情報と、前記混雑状況特定手段によって特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信手段と、
を備える混雑状況把握装置。 A congestion situation grasping device worn by the user, equipped with an imaging means capable of imaging the periphery of the user,
Image recognition means for recognizing a peripheral image captured by the imaging means;
Facility identifying means for identifying the facility where the user stays based on the image recognition result by the image recognition means;
Based on the image recognition result by the image recognition means, the congestion status specifying means for specifying the congestion status of the facility specified by the facility specifying means;
Congestion status information transmitting means for transmitting facility information for identifying the facility specified by the facility specifying means and congestion status information regarding the congestion status specified by the congestion status specifying means to a server device;
Congestion status grasping device.
前記混雑状況情報受信手段によって受信された混雑状況情報を前記ユーザに通知する通知手段と、
をさらに備える請求項１に記載の混雑状況把握装置。 Congestion status information receiving means for receiving congestion status information from the server device;
Notification means for notifying the user of the congestion status information received by the congestion status information receiving means;
The congestion state grasping device according to claim 1 further comprising:
前記混雑状況情報受信手段は、前記取得要求送信手段による取得要求に応じて前記サーバ装置から送信された混雑状況情報を受信する、
請求項２に記載の混雑状況把握装置。 Further comprising an acquisition request transmitting means for transmitting an acquisition request for congestion status information to the server device;
The congestion status information receiving means receives the congestion status information transmitted from the server device in response to the acquisition request by the acquisition request transmitting means;
The congestion state grasping device according to claim 2.
前記取得要求送信手段は、前記位置情報取得手段によって取得された位置情報を含む、混雑状況情報の取得要求を前記サーバ装置に送信し、
前記混雑状況情報受信手段は、前記取得要求送信手段による取得要求に応じて前記サーバ装置から送信された混雑状況情報であって、当該サーバ装置により抽出された、当該取得要求に含まれる位置情報が示す位置から所定の範囲内に位置する施設の混雑状況情報を受信する、
請求項３に記載の混雑状況把握装置。 It further comprises position information acquisition means for acquiring position information indicating a specific position,
The acquisition request transmitting means transmits an acquisition request for congestion status information including the position information acquired by the position information acquiring means to the server device,
The congestion status information receiving means is congestion status information transmitted from the server device in response to an acquisition request by the acquisition request transmitting means, and the location information included in the acquisition request extracted by the server device is Receiving congestion status information of facilities located within a predetermined range from the indicated position;
The congestion state grasping device according to claim 3.
請求項４に記載の混雑状況把握装置。 The position information acquisition means acquires position information indicating a current position of the congestion state grasping device;
The congestion situation grasping device according to claim 4.
前記通知手段は、前記混雑状況情報受信手段によって受信された混雑状況情報を、前記表示手段によって表示された周辺画像に重畳して表示する、
請求項２〜５の何れか一項に記載の混雑状況把握装置。 And further comprising display means for displaying a peripheral image captured by the imaging means to the user,
The notifying means displays the congestion status information received by the congestion status information receiving means superimposed on the surrounding image displayed by the display means;
The congestion situation grasping device according to any one of claims 2 to 5.
前記混雑状況把握装置は、
前記撮像手段によって撮像された周辺画像を画像認識する画像認識手段と、
前記画像認識手段による画像認識結果に基づいて、前記ユーザが滞在する施設を特定する施設特定手段と、
前記画像認識手段による画像認識結果に基づいて、前記施設特定手段によって特定された施設の混雑状況を特定する混雑状況特定手段と、
前記施設特定手段によって特定された施設を識別する施設情報と、前記混雑状況特定手段によって特定された混雑状況に関する混雑状況情報とを、前記サーバ装置に送信する混雑状況情報送信手段と、
を備え、
前記サーバ装置は、
施設情報と混雑状況情報とを前記混雑状況把握装置から受信する混雑状況情報受信手段と、
前記混雑状況情報受信手段によって受信された施設情報と混雑状況情報とを対応付けて格納する混雑状況情報格納手段と、
を備える、混雑状況把握システム。 A congestion situation grasping system including a congestion situation grasping device worn by the user, and a server device, equipped with an imaging means capable of photographing the periphery of the user,
The congestion status grasping device
Image recognition means for recognizing a peripheral image captured by the imaging means;
Facility identifying means for identifying the facility where the user stays based on the image recognition result by the image recognition means;
Based on the image recognition result by the image recognition means, the congestion status specifying means for specifying the congestion status of the facility specified by the facility specifying means;
Congestion status information transmitting means for transmitting facility information for identifying the facility specified by the facility specifying means and congestion status information regarding the congestion status specified by the congestion status specifying means to the server device;
With
The server device
Congestion status information receiving means for receiving facility information and congestion status information from the congestion status grasping device;
Congestion status information storage means for storing facility information and congestion status information received by the congestion status information receiving means;
A congestion status monitoring system.
前記撮像手段によって撮像された周辺画像を画像認識する画像認識ステップと、
前記画像認識ステップにおける画像認識結果に基づいて、前記ユーザが滞在する施設を特定する施設特定ステップと、
前記画像認識ステップにおける画像認識結果に基づいて、前記施設特定ステップにおいて特定された施設の混雑状況を特定する混雑状況特定ステップと、
前記施設特定ステップにおいて特定された施設を識別する施設情報と、前記混雑状況特定ステップにおいて特定された混雑状況に関する混雑状況情報とを、サーバ装置に送信する混雑状況情報送信ステップと、
を含む混雑状況把握方法。 A congestion state grasping method executed by a congestion state grasping device worn by the user, comprising an imaging means capable of photographing the periphery of the user,
An image recognition step for recognizing a peripheral image captured by the imaging means;
A facility identification step for identifying a facility where the user stays based on the image recognition result in the image recognition step;
Based on the image recognition result in the image recognition step, a congestion situation identification step for identifying the congestion situation of the facility identified in the facility identification step;
A congestion status information transmission step of transmitting facility information for identifying the facility identified in the facility identification step and congestion status information regarding the congestion status identified in the congestion status identification step to a server device;
Congestion situation grasp method including.
前記混雑状況把握装置が、前記撮像手段によって撮像された周辺画像を画像認識する画像認識ステップと、
前記混雑状況把握装置が、前記画像認識ステップにおける画像認識結果に基づいて、前記ユーザが滞在する施設を特定する施設特定ステップと、
前記混雑状況把握装置が、前記画像認識ステップにおける画像認識結果に基づいて、前記施設特定ステップにおいて特定された施設の混雑状況を特定する混雑状況特定ステップと、
前記混雑状況把握装置が、前記施設特定ステップにおいて特定された施設を識別する施設情報と、前記混雑状況特定ステップにおいて特定された混雑状況に関する混雑状況情報とを、前記サーバ装置に送信する混雑状況情報送信ステップと、
前記サーバ装置が、施設情報と混雑状況情報とを前記混雑状況把握装置から受信する混雑状況情報受信ステップと、
前記サーバ装置が、前記混雑状況情報受信ステップにおいて受信された施設情報と混雑状況情報とを対応付けて格納する混雑状況情報格納ステップと、
を含む混雑状況把握方法。 A congestion state grasping method executed by a congestion state grasping system including a congestion state grasping device worn by the user and a server device, which includes an imaging unit capable of photographing the periphery of the user,
An image recognition step for recognizing a peripheral image captured by the imaging means;
A facility identification step for identifying the facility where the user stays based on the image recognition result in the image recognition step;
The congestion status grasping device specifies the congestion status of the facility identified in the facility identification step based on the image recognition result in the image recognition step; and
The congestion status information for the facility status identifying device to transmit facility information for identifying the facility specified in the facility specifying step and the congestion status information related to the congestion status specified in the congestion status specifying step to the server device. Sending step;
The server device receives facility information and congestion status information from the congestion status grasping device, a congestion status information receiving step,
The server device stores the congestion status information stored in association with the facility information and the congestion status information received in the congestion status information reception step;
Congestion situation grasp method including.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014034362A JP2015158866A (en) | 2014-02-25 | 2014-02-25 | Congestion state grasping device, congestion state grasping system and congestion state grasping method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014034362A JP2015158866A (en) | 2014-02-25 | 2014-02-25 | Congestion state grasping device, congestion state grasping system and congestion state grasping method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015158866A true JP2015158866A (en) | 2015-09-03 |
Family
ID=54182792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014034362A Pending JP2015158866A (en) | 2014-02-25 | 2014-02-25 | Congestion state grasping device, congestion state grasping system and congestion state grasping method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015158866A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6156665B1 (en) * | 2016-04-08 | 2017-07-05 | パナソニックＩｐマネジメント株式会社 | Facility activity analysis apparatus, facility activity analysis system, and facility activity analysis method |
| JP2018081052A (en) * | 2016-11-18 | 2018-05-24 | クラリオン株式会社 | On-vehicle device and information processing system |
| WO2018168119A1 (en) * | 2017-03-17 | 2018-09-20 | 日本電気株式会社 | Information providing device, information providing method, and program |
| JP2020035238A (en) * | 2018-08-30 | 2020-03-05 | Ｚホールディングス株式会社 | Information processor, information processing method, and information processing program |
| WO2022259450A1 (en) * | 2021-06-10 | 2022-12-15 | 日本電気株式会社 | Information processing device, information processing system, information processing method, and non-transitory computer readable medium |
-
2014
- 2014-02-25 JP JP2014034362A patent/JP2015158866A/en active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6156665B1 (en) * | 2016-04-08 | 2017-07-05 | パナソニックＩｐマネジメント株式会社 | Facility activity analysis apparatus, facility activity analysis system, and facility activity analysis method |
| JP2017188023A (en) * | 2016-04-08 | 2017-10-12 | パナソニックＩｐマネジメント株式会社 | Institutional activity analysis device, institutional activity analysis system, and institutional activity analysis method |
| WO2017175484A1 (en) * | 2016-04-08 | 2017-10-12 | パナソニックＩｐマネジメント株式会社 | Intra-facility activity analysis device, intra-facility activity analysis system, and intra-facility activity analysis method |
| JP2018081052A (en) * | 2016-11-18 | 2018-05-24 | クラリオン株式会社 | On-vehicle device and information processing system |
| WO2018168119A1 (en) * | 2017-03-17 | 2018-09-20 | 日本電気株式会社 | Information providing device, information providing method, and program |
| JP2018156360A (en) * | 2017-03-17 | 2018-10-04 | 日本電気株式会社 | Information providing device, information providing method, and program |
| CN110462664A (en) * | 2017-03-17 | 2019-11-15 | 日本电气株式会社 | Information provider unit provides the methods and procedures of information |
| JP2021152959A (en) * | 2017-03-17 | 2021-09-30 | 日本電気株式会社 | Information providing device and information providing method |
| JP7160149B2 (en) | 2017-03-17 | 2022-10-25 | 日本電気株式会社 | Information providing device and information providing method |
| JP2020035238A (en) * | 2018-08-30 | 2020-03-05 | Ｚホールディングス株式会社 | Information processor, information processing method, and information processing program |
| WO2022259450A1 (en) * | 2021-06-10 | 2022-12-15 | 日本電気株式会社 | Information processing device, information processing system, information processing method, and non-transitory computer readable medium |
| JP7529156B2 (en) | 2021-06-10 | 2024-08-06 | 日本電気株式会社 | Information processing device, information processing system, and information processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2015158866A (en) | Congestion state grasping device, congestion state grasping system and congestion state grasping method | |
| JP2022060383A (en) | Program, information transmission method, computer-readable storage medium, and information transmission system | |
| US20070228159A1 (en) | Inquiry system, imaging device, inquiry device, information processing method, and program thereof | |
| JP6092761B2 (en) | Shopping support apparatus and shopping support method | |
| JP2017060148A (en) | Wearable camera system and method of notifying of person | |
| JP2015164353A5 (en) | Information acquisition system, server, portable terminal, and information acquisition program | |
| JPWO2007080921A1 (en) | Information recording system, information recording apparatus, information recording method, and information collection program | |
| JP6440184B2 (en) | Watch system, watch method, portable terminal, management device and control program thereof | |
| JP2020202000A (en) | Image collection system, image collection method, and program | |
| JP2007133595A (en) | Inquiry system | |
| JP2015233204A (en) | Image recording device and image recording method | |
| JP2019040368A (en) | Image search assisting device and image search assisting method | |
| JP2015138534A (en) | Electronic device | |
| JP5875915B2 (en) | Priority seat use support system, passenger support device, and priority seat use support method | |
| JP2016048301A (en) | Electronic device | |
| JP2015176220A (en) | Bulletin board device and bulletin board system | |
| US20230050235A1 (en) | Surveillance system, surveillance apparatus, surveillance method, and non-transitorycomputer-readable storage medium | |
| JP5115572B2 (en) | Camera management server, security service management method, and security service management program | |
| CN109924946A (en) | A kind of rescue mode and device | |
| JP6077930B2 (en) | Information management apparatus, information management system, communication terminal, and information management method | |
| JP6877176B2 (en) | Monitoring system | |
| JP7003206B2 (en) | Report processing system | |
| JP7239013B2 (en) | GUIDING DEVICE, GUIDING METHOD, PROGRAM | |
| WO2021112161A1 (en) | Information processing device, control method, and non-transitory computer-readable medium | |
| JP5977697B2 (en) | Electronic device and method for controlling electronic device |