JP2008262435A - Business support system using face authentication and customer state information - Google Patents

Business support system using face authentication and customer state information Download PDF

Info

Publication number
JP2008262435A
JP2008262435A JP2007105431A JP2007105431A JP2008262435A JP 2008262435 A JP2008262435 A JP 2008262435A JP 2007105431 A JP2007105431 A JP 2007105431A JP 2007105431 A JP2007105431 A JP 2007105431A JP 2008262435 A JP2008262435 A JP 2008262435A
Authority
JP
Japan
Prior art keywords
customer
information
face
store
support system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007105431A
Other languages
Japanese (ja)
Inventor
Tatsuo Miyasoi
宮副竜生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2007105431A priority Critical patent/JP2008262435A/en
Publication of JP2008262435A publication Critical patent/JP2008262435A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a service support system, capable of performing business support while considering not only information for customers having visit histories, but also information for the customer class, group form, or the like of a customer group. <P>SOLUTION: The system manages information for a customer having a visit history and updates the customer information every time when he/she visits a store, while performing new registration for a first-time customer. A photographic camera device capable of photographing individual face parts of customers and a whole customer group is set at an entrance of the store to perform face detection from an image. The system performs face collation for the face image, counts the number of persons of the whole customer group from the image, performs determination of sex and stature class for each of the customers, respectively, from the image to determine a structure of the customer group, and provides a selection menu matched to the taste thereof. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、営業支援、サービス選定支援に関し、特に顧客入店型の店舗におけるメニューの選定、オーダー支援に適した営業支援、メニューオーダー選定支援に関する。   The present invention relates to sales support and service selection support, and more particularly to menu selection in a customer-entry type store, sales support suitable for order support, and menu order selection support.

従来のサービス選定支援システムとしては、例えば特許文献１のような顧客ＩＤを管理する方法や、特許文献２および特許文献３に記載されたような、注文者のＩＤとパスワード、といった顧客個人を識別する手段を入店時に顧客より意識的に提示してもらうような方法であった。   As a conventional service selection support system, for example, a method for managing a customer ID as in Patent Document 1 and an individual customer such as an orderer's ID and password as described in Patent Document 2 and Patent Document 3 are identified. It was a way to have the customer consciously present the means to do when entering the store.

特開２００３−２６３４８１号公報Japanese Patent Laid-Open No. 2003-263481 特開２００５−２２２１９１号公報JP 2005-222191 A 特開２００３−２４２４８６号公報JP 2003-242486 A

従来のシステムでは、顧客に意識的に個人を識別する情報を定時してもらわないと店舗側はそれを入手することができないものであった。   In the conventional system, the store side cannot obtain the information unless the customer consciously identifies the person on time.

また、対象が入店顧客一人一人の顧客データは管理しても、顧客が複数人のグループで入店した際のグループ単位で顧客データ管理を行なうような形態は考慮していなかった。
つまり、顧客が提示した個人データのみが、メニューオーダー選定の支援対象となっていた。 Moreover, even if the customer data of each customer entering the store is managed, a form in which customer data management is performed on a group basis when a customer enters a group of a plurality of people is not considered.
In other words, only the personal data presented by the customer is the target for menu order selection.

本願発明は、入店歴のある顧客情報だけでなく、顧客グループの顧客層、グループ形態等の情報も加味した形で営業支援をおこなうことができるサービス支援システムを提供することを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to provide a service support system capable of providing sales support in consideration of not only customer information having a history of entering a store but also information such as customer groups of customer groups and group forms.

上記課題を達成するために、本発明は、入店歴のある顧客情報を管理し、入店の度に顧客情報を更新することを、また、初めての顧客に対しては、新規登録をすることを特徴とする。また、本発明は、店舗入口に入店顧客の個々の顔部分、及び顧客グループ全体を撮影することが可能な撮影カメラ装置を設置することを特徴とする。また、本発明は、映像より顔を検知し、その顔画像に対して顔照合をすることを特徴とする。また、本発明は、映像より顧客グループ全体の人数をカウントすることを特徴とする。また、本発明は、映像より顧客一人ひとりに対して、性別を判定することを特徴とする。また、本発明は、映像より顧客一人ひとりに対して、身長区分を判定することを特徴とする。また、本発明は、顧客グループの構成を判定し、選定メニューを提供する   In order to achieve the above object, the present invention manages customer information with a history of entering a store, updates the customer information every time the store enters, and newly registers for the first time customer. It is characterized by that. Further, the present invention is characterized in that a photographing camera device capable of photographing individual face portions of customers entering the store and the entire customer group is installed at the store entrance. Further, the present invention is characterized in that a face is detected from an image and face matching is performed on the face image. Further, the present invention is characterized in that the total number of customers in the customer group is counted from the video. Further, the present invention is characterized in that the sex is determined for each customer from the video. Further, the present invention is characterized in that the height classification is determined for each customer from the video. In addition, the present invention determines the configuration of a customer group and provides a selection menu.

本発明によれば、顔認証、及び顧客状況情報を利用した、営業支援システムは、入店歴のある顧客情報だけでなく、顧客グループの顧客層、グループ形態等の情報も加味した形で営業支援をおこなうようになっているため、入店歴のない顧客が始めて訪れた場合や、顧客グループの形態（人数、構成等）によっても変わる、顧客個々の志向にも対応した営業支援が可能となるという効果が期待できる。それに伴い顧客へのサービス向上という点で経営者に対して貢献できる。   According to the present invention, the sales support system using face authentication and customer status information is operated not only with customer information with a history of entering the store, but also with information on the customer group of the customer group, group form, etc. Since support is provided, it is possible to provide sales support that responds to individual customer preferences that change depending on the type of customer group (number, composition, etc.) when a customer who has never entered the store has visited for the first time. The effect of becoming can be expected. Along with that, it can contribute to management in terms of improving service to customers.

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は本発明の一実施例における、顔認証、及び状況情報を利用した営業支援システムの一実施例を示すブロック構成図である。
この顔認証、及び状況情報を利用した営業支援システムは、例えば、飲食店等の店舗で入店した顧客に対してメニューの選定、オーダー支援を管理するものである。営業支援システムは、店舗の入口に設置された撮影カメラ装置１１、撮影された映像より顔部分を検知、顔画像として切出す顔検知装置１２と、切出された顔画像と、入店歴のある顧客顔画像、もくしくは顔照合に必要な個々顔の特徴データを蓄えているデータベースと顔照合をおこなう顔照合装置１３（顔検知装置１２と顔照合装置１３を併せて顔認証装置１４とする）と、撮影カメラ装置１１により撮影された映像より来店顧客人数をカウントする顧客人数判定装置１５と、同じく撮影カメラ装置１１により撮影された映像より来店顧客のそれぞれの性別を判定する性別判定装置１６と、同じく撮影カメラ装置１１により撮影された映像より来店顧客のそれぞれの身長を判定する身長判定装置１７と、入店歴のある顧客の入店回数、性別、身長、過去のオーダー情報等の顧客情報を管理する顧客情報管理装置１８と、顧客情報管理装置１８から得られる顧客グループの人数、構成、性質等の情報よりメニュー選定の支援をおこなうメニュー選定支援装置１９と、これらの各装置を通信可能にするネットワーク環境２０から構成される。 FIG. 1 is a block diagram showing an embodiment of a sales support system using face authentication and status information in an embodiment of the present invention.
This sales support system using face authentication and situation information manages menu selection and order support for customers who enter a store such as a restaurant. The sales support system includes a photographing camera device 11 installed at the entrance of a store, a face detection device 12 that detects a face part from a photographed image and cuts it out as a face image, a cut face image, and a store history. A face image matching apparatus 13 for performing face matching with a customer face image or a database storing feature data of individual faces necessary for face matching (a face authentication device 14 combined with the face detection device 12 and the face matching device 13). And the customer number determination device 15 that counts the number of customers visiting the store from the video taken by the photographing camera device 11 and the gender determination that determines the gender of each customer coming from the same video taken by the shooting camera device 11. A height determination device 17 that determines the height of each customer coming from the device 16, and a video taken by the camera device 11, and the number of times the customer has entered the store, the sex A customer information management device 18 that manages customer information such as height and past order information, and a menu selection support device that supports menu selection from information such as the number, composition, and properties of the customer group obtained from the customer information management device 18 19 and a network environment 20 enabling these devices to communicate with each other.

本構成内の顔認証装置１４において、例えば、該当者が存在する照合結果が得られれば、すなわち、入店歴のある顧客情報を管理する顧客情報管理装置１８に登録されていたとすれば、それは入店歴のある顧客であるという判定がなされる。この場合、該当する顧客情報が提供メニューを選定するための情報の一部として使用される。この顧客情報には、図２が示すような、顧客識別ＩＤ、性別、身長、入店回数等の顧客固有の情報と、図３が示すような、当該顧客の過去のオーダーメニューやメニューの分類、オーダー回数等の過去のオーダー情報とが含まれている。   In the face authentication device 14 in this configuration, for example, if a matching result in which the person exists is obtained, that is, if it is registered in the customer information management device 18 that manages customer information with a history of entering the store, It is determined that the customer has a history of entering the store. In this case, the corresponding customer information is used as part of the information for selecting the provision menu. The customer information includes customer-specific information such as customer identification ID, gender, height, and number of times of entry as shown in FIG. 2, and the past order menu and menu classification of the customer as shown in FIG. And past order information such as the number of orders.

一方で、顔認証装置１４において、例えば、該当者が存在しない照合結果が得られれば、すなわち、入店歴のある顧客情報を管理する顧客情報管理装置１８に登録されていないとすれば、それは入店歴のない顧客であるという判定がなされる。この場合、顔検知装置１２によって切出された顔画像を元に、顔照合に必要な顔の特徴データが作成され、新たな顧客識別ＩＤ等と共に顧客情報管理装置１８に登録される。この際に、性別判定装置１６により得られた性別と、身長判定装置１７により得られた身長区分も共に、顧客情報管理装置１８に登録される。
また、これらの一連の処理を、顧客人数判定装置１５によりカウントした人数と確認をしながら、入店する顧客グループの全員に対しておこなうことで、顧客個々の過去のオーダーメニュー情報を、提供メニューの参考にすることができる。 On the other hand, in the face authentication device 14, for example, if a matching result in which the corresponding person does not exist is obtained, that is, if it is not registered in the customer information management device 18 that manages customer information having a history of entering the store, It is determined that the customer has no history of entering the store. In this case, face feature data necessary for face matching is created based on the face image cut out by the face detection device 12 and registered in the customer information management device 18 together with a new customer identification ID and the like. At this time, both the gender obtained by the gender judging device 16 and the height classification obtained by the height judging device 17 are registered in the customer information management device 18.
Further, by performing these series of processes for all members of the customer group entering the store while confirming with the number of customers counted by the customer number determination device 15, the past order menu information of each customer can be displayed as the menu provided. Can be helpful.

しかしながら、顧客個々の過去のオーダーメニュー情報だけでは、入店歴のない初めての顧客に対しては、提供メニューを選定する情報が全く得られないことになる。また、久しぶりにその店舗を訪れたり、飲食の嗜好が変わったりした場合、当該顧客の過去のオーダーメニュー情報さえ役に立たない場合がある。さらに、当該顧客が複数人のグループで入店する場合、同一人物であっても、そのグループの人数、構成、性質等によって、飲食する志向が異なる可能性が非常に高い。
本発明では、これら提供メニューを選定する際の情報不足を補うため、顧客個々の過去のオーダーメニュー情報だけでなく、入店する顧客グループが、どのような顧客層で、どのようなグループ形態かを判定し、その情報をも加味した提供メニューの選定をおこなう。 However, information about selecting a provision menu cannot be obtained for a first-time customer who has not entered the store by using only past order menu information of each customer. In addition, when visiting the store for the first time in a long time, or when eating and drinking preferences change, even the customer's past order menu information may not be useful. Furthermore, when the customer enters a group of a plurality of people, even if the customer is the same person, the possibility of eating and drinking is very likely to be different depending on the number, configuration, nature, etc. of the group.
In the present invention, in order to make up for the shortage of information when selecting these provided menus, not only the past order menu information of each customer, but also the customer group to enter the store and what group form And select a provision menu that takes that information into account.

図４は顧客への提供メニューの選定までの流れをフローチャートに示したものである。
まず、店舗入口において入店する顧客グループの個々の顔部分、及びグループ全体を撮影して動画映像を取得する。次にこの取得した映像に対して、人数判定をおこない、グループ全体の人数をカウントする。同時に、同映像より顔検知、顔切出しを実行し、切出された顔部分を顔画像として保存する。この時保存された顔画像に対して、入店歴を管理している顧客情報管理データベースと顔照合を実行し、照合結果を取得する。この際に、該当情報が存在する場合、つまりは照合が一致した場合、顧客情報管理装置から、当該顧客の過去の嗜好メニュー情報を取得し、提供メニュー選定の情報源の一部とする。一方で、顔照合の結果、該当情報が存在しなかった場合、つまりは照合が一致しなかった場合、性別判定装置により、当該顧客の男性／女性を判定し、また、身長判定装置により、身長区分（大人／子供）を判定し、顔検知した当該顧客の顔画像情報（顔照合に必要なデータ）と共に顧客情報管理装置へ新規登録する。これらの一連の処理を、顧客グループ全体の人数を確認しながら、全員に対して繰り返す。顧客グループ全員に対して、一連の処理が完了した後に、結果として、顧客グループがどのような集団（構成）で入店しているかを判定する。 FIG. 4 is a flowchart showing the flow up to the selection of the menu to be provided to the customer.
First, individual face portions of the customer group entering the store at the store entrance and the entire group are photographed to obtain a moving image. Next, the number of persons in the entire group is counted by determining the number of persons for the acquired video. At the same time, face detection and face extraction are executed from the same video, and the extracted face portion is stored as a face image. The face image stored at this time is face-matched with the customer information management database that manages the store entry history, and the matching result is acquired. At this time, if the corresponding information exists, that is, if the collation matches, the customer's past preference menu information is acquired from the customer information management device, and is used as a part of the information source for providing menu selection. On the other hand, if the corresponding information does not exist as a result of the face matching, that is, if the matching does not match, the male / female of the customer is determined by the sex determination device, and the height determination device determines the height. The classification (adult / child) is determined, and newly registered in the customer information management apparatus together with the face image information (data necessary for face matching) of the customer whose face has been detected. These series of processes are repeated for all members while confirming the number of customers in the entire customer group. After a series of processing is completed for all customer groups, as a result, it is determined in what group (configuration) the customer group enters the store.

この時の判定材料としては、図５の顧客グループ構成判定情報がある。例えば、大人の男性１人、大人の女性１人で構成される合計２人の顧客グループの場合では、これを夫婦、もしくはカップルと判定する。また、大人の男性１人、大人の女性１人、子供２人で構成される合計４人の顧客グループの場合では、これを家族連れと判定する。ここで判定した構成に対して、提供メニューの選定していくのであるが、これに対しては図６の顧客グループ構成による志向メニュー情報がある。例えば、夫婦、もしくはカップルと判定された顧客グループに対しては、ワインやフランス料理といったオシャレで落ち着いたものを、提供メニューとして選定したり、また、家族連れと判定された顧客グループに対しては、お子様ランチやジュースといった子供向けのメニューを豊富に選定したりすることができる。   The determination material at this time includes customer group configuration determination information of FIG. For example, in the case of a total of two customer groups composed of one adult male and one adult female, this is determined as a couple or a couple. Further, in the case of a total of four customer groups composed of one adult male, one adult female, and two children, this is determined as a family. The provided menu is selected for the configuration determined here, and there is oriented menu information based on the customer group configuration of FIG. For example, for a couple or a customer group determined to be a couple, select a fashionable menu such as wine or French cuisine as the offer menu, or for a customer group determined to be a family You can choose from a variety of menus for children, such as children's lunches and juices.

これら顧客グループの構成にあわせた、選定メニュー情報を、入店歴のある顧客情報と併せて提供することで、顧客グループに対して、的確で、かつ志向に添った選定メニューの提供を期待することができる。   By providing selection menu information that matches the composition of these customer groups, along with customer information with a history of entering the store, we expect the customer groups to provide accurate and tailored selection menus. be able to.

次に、店舗の入口に設置された撮影カメラ装置１１から得られる映像から、人数判定装置１５、性別判定装置１６、身長判定装置１７の実施の形態について、図面を参照しながら、詳細に説明する。
図７（ａ）は、顧客入店時に撮影カメラ装置１１によって撮影されたある時点でのフレームであり、
図７（ｂ）は、図７（ａ）の次のフレームである。
図７（ａ）において、例えば、３人の人物の顔が検知されたとする。この時に検知された顔画像とそれぞれの顔画像の検知座標位置を一時的に保存しておく。また、次のフレーム図７（ｂ）においても検知された３人の顔画像とそれぞれの顔画像の検知座標位置を一時的に保存しておく。そして、図７（ｂ）の時点において得られた顔画像の検知座標位置が、前フレーム図７（ａ）の時点において得られた顔画像の検知座標位置に非常に近傍である場合、同一人物である可能性が高い。そこで、一時的に保存している図７（ａ）の顔画像と、図７（ｂ）の顔画像の顔照合をおこなう。この顔照合により、フレーム間で同一人物を二重、三重カウントすることを避けることができ、正確な入店人数を把握することができる。
次に、性別判定装置１６に関しては、入力された映像中の顔画像から、その性別の属性を推定するための装置が特開２００３−２４２４８６号公報として報告されている。これは、事前に手動で属性毎に分けて登録しておいた人物顔の特徴と、入力された顔画像の特徴とを照合することにより、顔画像の性別の属性を推定する装置である。 Next, an embodiment of the number determination device 15, the sex determination device 16, and the height determination device 17 will be described in detail with reference to the drawings from a video obtained from the photographing camera device 11 installed at the entrance of the store. .
FIG. 7A is a frame at a certain point of time taken by the photographing camera device 11 when the customer enters the store.
FIG. 7B is the next frame of FIG.
In FIG. 7A, for example, it is assumed that the faces of three persons are detected. The face image detected at this time and the detected coordinate position of each face image are temporarily stored. Also, in the next frame FIG. 7B, the detected face images of the three persons and the detected coordinate positions of the respective face images are temporarily stored. If the detected coordinate position of the face image obtained at the time of FIG. 7 (b) is very close to the detected coordinate position of the face image obtained at the time of FIG. 7 (a) in the previous frame, the same person Is likely. Accordingly, the face image of FIG. 7A temporarily stored and the face image of FIG. 7B are face-matched. By this face matching, it is possible to avoid double and triple counting of the same person between frames, and it is possible to grasp the exact number of customers entering the store.
Next, regarding the gender determination device 16, a device for estimating the gender attribute from a face image in an input video is reported as Japanese Patent Laid-Open No. 2003-242486. This is a device that estimates the gender attribute of a face image by collating the features of a human face that have been manually registered for each attribute in advance with the features of the input face image.

次に、身長判定装置１７に関して説明する。
図８は、顧客グループが入店した際のイメージ図である。
図８からも分かるように、身長によってカメラで撮影され、顔を検出される位置が変わってくる。実際の撮影カメラ装置１１による撮影フレームは図７に示した通りである。これによって、撮影カメラ装置１１との位置関係を考慮することにより、入店顧客のそれぞれの身長判定をおこなうことができる。また必要に応じて、撮影カメラ装置１１自体を上下移動させることにより、広範囲な領域を網羅することができる。
本発明は、飲食店やカラオケ等、様々な顧客層が、様々なグループ形態で訪れる店舗サービスに応用可能である。 Next, the height determination device 17 will be described.
FIG. 8 is an image diagram when the customer group enters the store.
As can be seen from FIG. 8, the position where the face is detected by the camera is changed depending on the height. An actual photographing frame by the photographing camera device 11 is as shown in FIG. Accordingly, the height of each customer can be determined by considering the positional relationship with the photographing camera device 11. If necessary, the photographing camera apparatus 11 itself can be moved up and down to cover a wide area.
The present invention can be applied to store services visited by various customer groups such as restaurants and karaoke in various group forms.

本発明の一実施例における顔認証、及び状況情報を利用した営業支援システムのブロック構成図である。It is a block block diagram of the sales support system using the face authentication and status information in one Example of this invention. 入店歴のある顧客の固有情報の例を示す図である。It is a figure which shows the example of the specific information of the customer with a store history. 入店歴のある顧客の過去のオーダー情報の例を示す図である。It is a figure which shows the example of the past order information of the customer with a store history. 顧客への提供メニューの選定までの流れを説明したフローチャートである。It is the flowchart explaining the flow until selection of the offer menu to a customer. 顧客グループ構成判定情報の例を示す図である。It is a figure which shows the example of customer group structure determination information. 顧客グループ構成による志向メニュー情報の例を示す図である。It is a figure which shows the example of the oriented menu information by a customer group structure. 入店時に撮影された顧客グループの映像（フレーム）図のイメージ図である。It is an image figure of the image | video (frame) figure of the customer group image | photographed at the time of entering a shop. 入店時の顧客グループと撮影カメラ装置１１の位置関係図である。It is a positional relationship figure of the customer group at the time of entering a store, and photographing camera device 11.

符号の説明Explanation of symbols

１１：撮影カメラ装置
１２：顔検知装置
１３：顔照合装置
１４：顔認証装置
１５：顧客人数判定装置
１６：性別判定装置
１７：身長判定装置
１８：顧客情報管理装置
１９：メニュー選定支援装置
２０：ネットワーク装置
２１：動画映像取得手段
２２：人数情報取得手段
２３：顔切出し（画像保存）手段
２４：照合結果取得手段
２６：嗜好メニュー情報取得手段
２７：男性／女性情報取得手段
２８：大人／子供情報を取得手段
２９：新規登録手段
３１：メニューの選定を実行する手段
３２：映像フレーム内の顔画像検知枠 11: Shooting camera device 12: Face detection device 13: Face matching device 14: Face authentication device 15: Customer number determination device 16: Gender determination device 17: Height determination device 18: Customer information management device 19: Menu selection support device 20: Network device 21: Movie image acquisition means 22: Number of people information acquisition means 23: Face extraction (image storage) means 24: Verification result acquisition means 26: Preference menu information acquisition means 27: Male / female information acquisition means 28: Adult / child information Acquisition means 29: new registration means 31: means for selecting a menu 32: face image detection frame in a video frame

Claims (4)

撮影カメラ装置と、該カメラで撮影された映像の顔部分を検知し顔画像として切出す顔検知装置と、該切出された顔画像と、入店歴のある顧客顔画像、もくしくは顔照合に必要な個々顔の特徴データを蓄えているデータベースと照合をおこなう照合装置と、入店歴のある顧客の入店回数、性別、身長、過去のオーダー情報等の顧客情報を管理する顧客情報管理装置とを有する営業支援システムであって、
前記照合結果に基づき、顧客情報の追加更新を行なう顧客情報管理装置と、顧客情報管理装置から得られる顧客情報よりサービス選定支援をおこなう営業支援システム。 A photographing camera device, a face detection device that detects a face portion of an image photographed by the camera and cuts out the face image, the cut face image, a customer face image with a history of entering a store, or A collation device that performs collation with a database that stores individual face feature data necessary for face collation, and a customer who manages customer information such as the number of visits, gender, height, past order information, etc. A sales support system having an information management device,
A customer information management apparatus that performs additional update of customer information based on the collation result, and a sales support system that supports service selection from customer information obtained from the customer information management apparatus. 前記営業支援システムは、前記撮影カメラ装置で撮影した映像から顧客グループの人数をカウントする顧客人数判定装置と、顧客グループ全員の性別を判定する性別判定装置と、顧客グループ全員の身長を判定する身長判定装置とを有し、それら判断装置で判断した顧客人数情報、顧客性別情報、顧客身長判定情報とに基づいて、前記サービス選定を行なうことを特徴とする営業支援システム。   The sales support system includes a customer number determination device that counts the number of customer groups from video captured by the camera device, a gender determination device that determines the gender of all customer groups, and a height that determines the height of all customer groups. A sales support system, wherein the service selection is performed based on customer number information, customer gender information, and customer height determination information determined by the determination devices. 人数、性別、身長 顔認証装置においては、顔照合をおこなった結果、該当する顧客情報が存在しなかった場合は、その入店顧客を新規顧客として、顧客情報管理装置に登録することを特徴とする、顔認証、及び顧客状況情報を利用した営業支援システム。 Number of people, gender, height In the face authentication device, if there is no corresponding customer information as a result of face matching, the customer entering the store is registered as a new customer in the customer information management device. Sales support system using face authentication and customer status information. 実施例として、飲食店におけるメニュー選定支援を挙げるが、カラオケの選曲等、様々な顧客層が、様々なグループ形態で訪れる店舗サービスまで利用が可能なことを特徴とする、顔認証、及び顧客状況情報を利用した営業支援システム。 Examples include menu selection support at restaurants, but face recognition and customer situation characterized by being able to use store services that various customer groups visit in various group forms such as karaoke music selection. Sales support system using information.
JP2007105431A 2007-04-13 2007-04-13 Business support system using face authentication and customer state information Pending JP2008262435A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007105431A JP2008262435A (en) 2007-04-13 2007-04-13 Business support system using face authentication and customer state information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007105431A JP2008262435A (en) 2007-04-13 2007-04-13 Business support system using face authentication and customer state information

Publications (1)

Publication Number Publication Date
JP2008262435A true JP2008262435A (en) 2008-10-30

Family

ID=39984853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007105431A Pending JP2008262435A (en) 2007-04-13 2007-04-13 Business support system using face authentication and customer state information

Country Status (1)

Country Link
JP (1) JP2008262435A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113692A (en) * 2008-11-10 2010-05-20 Nec Corp Apparatus and method for recording customer behavior, and program
JP2011048462A (en) * 2009-08-25 2011-03-10 Toshiba Tec Corp Sales support device and program
JP2011095906A (en) * 2009-10-28 2011-05-12 Sony Corp Information processing apparatus, information processing method, and program
JP2011141610A (en) * 2010-01-05 2011-07-21 Hitachi Ltd Service selection support system
JP2013196642A (en) * 2012-03-22 2013-09-30 Nec System Technologies Ltd Characteristic determination device, characteristic determination method, and program
CN104021506A (en) * 2014-06-24 2014-09-03 河海大学常州校区 Intelligent restaurant ordering management system and intelligent restaurant ordering management method based on human face recognition technology
JP2015011712A (en) * 2013-06-28 2015-01-19 アザパ アールアンドディー アメリカズ インク Digital information gathering and analyzing method and apparatus
GB2530515A (en) * 2014-09-24 2016-03-30 Sony Comp Entertainment Europe Apparatus and method of user interaction
WO2016203717A1 (en) * 2015-06-15 2016-12-22 パナソニックＩｐマネジメント株式会社 Facial recognition system, facial recognition server, and facial recognition method
KR101785427B1 (en) * 2016-05-27 2017-10-13 (주)가비아 Customer management system and method based on features extracted from facial image of customer by neural network
JP2019036277A (en) * 2017-08-21 2019-03-07 Ｏｋａｇｅ株式会社 Output device, terminal device, information processing method, and program
JP2020047231A (en) * 2018-09-14 2020-03-26 株式会社アイ・エム・デイ Order and settlement of food and beverage using general-purpose messaging service
EP3683717A4 (en) * 2017-09-15 2020-11-11 Hangzhou Hikvision Digital Technology Co., Ltd. Passenger flow counting method, apparatus and device
IT202000002590A1 (en) * 2020-02-10 2021-08-10 Matteo Sozzi METHOD AND SYSTEM FOR CHECKING THE DELIVERY OF RESTAURANT SERVICES TO A PLURALITY OF USERS
JP2021149065A (en) * 2020-03-23 2021-09-27 株式会社第一興商 Karaoke device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08292772A (en) * 1995-04-21 1996-11-05 Yamaha Corp Karaoke device with individual information reading function
JPH11328266A (en) * 1998-05-13 1999-11-30 Casio Comput Co Ltd Customer data processor, customer data processing system and storage medium
JP2001236417A (en) * 2000-02-25 2001-08-31 Oki Electric Ind Co Ltd System for providing service
JP2001266258A (en) * 2000-03-22 2001-09-28 Toshiba Corp Automatic machine and automatic gathering system
JP2002032558A (en) * 2000-07-18 2002-01-31 Minolta Co Ltd System and method for management of customer information and computer readable recording medium with customer information management program recorded therein
JP2002183413A (en) * 2000-12-15 2002-06-28 Itako Kogyo Kk Customer information management system
JP2004227158A (en) * 2003-01-21 2004-08-12 Omron Corp Information providing device and information providing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08292772A (en) * 1995-04-21 1996-11-05 Yamaha Corp Karaoke device with individual information reading function
JPH11328266A (en) * 1998-05-13 1999-11-30 Casio Comput Co Ltd Customer data processor, customer data processing system and storage medium
JP2001236417A (en) * 2000-02-25 2001-08-31 Oki Electric Ind Co Ltd System for providing service
JP2001266258A (en) * 2000-03-22 2001-09-28 Toshiba Corp Automatic machine and automatic gathering system
JP2002032558A (en) * 2000-07-18 2002-01-31 Minolta Co Ltd System and method for management of customer information and computer readable recording medium with customer information management program recorded therein
JP2002183413A (en) * 2000-12-15 2002-06-28 Itako Kogyo Kk Customer information management system
JP2004227158A (en) * 2003-01-21 2004-08-12 Omron Corp Information providing device and information providing method

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113692A (en) * 2008-11-10 2010-05-20 Nec Corp Apparatus and method for recording customer behavior, and program
JP2011048462A (en) * 2009-08-25 2011-03-10 Toshiba Tec Corp Sales support device and program
JP2011095906A (en) * 2009-10-28 2011-05-12 Sony Corp Information processing apparatus, information processing method, and program
JP2011141610A (en) * 2010-01-05 2011-07-21 Hitachi Ltd Service selection support system
JP2013196642A (en) * 2012-03-22 2013-09-30 Nec System Technologies Ltd Characteristic determination device, characteristic determination method, and program
JP2015011712A (en) * 2013-06-28 2015-01-19 アザパ アールアンドディー アメリカズ インク Digital information gathering and analyzing method and apparatus
CN104021506A (en) * 2014-06-24 2014-09-03 河海大学常州校区 Intelligent restaurant ordering management system and intelligent restaurant ordering management method based on human face recognition technology
GB2530515A (en) * 2014-09-24 2016-03-30 Sony Comp Entertainment Europe Apparatus and method of user interaction
WO2016203717A1 (en) * 2015-06-15 2016-12-22 パナソニックＩｐマネジメント株式会社 Facial recognition system, facial recognition server, and facial recognition method
JP2017004431A (en) * 2015-06-15 2017-01-05 パナソニックＩｐマネジメント株式会社 Face recognition system, face recognition server, and face recognition method
KR101785427B1 (en) * 2016-05-27 2017-10-13 (주)가비아 Customer management system and method based on features extracted from facial image of customer by neural network
JP2019036277A (en) * 2017-08-21 2019-03-07 Ｏｋａｇｅ株式会社 Output device, terminal device, information processing method, and program
JP7178019B2 (en) 2017-08-21 2022-11-25 Ｏｋａｇｅ株式会社 Information system, output device, terminal device, information processing method, and program
EP3683717A4 (en) * 2017-09-15 2020-11-11 Hangzhou Hikvision Digital Technology Co., Ltd. Passenger flow counting method, apparatus and device
US11200406B2 (en) 2017-09-15 2021-12-14 Hangzhou Hikvision Digital Technology Co., Ltd. Customer flow statistical method, apparatus and device
JP2020047231A (en) * 2018-09-14 2020-03-26 株式会社アイ・エム・デイ Order and settlement of food and beverage using general-purpose messaging service
IT202000002590A1 (en) * 2020-02-10 2021-08-10 Matteo Sozzi METHOD AND SYSTEM FOR CHECKING THE DELIVERY OF RESTAURANT SERVICES TO A PLURALITY OF USERS
JP2021149065A (en) * 2020-03-23 2021-09-27 株式会社第一興商 Karaoke device

Similar Documents

Publication Publication Date Title
JP2008262435A (en) Business support system using face authentication and customer state information
JP6800820B2 (en) People flow analysis method, people flow analyzer, and people flow analysis system
US8737688B2 (en) Targeted content acquisition using image analysis
US20090256678A1 (en) Methods for tagging person identification information to digital data and recommending additional tag by using decision fusion
JP5574685B2 (en) Area information control device
US8500009B2 (en) Real-time internet method for tracking number and gender of patrons in bar and night club establishments
US20160321618A1 (en) System and method for recommending target locations
JP2011141610A (en) Service selection support system
JP2018201176A (en) Alert output control program, alert output control method, and alert output control apparatus
JP2012252613A (en) Customer behavior tracking type video distribution system
JP5924114B2 (en) Information processing apparatus, information processing method, computer program, and image display apparatus
JP2004258764A (en) System and apparatus for personal information management
JP2014052840A (en) Service support method and system using the same
US10896210B2 (en) Information processing apparatus to suggest a service in response to a requested service content based on use and non-use history of the service
CN110866175A (en) Information recommendation method and device and electronic equipment
CN110929178A (en) Information recommendation method and device, terminal device and server
JP5847634B2 (en) Reception management system and reception management method
JP2004312513A (en) Entrance management system and program
JP6982168B2 (en) Face matching system
JP2017218248A (en) Attribute acquisition system and attribute acquisition method
JP2021039784A (en) Purchase product estimation device
JP2016009309A (en) Service support device, service support method, and program
JP7529156B2 (en) Information processing device, information processing system, and information processing method
JP5895023B2 (en) Station user management system
JP5660638B2 (en) Characteristic determination apparatus, characteristic determination method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111004