JP2015219717A - Electronic apparatus and program - Google Patents
Electronic apparatus and program Download PDFInfo
- Publication number
- JP2015219717A JP2015219717A JP2014102711A JP2014102711A JP2015219717A JP 2015219717 A JP2015219717 A JP 2015219717A JP 2014102711 A JP2014102711 A JP 2014102711A JP 2014102711 A JP2014102711 A JP 2014102711A JP 2015219717 A JP2015219717 A JP 2015219717A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- data
- control unit
- information
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、電子機器及びプログラムに関する。 The present invention relates to an electronic device and a program.
従来より、来店者の商品の購買に関する行動情報を取得し、その情報を販売促進に結びつける販売促進システムが提案されている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, a sales promotion system that acquires behavior information related to purchase of merchandise by a store visitor and links the information to sales promotion has been proposed (for example, see Patent Document 1).
しかしながら、従来は、必要な情報が十分に取得できているとはいえず、使い勝手が十分でなかった。 Conventionally, however, it cannot be said that necessary information is sufficiently acquired, and the usability is not sufficient.
本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器及びプログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an electronic device and a program that are easy to use.
本発明の電子機器（４０）は、第１外部機器（１０）から音声データを入力する入力部（４１）と、前記入力部が入力した音声データに関連する画像データを前記第１外部機器に送信するか、前記第１外部機器とは異なる第２外部機器に送信するかを判断する判断部（４６）と、を備えている。 The electronic device (40) of the present invention includes an input unit (41) for inputting audio data from the first external device (10), and image data related to the audio data input by the input unit to the first external device. A determination unit (46) for determining whether to transmit to a second external device different from the first external device.
この場合において、前記画像データに付随する情報を抽出する抽出部（４６）を備えていてもよい。この場合、前記判断部は、前記抽出部が抽出した情報を送信するかどうかを判断することとしてもよい。この場合、前記画像データを送信する前記第１外部機器又は前記第２外部機器のユーザを特定する特定部（４６）を備え、前記判断部は、前記特定部が特定したユーザに応じて、前記抽出部が抽出した情報の少なくとも一部を送信するかどうかを判断することとしてもよい。この場合、前記特定部は、前記ユーザに関する情報を記憶する記憶部（４５）を備え、前記判断部は、前記記憶部に記憶された前記ユーザに関する情報に応じて、前記抽出部が抽出した情報の少なくとも一部を送信するかどうかを判断することとしてもよい。 In this case, an extraction unit (46) for extracting information accompanying the image data may be provided. In this case, the determination unit may determine whether to transmit the information extracted by the extraction unit. In this case, the image processing apparatus includes a specifying unit (46) that specifies a user of the first external device or the second external device that transmits the image data, and the determination unit is configured to determine the user according to the user specified by the specifying unit. It may be determined whether or not at least part of the information extracted by the extraction unit is transmitted. In this case, the specifying unit includes a storage unit (45) that stores information about the user, and the determination unit extracts information extracted by the extraction unit according to the information about the user stored in the storage unit. It is also possible to determine whether to transmit at least a part of.
本発明の電子機器では、前記第１外部機器と前記第２外部機器とに前記画像データを送信可能な送信部（４１）を備えていてもよい。この場合、前記判断部は、前記送信部が前記画像データを送信するタイミングを判断することとしてもよい。また、前記送信部が前記画像データを送信した後に、前記音声データの削除を指示する指示部（４６）を備えていてもよい。 The electronic device of the present invention may include a transmission unit (41) capable of transmitting the image data to the first external device and the second external device. In this case, the determination unit may determine the timing at which the transmission unit transmits the image data. Moreover, after the said transmission part transmits the said image data, you may provide the instruction | indication part (46) which instruct | indicates deletion of the said audio | speech data.
本発明の電子機器（４０）は、ユーザに関するデータを記憶する記憶部（４５）と、前記ユーザの音声データと画像データとの少なくとも一方を入力する入力部（４１）と、前記入力部が前記音声データと前記画像データとの少なくとも一方を入力した際に、前記記憶部に記憶されたデータを選択して送信する送信部（４６、４１）と、を備えている。 The electronic device (40) of the present invention includes a storage unit (45) that stores data relating to a user, an input unit (41) that inputs at least one of the user's voice data and image data, and the input unit includes the input unit A transmission unit (46, 41) that selects and transmits data stored in the storage unit when at least one of audio data and image data is input;
この場合において、前記入力部は、外部機器から前記音声データと前記画像データとの少なくとも一方を入力し、前記送信部は、前記外部機器への送信の履歴から前記データを選択して送信することとしてもよい。また、前記入力部は、外部機器から前記音声データと前記画像データとの少なくとも一方を入力し、前記送信部は、前記外部機器の認識結果に応じて前記データを選択して送信することとしてもよい。 In this case, the input unit inputs at least one of the audio data and the image data from an external device, and the transmission unit selects and transmits the data from a history of transmission to the external device. It is good. The input unit may input at least one of the audio data and the image data from an external device, and the transmission unit may select and transmit the data according to a recognition result of the external device. Good.
本発明の電子機器（４０）は、音声データと画像データとの少なくとも一方を入力する入力部（４１）と、前記入力部が入力した前記音声データ及び前記画像データの少なくとも一方に基づいて、報知する情報及び報知する条件を決定する決定部（４６）と、前記決定部が決定した条件を満たしたときに前記情報を報知する報知部（４６，４１）と、を備えている。 The electronic device (40) according to the present invention provides an input unit (41) for inputting at least one of audio data and image data, and notification based on at least one of the audio data and the image data input by the input unit. A determination unit (46) for determining information to be notified and a condition for notification, and a notification unit (46, 41) for notifying the information when the condition determined by the determination unit is satisfied.
本発明のプログラムは、コンピュータに、ユーザに関するデータを記憶させるステップと、前記ユーザの音声データと画像データとを入力させるステップと、前記音声データと前記画像データとを入力した際に、記憶された前記ユーザに関するデータを選択して送信するステップと、を実行させるプログラムである。 The program of the present invention is stored when a computer stores data relating to a user, the step of inputting voice data and image data of the user, and the voice data and image data are input. Selecting and transmitting data relating to the user.
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。 In addition, in order to explain the present invention in an easy-to-understand manner, the above description has been made in association with the reference numerals of the drawings representing one embodiment. However, the present invention is not limited to this, and the configuration of an embodiment described later May be modified as appropriate, or at least a part thereof may be replaced with another component. Further, the configuration requirements that are not particularly limited with respect to the arrangement are not limited to the arrangement disclosed in the embodiment, and can be arranged at a position where the function can be achieved.
本発明は、使い勝手のよい電子機器及びプログラムを提供することができるという効果を奏する。 The present invention has an effect that it is possible to provide a user-friendly electronic device and program.
《第１の実施形態》
以下、第１の実施形態について、図１〜図１３に基づいて、詳細に説明する。図１には、第１の実施形態に係る電子機器システム１００の構成がブロック図にて示されている。
<< First Embodiment >>
Hereinafter, the first embodiment will be described in detail with reference to FIGS. FIG. 1 is a block diagram showing the configuration of an
電子機器システム１００は、図１に示すように、装着装置１０、携帯端末２０、サーバ４０、及びテーブル札５０、を備える（利用する）。なお、図１では、装着装置１０及び携帯端末２０をレストランなどの飲食店においてサービスを提供する従業員（ウエイターやウエイトレスなどの給仕係）が１つずつ有しているものとする。また、図１では、一例として２人の従業員Ａ，Ｂの装着装置１０及び携帯端末２０を図示している。
As shown in FIG. 1, the
（装着装置１０）
装着装置１０は、従業員Ａ，Ｂが身体（顔）に装着するメガネ型の情報端末であり、撮像部１１、表示部１２、操作部１３、マイク１４、記憶部１５、第１通信部１６、第２通信部１７、位置検出部１９および制御部１８を備える。なお、図１に示す２つの装着装置１０の基本構成は同一である。また、図２には、装着装置１０が斜視図にて示されている。図２に示すように、装着装置１０は、従業員が装着可能な眼鏡型のフレーム１１０を備えている。なお、図１において図示され、図２において図示されていない装着装置１０の構成は、フレーム１１０の内部や、フレーム１１０の一部に設けられているものとする。
(Mounting device 10)
The wearing
撮像部１１は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部１１は、図２に示すようにフレーム１１０の端部近傍（従業員の右目近傍）に設けられている。このため、従業員が装着装置１０を装着した状態（図３の状態）では、従業員が向いている（見ている）方向の画像を撮像することができる。
The
表示部１２は、フレーム１１０内部又はフレーム１１０近傍に設けられたプロジェクタと、プロジェクタからの投影像を従業員の目に導くためのプリズムとを有している。表示部１２は、制御部１８の指示の下、各種情報を表示する。図４は、従業員の視界（一点鎖線範囲）内における、表示部１２の表示範囲（破線範囲）を示す図である。
The
操作部１３は、フレーム１１０に設けられたタッチパッドであり、従業員の指の動きを検知して、従業員からの操作を受け付け、受け付けた操作情報を制御部１８に送信する。
The
なお、撮像部１１、表示部１２、操作部１３については、例えば、米国公開特許２０１３／００４４０４２号にもその詳細が開示されている。
Details of the
マイク１４は、フレーム１１０に設けられ、従業員が発した音声や、客が発した音声を収集する。マイク１４が収音した音声は、不図示の音声認識部により音声認識され、音声認識結果は、制御部１８に送信される。制御部１８は、音声認識結果に基づく処理（例えば、コマンドの実行処理など）を実行する。なお、制御部１８が音声認識を実行してもよい。また、制御部１８は、収集した音声データを記憶部１５に格納する。
The
記憶部１５は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、撮像部１１が撮像した撮像データや、マイク１４が収集した音声データ、表示部１２に表示する表示データ等を記憶している。なお、本実施形態においては、記憶部１５は、音声を発した人の顔の撮像データと、音声データとを紐付けて記憶する（図７（ｂ）参照）。また、記憶部１５は、装着装置１０を利用するユーザ（従業員）に関する情報（従業員情報）を、図７（ａ）に示すようなデータ形式で保持している。従業員情報は、一例として、図７（ａ）に示すように、従業員ＩＤと、氏名と、年齢と、業務開始年月日の情報を含んでいる。業務開始年月日の情報は、従業員が新人であるか、ベテランであるかを判断するための材料となる。なお、記憶部１５は、音声認識機能を有していてもよい。なお、従業員情報として、業務開始年月日の情報に代えて、又はこれとともに従業員のスキルや役職等を格納してもよい。
The
第１通信部１６は、他の機器と近接通信や、人体通信を行うものである。なお、本実施形態では、第１通信部１６は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ(Radio Frequency Identification)、ＴｒａｎｓｆｅｒＪｅｔ（登録商標）などの近接通信により、携帯端末２０と通信するものとする。また、第１通信部１６は、人体通信により、テーブル札５０と通信するものとする。なお、第１通信部１６が行う人体通信として、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式と、人体の表面に誘起する電界を変調して情報を伝達する電界方式とのいずれの方式を用いてもよい。あるいは、これらとは別の方式の人体通信を採用してもよい。
The
第２通信部１７は、本実施形態においては近接通信よりも通信距離が長い無線通信により、他の従業員の携帯端末２０と通信するものである。なお、第２通信部１７によりサーバ４０と通信する場合には、第１通信部１６を省略してもよい。また、他の従業員の携帯端末２０との通信において携帯端末２０を経由する場合には、第２通信部１７を省略してもよい。このようにすることで、装着装置１０の構成を簡略化することができる。
The
位置検出部１９は、装着装置１０の位置を検出する。具体的には、位置検出部１９は、ＧＰＳ（Global Positioning System）モジュールや、複数の無線ＬＡＮ（Local Area Network）基地局との間の通信強度に基づいて位置検出を行うモジュール等を含み、従業員が店内のどの位置にいるか（どのテーブルの近傍にいるか）を検出する。
The
制御部１８は、装着装置１０全体を統括的に制御する。制御部１８は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備える。本実施形態では、制御部１８は、撮像部１１が撮像した撮像データと、マイク１４が収集した音声データとを紐付けて記憶部１５に記憶させるとともに、携帯端末２０に対して、紐付けられた画像データと音声データを送信する。また、サーバ４０から携帯端末２０を経由して送信されてきた表示データを表示部１２に表示させる。なお、制御部１８は、音声認識機能を有していてもよい。
The
（携帯端末２０）
携帯端末２０は、例えばスマートフォンや携帯電話などの端末である。本実施形態では、携帯端末２０は、装着装置１０とサーバ４０との間に介在して、装着装置１０とサーバ４０との間のデータの受け渡しを行う。また、携帯端末２０同士でのデータ通信も行う。
(Mobile terminal 20)
The
携帯端末２０は、第１通信部２１、第２通信部２２、記憶部２３、位置検出部２５、および制御部２４を備える。なお、本実施形態では、携帯端末２０の構成として、主にデータ通信に関する構成を図示し、その他の構成を省略している。したがって、携帯端末２０は、例えば、撮像部、表示部、マイク、スピーカ、生体認証部、入力部などを備えていてもよい。
The
第１通信部２１は、他の機器と近接通信や、人体通信を行うものである。本実施形態では、近接通信を用いて装着装置１０との間で通信する。
The
第２通信部２２は、本実施形態においては近接通信よりも通信距離が長い無線通信により、サーバ４０や、他の携帯端末２０と通信する。
In the present embodiment, the
記憶部２３は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、装着装置１０およびサーバ４０から送信される各種データを記憶したり、サーバ４０から送付されるプログラムを記憶する。記憶部２３が記憶するプログラムの一例としては、装着装置１０を装着した人の職種に合わせたプログラム（本実施形態では、ウエイター／ウェイトレス用プログラム）などが挙げられる。
The
位置検出部２５は、携帯端末２０の位置を検出する。具体的には、位置検出部２５は、ＧＰＳモジュールや、複数の無線ＬＡＮ基地局との間の通信強度に基づいて位置検出を行うモジュール等を含み、従業員が店内のどの位置にいるか（どのテーブルの近傍にいるか）を検出する。
The
制御部２４は、携帯端末２０全体を制御するものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。本実施形態では、制御部２４は、装着装置１０とサーバ４０との間のデータの授受を制御する。なお、制御部２４は、例えば位置検出部２５が検出した位置データに基づき、特定の位置（場所）において上述のプログラムが実行されるように制御する。また、制御部２４は、位置データに基づき、記憶部２３に記憶されているデータ（画像データ等）の使用を特定の位置（場所）に制限する。
The
なお、装着装置１０の第２通信部１７が、他の装着装置１０やサーバ４０と通信できる場合には、携帯端末２０を省略してもよい。
In addition, when the
（サーバ４０）
サーバ４０は、装着装置１０の撮像部１１が撮像した撮像データや、マイク１４が集音した音声データを携帯端末２０経由で取得し、必要なデータを携帯端末２０経由で装着装置１０に出力するものである。
(Server 40)
The
サーバ４０は、通信部４１、音声認識部４２、画像認識部４３、顔認識部４４、記憶部４５、および制御部４６を備える。
The
通信部４１は、本実施形態においては無線通信により、携帯端末２０と通信するものである。なお、通信部４１は、携帯端末２０を介在せずに、装着装置１０の第２通信部１７と直接通信してもよい。
In this embodiment, the communication unit 41 communicates with the
音声認識部４２は、音声辞書を有し、装着装置１０から携帯端末２０経由で入力された音声データの音声認識を行う。
The
画像認識部４３は、装着装置１０の撮像部１１が撮像した画像データの特徴点を、例えばＳＵＲＦ（Speeded Up Robust Features）やＳＩＦＴ（Scale Invariant Feature Transform）といった特徴量検出アルゴリズムにより抽出し、記憶部４５に記憶されている複数の認識対象の標準パターンと比較することにより画像認識を行う。
The
顔認識部４４は、入力した顔の部分の画像データと、記憶部４５に記憶されている顔の画像データとを比較（例えばパターンマッチング）して、撮像部１１が撮像した人を認識する。また、顔認識部４４は、撮像した人の性別（男性、女性）や年代（２０代、３０代など）も判別する。
The
記憶部４５は、例えば、フラッシュメモリ等の不揮発性の半導体メモリや、ハードディスクドライブ等であり、上述したような各種データを記憶している。また、記憶部４５は、料理や飲み物の画像データや、料理や飲み物のデータに付随するデータ（付帯データ）を記憶する。図５には、記憶部４５に格納されているデータの一例が示されている。図５に示すデータにおいては、品名と、画像データと、付帯データとが紐付けられている。例えば、品名「ハンバーグ」の画像データは、ハンバーグを撮影した画像データであり、付帯データは、ハンバーグを注文した客に対して準備する必要がある食器（ナイフとフォーク）の種類や配置方法を示す画像データである。また、例えば、品名「お子様ランチ」の画像データは、お子様ランチを撮影した画像データであり、付帯データは、お子様ランチを注文した客に対して準備する必要がある食器（子供用フォークと子供用スプーン）の種類や配置方法を示す画像データである。なお、付帯データをテキストデータとしてもよい。
The
制御部４６は、サーバ４０全体を制御するものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、携帯端末２０を経由して装着装置１０から入力された各種データに基づき、音声認識、画像認識、顔認識などを行い、必要なデータを携帯端末２０を介して装着装置１０に送信するための各種制御を行うものである。
The
制御部４６は、音声認識部４２が認識したワードに対応する画像を記憶部４５より抽出する。一例をあげると、制御部４６は、音声認識部４２がとんかつ御膳というワードを認識すると記憶部４５に記憶されているとんかつ御膳の画像データ及び付帯データ（図５参照）を抽出する。
The
なお、本実施形態ではサーバ４０を用いる場合について説明したが、これに限らず、例えば、サーバ４０を省略するとともに、サーバ４０の機能の少なくとも一部（例えば音声認識部４２、画像認識部４３、顔認識部４４など）を携帯端末２０に設けることとしてもよい。
In the present embodiment, the case of using the
テーブル札５０は、調理場で完成した料理の近傍に置かれる札であり、料理を配膳する従業員が料理を配膳する際に触れる札である。テーブル札５０は、記憶部５１と、通信部５２とを備える。記憶部５１は、テーブル番号の情報を記憶する。通信部５２は、例えば、装着装置１０の第１通信部１６との間で人体通信を行い、テーブルの番号を装着装置１０の制御部１８に入力する。すなわち、従業員が料理を配膳する際にテーブル札５０に触れると、そのテーブル札５０の記憶部５１に記憶されているテーブル番号の情報が、制御部１８に入力されるので、制御部１８は、装着装置１０を装着する従業員が料理をテーブルに配膳するタイミングを検出することができる。
The
（電子機器システム１００の処理・動作）
次に、本実施形態の電子機器システム１００の処理・動作について説明する。
(Processing and operation of electronic device system 100)
Next, processing / operation of the
図６（ａ）は、装着装置１０の制御部１８による処理を示すフローチャートであり、図６（ｂ）は、携帯端末２０の制御部２４による処理（その１）を示すフローチャートである。また、図８（ａ）は、サーバ４０の制御部４６による処理を示すフローチャートであり、図８（ｂ）は、携帯端末２０の制御部２４による処理（その２）を示すフローチャートである。本実施形態では、装着装置１０、携帯端末２０及びサーバ４０が連携して、飲食店の従業員（特に配膳を行う従業員）の作業をサポートする。
FIG. 6A is a flowchart illustrating processing by the
なお、本処理の前提として、従業員Ａが図４に示す３人連れの客から注文を聞き、注文を受けた料理を別の従業員Ｂが配膳するものとする。また、各従業員が利用する装着装置１０と携帯端末２０とは、例えば事前に接触させたり、近接させるなどして、予めペアリングされている。ペアリング情報は、装着装置１０と携帯端末２０とが保持しているものとする。なお、本実施形態においてペアリングとは、複数の装置間の協働処理を実行され得る状態にすることである。なお、本ペアリングにより、装着装置１０から携帯端末２０に対して、図７（ａ）に示す従業員情報が転送されているものとする。
As a premise of this process, it is assumed that employee A listens to an order from a customer with three people shown in FIG. 4 and another employee B serves the ordered food. In addition, the mounting
（装着装置１０の制御部１８による処理）
装着装置１０の制御部１８は、図６（ａ）のフローチャートに沿った処理を実行する。
(Processing by the
The
図６（ａ）の処理では、制御部１８は、ステップＳ１０において、例えば、装着装置１０を装着する従業員（従業員Ａ）の声による“ご注文をどうぞ”などの所定の音声（１）がマイク１４から入力されたか否かを判断する。なお、この場合、制御部１８は、入力された音声を音声認識し、所定の音声（１）であるか否かを判断する。ここでの判断が否定された場合には、ステップＳ１８に移行し、制御部１８は、テーブル札５０との人体通信が成立したか否かを判断するが、このステップＳ１８の判断が否定された場合には、ステップＳ１０に戻る。なお、ステップＳ１０では、所定の音声が入力されたか否かを判断する場合に代えて、従業員がテーブルの前で所定時間以上動かないことを位置検出部１９が検出したか否かを判断してもよい。いずれの場合であっても、ステップＳ１０では、従業員が注文をとり始めるタイミングになったか否かを制御部１８が判断しているといえる。
In the process of FIG. 6A, in step S10, the
ステップＳ１０の判断が肯定された場合、ステップＳ１２に移行し、制御部１８は、客の音声データを取得し、客の顔を撮像する。すなわち、従業員Ａが３人の客に注文を聞く際に、客の顔を撮像部１１により撮像するとともにマイク１４により客が注文する音声を集音する。そして、制御部１８は、撮像データと音声データを紐付けて（図７（ｂ）参照）、記憶部１５に記憶させる。この場合、制御部１８は、位置検出部１９により検出される従業員Ａの位置に基づいて、従業員Ａが位置するテーブルの番号情報を各データに紐付ける。なお、制御部１８は、撮像データと音声データの紐付けに際して、音声データと、該音声データを取得している間に口が動いている客の撮像データとを紐付けるなどすればよい。
When the determination in step S10 is affirmed, the process proceeds to step S12, where the
なお、ステップＳ１２では、客の声を集音する代わりに従業員が注文を復唱する音声を集音するようにしてもよい。この場合、従業員は復唱の際に、注文した客の顔を見るようにすれば、制御部１８は、注文した客の顔の撮像データと、音声データ（注文内容）とを紐付けることが可能である。
In step S12, instead of collecting the customer's voice, the employee may collect the voice that repeats the order. In this case, if the employee looks at the face of the customer who ordered, when the employee repeats, the
次いで、ステップＳ１４では、従業員の“少々お待ちください”などの所定の音声（２）が入力されたか否かを判断する。ここでの判断が否定された場合には、ステップＳ１２に戻り、撮像データ及び音声データの取得処理を継続する。一方、ステップＳ１４の判断が肯定された場合、すなわち、従業員Ａによる注文をとる作業が完了した場合には、ステップＳ１６に移行する。なお、制御部１８は、ステップＳ１４において、位置検出部１９の検出結果に基づいて、例えば、従業員Ａが移動を開始したタイミングを検出し、該タイミングで、ステップＳ１６に移行するようにしてもよい。あるいは、制御部１８は、装着装置１０の加速度を検出する加速度センサの検出結果を用いて、従業員Ａが移動を開始したタイミングを検出してもよい。
Next, in step S14, it is determined whether or not a predetermined voice (2) such as “please wait for a moment” of the employee is input. If the determination here is negative, the process returns to step S12, and the acquisition processing of imaging data and audio data is continued. On the other hand, if the determination in step S14 is affirmative, that is, if the work of placing an order by employee A is completed, the process proceeds to step S16. Note that the
なお、本実施形態では、ステップＳ１６に移行した段階で、装着装置１０の記憶部１５には、図７（ｂ）に示すようなデータが格納されているものとする。
In the present embodiment, it is assumed that data as shown in FIG. 7B is stored in the
ステップＳ１６に移行すると、制御部１８は、第１通信部１６を介して、携帯端末２０に対して、ステップＳ１２で取得したデータ（図７（ｂ）のデータ）を送信する。なお、制御部１８は、ステップＳ１６においてデータを送信した後に、送信したデータを削除してもよい。これにより、客のプライバシーを保護することができる。
If transfering it to step S16, the
次いで、ステップＳ１８では、制御部１８は、テーブル札５０との人体通信が成立したか否かを判断する。このステップＳ１８の判断が否定された場合には、ステップＳ１０に戻るが、肯定された場合には、ステップＳ２０に移行する。なお、制御部１８は、テーブル札５０との人体通信が成立した場合には、テーブル札５０に記憶されているテーブルの番号情報を取得する。
Next, in step S <b> 18, the
ステップＳ２０に移行すると、制御部１８は、第１通信部１６を介して、テーブル札５０から取得したテーブルの番号情報を携帯端末２０に対して送信する。次いで、ステップＳ２２では、制御部１８は、携帯端末２０から送信されてきたデータを、表示部１２上に表示する。その後は、ステップＳ１０に戻る。
When the process proceeds to step S <b> 20, the
装着装置１０では、以上の処理が、繰り返し実行される。
In the mounting
なお、従業員Ａは、注文をとる間、オーダー端末に客のオーダーを入力するものとする。そして、オーダー端末に入力されたオーダーは、調理場に設けられた表示部に表示され、該表示を見た調理担当者により、調理が開始されるものとする。ただし、これに限らず、オーダー端末を省略し、装着装置１０に入力された音声データに基づいてオーダーを特定し、該オーダーを調理場に設けられた表示部に表示することとしてもよい。
It is assumed that employee A inputs the customer's order to the order terminal while taking the order. And the order input into the order terminal is displayed on the display part provided in the cooking place, and cooking shall be started by the cook person who looked at this display. However, not limited to this, the order terminal may be omitted, the order may be specified based on the audio data input to the mounting
（携帯端末２０の制御部２４による処理（その１））
携帯端末２０の制御部２４は、図６（ｂ）のフローチャートに沿った処理を実行する。
(Processing by the
The
図６（ｂ）の処理では、制御部２４は、ステップＳ３０、Ｓ３４において、ペアリングされている装着装置１０からデータを受信するか、あるいは、テーブルの番号情報を受信するまで待機する。この場合、制御部２４は、装着装置１０においてステップＳ１６の処理が実行されたタイミングで、ステップＳ３０の判断が肯定され、ステップＳ３２に移行する。なお、ここでは、制御部２４は、図７（ｂ）に示すデータを受信したものとする。制御部２４は、受信したデータを記憶部２３に記憶する。
In the process of FIG. 6B, the
ステップＳ３２に移行すると、制御部２４は、第２通信部２２を介して、装着装置１０から受信したデータ（図７（ｂ））をサーバ４０に送信する。なお、制御部２４は、サーバ４０にデータを送信したのをトリガとして、記憶部２３に記憶されている図７（ｂ）のデータを消去するようにしてもよい。
If transfering it to step S32, the
一方、装着装置１０からテーブルの番号情報を受信した場合（ステップＳ３４が肯定された場合）、制御部２４は、ステップＳ３６において、サーバ４０にテーブルの番号情報を送信する。その後は、ステップＳ３０に戻り、制御部２４は、上記処理を繰り返す。
On the other hand, when the table number information is received from the mounting apparatus 10 (when step S34 is affirmed), the
（サーバ４０の制御部４６による処理）
サーバ４０の制御部４６は、図８（ａ）のフローチャートに沿った処理を実行する。
(Processing by the
The
図８（ａ）では、ステップＳ４０、Ｓ４６において、制御部４６は、携帯端末２０からデータを受信するまで、あるいはテーブルの番号情報を受信するまで待機する。ここで、携帯端末２０の制御部２４が図６（ｂ）のステップＳ３２の処理を実行すると、ステップＳ４０の判断が肯定され、制御部４６は、ステップＳ４２に移行する。ここでは、制御部４６は、携帯端末２０から、図７（ｂ）のデータを受信し、記憶部４５に記憶したものとする。
In FIG. 8A, in steps S40 and S46, the
ステップＳ４２に移行すると、制御部４６は、音声認識部４２に指示を出し、受信した音声データの音声認識を行う。この音声認識の結果、図９に示すように、音声認識結果として３人の客が注文した品の名称「とんかつ御膳」、「ハンバーグとライス」、「お子様ランチ」が得られたとする。
In step S42, the
次いで、ステップＳ４４では、制御部４６は、記憶部４５に記憶されているデータ（図５参照）の中から、ステップＳ４２の音声認識結果に対応する画像データ及び付帯データを抽出する。そして、制御部４６は、抽出した画像データ及び付帯データを撮像データ（顔画像データ）と紐付けて記憶部４５に記憶する。この場合、制御部４６は、例えば、図１０に示すように、撮像データに抽出した画像データ（とんかつ御膳、ハンバーグ、ライス、お子様ランチの画像データ）及び付帯データを紐付けて、記憶部４５に記憶する。
Next, in step S44, the
一方、携帯端末２０の制御部２４において図６（ｂ）のステップＳ３６の処理が実行され、ステップＳ４６の判断が肯定されると、制御部４６は、ステップＳ４８に移行する。なお、ここでは、従業員Ｂの携帯端末２０から、テーブル番号「００８」を受信したものとする。
On the other hand, when the process of step S36 of FIG. 6B is executed in the
ステップＳ４８に移行すると、記憶部４５に記憶されているデータのうち、受信したテーブル番号（００８）に対応する画像データ及び付帯データを、テーブルの番号情報を送信してきた携帯端末２０に対して送信する。本実施形態では、調理場においてテーブル札５０を手にした（料理の配膳を行おうとしている）従業員Ｂの携帯端末２０に対して、図１０のデータを送信したとする。
In step S48, the image data and the incidental data corresponding to the received table number (008) among the data stored in the
すなわち、本実施形態では、客が注文した品の調理が出来上がり、従業員が注文した料理をトレイ等に載せ、配膳を行うタイミングで、図１０のデータが携帯端末２０に対して送信されるようになっている。なお、図１０のうち、客の顔の撮像データは、撮像部１１が撮像した撮像データの再生画像であるといえる。
That is, in the present embodiment, the product ordered by the customer is cooked, the food ordered by the employee is placed on a tray and the data of FIG. 10 is transmitted to the
その後は、制御部４６は、ステップＳ４０に戻る。なお、制御部４６は、携帯端末２０にデータを送信したのをトリガとして、記憶部４５に記憶されている撮像データ（客の顔データ）を消去するようにしてもよい。これにより、客のプライバシーを保護することができる。
Thereafter, the
（携帯端末２０の制御部２４による処理（その２））
図８（ｂ）は、携帯端末２０の制御部２４が実行する処理（その２）のフローチャートである。なお、図８（ｂ）の処理は、常時行うこととしてもよいし、図６（ｂ）において、テーブルの番号情報を送信したタイミング（ステップＳ３６が実行されたタイミング）で、図８（ｂ）の処理を開始するようにしてもよい。
(Processing by the
FIG. 8B is a flowchart of the process (part 2) executed by the
図８（ｂ）では、制御部２４は、ステップＳ５０において、サーバ４０からデータを受信するまで待機する。この場合、サーバ４０の制御部４６がステップＳ４８の処理を実行したタイミングで、制御部２４は、ステップＳ５２に移行する。なお、制御部２４は、受信したデータを記憶部２３に記憶する。
In FIG.8 (b), the
ステップＳ５２に移行すると、制御部２４は、ペアリングされている装着装置１０に対して送信するデータを選択する。この場合、例えば、制御部２４は、図７（ａ）の従業員情報を参照して、従業員Ｂが新人である場合には、図１０の全てのデータを選択する。一方、従業員Ｂがベテランである場合には、制御部２４は、図１０のデータのうち、付帯データを除くデータを選択する。また、従業員Ｂがベテランである場合、制御部２４は、画像データに代えて、品名のテキストデータ（図９の認識結果）を選択することとしてもよい。なお、制御部２４は、必要に応じて、データを転送する順番を決定しておいてもよい。本実施形態では、一例として、制御部２４は、従業員が料理をトレイに載せるタイミングで、付帯データのみを装着装置１０に送信し、従業員がテーブルにおいて配膳を行うタイミングで、全データを装着装置１０に送信するように、順番を決定したものとする。
In step S52, the
次いで、ステップＳ５４では、制御部２４は、データ送信のタイミングになるまで待機する。この場合、例えば、テーブル札５０に触れた直後のタイミング、すなわち従業員Ｂが調理場で料理をトレイに載せるタイミングで、ステップＳ５４の判断は肯定され、制御部２４は、ステップＳ５６に移行する。
Next, in step S54, the
ステップＳ５６に移行すると、制御部２４は、装着装置１０に対してステップＳ５２で選択したデータ（付帯データ）を送信する。この場合、装着装置１０の制御部１８は、図６（ａ）のステップＳ２２においてデータを受信するので、表示部１２上に付帯データを図１１に示すように表示する。これにより、従業員Ｂは、付帯データを参照することで、用意すべき食器（フォークやナイフ、箸など）を確認することができる。
If transfering it to step S56, the
次いで、ステップＳ５８では、制御部２４は、送信するデータが残っているか否かを判断する。ここでの判断が肯定された場合には、ステップＳ５４に戻る。そして、従業員Ｂが配膳先のテーブル（テーブル番号＝００８）近傍に位置した段階、すなわち従業員Ｂが配膳を開始するタイミングで、ステップＳ５４の判断は肯定され、制御部２４は、ステップＳ５６に移行する。
Next, in step S58, the
ステップＳ５６に移行すると、制御部２４は、選択した全データを装着装置１０に送信する。この場合、装着装置１０の制御部１８は、図６（ａ）のステップＳ２２においてデータを受信するので、表示部１２上にデータを図１２に示すように表示する。これにより、従業員Ｂは、データを参照することで、誰にどの料理を提供すればよいかを確認することができる。すなわち、飲食店等においては、料理を配膳する際に誰がどの料理を注文したか分からないため、従業員が客にどの料理を注文したかを質問することがあるが、上記処理により、注文を聞いた従業員と配膳する従業員とが異なる場合であっても、質問することなく、間違えずに客に料理を提供することができる。また、従業員が新人の場合、配膳する料理の名前が分からなかったり、どの食器をどのように配置すべきかがわからない場合もあるが、上記処理により、間違えずに食器を配置することができる。
In step S56, the
なお、制御部１８は、表示部１２上に、客それぞれのデータを所定時間おきに表示するようにしてもよい（図１３参照）。これにより、表示部１２上には画像が大きく表示されるので、従業員Ｂは画像の確認がしやすくなる。この場合、制御部１８は、表示順を適切な順序とすることができる。例えば、制御部１８は、子供→女性→男性というように、所定時間毎に順番に表示することとしてもよい。これにより、従業員Ｂは、適切な順番で配膳を行うことが可能となる。また、制御部１８は、表示部１２の表示範囲の表示の切り替え（図１２の全体表示から図１３の部分表示への切り替え）を撮像部１１の撮像に応じて行うようにしてもよい。例えば、撮像部１１が１人の人の顔を撮像した場合には、制御部１８は、この人に対応する撮像データと、この人が注文した料理の画像データと、付帯データに基づく画像を表示部１２に表示すればよい。この場合、撮像データの再生画像の表示範囲への表示を省略するようにしてもよい。
Note that the
図８（ｂ）に戻り、ステップＳ５８の判断が否定されると、制御部２４は、ステップＳ５０に戻る。なお、制御部２４は、装着装置１０にデータを送信したタイミングで、送信したデータを削除するようにしてもよい。また、制御部１８は、位置検出部１９の検出結果に基づいて、従業員Ｂがテーブル（００８）から所定距離離れたと判断できる場合に、携帯端末２０から受信したデータを削除してもよい。
Returning to FIG. 8B, when the determination in step S58 is negative, the
以上、詳細に説明したように、本第１の実施形態によると、制御部１８は、マイク１４に入力した音声データに関連する画像データをサーバ４０から取得し、該画像データと、音声データの入力に応じて撮像部１１により撮像された撮像データ（客の顔の撮像データ）と、を表示部１２に表示する。これにより、音声データに関連する画像データと撮像データとを関連付けて表示部１２に表示することができる。したがって、本第１の実施形態のように、配膳を行う従業員Ｂが視認できるように、注文時の客の音声に対応する画像データ（注文した料理の画像データ）と、注文した客の顔の撮像データとを表示することで、従業員Ｂは、客に質問をしなくても、間違えずに、注文した客に対して料理を配膳することができる。
As described above in detail, according to the first embodiment, the
また、本第１の実施形態では、制御部１８は、マイク１４に入力された音声データに関連する画像データと、画像データに関連する（付帯する）付帯データとを取得し、表示部１２に表示する。これにより、例えば、付帯データが料理を配膳する際の食器の配置に関する情報である場合には、従業員Ｂは、間違えずに、料理に応じた食器を配置することができる。
In the first embodiment, the
また、本第１の実施形態では、制御部１８は、配膳を行う従業員Ｂの状態（例えば、テーブル札５０を持ったか否か、テーブルに近づいたか否かなど）に基づいて画像データ及び撮像データを表示する。これにより、適切なタイミングで、従業員Ｂが必要とする画像データ及び撮像データを表示することができる。
Further, in the first embodiment, the
また、本第１の実施形態では、音声を発した客の顔を撮像するので、音声を発した客の顔と、音声データや音声データに基づく画像データとを紐付けることができる。 In the first embodiment, since the face of the customer who made the sound is imaged, the face of the customer who made the sound can be associated with the sound data and the image data based on the sound data.
また、本第１の実施形態では、サーバ４０の制御部４６は、装着装置１０から音声データを取得し、該音声データに関連する画像データ（料理の画像データ）を音声データの取得先の装着装置１０に送信するか、別の装着装置１０に送信するかを判断する。すなわち、制御部４６は、図６（ａ）において、テーブルの番号を送信してきた装着装置１０（及びこれにペアリングしている携帯端末２０）に対して画像データを送信すると判断する。これにより、画像データを必要とする適切な装着装置１０（配膳を行う従業員が装着する装着装置）に対して画像データを送信することが可能となる。
In the first embodiment, the
また、本第１の実施形態では、制御部４６は、料理の画像データに付帯する付帯データを抽出するので、配膳を行う従業員に、配膳に関するより多くの情報を提供することができる。
In the first embodiment, the
また、本第１の実施形態では、制御部２４は、データ送信先の装着装置１０を利用する従業員に応じて、付帯データを送信するかどうかを判断するので、従業員の経験値やスキルに応じた情報を提供することができる。
In the first embodiment, the
また、本第１の実施形態では、テーブル札５０を従業員が持ったタイミングで、サーバ４０の制御部４６が、携帯端末２０に対してデータを送信するので、従業員がデータを必要とする適切なタイミングで、データの送信を行うことができる。
In the first embodiment, since the
なお、上記第１の実施形態では、制御部２４が、表示部１２に表示する撮像データや付帯データを、装着装置１０を装着する従業員に応じて異ならせる場合について説明したが、これに限られるものではない。例えば、テーブル札５０の番号を携帯端末２０からサーバ４０に送信する際に、図７（ａ）の従業員情報も携帯端末２０からサーバ４０に送信しておき、サーバ４０が、従業員情報に基づいて携帯端末２０及び装着装置１０に送信するデータを選択するようにしてもよい。
In the first embodiment, the case has been described in which the
なお、上記第１の実施形態では、例えば、従業員Ａが注文を受ける際に、ドリンクやデザートを提供するタイミングを客から聞く場合もある。このような場合、サーバ４０の制御部４６は、当該タイミングに関する情報を記憶部４５に記憶しておき、該タイミングが到来した場合に、その旨を従業員に対して通知することとしてもよい。例えば、客がデザートを食後に要求した場合には、制御部４６は、料理を配膳してから所定時間経過後に、全従業員又は調理場の担当者の装着装置１０又は携帯端末２０にその旨を通知することとしてもよい。
In the first embodiment, for example, when employee A receives an order, the customer may be asked when to provide a drink or dessert. In such a case, the
また、上記第１の実施形態では、注文をとってから所定時間経過したにもかかわらず配膳が完了していない場合に、サーバ４０が装着装置１０に対してその旨を通知することとしてもよい。通知を受けた従業員は、調理を急いだり、客に現在調理中であることを知らせたりすることで、客の機嫌を損ねないよう事前に対応することが可能である。また、調理時間や調理順により、配膳の順番が入れ替わる場合にも、サーバ４０が装着装置１０に対してその旨を通知してもよい。この場合にも、上記と同様、従業員は、客の機嫌を損ねないよう事前に対応することができる。また、例えば、従業員があるテーブルの近くを通った場合に、そのテーブルの情報（注文から何分経過したか、全ての料理を配膳したか否かなど）をサーバ４０から従業員が装着装置１０に対して通知してもよい。このように、本実施形態では、音声データや画像データに基づいて、報知する情報や該情報を報知する条件を決定し、決定した条件を満たしたときに該情報を報知するようにすることとしてもよい。
In the first embodiment, the
なお、上記第１の実施形態では、例えば、従業員の位置等に応じた適切なタイミングで、装着装置１０の制御部１８が、従業員が発すべき言葉（“右がソースで、左が醤油です”や、“鉄板が熱いのでお気をつけください”など）を表示部１２に表示するようにしてもよい。この場合、従業員のスキルに応じて、表示量を変更してもよい。なお、制御部１８は、従業員が発すべき言葉を表示した後、従業員により表示した言葉が発せられたタイミングで、表示を消去することとしてもよい。このように適切なタイミングで従業員が発すべき言葉を表示する装着装置１０は、新人の研修用に用いることとしてもよい。
In the first embodiment, for example, at an appropriate timing according to the position of the employee, the
なお、上記実施形態では、装着装置１０がマイク１４や撮像部１１を備える場合について説明したが、これに限られるものではない。例えば、装着装置１０にマイクや撮像部を設けずに、外部に設けられたマイクや撮像部１１から音声データや撮像データを取得することとしてもよい。
In addition, although the said embodiment demonstrated the case where the mounting
なお、上記第１の実施形態では、従業員が配膳を開始するタイミングを検出するために、テーブル札を用いる場合について説明したが、これに限られるものではない。例えば、従業員教育において、配膳を行う直前に「○番のテーブルの配膳を開始します」などと音声を発するよう教育しておく。そして、装着装置１０において従業員が上記音声を発したことをマイク１４を介して検出した場合に、制御部１８が、配膳開始のタイミングと判断してもよい。
In the first embodiment, the case where a table tag is used to detect the timing at which an employee starts serving is described. However, the present invention is not limited to this. For example, in the employee education, an instruction is given so that a voice such as “starts the arrangement of the No. ○ table” is issued immediately before the arrangement. Then, when it is detected via the
《第２の実施形態》
次に、第２の実施形態について図１４〜図１６に基づいて説明する。本第２の実施形態は、装着装置１０及び携帯端末２０を、洋服売り場などの店員（販売員）が装着、保持する場合の例である。なお、本第２の実施形態のシステム構成及び装置構成は、第１の実施形態（図１）と同様であるので、その説明は省略するものとする。ただし、本第２の実施形態では、電子機器システム１００からテーブル札５０が省略されるものとする。
<< Second Embodiment >>
Next, a second embodiment will be described with reference to FIGS. The second embodiment is an example of a case where a store clerk (salesperson) such as a clothes department wears and holds the mounting
なお、サーバ４０の記憶部４５には、洋服売り場の在庫情報（各製品、各サイズの在庫数、在庫がない場合には入荷予定日など）が格納されているものとする。また、記憶部４５には、各商品に付帯する情報（例えば、年代別の人気度や、各商品の紹介情報、代替商品の情報など）が格納されているものとする。
Note that the
図１４（ａ）には、装着装置１０の制御部１８の処理がフローチャートにて示され、図１４（ｂ）には、携帯端末２０の制御部２４の処理がフローチャートにて示され、図１６には、サーバ４０の制御部４６の処理がフローチャートにて示されている。
FIG. 14A shows a process of the
（装着装置１０の制御部１８の処理）
装着装置１０の制御部１８は、図１４（ａ）のステップＳ１０２において、客の音声がマイク１４から入力されるまで待機する。なお、客の音声か否かは、予め登録されている洋服売り場の従業員以外の音声か否かにより判断するものとする。客の音声が入力されると、制御部１８は、ステップＳ１２に移行する。
(Processing of the
The
ステップＳ１０４に移行すると、制御部１８は、客の声（要望）をマイク１４により集音するとともに、撮像部１１により客の顔を撮像する。ここで、客の要望は、サイズ（ＸＳや、ＸＸＬなど）に関する在庫の有無の問い合わせや、素材に関する質問、ファッションアドバイスの依頼、アパレル用語に関する質問等を含む。なお、客の声を集音する代わりに販売員が復唱する音声を集音するようにしてもよい。ここでは、一例として、３０代の女性が青いダンガリーシャツのＳサイズの在庫を問い合わせたとする。なお、制御部１８は、図１５に示すように、客の顔の撮像データと、音声データとを紐付けて記憶部１５に格納するものとする。
In step S <b> 104, the
次いで、制御部１８は、ステップＳ１０６において、ステップＳ１０４で記憶部１５に記憶した客の撮像データと、音声データとを第１通信部１６を用いて携帯端末２０に送信する。なお、制御部１８は、ステップＳ１０６の終了とともに、送信したデータを記憶部１５から削除してもよい。あるいは、後述するステップＳ１０２の後（接客終了後）に送信したデータを削除してもよい。その後は、制御部１８は、ステップＳ１０８において、携帯端末２０から情報を受信するまで待機する。携帯端末２０から情報を受信すると、制御部１８は、ステップＳ１１０において、表示部１２や不図示のスピーカから情報を報知し、ステップＳ１０２に戻る。
Next, in step S <b> 106, the
（携帯端末２０の制御部２４の処理）
携帯端末２０の制御部２４は、図１４（ｂ）のステップＳ１２０において、装着装置１０からデータ（図１５参照）を受信するまで待機する。この場合、装着装置１０においてステップＳ１０６の処理が行われたタイミングで、制御部２４は、ステップＳ１２２に移行する。なお、制御部２４は、受信したデータを記憶部２３に記憶する。
(Processing of the
The
ステップＳ１２２に移行すると、制御部２４は、第２通信部２２を介して、受信し、記憶部２３に記憶したデータをサーバ４０に送信する。
In step S122, the
その後は、制御部２４は、ステップＳ１２４において、サーバ４０から情報を受信するまで待機する。そして、サーバ４０から情報を受信し、記憶部２３に記憶すると、制御部２４は、ステップＳ１２６において、装着装置１０に対して情報を送信する。その後は、ステップＳ１２０に戻る。なお、ステップＳ１２０に戻ったタイミングで、制御部２４は、ステップＳ１２０〜Ｓ１２６において記憶部２３に記憶したデータを削除するようにしてもよい。
Thereafter, the
（サーバ４０の制御部４６による処理）
サーバ４０の制御部４６は、図１６のステップＳ１４０において、携帯端末２０から図１５のデータを受信するまで待機する。この場合、携帯端末２０においてステップＳ１２２の処理が実行されると、制御部４６は、データを受信して、記憶部４５に記憶し、ステップＳ１４２に移行する。
(Processing by the
The
ステップＳ１４２に移行すると、制御部４６は、音声認識部４２に音声認識を実行させる。ここで、音声認識部４２は、音声データから“青いダンガリーシャツのＳサイズはありますか？”という音声を認識する。なお、制御部４６は、ステップＳ１４２において、画像認識部４３に客の顔の撮像データから性別、年代、表情を認識するようにしてもよい。このようにすることで、客の属性や、客が通常の状態であるのか、怒っていたり焦っていたりするのかを判断することができる。制御部４６は、客の眉間に皺が寄っているなど、機嫌が悪い状態であると判断した場合、例えば、ベテランの販売員や管理者（店長等）が保持する端末に通知し、ベテランの販売員や管理者を売り場に行かせるようにしてもよい。
In step S142, the
次いで、ステップＳ１４４では、制御部４６は、ステップＳ１４２の音声認識結果に基づき記憶部４５に記憶されている在庫情報や付帯情報を抽出する。一例として、制御部４６は、Ｓサイズの在庫がなく、商品が届くまでに３日かかるという情報を抽出する。また、制御部４６は、付帯情報として青いデニムシャツであればＳサイズの在庫があること、３０代の女性にデニムシャツの人気があること、および、ダンガリーとデニムとは似ており、その違いは青色と白色の糸の使い方が縦横逆であること、などの情報を記憶部４５から抽出する。
Next, in step S144, the
次いで、ステップＳ１４６では、制御部４６は、ステップＳ１４４で抽出されたデータを携帯端末２０に送信し、ステップＳ１４０に戻る。なお、制御部４６は、ステップＳ１４６の処理を行った後に、記憶部４５に記憶した客の顔の撮像データや、音声データを削除してもよい。また、制御部４６は、ログとして、音声データの音声認識結果（テキストデータ）と、客の属性（３０代女性）を記憶部４５に記憶させてもよい。
Next, in step S146, the
ステップＳ１４６において携帯端末２０に送信された情報は、携帯端末２０から装着装置１０に送信され（図１４（ｂ）のＳ１２６）、装着装置１０の制御部１８は、受信した情報を販売員に報知する（図１４（ａ）のＳ１１０）。この場合、制御部１８は、受信した情報を表示部１２上に表示することで販売員に情報を報知してもよいし、サーバ４０において音声に変換した情報を受信し、不図示のスピーカから出力することで販売員に情報を報知してもよい。なお、スピーカは、一例として、販売員にのみ音声が聞こえるように、指向性を有するスピーカを採用することが好ましい。
The information transmitted to the
以上のように、本第２の実施形態では、電子機器システム１００において、図１４（ａ）、図１４（ｂ）、図１６の処理が行われることで、販売員の経験や知識にかかわらず客の問合せや要望に適切に対応することができる。
As described above, in the second embodiment, the
以上、詳細に説明したように、本第２の実施形態によると、制御部１８は、マイク１４に入力した音声データに関連する情報（客の要望や問い合わせに対応するための情報）をサーバ４０から取得し、該情報を表示部１２に表示する。これにより、販売員は、客の要望や問い合わせに適切に対応することが可能である。
As described above in detail, according to the second embodiment, the
《第３の実施形態》
次に、第３の実施形態について、図１７〜図１９に基づいて詳細に説明する。本第３の実施形態は、図１７に示すように、装着装置１０及び携帯端末２０を、お年寄りなどの介護を行う介護士が装着、保持する場合の例である。なお、本第３の実施形態のシステム構成及び装置構成は、第１の実施形態（図１）と同様であるので、その説明は省略するものとする。ただし、本第３の実施形態では、電子機器システム１００からテーブル札５０が省略されるものとする。
<< Third Embodiment >>
Next, a third embodiment will be described in detail with reference to FIGS. As shown in FIG. 17, the third embodiment is an example in which the
なお、サーバ４０の記憶部４５には、お年寄りごとに、過去の音声データと、その音声を発したときの顔の撮像データ、音声の意味などが紐付けられて記憶されている。なお、音声の意味は、例えば、お年寄りの介護に慣れているベテランの介護士等が音声入力、キーボード（仮想キーボードも含む）等を用いて入力するものとする。また、記憶部４５には、お年寄りごとに、お年寄りの表情や状態を撮像した撮像データと、その表情や状態のときのお年寄りの体調や感情などの情報と、が紐付けて記憶されている。なお、体調や感情などの情報は、例えば、ベテランの介護士等が入力するものとする。更に、記憶部４５には、お年寄りごとの介護履歴情報が記憶されている。なお、介護履歴情報は、実際に介護を行った介護士が記録する介護日誌のファイルから抽出される情報であるものとする。
The
（装着装置１０の制御部１８の処理）
以下、装着装置１０及び携帯端末２０を、介護士Ａが装着、保持してお年寄りＣの介護を行う場合について説明する。なお、図１８（ａ）の処理は、介護士Ａが介護を開始する旨を操作部１３から入力したタイミングで開始される。
(Processing of the
Hereinafter, a case where the caregiver A wears and holds the mounting
装着装置１０の制御部１８は、図１８（ａ）のステップＳ２０２において、介護履歴を携帯端末２０に対して要求する。なお、ここで要求する介護履歴は、前日などにお年寄りＣを介護した介護士からお年寄りＣの介護を引き継ぐのに必要な情報である。特に、介護士Ａがお年寄りＣを初めて介護する場合などにおいて、お年寄りＣの状態や癖や特徴や行動パターンなどを把握するのに役立つ情報である。
The
次いで、ステップＳ２０４では、制御部１８は、携帯端末２０から送信されてくる介護履歴を取得し、介護士Ａに対して通知する。この場合、制御部１８は、介護履歴を表示部１２に文字、絵文字、画像で表示したり、不図示のスピーカから出力したりする。表示部１２に表示される例としては、図１９に示すように、“ブロッコリーは食べない”、“食後の薬はＡ，Ｂの２種類”、“耳が遠いので大きな声で話す”、“健康に関する話題が好き”などが挙げられる。このうち、制御部１８は、薬Ａ，Ｂの画像データもしくは絵文字データをサーバ４０から取得して、表示部１２に画像や絵文字を表示するようにしてもよい。
Next, in step S <b> 204, the
次いで、ステップＳ２０６では、制御部１８は、お年寄りＣの音声が入力されるまで待機する。お年寄りＣの音声が入力されると、ステップＳ２０８に移行し、制御部１８は、お年寄りＣの声をマイク１４で集音して音声データを取得し、撮像部１１を用いてお年寄りＣの顔を撮像して撮像データを取得する。これらのデータは、お年寄りＣの状態をサーバ４０に蓄積するためや、お年寄りＣの言っていることが聞き取りづらいときに、サーバ４０の記憶部４５に記憶されたデータからお年寄りの言っていることを把握するために用いられる。
Next, in step S206, the
次いで、ステップＳ２１０では、制御部１８は、第１通信部１６を介して、携帯端末２０にステップＳ２０８で取得したデータを送信する。なお、制御部１８は、ステップＳ２０２の終了とともに、撮像データと音声データを記憶部１５から削除してもよい。あるいは、介護士Ａが操作部１３を介してお年寄りＣの介護を終了する旨を入力したタイミングで撮像データと音声データを削除してもよい。
Next, in step S210, the
次いで、ステップＳ２１２では、制御部１８は、携帯端末２０から情報を受信するまで待機し、情報を受信すると、ステップＳ２１４において情報を介護士Ａに報知する。この場合、制御部１８は、情報を表示部１２に表示したり、不図示のスピーカから出力したりすることで、介護士Ａに情報を報知する。制御部１８は、その後、ステップＳ２０６に戻る。なお、撮像部１１の撮像に基づくお年寄りＣの表情や状態に基づきサーバ４０から取得した情報を制御部１８が表示部１２に表示するようにしてもよい。この場合、サーバ４０は、撮像部１１の撮像した撮像データに加えて、マイク１４にて集音したお年寄りＣの音声の抑揚からお年寄りＣの感情や体調を推定し、この推定に基づく情報（例えば、音楽を流したり、テレビをつける、昼寝をさせる）を装着装置１０に送信すればよい。
Next, in step S212, the
なお、図１８（ａ）のステップＳ２０６〜Ｓ２１４の処理は、介護士Ａが、操作部１３を介して、お年寄りＣの介護を終了する旨を入力するまで繰り返し実行される。
Note that the processing in steps S206 to S214 in FIG. 18A is repeatedly executed until the caregiver A inputs an instruction to end the care for the elderly C via the
（携帯端末２０の制御部２４の処理）
次に、携帯端末２０の制御部２４の処理について、図１８（ｂ）に基づいて説明する。
(Processing of the
Next, the process of the
制御部２４は、図１８（ｂ）の処理において、装着装置１０からの介護履歴の要求があるまで待機する（Ｓ２２０）。そして、装着装置１０からの要求を受信すると、制御部２４は、ステップＳ２２２において、第２通信部２２を介してサーバ４０に介護履歴を要求する。
In the process of FIG. 18B, the
次いで、ステップＳ２２４では、制御部２４は、サーバ４０から介護履歴を受信するまで待機する。そして、制御部２４は、サーバ４０から介護履歴を受信した段階で、ステップＳ２２６において、第１通信部２１を介して介護履歴を装着装置１０に送信する。
Next, in step S224, the
次いで、ステップＳ２２８では、制御部２４は、装着装置１０からお年寄りＣの撮像データや音声データを受信するまで待機する。そして、制御部２４は、データを受信すると記憶部２３にデータを記憶するとともに、ステップＳ２３０において、第２通信部２２を介してサーバ４０に受信したデータを送信する。
Next, in step S <b> 228, the
次いで、制御部２４は、ステップＳ２３２において、サーバ４０から情報を受信するまで待機する。そして、情報を受信した段階で、制御部２４は、受信した情報を記憶部２３に格納するとともに、ステップＳ２３４において、第１通信部２１を介して、装着装置１０に情報を送信する。その後は、ステップＳ２２８に戻る。
Next, the
なお、制御部２４は、ステップＳ２３４を実行したタイミングで、図１８（ｂ）の処理において、それまでに記憶部２３に記憶されたデータや情報を削除するようにしてもよい。
Note that the
（サーバ４０の制御部４６の処理）
次に、サーバ４０の制御部４６の処理について、図２０に基づいて説明する。
(Processing of the
Next, the process of the
制御部４６は、図２０の処理において、まず、携帯端末２０から介護履歴の要求を受信するまで待機する（Ｓ２４０）。そして、要求を受信すると、ステップＳ２４２において、制御部４６は、通信部４１を介して介護履歴を携帯端末２０に送信する。
In the process of FIG. 20, the
次いで、ステップＳ２４４では、制御部４６は、携帯端末２０から撮像データや音声データを受信するまで待機する。そして、データを受信すると、制御部４６は、受信したデータを記憶部４５に記憶するとともに、ステップＳ２４６において、音声認識部４２に音声認識を行わせるとともに、画像認識部４３に画像認識を行わせる。
Next, in step S <b> 244, the
ここで、音声認識部４２は、入力したお年寄りＣの音声データと、記憶部４５に記憶されている過去のお年寄りＣの音声パターン（例えば周波数）を比較して、お年寄りＣが発した音声の意味を認識する。また、画像認識部４３は、入力したお年寄りＣの撮像データと、記憶部４５に記憶されている過去のお年寄りＣの画像データとを比較して、お年寄りの状態（機嫌や体調）や、癖を認識する。なお、画像認識部４３による認識は、画像の特徴点を抽出して行うようにすればよい。また、画像認識部４３は、お年寄りＣの撮像データに基づいて、お年寄りが言いたいことを認識することとしてもよい。この場合、特開２００８−３１０３８２号に記載されているように動画像を用いて読唇を行うこととしてもよい。この場合、口の動きには個人差があるので、ユーザ毎のデータを記憶部４５に記憶しておき、顔認識部４４の顔認識結果を用いて画像認識部４３による読唇を行うようにしてもよい。
Here, the
次いで、ステップＳ２４８では、制御部４６は、ステップＳ２４８の処理結果に基づいて、情報を抽出する。この場合、制御部４６は、例えば、お年寄りＣが発した音声の意味を示すテキストデータや、お年寄りＣの状態を示すテキストデータ等を抽出する。
Next, in step S248, the
次いで、ステップＳ２５０では、制御部４６は、通信部４１を介して、ステップＳ２４８で抽出された情報を携帯端末２０に送信する。その後は、ステップＳ２４４に戻る。なお、制御部４６は、ステップＳ２５０の処理が実行されたタイミングで記憶部４５に記憶したお年寄りＣの顔データや、音声データからお年寄りＣの癖や習慣（新たな癖や習慣）や、発音の変化をアップデートするようにしてもよい。
Next, in step S250, the
なお、サーバ４０においてステップＳ２５０が行われると、携帯端末２０を介して、装着装置１０に上記情報が送信され（Ｓ２１２：肯定）、報知される（Ｓ２１４）。これにより、介護士Ａが、お年寄りＣの介護に不慣れな場合であっても、お年寄りＣの発した音声の意味や、お年寄りの状態を認識できる。これにより、介護におけるコミュニケーションを促進することができる。なお、制御部４６は、お年寄りＣを顔認識した結果に基づいて、お年寄りＣの好む話題（例えば、野菜ジュースが健康によい）や、食事の好き嫌いなどを介護士Ａの装着装置１０に対して報知するようにしてもよい。
In addition, if step S250 is performed in the
以上、詳細に説明したように、本第３の実施形態によると、制御部１８は、マイク１４に入力した音声データに関連する情報（音声の意味など）をサーバ４０から取得し、該情報と、音声データの入力に応じて撮像部１１により撮像された撮像データ（お年寄りＣの顔の撮像データ）に応じた情報（お年寄りの状態を示す情報）と、を表示部１２に表示する。これにより、介護士が必要とするお年寄りの情報を提供することができる。
As described above in detail, according to the third embodiment, the
なお、上記第３の実施形態では、介護において、電子機器システム１００を用いる場合について説明したが、これに限られるものではない。例えば、保育園や幼稚園、小学校などにおいて、児童や生徒が発した音声の意味や、状態を認識するために電子機器システム１００を用いることとしてもよい。
In the third embodiment, the case where the
《第４の実施形態》
次に、第４の実施形態について、図２１〜図２６に基づいて、詳細に説明する。図２１には、本第４の実施形態に係る電子機器システム１００’の構成が概略的に示されている。なお、本第４の実施形態では、電子機器システム１００が、コンビニエンスストア（コンビニ）で利用される場合について説明する。
<< Fourth Embodiment >>
Next, a fourth embodiment will be described in detail based on FIGS. FIG. 21 schematically shows the configuration of an
図２１に示すように、電子機器システム１００’は、装着装置１０と、レジ端末２０’と、サーバ４０と、を備える。
As shown in FIG. 21, the
装着装置１０は、コンビニの店員が装着する装置であり、第２通信部１７が省略されている点を除き、第１〜第３の実施形態の装着装置１０と同様の構成となっている。ただし、電子機器システム１００’が装着装置１０を複数備える（利用する）場合には、装着装置１０は、他の装着装置１０と通信するための第２通信部１７を備えていてもよい。
The mounting
レジ端末２０’は、コンビニの店員が操作する端末であり、位置検出部２５が省略されている点を除き、第１〜第３の実施形態の携帯端末２０と同様の構成となっている。なお、図２１では、レジ端末２０’の一部の構成のみを図示している。したがって、レジ端末２０’は、実際には、一般的なレジ機能（会計機能やレシートの印刷機能など）を備えているものとする。
The
サーバ４０は、第１〜第３の実施形態のサーバ４０と同様の構成を有している。
The
次に、本実施形態における電子機器システム１００の処理について、詳細に説明する。
Next, processing of the
（購入者及び購入情報関連付け処理）
以下、図２２のフローチャートに沿って、購入者及び購入情報関連付け処理について説明する。なお、本処理は、商品の購入者（客）がレジで商品を購入する場合（店員が会計処理する場合）に実行される処理である。
(Purchaser and purchase information association processing)
The purchaser / purchase information association process will be described below with reference to the flowchart of FIG. This process is a process executed when the purchaser (customer) of the product purchases the product at the cash register (when the store clerk performs accounting processing).
図２２の処理では、レジ端末２０’の制御部２４は、店員からレジ作業開始指示があるまで待機する（Ｓ３０２）。この場合、店員が名札に付されているバーコードをレジ端末２０’に読み込ませるなどすることで、レジ作業開始指示が入力されると、制御部２４は、ステップＳ３０４に移行する。ステップＳ３０４では、制御部２４は、第１通信部２１を介して撮像開始指示を装着装置１０に送信する。その後は、ステップＳ３０６において、制御部２４は、通常の会計処理（レジ打ち処理、レシートへの印刷処理等）を実行する。
In the process of FIG. 22, the
一方、装着装置１０の制御部１８は、ステップＳ３２０において、撮像開始指示があるまで待機している。したがって、レジ端末２０’においてステップＳ３０４の処理が行われたタイミングで、制御部１８は、ステップＳ３２２に移行し、撮像部１１を用いた客の顔の撮像を実行する。次いで、ステップＳ３２４では、制御部１８は、ステップＳ３２２で撮像した画像データを、第１通信部１６を介してレジ端末２０’に送信する。
On the other hand, the
これに対し、レジ端末２０’の制御部２４では、ステップＳ３０６の後、ステップＳ３０８において、画像データを受信するまで待機している。したがって、制御部２４は、装着装置１０においてステップＳ３２４の処理が実行されたタイミングで、ステップＳ３１０に移行する。ステップＳ３１０では、制御部２４は、ステップＳ３０８で受信した画像データと、ステップＳ３０６で得られた会計データを、第２通信部２２を介してサーバ４０に送信する。
On the other hand, the
サーバ４０では、ステップＳ３４０において、制御部４６は、レジ端末２０’から画像データと会計データが送信されてくるまで待機している。したがって、制御部４６は、レジ端末２０’においてステップＳ３１０の処理が実行されたタイミングで、ステップＳ３４２に移行する。ステップＳ３４２では、制御部４６は、画像認識部４３や顔認識部４４を用いて、受信した画像データから、客の性別・年齢の情報を抽出する。次いで、ステップＳ３４４では、制御部４６は、性別・年齢の情報と、会計データと、購入日時等を紐付けて、記憶部４５に記憶する。
In the
以上のように、図２２の処理が実行されることで、どのような商品をどのような種別の客がいつ購入したかを自動的に収集することができる。これにより、店員はレジ端末２０’に設けられたタッチパネル等を用いて客の属性等を入力する必要がなく、作業の手間を省くことが可能となる。
As described above, by executing the processing in FIG. 22, it is possible to automatically collect what products and what types of customers have purchased. This eliminates the need for the store clerk to input customer attributes and the like using a touch panel or the like provided on the
（客からの問い合わせに対する対応処理）
本第４の実施形態では、第２の実施形態と同様、客の質問や要望に対応するための情報をサーバ４０から装着装置１０に提供する。例えば、客が店員に対して“ビールはどこですか？”という質問をしたとする。この場合、客の音声データが、装着装置１０からレジ端末２０’を経由してサーバ４０に送信され、サーバ４０の制御部４６は、音声データを音声認識して、質問に対する回答内容を記憶部４５等から抽出して、装着装置１０に送信する。そして、装着装置１０の制御部１８は、質問に対する回答内容を表示部１２等に表示する。これにより、店員は、質問に対する回答内容を表示部１２上で確認することができるので、業務に不慣れな店員（新人など）であっても、質問をした客に対して適切な回答を行うことが可能である。
(Processing for inquiries from customers)
In the fourth embodiment, as in the second embodiment, information for responding to a customer's question or request is provided from the
なお、客が外国人であり、客の言葉を店員が理解できないような場合であっても、サーバ４０において客の音声を認識するとともに、自動翻訳を行い、その音声の内容や回答を装着装置１０に送信するようにすることで、店員は、外国人の客に対応することも可能となる。なお、回答内容は、外国人客の言語をカタカナ等で表記することとしてもよい。店員は、カタカナ等で表記された文を読むことで、外国人客に対して、言葉で回答をすることができる。
Even if the customer is a foreigner and the store clerk cannot understand the customer's words, the
また、例えば、店員が装着装置１０のマイク１４から特定の商品の在庫確認要求を音声にて入力したり、撮像部１１を用いてバーコードや商品そのものあるいは商品の写真（チラシなど）を撮像することで、商品の在庫確認要求を入力することもできる。この場合、装着装置１０からレジ端末２０’を経由して在庫確認要求がサーバ４０に送信されると、サーバ４０の制御部４６は、在庫確認要求に対する回答内容を記憶部４５等から抽出して、装着装置１０に送信する。なお、サーバ４０の記憶部４５には、コンビニ内の商品の管理情報が格納されており、制御部４６は、在庫確認要求に基づいて管理情報を検索するものとする。そして、装着装置１０の制御部１８は、在庫確認要求に対する回答内容（在庫数、色違い、サイズ違いの在庫数、関連商品の在庫数、店頭在庫と陳列棚の位置、バックヤード位置など）を表示部１２等に表示する。これにより、在庫確認要求を行った店員に対して適切な回答をすることができる。
In addition, for example, a store clerk inputs an inventory confirmation request for a specific product from the
なお、上記例においては、レジ端末２０’を経由して、装着装置１０とサーバ４０が通信する場合について説明したが、これに限らず、レジ端末２０’に代えて、第１〜第３の実施形態と同様、携帯端末２０を用いることとしてもよい。また、装着装置１０とサーバ４０とが直接データの送受信を行える場合には、レジ端末２０’を経由しなくてもよい。
In the above example, the case where the mounting
なお、店員が装着装置１０を装着した状態で、店内を巡回している間に、撮像部１１において画像を撮像し、撮像した画像をサーバ４０に送信することとしてもよい。この場合、サーバ４０では、撮像した画像を画像処理し、当該画像に基づいて抽出可能な情報を装着装置１０等に提供することができる。例えば、撮像した画像から、消費期限を経過している商品が発見された場合には、その旨を装着装置１０に通知することとしてもよい。また、撮像した画像から在庫が少なくなっている商品が発見され、かつ倉庫にも在庫がないような場合には、その旨を流通管理者に通知するようにしてもよい。
Note that while the store clerk is traveling around the store with the mounting
（コンビニ内装置の故障対応処理）
次に、客が利用するコンビニ内装置（例えば、図２４（ｂ）に示すようなコピー機２００）において故障が発生し、その対応を店員が行う場合の処理について、図２３のフローチャートに沿って説明する。
(Failure handling processing for devices in convenience stores)
Next, the processing in the case where a failure occurs in the in-convenience store apparatus (for example, the
図２３の説明の前提として、図２４（ａ）に示すように、コピー機２００の表示画面２０２にエラー情報が表示され、客が店員を呼んだものとする。
As a premise of the description of FIG. 23, it is assumed that error information is displayed on the
図２３の処理では、装着装置１０の制御部１８は、ステップＳ４０２において、コピー機２００のエラー情報が撮像されるまで待機する。装着装置１０を装着する店員は、コピー機２００にエラーが発生した場合に、そのコピー機２００の表示画面２０２に表示されているエラー情報を撮像部１１を用いて撮像する。このようにエラー情報の撮像が行われると、ステップＳ４０４において、制御部１８は、第１通信部１６を介して撮像データをレジ端末２０’に送信する。
In the process of FIG. 23, the
これに対し、レジ端末２０’の制御部２４は、撮像データを受信するまで待機している（Ｓ４２０）ので、装着装置１０においてステップＳ４０４の処理が行われたタイミングで、ステップＳ４２２に移行する。ステップＳ４２２に移行すると、制御部２４は、第２通信部２２を介して撮像データをサーバ４０に送信する。
On the other hand, the
一方、サーバ４０では、ステップＳ４４０において、制御部４６が撮像データを受信するまで待機しているので、レジ端末２０’においてステップＳ４２２が実行されたタイミングで、制御部４６は、ステップＳ４４２に移行する。
On the other hand, in the
ステップＳ４４２では、制御部４６は、記憶部４５に記憶されている情報の中から、対応方法に関する情報を検索し、通信部４１を介してレジ端末２０’に送信する。ここで、記憶部４５には、各エラー情報に対応するための対応方法（修理方法等）に関する情報が格納されている。したがって、制御部４６は、エラー情報に含まれるエラーＩＤをキーとして対応方法に関する情報を検索することができる。なお、ここでは、検索された情報が“２番のドアを開けて、紙詰まりを確かめてください”であったとする。
In step S442, the
ところで、レジ端末２０’の制御部２４は、ステップＳ４２２の後、ステップＳ４２４において、サーバ４０から送信されてくる情報を受信するまで待機している。したがって、サーバ４０においてステップＳ４４２の処理が実行されたタイミングで、制御部２４は、ステップＳ４２６に移行する。ステップＳ４２６では、制御部２４は、受信した情報を第１通信部２１を介して装着装置１０に送信する。
By the way, the
装着装置１０の制御部１８は、ステップＳ４０４の後、ステップＳ４０８において、レジ端末２０’から送信されてくる情報を受信するまで待機している。したがって、レジ端末２０’においてステップＳ４２６の処理が実行されたタイミングで、制御部１８は、ステップＳ４１０に移行する。ステップＳ４１０では、制御部１８は、表示部１２を用いて、“２番のドアを開けて、紙詰まりを確かめてください”という操作に関する情報を表示する。なお、表示部１２が視界全体又は視界中央の領域に情報を表示できる場合には、制御部１８は、図２４（ｂ）の破線枠１５０内に示すように、矢印や実行すべき動作内容をＡＲ表示してもよい。これにより、店員は直感的に実行すべき動作内容を確認することができる。
After step S404, the
なお、コピー機以外にも、チケット発券機やＡＴＭなど、客が利用する装置が故障した場合に、上記処理により、店員は早急に故障対応することができる。 In addition to the copy machine, when a device used by a customer, such as a ticket issuing machine or an ATM, breaks down, the store clerk can quickly deal with the trouble by the above processing.
なお、上記においては、装着装置１０は、コピー機２００のエラー情報を表示画面を撮像することにより、取得する場合について説明したが、これに限られるものではない。例えば、装着装置１０とコピー機２００が近接通信等することで、装着装置１０がエラー情報を取得し、コピー機２００の画像データとともにサーバ４０に向けて送信することとしてもよい。また、客の音声（例えば、“紙詰まりしました”や“用紙がありません”など）をマイク１４を用いて集音して音声データを取得し、該音声データをコピー機２００の画像データとともにサーバ４０側に送信してもよい。このように音声データからエラー情報を取得しても、上記と同様の効果を得ることができる。
In the above description, the case where the mounting
（強盗対応処理）
次に、コンビニ内に強盗などの怪しい人物が来た場合に通報する処理について、図２５に基づいて説明する。
(Robbery handling processing)
Next, a process of reporting when a suspicious person such as a robber comes in a convenience store will be described with reference to FIG.
図２５には、装着装置１０の制御部１８による処理が示されている。なお、図２５の処理は、店員が業務を開始する旨を操作部１３から入力したタイミングで開始される。
FIG. 25 shows processing by the
図２５の処理では、まず、ステップＳ５０２において、制御部１８は、撮像部１１を用いて撮像を開始する。なお、ここでは、制御部１８は、静止画像を所定間隔で撮像するものとする。ただし、これに限らず、制御部１８は、動画を撮像することとしてもよい。
In the process of FIG. 25, first, in step S <b> 502, the
次いで、ステップＳ５０４では、制御部１８は、ステップＳ５０２において撮像された画像内に人が存在する場合に、該画像認識処理を実行する。次いで、ステップＳ５０６では、制御部１８は、画像認識処理の結果、画像内の人が怪しい人物であるか否かを判断する。例えば、制御部１８は、画像認識処理の結果、画像内の人がフルフェイスヘルメットを被っていたり、目出し帽を被っていたり、武器を保持していることが認識できた場合には、当該人は怪しい人物であるので、ステップＳ５０６の判断は肯定され、ステップＳ５０８に移行する。一方、ステップＳ５０６の判断が否定された場合には、ステップＳ５０２に戻る。
Next, in step S504, the
ステップＳ５０８に移行すると、制御部１８は、撮像部１１を用いて動画像の録画を開始し、記憶部１５に記憶する。次いで、ステップＳ５１０では、制御部１８は、録画している動画と通報情報をレジ端末２０’を介してサーバ４０に送信する。なお、サーバ４０は、動画と通報情報を警備会社のシステムに送信する。なお、本通報は、警備会社の担当者に出動準備を要請するための通報である。
In step S <b> 508, the
次いで、ステップＳ５１２では、店員が操作部１３を介して「問題なし」の情報を入力したか否かを判断する。ここでの判断が否定された場合、すなわち、怪しい人物が強盗などでない可能性が高い場合には、ステップＳ５１８に移行し、制御部１８は、通報を解除する情報を、レジ端末２０’を介してサーバ４０に送信する。サーバ４０は、該情報を警備会社のシステムに送信する。これにより、警備会社の担当者は、無駄な出動を行わずに済むことになる。
Next, in step S 512, it is determined whether or not the store clerk has input “no problem” information via the
次いで、ステップＳ５２０では、制御部１８は、記憶部１５に記憶されている動画を削除する。その後は、ステップＳ５０２に戻る。なお、ステップＳ５２０の処理が行われるタイミングで、サーバ４０の制御部４６は、これまでに装着装置１０（レジ端末２０’）から受信し、記憶部４５に格納した動画を削除することとしてもよい。
Next, in step S520, the
一方、ステップＳ５１２の判断が肯定された場合、ステップＳ５１４において制御部１８は、「問題なし」が入力されずに所定時間が経過したか否かを判断する。ここでの判断が否定された場合には、ステップＳ５１２に戻るが、肯定された場合には、ステップＳ５１６に移行する。
On the other hand, when the determination in step S512 is affirmed, in step S514, the
ステップＳ５１６に移行すると、制御部１８は、レジ端末２０’を介してサーバ４０に対し、通報が確定したという情報を送信する。サーバ４０では、通報が確定したという情報を受信すると、該情報を警備会社のシステムに送信する。これにより、店員が入力等を一切行うことなく、警備会社に通報をすることができ、警備会社の担当者は出動することができる。なお、警備会社は、通報が確定した場合には、その情報を警察のシステムに送信することとしてもよい。
In step S516, the
なお、図２５のステップＳ５０２〜Ｓ５０６の処理は、コンビニの店内に設置されている防犯カメラ１８０（図２１の破線枠参照）において実行することとしてもよい。この場合、防犯カメラ１８０において怪しい人物が入店したことを検知した場合に、その情報が装着装置１０に送信され、装着装置１０において動画の録画が開始される（Ｓ５０８以降の処理が実行される）ようにすればよい。
Note that the processing in steps S502 to S506 in FIG. 25 may be executed in the security camera 180 (see the broken line frame in FIG. 21) installed in the convenience store. In this case, when it is detected by the
なお、本例では、装着装置１０からの通報がレジ端末２０’及びサーバ４０を介して警備会社のシステムに送信される場合について説明したが、これに限らず、装着装置１０から直接警備会社のシステムに通報してもよい。また、装着装置１０から警備会社が設置する防犯カメラ１８０を介して、警備会社のシステムに通報してもよい。
In this example, the case where the report from the mounting
なお、図２５の処理とは別に、あるいは図２５の処理と並行して、装着装置１０の制御部１８は、図２６（ｂ）の処理を実行することとしてもよい。なお、図２６（ｂ）の処理を実行する場合、装着装置１０には、図２６（ａ）に示すように、装着装置１０が店員に装着されていることを検出するための接触センサ１１１や、装着装置１０の加速度を検出する加速度センサ１１２が設けられているものとする。
In addition, the
図２６（ｂ）の処理では、ステップＳ６０２において、制御部１８は、装着装置１０の装着状態が解除され、所定の加速度が検出されたか否かを判断する。ここでは、例えば、店員が強盗などに顔を殴られ、装着装置１０が顔から外れ落ちたか否かを判断しているといえる。このステップＳ６０２の判断が否定された場合には、ステップＳ６０２の判断を繰り返すが、肯定された場合には、ステップＳ６０４に移行する。
In the process of FIG. 26B, in step S602, the
ステップＳ６０４に移行すると、制御部１８は、レジ端末２０’及びサーバ４０を介して、警備会社のシステムに通報する。なお、制御部１８は、レジ端末２０’及びサーバ４０を介さずに、直接、警備会社のシステムに通報することとしてもよい。その後は、ステップＳ６０２に戻る。
In step S604, the
以上のように、制御部１８は、図２６（ｂ）の処理を実行することで、装着装置１０の状態から緊急事態と判断できる場合に、警備会社のシステムに対して自動的に通報することができる。これにより、強盗等に対する対応の迅速化を図ることができる。なお、図２５のステップＳ６０２においては、制御部１８は、装着装置１０の装着状態が解除され、所定の加速度が検出され、かつ所定の音声（店員の音声である“痛い”や、“助けて”や、“通報しますよ”などの音声や、強盗の音声である“金を出せ”や、“大声を出すな”などの音声）がマイク１４から入力された場合に、通報を行うこととしてもよい。
As described above, the
なお、図２６（ｂ）の処理では、装着装置１０と防犯カメラ１８０が常時通信し、装着装置１０が破壊されることで、通信が途切れた場合に、防犯カメラ１８０から警備会社のシステムに対して自動的に通報することとしてもよい。あるいは、防犯カメラ１８０が破壊され、通信が途切れた場合に、装着装置１０から警備会社のシステムに向けて通報を行うこととしてもよい。
In the process of FIG. 26 (b), when the mounting
以上、詳細に説明したように、本第４の実施形態によると、装着装置１０は、撮像部１１と、レジ端末２０’やサーバ４０と通信可能な第１通信部１６と、撮像部１１により商品を撮像したことに応じて、商品の在庫、サイズ、期限の少なくとも１つに関する情報を第１通信部１６を介してレジ端末２０’やサーバ４０から取得する制御部１８とを備えているので、商品を撮像することにより、商品に関する情報を迅速に取得し、客等に回答することができる。
As described above in detail, according to the fourth embodiment, the mounting
また、本第４の実施形態によると、マイク１４が音声データを取得し、該音声データを第１通信部１６を介してレジ端末２０’やサーバ４０に送信し、音声データに対する受け答えに関する情報（客の問い合わせに対応するための情報）を第１通信部１６を介して取得する。これにより、問い合わせ内容に基づいて、在庫等を調べたりしなくても、簡易に問い合わせに対する回答を行うことができる。
Further, according to the fourth embodiment, the
また、本第４の実施形態によると、サーバ４０において、外国語が自動翻訳されるので、店員は、簡易に、外国語の音声の意味内容を知ったり、外国語による問い合わせに対する回答を行ったりすることができる。
Further, according to the fourth embodiment, since the foreign language is automatically translated in the
また、本第４の実施形態では、撮像部１１が、コピー機２００などの装置を撮像し、第１通信部１６が、撮像部１１が撮像した画像をレジ端末２０（サーバ４０）に送信するとともに、コピー機などの装置の操作に関する情報を受信し、制御部１８は、受信した情報を表示部１２に表示する。これにより、装着装置１０を装着する店員は、コピー機２００などの装置を撮像部１１を用いて撮像することで、装置の操作に関する情報を簡易に知得することができる。
In the fourth embodiment, the
なお、上記第４の実施形態では、装着装置１０を店員が装着する場合について説明したが、これに限らず、装着装置１０は、例えば、買い物をする客や、コピー機等の装置を利用する人が装着してもよい。例えば、買い物をする客が装着する場合、撮像部１１を用いて撮像した商品に関連する情報（例えば、商品の在庫やサイズ、期限とは異なる情報）をサーバ４０が提供することとしてもよい。この場合、装着装置１０の識別情報や客の識別情報をサーバ４０に送付するようにすることで、サーバ４０は、客に応じて適切な情報を抽出し、提供することが可能である。
In the fourth embodiment, the case where the store clerk wears the mounting
なお、上記実施形態では、コピー機２００が故障した際に、装着装置１０はサーバ４０に対して操作に関する情報を問い合わせる場合について説明したが、これに限らず、装着装置１０は、故障したコピー機２００そのものに対して問い合わせることとしてもよい。この場合、コピー機２００において操作に関する情報を保持しておけばよい。
In the above-described embodiment, a case has been described in which the mounting
なお、上記第４の実施形態では、コンビニを例にとり説明したが、これに限らず、その他の店舗、サービス業においても利用することができる。 In the fourth embodiment, a convenience store has been described as an example. However, the present invention is not limited to this and can be used in other stores and service industries.
なお、上記各実施形態は、撮像部１１が装着装置１０に設けられ、人体に装着可能である場合について説明したが、これに限らず、撮像部１１は、手持ち可能であってもよい。
In each of the above embodiments, the case where the
なお、装着装置１０は、眼鏡型の端末ではなくてもよい。例えば、体の任意の位置に装着可能な装着型端末であってもよく、その機能の一部が分離していてもよい。一例を挙げると、表示部を備えたコンタクトレンズ型の端末として、他の機能を腕時計型の端末に持たせるようにしてもよい。
Note that the wearing
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。 The above processing functions can be realized by a computer. In that case, a program describing the processing contents of the functions that the processing apparatus should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium (except for a carrier wave).
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 When the program is distributed, for example, it is sold in the form of a portable recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。 The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、第１の実施形態から第４の実施形態を適宜組み合わせたり、変形させてもよく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。 The above-described embodiment is an example of a preferred embodiment of the present invention. However, the present invention is not limited to this, and the first to fourth embodiments may be appropriately combined or modified, and various modifications can be made without departing from the scope of the present invention.
１０ 装着装置
１１ 撮像部
１２ 表示部
１４ マイク
１６ 第１通信部
１８ 制御部
２０ 携帯端末
２０’ レジ端末
４０ サーバ
４１ 通信部
４５ 記憶部
４６ 制御部
１００ 電子機器システム
１１０ フレーム
１１１ 接触センサ
１１２ 加速度センサ
１８０ 防犯カメラ
２００ コピー機
DESCRIPTION OF
Claims (13)
前記入力部が入力した音声データに関連する画像データを前記第１外部機器に送信するか、前記第１外部機器とは異なる第２外部機器に送信するかを判断する判断部と、を備えた電子機器。 An input unit for inputting audio data from the first external device;
A determination unit that determines whether image data related to audio data input by the input unit is transmitted to the first external device or a second external device different from the first external device; Electronics.
前記判断部は、前記特定部が特定したユーザに応じて、前記抽出部が抽出した情報の少なくとも一部を送信するかどうかを判断する請求項３に記載の電子機器。 A specifying unit for specifying a user of the first external device or the second external device that transmits the image data;
The electronic device according to claim 3, wherein the determination unit determines whether to transmit at least a part of the information extracted by the extraction unit according to a user specified by the specification unit.
前記判断部は、前記記憶部に記憶された前記ユーザに関する情報に応じて、前記抽出部が抽出した情報の少なくとも一部を送信するかどうかを判断する請求項４に記載の電子機器。 The specifying unit includes a storage unit that stores information about the user,
The electronic device according to claim 4, wherein the determination unit determines whether to transmit at least a part of the information extracted by the extraction unit in accordance with information about the user stored in the storage unit.
前記ユーザの音声データと画像データとの少なくとも一方を入力する入力部と、
前記入力部が前記音声データと前記画像データとの少なくとも一方を入力した際に、前記記憶部に記憶されたデータを選択して送信する送信部と、を備えた電子機器。 A storage unit for storing data about the user;
An input unit for inputting at least one of the user's voice data and image data;
An electronic apparatus comprising: a transmission unit that selects and transmits data stored in the storage unit when the input unit inputs at least one of the audio data and the image data.
前記送信部は、前記外部機器への送信の履歴から前記データを選択して送信する請求項９に記載の電子機器。 The input unit inputs at least one of the audio data and the image data from an external device,
The electronic device according to claim 9, wherein the transmission unit selects and transmits the data from a history of transmission to the external device.
前記送信部は、前記外部機器の認識結果に応じて前記データを選択して送信する請求項９に記載の電子機器。 The input unit inputs at least one of the audio data and the image data from an external device,
The electronic device according to claim 9, wherein the transmission unit selects and transmits the data according to a recognition result of the external device.
前記入力部が入力した前記音声データ及び前記画像データの少なくとも一方に基づいて、報知する情報及び報知する条件を決定する決定部と、
前記決定部が決定した条件を満たしたときに前記情報を報知する報知部と、を備えた電子機器。 An input unit for inputting at least one of audio data and image data;
A determination unit for determining information to be notified and a condition for notification based on at least one of the audio data and the image data input by the input unit;
An electronic device comprising: a notification unit that notifies the information when a condition determined by the determination unit is satisfied.
ユーザに関するデータを記憶させるステップと、
前記ユーザの音声データと画像データとを入力させるステップと、
前記音声データと前記画像データとを入力した際に、記憶された前記ユーザに関するデータを選択して送信するステップと、を実行させるプログラム。
On the computer,
Storing data about the user;
Inputting the user's voice data and image data;
And a step of selecting and transmitting the stored data relating to the user when the audio data and the image data are input.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014102711A JP2015219717A (en) | 2014-05-16 | 2014-05-16 | Electronic apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014102711A JP2015219717A (en) | 2014-05-16 | 2014-05-16 | Electronic apparatus and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015219717A true JP2015219717A (en) | 2015-12-07 |
Family
ID=54779033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014102711A Pending JP2015219717A (en) | 2014-05-16 | 2014-05-16 | Electronic apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015219717A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11165986B2 (en) | 2019-04-18 | 2021-11-02 | Canon Kabushiki Kaisha | Data transfer apparatus and control method thereof |
| US11445144B2 (en) | 2017-12-29 | 2022-09-13 | Samsung Electronics Co., Ltd. | Electronic device for linking music to photography, and control method therefor |
-
2014
- 2014-05-16 JP JP2014102711A patent/JP2015219717A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11445144B2 (en) | 2017-12-29 | 2022-09-13 | Samsung Electronics Co., Ltd. | Electronic device for linking music to photography, and control method therefor |
| US11165986B2 (en) | 2019-04-18 | 2021-11-02 | Canon Kabushiki Kaisha | Data transfer apparatus and control method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9986419B2 (en) | Social reminders | |
| US11093995B2 (en) | Monitoring of customer consumption activity and management based on monitoring | |
| JP6621033B2 (en) | Age confirmation system and shopping support system equipped with the same | |
| JP2010519656A (en) | Remote object recognition | |
| US20070144835A1 (en) | Wireless electronic menu device and ordering system containing the same device | |
| JP6185216B1 (en) | Information providing system, information providing apparatus, information providing method, and program | |
| US20150242833A1 (en) | Information processing device and screen setting method | |
| JP6302567B2 (en) | Food management system, refrigerator, server, refrigerator control method, and server control method | |
| JP5142306B1 (en) | Product information providing system, product information providing device, and product information output device | |
| JP2021157840A (en) | Customer call system | |
| JP2017041120A (en) | Information processing device, information processing system, information processing method and program | |
| JP2015220597A (en) | Electronic apparatus and program | |
| JP2016200666A (en) | Merchandise explanation system for visually challenged person | |
| US20110055027A1 (en) | Cooking assistance terminal, wearable cooking assitance terminal and method | |
| JP2011076323A (en) | Ordering management device, ordering management system and control program | |
| JP2015219717A (en) | Electronic apparatus and program | |
| TW201237658A (en) | Input device, input system and computer readable medium | |
| JP2015220596A (en) | Electronic apparatus | |
| JP2011118684A (en) | Cooking assisting terminal and program | |
| JP2014109910A (en) | Merchandise information providing system, merchandise information providing device and merchandise information output device | |
| JP7363163B2 (en) | Monitoring device, monitoring method, program, and monitoring system | |
| WO2018088062A1 (en) | Age verification system and shopping assistance system comprising same | |
| JP2019185250A (en) | Consumer goods procurement support system | |
| JP6180344B2 (en) | Shopping support device and program | |
| JP6196079B2 (en) | Shopping support system |