JP2019008550A - 作業管理システム、作業管理方法及び作業管理プログラム - Google Patents

Abstract

【課題】飲食サービスにおいて、顧客又は従業員の動作から生成される振動を検知することによって顧客の状況を推定し、従業員又は飲食サービスに係る装置に対し次のサービスのための作業指示が可能な作業管理システム、作業管理方法及び作業管理プログラムを提供する。【解決手段】飲食サービスにおける作業管理システムであって、顧客又は従業員の動作から生成される振動を検知して、振動信号を出力する検知部と、振動信号の振動源を判別し、判別した振動源ごとの振動の発生頻度又は強度の少なくともいずれか一つを含む振動情報を生成する分析部と、振動情報に基づいて、顧客の状況を推定する推定部と、推定部によって推定された顧客の状況の推定結果に基づいて、従業員又は飲食サービスに係る装置が行うべき作業を判定する判定部と、顧客の状況の推定結果を示す顧客状況情報及び作業の判定結果を示す指示情報を出力する出力部と、を備える。【選択図】図２

Description

本発明は、顧客又は従業員の動作から生成される振動を検知して顧客の状況を推定する作業管理システム、作業管理方法及び作業管理プログラムに関する。

レストラン等の飲食業のサービスにおいて、顧客の食事が終わったかどうか等食事の状況を含めた顧客の状況を従業員が目視で確認して、確認した結果に基づいて、次の料理の調理や接客等の作業を開始し、次の料理を提供する等のサービスを提供するのが一般的である。

しかしながら、近年、従業員の負荷低減、人件費の抑制、サービス向上等のため、これらのサービスをシステム化することが提案されている。例えば、特許文献１は、発券機カメラにより食券を買った顧客の映像情報に基づいて、その顧客の人物特定し追尾することで、座席場所まで注文飲食物を配膳する飲食用サービスシステムが開示されている。そして、特許文献１には、このような構成を備える飲食用サービスシステムによれば、整理番号と注文飲食物に加えて座席番号を調理場モニタに表示するようにして、その注文飲食物をどこに配膳すべきかが分かるようにしたことにより、セルフサービスでなく、顧客への十分なサービスができると共に、人件費を大幅に抑制することができると記載されている。

また、特許文献２には、客の注文情報の送信に加え、新規入店の客数を入力し、客数情報を送信するハンディ端末、ハンディ端末から送信された客数情報を厨房用端末に出力する情報出力手段を備える注文情報管理装置が開示されている。特許文献２には、このような構成を備える注文情報管理装置によれば、調理の事前準備を開始するための有益な情報を速やかに厨房に伝えることができ、これにより、客への料理出しを早めることができると記載されている。

特開２０１２− １４５６７号公報 特開２０１１−２０９９１１号公報

ここで、飲食店においてセットメニューやコースメニュー等の複数の飲食物を提供する場合に、食事の状況を含めた顧客の状況を把握して、次に用意する飲食物について、適切なタイミングで顧客に用意してよいか確認する等の接客をし、当該飲食物調理して配膳することで提供したい等のというニーズが存在する。

上記のような場合に、特許文献１に記載の飲食用サービスシステムでは、最初に提供する飲食物はスムーズに配膳できても、複数の飲食物を注文し、かつ、これらの飲食物の提供が段階的である（例えば、コース料理や食後のドリンク等）場合には、顧客の食事の状況を座席に近寄って目視で確認するしかなく、従業員の負荷の観点から問題があった。また、特許文献２に記載の注文情報管理装置においても最初に提供する飲食物の調理の事前準備を開始するための情報伝達（出力）でしかなく、従業員の負荷の観点から問題があった。

本発明の目的は、上記課題に鑑み、飲食サービスにおいて、顧客又は従業員の動作から生成される振動を検知することによって顧客の状況を推定し、従業員又は飲食サービスに係る装置に対し次のサービスのための作業指示が可能な作業管理システム、作業管理方法及び作業管理プログラムを提供することである。

本発明に係る作業管理システムは、飲食サービスにおける作業管理システムであって、顧客又は従業員の動作から生成される振動を検知して、振動信号を出力する検知部と、振動信号の振動源を判別し、判別した振動源ごとの振動の発生頻度又は強度の少なくともいずれか一つを含む振動情報を生成する分析部と、振動情報に基づいて、顧客の状況を推定する推定部と、推定部によって推定された顧客の状況の推定結果に基づいて、従業員又は飲食サービスに係る装置が行うべき作業を判定する判定部と、顧客の状況の推定結果を示す顧客状況情報及び作業の判定結果を示す指示情報を出力する出力部と、を備える。

さらに、本発明に係る作業管理システムは、規範となる振動源ごとの振動信号の特徴量を学習データとして入力することによりパターン認識モデルとして構築した、判別モデルを記憶する記憶部をさらに備え、分析部は、判別モデルを用いて、検知部から出力された振動信号の特徴量に基づき、検知部から出力された振動信号の振動源を判別してもよい。

さらに、本発明に係る作業管理システムにおいて、顧客又は従業員の動作から生成される振動は、食事の際に発生する顧客の咀嚼と、食器、テーブル及び顧客の少なくともいずれか二つ同士の接触と、顧客又は従業員の少なくともいずれか一人の音声と、の少なくともいずれか一つから生成される振動であってもよい。

さらに、本発明に係る作業管理システムにおいて、検知部は、顧客が装着するウェアラブルマイク又は顧客が食事するテーブルに設置されるマイクアレイであって、咀嚼から生成される振動を検知して、振動信号を出力し、分析部は、検知部から出力された振動信号の特徴量に基づき、振動信号の振動源が咀嚼であることを判別し、判別された咀嚼から生成される振動の振動情報を生成し、推定部は、振動情報に基づいて、第一の所定時間あたりの咀嚼の回数を算出し、当該算出された咀嚼の回数が予め設定した回数以下となった場合、顧客の状況が食事終了時刻の第二の所定時間前であると推定してもよい。

また、本発明に係る作業管理システムにおいて、検知部は、顧客が食事するテーブルに設置されるコンタクトマイクからなるマイクアレイであって、接触から生成される振動を検知して、振動信号を出力し、分析部は、検知部から出力された振動信号の特徴量に基づき、振動信号の振動源が接触であることを判別し、判別された接触から生成される振動の振動情報を生成し、推定部は、振動情報に基づいて、第三の所定時間あたりの接触から生成された振動の平均強度を算出し、該算出された平均強度が予め設定した強度以下となった場合、顧客の状況が食事終了時刻の第二の所定時間前であると推定してもよい。

また、本発明に係る作業管理システムにおいて、検知部は、顧客が装着するウェアラブルマイク又は顧客が食事するテーブルに設置されるマイクアレイであって、音声から生成される振動を検知して、振動信号を出力し、分析部は、検知部から出力された振動信号の特徴量に基づき、振動信号の振動源が音声であることを判別し、判別された音声から生成された振動の振動情報を生成し、推定部は、振動情報に基づいて、第四の所定時間あたりの音声から生成された振動の平均強度を算出し、該算出された平均強度が予め設定した強度以上となった場合、顧客の状況が食事終了時刻の第二の所定時間前であると推定してもよい。

さらに、本発明に係る作業管理システムにおいて、記憶部は、顧客の年齢又は性別によって特徴づけられる食事時間を記憶し、推定部は、飲食物を提供した時刻である食事開始時刻に食事時間を加算した時刻を食事終了時刻と設定してもよい。

さらに、本発明に係る作業管理システムにおいて、出力された顧客の状況の推定結果に対して、実際の顧客の状況を確認した結果の入力を受け付ける操作入力部をさらに備え、記憶部は、顧客の状況の推定結果と操作入力部により受け付けた実際の顧客の状況を比較し、該比較した結果を推定履歴情報として蓄積し、分析部は、推定履歴情報を学習データとして入力することによりパターン認識モデルとして、判別モデルを構築してもよい。

さらに、本発明に係る作業管理システムにおいて、記憶部は、店舗ごとの飲食サービスの提供形態を示す飲食形態情報を記憶し、推定部は、飲食形態情報に基づいて、顧客の状況の推定結果を補正してもよい。

本発明に係る作業管理方法は、飲食サービスにおける作業管理方法であって、顧客又は従業員の動作から生成される振動を検知して、振動信号を出力し、振動信号の振動源を判別し、判別した振動源ごとの振動の発生頻度又は強度の少なくともいずれか一つを含む振動情報を生成し、振動情報に基づいて、顧客の状況を推定し、推定された顧客の状況の推定結果に基づいて、従業員又は飲食サービスに係る装置が行うべき作業を判定し、顧客の状況の推定結果を示す顧客状況情報及び作業の判定結果を示す指示情報を出力する。

本発明に係る作業管理プログラムは、飲食サービスにおける作業管理プログラムであって、コンピュータに、顧客又は従業員の動作から生成される振動を検知して、振動信号を出力する検知機能と、振動信号の振動源を判別し、判別した振動源ごとの振動の発生頻度又は強度の少なくともいずれか一つを含む振動情報を生成する分析機能と、振動情報に基づいて、顧客の状況を推定する推定機能と、顧客の状況の推定結果に基づいて、従業員又は飲食サービスに係る装置が行うべき作業を判定する判定機能と、推定機能によって推定された顧客の状況の推定結果を示す顧客状況情報及び作業の判定結果を示す指示情報を出力する出力機能と、を含む各機能を実現させる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明の作業管理システム、作業管理方法及び作業管理プログラムによれば、顧客又は従業員の動作から生成される振動を検知することによって顧客の状況を推定し、従業員又は飲食サービスに係る装置に対し、次のサービスのための作業指示をすることができる。

本発明の第１の実施形態における、作業管理システムの構成を示すシステム図である。 本発明の第１の実施形態における、作業管理システムの機能構成を示すブロック図である。 本発明の実施の形態に係る作業管理システムの概略を示す模式図である。 本発明の実施の形態に係る作業管理システムの音源又は振動源の判別処理を表す模式図である。 本発明の実施の形態に係る作業管理システムの音源又は振動源ごとの時間ごとの発生頻度を表す状況推定のグラフ図である。 本発明の実施の形態に係る作業管理システムの動作例を示すフローチャート図である。 本発明の実施の形態に係る作業管理システムの動作例を示すフローチャート図である。 本発明の第２の実施形態における、作業管理システムの構成を示すシステム図である。 本発明の第２の実施形態における、作業管理システムの機能構成を示すブロック図である。

＜第１の実施形態＞
第１の実施形態について図面を参照して説明する。
第１の実施形態は、センサ装置側（エッジ側）で振動の検知から、振動源を判別する分析処理、顧客の状況推定処理、従業員等の作業の判定処理まで実施する形態である。すなわち、第１の実施形態はエッジコンピューティングを利用した形態である。第１の実施形態に記載の内容は、他の各実施形態のいずれにも適用可能である。

（システム構成）
図１は、本発明の第１の実施形態における作業管理システムのシステム構成を示すシステム図である。

図１に示すように、作業管理システム１００は、情報処理装置２００、端末装置３００、センサ装置４００を含む。情報処理装置２００は、ネットワーク５００（インターネット等）を隔ててエッジ側とクラウド側でそれぞれ設置して構成してもよいし、エッジ側だけでもよい。以降、クラウド側の情報処理装置（クラウドサーバ）を情報処理装置２００ａとし、エッジ側の情報処理装置（エッジサーバ）を、情報処理装置２００ｂ、２００ｃとする。なお、情報処理装置２００ａ、情報処理装置２００ｂ、情報処理装置２００ｃについて特に区別の必要がなければ総称して情報処理装置２００とする。

作業管理システム１００の各装置の役割として、情報処理装置２００は、推定履歴情報等の蓄積データ等の大規模データの保管及び加工処理を行い、一方、センサ装置４００は、高速処理が要求される分析、推定、判定処理を行うよう分担して構成してもよい。

情報処理装置２００は、ネットワーク５００等を介して、端末装置３００、センサ装置４００と接続される。なお、図１において、説明を簡単にするために、情報処理装置２００は３台、端末装置３００、センサ装置４００は２台ずつ示してあるが、これ以下でもこれ以上存在してもよいことは言うまでもない。

情報処理装置２００は、分析、推定、判定処理等のための処理能力のあるコンピュータ機器であればどの様な電子機器でもよく、例えば、パーソナルコンピュータ、サーバ、メインフレーム、その他電子機器であってもよい。

情報処理装置２００は、具体的には、プロセッサによって装置全体が制御されている処理装置であってもよい。当該プロセッサには、バスを介して、ＲＡＭ及びハードディスクドライブ等の記憶装置（記憶部２３０）、入出力インタフェース、通信インタフェース等が接続されて構成されている。当該記憶装置は、制御部２１０における各種処理に必要となる各種処理データやプログラムを記憶する機能を有している。当該入出力インタフェースには、ディスプレイ、キーボード、マウス、外付け記憶媒体等の入出力装置が接続されている。当該通信インタフェースには、ネットワーク５００等が接続されている。

また、情報処理装置２００ａは、作業管理システム１００専用のソフトウェアやハードウェア、ＯＳ等を設けずに、クラウドサーバによるＳａａＳ（Software as a Service）、Ｐａａｓ（Platform as a Service）、ＩａａＳ（Infrastructure as a Service）を適宜用いてもよい。

端末装置３００ａ、３００ｂは、飲食店においてフロアや厨房にいる従業員が操作入力できる、又は、従業員に対して各種情報を出力（画面表示、音声出力、バイブレーション等）できる電子機器であればよく、例えば、ハンディターミナル、タブレット端末、スマートフォン、キッチンプリンタ、ディスプレイ端末等、その他端末機器であってもよい。なお、以下においては、特に区別の必要がない場合に、端末装置３００ａ、３００ｂを総称して、端末装置３００と記載する。

センサ装置４００は、顧客が飲食店へ入店するところから、飲食サービスの提供を受け、退店するまでの間（店内に滞在する間）に顧客又は従業員の動作から生成される振動、例えば、顧客の食事により（食事中の会話、食器又は咀嚼の少なくともいずれか一つから）発生する振動の少なくとも一つを検知する。

センサ装置４００は、上記のような顧客又は従業員の動作から生成される音又は振動を検知できるセンサであれば、どの様な装置でもよく、コンデンサマイクロフォン（コンタクトマイク）、ＭＥＭＳ（Micro Electro Mechanical Systems）マイクロフォン、圧電センサ、また、食事中の会話や咀嚼音に関しては、骨伝導マイクロフォンやウェアラブル端末の音声認識装置（以下、「ウェアラブルマイク」という）であってもよい。

センサ装置４００は、顧客が装着するウェアラブルマイク又は顧客が食事するテーブルに設置されるマイクアレイであってもよく、当該マイクアレイは、コンタクトマイクからなるマイクアレイであってもよい。

また、センサ装置４００は、分析、推定、判定処理等のための処理能力のある情報処理機能、通信機能、記憶機能等を搭載する。具体的には、プロセッサによって装置全体が制御されている処理装置であってもよい。当該プロセッサには、バスを介して、ＲＡＭ及びハードディスクドライブ等の記憶装置（記憶部４３０）、入出力インタフェース（不図示）、通信インタフェース（通信部４２０）等が接続されて構成されている。当該記憶装置は、制御部４４０における各種処理に必要となる各種処理データやプログラムを記憶する機能を有している。

センサ装置４００は、エッジサーバとしての情報処理装置２００ｂを設けないで、エッジ端末としてのセンサ装置４００だけで作業管理システム１００の分析、推定、判定処理を行うよう構成する。具体的には、例えば、複数のセンサ装置４００がＰ２Ｐ（Peer to Peer）方式等を用いて連携して水平分散（水平負荷分散、水平機能分散）処理を行うことで実現してもよい。このような構成とすることで、センサ装置４００が１台では情報処理能力の問題で分析処理から判定処理までカバーできなくとも、複数台で分散処理を行うことでカバーすることができる。

また、その他の効果として、エッジ側で全ての処理を行うことで、サーバとしての情報処理装置２００ａにネットワーク５００介してデータを送信しなくてもよくなり（又は、エッジ側で必要最低限のデータのみとするよう加工処理をして送信すればよくなり）、当該送信するデータに個人情報が含まれていた場合にはプライバシー侵害のリスクやセキュリティリスクを低減できる。また、通信容量を低減できるうえ、必要な情報だけを選別できるため、当該通信を監視する手間を省ける。このようにエッジ側での構成とすることで、通信の遅延等の通信帯域の問題や個人情報保護の問題も解決することができる。

また、一方、センサ装置４００は、エッジサーバとしての情報処理装置２００ｂと垂直分散（垂直負荷分散、垂直機能分散）処理を行うよう構成してもよい。具体的には、例えば、後述する一次分析処理までをセンサ装置４００で行い、以降の二次分析〜判定処理までの情報処理を情報処理装置２００ｂで行ってもよい。

ネットワーク５００は、ＩＰネットワークであれば無線でも有線であってもよく、ＬＡＮやＷＡＮを含むネットワークである。ネットワーク５００は、例えば、無線による通信であれば、端末装置３００、センサ装置４００又は情報処理装置２００ｂ（エッジサーバ）、２００ｃ（エッジサーバ）は、無線ＬＡＮアクセスポイント（不図示）にアクセスし、ＬＡＮやＷＡＮであるネットワーク５００を介して情報処理装置２００ａ（クラウドサーバ等）と通信してもよい。

ここで、図３を用いて、本発明の第１の実施形態における作業管理システム１００の概略について説明する。図３は、第１の実施形態における作業管理システム１００の振動の検知からサービス提供作業までの流れの概略を示す模式図である。

図３に示すように、第１の実施形態における作業管理システム１００において、センサ装置４００は、飲食店等において、顧客の提供された飲食物の食事等により食事の際に発生する顧客の咀嚼と、食器、テーブル及び顧客の少なくともいずれか二つ同士の接触と、顧客又は従業員の少なくともいずれか一人の音声と、の少なくともいずれか一つから生成される振動を検知し、振動情報を生成する。

ここで「振動情報」とは、顧客の入店から退店までの間（店内に滞在している間）、飲食サービスを提供している中で顧客又は従業員の動作から生成される音を含めた振動に係る情報である。振動情報は、具体的には、例えば、店内に設置されたセンサ装置４００が、顧客又は従業員の動作から生成される振動を検知してアナログ信号を出力し、必要に応じて増幅させ、デジタル信号に変換等させたものをいう。

また、「顧客又は従業員の動作から生成される振動」とは、具体的には、顧客又は従業員の動作による、（１）食器、テーブル及び顧客の少なくともいずれか二つ同士の接触（例えば、顧客の食事中の食器同士の接触（スプーンやナイフといったシルバー同士の接触、スプーンとお皿の接触等。なお、ここでいう「食器」には、皿、コップ、箸、シルバー等が含まれる。）、食器とテーブルの接触（例えば、従業員が顧客にお水を提供するときや食事を配膳するときの食器とテーブルの接触等）、顧客とテーブルの接触（顧客の手がコツコツとテーブルを叩くことによる接触等）、（２）顧客又は従業員の店内での移動、（３）顧客又は従業員の少なくともいずれか一人の音声、（４）食事の際に発生する顧客の咀嚼等の動作から生成される音を含む物体や空気などの振動をいう。なお、「食器、テーブル及び顧客の少なくともいずれか二つ同士の接触から生成される振動」は以降、適宜「食器等の接触振動」と略す。

さらに「振動情報」は、センサ装置４００が、デジタル信号に変換された情報に対して、（１）ノイズ除去等の前処理を行い、（２）振動の振動信号の特徴量を抽出し、（３）何から生成される振動か、また、どこから生成される振動かといった、振動の種類（顧客の会話音か食器の音／振動か咀嚼音／振動か等）又は振動源の位置を判別し、振動の種類（顧客の会話音か、顧客の咀嚼音か、食器又はテーブル等の接触音かの分類）を示す種類情報及び音源又は振動源の位置情報（店舗のフロア又は各テーブルを基準として定める絶対又は相対位置として、どの位置から発せられた振動かを示す情報）を生成し、（４）振動源ごとの発生頻度、間隔、強度（ｄＢ）を表す時間波形を含めた波形データを生成してもよい。

また、当該波形データは、センサ装置４００が判別、生成した当該音源又は振動源ごとの発生頻度、強度、間隔、種類情報、位置情報、所定の周波数成分ごとの波形データを含んでもよい。このような構成とすることで、センサ装置４００間のみで、又は、センサ装置４００とエッジサーバ２００ｂ間においてノイズ除去や特徴量抽出によって加工処理したデータ群（すなわち、不要なデータを排除したデータのみ）を情報処理装置２００ｂに送信することができ、通信容量の低減や輻輳の抑止を図ることができる。

センサ装置４００は、当該振動情報に含まれる顧客の食事による咀嚼、顧客又は従業員の音声又は食器の接触振動等といった振動源ごとの発生頻度、強度、間隔を抽出すると、次に、抽出した音源又は振動源ごとの発生頻度、強度、間隔に基づいて、顧客に提供した飲食物について食事終了時刻の５分前等といった顧客の状況を推定し、顧客状況情報を生成する。

センサ装置４００は、顧客の状況の推定結果を示す顧客状況情報に基づいて、フロアスタッフ等の従業員が行うべき作業、例えば、食後のデザートを用意していいか確認する作業等を判定し、顧客状況情報と、当該判定された作業を従業員に指示する指示情報を端末装置３００に送信する。

ここで「指示情報」とは、顧客状況情報に基づいて判定された従業員又は飲食サービスに係る装置に行うべき作業を示す情報である。また、ここで「飲食サービスに係る装置」とは、作業管理システム１００と連携するフロアサービス用ロボット若しくは調理用ロボット等を含む飲食サービスに関する配膳用若しくは調理用システムに属する装置をいう。なお、「従業員又は飲食サービスに係る装置」は、以降「従業員等」と略す。指示情報は、具体的には、センサ装置４００の判定部４４３が顧客の状況の推定結果に基づいて、従業員等が行うべき作業と判定した判定結果を示す情報であってもよい。従業員等は指示情報に示された行うべき作業を確認して、飲食サービスを行う。また、ここでいう「顧客の状況」には、顧客の状態（咀嚼をしている、会話をしている等の状態）も含む。

また、当該顧客状況情報及び指示情報の出力は、従業員に対して出力ではなく、作業管理システムに連携する当該飲食サービスに係る装置（不図示）に対して顧客状況情報及び指示情報を出力してもよい。例えば、回転寿司店における寿司の搬送レーンを用いた搬送システムと連携して、顧客の元に寿司を搬送する指示を含めた指示情報を当該搬送システムに出力してもよい。当該搬送システムは、入力した指示情報に基づいて、顧客のもとに注文された寿司を搬送してもよい。これにより、顧客の状況（食事状況）の推定から飲食物の提供（配膳）まで自動化することができるため、従業員の負荷低減を図ることができる。

端末装置３００は、図３の２．の矢印に示すように、具体的には、例えば、センサ装置４００から顧客状況情報及び指示情報を受信すると、従業員等に対して顧客状況情報として「食事終了時刻５分前です」、指示情報として「食後のデザートを提供していいか確認してください」といったアラート表示や所定のアラート音を鳴らすといったように、顧客状況情報及び指示情報を出力する。

このようにして、第１の実施形態における作業管理システム１００では、センサ装置４００が、顧客が食事等の動作から生成される振動を検知して、検知した振動の振動情報により顧客の状況を推定することで、従業員が逐次フロアを回って目視で確認する手間を省くことができる。

また、第１の実施形態における作業管理システム１００は、当該手間を省いても顧客の食事の進行具合に応じた適切なタイミングで次のサービスを提供することが可能となり、従業員の負荷低減及び人件費の削減と顧客満足度の向上を同時に図ることができる。また、作業管理システム１００は、顧客の食事風景をカメラで動画もしくは静止画で撮影して当該撮影した画像又は動画情報等に基づいて食事状況を推定するよりも顧客の顔情報（顧客個人を特定できる身体情報）を省いた少ない情報によってセンシングすることができ、また、エッジ側で全て処理するため、情報漏えいのリスクを低減でき、かつ、個人情報保護やプライバシーへの配慮を図ることもできる。

（機能構成）
図２は、本発明の第１の実施形態における作業管理システム１００の機能構成例を示す図である。図２に示すように、作業管理システム１００は、情報処理装置２００と、端末装置３００と、センサ装置４００とを含む。

（情報処理装置２００）
情報処理装置２００は、図２に示すように、制御部２１０、通信部２２０、記憶部２３０を含んで構成される。

制御部２１０は、分析部２１１、推定部２１２、判定部２１３を備え、情報処理装置２００の各機能部を制御する機能を有するプロセッサである。

制御部２１０は、一例として、端末装置３００、センサ装置４００又は情報処理装置２００の各機能部からの処理要求に基づいて、記憶部２３０に記憶されている状況情報等の各種情報を参照、更新又は削除処理をし、当該処理結果を端末装置３００において出力するための出力情報を生成してもよい。この場合、生成した出力情報は、通信部２２０及びネットワーク５００を介して端末装置３００に送信される。

分析部２１１は、センサ装置４００の分析部４４１と同一の機能を有してもよい。分析部２１１は、具体的には、例えば、振動源ごとの特徴を表す判別モデルを用いて、センサ装置４００が出力した振動信号の振動源を判別して、振動源ごとの発生頻度、強度、間隔の少なくともいずれか一つを含む振動情報を生成する機能を有してもよい。分析部２１１は、センサ装置４００の分析部４４１が行う処理の一部を分散して処理してもよい。

推定部２１２は、センサ装置４００の推定部４４２と同一の機能を有してもよい。推定部２１２は、具体的には、例えば、振動源ごとの振動情報に基づいて、顧客の食事の状況等の顧客の状況を推定する機能を有してもよい。また、推定部２１２は、例えば、顧客の状況の推定結果を示す顧客状況情報を生成し、判定部２１３又はセンサ装置４００の判定部４４３に伝達してもよい。推定部２１２は、センサ装置４００の推定部４４２が行う処理の一部を分散して処理してもよい。

判定部２１３は、センサ装置４００の判定部４４３と同一の機能を有してもよい。判定部２１３は、具体的には、例えば、推定部２１２により推定された顧客状況情報に基づいて、従業員等が行うべき作業を判定する機能を有してもよい。判定部２１３は、判定した作業結果を含む指示情報を端末装置３００に通信部２２０及びネットワーク５００を介して送信する。

通信部２２０は、制御部２１０の制御によって、ネットワーク５００を介して端末装置３００又はセンサ装置４００との通信を実行する機能を有する。当該通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信部２２０は、具体的には、例えば、センサ装置４００から振動情報を受信したり、端末装置３００へ顧客状況情報や指示情報を送信したりしてもよい。

記憶部２３０は、制御部２１０の制御によって、情報処理装置２００が動作する際に必要な各種プログラム、データ、パラメータ等を記憶する機能を有する。記憶部２３０は、具体的には、例えば、個人の年齢又は性別を含む個人情報、顧客状況情報、個人情報に含まれる個人の年齢又は性別の少なくともいずれか一つに基づいて設定される食事時間を示す食事時間情報、振動情報、指示情報、推定履歴情報、飲食形態情報、顧客の年齢又は性別によって特徴づけられる周波数特性を示す情報等を記憶する。

記憶部２３０は、一例として、個人情報と、顧客状況情報又は推定履歴情報の少なくともいずれか一つと紐付けて記憶してもよい。個人情報は来店時に個人情報の識別子（例えば、ＩＣチップ）が組み込まれたカードを持参した場合、当該識別子をカードリーダ等の読み取り装置で読み取り、顧客状況情報等を紐づけてもよい。

記憶部２３０は、具体的には、例えば、ＲＯＭ及びＲＡＭで構成される主記憶装置、不揮発性メモリ等で構成される補助記憶装置、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等各種の記録媒体によって構成される。

（端末装置３００）
端末装置３００は、図２に示すように、制御部３１０、通信部３２０、記憶部３３０、出力部３４０を含んで構成される。

制御部３１０は、端末装置３００の各機能部を制御する機能を有するプロセッサである。制御部３１０は、具体的には、例えば、端末装置３００から送信された出力情報を記憶部３３０に記憶させたり、出力部３４０に出力させたりする。

通信部３２０は、制御部３１０の制御によって、ネットワーク５００を介して情報処理装置２００又はセンサ装置４００との通信を実行する機能を有する。当該通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信部３２０は、具体的には、例えば、情報処理装置２００から顧客状況情報や指示情報等を受信してもよい。

記憶部３３０は、制御部３１０の制御によって、端末装置３００が動作する際に必要な各種プログラム、データ、パラメータ等を記憶する機能を有する。記憶部３３０は、具体的には、例えば、顧客状況情報、指示情報等を記憶する。

記憶部３３０は、具体的には、例えば、ＲＯＭ及びＲＡＭで構成される主記憶装置、不揮発性メモリ等で構成される補助記憶装置、ＨＤＤ、ＳＳＤ、フラッシュメモリ等各種の記録媒体によって構成される。

出力部３４０は、表示部３４１、操作入力部３４３、音声出力部３４４を備え、制御部３１０の制御によって、端末装置３００に各種情報を出力する機能を有する。出力部３４０は、顧客の状況を示す顧客状況情報及び判定された作業を示す指示情報を出力する機能を有する。出力部３４０は、一例として、振動部３４５、印刷部３４６を備えてもよい。

表示部３４１は、表示出力部３４２及び操作入力部３４３を備える。表示部３４１は、具体的には、例えば、ＬＣＤ（Liquid Crystal Display）ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等を用いればよい。

表示出力部３４２は、制御部３１０の制御によって、情報処理装置２００からネットワーク５００を介して送信された表示情報等を表示する機能を有する。表示出力部３４２の表示画面は、例えば、ＨＴＭＬ（Hyper Text Markup Language）などのマークアップ言語や、ビットマップデータあるいは圧縮処理された画像データなど、端末装置３００で画面表示可能な一般的なデータ形式で生成されればよい。

表示出力部３４２は、具体的には、例えば、制御部３１０の制御によって、顧客の状況の推定結果に基づいて、次に提供すべきサービスの内容を指示する指示情報（例えば、食後のデザートを提供していいか確認する指示等）を表示させてもよい。

表示出力部３４２は、一例として、セルフ注文を受け付ける各テーブルに設置されたタブレット端末としての装置端末３００の表示出力部として、表示する注文情報（例えば、通常飲食サービス注文メニューに記載されているような商品の一覧と、当該商品への注文を指定する入力を受け付ける操作入力手段等）を顧客の状況に合わせて切り替えてもよい（例えば、顧客の状況がメインの食事の終了間際又は食事が終了であると推定された場合、食後のデザートを注文できるようデザート注文画面に切り替えたりコース料理であれば次の料理を提供してよいか問い合わせる画面に切り替えたり等）。このような構成とすることで、従業員が顧客の状況に合わせて次の注文のためのメニューを顧客に持っていく等の従業員の負荷にならず、自動的に次のサービスを提供することができる。

操作入力部３４３は、制御部３１０の制御によって、従業員からの操作入力を受け付ける機能を有する。操作入力部３４３は、具体的には、タッチパネル等のソフトキーあるいはハードキーにより実現される。操作入力部３４３は、例えば、従業員等に対して、出力部３４０によって出力された顧客の状況の推定結果に対して、従業員等によって実際の顧客の状況を確認した結果の入力を受け付けてもよい。操作入力部３４３は、制御部３１０の制御によって、当該確認結果を示す結果情報を生成し、当該結果情報を、通信部３２０及びネットワーク５００等を介して、情報処理装置２００へ送信する。

音声出力部３４４は、制御部３１０の制御によって、指示情報を音声出力する機能を有する。音声出力部３４４は、具体的には、例えば、内臓スピーカーによって実現し直接音声を出力してもよいし、ヘッドフォン又はイヤフォンを接続して有線又は無線で音声信号を外部媒体に出力してもよい。

音声出力部３４４は、具体的には、例えば、制御部３１０の制御によって、顧客の状況の推定結果に基づいて、次に提供すべきサービスの内容を指示する指示情報（例えば、食後のデザートを提供していいか確認する指示等）を音声出力させてもよい。

音声出力部３４４は、一例として、セルフ注文を受け付ける各テーブルに設置されたタブレット端末としての装置端末３００の音声出力部として、顧客の状況に合わせて音声出力してもよい（例えば、メインの食事の終了間際又は食事が終了と顧客の状況が推定された場合、食後のデザートを勧める音声やコース料理であれば次の料理を提供してよいか問い合わせる音声等）。このような構成とすることで、全く従業員等の負荷にならず自動的に次のサービスを提供することができる。

振動部３４５は、制御部３１０の制御によって、指示情報を振動によって出力する機能を有する。振動部３４５は、具体的には、例えば内蔵モータの駆動によって振動を実現してもよい。

印刷部３４６は、制御部３１０の制御によって、指示情報を紙媒体に印字出力する機能を有する。

（センサ装置４００）
センサ装置４００は、図２に示すように、検知部として、マイクロフォン部４１１、アンプ部４１２、Ａ／Ｄ変換部４１３を備え、制御部４４０を含んで構成される。センサ装置４００は、具体的には、例えば、単体マイク又はマイクアレイに基づく手法を利用して、複数のマイクを顧客が食事するテーブル上に配置してもよい。マイクアレイに基づく手法を利用すると、にぎやかな店内においても良好な雑音除去を実現することができ、また、複数の顧客がテーブルに座って食事中に会話していても、どの顧客の会話音か特定（目的音源を抽出）することができる。

検知部４１０は、顧客又は従業員の動作から生成される振動を検知して、振動信号を出力する機能を有する。検知部４１０は出力した振動信号を分析部４４１に伝達する。ここでいう「顧客又は従業員の動作から生成される振動」は、食器、テーブル又は顧客の少なくとも二つの接触と、顧客の食事中の咀嚼と、顧客又は従業員の会話との少なくともいずれか一つにより生成される振動であってもよい。

マイクロフォン部４１１は、飲食サービスに係る顧客又は従業員の動作から生成される振動、例えば、顧客の会話や食事や咀嚼等の顧客又は従業員の動作から生成される振動を検知して、音波信号を含めたアナログ振動信号を取得する機能を有する。

アンプ部４１２は、マイクロフォン部４１１が取得した音波信号を含めたアナログ振動信号を増幅する機能を有する。

Ａ／Ｄ変換部４１３は、音波信号を含めたアナログ振動信号を振動信号（デジタル信号）に変換する機能を有する。

制御部４４０は、分析部４４１、推定部４４２、判定部４４３を備え、端末装置４００の各機能部を制御する機能を有するプロセッサである。

制御部４４０は、一例として、端末装置３００、センサ装置４００又は情報処理装置２００の各機能部からの処理要求に基づいて、記憶部４３０に記憶されている振動情報等の各種情報を参照、算出、更新又は削除処理をし、当該処理結果を情報処理装置２００又は端末装置３００に出力するための出力情報を生成してもよい。この場合、生成した出力情報は、通信部４２０及びネットワーク５００を介して情報処理装置２００又は端末装置３００に送信される。

分析部４４１は、検知部４１０から出力された振動信号の振動源を判別して、判別した振動源ごとの発生頻度、強度、間隔の少なくともいずれか一つを含む振動情報を生成する機能を有する。分析部４４１は、振動源ごとの特徴を表す判別モデルを用いて、検知部４１０から出力された振動信号の振動源を判別してもよい。分析部４４１は、生成した振動情報を通信部４２０、及び、ネットワーク５００を介して情報処理装置２００又は端末装置３００に送信してもよい。ここでいう「判別モデル」とは、振動源を判別するための振動源の特徴を表すパターン認識モデルや所定の周波数領域ごとにフィルタリングするフィルタモデル等をいう。判別モデルは、記憶部４３０に記憶され、振動源の判別処理において参照され、用いられてもよい。

分析部４４１は、一例として、規範となる音源又は振動源ごとの振動信号の特徴量を学習データとして入力することによりパターン認識モデルとして構築した判別モデルを用いて、検知部４１０から出力された振動信号の特徴量に基づき、振動信号の振動源を判別してもよい。分析部４４１が、規範となる音源又は振動源ごとの振動信号の特徴量を学習データとして入力することによりパターン認識モデルとして構築した判別モデルは、記憶部４３０に記憶される。

ここでいう「規範となる振動源ごとの振動信号の特徴量」とは、（１）振動源ごとに振動の振動信号を含む振動情報を予め複数サンプリングして訓練サンプルを収集し、当該訓練サンプルの振幅のピークとなる周波数等の特徴量としてもよいし、（２）振動情報と当該振動情報に対応する（紐づけた）顧客状況情報（顧客の状況の推定結果）と、当該振動情報及び当該顧客状況情報に対する飲食サービスに係る装置や端末装置３００による正しい顧客の状況（実際の顧客の状況の確認結果）の入力により、正しいと判定された振動情報と当該振動情報に対応する顧客状況情報のペアの特徴量としてもよい。

分析部４４１は、一例として、顧客の年齢又は性別の情報を学習データとしてさらに入力することによりパターン認識モデルとして、判別モデルを構築してもよい。顧客の年齢又は性別による特徴量を用いて判別モデルを構築する（学習させる）ことにより、特に顧客の音声又は顧客の咀嚼が振動源である場合には、顧客の年齢又は性別による特徴を反映したパターン認識が可能となり、より精度の高い、振動源の判別が可能となる。

分析部４４１は、一例として、推定履歴情報を学習データとして入力して前記判別モデルを構築してもよい。

分析部４４１は、具体的には、例えば、検知部４１０から出力された、顧客の食事の際に発生する咀嚼から生成される振動（咀嚼音又は咀嚼振動）の振動信号の特徴量に基づき、判別モデルを用いて振動信号の振動源が顧客の咀嚼であることを判別して、判別した顧客から生成される振動の振動情報を生成してもよい。

また、分析部４４１は、具体的には、例えば、検知部４１０から出力された振動信号の特徴量に基づき、振動信号の振動源が食器、テーブル及び顧客の少なくともいずれか二つ同士の接触であることを判別し、判別された接触から生成される振動の振動情報を生成してもよい。

また、分析部４４１は、具体的には、例えば、検知部４１０から出力された振動信号の特徴量に基づき、顧客又は従業員の少なくともいずれか一人の音声であることを判別し、判別された音声から生成された振動の振動情報を生成してもよい。

分析部４４１は、より具体的には、（１）ＳＶＭ（Support Vector Machine）を用いる方法、（２）ＳＶＭでパターン認識した結果を、更にカーネル法を用いる方法、（３）スペクトログラムを用いる方法、（４）ディープラーニングを用いる方法によって振動源を判別し、顧客の状況を推定してもよい。

分析部４４１は、上記（１）のＳＶＭを用いる方法においては、振動の振幅のピーク（強度の最大値）となる周波数等を特徴量として、教師あり学習を用いるパターン認識モデルとしての判別モデルによって判別する。判別モデルは、規範となる振動源ごとの振動信号の特徴量等の学習データ（サポートベクトル）を入力し、クラス（振動源の分類）の決定境界が、各クラスのサポートベクトルと当該決定境界との距離が最大となるように決定することで構築（学習）してもよい。当該判別モデルの決定境界によって振動信号を線形分離することで、（各パターン識別をして）パターン認識して、振動源を判別することができる。

分析部４４１は、上記（２）のＳＶＭでパターン認識した結果に対してカーネル法を用いる方法においては、高次元の特徴空間へ写像し、当該高次元の特徴空間の特徴ベクトルに変換することで非線形分離して、振動源を判別することができる。

分析部４４１は、上記（３）のスペクトログラムを用いる方法においては、検知部４１０が出力した振動信号を、ＦＦＴ解析によってスペクトルを算出し、当該算出したスペクトルのスペクトログラムの波形の画像情報を、時間、周波数、信号成分の強さの３軸それぞれ組み合わせて生成する。分析部４４１は、当該画像情報に対して、振動源の波形パターンを示すパターン認識モデルとしての判別モデルを構築し、当該判別モデルによって、フィッティングさせて、物の存在や顧客の状態（グラスがテーブルに置かれた、食器同士が接触している、顧客が会話している等）を推定し、ひいては顧客の状況（テーブルへのご案内、食事中、食事完了間際（５分前）、食後等）を推定してもよい。このようなパターン認識モデルとしての判別モデルを用いることで、多数多様な振動源が発せられる振動の複雑に入り混じる振動信号群を、振動源ごとに切り分けて、振動源ごとの振動信号として、発生頻度、間隔、強度等の変化量をモニタすることができる。

分析部４４１は、上記（４）のディープラーニングを用いる方法においては、多層のニューラルネットワーク（階層型ニューラルネットワーク）を構成し、誤差逆伝搬法を用いて、検知部４１０が出力した振動信号を入力し、入力層、中間層（２層以上の中間層を備える）において重み付けを行い、出力層で出力させる。また、規範となる音源又は振動源ごとの振動信号の特徴量等の教師信号と出力層で出力との誤差に基づいて各層の重み付けを更新し学習して、パターン認識モデルとして判別モデルを構築する。分析部４４１は、このように構築した判別モデルを用いて振動信号の音源又は振動源を判別してもよい。

分析部４４１は、一例として、検知部から出力された振動信号の周波数分析を行い、検知部から出力された振動信号における所定の周波数成分を抽出する機能を有してもよい。分析部４４１は、抽出した所定の周波数成分を振動情報として推定部４４２に伝達してもよい。分析部４４１は、具体的には、例えば、検知部４１０から伝達された振動信号をＦＦＴ（高速フーリエ変換（Fast Fourier Transform））分析によって、時間窓の処理を行い時間領域における時間波形を求め、ＦＦＴ演算することで周波数スペクトクルを求めてもよい。これにより、周波数ごとの振動の強度（ｄＢ）等（各振動の振幅の周波数分布）を求めることができるため、所定の周波数領域ごとの周波数成分を分離して抽出することができる。

分析部４４１は、一例として、検知部４１０から出力された振動信号から所定の周波数成分の振動信号を抽出し、判別モデルを用いて、抽出された所定の周波数成分の振動信号の特徴量に基づき、検知部から出力された振動信号の振動源を判別してもよい。

また、分析部は、一例として、ＦＦＴ解析によってスペクトルを求め、スペクトルのピークを特徴量として抽出して、周波数の低い順から第１フォルマント、第２フォルマント、・・・、第ｎフォルマントして共振周波数の位置分布を求めることで音源を判別してもよい。

また、分析部は、一例として、ＭＦＣＣ（Mel Frequency Ceptrum Coefficient）を特徴量（メルケプストラム）として求めて、当該特徴量を用いて音声を認識し、音源を判別してもよい。当該特徴量の求め方として、例えば、フーリエ変換によって求められたスペクトル情報に対して、人間の聴覚特性に合わせたフィルタリング処理を行い、その出力を対数変換し、さらにこれを離散コサイン変換したものを求める方法がある。

また、分析部４４１は、これらの分析処理を、エッジサーバ２００ｂの分析部２１１と分散してもよい。分析部４４１と分析部２１１の分析処理の切り分けにおいては、作業管理システム１００を適用する事業又は店舗形態、情報処理装置又はセンサ装置の実装形態（使用する機器の台数及び性能等）、連携するネットワーク形態等に合わせて適宜切り分ければよい。

ここで、第１の実施形態における分析部４４１の分析処理から推定部４４２の顧客の状況の推定処理の一例について図４及び図５を用いて説明する。図４は、分析部４４１において、検知部４１０から伝達された振動信号に基づいて、振動信号の振動源を判別し、判別した振動源ごとの振動の発生頻度、強度、間隔を算出する仕組みの概要について模式的に示した図である。図５は、音の発生頻度を縦軸とし、横軸を時間（単位（分（min）））とした振動源ごとの時間ごとの発生頻度を表す状況推定のグラフ図である。

分析部４４１は、図４に示すとおり、例えば、（ｉ）検知部４１０（例えば、マイク等の音センサ）が検知している振動の振動信号の時間軸波形に対して、（ｉｉ）一定時間分を切り出す（ウィンドウを切る）。（ｉｉｉ）次に、ＦＦＴ等を用いて周波数分析を行い、周波数成分を分離する。（ｉｖ）次に、分離した周波数成分それぞれに対して特徴量を抽出し、判別モデルを用いて音源又は振動源を判別する。（ｖ）その結果、切り出された一定時間における、判別した振動ごとの発生頻度（例えば、予め強度の閾値を設定し記憶部４３０に記憶し、当該設定した閾値を超える振動が何回あったかをカウントした回数）、強度、間隔（例えば、設定した閾値を超える振動の発生間隔）を検出することができる。

推定部４４２は、例えば、分析部４４１が検出した振動の発生頻度等の経時変化に基づいて、顧客の状況を推定する。推定部４４２は、具体的には、図５に示すとおり、判別された複数の振動をそれぞれの発生頻度を時系列でモニタする。推定部４４２は、当該モニタした結果に基づいて、顧客の状況を推定する。推定部４４２は、具体的には、例えば、図５に示すとおり、振動源ごとの発生頻度の経時変化をプロットし、当該プロットによって描かれる曲線に対してパターン認識モデルによるフィッティングを行い、食事の状況（食事中、食事終了５分前、食後等）を識別してもよい。このような構成とすることで、顧客の状況に応じて適切なタイミングで適切なサービスを提供する。

また、ここで、第１の実施形態における、分析部４４１の振動信号の入力処理から振動源の判別処理を経て、推定部４４２の顧客の状況推定に至る処理の一例について図７を用いて説明する。図７は、分析部４４１及び推定部４４２の動作例を示すフローチャート図である。

分析部４４１は、図７に示すとおり、振動信号を入力し（ステップＳ２０）、上記（１）〜（３）の方法を用いて、入力された振動信号に対しての周波数成分ごとに分離し、周波数成分ごとの振動信号の特徴量を抽出し（ステップＳ２１）、抽出した特徴量に基づき、顧客の会話音、顧客が使用した食器音等の音源ごとに切り分けて、音を判別する（ステップＳ２２）。なお、分析部４４１は、この際、当該抽出処理の前にノイズ除去等の前処理を行ってもよい。分析部４４１は音ごとの発生頻度、強度、間隔等を検出し（ステップＳ２３）、推定部４４２は、検出した発生頻度、間隔等を用いて食事の状態を推定してもよい（ステップＳ２４）。

また、分析部４４１が用いる判別モデルは、一例として、振動源ごとの周波数領域を表すモデル（フィルタリングモデル）であってもよい。分析部４４１は、振動信号の周波数分析によって、当該判別モデルを用いて判別した振動源ごとの周波数成分を抽出し、抽出した周波数成分に基づいて振動情報を生成してもよい。

また、分析部４４１は、具体的には、振動情報の周波数分析をし、顧客ごとの食事の際に発生する咀嚼音の周波数領域における周波数成分を抽出してもよい。

また、分析部４４１は、具体的には、振動情報の周波数分析をし、顧客の食事又は従業員のサービス提供により発生するテーブル上の食器間又は食器とテーブルとの間の接触により生じる接触音（以降、「食器の接触音」という）の周波数領域における周波数成分を抽出してもよい。

また、分析部４４１は、具体的には、振動情報の周波数分析をし、顧客又は従業員の会話により発生する音（以降、「顧客の会話音」という）の周波数領域における周波数成分を分離して抽出してもよい。分析部４４１は、一例として、人の周波数領域として１００〜１０００Ｈｚにおける周波数成分を抽出してもよいし、通常の会話の周波数領域として２５０〜１０００Ｈｚとしてもよい。これにより、周囲の雑音と人の声との切り分けを行うことが可能となる。

さらに、分析部４４１は、振動源ごとの周波数成分を、顧客の年齢又は性別の少なくともいずれか一つに基づいて分離して抽出してもよい。分析部４４１は、具体的には例えば、顧客の会話音の周波数領域における周波数成分を、さらに、年齢又は性別の少なくともいずれか一つに基づいてさらに分離してもよい。

推定部４４２は、振動源ごとの振動情報に基づいて、顧客の食事の状況等の顧客の状況を推定する機能を有する。また、推定部４４２は、顧客の状況の推定結果を示す顧客状況情報を生成し、判定部４４３に伝達してもよい。

ここで「顧客状況情報」とは、飲食サービスにおける顧客の入店から退店までの顧客の状況及び顧客の状態を示す情報をいう。

ここでいう「顧客の状況」とは、具体的には、顧客の食事の進行度（例えば、テーブルごと、顧客ごと、又は、顧客に提供された飲食物ごとの食事の進行具合（食事開始、食事中、食事終了等）を示す度合）や注文された飲食物が提供前か提供後かの状況を示す情報をいう。さらに、ここで「顧客の状態」とは、テーブルに着席している、飲食物を咀嚼している、顧客同士会話している等の状態を示す情報をいう。

推定部４４２は、顧客又は従業員の動作から生成される振動として、食事中の咀嚼音、会話音又は食器の接触音の少なくともいずれか一つにより発生する振動によって、顧客の食事の進行具合を示す進行度を顧客の状況（顧客の食事状況）として推定してもよい。

推定部４４２は、例えば、記憶部４３０に予め波形データをパターニングした波形パターンと当該波形パターンに応じた進行度の紐付けデータを記憶し、波形データを検索キーとして紐付けデータから進行度を抽出することで推定してもよい。

推定部４４２は、振動情報に基づいて、第一の所定時間あたりの顧客の咀嚼の回数を算出し、当該算出された咀嚼の回数が予め設定した回数以下となった場合、前記顧客の状況が食事終了時刻の第二の所定時間前であると推定してもよい。これにより、従業員が食事をする顧客の近くまでいって目視で確認せずとも、食事が終了間際であることを把握することができるため、従業員の負荷低減を図ることができる。

ここでいう「第一の所定時間」とは、食事の際に発生する顧客の咀嚼の回数の平均値を求めるための時間をいい、具体的には、例えば、顧客の一度の食事又は一つの提供された飲食物を食べるためにかかる一般的な時間（１５分、３０分、１時間等）としてもよい。

ここでいう「第二の所定時間」とは、具体的には、食事終了時刻を基準として５分前、１分前、５分後等といった食事が終了するタイミングとそのタイミング前後の幅を含めた時間をいう。当該前後の幅は、従業員等が進行度を把握してから対象の顧客に次のサービスを提供するまでの時間を、店舗の業種業態やフロア面積等に基づいて適宜設定すればよい。

推定部４４２は、単位時間あたりの音の平均強度に基づいて、予め設定した強度を基準に食事の進行具合を推定してもよい。

推定部４４２は、振動情報に基づいて、第三の所定時間あたりの食器、テーブル及び顧客の少なくともいずれか二つ同士の接触から生成された振動の平均強度を算出し、該算出された平均強度が予め設定した強度以下となった場合、顧客の状況が食事終了時刻の第二の所定時間前であると推定してもよい。これにより、従業員が食事をする顧客の近くまでいって目視で確認せずとも、食事が終了間際であることを把握することができるため、従業員の負荷低減を図ることができる。

ここでいう「第三の所定時間」とは、食事の際に発生する食器、テーブル及び顧客の少なくともいずれか二つ同士の接触の平均強度を求めるための時間をいい、具体的には、例えば、顧客の一度の食事又は一つの提供された飲食物を食べるためにかかる一般的な時間（１５分、３０分、１時間等）としてもよい。

推定部４４２は、振動情報に基づいて、第三の所定時間あたりの食器の接触振動の間隔が予め設定した間隔以下となった場合、顧客の状況である食事の進行度が、提供済みの飲食物等における食事終了時刻を基準とした第二の所定時間内であると推定してもよい。

推定部４４２は、振動情報に基づいて、第三の所定時間あたりの食器の接触振動の強度、間隔又は周波特性のいずれかの時間変化を検出し、当該検出した時間変化に基づいて、変曲点を算出してもよい。推定部４４２は、具体的には、例えば、微分や回帰分析等によるカーブフィッティングを用いて変曲点を算出することができる。推定部４４２は、当該変曲点に基づいて（例えば、当該変曲点を境目に）、顧客の状況である食事の進行度が提供済みの飲食物に対して食事終了時刻の第二の所定時間前であると推定してもよい。

推定部４４２は、振動情報に基づいて、第四の所定時間あたりの音声から生成された振動の平均強度を算出し、当該算出された平均強度が予め設定した強度以上となった場合、顧客の状況が食事終了時刻の第二の所定時間前であると推定してもよい。

ここでいう「第四の所定時間」とは、食事前後、食事の間の顧客又は従業員の会話等によって発生する顧客又は従業員の少なくともいずれか一人の音声の平均強度を求めるための時間をいい、具体的には、例えば、顧客が食事前後において、次のサービスを受けるためにストレスなく待てる一般的な時間（１５分、３０分、１時間等）としてもよい。

また、推定部４４２は、振動情報に基づいて、第四の所定時間あたりの会話音の振動の間隔が予め設定した間隔以上となった場合、顧客の状況である食事の進行度が、提供済みの飲食物における食事終了時刻を基準とした第二の所定時間内であると推定してもよい。

推定部４４２は、一例として、振動源ごとの周波数成分を、記憶部４３０が記憶する個人情報に含まれる年齢又は性別の少なくともいずれか一つに基づいて分離し抽出してもよい。推定部４４２は、例えば、顧客の会話音の周波数成分を、年齢又は性別の少なくともいずれか一つに基づいてさらに分離し抽出した周波数成分の波形データに基づいて、顧客の状況を推定してもよい。これにより、年齢又は性別による周波数領域の違い（例えば、男性は声が低く、女性は声が高い等）をふまえた周波数成分に基づいて食事状況が推定できるため、精度よく食事状況を推定することができる。

推定部４４２は、飲食物を提供した時刻である食事開始時刻に、記憶部４３０が記憶する顧客の年齢又は性別の少なくともいずれか一つによって特徴づけられる食事時間を加算した時刻を食事終了時刻と設定してもよい。これにより、一般的に、代謝が低下すると、すなわち、年齢が高くなると、時間の経過が早く感じるとされているが、年齢に配慮したタイミングで飲食サービスを提供することができる。また、これにより、一般的に、女性より男性のほうが、食事時間が短いとされており、性別に配慮したタイミングで飲食サービスを提供すことができる。

また、推定部４４２は、設定した食事終了時刻経過前に、第四の所定時間あたりの会話音（顧客の音声）の平均強度が予め設定した強度以上となった場合、設定した食事終了時刻を更新してもよい。推定部４４２は、具体的には、例えば、飲食物を提供した時刻を食事開始時刻と設定し、当該食事開始時刻から食事時間を加算した時刻を顧客が提供済みの飲食物に対する食事終了時刻と設定する。推定部４４２は、当該食事終了時刻経過前に、年齢又は性別の少なくともいずれか一つに基づいて分離した周波数成分の波形データに基づき、第四の所定時間あたりの会話音の平均強度が予め設定した強度以上となった場合、設定した食事終了時刻を更新してもよい。これにより、顧客の年齢や性別に配慮したタイミングで飲食サービスを提供すことができ、かつ、実態に合わせて食事終了時刻を変えることができるため、柔軟に飲食サービスを提供することができる。

推定部４４２は、一例として、推定履歴情報に基づいて、顧客状況情報を補正してもよい。ここでいう「推定履歴情報」とは、推定部４４２が、生成した顧客の状況の推定結果等を示す顧客状況情報と、当該推定された顧客の状況に対し従業員等による実際の顧客の確認結果を示す結果情報を対応づけて（紐づけて）一定期間、情報処理装置２００の記憶部２３０又は記憶部４３０等に履歴保存した情報である。推定部４４２は、具体的には、例えば、顧客の状況の推定結果と操作入力部３４３により受け付けた実際の顧客の状況を比較してもよく、当該比較した結果を推定履歴情報を含めて記憶部４３０に記憶してもよい。推定履歴情報には、更に、分析部４４１が生成した振動情報と、当該振動情報に基づいて推定されて生成された（当該振動情報に紐づく）顧客状況情報（顧客の状況の推定結果）と、当該振動情報及び当該顧客状況情報に対する飲食サービスに係る装置や端末装置３００による実際の顧客の状況の確認結果を示す結果情報を紐付けて含めてもよい。これにより、推定履歴情報によるファクトベースのフィードバックを受けて食事状況を補正することで、より精度よく食事状況の推定を行うことができる。

推定部４４２は、このように振動情報、顧客状況情報又は結果情報の少なくともいずれか二つを対応付けた推定履歴情報を、記憶部４３０に一定期間蓄積して保存してもよいし、情報処理装置２００ｂ又は情報処理装置２００ａに通信部４２０を介して送信して、これらの記憶部２３０に蓄積して保存してもよい。

ここでいう「顧客状況の従業員等による確認結果」とは、端末装置３００から出力した顧客状況（例えば、食事終了時刻５分前等）に対して従業員等が実際の顧客状況を確認した結果（実際は、飲食物が半分以上残っているような食事の途中であった場合、「食事中」又は「早い」、又はそれらに基づく正誤判定と重み付けの情報（例えば正解であれば１、誤りであれば０．５）等）であって、「（顧客状況の従業員等による）確認結果を示す情報」とは端末装置３００から当該確認結果を操作入力し、当該操作入力した内容に基づいて生成される情報である。生成した結果情報は情報処理装置２００へ送信され、情報処理装置２００の通信部２２０が受信すると、推定部２１２に伝達され、推定部２１２は、対応する顧客状況情報と紐付けて記憶部２３０に保存していく。

推定部４４２は、一例として、飲食形態情報に基づいて、顧客状況情報を補正してもよい。ここで「飲食形態情報」とは、店舗ごと、又は、店舗グループごとの飲食サービスの提供形態を示す情報であり、例えば、「ファミリーレストラン」「回転寿司」「ファーストフード」といった業種や「フランチャイズチェーン」「個人経営」等の業態といった飲食サービスの提供の形態を表す情報をいう。

推定部４４２は、具体的には、例えば、飲食物が提供されるのを何分ぐらい待てるかについて、ファミリーレストランの料理であれば２０分くらいまで待てるのに対し、ファーストフードや回転寿司は１０分弱くらいまでしか待てないことがあるように提供形態ごとに係数（例えば、ファミリーレストランを基準（1）として、ファーストフードを飲食物の提供を待てる時間の比率（例えば、２０分対１０分）で係数を設定（１０／２０＝０．５）し、当該係数によって食事終了時刻を当該係数の割合分早めてもよい。

このような構成により、例えば、飲食物が提供形態によって顧客状況を調整するよう補正することができるため、より顧客のサービスに対する満足度の向上を図ることができる。

推定部４４２は、一例として、機械学習を用いて、顧客の食事の進行具合を推定してもよい。推定部４４２は、一例として、予め、顧客の食事により発生する音の周波数領域の周波数成分の波形データ群と食事の進行度のデータ群に基づいて、波形データを説明変数（特徴量）、食事の進行度を目的変数（特徴量）として、回帰分析による統計処理を用いて回帰曲線（以降、「推定モデル」という）を近似的（曲線と波形データ点群の距離が最小となるように）に求め、当該推定モデルによって、顧客の食事の進行具合を推定してもよい。推定部４４２は、具体的には、ＳＶＭを用いて当該推定モデルを求めてもよい。また、推定部４４２は、一例として、推定履歴情報等を教師データとして、誤差逆伝搬を用いたニューラルネットワークや自己符号化器を用いた多階層のニューラルネットワーク（中間層が２層以上あるニューラルネットワーク）によって、当該推定モデルを求めてもよい。

推定部４４２は、一例として、予め、顧客の食事により発生する音の周波数領域の周波数成分の波形データ群に基づいて、時間、周波数、強度の３つの組合せ軸ごとに波形パターンを生成し、当該波形パターンに基づいて、顧客の食事の進行具合を推定してもよい。

判定部４４３は、推定部４４２によって推定された顧客の食事状況等を示す顧客の状況に基づいて、従業員等が行うべき作業を判定する機能を有する。判定部４４３は、具体的には、例えば、食事の進行度に基づいて、従業員等が行うべき作業を判定してもよい。判定部４４３は、判定した作業結果を含む指示情報を端末装置３００に通信部４２０を介して送信する。

判定部４４３は、一例として、顧客の食事の進行度に基づいて、従業員等に、次に顧客に提供すべき飲食物に関する接客作業又は調理作業を従業員等が行うべき作業として判定してもよい。判定部４４３は、例えば、記憶部４３０に予め進行度と当該進行度に応じて行うべき接客作業又は調理作業の紐付けデータを記憶し、進行度を検索キーとして紐付けデータから接客作業又は調理作業を抽出することで判定してもよい。

判定部４４３は、具体的には、例えば、食事終了時刻の所定の範囲内であると食事状況が推定された場合は、次に提供予定の飲食物を用意していいか顧客に確認する接客作業や当該提供予定の飲食物を調理するための調理作業を従業員等が行うべき作業として判定する。これにより、食事状況に応じて統一された作業を従業員等が行うことができ、属人的でなく、標準化されたサービスを提供することができるため、顧客のサービスに対する満足度の向上を図ることができる。

判定部４４３は、一例として、記憶部２３０に記憶する個人情報と顧客状況情報の紐付けデータに基づいて、当該作業を補正してもよい。例えば、子供がいる女性に対しては、食後に子供用のおしぼりを持っていく作業を追加するように更新することで補正してもよい。

通信部４２０は、制御部４４０の制御によって、ネットワーク５００（不図示）を介して端末装置３００又は情報処理装置２００との通信を実行する機能を有する。当該通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信部４２０は、具体的には、端末装置３００へ顧客状況情報や指示情報を送信したりしてもよい。

記憶部４３０は、制御部４４０の制御によって、センサ装置４００が動作する際に必要な各種プログラム、データ、パラメータ等を記憶する機能を有する。記憶部４３０は、具体的には、例えば、個人の年齢又は性別を含む個人情報、顧客状況情報、個人情報に含まれる個人の年齢又は性別の少なくともいずれか一つに基づいて設定される食事時間を示す食事時間情報、振動情報、指示情報、推定履歴情報、飲食形態情報、顧客の年齢又は性別によって特徴づけられる周波数特性を示す情報、判別モデル等を記憶する。

記憶部４３０は、一例として、個人情報と、顧客状況情報又は推定履歴情報の少なくともいずれか一つと紐付けて記憶してもよい。個人情報は来店時に個人情報の識別子（例えば、ＩＣチップ）が組み込まれたカードを持参した場合、当該識別子をカードリーダ等の読み取り装置で読み取り、顧客状況情報等を紐づける。

記憶部４３０は、具体的には、例えば、ＲＯＭ及びＲＡＭで構成される主記憶装置、不揮発性メモリ等で構成される補助記憶装置、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等各種の記録媒体によって構成される。

（動作例）
図６は、本発明の第１の実施形態における作業管理システムの動作例を示すフローチャートである。

センサ装置４００の検知部４１０は、顧客又は従業員の動作から生成される振動を検知して、振動信号を出力する（Ｓ１０）。検知部は、出力した振動信号を分析部４４１に伝達する。

分析部４４１は、判別モデル等を用いて振動信号の音振動源を判別し、する（Ｓ１１）。分析部４４１は、判別した結果として振動源ごとの発生頻度、強度又は間隔の少なくともいずれか一つを含む振動情報を生成する。分析部４４１は、生成した振動情報を推定部４４２に伝達する。

推定部４４２は、振動情報に基づいて、顧客の食事の状態等を含む顧客の状況を推定する（Ｓ１２）。推定部４４２は、推定した顧客の状況の推定結果を示す顧客状況情報を生成し、判定部４４３に伝達する。

判定部４４３は、顧客状況情報等が示す顧客の状況に基づいて、従業員等が行うべき作業を判定する（Ｓ１３）。判定部４４３は、通信部４２０及びネットワーク５００を介して端末装置３００に顧客状況情報及び作業の判定結果を示す指示情報を送信する。端末装置３００は、顧客状況情報及び指示情報を、通信部３２０を介して受信して、出力部３４０に伝達する。

出力部３４０は、顧客状況情報等が示す顧客の状況及び指示情報が示す判定された作業を従業員等に対して出力する（Ｓ１４）。

＜第２の実施形態＞
第２の実施形態について図面を参照して説明する。
第２の実施形態は、サーバ（クラウド）側とセンサ装置側（エッジ側）で振動の検知から、音源又は振動源を判別する分析処理を分散し、顧客の状況推定処理、従業員等の作業の判定処理までをサーバ（クラウド）側で集中して実施する形態である。第２の実施形態に記載の内容は、他の各実施形態のいずれにも適用可能である。以降、第１の実施形態と異なる箇所のみ記載して説明する。

（システム構成）
図８は、本発明の第２の実施形態における作業管理システムのシステム構成を示すシステム図である。

図８に示すように、作業管理システム１００は、情報処理装置２００、端末装置３００、センサ装置４００を含む。情報処理装置２００は、ネットワーク５００を介し端末装置３００、センサ装置４００と接続される。なお、図８において、説明を簡単にするために、情報処理装置２００、端末装置３００、センサ装置４００は１台ずつ示してあるが、これ以上存在してもよいことは言うまでもない。

第２の実施形態のシステムの構成は、装置構成として第１の実施形態とエッジサーバとしての情報処理装置２００ｂ、２００ｃを備えていない点が異なるだけで基本の構成は同じであるが、装置の役割として、第２の実施形態の情報処理装置２００は、推定履歴情報等の蓄積データ等の大規模データの保管及び加工処理を担う一方、第１の実施形態の情報処理装置２００は、一部の分析、推定、判定処理を担う点で異なる。

（機能構成）
図９は、本発明の第２の実施形態における作業管理システムの機能構成を示すブロック図である。第１の実施形態と主に異なる点として、センサ装置４００の分析部を第一分析部４４１とし、情報処理装置２００の分析部を第二分析部２１１としている点、情報処理装置２００の推定部２１２及び判定部２１３が顧客の状況推定処理及び作業の判定処理を行う点で異なる。当該異なる点以外、第１の実施形態と基本構成は同じである。

センサ装置４００の第一分析部４４１は、情報処理装置２００の第二分析部２１１と合わせて、第１の実施形態におけるセンサ装置の分析部４４１と同じ機能を有する。センサ装置４００の第一分析部４４１は、具体的には、例えば、音源又は振動源ごとの特徴を表す判別モデルを用いて振動信号の音源又は振動源を判別する機能を有してもよい。第一分析部４４１は、判別した音源又は振動源ごとの振動信号を含む振動情報を通信部（不図示）及びネットワーク５００を介して情報処理装置２００に送信してもよい。情報処理装置２００は、振動情報を受信すると、通信部２２０を介して第二分析部４４２に当該振動情報を伝達してもよい。

情報処理装置２００の第二分析部２１１は、センサ装置４００の第一分析部４４１と合わせて、第一分析部４４１から振動情報が伝達されると、音源又は振動源を判別した振動信号を含む振動情報において、音源又は振動源の種類や位置、発生頻度や間隔を検出する機能を有する。なお、第一分析部４４１と第二分析部２１１の処理の切り分けにおいては、作業管理システム１００を適用する事業又は店舗形態、情報処理装置又はセンサ装置の実装形態（使用する機器の台数及び性能等）、連携するネットワーク形態等に合わせて適宜切り分ければよい。

情報処理装置２００の推定部２１２は、第１の実施形態のセンサ装置４００の推定部４４２と同じ機能を有する。

情報処理装置２００の判定部２１３は、第１の実施形態のセンサ装置４００の判定部４４３と同じ機能を有する。

ここで、図３を用いて、第２の実施形態における作業管理システムの概略について説明する。図３は、第１、第２の実施形態における作業管理システムの概略を示す模式図である。

第１の実施形態との差異点として、図３の１−１．の矢印に示すとおり、第２の実施形態における作業管理システム１００において、センサ装置４００が判別した音源又は振動源の振動信号を含む振動情報を情報処理装置２００に送信する。図示していないが、実際には、有線又は無線のＬＡＮ又はＷＡＮであるネットワーク５００を介して送信される。

情報処理装置２００は、図３に示すように、センサ装置４００から振動情報を受信すると、当該振動情報に含まれる顧客の食事による咀嚼、顧客の会話又は食器の接触音といった音源又は振動源ごとの発生頻度、強度、間隔を抽出し、食事の状況を含む顧客の状況を推定し、当該顧客の推定結果に基づいて、従業員等が行うべき作業を判定する。情報処理装置２００は、図３の１−２．の矢印に示すとおり、顧客の状況の推定結果を示す顧客状況情報及び作業の判定結果を示す指示情報を端末装置３００に送信する。

（動作）
第２の実施形態における作業管理システム１００の動作は、上述した機能構成等に基づく動作主体の部の差異点のみで、第１の実施形態における作業管理システム１００の動作と基本同じある。

(その他)
実施の形態として、顧客の状況を推定するために顧客又は従業員の動作から生成される会話音、咀嚼音又は食器音等の振動を検知するセンシングの例を示したが、顧客の状況や状況を推定できれば、振動に限らず、聴覚、視覚、触覚、嗅覚、味覚の五感に相当するセンシング技術を用いて、顧客等の画像情報や顧客の動作により変化する静電容量や顧客や飲食物の重量等を検知して顧客の状況を推定してもよく、このようなセンシング技術を用いた顧客を見守る機能を有することで、顧客満足度の向上を図ることもできる。

情報処理装置２００、端末装置３００及びセンサ装置４００の各機能部は、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよいし、ＣＰＵ（Central Processing Unit）及びメモリを用いてソフトウェアによって実現してもよい。また、各機能部は、１又は複数の集積回路により実現されてよく、複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。なお、ここで「回路」は、コンピュータによるデジタル処理、すなわち、ソフトウェアによる機能的処理としての意味合いを含んでもよい。また、当該回路は、再構築可能な回路（例えば、ＦＰＧＡ：Field Programmable Gate Array）により実現されてもよい。

情報処理装置２００、端末装置３００及びセンサ装置４００の各機能部をソフトウェアにより実現する場合、情報処理装置２００、端末装置３００及びセンサ装置４００は、各機能を実現するソフトウェアである作業管理プログラムの命令を実行するＣＰＵ、上記作業管理プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）又は記憶装置（これらを「記録媒体」と称する）、上記作業管理プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（又はＣＰＵ）が上記作業管理プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記作業管理プログラムは、当該作業管理プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明は、上記作業管理プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記作業管理プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。

１００ 作業管理システム
２００ 情報処理装置
２１０ 制御部
２２０ 通信部
２３０ 記憶部
３００ 端末装置
３１０ 制御部
３２０ 通信部
３３０ 記憶部
３４０ 出力部
４００ センサ装置
４１０ 検知部
４１１ マイクロフォン部
４１２ アンプ部
４１３ Ａ／Ｄ変換部
４４０ 制御部
４２０ 通信部
４３０ 記憶部

Claims (11)

1. 飲食サービスにおける作業管理システムであって、
   顧客又は従業員の動作から生成される振動を検知して、振動信号を出力する検知部と、
   前記振動信号の振動源を判別し、前記判別した振動源ごとの振動の発生頻度又は強度の少なくともいずれか一つを含む振動情報を生成する分析部と、
   前記振動情報に基づいて、前記顧客の状況を推定する推定部と、
   前記推定部によって推定された前記顧客の状況の推定結果に基づいて、前記従業員又は前記飲食サービスに係る装置が行うべき作業を判定する判定部と、
   前記顧客の状況の推定結果を示す顧客状況情報及び前記作業の判定結果を示す指示情報を出力する出力部と、
   を備える作業管理システム。
2. 規範となる振動源ごとの振動信号の特徴量を学習データとして入力することによりパターン認識モデルとして構築した、判別モデルを記憶する記憶部をさらに備え、
   前記分析部は、前記判別モデルを用いて、前記検知部から出力された振動信号の特徴量に基づき、前記検知部から出力された振動信号の振動源を判別すること、
   を特徴とする請求項１に記載の作業管理システム。
3. 前記顧客又は従業員の動作から生成される振動は、食事の際に発生する顧客の咀嚼と、食器、テーブル及び顧客の少なくともいずれか二つ同士の接触と、顧客又は従業員の少なくともいずれか一人の音声と、の少なくともいずれか一つから生成される振動であること、
   を特徴する請求項２に記載の作業管理システム。
4. 前記検知部は、顧客が装着するウェアラブルマイク又は顧客が食事するテーブルに設置されるマイクアレイであって、前記咀嚼から生成される振動を検知して、振動信号を出力し、
   前記分析部は、前記検知部から出力された振動信号の特徴量に基づき、前記振動信号の振動源が前記咀嚼であることを判別し、前記判別された咀嚼から生成される振動の振動情報を生成し、
   前記推定部は、前記振動情報に基づいて、第一の所定時間あたりの前記咀嚼の回数を算出し、該算出された咀嚼の回数が予め設定した回数以下となった場合、前記顧客の状況が食事終了時刻の第二の所定時間前であると推定すること、
   を特徴とする請求項３に記載の作業管理システム。
5. 前記検知部は、前記顧客が食事するテーブルに設置されるコンタクトマイクからなるマイクアレイであって、前記接触から生成される振動を検知して、振動信号を出力し、
   前記分析部は、前記検知部から出力された振動信号の特徴量に基づき、前記振動信号の振動源が前記接触であることを判別し、前記判別された接触から生成される振動の振動情報を生成し、
   前記推定部は、前記振動情報に基づいて、第三の所定時間あたりの前記接触から生成された振動の平均強度を算出し、該算出された平均強度が予め設定した強度以下となった場合、前記顧客の状況が食事終了時刻の第二の所定時間前であると推定すること、
   を特徴とする請求項３に記載の作業管理システム。
6. 前記検知部は、顧客が装着するウェアラブルマイク又は顧客が食事するテーブルに設置されるマイクアレイであって、前記音声から生成される振動を検知して、振動信号を出力し、
   前記分析部は、前記検知部から出力された振動信号の特徴量に基づき、前記振動信号の振動源が前記音声であることを判別し、前記判別された音声から生成された振動の振動情報を生成し、
   前記推定部は、前記振動情報に基づいて、第四の所定時間あたりの前記音声から生成された振動の平均強度を算出し、該算出された平均強度が予め設定した強度以上となった場合、前記顧客の状況が食事終了時刻の第二の所定時間前であると推定すること、
   を特徴とする請求項３に記載の作業管理システム。
7. 前記記憶部は、前記顧客の年齢又は性別によって特徴づけられる食事時間を記憶し、
   前記推定部は、飲食物を提供した時刻である食事開始時刻に前記食事時間を加算した時刻を前記食事終了時刻と設定すること、
   を特徴とする請求項４乃至６のいずれか１項に記載の作業管理システム。
8. 前記出力された前記顧客の状況の推定結果に対して、実際の顧客の状況を確認した結果の入力を受け付ける操作入力部をさらに備え、
   前記記憶部は、前記顧客の状況の推定結果と前記操作入力部により受け付けた前記実際の顧客の状況を比較し、該比較した結果を推定履歴情報として蓄積し、
   前記分析部は、前記推定履歴情報を学習データとして入力して前記判別モデルを構築すること、
   を特徴とする請求項２乃至７のいずれか１項に記載の作業管理システム。
9. 前記記憶部は、店舗ごとの飲食サービスの提供形態を示す飲食形態情報を記憶し、
   前記推定部は、前記飲食形態情報に基づいて、前記顧客の状況の推定結果を補正すること、
   を特徴とする請求項２乃至８のいずれか１項に記載の作業管理システム。
10. 飲食サービスにおける作業管理方法であって、
    顧客又は従業員の動作から生成される振動を検知して、振動信号を出力し、
    前記振動信号の振動源を判別し、前記判別した振動源ごとの振動の発生頻度又は強度の少なくともいずれか一つを含む振動情報を生成し、
    前記振動情報に基づいて、前記顧客の状況を推定し、
    前記推定された前記顧客の状況の推定結果に基づいて、前記従業員又は前記飲食サービスに係る装置が行うべき作業を判定し、
    前記顧客の状況の推定結果を示す顧客状況情報及び前記作業の判定結果を示す指示情報を出力する、
    作業管理方法。
11. 飲食サービスにおける作業管理プログラムであって、
    コンピュータに、
    顧客又は従業員の動作から生成される振動を検知して、振動信号を出力する検知機能と、
    前記振動信号の振動源を判別し、前記判別した振動源ごとの振動の発生頻度又は強度の少なくともいずれか一つを含む振動情報を生成する分析機能と、
    前記振動情報に基づいて、前記顧客の状況を推定する推定機能と、
    前記顧客の状況の推定結果に基づいて、前記従業員又は前記飲食サービスに係る装置が行うべき作業を判定する判定機能と、
    前記推定機能によって推定された前記顧客の状況の推定結果を示す顧客状況情報及び前記作業の判定結果を示す指示情報を出力する出力機能と、
    を含む各機能を実現させるための作業管理プログラム。

Images