JP2020087182A - 情報提供装置、車両制御システム、情報提供方法、及びプログラム - Google Patents

Abstract

【課題】注文した商品が適切に調理されていることをユーザが確認できるようにすることができる情報提供装置、車両制御システム、情報提供方法、及びプログラムを提供すること。【解決手段】情報提供装置は、店舗外の顧客から注文された飲食物の調理の過程を撮像装置によって撮像した調理画像を取得する画像取得部（１０２）と、前記画像取得部によって取得された前記調理画像を、前記顧客の使用する端末装置に提供する提供部（１０３）と、を備える。【選択図】図１

Description

本発明は、情報提供装置、車両制御システム、情報提供方法、及びプログラムに関する。

従来、車両に搭乗する顧客がドライブスルーにおいて注文を簡便にできるように、注文に係る処理を顧客の端末装置において実行する技術が知られている（例えば、特許文献１参照）。

特開２０１２−０２７７３１号公報

しかしながら、従来の技術では、注文した商品が適切に調理されていることをユーザが確認することができなかった。

本発明は、このような事情を考慮してなされたものであり、注文した商品が適切に調理されていることをユーザが確認できるようにする情報提供装置、車両制御システム、情報提供方法、及びプログラムを提供することを目的の一つとする。

この発明に係る情報提供装置、車両制御システム、情報提供方法、及びプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る情報提供装置は、店舗外の顧客から注文された飲食物の調理の過程を撮像装置によって撮像した調理画像を取得する画像取得部と、前記画像取得部によって取得された前記調理画像を、前記顧客の使用する端末装置に提供する提供部と、を備えるものである。

（２）：上記（１）の態様において、前記提供部は、前記注文された飲食物の食材に係る情報を、前記端末装置に提供するものである。

（３）：上記（１）〜（２）の態様において、前記画像取得部は、前記飲食物が注文されてから調理が開始されるまでの過程を撮像装置によって撮像した注文処理画像を更に取得し、前記提供部は、前記注文処理画像を更に前記端末装置に提供するものである。

（４）：上記（１）〜（３）の態様において、前記調理画像には、前記飲食物を注文した前記顧客を識別する識別情報を示す画像が含まれるものである。

（５）：上記（１）〜（４）の態様において、前記飲食物を注文した前記顧客からの、前記飲食物の調理者または前記飲食物に使用される食材の生産者との対話の開始要求を受け付ける受付部を更に備え、前記提供部は、前記受付部によって受け付けられた前記対話の開始要求に対応する前記調理者または前記生産者が応答可能な場合に前記端末装置を通じた対話を開始するものである。

（６）：上記（５）の態様において、前記対話には、前記飲食物の調理者または前記飲食物に使用される食材の生産者に対する前記顧客からの問合せが含まれ、前記調理画像には、前記問合せに対する前記調理者または前記生産者の回答を示す画像が含まれるものである。

（７）：上記（１）〜（６）の態様において、情報提供装置は、前記飲食物と、前記飲食物を注文した前記顧客を識別する識別情報とが互いに対応付けられた注文情報と、前記顧客の前記店舗への到着時刻を示す情報とに基づいて、調理順序を導出する調理順序導出部と、前記調理順序導出部によって導出された前記調理順序を調理者に提示する提示部とを更に備えるものである。

（８）：上記（１）〜（７）の態様において、情報提供装置は、前記飲食物と、前記飲食物を注文した前記顧客を識別する識別情報とが互いに対応付けられた注文情報と、前記飲食物の調理時間を示す情報とに基づいて、前記店舗への推奨到着時刻を前記顧客毎に導出する推奨到着時刻導出部を更に備え、前記提供部は、前記推奨到着時刻導出部によって導出された前記推奨到着時刻を、対応する前記顧客の前記端末装置、又は車両制御装置に提供するものである。

（９）：この発明の一態様に係る車両制御システムは、上記（８）の態様の情報提供装置と、自車両の周辺に存在する、他車両を含む物体を認識する認識部と、前記認識部により認識された前記物体の状態に基づいて、前記自車両の目標軌道を生成し、前記生成した前記目標軌道に基づいて、前記自車両の速度または操舵のうち一方または双方を制御する運転制御部と、を備える車両制御装置と、を備える車両制御システムであって、前記車両制御装置は、前記情報提供装置から、或いは前記端末装置を介して提供された前記推奨到着時刻に、前記店舗に到着するように前記自車両を制御するものである。

（１０）：この発明の一態様に係る情報提供方法は、コンピュータが、店舗外の顧客から注文された飲食物の調理の過程を撮像装置によって撮像した調理画像を取得し、取得された前記調理画像を、前記顧客の使用する端末装置に提供するものである。

（１１）：この発明の一態様に係るプログラムは、コンピュータに、店舗外の顧客から注文された飲食物の調理の過程を撮像装置によって撮像した調理画像を取得させ、取得された前記調理画像を、前記顧客の使用する端末装置に提供させるものである。

（１）〜（１４）によれば、注文した商品が適切に調理されていることをユーザが確認できるようにすることができる。

（２）によれば、注文した商品が適切な食材によって調理されていることをユーザが確認できるようにすることができる。この結果、商品に対するユーザの安心感を高めることができる。

（３）によれば、注文した商品が適切な順番によって調理されていることをユーザが確認することができる。この結果、自分の注文が放置されたり、むやみに後回しにされたりしていないことをユーザが確認することができる。

（６）によれば、調理者とユーザとの対話を実現し、商品に対するユーザの疑問を解消することができる。

（８）によれば、適切な時刻にユーザに商品を提供するようにすることができる。

実施形態に係る情報提供装置１０の構成の一例を示す図である。 注文情報１２１の内容の一例を示す図である。 店舗ＳＦの見取図の一例を示す図である。 端末装置２０により表示される画像の一例を示す図である。 材料情報１２２の内容の一例を示す図である。 端末装置２０により表示される第１画像ＩＭ１の一例を示す図である。 端末装置２０において実行される問合せアプリケーションの実行画面の一例を示す図である。 問合せ情報ＩＱの内容の一例を示す図である。 端末装置２０により表示される第２画像ＩＭ２の一例を示す図である。 調理時間情報１２３の内容の一例を示す図である。 端末装置２０により表示される第３画像ＩＭ３の一例を示す図である。 ＭＰＵに再決定された推奨経路の一例を示す図である。 到着時刻情報１２４の内容の一例を示す図である。 調理順序情報ＯＦの内容の一例を示す図である。 表示装置５０により表示される顧客画像の一例を示す図である。 過程画像を端末装置２０に提供する処理の動作の流れの一例を示すフローチャートである。 問合せに対する回答を端末装置２０に提供する処理の動作の流れの一例を示すフローチャートである。 推奨到着時刻を端末装置２０に提示する処理の動作の流れの一例を示すフローチャートである。 調理順序を調理者に提示する処理の動作の流れの一例を示すフローチャートである。の一例を示すフローチャートである。

以下、図面を参照し、本発明の情報提供装置、車両制御システム、情報提供方法、及びプログラムの実施形態について説明する。

＜実施形態＞
図１は、本実施形態に係る情報提供装置１０の構成の一例を示す図である。情報提供装置１０は、飲食物を提供する店舗（以下、店舗ＳＦ）の外にいるユーザに対して、当該ユーザから注文された飲食物の調理に係る情報を提供する装置である。情報提供装置１０は、セルラー網、Ｗｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等を利用して、端末装置２０、又は車両システム３と通信し、各種データを送受信する。

［端末装置２０について］
端末装置２０は、例えば、ユーザによって用いられる端末装置であり、スマートフォン等の携帯通信端末装置、タブレット型のコンピュータ（タブレットＰＣ）等の携帯型のパーソナルコンピュータ等によって実現される。以下、端末装置２０が、データ入力とデータ表示の両方が可能なタッチパネルを備えるものとする。本実施形態において、ユーザは、車両Ｖに搭乗して店舗ＳＦまで移動し、店舗ＳＦに到着する前に、飲食物の注文を行う。ユーザは、端末装置２０を用いたデータ通信によって、注文処理装置ＤＤに対して店舗ＳＦの飲食物の注文を行う。注文処理装置ＤＤは、ユーザからの注文を受け付け、受け付けられた注文を対応する店舗ＳＦに通知する装置である。なお、ユーザは、例えば、店舗ＳＦの店舗従業者との通話によって、飲食物の注文を行ってもよい。ユーザは、「店舗ＳＦの顧客」の一例である。

［車両システム３について］
図１に戻り、車両システム３は、車両Ｖに設けられ、車両Ｖの走行を制御する制御装置である。なお、情報提供装置１０と、車両システム３との間の通信は、ＤＳＲＣ（Dedicated Short Range Communication）によって行われてもよい。

車両システム３は、例えば、カメラと、レーダ装置と、ファインダと、ＨＭＩ（Human Machine Interface）と、ナビゲーション装置と、ＭＰＵ（Map Positioning Unit）と、運転操作子と、自動運転制御装置と、走行駆動力出力装置と、ブレーキ装置と、ステアリング装置とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、車両システム３の構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラは、例えば、周期的に繰り返し車両Ｖの周辺を撮像する。レーダ装置は、車両Ｖの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離及び方位）を検出する。ファインダは、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダは、車両Ｖの周辺に光を照射し、散乱光を測定する。ファインダは、発光から受光までの時間に基づいて、対象までの距離を検出する。

ナビゲーション装置は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機と、経路決定部とを備える。ナビゲーション装置は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報を保持している。ＧＮＳＳ受信機は、ＧＮＳＳ衛星から受信した信号に基づいて、車両Ｖの位置を特定する。経路決定部は、例えば、ＧＮＳＳ受信機により特定された車両Ｖの位置（或いは入力された任意の位置）から、ナビＨＭＩを用いて乗員により入力された目的地（この一例では、店舗ＳＦ）までの経路（以下、地図上経路）を、第１地図情報を参照して決定する。地図上経路は、ＭＰＵに出力される。

ＭＰＵは、例えば、推奨車線決定部を含み、推奨車線決定部は、ナビゲーション装置から提供された地図上経路を複数のブロックに分割し（例えば、車両Ｖ進行方向に関して１００［ｍ］毎に分割し）、第２地図情報を参照してブロック毎に推奨車線を決定する。推奨車線決定部は、左から何番目の車線を走行するといった決定を行う。第２地図情報は、第１地図情報よりも高精度な地図情報である。第２地図情報は、例えば、車線の中央の情報或いは車線の境界の情報、車線の種別の情報等を含んでいる。

なお、ＭＰＵは、情報提供装置１０から提供される推奨到着時刻に基づいて、推奨車線を変更してもよい。情報提供装置１０から提供される推奨到着時刻の詳細については、後述する。

運転操作子は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子には、操作量或いは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置、もしくは、走行駆動力出力装置、ブレーキ装置及びステアリング装置のうち一部または全部に出力される。

自動運転制御装置は、例えば、第１制御部と、第２制御部と、記憶部とを備える。第１制御部と、第２制御部とのそれぞれは、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置の記憶部に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部にインストールされてもよい。

第１制御部は、例えば、認識部と、行動計画生成部とを備える。認識部は、カメラ、レーダ装置及びファインダから入力された情報に基づいて、車両Ｖの周辺状況を認識する。また、認識部は、例えば、車両Ｖが走行している車線（走行車線）を認識する。行動計画生成部は、原則的には推奨車線決定部により決定された推奨車線を走行し、更に、車両Ｖの周辺状況に対応した自動運転が実行されるように、車両Ｖが将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。

第２制御部は、例えば、行動計画生成部により生成された目標軌道の情報を取得し、走行駆動力出力装置またはブレーキ装置、ステアリング装置を制御する。行動計画生成部及び第２制御部は、「運転制御部」の一例である。

走行駆動力出力装置は、車両Ｖが走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置は、例えば、第２制御部から入力される情報、或いは運転操作子から入力される情報に従って、内燃機関、電動機、および変速機等を制御する。ブレーキ装置は、例えば、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ステアリング装置は、第２制御部から入力される情報、或いは運転操作子から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［情報提供装置１０について］
情報提供装置１０は、例えば、店舗ＳＦに備えられる。情報提供装置１０には、撮像装置４０と、表示装置５０とが接続される。撮像装置４０は、店舗ＳＦの各所に設置され、ユーザによって飲食物が注文されてから調理が開始されるまでの過程や、注文された飲食物の調理の過程を、注文を受け付ける毎に新たに撮像し、生成した画像を情報提供装置１０に供給する。以降の説明において、飲食物が注文されてから調理が開始されるまでの過程が撮像された画像を「注文処理画像」と記載し、飲食物の調理の過程が撮像された画像を「調理画像」と記載し、「注文処理画像」、及び「調理画像」を互いに区別しない場合には、「過程画像」と記載する。調理画像には、例えば、厨房、調理者、食材、調味料、調理器具、調理中の飲食物等が撮像されていることが好ましい。表示装置５０は、情報提供装置１０の制御に基づいて、各種画像を表示し、接客係等の店舗従事者や調理者に各種情報を提示する。

なお、情報提供装置１０は、店舗ＳＦ以外の場所に備えられていてもよい。この場合、情報提供装置１０は、撮像装置４０及び表示装置５０とＷＡＮ、ＬＡＮ、インターネット等を介して互いに通信し、各種データを送受信するクラウドサーバとして機能する。

情報提供装置１０は、制御部１００と、記憶部１２０とを備える。制御部１００は、例えば、ＣＰＵ等のハードウェアプロセッサが記憶部１２０に記憶されるプログラム（ソフトウェア）を実行することにより、注文情報取得部１０１と、画像取得部１０２と、提供部１０３と、受付部１０４と、回答取得部１０５と、推奨到着時刻導出部１０６と、調理順序導出部１０７と、提示部１０８と、顧客画像取得部１０９との各機能部を実現する。また、これらの構成要素のうち一部又は全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部を含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

記憶部１２０は、例えば、ＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）により実現されてもよく、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）により実現されてもよく、ドライブ装置に装着される記憶媒体であってもよい。また、記憶部１２０の一部又は全部は、ＮＡＳや外部のストレージサーバ等、情報提供装置１０のアクセス可能な外部装置であってもよい。記憶部１２０には、例えば、注文情報１２１と、材料情報１２２と、調理時間情報１２３と、到着時刻情報１２４とが記憶される。各種情報の詳細については、後述する。

注文情報取得部１０１は、ユーザからの注文を示す注文情報１２１を取得する。画像取得部１０２は、撮像装置４０から過程画像を取得する。提供部１０３は、画像取得部１０２によって取得された過程画像や、種々の情報を端末装置２０に提供する。

受付部１０４は、ユーザから調理者や店舗ＳＦに対する問合せを受け付ける。回答取得部１０５は、受付部１０４によって受け付けられた問合せに対する回答を取得する。提供部１０３は、回答取得部１０５によって取得された回答を端末装置２０に提供する。

推奨到着時刻導出部１０６は、ユーザが店舗ＳＦに到着することが好ましい時刻（以下、推奨到着時刻）を導出する。提供部１０３は、推奨到着時刻導出部１０６によって導出された推奨到着時刻を端末装置２０に提供する。

調理順序導出部１０７は、ユーザが店舗ＳＦに到着する到着時刻に基づいて、調理者が、ユーザによって注文された飲食物を調理する調理順序を導出する。提示部１０８は、調理順序導出部１０７によって導出された調理順序を表示装置５０に表示し、調理者に提示する。顧客画像取得部１０９は、ユーザが撮像された画像を取得する。提示部１０８は、顧客画像取得部１０９によって取得されたユーザが撮像された画像を表示装置５０に表示し、店舗従事者に提示する。以下、各機能部の詳細について説明する。

注文情報取得部１０１は、ユーザの注文内容を示す注文レコードを取得し、取得した注文レコードを注文情報１２１として記憶部１２０に記憶させる。図２は、注文情報１２１の内容の一例を示す図である。注文情報１２１は、例えば、注文を識別可能な情報（以下、注文ＩＤ）と、注文したユーザを識別可能な情報（以下、ユーザＩＤ）と、注文した一以上の飲食物の品目（以下、メニュー）と、飲食物の個数とを含む注文レコードが、一以上含まれる情報である。注文ＩＤは、例えば、注文毎に付される固有の注文番号である。ユーザＩＤは、例えば、ユーザの氏名や注文処理装置ＤＤを用いた注文サービスを利用する際に登録した登録情報である。注文情報取得部１０１は、例えば、セルラー網、Ｗｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ、ＷＡＮ、ＬＡＮ、インターネット等を利用して、注文処理装置ＤＤから注文レコードを取得し、取得した注文レコードを注文情報１２１に含めて記憶部１２０に記憶させる。なお、注文情報取得部１０１は、店舗ＳＦにおいて注文を受け付けた店舗従事者が情報提供装置１０に接続される入力部（不図示）に注文内容を直接入力することによって、注文レコードを取得し、取得した注文レコードを注文情報１２１に含めて記憶部１２０に記憶させてもよい。

画像取得部１０２は、注文情報取得部１０１が注文レコードを取得したことに応じて、撮像装置４０から過程画像を取得する。図３は、店舗ＳＦの見取図の一例を示す図である。図３において、店舗ＳＦには、三つの撮像装置４０（図示する撮像装置４０ａ〜４０ｃ）が設置される。撮像装置４０ａは、例えば、注文情報１２１を確認する店舗従事者を撮像し、注文処理画像を生成する。また、撮像装置４０ｂ〜４０ｃは、厨房を撮像し、調理画像を生成する。以下、過程画像が、撮像装置４０が備えるマイク（不図示）によって収音された音声と、動画とを含む音声付きの動画である場合について説明する。撮像装置４０が、常時、録画するものである場合、画像取得部１０２は、生成された画像の中で、注文情報１２１に示される注文時刻以降に生成された過程画像を抽出（トリミング）し、抽出した画像を過程画像として取得する。

また、撮像装置４０が、情報提供装置１０の制御に基づいて、録画、又は停止するものである場合、画像取得部１０２は、注文情報取得部１０１が注文レコードを取得した後、所定の時間後（例えば、数十秒〜数分後）に撮像装置４０の録画が開始され、生成された過程画像を取得するものであってもよく、注文情報取得部１０１が注文レコードを取得した後、調理者が撮像装置４０を操作することによって録画を開始させ、過程画像を取得するものであってもよい。

また、画像取得部１０２は、ユーザ毎の過程画像の取得に際して、表示装置５０に店舗従事者や調理画像に対する指示を示す画像を表示させてもよい。例えば、画像取得部１０２は、「Ａさんの注文を調理者に伝えてください」というメッセージ画像を、店舗従事者が視認可能な位置に設置される表示装置５０に表示させ、表示させている間に撮像装置４０ａによって撮像された注文処理画像を、Ａさんの注文処理画像として取得する。同様に、画像取得部１０２は、「Ａさんが注文したチャーハンと、麻婆豆腐を調理してください」というメッセージ画像を、調理者が視認可能な位置に設置される表示装置５０に表示させ、表示させている間に撮像装置４０ｂ〜４０ｃによって撮像された調理画像を、Ａさんの調理画像として取得する。

提供部１０３は、画像取得部１０２によって取得された過程画像を端末装置２０に提供する。提供部１０３は、例えば、画像取得部１０２によって取得された画像を、即座に（例えば、リアルタイムに）端末装置２０に提供する。図４は、端末装置２０により表示される画像の一例を示す図である。図４に示す画像は、調理画像である。これに代えて、提供部１０３は、注文処理画像を端末装置２０に提供してもよいし注文処理画像と調理画像とを含む画像を端末装置２０に提供してもよい。端末装置２０により表示される画像を確認することにより、ユーザは、注文した飲食物が適切に調理されていることを確認することができる。この結果、商品に対するユーザの安心感を高めることができる。

なお、提供部１０３は、画像取得部１０２によって取得された過程画像に、種々の情報を示す画像を含めて端末装置２０に提供してもよい。以下、提供部１０３が、過程画像に飲食物の食材に関する情報を含めて端末装置２０に提供する場合について説明する。提供部１０３は、材料情報１２２を参照し、注文レコードに含まれるメニューの調理に用いられる食材を特定する。

図５は、材料情報１２２の内容の一例を示す図である。図５において、材料情報１２２は、飲食物の調理に用いられる食材の品目と、産地とが、メニュー毎に互いに対応付けられた情報である。提供部１０３は、例えば、注文情報１２１に含まれるメニューに用いられる食材に係る情報を過程画像に含めて端末装置２０に提供する。提供部１０３は、注文情報１２１に基づいて、情報提供対象のユーザが注文したメニューを特定し、特定したメニューを検索キーとして材料情報１２２を検索することにより、当該ユーザが注文したメニューに用いられる食材と、当該食材の産地とを特定する。提供部１０３は、特定した、食材、及び産地を示す画像が、過程画像に含まれるように加工した画像（以下、第１画像ＩＭ１）を端末装置２０に提供する。

図６は、端末装置２０により表示される第１画像ＩＭ１の一例を示す図である。図６の第１画像ＩＭ１には、調理画像と、メッセージ画像ＩＭｍ１とが含まれる。メッセージ画像ＩＭｍ１には、例えば、ユーザ名（ユーザＩＤ）によって示されるユーザの注文を調理中であることを示すメッセージＭＳ１と、注文ＩＤを示すメッセージＭＳ２と、注文したメニューを示すメッセージＭＳ３と、メニューに用いられる食材と産地とを示すメッセージＭＳ４とが含まれる。このような画像を確認することにより、ユーザは、注文した飲食物が適切に調理されていることを確認しつつ、自身が注文したメニューや、メニューの調理に用いられている食材について確認することができる。

受付部１０４は、飲食物を注文したユーザからの問合せを受け付ける。ユーザが行う問合せとは、例えば、食材の産地、調理者が使用した調味料の添加物の有無等である。

ユーザは、例えば、端末装置２０において実行されるアプリケーションを用いて、調理者や店舗ＳＦに対して各種問合せを行う。図７は、端末装置２０において実行される問合せアプリケーションの実行画面の一例を示す図である。問合せアプリケーションは、調理者や店舗ＳＦに対する問合せ内容を取得し、取得した問合せ内容を情報提供装置１０に提供するアプリケーションである。問合せアプリケーションが起動されると、インターフェース画像が端末装置２０の表示画面により表示される。インターフェース画面は、調理者や店舗ＳＦに対する問合せ内容を入力するコメントボックスＢＸ、コメントボックスＢＸに入力した問合せ内容を情報提供装置１０に提供（送信）する処理を実行するボタンＢ１などが設定される。受付部１０４は、端末装置２０の問合せアプリケーションを用いてユーザが問合せた問合せ情報ＩＱを取得する。図８は、問合せ情報ＩＱの内容の一例を示す図である。問合せ情報ＩＱは、問合せを行ったユーザと、問合せ内容とが互いに対応付けられた情報である。

なお、受付部１０４は、問合せアプリケーション以外の方法によって問合せ情報ＩＱを取得してもよい。例えば、受付部１０４は、ユーザが店舗ＳＦの店舗従業者との通話によって伝えた問合せ内容を、当該店舗従事者が情報提供装置１０に接続される入力部（不図示）に直接入力することによって、問合せ情報ＩＱを取得してもよい。また、受付部１０４は、ユーザが情報提供装置１０（又は、店舗ＳＦ）に対して送信したテキストメッセージに基づいて、問合せ情報ＩＱを取得してもよい。

回答取得部１０５は、調理者の回答を取得する。例えば、回答取得部１０５は、調理者が視認可能な位置に設置される表示装置５０に、問合せ情報ＩＱに示される問合せ内容を表示させる。調理者の周囲には、調理者の発話が検出可能なマイク（不図示）が設置されており、マイクは、表示装置５０に表示された問合せ内容に対する回答としての調理者の発話を収音する。受付部１０４は、マイクによって収音された調理者の発話内容を、音声認識によってテキスト化し、調理者の回答として取得する。提供部１０３は、問合せ情報ＩＱによって示される問合せの内容と、回答取得部１０５によって取得された調理者の回答とを示す画像が、過程画像に含まれるように加工した画像（以下、第２画像ＩＭ２）を端末装置２０に提供する。

なお、回答取得部１０５は、マイクによる発話の取得以外の方法によって調理者の回答を取得してもよい。例えば、回答取得部１０５は、問合せ情報ＩＱの内容を、店舗従事者が調理画像に伝え、調理者からえた回答を情報提供装置１０に接続される入力部（不図示）に直接入力することによって、回答を取得してもよい。

また、調理者の回答は、撮像装置４０ｂ〜４０ｃが備えるマイクによって収音され、過程画像に含まれるものであってもよい。また、調理者は、発話によって回答しなくてもよい。例えば、問合せの内容が、「調理に使用された調味料の原材料を知りたい」等である場合、調理者は、当該調味料の原材料を示す情報（例えば、調味料の容器に添付されたラベル）を撮像装置４０ｂ〜４０ｃに近づけることによって、問合せに対する回答を行ってもよい。この場合、画像取得部１０２は、「回答取得部」の一例である。

また、回答取得部１０５は、飲食物の調理に用いられる食材の生産者の回答を取得してもよい。例えば、生産者は、情報提供装置１０と通信可能な端末装置ＴＭを有しており、回答取得部１０５は、問合せ情報ＩＱを端末装置ＴＭに送信し、端末装置ＴＭは、受信した問合せ情報ＩＱに示される問合せ内容を表示部に表示させる。端末装置ＴＭは、生産者の発話が検出可能なマイクを備えており、マイクは、端末装置ＴＭの表示部に表示された問合せに対する回答としての生産者の発話を収音する。端末装置ＴＭは、収音された音声情報を情報提供装置１０に送信する。受付部１０４は、端末装置ＴＭから受信した音声情報に基づいて、生産者の発話内容を音声認識によってテキスト化し、生産者の回答として取得する。提供部１０３は、問合せ情報ＩＱによって示される問合せの内容と、回答取得部１０５によって取得された生産者の回答とを示す画像が、過程画像に含まれるように加工した画像を端末装置２０に提供する。なお、回答取得部１０５は、飲食物の調理に用いられる食材に係る回答等の生産者の回答を予め取得しておき、ユーザから生産者に対する問合せが行われた場合に予め取得しておいた回答の中で、適切な回答をユーザに提供するものであってもよい。なお、受付部１０４と、回答取得部１０５とは、調理者や食材の生産者との対話は、交互のやりとりではなく画像として動画像を用いてリアルタイムで会話ができるように、並列処理を行ってもよい。

図９は、端末装置２０により表示される第２画像ＩＭ２の一例を示す図である。図９に示す第２画像ＩＭ２には、調理画像と、メッセージ画像ＩＭｍ１と、メッセージ画像ＩＭｍ２とが含まれる。メッセージ画像ＩＭｍ２には、ユーザの問合せ内容を示すメッセージＭＳ５と、調理者の回答を示すメッセージＭＳ６とが含まれる。このような画像を確認することにより、ユーザは、注文した飲食物が適切に調理されていることを確認しつつ、自身の問合せた内容と、当該問合せに対する回答を確認することができる。この結果、情報提供装置１０は、商品に対するユーザの疑問を解消することができる。

推奨到着時刻導出部１０６は、注文情報１２１と、調理時間情報１２３とに基づいて、ユーザ毎の推奨到着時刻を導出する。図１０は、調理時間情報１２３の内容の一例を示す図である。調理時間情報１２３は、例えば、メニューと、当該メニューの調理時間とが互いに対応付けられた情報である。推奨到着時刻導出部１０６は、注文情報１２１のある注文レコードに含まれるメニューと、個数とを特定する。そして、推奨到着時刻導出部１０６は、特定したメニューを検索キーとして、到着時刻情報１２４を検索し、当該メニューの調理時間を特定する。推奨到着時刻導出部１０６は、例えば、特定したメニュー毎の調理時間とメニューの個数とを乗算し、それらを合計した値を総調理時間として導出する。更に、推奨到着時刻導出部１０６は、導出した総調理時間を、注文レコードに含まれる注文時刻に足し合わせた時刻を、推奨到着時刻として導出する。提供部１０３は、推奨到着時刻導出部１０６によって導出された総調理時間を示す画像が、過程画像に含まれるように加工した画像（以下、第３画像ＩＭ３）を端末装置２０に提供する。

図１１は、端末装置２０により表示される第３画像ＩＭ３の一例を示す図である。図１１に示す通り、端末装置２０の表示部により表示される第３画像ＩＭ３には、調理画像と、メッセージ画像ＩＭｍ１と、メッセージ画像ＩＭｍ３とが含まれる。メッセージ画像ＩＭｍ３には、推奨到着時刻（図示では１５「分」）を示すメッセージＭＳ７が含まれる。このような画像を確認することにより、ユーザは、注文した飲食物が適切に調理されていることを確認しつつ、飲食物の調理が完了する時刻に合わせて店舗ＳＦに向かうことができる。この結果、適切な時刻にユーザに飲食物を提供するようにすることができる。

なお、上述では、提供部１０３が各種画像を生成し、端末装置２０に提供する場合について説明したが、これに限られない。例えば、メッセージ画像ＩＭｍ１〜ＩＭｍ３が過程画像に含まれるように加工する機能は、端末装置２０が備えるものであってもよい。この場合、提供部１０３は、端末装置２０に対してメッセージＭＳ１〜ＭＳ７を示す情報と、過程画像とを端末装置２０に提供する。端末装置２０は、例えば、情報提供装置１０から提供されたメッセージＭＳ１〜ＭＳ７を示す情報と、過程画像とに基づいて、第１画像ＩＭ１〜第３画像ＩＭ３を生成し、生成した画像を表示部に表示させる。

また、端末装置２０は、推奨到着時刻を車両システム３に提供してもよい。車両システム３は、端末装置２０から提供された推奨到着時刻に店舗ＳＦに到着するように、車両Ｖを制御する。この場合、端末装置２０と、車両システム３とは、Ｗｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ（Universal Serial Bus（登録商標））ケーブル等によって通信し、推奨到着時刻を示す情報を送受信する。また、情報提供装置１０が直接、車両システム３に推奨到着時刻を提供してもよい。この場合、記憶部１２０には、ユーザＩＤと、当該ユーザＩＤによって識別されるユーザが搭乗する車両Ｖに搭載された車両システム３の通信装置のアドレスとが互いに対応付けられた情報が予め記憶されており、端末装置２０は、当該情報に基づいて、車両システム３に対して推奨到着時刻を送信する。

例えば、車両システム３が備えるＭＰＵは、提供部１０３によって提供された推奨到着時刻に基づいて、推奨到着時刻に店舗ＳＦに到着するように、推奨経路を再決定する。車両システム３が備える行動計画部は、ＭＰＵによって再決定された推奨経路を走行するように、目標軌道を生成する。図１２は、ＭＰＵに再決定された推奨経路の一例を示す図である。車両システム３は、当初設定された、店舗ＳＦを目的地とした推奨経路ＲＴ１に従って店舗ＳＦまで車両Ｖを走行させている。このとき、車両システム３は、提供部１０３から推奨到着時刻を取得すると、推奨到着時刻と、推奨経路ＲＴ１を車両Ｖが走行した場合に店舗ＳＦに到着すると予想される時刻（予想到着時刻）とを比較し、予想到着時刻の方が早い時刻である場合には、ＭＰＵに推奨経路を再決定させる。再決定された推奨経路ＲＴ２は、予想到着時刻が推奨到着時刻と合致するように設定された経路（つまり、遠回りする経路）である。これにより、車両システム３は、推奨到着時刻にユーザが店舗ＳＦに到着するように車両Ｖを制御することができる。

調理順序導出部１０７は、注文情報１２１と、到着時刻情報１２４とに基づいて、調理者が調理する飲食物の調理順序を導出する。図１３は、到着時刻情報１２４の内容の一例を示す図である。到着時刻情報１２４は、例えば、注文ＩＤと、ユーザＩＤと、当該ユーザＩＤによって識別されるユーザの店舗ＳＦの到着時刻とを含む到着時刻レコードが、一以上含まれる情報である。到着時刻は、例えば、注文時にユーザによって設定された時刻である。注文情報取得部１０１は、例えば、ユーザの注文内容を示す注文レコードと合わせて、ユーザの到着時刻を示す到着時刻レコードを取得し、取得した到着時刻を示す到着時刻レコードを到着時刻情報１２４として記憶部１２０に記憶させる。

なお、到着時刻は、注文内容を示す注文レコードの一要素として含まれていてもよい。この場合、注文情報取得部１０１は、注文内容を示す注文レコードを取得し、注文レコードに含まれる、注文ＩＤ、ユーザＩＤ、注文時刻、メニュー、及び個数を、注文情報１２１として記憶部１２０に記憶させ、注文ＩＤ、ユーザＩＤ、及び到着時刻を、到着時刻情報１２４として記憶部１２０に記憶させてもよく、注文情報取得部１０１は、注文レコードを注文情報１２１として記憶させ、注文情報１２１には、到着時刻情報１２４が含まれるものであってもよい。

調理順序導出部１０７は、到着時刻情報１２４に基づいて、調理順序情報ＯＦを生成する。図１４は、調理順序情報ＯＦの内容の一例を示す図である。図１４に示す通り、調理順序情報ＯＦは、調理順序と、注文ＩＤと、ユーザＩＤと、メニューと、個数と、到着時刻とが互いに対応付けられた情報である。調理順序導出部１０７は、例えば、ある注文ＩＤを検索キーとして、注文情報１２１と、到着時刻情報１２４とを検索し、同一の注文ＩＤが対応付けられたユーザＩＤと、メニューと、個数と、到着時刻とを特定する。そして、調理順序導出部１０７は、特定した注文ＩＤ毎の各情報を、到着時刻が早い順に並べ替え、到着時刻が早い順に調理順序を付した調理順序情報ＯＦを生成する。

提示部１０８は、調理順序導出部１０７によって生成された調理順序情報ＯＦの内容を示す情報を、調理者が視認可能な位置に設置される表示装置５０に表示させる。これにより、提示部１０８は、調理順序情報ＯＦを調理者に確認させ、適切な順序によって飲食物を調理することを調理者に促すことができる。

顧客画像取得部１０９は、ユーザからユーザが撮像された画像（以下、顧客画像）を取得する。顧客画像には、例えば、ユーザの顔部が示される。顧客画像取得部１０９は、例えば、注文処理装置ＤＤを用いた注文サービスを利用する際に、ユーザによって登録された顧客画像を取得する。なお、顧客画像は、注文レコードの一要素として含まれていてもよい。この場合、ユーザは、注文の度、顧客画像を注文処理装置ＤＤや情報提供装置１０に送信する。

提示部１０８は、顧客画像取得部１０９によって取得された顧客画像を、店舗従事者（特に、接客係の店舗従事者）が視認可能な位置に設置される表示装置５０に表示させる。図１５は、表示装置５０により表示される顧客画像の一例を示す図である。なお、表示装置５０には、顧客画像に加えて、当該顧客画像のユーザＩＤ、ユーザの名、到着時刻、注文ＩＤ、注文したメニュー等が示されていてもよい。これにより、提示部１０８は、表示装置５０の表示を店舗従事者に確認させ、ユーザが店舗ＳＦに来店した際のサービス向上を促すことができる。

［動作フロー：過程画像を提供する処理］
図１６は、過程画像を端末装置２０に提供する処理の動作の流れの一例を示すフローチャートである。注文情報取得部１０１は、注文情報１２１を取得する（ステップＳ１００）。画像取得部１０２は、撮像装置４０ａから注文処理画像を取得する（ステップＳ１０２）。画像取得部１０２は、撮像装置４０ｂ〜４０ｃから調理画像を取得する（ステップＳ１０４）。提供部１０３は、画像取得部１０２によって取得された過程画像を端末装置２０に提供する（ステップＳ１０６）。なお、提供部１０３は、ステップＳ１０６において、注文に対応する他の情報（例えば、材料情報１２２）を特定し、特定した情報が過程画像に含まれるように加工した第１画像ＩＭ１を端末装置２０に提供してもよい。

［動作フロー：問合せに対する回答を提供する処理］
図１７は、問合せに対する回答を端末装置２０に提供する処理の動作の流れの一例を示すフローチャートである。受付部１０４は、問合せ情報ＩＱを受け付ける（ステップＳ２００）。受付部１０４は、例えば、注文処理装置ＤＤや情報提供装置１０に接続される入力部に対する店舗従事者の入力によって、問合せ情報ＩＱを受け付ける。回答取得部１０５は、受付部１０４によって受け付けられた問合せ情報ＩＱに示される問合せ内容に対する回答を取得する（ステップＳ２０２）。回答取得部１０５は、調理者の発話内容をマイクによって収音することや、情報提供装置１０に接続される入力部に対する店舗従事者の入力によって、回答を取得する。提供部１０３は、回答取得部１０５によって取得された回答を示すメッセージ画像ＩＭｍ２が過程画像に含まれるように加工した第２画像ＩＭ２を端末装置２０に提供する（ステップＳ２０４）。

［動作フロー：推奨到着時刻を提供する処理］
図１８は、推奨到着時刻を端末装置２０に提示する処理の動作の流れの一例を示すフローチャートである。注文情報取得部１０１は、注文情報１２１を取得する（ステップＳ３００）。推奨到着時刻導出部１０６は、注文情報１２１と、調理時間情報１２３とに基づいて、総調理時間を導出する（ステップＳ３０２）。推奨到着時刻導出部１０６は、注文情報１２１に基づいて、導出した総調理時間に到着時刻を足し合わせて推奨到着時刻を導出する（ステップＳ３０４）。提供部１０３は、推奨到着時刻を示す画像と、過程画像とを端末装置２０に提供する（ステップＳ３０６）。提供部１０３は、例えば、総調理時間を示すメッセージ画像ＩＭｍ３が過程画像に含まれるように加工した第３画像ＩＭ３を生成し、端末装置２０に提供する。

［動作フロー：調理順序を提示する処理］
図１９は、調理順序を調理者に提示する処理の動作の流れの一例を示すフローチャートである。注文情報取得部１０１は、注文情報１２１を取得する（ステップＳ４００）。調理順序導出部１０７は、到着時刻情報１２４を取得する（ステップＳ４０２）。調理順序導出部１０７は、ある注文ＩＤを検索キーとして、注文情報１２１と、到着時刻情報１２４とを検索して同一の注文ＩＤが対応付けられたユーザＩＤと、メニューと、個数と、到着時刻とを特定し、特定した注文ＩＤ毎の各情報を、到着時刻が早い順に並べ替えることによって、到着時刻が早い順に調理順序を付した調理順序情報ＯＦを生成する（ステップＳ４０４）。提示部１０８は、調理順序導出部１０７によって生成された調理順序情報ＯＦを、調理者が視認可能な表示装置５０に表示させることによって調理者に提示する（ステップＳ４０６）。

［実施形態のまとめ］
以上説明したように、本実施形態の情報提供装置１０は、店舗外の顧客（ユーザ）から注文された飲食物の調理の過程を撮像装置４０によって撮像した調理画像を取得する画像取得部１０２と、画像取得部１０２によって取得された調理画像を、顧客の使用する端末装置２０に提供する提供部１０３とを備え、注文した商品（この一例では、飲食物）が適切に調理されていることをユーザが確認できるようにすることができる。

なお、上述では、ユーザが店舗ＳＦに来店する場合における情報提供装置１０の処理について説明したが、これに限られない。情報提供装置１０は、例えば、ユーザが希望する配達場所に飲食物を配達する場合に、注文時にユーザの端末装置に通知する予想配達時刻に加え、調理の過程の画像や食材に係る情報を提示する処理を行ってもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

３…車両システム、１０、１０ａ…情報提供装置、２０…端末装置、４０…撮像装置、４０ａ、４０ｂ、４０ｃ…撮像装置、５０…表示装置、１００…制御部、１００ａ…制御部、１０１…注文情報取得部、１０２…画像取得部、１０３…提供部、１０４…受付部、１０５…回答取得部、１０６…推奨到着時刻導出部、１０７…調理順序導出部、１０８…提示部、１０９…顧客画像取得部、１１０…予想配達時刻導出部、１１１…配達車画像取得部、１２０、１２０ａ…記憶部、１２１…注文情報、１２２…材料情報、１２３…調理時間情報、１２４…到着時刻情報、１２５…所要時間情報、ＩＱ…問合せ情報、ＯＦ…調理順序情報、ＤＤ…注文処理装置、ＩＭ１…第１画像、ＩＭ２…第２画像、ＩＭ３…第３画像、ＩＭ４…第４画像、ＩＭｄ…配達者画像、ＩＭｍ１、ＩＭｍ２、ＩＭｍ３、ＩＭｍ４…メッセージ画像、ＭＳ１、ＭＳ２、ＭＳ３、ＭＳ４、ＭＳ５、ＭＳ６、ＭＳ７、ＭＳ８…メッセージ

Claims (11)

1. 店舗外の顧客から注文された飲食物の調理の過程を撮像装置によって撮像した調理画像を取得する画像取得部と、
   前記画像取得部によって取得された前記調理画像を、前記顧客の使用する端末装置に提供する提供部と、
   を備える情報提供装置。
2. 前記提供部は、前記注文された飲食物の食材に係る情報を、前記端末装置に提供する、
   請求項１に記載の情報提供装置。
3. 前記画像取得部は、前記飲食物が注文されてから調理が開始されるまでの過程を撮像装置によって撮像した注文処理画像を更に取得し、
   前記提供部は、前記注文処理画像を更に前記端末装置に提供する、
   請求項１又は請求項２に記載の情報提供装置。
4. 前記調理画像には、前記飲食物を注文した前記顧客を識別する識別情報を示す画像が含まれる、
   請求項１から請求項３のうちいずれか一項に記載の情報提供装置。
5. 前記飲食物を注文した前記顧客からの、前記飲食物の調理者または前記飲食物に使用される食材の生産者との対話の開始要求を受け付ける受付部を更に備え、
   前記提供部は、
   前記受付部によって受け付けられた前記対話の開始要求に対応する前記調理者または前記生産者が応答可能な場合に前記端末装置を通じた対話を開始する、
   請求項１から請求項４のうちいずれか一項に記載の情報提供装置。
6. 前記対話には、前記飲食物の調理者または前記飲食物に使用される食材の生産者に対する前記顧客からの問合せが含まれ、
   前記調理画像には、前記問合せに対する前記調理者または前記生産者の回答を示す画像が含まれる、
   請求項５に記載の情報提供装置。
7. 前記飲食物と、前記飲食物を注文した前記顧客を識別する識別情報とが互いに対応付けられた注文情報と、前記顧客の前記店舗への到着時刻を示す情報とに基づいて、調理順序を導出する調理順序導出部と、
   前記調理順序導出部によって導出された前記調理順序を調理者に提示する提示部とを更に備える、
   請求項１から請求項６のうちいずれか一項に記載の情報提供装置。
8. 前記飲食物と、前記飲食物を注文した前記顧客を識別する識別情報とが互いに対応付けられた注文情報と、前記飲食物の調理時間を示す情報とに基づいて、前記店舗への推奨到着時刻を前記顧客毎に導出する推奨到着時刻導出部を更に備え、
   前記提供部は、前記推奨到着時刻導出部によって導出された前記推奨到着時刻を、対応する前記顧客の前記端末装置、又は車両制御装置に提供する、
   請求項１から請求項７のうちいずれか一項に記載の情報提供装置。
9. 請求項８に記載の情報提供装置と、
   自車両の周辺に存在する、他車両を含む物体を認識する認識部と、前記認識部により認識された前記物体の状態に基づいて、前記自車両の目標軌道を生成し、前記生成した前記目標軌道に基づいて、前記自車両の速度または操舵のうち一方または双方を制御する運転制御部と、を備える車両制御装置と、を備える車両制御システムであって、
   前記車両制御装置は、前記情報提供装置から、或いは前記端末装置を介して提供された前記推奨到着時刻に、前記店舗に到着するように前記自車両を制御する、
   車両制御システム。
10. コンピュータが、
    店舗外の顧客から注文された飲食物の調理の過程を撮像装置によって撮像した調理画像を取得し、
    取得された前記調理画像を、前記顧客の使用する端末装置に提供する、
    情報提供方法。
11. コンピュータに、
    店舗外の顧客から注文された飲食物の調理の過程を撮像装置によって撮像した調理画像を取得させ、
    取得された前記調理画像を、前記顧客の使用する端末装置に提供させる、
    プログラム。

Images