JP2023153635A - 料理サポートシステム - Google Patents

Abstract

【課題】在宅で自由な時間に調理教室等のような料理技術向上のための詳細な指導を提供することができる料理サポートシステムを提供する。
【解決手段】料理サポートシステムは、例えば、レシピ提供部と、取得部と、評価部と、アドバイス処理部と、を備える。レシピ提供部は、ユーザが参照する参照レシピを提供する。取得部は、前記参照レシピを参照して実行されるユーザの調理の様子を示すユーザ調理態様を取得する。評価部は、前記参照レシピに示される参照調理態様と前記ユーザ調理態様との比較に基づき、調理評価を行う。アドバイス処理部は、前記調理評価に基づき、前記参照レシピの料理を完成させるまでの調理技術に関するアドバイスを実行する。
【選択図】図２

Description

本発明の実施形態は、料理サポートシステムに関する。

従来、料理を効率よくレシピ通りに作るためのサポートを行うサービスや料理の作り方を客観的に評価する評価システム等が提案されている。例えば、料理のレシピを提供するサイトや、静止画や動画を用いてレシピに従う調理手順を提供するサービスが実用化されている。そして、このようなサービスで提供されるレシピに従って行う調理風景を撮像して、その画像を解析することによりレシピに従う料理手順で料理が進められるように案内したり、評価したりする技術が提案されている。

特開２０１９－２０９８１号公報 特開２０１６－１０３０４２号公報 特開２００７－１３２５６７号公報

しかしながら、従来のサービスの場合、料理手順の案内や評価が行われるのみのサービスであり、例えば、調理教室等のように、料理技術向上のための詳細な指導を提供するものではなかった。

本発明が解決する課題の一例は、在宅で自由な時間に調理教室等のような料理技術向上のための詳細な指導を提供することができる料理サポートシステムを提供することである。

本発明の一つの実施形態に係る料理サポートシステムは、例えば、レシピ提供部と、取得部と、評価部と、アドバイス処理部と、を備える。レシピ提供部は、ユーザが参照する参照レシピを提供する。取得部は、前記参照レシピを参照して実行されるユーザの調理の様子を示すユーザ調理態様を取得する。評価部は、前記参照レシピに示される参照調理態様と前記ユーザ調理態様との比較に基づき、調理評価を行う。アドバイス処理部は、前記調理評価に基づき、前記参照レシピの料理を完成させるまでの調理技術に関するアドバイスを実行する。

また、前記取得部は、例えば、前記ユーザの調理の様子を撮像部で撮像した撮像情報を含む前記ユーザ調理態様を取得し、前記評価部において前記撮像情報を参照し、前記参照調理態様に含まれる参照調理手順と前記ユーザ調理態様に含まれるユーザ調理手順とに差異の存在が検出された場合、前記アドバイス処理部は、前記参照調理手順に基づく前記アドバイスを実行するようにしてもよい。

また、前記アドバイス処理部は、例えば、前記取得部が前記ユーザから調理態様に関する問合せを取得した場合に、前記問合せに対する前記アドバイスを実行するようにしてもよい。

また、前記評価部は、例えば、前記参照レシピの料理を完成させるまでの前記アドバイスの回数と、前記アドバイスの内容と、前記参照レシピの料理を完成させるまでの実調理時間と前記参照レシピの標準調理時間との差分と、の少なくとも一つに基づき、前記ユーザの調理採点値を算出するようにしてもよい。

また、前記レシピ提供部は、例えば、前記調理採点値の履歴と、前記参照レシピの提供履歴と、の少なくとも一方に基づき、次回提供する前記参照レシピの難易度を決定するようにしてもよい。

また、前記レシピ提供部は、例えば、前記調理採点値が所定の閾値以下の場合は次回提供する前記参照レシピとして苦手調理態様が少ないまたは含まれない苦手回避レシピを提供し、前記調理採点値が前記所定の閾値を超える場合は前記参照レシピとして苦手調理態様が今回提供して参照レシピより多く含まれる苦手克服レシピを提供するようにしてもよい。

以上の料理サポートシステムによれば、例えば、在宅等で自由な時間に調理教室等のような料理技術向上のための詳細な指導を提供することができる。

図１は、実施形態に係る料理サポートシステムを中心とする利用状態を説明する例示的かつ模式的な説明図である。 図２は、実施形態に係る料理サポートシステムの構成を示す例示的かつ模式的なブロック図である。 図３は、実施形態に係る料理サポートシステムで、次回の料理サポート時に推奨するレシピを選択する場合に利用する料理採点値とレシピの難易度との関係を示す例示的かつ模式的な説明図である。 図４は、実施形態に係る料理サポートシステムで利用するレシピの難易度の内訳を示す例示的かつ模式的な説明図である。 図５は、実施形態に係る料理サポートシステムのサポート処理の流れを示す例示的なフローチャートである。

以下、図面を参照しながら、本開示に係る料理サポートシステムの実施形態について説明する。本明細書において、実施形態に係る構成要素及び当該要素の説明が、複数の表現で記載されることがある。構成要素及びその説明は、一例であり、本明細書の表現によって限定されない。構成要素は、本明細書におけるものとは異なる名称でも特定され得る。また、構成要素は、本明細書の表現とは異なる表現によっても説明され得る。

図１は、料理サポートシステム１０を中心とする利用状態を説明する例示的かつ模式的な説明図である。

料理サポートシステム１０は、料理サポートを行う企業等に設置された、ＰＣ（Personal Computer）などといった一般的な情報処理装置と同様のコンピュータ資源で実現され得る。料理サポートシステム１０は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶部と、通信インターフェースと、入出力インターフェース等で構成されている。

料理サポートシステム１０は、例えばインターネット等のネットワークＣを経由して、ユーザＰ（調理者）が所有するセンシング機器１２や情報提供装置１４等と接続されている。

センシング機器１２は、例えば、ユーザＰの操作により動作を開始する機器で、ユーザＰが調理を行っている様子（特に、手元の様子や調理器具Ｆの扱い）や調理中の食材Ｗの状態（例えば、過熱温度や焼き色や煮色、汁の量等）を検出するセンサである。センシング機器１２は、例えば、動画が撮像可能なＣＣＤ（charge coupled device）等の撮像素子を内蔵するデジタルカメラであってもよい。デジタルカメラは、所定のフレームレートで動画データを出力することができる。また、情報提供装置１４は、食材の温度等を検出するサーモカメラ（サーモセンサ）であってもよい。情報提供装置１４は、最低限の構成として、デジタルカメラとサーモカメラを含むことが望ましいが、この他、ユーザＰの様子（挙動）や食材の状態を検出できるセンサを適宜増加することが可能である。

センシング機器１２は、検出した情報（例えば、画像情報や温度情報等）を、逐次料理サポートシステム１０側に送信し、料理サポートシステム１０は、リアルタイムで、ユーザＰが実行している調理の様子、食材の状態等を示す情報を取得することができる。

情報提供装置１４は、表示部１４ａ及びスピーカ１４ｂを備えた表示装置であり、例えば、画面付きスマートスピーカである。情報提供装置１４は、料理サポートシステム１０から送信される各種画像の表示および音声の出力等が可能である。具体的には、情報提供装置１４は、料理サポートシステム１０から送信されてくる、調理対象の料理のレシピ（参照レシピ）に基づく食材の表示、調理手順の表示や調理手順の説明音声等が逐次出力される。また、情報提供装置１４は、料理サポートシステム１０がセンシング機器１２から取得した各種情報を調理工程ごとに解析し算出した、ユーザＰの調理の評価（調理評価）に基づくアドバイスを出力する。この場合、アドバイスは、参照レシピの料理を完成させるまでの調理技術に関するアドバイスであり、アドバイス画像やアドバイス音声等である。また、情報提供装置１４は、入力装置を備えてもよい。例えば、表示部１４ａは、透明な操作入力部（例えば、タッチパネル等）で覆われていてもよい。ユーザＰは、操作入力部を介して表示部１４ａの画面に表示される映像（画像）を視認することができる。また、ユーザＰは、表示部１４ａの画面に表示される映像（画像）に対応した位置で手指等により操作入力部を触れたり押したり動かしたりして操作することで、操作入力（例えば、参照レシピのリクエストや提示された参照レシピの選択等）を実行することができる。また、別の実施形態においては、情報提供装置１４に、キーボードやマウス等のような他の入力装置が接続され、入力操作を可能としてもよい。

なお、センシング機器１２や情報提供装置１４は、料理サポートシステムの利用契約に含むことが可能な専用のレンタル機器（例えば、サブスクリプション方式の機器）としてユーザＰに提供されてもよい。また、センシング機器１２や情報提供装置１４は、ユーザＰが所有し、調理場所（キッチン等）に持ち込み可能で、ユーザＰの調理の様子や食材の様子が撮像可能であり、かつ表示される画像の確認や出力される音声の認識がユーザＰにおいて可能な端末装置であってもよい。すなわち、端末装置は、カメラが搭載され、画像表示および音声出力等が可能な、例えば、スマートフォンやタブレット端末、ノートパソコン等であってもよい。なお、端末装置が、食材の温度を検出する温度検出機能を備えれば、端末装置を利用して検出してもよい。また、端末装置が、温度検出機能を備えない場合は、レンタル機器として準備することもできる。

図２は、料理サポートシステム１０の構成を示す例示的かつ模式的なブロック図である。上述したように、料理サポートシステム１０は、一般的な情報処理装置と同様のコンピュータ資源で実現され得る。料理サポートシステム１０には、レシピ記憶部１６ａ、履歴記憶部１６ｂ等を含むサーバ１６が接続され、料理サポートシステム１０を介してユーザＰに提供する各種情報やその情報を提供するための補助的な情報が記憶されている。レシピ記憶部１６ａには、例えば、料理サポートシステム１０を介してユーザＰに提供される複数の参照レシピやその参照レシピの料理を完成させるための手順や食材の状態に関するアドバイスに関する情報が記憶されている。また、履歴記憶部１６ｂには、料理サポートシステム１０が取得したユーザＰの調理態様の検出情報及び検出情報に基づく評価値等の履歴情報が、ユーザＰごとのパーソナルデータや過去に提供した参照レシピと関連付けられて記憶されている。

料理サポートシステム１０は、例えば、料理サポートシステム１０のＣＰＵが、ＲＯＭ等の記憶部から読み出した料理サポート処理プログラムを実行することにより、図２に示すような機能モジュールを実現する。料理サポートシステム１０は、例えば、通信部１８、レシピ提供部２０、取得部２２、評価部２４、アドバイス処理部２６等の機能モジュールを備える。また、レシピ提供部２０は、リクエストレシピ選択部２０ａ、難易度別レシピ選択部２０ｂ、苦手別レシピ選択部２０ｃ等の詳細モジュールを含む。取得部２２は、画像取得部２２ａ、センサ値取得部２２ｂ、問合せ取得部２２ｃ、調理時間取得部２２ｄ等の詳細モジュールを含む。評価部２４は、採点部２４ａ、調理評価部２４ｂ等の詳細モジュールを含む。また、アドバイス処理部２６は、アドバイス内容選択部２６ａ、アドバイスタイミング決定部２６ｂ、出力部２６ｃ等の詳細モジュールを含む。

なお、各機能モジュールは、その機能モジュールが適宜統合されてもよい。逆に、各機能モジュールに含まれる詳細モジュールが独立して存在してもよいし複数の詳細モジュールが統合されてもよい。また、各機能モジュールは、ハードウエアで構成されてもよい。

通信部１８は、ユーザＰの周辺に設定されたセンシング機器１２や情報提供装置１４等と相互通信を行う。例えば、通信部１８とセンシング機器１２との通信により、センシング機器１２の一例であるカメラにより撮像した、ユーザＰの調理風景やユーザＰの手元、調理器具の内部で調理されている食材の状態等を示す画像情報の受信を行う。また、センシング機器１２の一例であるサーモカメラが取得した温度情報の受信を行う。また、センシング機器１２や情報提供装置１４に対してユーザＰが話しかけた場合（調理手順や調理状態に関する質問（問合せ）を行った場合）の音声情報等の受信を行う。また、情報提供装置１４と通信部１８との通信により、情報提供装置１４で表示する参照レシピの情報や、参照レシピの料理を完成させるために必要な各種アドバイス情報（画像や音声等）を送信する。

レシピ提供部２０は、ユーザＰ（情報提供装置１４）に提供する各種参照レシピをサーバ１６から選択し、通信部１８を介して送信させる。参照レシピとは、当該参照レシピで完成させる料理に関する各種情報であり、料理の調理途中の画像、完成状態の画像（例えば、盛り付け済みの画像）、使用する食材の種類、数量、料理手順ごとの説明画像（静止画や動画）及び説明文等を料理ごとにまとめた情報群である。参照レシピは、サーバ１６のレシピ記憶部１６ａに複数保存可能であり、適宜追加及び内容の修正が可能である。なお、サーバ１６は料理サポートシステム１０に必ずしも物理的に接続される必要はなく、例えば、ネットワークＣを介して接続可能で、他の場所に設けられてもよい。また、参照レシピは他のサービスで提供しているものを流用してもよい。

レシピ提供部２０には、前述したようにリクエストレシピ選択部２０ａ、難易度別レシピ選択部２０ｂ、苦手別レシピ選択部２０ｃ等を含む。

リクエストレシピ選択部２０ａは、ユーザＰのリクエストに従いレシピ記憶部１６ａに記憶された複数の参照レシピの中から対応する推奨レシピの候補を選択する。推奨レシピの候補として、例えばユーザＰにより入力装置を介して入力された選択条件に従い適合するレシピを複数列挙することができる。選択条件は、例えば、料理の名称、料理区分（日本食、イタリアン、フレンチ等や、夕食、お弁当等）や食材の種類、調理時間等である。リクエストレシピ選択部２０ａは、選択する推奨レシピ（参照レシピ）を複数選択する場合、選択条件との一致度に応じて、推奨順位を示してもよい。また、選択条件と最も一致度の高い参照レシピを推奨レシピとして、一つ選択するようにしてもよい。

難易度別レシピ選択部２０ｂは、ユーザＰが過去に調理した調理態様に基づき評価部２４が算出した評価を使用して、次回（今回）の調理でユーザＰのスキル（腕前）に適した、またはスキルを向上するために適した参照レシピを選択する。

難易度別レシピ選択部２０ｂは、難易度を図３に示すような参照テーブル２８を用いて選択することができる。参照テーブル２８は、次回の料理サポート時に推奨する参照レシピを選択する場合に利用する料理採点値と参照レシピの難易度との関係を示す例示的かつ模式的な説明図である。前述したように、料理サポートシステム１０は、料理サポートを行うたびに評価部２４によりユーザＰのスキル評価を行い、その結果およびその時の参照レシピの難易度を履歴記憶部１６ｂに保存している。難易度別レシピ選択部２０ｂは、例えば、直近３回の評価値の平均点と、その際の参照レシピの難易度の平均値を算出し、その平均点と平均値に基づき、次回（今回）の料理サポート時に選択する参照レシピを決定することができる。後述するが、評価部２４は、ユーザＰの評価を例えば、１００点満点で評価し、調理手順やスキル、その結果得られる料理(食材)の状態等に基づき、減点方式で評価を行うことができる。難易度別レシピ選択部２０ｂは、評価値の平均点グループを、例えば、０～３０点（第１得点グループ）、３１～６０点（第２得点グループ）、６１～９０点（第３得点グループ）、９１～１００点（第４得点グループ）のグループに分類する。また、評価部２４は、ユーザＰが例えば直近３回で調理した参照レシピの難易度の平均値を算出し、難易度平均値グループに分類する。例えば、平均値が０～１．９９・・・（２点未満：第１難易度グループ）、２．０～２．９９・・・（３点未満：第２難易度グループ）、３．０～３．９９（４点未満：第３難易度グループ）、４．０～５．０（第４難易度グループ）に分類する。そして、難易度別レシピ選択部２０ｂは、図３に示すように、料理採点値の平均値と参照レシピの難易度の平均値との交点で得られる難易度を次の参照レシピを選択する際の基準とする。なお、参照レシピの難易度は、図４に示される難易度区分３０のように、例えば、「高い：５」、「やや高い：４」、「普通：３」、「やや低い：２」、「低い：１」とすることできる。

苦手別レシピ選択部２０ｃは、評価部２４で算出した評価に基づき、ユーザＰのモチベーションの維持、向上を考慮した参照レシピの選択を行うことができる。例えば、評価値が低いユーザＰは、評価のマイナスの原因となる苦手スキルが複数存在すると考えられる。この場合、次回の調理でレシピ提供部２０が選択する参照レシピに苦手スキルが複数含まれるものばかりが選択されていると、ユーザＰのモチベーションを低下させてしまう場合がある。このような場合、苦手別レシピ選択部２０ｃは、選択する参照レシピとして、対応する苦手スキル（苦手調理態様）が少ない、または含まれない参照レシピ（苦手回避レシピ）を選択するようにしてもよい。その結果、ユーザＰの料理に対するモチベーションの低下を抑制しやすくすることができる。逆に、評価値が高いユーザＰの場合、評価のマイナスの原因となる苦手スキルが少ないと考えられる。評価値が高いユーザは、苦手スキルを克服したいという意識が高い場合が多いと考えられる。したがって、苦手別レシピ選択部２０ｃは、評価値が高いユーザＰに対しては、苦手スキルを複数含む参照レシピ（苦手克服レシピ、未知の参照レシピ）を積極的に選択するようにしてもよい。その結果、ユーザＰの苦手スキルを効率的に克服させやすくなる。なお、苦手別レシピ選択部２０ｃは、操作入力部を介して、具体的な苦手スキルを受付け、参照レシピの選択に反映させてもよい。

取得部２２は、参照レシピの選択やその参照レシピに基づくユーザＰの調理に対するアドバイスに必要な情報の取得を行う。前述したように、取得部２２は、画像取得部２２ａ、センサ値取得部２２ｂ、問合せ取得部２２ｃ、調理時間取得部２２ｄ等を含む。

画像取得部２２ａは、ユーザＰの調理の様子をセンシング機器１２の一つであるカメラ（撮像部）で撮像した撮像情報を含むユーザ調理態様を取得し、評価部２４やアドバイス処理部２６に取得した画像情報を提供する。なお、画像取得部２２ａは、参照レシピに基づく調理工程の進捗状況に応じて、カメラのズーム状態や撮影方向、撮影範囲等を適宜変更する撮像制御を行ってもよい。例えば、調理工程が食材を捌く工程の場合、ユーザＰの手元（包丁を握る手元）のズームを行うようにしてもよいし、食材の過熱状態や煮汁の状態を確認する調理工程の場合は、調理器具（例えば、鍋等）の中身にズームを行うようにしてもよい。

センサ値取得部２２ｂは、センシング機器１２の一つであるサーモカメラからの温度情報を取得し、評価部２４やアドバイス処理部２６に取得した温度情報を提供する。また、センサ値取得部２２ｂは、センシング機器１２の一つであるマイクロフォンから取得した調理時の音声（焼き調理時の音や、煮物調理時の煮立ち音等）を取得し、評価部２４やアドバイス処理部２６に提供してもよい。

問合せ取得部２２ｃは、ユーザＰが参照レシピの内容に関する確認や質問事項を受付け、受付けた内容をアドバイス処理部２６に提供する。例えば、調理工程が食材（魚）の捌く工程であり、ユーザＰが情報提供装置１４に表示された調理工程に従って調理を行っているときまたは工程の前後のタイミングで、捌き方の種類の確認や自らの捌き方が正しいか否かを質問したり、捌き方の手順を確認したり、より詳細な説明を求めたりする確認や質問を受け付ける。また、問合せ取得部２２ｃは、調味料を加えるタイミングや量の確認、火加減等に関する質問を受け付けることができる。ユーザＰの質問は、例えば、情報提供装置１４に搭載されたマイクロフォンを介して収集され、問合せ取得部２２ｃで取得されてもよし、センシング機器１２の一例として、マイクロフォンが独立して設けられてもよい。

調理時間取得部２２ｄは、例えば、参照レシピに従いユーザＰが調理を開始した場合、料理サポートシステム１０に含まれる内部時計（カウンタータイマ等）の駆動を開始し、調理開始から終了（料理を完成）までの調理時間を計測し、その結果を、評価部２４やアドバイス処理部２６に提供する。例えば、ユーザＰが調理を行う場合、個々のスキルレベルによって、調理工程（例えば魚の捌き時間）に要する時間にばらつきがある。この場合、参照レシピの動画の調理工程の進み具合と実際の調理工程の進み具合とを一致させるために、例えば、ユーザＰの操作によって、情報提供装置１４が表示する参照レシピに基づく調理工程の動画の表示を一時的に停止する場合がある。また、参照レシピによっては、調理工程（例えば、魚の捌き工程）が完了したことをユーザＰの申告によって認識し、次の調理工程に進む場合がある。スキルの高いユーザＰの場合、調理時間が短く、スキルの低いユーザＰの場合、調理時間が長くなる傾向がある。したがって、調理時間情報を評価部２４に提供し、ユーザＰの評価に反映させることにより、より信頼度の高いユーザＰの評価を行うことに寄与できる。

評価部２４は、採点部２４ａ及び調理評価部２４ｂを含み、参照レシピに示される参照調理態様とユーザ調理態様との比較に基づき、調理評価を行う。具体的には、評価部２４の採点部２４ａは、例えば、画像取得部２２ａが取得したがユーザＰの調理手順と参照レシピが示す調理手順との比較を行い、所定閾値以上の差異がある場合、差異の大きさに応じて評価点（手順評価の調理採点値）の採点を行う。また、採点部２４ａは、ユーザＰの調理手順と参照レシピが示す調理手順との比較の結果をアドバイス処理部２６に対して提供し、参照レシピの料理を完成させるまでの調理技術に関するアドバイスを選択（実行）するために情報として利用させる。また、採点部２４ａは、センサ値取得部２２ｂが取得した食材の調理温度（例えば、鍋の中の食材温度等）と、参照レシピの対応工程における調理温度との比較を行い、温度差に応じて評価点（調理温度評価の調理採点値）の採点を行う。採点部２４ａは、食材の調理温度と、参照レシピの対応工程における調理温度との比較の結果をアドバイス処理部２６に対して提供し、参照レシピの料理を完成させるまでの調理技術に関するアドバイスを選択（実行）するために情報として利用させる。また、採点部２４ａは、問合せ取得部２２ｃが取得した、質問や確認の内容や頻度（質問回数）等に応じて、評価点（理解度評価の調理採点値）の採点を行う。採点部２４ａは、質問や確認の内容や頻度（質問回数）の情報をアドバイス処理部２６に対して提供し、参照レシピの料理を完成させるまでの調理技術に関するアドバイスを選択（実行）するために情報として利用させる。なお、採点部２４ａは、質問回数が多い場合、参照レシピに対する理解度が低いと判定し、評価点を下げるようにしてもよい。また、質問に対する料理サポートシステム１０の回答が肯定の場合、例えば、調理手順の質問に対して、その手順で正しい旨を回答した場合、過熱温度に対する質問に対して、その回答が、過熱が適正でる旨を回答した場合等は、質問回数としてカウントしないようにしたり、加点の対象にしたりしてもよい。また、採点部２４ａは、調理時間取得部２２ｄが取得した調理時間(実調理時間)と、参照レシピの標準調理時間との差分の大きさに応じて、評価点（調理時間評価）の採点を行う。採点部２４ａは、実調理時間と、参照レシピの標準調理時間との差分情報をアドバイス処理部２６に対して提供し、参照レシピの料理を完成させるまでの調理技術に関するアドバイスを選択（実行）するために情報として利用させる。例えば、標準調理時間より実調理時間が長い場合、手順が悪かったり、スキルが低かったりする場合があるので、評価値が低くなり、アドバイス処理部２６によるアドバイスが必要になる。逆に、実際の調理時間が短すぎる場合、手順を省略したり、調理が雑であったりする場合あるので、評価値が低くなるようにしてもよい。この場合もアドバイス処理部２６によるアドバイスが必要になる。

調理評価部２４ｂは、採点部２４ａが採点した評価値（調理採点値）を集計して、ユーザＰが参照レシピに従う調理を実行した場合の調理採点値（全体評価値）を算出する。調理評価部２４ｂは、ユーザＰごと及び調理した参照レシピごとの評価値をサーバ１６の履歴記憶部１６ｂに提供し、記憶させる。

アドバイス処理部２６は、アドバイス内容選択部２６ａ、アドバイスタイミング決定部２６ｂ、出力部２６ｃを含み、評価部２４が算出した調理評価に基づき、参照レシピの料理を完成させるまでの調理技術に関するアドバイスを実行する。

アドバイス内容選択部２６ａは、取得部２２の取得した料理態様（料理手順、食材等の温度、問合せ内容、調理時間等）に基づき、料理が参照レシピに従う結果になるように導くアドバイス内容を予め設定された回答例の中から選択する。回答例は、レシピ記憶部１６ａに参照レシピごとに記憶することができる。例えば、食材の過熱温度が高すぎる場合には、「過熱温度が高すぎます。過熱温度を下げてください。」等のアドバイスを行う。また、例えば、魚の捌き方が参照レシピの捌き方と異なる場合、「捌き方が違います。捌き方は、三枚おろしです。動画をご覧ください。」等のアドバイスを行う。また、問合せ取得部２２ｃがユーザＰからの調理に関する質問を受け付けた場合、参照レシピの内容と比較して質問内容に対応する回答を選択する。例えば、煮込み温度に関する質問を受け付けた場合には、センサ値取得部２２ｂの取得した食材の温度と参照レシピの食材の温度とを比較して、実際の温度が適正温度範囲の場合は、「過熱温度は、最適です。レシピに従い調理を続けてください。」等回答を選択する。また、実際の温度が適正温度範囲より低い場合には、「過熱温度が低すぎます。強火にしてください。」等の回答を選択する。なお、回答内容は、予め準備されたフレーズを選択してもよいし、その都度、音声合成で作成してもよい。

アドバイスタイミング決定部２６ｂは、参照レシピに従う料理を適正に完成させるために、適切な内容のアドバイスを実行するためのタイミングを決定する。例えば、評価部２４において、画像取得部２２ａが取得した撮像情報を参照し、参照レシピの参照調理態様に含まれる参照調理手順とユーザ調理態様に含まれるユーザ調理手順とに差異が検出された場合、アドバイスタイミング決定部２６ｂは、検出されたタイミングを参照調理手順に基づくアドバイスを実行するタイミングを決定する。つまり、実際の調理手順が、参照レシピの手順と異なった場合、即座に手順の違い修正するためのアドバイスを実行する。また、アドバイスタイミング決定部２６ｂは、センサ値取得部２２ｂが取得した食材の温度と参照レシピの対応する調理工程における調理温度が異なる場合、即座に調理温度を修正するためのアドバイスを実行する。また、アドバイスタイミング決定部２６ｂは、問合せ取得部２２ｃがユーザＰからの質問を受け付けた場合、即座に質問に対する回答をアドバイスとして実行する。また、アドバイスタイミング決定部２６ｂは、調理時間取得部２２ｄを介して参照レシピの調理工程に対して調理時間のずれを検出した場合、即座に調理時間の修正を行うためのアドバイスを実行する。

出力部２６ｃは、アドバイス内容選択部２６ａによって選択されたアドバイス内容を、アドバイスタイミング決定部２６ｂで決定された適切なタイミングで逐次出力し、アドバイス内容を情報提供装置１４に表示させたり、音声で出力させたりする。このように、アドバイス内容選択部２６ａで選択したアドバイスの内容を、アドバイスタイミング決定部２６ｂで決定した適切なタイミングで出力することにより、参照レシピに従う料理をより正確に再現させやすくなるとともに、ユーザＰの料理技術の向上に寄与するこができる。

上述したように構成される料理サポートシステム１０のサポート処理の流れを図５に例示的に示すフローチャートを用いて説明する。

ユーザＰにおいて、センシング機器１２や情報提供装置１４の所定位置への設置および料理サポートシステム１０へのログイン等の事前準備が完了すると、料理サポートシステム１０による料理サポート処理が開始される。料理サポートシステム１０は、まず、ログインしたユーザの前回サービス利用までの結果、例えば、直近３回の評価値等に基づき、レシピ提供部２０は、今回、料理サポートを実施するための推奨レシピ（複数の参照レシピの候補）を情報提供装置１４に提供（表示）させる（Ｓ１００）。なお、この場合、前述したように、ユーザのリクエストに従い推奨レシピを表示するようにしてもよい。

ユーザＰは、情報提供装置１４に表示された推奨レシピ（複数の参照レシピの候補）を確認し、情報提供装置１４等に設けられた操作入力部を用いて、今回の料理サポートで調理するレシピを選択すると、レシピ提供部２０は、選択された参照レシピの詳細を情報提供装置１４に表示させる（Ｓ１０２）。

続いて、料理サポートシステム１０は、例えば、操作入力部を介してユーザＰの調理開始コマンドの入力を受け付けると、選択された参照レシピに基づく調理工程を示す動画の再生や音声による説明を開始し、ユーザＰに調理を開始させる（Ｓ１０４）。料理サポートシステム１０は、Ｓ１０４の調理開始に合わせて、センシング機器１２の一例であるカメラを介してユーザＰの調理態様の画像情報やサーモカメラ等によるセンサ情報（食材の温度情報等）の取得を開始するとともに、調理時間の計測を開始する（Ｓ１０６）。

ユーザＰによる調理が実施されている間、料理サポートシステム１０は、画像取得部２２ａが取得する画像情報に基づき、参照レシピの調理工程とユーザＰが実際の行っている料理行程とに差異がないか否かの監視を行う（Ｓ１０８）。また、センサ値取得部２２ｂが取得する食材の温度に基づき、過熱温度が高すぎないか否かの監視を行う（Ｓ１１０）。同様に、センサ値取得部２２ｂが取得する食材の温度に基づき、過熱温度が低すぎないか否かの監視を行う（Ｓ１１２）。また、料理サポートシステム１０は、ユーザＰによる調理が実施されている間、問合せ取得部２２ｃを介してユーザＰからの質問を受け付けたか否かの監視を行う（Ｓ１１４）。Ｓ１０８において、参照レシピと比較して、料理行程の差異がない場合（Ｓ１０８のＮｏ）、Ｓ１１０において、参照レシピと比較して、調理中の食材の温度が高すぎない場合（Ｓ１１０のＮｏ）、Ｓ１１２において、参照レシピと比較して、調理中の食材の温度が低すぎない場合（Ｓ１１２のＮｏ）、さらに、ユーザＰからの質問を受け付けていない場合（Ｓ１１４のＮｏ）、料理サポートシステム１０は、調理工程が終了したか否かの判定を行う（Ｓ１１６）。

Ｓ１０８において、参照レシピと比較して、料理行程の差異がある場合（Ｓ１０８のＹｅｓ）、アドバイス処理部２６は、料理行程を適正な工程に修正するためのアドバイスを提供し（Ｓ１１８）、Ｓ１１６に移行して、Ｓ１１６の処理を実行する。同様に、Ｓ１１０にいて、参照レシピと比較して、調理中の食材の温度が高すぎる場合（Ｓ１１０のＹｅｓ）やＳ１１２において、参照レシピと比較して、調理中の食材の温度が低すぎる場合（Ｓ１１２のＹｅｓ）は、Ｓ１１８に移行し、過熱温度に関するアドバイスを提供する。さらに、ユーザＰからの質問を受け付けている場合（Ｓ１１４のＹｅｓ）、Ｓ１１８に移行して、質問に回答する（アドバイスを提供する）。

Ｓ１１６の処理において、参照レシピに従う料理行程が終了していない場合（Ｓ１１６のＮｏ）、Ｓ１０８の処理に移行し、Ｓ１０８以降の処理を継続する。参照レシピに従う料理行程が終了した場合（Ｓ１１６のＹｅｓ）、採点部２４ａによる調理採点値（総合評価）の算出を行い（Ｓ１２０）。その結果を、通信部１８を介して情報提供装置１４に提供し（Ｓ１２２）、情報提供装置１４で表示し、ユーザＰに提示して、このフローを一旦終了する。この場合、料理サポートシステム１０は、調理採点値の表示と併せて、料理の出来具合や調理の進め方等に関するコメント（総評）を情報提供装置１４で出力したり、次回の料理サポートで提供予定の推奨レシピ等の表示を行ったりしてもよい。

なお、図５に示すフローチャートは一例であり、例えば、Ｓ１０８～Ｓ１１４の処理の順序は、いずれが先でもよい。また、参照レシピに従う料理を完成させるために行うアドバイスを実行するためのＳ１０８～Ｓ１１４の処理のようなチェック項目は、図５のフローチャートの項目に限定されず、適宜増減することができる。例えば、食材の捌き方等の詳細なチェック項目を追加したり、盛り付けに関するチェック項目を追加したりしてもよい。

このように、本実施形態の料理サポートシステム１０によれば、在宅で自由な時間に調理教室等のような料理技術向上のための詳細な指導を提供することができる。つまり、参照レシピに示される料理をより正確に再現するためのサポートや調理スキルを向上させるためのサポートをユーザＰの好きな時間帯で何度でも容易に受けることが可能となり、料理サポートシステム１０の使い勝手の向上、利用信頼性の向上、利用頻度の向上等に寄与することができる。

なお、料理サポートシステム１０は、情報提供装置１４で提供する参照レシピに基づく調理手順等を示す動画や静止画の内容を、ユーザＰのスキルに応じて変更してもよい。例えば、スキルの高い（評価が高い）ユーザＰに対しては、調理工程の説明を簡略化した簡易バージョンで提供するようにしてもよい。逆にスキルの低い（評価が低い）ユーザＰに対しては、調理工程の説明を詳細化した詳細バージョンで提供するようにしてもよい。その結果、スキルの高いユーザＰに対しては、取得したスキルに対する説明等が省略され、スムーズに調理を進めさせることができる。また、スキルの低いユーザＰに対しては、より詳細に説明が提供され、スキル向上に寄与し易くなる。

また、料理サポートシステム１０は、ユーザＰに提供するアドバイスの頻度をユーザＰのスキルに応じて変更してもよい。例えば、スキルの高い（評価が高い）ユーザＰに対しては、アドバイスを行うか否かを判定する場合の閾値（調理工程の差異の幅や、食材の温度の差異の幅等）を厳しくする。つまり、許容できる差異の幅を狭くして少しの差異でも違いを検出しアドバイスを提供するようにする。この場合、ユーザＰのスキルをさらに向上させることができる。逆にスキルの低い（評価が低い）ユーザＰに対しては、アドバイスを行うか否かを判定する場合の閾値を緩める。つまり、許容する差異の幅を広くし、多少の差異では、違いを検出せず、過剰なアドバイスを提供しないようにする。この場合、ユーザＰのスキルの向上速度は緩やかになるが、ユーザＰに頻繁なアドバイス提供による煩わしさを与え難く、ユーザＰのモチベーションの低下を軽減しやすくすることができる。

なお、上述した実施形態においては、参照レシピがサーバ１６に記憶されている例を示したが、参照レシピの記憶先は、サーバ１６以外でもよく、料理サポートシステム１０と通信可能な記憶装置に記憶されていてもよい。例えば、ユーザＰの所有する端末に料理サポートシステム１０と連携可能なアプリケーションをインストールしておき、そのアプリケーションを用いて取得したレシピを料理サポートシステム１０で利用可能な参照レシピとしてもよい。ユーザＰの所有する端末は、例えば、情報提供装置１４の他、スマートフォンやタブレット、パーソナルコンピューター等とすることができる。

以上、本発明の実施形態を説明したが、上記実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…料理サポートシステム、１２…センシング機器、１４…情報提供装置、１６…サーバ、１６ａ…レシピ記憶部、１６ｂ…履歴記憶部、１８…通信部、２０…レシピ提供部、２０ａ…リクエストレシピ選択部、２０ｂ…難易度別レシピ選択部、２０ｃ…苦手別レシピ選択部、２２…取得部、２２ａ…画像取得部、２２ｂ…センサ値取得部、２２ｃ…問合せ取得部、２２ｄ…調理時間取得部、２４…評価部、２４ａ…採点部、２４ｂ…調理評価部、２６…アドバイス処理部、２６ａ…アドバイス内容選択部、２６ｂ…アドバイスタイミング決定部、２６ｃ…出力部、２８…参照テーブル、３０…難易度区分。

Claims (6)

1. ユーザが参照する参照レシピを提供するレシピ提供部と、
   前記参照レシピを参照して実行されるユーザの調理の様子を示すユーザ調理態様を取得する取得部と、
   前記参照レシピに示される参照調理態様と前記ユーザ調理態様との比較に基づき、調理評価を行う評価部と、
   前記調理評価に基づき、前記参照レシピの料理を完成させるまでの調理技術に関するアドバイスを実行するアドバイス処理部と、
   を備える、料理サポートシステム。
2. 前記取得部は、前記ユーザの調理の様子を撮像部で撮像した撮像情報を含む前記ユーザ調理態様を取得し、
   前記評価部において前記撮像情報を参照し、前記参照調理態様に含まれる参照調理手順と前記ユーザ調理態様に含まれるユーザ調理手順とに差異の存在が検出された場合、前記アドバイス処理部は、前記参照調理手順に基づく前記アドバイスを実行する、請求項１に記載の料理サポートシステム。
3. 前記アドバイス処理部は、前記取得部が前記ユーザから調理態様に関する問合せを取得した場合に、前記問合せに対する前記アドバイスを実行する、請求項１または請求項２に記載の料理サポートシステム。
4. 前記評価部は、前記参照レシピの料理を完成させるまでの前記アドバイスの回数と、前記アドバイスの内容と、前記参照レシピの料理を完成させるまでの実調理時間と前記参照レシピの標準調理時間との差分と、の少なくとも一つに基づき、前記ユーザの調理採点値を算出する、請求項３に記載の料理サポートシステム。
5. 前記レシピ提供部は、前記調理採点値の履歴と、前記参照レシピの提供履歴と、の少なくとも一方に基づき、次回提供する前記参照レシピの難易度を決定する、請求項４に記載の料理サポートシステム。
6. 前記レシピ提供部は、前記調理採点値が所定の閾値以下の場合は次回提供する前記参照レシピとして苦手調理態様が少ないまたは含まれない苦手回避レシピを提供し、前記調理採点値が前記所定の閾値を超える場合は前記参照レシピとして苦手調理態様が今回提供して参照レシピより多く含まれる苦手克服レシピを提供する、請求項４または請求項５に記載の料理サポートシステム。

Images