JP2022052768A - 料理支援装置、プログラム及び料理支援方法 - Google Patents

Abstract

【課題】料理をする人が、携帯情報端末等の情報機器を接触せずに、効率的、かつ、衛生的に調理方法を見ながら料理をする料理支援装置を提供する。【解決手段】料理支援装置は、取得ステップと、入力受付ステップと、視覚情報生成ステップとを実行する。取得ステップは、料理のレシピを含むレシピ情報を取得する。レシピ情報は、料理の複数の工程を含む。入力受付ステップは、レシピ情報に含まれる各工程を閲覧可能とするための非接触型の入力を受け付ける。視覚情報生成ステップは、非接触型の入力に基づいて、複数の工程のうちの１つを示す視覚情報を生成する。【選択図】図１

Description

本発明は、料理支援装置、プログラム及び料理支援方法に関する。

料理をする人は、携帯情報端末等の情報機器に表示されたレシピや、調理動画を参考にして、料理を作っている。

特許文献１には、調理手順を示す動画を提供する技術が開示されている。

特開２０１９－３６３０６号公報

ところが、このような調理動画を見ながら料理をするのは、テキストを見ながら料理をするよりは、調理方法を理解しやすいが、動画を表示する携帯情報端末を操作しなくてはならない。特許文献１に開示されている技術では、料理を効率的かつ衛生的にすることができない。

本発明の一態様によれば、料理支援装置が提供される。この料理支援装置は、取得ステップと、入力受付ステップと、視覚情報生成ステップとを実行するように構成される。取得ステップでは、料理のレシピを含むレシピ情報を取得する。レシピ情報は、料理の複数の工程を含む。入力受付ステップでは、レシピ情報に含まれる各工程を閲覧可能とするための非接触型の入力を受け付ける。視覚情報生成ステップでは、非接触型の入力に基づいて、複数の工程のうちの１つを示す視覚情報を生成する。

このような料理支援装置によれば、料理をする人が、携帯情報端末等の情報機器を接触せずに、効率的かつ衛生的に調理方法を見ながら料理をすることができる。

料理支援装置３を含むシステム１の模式図である。 料理支援装置３のハードウェア構成を表すブロック図である。 料理支援装置３における制御手段３３が担う機能を表す機能ブロック図である。 実施形態に係るレシピ情報ＲＩの一例を表す図である。 実施形態に係る視覚情報制御部３３４の制御の一例を表す図である。 実施形態に係る調理情報ＣＩの一例を表す図である。 実施形態に係る推定部３３７が調理器具を推定した結果の一例を表す図である。 実施形態に係る推定部３３７が食材の種類等を推定した結果の一例を表す図である。 実施形態に係るＵＩの一例を表す図である。 実施形態に係るアドバイス情報ＡＩの一例を表す図である。 実施形態に係る評価情報ＥＩの一例を表す図である。 実施形態に係る嗜好情報ＰＩの一例を表す図である。 実施形態に係る料理支援方法のアクティビティ図である。

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、電圧・電流といった信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

１．全体構成
本章では、本実施形態に係る料理支援装置について説明する。

１．１ 料理支援装置３
図１は、料理支援装置３を含むシステム１の模式図である。図２は、料理支援装置３のハードウェア構成を表すブロック図である。システム１は、料理支援装置３と、クラウドサーバー８とを備え、これらがインターネットを通じて通信可能に構成されている。また、料理支援装置３は、通信手段３１と、記憶手段３２と、制御手段３３と、表示手段３４と、入力手段３５と、追跡手段３６と、センサー３７と、撮像手段３８とを有する。これらの構成要素が料理支援装置３の内部において通信バス３０を介して電気的に接続されていてもよい。料理支援装置３は、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）が実現できる装置であれば、装置の種類は限定されない。拡張現実とは、実際の景色、地形等の現実環境に、情報処理装置を使ってさらに情報を加える技術を指す。料理支援装置３は、ＡＲを搭載した専用装置、パソコン、携帯情報端末等の機器であってもよいが、好ましくは、ユーザーがその目の周囲を覆うように装着可能に構成される装置であってもよい。例えば、ＡＲウェアラブル端末であってもよい。

ＡＲウェアラブル端末には、メガネ型ＡＲウェアラブル端末、ヘッドマウントディスプレイ、時計型ウェアラブル端末等の端末があるが、実施形態では、料理支援装置３は、ＡＲグラスと称されているメガネ型ＡＲウェアラブル端末を例に説明するものとする。図１に表したように、ＡＲグラス（料理支援装置３）はグラフィックディスプレイ（表示手段３４）を備える。グラフィックディスプレイ（表示手段３４）には、後述するレシピ情報ＲＩを含む視覚情報ＶＤが生成され、現実環境に重ねられる。

本実施形態において、視覚情報ＶＤは、目で見て得られる情報であり、例えば文字で書かれた文章、絵、図等の情報である。拡張情報ＡＤは、拡張現実のうち、特に現実環境に重ねられる仮想の視覚情報ＶＤであるとよい。

（通信手段３１）
通信手段３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。即ち、これら複数の通信手段の集合として実施することがより好ましい。特に、外付けされる入力手段３５、追跡手段３６及びセンサー３７とは、所定の通信規格において通信可能に構成されることが好ましい。

（記憶手段３２）
記憶手段３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、記憶手段３２は、入力手段３５及び追跡手段３６が検出したデータを記憶する。また、記憶手段３２は、後述する制御手段３３が実行する種々の機能を実行させるプログラムを記憶する。また、記憶手段３２は、これ以外にも制御手段３３によって実行される料理支援装置３に係る種々のプログラム等を記憶している。

（制御手段３３）
制御手段３３は、料理支援装置３に関連する全体動作の処理・制御を行う。制御手段３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。図３は、料理支援装置３における制御手段３３が担う機能を表す機能ブロック図である。制御手段３３は、記憶手段３２に記憶された所定のプログラムを読み出すことによって、料理支援装置３に係る種々の機能を実現する。図３においては、単一の制御手段３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御手段３３を有するように実施してもよい。またそれらの組合せであってもよい。これらの各機能は、次章にて詳述する。

（表示手段３４）
表示手段３４は、例えば、料理支援装置３に含まれてもよいし、外付けされてもよい。料理支援装置３が、ＡＲグラスである場合、表示手段３４は、ＡＲグラスのグラフィックディスプレイ部分である。ユーザーは、グラフィックディスプレイを通して現実世界を認識するだけでなく、グラフィックディスプレイに表示された文字や画像（外界情報）を見て拡張現実を認識することができる。料理支援装置３が、ＡＲグラスではない場合、表示手段３４は、料理支援装置３に外付け、又は内蔵されたＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスである。料理支援装置３の種類に応じて使い分けて実施することが好ましい。当該表示デバイスは、制御手段３３における視覚情報生成部３３３の制御信号に応答し、表示画面を生成する。また、制御手段３３の視覚情報制御部３３４の制御信号に応答して、表示画面を選択的に表示しうる。

ＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）は、非透過両眼型、単眼型、透過両眼型等の種類があるが、限定されない。また、表示手段３４の寸法、解像度、ドットピッチ等の仕様も限定されない。

（入力手段３５）
入力手段３５は、ユーザーからの各種指示や情報入力を受け付ける。入力手段３５は、例えば、マウス等のポインティングデバイス、モード切替スイッチ等の選択デバイス、キーボード等の入力デバイスである。また、入力手段３５は、グラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）やナチュラルユーザーインターフェース（タッチやジェスチャーなどの入力手段）を用いることにしてもよい。これらの入力手段３５は、料理支援装置３に内蔵されてもよいし、外付けされてもよい。また、ユーザーは、音声を発して、料理支援装置３に、各種指示や情報を送ってもよい。そのため、入力手段３５は、マイクロフォンであってもよい。

ナチュラルユーザーインターフェースを用いることで、ユーザーは、普段行っている自然な動作で、ＡＲグラス（料理支援装置３）に各種指示や情報を送ることができる。換言すると、ユーザーは、手又は指の動作で、ＡＲグラス（料理支援装置３）に、各種指示や情報を送ることができる。具体的には、後述する撮像手段３８がユーザーの手又は指の動作を撮像し、後述する推定部３３７が、撮像された画像から、ユーザーの各種指示や情報を推定する。また、ユーザーは、手又は指の動作を認識するデータグローブを用いて、ＡＲグラス（料理支援装置３）に、各種指示や情報を送ってもよい。手又は指の動作を認識する手段は、限定されず、認識できる全ての手段が入力手段３５に含まれる。ナチュラルユーザーインターフェースとなる動作対象は、手又は指に限定されず、頭、首、腰等の体の部位全てである。

マイクロフォン（入力手段３５）は、料理支援装置３に内蔵又は外付けされるもので、音を電気信号に変換する音響装置である。具体的には、マイクロフォン（入力手段３５）は、空気振動を機械的振動に変え、それを電気信号に変換する。変換された電気信号は、デジタル電気信号であってもアナログ電気信号であってもよいが、通信手段３１を介して、デジタル電気信号として記憶手段３２に一旦保存される。

入力手段３５は、ユーザーが料理中の周囲の環境状態の各種情報を入力する手段であってもよい。具体的には、入力手段３５は、ユーザーが料理をしている周囲の温度、湿度、音、明るさ等の環境状態を検出するセンサー３７である。

（追跡手段３６）
追跡手段３６は、料理支援装置３に内蔵又は外付けされる視線計測装置である。したがって、追跡手段３６は、ユーザーの視線を追跡するように構成される。具体的には、追跡手段３６は、目の動かない部分である基準点と動く部分である動点を検出し、基準点に対する動点の位置に基づいて、視線を非接触で検出する。視線を検出する手法は、角膜反射法であってもよいし、明／暗瞳孔法であってもよい。手法は、視線を検出できれば限定されない。追跡手段３６は、目を撮像するため可視光又は赤外線のカメラを有する。撮像された画像（外界情報）に基づいて、視線の位置が算出される。

（センサー３７）
センサー３７は、ＡＲグラス（料理支援装置３）に内蔵又は外付けされるもので、速度、加速度、位置等の物理量を検出して電気信号に変える装置である。具体的には、センサー３７は、速度、加速度、位置等の物理量を検出するセンサーであり、ユーザーの姿勢を認識するように構成される。センサーは、接触型、非接触型のどちらでもよい。

速度センサーは動電型のセンサーであり、外力から受ける機械量を電気量に変えて、速度を検出する。加速度センサーは、圧力型、動電型等の方式があるが、限定されない。加速度センサーは、例えば、ピエゾ効果による電気抵抗の変化に基づいて、加速度を検出する。位置センサーは、対象物の直線位置又は角度位置を検出する。位置センサーは、ポテンショメータ式、光学式、磁歪等の方式があるが、限定されない。位置センサーは、例えば、磁気誘導式測定原理に基づいて、位置を検出する。

センサー３７によって検出されたユーザーの料理中に動作する手等の部位の位置、動作速度、加速度等のセンサー情報は、通信手段３１を介して、記憶手段３２に一旦保存され、各機能部によって使用される。特に後述する保存部３３ｄは、センサー情報を時系列に記憶手段３２に保存する。

センサー３７は、ユーザーの姿勢を認識するに留まらず、料理中の周囲の環境状態をセンシングしてもよい。具体的には、センサー３７は、温度、湿度、音、明るさ等の環境状態を検出する。温度センサーは、熱電対、測温抵抗体、サーミスタ等のように温度差によって、電位差又は抵抗値が変化する原理に基づいて、温度を検出する。湿度センサーは、電子式高分子湿度センサー、静電容量変化型湿度センサー等のように湿度差によって、センサー素子の抵抗値やセンサーの有する誘電体の電極間の静電容量が変化する原理に基づいて、湿度を検出する。音センサーは、動電型、静電型、圧電型等に分類されるが、どの方式でも空気の振動を電気信号に変換することで、音を検出する。明るさセンサーは、検出範囲内から入射する光の量を検出するセンサーであり、光センサーとも呼ばれる。光電効果型の光センサーは、光を検出して電気信号に変換することで、光を検出する。環境センサーは、料理中の周囲の環境状態を検出するもの全てのセンサーが対象であり、ここに記載した方式に限定されない。

センサー３７によって検出されたユーザーが料理をしている周囲の温度、湿度、音、明るさ等の環境状態のセンサー情報は、通信手段３１を介して、記憶手段３２に一旦保存させ、各機能部によって使用させてもよい。さらに、後述する保存部３３ｄに、環境状態のセンサー情報を時系列に記憶手段３２に保存させてもよい。

（撮像手段３８）
撮像手段３８は、料理支援装置３に内蔵又は外付けされるもので、映像を撮影するための光学機器である。具体的には、撮像手段３８は、ユーザーの非接触型の入力に基づいて、撮像可能に構成される。撮像手段３８は、例えば、撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅ Ｄｅｖｉｃｅｓ）イメージセンサー又はＣＭＯＳ（Ｃｏｍｐｌｅｔｅｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーを備える。撮像素子は、撮像手段３８の有するレンズから入ってきた光を電気信号に変換する電子部品である。撮像手段３８の撮像素子の数、大きさ等の技術仕様は、限定されない。

撮像手段３８は、対象物にレーザ光を照射して対象物までの距離を測定する測量方法を用いたＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）装置も含む。料理支援装置３は、撮像手段３８としてＬｉＤＡＲを用いて、対象物の位置や形状などを検出してもよい。したがって、外界情報は、カメラ（撮像手段３８）によって撮像された画像でもよいし、この画像は、静止画でも動画でもよい。さらに、外界情報は、ＬｉＤＡＲによって計測された対象物の位置及び形状を含む計測データでもよい。

撮像手段３８によって撮像された外界情報は、通信手段３１を介して、記憶手段３２に一旦保存させ、各機能部によって使用させてもよい。さらに、後述する保存部３３ｄに、外界情報を時系列に記憶手段３２に保存させてもよい。

１．２ クラウドサーバー８
クラウドサーバー８は、不図示の通信手段と、記憶手段と、制御手段とを備え、インターネットを介して料理支援装置３と通信可能に構成されている。料理支援装置３と、クラウドサーバー８とは、必要に応じて様々な情報のやりとりをするように実施してもよい。

２．機能構成
第２章では、本実施形態の機能構成について説明する。前述の制御手段３３に関して、料理支援装置３は、取得部３３１と、入力受付部３３２と、視覚情報生成部３３３と、視覚情報制御部３３４と、タイマー制御部３３５と、外界情報認識部３３６と、推定部３３７と、ＵＩ生成部３３８と、ＵＩ制御部３３９と、外界情報生成部３３ａと、送信部３３ｂと、情報取得部３３ｃと、保存部３３ｄと、変更部３３ｅとを備える。即ち、ソフトウェア（記憶手段３２に記憶されている）による情報処理がハードウェア（制御手段３３）によって具体的に実現されることで、これら各部の機能が実行されうる。以下、各構成要素についてさらに説明する。

２．１ 取得部３３１
取得部３３１は、取得ステップを実行するように構成される。取得部３３１は、後述する料理に係る各種情報を取得する。取得部３３１は、記憶手段３２に保存されている各種情報を読み込んで取得してもよいし、外部のクラウドサーバー８の記憶手段（不図示）に保存されている各種情報を読み込んで取得してもよい。また、取得部３３１は、ＯＣＲ（Ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）等の機器が変換した各種情報のデジタルデータを読み込んで取得してよい。取得された各種情報は、後述する各機能部によって使用される。

２．２ 入力受付部３３２
入力受付部３３２は、入力受付ステップを実行するように構成される。入力受付部３３２は、通信手段３１又は記憶手段３２を介して情報を受け付け、これを作業メモリに読出可能に構成される。特に、入力受付部３３２は、ユーザーからの非接触型の入力を受け付けることで、制御手段３３の各機能が実行される。

２．３ 視覚情報生成部３３３
視覚情報生成部３３３は、視覚情報生成ステップを実行するように構成される。視覚情報ＶＤは、ユーザーが使用するＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）に表示される情報である。視覚情報ＶＤは、テキストデータであってもよいし、グラフィックデータであってもよい。生成された視覚情報ＶＤはコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：ＣＧ）や静止画であってもよいし、動画であってもよい。例えば、視覚情報生成部３３３は、ユーザーからの非接触型の入力に基づいて、後述する調理情報ＣＩを示す視覚情報ＶＤを生成する。

２．４ 視覚情報制御部３３４
視覚情報制御部３３４は、視覚情報制御ステップを実行するように構成される。視覚情報制御部３３４は、視覚情報を制御する。ここで、制御とは、ＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）に表示された視覚情報ＶＤを別の視覚情報ＶＤに切替えたり、視覚情報ＶＤの色や透過度を変えたりすることである。制御される視覚情報ＶＤは、グラフィックディスプレイ（表示手段３４）に表示されている情報に限らず、データとして記憶手段３２に保存されている情報も含む。

さらに、制御は、ＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）に表示された視覚情報ＶＤをズームイン及びズームアウトさせることも含む。そのため、ユーザーは、タッチスクリーン上でスワイプ、ピンチイン、ピンチアウト等の操作をするように、指を動かすことで、視覚情報ＶＤを制御することができる。

２．５ タイマー制御部３３５
タイマー制御部３３５は、タイマー制御ステップを実行するように構成される。タイマーは、調理時間を計測する機能を有し、視覚情報ＶＤとして、グラフィックディスプレイ（表示手段３４）に表示される。タイマーは計測機能を有しているため、動的にタイマーを表す視覚情報ＶＤは変化する。タイマー制御部３３５は、非接触型の入力に基づいて、動的に変化するタイマーを制御する。換言すると、ユーザーは、音声、ジェスチャー、視線等の非接触の入力をＡＲグラス（料理支援装置３）にすることで、調理時間を計測するタイマーを停止させたり、再開させたりできる。

２．６ 外界情報認識部３３６
外界情報認識部３３６は、外界情報認識ステップを実行するように構成される。外界情報認識部３３６は、撮像手段３８が撮像した画像（外界情報）を画像処理し、画像（外界情報）内に存在する調理器具、食材又は調味料の属性を認識する。具体的には、画像処理の手法は、２値化処理、カラー画像処理であり、本手法により、外界情報認識部３３６は、対象物の大きさ、形状及び色を認識することができる。画像処理の手法は、これらの手法に限定されない。画像処理の対象は、調理器具、食材又は調味料に限らず、料理をする上で必要となるすべてのものを含めてよい。また、外界情報がＬｉＤＡＲによって計測された対象物の位置及び形状を含む計測データのように画像以外である場合、外界情報は、予め画像データに変換されるのが好ましいが、限定されない。

２．７ 推定部３３７
推定部３３７は、推定ステップを実行するように構成される。推定部３３７は、認識された調理器具、食材又は調味料の属性に基づいて、調理器具、食材又は調味料の種類、使用状態、体積及び重量の少なくとも１つを推定する。推定部３３７は、調理器具、食材又は調味料の種類、使用状態、体積及び重量等の調理に必要な情報を推定するにあたってＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）や機械学習の手法を用いてもよい。

２．８ ＵＩ生成部３３８
ＵＩ生成部３３８は、ＵＩ生成ステップを実行するように構成される。ＵＩ生成部３３８は、拡張情報ＡＤの配置及び色を生成することで、新たなＵＩを生成する。ＵＩ生成部３３８は、ユーザーにとって視認性のよい拡張情報ＡＤを表示するＵＩを、ＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）に生成する。視認性のよい拡張情報ＡＤの対象は、後述する料理に関する情報である。これらの拡張情報ＡＤを表示するＵＩの配置や色は、エルゴノミクスやユーザーの好みを考慮して決定される。

２．９ ＵＩ制御部３３９
ＵＩ制御部３３９は、ＵＩ制御ステップを実行するように構成される。ＵＩ制御部３３９は、非接触型の入力に基づいて、拡張情報ＡＤの配置、色及び透明度を制御することで、ＵＩを制御する。ＵＩ制御部３３９は、ユーザーにとって視認性のよい拡張情報ＡＤを表示するＵＩを、ユーザーの要求に応じて制御する。

２．１０ 外界情報生成部３３ａ
外界情報生成部３３ａは、外界情報生成ステップを実行するように構成される。外界情報生成部３３ａは、撮像手段３８に基づいて外界情報を生成する。具体的には、外界情報生成部３３ａは、ユーザーが撮像した料理の外界情報から画像データ又はＬｉＤＡＲデータを生成する。また、外界情報生成部３３ａは、記憶手段３２に記憶された外界情報から画像データ又はＬｉＤＡＲデータを生成してもよい。画像は、静止画であっても動画であってもよい。静止画の画像データは、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＴＩＦＦ、ＢＭＰ等の形式であり、限定されない。動画の画像データは、ＡＶＩ、ＭＰ４、ＭＯＶ、ＭＰＥＧ、ＭＫＶ、ＷＭＶ、ＦＬＶ、ＡＳＦ等の形式であり、限定されない。ＬｉＤＡＲデータは、ＡＳＣＩＩ、ＬＡＳ等の形式であり、限定されない。

２．１１ 送信部３３ｂ
送信部３３ｂは、送信ステップを実行するように構成される。送信部３３ｂは、外界情報を外部のクラウドサーバー８に送信する。送信部３３ｂは、外界情報に限らずセンサー情報やテキストデータも外部のクラウドサーバー８に送信する。送信部３３ｂが、外界情報等の各種データを送信するタイミングは、限定されない。ユーザーからの要求に応じて、送信部３３ｂが各種データを送信してもよいし、所定の時間に送信部３３ｂが各種データを送信してもよい。

２．１２ 情報取得部３３ｃ
情報取得部３３ｃは、情報取得ステップを実行するように構成される。情報取得部３３ｃは、クラウドサーバー８を介して、各種情報を取得する。具体的に説明すると、各種情報は、電気通信回線を通じて、クラウドサーバー８から料理支援装置３に送信されて、記憶手段３２に一旦保存される。情報取得部３３ｃは、記憶手段３２に保存されている各種情報を読み込んで取得する。

２．１３ 保存部３３ｄ
保存部３３ｄは、保存ステップを実行するように構成される。保存部３３ｄは、センサーより取得したセンサー情報及び外界情報を記憶手段に記憶させる。保存部３３ｄは、ユーザーがＡＲグラス（料理支援装置３）を使用している間、ＡＲグラス（料理支援装置３）が取得するあらゆるデータを記憶手段３２に保存することができる。センサー情報は、ＡＲグラス（料理支援装置３）に内蔵又は外付けされた各種センサーが取得した情報である。センサー情報は、料理時間と紐付けされており、時系列の情報である。したがって、保存部３３ｄは、センサー情報を時系列に記憶手段３２に保存する。

２．１４ 変更部３３ｅ
変更部３３ｅは、変更ステップを実行するように構成される。変更部３３ｅは、指定されたルールに基づいて、又はユーザーからの変更指示に基づいて料理に関する各種情報を変更する。

３．ＡＲグラス（料理支援装置３）の機能
第３章では、第１章及び第２章で説明したＡＲグラス（料理支援装置３）の各機能について説明する。

３．１ 料理支援の機能
図４は、実施形態に係るレシピ情報ＲＩの一例を表す図である。レシピ情報ＲＩは、料理をするのに必要な情報が記載されている。ユーザーは、ＡＲグラス（料理支援装置３）の記憶手段３２に予めレシピ情報ＲＩを保存する。取得部３３１は、記憶手段３２に保存されている料理のレシピを含むレシピ情報ＲＩを取得する。取得部３３１は、クラウドサーバー８の記憶手段３２に保存されているレシピ情報ＲＩを、電気通信回線を通じて取得してもよい。取得手段は限定されない。ここで、レシピ情報ＲＩは、料理の複数の工程を含む情報である。レシピ情報ＲＩに含まれる各工程とは、ユーザーが理解しやすいように、料理をする手順を分割した各単位である。

入力受付部３３２は、レシピ情報ＲＩに含まれる各工程を閲覧可能とするための非接触型の入力を受け付ける。入力受付部３３２は、特に料理中のユーザーからの入力を受け付ける。閲覧可能とは、料理支援装置３がＡＲグラスである場合、ＡＲグラスのグラフィックディスプレイに工程単位でレシピ情報ＲＩが表示されて、ユーザーが視認可能となる状態である。ここで、非接触型の入力は、ユーザーの視線、音声又はジェスチャーであるが、料理中の姿勢であってもよい。入力は、これらの手段に限定されない。

視覚情報生成部３３３は、非接触型の入力に基づいて、複数の工程のうちの１つを示す視覚情報ＶＤを生成する。視覚情報ＶＤは、ユーザーが使用するＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）に表示される情報である。ユーザーは料理中に非接触で、ユーザーの好むレシピ情報ＲＩに含まれる各工程を閲覧することができる。レシピ情報ＲＩは、現実世界の情報と重ねられて、拡張情報ＡＤとして、グラフィックディスプレイ（表示手段３４）に表示される。そのためユーザーは、調理を止めることなくレシピ情報ＲＩを閲覧することができる。

視覚情報ＶＤは、ユーザーからの非接触の入力又は画像（外界情報）の入力に基づいて視覚情報生成部３３３で生成される。視覚情報生成部３３３は、リアルタイムで視覚情報ＶＤを生成してもよいが、時間差を設定して、ユーザーからの非接触の入力等より遅れて視覚情報ＶＤを生成してもよい。視覚情報生成部３３３が視覚情報ＶＤを生成するタイミングは、ユーザーからの要求に応じて決定される。

ＡＲグラス（料理支援装置３）は、環境センサーを備えているため、料理中の周囲の環境状態によって、非接触の入力方式を切替えてもよい。具体的には、ＡＲグラス（料理支援装置３）が音センサーに料理中の周囲の音量を検出させ、音量が基準値以上の場合、入力受付部３３２は、音声より、視線やジェスチャー等の非接触入力を優先的に受け付けてもよい。料理中の周囲の環境状態が変化しても、定常状態でユーザーは料理をすることができる。

ユーザーは、料理の進行状況に応じて、レシピ情報ＲＩに含まれる各工程をユーザーの意図通りに閲覧できる。具体的に説明すると、入力受付部３３２は、レシピ情報ＲＩに含まれる各工程を制御可能とするための非接触型の入力を受け付ける。視覚情報制御部３３４は、非接触型の入力に基づいて、複数の工程のうち１つを示す視覚情報ＶＤを制御する。図５は、実施形態に係る視覚情報制御部３３４の制御の一例を表す図である。視覚情報制御部３３４が視覚情報ＶＤを制御するトリガーとなる入力は、ユーザーの音声、ジェスチャー、視線等の非接触の入力である。図５では、ユーザーは、首を振ることで、レシピ情報ＲＩの工程を表す拡張情報ＡＤを変更している。具体的には、センサー３７が首の動きを検知し、首の移動方向に応じて、視覚情報制御部３３４が拡張情報ＡＤを制御する。

ＡＲグラス（料理支援装置３）は、追跡手段３６を備えているため入力受付部３３２は、レシピ情報ＲＩに含まれる各工程を閲覧可能とするための視線の入力を受け付ける。ユーザーは、視覚情報制御部３３４に、視線に基づいて、視覚情報ＶＤを制御させることができる。そのためユーザーは、調理の進行状況に応じて必要なレシピ情報ＲＩを、料理中の動作を妨げられずに閲覧することができる。

図６は、実施形態に係る調理情報ＣＩの一例を表す図である。調理情報ＣＩは、料理に役立つ情報である。ユーザーは、ＡＲグラス（料理支援装置３）の記憶手段３２に予め調理情報ＣＩを保存する。取得部３３１は、記憶手段３２に保存されている料理の調理情報ＣＩを取得する。取得部３３１は、クラウドサーバー８の記憶手段（不図示）に保存されている調理情報ＣＩを、電気通信回線を通じて取得してもよい。取得手段は限定されない。ここで、調理情報ＣＩは、各工程での調理に役立つ調理方法又は調理ノウハウを含む。また、調理情報ＣＩは、食材の産地、調味料の製造メーカ等の仕入れ情報を含んでもよい。

入力受付部３３２は、調理情報ＣＩを提供可能とするための非接触型の入力を受け付ける。非接触型の入力は、前述したレシピ情報ＲＩと同様、ユーザーの視線、音声又はジェスチャーであるが、料理中の姿勢であってもよい。

調理情報ＣＩは、料理に役立つ情報である。そのため、料理中に、ユーザーがＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）で閲覧できるように、視覚情報生成部３３３は、非接触型の入力に基づいて、調理情報ＣＩを示す視覚情報ＶＤを生成する。ユーザーはさらに調理の進行状況に応じて必要な調理情報ＣＩを閲覧するために、視覚情報制御部３３４は、非接触型の入力に基づいて、調理方法を示す調理情報ＣＩを制御させることができる。

ＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）にレシピ情報ＲＩ及び調理情報ＣＩが拡張情報ＡＤとして表示されることで、ユーザーは、非接触で料理に関する情報が得られるだけでなく、非接触で意図した情報を取得することができる。料理本や情報端末機器に表示されている調理方法を見ながら料理をするよりも、ユーザーは、効率よくかつ衛生的に料理をすることができる。また、レシピ情報ＲＩ及び調理情報ＣＩが表示されているグラフィックディスプレイ（表示手段３４）には、料理をしている現実環境も同時に表示されているため、ユーザーは、料理中の視線や動作を妨げられることなく、料理をすることができる。そのため、ユーザーは、間断なく料理をすることができるため、料理をする上でのミスも低減される。

３．２ 調理時間の計測機能
ＡＲグラス（料理支援装置３）の視覚情報生成部３３３は、少なくとも１つのタイマーを視覚情報ＶＤとして生成する。ここで、タイマーは、調理時間を計測するものである。そのためユーザーは、調理時間を的確に把握できる。具体的には、入力受付部３３２は、タイマーを制御可能とするためのユーザーからの非接触型の入力を受け付けて、その入力に基づいて、入力受付部３３２は、タイマーを視覚情報ＶＤとしてグラフィックディスプレイ（表示手段３４）上に生成する。

タイマー制御部３３５は、非接触型の入力に基づいて、タイマーを制御する。ユーザーは、音声、ジェスチャー、視線等の非接触の入力をＡＲグラス（料理支援装置３）にすることで、調理時間を計測するタイマーを停止させたり、再開させたりできる。食材を煮る時間を計測するタイミングを誤ってやり直すとき、レシピ情報ＲＩとは異なるやり方をして計測時間が延長されるときにタイマー制御部３３５は有用である。

タイマーは、料理が並行して行われることを想定して複数用意されている。タイマー制御部３３５は、ユーザーからの非接触の入力に基づいて、複数のタイマーから所望のタイマーを特定して、制御する。タイマー制御部３３５は、同時に複数のタイマーを制御することもできる。

尚、タイマーは、指定した時刻にタイマーの拡張情報ＡＤの色を変更させて、ユーザーに警鐘を伝えてもよいが、音声でユーザーに警鐘を伝えてもよい。

ＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）にタイマーが拡張情報ＡＤとして表示されることで、ユーザーは、腕時計やキッチンにある時計を見ずに、料理をすることができる。また、ユーザーは、ジェスチャーや視線の動きで、タイマーを停止させたり再開させたりできるため、ロス時間なくタイマーを制御することができる。また、ユーザーは、調理をしている数と同等数のタイマーをグラフィックディスプレイ（表示手段３４）上に表示させることができる。そのため、ユーザーは、正確な調理時間で料理をすることができる。

３．３ 調理用の計量器具機能
外界情報認識部３３６は、調理器具、食材又は調味料の属性を認識する。ここで、属性は、調理器具、食材又は調味料の形状、大きさ及び色の少なくとも１つである。ＡＲグラス（料理支援装置３）の撮像手段３８によって撮像された調理器具、食材又は調味料の外界情報は、画像データとして入力受付部３３２に入力され、外界情報認識部３３６によって、画像処理される。具体的には、画像処理の手法は、２値化処理、カラー画像処理によって、対象物の大きさ、形状及び色を認識する。画像処理の手法は、これらの手法に限定されない。画像処理の対象は、調理器具、食材又は調味料に限らず、料理をする上で必要となるすべてのものを含めてよい。

推定部３３７は、属性に基づいて、調理器具、食材又は調味料の種類、使用状態、体積及び重量の少なくとも１つを推定する。推定部３３７は、外界情報認識部３３６の処理の結果得られた対象物の大きさ、形状及び色等の属性と、レシピ情報ＲＩ及び調理情報ＣＩ等の調理に関する情報に基づいて調理器具、食材又は調味料の種類、使用状態、体積及び重量の少なとも１つを推定する。推定部３３７は、調理器具、食材又は調味料の種類、使用状態、体積及び重量等の調理に必要な情報を推定するにあたってＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）手法を用いてもよい。

視覚情報生成部３３３は、画像（外界情報）の入力に基づいて、種類、使用状態、体積及び重量の少なくとも１つを示す視覚情報ＶＤを生成する。図７は、実施形態に係る推定部３３７が調理器具を推定した結果の一例を表す図である。図８は、実施形態に係る推定部３３７が食材の種類等を推定した結果の一例を表す図である。図８に表されたように、ユーザーは、グラフィックディスプレイ（表示手段３４）を通じて、調理に必要な情報を知ることができる。

このように、推定部３３７が推定した調理器具の種類が、ＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）に表示される。また、調理器具の使用状態も表示される。そのためユーザーは、レシピ情報ＲＩ及び調理情報ＣＩ等に含まれる調理器具と同じ種類のものが使用されているか、また調理器具の正しい使用状態かどうか確認することができる。ユーザーは、誤った調理器具を使用するミスを削減することができる。調理器具の推定機能は、安全面からも望まれるものである。

また、ＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）に、食材及び調味料の計量結果が表示されるため、ユーザーは、計量器具を使用せずに食材及び調味料を非接触で計量できる。ユーザーは、計量器具を用いて計量する場合と比べて、効率よくかつ適切に料理をすることができる。さらに、ユーザーは、計量器具の購入費用を削減でき、かつ計量器具を配置するスペースを削減できる。

推定部３３７が調理器具、食材又は調味料の種類、使用状態、体積及び重量の少なとも１つを推定するため、ユーザーは、適正な調理器具、食材及び調味料を適正に使用して、料理をすることができる。ユーザーは、正しい調理工程で料理をするため、所望の料理の味と風味を楽しめる。

３．４ ＵＩの設定及び変更機能
さらにユーザーは、ＵＩ生成部３３８にＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）上の表示される拡張情報ＡＤを配置させ、色付けさせることで、好みにＵＩを作成できる。具体的には、入力受付部３３２は、拡張情報ＡＤの配置を指示する入力するための非接触型の入力を受け付ける。拡張情報ＡＤは、料理を支援するための視覚情報ＶＤである。ＵＩ生成部３３８は、ユーザーの非接触型の入力に基づいて、拡張情報ＡＤの配置及び色を生成することで、新たなＵＩを生成する。

図９は、実施形態に係るＵＩの一例を表す図である。このように、ＵＩ生成部３３８は、ユーザーにとって視認性のよい拡張情報ＡＤを表示するＵＩを、グラフィックディスプレイ（表示手段３４）上に生成する。図９に表されているように、対象となる視認性のよい拡張情報ＡＤは、レシピ情報ＲＩの工程、調理情報ＣＩ、食材、調味料、調理器具、計量器具等の料理に関する情報である。これらの拡張情報ＡＤを表示するＵＩの配置や色は、エルゴノミクスやユーザーの好みを考慮して決定される。ＵＩ生成部３３８が生成したＵＩにより、ユーザーは、効率よく料理をすることができる。さらに、調味料の分量や調理手順を間違えることが低減される。

ユーザーは、非接触型の入力をして、ＵＩの作成及び変更をできるため、料理中でもＵＩの操作が可能である。具体的に説明すると、ＵＩ制御部３３９は、ユーザーからの非接触型の入力に基づいて、拡張情報ＡＤの配置、色及び透明度を制御することで、ＵＩを制御する。ＵＩ制御部３３９は、ユーザーにとって視認性のよい拡張情報ＡＤを表示するＵＩを、ユーザーの要求に応じて制御する。そのためユーザーは、料理をする周囲の明るさや状況に応じて、ＵＩを変更することができる。このＵＩ制御部３３９の機能により、ユーザーは、常に最適なＵＩを通じてレシピ情報ＲＩの工程及び調理情報ＣＩ等の拡張情報ＡＤを視認することができる。

ＵＩ制御部３３９は、ユーザーにとって視認性のよい拡張情報ＡＤを表示するＵＩを、料理中の周囲の環境状態によって制御させてもよい。具体的には、センサー３７が検出した明るさが基準値より暗い場合、ＵＩ制御部３３９は、ユーザーにとって視認性のよい拡張情報ＡＤを表示するＵＩを、明るさの規準値によって制御してもよい。このように、ＵＩ制御部３３９は、ユーザーにとって視認性のよい拡張情報ＡＤを表示するため、料理中の周囲の環境状態に応じてＵＩを変更する。

上述したＵＩの設定及び変更機能によって、ユーザーは、拡張情報ＡＤの配置、色を自分の好みに合わせることができる。拡張情報ＡＤの配置は、ユーザーのキッチンの大きさ、レイアウトに応じて変更されるので、ユーザーは、グラフィックディスプレイ（表示手段３４）に表示される拡張情報ＡＤを見て、ストレスを感じにくくなる。その結果、ユーザーは料理に専心することができる。

さらに、センサー３７が検出した料理中の周囲の明るさ等の環境状態によって、拡張情報ＡＤが視認性よい配置、色に自動的に変更されるため、ユーザーは、料理中のミスをさらに低減することができる。

３．５ 料理の知見、スキルを得るための機能
ユーザーは、料理中にＡＲグラス（料理支援装置３）の備える撮像手段３８を用いて、食材、調味料等の料理に関するものを撮像することができる。具体的には、料理支援装置３の外界情報生成部３３ａは、撮像手段３８に基づいて画像（外界情報）を生成する。画像は、静止画であっても動画であってもよい。

ユーザーは、これらの料理に関する画像を個人的に楽しむだけでなく、料理の知見、スキルを得るために、外部の専門家に見てもらうことができる。具体的には、ＡＲグラス（料理支援装置３）の送信部３３ｂに、これらの撮像された画像（外界情報）を外部のクラウドサーバー８に送信させることで、アドバイス情報ＡＩを得ることができる。図１０は、実施形態に係るアドバイス情報ＡＩの一例を表す図である。アドバイス情報ＡＩは、クラウドサーバー８の管理者が、食材、調味料等の画像（外界情報）を確認して、作成したものである。作成されたアドバイス情報ＡＩは、クラウドサーバー８の記憶手段に保存されるため、情報取得部３３ｃは、クラウドサーバー８を介して、アドバイス情報ＡＩを取得する。

アドバイス情報ＡＩは、ＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）に拡張情報ＡＤとして表示させてもよい。アドバイス情報ＡＩがグラフィックディスプレイ（表示手段３４）上に表示されるため、ユーザーは料理をしている間に、アドバイス情報ＡＩを見ながら料理をすることができる。

クラウドサーバー８の管理者は、料理研究家、料理評論家、プロの料理人等の料理に関する専門家を含むため、ユーザーは、拡張情報ＡＤから料理の様々な知見やスキルを得ることができる。ユーザーは、ＡＲグラス（料理支援装置３）の撮像手段３８を用いて、調理中の料理、食材、完成した料理を撮像できるため、携帯情報端末のカメラ機能を使う場合と比較して、容易に画像（外界情報）が得られる。この結果、多くの画像（外界情報）によって、アドバイス情報ＡＩが作成されるため、ユーザーへのアドバイスがより的確なものになる。ユーザーの料理に対するモチベーションがさらに高まる。

３．６ 他のユーザーと一緒に料理を上達させるための機能
ユーザーは、ＡＲグラス（料理支援装置３）の保存部３３ｄが記憶手段３２に記憶した時系列のセンサー情報を、クラウドサーバー８に送信することで、評価情報ＥＩを得ることができる。図１１は、実施形態に係る評価情報ＥＩの一例を表す図である。評価情報ＥＩとは、クラウドサーバーに保存されている他のユーザーのセンサー情報及び画像（外界情報）に基づいて評価された情報である。具体的には、保存部３３ｄは、センサーより取得したセンサー情報及び画像（外界情報）を記憶手段に記憶させる。ここで、センサー情報とは、ユーザーの姿勢、ユーザーの手の位置及び動作速度のうち少なとも１つを含む情報である。このセンサー情報を解析することで、ユーザーが料理中にどのような姿勢で料理をしていたか、ユーザーが調理器具をどのように使用していたか等の料理中の動作が把握される。他のユーザーの動作と比較して解析するために、送信部３３ｂは、センサー情報及び画像（外界情報）をクラウドサーバー８に送信する。

クラウドサーバー８上で、ＡＲグラス（料理支援装置３）を使用しているユーザーのセンサー情報が収集されて、解析される。評価情報ＥＩには、他のユーザーが調理中に行う動作と比較して、どのような違いがあるか、どこに課題であるのか、どのように修正すればよいのか等のコメントが含まれている。作成された評価情報ＥＩは、クラウドサーバー８の記憶手段に保存されるため、情報取得部３３ｃは、クラウドサーバーを介して、評価情報ＥＩを取得する。

クラウドサーバー８上で、ＡＲグラス（料理支援装置３）を使用しているユーザーの視覚情報が静止画像又は動画像として収集されて、解析されてもよい。評価情報ＥＩには、他のユーザーの調理中における視覚情報と比較して、どのような違いがあるか、どこを見て料理をすればよいのか等のコメントが含まれている。

評価情報ＥＩは、統計学に基づいて生成されるが、管理者の意見や感想も加えて生成されてもよい。具体的には、料理を調理する速度や手の位置等の動作に係る母集団のデータの平均値、分散値から、ユーザーの料理の状態が評価され、評価情報ＥＩが生成される。評価情報ＥＩは、統計的に解析された定量的なデータ及び前述したクラウドサーバー８の管理者の評価情報も含む。

ユーザーは、取得された評価情報ＥＩから料理をする上での新たな課題や目標を知ることができる。このような課題や目標を把握することで、ユーザーは、料理を上達させることができる。さらに、評価情報ＥＩは、視覚情報に基づく管理者の評価情報も含むため、ユーザーは、料理中の動作のみならず視線も含めた幅広い評価が得られる。

３．７ ユーザーの好みをアップデートさせるための機能
料理に対する嗜好は、個人々々異なる。そのため、ＡＲグラス（料理支援装置３）が提示するレシピ情報ＲＩは、カスタマイズされたものが好ましい。カスタマイズを実現するため、取得部３３１は、ユーザーの嗜好情報ＰＩを取得する。ここで、図１２は、実施形態に係る嗜好情報ＰＩの一例を表す図である。嗜好情報ＰＩは、ユーザーの味の好み、食欲状態及び気分のうち少なくとも１つを含む。料理支援装置３は、ユーザーに一方的にレシピ情報ＲＩ及び調理情報ＣＩを提供するのみならず、ユーザーからの嗜好情報ＰＩを得ることで、よりユーザーの満足するレシピ情報ＲＩ及び調理情報ＣＩを提供することができる。嗜好情報ＰＩは、予め記憶手段３２に記憶されてもよいし、入力手段３５を用いて入力されてもよい。

ユーザーの料理に対する嗜好は日々変化するものであり、ユーザーは、その日の嗜好にあったレシピの料理を求める傾向にある。そのため、料理支援装置３は、日々変化したユーザーの嗜好に応じたレシピ情報ＲＩを提供するように、変更部３３ｅは、嗜好情報ＰＩに基づいて、レシピ情報ＲＩを変更する。

変更部３３ｅは、ユーザーからの要求に応じて、レシピ情報ＲＩを変更してもよいし、ユーザーの生活データに基づいてレシピ情報ＲＩを変更してもよい。ここで、生活データは、温度、湿度等の環境データ、体重データ、献立メニュー等のユーザーの嗜好に影響を与えるすべてのデータを含む。

ユーザーの好みを反映した嗜好情報ＰＩに基づいて、レシピ情報ＲＩが変更されることで、ユーザーは、ＡＲグラス（料理支援装置３）を使用している間、自分の好みの料理をすることができる。また健康管理、健康維持を図るため、カロリー制限がなされた料理をすることもできる。ＡＲグラス（料理支援装置３）は、嗜好面と健康面の双方を加味したレシピ情報ＲＩをユーザーにて提供することができるため、ユーザーは、健康面でも安心できる自分の嗜好にあった料理をすることができる。

４．ＡＲグラス（料理支援装置３）を用いた料理支援方法
第４章では、第１章～第３章で説明したＡＲグラス（料理支援装置３）を用いた料理支援方法について説明する。料理支援方法は、料理支援方法は、取得ステップと、入力受付ステップと、視覚情報生成ステップとを備える。取得ステップでは、料理のレシピを含むレシピ情報ＲＩを取得する。レシピ情報ＲＩは、料理の複数の工程を含む。入力受付ステップでは、レシピ情報ＲＩに含まれる各工程を閲覧可能とするための非接触型の入力を受け付ける。視覚情報生成ステップでは、非接触型の入力に基づいて、複数の工程のうちの１つを示す視覚情報ＶＤを生成する。具体的に、この料理支援方法について説明する。

図１３は、実施形態に係る料理支援方法のアクティビティ図である。以下、本図に沿って説明する。

（アクティビティＡ０１）
ユーザーは、ＡＲグラス（料理支援装置３）を装着する。
（アクティビティＡ０２）
取得部３３１は、料理のレシピを含むレシピ情報ＲＩを取得する。
（アクティビティＡ０３）
入力受付部３３２は、レシピ情報ＲＩを閲覧可能とするため、ユーザーからの非接触型の入力を受け付ける。
（アクティビティＡ０４）
視覚情報生成部３３３は、非接触型の入力に基づいて、レシピ情報ＲＩの有する複数の工程のうち１つを示す視覚情報ＶＤを生成する。視覚情報ＶＤは、ＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）に表示される。
（アクティビティＡ０５）
ユーザーは、グラフィックディスプレイ（表示手段３４）に表示されたレシピ情報ＲＩの有する工程を見ながら料理を創作する。
（アクティビティＡ０６）
ユーザーは、料理が終了したかどうか判断する。継続する場合、アクティビティＡ０７が実行される。継続しない場合、調理は完了する。
（アクティビティＡ０７）
入力受付部３３２は、レシピ情報ＲＩに含まれる各工程を制御可能とするため、ユーザーからの非接触型の入力を受け付ける。
（アクティビティＡ０８）
視覚情報制御部３３４は、非接触型の入力に基づいて、複数の工程のうち１つを示す視覚情報ＶＤを制御する。制御された視覚情報ＶＤは、ＡＲグラス（料理支援装置３）のグラフィックディスプレイ（表示手段３４）に表示される。引続きアクティビティＡ０５が実行される。

５．その他
下記のような態様によって前述の実施形態を実施してもよい。

（１）料理支援装置３は、音声情報生成部を備えてもよい。音声情報生成部は、非接触型の入力に基づいて、複数の工程のうち１つを示す音声情報を生成する。ユーザーは、視覚情報ＶＤに加えて、音声情報から料理を創作することができる。ユーザーは、体調の優れていないときでも、より確実にレシピ情報ＲＩを把握することができる。
（２）料理支援装置３は、価格取得部を備えてもよい。価格取得部は、青果物市況情報、牛肉相場日報、水産物の市況等の市場情報を取得する。取得された市場情報は、レシピ情報ＲＩに加えられる。ユーザーは、料理に係る費用を把握することができる。
（３）価格取得部は、ユーザーの利用するスーパー、専門店等の店舗等のチラシ情報を取得してもよい。取得されたチラシ情報は、レシピ情報ＲＩに加えられる。ユーザーは、料理に係る費用をより正確に把握することができる。
（３）料理支援装置３は、レシピ選定部を備えてもよい。取得部３３１は、食材保管情報を取得する。食材保管情報は、ユーザーが保管している食材及びは調味料の種類、数量、分量である。レシピ選定部は、食材保管情報に基づいてレシピ情報ＲＩを選定する。ユーザーは、保管されている食材及び調味料を有効に使用することができる。
（４）レシピ情報ＲＩに食材のカロリー情報が付加されてもよい。レシピ選定部は、カロリー情報に基づいてレシピ情報ＲＩを選定する。低カロリー嗜好のユーザーは、容易にレシピを選定できる。
（５）取得部３３１は、ユーザーの食材の好き嫌い又はアレルギーに関する情報を取得してもよい。レシピ選定部は、食材の好き嫌い又はアレルギーに関する情報に基づいてレシピ情報ＲＩを選定する。ユーザーは、好みの味のレシピ又は安全なレシピを得ることができる。
（６）料理支援装置３は、分量計算部を備えてもよい。取得部３３１は、人数情報を取得する。人数情報は、料理を食べる人の性別、年代別等の属性を考量した人数である。分量計算部は、これらの属性に基づいて、レシピ情報ＲＩに含まれる食材及び調味料の分量を計算する。ユーザーは、適切な量の料理をすることができる。
（７）料理支援装置３は、調理時間計算部を備えてもよい。取得部３３１は、人数情報を取得する。人数情報は、料理を食べる人の性別、年代別等の属性を考量した人数である。調理時間計算部は、これらの属性、レシピ情報ＲＩ及び調理情報ＣＩに基づいて標準的な調理時間を計算する。
（８）コンピュータを料理支援装置３における各ステップとして実行させるプログラムが提供されてもよい。

さらに、次に記載の各態様で提供されてもよい。
前記料理支援装置において、前記非接触型の入力は、視線、音声又はジェスチャーである、もの。
前記料理支援装置において、視覚情報制御ステップをさらに実行するように構成され、前記入力受付ステップでは、前記レシピ情報に含まれる各工程を制御可能とするための前記非接触型の入力を受け付け、前記視覚情報制御ステップでは、前記非接触型の入力に基づいて、前記複数の工程のうち１つを示す前記視覚情報を制御する、もの。
前記料理支援装置において、前記取得ステップでは、前記料理の調理情報を取得し、ここで前記調理情報は、前記各工程での調理に役立つ調理方法又は調理ノウハウを含み、前記入力受付ステップでは、前記調理情報を提供可能とするための前記非接触型の入力を受け付け、前記視覚情報生成ステップでは、前記非接触型の入力に基づいて、前記調理情報を示す前記視覚情報を生成し、前記視覚情報制御ステップでは、前記非接触型の入力に基づいて、前記調理方法を示す前記視覚情報を制御する、もの。
前記料理支援装置において、追跡手段をさらに備え、前記追跡手段は、ユーザーの視線を追跡するように構成され、前記入力受付ステップでは、前記レシピ情報に含まれる各工程を閲覧可能とするための前記視線の入力を受け付け、前記視覚情報制御ステップでは、前記視線に基づいて、前記視覚情報を制御する、もの。
前記料理支援装置において、タイマー制御ステップをさらに実行するように構成され、前記入力受付ステップでは、タイマーを制御可能とするための前記非接触型の入力を受け付け、ここで前記タイマーは、調理時間を計測するものであり、前記タイマー制御ステップでは、前記非接触型の入力に基づいて、前記タイマーを制御する、もの。
前記料理支援装置において、外界情報認識ステップと、推定ステップとをさらに実行するように構成され、前記入力受付ステップでは、前記レシピ情報に係る調理器具、食材又は調味料の外界情報の入力を受け付け、前記外界情報認識ステップでは、前記調理器具、前記食材又は前記調味料の属性を認識し、ここで前記属性は、前記調理器具、前記食材又は前記調味料の形状、大きさ及び色の少なくとも１つであり、前記推定ステップでは、前記属性に基づいて、前記調理器具、前記食材又は前記調味料の種類、使用状態、体積及び重量の少なくとも１つを推定し、前記視覚情報生成ステップでは、前記外界情報の入力に基づいて、前記種類、前記体積及び前記重量の少なくとも１つを示す前記視覚情報を生成する、もの。
前記料理支援装置において、ＵＩ生成ステップと、ＵＩ制御ステップとをさらに実行するように構成され、前記入力受付ステップでは、拡張情報の配置を指示する入力するための前記非接触型の入力を受け付け、ここで前記拡張情報は、前記料理を支援するための前記視覚情報であり、前記ＵＩ生成ステップでは、前記非接触型の入力に基づいて、前記拡張情報の配置及び色を生成することで、新たなＵＩを生成し、前記ＵＩ制御ステップでは、前記非接触型の入力に基づいて、前記拡張情報の配置、色及び透明度を制御することで、前記ＵＩを制御する、もの。
前記料理支援装置において、撮像手段をさらに備え、外界情報生成ステップと、送信ステップと、情報取得ステップとをさらに実行するように構成され、前記撮像手段は、前記非接触型の入力に基づいて、撮像可能に構成され、前記外界情報生成ステップでは、前記撮像手段に基づいて外界情報を生成し、前記送信ステップでは、前記外界情報を外部のクラウドサーバーに送信し、前記情報取得ステップでは、前記クラウドサーバーを介して、アドバイス情報を取得し、ここで前記アドバイス情報とは、管理者が前記クラウドサーバーを経由して前記外界情報を確認し、それに対してアドバイスされた意見を含む、もの。
前記料理支援装置において、センサーをさらに備え、前記センサーは、ユーザーの姿勢を認識するように構成され、前記非接触型の入力は、前記姿勢である、もの。
前記料理支援装置において、保存ステップをさらに実行するように構成され、前記保存ステップでは、前記センサーより取得したセンサー情報及び前記外界情報を記憶手段に記憶させ、ここで前記センサー情報とは、ユーザーの前記姿勢、ユーザーの手の位置及び動作速度のうち少なとも１つを含む情報であり、前記送信ステップでは、前記センサー情報及び前記外界情報を前記クラウドサーバーに送信し、前記情報取得ステップでは、前記クラウドサーバーを介して、評価情報を取得し、ここで前記評価情報とは、前記クラウドサーバーに保存されている他のユーザーの前記センサー情報及び前記外界情報に基づいて評価された情報である、もの。
前記料理支援装置において、変更ステップをさらに実行するように構成され、前記取得ステップでは、ユーザーの嗜好情報を取得し、ここで前記嗜好情報は、ユーザーの味の好み、食欲状態及び気分のうち少なくとも１つを含み、前記変更ステップでは、前記嗜好情報に基づいて、前記レシピ情報を変更する、もの。
前記料理支援装置において、ユーザーがその目の周囲を覆うように装着可能に構成される装置である、もの。
プログラムであって、コンピュータに、前記料理支援装置における各ステップを実行させる、もの。
料理支援方法であって、取得ステップと、入力受付ステップと、視覚情報生成ステップとを備え、前記取得ステップでは、料理のレシピを含むレシピ情報を取得し、ここで前記レシピ情報は、前記料理の複数の工程を含み、前記入力受付ステップでは、前記レシピ情報に含まれる各工程を閲覧可能とするための非接触型の入力を受け付け、前記視覚情報生成ステップでは、前記非接触型の入力に基づいて、前記複数の工程のうちの１つを示す視覚情報を生成する、方法。
もちろん、この限りではない。

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ ：システム
３ ：料理支援装置
３０ ：通信バス
３１ ：通信手段
３２ ：記憶手段
３３ ：制御手段
３３１ ：取得部
３３２ ：入力受付部
３３３ ：視覚情報生成部
３３４ ：視覚情報制御部
３３５ ：タイマー制御部
３３６ ：外界情報認識部
３３７ ：推定部
３３８ ：ＵＩ生成部
３３９ ：ＵＩ制御部
３３ａ ：外界情報生成部
３３ｂ ：送信部
３３ｃ ：情報取得部
３３ｄ ：保存部
３３ｅ ：変更部
３４ ：表示手段
３５ ：入力手段
３６ ：追跡手段
３７ ：センサー
３８ ：撮像手段
８ ：クラウドサーバー
ＡＤ ：拡張情報
ＡＩ ：アドバイス情報
ＣＩ ：調理情報
ＥＩ ：評価情報
ＰＩ ：嗜好情報
ＲＩ ：レシピ情報
ＶＤ ：視覚情報

Claims (15)

1. 料理支援装置であって、
   取得ステップと、入力受付ステップと、視覚情報生成ステップとを実行するように構成され、
   前記取得ステップでは、料理のレシピを含むレシピ情報を取得し、ここで前記レシピ情報は、前記料理の複数の工程を含み、
   前記入力受付ステップでは、前記レシピ情報に含まれる各工程を閲覧可能とするための非接触型の入力を受け付け、
   前記視覚情報生成ステップでは、前記非接触型の入力に基づいて、前記複数の工程のうちの１つを示す視覚情報を生成する、
   もの。
2. 請求項１に記載の料理支援装置において、
   前記非接触型の入力は、視線、音声又はジェスチャーである、
   もの。
3. 請求項１又は請求項２に記載の料理支援装置において、
   視覚情報制御ステップをさらに実行するように構成され、
   前記入力受付ステップでは、前記レシピ情報に含まれる各工程を制御可能とするための前記非接触型の入力を受け付け、
   前記視覚情報制御ステップでは、前記非接触型の入力に基づいて、前記複数の工程のうち１つを示す前記視覚情報を制御する、
   もの。
4. 請求項３に記載の料理支援装置において、
   前記取得ステップでは、前記料理の調理情報を取得し、ここで前記調理情報は、前記各工程での調理に役立つ調理方法又は調理ノウハウを含み、
   前記入力受付ステップでは、前記調理情報を提供可能とするための前記非接触型の入力を受け付け、
   前記視覚情報生成ステップでは、前記非接触型の入力に基づいて、前記調理情報を示す前記視覚情報を生成し、
   前記視覚情報制御ステップでは、前記非接触型の入力に基づいて、前記調理方法を示す前記視覚情報を制御する、
   もの。
5. 請求項３又は請求項４に記載の料理支援装置において、
   追跡手段をさらに備え、
   前記追跡手段は、ユーザーの視線を追跡するように構成され、
   前記入力受付ステップでは、前記レシピ情報に含まれる各工程を閲覧可能とするための前記視線の入力を受け付け、
   前記視覚情報制御ステップでは、前記視線に基づいて、前記視覚情報を制御する、
   もの。
6. 請求項１～請求項５の何れか１つに記載の料理支援装置において、
   タイマー制御ステップをさらに実行するように構成され、
   前記入力受付ステップでは、タイマーを制御可能とするための前記非接触型の入力を受け付け、ここで前記タイマーは、調理時間を計測するものであり、
   前記タイマー制御ステップでは、前記非接触型の入力に基づいて、前記タイマーを制御する、もの。
7. 請求項１～請求項６の何れか１つに記載の料理支援装置において、
   外界情報認識ステップと、推定ステップとをさらに実行するように構成され、
   前記入力受付ステップでは、前記レシピ情報に係る調理器具、食材又は調味料の外界情報の入力を受け付け、
   前記外界情報認識ステップでは、前記調理器具、前記食材又は前記調味料の属性を認識し、ここで前記属性は、前記調理器具、前記食材又は前記調味料の形状、大きさ及び色の少なくとも１つであり、
   前記推定ステップでは、前記属性に基づいて、前記調理器具、前記食材又は前記調味料の種類、使用状態、体積及び重量の少なくとも１つを推定し、
   前記視覚情報生成ステップでは、前記外界情報の入力に基づいて、前記種類、前記体積及び前記重量の少なくとも１つを示す前記視覚情報を生成する、
   もの。
8. 請求項１～請求項７の何れか１つに記載の料理支援装置において、
   ＵＩ生成ステップと、ＵＩ制御ステップとをさらに実行するように構成され、
   前記入力受付ステップでは、拡張情報の配置を指示する入力するための前記非接触型の入力を受け付け、ここで前記拡張情報は、前記料理を支援するための前記視覚情報であり、
   前記ＵＩ生成ステップでは、前記非接触型の入力に基づいて、前記拡張情報の配置及び色を生成することで、新たなＵＩを生成し、
   前記ＵＩ制御ステップでは、前記非接触型の入力に基づいて、前記拡張情報の配置、色及び透明度を制御することで、前記ＵＩを制御する、
   もの。
9. 請求項１～請求項８の何れか１つに記載の料理支援装置において、
   撮像手段をさらに備え、
   外界情報生成ステップと、送信ステップと、情報取得ステップとをさらに実行するように構成され、
   前記撮像手段は、前記非接触型の入力に基づいて、撮像可能に構成され、
   前記外界情報生成ステップでは、前記撮像手段に基づいて外界情報を生成し、
   前記送信ステップでは、前記外界情報を外部のクラウドサーバーに送信し、
   前記情報取得ステップでは、前記クラウドサーバーを介して、アドバイス情報を取得し、ここで前記アドバイス情報とは、管理者が前記クラウドサーバーを経由して前記外界情報を確認し、それに対してアドバイスされた意見を含む、
   もの。
10. 請求項９に記載の料理支援装置において、
    センサーをさらに備え、
    前記センサーは、ユーザーの姿勢を認識するように構成され、
    前記非接触型の入力は、前記姿勢である、
    もの。
11. 請求項１０に記載の料理支援装置において、
    保存ステップをさらに実行するように構成され、
    前記保存ステップでは、前記センサーより取得したセンサー情報及び前記外界情報を記憶手段に記憶させ、ここで前記センサー情報とは、ユーザーの前記姿勢、ユーザーの手の位置及び動作速度のうち少なとも１つを含む情報であり、
    前記送信ステップでは、前記センサー情報及び前記外界情報を前記クラウドサーバーに送信し、
    前記情報取得ステップでは、前記クラウドサーバーを介して、評価情報を取得し、ここで前記評価情報とは、前記クラウドサーバーに保存されている他のユーザーの前記センサー情報及び前記外界情報に基づいて評価された情報である、
    もの。
12. 請求項１～請求項１１の何れか１つに記載の料理支援装置において、
    変更ステップをさらに実行するように構成され、
    前記取得ステップでは、ユーザーの嗜好情報を取得し、ここで前記嗜好情報は、ユーザーの味の好み、食欲状態及び気分のうち少なくとも１つを含み、
    前記変更ステップでは、前記嗜好情報に基づいて、前記レシピ情報を変更する、
    もの。
13. 請求項１～請求項１２の何れか１つに記載の料理支援装置において、
    ユーザーがその目の周囲を覆うように装着可能に構成される装置である、
    もの。
14. プログラムであって、
    コンピュータに、請求項１～請求項１３の何れか１つに記載の料理支援装置における各ステップを実行させる、
    もの。
15. 料理支援方法であって、
    取得ステップと、入力受付ステップと、視覚情報生成ステップとを備え、
    前記取得ステップでは、料理のレシピを含むレシピ情報を取得し、ここで前記レシピ情報は、前記料理の複数の工程を含み、
    前記入力受付ステップでは、前記レシピ情報に含まれる各工程を閲覧可能とするための非接触型の入力を受け付け、
    前記視覚情報生成ステップでは、前記非接触型の入力に基づいて、前記複数の工程のうちの１つを示す視覚情報を生成する、
    方法。
    

Images