JP2017067899A - Cooking system, server, household appliance and evaluation method - Google Patents
Cooking system, server, household appliance and evaluation method Download PDFInfo
- Publication number
- JP2017067899A JP2017067899A JP2015190976A JP2015190976A JP2017067899A JP 2017067899 A JP2017067899 A JP 2017067899A JP 2015190976 A JP2015190976 A JP 2015190976A JP 2015190976 A JP2015190976 A JP 2015190976A JP 2017067899 A JP2017067899 A JP 2017067899A
- Authority
- JP
- Japan
- Prior art keywords
- cooking
- voice
- evaluation
- server
- home appliance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
この開示は調理システム、サーバ、家電機器、および評価方法に関し、特に、音声入力を利用する調理システム、サーバ、家電機器、および評価方法に関する。 The present disclosure relates to a cooking system, a server, a home appliance, and an evaluation method, and more particularly, to a cooking system, a server, a home appliance, and an evaluation method that use voice input.
映画や書籍などのコンテンツに対するユーザによる評価の入力を受け付けるシステムがある。ユーザは、たとえば専用のウェブサイトにアクセスし、該サイト上でコンテンツに対する評価を入力する。評価の入力を容易にするために、たとえば特開2010−237761号公報(特許文献1)は、コンテンツを鑑賞中のユーザを撮影し、画像データに基づく表情認識や体動認識の結果に基づいて自動的に該コンテンツの評価を入力する電子機器を提案している。 There is a system that accepts input of evaluation by a user for contents such as movies and books. For example, the user accesses a dedicated website and inputs an evaluation for the content on the website. In order to facilitate the input of evaluation, for example, Japanese Patent Application Laid-Open No. 2010-233771 (Patent Document 1) takes a picture of a user who is viewing content, and based on the results of facial expression recognition and body movement recognition based on image data. An electronic device that automatically inputs an evaluation of the content is proposed.
ところで、調理結果は調理中よりも調理完了後や試食後の方が評価しやすい。この場合、特許文献1に開示されている電子機器では適切な評価が判定されない場合がある。また、専用のウェブサイトから評価を受け付けるシステムの場合、ユーザは調理後にわざわざ専用のサイトにアクセスするなどして評価を入力する作業を行なう必要があり、評価の入力が面倒に感じられる場合がある。
By the way, the cooking results are easier to evaluate after cooking or after tasting than during cooking. In this case, the electronic device disclosed in
本開示のある局面における目的は、ユーザが調理結果の評価を適切なタイミングに容易に入力することができる調理システムを提供することである。また、他の局面における目的は、ユーザが調理結果の評価を適切なタイミングに容易に入力することができるサーバを提供することである。また、他の局面における目的は、ユーザが調理結果の評価を適切なタイミングに容易に入力することができる家電機器を提供することである。また、他の局面における目的は、ユーザが調理結果の評価を適切なタイミングに容易に入力することができる評価方法を提供することである。 An object in one aspect of the present disclosure is to provide a cooking system in which a user can easily input an evaluation of cooking results at an appropriate timing. Another object of the present invention is to provide a server that allows a user to easily input an evaluation of cooking results at an appropriate timing. Moreover, the objective in the other situation is to provide the household appliances with which a user can input evaluation of a cooking result easily at an appropriate timing. Another object of the present invention is to provide an evaluation method that allows a user to easily input an evaluation of cooking results at an appropriate timing.
ある実施の形態に従うと、調理システムは、マイクおよびスピーカを有する家電機器と、家電機器と相互に通信可能なサーバとを備える。家電機器は、当該家電機器における調理の完了後の規定されたタイミングに調理に関する評価の入力を促す第1の音声メッセージをスピーカから出力し、第1の音声メッセージに応じた音声の入力をマイクによって受け付ける。サーバは、家電機器に入力された音声に基づいた評価結果を調理に関する評価としてメモリ装置に格納する。 According to a certain embodiment, a cooking system is provided with the household appliances which have a microphone and a speaker, and the server which can communicate with household appliances mutually. The household electrical appliance outputs a first voice message that prompts an input of evaluation regarding cooking at a specified timing after the cooking is completed in the household electrical appliance, and inputs a voice corresponding to the first voice message with a microphone. Accept. The server stores the evaluation result based on the voice input to the home appliance in the memory device as the evaluation related to cooking.
好ましくは、家電機器は、調理の完了後に当該家電機器から所定範囲にユーザの存在を検知すると第1の音声メッセージをスピーカから出力する。 Preferably, the home appliance outputs a first voice message from the speaker when detecting the presence of the user within a predetermined range from the home appliance after completion of cooking.
より好ましくは、家電機器は、調理の完了後に当該家電機器に対するユーザの接触を検知すること、当該家電機器に搭載されたセンサが当該家電機器からセンシング可能な範囲のユーザの存在を検知すること、当該家電機器と通信可能な他の装置からユーザの存在を検知したことを示す検知結果を受け付けること、の少なくとも1つが発生した場合に第1の音声メッセージをスピーカから出力する。 More preferably, the home appliance detects the user's contact with the home appliance after completion of cooking, the sensor installed in the home appliance detects the presence of a user in a range that can be sensed from the home appliance, The first voice message is output from the speaker when at least one of receiving a detection result indicating that the presence of the user is detected from another device that can communicate with the home appliance occurs.
好ましくは、家電機器は、調理の完了後に第1の音声メッセージが出力可能な状態にあることを視覚的にユーザに報知し、第1の音声メッセージを出力するための予め規定された操作を受け付けることによって第1の音声メッセージをスピーカから出力する。 Preferably, the home appliance visually notifies the user that the first voice message can be output after the cooking is completed, and accepts a predetermined operation for outputting the first voice message. Thus, the first voice message is output from the speaker.
好ましくは、家電機器は、調理の完了後、調理の対象および/または調理が行なわれた時刻の属する時間帯に基づいて決定される時間の経過後に第1の音声メッセージが出力可能な状態となる。 Preferably, after completion of cooking, the home appliance is in a state in which the first voice message can be output after elapse of a time determined based on a cooking target and / or a time zone to which the cooking time belongs. .
好ましくは、第1の音声メッセージは、調理の完了後第1の時間の経過後に出力される調理の工程および/または完成度に関する評価の入力を促す音声メッセージと、調理の工程および/または完成度に関する評価の入力を促す音声メッセージよりも後にスピーカから出力される、調理された料理の味覚に関する評価の入力を促す音声メッセージとを含む。 Preferably, the first voice message includes a voice message prompting input of an evaluation regarding the cooking process and / or perfection, which is output after the first time has elapsed after the completion of cooking, and the cooking process and / or perfection. And a voice message prompting an input of an evaluation about the taste of the cooked food, which is output from the speaker after an audio message for prompting an input of the evaluation.
好ましくは、サーバは、家電機器に入力された音声を認識することによって特定された、予め記憶されている複数の評価レベルのうちの音声が示す評価結果に対応した評価レベルを、調理に関する評価としてメモリ装置に格納する。 Preferably, the server uses the evaluation level corresponding to the evaluation result indicated by the voice among the plurality of pre-stored evaluation levels specified by recognizing the voice input to the home appliance as the evaluation related to cooking. Store in memory device.
好ましくは、サーバは、調理の完了後の予め規定された期間にマイクから入力された音声に基づいた評価結果を有効な評価結果としてメモリ装置に格納する。 Preferably, the server stores the evaluation result based on the voice input from the microphone during a predetermined period after the completion of cooking in the memory device as an effective evaluation result.
より好ましくは、予め規定された期間は、家電機器が第1の音声メッセージが出力可能な状態となってから規定された期間、または、家電機器が第1の音声メッセージを出力してから規定された期間のいずれかを含む。 More preferably, the predetermined period is specified after the home appliance is ready to output the first voice message, or after the home appliance outputs the first voice message. Including any period.
好ましくは、予め規定された期間は、調理の対象および/または調理時刻の属する時間帯に基づいて決定される。 Preferably, the predetermined period is determined based on a cooking target and / or a time zone to which cooking time belongs.
好ましくは、家電機器は、マイクによって音声の入力を受け付けた後に、調理に関連して予め記憶されている他の調理に関する第2の音声メッセージをスピーカから出力する。 Preferably, the household electrical appliance outputs a second voice message relating to other cooking stored in advance related to cooking from the speaker after receiving an input of voice by the microphone.
より好ましくは、第2の音声メッセージは他の調理に用いる物品の購入を促すメッセージを含む。家電機器が第2の音声メッセージに応じた物品の購入を指示する音声の入力をマイクによって受け付けると、サーバは、予め記憶している物品の購入のための処理を実行可能な他の装置にアクセスして物品の購入のための処理を指示し、ユーザ指示に従って他の装置に対する決済処理を実行する。 More preferably, the second voice message includes a message prompting the purchase of an article used for other cooking. When the home appliance receives a voice input instructing the purchase of the article according to the second voice message by the microphone, the server accesses another device capable of executing a process for purchasing the article stored in advance. Then, a process for purchasing an article is instructed, and a settlement process for another apparatus is executed in accordance with a user instruction.
好ましくは、家電機器は調理機である。
他の実施の形態に従うと、サーバはマイクおよびスピーカを有する家電機器と通信可能であって、マイクに入力された、家電機器における調理の完了後の規定されたタイミングにスピーカから出力される調理に関する評価の入力を促す音声メッセージに応じた音声の入力を、家電機器から受け付けるための音声入力手段と、音声に基づいた評価結果を調理に関する評価としてメモリ装置に格納するための格納手段とを備える。
Preferably, the home appliance is a cooking machine.
According to another embodiment, the server is communicable with a household electric appliance having a microphone and a speaker, and relates to cooking output from the speaker at a specified timing after cooking is completed in the household electric appliance, which is input to the microphone. Voice input means for receiving voice input in response to a voice message prompting input of evaluation from the home appliance, and storage means for storing an evaluation result based on the voice in a memory device as an evaluation regarding cooking.
好ましくは、家電機器は調理機である。
他の実施の形態に従うと、家電機器はサーバと通信可能であって、マイクと、スピーカと、マイクおよびスピーカによる音声入出力を制御するための制御手段とを備える。制御手段は、当該家電機器における調理の完了後の規定されたタイミングに調理に関する評価の入力を促す第1の音声メッセージをスピーカから出力し、第1の音声メッセージに応じた音声の入力をマイクによって受け付け、マイクに入力された音声をサーバに送信する。
Preferably, the home appliance is a cooking machine.
According to another embodiment, the home appliance can communicate with the server, and includes a microphone, a speaker, and a control unit for controlling voice input / output by the microphone and the speaker. The control means outputs from the speaker a first voice message that prompts input of an evaluation related to cooking at a prescribed timing after the cooking of the home appliance is completed, and inputs a voice corresponding to the first voice message by the microphone. Accepts and transmits the voice input to the microphone to the server.
好ましくは、家電機器は調理機である。
他の実施の形態に従うと、評価方法は家電機器における調理に関する評価を入力する方法であって、家電機器が、当該家電機器における調理の完了後の規定されたタイミングに、調理に関する評価の入力を促す音声メッセージを家電機器に搭載されているスピーカから出力するステップと、家電機器が、音声メッセージに応じた音声の入力を家電機器に搭載されているマイクによって受け付けるステップと、家電機器が、マイクに入力された音声に基づくデータを家電機器と通信可能なサーバに送信するステップと、サーバが、前記に基づいた評価結果を調理に関する評価としてメモリ装置に格納するステップとを備える。
Preferably, the home appliance is a cooking machine.
According to another embodiment, the evaluation method is a method for inputting an evaluation regarding cooking in a household electrical appliance, and the household electrical appliance inputs an evaluation regarding cooking at a specified timing after completion of cooking in the household electrical appliance. Outputting an urging voice message from a speaker mounted on the home appliance, a step in which the home appliance accepts voice input according to the voice message by a microphone mounted on the home appliance, and the home appliance is connected to the microphone. Transmitting the data based on the input voice to a server capable of communicating with the home appliance, and the server storing the evaluation result based on the above in a memory device as an evaluation regarding cooking.
好ましくは、家電機器は調理機である。 Preferably, the home appliance is a cooking machine.
この開示によると、ユーザは調理結果の評価を適切なタイミングに容易に入力することができる。 According to this disclosure, the user can easily input the evaluation of the cooking result at an appropriate timing.
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。また、以下では、家電機器の一例として、調理機を挙げて説明する。 Embodiments of the present invention will be described below with reference to the drawings. In the following description, the same parts and components are denoted by the same reference numerals. Their names and functions are also the same. Therefore, these descriptions will not be repeated. Moreover, below, a cooking machine is mentioned and demonstrated as an example of household appliances.
[第1の実施の形態]
<システム構成>
図1は、本実施の形態にかかる調理機100のシステム構成の一例を表わした図である。調理機100は、一例として、電子レンジやオーブンなどの調理機能を有する装置である。調理機100は、さらに、有線または無線で他の装置と通信可能である。また、調理機100は、直接、またはルータ300を介してインターネットに接続し、サーバ500と通信可能である。
[First Embodiment]
<System configuration>
FIG. 1 is a diagram illustrating an example of a system configuration of
調理機100は、一例として家庭内に設置される。好ましくは、ルータ300には、冷蔵庫200Aや空気清浄機200Bや空気調整機(エアコン)200Cなどの、当該家庭内の他の電気機器(家電)も接続される。さらに、PC(パーソナルコンピュータ)やタブレット端末などもルータ300に接続されてもよい。調理機100や他の家電とルータ300とが無線通信を行なうことで家庭内LAN(Local Area Network)が構築される。
The
サーバ500は、調理機100に調理用のプログラムを提供する。また、サーバ500は、調理機100から調理履歴を取得する。サーバ500は、複数台のサーバから構成されて、それらが協働するものであってもよい。
The
<装置構成>
図2は、調理機100の外観の一例を表わした概略図である。調理機100は、食品に対して加熱等の調理を行なうための調理部13(図3)を含む。図2を参照して、調理部13は、加熱等の調理対象の食品を内部に格納するための格納部13Aを含む。格納部13Aは開閉可能な蓋を有し、蓋の設置された面を調理機100の正面とする。
<Device configuration>
FIG. 2 is a schematic diagram illustrating an example of the appearance of the
調理機100の正面には、さらに、表示部16と、操作ボタン17Aと、マイク14と、スピーカ15とが配置される。表示部16は、一例としてタッチパネル17Bを含む。
Further, a
また、調理機100は、当該調理機100の付近にユーザが存在することを検出するためのセンサ19を含む。センサ19は、たとえば蓋の開閉を検出するためのセンサを含む。
Moreover, the
図3は、調理機100およびサーバ500それぞれのハードウェア構成の一例を表わしたブロック図である。図を参照して、調理機100は、装置全体を制御するためのCPU(Central Processing Unit)10と、CPU10で実行されるプログラムを記憶するためのROM(Read Only Memory)11と、各種データを記憶したりCPU10でプログラムを実行する際の作業領域となるRAM(Random Access Memory)12と、他の装置と通信するための通信部18とを含む。
FIG. 3 is a block diagram illustrating an example of a hardware configuration of each of
また、調理機100は、表示部16および操作部17を含む。CPU10は操作部17から入力された操作信号に従ってプログラムを実行する。CPU10は、プログラムの実行に従って表示部16の表示を制御する。
The
また、調理機100は、格納部13Aに格納された食品に対して加熱等の調理を行なうための調理部13を含む。調理部13は、図示しないヒータや回転テーブル等を含む。CPU10は、プログラムの実行に従ってヒータによる加熱量、加熱時間や回転テーブルの回転などを制御する。
また、調理機100は、マイク14およびスピーカ15を含む。CPU10は、プログラムの実行に従ってマイク14およびスピーカ15による音声入出力を制御する。
Moreover, the
また、調理機100はセンサ19を含む。センサ19の検出信号はCPU10に入力される。
The
さらに図3を参照して、サーバ500は、装置全体を制御するためのCPU50と、CPU50で実行されるプログラムを記憶するためのROM51と、CPU50がプログラムを実行する際の作業領域となるRAM52と、各種データを記憶するためのHDD(Hard Disk Drive)53と、他の装置と通信するための通信部54とを含む。
Further, referring to FIG. 3,
<動作概要>
図4および図5は、調理機100の動作概要を表わした図である。図を参照して、調理機100の動作は、メニュー検索動作(ステップ#1)と、調理プログラムのダウンロード動作(ステップ#2)と、調理動作(ステップ#3)と、評価動作(ステップ#4)とを含む。通常、調理機100はこれら動作をステップ#1〜ステップ#4の順に繰り返す。
<Overview of operation>
4 and 5 are diagrams showing an outline of the operation of the
詳しくは、図4を参照して、調理機100のユーザは、調理機100にステップ#1のメニュー検索動作を実行させるために、たとえば「卵を使ったメニューを教えて」のように、音声によって検索のキーワードと共に検索動作の開始を指示する(ステップS11)。調理機100は、当該音声の入力に応じてサーバ500にアクセスし、検索結果をサーバ500から得る(ステップS12)。
Specifically, referring to FIG. 4, the user of
一例として、調理機100は、マイク14に入力された音声をサーバ500に送信する。サーバ500は、調理機100からの音声を解析してキーワード(卵)と動作(メニュー検索)とを特定すると、メニューを記憶しているメモリに対して当該キーワードを用いて検索動作を実行する。該メモリは、調理機100から音声を受け取ったサーバとは異なるサーバに搭載されていてもよい。サーバ500は該キーワードに該当するメニューをメモリから抽出すると、抽出したメニューを特定する情報(たとえばメニュー名であるスパニッシュオムレツ)を調理機100に送信する。
As an example, the
調理機100は、検索結果としてサーバ500から渡された情報に基づいて、たとえば「スパニッシュオムレツはどうですか?」のように、予め記憶しているフォーマットにサーバ500から渡されたメニュー名(スパニッシュオムレツ)を埋め込んでメッセージを生成し、音声によって検索結果を報知する(ステップS13)。
Based on the information passed from the
サーバ500は、メニューごとに調理機100に調理を実行させるためのプログラムを記憶している。ユーザは、調理機100にステップ#2の調理用のプログラムのダウンロードを実行させるために、たとえば「スパニッシュオムレツをダウンロード」のように、音声によってメニューを特定する情報(メニュー名)と共にダウンロードの開始を指示する(ステップS21)。調理機100は、当該音声の入力に応じてサーバ500にアクセスし、音声にて指定されたメニューのプログラムをサーバ500から得る(ステップS22)。
The
一例として、調理機100は、マイク14に入力された音声をサーバ500に送信する。サーバ500は、調理機100からの音声を解析してメニュー名と動作(ダウンロード)とを特定すると、メニューごとの調理用のプログラムを記憶しているメモリから指定されたメニューの調理用のプログラムを読み出す。サーバ500は、読み出したプログラムを調理機100に送信する。
As an example, the
調理機100は、音声にて指定されたメニューのプログラムをサーバ500から得ると、たとえば「スパニッシュオムレツのダウンロード完了」のように、予め記憶しているフォーマットに指定されたメニュー名(スパニッシュオムレツ)を埋め込んでメッセージを生成し、音声によってダウンロードの完了を報知する(ステップS23)。ダウンロードされたプログラムは、調理機100のメモリの一例としてRAM12に格納される。
When the
図5を参照して、ユーザは、調理機100にステップ#3の調理動作を実行させるために、たとえば「スパニッシュオムレツのセットお願い」のように、音声によってメニューを特定する情報(メニュー名)と共に調理動作用のプログラムのセットを指示する(ステップS31)。調理機100は、当該音声に従ってRAM12から指定されたメニューの調理用のプログラムを読み出して展開する(ステップS32)。該プログラムがRAM12上に展開されると、調理機100は、たとえば「スパニッシュオムレツをセットしました。スタートボタンを押してね。」のように、予め記憶しているフォーマットに指定されたメニュー名(スパニッシュオムレツ)を埋め込んでメッセージを生成し、音声によってプログラムのセットの完了を報知する(ステップS33)。その後、ユーザの操作を受け付けると(ステップS34)、調理機100は当該プログラムを実行することによって調理を実行する(ステップS35)。
Referring to FIG. 5, in order to cause
ステップ#3の調理動作の後、調理機100はステップ#4の評価動作を実行する。すなわち、図5を参照して調理機100は、ステップ#3の調理動作の後、調理されたメニューを特定する情報(たとえばメニューID)と調理動作を行なった日時を特定する情報とを含む調理履歴をサーバ500に送信する(ステップS41)。
After the cooking operation in
サーバ500は、調理履歴を調理機100から受信するとメモリに格納する。そして、サーバ500は、たとえば「スパニッシュオムレツは星3つで採点すると星はいくつだったかな」のように、予め記憶しているフォーマットに調理履歴に表わされたメニュー名(スパニッシュオムレツ)を埋め込んで当該調理に関する評価の入力を促すメッセージを生成し、調理履歴を受信してから予め規定された時間の経過後のような調理後の予め規定されたタイミングに、上記メッセージと該メッセージの出力を指示するコマンドとを調理機100に送信する(ステップS42)。
When the
コマンドを受信した調理機100は、指示されたメッセージを音声により出力する(ステップS43)。ユーザは、該メッセージに応じて、たとえば「星3つ」のように音声によって調理に関する評価を行なう(ステップS44)。サーバ500は、調理機100に入力された評価をメニューに関連付けてメモリに格納する(ステップS46)。
The
一例として、調理機100は、マイク14に入力された音声をサーバ500に送信する(ステップS45)。サーバ500は、調理機100からの音声を解析して評価内容を特定すると、たとえば調理履歴を格納しているメモリにさらにそのメニューの評価内容として格納する。
As an example, the
図6は、図5のステップ#4の評価動作の流れを詳しく表わした図である。図6を参照して、調理機100は、調理動作(ステップS1)を終了すると、予め規定された時間の経過後などの所定のタイミングに調理履歴をサーバ500に送信する(ステップS2)。調理履歴は、調理対象のメニューを特定する情報(たとえばメニューID)と調理動作を行なった日時を特定する情報とを含む。
FIG. 6 is a diagram showing in detail the flow of the evaluation operation in
調理機100は、予め規定されているメニューの調理を実行した後のみに当該調理の調理履歴をサーバ500に送信してもよい。予め規定されているメニューとは、たとえば、サーバ500から調理用のプログラムをダウンロードしたメニューや、サーバ500から予め指定されているメニューなどである。
The
サーバ500は、調理機100から調理履歴を受信すると、メモリに調理履歴を記憶する(ステップS3)。サーバ500は、調理履歴を調理機100ごとに記憶してもよい。さらに、サーバ500は、当該サーバ500と通信可能な調理機100や冷蔵庫200A、空気清浄機200Bなどの各家電とユーザ(またはユーザグループ)との対応を予め記憶しておき、調理機100における調理履歴や冷蔵庫200A内の食品情報や空気清浄機200Bの運転履歴などをユーザ(またはユーザグループ)ごとに対応付けて記憶してもよい。
When
サーバ500は、調理機100からの調理履歴に基づいて調理に関する評価の入力を促すメッセージを生成し、調理機100における調理後の予め規定された期間T1が経過すると当該メッセージと該メッセージの出力を指示するコマンドとを調理機100に送信する。または、サーバ500は、メニューごとや、調理された時刻が属する時間帯(朝食、昼食、夕食)や、それらの組み合わせなどに応じて期間T1を予め記憶しておき、該当する期間T1後にコマンドを送信してもよい。または、期間T1は、ユーザごとに設定、変更が可能であってもよい。
The
期間T1は、10分などの食事の用意が整うタイミングや、1時間などの食事を終えたタイミングなどが想定される。期間T1が前者(たとえば10分)の場合、メッセージは、調理に関する評価として調理のしやすさ(調理の工程)や料理の出来栄え(調理の完成度)などの入力を促すものであることが想定される。期間T1が後者(たとえば1時間)の場合、メッセージは、調理に関する評価として料理のおいしさ(味覚)や他のユーザの反応などの入力を促すものであることが想定される。 The period T1 is assumed to be a timing when a meal such as 10 minutes is prepared, a timing when a meal such as one hour is finished, and the like. When the period T1 is the former (for example, 10 minutes), it is assumed that the message prompts the user to input cooking easiness (cooking process), cooking quality (cooking completeness), etc. Is done. When the period T1 is the latter (for example, 1 hour), it is assumed that the message prompts input of the deliciousness (taste) of cooking, the reaction of other users, and the like as evaluation regarding cooking.
さらに、サーバ500は、調理後の複数のタイミング(多段階)でコマンドを送信してもよい。たとえば、サーバ500は、期間T1として上記の食事の用意の整うタイミングと、食事を終えたタイミングとの2回のタイミングにそれぞれコマンドを調理機100に送信してもよい。この場合、1回目のメッセージは調理に関する評価として調理のしやすさ(調理の工程)や料理の出来栄え(調理の完成度)などの入力を促し、2回目のメッセージは調理に関する評価として料理のおいしさ(味覚)や他のユーザの反応などの入力を促すものであることが想定される。
Furthermore, the
上記コマンドをサーバ500から受信すると、調理機100は、上記コマンドに従ってメッセージを音声にて出力する(ステップS7)。好ましくは、調理機100は、コマンドを受信した後に当該調理機100の近傍にユーザが存在することが検出されると、メッセージを出力する。これにより、ユーザにメッセージを効果的に報知することができる。
When receiving the command from
一例として、調理機100は、正面に配置されたLED(図示せず)を点滅させるなどして、調理機100がサーバ500からコマンドを取得して音声メッセージを出力可能であることを報知する(ステップS5)。操作ボタン17Aが、たとえば、「おしゃべりボタン」などのLEDを有する専用のボタンを含んでいてもよい。または、調理機100はタッチパネル17Bに「メッセージがあります」などの表示を行なってもよい。
As an example, the
調理機100は、当該報知に対して、「おしゃべりボタン」を押すなどの予め規定されたユーザ操作を受け付けることで(ステップS6)、コマンドに従ってメッセージを音声にて出力する(ステップS7)。
In response to the notification, the
他の例として、調理機100は、サーバ500からコマンドを受信した後、センサ19によってユーザが当該調理機100近傍に存在することを検出すると音声メッセージを出力してもよい。上記のように、センサ19は、一例として格納部13Aの蓋の開閉を検出するセンサである。そのため、調理機100は、サーバ500からコマンドを受信した後に蓋が開閉されると音声メッセージを出力する。センサ19は、その他、人感センサや接触センサなどであってもよい。また、調理機100はマイク14をセンサとして用いて、音声が入力されると近傍にユーザが存在するとして音声メッセージを出力してもよい。
As another example, after receiving a command from the
さらに他の例として、調理機100は、冷蔵庫200Aや空気清浄機200Bやエアコン200Cなどの通信可能な他の家電から近傍にユーザが存在している旨の検出結果を受け取ったタイミングで音声メッセージを出力してもよい。または、他の家電から近傍にユーザが存在している旨の検出結果を受け取ると、調理機100は、サーバ500からのコマンドを当該家電に転送し、当該家電に音声メッセージの出力を指示してもよい。
As yet another example,
なお、好ましくは、音声メッセージは当該コマンドが調理機100に取得されてから規定された期間有効とし、当該期間が経過すると出力されないようにしてもよい。この場合、上記有効期間はコマンドに含まれていてもよいし、調理機100に予め設定されていてもよいし、ユーザが調理機100に設定してもよい。
Preferably, the voice message may be valid for a specified period after the command is acquired by the
上記音声メッセージの出力の後、マイク14から音声が入力されると、つまり、ユーザが評価を発話してマイク14に入力されると(ステップS8)、調理機100は入力された音声から得られた音声データをサーバ500に送信する(ステップS9)。
When the voice is input from the
調理機100から音声データを受信したサーバ500は、音声認識処理を実行することによって当該音声で表わされた評価内容を特定する(ステップS10)。一例として、サーバ500は、評価の段階を表わす評価レベルを予め記憶している。そして、サーバ500は、評価レベルごとに、当該レベルを表わす語句を予め記憶している。図7は、サーバ500に記憶されている評価レベルの情報の一例を表わした図である。図を参照して、サーバ500には、レベル3,2,1と、評価の高い順にレベルが記憶されている。さらに、レベル3に相当する音声として「星3つ」「星3個」「星3」「おいしい」などの、少なくとも1つの音声が記憶されている。サーバ500は、記憶している図7の関係を参照して、調理機100に入力された音声から識別された語句に相当する評価レベルを特定する。評価レベルは図7の内容に限定されず、たとえば0.5刻みであってもよい。また評価レベルは、3段階以上であってもよい。
The
サーバ500は、調理機100によって調理されたメニューに関連付けて評価レベルを記憶する(ステップS61)。図8は、サーバ500での評価レベルの記憶方法の一例を説明するための図である。図8を参照して、サーバ500は、調理履歴に当該調理の対象となったメニューの評価レベルを付加してメモリに記憶してもよい。
The
好ましくは、ユーザが評価を音声にて入力可能な期間T2が設定される。期間T2は、たとえば、サーバ500から調理機100に対してコマンドが送信されてから6時間である。期間T2は、コマンドと共にサーバ500から調理機100に通知されてもよい。この場合、調理機100は、コマンドに従って音声メッセージを出力してから期間T2の間に音声入力がなされた場合には音声データをサーバ500に送信し、期間T2の経過後に音声データが入力された場合には音声の入力を無効としてもよい。または、サーバ500が期間T2を記憶しておき、コマンドを調理機100に送信した後に期間T2内に受信した音声データを有効な評価としてもよい。
Preferably, a period T2 during which the user can input the evaluation by voice is set. The period T2 is, for example, 6 hours after the command is transmitted from the
期間T2は、たとえば6時間である。サーバ500は、メニューごとや、調理された時刻が属する時間帯(朝食、昼食、夕食)や、それらの組み合わせなどに応じて期間T2を予め記憶していてもよい。または、期間T2は、ユーザごとに設定、変更が可能であってもよい。
The period T2 is, for example, 6 hours. The
好ましくは、サーバ500は、調理機100から音声データを受信すると、応答メッセージを決定し(ステップS62)、該メッセージの出力を指示するコマンドと共に調理機100に送信する(ステップS63)。応答メッセージは、たとえば「星3つですね」のように調理機100からの音声データに基づくものであってもよいし、図7に表わされたように、評価レベルごとに予め規定されていてもよい。サーバ500は、調理機100からの音声データに基づいて応答メッセージを決定する。
Preferably, when receiving audio data from cooking
コマンドを受信した調理機100は、該コマンドに従って応答メッセージを音声にて出力する(ステップS64)。
The
上記ステップS61でサーバ500は、図8に表わされたようにメニューごとに評価結果を記憶する。サーバ500は、メモリに記憶された評価結果を、ステップ#1の検索動作に用いてもよい。たとえば、サーバ500は、記憶しているメニューのうちの付加された評価レベルが一定レベル以上のメニューの中から指定されたキーワードに基づいてメニューを抽出してもよい。またたとえば、サーバ500は、抽出された複数のメニューを、付加された評価レベルの高い順に提示してもよい。また、サーバ500は、抽出されたメニューを記憶している評価と共に提示してもよい。
In step S61, the
図9は、調理機100に表示される検索結果の一例を表わした図である。図4の例では、調理機100はサーバ500から取得した検索結果をコマンドに従って音声にて出力するものとしている。他の例として、調理機100は、サーバ500からのコマンドに従って検索結果を図9のように表示してもよい。このときに、図9に表わされたように、調理機100は、付加された評価レベルの高いメニューほど上位に表示してもよい。また、図9に表わされたように、調理機100は付加された評価レベルと共に検索結果のメニューを表示してもよい。
FIG. 9 is a diagram illustrating an example of search results displayed on
<機能構成>
図10は、上記動作を行なうための調理機100の機能構成の一例を表わしたブロック図である。図10の各機能は、調理機100のCPU10がROM11に記憶されているプログラムをRAM12上に読み出して実行することで、主にCPU10において実現される。しかしながら、少なくとも一部の機能が、図3に表わされた他のハードウェア、または、図示されていない電気回路などの他のハードウェアによって実現されてもよい。
<Functional configuration>
FIG. 10 is a block diagram showing an example of a functional configuration of
図10を参照して、CPU10は、コマンド入力部101と、メッセージ出力部102と、音声入力部103と、音声送信部104とを含む。
Referring to FIG. 10,
コマンド入力部101は、通信部18を介してサーバ500からのコマンドの入力を受け付ける。
The
メッセージ出力部102は、サーバ500からのコマンドに従って音声メッセージをスピーカ15から出力するための処理を実行する。好ましくは、メッセージ出力部102は、操作部17に対してボタンが押下されるなどの予め規定された操作が行なわれたタイミング、またはセンサ19が格納部13Aの蓋の開閉などのユーザによる調理機100への接触を検出したタイミングなど、ユーザが調理機100の近傍に存在することが検出されたタイミングに音声メッセージを出力する。また、他の例として、CPU10は、通信部18を介して他の家電からセンサ結果として近傍にユーザが存在する旨の検出結果を受け付けるためのセンサ結果入力部106を含む。そして、メッセージ出力部102は、他の家電においてユーザが近傍にいることが検出されたタイミングに音声メッセージを出力する。
音声入力部103は、マイク14から音声の入力を受け付ける。音声送信部104は、入力された音声に基づく音声データを通信部18を介してサーバ500に送信する。
The
好ましくは、CPU10は、サーバ500から音声メッセージの出力を指示するコマンドを受け付けると、音声メッセージを出力可能な上チアとなったことを報知するための報知部105を含む。報知部105は、一例として表示部16に「メッセージあり」などの表示を行なう。
Preferably,
図11は、上記動作を行なうためのサーバ500の機能構成の一例を表わしたブロック図である。図11の各機能は、サーバ500のCPU50がROM51に記憶されているプログラムをRAM52上に読み出して実行することで、主にCPU50において実現される。しかしながら、少なくとも一部の機能が図3に表わされた他のハードウェア、または、図示されていな電気回路などの他のハードウェアによって実現されてもよい。
FIG. 11 is a block diagram showing an example of a functional configuration of
図11を参照して、CPU50は、調理履歴入力部501と、メッセージ生成部503と、コマンド送信部504と、音声入力部505と、音声識別部506と、評価レベル特定部507とを含む。
Referring to FIG. 11,
調理履歴入力部501は、通信部54を介して調理機100から送信された調理履歴の入力を受け付ける。メッセージ生成部503は、調理履歴に基づいて、調理に関する評価の入力を促すメッセージを生成する。一例として、メッセージ生成部503はメッセージのフォーマットを予め記憶している。そして、メッセージ生成部503は、調理履歴に含まれるメニュー名などの情報を特定してフォーマットに組み込むことでメッセージを生成する。
The cooking
コマンド送信部504は、上記メッセージと共に当該メッセージの出力を指示するコマンドを通信部54を介して調理機100に送信する。好ましくは、コマンド送信部504は、調理の完了後の規定されたタイミングにコマンドを送信する。たとえば、コマンド送信部504は予め期間T1を記憶しておき、調理機100における調理後の予め規定された期間T1の経過後にコマンドを調理機100に送信する。期間T1は、予め規定された固定の期間であってもよいし、記憶されている複数の期間の中から調理されたメニューや調理の時間帯に応じて選択されてもよい。
The
音声入力部505は、通信部54を介して調理機100から音声データの入力を受け付ける。好ましくは、音声入力部505は、予め規定された期間、調理に関する評価である音声データの入力を受け付ける。予め規定された期間は、たとえばコマンド送信部504がコマンドを調理機100に送信してから期間T2である。音声入力部505は予め期間T2を記憶していてもよいし、ユーザごとに設定、変更されてもよいし、記憶されている複数の時間の中から調理されたメニューや調理の時間帯に応じて選択されてもよい。
The
音声識別部506は音声データを解析し、音声データで表わされる語句を特定する。
たとえばHDD53などのメモリには、図7のような評価レベル情報を記憶するための評価レベル情報記憶部531が設けられている。評価レベル特定部507は、評価レベル情報を参照して、入力された音声データの表わす語句に基づいて評価レベルを特定する。特定された評価レベルは、格納部508によって、たとえば調理履歴記憶部532に記憶されている調理履歴に含まれる対応する調理履歴に付加されるなどして、メモリに格納される。
The
For example, a memory such as the
好ましくは、CPU50は、応答決定部509および応答送信部511をさらに含む。評価レベル情報記憶部531に記憶されている評価レベル情報では、図7に表わされたように評価レベルごとに応答メッセージが規定されていてもよい。応答決定部509は特定された評価レベルに該当する応答メッセージを評価レベル情報から読み出すことによって評価レベルを特定する。特定された応答メッセージは、当該メッセージの出力を指示するコマンドと共に、応答送信部511によって通信部54を介して調理機100に送信される。
Preferably,
<動作フロー>
図12は、調理機100の動作の流れを表わしたフローチャートである。図12のフローチャートに表わされた動作は、調理機100のCPU10がROM11に記憶されているプログラムをRAM12上に読み出して実行し、図10の各機能を発揮することによって実現される。図12の動作は、調理機100において調理動作が完了すると開始される。または、調理履歴をサーバ500に送信するメニューが予め規定されている場合には、図12の動作は、当該メニューの調理動作が完了すると開始される。
<Operation flow>
FIG. 12 is a flowchart showing an operation flow of
図12を参照して、調理機100のCPU10は、調理履歴をサーバ500に送信する(ステップS101)。その後、サーバ500からコマンドを受信すると(ステップS103でYES)、CPU10は、表示部16に表示するなどして音声メッセージが出力可能な状態であることを報知する(ステップS105)。
Referring to FIG. 12,
その後、CPU10は、「おしゃべりボタン」を押すなどの予め規定されたユーザ操作がなされることを待機する。または、センサ19などによって、調理機100近傍のユーザの存在が検知されることを待機してもよい。
Thereafter, the
好ましくは、CPU10は、上記ユーザ操作を予め規定された期間、上記ユーザ操作がなされることを待機する。予め規定された期間は、たとえば、音声による評価の入力を有効とする期間T2である。期間T2の間に上記のユーザ操作が行なわれない場合には(ステップS109でYES)、CPU10は以降の動作をスキップして処理を終了する。
Preferably, the
ユーザ操作を受け付けると(ステップS107でYES)、CPU10は、コマンドに従ってメッセージを音声にて出力する(ステップS111)。その後、マイク14に音声が入力されると(ステップS113でYES)、CPU10は、音声データをサーバ500に送信して(ステップS115)、一連の動作を終了する。
When a user operation is accepted (YES in step S107),
図13は、サーバ500の動作の流れを表わしたフローチャートである。図13のフローチャートに表わされた動作は、サーバ500のCPU50がROM51に記憶されているプログラムをRAM52上に読み出して実行し、図11の各機能を発揮することによって実現される。図13の動作は、サーバ500が調理機100から調理履歴を受け取ってメモリに格納すると開始される。または、調理に関するユーザの評価を受け付けるメニューが予め規定されている場合には、図13の動作はサーバ500が調理機100から当該メニューの調理履歴を受け取ってメモリに格納すると開始される。
FIG. 13 is a flowchart showing the operation flow of the
図13を参照して、サーバ500のCPU50は、調理機100から調理履歴を受け取ると当該調理に関する評価の入力を促すメッセージを生成する(ステップS201)。一例として、CPU50は、予めメッセージのフォーマットを記憶しておき、調理履歴から読み取られるメニュー名などを該フォーマットに組み込むことによってメッセージを生成する。
Referring to FIG. 13, when
また、CPU50は、当該メッセージを調理機100に送信して音声にて出力させるタイミングである期間T1、および評価の入力を待機する期間である期間T2を決定する(ステップS202)。期間T1,T2は予め規定されていてもよい。または、CPU50は、調理されたメニューや調理の時間帯やそれらの組み合わせなどに応じて期間T1,T2を決定してもよい。
Further, the
調理履歴に表わされたメニューが評価の入力を受け付けるメニューである場合(ステップS203でYES)、CPU50は、調理履歴の受信後、ステップS202で決定した期間T1が経過すると(ステップS205でYES)、ステップS201で生成したメッセージと当該メッセージの出力を指示するコマンドとを調理機100に送信する(ステップS207)。その後、CPU50は、調理機100からの音声データの受信を待機する(ステップS209でNO)。
When the menu shown in the cooking history is a menu that accepts an input of evaluation (YES in step S203),
上記ステップS202においてCPU50が複数種類の期間T1を決定することによって、CPU50は、調理に関する評価の入力を促すメッセージを複数段階で調理機100に送信してもよい。このようにすることで、調理の工程や調理の完成度などの様々な種類の評価を得ることができる。
When the
ステップS207でコマンドを送信した後、上記ステップS202で決定した期間T2が経過するまでに調理機100から音声データを受信した場合(ステップS209でYES、かつステップS211でYES)、CPU50は、音声を認識することによってユーザの入力した評価レベルを特定する(ステップS213)。CPU50は、たとえばメモリに格納した調理履歴に評価レベルを付加するなどして、上記ステップS213で特定した評価レベルをメモリに記憶する(ステップS215)。
When the voice data is received from the
好ましくは、CPU50は、音声データの入力に応じて応答メッセージを決定し(ステップS217)、調理機100に応答メッセージと応答メッセージを出力させるコマンドとを送信する(ステップS219)。たとえば、CPU50は、応答メッセージのフォーマットを予め記憶しておき、上記ステップS213で特定された評価レベルを該フォーマットに組み込むことによって応答メッセージを生成してもよい。または、評価レベルに応じた応答メッセージがメモリに予め記憶されており、CPU50が、上記ステップS213で特定された評価レベルに応じた応答メッセージをメモリから読み出してもよい。
Preferably, CPU50 determines a response message according to the input of audio | voice data (step S217), and transmits the command which makes the
<第1の実施の形態の効果>
調理機100およびサーバ500が以上の動作を実行することによって、調理を完了した後の適切なタイミングで評価の入力が促されるために、ユーザは、適切なタイミングで当該調理に関する評価を入力することができる。さらに、調理機100に対して音声にて評価を入力することが可能なため、ユーザは、容易に評価を入力することができる。
<Effect of the first embodiment>
Since the
[第2の実施の形態]
調理機100は、上記ステップ#4の評価動作の後、さらに、調理されたメニューに関連するメニューを提案するメニュー提案動作を実行してもよい。または、第2の実施の形態にかかる調理機100は、上記ステップ#2の調理プログラムのダウンロード動作や、上記ステップ#3の調理動作の後に、ダウンロードされたメニュー(または調理されたメニュー)に関連するメニューを提案するメニュー提案動作を実行してもよい。
[Second Embodiment]
The
図14は、第2の実施の形態にかかる調理機100におけるメニュー提案動作(ステップ#5)の概要を説明するための図である。図14を参照して、調理機100は、音声にて評価の入力を受け付けた後にサーバ500にアクセスし、調理されたメニューに関連するメニュー検索結果をサーバ500から得る(ステップS51)。一例として、サーバ500は、調理機100からの調理履歴に基づいて、調理されたメニュー(たとえばスパニッシュオムレツ)に関連するメニューを検索する。関連するメニューは、調理されたメニューを検索する際に用いたキーワード(卵)を用いて再度検索して得られてもよいし、調理されたメニュー(たとえばスパニッシュオムレツ)に含まれる材料(たとえば卵、ハム、ジャガイモなど)をキーワードにして検索動作を実行することによって得られてもよい。サーバ500は該キーワードに該当するメニューをメモリから抽出すると、抽出したメニューを特定する情報(たとえばメニュー名である春巻き)を調理機100に送信する。
FIG. 14 is a diagram for explaining an outline of the menu suggestion operation (step # 5) in the
調理機100は、検索結果としてサーバ500から渡された情報に基づいて、たとえば「残ったスパニッシュオムレツを使って春巻きができるよ」のように、予め記憶しているフォーマットにサーバ500から渡されたメニュー名(春巻き)を埋め込んでメッセージを生成し、音声によって関連するメニューを報知する(ステップS52)。
Based on the information passed from the
好ましくは、調理機100は、たとえば「春巻きの皮を買う?」のように、関連するメニューで用いる物品の要否を確認する音声メッセージをさらに出力してもよい。この場合、サーバ500は、関連するメニューを特定する情報(春巻き)と共に、当該メニューに用いられる物品の少なくとも1つを特定する情報(春巻きの皮)を調理機100に送信する。
Preferably,
上記音声メッセージの出力の後、マイク14から音声が入力されると、つまり、ユーザが購入の要否を発話してマイク14に入力されると(ステップS53)、調理機100は入力された音声から得られた音声データをサーバ500に送信する(ステップS54)。
When the voice is input from the
調理機100から音声データを受信したサーバ500は、音声認識処理を実行することによって当該音声で表わされた購入の要否や購入する物品や購入量などを特定する。そして、サーバ500は、物品ごとに購入用のサイトとしてアクセス情報を予め記憶しているサーバ500Aにアクセスし、当該物品の購入の指示や決済処理などを実行する(ステップS55)。ステップS55でサーバ500は、さらに、ユーザの携帯するタブレット端末などに購入操作を行なうための画面を表示させてユーザ操作を受け付け、当該ユーザ操作に従って指定された物品の購入の指示や決済処理などを実行してもよい。
The
図15は、第2の実施の形態にかかるサーバ500の動作の流れを表わしたフローチャートであって、図13のステップS219以降の動作の流れを表わしたフローチャートである。
FIG. 15 is a flowchart showing an operation flow of the
図15を参照して、サーバ500のCPU50は、評価の入力に応じて上記ステップS219で応答メッセージを送信した後、さらに、調理されたメニューに関連するメニューを検索する(ステップS221)。なお、ステップS221でCPU50は、入力された評価レベルが規定レベル以上であった場合に関連するメニューを検索するようにしてもよい。
Referring to FIG. 15,
関連するメニューが抽出されると、CPU50は、さらに、当該メニューの材料など、調理に必要な物品を特定する(ステップS223)。そして、CPU50は、予め記憶しているフォーマットに特定された物品を特定する情報を組み込むなどして、当該物品の購入の要否を確認するメッセージを生成する(ステップS225)。CPU50は、生成したメッセージと当該メッセージの出力を指示するコマンドとを調理機100に送信する(ステップS227)。
When the related menu is extracted, the
ステップS227でコマンドを送信した後に調理機100から音声データを受信した場合(ステップS229でYES)、CPU50は、音声を認識することによって物品の購入の指示であるか否かを特定する。音声データが物品の購入を指示するものであった場合(ステップS231でYES)、CPU50は、購入する物品や数量などを特定して、指定された物品を購入するためのサーバに購入を指示する(ステップS233)。ステップS233でCPU50は、調理機100やユーザの携帯するタブレットに対して指示内容を確認するための出力を行なわせ、購入を確認するユーザ操作を受け付けた上で上記サーバに購入を指示してもよい。好ましくは、CPU50は、上記サーバに指定された物品の購入を指示すると共に、当該サーバに対して電子的に対価を支払う決済処理(電子決済処理)を行なってもよい(ステップS235)。
When the voice data is received from the
<第2の実施の形態の効果>
調理機100およびサーバ500がさらに以上の動作を実行することによって、ユーザは調理を完了した後にさらに関連するメニューが得られる。また、そのメニューの調理に必要な物品を容易な操作で購入することが可能になる。
<Effects of Second Embodiment>
When the
開示された特徴は、1つ以上のモジュールによって実現される。たとえば、当該特徴は、回路素子その他のハードウェアモジュールによって、当該特徴を実現する処理を規定したソフトウェアモジュールによって、または、ハードウェアモジュールとソフトウェアモジュールとの組み合わせによって実現され得る。 The disclosed features are realized by one or more modules. For example, the feature can be realized by a circuit element or other hardware module, by a software module that defines processing for realizing the feature, or by a combination of a hardware module and a software module.
上述の動作を調理機やサーバに実行させるための、1つ以上のソフトウェアモジュールの組み合わせであるプログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、CD−ROM(Compact Disk-Read Only Memory)、ROM、RAMおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。 It can also be provided as a program which is a combination of one or more software modules for causing the cooking machine or server to perform the above-described operation. Such a program is recorded on a computer-readable recording medium such as a flexible disk attached to the computer, a CD-ROM (Compact Disk-Read Only Memory), a ROM, a RAM, and a memory card, and provided as a program product. You can also Alternatively, the program can be provided by being recorded on a recording medium such as a hard disk built in the computer. A program can also be provided by downloading via a network.
なお、本開示にかかるプログラムは、コンピュータのオペレーティングシステム(OS)の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずOSと協働して処理が実行される。このようなモジュールを含まないプログラムも、本開示にかかるプログラムに含まれ得る。 The program according to the present disclosure is a program module that is provided as a part of a computer operating system (OS) and calls necessary modules in a predetermined arrangement at a predetermined timing to execute processing. Also good. In that case, the program itself does not include the module, and the process is executed in cooperation with the OS. Such a program that does not include a module may also be included in the program according to the present disclosure.
また、本開示にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本開示にかかるプログラムに含まれ得る。 Further, the program according to the present disclosure may be provided by being incorporated in a part of another program. Even in this case, the program itself does not include the module included in the other program, and the process is executed in cooperation with the other program. A program incorporated in such another program may also be included in the program according to the present disclosure.
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。 The provided program product is installed in a program storage unit such as a hard disk and executed. The program product includes the program itself and a recording medium on which the program is recorded.
<変形例>
上記においては、家電機器の一例として調理機100を挙げて説明した。しかしながら、これに限定されず、調理機100以外の家電機器でも上述した評価方法を利用可能である。
<Modification>
In the above, the
たとえば、エアコン200Cの運転状況等に応じて、ユーザが調理機100の場合と同じように評価を行なってもよい。この場合、たとえば、「本日、節電運転を実施して電気代をいつもより○○円節約したよ。運転状況を星3つで採点すると、星はいくつだったかな?」といったメッセージを生成し、当該メッセージを音声によって報知するように、エアコン200Cを構成すればよい。
For example, the user may perform the evaluation in the same manner as in the case of the
また、空気清浄機200Bの運転状況に応じて、ユーザが調理機100の場合と同じように評価を行なってもよい。このように、調理機100以外の家電機器の運転状況に応じて、ユーザが調理機100の場合と同じように評価を行なってもよい。
Moreover, according to the driving | running condition of the air cleaner 200B, you may evaluate similarly to the case where the user is the
[まとめ]
本開示の1つの局面は、次のように表わすことができる。
[Summary]
One aspect of the present disclosure can be expressed as follows.
(1)マイク(マイク14)およびスピーカ(スピーカ15)を有する家電機器(調理機100)と、家電機器と相互に通信可能なサーバ(サーバ500)とを備え、家電機器は、当該家電機器における調理の完了後の規定されたタイミング(T1〜)に調理に関する評価の入力を促す第1の音声メッセージをスピーカから出力し、第1の音声メッセージに応じた音声の入力をマイクによって受け付け、サーバは、家電機器に入力された音声に基づいた評価結果を調理に関する評価としてメモリ装置(調理履歴記憶部532)に格納する、調理システム。 (1) A home appliance (cooking machine 100) having a microphone (microphone 14) and a speaker (speaker 15) and a server (server 500) capable of communicating with the home appliance are provided. The first voice message prompting the input of the evaluation regarding cooking is output from the speaker at a predetermined timing (T1) after the cooking is completed, and the voice input corresponding to the first voice message is received by the microphone. The cooking system which stores the evaluation result based on the audio | voice input into the household appliances in a memory device (cooking history memory | storage part 532) as evaluation regarding cooking.
(2)家電機器は、調理の完了後に当該家電機器から所定範囲にユーザの存在を検知すると(センサ19、センサ結果入力部106)第1の音声メッセージをスピーカから出力する、(1)に記載の調理システム。
(2) The home appliance outputs a first voice message from the speaker when detecting the presence of the user within a predetermined range from the home appliance after completion of cooking (
(3)家電機器は、調理の完了後に当該家電機器に対するユーザの接触を検知すること、当該家電機器に搭載されたセンサが当該家電機器からセンシング可能な範囲のユーザの存在を検知すること、当該家電機器と通信可能な他の装置からユーザの存在を検知したことを示す検知結果を受け付けること、の少なくとも1つが発生した場合に第1の音声メッセージをスピーカから出力する、(2)に記載の調理システム。 (3) The home appliance detects a user's contact with the home appliance after the completion of cooking, detects the presence of a user within a range in which a sensor mounted on the home appliance can be sensed from the home appliance, The first voice message is output from the speaker when at least one of the detection result indicating that the presence of the user is detected is received from another device that can communicate with the home appliance, according to (2) Cooking system.
(4)家電機器は、調理の完了後に第1の音声メッセージが出力可能な状態にあることを視覚的にユーザに報知し、第1の音声メッセージを出力するための予め規定された操作を受け付けることによって第1の音声メッセージをスピーカから出力する、(1)に記載の調理システム。 (4) The home appliance visually notifies the user that the first voice message can be output after the cooking is completed, and accepts a predetermined operation for outputting the first voice message. The cooking system according to (1), wherein the first voice message is output from the speaker.
(5)家電機器は、調理の完了後、調理の対象および/または調理が行なわれた時刻の属する時間帯に基づいて決定される時間の経過後に第1の音声メッセージが出力可能な状態となる、(1)〜(4)のいずれかに記載の調理システム。 (5) After the completion of cooking, the home appliance is in a state in which the first voice message can be output after a time determined based on a time zone to which the cooking target and / or the time at which cooking is performed belongs. The cooking system according to any one of (1) to (4).
(6)第1の音声メッセージは、調理の完了後第1の時間の経過後に出力される調理の工程および/または完成度に関する評価の入力を促す音声メッセージと、調理の工程および/または完成度に関する評価の入力を促す音声メッセージよりも後にスピーカから出力される、調理された料理の味覚に関する評価の入力を促す音声メッセージとを含む、(1)〜(5)のいずれかに記載の調理システム。 (6) The first voice message includes a voice message that prompts an input of an evaluation relating to a cooking process and / or perfection that is output after the first time has elapsed after the completion of cooking, and a cooking process and / or perfection. The cooking system according to any one of (1) to (5), including a voice message that is output from a speaker after a voice message that prompts an input of an evaluation regarding the taste of the cooked dish .
(7)サーバは、家電機器に入力された音声を認識することによって特定された、予め記憶されている複数の評価レベルのうちの音声が示す評価結果に対応した評価レベルを、調理に関する評価としてメモリ装置に格納する、(1)〜(6)のいずれかに記載の調理システム。 (7) The server uses the evaluation level corresponding to the evaluation result indicated by the voice among the plurality of pre-stored evaluation levels specified by recognizing the voice input to the home appliance as the evaluation related to cooking. The cooking system according to any one of (1) to (6), which is stored in a memory device.
(8)サーバは、調理の完了後の予め規定された期間にマイクから入力された音声に基づいた評価結果を有効な評価結果としてメモリ装置に格納する、(1)〜(7)のいずれかに記載の調理システム。 (8) The server stores, in the memory device, an evaluation result based on the voice input from the microphone during a predetermined period after the cooking is completed as an effective evaluation result. The cooking system described in.
(9)予め規定された期間は、家電機器が第1の音声メッセージが出力可能な状態となってから規定された期間、または、家電機器が第1の音声メッセージを出力してから規定された期間のいずれかを含む、(8)に記載の調理システム。 (9) The predetermined period is specified after the home appliance is ready to output the first voice message, or specified after the home appliance outputs the first voice message. The cooking system according to (8), including any of the periods.
(10)予め規定された期間は、調理の対象および/または調理時刻の属する時間帯に基づいて決定される、(8)に記載の調理システム。 (10) The cooking system according to (8), wherein the predetermined period is determined based on a cooking target and / or a time zone to which cooking time belongs.
(11)家電機器は、マイクによって音声の入力を受け付けた後に、調理に関連して予め記憶されている他の調理に関する第2の音声メッセージをスピーカから出力する、(1)〜(10)のいずれかに記載の調理システム。 (11) The home appliance outputs a second voice message relating to other cooking stored in advance in relation to cooking from the speaker after receiving an input of voice by the microphone. (1) to (10) A cooking system according to any one of the above.
(12)第2の音声メッセージは、他の調理に用いる物品の購入を促すメッセージを含み、家電機器が第2の音声メッセージに応じた物品の購入を指示する音声の入力をマイクによって受け付けると、サーバは、予め記憶している物品の購入のための処理を実行可能な他の装置にアクセスして物品の購入のための処理を指示し、ユーザ指示に従って他の装置に対する決済処理を実行する、(11)に記載の調理システム。 (12) The second voice message includes a message that prompts the purchase of an article to be used for other cooking, and when the home appliance receives voice input instructing the purchase of the article according to the second voice message, The server accesses another device capable of executing a process for purchasing an article stored in advance, instructs the process for purchasing the article, and executes a settlement process for the other apparatus according to a user instruction. The cooking system according to (11).
(13)家電機器は調理機である(1)〜(12)のいずれかに記載の調理システム。
(14)マイクおよびスピーカを有する家電機器と通信可能なサーバであって、マイクに入力された、家電機器における調理の完了後の規定されたタイミングにスピーカから出力される調理に関する評価の入力を促す音声メッセージに応じた音声の入力を、家電機器から受け付けるための音声入力手段と、音声に基づいた評価結果を調理に関する評価としてメモリ装置に格納するための格納手段とを備える、サーバ。
(13) The cooking system according to any one of (1) to (12), wherein the home appliance is a cooking machine.
(14) A server capable of communicating with a home appliance having a microphone and a speaker, and prompting an input of an evaluation regarding cooking output from the speaker at a specified timing after completion of cooking in the home appliance, which is input to the microphone. A server comprising: voice input means for receiving voice input according to a voice message from a home appliance; and storage means for storing an evaluation result based on the voice in a memory device as an evaluation related to cooking.
(15)家電機器は調理機である、(14)に記載のサーバ。
(16)サーバと通信可能な家電機器であって、マイクと、スピーカと、マイクおよびスピーカによる音声入出力を制御するための制御手段とを備え、制御手段は、当該家電機器における調理の完了後の規定されたタイミングに調理に関する評価の入力を促す第1の音声メッセージを前記スピーカから出力し、第1の音声メッセージに応じた音声の入力をマイクによって受け付け、マイクに入力された音声をサーバに送信する、家電機器。
(15) The server according to (14), wherein the home appliance is a cooking machine.
(16) A home appliance capable of communicating with the server, comprising a microphone, a speaker, and a control means for controlling voice input / output by the microphone and the speaker, the control means being after the cooking in the home appliance is completed A first voice message prompting an input of an evaluation regarding cooking is output from the speaker at a prescribed timing of the above, a voice input corresponding to the first voice message is received by the microphone, and the voice input to the microphone is sent to the server Send home appliances.
(17)家電機器は調理機である、(16)に記載の家電機器。
(18)家電機器における調理に関する評価を入力する方法であって、家電機器が、当該家電機器における調理の完了後の規定されたタイミングに、調理に関する評価の入力を促す音声メッセージを家電機器に搭載されているスピーカから出力するステップと、家電機器が、音声メッセージに応じた音声の入力を家電機器に搭載されているマイクによって受け付けるステップと、家電機器が、マイクに入力された音声に基づくデータを家電機器と通信可能なサーバに送信するステップと、サーバが、音声に基づいた評価結果を調理に関する評価としてメモリ装置に格納するステップとを備える、評価方法。
(17) The home appliance according to (16), wherein the home appliance is a cooking machine.
(18) A method for inputting an evaluation related to cooking in a home appliance, and the home appliance equips the home appliance with a voice message that prompts input of an evaluation related to cooking at a specified timing after the completion of cooking in the home appliance. A step of outputting from the speaker, a step in which the home appliance accepts voice input according to the voice message by the microphone mounted on the home appliance, and the home appliance receives data based on the voice input to the microphone. An evaluation method comprising: transmitting to a server communicable with the home appliance; and storing the evaluation result based on the voice in a memory device as an evaluation related to cooking.
(19)家電機器は調理機である、(18)に記載の評価方法。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
(19) The evaluation method according to (18), wherein the home appliance is a cooking machine.
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
10,50 CPU、11,51 ROM、12,52 RAM、13 調理部、13A,508 格納部、14 マイク、15 スピーカ、16 表示部、17 操作部、17A 操作ボタン、17B タッチパネル、18,54 通信部、19 センサ、53 HDD、100 調理機、101 コマンド入力部、102 メッセージ出力部、103,505 音声入力部、104 音声送信部、105 報知部、106 センサ結果入力部、200A 冷蔵庫、200B 空気清浄機、200C エアコン、300 ルータ、500,500A サーバ、501 調理履歴入力部、503 メッセージ生成部、504 コマンド送信部、506 音声識別部、507 評価レベル特定部、509 応答決定部、511 応答送信部、531 評価レベル情報記憶部、532 調理履歴記憶部。 10, 50 CPU, 11, 51 ROM, 12, 52 RAM, 13 cooking unit, 13A, 508 storage unit, 14 microphone, 15 speaker, 16 display unit, 17 operation unit, 17A operation button, 17B touch panel, 18, 54 communication Unit, 19 sensor, 53 HDD, 100 cooking machine, 101 command input unit, 102 message output unit, 103,505 voice input unit, 104 voice transmission unit, 105 notification unit, 106 sensor result input unit, 200A refrigerator, 200B air purifier Machine, 200C air conditioner, 300 router, 500, 500A server, 501 cooking history input unit, 503 message generation unit, 504 command transmission unit, 506 voice identification unit, 507 evaluation level identification unit, 509 response determination unit, 511 response transmission unit, 531 Evaluation level information Department, 532 cooking history storage unit.
Claims (19)
前記家電機器と相互に通信可能なサーバとを備え、
前記家電機器は、当該家電機器における調理の完了後の規定されたタイミングに前記調理に関する評価の入力を促す第1の音声メッセージを前記スピーカから出力し、前記第1の音声メッセージに応じた音声の入力を前記マイクによって受け付け、
前記サーバは、前記家電機器に入力された前記音声に基づいた評価結果を前記調理に関する評価としてメモリ装置に格納する、調理システム。 A household electrical appliance having a microphone and a speaker;
A server capable of mutual communication with the home appliance,
The household electrical appliance outputs a first voice message that prompts an input of an evaluation related to cooking at a prescribed timing after cooking is completed in the household electrical appliance, and outputs a voice corresponding to the first voice message. Accept input by the microphone,
The said server stores the evaluation result based on the said audio | voice input into the said household appliances in a memory apparatus as evaluation regarding the said cooking.
前記家電機器が前記第2の音声メッセージに応じた前記物品の購入を指示する音声の入力を前記マイクによって受け付けると、前記サーバは、予め記憶している前記物品の購入のための処理を実行可能な他の装置にアクセスして前記物品の購入のための処理を指示し、ユーザ指示に従って前記他の装置に対する決済処理を実行する、請求項11に記載の調理システム。 The second voice message includes a message prompting the purchase of an article used for the other cooking,
When the home appliance receives an input of a voice instructing the purchase of the article according to the second voice message by the microphone, the server can execute a process for purchasing the article stored in advance. The cooking system according to claim 11, wherein the other device is accessed to instruct processing for purchasing the article, and payment processing for the other device is executed according to a user instruction.
前記マイクに入力された、前記家電機器における調理の完了後の規定されたタイミングに前記スピーカから出力される前記調理に関する評価の入力を促す音声メッセージに応じた音声の入力を、前記家電機器から受け付けるための音声入力手段と、
前記音声に基づいた評価結果を前記調理に関する評価としてメモリ装置に格納するための格納手段とを備える、サーバ。 A server capable of communicating with a home appliance having a microphone and a speaker,
Accepts voice input from the home appliance in response to a voice message that is input to the microphone and prompts an input of an evaluation regarding the cooking that is output from the speaker at a specified timing after cooking is completed in the home appliance. Voice input means for
A storage unit for storing an evaluation result based on the voice in a memory device as an evaluation related to the cooking.
マイクと、
スピーカと、
前記マイクおよび前記スピーカによる音声入出力を制御するための制御手段とを備え、
前記制御手段は、
当該家電機器における調理の完了後の規定されたタイミングに前記調理に関する評価の入力を促す第1の音声メッセージを前記スピーカから出力し、
前記第1の音声メッセージに応じた音声の入力を前記マイクによって受け付け、
前記マイクに入力された前記音声を前記サーバに送信する、家電機器。 A home appliance that can communicate with a server,
With a microphone,
Speakers,
Control means for controlling voice input and output by the microphone and the speaker,
The control means includes
Outputting from the speaker a first voice message that prompts input of an evaluation relating to the cooking at a specified timing after completion of cooking in the home appliance;
Receiving a voice input according to the first voice message by the microphone;
A home electric appliance that transmits the voice input to the microphone to the server.
前記家電機器が、当該家電機器における調理の完了後の規定されたタイミングに、前記調理に関する評価の入力を促す音声メッセージを前記家電機器に搭載されているスピーカから出力するステップと、
前記家電機器が、前記音声メッセージに応じた音声の入力を前記家電機器に搭載されているマイクによって受け付けるステップと、
前記家電機器が、前記マイクに入力された前記音声に基づくデータを前記家電機器と通信可能なサーバに送信するステップと、
前記サーバが、前記音声に基づいた評価結果を前記調理に関する評価としてメモリ装置に格納するステップとを備える、評価方法。 A method for inputting an evaluation about cooking in a home appliance,
The household electrical appliance outputs a voice message that prompts input of an evaluation regarding the cooking from a speaker mounted on the household electrical appliance at a specified timing after completion of cooking in the household electrical appliance;
The home appliance receives a voice input according to the voice message by a microphone mounted on the home appliance;
The home appliance transmits data based on the voice input to the microphone to a server capable of communicating with the home appliance;
The server includes a step of storing an evaluation result based on the voice in a memory device as an evaluation related to the cooking.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015190976A JP6203222B2 (en) | 2015-09-29 | 2015-09-29 | Cooking system, home appliance, and evaluation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015190976A JP6203222B2 (en) | 2015-09-29 | 2015-09-29 | Cooking system, home appliance, and evaluation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017067899A true JP2017067899A (en) | 2017-04-06 |
JP6203222B2 JP6203222B2 (en) | 2017-09-27 |
Family
ID=58494558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015190976A Active JP6203222B2 (en) | 2015-09-29 | 2015-09-29 | Cooking system, home appliance, and evaluation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6203222B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020064196A (en) * | 2018-10-18 | 2020-04-23 | 翔平 宮崎 | Voice review, log data collection, and analysis system |
CN111291951A (en) * | 2018-12-07 | 2020-06-16 | 宁波方太厨具有限公司 | Cooking performance measuring method for microwave oven |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0473517A (en) * | 1990-07-10 | 1992-03-09 | Matsushita Electric Ind Co Ltd | Electronic control type cooker |
JP2002168453A (en) * | 2000-11-30 | 2002-06-14 | Sanyo Electric Co Ltd | Cooking device and cooking system |
JP2005202556A (en) * | 2004-01-14 | 2005-07-28 | Pioneer Electronic Corp | Information provision device and method |
JP2005216245A (en) * | 2004-02-02 | 2005-08-11 | Konica Minolta Business Technologies Inc | Image processing system, image processor, method for displaying evaluation information, program for use in client device, and program for use in image processor |
JP2010176323A (en) * | 2009-01-28 | 2010-08-12 | Nintendo Co Ltd | Program, information processor, and information processing system |
-
2015
- 2015-09-29 JP JP2015190976A patent/JP6203222B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0473517A (en) * | 1990-07-10 | 1992-03-09 | Matsushita Electric Ind Co Ltd | Electronic control type cooker |
JP2002168453A (en) * | 2000-11-30 | 2002-06-14 | Sanyo Electric Co Ltd | Cooking device and cooking system |
JP2005202556A (en) * | 2004-01-14 | 2005-07-28 | Pioneer Electronic Corp | Information provision device and method |
JP2005216245A (en) * | 2004-02-02 | 2005-08-11 | Konica Minolta Business Technologies Inc | Image processing system, image processor, method for displaying evaluation information, program for use in client device, and program for use in image processor |
JP2010176323A (en) * | 2009-01-28 | 2010-08-12 | Nintendo Co Ltd | Program, information processor, and information processing system |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020064196A (en) * | 2018-10-18 | 2020-04-23 | 翔平 宮崎 | Voice review, log data collection, and analysis system |
JP7187017B2 (en) | 2018-10-18 | 2022-12-12 | 翔平 宮崎 | Voice review/log data collection/analysis system |
CN111291951A (en) * | 2018-12-07 | 2020-06-16 | 宁波方太厨具有限公司 | Cooking performance measuring method for microwave oven |
CN111291951B (en) * | 2018-12-07 | 2023-04-18 | 宁波方太厨具有限公司 | Cooking performance measuring method for microwave oven |
Also Published As
Publication number | Publication date |
---|---|
JP6203222B2 (en) | 2017-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8342847B2 (en) | Interactive recipe preparation instruction delivery to disabled indiviuals | |
US8323026B2 (en) | Interactive recipe preparation using instructive device with integrated actuators to provide tactile feedback | |
US20220034514A1 (en) | Method and apparatus for cooking using coded information associated with food packaging | |
US8419433B2 (en) | Monitoring recipe preparation using interactive cooking device | |
US20090258331A1 (en) | Interactive recipe preparation using instructive device with integrated actuators to provide tactile feedback | |
US8992225B2 (en) | Monitoring recipe preparation using instructive device and generating an alert to provide feedback | |
US10282079B2 (en) | Control method of controlling a terminal apparatus connected to a cooking device | |
US10303136B2 (en) | Control method, recording medium, and information providing method for terminal device and information providing system | |
CN205881452U (en) | Electric appliance for cooking | |
KR102371752B1 (en) | Home appliance and controlling method thereof | |
US11761701B2 (en) | Refrigerator inventory device | |
JP7117179B2 (en) | Network system, server and information processing method | |
JP7434439B2 (en) | heating cooker | |
JP6203222B2 (en) | Cooking system, home appliance, and evaluation method | |
JP2003108183A (en) | Voice controller and heating cooker | |
CN109380975A (en) | Cooking appliance, control method and system thereof and server | |
AU2019302632B2 (en) | Method for operating a cooking appliance | |
JP2019057222A (en) | Server, cooking device, information processing system, program for server to make computer function, and server control method | |
CN113662446A (en) | Internet of things-based cooking assistance method and device, intelligent terminal and storage medium | |
WO2023017645A1 (en) | Information processing device, information processing method, and program | |
JP2020126290A (en) | Network system, information processing method, server, and refrigerator | |
JP2020126289A (en) | Network system, information processing method, and server | |
CN110520020B (en) | Heating cooking device, mobile terminal device, cooking reservation program, and storage medium | |
JP7062420B2 (en) | Cooker system | |
CN213366131U (en) | Air fryer capable of being controlled by voice |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170321 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170711 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6203222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |