JP2010061382A - 自動レシピ作成装置およびプログラム - Google Patents

自動レシピ作成装置およびプログラム Download PDF

Info

Publication number
JP2010061382A
JP2010061382A JP2008226207A JP2008226207A JP2010061382A JP 2010061382 A JP2010061382 A JP 2010061382A JP 2008226207 A JP2008226207 A JP 2008226207A JP 2008226207 A JP2008226207 A JP 2008226207A JP 2010061382 A JP2010061382 A JP 2010061382A
Authority
JP
Japan
Prior art keywords
recipe
ingredient
image
food
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008226207A
Other languages
English (en)
Inventor
Tokimi Kuwata
旬美 鍬田
Tomohisa Hasumi
友久 蓮見
Masaru Fujita
優 藤田
Nobuki Takahashi
信樹 高橋
Shigeo Takahashi
茂雄 高橋
Tetsuo In
哲生 因
Masanaga Nakamura
正永 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008226207A priority Critical patent/JP2010061382A/ja
Publication of JP2010061382A publication Critical patent/JP2010061382A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G06F19/00

Landscapes

  • Electric Ovens (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】
従来は、ユーザーが使用する食材名を手入力するなど、煩雑な操作を行う必要があった。
【解決手段】
食材画像を撮影する撮像手段と、食材画像と食材情報とを関連付けて記憶する食材データベースと、前記撮像手段で撮影した食材画像との類似度が高い食材画像を前記食材データベースに記憶された食材画像の中から検索する食材検索手段と、食材情報からレシピを検索できるように、食材情報とレシピとを関連付けて記憶するレシピデータベースと、前記食材検索手段により得られた食材情報を用いたレシピを前記レシピデータベースの中から検索するレシピ検索手段と、前記レシピ検索手段が検索したレシピ内容を表示するレシピ表示手段とを設けた。
【選択図】 図1

Description

本発明は、撮影画像から自動的にレシピを作成する技術に関する。
従来、スーパーマーケットの店頭に並んでいる食材や冷蔵庫に保存されている食材を見て、その食材を使用した料理を考えるのが面倒であったり、さらにその料理の調理方法が分からないなどの問題があった。そこで、手入力された食材情報に基づいてコンピュータが当該食材を使用したレシピ(料理名および調理方法など)を表示するレシピ提供システムが考えられている(例えば、特許文献1参照)。
一方、気軽に撮影できるデジタルカメラの普及に伴い、料理を撮影してプログに登録したり、レシピを公開する人が増えている。また、デジタルカメラの画像処理技術の向上により、撮影画像の中から様々な画像認識を行えるようになってきており、顔認識や表情認識などが実用化されている。
特開平11−066170号公報
ところが、従来は、レシピを表示するために、使用する食材名などを手入力しなければならず、食材の名前が分からない場合もあり、ユーザーにとって非常に使いにくいものであった。また、ユーザーが表示されたレシピに書かれている調理器具を持っていない場合や、季節に合わない料理が表示されたり、その地域の味付けに合わない調理方法が表示されるなど、必ずしもユーザーに最適なレシピが表示されるわけではなかった。
本発明の目的は、煩雑な操作を行うことなく、食材画像から自動的にレシピを作成することができる自動レシピ作成装置およびプログラムを提供することである。
本発明に係る自動レシピ作成装置は、食材画像を撮影する撮像手段と、食材画像と食材情報とを関連付けて記憶する食材データベースと、前記撮像手段で撮影した食材画像との類似度が高い食材画像を前記食材データベースに記憶された食材画像の中から検索する食材検索手段と、食材情報からレシピを検索できるように、食材情報とレシピとを関連付けて記憶するレシピデータベースと、前記食材検索手段により得られた食材情報を用いたレシピを前記レシピデータベースの中から検索するレシピ検索手段と、前記レシピ検索手段が検索したレシピ内容を表示するレシピ表示手段とを有することを特徴とする。
また、好ましくは、前記レシピ表示手段は、レシピ内容として、他に必要な食材、調理方法、料理手順、使用する調理器具を表示することを特徴とする。
また、好ましくは、前記撮像手段が撮影した食材画像から食材に関連するラベル情報を抽出するラベル情報抽出手段を更に設け、前記食材検索手段は、前記ラベル情報抽出手段が抽出した食材情報に基づいて、前記食材データベースから食材情報を検索することを特徴とする。
また、好ましくは、前記ラベル情報抽出手段は、食材の包装紙に貼付されているデジタルコード情報を抽出することを特徴とする。
また、好ましくは、前記撮像手段が撮影した調理器具画像から調理器具の種類とサイズを判別する調理器具判別手段を更に設け、前記レシピ検索手段は、前記食材検索手段によって検索された食材情報に対応するレシピを前記レシピデータベースの中から検索する際に、前記調理器具判別手段が判別した調理器具の種類とサイズに合致するレシピを検索することを特徴とする。
また、好ましくは、前記撮像手段が撮影する日時を得るための時計カレンダ手段を更に設け、前記レシピ検索手段は、前記食材検索手段によって検索された食材情報に対応するレシピを前記レシピデータベースの中から検索する際に、前記時計カレンダ手段から得られる食材画像の撮影日時に応じたレシピを優先的に検索することを特徴とする。
また、好ましくは、前記食材検索手段は、前記食材データベースに記憶された前記複数の食材画像と前記撮像手段で撮影した食材画像との類似度が高い食材画像を検索する際に、前記時計カレンダ手段から得られる食材画像の撮影日時に応じた食材名を優先的に検索して表示することを特徴とする。
また、好ましくは、前記撮像手段が食材画像を撮影する地理的位置を得るための位置計測手段を更に設け、前記レシピ検索手段は、前記食材検索手段によって検索された食材情報に対応するレシピを前記レシピデータベースの中から検索する際に、前記位置計測手段から得られる地理的位置に応じたレシピを優先的に検索することを特徴とする。
また、好ましくは、前記レシピ検索手段が優先的に検索するレシピは、調理方法そのものであり、この調理方法には、加熱方法,材料の切り方,下ごしらえ,味付け,味付け方法を含む、ことを特徴とする。
本発明に係る自動レシピ作成プログラムは、コンピュータを用いて処理されるプログラムであって、食材画像を入力する画像入力手順と、食材画像と食材情報とを関連付けて記憶する食材データベースに記憶された食材画像の中から前記画像入力手順で入力した食材画像との類似度が高い食材画像を検索する食材検索手順と、食材情報からレシピを検索できるように食材情報とレシピとを関連付けて記憶するレシピデータベースの中から、前記食材検索手順により得られた食材情報を用いたレシピを検索するレシピ検索手順と、前記レシピ検索手順が検索したレシピ内容を表示するレシピ表示手順とを有することを特徴とする。
本発明に係る自動レシピ作成装置およびプログラムは、食材画像から自動的にレシピを作成することができるので、ユーザーは食材名入力などの煩雑な操作を行う必要がなく、最適なレシピを作成することができる。
以下、本発明に係る自動レシピ作成装置およびプログラムに関する実施形態について説明する。
(第1の実施形態)
第1の実施形態は、デジタルカメラ101で自動レシピ作成装置を実現する場合の一例である。図1は、デジタルカメラ101の構成を示すブロック図である。デジタルカメラ101は、撮影光学系102と、撮像素子103と、AFE(アナログフロントエンド)104と、A/D変換部105と、画像バッファ106と、制御部107と、表示部108と、メモリカードI/F109と、操作部110と、メモリ111と、デートモジュール112と、GPS(Global Positioning System)部113とで構成される。
図1において、撮影光学系102に入射された被写体光は、撮像素子103の受光面に入射される。ここで、撮影光学系102は、ズームレンズやフォーカスレンズなどの複数枚のレンズで構成され、制御部107からのズーム指令によってズームレンズを移動したり、フォーカス指令によってフォーカスレンズを移動する。尚、ズームレンズの位置やフォーカスレンズの位置は制御部107に出力される。
撮像素子103の受光面には二次元状に光電変換部が配置されており、各光電変換部に入射された光は制御部107から出力されるタイミング信号に応じて電気信号に変換され、変換された電気信号はAFE104に出力される。
AFE104は、制御部107から出力されるタイミング信号に応じて、撮像素子103から出力される電気信号のノイズ除去や増幅などを行って、A/D変換部105に出力する。
A/D変換部105は、制御部107から出力されるタイミング信号に応じて、AFE104から出力される電気信号をデジタル信号に変換する。そして、1画面分のデジタル信号が撮影画像の画像データとして画像バッファ106に一時的に記憶される。
制御部107は、内部に予め記憶されているプログラムに従って動作し、デジタルカメラ101の各部を制御する。例えば、画像バッファ106に一時的に記憶されている画像データに対して、色補間処理やホワイトバランス処理などを行い、表示部108に撮影画像として表示する。或いは、色補間処理やホワイトバランス処理後の画像データにJPEG圧縮処理などの画像圧縮処理を行う。尚、画像圧縮されたJPEG形式の画像データはメモリカードI/F109を介して接続されているメモリカード109aに保存される。
表示部108は、制御部107の指令に応じて、撮影画像や文字および図形などで構成されるメニュー画面などを表示する。特に、本実施形態では、料理画像,調理器具画像およびレシピなどを表示する。
操作部110は、図2のデジタルカメラ101の外観図に示すように、電源ボタン201、レリーズボタン202、ズームボタン203、十字キー204(上キー204a,下キー204b,左キー204c,右キー204d)、確定ボタン205などで構成される。ユーザーは、これらの操作ボタンを操作してデジタルカメラ101を操作する。これらの操作ボタンの操作情報は、制御部107に出力され、制御部107は、操作部110から入力する操作情報に応じて、デジタルカメラ101の全体の動作を制御する。また、操作部110は、図2の表示部108の画面に表示される項目A,項目Bおよび項目Cなどを十字キー204で選択し、確定ボタン205を押下して選択を確定する。例えば、十字キー204の上キー204aまたは下キー204bを押下する毎に、項目A,項目B,項目Cの3つの選択対象が順に選択され、選択された項目は太枠で表示される。また、1画面に表示できない項目は別の画面で表示するようにし、次画面や前画面への操作は、例えば十字キー204の左キー204cで前画面へ、右キー204dで次画面へ、それぞれ移動することができる。
図2の場合は、項目Bが十字キー204で選択された場合を示し、項目Bは選択されていることを示す太枠で囲まれて表示されている。このように太枠で項目が囲まれた状態で、確定ボタン205を押下すると、太枠で囲まれていた項目の選択が確定する。
メモリ111は、フラッシュメモリなど不揮発性の記憶媒体で構成される。メモリ111には、デジタルカメラ101の撮影条件(撮影モード、撮影画像の解像度など)が保存されている。また、色補間処理やホワイトバランス処理後の画像データや、メモリカード109aに読み書きされるJPEG形式の画像データなども必要に応じてメモリ111に保持される。特に、本実施形態では、メモリ111は、食材データベース(食材DB)111aとして食材画像や食材情報を記憶する。また、調理器具データベース(調理器具DB)111bとして調理器具画像や調理器具情報を記憶する。さらに、レシピデータベース(レシピDB)111cとして料理画像や料理名および調理方法などのレシピ情報を記憶する。
尚、メモリ111には、デジタルカメラ101の製品出荷時に予め食材画像とその食材画像に対応する食材情報(食材名や特徴など)が食材DB111aとして記憶されていても良いし、デジタルカメラ101を購入後にユーザーが登録するようにしても構わない。本実施形態では、デジタルカメラ101の製品出荷時に予め主要な食材画像とその食材画像に対応する食材情報(食材名や特徴など)が食材DB111aとして記憶されており、また食材DB111aとして記憶されていない食材画像や食材情報は、後から追加登録できるようになっている。
同様に、メモリ111には、デジタルカメラ101の製品出荷時に予め主要な料理画像や料理名および調理方法などのレシピ情報がレシピDB111cとして記憶されているが、レシピDB111cとして記憶されていない料理画像や料理名および調理方法は、後から追加登録できるようになっている。また、調理器具DB111bについても、撮影された調理器具を判別するための主要な調理器具画像や調理器具情報は予め登録されているが、特に調理器具DB111bの場合は、ユーザーが持っている調理器具やサイズなどの情報を蓄積するため、デジタルカメラ101を購入後にユーザーが登録するようになっている。尚、これらのデーターベースの利用については後で詳しく説明する。
次に、図1の制御部107について詳しく説明する。制御部107は、レンズ制御部121と、食材認識部122と、レシピ作成部123と、文字・コード認識部124と、調理器具認識部125と、AF制御部126とで構成される。尚、本実施形態では説明が分かり易いように、レンズ制御部121,食材認識部122,レシピ作成部123,文字・コード認識部124,調理器具認識部125は、制御部107の処理に含めて描いてあるが、制御部107とは別の専用のICチップなどで構成しても構わない。
レンズ制御部121は、操作部110のズームボタン203の操作に応じて、レンズ制御部121を介して撮影光学系102のズームレンズの位置を移動する。また、AF制御部126は、画像バッファ106に取り込まれた画像の所定位置(AF測定位置)において山登り方式などの焦点検出方式によってデフォーカス量を算出し、焦点位置を求める。制御部107は、AF制御部126が求めた焦点位置になるように、レンズ制御部121を介して撮影光学系102のフォーカスレンズの位置を調節する。
ここで、本実施形態では、制御部107は、レンズ制御部121を介して撮影光学系102のフォーカスレンズの位置を入力し、被写体までの距離を知ることができるようになっている。同様に、制御部107は、レンズ制御部121を介して撮影光学系102のズームレンズの位置を入力し、ズーム倍率(焦点距離)を知ることができるようになっている。そして、制御部107は、フォーカスレンズの位置から求めた被写体までの距離と、ズームレンズの位置から求めたズーム倍率とを合わせて、撮影された画像の大きさを推定することができる。尚、被写体までの距離とズーム倍率に基づいて被写体の大きさを推定する技術は周知なので、ここでは詳しい説明を省略する。
(食材認識部122の処理)
次に、食材認識部122の処理について説明する。食材認識部122は、撮影された食材画像と、メモリ111の食材DB111aに予め記憶された様々な食材画像とを比較する。そして、両画像の類似度を求める。尚、類似画像を検索する技術は、既に顔認識技術などで実用化されているように、画像の特徴量を利用して実現することができる。画像の特徴量とは、色や形状などをパラメータ化して、類似するパラメータを持つ画像を探し出す一般的な技術である。
例えば、図3(a)に示すように、トマト251は色が赤で形状が丸いという特徴があるので、赤の色相範囲や丸い形状の直径などを特徴量として記憶しておき、これに合致する場合はトマトであると判別する。同様に、キュウリ252は色が濃い緑色で形状が長細いという特徴があるので、濃い緑色の色相範囲や長細い形状の長さと幅の比率などを特徴量として判別することができる。このように、色や形状の特徴量を用いることで認識精度を高くすることができる。例えば、図3(b)に示すように、にんじん253と大根254とは形状が似ているがにんじん253はオレンジ色で大根254は白色なので、容易に判別することができる。また、図3(c)に示すような魚の場合も色や形状で判別することができる。例えば、タイ255はピンク色で、カレイ256は濃い茶色で、サバ257は濃い青と銀色である。また、サバ257はタイ255やカレイ256と形状が異なるので、容易に判別することができる。さらに、図3(d)に示すような魚の切り身258や肉259などの場合は判別しにくいが、魚の切り身や肉などの食材は、包装されていることが多いので、その包装に貼られたラベルに記載されている文字やデジタルコードを読み取ることによって、食材の種類などを判別することができる。尚、文字やデジタルコードを用いた判別方法については後で詳しく説明する。
次に、食材認識部122の処理について、図4のフローチャートを用いて説明する。尚、図4のフローチャートは、制御部107に予め記憶されたプログラムに従って処理される。また、デジタルカメラ101の撮影モードは、ユーザーが操作部110を操作して[食材撮影モード]に設定されている状態とする。この状態で、図5(a)に示すように、表示部108には「食材を撮影して下さい」というメッセージが表示される。
(ステップS101)ユーザーは、デジタルカメラ101のレリーズボタン202を押下してレシピを知りたい食材を撮影する。撮像素子103で撮影された食材画像は、画像バッファ106に一時的に記憶される。この状態で、図5(b)に示すように、表示部108には、撮影された食材画像が表示される。
(ステップS102)制御部107の食材認識部122は、撮像素子103で撮影され画像バッファ106に一時的に記憶されている食材画像に類似した食材画像をメモリ111に予め記憶されている食材DB111aの中から検索する。尚、検索方法は、先に説明したように、撮影された食材画像と、メモリ111の食材DB111aに記憶された様々な食材画像とを比較して、両画像の類似度を求め、その類似度が高い食材画像を食材DB111aから抽出する。
ここで、撮影された食材画像に文字やデジタルコードが含まれている場合は、これらの情報を優先的に読み取るようにしても構わない。例えば、図6に示すように、包装された食材には、食材名,産地,消費期限,重さ,価格などの情報が文字やデジタルコード353でラベルに記載されている。制御部107は、このような文字やデジタルコード353の情報が撮影画像の中に含まれていることを検出した場合は、文字・コード認識部124で記載されている情報を認識する。尚、文字やデジタルコードの情報が撮影画像の中に含まれているか否かの判別は、先に説明した顔認識などの画像処理と同様に、文字やデジタルコードの特徴量を予めメモリ111に記憶しておき、その特徴量に類似する領域が撮影画像内に存在するか否かで判別することができる。例えば、文字やデジタルコードは、白黒でコントラストが高く、周波数成分に偏りがある部分として特徴量を定義することができる。このようにして、制御部107は、文字やデジタルコードの情報が記載されているか否かを判別し、記載されている場合はその情報部分を抽出する。そして、文字・コード認識部124は、抽出された文字をOCR(光学的文字読み取り装置)の技術を用いて文字認識し、抽出されたデジタルコードは所定のコード規則に基づいてコード情報を解読する。このようにして、メモリ111の食材DB111aに記憶された様々な食材画像と比較して、撮影された食材を判別することなく、撮影された食材の食材名や重さなどの情報を得ることができる。
(ステップS103)食材DB111aから抽出した類似度の高い食材画像の食材名を表示部108に食材候補リストとして表示する。この様子を図5(c)に示す。尚、包装された食材のラベルから認識した場合は、その情報を表示部108に表示する。
(ステップS104)ユーザーは、表示部108に表示された食材候補リストの中から撮影した食材画像に対応する食材名を選択する。尚、食材候補リストから食材名を選択するための操作方法は、図2で説明したように、操作部110の十字キー204を用いて食材名を選択し、確認ボタン205が押下されるとステップS106に進む。例えば、図5(c)の場合は、枠で囲まれた「サバ」が選択されている。
ここで、もし、食材DB111aにない食材画像が撮影された場合は「その他」の項目を選択する。尚、包装された食材のラベルから認識した場合は、ユーザーはその情報の確認を行い、間違っている場合は、「その他」の項目を選択する。そして、確認ボタン205が押下されるとステップS105に進む。
(ステップS105)ステップS104で「その他」の項目が選択された場合は、食材名および食材情報の入力画面になり、ユーザーは食材名と食材情報を入力する。尚、文字の入力は、例えば、表示部108にひらがなやアルファベットなどを表示して、それを十字キーで選択して入力することができる。入力が完了したら、入力完了確認画面が表示されるので、確認ボタン205が押下されるとステップS106に進む。
(ステップS106)撮影された食材画像を食材DB111aに登録する。例えば、図5(c)に示すように、枠で囲まれた「サバ」が選択されている状態で、操作部110の確認ボタン205を押下すると「サバ」が選択が確定し、撮影された食材画像は食材名が「サバ」の食材情報に関連付けられて食材DB111aに登録される。
また、ステップS105で新たに食材名や食材情報が入力された場合は、新たに入力された食材名や食材情報と撮影画像とが関連付けられて食材DB111aに加えられる。このようにして、食材DB111aの食材画像情報が増えていき、今後の食材判別の精度が向上する。
以上で、一連の食材判別処理は終了するが、図4の点線で示したステップS107とステップS108の少なくとも1つの処理を加えても構わない。次に、ステップS107およびステップS108の処理について説明する。
(ステップS107)制御部107は、撮影画像の食材のサイズを判別する。ここで、撮影された被写体の大きさを推定する技術は周知で、例えば、フォーカスレンズの位置から得られる被写体距離とズームレンズの位置から得られるズーム倍率(焦点距離)とを用いて求めることができる。また、フォーカスレンズの位置とズームレンズの位置は、レンズ制御部121が撮影光学系102から得る情報(レンズ位置を可変する駆動パルスの数やエンコーダなど)によって知ることができる。このようにして、撮影画像の1画面の大きさ(縦方向の長さと横方向の長さを知ることができ、例えば、図5(d)に示すようなスケール301を表示部108に表示することができる。図5(d)の例では、1画面の大きさは、縦方向の長さが約20cmで、横方向の長さが約30cmである。
ここで、制御部107は、食材画像のスケール301から食材のサイズを推定する。例えば、図5(d)の場合は、画面の横方向の長さが約30cmなので、食材の魚の頭から尾までの長さが約25cmであることがわかる。尚、頭や尾の位置は、例えば、エッジ抽出処理を施して魚の輪郭形状を抽出することによって判別することができる。このようにして、制御部107は、撮影された食材のサイズを推定することができる。
さらに、ステップS106の時点で、食材が「サバ」(魚)であることが分かっているので、一般的な魚の比重が分かれば「サバ」の重さを推定することができる。例えば、一般的な魚の比重を予めメモリ111に記憶しておき、魚の輪郭形状からサイズを推定し、さらにサイズから体積を推定すれば、比重×体積により「サバ」の重さを求めることができる。或いは、過去の魚のデータを調査してメモリ111にサイズ(体長など)と重さの関係を記憶しておけば、例えば約25cmの体長の「サバ」であれば重さは約500gであると推定できる。
推定した食材のサイズや重さは、例えば図5(d)に示すように、食材画像と共に「サイズ:約25cm,重さ:500g」のように表示される。尚、包装された食材のラベルから認識した場合は、その情報が表示される。
(ステップS108)制御部107は、撮影された食材の食材情報を食材DB111aから読み出して表示部108に表示する。例えば、図5(e)に示すように、「食材名:サバ」と共に、「食べやすい青魚の一つ」で「鮮度落ちが早い」、さらに「張りがあるものが新鮮」などの食材情報をユーザーは知ることができる。これにより、ユーザーは、食材の特徴や選び方および注意点などを知ることができ、スーパーマーケットなどで食材を選ぶ際の助けになる。尚、包装された食材のラベルから認識した場合は、その情報に基づいて食材DB111aに記憶された食材情報を読み出して表示部108に表示する。また、本処理ステップは、ステップS106の前後で実行するようにしても構わない。
(調理器具認識部125の処理)
次に、調理器具認識部125の処理について説明する。調理器具認識部125は、撮影された調理器具画像と、メモリ111の調理器具DB111bに記憶された様々な調理器具画像とを比較する。そして、両画像の類似度を求める。尚、類似画像を検索する技術は、先に説明した食材画像の場合と同じである。
ここで、調理器具認識部125の処理について、図7のフローチャートを用いて説明する。尚、図7のフローチャートは、制御部107に予め記憶されたプログラムに従って処理される。また、デジタルカメラ101の撮影モードは、ユーザーが操作部110を操作して[調理器具撮影モード]に設定されている状態とする。この状態で、図8(a)に示すように、表示部108には「調理器具を撮影して下さい」というメッセージが表示される。
(ステップS201)ユーザーは、デジタルカメラ101のレリーズボタン202を押下して調理器具を撮影する。撮像素子103で撮影された調理器具画像は、画像バッファ106に一時的に記憶される。この状態で、図8(b)に示すように、表示部108には、撮影された調理器具画像が表示される。
(ステップS202)制御部107の調理器具認識部125は、撮像素子103で撮影され画像バッファ106に一時的に記憶されている調理器具画像に類似した調理器具画像をメモリ111に予め記憶されている調理器具DB111bの中から検索する。尚、検索方法は、先に説明したように、撮影された調理器具画像と、メモリ111の調理器具DB111bに記憶された様々な調理器具画像とを比較して、両画像の類似度を求め、その類似度が高い調理器具画像を調理器具DB111bから抽出する。
(ステップS203)調理器具DB111bから抽出した類似度の高い調理器具画像の調理器具名を表示部108に調理器具候補リストとして表示する。この様子を図8(c)に示す。
(ステップS204)ユーザーは、表示部108に表示された調理器具候補リストの中から撮影した調理器具画像に対応する調理器具名を選択する。尚、調理器具候補リストから調理器具名を選択するための操作方法は、図5(c)で説明した方法と同じである。例えば、図8(c)の場合は、枠で囲まれた「鍋」が選択されている。ここで、もし、調理器具DB111bにない調理器具画像が撮影された場合は「その他」の項目を選択する。
(ステップS205)ステップS204で「その他」の項目が選択された場合は、調理器具名および調理器具情報の入力画面になり、ユーザーは調理器具名と調理器具情報を入力する。尚、文字の入力は、図4で説明した食材名や食材情報を入力するステップS105と同じで、入力が完了して確認ボタン205が押下されるとステップS208に進む。このように、新たに調理器具名や調理器具情報が入力された場合は、新たに入力された調理器具名や調理器具情報と撮影画像とが関連付けられて調理器具DB111bに加えられる。このようにして、調理器具DB111bにない調理器具が撮影される毎に、調理器具DB111bに登録される調理器具の種類が増えていくので、今後の調理器具判別の精度が向上する。
(ステップS206)制御部107は、撮影画像の調理器具のサイズを判別する。ここで、調理器具のサイズを推定する方法は、図4で説明した食材の大きさを推定するステップS107と同じである。例えば、図8(d)に示すようなスケール301aと、図4で説明したように制御部107が画面上で計測した調理器具のおよその大きさを表示部108に表示する。図8(d)の例では、調理器具画像と共に、「直径:約20cm,深さ:約8cm」の「鍋」であると表示される。
(ステップS207)ユーザーは、表示部108に表示された調理器具のサイズで良いか否かを選択する。例えば、表示部108の画面に、「このサイズで良いですか?」というメッセージと「Yes」,「No」の項目が表示され、ユーザーは操作部110の十字キー204と確認ボタン205とを用いて「Yes」または「No」を選択する。
制御部107が推定した調理器具のサイズが、撮影した実際の調理器具のサイズと異なる場合は「No」を選択してステップS205に進み、撮影した実際の調理器具のサイズに合っている場合は「Yes」を選択してステップS208に進む。この処理によって、ユーザーが持っている調理器具の情報を正確に登録することができる。
(ステップS208)撮影された調理器具画像と調理器具情報(調理器具名やサイズなど)を調理器具DB111bに登録する。尚、新たに撮影された調理器具画像を登録する場合は、調理器具情報としてユーザーが所持している調理器具であることを示す情報付加する。例えば、登録する調理器具情報の中に、ユーザー所持の有無を示す項目を設け、デジタルカメラ101の製造時に予め調理器具DB111bに登録されている調理器具画像の調理器具情報には[所持:無]と記憶され、新たに撮影された調理器具画像を登録する場合は、その調理器具情報には[所持:有]と記憶される。これにより、制御部107は、ユーザーが調理器具DB111bの中のどの調理器具を所持しているのかを判別することができる。
以上で、一連の調理器具判別処理は終了する。
(レシピ作成部123の処理)
次に、先に説明した食材認識部122が行う食材判別処理と、調理器具認識部125が行う調理器具判別処理とに関連して、撮影した食材画像に対応するレシピを作成するレシピ作成処理について説明する。レシピ作成部123は、撮影された食材画像に対応するレシピを自動的に作成して、表示部108に表示する。尚、本実施形態では、レシピとは、料理名やその調理方法(調理器具や調理手順および盛り付け例など)、或いは料理画像やカロリー・栄養素などの料理情報など、料理に関する様々な情報を含むものとする。
ここで、レシピ作成部123の処理について、図9のフローチャートを用いて説明する。尚、図9のフローチャートは、制御部107に予め記憶されたプログラムに従って処理される。また、デジタルカメラ101の撮影モードは、ユーザーが操作部110を操作して[レシピ作成モード]に設定されている状態とする。
(ステップS301)制御部107の食材認識部122は、食材判別処理を行う。尚、本ステップは、先に図4で説明した一連の食材判別処理と同じ処理を行うサブルーチンである。従って、本ステップは、図4のフローチャートのステップS101からステップS108の処理に相当する。つまり、本ステップが終了すると、図5(e)に示すような食材情報が表示部108に表示されている。この状態で、確認ボタン205が押下されるとステップS302に進む。
(ステップS302)制御部107のレシピ作成部123は、例えば、図10(a)に示すように、「この食材でレシピを作成しますか?」というメッセージと「Yes」,「No」の項目を表示部108に表示する。そして、ユーザーは操作部110の十字キー204を用いて「Yes」または「No」を選択し、確認ボタン205を押下する。図10(a)の場合は太枠で囲まれた「Yes」が選択されている。例えば「No」が選択された場合はレシピ作成処理を終了し、「Yes」が選択された場合はステップS303に進む。
(ステップS303)レシピ作成部123は、例えば、図10(b)に示すように、食材判別処理で判別された食材を用いた料理名一覧を表示部108に表示する。図10(b)の場合は、「サバのみそ煮」,「サバの塩焼き」および「サバの竜田揚げ」などの料理名リストが表示部108に表示されている。
(ステップS304)ユーザーは、表示部108に表示されている料理名リストの中からレシピを作成したい料理名を選択する。例えば、操作部110の十字キー204を用いて料理名を選択し、確認ボタン205を押下する。図10(b)の場合は、太枠で囲まれた「サバのみそ煮」が選択されている。確認ボタン205が押下されるとステップS304に進む。
(ステップS305)レシピ作成部123は、例えば、図10(c)に示すように、選択した料理を作るのに必要な食材を表示部108に表示する。図10(c)の場合は、必要な食材や調味料として、「サバ:500g(或いは、半身二枚)」と、「しょうが:1切れ(20g)」と、「みそ:大さじ3杯」と、「酒:400cc」などが表示部108に表示されている。
ここで、「サバ:500g」は、先に撮影した食材画像で判別した食材の重さが表示される。そして、その重さに応じた他に必要な食材や調味料やその分量が表示される。従って、例えば、先に撮影した食材画像で判別した食材の重さが「サバ:250g」であった場合は、それに応じて、他に必要な食材や調味料の分量も変わり、図10(c’)に示すように、「しょうが:10g」と、「みそ:大さじ1.5杯」と、「酒:200cc」のように、図10(c)で表示された分量の半分の分量が表示部108に表示される。ユーザーは、表示内容を確認したら確認ボタン205を押下し、次のステップに進む。
(ステップS306)レシピ作成部123は、例えば、図10(d)に示すように、使用する調理器具を表示する。図10(d)の場合は、使用する調理器具として、「鍋(直径:20cm,深さ:8cm)」と、「おたま」と、「さい箸」と、「包丁」と、「まな板」と、「コンロ」などが表示部108に表示されている。
ここで、先に図7の調理器具判別処理で説明したように、調理器具DB111bには、ユーザーが所持している調理器具であるか否かを示す情報が付加されているので、レシピ作成部123は、使用する調理器具をユーザーが所持しているか否かを判別することができる。そこで、本実施形態では、もしユーザーが所持していない調理器具がある場合は、代用できる他の調理器具を表示する。例えば、ユーザーが「鍋(直径:20cm,深さ:8cm)」は持っていないが、「フライパン(直径:30cm)」を持っている場合は、図10(d’)に示すように、「鍋(直径:20cm,深さ:8cm)」の代わりに「フライパン(直径:30cm)」が表示される。ユーザーは、表示内容を確認したら確認ボタン205を押下し、次のステップに進む。
(ステップS307)レシピ作成部123は、例えば、図11から図14に示すように、調理方法を順番に表示する。以下、調理方法を表示部108に表示する一例を説明する。
[手順1]として、図11(a)に示すように、「鍋に酒を入れて強火で沸騰させる。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン205を押下すると、図11(b)に示すような画面が表示される。図11(b)の例では、鍋に入れた酒が沸騰している画像が表示されている。ユーザーは、表示内容を確認して確認ボタン205を押下する。
[手順2]として、図11(c)に示すように、「一尾のサバを二枚に下ろして半身にし二等分する。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン205を押下すると、図11(d)に示すような画面が表示される。図11(d)の例では、サバの切り身の画像が表示されている。尚、まな板で二枚に下ろす画像などを表示しても構わない。ユーザーは、表示内容を確認して確認ボタン205を押下する。
[手順3]として、図12(a)に示すように、「大さじ3杯のみそをおたまに取ってさい箸で溶かす。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン205を押下すると、図12(b)に示すような画面が表示される。図12(b)の例では、鍋の中でおたまに取ったみそをさい箸で溶かしている画像が表示されている。ユーザーは、表示内容を確認して確認ボタン205を押下する。
[手順4]として、図12(c)に示すように、「サバの切り身を鍋に入れる。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン205を押下すると、図12(d)に示すような画面が表示される。図11(d)の例では、サバの切り身を鍋に入れた画像が表示されている。ユーザーは、表示内容を確認して確認ボタン205を押下する。
[手順5]として、図13(a)に示すように、「鍋にふたをして5分ほど強火で煮込む。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン205を押下すると、図13(b)に示すような画面が表示される。図13(b)の例では、鍋にふたをして煮込んでいる画像が表示されている。ユーザーは、表示内容を確認して確認ボタン205を押下する。
[手順6]として、図13(c)に示すように、「ふたを開けて弱火にし、おたまでみそをサバにかける。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン205を押下すると、図13(d)に示すような画面が表示される。図13(d)の例では、おたまでみそをサバにかけている画像が表示されている。ユーザーは、表示内容を確認して確認ボタン205を押下する。
[手順7]として、図14(a)に示すように、「煮詰まってきたら火を止めてできあがり。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン205を押下すると、図14(b)に示すような画面が表示される。図14(b)の例では、サバが鍋の中で煮詰まっている画像が表示されている。ユーザーは、表示内容を確認して確認ボタン205を押下する。
最後に、図14(c)に示すように、サバのみそ煮をお皿に盛り付けた例が表示部108に表示される。尚,上記の説明では、調理している画像は静止画としたが、動画像であっても構わない。
このように、本実施形態に係る自動レシピ作成装置の一例であるデジタルカメラ101は、撮影した食材画像に応じたレシピを作成することができる。特に、食材画像から食材の分量を推定して、その分量やユーザーが所持する調理器具に応じたレシピを自動的に作成して表示部108に表示することができる。
例えば、デジタルカメラ101は、食べたい食材の画像を撮影するだけで、その食材を用いた料理名一覧を表示し、ユーザーが料理名一覧から選択した料理を作るために必要な他の食材や調理手順が表示するので、ユーザーは表示された手順に従って、表示される説明や画像を参照しながら、安心して撮影した食材を用いた料理を作ることができる。
尚、本実施形態では、撮像素子103で撮影した食材画像や調理器具画像を用いたが、メモリカード109aやメモリ111に既に記憶されている撮影済みの食材画像や調理器具画像を用いて構わない。
また、本実施形態では、デジタルカメラ101の製品出荷時にメモリ111のレシピDB111cに予め登録されている主要な料理画像や料理名および調理方法などのレシピ情報を用いる場合について説明したが、レシピDB111cに記憶されていない料理画像や料理名および調理方法は、後から追加登録できる。尚、追加登録の方法は、先に説明した食材DB111aや調理器具DB111bに後から追加登録する場合と同様である。例えば、レシピ登録モードを設け、撮像素子103で料理画像を撮影し、その料理画像に対する料理名や調理方法などのレシピ情報を入力してレシピDB111cに登録する。
(第1の実施形態の応用例)
次に、第1の実施形態の応用例をいくつか説明する。
(1)第1の実施形態の応用例として、図1のデートモジュール112が出力する情報を用いる場合について説明する。デートモジュール112は、撮影年月日や時間を得るための時計カレンダ機能を有するICチップで、通常、デジタルカメラ101の撮影年月日や時間を撮影画像と共に記録するために用いられる。本実施形態では、制御部107は、デートモジュール112によって食材画像の撮影年月日や時間が分かるので、レシピ作成部123は、これらの情報に応じたレシピを作成する。例えば、食材が豚肉の場合に、12月から2月頃の寒い季節に豚肉が撮影された場合は「しゃぶしゃぶ」が優先して表示され、など食材画像を7月から9月の暑い季節に豚肉が撮影された場合は「冷しゃぶ」が優先して表示される。この時、レシピDB111cのレシピ情報として、いつ頃の季節に最適であるかを料理別に記憶してあるものとする。
(2)第1の実施形態の応用例として、図4のフローチャートで説明した食材判別処理において、制御部107は、食材DB111aに記憶された複数の食材画像と撮像素子103で撮影した食材画像との類似度が高い食材画像を検索する際に、デートモジュール112から得られる食材画像の撮影年月日に応じた食材名を優先的に検索して表示する。例えば、食材が魚の場合に、冬であれば「ブリ」の優先度を高くし、夏であれば「カツオ」の優先度を高くする。このようにして、食材DB111aを検索する際の精度を高めることができる。この時、食材DB111aの食材情報として、いつ頃の季節に最適であるかが食材名毎に記憶されているものとする。
(3)第1の実施形態の応用例として、図1のGPS部113が出力する地理的位置情報を用いる場合について説明する。GPS部113は、複数の人工衛星から送信される信号を受信して、地球上の地理的位置を知ることができる。本実施形態では、制御部107は、GPS部113によってデジタルカメラ101で食材画像を撮影している場所(地理的位置)が分かるので、レシピ作成部123は、これらの情報に応じたレシピを作成する。例えば、制御部107は、GPS部113により食材(豚肉)を撮影している場所が関西地方であることが分かった場合は「お好み焼き」が優先して表示され、撮影している場所が関東地方であることが分かった場合は「しょうが焼き」が優先して表示される。この時、レシピDB111cのレシピ情報として、どの地方で好まれている料理であるかが料理別に記憶されているものとする。尚、この場合、都道府県別に分類しておいても構わないし、関西地方、関東地方、東北地方などいくつかの大きなブロックに分けて分類しておいても構わない。
或いは、GPS部113で認識した地理的位置を調理方法の味付けに用いても構わない。例えば、麺類のレシピを表示する場合に、関西地方であれば薄めの味付けになるように、関東地方であれば濃い目の味付けになるように、それぞれ調味料の分量を変えて表示する。
このように、本発明に係る自動レシピ作成装置の一例であるデジタルカメラ101は、食材画像やその食材画像の撮影日或いは撮影地などに適したレシピを自動的に作成することができるので、ユーザーは食材名の入力など煩雑な操作を行う必要がなく、最適なレシピを作成することができる。
尚、上記の実施形態では、自動レシピ作成装置の一例として、デジタルカメラ101を例に挙げたが、既に撮影された食材画像をメモリカード109aに保存しておき、パソコンにメモリカード109aを装着して、食材画像を読み出して、レシピを作成するようにしても構わない。この場合は、図4のフローチャートで説明した食材判別処理を行うプログラムをパソコンで走らせるようにすればよい。ここで、デジタルカメラ101の場合と異なるのは、撮像素子103で食材画像を撮影する代わりに、メモリカード109aから食材画像を読み出すようにし、メモリ111に記憶されている食材DB111aをパソコンのハードディスクなどの記憶装置に記憶しておくことである。
同様に、図7のフローチャートで説明した調理器具判別処理を行うプログラムをパソコンで走らせるようにすれば、メモリカード109aに記憶されている調理器具の画像を読み出して、調理器具判別処理を行うことができる。尚、この場合は、メモリ111に記憶されている調理器具DB111bをパソコンのハードディスクなどの記憶装置に記憶しておく必要がある。
また、図9のフローチャートで説明したレシピ作成処理を行うプログラムをパソコンで走らせるようにすれば、メモリカード109aに記憶されている食材画像に応じたレシピを作成して表示することができる。尚、この場合は、メモリ111に記憶されているレシピDB111cをパソコンのハードディスクなどの記憶装置に記憶しておく必要がある。
このように、本発明に係る自動レシピ作成装置をデジタルカメラ101やパソコンで実現することができ、食材画像から自動的にレシピを作成することができるので、ユーザーは食材名の入力など煩雑な操作を行う必要がなく、最適なレシピを作成することができる。
第1の実施形態に係るデジタルカメラ101のブロック図である。 デジタルカメラ101の外観図である。 食材の特徴例を示す説明図である。 食材判別処理を示すフローチャートである。 食材判別処理の一例を示す説明図である。 包装された食材画像の例を示す説明図である。 調理器具判別処理を示すフローチャートである。 調理器具判別処理の一例を示す説明図である。 レシピ作成処理を示すフローチャートである。 レシピ作成処理の一例を示す説明図である。 レシピ作成処理の調理手順1と2を示す説明図である。 レシピ作成処理の調理手順3と4を示す説明図である。 レシピ作成処理の調理手順5と6を示す説明図である。 レシピ作成処理の調理手順7を示す説明図である。
符号の説明
101・・・デジタルカメラ 102・・・撮影光学系
103・・・撮像素子 104・・・AFE
105・・・A/D変換部 106・・・画像バッファ
107・・・制御部 108・・・表示部
109・・・メモリカードI/F 110・・・操作部
111・・・メモリ 112・・・デートモジュール
113・・・GPS部 109a・・・メモリカード
201・・・電源ボタン 202・・・レリーズボタン
203・・・ズームボタン 204・・・十字キー
204a・・・上キー 204b・・・下キー
204c・・・左キー 204d・・・右キー
205・・・確定ボタン 121・・・レンズ制御部
122・・・食材認識部 123・・・レシピ作成部
124・・・文字・コード認識部 125・・・調理器具認識部
126・・・AF制御部

Claims (10)

  1. 食材画像を撮影する撮像手段と、
    食材画像と食材情報とを関連付けて記憶する食材データベースと、
    前記撮像手段で撮影した食材画像との類似度が高い食材画像を前記食材データベースに記憶された食材画像の中から検索する食材検索手段と、
    食材情報からレシピを検索できるように、食材情報とレシピとを関連付けて記憶するレシピデータベースと、
    前記食材検索手段により得られた食材情報を用いたレシピを前記レシピデータベースの中から検索するレシピ検索手段と、
    前記レシピ検索手段が検索したレシピ内容を表示するレシピ表示手段と
    を有することを特徴とする自動レシピ作成装置。
  2. 請求項1に記載の自動レシピ作成装置において、
    前記レシピ表示手段は、レシピ内容として、他に必要な食材、調理方法、料理手順、使用する調理器具を表示することを特徴とする自動レシピ作成装置。
  3. 請求項1に記載の自動レシピ作成装置において、
    前記撮像手段が撮影した食材画像から食材に関連するラベル情報を抽出するラベル情報抽出手段を更に設け、
    前記食材検索手段は、前記ラベル情報抽出手段が抽出した食材情報に基づいて、前記食材データベースから食材情報を検索する
    ことを特徴とする自動レシピ作成装置。
  4. 請求項3に記載の自動レシピ作成装置において、
    前記ラベル情報抽出手段は、食材の包装紙に貼付されているデジタルコード情報を抽出することを特徴とする自動レシピ作成装置。
  5. 請求項1から4のいずれか一項に記載の自動レシピ作成装置において、
    前記撮像手段が撮影した調理器具画像から調理器具の種類とサイズを判別する調理器具判別手段を更に設け、
    前記レシピ検索手段は、前記食材検索手段によって検索された食材情報に対応するレシピを前記レシピデータベースの中から検索する際に、前記調理器具判別手段が判別した調理器具の種類とサイズに合致するレシピを検索する
    ことを特徴とする自動レシピ作成装置。
  6. 請求項1から5のいずれか一項に記載の自動レシピ作成装置において、
    前記撮像手段が撮影する日時を得るための時計カレンダ手段を更に設け、
    前記レシピ検索手段は、前記食材検索手段によって検索された食材情報に対応するレシピを前記レシピデータベースの中から検索する際に、前記時計カレンダ手段から得られる食材画像の撮影日時に応じたレシピを優先的に検索する
    ことを特徴とする自動レシピ作成装置。
  7. 請求項6に記載の自動レシピ作成装置において、
    前記食材検索手段は、前記食材データベースに記憶された前記複数の食材画像と前記撮像手段で撮影した食材画像との類似度が高い食材画像を検索する際に、前記時計カレンダ手段から得られる食材画像の撮影日時に応じた食材名を優先的に検索して表示する
    ことを特徴とする自動レシピ作成装置。
  8. 請求項1から7のいずれか一項に記載の自動レシピ作成装置において、
    前記撮像手段が食材画像を撮影する地理的位置を得るための位置計測手段を更に設け、
    前記レシピ検索手段は、前記食材検索手段によって検索された食材情報に対応するレシピを前記レシピデータベースの中から検索する際に、前記位置計測手段から得られる地理的位置に応じたレシピを優先的に検索する
    ことを特徴とする自動レシピ作成装置。
  9. 請求項8に記載の自動レシピ作成装置において、
    前記レシピ検索手段が優先的に検索するレシピは、調理方法そのものであることを特徴とする自動レシピ作成装置。
  10. コンピュータを用いて処理されるプログラムであって、
    食材画像を入力する画像入力手順と、
    食材画像と食材情報とを関連付けて記憶する食材データベースに記憶された食材画像の中から前記画像入力手順で入力した食材画像との類似度が高い食材画像を検索する食材検索手順と、
    食材情報からレシピを検索できるように食材情報とレシピとを関連付けて記憶するレシピデータベースの中から、前記食材検索手順により得られた食材情報を用いたレシピを検索するレシピ検索手順と、
    前記レシピ検索手順が検索したレシピ内容を表示するレシピ表示手順と
    を有することを特徴とする自動レシピ作成プログラム。
JP2008226207A 2008-09-03 2008-09-03 自動レシピ作成装置およびプログラム Withdrawn JP2010061382A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008226207A JP2010061382A (ja) 2008-09-03 2008-09-03 自動レシピ作成装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008226207A JP2010061382A (ja) 2008-09-03 2008-09-03 自動レシピ作成装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2010061382A true JP2010061382A (ja) 2010-03-18

Family

ID=42188118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008226207A Withdrawn JP2010061382A (ja) 2008-09-03 2008-09-03 自動レシピ作成装置およびプログラム

Country Status (1)

Country Link
JP (1) JP2010061382A (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012063135A3 (en) * 2010-11-12 2012-11-01 Convotherm Elektrogeräte GmbH A cooking device, and a procedure for cooking food
JP2014209050A (ja) * 2013-03-29 2014-11-06 パナソニック株式会社 冷蔵庫および冷蔵庫システム
JP2015028767A (ja) * 2013-06-24 2015-02-12 大日本印刷株式会社 レシピ推薦装置
CN104820861A (zh) * 2015-05-05 2015-08-05 珠海优特电力科技股份有限公司 数字化菜谱消费权限的控制方法及系统
KR101561356B1 (ko) 2013-12-30 2015-10-16 동부대우전자 주식회사 조리 정보 제공 방법 및 장치
US20160048720A1 (en) * 2014-08-14 2016-02-18 Kenwood Limited Food preparation
WO2016059770A1 (ja) * 2014-10-17 2016-04-21 パナソニックIpマネジメント株式会社 加熱調理器およびその制御方法
CN105570940A (zh) * 2016-02-23 2016-05-11 美的集团股份有限公司 微波炉语音控制方法及微波炉
WO2016143267A1 (ja) * 2015-03-10 2016-09-15 パナソニックIpマネジメント株式会社 加熱調理器
JP2017120329A (ja) * 2015-12-28 2017-07-06 株式会社ブリリアントサービス 調理用ヘッドマウントディスプレイおよび調理用ヘッドマウントディスプレイのプログラム
EP2679909B1 (en) 2012-05-09 2017-07-12 Convotherm Elektrogeräte GmbH Inspection system, method of operating a cooking device, and method of determining whether food cooked in a cooking device has been properly cooked
JP2017182353A (ja) * 2016-03-29 2017-10-05 株式会社ぐるなび メニュー生成システム、メニュー生成方法及びメニュー生成プログラム
EP3082313A4 (en) * 2013-12-09 2017-11-15 Zhuhai Unilink Technology CO., LTD. Access control method for easy dishes and digital cookbook, system therefor and smart device
JP2019007732A (ja) * 2018-10-17 2019-01-17 シャープ株式会社 加熱調理器
JP2019086283A (ja) * 2019-03-13 2019-06-06 シャープ株式会社 加熱調理器
CN109923563A (zh) * 2016-11-01 2019-06-21 雀巢产品技术援助有限公司 食物加工管理系统
JP2019109026A (ja) * 2017-12-20 2019-07-04 パナソニックIpマネジメント株式会社 冷蔵庫
WO2020054609A1 (ja) * 2018-09-10 2020-03-19 パナソニックIpマネジメント株式会社 加熱調理器
CN111329361A (zh) * 2020-03-31 2020-06-26 上海绿联软件股份有限公司 烤箱及其控制方法
US10733479B2 (en) * 2015-07-24 2020-08-04 Bsh Hausgeraete Gmbh System and method for providing a recipe
JP2020202134A (ja) * 2019-06-12 2020-12-17 日立グローバルライフソリューションズ株式会社 加熱調理システム、加熱調理システムの表示方法及び加熱調理器
WO2021065169A1 (ja) * 2019-09-30 2021-04-08 クックパッド株式会社 調理支援装置、調理支援システム、調理支援方法及び調理支援プログラム
JP2021064261A (ja) * 2019-10-16 2021-04-22 株式会社日立ソリューションズ・クリエイト 献立提供システムおよびコンピュータプログラム
CN112782994A (zh) * 2020-12-31 2021-05-11 重庆房慧科技有限公司 基于用户数据分析的智能家居控制系统

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012063135A3 (en) * 2010-11-12 2012-11-01 Convotherm Elektrogeräte GmbH A cooking device, and a procedure for cooking food
EP2638325B1 (en) 2010-11-12 2015-03-11 Convotherm Elektrogeräte GmbH A cooking device, and a procedure for cooking food
EP2679909B1 (en) 2012-05-09 2017-07-12 Convotherm Elektrogeräte GmbH Inspection system, method of operating a cooking device, and method of determining whether food cooked in a cooking device has been properly cooked
JP2014209050A (ja) * 2013-03-29 2014-11-06 パナソニック株式会社 冷蔵庫および冷蔵庫システム
JP2015028767A (ja) * 2013-06-24 2015-02-12 大日本印刷株式会社 レシピ推薦装置
EP3082313A4 (en) * 2013-12-09 2017-11-15 Zhuhai Unilink Technology CO., LTD. Access control method for easy dishes and digital cookbook, system therefor and smart device
US10430601B2 (en) 2013-12-09 2019-10-01 Zhuhai Unicook Technology Co., Ltd. Authorization control device, system and smart apparatus for convenient food and digital menu
KR101561356B1 (ko) 2013-12-30 2015-10-16 동부대우전자 주식회사 조리 정보 제공 방법 및 장치
US20160048720A1 (en) * 2014-08-14 2016-02-18 Kenwood Limited Food preparation
GB2531414B (en) * 2014-08-14 2021-01-27 Kenwood Ltd Food preparation
US10635921B2 (en) * 2014-08-14 2020-04-28 Kenwood Limited Food container system and method
JP2016080268A (ja) * 2014-10-17 2016-05-16 パナソニックIpマネジメント株式会社 加熱調理器およびその制御方法
CN106574788A (zh) * 2014-10-17 2017-04-19 松下知识产权经营株式会社 加热烹饪器及其控制方法
WO2016059770A1 (ja) * 2014-10-17 2016-04-21 パナソニックIpマネジメント株式会社 加熱調理器およびその制御方法
US11051370B2 (en) 2014-10-17 2021-06-29 Panasonic Intellectual Property Management Co., Ltd. Device for cooking by heating and control method for same
WO2016143267A1 (ja) * 2015-03-10 2016-09-15 パナソニックIpマネジメント株式会社 加熱調理器
US10616962B2 (en) 2015-03-10 2020-04-07 Panasonic Intellectual Property Management Co., Ltd. Heating device for cooking
JPWO2016143267A1 (ja) * 2015-03-10 2017-04-27 パナソニックIpマネジメント株式会社 加熱調理器
CN104820861A (zh) * 2015-05-05 2015-08-05 珠海优特电力科技股份有限公司 数字化菜谱消费权限的控制方法及系统
US10733479B2 (en) * 2015-07-24 2020-08-04 Bsh Hausgeraete Gmbh System and method for providing a recipe
JP2017120329A (ja) * 2015-12-28 2017-07-06 株式会社ブリリアントサービス 調理用ヘッドマウントディスプレイおよび調理用ヘッドマウントディスプレイのプログラム
CN105570940B (zh) * 2016-02-23 2017-06-06 美的集团股份有限公司 微波炉语音控制方法及微波炉
US11102851B2 (en) 2016-02-23 2021-08-24 Midea Group Co., Ltd. Method for voice control on microwave oven, and microwave oven
CN105570940A (zh) * 2016-02-23 2016-05-11 美的集团股份有限公司 微波炉语音控制方法及微波炉
JP2017182353A (ja) * 2016-03-29 2017-10-05 株式会社ぐるなび メニュー生成システム、メニュー生成方法及びメニュー生成プログラム
CN109923563A (zh) * 2016-11-01 2019-06-21 雀巢产品技术援助有限公司 食物加工管理系统
JP7113281B2 (ja) 2017-12-20 2022-08-05 パナソニックIpマネジメント株式会社 冷蔵庫
JP2019109026A (ja) * 2017-12-20 2019-07-04 パナソニックIpマネジメント株式会社 冷蔵庫
WO2020054609A1 (ja) * 2018-09-10 2020-03-19 パナソニックIpマネジメント株式会社 加熱調理器
CN111183317A (zh) * 2018-09-10 2020-05-19 松下知识产权经营株式会社 加热烹调器
JP7403044B2 (ja) 2018-09-10 2023-12-22 パナソニックIpマネジメント株式会社 加熱調理器
JPWO2020054609A1 (ja) * 2018-09-10 2021-08-30 パナソニックIpマネジメント株式会社 加熱調理器
JP2019007732A (ja) * 2018-10-17 2019-01-17 シャープ株式会社 加熱調理器
JP2019086283A (ja) * 2019-03-13 2019-06-06 シャープ株式会社 加熱調理器
JP7132177B2 (ja) 2019-06-12 2022-09-06 日立グローバルライフソリューションズ株式会社 加熱調理システム及び加熱調理システムの表示方法
JP2020202134A (ja) * 2019-06-12 2020-12-17 日立グローバルライフソリューションズ株式会社 加熱調理システム、加熱調理システムの表示方法及び加熱調理器
JP2021056687A (ja) * 2019-09-30 2021-04-08 クックパッド株式会社 調理支援装置、調理支援システム、調理支援方法及び調理支援プログラム
WO2021065169A1 (ja) * 2019-09-30 2021-04-08 クックパッド株式会社 調理支援装置、調理支援システム、調理支援方法及び調理支援プログラム
JP2021064261A (ja) * 2019-10-16 2021-04-22 株式会社日立ソリューションズ・クリエイト 献立提供システムおよびコンピュータプログラム
JP7433833B2 (ja) 2019-10-16 2024-02-20 株式会社日立ソリューションズ・クリエイト 献立提供システム
CN111329361A (zh) * 2020-03-31 2020-06-26 上海绿联软件股份有限公司 烤箱及其控制方法
CN112782994A (zh) * 2020-12-31 2021-05-11 重庆房慧科技有限公司 基于用户数据分析的智能家居控制系统

Similar Documents

Publication Publication Date Title
JP2010061382A (ja) 自動レシピ作成装置およびプログラム
JP2010061383A (ja) 自動レシピ作成装置およびプログラム
JP5740318B2 (ja) 画像処理システム、画像処理方法、及びプログラム
US20170332841A1 (en) Thermal Imaging Cooking System
JP2007303804A (ja) ふきこぼれ検知装置、ふきこぼれ検知方法及びふきこぼれ検知プログラム
CN107077709B (zh) 营养素量计算装置及具备该装置的冰箱
US20120135384A1 (en) Portable terminal, calorie estimation method, and calorie estimation program
JP2010061381A (ja) 自動レシピ作成装置およびプログラム
CN108389212A (zh) 用以量测脚部尺寸的方法及计算机可读媒体
JP6906146B2 (ja) 加熱調理器、加熱調理器の制御方法、および、加熱調理システム
JP6279837B2 (ja) 画像処理装置及びプログラム
CN112053428A (zh) 一种识别食物所含营养信息的方法及装置
JP2008217702A (ja) 撮影装置および撮影方法
CN109431288A (zh) 一种电饭煲控制方法、装置、存储介质及电饭煲
WO2019059209A1 (ja) 加熱調理器
JP6098931B2 (ja) 重量取得支援装置、重量取得方法、プログラム
CN113497971B (zh) 一种获得菜谱的方法、装置、存储介质及终端
JP7284829B2 (ja) 情報処理装置
JP7064853B2 (ja) 調理内容判別システム及び摂取内容判別システム
CN108885006A (zh) 加热烹调器、加热烹调器的控制方法以及加热烹调系统
JP6920591B2 (ja) 加熱調理器
JP2007058630A (ja) 画像認識装置
CN113048529B (zh) 做菜信息提示方法、抽油烟机及计算机可读存储介质
JP5103464B2 (ja) 物体データ間関連付けシステム、物体データ間関連付け方法、登録装置、及び読み出し装置
KR20220035640A (ko) 인공지능(ai) 기반 비대면 qsc 점검 솔루션 시스템

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20111206