JP2019061793A - 加熱調理器 - Google Patents

Abstract

【課題】光環境に影響されずに、撮影画像に写る調理対象の像に基づいて加熱調理を適切に行う。【解決手段】加熱調理器１０は、調理対象Ｔを収容した容器Ｃが載置される容器載置部を備える天面を含む本体１２と、容器載置部に載置された容器Ｃを下方から加熱する加熱部１６Ａ〜１６Ｃと、調理対象Ｔを撮影するカメラ３０と、本体に設けられ、カメラ３０に撮影されるマーカー４４Ａ〜４４Ｃと、撮影画像に写るマーカー４４Ａ〜４４Ｃの像の色合いを計測し、その計測結果に基づいて、マーカー４４Ａ〜４４Ｃの像がマーカー自体の実際の色合いで写るように撮影画像を色補正する画像処理部と、色補正された撮影画像に写る調理対象Ｔの像に基づいて、調理対象Ｔの状態を推定する調理対象状態推定部と、推定された調理対象の状態に基づいて、加熱部１６〜１６Ｃを制御する加熱制御部とを有する。【選択図】図１

Description

本発明は、調理対象を加熱する加熱調理器に関する。

従来より、調理対象をカメラで撮影し、その撮影画像に写る調理対象の像に基づいて、調理対象に対する加熱を制御する加熱調理器が知られている（例えば、特許文献１参照）。

特開２０１５−６８５４２号公報

しかしながら、特許文献１に記載された加熱調理器の場合、加熱調理器周りの光環境が変化すると、カメラの撮影画像に写る調理対象の像の色合いが変化する。例えば、加熱調理中にカーテンが開けられてキッチンに夕日の光が入り、その光が調理対象に当たると、撮影画像全体、すなわち調理対象の像が赤みを帯びる（色相が変化する）場合がある。また例えば、加熱調理中に照明が灯されると、その照明の光によって撮影画像全体、すなわち調理対象の像が白みを帯びる（彩度が低下する）場合がある。さらに、同じ調理対象であっても、光環境が異なれば、撮影画像に写る調理対象の像の色合いも異なる。このように光環境の変化や違いによって撮影画像に写る調理対象の色合いに変化や違いが生じると、撮影画像に写る調理対象の像に基づく該調理対象に対する加熱調理を適切に行えない可能性がある。

そこで、本発明は、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、光環境の変化や違いに影響されずに調理対象に対する加熱を適切に行うことを課題とする。

上述の課題を解決するために、本発明の一態様によれば、
調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、
前記容器載置部に載置された容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記本体に設けられ、前記カメラに撮影されるマーカーと、
前記カメラの撮影画像に写る前記マーカーの像の色合いを計測し、その計測結果に基づいて、前記撮影画像において前記マーカーの像が前記マーカー自体の実際の色合いで写るように前記撮影画像を色補正する画像処理部と、
前記画像処理部によって色補正された撮影画像に写る調理対象の像に基づいて、調理対象の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器が提供される。

また、本発明の別態様によれば、
調理対象を収容した容器と、
前記容器が載置される容器載置部を備える天面を含む本体と、
前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記容器に設けられ、前記カメラに撮影されるマーカーと、
前記カメラの撮影画像に写る前記マーカーの像の色合いを計測し、その計測結果に基づいて、前記撮影画像において前記マーカーの像が前記マーカー自体の実際の色合いで写るように前記撮影画像を色補正する画像処理部と、
前記画像処理部によって色補正された撮影画像に写る調理対象の像に基づいて、調理対象の像の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器が提供される。

本発明によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、光環境の変化や違いに影響されずに調理対象に対する加熱を適切に行うことができる。

本発明の一実施の形態に係る加熱調理器の概略的斜視図 加熱調理器のトッププレートの上面図 加熱調理器の構成を概略的に示す図 加熱調理器の制御系を示すブロック図 カメラの一例の撮影画像を示す図 撮影画像の幾何学的補正の流れを示すフローチャート図 台形補正された撮影画像を示す図 サイズ補正された撮影画像を示す図 位置補正および回転補正された撮影画像を示す図 撮影画像の色補正の流れを示すフローチャート図

本発明の一態様の加熱調理器は、調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、前記容器載置部に載置された前記容器を下方から加熱する加熱部と、前記調理対象を撮影するカメラと、前記本体に設けられ、前記カメラに撮影されるマーカーと、前記カメラの撮影画像に写る前記マーカーの像の色合いを計測し、その計測結果に基づいて、前記撮影画像において前記マーカーの像が前記マーカー自体の実際の色合いで写るように前記撮影画像を色補正する画像処理部と、前記画像処理部によって色補正された撮影画像に写る調理対象の像に基づいて、調理対象の状態を推定する調理対象状態推定部と、前記調理対象状態推定部によって推定された調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する。

本発明の一態様によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、光環境の変化や違いに影響されずに調理対象に対する加熱を適切に行うことができる。

例えば、前記色合いが、色相、彩度、および明度の少なくとも１つであってもよい。これらを色合いのパラメータとして用いることにより、適切に色補正を行うことができる。

例えば、前記マーカーが、前記本体の天面に設けられている。調理対象が液体である場合、水平な天面に設けられたマーカーの像の色合いに基づいて算出された色補正条件で、調理対象の像、すなわち液面の像を適切に色補正することができる。

例えば、前記マーカーが、前記容器載置部以外の前記天面の部分に設けられてもよい。これにより、マーカー上に容器が載置されることが抑制される。

例えば、前記加熱部が複数あって、前記マーカーが複数あって、前記複数のマーカーそれぞれが、前記複数の加熱部に対応付けされ、且つ、対応する加熱部に対向する前記容器載置部近傍に設けられ、前記画像処理部が、前記複数のマーカーの像それぞれについて色補正条件を算出し、算出した色補正条件それぞれにしたがって、前記撮影画像における前記容器載置部に対応する複数の調理対象存在領域を色補正する。これにより、複数の加熱部それぞれに加熱されている調理対象の像を、別々に色補正することができる。

例えば、前記加熱部が複数あって、前記マーカーが複数あって、前記複数のマーカーそれぞれが、前記本体の天面の上方から見て前記加熱部それぞれの中央に位置するように設けられている。これにより、マーカーによって加熱部の位置を示すことができ、容器載置位置を示す目印としても機能することができる。

本発明の別態様の加熱調理器は、調理対象を収容した容器と、前記容器が載置される容器載置部を備える天面を含む本体と、前記容器載置部に載置された前記容器を下方から加熱する加熱部と、前記調理対象を撮影するカメラと、前記容器に設けられ、前記カメラに撮影されるマーカーと、前記カメラの撮影画像に写る前記マーカーの像の色合いを計測し、その計測結果に基づいて、前記撮影画像において前記マーカーの像が前記マーカー自体の実際の色合いで写るように前記撮影画像を色補正する画像処理部と、前記画像処理部によって色補正された撮影画像に写る調理対象の像に基づいて、調理対象の像の状態を推定する調理対象状態推定部と、前記調理対象状態推定部によって推定された調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する。

本発明の別態様によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、光環境の変化や違いに影響されずに調理対象に対する加熱を適切に行うことができる。

以下、本発明の一実施の形態について、図面を参照しながら説明する。

図１は、本発明の一実施の形態に係る加熱調理器の概略的斜視図である。また、図２は、加熱調理器のトッププレートの上面図である。さらに、図３は、加熱調理器の構成を概略的に示す図である。さらにまた、図４は、加熱調理器の制御系を示すブロック図である。なお、図において、Ｘ軸方向は加熱調理器の幅方向を示し、Ｙ軸方向は奥行き方向を示し、Ｚ軸方向は高さ方向を示す。

図１に示すように、加熱調理器１０は、本体１２を有し、また、その本体１２の上側部分として、例えばシチューなどの調理対象Ｔを収容した容器Ｃが載置されるトッププレート１４を有する。

また、本実施の形態の場合、加熱調理器１０は誘導加熱調理器であって、図１および図３に示すように、トッププレート１４における容器載置部（後述する容器載置エリア）に載置された容器Ｃの下方には、すなわち本体１２内には、加熱調理器１０の加熱部として加熱コイル１６Ａ〜１６Ｃが配置されている。加熱コイル１６Ａ〜１６Ｃは、トッププレート１４上に載置された容器Ｃを下方から誘導加熱する。

この加熱コイル１６Ａ〜１６Ｃそれぞれをユーザが操作するための操作部として、複数のタッチキー１８Ａ〜１８Ｃが、加熱調理器１０の正面１０ａ側のトッププレート１４の部分に設けられている。例えば、タッチキー１８Ａにより、対応する加熱コイル１６Ａの加熱が開始されるまたは停止される。また、その加熱レベル（例えば４段階）が調節される。

また、加熱コイル１６Ａ〜１６Ｃの出力状態（加熱レベル）を表示する複数の出力表示部２０Ａ〜２０Ｃも、加熱調理器１０の正面１０ａ側のトッププレート１４の部分に設けられている。

なお、加熱コイル１６Ａ〜１６Ｃによる加熱を詳細に設定するために、設定部２２が加熱調理器１０の正面１０ａ側に設けられている。設定部２２は、本体１２に対して出し入れ可能であって、加熱コイル１６Ａ〜１６Ｃによる加熱を詳細に設定するための設定キー２２ａと、その設定内容や加熱コイル１６Ａ〜１６Ｃの詳細な状態などを表示する設定表示部２２ｂとを備える。この設定部２２により、加熱コイル１６Ａ〜１６Ｃの加熱温度、加熱時間、タイマーなどが設定される。

また、加熱調理器１０は、ユーザに対して報知するスピーカーなどの報知部２４を、加熱調理器１０の正面１０ａ側に備える。

さらに、加熱調理器１０は、トッププレート１４上に載置された容器Ｃの温度を検出する複数の温度センサ２６Ａ〜２６Ｃと、トッププレート１４上に載置された容器Ｃの重量を検出する重量センサ２８とを有する。

本実施の形態の場合、複数の温度センサ２６Ａ〜２６Ｃは、トッププレート１４の下方に配置されるとともに、加熱コイル１６Ａ〜１６Ｃそれぞれの中央に配置されている。すなわち、例えば温度センサ２６Ａは、加熱コイル１６Ａの上方に配置されて該加熱コイル１６Ａによって誘導加熱されている容器Ｃの底側の温度をトッププレート１４を介して検出している。

本実施の形態の場合、重量センサ２８は、トッププレート１４上の載置物の重量、すなわち容器Ｃが複数ある場合には、その複数の容器Ｃの重量とそれぞれの容器Ｃに収容されている調理対象の重量との合計を検出する。

さらに、加熱調理器１０は、トッププレート１４上の調理対象Ｔを上方から撮影するカメラ３０を有する。

カメラ３０は、例えば、静止画、動画、赤外線画像などを撮影可能なカメラであって、本体１２の上側部分であるトッププレート１４の天面１４ａ（すなわち本体１２の天面）全体を撮影する。カメラ３０は、加熱調理器１０の上方に位置する天井またはレンジフード（図示せず）などに取り付けられる。本実施の形態の場合、カメラ３０は、マグネットを介してレンジフードに取り付けられる。そのため、加熱調理器１０の本体１２に対してカメラ３０を自由に設置することができる（すなわち設置の自由度が高い）。その結果、キッチンの意匠性を損なうことがない、ユーザの好む位置にカメラを取り付けることができる。

本実施の形態の場合、ユーザの好む位置に配置可能なカメラ３０は、加熱調理器１０の制御部５０と無線通信するように構成されている。そのために、図３に示すように、カメラ３０がアンテナ３２を備えるとともに、加熱調理器１０の本体１２内にアンテナ３４が設けられている。なお、本実施の形態の場合、カメラ３０と制御部５０は、ルーター装置３６を介して接続されている。すなわち、カメラ３０と制御部５０は、ルーター装置３６を中心とするローカルエリアネットワーク３８に無線通信可能に接続されている。また、ルーター装置３６は、インターネット４０に接続されている。さらに、ルーター装置３６は、ユーザの携帯端末４２に無線通信可能に接続されている。

ここからは、加熱調理器１０の動作、すなわちその制御部５０が行う制御について図４を参照しながら説明する。

加熱調理器１０の制御部５０は、例えばＣＰＵなどの処理装置であって、ＲＯＭ、ＲＡＭ、ハードディスクなどの記憶部６０に記憶されているプログラムを実行することによって種々の機能を果たすように（例えば、後述する画像処理部として機能するように）構成されている。図４に示すように、制御部５０は、タッチキー１８Ａ〜１８Ｃおよび設定部２２の設定キー２２ａに対するユーザの操作に対応する信号をこれらから受け取るように構成されている。制御部５０はまた、温度センサ２６Ａ〜２６Ｃそれぞれによって検出された温度に対応する信号をこれらから受け取るように構成されている。制御部５０はさらに、重量センサ２８によって検出された重量に対応する信号を受け取るように構成されている。そして、制御部５０は、カメラ３０によって撮影された撮影画像（データ）を該カメラ３０から受け取るように構成されている。

加えて、加熱調理器１０の制御部５０は、加熱コイル１６Ａ〜１６Ｃ、出力表示部２０Ａ〜２０Ｃ、設定表示部２２ｂ、および報知部２４を制御するように構成されている。

例えば、制御部５０は、設定部２２の設定キー２２ａを介してユーザによって設定された加熱温度を温度センサ２６Ａ〜２６Ｃが検出し続けるように、加熱コイル１６Ａ〜１６Ｃの出力を制御する。これにより、例えば、揚げ物をする場合、容器Ｃに収容された油を一定の温度に維持することができる。

また例えば、制御部５０は、容器Ｃ内に水が収容されている場合（ユーザが自動湯沸しモードを設定部２２を介して設定した場合）、温度センサ２６Ａ〜２６Ｃが沸騰温度を検出すると、加熱コイル１６Ａ〜１６Ｃを停止させるとともに、報知部２４を介してユーザに湯沸しが完了したことを報知する。

さらに、制御部５０は、カメラ３０の撮影画像、具体的にはその撮影画像に写る調理対象Ｔの像に基づいて様々な制御を行うように構成されている。

そのために、加熱調理器１０の制御部５０は、カメラ３０から撮影画像を取得する画像取得部５２と、その取得した画像を処理（補正）する画像処理部５４と、その補正された撮影画像に写る容器Ｃ内の調理対象Ｔの像に基づいて該調理対象Ｔの状態を推定する調理対象状態推定部５６と、その推定結果に基づいて加熱コイル１６Ａ〜１６Ｃを制御する加熱制御部としての加熱コイル制御部５８とを有する（として機能する）。

加熱調理器１０の制御部５０の画像取得部５２は、カメラ３０が撮影した撮影画像、例えば加熱調理中の調理対象Ｔを収容する容器Ｃが載置されている状態のトッププレート１４が写る撮影画像（データ）を取得する。本実施の形態の場合、カメラ３０は所定の時間間隔で撮影を行う。

図５は、画像取得部５２が取得するカメラ３０の撮影画像（オリジナル画像）の一例を示している。図５に示すように、カメラ３０の撮影画像Ｐ０には、トッププレート１４の天面１４ａの像１４ａ’が写っている。なお、図５において、調理対象Ｔの像Ｔ’は、クロスハッチングで示されている。

画像処理部５４は、画像取得部５２によって取得されたカメラ３０の撮影画像Ｐ０に対して画像処理を行う。具体的には、画像処理部５４は、調理対象状態推定部５６がカメラ３０の撮影画像Ｐ０に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔの状態を短時間で高精度に推定できるように、その前処理として、撮影画像Ｐ０を補正する。本実施の形態の場合、撮影画像Ｐ０に対して幾何学的補正と色補正とを行う。まず、幾何学的補正について、図６に示すフローチャートを参照しながら説明する。

まず、図６に示す幾何学的補正を適切に行うために、図２に示すように、加熱調理器１０の本体１２に設けられた複数のマーカー４４Ａ〜４４Ｃを利用する。

具体的には、マーカー４４Ａ〜４４Ｃは、撮影画像において調理対象Ｔの像Ｔ’を特定しやすくするため、すなわち短時間で高精度に特定するために、カメラ３０に撮影されるアライメントマーカーである。図２に示すように、本実施の形態の場合、複数のマーカー４４Ａ〜４４Ｃは、トッププレート１４の天面１４ａ（すなわち本体１２の天面）に設けられている。例えば、マーカー４４Ａ〜４４Ｃは、トッププレート１４の天面１４ａに描かれたマークまたは天面１４ａに貼り付けられたシールである。特に、マーカー４４Ａ〜４４Ｃは、高精度に画像認識できる（カメラの撮影画像において特定しやすい）形状および色を備えたものであって、本実施の形態の場合、正三角形状である。

また、理由は後述するが、複数のマーカー４４Ａ〜４４Ｃは、加熱コイル１６Ａ〜１６Ｃに対応付けされている。本実施の形態の場合、正三角形状のマーカーにおける１つの頂点が加熱コイルに向くことにより、対応付けされている。また、複数のマーカー４４Ａ〜４４Ｃは、加熱コイル１６Ａ〜１６Ｃに対向する容器載置エリア４６Ａ〜４６Ｃ（加熱コイルによって加熱される容器Ｃが載置される容器載置部）以外のトッププレート１４の天面１４ａの部分に設けられている。これにより、マーカー４４Ａ〜４４Ｃ上に容器Ｃが載置されることが抑制されている。

具体的には、マーカー４４Ａは、加熱コイル１６Ａに対応付けされ、加熱コイル１６Ａに対向する容器載置エリア４６Ａの近傍（奥側）に設けられている。また、マーカー４４Ｂは、加熱コイル１６Ｂに対応付けされ、加熱コイル１６Ｂに対向する容器載置エリア４６Ｂの近傍（奥側）に設けられている。そして、マーカー４４Ｃは、加熱コイル１６Ｃに対応付けされ、加熱コイル１６Ｃに対向する容器載置エリア４６Ｃの近傍（手前側）に設けられている。なお、容器載置エリア４６Ａ〜４６Ｃは、トッププレート１４の天面１４ａに設けられた略円環状のマーク４８Ａ〜４８Ｃによって画定されているとともに、ユーザに提示されている。

したがって、カメラ３０の撮影画像においてマーカー４４Ａ〜４４Ｃの像を特定できれば、その特定したマーカーの像の位置に基づいて、容器載置エリア４６Ａ〜４６Ｃに対応する撮影画像の領域、すなわち調理対象Ｔの像が存在しうる領域（調理対象存在領域ＲＡ〜ＲＣ、図９参照）を短時間で高精度に特定することができる。

説明すると、上述したように、カメラ３０は加熱調理器１０の本体１２に対して一定の位置ではなく、自由に設置可能である。そのため、撮影画像の一定の位置に調理対象Ｔの像が写るとは限らない。マーカー４４Ａ〜４４Ｃがない場合、調理対象Ｔの像を特定するために撮影画像全体を確認する必要があるため、その像の特定に時間がかかり、また特定エラーが起こり得る。また、調理対象Ｔは種々あって一定の形状や色ではないため、調理対象Ｔによってその像の特定時間や特定エラーの起こりやすさが異なる。

したがって、撮影画像において一定の特徴（形状や色）を備えるマーカー４４Ａ〜４４Ｃの像を特定し、その特定したマーカーの像の位置に基づいて容器載置エリア４６Ａ〜４６Ｃに対応する撮影画像の領域（調理対象存在領域ＲＡ〜ＲＣ）を特定し、その調理対象存在領域ＲＡ〜ＲＣ内から調理対象Ｔの像を特定する。その結果、マーカーを用いずに撮影画像全体を確認して調理対象の像を特定する場合に比べて、調理対象の像を短時間で高精度に特定することができる。

本実施の形態の場合、このようなマーカー４４Ａ〜４４Ｃを利用することにより、画像処理部５４がカメラ３０の撮影画像Ｐ０に対して幾何学的補正を行う。

まず、図６に示すように、ステップＳ１００において、画像処理部５４は、画像認識技術により、図５に示すカメラ３０の撮影画像Ｐ０において、複数のマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’を特定する。

ステップＳ１１０において、画像処理部５４は、マーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の形状を計測する。

補足すると、図１に示すように、カメラ３０の光軸３０ａがトッププレート１４の天面１４ａに直交している場合、撮影画像Ｐに写るマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の形状は、マーカー４４Ａ〜４４Ｃ自体の実際形状と相似する。すなわち、本実施の形態の場合、実際形状が正三角形であるため、像４４Ａ’〜４４Ｃ’の形状も正三角形のはずである。

しかしながら、加熱調理器１０の本体１２に対してカメラ３０が自由に設置可能であるために、トッププレート１４の天面１４ａに対して光軸３０ａが非直交の状態で、カメラ３０が設置される場合がある。その場合、図５に示すように、トッププレート１４の像１４’の形状は歪み、マーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の形状も歪んで正三角形ではなくなる。

ステップＳ１１０に続くステップＳ１２０において、画像処理部５４は、ステップＳ１１０で計測されたマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の形状に基づいて、カメラ３０の撮影画像Ｐ０を幾何学的補正する。具体的には、画像処理部５４は、計測した像４４Ａ’〜４４Ｃ’の形状とマーカー４４Ａ〜４４Ｃ自体の実際形状とを比較し、その比較結果に基づいて、台形補正の補正条件を算出する。補正条件は、像４４Ａ’〜４４Ｃ’がマーカー４４Ａ〜４４Ｃ自体の実際形状に相似な形状で写るように、撮影画像Ｐ０の形状を台形補正するための条件である。なお、そのために、マーカー４４Ａ〜４４Ｃ自体の実際形状のデータが記憶部６０に記憶されている。この台形補正を行うことにより、撮影画像Ｐ０は、図７に示すように、カメラ３０の光軸３０ａがトッププレート１４の天面１４ａに直交した状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像Ｐ１に補正される。

ステップＳ１３０において、画像処理部５４は、撮影画像Ｐ１におけるマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’のサイズを計測する。そして、続くステップＳ１４０において、画像処理部５４は、ステップＳ１３０で計測したサイズに基づいて、カメラ３０の撮影画像Ｐ１をサイズ補正する。具体的には、像４４Ａ’〜４４Ｃ’が予め決められた所定のサイズで撮影画像に写るように、撮影画像を拡大補正または縮小補正する。このサイズ補正により、撮影画像Ｐ１は、図８に示すように、カメラ３０とトッププレート１４の天面１４ａとの間の距離が所定の距離である状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像Ｐ２に補正される。

ステップＳ１５０において、画像処理部５４は、撮影画像Ｐ２におけるマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の位置と姿勢とを計測する。そして、続くステップＳ１６０において、画像処理部５４は、ステップＳ１５０で計測した位置と姿勢とに基づいて、カメラ３０の撮影画像Ｐ２を位置補正および回転補正する。具体的には、像４４Ａ’〜４４Ｃ’が予め決められた所定の位置および姿勢で写るように、撮影画像を位置補正および回転補正する。これらの補正により、撮影画像Ｐ２は、図９に示すように、カメラ３０が加熱調理器１０の本体１２に対して所定の位置に所定の姿勢で配置された状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像Ｐ３に補正される。なお、所定の位置は、例えば、カメラ３０の光軸３０ａがトッププレート１４の中心を通過するようなカメラ３０の位置である。また、所定の姿勢は、例えば、トッププレート１４の長手方向（Ｘ軸方向）が撮影画像の長手方向と一致するような光軸３０ａを中心とするカメラ３０の回転姿勢である。

ステップＳ１６０での位置補正および回転補正が終了すると、画像処理部５４によるカメラ３０の撮影画像Ｐ０に対する幾何学的補正が完了する。

このような幾何学的補正により、加熱調理器１０の本体１２に対してカメラ３０がどのような位置に設置されても、実質的に同一の幾何学的条件で撮影された撮影画像を得ることができる。その結果、カメラ３０の位置によらず、調理対象状態推定部５６は、撮影画像に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔの状態を実質的に一定の精度で推定することができる。

また、図９に示すように、マーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’が、画像処理部５４によって補正された撮影画像Ｐ３において所定の位置および所定の姿勢で写っている。したがって、詳細は後述するが、調理対象状態推定部５６は、撮影画像において、マーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’を、短時間に高い精度で特定することができる。

なお、カメラ３０がズーム機能を備える場合、図６に示すステップＳ１３０およびＳ１４０の処理を省略することができる。具体的には、設置されたカメラ３０が最初に撮影した撮影画像に写るマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’のサイズに基づいて、像４４Ａ’〜４４Ｃ’が所定のサイズで写るようにカメラ３０をズームさせる。そのズーム状態を維持することにより、以後に撮影された撮影画像についてはサイズ補正をする必要がなくなる。

幾何学的補正が完了すると、画像処理部５４は、幾何学的補正された撮影画像Ｐ３に対して色補正を行う。色補正を行う理由は、加熱調理器１０周りの光環境の影響を撮影画像から取り除くためである。

具体的に説明すると、加熱調理器１０周りの光環境が変化すると、カメラ３０の撮影画像に写る調理対象Ｔの像Ｔ’の色合いが変化する。例えば、加熱調理中にカーテンが開けられてキッチンに夕日の光が入ると、その光によって撮影画像全体、すなわち調理対象Ｔの像Ｔ’が赤みを帯びる（色相が変化する）場合がある。また例えば、加熱調理中に照明が灯されると、その照明の光によって調理対象Ｔの像Ｔ’が白みを帯びる（彩度が低下する）場合がある。また、同じ調理対象であっても、加熱調理器１０周りの光環境が異なれば、撮影画像に写る調理対象Ｔの像Ｔ’の色合いも異なる。

このように加熱調理器１０周りの光環境の変化や違いによって撮影画像に写る調理対象の色合いに変化や違いが生じると、調理対象状態推定部５６は、撮影画像に写る調理対象Ｔの像Ｔ’に基づく該調理対象Ｔの状態の推定を高精度に行えない可能性がある。その結果として、調理対象Ｔの状態の推定結果に基づく該調理対象Ｔに対する加熱制御を適切に行えない可能性がある。

そのために、画像処理部５４は、幾何学的補正された撮影画像Ｐ３に対して色補正を行う。その色補正のために、本実施の形態の場合、幾何学的補正において利用したマーカー４４Ａ〜４４Ｃが再び利用される。このマーカー４４Ａ〜４４Ｃを利用した色補正の流れについて、図１０に示すフローチャートを参照しながら説明する。

図１０に示すように、まず、ステップＳ２００において、画像処理部５４は、画像認識技術により、図７に示す幾何学的補正された撮影画像Ｐ３において、複数のマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’を特定する。

次に、ステップＳ２１０において、画像処理部５４は、カメラ３０の撮影画像に写る複数のマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’それぞれについて色合いを計測する。本実施の形態の場合、色合いを示すパラメータとして、色相、彩度、および明度を計測する。なお、色合いとして、色相、彩度、および明度の少なくとも１つを計測してもよい。

続いて、ステップＳ２２０において、画像処理部５４は、各マーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’について、ステップ２１０で色合いを計測して得た計測結果に基づいて、本実施の形態の場合には色相、彩度、および明度に基づいて、色補正条件を算出する。具体的には、像４４Ａ’〜４４Ｃ’がマーカー４４Ａ〜４４Ｃ自体の実際の色合いで写るように撮影画像Ｐ３を補正するための色補正条件を、像４４Ａ’〜４４Ｃ’それぞれについて算出する。これは、全てのマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’が、同等に光環境の影響を受けているとは限らないからである。例えば、マーカー４４Ａのみに夕日の光があたり、それによりマーカー４４Ａの像４４Ａ’のみが赤みを帯びている場合がある。このような場合を想定し、像４４Ａ’〜４４Ｃ’それぞれについて色補正条件が算出される。したがって、複数の異なる色補正条件が算出される場合がある。

ステップＳ２２０に続くステップＳ２３０において、画像処理部５４は、ステップＳ２２０で算出した色補正条件それぞれにしたがって、図９に示す撮影画像Ｐ３における調理対象存在領域ＲＡ〜ＲＣを色補正する。

これらの調理対象存在領域ＲＡ〜ＲＣは、上述したように、また図９に示すように、容器載置エリア４６Ａ〜４６Ｃに対応する領域であって、すなわち調理対象Ｔの像Ｔ’が存在しうる領域である。

撮影画像Ｐ３における調理対象存在領域ＲＡは、対応するマーカー４４Ａの像４４Ａ’について算出された色補正条件で色補正される。また、調理対象存在領域ＲＢは、対応するマーカー４４Ｂの像４４Ｂ’について算出された色補正条件で色補正される。そして、調理対象存在領域ＲＣは、対応するマーカー４４Ｃの像４４Ｃ’について算出された色補正条件で色補正される。

それにより、異なる容器載置エリア４６Ａ〜４６Ｃに載置されている容器Ｃ内の調理対象Ｔの像Ｔ’は、異なる色補正条件で色補正される。その結果、容器載置エリア４６Ａ〜４６Ｃそれぞれの調理対象Ｔの像Ｔ’は、適切に色補正される。

一例を挙げて説明する。容器載置エリア４６Ａに載置された容器Ｃ内の調理対象Ｔと対応するマーカー４４Ａとには、夕日の光が当たっている。それに対して、他の容器載置エリア４６Ｂ、４６Ｃとそれに対応するマーカー４４Ｂ，４４Ｃとには夕日の光が当たっていない。

マーカー４４Ａの像４４Ａ’を夕日の光が当たっていないときの色合いにするための色補正条件が算出される。その色補正条件を用いて、容器載置エリア４６Ａに載置された容器Ｃ内の調理対象Ｔの像Ｔ’が色補正される。すなわち、その調理対象Ｔの像Ｔ’は、夕日の光が当たっていない色合いに色補正される。これに対して、夕日の光が当たっていない容器載置エリア４６Ｂ〜４６Ｃの調理対象Ｔの像Ｔ’には、この色補正が適用されない。

このような色補正により、加熱調理器１０周りの光環境が変化したり違いが生じても、実質的に同一の光環境下で撮影された撮影画像を得ることができる。その結果、光環境の変化や違いによらず、調理対象状態推定部５６は、撮影画像に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔの状態を実質的に一定の精度で推定することができる。

調理対象状態推定部５６は、撮影画像に写るマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の位置に基づいて、撮影画像において調理対象Ｔの像Ｔ’を特定する。本実施の形態の場合、画像処理部５４によって幾何学的補正および色補正された撮影画像において調理対象Ｔの像Ｔ’を特定する。

具体的には、図９に示すように、調理対象状態推定部５６は、まず、カメラ３０の撮影画像に写るマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’を特定する。次に、その特定した像４４Ａ’〜４４Ｃ’の位置に基づいて、撮影画像におけるトッププレート１４の天面１４ａの容器載置エリア４６Ａ〜４６Ｃに対応する調理対象存在領域ＲＡ〜ＲＣを特定する。そして、その調理対象存在領域ＲＡ〜ＲＣ内から調理対象Ｔの像Ｔ’を特定する。これにより、撮影画像全体を確認して調理対象Ｔの像Ｔ’を特定する場合に比べて、短時間で高精度に調理対象Ｔの像Ｔ’の特定を実行することができる。

なお、そのためには、マーカー４４Ａ〜４４Ｃと容器載置エリア４６Ａ〜４６Ｃ（調理対象存在領域ＲＡ〜ＲＣ）との間の位置関係が既知である必要がある。マーカー４４Ａ〜４４Ｃの像の位置に基づいて容器載置エリア４６Ａ〜４６Ｃに対応する調理対象存在領域ＲＡ〜ＲＣを特定するために、マーカーと容器載置エリアとの間の位置関係を示す加熱調理器のレイアウトデータが使用される。このレイアウトデータは、記憶部６０に記憶されている。

撮影画像において調理対象Ｔの像Ｔ’を特定すると、調理対象状態推定部５６は、その特定した調理対象Ｔの像Ｔ’を撮影画像から抽出する。例えば、抽出した像Ｔ’を画像データとして記憶部６０に記憶する。

抽出した調理対象Ｔの像Ｔ’に基づいて、調理対象状態推定部５６は、その調理対象Ｔの状態を推定する。例えば、連続する複数の撮影画像から抽出された調理対象Ｔの複数の像Ｔ’に基づいて、調理対象Ｔの像Ｔ’の変化を検出し、その変化に基づいて調理対象Ｔの状態を推定する。例えば、調理対象Ｔが液体であって、その液面の像の変化が大きい場合、調理対象Ｔが沸騰状態であると推定する。また例えば、調理対象Ｔが肉などの焼き物である場合、調理対象の像の色の変化がほぼなくなると、焼き上がりと推定する。

なお、調理対象状態推定部５６は、温度センサ２６Ａ〜２６Ｃの検出温度や重量センサ２８の検出重量をも考慮に入れて、調理対象Ｔの状態を推定してもよい。例えば、調理対象Ｔが液体であって、その液面の像の変化が大きく、且つ、重量センサ２８の検出重量が減少し始めた場合、調理対象状態推定部５６は、調理対象Ｔが蒸発していると推定する。

加熱コイル制御部５８は、調理対象状態推定部５６によって推定された調理対象Ｔの状態に基づいて、加熱コイル１６Ａ〜１６Ｃの出力を制御する。例えば、調理対象状態推定部５６によって調理対象Ｔが蒸発中であると推定された場合、加熱コイル制御部５８は加熱コイルの出力レベルを下げるまたは加熱コイルを停止させる。

以上、このような本実施の形態によれば、カメラ３０の撮影画像に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔに対する加熱を制御する加熱調理器１０において、光環境の変化や違いに影響されずに調理対象Ｔに対する加熱を適切に行うことができる。

以上、上述の実施の形態を挙げて本発明を説明したが、本発明は上述の実施の形態に限定されない。

例えば、上述の実施の形態の場合、図１に示すように、加熱調理器１０は１台のカメラ３０を有するが、本発明の実施の形態に係る加熱調理器のカメラは１台に限らない。例えば、複数の加熱コイルそれぞれの上方にカメラが配置されてもよい。

また、上述の実施の形態の場合、図３に示すように、カメラ３０と加熱調理器１０の制御部５０は、ローカルエリアネットワーク３８を介して無線接続されているが、これに限らない。カメラ３０と制御部５０の少なくとも一方が、ローカルエリアネットワーク３８に対して有線接続されてもよい。また、カメラ３０が、加熱調理器１０の制御部５０に対して直接的に無線接続または有線接続されてもよい。さらに、カメラ３０の撮影画像を携帯端末４２に送信してもよく、またインターネット４０を介して外部に送信してもよい。これにより、カメラ３０が実際に撮影した撮影画像を、ユーザは確認することができる。

さらに、上述の実施の形態の場合、図１に示すように、加熱調理器１０は三基の加熱コイル１６Ａ〜１６Ｃを備えるが、本発明の実施の形態に係る加熱調理器１０の加熱コイルの数はこれに限らない。加熱コイルは１つであってもよく、また３基以上あってもよい。

さらにまた、上述の実施の形態の場合、図２に示すように、マーカー４４Ａ〜４４Ｃは、トッププレート１４の天面１４ａに描かれたマークまたはシールである。しかしながら、本発明の実施の形態は、これに限定されない。例えば、マーカーは、発光する発光体、例えばＬＥＤなどであってもよい。ただし、自然光と区別するために、白色光でなく、赤色や青色などの光を発光するものが好ましい。

加えて、上述の実施の形態の場合、マーカー４４Ａ〜４４Ｃはトッププレート１４の天面１４ａに設けられているが、本発明の実施の形態はこれに限らない。マーカー４４Ａ〜４４Ｃは、加熱調理器の本体、すなわちカメラの撮影範囲にあればよい。ただし、撮影画像、すなわち調理対象の像の色補正をより適切に行うのであれば、マーカーはトッププレートの天面に設けられているのが好ましい。大抵の場合、トッププレートの天面が水平な状態で加熱調理器は設置される。また、調理対象が液体の場合、その液面も水平である。したがって、マーカーおよび液面がともに水平であるために、同程度に光環境の影響を受ける。そのため、水平な液面の像を色補正するためには、水平なトッププレートの天面に設けられたマーカーの像の色合いに基づいて算出された色補正条件で、調理対象の像を色補正するのが好ましい。

加えてまた、上述の実施の形態の場合、図２に示すように、マーカー４４Ａ〜４４Ｃは、加熱コイル１６Ａ〜１６Ｃに対向する容器載置エリア４６Ａ〜４６Ｃ以外のトッププレート１４の天面１４ａの部分に設けられている。しかしながら、本発明の実施の形態は、これに限らない。マーカーは、トッププレートの上方から見て加熱コイルそれぞれの中央に位置するように設けられてもよい。これにより、マーカーは、加熱コイルの位置を示すことができ、すなわち加熱コイルによって加熱される容器の載置位置を示す目印としても機能することができる。

さらに加えて、上述の実施の形態の場合、マーカー４４Ａ〜４４Ｃは、カメラ３０の撮影画像において調理対象Ｔの像Ｔ’を特定しやすくするためのものであるが、撮影画像の幾何学的補正や色補正にも利用されている。しかしながら、本発明の実施の形態はこれに限らない。例えば、色補正のみに利用される色補正専用のマーカーが、加熱調理器の本体、例えばトッププレートの天面に設けられてもよい。これにより、光環境のわずかの違いによって大きく色合いが変化するマーカー、例えば光を反射するマーカーを使用することができる。

さらに加えて、上述の実施の形態の場合、マーカー４４Ａ〜４４Ｃはトッププレート１４の天面１４ａに描かれたマークまたは貼り付けられたシールであるが、本発明の実施の形態はこれに限らない。マーカーは、加熱調理器の本体上に存在し、且つ、カメラの撮影範囲に存在するものであればよい。したがって、マーカーは、加熱調理器の本体における構成要素全体または一部分であってもよい。例えば、図２に示すタッチキー１８Ａ〜１８Ｃおよび表示部２０Ａ〜２０Ｃの少なくとも一方が、マーカーとして使用されてもよい。また例えば、トッププレート１４の天面１４ａ全体が、マーカーとして使用されてもよい。すなわち、マーカーは、加熱調理器の本体上に存在し、容器載置エリア（加熱部）に対して一定の位置に存在し、且つ、その像が撮影画像において特定できるものであればよい。この場合、マーカーを描くまたはマーカーシールを貼り付ける必要がなくなり、加熱調理器の意匠性の低下を抑制することができる。

さらに加えて、上述の実施の形態の場合、マーカー４４Ａ〜４４Ｃは、加熱調理器１０の本体１２、具体的にはトッププレート１４の天面１４ａに設けられている。しかしながら、本発明の実施の形態はこれに限らない。撮影画像の色補正にのみ使用するのであれば、その色補正用のマーカーを、調理対象が収容される容器に設けてもよい。これにより、色補正用のマーカーを調理対象の近くに設けることができ、より適切に調理対象の像を色補正することができる。

さらに加えて、上述の実施の形態の場合、加熱調理器は、加熱コイルを用いて容器を誘導加熱する誘導加熱調理器であるが、本発明の実施の形態は、これに限らない。例えば、本発明の実施の形態に係る加熱調理器は、ガス調理器であってもよい。ガス調理器の場合、容器は、本体の天面に備えられた容器載置部としての五徳に載置され、その下方から加熱部としてのガスバーナーによって加熱される。

本発明は、誘導加熱調理器に限らず、調理対象を収容した容器を加熱する加熱調理器であれば適用可能である。

１０ 加熱調理器
１２ 本体
１４ トッププレート
１６Ａ 加熱部（加熱コイル）
１６Ｂ 加熱部（加熱コイル）
１６Ｃ 加熱部（加熱コイル）
３０ カメラ
４４Ａ マーカー
４４Ｂ マーカー
４４Ｃ マーカー
Ｃ 容器
Ｔ 調理対象

Claims (7)

1. 調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、
   前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
   前記調理対象を撮影するカメラと、
   前記本体に設けられ、前記カメラに撮影されるマーカーと、
   前記カメラの撮影画像に写る前記マーカーの像の色合いを計測し、その計測結果に基づいて、前記撮影画像において前記マーカーの像が前記マーカー自体の実際の色合いで写るように前記撮影画像を色補正する画像処理部と、
   前記画像処理部によって色補正された撮影画像に写る調理対象の像に基づいて、調理対象の状態を推定する調理対象状態推定部と、
   前記調理対象状態推定部によって推定された調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器。
2. 前記色合いが、色相、彩度、および明度の少なくとも１つである、請求項１に記載の加熱調理器。
3. 前記マーカーが、前記本体の天面に設けられている、請求項１または２に記載の加熱調理器。
4. 前記マーカーが、前記容器載置部以外の前記天面の部分に設けられている、請求項３に記載の加熱調理器。
5. 前記加熱部が複数あって、
   前記マーカーが複数あって、
   前記複数のマーカーそれぞれが、前記複数の加熱部に対応付けされ、且つ、対応する加熱部に対向する前記容器載置部近傍に設けられ、
   前記画像処理部が、前記複数のマーカーの像それぞれについて色補正条件を算出し、算出した色補正条件それぞれにしたがって、前記撮影画像における前記容器載置部に対応する複数の調理対象存在領域を色補正する、請求項４に記載の加熱調理器。
6. 前記加熱部が複数あって、
   前記マーカーが複数あって、
   前記複数のマーカーそれぞれが、前記本体の天面の上方から見て前記加熱部それぞれの中央に位置するように設けられている、請求項１から３のいずれか一項に記載の加熱調理器。
7. 調理対象を収容した容器と、
   前記容器が載置される容器載置部を備える天面を含む本体と、
   前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
   前記調理対象を撮影するカメラと、
   前記容器に設けられ、前記カメラに撮影されるマーカーと、
   前記カメラの撮影画像に写る前記マーカーの像の色合いを計測し、その計測結果に基づいて、前記撮影画像において前記マーカーの像が前記マーカー自体の実際の色合いで写るように前記撮影画像を色補正する画像処理部と、
   前記画像処理部によって色補正された撮影画像に写る調理対象の像に基づいて、調理対象の像の状態を推定する調理対象状態推定部と、
   前記調理対象状態推定部によって推定された調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器。

Images