JP2022186151A - 加熱調理器 - Google Patents

Abstract

【課題】被加熱物が加熱されている期間において付着する汚れをより精度よく判定する。【解決手段】加熱調理器１は、加熱調理室１５と、加熱部１２と、取得部１０Ａと、判定部１０Ｂとを備える。加熱調理室１５には、被加熱物Ｓが配置される。加熱部１２は、被加熱物Ｓを加熱する。取得部１０Ａは、加熱調理室１５の内部を、加熱部１２によって被加熱物Ｓが加熱されている期間において撮像した庫内画像を取得する。判定部１０Ｂは、加熱調理室１５の内部の汚れを示す特異画素が庫内画像に含まれるか否かを判定する。判定部１０Ｂは、庫内画像の色情報に基づいて、特異画素が庫内画像に含まれるか否かを判定する。【選択図】図２

Description

本発明は、加熱調理器に関する。

被加熱物である食品の状態等を確認できるようにするために、加熱室内を撮像する撮像部を設けた加熱調理器が提案されている。加熱調理器では、使用を重ねるうちに、食品中の油、食品自体の飛び散り、壁面の結露に付着したほこりなどにより、加熱室内部壁面などが汚れてしまう。

特許文献１の加熱調理器では、加熱室に食品がない状態で加熱室内部を、第１の画像と第２の画像として撮像し比較判定することで、第１の画像と第２の画像との差分を汚れとして判定している。

国際公開第２０１９－０１６３９３号

加熱室の汚れは、主に加熱調理中に付着することが多い。一方、加熱室に配置された食品は、加熱調理により色彩等が変化するため、特許文献１に示すように２つの画像の差分をとると、加熱調理された食品を汚れと判定されてしまう。

本発明は上記課題に鑑みてなされたものであり、その目的は、被加熱物が加熱されている期間において付着する汚れをより精度よく判定することが可能な加熱調理器を提供することにある。

本発明に係る加熱調理器は、加熱庫と、加熱部と、取得部と、判定部とを備える。前記加熱庫には、被加熱物が配置される。前記加熱部は、前記被加熱物を加熱する。前記取得部は、前記加熱庫の内部を、前記加熱部によって前記被加熱物が加熱されている期間において撮像した庫内画像を取得する。前記判定部は、前記加熱庫の内部の汚れを示す特異画素が前記庫内画像に含まれるか否かを判定する。前記判定部は、前記庫内画像の色情報に基づいて、前記特異画素が前記庫内画像に含まれるか否かを判定する。

本発明によれば、被加熱物が加熱されている期間において付着する汚れをより精度よく判定することが可能となる。

加熱調理器の構成を示す図である。 加熱調理器の機能ブロック図である。 庫内画像の一例を示す図である。 汚れが映り込んだ庫内画像の一例を示す図である。 庫内画像の時間変化を示す図である。 ある期間における庫内画像の時間変化の一例を示す図である。 ある期間における庫内画像の時間変化の他の例を示す図である。 庫内画像に対して行われる画像処理の一例を示す図である。 庫内画像に対して行われる画像処理の他の例を示す図である。 本発明の実施形態に係る加熱程度判定方法を示すフローチャートである。 本発明の実施形態に係る特異画素判定方法の一例を示すフローチャートである。 本発明の実施形態に係る特異画素判定方法の他の例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。

図１及び図２を参照して、加熱調理器１及び被加熱物Ｓについて説明する。図１は、加熱調理器１の構成を示す図である。図１では、互いに直交するＸ軸、Ｙ軸及びＺ軸を示す。Ｚ軸は鉛直方向に平行であり、Ｘ軸及びＹ軸は水平方向に平行である。図２は、加熱調理器１の機能ブロック図である。

加熱調理器１は、被加熱物Ｓを加熱調理する。被加熱物Ｓは、例えばパン等の食材である。加熱調理器１は、例えば、電子レンジ及びオーブンレンジ等である。加熱調理器１は、例えば、台所に配置される。以下、オーブンレンジを例に説明する。

具体的には、加熱調理器１は、制御部１０と、記憶部１１と、加熱部１２と、撮像部１３と、本体部１４と、加熱調理室１５と、載置部１６とを備える。制御部１０は、取得部１０Ａと、判定部１０Ｂとを有する。また、加熱調理器１は、マイク２１と、湿度センサ２２と、通信部２３とを備えていてもよい。

記憶部１１は、記憶装置を含み、ソフトウェアのようなコンピュータプログラム及び種々のデータを記憶する。具体的には、記憶部１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような主記憶装置（例えば、半導体メモリ）と、ソリッドステートドライブ、及び／又は、ハードディスクドライブのような補助記憶装置とを含む。記憶部１１は、リムーバブルメディアを含んでいてもよい。

制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサーを含む。制御部１０のプロセッサーは、記憶部１１の記憶装置に記憶されたコンピュータプログラムを実行して、記憶部１１、加熱部１２、撮像部１３、マイク２１、湿度センサ２２及び通信部２３を制御する。

なお、記憶部１１及び制御部１０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のような集積回路で構成されてもよい。

取得部１０Ａは、例えば、撮像部１３が撮像した加熱調理室１５の内部の画像を取得する。判定部１０Ｂは、被加熱物Ｓの加熱の程度を判定する。

本体部１４は、筐体１４ｂと、蓋１４ａとを含む。蓋１４ａは、筐体１４ｂの一端に取付けられる。蓋１４ａは、筐体１４ｂに対して開閉自在に設けられる。

加熱調理室１５は、本体部１４に収容される。加熱調理室１５は、例えば箱状部材である。具体的には、加熱調理室１５は、右壁１５Ｒと、左壁１５Ｌと、天壁１５Ｕと、底壁１５Ｄと、背壁１５Ｂと、開口１５Ｆとを有する。右壁１５Ｒと左壁１５Ｌとは、水平方向で対向する。天壁１５Ｕと底壁１５Ｄとは、鉛直方向で対向する。開口１５Ｆと背壁１５Ｂとは、水平方向で対向する。開口１５Ｆは、加熱調理室１５外と連通する。加熱調理室１５は、加熱庫の一例である。

載置部１６は、被加熱物Ｓを載置する。載置部１６は、例えば底壁１５Ｄである。載置部１６には、被加熱物Ｓを載せた皿Ｄが配置される。

加熱部１２は、加熱調理室１５に配置された被加熱物Ｓを加熱する。本実施形態において、加熱部１２は、例えば、レンジ加熱機能、熱風循環加熱機能、及びグリル加熱機能を有する。レンジ加熱機能は、例えば、加熱調理室１５にマイクロ波を放射することによって、被加熱物Ｓを加熱調理する機能である。熱風循環加熱機能は、例えば、加熱調理室１５に熱風を循環させて加熱調理室１５の温度の均一化を図ったり、熱風を被加熱物Ｓの上面に直接吹き付けたりすることによって、被加熱物Ｓを加熱調理する機能である。グリル加熱機能は、主として、被加熱物Ｓを輻射熱に曝すことによって、被加熱物Ｓを加熱調理する機能である。つまり、加熱部１２は、例えば、マイクロ波供給部及びヒータを含む。

例えば、加熱部１２は、ユーザーが加熱調理器１に対して加熱開始の指示を入力すると、制御部１０の制御により、マイクロ波又は熱風の供給を開始する。その結果、被加熱物Ｓの加熱が開始される。

撮像部１３は、例えばカメラである。具体的には、撮像部１３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）デジタルテレビジョンカメラ等で構成されたカメラである。撮像部１３は、例えば、加熱調理室１５を構成する壁面に設置される。具体的には、撮像部１３は、右壁１５Ｒと天壁１０５との間に配置される。その結果、撮像部１３は、所定方向から被加熱物Ｓの一部の領域を撮像する。具体的には、所定方向は、斜め下方である。

撮像部１３は、所定間隔で加熱調理室１５の内部の静止画を撮像する。所定間隔は、特に限定されないが、例えば２秒間である。又は、撮像部１３は、所定期間において、加熱庫の内部の動画を撮像する。所定期間は、所定間隔より長い期間である。

例えば、撮像部１３は、加熱部１２によって被加熱物Ｓが加熱されている期間（調理期間）において、加熱調理室１５の内部を撮像する。具体的には、撮像部１３は、ユーザーが加熱調理器１に対して加熱開始の指示を入力すると、制御部１０の制御により、加熱調理室１５の内部の撮像を開始する。以降、撮像部１３によって撮像された調理期間における加熱調理室１５の内部の静止画及び動画を庫内画像と呼ぶ。

次に、図１及び図３を参照して、庫内画像と被加熱物の加熱の程度の判定について説明する。図３は、庫内画像の一例を示す図である。

図３は、図１の撮像部１３によって撮像された庫内画像Ｇ１を示す。庫内画像Ｇ１は、被加熱物Ｓを載せた皿Ｄが載置部１６に配置された状態の庫内画像である。庫内画像Ｇ１は、調理期間内のあるタイミングｔ１において、撮像部１３によって撮像された庫内画像である。

制御部１０は、庫内画像Ｇ１に基づいて、被加熱物Ｓの加熱の程度を判定する。例えば、制御部１０は、加熱された被加熱物Ｓの色（焼き色、又は焦げ色等）に基づいて、被加熱物Ｓの加熱の程度を判定する。

具体的には、制御部１０は、タイミングｔ１以降のあるタイミングｔａで、庫内画像Ｇ１を取得する。詳細には、庫内画像が静止画である場合、制御部１０は、タイミングｔａにおいて庫内画像Ｇ１を取得する。また、庫内画像が動画である場合、制御部１０は、調理期間内において撮像部１３によって撮像された動画のうちのタイミングｔ１の時点でのフレームを庫内画像Ｇ１として取得する。

制御部１０は、取得した庫内画像Ｇ１のうち、被加熱物Ｓに相当する領域ＧＳの色に基づいて、被加熱物Ｓの加熱の程度を判定する。領域ＧＳを含む庫内画像Ｇ１は、複数の画素から構成される。

庫内画像に含まれる各画素には、各画素の色を示す色情報が設定されている。色情報は、例えば、彩度、明度及び色相を含む。したがって、庫内画像の色をより正確に表現できる。具体的には、色情報は、ＲＧＢ値及びＹＵＶ値等である。ＲＧＢ値は、画素の赤色成分（Ｒ）、緑色成分（Ｇ）、及び、青色成分（Ｂ）の組み合わせを示す。ＹＵＶ値は、輝度（Ｙ）、輝度と青色成分との差（Ｕ）、及び、輝度と赤色成分との差（Ｖ）の組み合わせを示す。

制御部１０は、領域ＧＳの色情報に応じて、加熱部１２を制御する。例えば、制御部１０は、領域ＧＳの色情報に応じて、加熱部１２による被加熱物Ｓの加熱を停止させたり、一定時間が経過してから加熱部１２による被加熱物Ｓの加熱を停止させたりする。

マイク２１は、加熱調理室１５内の音を検出する。例えば、制御部１０は、マイク２１によって検出された音を取得し、音の変化に基づいて、被加熱物Ｓの加熱の程度を判定してもよい。

湿度センサ２２は、加熱調理室１５内の湿度を検出して測定する。例えば、制御部１０は、湿度センサ２２によって検出された湿度を取得し、湿度の変化に基づいて、被加熱物Ｓの加熱の程度を判定してもよい。

通信部２３は、スマートフォン等の加熱調理器１外部の機器と通信を行う。例えば、通信部２３とスマートフォンとは、ネットワークを介して相互に通信する。ネットワークは、例えば、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、及び公衆電話網を含む。具体的には、通信部２３は、例えば、所定の通信プロトコルに従って通信を行うネットワークインターフェースコントローラー（ＮＩＣ）、又は、ＷｉＦｉによる通信規格に準じた通信機器を含む。所定の通信プロトコルは、例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）プロトコル・スイート（つまり、インターネット・プロトコル・スイート）である。

なお、通信部２３は、無線通信を行う無線通信モジュールであってもよい。具体的には、無線通信モジュールは、例えば、近距離無線通信を実行する。近距離無線通信は、例えば、通信距離が数メートルから数十メートル程度の無線通信である。近距離無線通信は、例えば、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＺｉｇＢｅｅ（登録商標）による通信規格に準じた通信である。Ｂｌｕｅｔｏｏｔｈ（登録商標）による通信規格に準じた通信は、例えば、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）である。

［汚れの識別］
例えば、被加熱物Ｓの加熱中に、加熱調理室１５の内部に汚れが付着することがある。

次に、図１及び図４を参照して、汚れが付着した加熱調理室１５の内部が撮像された庫内画像について説明する。図４は、汚れが映り込んだ庫内画像の一例を示す図である。

庫内画像Ｇ２は、調理期間内のタイミングｔ１より後のタイミングｔ２において、撮像部１３によって撮像された庫内画像である。タイミングｔ１からタイミングｔ２までの間に、背壁１５Ｂに「油汚れ」が付着したり、被加熱物Ｓの一部が焦げ付いたり、皿Ｄに「コゲ」がこぼれたりすると、庫内画像Ｇ２には、「油汚れ」及び「コゲ」等が映り込む。なお、タイミングｔ１とタイミングｔ２との間隔は、所定間隔（例えば２秒間）より長いものとする。

庫内画像Ｇ２において、「油汚れ」及び「コゲ」等に相当する領域ＧＡ１、ＧＡ２、ＧＡ３の色は、周囲と異なる色に変化する。図４では、色が周囲と異なることをハッチングで示す。本明細書において、「油汚れ」及び「コゲ」の他、「吹きこぼれ」等を含めて「汚れ」と総称する。また、庫内画像に映り込んだ「汚れ」に相当する領域を構成する画素を特異画素と呼ぶ。

制御部１０（判定部１０Ｂ）は、加熱調理室１５の内部の汚れを示す特異画素が庫内画像に含まれるか否かを判定する。

［特異画素の判定方法１］
次に、図１及び図５を参照して、特異画素の判定方法について説明する。図５は、庫内画像の時間変化を示す図である。図５は、横軸に時間を示す。説明を簡単にするため、図５では、庫内画像の一部の領域（領域ＧＳの周辺）を例示して説明する。

図５に示す庫内画像Ｇ１、Ｇ２は、それぞれ、図３及び図４に示す庫内画像Ｇ１、Ｇ２の一部の領域である。

制御部１０は、タイミングｔ２以降のあるタイミングｔａで、庫内画像Ｇ２を取得する。制御部１０は、取得した庫内画像Ｇ２のうち、被加熱物Ｓに相当する領域ＧＳの色に基づいて、被加熱物Ｓの加熱の程度を判定する。

また、制御部１０は、タイミングｔ１より前のタイミングｔ０において撮像部１３によって撮像された庫内画像Ｇ０を、タイミングｔ０以降であってタイミングｔ１より前のタイミングｔｔにおいて取得する。例えば、タイミングｔ０は、加熱開始のタイミングである。

更に、制御部１０は、タイミングｔ２より後のタイミングｔ３において、撮像部１３によって撮像された庫内画像Ｇ３を、タイミングｔ３以降のタイミングｔｃにおいて取得する。制御部１０は、取得した庫内画像Ｇ３のうち、被加熱物Ｓに相当する領域ＧＳの色に基づいて、被加熱物Ｓの加熱の程度を判定する。庫内画像Ｇ３は、被加熱物Ｓの加熱の進行により、被加熱物Ｓ（領域ＧＳ）の色が庫内画像Ｇ２から変化している。図５では、被加熱物Ｓ（領域ＧＳ）の色の変化を、ハッチングの種類で区別する。

また、庫内画像Ｇ３には、庫内画像Ｇ２と同様、特異画素から構成される領域ＧＡ２、ＧＡ３が含まれる。

例えば、特異画素の色は、被加熱物Ｓの色の変化と比べて、急激に変化する。そこで、制御部１０は、庫内画像の色情報に基づいて、加熱調理室１５の内部の汚れを示す特異画素が庫内画像に含まれるか否かを判定する。

制御部１０は、所定期間に撮像された、時系列に沿った複数の庫内画像を取得する。例えば、制御部１０は、加熱部１２による被加熱物Ｓの加熱の開始に応じて、庫内画像の取得を開始する。具体的には、制御部１０は、タイミングｔ０からタイミングｔ１までの期間Ｔ０において撮像された、時系列に沿った複数の庫内画像を取得する。また、制御部１０は、タイミングｔ１からタイミングｔ２までの期間Ｔ１において撮像された、時系列に沿った複数の庫内画像を取得する。また、制御部１０は、タイミングｔ２からタイミングｔ３までの期間Ｔ２において撮像された、時系列に沿った複数の庫内画像を取得する。

次に、図１及び図６を参照して、特異画素の色が変化する期間Ｔ１と、期間Ｔ１における特異画素の判定方法の一例とについて詳細に説明する。図６は、期間Ｔ１における庫内画像の時間変化の一例を示す図である。

上述したように、制御部１０は、タイミングｔ１以降のタイミングｔａで、庫内画像Ｇ１を取得する。

また、制御部１０は、タイミングｔ１より後のタイミングｔ１１において、撮像部１３によって撮像された庫内画像Ｇ１１を、タイミングｔ１１以降のタイミングｔａ１において取得する。例えば、タイミングｔ１とタイミングｔ１１との間隔は、所定間隔である。

また、制御部１０は、タイミングｔ１１より後のタイミングｔ１２において、撮像部１３によって撮像された庫内画像Ｇ１２を、タイミングｔ１２以降のタイミングｔａ２において取得する。例えば、タイミングｔ１１とタイミングｔ１２との間隔は、所定間隔である。

また、制御部１０は、タイミングｔ１２より後のタイミングｔ２において、撮像部１３によって撮像された庫内画像Ｇ２を、タイミングｔ２以降のタイミングｔｂにおいて取得する。例えば、タイミングｔ１２とタイミングｔ２との間隔は、所定間隔である。

制御部１０は、期間Ｔ１において取得した庫内画像のうちの１つを基準画像として選択する。例えば、制御部１０は、庫内画像Ｇ１を基準画像として選択する。

また、制御部１０は、基準画像より後に撮像された庫内画像のうちの１つを対象画像として選択する。例えば、制御部１０は、庫内画像Ｇ１１を対象画像として選択する。

制御部１０は、対象画像に特異画素が含まれるか否かを判定する。具体的には、制御部１０は、基準画像に含まれる画素の色情報と、対象画像に含まれる画素の色情報との差分を画素ごとに算出する。例えば、制御部１０は、庫内画像Ｇ１１における領域ＧＳ以外の各画素の色情報と、庫内画像Ｇ１において対応する各画素の色情報との差分Ｖ０を算出する。差分Ｖ０はゼロ（差分なし）である。また、制御部１０は、庫内画像Ｇ１１における領域ＧＳの各画素の色情報と、庫内画像Ｇ１において対応する画素の色情報との差分Ｖ１を算出する。

制御部１０は、差分Ｖ０及び差分Ｖ１の大きさが、それぞれ、所定範囲内か、所定範囲外かを判定する。例えば、制御部１０は、差分Ｖ０及び差分Ｖ１の大きさを所定範囲内であると判定する。

所定範囲は、被加熱物Ｓの加熱の進行に応じた色情報の変化範囲を示す。例えば、制御部１０は、ＲＧＢ値のうちの赤色成分（Ｒ）、緑色成分（Ｇ）、及び、青色成分（Ｂ）の各差分が、すべて所定値以下である場合、差分が所定範囲内であると判定する。

また、例えば、制御部１０は、ＹＵＶ値のうちの輝度（Ｙ）の差分が所定値以下である場合、差分が所定範囲内であると判定してもよい。

制御部１０は、差分が所定範囲外である画素が庫内画像Ｇ１１に含まれていないため、特異画素が庫内画像Ｇ１１に含まれないと判定する。

次に、制御部１０は、特異画素が含まれるか否かを判定済みの対象画像（庫内画像Ｇ１１）を新たな基準画像として設定する。そして、制御部１０は、庫内画像Ｇ１１より後に撮像された庫内画像Ｇ１２を新たな対象画像として選択する。

制御部１０は、庫内画像Ｇ１１に含まれる画素の色情報と、庫内画像Ｇ１２に含まれる画素の色情報との差分を画素ごとに算出する。例えば、制御部１０は、庫内画像Ｇ１２における領域ＧＳ、ＧＡ２、ＧＡ３以外の各画素の色情報と、庫内画像Ｇ１１において対応する画素の色情報との差分Ｖ０を算出する。また、制御部１０は、庫内画像Ｇ１２における領域ＧＡ３を除く領域ＧＳの各画素の色情報と、庫内画像Ｇ１１において対応する画素の色情報との差分Ｖ１を算出する。

また、制御部１０は、庫内画像Ｇ１２における領域ＧＡ２の各画素の色情報と、庫内画像Ｇ１１において対応する画素の色情報との差分Ｖ２を算出する。また、制御部１０は、庫内画像Ｇ１２における領域ＧＡ３の各画素の色情報と、庫内画像Ｇ１１において対応する画素の色情報との差分Ｖ３を算出する。

制御部１０は、差分Ｖ０及び差分Ｖ１の大きさを所定範囲内であると判定する。一方、制御部１０は、差分Ｖ２及び差分Ｖ３の大きさを所定範囲外であると判定する。制御部１０は、所定範囲外と判定した差分Ｖ２及び差分Ｖ３を有する画素を特異画素であると判定する。

例えば、制御部１０は、ＲＧＢ値のうちの赤色成分（Ｒ）、緑色成分（Ｇ）、及び、青色成分（Ｂ）の少なくとも１つの成分の差分が所定値より大きい場合、差分が所定範囲外であると判定する。

また、例えば、制御部１０は、ＹＵＶ値のうちの輝度（Ｙ）の差分が所定値より大きい場合、差分が所定範囲外であると判定する。

また、例えば、制御部１０は、ＹＵＶ値のうちの輝度（Ｙ）の差分が所定値以下であって、輝度と青色成分との差（Ｕ）、又は、輝度と赤色成分との差（Ｖ）の差分が所定値より大きい場合、差分が所定範囲外であると判定する。

制御部１０は、差分が所定範囲外である画素が庫内画像Ｇ１２に含まれているため、特異画素が庫内画像Ｇ１２に含まれると判定する。

また、制御部１０は、庫内画像Ｇ１２を新たな基準画像として設定する。そして、制御部１０は、庫内画像Ｇ１２より後に撮像された庫内画像Ｇ２を新たな対象画像として選択する。

制御部１０は、庫内画像Ｇ１２に含まれる画素の色情報と、庫内画像Ｇ２に含まれる画素の色情報との差分を画素ごとに算出する。例えば、制御部１０は、庫内画像Ｇ２における領域ＧＳ以外の各画素の色情報、及び庫内画像Ｇ２における領域ＧＡ３の各画素の色情報と、庫内画像Ｇ１２において対応する画素の色情報との差分Ｖ０を算出する。また、制御部１０は、庫内画像Ｇ２における領域ＧＡ３を除く領域ＧＳの各画素の色情報と、庫内画像Ｇ１１において対応する画素の色情報との差分Ｖ１を算出する。

制御部１０は、差分Ｖ０及び差分Ｖ１の大きさを所定範囲内であると判定し、庫内画像Ｇ２に新たな特異画素が存在しないと判定する。

図１～図６を参照して説明したように、制御部１０は、被加熱物Ｓが加熱されている期間において撮像された庫内画像を取得し、庫内画像の各画素の色情報に基づいて、庫内画像に特異画素が含まれるか否かを判定する。したがって、被加熱物Ｓが加熱調理室１５内にある状態においても、撮像画像の色情報の解析が可能になり、被加熱物Ｓが加熱されている期間において付着する汚れをより精度よく判定することができる。

また、制御部１０は、時系列に沿った複数の庫内画像から基準画像と対象画像とを選択し、各画像の画素ごとの色情報の差分を算出する。そして、制御部１０は、差分の大きさに基づいて、各画素が特異画素であるか否かを判定する。２つの庫内画像の色情報を比較することで、色情報の変化が被加熱物Ｓの加熱の進行による変化か、汚れの付着による変化かを識別できる。

また、制御部１０は、特異画素が含まれるか否かを判定済みの対象画像を新たな基準画像として設定する。被加熱物Ｓの加熱の程度の判定周期より短い間隔で撮像された２つの庫内画像の色情報の差分の大きさを算出することで、短期間での色情報の変化を検出できる。

また、制御部１０は、被加熱物Ｓの加熱の開始に応じて庫内画像の取得を開始する。調理期間において撮像されたすべての庫内画像に対して、特異画素が含まれるか否かが判定されるため、特異画素をより正確に判定できる。

［特異画素の判定方法２］
次に、図１及び図７を参照して、特異画素の色が変化する期間Ｔ１と、期間Ｔ１における特異画素の判定方法の他の例とについて詳細に説明する。図７は、期間Ｔ１における庫内画像の時間変化の他の例を示す図である。図７では、タイミングｔ１１において、例えば、加熱調理器１の外部から加熱調理室１５の内部へ差し込む光の加減により加熱調理室１５の内部に影ＧＫが生じ、庫内画像Ｇ１１に映り込んでいる。

判定方法１と同様、制御部１０は、庫内画像Ｇ１、Ｇ１１、Ｇ１２、Ｇ２を取得し、庫内画像Ｇ１を基準画像として選択し、庫内画像Ｇ１１を対象画像として選択する。

制御部１０は、庫内画像Ｇ１１における影ＧＫ及び領域ＧＳ以外の各画素の色情報と、庫内画像Ｇ１において対応する各画素の色情報との差分Ｖ０を算出する。差分Ｖ０はゼロ（差分なし）である。また、制御部１０は、庫内画像Ｇ１１における領域ＧＳのうち影ＧＫと重なっていない各画素の色情報と、庫内画像Ｇ１において対応する画素の色情報との差分Ｖ１を算出する。

また、制御部１０は、庫内画像Ｇ１１における影ＧＫの各画素の色情報と、庫内画像Ｇ１において対応する画素の色情報との差分Ｖ４を算出する。

制御部１０は、差分Ｖ０及び差分Ｖ１の大きさを所定範囲内であると判定する。一方、制御部１０は、差分Ｖ４の大きさを所定範囲外であると判定する。

次に、制御部１０は、庫内画像Ｇ１を基準画像として選択したまま、庫内画像Ｇ１２を対象画像として選択する。

制御部１０は、庫内画像Ｇ１に含まれる画素の色情報と、庫内画像Ｇ１２に含まれる画素の色情報との差分を画素ごとに算出する。例えば、制御部１０は、庫内画像Ｇ１２における領域ＧＳ、ＧＡ２、ＧＡ３以外の各画素の色情報と、庫内画像Ｇ１において対応する画素の色情報との差分Ｖ０を算出する。また、制御部１０は、庫内画像Ｇ１２における領域ＧＡ３を除く領域ＧＳの各画素の色情報と、庫内画像Ｇ１において対応する画素の色情報との差分Ｖ１を算出する。

また、制御部１０は、庫内画像Ｇ１２における領域ＧＡ２の各画素の色情報と、庫内画像Ｇ１において対応する画素の色情報との差分Ｖ２を算出する。また、制御部１０は、庫内画像Ｇ１２における領域ＧＡ３の各画素の色情報と、庫内画像Ｇ１において対応する画素の色情報との差分Ｖ３を算出する。

制御部１０は、差分Ｖ０及び差分Ｖ１の大きさを所定範囲内であると判定する。一方、制御部１０は、差分Ｖ２及び差分Ｖ３の大きさを所定範囲外であると判定する。

次に、制御部１０は、庫内画像Ｇ１を基準画像として選択したまま、庫内画像Ｇ２を対象画像として選択する。

制御部１０は、庫内画像Ｇ１に含まれる画素の色情報と、庫内画像Ｇ２に含まれる画素の色情報との差分を画素ごとに算出する。例えば、制御部１０は、庫内画像Ｇ２における領域ＧＳ、ＧＡ２、ＧＡ３以外の各画素の色情報と、庫内画像Ｇ１において対応する画素の色情報との差分Ｖ０を算出する。また、制御部１０は、庫内画像Ｇ２における領域ＧＡ３を除く領域ＧＳの各画素の色情報と、庫内画像Ｇ１において対応する画素の色情報との差分Ｖ１を算出する。

また、制御部１０は、庫内画像Ｇ２における領域ＧＡ２の各画素の色情報と、庫内画像Ｇ１において対応する画素の色情報との差分Ｖ２を算出する。また、制御部１０は、庫内画像Ｇ２における領域ＧＡ３の各画素の色情報と、庫内画像Ｇ１において対応する画素の色情報との差分Ｖ３を算出する。

制御部１０は、差分Ｖ０及び差分Ｖ１の大きさを所定範囲内であると判定する。一方、制御部１０は、差分Ｖ２及び差分Ｖ３の大きさを所定範囲外であると判定する。

ここで、庫内画像Ｇ１１において差分の大きさが所定範囲外であると判定された画素が、庫内画像Ｇ１２及び庫内画像Ｇ２において差分の大きさが所定範囲内であると判定されている。一方、庫内画像Ｇ１２において差分の大きさが所定範囲外であると判定された画素は、庫内画像Ｇ２においても差分の大きさが所定範囲外であると判定されている。

制御部１０は、一度差分の大きさが所定範囲外であると判定された画素が、以降の対象画像においても差分の大きさが所定範囲外である場合、特異画素が対象画像に含まれると判定する。

一方、制御部１０は、一度差分の大きさが所定範囲外であると判定された画素が、以降の対象画像において差分の大きさが所定範囲内であると判定された場合、特異画素が対象画像に含まれないと判定する。

以上のように、基準画像が固定されることで、庫内画像の一時的な変化の影響を除外でき、特異画素をより正確に判定できる。

［画像処理］
制御部１０は、特異画素が対象画像に含まれると判定すると、特異画素の座標に基づいて、庫内画像に対して画像処理を行う。

次に、図１及び図８を参照して、庫内画像に対して行われる画像処理の一例を説明する。図８は、庫内画像に対して行われる画像処理の一例を示す図である。図８は、図５に示す庫内画像Ｇ２及び庫内画像Ｇ３に対して行われる画像処理を示す。

制御部１０は、庫内画像に特異画素が存在すると判定すると、特異画素の座標を取得する。制御部１０は、例えば、取得した特異画素の座標に基づいて、被加熱物Ｓの加熱の程度の判定に用いる庫内画像における特異画素の周囲の画素の色情報を取得する。

制御部１０は、庫内画像における特異画素の色情報を、周囲の画素の色情報に変更する。その結果、図８に示す庫内画像Ｇ２が庫内画像Ｇ２Ａになり、庫内画像Ｇ３が庫内画像Ｇ３Ａになる。

制御部１０は、画像処理後の庫内画像Ｇ２Ａ、Ｇ３Ａのうち、被加熱物Ｓに相当する領域ＧＳの色に基づいて、被加熱物Ｓの加熱の程度を判定する。

次に、図１及び図９を参照して、庫内画像に対して行われる画像処理の他の例を説明する。図９は、庫内画像に対して行われる画像処理の他の例を示す図である。図９は、庫内画像Ｇ２に対して行われる画像処理を示す。

例えば、制御部１０は、取得した特異画素の座標に基づいて、庫内画像Ｇ２から領域ＧＡ２、ＧＡ３を除外した庫内画像Ｇ２Ｂを生成する。制御部１０は、庫内画像Ｇ２Ｂのうち、被加熱物Ｓに相当する領域ＧＳの色に基づいて、被加熱物Ｓの加熱の程度を判定する。

なお、制御部１０は、複数の特異画素の塊を特異領域に設定し、特異領域が所定の面積より大きい場合、庫内画像に対して画像処理を行ってもよい。

図８及び図９を参照して説明したように、制御部１０は、特異画素の座標に基づいて、庫内画像に対して画像処理を行い、画像処理後の庫内画像に基づいて、被加熱物Ｓの加熱の程度を判定する。このように、庫内画像に対して画像処理を行い、「汚れ」に相当する部分を庫内画像から取り除くことで、例えば、制御部１０が、「汚れ」を被加熱物Ｓの加熱の進行による色情報の変化と間違って判定することを防ぐことができる。

次に、図１０を参照して、本発明の実施形態に係る加熱程度判定方法について説明する。図１０は、本発明の実施形態に係る加熱程度判定方法を示すフローチャートである。

まず、制御部１０は、時系列に沿った複数の庫内画像を取得する（ステップＳ１１）。

次に、制御部１０は、特異画素判定を行う（ステップＳ１２）。具体的には、制御部１０は、加熱調理室１５の内部の汚れを示す特異画素が各庫内画像に含まれるか否かを判定する。

制御部１０は、特異画素判定の結果、特異画素が庫内画像に含まれると判定した場合（ステップＳ１３でＹｅｓ）、特異画素の座標を取得する（ステップＳ１４）。

次に、制御部１０は、取得した特異画素の座標に基づいて、庫内画像に対して画像処理を行う（ステップＳ１５）。

次に、制御部１０は、画像処理後の庫内画像における被加熱物Ｓに相当する領域ＧＳの色に基づいて、被加熱物Ｓの加熱の程度を判定する（ステップＳ１６）。そして、制御部１０は、新たな複数の庫内画像を取得する（ステップＳ１１）。

一方、制御部１０は、特異画素判定の結果、特異画素が庫内画像に含まれないと判定した場合（ステップＳ１３でＮｏ）、庫内画像における被加熱物Ｓに相当する領域ＧＳの色に基づいて、被加熱物Ｓの加熱の程度を判定する（ステップＳ１６）。そして、制御部１０は、新たな複数の庫内画像を取得する（ステップＳ１１）。

次に、図１１を参照して、本発明の実施形態に係る特異画素判定方法の一例について説明する。図１１は、本発明の実施形態に係る特異画素判定方法の一例を示すフローチャートである。

図１１は、図１０のステップＳ１２の一例として、対象画像に応じて基準画像が変更される特異画素判定方法の詳細を示す。

まず、制御部１０は、取得した複数の庫内画像のうちの１つを基準画像として選択する（ステップＳ２１）。

次に、制御部１０は、基準画像より後に撮像された庫内画像のうちの１つを対象画像として選択する（ステップＳ２２）。

次に、制御部１０は、基準画像に含まれる画素の色情報と、対象画像に含まれる画素の色情報との差分を画素ごとに算出する（ステップＳ２３）。

次に、制御部１０は、画素ごとに算出した差分の大きさが、それぞれ、所定範囲内か、所定範囲外かを判定する（ステップＳ２４）。

制御部１０は、算出した差分の大きさが所定範囲内であると判定すると（ステップＳ２４でＹｅｓ）、対応する画素が特異画素ではないと判定する（ステップＳ２５）。

一方、制御部１０は、算出した差分の大きさが所定範囲外であると判定すると（ステップＳ２４でＮｏ）、対応する画素が特異画素であると判定する（ステップＳ２６）。

次に、制御部１０は、対象画像より後に撮像された庫内画像が、取得した複数の庫内画像に含まれているかを判定する（ステップＳ２７）。

対象画像より後に撮像された庫内画像が、取得した複数の庫内画像に含まれている場合（ステップＳ２７でＹｅｓ）、制御部１０は、対象画像を新たな基準画像として選択する（ステップＳ２８）。制御部１０は、新たな基準画像より後に撮像された庫内画像のうちの１つを新たな対象画像として選択する（ステップＳ２２）。

一方、対象画像より後に撮像された庫内画像が、取得した複数の庫内画像に含まれない場合（ステップＳ２７でＮｏ）、制御部１０は、特異画素判定を終了する。処理が、図１０のステップＳ１３へ進む。

次に、図１２を参照して、本発明の実施形態に係る特異画素判定方法の他の例について説明する。図１２は、本発明の実施形態に係る特異画素判定方法の他の例を示すフローチャートである。

図１２は、図１０のステップＳ１２の一例として、基準画像が固定される特異画素判定方法の詳細を示す。

まず、制御部１０は、取得した複数の庫内画像のうちの１つを基準画像として選択する（ステップＳ３１）。

次に、制御部１０は、基準画像より後に撮像された庫内画像のうちの１つを対象画像として選択する（ステップＳ３２）。

次に、制御部１０は、基準画像に含まれる画素の色情報と、対象画像に含まれる画素の色情報との差分を画素ごとに算出する（ステップＳ３３）。

次に、制御部１０は、画素ごとに算出した差分の大きさが、それぞれ、所定範囲内か、所定範囲外かを判定する（ステップＳ３４）。

制御部１０は、算出した差分の大きさが所定範囲外であると判定すると（ステップＳ３４でＮｏ）、対応する画素の座標を保持する（ステップＳ３５）。

次に、制御部１０は、対象画像より後に撮像された庫内画像が、取得した複数の庫内画像に含まれているかを判定する（ステップＳ３６）。

一方、制御部１０は、算出した差分の大きさが所定範囲内であると判定すると（ステップＳ３４でＹｅｓ）、対象画像より後に撮像された庫内画像が、取得した複数の庫内画像に含まれているかを判定する（ステップＳ３６）。

対象画像より後に撮像された庫内画像が、取得した複数の庫内画像に含まれている場合（ステップＳ３６でＹｅｓ）、制御部１０は、対象画像より後に撮像された庫内画像のうちの１つを新たな対象画像として選択する（ステップＳ３２）。

一方、対象画像より後に撮像された庫内画像が、取得した複数の庫内画像に含まれない場合（ステップＳ３６でＮｏ）、制御部１０は、保持した画素の座標を比較する（ステップＳ３７）。

制御部１０は、画素の座標が複数の対象画像において一致する場合（ステップＳ３７でＹｅｓ）、対応する画素が特異画素であると判定し（ステップＳ３８）、特異画素判定を終了する。処理が、図１０のステップＳ１３へ進む。

一方、制御部１０は、画素の座標が複数の対象画像において一致しない場合（ステップＳ３７でＮｏ）、対応する画素が特異画素ではないと判定し（ステップＳ３９）、特異画素判定を終了する。処理が、図１０のステップＳ１３へ進む。

本実施形態において、庫内画像は、撮像部１３以外によって撮像された画像であってもよい。例えば、庫内画像は、加熱調理器１の外からスマートフォン等によって撮像された画像であってもよい。

通信部２３は、庫内画像を撮像したスマートフォン等と通信を行う。例えば、スマートフォン等は、庫内画像を示す庫内画像データを加熱調理器１に送信する。通信部２３は、庫内画像データを受信する。制御部１０は、通信部２３が受信した庫内画像データの示す庫内画像を取得する。

本実施形態において、制御部１０は、加熱部１２による被加熱物Ｓの加熱の開始以外のタイミングに応じて、庫内画像の取得を開始してもよい。例えば、制御部１０は、マイク２１及び湿度センサ２２の検出結果に応じて、庫内画像の取得を開始する。これにより、撮像期間を庫内画像の変化が顕著な期間に調節して庫内画像データ量を低減させ、記憶部１１の容量を節約できる。

以上、図面（図１～図１２）を参照して本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施できる。また、上記の実施形態に開示される複数の構成要素は適宜改変可能である。例えば、ある実施形態に示される全構成要素のうちのある構成要素を別の実施形態の構成要素に追加してもよく、又は、ある実施形態に示される全構成要素のうちのいくつかの構成要素を実施形態から削除してもよい。

また、図面は、発明の理解を容易にするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚さ、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素の構成は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能であることは言うまでもない。

本発明は、加熱調理器の分野に利用可能である。

１ ：加熱調理器
１０ ：制御部
１０Ａ ：取得部
１０Ｂ ：判定部
１１ ：記憶部
１２ ：加熱部
１５ ：加熱調理室
Ｇ０、Ｇ１、Ｇ１１、Ｇ１２、Ｇ２、Ｇ２Ａ、Ｇ２Ｂ、Ｇ３、Ｇ３Ａ ：庫内画像
ＧＡ１～ＧＡ３、ＧＳ ：領域
Ｓ ：被加熱物
Ｔ０～Ｔ２ ：期間
Ｖ０～Ｖ４ ：差分
ｔ０、ｔ１、ｔ１１、ｔ１２、ｔ２、ｔ３、ｔａ、ｔａ１、ｔａ２、ｔｂ、ｔｃ、ｔｔ ：タイミング

Claims (6)

1. 被加熱物が配置される加熱庫と、
   前記被加熱物を加熱する加熱部と、
   前記加熱庫の内部を、前記加熱部によって前記被加熱物が加熱されている期間において撮像した庫内画像を取得する取得部と、
   前記加熱庫の内部の汚れを示す特異画素が前記庫内画像に含まれるか否かを判定する判定部と
   を備え、
   前記判定部は、前記庫内画像の色情報に基づいて、前記特異画素が前記庫内画像に含まれるか否かを判定する、加熱調理器。
2. 前記取得部は、時系列に沿った複数の前記庫内画像を取得し、
   前記判定部は、前記複数の庫内画像のうちの１つを基準画像として選択し、
   前記判定部は、前記基準画像より後に撮像された前記庫内画像のうちの１つを対象画像として選択し、
   前記判定部は、前記基準画像に含まれる画素の前記色情報と、前記対象画像に含まれる画素の前記色情報との差分を前記画素ごとに算出し、前記差分の大きさが所定範囲外である前記画素を前記特異画素であると判定する、請求項１に記載の加熱調理器。
3. 前記判定部は、前記特異画素が含まれるか否かを判定済みの前記対象画像を新たな基準画像として設定する、請求項２に記載の加熱調理器。
4. 前記取得部は、前記加熱部による前記被加熱物の加熱の開始に応じて、前記庫内画像の取得を開始する、請求項２又は請求項３に記載の加熱調理器。
5. 前記判定部は、前記庫内画像に基づいて、前記被加熱物の加熱の程度を判定し、
   前記特異画素が前記対象画像に含まれる場合、前記判定部は、前記特異画素の座標に基づいて、前記庫内画像に対して画像処理を行い、前記画像処理後の庫内画像に基づいて、前記加熱の程度を判定する、請求項２から請求項４のいずれか１項に記載の加熱調理器。
6. 前記色情報は、彩度、明度及び色相を含む、請求項１から請求項５のいずれか１項に記載の加熱調理器。

Images