JP2023130969A - 食品情報取得装置および食品情報取得システム - Google Patents

Abstract

【課題】貯蔵室内の食品の鮮度の正確な情報をユーザに提供する。【解決手段】白色光下において撮影手段が撮影した画像から、ＹＣｂＣｒ表色系のＹ値を食品の外形情報として抽出し、Ｌ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する食品画像情報抽出手段と、外形情報と色情報とから食品の種類を判別する食品種類判別手段と、食品種類判別手段による判別結果に応じて光照射手段が照射する短波長光の波長を選択する波長選択手段と、波長選択手段によって選択された波長の短波長光下において撮影手段が撮影した画像から、ＹＣｂＣｒ表色系のＹ値を食品の蛍光箇所情報として抽出し、Ｌ＊ａ＊ｂ＊表色系のＬ＊値、または、ａ＊値を、鮮度情報として抽出する蛍光画素抽出手段と、食品種類判別手段による判別結果と蛍光箇所情報と鮮度情報とから食品の鮮度を判定する鮮度判定手段と、鮮度判定手段の判定結果を報知する報知手段と、を備える。【選択図】図１

Description

本開示は、食品情報取得装置および食品情報取得システムに関するものである。

特許文献１に冷蔵庫が記載されている。この冷蔵庫は、貯蔵室である野菜室に短波長光を照射する光源と、当該光源からの短波長を受けた野菜が発する蛍光の強度に基づいて、野菜の鮮度を判定するものである。

特開２００６－３００３５１号公報

特許文献１に示されるような技術では、対象となる食品の種類が考慮されておらず、食品の鮮度の正確な情報をユーザに提供することができない。

本開示は、このような課題を解決するためのものである。その目的は、貯蔵室内の食品の鮮度の正確な情報をユーザに提供可能な食品情報取得装置および食品情報取得システムを得ることにある。

本開示に係る食品情報取得装置、あるいは、食品情報取得システムは、食品が収納される貯蔵室内に光を照射する光照射手段と、貯蔵室内の画像を撮影する撮影手段と、光照射手段によって照射された白色光下において撮影手段が撮影した画像から、ＹＣｂＣｒ表色系のＹ値を食品の外形情報として抽出し、Ｌ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する食品画像情報抽出手段と、外形情報と色情報とから食品の種類を判別する食品種類判別手段と、食品種類判別手段による判別結果に応じて光照射手段が照射する短波長光の波長を選択する波長選択手段と、波長選択手段によって選択された波長の短波長光が光照射手段によって照射された環境下において撮影手段が撮影した画像から、ＹＣｂＣｒ表色系のＹ値を食品の蛍光箇所情報として抽出し、Ｌ＊ａ＊ｂ＊表色系のＬ＊値、または、ａ＊値を、鮮度情報として抽出する蛍光画素抽出手段と、食品種類判別手段による判別結果と蛍光箇所情報と鮮度情報とから食品の鮮度を判定する鮮度判定手段と、鮮度判定手段の判定結果を報知する報知手段と、を備えたものである。

本開示に係る食品情報取得装置および食品情報取得システムによれば、貯蔵室内の食品の鮮度の正確な情報をユーザに提供することができる。

実施の形態１に係る食品情報取得装置を備えた冷蔵庫の構成を示す断面図である。 実施の形態１に係る食品情報取得装置を備えた冷蔵庫の制御系統の機能的な構成を示すブロック図である。 実施の形態１に係る食品情報取得装置を備えた冷蔵庫の制御装置の機能的構成を示すブロック図である。 実施の形態１に係る食品情報取得装置における画質補正の例を説明する図である。 実施の形態１に係る食品情報取得装置における蛍光強度の変化と画質補正の例を示す図である。 実施の形態１に係る食品情報取得装置における処理の流れの一例を示すフロー図である。

本開示に係る食品情報取得装置を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。以下の説明においては便宜上、図示の状態を基準に各構造の位置関係を表現することがある。なお、本開示は以下の実施の形態に限定されることなく、本開示の趣旨を逸脱しない範囲において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。

実施の形態１．
添付の図面を参照しながら、本開示の実施の形態１について説明する。なお、各図においては、各構成部材の寸法の関係および形状等が実際のものとは異なる場合がある。また、各構成部材同士の位置関係（例えば、上下関係等）は、原則として、食品情報取得装置を備えた冷蔵庫を使用可能な状態に設置したときのものである。

図１は食品情報取得装置を備えた冷蔵庫１の構成を示す断面図である。この実施の形態に係る食品情報取得装置を備えた冷蔵庫１は、図１に示すように断熱箱体３０を有している。断熱箱体３０は、前面（正面）が開口されて内部に貯蔵空間が形成されている。断熱箱体３０は、外箱、内箱及び断熱材を有している。外箱は鋼鉄製である。内箱は樹脂製である。内箱は外箱の内側に配置される。断熱材は、例えば発泡ウレタン等であり、外箱と内箱との間の空間に充填されている。断熱箱体３０の内部に形成された貯蔵空間は、１つ又は複数の仕切り部材により、食品を収納保存する複数の貯蔵室に区画されている。

図１に示すように、ここでは、冷蔵庫１は、複数の貯蔵室として、例えば、冷蔵室２、切替室３、製氷室（図示せず）、冷凍室４及び野菜室５を備えている。これらの貯蔵室は、断熱箱体３０において上下方向に４段構成となって配置されている。

冷蔵室２は、断熱箱体３０の最上段に配置されている。切替室３は冷蔵室２の下方における左右の一側に配置されている。切替室３の保冷温度帯は、複数の温度帯のうちのいずれかを選択して切り替えることができる。切替室３の保冷温度帯として選択可能な複数の温度帯は、例えば、冷凍温度帯（例えば－１８℃程度）、冷蔵温度帯（例えば３℃程度）、チルド温度帯（例えば０℃程度）及びソフト冷凍温度帯（例えば－７℃程度）等である。製氷室は、切替室３の側方に隣接して切替室３と並列に、すなわち、冷蔵室２の下方における左右の他側に配置されている。

冷凍室４は、切替室３及び製氷室の下方に配置されている。冷凍室４は、主に貯蔵対象を比較的長期にわたって冷凍保存する際に用いるためのものである。野菜室５は、冷凍室４の下方の最下段に配置されている。野菜室５は、主に野菜、果物等を収納するためのものである。

冷蔵室２の前面に形成された開口部には、当該開口部を開閉する回転式の冷蔵室扉２ａが設けられている。ここでは、冷蔵室扉２ａは両開き式（観音開き式）であり、右扉及び左扉により構成されている。冷蔵庫１の前面の冷蔵室扉２ａ（例えば、左扉）の外側表面には、操作パネル２１が設けられている。

冷蔵室２以外の各貯蔵室（切替室３、製氷室、冷凍室４及び野菜室５）は、それぞれ引き出し式の扉によって開閉される。これらの引き出し式の扉は、扉に固定して設けられたフレームを各貯蔵室の左右の内壁面に水平に形成されたレールに対してスライドさせることにより、冷蔵庫１の奥行方向（前後方向）に開閉できるようになっている。また、切替室３の内部及び冷凍室４の内部には、食品等を内部に収納できる切替室収納ケース及び冷凍室収納ケースがそれぞれ引き出し自在に格納されている。そして、野菜室５の内部には、野菜、果物等の食品を内部に収納できる野菜室収納ケースが引き出し自在に格納されている。

この実施の形態に係る冷蔵庫１においては、野菜室５内に野菜ケース１１及びフルーツケース１２が設けられている。野菜ケース１１は、野菜室５を開閉するための扉である野菜室扉５ａのフレーム（図示せず）によって支持されている。野菜ケース１１の上側には、フルーツケース１２が設けられている。野菜ケース１１及びフルーツケース１２のそれぞれは、上面が開口された箱状を呈する。フルーツケース１２は、野菜ケース１１の上側に配置されることで、野菜ケース１１の上面開口を塞ぐ蓋部材として機能している。

野菜室扉５ａを前方へと引き出すと、野菜ケース１１及びフルーツケース１２が野菜室扉５ａと一体となって前方へと引き出される。野菜室扉５ａを引き出した状態で、フルーツケース１２だけを後方へスライドすると、野菜ケース１１だけが引き出された状態となる。野菜ケース１１だけが引き出された状態では、野菜ケース１１に食品を出し入れすることができる。野菜ケース１１は、例えば、キャベツ、白菜、大根等の大物野菜の収納に適している。フルーツケース１２は、例えば、ピーマン、ナス等の小さめの果菜類、リンゴ、柿等の果物類の収納に適している。

冷蔵庫１は、各貯蔵室へ供給する空気を冷却する冷凍サイクル回路を備えている。冷凍サイクル回路は、圧縮機８、凝縮器（図示せず）、絞り装置（図示せず）及び冷却器９等によって構成されている。圧縮機８は、冷凍サイクル回路内の冷媒を圧縮し吐出する。凝縮器は、圧縮機８から吐出された冷媒を凝縮させる。絞り装置は、凝縮器から流出した冷媒を膨張させる。冷却器９は、絞り装置で膨張した冷媒によって各貯蔵室へ供給する空気を冷却する。圧縮機８は、例えば、冷蔵庫１の背面側の下部に配置される。

冷蔵庫１には、冷凍サイクル回路によって冷却された空気を各貯蔵室へ供給するための風路６が形成されている。この風路６は、主に冷蔵庫１内の背面側に配置されている。冷凍サイクル回路の冷却器９は、この風路６内に設置される。また、風路６内には、冷却器９で冷却された空気を各貯蔵室へ送るための送風ファン７も設置されている。

送風ファン７が動作すると、冷却器９で冷却された空気（冷気）が風路６を通って冷凍室４、切替室３、製氷室及び冷蔵室２へと送られ、これらの貯蔵室内を冷却する。野菜室５は、冷蔵室２からの戻り冷気を冷蔵室用帰還風路を介して野菜室５内に導入することで冷却される。野菜室５を冷却した冷気は、野菜室用帰還風路を通って冷却器９のある風路６内へと戻される（これらの帰還風路は図示せず）。そして、冷却器９によって再度冷却されて、冷蔵庫１内を冷気が循環する。

風路６からそれぞれの貯蔵室へと通じる中途の箇所には、図示しないダンパが設けられている。各ダンパは、風路６の各貯蔵室へと通じる箇所を開閉する。ダンパの開閉状態を変化させることで、各貯蔵室へと供給する冷気の送風量を調節することができる。また、冷気の温度は圧縮機８の運転を制御することで調節することができる。以上のようにして設けられた圧縮機８及び冷却器９からなる冷凍サイクル回路、送風ファン７、風路６及びダンパは、貯蔵室の内部に送る空気を冷却する冷却手段を構成している。

この実施の形態に係る冷蔵庫１は、野菜室カメラ１４を備えている。野菜室カメラ１４は、野菜室５内部の天井部に取り付けられている。野菜室カメラ１４は、貯蔵室である野菜室５内の画像を撮影可能である。野菜室カメラ１４の位置は、野菜室５内の天井部に限られない。野菜室５内の食品の画像を撮影できるのであれば、野菜室カメラ１４を野菜室５内の背面部等に設置してもよい。また、野菜室カメラ１４を野菜室５内の複数箇所に設置してもよい。また、天井部に設置した野菜室カメラ１４を、前後方向および左右方向に移動可能としてもよい。あるいは、背面部に接地した野菜室カメラ１４を上下方向に移動可能としてもよい。また、野菜室カメラ１４の設置角度、すなわち野菜室カメラ１４の撮影方向を変更可能としてもよい。野菜室カメラ１４は、食品が収納される貯蔵室内の画像を撮影する撮影手段である。撮影手段であるカメラは、野菜室５に限らず、他の貯蔵室（冷蔵室２、冷凍室４、切替室３等）に設けてもよい。なお、撮影手段であるカメラを設置する貯蔵室の内側部分は、光の反射を抑制するため、光が反射し難い樹脂素材等で構成されていたり、光が反射し難いグレー等の色で構成されていたりすることが望ましい。

冷蔵庫１は、制御装置２０を備えている。制御装置２０は、例えば、図１に示すように、冷蔵庫１の断熱箱体３０の背面側における上部に設けられる。制御装置２０には、冷蔵庫１の動作を制御するための制御回路等が備えられている。制御装置２０の各機能は、この制御回路によって実現される。

図２は食品情報取得装置を備えた冷蔵庫１の制御系統の機能的な構成を示すブロック図である。図２に示すように、制御装置２０の制御回路には、例えば、プロセッサ２０ａ及びメモリ２０ｂが備えられている。制御装置２０は、メモリ２０ｂに記憶されたプログラムをプロセッサ２０ａが実行することによって予め設定された処理を実行し、冷蔵庫１を制御する。

プロセッサ２０ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータあるいはＤＳＰともいう。メモリ２０ｂには、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリー、ＥＰＲＯＭ及びＥＥＰＲＯＭ等の不揮発性又は揮発性の半導体メモリ、又は磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク及びＤＶＤ等が該当する。

なお、制御装置２０の制御回路は、例えば、専用のハードウェアとして形成されてもよい。制御装置２０の制御回路の一部が専用のハードウェアとして形成され、かつ、当該制御回路にプロセッサ２０ａ及びメモリ２０ｂが備えられていてもよい。一部が専用のハードウェアとして形成される制御回路には、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたもの等が該当する。

操作パネル２１は、操作部２１ａ及び報知部２１ｂを備えている。操作部２１ａは、各貯蔵室の保冷温度等を設定するための操作スイッチ等である。報知部２１ｂは、各貯蔵室の温度等の各種情報を表示する液晶表示部、表示ランプ、スピーカ等である。操作パネル２１は、操作部２１ａと報知部２１ｂの液晶表示部を兼ねるタッチパネルを備えていてもよい。操作部２１ａは、使用者による当該操作部２１ａの操作に応じた信号を制御装置２０へ出力する。そして、制御装置２０には、操作パネル２１の操作部２１ａからの信号が入力される。また、制御装置２０は、操作パネル２１の報知部２１ｂに報知制御信号を出力し、報知部２１ｂの動作を制御する。

冷蔵庫１は、サーミスタ１５及び扉開閉検知スイッチ１６を備えている。サーミスタ１５は、各貯蔵室内の温度を検出する。サーミスタ１５は、それぞれの貯蔵室に設置される。扉開閉検知スイッチ１６は、貯蔵室の扉の開閉を検知する開閉検知手段である。扉開閉検知スイッチ１６は、例えば、野菜室５の野菜室扉５ａの開閉を検知する。扉開閉検知スイッチ１６は、例えば、一般的なマグネット方式のスイッチである。すなわち、扉開閉検知スイッチ１６は、例えば、野菜室扉５ａに埋め込まれた磁石の近接を、冷蔵庫１本体側に設置された一対のリードスイッチによって検出する。

制御装置２０には、サーミスタ１５から各貯蔵室の内部の温度の検知信号が入力される。また、制御装置２０には、扉開閉検知スイッチ１６からの検知信号も入力される。制御装置２０は、入力された信号に基づいて、各貯蔵室の内部が設定された温度に維持されるように、圧縮機８、送風ファン７及びダンパ１７等の動作を制御する処理を実行する。すなわち、制御装置２０は前述した冷却手段等を制御して、冷蔵庫１の動作を制御する。また、制御装置２０は、野菜室カメラ１４の撮影動作について制御する。野菜室カメラ１４が撮影した画像データは、制御装置２０に入力される。

また、制御装置２０は、通信部２０ｃを備えている。通信部２０ｃは、冷蔵庫１の制御装置２０が外部機器との通信を行うための回路である。冷蔵庫１と通信する外部機器としては、例えば、スマートフォン等の携帯端末、外部サーバ等を挙げることができる。例えば、使用者が携帯端末を操作して冷蔵庫１の設定温度の変更を指示したり、庫内状況を確認したりすることができるようにすることが考えられる。また、後述する制御装置２０の各部の一部又は全部の機能を外部サーバに備えるようにしてもよい。

また、この実施の形態に係る冷蔵庫１は、光照射装置１３を備えている。光照射装置１３は、食品が収納される貯蔵室内に光を照射する光照射手段である。光照射装置１３は、例えば、図１に示すように、野菜室５内部の天井部に取り付けられている。光照射装置１３は、貯蔵室である野菜室５内に光を照射可能である。撮影手段である野菜室カメラ１４は、光照射装置１３によって照射された光の下で、貯蔵室である野菜室５内の画像を撮影可能である。

制御装置２０は、光照射装置１３の照射動作について制御する。光照射装置１３は、白色光と短波長光とを選択的に切り替えて照射することができる。短波長光は、例えば、紫外光あるいは青色光である。光照射装置１３は、制御装置２０からの指示に応じて、特定の光の照射あるいは照射の停止を行うことができる。例えば、光照射装置１３は、野菜室５内の食品の種類を判別する場合には白色光を照射し、当該食品の蛍光を検知する場合には紫外光あるいは青色光の照射を行う。

図３は食品情報取得装置を備えた冷蔵庫１の制御装置２０の機能的構成を示すブロック図である。図３に示すように、制御装置２０は、カメラ制御部２２、食品画像情報抽出部２３、画質補正部２４、食品種類判別部２５、食品情報記憶部２６、鮮度判定部２７、鮮度情報記憶部２８、報知制御部２９を備えている。これらの各部の機能は、例えば、メモリ２０ｂに記憶されたプログラムをプロセッサ２０ａが実行することによって予め設定された処理を実行することで実現される。

カメラ制御部２２は、野菜室カメラ１４の動作を制御する。カメラ制御部２２は、例えば、野菜室扉５ａが開閉された時に野菜室カメラ１４に野菜室５内を撮影させる。野菜室扉５ａが開閉されると、野菜室５内の食品が出し入れされ、野菜室５内の収納状態が変化する可能性があるためである。

カメラ制御部２２は、扉開閉検知スイッチ１６から出力された信号に基づいて、野菜室扉５ａの開閉を検出する。カメラ制御部２２は、閉じていた野菜室扉５ａが開かれたこと、及び、開いていた野菜室扉５ａが閉じられたことを検出可能である。カメラ制御部２２は、例えば、開かれていた野菜室扉５ａが閉じられたことを検知した後、野菜室５内が照明されている間に野菜室カメラ１４に撮影を行わせる。

カメラ制御部２２は、野菜室カメラ１４による野菜室５内の撮影を、光照射装置１３による光の照射と連係して行わせる。まず、食品の種類を判別するために白色光下の画像を撮影する。具体的に、光照射装置１３に白色光を照射させ、当該白色光下において野菜室カメラ１４で撮影を行う。この時、野菜室カメラ１４が稼働可能である場合、撮影の対象となる食品が見つからない時は移動して再び撮影を行ってもよい。このように、野菜室カメラ１４は、対象物を探しつつ撮影を行ってもよい。

光照射装置１３は、例えば、白色ＬＥＤを光源として用いて白色光を照射する。光照射装置１３は、例えば、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを組み合わせて白色光を照射してもよい。この場合には、野菜および果物の光合成を促進させるように光の照射を行ってもよい。また、光照射装置１３は、紫外ＬＥＤから発した紫外光をＲＧＢ蛍光体に通すことによって白色光を照射しても構わない。この場合、ＲＧＢ蛍光体を取り外し可能とすることで、白色光と紫外光とを切り替えられるようにしてもよい。また、青色ＬＥＤから発した青色光を黄色蛍光体に通すことによって白色光を照射してもよい。この場合、黄色蛍光体を取り外し可能とすることで、白色光と青色光とを切り替えられるようにしてもよい。上述したように、光照射装置１３は、ＬＥＤ等の光源と蛍光体とを組み合わせたものとして構成することで、必要となるＬＥＤの設置灯数を削減することができる。

食品画像情報抽出部２３は、撮影手段である野菜室カメラ１４が白色光下において撮影画像から、ＹＣｂＣｒ表色系のＹ値を食品の外形情報として抽出し、Ｌ＊ａ＊ｂ＊（ＣＩＥＬＡＢ）表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する食品画像情報抽出手段である。

食品画像情報抽出部２３は、まず、撮影手段が撮影した、食品領域を抽出したい画像のデータを取り込む。画像中の食品の輪郭部分と背景とでは、輝度であるＹ値に差が出るため、このことを利用して形状の把握を行う。対象画素と周囲の画素を比較して、Ｙ値が急激に変化した部分の画素を白色とし、残りを黒色として二値化画像を作成すると、食品の輪郭部分を白色とした二値化画像が作成される。

続いて、食品画像情報抽出部２３は、生成した二値化画像の画素値が白色である輪郭部分の内部領域中における、元の画像すなわち撮影手段により撮影された画像の画素の情報を抽出する。この際、元の画像の画素情報はＲＧＢ表色系であるが、食品画像情報抽出部２３は、これをＬ＊ａ＊ｂ＊表色系に変換する。そして、食品画像情報抽出部２３は、Ｌ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する。食品画像情報抽出部２３により抽出されたａ＊値及びｂ＊値を、例えば、ヒストグラム化することで、対象食品の色の分布を確認できる。食品画像情報抽出部２３により抽出されたａ＊値及びｂ＊値の平均値を算出してもよい。

食品種類判別部２５は、食品画像情報抽出手段である食品画像情報抽出部２３が抽出した外形情報と、品画像情報抽出部２３が抽出した色情報と、から食品の種類を判別する食品種類判別手段である。例えば、食品種類判別部２５は、食品情報記憶部２６内の食品情報から、外形情報と色情報との照合を行い、食品の種類を判別する。食品情報記憶部２６には、食品の外形情報と色情報と食品の種類との組み合わせについての情報が、食品情報として記憶されている。

野菜室５内の食品の種類を判別した後、当該食品の鮮度を判定するため、光照射装置１３に短波長の光の照射を行わせ、短波長光で野菜室カメラ１４での撮影を行う。この時、食品種類判別部２５による結果に応じて、光照射装置１３に照射される光の波長を選択する。上述したように、光照射装置１３は、例えば、カメラ制御部２２によって制御される。本例において、カメラ制御部２２は、食品種類判別手段である食品種類判別部２５による判別結果に応じて光照射手段である光照射装置１３が照射する短波長光の波長を選択する波長選択手段である。

波長選択手段であるカメラ制御部２２は、例えば、食品種類判別部２５が判別した食品の種類に応じて、紫外光か青色光かを選択する。紫外光が選択される食品の例としては、バナナ、トマト、米等が挙げられる。青色光が選択される食品の例としては、アボカド、メロン、桃、じゃがいも等が挙げられる。青色光を照射する場合、野菜室カメラ１４で撮影する際に青色光カットフィルタを通して赤色光を抽出した撮影を行ってもよい。このために、野菜室カメラ１４の受光部には，青色光カットフィルタがスライドされるように設置されていてもよい。

この実施の形態における食品画像情報抽出部２３は、選択された短波長光が光照射装置１３によって照射された環境下において撮影手段である野菜室カメラ１４が撮影した画像から、ＹＣｂＣｒ表色系のＹ値を蛍光箇所情報として抽出する蛍光画素抽出手段としても機能する。輝度であるＹ値の差から蛍光部分と背景とを切り分けることができる。そして、食品画像情報抽出部２３は、蛍光部分と判定した画素を白色にし、背景と判定した画素値を黒色とした二値化画像を生成する。二値化画像を生成することで、蛍光領域が抽出できているか否かを容易に確認することができる。

続いて、蛍光画素抽出手段である食品画像情報抽出部２３は、生成した二値化画像の画素値が白色である領域中における、元の画像すなわち撮影手段により撮影された画像の画素の情報を抽出する。食品画像情報抽出部２３は、Ｌ＊ａ＊ｂ＊表色系のＬ＊値、または、ａ＊値を、鮮度情報として抽出する。食品画像情報抽出部２３は、例えば、Ｌ＊値、または、ａ＊値の情報から平均値を求める。この平均値を蛍光強度と仮定する。紫外光が照射される場合はＬ＊値、青色光の場合はａ＊値の情報を用いる。

画質による鮮度判定の精度の低下を抑制するために、補正手段である画質補正部２４で蛍光強度値の補正を行ってもよい。図４は、実施の形態１に係る食品情報取得装置内の画質補正の例を説明する図である。図５は、実施の形態１に係る食品情報取得装置における蛍光強度の変化と画質補正の例を示す図である。鮮度を判定するための情報である色度のａ＊値、または、明度のＬ＊値から蛍光強度を算出する際、撮影手段であるカメラの性能によって、蛍光強度の算出値が変わる。例えば、カメラの性能が低い場合、つまり、撮影画素数が少なく低サイズで低解像度化された画像の場合、あるいは、撮像素子中のフォトダイオードの数が少ない低解像度化された画像では、元の画像に比べて色度であるａ＊値が減少する。このため、撮影時の解像度情報を予め取り込み、画像サイズが小さい場合あるいは低解像度の場合には、ａ＊値に増加補正をかけるとよい。逆に、画素数が多い画像には減少補正をかけるとよい。また、このような補正に関しては、例えば、外部サーバで処理を行う際のデータの送受信容量を低減するために敢えて低解像度で撮影する場合にも用いることが可能である。例えば、食品種類判別部２５では、可能な限り高解像度の画像データを用いて高精度で食品種類を判別することが望ましいが、後述する鮮度判定部２７による判定において、低解像度の画像データでも問題ない。

鮮度判定部２７は、食品種類判別部２５による食品の判別結果と蛍光画素抽出手段である食品画像情報抽出部２３が抽出した蛍光箇所情報と鮮度情報とから食品の鮮度を判定する鮮度判定手段である。例えば、鮮度判定部２７は、撮影時点での蛍光強度と、予め鮮度情報記憶部２８に記録しておいた食材ごとの鮮度と蛍光強度との関係に関する情報を元に、撮影時点での鮮度を判定する。

図５には、鮮度情報記憶部２８に記録されているものの例である数値が示されている。図５では、一例として青肉種のメロンの蛍光強度の変化を示している。メロンに対して、購入時点（０日目）から１４日間の蛍光の様子を確認しつつ食味試験を行ったところ、３日目および７日目の時点が最も甘く食べ頃であり、０日目および１０日目は食べられるものの甘味が弱いという結果が得られた。また、１４日目時点では、カビが生えて食べられない状態であった。蛍光強度との関係性を見ると、蛍光強度が弱いほど甘味が強く食べ頃であることが確認できる。そこで、食品の種類がメロンの場合は、蛍光強度が弱くなった最初の極小値を閾値として食べ頃と判定するとよい。なお、１４日目時点においても蛍光強度が弱くなっているが、これはカビの影響である。そこで、２回目に蛍光強度が下がった時には食べ頃とは判定しない。以上のメロンの例のように、各食品の鮮度と蛍光強度との関係を予め鮮度情報記憶部２８に記録しておき、鮮度の判定を行う。

また、鮮度判定部２７は学習機能を有していてもよい。上記の例では、鮮度情報記憶部２８に予め記憶した蛍光強度と鮮度との関係を示す情報に基づいて鮮度の判定をしているが、学習機能を使うことで、ユーザの食味評価の結果を食品情報取得装置に入力および記録し、ユーザの好みを覚えていくことでユーザ毎に合わせた判定結果とすることが可能である。

報知制御部２９は、例えば、操作パネル２１の報知部２１ｂの動作を制御して、鮮度判定部２７の判定結果を使用者に報知させる。報知制御部２９及び報知部２１ｂは、鮮度判定部２７の判定結果を報知する報知手段である。例えば、鮮度判定部２７が対象食品について消費を促進する必要がある鮮度であると判定した場合、報知制御部２９は、報知部２１ｂの動作を制御して、例えば、液晶ディスプレイに当該食品の消費を促すメッセージを表示させる。また、鮮度判定部２７が対象食品について廃棄を促す必要がある鮮度であると判定した場合、報知制御部２９は、報知部２１ｂの動作を制御して、例えば、液晶ディスプレイに当該食品の廃棄を促すメッセージを表示させる。

さらに、報知制御部２９は、例えば、制御装置２０の通信部２０ｃの動作を制御して、鮮度判定部２７の判定結果を使用者のスマートフォン等の通信端末に報知させる。例えば、鮮度判定部２７が対象食品について消費を促進する必要がある鮮度であると判定した場合、制御装置２０は、通信部２０ｃの動作を制御して、例えば、スマートフォンのアプリを通じて当該食品の消費を促すメッセージを表示させる。また、鮮度判定部２７が対象食品について廃棄を促す必要がある鮮度であると判定した場合、制御装置２０は、通信部２０ｃの動作を制御して、例えば、スマートフォンのアプリを通じて当該食品の廃棄を促すメッセージを表示させる。この時、食品情報取得装置によって提供された食品の鮮度について、食味評価の結果を入力および送信してもよい。ユーザの食味評価の結果を記録することによって、鮮度判定部２７はユーザの好みを学習し，最適化を行うことが可能となる。

鮮度判定部２７の判定結果を、鮮度情報を操作パネル２１の液晶ディスプレイあるいはスマートフォン等の通信端末の表示部に表示させてもよい。その際、撮影手段が撮影した食品画像またはその食品画像データに基づき生成された画像を判定結果と共に表示させると、ユーザにとって分かりやすい。また、ユーザがスマートフォン等の通信端末を使って好きなタイミングで判定結果を確認できるように、判定結果の情報を外部サーバに蓄積しておいてもよい。

以上のように構成された食品情報取得装置によれば、撮影手段が撮影した食品画像から、ＹＣｂＣｒ表色系のＹ値、及び、Ｌ＊ａ＊ｂ＊表色系のＬ＊値、ａ＊値及びｂ＊値の食品の輝度、明度、色情報を抽出して、当該食品の種類の判別と鮮度の判定とを行う構成とすることで、装置が自動で食品の種類を判別し、精度よく食品の鮮度を判定することができる。これにより、貯蔵室内の食品の鮮度の正確な情報をユーザに提供することができる。

次に、フロー図を参照しながら、以上のように構成された食品情報取得装置を備えた冷蔵庫１における処理の流れの一例を説明する。図６は、実施の形態１に係る食品情報取得装置における処理の流れの一例を示すフロー図である。

まず、ステップＳ３１において、野菜室５の扉を開いて食品を野菜ケース１１、または、フルーツケース１２に保存し、扉を閉める。ステップＳ３２では、扉開閉検知スイッチ１６によって扉が閉まったことを確認し、光照射装置１３に白色光を照射させる。ステップＳ３３で、カメラ制御部２２は、野菜室カメラ１４に撮影を行わせる。撮影完了後、ステップＳ３４で、光照射装置１３を消灯させる。

ステップＳ３５では、食品画像情報抽出部２３が、撮影手段である野菜室カメラ１４が撮影した白色光下の画像のデータを取り込み、ステップＳ３６でＹＣｂＣｒ表色系のＹ値、Ｌ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の情報を抽出する。ステップＳ３７では、抽出した画素情報を元に、食品の輪郭と色とを把握し、ステップＳ３８で食品情報記憶部２６内の食品情報から、食品種類判別部２５にて輪郭と色情報の照合を行い、食品の種類を判別する。

ステップＳ３９では、食品種類判別部２５の判別結果から、食品に応じた短波長光を選択し、光照射装置１３は選択された短波長光を照射する。ステップＳ４０で、野菜室カメラ１４で撮影する。撮影完了後、ステップＳ４１で、光照射装置１３を消灯させる。

ステップＳ４２では、食品画像情報抽出部２３が、撮影手段である野菜室カメラ１４が撮影した短波長光下での画像のデータを取り込み、ステップＳ４３では、解像度情報も合わせて取り込む。ステップＳ４４でＹＣｂＣｒ表色系のＹ値の情報を抽出し、ステップＳ４５で蛍光領域の判定を行う。

ステップＳ４６では蛍光領域の対象画素のＬ＊ａ＊ｂ＊表色系のＬ＊値、または、ａ＊値の情報を抽出する。ステップＳ４７で抽出したＬ＊値、または、ａ＊値の平均値を求め、ステップＳ４８で、ステップＳ４３で入手した解像度情報を元に、平均値に補正をかける。

最後に、ステップＳ４９で、鮮度判定部２７が、撮影時点の蛍光強度と、予め鮮度情報記憶部２８に記録しておいた、食材ごとの鮮度と蛍光強度の関係に関す情報を元に、撮影時点での鮮度を判定する。判定結果を冷蔵庫１の報知部２１ｂ、または、通信部２０ｃを介して、ユーザのスマートフォン等の通信端末によって報知する。判定結果に応じて、例えば、ステップＳ５０で、食べ毎であることを通知してもよいし、未熟であることを通知してもよいし、腐敗していることを通知してもよい。

なお、正常に鮮度の判定できなかった場合、野菜室カメラ１４の位置または向きを変更して、再度食品を撮影するようにしてもよい。また、野菜室カメラ１４の撮影開始のタイミングは、野菜室扉５ａの開閉を検知した時点に限らず、例えば、ユーザが操作部２１aあるいはスマートフォン等の通信端末を操作した時点としてもよい。また、所定のタイミングにおいて所定の間隔で自動で撮影を行い、食品の有無を検知するようにしてもよい

なお、以上においては、食品情報取得装置を冷蔵庫１に設けた場合の構成例について説明した。しかし、これに限られず、食品情報取得装置を、冷蔵庫１とは別に設けてもよい。具体的に例えば、前述したように、冷蔵庫１の制御装置２０と通信可能な外部サーバに貯蔵室内を撮影した画像を送信し、外部サーバに、食品画像情報抽出部２３、画質補正部２４、食品種類判別部２５、食品情報記憶部２６、鮮度判定部２７、鮮度情報記憶部２８、報知制御部２９等を設けて食品情報取得装置を構成してもよい。本開示に係る食品情報取得装置の各構成要素は、それぞれ別の箇所に設置されていてもよい。本開示に係る食品情報取得装置は、別の箇所に設置された複数の機器が連携することによって構成される食品情報取得システムとしても実現できる。また、食品情報取得装置が対象とする貯蔵室は、冷蔵庫１のものでなくともよい。例えば、食品情報取得装置が対象とする貯蔵室は、常温の食品貯蔵庫でも構わない。さらには、食品貯蔵庫でなく、小売店における食品を販売している箇所を、本開示における対象の貯蔵室としてもよい。

１ 冷蔵庫
２ 冷蔵室
２ａ 冷蔵室扉
３ 切替室
４ 冷凍室
５ 野菜室
５ａ 野菜室扉
６ 風路
７ 送風ファン
８ 圧縮機
９ 冷却器
１１ 野菜ケース
１２ フルーツケース
１３ 光照射装置
１４ 野菜室カメラ
１５ サーミスタ
１６ 扉開閉検知スイッチ
１７ ダンパ
２０ 制御装置
２０ａ プロセッサ
２０ｂ メモリ
２０ｃ 通信部
２１ 操作パネル
２１ａ 操作部
２１ｂ 報知部
２２ カメラ制御部
２３ 食品画像情報抽出部
２４ 画質補正部
２５ 食品種類判別部
２６ 食品情報記憶部
２７ 鮮度判定部
２８ 鮮度情報記憶部
２９ 報知制御部
３０ 断熱箱体

Claims (4)

1. 食品が収納される貯蔵室内に光を照射する光照射手段と、
   前記貯蔵室内の画像を撮影する撮影手段と、
   前記光照射手段によって照射された白色光下において前記撮影手段が撮影した画像から、ＹＣｂＣｒ表色系のＹ値を食品の外形情報として抽出し、Ｌ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する食品画像情報抽出手段と、
   前記外形情報と前記色情報とから食品の種類を判別する食品種類判別手段と、
   前記食品種類判別手段による判別結果に応じて前記光照射手段が照射する短波長光の波長を選択する波長選択手段と、
   前記波長選択手段によって選択された波長の短波長光が前記光照射手段によって照射された環境下において前記撮影手段が撮影した画像から、ＹＣｂＣｒ表色系のＹ値を食品の蛍光箇所情報として抽出し、Ｌ＊ａ＊ｂ＊表色系のＬ＊値、または、ａ＊値を、鮮度情報として抽出する蛍光画素抽出手段と、
   前記食品種類判別手段による判別結果と前記蛍光箇所情報と前記鮮度情報とから食品の鮮度を判定する鮮度判定手段と、
   前記鮮度判定手段の判定結果を報知する報知手段と、を備えた食品情報取得装置。
2. 前記撮影手段による撮影時の解像度情報を元に前記蛍光画素抽出手段で抽出した鮮度情報を補正する補正手段を備えた請求項１に記載の食品情報取得装置。
3. 前記鮮度判定手段は、ユーザの食味評価の結果の入力に応じた学習の結果に基づいて、食品の鮮度を判定する請求項１または請求項２に記載の食品情報取得装置。
4. 食品が収納される貯蔵室内に光を照射する光照射手段と、
   前記貯蔵室内の画像を撮影する撮影手段と、
   前記光照射手段によって照射された白色光下において前記撮影手段が撮影した画像から、ＹＣｂＣｒ表色系のＹ値を食品の外形情報として抽出し、Ｌ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する食品画像情報抽出手段と、
   前記外形情報と前記色情報とから食品の種類を判別する食品種類判別手段と、
   前記食品種類判別手段による判別結果に応じて前記光照射手段が照射する短波長光の波長を選択する波長選択手段と、
   前記波長選択手段によって選択された波長の短波長光が前記光照射手段によって照射された環境下において前記撮影手段が撮影した画像から、ＹＣｂＣｒ表色系のＹ値を食品の蛍光箇所情報として抽出し、Ｌ＊ａ＊ｂ＊表色系のＬ＊値、または、ａ＊値を、鮮度情報として抽出する蛍光画素抽出手段と、
   前記食品種類判別手段による判別結果と前記蛍光箇所情報と前記鮮度情報とから食品の鮮度を判定する鮮度判定手段と、
   前記鮮度判定手段の判定結果を報知する報知手段と、を備えた食品情報取得システム。

Images