JP2023054824A - 食品廃棄時期管理装置、食品廃棄時期管理システム、および食品廃棄時期管理方法 - Google Patents

Abstract

【課題】陳列棚に陳列された複数の調理済みの食品の廃棄時期の管理を個別に容易に行う食品廃棄時期管理装置、システム及び方法を提供する。【解決手段】陳列棚としてのホットショーケース１内に陳列される揚げ物Ｘの廃棄時期を管理する揚げ物廃棄時期管理装置４であって、陳列中の複数の揚げ物Ｘを含む画像を取得する画像取得部４１と、個々の揚げ物Ｘの表面画像を識別する識別情報を生成し、画像取得部４１にて取得した画像に含まれる表面画像に識別情報を関連付けて管理する個別表面画像管理部４２と、識別情報が関連付けられた表面画像が画像取得部４１にて取得した画像に含まれている時間を計測する時間計測部４３と、計測時間が揚げ物Ｘを廃棄する際の基準時間に至っているか否かを判定する判定部４５と、基準時間に至っていると判定した揚げ物Ｘについて廃棄を報知するための報知信号を報知装置としてのモニタ３１２に出力する報知部４６と、を含む。【選択図】図１１

Description

本発明は、陳列棚に陳列される調理済みの食品（以下、単に「調理済食品」とする）の廃棄時期を管理する食品廃棄時期管理装置、食品廃棄時期管理システム、および食品廃棄時期管理方法に関する。

近年、コンビニエンスストアやスーパーマーケットなどの店舗では、総菜などの調理済食品を陳列棚に陳列して販売する販売形式（例えば、店舗内に備え付けられたフライヤーで揚げた揚げ物を顧客に販売）が採用されている。揚げ物は、例えば、保温機能を備えた陳列棚であるホットショーケース（ホッターズやホットストッカー、保温庫などとも称される）内に陳列される。ホットショーケースは、調理済食品を販売に適した状態に維持しながら陳列させるために、陳列空間の状態を管理する機能を備える。特許文献１には、ホットショーケースの庫内温度を、陳列されている食品の保存温度範囲や顧客への最適提供温度範囲などの情報に基づいて、その食品に適した温度に設定または変更することができるショーケースの庫内温度設定装置が開示されている。

ところで、ホットショーケースを含む陳列棚に陳列中の調理済食品の品質を維持するための管理指標には、様々な管理指標が考えられる。それらの中で容易に計測可能な管理指標として、調理済食品のなかでも、例えば揚げ物では「揚げ上がり時からの時間経過」がある。一般的に、揚げ物の風味は、時間経過に伴って低下していくことが知られている。

したがって、特許文献１に開示された技術を適用して、ホットショーケース内の庫内温度を揚げ物に適した温度に維持するよう管理を行った場合であっても、長時間に亘ってホットショーケース内に陳列され続けた揚げ物は、風味が損なわれて販売に向かない状態になりがちである。そのため、時間経過に基づいて、ホットショーケース内に陳列中の揚げ物の販売停止時期の判断を行う必要がある。

揚げ物の揚げ上がり後における販売停止タイミング、すなわち廃棄タイミングを適切に管理するには、店舗の従業員が揚げ上がり時刻を記録しておき、その時刻からの経過時間を計測し、そして、計測した経過時間が基準時間を超えているか否かを適時に判定して廃棄時期を逃さないようにする必要がある。

特開２００５－８３６０２号公報

しかしながら、陳列棚に陳列される揚げ物は複数個である場合がほとんどであり、さらに、個々の揚げ物が、揚げ上がり直後に置かれた位置と同じ位置に常に置かれているとは限らない。そのため、店舗の従業員が、個々の揚げ物に関して、揚げ上がり時刻の記録の他に、最初に配置した位置および後に動かした際の位置までも細かく記録し続けなければ、揚げ上がり時刻からの経過時間による廃棄時期の判断を正確に行うことができなくなる。このような店舗の従業員の手作業による揚げ物の廃棄時期の管理においては、特に、店舗の従業員への負担が大きくなる点で課題がある。

そこで、本発明の目的は、陳列棚に陳列された複数の調理済みの食品の廃棄時期の管理を個別に容易に行うことが可能な食品廃棄時期管理装置、食品廃棄時期管理システム、および食品廃棄時期管理方法を提供することにある。

上記の目的を達成するために、本発明は、陳列棚に陳列される調理済みの食品の廃棄時期を管理する食品廃棄時期管理装置であって、前記陳列棚に陳列中の複数の食品を含む画像を取得する画像取得部と、個々の食品の表面画像を個別に識別する識別情報を生成し、前記画像取得部にて取得された前記画像に含まれる前記表面画像に前記識別情報を関連付けて管理する個別表面画像管理部と、前記個別表面画像管理部にて前記識別情報が関連付けられた前記表面画像が前記画像に含まれている時間を計測する時間計測部と、前記時間計測部にてそれぞれ計測された時間が、食品を廃棄する際の経過時間の基準として予め設定された基準時間に至っているか否かを判定する判定部と、前記判定部にて前記基準時間に至っていると判定された食品について、廃棄が必要であることを報知するための報知信号を報知装置に対して出力する報知部と、を含むことを特徴とする。

本発明によれば、陳列棚に陳列された複数の調理済みの食品の廃棄時期の管理を個別に容易に行うことができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

ホットショーケースの一構成例を示す斜視図である。 ホットショーケース内を背面側から見た平面図である。 揚げ物廃棄時期管理システムの一構成例を示すシステム構成図である。 揚げ物廃棄時期管理装置のハードウェア構成の一例を示す構成図である。 官能評価で得られた時間経過に対する劣化風味の推移を示すグラフである。 官能評価で得られた経過時間に対する揚げ物の色の濃さの推移を示すグラフである。 ホットショーケース内に陳列中のフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対するＲ成分の推移を示すグラフである。 ホットショーケース内に陳列中のフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対するＧ成分の推移を示すグラフである。 ホットショーケース内に陳列中のフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対するＢ成分の推移を示すグラフである。 ホットショーケース内に陳列中のフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対するＲ成分の推移を示すグラフである。 ホットショーケース内に陳列中のフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対するＧ成分の推移を示すグラフである。 ホットショーケース内に陳列中のフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対するＢ成分の推移を示すグラフである。 ホットショーケース内に陳列中のコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対するＲ成分の推移を示すグラフである。 ホットショーケース内に陳列中のコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対するＧ成分の推移を示すグラフである。 ホットショーケース内に陳列中のコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対するＢ成分の推移を示すグラフである。 ホットショーケース内に陳列中のコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対するＲ成分の推移を示すグラフである。 ホットショーケース内に陳列中のコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対するＧ成分の推移を示すグラフである。 ホットショーケース内に陳列中のコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対するＢ成分の推移を示すグラフである。 揚げ物廃棄時期管理装置が有する機能を示す機能ブロック図である。 揚げ物廃棄時期管理装置で実行される処理の流れを示すフローチャートである。 モニタの一表示例を示す図である。 本発明の変形例に係る揚げ物廃棄時期管理装置で実行される処理の流れを示すフローチャートである。

本発明の実施形態に係る食品廃棄時期管理システムは、例えば、コンビニエンスストアなどの小規模店舗の会計場所の近傍に設置されるホットショーケースや、スーパーマーケットなどの総菜売場（食品売場）に設置されるショーケースなどの陳列棚に陳列される調理済みの食品（フライドチキンやコロッケ、フライドポテトなどの揚げ物、中華まんやシュウマイなどの蒸し物、およびフランクフルトや焼き鳥などの焼き物を含む）の廃棄時期を管理するシステムである。以下では、食品廃棄時期管理システムの一態様として、ホットショーケース内に陳列される複数の揚げ物の廃棄時期を管理する揚げ物廃棄時期管理システムを例に挙げて説明する。

（ホットショーケース１の構成）
まず、陳列棚の一態様であるホットショーケース１の一構成例について、図１および図２を参照して説明する。

図１は、ホットショーケース１の一構成例を示す斜視図である。図２は、ホットショーケース１内を背面側から見た平面図である。

ホットショーケース１は、例えばコンビニエンスストアなどの店舗内に備え付けられ、店舗内で調理された揚げ物が陳列される揚げ物用の陳列棚の一例である。ホットショーケース１の内部空間、すなわち揚げ物が陳列される陳列空間は、揚げ物の陳列環境を好適な条件で維持可能な適温に保たれており、より好適な状態の揚げ物を顧客に販売可能とするために管理されている。

図１では、ホットショーケース１内に３つの棚１１，１２，１３が設けられており、数種の揚げ物Ｘが、それぞれの棚１１，１２，１３において複数個陳列されている。複数の揚げ物Ｘはそれぞれ、種類別に同一のトレイ２に並べられている。図１では、トレイ２は各棚１１，１２，１３に３枚ずつ置かれているものを例示している。なお、以下の説明において、各棚１１，１２，１３を区別するために、ホットショーケース１の上段の棚を１段目の棚１１、中段の棚を２段目の棚１２、下段の棚を３段目の棚１３とする。

図２に示すように、ホットショーケース１内には、各棚１１，１２，１３に陳列されている複数の揚げ物Ｘを含む画像を撮影する撮影装置としてのカメラ５が３台設けられている。

なお、本実施形態では、各棚１１，１２，１３における天面部の一端側にカメラ５が配置されているが、ホットショーケース１内に陳列中の複数の揚げ物Ｘの全てを含む画像を撮影することができれば、カメラ５の台数や取り付け位置については特に制限はない。カメラ５の画角設定において各棚１１，１２，１３に陳列されている複数の揚げ物Ｘの全てを含む画像を取得し得ない場合は、本実施形態のようにカメラ５を複数台設置することで、複数の揚げ物Ｘの全てを含む全体画像と個々の揚げ物Ｘとしての表面画像とを撮影できればよい。また、例えば、１台のカメラ５で画角設定を可変させることで、同様に、複数の揚げ物Ｘの全てを含む全体画像と個々の揚げ物Ｘとしての表面画像とを撮影できるように構成してもよい。

カメラ５には、本実施形態では、動画を撮影することが可能なビデオカメラが用いられ、ホットショーケース１内における揚げ物Ｘの個々の動きを含んだ画像が撮影される。ホットショーケース１内に陳列中の個々の揚げ物Ｘは、揚げ上がり直後に置かれた位置と同じ位置に常に置かれているとは限らない。例えば、最初に揚げ物Ｘが置かれたトレイ２と同一のトレイ２内においてその揚げ物Ｘの位置が変わることもあれば、最初に揚げ物Ｘが置かれたトレイ２とは異なるトレイ２に、その揚げ物Ｘが移動されることもある。

すなわち、揚げ物Ｘは、揚げ上がり直後にホットショーケース１内の各棚１１，１２，１３のいずれかに配置されたトレイ２に置かれるが、その位置と常に同じ位置のままで時間が経過するとは限らない。そこで、カメラ５では、各棚１１，１２，１３の様子を動画として撮影することにより、動画に含まれる個々の揚げ物Ｘの動き（位置の移動など）を含んだ画像を全体画像として撮影する。この動画に基づき、後述する揚げ物廃棄時期管理装置４における処理を実行することにより、各棚１１，１２，１３に置かれた個々の揚げ物Ｘが移動されても、個々の揚げ物Ｘを識別しながら追跡することで、時間の経過を個別に取得することができる。

なお、カメラ５は、必ずしも動画を撮影することが可能なビデオカメラでなくともよく、時間的に連続して揚げ物Ｘの画像を取得できるものであればよい。例えば、スチルカメラなど静止画のみを撮影することが可能なカメラであってもよい。その場合、ホットショーケース１内における揚げ物Ｘの個々の動きを画像データとして取得することができる程度に連写できればよい。

（揚げ物廃棄時期管理システム３の全体構成）
次に、揚げ物廃棄時期管理システム３の全体構成について、図３および図４を参照して説明する。

図３は、揚げ物廃棄時期管理システム３の一構成例を示すシステム構成図である。図４は、揚げ物廃棄時期管理装置４のハードウェア構成の一例を示す構成図である。

揚げ物廃棄時期管理システム３は、図３に示すように、例えばコンビニエンスストアチェーンなどを構成する複数の店舗３１にそれぞれ設置されたコントローラ３１１と、複数の店舗３１を管轄する本部センター３２に設置された管理サーバ３２１と、によって構成される。各コントローラ３１１と管理サーバ３２１とは、例えばインターネット回線などの通信ネットワークＮを介して、直接的にまたは間接的に互いに情報通信可能に接続されている。

各コントローラ３１１では、ホットショーケース１の動作（例えば、加温など）の管理に係る処理をはじめとして、店舗３１に備えられた機器の管理に係る処理などが実行される。他方、管理サーバ３２１では、主に各店舗３１の売り上げ管理に係る処理などが実行される。

なお、図３において、各ホットショーケース１は、各コントローラ３１１に対して通信可能に接続されるものとする。この場合、通信手段としては、有線、無線を問わない。また、ホットショーケース１には、各棚１１，１２，１３に陳列されている揚げ物Ｘの状態を検出する機能として、個々の揚げ物Ｘの状態を表す情報を検出情報として管理サーバ３２１に送信する機能を備えればよい。すなわち、ホットショーケース１には、少なくとも個々の揚げ物Ｘに関連する検出情報を管理サーバ３２１へ送信できればよく、この通信処理をコントローラ３１１を介さずに実現できる構成を備えていてもよい。

上述したように、ホットショーケース１およびこれに搭載されるコントローラ３１１には、特異な機能を備えていなくともよい。例えば、図４に示すように、各コントローラ３１１はいずれも、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０３と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３０４と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０５と、を備えればよい。これらの各構成は、共通バス３０６を介してそれぞれ接続されているものとする。

ＣＰＵ３０１は、演算手段であり、コントローラ３１１全体の動作を制御する。ＲＡＭ３０２は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、例えばＣＰＵ３０１が画像情報を処理する際の作業領域として用いられる。ＲＯＭ３０３は、読み出し専用の不揮発性の記憶媒体であり、ファームウェアなどのプログラムが格納されている。

ＨＤＤ３０４は、情報の読み書きが可能であって記憶容量が大きい不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や後述する各種の情報処理を実行するための制御プログラムおよびアプリケーションプログラムなどが格納される。なお、ＨＤＤ３０４は、不揮発性の記憶媒体として情報の格納および管理の機能を実現するものであれば、デバイスの種類は問わず、例えばＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで代用することも可能である。

Ｉ／Ｆ３０５は、通信ネットワークＮとの接続インターフェースであって、センサなどの他の装置との情報通信を実現する通信モジュール３１３やユーザインターフェースを表示するモニタ３１２などが接続されている。

モニタ３１２は、具体的には、ホットショーケース１の管理状況や陳列中の揚げ物Ｘの状態などを表示するものであり、例えばホットショーケース１の近くに設置される。なお、このモニタ３１２は、ホットショーケース１内に陳列中の複数の揚げ物Ｘのうち、廃棄が必要である揚げ物Ｘについて報知する報知装置の一態様である。

このようなハードウェア構成を備える各コントローラ３１１は、ＲＯＭ３０３に格納された制御プログラムや、ＨＤＤ３０４などの記憶媒体からＲＡＭ３０２にロードされた制御プログラムおよびアプリケーションプログラムを、ＣＰＵ３０１が備える演算機能によって処理機能を実現する情報処理装置である。これら情報処理の実行によって、各コントローラ３１１における種々の機能モジュールを含むソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、上述した構成を含むハードウェア資源との組み合わせによって、各コントローラ３１１の機能を実現する機能ブロックが構成される。

なお、管理サーバ３２１も、各コントローラ３１１と同様のハードウェア構成を備えており、各構成は、それぞれが備える記憶媒体に記憶されている制御プログラムおよびアプリケーションプログラムの実行によって、管理サーバ３２１の機能を実現する機能ブロックが構成される。

ホットショーケース１内に陳列中の複数の揚げ物Ｘの廃棄時期の管理に対する具体的な情報処理は、揚げ物廃棄時期管理装置４が実行する。揚げ物廃棄時期管理装置４は、その機能の全部がコントローラ３１１側の店舗ソフトウェアまたは管理サーバ３２１側の本部ソフトウェアに実装されていてもよいし、店舗ソフトウェアと本部ソフトウェアとに機能を分散して実装されていてもよい。

ここで、ホットショーケース１内に陳列中の複数の揚げ物Ｘの風味の劣化に関し、図５および図６を参照して説明する。

図５は、官能評価で得られた時間経過に対する揚げ物の劣化風味の推移を示すグラフである。図６は、官能評価で得られた経過時間に対する揚げ物の色の濃さの推移を示すグラフである。図６において、横軸は、評価対象の揚げ物の揚げ上がり時刻からの経過時間を示し、縦軸は、揚げ物の「色の濃さ」を指標化した値を示している。

図５において、横軸は、評価対象の揚げ物の揚げ上がり時刻からの経過時間を示し、縦軸は、揚げ物の風味を所定の評価ポイントに換算して、そのポイントの累積値を風味が劣化した度合いとする「劣化風味」としたものである。すなわち、劣化風味の値が低ければ揚げ物の劣化が少なく、好適な状態が維持されていると推測される。逆に、劣化風味の値が高ければ揚げ物の劣化が進行して廃棄時期に近づいていると推測される。したがって、劣化風味が所定の閾値を超えるか否かに基づいて、揚げ物が廃棄時期に至っているか否かの判定を行うことができる。

図５に示すように、一般的に、揚げ物は、揚げ上がり時刻からの経過時間が長くなるにつれて劣化風味が増加する（風味の劣化が強くなる）。すなわち、図５に基づけば、揚げ物の風味は、時間の経過に伴って低下するといえる。したがって、ホットショーケース１内に陳列中の複数の揚げ物Ｘのうち、揚げ上がり時から所定の時間が経過したものについては、風味が低下して顧客への販売に向かない状態になっていると推測可能であるため、所定の経過時間に至った揚げ物は廃棄対象となる。

また、図６に示すように、揚げ物は、揚げ上がり時刻からの経過時間が長くなるにつれて表面の色の濃さを示す指標が増加する。すなわち、揚げ物は、時間の経過に応じて表面の色が濃くなる傾向を示す。ここで、図５に示した「劣化風味」も、揚げ上がり時刻からの経過時間が長くなるにつれて、その値が増加する。したがって、揚げ物の表面の色の濃さと揚げ物の風味の低下との間には相関がある。

そこで、本実施形態では、揚げ物廃棄時期管理装置４は、揚げ物Ｘの揚げ上がり時刻からの経過時間に加え、揚げ物Ｘの風味の低下に応じて変化する指標に基づいて、揚げ物Ｘの廃棄時期をそれぞれ管理している。

ここで、揚げ物Ｘの廃棄時期の管理に用いる指標としては、揚げ物Ｘの状態の把握に対して機能することが確認されている指標であって、揚げ物Ｘの色調の他、例えば、揚げ物Ｘの大きさ、重さ、水分量、揮発性成分量、揮発性成分組成、酸価、アニシジン価、カルボニル価、過酸化物価、ヨウ素価、および極性化合物量を含む。なお、以下では、揚げ物Ｘの廃棄時期の管理に用いる指標として、揚げ物Ｘの色調を例に挙げて説明する。

揚げ物廃棄時期管理装置４は、各カメラ５で撮影された動画または静止画から個別の揚げ物Ｘの表面画像を特定し、表面画像を構成する画素（各ピクセル）のＲＧＢ値を算出し、これらＲＧＢ値を各揚げ物Ｘの色成分として解析する。

なお、各揚げ物Ｘの色の解析方法は必ずしもＲＧＢ法である必要はなく、例えば、ＨＳＶ、ＨＳＢ、ＨＳＬ、Ｌａｂ、およびＸＹＺなどのその他の解析方法によって波長解析を行ってもよい。また、動画の場合には、予め規定するサンプリング時間において動画から静止画を抽出し、その静止画を解析対象として、所定の経過時間に対応する各揚げ物Ｘの色成分を解析する。

次に、出願人が、カメラ５を用いて得られる揚げ物Ｘの画像と同様の画像を用いて、揚げ物Ｘの経時的な「色の濃さ」を確認するための色成分（Ｒ成分、Ｇ成分、Ｂ成分）ごとの解析を行い、その経時的な傾向を実験的に確認した例を、図７～１０に示すグラフを参照して説明する。

なお、図７Ａ、図８Ａ、図９Ａ、および図１０Ａは経過時間に対するＲ成分の傾向を、図７Ｂ、図８Ｂ、図９Ｂ、および図１０Ｂは経過時間に対するＧ成分の傾向を、図７Ｃ、図８Ｃ、図９Ｃ、および図１０Ｃは経過時間に対するＢ成分の傾向を、それぞれ示している。

図７Ａ～Ｃは、ホットショーケース１内に陳列中のフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分の推移を示すグラフである。

図７Ａ～Ｃに示すように、ホットショーケース１内に陳列中のフライドチキンの静止画から色成分を解析した場合、揚げ上がり時（＝０ｈ）から２時間経過後（＝２ｈ）では、Ｒ成分、Ｇ成分、およびＢ成分のすべてが減少している。そして、揚げ上がり時から４時間、６時間、７時間と時間経過が進むにつれて、Ｒ成分、Ｇ成分、およびＢ成分のすべてにおいて、全体的な減少傾向が見られる。

図８Ａ～Ｃは、ホットショーケース１内に陳列中のフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分の推移を示すグラフである。

図８Ａ～Ｃに示すように、ホットショーケース１内に陳列中のフライドチキンの動画から色成分を解析した場合、揚げ上がり時（＝０ｈ）から２時間経過後（＝２ｈ）では、Ｒ成分は減少しているが、他方、Ｇ成分およびＢ成分は増加している。

そして、Ｒ成分は、フライドチキンの静止画から色成分を解析した場合と同様に、揚げ上がり時から４時間、６時間、７時間経過するにつれて、全体として減少する傾向が見られる。一方、Ｇ成分は、揚げ上がり時から４時間経過後では、揚げ上がり時および２時間経過後における含量よりも減少しており、揚げ上がり時から７時間経過後では、さらに減少している。また、Ｂ成分は、揚げ上がり時から４時間、６時間、７時間と時間経過が進むにつれて、全体として僅かながら増加する傾向が見られる。

図９Ａ～Ｃは、ホットショーケース１内に陳列中のコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分の推移を示すグラフである。

図９Ａ～Ｃに示すように、ホットショーケース１内に陳列中のコロッケの静止画から色成分を解析した場合、揚げ上がり時（＝０ｈ）から２時間経過後（＝２ｈ）では、Ｒ成分は変化がないが、他方、Ｇ成分およびＢ成分は増加している。

図１０Ａ～Ｃは、ホットショーケース１内に陳列中のコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分の推移を示すグラフである。

図１０Ａ～Ｃに示すように、ホットショーケース１内に陳列中のコロッケの動画から色成分を解析した場合、揚げ上がり時（＝０ｈ）から２時間経過後（＝２ｈ）では、Ｒ成分は減少しているが、他方、Ｇ成分およびＢ成分は、コロッケの静止画から色成分を解析した場合と同様に増加している。

以上から、ホットショーケース１内に陳列中の揚げ物Ｘに対し、揚げ上がり時からの時間経過に伴う色調の変化の傾向（フライドチキンおよびコロッケでは、特に、揚げ上がり時から２時間経過後に顕著に現れた）に基づいて、揚げ物Ｘの廃棄時期を判定する色成分基準値（基準ＲＧＢ値）を予め設定することができる。

なお、この色成分基準値は、揚げ物Ｘの種別によらず所定の値に一律に設定してもよいし、揚げ物Ｘの種別ごとに異なる値に設定してもよい。例えば、図８Ａ～Ｃおよび図１０Ａ～Ｃに示すように、動画から色成分を解析した場合には、２時間後においてはフライドチキンとコロッケとで同じ傾向（Ｒ成分は減少し、Ｇ成分およびＢ成分は増加している）が見られるが、静止画から色成分を解析した場合には、フライドチキンとコロッケとで異なる傾向（フライドチキンではＲ成分、Ｇ成分、およびＢ成分のすべてにおいて減少しているが、コロッケではＲ成分は変化がなく、Ｇ成分およびＢ成分は増加している）が見られる。

したがって、例えば、動画から色成分を解析する場合には、色成分基準値を揚げ物Ｘの種別によらず所定の値に設定してもよいが、静止画から色成分を解析する場合には、色成分基準値を揚げ物Ｘの種別ごとに異なる値に設定することで、揚げ物廃棄時期管理装置４は廃棄時期の判定をより精度よく行うことができる。

（揚げ物廃棄時期管理装置４の機能構成）
次に、揚げ物廃棄時期管理装置４の機能構成について、図１１～１３を参照して説明する。

図１１は、揚げ物廃棄時期管理装置４が有する機能を示す機能ブロック図である。図１２は、揚げ物廃棄時期管理装置４で実行される処理の流れを示すフローチャートである。図１３は、モニタ３１２の一表示例を示す図である。

揚げ物廃棄時期管理装置４は、例えば、画像取得部４１と、個別表面画像管理部４２と、時間計測部４３と、解析部４４と、判定部４５と、記憶部４５Ａと、報知部４６と、学習部４７と、を含む。

画像取得部４１は、各カメラ５が撮影した棚１１，１２，１３ごとの複数の揚げ物Ｘを含む画像を取得する。

個別表面画像管理部４２は、個々の揚げ物Ｘの表面画像を個別に識別する識別情報を生成し、画像取得部４１にて取得された画像に含まれる個々の揚げ物Ｘの表面画像に識別情報を関連付けて管理する。生成された識別情報は記憶部４５Ａに記憶される。

個々の揚げ物Ｘの表面画像は、例えば、各カメラ５が撮影した画像に含まれる個々の揚げ物Ｘの輪郭を抽出する画像処理を実行して個々の揚げ物Ｘの画像領域が特定されることにより、画像取得部４１にて取得された画像から取得することができる。

本実施形態では、個別表面画像管理部４２は、識別情報に加えて、各揚げ物Ｘの種別を特定する種別情報を表面画像に関連付けて管理している。各揚げ物Ｘの種別の特定は、基準となるサンプル画像と比較することにより行われる。なお、サンプル画像は記憶部４５Ａに記憶されている。その他、各揚げ物Ｘの種別の特定は、例えば、モニタ３１２が入力端末としての機能を有している場合に、モニタ３１２を介して店舗の従業員が揚げ物Ｘの種別を手入力することでも可能である。

例えば、図１に示すホットショーケース１内における３段目の棚１３に陳列中のコロッケＸ１に対し、個別表面画像管理部４２は、３段目の棚１３に対応するカメラ５で撮影された画像からそのコロッケＸ１の表面画像を抽出し、抽出した表面画像に「３－Ｌ－１」という識別情報と共に、「コロッケ」という種別情報を関連付けて管理する。

識別情報の生成方法については特に制限はないが、一例として、揚げ上がり時における「棚の段（１段目・２段目・３段目）－列（左・中央・右）－各トレイ２内での位置（１・２・３・・・）」のように生成することができる。例えば、「３－Ｌ－１」とは、揚げ上がり時（ホットショーケース１内に初めて配置される時）において、３段目の棚１３におけるホットショーケース１の背面側から見て左端側のトレイ２に置かれた１つ目の揚げ物Ｘ（コロッケＸ１）であることを示している。

ここで、「トレイ２に置かれた１つ目の揚げ物Ｘ」とは、当該トレイ２に揚げ物Ｘが全く置かれていないとき（空のとき）に、「最初に置かれた揚げ物Ｘ」を意味する。この場合、識別情報を構成する３番目の要素は、３段目の棚１３の左端側のトレイ２に置かれた揚げ物Ｘの累積数を表すものとなる。ただし、識別情報は、あくまでもある時点においてホットショーケース１内に陳列されている揚げ物Ｘを個別に識別するための情報である。したがって、「１つ目の揚げ物Ｘ」は、ホットショーケース１の初期状態からの累積数を示したものであってもよいし、ある時点において初期状態（ゼロ）に一旦戻り、再度、個々の揚げ物Ｘを区別可能となるように付与されるものであってもよい。よって、本実施形態において例示したように、識別情報を構成する３番目の要素を示す数字は、連番であることに限定されず、ランダムに付与されるものであってもよく、揚げ物Ｘを個別に識別可能なものにできれば構わない。

時間計測部４３は、個別表面画像管理部４２にて識別情報および種別情報が関連付けられた表面画像が、画像取得部４１にて取得された画像に含まれてからの経過時間を計測する。すなわち、時間計測部４３は、揚げ物Ｘが揚げ上がってホットショーケース１内に置かれた時点から起算されて、その揚げ物Ｘがホットショーケース１内に留まり続けている時間を計測し続ける。なお、当該揚げ物Ｘがホットショーケース１内から取り出されたときは、その揚げ物Ｘに関する経過時間はリセットされる。

解析部４４は、個々の揚げ物Ｘの表面画像から色成分（ＲＧＢ値）を解析する。具体的には、解析部４４は、個別表面画像管理部４２にて特定された個々の揚げ物Ｘの画像領域から所定の画素群を構成する解析領域を特定する。そして、特定された解析領域に含まれる各画素のＲ成分、Ｇ成分、Ｂ成分を取得および解析する。なお、解析領域は、揚げ物Ｘの画像領域の大きさによらず所定の画素数で設定してもよいし、画像領域に含まれる画素数に対して一定の割合でサンプリングした画素によって特定してもよい。

判定部４５は、時間計測部４３にて計測された個々の揚げ物Ｘの経過時間が、揚げ物Ｘを廃棄する際の基準として予め設定された基準時間にそれぞれ至っているか否かを判定する。

この「基準時間」は、記憶部４５Ａに記憶されており、揚げ物Ｘを廃棄すべき時間とする特定の時間を設定してもよいし、特定の時間に対して余裕を持った時間（特定の時間以前）を設定してもよい。例えば、廃棄時間の１０分前の時間を基準として設定してもよい。

また、本実施形態では、「基準時間」は、個別表面画像管理部４２にて関連付けられた種別情報に関連付けられて設定される。上述したように、基準時間は揚げ物Ｘに関する廃棄時間の経過を個別に判定するための閾値に相当する。特定の揚げ物Ｘの揚げ上がり時刻からの経過時間と風味の低下との関係は揚げ物の種別によって異なる場合がある。したがって、個々の揚げ物Ｘの種別を示す種別情報と基準時間とを関連付けて設定されることにより、判定精度を向上することができる。なお、基準時間は、必ずしも種別情報に基づいて設定される必要はなく、揚げ物Ｘの種別によらず所定の時間に設定されていてもよい。

また、本実施形態では、判定部４５は、解析部４４で解析された個々の揚げ物Ｘの色成分と、その揚げ物Ｘの廃棄時期を判定する基準として予め設定された色成分（色成分基準値）と、に基づいて、個々の揚げ物Ｘが廃棄時期に至っているか否かをさらに判定する。

この「色成分基準値」は、記憶部４５Ａに記憶されており、個別表面画像管理部４２にて関連付けられた種別情報に基づいた値（ＲＧＢ値）に設定されていてもよいし、種別情報によらず所定の値に設定されていてもよい。

報知部４６は、判定部４５にて基準時間に至っており、かつ色成分に基づいて廃棄時期に至っていると判定された揚げ物Ｘについて、廃棄が必要であることを報知するための報知信号をモニタ３１２に対して出力する。なお、判定結果としては、廃棄時期に至っていることを知らせる情報を出力する以外に、廃棄時期に至った揚げ物Ｘの判定に係る経過時間や色成分の数値などを出力してもよい。報知部４６において出力される情報（信号）は、揚げ物Ｘの廃棄を店舗の従業員などに促すことができる情報であれば、その種類および表現形式や報知形式が限定されるものではない。

モニタ３１２は、報知部４６からの報知信号に基づいて、ホットショーケース１内に陳列されている揚げ物Ｘの廃棄に係る状態を視認可能に表示する。例えば、図１３に示すように、モニタ３１２には、ホットショーケース１を背面側から見た場合における陳列構成（図２に示す各棚１１，１２，１３の陳列構成）に対応した表示がなされている。

具体的には、モニタ３１２の上段は、左が１段目の棚１１の左端側のトレイ２内の陳列構成、中央が１段目の棚１１の中央のトレイ２内の陳列構成、右が１段目の棚１１の右端側のトレイ２内の陳列構成が、それぞれ表示されている。同様に、モニタ３１２の中段は、左が２段目の棚１２の左端側のトレイ２内の陳列構成、中央が２段目の棚１２の中央のトレイ２内の陳列構成、右が２段目の棚１２の右端側のトレイ２内の陳列構成が、それぞれ表示されている。そして、モニタ３１２の下段は、左が３段目の棚１３の左端側のトレイ２内の陳列構成、中央が３段目の棚１３の中央のトレイ２内の陳列構成、右が３段目の棚１３の右端側のトレイ２内の陳列構成が、それぞれ表示されている。なお、図１３において、各トレイ２の境界を一点鎖線で示している。

モニタ３１２には、現時点におけるホットショーケース１内の陳列状態が識別情報と共に表示され、その表示は時間の経過に伴って更新される。例えば、前述したコロッケＸ１（識別情報；３－Ｌ－１）は、揚げ上がり時には３段目の棚１３の左端側のトレイ２内に置かれたが（図１３において実線で示す）、その後、店舗の従業員によって３段目の棚１３の右端側のトレイ２内に移動されると、モニタ３１２には、コロッケＸ１（識別情報；３－Ｌ－１）が右下のトレイ２内に表示される（図１３において破線で示す）。

判定部４５にて廃棄時期に至っていると判定された揚げ物Ｘについては、報知部４６から出力された報知信号に基づいて、モニタ３１２における該当する番号（例えば、識別情報）が点滅したり、表示色が変化したりする。また、揚げ物Ｘの廃棄時期の報知方法については、モニタ３１２の画面表示だけでなく、画面表示とともにブザーなどが鳴るようにしてもよい。図１３では、廃棄時期に至っている揚げ物Ｘについて、その番号を太線で囲って示している。

また、例えば、判定部４５での廃棄時期判定に用いられる基準時間を廃棄時間そのものではなく、廃棄時間の１時間前に設定しているような場合には、モニタ３１２は、報知部４６から出力された報知信号に基づいて、「あと１時間で廃棄時刻となります。温度の低い位置へ移動させて下さい。」といったメッセージなどを画面に表示させてもよい。なお、廃棄時間に近づいている揚げ物Ｘについては、ホットショーケース１内における現時点の位置の温度よりも低い温度の位置に移動させることにより、美味しさを長持ちさせることができる。

本実施形態では、揚げ物廃棄時期管理装置４は、機械学習や回帰分析によって揚げ物Ｘの廃棄時期を判定することが可能な学習モデルを作成する学習部４７を含む。この学習部４７は、判定部４５における判定結果に基づいて基準時間および色成分基準値を推定し、この推定された基準時間および色成分基準値、または実際に測定した時間および色成分値を用いて機械学習や回帰分析を行って学習モデルを作成し、作成された学習モデルに基づいて記憶部４５Ａに記憶されている基準時間および色成分基準値を更新する。これにより、判定部４５における判定結果の精度が向上する。

具体的には、学習部４７は、記憶部４５Ａにすでに記憶されている基準値データ（説明変数）から、例えば、線形回帰、サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、バギング、ブースティング、アダブースト、決定木、ランダムフォレスト、ロジスティック回帰、ニューラルネットワーク、ディープラーニング、ディープラーニングの中でも畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｒｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ））、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）などにより、検量線（モデル式）を作成する。

線形回帰（分析）の種別は、単回帰、重回帰、部分最小二乗（ＰＬＳ：Partial Least Squares）回帰、直交射影部分最小二乗（ＯＰＬＳ：Orthogonal Partial Least Squares）回帰等があるが、これらから選ばれる１種以上を利用することができる。

単回帰は、１つの目的変数を１つの説明変数で予測する手法であり、重回帰は、１つの目的変数を複数の説明変数で予測する手法である。また、（直交射影）部分最小二乗回帰は、少数の特徴量である主成分（説明変数のみの主成分分析で得られる）と目的変数の共分散が最大になるように主成分を抽出する手法である。（直交射影）部分最小二乗回帰は、説明変数の数がサンプルの数よりも多いとき、そして、説明変数の間の相関が高いときに適した手法である。

学習部４７における機械学習や回帰分析によって得られた検量線は、時間計測部４３において計測された経過時間や解析部４４において解析された色成分に適用されることによりそれぞれの判定基準値を推定し、その結果を判定部４５に対して提供することが可能となる。

なお、学習部４７における学習モデルの生成は、データを作成し入力するユーザ単位で実行されてもよい。この場合、学習モデルを利用して揚げ物Ｘの廃棄時期の判定を行うときは、各ユーザが自らのデータの提供により生成された学習モデルのみを利用する。これによって、各ユーザのホットショーケース１内の環境に特化した廃棄時期判定を行うことができる。

また、学習部４７における学習モデルの生成は、データを作成し入力するユーザ単位を区別することなく行ってもよい。この場合、より大量のデータを利用して学習モデルを生成できる。そして、生成された学習モデルを利用するときには、各ユーザ単位で予め規定する特性（揚げ物Ｘの種別など）および色成分を入力データとして、揚げ物Ｘの廃棄時期を判定する。これによって、複数のユーザのホットショーケース１内の環境に基づいて、より大量の機械学習や回帰分析をした学習モデルを利用して、精度の高い廃棄時期判定を行うことができる。

また、学習部４７は、揚げ物Ｘの廃棄時期を判定することが可能な学習モデル（第２学習モデル）の作成のみならず、揚げ物Ｘの種別を特定することが可能な学習モデル（第１学習モデル）を作成することも可能である。この場合、個別表面画像管理部４２における揚げ物Ｘの種別情報の関連付けの精度がより向上する。

図１２に示すように、揚げ物廃棄時期管理装置４は、まず、画像取得部４１が、撮影ステップにて各カメラ５により撮影された画像（ホットショーケース１内に陳列中の複数の揚げ物Ｘを含む画像）を取得する（ステップＳ４０１）。

次に、個別表面画像管理部４２は、個々の揚げ物Ｘの識別情報を生成すると共に、ステップＳ４０１において取得された画像から個々の揚げ物Ｘの表面画像を抽出し、抽出した表面画像に識別情報および種別情報を関連付けて管理する（ステップＳ４０２；個別表面画像管理ステップ）。

次に、時間計測部４３は、ステップＳ４０２において識別情報および種別情報が関連付けられた各表面画像がステップＳ４０１において取得される画像に含まれている時間を計測する（ステップＳ４０３；時間計測ステップ）。

また、他方で、解析部４４は、ステップＳ４０２において識別情報および種別情報が関連付けられた各表面画像から揚げ物Ｘの色成分（ＲＧＢ値）を解析する（ステップＳ４０４；解析ステップ）。

次に、判定部４５は、個々の揚げ物Ｘに対し、ステップＳ４０３において計測された時間が基準時間に至っているか否かを判定する（ステップＳ４０５；判定ステップ）。ステップＳ４０５において計測時間が基準時間に至っている（計測時間≧基準時間）と判定された揚げ物Ｘについては（ステップＳ４０５／ＹＥＳ）、続いて、判定部４５が、ステップＳ４０４において解析された色成分に基づいて廃棄時期に至っているか否かを判定する（ステップＳ４０６；判定ステップ）。

ステップＳ４０６において廃棄時期に至っていると判定された揚げ物Ｘについては（ステップＳ４０６／ＹＥＳ）、報知部４６が、廃棄時期であることを知らせるための報知信号をモニタ３１２へ出力する（ステップＳ４０７）。これにより、モニタ３１２は、廃棄時期に至っている揚げ物Ｘについて廃棄が必要であることを報知する（報知ステップ）。一方、ステップＳ４０６において廃棄時期に至っていないと判定された揚げ物Ｘについては（ステップＳ４０６／ＮＯ）、ステップＳ４０４に戻って処理を繰り返す。

また、本実施形態では、ステップＳ４０６において廃棄時期に至っていると判定された揚げ物Ｘに関し（ステップＳ４０６／ＹＥＳ）、学習部４７は、その判定結果に基づいて基準時間および色成分基準値を推定する（ステップＳ４０８）。続いて、学習部４７は、ステップＳ４０８において推定された基準時間および色成分基準値を用いて機械学習や回帰分析を行い、学習モデルを作成する（ステップＳ４０９）。なお、ステップＳ４０９では、必ずしもステップＳ４０８で推定された基準時間および色成分基準値を用いる必要はなく、例えば、実際に測定した時間および色成分値を用いて学習モデルを作成してもよい。

そして、学習部４７は、ステップＳ４０９において作成された学習モデルに基づいて記憶部４５Ａに記憶されている基準時間および色成分基準値を更新する（ステップＳ４１０）。ステップＳ４０７およびステップＳ４１０の処理が実行されると、揚げ物廃棄時期管理装置４における処理が終了する。

また、ステップＳ４０５において計測時間が基準時間に至っていない（計測時間＜基準時間）と判定された揚げ物Ｘについては（ステップＳ４０５／ＮＯ）、ステップＳ４０１において取得される画像に表面画像が含まれていないかどうかを判定する（ステップＳ４１１）。

ステップＳ４１１においてカメラ５で撮影される画像に該当する揚げ物Ｘの表面画像が含まれていないと判定された場合（ステップＳ４１１／ＹＥＳ）、揚げ物廃棄時期管理装置４における処理が終了する。一方、ステップＳ４１１においてカメラ５で撮影される画像に該当する揚げ物Ｘの表面画像が含まれていると判定された場合（ステップＳ４１１／ＮＯ）、ステップＳ４０５に戻って処理を繰り返す。

このように、ホットショーケース１内に陳列中の複数の揚げ物Ｘを継続的あるいは断続的にカメラ５で撮影し、撮影された画像に基づいて個々の揚げ物Ｘを識別することにより、揚げ物Ｘがホットショーケース１内で移動した場合であっても、個々の揚げ物Ｘの廃棄時期を正確に判断することが可能となる。これにより、手作業で記録を取っていた店舗の従業員への負担が軽減されて、ホットショーケース１内の複数の揚げ物Ｘの廃棄時期の管理を容易に行うことができる。

なお、本実施形態では、揚げ物廃棄時期管理装置４は、判定部４５において、揚げ物Ｘの揚げ上がり時刻からの経過時間に加えて、揚げ物Ｘの色成分に基づいて、廃棄時期に至っているか否かを判定していたが、少なくとも揚げ物Ｘの揚げ上がり時刻からの経過時間に基づいて廃棄時期に至っているか否かを判定すればよい。すなわち、図１２に示すステップＳ４０５において計測時間が基準時間に至った揚げ物Ｘにつき（ステップＳ４０５／ＹＥＳ）、ステップＳ４０４およびステップＳ４０６の処理（揚げ物Ｘの色成分に基づく判定）をスキップして、モニタ３１２に対して報知信号を出力してもよい（ステップＳ４０７）。また、色成分に代えて、揚げ物Ｘの大きさに基づいて廃棄時期の判定を行ってもよい。一般的に、揚げ物は、揚げ上がり時から時間が経過するにつれて、その大きさが小さくなることが知られている。

（変形例）
次に、本発明の変形例に係る揚げ物廃棄時期管理装置４Ａについて、図１４を参照して説明する。なお、図１４において、実施形態に係る揚げ物廃棄時期管理装置４について説明したものと共通する構成要素については、同一の符号を付してその説明を省略する。

図１４は、本発明の変形例に係る揚げ物廃棄時期管理装置４Ａで実行される処理の流れを示すフローチャートである。

本変形例では、揚げ物廃棄時期管理装置４Ａは、揚げ物Ｘが一旦ホットショーケース１内から取り出されて再びホットショーケース１内に戻された場合の処理を含む。

まず、揚げ物廃棄時期管理装置４Ａは、ホットショーケース１内に陳列中の複数の揚げ物Ｘを含む画像を取得して個々の揚げ物Ｘの表面画像を抽出する（ステップＳ４０１）。続いて、記憶部４５Ａに記憶されている表面画像関連情報に基づいて、今回抽出された個々の揚げ物Ｘの表面画像が記憶部４５Ａにすでに記憶されたものであるか否か、すなわち過去のステップＳ４０１において取得された画像（以下、単に「取得画像」とする）に含まれるものであるか否かを判定する（ステップＳ４２１）。

ここで、「表面画像関連情報」とは、カメラ５で撮影された画像から抽出された個々の揚げ物Ｘの表面画像から取得可能な情報であって、具体的には、揚げ物Ｘの色調（色成分）、大きさ、および形状を含む情報である。したがって、「表面画像関連情報」は、表面画像そのものを含んでもよいし、表面画像に含まれる特徴点などの情報を構造化した情報を含むものでもよい。いずれにせよ、「表面画像関連情報」は、ステップＳ４０１において取得された画像（取得画像）に含まれる揚げ物Ｘに対して、過去において経過時間の計測をしていたか否かを判定可能な情報群であればよい。

ステップＳ４２１において判定対象の表面画像が記憶部４５Ａに記憶されている表面画像関連情報に関連付けられているものではないと判定された場合（ステップＳ４２１／ＮＯ）、該当する表面画像に対して識別情報および種別情報を新規に関連付ける（ステップＳ４２２）。なお、ステップＳ４２１における判定対象となる表面画像は複数存在する可能性がある。その場合、複数の表面画像の各々においてステップＳ４２１の判定を行う。そして、実施形態と同様に、ステップＳ４０３およびステップＳ４０４へ進む。

一方、ステップＳ４２１において判定対象の表面画像が記憶部４５Ａに記憶されている表面画像関連情報に関連付けられているものである、すなわち、当該判定処理の直前に実行されているステップＳ４０１ではなく、以前のステップＳ４０１に係る取得画像に含まれていたと判定された揚げ物Ｘの表面画像であれば（ステップＳ４２１／ＹＥＳ）、当該表面画像に関連付けられているとされた表面画像関連情報に関連付けられている計測時間を、該当する表面画像に対して記憶部４５Ａに記憶されている識別情報および種別情報を関連付ける（ステップＳ４２３）。

次に、時間計測部４３は、ステップＳ４２３において関連付けられた計測時間を起点として、表面画像が取得画像に含まれている時間の計測を再開する（ステップＳ４２４）。そして、実施形態と同様に、ステップＳ４０５へ進む。なお、揚げ物廃棄時期管理装置４Ａは、ステップＳ４２４の処理と並行してステップＳ４０４の処理を行う。

また、ステップＳ４０５において計測時間が基準時間に至っていないと判定され（ステップＳ４０５／ＮＯ）、ステップＳ４１１において取得画像に表面画像が含まれていないと判定された揚げ物Ｘについては（ステップＳ４１１／ＹＥＳ）、当該揚げ物Ｘに係る表面画像が取得画像に含まれていないと判定されたタイミング、すなわちステップＳ４１１において「ＹＥＳ」とされたタイミングまでの計測時間、当該揚げ物Ｘに係る表面画像に対して付与されていた識別情報、種別情報、および表面画像関連情報をそれぞれ記憶して（ステップＳ４２５）、ステップＳ４０１に戻る。

すなわち、ステップＳ４２１において用いられる表面画像関連情報、ステップＳ４２３において用いられる識別情報および種別情報、ならびにステップＳ４２４において用いられる表面画像が取得画面から外れる直前の計測時間はいずれも、ステップＳ４２５において記憶部４５Ａに記憶された情報である。

このように、揚げ物廃棄時期管理装置４Ａが、揚げ物Ｘが一旦ホットショーケース１内から取り出されて再びホットショーケース１内に戻された場合の処理を含むことにより、ホットショーケース１内に陳列される複数の揚げ物Ｘの廃棄時期の管理をより精度良く行うことができる。なお、本変形例においても、実施形態と同様に、揚げ物廃棄時期管理装置４Ａは、ステップＳ４０５において計測時間が基準時間に至っていた揚げ物Ｘについて（ステップＳ４０５／ＹＥＳ）、ステップＳ４０４およびステップＳ４０６の処理をスキップして、モニタ３１２に対して廃棄時期であることを知らせるための報知信号を出力してもよい（ステップＳ４０７）。

また、揚げ物Ｘが一旦ホットショーケース１内から取り出されて再びホットショーケース１内に戻された場合について、本変形例では、揚げ物廃棄時期管理装置４Ａにて自動で処理を行ったが、これに限らず、例えば、揚げ物Ｘがホットショーケース１内から取り出される際に、店舗の従業員が該当する揚げ物Ｘの識別情報をモニタ３１２などに手動で入力しておき、揚げ物廃棄時期管理装置４Ａが、入力された識別情報を用いて揚げ物Ｘが新規であるか否かを判定してもよい。

以上、本発明の実施形態について説明した。なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、本実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、本実施形態の構成に他の実施形態の構成を加えることも可能である。またさらに、本実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

例えば、上記実施形態では、複数の揚げ物Ｘが陳列される陳列棚の一態様として３つの棚１１，１２，１３を備えたホットショーケース１について説明したが、陳列棚は、必ずしも複数段の棚を備えたものである必要はなく、例えばトレイなども含まれ、揚げ物Ｘが陳列可能な形態であればその態様について限定されるものではない。

また、上記実施形態では、食品廃棄時期管理装置として、ホットショーケース内に陳列された複数の揚げ物の廃棄時期を管理する揚げ物廃棄時期管理装置４について説明したが、これに限らず、例えば、スチーマー内に陳列された複数の中華まんを管理する蒸し物廃棄時期管理装置などであってもよい。

１：ホットショーケース（陳列棚）
３：揚げ物廃棄時期管理システム（食品廃棄時期管理システム）
４，４Ａ：揚げ物廃棄時期管理装置（食品廃棄時期管理システム）
５：カメラ（撮影装置）
４１：画像取得部
４２：個別表面画像管理部
４３：時間計測部
４４：解析部
４５：判定部
４６：報知部
４７：学習部
３１２：モニタ（報知装置）
Ｘ：揚げ物（食品）

Claims (10)

1. 陳列棚に陳列される調理済みの食品の廃棄時期を管理する食品廃棄時期管理装置であって、
   前記陳列棚に陳列中の複数の食品を含む画像を取得する画像取得部と、
   個々の食品の表面画像を個別に識別する識別情報を生成し、前記画像取得部にて取得された前記画像に含まれる前記表面画像に前記識別情報を関連付けて管理する個別表面画像管理部と、
   前記個別表面画像管理部にて前記識別情報が関連付けられた前記表面画像が前記画像に含まれている時間を計測する時間計測部と、
   前記時間計測部にてそれぞれ計測された時間が、食品を廃棄する際の経過時間の基準として予め設定された基準時間に至っているか否かを判定する判定部と、
   前記判定部にて前記基準時間に至っていると判定された食品について、廃棄が必要であることを報知するための報知信号を報知装置に対して出力する報知部と、を含む
   ことを特徴とする食品廃棄時期管理装置。
2. 請求項１に記載の食品廃棄時期管理装置であって、
   前記個別表面画像管理部は、
   前記識別情報に加えて、前記表面画像を予め記憶されたサンプル画像と比較することにより特定された食品の種別を示す情報、入力端末に入力された食品の種別を示す情報、あるいは、食品の種別を特定することが可能な第１学習モデルを用いて特定された食品の種別を示す情報によって特定される食品の種別情報を前記表面画像に関連付けて管理し、
   前記判定部は、
   前記時間計測部にてそれぞれ計測された時間が、前記個別表面画像管理部にて関連付けられた前記種別情報に基づいた前記基準時間に至っているか否かを判定する
   ことを特徴とする食品廃棄時期管理装置。
3. 請求項１または２に記載の食品廃棄時期管理装置であって、
   機械学習や回帰分析によって食品の廃棄時期を判定することが可能な第２学習モデルを作成する学習部をさらに含み、
   前記学習部は、
   前記判定部における判定結果に基づいて前記基準時間を推定し、推定された前記基準時間を用いて機械学習や回帰分析を行って前記第２学習モデルを作成し、作成された前記第２学習モデルに基づいて前記基準時間を更新する
   ことを特徴とする食品廃棄時期管理装置。
4. 請求項１～３のいずれか１項に記載の食品廃棄時期管理装置であって、
   前記個別表面画像管理部にて前記識別情報が関連付けられた前記表面画像において食品の色成分または大きさを解析する解析部をさらに含み、
   前記判定部は、
   前記解析部にて解析された色成分または大きさと、食品の廃棄時期を判定する基準として予め設定された色成分または大きさと、に基づいて、個々の食品が廃棄時期に至っているか否かをさらに判定する
   ことを特徴とする食品廃棄時期管理装置。
5. 陳列棚に陳列される食品の廃棄時期を管理する食品廃棄時期管理システムであって、
   前記陳列棚に陳列中の複数の食品を含む画像を撮影する撮影装置と、
   前記陳列棚に陳列中の個々の食品の廃棄時期を管理する食品廃棄時期管理装置と、
   前記食品廃棄時期管理装置にて廃棄時期に至っていると判定された食品について廃棄が必要であることを報知する報知装置と、を備え、
   前記食品廃棄時期管理装置は、
   前記撮影装置から出力される前記画像を取得し、
   個々の食品の表面画像を個別に識別する識別情報を生成し、取得された前記画像に含まれる前記表面画像に前記識別情報を関連付けて管理し、
   前記識別情報が関連付けられた前記表面画像が前記画像に含まれている時間を計測し、
   計測されたそれぞれの時間が、食品を廃棄する際の経過時間の基準として予め設定された基準時間に至っているか否かを判定し、
   前記基準時間に至っていると判定された食品について、廃棄が必要であることを報知するための報知信号を前記報知装置に対して出力する
   ことを特徴とする食品廃棄時期管理システム。
6. 請求項５に記載の食品廃棄時期管理システムであって、
   前記食品廃棄時期管理装置は、
   前記識別情報に加えて、前記表面画像を予め記憶されたサンプル画像と比較することにより特定された食品の種別を示す情報、入力端末に入力された食品の種別を示す情報、あるいは、食品の種別を特定することが可能な第１学習モデルを用いて特定された食品の種別を示す情報によって特定される食品の種別情報を前記表面画像に関連付けて管理し、
   計測されたそれぞれの時間が、関連付けられた前記種別情報に基づいた前記基準時間に至っているか否かを判定する
   ことを特徴とする食品廃棄時期管理システム。
7. 請求項５または６に記載の食品廃棄時期管理システムであって、
   前記食品廃棄時期管理装置は、
   前記識別情報が関連付けられた前記表面画像において色成分または大きさを解析し、
   解析された色成分または大きさと、食品の廃棄時期を判定する基準として予め設定された色成分または大きさと、に基づいて、個々の食品が廃棄時期に至っているか否かをさらに判定する
   ことを特徴とする食品廃棄時期管理システム。
8. 陳列棚に陳列される食品の廃棄時期を管理するための食品廃棄時期管理方法であって、
   前記陳列棚に陳列中の複数の食品を含む画像を撮影する撮影ステップと、
   個々の食品の表面画像を個別に識別する識別情報を生成し、前記撮影ステップにて撮影された前記画像に含まれる前記表面画像に前記識別情報を関連付けて管理する個別表面画像管理ステップと、
   前記個別表面画像管理ステップにて前記識別情報が関連付けられた前記表面画像が前記画像に含まれている時間を計測する時間計測ステップと、
   前記時間計測ステップにて計測されたそれぞれの時間が、食品を廃棄する際の経過時間の基準として予め設定された基準時間に至っているか否かを判定する判定ステップと、
   前記判定ステップにて前記基準時間に至っていると判定された食品について、廃棄が必要であることを報知する報知ステップと、を含む
   ことを特徴とする食品廃棄時期管理方法。
9. 請求項８に記載の食品廃棄時期管理方法であって、
   前記個別表面画像管理ステップでは、
   前記識別情報に加えて、前記表面画像を予め記憶されたサンプル画像と比較することにより特定された食品の種別を示す情報、入力端末に入力された食品の種別を示す情報、あるいは、食品の種別を特定することが可能な第１学習モデルを用いて特定された食品の種別を示す情報によって特定される食品の種別情報を前記表面画像に関連付けて管理し、
   前記判定ステップでは、
   前記時間計測ステップにて計測されたそれぞれの時間が、前記個別表面画像管理ステップにて関連付けられた前記種別情報に基づいた前記基準時間に至っているか否かを判定する
   ことを特徴とする食品廃棄時期管理方法。
10. 請求項８または９に記載の食品廃棄時期管理方法であって、
    前記個別表面画像管理ステップにて前記識別情報が関連付けられた前記表面画像において色成分または大きさを解析する解析ステップをさらに含み、
    前記判定ステップでは、
    前記解析ステップにて解析された色成分または大きさと、食品の廃棄時期を判定する基準として予め設定された色成分または大きさと、に基づいて、個々の食品が廃棄時期に至っているか否かをさらに判定する
    ことを特徴とする食品廃棄時期管理方法。
    

Images