JP2022064576A - 情報処理システム、及び品質推定方法 - Google Patents

Abstract

【課題】冷蔵庫に保管された食品の品質を推定する情報処理システム、及び品質推定方法を提供する。【解決手段】実施形態の情報処理システムは、取得部と、推定部とを持つ。取得部は、冷蔵庫に保管された評価対象の食品を夫々識別可能な食品属性情報と、前記食品の種別を識別可能な種別識別情報と、前記食品の保管条件と保管期間に関する保管履歴情報と、前記冷蔵庫の使用に関する冷蔵庫使用履歴情報とを取得す。推定部は、前記種別識別情報に係る食品の品質の状態を模擬するように構成された食品品質モデルを用いて、前記食品属性情報により識別される前記評価対象の食品の前記保管履歴情報と、前記評価対象の食品の前記保管期間における前記冷蔵庫使用履歴情報とに基づいて、前記評価対象の食品の品質を推定する。【選択図】図７

Description

本発明の実施形態は、情報処理システム、及び品質推定方法に関する。

冷蔵庫などの食品の冷蔵庫に保管された食品について、その食品の品質を確認したいという要求がある。住居に配置される冷蔵庫内に食品を保管する場合には、恒温槽内の安定した環境で食品の品質の状態を評価する場合とは異なり、不定期に食品を外部から取り込んで冷蔵庫内にそれを配置したり、保管を継続する食品以外の食品を冷蔵庫から取り出したりすることがある。これに伴い、冷蔵庫内の環境が変化する。

特開平８－３３８８３７号公報

上記のように、冷蔵庫内の環境が変化すると、冷蔵庫に保管された食品の品質を推定することが困難になることがあった。

本発明が解決しようとする課題は、冷蔵庫に保管された食品の品質を推定する情報処理システム、及び品質推定方法を提供することである。

実施形態の情報処理システムは、取得部と、推定部とを持つ。取得部は、冷蔵庫に保管された評価対象の食品を夫々識別可能な食品属性情報と、前記食品の種別を識別可能な種別識別情報と、前記食品の保管条件と保管期間に関する保管履歴情報と、前記冷蔵庫の使用に関する冷蔵庫使用履歴情報とを取得する。推定部は、前記種別識別情報に係る食品の品質の状態を模擬するように構成された食品品質モデルを用いて、前記食品属性情報により識別される前記評価対象の食品の前記保管履歴情報と、前記評価対象の食品の前記保管期間における前記冷蔵庫使用履歴情報とに基づいて、前記評価対象の食品の品質を推定する。

実施形態の情報処理システムの全体構成を示す図。 実施形態の端末装置の概略構成図。 実施形態の冷蔵庫の構成例を示す外観図。 実施形態の冷蔵庫の構成例を示す断面図。 実施形態の冷蔵庫の制御に関する構成例を示すブロック図。 実施形態の冷蔵庫の庫内画像の具体例を示す図。 実施形態のサーバの構成例を示すブロック図。 実施形態における食品の品質の推定について説明するための図。 実施形態の魚の品質について説明するための図である。 実施形態の加工食品の品質について説明するための図。 実施形態の野菜の品質について説明するための図。 実施形態のデータＤの具体例を示す図。 実施形態の推定モデルＫＬＭの学習用の構成のブロック図。 実施形態の食品の品質を推定する構成のブロック図。 実施形態のサーバによる処理のフローチャート。 実施形態の情報のアップロードについて説明するための図。 実施形態の食品品質情報をユーザに通知するための処理のフローチャート。 実施形態のサーバが通知する情報について説明するための図。 実施形態のユーザの嗜好に応じた処理を説明するための図。 実施形態の変形例の食品の品質を推定する構成のブロック図。 第２の実施形態の推定モデルＫＬＭの学習用の構成のブロック図。 第２の実施形態の食品の品質を推定する構成のブロック図。 第２の実施形態の変形例の食品の品質を推定する構成のブロック図。 第３の実施形態の推定モデルＫＬＭの学習用の構成のブロック図。 第４の実施形態の推定モデルＫＬＭの学習用の構成のブロック図。

以下、実施形態の情報処理システム、及び品質推定方法を、図面を参照して説明する。以下の説明では、同一又は類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含み得る。「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含み得る。「ＸＸ又はＹＹ」とは、ＸＸとＹＹのうち何れか一方の場合に限定されず、ＸＸとＹＹの両方の場合も含み得る。これは選択的要素が３つ以上の場合も同様である。「ＸＸ」及び「ＹＹ」は、任意の要素（例えば任意の情報）である。

実施形態における「食品」は、調理用の食材、生食可能な食物、飲料などを含む。その「食品」の包装の有無に制限はなく、飲料などは容器に入れられていてよい。

（第１の実施形態）
＜１．情報処理システムの全体構成＞
図１は、実施形態の情報処理システム１の全体構成を示す図である。情報処理システム１は、例えば、各家庭に配置された冷蔵庫１００、サーバ２００、及び端末装置３００を含む。ただし、本明細書で「情報処理システム」とは、冷蔵庫１００及び端末装置３００を含まず、サーバ２００のみを意味してもよい。後述するネットワークＮＷとして、例えば、インターネット、セルラー網、Ｗｉ－Ｆｉ網、ＷＡＮ（Wide Area Network）、家庭内のＬＡＮ（Local Area Network）、無線ＬＡＮなどを状況に応じて利用すればよい。

冷蔵庫１００は、ユーザＵの住居内に配置される。冷蔵庫１００は、例えば、ユーザＵの住居内に配置された無線ルータＲ及びネットワークＮＷを介して、サーバ２００と通信可能である。冷蔵庫１００については、詳しく後述する。

サーバ２００は、１台以上のサーバ装置ＳＤ（例えばクラウドサーバ）で構成される。
サーバ２００は、「サーバシステム」と称されてもよい。サーバ２００は、エッジコンピューティングやフォグコンピューティングを行う情報処理部などを含んでもよい。サーバ２００については、詳しく後述する。

端末装置３００は、パーソナルコンピュータなどの機器であり、ネットワークＮＷを介してサーバ２００と通信可能である。端末装置３００は、液晶ディスプレイなどの表示装置３１０を含む。

＜２．端末装置＞
図２は、実施形態の端末装置３００の概略構成図である。
端末装置３００は、表示装置３１０と、入力装置３２０と、補助記憶装置３３０と、無線モジュール３４０と、記憶部３６０と、制御部３８０とを備える。表示装置３１０と、入力装置３２０と、補助記憶装置３３０と、無線モジュール３４０と、記憶部３６０と、制御部３８０は、端末装置３００の内部でバスなどを介して互いに接続されている。

例えば、入力装置３２０は、キーボード、マウス、タッチパネル型入力装置などの総称である。補助記憶装置３３０は、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等を含む。無線モジュール３４０は、外部の装置と無線で通信するための回路ユニットである。記憶部３６０は、ＳＲＡＭ（Static Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを含む。制御部３８０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサを含む。制御部３８０は、プロセッサが補助記憶装置３３０に記憶されているプログラムＡＰＬを半導体メモリ上に読み出して実行することにより、情報入力部３８１、情報処理部３８２及び情報出力部３８３を備える装置として機能する。

情報入力部３８１は、ユーザの入力装置３２０に対する操作に基づいて、識別情報Ｉ１、食品属性情報Ｉ３、種別識別情報Ｉ４及び保管履歴情報Ｉ５を取得して、記憶部３６０に記憶させる。識別情報Ｉ１は、冷蔵庫１００を識別するために各冷蔵庫１００に付与された機器ＩＤを示す。食品属性情報Ｉ３は、冷蔵庫１００に保管された評価対象の食品を夫々識別可能な識別情報である。種別識別情報Ｉ４は、食品の種別を識別可能な識別情報である。保管履歴情報Ｉ５は、食品の保管条件と保管期間とに関する情報を含む。識別情報Ｉ１、食品属性情報Ｉ３、種別識別情報Ｉ４及び保管履歴情報Ｉ５の詳細は後述する。

情報処理部３８２は、記憶部３６０に記憶されている識別情報Ｉ１、食品属性情報Ｉ３、種別識別情報Ｉ４及び保管履歴情報Ｉ５を、無線モジュール３４０を介してサーバ２００に通知する。情報処理部３８２は、無線モジュール３４０を介してサーバ２００からシミュレーションの結果を受信して、これを記憶部３６０に追加する。
情報出力部３８３は、記憶部３６０に格納されているシミュレーションの結果を表示装置３１０に表示させる。

なお、端末装置３００とサーバ装置ＳＤは、１つの装置として一体化されていてもよい。また、冷蔵庫１００と端末装置３００は、１つの装置として一体化されていてもよい。冷蔵庫１００とサーバ装置ＳＤは、１つの装置として一体化されていてもよい。このように、食品の品質を推定するための処理を実行するサーバ装置ＳＤが配置される装置に制限はなく、適宜決定してよい。

＜３．冷蔵庫＞
＜３．１ 冷蔵庫の全体構成＞
図３Ａは、冷蔵庫１００の構成例を示す外観図である。冷蔵庫１００は、例えば、冷蔵室１０、野菜室２０、冷凍室３０及び製氷室４０を貯蔵室として備え、各貯蔵室を開閉するための扉として冷蔵室扉１１、野菜室扉２１、冷凍室扉３１及び製氷室扉４１を備えている。また、冷蔵室扉１１、野菜室扉２１、冷凍室扉３１及び製氷室扉４１には、それぞれの開閉状態を検知するためのセンサとして冷蔵室扉スイッチ１２、野菜室扉スイッチ２２、冷凍室扉スイッチ３２及び製氷室扉スイッチ４２を備えている。さらに、冷蔵庫１００の外面には、冷蔵庫１００の動作状態などの情報をユーザＵに提供するためのディスプレイ５６が設けられている。

図３Ｂは、冷蔵庫１００の構成例を示す断面図（図３ＡにおけるＡ－Ａ線断面）である。図３Ｂは、冷蔵庫１００の一例として２つの冷却機構を有する、いわゆるツイン冷却式の冷蔵庫を示す。冷蔵庫１００は、例えば、冷凍サイクルを実現するための構成要素として、冷蔵冷却器１３、冷凍冷却器３３、冷蔵冷却ファン１４、冷凍冷却ファン３４、コンプレッサ５１、冷媒切替弁５２（図４）、ダンパ５３、製氷皿モータ５４、給水モータ５５、脱臭装置５７を備えている。冷蔵冷却ファン１４と冷凍冷却ファン３４を纏めて冷却ファンと呼ぶ。

コンプレッサ５１は、熱交換媒体として冷凍サイクルを循環する冷媒を圧縮する装置である。冷蔵冷却器１３は、冷媒との熱交換により、冷蔵冷却室１５内の空気を冷却する蒸発器である。冷蔵冷却器１３によって冷却された空気は冷蔵冷却ファン１４の回転により、連通部５３３を介して冷蔵室１０又は野菜室２０に供給される。同様に、冷凍冷却器３３は、冷媒との熱交換により、冷凍冷却室３５内の空気を冷却する蒸発器である。冷凍冷却器３３によって冷却された空気は冷凍冷却ファン３４の回転により、連通部５３３を介して冷凍室３０又は製氷室４０に供給される。

冷媒切替弁５２は、冷媒が冷蔵冷却器１３及び冷凍冷却器３３の一方又は両方に送られるように冷媒の流路を切り替える弁である。冷蔵冷却ダンパ５３１は、連通部５３３を介して冷蔵冷却室１５と冷蔵室１０との間を流通する空気の流量を調整する装置である。冷凍冷却ダンパ５３２は、連通部５３３を介して冷凍冷却室３５と冷凍室３０との間を流通する空気の流量を調整する装置である。製氷皿モータ５４は、製氷室４０において製氷皿に生成された氷を受け皿に移動させるために製氷皿を回転させるためモータである。給水モータ５５は、製氷室４０において給水タンクに蓄えられている水を製氷皿に供給するためのモータである。

脱臭装置５７は、光触媒膜などを有するフィルタを含み、貯蔵室内のエチレン、アンモニアなどの臭気性ガスの濃度を低減させる。上記に限らず脱臭装置５７を省略してもよく、他の構成に置換してもよい。

＜３．２ 冷蔵庫のセンサ群及び制御部の構成＞
図４は、冷蔵庫１００の制御に関する構成例を示すブロック図である。冷蔵庫１００は、自身を他の通信機器と通信可能に接続するための無線モジュール５８と、自身を冷凍サイクル装置として機能させるための制御部８０と、冷凍サイクルの制御に必要な各種情報を取得するためのセンサ群ＳＵと、を備える。制御部８０は、冷蔵庫１００内部の通信線によりセンサ群ＳＵと無線モジュール５８と通信可能に接続される。制御部８０は、無線ルータＲを介してサーバ２００又は端末装置３００と無線で通信する。

制御部８０は、例えばＣＰＵ等のプロセッサ、半導体メモリ、ＳＳＤやＨＤＤ等の補助記憶装置を含んで構成される。制御部８０は、プロセッサが補助記憶装置に記憶されているプログラムをメモリ上に読み出して実行することにより、冷凍サイクル制御部８１、記憶部８２、情報記録部８３及び情報出力部８４を備える装置として機能する。なお、制御部８０の機能の全部又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、又はＦＰＧＡ（Field Programmable Gate Array）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。

冷凍サイクル制御部８１は、冷蔵庫１００を冷凍サイクル装置として機能させるため、各貯蔵室の温度に基づいて冷蔵冷却ファン１４、冷凍冷却ファン３４、コンプレッサ５１、冷媒切替弁５２、ダンパ５３、製氷皿モータ５４、給水モータ５５の動作を制御する機能を有する。冷凍サイクル制御部８１は、各貯蔵室の温度に基づく制御に加えて、ユーザＵの設定に基づく制御を行うように構成されてもよい。

記憶部８２は、識別情報Ｉ１及び状態情報Ｉ２を記憶する。識別情報Ｉ１は、冷蔵庫１００を識別するために各冷蔵庫１００に付与された機器ＩＤを示す。状態情報Ｉ２は、冷蔵庫１００の状態を示す時系列情報である。

情報記録部８３は、例えば不図示のタイマを参照し、冷蔵庫１００の状態を示す情報と日時情報とを対応付けて、記憶部８２の状態情報Ｉ２に追加する。「冷蔵庫１００の状態」は、例えば、冷蔵庫１００の電源のＯＮ／ＯＦＦの状態や、コンプレッサ５１、冷媒切替弁５２、冷蔵冷却ファン１４、冷凍冷却ファン３４の運転状態などを含む。また、「冷蔵庫１００の状態」は冷蔵庫１００が収納するモノの状態を含んでもよい。日時情報は、曜日及び時刻を示す情報を含む。

さらに、情報記録部８３は、センサ群ＳＵの検出結果を示す情報と日時情報とを対応付けて、記憶部８２の状態情報Ｉ２に追加する。ここで、冷蔵庫１００は、センサ群ＳＵとして、上記の冷蔵室扉スイッチ１２、野菜室扉スイッチ２２、冷凍室扉スイッチ３２、製氷室扉スイッチ４２に加え、冷蔵室温度センサ６１、野菜室温度センサ６２、冷凍室温度センサ６３、製氷室温度センサ６４、庫内カメラ６５（ＣＡＭ）、周囲温度センサ６７、周囲湿度センサ６８、補助センサ６９を備えている。冷蔵室温度センサ６１、野菜室温度センサ６２、冷凍室温度センサ６３、製氷室温度センサ６４は、それぞれ、冷蔵室１０、野菜室２０、冷凍室３０及び製氷室４０の室内温度を測定するための温度センサである。

庫内カメラ６５は、冷蔵庫１００の庫内の食品を撮像してカラー画像を生成する。例えば図５は、庫内カメラ６５によって冷蔵庫１００の庫内が撮像された画像（以下「庫内画像」という。）の具体例を示す図である。冷蔵室１０の内部の食品を撮像するように設置された例である。必要に応じて野菜室２０や冷凍室３０、製氷室４０の内部に配置された食品を撮像するように、庫内カメラ６５を設置する。複数の貯蔵室に、庫内カメラ６５をそれぞれ設置してもよい。

周囲温度センサ６７は、冷蔵庫１００付近の温度（周囲温度）を検知するセンサである。周囲湿度センサ６８は、冷蔵庫１００付近の湿度（周囲湿度）を検知するセンサである。

補助センサ６９は、冷蔵庫１００内に保管された食品の品質Ｑｒを検出するためのセンサである。補助センサ６９による食品の品質Ｑｒの検出結果である品質検出値Ｑｄは、所望の検出精度を得ることができ、後述する推定モデルＫＬＭを生成するための教師データに利用される。補助センサ６９は、評価用に利用する冷蔵庫１００（評価用冷蔵庫１００Ｔと呼ぶ。）に設けられていればよく、商用の冷蔵庫１００に必ずしも設けられていなくてもよい。例えば、補助センサ６９は、化学的成分の量を検出して、検出した量に応じた結果を示すセンサ、対象物の視覚的特徴を検出するためのカラーカメラなどを含む。補助センサ６９の出力を、制御部８０が収集してもよく、冷蔵庫１００の外部の計器が収集して、その結果をサーバ２００が利用してもよい。

センサ群ＳＵの検出結果は、上述した各種センサやスイッチの検出結果である。これら情報は、生データが記録されてもよいし、必要な演算が行われた状態で記録されてもよい。

情報出力部８４は、無線モジュール５８を介して、記憶部８２に記憶された状態情報Ｉ２をサーバ２００に送信する。情報出力部８４は、例えば所定の周期で、状態情報Ｉ２をサーバ２００に送信する。このとき、情報出力部８４は、状態情報Ｉ２と、記憶部８２に記憶された識別情報Ｉ１とを紐付けてサーバ２００に送信する。識別情報Ｉ１は、冷蔵庫１００を識別するために各冷蔵庫１００に付与された機器ＩＤである。状態情報Ｉ２と識別情報Ｉ１とは、冷蔵庫１００からサーバ２００に送信されるデータの一例である。以下の説明では、状態情報Ｉ２と識別情報Ｉ１とを纏めて「データＤ」と称する。

なお上記構成に代えて、情報記録部８３が省略され、情報出力部８４は、冷蔵庫１００の運転状態及びセンサ群ＳＵの検出結果を、リアルタイムでサーバ２００に送信してもよい。この場合、冷蔵庫１００の運転状態及びセンサ群ＳＵの検出結果と、日時情報との対応付けは、サーバ２００で行われてもよい。

＜４．サーバ＞
＜４．１ サーバの概略構成＞
図６は、サーバ２００の構成例を示すブロック図である。サーバ２００は、例えば、情報取得部２０１、情報変換部２０２、学習部２０３、推定部２０４、情報記録部２０５、及び情報出力部２０６を含む。これら機能部は、サーバ２００が有するＣＰＵのようなハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。ただし、これら機能部の全部又は一部は、ＡＳＩＣ、ＰＬＤ、又はＦＰＧＡなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。

さらに、サーバ２００は、記憶部２０７を有する。記憶部２０７は、例えば、ＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ、又はこれらのうち複数の組み合わせにより実現される。記憶部２０７には、蓄積情報Ｉ１１、ユーザ登録情報Ｉ１２、学習モデルＬ、推定モデル（学習済みモデル）ＫＬＭ、及び食品品質情報Ｉ１３が記憶される。推定モデルＫＬＭは、食品品質モデルの一例である。

情報取得部２０１は、冷蔵庫１００から送信されたデータＤを取得する（受け取る）。なお、推定モデルＫＬＭの学習が行われる場合には、情報取得部２０１は、評価用冷蔵庫１００ＴからデータＤを収集する。情報取得部２０１は、取得したデータＤを蓄積情報Ｉ１１として記憶部２０７に蓄積する。推定モデルＫＬＭの学習は、冷蔵庫１００が推定モデルＫＬＭを利用して食品の品質を推定するよりも前の段階で実施される。情報取得部２０１は、例えば各冷蔵庫１００において食品の品質を推定する場合には、各冷蔵庫１００からのデータＤを逐次、記憶部２０７に蓄積する。情報取得部２０１は、端末装置３００から送信された識別情報Ｉ１、食品属性情報Ｉ３、種別識別情報Ｉ４及び保管履歴情報Ｉ５を取得して、記憶部２０７に蓄積する。情報取得部２０１は、「取得部」の一例である。

情報変換部２０２は、各冷蔵庫１００のデータＤが蓄積された蓄積情報Ｉ１１と学習モデルＬとに基づき、推定モデルＫＬＭに入力する入力情報を生成する。学習モデルＬは機械学習を行うためのアルゴリズムを示すモデルである。

学習部２０３（モデル生成制御部）は、評価用冷蔵庫１００Ｔに保管した状態のサンプル食品の品質の検出結果を用いて、上記の食品の品質を模擬する推定モデルＫＬＭを生成する。サンプル食品とは、品質の推定対象に定める食品と同種の食品のことである。学習部２０３は、例えば、種別識別情報Ｉ４により識別可能なサンプル食品が評価用冷蔵庫に保管され、その後、サンプル食品の品質が時間差をつけて検出され、時間差をつけて検出された品質の検出の結果を用いて推定モデルＫＬＭの生成を制御するとよい。

推定部２０４は、例えば、学習部２０３によって生成された推定モデルＫＬＭを用いて、判定対象の冷蔵庫１００に保管されている評価対象の保管食品の品質を推定する。

情報記録部２０５は、推定部２０４によって推定された保管食品の品質を食品品質情報Ｉ１３として記憶部２０７に記憶させる。

情報出力部２０６は、上述した処理によって得られた食品品質情報Ｉ１３を、端末装置３００に送信する。これにより、食品品質情報Ｉ１３は、冷蔵庫１００内の保管食品の品質を確保するサービスの提供などに利用可能になる。

＜４．２ 食品の品質の推定について＞
図７は、実施形態における食品の品質の推定について説明するための図である。
ユーザは、端末装置３００などを操作して、保管食品に関する情報をサーバ２００に登録する（アップロード）。例えば、端末装置３００は、保管食品に関する情報を、冷蔵庫１００を経てサーバ２００に通知して、又は同情報をサーバ２００に通知する。サーバ２００は、通知された保管食品に関する情報を、ユーザの識別情報に関連付けて登録する。

冷蔵庫１００は、ユーザによる扉の開閉操作などを使用状況として検出する。冷蔵庫１００は、扉の開閉操作に関する情報を含めて、上記のデータＤを、所定の周期でサーバ２００に通知する。

サーバ２００は、上記のデータＤを冷蔵庫１００の使用状況を示す情報として取得すると、学習済み推定モデルＫＬＭを用いて、冷蔵庫１００内の各食品の品質を推定するシミュレーションを実行する。サーバ２００は、各食品の品質の推定結果と、この推定結果に基づいた判定結果とを冷蔵庫１００又は端末装置３００に通知する。上記の判定結果に、食品の賞味期限に関する通知が含まれていてよい。この通知により、冷蔵庫１００又は端末装置３００は、上記の通知に応じて、上記の推定結果と判定結果を取得（ダウンロード）する。ユーザは、冷蔵庫１００内の食品を実際に確認することなく、食品の品質の推定結果と、この推定結果に基づいた判定結果とを得ることができる。

上記の処理により、サーバ２００は、食品の品質に係る標準的な推定結果と、その判定結果とをユーザに伝えることができる。

ただし、標準的な推定結果とその判定結果とに対して、ユーザ固有の嗜好が乖離していることがある。このような場合には、ユーザの嗜好に関する情報（個人データ）を、ユーザからの申告（フィードバック）を利用して収集して、推定処理の基準又は判定処理の基準を補正することで、上記の乖離の幅を少なくすることができる。冷蔵庫１００又は端末装置３００を介してユーザからの申告を受け付ける事例については、変形例として後述する。

＜４．３ 食品の品質とそのモデルについて＞
以下、各食品の品質とそれを模擬するモデル（推定モデルＫＬＭという。）について説明する。サーバ２００は、推定モデルＫＬＭを利用することで、保管食品の品質を推定する。例えば、推定モデルＫＬＭは、学習モデルＬと教師データとを用いて学習された教師あり機械学習によって生成される学習済みモデルである。対象の食品の種類には、肉、魚、果物、野菜などの生鮮食品、パン、牛乳、チーズなどの加工食品などが含まれる。対象の食品の品質を示す指標として、熟成と腐敗に関係して変化する食品の化学的成分の量に基づいたデータ、特有のにおいの特徴、カビの発生の有無などを含む視覚的変化、賞味期限（消費期限）などが挙げられる。例えば、熟成と腐敗に関係して変化する食品の化学的成分の量に基づいた指標として、食品の腐敗時期、食品が食に適した状態にあるかを示すＫ値が知られている。ただし、推定する対象の食品の属性は、対象の食品に関する蓄積情報Ｉ１１に基づいて、その品質を推定することのできる事項であれば、上記列挙した事項以外の事項であってもよい。

推定モデルＫＬＭは、以下に列挙する推定モデルＫＬＭＡからＫＬＭＤの一部又は全部を含む。
・食品の化学的成分に関わる代表値（例えば腐敗時期、食品が食に適した状態にあるかを示すＫ値）を推定する推定モデルＫＬＭＡ
・食品が発するにおいの発生状況を推定する推定モデルＫＬＭＢ
・食品の視覚的変化（カビの発生状況を含む）を推定する推定モデルＫＬＭＣ
・食品の食に適した期間（賞味期限又は消費期限までの期間）を推定する推定モデルＫＬＭＤ

上記の推定モデルＫＬＭＡからＫＬＭＤと、推定モデルＫＬＭは、食品品質モデルの一例である。推定モデルＫＬＭの生成の詳細については後述する。

＜４．４ 推定モデルＫＬＭと食品の品質との関係について＞
いくつかの具体的な食品の例を挙げて、推定モデルＫＬＭと食品の品質との関係について説明する。

（第１実施例：魚の品質）
図８は、実施形態の魚の品質について説明するための図である。
魚の品質の指標にＫ値を適用することがある。Ｋ値は、ＡＴＰ関連化合物の量を比率で示したものである。Ｋ値は、主に魚の鮮度を表す指標として利用され、０から１００％の範囲で規定される。鮮度が良いほどＫ値の値が小さく、一般に６０％以上になると初期腐敗と言われる。生食の場合は、２０％以下であることが推奨される。

図８中の（ａ）のグラフに、保管温度を５段階に設定した各温度条件の下でサンマの品質の変化の記録を示す。図８中の（ｂ）のグラフに、保管温度を５段階に設定した各温度条件の下でサバの品質の変化の記録を示す。図８中の（ｃ）のグラフに、サンマの保管温度を途中で切り替えた場合のサンマの品質を推定する事例について示す。

例えば、魚のＫ値は一般的に水揚げ後に上昇し始めて、その値が２０％以下であればその魚を生食できる。水揚げ後に１０℃でサンマを保管すれば７２時間経過するまで２０％以下にＫ値を維持することができる。これに対して、サバの場合には、サンマと同様の条件で保管すると２４時間経過するまでは２０％以下にＫ値を維持することができる。サバの方がサンマに比べて腐敗しやすいため、上記の時間が短くなっている。

上記のように保存温度ごとのＫ値の変化の傾向を推定モデルＫＬＭＡに学習させれば、Ｋ値を測定する代わりに推定モデルＫＬＭＡを用いた推定によりＫ値の推定値を得ることが可能になる。一例として、水揚げから２４時間経過時点まで１５℃で保管した後に冷蔵庫１００に保管して保管温度を５℃に切り替える場合について検討する。

冷蔵庫１００に保管した食品の初期状態の各データには、その食品の食品種別と、その食品の賞味期限と、その食品の保管を開始した日付と、チルド室の温度（保管温度）とが含まれる。例えば、食品種別を「サンマ」にして、賞味期限を２日後の２４：００までに設定する。教師データとして上記のデータＤを利用して、教師あり機械学習によって推定モデルＫＬＭＡを学習させる。

これにより、推定モデルＫＬＭＡは、上記の各温度環境で保管された場合の品質の状態を模擬するモデルになる。例えば、サンマを冷蔵庫に保管するまでに１５℃の環境で２４時間経過したことを示す入力データを推定モデルＫＬＭＡに入力してこれを用いたシミュレーションの結果から、上記の２４時間経過時のＫ値の値が１５％になることを算出できる。さらに、このタイミングで冷蔵庫のチルド室（５℃）で保管することに切り替えた場合、Ｋ値が２０％以下であることという条件を満たす期間は、残り２４時間になることが同様に算出できる。

上記のように購入段階では、賞味期限として「２日後の２４：００まで」とラベルなどに提示されていたサンマであっても、購入後から２４時間経過するまでの保管条件が適当でなかったために鮮度が低下してしまい、上記のシミュレーションの結果が導出された。このサンマは生食に適さない状態に近づいているため、サーバ２００は、以下の表示を行ってユーザに注意を促すとよい。例えば、サーバ２００は、「今日中に消費する」、「においが強くなる」、「刺身ではなく焼いて食べる」などの消費方法の注意点に関する案内を通知するとよい。

シミュレーションの結果を別の観点で整理する。推定したＫ値から、上記の残り２４時間の間は、アミノ酸の量が増加して食べごろになっていると推定できる。これに応じて、サーバ２００は、「今が食べ時」、「１日寝かすとおいしい」などの、消費方法のアドバイスに関する案内を通知するとよい。

なお、上記のように一定の温度で保管していた時間の長さの関係に基づいた解析だけでは、冷蔵庫１００の扉の開閉の影響による保管食品の品質を推定しきれないことがある。これに対して、実施形態のサーバ２００は、食品を保管中に冷蔵庫１００の扉が開閉されることを条件に加えて解析する。

（第２実施例：加工食品の品質）
図９は、実施形態の加工食品の品質について説明するための図である。
加工食品も保管すると徐々に腐敗が進行する。腐敗の進行の速度は、食品の種類、保管温度、保管湿度などによって影響される。さらに、冷蔵庫に保管されるまでに経過した時間も品質に影響する。そこで、食品の賞味期限又は消費期限、加工日などの情報を合わせて利用する。例えば、加工食品の一例としてパンを例示して説明する。

図９中の（ａ）のグラフに、冷蔵庫内温度を３段階に設定して、各条件の下で加工食品（パン）の品質の変化の記録を示す。図９中の（ｂ）のグラフに、冷蔵庫内湿度を３段階に設定して、各条件の下で加工食品（パン）の品質の変化の記録を示す。

パンの品質（腐敗度）を、例えば一般生菌数を用いて規定する。一般生菌数を用いる判定で腐敗と判定する閾値は、食品の種類に応じて値に定めるとよい。パンの場合には1.0x10^６個/ｇ(グラム）を閾値に定め、これを超えると腐敗していると判定する。保管を開始した日を基準にして、その日付からの経過日数（保存期間）に基づいて品質を推定する。一般生菌数は、後述する教師データの一例である。

そこで、パンについては、冷蔵庫内温度と冷蔵庫内湿度とに基づいて、保管食品の生菌数を予測する。賞味期限が比較的近いパンが冷蔵庫に保管された場合、一般生菌数の初期値を比較的大きな値に設定するとよい。

製造日を含め概ね５日を超えたパン類はカビることがある。本実施形態では、食品の視覚的変化の情報を保管食品の品質の推定に利用して、カビが発生しそうな状態を検出する。例えば、保管食品の複数の画像から食品の変色量を検出して、変色量に基づいて食品の腐敗度を推定する。これにより、保存期間に基づいて推定された品質に問題がなくても、食品の画像から所定の程度を超える変色が検出された場合には、カビの発生を疑って腐敗と判定することができる。

食品の色の変化を検出するには、特定の表色系を定めて、特定の表色系上に配置される色点の分布の変化に基づいて色の変化を検出するとよい。この色の変化の検出の方法は既知の画像処理の手法を利用してもよい。以下、代表的な表色系の適用を例示して説明する。

（L*a*b*表色系の利用）
パンの色の変化を検出するために、L*a*b*表色系を利用する場合を例示する。L*a*b*表色系では、a*軸の成分とb*軸の成分のそれぞれに０から±１までの値が割り付けられる。例えば、食品を保管した初期の状態の色点群から、a*軸の成分とb*軸の成分の何れかに0.5以上隔てた位置に新たな色点が検出された場合に、検出すべき色の変化があったと認められ、これを腐敗と判定してよい。

（RGB表色系の利用）
パンの色の変化を検出するために、RGB表色系を利用する場合を例示する。RGB表色系では、RGBの各軸の成分のそれぞれに０から最大値までの値が割り付けられる。例えば、食品を保管した初期の状態の色点のRGB各成分の値が１０％以上ずれた場合に、これを腐敗と判定してよい。「RGB各成分の値が１０％以上ずれる」とは、検出対象（パン）の像を示す各画素に対応する点を画像ごとにRGB空間に配置して、各点のそれぞれの軸の成分の重心が軸方向に１０％以上移動することを言う。

推定した食品の状態が腐敗と判定される時期が所定の状態に近づいていると推定される場合には、その前にユーザが消費するように、「今日中に消費する」ことを促したり、「乾燥してきている」などの情報を提供して、ユーザに対して消費に関する注意を促したりするとよい。

（第３実施例：野菜の品質）
図１０は、実施形態の野菜の品質について説明するための図である。図１０中の（ａ）のグラフに、冷蔵庫１００の扉を開く頻度を３段階に設定して、各条件の下の野菜の水分残存率を示す。図１０中の（ｂ）のグラフに、冷蔵庫１００の扉を開いている時間を３段階に設定して、各条件の下の野菜の水分残存率を示す。

野菜を野菜室２０に保管しても、収穫後の野菜の鮮度（水分残存率）は徐々に低下する。野菜の鮮度の低下の傾向は、野菜の種類と野菜が保管される環境（保管温度、保管湿度）によって異なる。そこで、本実施例のサーバ２００は、野菜（食品）の種類、保管を開始した日付、保管開始時点の見込みの賞味期限などの情報を利用して、保管食品の鮮度（品質）を推定する。

野菜の保管中に冷蔵庫１００の扉を開く回数（開閉回数）が多いと、また開けている時間が長いと、冷蔵庫内温度が高くなり、冷蔵庫内湿度が低くなるために、野菜の鮮度の低下が進む要因になる。そこで、サーバ２００は、冷蔵庫１００の扉を開く回数（開閉回数）と、扉を開けている時間に基づいて、扉の開閉に伴う野菜の鮮度の低下を推定して、その結果を出力する。

例えば、野菜の水分残存率が例えば８０％以下になると、明らかに鮮度が落ちたと感じられる状態になる。そこで、サーバ２００は、水分残存率が８０％以下になる時期を予測して、８０％以下になる前にユーザが消費するように、「今日中に消費する」ことを促したり、「乾燥してきている」などの情報を提供して、ユーザに対して消費に関する注意を促したりするとよい。

＜４．５ 冷蔵庫１００の使用状況と貯蔵室の環境の変動について＞
図１１は、実施形態の成分量推定用入力情報の生成に用いられるデータＤの具体例を示す図である。データＤはセンサ群ＳＵの検出結果を示す時系列データである。冷蔵庫１００の使用タイミングと、各使用タイミングにおいて使用される貯蔵室は、各貯蔵室の扉スイッチのＯＮ／ＯＦＦの状態の検出結果から検知される。また、コンプレッサ５１、冷蔵冷却ファン１４、冷凍冷却ファン３４の動作状況によって各貯蔵室の温度が変動する。

情報変換部２０２は、このようなデータＤに基づいて、成分量推定用入力情報を生成する。これにより、食品の成分量を直接的に検出することなく、食品の成分量を推定することができる。

＜４．６ 推定モデルＫＬＭの入力情報＞
（ａ．食品に含まれる成分の量を推定する推定モデルＫＬＭＡの入力情報）
情報変換部２０２は、例えば、食品に含まれる成分の量を推定モデルＫＬＭＡに推定させるための入力情報（以下「成分量推定用入力情報」と称する）を、蓄積情報Ｉ１１に基づき生成する。

食品の品質の推定に関連する情報として、例えば、食品属性情報Ｉ３と、種別識別情報Ｉ４と、保管履歴情報Ｉ５と、状態情報Ｉ２（冷蔵庫使用履歴情報）と、が含まれる。

食品属性情報Ｉ３には、食品の個体識別情報と、日限関連情報とが含まれる。個体識別情報は、冷蔵庫１００に保管された評価対象の食品を夫々識別可能にする情報であって、同じ種類の食品を、個体ごとに個別に識別可能にする。日限関連情報には、個体識別情報により識別される食品に関連付けられて設定され、その食品の加工段階で設定された賞味期限、消費期限、加工日などが含まれる。情報変換部２０２は、例えば端末装置３００などから通知されて蓄積された蓄積情報Ｉ１１に基づいて、食品属性情報Ｉ３を生成する。

種別識別情報Ｉ４は、食品の種別（種類）を識別可能にする情報である。保管履歴情報Ｉ５は、食品の保管期間に関する情報である。保管履歴情報Ｉ５における食品の保管条件とは、食品が配置された貯蔵庫を特定する情報を含む。保管履歴情報Ｉ５における保管期間に関する情報には、例えば、上記の貯蔵庫で保管を開始した日時の情報が含まれる。情報変換部２０２は、種別識別情報Ｉ４と保管履歴情報Ｉ５を、例えば端末装置３００などから通知されて蓄積された蓄積情報Ｉ１１に基づいて生成する。

状態情報Ｉ２は、冷蔵庫１００の使用に関する情報の一例である。情報変換部２０２は、例えば、状態情報Ｉ２として、次に列挙する情報のうち１つ以上を、蓄積情報Ｉ１１に基づき生成する。状態情報Ｉ２は、少なくとも以下に説明する観点において食品に含まれる成分の量との相関性を有する。そのため、以下に列挙する各情報のうち１つ以上を、食品に含まれる成分の量の評価値を出力情報とする推定モデルＫＬＭの入力情報として用いることができる。

・冷蔵庫１００の扉の開閉回数に関する情報
・冷蔵庫１００の扉の開閉時間（開閉時刻）に関する情報
・冷蔵庫１００の庫内温度に関する情報
・冷蔵庫１００の庫内湿度に関する情報
・冷蔵庫１００の周囲湿度に関する情報
・冷蔵庫１００のコンプレッサ５１の動作に関する情報
・冷蔵庫１００の冷却ファンの動作に関する情報
・冷蔵庫１００の脱臭装置の動作に関する情報
・冷蔵庫１００の除霜運転動作に関する情報

例えば、評価対象の食品を保管する冷蔵庫１００は、食品を保管する貯蔵室と、貯蔵室に設けられた開口部を閉塞して食品の出し入れの際に開かれる扉とを備えている。このような冷蔵庫１００に関わるデータＤを、少なくとも扉の開閉に関する情報が含まれるように構成するとよい。なお扉の開閉に関する情報には、扉を開けた回数（開閉回数）を示す情報と、扉を開いていた時間（開閉時間）を示す情報との何れかの情報が含まれているとよい。

（食品の保存中の環境と品質について）
食品の保存中の環境と品質の関係について説明する。
例えば、冷蔵庫内温度が比較的高い場合、保存状態にある食品（保管食品という。）の腐敗が早まり、冷蔵庫内温度が高いほど保管食品の賞味期限及び消費期限が短くなることが予測される。

冷蔵庫内湿度が比較的高い場合、カビが発生しやすくなり、比較的短期間でカビが発生することが予想される。これに対して、後述するように野菜を保存する場合には、高湿度では賞味期限及び消費期限が長くなることが推定される。

周囲温度が比較的高い場合、小売店で食品が購入されてから、その後にその食品が冷蔵庫１００に保存されるまでの期間に食品の温度が上昇することがあり、これにより食品の賞味期限及び消費期限が短くなることが予想される。また、上記の場合、周囲温度を遮断する扉の内側に位置するドアポケットの温度が比較的高くなることがあり、ドアポケットに保存する食品（卵や牛乳）の賞味期限及び消費期限が短くなると予想される。

コンプレッサ５１が動作する頻度が比較的高い場合、冷蔵庫内温度が比較的低くなるため、賞味期限及び消費期限が比較的長くなると予想される。

冷却ファンの動作頻度が比較的高い場合、冷蔵庫内温度が比較的低くなるため、賞味期限及び消費期限が比較的長くなると予想される。

脱臭装置５７の作動している場合、保管食品に含まれる成分が気化したガスから、保管食品に含まれる成分量を検出する測定系に影響するときがある。それゆえ、脱臭装置５７の作動が比較的多い場合、保管食品に含まれる成分が検知されにくくなる。

除霜制御の作動が比較的多い場合、冷蔵庫内温度が比較的高くなり、冷蔵庫内湿度も比較的高くなるため、賞味期限及び消費期限が比較的短くなると予測される。

そこで、サーバ２００は、冷蔵庫１００の状態情報Ｉ２を、保管食品の品質を推定するための指標値として利用する。

（ｂ．食品が発する特有のにおいの発生を推定する推定モデルＫＬＭＢの入力情報）
情報変換部２０２は、例えば、推定モデルＫＬＭＢに食品が発する特有のにおいの発生を推定させるための入力情報（以下「におい推定用入力情報」と称する）として、状態情報Ｉ２のうち１つ以上を、蓄積情報Ｉ１１に基づき生成する。これらの情報は、少なくとも以下に説明する観点において食品が発する特有のにおいの発生との相関性を有する。そのため、状態情報Ｉ２のうち１つ以上を、食品が発する特有のにおいの発生に関する属性を出力情報とする推定モデルＫＬＭＢの入力情報として用いる。なお、においの発生の推定は、においの強さ、においの質などの特徴と、においの発生の検知結果とを通知するようにしてもよい。

例えば、脱臭装置５７の作動している場合、冷蔵庫１００内のにおいの成分の量が、作動していない場合に比べて少なくなる。それゆえ、脱臭装置５７の作動が比較的多い場合、保管食品からのにおいの発生量が同じであっても、においの発生が検知されにくくなる。あるいは、腐敗初期の僅かなにおいをユーザが気づかないことがある。上記のような場合に、においの発生を推定し、その結果を通知することによって、ユーザはにおいが発生する状況を認識できる。

（ｃ．食品の視覚的変化が生じることを推定する推定モデルＫＬＭＣの入力情報）
食品の視覚的変化が生じる場合には、食品の表面などにカビの発生することに起因するもの、又は食品そのものが変色することに起因するものなどが含まれる。

情報変換部２０２は、例えば、推定モデルＫＬＭＣに食品の視覚的変化が生じることを推定させるための入力情報（以下「視覚的変化推定用入力情報」と称する）として、状態情報Ｉ２のうち１つ以上を、蓄積情報Ｉ１１に基づき生成する。これらの情報は、少なくとも以下に説明する観点において食品の視覚的変化が生じることとの相関性を有する。そのため、状態情報Ｉ２のうち１つ以上を、食品の視覚的変化が生じることに関する属性を出力情報とする推定モデルＫＬＭＣの入力情報として用いる。

食品の視覚的変化が生じていることを推定できると、以下の事例への適用が可能にある。食品の種類が異なると、一律な処理によって推定することが困難な場合がある。食肉であってもその種類が異なると、腐敗に至る状況が異なることがある。例えば、牛肉に比べて鶏肉の方が腐敗しやすく、肉の色の変化が起こりやすい。食品の色を品質の推定に利用すれば、鶏肉の腐敗時期をより短く予測することが可能になる。また、切り落とし肉に比べると、ひき肉は腐敗しやすい。食肉の表面の画像を解析することにより、ブロック肉、切り落とし肉、ひき肉などの加工の方法を識別することができる。これにより、腐敗時期の予測を補正することが可能になる。画像認識処理には、画像データの各画素値のデータから取得される各種の特徴量に基づいて食品の表面の状態を識別する方法を用いることができる。そこで情報変換部２０２は画像認識処理による食品の表面の状態の検出結果を示す情報を状態情報Ｉ２として生成するとよい。

なお、上記に加えて、カビの発生の検出又は発生を予測した結果をトリガにして、判定を制御することも可能である。この事例については後述する。

（ｄ．食品の賞味期限を推定する推定モデルＫＬＭＤの入力情報）
情報変換部２０２は、例えば、推定モデルＫＬＭＤに食品の賞味期限を推定させるための入力情報（以下「賞味期限推定用入力情報」と称する）として、状態情報Ｉ２のうち１つ以上を、蓄積情報Ｉ１１に基づき生成する。これらの情報は、少なくとも以下に説明する観点において食品の賞味期限との相関性を有する。そのため、状態情報Ｉ２のうち１つ以上を、食品の賞味期限に関する属性を出力情報とする推定モデルＫＬＭＤの入力情報として用いる。

例えば、食品が包装されている場合に、その内部の状態を包装の外からは識別できないことがある。この場合に、当初設定された食品の賞味期限を、保管食品の保管状態に応じて補正することに推定モデルＫＬＭＤを適用してもよい。

＜４．７ 推定モデルＫＬＭの学習＞
図１２Ａは、実施形態の推定モデルＫＬＭの学習用の構成のブロック図である。
評価用冷蔵庫１００Ｔの貯蔵室内に食品が保管された状態で、冷凍サイクル制御部８１は、冷蔵庫温度が、制御目標の冷蔵庫温度Trefに対して定まる変動範囲内に収まるように冷却制御を実施する。これにより貯蔵室内の空気と食品が所望の冷蔵庫温度の変動範囲の温度に冷却される。

補助センサ６９(図中の記載はＳＥＮＳ)は、食品の品質に関わる状態を、所定の検出方法で検出して、検出した結果を食品の品質の検出値（品質検出値Ｑｄという。）として出力する。

サーバ２００の学習部２０３は、例えば、演算ブロック２０３ａ、２０３ｂ、２０３ｃを備える。

演算ブロック２０３ｃは、推定モデルＫＬＭを含み、制御目標の冷蔵庫温度Trefと、データＤとに基づいて食品の品質を推定して、その推定の結果を品質推定値Ｑｅとして出力する。なお、演算ブロック２０３ｃは、制御目標の冷蔵庫温度Trefに代えて、冷凍サイクル制御部８１の出力を用いてもよい。

演算ブロック２０３ａは、減算器であり、補助センサ６９が出力する品質検出値Ｑｄと、演算ブロック２０３ｃが出力する品質推定値Ｑｅとに基づいて、その偏差（品質推定偏差という。）を出力する。

演算ブロック２０３ｂは、上記の品質推定偏差と、学習モデルＬとに基づいて、品質推定偏差がより小さくなるように演算ブロック２０３ｃにおける推定モデルＫＬＭを学習させる。演算ブロック２０３ｂは、同種の食品による学習により、これを少なくとも１回以上繰り返すことで、同種の食品の品質の推定に対する確度が高まる。また、演算ブロック２０３ｂは、種類が異なる食品による学習を繰り返すことで、各種食品の品質の推定に対する確度が高まる。演算ブロック２０３ｂは、このような学習処理を繰り返して、所望の推定確度が得られた段階で、その学習処理を中断するとよい。

上記のような教師あり機械学習によって、推定モデルＫＬＭを学習させることができる。

なお、演算ブロック２０３ａによる品質推定偏差の生成を、ユーザの判定に代えてもよい。ユーザは、補助センサ６９が出力する品質検出値Ｑｄと、演算ブロック２０３ｃが出力する品質推定値Ｑｅとを比較して、その差が所望の範囲内であれば、推定結果に対する肯定的判定を演算ブロック２０３ｂの入力値にして、その差が所望の範囲外であれば、推定結果に対する否定的判定を演算ブロック２０３ｂの入力値にするとよい。この場合、演算ブロック２０３ｂは、推定結果に対する肯定的判定又は否定的判定の結果を、上記の品質推定偏差とするとよい。

上記の通りサンプル食品の保管に関する情報には、例えば、保管履歴情報Ｉ５と、上記のデータＤとが含まれる。学習部２０３は、サンプル食品の品質の検出結果を用いて推定モデルＫＬＭの生成を制御する場合に、サンプル食品の保管に関する情報に基づいて推定モデルＫＬＭを形成するとよい。推定モデルＫＬＭは、サンプル食品の品質に関わる推定情報を生成するように形成されるとよい。

学習部２０３は、サンプル食品の品質を検出する補助センサ６９によって検出された品質（鮮度）の情報と、推定モデルＫＬＭによって推定されたサンプル食品の品質の推定情報との一致度に基づいて、推定モデルＫＬＭを調整するとよい。補助センサ６９は、鮮度検出部の一例である。

次に、学習部２０３について整理する。学習部２０３は、上述した各種入力情報と、機械学習の学習モデルＬとを適用することにより、食品の品質を推定するための推定モデルＫＬＭを学習済みモデルとして生成する。推定モデルＫＬＭは、冷蔵庫１００に関する情報が入力されると、冷蔵庫１００のユーザＵの属性の推定結果を出力するように学習される。

なお、上記の説明では、推定モデルＫＬＭが教師あり機械学習によって生成される場合について説明したが、推定モデルＫＬＭは教師なし機械学習によって生成されてもよい。例えば、学習部２０３は、情報変換部２０２によって生成された各種推定用入力情報と補助センサ６９による検出結果の情報とを教師データに適用して各種推定用入力情報とユーザ登録情報Ｉ１２との関係性を学習させることにより、学習済みモデルとして推定モデルＫＬＭＡ～ＫＬＭＤを生成する。学習モデルＬには、例えばニューラルネットワーク、強化学習、ディープラーニングなどを用いることができるが、学習モデルＬはこれらに限定されない。学習モデルＬは、回帰曲線や分類器を上記関係性の学習結果として生成するものであってもよい。例えば、ニューラルネットワーク以外の学習モデルＬとしてＳＶＭ（Support Vector Machine）や決定木（Decision Tree）、ランダムフォレスト、ｋ近傍法などが用いられてもよい。

＜４．８ 推定モデルＫＬＭを用いた食品の品質の推定＞
図１２Ｂは、実施形態の食品の品質を推定する構成のブロック図である。冷蔵庫１００の貯蔵室内に食品が保管された状態で、冷凍サイクル制御部８１は、制御目標の冷蔵庫温度Trefの変動範囲内に収まるように冷却制御を実施する。これにより貯蔵室内の空気と食品が所望の冷蔵庫温度の変動範囲の温度に冷却される。

サーバ２００の学習部２０３は、さらに演算ブロック２０４ａ、２０４ｂ、２０４ｃ、２０４ｄを備える。端末装置３００（情報処理部３８２）は、演算ブロック３０１を備える。

演算ブロック２０４ａは、第１の推定モデルＫＬＭを含み、庫外保管情報に基づいて、推定モデルＫＬＭを用いて食品の保管開始段階の品質を推定する。なお、この演算ブロック２０４ａの処理を省略してもよい。

演算ブロック２０４ｂは、第２の推定モデルＫＬＭを含み、データＤに基づいて、食品の保管開始後に推定モデルＫＬＭを用いて現時点の食品の品質を推定する。なお、演算ブロック２０４ｂは、上記の演算ブロック２０４ａの推定結果を、食品の品質の推定処理の初期値に割り当てて、その後の品質の変化を推定してもよい。演算ブロック２０４ｂの推定処理の結果から、現時点の食品の品質の推定値を得ることができる。

演算ブロック２０４ｄは、データＤに基づいて冷蔵庫１００の使用状況を解析して、その解析結果から将来の冷蔵庫１００の使用状況を推定する。この使用状況の推定の結果を推定データＤｅと呼ぶ。演算ブロック２０４ｄは、保管環境推定部の一例である。例えば、演算ブロック２０４ｄは、データＤに基づいて、保管期間を延長して評価対象の食品を冷蔵庫１００に保管するときの冷蔵庫１００内の保管環境を推定するとよい。

演算ブロック２０４ｃは、第３の推定モデルＫＬＭを含み、推定データＤｅに基づいて、第３の推定モデルＫＬＭを用いて将来の食品の品質を推定する。なお、演算ブロック２０４ｃは、上記の演算ブロック２０４ｂの推定結果を、食品の品質の推定処理の初期値に割り当てることで、将来の品質を推定することができる。例えば、演算ブロック２０４ｄは、冷蔵庫１００における評価対象の食品の保管を継続した場合の将来の評価対象の食品の品質を、推定モデルＫＬＭを用いて、推定された保管環境に関する保管環境推定情報に基づいて推定するとよい。

演算ブロック３０１は、予め定められた判定基準に従い、将来の食品の品質の推定値に基づいて推定して得られた、その食品の賞味期限などを含む判定結果Ｑｆを生成する。端末装置３００は、サーバ２００による処理（シミュレーション）の結果の品質推定値Ｑｅと判定結果Ｑｆを表示装置３１０に表示させる。

＜４．９ 食品の品質の推定処理＞
図１３は、実施形態のサーバ２００による処理のフローチャートである。前提として、冷蔵庫１００からサーバ２００に送信されたデータＤは、情報取得部２０１によって取得され、蓄積情報Ｉ１１として蓄積されている。

まず、情報変換部２０２は、蓄積情報Ｉ１１に基づき、上述した食品の品質に関する推定用入力情報を生成する（Ｓ２０１）。次に、推定部２０４は、生成した各種推定用入力情報を推定モデルＫＬＭに入力することで、出力情報として食品の品質に関する推定結果を得る（Ｓ２０２）。次に、情報出力部２０６は、推定部２０４により推定された食品の品質に関する推定結果である食品品質情報を端末装置３００に出力させる（Ｓ２０３）。

＜４．１０ 情報のアップロード＞
図１４は、実施形態の情報のアップロードについて説明するための図である。図１４中の時間軸上の各タイミングにサーバ２００に対して通知される情報の種類を示す。
保管食品が配置されている環境は、上記のように食品の品質に影響する。
冷蔵庫１００は、通電中に所定の周期で収集したデータＤを記録する。上記の所定の周期は、例えば１時間である。冷蔵庫１００は、収集したデータＤをサーバ２００に通知する。なお、冷蔵庫１００は、ユーザからのフィードバックを、上記のデータＤと同様の方法でサーバに通知してもよい。

さらに、以下に示すイベントが生じたタイミングに、冷蔵庫１００と端末装置３００は、サーバ２００に情報を通知する。

（食品購入時のデータの登録）
端末装置３００は、ユーザが小売店などで購入した食品について、食品の種類、賞味期限、加工日などの情報を取得する。例えば、商品を購入した際、又は冷蔵庫１００に保管する際に、端末装置３００は、食品のラベルなどに記載された文字、コードなどを画像処理の手法で読み取って、これに基づいて所望のデータを抽出してもよい。これに変えて、ユーザが端末装置３００などを用いて、サーバ２００に通知して、登録してもよい。

上記の何れかの手法で入力された情報は、サーバ２００に蓄積される。サーバ２００は、これらの情報に基づいた推定処理により、保管食品の賞味期限、腐敗時期などを推定してこの結果を出力する。冷蔵庫１００は、この結果を受信して、ディスプレイ５６に表示させてもよい。また、端末装置３００は、この結果を受信して、その表示装置３１０に表示させてもよい。ユーザは、上記の表示を確認して、推定結果を得ることができる。

サーバ２００は、食品の加工段階で食品に設定された賞味期限に基づいて、実際の食品の賞味期限や、腐敗時期を推定してもよい。例えば同じ種類の食品を２つ同時期に保存した場合、食品の加工段階で食品に設定された賞味期限が不ぞろいである場合には、加工日から経過した時間が互いに異なっていると推定できる。賞味期限が短い方の食品は、製造から日が経っているために、その分だけ賞味期限、腐敗時期がより短く推定される。

サーバ２００は、食品の加工日の情報に基づいて実際の食品の賞味期限や、腐敗時期を推定してもよい。例えば２つの同じ食品を同時期に保存しても、加工日から冷蔵庫１００に保存されるときまでの時間がより多く経っている場合には、その分だけ実際の食品の賞味期限、腐敗時期がより短く推定される。

（食品保存開始時点のデータの登録）
食品を保存するため又は取り出すために、ユーザは冷蔵庫１００の扉を開ける。冷蔵庫１００は、冷蔵庫１００の扉が開かれたことを検出して、扉の開閉回数を記録して、食品の保存を開始した時点の日付を記録する。冷蔵庫１００は、所定のタイミングに扉開閉回数の計数に係る情報をサーバ２００に通知する。例えば、この通知に、扉の種類と、その扉が開かれたことを示す情報を含めてよい。

扉の開閉回数が比較的多いと貯蔵室内の温度（冷蔵庫温度）が高くなるため、食品の賞味期限、腐敗時期が短くなると予測される。特にドアポケットに保存する食品（卵、牛乳）は扉の開閉回数が多い場合、賞味期限が短くなると予想される。

（食品保存後）
ユーザは、冷蔵庫１００の中に食品を保存した後、冷蔵庫１００の扉を閉じる。冷蔵庫１００は、食品が庫内に配置されたことを検出して、冷蔵庫を開けてから閉じるまでの時間から扉の開閉時間を記録して、少なくとも食品が配置された日時をサーバに通知する。冷蔵庫１００は、さらに、食品を識別する情報を上記の通知に含めてもよい。

冷蔵庫１００は、これに応じて、扉開閉回数に係る情報、扉の開放時間、保管を開始する食品の画像などをサーバ２００に通知（食品保管開始通知）するとよい。例えば、この通知には、扉の種類と、その扉が閉じられたことを示す情報を含めてよい。

なお、冷蔵庫１００は、各扉が閉じられたことを検出して、又は定期的に、カラーの庫内画像を撮影し、保管食品の色を記憶する。冷蔵庫１００は、上記の庫内画像を、又は庫内画像から抽出した色の情報をサーバ２００に通知する。

サーバ２００は、保管食品を含む庫内画像に基づいて、定期的に保管食品の色を比較することで、保管食品の賞味期限、腐敗時期を推定してもよい。例えば鶏肉の場合、腐敗時期が近づくと、肉色が緑色を帯びてくるが、庫内画像を食品の品質の推定に用いることで、これを検出することができる。

さらに、冷蔵庫１００は、急速冷蔵機能を作動させた場合に、保管食品のカラー画像を記録に残して、急速冷蔵機能の作動を示す情報をサーバ２００に通知する。急速冷蔵機能によって、保管を開始した保管食品の温度を素早く下げることができ、賞味期限、腐敗時期がより長くなると推定される。

上記のように、サーバ２００は、それぞれのタイミングに冷蔵庫１００から通知を受け、これを記憶部２０７に記憶させるとともに、通知された情報を用いて食品の品質を推定するためのシミュレーションを実行する。

＜４．１１ 情報のダウンロード＞
図１５は、実施形態のサーバ２００が食品品質情報をユーザに通知するための処理のフローチャートである。

情報出力部２０６は、食品品質情報をユーザに通知可能なタイミングか否かを判定する（Ｓ２０３１）。通知可能なタイミングとは、端末装置３００の情報処理部３８２が所望のアプリケーションソフトを実行しているとき、冷蔵庫１００がディスプレイ５６に通電して表示可能にしているとき、などである。食品品質情報をユーザに通知可能なタイミングである場合、例えば、情報出力部２０６は、食品品質情報の前回の通知から所定の時間が経過しているか否かを判定する（Ｓ２０３２）。例えば所定の時間とは、１２時間以上の時間である。食品品質情報の前回の通知から所定の時間が経過している場合、情報出力部２０６は、予め設定された通知のタイミングであるか否かを判定する（Ｓ２０３３）。予め設定された通知のタイミングとは、例えば、ユーザが任意に選択したタイミング又はユーザの要求に応じて設定されたタイミングなどである。予め設定された通知のタイミングでない場合には、情報出力部２０６は、腐敗、賞味期限切れが検出されたか否かを判定する（Ｓ２０３４）。腐敗、賞味期限切れが検出された場合、又は予め設定された通知のタイミングである場合には、情報出力部２０６は、サーバ２００が食品品質情報をユーザに通知して（Ｓ２０３５）、一連の処理を終える。
ユーザが認識できる。

また、情報出力部２０６は、食品品質情報をユーザに通知可能なタイミングでない場合と、食品品質情報の前回の通知から所定の時間が経過していない場合と、腐敗、賞味期限切れが検出されなかった場合のうちの何れかの場合には、一連の処理を終える。
ユーザが認識できる。

上記の処理により、予め設定されたタイミングと、腐敗、賞味期限切れが検出されたタイミングとに、食品品質情報をユーザに通知することができる。

（情報のアウトプット）
図１６は、実施形態のサーバ２００が通知する情報について説明するための図である。図１６中の時間軸上の各タイミングにサーバ２００が通知する情報の種類を示す。

ユーザが冷蔵庫１００に食品を保存して、例えば端末装置３００の操作により保存した食品の情報を、通信回線を通してサーバ２００に登録させる。

その後、サーバ２００は、冷蔵庫１００内にある保管食品の状態を周期的に推定し、推定の結果を端末装置３００、又は冷蔵庫１００に通知する。例えば、端末装置３００、又は冷蔵庫１００は、搭載されたディスプレイ５６に、通知された推定結果（例えば、食品の賞味期限又は腐敗時期）を表示させるとよい。

サーバ２００は、端末装置３００、又は冷蔵庫１００から、食品保管を開始する冷蔵庫１００から食品保管開始通知（図１４）を受けると、例えば次の情報の一部又は全部を通知する。例えば、「食品の賞味期限の推定表示」、「推定腐敗時期」、「生食可能な期限」、「加熱調理の要否」、「新鮮度（みずみずしさ）」、「カビが発生するまでの推定期間」、「カビが発生するまでの推定期限」、「食品の食べごろの時期」などは、上記の食品保管開始通知に応じて通知する情報の一例である。

上記の通知のタイミングは、ユーザが指定する任意のタイミング、比較的長期間に亘って冷蔵庫１００の扉が閉となっていて、その後、扉が開閉されたタイミングなどである。

サーバ２００は、所定の時間が経過したことを検出すると、例えば次の情報の一部又は全部を通知する。上記の所定の時間は、例えば１時間であり、これを繰り返すとよい。
例えば、「食品腐敗の通知」、「賞味期限通知」、「においの強さ」、「においの質」、「においの発生通知」、「カビの発生の通知」、「食品の食べごろの通知」などは、上記の所定の時間ごとに通知する情報の一例である。「においの強さ」、「においの質」、「においの発生通知」などの情報は、「においの特徴」の一例である。

サーバ２００は、上記の所定の時間ごとの通知の他に、日ごとに同様の情報を通知してもよい。例えば、１日の中で冷蔵庫１００を最初に操作する場合、又は朝になってから冷蔵庫１００を最初に操作する場合などに、上記の通知を行うとよい。これにより、ユーザは、早めに消費することが推奨された食品の有無などを認識できる。なお、フィードバックについては、後述する。

＜５．作用＞
なお、情報処理システム１は、情報取得部２０１と、推定部２０４とを含む。情報取得部２０１は、冷蔵庫１００に保管された評価対象の食品を夫々識別可能な食品属性情報Ｉ３と、食品の種別を識別可能な種別識別情報Ｉ４と、食品の保管条件と保管期間に関する保管履歴情報Ｉ５と、冷蔵庫１００の使用に関するデータＤとを取得する。推定部２０４は、種別識別情報Ｉ４に係る食品の品質の状態を模擬するように構成された推定モデルＫＬＭを用いて、食品属性情報Ｉ３により識別される評価対象の食品の保管履歴情報Ｉ５と、評価対象の食品の保管期間におけるデータＤとに基づいて、評価対象の食品の品質を推定する。これにより、冷蔵庫１００に保管された食品の品質を推定することができる。

なお、推定部２０４は、例えば、学習部２０３により得られた推定モデルＫＬＭを用いて、判定対象の冷蔵庫１００に保管されている評価対象の保管食品の品質を推定する。推定モデルＫＬＭは、種別識別情報Ｉ４に係る食品の品質の状態を模擬するように構成されている。推定部２０４は、食品属性情報Ｉ３により識別される評価対象の食品の保管履歴情報Ｉ５と、評価対象の食品の保管期間におけるデータＤとに基づいて、推定モデルＫＬＭを用いて評価対象の保管食品の品質を推定するとよい。

これにより、推定モデルＫＬＭは、評価対象の食品の保管に関する情報に基づいて、評価対象の食品の鮮度に関わる推定情報を生成するように形成される。なお、評価対象の食品の保管に関する情報には、種別識別情報Ｉ４と、保管履歴情報Ｉ５と、データＤとが含まれていてよい。

推定部２０４は、推定モデルＫＬＭを用いて、保管履歴情報Ｉ５と、データＤとに基づいて、評価対象の食品の品質を推定するとよい。さらに、推定部２０４は、推定モデルＫＬＭを用いて、冷蔵庫１００に保管するまでの保管情報に基づいて、評価対象の食品の、冷蔵庫１００に格納する段階の評価対象の食品の品質を推定して、その推定の結果に基づいて冷蔵庫１００に格納する段階の評価対象の食品の品質（初期値）を決定するとよい。これについて後述する。

（第１の実施形態の変形例）
食品の品質の推定結果と、標準的な判定基準に基づいた判定の結果を提供するのでは、ユーザが要求する情報を得られない場合がある。本変形例は、このような事象に対して、ユーザの要求を満たした情報を提供するように、ユーザからの要求を受け付ける事例について説明する。

図１７は、実施形態のユーザの嗜好（要求）に応じた処理の一例を説明するための図である。図１８は、第１の実施形態の変形例の食品の品質を推定する構成のブロック図である。
第１の実施形態に比べて、端末装置３００は、演算ブロック３０３をさらに備え、演算ブロック３０１に代えて演算ブロック３０１Ｂを備える。

演算ブロック３０３は、ユーザからの要望（フィードバック）を受け付けて、演算ブロック３０１Ｂの判定基準をその要望に基づいて補正する。演算ブロック３０１Ｂは、演算ブロック３０３により補正された判定基準に従い、将来の食品の品質の推定値に基づいて、その食品の賞味期限などを推定する。例えば、演算ブロック３０３は、嗜好調整部の一例である。演算ブロック３０３は、ユーザの嗜好に関する嗜好情報に基づいて推定モデルＫＬＭの生成の基準を調整してよい。
これにより、ユーザの要望に応じて、食品の賞味期限に関する通知の時期を調整することができる。演算ブロック３０３は、ユーザからの要望を受け付けて、ユーザの嗜好に関する嗜好情報に基づいて食品の品質の推定の結果を調整するとよい。

図１７に示すように、例えば、ユーザＡは、「より新鮮なうちに肉を食べる。」ことを希望する。これに対して、ユーザＢは、「熟成が進んだ肉を食べる。」ことを希望して、「賞味期限が切れる直前に通知が欲しい。」と欲するものとする。上記は、標準的な基準に対して異なるものであり、互いに相反する嗜好の一例である。

例えば、サーバ２００が、「冷蔵庫１００に保管されている肉（食品）が、あと７日で賞味期限が切れる」ことを推定したとする。この場合、上記のユーザＡに対しては、この推定結果に応じて「賞味期限の７日前」に通知することが好ましく、ユーザＢに対しては、この推定結果による賞味期限の１日前まで待機してから通知することが好ましい。

本実施形態のサーバ２００は、上記のように個人の嗜好に応じて必要な情報の提供を可能にする。

なお、上記の通知によって示唆されたタイミングが、ユーザにとって適したものであるか否かについての見解を、サーバ２００などに通知して、これをフィードバックするように構成してもよい。この場合、フィードバックで得られたユーザの嗜好情報により、次回以降の通知が修正される。この設定は、ユーザが任意に行う設定（個人設定）の項目に含めてもよい。

例えば、ユーザのフィードバックに関して、肉の賞味期限の７日前に通知されたが、通知タイミングが早すぎるという内容だった場合、通知を賞味期限の６日前に通知し、再び早いか遅いかのフィードバックを得る。

これに代わり、複数回のフィードバックの後に、ちょうどよいというフィードバックを得た場合、通知タイミングを固定する。通知タイミングを固定しても日数が経過した際に（例えば1か月後）再びフィードバックの有無をディスプレイやアプリケーションプログラムを通して、ユーザに通知する。

上記の処理により、予め設定されたタイミングと、腐敗、賞味期限切れが検出されたタイミングとに、食品品質情報をユーザに通知することができる。

（第２の実施形態）
図１９Ａと図１９Ｂとを参照して、第２の実施形態の食品の品質の推定について説明する。
本実施形態のサーバ２００は、推定モデルＫＬＭの学習用に庫内カメラ６５（図中の記載はＣＡＭ）によって撮像された庫内画像を利用して、保存食品の表面に生じた視覚的な変化の検出結果を、食品の判定に利用する。

図１９Ａは、第２の実施形態の推定モデルＫＬＭの学習用の構成のブロック図である。
評価用冷蔵庫１００Ｔの庫内カメラ６５は、保管食品（サンプル食品）を撮像する。庫内カメラ６５は、第１カメラの一例である。

制御部８０は、画像処理部８５をさらに備える。画像処理部８５は、庫内カメラ６５によって撮像された保管食品（サンプル食品）の画像に基づいて、保管食品の表面に生じた視覚的な状態の変化を検出する。画像処理部８５は、第１画像処理部の一例である。

サーバ２００は、第１の実施形態の演算ブロック２０３ｂに代えて演算ブロック２０３ｄを備える。

演算ブロック２０３ｄは、画像処理部８５の解析結果と、上記の品質推定偏差と、学習モデルＬとに基づいて、品質推定偏差がより小さくなるように演算ブロック２０３ｃにおける推定モデルＫＬＭを学習させる。これにより、推定モデルＫＬＭの学習を、食品の画像に基づいて実施することができる。

換言すれば、学習部２０３は、品質の検出の結果と、第１画像処理部によって検出された画像の変化を示す第１画像情報とを用いて推定モデルＫＬＭの生成を制御することができる。

図１９Ｂは、第２の実施形態の食品の品質を推定する構成のブロック図である。端末装置３００は、演算ブロック３０２をさらに備え、演算ブロック３０１に代えて演算ブロック３０１Ａを備える。庫内カメラ６５は、第２カメラの一例である。

演算ブロック３０２は、予め定められた判定基準に従い、将来の食品の品質の推定値に基づいて、その食品の賞味期限などを推定する。ただし、演算ブロック３０２は、画像処理部８５の解析により食品の品質の評価が、所定の品質基準よりも下回ると判定された場合には、この判定の結果を優先して、食品の賞味期限などに関するユーザ宛に通知する情報を補正して提供する。例えば、演算ブロック３０２により推定された食品の賞味期限に余裕があったとしても、画像処理部８５の解析により食品の品質の評価が所定の品質基準よりも下回っていると判定された場合には、この判定の結果を優先して、食品が食に適さない状況にあることをユーザに通知する。上記の補正の方法は、一例であり、これに限らない。

演算ブロック３０１Ａも、上記の演算ブロック３０２と同様に、画像処理部８５の解析により食品の品質の評価が、所定の品質基準よりも下回ると判定された場合には、この判定の結果を優先して、食品の賞味期限などに関するユーザ宛に通知する情報を補正して提供する。

これにより、推定モデルＫＬＭによる推定の結果よりも、食品の画像に基づいた判定の結果を優先させて、その結果をユーザ宛に通知することができる。なお、上記の画像処理部８５は、第２画像処理部の一例である。

図１９Ｃは、第２の実施形態の変形例の食品の品質を推定する構成のブロック図である。端末装置３００は、演算ブロック３０１に代えて演算ブロック３０１Ｃを備える。

演算ブロック３０１Ｃは、演算ブロック３０１Ｂのように、演算ブロック３０３により補正された判定基準に従い、将来の食品の品質の推定値に基づいて、その食品の賞味期限などを推定する。ただし、上記の演算ブロック３０２と同様に、画像処理部８５の解析により食品の品質の評価が、所定の品質基準よりも下回ると判定された場合には、この判定の結果を優先して、食品の賞味期限などに関するユーザ宛に通知する情報を補正して提供する。

なお、演算ブロック３０１Ｃは、判定部の一例である。演算ブロック３０１Ｃは、品質の検出の結果と、画像処理部８５（第２画像処理部）によって検出された画像の変化を示す第２画像情報とを用いて判定の基準を調整してもよい。

これにより、ユーザの要望に応じて、食品の賞味期限に関する通知の時期を調整する場合においても、推定モデルＫＬＭによる推定の結果よりも、食品の画像に基づいた判定の結果を優先させて、その結果をユーザ宛に通知することができる。

（第３の実施形態）
第３の実施形態の食品の品質の推定について、学習制御の条件をユーザの要望に基づいて補正する事例を示して説明する。図２０は、第３の実施形態の推定モデルＫＬＭの学習用の構成のブロック図である。

サーバ２００の学習部２０３は、第１の実施形態に比べて演算ブロック２０３ｆを備え、さらに、演算ブロック２０３ｂに代えて演算ブロック２０３ｅを備える。

演算ブロック２０３ｆは、ユーザからの要望（フィードバック）を受け付けて、演算ブロック２０３ｅの学習制御の条件をその要望に基づいて補正する。
演算ブロック２０３ｅは、演算ブロック２０３ｂのように、上記の品質推定偏差と、学習モデルＬとに基づいて、品質推定偏差がより小さくなるように演算ブロック２０３ｃにおける推定モデルＫＬＭを学習させる。さらに、演算ブロック２０３ｅは、演算ブロック２０３ｆの補正の要求に従い、学習モデルＬを補正して、補正後の学習モデルＬに基づいて、推定モデルＫＬＭを学習させる。学習の手法は、上記と同様の手法を用いることができる。

このように、本実施形態によれば、ユーザからの要望（フィードバック）を受け付けて、演算ブロック２０３ｅの学習制御の条件をその要望に基づいて補正することができる。

（第４の実施形態）
第４の実施形態の食品の品質の推定について、推定モデルＫＬＭの入力変数に、ユーザの要望を加えて推定モデルＫＬＭの機械学習を実施する事例を示して説明する。図２１は、第４の実施形態の推定モデルＫＬＭの学習用の構成のブロック図である。

サーバ２００の学習部２０３は、第１の実施形態に比べて演算ブロック２０３ｈを備え、さらに、演算ブロック２０３ｃに代えて演算ブロック２０３ｇを備える。

演算ブロック２０３ｈは、ユーザからの要望（フィードバック）を受け付けて、演算ブロック２０３ｇの学習制御の条件をその要望に基づいて補正する。
演算ブロック２０３ｇは、推定モデルＫＬＭを含み、制御目標の冷蔵庫温度Trefと、データＤとに基づいて食品の品質を推定して、その推定の結果を品質推定値Ｑｅとして出力する。なお、演算ブロック２０３ｇは、制御目標の冷蔵庫温度Trefに代えて、冷凍サイクル制御部８１の出力を用いてもよい。さらに、演算ブロック２０３ｇは、演算ブロック２０３ｈの補正の要求に従い、学習モデルＫＬＭの学習制御の条件を調整する。学習の手法は、上記と同様の手法を用いてもよく、例えば、演算ブロック２０３ｈの補正の要求を報酬として扱うことで、学習制御の条件を、ユーザの要望に応じたものに調整してもよい。これにより学習の結果が、ユーザの要望により近いものにすることができる。

このように、本実施形態によれば、ユーザからの要望（フィードバック）を受け付けて、推定モデルＫＬＭをその要望に基づいて補正することができる。

以上説明した少なくともひとつの実施形態によれば、情報処理システムは、取得部と、推定部とを持つ。取得部は、冷蔵庫に保管された評価対象の食品を夫々識別可能な食品属性情報と、前記食品の種別を識別可能な種別識別情報と、前記食品の保管条件と保管期間に関する保管履歴情報と、前記冷蔵庫の使用に関する冷蔵庫使用履歴情報とを取得す。推定部は、前記種別識別情報に係る食品の品質の状態を模擬するように構成された食品品質モデルを用いて、前記食品属性情報により識別される前記評価対象の食品の前記保管履歴情報と、前記評価対象の食品の前記保管期間における前記冷蔵庫使用履歴情報とに基づいて、前記評価対象の食品の品質を推定することにより、冷蔵庫に保管された食品の品質を推定することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

食品の品質を推定した結果を、端末装置３００が判定して、その結果を表示装置３１０に表示させる事例について説明したが、その判定の処理を、サーバ２００又は冷蔵庫１００が実施することに制限されることはない。

１…情報処理システム、１００…冷蔵庫、１０…冷蔵室、１１…冷蔵室扉、１２…冷蔵室扉スイッチ、１３…冷蔵冷却器、１４…冷蔵冷却ファン、１５…冷蔵冷却室、２０…野菜室、２１…野菜室扉、２２…野菜室扉スイッチ、３０…冷凍室、３１…冷凍室扉、３２…冷凍室扉スイッチ、３３…冷凍冷却器、３４…冷凍冷却ファン、３５…冷凍冷却室、４０…製氷室、４１…製氷室扉、４２…製氷室扉スイッチ、５１…コンプレッサ、５２…冷媒切替弁、５３…ダンパ、５３１…冷蔵冷却ダンパ、５３２…冷凍冷却ダンパ、５３３…連通部、５４…製氷皿モータ、５５…給水モータ、５６…ディスプレイ、５７…脱臭装置、５８…無線モジュール、６１…冷蔵室温度センサ、６２…野菜室温度センサ、６３…冷凍室温度センサ、６４…製氷室温度センサ、６５…庫内カメラ（ＣＡＭ）、６７…周囲温度センサ、６８…周囲湿度センサ、６９…補助センサ、８０…制御部、８１…冷凍サイクル制御部、８２…記憶部、８３…情報記録部、８４…情報出力部、２００…サーバ、２０１…情報取得部、２０２…情報変換部、２０２…情報変換部、２０３…学習部、２０３…学習部、２０４…推定部、２０５…情報記録部、２０６…情報出力部、２０７…記憶部、３００…端末装置、３１０…表示装置。

Claims (16)

1. 冷蔵庫に保管された評価対象の食品を夫々識別可能な食品属性情報と、前記食品の種別を識別可能な種別識別情報と、前記食品の保管条件と保管期間に関する保管履歴情報と、前記冷蔵庫の使用に関する冷蔵庫使用履歴情報とを取得する取得部と、
   前記種別識別情報に係る食品の品質の状態を模擬するように構成された食品品質モデルを用いて、前記食品属性情報により識別される前記評価対象の食品の前記保管履歴情報と、前記評価対象の食品の前記保管期間における前記冷蔵庫使用履歴情報とに基づいて、前記評価対象の食品の品質を推定する推定部と、
   を備える情報処理システム。
2. 前記種別識別情報により識別可能なサンプル食品が評価用冷蔵庫に保管され、その後、前記サンプル食品の品質が時間差をつけて検出され、前記時間差をつけて検出された前記品質の検出の結果を用いて前記食品品質モデルの生成を制御するモデル生成制御部（学習部）
   を備える請求項１に記載の情報処理システム。
3. 前記モデル生成制御部は、
   前記種別識別情報と、前記保管履歴情報と、前記冷蔵庫使用履歴情報とを含む情報に基づいて、前記サンプル食品の品質に関わる推定情報を生成するように、前記食品品質モデルを形成する、
   請求項２に記載の情報処理システム。
4. 前記モデル生成制御部は、
   前記サンプル食品の品質を検出する鮮度検出部によって前記検出された鮮度の情報と、前記食品品質モデルによって推定された前記サンプル食品の品質の推定情報との一致度に基づいて、前記食品品質モデルを調整する、
   請求項２に記載の情報処理システム。
5. 前記食品品質モデルは、前記種別識別情報と、前記保管履歴情報と、前記冷蔵庫使用履歴情報とを含む前記評価対象の食品の保管に関する情報に基づいて、前記評価対象の食品の鮮度に関わる推定情報を生成するように形成される、
   請求項１に記載の情報処理システム。
6. 前記推定部は、
   前記食品品質モデルを用いて、前記保管履歴情報と、前記冷蔵庫使用履歴情報とに基づいて、前記評価対象の食品の品質を推定する、
   請求項１に記載の情報処理システム。
7. 前記推定部は、
   前記食品品質モデルを用いて、前記冷蔵庫外の保管情報に基づいて、前記評価対象の食品の、前記冷蔵庫に格納する段階の前記評価対象の食品の品質を推定して、前記推定の結果に基づいて前記冷蔵庫に格納する段階の前記評価対象の食品の品質の初期値を決定する、
   請求項６に記載の情報処理システム。
8. 前記冷蔵庫使用履歴情報に基づいて、前記保管期間を延長して前記評価対象の食品を前記冷蔵庫に保管するときの前記冷蔵庫内の保管環境を推定する保管環境推定部
   を備え、
   前記推定部は、
   前記冷蔵庫における前記評価対象の食品の保管を継続した場合の将来の前記評価対象の食品の品質を、前記食品品質モデルを用いて、前記推定された保管環境に関する保管環境推定情報に基づいて推定する、
   請求項６に記載の情報処理システム。
9. ユーザの嗜好に関する嗜好情報に基づいて前記推定の結果を調整する嗜好調整部
   を備え、
   前記取得部は、
   ユーザの要求に基づいた前記嗜好情報（フィードバック）を受け付ける、
   請求項１に記載の情報処理システム。
10. ユーザの嗜好に関する嗜好情報に基づいて前記食品品質モデルの生成の基準を調整する嗜好調整部
    を備え、
    前記取得部は、
    ユーザの要求に基づいた前記嗜好情報（フィードバック）を受け付ける、
    請求項１に記載の情報処理システム。
11. 前記サンプル食品の画像を撮像する第１カメラと、
    前記第１カメラによって撮像された前記サンプル食品の画像を検出する第１画像処理部と、
    を備え、
    前記モデル生成制御部は、
    前記品質の検出の結果と、前記第１画像処理部によって前記検出された画像の変化を示す第１画像情報とを用いて前記食品品質モデルの生成を制御する、
    請求項２に記載の情報処理システム。
12. 前記評価対象の食品の画像を撮像する第２カメラと、
    前記第２カメラによって撮像された前記評価対象の食品の画像を検出する第２画像処理部と、
    前記評価対象の食品の品質の推定の結果が、所定の条件を満たすか否かを判定する判定部と
    を備え、
    前記判定部は、
    前記品質の検出の結果と、前記第２画像処理部によって前記検出された画像の変化を示す第２画像情報とを用いて前記判定の基準を調整する、
    請求項１に記載の情報処理システム。
13. 前記食品品質モデルは、前記食品の品質を模擬するように機械学習の手法によって形成される、
    請求項１に記載の情報処理システム。
14. 前記評価対象の食品を保管する冷蔵庫は、前記食品を保管する貯蔵室と、前記貯蔵室に設けられた開口部を閉塞し前記食品の出し入れの際に開かれる扉とを備えていて、
    前記冷蔵庫使用履歴情報には、少なくとも前記扉の開閉に関する情報が含まれる、
    請求項１に記載の情報処理システム。
15. 前記扉の開閉に関する情報には、前記扉を開けた回数（開閉回数）を示す情報と、前記扉を開いていた時間（開閉時間）を示す情報との何れかの情報が含まれる、
    請求項１４に記載の情報処理システム。
16. コンピュータに、
    冷蔵庫に保管された評価対象の食品を夫々識別可能な個体識別情報と、前記食品の種別を識別可能な種別識別情報と、前記食品の保管期間に関する保管履歴情報と、前記冷蔵庫の使用に関する冷蔵庫使用履歴情報とを取得させて、
    前記種別識別情報に係る食品の品質の状態を模擬するように構成された食品品質モデルを用いて、前記個体識別情報により識別される前記評価対象の食品の前記保管履歴情報と、前記評価対象の食品の前記保管期間における前記冷蔵庫使用履歴情報とに基づいて、前記評価対象の食品の品質を推定させるステップ
    を含む品質推定方法。

Images