JP2020106257A - 冷蔵庫システム、サーバ装置、冷蔵庫、通信端末およびサーバ装置の制御方法 - Google Patents

Abstract

【課題】冷蔵庫内の収納物に変化があった場合に、変化前の冷蔵庫内の画像とともに、変化の位置を示す画像を表示することができる冷蔵庫システムを実現することを目的とする。【解決手段】本発明の一態様に係るサーバ装置は、冷蔵庫と通信するサーバ装置であって、前記冷蔵庫から収納室の画像を複数受信する画像受信部と、前回受信した画像に対し所定量以上の差分を有する画像を第１の画像として設定する画像設定部と、前記複数受信した画像のうち前記第１の画像の受信後に受信した第２の画像と前記第１の画像との差分を示す差分情報を取得する差分情報取得部と、前記収納室の画像の送信の要求を要求装置から受信する要求受信部と、前記要求の受信に応じて、前記第１の画像と前記差分情報とを、前記要求装置に送信する画像送信部と、を備える。【選択図】図３

Description

本発明は、冷蔵庫システム、サーバ装置、冷蔵庫、通信端末およびサーバ装置の制御方法に関する。

例えば、下記特許文献１には、冷蔵庫の扉が開閉されたときの冷蔵庫内を撮像した画像データに基づき、現在の冷蔵庫内の画像データが、以前の画像データに比べて収納物に変化があった場合に、収納物の変化位置を、現在の冷蔵庫内の画像データに重畳表示することができる技術が開示されている。

特開２００７−４６８３４号公報

上記特許文献１に記載の冷蔵庫は、冷蔵庫の収納室の現在の画像上に収納物の変化がある位置を示す表示を行っていたので、収納室の変化前の画像とともに、変化後の位置を示す表示をすることは行われていなかった。

本発明は、例えば、冷蔵庫内の収納物に変化があった場合に、変化前の冷蔵庫内の画像とともに、変化の位置を示す画像を表示することができる冷蔵庫システムを実現することを目的とする。

（１）本発明の一態様に係る冷蔵庫システムは、冷蔵庫とサーバ装置とを備えた冷蔵庫システムであって、前記サーバ装置は、前記冷蔵庫から収納室の画像を複数受信する画像受信部と、前回受信した画像に対し所定量以上の差分を有する画像を第１の画像として設定する画像設定部と、前記複数受信した画像のうち前記第１の画像の受信後に受信した第２の画像と前記第１の画像との差分を示す差分情報を取得する差分情報取得部と、前記収納室の画像の送信の要求を要求装置から受信する要求受信部と、前記要求の受信に応じて、前記第１の画像と前記差分情報とを、前記要求装置に送信する画像送信部と、を備え、前記冷蔵庫は、前記収納室の画像を撮像する撮像部と、前記収納室の画像を前記サーバ装置に送信する画像送信部と、を備えることを特徴とする。

（２）本発明の一態様に係るサーバ装置は、冷蔵庫と通信するサーバ装置であって、前記冷蔵庫から収納室の画像を複数受信する画像受信部と、前回受信した画像に対し所定量以上の差分を有する画像を第１の画像として設定する画像設定部と、前記複数受信した画像のうち前記第１の画像の受信後に受信した第２の画像と前記第１の画像との差分を示す差分情報を取得する差分情報取得部と、前記収納室の画像の送信の要求を要求装置から受信する要求受信部と、前記要求の受信に応じて、前記第１の画像と前記差分情報とを、前記要求装置に送信する画像送信部と、を備えることを特徴とする。

（３）本発明の一態様に係る冷蔵庫は、サーバ装置と通信する冷蔵庫であって、前記冷蔵庫の収納室の画像を撮像する撮像部と、前記収納室の画像を前記サーバ装置に送信する画像送信部と、前記収納室の画像の送信の要求を前記サーバ装置に送信する冷蔵庫要求送信部と、前記送信の要求に応じて、前回撮像した画像に対し所定量以上の差分を有する第１の画像と、当該第１の画像の撮像後に撮像した第２の画像との差分を示す差分情報とを、前記サーバ装置から受信する冷蔵庫画像受信部と、前記第１の画像と前記差分情報に基づいた表示とを冷蔵庫表示部に表示する冷蔵庫表示制御部と、を備えることを特徴とする。

（４）本発明の一態様に係る通信端末は、サーバ装置と通信する通信端末であって、冷蔵庫の収納室の画像を送信する要求を前記サーバ装置に送信する端末要求送信部と、前回撮像された画像に対し所定量以上の差分を有する第１の画像と、当該第１の画像の撮像後に撮像された第２の画像と当該第１の画像との差分を示す差分情報とを、前記サーバ装置から受信する端末画像受信部と、前記第１の画像と前記差分情報に基づいた表示とを端末表示部に表示する端末表示制御部と、を備えることを特徴とする。

（５）本発明の一態様に係るサーバ装置の制御方法は、冷蔵庫と通信するサーバ装置の制御方法であって、前記冷蔵庫から収納室の画像を複数受信し、前回受信した画像に対し所定量以上の差分を有する画像を第１の画像として設定し、前記複数受信した画像のうち前記第１の画像の受信後に受信した第２の画像と前記第１の画像との差分を示す差分情報を取得し、前記収納室の画像の送信の要求を要求装置から受信し、前記要求の受信に応じて、前記第１の画像と前記差分情報とを、前記要求装置に送信すること、を特徴とする。

（６）本発明の一態様に係る冷蔵庫システムは、冷蔵庫の収納室の第１の画像と、前記第１の画像が撮像された後に撮像された前記収納室の第２の画像と、の間で変化した領域を検出する検出部と、前記変化した領域を示す領域表示を前記第１の画像に重ね合わせて表示する表示部と、を備えることを特徴とする。

本発明の一実施形態に係る冷蔵庫システム１の概略構成を示したシステム構成図である。 本発明の一実施形態に係る冷蔵庫１００の斜視図である。 本発明の一実施形態に係るサーバ装置１１０の機能的構成の一例を示す図である。 本発明の一実施形態に係る冷蔵庫１００の機能的構成の一例を示す図である。 本発明の一実施形態に係る通信端末１２０の機能的構成の一例を示す図である。 本発明の一実施形態に係る冷蔵庫システム１の第１の画像の設定処理の流れの一例を示すシーケンス図である。 本発明の一実施形態に係る冷蔵庫システム１における要求装置とサーバ装置１１０間の画像の送受信処理の流れの一例を示すシーケンス図である。 本発明の一実施形態の変形例に係る冷蔵庫システム１の外部音声に基づく第１の画像の設定処理の流れの一例を示すシーケンス図である。 本発明の一実施形態の変形例に係る冷蔵庫システム１の位置情報に基づく第１の画像の設定処理の流れの一例を示すシーケンス図である。 本発明の一実施形態の変形例に係る冷蔵庫システム１の購入情報に基づく第１の画像の設定処理の流れの一例を示すシーケンス図である。 Ｓ１０９の判断処理の流れの一例を示すフローチャートである。 本発明の一実施形態に係る冷蔵庫１００または通信端末１２０の端末表示部１２０ａの画面の具体例の一例を示す図である。 本発明の一実施形態に係る冷蔵庫１００または通信端末１２０の端末表示部１２０ａの画面の具体例の一例を示す図である。 本発明の一実施形態に係るサーバ装置１１０の画像関連情報記憶部３３１の構成の一例を示す図である。 本発明の一実施形態に係るサーバ装置１１０の画像関連情報記憶部３３１の構成の一例を示す図である。 本発明の一実施形態に係る冷蔵庫１００または通信端末１２０の表示部に第１の画像（基準画像）と差分情報を表示する処理の流れの一例を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

図１は、本発明の一実施形態に係る冷蔵庫システム１の概略構成を示したシステム構成図である。

図１に示すように、本発明の一実施形態に係る冷蔵庫システム１は、例えば、冷蔵庫１００、サーバ装置１１０、通信端末１２０、およびネットワーク１３０を有する。冷蔵庫１００とサーバ装置１１０と通信端末１２０は、ネットワーク１３０を介して、通信可能に接続されている。また、冷蔵庫１００は、例えば、文字や画像などを出力する冷蔵庫表示部１００ａを扉の表面に備える。また、通信端末１２０は、例えば、文字や画像などを出力する端末表示部１２０ａを備える。

図２は、本発明の一実施形態に係る冷蔵庫１００の斜視図である。図２（ａ）は、冷蔵庫１００の扉を閉じた状態の斜視図である。図２（ｂ）は、冷蔵庫１００の扉を開いた状態の斜視図である。

冷蔵庫１００は、例えば、図２（ａ）及び図２（ｂ）に示すように、冷蔵庫表示部１００ａ、撮像部２０２、冷蔵室２０３、冷凍室２０４、冷蔵室用扉２０５、冷凍室用扉２０６、および載置棚２０７を有する。

冷蔵庫１００は、例えば、冷蔵室２０３、冷凍室２０４等の収納室を有する。そして、冷蔵庫１００は、冷蔵室２０３を密閉するために、前面に冷蔵室用扉２０５を有し、冷凍室２０４を密閉するために、前面に冷凍室用扉２０６を有する。

冷蔵室２０３は、例えば、上面、下面、右側面、左側面、背面に断熱壁を有し、前面の開口部を冷蔵室用扉２０５が囲み、外部から断熱する。冷蔵室２０３は、図２（ｂ）に示すように、収納物が載置される複数の載置棚２０７を有する。

冷蔵室用扉２０５は、例えば、冷蔵室用扉２０５の前面に文字や画像を表示する冷蔵庫表示部１００ａを有する。

冷凍室２０４は、例えば、上面、下面、右側面、左側面、背面に断熱壁を有し、前面の開口部を冷凍室用扉２０６が囲み、外部から断熱する。図２（ｂ）で示す冷凍室２０４は、載置棚はないが、冷蔵室２０３と同様に載置棚を有していても構わない。

冷蔵庫表示部１００ａは、例えば、図２（ａ）に示すように、冷蔵室用扉２０５の前面に設けられる。冷蔵庫表示部１００ａは、例えば、タッチパネル付きの液晶パネルである。冷蔵庫表示部１００ａは、具体的には、例えば、各収納室の画像や温度や文字等を表示し、タッチパネルはユーザからの入力操作を検知する。ここで、冷蔵庫表示部１００ａは、冷凍室用扉２０６の前面に設けられていても構わない。

撮像部２０２は、例えば、図２（ｂ）に示すように冷蔵室用扉２０５の背面側に設置されている。撮像部２０２は、具体的には、例えば、カメラである。撮像部２０２は、冷蔵室２０３の各載置棚２０７に載置されている収納物を撮像可能なように設置されている。つまり、撮像部２０２は、冷蔵室用扉２０５の背面側であって、各載置棚２０７を撮像可能な位置に、冷蔵室２０３の内部を撮像可能な方向に向けて設置されている。また、撮像部２０２は、冷凍室用扉２０６の背面側に、冷凍室２０４の内部を撮像可能な方向に向けて設置されている。ここで、撮像部２０２は、例えば、図２（ｂ）に示すように、冷蔵室用扉２０５の背面と冷凍室用扉２０６の背面に、それぞれ複数個有している。ここで、撮像部２０２は、例えば、冷蔵室２０３の各載置棚２０７の収納物が撮像可能な１つのカメラであっても構わない。そして、撮像部２０２は、例えば、冷蔵室２０３の内部を前面から撮像した冷蔵室２０３全体の画像や、冷凍室２０４の内部を前面から撮像した冷凍室２０４全体の画像を撮像する。

図３は、本発明の一実施形態に係るサーバ装置１１０の機能的構成の一例を示す図である。図３を参照して、サーバ装置１１０の機能的構成を説明する。

サーバ装置１１０は、図３に示すように、サーバ通信部３１０、サーバ制御部３２０、およびサーバ記憶部３３０を有する。

サーバ制御部３２０は、例えば、サーバ記憶部３３０に格納されるサーバ制御プログラムに従って各種の情報処理を実行する。ここで、このサーバ制御プログラムは、ネットワーク１３０を介してダウンロードされて、サーバ記憶部３３０に格納されても良い。サーバ制御部３２０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサであり、プロセッサは上述のサーバ制御プログラムを実行することにより、サーバ制御部３２０として動作する。

サーバ記憶部３３０は、例えば、サーバ制御部３２０によって実行されるサーバ制御プログラムや、サーバ制御プログラムの実行により生成されたデータや外部から取得したデータなど、サーバ装置１１０の各種の情報処理に必要となる情報を記憶する。サーバ記憶部３３０は、例えば、フラッシュメモリやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により実現可能である。

サーバ通信部３１０は、例えば、ネットワーク１３０を介して、冷蔵庫１００と通信端末１２０と通信し、冷蔵庫１００や通信端末１２０との間で、画像や信号等の各種データの送受信を行う。

サーバ通信部３１０は、図３に示すように、画像受信部３１１、開閉情報受信部３１２、音声受信部３１３、位置情報受信部３１４、購入情報受信部３１５、要求受信部３１６、およびサーバ画像送信部３１７を有する。

画像受信部３１１は、例えば、冷蔵庫１００の撮像部２０２により撮像された収納室（冷蔵室、冷凍室など）の内部の画像である画像情報を冷蔵庫１００から受信する。画像受信部３１１は、例えば、画像情報と共に、画像が撮像された撮像時刻（日付を含む）を冷蔵庫１００から受信する。また、画像受信部３１１は、例えば、収納室の内部の画像の大きさを示す画像サイズを受信する。

開閉情報受信部３１２は、例えば、冷蔵庫１００の冷蔵室用扉２０５または冷凍室用扉２０６の扉の開閉に関する開閉情報を冷蔵庫１００から受信する。開閉情報受信部３１２は、例えば、扉の開放時間または扉の開閉回数のいずれかを冷蔵庫１００から受信する。開閉情報受信部３１２は、具体的には、例えば、扉が継続して開放され続けた時間を示す開放時間と、扉の開放の開始時刻と終了時刻とを受信する。また、開閉情報受信部３１２は、具体的には、例えば、連続した扉の開閉回数と、連続した扉の開閉の開始時刻と終了時刻とを受信する。

音声受信部３１３は、例えば、冷蔵庫１００の外部の音声である外部音声の音声情報を冷蔵庫１００から受信する。また、音声受信部３１３は、例えば、冷蔵庫１００で外部音声が入力された音声入力時刻を、音声情報に対応付けて、冷蔵庫１００から受信する。

位置情報受信部３１４は、例えば、通信端末１２０の位置を示す位置情報を通信端末１２０から受信する。位置情報受信部３１４は、具体的には、例えば、通信端末１２０の位置情報が所定の場所であるときの位置情報を受信する。また、位置情報受信部３１４は、具体的には、例えば、所定の場所に到着した到着時刻を受信する。ここで、所定の場所は、例えば、通信端末１２０に登録された自宅や所定の店舗の位置情報である。

購入情報受信部３１５は、例えば、物の購入を示す購入情報を受信する。また、購入情報受信部３１５は、例えば、物を購入した時刻を示す購入時刻を受信する。購入情報受信部３１５は、具体的には、例えば、通信端末１２０が備えている電子決裁の機能で物が購入されたことを示す購入情報と購入時刻とを通信端末１２０から受信する。ここで、購入情報受信部３１５は、冷蔵庫１００に紐付けされているユーザが、通信端末１２０以外の他の端末で購入した購入情報と購入時刻とを、他の端末から受信しても良い。また、購入情報受信部３１５は、物を購入した購入先の店舗が管理しているサーバ装置やＰＯＳ装置から購入情報と購入時刻とを受信しても良い。ここで、購入情報は、例えば、購入した物の種類（卵、じゃがいも、牛乳等）や購入場所（店舗名等）や購入価格である。

要求受信部３１６は、例えば、冷蔵庫１００の収納室の画像の送信の要求を要求装置から受信する。要求受信部３１６は、具体的には、例えば、収納室の画像の送信の要求を冷蔵庫１００または通信端末１２０から受信する。ここで、要求装置は、冷蔵庫１００や通信端末１２０に限らず、他のサーバ装置や、他の冷蔵庫や、他の家電機器や、他の通信端末であっても構わない。また、要求受信部３１６は、要求装置が画像を表示させる表示部の画面サイズを取得する。

サーバ画像送信部３１７は、例えば、要求受信部３１６が受信した画像の送信の要求の受信に応じて、第１の画像と、第１の画像と他の画像との差分情報と、を要求元の要求装置に送信する。サーバ画像送信部３１７は、具体的には、例えば、画像の送信の要求元である冷蔵庫１００または通信端末１２０に、第１の画像（基準画像）の画像情報と、第１の画像と他の画像との差分を示す差分情報（差分位置情報、差分画像情報、変化情報）とを送信する。また、サーバ画像送信部３１７は、第１の画像の受信後に受信された第２の画像と、第２の画像の撮像時刻と、差分情報に対応付けられた撮像時刻とを、冷蔵庫１００や通信端末１２０などの要求装置に送信する。ここで、第１の画像（基準画像）は、収納室の画像を要求装置の表示部に表示するときの背景画像となる画像を示す。

サーバ制御部３２０は、図３に示すように、例えば、画像取得部３２１、第１の差分取得部３２２、情報取得部３２３、画像設定部３２４、差分情報生成部３２５、第２の差分取得部３２６、および送信データ取得部３２７を有する。

画像取得部３２１は、例えば、画像受信部３１１が受信した冷蔵庫１００の収納室の画像を示す画像情報と画像が撮像された撮像時刻と画像サイズとを取得する。そして、画像取得部３２１は、例えば、図１４（ａ）に示すように、受信した画像情報と、画像が撮像された撮像時刻とを対応付け、画像関連情報のデータとして、サーバ記憶部３３０の画像関連情報記憶部３３１に記憶させる。

第１の差分取得部３２２は、例えば、画像受信部３１１が前回受信した画像情報を画像関連情報記憶部３３１から取得し、今回受信した画像情報と前回受信した画像情報との差分を抽出し、その差分を示す差分情報を取得する。そして、第１の差分取得部３２２は、具体的には、例えば、取得した差分情報を、今回受信した画像情報に対応付けて、画像関連情報記憶部３３１に記憶させる。具体的には、第１の差分取得部３２２は、図１４（ａ）に示すように、今回受信した画像情報が、撮像時刻が２０１８年１２月２２日１０時の画像情報：Ａ２である場合、前回受信した画像情報：Ａ１との差分情報であるＤ２を、画像情報：Ａ２に対応付けて画像関連情報記憶部３３１の画像関連情報として記憶する。ここで、差分情報は、詳細には図１５に示すように、差分情報毎に差分位置情報と差分画像情報と変化情報を有しているが、詳細は後述する。

ここで、２つの画像情報の差分処理について、第１の差分取得部３２２は、具体的には、例えば、今回受信した画像情報と前回受信した画像情報に対し、ノイズを除去し、２つの画像情報をＨＳＶ変換して色相、彩度、明度の三要素に変換した後に、二値化処理やエッジ処理を行い、２つの画像情報を比較して、所定量以上の差分がある範囲を抽出する。上記した差分処理については、他にも様々な方法があるが、周知であるので詳細については説明を省略する。また、所定量以上の差分の範囲は、例えば、差分がある画素を抽出した後に、画像情報を複数の矩形のエリアに分割し、各矩形のエリアにおける差分がある画素数をカウントし、そのカウントした画素数が所定量以上の矩形のエリアを、所定量以上の差分がある範囲として抽出される。

第１の差分取得部３２２は、上記した差分処理に基づき、例えば、差分情報として、所定量以上の差分を有する範囲の画像上の位置を示す差分位置情報と、所定量以上の差分を有する範囲の画像を示す差分画像情報と、画像の変化の状態を示す変化情報とを含む差分関連情報を取得する。そして、第１の差分取得部３２２は、例えば、図１５に示すように、今回受信した画像情報の撮像時刻と差分情報と差分関連情報とを対応付けて、画像関連情報記憶部３３１に記憶させる。

第１の差分取得部３２２は、具体的には、例えば、所定量以上の差分がある範囲を矩形で切り出し、矩形の４つの頂点のうちのいずれか１点の座標と、その１点の対角線上にある対向する他の頂点の座標との２つの座標情報を差分位置情報として取得する。

また、第１の差分取得部３２２は、具体的には、例えば、差分位置情報が示す矩形範囲の画像を今回受信した画像から切り出し、差分画像情報として取得する。また、第１の差分取得部３２２は、後述する変化情報に基づき、差分画像情報として切り出す画像を今回受信した画像から切り出すか、前回受信した画像から切り出すかを決定してもよい。つまり、第１の差分取得部３２２は、具体的には、前回受信した画像から収納物が増えたという変化情報であった場合、今回受信した画像から、差分位置情報が示す矩形範囲の画像を切り出して、差分画像情報として取得する。また、第１の差分取得部３２２は、具体的には、前回受信した画像から収納物が減少したという変化情報であった場合、前回受信した画像から、差分位置情報が示す矩形範囲の画像を切り出して、差分画像情報として取得する。また、第１の差分取得部３２２は、具体的には、変化情報が増加または減少のいずれでもない場合は、前回受信した画像または今回受信した画像のいずれか一方の画像から、差分位置情報が示す矩形範囲の画像を切り出して、差分画像情報として取得する。

また、第１の差分取得部３２２は、具体的には、例えば、今回受信した画像情報と前回受信した画像情報との差分がある範囲の画像において、物の輪郭線が存在しない画像から、輪郭線がある画像に変化した場合や、画像の色が冷蔵庫１００の収納室内の背面色（白色など）から、背面色とは異なる色を含む画像に変化した場合に、収納物の「増加」を変化情報として取得する。また、第１の差分取得部３２２は、例えば、差分がある範囲の画像が、物の輪郭線が含まれる画像から、輪郭線が存在しない画像に変化した場合や、画像の色が収納室内の背面色と異なる色を含む画像から、背面色と異なる色を含まない画像に変化した場合に、収納物の「減少」を変化情報として取得する。また、第１の差分取得部３２２は、例えば、差分がある範囲の画像が、収納室内の背面色と異なる第１の色を含む画像から、第１の色とは異なる第２の色を含む画像に変化した場合（黄色から赤色など）には、収納物の「変化」を変化情報として取得する。つまり、第１の色を含む画像から第２の色を含む画像に変化した場合は、例えば、冷蔵庫１００のカメラの前面に置かれた収納物がなくなり、その収納物の背面側にあった収納物が見えている画像である場合と、カメラの前面に置かれていた収納物の代わりに他の収納物が置かれた場合の２通りがあり、この場合は変化情報を「変化」とする。

そして、第１の差分取得部３２２は、例えば、図１５に示すように、図１４（ａ）の画像関連情報の差分情報と撮像時刻とに対応付けて、差分画像情報と差分位置情報と変化情報とを対応付けた差分関連情報として、画像関連情報記憶部３３１に記憶させる。第１の差分取得部３２２は、具体的には、例えば、１つの差分情報に対して、複数の差分が存在する場合は、１つの差分情報に対して、複数の差分位置情報と複数の差分画像情報と複数の変化情報とを対応付けて記憶させる。

情報取得部３２３は、例えば、画像に関連する情報以外の各種の情報を取得する。

情報取得部３２３は、例えば、開閉情報受信部３１２が受信した冷蔵庫１００の扉の開閉情報を取得する。情報取得部３２３は、具体的に、例えば、扉の開放時間と、扉の開放の開始時刻と終了時刻を取得する。そして、情報取得部３２３は、例えば、扉の開放の開始時刻から終了時刻の間の撮像時刻を有する画像情報を画像関連情報記憶部３３１から検索し、検索された画像情報に対応付けて、扉の開放時間を画像関連情報記憶部３３１に記憶させる。具体的には、情報取得部３２３は、図１４（ａ）に示すように、画像関連情報記憶部３３１に、画像：Ａ１、撮像時刻：２０１８年１２月２０日１０時１０分が記憶されている場合に、扉の開放時間：３００秒、扉の開放の開始時刻：２０１８年１２月２０日１０時５分、扉の開放の終了時刻：２０１８年１２月２０日１０時１０分を取得したときは、扉の開放の開始時刻から終了時刻までの撮像時刻を有する画像の画像情報：Ａ１に対応付けて、開放時間：３００を画像関連情報記憶部３３１に記憶させる。

また、情報取得部３２３は、具体的に、例えば、連続した扉の開閉回数と、連続した扉の開閉の開始時刻と終了時刻とを取得する。そして、情報取得部３２３は、例えば、連続した扉の開閉の開始時刻から終了時刻までの撮像時刻を有する画像情報を画像関連情報記憶部３３１から検索し、検索された画像情報に対応付けて、扉の開閉回数を画像関連情報記憶部３３１に記憶させる。具体的には、情報取得部３２３は、図１４（ａ）に示すように、画像関連情報記憶部３３１に、画像：Ａ２、撮像時刻：２０１８年１２月２２日１０時００分が記憶されている場合に、連続した扉の開閉回数：１０回、連続した扉の開閉の開始時刻：２０１８年１２月２２日０９時５９分、終了時刻：２０１８年１２月２２日１０時０５分を取得したときには、開始時刻から終了時刻までの撮像時刻を有する画像の画像情報：Ａ２に対応付けて、開閉回数：１０を画像関連情報記憶部３３１に記憶させる。

また、情報取得部３２３は、例えば、音声受信部３１３が受信した冷蔵庫１００の外部音声の音声情報と、冷蔵庫１００に外部音声が入力された音声入力時刻を取得する。そして、情報取得部３２３は、例えば、音声情報が、所定のキーワードを含むかどうかを判断し、所定のキーワードを含む場合は、外部音声が入力された音声入力時刻から所定時間の範囲内の撮像時刻を有する画像関連情報記憶部３３１に記憶されている画像情報に対応付けて、音声情報を画像関連情報記憶部３３１に記憶させる。具体的には、情報取得部３２３は、図１４（ａ）に示すように、画像関連情報記憶部３３１に、画像：Ａ１、撮像時刻：２０１８年１２月２０日１０時１０分が記憶されている場合に、音声情報：Ｓ１、音声が入力された音声入力時刻：２０１８年１２月２０日１０時８分を取得したときには、入力時刻から所定時間の範囲内（例えば、５分以内）の撮像時刻を有する画像の画像情報：Ａ１に対応付けて、音声情報：Ｓ１を画像関連情報記憶部３３１に記憶させる。ここで、所定のキーワードは、サーバ記憶部３３０に記憶されていて、例えば、物の購入を示す「買い物」、「買いました」や店舗名などのキーワードや、物を冷蔵庫１００に入れることを示す「入れます」などのキーワードである。また、所定のキーワードは、ネットワーク１３０から取得しても構わない。

また、情報取得部３２３は、例えば、位置情報受信部３１４が受信した通信端末１２０の位置が所定の場所であることを示す位置情報と、所定の場所に到着した到着時刻を受信する。そして、情報取得部３２３は、図１４（ｃ）に示すように、到着時刻と位置情報を画像関連情報記憶部３３１に記憶させる。

また、情報取得部３２３は、例えば、購入情報受信部３１５が受信した物の購入を示す購入情報と、物の購入をした時刻を示す購入時刻を取得する。そして、情報取得部３２３は、例えば、図１４（ｄ）に示すように、購入時刻と購入情報とを、画像関連情報記憶部３３１に記憶させる。

画像設定部３２４は、例えば、前回受信した画像に対し所定量以上の差分を有する画像を第１の画像（基準画像）として設定する。画像設定部３２４は、具体的には、例えば、第１の差分取得部３２２により今回受信した画像と前回受信した画像との差分情報が所定量以上の差分を有する場合に、今回受信した画像を第１の画像（基準画像）として設定する。そして、画像設定部３２４は、図１４（ｂ）に示すように、設定した第１の画像（基準画像）を基準画像情報として、画像関連情報記憶部３３１に記憶させる。

また、画像設定部３２４は、例えば、今回受信した画像に対応する扉の開閉情報を画像関連情報記憶部３３１から取得する。そして、画像設定部３２４は、今回受信した画像と前回受信した画像とが所定量以上の差分を有する場合であり、今回受信した画像に対応する扉の開閉情報が所定の状態である場合に、今回受信した画像を第１の画像（基準画像）として設定する。ここで、画像設定部３２４は、例えば、今回受信した画像と前回受信した画像との差分情報が所定量に満たない場合でも、今回受信した画像に対応する扉の開閉情報が所定の状態である場合に、今回受信した画像を第１の画像（基準画像）として設定してもよい。

また、画像設定部３２４は、例えば、今回受信した画像と前回受信した画像とが所定量以上の差分を有し、今回受信した画像に対応する扉の開放時間が所定時間以上（例えば、３分以上）である場合、または、今回受信した画像に対応する扉の開閉回数が所定時間以内に所定回数以上（連続した扉の開閉回数が所定回数以上）である場合、今回受信した画像を第１の画像（基準画像）として設定する。

ここで、画像設定部３２４は、開閉情報受信部３１２が受信した冷蔵庫１００の扉の開閉情報の履歴に基づき、今回の開放時間が、収納室の画像に大きな変化がある場合の開放時間に類似している場合に、今回受信した画像を第１の画像（基準画像）として設定してもよい。また、画像設定部３２４は、連続した扉の開閉の場合についても同様に、扉の開閉情報の履歴に基づき、今回の開閉回数が、収納室の画像に大きな変化がある場合の連続した扉の開閉回数に類似している場合に、今回受信した画像を第１の画像（基準画像）として設定してもよい。

また、画像設定部３２４は、例えば、今回受信した画像と前回受信した画像との差分を示す領域の個数が所定個以上（例えば、３個以上）、または、領域の面積が所定値以上である場合に、今回受信した画像を第１の画像（基準画像）として設定する。ここで、画像設定部３２４は、差分の領域の個数または差分の領域の面積に基づき、第１の画像を設定する場合は、差分情報生成部３２５に差分情報を送り、差分の領域の個数と面積とを算出するように指示し、差分情報生成部３２５から差分の領域の個数と面積を取得する。差分情報生成部３２５の処理については、後述する。

また、画像設定部３２４は、例えば、音声受信部３１３により受信された冷蔵庫１００の外部音声が所定のキーワードを含むときの画像を前記第１の画像として設定する。つまり、画像設定部３２４は、今回受信した画像と前回受信した画像とが所定量以上の差分を有し、今回受信した画像に対応する冷蔵庫１００の外部音声の音声情報が所定のキーワードを含む場合に、今回受信した画像を第１の画像（基準画像）として設定する。ここで、画像設定部３２４は、例えば、今回受信した画像と前回受信した画像との差分情報が所定量に満たない場合でも、今回受信した画像に対応する冷蔵庫１００の外部音声の音声情報が所定のキーワードを含む場合に、今回受信した画像を第１の画像（基準画像）として設定してもよい。また、画像設定部３２４は、今回受信した画像に対応する外部音声が、画像関連情報記憶部３３１に記憶されている場合に、今回受信した画像を第１の画像（基準画像）として設定してもよい。

また、画像設定部３２４は、例えば、位置情報受信部３１４により受信された通信端末１２０の位置を示す位置情報が、所定の場所である位置情報を受信後に、画像受信部３１１が受信した画像を前記第１の画像として設定する。画像設定部３２４は、具体的には、例えば、通信端末１２０の位置を示す位置情報が、ある店舗に所定時間以上滞在したという位置情報を受信後に、画像受信部３１１が新たに画像を受信した場合に、その新たに受信した画像を第１の画像として設定する。また、画像設定部３２４は、通信端末１２０の位置情報がある店舗に所定時間以上滞在した後、自宅の位置情報から所定範囲内に入ったという位置情報を受信し、その後、画像受信部３１１が新たに画像を受信した場合に、その新たに受信した画像を第１の画像として設定する。

ここで、画像設定部３２４は、今回受信した画像と前回受信した画像とが所定量以上の差分を有し、位置情報受信部３１４により受信された通信端末１２０が所定の場所に到着した到着時刻以後に、受信した今回の画像を、第１の画像（基準画像）として設定する。ここで、画像設定部３２４は、例えば、今回受信した画像と前回受信した画像との差分情報が所定量に満たない場合でも、位置情報受信部３１４により受信された通信端末１２０が所定の場所に到着した到着時刻以後に、受信した今回の画像を、第１の画像（基準画像）として設定してもよい。

また、画像設定部３２４は、例えば、購入情報受信部３１５により受信された物の購入情報を受信後に、画像受信部３１１が受信した画像を前記第１の画像として設定する。画像設定部３２４は、具体的には、例えば、購入情報を受信後に、位置情報受信部３１４により受信された通信端末１２０の位置情報が自宅の位置情報を受信し、さらに、その後、画像受信部３１１が新たに画像を受信した場合に、その新たに受信した画像を第１の画像として設定する。

ここで、画像設定部３２４は、今回受信した画像と前回受信した画像とが所定量以上の差分を有し、購入情報受信部３１５により受信された物の購入情報を受信後に受信した今回の画像を、第１の画像（基準画像）として設定する。ここで、画像設定部３２４は、例えば、今回受信した画像と前回受信した画像との差分情報が所定量に満たない場合でも、購入情報受信部３１５により受信された物の購入情報を受信後に、受信した今回の画像を、第１の画像（基準画像）として設定してもよい。

また、画像設定部３２４は、画像関連情報記憶部３３１に基準画像情報が記憶されていない場合は、画像受信部３１１が最初に受信した収納室の画像の画像情報を、第１の画像（基準画像）として、画像関連情報記憶部３３１の基準画像情報に記憶する。また、予め、収納室が空の状態の収納室の画像を基準画像情報として記憶していてもよい。

画像設定部３２４は、例えば、画像関連情報記憶部３３１に図１４（ａ）に示すような画像関連情報が記憶されている場合に、第１の画像（基準画像）を設定する方法について、以下に説明する。

画像設定部３２４は、具体的に、例えば、画像情報：Ａ１を受信したときに、画像情報：Ａ１に対応する扉の開放時間が所定時間以上（例えば、１８０秒以上）である３００秒であり、音声情報：Ｓ１が記憶されているので、画像情報：Ａ１を第１の画像（基準画像）として設定する。次に、画像設定部３２４は、画像情報：Ａ２を受信したときに、画像情報：Ａ２に対応する扉の開閉回数が、所定時間以内（１８０秒以内）に所定回数以上（１０回以上）の１０回なので、画像情報：Ａ２を第１の画像（基準画像）として設定し、図１４（ｂ）の基準画像情報に画像情報：Ａ２が記憶される。さらに、画像設定部３２４は、画像情報：Ａ３、Ａ４、Ａ５を受信するが、開閉情報が所定条件を満たさないので、第１の画像（基準画像）は画像情報：Ａ２で変更されない。

差分情報生成部３２５は、例えば、画像設定部３２４の指示を受けて、ある差分情報に対応する差分の領域の個数と面積とを算出し、算出した差分の領域の個数と面積とを画像設定部３２４に送る。差分情報生成部３２５は、具体的には、例えば、ある差分情報に対応する差分位置情報または差分画像情報の個数をカウントして、ある差分情報に対応する差分の領域の個数を算出する。また、差分情報生成部３２５は、複数の差分情報に対し、各差分情報の差分の領域の個数を合計した個数を算出する。

また、差分情報生成部３２５は、例えば、ある差分情報に対応する差分の領域の面積を算出する。差分情報生成部３２５は、具体的には、例えば、ある差分情報に対応する差分位置情報を取得し、差分位置情報の対角線上の２点の頂点座標に基づき、差分の矩形範囲の縦と横の長さを求め、矩形範囲の面積を算出する。ここで、差分情報生成部３２５は、ある差分情報に対応する差分位置情報が複数存在する場合は、複数の差分位置情報に基づき、差分情報の各矩形範囲の面積を算出し、全ての差分情報の矩形範囲の面積の合計を差分情報の面積として算出する。また、画像取得部３２１により取得された収納室の画像サイズに基づき、収納室の画像全体の面積を算出し、収納室の画像全体の面積に対する差分情報の領域の面積の割合を算出する。

第２の差分取得部３２６は、例えば、冷蔵庫１００の収納室の画像の送信の要求を要求受信部３１６が要求装置から受信したことに応じて、第１の画像の受信後に受信した第２の画像との差分を示す差分情報を取得する。

まず、第２の差分取得部３２６は、具体的には、例えば、画像の送信の要求を受信したことに応じて、第１の画像（基準画像）の画像情報を画像関連情報記憶部３３１の基準画像情報（図１４（ｂ））から取得する。

そして、第２の差分取得部３２６は、具体的に、例えば、第１の画像（基準画像）に対応する撮像時刻を画像関連情報（図１４（ａ））から取得する。さらに、第２の差分取得部３２６は、要求を受信した時刻前の一番近い撮像時刻を有する画像情報を第２の画像として画像関連情報から取得する。そして、第２の差分取得部３２６は、第１の画像と第２の画像との差分を示す差分情報と、第２の画像の撮像時刻とを画像関連情報から取得する。

ここで、第２の差分取得部３２６は、第１の画像の撮像時刻以降から、要求を受信した時刻前までの撮像時刻を有する画像情報が複数個存在する場合は、各画像情報に対応する差分情報と、各画像情報の撮像時刻とを対応付けて画像関連情報から取得する。そして、第２の差分取得部３２６は、取得した差分情報に関連する差分位置情報と差分画像情報と変化情報とを差分関連情報（図１５）から取得する。

つまり、第２の差分取得部３２６は、第１の画像と、要求を受信した時刻前の一番近い撮像時刻を有する画像情報である第２の画像と、第１の画像から要求を受信した時刻前までの撮像時刻を有する画像に至るまでに蓄積された差分情報と、各差分情報に対応付けられた撮像時刻を取得する。

また、第２の差分取得部３２６は、第１の画像の撮像時刻以降から、要求を受信した時刻前までの撮像時刻を有する画像情報が複数個存在する場合は、第１の差分取得部３２２での処理と同様に、第１の画像と第２の画像との差分を抽出する処理を行い、第１の画像と第２の画像との差分位置情報と差分画像情報と変化情報とを新たに取得してもよい。

具体的に、第２の差分取得部３２６が行う処理について、図１４、図１５に基づき説明する。

第２の差分取得部３２６は、例えば、要求受信部３１６が要求を受信したことに応じて、図１４（ｂ）の基準画像情報から、第１の画像（基準画像）である画像の画像情報：Ａ２を取得する。そして、第２の差分取得部３２６は、画像情報：Ａ２の撮像時刻：２０１８年１２月２２日１０時００分を図１４（ａ）の画像関連情報から取得する。さらに、第２の差分取得部３２６は、要求を受信した時刻が２０１８年１２月２４日１８時だった場合、画像情報：Ａ２の撮像時刻以降から、画像の送信の要求を受信した時刻までの撮像時刻を有する画像情報を検索し、画像情報：Ａ３、Ａ４を取得する。そして、第２の差分取得部３２６は、第１の画像（基準画像）の画像情報：Ａ２と取得した画像情報：Ａ３との差分情報：Ｄ３と画像情報：Ａ３の撮像時刻とを対応付けて取得し、画像情報：Ａ３とＡ４との差分情報：Ｄ４と画像情報：Ａ４の撮像時刻とを対応付けて取得する。さらに、第２の差分取得部３２６は、差分情報：Ｄ３に対応する差分位置情報：Ｃ４、差分画像情報：Ｉｍ４、変化情報：減少を、図１５に示す差分関連情報から取得する。さらに、第２の差分取得部３２６は、差分情報：Ｄ４に対応する差分位置情報：Ｃ５、差分画像情報：Ｉｍ５、変化情報：減少を、図１５に示す差分関連情報から取得する。

また、第２の差分取得部３２６は、要求受信部３１６が要求を受信した時刻より、画像関連情報に記憶されている最新の画像情報に対応する撮像時刻の方が古い場合は、冷蔵庫１００の現在の収納室の画像である現在画像の送信の要求を、サーバ通信部３１０を介して冷蔵庫１００に送信してもよい。そして、画像取得部３２１が、その要求の送信に応じて冷蔵庫１００から受信した現在画像の画像情報と、現在画像の撮像時刻とを取得し、画像関連情報記憶部３３１に記憶させる。そして、第１の差分取得部３２２が、現在画像と前回受信した画像との差分を分析し差分情報を取得し、その差分情報を現在画像の画像情報に対応付けて、画像関連情報記憶部３３１に記憶させる。さらに、第２の差分取得部３２６は、上記と同様に、第１の画像（基準画像）の画像情報を取得し、第１の画像の画像情報の撮像時刻から現在画像の画像情報の撮像時刻までの各画像情報間の差分情報と、各画像情報の撮像時刻とを画像関連情報から取得し、各差分情報に対応する差分位置情報と差分画像情報と変化情報とを差分関連情報から取得する。

送信データ取得部３２７は、例えば、第２の差分取得部３２６により取得された差分情報だけでなく、それ以外のデータを取得し、サーバ画像送信部３１７に送る。

送信データ取得部３２７は、例えば、第２の差分取得部３２６により取得された第１の画像の画像情報と、第２の画像の画像情報と、第１の画像情報と第２の画像情報との差分情報と、差分情報に対応する画像情報の撮像時刻を取得する。また、送信データ取得部３２７は、例えば、第２の画像の撮像時刻を、画像関連情報記憶部３３１の画像関連情報から取得する。

また、送信データ取得部３２７は、画像受信部３１１が取得した収納室の画像の画像サイズと、要求受信部３１６が受信した要求装置の表示部の画面サイズとが異なる場合は、差分位置情報の座標情報を、要求装置の表示部の画面サイズに合わせて変換し、変換した座標情報の差分位置情報を取得する。

さらに、送信データ取得部３２７は、取得した上記の各種情報をサーバ画像送信部３１７に送る。

図４は、本発明の一実施形態に係る冷蔵庫１００の機能的構成の一例を示す図である。図４を参照して、冷蔵庫１００の機能的構成を説明する。

冷蔵庫１００は、図４に示すように、冷蔵庫制御部４００、冷蔵庫通信部４１０、扉開閉検出部４２０、撮像部２０２、冷蔵庫表示部１００ａ、冷蔵庫入力部４５０、外部音声入力部４６０、および冷蔵庫記憶部４７０を有する。

冷蔵庫制御部４００は、例えば、冷蔵庫記憶部４７０に格納される冷蔵庫制御プログラムに従って各種の情報処理を実行する。ここで、この冷蔵庫制御プログラムは、ネットワーク１３０を介してダウンロードされて、冷蔵庫記憶部４７０に格納されても良い。冷蔵庫制御部４００は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサであり、プロセッサは上述の冷蔵庫制御プログラムを実行することにより、冷蔵庫制御部４００として動作する。また、冷蔵庫制御部４００は、リアルタイムクロック（以下、ＲＴＣ）を有しており、時刻情報を取得可能となっている。なお、取得可能な時刻情報には、時刻、日付、曜日などが含まれる。

冷蔵庫記憶部４７０は、例えば、冷蔵庫制御部４００によって実行される冷蔵庫制御プログラムや、冷蔵庫制御プログラムの実行により生成されたデータや外部から取得したデータなど、冷蔵庫１００の各種の情報処理に必要となる情報を記憶する。冷蔵庫記憶部４７０は、例えば、フラッシュメモリやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により実現可能である。

扉開閉検出部４２０は、例えば、冷蔵室用扉２０５と冷凍室用扉２０６のそれぞれの扉の開閉を検知する検出部である。扉開閉検出部４２０は、例えば、開閉を検知するセンサやスイッチであり、冷蔵室用扉２０５と冷凍室用扉２０６との開閉をそれぞれ検知可能なように設置されている。扉開閉検出部４２０は、具体的には、例えば、冷蔵室用扉２０５または冷凍室用扉２０６が開かれたこと、または、閉じられたことを検出し、開閉のそれぞれの状態を開閉情報取得部４０１に通知する。

冷蔵庫入力部４５０は、例えば、冷蔵庫表示部１００ａのタッチパネル付きの表示装置を通してユーザにより入力される。また、冷蔵庫入力部４５０は、冷蔵庫１００の外面に設置されたキー（図示なし）を通して、ユーザに入力されてもよい。

外部音声入力部４６０は、例えば、冷蔵庫１００に設置されたマイクである。外部音声入力部４６０は、例えば、冷蔵庫１００の外部からの音声を示す外部音声の入力があったかどうか判断し、外部音声の入力があったときに、外部音声の入力を検知したことを、音声取得部４０５に通知する。

冷蔵庫制御部４００は、図４に示すように、例えば、開閉情報取得部４０１、撮像画像取得部４０２、冷蔵庫画像取得部４０３、冷蔵庫表示制御部４０４、および音声取得部４０５を有する。

開閉情報取得部４０１は、例えば、扉開閉検出部４２０により冷蔵室用扉２０５または冷凍室用扉２０６のいずれかの扉が開かれたことの通知を受けて、タイマー（図示なし）を動作させる。そして、開閉情報取得部４０１は、例えば、扉が開かれたことの通知を受けて、扉の開放が開始された開始時刻をＲＴＣから取得する。また、開閉情報取得部４０１は、例えば、扉開閉検出部４２０により開かれた扉が閉じられたことの通知を受けて、タイマーを停止させ、タイマーが計測した時間を扉の開放時間として取得する。そして、開閉情報取得部４０１は、例えば、開かれた扉が閉じられたことの通知を受けて、扉が閉じられた時刻、つまり、扉の開放が終了した終了時刻をＲＴＣから取得する。タイマーによる経過時間の計測は、周知であるので詳細については説明を省略する。

また、開閉情報取得部４０１は、例えば、開かれた扉が閉じられたという通知を受けた後に、再度扉が開かれたという通知を受けるまでの経過時間を測定し、その経過時間が所定時間以内（例えば、１０秒以内）であれば、連続した扉の開閉であると判断し、そのような連続した扉の開閉の回数を計測する。そして、開閉情報取得部４０１は、例えば、連続した扉の開閉の開始時刻をＲＴＣから取得する。さらに、開閉情報取得部４０１は、例えば、連続した扉の開閉の終了時刻をＲＴＣから取得する。

そして、開閉情報取得部４０１は、例えば、扉の開放時間、扉が開かれた時刻、および扉が閉じられた時刻を開閉情報送信部４１１に送り、ネットワーク１３０を介して、サーバ装置１１０に送信させる。また、開閉情報取得部４０１は、例えば、連続した扉の開閉回数、連続した扉の開閉の開始時刻、および連続した扉の開閉の終了時刻を開閉情報送信部４１１へ送る。

また、開閉情報取得部４０１は、例えば、扉開閉検出部４２０により開かれた扉が閉じられたことの通知を受けて、撮像画像取得部４０２に扉が閉じられたことを通知する。

撮像画像取得部４０２は、例えば、開閉情報取得部４０１から開かれた扉が閉じられたことの通知を受けて、撮像部２０２に、閉じられた扉の背面側の収納室の内部の画像を撮像するように指示する。撮像画像取得部４０２は、具体的には、例えば、冷蔵室用扉２０５が閉じられた通知を受けて、撮像部２０２に、冷蔵室２０３の内部の画像を撮像するように指示する。また、撮像画像取得部４０２は、具体的には、例えば、冷凍室用扉２０６が閉じられた通知を受けて、撮像部２０２に、冷凍室２０４の内部の画像を撮像するように指示する。そして、撮像画像取得部４０２は、例えば、撮像部２０２により撮像された画像を取得し、画像が撮像されたときの撮像時刻をＲＴＣから取得する。さらに、撮像画像取得部４０２は、例えば、取得した画像と撮像時刻とを、画像送信部４１２へ送る。ここで、撮像画像取得部４０２は、例えば、複数の撮像部２０２が存在する場合は、各撮像部が撮像した画像を合成して、冷蔵室２０３を前面から見た冷蔵室２０３内の全体の画像を生成し取得する。

また、撮像画像取得部４０２は、例えば、冷蔵庫要求受信部４１４から冷蔵庫１００の冷蔵室２０３または冷凍室２０４の内部の現在の画像を取得する要求の通知を受けて、撮像部２０２に冷蔵室２０３または冷凍室２０４内の現在の画像の撮像を指示する。そして、撮像画像取得部４０２は、上記と同様に、撮像された画像と撮像時刻とを取得し、それらを画像送信部４１２へ送る。

冷蔵庫画像取得部４０３は、例えば、冷蔵庫画像受信部４１５がサーバ装置１１０から受信した、第１の画像と、差分情報（差分位置情報、差分画像情報、変化情報）と、第２の画像と、第２の画像の撮像時刻と、差分情報に対応付けられた撮像時刻とを取得する。そして、冷蔵庫画像取得部４０３は、例えば、取得した各種の情報を冷蔵庫表示制御部４０４に送る。

冷蔵庫表示制御部４０４は、例えば、冷蔵庫画像取得部４０３から送られてきた第１の画像と差分情報とを冷蔵庫表示部１００ａに表示する。また、冷蔵庫表示制御部４０４は、冷蔵庫入力部４５０からの指示に応じて、冷蔵庫画像取得部４０３から送られてきた第２の画像や差分画像情報を冷蔵庫表示部１００ａに表示する。

冷蔵庫表示制御部４０４は、具体的には、例えば、差分関連情報に含まれる差分位置情報が示す第１の画像上の矩形範囲を囲む線を、冷蔵庫表示部１００ａに表示されている第１の画像上に表示する。さらに、冷蔵庫表示制御部４０４は、例えば、差分関連情報に含まれる変化情報に応じて、矩形範囲を異なる表示形態で表示する。冷蔵庫表示制御部４０４は、具体的には、例えば、変化情報：減少の場合は、矩形の線を赤色で表示し、変化情報：増加の場合は、矩形の線を青色で表示し、変化情報：変化の場合は、矩形の線を黄色で表示する。また、冷蔵庫表示制御部４０４は、変化情報：変化の場合は、赤色と青色を重ね合わせて表示してもよい。ここで、冷蔵庫表示制御部４０４は、矩形範囲の表示形態について、変化情報に応じて、矩形の線の線種（点線、二重線など）や線の太さを、変化情報に応じて異なる線種や太さで表示してもよいし、矩形範囲の内部の背景色を変化情報に応じて異なる色で表示してもよい。また、冷蔵庫表示制御部４０４は、変化情報が示す文字情報である「増加」、「現象」、および「変化」の文字を、冷蔵庫表示部１００ａに表示されている第１の画像上の差分情報が示す矩形範囲内または矩形範囲の近辺に表示してもよい。

具体的には、冷蔵庫表示制御部４０４は、図１２（ａ）に示すように、冷蔵室２０３の画像である第１の画像（基準画像）の差分位置情報が示す矩形の範囲に対し、変化情報：減少を示す矩形の線（点線）と、変化情報：増加を示す矩形の線（実線）とを表示する。

また、冷蔵庫表示制御部４０４は、例えば、図１３（ａ）に示すように、差分画像情報に対応付けられた撮像時刻を各差分画像情報の画像の近辺に表示してもよい。

また、冷蔵庫表示制御部４０４は、例えば、差分情報に含まれる差分画像情報と変化情報と、差分情報に対応付けられた撮像時刻に基づき、差分画像情報と変化情報とを、差分情報に対応付けられた撮像時刻毎に纏めて、冷蔵庫表示部１００ａに表示する。冷蔵庫表示制御部４０４は、具体的には、例えば、図１２（ｂ）に示すように、各差分情報に対応付けられた撮像時刻を表示し、その撮像時刻の日付毎に纏めて、各差分画像情報が示す画像を表示するとともに、差分画像情報を矩形で囲む線を変化情報に応じた表示形態で冷蔵庫表示部１００ａに表示する。また、冷蔵庫表示制御部４０４は、具体的には、例えば、各差分画像情報が示す画像の近辺に変化情報が示すテキスト情報（減少、増加、変化など）を冷蔵庫表示部１００ａに表示してもよい。

また、冷蔵庫表示制御部４０４は、例えば、第１の画像（基準画像）と差分情報とを冷蔵庫表示部１００ａに表示しているときに、冷蔵庫入力部４５０からの差分情報の領域を指示する入力があった場合は、図１３（ｂ）に示す第１の画像とともに、図１３（ｃ）に示すように、指示された差分情報の撮像時刻に撮像された第２の画像とを冷蔵庫表示部１００ａに表示する。

音声取得部４０５は、例えば、外部音声入力部４６０から冷蔵庫１００の外部からの音声である外部音声の入力があった通知を受けて、外部音声入力部４６０に入力された外部音声の音声情報と外部音声が入力された時刻を示す音声入力時刻を取得し、音声情報と音声入力時刻とを音声送信部４１６に送る。

冷蔵庫通信部４１０は、図４に示すように、例えば、開閉情報送信部４１１、画像送信部４１２、冷蔵庫要求送信部４１３、冷蔵庫要求受信部４１４、冷蔵庫画像受信部４１５、および音声送信部４１６を有する。

開閉情報送信部４１１は、例えば、開閉情報取得部４０１から受け取った、扉の開閉に関する各種の開閉情報を、ネットワーク１３０を介してサーバ装置１１０に送信する。

画像送信部４１２は、例えば、撮像画像取得部４０２から受け取った、収納室の画像と画像に関連する各種の情報を、ネットワーク１３０を介してサーバ装置１１０に送信する。

冷蔵庫要求送信部４１３は、例えば、冷蔵庫１００の収納室の画像である画像情報の送信の要求を、ネットワーク１３０を介してサーバ装置１１０に送信する。

冷蔵庫要求受信部４１４は、例えば、冷蔵庫１００や通信端末１２０や他の端末から、冷蔵室２０３または冷凍室２０４の収納室の内部の現在の画像を取得する要求を受信し、その要求があったことを、撮像画像取得部４０２に通知する。

冷蔵庫画像受信部４１５は、例えば、ネットワーク１３０を介してサーバ装置１１０から、第１の画像と、差分情報（差分位置情報、差分画像情報、変化情報）と、第２の画像と、第２の画像の撮像時刻と、差分情報に対応付けられた撮像時刻とを受信する。そして、冷蔵庫画像受信部４１５は、受信した各種のデータを冷蔵庫画像取得部４０３に送る。

音声送信部４１６は、例えば、音声取得部４０５から受け取った外部音声の音声情報と音声入力時刻とを、ネットワーク１３０を介してサーバ装置１１０に送信する。

ここで、冷蔵庫１００は、サーバ装置１１０が行う第１の画像を設定する処理、差分情報を取得する処理、第２の画像を設定する処理、通信端末１２０に収納室の各種画像や各種情報を送信する処理を、自ら行っても構わない。また、冷蔵庫システムは、冷蔵庫１００であってもよい。

図５は、本発明の一実施形態に係る通信端末１２０の機能的構成の一例を示す図である。図５を参照して、通信端末１２０の機能的構成を説明する。

通信端末１２０は、図５に示すように、端末制御部５００、端末通信部５１０、端末表示部１２０ａ、端末入力部５２０、位置検出部５４０、および端末記憶部５３０を有する。

端末制御部５００は、例えば、端末記憶部５３０に格納される端末制御プログラムに従って各種の情報処理を実行する。ここで、この端末制御プログラムは、ネットワーク１３０を介してダウンロードされて、端末記憶部５３０に格納されても良い。端末制御部５００は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサであり、プロセッサは上述の制御プログラムを実行することにより、端末制御部５００として動作する。また、端末制御部５００は、リアルタイムクロック（以下、ＲＴＣ）を有しており、時刻情報を取得可能となっている。なお、取得可能な時刻情報には、時刻、日付、曜日などが含まれる。

端末記憶部５３０は、例えば、端末制御部５００によって実行される端末制御プログラムや、端末制御プログラムの実行により生成されたデータや外部から取得したデータなど、通信端末１２０の各種の情報処理に必要となる情報を記憶する。端末記憶部５３０は、例えば、フラッシュメモリやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により実現可能である。

位置検出部５４０は、例えば、通信端末１２０の位置を検出する。位置検出部は、例えば、ＧＰＳ（Global Positioning System）であり、通信端末１２０の位置を緯度や経度で検出する。また、位置検出部５４０は、上記したＧＰＳを利用する他に、通信端末１２０が検出したＷｉ−Ｆｉ（登録商標）のアクセスポイント（接続場所）の出現頻度や、通信端末１２０とＷｉ−Ｆｉのアクセスポイントとの間の電波強度の強さに基づき、通信端末１２０の位置を検出してもよい。

端末表示部１２０ａは、例えば、タッチパネル付きの液晶パネルである。具体的には、例えば、冷蔵庫１００の各収納室の画像や温度や文字等を表示し、タッチパネルはユーザからの入力操作を検知する。

端末入力部５２０は、例えば、端末表示部１２０ａのタッチパネル付きの表示装置を通してユーザにより入力される。また、端末入力部５２０は、通信端末１２０の外面に設置されたキー（図示なし）を通して、ユーザに入力されてもよい。

端末制御部５００は、図５に示すように、例えば、端末画像取得部５０１、端末表示制御部５０２、位置情報取得部５０３、購入情報取得部５０４、および位置情報登録部５０５を有する。

端末画像取得部５０１は、例えば、端末画像受信部５１２がサーバ装置１１０から受信した第１の画像と、差分情報（差分位置情報、差分画像情報、変化情報）と、第２の画像と、第２の画像の撮像時刻と、差分情報に対応付けられた撮像時刻とを取得する。そして、端末画像取得部５０１は、例えば、取得した各種の情報を端末表示制御部５０２に送る。

端末表示制御部５０２は、例えば、端末画像取得部５０１から送られてきた第１の画像と差分情報とを端末表示部１２０ａに表示する。また、端末表示制御部５０２は、端末入力部５２０からの指示に応じて、端末画像取得部５０１から送られてきた第２の画像や差分画像情報を端末表示部１２０ａに表示する。

端末表示制御部５０２は、具体的には、例えば、差分関連情報に含まれる差分位置情報が示す第１の画像上の矩形範囲を囲む線を、端末表示部１２０ａに表示されている第１の画像上に表示する。さらに、端末表示制御部５０２は、例えば、差分関連情報に含まれる変化情報に応じて、矩形範囲を異なる表示形態で表示する。端末表示制御部５０２は、具体的には、例えば、変化情報：減少の場合は、矩形の線を赤色で表示し、変化情報：増加の場合は、矩形の線を青色で表示し、変化情報：変化の場合は、矩形の線を黄色で表示する。また、端末表示制御部５０２は、変化情報：変化の場合は、赤色と青色を重ね合わせて表示してもよい。ここで、端末表示制御部５０２は、矩形範囲の表示形態について、変化情報に応じて、矩形の線の線種（点線、二重線など）や線の太さを、変化情報に応じて異なる線種や太さで表示してもよいし、矩形範囲の内部の背景色を変化情報に応じて異なる色で表示してもよい。また、端末表示制御部５０２は、変化情報が示す文字情報である「増加」、「現象」、および「変化」の文字を、端末表示部１２０ａに表示されている第１の画像上の差分情報が示す矩形範囲内または矩形範囲の近辺に表示してもよい。

具体的には、端末表示制御部５０２は、図１２（ａ）に示すように、冷蔵室２０３の画像である第１の画像（基準画像）の差分位置情報が示す矩形の範囲に対し、変化情報：減少を示す矩形の線（点線）と、変化情報：増加を示す矩形の線（実線）とを表示する。

また、端末表示制御部５０２は、例えば、図１３（ａ）に示すように、差分画像情報に対応付けられた撮像時刻を各差分画像情報の画像の近辺に表示してもよい。

また、端末表示制御部５０２は、例えば、差分関連情報に含まれる差分画像情報と変化情報と、差分画像情報に対応付けられた撮像時刻に基づき、差分画像情報と変化情報とを、差分情報に対応付けられた撮像時刻毎に纏めて、端末表示部１２０ａに表示する。端末表示制御部５０２は、具体的には、例えば、図１２（ｂ）に示すように、各差分情報に対応付けられた撮像時刻を表示し、その撮像時刻の日付毎に纏めて、各差分画像情報が示す画像を表示するとともに、差分画像情報を矩形で囲む線を変化情報に応じた表示形態で端末表示部１２０ａに表示する。また、端末表示制御部５０２は、具体的には、例えば、各差分画像情報が示す画像の近辺に変化情報が示すテキスト情報（減少、増加、変化など）を端末表示部１２０ａに表示してもよい。

また、端末表示制御部５０２は、例えば、第１の画像（基準画像）と差分情報とを端末表示部１２０ａに表示しているときに、端末入力部５２０からの差分情報の領域を指示する入力があった場合は、図１３（ｂ）に示す第１の画像とともに、図１３（ｃ）に示すように、指示された差分情報の撮像時刻に撮像された第２の画像とを端末表示部１２０ａに表示する。

位置情報取得部５０３は、例えば、通信端末１２０の現在の位置を示す位置情報を位置情報送信部５１３に送る。位置情報取得部５０３は、具体的には、例えば、通信端末１２０の位置を示す緯度や経度の位置情報を、位置検出部５４０から取得する。そして、位置情報取得部５０３は、取得した位置情報が、端末記憶部５３０に記憶されている所定の場所の位置情報と一致する場合、または、所定の場所の位置情報から所定範囲内である場合に、現在の位置情報と、現在の位置に到着した時刻を示す到着時刻とを、位置情報送信部５１３に送る。つまり、位置情報取得部５０３は、通信端末１２０が所定の場所に入ったか、または、近づいたことに応じて、その位置情報と到着時刻とを位置情報送信部５１３に送る。

また、位置情報取得部５０３は、通信端末１２０が、所定の場所から所定範囲内に継続して留まっている時間を示す滞在時間が所定時間以上（例えば、１０分以上）ならば、現在の位置の位置情報と、その位置に到着した到着時刻とを位置情報送信部５１３に送る。

ここで、所定の場所の位置情報は、ユーザが通信端末１２０で登録した経度と緯度とその場所の名称を有する位置情報であり、端末記憶部５３０に記憶されていて、例えば、自宅やある店舗の位置情報である。また、位置情報取得部５０３は、例えば、通信端末１２０の位置情報の履歴や購入の履歴に基づき、ユーザが滞在する頻度が高い場所や、買い物をする場所を特定し、その場所の位置情報を所定の場所の位置情報として端末記憶部５３０に記憶してもよい。さらに、位置情報取得部５０３は、所定の場所の位置情報を、端末通信部５１０を介してネットワーク１３０から取得してもよい。

購入情報取得部５０４は、例えば、物の購入を示す購入情報を購入情報送信部５１４に送る。また、購入情報取得部５０４は、物を購入した時刻を示す購入時刻を購入情報送信部５１４に送る。購入情報取得部５０４は、具体的には、例えば、通信端末１２０が備えている電子決裁の機能で購入された物の種類（卵、じゃがいも、牛乳等）や購入場所の名称や購入場所の位置情報や購入価格等を示す購入情報と、購入した時刻を示す購入時刻とを購入情報送信部５１４に送る。

位置情報登録部５０５は、例えば、ユーザにより端末入力部５２０から入力された自宅や店舗を含む所定の場所の位置情報（経度と緯度、場所の名称など）を、端末記憶部５３０に記憶する。また、位置情報登録部５０５は、例えば、ネットワーク１３０から端末通信部５１０を介して取得した所定の場所の位置情報を端末記憶部５３０に記憶してもよい。

端末通信部５１０は、図５に示すように、例えば、端末要求送信部５１１、端末画像受信部５１２、位置情報送信部５１３、および購入情報送信部５１４を有する。

端末要求送信部５１１は、例えば、冷蔵庫１００の収納室の画像である画像情報の送信の要求を、ネットワーク１３０を介してサーバ装置１１０に送信する。

端末画像受信部５１２は、例えば、ネットワーク１３０を介してサーバ装置１１０から、第１の画像と、差分情報（差分位置情報、差分画像情報、変化情報）と、第２の画像と、第２の画像の撮像時刻と、差分情報に対応付けられた撮像時刻とを受信する。そして、端末画像受信部５１２は、受信した各種のデータを端末画像取得部５０１に送る。

位置情報送信部５１３は、例えば、通信端末１２０の位置を示す位置情報と、その位置に到着した時刻を示す到着時刻とをネットワーク１３０を介してサーバ装置１１０に送信する。

購入情報送信部５１４は、例えば、物の購入を示す購入情報を、ネットワーク１３０を介してサーバ装置１１０に送信する。また、購入情報送信部５１４は、例えば、物を購入した時刻を示す購入時刻を、ネットワーク１３０を介してサーバ装置１１０に送信する。

図６は、本発明の一実施形態に係る冷蔵庫システム１の第１の画像の設定処理の流れの一例を示すシーケンス図である。サーバ装置１１０が、冷蔵庫１００から収納室内の画像を受信し、今回受信した画像と前回受信した画像との差分情報と、扉の開閉情報とに基づき、第１の画像（基準画像）を設定する処理の流れについて、図６を用いて説明する。

冷蔵庫１００の扉開閉検出部４２０は、冷蔵室用扉２０５または冷凍室用扉２０６の扉の開閉があったかどうかを検出する（Ｓ１００）。

扉開閉検出部４２０により扉の開閉が検知された場合は、扉開閉検出部４２０はいずれの扉の開閉であるかということと、開かれた扉が閉じられたことを開閉情報取得部４０１に通知する。さらに、開閉情報取得部４０１は、いずれの扉の開閉であるかということと、開かれた扉が閉じられたことを撮像画像取得部４０２に通知する。そして、撮像画像取得部４０２は、開かれた扉が閉じられた通知を受けたことに応じて、撮像部２０２に、閉じられた扉の背面側の収納室の内部の画像を撮像するように指示する。ここで、扉が閉じられたかどうかについては、完全に閉じられていなくても閉じられかけていることが検知されれば、その検知したときに撮像部２０２に収納室の画像を撮像するように指示してもよい。そして、撮像画像取得部４０２は、閉じられた扉に対向する収納室の内部の画像を撮像部２０２に撮像させ、その撮像された画像の画像情報を取得する（Ｓ１０１）。

さらに、撮像画像取得部４０２は、画像を撮像した時刻を示す撮像時刻を取得する（Ｓ１０２）。

そして、開閉情報取得部４０１は、扉の開放時間と扉の開放の開始時刻と終了時刻、または、連続した扉の開閉回数と連続した扉の開閉の開始時刻と終了時刻を、開閉情報として取得する（Ｓ１０３）。

そして、冷蔵庫１００の画像送信部４１２が、収納室の画像の画像情報と、その画像が撮像された撮像時刻とを、ネットワーク１３０を介してサーバ装置１１０に送信する（Ｓ１０４）。さらに、冷蔵庫１００の開閉情報送信部４１１は、扉の開放時間と扉の開放の開始時刻と終了時刻、連続した扉の開閉回数と連続した扉の開閉の開始時刻と終了時刻を開閉情報として、ネットワーク１３０を介してサーバ装置１１０に送信し（Ｓ１０４）、冷蔵庫１００の処理は終了する。

サーバ装置１１０の画像受信部３１１は、冷蔵庫１００の収納室の画像の画像情報と、その画像が撮像された撮像時刻とを冷蔵庫１００から受信する（Ｓ１０５）。そして、サーバ装置１１０の開閉情報受信部３１２は、開閉情報を冷蔵庫１００から受信する（Ｓ１０５）。

サーバ装置１１０の画像取得部３２１は、画像受信部３１１が受信した収納室の画像の画像情報と、その画像が撮像された撮像時刻とを対応付けて、画像関連情報として画像関連情報記憶部３３１に記憶させる（Ｓ１０６）。そして、サーバ装置１１０の情報取得部３２３は、開閉情報受信部３１２が受信した開閉情報に基づき、扉の開放の開始時刻から終了時刻までの撮像時刻を有する画像関連情報記憶部３３１に記憶されている画像情報に対応付けて、扉の開放時間を、画像関連情報記憶部３３１に記憶させる（Ｓ１０６）。また、情報取得部３２３は、開閉情報受信部３１２が受信した開閉情報に基づき、連続した扉の開始時刻から終了時刻までの撮像時刻を有する画像関連情報記憶部３３１に記憶されている画像情報に対応付けて、連続した扉の開閉回数を、画像関連情報記憶部３３１に記憶させる（Ｓ１０６）。

サーバ装置１１０の第１の差分取得部３２２は、画像受信部３１１が前回受信した画像情報を画像関連情報記憶部３３１から取得する（Ｓ１０７）。

そして、第１の差分取得部３２２は、今回受信した画像情報と前記受信した画像情報との差分を抽出し、その差分を示す差分情報を取得する。第１の差分取得部３２２は、差分情報として、差分が存在する範囲の画像上の位置を示す差分位置情報と、差分が存在する範囲の画像を示す差分画像情報と、画像の変化の状態を示す変化情報とを取得し、それらを画像関連情報記憶部３３１に記憶させる（Ｓ１０８）。

サーバ装置１１０の画像設定部３２４は、今回受信した画像と前回受信した画像との差分情報が所定量以上であるかどうか判断する（Ｓ１０９）。具体的には、例えば、画像設定部３２４は、差分情報の差分位置情報または差分画像情報の個数が所定個以上（例えば、３個以上）であるか、または、差分情報の差分位置情報に基づく差分がある領域の面積が所定値以上であるか判断し、当該判断結果に基づき今回受信した画像と前回受信した画像との差分情報が所定量以上であるかを判断する。画像設定部３２４は、差分情報の差分位置情報または差分画像情報の個数が所定個以上である、または、差分情報の差分位置情報に基づく差分がある領域の面積が所定値以上であると判断した場合、今回受信した画像と前回受信した画像との差分情報が所定量以上であると判断する。

さらに、具体的には、今回受信した画像が画像情報：Ａ１であり、画像情報：Ａ１の受信前に受信した画像との差分の差分関連情報が、図１５に示すように画像関連情報記憶部３３１に記憶されている場合について、説明する。画像設定部３２４は、差分情報：Ｄ１に対する差分の領域の個数の算出を、差分情報生成部３２５に指示する。さらに、差分情報生成部３２５は、図１５に示す差分情報：Ｄ１に対応する差分位置情報：Ｃ０、Ｃ１、Ｃ３または、差分画像情報：Ｉｍ０、Ｉｍ１、Ｉｍ２のそれぞれの個数をカウントし、３を算出する。そして、差分情報生成部３２５は、３個を画像設定部３２４に送る。画像設定部３２４は、差分情報：Ｄ１の差分位置情報または差分画像情報の個数が所定量以上（３個以上）なので、今回受信した画像と前回受信した画像との差分情報が所定量以上であると判断する。

ここで、Ｓ１０９の判断処理の詳細なフローチャートは、図１１で後述する。

画像設定部３２４は、差分情報が所定量以上であると判断した場合（Ｓ１０９：Ｙｅｓ）に、今回受信した画像に対応する扉の開閉情報を画像関連情報記憶部３３１から取得し、取得した開閉情報が所定の情報であるかどうか判断する（Ｓ１１０）。具体的には、例えば、画像設定部３２４は、開閉情報の扉の開放時間が所定時間以上（例えば、３分以上）であるか、または、連続した扉の開閉時間が所定時間以内に所定回数以上（例えば、３分以内に１０回以上）であるか判断し、当該判断結果に基づき、取得した開閉情報が所定の情報であるかどうかを判断する。画像設定部３２４は、開閉情報の扉の開放時間が所定時間以上である、または、連続した扉の開閉時間が所定時間以内に所定回数以上であると判断した場合、取得した開閉情報が所定の情報であると判断する。画像設定部３２４は、差分情報が所定量以上でないと判断した場合（Ｓ１０９：Ｎｏ）に、サーバ装置１１０の処理は終了する。

画像設定部３２４は、開閉情報が所定の情報であると判断した場合（Ｓ１１０：Ｙｅｓ）に、今回受信した画像の画像情報を第１の画像（基準画像）として画像関連情報記憶部３３１に記憶し（Ｓ１１１）、サーバ装置１１０の処理は終了する。画像設定部３２４は、開閉情報が所定の情報でないと判断した場合（Ｓ１１０：Ｎｏ）に、サーバ装置１１０の処理は終了する。

ここで、今回受信した画像と前回受信した画像との差分情報が所定量以上であるかどうか判断する判断処理（Ｓ１０９）の詳細について説明する。

図１１は、Ｓ１０９の判断処理の流れの一例を示すフローチャートである。サーバ装置１１０が、今回受信した画像と前回受信した画像との差分情報が所定量以上であるかどうか判断する処理の流れについて、図１１を用いて説明する。

サーバ装置１１０の画像設定部３２４は、今回受信した画像と前回受信した画像との差分を示す差分情報を画像関連情報記憶部３３１から取得する（Ｓ６００）。つまり、今回受信した画像情報を画像関連情報から取得し、その画像情報に対応する差分情報を取得する。画像設定部３２４は、例えば、具体的には、図１４（ａ）に示すように、今回受信した画像が画像情報：Ａ１だった場合は、画像情報：Ａ１に対応する差分情報：Ｄ１を取得する。

そして、画像設定部３２４は、取得した差分情報をサーバ装置１１０の差分情報生成部３２５に送り、差分情報に対応する差分の領域の個数と面積とを算出するように差分情報生成部３２５に指示する。差分情報生成部３２５、差分情報に対応する差分位置情報または差分画像情報を取得する。そして、差分情報生成部３２５は、差分情報に対応する差分位置情報または差分画像情報の個数をカウントする（Ｓ６０１）。そして、差分情報生成部３２５は、その個数を画像設定部３２４に送る。

さらに、差分情報生成部３２５は、取得した差分位置情報に基づき、差分の領域の面積を算出する（Ｓ６０２）。そして、差分情報生成部３２５は、その面積を画像設定部３２４に送る。

画像設定部３２４は、差分情報生成部３２５から送られてきた差分情報に対応する差分の領域の個数が所定個以上であるかを判断する（Ｓ６０３）。

画像設定部３２４は、差分情報に対応する差分の領域の個数が所定個以上であると判断した場合は、今回受信した画像と前回受信した画像との差分情報が所定量以上であると判断し（Ｓ６０５）、制御はＳ１１０に進む。

画像設定部３２４は、差分情報に対応する差分の領域の個数が所定個以上でないと判断した場合（Ｓ６０３：Ｎｏ）は、差分情報に対応する差分の領域の面積が所定値以上であるかを判断する（Ｓ６０４）。

画像設定部３２４は、差分情報に対応する差分の領域の面積が所定値以上であると判断した場合（Ｓ６０４：Ｙｅｓ）は、今回受信した画像と前回受信した画像との差分情報が所定量以上であると判断し（Ｓ６０５）、制御はＳ１１０に進む。

画像設定部３２４は、差分情報に対応する差分の領域の面積が所定値以上でないと判断した場合（Ｓ６０４：Ｎｏ）は、今回受信した画像と前回受信した画像との差分情報が所定量以上でない判断し、サーバ装置１１０の処理は終了する。

これにより、Ｓ１０９とＳ１１０の判断処理がＹｅｓであれば、Ｓ１１１で差分情報が所定値以上で、開閉情報が所定の情報である画像を第１の画像として設定するので、より適切な収納室の画像を第１の画像（基準画像）として設定することができる。

また、ここで、Ｓ１０９の判断処理でＹｅｓの場合に、Ｓ１１０の判断処理を行わず、差分情報が所定値以上の画像を第１の画像として設定してもよい。これにより、サーバ装置１１０が、冷蔵庫１００の故障や通信エラーのため、扉の開閉情報を取得できないときでも、差分情報に基づき、適切な収納室の画像を第１の画像（基準画像）として設定することができる。

図７は、本発明の一実施形態に係る冷蔵庫システム１における要求装置とサーバ装置１１０間の画像の送受信処理の流れの一例を示すシーケンス図である。通信端末１２０からの冷蔵庫１００の収納室の画像の送信の要求に応じて、サーバ装置１１０が第１の画像（基準画像）と差分情報とを、通信端末１２０に送信する処理の流れについて、図７を用いて説明する。

通信端末１２０の端末要求送信部５１１は、冷蔵庫１００の収納室の画像である画像情報の送信の要求を、ネットワーク１３０を介してサーバ装置１１０に送信する（Ｓ２０１）。

サーバ装置１１０の要求受信部３１６は、冷蔵庫１００の収納室の画像である画像情報の送信の要求を、冷蔵庫１００または通信端末１２０から受信する（Ｓ２０２）。

サーバ装置１１０の第２の差分取得部３２６は、要求の受信に応じて、第１の画像（基準画像）の画像情報を画像関連情報記憶部３３１の基準画像情報（図１４（ｂ））から取得する（Ｓ２０３）。

そして、第２の差分取得部３２６は、要求を受信した時刻より前の最も近い撮像時刻を有する画像情報を第２の画像として画像関連情報から取得する（Ｓ２０４）。尚、要求を受信した時刻より前の最も近い撮像時刻を有する画像情報は一例であり、第２の画像として画像関連情報から取得する画像情報は、要求を受信した時刻より前の最も近い撮像時刻を有する画像情報以外であってもよい。

さらに、第２の差分取得部３２６は、第１の画像の画像情報と第２の画像の画像情報との差分を示す差分情報を取得する（Ｓ２０５）。具体的には、例えば、第２の差分取得部３２６は、図１４（ａ）に示す画像関連情報に基づき、第１の画像の撮像時刻以降の画像から第２の画像までの各画像情報に対応付けて記憶している差分情報を画像関連情報から取得する。さらに、第２の差分取得部３２６は、図１５に示す差分関連情報に基づき、取得した各差分情報に対応する差分位置情報と差分画像情報と変化情報とを、撮像時刻に対応付けて差分関連情報から取得する。そして、取得した差分位置情報と差分画像情報と変化情報とを、第１の画像の画像情報と第２の画像の画像情報との差分を示す差分情報とする。尚、差分位置情報と差分画像情報と変化情報と含む差分情報は、一例であり、差分情報は、この例に限られない。

サーバ画像送信部３１７は、第１の画像（基準画像）と、第１の画像と第２の画像との差分情報とを、ネットワーク１３０を介して通信端末１２０に送信し（Ｓ２０６）、サーバ装置１１０の処理は終了する。例えば、差分情報は、差分位置情報と差分画像情報と変化情報とを含む。

通信端末１２０の端末画像受信部５１２は、ネットワーク１３０を介してサーバ装置１１０から、第１の画像と差分情報とを受信する（Ｓ２０７）。そして、端末表示制御部５０２は、受信した第１の画像と差分情報とを端末表示部１２０ａに表示し（Ｓ２０８）、通信端末１２０の処理は終了する。つまり、端末表示制御部５０２は、図１２（ａ）に示すように、差分情報に含まれる差分位置情報が示す対角線上の２点の座標を頂点とする矩形領域を囲む矩形の線を第１の画像（基準画像）に重ね合わせて端末表示部１２０ａに表示する。これにより、第１の画像と第２の画像との間で所定量以上の差分がある範囲として抽出された矩形領域が第１の画像上に当該矩形領域を囲む線で示される。尚、実施の形態において、差分情報を表示するとは、差分情報に基づいた表示を表示することを意味する。通信端末１２０での第１の画像（基準画像）と差分情報に基づく表示とを表示する詳細の処理については図１６で後述する。

ここで、図７では、通信端末１２０から冷蔵庫１００の収納室の画像の送信の要求をサーバ装置１１０に行う場合について説明したが、冷蔵庫１００から当該要求をサーバ装置１１０に行い、サーバ装置１１０が第１の画像（基準画像）と差分情報を冷蔵庫１００に送信し、冷蔵庫１００は受信した第１の画像（基準画像）と差分情報を冷蔵庫１００の冷蔵庫表示部１００ａに表示してもよい。

また、図７では、サーバ画像送信部３１７は、第１の画像（基準画像）と、第１の画像と第２の画像との差分情報とを、要求装置（通信端末１２０、冷蔵庫１００）に送信しているが、さらに第２の画像と第２の画像の撮像時刻を送信しても構わない。第２の画像と第２の画像の撮像時刻を受信した通信端末１２０、冷蔵庫１００が、第２の画像を取得し表示するときの処理のフローチャートは、図１６にて後述する。

図１６は、本発明の一実施形態に係る冷蔵庫１００または通信端末１２０の表示部に第１の画像（基準画像）と差分情報を表示する処理の流れの一例を示すフローチャートである。図１２、図１３は、本発明の一実施形態に係る冷蔵庫１００または通信端末１２０の表示部の画面の具体例の一例を示す図である。図１６に示す処理の流れを、図１２、図１３に示す画面の具体例を参照しながら説明する。

図１６について、ここでは、通信端末１２０の端末表示部１２０ａで表示する処理について説明するが、冷蔵庫１００の冷蔵庫表示部１００ａで表示する処理であってもよい。

通信端末１２０の端末画像取得部５０１は、サーバ装置１１０から受信した第１の画像と第２の画像と第２の画像の撮像時刻とを取得する（Ｓ７００）。

端末画像取得部５０１は、サーバ装置１１０から受信した、第１の画像と第２の画像との差分情報に対応する差分関連情報（差分位置情報、差分画像情報、変化情報）と、差分情報に対応付けられた撮像時刻とを取得する（Ｓ７０１）。

通信端末１２０の端末表示制御部５０２は、第１の画像を端末表示部１２０ａに表示する（Ｓ７０２）。

通信端末１２０の端末表示制御部５０２は、差分位置情報が示す対角線上の２点の座標を頂点とする第１の画像上の矩形範囲を特定し、特定した矩形範囲を囲む線を、端末表示部１２０ａに表示されている第１の画像上に表示する。さらに、端末表示制御部５０２は、矩形を囲む線を、変化情報に基づいた表示形態で端末表示部１２０ａに表示する（Ｓ７０３）。端末表示制御部５０２は、具体的には、図１２（ａ）に示すように、差分位置情報に基づく矩形範囲を特定し、各差分位置情報に対応する変化情報が減少の場合は、矩形を囲む点線を、第１の画像に重ね合わせて端末表示部１２０ａに表示する。また、端末表示制御部５０２は、具体的には、図１２（ａ）に示すように、各差分位置情報に対応する変化情報が増加の場合は、矩形を囲む実線を、第１の画像に重ね合わせて端末表示部１２０ａに表示する。また、端末表示制御部５０２は、具体的には、図１３（ａ）に示すように、各差分情報に対応付けられた撮像時刻を、各差分位置情報の近辺に表示する。

通信端末１２０の端末入力部５２０が、表示している第１の画像上の差分位置情報の位置に対する入力を受け付けたかどうかを判断する（Ｓ７０４）。

端末表示制御部５０２は、表示している第１の画像上の差分位置情報の位置に対する入力があった場合（Ｓ７０４：Ｙｅｓ）は、第１の画像と第２の画像とを並べて端末表示部１２０ａに表示する（Ｓ７０５）。さらに、端末表示制御部５０２は、第１の画像上に差分位置情報が示す矩形を囲む線を、変化情報に基づいた表示形態で端末表示部１２０ａに表示する。また、端末表示制御部５０２は、第２の画像上に差分位置情報が示す矩形を囲む線を、変化情報に基づいた表示形態で端末表示部１２０ａに表示する。端末表示制御部５０２は、具体的には、図１３（ａ）に示すように、第１の画像上の差分情報の位置に入力があった場合、図１３（ｂ）に示すように、第１の画像上に差分情報を示す矩形を囲む線を変化情報に基づいた表示形態（点線、実線）で表示する。さらに、端末表示制御部５０２は、図１３（ｂ）の第１の画像を表示するとともに、図１３（ｃ）に示すように、第２の画像上に差分情報を示す矩形を囲む線を変化情報に基づいた表示形態（点線、実線）で表示する。

通信端末１２０の端末入力部５２０が、表示している第１の画像上の差分位置情報の位置に対する入力を受け付けていない場合（Ｓ７０４：Ｎｏ）は、差分情報リストを表示する指示の入力を受けつけたかどうか判断する（Ｓ７０６）。

端末表示制御部５０２は、差分情報リストを表示する指示の入力があった場合（Ｓ７０６：Ｙｅｓ）は、差分情報に対応付けられた撮像時刻の時刻毎に纏めて、各撮像時刻に対応する差分画像情報を端末表示部１２０ａに表示する。さらに、端末表示制御部５０２は、差分画像情報を囲む線を変化情報に基づいた表示形態で端末表示部１２０ａに表示し、通信端末１２０の処理を終了する。端末表示制御部５０２は、具体的には、図１２（ｂ）に示すように、差分情報に対応付けられた撮像時刻毎に纏めて、各差分の画像と各差分の画像を囲う線を変化情報に基づいた表示形態で表示する。

これにより、冷蔵庫１００の収納室に変化があったときの画像に対して、その後に変化があった箇所を他の箇所と異なる表示形態で表示するので、ユーザは、変化があった収納物が何であったかを容易に把握することが可能になる。また、図１３（ａ）に示すように、変化があった場所の近辺に、変化があったときの時刻を表示するので、ユーザは、その変化がいつごろ発生したものかを容易に把握することが可能になる。さらに、図１３（ｂ）、（ｃ）で示すように、第１の画像とその後に撮像された画像の第２の画像を並べて表示するので、ユーザは、どのような変化があったかを２つの画像を見ながら比較でき、その変化を容易に把握することが可能になる。さらに、図１２（ｂ）で示すように、撮像時刻毎に纏めて差分の画像と変化情報とを表示するので、ユーザは、時刻毎にどのような変化が発生したかを容易に把握することが可能になる。

図８は、本発明の一実施形態の変形例に係る冷蔵庫システム１の外部音声に基づく第１の画像の設定処理の流れの一例を示すシーケンス図である。サーバ装置１１０が、冷蔵庫１００から取得した外部音声に基づき、第１の画像（基準画像）を設定する処理の流れについて、図８を用いて説明する。

冷蔵庫１００の外部音声入力部４６０は、冷蔵庫１００の外部から外部音声の入力があるかどうか判断する（Ｓ３０１）。

外部音声入力部４６０が、外部音声の入力があったと判断した場合は、音声取得部４０５は、外部音声入力部４６０に入力された外部音声の音声情報と外部音声が入力された時刻を示す音声入力時刻を取得する（Ｓ３０２）。そして、音声送信部４１６は、音声情報と音声入力時刻とを、ネットワーク１３０を介してサーバ装置１１０に送信し（Ｓ３０３）、冷蔵庫１００の処理は終了する。

サーバ装置１１０の音声受信部３１３は、冷蔵庫１００の外部音声の音声情報と音声入力時刻とを冷蔵庫１００から受信する（Ｓ３０４）。

サーバ装置１１０の情報取得部３２３は、受信した音声情報が、所定のキーワードを含むかどうか判断する（Ｓ３０５）。受信した音声情報が、所定のキーワードを含まない場合（Ｓ３０５：Ｎｏ）は、サーバ装置１１０は処理を終了する。

受信した音声情報が、所定のキーワードを含む場合（Ｓ３０５：Ｙｅｓ）は、情報取得部３２３は、外部音声の音声入力時刻から所定時間の範囲内の撮像時刻を有する画像情報が、画像関連情報記憶部３３１に記憶されているかどうかを検索する（Ｓ３０６）。外部音声の音声入力時刻から所定時間の範囲内の撮像時刻を有する画像情報が、画像関連情報記憶部３３１から検索されなかった場合（Ｓ３０６：Ｎｏ）は、サーバ装置１１０は処理を終了する。

サーバ装置１１０の画像設定部３２４は、情報取得部３２３により、外部音声の音声入力時刻から所定時間の範囲内の撮像時刻を有する画像情報が、画像関連情報記憶部３３１から検索された場合（Ｓ３０６：Ｙｅｓ）は、検索された画像情報を第１の画像（基準画像）として画像関連情報記憶部３３１に記憶させ（Ｓ３０７）、サーバ装置１１０の処理は終了する。

ここで、画像設定部３２４は、外部音声と画像の差分情報とに基づき、第１の画像の設定を行ってもよい。つまり、画像設定部３２４は、外部音声が所定のキーワードを含み、かつ、外部音声が入力された時刻近辺の撮像時刻を有する画像情報が、以前撮像された画像情報より所定量以上の差分を有する場合に、その画像情報を第１の画像情報として設定してもよい。

これにより、冷蔵庫１００に特定のキーワードを含む外部音声が入力されたときの収納室の画像を第１の画像（基準画像）として設定するので、ユーザが意図した適切な収納室の画像を第１の画像（基準画像）として設定することができる。

図９は、本発明の一実施形態の変形例に係る冷蔵庫システム１の位置情報に基づく第１の画像の設定処理の流れの一例を示すシーケンス図である。サーバ装置１１０が、通信端末１２０から取得した位置情報に基づき、第１の画像（基準画像）を設定する処理の流れについて、図９を用いて説明する。

通信端末１２０の位置情報登録部５０５は、ユーザにより端末入力部５２０から入力された所定の場所（自宅、店舗など）の位置情報を端末記憶部５３０に記憶する（Ｓ４０１）。

通信端末１２０の位置情報取得部５０３は、通信端末１２０の現在の位置を示す位置情報を、位置検出部５４０から取得する（Ｓ４０２）。

位置情報取得部５０３は、通信端末１２０の現在の位置を示す位置情報が、端末記憶部５３０に記憶されている店舗の位置情報であるかどうか判断する（Ｓ４０３）。位置情報取得部５０３は、通信端末１２０の位置情報が店舗の位置情報であると判断した場合（Ｓ４０３：Ｙｅｓ）は、通信端末１２０の位置情報が店舗の位置情報の所定範囲内に継続して所定時間以上（例えば、５分以上）滞在しているかどうか判断する（Ｓ４０５）。位置情報取得部５０３は、通信端末１２０の位置情報が店舗の位置情報の所定範囲内に継続して所定時間以上滞在していると判断した場合（Ｓ４０５：Ｙｅｓ）は、位置情報送信部５１３が通信端末１２０の現在の位置情報を、ネットワーク１３０を介してサーバ装置１１０に送信する（Ｓ４０６）。位置情報取得部５０３は、通信端末１２０の位置情報が店舗の位置情報の所定範囲内に継続して所定時間以上滞在していないと判断した場合（Ｓ４０３：Ｎｏ）は、Ｓ４０２の処理に戻り、通信端末１２０の現在の位置情報を取得する。

位置情報取得部５０３は、Ｓ４０３で、通信端末１２０の位置情報が店舗の位置情報でないと判断した場合（Ｓ４０３：Ｎｏ）は、通信端末１２０の位置情報が自宅の位置情報であるかどうかを判断する（Ｓ４０４）。位置情報取得部５０３は、通信端末１２０の位置情報が自宅の位置情報であると判断した場合（Ｓ４０４：Ｙｅｓ）は、位置情報送信部５１３が通信端末１２０の現在の位置情報を、ネットワーク１３０を介してサーバ装置１１０に送信する（Ｓ４０６）。位置情報取得部５０３は、通信端末１２０の位置情報が自宅の位置情報でないと判断した場合は、Ｓ４０２の処理に戻り、通信端末１２０の現在の位置情報を取得する。

サーバ装置１１０の位置情報受信部３１４は、通信端末１２０の位置を示す位置情報を通信端末１２０から受信する（Ｓ４０７）。そして、情報取得部３２３は受信した位置情報を取得し、図１４（ｃ）に示すように、画像関連情報記憶部３３１に記憶させる。

サーバ装置１１０の画像設定部３２４は、位置情報受信部３１４が受信した通信端末１２０の位置情報が、店舗に所定時間滞在した後に自宅から所定範囲内に入ったという位置情報であるかどうかを判断する（Ｓ４０８）。ここで、画像設定部３２４は、具体的には、図１４（ｃ）の画像関連情報記憶部３３１に記憶されている位置情報の履歴と現在の時刻とに基づき、現在の時刻に至るまでに店舗から自宅に通信端末１２０が移動したかどうかを判断する。画像設定部３２４は、通信端末１２０の位置情報が、店舗に所定時間滞在した後に自宅から所定範囲内に入ったという位置情報でないと判断した場合（Ｓ４０８：Ｎｏ）は、処理を終了する。

画像設定部３２４は、通信端末１２０の位置情報が、店舗に所定時間滞在した後に自宅から所定範囲内に入ったという位置情報であると判断した場合（Ｓ４０８：Ｙｅｓ）は、通信端末１２０の位置情報が自宅であるという位置情報を受信した後に、画像受信部３１１が冷蔵庫１００から収納室の画像を受信したかどうかを判断する（Ｓ４０９）。画像設定部３２４は、通信端末１２０が自宅の位置情報であるという位置情報を受信した後に、画像受信部３１１が冷蔵庫１００から収納室の画像を受信したと判断した場合（Ｓ４０９：Ｙｅｓ）は、受信した画像を第１の画像（基準画像）として画像関連情報記憶部３３１に記憶させ（Ｓ４１０）、サーバ装置１１０の処理は終了する。画像設定部３２４は、通信端末１２０の位置情報が自宅の位置情報であるという位置情報を受信した後に、画像受信部３１１が冷蔵庫１００から収納室の画像を受信したと判断しなかった場合（Ｓ４０９：Ｎｏ）は、サーバ装置１１０の処理は終了する。

これにより、通信端末１２０の特定の場所から自宅に戻ってきた後に撮像された画像を第１の画像として設定するので、ユーザの行動に基づいた適切なタイミングで撮像された収納室の画像を第１の画像（基準画像）として設定することができる。

図１０は、本発明の一実施形態の変形例に係る冷蔵庫システム１の購入情報に基づく第１の画像の設定処理の流れの一例を示すシーケンス図である。サーバ装置１１０が、通信端末１２０から取得した購入情報に基づき、第１の画像（基準画像）を設定する処理の流れについて、図１０を用いて説明する。

通信端末１２０の購入情報送信部５１４は、通信端末１２０が備えている電子決裁の機能で購入された物の種類（卵、じゃがいも、牛乳等）や購入場所の名称や購入場所の位置情報や購入価格等を示す購入情報と、購入した時刻を示す購入時刻とを、ネットワーク１３０を介してサーバ装置１１０に送信する（Ｓ５０１）。

サーバ装置１１０の購入情報受信部３１５は、物の購入を示す購入情報と物を購入した時刻を示す購入時刻を通信端末１２０から受信する（Ｓ５０２）。

通信端末１２０の位置情報取得部５０３は、通信端末１２０の現在の位置を示す位置情報を、位置検出部５４０から取得する（Ｓ５０３）。

位置情報取得部５０３は、通信端末１２０の現在の位置を示す位置情報が、自宅の位置情報であるかどうかを判断する（Ｓ５０４）。位置情報取得部５０３は、通信端末１２０の位置情報が自宅の位置情報であると判断した場合（Ｓ５０４：Ｙｅｓ）は、位置情報送信部５１３が通信端末１２０の現在の位置情報を、ネットワーク１３０を介してサーバ装置１１０に送信する（Ｓ５０５）。位置情報取得部５０３は、通信端末１２０の位置情報が自宅の位置情報でないと判断した場合（Ｓ５０４：Ｎｏ）は、Ｓ５０３の処理に戻り、通信端末１２０の現在の位置情報を取得する。尚、自宅の位置情報は、予め端末記憶部５３０に記憶されている。

サーバ装置１１０の位置情報受信部３１４は、通信端末１２０の位置を示す位置情報を通信端末１２０から受信する（Ｓ５０６）。

サーバ装置１１０の画像設定部３２４は、購入情報受信部３１５が物の購入を示す購入情報を受信したかどうか判断する（Ｓ５０７）。画像設定部３２４は、購入情報受信部３１５が物の購入を示す購入情報を受信していないと判断した場合（Ｓ５０７：Ｎｏ）は、サーバ装置１１０の処理は終了する。

画像設定部３２４は、購入情報受信部３１５が物の購入を示す購入情報を受信したと判断した場合（Ｓ５０７：Ｙｅｓ）は、位置情報取得部５０３が受信した通信端末１２０の位置情報が自宅の位置情報であるかどうかを判断する（Ｓ５０８）。画像設定部３２４は、通信端末１２０の位置情報が自宅の位置情報でないと判断した場合（Ｓ５０８：Ｎｏ）は、サーバ装置１１０の処理は終了する。

画像設定部３２４は、通信端末１２０の位置情報が自宅の位置情報であると判断した場合（Ｓ５０８：Ｙｅｓ）は、購入情報受信部３１５が購入情報を受信した後に、画像受信部３１１が冷蔵庫１００から収納室の画像を受信したかどうかを判断する（Ｓ５０９）。画像設定部３２４は、購入情報受信部３１５が購入情報を受信した後に、画像受信部３１１が冷蔵庫１００から収納室の画像を受信していないと判断した場合（Ｓ５０９：Ｎｏ）は、サーバ装置１１０の処理は終了する。

画像設定部３２４は、購入情報受信部３１５が購入情報を受信した後に、画像受信部３１１が冷蔵庫１００から収納室の画像を受信していると判断した場合（Ｓ５０９：Ｙｅｓ）は、受信した画像を第１の画像（基準画像）として画像関連情報記憶部３３１に記憶させ（Ｓ５１０）、サーバ装置１１０の処理は終了する。

これにより、購入情報の履歴と、通信端末１２０の特定の場所間の移動履歴に基づいて、物を購入後に撮像された画像を第１の画像として設定するので、ユーザの購入情報に基づいた適切なタイミングで撮像された収納室の画像を第１の画像（基準画像）として設定することができる。

なお、本発明は、上述した実施の形態及び変形例に限定されるものではなく変形可能であり、上記の構成は、実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。

上述のように、第１の差分取得部３２２は、例えば、今回受信した画像情報と前回受信した画像情報との間で、所定量以上の差分がある範囲を抽出している。今回受信した画像情報と前回受信した画像情報との間で、所定量以上の差分がある範囲を抽出する処理は、冷蔵庫の収納室の第１の画像と、前記第１の画像が撮像された後に撮像された前記収納室の第２の画像と、の間で変化した領域を検出する処理の一例であり、第１の差分取得部３２２は、特許請求の範囲に記載の検出部の一例である。また、特許請求の範囲に記載の変化した領域を示す領域表示は、例えば、第１の画像上に表示される差分位置情報が示す矩形範囲を囲む線が、その一例である。

１ 冷蔵庫システム、１００ 冷蔵庫、１００ａ 冷蔵庫表示部、１１０ サーバ装置、１２０ 通信端末、１２０ａ 端末表示部、１３０ ネットワーク、２０２ 撮像部、２０３ 冷蔵室、２０４ 冷凍室、２０５ 冷蔵室用扉、２０６ 冷凍室用扉、２０７ 載置棚、３１０ サーバ通信部、３１１ 画像受信部、３１２ 開閉情報受信部、３１３ 音声受信部、３１４ 位置情報受信部、３１５ 購入情報受信部、３１６ 要求受信部、３１７ サーバ画像送信部、３２０ サーバ制御部、３２１ 画像取得部、３２２ 第１の差分取得部、３２３ 情報取得部、３２４ 画像設定部、３２５ 差分情報生成部、３２６ 第２の差分取得部、３２７ 送信データ取得部、３３０ サーバ記憶部、３３１ 画像関連情報記憶部、４００ 冷蔵庫制御部、４０１ 開閉情報取得部、４０２ 撮像画像取得部、４０３ 冷蔵庫画像取得部、４０４ 冷蔵庫表示制御部、４０５ 音声取得部、４１０ 冷蔵庫通信部、４１１ 開閉情報送信部、４１２ 画像送信部、４１３ 冷蔵庫要求送信部、４１４ 冷蔵庫要求受信部、４１５ 冷蔵庫画像受信部、４１６ 音声送信部、４２０ 扉開閉検出部、４５０ 冷蔵庫入力部、４６０ 外部音声入力部、４７０ 冷蔵庫記憶部、５００ 端末制御部、５０１ 端末画像取得部、５０２ 端末表示制御部、５０３ 位置情報取得部、５０４ 購入情報取得部、５０５ 位置情報登録部、５１０ 端末通信部、５１１ 端末要求送信部、５１２ 端末画像受信部、５１３ 位置情報送信部、５１４ 購入情報送信部、５２０ 端末入力部、５３０ 端末記憶部、５４０ 位置検出部

Claims (14)

1. 冷蔵庫とサーバ装置とを備えた冷蔵庫システムであって、
   前記サーバ装置は、
   前記冷蔵庫から収納室の画像を複数受信する画像受信部と、
   前回受信した画像に対し所定量以上の差分を有する画像を第１の画像として設定する画像設定部と、
   前記複数受信した画像のうち前記第１の画像の受信後に受信した第２の画像と前記第１の画像との差分を示す差分情報を取得する差分情報取得部と、
   前記収納室の画像の送信の要求を要求装置から受信する要求受信部と、
   前記要求の受信に応じて、前記第１の画像と前記差分情報とを、前記要求装置に送信する画像送信部と、を備え、
   前記冷蔵庫は、
   前記収納室の画像を撮像する撮像部と、
   前記収納室の画像を前記サーバ装置に送信する画像送信部と、
   を備えることを特徴とする冷蔵庫システム。
2. 冷蔵庫と通信するサーバ装置であって、
   前記冷蔵庫から収納室の画像を複数受信する画像受信部と、
   前回受信した画像に対し所定量以上の差分を有する画像を第１の画像として設定する画像設定部と、
   前記複数受信した画像のうち前記第１の画像の受信後に受信した第２の画像と前記第１の画像との差分を示す差分情報を取得する差分情報取得部と、
   前記収納室の画像の送信の要求を要求装置から受信する要求受信部と、
   前記要求の受信に応じて、前記第１の画像と前記差分情報とを、前記要求装置に送信する画像送信部と、
   を備えることを特徴とするサーバ装置。
3. 前記冷蔵庫の扉の開閉の状態を示す開閉情報を前記冷蔵庫から受信する開閉情報受信部を、さらに備え、
   前記画像設定部は、前記開閉情報が所定の状態であるときの画像を前記第１の画像として設定すること、
   を特徴とする請求項２に記載のサーバ装置。
4. 前記開閉情報受信部は、前記扉の開放時間または前記扉の開閉回数のいずれかを前記冷蔵庫から受信し、
   前記画像設定部は、前記開放時間が所定時間以上であるとき、または、前記開閉回数が所定時間以内に所定回数以上であるときの画像を前記第１の画像として設定すること、
   を特徴とする請求項３に記載のサーバ装置。
5. 前記画像設定部は、今回受信した画像と前回受信した画像との差分を示す領域の個数が所定個以上、または、当該領域の面積が所定値以上である場合に、前記今回受信した画像を前記第１の画像として設定すること、
   を特徴とする請求項２乃至４のいずれかに記載のサーバ装置。
6. 前記冷蔵庫の外部の音声である外部音声を前記冷蔵庫から受信する音声受信部を、さらに備え、
   前記画像設定部は、当該外部音声が所定のキーワードを含んでいたときの画像を前記第１の画像として設定すること、
   を特徴とする請求項２乃至５のいずれかに記載のサーバ装置。
7. 通信端末の位置を示す位置情報を受信する位置情報受信部を、さらに備え、
   前記画像設定部は、前記位置情報受信部が所定の場所の位置情報を受信後に、前記画像受信部が受信した画像を前記第１の画像として設定すること、
   を特徴とする請求項２乃至６のいずれかに記載のサーバ装置。
8. 物の購入を示す購入情報を受信する購入情報受信部を、さらに備え、
   前記画像設定部は、前記購入情報受信部が前記購入情報を受信後に、前記画像受信部が受信した画像を前記第１の画像として設定すること、
   を特徴とする請求項２乃至７のいずれかに記載のサーバ装置。
9. サーバ装置と通信する冷蔵庫であって、
   前記冷蔵庫の収納室の画像を撮像する撮像部と、
   前記収納室の画像を前記サーバ装置に送信する画像送信部と、
   前記収納室の画像の送信の要求を前記サーバ装置に送信する冷蔵庫要求送信部と、
   前記送信の要求に応じて、前回撮像した画像に対し所定量以上の差分を有する第１の画像と、当該第１の画像の撮像後に撮像した第２の画像との差分を示す差分情報とを、前記サーバ装置から受信する冷蔵庫画像受信部と、
   前記第１の画像と前記差分情報に基づいた表示とを冷蔵庫表示部に表示する冷蔵庫表示制御部と、
   を備えることを特徴とする冷蔵庫。
10. サーバ装置と通信する通信端末であって、
    冷蔵庫の収納室の画像を送信する要求を前記サーバ装置に送信する端末要求送信部と、
    前回撮像された画像に対し所定量以上の差分を有する第１の画像と、当該第１の画像の撮像後に撮像された第２の画像と当該第１の画像との差分を示す差分情報とを、前記サーバ装置から受信する端末画像受信部と、
    前記第１の画像と前記差分情報に基づいた表示とを端末表示部に表示する端末表示制御部と、
    を備えることを特徴とする通信端末。
11. 前記端末表示制御部は、前記差分情報が、前記収納室の収納物が減少した場合と、新たな収納物が増加した場合とで、前記差分情報の表示形態を変えて前記端末表示部に表示すること、
    を特徴とする請求項１０に記載の通信端末。
12. 前記端末表示部に表示されている前記差分情報を選択する端末入力部を、さらに備え、
    端末画像受信部は、さらに、前記第２の画像を受信し、
    前記端末表示制御部は、前記差分情報が選択されたときに、前記第１の画像とともに、前記第２の画像を前記端末表示部に表示すること、
    を特徴とする請求項１０または１１のいずれかに記載の通信端末。
13. 冷蔵庫と通信するサーバ装置の制御方法であって、
    前記冷蔵庫から収納室の画像を複数受信し、
    前回受信した画像に対し所定量以上の差分を有する画像を第１の画像として設定し、
    前記複数受信した画像のうち前記第１の画像の受信後に受信した第２の画像と前記第１の画像との差分を示す差分情報を取得し、
    前記収納室の画像の送信の要求を要求装置から受信し、
    前記要求の受信に応じて、前記第１の画像と前記差分情報に基づいた表示とを、前記要求装置に送信すること、
    を特徴とするサーバ装置の制御方法。
14. 冷蔵庫の収納室の第１の画像と、前記第１の画像が撮像された後に撮像された前記収納室の第２の画像と、の間で変化した領域を検出する検出部と、
    前記変化した領域を示す領域表示を前記第１の画像に重ね合わせて表示する表示部と、
    を備えることを特徴とする冷蔵庫システム。

Images