JP2017215067A - 在庫管理装置および在庫管理方法 - Google Patents

Abstract

【課題】実用に適した在庫管理装置を実現する。【解決手段】カメラ（１４）を制御して、貯蔵庫（１）開口部の画像を取得する画像取得部（２０）と、該画像から入出庫を判定する入出庫判定部（２２）とを備え、画像取得部は、品物を運搬する手の通過を検知するセンサ（１３）のセンサ値に基づいて、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得するものであり、入出庫判定部は、第１画像に品物が写っている否かと、第２画像に上記品物が写っているか否かとに基づいて、該品物の入出庫を判定する。【選択図】図１

Description

本発明は、貯蔵庫の在庫を管理する在庫管理装置および在庫管理方法に関する。

例えば、冷蔵庫や冷凍庫などの貯蔵庫において、食品などの品物の在庫管理を行う技術が従来知られている。例えば、特許文献１には、冷蔵庫の庫内に設置されたカメラが、所定時間間隔で冷蔵庫開口部を通過する対象物を撮影し、これにより得らえた複数の画像に対して画像演算処理を施して、食物の入出庫判定を行う冷蔵庫が開示されている。あるいは、特許文献２には、食品が収納された位置を検出するとともに、該食品の重量を検出し、食品に取り付けられたＩＣタグから該食品の情報を取得して、食品の在庫管理を行う食物貯蔵庫が開示されている。

特開２０１５−８１７６２号公報（２０１５年４月２７日公開） 特開２００３−１８５３２６号公報（２００３年７月３日公開）

しかしながら、上述のような従来技術は、装置に要求される処理能力またはユーザの利便性という観点から、実用に適さないという問題がある。

なおこの問題は、冷却機能を備えた貯蔵庫に限らず、食物などの品物を常温で貯蔵するパントリー（貯蔵室）、または、保温機能を備えた貯蔵庫などにおいても同様に生じる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、実用に適した在庫管理装置および在庫管理方法を実現することにある。

上記の課題を解決するために、本発明の一態様に係る在庫管理装置は、カメラを制御して、貯蔵庫の、品物を入出庫するための開口部の画像を取得する画像取得部と、上記画像に基づいて、品物の入出庫を判定する入出庫判定部とを備え、上記画像取得部は、庫内に設けられた、品物を運搬する手の通過を検知するセンサのセンサ値に基づいて、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得するものであり、上記入出庫判定部は、上記第１画像に品物が写っている否かと、上記第２画像に上記品物が写っているか否かとに基づいて、該品物の入出庫を判定する。

上記の課題を解決するために、本発明の一態様に係る在庫管理装置は、品物を貯蔵庫に入庫する際にマイクを介して入力された、該品物の名称を発話した音声を認識してテキストデータに変換する音声認識部と、上記貯蔵庫の１以上の貯蔵スペースの床面に設けられた重量センサから出力されるセンサ値に基づいて、上記床面にかかる負荷を測定し、該負荷に変化が生じた場合に該負荷の変化量および変化位置を特定する測定部と、上記負荷に変化が生じた時点と最も近い時点で入力された発話音声のテキストデータと、上記負荷の変化量と、上記変化位置と、上記負荷に変化が生じた時点とを含む、上記品物のレコードを、上記貯蔵庫の在庫を示す在庫表に登録する在庫管理部とを備えている。

本発明の一態様によれば、実用に適した在庫管理装置および在庫管理方法を実現できるという効果を奏する。

本発明の実施形態１および２の冷蔵庫の要部構成を示すブロック図である。 本発明の実施形態１および２の在庫管理システムの概要を示す図である。 （ａ）は、冷蔵庫の冷蔵室のドア部を開いた状態の正面図であり、（ｂ）は、冷蔵庫１の冷蔵室のドア部を開いた状態の上面図である。 冷蔵庫が備えるカメラの取り付け位置の他の例を示す図である。 画像取得部によって実行される撮像制御処理の内容およびそのトリガを示す。 画像取得部によって実行される撮像制御処理の内容およびそのトリガを示す。 画像取得部によって実行される撮像制御処理の内容およびそのトリガを示す。 画像取得部によって実行される撮像制御処理の内容およびそのトリガを示す。 画像取得部によって実行される撮像制御処理の流れを示すフローチャートである。 画像記憶部に記憶される画像データベースのデータ構造の一例を示す図である。 （ａ）および（ｂ）は、特徴量抽出部によって実行される画像処理（２値化画像生成処理）の一例を説明する図である。 （ａ）および（ｂ）は、特徴量抽出部によって実行される画像処理（マスキング画像生成処理）の一例を説明する図である。 入出庫判定部によって実行される入出庫判定処理の流れを示すフローチャートである。 （ａ）〜（ｃ）は、在庫表記憶部に記憶される在庫表の具体例を示す図である。 （ａ）は、実施形態２に係る冷蔵庫のドア部を開いた状態の上面図であり、（ｂ）は、冷蔵室内部の斜視図である。 （ａ）は、冷蔵室のドア部を除いた部分の概略側面図であり、（ｂ）は、他の例における冷蔵室内部の斜視図である。 実施形態２の画像取得部によって実行される撮像制御処理の内容およびそのトリガを示す図である。 実施形態２の画像取得部によって実行される撮像制御処理の流れを示すフローチャートである （ａ）〜（ｄ）は、カメラによって撮像された中間画像の具体例を示す図である。 実施形態２の入出庫判定部によって実行される入庫先判定処理の流れを示すフローチャートである。 実施形態２の在庫表記憶部に記憶される在庫表の具体例を示す図である。 実施形態３の冷蔵庫の冷蔵室のドア部を開いた状態の一部透過斜視図である。 本発明の実施形態３に係る冷蔵庫の要部構成を示すブロック図である。 重量センサにマトリクス状に配置された圧力センサの一例を示す図である。 （ａ）は、貯蔵スペース床面の四隅に圧力センサを有する重量センサの斜視図であり、（ｂ）は、該重量センサの正面図である。 四隅に圧力センサを有する重量センサを採用した場合に、測定部が重量変化量および変化位置を特定する方法を説明する図である。 実施形態３の在庫管理部によって実行される入庫時の在庫管理処理の流れを示すフローチャートである。 実施形態３の在庫管理部によって実行される出庫時または再入庫時の在庫管理処理の流れを示すフローチャートである。 実施形態３の在庫表記憶部に記憶される在庫表の具体例を示す図である。 （ａ）は、クラウドサーバに記憶される貯蔵期間リストの一例を示す図であり、（ｂ）は、実施形態４の在庫表の一例を示す図である。 在庫管理部によって実行される使用期限管理処理の流れを示すフローチャートである。 食品リストの一例を示す図である。

〔実施形態１〕
（発明が解決しようとする課題および発明の目的）
特許文献１の技術では、ドアの開閉時に連続して撮影された多数の画像に対してベクトル演算を施す必要があるため、冷蔵庫に処理能力の高いプロセッサを搭載しなければならない。画像に対する演算処理をクラウドサーバなどの外部装置に担わせるにしても、冷蔵庫からクラウドサーバに対して短時間に多数の画像を転送する必要がある。このように、冷蔵庫に搭載する装置に対して高い処理能力、あるいは、高性能な通信機能および通信環境が要求されるため、冷蔵庫そのものの製造コスト、または、通信環境を整えるための初期コストが増大し、実用的ではない。実施形態１では、多数の画像を短時間で処理することなく、かつ、ユーザの利便性を損なわずに品物の入出庫を判定することが可能な在庫管理装置または在庫管理システムを実現する。

（在庫管理システムの概要）
図２は、本発明の実施形態１および２に係る在庫管理システム１００の概要を示す図である。本発明の一実施形態において、本発明の在庫管理装置は、食品などの品物の貯蔵を行う冷蔵庫の在庫管理を行う在庫管理装置であって、該在庫管理装置は、冷蔵庫１として実現される。なお、本発明の在庫管理装置にて在庫管理の対象となる品物は、食品に限定されず、医薬品、化粧品など、貯蔵庫にて貯蔵され得るあらゆる品物が想定されている。本実施形態では、冷蔵庫１は、在庫管理システム１００の一部を構成している。

在庫管理システム１００は、食品の貯蔵を行う冷蔵庫１、１ａ、１ｂ、・・・と、冷蔵庫１と広域通信ネットワーク４を介して通信するクラウドサーバ２とを含む。在庫管理システム１００は、必要に応じて、さらに、ユーザが携帯する小型の通信端末３を含んでいてもよい。通信端末３は、例えば、スマートフォン、タブレット端末、携帯電話などであり、ユーザによって携帯されている。クラウドサーバ２、通信端末３、および、冷蔵庫１は、広域通信ネットワーク４を介して接続するよう構成されている。なお、冷蔵庫１および通信端末３について、数や種類は限定されず、個別に説明する必要のない場合は、総称として冷蔵庫１と通信端末３とを用いる。また、クラウドサーバ２によって管理されるユーザ宅の数も限定されない。

なお、冷蔵庫１のそれぞれには、図示しない家電アダプタが接続されており、家電アダプタは、通信部の一部を構成し、冷蔵庫１を広域通信ネットワーク４に接続させる。これによって、冷蔵庫１を、いわゆるネットワーク家電にすることができ、冷蔵庫１は、クラウドサーバ２などの外部装置から、必要な情報を受信することができるし、また、ローカルに保存された情報を冷蔵庫１からクラウドサーバ２に送信することもできる。なお、ここでは、広域通信ネットワーク４としてインターネットを含む構成を例示しているが、電話回線網、移動体通信網、ＣＡＴＶ（CAble TeleVision）通信網、衛星通信網などを利用することもできる。

また、広域通信ネットワーク４を介して、クラウドサーバ２と通信端末３とが通信可能になっている。通信端末３と広域通信ネットワーク４におけるインターネットとの間は、３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）や、宅内あるいは公衆のＷｉ−Ｆｉ（登録商標）アクセスポイントなどを利用して接続される。

本実施形態に係る在庫管理システム１００において、冷蔵庫１は、品物の入出庫判定機能および在庫管理機能を担い、これを実行する。クラウドサーバ２は、冷蔵庫１が上記各機能を実行する上で必要な情報を適宜冷蔵庫１に提供する。また、クラウドサーバ２は、必要に応じて、冷蔵庫１の情報（在庫の情報など）を収集し、冷蔵庫１のユーザの通信端末３に対して収集した情報を配信する。

なお、本実施形態では、クラウドサーバ２は、クライアント（ユーザ宅）ごとに、冷蔵庫１および通信端末３を個々に登録して管理している。したがって、クラウドサーバ２は、データを受信するときは、どの冷蔵庫１または通信端末３から送信されたデータであるのかを把握することが可能であり、データを送信するときは、どの冷蔵庫１または通信端末３宛てであるかを指定して送信することが可能である。

（冷蔵庫の概観）
図３の（ａ）は、冷蔵庫１の冷蔵室１ｃのドア部１ｄを開いた状態の正面図であり、（ｂ）は、冷蔵庫１の冷蔵室ドア部を開いた状態の上面図である。なお、図３の（ｂ）では、食品の出し入れが容易に理解できるように、冷蔵室１ｃの天板を除いて示している。また、冷蔵庫１を示した各図は、明瞭化と簡略化のために適宜に変更された模式図である。すなわち、各図に示された冷蔵庫１各部のサイズ（長さ、大きさ、幅）、サイズ比率、および、形状などは、実際の冷蔵庫１のものと異なる。また、各図は、発明と無関係な細部を描写することを省略している。その他の冷蔵庫１または冷蔵庫３０１の図についても同様である。

図３の（ａ）に示すとおり、冷蔵庫１は、一例として、３つの貯蔵庫からなり、各庫は、上から順に、冷蔵室１ｃ、冷凍室１ｆ、および、野菜室１ｖを構成する。冷蔵庫１の各庫の構成は、上記に限定されず、さらに、製氷室またはチルド室を有していてもよいし、冷蔵庫１は、冷蔵室１ｃのみ、冷凍室１ｆのみで構成されていてもよい。また、各庫の位置は、上下逆でも構わない。

冷凍室１ｆおよび野菜室１ｖは、引き出し型の貯蔵スペースを有し、ユーザは、取っ手を手前に引くことで、冷凍室１ｆおよび野菜室１ｖの庫内に手をのばすことができる。一方、冷蔵室１ｃは、観音開き型の２枚の扉からなるドア部１ｄを有し、ユーザは、取っ手を手前に引いて片方または両方のドア部１ｄを開くことで、冷蔵室１ｃの庫内に手をのばすことができる。なお、冷蔵室１ｃのドア部１ｄは、片開き型の１枚の扉によって構成されてもよい。

冷蔵室１ｃの貯蔵スペースは、さらに、一例として、３枚の棚板１ｒによって、４つの段に区切られていてもよい。なお、棚板１ｒの数は、上記に限定されず、０枚であってもよいし、３枚より少なくても、多くてもよい。

図３の（ａ）および（ｂ）に示すとおり、冷蔵室１ｃ内の天井面には、センサ１３およびカメラ１４が備えられている。センサ１３は、ユーザの手（および、手が品物を把持している場合はその品物も）が、冷蔵室１ｃの所定の場所を通過したか否かを検知するためのものである。センサ１３の数および設置位置は、センサ１３の種類、性能、および、通過を検知したい場所に応じて適宜決定される。センサ１３としては、例えば、赤外線センサ、温度センサ、（ドア部１ｄの）開閉センサ、または、照度センサなどが採用される。

例えば、センサ１３が赤外線センサであって、冷蔵室１ｃの開口部を手が通過したか否かを検知したい場合、センサ１３は、図３の（ａ）および（ｂ）に示すとおり、冷蔵室１ｃの天井面の開口側端部に所定の間隔で配置される。とりわけ、各センサ１３は、開口部または開口部によって形成される開口領域に障害物がない場合に、冷蔵室１ｃの底面の開口側端部にまで赤外線が届くように配置される。このように天井面の開口側端部に配置されたセンサ１３を以下では、フロントセンサ１３ｆ（第１センサ）と称する。また、開口部よりさらに奥、棚板１ｒにまで手がのばされたか否かを検知したい場合、センサ１３は、図３の（ｂ）に示すとおり、棚板１ｒの開口側端部と対向する、冷蔵室１ｃの天井面の領域に所定の間隔で配置される。とりわけ、各センサ１３は、最下段の貯蔵スペースにまで赤外線が届くように配置される。このように棚板１ｒの開口側端部と対向する天井面に配置されたセンサ１３を以下では、バックセンサ１３ｂ（第２センサ）と称する。

カメラ１４は、ユーザの手が冷蔵室１ｃの庫内に出入りする様子を静止画として撮像するためのものである。カメラ１４の設置位置は、カメラ１４（またはカメラ１４のレンズ）の種類または性能に応じて適宜決定される。カメラ１４は、少なくとも、冷蔵室１ｃの開口部および棚板１ｒの開口側端部が撮像範囲に含まれるように配置される。本実施形態では、カメラ１４は、一例として、天井面の開口側端部の中央付近（または、中央のフロントセンサ１３ｆと設置位置が重なる場合は、それより少し奥）に設置される。その結果、本実施形態では、撮像範囲は、図３の（ｂ）に示す破線枠のとおりとなる（撮像範囲１４ａ）。

さらに、図４に示すとおり、カメラ１４は、冷凍室１ｆまたは野菜室１ｖに設けられてもよい。この場合、カメラ１４は、冷凍室１ｆまたは野菜室１ｖの貯蔵スペースの内面の最上部（一例として、取っ手が付いている部分の裏側あたり）に、冷凍室１ｆまたは野菜室１ｖの開口部全体を撮像範囲１４ａとするように設置される。これにより、上記開口部によって形成される開口領域全体を撮像範囲１４ａに収めることができる。

（冷蔵庫の構成）
図１は、本発明の実施形態１および２に係る冷蔵庫１の要部構成を示すブロック図である。該ブロック図は、冷蔵庫１のブロック図ではあるが、本図において、本発明に直接関係の無い部分、例えば、冷却または冷凍機能を実現する部分などの記載を省略した。冷蔵庫１は、図１に示すように、少なくとも、制御部１０、記憶部１１、センサ１３およびカメラ１４を備えている構成であり、必要に応じてさらに、通信部１２、マイク１５、スピーカ１６およびディスプレイ１７を備えていてもよい。通信部１２は、上述の家電アダプタを含み、広域通信ネットワーク４を介してクラウドサーバ２と相互通信を行う。マイク１５は、ユーザが制御部１０に対して入力する音声を取得する。マイク１５によって取得された音声は、図示しない音声制御部によって入力音声データとして処理される。スピーカ１６は、上記音声制御部によって処理された出力音声データを、ユーザが聴取する音声として出力する。ディスプレイ１７は、記憶部１１に記憶されている各種データをユーザが視認可能なように表示するものであり、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬＤ（エレクトロルミネセンスディスプレイ）などの表示装置で構成される。

センサ１３は、上述したとおり、手の通過を検知するためのフロントセンサ１３ｆおよびバックセンサ１３ｂを含む。さらに好ましくは、センサ１３は、ドア部１ｄの開閉を検知するための開閉センサ１３ｄを含む。開閉センサ１３ｄは、ドアが開けられたこと（開ドア）、または、閉じられたこと（閉ドア）を検知し、検知結果を画像取得部２０に出力する。なお、開閉センサ１３ｄは、照度センサ、接触センサなど適宜のセンサで実現される。

制御部１０は、冷蔵庫１の各部の動作を統括的に制御する。制御部１０は、例えば、ＣＰＵや専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成る。制御部１０は、機能ブロックとして、少なくとも、画像取得部２０および入出庫判定部２２を含み、より好ましくは、必要に応じて、特徴量抽出部２１、品物識別部２３および在庫管理部２４を含んでいる。

記憶部１１は、冷蔵庫１が処理する各種データを記憶する。例えば、記憶部１１は、撮像された画像のパターンマッチングに使用するパターン画像（予め学習した画像）を記憶するためのパターン記憶部３０を含む。また、記憶部１１は、カメラ１４によって撮像された画像、および、特徴量抽出部２１によって画像処理された処理結果のデータを記憶するための画像記憶部３１を含む。また、記憶部１１は、冷蔵庫１の各庫内に貯蔵されている品物の一覧表である在庫表を記憶する在庫表記憶部３２を含む。

画像取得部２０は、カメラ１４を制御して画像を取得するものである。具体的には、画像取得部２０は、センサ１３から供給されるセンサ値に基づいて、静止画を得るべき撮像タイミングを特定し、その撮像タイミングで撮像を実行するようにカメラ１４を制御する。これにより、入出庫判定に必要なシーンを写した画像が取得される。こうして画像取得部２０によって取得された画像は、記憶部１１の画像記憶部３１に記憶される。

特徴量抽出部２１は、撮像された画像（以下、原画像）を処理して、該画像の特徴量を抽出する。抽出された特徴量は、原画像と紐付けて、画像記憶部３１に格納される。

入出庫判定部２２は、原画像または原画像から抽出された特徴量に基づいて、品物の入出庫判定を行う。本実施形態において、入出庫判定とは、原画像が捉えた１回の手の出し入れにつき、品物が入庫されたのか、品物が出庫されたのか、品物の入庫および出庫が両方なされたのか、または、品物は移動せず手の出し入れのみなされたのかを判定することである。入出庫判定部２２は、判定結果を記憶部１１に記憶してもよいし、下流の機能ブロック（品物識別部２３または在庫管理部２４）に通知してもよい。

品物識別部２３は、入庫または出庫されたと判定された品物を特定し、特定した品物を識別するための品物識別情報を生成する。品物識別情報は、品物の名称を表すテキストデータであってもよいし、品物に一意に割り当てられている意味内容を持たない文字の羅列であってもよいし、一目みてその品物と分かるイラストの画像データまたはアイコンデータあってもよいし、単に原画像から品物の領域をトリミングした画像データであってもよいし、原画像そのものであってもよい。品物識別部２３によって生成された品物識別情報は、在庫管理部２４に引き渡される。

在庫管理部２４は、品物の入出庫判定結果および品物の品物識別情報に基づいて、在庫表を更新し、冷蔵庫１の在庫を管理する。具体的には、入庫された品物のレコードを在庫表に登録したり、出庫された品物のレコードを在庫表から削除したり、その他状態に変化があった品物のレコードを更新したりする。上述の各機能ブロックによって実行される各種処理について、図を参照して後に詳述する。

（画像取得部２０による撮像制御処理）
画像取得部２０は、１回の手の出し入れにつき、少なくとも、２枚の静止画を取得することを特徴とする。２枚の静止画を、１回の手の出し入れのどのタイミングで取得するのかについて説明する。

図５に、ユーザによって品物（例えば、りんご）が入庫されたケース１において見られる複数のシーンと、シーンごとの画像取得部２０の撮像制御処理の内容およびそのトリガを示す。ユーザは、りんごを冷蔵庫１に入れるために、まず、ドア部１ｄを開ける。シーンＳＣ１−１は、この時の様子を示す。開閉センサ１３ｄによって、ドア部１ｄが開けられたこと（以下、「開ドア」と記載）が検知されると、その後に、手の出し入れが発生する可能性が高いので、画像取得部２０は、カメラ１４を起動する。このように、冷蔵庫１に開閉センサ１３ｄが設けられている場合、冷蔵庫１のドア部１ｄが開けられている間だけ、カメラ１４の電源を入れておくことができ、閉じられており手の出し入れが起こり得ない（カメラ１４の電源を入れておく必要がない）期間に、カメラ１４が無駄に電力を消費することを回避できる。

さらに、開ドアが検知されたタイミングで、画像取得部２０は、シーンＳＣ１−１をカメラ１４に撮像させることが好ましい。シーンＳＣ１−１のように、まだ手の出し入れが起こる前の状態（手も品物も写らない状態）を写した画像を、以下では参照画像と称する。この参照画像を撮像することの利点は、後に詳述する。参照画像は、ドア部１ｄの開閉１回につき１枚撮像されればよく、手の出し入れごとに撮影する必要はない。

次に、ユーザは、りんごを冷蔵庫１に入れようと、りんごを手に持って冷蔵室１ｃ内に手を差し入れる。手は必ず冷蔵室１ｃの開口部を通過する。シーンＳＣ１−２は、この時の様子を示す。ここで、フロントセンサ１３ｆは、手が冷蔵庫１の開口部にさしかかったことを検知する。具体的には、フロントセンサ１３ｆは、手が入れられたことによって、フロントセンサ１３ｆの赤外線照射部から照射される赤外線が遮られ、フロントセンサ１３ｆの赤外線受光部にて受光されなくなったことに基づいて、オンの信号からオフの信号に切り替えて、該信号を画像取得部２０に出力する。画像取得部２０は、バックセンサ１３ｂがオン（通過非検知）のままである一方で、フロントセンサ１３ｆがオン（通過非検知）からオフ（通過検知）に切り替わったタイミングで、カメラ１４に第１画像を撮像させる。このタイミングでは、冷蔵室１ｃの貯蔵スペースに手を入れる前のユーザの手がちょうど撮像範囲１４ａに収まり、冷蔵庫１内に入れる前のユーザの手の様子が写っている第１画像が得られる。

次に、ユーザは、りんごを所望の段の所望の位置に置くために、りんごを持った手をさらに奥に差し入れる。手は必ずいずれかの棚板１ｒの最前列（開口側端部）か、最前列を通過してそれよりも奥に入る。シーンＳＣ１−３は、この時の様子を示す。ここで、バックセンサ１３ｂは、ユーザの手が棚板１ｒの最前列より奥に到達し、赤外線が遮断されたことに基づいて、オンからオフに切り替えて信号を出力する。フロントセンサ１３ｆは、当然、オフを保っている。画像取得部２０は、フロントセンサ１３ｆがオフ（通過検知）のままである一方で、バックセンサ１３ｂがオン（通過非検知）からオフ（通過検知）に切り替わったタイミングでは、撮像対象の手が冷蔵室１ｃ庫内にあって、撮像範囲１４ａにないと判断し、カメラ１４に撮像を実行させずに待機させる。画像取得部２０は、再び、撮像対象が撮像範囲１４ａに入るまでこの待機状態を維持させる。

次に、ユーザは、りんごを所望の位置に置いた後、手ぶらの状態の手を引き抜く。この場合、手は、必ず、開口部を通過する前に、棚板１ｒの最前列を通過する。シーンＳＣ１−４は、この時の様子を示す。ここで、バックセンサ１３ｂは、ユーザの手が棚板１ｒの最前列を通過し終わって、赤外線が再び受光されたことに基づいてオフからオンに信号を切り替えて出力する。手は開口部をまだ通過していないので、フロントセンサ１３ｆは、オフを保っている。画像取得部２０は、フロントセンサ１３ｆがオフ（通過検知）のままである一方で、バックセンサ１３ｂがオフ（通過検知）からオン（通過非検知）に切り替わったタイミングで、カメラ１４に第２画像を撮像させる。このタイミングでは、冷蔵室１ｃの貯蔵スペースから引き抜かれようとする手がちょうど撮像範囲１４ａに収まり、冷蔵庫１内に入れた後に戻ってくるユーザの手の様子が写っている第２画像が得られる。

ユーザは、手を引き抜いた後、特に用事がなければ、最後にドア部１ｄを閉める。シーンＳＣ１−５は、この時の様子を示す。開閉センサ１３ｄによって、ドア部１ｄが閉められたこと（以下、「閉ドア」と記載）が検知されると、画像取得部２０は、カメラ１４を停止する。

図６に、ユーザによって品物（例えば、りんご）が出庫されたケース２において見られる複数のシーンと、シーンごとの画像取得部２０の撮像制御処理の内容およびそのトリガを示す。ユーザは、りんごを冷蔵庫１から取り出すために、まず、ドア部１ｄを開ける。シーンＳＣ２−１は、この時の様子を示す。入庫時と同様に、画像取得部２０は、開ドアが開閉センサ１３ｄによって検知されたタイミングでカメラ１４を起動し、より好ましくは参照画像を撮像させる。

次に、ユーザは、りんごを取り出すために、何も持たない手を冷蔵室１ｃ内に差し入れる。手は必ず冷蔵室１ｃの開口部を通過する。シーンＳＣ２−２は、この時の様子を示す。画像取得部２０は、入庫時と同様に、バックセンサ１３ｂがオンのままである一方で、フロントセンサ１３ｆがオンからオフに切り替わったタイミングで、カメラ１４に第１画像を撮像させる。このタイミングでは、入庫時と同様に、冷蔵庫１内に入れる前のユーザの手の様子が写っている第１画像が得られる。

次に、ユーザは、目的のりんごが置かれている位置まで、手をさらに奥に差し入れる。手は必ずいずれかの棚板１ｒの最前列か、最前列を通過してそれよりも奥に入る。シーンＳＣ２−３は、この時の様子を示す。画像取得部２０は、入庫時と同様に、フロントセンサ１３ｆがオフのままである一方で、バックセンサ１３ｂがオンからオフに切り替わったタイミングでは、カメラ１４に撮像を実行させずに待機させる。画像取得部２０は、再び、撮像対象が撮像範囲１４ａに入るまでこの待機状態を維持させる。

次に、ユーザは、りんごを手に取ってその手を引き抜く。この場合、手は、必ず、開口部を通過する前に、棚板１ｒの最前列を通過する。シーンＳＣ２−４は、この時の様子を示す。画像取得部２０は、フロントセンサ１３ｆがオフのままである一方で、バックセンサ１３ｂがオフからオンに切り替わったタイミングで、カメラ１４に第２画像を撮像させる。このタイミングでは、入庫時と同様に、冷蔵庫１内に入れた後に戻ってくるユーザの手の様子が写っている第２画像が得られる。

ユーザは、手を引き抜いた後、特に用事がなければ、最後にドア部１ｄを閉める。シーンＳＣ２−５は、この時の様子を示す。閉ドアが検知されると、画像取得部２０は、カメラ１４を停止する。

図７に、１回の手の出し入れで入庫と出庫とが同時に行われるケース３において見られる複数のシーンと、シーンごとの画像取得部２０の撮像制御処理の内容およびそのトリガを示す。ユーザは、りんごを冷蔵庫１に入れて、牛乳を冷蔵庫１から取り出すために、まず、ドア部１ｄを開ける。シーンＳＣ３−１は、この時の様子を示す。上述と同様に、画像取得部２０は、開ドアが検知されたタイミングでカメラ１４を起動し、より好ましくは参照画像を撮像させる。

次に、ユーザは、まずはりんごを入れるために、りんごを持った手を冷蔵室１ｃ内に差し入れる。手は必ず冷蔵室１ｃの開口部を通過する。シーンＳＣ３−２は、この時の様子を示す。画像取得部２０は、上述と同様に、バックセンサ１３ｂがオンのままである一方で、フロントセンサ１３ｆがオンからオフに切り替わったタイミングで、カメラ１４に第１画像を撮像させる。このタイミングでは、上述と同様に、冷蔵庫１内に入れる前のユーザの手の様子が写っている第１画像が得られる。

次に、ユーザは、りんごを所望の位置に置いて、牛乳を手にするために手をさらに奥に差し入れる。手は必ずいずれかの棚板１ｒの最前列か、最前列を通過してそれよりも奥に入る。シーンＳＣ３−３は、この時の様子を示す。画像取得部２０は、上述と同様に、フロントセンサ１３ｆがオフのままである一方で、バックセンサ１３ｂがオンからオフに切り替わったタイミングでは、カメラ１４に撮像を実行させずに待機させる。画像取得部２０は、再び、撮像対象が撮像範囲１４ａに入るまでこの待機状態を維持させる。

次に、ユーザは、牛乳を手に取ってその手を引き抜く。この場合、手は、必ず、開口部を通過する前に、棚板１ｒの最前列を通過する。シーンＳＣ３−４は、この時の様子を示す。画像取得部２０は、フロントセンサ１３ｆがオフのままである一方で、バックセンサ１３ｂがオフからオンに切り替わったタイミングで、カメラ１４に第２画像を撮像させる。このタイミングでは、上述と同様に、冷蔵庫１内に入れた後に戻ってくるユーザの手の様子が写っている第２画像が得られる。

ユーザは、手を引き抜いた後、特に用事がなければ、最後にドア部１ｄを閉める。シーンＳＣ３−５は、この時の様子を示す。閉ドアが検知されると、画像取得部２０は、カメラ１４を停止する。

図８に、手の出し入れは起こったが、品物の入出庫が起こらなかったケース４において見られる複数のシーンと、シーンごとの画像取得部２０の撮像制御処理の内容およびそのトリガを示す。画像取得部２０による撮像制御処理は、上述と同様に、実行される。

すなわち、シーンＳＣ４−１において、「開ドア」が検知されると、画像取得部２０は、カメラ１４を起動して、参照画像を撮像させる。シーンＳＣ４−２において、バックセンサ１３ｂがオンのまま、フロントセンサ１３ｆがオンからオフに切り替わると、カメラ１４に第１画像を撮像させる。シーンＳＣ４−３において、フロントセンサ１３ｆがオフのまま、バックセンサ１３ｂがオンからオフに切り替わった後、次に、バックセンサ１３ｂがオンに切り替わるまでの間、カメラ１４を待機させる。シーンＳＣ４−４において、フロントセンサ１３ｆがオフのまま、バックセンサ１３ｂがオンに切り替わると、カメラ１４に第２画像を撮像させる。シーンＳＣ４−５において、「閉ドア」が検知されると、画像取得部２０は、カメラ１４を停止する。

以上のとおり、画像取得部２０がセンサ１３が出力するセンサ値に基づいて、カメラ１４の撮像タイミングを制御することにより、少なくとも、第１画像および第２画像の２枚の静止画が取得される。上述のとおり、第１画像には、冷蔵庫１内に入れる前のユーザの手の様子が写っており、第２画像には、冷蔵庫１内に入れた後に戻ってくるユーザの手の様子が写っている。

図９は、画像取得部２０によって実行される撮像制御処理の流れを示すフローチャートである。なお、フローチャートを参照して以下に開示された方法において、特定の順序で実行される特定のステップが示されているが、これは、単なる例示の目的であって、本発明に係る処理の方法を限定する意図はない。フローチャートにおいて連続的に記載された各ステップは、本発明の方法と等価な方法を達成するために、実施形態が開示または示唆する内容から逸脱しない範囲で、組み合わせて１つのステップを実現してもよいし、さらに、さらに詳細なステップに分割されてもよいし、各ステップは並行して実行されてもよいし、開示されたものと異なる順序で実行されてもよいし、必須でないステップは省略されてもよい。すなわち、各ステップに付されたステップ番号は、処理が実行される実際の順番を示しているのではない。その他のフローチャートにおいても同様である。

開閉センサ１３ｄによって開ドアが検知されると（Ｓ１０１でＹＥＳ）、画像取得部２０は、カメラ１４を起動し、参照画像を撮像させる（Ｓ１０２）。画像取得部２０は、ドア部１ｄの開閉１回につき１つの参照画像を取得する。画像取得部２０は、ドア開閉回数をカウントし、取得した参照画像を、ドアの開閉１回分（例えば、ドア開閉回ＩＤ）に紐付けて画像記憶部３１に格納する。これ以後、画像取得部２０は、閉ドアが検知されるまでの間、手の出し入れ回数をカウントし、手の出し入れ１回ごとに、２枚の画像（手の入りの画像、および、手の出しの画像）を取得する。ドア開閉回数ＩＤと、手の出し入れ回数ＩＤと、手の入りか出しかの２値とを組み合わせて、これを画像の識別情報とし、画像のファイル名に採用することが好ましい。

フロントセンサ１３ｆのみがオンからオフになると（Ｓ１０３でＹＥＳ）、画像取得部２０は、カメラ１４に第１画像を撮像させる（Ｓ１０４）。その後、バックセンサ１３ｂもオンからオフになり（Ｓ１０５でＹＥＳ）、そこからさらに、バックセンサ１３ｂのみがオフからオンに戻ると（Ｓ１０７でＹＥＳ）、画像取得部２０は、カメラ１４に第２画像を撮像させる（Ｓ１０８）。最後に、フロントセンサ１３ｆもオフからオンに戻ると（Ｓ１０９でＹＥＳ）、これで、１回の手の出し入れが確定し、画像取得部２０は、その回の手の出し入れに紐付けて、取得した第１画像および第２画像を対にして、画像記憶部３１に記憶する（Ｓ１１０）。

一方、Ｓ１０９において、フロントセンサ１３ｆがオフからオンに戻らないうちに、バックセンサ１３ｂが再びオンからオフに戻ると（Ｓ１０９でＮＯ）、これは、ユーザの手が出きらずに再び冷蔵室１ｃの奥に差し入れられたことになる。この場合において、さらに、再び、バックセンサ１３ｂのみがオフからオンに戻ると（Ｓ１０７でＹＥＳ）、このタイミングが、当該１回の手の出し入れにおける、最新の「手の出し」であると認識し、画像取得部２０は、当該最新の「手の出し」を写す第２画像を撮像する。ここで、先のＳ１０８において撮像された第２画像は、破棄されるか、上記最新の第２画像に上書きされる。そして、Ｓ１０９でＹＥＳの場合に、１回の手の出し入れが確定し、画像取得部２０は、上述したのと同様に、第１画像および最新の第２画像を対にして、画像記憶部３１に保存する（Ｓ１１０）。

一方、Ｓ１０４の後、Ｓ１０５において、バックセンサ１３ｂもオンからオフにならないうちに（Ｓ１０５でＮＯ）、フロントセンサ１３ｆがオンからオフになった場合（Ｓ１１１でＹＥＳ）、これは、ユーザの手が、開口部まで差し入れられたものの、冷蔵室１ｃの奥に入ることなく、すなわち、品物が置かれたり取り出されたりすることのないまま、引き抜かれたことを意味する。この場合、手が差し入れられたときの第１画像は撮像されるが、その対となる第２画像が撮像されぬまま、１回の手の出し入れが終了してしまう。そこで、画像取得部２０は、Ｓ１１０にて、当該手の出し入れ回数に紐付けて、第１画像のみを画像記憶部３１に記憶してもよい。あるいは、第１画像を第２画像として複製して、内容が同じ第１画像および第２画像を対にして画像記憶部３１に記憶してもよい。いずれの記憶方法であっても、入出庫判定部２２において、当該手の出し入れにおいて品物の入出庫は起こらなかった（在庫変動なし）と正しく判定できるように入出庫判定部２２を構成する。

１回の手の出し入れが確定（終了）し、撮像された画像を画像記憶部３１に保存すると、画像取得部２０は、閉ドアが検知されないうちは（Ｓ１１２でＮＯ）、手の出し入れ回数を１つインクリメントし、Ｓ１０３以降の処理を繰り返す。

（画像データベースについて）
図１０は、画像記憶部３１に記憶される画像データベースのデータ構造の一例を示す図である。なお、図１０において、画像のデータベースをデータ構造をテーブル形式にて示したことは一例であって、当該データ構造を、テーブル形式に限定する意図はない。以降、データ構造を説明するためのその他の図においても同様である。

本実施形態では、一例として、カメラ１４によって撮像された画像は、ドア開閉回数ＩＤと、手の出し入れ回数ＩＤと、手の入れ時の画像か手の出し時の画像かを示す２値の符号との組み合わせによって一意に識別される。なお、参照画像については、ドア開閉回数ＩＤによって一意に識別される。

図１０に示すとおり、１回のドア開閉の１回の手の出し入れに紐付けて、２枚の画像が格納される（「第１画像」のカラムおよび「第２画像」のカラム）。画像取得部２０は、画像のファイル名として、「ドア開閉回数ＩＤ_手の出し入れ回数ＩＤ_手の入りか出しかを示す２値.jpg」を設定する。例えば、ファイル名「01_01_0.jpg」は、１回目のドア開閉時の１回目の手の出し入れの、手の入り時の画像であることを意味する。なお、５行目のレコードにおいて、第２画像のカラムに示されている「ｎｕｌｌ」は、第２画像が撮像されていないことを意味する。これにより、５回目の手の出し入れでは、手が冷蔵室１ｃ庫内に入れられることなく引き抜かれたことが分かる。

画像データベースは、さらに、第１画像および第２画像のそれぞれに対して、特徴量抽出部２１が画像処理を施した結果得られた特徴量を格納するためのカラムを有していてもよい（「第１画像の特徴量」のカラムおよび「第２画像の特徴量」のカラム）。画像データベースは、必要に応じて、さらに、中間画像を格納するためのカラムを有していてもよい（「中間画像」のカラム）。中間画像については、実施形態２にて詳述する。

手の出し入れ１回ごとに、「第１画像」のカラムおよび「第２画像」のカラムのそれぞれに格納された画像対、または、該画像対のそれぞれの特徴量は、入出庫判定部２２によって読み出され、入出庫判定処理を実行するために利用される。

（特徴量抽出部２１による画像処理）
図１１および図１２は、特徴量抽出部２１によって実行される画像処理の一例を説明する図である。まず、特徴量抽出部２１は、処理対象のドア開閉回の参照画像（例えば、図１０に示す「ref01.jpg」）と、処理対象の手の出し入れ回の第１画像および第２画像を画像記憶部３１から読み出す。そして、特徴量抽出部２１は、参照画像と第１画像との差分、および、参照画像と第２画像との差分を抽出する。これにより、参照画像に写っていなかった前景（ユーザの手および手に把持された品物）領域が特定される。

図１１の（ａ）および（ｂ）に示すとおり、特徴量抽出部２１は、第１画像および第２画像のそれぞれについて、前景領域か、それ以外の非前景領域（すなわち背景領域）かを２値で表現した２値化画像を生成する。図１１の（ａ）は、品物を何も持たない手のシーンを写した原画像に基づいて、特徴量抽出部２１が生成した、２値化画像の一例を示す図である。図１１の（ｂ）は、りんごを手に持ったシーンを写した原画像に基づいて、特徴量抽出部２１が生成した、２値化画像の一例を示す図である。同図に示す例では、前景領域（りんごおよび手）の各ピクセルは、「１（黒色）」で表現されている。特徴量抽出部２１は、このようにして生成した第１画像および第２画像の２値化画像を図１０に示す画像データベースに格納する（「第１画像の特徴量」のカラムおよび「第２画像の特徴量」のカラム）。入出庫判定部２２および品物識別部２３は、２値化画像を参照することにより、冷蔵庫１の所定の場所を通過した撮像対象物の形状を把握することが可能となる。

あるいは、特徴量抽出部２１は、図１１の（ｃ）および（ｄ）に示すとおり、第１画像および第２画像のそれぞれの前景領域について、画像ヒストグラムを作成してもよい。図１１の（ｃ）は、りんごを手に持ったシーンの前景領域について、特徴量抽出部２１が生成した、画像ヒストグラムの一例を示す図である。図１１の（ｂ）は、品物を何も持たない手のシーンの前景領域について、特徴量抽出部２１が生成した、画像ヒストグラムの一例を示す図である。ヒストグラムの横軸は、所定の分類方式によって区分された色成分の区間を示し、縦軸はその区間に属する色を持つ画素の度数を示す。特徴量抽出部２１は、第１画像の前景領域の画像ヒストグラムを、図１０に示す画像データベースの「第１画像の特徴量」のカラムに、第２画像の前景領域の画像ヒストグラムを、「第２画像の特徴量」のカラムにそれぞれ格納する。入出庫判定部２２および品物識別部２３は、画像ヒストグラムを参照することにより、冷蔵庫１の所定の場所を通過した撮像対象物の色成分を把握することが可能となる。

あるいは、特徴量抽出部２１は、図１２の（ａ）および（ｂ）に示すとおり、第１画像および第２画像のそれぞれの前景領域について、事前に学習しておいた手（肌）の色に近い成分領域をマスキングしてもよい。図１２の（ａ）は、品物を何も持たない手のシーンを写した前景領域に基づいて、特徴量抽出部２１が生成した、マスキング画像の一例を示す図である。図１２の（ｂ）は、りんごを手に持ったシーンを写した前景領域に基づいて、特徴量抽出部２１が生成した、マスキング画像の一例を示す図である。マスキング画像では、手の領域がマスクされ、手以外の領域（すなわち、品物の領域）が特定される。特徴量抽出部２１は、第１画像および第２画像それぞれの前景領域のマスキング画像を、図１０に示す画像データベースの「第１画像の特徴量」のカラムおよび「第２画像の特徴量」のカラムにそれぞれ格納する。入出庫判定部２２および品物識別部２３は、マスキング画像を参照することにより、冷蔵庫１の所定の場所を通過した撮像対象物について、手以外（品物）の領域がある場合に、それを把握することが可能となる。

あるいは、特徴量抽出部２１は、パターン記憶部３０において事前に学習されている手のパターン画像と、前景領域とのマッチングを行い、手のパターン画像とマッチする領域を取り除くことにより、手の領域と品物の領域とを区別してもよい。または、パターン記憶部３０において、冷蔵庫１に貯蔵することが想定されているあらゆる品物のパターン画像を学習しておき、パターン画像と前景領域とのマッチングを行って、いずれかの品物のパターン画像とマッチする領域を特定してもよい。なお、パターン記憶部３０は、マッチング精度を高めるために膨大な量のパターン画像を学習しておくことが想定される。そこで、パターン記憶部３０を、クラウドサーバ２に設けて、冷蔵庫１は、第１画像および第２画像をクラウドサーバ２に送信してマッチング結果を要求する構成としてもよい。冷蔵庫１は、クラウドサーバ２からマッチング結果を含む応答を受信し、特徴量抽出部２１が、マッチング結果に基づいて、前景領域の品物の領域を検出する。

あるいは、冷蔵庫１に、さらにサーモカメラを、撮像範囲１４ａを写すように取り付ける。そして、画像取得部２０が、該サーモカメラを制御して、撮像範囲１４ａの表面温度分布画像を、カメラ１４が撮像するのとほぼ同様のタイミングで取得する。そして、特徴量抽出部２１は、表面温度分布画像から人の体温と同じ領域を特定して、その領域を第１画像および第２画像の前景領域から取り除くことにより、手の領域と品物の領域とを区別してもよい。

以上の説明から、参照画像を用いることの利点は明らかになった。すなわち、参照画像を用いることにより、背景領域（手および品物以外の領域）を事前に省くことができるので、特徴量抽出部２１は、画像処理の対象を前景領域に限定することができる。これにより、特徴量抽出部２１は、手の領域と品物の領域を区別するための上述の各種処理を効率よく実施することが可能となる。

（入出庫判定部２２による入出庫判定処理）
画像取得部２０によって取得された画像対（第１画像および第２画像）、または、特徴量抽出部２１によって抽出された各画像の特徴量に基づいて、入出庫判定部２２は、入出庫判定処理を実行する。図１３は、入出庫判定部２２によって実行される入出庫判定処理の流れを示すフローチャートである。なお、本フローチャートには、品物識別部２３によって実行される品物識別処理、および、在庫管理部２４によって実行される在庫管理処理も含まれている。

まず、入出庫判定部２２は、処理対象の手の出し入れ回における画像対、または、該画像対の特徴量を画像記憶部３１（図１０の画像データベース）から読み出す（Ｓ２０１）。ここで、処理対象レコードの第２画像またはその特徴量がｎｕｌｌで読み出せない場合（Ｓ２０２でＮＯ）、手が冷蔵室１ｃの奥まで入らなかったので、品物の入出庫は行われず、したがって、入出庫判定部２２は、在庫に変動はないと判定する（Ｓ２１６）。

一方、画像を対で読み出した場合には（Ｓ２０２でＹＥＳ）、まず、入出庫判定部２２は、第１画像に品物が写っているか否かを判定する。画像における品物の有無は、特徴量抽出部２１によって抽出された画像の特徴量を参照することにより判定することができる。例えば、入出庫判定部２２は、画像に含まれる前景領域の形状が、手以外の何かを含んだ形状である場合（図１１の（ｂ））に、品物ありと判定し、手の形状のみである場合（図１１の（ａ））に、品物なしと判定する。

入出庫判定部２２は、第１画像に品物が写っていると判定した場合（Ｓ２０３でＹＥＳ）、次に、入出庫判定部２２は、第２画像の品物の有無を判定する。なお、制御部１０が品物識別部２３を有している場合、品物識別部２３は、Ｓ２０３でＹＥＳと判定された後の任意のタイミングで、Ｓ２０３にてありと判定された品物を識別してもよい。具体的には、該品物を識別するための品物識別情報を生成する（Ｓ２０４）。第１画像に写っている品物を以下では、仮に「品物１」と称する。

入出庫判定部２２が、第２画像に品物が写っていると判定した場合（Ｓ２０５でＹＥＳ）、品物識別部２３は、第２画像に写る品物（以下、「品物２」）を識別する（Ｓ２０６）。ここで、入出庫判定部２２は、品物１が入庫され、品物２が出庫されたと判定する（Ｓ２０７）。

そこで、在庫管理部２４は、品物１の入庫に対応するように、品物１の新規レコードを在庫表記憶部３２に記憶されている在庫表に登録する（Ｓ２０８）。在庫表に入庫日時を格納する場合、在庫管理部２４は、例えば、品物１が写っている第１画像の撮像日時を、入庫日時として扱ってもよい。併せて、在庫管理部２４は、品物２の出庫に対応するように、品物２のレコードを上記在庫表から削除する（Ｓ２０９）。これで、処理対象の手の出し入れ１回につき、一連の在庫管理が完了する。

上記方法によれば、２枚の画像から、１回の手の出し入れにおいて、品物１の入庫と品物２の出庫が行われたことが把握される。そして、その事実と整合するように、在庫表が更新される。

一方、Ｓ２０５において、入出庫判定部２２が、第２画像に品物が写っていないと判定した場合（Ｓ２０５でＮＯ）、入出庫判定部２２は、品物１が入庫されたと判定する（Ｓ２１０）。そこで、在庫管理部２４は、Ｓ２０８と同様に、品物１の新規レコードを上記在庫表に登録する（Ｓ２１１）。これで、処理対象の手の出し入れ１回につき、一連の在庫管理が完了する。上記方法によれば、２枚の画像から、１回の手の出し入れにおいて、品物１の入庫が行われたことが把握される。そして、その事実と整合するように、在庫表が更新される。

一方、Ｓ２０３において、入出庫判定部２２が、第１画像に品物が写っていないと判定した場合（Ｓ２０３でＮＯ）、次に、入出庫判定部２２は、第２画像の品物の有無を判定する。ここで、入出庫判定部２２は、第２画像に品物が写っていると判定した場合（Ｓ２１２でＹＥＳ）、品物識別部２３は、第２画像に写る品物２を識別する（Ｓ２１３）。ここで、入出庫判定部２２は、品物２が出庫されたと判定する（Ｓ２１４）。そこで、在庫管理部２４は、Ｓ２０９と同様に、品物２のレコードを上記在庫表から削除する（Ｓ２１５）。これで、処理対象の手の出し入れ１回につき、一連の在庫管理が完了する。上記方法によれば、２枚の画像から、１回の手の出し入れにおいて、品物２の出庫が行われたことが把握される。そして、その事実と整合するように、在庫表が更新される。

一方、Ｓ２１２において、入出庫判定部２２が、第２画像に品物が写っていないと判定した場合（Ｓ２１２でＮＯ）、いずれの画像にも品物が写っていないため、品物の入出庫は行われていないと判定する。すなわち、入出庫判定部２２は、在庫に変動はないと判定する（Ｓ２１６）。これで、処理対象の手の出し入れ１回につき、一連の在庫管理が完了する。上記方法によれば、２枚の画像から、１回の手の出し入れにおいて、品物の入出庫が行われなかったことが把握される。この場合、在庫管理部２４によって、在庫表の更新は実施されない。

（品物識別部２３による品物識別処理）
品物識別部２３は、入出庫判定部２２によって品物ありと判定された画像について、該画像に含まれる品物を識別するものである。具体的には、ありと判定された上記品物を在庫管理するために、該品物を識別するための品物識別情報を生成する。

品物ありと判定された画像については、特徴量抽出部２１によって、あらかじめ抽出されている特徴量に基づいて、品物の領域が特定されている。したがって、品物識別部２３は、上記品物の領域の特徴量とマッチする、品物のパターン画像をパターン記憶部３０から検索することができる。そして、品物識別部２３は、検索したパターン画像に対応付けられている品物の名称を読み出して、これを上記品物の品物識別情報として採用する。例えば、図１２の（ｂ）に示すりんごの領域と、パターン画像とを比較し、りんごのパターン画像を検索することができた場合、品物識別部２３は、該パターン画像に関連付けられているテキストデータ「りんご」を、上記品物ありと判定された画像に対応付けて、在庫管理部２４に対して通知する。

あるいは、品物識別部２３は、品物の領域のみを抽出した品物のトリミング画像を、品物識別情報として取り扱い、上記品物ありと判定された画像と、上記トリミング画像との対応付けを在庫管理部２４に対して通知する。あるいは、品物識別部２３は、パターンマッチングや、品物の領域のトリミングがうまくいかなかった場合に、上記品物ありと判定された画像そのものを品物識別情報として採用してもよい。この場合、上記品物ありと判定された画像を品物識別情報として扱うように、在庫管理部２４に対して通知する。

（在庫管理部２４による在庫管理処理）
図１４（ａ）〜（ｃ）は、在庫表記憶部３２に記憶される在庫表の具体例を示す図である。在庫表は、少なくとも、品物識別情報のカラムと入庫日時のカラムとを含む。後述するが、在庫表は、さらに、出庫日時のカラムを含んでいてもよい。

在庫管理部２４は、入出庫判定部２２によって入庫と判定された場合に、品物が写っている画像と、該画像に写る品物について品物識別部２３から通知された品物識別情報とに基づいて、該品物の新規レコードを作成し、在庫表に登録する。

例えば、品物識別部２３によって品物の名称のテキストデータが提供された場合、在庫管理部２４は、図１４の（ａ）に示すとおり、該テキストデータを品物識別情報のカラムに格納し、入庫判定された上記画像の撮像日時を入庫日時のカラムに格納する。あるいは、品物識別部２３から、品物の領域のトリミング画像が提供された場合には、在庫管理部２４は、図１４の（ｂ）に示すとおり、上記トリミング画像を品物識別情報のカラムに格納する。あるいは、品物識別部２３から、入庫判定された画像をそのまま品物識別情報として扱うように通知を受けた場合には、在庫管理部２４は、図１４の（ｃ）に示すとおり、入庫判定された画像を品物識別情報のカラムに格納する。

一方、在庫管理部２４は、入出庫判定部２２によって出庫と判定された場合には、品物が写っている画像と、該画像に写る品物について品物識別部２３から通知された品物識別情報とに基づいて、出庫された品物のレコードを在庫表から特定し、該レコードを削除する。例えば、品物識別部２３からテキストデータ「りんご」が通知された場合、在庫管理部２４は、品物識別情報が「りんご」であるレコードを在庫表から特定し、該レコードを削除する。

上記構成および方法によれば、１回の手の出し入れについて取得された２枚の画像を処理するだけで、入出庫の判定を正しく行うことができる。さらに、入出庫された品物を上記画像から特定して、判定した入出庫の事実と整合するように、在庫表を管理することが可能である。しかも、ユーザは、品物の出し入れに伴って特別な動作や操作を行うことを強いられない。結果として、高性能のプロセッサを必要とすることなく、かつ、ユーザの利便性を損なわずに品物の入出庫を判定することが可能な在庫管理装置または在庫管理システムを実現することができる。

〔実施形態２〕
本発明の他の実施形態について、図１５〜図２１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

実施形態１では、手を入れたときおよび出したときの２枚の画像によって、品物の入出庫を判定する冷蔵庫１について説明した。実施形態２では、冷蔵庫１は、手を入れてから出すまでの間に３枚目の画像（中間画像）を撮像する。これによって、品物が入出庫された場所（棚の段数）をさらに特定することができる。

（冷蔵庫の概観）
図１５の（ａ）は、実施形態２に係る冷蔵庫１の、ドア部１ｄを開いた状態の上面図であり、（ｂ）は、冷蔵室１ｃ内部の斜視図である。図１６の（ａ）は、冷蔵室１ｃのドア部１ｄを除いた部分の概略側面図であり、（ｂ）は、他の例における冷蔵室１ｃ内部の斜視図である。

なお、図１５の（ａ）では、食品の出し入れが容易に理解できるように、冷蔵室１ｃの天板を除いて示している。また、図１５の（ｂ）および図１６の（ｂ）では、３枚の棚板１ｒの位置関係が容易に理解できるように、冷蔵室ｃのドア部１ｄ、天板、および右側壁を除いて示している。また、図１６の（ａ）では、３枚の棚板１ｒの位置関係が容易に理解できるように、冷蔵室ｃのドア部１ｄおよび右側壁を除いて示している。

図１５の（ａ）および（ｂ）に示すとおり、実施形態２では、３枚の棚板１ｒ−１、棚板１ｒ−２および棚板１ｒ−３が設けられる。これらの３枚の棚板１ｒは、色、形状、サイズ、質感または模様など、外観デザインが互いに異なるように設けられる。これは、撮像範囲１４ａに収まる３枚の棚板１ｒの一部が、それぞれどの棚板であるのかを静止画から識別可能なようにするためである。例えば、図１５の（ａ）に示すとおり、棚板１ｒの奥行を上の板ほど短くすると、カメラ１４の位置から（真上から）３枚の棚板１ｒを見た時に、棚板１ｒの縁がずれる。これにより、カメラ１４が撮像範囲１４ａを捉えた時、その画像に写る棚板１ｒの一部が、どの棚板１ｒであるのかを識別することができる。

さらに、図１５の（ｂ）に示すとおり、それぞれの棚板１ｒの縁に、参照線Ｌを付すことが好ましい。これにより、カメラ１４によって撮像された画像に写る３枚の棚板１ｒを、より明確に識別することが可能となる。

さらに、棚板１ｒを透明の素材を用いて構成することにより、下の様子を透過するので、棚板１ｒのデザインの自由度が向上する。例えば、図１６の（ａ）に示すとおり、上の棚板１ｒの奥行を、下の棚板１ｒの奥行よりも長くしても、棚板１ｒが透明であれば、下の棚板１ｒの縁を透過するので、撮像された画像において、３枚の棚板１ｒを識別することが可能となる。

あるいは、参照線Ｌは、線である必要はなく、一定の間隔が配列された点の集合であってもよい。あるいは、参照線Ｌは、直線以外にも、破線、波線、二重線などであってもよい。さらに、図１６の（ｂ）に示すとおり、棚板１ｒごとに、参照線Ｌのデザインを異ならせてもよい。カメラ１４がカラー画像を撮像する場合には、棚板１ｒごとに参照線Ｌの色を変えてもよいし、棚板１ｒ自体の色を変えてもよい。

（画像取得部２０による撮像制御処理）
図１７に、実施形態２の冷蔵庫１に対してユーザが手を出し入れするケース５において見られる複数のシーンと、シーンごとの画像取得部２０の撮像制御処理の内容およびそのトリガを示す。実施形態１に係る撮像制御処理と異なる点は、冷蔵庫１は、手を入れてから出すまでの間のシーンＳＣ５−３において、３枚目の画像を撮像する点である。具体的には、シーンＳＣ５−２において、ユーザが冷蔵室１ｃ開口部に手を差し入れた後、シーンＳＣ５−４において、ユーザが手を引き抜くまでの間に、ユーザが手を冷蔵室１ｃ庫内に手をのばすシーンＳＣ５−３が起こることが想定される。画像取得部２０は、シーンＳＣ５−３の発生を、フロントセンサ１３ｆがオフのまま、バックセンサ１３ｂがオフからオンに切り替わったことによって、検知することができる。画像取得部２０は、このタイミングでカメラ１４を制御して画像を撮像させる。以下では、ユーザが手を入れて出すまでの間の中間のシーンＳＣ５−３で撮像された画像を中間画像と称する。中間画像には、ユーザが手を冷蔵室１ｃの奥まで差し入れたときの様子が写っており、該中画像により、ユーザの手が、どの棚板１ｒの下または上に差し入れられたのかが判別できる。

画像取得部２０は、撮像した中間画像を、第１画像および第２画像と同様に、図１０に示す画像データベースに格納する。より具体的には、画像取得部２０は、ドア開閉回数ＩＤおよび手の出し入れ回数ＩＤに対応付けて、「中間画像」のカラムに、上記中間画像を格納する。なお、画像取得部２０は、中間画像のファイル名として、「ドア開閉回数ＩＤ_手の出し入れ回数ＩＤ_中間画像であることを示す値.jpg」を設定することが好ましい。例えば、ファイル名「01_01_m.jpg」は、１回目のドア開閉時の１回目の手の出し入れの、中間画像であることを意味する。さらに、特徴量抽出部２１は、上記中間画像の特徴量を抽出して、これを、図１０に示す画像データベースに格納してもよい。

図１８は、実施形態２に係る画像取得部２０によって実行される撮像制御処理の流れを示すフローチャートである。図１８に示す、実施形態２の撮像制御処理において、図９に示す実施形態１の撮像制御処理と異なる点は、Ｓ１０６のステップが含まれている点である。具体的には、Ｓ１０５にて、フロントセンサ１３ｆがオフのまま、バックセンサ１３ｂがオンからオフに切り替わったとき（Ｓ１０５でＹＥＳ）、画像取得部２０は、カメラ１４を制御して、中間画像を撮像させる（Ｓ１０６）。そして、実施形態１と同様にＳ１１０まで処理が進み、画像取得部２０は、撮像した画像（第１画像、第２画像および中間画像）を、ドア開閉回数ＩＤおよび手の出し入れ回数ＩＤに紐付けて、画像記憶部３１に格納する（Ｓ１１０）。

（入出庫判定部２２による入庫先判定処理）
入出庫判定部２２は、図１３の入出庫判定処理において品物が入庫されたことを判定した場合（Ｓ２０７またはＳ２１０）、さらに、中間画像を分析して、上記品物の入庫先を判定する。なお、図１５の（ｂ）に示す例では、冷蔵室１ｃの空間を仕切る棚板１ｒは、３枚設けられているので、冷蔵室１ｃには、貯蔵スペースが合計４つ、すなわち、入庫先が計４段、形成される。以下では、仕切られた４つの入庫先を上から順に、１段目（または最上段）、２段目（または上から２段目）、３段目（または下から２段目）、４段目（または最下段）と称する。

図１９（ａ）〜（ｄ）は、カメラ１４によって撮像された中間画像のいくつかの具体例を示す図である。図１９の（ａ）に示す中間画像において、すべての棚板１ｒの参照線Ｌが部分的に前景領域（手）に隠れている。したがって、一番上の棚板１ｒ−１よりも上に手があることが分かるので、入庫先が最上段であると特定できる。図１９の（ｂ）に示す中間画像において、一番上に写っている棚板１ｒ−１の参照線Ｌは手に隠れず、２番目の棚板１ｒ−２および３番目の棚板１ｒ−３の参照線Ｌは手に隠れている。したがって、棚板１ｒ−１と棚板１ｒ−２との間に手があることが分かるので、入庫先が上から２段目であると特定できる。図１９の（ｃ）に示す中間画像において、一番上に写っている棚板１ｒ−１、および、２番目の棚板１ｒ−２の参照線Ｌは手に隠れず、３番目の棚板１ｒ−３の参照線Ｌは手に隠れている。したがって、棚板１ｒ−２と棚板１ｒ−３との間に手があることが分かるので、入庫先が下から２段目であると特定できる。図１９の（ｄ）に示す中間画像において、すべての棚板１ｒの参照線Ｌが手に隠れていない。したがって、３番目の棚板１ｒ−３よりも下に手があることが分かるので、入庫先が最下段であると特定できる。

図２０は、実施形態２に係る入出庫判定部２２によって実行される入庫先判定処理の流れを示すフローチャートである。まず、入出庫判定部２２は、処理対象の手の出し入れ回における中間画像、または、該画像の特徴量を画像記憶部３１（図１０の画像データベース）から読み出す（Ｓ３０１）。

一部が前景領域に隠れている参照線が１本もない場合（Ｓ３０２でＮＯ）、入出庫判定部２２は、品物の入庫先は、最下段であると判定する（Ｓ３０３）。一方、一部が前景領域に隠れている参照線がある場合（Ｓ３０２でＹＥＳ）、入出庫判定部２２は、手に隠れている参照線の本数によって入庫先を判定する。具体的には、手に隠れている参照線が、一番下の棚板１ｒ−３の参照線１本のみである場合（Ｓ３０４でＹＥＳ）、入出庫判定部２２は、品物の入庫先は、下から２段目と判定する（Ｓ３０５）。次に、手に隠れている参照線が、一番下の棚板１ｒ−３の参照線と、２番目の棚板１ｒ−２の参照線との２本のみである場合（Ｓ３０４でＮＯ、Ｓ３０６でＮＯ）、入出庫判定部２２は、品物の入庫先は、上から２段目と判定する（Ｓ３０７）。次に、手に隠れている参照線が、一番下の棚板１ｒ−３の参照線と、２番目の棚板１ｒ−２の参照線と、３番目の棚板１ｒ−３の参照線とである場合、すなわち、すべての参照線が手に隠れている場合（Ｓ３０６でＹＥＳ）、入出庫判定部２２は、品物の入庫先は、最上段と判定する（Ｓ３０８）。

なお、入出庫判定部２２は、品物が出庫されたときにも、中間画像を分析して出庫元を判定してもよい。これにより、在庫管理部２４は、判定された出庫元が入庫先となっているレコードを抽出し、出庫された品物のレコード検索をより効率良く実施することが可能となる。

（在庫管理部２４による在庫管理処理）
図２１は、実施形態２に係る在庫表記憶部３２に記憶される在庫表の具体例を示す図である。実施形態２の在庫表の、実施形態１の在庫表（図１４の（ａ）〜（ｄ））と異なる点は、さらに、在庫表がさらに入庫先のカラムを含んでいる点である。在庫管理部２４は、入庫先のカラムに、入出庫判定部２２によって判定された、品物の入庫先を格納する。なお、品物識別情報は、実施形態１と同様に、テキストデータであってもよいし、品物の領域のトリミング画像であってもよいし、第１画像そのものであってもよい。

上記構成および方法によれば、１回の手の出し入れについて取得された２枚の画像を処理するだけで、入出庫の判定を正しく行うことができ、さらに、手の出し入れの中間のタイミングで撮像したもう１枚の画像を処理することにより、入庫先（貯蔵場所）を把握することが可能である。結果として、高性能のプロセッサを必要とすることなく、かつ、ユーザの利便性を損なわずに品物の入出庫を判定し、その貯蔵位置を把握することが可能な在庫管理装置または在庫管理システムを実現することができる。

（実施形態１および実施形態２の変形例）
なお、図１４および図２１に例示されたように、実施形態１および２において、在庫表は、出庫日時のカラムを含んでいてもよい。この場合、在庫管理部２４は、入出庫判定部２２によって出庫と判定された品物のレコードをすぐに削除しない。その代わりに、在庫管理部２４は、出庫された品物のレコードの出庫日時のカラムに、第２画像、すなわち、品物が取り出されるときの様子が写っている画像の撮像日時を出庫日時として格納する。

そして、在庫管理部２４は、同一の品物の入庫判定がなされないまま、上記出庫日時から一定時間が経過した場合に、該品物のレコードを削除する。また、在庫管理部２４は、一定時間以内に同一の品物の入庫判定がなされた場合に、該品物のレコードにおいて、出庫日時をクリアし、レコード自体は在庫表に維持する。なお、入庫日時を再入庫時の日時に更新してしまうと、正確に鮮度管理ができないことから、当該レコードにおいて、一番初めの入庫日時の記録を残しておくことが好ましい。

上記構成によれば、ユーザが冷蔵庫１から取り出した品物の一部を消費して残りをすぐに元に戻す場合に、在庫表のレコードの削除および新規登録を無駄に実施することを回避し効率的な在庫管理を行うことができる。

〔実施形態３〕
本発明の他の実施形態について、図２２〜図２９に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１および２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

（発明が解決しようとする課題および発明の目的）
特許文献２の技術では、ユーザが、食物情報を定義してＩＣタグを製作し、該ＩＣタグを食物に取り付ける必要がある。冷蔵庫に食物を収納する際に、このような煩わしい作業をユーザに行わせることは、実用的ではない。実施形態３では、入出庫時にユーザに煩わしい作業を強いることなく品物の在庫管理を実施する在庫管理装置または在庫管理システムを実現する。

（在庫管理システムの概要）
図２は、本発明の実施形態３に係る在庫管理システム３００の概要を示す図である。本発明の一実施形態において、本発明の在庫管理装置は、食品などの品物の貯蔵を行う冷蔵庫の在庫管理を行う在庫管理装置であって、該在庫管理装置は、冷蔵庫３０１として実現される。なお、本発明の在庫管理装置にて在庫管理の対象となる品物は、食品に限定されず、医薬品、化粧品など、貯蔵庫にて貯蔵され得るあらゆる品物が想定されている。本実施形態では、冷蔵庫３０１は、在庫管理システム３００の一部を構成している。

在庫管理システム３００は、食品の貯蔵を行う冷蔵庫３０１、３０１ａ、３０１ｂ、・・・と、冷蔵庫３０１と広域通信ネットワーク４を介して通信するクラウドサーバ３０２とを含む。在庫管理システム３００は、必要に応じて、さらに、ユーザが携帯する小型の通信端末３を含んでいてもよい。通信端末３は、例えば、スマートフォン、タブレット端末、携帯電話などであり、ユーザによって携帯されている。クラウドサーバ３０２、通信端末３、および、冷蔵庫３０１は、広域通信ネットワーク４を介して接続するよう構成されている。なお、冷蔵庫３０１および通信端末３について、数や種類は限定されず、個別に説明する必要のない場合は、総称として冷蔵庫３０１と通信端末３とを用いる。また、クラウドサーバ３０２によって管理されるユーザ宅の数も限定されない。在庫管理システム３００に係るその他の説明は、実施形態１および２に係る在庫管理システム１００とほぼ同様であるので説明を省略する。

（冷蔵庫の概観）
図２２は、冷蔵庫３０１の冷蔵室３０１ｃのドア部３０１ｄを開いた状態の一部透過斜視図である。図２２に示すとおり、冷蔵庫３０１は、一例として、３つの貯蔵庫からなり、各庫は、上から順に、冷蔵室３０１ｃ、冷凍室３０１ｆ、および、野菜室３０１ｖを構成する。冷蔵庫３０１の各庫の構成は、上記に限定されず、さらに、製氷室またはチルド室を有していてもよいし、冷蔵庫３０１は、冷蔵室３０１ｃのみ、冷凍室３０１ｆのみで構成されていてもよい。また、各庫の位置は、上下逆でも構わない。

冷凍室３０１ｆおよび野菜室３０１ｖは、引き出し型の貯蔵スペースを有し、ユーザは、取っ手を手前に引くことで、冷凍室３０１ｆおよび野菜室３０１ｖの庫内に手をのばすことができる。一方、冷蔵室３０１ｃは、片開き型の１枚の扉によって構成されるドア部３０１ｄを有し、ユーザは、取っ手を手前に引いてドア部３０１ｄを開くことで、冷蔵室３０１ｃの庫内に手をのばすことができる。なお、冷蔵室３０１ｃのドア部３０１ｄは、観音開き型の２枚の扉によって構成されてもよい。

冷蔵室３０１ｃの貯蔵スペースは、さらに、一例として、１枚の棚板３０１ｒによって、２段に区切られていてもよい。なお、棚板３０１ｒの数は、上記に限定されず、０枚であってもよいし、１枚より少なくても、多くてもよい。

図２２に示すとおり、冷蔵庫３０１内の各貯蔵スペースの床面には、該貯蔵スペース内に置かれた品物の重量を測定する１以上の重量センサ３１４が設けられる。図２２に示す例では、重量センサ３１４は、一例としてマトリクス状に配列された圧力センサの集合で実現されており、個々の圧力センサは、マトリクス状に一定の間隔で、床面一面に敷き詰められる。この圧力センサの集合は、１つのグループを形成し、これが、１つの重量センサ３１４に対応する。重量センサ３１４には、圧力センサの個々のグループを識別するために、番地が割り当てられており、貯蔵スペースには、１以上の重量センサ３１４が設けられる。

図２２に示す例では、冷蔵室３０１ｃの貯蔵スペース１段につき、２個の重量センサ３１４が設けられている。具体的には、上段の床面には、番地Ａおよび番地Ｂが割り当てられた重量センサ３１４が、下段の床面には、番地Ｃおよび番地Ｄが割り当てられた重量センサ３１４が、それぞれ設けられている。冷凍室３０１ｆの床面には、番地Ｅが割り当てられた重量センサ３１４が設けられ、野菜室３０１ｖの床面には、番地Ｆが割り当てられた重量センサ３１４が設けられている。また、ドア部３０１ｄのドアポケット上段には、番地Ｇが割り当てられた重量センサ３１４が設けられ、ドアポケット下段には、番地Ｈが割り当てられた重量センサ３１４が設けられている。冷蔵室３０１ｃの各段のように、各貯蔵スペースの床面における重量センサ３１４の数は、１より多い任意の数で構わない。また、棚板３０１ｒを複数設けて貯蔵スペースが増える場合には、各段の床面に重量センサ３１４を設ける。すなわち、品物を置くことが可能なすべての床面における重量を把握するために、適宜の数および位置にて重量センサ３１４を設ける。

（冷蔵庫の構成）
図２３は、本発明の実施形態３に係る冷蔵庫３０１の要部構成を示すブロック図である。該ブロック図は、冷蔵庫３０１のブロック図ではあるが、本図において、本発明に直接関係の無い部分、例えば、冷却または冷凍機能を実現する部分などの記載を省略した。冷蔵庫３０１は、図２３に示すように、少なくとも、制御部３１０、記憶部３１１、重量センサ３１４およびマイク３１５を備えている構成であり、必要に応じてさらに、通信部３１２、センサ３１３、スピーカ３１６およびディスプレイ３１７を備えていてもよい。通信部３１２は、上述の家電アダプタを含み、広域通信ネットワーク４を介してクラウドサーバ３０２と相互通信を行う。マイク３１５は、ユーザが制御部３１０に対して入力する音声を取得する。マイク３１５によって取得された音声は、図示しない音声制御部によって入力音声データに変換され、音声認識部３２０によって、音声認識処理される。スピーカ３１６は、上記音声制御部によって処理された出力音声データを、ユーザが聴取する音声として出力する。ディスプレイ３１７は、記憶部３１１に記憶されている各種データをユーザが視認可能なように表示するものであり、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬＤ（エレクトロルミネセンスディスプレイ）などの表示装置で構成される。

センサ３１３は、ドア部３０１ｄの開閉を検知するための開閉センサである。開閉センサとしてのセンサ３１３は、ドアが開けられたこと、または、閉じられたことを検知し、検知結果を音声認識部３２０および測定部３２１に出力する。なお、センサ３１３は、照度センサ、接触センサなど適宜のセンサで実現される。重量センサ３１４は、上述したとおり、貯蔵スペースに置かれた品物の重量を検知するものである。重量センサ３１４が取得したセンサ値（重量値）は、測定部３２１に供給される。

制御部３１０は、冷蔵庫３０１の各部の動作を統括的に制御する。制御部３１０は、例えば、ＣＰＵや専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成る。制御部３１０は、機能ブロックとして、少なくとも、音声認識部３２０、測定部３２１および在庫管理部３２４を含み、より好ましくは、必要に応じて、入出庫判定部３２２および品物識別部３２３を含んでいる。

記憶部３１１は、冷蔵庫３０１が処理する各種データを記憶する。例えば、記憶部３１１は、音声認識部３２０によって認識された音声の認識結果を記憶するための認識結果記憶部３３０を含む。また、記憶部３１１は、重量センサ３１４が検知したセンサ値（重量値）および該センサ値から得られた測定結果を記憶するための測定結果記憶部３３１を含む。また、記憶部３１１は、冷蔵庫３０１の各庫内に貯蔵されている品物の一覧表である在庫表を記憶する在庫表記憶部３３２を含む。

音声認識部３２０は、マイク３１５を制御して、ユーザが発した音声を認識する。より好ましくは、音声認識部３２０は、センサ３１３によって開ドアが検知されてから閉ドアが検知されるまでの間、マイク３１５を起動する。そして、ユーザが品物を入庫するタイミングで発した音声を、テキストデータに変換し、該テキストデータを音声取得日時とともに、認識結果記憶部３３０に記憶する。ここで、ユーザは、品物を入庫するタイミングで品物の名称を発するだけである。これにより、入庫された品物名が認識結果記憶部３３０に記憶され、在庫管理部３２４が在庫管理を実施する際に利用することができる。

測定部３２１は、重量センサ３１４（各圧力センサ）からのセンサ値に基づいて、重量変化量（貯蔵スペース床面における負荷の変化量）および重量（負荷）が変化した位置（以下、変化位置）を測定する。貯蔵スペースに品物が入庫されたり、出庫されたりして、重量に変化があれば、測定部３２１が、変化前後のセンサ値の差分から重量変化量を求める。また、センサ値が変化した重量センサ３１４の番地および圧力センサの座標に基づいて、重量変化が起きた変化位置を特定する。

在庫管理部３２４は、音声認識部３２０による音声認識結果および測定部３２１による測定結果に基づいて、在庫表を更新し、冷蔵庫３０１の在庫を管理する。具体的には、入庫された品物のレコードを在庫表に登録したり、出庫された品物のレコードを在庫表から削除したり、その他状態に変化があった品物のレコードを更新したりする。

入出庫判定部３２２は、測定部３２１が測定する重量変化量に応じて、入出庫判定を行う。入出庫判定部３２２は、重量が増加したことによって品物が入庫されたと判定し、重量が減少したことによって品物が出庫されたと判定する。とりわけ、入出庫判定部３２２は、品物が出庫されてから所定時間以内に、出庫時と同じ位置に、上記出庫された品物の重量以下の品物が入庫された場合に、入庫された品物が、出庫された品物と同一であると判定し、品物が再入庫されたことを在庫管理部３２４に通知する。

なお、入出庫判定部３２２は、さらに、出入庫された品物の異同の判定精度を高めるために、ユーザに品物の異同を確認する構成であってもよい。具体的には、入出庫判定部３２２は、「先ほど取り出した○○ですか？」という確認メッセージを生成し、図示しない発話制御部を利用して、該メッセージの出力音声データをスピーカ３１６から出力させるか、あるいは該メッセージのテキストデータをディスプレイ３１７に表示させる。なお、メッセージ内の「○○」の部分には、出庫された品物のレコードから品物識別情報を読み出して挿入すればよい。上記メッセージに対して同一である旨の回答が、ユーザによって制御部３１０に入力された場合に、入出庫判定部３２２は、品物が再入庫されたと判定する。なお、ユーザは、同一である旨の回答を入力するために、図示しない操作部を操作して、ディスプレイ３１７に表示された「はい」のボタンを押下してもよいし、マイク３１５に向かって「はい」と発話してもよい。

なお、重量が増加したことによって入庫を判定し、重量が減少したことによって出庫を判定する簡易な処理のみを実行する入出庫判定部３２２は、制御部３１０の構成から省略されても構わない。この場合、在庫管理部３２４を、重量が増加した場合に新規レコードを登録し、重量が減少した場合に該当レコードを削除するように構成する。

品物識別部３２３は、重量変化が起こったタイミング（負荷に変化が生じた時点）で、音声が入力されなかった場合、または、音声の認識に失敗した場合などに、その重量変化に関与している品物について、仮の品物識別情報を作成してもよい。仮の品物識別情報は、任意の意味を持たない文字列であってよいし、重量変化量、変化位置、変化日時などの意味がある文字列であってもよい。このようにして作成された仮の品物識別情報は、在庫管理部３２４によって利用される。上述の各機能ブロックによって実行される各種処理について、図を参照して後に詳述する。

（測定部３２１による測定処理）
図２４は、１つの重量センサ３１４にマトリクス状に配置された圧力センサの一例を示す図である。同図に示す例では、重量センサ３１４は、計６４個の圧力センサからなり、圧力センサは、ｘ軸方向に８列、ｙ軸方向に８列でマトリクス状に配置されている。

この重量センサ３１４に、ある品物（例えば、りんご）が置かれると、重量値が増加する方向に変化する。図２４には、説明の目的で、重量の増加を検知した圧力センサのセル内に、「＋数字」の記号を付す。数字は、重量増加前の重量との比較で相対的な増加量を表しており、実際の増加重量を表しているわけではない。

測定部３２１は、１以上の圧力センサのセンサ値が変動し、変化後のセンサ値で安定すると、変化前に安定していたセンサ値と比較してセンサ値の差分が生じた圧力センサを特定する。図２４に示す例では、「＋数字」の記号が付された圧力センサを特定する。そして、測定部３２１は、特定したすべての圧力センサのセンサ値の差分を合計し、これを、重量変化量として出力する。この重量変化量が、すなわち、入庫されたりんごの重量として扱われる。

さらに、測定部３２１は、センサ値が変化した位置である変化位置を特定する。位置の特定精度は特に限定されない。例えば、測定部３２１は、センサ値が変化した重量センサ３１４に割り当てられている番地（Ａ〜Ｈ）を、そのまま、変化位置として採用してもよい。例えば、図２４に示す重量センサ３１４の番地が「Ａ」であれば、測定部３２１は、変化位置「Ａ」を出力する。変化位置「Ａ」は、入庫されたりんごの貯蔵位置（貯蔵スペース）として扱われる。

あるいは、測定部３２１は、センサ値が変化した圧力センサをすべて含む外接矩形３１４ｋを定義し、外接矩形３１４ｋの座標情報を変化位置として採用してもよい。例えば、図２４に示す外接矩形３１４ｋに基づく変化位置は、外接矩形３１４ｋの最左下の圧力センサ３１４ｓの座標情報と、最右上の圧力センサ３１４ｅの座標情報との組み合わせにより、表現される。例えば、重量センサ３１４の番地が「Ａ」であり、圧力センサ３１４ｓの座標情報が「ｘ１、ｙ１」であり、圧力センサ３１４ｅの座標情報が「ｘ２、ｙ２」である場合、変化位置は、「Ａ、（ｘ１、ｙ１）、（ｘ２、ｙ２）」と表現され得る。変化位置「Ａ、（ｘ１、ｙ１）、（ｘ２、ｙ２）」は、入庫されたりんごの貯蔵位置として扱われる。

なお、重量センサ３１４の構成は、上記に限定されない。例えば、重量センサ３１４は、貯蔵スペースの床面の四隅に配置された４つの圧力センサの組み合わせによって実現されてもよい。図２５の（ａ）は、床面（例えば、棚板３０１ｒ）の四隅に圧力センサ３１４ａを持つ重量センサ３１４の斜視図であり、図２５の（ｂ）は、該重量センサ３１４の正面図である。図２５に示すとおり、棚板３０１ｒと、該棚板３０１ｒを支持する棚受け１ｒｒとの間に、４つの圧力センサ３１４ａを配置する。４つの圧力センサ３１４ａは、棚板３０１ｒのおよそ四隅に接触する位置に設けられて、その四隅から棚板３０１ｒを支持する。棚板３０１ｒにかかる負荷は、４つの圧力センサ３１４ａに分散して伝達され、それぞれの圧力センサ３１４ａのセンサ値に基づいて、棚板３０１ｒにかかる負荷、すなわち、重量が計測される。

４つの圧力センサ３１４ａからなる重量センサ３１４を採用した場合、測定部３２１は、重量変化量および変化位置を、例えば、以下のようにして特定する。図２６を参照して、棚板３０１ｒのサイズを、幅Ｌｘ＊奥行Ｌｙとし、品物Ｏｂの重量をＷとし、品物Ｏｂの貯蔵位置を（ｘ、ｙ）とする。この場合、四隅に配置された各圧力センサ３１４ａにかかる負荷（センサ値）Ｗ１、Ｗ２、Ｗ３およびＷ４は、それぞれ、以下のように計測される。
Ｗ１＝Ｗ ＊ （Ｌｘ−ｘ）／Ｌｘ ＊ （Ｌｙ−ｙ）／Ｌｙ
Ｗ２＝Ｗ ＊ ｘ／Ｌｘ ＊ （Ｌｙ−ｙ）／Ｌｙ
Ｗ３＝Ｗ ＊ （Ｌｘ−ｘ）／Ｌｘ ＊ ｙ／Ｌｙ
Ｗ４＝Ｗ ＊ ｘ／Ｌｘ ＊ ｙ／Ｌｙ
したがって、各圧力センサ３１４ａから、センサ値Ｗ１〜Ｗ４が得られた場合、測定部３２１は、品物Ｏｂの重量Ｗ（品物Ｏｂが置かれたときの重量変化量Ｗ）を以下のようにして求める。
Ｗ＝Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４
Ｗが正の値であれば、入庫と判断され、Ｗが負の値であれば出庫と判断される。

さらに、測定部３２１は、重量の変化位置（品物Ｏｂの貯蔵位置）を以下のようにして求める。
ｘ＝Ｌｘ ＊ （Ｗ２＋Ｗ４）／Ｗ
ｙ＝Ｌｙ ＊ （Ｗ３＋Ｗ４）／Ｗ
すなわち、ここでは、変化位置は、棚板３０１ｒの最左下端を原点とし、棚板３０１ｒの幅をｘ軸、奥行きをｙ軸とする座標系におけるｘ座標およびｙ座標（変化位置（ｘ、ｙ））によって表される。

（在庫管理部２４による在庫管理処理）
図２７は、在庫管理部３２４によって実行される入庫時の在庫管理処理の流れを示すフローチャートである。図２８は、在庫管理部３２４によって実行される出庫時または再入庫時の在庫管理処理の流れを示すフローチャートである。なお、上述の各フローチャートには、入出庫判定部３２２によって実行される入出庫判定処理も含まれている。

センサ３１３によって開ドアが検知されると（Ｓ４０１でＹＥＳ）、音声認識部３２０は、マイク３１５を起動する。そして、マイク３１５を介して音声が入力されると（Ｓ４０２でＹＥＳ）、音声認識部３２０は、入力された音声を認識し、その認識結果（品物名のテキストデータ）を、音声入力日時とともに認識結果記憶部３３０に記憶する（Ｓ４０３）。

測定部３２１は、重量センサ３１４から供給されるセンサ値の変動を監視し、センサ値に変化があれば（Ｓ４０４でＹＥＳ）、センサ値が変化した変化日時、重量変化量、および、変化位置を特定する（Ｓ４０５）。測定部３２１は、これらの特定した内容を、測定結果記憶部３３１に記憶する。

上記重量変化量が正の値である、すなわち、センサ値（重量値）が変化前と比較して増加している場合（Ｓ４０６でＹＥＳ）、次に、入出庫判定部３２２は、既出の品物の再入庫の可能性を判断する。すなわち、入出庫判定部３２２は、上記変化位置が、先に出庫された品物の貯蔵位置とほぼ同一で、かつ、上記重量変化量（増加量）は、上記出庫された品物の重量以下である場合に（Ｓ４０７でＹＥＳ）、品物が再入庫された可能性があると判断し、図２８に示すＳ４１７のステップに移行する。

一方、重量が増加した変化位置が上記貯蔵位置とは異なっていたり、または、増加量が上記品物の重量を超えている場合は（Ｓ４０７でＮＯ）、在庫管理部３２４は、新規の品物が入庫されたと判断し、該品物の新規レコードを在庫表に登録する（Ｓ４０８）。具体的には、在庫管理部３２４は、入庫された品物の品物識別情報、入庫日時、貯蔵位置および重量を、上記在庫表のそれぞれのカラムに格納する。在庫管理部３２４は、Ｓ４０５にて特定された変化日時に最も近い音声入力日時が対応付けられているテキストデータを、上記品物の品物識別情報として認識結果記憶部３３０から取得する。在庫管理部３２４は、上記変化日時を入庫日時として測定結果記憶部３３１から取得する。在庫管理部３２４は、Ｓ４０５にて特定された変化位置を貯蔵位置として測定結果記憶部３３１から取得する。在庫管理部３２４は、上記重量変化量を、上記品物の重量として測定結果記憶部３３１から取得する。

なお、在庫管理部３２４は、品物の名称を認識結果記憶部３３０から取得できなかった場合には、「先ほど入れたものは何ですか？」などの確認メッセージを生成し、上記発話制御部を利用して、該メッセージの音声をスピーカ３１６から出力してもよい。センサ３１３によって閉ドアが検知されないうちは（Ｓ４０９でＮＯ）、冷蔵庫３０１の制御部３１０は、Ｓ４０２に戻り以降の処理を繰り返す。

一方、Ｓ４０６にて、センサ値が変化前と比較して減少している場合（Ｓ４０６でＮＯ）、図２８を参照して、在庫管理部３２４は、品物が出庫されたと判断し（Ｓ４１１）（Ｓ４１１では、あるいは、入出庫判定部３２２が品物が出庫されたと判定してもよい）、出庫された品物のレコードを在庫表から検索する（Ｓ４１２）。具体的には、在庫管理部３２４は、貯蔵位置がセンサ値の変化位置にほぼ合致するレコード、かつ、重量変化量（減少量）が、重量にほぼ合致するレコードを特定する。

在庫管理部３２４は、特定した上記レコードにおいて、出庫された品物の出庫日時を記録する（Ｓ４１３）。出庫日時は、Ｓ４０５にて特定された変化日時とする。ここで、図示しないタイマ部により、出庫日時からの経過時間が計測されてもよい。

その後、出庫された品物と同じ貯蔵位置、かつ、該出庫された品物の重量以下で、センサ値が増加した場合（Ｓ４１４でＹＥＳ）、入出庫判定部３２２は、再入庫の可能性がある判断し、Ｓ４１４にて入庫された品物が、Ｓ４１１にて出庫された品物と同一か否かを確認するメッセージを出力する（Ｓ４１７）。

上記メッセージに対して、ユーザより、品物が同一である旨の回答が入力されると（Ｓ４１８でＹＥＳ）、入出庫判定部３２２は、出庫された品物が再入庫されたと判定する（Ｓ４１９）。この場合、在庫管理部３２４は、再入庫と判定された品物のレコードにおいて、重量を、Ｓ４１４にて計測されたものに更新する（Ｓ４２０）。一方、記メッセージに対して、ユーザより、品物が同一でない旨の回答が入力されると（Ｓ４１８でＮＯ）、在庫管理部３２４は、「じゃあ、何を入れたの？教えて」など、品物名の入力を促すメッセージを出力し、ユーザの入力を受け付ける（Ｓ４２１）。該メッセージに対してユーザが、音声またはキーボード操作によって品物名を入力する。

在庫管理部３２４は、出庫された品物の貯蔵位置に別の品物が入庫されたことに伴い、該貯蔵位置から出庫されたとしてこれまで管理されていた品物のレコードを削除する（Ｓ４２２）。そして、上記別の品物について、在庫表に新規レコードを登録する（Ｓ４２３）。なお、在庫管理部３２４は、品物識別情報として、Ｓ４２１にてユーザから入力された品物名を採用することができる。

一方、Ｓ４１４の条件に合致するセンサ値の増加がないまま、Ｓ４１３にて記録された出庫日時から所定時間が経過した場合（Ｓ４１４でＮＯ、かつ、Ｓ４１５でＹＥＳ）、出庫された品物が再入庫される可能性は低いとして、在庫管理部３２４は、出庫された品物のレコード（出庫日時から所定時間が経過したレコード）を在庫表から削除する（Ｓ４１６）。上述の一連の在庫管理が完了すると、冷蔵庫３０１の制御部３１０は、Ｓ４０９に戻り、センサ３１３によって閉ドアが検知されないうちは（Ｓ４０９でＮＯ）、Ｓ４０２に戻り以降の処理を繰り返す。

図２９は、実施形態３に係る在庫表記憶部３３２に記憶される在庫表の具体例を示す図である。実施形態３の在庫表において、実施形態１および２の在庫表と異なる点は、在庫表が、貯蔵位置、重量および出庫日時のカラムを含んでいる点である。在庫管理部３２４は、品物が入庫されたときに、品物識別情報、入庫日時、貯蔵場所および重量のカラムにそれぞれ適切な値を入れてレコードを作成する。そして、品物が出庫されたときに、出庫日時のカラムに、重量が減少したときの日時を格納してレコードを更新する。そして、出庫日時から所定時間以内に同一の品物が再入庫された場合には、在庫管理部３２４は、出庫日時の値をクリアして、上記品物のレコードを維持する。一方、再入庫されずに、出庫日時から所定時間が経過した場合には、上記レコードを在庫表から削除する。なお、品物識別情報は、実施形態１と同様に、テキストデータであってもよいし、冷蔵庫３０１がカメラ１４にて品物の画像を撮像している場合には、品物識別情報は、品物の領域のトリミング画像であってもよいし、第１画像そのものであってもよい。

〔実施形態４〕
本発明の他の実施形態について、図３０〜図３２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１〜３にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施形態では、上述の各実施形態における冷蔵庫１（または、冷蔵庫３０１）が、貯蔵されている品物の使用期限を管理し、使用期限が迫っている品物が貯蔵されていることについて、適切にユーザに通知する。

本実施形態では、クラウドサーバ２（または、クラウドサーバ３０２）は、貯蔵期間リストを保持している。貯蔵期間リストとは、冷蔵庫において品質を保ちつつ貯蔵が可能な期間を品物ごとに対応付けてリストにしたものである。貯蔵期間リストの一例を図３０の（ａ）に示す。貯蔵期間リストは、例えば、品物識別情報のカラムと、貯蔵期間のカラムとを有する。貯蔵期間のカラムには、その品物が冷蔵室において品質を保ちつつ貯蔵が可能な期間が格納される。貯蔵期間の値は、冷蔵室における貯蔵可能期間と、冷凍室における貯蔵可能期間との２種類が格納されていてもよい。

在庫管理部２４（または、在庫管理部３２４）は、入庫された品物について新規レコードを在庫表に登録すると、該品物の品物識別情報をクラウドサーバ２に送信して、該品物の貯蔵期間を問い合わせる。クラウドサーバ２は、送信された品物識別情報に対応付けられた貯蔵期間を、冷蔵庫１に返信する。

在庫管理部２４は、上記品物の入庫日時に、クラウドサーバ２から受信した貯蔵期間を足した日時（または、日だけでもよい）を、使用期限として算出する。そして、算出した使用期限を、上記品物のレコードにおける使用期限のカラムに格納する。図３０の（ｂ）は、実施形態４における在庫表の一例を示す図である。同図に示すとおり、実施形態１〜３に係る在庫表と比較して、実施形態４の在庫表は、さらに、使用期限のカラムを含む。

在庫管理部２４は、現在日時から所定日（例えば、１日）後に上記使用期限が迫っているレコードが在庫表に存在する場合に、当該レコードの品物の使用期限が迫っていることを通知するための使用期限警告メッセージを、ユーザに対して出力する。使用期限警告メッセージの出力方法は、特に限定されない。例えば、冷蔵庫１（または冷蔵庫３０１）が、音声出力機能（スピーカ１６またはスピーカ３１６）を備えている場合には、在庫管理部２４は、スピーカ１６から、「〇〇の使用期限が迫っているよ、在庫を確認してね！」などの音声メッセージを出力してもよい。あるいは、冷蔵庫１が情報表示機能（ディスプレイ１７またはディスプレイ３１７）を備えている場合には、在庫管理部２４は、使用期限が迫っている品物の一覧をディスプレイ１７に表示してもよい。あるいは、冷蔵庫１が通信機能（通信部１２または通信部３１２）を備えている場合には、在庫管理部２４は、使用期限警告メッセージを、ユーザの通信端末３に送信してもよい。

図３１は、在庫管理部２４または在庫管理部３２４によって実行される使用期限管理処理の流れを示すフローチャートである。在庫管理部２４は、在庫表にレコードが新規登録された品物の貯蔵期間を、クラウドサーバ２から取得する（Ｓ５０１）。在庫管理部２４は、上記品物の入庫日時と、取得した上記貯蔵期間とに基づいて使用期限を算出し、上記在庫表の使用期限のカラムに格納する（Ｓ５０２）。

在庫管理部２４は、現在日時から所定日数後に、使用期限が迫っているレコードが在庫表にある場合に（Ｓ５０３でＹＥＳ）、使用期限警告メッセージをユーザに対して出力する（Ｓ５０４）。

〔変形例〕
（実施形態１および２について）
冷蔵庫１に適用された、本発明に係る在庫管理装置は、クラウドサーバ２によって実現されてもよい。すなわち、特徴量抽出部２１、入出庫判定部２２、品物識別部２３および在庫管理部２４を、クラウドサーバ２が備え、クラウドサーバ２は、冷蔵庫１のカメラ１４が撮像した画像を冷蔵庫１から取得して、入出庫判定処理および在庫管理処理を実行すればよい。あるいは、特徴量抽出部２１、入出庫判定部２２、品物識別部２３および在庫管理部２４の各機能を、冷蔵庫１とクラウドサーバ２とに分散して設けることにより、本発明の在庫管理装置を実現してもよい。

（実施形態３について）
冷蔵庫３０１に適用された、本発明に係る在庫管理装置は、クラウドサーバ３０２によって実現されてもよい。すなわち、音声認識部３２０、測定部３２１、入出庫判定部３２２、品物識別部３２３および在庫管理部３２４を、クラウドサーバ３０２が備えてもよい。この場合、クラウドサーバ３０２は、冷蔵庫３０１のマイク３１５が取得した入力音声データ（品物名を発話したユーザの音声）と、冷蔵庫３０１の重量センサ３１４が検知したセンサ値とを冷蔵庫３０１から取得して、入出庫判定処理および在庫管理処理を実行すればよい。あるいは、音声認識部３２０、測定部３２１、入出庫判定部３２２、品物識別部３２３および在庫管理部３２４の各機能を、冷蔵庫３０１とクラウドサーバ３０２とに分散して設けることにより、本発明の在庫管理装置を実現してもよい。

（実施形態３と、実施形態１または２との組み合わせについて）
実施形態１に係る冷蔵庫１の各種機能を、実施形態３に係る冷蔵庫３０１に搭載することが可能である。上記構成によれば、入庫時の品物の識別は、カメラ１４によって撮像された画像を処理することによって行われる。これにより、ユーザは、入庫時に品物の名前を発話することすら不要になり、さらに、ユーザの利便性が向上する。あるいは、音声入力と組み合わせて、音声認識または画像認識における誤認識をカバーし合い、品物の識別精度を向上させることも可能である。

さらに、在庫表における品物識別情報として、カメラ１４によって撮像された画像または品物の領域がトリミングされた画像を採用してもよい。そして、在庫管理部２４は、図３２に示すように、上記画像に、入庫日時からの経過時間と、貯蔵位置とを関連付けた食品リストを作成しておき、該食品リストを、ディスプレイ１７に表示したり、ユーザの通信端末３に送信したりしてもよい。

〔ソフトウェアによる実現例〕
冷蔵庫１の制御ブロック（特に、画像取得部２０、特徴量抽出部２１、入出庫判定部２２、品物識別部２３および在庫管理部２４）、ならびに、冷蔵庫３０１の制御ブロック（特に、音声認識部３２０、測定部３２１、入出庫判定部３２２、品物識別部３２３および在庫管理部３２４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、冷蔵庫１および冷蔵庫３０１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る在庫管理装置（冷蔵庫１、クラウドサーバ２）は、カメラ（１４）を制御して、貯蔵庫（冷蔵庫１）の、品物を入出庫するための開口部の画像を取得する画像取得部（２０）と、上記画像に基づいて、品物の入出庫を判定する入出庫判定部（２２）とを備え、上記画像取得部は、庫内に設けられた、品物を運搬する手の通過を検知するセンサ（センサ１３、フロントセンサ１３ｆ、バックセンサ１３ｂ）のセンサ値に基づいて、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得するものであり、上記入出庫判定部は、上記第１画像に品物が写っている否かと、上記第２画像に上記品物が写っているか否かとに基づいて、該品物の入出庫を判定する。

上記の構成によれば、画像取得部が、手の通過を検知するセンサのセンサ値に基づいて、カメラの撮像タイミングを制御することによって、（i）庫外から庫内へ移動する手が写る第１画像、および、（ii）庫内から庫外へ移動する手が写る第２画像の２枚の画像が取得される。入出庫判定部は、この２枚の画像を分析するのみで、品物が入庫されたのか、出庫されたのかを判定することができる。入庫の場合には、第１画像にのみ手と一緒に品物が写っているはずであり、出庫の場合には、第２画像にのみ手と一緒に品物が写っているはずだからである。

このように、本発明の在庫管理装置は、画像取得部が、センサ値にしたがってカメラの撮像タイミングを制御することにより、入出庫の判定に必要な最低限の２枚の画像を取得することができる。これにより、リアルビュー画像などを画像分析して撮像対象をトラッキングせずとも、２枚の静止画を処理するのみで、品物の入出庫を判定することが可能である。つまり、高負荷な演算処理を回避することができる。よって、在庫管理装置において、処理能力の高いプロセッサを搭載する必要がない。在庫管理装置を冷蔵庫などの貯蔵庫に直接に搭載する際には、該貯蔵庫そのものの製造コストを抑えることができる。また、在庫管理装置を貯蔵庫通信する外部装置に搭載する場合には、貯蔵庫と在庫管理装置との間の通信に関し、高性能な通信機能および通信環境が要求されないため、通信環境を整えるための初期コストを抑えることができる。結果として、多数の画像を短時間で処理することなく、かつ、ユーザの利便性を損なわずに品物の入出庫を判定することが可能な在庫管理装置または在庫管理システムを実現することができる。

本発明の態様２に係る在庫管理装置では、上記態様１において、上記センサは、手が上記開口部（および開口部によって形成される開口領域）を通過したことを検知する第１センサ（フロントセンサ１３ｆ）と、手が上記開口部より奥の庫内の所定場所を通過したことを検知する第２センサ（バックセンサ１３ｂ）とを含み、上記画像取得部は、第２センサが通過非検知（オン）であって、第１センサが通過非検知から通過検知（オフ）に切り替わった時に、上記第１画像を取得するとともに、第１センサが通過検知であって、第２センサが通過検知から通過非検知に切り替わった時に、上記第２画像を取得することが好ましい。

上記の構成によれば、画像取得部は、貯蔵庫の開口部に設けられた第１センサと貯蔵庫の庫内奥に設けられた第２センサのセンサ値の組み合わせによって、カメラの撮像範囲に収まっている手のシーンが、これから庫内に入れようとしている手のシーンなのか、庫内から庫外に出そうとしている手のシーンなのかを判別することができる。したがって、この判別に基づいて取得された、第１画像が庫外から庫内へ移動する手を写していることが保証され、第２画像が庫内から庫外に移動する手を写していることが保証される。結果として、これら２枚の画像に基づいて、入出庫判定部が正確に入出庫を判定することが可能となる。

本発明の態様３に係る在庫管理装置では、上記態様１または２において、上記貯蔵庫は、１以上の棚板（棚板１ｒ、棚板１ｒ−１、棚板１ｒ−２、棚板１ｒ−３）で仕切られる複数の貯蔵スペース（段）を有し、上記画像取得部は、上記第１画像を撮像してから上記第２画像を撮像するまでの間に、手がいずれかの貯蔵スペースにある時に、上記棚板の少なくとも一部と上記手の少なくとも一部とが写る中間画像を取得し、上記入出庫判定部は、上記中間画像に写る手と棚板との位置関係に基づいて、品物が入出庫された貯蔵スペースを特定してもよい。

上記の構成によれば、入出庫判定部は、中間画像に写る手と棚板との位置関係に基づいて、手がどこに入っているのか、すなわち、品物が置かれたり、取り出されたりした貯蔵スペースはどこであるのかを特定することが可能となる。例えば、上下に重なる棚板を上からカメラで撮像している場合には、棚板よりも上に手が写っている場合には、その棚板の段の貯蔵スペースにて入出庫が行われていると判定でき、棚板よりも下に手が写っている場合には、その棚板の段の下の貯蔵スペースにて入出庫が行われていると判定できる。

結果として、処理対象の画像を単に１枚増やすだけで、品物の入庫先、出庫元の場所を特定することが可能となる。これにより、より詳細なあるいは高精度な在庫管理を実現することが可能となる。

本発明の態様４に係る在庫管理装置（冷蔵庫３０１、クラウドサーバ３０２）は、品物を貯蔵庫（冷蔵庫３０１）に入庫する際にマイク（３１５）を介して入力された、該品物の名称を発話した音声をテキストデータに変換する音声認識部（３２０）と、上記貯蔵庫の１以上の貯蔵スペースの床面に設けられた重量センサ（３１４）から出力されるセンサ値（重量値）に基づいて、上記床面にかかる負荷を測定し、該負荷に変化が生じた場合に該負荷の変化量（重量変化量）および変化位置を特定する測定部（３２１）と、上記負荷に変化が生じた時点と最も近い時点で入力された発話音声のテキストデータと、上記負荷の変化量と、上記変化位置と、上記負荷に変化が生じた時点とを含む、上記品物のレコードを、上記貯蔵庫の在庫を示す在庫表に登録する在庫管理部（３２４）とを備えている。

上記の構成によれば、ユーザが品物入庫時に該品物の名称を発話して貯蔵庫に貯蔵するだけで、簡易に貯蔵庫内の在庫を管理することができる。品物の名称の発話とほぼ同じタイミングで、品物が貯蔵庫内に置かれるので、品物が置かれた貯蔵スペースの床面の負荷が変化（増加）する。測定部は、負荷が増加した場合、負荷の変化量（増加量）と、変化位置（増加位置）とを特定する。在庫管理部は、測定部によって負荷の増加が認められた場合に、ユーザによって入庫された品物のレコードを在庫表に登録する。例えば、一例として、重量センサによって検知されたセンサ値（重量値）が変化したのとほぼ同じタイミングで入力されたテキストデータを品物の名称とし、負荷の変化量（増加量）を該品物の重量として、変化位置（負荷が増加した位置）を該品物の貯蔵位置とし、上記負荷の変化（増加）タイミングを、入庫日時として、在庫を管理することができる。

これにより、ユーザは、品物にタグを付与したり、タグに記憶させる情報を作成するなどの煩わしい作業から解放され、品物名を発話するという簡易な動作を入庫時に行うだけで済む。ユーザによって発話された品物名は、入力タイミングに基づいて、重量とそれが置かれた貯蔵場所に紐付けられるので、品物の在庫管理が正確に行える。結果として、入出庫時にユーザに煩わしい作業を強いることなく品物の在庫管理を実施する在庫管理装置または在庫管理システムを実現することが可能となる。

本発明の態様５に係る在庫管理装置では、上記態様４において、上記在庫管理部は、上記負荷が減少した場合に、上記負荷の減少量および減少位置に基づいて、出庫された品物のレコードを上記在庫表から特定するとともに、上記負荷が減少した時点を出庫日時として該レコードに記録し、上記出庫日時から所定時間以内に、負荷の増加が、上記減少量以下の増加量で、上記減少位置にて計測された場合に、上記品物のレコードの上記出庫日時をクリアして該レコードを維持する一方、負荷の増加が計測されることなく上記出庫日時から所定時間が経過した場合に、上記品物のレコードを削除する。

上記の構成によれば、品物の出庫は、負荷の減少によって判定され、しかも、負荷の減少量と、その減少位置とによって、出庫された品物の重量とその貯蔵位置とが明らかになる。出庫時の品物は、在庫表において、重量とその貯蔵位置とによって特定することが可能であるので、出庫時には、ユーザは、取り出した品物が何であるのかについて発話する必要すらなくなる。これにより、ユーザの利便性はより一層向上する。

さらに、同じ品物がすぐに同じ貯蔵位置に戻されたり、一部使用してすぐに同じ貯蔵位置に戻されたりした場合に、入出庫判定部は、同じ品物が再入庫されたと判定することができる。したがって、同じ品物が戻されたにもかかわらず、新たな別の品物が入庫されたとする誤判定を回避することができる。

本発明の態様６に係る在庫管理方法は、カメラを制御して、貯蔵庫の、品物を入出庫するための開口部の画像を取得する画像取得ステップと、上記画像に基づいて、品物の入出庫を判定する入出庫判定ステップとを含み、上記画像取得ステップでは、庫内に設けられた、品物を運搬する手の通過を検知するセンサのセンサ値に基づいて、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得し、上記入出庫判定ステップでは、上記第１画像に品物が写っている否かと、上記第２画像に上記品物が写っているか否かとに基づいて、該品物の入出庫を判定する。上記の方法によれば、上記態様１と同様の効果を奏する。

本発明の態様７に係る在庫管理方法は、品物を貯蔵庫に入庫する際にマイクを介して入力された、該品物の名称を発話した音声をテキストデータに変換する音声認識ステップと、上記貯蔵庫の１以上の貯蔵スペースの床面に設けられた重量センサから出力されるセンサ値に基づいて、上記床面にかかる負荷を測定し、該負荷に変化が生じた場合に該負荷の変化量および変化位置を特定する測定ステップと、上記負荷に変化が生じた時点と最も近い時点で入力された発話音声のテキストデータと、上記負荷の変化量と、上記変化位置と、上記負荷に変化が生じた時点とを含む、上記品物のレコードを、上記貯蔵庫の在庫を示す在庫表に登録する在庫管理ステップとを含む。上記の方法によれば、上記態様４と同様の効果を奏する。

本発明の各態様に係る在庫管理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記在庫管理装置が備える各部（ソフトウェア要素）として動作させることにより上記在庫管理装置をコンピュータにて実現させる在庫管理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１、３０１ 冷蔵庫（貯蔵庫）
１ｃ、３０１ｃ 冷蔵室（貯蔵庫／貯蔵スペース）
１ｄ、３０１ｄ ドア部
１ｆ、３０１ｆ 冷凍室（貯蔵庫／貯蔵スペース）
１ｒ、１ｒ−１、１ｒ−２、１ｒ−３、３０１ｒ 棚板
１ｖ、３０１ｖ 野菜室（貯蔵庫／貯蔵スペース）
２、３０２ クラウドサーバ
３ 通信端末
１０、３１０ 制御部
１１、３１１ 記憶部
１２、３１２ 通信部
１３、３１３ センサ
１３ｂ バックセンサ（第２センサ）
１３ｄ 開閉センサ
１３ｆ フロントセンサ（第１センサ）
１４ カメラ
１５、３１５ マイク
１６、３１６ スピーカ
１７、３１７ ディスプレイ
２０ 画像取得部
２１ 特徴量抽出部
２２ 入出庫判定部
２３ 品物識別部
２４ 在庫管理部
３０ パターン記憶部
３１ 画像記憶部
３２ 在庫表記憶部
１００、３００ 在庫管理システム
３１４ 重量センサ
３１４ａ 圧力センサ
３１４ｅ 圧力センサ
３１４ｓ 圧力センサ
３２０ 音声認識部
３２１ 測定部
３２２ 入出庫判定部
３２３ 品物識別部
３２４ 在庫管理部
３３０ 認識結果記憶部
３３１ 測定結果記憶部
３３２ 在庫表記憶部

Claims (7)

1. カメラを制御して、貯蔵庫の、品物を入出庫するための開口部の画像を取得する画像取得部と、
   上記画像に基づいて、品物の入出庫を判定する入出庫判定部とを備え、
   上記画像取得部は、庫内に設けられた、品物を運搬する手の通過を検知するセンサのセンサ値に基づいて、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得するものであり、
   上記入出庫判定部は、上記第１画像に品物が写っている否かと、上記第２画像に上記品物が写っているか否かとに基づいて、該品物の入出庫を判定することを特徴とする在庫管理装置。
2. 上記センサは、手が上記開口部を通過したことを検知する第１センサと、手が上記開口部より奥の庫内の所定場所を通過したことを検知する第２センサとを含み、
   上記画像取得部は、第２センサが通過非検知であって、第１センサが通過非検知から通過検知に切り替わった時に、上記第１画像を取得するとともに、第１センサが通過検知であって、第２センサが通過検知から通過非検知に切り替わった時に、上記第２画像を取得することを特徴とする請求項１に記載の在庫管理装置。
3. 上記貯蔵庫は、１以上の棚板で仕切られる複数の貯蔵スペースを有し、
   上記画像取得部は、上記第１画像を撮像してから上記第２画像を撮像するまでの間に、手がいずれかの貯蔵スペースにある時に、上記棚板の少なくとも一部と上記手の少なくとも一部とが写る中間画像を取得し、
   上記入出庫判定部は、上記中間画像に写る手と棚板との位置関係に基づいて、品物が入出庫された貯蔵スペースを特定することを特徴とする請求項１または２に記載の在庫管理装置。
4. 品物を貯蔵庫に入庫する際にマイクを介して入力された、該品物の名称を発話した音声をテキストデータに変換する音声認識部と、
   上記貯蔵庫の１以上の貯蔵スペースの床面に設けられた重量センサから出力されるセンサ値に基づいて、上記床面にかかる負荷を測定し、該負荷に変化が生じた場合に該負荷の変化量および変化位置を特定する測定部と、
   上記負荷に変化が生じた時点と最も近い時点で入力された発話音声のテキストデータと、上記負荷の変化量と、上記変化位置と、上記負荷に変化が生じた時点とを含む、上記品物のレコードを、上記貯蔵庫の在庫を示す在庫表に登録する在庫管理部とを備えていることを特徴とする在庫管理装置。
5. 上記在庫管理部は、上記負荷が減少した場合に、上記負荷の減少量および減少位置に基づいて、出庫された品物のレコードを上記在庫表から特定するとともに、上記負荷が減少した時点を出庫日時として該レコードに記録し、
   上記出庫日時から所定時間以内に、負荷の増加が、上記減少量以下の増加量で、上記減少位置にて計測された場合に、上記品物のレコードの上記出庫日時をクリアして該レコードを維持する一方、負荷の増加が計測されることなく上記出庫日時から所定時間が経過した場合に、上記品物のレコードを削除することを特徴とする請求項４に記載の在庫管理装置。
6. カメラを制御して、貯蔵庫の、品物を入出庫するための開口部の画像を取得する画像取得ステップと、
   上記画像に基づいて、品物の入出庫を判定する入出庫判定ステップとを含み、
   上記画像取得ステップでは、庫内に設けられた、品物を運搬する手の通過を検知するセンサのセンサ値に基づいて、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得し、
   上記入出庫判定ステップでは、上記第１画像に品物が写っている否かと、上記第２画像に上記品物が写っているか否かとに基づいて、該品物の入出庫を判定することを特徴とする在庫管理方法。
7. 品物を貯蔵庫に入庫する際にマイクを介して入力された、該品物の名称を発話した音声を認識してテキストデータに変換する音声認識ステップと、
   上記貯蔵庫の１以上の貯蔵スペースの床面に設けられた重量センサから出力されるセンサ値に基づいて、上記床面にかかる負荷を測定し、該負荷に変化が生じた場合に該負荷の変化量および変化位置を特定する測定ステップと、
   上記負荷に変化が生じた時点と最も近い時点で入力された発話音声のテキストデータと、上記負荷の変化量と、上記変化位置と、上記負荷に変化が生じた時点とを含む、上記品物のレコードを、上記貯蔵庫の在庫を示す在庫表に登録する在庫管理ステップとを含むことを特徴とする在庫管理方法。

Images