JP2015152211A - 庫内管理装置及び方法 - Google Patents

Abstract

【課題】収納庫内の物品の管理において、一回のドア開閉の間に複数の物品の出し入れや庫内の物品の移動が行われた場合にも、正確に物品の出し入れを判定することができるようにする。【解決手段】収納個内での物品の出し入れ、移動などのための作業の前の庫内画像と、作業後の庫内画像との差分領域を抽出し、該差分領域と、作業前の庫内画像、作業後の庫内画像とから、物品の入庫、出庫を判定する。庫内画像の時間的変化から作業が行われているか否かの判定を行う。差分領域と輪郭が類似する画像部分を入庫又は出庫された物品の画像と判定する。【選択図】図１

Description

本発明は、庫内管理装置及び方法に関し、特に、収納庫内の物品を撮像することで得られる画像を用いて、収納庫内に保管されている物品の管理、収納庫からの物品の出し入れの管理に関する。

収納庫内に物品を保管する場合、庫内にどのような物品がいつから存在するかを使用者が全て記憶しておくのは困難である。そのため、例えば冷蔵庫の場合、食品が庫内に残っていることを忘れて賞味期限が過ぎてしまったり、庫内に既にある物品と同じものを重複して（不必要に）購入してしまったりすることが起こりうる。

そこで、庫内を撮影するカメラを設置し、その撮影画像から庫内管理を行う方法が考案されている。

例えば、特許文献１には、収納庫の扉が閉じられる度に庫内を撮影し、撮影画像から庫内にある物品の種類を判別し、物品又はラベルに記載されている文字、バーコード、二次元コードを認識することで物品の名称、メーカー、製造年月日、賞味期限などの物品情報を取得して表示することが開示されている。さらに、物品を特定することができない場合には、物品の画像又は庫内における位置を示す情報を表示することも開示されている。

また、特許文献２には、冷蔵庫の扉が閉じられる度に庫内を撮影し、前回撮影時の収納位置と比較することで物品の入出庫を判別し、在庫期間が警告期間を超えると、警告を発する在庫管理装置が記載されている。

特開２０１２−１９３８７３号公報 特開２０１０−１２１７８４号公報

しかしながら、物品によって賞味期限などの情報を表記する場所は異なり、さらにその情報がカメラから見えるように物品が置かれるとは限らず、特許文献１のように固定されたカメラが撮影した画像から賞味期限などの物品情報を取得することは困難である。物品情報を使用者が登録することも記載されているものの、一品毎に情報を入力するのは使用者の手間が多く、実状に即したものとは言えない。

また、ドアの一回の開閉で複数の物品の出し入れや庫内の物品の移動が行われる場合には、庫内の状態がドアを開けた直後と閉める前では全く異なるものになることも十分起こりうる。そのような場合に、特許文献２のようにドアの開閉毎に撮影した画像を比較して入庫、出庫を判断する方法では、収納位置の変化が大きすぎて、正しく入庫、出庫の判定ができないことがある。

また、ある物品が入れられ、さらにその手前に別の物品が入れられた場合には、前者が後者の影に隠れてしまい、入れられたことが認識されないことがある。

本発明の庫内管理装置は、
収納庫内部を撮像することで得られる庫内画像を取得する処理を繰り返す庫内画像取得部と、
前記収納庫内で作業が行われているか否かの判定を行う作業判定部と、
前記作業が開始された際に、該作業の開始の直前に前記収納庫内部を撮像することで得られた前記庫内画像を作業前画像として記憶する作業前画像記憶部と、
前記作業が終了したときに、該作業の終了の直後に、前記収納庫内部を撮像することで得られた前記庫内画像を作業後画像とし、前記作業前画像と前記作業後画像とから、両画像間の差分領域を抽出する差分領域抽出部と、
前記作業前画像又は前記作業後画像と、前記差分領域とから物品の入庫又は出庫が行われたかを判定する入出庫判定部と
を備えることを特徴とする。

本発明によれば、一回のドア開閉の間に複数の物品の出し入れや庫内の物品の移動が行われた場合にも、正確に物品の出し入れを判定することができる。

本発明の実施の形態１における庫内管理装置の構成を示すブロック図である。 実施の形態１における庫内管理装置を備えた収納庫を上から見た外観図である。 実施の形態１における庫内管理装置の状態遷移図である。 （Ａ）及び（Ｂ）は、カメラの光軸のずれに対して行われる位置合わせの処理を示す図である。 （Ａ）〜（Ｄ）は、実施の形態１における庫内管理装置の差分領域抽出と入庫及び出庫の判定の一例を示す図である。 （Ａ）〜（Ｃ）は、実施の形態１における庫内管理装置の差分領域抽出と入庫及び出庫の判定の他の例を示す図である。 実施の形態１における庫内管理装置のドア移動状態における処理の手順を示すフローチャートである。 実施の形態１における庫内管理装置の静止状態における処理の手順を示すフローチャートである。 （Ａ）〜（Ｅ）は、庫内画像取得部による庫内画像の取得及び記憶、並びに作業前画像の記憶のための処理を示す図である。 実施の形態１における庫内管理装置の作業状態における処理の手順を示すフローチャートである。 実施の形態１における在庫情報の更新の処理の手順を示すフローチャートである。 実施の形態１における庫内情報配信装置により配信されるデータに基づく携帯端末での表示の例を示す図である。 本発明の実施の形態２における庫内管理装置の構成を示すブロック図である。 本発明の実施の形態３における庫内管理装置の構成を示すブロック図である。 実施の形態３における在庫情報の更新の処理の手順を示すフローチャートである。 実施の形態３における庫内情報配信装置により配信されるデータに基づく携帯端末での表示の例を示す図である。 本発明の実施の形態４における庫内管理装置の構成を示すブロック図である。 実施の形態４における在庫情報の更新の処理の手順を示すフローチャートである。 実施の形態４における庫内情報配信装置により配信されるデータに基づく携帯端末での表示の例を示す図である。

実施の形態１．
図１は、本発明の実施の形態１における収納庫の庫内管理装置の構成を示すブロック図である。収納庫は例えば冷蔵庫であるが、本発明は他の収納庫にも適用可能である。
図２は、図１の庫内管理装置１００を備えた収納庫１０を示す。図２は、収納庫１０のドア１４が開かれた状態を上から見た図である。収納庫１０は、本体１２と、本体１２に対して開閉可能なドア１４を備え、ドア１４の内側に庫内管理装置１００が設置されている。図示の例では、ドア１４は、所謂右開きのドアであり、本体１２の右側側壁の前縁に図示しないヒンジによって回動可能に保持されている。

図１に示される庫内管理装置１００は、庫内画像取得部１１０と、庫内画像記憶部１２２と、作業前画像記憶部１２４と、差分領域抽出部１３０と、書込み制御部１３２と、在庫情報記憶部１３４と、ドア閉前画像記憶部１２６と、庫内情報配信部１３６と、制御部１４０とを備える。

庫内画像取得部１１０は、庫内画像を取得して出力するものであり、カメラ１１２とバッファ１１４とを有する。
カメラ１１２は、周期的に、即ち予め定められた時間毎に、例えば５００ミリ秒毎に庫内を撮影し、各回の撮影により得られた庫内画像を出力する。

カメラ１１２は、収納庫１０のドア１４が開いたときに、収納庫内部を撮像することで庫内画像を取得できるように設置されている。カメラ１１２は庫内全体の画像を取得できるように広角のレンズを備えることが望ましい。
カメラ１１２の設置場所は、ドアが開いているときに、収納庫１０への物品の出し入れが行われるときに、出し入れの様子、或いは出し入れされる物品を撮影できる場所であれば、ドア１４以外の場所であっても良い。例えば、庫内の天井に設置しても良い。
庫内管理装置１００がカメラを一体に備えるものである場合には、庫内管理装置１００もカメラ１１２と同じ位置に設けられることになる。庫内管理装置１００は収納庫１０の本体１２の側壁などに内蔵されていても良い。

バッファ１１４は、カメラ１１２による撮影で得られた庫内画像を新規庫内画像として保持する。バッファ１１４に保持される画像は、カメラ１１２による各回の撮影毎に書き換えられる。
庫内画像取得部１１０は、バッファ１１４に保持されている新規庫内画像を出力する。

庫内画像記憶部１２２は、庫内画像取得部１１０が取得した新規庫内画像を記憶する。庫内画像記憶部１２２に記憶された庫内画像は、庫内画像取得部１１０が次に新規庫内画像を取得したとき（次回の庫内画像取得時）に、前回庫内画像として読み出される。
作業前画像記憶部１２４は、庫内で使用者による作業（物品の入庫、出庫、移動などのための作業）が行われたときに、該作業が行われる直前の庫内画像（直前に収納庫内部を撮像することで得られた庫内画像）を作業前画像として記憶する。
ドア閉前画像記憶部１２６は、ドア１４が閉まったときに、閉まる直前の静止状態における庫内画像を、ドア閉前画像として記憶する。

差分領域抽出部１３０は、庫内で使用者による作業が行われたときに、該作業が終わったときの庫内画像（作業後画像）と、作業前画像との差分を求め、該差分が比較的大きい領域を差分領域として抽出する。

制御部１４０は、収納庫１０の状態、即ち、ドア１４が閉じているか否か、収納庫１０内で物品の出し入れ、移動等のための作業が行われているか否かに応じて、庫内管理装置１００を、異なる動作モードに遷移させて、それぞれの動作モードで動作させるための制御を行う。
制御部１４０は、開閉判定部１４２と、静止判定部１４４と、動作モード決定部１４６と、入出庫判定部１４８とを備える

開閉判定部１４２は、収納庫１０のドア１４の開閉状態、即ち、ドア１４が閉じられているか否かを判定する。
静止判定部１４４は、庫内画像に時間的変化、即ち動きがあるか否かの判定を行う。
動作モード決定部１４６は、開閉判定部１４２による判定結果と、静止判定部１４４による判定結果とに基づいて、動作モードを決定し、庫内管理装置１００は、動作モード決定部１４６で決定された動作モードで動作する。
入出庫判定部１４８は、収納庫１０に対する物品の入庫又は出庫が行われたか否かを判定する。

図３は、動作モード決定部１４６により決定される動作モードの変遷を示す状態遷移図である。
開閉判定部１４２により、庫内管理装置１００のドア１４が閉まっていると判定されているとき（収納庫１０がドア閉状態にあるとき）には、庫内管理装置１００は、ドア閉時動作モードＳＴ１にある。

ドア閉時動作モードＳＴ１において、開閉判定部１４２によりドア１４が開いたと判定されると、ドア１４が開き始めた（収納庫１０がドア移動状態に移行した）と推定できるので、庫内管理装置１００はドア移動時動作モードＳＴ２に遷移する。

ドア移動時動作モードＳＴ２において、開閉判定部１４２によりドアが閉まった（収納庫１０がドア閉状態に移行した）と判定されると、庫内管理装置１００はドア閉時動作モードＳＴ１に遷移する。
ドア移動時動作モードＳＴ２において、静止判定部１４４により庫内画像に変化がなくなった（収納庫１０が静止状態に移行した）と判定されると、庫内管理装置１００は静止時動作モードＳＴ３に遷移する。

静止時動作モードＳＴ３において、開閉判定部１４２によりドア１４が閉まった（収納庫１０がドア閉状態に移行した）と判定されると、庫内管理装置１００はドア閉時動作モードＳＴ１に遷移する。
静止時動作モードＳＴ３において、静止判定部１４４により庫内画像に変化がある（収納庫１０が作業状態に移行した）と判定されると、庫内管理装置１００は作業時動作モードＳＴ４に遷移する。

作業時動作モードＳＴ４において、開閉判定部１４２によりドア１４が閉まった（収納庫１０がドア閉状態に移行した）と判定されると、庫内管理装置１００はドア閉時動作モードＳＴ１に遷移する。
作業時動作モードＳＴ４において、静止判定部１４４により庫内画像に変化がなくなった（収納庫１０が静止状態に移行した）と判定されると、庫内管理装置１００は静止時動作モードＳＴ３に遷移する。

庫内管理装置１００の上記のドア閉時動作モードＳＴ１、ドア移動時動作モードＳＴ２、静止時動作モードＳＴ３、及び作業時動作モードＳＴ４は、それぞれ収納庫１０のドア閉状態、ドア移動状態、静止状態、及び作業状態において選択されるモードであるので、以下では、これらを収納庫１０の状態と同じく、ドア閉状態、ドア移動状態、静止状態、及び作業状態という。

ドア移動時動作モード（ドア移動状態）と静止時動作モード（静止状態）とは、ドア１４が開いており、かつ庫内で物品の出し入れ、移動などのための作業が行われていない状態における動作モードであり、これらの２つの状態をまとめて、「非作業時動作モード（非作業状態）」と言い、符号ＳＴ５で示す。
静止判定部１４４は、ドア移動状態ＳＴ２においては、画像の動きがなくなったことを検出して、静止状態ＳＴ３への遷移をさせる役割を持つとともに、静止状態ＳＴ３においては、画像の動きが生じたことを検出して、作業状態ＳＴ４への遷移を生じさせる。後者の役割を持つ点で、静止判定部１４４は、作業が行われているか否かを判定する判定部（作業判定部）として機能すると言える。

以下、庫内管理装置１００の各部の動作についてより詳しく説明する。
作業前画像記憶部１２４は、上記の静止状態ＳＴ３から作業状態ＳＴ４に遷移する際に、当該作業の開始の直前に庫内画像取得部１１０で取得した庫内画像（カメラ１１２から出力され、バッファ１１４に記憶されている新規庫内画像）を、作業前画像として記憶する。
ドア閉前画像記憶部１２６は、上記の作業状態ＳＴ４からドア閉状態ＳＴ１に遷移する際に、作業前画像記憶部１２４に記憶されている作業前画像をドア閉前画像として記憶する。

開閉判定部１４２は、上記のように、収納庫１０のドア１４の開閉状態、即ち、ドア１４が閉じられているか否かを判定するが、この判定は、庫内画像取得部１１０で取得される庫内画像に基づいて行われる。
ドア１４が閉まっている場合には、庫内は真っ暗となるので、庫内画像の輝度値の平均値は著しく低くなる。よって庫内画像の輝度値の平均値がある閾値以下ならドア１４が閉まっていると判定し、そうでなければ開いていると判定することができる。

静止判定部１４４は、上記のように、庫内画像に時間的変化、即ち動きがあるか否かの判定を行う。この判定は、庫内画像記憶部１２２から読み出される庫内画像（前回庫内画像）と、庫内画像取得部１１０で取得された庫内画像（新規庫内画像）とに基づいて行われる。具体的には、静止判定部１４４は、前回庫内画像に対する新規庫内画像の変化量を計算する。変化量の一例として、例えば、画素毎の画素値の差の絶対値の和を用いることができる。

ドア移動状態ＳＴ２において、静止判定部１４４は、上記の変化量が予め定められた時間Ｔｋａ以上連続して閾値Ｔｈａ以下であれば、動きがないと判定し、この判定結果に応じて動作モード決定部１４６が庫内管理装置１００を静止状態ＳＴ３に遷移させる。
静止状態ＳＴ３において、静止判定部１４４は、上記の変化量が予め定められた時間Ｔｋｂ以上連続して閾値Ｔｈｂ以上であれば、動きがあると判定し、この判定結果に応じて動作モード決定部１４６が庫内管理装置１００を作業状態ＳＴ４に遷移させる。

作業状態ＳＴ４において、静止判定部１４４は、上記の変化量が予め定められた時間Ｔｋｃ以上連続して閾値Ｔｈｃ以下であれば、動きがないと判定し、この判定結果に応じて動作モード決定部１４６が庫内管理装置１００を静止状態ＳＴ３に遷移させる。
上記のそれぞれの状態における判定における「予め定められた時間（Ｔｋａ、Ｔｋｂ、Ｔｋｃ）」及び「閾値（Ｔｈａ、Ｔｈｂ、Ｔｈｃ）」は互いに同じであるとは限らず、それぞれの場合に最適となるように決められる。

差分領域抽出部１３０は、上記の作業状態ＳＴ４から静止状態ＳＴ３に遷移する際に、庫内画像取得部１１０により取得され、バッファ１１４に記憶されている新規庫内画像を作業後画像とし、該作業後画像と、作業前画像記憶部１２４に記憶されている作業前画像とから、これらの間の差分を求め、該差分が予め定められた閾値よりも大きい領域を差分領域として抽出し、差分領域を表す差分領域輪郭画像を出力するとともに、作業前画像又は作業後画像のうちの差分領域と同じ位置の部分の画像を、差分画像として出力する。

上記の処理により得られる差分領域輪郭画像は、差分領域の内部が第１の階調値（例えば白を表す値）を有し、差分領域の外部が第２の階調値（例えば黒を表す値）を有する画像である。

差分領域の抽出は、例えば作業前画像と作業後画像との画素毎の画素値の差の絶対値がある閾値Ｔｈｄ以上である領域を抜き出すことで行い得る。この場合、ノイズの影響を減らすために差分領域の膨張処理、及び／又は収縮処理を行うことが望ましい。ここで膨張処理とは注目画素の周辺に差分値が予め定められた閾値Ｔｈｅ以上の画素があれば注目画素の差分値を該閾値Ｔｈｅ以上の値に置き換える処理であり、収縮処理とは注目画素の周辺に差分値が予め定められた閾値Ｔｈｆよりも小さい画素があれば注目画素の差分値を該閾値Ｔｈｆよりも小さい値に置き換える処理である。

使用者が物品の入庫、出庫、移動などのための作業を行う際にドアに触れることでカメラ１１２の光軸の方向がずれてしまう場合も考えられる。このずれがわずかである場合には、画像間の位置合わせを行ってから差分領域の抽出を行うのが望ましい。位置合わせとは２枚の画像を比較し、それぞれの画像に含まれる物品同士がなるべく多く同じ位置にくるように画像を移動することである。

位置合わせを行う方法の一例としては、画像から特徴点を抽出し、双方の画像の特徴点のずれが、総合的に見て最小になるように、例えばずれ量の二乗和が最小となるように、一方の画像を平行移動する方法が挙げられる。こうすることにより、カメラ１１２の光軸の方向のずれがわずかであった場合にも正確に差分領域の抽出を行うことができる。

位置合わせ後に画像間で重ならない領域が出てくる場合があるが、その領域については差分領域の抽出を行わない。例えば、２枚の画像が図４（Ａ）及び（Ｂ）の画像Ｉａ、Ｉｂの如くであり、位置合わせ後の画像が図４（Ｃ）の如くとなる場合がある。この場合、画像Ｉａの領域Ｒａｃと画像Ｉｂの領域Ｒｂｃは互いに合致し、位置合わせ後の画像Ｉｃにおいて重なりあうが、画像Ｉａの領域Ｒａｄは、画像Ｉｂ中に合致する領域が存在せず、位置合わせ後の画像Ｉｃにおいて重なりあう部分がなく、画像Ｉｂの領域Ｒｂｄは、画像Ｉａ中に合致する領域が存在せず、位置合わせ後の画像Ｉｃにおいて重なりあう部分がない。
この場合、領域Ｒａｃと領域Ｒｂｃについてのみ差分領域の抽出を行い、領域Ｒａｄ、Ｒｂｄの部分については、差分領域抽出の対象としない。

入出庫判定部１４８は、上記の作業状態ＳＴ４から静止状態ＳＴ３に遷移する毎に物品の入庫又は出庫があったか否かの判定を行う。

入出庫判定部１４８による判定は、差分領域抽出部によって抽出された差分領域の各々について行われるものであり、各差分領域が、入庫によるものか（入庫された物品に対応するものか）、出庫によるものか（出庫された物品に対応するものか）、或いは他の理由（例えば、庫内での物品の移動によるもの）かを判定する。
差分領域が入庫によるものか否かの判定は、作業後画像と差分領域輪郭画像とに基づいて行われる。差分領域が出庫によるものか否かの判定は、作業前画像と差分領域輪郭画像とに基づいて行われる。

例えば、作業前画像中に差分領域と同じ位置に、該差分領域と類似する輪郭の画像部分が存在すれば、差分領域の位置に対応する収納庫内の位置から、当該画像部分として写っている物品が消失した（除去された）と判定でき、さらに作業後画像のどの位置にも、該差分領域と類似する輪郭の画像部分が存在しないときは、該消失が当該物品の出庫によるものであると判定でき、一方、作業後画像の別の位置に、該差分領域と類似する輪郭の画像部分が存在するときは、上記消失が当該物品の移動によるものであると判定できる。

また、作業後画像中に差分領域と同じ位置に、該差分領域と類似する輪郭の画像部分が存在すれば、差分領域の位置に対応する、収納庫内の位置に、当該画像部分として写っている物品が出現したと判定でき、さらに作業前画像のどの位置にも、該差分領域と類似する輪郭の画像部分が存在しないときは、該出現が当該物品の入庫によるものであると判定でき、一方、作業前画像の別の位置に、該差分領域と類似する輪郭の画像部分が存在するときは、上記出現が当該物品の移動によるものであると判定できる。
ここで、輪郭について「類似する」とは、類似度が予め定められた閾値以上であることを意味し、従って同一の場合を含む。

なお、検出された差分領域の面積が極端に小さい場合は、当該差分領域は、ノイズによるものとして判定対象外とする（入庫或いは出庫によるものとは判定しない）こととしても良い。

また、差分領域の数が極端に多い、又は差分領域の面積が極端に大きい場合は、出し入れ動作以外の原因で画像の変化量が多くなったと判断し、差分領域に対して出し入れ動作は行われなかったものとして処理する。ここで、出し入れ動作以外の原因としては、例えばドア１４が大きく動かされたこと、庫内の多くの物品が動かされたことが挙げられる。

図５（Ａ）〜（Ｄ）に差分領域の抽出及び抽出された差分領域を利用した入庫及び出庫の判定の一例を示す。図５（Ａ）〜（Ｄ）の例では、あらかじめ庫内に３つの物品Ｐａ、Ｐｂ、Ｐｃが収納されており、そこから物品Ｐｃが取り出された場合を想定している。

図５（Ａ）が作業前画像、図５（Ｂ）が作業後画像であるとする。図５（Ａ）に示される作業前画像中には、物品Ｐａ、Ｐｂ、Ｐｃの画像部分Ａａ、Ａｂ、Ａｃが含まれるが、図５（Ｂ）の作業後画像には、物品Ｐａ、Ｐｂの画像部分Ｂａ、Ｂｂは含まれるが、物品Ｐｃの画像部分が存在しない。

図５（Ａ）の作業前画像と図５（Ｂ）の作業後画像から差分領域を求めると、図５（Ｃ）に符号Ｃｃで示す如くとなる。差分領域Ｃｃの輪郭と、作業前画像の画像部分Ａａ、Ａｂ、Ａｃ及び作業後画像の画像部分Ｂａ、Ｂｂの各々の輪郭とのパターンマッチングにより、図５（Ｃ）の差分領域Ｃｃの輪郭と類似する輪郭を有し、該差分領域Ｃｃと同じ位置に存在する画像部分は、図５（Ａ）の作業前画像中の画像部分Ａｃであり、一方、図５（Ｂ）の作業後画像中には、差分領域Ｃｃと同じ位置には、差分領域Ｃｃの輪郭と類似する輪郭を有する画像部分がないことが分かる。このことから、作業前画像において画像部分Ａｃとして写っている物品Ｐｃが、該差分領域Ｃｃの位置に対応する収納庫内の位置から消失している（除去された）ことが分かる。さらに、また、図５（Ｂ）の作業後画像中には、差分領域Ｃｃの輪郭と類似する輪郭を有する画像部分がどこにもないことから、上記の消失が出庫によるものであることが分かる。

同様に、差分領域と類似する画像部分が作業後画像に存在し、作業前画像に存在しない場合には、出庫が行われたと判定することができる。

差分領域と類似する輪郭を有する画像部分が作業前画像のある箇所にあり、作業後画像の別の箇所に有る場合には、当該画像部分として写っている物品が庫内で移動したものと判定する。以下この点を図６（Ａ）〜（Ｃ）を参照して説明する。

図６（Ａ）〜（Ｃ）の例では、あらかじめ庫内に３つの物品Ｐａ、Ｐｂ、Ｐｃが収納されており、そこから物品Ｐｃが庫内の別の場所に移された場合を想定している。

図６（Ａ）が作業前画像、図６（Ｂ）が作業後画像である。図６（Ａ）に示される作業前画像中には、物品Ｐａ、Ｐｂ、Ｐｃの画像部分Ａａ、Ａｂ、Ａｃが含まれる。一方、図６（Ｂ）の作業後画像には、物品Ｐａ、Ｐｂ、Ｐｃの画像部分Ｂａ、Ｂｂ、Ｂｃが含まれ、画像部分Ｂａ、Ｂｂは、画像部分Ａａ、Ａｂと同じ位置にあるが、画像部分Ｂｃの位置は画像部分Ａｃの位置とは異なる。

図６（Ａ）の作業前画像と図６（Ｂ）の作業後画像から差分領域を求めると、図６（Ｃ）に符号Ｃｃ１、Ｃｃ２で示す如くとなる。差分領域Ｃｃ１、Ｃｃ２の各々の輪郭と、作業前画像の画像部分Ａａ、Ａｂ、Ａｃ及び作業後画像の画像部分Ｂａ、Ｂｂ、Ｂｃの各々の輪郭とのパターンマッチングにより、図６（Ｃ）の２つの差分領域Ｃｃ１、Ｃｃ２は、輪郭が互いに類似していることが分かる。

さらに、図６（Ｃ）の差分領域Ｃｃ１の輪郭と類似する輪郭を有し、該差分領域Ｃｃ１と同じ位置に存在する画像部分は、図６（Ａ）の作業前画像中の画像部分Ａｃであり、一方、図６（Ｂ）の作業後画像中には、差分領域Ｃｃ１と同じ位置には、差分領域Ｃｃ１の輪郭と類似する輪郭を有する画像部分がないことが分かる。このことから、作業前画像の画像部分Ａｃが作業後画像では同じ位置には存在せず、画像部分Ａｃとして写っている物品Ｐｃが、差分領域Ｃｃ１に対応する収納庫内の位置から消失したと判断することができる。

さらに、図６（Ｃ）の差分領域Ｃｃ２の輪郭と類似する輪郭を有し、該差分領域Ｃｃ２と同じ位置に存在する画像部分は、図６（Ｂ）の作業後画像中の画像部分Ｂｃであり、一方、図６（Ａ）の作業前画像中には、差分領域Ｃｃ２と同じ位置には差分領域Ｃｃ２と類似する輪郭を有する画像部分が同じ位置にはないことが分かる。このことから、作業後画像の画像部分Ｂｃが作業前画像には存在せず、画像部分Ｂｃとして写っている物品Ｐｃが、差分領域Ｃｃ２の位置に対応する収納庫内の位置に出現したと判断することができる。

以上のことから、差分領域Ｃｃ１、Ｃｃ２と類似する画像部分Ａｃ、Ｂｃとして写っている物品Ｐｃが差分領域Ｃｃ１の位置に対応する収納庫内の位置から差分領域Ｃｃ２の位置に対応する収納庫内の位置に移動したと判断する。

入出庫判定部１４８は、物品が出庫されたと判断したときは、作業前画像から差分領域のみ抜き出した画像である図５（Ｄ）の画像（差分画像）Ｄｃを出庫物品画像として、出庫が行われたことを示す情報、出庫日時を示す情報とともに書込み制御部１３２に供給する。

入出庫判定部１４８は、物品が入庫されたと判断したときは、作業後画像から差分領域のみ抜き出した画像（差分画像）を入庫物品画像として、入庫が行われたことを示す情報、入庫日時を示す情報とともに書込み制御部１３２に供給する。

書込み制御部１３２は、供給された情報を互いに関連付け、入庫物品画像或いは出庫物品画像として写っている物品についての在庫情報として、在庫情報記憶部１３４に記憶させる。

ドア閉前画像記憶部１２６は、開閉判定部１４２によりドアが閉まったと判定された際に、作業前画像記憶部１２４に記憶されている作業前画像をドア閉前画像として記憶する。

庫内情報配信部１３６は、在庫情報記憶部１３４に記憶されている在庫情報及びドア閉前画像記憶部１２６に記憶されているドア閉前画像を図示しない外部端末に配信する。

次に図３のドア移動状態（ドア移動時動作モード）ＳＴ２における処理の手順について図７を参照して説明する。

まず、ステップＳ１０１で、カメラ１１２による撮影で得られた庫内画像（新規庫内画像）を庫内画像取得部１１０が取得する。この画像の取得は周期的に、繰り返し行われる。

続いて、ステップＳ１０２で、開閉判定部１４２が、ドア１４が開いているかどうかの判定を行い、閉まっていると判定した場合（Ｓ１０２でＮＯ）は、ドア閉状態ＳＴ１に遷移する（Ｓ１０３）。

ステップＳ１０２でドア１４が開いていると判定した場合（Ｓ１０２でＹＥＳ）、ステップＳ１０４に進み、静止判定部１４４が、庫内画像記憶部１２２に記憶されている庫内画像、即ち前回庫内画像取得部１１０で取得された庫内画像（前回庫内画像）を読出し、前回庫内画像に対する、新規庫内画像（今回庫内画像取得部１１０で取得された庫内画像）の変化量を計算する。計算された変化量は、後述のステップＳ１０６における判定に用いられる。

続いて、ステップＳ１０５で、新規庫内画像を庫内画像記憶部１２２に保存する。庫内画像記憶部１２２に記憶された庫内画像は、庫内画像取得部が次に新規庫内画像を取得した後、前回庫内画像として読み出される。

次にステップＳ１０６では、静止判定部１４４が、ステップ１０４で計算された変化量が予め定められた閾値Ｔｈａ以下の状態が予め定められた時間Ｔｋａ連続して続いたか否かの判定を行う。
この判定のため、ステップＳ１０４で計算された変化量を示すデータを、予め定められた時間Ｔｋａ以上にわたり蓄積して利用しても良く、変化量が閾値Ｔｈａ以下であるか否かの判定結果を、予め定められた時間Ｔｋａ以上にわたり蓄積して利用しても良い。
ドア１４が動いている場合には庫内画像取得部１１０が取得する画像も変化し続ける。ドア１４が静止した場合には庫内画像の変化は少なくなる。よって、ステップＳ１０４で計算した変化量があらかじめ定められた閾値Ｔｈａ以下であり、かつその状態が予め定められた時間Ｔｋａ連続して続く場合（Ｓ１０６でＹＥＳ）は、ドア１４の開く動作が止まったとみなし、静止状態ＳＴ３に遷移する（Ｓ１０７）。

「ステップＳ１０４で計算した変化量があらかじめ定められた閾値Ｔｈａ以下であり、かつその状態が予め定められた時間Ｔｋａ連続して続く」と言う条件が満たされない場合（Ｓ１０６でＮＯ）、ステップＳ１０１に戻る。

次に、静止状態（静止時動作モード）ＳＴ３における処理の手順について図８を参照して説明する。
図８におけるステップＳ２０１〜Ｓ２０５の処理は、それぞれ、図７におけるステップＳ１０１〜Ｓ１０５と同様である。

但し、ステップＳ２０２において開閉判定部１４２が、ドア１４が閉じていると判定したときは（Ｓ２０２でＮＯ）、ステップＳ２０６に進み、後述のステップＳ２１０で作業前画像記憶部１２４に記憶された作業前画像をドア閉前画像として、ドア閉前画像記憶部１２６に保存した後、ドア閉状態ＳＴ１に遷移する（Ｓ２０３）。
ステップＳ２０６で保存されるのは、ドア１４が閉まる前の静止状態ＳＴ３であって、ドアが閉まる時点に最も近い時点における撮影で得られた画像である。

ステップＳ２０５の次に行われるステップＳ２０７では、静止判定部１４４が、ステップＳ２０４で計算した変化量が閾値（Ｔｈｂ）以上であるかどうかの判定を行い、閾値Ｔｈｂ以上であれば、ステップＳ２０８に進み、該閾値以上の状態が予め定められた時間Ｔｋｂ以上連続したかどうかの判定を行う。

ステップＳ２０４で計算した変化量が、予め定められた時間Ｔｋｂ連続して閾値Ｔｈｂ以上であった場合には、使用者の手が収納庫１０に入り、物品の出し入れあるいは庫内での物品の移動が行われていると推定できる。よって、作業状態ＳＴ４に遷移する（Ｓ２０９）。

ステップＳ２０４で計算され、ステップＳ２０７の判定に用いられる変化量としては、例えば画素毎の画素値の差の絶対値の和が用いられる。絶対値の和を求める場合、画像中の座標によって絶対値の計算に重みをつけるとなお良い。例えば、本実施の形態ではカメラ１１２を右開きのドア１４に設置しているが、その場合、カメラ１１２による撮影で得られた庫内画像の中で使用者の手は左側から現れるはずである。よって、図８のステップＳ２０７の判定に用いる変化量として、庫内画像の左側の領域ほど大きい重みをつけて変化量を計算すれば、庫内に使用者の手が入ったときに直ちにそのことを検出して、作業状態（作業時動作モード）ＳＴ４に遷移することができる。また、庫内画像の左側領域に写る範囲のみで出し入れが行われる場合にも、正確に状態を判定することができる。

画像のどちらの方向に重みをつけるかはドアの開く方向やカメラ１１２の設置位置に応じてあらかじめ決めておいても良いし、庫内画像取得部１１０が取得した画像から学習するようにしても良い。例えば、庫内画像からオプティカルフローを計算し使用者の手の移動方向を推測すれば、どちらから使用者の手が入るようにカメラ１１２が設置されているのかを推測することができ、この推測結果に基づいて重み付けの仕方を決めることができる。

なお、静止状態ＳＴ３からドア１４を閉める動作が行われた場合も画像の変化量に基づく判定により作業状態ＳＴ４に遷移する可能性があるが、後述するように開閉判定部１４２によりドア１４が閉まったと判定された場合にはその時点でドア閉状態ＳＴ１に遷移するので上記のように、一旦作業状態ＳＴ４に遷移しても問題はない。また、ドア１４の移動が行われた場合も画像の変化量に基づく判定により作業状態ＳＴ４に遷移する可能性があるが、その場合にも、後述するように作業状態ＳＴ４における処理において、ドア閉状態ＳＴ１に遷移し（後述の図１０のＳ３０３）、入庫及び出庫の判定が行われないので問題はない。

ステップＳ２０４で計算した変化量が、閾値Ｔｈｂ以上でなかった場合は（Ｓ２０７でＮＯ）、ステップＳ２１０に進み、新規庫内画像（Ｓ２０１で新規庫内画像として取得された画像）を作業前画像として作業前画像記憶部１２４に記憶し、その後ステップＳ２０１に戻る。
ステップＳ２０８で閾値Ｔｈｂ以上の状態が予め定められた時間Ｔｋｂ以上連続しなかったと判定された場合は、ステップＳ２０１に戻る。

このような処理を行う結果、作業前画像記憶部１２４には、静止状態ＳＴ３においては、常に最新の庫内画像が記憶され（庫内画像取得部１１０で庫内画像が取得される度に最新の庫内画像での更新が繰り返され）、後述のように、静止状態ＳＴ３から作業状態ＳＴ４に遷移したときは、遷移の直前の庫内画像が保持された状態となる（即ち、常に作業前、即ち一連の画像の変化の前に取得された庫内画像が保持される）。

この点を図９（Ａ）〜（Ｅ）を参照して説明する。図９（Ａ）は、予め定められた時間毎に、ステップＳ２０１で取得される新規庫内画像の時系列を示す。図９（Ｂ）は、ステップＳ２０７の判定結果、即ち、ステップＳ２０３で計算される変化量が閾値以上か、閾値よりも小さいかを「大」、「小」で示す。図９（Ｃ）は、ステップＳ２０５で庫内画像記憶部１２２に保存される画像を示す。図９（Ｄ）は、ステップＳ２１０で作業前画像として保存される画像を示す。図９（Ｅ）は、ステップＳ２０８の判定結果、即ち、ステップＳ２０７の判定結果が予め定められた時間Ｔｋｂ以上連続して「大」であったか否かを「ＹＥＳ」、「ＮＯ」で示す。

図示の例では、庫内画像の取得が３回行なわれる期間が「予め定められた時間Ｔｋｂ」に相当するものとしており、図９（Ｂ）の「大」との判定結果が３回連続したとの判定がなされたときに、図９（Ｅ）に示すように、作業状態ＳＴ４に遷移する（Ｓ２０９）。
この場合、３回連続して「大」の判定結果が３回連続する直前のステップＳ２０５で庫内画像記憶部１２２に保存されたのと同じ画像が、作業前画像として作業前画像記憶部１２４に保存された状態で、作業状態ＳＴ４に遷移する（Ｓ２０９）こととになる。

次に、作業状態（作業時動作モード）ＳＴ４における処理の手順について図１０を参照して説明する。
図１０におけるステップＳ３０１〜Ｓ３０５の処理は、それぞれ、図７におけるステップＳ１０１〜Ｓ１０５或いは図８におけるステップＳ２０１〜Ｓ２０５と同様である。

ステップＳ３０６では、静止判定部１４４が、ステップＳ３０４で計算した変化量が、予め定められた時間Ｔｋｃ連続して閾値Ｔｈｃ以下であったか否かの判定を行う。
ステップＳ３０４で計算され、ステップＳ３０６の判定に用いられる変化量としても、ステップＳ２０４、Ｓ２０７について述べたのと同様に、画素毎の画素値の差の絶対値の和を用いれば良く、画像中の座標によって絶対値の計算に重みをつけるとなお良い。

ステップＳ３０４で計算した変化量が、予め定められた時間Ｔｋｃ連続して閾値Ｔｈｃ以下であった場合には（Ｓ３０６でＹＥＳ）、使用者の手が収納庫１０から出され、作業が終わったと推定できる。よって、在庫情報の更新の処理（Ｓ３０７）を行い、その後、静止状態ＳＴ３へ遷移する（Ｓ３０８）。

図１１は、図１０の在庫情報の更新の処理Ｓ３０７の詳細を示す。
まず、ステップＳ４０１において、差分領域抽出部１３０が、差分領域の抽出を行う。
即ち、差分領域抽出部１３０は、新規庫内画像を作業後画像とし、該作業後画像と、作業前画像記憶部１２４に記憶されている作業前画像（図８のステップＳ２１０で作業前画像として保存されている画像）とから差分領域を抽出し、差分領域を表す差分領域輪郭画像を生成する。

差分領域を抽出した後、入出庫判定部１４８が、各差分領域に対してステップＳ４０２〜Ｓ４０６の処理を行う。即ち、検出された差分領域のうちのいずれか一つ（検出された差分領域が一つの場合は当該一つの差分領域）を選択して（Ｓ４０２）、選択した差分領域について入庫又は出庫が行われたかを判定する（Ｓ４０３、Ｓ４０４）。例えば最初に入庫が行われたか否かの判定を行い（Ｓ４０３）、入庫が行われたとは判定されなかった場合（Ｓ４０３でＮＯ）には、次に、出庫が行われたか否かの判定（Ｓ４０４）を行う。

ステップＳ４０３で入庫が行われたと判定されたとき（Ｓ４０３でＹＥＳ）には、ステップＳ４０５に進み、入庫が行われた日時、入庫後画像中の差分領域の画像（入庫物品画像）、入庫が行われたことを示す情報を書込み制御部１３２に供給し、書込み制御部１３２はこれらの情報を互いに関連付けて在庫情報を生成し、在庫情報記憶部１３４に記憶させる。
ステップＳ４０４で出庫が行われたと判定されたとき（Ｓ４０４でＹＥＳ）には、ステップＳ４０６に進み、出庫が行われた日時、出庫前画像中の、差分領域に対応する位置の画像（出庫物品画像）、出庫が行われたことを示す情報を書込み制御部１３２に供給し、書込み制御部１３２はこれらの情報を互いに関連付けて在庫情報を生成し、在庫情報記憶部１３４に記憶させる。

ステップＳ４０５又はＳ４０６の次に、ステップＳ４０７に進む。ステップＳ４０３、Ｓ４０４で、入庫も出庫も行われなかったと判定された場合には、（Ｓ４０５、Ｓ４０６を経ることなく）ステップＳ４０７に進む。ステップＳ４０７では、未処理の差分領域があるか（未だステップＳ４０３、Ｓ４０４の処理を受けていない差分領域があるか）否かを判定し、未処理の差分領域があれば、ステップＳ４０２に戻る。

全ての差分領域に対しての処理が完了すると（Ｓ４０７でＮＯ）、在庫情報の更新の処理を終了する。この後、図１０のステップＳ３０８に進み、静止状態ＳＴ３への遷移が行われる。

以上のようにして、どのような物品がいつ入庫又は出庫されたかを示す在庫情報を在庫情報記憶部１３４に記憶することができる。

一方、ステップＳ２０６の処理により、ドア１４を閉める直前の静止状態において取得された庫内画像がドア閉前画像記憶部１２６にドア閉前画像として記憶されている。ドア閉前画像記憶部１２６に記憶されているドア閉前画像と、在庫情報記憶部１３４に記憶されている在庫情報は、庫内情報配信部１３６により図１には示されていない携帯端末において閲覧可能な状態にするのが望ましい。

ドア閉前画像及び在庫情報を携帯端末において閲覧可能とする方法の一例として、庫内情報配信部１３６がウェブ（Ｗｅｂ）サーバとして動作し、携帯端末のウェブブラウザにより庫内情報配信部１３６にアクセスする方法がある。

例えば、庫内情報配信部１３６が、現在の庫内画像であるドア閉前画像（ドア閉前画像記憶部１２６に保存されている）及び物品の出し入れについての情報（在庫情報記憶部１３４に記憶されている）を表示するようなＨＴＭＬファイルを作成し公開する。図１２に携帯端末５００での表示例５０１を示す。こうすることで、使用者は携帯端末５００のウェブブラウザを使用して、最新の庫内の画像や、どのような物品がいつ入庫又は出庫したかを知ることができる。

以上のように、本実施の形態では庫内で物品の出し入れ、移動等の作業が行われるたびに入庫及び出庫の判定を行う（ドアが開いている状態において、画像の（一連の）動きが終わるたびに、動きの前後での画像に基づいて入庫及び出庫の判定を行う）ので、一回のドア開閉の間に使用者が複数回の物品の出し入れを行った場合にも正確に物品の出し入れを検出することができる。

例えば、ある物品を入庫し、その物品の手前に、即ちその物品よりもカメラ１１２に近い側にさらに別の物品を入庫したとしても、一回ずつ入庫及び出庫の判定が行われるので、例えばドアを閉めるときにある物品の影に隠れている物品に対しても正確に入庫を判定することができる。
同様に、ある物品を出庫し、その物品の奥、即ちその物品よりもカメラ１１２から遠い側からさらに別の物品を出庫したとしても、一回ずつ入庫及び出庫の判定が行われるので、例えばドアを開いた直後にある物品の影に隠れている物品に対しても正確に出庫を検出することができる。

また、使用者が庫内の物品の移動を行ったことに伴い、画像内のある位置から物品が消失し、別の位置に同じ物品が出現した場合にも、物品が移動したことを検出できるので入庫又は出庫が行われたと誤判定することを防ぐことができる。また、このようにして移動が検出された場合には、移動後の画像を元にその後の差分領域の抽出を行うこととしているので、正確に物品の入庫及び出庫を判定することができる。

また、ドア１４にカメラ１１２を設置することで、収納庫１０の本体１２に設置する場合に比べて、庫内のより広い範囲の画像を得ることが可能となる。これによりカメラ台数を削減することもできる。

また、庫内画像の手が入ってくる方向に対して重み付けして変化量の計算を行うこととすれば、使用者による作業を迅速に検出することができる。

なお、本実施の形態では、画像の変化量を元に物品の出し入れ、移動などのための作業が行われているかを判定したが、異なる基準を用いても良い。例えば、肌色の領域がある方向から入ってきたことを判定基準としても良い。

また、本実施の形態では、収納庫１０に対して庫内画像取得部であるカメラを１台設置したが、複数台設置しても良い。また、例えば庫内に複数の仕切られた空間が存在する場合、例えば、収納庫１０が冷蔵庫であって冷蔵室、野菜室など複数の仕切られた空間が存在する場合に、それぞれの空間に対してカメラを設置しても良い。

また、本実施の形態では、開閉判定部１４２は庫内画像の画素値の平均値が閾値以下であるか否かをドア開閉の判定基準としたが、異なる方法で判定を行っても良い。例えば、収納庫１０のドアと本体１２が密着していることを検出するセンサによってドア開閉を判定しても良い。こうすることにより部品数は増加するが、ドアが閉まっているときは庫内画像取得部１１０のカメラ１１２の動作を止めるようにすることができ、そうすることで稼動時の消費電力を抑えることができる。

また、本実施の形態において、入庫及び出庫の判定に差分領域の輪郭を利用したが、底面或いは棚板面の画像との類似度を利用しても良い。例えば、あらかじめ底面或いは棚板面の画像の色などの特徴量を記憶しておき、作業前画像中の差分領域の画像と作業前画像中の差分領域の画像のうちのどちらが底面或いは棚板面の画像に近い特徴を持っているかを判定する。前者が近い場合は、底面或いは棚板面が見える状態から見えない状態になった可能性が高いので、入庫が行われたと判断できる。後者が近い場合は、底面或いは棚板面が見えない状態から見える状態になった可能性が高いので、出庫が行われたと判断できる。底面或いは棚板面の画像に近い特徴を持っているか否かの判断は、例えば、静止判定部１４４が作業状態か否かの判定をするときと同様に、画素毎の画素値の差の絶対値の和を用いて行うことができる。この場合、底面或いは棚板面の画像に近くないと判定された画像を、入庫又は出庫された物品の画像として保存し、表示することとすれば良い。

このようにすることにより、輪郭抽出及びマッチング処理を行わなくて済むので、処理を簡単化することができる。但し、別の物品の手前に新たは物品が入庫された場合、或いは出庫した物品の陰から別の物品が現れた場合には検出精度が低くなる。

なお、上記の例では、作業前画像記憶部１２４が、静止状態ＳＴ３から作業状態ＳＴ４に遷移する際に庫内画像取得部１１０で取得した庫内画像（カメラ１１２から出力され、バッファ１１４に記憶されている新規庫内画像）を、作業前画像として記憶することとしているが（図８のステップＳ２１０）、代わりに、静止状態ＳＴ３から作業状態ＳＴ４に遷移する際に庫内画像記憶部１２２から読み出された前回庫内画像を、作業前画像として記憶することとしても良い。
要するに、静止状態ＳＴ３から作業状態ＳＴ４に遷移する際に、当該作業の開始の直前に収納庫内部を撮像することで得られた庫内画像を作業前画像として記憶すれば良い。

また、上記の例では、差分領域抽出部１３０が、作業状態ＳＴ４から静止状態ＳＴ３に遷移する際に、庫内画像取得部１１０により取得され、バッファ１１４に記憶されている新規庫内画像を作業後画像とし、該作業後画像と、作業前画像記憶部１２４に記憶されている作業前画像とから、これらの間の差分を求めることとしているが、代わりに、作業状態ＳＴ４から静止状態ＳＴ３に遷移する際に、庫内画像記憶部１２２から読み出される前回庫内画像を作業後画像とし、該作業後画像と、作業前画像記憶部１２４に記憶されている作業前画像とから、これらの間の差分を求めることとしても良い。
要するに、作業状態ＳＴ４から静止状態ＳＴ３に遷移する際に、当該作業の終了の直後に収納庫内部を撮像することで得られた庫内画像を作業後画像として記憶すれば良い。

上記の例では、ドア閉前画像記憶部１２６が、ドアが閉まる直前に作業前画像記憶部１２４に記憶されている作業前画像をドア閉前画像として記憶しているが（図８のステップＳ２０６）、代わりに、ドアが閉まる直前に庫内画像取得部１１０により取得された庫内画像、或いはドアが閉まる直前に庫内画像記憶部１２２から読み出された庫内画像（前回庫内画像）を、ドア閉前画像として記憶することとしても良い。
要するに、ドアが閉まる前の静止状態であって、ドアが閉まる時点に最も近い時点において、収納庫内部を撮像することで得られた庫内画像をドア閉前庫内画像として記憶すれば良い。

実施の形態２．
実施の形態１では、庫内画像の変化の有無に基づいて静止判定部１４４で収納庫が作業状態にあるか否かを判定しているが、この判定を異なる方法で行っても良い。一例として、図１３に、近接センサを用いる構成を示す。
図１３に示される庫内管理装置１００ａは、図１の庫内管理装置１００と概して同じであるが、静止判定部１４４の代わりに、作業判定部１４５が設けられている。

近接センサ１５０は、収納庫１０に使用者が手を入れたときにこれを検出し、検出結果を示す信号を出力する。この信号は、作業判定部１４５に伝えられる。
作業判定部１４５は、そのような信号が入力されたときに、ドアが開いた状態で、近接センサ１５０により近接が検出されたときに物品の出し入れ又は移動の作業が行われていると判定する。
静止状態ＳＴ３において、近接センサ１５０から近接を示す信号が出力されたら、作業判定部１４５は、作業が行われているとの判定をする。この場合、近接を示す信号が予め定められた時間以上続いたときに、作業が行われていると判定することとしても良い。作業が行われているとの判定がなされると、これに応じて動作モード決定部１４６が庫内管理装置１００ａを作業状態ＳＴ４へ遷移させる。
作業状態ＳＴ４において、近接センサ１５０から近接を示す信号が出力されないときは、作業判定部１４５は、作業が行われていないとの判定をする。この場合、近接を示す信号が出力されない状態が予め定められた時間以上続いたときに、作業が行われていないと判定することとしても良い。作業が行われていないとの判定がなされると、これに応じて動作モード決定部１４６が庫内管理装置１００ａを静止状態ＳＴ３に遷移させる。

近接センサ１５０としては、赤外線などの電磁波、或いは超音波を発射して反射波の有無により人の手などの物体の有無を検出するものを用いることができる。

作業が行われているか否かの判定を画像処理でなく近接センサの出力で行うこととすれば、実施の形態１の静止判定部１４４における静止判定のための画像認識を行う必要がなくなるので、庫内管理装置１００に必要な演算能力及び消費電力を抑えることができる。

近接センサを用いて、作業が行われているか否かの判定を行う場合には、開閉判定部１４２を省略し、近接センサで人の手を検出したら、ドアが開いているものと判断することとしても良い。（図１３では、開閉判定部１４２が省略可能であることを表すため、開閉判定部１４２を点線で示している。）
ドアの開閉の判定を近接センサの出力に基づいて行うこととすれば、実施の形態１の開閉判定部１４２による、ドアが閉じているか否かの判定のための画像認識を行う必要がなくなるので、庫内管理装置１００に必要な演算能力及び消費電力を一層少なくすることができる。

実施の形態３．
図１４は、本発明の実施の形態３における庫内管理装置１００の構成を示すブロック図である。
本実施の形態における庫内管理装置１００ｂは、図１の庫内管理装置１００と概して同じであるが、同一物品判定部１６０が付加されており、書込み制御部１３２及び在庫情報記憶部１３４の代わりに書込み制御部１６２及び在庫情報記憶部１６４が設けられている点で異なる。

書込み制御部１６２は、実施の形態１の書込み制御部１３２と同じ機能を持つほか、同一物品判定部１６０による判定の結果に応じて、在庫情報記憶部１６４に記憶されている情報の一部を消去する点で、実施の形態１の書込み制御部１３２と異なる。
在庫情報記憶部１６４は、実施の形態１の在庫情報記憶部１３４と同様の情報を記憶するが、書込み制御部１６２による消去を行われる結果、収納庫から出庫された物品の情報が消去され、現に収納庫内に収納されている物品の情報のみが蓄積される点で、実施の形態１の在庫情報記憶部１３４と異なる。

同一物品判定部１６０は、入出庫判定部１４８により、物品が出庫されたとの判定がなされたときに、在庫情報記憶部１６４に記憶されている物品の中に新たに出庫された物品と同じものがあるか否かを判定する。２枚の画像が同一の物品のものであるかの判定は、例えば２枚の画像として写っている物品の形状や色、局所特徴量などの類似度がある閾値以上であるかにより判定できる。

同一物品判定部１６０は、在庫情報記憶部１６４に記憶されている物品の中に、新たに出庫された物品と同じものがあると判定したときは、そのことを書込み制御部１６２に伝える。書込み制御部１６２はこれに応じて、在庫情報記憶部１６４に記憶されている、新たに出庫された物品と同じ物品についての情報を消去する。

図１５は、本実施の形態における在庫情報の更新の処理Ｓ３０７ｂを示す。
この更新の処理Ｓ３０７ｂは、実施の形態１に関して説明した図１１の処理Ｓ３０７の代わりに行われるものである。この更新の処理Ｓ３０７ｂ以外の点では、本実施の形態の動作は、実施の形態１と同じである。

図１５で、ステップＳ４０１〜Ｓ４０４は図１１と同じである。また、ステップＳ４０５ｂ、Ｓ４０６ｂは情報の供給先が異なる以外の点では、ステップＳ４０５、Ｓ４０６と同じである。

ステップＳ４０３で入庫が行われたと判定した場合（Ｓ４０３でＹＥＳ）には、ステップＳ４０５ｂに進み、入庫が行われた日時、入庫後画像中の差分領域の画像（入庫物品画像）、入庫が行われたことを示す情報を書込み制御部１６２に供給し、書込み制御部１６２はこれらの情報を互いに関連付けて在庫情報として生成し、在庫情報記憶部１６４に記憶させる。
ステップＳ４０５ｂの次にステップＳ４０７に進む。

ステップＳ４０４で出庫が行われたと判定されなかった場合（ＮＯの場合）には、ステップＳ４０７に進む。
ステップＳ４０４で出庫が行われたと判定されたとき（Ｓ４０４でＹＥＳ）には、ステップＳ４０６ｂに進み、出庫が行われた日時、出庫前画像中の、差分領域に対応する位置の画像（出庫物品画像）、出庫が行われたことを示す情報を書込み制御部１３２に供給し、書込み制御部１６２はこれらの情報を互いに関連付けて在庫情報として生成し、在庫情報記憶部１６４に記憶させる。

ステップＳ４０６ｂの次に、ステップＳ４１１に進む。ステップＳ４１１では、同一物品判定部１６０が出庫前画像中の出庫物品画像を、在庫情報記憶部１６４に記憶されている物品の入庫物品画像（Ｓ４０５ｂで記憶された入庫物品画像）の各々とを比較し、類似する物品（同一と推定される物品）があるか否かを判定する。

同一物品判定部１６０により出庫物品画像と類似する物品（同一と推定される物品）が在庫情報記憶部１６４に記憶されていると判定されなかった場合（Ｓ４１１でＮＯの場合）には、ステップＳ４０７に進む。
同一物品判定部１６０により出庫物品画像と類似する物品（同一と推定される物品）が在庫情報記憶部１６４に記憶されていると判定された場合には、庫内にあった物品が取り出されたと推定し、推定結果を書込み制御部１６２に伝達する。書込み制御部１６２はこれに応じて、出庫が推定された物品の情報（入庫情報、入庫日時など）を在庫情報記憶部１６４から消去し（Ｓ４１２）、ステップＳ４０７に進む。

同一物品判定部１６０により類似する物品（同一と推定される物品）が在庫情報記憶部１６４に記憶されていないと判定された場合（Ｓ４１１でＮＯ）には、存在しない画像が出庫したことになるので、判定に誤りがあったものと推定し、何もせず、ステップＳ４０７に進む。

ステップＳ４０７では、未処理の差分領域があるか（未だステップＳ４０３、Ｓ４０４、Ｓ４０５ｂ、Ｓ４０６ｂ、Ｓ４１１、Ｓ４１２の処理を受けていない差分領域があるか）否かを判定し、未処理の差分領域があれば、ステップＳ４０２に戻る。
ステップＳ４０７で未処理の差分領域がない場合（Ｓ４０７でＮＯ）には、在庫情報の更新の処理を終了する。
この後、図１０のステップＳ３０８に進み、静止状態ＳＴ３への遷移が行われる。

このような処理を行う（繰り返す）ことにより、在庫情報記憶部１６４には、庫内にある物品に関する情報のみが蓄積され、在庫情報記憶部１６４に記憶されている情報から、収納庫内に現にどのような物品があるかが分かるようになる。図１６に庫内情報配信部１３６が作成するデータによる、携帯端末５００での表示例５０２を示す。図１６の例では庫内画像では物品の影に隠れている物品があるが、下部の表示を見れば使用者は庫内にどのような物品がいつからある（収納されている）かを把握することができる。

以上のように、本実施の形態によれば、出庫判定した物品と過去に入庫された物品とを照らし合わせて在庫管理を行うので、使用者は庫内にどのような物品がいつからあるかを把握することができる。

なお、入庫及び出庫の判定、及び同一物品か否かの判定は必ずしも毎回成功するとは限らないので、携帯端末などを用いて在庫情報記憶部１６４に記憶された情報を使用者が修正できるようにすることが望ましい。

実施の形態４．
図１７は、本発明の実施の形態４における庫内管理装置の構成を示すブロック図である。
本実施の形態における庫内管理装置１００ｃは、図１の庫内管理装置１００と概して同じであるが、物品認識部１７０及び物品データベース１７１が付加されており、書込み制御部１３２及び在庫情報記憶部１３４の代わりに、書込み制御部１７２及び在庫情報記憶部１７４が設けられている点で異なる。

物品認識部１７０は、入出庫判定部１４８により入庫又は出庫が行われたと判定された物品に対応する差分領域の画像、即ち、入庫物品画像又は出庫物品画像から、当該画像として写っている物品の種別（名称）を特定する。ここで言う「物品の種別」は、物品の種類、商品名、メーカー名などによる分類を意味する。物品の種別の特定は、例えば物品の形状、色、大きさなどの特徴、物品又はそのラベル、包装に表記された文字情報から物品を特定することで行われる。

物品の形状、色、大きさなどの特徴に基づいて物品の種別の特定（物品認識）を行う方法の例を示す。まず、あらかじめ収納庫１０に入る可能性のある物品をその種別毎に局所特徴量を抽出し、抽出した局所特徴量を表す情報を、物品の種別を表す情報とともに物品データベース１７１に登録しておく。そして、物品の認識を行うときには、入庫物品画像又は出庫物品画像の局所特徴量を抽出し、物品データベース１７１中の各物品との局所特徴量との間で類似度を計算する。その中から、類似度がある閾値以上でありかつ最も高い物品の名称を認識結果とする。
物品認識の結果、物品データベース中に類似度が閾値以上の物品がなかった場合には、物品の特定ができなかったものとして処理を進める。

書込み制御部１７２は、実施の形態１の書込み制御部１３２と同じ機能を有するほか、物品認識部１７０で特定された物品の種別、当該物品の画像、当該物品と同じ種別の物品の数、当該物品の入庫日時を互いに関連付けて在庫情報として生成する点で、実施の形態１の在庫情報記憶部１３４と異なる。
在庫情報記憶部１７４は、実施の形態１の在庫情報記憶部１３４と同じ機能を有するほか、書込み制御部１７２で生成された在庫情報を記憶する点で実施の形態１の在庫情報記憶部１３４と異なる。

物品の種別としては、物品認識部１７０で特定された種別を表すものが記憶される。画像としては、差分領域抽出部１３０で抽出された差分領域の画像（差分画像）が記憶される。各物品の入庫日時としては、実施の形態１の在庫情報記憶部１３４について説明したのと同様の処理により在庫情報記憶部１７４に記憶される。同じ種別の物品の数としては、後述のようにして数えられたものが記憶される。

物品認識部１７０で物品の特定ができた場合には、書込み制御部１７２は、同じ種別の物品が在庫情報記憶部１７４に記憶されているか否かを判断し、判断結果に応じて在庫情報記憶部１７４に記憶された情報を更新する。

物品の入庫があり、かつ同一種別の物品が既に在庫情報記憶部１７４に記憶されている場合には、庫内にある物品と同じ種別の物品が追加されたということなので、書込み制御部１７２は、在庫情報記憶部１７４に記憶された該当する種別の物品の数を増加させ、入庫日時を追加する。ここで、該当する物品の画像（入庫物品画像）を新しい入庫物品画像で置き換えても良い。

物品の入庫があり、かつ同一種別の物品が在庫情報記憶部１７４に記憶されていない場合には、庫内になかった物品が新たに入庫されたということなので、書込み制御部１７２は、在庫情報記憶部１７４に新たに物品の種別、入庫物品画像を追加し、物品の数を１とし、入庫日時を追加する。

物品の出庫があり、かつ同一種別の物品が既に在庫情報記憶部１７４に記憶されている場合には、庫内にあった物品が１つ取り出されたということなので、書込み制御部１７２は、該当する物品の数を減少させ、出庫された物品の入庫日時を示す情報を消去する。ここで、減少前の物品の数が１つであった場合には該当物品が庫内から無くなることを示すので、該当する物品の種別を在庫情報記憶部１７４から消去する。

物品の出庫があり、かつ同一種別の物品が在庫情報記憶部１７４に記憶されていない場合には、存在しない画像が出庫したことになるので、書込み制御部１７２は、判定に誤りがあったと推定して、何もしない。

図１８は、本実施の形態における在庫情報の更新の処理Ｓ３０７ｃを示す。
この更新の処理Ｓ３０７ｃは、実施の形態１に関して説明した図１１の処理Ｓ３０７の代わりに行われるものである。この更新の処理Ｓ３０７ｃ以外の点では、本実施の形態の動作は、実施の形態１と同じである。

図１５で、ステップＳ４０１、Ｓ４０２、Ｓ４０３、Ｓ４０４は図１１と同じである。また、ステップＳ４０５ｃ、Ｓ４０６ｃは情報の供給先が異なる以外の点では、ステップＳ４０５、Ｓ４０６と同じである。

ステップＳ４０３で、入庫が行われたと判定されときは、ステップＳ４０５ｃに進む。ステップＳ４０５ｃでは、入庫が行われた日時、入庫後画像中の差分領域の画像（入庫物品画像）、入庫が行われたことを示す情報を書込み制御部１７２に供給し、書込み制御部１７２はこれらの情報を互いに関連付けて在庫情報として生成し、在庫情報記憶部１７４に記憶させる。ステップＳ４０５ｃの次に、ステップＳ４２１に進む。

ステップＳ４２１では、物品認識部１７０が、入庫物品画像（差分領域抽出部から供給される）から、該入庫物品画像として写っている物品の特定を試み、物品の特定ができたか否かの判定を行う。物品の特定ができなかった場合には、ステップＳ４０７に進む。特定できた場合には、ステップＳ４２２に進む。

ステップＳ４２２では、書込み制御部１７２は、入庫された物品と同じ種別の物品が在庫情報記憶部１７４に記憶されているか否かの判定を行う。同じ物品がある場合には、ステップＳ４２３に進む。同じ物品がない場合には、ステップＳ４２４に進む。

ステップＳ４２３に進むのは、物品の入庫があり、かつ同一種別の物品が既に在庫情報記憶部１７４に記憶されている場合であるので、庫内にある物品と同じ種別の物品が追加されたと判定できる。そこでステップＳ４２３では、書込み制御部１７２は、在庫情報記憶部１７４に記憶された該当する種別の物品の数を増加させ、入庫日時を追加する。ここで、該当する物品の画像（入庫物品画像）を新しい入庫物品画像で置き換えても良い。

ステップＳ４２４に進むのは、物品の入庫があり、かつ同一種別の物品が在庫情報記憶部１７４に記憶されていない場合であるので、庫内にない物品が新たに入庫されたと判定できる。そこで、ステップＳ４２４では、書込み制御部１７２は、在庫情報記憶部１７４に新たに物品の種別、入庫物品画像を追加し、物品の数を１とし、入庫日時を追加する。

ステップＳ４０４で、物品の出庫が行われなかったと判定されたときは、ステップＳ４０７に進む。ステップＳ４０４で、物品の出庫が行われたと判定されたときは、ステップＳ４０６ｃに進む。
ステップＳ４０６ｃでは、出庫が行われた日時、出庫前画像中の、差分領域に対応する位置の画像（出庫物品画像）、出庫が行われたことを示す情報を書込み制御部１７２に供給し、書込み制御部１７２はこれらの情報を互いに関連付けて在庫情報として生成し、在庫情報記憶部１７４に記憶させる。

ステップＳ４０６ｃの次に、ステップＳ４３１に進む。ステップＳ４３１では、物品認識部１７０は、出庫された物品の特定を試み、物品の特定ができたか否かの判定を行う。物品の特定ができなかった場合には、ステップＳ４０７に進む。特定できた場合には、ステップＳ４３２に進む。
ステップＳ４３２では、書込み制御部１７２は、出庫された物品と同じ物品が、庫内にあるか否かの判定を行う。同じ物品がある場合には、ステップＳ４３３に進む。同じ物品がない場合には、何もせずにステップＳ４０７に進む。

ステップＳ４３３に進むのは、物品の出庫があり、かつ同一種別の物品が既に在庫情報記憶部１７４に記憶されていた場合であるので、庫内にあった物品が１つ取り出されたと判定できる。そこで、ステップＳ４３３では、書込み制御部１７２は、該当する物品の数を減少させ、出庫された物品の入庫日時を示す情報を消去する。ここで、減少前の物品の数が１つであった場合には該当物品が庫内から無くなることを示すので、該当する物品の種別を在庫情報記憶部１７４から消去する。

ステップＳ４３２でＮＯとなる場合、即ち、物品の出庫があり、かつ同一種別の物品が在庫情報記憶部１７４に記憶されていない場合には、存在しない画像が出庫したことになるので、書込み制御部１７２は、判定に誤りがあったと推定して、何もしない。

ステップＳ４０７では、未処理の差分領域があるか（未だステップＳ４０３、Ｓ４０４、Ｓ４０５ｃ、Ｓ４０６ｃ、Ｓ４２１〜Ｓ４２４、Ｓ４３１〜Ｓ４３３の処理を受けていない差分領域があるか）否かを判定し、未処理の差分領域があれば、ステップＳ４０２に戻る。
ステップＳ４０７で未処理の差分領域がない場合（Ｓ４０７でＮＯ）には、在庫情報の更新の処理を終了する。
この後、実施の形態１と同様に、図１０のステップＳ３０８に進み、静止状態ＳＴ３への遷移が行われる。

このような処理を行うことにより、庫内にどの種別の物品がどれだけあるかを在庫情報記憶部１７４に記憶することができる。
図１９に庫内情報配信部１３６が作成するデータによる、携帯端末５００での表示例５０３を示す。在庫情報記憶部１７４に記憶された情報を使用することで、図１９のように、使用者は庫内にどの物品がいつからどれだけあるかを把握することができる。

以上のように、本実施の形態によれば、入庫又は出庫されたと判定された物品の種別と、過去に入庫された物品の種別とを照らし合わせて在庫管理を行うので、使用者は庫内にどのような物品がいつからどれだけあるかを把握することができる。

また、在庫情報記憶部１７４には庫内に存在する物品の種別が記憶されているので、使用者が庫内に存在する物品を（画像ではなく）物品の種別を表す文字列で検索したり、庫内に存在する物品の種別から作成可能な料理を使用者に提案したりといった多様なサービスとの連携が可能になる。

なお、本実施の形態では、物品の認識処理の結果、物品の種別を取得できなかった場合には何もしないとしたが、例えば、使用者に物品の画像を提示し、使用者に物品の種別の入力を促すようにしても良い。こうすることにより、使用者の手間は増えるが、在庫情報記憶部１７４に記憶された在庫情報をより正確なものとすることができる。

なお、入庫及び出庫の判定及び物品の特定は必ずしも毎回成功するとは限らないので、携帯端末などを用いて在庫情報記憶部１７４に記憶された情報を使用者が修正できるようにすることが望ましい。

なお、実施の形態１〜４において、庫内管理装置がカメラを一体に備え、収納庫１０に設置された装置内で全ての処理などを行ったが、異なる場所で処理を行っても良い。例えば、庫内管理装置１００では画像取得と外部サーバへの庫内画像送信のみを行い、画像認識、庫内情報管理、庫内情報配信は外部サーバで行っても良い。この場合には、庫内に設置した装置と外部サーバとで本発明の庫内管理装置が構成される。このように外部サーバを利用することにより、収納庫内に設置された装置に必要な演算能力やストレージ容量を減らすことができる。

以上本発明を庫内管理装置として説明したが、上記の庫内管理装置で実施される庫内管理方法もまた本発明の一部を成す。また、上記の庫内管理装置の一部又は全部をソフトウェアで、即ちプログラムされたコンピュータで実現することもできる。従って、上記の庫内管理装置における処理或いは上記の庫内管理方法の各ステップにおける処理をコンピュータに実行させるためのプログラム、及びそのようなプログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。

１０ 収納庫、 １２ 本体、 １４ ドア、 １００、１００ａ、１００ｂ、１００ｃ 庫内管理装置、 １１０ 庫内画像取得部、 １１２ カメラ、 １１４ バッファ、 １２２ 庫内画像記憶部、 １２４ 作業前画像記憶部、 １２６ ドア閉前画像記憶部、 １３０ 差分領域抽出部、 １３２、１６２、１７２ 書込み制御部、 １３４、１６４、１７４ 在庫情報記憶部、 １３６ 庫内情報配信部、 １４０ 制御部、 １４２ 開閉判定部、 １４４ 静止判定部、 １４５ 作業判定部、 １４６ 動作モード決定部、 １４８ 入出庫判定部、 １５０ 近接センサ、 １６０ 同一物品判定部、 １７０ 物品認識部、 １７１ 物品データベース。

Claims (16)

1. 収納庫内部を撮像することで得られる庫内画像を取得する処理を繰り返す庫内画像取得部と、
   前記収納庫内で作業が行われているか否かの判定を行う作業判定部と、
   前記作業が開始された際に、該作業の開始の直前に前記収納庫内部を撮像することで得られた前記庫内画像を作業前画像として記憶する作業前画像記憶部と、
   前記作業が終了したときに、該作業の終了の直後に、前記収納庫内部を撮像することで得られた前記庫内画像を作業後画像とし、前記作業前画像と前記作業後画像とから、両画像間の差分領域を抽出する差分領域抽出部と、
   前記作業前画像又は前記作業後画像と、前記差分領域とから物品の入庫又は出庫が行われたかを判定する入出庫判定部と
   を備えることを特徴とする庫内管理装置。
2. 前記作業判定部は、前記庫内画像の時間的変化の有無に基づいて、庫内で作業が行われているか否かの判定を行うことを特徴とする請求項１に記載の庫内管理装置。
3. 前記庫内画像取得部が取得した前記庫内画像を記憶する庫内画像記憶部をさらに有し、
   前記作業判定部は、前記庫内画像取得部が次に庫内画像を取得したときに、前記庫内画像記憶部に記憶されている前記庫内画像を読出し、前記庫内画像取得部が取得した前記庫内画像の、前記庫内画像記憶部から読み出された前記庫内画像に対する変化量があらかじめ定められた閾値以下である場合に前記作業が行われていないと判定することを特徴とする
   請求項２に記載の庫内管理装置。
4. 前記作業判定部は、前記収納庫に対する物品の出し入れが行われる方向に応じて、前記庫内画像取得部が取得した前記庫内画像と前記庫内画像記憶部から読み出された前記庫内画像の各部に重みを付けて前記変化量を計算することを特徴とする請求項３に記載の庫内管理装置。
5. 前記収納庫に挿入される使用者の手の近接を検出する近接センサを備え、
   前記作業判定部は、該近接センサにより前記近接が検出されたか否かに基づいて、前記作業が行われているか否かを判定する
   ことを特徴とする請求項１に記載の庫内管理装置。
6. 前記入出庫判定部は、前記作業前画像中の、前記差分領域と同じ位置に、前記差分領域の輪郭との類似度が予め定められた閾値以上の輪郭を有する画像部分が存在するときに、当該画像部分に対応する物品が前記作業前画像の前記差分領域の位置に対応する、前記収納庫内の位置から消失したと判定し、この判定結果に基づいて、当該画像部分に対応する物品の出庫が行われたか否かを判定することを特徴とする請求項１から５のいずれか一項に記載の庫内管理装置。
7. 前記入出庫判定部は、前記消失したと判定された物品に対応する画像部分の輪郭との類似度が閾値以上の輪郭を有する画像部分が前記作業後画像中に存在しないときに、当該物品が出庫されたと判定することを特徴とする請求項６に記載の庫内管理装置。
8. 前記入出庫判定部は、前記消失したと判定された物品に対応する画像部分の輪郭との類似度が閾値以上の輪郭を有する画像部分が前記作業後画像中の異なる位置に存在するときに、当該物品が庫内で移動したと判定することを特徴とする請求項６又は７に記載の庫内管理装置。
9. 前記入出庫判定部は、前記作業後画像中に、前記差分領域と同じ位置に、前記差分領域の輪郭との類似度が予め定められた閾値以上の輪郭を有する画像部分が存在するときに、当該画像部分に対応する物品が前記作業後画像の前記差分領域の位置に対応する、前記収納庫内の位置に出現したと判定し、この判定結果に基づいて、当該画像部分に対応する物品の入庫が行われたか否かを判定することを特徴とする請求項１から８のいずれか一項に記載の庫内管理装置。
10. 前記入出庫判定部は、前記出現したと判定された物品に対応する画像部分の輪郭との類似度が閾値以上の輪郭を有する画像部分が前記作業前画像中に存在しないときに、当該物品が入庫されたと判定することを特徴とする請求項９に記載の庫内管理装置。
11. 前記入出庫判定部は、前記出現したと判定された物品に対応する画像部分の輪郭との類似度が閾値以上の輪郭を有する画像部分が前記作業前画像中の異なる位置に存在するときに、当該物品が庫内で移動したと判定することを特徴とする請求項９又は１０に記載の庫内管理装置。
12. 前記入出庫判定部により、入庫又は出庫が行われたと判定された物品に関する情報を在庫情報として記憶する在庫情報記憶部と、
    前記在庫情報記憶部に記憶された前記在庫情報を外部に配信する庫内情報配信部とをさらに備える
    ことを特徴とする請求項１から１１のいずれか一項に記載の庫内管理装置。
13. 前記収納庫のドアの開閉状態を判定する開閉判定部と、
    前記ドアが閉まる直前に前記作業前画像記憶部に記憶されている前記庫内画像をドア閉前画像として記憶するドア閉前画像記憶部とをさらに備え、
    前記庫内情報配信部は、前記在庫情報記憶部に記憶された前記在庫情報に加えて、前記ドア閉前画像を配信することを特徴とする
    請求項１２に記載の庫内管理装置。
14. 前記在庫情報記憶部は、前記入出庫判定部により入庫が行われたと判定された物品の画像を記憶し、
    前記入出庫判定部により出庫されたと判定された物品の画像との類似度が予め定められた閾値以上の画像が、前記在庫情報記憶部に記憶されているか否かを判定する同一物品判定部をさらに備え、
    前記同一物品判定部により、前記出庫されたと判定された物品の画像との類似度が予め定められた閾値以上の画像が、前記在庫情報記憶部に記憶されていると判定された場合には、当該画像に対応する物品に関する情報を、前記在庫情報記憶部から消去することを特徴とする
    請求項１２又は１３に記載の庫内管理装置。
15. 前記入出庫判定部により入庫又は出庫が行われたと判定された物品に対応する差分領域の画像から、当該物品の種別を特定する物品認識部をさらに備え、
    前記在庫情報記憶部は、前記物品認識部によって種別が特定された物品、及びその物品と同じ種別の物品の数を記憶することを特徴とする
    請求項１２又は１３に記載の庫内管理装置。
16. 収納庫内部を撮像することで得られる庫内画像を取得する処理を繰り返す庫内画像取得ステップと、
    前記収納庫内で作業が行われているか否かの判定を行う作業判定ステップと、
    前記作業が開始された際に、該作業の開始の直前に前記収納庫内部を撮像することで得られた前記庫内画像を作業前画像として作業前画像記憶部に記憶させる記憶ステップと、
    前記作業が終了したときに、該作業の終了の直後に、前記収納庫内部を撮像することで得られた前記庫内画像を作業後画像とし、前記作業前画像と前記作業後画像とから、両画像間の差分領域を抽出する差分領域抽出ステップと、
    前記作業前画像又は前記作業後画像と、前記差分領域とから物品の入庫又は出庫が行われたかを判定する入出庫判定ステップと
    を備えることを特徴とする収納庫の庫内管理方法。

Images