JP2000244906A - キャビネットの内容物の情報を得る装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、キャビネットまたはこれと同様の
物に貯蔵された品物の情報を取得する装置と方法に関す
る。 【解決手段】 本装置は、キャビネット１１０、カメラ
１１２、ディスプレイ１０６、画像処理ユニット１０８
から構成されている。カメラ１１２は、キャビネット１
１０の内容物の像を取り込むことができる位置に配置さ
れ、画像処理ユニット１０８に接続される。コンピュー
ター端末１０４は、画像処理ユニット１０８に接続され
る。本方法は、キャビネット１１０の内容物の像を取り
込むことを意味する。画像は、像を取り込んだ後、ディ
スプレイ１０６に表示され、画像処理ユニット１０８に
より、内容物のリストに変換される。内容物リストは、
ディスプレイ１０６に表示されるショッピングリストに
変更することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、キャビネット、特
に冷蔵庫キャビネットの内容物の情報を供給する装置
と、この情報を収集する方法と、に関する。

【０００２】

【従来の技術】食料品を購入するに際しては、自宅の冷
蔵庫に何が入っているかを知る必要がある。現在のとこ
ろ、この問題を解決するには、未だに以下のステップの
手作業が必要である。 １．例えば、冷蔵庫のキャビネットの中に入っている物
の目録を作る。 ２．ショッピングリストを作成する。 ３．買い物をする。 上述のショッピングリストは、手書きでも良く、または
暗記しても良く、買い物時に得た情報により修正され
る。この買い物方法は、いくつかの欠点がある。また、
中にはメモ用紙を扱うことや、メモ用紙に書かれたもの
を読むことが、煩わしいと感じる人がいる。また、しば
しば、買い物する人は、ほとんど常に買っている品物を
覚えていなければならない。また、目で見て目録を作っ
たとしても、キャビネットの中にない品物に気づかない
で、キャビネットの中にまだある品物ばかりに注目して
しまう可能性も高い。また、目録をつくる際、相当な時
間、キャビネットの扉を開けっ放しにしなければなら
ず、冷蔵庫が通常の冷蔵温度に戻るまでの追加のエネル
ギーを浪費する。食料品や必需品を購入するはずが、い
たずらに不必要なものを購入したり、本当に必要なもの
よりも店に並んでいるものを衝動買いしてしまう結果と
なる。

【０００３】特願平０８−０４９９５８「内部状態表示
装置付冷蔵庫」には、内部に装着されたカメラと、キャ
ビネットの内部状態を外部に表示するディスプレイを備
えた冷蔵庫キャビネットが記載されている。

【０００４】他のシステムとしては、読み取り計器を備
えたバーコードシステムのようなものが、すでに実用化
されている。このシステムを家庭用に転用すると、品物
をキャビネットに入れるたびに登録しなければならず、
同様に、出すときも登録しなければならず、そのために
手動になってしまう。

【０００５】また、その他のシステムとしては、キャビ
ネットの中の受信機に登録するための品物の情報を伝達
する”タグ”と称される電子ラベルが考えられる。この
電子ラベルは、上述した買い物に使用するには、あまり
に高価である。仮に、登録できたとしても、異なる品物
の間で、手動での電子ラベルのやり取りを管理すること
になるであろう。

【０００６】

【発明が解決しようとする課題】本発明は、キャビネッ
トの中にある品物を自動的に把握する上での問題を解決
することを目的としている。

【０００７】本発明の他の目的は、キャビネットの中に
貯蔵された品物が掲載されたリストを自動的に作成する
ことである。

【０００８】また、本発明の別の目的は、日常必要な品
物が掲載されたリストを自動的に作成することである。

【０００９】また、本発明の別の目的は、キャビネット
の中にある品物の画像を作成することにある。

【００１０】さらに、本発明の目的は、簡単な方法で、
キャビネットの内側にある品物を表示することと、購入
する必要がある品物を含んだリストを印刷することと、
にある。本発明は、好ましくは、キャビネットの中にあ
る品物の情報を与え、これらの品物をリストとして、ま
たは購入が必要な品物をリストとして提示する、装置シ
ステムに関する。

【００１１】

【課題を解決するための手段】本発明は、ある時点にお
ける、画像を提示することによって、キャビネットに貯
蔵されている品物の情報を通知するために使用される。
この画像は、キャビネットの内容物を表示し、画像に基
づいたショッピングリスト受け取ることが可能である。

【００１２】本発明によると、装置システムは、キャビ
ネットと、キャビネットの中のカメラ、またはキャビネ
ット外側にあるが扉を開けたときキャビネットの内部に
向けられるカメラと、で構成される。さらに、このカメ
ラは、画像の処理または解析のためのユニットに接続さ
れる。このユニットは、テレビ画面、携帯用電話のディ
スプレイ、インターネットに接続された視覚的表示装置
またはその他の電子メディア、に表示できる画像を作成
する。また、上述の画像は、キャビネットの中にある品
物の情報を収集できるよう処理される。この処理がされ
ると、コンピューターは、なくなっている品物のリスト
を作成する。

【００１３】本発明は、キャビネットの内容物を学習す
る装置と方法から成っている。このシステムは、すべて
コンピューターによって管理された、キャビネットと、
ディスプレイユニットと、画像処理ユニットと、で構成
される。また、ここにいうカメラは、キャビネット内の
品物の像を取り込むことができるように位置決めされ
る。また、このカメラは、画像解析ユニットに接続され
る。ディスプレイが一体化または分離したコンピュータ
ーは、画像解析ユニットに接続されている。

【００１４】上述の方法は、以下の順通りである。ま
ず、キャビネットの内容物の像を取り込み、ディスプレ
イ上に内容物の画像を表示し、次に、画像処理ユニット
が、表示された画像を品物のリストに変換し、このリス
トをコンピューターが買い物リストに変換し、その後、
ディスプレイ上に前述の買い物リストを表示する。

【００１５】本発明の一つの長所は、キャビネットの内
容物の情報を自動的に与えることである。

【００１６】本発明のその他の長所は、購入すべき品物
のリストを自動的に与えることである。

【００１７】また、本発明の別の長所は、日常的に購入
すべき品物のリストを自動的に与えることである。

【００１８】さらに、本発明により提供される別の長所
は、キャビネットの中の品物の画像を作成できることで
ある。

【００１９】

【発明の実施の形態】以下、添付図面を参照しつつ、本
発明の好ましい実施形態について説明する。図１は、キ
ャビネット１１０の内容物に関する情報を取得するため
の装置システムを構成する部品の略示図である。このシ
ステム１００は、ユーザー１０２を仮想しており、コン
ピューターの端末１０４とディスプレイユニット１０６
とを含んでいる。ディスプレイユニット１０６は、コン
ピューターの端末と一体化されたものでも分離されたも
のでも良い。上述の端末１０４とディスプレイユニット
１０６は、画像処理または解析ユニット１０８に接続さ
れる。この画像処理または解析ユニット１０８は、キャ
ビネットの内容物に関する情報を取得するために、キャ
ビネット、とりわけキャビネット１１０の中のカメラ１
１２に接続される。コンピューター端末１０４と、ディ
スプレイ１０６と、画像処理ユニット１０８と、キャビ
ネット１１０と、の間の接続は、有線接続や、無線リン
クや、その他の通信方法のような、異なる種類の通信方
法の接続で良い。異なる部品間の接続は、同種の通信方
法の接続である必要はない。

【００２０】図２は、キャビネット１１０に取り付けら
れたカメラ１１２を備えた、キャビネット１１０の略示
図である。これは、開閉可能な扉１１４を備えている。
また、キャビネット１１０の中では、品物を担持するた
めの棚板１１８が少なくとも１枚、備えられている。キ
ャビネット１１０は、異なる種類の何枚かの鏡１１８を
備えても良い。カメラ１１２は、扉１１４の内側または
キャビネット１１０の中であって、キャビネット１１０
の内部の全体像を写すことができる場所、に装着されて
も良い。

【００２１】装置システム１００は、キャビネット１１
０の中または外側に、取り付けられたカメラ１１２を含
んでいる。このキャビネットの内容物の好適な像を取り
込もうとするならば、鏡１１８は、キャビネットの中の
品物の後ろに隠れている品物が見えるように、角度を合
わせて使用すれば良い。また、必要とされる空間を減ら
すには、例えば、フレスネタイプの鏡をキャビネット１
１０の中の適切な平坦表面に取り付ければ良い。また、
装置システムは、キャビネットの中の異なる区画の間
に、その区画の間で交信できるように信号送信機を備え
ている。この信号送信機は、有線によっても無線によっ
ても作ることができる。また、像は、上述したカメラ１
１２によって取り込まれる。また、ユーザー１０２は、
どのくらいの頻度で像を取り込むかを決定することがで
きる。例えば、「キャビネットの扉が開けられる毎に取
り込む」または「ショッピングリストを入手する目的で
キャビネットの中を調査させる毎に取り込む」、のよう
に決定できる。さらに、カメラ１１２は、像を取り込む
角度を判定すると同時に像を取り込む機構を備えても良
い。

【００２２】取り込まれた像は、画像解析のために信号
送信機により画像処理ユニット１０８に送られる。この
ユニットは、キャビネット１１０の中に配置されても良
く、また、実際には装置システムと別の場所に、配置さ
れても良い。画像処理ユニット１０８において、取り込
まれた像は、一枚の像または数枚の像で構成される画像
の中に写っている品物を登録した、内容物リストに変換
される。この内容のリストは、日常購入が必要であると
して登録された品物を有する標準のリストと比較され、
その結果、買い物リストが作成される。このリスト、す
なわち内容物のリストと、像または数枚の像で構成され
た画像とは、キャビネット１１０がある場所と別の場
所、例えば、店の中等、どこか他の場所でユーザーに提
供しても良い。

【００２３】また、デジタル画像を撮影する性能を有す
るカメラを、キャビネット１１０の中に備えても良い
が、このカメラは、キャビネットの外の監視のような、
他の目的にも使用する可能性を与えるためにキャビネッ
ト１１０の外側に配置しても良い。キャビネット１１０
の中において、鏡１１８は、キャビネットの内部の像
を、一つまたはそれ以上に分けてカメラに取り込むよう
に、配置しても良い。その後、これらの像は、画像処理
ユニット１０８や、数人のユーザー１０２のために共通
の動作をする特定のコンピューター、におけるコンピュ
ータープログラムにより解析される。コンピュータープ
ログラムにより、キャビネットの内容物の中と、買い物
リスト、すなわち、必要な品物と、通常買うべき品物を
表示する標準リスト等の、異なるリストを表示すること
ができる。また、ユーザー１０２とキャビネット１１０
の間の通信は、例えば有線の電話や、携帯用の電話や、
テレビや、ラジオや、インターネット通信、のように、
あらゆる方式の電気通信媒体によって、行うことができ
る。

【００２４】装置システムを動作させるためには、ユー
ザー１０２は、キャビネットにどんな品物があるか知り
たいとき、あるいは、買うべき品物を表示した買い物リ
ストが欲しいときに、キャビネット１１０の近辺や、ま
た自宅の別の場所や、その他場所にいることも可能であ
る。それゆえ、コンピューター端末１０４へのアクセス
を有することはユーザー１０２にとって必要不可欠であ
り、このアクセスによってユーザー１０２は、キャビネ
ット１１０用の画像処理ユニット１０８に接続すること
ができる。もちろん、もし、コンピューターにキャビネ
ットの内容物の情報を蓄積したコンピュータメモリを内
蔵しているならば、キャビネット１１０用の画像処理ユ
ニット１０８に常に接続されていることが必要不可欠で
はない。画像処理ユニット１０８とコンピューターメモ
リ、またはそのどちらか一方は、キャビネット１１０に
内蔵しても良く、また、関連情報は、どこか他の場所す
なわちキャビネットの供給者の近辺や、配達人が来る場
所、にあるコンピューターシステムの中に蓄積されても
良い。ユーザー１０２が、キャビネットの内容物の情報
が蓄積されたコンピューターメモリと交信しているとき
には、ユーザーは、メニューの中から装置システムに実
行させたい項目を任意に選択することができる。このメ
ニューは、以下のオプションを含んでも良い。 ・ キャビネットの内容物の画像の表示 ・ キャビネットの内容物のリストの表示 ・ 標準の買い物リストの作成 ・ 買い物リストと標準の買い物リストの表示 ・ その他

【００２５】もしユーザー１０２がディスプレイユニッ
ト１０６に表示された上述の、「キャビネットの内容物
の画像の表示」を選択したときは、内容物の画像が表示
される。これは、キャビネット１１０に接続したキャビ
ネットの内容物の情報を蓄積したメモリを収容するコン
ピューターによって為されるものであり、像は、キャビ
ネット１１０の中に備えたカメラ１１２によって取り込
まれる。この像は、直接取り込まれ、キャビネットの内
容物の情報を蓄積したコンピューターメモリに送信され
ても良く、また、最後にキャビネット１１０の扉を閉め
た直後に像を取り込み、あらかじめコンピューターに送
信しておいても良い。この最後に収集された情報から、
キャビネットの内容物が認識される。この画像はディス
プレイユニット１０６に表示され、ユーザー１０２はキ
ャビネット１１０の中の品物についての情報を取得でき
る。

【００２６】ユーザー１０２がディスプレイユニット１
０６に表示された上述の、「キャビネットの内容物のリ
ストの表示」を選択したときは、キャビネット１１０の
中にある品物のリストが、ディスプレイユニット１０６
に表示される。この場合、画像は表示されず、ユーザー
がキャビネットの内容物のリストの入手を要求したとき
直ちにリストが表示される。代わりに、画像は既に上述
したようにコンピューターメモリに蓄積されている。こ
の画像は、画像処理ユニット１０８に送信され、キャビ
ネットの中で認識されるすべての品物を含んだキャビネ
ットの内容物のリストに変換される。このリストは、画
像処理ユニット１０８からコンピューター端末１０４に
送信される。そして、このリストはディスプレイユニッ
ト１０６に表示される。

【００２７】ユーザー１０２が”標準の買い物リストの
作成”を選択したときは、次の手段を取る。ユーザー１
０２は、リストが必要なときは、通常または、ほとんど
いつも、コンピューターユニット１０４に入力またはこ
れと同等の手段をしなければならない。このリスト、す
なわち標準の買い物リストは、買い物習慣が変化したと
きは、それに応じて変更することができる。これによっ
て、ユーザーは、常に直接に関心がある標準のリスト
を、ディスプレイ１０６上で手に入れることができる。

【００２８】ユーザー１０２がディスプレイユニット１
０６に表示された中の”買い物リストと標準リスト”の
選択をしたときは、日常買うべき品物を列挙した買い物
リストが表示される。この表示は、コンピューターの中
で、キャビネットの内容物のリストと、日常買うべき品
物の標準リストと、を比較に行っても良い。

【００２９】ユーザー１０２がディスプレイユニット１
０６に表示された”その他”を選択したときは、装置シ
ステム１００により提供できる他のサービスが表示され
る。他のサービスに何を含めるかを決定するのは、装置
システム１００の供給者である。

【００３０】キャビネットの内容物の画像を作成するな
らば、魚眼レンズを備えたカメラ１１２で像を取り込む
方が良い。また、棚板１１６上の品物の後ろにある品物
の画像を登録しようとするならば、鏡１１８と数個のカ
メラの両方またはそのどちらか一方を使用すればよい。
複数のカメラの相互作用については、以下に記載する。
まず、一連の像が、キャビネット１１０の内容物のすべ
てを表示することができるように、キャビネット１１０
の内部壁と、ガラスまたはワイヤーの構造の場合の棚板
１１６の下とに、軽く湾曲した鏡とプリズム鏡（mirror
s prism ）の両方または一方が取り付けられる。また、
この像が取り込まれたときは、キャビネット１１０の中
の棚板１１６上にある品物を判定できるように、画像解
析のために画像処理ユニット１０８に送信される。

【００３１】異なる複数の鏡、例えば、複数のフレネル
タイプの鏡が、キャビネットの中で使用される場合に
は、画像は断片的にしか写らず、ユーザー１０２が理解
することが困難である。従って、ユーザー１０２が受け
取って判断しやすい画像を作成する、画像を構成する特
別のユニットが必要となる。このユニットは、キャビネ
ット１１０または画像処理ユニット１０８に統合され
る。画像を構成するユニットは、異なる鏡に映された像
を解析し、ユーザー１０２がより簡単に把握できる単一
の画像に変換する。同様に、多くの像が取り込まれたと
き、前述のユニットは、複数の異なる像から得たすべて
の情報を含んだユーザー１０２が理解できる単一の画像
を作成する。

【００３２】キャビネットの扉１１４を開閉することに
より、多くの像が次々に取り込まれる方法において、装
置システムは、次に記載する作用を有する。まず、カメ
ラ１１２と鏡１１８は、可能な限り大きな範囲の像を取
り込むことができるようなところに、取り付けられる。
このカメラは、例えば、扉１１４の内側に配置され、こ
の扉を開閉する間、異なる撮影角度で何枚もの撮影をす
ることによって、キャビネットの内部の良い受像範囲が
得られるようにしても良い。どの角度で像を取り込むか
については、カメラシャッターに作用する角度センサー
によって自動制御される。

【００３３】本発明の別の実施例においては、キャビネ
ットの内容物についての複数の像を取り込むために複数
のデジタルカメラがキャビネットの中に装着される。そ
の後、ここで撮影された複数の像は、処理後の画像で同
じ品物が一度以上表示されないように像を比較する画像
処理ユニット１０８で、処理される。さらに、キャビネ
ットの内容物のリストは、上述した方法と同じ方法で作
成される。

【００３４】また、さらに本発明の別の実施例として、
カメラ１１２に連結された柔軟な導光管（例えば、光フ
ァイバー）により移動できるレンズを通して像を取り込
むようなことが考えられる。この方法を使うと、画像
は、より鮮明になる。さらに、キャビネットの内部の受
像範囲を拡大し、できるだけ多くの内容物の記録を取ろ
うとするならば、移動できる鏡または移動できるカメラ
の両方またはそのどちらか一方は、キャビネットの中に
取り付けても良い。また、１つのキャビネットのカメラ
がコンピューターサービスに接続されているシステム環
境においては、カメラの前に新しい品物を示し、コンピ
ューター端末のキーボードに品物の名前を入力するか、
または他の識別手段により、将来に備えて新しい品物を
登録することもできる。その代わりに、品物のバーコー
ドの像を取り込むこともできる。また、共通のコンピュ
ーターのオペレーターが、自分のお客と関係ありそうな
すべての品物を登録することも考えられる。

【００３５】なお、 本明細書で、キャビネットという語
を使用したとき、それは同様に食器棚や、クローゼット
をも意味するものである。

【図面の簡単な説明】

【図１】キャビネットの内容物に関する情報を得るため
の装置システムの略示図である。

【図２】本発明の方法に適合するカメラを備え付けたキ
ャビネットの略示図である。

【符号の説明】

１００…キャビネット １０２…ユーザー １０４…コンピューター端末 １０６…ディスプレイ １１０…画像処理ユニット １１２…カメラ １１４…扉 １１６…棚板 １１８…鏡

Claims (16)

【特許請求の範囲】
1. 【請求項１】 キャビネットと、カメラと、ディスプレ
   イユニットと、画像処理ユニットと、コンピューターと
   を備え、キャビネット、食器棚、または、クローゼット
   の内容物の情報を提示する装置であって、 前記装置は、キャビネット（１１０）と、キャビネット
   （１１０）の中、キャビネットの扉（１１４）、または
   キャビネット（１１０）近傍に装着された、少なくとも
   一台のカメラ（１１２）と、を備え、 前記カメラ（１１２）は、画像処理ユニット（１０８）
   と、一体化または分離化されたディスプレイユニット
   （１０６）を有するコンピュー端末（１０４）と、に接
   続され、このコンピューター端末（１０４）は、画像処
   理ユニット（１０８）に接続されることを特徴とする装
   置。
2. 【請求項２】 一またはそれ以上の鏡（１１８）が、キ
   ャビネット（１１０）の中に装着され、これらの鏡（１
   １８）としてフレネルタイプの鏡を使用可能であること
   を特徴とする請求項１に記載の装置。
3. 【請求項３】 前記カメラ（１１２）で取り込まれた像
   は、画像処理ユニット（１０８）に送信され、この画像
   処理ユニットは、前記像を、ユーザー（１０２）がより
   容易に理解できるように変換することを特徴とする請求
   項１または２に記載の装置。
4. 【請求項４】 前記コンピューター端末（１０４）と、
   ディスプレイ（１０６）と、キャビネット（１１０）
   と、画像処理ユニット（１０８）の間の通信は、有線ま
   たは無線によって行われることを特徴とする請求項１か
   ら３のいずれか一項に記載の装置。
5. 【請求項５】 前記カメラ（１１２）は、キャビネット
   （１１０）の内部の全物品の像を取得できるような方法
   で配置されることを特徴とする請求項１から４のいずれ
   か一項に記載の装置。
6. 【請求項６】 前記カメラ（１１２）は、キャビネット
   （１１０）の中で移動可能であることを特徴とする請求
   項１から５のいずれか一つに記載の装置。
7. 【請求項７】 前記カメラ（１１２）のシャッターに接
   続された角度センサーを備えたことを特徴とする請求項
   １から６のいずれか一つに記載の装置。
8. 【請求項８】 前記カメラ（１１２）は、魚眼レンズを
   有することを特徴とする請求項１から７のいずれか一項
   に記載の装置。
9. 【請求項９】 複数のカメラ（１１２）が、キャビネッ
   ト（１１０）の全内容物の像を取り込むために、キャビ
   ネット（１１０）の中、キャビネット（１１０）の扉
   （１１４）、キャビネット（１１０）の扉（１１４）、
   またはキャビネット（１１０）近傍に、取り付けられる
   ことを特徴とする請求項１から８のいずれか一項に記載
   の装置。
10. 【請求項１０】 キャビネット（１１０）の中、キャビ
    ネット（１１０）の扉（１１４）、またはキャビネット
    （１１０）付近に配置されたカメラ（１１２）が、キャ
    ビネット（１１０）の内容物の像を一つまたはそれ以上
    取り込み、 その後、前記像は、カメラ（１１２）に接続された画像
    処理ユニット（１０６）に送信され、 画像処理ユニット（１０６）で生成した画像は、コンピ
    ューター端末（１０４）を経由して、コンピューター端
    末（１０４）に一体化された、または分離されたディス
    プレイユニット（１０６）に、送信され、 さらに、コンピューター端末（１０４）は、キャビネッ
    ト（１１０）の内容物リストを作成し、その後、前記リ
    ストは、ディスプレイユニット（１０６）に表示される
    買い物リストに転換されることを特徴とする、キャビネ
    ットキャビネットの内容物を判定するための方法。
11. 【請求項１１】 前記キャビネット（１１０）の内容物
    のリストは、買い物リストに転換される前に、ディスプ
    レイユニット（１０６）上に表示される、ことを特徴と
    する請求項１に記載の方法。
12. 【請求項１２】 前記ユーザー（１０２）は、前記ディ
    スプレイユニット（１０６）に表示されたメニューか
    ら、ディスプレイユニット（１０６）上に表示されたキ
    ャビネットの内容物の異なる画像や、または、買い物が
    必要な品物のリストを、選ぶことができることを特徴と
    する請求項１０または１１に記載の方法。
13. 【請求項１３】 標準のショッピングリストが、前記コ
    ンピューター端末（１０４）に送信され、ディスプレイ
    ユニット（１０６）上に表示されることを特徴とする請
    求項１２に記載の方法。
14. 【請求項１４】 前記ユーザー（１０２）は、希望する
    ときはいつでも、ディスプレイユニット（１０６）に表
    示された標準のショッピングリストに変更を加えること
    ができることを特徴とする請求項１３に記載の方法。
15. 【請求項１５】 前記画像処理ユニット（１０８）は、
    前記カメラ（１１２）により取り込まれる像を、ユーザ
    ー（１０２）に容易に理解されるような形でディスプレ
    イ上に表示される画像に変換することを特徴とする請求
    項１０に記載の方法。
16. 【請求項１６】 前記カメラ（１１２）が、前記キャビ
    ネット（１１０）の扉（１１４）が、開かれる毎にいつ
    も、キャビネットの内容物の像を取り込むことを特徴と
    する請求項１０に記載の方法。