JP2018095450A - Article management device, article management system, article management method, and program - Google Patents
Article management device, article management system, article management method, and program Download PDFInfo
- Publication number
- JP2018095450A JP2018095450A JP2016243462A JP2016243462A JP2018095450A JP 2018095450 A JP2018095450 A JP 2018095450A JP 2016243462 A JP2016243462 A JP 2016243462A JP 2016243462 A JP2016243462 A JP 2016243462A JP 2018095450 A JP2018095450 A JP 2018095450A
- Authority
- JP
- Japan
- Prior art keywords
- storage
- weight
- article
- food
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 238
- 238000001514 detection method Methods 0.000 claims abstract description 177
- 230000008859 change Effects 0.000 claims abstract description 131
- 238000000034 method Methods 0.000 claims description 89
- 238000012384 transportation and delivery Methods 0.000 claims description 34
- 235000013305 food Nutrition 0.000 description 531
- 230000008569 process Effects 0.000 description 77
- 230000005236 sound signal Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 21
- 239000008267 milk Substances 0.000 description 20
- 235000013336 milk Nutrition 0.000 description 20
- 210000004080 milk Anatomy 0.000 description 20
- 235000013405 beer Nutrition 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 241000220225 Malus Species 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 230000007423 decrease Effects 0.000 description 11
- 239000013585 weight reducing agent Substances 0.000 description 9
- 230000000153 supplemental effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 235000013601 eggs Nutrition 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 235000013311 vegetables Nutrition 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 244000291564 Allium cepa Species 0.000 description 3
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 3
- 235000021016 apples Nutrition 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 2
- 240000008384 Capsicum annuum var. annuum Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000758706 Piperaceae Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000015219 food category Nutrition 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 235000021067 refined food Nutrition 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 235000014102 seafood Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、物品管理装置、物品管理システム、物品管理方法及びプログラムに関する。 The present invention relates to an article management apparatus, an article management system, an article management method, and a program.
従来から、保管庫において保管される物品の種類やそれらの数量などを管理する物品管理装置が提案されている。 2. Description of the Related Art Conventionally, an article management apparatus that manages the types and quantities of articles stored in a storage has been proposed.
例えば、特許文献１に記載の在庫管理装置は、保管部品の計数単位に対応する重量データが記憶された部品重量記憶手段と、部品入出庫指令に応じて在庫量データを記憶する在庫量記憶手段と、部品保管手段に保管されている保管部品を入出庫口へ搬送する搬送制御手段と、入出庫された保管部品の重量を測定して重量データにより計数単位で保管残量データを求める保管残量計数手段と、保管残量データと在庫量データとが一致するか否かを判定する入出庫判定手段と、判定結果が両者不一致の場合に入出庫異常警報を出力する入出庫警報出力手段とを備える。
For example, the inventory management apparatus described in
特許文献１に記載の在庫管理装置では、保管対象の各部品の重量、形状が既知であり、保管場所が予め定められていることを前提としている。しかしながら、一般には保管対象の物品の種類、保管場所は、予め定められていないことがある。例えば、家庭用の電気冷蔵庫では、保管対象の食品の種類は雑多であり、保管場所はユーザの任意である。そのため、特許文献１に記載の在庫管理装置と同様の手法が適用できないことがある。
In the inventory management apparatus described in
本発明は上記の点に鑑みてなされたものであり、保管庫における保管物の管理を効率的に行うことができる物品管理装置、物品管理システム、物品管理方法及びプログラムを提供する。 The present invention has been made in view of the above points, and provides an article management apparatus, an article management system, an article management method, and a program capable of efficiently managing stored items in a storage.
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、保管庫内の物品の重量を検出する重量検出部と、音声を取得する音声取得部と、制御部とを備え、前記制御部は、前記音声取得部が取得した前記音声から物品名を認識し、認識した前記物品名と、前記重量検出部が検出した前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する物品管理装置である。 The present invention has been made to solve the above problems, and one aspect of the present invention includes a weight detection unit that detects the weight of an article in a storage, a voice acquisition unit that acquires voice, and a control unit. The control unit recognizes an article name from the voice acquired by the voice acquisition unit, collates the recognized article name with the change in the weight detected by the weight detection unit, and It is an article management device for judging the storage state of articles in a storage.
本発明によれば、保管庫における保管物の管理を効率的に行うことができる。 According to the present invention, it is possible to efficiently manage stored items in a storage.
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る食品管理システム１の構成例を示す概念図である。
食品管理システム１は、保管庫１０に保管される主な物品が食品である物品管理システムの一態様である。食品管理システム１は、保管庫１０、リファレンスデータベースサーバ２０、食品管理データベースサーバ３０及び端末装置４０を含んで構成される。保管庫１０に備えられた食品管理装置１０Ａ、リファレンスデータベースサーバ２０、食品管理データベースサーバ３０及び端末装置４０は、相互にネットワークＮＷで接続される。相互間において各種のデータが送受信可能である。図１に示す例では、保管庫１０の個数は１個であるが、保管庫１０の個数は２個以上の任意の個数であってもよい。リファレンスデータベースサーバ２０、食品管理データベースサーバ３０、端末装置４０の個数も、それぞれ１個に限られず、２個以上の任意の個数であってもよい。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a conceptual diagram illustrating a configuration example of a
The
保管庫１０は、物品を保管する保管室を複数個備える。図１に示す例では、保管庫１０は、電気冷蔵庫である。保管庫１０は、保管室内の温度を所定の温度に調整する。調整される温度は、通例、周囲の温度よりも低い。保管室には、物品を載置可能とする１個又は複数個のトレイを有する保管室と、物品を収納可能とする１個の引き出しとして構成される保管室とがある。トレイを有する保管室は、１式の開き戸を有する。以下の説明では、開き戸と引き出しを扉と総称する。各１個のトレイ又は引き出しは、物品を保管可能とする１つの保管区画をなす。以下の説明では、トレイと引き出しを保管区画又は保管場所と総称することがある。また、保管庫１０には、各保管室の扉の開閉状態を検出する開閉センサ（図示せず）が設置されている。開閉センサは、例えば、圧力センサを含んで構成される。圧力センサは、扉の開放端が保管庫１０の筐体と接する部分の圧力を検出する。開閉センサは、検出した開閉状態を示す開閉状態信号を食品管理装置１０Ａに出力する。
The
保管庫１０は、食品管理装置１０Ａを備える。食品管理装置１０Ａは、制御部１４とメモリー１５を含んで構成される。保管室の扉が開放されているとき、食品管理装置１０Ａは、重量センサ１２が検出した重量の増加を検出し、収音部１３から取得した音声から物品の名称を認識する。食品管理装置１０Ａは、物品の重量の増加と認識された物品の名称とを照合し、その名称を有する物品の入庫を検知する。食品管理装置１０Ａは、その重量の増加量を入庫された物品の重量として判定する。また、食品管理装置１０Ａは、重量の減少量が、既に保管された物品のいずれかの重量に相当するとき、その物品の出庫を検知する。食品管理装置１０Ａの機能構成については、後述する。
The
重量センサ１２は、保管庫１０の保管室内に保管される物品の重量を検出し、検出した重量を示す重量信号を食品管理装置１０Ａに出力する。図１に示す例では、重量センサ１２が各保管区画に装備されている。ｎ個の重量センサ１２は、１２−１〜１２−ｎなどの符号を用いて区別されている。ｎは、保管区画の個数を示す１以上の整数である。図１に示すｍは、１より大きく、ｎより小さい整数である。重量センサ１２−１〜１２−ｎは、それぞれ保管庫１０内の保管場所に保管されている物品の総重量を検出する。重量センサ１２は、例えば、圧力センサ、歪みセンサなどを含んで構成される。
The
収音部１３は、到来する音を収音し、収音した音を電気信号である音声信号に変換する。収音部１３は、例えば、マイクロホンである。収音部１３は、変換した音声信号を食品管理装置１０Ａに出力する。再生部１７は、食品管理装置１０Ａから入力される音声信号を音に変換し、変換した音を再生する。再生部１７は、例えば、スピーカである。
The
リファレンスデータベースサーバ２０は、予めリファレンスデータ（参照データ）を記憶する記憶部（図示せず）を備えるサーバ装置である。リファレンスデータは、食品名毎に標準重量などの属性を示すデータである。食品管理装置１０Ａからリファレンスデータ要求を受信するとき、リファレンスデータベースサーバ２０は、記憶部からリファレンスデータを読み出し、読み出したリファレンスデータを食品管理装置１０Ａに送信する。リファレンスデータの例については、後述する。
The
食品管理データベースサーバ３０は、食品管理装置１０Ａ毎の食品管理データを管理するサーバ装置である。食品管理データは、保管されている食品の食品名毎に重量と保管状態を示すデータである。食品管理データベースサーバ３０は、食品管理装置１０Ａから更新された食品管理データと食品管理装置１０Ａを示す機器ＩＤを受信し、その機器ＩＤと対応付けて記憶された既存の食品管理データを新たに受信した食品管理データに置き換える。また、端末装置４０から特定の食品の在庫を示すデータ要求信号と機器ＩＤを受信するとき、食品管理データベースサーバ３０は、受信した機器ＩＤに対応づけて記憶した食品管理データからデータ要求信号で指定される食品の保管量と保管場所を読み取り、読み取った保管量と保管場所を示す在庫データを生成してもよい。データ要求信号の送信元である端末装置４０に生成した在庫データを送信する。食品管理データの例については、後述する。
The food
端末装置４０は、ユーザの操作入力を受け付けたことに応じて操作信号を生成する操作入力部、各種のデータで示される視覚情報を表示する表示部、他の機器との間で各種のデータを送受信できる通信部を備える電子機器である。端末装置４０は、例えば、多機能携帯電話機（いわゆるスマートフォンを含む）、タブレット端末装置、などのいずれであってもよい。
端末装置４０は、ユーザの操作入力に応じて各種のデータ要求信号を生成し、生成したデータ要求信号を食品管理装置１０Ａに送信する。端末装置４０は、データ要求信号に対する応答として、データ要求信号で指示されるデータを食品管理装置１０Ａから受信し、受信したデータで示される情報を表示する。例えば、データ要求信号では、特定の食品の在庫などが指定される。端末装置４０は、食品管理装置１０Ａに代え、食品管理装置１０Ａの機器ＩＤとデータ要求信号を送信してもよい。その場合には、食品管理データベースサーバ３０から、機器ＩＤで指定される食品管理装置１０Ａに係るデータであって、データ要求信号で指示されるデータを受信する。なお、端末装置４０は、データ要求信号を食品管理データベースサーバ３０に送信してもよい。
The terminal device 40 includes an operation input unit that generates an operation signal in response to receiving an operation input from a user, a display unit that displays visual information indicated by various data, and various data between other devices. An electronic device including a communication unit capable of transmitting and receiving. For example, the terminal device 40 may be a multi-function mobile phone (including a so-called smartphone), a tablet terminal device, or the like.
The terminal device 40 generates various data request signals in response to user operation inputs, and transmits the generated data request signals to the
（食品管理装置）
図２は、本実施形態に係る食品管理装置１０Ａの機能構成例を示すブロック図である。
食品管理装置１０Ａは、制御部１４、メモリー１５及び通信部１６を含んで構成される。
制御部１４は、保管庫１０内に保管される物品の保管状態の管理に係る処理を行う。制御部１４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御デバイスを含んで構成される。制御部１４は、メモリー１５に予め記憶された制御プログラムを読み出し、読み出した制御プログラムに含まれる命令で指示される処理を実行し、次に説明する各部の機能を実現する。制御部１４は、音声区間検出部１４１、音声認識部１４２、開閉検出部１４３、重量変化検出部１４４、保管状態判定部１４５及び通知制御部１４６を含んで構成される。
(Food management equipment)
FIG. 2 is a block diagram illustrating a functional configuration example of the
The
The
音声区間検出部１４１は、開閉検出部１４３からいずれかの扉の開放を示す開放通知信号が入力されるとき、収音部１３から入力される音声信号について、所定時間（例えば、１０ｍｓ〜５０ｍｓ）毎に音声区間検出（ＶＡＤ：Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ）処理を開始する。音声区間検出部１４１は、音声区間検出において、所定時間毎の区間が、入力される音声信号に音声成分が含まれる音声区間であるか、又は音声成分が含まれない非音声区間であるかを判定する。音声区間検出部１４１は、音声区間内の音声信号を音声認識部１４２に出力し、非音声区間内の音声信号を棄却する。音声区間検出部１４１は、開閉検出部１４３から扉の閉鎖を示す閉鎖通知信号が入力されるとき、音声区間検出処理を停止する。
When the opening notification signal indicating the opening of any door is input from the opening /
音声認識部１４２は、音声区間検出部１４１から入力される音声信号について音声認識処理を行い、認識した発話を示す発話データを生成する。音声認識部１４２は、メモリー１５に予め記憶された音声認識辞書１５１を参照して、その発話と対応する単語とその時点における時刻を認識時刻として特定する。認識対象の単語には、例えば、保管対象となりうる食品名、通知音声に対する応答（例えば、はい、いいえ）、音声コマンドなどがある。音声認識部１４２は、特定した単語が食品名であるとき、特定した食品名と認識時刻を示す音声認識情報を保管状態判定部１４５に出力する。音声認識部１４２は、音声認識処理を行う前に、ネットワークＮＷに接続された音声認識辞書サーバ装置（図示せず）から音声認識辞書１５１を受信し、受信した音声認識辞書１５１をメモリー１５に記憶しておいてもよい。
なお、制御部１４は、音声認識部１４２を備えずに、ネットワークＮＷに接続された音声認識サーバ（図示せず）の機能を利用してもよい。その場合、音声区間検出部１４１は、音声区間内の音声信号を音声認識サーバに送信する。音声認識サーバ装置は、予め音声認識辞書１５１が記憶され、音声認識部１４２と同様の処理を行う。ここで、音声認識サーバ装置は、音声認識辞書１５１を用いて、食品管理装置１０Ａから受信した音声信号について音声認識処理を行う。音声認識サーバは、処理結果となる特定した食品名と認識時刻を示す音声認識情報を食品管理装置１０Ａに送信する。そして、保管状態判定部１４５は、音声認識サーバから音声認識情報を受信する。
音声認識辞書サーバ装置や音声認識サーバは、リファレンスデータベースサーバ２０又は食品管理データベースサーバ３０と一体に構成されてもよいし、これらのサーバ装置とは別個独立のサーバ装置であってもよい。
The
The
The speech recognition dictionary server device and the speech recognition server may be configured integrally with the
開閉検出部１４３は、開閉センサから入力される開閉状態信号が示す各扉の開閉状態を検出する。開閉検出部１４３は、保管庫１０の少なくともいずれか１つの扉の開放を検出するとき開放通知信号を音声区間検出部１４１と重量変化検出部１４４に出力する。開閉検出部１４３は、保管庫１０の全ての扉の閉鎖を検出するとき閉鎖通知信号を音声区間検出部１４１と重量変化検出部１４４に出力する。
The open /
重量変化検出部１４４は、開閉検出部１４３からいずれかの扉の開放を示す開放通知信号が入力されるとき、重量センサ１２−１〜１２−ｎから入力される重量信号が示す重量の検出を開始する。重量変化検出部１４４は、重量の変化を検出するとき、その変化量、検出時刻及びその変化を検出した重量センサが設置された保管区画を示す重量変化検出情報を保管状態判定部１４５に出力する。重量変化検出部１４４は、開閉検出部１４３から扉の閉鎖を示す閉鎖通知信号が入力されるとき、重量の検出を停止する。
The weight
保管状態判定部１４５には、音声認識部１４２から音声認識情報が入力され、重量変化検出部１４４から重量変化検出情報が入力される。保管状態判定部１４５は、検出時刻が、音声認識情報が示す認識時刻から所定時間（例えば、２〜５秒）以内であって、重量変化量が正値である重量変化検出情報を照合する。保管状態判定部１４５は、音声認識情報と照合した重量変化検出情報を対応付けて入庫情報を生成する。ここで、保管状態判定部１４５は、認識した食品名を入庫された食品の食品名と判定し、重量変化量をその食品の重量として判定する。また、保管状態判定部１４５は、重量変化が検出された保管区画をその食品の保管場所として判定する。保管状態判定部１４５は、認識時刻、検出時刻、扉が閉鎖された閉鎖時刻のいずれを入庫時刻として採用してもよい。保管状態判定部１４５は、食品名に入庫時刻、重量及び保管場所を対応付けて入庫情報を生成する。保管状態判定部１４５は、取得した入庫情報をメモリー１５に記録する。メモリー１５には、入庫情報が入庫履歴として累積される。
The storage
保管状態判定部１４５は、メモリー１５に記憶された食品管理データを生成した入庫情報に基づいて更新する。より具体的には、保管状態判定部１４５は、食品管理データが示す食品名、保管場所、数量、重量に対して、新たに記憶される入庫情報が示す食品の食品名及び保管場所についてその入庫情報が示す数量、重量をそれぞれ加算する。
The storage
また、重量変化検出部１４４から入力される重量変化検出情報が示す重量変化量が負値である場合がある。その場合、保管状態判定部１４５は、その重量変化が検出された区画において保管された食品のうち、その重量の減少量から所定の重量の範囲（例えば、１０ｇ〜２０ｇ）内である重量を有する食品を食品管理データから特定する。保管状態判定部１４５は、特定した食品の出庫を判定する。また、保管状態判定部１４５は、重量変化が検出された保管区画をその食品の保管場所として判定する。保管状態判定部１４５は、特定した食品の食品名、検出時刻、重量の減少量もしくはその物品の重量、保管場所及び保管状態情報を示す出庫情報を生成する。その保管状態情報は、保管状態として出庫を示す情報である。保管状態判定部１４５は、生成した出庫情報に基づいてメモリー１５に記憶された食品管理データを更新する。より具体的には、保管状態判定部１４５は、食品管理データが示す食品名、保管場所、数量、重量から、出庫情報が示す食品の食品名及び保管場所について、その出庫情報が示す数量、重量をそれぞれ差し引く。ここで、保管状態判定部１４５は、入庫された食品毎に入庫情報と出庫情報を含む入出庫履歴を消費履歴としてメモリー１５に累積し、その食品の食品名と対応付けて記憶してもよい。消費履歴として記憶される入庫情報と出庫情報には、食品名の情報が省略されてもよい。また、保管状態判定部１４５は、数量又は重量が０となった食品に関する情報を、食品管理データから消去してもよい。
Further, the weight change amount indicated by the weight change detection information input from the weight
通知制御部１４６は、ユーザに通知する通知情報の生成、出力を制御する。通知制御部１４６は、制御部１４の動作状態に応じて各種の案内情報を示す音声信号を生成し、生成した音声信号を再生部１７に出力する。案内情報の例については、後述する。
また、通知制御部１４６は、音声認識部１４２から入力される発話データで特定される食品の在庫情報として、その時点における保管量と保管場所をメモリー１５に記憶された食品管理データから読み取ってもよい。通知制御部１４６は、読み取った保管量と保管場所を示す音声信号を再生部１７に出力する。発話データが入力される期間は、例えば、所定の質問ボタンの押下に伴い操作入力部１８から操作信号が入力されるとき、又はその入力開始から所定の期間（例えば、５〜１０秒）内に限定されてもよい。在庫情報の通知対象となる食品名は、操作入力部１８から入力される操作信号で指定されてもよい。
なお、通知制御部１４６は、端末装置４０から通信部１６を介してデータ要求信号を受信するとき、受信したデータ要求信号で指定される食品の保管量と保管場所をメモリー１５に記憶された食品管理データから読み取ってもよい。通知制御部１４６は、読み取った保管量と保管場所を示す在庫データを生成し、生成した在庫データをデータ要求信号の送信元である端末装置４０に通信部１６を介して送信する。
The
Further, the
When the
メモリー１５は、制御部１４が行う処理に用いられるデータ、制御部１４が生成したデータを記憶する記憶媒体を含んで構成される。メモリー１５を構成する記憶媒体は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性の記憶媒体、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリーなどの不揮発性の記憶媒体のいずれも含んで構成される。メモリー１５に記憶されるデータには、音声認識辞書１５１が含まれる。メモリー１５には、リファレンスデータを記憶させておく。そこで、制御部１４は、リファレンスデータ要求をリファレンスデータベースサーバ２０に通信部１６を介して送信する。制御部１４は、リファレンスデータ要求に対する応答として、リファレンスデータベースサーバ２０から受信したリファレンスデータをメモリー１５に記憶する。また、制御部１４は、更新された食品管理データを、自装置の機器ＩＤと対応付けて食品管理データベースサーバ３０に送信してもよい。食品管理データの送信頻度は、そのデータが更新される都度であってもよいし、所定期間（例えば、３０分〜２時間）間隔であってもよい。
The
通信部１６は、ネットワークＮＷと有線又は無線で接続された各種の機器との間で、各種のデータを送受信する。通信部１６は、制御部１４から入力される送信データを接続された送信先の機器に送信し、送信元の機器から受信した受信データを制御部１４に出力する。
操作入力部１８は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を制御部１４に出力する。操作入力部１８は、例えば、ボタン、レバー、タッチセンサなどの部材を含んで構成される。
The
The
（重量センサ）
次に、本実施形態に係る重量センサ１２の例について説明する。
重量センサ１２は、単一の重量検出素子を含んで構成されてもよいし、複数の重量検出素子を含んで構成されてもよい。図３は、トレイ上に保管される食品の重量を検出する重量センサ１２の一構成例を示す。図３に示す例では、重量センサ１２は、複数の重量検出素子１２１−１，１〜１２１−ｋ，ｌを含み、食品がその上に配置されるトレイの２次元の収納領域内にそれらの重量検出素子が分布させてもよい。ｋ、ｌは、それぞれ収納領域における水平方向、垂直方向の重量検出素子の数を示す。ｋ、ｌは、それぞれ１より大きい重量検出素子の数、例えば、１０〜３０である。重量検出素子１２１−１，１〜１２１−ｋ，ｌは、それぞれ検出した重量を示す重量信号を無線又は有線で制御部１４に出力する。重量変化検出部１４４は、重量検出素子１２１−１，１〜１２１‐ｋ，ｌからの重量信号が示す重量の総和をとり、得られた総和をトレイに保管された食品の重量として定める。重量変化検出部１４４は、新たに重量の増加を検出した重量検出素子１２１等の位置を保管場所として定めてもよい。
(Weight sensor)
Next, an example of the
The
図４は、引き出しに保管される食品の重量を検出する重量センサ１２の一構成例を示す。図４に示す例では、重量センサ１２は、２個の重量検出素子１２２−１、１２２−２を含んで構成される。重量検出素子１２２−１、１２２−２は、それぞれ引き出しを吊り下げる周縁部に設置されている。重量検出素子１２２−１、１２２−２は、周縁部から受けた荷重を示す重量信号を生成し、生成した重量信号をそれぞれ有線又は無線で制御部１４に出力する。重量変化検出部１４４は、重量検出素子１２２−１、１２２‐２からの重量信号が示す重量の総和をとり、得られた総和を引き出しに保管された食品の重量として定める。
FIG. 4 shows an example of the configuration of the
なお、図３、図４に示す例では、複数の重量センサ１２が保管区画毎に設置される場合を例にしたが、設置される重量センサ１２の数は、全ての保管区画又はその一部の複数の保管区画について１個であってもよい。その１個の重量センサ１２は、例えば、それらの保管区画をその上方において支持する底面上に設置されればよい。重量変化検出部１４４は、重量センサがその時点で検出した重量から、空室時に検出した重量を差し引いて保管されている物品の総重量を算出することができる。それらの保管区画が複数の保管室で区分され、検出された重量が増加するとき、保管状態判定部１４５は、その時点において開放された扉に係る保管室を、入庫される物品の保管場所として判定してもよい。この構成によれば、重量の検出に係る重量センサ１２の個数が増加せずに済む。
In the example shown in FIGS. 3 and 4, the case where a plurality of
（収音部の配置例）
図５は、本実施形態に係る収音部１３の配置例を示す図である。
図５（ａ）に示す例では、保管庫１０は、５個の扉ｕｄ０１、ｕｄ０２、ｄｗ０１、ｄｗ０２、ｄｗ０３を備える。図面に対して左右１対の扉ｕｄ０１、ｕｄ０２は、いわゆる観音開きの扉を構成している。扉ｕｄ０１、ｕｄ０２それぞれの左端、右端は、保管庫１０の本体に蝶着され、扉ｕｄ０１、ｕｄ０２それぞれの右端、左端が垂直軸周りに回転可能に構成されている。扉ｕｄ０１、ｕｄ０２のそれぞれの保管庫１０本体に向かい合う面の周縁部には、パッキンが装着される。他方、扉ｄｗ０１、ｄｗ０２、ｄｗ０３は、それぞれ引き出しを構成している。扉ｄｗ０１、ｄｗ０２、ｄｗ０３それぞれの保管庫１０本体の向かい合う面の周縁部にはパッキンが装着される。パッキンにより、保管室を閉鎖する扉は保管庫１０本体に密着するので保管室から内気が漏出しない。扉ｕｄ０１、ｕｄ０２、ｄｗ０１がそれぞれ閉鎖されているか開放されているかに関わらず、扉ｕｄ０１、ｕｄ０２と扉ｄｗ０１との間には、保管庫１０本体の正面にはいかなる扉にも覆われずに露出している間隙がある。収音部１３は、この間隙のうち、閉鎖されている状態において扉ｕｄ０１、ｕｄ０２の右端、左端から所定範囲内に設置される。この配置のもとでは、ユーザは、自身の頭部が扉ｕｄ０１の右端又は扉ｕｄ０２の左端に対面する位置において、扉ｕｄ０１、ｕｄ０２を操作する。そのため、収音部１３は、扉ｕｄ０１、ｕｄ０２、ｄｗ０１、ｄｗ０２、ｄｗ０３の開閉に関わらずユーザが発話した音声を明瞭に収音することができる。
(Example of arrangement of sound collection unit)
FIG. 5 is a diagram illustrating an arrangement example of the
In the example illustrated in FIG. 5A, the
図５（ｂ）に示す例では、保管庫１０は、４個の扉ｕｄ０３、ｄｗ０１、ｄｗ０２、ｄｗ０３を備える。ｕｄ０３は、いわゆる片開きの扉を構成している。扉ｕｄ０３の左端は、保管庫１０の本体に蝶着され、扉ｕｄ０３の右端が垂直軸周りに回転可能に構成されている。扉ｕｄ０３、ｄｗ０１、ｄｗ０２、ｄｗ０３がそれぞれ閉鎖されているか開放されているかに関わらず、扉ｕｄ０３と扉ｄｗ０１との間には、保管庫１０本体の正面にはいかなる扉にも覆われずに露出している間隙がある。収音部１３は、この間隙のうち、扉ｕｄ０３が閉鎖されている状態においてその右端から所定範囲内に設置される。ユーザは、頭部が扉ｕｄ０３の右端に対面する位置において、扉ｕｄ０３を操作する。この配置により、収音部１３は、扉ｕｄ０１、ｕｄ０２、ｄｗ０１、ｄｗ０２、ｄｗ０３の開閉に関わらず保管庫１０のユーザの発話音声を明瞭に収音することができる。
In the example shown in FIG. 5B, the
保管庫１０が備える保管室の個数は、図５（ｃ）に示すように１個であってもよい。図５（ｃ）に示す例では、保管庫１０は、２個の扉ｓｄ０１、ｓｄ０２を備える。ｓｄ０１、ｓｄ０２は、いわゆる観音開きの扉をなす。扉ｓｄ０１、ｓｄ０２それぞれの左端、右端は、保管庫１０の本体部に蝶着され、扉ｓｄ０１、ｓｄ０２それぞれの右端、左端が垂直軸周りに回転可能に構成されている。扉ｓｄ０１、ｓｄ０２がそれぞれ閉鎖されているか開放されているかに関わらず、扉ｓｄ０１、ｓｄ０２の下部において、保管庫１０本体の正面のうち露出している部分がある。収音部１３は、この部分のうち、閉鎖されている状態において扉ｓｄ０１の右端又は扉ｓｄ０２の左端から所定範囲内に設置される。ユーザは、頭部の中心部が扉ｕｄ０３の右端に対面する位置において扉ｓｄ０１、ｓｄ０２を操作する。この配置により、収音部１３は、扉ｓｄ０１、ｓｄ０２の開閉に関わらず保管庫１０のユーザの発話音声を明瞭に収音することができる。
The number of storage rooms provided in the
なお、収音部１３は、再生部１７から十分に離れた位置に設置されてもよい。また、収音部１３には、正面に開口を有する遮音カバーで覆われてもよい。そのため、ユーザが発話した音声のレベルの低下を回避もしくは緩和するとともに、再生部１７から収音部１３に到来する音声のレベルを低減することができる。再生部１７からの音声の回り込みによるハウリングや音声認識処理における誤認識を回避もしくは緩和することができる。
The
（音声認識辞書）
次に、本実施形態に係る音声認識辞書１５１の一例について説明する。
図６は、本実施形態に係る音声認識辞書１５１の一例を示す図である。
音声認識辞書１５１は、認識対象の単語として保管対象となりうる標準食品名と、その発話とを対応付けてなる認識情報を、標準食品名間で集積してなるデータである。図５に示す例では、第１列、第２列に、それぞれ発話、標準食品名が示されている。標準食品名とは、その食品の所定の標準とする名称である。１個の標準食品名に対応付けられる発音は、１個に限られず２個以上であってもよい。対応付けられる発話は、必ずしも標準食品名の発話に限られず、その通称、略称、幼児語などの変名が含まれてもよい。第２行に示す例では、標準食品名「りんご」について、３通りの発話「リンゴ」、「アップル」、「リンギョ」が対応付けられている。音声認識部１４２は、それら３通りの発話のいずれかを認識するとき、認識した発話に対応する標準食品名「りんご」を特定することができる。これにより、変名の発話が認識されたときでも、その変名に対応する標準食品名が特定される。なお、標準食品名は、その取引形態に応じた名称であってもよい。例えば、図６の第４行〜第６行では、「たまご」に関して「たまご」、「たまご（１０個入りパック）」及び「たまご（６個入りパック）」にそれぞれ標準食品名が与えられている。また、取引単位や重量の大きさなどの種別を示す補足情報は、標準食品名に対応付けられていれば、その標準食品名とは別個の構成であってもよい。例えば、「たまご（１０個入りパック）」について、標準食品名「たまご」と補足情報「１０個入りパック」とは別個に設定されてもよい。
(Voice recognition dictionary)
Next, an example of the
FIG. 6 is a diagram illustrating an example of the
The
（リファレンスデータ）
次に、本実施形態に係るリファレンスデータの例について説明する。
図７は、本実施形態に係るリファレンスデータの一例を示す図である。
リファレンスデータは、個々の参照情報が集積してなるデータである。参照情報は、リファレンスＩＤ（ＲｅｆＩＤ：Ｒｅｆｅｒｅｎｃｅ Ｉｄｅｎｔｉｆｉｅｒ）、標準食品名、補足情報、標準重量、単位、分類、標準保管期間（標準賞味期間）を含み、これらが対応付けて構成される。例えば、図７の第３行には、リファレンスＩＤ「Ｒｅｆ００２」、標準食品名「玉ねぎ」、補足情報「Ｍサイズ１個」、標準重量１５０ｇ、単位「個」、分類「野菜」、標準保管期間「３週間」が対応付けられている。個々の参照情報は、標準食品名と補足情報の組毎に構成され、それぞれ別個の種類の食品として処理されてもよい。標準食品名、補足情報は、それぞれ内容物、種別を示す。なお、−印は、該当項目が設定されていないことを示す。
(Reference data)
Next, an example of reference data according to the present embodiment will be described.
FIG. 7 is a diagram illustrating an example of reference data according to the present embodiment.
Reference data is data obtained by collecting individual reference information. The reference information includes a reference ID (RefID: Reference Identifier), a standard food name, supplementary information, a standard weight, a unit, a classification, and a standard storage period (standard taste period), and these are associated with each other. For example, in the third row of FIG. 7, the reference ID “Ref002”, the standard food name “onion”, the supplementary information “
リファレンスデータの用途の一つは、内容物の種別の特定である。ここで、認識された食品名について複数の種別があるとき、保管状態判定部１４５は、認識された食品名と同一の標準食品名と照合される重量の増加量に対して標準重量が最も近似する補足情報を内容物の種別として選択する。この重量の増加量は、入庫により重量変化検出部１４４において検出される重量の増加量である。例えば、標準食品名「玉ねぎ」が認識され、重量の増加量が２２０ｇであるとき、保管状態判定部１４５は、標準食品名「玉ねぎ」にそれぞれ対応する標準重量１５０ｇ、２００ｇ、１００ｇのうち、２２０ｇに最も近似する２００ｇに対応する補足情報「Ｌサイズ１個」を特定する。
One use of the reference data is to specify the type of content. Here, when there are a plurality of types for the recognized food name, the storage
リファレンスデータの他の用途には、食品名の誤認識の検出がある。ここで、照合される重量の増加量が認識された食品名と同一の標準食品名に対応する標準重量から所定範囲外にあるとき、保管状態判定部１４５は、認識された食品名が誤認識されたと判定する。例えば、標準食品名「ピーマン」が認識され、標準重量の所定範囲が、最も小さい種別の標準重量の７０％以上最も高い種別の標準重量の１５０％以内である場合を仮定する。重量の増加量が２００ｇであるとき標準重量の所定範囲外であるため、保管状態判定部１４５は、標準食品名が誤認識されたと推定する。
Another use of reference data is to detect misrecognition of food names. Here, when the increase in weight to be collated is outside the predetermined range from the standard weight corresponding to the same standard food name as the recognized food name, the storage
誤認識されたと推定するとき、通知制御部１４６は食品名照会情報を示す音声信号を再生部１７に出力してもよい。食品名照会情報には、誤認識が推定された標準食品名をユーザに照会し、再発話の指示を含むメッセージが含まれてもよい。食品名照会情報には、例えば、次の情報が含まれてもよい。 「入庫されたものはピーマンですね？違っていたら正しい食品名をおっしゃって下さい」 食品名照会情報の出力後、所定期間（例えば、３〜５秒）以内に音声認識部１４２から食品名を示す音声認識情報が入力されるとき、保管状態判定部１４５は、誤認識が推定された食品名を、新たに入力される食品名に置き換えてもよい。食品名照会情報の出力後、所定期間以内に音声認識部１４２から肯定応答が入力されるとき、保管状態判定部１４５は、誤認識が推定される食品名を正しく認識された食品名として確定してもよい。肯定応答は、例えば、食品名照会情報に対する肯定を示す応答、例えば、「はい」などの応答である。また、食品名照会情報の出力後、所定期間以内に音声認識部１４２から認識データが入力されないとき、保管状態判定部１４５は、入庫された食品の食品名を不明であると判定してもよい。以上の処理により、標準重量から著しく乖離した重量を有する食品の食品名の誤認識が克服される。なお、本実施形態では、※印が付されている項目、即ち、単位、分類及び標準保管期間は必要とされず、省略されてもよい。なお、リファレンスデータのその他の用途については、後述する。
When estimating that it has been erroneously recognized, the
（食品管理処理）
次に、本実施形態に係る食品管理処理の一例について説明する。
図８は、本実施形態に係る食品管理処理の一例を示すフローチャートである。
（ステップＳ１０１）開閉検出部１４３は、保管庫１０の開閉センサから入力される開閉状態信号に基づいて扉が開放されたか否かを判定する。開放されたと判定されるとき（ステップＳ１０１ ＹＥＳ）、音声区間検出部１４１、音声認識部１４２、重量変化検出部１４４の動作を開始させ、ステップＳ１０２の処理に進む。閉鎖されていると判定されるとき（ステップＳ１０１ ＮＯ）、ステップＳ１０１の処理を繰り返す。
（ステップＳ１０２）音声認識部１４２は、音声区間検出部１４１から入力される音声区間内の音声信号について音声認識処理を行う。音声認識部１４２は、音声認識辞書１５１を参照して、音声認識処理結果として得られる発話に対応する標準食品名を認識する。また、重量変化検出部１４４は、重量センサ１２から入力される重量信号が示す重量の変化を検出する。その後、ステップＳ１０３の処理に進む。
（ステップＳ１０３）開閉検出部１４３は、保管庫１０の開閉センサから入力される開閉状態信号に基づいて開放された扉が閉鎖されたか否かを判定する。閉鎖されたと判定されるとき（ステップＳ１０３ ＹＥＳ）、ステップＳ１０４の処理に進む。閉鎖されていないと判定されるとき（ステップＳ１０３ ＮＯ）、ステップＳ１０２の処理に戻る。
(Food management processing)
Next, an example of the food management process according to the present embodiment will be described.
FIG. 8 is a flowchart showing an example of the food management process according to the present embodiment.
(Step S <b> 101) The open /
(Step S102) The
(Step S103) The open /
（ステップＳ１０４）音声区間検出部１４１、音声認識部１４２、重量変化検出部１４４は、それぞれの動作を終了する。その後、ステップＳ１０５の処理に進む。
（ステップＳ１０５）保管状態判定部１４５は、認識された標準食品名と重量変化の検出時刻が標準食品名の認識時刻から所定範囲内である重量変化とを照合し、照合された重量の増加量を入庫された食品の重量として判定し、その食品の種別を示す補足情報を判定する。また、保管状態判定部１４５は、重量の減少量から所定の範囲内の重量を有する食品を食品管理データが示す在庫食品から特定し、特定した食品を出庫された食品として判定し、出庫された食品を在庫食品から除外する。その後、ステップＳ１０６の処理に進む。
（ステップＳ１０６）保管状態判定部１４５は、標準食品名、補足情報、入庫時刻、重量及び保管場所を含みそれらの情報が対応付けられた入庫情報を生成し、生成した入庫情報を食品管理データに登録する。保管状態判定部１４５は、出庫時刻、重量、保管場所及び出庫を示す保管状態情報を対応付けて出庫情報を生成、その出庫に係る標準食品名及び補足情報と対応付けて食品管理データに登録する。その後、図８の処理を終了する。
(Step S104) The voice
(Step S105) The storage
(Step S106) The storage
なお、ステップＳ１０３の処理において、音声認識部１４２が終了指示を示す単語を認識するとき（ステップＳ１０３ ＹＥＳ）、ステップＳ１０４の処理に進んでもよい。終了指示は、音声認識処理の終了を指示するための音声コマンドである。終了指示を示す単語は、例えば、「終わり」、「やめ」、「ストップ」などである。また、ユーザの操作により操作入力部１８から終了指示を示す操作信号が入力されるとき（ステップＳ１０３ ＹＥＳ）、ステップＳ１０４の処理に進んでもよい。
また、ステップＳ１０５の処理や、通知制御部１４６による各種発話の指示（食品名要求情報、出庫食品照会情報［後述］、再入庫照会情報［後述］、出庫食品照会情報［後述］、等）を含む音声信号の再生部１７への出力は、扉の開放中に行われてもよい。その出力後、所定期間内において、音声認識部１４２は音声区間検出部１４１から入力される音声信号に対して音声認識処理を行い、その処理結果である発話内容、例えば、食品名を取得する。
In the process of step S103, when the
In addition, the processing of step S105 and instructions of various utterances by the notification control unit 146 (food name request information, outgoing food inquiry information [described later], re-entry inquiry information [described later], outgoing food inquiry information [described later], etc.) The output of the included audio signal to the
（食品名認識処理）
次に、本実施形態に係る食品名認識処理の一例について説明する。
図９は、本実施形態に係る食品名認識処理の一例を示すフローチャートである。
（ステップＳ１１１）音声区間検出部１４１は、収音部１３から入力される音声信号について、所定時間毎に音声区間検出処理を行い、所定時間毎の区間が音声区間であるか否かを判定する。音声区間であると判定するとき（ステップＳ１１１ ＹＥＳ）、ステップＳ１１２の処理に進む。音声区間ではないと判定するとき（ステップＳ１１１ ＮＯ）、ステップＳ１１１の処理を繰り返す。
（ステップＳ１１２）音声区間検出部１４１は、音声区間であると判定された音声信号を切り出し、音声認識部１４２に出力する。その後、ステップＳ１１３の処理に進む。
（ステップＳ１１３）音声認識部１４２は、音声区間検出部１４１から入力される音声信号について音声認識処理を行う。その後、ステップＳ１１４の処理に進む。
（ステップＳ１１４）音声認識部１４２は、音声認識辞書１５１を参照して認識した発話に対応する標準食品名を判定する。その後、ステップＳ１１５の処理に進む。
（ステップＳ１１５）音声認識部１４２は、その時点の時刻を認識時刻として特定し、判定した標準食品名と認識時刻のセットを音声認識情報として保管状態判定部１４５に出力する。その後、ステップＳ１１１の処理に進む。
(Food name recognition process)
Next, an example of the food name recognition process according to the present embodiment will be described.
FIG. 9 is a flowchart illustrating an example of the food name recognition process according to the present embodiment.
(Step S111) The voice
(Step S <b> 112) The speech
(Step S113) The
(Step S114) The
(Step S115) The
（重量変化検出処理）
次に、本実施形態に係る重量変化検出処理の一例について説明する。
図１０は、本実施形態に係る重量変化検出処理の一例を示すフローチャートである。
（ステップＳ１２１）重量変化検出部１４４は、重量センサ１２から入力される重量信号が示す重量について、有意な重量の変化が検出されたか否かを判定する。重量変化検出部１４４は、所定時間（例えば、５０ｍｓ）毎も重量を検出し、直前に検出した重量からその時点に検出した重量への変化量が、所定の変化量の閾値（例えば、２ｇ〜５ｇ）を超える場合、重量の変化を検出したと判定し、それ以外の場合、重量の変化を検出していないと判定する。重量の変化が検出されるとき（ステップＳ１２１ ＹＥＳ）、ステップＳ１２２の処理に進む。重量の変化が検出されないとき（ステップＳ１２１ ＮＯ）、ステップＳ１２１の処理を繰り返す。
（ステップＳ１２２）重量変化検出部１４４は、重量の変化を検出した重量センサ１２が設置される保管場所を特定し、その時点の時刻を検出時刻として特定する。重量変化検出部１４４は、重量の変化量、保管場所及び検出時刻のセットを示す重量変化検出情報を生成し、生成した重量変化検出情報を保管状態判定部１４５に出力する。その後、ステップＳ１２１の処理に進む。
(Weight change detection process)
Next, an example of the weight change detection process according to the present embodiment will be described.
FIG. 10 is a flowchart illustrating an example of the weight change detection process according to the present embodiment.
(Step S121) The weight
(Step S122) The weight
（入庫情報処理）
次に、本実施形態に係る入庫情報処理の一例について説明する。入庫情報処理は、保管庫に食品が入庫されるときに行われる重量変化検出処理の一態様である。
図１１は、本実施形態に係る重量変化の一検出例を説明するための説明図である。
図１１に示す例では、保管庫１０内の保管室が３枚のトレイｔｒ０１〜ｔｒ０３で区分され、トレイｔｒ０１〜ｔｒ０３には、それぞれ重量センサ１２−１〜１２−３が設置されている。図１１（ａ）は、扉の開放当初においてｔｒ０３上に６本の「缶ビール」が保管されていることを示し、トレイｔｒ０１、ｔｒ０２には食品が保管されていないことを示す。図１１（ｂ−１）は、扉が開放されているときにトレイｔｒ０１上に「りんご」が新たに入庫されたことを示す。このとき、重量変化検出部１４４は、重量センサ１２−１が検出した重量の増加を検出し、その検出時刻、増加量、重量センサ１２−１に対応する保管場所としてトレイｔｒ０１を示す重量変化検出情報を生成する。図１１（ｂ−２）は、生成された重量変化検出情報の一例を示す。図１１（ｂ−２）の第２行に示す例では、重量変化の識別番号（Ｎｏ．）「１」について、検出時刻「２０１６／９／７ １２：３４：４８」、増加量（重量）「８４０ｇ」、保管場所「トレイｔｒ０１」が対応付けられている。
(Receiving information processing)
Next, an example of warehousing information processing according to the present embodiment will be described. The warehousing information processing is an aspect of a weight change detection process that is performed when food is stored in the storage.
FIG. 11 is an explanatory diagram for explaining a detection example of weight change according to the present embodiment.
In the example shown in FIG. 11, the storage chamber in the
図１１（ｃ−１）は、扉が開放されているときに、さらにトレイｔｒ０１上に「たまご」が、トレイｔｒ０３上に「牛乳」が入庫されたことを示す。図１１（ｃ−２）は、「たまご」と「牛乳」の入庫に起因して生成された重量変化検出情報の他の例を示す。図１１（ｃ−２）の第３行に示す例では、重量変化の識別番号「２」について、検出時刻「２０１６／９／７ １２：３５：１０」、増加量「５３０ｇ」及び保管場所「トレイｔｒ０１」が対応付けられている。 FIG. 11C-1 shows that when the door is opened, “tamago” is further received on the tray tr01 and “milk” is received on the tray tr03. FIG. 11 (c-2) shows another example of the weight change detection information generated due to the receipt of “egg” and “milk”. In the example shown in the third row of FIG. 11C-2, the detection time “2016/9/7 12:35:10”, the increase amount “530 g”, and the storage location “ “Tray tr01” is associated.
（保管状態判定処理）
次に、本実施形態に係る保管状態判定処理の一例について説明する。図１２は、本実施形態に係る保管状態判定処理の一例を説明するための説明図である。
図１２（ａ）は、音声認識部１４２から入力される音声認識情報の一例を示す。この音声認識情報は、図１１に示す例においてユーザが食品を保管庫１０に入庫しながら、それぞれの食品名「りんご」、「たまご」、「牛乳」を発声するときに得られる。
図１２（ａ）の第２行に示す例では、音声認識情報の識別番号（Ｎｏ．）「１」に認識時刻「２０１６／９／７ １２：３４：４８」と食品名「りんご」が対応付けられている。図１２（ｂ）に示す重量変化検出情報は、図１１（ｃ−２）に示す重量変化検出情報と同様である。図１２（ｃ）は、入庫情報の一例を示す。この入庫情報は、保管状態判定部１４５が、図１２（ａ）に示す音声認識情報と図１２（ｂ）に示す重量変化検出情報に基づいて生成して得られる。
(Storage status judgment process)
Next, an example of the storage state determination process according to the present embodiment will be described. FIG. 12 is an explanatory diagram for explaining an example of a storage state determination process according to the present embodiment.
FIG. 12A shows an example of voice recognition information input from the
In the example shown in the second row of FIG. 12A, the recognition time “2016/9/7 12:34:48” and the food name “apple” correspond to the identification number (No.) “1” of the voice recognition information. It is attached. The weight change detection information shown in FIG. 12 (b) is the same as the weight change detection information shown in FIG. 11 (c-2). FIG.12 (c) shows an example of warehousing information. This warehousing information is obtained and generated by the storage
ここで、保管状態判定部１４５は、音声認識情報と重量変化検出情報を照合する際、音声認識情報に含まれる認識時刻から所定時間内である検出時刻を含む重量変化検出情報を特定する。例えば、保管状態判定部１４５は、図１２（ａ）の第２行に示す認識時刻「２０１６／９／７ １２：３４：４８」と同じ時刻である検出時刻「２０１６／９／７ １２：３４：４８」を含む重量変化検出情報を特定する（図１２（ｂ）第２行）。ここで、保管状態判定部１４５は、個々の入庫情報を示す入庫識別番号を発行する。保管状態判定部１４５は、発行した入庫識別番号（Ｎｏ．）、入庫時刻、重量変化検出情報に含まれる重量増加量（重量）、保管場所及び音声認識情報に含まれる食品名を含み、それぞれ対応付けてなる入庫情報を生成する。保管状態判定部１４５は、認識時刻とこれに対応する検出時刻のいずれかを入庫時刻として定めてもよい。図１２（ｃ）の第２行に示す例では、入庫識別番号「１」、入庫時刻「２０１６／９／７ １２：３４：４８」、保管場所「トレイｔｒ０１」及び食品名「りんご」を含み、それらが互いに対応付けられている。
Here, the storage
なお、扉の開放から閉鎖までの開放期間内に取得された音声認識情報に含まれる食品名の個数と検出された重量の増加回数とが異なる場合がある。その場合には、保管状態判定部１４５は、認識時刻と検出時刻の差の食品名間もしくは重量の増加間の総和が最も小さくなるように認識時刻と検出時刻とを照合する。認識時刻に対応する食品名の個数の方が検出時刻に対応する重量の増加の回数よりも多いために重量の増加と対応付けられることができない食品名が存在する場合がありうる。その場合には、保管状態判定部１４５は、重量の増加と対応付けられない食品名を棄却する。これに対し、認識時刻に対応する食品名の個数の方が検出時刻に対応する重量の増加の回数よりも少ないために、食品名と対応付けられることができない重量の増加が存在する場合がありうる。その場合には、保管状態判定部１４５は、その重量の増加に対して食品名が不明であると推定する。
Note that the number of food names included in the speech recognition information acquired during the opening period from the opening of the door to the closing may be different from the number of detected weight increases. In that case, the storage
食品名が不明であると推定されるとき、通知制御部１４６は食品名要求情報を示す音声信号を再生部１７に出力してもよい。食品名要求情報には、入庫した食品名の再発話の指示を含むメッセージが含まれる。食品名要求情報には、さらに入庫した食品の保管場所が含まれてもよい。食品名要求情報には、例えば、次の情報が含まれる。「トレイｔｒ０１に入庫された食品名は何ですか？」。食品名要求情報の出力後、所定期間（例えば、３〜５秒）以内に音声認識部１４２から食品名が入力されるとき、保管状態判定部１４５は、不明と推定した食品名を、入力された食品名に置き換え、置き換えた食品名を重量の増加と対応付けてもよい。また、食品名要求情報の出力後、所定期間以内に音声認識部１４２から食品名が入力されないとき、保管状態判定部１４５は、入庫された食品の食品名が不明であると確定してもよい。
When it is estimated that the food name is unknown, the
（食品管理データ）
次に、食品管理データの例について説明する。図１３は、本実施形態に係る食品管理データの一例を示す図である。
図１３に示す例では、食品管理データは、食品管理番号（Ｎｏ．）、情報更新日時、食品名、補足情報、個数、単位、重量、保管場所、参照ＩＤ（Ｒｅｆ ＩＤ）、入庫時刻、最終出庫日及び賞味期限を要素として含み、これらが対応付けてなる。図１３において、網掛けで示されている部分は、図１２（ｃ）に示す入庫情報に基づいて新たに追加された部分である。食品管理番号は、新たに入庫される食品毎の識別番号である。保管状態判定部１４５は、新たに入庫される食品の入庫情報が生成される毎に新たな食品管理番号を発行する。情報更新日時は、最後に更新された時刻を示す。情報の更新は、主に入庫される食品の一部もしくは全部の出庫（取り出し）及び再入庫に伴って生じる。最終出庫日は、入庫される食品の一部が最後に出庫される時刻が属する日の日付である。賞味期限は、入庫時刻が属する日から、その食品名に係る標準保管期間後となる保管期限の日付である。その食品名に複数通りの参照情報が対応付けられている場合には、保管状態判定部１４５は、リファレンスデータを参照して、入庫情報が示す食品名と重量に基づいて参照情報を定める。保管状態判定部１４５は、リファレンスデータから、その食品名又は食品名と補足情報の組に対応する参照ＩＤ、単位、標準保管期間を読み出す。そして、保管状態判定部１４５は、入庫情報に含まれる入庫時刻、重量、保管場所及び食品名の情報に、食品管理番号、情報更新日時、補足情報（特定された場合）、個数、単位、参照ＩＤ及び賞味期限の情報を付加して食品管理情報を生成してもよい。保管状態判定部１４５は、生成した食品管理情報を食品管理データに登録する。保管状態判定部１４５は、情報更新日時として、その時点の時刻を採用してもよい。保管状態判定部１４５は、個数として、補足情報で特定される１セットの食品に含まれる区分数を採用してもよい。例えば、参照ＩＤ（Ｒｅｆ０１１）の「たまご」の「Ｍサイズ・１０個」について「１０」が、この区分数として採用される。図１３の第３〜５行に示す例では、入庫時刻として図１２（ｃ）に示す認識時刻又は検出時刻が採用されている。保管状態判定部１４５は、入庫時刻として、その食品の入庫直後に扉が閉鎖された時刻を採用してもよい。図１３の第４行に示す「りんご」の個数を定める際、保管状態判定部１４５は、リファレンスデータを参照して食品名「りんご」に対応する１個当たりの標準重量「１００ｇ」を取得する。保管状態判定部１４５は、重量「２８０ｇ」を標準重量「１００ｇ」で除算して得られる実数値２．８に最も近似する整数３を「りんご」の個数として定める。なお、図１３の第２行に示す例では、補足情報、個数、単位、参照ＩＤ及び賞味期限が設定されていない。食品名が不明であるために、リファレンスデータから食品名に基づいて参照情報を取得できないためである。
(Food management data)
Next, an example of food management data will be described. FIG. 13 is a diagram illustrating an example of food management data according to the present embodiment.
In the example shown in FIG. 13, the food management data includes the food management number (No.), information update date / time, food name, supplementary information, number, unit, weight, storage location, reference ID (Ref ID), warehousing time, last time. The shipping date and the expiration date are included as elements, and these are associated with each other. In FIG. 13, the shaded portion is a portion that is newly added based on the warehousing information shown in FIG. The food management number is an identification number for each food that is newly received. The storage
（出庫情報処理）
次に、本実施形態に係る出庫情報処理の一例について説明する。出庫情報処理は、保管庫に食品が出庫されるときに行われる重量変化検出処理の一態様である。
図１４は、本実施形態に係る重量変化の他の検出例を説明するための説明図である。
図１４（ａ）に示す例では、扉の開放当初においてトレイｔｒ０１に物品名が「不明」とされた１個の物品、３個の「りんご」及び１０個の「たまご」が保管され、トレイｔｒ０３において６個の「缶ビール」及び１個の「牛乳」が保管されている。
図１４（ｂ）は、扉が開放されているときトレイｔｒ０３から「牛乳」が出庫される状況を示す。このとき、重量変化検出部１４４は、重量センサ１２−３から入力される重量信号が示す重量の減少を検出し、保管場所、重量の減少量及び検出時刻を示す重量変化検出情報を生成し、保管状態判定部１４５に出力する。重量変化検出部１４４は、保管場所として重量センサ１２−３に係る「トレイｔｒ０３」、検出時刻としてその時点の時刻を特定する。保管状態判定部１４５は、重量変化検出部１４４から入力される重量変化検出情報が示す重量の減少量「５４０ｇ」から所定の重量の範囲内である重量「５５０ｇ」を有する食品「牛乳」をメモリー１５に記憶されている食品管理データから特定する。保管状態判定部１４５は、特定した食品について検出時刻、重量変化量、保管場所及び出庫を示す出庫情報を生成し、生成した出庫情報に基づいて食品管理データを更新する。ここで、保管状態判定部１４５は、食品管理データが示す牛乳の個数を１個減少させる。保管状態判定部１４５は、個数が０になったことに応じて、重量を０にリセットし、保管場所の情報を削除してもよい。重量のリセットにより、入出庫が繰り返されることで生じる重量の誤差の累積が解消される。図１４（ｂ）に示す出庫の例では、音声認識情報が用いられない。
(Outgoing information processing)
Next, an example of leaving information processing according to the present embodiment will be described. The outgoing information processing is an aspect of a weight change detection process performed when food is delivered to the storage.
FIG. 14 is an explanatory diagram for explaining another detection example of the weight change according to the present embodiment.
In the example shown in FIG. 14 (a), one article, the three "apples" and the ten "tamago" whose article names are "unknown" are stored in the tray tr01 when the door is opened. In tr03, six “canned beers” and one “milk” are stored.
FIG. 14B shows a situation where “milk” is delivered from the tray tr03 when the door is opened. At this time, the weight
図１４（ｃ）に示す例では、牛乳がトレイｔｒ０３から出庫された後、牛乳がトレイｔｒ０２に入庫される。保管状態判定部１４５は、出庫の検出時刻から所定時間（例えば、３〜５分）以内に、重量変化検出部１４４から重量の増加を示す重量変化検出情報が入力され、かつ重量の増加量が、出庫における重量の減少量以下であるとき、出庫に係る物品が再入庫されたと推定してもよい。この推定において、保管状態判定部１４５は、音声認識部１４２から入力される認識データを参照しない。また、図１４（ｂ）に示す状態から図１４（ｃ）に示す状態に遷移する期間において、扉の開放が継続されてもよいし、一時的に扉が閉鎖されてもよい。再入庫されたと仮に判定されるとき、通知制御部１４６は再入庫照会情報を示す音声信号を再生部１７に出力してもよい。再入庫照会情報には、入庫される食品がその時点までの所定時間以内に出庫された食品であるか否かの照会を含むメッセージが含まれてもよい。再入庫照会情報には、例えば、次の情報が含まれてもよい。 「入庫された牛乳は、さきほど取り出された牛乳ですか？ 正しい場合には「はい」と、違う場合には食品名をお答え下さい」 再入庫照会情報の出力後、所定期間（例えば、３〜５秒）以内に音声認識部１４２から肯定応答が入力されるとき、保管状態判定部１４５は、保管状態を再入庫と確定し、その時点までの所定期間内に出庫された食品の食品名として、入庫された食品の食品名と同一の食品名を定めてもよい。そして、再入庫照会情報の出力後、所定期間以内に音声認識部１４２から食品名が入力されるとき、保管状態判定部１４５は、保管状態を通常の入庫と定め、入力される食品名を入庫された物品の物品名として定めてもよい。それ以外の場合、保管状態判定部１４５は、入庫された物品の物品名を不明であると判定してもよい。保管状態判定部１４５は、定めた物品について上述したように入庫情報を生成し、生成した入庫情報に基づいて食品管理データを更新する。また、保管状態判定部１４５は、食品管理データが示す食品名と対応付けて、生成した入庫情報をメモリー１５に記憶する。
In the example shown in FIG. 14C, after milk is delivered from the tray tr03, the milk is placed in the tray tr02. The storage
図１５は、本実施形態に係る食品管理データの他の例を示す図である。図１５は、トレイｔｒ０２に「牛乳」の再入庫により更新された状態を示す。図１３に示す食品管理データとの主な差異点は、図１５の第６行に示す再入庫に係る「牛乳」に関する情報である。食品管理番号「５」に、情報更新日時「２０１６／９／８ ８：１３」、食品名「牛乳」、補足情報「５００ｍｌ」、個数「１」、「個」、重量「４００ｇ」、保管場所「トレイｔｒ０２」、参照ＩＤ「Ｒｅｆ０１７」、入庫時刻「２０１６／９／７ １２：３６」、最終出庫日「２０１６／９／８」及び賞味期限「２０１６／９／１７」が対応付けられている。情報更新日時として再入庫に係る入庫時刻が採用されている。個数、重量、保管場所として、再入庫された物品の個数、重量、保管場所がそれぞれ採用されている。これに対し、最終出庫日として、最後の出庫時刻が属する日の日付が採用されている。また、食品名、補足情報、単位、参照ＩＤ、入庫時刻、賞味期限として、入庫の際に特定された食品名、補足情報、単位、参照ＩＤ、入庫時刻、賞味期限が採用されている。これらの情報は、入庫よりも後に行われた出庫、再入庫に関わらず変化しないためである。 FIG. 15 is a diagram illustrating another example of the food management data according to the present embodiment. FIG. 15 shows a state updated by re-entry of “milk” to the tray tr02. The main difference from the food management data shown in FIG. 13 is information on “milk” related to re-entry shown in the sixth line of FIG. Food update number “5”, information update date “2016/9/8 8:13”, food name “milk”, supplemental information “500 ml”, number “1”, “piece”, weight “400 g”, storage location "Tray tr02", reference ID "Ref017", warehousing time "2016/9/7 12:36", last delivery date "2016/9/8", and expiration date "2016/9/17" are associated with each other. . The warehousing time for re-entry is adopted as the information update date. As the number, weight, and storage location, the number, weight, and storage location of the re-stocked article are employed. On the other hand, the date of the day to which the last delivery time belongs is adopted as the last delivery date. In addition, as the food name, supplemental information, unit, reference ID, warehousing time, and expiration date, the food name, supplemental information, unit, reference ID, warehousing time, and expiration date specified at the time of warehousing are adopted. This is because these pieces of information do not change regardless of delivery or re-entry performed after warehousing.
図１６は、本実施形態に係る消費履歴情報の一例を示す図である。図１６に示す消費履歴情報は、図１５に示す食品管理データが示す食品名「牛乳」に対応付けて記憶される。図１６の各行には、履歴番号（履歴Ｎｏ．）と対応付けて「牛乳」の保管状態の変化に係るイベントの情報が記録されている。第２行には、入庫に係る入庫情報、第３行には、出庫（取り出し）に係る出庫情報、第４行には、再入庫に係る入庫情報を示す。第４行に示す消費量「１４０ｇ」は、保管状態判定部１４５が、直前の出庫に係る重量の減少量である「５４０ｇ」から再入庫に係る重量の増加量である「４００ｇ」を差し引いて得られる。
FIG. 16 is a diagram showing an example of consumption history information according to the present embodiment. The consumption history information shown in FIG. 16 is stored in association with the food name “milk” indicated by the food management data shown in FIG. In each row of FIG. 16, event information relating to a change in the storage state of “milk” is recorded in association with the history number (history No.). The second row shows warehousing information related to warehousing, the third row shows warehousing information related to warehousing (removal), and the fourth row shows warehousing information related to re-stocking. The consumption amount “140 g” shown in the fourth row is obtained by subtracting “400 g”, which is the increase in weight related to re-entry, from “540 g”, which is the decrease in weight related to the previous delivery, by the storage
次に、本実施形態に係る出庫情報処理の他の例について説明する。図１７は、本実施形態に係る重量変化のさらに他の検出例を説明するための説明図である。図１７に示す例では、当初保管庫１０内の各トレイにおいて保管されている食品とその個数は、図１４（ａ）に示す例と同様である。トレイｔｒ０３には、１個の「牛乳」と１セットの「ビール」が既に入庫されている。１セットの「ビール」は、その区分（小分け）として６本の「ビール」からなる。１セットの「ビール」の入庫の際、入庫情報として重量「２，２２０ｇ」、保管場所「トレイｔｒ０３」、換算量「６本」が記録される（図１８第２行）。この換算量として１セット当たりの区分数を取得する際、保管状態判定部１４５は、１セットの「ビール」について検出された重量の増加量「２，２００ｇ」に基づいて、リファレンスデータを参照して「ビール」の１本当たりの重量「３７０ｇ」を特定し、重量の増加量「２，２００ｇ」を特定した重量「３７０ｇ」で除算する。
Next, another example of leaving information processing according to the present embodiment will be described. FIG. 17 is an explanatory diagram for explaining still another detection example of the weight change according to the present embodiment. In the example shown in FIG. 17, the food stored in each tray in the
トレイｔｒ０３から１本の「ビール」が取り出されるとき、重量変化検出部１４４は、重量センサ１２−３が検出した重量において「３７０ｇ」の減少を検出する。保管状態判定部１４５は、トレイｔｒ０３に保管された１個の「牛乳」（４００ｇ）、１セットの「ビール」（２，２００ｇ）、１本の「ビール」（３７０ｇ）のうち、重量の減少量「３７０ｇ」からの所定の重量範囲内の重量を有する食品として１本の「ビール」を特定する。保管状態判定部１４５は、特定した食品「ビール」と重量の減少量に基づいて出庫情報を生成し、生成した出庫情報に基づいて食品管理データを更新する。出庫情報として、重量の減少量（重量）「−３７０ｇ」、保管場所「トレイｔｒ０３」、保管状態「一部取り出し」、消費量「３７０ｇ」、換算量「１本」が記録される（図１８第３行）。保管状態判定部１４５は、保管状態「一部取り出し」を、重量の減少量「−３７０ｇ」が当初の重量「２，２２０ｇ」の一部であることをもって判定する。保管状態判定部１４５は、換算量「１本」を重量の減少量「−３７０ｇ」が「ビール」１本当たりの重量「３７０ｇ」に相当することをもって判定する。保管状態判定部１４５は、この出庫情報をもって食品管理データを更新する。そして、保管状態判定部１４５は、その時点における保管状態を示す在庫情報を生成する。在庫情報には、その時点の時刻、残量（重量・換算量）、保管場所及び保管状態情報が含まれる（図１８第４行）。保管状態判定部１４５は、残量を算出する際、出庫前の重量「２，２２０ｇ」からその減少量「３７０ｇ」を差し引き、出庫前の換算量「６本」からその減少量「１本」を差し引く。時刻として、最後に出入庫された時刻（２０１６／９／８ １９：３０）が採用される。保管場所として、入庫時に定められた保管場所が採用される。また、保管状態情報として「残り」が設定される。この情報は、在庫情報に付加される。保管状態判定部１４５は、生成した在庫情報を消費履歴の末尾に付加する。なお、同一の食品について、さらに出庫、再入庫がなされる場合には、保管状態判定部１４５は、その都度、在庫情報を更新する。
When one “beer” is taken out from the tray tr03, the weight
なお、図１７、図１８に示す例では、上述した処理は、１セット「６本」のうち「１本」の出庫を例にするが、「２本」〜「５本」など区分単位の出庫に適用されてもよい。そのために、保管状態判定部１４５は、複数の区分からなるセットで入庫された食品が保管されている場合には、検出された重量の減少量と、１区分当たりの重量の整数倍との差が所定の重量の範囲内にあるか否かを判定する。所定の重量の範囲内にあると判定されるとき、保管状態判定部１４５は、その食品の出庫と、その倍数を出庫される区分の数として判定する。
In the example shown in FIGS. 17 and 18, the above-described processing is an example of “1” out of one set of “6”, but “2” to “5”, etc. It may be applied to the issue. Therefore, the storage
検出される重量の減少量から所定範囲内となる食品の候補又はその区分の候補が複数通り発見される場合がある。その場合、通知制御部１４６は出庫食品照会情報を示す音声信号を再生部１７に出力してもよい。出庫食品照会情報には、発見された食品又はその区分の候補のうち、出庫された食品又は区分の食品名の発話の指示を含むメッセージが含まれてもよい。出庫食品照会情報には、例えば、次の情報が含まれる。「トレイｔｒ０３から取り出されたのは、ビールと牛乳のどちらかおっしゃって下さい」出庫食品照会情報の出力後、所定期間（例えば、３〜５秒）以内に音声認識部１４２から食品名が入力されるとき、保管状態判定部１４５は、複数通りの候補のうち、入力された食品名に係る食品又はその区分の候補を特定する。また、食品名要求情報の出力後、所定期間以内に音声認識部１４２から食品名が入力されないとき、又は入力された食品名が複数通りの候補に係る食品名のいずれとも異なる場合には、出庫された食品の食品名が「不明」であると判定してもよい。その場合には、保管状態判定部１４５は、食品管理データにおいて複数通りの候補に係る食品名をいずれも「不明」と変更してもよい。
なお、「不明」と判定された食品名については、その後、ユーザが食品管理装置１０Ａにアクセスするとき、通知制御部１４６は、食品名要求情報を含む音声信号を再生部１７に出力してもよい。アクセスするときとは、例えば、次に扉が開放されるとき、保管庫１０に接近するとき、などである。食品名要求情報には、さらに保管場所の情報と重量の情報の一方又は両方が含まれてもよい。このとき、ユーザは、「不明」と判定された食品の存在に気づき、その食品名について発話することが促される。保管状態判定部１４５は、音声認識部１４２から入力された食品名を、その食品の食品名として定める。これにより、食品名が「不明」とされた食品の食品名が補われる。
There are cases where a plurality of food candidates or division candidates are found within a predetermined range from the detected weight reduction amount. In that case, the
For the food name determined as “unknown”, when the user subsequently accesses the
なお、制御部１４は、さらにデータ管理部（図示せず）を備えてもよい。データ管理部は、更新された食品管理データを食品管理装置１０Ａ自体の機器ＩＤと対応付けて食品管理データベースサーバ３０に通信部１６を介して送信する。食品管理データの送信は、その食品管理データが更新される都度行われてもよい。食品管理データベースサーバ３０は、食品管理装置１０Ａから受信した機器ＩＤと食品管理データを対応付けて記憶する。
データ管理部は、予め設定された端末ＩＤで指定される端末装置４０からデータ要求信号を受信するとき、その時点における食品管理データをメモリー１５から読み出し、読み出した食品管理データを端末装置４０に通信部１６を介して送信してもよい。端末装置４０は、食品管理装置１０Ａから受信した食品管理データを表示してもよい。
The
When the data management unit receives the data request signal from the terminal device 40 specified by the preset terminal ID, the data management unit reads the food management data at that time from the
以上に説明したように、本実施形態に係る食品管理装置１０Ａは、保管庫１０内の食品の重量の変化を検出する重量変化検出部１４４と、取得した音声から食品名を認識する音声認識部１４２を備える。また、食品管理装置１０Ａは、食品名と重量の変化量を照合してその食品の保管状態の変動を判定する保管状態判定部１４５とを備える。
この構成により、重量の変化量に基づいて保管庫１０における食品の保管状態の変動が検知され、ユーザが発話した食品名と重量の変化が対応付けられる。ユーザにおいて保管状態の変動を指示するための特段の操作を要しないため、保管庫１０における保管物の管理を効率的に行うことができる。
As described above, the
With this configuration, a change in the storage state of the food in the
また、食品管理装置１０Ａにおいて、保管状態判定部１４５は、重量変化検出部１４４が検出した重量の増加量を保管庫１０に入庫される入庫食品の重量として判定する。
この構成により、検出される重量の増加量に基づいて食品の入庫とその食品の重量が検知される。そのため、保管庫１０への食品の入庫が効率的に検出される。
Further, in the
With this configuration, the food storage and the weight of the food are detected based on the detected increase in weight. Therefore, the receipt of food in the
また、食品管理装置１０Ａにおいて、保管状態判定部１４５は、重量変化検出部１４４が検出した重量の減少量に相当する重量を有する物品を保管庫１０から出庫される出庫食品として判定する。
この構成により、検出される重量の減少に基づいて保管庫１０からの食品の出庫とその食品の重量が検知される。そのため、保管庫１０からの食品の出庫が効率的に検出される。
Further, in the
With this configuration, the delivery of food from the
また、食品管理装置１０Ａにおいて、保管状態判定部１４５は、保管庫１０からの出庫から所定時間以内に検出される重量が増加し、その重量の増加量が出庫食品の重量以下であるとき、その出庫食品の再入庫を推定する。
この構成により、保管庫１０に保管される食品の入出庫又はその繰り返しが検出される。そのため、保管される食品の保管状態の変動が継続的に検出される。よって、出庫中になされる食品の使用状態もしくは消費状態が効率的に管理される。
Further, in the
With this configuration, entry / exit of food stored in the
また、保管庫１０は、複数の保管室を備え、食品管理装置１０Ａは、保管室毎の開閉状態を検出する開閉検出部１４３を備える。また、保管状態判定部１４５は、入庫食品の入庫時に開放されている保管室を入庫食品の保管場所として判定する。
この構成により、入庫食品の保管場所の取得のために複数の重量センサ１２を必要としないため、部品点数が増加しない。そのため、経済的に食品の保管場所を管理することができる。また、ユーザにおいて保管場所を指示するための特段の操作を要しないため、効率的に保管場所の管理がなされる。
In addition, the
With this configuration, the plurality of
また、保管庫１０は、複数の保管区画を有し、食品管理装置１０Ａにおいて重量変化検出部１４４は、保管区画毎に保管される食品の重量を検出し、重量の増加が検出される保管区画を、入庫食品の保管場所として判定する。
この構成により、保管区画毎の食品の入庫が検知される。ユーザにおいて保管場所を指示するための特段の操作を要しないため、効率的に保管場所の管理がなされる。
Further, the
With this configuration, receipt of food for each storage section is detected. Since no special operation for instructing the storage location is required by the user, the storage location is efficiently managed.
また、食品管理装置１０Ａにおいて、保管状態判定部１４５は、食品毎の食品名と標準重量とを対応付けてなる参照データを用いて、認識された食品名に対応する標準重量を特定し、入庫食品の重量が標準重量から所定の範囲内にないとき、前記認識された食品名の照会情報を出力する通知制御部１４６を備える。
この構成により、入庫食品の重量が、認識された名称を有する食品の標準重量から乖離するときに、その名称の照会情報がユーザに提示される。入庫食品の重量が認識された名称を有する食品の重量として非現実的であるときに、ユーザに認識された名称に対して疑いがあることを気づかせることができる。そのため、入庫食品の名称が誤認識されるとき、その是正が図られる。
Further, in the
With this configuration, when the weight of the stored food deviates from the standard weight of the food having the recognized name, the name inquiry information is presented to the user. When the weight of the warehousing food is unrealistic as the weight of the food having the recognized name, the user can be made aware that there is a suspicion about the recognized name. Therefore, when the name of the warehousing food is misrecognized, the correction is made.
また、参照データにおいて、複数の種別を有する食品である多種別食品の標準重量は食品の種別毎に対応付けられる。保管状態判定部１４５は、入庫食品が多種別食品であるとき、参照データを用いて、入庫食品の重量に最も近似する標準重量に対応する食品の種別を特定する。
この構成により、ユーザが入庫食品の種別について発話しなくても、入庫食品の重量に基づいて、その種別が特定される。そのため、入庫食品の種類が効率的に管理される。
In the reference data, the standard weight of the various types of foods that are foods having a plurality of types is associated with each type of food. The storage
According to this configuration, even if the user does not speak about the type of the stored food, the type is specified based on the weight of the stored food. Therefore, the type of food received is efficiently managed.
また、標準重量が１区分の食品の重量であるとき、保管状態判定部１４５は、検出された重量の変化量に基づいて、その区分を単位とした保管状態の変動を判定する。
この構成により、ユーザが入出庫される食品の区分を計数しなくても区分毎に入出庫されうる食品について、重量の変化量に基づいて区分を単位として保管状態が把握される。そのため、区分毎に利用可能な食品の保管状態が効率的に管理される。
When the standard weight is the weight of one category of food, the storage
With this configuration, regarding the food that can be stored / extracted for each category without counting the category of the food that is entered / exited by the user, the storage state is grasped in units of the category based on the amount of change in weight. Therefore, the storage state of the food that can be used for each category is efficiently managed.
また、保管庫１０の正面のうち、保管庫１０の扉の開放端から所定の範囲内であって、扉で覆われない位置において音声を取得する収音部１３を備える。
この構成により、扉の開閉状態によらず、扉の開閉時にユーザの頭部に対面する方向に収音部１３が露出される。収音部１３にはユーザからの音声が扉で遮蔽されずに到来するので、入庫食品の名称をはじめユーザの発話の誤認識が回避される。
Moreover, the
With this configuration, the
また、食品管理装置１０Ａは、端末装置４０から受信する要求信号で指定される物品又は音声で認識された物品の在庫情報を出力する通知制御部１４６を備える。
この構成により、端末装置４０は食品管理装置１０Ａから物品管理データを取得することができる。そのため、保管庫１０から離れた場所に所在するユーザは、その時点における保管庫１０における物品の保管状態を把握することができる。
The
With this configuration, the terminal device 40 can acquire article management data from the
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。上述の実施形態と同一の構成については、同一の符号を付してその説明を援用する。以下の説明では、上述の実施形態との差異点を主とする。
本実施形態に係る保管状態判定部１４５は、食品管理データを参照して、保管されている食品の保管状態として保管期間又は保管量を判定する。通知制御部は判定した保管状態に応じた案内情報の生成の要否を判定する。生成した案内情報によりユーザに保管された食品の在庫管理を促す。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. About the same structure as the above-mentioned embodiment, the same code | symbol is attached | subjected and the description is used. In the following description, differences from the above-described embodiment are mainly used.
The storage
本実施形態に係る保管状態判定部１４５は、食品管理データを参照して、保管庫１０内で保管されている食品毎の保管期間を判定する。保管状態判定部１４５は、入庫時刻からその時点までの期間を保管期間として定めることができる。また、保管状態判定部１４５は、リファレンスデータを参照して、その食品に対応する標準保管期間（標準賞味期間）を特定する。保管状態判定部１４５は、判定した保管期間がその食品の標準保管期間の所定比率（０より大きく１より小さい実数、例えば、０．５）を超えているか否かを判定する。通知制御部１４６は、保管期間が標準保管期間の所定比率を超えた食品を特定し、特定した食品の消費案内を示す消費案内情報を生成する。
The storage
消費案内情報には、その食品について保管期限までの消費を示すメッセージが含まれてもよい。消費案内情報には、例えば、次の情報が含まれる。 「牛乳をあと３日以内にお使い下さい。」 通知制御部１４６は、生成した消費案内情報を示す音声信号を再生部１７に出力する。通知制御部が消費案内情報を示す音声信号を出力するタイミングは、例えば、保管期間が標準保管期間の所定比率を超えた時点から次にいずれかの扉が開放される時点であっても、その時点が属する日の所定の時刻であってもよい。扉の開放は、開閉検出部１４３からの開閉状態信号によって検出される。所定の時刻が属する時間帯は、保管庫の扉が他の時間帯よりも頻繁に開放される時間帯（例えば、夕食前の時間帯）であってもよい。このような時間帯であれば、該当する食品が消費される可能性が高いためである。また、通知制御部１４６は、再生部１７に出力することに代え、消費案内情報を示すテキストデータを端末装置４０に通信部１６を介して送信してもよい。
なお、通知制御部１４６は、保管期間が標準保管期間の所定比率以下である食品については、消費案内情報を生成しない。
The consumption guide information may include a message indicating consumption up to the storage deadline for the food. For example, the following information is included in the consumption guide information. “Use milk within three days.” The
Note that the
次に、本実施形態に係る消費案内処理の一例について説明する。
図１９は、本実施形態に係る消費案内処理の一例を示すフローチャートである。
（ステップＳ１３１）保管状態判定部１４５は、食品管理データを参照して、保管庫１０内で保管されている食品毎の保管期間を判定する。その後、ステップＳ１３２の処理に進む。
（ステップＳ１３２）保管状態判定部１４５は、判定した保管期間がその食品の標準保管期間の所定比率を超えているか否かを判定する。通知制御部１４６は、保管期間が標準保管期間の所定比率を超えた食品を特定する。保管期間が標準保管期間を超えている食品があると判定するとき（ステップＳ１３２ ＹＥＳ）、ステップＳ１３３の処理に進む。超えていない食品がないと判定するとき（ステップＳ１３２ ＮＯ）、図１９の処理を終了する。
（ステップＳ１３３）通知制御部１４６は、特定した食品の消費案内を示す消費案内情報を生成し、生成した消費案内情報を示す音声信号を再生部１７に出力する。その後、図１９に示す処理を終了する。
Next, an example of the consumption guide process according to the present embodiment will be described.
FIG. 19 is a flowchart illustrating an example of the consumption guide process according to the present embodiment.
(Step S131) The storage
(Step S132) The storage
(Step S133) The
また、保管状態判定部１４５は、食品管理データを参照して、保管庫１０内で保管されている食品のうち、所定の常備食品毎の保管量を判定する。保管量は、個数で指定されてもよいし、重量で指定されてもよい。本実施形態では、リファレンスデータにおいて、常備食品について食品名に標準保管量を対応付けて設定しておく。保管状態判定部１４５は、リファレンスデータを参照して、保管庫１０内で保管されている食品のうち、所定の常備食品毎の標準保管量を判定する。通知制御部１４６は、保管量が所定の標準保管量の所定比率（０より大きく１以下の実数、例えば、０．３）よりも少ないか否かを判定する。
通知制御部１４６は、保管量が標準保管量の所定比率よりも少ない常備食品を特定し、特定した常備食品の入庫案内を示す入庫案内情報を生成する。入庫案内情報には、例えば、次の情報が含まれる。 「たまごが少なくなっています。お買い求めください。」 通知制御部１４６は、生成した入庫案内情報を示す音声信号を再生部１７に出力する。通知制御部が入庫案内情報を示す音声信号を出力するタイミングは、例えば、保管量が標準保管量の所定比率を下回った時点でもよいし、その時点が属する日の所定の時刻であってもよい。所定の時刻が属する時間帯は、ユーザが１日の活動を開始する時間帯（例えば、朝食の時間帯）であってもよい。また、通知制御部１４６は、再生部１７に出力することに代え、入庫案内情報を示すテキストデータを端末装置４０に通信部１６を介して送信してもよい。端末装置４０に入庫案内情報を送信する時刻が属する時間帯は、ユーザが買い物を行う時間帯（例えば、１６〜１８時）であってもよい。なお、通知制御部１４６は、保管量が標準保管量の所定量以上である常備食品については、入庫案内情報を生成しない。
In addition, the storage
The
次に、本実施形態に係る入庫案内処理の一例について説明する。
図２０は、本実施形態に係る入庫案内処理の一例を示すフローチャートである。
（ステップＳ１４１）保管状態判定部１４５は、食品管理データを参照して、保管庫１０内で保管されている常備食品毎の保管量を判定する。その後、ステップＳ１４２の処理に進む。
（ステップＳ１４２）保管状態判定部１４５は、判定した保管量がその常備食品の標準保管量の所定比率よりも少ないか否かを判定する。通知制御部１４６は、保管量が標準保管量の所定比率よりも少ない常備食品を特定する。保管量が標準保管量よりも少ない常備食品があると判定するとき（ステップＳ１４２ ＹＥＳ）、ステップＳ１４３の処理に進む。少ない常備食品がないと判定するとき（ステップＳ１４２ ＮＯ）、図２０の処理を終了する。
（ステップＳ１４３）通知制御部１４６は、特定した常備食品の入庫案内を示す入庫案内情報を生成し、生成した入庫案内情報を示す音声信号を再生部１７に出力する。その後、図２０の処理を終了する。
Next, an example of warehousing guidance processing according to the present embodiment will be described.
FIG. 20 is a flowchart illustrating an example of the warehousing guidance process according to the present embodiment.
(Step S <b> 141) The storage
(Step S142) The storage
(Step S <b> 143) The
なお、ステップＳ１４１の処理において、保管状態判定部１４５は、入庫時刻からの期間が標準保管期間を超えた常備食品の保管量を保管庫１０内で保管された常備食品の全保管量から除算して、保管期間が標準期間内の保管量を算出してもよい。その場合には、保管状態判定部１４５は、保管期間が標準保管期間内である常備食品の保管量が標準保管量の所定比率よりも少ないとき入庫案内情報を生成する。よって、保管期間が標準保管期間内となるように常備食品の保管が促される。
In the process of step S141, the storage
なお、通知制御部１４６は、生成した消費案内情報、入庫案内情報を端末装置４０に通信部１６を介して送信してもよい。消費案内情報、入庫案内情報は、必ずしも音声信号として表されなくてもよく、テキストデータ又は画像データとして表されてもよい。通知制御部１４６は、消費案内情報を出力するとき、さらに該当する食品の保管場所の情報を出力してもよい。また、消費案内情報、入庫案内情報を通知制御部１４６が出力する時刻は、端末装置４０から受信した操作信号又は操作入力部１８から入力される操作信号に基づいて設定可能であってもよい。また、消費案内情報の出力の要否判定に係る標準保管期間に対する所定比率、入庫案内情報の出力の要否判定に係る標準保管量に対する所定比率も操作信号に基づいて設定可能であってもよい。また、所定比率に代えて、保管期間の閾値、保管量の閾値が設定可能であってもよい。保管期間の閾値として、入庫時刻からの経過時間が用いられてもよい。その場合には、ステップＳ１３２の処理において、保管状態判定部１４５は、標準保管期間の所定比率に代えて設定された保管期間の閾値が用いる。ステップＳ１４２の処理において、保管状態判定部１４５は、標準保管量の所定比率に代えて設定された保管量の閾値が用いる。これらの設定情報は、全食品に対して一律であってもよいし、食品名毎に設定可能であってもよい。入庫案内情報の出力において、保管状態判定部１４５は、食品管理データを参照して取得される出庫頻度又は出庫量が少ない食品ほど優先してもよい。出庫量として、重量が用いられてもよいし、数量が用いられてもよい。保管状態判定部１４５が、ステップＳ１３１、Ｓ１３２の処理を行うタイミング、ステップＳ１４１、Ｓ１４２の処理を行う時刻は、一日内の所定の時刻であってもよい。これらの時刻は、端末装置４０から受信した操作信号又は操作入力部１８から入力される操作信号に基づいて設定可能であってもよい。
Note that the
以上に説明したように、本実施形態に係る食品管理装置１０Ａの保管状態判定部１４５は、入庫期間が所定の入庫期間以上となる保管食品を特定する。また、食品管理装置１０Ａは、特定した保管食品に係る通知情報として消費案内情報を出力する通知制御部１４６を備える。
この構成により、入庫期間が長くなった保管食品に係る通知情報が提示される。そのため、ユーザは、その保管食品の使用又は消費が促される。
As described above, the storage
With this configuration, notification information related to stored foods with a long warehousing period is presented. Therefore, the user is prompted to use or consume the stored food.
また、本実施形態に係る食品管理装置１０Ａの保管状態判定部１４５は、保管量が所定の保管量以下となる食品である常備食品を特定する。また、食品管理装置１０Ａは、常備食品に係る通知情報として入庫案内情報を出力する通知制御部１４６を備える。
この構成により、保管量が少なくなった常備食品に係る通知情報が提示される。そのため、ユーザは、その常備食品の補充が促される。
In addition, the storage
With this configuration, notification information related to a standing food whose storage amount has been reduced is presented. Therefore, the user is prompted to replenish the regular food.
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。特に断らない限り、上述の実施形態と同一の構成については、同一の符号を付してその説明を援用する。以下の説明では、上述の実施形態との差異点を主とする。
保管庫１０の保管室は、複数の保管場所に区分されている。保管場所に応じて、温度や湿度が異なりうる。保管場所には、例えば、通常の冷蔵室、野菜室、チルド室などがある。しかしながら、ユーザは食品の分類に応じて必ずしも適切な保管場所を使い分けているとは限らない。
(Third embodiment)
Next, a third embodiment of the present invention will be described. Unless otherwise specified, the same configurations as those of the above-described embodiment are denoted by the same reference numerals, and the description thereof is incorporated. In the following description, differences from the above-described embodiment are mainly used.
The storage room of the
本実施形態に係る保管状態判定部１４５は、入庫される食品の保管場所に応じて、その食品に所定の保管場所を示す案内情報の生成の要否を判定する。生成した案内情報によりユーザに食品の保管場所の管理を促す。保管状態判定部１４５には、食品の分類ごとの所定の標準保管場所との対応関係を示す保管場所データを設定しておく。保管データには、例えば、飲料、乳製品、たまごに対して冷蔵室が、野菜、果物に対して野菜室が、肉類、魚介類に対してチルド室が対応付けられる。
The storage
保管状態判定部１４５は、上述した実施形態と同様に、音声認識情報と重量変化検出情報に基づいて入庫された食品の食品名と入庫された食品の保管場所を判定する。保管状態判定部１４５は、リファレンスデータを参照して、食品名に対応する食品の分類を読み取り、さらに保管場所データを参照して読み取った分類に対応する標準保管場所を取得する。保管状態判定部１４５は、判定した保管場所と標準保管場所とが異なるか否かを判定する。保管場所と標準保管場所とが異なると判定されるとき、通知制御部１４６は、その食品の標準保管場所を示す保管場所通知情報を生成し、生成した保管場所通知情報を示す音声信号を再生部１７に出力する。保管場所通知情報には、例えば、次の情報が含まれてもよい。 「ピーマンは、なるべく野菜室において下さい。」
The storage
その後、保管状態判定部１４５は、重量変化検出部１４４から重量の減少を示す重量変化検出情報が入力されず、開閉検出部１４３から扉の閉鎖を示す閉鎖通知信号が入力されるとき、入庫された食品が出庫されずに標準保管場所とは異なる保管場所での保管が継続していると判定する。その場合には、保管状態判定部１４５は、入庫時刻が属する日付から短縮保管期間後の日付をその食品に対する保管期限（賞味期限）として定めてもよい。短縮保管期間は、リファレンスデータを参照して取得される標準保管期間よりも短縮された期間（例えば、標準保管期間の５０％〜７０％）である。保管状態判定部１４５は、定めた保管期限を、その食品の保管期限（賞味期限）としてその食品と対応付けて食品管理データに記録する。その後、保管状態判定部１４５は、その食品の標準保管場所に係る重量センサ１２が検出した重量が所定の重量以下であるか否かを判定する。保管状態判定部１４５は、所定の重量以下であると判定したとき、標準保管場所に入庫された食品を保管できる空間が生じたと判定し、標準保管場所を示す保管場所通知情報を示す音声信号を再生部１７に出力する。他方、保管状態判定部１４５は、所定の重量より多いと判定したとき、標準保管場所を示す保管場所通知情報を示す音声信号を再生部１７に出力しない。このような場合には、標準保管場所において入庫された食品を保管可能とする空間がない又は不十分と推定されるためである。
Thereafter, the storage
次に、本実施形態に係る保管場所案内処理の一例について説明する。
図２１は、本実施形態に係る保管場所案内処理の一例を示すフローチャートである。
（ステップＳ１５１）保管状態判定部１４５は、音声認識情報と重量変化検出情報に基づいて入庫された食品の食品名と入庫された食品の保管場所を判定する。その後、ステップＳ１５２に進む。
（ステップＳ１５２）保管状態判定部１４５は、リファレンスデータを参照して、食品名に対応する食品の分類を取得し、保管場所データを参照して取得した分類に対応する標準保管場所を取得する。その後、ステップＳ１５３の処理に進む。
（ステップＳ１５３）保管状態判定部１４５は、入庫された食品の保管場所が、取得した標準保管場所と異なるか否かを判定する。異なると判定されるとき（ステップＳ１５３ ＹＥＳ）、ステップＳ１５４の処理に進む。異なっていないとは判定されるとき（ステップＳ１５３ ＮＯ）、図２１の処理を終了する。
Next, an example of the storage location guidance process according to the present embodiment will be described.
FIG. 21 is a flowchart illustrating an example of the storage location guidance process according to the present embodiment.
(Step S151) The storage
(Step S152) The storage
(Step S153) The storage
（ステップＳ１５４）通知制御部１４６は、標準保管場所を示す保管場所通知情報を生成し、生成した保管場所通知情報を示す音声信号を再生部１７に出力する。その後、ステップＳ１５５の処理に進む。
（ステップＳ１５５）通知制御部１４６は、入庫された食品が出庫されずに標準保管場所とは異なる保管場所での保管が継続しているか否かを判定する。継続していると判定するとき（ステップＳ１５５ ＹＥＳ）、ステップＳ１５６の処理に進む。継続していないと判定するとき（ステップＳ１５５ ＮＯ）、図２１の処理を終了する。
（ステップＳ１５６）通知制御部１４６は、保管状態判定部１４５は、入庫時刻が属する日付から標準保管期間よりも短縮された短縮保管期間後の時点における日付をその食品に対する保管期限として定め、定めた保管期限を食品管理データに記録する。
（ステップＳ１５７）保管状態判定部１４５は、その食品の標準保管場所に係る重量センサ１２が検出した重量が所定の重量を超えているか否かを判定する。超えていると判定するとき（ステップＳ１５７ ＹＥＳ）、ステップＳ１５８の処理に進む。超えていないと判定するとき（ステップＳ１５７ ＮＯ）、図２１の処理を終了する。
（ステップＳ１５８）保管状態判定部１４５は、その食品の標準保管場所に係る重量センサ１２が検出した重量が所定の重量以下に減少したか否かを判定する。所定の重量以下に減少したと判定するとき（ステップＳ１５８ ＹＥＳ）、ステップＳ１５４の処理に進む。所定の重量以下に減少していないと判定するとき（ステップＳ１５８ ＮＯ）、ステップＳ１５８の処理を繰り返す。
(Step S154) The
(Step S <b> 155) The
(Step S156) The
(Step S157) The storage
(Step S158) The storage
なお、ステップＳ１５６〜Ｓ１５８の処理が行われた後、再度ステップＳ１５５において、標準保管場所とは異なる保管場所に入庫された食品が標準保管場所に再入庫されたと判定される（ステップＳ１５５ ＮＯ）ことがある。その場合には、保管状態判定部１４５は、その食品の保管期限を入庫時刻から標準保管期間後の時点における日付に再設定し、再設定した保管期限（賞味期限）に更新してもよい。
In addition, after the process of step S156-S158 is performed, in step S155, it determines with the foodstuff received in the storage place different from a standard storage place having been re-stocked in the standard storage place (step S155 NO). There is. In that case, the storage
また、リファレンスデータでは、所定の食品について保管場所毎に標準保管期間が設定されてもよい。例えば、分類が肉類である食品について、チルド室に対し３日間、通常の冷蔵室に対し２日間、野菜室に対し１日間、冷凍室に対し４週間と設定されてもよい。保管状態判定部１４５は、その食品が入庫されるとき、リファレンスデータを参照して保管場所に対応する標準保管期間を特定する。保管状態判定部１４５は、入庫時刻から特定した標準保管期間後の時点における日付を保管期限として設定する。従って、保管場所毎に標準保管期間が設定されている場合には、短縮した保管期限の設定（ステップＳ１５６）を行わなくてもよい。再入庫により保管場所が変更される場合には、保管状態判定部１４５は、入庫時刻と変更後の保管場所に対応する標準保管期間に基づいて保管期限を再設定してもよい。
In the reference data, a standard storage period may be set for each storage location for a predetermined food. For example, for food with a classification of meat, it may be set to 3 days for a chilled room, 2 days for a normal refrigerator room, 1 day for a vegetable room, and 4 weeks for a freezer room. The storage
なお、図２１に示す処理では、標準保管場所として食品の分類に対応する保管場所を用いる場合を例にしたが、その食品について保管頻度が所定の保管頻度よりも高いユーザの保管場所、例えば、ユーザ間で保管頻度が最も高いユーザの保管場所を用いてもよい。以下、この保管場所を高頻度保管場所と呼ぶ。次に、本実施形態に係る高頻度保管場所決定処理について説明する。音声認識部１４２は、音声区間検出部１４１から入力された音声信号について話者認識処理を行い、その音声を発話するユーザを認識する。音声認識部１４２は、音声認識情報に認識したユーザの情報を付加して保管状態判定部１４５に出力する。保管状態判定部１４５は、音声認識情報と重量変化検出情報とを照合し、食品名、保管場所、重量及びユーザの情報を含む入庫情報を生成する。保管状態判定部１４５は、生成した入庫情報に基づいてメモリー１５に記憶された食品管理データを更新する。保管状態判定部１４５は、食品管理データを参照して各食品名についてユーザと保管場所のセット毎に保管頻度（回数）を計数する。保管状態判定部１４５は、入庫された食品についてユーザ間で保管頻度が最も高いユーザの保管場所を高頻度保管場所として判定する。
In the processing shown in FIG. 21, the case where the storage location corresponding to the classification of food is used as the standard storage location is taken as an example, but the storage location of the user whose storage frequency is higher than a predetermined storage frequency, for example, You may use a user's storage place with the highest storage frequency between users. Hereinafter, this storage location is referred to as a high frequency storage location. Next, the high-frequency storage location determination process according to the present embodiment will be described. The
図２２は、本実施形態に係る高頻度保管場所判定処理の一例を示すフローチャートである。
（ステップＳ１６１）保管状態判定部１４５は、認識された食品名、検出された保管場所、重量及び認識されたユーザの情報を含む入庫情報に基づいて食品管理データを更新する。その後、ステップＳ１６２の処理に進む。
（ステップＳ１６２）保管状態判定部１４５は、食品管理データを参照して各食品名についてユーザと保管場所のセット毎に保管頻度を計数する。その後、ステップＳ１６３の処理に進む。
（ステップＳ１６３）保管状態判定部１４５は、入庫された食品について保管頻度が所定の保管頻度よりも高いユーザの保管場所を高頻度保管場所として判定する。その後、図２２の処理を終了する。
FIG. 22 is a flowchart illustrating an example of the high-frequency storage location determination process according to the present embodiment.
(Step S161) The storage
(Step S162) The storage
(Step S163) The storage
以上に説明したように、本実施形態に係る食品管理装置１０Ａのメモリー１５に記憶される参照データにおいて少なくとも一部の食品が標準保管場所に対応付けられる。また、食品管理装置１０Ａは、その食品が入庫された保管場所が標準保管場所と異なるとき標準保管場所を示す通知情報を出力する通知制御部１４６を備える。
この構成により、標準保管場所とは異なる保管場所に保管された食品について、標準保管場所を示す通知情報が提示される。そのため、ユーザは、その食品を標準保管場所に保管することが促される。
As described above, at least a part of the food is associated with the standard storage location in the reference data stored in the
With this configuration, notification information indicating the standard storage location is presented for food stored in a storage location different from the standard storage location. Therefore, the user is prompted to store the food in a standard storage location.
また、本実施形態に係る食品管理装置１０Ａにおいて、音声認識部１４２は、取得された音声の話者を認識する。保管状態判定部１４５は、話者、入庫食品及び保管場所の履歴から、話者及び保管場所の組毎に前記入庫食品の入庫頻度を計数し、話者毎の入庫頻度が所定の入庫頻度よりも高い保管場所である高頻度保管場所を定める。また、通知制御部１４６は、入庫食品の保管場所が高頻度保管場所と異なるとき高頻度保管場所を示す通知情報を出力する。
この構成により、高頻度保管場所とは異なる保管場所に保管された食品について、高頻度保管場所を示す通知情報が提示される。これにより、他のユーザが頻繁に保管する高頻度保管場所が案内されるので、その場所への入庫食品の保管が促される。
Further, in the
With this configuration, notification information indicating the high-frequency storage location is presented for food stored in a storage location different from the high-frequency storage location. As a result, a high-frequency storage place that is frequently stored by other users is guided, and storage of the warehousing food at that place is prompted.
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。特に断らない限り、上述の実施形態と同一の構成については、同一の符号を付してその説明を援用する。以下の説明では、上述の実施形態との差異点を主とする。
以下、図面を参照しながら本発明の第４の実施形態について説明する。
図２３は、本実施形態に係る食品管理システム１の構成例を示す概念図である。
食品管理システム１は、保管庫１０、リファレンスデータベースサーバ２０、食品管理データベースサーバ３０、端末装置４０及び食品管理サーバ５０を含んで構成される。保管庫１０に備えられた食品管理装置１０Ｂ、リファレンスデータベースサーバ２０、食品管理データベースサーバ３０、端末装置４０及び食品管理サーバ５０は、相互にネットワークＮＷで接続される。相互間において各種のデータが送受信可能である。
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. Unless otherwise specified, the same configurations as those of the above-described embodiment are denoted by the same reference numerals, and the description thereof is incorporated. In the following description, differences from the above-described embodiment are mainly used.
The fourth embodiment of the present invention will be described below with reference to the drawings.
FIG. 23 is a conceptual diagram illustrating a configuration example of the
The
食品管理装置１０Ｂは、制御部１４、メモリー１５及び通信部１６を備える（図２）。制御部１４において、音声区間検出部１４１、音声認識部１４２、開閉検出部１４３、重量変化検出部１４４、保管状態判定部１４５及び通知制御部１４６が省略されてもよい。また、メモリー１５において、音声認識辞書１５１は記憶されていなくてもよい。制御部１４は、開閉センサ１１から入力される開閉状態信号、重量センサ１２から入力される重量信号、収音部１３から入力される音声信号及び操作入力部１８から入力される操作信号を、それぞれ食品管理装置１０Ｂの機器ＩＤと対応付けて通信部１６を介して食品管理サーバ５０に送信する。また、制御部１４は、食品管理サーバ５０から受信した音声信号を再生部１７に出力する。
The
食品管理サーバ５０は、制御部５４、メモリー５５及び通信部５６を含んで構成されるサーバ装置である。制御部５４は、例えば、ＣＰＵ等の制御デバイスを含んで構成される。制御部５４は、メモリー５５に予め記憶された制御プログラムを読み出し、読み出した制御プログラムに含まれる命令で指示される処理を実行し、以下に説明する各部の機能を実現する。制御部５４には、食品管理装置１０Ｂから通信部５６を介して開閉状態信号、重量信号、音声信号及び操作信号を、食品管理装置１０Ｂもしくは保管庫１０の機器ＩＤと対応付けて入力される。制御部５４は、取得した音声信号を機器ＩＤで指定される食品管理装置１０Ｂに通信部５６を介して送信する。制御部５４は、音声区間検出部５４１、音声認識部５４２、重量変化検出部５４４、保管状態判定部５４５、及び通知制御部５４６を含んで構成される。音声区間検出部５４１、音声認識部５４２、開閉検出部５４３、重量変化検出部５４４、保管状態判定部５４５、及び通知制御部５４６の機能構成は、それぞれ音声区間検出部１４１、音声認識部１４２、開閉検出部１４３、重量変化検出部１４４、保管状態判定部１４５、及び通知制御部１４６と同様であるため、それらの説明を割愛する。
The
従って、本実施形態に係る食品管理サーバ５０は、保管庫１０内の食品の重量の変化を検出する重量変化検出部５４４と、取得した音声から食品名を認識する音声認識部５４２を備える。また、食品管理サーバ５０は、食品名と重量の変化量を照合して食品の保管状態の変動を判定する保管状態判定部５４５とを備える。
この構成により、重量の変化量に基づいて保管庫１０における食品の保管状態の変動が検知され、ユーザが発話した食品名と重量の変化が対応付けられる。ユーザにおいて保管状態の変動を指示するための特段の操作を要しないため、保管庫１０における保管物の管理を効率的に行うことができる。また、保管庫１０毎に食品管理装置１０Ａに相当する構成を備えることを要しない。そのため、食品管理システム１全体として、経済的に保管物の管理を効率的に行うことができる。
Therefore, the
With this configuration, a change in the storage state of the food in the
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 The embodiments of the present invention have been described in detail above with reference to the drawings. However, the specific configuration is not limited to the above-described one, and various design changes and the like can be made without departing from the scope of the present invention. Is possible.
例えば、リファレンスデータベースサーバ２０、食品管理データベースサーバ３０の一方又は両者は省略されてもよい。また、食品管理装置１０Ａは、必ずしもネットワークＮＷと接続されなくてもよい。その場合、食品管理装置１０Ａの通信部１６は省略されてもよい。
また、食品管理サーバ５０は、リファレンスデータベースサーバ２０と食品管理データベースサーバ３０の一方又は両方と一体化されたサーバ装置として構成されてもよい。その場合には、一体化されたサーバ装置の構成要素間において、各種のデータの送受信は、ネットワークＮＷを介さずに行われてもよい。
For example, one or both of the
Further, the
開閉センサ１１、重量センサ１２、収音部１３、再生部１７及び操作入力部１８との間の各種のデータの送受信が無線でなされる場合には、食品管理装置１０Ａ、１０Ｂは、保管庫１０とは、必ずしも一体化されていなくてもよく、別体であってもよい。
食品管理装置１０Ａ、１０Ｂは、開閉センサ１１、重量センサ１２、収音部１３、再生部１７ならびに操作入力部１８のいずれか又は任意の組み合わせと一体化されてもよい。
When various types of data are transmitted and received between the opening /
The
また、上述した実施形態では通知制御部１４６、５４６が出力する各種の通知情報が音声信号である場合を例にしたが、通知情報はテキストや画像を示す通知データで示されてもよい。その場合には、再生部１７に代えてその通知データに基づく通知情報を表す表示部（ディスプレイ）が用いられてもよい。
保管状態判定部１４５、５４５は、通知情報に対するユーザの応答情報を示す信号として、音声認識部１４２から入力される認識データの他、操作入力部１８から入力される操作信号が用いられてもよい。
In the above-described embodiment, the case where the various types of notification information output from the
The storage
なお、上述した実施形態では、物品管理装置が、主に保管庫１０内に保管される物品として食品を管理する食品管理装置１０Ａ及び食品管理サーバ５０である場合を例にしたがこれには限られない。管理対象の物品は、食品には限られず、文房具、雑貨品、食器、その他の物品であってもよい。保管庫１０は、電気冷蔵庫に限られず、机、棚、金庫などであってもよい。
In the above-described embodiment, the case where the article management apparatus is the
また、本実施形態は、次に説明する態様で実施されてもよい。
（１）保管庫内の物品の重量を検出する重量検出部と、音声を取得する音声取得部と、制御部とを備え、前記制御部は、前記音声取得部が取得した前記音声から物品名を認識し、認識した前記物品名と、前記重量検出部が検出した前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する物品管理装置。
Moreover, this embodiment may be implemented in the aspect described below.
(1) A weight detection unit that detects the weight of an article in the storage, a voice acquisition unit that acquires voice, and a control unit, wherein the control unit uses the voice acquired by the voice acquisition unit to name the article An article management apparatus that judges the storage state of the article in the storage by comparing the recognized article name with the recognized amount of change in the weight detected by the weight detection unit.
（２）前記制御部は、前記重量検出部が検出した前記重量の増加量を、前記保管庫に入庫された入庫物品の重量として判定する（１）の物品管理装置。 (2) The article management apparatus according to (1), wherein the control unit determines an increase in the weight detected by the weight detection unit as a weight of an incoming article received in the storage.
（３）前記制御部は、前記重量検出部が検出した前記重量の減少量に相当する重量を有する物品を、前記保管庫から出庫された出庫物品として判定する（２）の物品管理装置。 (3) The article management apparatus according to (2), wherein the control unit determines an article having a weight corresponding to the amount of decrease in the weight detected by the weight detection unit as a delivery article delivered from the storage.
（４）前記制御部は、前記保管庫からの出庫から所定時間以内に前記重量検出部が検出した前記重量の増加量が前記出庫物品の重量以下であるとき、前記出庫物品の再入庫を推定する（３）の物品管理装置。 (4) The control unit estimates re-entry of the outgoing article when an increase in the weight detected by the weight detection unit within a predetermined time from delivery from the storage is equal to or less than the weight of the outgoing article. (3) The article management apparatus.
（５）前記保管庫が備える複数の保管室毎の開閉状態を検出する開閉検出部をさらに備え、前記制御部は、前記入庫物品の入庫時に開放されていた保管室を、前記入庫物品の保管場所として判定する（２）から（４）のいずれかの物品管理装置。 (5) An open / close detection unit that detects an open / closed state of each of the plurality of storage chambers included in the storage, and the control unit stores the storage chamber that was opened when the storage product was received, The article management apparatus according to any one of (2) to (4), which is determined as a place.
（６）前記重量検出部は、前記保管庫が備える複数の保管区画毎に、保管される物品の重量を検出し、前記制御部は、前記重量の増加が検出された保管区画を、前記入庫物品の保管場所として判定する（２）から（４）のいずれかの物品管理装置。 (6) The weight detection unit detects the weight of an article to be stored for each of a plurality of storage sections included in the storage, and the control unit receives the storage section in which the increase in the weight is detected. The article management apparatus according to any one of (2) to (4), which is determined as an article storage location.
（７）前記制御部は、前記音声の話者を認識し、話者及び保管場所の組毎に計数した前記入庫物品の入庫頻度に基づいて、前記入庫物品に対応する高頻度保管場所を定め、前記入庫物品の保管場所が前記高頻度保管場所と異なるとき、前記高頻度保管場所を示す通知情報を出力する（５）又は（６）の物品管理装置。 (7) The control unit recognizes the voice speaker and determines a high-frequency storage location corresponding to the warehousing item based on the warehousing frequency of the warehousing item counted for each pair of the speaker and the storage location. The article management device according to (5) or (6), wherein when the storage location of the incoming goods is different from the high-frequency storage location, notification information indicating the high-frequency storage location is output.
（８）前記制御部は、物品毎の物品名と標準重量とを対応付けてなる参照データを用いて、認識された物品名に対応する標準重量を特定し、前記入庫物品の重量が前記標準重量から所定の範囲内にないとき、前記認識された物品名の照会情報を出力する（２）から（７）のいずれかの物品管理装置。 (8) The control unit specifies a standard weight corresponding to the recognized article name using reference data in which an article name and a standard weight for each article are associated with each other, and the weight of the warehousing article is the standard weight. The article management apparatus according to any one of (2) to (7), wherein when the weight is not within a predetermined range, the reference information of the recognized article name is output.
（９）前記参照データにおいて、複数の種別を有する物品である多種別物品の標準重量は物品の種別毎に対応付けられ、前記制御部は、前記入庫物品が前記多種別物品であるとき、前記参照データを用いて、前記入庫物品の重量に最も近似する標準重量に対応する物品の種別を特定する（８）の物品管理装置。 (9) In the reference data, a standard weight of a multi-type article that is an article having a plurality of types is associated with each type of the article, and the control unit is configured such that when the warehousing article is the multi-type article, The article management device according to (8), wherein the type of the article corresponding to the standard weight closest to the weight of the warehousing article is specified using reference data.
（１０）前記標準重量は１区分の物品の重量であり、前記制御部は、前記重量の変化量に基づいて、前記区分を単位とした前記物品の保管状態を判定する（９）の物品管理装置。 (10) The standard weight is the weight of an article in one category, and the control unit determines the storage state of the article in units of the category based on the change in the weight. apparatus.
（１１）前記参照データにおいて、少なくとも一部の物品が標準保管場所に対応付けられ、前記少なくとも一部の物品が入庫された保管場所が前記標準保管場所と異なるとき、前記標準保管場所を示す通知情報を出力する（８）から（１０）のいずれかの物品管理装置。 (11) In the reference data, when at least a part of articles is associated with a standard storage location and the storage location where the at least a part of goods is stored is different from the standard storage location, a notification indicating the standard storage location The article management apparatus according to any one of (8) to (10), which outputs information.
（１２）前記制御部は、入庫期間が所定の入庫期間以上となる保管物品を特定し、特定した保管物品に係る通知情報を出力する（１）から（１１）のいずれかの物品管理装置。 (12) The article management device according to any one of (1) to (11), wherein the control unit specifies a stored article whose warehousing period is equal to or longer than a predetermined warehousing period, and outputs notification information related to the specified stored article.
（１３）前記制御部は、保管量が所定の保管量以下となる物品である常備品を特定し、前記常備品に係る通知情報を出力する（１）から（１２）のいずれかの物品管理装置。 (13) The control unit identifies a regular item that is an article whose storage amount is equal to or less than a predetermined storage amount, and outputs notification information related to the permanent item. (1) to (12) apparatus.
（１４）前記保管庫の正面のうち、前記保管庫の扉の開放端から所定の範囲内であって前記扉で覆われない位置に前記音声を取得する収音部を備える（１）から（１３）のいずれかの物品管理装置。 (14) From the front of the storage, a sound collection unit that acquires the sound at a position that is within a predetermined range from the open end of the door of the storage and is not covered by the door (1) to ( The article management apparatus according to any one of 13).
（１５）前記制御部は、端末装置から受信する要求信号で指定される物品又は前記音声から認識された物品の在庫情報を出力する（１）から（１４）のいずれかの物品管理装置。 (15) The article management apparatus according to any one of (1) to (14), wherein the control unit outputs inventory information of an article specified by a request signal received from a terminal device or an article recognized from the voice.
（１６）保管庫と物品管理装置を備える物品管理システムであって、前記物品管理装置は、前記保管庫内の物品の重量を検出する重量検出部と、音声を取得する音声取得部と、制御部とを備え、前記制御部は、前記音声取得部が取得した前記音声から物品名を認識し、認識した前記物品名と、前記重量検出部が検出した前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する物品管理システム。 (16) An article management system including a storage and an article management apparatus, wherein the article management apparatus includes a weight detection unit that detects the weight of an article in the storage, a voice acquisition unit that acquires voice, and a control And the control unit recognizes an article name from the voice acquired by the voice acquisition unit, collates the recognized article name with the amount of change in the weight detected by the weight detection unit, An article management system for determining a storage state of articles in the storage.
（１７）物品管理装置における方法であって、保管庫内の物品の重量を検出する重量検出ステップと、音声を取得する音声取得ステップと、取得された前記音声から物品名を認識する音声認識ステップと、認識された前記物品名と、検出された前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する保管状態判定ステップと、を有する物品管理方法。 (17) A method in the article management apparatus, wherein the weight detection step detects the weight of the article in the storage, the voice acquisition step acquires voice, and the voice recognition step recognizes the article name from the acquired voice. And a storage state determination step of comparing the recognized article name with the detected amount of change in weight to determine the storage state of the article in the storage.
（１８）物品管理装置のコンピュータに、保管庫内の物品の重量を検出する重量検出手順、音声を取得する音声取得手順と、取得された前記音声から物品名を認識する音声認識手順、認識された前記物品名と、検出された前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する保管状態判定手順、を実行させるための物品管理プログラム。 (18) The computer of the article management apparatus recognizes a weight detection procedure for detecting the weight of the article in the storage, a voice acquisition procedure for acquiring voice, and a voice recognition procedure for recognizing the article name from the acquired voice. An article management program for executing a storage state determination procedure for collating the article name with the detected amount of change in the weight to determine the storage state of the article in the storage.
なお、上述した実施形態における食品管理装置１０Ａ、食品管理サーバ５０の一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、食品管理装置１０Ａ又は食品管理サーバ５０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における食品管理装置１０Ａ、食品管理サーバ５０の一部又は全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。食品管理装置１０Ａ及び食品管理サーバ５０の各機能ブロックは個別にプロセッサ化してもよいし、一部又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
In addition, you may make it implement | achieve a part of 10 A of foodstuff management apparatuses and the
In addition, part or all of the
１…食品管理システム、１０…保管庫、１０Ａ、１０Ｂ…食品管理装置、１１…開閉センサ、１２（１２−１〜１２−ｎ、１２１−１，１〜１２１−ｍ，ｌ、１２２−１、１２２−２）…重量センサ、１３…収音部、１４…制御部、１５…メモリー、１６…通信部、１７…再生部、１８…操作入力部、２０…リファレンスデータベースサーバ、３０…食品管理データベースサーバ、４０…端末装置、５０…食品管理サーバ、５４…制御部、５５…メモリー、５６…通信部、１４１…音声区間検出部、１４２…音声認識部、１４３…開閉検出部、１４４…重量変化検出部、１４５…保管状態判定部、１４６…通知制御部、１５１…音声認識辞書、５４１…音声区間検出部、５４２…音声認識部、５４３…開閉検出部、５４４…重量変化検出部、５４５…保管状態判定部、５４６…通知制御部、５５１…音声認識辞書、ＮＷ…ネットワーク
DESCRIPTION OF
Claims (18)
音声を取得する音声取得部と、
制御部とを備え、
前記制御部は、
前記音声取得部が取得した前記音声から物品名を認識し、
認識した前記物品名と、前記重量検出部が検出した前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する
物品管理装置。 A weight detector for detecting the weight of the articles in the storage;
An audio acquisition unit for acquiring audio;
A control unit,
The controller is
Recognizing the article name from the voice acquired by the voice acquisition unit,
The article management apparatus that collates the recognized article name and the change amount of the weight detected by the weight detection unit to determine the storage state of the article in the storage.
前記重量検出部が検出した前記重量の増加量を、前記保管庫に入庫された入庫物品の重量として判定する
請求項１に記載の物品管理装置。 The controller is
The article management apparatus according to claim 1, wherein the amount of increase in the weight detected by the weight detection unit is determined as the weight of an incoming article received in the storage.
前記重量検出部が検出した前記重量の減少量に相当する重量を有する物品を、前記保管庫から出庫された出庫物品として判定する
請求項２に記載の物品管理装置。 The controller is
The article management apparatus according to claim 2, wherein an article having a weight corresponding to the reduced amount of the weight detected by the weight detection unit is determined as a delivery article delivered from the storage.
前記保管庫からの出庫から所定時間以内に前記重量検出部が検出した前記重量の増加量が前記出庫物品の重量以下であるとき、前記出庫物品の再入庫を推定する
請求項３に記載の物品管理装置。 The controller is
The article according to claim 3, wherein when the increase in the weight detected by the weight detection unit within a predetermined time from delivery from the storage is less than or equal to the weight of the delivery article, re-entry of the delivery article is estimated. Management device.
前記制御部は、
前記入庫物品の入庫時に開放されていた保管室を、前記入庫物品の保管場所として判定する
請求項２から請求項４のいずれか一項に記載の物品管理装置。 An opening / closing detector for detecting an opening / closing state of each of the plurality of storage rooms provided in the storage;
The controller is
The article management apparatus according to any one of claims 2 to 4, wherein a storage room that is opened when the incoming goods are received is determined as a storage place for the incoming goods.
前記制御部は、
前記重量の増加が検出された保管区画を、前記入庫物品の保管場所として判定する
請求項２から請求項４のいずれか一項に記載の物品管理装置。 The weight detection unit detects the weight of articles stored for each of a plurality of storage sections provided in the storage,
The controller is
The article management apparatus according to any one of claims 2 to 4, wherein a storage section in which the increase in weight is detected is determined as a storage place for the incoming goods.
前記音声の話者を認識し、
話者及び保管場所の組毎に計数した前記入庫物品の入庫頻度に基づいて、前記入庫物品に対応する高頻度保管場所を定め、
前記入庫物品の保管場所が前記高頻度保管場所と異なるとき、前記高頻度保管場所を示す通知情報を出力する
請求項５又は請求項６に記載の物品管理装置。 The controller is
Recognizing the speaker of the voice;
Based on the warehousing frequency of the warehousing goods counted for each set of speakers and storage places, a high-frequency storage place corresponding to the warehousing goods is determined,
The article management apparatus according to claim 5 or 6, wherein when the storage location of the incoming goods is different from the high-frequency storage location, notification information indicating the high-frequency storage location is output.
物品毎の物品名と標準重量とを対応付けてなる参照データを用いて、認識された物品名に対応する標準重量を特定し、
前記入庫物品の重量が前記標準重量から所定の範囲内にないとき、前記認識された物品名の照会情報を出力する
請求項２から請求項７のいずれか一項に記載の物品管理装置。 The controller is
Identify the standard weight corresponding to the recognized article name using the reference data that associates the article name and standard weight for each article,
The article management device according to any one of claims 2 to 7, wherein when the weight of the warehousing article is not within a predetermined range from the standard weight, inquiry information of the recognized article name is output.
前記制御部は、
前記入庫物品が前記多種別物品であるとき、前記参照データを用いて、前記入庫物品の重量に最も近似する標準重量に対応する物品の種別を特定する
請求項８に記載の物品管理装置。 In the reference data, the standard weight of various types of articles that are articles having a plurality of types is associated with each type of article,
The controller is
The article management apparatus according to claim 8, wherein when the warehousing article is the various-type article, the article type corresponding to a standard weight that is closest to the weight of the warehousing article is specified using the reference data.
前記制御部は、
前記重量の変化量に基づいて、前記区分を単位とした前記物品の保管状態を判定する
請求項８又は請求項９に記載の物品管理装置。 The standard weight is the weight of an article in one section,
The controller is
The article management apparatus according to claim 8 or 9, wherein a storage state of the article in units of the classification is determined based on the change amount of the weight.
前記少なくとも一部の物品が入庫された保管場所が前記標準保管場所と異なるとき、前記標準保管場所を示す通知情報を出力する
請求項８から請求項１０のいずれか一項に記載の物品管理装置。 In the reference data, at least some items are associated with a standard storage location,
The article management device according to any one of claims 8 to 10, wherein when the storage location where the at least some of the articles are received is different from the standard storage location, notification information indicating the standard storage location is output. .
入庫期間が所定の入庫期間以上となる保管物品を特定し、
特定した保管物品に係る通知情報を出力する
請求項１から請求項１１のいずれか一項に記載の物品管理装置。 The controller is
Identify stored items whose warehousing period is equal to or longer than the predetermined warehousing period,
The article management device according to any one of claims 1 to 11, wherein notification information related to the specified stored article is output.
保管量が所定の保管量以下となる物品である常備品を特定し、
前記常備品に係る通知情報を出力する
請求項１から請求項１２のいずれか一項に記載の物品管理装置。 The controller is
Identifies a stock item that is an article whose storage amount is less than or equal to the specified storage amount,
The article management apparatus according to any one of claims 1 to 12, wherein notification information related to the regular items is output.
請求項１から請求項１３のいずれか一項に記載の物品管理装置。 The sound collection part which acquires the said sound in the position which is within the predetermined range from the open end of the door of the said storage, and is not covered with the said door among the front surfaces of the said storage is provided with the said storage. The article management apparatus according to any one of the above.
端末装置から受信する要求信号で指定される物品又は前記音声から認識された物品の在庫情報を出力する
請求項１から請求項１４のいずれか一項に記載の物品管理装置。 The controller is
The article management apparatus according to any one of claims 1 to 14, wherein inventory information of an article specified by a request signal received from a terminal device or an article recognized from the voice is output.
前記物品管理装置は、
前記保管庫内の物品の重量を検出する重量検出部と、
音声を取得する音声取得部と、
制御部とを備え、
前記制御部は、
前記音声取得部が取得した前記音声から物品名を認識し、
認識した前記物品名と、前記重量検出部が検出した前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する
物品管理システム。 An article management system comprising a storage and an article management device,
The article management apparatus includes:
A weight detector for detecting the weight of the article in the storage;
An audio acquisition unit for acquiring audio;
A control unit,
The controller is
Recognizing the article name from the voice acquired by the voice acquisition unit,
The article management system that judges the storage state of the article in the storage by collating the recognized article name with the change amount of the weight detected by the weight detection unit.
保管庫内の物品の重量を検出する重量検出ステップと、
音声を取得する音声取得ステップと、
取得された前記音声から物品名を認識する音声認識ステップと、
認識された前記物品名と、検出された前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する保管状態判定ステップと、
を有する物品管理方法。 A method in an article management apparatus, comprising:
A weight detection step for detecting the weight of the article in the storage;
An audio acquisition step for acquiring audio;
A voice recognition step of recognizing an article name from the acquired voice;
A storage state determination step of determining the storage state of the article in the storage by comparing the recognized article name with the detected change in the weight,
An article management method comprising:
保管庫内の物品の重量を検出する重量検出手順、
音声を取得する音声取得手順と、
取得された前記音声から物品名を認識する音声認識手順、
認識された前記物品名と、検出された前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する保管状態判定手順、
を実行させるための物品管理プログラム。 In the computer of the article management device,
A weight detection procedure for detecting the weight of the articles in the storage;
Audio acquisition procedure to acquire audio;
A voice recognition procedure for recognizing an article name from the acquired voice;
A storage state determination procedure for checking the storage state of the article in the storage, by comparing the recognized article name with the detected change in weight.
Article management program to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016243462A JP2018095450A (en) | 2016-12-15 | 2016-12-15 | Article management device, article management system, article management method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016243462A JP2018095450A (en) | 2016-12-15 | 2016-12-15 | Article management device, article management system, article management method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018095450A true JP2018095450A (en) | 2018-06-21 |
Family
ID=62634288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016243462A Pending JP2018095450A (en) | 2016-12-15 | 2016-12-15 | Article management device, article management system, article management method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018095450A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161736A (en) * | 2018-11-08 | 2020-05-15 | 夏普株式会社 | Refrigerator with a door |
| WO2020213394A1 (en) | 2019-04-15 | 2020-10-22 | ソニー株式会社 | Information processing device, information processing method, and food storage device |
| JP2020196602A (en) * | 2019-06-05 | 2020-12-10 | 日本電気株式会社 | Baggage management system, baggage management method, program |
| JP2021015577A (en) * | 2019-07-16 | 2021-02-12 | 小西医療器株式会社 | Article management system and article management method |
| WO2020251502A3 (en) * | 2019-06-12 | 2021-02-18 | Arcelik Anonim Sirketi | A cooling appliance having a container |
| JP2021080095A (en) * | 2019-11-22 | 2021-05-27 | 富士フイルムビジネスイノベーション株式会社 | Information processing device, information processing program, and information processing system |
| JP2021092969A (en) * | 2019-12-10 | 2021-06-17 | 東芝ライフスタイル株式会社 | Food management system |
| CN113313446A (en) * | 2021-05-26 | 2021-08-27 | 和美（深圳）信息技术股份有限公司 | Container management and control method, system, control equipment and storage medium |
| JP2021128556A (en) * | 2020-02-13 | 2021-09-02 | 東芝ライフスタイル株式会社 | Food ingredient management system |
| JP2021128559A (en) * | 2020-02-13 | 2021-09-02 | 東芝ライフスタイル株式会社 | Information processing system |
| WO2021210132A1 (en) * | 2020-04-16 | 2021-10-21 | 三菱電機株式会社 | Refrigerator |
| JPWO2022009421A1 (en) * | 2020-07-10 | 2022-01-13 | ||
| CN114202283A (en) * | 2021-12-10 | 2022-03-18 | 珠海格力电器股份有限公司 | Equipment control method, device, equipment and storage medium |
| WO2022059346A1 (en) * | 2020-09-18 | 2022-03-24 | 日立グローバルライフソリューションズ株式会社 | Refrigerator and program |
| WO2022137997A1 (en) * | 2020-12-24 | 2022-06-30 | パナソニックＩｐマネジメント株式会社 | Program, terminal device, and terminal device control method |
| CN114955361A (en) * | 2021-02-19 | 2022-08-30 | 丰田自动车株式会社 | Shelf inventory management system, shelf inventory management method, and computer-readable medium |
| US11493268B2 (en) | 2021-02-11 | 2022-11-08 | Haier Us Appliance Solutions, Inc. | Refrigerator appliance having a weight-detecting drawer assembly |
| JP2023509050A (en) * | 2020-01-07 | 2023-03-06 | 青島海尓電冰箱有限公司 | Refrigerator and its control method |
-
2016
- 2016-12-15 JP JP2016243462A patent/JP2018095450A/en active Pending
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020076884A (en) * | 2018-11-08 | 2020-05-21 | シャープ株式会社 | refrigerator |
| CN111161736A (en) * | 2018-11-08 | 2020-05-15 | 夏普株式会社 | Refrigerator with a door |
| JP7202853B2 (en) | 2018-11-08 | 2023-01-12 | シャープ株式会社 | refrigerator |
| TWI840437B (en) * | 2018-11-08 | 2024-05-01 | 日商夏普股份有限公司 | refrigerator |
| KR20210150375A (en) | 2019-04-15 | 2021-12-10 | 소니그룹주식회사 | Information processing devices, information processing methods and food storage devices |
| WO2020213394A1 (en) | 2019-04-15 | 2020-10-22 | ソニー株式会社 | Information processing device, information processing method, and food storage device |
| JP2020196602A (en) * | 2019-06-05 | 2020-12-10 | 日本電気株式会社 | Baggage management system, baggage management method, program |
| WO2020251502A3 (en) * | 2019-06-12 | 2021-02-18 | Arcelik Anonim Sirketi | A cooling appliance having a container |
| JP2021015577A (en) * | 2019-07-16 | 2021-02-12 | 小西医療器株式会社 | Article management system and article management method |
| JP7161453B2 (en) | 2019-07-16 | 2022-10-26 | 小西医療器株式会社 | Goods management system and goods management method |
| JP2021080095A (en) * | 2019-11-22 | 2021-05-27 | 富士フイルムビジネスイノベーション株式会社 | Information processing device, information processing program, and information processing system |
| JP2021092969A (en) * | 2019-12-10 | 2021-06-17 | 東芝ライフスタイル株式会社 | Food management system |
| JP7421654B2 (en) | 2020-01-07 | 2024-01-24 | 青島海尓電冰箱有限公司 | Refrigerator and its control method |
| JP2023509050A (en) * | 2020-01-07 | 2023-03-06 | 青島海尓電冰箱有限公司 | Refrigerator and its control method |
| JP2021128556A (en) * | 2020-02-13 | 2021-09-02 | 東芝ライフスタイル株式会社 | Food ingredient management system |
| JP7433959B2 (en) | 2020-02-13 | 2024-02-20 | 東芝ライフスタイル株式会社 | information processing system |
| JP7407010B2 (en) | 2020-02-13 | 2023-12-28 | 東芝ライフスタイル株式会社 | Food management system |
| JP2021128559A (en) * | 2020-02-13 | 2021-09-02 | 東芝ライフスタイル株式会社 | Information processing system |
| WO2021210132A1 (en) * | 2020-04-16 | 2021-10-21 | 三菱電機株式会社 | Refrigerator |
| JPWO2021210132A1 (en) * | 2020-04-16 | 2021-10-21 | ||
| WO2022009421A1 (en) * | 2020-07-10 | 2022-01-13 | 三菱電機株式会社 | Refrigerator and refrigerator system |
| JPWO2022009421A1 (en) * | 2020-07-10 | 2022-01-13 | ||
| JP7391221B2 (en) | 2020-07-10 | 2023-12-04 | 三菱電機株式会社 | Refrigerators and refrigeration systems |
| WO2022059346A1 (en) * | 2020-09-18 | 2022-03-24 | 日立グローバルライフソリューションズ株式会社 | Refrigerator and program |
| JP7285240B2 (en) | 2020-09-18 | 2023-06-01 | 日立グローバルライフソリューションズ株式会社 | refrigerator and program |
| JP2022051005A (en) * | 2020-09-18 | 2022-03-31 | 日立グローバルライフソリューションズ株式会社 | Refrigerator and program |
| JP2022100579A (en) * | 2020-12-24 | 2022-07-06 | パナソニックＩｐマネジメント株式会社 | Program, terminal device, and control method of terminal device |
| WO2022137997A1 (en) * | 2020-12-24 | 2022-06-30 | パナソニックＩｐマネジメント株式会社 | Program, terminal device, and terminal device control method |
| US11493268B2 (en) | 2021-02-11 | 2022-11-08 | Haier Us Appliance Solutions, Inc. | Refrigerator appliance having a weight-detecting drawer assembly |
| CN114955361A (en) * | 2021-02-19 | 2022-08-30 | 丰田自动车株式会社 | Shelf inventory management system, shelf inventory management method, and computer-readable medium |
| CN113313446A (en) * | 2021-05-26 | 2021-08-27 | 和美（深圳）信息技术股份有限公司 | Container management and control method, system, control equipment and storage medium |
| CN114202283A (en) * | 2021-12-10 | 2022-03-18 | 珠海格力电器股份有限公司 | Equipment control method, device, equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018095450A (en) | Article management device, article management system, article management method, and program | |
| US11678013B2 (en) | Methods and apparatus to determine a state of a media presentation device | |
| JP6892426B2 (en) | Learning device, detection device, learning method, learning program, detection method, and detection program | |
| JP6794692B2 (en) | Sensor data learning method, sensor data learning program, and sensor data learning device | |
| US10378936B2 (en) | Identification of failed sensors in a system of interconnected devices | |
| US11138901B1 (en) | Item recognition and analysis | |
| US20220324645A1 (en) | Storage cabinet | |
| CN107657963A (en) | Sob identification system and sob discrimination method | |
| WO2020005779A1 (en) | Predictive demand-based produce ripening system | |
| CN112171645A (en) | Food delivery robot and food delivery system based on artificial intelligence | |
| WO2020107928A1 (en) | Commodity detection method and device | |
| WO2022237340A1 (en) | Air conditioner control method and apparatus, and air conditioner | |
| KR20190093794A (en) | Oder processing system using voice recognition and oder processing method thereof | |
| US20220172716A1 (en) | Response generation device and response generation method | |
| JP5800718B2 (en) | Specific situation model database creation apparatus and method, situation estimation apparatus and program | |
| US20210334739A1 (en) | Storage and inventory monitoring systems, devices, and methods | |
| US20220171837A1 (en) | Information processing apparatus, information processing method, and food preservation apparatus | |
| US11133020B2 (en) | Assistive technology | |
| KR20200060331A (en) | Order processing system using voice recognition and order processing method thereof | |
| US11074917B2 (en) | Speaker identification | |
| JP7371749B2 (en) | Information processing device, information processing system, information processing method and program | |
| US10109298B2 (en) | Information processing apparatus, computer readable storage medium, and information processing method | |
| JPWO2022012777A5 (en) | ||
| JP2019008550A (en) | Work management system, work management method, and work management program | |
| US20220157293A1 (en) | Response generation device and response generation method |