JP2022094416A - Storage house, storage system and image recognition method - Google Patents
Storage house, storage system and image recognition method Download PDFInfo
- Publication number
- JP2022094416A JP2022094416A JP2020207280A JP2020207280A JP2022094416A JP 2022094416 A JP2022094416 A JP 2022094416A JP 2020207280 A JP2020207280 A JP 2020207280A JP 2020207280 A JP2020207280 A JP 2020207280A JP 2022094416 A JP2022094416 A JP 2022094416A
- Authority
- JP
- Japan
- Prior art keywords
- image
- storage
- camera
- recognition
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 32
- 235000013305 food Nutrition 0.000 claims description 81
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 238000010801 machine learning Methods 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 235000012041 food component Nutrition 0.000 description 4
- 239000005417 food ingredient Substances 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Landscapes
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
Description
本発明は、食材等を貯蔵する貯蔵庫及び貯蔵システムに関するものである。 The present invention relates to a storage and storage system for storing foodstuffs and the like.
食材等を貯蔵する冷蔵庫などの貯蔵庫では、外部から庫内の食材等の在庫状況を取得して外部へ送信する手法が従来から提案されている。例えば、冷蔵庫内に小型カメラを設けて、小型カメラで撮影した庫内の画像を外部へ送信して、携帯端末等で画像を確認する技術が知られている（例えば、特許文献１）。 In a storage such as a refrigerator for storing foods and the like, a method of acquiring the inventory status of the foods and the like in the storage from the outside and transmitting it to the outside has been conventionally proposed. For example, there is known a technique in which a small camera is provided in a refrigerator, an image in the refrigerator taken by the small camera is transmitted to the outside, and the image is confirmed by a mobile terminal or the like (for example, Patent Document 1).
特許文献１では、外部からの指令に応じて扉を閉じた状態で冷蔵庫の庫内を撮影して外部へ送信し、庫内の画像を提供する技術が開示されている。 Patent Document 1 discloses a technique of taking a picture of the inside of a refrigerator with the door closed in response to a command from the outside and transmitting it to the outside to provide an image of the inside of the refrigerator.
しかしながら、上記従来の技術では、冷蔵庫の庫内の画像を外部で受信しても、どのような食材がいくつ貯蔵されているかを迅速に把握するのは難しい、という課題があった。すなわち、携帯端末等に庫内の画像だけが表示されても、携帯端末のユーザは画像から食材を認識して庫内の食材の種類と数を特定する必要があるため、時間と労力を要していた。 However, with the above-mentioned conventional technique, there is a problem that it is difficult to quickly grasp what kind of foodstuff and how many are stored even if the image inside the refrigerator is received externally. That is, even if only the image in the refrigerator is displayed on the mobile terminal or the like, the user of the mobile terminal needs to recognize the foodstuff from the image and specify the type and number of the foodstuff in the refrigerator, which requires time and effort. Was.
そこで本発明は、上記問題点に鑑みてなされたもので、貯蔵庫の庫内に貯蔵されている物品の種類と数量を外部へ出力することを目的とする。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to output the type and quantity of articles stored in the storage to the outside.
本発明は、プロセッサとメモリを有する制御部と、開閉可能な扉と、を有する貯蔵庫であって、前記扉の開度を検出する開度センサと、前記扉が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラと、前記扉が開いた場合に前記庫内を前記カメラへ反射する反射鏡と、を有し、前記制御部は、前記開度センサが検出する開度が所定の閾値を超えた場合には、前記カメラで前記庫内と前記反射鏡の画像をカメラ画像として撮影する撮影部と、前記カメラで撮影した前記カメラ画像から物品を認識する認識部と、前記認識された物品の情報をテキストで出力する認識結果出力部と、を有する。 The present invention is a storage having a control unit having a processor and a memory, a door that can be opened and closed, an opening sensor that detects the opening degree of the door, and the storage when the door is opened. It has a camera capable of photographing the inside of the refrigerator from above, and a reflecting mirror that reflects the inside of the refrigerator to the camera when the door is opened, and the control unit has an opening degree detected by the opening degree sensor. When a predetermined threshold is exceeded, a photographing unit that captures images of the inside of the refrigerator and the reflecting mirror as camera images with the camera, a recognition unit that recognizes an article from the camera image captured by the camera, and the above. It has a recognition result output unit that outputs information on the recognized article as text.
したがって、本発明は、貯蔵庫内の物品のリストをテキストで生成することで、どのような食材（物品）がいくつ入っているかを迅速に把握することが可能となる。 Therefore, according to the present invention, by generating a list of articles in the storage as a text, it is possible to quickly grasp what kind of foodstuff (article) and how many are contained.
本明細書において開示される主題の、少なくとも一つの実施の詳細は、添付されている図面と以下の記述の中で述べられる。開示される主題のその他の特徴、態様、効果は、以下の開示、図面、請求項により明らかにされる。 Details of at least one practice of the subject matter disclosed herein are set forth in the accompanying drawings and in the description below. Other features, embodiments, and effects of the disclosed subject matter are manifested in the following disclosures, drawings, and claims.
以下、本発明の実施形態を添付図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
図１は、本発明の実施例１を示し、冷蔵システムの一例を示すブロック図である。冷蔵システムは、ネットワーク６に接続された冷蔵庫１と、ネットワーク６に接続されて冷蔵庫１から庫内の食材リストを受信して表示する携帯端末７と、ネットワーク６に接続されたネットスーパー８と、レシピサイト９を含む。
FIG. 1 is a block diagram showing Example 1 of the present invention and showing an example of a refrigerating system. The refrigerating system includes a refrigerator 1 connected to the
冷蔵庫１は、開閉自在に取り付けられた左右の扉１３－Ｌと扉１３－Ｒと、扉１３－Ｌ、１３－Ｒに取り付けられた複数のポケット１５と、庫内に形成された上段の棚１４－Ｕと、中段の棚１４－Ｍと、下段の棚１４－Ｌと、を含む。
The refrigerator 1 has left and right doors 13-L and 13-R that can be opened and closed, a plurality of
なお、以下の説明では、棚の上段、中段、下段の区別をしない場合には「－」以降を省略した符号「１４」を用いる。同様に、扉の左右を区別しない場合には「－」以降を省略した符号「１３」を用いる。 In the following description, when the upper, middle, and lower shelves are not distinguished, the reference numeral “14” is used, omitting the “−” and subsequent tiers. Similarly, when the left and right sides of the door are not distinguished, the code "13" is used, omitting the "-" and subsequent parts.
冷蔵庫１には後述するように扉１３の開度を検出する開度センサ１６がそれぞれ設けられる。また、冷蔵庫１の上部には、後述するように、庫内を撮影するカメラ１７が取り付けられる。
As will be described later, the refrigerator 1 is provided with an
冷蔵庫１を制御する制御部１０は、プロセッサ２と、記憶装置３と、ネットワーク６に接続された通信部５と、開度センサ１６及びカメラ１７に接続されたＩ／Ｏインタフェース４を含む。なお、記憶装置３は、ＤＲＡＭや内容を保持する不揮発性の記憶媒体等で構成することができる。
The
記憶装置３には、撮影部３１と、画像バッファ３２と、画像変換部３３と、認識部３４と、認識結果出力部３７と、庫内制御部３８がプログラムとしてロードされてプロセッサ２によって実行される。
In the
プロセッサ２は、各機能部のプログラムに従って処理を実行することによって、所定の機能を提供する機能部として稼働する。例えば、プロセッサ２は、画像変換プログラムに従って処理を実行することで画像変換部３３として機能する。他のプログラムについても同様である。さらに、プロセッサ２は、各プログラムが実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。計算機及び計算機システムは、これらの機能部を含む装置及びシステムである。
The
撮影部３１は、Ｉ／Ｏインタフェース４を介してカメラ１７からカメラ画像を取得して画像バッファ３２に格納する。なお、カメラ１７は、魚眼又は広角のレンズ１８（図３参照）を有する。また、撮影部３１は、後述するように、開度センサ１６が検出した扉１３の開度が所定の閾値Ｔｈ１を超え、且つ、扉１３が停止した場合にカメラ１７で冷蔵庫１の庫内を撮影し、撮影した画像をカメラ画像として画像バッファ３２へ格納する。
The photographing
なお、庫内を撮影する扉１３の開度は、左右の開度センサ１６の少なくとも一方が所定の閾値Ｔｈ１を超えた場合で、扉１３が停止した状態で撮影を行ってもよい。あるいは、左右の開度センサ１６の双方が所定の閾値Ｔｈ１を超えた場合にカメラ１７による撮影を行ってもよい。
The opening degree of the
画像変換部３３は、魚眼又は広角のレンズで撮影されたカメラ画像を平面画像に変換する。魚眼又は広角のレンズで撮影された画像を平面画像に展開する技術は、公知又は周知の技術を適用すればよいので、本実施例では詳述しない。
The
認識部３４は、学習ベース画像認識部３５と、ルールベース画像認識部３６を含んで、それぞれ、変換された平面画像から庫内の食品（又は物品）を認識する。学習ベース画像認識部３５は、例えば、予め学習が行われたニューラルネットワーク等の機械学習モデルを含み、平面画像を入力して、認識結果をテキストで出力する。
The
ルールベース画像認識部３６は、平面画像を入力して、ルールベースによって庫内の食品（又は物品）を認識する。ルールベース画像認識部３６は、入力された平面画像に対して領域分割を行ってから各領域毎に物品のラベリングを行って、認識したラベルの内容をテキストで出力する。なお、学習ベース画像認識部３５と、ルールベース画像認識部３６は、それぞれ周知又は公知の技術を適用すればよいので、本実施例では詳述しない。
The rule-based image recognition unit 36 inputs a flat image and recognizes the food (or the article) in the refrigerator by the rule base. The rule-based
認識結果出力部３７は、学習ベース画像認識部３５の認識結果と、ルールベース画像認識部３６の認識結果を受け付けて、食材リストを生成する。認識結果出力部３７は、認識部３４から機械学習モデルによる認識結果と、ルールベースによる認識結果を用いることで、誤認識を補正して画像からの食品（又は物品）の認識精度を向上させることができる。
The recognition
認識結果出力部３７は、機械学習モデルとルールベースによる認識結果から、食品の種類と数を集計して、庫内の食材リストを生成する。そして、認識結果出力部３７は、生成された食材リストを予め設定された携帯端末７に送信するよう通信部５に指令する。携帯端末７は、図示しないアプリケーションを実行しており、冷蔵庫１から受信した食材リストを表示部に出力する。
The recognition
庫内制御部３８は、図示しないモータやコンプレッサを制御して、冷蔵庫１の庫内の温度や湿度を制御する。庫内制御部３８については周知又は公知の技術を適用すればよいので、本実施例では詳述しない。
The
図２は、冷蔵庫１の上部の一例を示す斜視図である。冷蔵庫１は上部に天板１１を有し、冷蔵庫１の前方側の天板１１の左右にはヒンジ部１２がそれぞれ取り付けられて、左右の扉１３がヒンジ部１２によって開閉自在に支持される。本実施例では、左右の扉１３が観音開きで冷蔵庫１の開口部１１０を開閉する例を示す。
FIG. 2 is a perspective view showing an example of the upper part of the refrigerator 1. The refrigerator 1 has a top plate 11 at the upper portion, hinge
左右のヒンジ部１２の上端には扉１３の開度（角度）を検出する開度センサ１６が取り付けられる。天板１１の上面には、左右のヒンジ部１２の中間に冷蔵庫１の開口部１１０よりも冷蔵庫１の前方へ突出し、扉１３が開いたときに庫内を情報から撮影するカメラ１７が取り付けられる。
An
図３は、カメラ１７の取り付け位置の一例を示す冷蔵庫１の部分断面図である。カメラ１７は、冷蔵庫１の前方へ向けて端部（又は端面）１７０を開口部１１０（天板１１の端部）から所定量だけ突出させて天板１１の上面に取り付けられる。
FIG. 3 is a partial cross-sectional view of the refrigerator 1 showing an example of the mounting position of the
開口部１１０よりも前方に突出したカメラ１７の下面には、冷蔵庫１の庫内を撮影するレンズ１８が下方に向けて設けられる。レンズ１８は、魚眼又は広角が採用される。本実施例では、レンズ１８として魚眼レンズを採用した例を示す。
A lens 18 for photographing the inside of the refrigerator 1 is provided downward on the lower surface of the
開口部１１０から突出したカメラ１７の端部１７０には、下方に向けて突出したミラー１９が設けられる。ミラー１９は、冷蔵庫１の庫内のうち、少なくとも上段の棚１４－Ｕ及び中段の棚１４－Ｍの上面の物品をカメラ１７へ向けて反射する反射鏡として機能する。
A
なお、扉１３の開閉の際に、ミラー１９と扉１３が干渉する場合には、ミラー１９を折りたたみ可能又は変位可能な構造にすればよい。また、図示の例では、ミラー１９は、カメラ１７の端部１７０に取り付けられた例を示したが、これに限定されるものではなく、端部１７０よりも冷蔵庫１の前方に配置されてもよい。
If the
図４は、カメラ１７で撮影したカメラ画像４０の一例を示す図である。魚眼のレンズ１８で撮影したカメラ画像４０は、レンズ１８から直接撮影した冷蔵庫１の庫内及び左右の扉１３のポケット１５と、ミラー１９に反射した上段の棚１４－Ｕと中段の棚１４－Ｍ及び下段の棚１４－Ｌの上面に載置された食品が含まれる。
FIG. 4 is a diagram showing an example of a camera image 40 taken by the
魚眼のレンズ１８であっても、レンズ１８から直接撮影した画像では、最上段の棚１４－Ｕの上面の物品は一部しか撮影することができない。これに対して、ミラー１９で反射された画像では、最上段の棚１４－Ｕの上面に置かれた食品を庫内の奥まで撮影することができる。
Even with the fish-eye lens 18, only a part of the article on the upper surface of the uppermost shelf 14-U can be photographed in the image taken directly from the lens 18. On the other hand, in the image reflected by the
ただし、魚眼のレンズ１８で撮影したカメラ画像４０をそのまま使用して認識部３４の学習ベース画像認識部３５やルールベース画像認識部３６に食品の認識を実施させるのは難しい。すなわち、機械学習モデルの学習フェーズでは、歪みのない画像で学習を実施するため、魚眼又は広角のレンズ１８で歪んだカメラ画像４０をそのまま認識することは難しい。
However, it is difficult to make the learning-based
このため、画像変換部３３は、魚眼のレンズ１８で撮影した歪みを含む画像を平面画像に変換する。図５は、魚眼のカメラ画像４０を平面画像に変換した画像の一例を示す図である。
Therefore, the
画像変換部３３は、魚眼のレンズ１８で撮影したカメラ画像４０から、レンズ１８から直接撮影した庫内直接画像（第１の画像）４５と、レンズ１８からミラー１９を介して撮影したミラー画像（第２の画像）４１を抽出して、庫内直接画像４５とミラー画像４１のそれぞれについてレンズ１８の歪みを除去した平面画像に変換する。
The
庫内直接画像４５は、右扉画像４２と、庫内正面画像４３と、左扉画像４４から構成され、図４のカメラ画像４０の略上半分の領域である。ミラー画像４１は、図４のカメラ画像４０の下部のミラー１９に反射した庫内の画像である。
The interior direct image 45 is composed of a right door image 42, an interior front image 43, and a left door image 44, and is a region substantially the upper half of the camera image 40 in FIG. The mirror image 41 is an image of the inside of the refrigerator reflected by the
画像変換部３３は、庫内直接画像４５のうち、右扉画像４２を平面画像に変換して右扉展開画像５２を生成し、庫内正面画像４３を平面画像に変換して正面展開画像５３を生成し、左扉画像４４を平面画像に変換して左扉展開画像５４を生成する。
The
また、画像変換部３３は、ミラー画像４１を平面画像に変換して上段展開画像５１を生成する。
Further, the
そして、画像変換部３３は、歪みを除去した右扉展開画像５２と正面展開画像５３と左扉展開画像５４に上段展開画像５１を合成して認識用画像５０を生成する。
Then, the
画像変換部３３は、レンズ１８から直接撮影するのが難しい最上段の棚１４－Ｕの上面に載置されている食品の画像を、ミラー画像４１から平面画像に展開した上段展開画像５１とし、他の平面画像と結合することで庫内全体の食品又は物品を映し出した認識用画像５０を生成することが可能となる。
The
図６は、制御部１０で行われる処理の一例を示すフローチャートである。この処理は、扉１３が開いた場合に開始される。
FIG. 6 is a flowchart showing an example of the processing performed by the
まず、撮影部３１は、開度センサ１６の検出値から扉１３の開度（角度）を取得する（Ｓ１）。次に、撮影部３１は、開度センサ１６の検出値（角度）の変化率から扉１３の角速度を算出する。なお、角度の変化率は、前回値からの変化率や、所定時間（１００ｍｓ等）内の変化率を用いることができる。また、角速度は、扉１３の開き方向が正の値とし、扉１３を閉じる方向を負の値とする。
First, the photographing
撮影部３１は、扉１３の角速度が開き方向（正の値）であるか否かを判定する（Ｓ３）。開き方向であればステップＳ４へ進み、閉じ方向であれば処理を終了する。ステップＳ４では、扉１３の開度が予め設定した閾値Ｔｈ１以上であるか否かを判定する。扉１３の開度が閾値Ｔｈ１以上であればステップＳ５へ進み、開度が閾値Ｔｈ１未満であればステップＳ１に戻って上記処理を繰り返す。閾値Ｔｈ１は、例えば、１００度など扉１３のポケット１５に載置されている食品が撮影可能な値に設定される。
The photographing
ステップＳ５では、扉１３が停止したか否かを判定し、停止した場合にはステップＳ６へ進み、開閉中であればステップＳ１に戻って上記処理を繰り返す。ステップＳ６では、撮影部３１がカメラ１７の可視光画像を取得して、カメラ画像４０として画像バッファ３２に格納する。
In step S5, it is determined whether or not the
扉１３が停止した位置は、開度が閾値Ｔｈ１以上で扉１３の内側のポケット１５が撮影可能な開度であるので、庫内の食品をより多く撮影することが可能となる。また、撮影部３１は、扉１３の動きが停止してからカメラ１７で撮影を実施するため、ポケット１５等の画像がブレるのを防いで、確実に静止画を取得することが可能となる。
Since the position where the
次に、画像変換部３３は、ステップＳ６で撮影されたカメラ画像４０を画像バッファ３２から読み込んで、魚眼の画像を平面画像に展開する（Ｓ７）。画像変換部３３は、図５で示したように、魚眼のカメラ画像４０からミラー画像４１と、右扉画像４２と庫内正面画像４３と、左扉画像４４を抽出して、それぞれ平面画像に変換し、上段展開画像５１と、右扉展開画像５２と、正面展開画像５３と、左扉展開画像５４を生成し、これらの平面画像を結合して認識用画像５０を生成する。
Next, the
次に、学習ベース画像認識部３５は、画像変換部３３が生成した認識用画像５０を入力して、機械学習モデルに食品の画像認識を実行させ、認識結果をテキストで出力する（Ｓ８）。ルールベース画像認識部３６は、画像変換部３３が生成した認識用画像５０を入力して、食品の画像認識をルールベースで実行し、認識結果をテキストで出力する（Ｓ９）。
Next, the learning-based
なお、学習ベース画像認識部３５とルールベース画像認識部３６の処理順序は上記に限定されるものではなく、並列で実行してもよい。
The processing order of the learning-based
次に、認識結果出力部３７は、学習ベース画像認識部３５の認識結果と、ルールベース画像認識部３６の認識結果を入力して、認識結果のテキストから食品の種類と数量を算出して食材リストを生成する（Ｓ１０）。なお、認識結果出力部３７は、認識結果のうち食品以外の物品は食材リストから除外しておく。
Next, the recognition
認識結果出力部３７は、学習ベース画像認識部３５の認識結果とルールベース画像認識部３６の認識結果の論理積によって、食品の種類と数を決定することができる。或いは、認識結果出力部３７は、学習ベース画像認識部３５の認識結果を、ルールベース画像認識部３６の認識結果で補正してもよい。そして、認識結果出力部３７は、予め設定された携帯端末７に、上記生成した食材リストを送信する。
The recognition
図７は、携帯端末７に表示される食材リスト７２の一例を示す図である。図示の例は携帯端末７がスマートフォンで構成された例を示す。携帯端末７は、図示しないアプリケーションが稼働しており、ネットワーク６を介して冷蔵庫１と通信を行う。
FIG. 7 is a diagram showing an example of a food ingredient list 72 displayed on the
携帯端末７の表示画面７１上には、冷蔵庫１から受信した食品の種類と数量が対になったテキストで構成された食材リスト７２が表示される。冷蔵庫１のユーザは、携帯端末７の食材リスト７２のテキストを参照することで、冷蔵庫１に貯蔵されている食品の種類と数量を迅速且つ容易に把握することが可能となる。
On the
なお、上記では撮影部３１が冷蔵庫１の庫内を撮影してから食品の画像認識と食材リスト７２の生成及び送信を実施する例を示したが、これに限定されるものではない。例えば、制御部１０は、カメラ画像４０の認識結果から算出された食材リスト７２を記憶装置３に保持しておき、携帯端末７から食材リスト７２の要求を受け付けた場合に、最新の食材リスト７２を携帯端末７へ送信するようにしてもよい。
In the above, an example is shown in which the photographing
以上のように、本実施例では、冷蔵庫１内の食品のリストをテキストで生成して携帯端末７へ送信することで、冷蔵庫１のユーザは携帯端末７を参照することで、外出中であってもどのような食材がいくつ入っているかを迅速に把握することが可能となる。
As described above, in the present embodiment, the list of foods in the refrigerator 1 is generated as a text and transmitted to the
また、本実施例では、扉１３を開いた状態で、可視光画像で撮影したカメラ画像４０から、食品の認識を行う際には野菜や食品の色合いなどを加味して画像認識を行うことができ、認識精度を向上させることができる。
Further, in the present embodiment, when the food is recognized from the camera image 40 taken by the visible light image with the
また、本実施例では、冷蔵庫１の天板１１から開口部１１０よりも前方にカメラ１７の端部１７０を突出させ、開口部１１０よりも突出したカメラ１７の下面に魚眼又は広角のレンズ１８を配置することで、扉１３を開いた状態で冷蔵庫１の庫内を可視光画像で撮影することができる。
Further, in this embodiment, the end 170 of the
さらに、カメラ１７の端部１７０には、端部１７０から下方に向けて突出したミラー１９を設置することで、庫内上段の棚１４－Ｕの上面の食品を撮影することができる。これにより、レンズ１８から直接撮影できない領域の食品についても撮影することが可能となり、冷蔵庫１に貯蔵されている食品を正確に撮影することが可能となる。
Further, by installing a
また、画像変換部３３が、魚眼画像を平面画像に変換することで、学習ベース画像認識部３５の機械学習モデルは平面画像で学習しておけばよく、学習用の画像を容易に生成することができる。
Further, the
また、本実施例では、食品を貯蔵する装置として冷蔵庫１に本発明を適用する例を示したが、これに限定されるものではない。例えば、キッチンストッカーや床下収納庫等の食品を貯蔵する貯蔵庫や装置に本発明を適用してもよい。 Further, in the present embodiment, an example in which the present invention is applied to the refrigerator 1 as a device for storing food is shown, but the present invention is not limited thereto. For example, the present invention may be applied to a storage or device for storing food such as a kitchen stocker or an underfloor storage.
また、認識部３４の機械学習モデルは、食品のパッケージの変更や追加などに応じて、最新の機械学習モデルに更新することができ、例えば、図示しないサーバから受信した機械学習モデルを学習ベース画像認識部３５の機械学習モデルとして更新してもよい。
Further, the machine learning model of the
また、上記では食材リストを携帯端末７へ出力する例を示したが、食材リストをレシピサイト９へ送信して、現在の食材リストで実現可能な料理のレシピを要求し、携帯端末７に表示させてもよい。
Further, although the example of outputting the food list to the
図８～図１０は、本発明の実施例２を示し、前記実施例１の食材リスト７２に基づいてネットスーパー８に食材を発注する例を示す。
8 to 10 show Example 2 of the present invention, and show an example of ordering foodstuffs from
本実施例では、冷蔵庫１のユーザが、冷蔵庫１に常時貯蔵しておきたい食品の種類と数をストックテーブルに設定して記憶装置３に格納しておく。そして、冷蔵庫１は最新の食材リストとストックテーブルを比較して、ストックテーブルの食品のうち不足しているものをネットスーパー８に発注する例を示す。
In this embodiment, the user of the refrigerator 1 sets the type and number of foods to be constantly stored in the refrigerator 1 in the stock table and stores them in the
図１０は、ストックテーブル３９の一例を示す図である。ストックテーブル３９は、冷蔵庫１のユーザ等が携帯端末７等から予め設定したテーブルである。ストックテーブル３９は、食品の種類を格納する品目３９１と、当該食品を常時貯蔵しておくべき数量を格納する定数３９２と、当該食品を発注するサイトを格納する発注先３９３をひとつのレコードに含む。
FIG. 10 is a diagram showing an example of the stock table 39. The stock table 39 is a table preset by the user of the refrigerator 1 or the like from the
図８は、本発明の実施例２を示し、制御部１０で行われる処理の一例を示すフローチャートである。ステップＳ１～Ｓ１０の食材リストの生成までは前記実施例１の図６と同様である。
FIG. 8 is a flowchart showing the second embodiment of the present invention and showing an example of the processing performed by the
ステップＳ２１では、認識結果出力部３７がストックテーブル３９を読み込んで、食材リストの食品の数量とストックテーブル３９の定数３９２と比較を行う。認識結果出力部３７は、食材リストの食品の数量がストックテーブル３９の定数３９２未満の食品の有無を判定する（Ｓ２２）。食品の数量がストックテーブル３９の定数３９２未満の食品があればステップＳ２３へ進み、そうでない場合にはステップＳ２４へ進む。
In step S21, the recognition
ステップＳ２３では、認識結果出力部３７が食材リストの数量がストックテーブル３９の定数３９２未満の品目３９１について、定数３９２との差分を発注数として算出し、発注リストを生成して、予め設定され携帯端末７に送信する。冷蔵庫１のユーザは、携帯端末７で受信した発注リストを確認して予め設定した発注先３９３に食品を注文する。
In step S23, the recognition
一方、ステップＳ２２では、不足している食品はないので、前記実施例１と同様に食材リストを予め設定され携帯端末７に送信する。
On the other hand, in step S22, since there is no missing food, the food list is set in advance and transmitted to the
図９は、携帯端末７に表示される発注リスト７３の一例を示す図である。携帯端末７の表示画面７１上には、冷蔵庫１から受信した発注リスト７３が表示される。発注リスト７３は、ストックテーブル３９の定数３９２に達していない品目３９１と、定数３９２に対して不足している数量が対になって表示される。
FIG. 9 is a diagram showing an example of an order list 73 displayed on the
発注リスト７３の下方には、発注先７４と発注ボタン７５が表示され、冷蔵庫１のユーザは、発注ボタン７５を操作することで発注リスト７３の内容が発注先７４へ送信される。
The ordering
なお、図示の例では、単一の発注先７４が表示される例を示すが、ストックテーブル３９で品目３９１毎に異なる発注先３９３が設定されている場合には、発注リスト７３に品目毎の発注先の名称を表示することができる。
In the illustrated example, a
以上のように、本実施例によれば、冷蔵庫１のユーザが予めストックテーブル３９を設定しておくことで、冷蔵庫１の認識結果出力部３７は、不足した食品を自動的に補充することが可能となる。
As described above, according to the present embodiment, when the user of the refrigerator 1 sets the stock table 39 in advance, the recognition
なお、認識結果出力部３７が発注リスト７３を生成するタイミングは、カメラ１７で庫内を撮影した直後に限定されるものではなく、毎週或いは毎日等所定の周期など、予め設定されたタイミングで実施すればよい。
The timing at which the recognition
図１１、図１２は本発明の実施例３を示し、前記実施例１に示したミラー１９に曇りが発生した場合、学習ベース画像認識部３５の機械学習モデルを切り替える例を示す。前記実施例１では、ミラー１９に写った庫内の画像をミラー画像４１として抽出し、学習ベース画像認識部３５へ入力していた。
11 and 12 show Example 3 of the present invention, and show an example of switching the machine learning model of the learning-based
食品を貯蔵する冷蔵庫１等の貯蔵庫は、台所など炊事を行う場所又はその近傍に設置されることが多い。炊事などの際に発生した蒸気でミラー１９に曇りが発生する場合がある。
A storage such as a refrigerator 1 for storing food is often installed at or near a cooking place such as a kitchen. The
曇りが発生したミラー１９でカメラ画像４０を取得した場合、学習ベース画像認識部３５の機械学習モデルは、曇りのない画像で食品又は物品の学習を実施するため、曇りが発生したミラー画像４１（上段展開画像５１）では正確に食品を認識するのは難しい。
When the camera image 40 is acquired by the
本実施例では、学習ベース画像認識部３５の機械学習モデルを曇りが発生した場合には、学習モデルを切り替えて、画像認識を実施する例を示す。図１１は、認識部３４の一例を示す図である。認識部３４の学習ベース画像認識部３５は、通常学習モデル３５１と、曇り学習モデル３５２を有する。
In this embodiment, when the machine learning model of the learning-based
通常学習モデル３５１は、曇りのない画像で食品又は物品の学習を実施し、曇り学習モデル３５２は、曇りのある画像で食品又は物品の学習を実施したものである。学習ベース画像認識部３５は、入力されたミラー画像４１に曇りが発生しているか否かを判定し、ミラー画像４１（上段展開画像５１）に曇りが含まれていれば、機械学習モデルを曇り学習モデル３５２に切り替えて入力された画像の認識を実施する。
The
なお、ミラー１９等の曇りを検出する技術としては、例えば、特開平１０－１０２４３５号公報や、特開平１１－３１８８１０号公報など、公知又は周知の技術を適用することができる。
As a technique for detecting fogging of the
図１２は、制御部１０で行われる処理の一例を示すフローチャートである。このフローチャートのステップＳ１～Ｓ１１は、前記実施例１の図６と同様であり、ステップＳ７とステップＳ８の間にステップＳ３１～ステップＳ３４を挿入した点が実施例１と相違する。
FIG. 12 is a flowchart showing an example of the processing performed by the
ステップＳ３１では、認識部３４の学習ベース画像認識部３５は画像変換部３３で生成された認識用画像５０を入力して、上段展開画像５１に含まれる曇りを検出する。そして、ステップＳ３２で、学習ベース画像認識部３５は、上段展開画像５１に曇りがあるか否かを判定する。
In step S31, the learning-based
学習ベース画像認識部３５は、上段展開画像５１に曇りがある場合にはステップＳ３４へ進んで曇り学習モデル３５２を選択し、曇りがない場合にはステップＳ３３へ進んで通常学習モデル３５１を選択する。
The learning-based
そして、ステップＳ８では、学習ベース画像認識部３５は、ステップＳ３３又はＳ３４で選択された機械学習モデルで認識用画像５０から食品（又は物品）の認識を実施する。以降の処理は、前記実施例１と同様であり、食材リストを生成して携帯端末７に出力する。
Then, in step S8, the learning-based
以上のように、本実施例では、学習ベース画像認識部３５は、ミラー１９に曇りがある場合には、機械学習モデルを曇り学習モデル３５２へ切り替えることで、ミラー画像４１に曇りが含まれていても、誤認識を抑制することが可能となる。
As described above, in the present embodiment, when the
図１３～図１５は、本発明の実施例４を示し、前記実施例１に示した画像変換処理と、画像認識処理と、認識結果出力処理をネットワーク６に接続された分析サーバ１００で実施する例を示す。
13 to 15 show a fourth embodiment of the present invention, in which the image conversion process, the image recognition process, and the recognition result output process shown in the first embodiment are performed by the
前記実施例１では、冷蔵庫１の制御部１０で実行されていた画像変換部３３と、認識部３４と、認識結果出力部３７を分析サーバ１００で実行する。また、冷蔵庫１の制御部１０では、新たに人体検出部８２と画像送信部８１を実行する点が前記実施例１と相違する。
In the first embodiment, the
本実施例では、分析サーバ１００は、複数の冷蔵庫１からカメラ画像４０を取得して、冷蔵庫１毎に食品を認識して食材リストを生成して冷蔵庫１毎に設定された携帯端末７へ送信する。また、人体検出部８２は、カメラ画像４０に冷蔵庫１のユーザ等の人体が写っている場合には、プライバシー保護の観点から当該カメラ画像４０の分析サーバ１００への送信を禁止する例を示す。
In this embodiment, the
図１３は、冷蔵システムの一例を示すブロック図である。本実施例の冷蔵システムは、前記実施例１の構成に加えてネットワーク６に接続された分析サーバ１００を含む。分析サーバ１００は、プロセッサ１０１と、メモリ１０２と、ストレージ装置１０３と、通信部１０４を含む計算機である。
FIG. 13 is a block diagram showing an example of a refrigerating system. The refrigerating system of this embodiment includes an
メモリ１０２には、送受信部６１の他に、前記実施例１で冷蔵庫１の記憶装置３に格納されていた、画像変換部３３と、認識部３４と、認識結果出力部３７が格納されてプロセッサ１０１によって実行される。本実施例では、実施例１と同一のものについては、同一の符号を付して説明を省略する。
In the
送受信部６１は冷蔵庫１からカメラ画像４０を受信してストレージ装置１０３へ格納し、認識結果出力部３７が生成した食材リストを冷蔵庫１のユーザの携帯端末７へ送信する。
The transmission /
ストレージ装置１０３は、冷蔵庫１から受信したカメラ画像４０を格納する画像データ１０５を保持する。なお、カメラ画像４０は、冷蔵庫１毎に識別子を付与されておりユーザの識別が可能となっている。
The
冷蔵庫１の記憶装置３には、画像送信部８１と、人体検出部８２の他に、前記実施例１の撮影部３１と、画像バッファ３２と、庫内制御部３８が格納されてプロセッサ２によって実行される。
In the
画像送信部８１は、撮影されたカメラ画像４０を分析サーバ１００へ送信する。人体検出部８２は、機械学習モデル等の画像認識部を含み、カメラ画像４０に含まれる人体（又は人体の部分）を検出し、人体が検出された場合にはカメラ画像４０が外部へ送信されるのを阻止する。
The
図１４は、冷蔵庫１の制御部１０で行われる処理の一例を示すフローチャートである。このフローチャートのステップＳ１～Ｓ６は、前記実施例１の図６と同様であるので、重複する説明は省略する。
FIG. 14 is a flowchart showing an example of processing performed by the
ステップＳ４１では、人体検出部８２が撮影部３１から出力されたカメラ画像４０を取得し、カメラ画像４０から人体又は人体の部分を検出する。ステップＳ４２では、人体検出部８２が、カメラ画像４０に人体が含まれるか否かを判定し、人体が含まれる場合にはステップＳ４３へ進み、人体を含まない場合にはステップＳ４４へ進む。
In step S41, the human
ステップＳ４３では、人体検出部８２がカメラ画像４０を破棄して、冷蔵庫１の外部へ人体を含むカメラ画像４０が送信されるのを阻止する。一方、ステップＳ４４では、人体検出部８２がカメラ画像４０を画像バッファ３２へ格納する。
In step S43, the human
上記処理により、冷蔵庫１の扉１３を開閉する際に撮影されたカメラ画像４０に人体が含まれる場合にはカメラ画像４０は破棄されて、冷蔵庫１のユーザのプライバシーを保護することができる。一方、カメラ画像４０に人体が含まれていない場合には画像バッファ３２にカメラ画像４０が蓄積される。
By the above processing, if the camera image 40 taken when opening and closing the
画像送信部８１は、予め設定されたタイミング（例えば、１日１回又は携帯端末７の指示等）で画像バッファ３２のカメラ画像４０のうち最新のカメラ画像４０を分析サーバ１００へ送信する。なお、画像送信部８１は、送信するカメラ画像４０に冷蔵庫１の識別子を付加する。
The
分析サーバ１００のストレージ装置１０３には、複数の冷蔵庫１から送信されたカメラ画像４０が格納される。
The
図１５は、分析サーバ１００で行われる処理の一例を示すフローチャートである。この処理は、カメラ画像４０を受信した場合など所定のタイミングで実施される。送受信部６１は、受信したカメラ画像４０をストレージ装置１０３の画像データ１０５から取得して、画像変換部３３へ入力する（Ｓ５１）。
FIG. 15 is a flowchart showing an example of processing performed by the
以降のステップＳ５２～Ｓ５５の処理は、前記実施例１の図６に示したステップＳ７～Ｓ１１と同様であり、魚眼のカメラ画像４０を平面画像に変換してから食品の認識を行って、認識結果出力部３７で食材リストを生成して出力する。出力された食材リストは、送受信部６１によって冷蔵庫１のユーザの携帯端末７に送信される。
Subsequent processes of steps S52 to S55 are the same as steps S7 to S11 shown in FIG. 6 of the first embodiment, and the fish-eye camera image 40 is converted into a flat image and then the food is recognized. The recognition
以上のように、本実施例では分析サーバ１００が複数の冷蔵庫１のカメラ画像４０を認識して食材リストを携帯端末７へ送信するので、冷蔵庫１の制御部１０の処理負荷を低減して冷蔵庫１の製造コストを低減できる。
As described above, in the present embodiment, since the
また、食品のパッケージの変更や、新たな食品の出現などに応じて、学習ベース画像認識部３５の機械学習モデルを更新する必要があるが、本実施例では分析サーバ１００の機械学習モデルを更新すればよいので、機械学習モデルのメンテナンスにかかるコストを低減できる。
Further, it is necessary to update the machine learning model of the learning-based
また、冷蔵庫１の制御部１０では、人体検出部８２によってカメラ画像４０を監視し、人体の部分が含まれるカメラ画像４０を破棄することで外部へ送信されるのを防止し、冷蔵庫１のユーザのプライバシーを保護することが可能となる。
Further, in the
＜結び＞
以上のように、上記実施例の冷蔵庫１は、以下のような貯蔵庫又は貯蔵システムとすることができる。
<Conclusion>
As described above, the refrigerator 1 of the above embodiment can be a storage or storage system as described below.
（１）プロセッサ（２）とメモリ（３）を有する制御部（１０）と、開閉可能な扉（１３）と、を有する貯蔵庫（１）であって、前記扉（１３）の開度を検出する開度センサ（１６）と、前記扉（１３）が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラ（１７）と、前記扉（１３）が開いた場合に前記庫内を前記カメラ（１７）へ反射する反射鏡（ミラー１９）と、を有し、前記制御部（１０）は、前記開度センサ（１６）が検出する開度が所定の閾値を超えた場合には、前記カメラ（１７）で前記庫内と前記反射鏡（１９）の画像をカメラ画像（４１）として撮影する撮影部（３１）と、前記カメラ（１７）で撮影した前記カメラ画像（４１）から物品を認識する認識部（３４）と、前記認識された物品の情報をテキストで出力する認識結果出力部（３７）と、を有することを特徴とする貯蔵庫。 (1) A storage (1) having a control unit (10) having a processor (2) and a memory (3), an openable / closable door (13), and detecting the opening degree of the door (13). An opening sensor (16), a camera (17) capable of photographing the inside of the storage from above when the door (13) is opened, and the inside of the storage when the door (13) is opened. The control unit (10) has a reflecting mirror (mirror 19) that reflects the image on the camera (17), and the control unit (10) has an opening degree detected by the opening degree sensor (16) when the opening degree exceeds a predetermined threshold value. The camera (17) captures the image of the inside of the refrigerator and the reflector (19) as the camera image (41), and the camera image (41) captured by the camera (17). A storage unit comprising a recognition unit (34) for recognizing an article from the camera and a recognition result output unit (37) for outputting information on the recognized article in text.
上記構成により、制御部１０は、冷蔵庫１内の食品のリストをテキストで生成して外部へ出力することで、冷蔵庫１のユーザはどのような食材がいくつ入っているかを迅速に把握することが可能となる。
With the above configuration, the
（２）上記（１）に記載の貯蔵庫であって、前記カメラ（１７）は、魚眼又は広角のレンズで構成され、貯蔵庫の上面から前方へ向けて突出した位置で前記レンズを下方に向けて配置したことを特徴とする貯蔵庫。 (2) In the storage according to the above (1), the camera (17) is composed of a fish-eye or a wide-angle lens, and the lens is directed downward at a position protruding forward from the upper surface of the storage. A storage that is characterized by being placed in a single lens.
上記構成により、扉１３を開いた状態で、冷蔵庫１の上方に設けたカメラから下方の庫内を、可視光画像で撮影したカメラ画像４０によって食品の認識を行うため際には食品の色合いなどを加味して画像認識を行うことができ、認識精度を向上させることができる。
With the above configuration, when the
（３）上記（２）に記載の貯蔵庫であって、前記反射鏡（１９）は、前記カメラ（１７）の端部又は端部よりも貯蔵庫の前方で下方へ向けて突出することを特徴とする貯蔵庫。 (3) The storage according to the above (2), wherein the reflector (19) projects downward in front of the storage from the end or the end of the camera (17). Storage.
上記構成により、カメラ１７の端部１７０には、端部１７０から下方に向けて突出したミラー１９を設置することで、庫内上段の棚１４－Ｕの上面の食品（又は物品）を撮影することができる。これにより、レンズ１８から直接撮影できない領域の食品についても撮影することが可能となり、冷蔵庫１に貯蔵されている食品を正確に撮影することが可能となる。
With the above configuration, by installing a
（４）上記（３）に記載の貯蔵庫であって、前記制御部（１０）は、前記カメラ画像（４１）から、前記レンズから直接撮影した貯蔵庫内の第１の画像と、前記レンズから前記反射鏡（１９）を介して撮影した貯蔵庫内の第２の画像と、を抽出して、前記第１の画像と前記第２の画像から前記魚眼又は広角のレンズの歪みを除去した平面画像に変換し、前記第１の画像の平面画像と第２の画像の平面画像を合成して認識用画像を生成する画像変換部をさらに有し、前記認識部（３４）は、前記認識用画像から物品を認識することを特徴とする貯蔵庫。 (4) In the storage according to the above (3), the control unit (10) has a first image in the storage taken directly from the lens from the camera image (41) and the lens from the lens. A planar image obtained by extracting the second image in the storage taken through the reflector (19) and removing the distortion of the fisheye or wide-angle lens from the first image and the second image. Further has an image conversion unit that generates a recognition image by synthesizing the plane image of the first image and the plane image of the second image to generate a recognition image, and the recognition unit (34) is the recognition image. A storage characterized by recognizing goods from.
上記構成により、画像変換部３３は、魚眼画像を平面画像に変換することで、学習ベース画像認識部３５の機械学習モデルは平面画像で学習を行うことができ、学習用の画像を容易に生成することができる。
With the above configuration, the
（５）上記（４）に記載の貯蔵庫であって、前記画像変換部は、前記認識用画像を生成する際に、前記第２の画像の平面画像を庫内上部の平面画像として、前記k第１の画像の平面画像に合成することを特徴とする貯蔵庫。 (5) In the storage according to the above (4), when the image conversion unit generates the recognition image, the plane image of the second image is used as a plane image of the upper part of the refrigerator, and the k. A storage characterized in that it is combined with a planar image of the first image.
上記構成により、画像変換部３３は、ミラー画像４１から歪みを取り除いた平面画像を上段展開画像５１として認識用画像５０に合成することで、レンズ１８から直接撮影できない領域（上段の棚１４－Ｕ）の食品についても画像認識を行うことが可能となる。
With the above configuration, the
（６）上記（４）に記載の貯蔵庫であって、前記認識結果出力部（３７）は、前記庫内の物品の認識結果のうち食品の種類と数量を食材リストとして出力することを特徴とする貯蔵庫。 (6) The storage according to the above (4), wherein the recognition result output unit (37) outputs the type and quantity of food among the recognition results of the articles in the storage as a food material list. Storage.
上記構成により、冷蔵庫１のユーザは、テキストの情報で庫内の食品を把握することができる。 With the above configuration, the user of the refrigerator 1 can grasp the food in the refrigerator by the text information.
（７）上記（６）に記載の貯蔵庫であって、前記認識結果出力部（３７）は、前記食材リストの食品の数量が、予め設定された数量未満の食品について外部へ発注することを特徴とする貯蔵庫。 (7) The storage according to (6) above, wherein the recognition result output unit (37) places an order for foods whose quantity of foods in the foodstuff list is less than a preset quantity. Storage.
上記構成により、冷蔵庫１のユーザが予めストックテーブル３９を設定しておくことで、冷蔵庫１の認識結果出力部３７は、不足した食品を自動的に補充することが可能となる。
With the above configuration, the user of the refrigerator 1 sets the stock table 39 in advance, so that the recognition
（８）上記（１）に記載の貯蔵庫であって、前記認識部（３４）は、前記カメラ画像（４１）のうち前記反射鏡（１９）の画像に曇りの有無を検出し、前記反射鏡（１９）の画像に曇りがある場合には、画像を認識する機械学習モデルを、通常用学習モデル（３５１）から曇り用学習モデル（３５２）へ切り替えることを特徴とする貯蔵庫。 (8) In the storage according to the above (1), the recognition unit (34) detects the presence or absence of cloudiness in the image of the reflector (19) among the camera images (41), and the reflector. When the image of (19) is cloudy, the storage is characterized by switching the machine learning model for recognizing the image from the normal learning model (351) to the cloudy learning model (352).
上記構成により、学習ベース画像認識部３５は、ミラー１９に曇りがある場合には、機械学習モデルを曇り学習モデル３５２へ切り替えることで、ミラー画像４１に曇りが含まれていても、誤認識を抑制することが可能となる。
With the above configuration, when the
（９）プロセッサ（２）とメモリ（３）を有する制御部（１０）と、開閉可能な扉（１３）と、を含む貯蔵庫（１）と、前記貯蔵庫（１）とネットワーク（６）を介して接続されて、プロセッサ（１０１）とメモリ（１０２）を有するサーバ（１００）と、を含む貯蔵システムであって、前記貯蔵庫（１）は、前記扉（１３）の開度を検出する開度センサ（１６）と、前記扉（１３）が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラ（１７）と、前記扉（１３）が開いた場合に前記庫内を前記カメラ（１７）へ反射する反射鏡（１９）と、を有し、前記制御部（１０）は、前記開度センサ（１６）が検出する開度が所定の閾値を超えた場合には、前記カメラ（１７）で前記庫内と前記反射鏡（１９）の画像をカメラ画像（４１）として撮影する撮影部（３１）と、前記カメラ画像（４１）を前記サーバ（１００）へ送信する画像送信部と、を有し、前記サーバ（１００）は、前記貯蔵庫から前記カメラ画像（４１）を受信する送受信部（６１）と、 前記カメラ（１７）で撮影した前記カメラ画像（４１）から物品を認識する認識部（３４）と、前記認識された物品の情報をテキストで出力する認識結果出力部（３７）と、を有することを特徴とする貯蔵システム。 (9) A storage (1) including a control unit (10) having a processor (2) and a memory (3), an openable / closable door (13), and the storage (1) and a network (6). A storage system including a server (100) having a processor (101) and a memory (102), wherein the storage (1) has an opening degree for detecting the opening degree of the door (13). The sensor (16), the camera (17) capable of photographing the inside of the storage from above when the door (13) is opened, and the camera inside the storage when the door (13) is opened. It has a reflecting mirror (19) that reflects to (17), and the control unit (10) has the camera when the opening degree detected by the opening degree sensor (16) exceeds a predetermined threshold value. In (17), a photographing unit (31) that captures images of the inside of the refrigerator and the reflecting mirror (19) as a camera image (41), and an image transmitting unit that transmits the camera image (41) to the server (100). The server (100) recognizes an article from the transmission / reception unit (61) that receives the camera image (41) from the storage and the camera image (41) taken by the camera (17). A storage system comprising a recognition unit (34) and a recognition result output unit (37) for outputting information on the recognized article as text.
上記構成により、分析サーバ１００が複数の冷蔵庫１のカメラ画像４０を認識して食材リストを携帯端末７へ送信するので、冷蔵庫１の制御部１０の処理負荷を低減して冷蔵庫１の製造コストを低減できる。
With the above configuration, since the
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment is described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the configurations described. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, for a part of the configuration of each embodiment, any of addition, deletion, or replacement of other configurations can be applied alone or in combination.
また、上記の各構成、機能、処理部、及び処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、及び機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。 Further, each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations and functions may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 In addition, the control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all the control lines and information lines in the product. In practice, it can be considered that almost all configurations are interconnected.
１ 冷蔵庫
２ プロセッサ
３ 記憶装置
４ Ｉ／Ｏインタフェース
５ 通信部
６ ネットワーク
７ 携帯端末
８ ネットスーパー
１０ 制御部１０
１３ 扉
１６ 開度センサ
１７ カメラ
１８ レンズ
１９ ミラー
３１ 撮影部
３２ 画像バッファ
３３ 画像変換部
３４ 認識部
３５ 学習ベース画像認識部
３６ ルールベース画像認識部
３７ 認識結果出力部
1
13
Claims (15)
開閉可能な扉と、を有する貯蔵庫であって、
前記扉の開度を検出する開度センサと、
前記扉が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラと、
前記扉が開いた場合に前記庫内を前記カメラへ反射する反射鏡と、を有し、
前記制御部は、
前記開度センサが検出する開度が所定の閾値を超えた場合には、前記カメラで前記庫内と前記反射鏡の可視光画像をカメラ画像として撮影する撮影部と、
前記カメラで撮影した前記カメラ画像から物品を認識する認識部と、
前記認識された物品の情報をテキストで出力する認識結果出力部と、
を有することを特徴とする貯蔵庫。 A control unit with a processor and memory,
A storage with a door that can be opened and closed,
An opening sensor that detects the opening of the door and
A camera that can take a picture of the inside of the storage from above when the door is opened,
It has a reflector that reflects the inside of the refrigerator to the camera when the door is opened.
The control unit
When the opening degree detected by the opening degree sensor exceeds a predetermined threshold value, the camera captures a visible light image of the inside of the refrigerator and the reflecting mirror as a camera image, and a photographing unit.
A recognition unit that recognizes an article from the camera image taken by the camera,
A recognition result output unit that outputs the information of the recognized article as text, and
A storage characterized by having.
前記カメラは、魚眼又は広角のレンズで構成され、貯蔵庫の上面から前方へ向けて突出した位置で前記レンズを下方に向けて配置したことを特徴とする貯蔵庫。 The storage according to claim 1, wherein the storage is
The camera is composed of a fish-eye or a wide-angle lens, and is characterized in that the lens is arranged downward at a position protruding forward from the upper surface of the storage.
前記反射鏡は、前記カメラの端部又は端部よりも貯蔵庫の前方で下方へ向けて突出することを特徴とする貯蔵庫。 The storage according to claim 2, wherein the storage is
The reflector is a storage that projects downward in front of the storage from the end or the end of the camera.
前記制御部は、
前記カメラ画像から、前記レンズから直接撮影した貯蔵庫内の第１の画像と、前記レンズから前記反射鏡を介して撮影した貯蔵庫内の第２の画像と、を抽出して、前記第１の画像と前記第２の画像から前記魚眼又は広角のレンズの歪みを除去した平面画像に変換し、前記第１の画像の平面画像と第２の画像の平面画像を合成して認識用画像を生成する画像変換部をさらに有し、
前記認識部は、
前記認識用画像から物品を認識することを特徴とする貯蔵庫。 The storage according to claim 3, wherein the storage is
The control unit
The first image in the storage taken directly from the lens and the second image in the storage taken from the lens via the reflector are extracted from the camera image, and the first image is taken. And the second image is converted into a plane image in which the distortion of the fisheye or wide-angle lens is removed, and the plane image of the first image and the plane image of the second image are combined to generate a recognition image. It also has an image conversion unit to
The recognition unit
A storage characterized by recognizing an article from the recognition image.
前記画像変換部は、
前記認識用画像を生成する際に、前記第２の画像の平面画像を庫内上部の平面画像として、前記第１の画像の平面画像に合成することを特徴とする貯蔵庫。 The storage according to claim 4, wherein the storage is
The image conversion unit
When generating the recognition image, the storage is characterized in that the plane image of the second image is combined with the plane image of the first image as a plane image of the upper part of the refrigerator.
前記認識結果出力部は、
前記庫内の物品の認識結果のうち食品の種類と数量を食材リストとして出力することを特徴とする貯蔵庫。 The storage according to claim 4, wherein the storage is
The recognition result output unit is
A storage that outputs the type and quantity of food among the recognition results of the goods in the storage as a food material list.
前記認識結果出力部は、
前記食材リストの食品の数量が、予め設定された数量未満の食品について外部へ発注することを特徴とする貯蔵庫。 The storage according to claim 6, wherein the storage is
The recognition result output unit is
A storage that orders foods whose quantity of foods in the foodstuff list is less than a preset quantity to the outside.
前記認識部は、
前記カメラ画像のうち前記反射鏡の画像に曇りの有無を検出し、前記反射鏡の画像に曇りがある場合には、画像を認識する機械学習モデルを、通常用学習モデルから曇り用学習モデルへ切り替えることを特徴とする貯蔵庫。 The storage according to claim 1, wherein the storage is
The recognition unit
The machine learning model that detects the presence or absence of cloudiness in the image of the reflector among the camera images and recognizes the image when the image of the reflector is cloudy is changed from the normal learning model to the cloudy learning model. Storage characterized by switching.
前記貯蔵庫とネットワークを介して接続されて、プロセッサとメモリを有するサーバと、を含む貯蔵システムであって、
前記貯蔵庫は、
前記扉の開度を検出する開度センサと、
前記扉が開放された場合に前記貯蔵庫の庫内を上方から撮影可能なカメラと、
前記扉が開いた場合に前記庫内を前記カメラへ反射する反射鏡と、を有し、
前記制御部は、
前記開度センサが検出する開度が所定の閾値を超えた場合には、前記カメラで前記庫内と前記反射鏡の画像をカメラ画像として撮影する撮影部と、
前記カメラ画像を前記サーバへ送信する画像送信部と、を有し、
前記サーバは、
前記貯蔵庫から前記カメラ画像を受信する送受信部と、
前記カメラで撮影した前記カメラ画像から物品を認識する認識部と、
前記認識された物品の情報をテキストで出力する認識結果出力部と、
を有することを特徴とする貯蔵システム。 A storage that includes a control unit with a processor and memory, a door that can be opened and closed, and a storage.
A storage system that includes a server that is connected to the storage via a network and has a processor and memory.
The storage is
An opening sensor that detects the opening of the door and
A camera that can take a picture of the inside of the storage from above when the door is opened,
It has a reflector that reflects the inside of the refrigerator to the camera when the door is opened.
The control unit
When the opening degree detected by the opening degree sensor exceeds a predetermined threshold value, the camera captures an image of the inside of the refrigerator and the reflector as a camera image, and a photographing unit.
It has an image transmission unit that transmits the camera image to the server, and has.
The server
A transmission / reception unit that receives the camera image from the storage, and
A recognition unit that recognizes an article from the camera image taken by the camera,
A recognition result output unit that outputs the information of the recognized article as text, and
A storage system characterized by having.
前記カメラは、 魚眼又は広角のレンズで構成され、貯蔵庫の上面から前方へ向けて突出した位置で前記レンズを下方に向けて配置したことを特徴とする貯蔵システム。 The storage system according to claim 9.
The camera is a storage system composed of a fish-eye or a wide-angle lens, and the lens is arranged downward at a position protruding forward from the upper surface of the storage.
前記反射鏡は、前記カメラの端部又は端部よりも貯蔵庫の前方で下方へ向けて突出することを特徴とする貯蔵システム。 The storage system according to claim 10.
The reflector is a storage system characterized in that it projects downward in front of the storage from the end or end of the camera.
前記サーバは、
前記カメラ画像から、前記レンズから直接撮影した貯蔵庫内の第１の画像と、前記レンズから前記反射鏡を介して撮影した貯蔵庫内の第２の画像と、を抽出して、前記第１の画像と前記第２の画像から前記魚眼又は広角のレンズの歪みを除去した平面画像に変換し、前記第１の画像の平面画像と第２の画像の平面画像を合成して認識用画像を生成する画像変換部をさらに有し、
前記認識部は、
前記認識用画像から物品を認識することを特徴とする貯蔵システム。 The storage system according to claim 11.
The server
The first image in the storage taken directly from the lens and the second image in the storage taken from the lens via the reflector are extracted from the camera image, and the first image is taken. And the second image is converted into a plane image in which the distortion of the fisheye or wide-angle lens is removed, and the plane image of the first image and the plane image of the second image are combined to generate a recognition image. It also has an image conversion unit to
The recognition unit
A storage system characterized by recognizing an article from the recognition image.
前記画像変換部は、
前記認識用画像を生成する際に、前記第２の画像の平面画像を庫内上部の平面画像として、前記第１の画像の平面画像に合成することを特徴とする貯蔵システム。 The storage system according to claim 12.
The image conversion unit
A storage system characterized in that, when generating the recognition image, the planar image of the second image is combined with the planar image of the first image as a planar image of the upper part of the refrigerator.
前記認識結果出力部は、
前記庫内の物品の認識結果のうち食品の種類と数量を食材リストとして出力することを特徴とする貯蔵システム。 The storage system according to claim 12.
The recognition result output unit is
A storage system characterized in that the type and quantity of foods among the recognition results of the goods in the refrigerator are output as a foodstuff list.
開閉可能な扉と、を有する貯蔵庫で庫内の画像を認識する画像認識方法であって、
前記プロセッサが、開度センサによって前記扉の開度を検出する検出ステップと、
前記プロセッサが、前記開度センサの開度が所定の閾値を超えた場合には、前記貯蔵庫の庫内を上方から撮影可能なカメラで、前記庫内及び前記庫内を前記カメラへ反射する反射鏡の可視光画像をカメラ画像として撮影する撮影ステップと、
前記プロセッサが、前記カメラで撮影した前記カメラ画像から物品を認識する認識ステップと、
前記プロセッサが、前記認識された物品の情報をテキストで出力する認識結果出力ステップと、
を含むことを特徴とする画像認識方法。 A control unit with a processor and memory,
It is an image recognition method that recognizes an image in a storage with a door that can be opened and closed.
A detection step in which the processor detects the opening degree of the door by an opening degree sensor,
When the opening degree of the opening sensor exceeds a predetermined threshold value, the processor is a camera capable of photographing the inside of the storage from above, and the inside of the storage and the inside of the storage are reflected by the camera. The shooting step of shooting the visible light image of the mirror as a camera image,
A recognition step in which the processor recognizes an article from the camera image taken by the camera.
A recognition result output step in which the processor outputs information on the recognized article in text, and
An image recognition method characterized by including.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020207280A JP7453133B2 (en) | 2020-12-15 | 2020-12-15 | Storage, storage system and image recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020207280A JP7453133B2 (en) | 2020-12-15 | 2020-12-15 | Storage, storage system and image recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022094416A true JP2022094416A (en) | 2022-06-27 |
| JP7453133B2 JP7453133B2 (en) | 2024-03-19 |
Family
ID=82162526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020207280A Active JP7453133B2 (en) | 2020-12-15 | 2020-12-15 | Storage, storage system and image recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7453133B2 (en) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE521047C2 (en) | 1999-02-19 | 2003-09-23 | Rutger Roseen | Device and method for providing information about the contents of a cabinet |
| JP2003042626A (en) | 2001-07-26 | 2003-02-13 | Toshiba Corp | Refrigerator |
| JP2004276733A (en) | 2003-03-14 | 2004-10-07 | Toyota Motor Corp | On-vehicle camera mounting structure |
| JP6655908B2 (en) | 2015-08-19 | 2020-03-04 | 三菱電機株式会社 | Refrigerators and programs |
| EP3719424B1 (en) | 2017-11-27 | 2023-09-20 | Mitsubishi Electric Corporation | Refrigerator and refrigerator system |
| JP7040193B2 (en) | 2018-03-22 | 2022-03-23 | 三菱電機株式会社 | Refrigerator system |
| JP2020101967A (en) | 2018-12-21 | 2020-07-02 | アスクル株式会社 | Foodstuff management system, foodstuff storage, and foodstuff purchase recommending method |
| CN110455027B (en) | 2019-07-16 | 2024-10-08 | 海信集团有限公司 | Image acquisition device, refrigerator and control method thereof |
-
2020
- 2020-12-15 JP JP2020207280A patent/JP7453133B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP7453133B2 (en) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4113258B1 (en) | Neural network training for three dimensional (3d) gaze prediction with calibration parameters | |
| US20200250488A1 (en) | Deep learning for three dimensional (3d) gaze prediction | |
| US20210012161A1 (en) | Training of a neural network for three dimensional (3d) gaze prediction | |
| JP6655908B2 (en) | Refrigerators and programs | |
| JP7565545B2 (en) | Food Detection Equipment | |
| KR20150026412A (en) | Electric product | |
| KR20190090290A (en) | Refrigerator with displaying image by identifying goods and method of displaying thereof | |
| JP2024088755A (en) | Program, terminal device, and food management system | |
| JP2022094416A (en) | Storage house, storage system and image recognition method | |
| JP6631962B2 (en) | Monitoring device and monitoring system | |
| WO2021091481A1 (en) | System for object identification and content quantity estimation through use of thermal and visible spectrum images | |
| CN113483525A (en) | Preservation equipment and food material management method | |
| JP2022162054A (en) | food management system | |
| KR20180090724A (en) | Method for controlling refrigerator and refrigerator controller | |
| WO2019190561A1 (en) | Deep learning for three dimensional (3d) gaze prediction | |
| JP6794493B2 (en) | Storage device | |
| JP2001025032A (en) | Operation recognition method, operation recognition device and recording medium recording operation recognition program | |
| JP7569748B2 (en) | Storage | |
| WO2024089973A1 (en) | Loading/unloading management system, and loading/unloading management method | |
| WO2023095533A1 (en) | Detection system, program, and storage/retrieval management method | |
| US20240096103A1 (en) | Systems and methods for constructing high resolution panoramic imagery for feature identification on robotic devices | |
| WO2024080037A1 (en) | Object management system, and refrigerator | |
| JP2024073155A (en) | Learning data selection apparatus, storage, and learning data selection method | |
| JP2024058085A (en) | Article management system, control method of article management system, article management device, and program | |
| CN118318133A (en) | Program, terminal device, control method for terminal device, and display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230427 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240307 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7453133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |