JP2012251724A - Refrigerator - Google Patents
Refrigerator Download PDFInfo
- Publication number
- JP2012251724A JP2012251724A JP2011124821A JP2011124821A JP2012251724A JP 2012251724 A JP2012251724 A JP 2012251724A JP 2011124821 A JP2011124821 A JP 2011124821A JP 2011124821 A JP2011124821 A JP 2011124821A JP 2012251724 A JP2012251724 A JP 2012251724A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- refrigerator
- camera
- food
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Devices That Are Associated With Refrigeration Equipment (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
Description
本発明は、庫内を撮影するカメラを備えた冷蔵庫に関するものである。 The present invention relates to a refrigerator provided with a camera for photographing the interior.
従来、この種の冷蔵庫は、冷蔵庫内に置かれている食品をＣＣＤカメラと画像処理手段によって画像を認識して、庫内食品の管理を行うものがある（例えば、特許文献１参照）。 Conventionally, there is a refrigerator of this type that recognizes an image of food placed in the refrigerator by a CCD camera and an image processing means and manages food in the refrigerator (see, for example, Patent Document 1).
図１１〜図１５は、特許文献１に記載された従来の冷蔵庫を示すものである。図１１は冷凍冷蔵庫の横からみた断面図であり、図に示す位置に複数のＣＣＤカメラが取りつけられている。各ＣＣＤカメラにはレンズ部分に発露しないように近傍にヒータが取りつけられていて、本体部分は冷蔵庫の断熱材部分にうめこまれている（図１２）。図１３は簡単なシステムブロック図であり、図１４は庫内管理を中心とした処理のフローチャートであり、更に図１５は扉の開閉毎にＣＣＤカメラから入力した画像の一例である。 11 to 15 show a conventional refrigerator described in Patent Document 1. As shown in FIG. FIG. 11 is a cross-sectional view seen from the side of the refrigerator-freezer, and a plurality of CCD cameras are attached at the positions shown in the figure. Each CCD camera is provided with a heater in the vicinity so as not to cause the lens portion to be exposed, and the main body portion is embedded in the heat insulating material portion of the refrigerator (FIG. 12). FIG. 13 is a simple system block diagram, FIG. 14 is a flowchart of processing centering on the inside management, and FIG. 15 is an example of an image input from the CCD camera every time the door is opened and closed.
図１４のフローチャートに従って説明すると、ステップＳ１では、あらかじめ庫内の画像をＣＣＤカメラより入力しておく（画像１）。ステップＳ２では食品を入れられた状態で画像を入力し（画像２）、ステップＳ３で画像１と画像２の差部をとり、庫内の食品のみを抽出し（画像３）、ステップＳ４で縮退、膨張をくり返すことにより、ゴミ等を除去し、それぞれの食品の特徴を抽出してステップＳ５でラベリング（画像３の３つの食品を各々ａ，ｂ，ｃとする）を行う。マイコンは内部メモリに抽出された各食品ａ，ｂ，ｃ毎のその食品が保存されているというフラグ及び保存期間をカウントするカウンタをそれぞれ設定する。 Explaining in accordance with the flowchart of FIG. 14, in step S1, an image in the cabinet is input in advance from the CCD camera (image 1). In step S2, an image is input with the food in it (image 2). In step S3, the difference between image 1 and image 2 is taken to extract only the food in the cabinet (image 3). In step S4, the image is degenerated. By repeating the expansion, dust and the like are removed, the characteristics of each food are extracted, and labeling is performed in step S5 (the three foods in the image 3 are a, b, and c, respectively). The microcomputer sets a flag indicating that the food for each food a, b, c extracted in the internal memory is stored and a counter for counting the storage period.
以上の動作により、現時点で庫内に保存されている食品が入力される。次に、ステップＳ６でドアスイッチ７によりドアが開閉されたかどうかをチェックし、開閉されていなければ時間の経過に従ってステップＳ１４にて保存されている食品（ａ，ｂ，ｃ）のそれぞれのタイマーをカウントアップし、ステップＳ１５にて、一定期間を過ぎている食品があれば液晶表示素子等よりなる表示装置６にて一定期間が過ぎたタイマーに対応する食品を画像３より選択して表示または点滅表示したり、もしくはその食品の中心付近を表示または点滅表示したりすることによって一定期間が経過していることを示す。 With the above operation, the food currently stored in the warehouse is input. Next, in step S6, it is checked whether or not the door is opened and closed by the door switch 7. If the door is not opened and closed, the respective timers of the food (a, b, c) stored in step S14 as time elapses are set. In step S15, if there is a food that has passed a certain period of time, the food corresponding to the timer that has passed the certain period is selected from the image 3 on the display device 6 comprising a liquid crystal display element or the like and displayed or blinked. It indicates that a certain period of time has elapsed by displaying or by displaying or blinking the vicinity of the center of the food.
ドアが開閉された場合、食品の出入があったことが予想されるのでステップＳ７〜Ｓ１０に示すように、再び庫内の画像の入力を行い、各食品毎にラベリングを行う。Ｓ７〜Ｓ１０はＳ２〜Ｓ５と同一の処理である。ステップＳ１１にて前回入力した画像３と今回入力した画像５との差分をとり（画像６）、ステップＳ１２にて画像３と６の差分をとることにより食品ｂが庫内から取り出されたことを認識にマイコンメモリ内の食品ｂに対応するフラグ及びカウンタをクリアする。ステップＳ１３にて画像５と画像６の差分をとり、新たに入れられた食品ｄを抽出してこれに対応するフラグ及びカウンタをマイコンメモリ内に新たに設定する。以後、Ｓ６〜Ｓ１５をくり返すことにより庫内食品の在庫管理を行う。 When the door is opened and closed, it is expected that food has entered and exited. Therefore, as shown in steps S7 to S10, the image in the cabinet is input again, and labeling is performed for each food. S7 to S10 are the same processes as S2 to S5. In step S11, the difference between the image 3 input last time and the image 5 input this time is taken (image 6), and the difference between the images 3 and 6 is taken in step S12 to confirm that the food b has been taken out of the warehouse. For recognition, the flag and counter corresponding to the food b in the microcomputer memory are cleared. In step S13, the difference between the image 5 and the image 6 is obtained, the newly added food d is extracted, and a flag and counter corresponding to this are newly set in the microcomputer memory. Thereafter, the stock management of food in the warehouse is performed by repeating S6 to S15.
しかしながら、前記従来の構成では、ＣＣＤカメラで撮影された画像に対して、庫内の食品のみを抽出し、縮退、膨張をくり返すことにより、ゴミ等を除去し、それぞれの食品の特徴を抽出してラベリングを行っているので、画像処理が複雑となって、処理時間が長く、処理能力の高いマイコンが必要になり、ＣＣＤカメラを含めると、相当なコストアップに繋がるという課題を有していた。 However, in the conventional configuration, only the food in the warehouse is extracted from the image photographed by the CCD camera, and debris and expansion are repeated to remove dust and extract the characteristics of each food. Since labeling is performed, image processing becomes complicated, processing time is long, and a microcomputer with high processing capability is required. If a CCD camera is included, there is a problem that the cost is considerably increased. It was.
本発明は、前記従来の課題を解決するもので、カメラによる画像処理を単純化することで安価な構成にできるとともに、冷蔵庫の省エネを図ることを目的とする。 SUMMARY OF THE INVENTION The present invention solves the above-described conventional problems, and an object of the present invention is to simplify the image processing by a camera so as to make an inexpensive configuration and to save energy in a refrigerator.
前記従来の課題を解決するために、本発明の冷蔵庫は、食品を冷却して保存する貯蔵室と、前記貯蔵室の開口部を開閉する扉と、前記貯蔵室に設けられ前記貯蔵室の内部を撮影するカメラと、前記カメラで撮影した画像を演算処理する制御装置と、冷凍サイクルを構成する冷却器からの冷気を前記貯蔵室へと送出する庫内ファンと、圧縮機を備える冷蔵庫において、前記カメラを左右方向に移動可能に構成し、右方向に移動したＲ地点と、左方向に移動したＬ地点と、基準位置であるセンターのＣ地点の３方向の地点について、前記制御装置による画像処理の結果、庫内の食品の収納状態に対応して、前記庫内ファン、及び、前記圧縮機の回転数を増減させるものである。 In order to solve the conventional problems, a refrigerator according to the present invention includes a storage room for cooling and storing food, a door for opening and closing an opening of the storage room, an interior of the storage room provided in the storage room. In a refrigerator provided with a compressor, a control device that performs arithmetic processing on an image captured by the camera, an internal fan that sends cold air from a cooler constituting a refrigeration cycle to the storage chamber, and a compressor The camera is configured to be movable in the left-right direction, and the image by the control device for a point in three directions, an R point moved in the right direction, an L point moved in the left direction, and a C point of the center as a reference position. As a result of the processing, the number of rotations of the internal fan and the compressor is increased or decreased in accordance with the state of storage of the food in the storage.
これによって、制御装置による画像処理の結果、庫内の食品の収納状態が少ない場合には、前記庫内ファン、及び、前記圧縮機の回転数を減少させるという省エネ運転を行うことができ、庫内の食品の収納状態が多い場合には、前記庫内ファン、及び、前記圧縮機の回転数を増加させることにより庫内を冷却でき、冷蔵庫の庫内温度を最適に制御できる。 As a result, when the storage state of the food in the warehouse is small as a result of the image processing by the control device, it is possible to perform an energy saving operation of reducing the rotation speed of the internal fan and the compressor. When the food storage state is large, the inside of the refrigerator can be cooled by increasing the number of rotations of the internal fan and the compressor, and the internal temperature of the refrigerator can be optimally controlled.
また、省エネ運転を行うことで制御装置及びカメラによる冷蔵庫のコストアップ分について、使用者に理解を得られ易くなる。 Moreover, it becomes easy for a user to understand the cost increase of the refrigerator by a control apparatus and a camera by performing an energy saving operation.
また、本発明の冷蔵庫は、前記制御装置は、前記貯蔵室に収納物の無い状態で撮影された前記３方向の地点の初期画像が記憶されており、前記貯蔵室に食品が収納されている時に前記カメラで撮影された前記３方向の地点の画像は、制御装置に電送されて画像が画素単位に分割され、前記貯蔵室内の同じ地点を撮影した前記初期画像の画素単位と色を比較し、同じ色であれば「０」をカウントし、異なる色であれば「１」をカウントし、前記Ｌ地点から撮影した画像と前記Ｃ地点から撮影した画像の重複する範囲については、前記Ｌ地点の撮影画像および前記Ｃ地点の撮影画像の同一箇所における両方のカウント値を比較して、少なくとも片方にカウント「１」があれば、カウント「１」を優先処理して、前記Ｌ地点の撮影画像と前記Ｃ地点の撮影画像のカウント値に、それぞれ「１／２」を置き換えてカウントし、同様に、前記Ｒ地点から撮影した画像と前記Ｃ地点から撮影した画像の重複する範囲については、前記Ｒ地点の撮影画像および前記Ｃ地点の撮影画像の同一箇所における両方のカウント値を比較して、少なくとも片方にカウント「１」があれば、カウント「１」を優先処理して、前記Ｒ地点の撮影画像と前記Ｃ地点の撮影画像のカウント値に、それぞれ「１／２」を置き換えてカウントした後、そのカウント値を前記３方向の全ての画素単位で足し算し、合計のカウント数を有効画素数Ｚで割って１００を掛けた値Ｘ％が、所定値ＹＨ％以上のとき、冷蔵庫内に食品が詰まっていると判断し、庫内設定温度を下げて、前記庫内ファン、および、前記圧縮機の回転数を増加させ、前記Ｘ％が、所定値ＹＬ％以下のとき、冷蔵庫内に食品があまり入ってないと判断して、庫内設定温度を上げて、前記庫内ファン、および、前記圧縮機の回転数を減少させるものである。 Further, in the refrigerator of the present invention, the control device stores an initial image of the three-direction spots taken with no storage in the storage room, and food is stored in the storage room. Sometimes the images of the three directional spots taken by the camera are sent to the control unit and the image is divided into pixels, and the colors are compared with the pixel units of the initial image taken of the same spot in the storage room. “0” is counted for the same color, “1” is counted for different colors, and for the overlapping range of the image taken from the L point and the image taken from the C point, the L point When the count value of both of the photographed image at the point C and the photographed image at the point C is compared with each other and if at least one of the counts is “1”, the count “1” is preferentially processed and the photographed image at the point L is processed. And point C The count value of the captured image is counted by replacing “½” respectively. Similarly, for the overlapping range of the image captured from the point R and the image captured from the point C, the captured image of the point R is used. And if the count value of both at the same location of the photographed image at the point C is compared and at least one of the counts is “1”, the count “1” is prioritized and the photographed image at the point R and the C The count value of the photographed image at the point is counted by replacing “½” respectively, and then the count value is added in units of all the pixels in the three directions, and the total count number is divided by the effective pixel number Z. When the value X% multiplied by 100 is equal to or greater than the predetermined value YH%, it is determined that food is clogged in the refrigerator, the internal set temperature is lowered, and the internal fan and the rotation speed of the compressor The When the X% is equal to or less than the predetermined value YL%, it is determined that there is not much food in the refrigerator, the set temperature in the box is raised, and the fan in the box and the rotation of the compressor are rotated The number is reduced.
これによって、庫内の食品の収納状態を、カメラで撮影した画像の画素単位の色で判別するようにしたので、画像処理が単純化されて処理速度も速くなり、且つ、安価なマイコ
ンで省エネ運転を行うことが可能となり、冷蔵庫のコストアップ分も大幅に抑制できる。
As a result, the storage state of the food in the storage is determined by the color of the pixel unit of the image taken by the camera, so that the image processing is simplified, the processing speed is increased, and the energy saving is achieved with an inexpensive microcomputer. It becomes possible to operate, and the cost increase of the refrigerator can be greatly suppressed.
本発明の冷蔵庫は、庫内の食品の収納状態を、カメラで撮影した画像の画素単位の色で判別するようにしたので、画像処理が単純化されて処理速度も速くなり、また、カメラの総画素数は安価なものでも１００万画素以上有しているので、個々の画素単位の比較で稀に発生するであろう「０」と「１」の認識誤差も、全体を通して見ると吸収され、精度の高い判定が可能となり、庫内の食品の収納状態に対応して、庫内ファン、及び、圧縮機の回転数を増減させるので、冷蔵庫の庫内温度を最適に制御でき、省エネ運転を行うことができる。 In the refrigerator of the present invention, the storage state of the food in the warehouse is determined by the color of the pixel unit of the image photographed by the camera, so that the image processing is simplified and the processing speed is increased, and the camera Even though the total number of pixels is cheap, it has more than 1 million pixels, so the recognition errors of “0” and “1” that would rarely occur when comparing individual pixel units are absorbed throughout. High-precision judgment is possible, and the number of rotations of the internal fan and compressor is increased or decreased according to the storage state of food in the storage, so that the refrigerator internal temperature can be optimally controlled and energy-saving operation It can be performed.
第１の発明は、食品を冷却して保存する貯蔵室と、前記貯蔵室の開口部を開閉する扉と、前記貯蔵室に設けられ前記貯蔵室の内部を撮影するカメラと、前記カメラで撮影した画像を演算処理する制御装置と、冷凍サイクルを構成する冷却器からの冷気を前記貯蔵室へと送出する庫内ファンと、圧縮機を備える冷蔵庫において、前記カメラを左右方向に移動可能に構成し、右方向に移動したＲ地点と、左方向に移動したＬ地点と、基準位置であるセンターのＣ地点の３方向の地点について、前記制御装置による画像処理の結果、庫内の食品の収納状態に対応して、前記庫内ファン、及び、前記圧縮機の回転数を増減させることにより、省エネ運転を行うことができ、制御装置及びカメラによる冷蔵庫のコストアップ分を、省エネ運転による電力使用量の削減効果分で、相殺、或いは、それ以上の効果を生み出すことが可能となり、使用者に理解を得られ易くなるとともに、環境負荷（電力消費量）に対する低減効果も有している。 A first invention is a storage room for cooling and storing food, a door for opening and closing an opening of the storage room, a camera provided in the storage room for photographing the inside of the storage room, and photographing by the camera In a refrigerator provided with a control device that performs arithmetic processing on the processed image, an internal fan that sends cool air from a cooler constituting the refrigeration cycle to the storage chamber, and a compressor, the camera can be moved in the left-right direction As a result of the image processing by the control device, the storage of the food in the warehouse is performed at three points, the R point moved rightward, the L point moved leftward, and the center C point which is the reference position. The energy saving operation can be performed by increasing or decreasing the number of rotations of the internal fan and the compressor corresponding to the state, and the cost increase of the refrigerator by the control device and the camera is reduced by the power consumption by the energy saving operation. In reduction amount of dose, cancellation, or it is possible to produce a further effect, it becomes easier to obtain an understanding to the user, also has reduced effect on the environmental impact (power consumption).
第２の発明は、前記カメラを前記貯蔵室の背面壁に設けたものであり、貯蔵室全体の食品の収納状態を撮影することが可能となり、安価な構成で省エネ運転を実現できる。 According to a second aspect of the present invention, the camera is provided on the back wall of the storage room, and it is possible to photograph the food storage state of the entire storage room, and an energy saving operation can be realized with an inexpensive configuration.
第３の発明は、前記カメラを前記貯蔵室の扉の内壁に設けたものであり、棚に載置された食品によって、カメラのレンズ部が塞がれるのを防止することができ、庫内に食品が大量に収納されている場合でも、信頼性の高いカメラ撮影が可能となる。 3rd invention provides the said camera in the inner wall of the door of the said store room, can prevent that the lens part of a camera is blocked by the food laid on the shelf, Even when a large amount of food is stored, reliable camera photography is possible.
第４の発明は、前記制御装置は、前記貯蔵室に収納物の無い状態で撮影された前記３方向の地点の初期画像が記憶されており、前記貯蔵室に食品が収納されている時に前記カメ
ラで撮影された前記３方向の地点の画像は、制御装置に電送されて画像が画素単位に分割され、前記貯蔵室内の同じ地点を撮影した前記初期画像の画素単位と色を比較し、同じ色であれば「０」をカウントし、異なる色であれば「１」をカウントし、前記Ｌ地点から撮影した画像と前記Ｃ地点から撮影した画像の重複する範囲については、前記Ｌ地点の撮影画像および前記Ｃ地点の撮影画像の同一箇所における両方のカウント値を比較して、少なくとも片方にカウント「１」があれば、カウント「１」を優先処理して、前記Ｌ地点の撮影画像と前記Ｃ地点の撮影画像のカウント値に、それぞれ「１／２」を置き換えてカウントし、同様に、前記Ｒ地点から撮影した画像と前記Ｃ地点から撮影した画像の重複する範囲については、前記Ｒ地点の撮影画像および前記Ｃ地点の撮影画像の同一箇所における両方のカウント値を比較して、少なくとも片方にカウント「１」があれば、カウント「１」を優先処理して、前記Ｒ地点の撮影画像と前記Ｃ地点の撮影画像のカウント値に、それぞれ「１／２」を置き換えてカウントした後、そのカウント値を前記３方向の全ての画素単位で足し算し、合計のカウント数を有効画素数Ｚで割って１００を掛けた値Ｘ％が、所定値ＹＨ％以上のとき、冷蔵庫内に食品が詰まっていると判断し、庫内設定温度を下げて、前記庫内ファン、および、前記圧縮機の回転数を増加させ、前記Ｘ％が、所定値ＹＬ％以下のとき、冷蔵庫内に食品があまり入ってないと判断して、庫内設定温度を上げて、前記庫内ファン、および、前記圧縮機の回転数を減少させるものであり、庫内の食品の収納状態を、カメラで撮影した画像の画素単位の色で判別するようにしたので、画像処理が単純化されて処理速度も速くなり、且つ、安価なマイコンで省エネ運転を行うことが可能となり、冷蔵庫のコストアップ分を大幅に抑制しつつ、環境負荷（電力消費量）に対する低減効果も有している。
According to a fourth aspect of the present invention, the control device stores an initial image of the points in the three directions taken with no storage in the storage room, and the food is stored in the storage room when the food is stored in the storage room. The images of the three directions taken by the camera are transmitted to the control device, the image is divided into pixels, and the color is compared with the pixel unit of the initial image obtained by photographing the same point in the storage room, and the same. If it is a color, it counts “0”, and if it is a different color, it counts “1”. For an overlapping range of an image captured from the L point and an image captured from the C point, The count value of both of the image and the photographed image at the point C is compared, and if at least one of the counts is “1”, the count “1” is preferentially processed, and the photographed image at the point L and the point Image taken at point C Each count value is counted by replacing “1/2”. Similarly, for the overlapping range of the image taken from the R point and the image taken from the C point, the taken image of the R point and the C Comparing both count values at the same location of the captured image of the point, if at least one of the counts is “1”, priority is given to the count “1”, and the captured image of the R point and the C point are captured. After counting each image value by replacing “1/2”, the count value is added in units of all the pixels in the three directions, and the total count number is divided by the effective pixel number Z and multiplied by 100. When the value X% is equal to or greater than the predetermined value YH%, it is determined that food is clogged in the refrigerator, the internal set temperature is lowered, and the internal fan and the rotation speed of the compressor are increased. , When X% is less than or equal to the predetermined value YL%, it is determined that there is not much food in the refrigerator, and the set temperature inside the refrigerator is raised, and the number of rotations of the internal fan and the compressor is reduced. Since the storage state of food in the warehouse is determined by the color of the pixel unit of the image taken by the camera, the image processing is simplified, the processing speed is increased, and the microcomputer is inexpensive. This makes it possible to perform energy-saving operation, and has the effect of reducing the environmental load (power consumption) while greatly suppressing the cost increase of the refrigerator.
第５の発明は、前記貯蔵室内の温度を検知する温度センサを備え、前記温度センサの値による前記庫内ファン及び前記圧縮機の回転数制御と、前記カメラによる画像処理の判定による前記庫内ファン及び圧縮機の回転数制御が異なる場合には、前記画像処理の判定を優先するものであり、貯蔵室内の温度検知に基づく制御では、食品（負荷）の大小による最適な制御を時間遅れなしに実行するのは困難であるが、画像処理の判定にて食品（負荷）の大小を直接認識することで、常に最適な制御をリアルタイムに実行することができる。 5th invention is equipped with the temperature sensor which detects the temperature in the said storage chamber, The rotation speed control of the said fan and the said compressor by the value of the said temperature sensor, and the said inside by the determination of the image processing by the said camera When the rotational speed control of the fan and the compressor is different, priority is given to the determination of the image processing. In the control based on the temperature detection in the storage chamber, the optimal control depending on the size of the food (load) is not delayed in time. However, it is always difficult to execute optimal control in real time by directly recognizing the size of the food (load) in the image processing determination.
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、この実施の形態によって本発明が限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. Note that the present invention is not limited to the embodiments.
（実施の形態１）
図１は、本発明の第１の実施の形態における冷蔵庫の正面図を示すものである。図２は、本発明の第１の実施の形態における冷蔵庫の縦断面図を示すものである。図３は、本発明の第１の実施の形態における冷蔵庫の要部断面図である。図４は、本発明の第１の実施の形態における冷蔵庫のカメラ撮影領域の説明図である。図５は、本発明の第１の実施の形態における冷蔵庫の要部断面図である。図６は、本発明の第１の実施の形態における冷蔵庫の要部断面図である。図７は、本発明の第１の実施の形態における冷蔵庫の要部断面図である。図８は、本発明の第１の実施の形態における冷蔵庫のダクト内部の模式図である。図９は、本発明の第１の実施の形態の冷蔵庫の縦断面図を示すものである。図１０は、本発明の第１の実施の形態の冷蔵庫の縦断面図を示すものである。
(Embodiment 1)
FIG. 1 shows a front view of a refrigerator in the first embodiment of the present invention. FIG. 2 shows a longitudinal sectional view of the refrigerator in the first embodiment of the present invention. FIG. 3 is a cross-sectional view of a main part of the refrigerator in the first embodiment of the present invention. FIG. 4 is an explanatory diagram of the camera photographing region of the refrigerator in the first embodiment of the present invention. FIG. 5 is a cross-sectional view of a main part of the refrigerator in the first embodiment of the present invention. FIG. 6 is a cross-sectional view of a main part of the refrigerator in the first embodiment of the present invention. FIG. 7 is a cross-sectional view of an essential part of the refrigerator in the first embodiment of the present invention. FIG. 8 is a schematic diagram of the inside of the refrigerator duct in the first embodiment of the present invention. FIG. 9 is a longitudinal sectional view of the refrigerator according to the first embodiment of the present invention. FIG. 10 shows a longitudinal sectional view of the refrigerator according to the first embodiment of the present invention.
図１〜図８において、冷蔵庫本体１０の上部に圧縮機１１が配設され、冷凍室１２の背面側には冷却器１３で生成される冷気を庫内へ送風する庫内ファン１４が設けられている。そして、冷蔵室１５の内部に、庫内を撮影するカメラ１６が左右方向に移動可能に配設され、カメラ１６には透明カバー１７が設けられている。また、冷蔵室１５の内部には食品を載置するための棚１８が複数枚配設されている。棚１８と対向する背面壁に凹部１９が設けられ、凹部１９内にカメラ１６が収納される。冷蔵室１５内の背面壁に配置されて
いるダクト２０の略中央部には中空円筒状の枠体２１が設けられ、枠体２１の内部にカメラが配設される。
1-8, the compressor 11 is arrange | positioned at the upper part of the refrigerator main body 10, and the internal fan 14 which ventilates the cold air | gas produced | generated with the cooler 13 in the refrigerator at the back side of the freezer compartment 12 is provided. ing. A camera 16 for photographing the inside of the refrigerator is disposed in the refrigerator compartment 15 so as to be movable in the left-right direction, and the camera 16 is provided with a transparent cover 17. In addition, a plurality of shelves 18 for placing food are arranged inside the refrigerator compartment 15. A recess 19 is provided in the back wall facing the shelf 18, and the camera 16 is accommodated in the recess 19. A hollow cylindrical frame 21 is provided at a substantially central portion of the duct 20 disposed on the back wall in the refrigerator compartment 15, and a camera is disposed inside the frame 21.
図９、図１０において、冷蔵室１５の扉２２の内壁に凹部１９を設け、凹部１９内に庫内を撮影するカメラ１６が配設されている。また、冷蔵室１５内には庫内の温度を検知するための温度センサ２３が配設されている。 9 and 10, a recess 19 is provided on the inner wall of the door 22 of the refrigerator compartment 15, and a camera 16 for photographing the inside of the cabinet is disposed in the recess 19. A temperature sensor 23 for detecting the temperature inside the refrigerator is disposed in the refrigerator compartment 15.
以上のように構成された冷蔵庫について、以下その動作、作用を説明する。 About the refrigerator comprised as mentioned above, the operation | movement and an effect | action are demonstrated below.
まず、冷蔵室１５内の背面壁の略中央に冷蔵室１５内を撮影するカメラ１６が左右方向に移動可能に配設され、冷蔵室扉の開閉を検知するドアスイッチと連動して、撮影動作を行う。このとき、カメラ１６は、基準位置である真正面のＣ地点と、左方向に移動したＬ地点と、右方向に移動したＲ地点の３方向の地点について各々１回づつ撮影を行う。カメラ１６で撮影された画像は、制御装置に電送され、画像処理が行われる。制御装置には、前記３方向の地点について、各々冷蔵室１５内に食品が収納されていない空状態のときの画像が、予め初期データとして記憶されている。 First, a camera 16 for photographing the inside of the refrigerating chamber 15 is arranged at the center of the back wall in the refrigerating chamber 15 so as to be movable in the left-right direction, and is operated in conjunction with a door switch for detecting opening / closing of the refrigerating chamber door. I do. At this time, the camera 16 shoots once for each of the three points in the three directions, that is, the point C in front of the reference position, the point L moved in the left direction, and the point R moved in the right direction. An image photographed by the camera 16 is transmitted to the control device, and image processing is performed. In the control device, images in the empty state where no food is stored in the refrigerator compartment 15 are stored in advance as initial data for the points in the three directions.
また、この制御装置で行われる画像処理に用いられる数式の定義について説明する。まず、カメラ１６の撮影範囲をθ度、基準位置である真正面のＣ地点を０度、左方向に移動したＬ地点をＬ度、右方向に移動したＲ地点をＲ度、Ｃ地点で撮影した画像とＬ地点で撮影した画像との重複範囲をＷ度とすると、
Ｗ＝θ−Ｌ （式１）
０＜θ≦１８０ （条件１）
Ｌ≦９０ （条件２）
θ／２≦Ｌ≦θ （条件３）
の関係が成り立ち、上記の条件３については、Ｃ地点で撮影した画像とＬ地点で撮影した画像との間に撮影されない範囲が存在するのを防止するため、Ｌ≦θの条件を加え、Ｌ地点で撮影した画像が基準位置である真正面のＣ地点よりも右側の範囲にまで及ぶのを防止するため、θ／２≦Ｌの条件を加えた結果である。そして、カメラ１６の撮影総画素数をＡとすると、Ｌ地点で撮影された画像については、
（ａ）Ｌ＋θ／２＞９０のとき、
左無効領域 ｛（Ｌ＋θ／２−９０）／θ｝Ａ （式２）
単独領域 ｛（９０−θ／２）／θ｝Ａ （式３）
右重複領域 （１−Ｌ／θ）Ａ （式４）
（ｂ）Ｌ＋θ／２≦９０のとき、
単独領域 （Ｌ／θ）Ａ （式５）
右重複領域 （１−Ｌ／θ）Ａ （式４）
が成り立つ。カメラ１６の左方向への移動距離と、カメラ１６の右方向への移動距離が等しいとすると、ＬとＲの絶対値は等しくなり、Ｃ地点で撮影された画像については、
左重複領域 （１−Ｌ／θ）Ａ （式４）
単独領域 （２Ｌ／θ−１）Ａ （式６）
右重複領域 （１−Ｌ／θ）Ａ （式４）
が成り立つ。Ｒ地点で撮影された画像については、
（ａ）Ｌ＋θ／２＞９０のとき、
右無効領域 ｛（Ｌ＋θ／２−９０）／θ｝Ａ （式２）
単独領域 ｛（９０−θ／２）／θ｝Ａ （式３）
左重複領域 （１−Ｌ／θ）Ａ （式４）
（ｂ）Ｌ＋θ／２≦９０のとき、
単独領域 （Ｌ／θ）Ａ （式５）
左重複領域 （１−Ｌ／θ）Ａ （式４）
が成り立つ。
The definition of mathematical formulas used for image processing performed by the control device will be described. First, the shooting range of the camera 16 was taken at θ degrees, the C point directly in front of the reference position was 0 degree, the L point moved leftward was L degrees, the R point moved rightward was taken at R degrees and C points. If the overlapping range between the image and the image taken at point L is W degrees,
W = θ−L (Formula 1)
0 <θ ≦ 180 (Condition 1)
L ≦ 90 (Condition 2)
θ / 2 ≦ L ≦ θ (Condition 3)
For the above condition 3, in order to prevent a non-photographed range from existing between the image photographed at the C point and the image photographed at the L point, the condition of L ≦ θ is added, This is a result of adding the condition of θ / 2 ≦ L in order to prevent the image taken at the point from reaching the range on the right side from the point C in front of the reference position. And, assuming that the total number of pixels taken by the camera 16 is A, for the image taken at point L,
(A) When L + θ / 2> 90,
Left invalid region {(L + θ / 2-90) / θ} A (Formula 2)
Single region {(90−θ / 2) / θ} A (Formula 3)
Right overlap area (1-L / θ) A (Formula 4)
(B) When L + θ / 2 ≦ 90,
Single region (L / θ) A (Formula 5)
Right overlap area (1-L / θ) A (Formula 4)
Holds. If the moving distance of the camera 16 in the left direction and the moving distance of the camera 16 in the right direction are equal, the absolute values of L and R are equal.
Left overlap region (1-L / θ) A (Formula 4)
Single region (2L / θ-1) A (Formula 6)
Right overlap area (1-L / θ) A (Formula 4)
Holds. For images taken at point R,
(A) When L + θ / 2> 90,
Right invalid region {(L + θ / 2-90) / θ} A (Formula 2)
Single region {(90−θ / 2) / θ} A (Formula 3)
Left overlap region (1-L / θ) A (Formula 4)
(B) When L + θ / 2 ≦ 90,
Single region (L / θ) A (Formula 5)
Left overlap region (1-L / θ) A (Formula 4)
Holds.
そして、カメラ１６の性能を有効に活用できる無効領域のない（ｂ）Ｌ＋θ／２≦９０のとき、における画像処理について説明する。まず、前記Ｌ地点、前記Ｃ地点、前記Ｒ地点において撮影された画像を画素単位に分割整理し、予め記憶されている初期データの該当する部位の画素と比較を行う。比較する方法として、画素単位の色の相違を用いた場合、初期データの画像と同じであれば「０」をカウントし、違う色であれば「１」をカウントする。次に、Ｌ地点とＣ地点との重複領域（１−Ｌ／θ）Ａについては、重複する画像領域の同一部位における画素毎のカウントを比較し、少なくともどちらかに「１」がカウントされていれば、両方の画素のカウントを「１／２」に置き換える。両方とも「０」であれば、カウントの置き換えはしない。 Next, image processing when there is no invalid area where the performance of the camera 16 can be effectively utilized (b) L + θ / 2 ≦ 90 will be described. First, the images taken at the L point, the C point, and the R point are divided and arranged in units of pixels, and compared with the pixels in the corresponding part of the initial data stored in advance. As a comparison method, when the difference in color in pixel units is used, “0” is counted if it is the same as the initial data image, and “1” is counted if the color is different. Next, for the overlapping region (1-L / θ) A between the point L and the point C, the counts for each pixel in the same part of the overlapping image region are compared, and at least one of them is counted as “1”. Then, the count of both pixels is replaced with “1/2”. If both are “0”, the count is not replaced.
同様に、Ｃ地点とＲ地点との重複領域（１−Ｌ／θ）Ａについても、重複する画像領域の同一部位における画素毎のカウントを比較し、少なくともどちらかに「１」がカウントされていれば、両方の画素のカウントを「１／２」に置き換える。両方とも「０」であれば、カウントの置き換えはしない。しかる後に、Ｌ地点、Ｃ地点、Ｒ地点で撮影した画像の画素単位毎のカウント数を合計した値をＧ、有効総画素数｛（１＋２Ｌ／θ）Ａ｝をＺとすると、（Ｇ／Ｚ）×１００％で表される値が、所定値７０％以上のとき、冷蔵庫内に食品が詰まっていると判断し、庫内設定温度を下げて、庫内ファン１４、および、圧縮機１１の回転数を増加させ、前記Ｘ％が、所定値３０％以下のとき、冷蔵庫内に食品があまり入ってないと判断して、庫内設定温度を上げて、庫内ファン１４、および、圧縮機１１の回転数を減少させる。 Similarly, for the overlapping region (1-L / θ) A between the point C and the point R, the counts for each pixel in the same part of the overlapping image region are compared, and at least one of them is counted as “1”. Then, the count of both pixels is replaced with “1/2”. If both are “0”, the count is not replaced. Thereafter, if the value obtained by summing the counts for each pixel unit of the images taken at the L point, the C point, and the R point is G, and the effective total pixel number {(1 + 2L / θ) A} is Z, (G / Z ) When the value represented by × 100% is equal to or greater than the predetermined value of 70%, it is determined that food is clogged in the refrigerator, the internal set temperature is lowered, and the internal fan 14 and the compressor 11 When the rotational speed is increased and the X% is equal to or less than the predetermined value of 30%, it is determined that there is not much food in the refrigerator, the internal set temperature is raised, the internal fan 14 and the compressor 11 is reduced.
また、庫内温度センサで得られる値では、冷蔵庫内に大量に食品を収納した場合、庫内温度が上昇するまで、フルパワーの冷却運転にならず、追随の遅い制御となり、庫内食品の温度が速やかに低下せず、魚肉等の食品に鮮度低下が発生する可能性がある。これに対して、庫内収納量の検知では、食品を多量に投入した時点から、すぐに、フルパワーで冷却（圧縮機回転数を最大にする）するため、庫内適性温度に到達するまでの時間が短くなる。また、食品が多量に減少した場合でも、冷却能力を速やかに最小（圧縮機回転数を最小にする）にして運転するので、省エネ性も高くなる。 Also, with the value obtained by the internal temperature sensor, if a large amount of food is stored in the refrigerator, it will not be a full power cooling operation until the internal temperature rises, and it will be a slow and follow-up control. There is a possibility that the temperature does not decrease quickly and the freshness of food such as fish meat is reduced. On the other hand, in the detection of the amount of storage in the warehouse, immediately after a large amount of food is put in, it is cooled with full power (maximizing the compressor rotation speed) until it reaches the proper temperature in the warehouse. The time is shortened. In addition, even when the amount of food is reduced by a large amount, since the operation is performed with the cooling capacity minimized (to minimize the compressor rotation speed), the energy saving performance is also improved.
さらに、広角カメラを使用する場合と比較すると、広角カメラは１台で広範囲の画像を撮影することができるが、撮影総画素数が少ないと画像が粗くなり、精度の高い画像を得るためには、撮影画素数の多い高価なカメラが必要となるのに対し、１台のカメラを左右方向に移動させて３地点から撮影する方式では、カメラの撮影総画素数が少なくても、３地点に分けて撮影するので、安価なカメラを使用しても画像が粗くなるのを防止でき、より高画質な画像を得ることができる。例えば、安価な２００万画素のカメラを用いても、最大６００万画素のカメラに匹敵する画像が得られることになる。 Furthermore, compared with the case of using a wide-angle camera, a wide-angle camera can shoot a wide range of images. However, if the total number of pixels is small, the image becomes rough, and in order to obtain a highly accurate image. However, while an expensive camera with a large number of pixels is required, the method of shooting from three points by moving one camera in the left-right direction can move to three points even if the total number of pixels of the camera is small. Since shooting is performed separately, it is possible to prevent the image from becoming rough even if an inexpensive camera is used, and a higher quality image can be obtained. For example, even if an inexpensive camera with 2 million pixels is used, an image comparable to a camera with a maximum of 6 million pixels can be obtained.
また、庫内に食品が一杯に詰め込まれた状態においても、冷蔵室１５内の背面壁の略中央に配設されたカメラ１６に半円形上の透明カバー１７を設けているので、カメラ１６の近傍に載置された食品によって、カメラ１６のレンズ部が完全に覆われるのを防止することができる。この半円形上の透明カバー１７により、カメラ１６のレンズ部と載置された食品との間に所定の空間を設けることができ、カメラ１６により撮影した画像データの信頼性が向上する。また、カメラ１６の近傍に載置された食品によって、カメラ１６のレンズ部が少なからず塞がれる可能性があるが、カメラ１６は左右に移動して撮影するため、庫内収納量の検知は可能である。 Further, even when the food is fully packed in the cabinet, the semi-circular transparent cover 17 is provided on the camera 16 disposed substantially at the center of the back wall in the refrigerator compartment 15, so that the camera 16 It is possible to prevent the lens portion of the camera 16 from being completely covered by the food placed in the vicinity. The semi-circular transparent cover 17 can provide a predetermined space between the lens portion of the camera 16 and the food placed thereon, and the reliability of the image data photographed by the camera 16 is improved. In addition, the food placed in the vicinity of the camera 16 may clog the lens portion of the camera 16, but the camera 16 moves to the left and right to shoot, so detection of the amount stored in the warehouse is not possible. Is possible.
また好ましくは、冷蔵室１５内の棚１８と対向する背面壁に円錐状の凹部１９を設け、凹部１９の中心に冷蔵室１５内を撮影するカメラ１６を設けることで、カメラ１６のレン
ズ部と棚１８の間に空間が形成され、棚１８の上下に収納された食品を撮影することができる。そして、棚１８の上方の棚１８、棚１８の下方の棚１８に載置された食品も、上方と下方の棚１８を高透明な材料で構成することにより、上方と下方の棚１８を透かして、載置されている食品の分布状態を撮影することができるので、冷蔵室１５内の食品の分布状態の精度の高い画像を得ることができる。
Preferably, a conical recess 19 is provided on the back wall facing the shelf 18 in the refrigerator compartment 15, and a camera 16 for photographing the interior of the refrigerator compartment 15 is provided in the center of the recess 19. A space is formed between the shelves 18 so that foods stored above and below the shelves 18 can be photographed. And the food placed on the shelf 18 above the shelf 18 and the shelf 18 below the shelf 18 is also made up of the upper and lower shelves 18 by configuring the upper and lower shelves 18 with a highly transparent material. Thus, since the distribution state of the placed food can be photographed, an image with high accuracy of the distribution state of the food in the refrigerator compartment 15 can be obtained.
また、一般に冷蔵室１５内の背面壁には冷却器１３からの冷気が供給されるダクト２０が配設されているが、ダクト２０の略中央部にカメラ１６を設置するための中空円筒状の枠体２１を設けることで、ダクト２０内の冷気を一部迂回させ、中空円筒状の枠体２１の内部にカメラ１６を設置することが可能となる。 In general, a duct 20 to which cool air from the cooler 13 is supplied is disposed on the back wall in the refrigerator compartment 15. The duct 20 has a hollow cylindrical shape for installing the camera 16 at a substantially central portion of the duct 20. By providing the frame body 21, it is possible to partially bypass the cool air in the duct 20 and install the camera 16 inside the hollow cylindrical frame body 21.
また、冷蔵室１５内を撮影するカメラ１６を扉２２内面側に設けることにより、カメラ１６と冷蔵室１５内の複数の棚１８との間に十分なスペースを設けることができ、複数の棚１８に載置された食品によって、カメラ１６を塞がれることもなく、カメラ１６の３方向からの撮影とも相まって、冷蔵室１５内の食品の分布状態を精度の高い画像として撮影することができる。 Further, by providing the camera 16 for photographing the inside of the refrigerator compartment 15 on the inner surface side of the door 22, a sufficient space can be provided between the camera 16 and the plurality of shelves 18 in the refrigerator compartment 15. The food placed on the camera 16 is not blocked by the food, and the food distribution in the refrigerator compartment 15 can be photographed as a highly accurate image in combination with the photographing of the camera 16 from three directions.
また、冷蔵室１５の扉２２内面側に凹部１９を設け、凹部１９の略中央にカメラを設置し、カメラ１６が冷蔵室１５の扉２２内面の平面から少し窪んで配設されるようにすることで、冷蔵室１５内への食品の出入れ等に伴って、食品がカメラに接触して、カメラが破損するといった事態を未然に防止することができる。 In addition, a recess 19 is provided on the inner surface side of the door 22 of the refrigerating chamber 15, and a camera is installed in the approximate center of the recess 19 so that the camera 16 is slightly recessed from the plane of the inner surface of the door 22 of the refrigerating chamber 15. Thus, it is possible to prevent a situation in which food is brought into contact with the camera and the camera is damaged as food is put in and out of the refrigerator compartment 15.
また、冷蔵室１５の扉２２内面側にカメラが突出することがないので、外観的にも優れた特徴を有する。この場合、カメラを保護する半円形状のカバーは付けなくてもよい。また、カメラの設置場所は、扉内面側のポケット部に設けてもよく、カメラをポケット部に埋設、或いは、ポケット部の庫内側に張り出して設置してもよい。 Further, since the camera does not protrude on the inner surface side of the door 22 of the refrigerating room 15, it has an excellent appearance. In this case, a semicircular cover that protects the camera may not be attached. Further, the camera installation location may be provided in a pocket portion on the inner surface side of the door, or the camera may be embedded in the pocket portion, or may be installed overhanging the inside of the pocket portion.
また、冷蔵室１５内の温度を検知する温度センサ２３の値による庫内ファン１４及び圧縮機１１の回転数制御と、カメラ１６による画像処理の判定による庫内ファン１４及び圧縮機１１の回転数制御が異なる場合には、画像処理の判定を優先するようにしており、冷蔵室１５内の実際の食品（負荷）の大小に応じて、庫内ファン１４及び圧縮機１１の回転数制御を行うので、無駄な電力を消費することなく、負荷の変動に素早く対応することが可能となる。 Further, the rotational speed of the internal fan 14 and the compressor 11 is controlled by the value of the temperature sensor 23 that detects the temperature in the refrigerator compartment 15, and the rotational speed of the internal fan 14 and the compressor 11 is determined based on image processing determination by the camera 16. When the control is different, priority is given to the determination of image processing, and the rotational speed control of the internal fan 14 and the compressor 11 is performed according to the size of the actual food (load) in the refrigerator compartment 15. As a result, it is possible to quickly respond to load fluctuations without consuming unnecessary power.
また、冷蔵室１５内を撮影するカメラ１６を複数個設けてもよく、冷蔵室１５内の左右側壁の少なくともどちらか一方の側壁に配設すると、庫内収納量の検知精度が向上するとともに、コストの上昇も最小限に抑制でき、効果的である。 In addition, a plurality of cameras 16 for photographing the inside of the refrigerator compartment 15 may be provided, and when arranged on at least one of the left and right sidewalls in the refrigerator compartment 15, the detection accuracy of the amount stored in the warehouse is improved, The increase in cost can be minimized and effective.
以上のように、本発明の冷蔵庫は、食品を冷却して保存する貯蔵室と、前記貯蔵室の開口部を開閉する扉と、前記貯蔵室に設けられ前記貯蔵室の内部を撮影するカメラと、前記カメラで撮影した画像を演算処理する制御装置と、冷凍サイクルを構成する冷却器からの冷気を前記貯蔵室へと送出する庫内ファンと、圧縮機を備える冷蔵庫において、前記カメラを左右方向に移動可能に構成し、右方向に移動したＲ地点と、左方向に移動したＬ地点と、基準位置であるセンターのＣ地点の３方向の地点について、前記制御装置による画像処理の結果、庫内の食品の収納状態に対応して、前記庫内ファン、及び、前記圧縮機の回転数を増減させるものである。 As described above, the refrigerator of the present invention includes a storage room that cools and stores food, a door that opens and closes the opening of the storage room, and a camera that is provided in the storage room and photographs the inside of the storage room. In a refrigerator including a control device that performs arithmetic processing on an image captured by the camera, an internal fan that sends cool air from a cooler constituting a refrigeration cycle to the storage chamber, and a compressor, the camera is moved in the left-right direction. As a result of the image processing by the control device, the R point moved rightward, the L point moved leftward, and the center C point which is the reference position are stored as a result of image processing. The number of rotations of the internal fan and the compressor is increased or decreased in accordance with the storage state of the food.
これによって、制御装置による画像処理の結果、庫内の食品の収納状態が少ない場合には、前記庫内ファン、及び、前記圧縮機の回転数を減少させるという省エネ運転を行うことができ、制御装置及びカメラによる冷蔵庫のコストアップ分について、使用者に理解を
得られ易くなる。
As a result of the image processing by the control device, when the storage state of the food in the warehouse is small, it is possible to perform an energy saving operation of reducing the rotation speed of the internal fan and the compressor. It becomes easy for the user to obtain an understanding of the cost increase of the refrigerator by the apparatus and the camera.
また、本発明の冷蔵庫は、前記制御装置に前記貯蔵室に収納物の無い状態で撮影された前記３方向の地点の初期画像が記憶されており、前記貯蔵室に食品が収納されている時に前記カメラで撮影された前記３方向の地点の画像は、制御装置に電送されて画像が画素単位に分割され、前記貯蔵室内の同じ地点を撮影した前記初期画像の画素単位と色を比較し、同じ色であれば「０」をカウントし、異なる色であれば「１」をカウントし、前記Ｌ地点から撮影した画像と前記Ｃ地点から撮影した画像の重複する範囲については、前記Ｌ地点の撮影画像および前記Ｃ地点の撮影画像の同一箇所における両方のカウント値を比較して、少なくとも片方にカウント「１」があれば、カウント「１」を優先処理して、前記Ｌ地点の撮影画像と前記Ｃ地点の撮影画像のカウント値に、それぞれ「１／２」を置き換えてカウントし、同様に、前記Ｒ地点から撮影した画像と前記Ｃ地点から撮影した画像の重複する範囲については、前記Ｒ地点の撮影画像および前記Ｃ地点の撮影画像の同一箇所における両方のカウント値を比較して、少なくとも片方にカウント「１」があれば、カウント「１」を優先処理して、前記Ｒ地点の撮影画像と前記Ｃ地点の撮影画像のカウント値に、それぞれ「１／２」を置き換えてカウントした後、そのカウント値を前記３方向の全ての画素単位で足し算し、合計のカウント数を有効画素数Ｚで割って１００を掛けた値Ｘ％が、所定値ＹＨ％以上のとき、冷蔵庫内に食品が詰まっていると判断し、庫内設定温度を下げて、前記庫内ファン、および、前記圧縮機の回転数を増加させ、前記Ｘ％が、所定値ＹＬ％以下のとき、冷蔵庫内に食品があまり入ってないと判断して、庫内設定温度を上げて、前記庫内ファン、および、前記圧縮機の回転数を減少させるものである。 In the refrigerator of the present invention, the control device stores an initial image of the points in the three directions, which are photographed in the storage room without any stored items, and food is stored in the storage room. The image of the three directional points photographed by the camera is transmitted to the control device, the image is divided into pixel units, and the color is compared with the pixel unit of the initial image obtained by photographing the same point in the storage room, If the color is the same, “0” is counted. If the color is different, “1” is counted. For the overlapping range of the image taken from the L point and the image taken from the C point, Both count values at the same location of the photographed image and the photographed image at the point C are compared, and if at least one of the counts is “1”, the count “1” is preferentially processed and the photographed image at the point L is compared. Of point C Similarly, the count value of the shadow image is replaced with “½”, and similarly, for the overlapping range of the image taken from the R point and the image taken from the C point, the taken image of the R point And if the count value of both at the same location of the photographed image at the point C is compared and at least one of the counts is “1”, the count “1” is prioritized and the photographed image at the point R and the C The count value of the photographed image at the point is counted by replacing “½” respectively, and then the count value is added in units of all the pixels in the three directions, and the total count number is divided by the effective pixel number Z. When the value X% multiplied by 100 is equal to or greater than the predetermined value YH%, it is determined that food is clogged in the refrigerator, the internal set temperature is lowered, and the internal fan and the rotation speed of the compressor Increase When the X% is equal to or less than the predetermined value YL%, it is determined that there is not much food in the refrigerator, the set temperature in the refrigerator is increased, and the rotation speed of the internal fan and the compressor Is to decrease.
これによって、庫内の食品の収納状態を、カメラで撮影した画像の画素単位の色で判別するようにしたので、画像処理が単純化されて処理速度も速くなり、且つ、安価なマイコンで省エネ運転を行うことが可能となり、冷蔵庫のコストアップ分も大幅に抑制できる。 As a result, the storage state of the food in the storage is determined by the color of the pixel unit of the image taken by the camera, so that the image processing is simplified, the processing speed is increased, and the energy saving is achieved with an inexpensive microcomputer. It becomes possible to operate, and the cost increase of the refrigerator can be greatly suppressed.
また、冷蔵庫内に重量センサを配設し、食品の重量を検知することにより、食品の収納量を検知する方式も考えられる。この場合、庫内棚の左右支持部材の下端に重量センサを配置し、食品が載置された状態での重量を検知した後、制御装置で庫内棚の重量を引き算して、食品の収納量を割り出すと良い。そして、貯蔵室の最下部に載置された食品については、貯蔵室の最下部を二重底構造にして、その間に重量センサを設けると良い。さらに、上述したカメラによる庫内収納量の検知と重量センサによる庫内収納量の検知を組み合わせることで、検知精度が飛躍的に向上する。 Further, a method of detecting the amount of food stored by arranging a weight sensor in the refrigerator and detecting the weight of the food is also conceivable. In this case, a weight sensor is arranged at the lower ends of the left and right support members of the inner shelf, and after detecting the weight when the food is placed, the weight of the inner shelf is subtracted by the control device to store the food. It is good to figure out the amount. And about the foodstuffs mounted in the lowest part of a store room, it is good to make the lowest part of a store room into a double bottom structure, and to provide a weight sensor between them. Furthermore, the detection accuracy is dramatically improved by combining the detection of the storage amount by the camera and the detection of the storage amount by the weight sensor.
以上のように、本発明にかかる冷蔵庫は、庫内の食品の収納状態を、カメラで撮影した画像の画素単位の色で判別するようにしたので、画像処理が単純化されて安価なマイコンでも必要十分な処理速度が得られるため、業務用の大型冷蔵庫やショーケース等の用途にも適用できる。 As described above, the refrigerator according to the present invention discriminates the storage state of the food in the warehouse by the color of the pixel unit of the image photographed by the camera, so that even an inexpensive microcomputer with simplified image processing. Since a necessary and sufficient processing speed can be obtained, it can also be applied to uses such as commercial large refrigerators and showcases.
１０ 冷蔵庫本体
１１ 圧縮機
１２ 冷凍室
１３ 冷却器
１４ 庫内ファン
１５ 冷蔵室
１６ カメラ
１７ 透明カバー
１８ 棚
１９ 凹部
２０ ダクト
２１ 枠体
２２ 扉
２３ 温度センサ
DESCRIPTION OF SYMBOLS 10 Refrigerator body 11 Compressor 12 Freezer compartment 13 Cooler 14 Fan in refrigerator 15 Refrigerator compartment 16 Camera 17 Transparent cover 18 Shelf 19 Recess 20 Duct 21 Frame 22 Door 23 Temperature sensor
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011124821A JP2012251724A (en) | 2011-06-03 | 2011-06-03 | Refrigerator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011124821A JP2012251724A (en) | 2011-06-03 | 2011-06-03 | Refrigerator |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012251724A true JP2012251724A (en) | 2012-12-20 |
Family
ID=47524703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011124821A Withdrawn JP2012251724A (en) | 2011-06-03 | 2011-06-03 | Refrigerator |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012251724A (en) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014142120A1 (en) * | 2013-03-12 | 2014-09-18 | 株式会社 東芝 | Refrigerator, camera device, refrigerator door pocket, communication terminal, home appliance network system, and interior image display program |
| WO2014142119A1 (en) * | 2013-03-12 | 2014-09-18 | 株式会社 東芝 | Refrigerator and camera device |
| JP2014196844A (en) * | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | Refrigerator and refrigerator system |
| JP2014196836A (en) * | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | Refrigerator |
| JP2014196845A (en) * | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | Refrigerator and refrigerator system |
| JP2014196840A (en) * | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | Refrigerator and refrigerator system therefor |
| JP2015042926A (en) * | 2013-08-26 | 2015-03-05 | 株式会社東芝 | Refrigerator |
| JP2015087041A (en) * | 2013-10-29 | 2015-05-07 | 三菱電機株式会社 | Refrigerator |
| KR20150127560A (en) * | 2015-10-28 | 2015-11-17 | 엘지전자 주식회사 | Refrigerator and Controlling Method for the same |
| JP2015222138A (en) * | 2014-05-22 | 2015-12-10 | 三菱電機株式会社 | Refrigerator and network system |
| CN105222519A (en) * | 2013-04-23 | 2016-01-06 | Lg电子株式会社 | Refrigerator and control method thereof |
| JP2016006379A (en) * | 2015-10-15 | 2016-01-14 | 三菱電機株式会社 | refrigerator |
| JP2016023892A (en) * | 2014-07-23 | 2016-02-08 | 株式会社東芝 | refrigerator |
| JP2016130609A (en) * | 2015-01-14 | 2016-07-21 | 三菱電機株式会社 | refrigerator |
| JP2016223735A (en) * | 2015-06-02 | 2016-12-28 | 三菱電機株式会社 | refrigerator |
| JP2017207766A (en) * | 2017-07-04 | 2017-11-24 | 東芝ライフスタイル株式会社 | Storehouse camera device and storehouse including the same |
| CN105492850B (en) * | 2013-08-23 | 2018-01-12 | Bsh家用电器有限公司 | Refrigerating appliance with photographing module |
| JP2018036049A (en) * | 2017-12-08 | 2018-03-08 | 東芝ライフスタイル株式会社 | refrigerator |
| CN109682149A (en) * | 2017-10-18 | 2019-04-26 | 富泰华工业（深圳）有限公司 | Image the installation method of mechanism |
| JP2019086282A (en) * | 2013-03-12 | 2019-06-06 | 東芝ライフスタイル株式会社 | refrigerator |
| JP2021047427A (en) * | 2020-11-27 | 2021-03-25 | 東芝ライフスタイル株式会社 | Camera device for storage house and storage house having the same |
| EP2975344B1 (en) * | 2013-03-12 | 2021-10-06 | Toshiba Lifestyle Products & Services Corporation | Refrigerator, camera device, refrigerator door pocket, and refrigerator holder |
| CN114763956A (en) * | 2020-12-30 | 2022-07-19 | 深圳Tcl新技术有限公司 | Intelligent refrigerator and rapid cooling method thereof |
-
2011
- 2011-06-03 JP JP2011124821A patent/JP2012251724A/en not_active Withdrawn
Cited By (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020024088A (en) * | 2013-03-12 | 2020-02-13 | 東芝ライフスタイル株式会社 | refrigerator |
| CN107388719A (en) * | 2013-03-12 | 2017-11-24 | 东芝生活电器株式会社 | Refrigerator, camera apparatus |
| CN107388716A (en) * | 2013-03-12 | 2017-11-24 | 东芝生活电器株式会社 | Refrigerator, camera apparatus |
| CN107367119A (en) * | 2013-03-12 | 2017-11-21 | 东芝生活电器株式会社 | Refrigerator, camera apparatus |
| JP2019086282A (en) * | 2013-03-12 | 2019-06-06 | 東芝ライフスタイル株式会社 | refrigerator |
| CN107289728A (en) * | 2013-03-12 | 2017-10-24 | 东芝生活电器株式会社 | Refrigerator, camera apparatus |
| EP2975343B1 (en) * | 2013-03-12 | 2022-02-16 | Toshiba Lifestyle Products & Services Corporation | Refrigerator and camera device |
| US11143450B2 (en) | 2013-03-12 | 2021-10-12 | Toshiba Lifestyle Products & Services Corporation | Refrigerator and camera device |
| JP2015111025A (en) * | 2013-03-12 | 2015-06-18 | 株式会社東芝 | Refrigerator and camera device |
| JP2015111026A (en) * | 2013-03-12 | 2015-06-18 | 株式会社東芝 | Refrigerator, camera device, refrigerator door pocket, communication terminal, home electronics network system, and refrigerator interior image display program |
| EP2975344B1 (en) * | 2013-03-12 | 2021-10-06 | Toshiba Lifestyle Products & Services Corporation | Refrigerator, camera device, refrigerator door pocket, and refrigerator holder |
| TWI553280B (en) * | 2013-03-12 | 2016-10-11 | 東芝生活電器股份有限公司 | Refrigerator, imaging device, door pocket for refrigerator, holder for refrigerator |
| CN107388716B (en) * | 2013-03-12 | 2021-02-19 | 东芝生活电器株式会社 | Refrigerator, camera device |
| TWI688737B (en) * | 2013-03-12 | 2020-03-21 | 日商東芝生活電器股份有限公司 | Refrigerator, imaging device |
| CN107270646A (en) * | 2013-03-12 | 2017-10-20 | 东芝生活电器株式会社 | Refrigerator, camera apparatus |
| CN107270647A (en) * | 2013-03-12 | 2017-10-20 | 东芝生活电器株式会社 | Refrigerator, camera apparatus |
| US10951863B2 (en) | 2013-03-12 | 2021-03-16 | Toshiba Lifestyle Products & Services Corporation | Refrigerator, camera device, refrigerator door pocket, and home appliance network system |
| WO2014142120A1 (en) * | 2013-03-12 | 2014-09-18 | 株式会社 東芝 | Refrigerator, camera device, refrigerator door pocket, communication terminal, home appliance network system, and interior image display program |
| TWI644069B (en) * | 2013-03-12 | 2018-12-11 | 日商東芝生活電器股份有限公司 | Refrigerator, imaging device |
| TWI630362B (en) * | 2013-03-12 | 2018-07-21 | 東芝生活電器股份有限公司 | Refrigerator |
| US10018402B2 (en) | 2013-03-12 | 2018-07-10 | Toshiba Lifestyle Products & Services Corporation | Refrigerator and camera device |
| KR101851914B1 (en) * | 2013-03-12 | 2018-04-24 | 도시바 라이프스타일 가부시키가이샤 | Refrigerator and camera device |
| WO2014142119A1 (en) * | 2013-03-12 | 2014-09-18 | 株式会社 東芝 | Refrigerator and camera device |
| CN107238253A (en) * | 2013-03-12 | 2017-10-10 | 东芝生活电器株式会社 | Refrigerator, camera apparatus |
| CN107238252A (en) * | 2013-03-12 | 2017-10-10 | 东芝生活电器株式会社 | Refrigerator, camera apparatus |
| JP2014196845A (en) * | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | Refrigerator and refrigerator system |
| JP2014196844A (en) * | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | Refrigerator and refrigerator system |
| JP2014196840A (en) * | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | Refrigerator and refrigerator system therefor |
| JP2014196836A (en) * | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | Refrigerator |
| US10184715B2 (en) | 2013-04-23 | 2019-01-22 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
| US9739526B2 (en) | 2013-04-23 | 2017-08-22 | Lg Electronics Inc. | Refrigerator with heated camera module |
| CN105222519A (en) * | 2013-04-23 | 2016-01-06 | Lg电子株式会社 | Refrigerator and control method thereof |
| US9851139B2 (en) | 2013-04-23 | 2017-12-26 | Lg Electronics Inc. | Refrigerator and control method for the same |
| US10228187B2 (en) | 2013-04-23 | 2019-03-12 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
| US9890994B2 (en) | 2013-04-23 | 2018-02-13 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
| US10215483B2 (en) | 2013-04-23 | 2019-02-26 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
| US9915471B2 (en) | 2013-04-23 | 2018-03-13 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
| US9920981B2 (en) | 2013-04-23 | 2018-03-20 | Lg Electronics Inc. | Refrigerator with camera and control thereof |
| US9920980B2 (en) | 2013-04-23 | 2018-03-20 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
| US9920982B2 (en) | 2013-04-23 | 2018-03-20 | Lg Electronics Inc. | Refrigerator camera module |
| US9568241B2 (en) | 2013-04-23 | 2017-02-14 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
| US9546812B2 (en) | 2013-04-23 | 2017-01-17 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
| US9528756B2 (en) | 2013-04-23 | 2016-12-27 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
| US10036587B2 (en) | 2013-04-23 | 2018-07-31 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
| US10132547B2 (en) | 2013-08-23 | 2018-11-20 | Bsh Hausgeraete Gmbh | Refrigerating device with a camera module |
| CN105492850B (en) * | 2013-08-23 | 2018-01-12 | Bsh家用电器有限公司 | Refrigerating appliance with photographing module |
| JP2015042926A (en) * | 2013-08-26 | 2015-03-05 | 株式会社東芝 | Refrigerator |
| JP2015087041A (en) * | 2013-10-29 | 2015-05-07 | 三菱電機株式会社 | Refrigerator |
| JP2015222138A (en) * | 2014-05-22 | 2015-12-10 | 三菱電機株式会社 | Refrigerator and network system |
| JP2016023892A (en) * | 2014-07-23 | 2016-02-08 | 株式会社東芝 | refrigerator |
| JP2016130609A (en) * | 2015-01-14 | 2016-07-21 | 三菱電機株式会社 | refrigerator |
| JP2016223735A (en) * | 2015-06-02 | 2016-12-28 | 三菱電機株式会社 | refrigerator |
| JP2016006379A (en) * | 2015-10-15 | 2016-01-14 | 三菱電機株式会社 | refrigerator |
| KR20150127560A (en) * | 2015-10-28 | 2015-11-17 | 엘지전자 주식회사 | Refrigerator and Controlling Method for the same |
| KR101678444B1 (en) | 2015-10-28 | 2016-11-22 | 엘지전자 주식회사 | Refrigerator and Controlling Method for the same |
| JP2017207766A (en) * | 2017-07-04 | 2017-11-24 | 東芝ライフスタイル株式会社 | Storehouse camera device and storehouse including the same |
| CN109682149A (en) * | 2017-10-18 | 2019-04-26 | 富泰华工业（深圳）有限公司 | Image the installation method of mechanism |
| JP2018036049A (en) * | 2017-12-08 | 2018-03-08 | 東芝ライフスタイル株式会社 | refrigerator |
| JP2021047427A (en) * | 2020-11-27 | 2021-03-25 | 東芝ライフスタイル株式会社 | Camera device for storage house and storage house having the same |
| JP7029514B2 (en) | 2020-11-27 | 2022-03-03 | 東芝ライフスタイル株式会社 | Camera device for storage and storage equipped with this |
| CN114763956A (en) * | 2020-12-30 | 2022-07-19 | 深圳Tcl新技术有限公司 | Intelligent refrigerator and rapid cooling method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012251724A (en) | Refrigerator | |
| JP2012251722A (en) | Refrigerator | |
| JP6307698B2 (en) | refrigerator | |
| JP6305122B2 (en) | Refrigerator and network system equipped with refrigerator | |
| JP6323279B2 (en) | Cold storage room and its management system | |
| TWI710739B (en) | Refrigerator | |
| EP3441700B1 (en) | Refrigerator and partition control method | |
| JP6305207B2 (en) | Refrigerator and network system | |
| JP2015068525A (en) | Refrigerator | |
| CN112136014B (en) | Refrigerator system | |
| JP5985029B2 (en) | refrigerator | |
| KR101659937B1 (en) | Refrigerator and method for controlling the same | |
| JP5827292B2 (en) | refrigerator | |
| US20140168396A1 (en) | Method for viewing contents of a refrigerator appliance | |
| JP2015135206A (en) | refrigerator | |
| JP2017040425A (en) | Cold storage and program | |
| JP6799958B2 (en) | refrigerator | |
| JP7139709B2 (en) | refrigerator | |
| US20160209109A1 (en) | Refrigerator and method for controlling the same | |
| JP6592970B2 (en) | refrigerator | |
| KR102197963B1 (en) | Refrigerator | |
| JP6167327B2 (en) | refrigerator | |
| JP6641109B2 (en) | refrigerator | |
| JP7313156B2 (en) | refrigerator | |
| US20220187008A1 (en) | Domestic appliance with a digital camera, and method for operating a domestic appliance comprising a digital camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140805 |