JP2023122170A - 画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法 - Google Patents
画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法 Download PDFInfo
- Publication number
- JP2023122170A JP2023122170A JP2022025691A JP2022025691A JP2023122170A JP 2023122170 A JP2023122170 A JP 2023122170A JP 2022025691 A JP2022025691 A JP 2022025691A JP 2022025691 A JP2022025691 A JP 2022025691A JP 2023122170 A JP2023122170 A JP 2023122170A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- storage
- post
- deleting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims description 26
- 238000004519 manufacturing process Methods 0.000 title description 3
- 238000012217 deletion Methods 0.000 claims abstract description 12
- 230000037430 deletion Effects 0.000 claims abstract description 12
- 238000012805 post-processing Methods 0.000 claims description 35
- 238000007781 pre-processing Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 abstract description 35
- 235000013305 food Nutrition 0.000 abstract description 9
- 230000000873 masking effect Effects 0.000 abstract description 6
- 238000001816 cooling Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000007704 transition Effects 0.000 description 11
- 238000012790 confirmation Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 7
- 235000013311 vegetables Nutrition 0.000 description 7
- 238000005192 partition Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000003507 refrigerant Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- JOYRKODLDBILNP-UHFFFAOYSA-N Ethyl urethane Chemical compound CCOC(N)=O JOYRKODLDBILNP-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D23/00—General constructional features
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
- F25D29/005—Mounting of control devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2500/00—Problems to be solved
- F25D2500/06—Stock management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Chemical & Material Sciences (AREA)
- Thermal Sciences (AREA)
- Mechanical Engineering (AREA)
- Combustion & Propulsion (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】お客様の冷蔵庫内を撮影した画像を閲覧させるにあたり、お客様や、お客様の住環境を隠蔽する。【解決手段】画像管理システムは、食品を収納する冷蔵室１１６と、冷蔵室１１６を含む物品範囲を撮像するカメラユニット１０と、を備える冷蔵庫１と、カメラユニット１０で撮像した加工前画像を取得するサーバ２ａ、加工前画像を記憶するストレージサーバ６ａと、加工前画像に対して、マスキング処理またはモザイク処理を実行させて、加工後画像を作成するサーバ２ｂ、加工後画像を記憶するストレージサーバ６ｂと、加工前画像を、少なくとも加工後画像が削除されるよりも前に削除する削除手段と、を備える。【選択図】図１
Description
本発明は、画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法に関する。
近年、冷蔵庫の庫内を撮影した画像をサーバにアップロードして、アップロードされた画像を画像処理することで、ユーザが携帯端末で庫内を閲覧可能とするサービスが提供されている。特許文献１には、少ないカメラ台数で多くの場所を撮影することが可能する発明が記載されている。
お客様の冷蔵庫内を撮影した画像については、個人情報保護の観点から注意して扱わなければならない。お客様や、お客様の住環境が意図せずに他人に見られてしまうおそれがあるためである。
前記した課題を解決するため、本発明の画像管理システムは、物品を収納する収納領域と、前記収納領域を含む物品範囲を撮像する撮像部と、を備える収納庫と、前記撮像部で撮像した加工前画像を取得する加工前画像取得手段と、前記加工前画像を記憶する第１記憶手段と、前記加工前画像に対して、前記物品範囲以外の少なくとも一部の範囲を削除または情報量を低下させる加工を実行させて、加工後画像を作成する加工後画像作成手段と、前記加工後画像を記憶する第２記憶手段、前記加工前画像を、前記加工後画像の作成後に削除する削除手段と、を備える。
本発明の画像管理サーバは、物品を収納する収納領域を含む物品範囲を撮像部で撮像した加工前画像を取得する加工前画像取得手段と、前記加工前画像を記憶する第１記憶手段と、前記加工前画像に対して、前記物品範囲以外の少なくとも一部の範囲を削除または情報量を低下させる加工を実行させて、加工後画像を作成する加工後画像作成手段と、前記加工後画像を記憶する第２記憶手段と、前記加工前画像を、少なくとも前記加工後画像が削除されるよりも前に削除する削除手段と、
を備えることを特徴とする。
を備えることを特徴とする。
本発明は、画像管理システムを生産する方法は、物品を収納する収納領域と、前記収納領域を含む物品範囲を撮像する撮像部と、を備える収納庫と、前記撮像部で撮像した加工前画像を取得する加工前画像取得手段と、前記加工前画像を記憶する第１記憶手段と、前記加工前画像に対して、前記物品範囲以外の少なくとも一部の範囲を削除または情報量を低下させる加工を実行させて、加工後画像を作成する加工後画像作成手段と、前記加工後画像を記憶する第２記憶手段と、前記加工前画像を、前記加工後画像の作成後に削除する削除手段と、を備える画像管理システムの生産方法であって、前記収納庫、又はユーザが使用する端末に、前記撮像部を制御させるための制御プログラムを提供する。
その他の手段については、発明を実施するための形態のなかで説明する。
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。本実施形態の画像管理システムは、図１の冷蔵庫１と、図２のサーバ２ａ，２ｂおよびストレージサーバ６ａ，６ｂと、図３の携帯端末３とが連携して、ユーザに対してサービスを提供する。なお、冷蔵庫１と、サーバ２ａ，２ｂおよびストレージサーバ６ａ，６ｂと、携帯端末３とは、それぞれ異なるＩＰアドレスが付与されている。
図１を参照して、冷蔵庫１の構成を説明する。
冷蔵庫１は、ハードウェア構成として、カメラユニット１０と、演算部１１２と、ＲＯＭ（Read Only Memory）１１３と、ＲＡＭ（Random Access Memory）１１４と、通信部１１５、カメラＬＥＤ（Light Emitting Diode）１００とを有する。冷蔵庫１は更に、図１に示した左扉１２と、右扉１３と、扉センサ１１７と、冷蔵室１１６を備える。
冷蔵庫１は、ハードウェア構成として、カメラユニット１０と、演算部１１２と、ＲＯＭ（Read Only Memory）１１３と、ＲＡＭ（Random Access Memory）１１４と、通信部１１５、カメラＬＥＤ（Light Emitting Diode）１００とを有する。冷蔵庫１は更に、図１に示した左扉１２と、右扉１３と、扉センサ１１７と、冷蔵室１１６を備える。
演算部１１２は、例えばＣＰＵ（Central Processing Unit）であり、冷蔵庫１を統括制御する。ＲＡＭ１１４は、演算部１１２の作業エリアとなる。また、ＲＡＭ１１４は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体であり、不図示のプログラムが格納される。
カメラユニット１０は、冷蔵室１１６を撮影する撮像部であり、例えば魚眼カメラやパノラマカメラである。カメラユニット１０は、冷蔵室１１６の上側に取り付けられている。カメラＬＥＤ１００は、カメラユニット１０が撮像している際に点灯するインジケータである。左扉１２と右扉１３は、冷蔵室１１６に設けられている扉であり、扉センサ１１７によって開閉状態が検知される。ユーザが左扉１２または／および右扉１３を開くことで、カメラユニット１０が動作して冷蔵室１１６を撮像する。冷蔵室１１６は、食品を代表とする物品を収納する収納庫である。
通信部１１５は、ネットワークと接続し、外部装置であるサーバ２ａとの間でデータを送受信する。
図２を参照して、サーバ２ａ，２ｂとストレージサーバ６ａ，６ｂの構成を説明する。サーバ２ａ，２ｂとストレージサーバ６ａ，６ｂは、それぞれＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、記憶部２４と、通信部２５とを有する。
ＣＰＵ２１は、サーバ２ａ，２ｂを統括制御する。ＲＯＭ２２は、不揮発性メモリであり、例えばＢＩＯＳ（Basic I/O System）が格納されている。ＲＡＭ２３は、ＣＰＵ２１の作業エリアとなる。また、ＲＡＭ２３は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体であり、不図示のプログラムが格納される。
記憶部２４は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体であり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリなどで構成される。なお、ストレージサーバ６ａ，６ｂの記憶部２４は、大容量かつ高速アクセス可能なものであることが望ましい。通信部２５は、ネットワークと接続し、外部装置との間でデータを送受信する。
図３を参照して、携帯端末３の構成を説明する。携帯端末３は、それぞれＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、記憶部３４と、通信部３５と、タッチパネルディスプレイ３６とを有する。
ＣＰＵ３１は、携帯端末３を統括制御する。ＲＯＭ３２は、不揮発性メモリであり、例えばＢＩＯＳが格納されている。ＲＡＭ３３は、ＣＰＵ３１の作業エリアとなる。また、ＲＡＭ３３は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体であり、不図示のプログラムが格納される。
記憶部３４は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体であり、例えばフラッシュメモリなどで構成される。通信部３５は、ネットワークと接続し、外部装置との間でデータを送受信する。タッチパネルディスプレイ３６は、平面状のディスプレイの上にタッチパネルが積層されて構成される。タッチパネルディスプレイ３６は、文字、画像または図形を表示する表示手段であると共に、ユーザ操作を検知する入力手段でもある。
図４は、画像管理システムの論理ブロック図である。
加工前画像取得手段８１は、カメラユニット１０で撮像した加工前画像を取得する。この加工前画像取得手段８１は、サーバ２ａのＣＰＵ２１がプログラムを実行することで具現化される。
第１記憶手段８２は、加工前画像を記憶する。この第１記憶手段８２は、ストレージサーバ６ａに該当する。
加工前画像取得手段８１は、カメラユニット１０で撮像した加工前画像を取得する。この加工前画像取得手段８１は、サーバ２ａのＣＰＵ２１がプログラムを実行することで具現化される。
第１記憶手段８２は、加工前画像を記憶する。この第１記憶手段８２は、ストレージサーバ６ａに該当する。
加工後画像作成手段８４は、加工前画像に対して、物品範囲以外の少なくとも一部の範囲を削除または情報量を低下させる加工を実行させて、加工後画像を作成する。この加工後画像作成手段８４は、加工前画像に対して、予め定められた範囲を含んで削除または情報量を低下させて、加工後画像を作成する。そして加工後画像作成手段８４は、加工前画像の何れかに人の身体部分が写り込んでいた場合に、この人の身体部分を含んで削除または情報量を低下させて、加工後画像を作成する。この加工後画像作成手段８４は、サーバ２ｂのＣＰＵ２１がプログラムを実行することで具現化される。
削除手段８３は、加工前画像を、この加工後画像の作成後に削除する。そして削除手段８３は、少なくとも加工後画像が削除されるよりも前に加工前画像を削除する。サーバ２ａのＣＰＵ２１がプログラムを実行することで具現化される。
第２記憶手段８５は、加工後画像を記憶する。この第２記憶手段８５は、ストレージサーバ６ａに該当する。
登録手段８６は、加工後画像を閲覧可能なユーザを、収納庫又は撮像部の個体番号に紐付けて登録する。登録済ユーザ情報提示手段８７は、新たに個体番号に紐づけるユーザの登録にあたり、このユーザに対して、既に登録済のユーザに関する情報を提示する。
登録手段８６は、加工後画像を閲覧可能なユーザを、収納庫又は撮像部の個体番号に紐付けて登録する。登録済ユーザ情報提示手段８７は、新たに個体番号に紐づけるユーザの登録にあたり、このユーザに対して、既に登録済のユーザに関する情報を提示する。
登録済ユーザ権限削除手段８８は、新たにこの個体番号に紐づけるユーザの登録にあたり、このユーザに既に登録済のユーザを選択させて、選択された登録済のユーザの閲覧権限を削除する。登録手段８６と登録済ユーザ情報提示手段８７と登録済ユーザ権限削除手段８８は、携帯端末３のＣＰＵ３１がプログラムを実行することで具現化される。
図５は、冷蔵庫１の正面図である。
冷蔵庫１は、食品等を冷やす機器であり、冷蔵室１１６の左扉１２と右扉１３と、カメラユニット１０と、を備えている。冷蔵庫１は、その筐体内部に複数の貯蔵室を有している。冷蔵庫１の貯蔵室として、上から順に、冷蔵室１１６と、左右に並ぶ製氷室１４および上段冷凍室１５の他、野菜室１６と、下段冷凍室１７と、が設けられている。
冷蔵庫１は、食品等を冷やす機器であり、冷蔵室１１６の左扉１２と右扉１３と、カメラユニット１０と、を備えている。冷蔵庫１は、その筐体内部に複数の貯蔵室を有している。冷蔵庫１の貯蔵室として、上から順に、冷蔵室１１６と、左右に並ぶ製氷室１４および上段冷凍室１５の他、野菜室１６と、下段冷凍室１７と、が設けられている。
冷蔵庫１の筐体は、鋼板製の外箱と、樹脂製の内箱（図示せず）と、の間に発泡ウレタン等の断熱材（図示せず）が充填された構成になっている。冷蔵庫１の筐体の前側（正面側）には、各室に対応する複数の開口が設けられている。例えば、冷蔵室１１６の開口を介して食品等が入れられる際には、左扉１２と右扉１３とが開けられる。また、左扉１２と右扉１３が閉じられると、冷蔵室１１６の開口が閉塞された状態になる。このように、左扉１２と右扉１３は、冷蔵室１１６の開口を塞ぐ機能等を有している。なお、他の各ドアについても同様である。
冷蔵庫１は、筐体とともに冷蔵室１１６を形成するフレンチ式ドアとして、左扉１２と右扉１３を備えている。左扉１２は、左端のヒンジ１２１（図８参照）の軸を中心として、回動可能になっている。なお、右扉１３についても同様である。また、冷蔵庫１は、引出し式のドアとして、製氷室ドアや上段冷凍室ドアの他、野菜室ドアや下段冷凍室ドアを備えている。
冷蔵室１１６には、この冷蔵室１１６を所定に仕切る複数の棚板が設けられている。左扉１２の庫内側には、食品等を収容するための複数のドアポケット１２３（図７参照）が設けられている。左扉１２も同様である。製氷室１４には、製氷室ドアと一体に引き出される製氷室容器（図示せず）が設けられている。同様に、上段冷凍室１５には上段冷凍室容器（図示せず）が設けられ、また、野菜室１６には野菜室容器（図示せず）が設けられている他、下段冷凍室１７には下段冷凍室容器（図示せず）が設けられている。
また、冷蔵庫１は、図示はしないが、圧縮機と、放熱器（凝縮器）と、キャピラリチューブ（絞り機構）と、蒸発器と、を備えている。そして、圧縮機、放熱器、キャピラリチューブ、及び蒸発器を順次に介して冷媒が循環し、蒸発器を通流する冷媒との間の熱交換で、貯蔵室の空気が冷やされるようになっている。図５に示すカメラユニット１０は、冷蔵庫１の貯蔵室等を撮像するものであり、筐体の上面に設置されている。
図６は、冷蔵庫１の側面図である。
図６に示すように、カメラユニット１０は、本体部１０１と、支持部１０２と、を備えている。本体部１０１は、貯蔵室等を撮像する機能を有している。支持部１０２は、本体部１０１を支持するものであり、冷蔵庫１の筐体上面に設置されている。
図６に示すように、カメラユニット１０は、本体部１０１と、支持部１０２と、を備えている。本体部１０１は、貯蔵室等を撮像する機能を有している。支持部１０２は、本体部１０１を支持するものであり、冷蔵庫１の筐体上面に設置されている。
本体部１０１の前端付近には、レンズ１０３（図６も参照）が設けられている。レンズ１０３は、光を屈折させて集束させる光学素子である。このようなレンズ１０３として、例えば、魚眼レンズが用いられる。そして、左扉１２または／および右扉１３（図５参照）が開かれた場合に、カメラユニット１０で冷蔵室１１６（図７参照）を撮像できるように、レンズ１０３が下側に臨んだ状態になっている。カメラユニット１０は、冷蔵室１１６外の住空間を含む住空間範囲を撮像する可能性がある位置に取付けられている。
図６に示すように、レンズ１０３は、筐体の前端（筐体の開口）よりも前側に位置している。より好ましくは、レンズ１０３は、閉状態の左扉１２および右扉１３（図５参照）の前面よりもさらに前側に位置している。これによって、例えば、冷蔵室１１６の左扉１２および右扉１３が開けられた際、レンズ１０３の視野に冷蔵室１１６が入りやすくなる。なお、野菜室ドア等の引出し式のドアが開かれた状態で、カメラユニット１０によって野菜室１６等（図５参照）を撮像することも可能である。このように、それぞれの貯蔵室を上から見下ろせる位置にレンズ１０３が設けられている。
図７は、冷蔵庫１の左扉１２および右扉１３が開かれた状態の正面図である。
前記したように、左扉１２の内板１２２には、食品等を収容するための複数のドアポケット１２３が設けられている（右扉１３も同様）。そして、左扉１２および右扉１３が開けられると、冷蔵室１１６やドアポケット１２３，１３３の食品等が、カメラユニット１０のレンズ１０３の視野に俯瞰的に入るようになっている。
前記したように、左扉１２の内板１２２には、食品等を収容するための複数のドアポケット１２３が設けられている（右扉１３も同様）。そして、左扉１２および右扉１３が開けられると、冷蔵室１１６やドアポケット１２３，１３３の食品等が、カメラユニット１０のレンズ１０３の視野に俯瞰的に入るようになっている。
図７に示す回転仕切１２４は、左扉１２および右扉１３の間の隙間からの冷気漏れを抑制するための仕切体である。図７の例では、左扉１２において、ヒンジ１２１（図８参照）の軸とは反対側の端部に回転仕切１２４が設けられ、左扉１２の開閉に伴って所定に回転するようになっている。
また、カメラユニット１０を用いて冷蔵室１１６を手動で撮影する際、ユーザによって押される撮影ボタン１２５が左扉１２に設けられ、撮影ボタン１３５が右扉１３に設けられている。図７の例では、左扉１２において、この左扉１２のヒンジ１２１（図８参照）とは反対側の面の下部に、撮影ボタン１３５が設けられている（右扉１３も同様）。別の観点から説明すると、左扉１２および右扉１３が閉まっている状態（図５参照）において、左扉１２および右扉１３の一方が他方と対向している面（図７の回転仕切１２４の付近）に撮影ボタン１２５が設けられている。
これら撮影ボタン１２５，１３５のうち少なくとも一方がユーザによって押された場合に行う撮影を「手動撮影」という。また、左扉１２および右扉１３の開き始めのタイミングからの経過時間に基づいて、演算部１１２が行う撮影を「自動撮影」という。
図８は、冷蔵庫１の左扉１２および右扉１３が開かれた状態の平面図である。
図８の例では、左右方向において、冷蔵庫１の筐体中央よりも若干左側にカメラユニット１０の本体部１０１が配置されている。より詳しく説明すると、閉状態の左扉１２および右扉１３の合わせ目の真上にカメラユニット１０の本体部１０１が配置されている（図５と図６も参照）。このように本体部１０１を配置することで、例えば、左扉１２および右扉１３が開けられた場合に、ドアポケット１２３，１３３（図７参照）の食品等がカメラユニット１０の視野に入りやすくなる。
図８の例では、左右方向において、冷蔵庫１の筐体中央よりも若干左側にカメラユニット１０の本体部１０１が配置されている。より詳しく説明すると、閉状態の左扉１２および右扉１３の合わせ目の真上にカメラユニット１０の本体部１０１が配置されている（図５と図６も参照）。このように本体部１０１を配置することで、例えば、左扉１２および右扉１３が開けられた場合に、ドアポケット１２３，１３３（図７参照）の食品等がカメラユニット１０の視野に入りやすくなる。
また、冷蔵庫１を使用する際、ユーザは、左扉１２および右扉１３の合わせ目（境界部）を意識することが多い。したがって、左扉１２および右扉１３の合わせ目の真上に本体部１０１を配置することで、本体部１０１の左右方向の位置が合わせ目から外れている場合に比べて、ユーザが違和感を感じることを抑制できる。
図８は、カメラユニット１０を斜め下から見上げた場合の斜視図である。
図８に示すカメラユニット１０の本体部１０１は、前記したレンズ１０３（図６も参照）の他に、ケース３１ｂと、カメラＬＥＤ１００（Light Emitting Diode：照明部）と、を備えている。図６の例では、本体部１０１のケースは、概ね、前後方向に細長い直方体状を呈している。本体部１０１のケースの前端付近の下面には、円形状の孔（符号は図示せず）が設けられ、この孔を介してレンズ１０３が露出している。また、レンズ１０３の後側（奥側）にカメラＬＥＤ１００が設けられている。
図８に示すカメラユニット１０の本体部１０１は、前記したレンズ１０３（図６も参照）の他に、ケース３１ｂと、カメラＬＥＤ１００（Light Emitting Diode：照明部）と、を備えている。図６の例では、本体部１０１のケースは、概ね、前後方向に細長い直方体状を呈している。本体部１０１のケースの前端付近の下面には、円形状の孔（符号は図示せず）が設けられ、この孔を介してレンズ１０３が露出している。また、レンズ１０３の後側（奥側）にカメラＬＥＤ１００が設けられている。
カメラＬＥＤ１００は、カメラユニット１０が冷蔵室１１６（図７参照）やドアポケット１２３，１３３（図７参照）を適度な明るさのもとで撮影できるように、冷蔵室１１６等に光を照射する光源である。また、カメラＬＥＤ１００（照明部）は、冷蔵庫１の筐体（図６参照）の外側に設けられている。詳細については後記するが、本実施形態では、冷蔵庫１の庫内灯を消灯しつつ、カメラＬＥＤ１００を点灯させた状態で、カメラユニット１０が冷蔵室１１６等（図７参照）を撮影するようにしている。
図９に示すように、カメラＬＥＤ１００の前側にレンズ１０３を設けることで、左扉１２および右扉１３が開けられた状態で、冷蔵室１１６等（図５参照）からの反射光がレンズ３１ａに入射しやすくなる。したがって、冷蔵室１１６等に収容されている食品を適切に撮影できる。なお、冷蔵庫１の筐体（図６参照）の前端（筐体の開口）よりも前側にカメラＬＥＤ１００が位置していることが好ましい。これによって、カメラＬＥＤ１００から照射された光が冷蔵室１１６等に入射しやすくなり、ひいては、鮮明な撮影結果が得られやすくなる。
冷蔵庫１は、物品を収納する収納領域である冷蔵室１１６と、冷蔵室１１６を含む物品範囲を撮像するカメラユニット１０と、を備える収納庫である。
図１０は、第１実施形態の画像加工処理のシーケンス図である。
ユーザが冷蔵庫１の扉を開くと、演算部１１２は、扉センサ１１７によって扉が開かれたことを検知する。これにより演算部１１２は、カメラユニット１０により、食品が収納されている冷蔵室１１６を撮像する（ステップＳ１０）。演算部１１２は、撮像した冷蔵室１１６のカメラ画像をサーバ２ａにアップロードする（ステップＳ１１）。このカメラ画像は、ユーザ閲覧可能な加工を行う前の画像である。
ユーザが冷蔵庫１の扉を開くと、演算部１１２は、扉センサ１１７によって扉が開かれたことを検知する。これにより演算部１１２は、カメラユニット１０により、食品が収納されている冷蔵室１１６を撮像する（ステップＳ１０）。演算部１１２は、撮像した冷蔵室１１６のカメラ画像をサーバ２ａにアップロードする（ステップＳ１１）。このカメラ画像は、ユーザ閲覧可能な加工を行う前の画像である。
サーバ２ａのＣＰＵ２１は、カメラユニット１０で撮像した加工前画像を取得する加工前画像取得手段として機能する。サーバ２ａは、この加工前のカメラ画像をストレージサーバ６ａに送信する（ステップＳ１２）。
ストレージサーバ６ａは、サーバ２ｂにイベントを通知すると（ステップＳ１３）、加工前のカメラ画像を保存する（ステップＳ１４）。ストレージサーバ６ａは、加工前画像を記憶する第１記憶手段として機能する。
そしてストレージサーバ６ａは、サーバ２ｂに加工前のカメラ画像を送信すると（ステップＳ１５）、自身に保存した加工前のカメラ画像を削除する（ステップＳ１６）。つまりストレージサーバ６ａのＣＰＵ２１は、加工前のカメラ画像を削除する削除手段として機能する。
そしてストレージサーバ６ａは、サーバ２ｂに加工前のカメラ画像を送信すると（ステップＳ１５）、自身に保存した加工前のカメラ画像を削除する（ステップＳ１６）。つまりストレージサーバ６ａのＣＰＵ２１は、加工前のカメラ画像を削除する削除手段として機能する。
サーバ２ｂは、加工前のカメラ画像のレンズによる歪みを補正し（ステップＳ１７）、台形補正により正面視の画像に加工する（ステップＳ１８）。そしてサーバ２ｂは、ストレージサーバ６ｂに既存の加工後の画像を要求し（ステップＳ１９）、ストレージサーバ６ｂから加工後の画像を受信する（ステップＳ２０）。
サーバ２ｂは、既存の加工後の画像と台形補正した画像とを合成すると（ステップＳ２１）、合成した加工後画像をストレージサーバ６ｂに送信して保存させる（ステップＳ２２）。サーバ２ｂのＣＰＵ２１は、加工前画像に対して、物品範囲以外の少なくとも一部の範囲を削除または情報量を低下させる加工を実行させて、加工後画像を作成する加工後画像作成手段として機能する。
ストレージサーバ６ｂは、サーバ２ｂから受信した加工後画像を保存する（ステップＳ２３）。ストレージサーバ６ｂは、加工後画像を記憶する第２記憶手段として機能する。
そしてストレージサーバ６ｂは、携帯端末３からの要求に応じて、加工後画像を携帯端末３に送信する（ステップＳ２４）。これにより顧客は、携帯端末３により冷蔵室１１６の画像を閲覧できる。
そしてストレージサーバ６ｂは、携帯端末３からの要求に応じて、加工後画像を携帯端末３に送信する（ステップＳ２４）。これにより顧客は、携帯端末３により冷蔵室１１６の画像を閲覧できる。
加工前画像をストレージサーバ６ａが保存し、合成した加工後画像をストレージサーバ６ｂが保存することで、各画像を管理しやすくなる。携帯端末３は、ストレージサーバ６ｂにアクセスするだけで、容易に合成した加工後画像を取得することができる。
携帯端末３は、ストレージサーバ６ａにアクセスすることはなく、よってストレージサーバ６ａのＩＰアドレスを知ることはない。これにより、携帯端末３からストレージサーバ６ａへのアクセス方法をしることはできず、よって加工前の画像に写り込んだお客様や、お客様の住環境が意図せずに他人に見られてしまうことを抑止できる。
ストレージサーバ６ｂは、加工後画像を保存したのち所定期間が経過すると、この加工後画像を消去する。つまり、ストレージサーバ６ｂが加工後画像を消去するよりも前に、ストレージサーバ６ａは、自身が保存した加工前の画像を消去する。これにより、加工前の画像に写り込んだお客様や、お客様の住環境が意図せずに他人に見られてしまうことを抑止できる。
図１１は、冷蔵庫１のカメラユニット１０で撮影した加工前の画像を示す図である。画像の下半分には、冷蔵室１１６が写っている。画像の左側には、左扉１２の内側が写っている。画像の右側には、右扉１３の内側が写っている。そして、画像の上半分には、お客様の住環境が写り込んでいる。この部分は、加工後の画像から見ると不要部分である。
図１２は、不要部分を塗りつぶした加工前の画像を示す図である。
本システムは、魚眼画像の不要部分をマスキング処理する。本システムが実行するマスキング処理は、物品範囲以外の少なくとも一部の範囲を削除する加工処理である。これにより、お客様の冷蔵庫内を撮影した画像を閲覧させるにあたり、お客様およびお客様の住環境が意図せずに他人に見られてしまうことを抑止できる。
なお、この不要部分のマスキング処理は、サーバ２ｂが実行するが、サーバ２ａや冷蔵庫１が実行してもよい。
本システムは、魚眼画像の不要部分をマスキング処理する。本システムが実行するマスキング処理は、物品範囲以外の少なくとも一部の範囲を削除する加工処理である。これにより、お客様の冷蔵庫内を撮影した画像を閲覧させるにあたり、お客様およびお客様の住環境が意図せずに他人に見られてしまうことを抑止できる。
なお、この不要部分のマスキング処理は、サーバ２ｂが実行するが、サーバ２ａや冷蔵庫１が実行してもよい。
図１３は、加工後画像の一例を示す図である。
サーバ２ｂは、冷蔵庫１のカメラユニット１０で撮影した加工前の画像に対してレンズの歪みを補正し、台形補正を行って正面視の画像に加工する。このときサーバ２ｂは、画像中に顔を検出すると、この顔が写っている領域に対してモザイク処理する。
サーバ２ｂは、冷蔵庫１のカメラユニット１０で撮影した加工前の画像に対してレンズの歪みを補正し、台形補正を行って正面視の画像に加工する。このときサーバ２ｂは、画像中に顔を検出すると、この顔が写っている領域に対してモザイク処理する。
本システムが実行するモザイク処理は、物品範囲以外の少なくとも一部の範囲の情報量を低下させる加工処理である。これにより、お客様の冷蔵庫内を撮影した画像を閲覧させるにあたり、お客様が意図せずに他人に見られてしまうことを抑止できる。なお、この顔検出処理とモザイク処理は、サーバ２ｂが実行するが、サーバ２ａや冷蔵庫１が加工前の画像に対して実行してもよい。
図１４から図２０は、携帯端末３と冷蔵庫１とのペアリング時に、顧客に対してカメラ画像の取り扱いに関する注意事項を確認するための一連の画像を示している。これら画面は、携帯端末３のＣＰＵ３１が、携帯端末３にインストールされた冷蔵庫管理プログラムを実行することによって表示される。
図１４は、携帯端末３に表示される新規・中古の選択画面４１を示す図である。
選択画面４１は、新規購入ボタン４１１と、その他ボタン４１２と、戻るボタン４１９を含んでいる。
選択画面４１は、新規購入ボタン４１１と、その他ボタン４１２と、戻るボタン４１９を含んでいる。
新規購入ボタン４１１は、新規に購入したユーザ向けのボタンである。このボタンをタップすると、携帯端末３は、冷蔵庫１とペアリングしたのち、ユーザ登録する。
その他ボタン４１２は、冷蔵庫１を中古で購入された方向けのボタンである。このボタンをタップすると、携帯端末３は、図１５の警告画面４２に遷移する。
戻るボタン４１９は、この選択画面４１に遷移するひとつ前に遷移するボタンである。
戻るボタン４１９は、この選択画面４１に遷移するひとつ前に遷移するボタンである。
図１５は、警告画面４２を示す図である。
警告画面４２は、冷蔵庫１が中古の場合の注意点を警告する画面である。
確認ボタン４２１は、この警告画面４２による確認を終了するボタンである。この確認ボタン４２１をタップすると、携帯端末３は、冷蔵庫１とペアリングしたのち、ユーザ登録する。
戻るボタン４２９は、警告画面４２に遷移するひとつ前に遷移するボタンである。
警告画面４２は、冷蔵庫１が中古の場合の注意点を警告する画面である。
確認ボタン４２１は、この警告画面４２による確認を終了するボタンである。この確認ボタン４２１をタップすると、携帯端末３は、冷蔵庫１とペアリングしたのち、ユーザ登録する。
戻るボタン４２９は、警告画面４２に遷移するひとつ前に遷移するボタンである。
ユーザ登録により、冷蔵庫１の識別番号（個体番号）と、この携帯端末３との紐付けが行われる。なお、冷蔵庫１の識別番号（個体番号）に限られず、カメラユニット１０の個体番号を、携帯端末３に紐付けることで、ユーザ登録を行ってもよい。
そしてユーザ登録後に、既に登録されているユーザが存在するならば、図１６の登録継続ユーザ選択画面４３に遷移する。ユーザ登録後に、既に登録されているユーザが存在しないならば、図１８の譲渡時注意画面４５に遷移する。
図１６は、登録継続ユーザ選択画面４３を示す図である。
登録継続ユーザ選択画面４３は、この冷蔵庫１への登録を継続するユーザを選択する画面である。そしてチェックボックス４３１～４３３は、登録を継続するユーザを選択するためのチェックボックスである。
登録継続ユーザ選択画面４３は、この冷蔵庫１への登録を継続するユーザを選択する画面である。そしてチェックボックス４３１～４３３は、登録を継続するユーザを選択するためのチェックボックスである。
決定ボタン４３５は、登録を継続するユーザを選択したのち、それを決定するためのボタンである。決定ボタン４３５のタップにより、携帯端末３は、図１７の確認ダイアログボックス４４に遷移する。戻るボタン４３９は、登録継続ユーザ選択画面４３に遷移するひとつ前に遷移するボタンである。
図１７は、確認ダイアログボックス４４を示す図である。
確認ダイアログボックス４４は、登録を継続しないユーザの登録抹消を確認するためのダイアログである。
確認ダイアログボックス４４は、登録を継続しないユーザの登録抹消を確認するためのダイアログである。
はいボタン４４１は、選択されていないユーザの登録を抹消するためのボタンである。
いいえボタン４４２は、選択されていないユーザの登録を抹消しないボタンである。はいボタン４４１または、いいえボタン４４２をタップすると、図１４の譲渡時注意画面４５に遷移する。
いいえボタン４４２は、選択されていないユーザの登録を抹消しないボタンである。はいボタン４４１または、いいえボタン４４２をタップすると、図１４の譲渡時注意画面４５に遷移する。
図１８は、譲渡時注意画面４５を示す図である。
譲渡時注意画面４５は、この冷蔵庫１を譲渡する場合の注意を表示する画面である。確認ボタン４５１は、この注意を確認したことを示すボタンである。
戻るボタン４５９は、譲渡時注意画面４５に遷移するひとつ前に遷移するボタンである。
譲渡時注意画面４５は、この冷蔵庫１を譲渡する場合の注意を表示する画面である。確認ボタン４５１は、この注意を確認したことを示すボタンである。
戻るボタン４５９は、譲渡時注意画面４５に遷移するひとつ前に遷移するボタンである。
図１９は、カメラ使用注意画面４６を示す図である。
カメラ使用注意画面４６は、冷蔵庫１のカメラであるカメラユニット１０で撮影することについて顧客に注意喚起するための画面である。この画面をスワイプして下端に達すると、次の画像活用注意画面４７に遷移するための確認ボタンが表示される。
戻るボタン４６９は、カメラ使用注意画面４６に遷移するひとつ前に遷移するボタンである。
カメラ使用注意画面４６は、冷蔵庫１のカメラであるカメラユニット１０で撮影することについて顧客に注意喚起するための画面である。この画面をスワイプして下端に達すると、次の画像活用注意画面４７に遷移するための確認ボタンが表示される。
戻るボタン４６９は、カメラ使用注意画面４６に遷移するひとつ前に遷移するボタンである。
図２０は、画像活用注意画面４７を示す図である。
画像活用注意画面４７は、冷蔵庫１のカメラであるカメラユニット１０で撮影した画像を活用することについて、顧客の承諾を得るための画面である。
同意ボタン４７１は、顧客が画像の活用に同意するためのボタンである。同意ボタン４７１をタップすると、一連の設定が終了してホーム画面５０に遷移する。
戻るボタン４７９は、画像活用注意画面４７に遷移するひとつ前に遷移するボタンである。
画像活用注意画面４７は、冷蔵庫１のカメラであるカメラユニット１０で撮影した画像を活用することについて、顧客の承諾を得るための画面である。
同意ボタン４７１は、顧客が画像の活用に同意するためのボタンである。同意ボタン４７１をタップすると、一連の設定が終了してホーム画面５０に遷移する。
戻るボタン４７９は、画像活用注意画面４７に遷移するひとつ前に遷移するボタンである。
図２１は、ホーム画面５０を示す図である。
ホーム画面５０は、この冷蔵庫管理プログラムを起動した後に表示される画面である。
冷蔵庫の中身チェックボタン５０１は、顧客の冷蔵庫１の収納物を閲覧するためのボタンである。冷蔵庫の中身チェックボタン５０１をタップすると、携帯端末３は、図１７の冷蔵庫の中身画面５１に遷移する。
使い方コンシェルジュボタン５０２は、この冷蔵庫１の使い方を説明するボタンである。
ホーム画面５０は、この冷蔵庫管理プログラムを起動した後に表示される画面である。
冷蔵庫の中身チェックボタン５０１は、顧客の冷蔵庫１の収納物を閲覧するためのボタンである。冷蔵庫の中身チェックボタン５０１をタップすると、携帯端末３は、図１７の冷蔵庫の中身画面５１に遷移する。
使い方コンシェルジュボタン５０２は、この冷蔵庫１の使い方を説明するボタンである。
図２２は、冷蔵庫の中身画面５１を示す図である。
冷蔵庫の中身画面５１は、この冷蔵庫１の冷蔵室１１６の正面視画像を閲覧するための画面である。
室内選択ボタン５１２は、冷蔵室１１６と、左扉１２の内側と、右扉１３の内側のうち何れを表示するかを選択するボタンである。
戻るボタン５１９は、冷蔵庫の中身画面５１に遷移するひとつ前であるホーム画面５０に遷移するボタンである。
冷蔵庫の中身画面５１は、この冷蔵庫１の冷蔵室１１６の正面視画像を閲覧するための画面である。
室内選択ボタン５１２は、冷蔵室１１６と、左扉１２の内側と、右扉１３の内側のうち何れを表示するかを選択するボタンである。
戻るボタン５１９は、冷蔵庫の中身画面５１に遷移するひとつ前であるホーム画面５０に遷移するボタンである。
《第２実施形態》
第２実施形態では、レンズ補正処理や台形補正処理などを、サーバ２ｂではなく冷蔵庫１の演算部１１２が実施する。加工前のカメラ画像をネットワーク上に送信しなくてもよいので、お客様や、お客様の住環境が意図せずに他人に見られてしまうことを抑止できる。
第２実施形態では、レンズ補正処理や台形補正処理などを、サーバ２ｂではなく冷蔵庫１の演算部１１２が実施する。加工前のカメラ画像をネットワーク上に送信しなくてもよいので、お客様や、お客様の住環境が意図せずに他人に見られてしまうことを抑止できる。
図２３は、第２実施形態の画像加工処理のシーケンス図である。
ユーザが冷蔵庫１の扉を開くと、演算部１１２は、扉センサ１１７によって扉が開かれたことを検知する。これにより演算部１１２は、カメラユニット１０により、食品が収納されている冷蔵室１１６を撮像する（ステップＳ３０）。このカメラ画像は、ユーザ閲覧可能な加工を行う前の画像である。
ユーザが冷蔵庫１の扉を開くと、演算部１１２は、扉センサ１１７によって扉が開かれたことを検知する。これにより演算部１１２は、カメラユニット１０により、食品が収納されている冷蔵室１１６を撮像する（ステップＳ３０）。このカメラ画像は、ユーザ閲覧可能な加工を行う前の画像である。
演算部１１２は、加工前のカメラ画像を保存する（ステップＳ３１）。演算部１１２は、加工前のカメラ画像のレンズによる歪みを補正し（ステップＳ３２）、台形補正により正面視の画像に加工する（ステップＳ３３）。そして演算部１１２は、加工前のカメラ画像を削除する（ステップＳ３４）。演算部１１２は、ストレージサーバ６ｂに既存の加工後の画像を要求し（ステップＳ３５）、ストレージサーバ６ｂから加工後の画像を受信する（ステップＳ３６）。
演算部１１２は、既存の加工後の画像と台形補正した画像とを合成すると（ステップＳ３７）、合成した加工後画像をサーバ２ｂに送信する（ステップＳ３８）。サーバ２ｂは、加工後画像をストレージサーバ６ｂに送信して保存させる（ステップＳ３９）。ストレージサーバ６ｂは、サーバ２ｂから受信した加工後画像を保存する（ステップＳ４０）。そしてストレージサーバ６ｂは、携帯端末３からの要求に応じて、加工後画像を携帯端末３に送信する（ステップＳ４１）。これにより顧客は、携帯端末３により冷蔵室１１６の画像を閲覧できる。
ストレージサーバ６ｂは、加工後画像を保存したのち所定期間が経過すると、この加工後画像を消去する。つまり、ストレージサーバ６ｂが加工後画像を消去するよりも前に、ストレージサーバ６ａは、自身が保存した加工前の画像を消去する。これにより、加工前の画像に写り込んだお客様や、お客様の住環境が意図せずに他人に見られてしまうことを抑止できる。
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）などの記録媒体に置くことができる。
各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
本発明の変形例として、例えば、次の（ａ）～（ｄ）のようなものがある。
本発明の変形例として、例えば、次の（ａ）～（ｄ）のようなものがある。
（ａ） お客様および、お客様の住環境が意図せずに他人に見られてしまうことを抑止するモザイク処理は、冷蔵庫１とサーバ２ａとサーバ２ｂのうち何れが実行してもよい。
（ｂ） お客様および、お客様の住環境が意図せずに他人に見られてしまうことを抑止するマスキング処理は、冷蔵庫１とサーバ２ａとサーバ２ｂのうち何れが実行してもよい。
（ｃ） モザイク処理とマスキング処理は、何れか一方を実施してもよく、両方を実施してもよい。
（ｂ） お客様および、お客様の住環境が意図せずに他人に見られてしまうことを抑止するマスキング処理は、冷蔵庫１とサーバ２ａとサーバ２ｂのうち何れが実行してもよい。
（ｃ） モザイク処理とマスキング処理は、何れか一方を実施してもよく、両方を実施してもよい。
（ｄ） 本発明は冷蔵庫の冷蔵室の閲覧に限られず、任意の収納庫の収納領域の閲覧に適用してもよい。
１ 冷蔵庫 （収納庫）
１００ カメラＬＥＤ
１０ カメラユニット
１１２ 演算部
１１３ ＲＯＭ
１１４ ＲＡＭ
１１５ 通信部
１１６ 冷蔵室 （収納領域）
１１７ 扉センサ
１２ 左扉
１２４ 回転仕切
１３ 右扉
１４ 製氷室
１５ 上段冷凍室
１６ 野菜室
１７ 下段冷凍室
２ａ サーバ （加工前画像取得手段、削除手段）
２ｂ サーバ （加工後画像作成手段）
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 記憶部
２５ 通信部
３ 携帯端末
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 記憶部
３５ 通信部
３６ タッチパネルディスプレイ
４１ 選択画面
４１１ 新規購入ボタン
４１２ その他ボタン
４１９ 戻るボタン
４２ 警告画面
４２９ 戻るボタン
４３ 登録継続ユーザ選択画面
４３１ チェックボックス
４３２ チェックボックス
４３３ チェックボックス
４３５ 決定ボタン
４３９ 戻るボタン
４４ 確認ダイアログボックス
４４１ はいボタン
４４２ いいえボタン
４５ 譲渡時注意画面
４５１ 確認ボタン
４５９ 戻るボタン
４６ カメラ使用注意画面
４６９ 戻るボタン
４７ 画像活用注意画面
４７９ 戻るボタン
５０ ホーム画面
５０１ 冷蔵庫の中身チェックボタン
５０２ 使い方コンシェルジュボタン
５１ 冷蔵庫の中身画面
５１２ 室内選択ボタン
６ａ ストレージサーバ （第１記憶手段）
６ｂ ストレージサーバ （第２記憶手段）
８１ 加工前画像取得手段
８２ 第１記憶手段
８３ 削除手段
８４ 加工後画像作成手段
８５ 第２記憶手段
８６ 登録手段
８７ 登録済ユーザ情報提示手段
８８ 登録済ユーザ権限削除手段
１００ カメラＬＥＤ
１０ カメラユニット
１１２ 演算部
１１３ ＲＯＭ
１１４ ＲＡＭ
１１５ 通信部
１１６ 冷蔵室 （収納領域）
１１７ 扉センサ
１２ 左扉
１２４ 回転仕切
１３ 右扉
１４ 製氷室
１５ 上段冷凍室
１６ 野菜室
１７ 下段冷凍室
２ａ サーバ （加工前画像取得手段、削除手段）
２ｂ サーバ （加工後画像作成手段）
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 記憶部
２５ 通信部
３ 携帯端末
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 記憶部
３５ 通信部
３６ タッチパネルディスプレイ
４１ 選択画面
４１１ 新規購入ボタン
４１２ その他ボタン
４１９ 戻るボタン
４２ 警告画面
４２９ 戻るボタン
４３ 登録継続ユーザ選択画面
４３１ チェックボックス
４３２ チェックボックス
４３３ チェックボックス
４３５ 決定ボタン
４３９ 戻るボタン
４４ 確認ダイアログボックス
４４１ はいボタン
４４２ いいえボタン
４５ 譲渡時注意画面
４５１ 確認ボタン
４５９ 戻るボタン
４６ カメラ使用注意画面
４６９ 戻るボタン
４７ 画像活用注意画面
４７９ 戻るボタン
５０ ホーム画面
５０１ 冷蔵庫の中身チェックボタン
５０２ 使い方コンシェルジュボタン
５１ 冷蔵庫の中身画面
５１２ 室内選択ボタン
６ａ ストレージサーバ （第１記憶手段）
６ｂ ストレージサーバ （第２記憶手段）
８１ 加工前画像取得手段
８２ 第１記憶手段
８３ 削除手段
８４ 加工後画像作成手段
８５ 第２記憶手段
８６ 登録手段
８７ 登録済ユーザ情報提示手段
８８ 登録済ユーザ権限削除手段
Claims (10)
- 物品を収納する収納領域と、
前記収納領域を含む物品範囲を撮像する撮像部と、を備える収納庫と、
前記撮像部で撮像した加工前画像を取得する加工前画像取得手段と、
前記加工前画像を記憶する第１記憶手段と、
前記加工前画像に対して、前記物品範囲以外の少なくとも一部の範囲を削除または情報量を低下させる加工を実行させて、加工後画像を作成する加工後画像作成手段と、
前記加工後画像を記憶する第２記憶手段と、
前記加工前画像を、前記加工後画像の作成後に削除する削除手段と、
を備えることを特徴とする画像管理システム。 - 前記撮像部は、前記収納庫外の住空間を含む住空間範囲を撮像する可能性がある位置に取付けられており、
前記削除手段は、少なくとも前記加工後画像が削除されるよりも前に前記加工前画像を削除する、
ことを特徴とする請求項１に記載の画像管理システム。 - 前記加工後画像作成手段は、前記加工前画像に対して、予め定められた範囲を含んで削除または情報量を低下させて、加工後画像を作成する、
ことを特徴とする請求項１に記載の画像管理システム。 - 前記加工後画像作成手段は、前記加工前画像の何れかに人の身体部分が写り込んでいた場合に、当該人の身体部分を含んで削除または情報量を低下させて、加工後画像を作成する、
ことを特徴とする請求項１に記載の画像管理システム。 - 前記加工後画像を閲覧可能なユーザを、前記収納庫又は前記撮像部の個体番号に紐付けて登録する登録手段、
新たに前記個体番号に紐づけるユーザの登録にあたり、当該ユーザに対して、既に登録済のユーザに関する情報を提示する登録済ユーザ情報提示手段、
を更に備えることを特徴とする請求項１に記載の画像管理システム。 - 新たに前記個体番号に紐づけるユーザの登録にあたり、当該ユーザに既に登録済のユーザを選択させて、選択された前記登録済のユーザの閲覧権限を削除する登録済ユーザ権限削除手段、
を更に備えることを特徴とする請求項５に記載の画像管理システム。 - 前記第１記憶手段に付与されているＩＰアドレスは、前記第２記憶手段に付与されているＩＰアドレスとは異なる、
ことを特徴とする請求項１に記載の画像管理システム。 - 物品を収納する収納領域を含む物品範囲を撮像部で撮像した加工前画像を取得する加工前画像取得手段と、
前記加工前画像を記憶する第１記憶手段と、
前記加工前画像に対して、前記物品範囲以外の少なくとも一部の範囲を削除または情報量を低下させる加工を実行させて、加工後画像を作成する加工後画像作成手段と、
前記加工後画像を記憶する第２記憶手段と、
前記加工前画像を、少なくとも前記加工後画像が削除されるよりも前に削除する削除手段と、
を備えることを特徴とする画像管理サーバ。 - １以上の演算部が、
収納庫の物品収納領域を含む物品範囲を撮像部で撮像した加工前画像を取得する手順、
前記加工前画像を記憶させる手順、
前記加工前画像に対して、前記物品範囲以外の少なくとも一部の範囲を削除または情報量を低下させる加工を実行させて、加工後画像を作成させる手順、
前記加工後画像を記憶させる手順、
前記加工前画像を、少なくとも前記加工後画像が削除されるよりも前に削除する手順、
を実行することを特徴とする画像管理方法。 - 物品を収納する収納領域と、
前記収納領域を含む物品範囲を撮像する撮像部と、を備える収納庫と、
前記撮像部で撮像した加工前画像を取得する加工前画像取得手段と、
前記加工前画像を記憶する第１記憶手段と、
前記加工前画像に対して、前記物品範囲以外の少なくとも一部の範囲を削除または情報量を低下させる加工を実行させて、加工後画像を作成する加工後画像作成手段と、
前記加工後画像を記憶する第２記憶手段と、
前記加工前画像を、前記加工後画像の作成後に削除する削除手段と、
を備える画像管理システムを生産する方法であって、
前記収納庫、又はユーザが使用する端末に、前記撮像部を制御させるための制御プログラムを提供することで当該画像管理システムを生産する方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022025691A JP2023122170A (ja) | 2022-02-22 | 2022-02-22 | 画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法 |
| CN202211080206.0A CN116680424A (zh) | 2022-02-22 | 2022-09-05 | 图像管理系统、图像管理服务器、图像管理方法及生产图像管理系统的方法 |
| PCT/JP2022/034931 WO2023162312A1 (ja) | 2022-02-22 | 2022-09-20 | 画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022025691A JP2023122170A (ja) | 2022-02-22 | 2022-02-22 | 画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023122170A true JP2023122170A (ja) | 2023-09-01 |
Family
ID=87765323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022025691A Pending JP2023122170A (ja) | 2022-02-22 | 2022-02-22 | 画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP2023122170A (ja) |
| CN (1) | CN116680424A (ja) |
| WO (1) | WO2023162312A1 (ja) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH109753A (ja) * | 1996-06-26 | 1998-01-16 | Matsushita Refrig Co Ltd | 冷凍冷蔵庫の食品在庫管理装置 |
| JP2003042626A (ja) * | 2001-07-26 | 2003-02-13 | Toshiba Corp | 冷蔵庫 |
| US9441991B2 (en) * | 2013-04-18 | 2016-09-13 | Panasonic Intellectual Property Corporation Of America | Method for providing data using fridge's log information |
| JP2016057022A (ja) * | 2014-09-11 | 2016-04-21 | 株式会社東芝 | 食材管理システム |
| JP6592970B2 (ja) * | 2015-06-02 | 2019-10-23 | 三菱電機株式会社 | 冷蔵庫 |
| WO2018020541A1 (ja) * | 2016-07-25 | 2018-02-01 | 三菱電機株式会社 | 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム |
| JP7164296B2 (ja) * | 2017-12-04 | 2022-11-01 | 東芝ライフスタイル株式会社 | 冷蔵庫 |
| KR102508201B1 (ko) * | 2018-03-09 | 2023-03-10 | 삼성전자주식회사 | 냉장고 및 그 제어방법 |
| JP2021071237A (ja) * | 2019-10-31 | 2021-05-06 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 食品保管システム |
| CN111288744B (zh) * | 2020-02-27 | 2021-08-24 | 海信（山东）冰箱有限公司 | 一种冰箱及其控制方法 |
| CN113468937A (zh) * | 2020-07-17 | 2021-10-01 | 青岛海信电子产业控股股份有限公司 | 一种图像截取方法及食材存储设备 |
-
2022
- 2022-02-22 JP JP2022025691A patent/JP2023122170A/ja active Pending
- 2022-09-05 CN CN202211080206.0A patent/CN116680424A/zh active Pending
- 2022-09-20 WO PCT/JP2022/034931 patent/WO2023162312A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023162312A1 (ja) | 2023-08-31 |
| CN116680424A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2022118243A (ja) | 通知方法、システム | |
| JP6229142B2 (ja) | 冷蔵庫及び冷蔵庫システム | |
| JP6642713B2 (ja) | 冷蔵庫システム | |
| US20140168396A1 (en) | Method for viewing contents of a refrigerator appliance | |
| JP6307702B2 (ja) | 冷蔵庫 | |
| JP6655908B2 (ja) | 冷蔵庫およびプログラム | |
| JP2002267336A (ja) | 庫内等の収納物を携帯電話等に表示するシステム | |
| CN109413383A (zh) | 一种冰箱内部食材图像的获取方法、冰箱及图像识别系统 | |
| JP2018124053A (ja) | 冷蔵庫 | |
| JP2018112384A (ja) | 冷蔵庫及びそのカメラシステム | |
| JP6167331B2 (ja) | 冷蔵庫及び冷蔵庫システム | |
| JP6167330B2 (ja) | 冷蔵庫及び冷蔵庫システム | |
| WO2023162312A1 (ja) | 画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法 | |
| JP2000055533A (ja) | 冷却貯蔵庫及びその管理システム | |
| JP6167327B2 (ja) | 冷蔵庫 | |
| WO2023162283A1 (ja) | 画像管理システム、画像管理サーバ、画像管理方法、および、画像表示制御システムの生産方法 | |
| JP6167288B2 (ja) | 冷蔵庫 | |
| KR20030073294A (ko) | 냉장고내 정보 취득 장치 및 방법 | |
| JP2018115847A (ja) | 冷蔵庫及びそのカメラシステム | |
| JP2019007728A (ja) | 冷蔵庫 | |
| JP6673498B2 (ja) | 冷蔵庫システム | |
| JP2021096686A (ja) | 冷蔵庫管理システム、冷蔵庫及びサーバシステム | |
| JP6145701B2 (ja) | 冷蔵庫 | |
| JP6114916B2 (ja) | 冷蔵庫 | |
| JP2024038577A (ja) | 貯蔵庫及びカメラユニット |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230926 |