JP2023079897A - プログラム、端末装置、端末装置の制御方法、及び表示システム - Google Patents

Abstract

【課題】貯蔵庫の庫内の状況をユーザが直感的に把握できるようにする。【解決手段】プログラムは、端末装置のプロセッサを、貯蔵庫の貯蔵室の前上方から撮影された前記貯蔵室の撮影画像から生成された画像であって、且つ、前記貯蔵室の正面側の位置から前記貯蔵室を視た画像である第１正面視画像を、表示部に表示させる表示制御部として機能させる。【選択図】図５

Description

本開示は、プログラム、端末装置、端末装置の制御方法、及び表示システムに関する。

特許文献１は、冷蔵庫の上部にカメラを設け、冷蔵庫の開口部を通過する物体を検出した際に撮影を実行し、撮影結果に基づいて冷蔵庫に収容される食品を管理する技術を開示する。

特開２０１９－０７０４７６号公報

本開示は、貯蔵庫の庫内の状況をユーザが直感的に把握できるプログラム、端末装置、端末装置の制御方法、及び表示システムを提供する。

本開示におけるプログラムは、端末装置のプロセッサを、貯蔵庫の貯蔵室の前上方から撮影された前記貯蔵室の撮影画像から生成された画像であって、且つ、前記貯蔵室の正面側の位置から前記貯蔵室を視た画像である第１正面視画像を、表示部に表示させる表示制御部として機能させる。

また、本開示における端末装置は、貯蔵庫の貯蔵室の前上方から撮影された前記貯蔵室の撮影画像から生成された画像であって、且つ、前記貯蔵室の正面側の位置から前記貯蔵室を視た画像である第１正面視画像を表示部に表示させる表示制御部を備える。

また、本開示における端末装置の制御方法は、貯蔵庫の貯蔵室の前上方から撮影された前記貯蔵室の撮影画像から生成された画像であって、且つ、前記貯蔵室の正面側の位置から前記貯蔵室を視た画像である第１正面視画像を表示部に表示させるステップを含む。

また、本開示における表示システムは、貯蔵庫の貯蔵室の正面側の位置から前記貯蔵室を視た第１正面視画像を、前記貯蔵室の前上方から撮影された前記貯蔵室の撮影画像から生成する生成部と、前記生成部が生成した前記第１正面視画像を表示する端末装置と、を備える。

本開示におけるプログラム、端末装置、端末装置の制御方法、及び表示システムは、貯蔵庫の庫内の状況をユーザが直感的に把握できる。

表示システムの構成を示す図 撮影装置を前方側から視た正面図 撮影装置を右方側から視た平面図 撮影装置の構成を示すブロック図 端末装置及び画像管理サーバの構成を示すブロック図 画像管理ＤＢに格納されるレコードの一例を示す図 撮影装置の動作を示すフローチャート 表示システムの動作を示すフローチャート 特定フレームの歪曲収差の補正を説明する説明図 冷蔵室画像、左ドア画像、及び右ドア画像の抽出を説明する説明図 冷蔵室画像の視点変換を説明する説明図 ドア画像の視点変換を説明する説明図 表示システムの動作を示すフローチャート アプリＵＩの一例を示す図

（本開示の基礎となった知見等）
発明者らが本開示に想到するに至った当時、冷蔵庫に収容される食品のリストを端末装置が表示する技術があった。しかしながら、従来の技術のように、食品のリストが単に表示されるだけでは、冷蔵庫などの貯蔵庫の庫内の状況をユーザが直感的に把握できないと言う課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。
そこで、本開示は、貯蔵庫の庫内の状況をユーザが直感的に把握できるプログラム、端末装置、端末装置の制御方法、及び表示システムを提供する。

以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。

（実施の形態１）
実施の形態１について説明する。
［１．構成］
［１－１．表示システムの構成］
図１は、表示システム１０００の構成を示す図である。
表示システム１０００は、冷蔵庫１の庫内の画像を表示するシステムである。
冷蔵庫１は、本開示の「貯蔵庫」に相当する。

表示システム１０００は、冷蔵庫１を備える。
冷蔵庫１は、前面が開口した主箱体１０を備える。主箱体１０には、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５が形成されている。冷蔵室１１内には、チルド室１１Ｄが設けられている。なお、チルド室１１Ｄとは、庫内温度が冷蔵室１１より低い収容室である。チルド室１１Ｄの庫内温度は、例えば０℃～３℃の間に設定される。チルド室１１Ｄには、物品を収容可能な引出１１Ｄ１が設けられている。本実施形態において物品は、食品や、食品を収容する容器などである。冷蔵室１１の前面の開口部には、回転式の左ドア１１Ａと回転式の右ドア１１Ｂとが設けられている。左ドア１１Ａの内側には、ドアポケット１１１を有する左ドア棚１１Ａ１が設けられている。また、右ドア１１Ｂの内側には、ドアポケット１１１を有する右ドア棚１１Ｂ１が設けられている。製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５のそれぞれには、物品を収容可能な引出１２Ａ、１３Ａ、１４Ａ、１５Ａがそれぞれ設けられている。
冷蔵室１１は、本開示の「貯蔵室」に相当する。

以下の説明において、左ドア１１Ａ及び右ドア１１Ｂを区別しない場合、「ドア」といい「１１Ｃ」の符号を付す。また、以下の説明において、左ドア棚１１Ａ１及び右ドア棚１１Ｂ１を区別しない場合、「ドア棚」といい「１１Ｃ１」の符号を付す。また、以下の説明において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを区別しない場合、「引出」といい「１６Ａ」の符号を付す。

表示システム１０００は、撮影装置２を備える。撮影装置２は、冷蔵庫１の主箱体１０の上面１０Ａに設けられる。撮影装置２は、冷蔵庫１の前上方から冷蔵庫１を撮影する。

表示システム１０００は、端末装置３を備える。端末装置３は、例えばスマートフォンやタブレット端末である。端末装置３は、表示アプリ３１１がインストールされている。表示アプリ３１１は、インストール可能なアプリケーションプログラムであり、冷蔵庫１の庫内の画像を表示する機能を有する。端末装置３は、表示アプリ３１１の機能によって画像管理サーバ４と通信する。
表示アプリ３１１は、本開示の「プログラム」に相当する。

図１では、在宅するユーザＰを実線で示し、自宅Ｈから外出したユーザＰを点線で示している。端末装置３は、在宅するユーザＰに使用される場合、表示アプリ３１１の機能によって、通信装置５を介して、或いは通信装置５を介さずに、画像管理サーバ４と通信する。また、端末装置３は、自宅Ｈから外出したユーザＰに使用され、且つ、通信装置５と通信接続を確立できない場合、表示アプリ３１１の機能によって、通信装置５を介すことなく画像管理サーバ４と通信する。

通信装置５は、通信ネットワークＮＷに接続し、通信ネットワークＮＷを介して画像管理サーバ４と通信する。通信ネットワークＮＷは、公衆回線網、専用線、その他の通信回線、及び各種の通信設備で構成されるネットワークであり、具体的な態様は制限されない。例えば、通信ネットワークＮＷは、広域ネットワークでもよい。通信ネットワークＮＷは、無線通信回路及び有線通信回路の少なくともいずれかを含む構成でもよい。通信装置５は、撮影装置２及び端末装置３を通信ネットワークＮＷに接続するためのインターフェイス装置として機能する。

表示システム１０００は、画像管理サーバ４を備える。画像管理サーバ４は、表示アプリ３１１の機能によって表示される画像の画像データを管理するサーバ装置である。画像管理サーバ４は、通信ネットワークＮＷに接続する。なお、各図では、画像管理サーバ４を、１つのブロックによって表現するが、これは必ずしも画像管理サーバ４が単一のサーバ装置により構成されることを意味していない。例えば、画像管理サーバ４は、処理内容が異なる複数のサーバ装置を含んで構成されてもよい。

［１－２．撮影装置の構成］
図２、図３、及び図４を参照して撮影装置２について説明する。
図２及び図３では、Ｘ軸、Ｙ軸、及びＺ軸を図示している。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する。Ｚ軸は、上下方向を示す。Ｘ軸及びＹ軸は、水平方向と平行である。Ｘ軸は左右方向を示す。Ｙ軸は前後方向を示す。Ｘ軸の正方向は右方向を示す。Ｙ軸の正方向は前方向を示す。Ｚ軸の正方向は上方向を示す。

図２は、冷蔵庫１に設けられた撮影装置２を前方から視た正面図である。図２に示す冷蔵庫１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である。図３は、冷蔵庫１に設けられた撮影装置２を右方から視た平面図である。図３に示す冷蔵庫１は、引出１５Ａが、開状態、すなわち引き出された状態である。

撮影装置２は、冷蔵室用カメラ２７及び引出用カメラ２８を備える。
冷蔵室用カメラ２７は、引出用カメラ２８より広角のカメラである。冷蔵室用カメラ２７は、撮影装置２が冷蔵庫１に設置された状態において、ドア１１Ｃ１が開状態の場合、冷蔵室１１の前上方から冷蔵庫１を撮影する。なお、冷蔵室用カメラ２７は、ドア１１Ｃ１が閉状態の場合、冷蔵庫１の前上方から冷蔵庫１を撮影する。冷蔵室用カメラ２７の撮影結果は、動画像である。

例えば、冷蔵室用カメラ２７の撮影範囲は、冷蔵庫１の前方側から視て、図２に示す範囲Ａ１を含む。範囲Ａ１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である場合に、ドア棚１１Ｃ１及び冷蔵室１１の開口部を含む。なお、冷蔵室１１の開口部は、冷蔵室１１に物品が入出庫される開口部である。また、冷蔵室用カメラ２７の撮影範囲は、冷蔵庫１の右方側から視て、図３に示す範囲Ａ３を含む。範囲Ａ３は、前後方向において、開状態のドア１１Ｃの前端部から棚１１２の前端部までを含み、且つ、上下方向において、冷蔵室１１の開口部を含む。

引出用カメラ２８は、冷蔵庫１の前上方から冷蔵庫１を撮影する。引出用カメラ２８の撮影結果は、動画像である。
例えば、引出用カメラ２８の撮影範囲は、冷蔵庫１の前方側から視て、図２に示す範囲Ａ２を含む。範囲Ａ２は、冷蔵庫１の前方側から視て、チルド室１１Ｄ及び引出１６Ａを含む。また、例えば、引出用カメラ２８の撮影範囲は、冷蔵庫１の右方側から視て、図３に示す範囲Ａ４を含む。範囲Ａ４は、前後方向において、最も引き出された状態の引出１６Ａを含み、且つ、引出１１Ｄ１が引き出されていない状態のチルド室１１Ｄの前端部を含む。

撮影装置２は、左ドア用測距センサ２３、右ドア用測距センサ２４、及び引出用測距センサ２５を備える。
左ドア用測距センサ２３は、測距センサである。左ドア用測距センサ２３は、所定の周期で、左ドア１１Ａと左ドア用測距センサ２３との離間距離を検出し、検出した離間距離を示す検出値を撮影装置プロセッサ２０に出力する。
右ドア用測距センサ２４は、測距センサである。右ドア用測距センサ２４は、所定の周期で、右ドア１１Ｂと右ドア用測距センサ２４との離間距離を検出し、検出した離間距離を示す検出値を撮影装置プロセッサ２０に出力する。
引出用測距センサ２５は、測距センサである。引出用測距センサ２５は、所定の周期で、引出１６Ａと引出用測距センサ２５との離間距離を検出し、検出した離間距離を示す検出値を撮影装置プロセッサ２０に出力する。

左ドア用測距センサ２３、右ドア用測距センサ２４、及び引出用測距センサ２５は、光学式の測距センサでもよいし、超音波式の測距センサでもよい。

撮影装置２は、人感センサ２６を備える。人感センサ２６は、所定の周期で検出値を撮影装置プロセッサ２０に出力する。人感センサ２６は、赤外線式のセンサでも、超音波式のセンサでも、可視光式のセンサでもよい。

なお、図２及び図３における各カメラ及び各センサの並び順及び設置位置は、撮影装置２の説明便宜のために図示されたものであり、各カメラ及び各センサの並び順及び設置位置は、図２及び図３が示す並び順及び設置位置に限定されない。

図４は、撮影装置２の構成を示すブロック図である。
撮影装置２は、ＣＰＵ（Central Processing Unit）やＭＰＣ（Micro-processing unit）等のプロセッサである撮影装置プロセッサ２０、及びプログラムやデータを記憶するメモリである撮影装置メモリ２１を備える。

撮影装置プロセッサ２０は、撮影装置メモリ２１に記憶された制御プログラム２１１を読み出して実行することにより、撮影装置通信制御部２０１、人物存在判定部２０２、開閉判定部２０３、撮影制御部２０４、録画制御部２０５、画像生成部２０６、及びアップロードデータ生成部２０７として機能する。
画像生成部２０６は、本開示の「生成部」に相当する。

撮影装置メモリ２１は、撮影装置プロセッサ２０が実行するプログラムや、撮影装置プロセッサ２０に処理されるデータを記憶する。撮影装置メモリ２１は、撮影装置プロセッサ２０が実行する制御プログラム２１１、撮影装置ＩＤ（Identification）２１２、その他の各種データを記憶する。また、撮影装置メモリ２１は、撮影装置プロセッサ２０によって消去されるまでの間、録画データ２１３を記憶する。撮影装置メモリ２１は、不揮発性の記憶領域を有する。また、撮影装置メモリ２１は、揮発性の記憶領域を備え、撮影装置プロセッサ２０のワークエリアを構成してもよい。

撮影装置ＩＤ２１２は、撮影装置２の識別情報である。撮影装置ＩＤ２１２としては、シリアル番号や製造番号が例に挙げられる。
録画データ２１３は、第１録画データ２１３Ａ及び第２録画データ２１３Ｂを含む。第１録画データ２１３Ａは、冷蔵室用カメラ２７の撮影結果を示すデータである。第２録画データ２１３Ｂは、引出用カメラ２８の撮影結果を示すデータである。

撮影装置プロセッサ２０には、撮影装置通信ユニット２２、左ドア用測距センサ２３、右ドア用測距センサ２４、引出用測距センサ２５、人感センサ２６、冷蔵室用カメラ２７、及び引出用カメラ２８が接続する。なお、撮影装置プロセッサ２０には、これらデバイス以外のデバイスが接続していてもよい。

撮影装置通信ユニット２２は、所定の通信規格に従った通信回路やコネクタなどを有する通信インターフェイスであり、撮影装置プロセッサ２０の制御に従って画像管理サーバ４と通信する。本実施の形態では、撮影装置通信ユニット２２が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。

上述したように、撮影装置プロセッサ２０は、撮影装置通信制御部２０１、人物存在判定部２０２、開閉判定部２０３、撮影制御部２０４、録画制御部２０５、画像生成部２０６、及びアップロードデータ生成部２０７として機能する。

撮影装置通信制御部２０１は、撮影装置通信ユニット２２を介して、画像管理サーバ４と通信する。

人物存在判定部２０２は、人感センサ２６が出力する検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判定する。例えば、人物存在判定部２０２は、所定値以上の検出値を人感センサ２６が出力した場合、冷蔵庫１の周辺に人が存在すると判定し、所定値を下回る検出値を人感センサ２６が出力した場合、冷蔵庫１の周辺に人が存在しないと判定する。人物存在判定部２０２は、冷蔵庫１の周辺に人が存在すると判定した場合、人が存在することを示す第１存在情報を、撮影制御部２０４に出力する。また、人物存在判定部２０２は、冷蔵庫１の周辺に人が存在しないと判定した場合、人が存在しないことを示す第２存在情報を、撮影制御部２０４に出力する。

開閉判定部２０３は、左ドア用測距センサ２３の検出値に基づいて、左ドア１１Ａが開状態か閉状態かを判定する。開閉判定部２０３は、左ドア１１Ａの閉状態に対応する検出値より離間距離が大きい検出値を、左ドア用測距センサ２３が出力した場合、左ドア１１Ａが開状態であると判定する。開閉判定部２０３は、左ドア１１Ａの閉状態に対応する検出値を、左ドア用測距センサ２３が出力した場合、左ドア１１Ａが閉状態であると判定する。
開閉判定部２０３は、右ドア用測距センサ２４の検出値に基づいて、右ドア１１Ｂが開状態か閉状態かを判定する。開閉判定部２０３は、右ドア１１Ｂの閉状態に対応する検出値より離間距離が大きい検出値を、右ドア用測距センサ２４が出力した場合、右ドア１１Ｂが開状態であると判定する。開閉判定部２０３は、右ドア１１Ｂの閉状態に対応する検出値を、右ドア用測距センサ２４が出力した場合、右ドア１１Ｂが閉状態であると判定する。
開閉判定部２０３は、引出用測距センサ２５の検出値が示す離間距離に応じて、引出１６Ａが開状態か閉状態かを判定する。

開閉判定部２０３は、左ドア１１Ａ及び右ドア１１Ｂの少なくともいずれかが開状態であると判定した場合、ドア１１Ｃが開状態であることを示す第１ドア開閉情報を、録画制御部２０５に出力する。開閉判定部２０３は、左ドア１１Ａ及び右ドア１１Ｂが閉状態であると判定した場合、左ドア１１Ａ及び右ドア１１Ｂが閉状態であることを示す第２ドア開閉情報を、録画制御部２０５に出力する。
開閉判定部２０３は、引出１６Ａのいずれかが開状態であると判定した場合、引出１６Ａのいずれかが開状態であることを示す第１引出開閉情報を、録画制御部２０５に出力する。開閉判定部２０３は、引出１６Ａのいずれも閉状態であると判定した場合、引出１６Ａのいずれも閉状態であることを示す第２引出開閉情報を、録画制御部２０５に出力する。

撮影制御部２０４は、人物存在判定部２０２が第１存在情報を出力した場合、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を開始させる。撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８の撮影開始後、人物存在判定部２０２が第２存在情報を出力した場合、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を終了させる。

録画制御部２０５は、開閉判定部２０３が第１ドア開閉情報を出力した場合、冷蔵室用カメラ２７及び引出用カメラ２８の撮影結果の録画を開始する。すなわち、録画制御部２０５は、開閉判定部２０３が第１ドア開閉情報を出力した場合、撮影装置メモリ２１への録画データ２１３の記録を開始する。また、録画制御部２０５は、開閉判定部２０３が第１引出開閉情報を出力した場合、冷蔵室用カメラ２７及び引出用カメラ２８の撮影結果の録画を開始する。また、録画制御部２０５は、開閉判定部２０３が第１ドア開閉情報及び第１引出開閉情報を出力した場合、冷蔵室用カメラ２７及び引出用カメラ２８の撮影結果の録画を開始する。録画制御部２０５は、録画判定部２０３が第２ドア開閉情報及び第２引出開閉情報を出力した場合、冷蔵室用カメラ２７及び引出用カメラ２８の撮影結果の録画を終了する。なお、録画制御部２０５は、第２ドア開閉情報を開閉判定部２０３が出力した場合、冷蔵室用カメラ２７及び引出用カメラ２８の撮影結果の録画を終了する構成でもよい。すなわち、録画制御部２０５は、開閉判定部２０３が第２ドア開閉情報を出力した場合、撮影装置メモリ２１への録画データ２１３の記録を終了する。また、録画制御部２０５は、第２引出開閉情報を開閉判定部２０３が出力した場合、開始した撮影結果の録画を終了する構成でもよい。

録画中、録画制御部２０５には、ドア用測距センサ２３及び右ドア用測距センサ２４から検出値が入力される。録画制御部２０５は、フレームごと、或いは所定枚数のフレーム間隔で、録画中の冷蔵室用カメラ２７の撮影結果、及び録画中の引出用カメラ２８の撮影結果に、左ドア用測距センサ２３の検出値と右ドア用測距センサ２４の検出値とを対応付ける。

画像生成部２０６は、アプリＵＩ３３０の機能によって表示される画像を生成する。画像生成部２０６が生成する画像の詳細については、後述する。

アップロードデータ生成部２０７は、アップロードデータを生成する。アップロードデータは、画像管理サーバ４に送信する対象のデータである。アップロードデータ生成部２０７は、生成したアップロードデータを撮影装置通信制御部２０１に出力する。

［１－３．画像管理サーバの構成］
図５は、端末装置３及び画像管理サーバ４の構成を示すブロック図である。
まず、画像管理サーバ４の構成について説明する。
画像管理サーバ４は、ＣＰＵやＭＰＣ等のプロセッサであるサーバプロセッサ４０、プログラムやデータを記憶するメモリであるサーバメモリ４１、及びサーバ通信ユニット４２を備える。

サーバプロセッサ４０は、サーバメモリ４１が記憶する制御プログラム４１１を読み出して実行することにより、サーバ通信制御部４０１、及びサーバ処理部４０２として機能する。

サーバメモリ４１は、メモリであって、サーバプロセッサ４０が実行するプログラムや、サーバプロセッサ４０に処理されるデータを記憶する。サーバメモリ４１は、サーバプロセッサ４０が実行する制御プログラム４１１、画像管理ＤＢ（database）４１２、その他の各種データを記憶する。サーバメモリ４１は、不揮発性の記憶領域を有する。また、サーバメモリ４１は、揮発性の記憶領域を備え、サーバプロセッサ４０のワークエリアを構成してもよい。

図６は、画像管理ＤＢ４１２が格納するレコードＲの一例を示す図である。
画像管理ＤＢ４１２が格納する１件のレコードＲは、アカウントＩＤ４１２１と、撮影装置ＩＤ２１２、画像データテーブル４１２２、及びチルド室画像データテーブル４１２３を有する。

アカウントＩＤ４１２１は、表示アプリ３１１を利用するユーザＰに割り当てられたアカウントを識別する識別情報である。

画像データテーブル４１２２は、組画像ＫＧの画像データを複数格納する。組画像ＫＧは、正面視冷蔵室画像ＲＦＧ１、正面視左ドア画像ＬＤＧ１、及び、正面視右ドア画像ＲＤＧ１を含む画像である。正面視冷蔵室画像ＲＦＧ１、正面視左ドア画像ＬＤＧ１、及び、正面視右ドア画像ＲＤＧ１については、後述する。画像データテーブル４１２２は、第１フィールドＦ１、第２フィールドＦ２、第３フィールドＦ３、第４フィールドＦ４、及び第５フィールドＦ５を有する。

第１フィールドＦ１は、最新の組画像ＫＧの画像データを格納する。
第２フィールドＦ２は、第１フィールドＦ１に格納されている画像データの次に最新の組画像ＫＧの画像データを格納する。
第３フィールドＦ３は、第２フィールドＦ２に格納されている画像データの次に最新の組画像ＫＧの画像データを格納する。
第４フィールドＦ４は、第３フィールドＦ３に格納されている画像データの次に最新の組画像ＫＧの画像データを格納する。
第５フィールドＦ５は、第４フィールドＦ４に格納されている画像データの次に最新の組画像ＫＧの画像データを格納する。

チルド室画像データテーブル４１２３は、チルド室画像データを複数格納する。チルド室画像データは、チルド室１１Ｄの撮影画像であるチルド室画像ＣＧの画像データである。チルド室画像データテーブル４１２３は、第６フィールドＦ６、第７フィールドＦ７、第８フィールドＦ８、第９フィールドＦ９、及び第１０フィールドＦ１０を有する。

第６フィールドＦ６は、最新のチルド室画像データを格納する。
第７フィールドＦ７は、チルド画像データテーブル４１２３の前回の更新時に第６フィールドＦ６に格納されていたチルド室画像データを格納する。
第８フィールドＦ８は、チルド画像データテーブル４１２３の前回の更新時に第７フィールドＦ７に格納されていたチルド室画像データを格納する。
第９フィールドＦ９は、チルド画像データテーブル４１２３の前回の更新時に第８フィールドＦ８に格納されていたチルド室画像データを格納する。
第１０フィールドＦ１０は、チルド画像データテーブル４１２３の前回の更新時に第９フィールドＦ９に格納されていたチルド室画像データを格納する。

図５の説明に戻り、サーバ通信ユニット４２は、所定の通信規格に従った通信回路などを備える通信インターフェイスであり、所定の通信規格に従って通信ネットワークＮＷと接続する機器と通信する。本実施形態においてサーバ通信ユニット４２は、撮影装置２及び端末装置３と通信する。

上述したように、サーバプロセッサ４０は、サーバ通信制御部４０１、及びサーバ処理部４０２として機能する。

サーバ通信制御部４０１は、サーバ通信ユニット４２を介して、撮影装置２及び端末装置３と通信する。

サーバ処理部４０２は、各種の情報処理を行う。

［１－４．端末装置の構成］
次に、端末装置３の機能的構成について説明する。
端末装置３は、ＣＰＵやＭＰＣ等のプロセッサである端末プロセッサ３０、プログラムやデータを記憶するメモリである端末メモリ３１、端末通信ユニット３２、及び、タッチパネル３３を備える。
端末プロセッサ３０は、本開示の「プロセッサ」に相当する。タッチパネル３３は、本開示の「表示部」に相当する。

端末プロセッサ３０は、端末メモリ３１が記憶する表示アプリ３１１を読み出して実行することにより、アプリ実行部３００として機能する。

端末メモリ３１は、端末プロセッサ３０が実行するプログラムや、端末プロセッサ３０に処理されるデータを記憶する。端末メモリ３１は、端末プロセッサ３０が実行する表示３１１、アカウントＩＤ４１２１、その他の各種データを記憶する。端末メモリ３１は、不揮発性の記憶領域を有する。また、端末メモリ３１は、揮発性の記憶領域を備え、端末プロセッサ３０のワークエリアを構成してもよい。

端末通信ユニット３２は、所定の通信規格に従った通信回路やコネクタなどを有する通信インターフェイスであり、端末プロセッサ３０の制御に従って画像管理サーバ４と通信する。本実施の形態では、端末通信ユニット３２が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。

タッチパネル３３は、液晶表示パネル等の表示パネルと、表示パネルに重ねて、或いは一体に設けられたタッチセンサとを備える。

上述した通り、端末プロセッサ３０は、アプリ実行部３００として機能する。アプリ実行部３００は、端末通信制御部３０１、表示制御部３０２、及び受付部３０３として機能する。

端末通信制御部３０１は、端末通信ユニット３２を介して、画像管理サーバ４と通信する。

表示制御部３０２は、冷蔵庫１の庫内の画像を表示するユーザーインターフェースを、タッチパネル３３に表示させる。以下の説明において、このユーザーインターフェースを、「アプリＵＩ」といい「３３０」の符号を付す。

受付部３０３は、タッチパネル３３が表示するアプリＵＩ３３０を介して、各種操作をユーザＰから受け付ける。

［２．動作］
次に、表示システム１０００の各部の動作について説明する。
［２－１．録画に係わる動作］
まず、録画に係わる動作について説明する。
図７は、撮影装置２の動作を示すフローチャートＦＡである。

人物存在判定部２０２は、冷蔵庫１の周辺に人が存在するか否かを判定する（ステップＳＡ１）。

人物存在判定部２０２は、冷蔵庫１の周辺に人が存在しないと判定した場合（ステップＳＡ１：ＮＯ）、再度、ステップＳＡ１の判定を行う。

一方、人物存在判定部２０２が、冷蔵庫１の周辺に人が存在すると判定した場合（ステップＳＡ１：ＹＥＳ）、撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を開始させる（ステップＳＡ２）。

次いで、開閉判定部２０３は、左ドア１１Ａ及び右ドア１１Ｂの少なくともいずれかが開状態になったか否かを判定する（ステップＳＡ３）。

開閉判定部２０３が、左ドア１１Ａ及び右ドア１１Ｂが開状態になっていないと判定した場合（ステップＳＡ３：ＮＯ）、撮影装置プロセッサ２０は、ステップＳＡ７の処理を行う。

開閉判定部２０３が、左ドア１１Ａ及び右ドア１１Ｂの少なくともいずれかが開状態になったと判定した場合（ステップＳＡ３：ＹＥＳ）、録画制御部２０５は、冷蔵室用カメラ２７の撮影結果及び引出用カメラ２８の撮影結果の録画を開始する（ステップＳＡ４）。

開閉判定部２０３は、開いていたドア１１Ｃが閉状態になったか否かを判定する（ステップＳＡ５）。

開閉判定部２０３は、開いていたドア１１Ｃが閉状態になっていないと判定した場合（ステップＳＡ５：ＮＯ）、再度、ステップＳＡ５の処理を行う。

一方、開閉判定部２０３が、開いていたドア１１Ｃが閉状態になったと判定した場合（ステップＳＡ５：ＹＥＳ）、録画制御部２０５は、冷蔵室用カメラ２７の撮影結果及び引出用カメラ２８の撮影結果の録画を終了する（ステップＳＡ６）。

次いで、人物存在判定部２０２は、冷蔵庫１の周辺に人が存在するか否かを判定する（ステップＳＡ７）。

人物存在判定部２０２が、冷蔵庫１の周辺に人が存在すると判定した場合（ステップＳＡ７：ＹＥＳ）、撮影装置プロセッサ２０は、処理をステップＳＡ３に移す。

一方、人物存在判定部２０２が、冷蔵庫１の周辺に人が存在しないと判定した場合（ステップＳＡ７：ＮＯ）、撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を終了させる（ステップＳＡ８）。

撮影装置プロセッサ２０は、ステップＳＡ８の処理を行うと処理をステップＳＡ１に移し、再度、ステップＳＡ１以降の処理を行う。

図７の動作によって撮影装置メモリ２１に記録された録画データ２１３には、フレームごとに、あるいは所定枚数のフレーム間隔で、冷蔵室用カメラ２７の撮影結果及び引出用カメラ２８の撮影結果に、当該撮影結果の録画中に出力された左ドア用測距センサ２３及び右ドア用測距センサ２４の検出値が対応付いている。

［２－２．アップロードデータの送信に係わる動作］
次に、アップロードデータの送信に係わる表示システム１０００の動作について説明する。
図８は、表示システム１０００の動作を示すフローチャートである。
図８において、フローチャートＦＢは撮影装置２の動作を示し、フローチャートＦＣは画像管理サーバ４の動作を示す。

フローチャートＦＢで示すように、撮影装置２のアップロードデータ生成部２０７は、冷蔵室用カメラ２７及び引出用カメラ２８の撮影結果の録画が終了したか否かを判定する（ステップＳＢ１）。

アップロードデータ生成部２０７は、冷蔵室用カメラ２７及び引出用カメラ２８の撮影結果の録画が終了したと判定した場合（ステップＳＢ１：ＹＥＳ）、撮影装置メモリ２１に新たに記録された録画データ２１３が含む第１録画データ２１３Ａから特定フレームＦＬ１を取得する（ステップＳＢ２）。

特定フレームＦＬ１とは、α°≦θ≦β°の角度で開いている左ドア１１Ａ及び右ドア１１Ｂが写るフレームであって、ユーザＰの映り込みが最も少ないフレームである。α°は、例えば６０°である。β°は、例えば１００°である。なお、左ドア１１Ａに関するα°及びβ°は、左ドア１１Ａが閉状態である場合を０°とし、左ドア１１Ａが開状態になる回転方向を正としている。また、右ドア１１Ｂに関するα°及びβ°は、右ドア１１Ｂが閉状態である場合を０°とし、右ドア１１Ｂが開状態になる回転方向を正としている。

画像生成部２０６は、α°≦θ≦β°の角度に対応した離間距離を示す右ドア用測距センサ２４の検出値、及び、α°≦θ≦β°の角度に対応した離間距離を示す左ドア用測距センサ２３の検出値が対応付くフレームを、第１録画データ２１３Ａから特定する。なお、左ドア用測距センサ２３の検出値が示す離間距離と、左ドア１１Ａの角度とには、左ドア用測距センサ２３の検出値が示す離間距離が大きいほど、冷蔵室１１に対する左ドア１１Ａの角度が大きいという相関関係がある。右ドア用測距センサ２４の検出値が示す離間距離と、右ドア１１Ｂの角度とにも、同様の相関関係がある。
画像生成部２０６は、フレームを特定すると、特定したフレームからユーザＰの映り込みが最も少ないフレームを特定フレームＦＬ１として取得する。画像生成部２０６は、パターンマッチング等の所定方法によって特定したフレームに写るユーザＰを認識し、認識したユーザＰの画像の面積が最も少ないフレームを、ユーザＰの映り込みが最も少ないフレームとする。

画像生成部２０６は、特定フレームＦＬ１を取得できたか否かを判定する（ステップＳＢ３）。

画像生成部２０６が、特定フレームＦＬ１を取得できなかったと判定した場合（ステップＳＢ３：ＮＯ）、撮影装置プロセッサ２０は、ステップＳＢ１２の処理を行う。

一方、画像生成部２０６は、特定フレームＦＬ１を取得できたと判定した場合（ステップＳＢ３：ＹＥＳ）、取得した特定フレームＦＬ１の歪曲収差を補正した補正フレームＦＬ２を生成する（ステップＳＢ４）。

図９は、特定フレームＦＬ１の歪曲収差の補正を説明する説明図である。
本実施形態の冷蔵室用カメラ２７のレンズは、フレームの中央部が膨らむように歪む凸型（いわゆる樽型）の歪曲収差が生じる。画像生成部２０６は、所定のアルゴリズムに基づいて、特定フレームＦＬ１に生じている凸型の歪曲収差を補正し、補正フレームＦＬ２を生成する。歪曲収差を補正する補正係数は、事前のテストやシミュレーション等によって予め定められおり、データとして撮影装置メモリ２１に記録されている。例えば、画像生成部２０６は、特定フレームＦＬ１に写る棚１１２の端部が直線になるように歪曲収差を補正する。

画像生成部２０６は、補正フレームＦＬ２を生成すると、生成した補正フレームＦＬ２から冷蔵室画像ＲＦＧ、左ドア画像ＬＤＧ、及び右ドア画像ＲＤＧを抽出する（ステップＳＢ５）。

冷蔵室画像ＲＦＧは、冷蔵室用カメラ２７が冷蔵室１１の前上方から撮影した冷蔵室１１の撮影画像である。左ドア画像ＬＤＧは、冷蔵室用カメラ２７が冷蔵室１１の前上方から撮影した左ドア１１Ａの撮影画像であり、左ドア棚１１Ａ１が写っている。右ドア画像ＲＤＧは、冷蔵室用カメラ２７が冷蔵室１１の前上方から撮影した右ドア１１Ｂの撮影画像であり、右ドア棚１１Ｂ１が写っている。
以下の説明において、左ドア画像ＬＤＧ及び右ドア画像ＲＤＧを区別しない場合、「ドア画像」といい「ＤＧ」の符号を付す。

図１０は、冷蔵室画像ＲＦＧ、左ドア画像ＬＤＧ、及び右ドア画像ＲＤＧの抽出を説明する説明図である。

図１０の例では、画像生成部２０６は、補正フレームＦＬ２において、点Ｐ１、Ｐ２、Ｐ３、Ｐ４を４隅とする矩形領域に対応する画像を、左ドア画像ＬＤＧとして抽出する。

例えば、画像生成部２０６は、形状や色差などの特徴量に基づいて補正フレームＦＬ２に写る左ドア１１Ａの端を認識し、点と点とを結んだ線が認識した端と重畳するような点Ｐ１、Ｐ２、Ｐ３、Ｐ４を補正フレームＦＬ２において決定する。また、例えば、画像生成部２０６は、補正フレームＦＬ２に対応付く左ドア用測距センサ２３の検出値に対応する矩形領域を、左ドア画像ＬＤＧとする領域として補正フレームＦＬ２において認識する。左ドア用測距センサ２３の検出値に対応する矩形領域は、事前のテストやシミュレーション等によって予め定められていて、データとして撮影装置メモリ２１に記録されている。

図１０の例では、画像生成部２０６は、補正フレームＦＬ２において、点Ｐ５、Ｐ６、Ｐ７、Ｐ８を４隅とする矩形領域に対応する画像を、右ドア画像ＲＤＧとして抽出する。

例えば、画像生成部２０６は、形状や色差などの特徴量に基づいて補正フレームＦＬ２に写る右ドア１１Ｂの端を認識し、点と点とを結んだ線が認識した端と重畳するような点Ｐ５、Ｐ６、Ｐ７、Ｐ８を補正フレームＦＬ２において決定する。また、例えば、画像生成部２０６は、補正フレームＦＬ２に対応付く右ドア用測距センサ２４の検出値に対応する矩形領域を、右ドア画像ＲＤＧとする領域として補正フレームＦＬ２において認識する。右ドア用測距センサ２４の検出値に対応する矩形領域は、事前のテストやシミュレーション等によって予め定められていて、データとして撮影装置メモリ２１に記録されている。

図１０の例では、画像生成部２０６は、補正フレームＦＬ２において、点Ｐ９、Ｐ１０、Ｐ１１、Ｐ１２を４隅とする矩形領域に対応する画像を、冷蔵室画像ＲＦＧとして抽出する。

例えば、画像生成部２０６は、形状や色差などに基づいて、補正フレームＦＬ２に写る棚１１２と冷蔵室１１内の側壁との境界を認識し、点と点とを結んだ線が認識した境界と重畳するような点Ｐ９、Ｐ１０、Ｐ１１、Ｐ１２を決定する。また、例えば、画像生成部２０６は、事前のテストやシミュレーション等によって予め定められた矩形領域を、冷蔵室画像ＲＦＧとする領域として補正フレームＦＬ２において認識する。

画像生成部２０６は、冷蔵室画像ＲＦＧ、左ドア画像ＬＤＧ、及び右ドア画像ＲＤＧを抽出すると、抽出したこれら画像の各々を視点変換する（ステップＳＢ６）。

ステップＳＢ６において、画像生成部２０６は、抽出した冷蔵室画像ＲＦＧを、冷蔵室１１の正面側の位置から冷蔵室１１を視た画像に変換する。より詳細には、画像生成部２０６は、冷蔵室１１の正面側の位置において所定の視点から冷蔵室１１を見下ろした態様の画像に変換する。冷蔵室１１の正面側の位置とは、冷蔵室１１より前方の位置である。

また、ステップＳＢ６において、画像生成部２０６は、抽出した左ドア画像ＬＤＧを、左ドア棚１１Ａ１の正面側の位置から左ドア棚１１Ａ１を視た画像に変換する。より詳細には、画像生成部２０６は、左ドア棚１１Ａ１の正面側の位置において所定の視点から左ドア棚１１Ａ１を見下ろした態様の画像に変換する。左ドア棚１１Ａ１の正面側の位置とは、左ドア棚１１Ａ１と対面する位置であり、冷蔵室１１の正面側の位置と異なる位置、及び、冷蔵室１１の正面側の位置と同じ位置を含む。

また、ステップＳＢ６において、画像生成部２０６は、抽出した右ドア画像ＲＤＧを、右ドア棚１１Ｂ１の正面側の位置から右ドア棚１１Ｂ１を視た画像に変換する。より詳細には、画像生成部２０６は、右ドア棚１１Ｂ１の正面側の位置において所定の視点から右ドア棚１１Ｂ１を見下ろした態様の画像に変換する。右ドア棚１１Ｂ１の正面側の位置とは、右ドア棚１１Ｂ１と対面する位置であり、冷蔵室１１の正面側の位置と異なる位置、及び、冷蔵室１１の正面側の位置と同じ位置を含む。

図１１は、冷蔵室画像ＲＦＧの視点変換を説明する説明図である。
図１１では、抽出された冷蔵室画像ＲＦＧが所定の座標系において視点変換される場合を示している。

画像生成部２０６は、所定の座標系において、抽出した冷蔵室画像ＲＦＧを１８０°回転させる。次いで、画像生成部２０６は、回転させた冷蔵室画像ＲＦＧの４隅の位置を、所定の座標系で設定された位置に変更することで冷蔵室画像ＲＦＧを長方形の画像に変換する。図１１の場合、画像生成部２０６は、回転された冷蔵室画像ＲＦＧの隅Ｃ１の位置を位置Ｉ３に変更し、回転された冷蔵室画像ＲＦＧの隅Ｃ２の位置を位置Ｉ４に変更し、回転された冷蔵室画像ＲＦＧの隅Ｃ３の位置を位置Ｉ１に変更し、回転された冷蔵室画像ＲＦＧの隅Ｃ４の位置を位置Ｉ２に変更する。これにより、図１１の場合、画像生成部２０６は、冷蔵室画像ＲＦＧを引き延ばすことで冷蔵室画像ＲＦＧを長方形の画像に変換する。なお、位置Ｉ１、Ｉ２、Ｉ３、Ｉ４は、長方形の四隅を構成する位置であり、予め所定の座標において設定されている。

図１２は、ドア画像ＤＧの視線変換を説明する説明図である。
図１２は、ドア画像ＤＧとして左ドア画像ＬＤＧが所定の座標系において変換される場合を示している。

画像生成部２０６は、所定の座標系において、抽出した左ドア画像ＬＤＧを９０°反時計回りに回転させる。次いで、画像生成部２０６は、回転させた左ドア画像ＬＤＧの４隅の位置を、所定の座標系で設定された位置に変更することで左ドア画像ＬＤＧを長方形の画像に変換する。図１２の場合、画像生成部２０６は、回転された左ドア画像ＬＤＧの隅Ｃ５の位置を位置Ｉ６に変更し、回転された左ドア画像ＬＤＧの隅Ｃ６の位置を位置Ｉ７に変更し、回転された左ドア画像ＬＤＧの隅Ｃ７の位置を位置Ｉ８に変更し、回転された左ドア画像ＬＤＧの隅Ｃ８の位置を位置Ｉ５に変更する。これにより、図１２の場合、画像生成部２０６は、左ドア画像ＬＤＧを引き延ばすことで左ドア画像ＬＤＧを長方形の画像に変換する。なお、位置Ｉ５、Ｉ６、Ｉ７、Ｉ８は、長方形の四隅を構成する位置であり、予め所定の座標において設定されている。

なお、画像生成部２０６は、右ドア画像ＲＤＧに関し、所定の座標系で抽出した右ドア画像ＲＤＧを９０°時計回りに回転させて、左ドア画像ＬＤＧと同様に４隅の位置を変更し、右ドア画像ＲＤＧを長方形の画像に変換する。

以下の説明において、ステップＳＢ６で視点変換された冷蔵室画像ＲＦＧを「正面視冷蔵室画像」といい「ＲＦＧ１」の符号を付す。また、以下の説明において、ステップＳＢ６で変換された左ドア画像ＬＤＧを「正面視左ドア画像」といい「ＬＤＧ１」の符号を付す。また、以下の説明において、ステップＳＢ６で変換された右ドア画像ＲＤＧを「正面視右ドア画像」といい「ＲＤＧ１」の符号を付す。また、以下の説明において、正面視左ドア画像ＬＤＧ１及び正面視右ドア画像ＲＤＧ１を区別しない場合、「正面視ドア画像」といい「ＤＧ１」の符号を付す。
正面視冷蔵室画像ＲＦＧ１は、本開示の「第１正面視画像」に相当する。また、正面視ドア画像ＤＧ１は、本開示の「第２正面視画像」に相当する。

ステップＳＢ６の変換を行うと、画像生成部２０６は、組画像ＫＧを生成する（ステップＳＢ７）。組画像ＫＧは、正面視左ドア画像ＬＤＧ１、正面視冷蔵室画像ＲＦＧ１、及び正面視右ドア画像ＲＤＧ１を有する。正面視左ドア画像ＬＤＧ１、正面視冷蔵室画像ＲＦＧ１、及び正面視右ドア画像ＲＤＧ１は、組画像ＫＧの画像領域において左右方向にこの順で隣接して並ぶ。

次いで、画像生成部２０６は、新たに記録された録画データ２１３に含まれる第２録画データ２１３Ｂが示す動画像を解析し、チルド室１１Ｄの引出１１Ｄ１が引き出されたか否かを判定する（ステップＳＢ８）。画像生成部２０６は、形状や色などの特徴量に基づいて引出１１Ｄ１を認識し、ステップＳＢ８の判定を行う。

画像生成部２０６は、チルド室１１Ｄの引出１１Ｄ１が引き出されていないと判定した場合（ステップＳＢ８：ＮＯ）、処理をステップＳＢ１０に移行させる。

一方、画像生成部２０６は、チルド室１１Ｄの引出１１Ｄ１が引き出されたと判定した場合（ステップＳＢ８：ＹＥＳ）、新たに記録された録画データ２１３に含まれる第２録画データ２１３Ｂから、引出１１Ｄ１が引き出された状態のチルド室画像ＣＧを切り出す（ステップＳＢ９）。ステップＳＢ９の切り出しにおける切り出し範囲は、予め定められている。

ステップＳＢ１０において、アップロードデータ生成部２０７は、アップロードデータを生成する（ステップＳＢ１０）。

ステップＳＢ１０で生成されるアップロードデータは、ステップＳＢ７で生成された組画像ＫＧの画像データと、撮影装置メモリ２１が記憶する撮影装置ＩＤ２１２と、を含む。ステップＳＢ９の処理が行われた場合、ステップＳＢ１０で生成されるアップロードデータは、切り出されたチルド室画像ＣＧを示すチルド室画像データ４１２３をさらに含む。

撮影装置通信制御部２０１は、ステップＳＢ１０で生成されたアップロードデータを画像管理サーバ４に送信する（ステップＳＢ１１）。

次いで、アップロードデータ生成部２０７は、録画データ２１３を撮影装置メモリ２１から消去する（ステップＳＢ１２）。

フローチャートＦＣで示すように、画像管理サーバ４のサーバ通信制御部４０１は、撮影装置２からアップロードデータを受信したか否かを判定する（ステップＳＣ１）。

サーバ通信制御部４０１は、アップロードデータを受信していないと判定した場合（ステップＳＣ１：ＮＯ）、再度、ステップＳＣ１の判定を行う。

一方、サーバ通信制御部４０１が、アップロードデータを受信したと判定した場合（ステップＳＣ１：ＹＥＳ）、サーバ処理部４０２は、サーバ通信制御部４０１が受信したアップロードデータに基づいて画像管理ＤＢ４１２を更新する（ステップＳＣ２）。

ステップＳＣ２について詳述する。
サーバ処理部４０２は、アップロードデータに含まれる撮影装置ＩＤ２１２を有するレコードＲを画像管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したレコードＲに対して、第４フィールドＦ４の画像データを第５フィールドＦ５に記録し、第３フィールドＦ３の画像データを第４フィールドＦ４に記録し、第２フィールドＦ２の画像データを第３フィールドＦ３に記録し、第１フィールドＦ１の画像データを第２フィールドＦ２に記録する。次いで、サーバ処理部４０２は、特定したレコードＲに対して、アップロードデータに含まれる画像データを第１フィールドＦ１に記録する。

さらに、ステップＳＣ２について詳述する。
サーバ処理部４０２は、特定したレコードＲに対して、第９フィールドＦ９のチルド室画像データを第１０フィールドＦ１０に記録し、第８フィールドＦ８のチルド室画像データを第９フィールドＦ９に記録し、第７フィールドＦ７のチルド室画像データを第８フィールドＦ８に記録し、第６フィールドＦ６のチルド室画像データを第７フィールドＦ７に記録する。次いで、サーバ処理部４０２は、アップロードデータにチルド室画像データが含まれる場合、第６フィールドＦ６にアップロードデータに含まれるチルド室画像データを記録する。一方、サーバ処理部４０２は、アップロードデータにチルド室画像データが含まれない場合、第６フィールドＦ６に、第７フィールドＦ７に記録したチルド室画像データと同じ画像データを記録する。アップロードデータに含まれるチルド室画像データを記録する。

［２－３．アプリＵＩに係わる動作］
次に、アプリＵＩ３３０に係わる表示システム１０００の動作について説明する。
図１３は、表示システム１０００の動作を示すフローチャートである。図１３において、フローチャートＦＤは端末装置３の動作を示し、フローチャートＦＥは画像管理サーバ４の動作を示す。

端末装置３の端末通信制御部３０１は、画像管理サーバ４から、画像管理ＤＢ４１２に格納されている画像データを要求するか否かを判定する（ステップＳＤ１）。

例えば、端末通信制御部３０１は、表示アプリ３１１が立ち上がった場合に、ステップＳＤ１において肯定判定する。

端末通信制御部３０１は、画像管理ＤＢ４１２に格納されている画像データを要求すると判定した場合（ステップＳＤ１：ＹＥＳ）、画像データを要求する要求データを、画像管理サーバ４に送信する（ステップＳＤ２）。ステップＳＤ２で送信される要求データには、端末メモリ３１が記憶するアカウントＩＤ４１２１が含まれる。

フローチャートＦＥで示すように、画像管理サーバ４のサーバ通信制御部４０１は、要求データを受信する（ステップＳＥ１）。

次いで、サーバ処理部４０２は、サーバ通信制御部４０１が受信した要求データに含まれるアカウントＩＤ４１２１に対応付く画像データテーブル４１２２とチルド室画像データテーブル４１２３とを、画像管理ＤＢ４１２から取得する（ステップＳＥ２）。

次いで、サーバ通信制御部４０１は、サーバ処理部４０２が取得した画像データテーブル４１２２及びチルド室画像データテーブル４１２３を、要求データの応答として、端末装置３に送信する（ステップＳＥ３）。

フローチャートＦＤを参照して、端末装置３の端末通信制御部３０１は、画像データテーブル４１２２とチルド室画像データテーブル４１２３とを画像管理サーバ４から受信する（ステップＳＤ３）。

次いで、表示制御部３０２は、ステップＳＤ３で受信された画像データテーブル４１２２とチルド室画像データテーブル４１２３とに基づいて、アプリＵＩ３３０をタッチパネル３３に表示させる（ステップＳＤ４）。

図１４は、アプリＵＩ３３０の一例を示す図である。
図１４では、図中で上に向かう方向は上方として符号ＵＰで示し、図中で下に向かう方向は下方として符号ＤＷで示し、図中で左に向かう方向は左方として符号Ｌで示し、図中で右に向かう方向は右方として符号Ｒで示す。

アプリＵＩ３３０は、第１領域ＵＡ１及び第２領域ＵＡ２を有する。第１領域ＵＡ１及び第２領域ＵＡ２は、アプリＵＩ３３０において上下方向に並んでいる。

第１領域ＵＡ１は、組画像ＫＧを表示する。第１領域ＵＡ１が表示する組画像ＫＧは、ステップＳＤ３で受信された画像データテーブル４１２２に格納された画像データが示す組画像ＫＧである。デフォルトのアプリＵＩ３３０において、第１領域ＵＡ１は、第１フィールドＦ１に格納されている画像データが示す組画像ＫＧを表示する。受付部３０３は、第１領域ＵＡ１において、左右方向におけるスワイプ操作を受け付ける。左右方向におけるスワイプ操作は、本開示の「第１操作」に相当する。なお、スワイプ操作とは、指などの操作子をタッチパネル３３に接触した状態で移動させる操作である。第１領域ＵＡ１において左右方向におけるスワイプ操作を受付部３０３が受け付けると、表示制御部３０２は、第１領域ＵＡ１が表示する組画像ＫＧを、他の組画像ＫＧに切り替える。

例えば、第１フィールドＦ１の画像データが示す組画像ＫＧを表示している状態で、左方へのスワイプ操作を受付部３０３が受け付けた場合、表示制御部３０２は、第１領域ＵＡ１が表示する組画像ＫＧを、第２フィールドＦ２に格納された画像データが示す組画像ＫＧに切り替える。
また、例えば、第２フィールドＦ２の画像データが示す組画像ＫＧを表示している状態で、左方へのスワイプ操作を受付部３０３が受け付けた場合、表示制御部３０２は、第１領域ＵＡ１が表示する組画像ＫＧを、第３フィールドＦ３に格納された画像データが示す組画像ＫＧに切り替える。
また、例えば、第３フィールドＦ３の画像データが示す組画像ＫＧを表示している状態で、左方へのスワイプ操作を受付部３０３が受け付けた場合、表示制御部３０２は、第１領域ＵＡ１が表示する組画像ＫＧを、第４フィールドＦ４に格納された画像データが示す組画像ＫＧに切り替える。
また、例えば、第４フィールドＦ４の画像データが示す組画像ＫＧを表示している状態で、左方へのスワイプ操作を受付部３０３が受け付けた場合、表示制御部３０２は、第１領域ＵＡ１が表示する組画像ＫＧを、第５フィールドＦ５に格納された画像データが示す組画像ＫＧに切り替える。
また、例えば、第５フィールドＦ５の画像データが示す組画像ＫＧを表示している状態で、左方へのスワイプ操作を受付部３０３が受け付けた場合、表示制御部３０２は、第１領域ＵＡ１が表示する組画像ＫＧを、第１フィールドＦ１に格納された画像データが示す組画像ＫＧに切り替える。

例えば、第１フィールドＦ１の画像データが示す組画像ＫＧを表示している状態で、右方へのスワイプ操作を受付部３０３が受け付けた場合、表示制御部３０２は、第１領域ＵＡ１が表示する組画像ＫＧを、第５フィールドＦ５に格納された画像データが示す組画像ＫＧに切り替える。
また、例えば、第５フィールドＦ５の画像データが示す組画像ＫＧを表示している状態で、右方へのスワイプ操作を受付部３０３が受け付けた場合、表示制御部３０２は、第１領域ＵＡ１が表示する組画像ＫＧを、第４フィールドＦ４に格納された画像データが示す組画像ＫＧに切り替える。
また、例えば、第４フィールドＦ４の画像データが示す組画像ＫＧを表示している状態で、右方へのスワイプ操作を受付部３０３が受け付けた場合、表示制御部３０２は、第１領域ＵＡ１が表示する組画像ＫＧを、第３フィールドＦ３に格納された画像データが示す組画像ＫＧに切り替える。
また、例えば、第３フィールドＦ３の画像データが示す組画像ＫＧを表示している状態で、右方へのスワイプ操作を受付部３０３が受け付けた場合、表示制御部３０２は、第１領域ＵＡ１が表示する組画像ＫＧを、第２フィールドＦ２に格納された画像データが示す組画像ＫＧに切り替える。
また、例えば、第２フィールドＦ２の画像データが示す組画像ＫＧを表示している状態で、右方へのスワイプ操作を受付部３０３が受け付けた場合、表示制御部３０２は、第１領域ＵＡ１が表示する組画像ＫＧを、第１フィールドＦ１に格納された画像データが示す組画像ＫＧに切り替える。

第２領域ＵＡ２は、チルド室画像ＣＧを表示する。第２領域ＵＡ２は、ステップＳＤ３で受信されたチルド室画像データ４１２３が示すチルド室画像ＣＧを表示する。受付部３０３は、第２領域ＵＡ２において、下方へのスワイプ操作と上方へのスワイプ操作とを受け付ける。下方へのスワイプ操作は、本開示の「第２操作」に相当する。チルド室画像ＣＧを表示していない第２領域ＵＡ２において下方へのスワイプ操作を受付部３０３が受け付けると、表示制御部３０２は、第２領域ＵＡ２にチルド室画像ＣＧを表示させる。表示制御部３０２は、下方へのスワイプ操作における操作子の移動に伴って、第２領域ＵＡ２において上方から下方に移動する態様でチルド室画像ＣＧを徐々に表示する。チルド室画像ＣＧを表示している第２領域ＵＡ２において上方へのスワイプ操作を受付部３０３が受け付けると、表示制御部３０２は、第２領域ＵＡ２においてチルド室画像ＣＧを非表示にする。表示制御部３０２は、上方へのスワイプ操作における操作子の移動に伴って、第２領域ＵＡ２において下方から上方に移動する態様でチルド室画像ＣＧを徐々に非表示にする。
なお、第２領域ＵＡ２において左右方向におけるスワイプ操作を受付部３０３が受け付けると、表示制御部３０２は、第２領域ＵＡ２が表示するチルド室画像ＣＧを、他のチルド室画像ＣＧに切り替えてもよい。

［３．効果等］
以上、説明したように、表示アプリ３１１は、端末装置３の端末プロセッサ３０を、冷蔵室１１の前上方から撮影された冷蔵室１１の撮影画像から生成された画像であって、且つ、冷蔵室１１の正面側の位置から冷蔵室１１を視た画像である正面視冷蔵室画像ＲＦＧ１を、タッチパネル３３に表示させる表示制御部３０２として機能させる。

これにより、冷蔵室１１の正面側の位置から冷蔵室１１を視た画像が表示される。そのため、冷蔵庫１の庫内の状況をユーザＰが直感的に把握できる。

表示制御部３０２は、冷蔵室１１の前上方から撮影された冷蔵室１１を開閉するドア１１Ｃの撮影画像から生成された画像であって、且つ、ドア１１Ｃに設けられたドア棚１１Ｃ１の正面側の位置からドア棚１１Ｃ１を視た画像である正面視ドア画像ＤＧ１を、タッチパネル３３にさらに表示させる。

これにより、ドア棚１１Ｃ１の正面側の位置からドア棚１１Ｃ１を視た画像がさらに表示されるため、冷蔵室１１の状況に加えてドア棚１１Ｃ１の状況をユーザＰが直感的に把握できる。よって、冷蔵庫１の庫内についてより多く状況をユーザＰが直感的に把握できる。

表示制御部３０２は、正面視冷蔵室画像ＲＦＧ１と正面視ドア画像ＤＧ１とを並べて表示させる。

これにより、ドア１１Ｃを開状態にしたときの冷蔵室１１とドア棚１１Ｃ１との態様に即して、画像を表示させることが可能になるため、冷蔵室１１及びドア棚１１Ｃ１の状況をユーザＰがより直感的に把握できるようになる。よって、冷蔵庫１の庫内の状況をユーザＰがより直感的に把握できる。

表示アプリ３１１は、端末プロセッサ３０を、ユーザＰからの操作を受け付ける受付部３０３として機能させる。表示制御部３０２は、受付部３０３がユーザＰから左右方向におけるスワイプ操作を受け付けた場合、表示させている正面視冷蔵室画像ＲＦＧ１を他の正面視冷蔵室画像ＲＦＧ１に切り替え、また、表示させている正面視ドア画像ＤＧ１を他の正面視ドア画像ＤＧ１に切り替える。

これにより、ユーザＰが容易に、他の正面視冷蔵室画像ＲＦＧ１及び正面視ドア画像ＤＧ１に切り替えることができるため、ユーザＰにとっての利便性を向上できる。

表示制御部３０２は、冷蔵室１１の前上方から撮影されたチルド室１１Ｄの画像であるチルド室画像ＣＧをさらに表示させる。

これにより、チルド室１１Ｄの状況を把握できる画像がさらに表示されるため、冷蔵室１１の状況に加えて、チルド室１１Ｄの状況をユーザＰが直感的に把握できる。よって、冷蔵庫１の庫内についてより多くの状況をユーザＰが直感的に把握できる。

表示アプリ３１１は、端末プロセッサ３０を、ユーザＰからの操作を受け付ける受付部３０３として機能させる。表示制御部３０２は、受付部３０３がユーザＰから下方へのスワイプ操作を受け付けた場合、正面視冷蔵室画像ＲＦＧ１に並べてチルド室画像ＣＧを表示させる。

これにより、チルド室１１Ｄの実際の使い方に対応させてチルド室画像ＣＧを表示できるため、チルド室１１Ｄの状況をユーザＰがより直感的に把握できる。よって、冷蔵庫１の庫内の状況をユーザＰがより直感的に把握できる。

表示アプリ３１１は、端末装置３にインストール可能なアプリケーションプログラムである。

これにより、冷蔵庫１の庫内の状況をユーザＰが把握可能な機能を有していない端末装置３を、表示アプリ３１１のインストールによって、当該機能を有する端末装置３とすることができる。

端末装置３は、タッチパネル３３と、正面視冷蔵室画像ＲＦＧ１をタッチパネル３３に表示させる表示制御部３０２と、を備える。

これにより、上述した表示アプリ３１１の効果と同様の効果を奏する。

端末装置３の制御方法は、正面視冷蔵室画像ＲＦＧ１を表示させるステップを含む。

これにより、上述した表示アプリ３１１の効果と同様の効果を奏する。

表示システム１０００は、冷蔵室１１の正面側の位置から冷蔵室１１を視た正面視冷蔵室画像をＲＦＧ１、冷蔵室１１の前上方から撮影された冷蔵室１１の撮影画像から生成する画像生成部２０６と、画像生成部２０６が生成した正面視冷蔵室画像ＲＦＧ１を表示する端末装置３と、を備える。

これにより、上述した表示アプリ３１１の効果と同様の効果を奏する。

（他の実施の形態）
以上のように、本出願において開示する例示として、上記実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。

上述した実施の形態では、本開示の「貯蔵庫」として冷蔵庫１を例示した。しかしながら、本開示の「貯蔵庫」は、冷蔵庫１に限定されず、冷凍庫や、常温保存庫などの他の貯蔵庫でもよい。

上述した実施の形態では、本開示の「貯蔵室」として冷蔵室１１を例示した。しかしながら、本開示の「貯蔵室」は冷蔵室１１に限定されず、冷凍庫や常温保存庫などの庫内でもよい。

上述した実施の形態では、冷蔵室用カメラ２７の撮影結果から組画像ＫＧを生成する構成であるが、他の実施の形態では、冷蔵室用カメラ２７の撮影結果と、引出用カメラ２８の撮影結果とから組画像ＫＧを生成してもよい。これにより、組画像ＫＧを構成する画像に、冷蔵室用カメラ２７より狭角カメラの撮影結果を含ませることができ、鮮明な組画像ＫＧを生成できる。

他の実施形態では、アプリＵＩ３３０に表示される各種画像が、冷蔵庫１の機種や冷蔵庫１のレイアウトごとに変更可能であってもよい。この構成の場合、画像生成部２０６は、冷蔵庫１の幅や、冷蔵庫１の庫内数、冷蔵庫１の高さ、冷蔵庫１の開口に設けられるドア数などに応じて画像サイズや視線変換の補正値を異ならせる。

他の実施形態では、チルド室１１Ｄの引出１１Ｄ１が引き出されたか否かの判定を、次の方法で行ってもよい。例えば、チルド室１１Ｄの引出１１Ｄ１にマーカが設けられていて、画像生成部２０６は、冷蔵室用カメラ２７又は引出用カメラ２８の撮影結果にマーカが写った場合に引出１１Ｄ１が引き出されたと判定してもよい。また、例えば、引出１１Ｄ１は、チルド室１１Ｄの前方上部を軸に上下方向に回転するチルド室ドアと物品を収容するチルド室ケースとで構成され、引出１１Ｄ１のチルド室ドアにマーカが設けられていて、画像生成部２０６は、冷蔵室用カメラ２７又は引出用カメラ２８の撮影結果にマーカが写った場合に引出１１Ｄ１が引き出されたと判定してもよい。また、例えば、冷蔵室１１内の底面且つチルド室１１Ｄの前方にマーカが設けられていて、画像生成部２０６は、冷蔵室用カメラ２７又は引出用カメラ２８の撮影結果にマーカが写らなくなった場合に引出１１Ｄ１が引き出されたと判定してもよい。また、例えば、チルド室１１Ｄ内の背面に、引出１１Ｄ１との離間距離を測定する測距センサを設けて、画像生成部２０６は、当該測距センサの検出値が所定の値より大きい場合に、引出１１Ｄ１が引き出されたと判定してもよい。また、例えば、引出１１Ｄ１の上面にマーカが設けられていて、画像生成部２０６は、冷蔵室用カメラ２７又は引出用カメラ２８の撮影結果にマーカが写った場合に引出１１Ｄ１が引き出されたと判定してもよい。

上述した実施の形態１では、撮影装置プロセッサ２０が画像生成部２０６として機能する構成である。しかしながら、他の実施の形態として、サーバプロセッサ４０は、上述した画像生成部２０６として機能してもよい。この構成の場合、撮影装置２は、画像管理サーバ４に録画データ２１３を送信する。そして、画像管理サーバ４のサーバプロセッサ４０の画像生成部２０６は、撮影装置２から受信した録画データ２１３を参照して、ステップＳＢ２、ＳＢ３、ＳＢ４、ＳＢ５、ＳＢ６、ＳＢ７、ＳＢ８、ＳＢ９の処理を行う。

上述した実施の形態１では、冷蔵室用カメラ２７の撮影画像から抽出された冷蔵室画像ＲＦＧを視点変換してアプリＵＩ３３０で表示する構成である。他の実施の形態として、アプリＵＩ３３０は、正面視冷蔵室画像ＲＦＧ１に代えて、ドア１１Ｃの内側に取り付けられたカメラが撮影した画像を表示してもよい。

上述した実施の形態１では、引出用カメラ２８の撮影画像からチルド室画像ＣＧを切り出す構成である。他の実施の形態では、冷蔵室用カメラ２７の撮影画像からチルド室画像ＣＧを切り出してもよい。

上述の実施の形態１では、第１領域ＵＡ１に組画像ＫＧが表示される構成である。他の実施の形態では、デフォルトの第１領域ＵＡ１が、組画像ＫＧのうち正面視冷蔵室画像ＲＦＧ１を表示する構成としてもよい。この構成の場合、第１領域ＵＡ１において左右方向のスワイプ操作を受付部３０３が受け付けると、表示制御部３０２は、スワイプ操作における操作子の移動方向及び移動量に基づいて、組画像ＫＧを構成する正面視左ドア画像ＬＤＧ１又は正面視右ドア画像ＲＤＧ１を表示する。

上述した実施の形態１では、人物存在判定部２０２が人感センサ２６の検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判定する構成を例示した。しかしながら、人物存在判定部２０２は、人感センサ２６の代わりに、照度センサや、冷蔵庫１の把持部に設けられる静電センサ等の検出値に基づいて判定してもよい。この静電センサの場合、冷蔵庫１と撮影装置２とが通信可能であり、冷蔵庫１は、静電センサの検出値を撮影装置２に送信する。

上述した実施の形態１では、本開示の「表示部」として端末装置３が備えるタッチパネル３３を例示した。他の実施の形態では、本開示の「表示部」を、端末装置３と別体の表示装置としてもよい。

他の実施の形態では、レコードＲを端末装置３が記憶してもよい。この構成の場合、アプリ実行部３００は、端末装置３が記憶するレコードＲの内容を、上述した画像管理サーバ４と同様に適宜更新する。この構成の場合、撮影装置２は、アップロードデータを端末装置３に直接送信する。これにより、表示システム１０００は画像管理サーバ４を具備する必要がなくシステム構成が簡易となる。

他の実施の形態では、冷蔵庫１の主箱体１０に形成される部屋は、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５以外の収容室があってもよいし、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５の少なくともいずれかがなくてもよい。また、他の実施の形態では、冷蔵室１１の前面の開口部に設けられるドアの数は、１つでもよい。

例えば、撮影装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。撮影装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、撮影装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）で構成される。

図４及び図５に示した撮影装置２、端末装置３、及び画像管理サーバ４の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、撮影装置２、端末装置３、及び画像管理サーバ４の他の各部の具体的な細部構成についても、本開示の趣旨を逸脱しない範囲で任意に変更可能である。

図７、図８、及び図１２に示す動作のステップ単位は、動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、動作が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本開示の趣旨に支障のない範囲で適宜に入れ替えてもよい。

撮影装置プロセッサ２０が実行する制御プログラム２１１は、可搬型の情報記録媒体に制御プログラム２１１を記録させた状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、ＣＤ等の光学的記録媒体、ＵＳＢ（Universal Serial Bus）メモリやＳＳＤ（Solid State Drive）等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

以上のように、本発明に係るプログラム、端末装置、端末装置の制御方法、及び表示システムは、貯蔵庫の庫内の状況を表示する用途に利用可能である。

１ 冷蔵庫（貯蔵庫）
２ 撮影装置
３ 端末装置
１１ 冷蔵室（貯蔵室）
１１Ａ 左ドア
１１Ａ１ 左ドア棚
１１Ｂ 右ドア
１１Ｂ１ 右ドア棚
１１Ｃ ドア
１１Ｃ１ ドア棚
１１Ｄ チルド室
２７ 冷蔵室用カメラ
２８ 引出用カメラ
３０ 端末プロセッサ（プロセッサ）
３３ タッチパネル（表示部）
３０２ 表示制御部
３０３ 受付部
３１１ 表示アプリ（プログラム、アプリケーションプログラム）
４１１ 制御プログラム
ＣＧ チルド室画像
ＤＧ１ 正面視ドア画像（第２正面視画像）
ＬＤＧ１ 正面視左ドア画像
ＲＤＧ１ 正面視右ドア画像
ＲＦＧ１ 正面視冷蔵室画像（第１正面視画像）

Claims (11)

1. 端末装置のプロセッサを、
   貯蔵庫の貯蔵室の前上方から撮影された前記貯蔵室の撮影画像から生成された画像であって、且つ、前記貯蔵室の正面側の位置から前記貯蔵室を視た画像である第１正面視画像を、表示部に表示させる表示制御部として機能させる、
   プログラム。
2. 前記表示制御部は、
   前記貯蔵室の前上方から撮影された前記貯蔵室を開閉するドアの撮影画像から生成された画像であって、且つ、前記ドアに設けられたドア棚の正面側の位置から前記ドア棚を視た画像である第２正面視画像を、前記表示部にさらに表示させる、
   請求項１に記載のプログラム。
3. 前記表示制御部は、
   前記第１正面視画像と前記第２正面視画像とを並べて表示させる、
   請求項２に記載のプログラム。
4. 前記プロセッサを、ユーザからの操作を受け付ける受付部として機能させ、
   前記表示制御部は、前記受付部がユーザから第１操作を受け付けた場合、表示させている前記第１正面視画像を他の前記第１正面視画像に切り替え、また、表示させている前記第２正面視画像を他の前記第２正面視画像に切り替える、
   請求項３に記載のプログラム。
5. 前記表示制御部は、
   前記貯蔵室の前上方から撮影されたチルド室の撮影画像を、前記表示部にさらに表示させる、
   請求項１から４のいずれか一項に記載のプログラム。
6. 前記プロセッサを、ユーザからの操作を受け付ける受付部として機能させ、
   前記表示制御部は、前記受付部がユーザから第２操作を受け付けた場合、前記第１正面視画像に並べて前記チルド室の撮影画像を表示させる、
   請求項５に記載のプログラム。
7. 前記端末装置にインストール可能なアプリケーションプログラムである、
   請求項１から６のいずれか一項に記載のプログラム。
8. 前記貯蔵庫は、冷蔵庫であり、
   前記貯蔵室は、冷蔵室である、
   請求項１から７のいずれか一項に記載のプログラム。
9. 貯蔵庫の貯蔵室の前上方から撮影された前記貯蔵室の撮影画像から生成された画像であって、且つ、前記貯蔵室の正面側の位置から前記貯蔵室を視た画像である第１正面視画像を表示部に表示させる表示制御部を備える、
   端末装置。
10. 貯蔵庫の貯蔵室の前上方から撮影された前記貯蔵室の撮影画像から生成された画像であって、且つ、前記貯蔵室の正面側の位置から前記貯蔵室を視た画像である第１正面視画像を表示部に表示させるステップを含む、
    端末装置の制御方法。
11. 貯蔵庫の貯蔵室の正面側の位置から前記貯蔵室を視た第１正面視画像を、前記貯蔵室の前上方から撮影された前記貯蔵室の撮影画像から生成する生成部と、
    前記生成部が生成した前記第１正面視画像を表示する端末装置と、を備える、
    表示システム。

Images