JP2016053907A - プログラム及び電子機器 - Google Patents

Abstract

【課題】ユーザの利便性を向上させることが可能なプログラム及び電子機器を提供する。
【解決手段】コンピュータに実行させるプログラムは、注文に関する情報を表示する処理（Ｓ２４）と、注文に関するカスタム設定の入力を受け付ける処理（Ｓ２６〜Ｓ３６）と、注文に関する情報とカスタム設定に関する情報とを、外部機器に送信する処理（Ｓ４２）と、を含んでいる。
【選択図】図１

Description

本発明は、プログラム及び電子機器に関する。

ネットワークを介して商品を注文することが行われており、その注文方法についても様々な方法が提案されている。例えば、漫画の画像中に現れる商品を、ネットワークを介して注文する方法が提案されている（例えば、特許文献１参照）。

特開２００２−２７９２５３号公報

しかしながら、従来のネットワークを介した商品の注文方法では、ユーザにとって利便性が十分ではなかった。

本発明は上記の課題に鑑みなされたものであり、ユーザの利便性を向上させることが可能なプログラム及び電子機器を提供することを目的とする。

本発明のプログラムは、注文に関する情報を表示する処理（Ｓ２４）と、前記注文に関するカスタム設定の入力を受け付ける処理（Ｓ２６〜Ｓ３６）と、前記注文に関する情報と、前記カスタム設定に関する情報と、を、外部機器に送信する処理（Ｓ４２）と、をコンピュータに実行させる。

この場合において、本発明のプログラムでは、前記表示する処理では、撮像部（１０２）が撮像した画像データを、前記注文に関する情報として表示してもよい。また、前記受け付ける処理では、前記撮像部が撮像した画像データに基づき、前記カスタム設定の入力を受け付けてもよい。

また、本発明のプログラムでは、前記受け付ける処理では、表示された前記注文に関する情報に対する操作に基づき、前記カスタム設定の入力を受け付けてもよい。

また、本発明のプログラムでは、前記受け付ける処理では、近接通信を行う近接通信部（１１６）が取得した情報に基づき、前記カスタム設定の入力を受け付けてもよい。

また、本発明のプログラムでは、前記表示する処理では、前記カスタム設定に関するメニューを表示してもよい。また、前記メニューは、階層構造を有していてもよい。

また、本発明のプログラムでは、前記受け付ける処理において受け付けた前記注文に関するカスタム設定に基づいて、前記注文に関する情報を更新する処理（Ｓ３８）、をコンピュータに実行させてもよい。

本発明のプログラムは、外部機器（１０）から、注文に関する情報と前記注文に関するカスタム設定に関する情報との入力を受け付ける処理（Ｓ６０）と、前記注文に関する情報と、前記カスタム設定と、を解析する処理（Ｓ６２）と、前記解析する処理による解析結果に応じて、前記注文に関する処理を実行する処理（Ｓ６４）と、をコンピュータに実行させる。

この場合において、本発明のプログラムでは、前記解析する処理では、前記注文に関する情報及び／又は前記カスタム設定の文字認識処理を実行してもよい。

本発明の電子機器は、注文に関する情報を表示する表示部（１０４）と、前記注文に関するカスタム設定の入力を受け付ける受付部（１０６、１２０）と、前記注文に関する情報と、前記注文に関するカスタム設定に関する情報と、を、外部機器に送信する送信部（１１８）と、を備える。

本発明の電子機器は、外部機器（１０）から、注文に関する情報と前記注文に関するカスタム設定に関する情報との入力を受け付ける受付部（２０２）と、前記注文に関する情報と、前記カスタム設定と、を解析する解析部（２０８）と、前記解析部による解析に応じて、前記注文に関する処理を実行する処理部（２０４）と、を備える。

なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

本発明のプログラム及び電子機器は、ユーザの利便性を向上させることができる。

第１の実施形態に係る電子機器システムの構成を示すブロック図である。 商品ＤＢのデータ構造の一例を示す図である。 携帯機器の制御部が実行する処理の一例を示すフローチャート（その１）である。 携帯機器の制御部が実行する処理の一例を示すフローチャート（その２）である。 携帯機器の制御部が実行する処理の一例を示すフローチャート（その３）である。 情報処理装置の制御部が実行する処理の一例を示すフローチャート（その１）である。 情報処理装置の制御部が実行する処理の一例を示すフローチャート（その２）である。 図８（ａ）は、カスタム設定画面のＴＯＰ画面の一例を示す図であり、図８（ｂ）は、タッチ操作ボタンの階層構造を示す図である。 クーポンの画像が表示されたカスタム設定画面の一例を示す図である。 図１０（ａ）から図１０（ｆ）は、カスタム設定画面上のタッチ操作ボタンを用いたカスタマイズの一例を示す図である。 カスタマイズが行われた後のカスタム設定画面のＴＯＰ画面の一例を示す図である。 情報処理装置の表示部に表示される画像の一例を示す図である。 図１３（ａ）は、飲み物のカスタム設定画面のＴＯＰ画面の一例を示す図であり、図１３（ｂ）は、タッチ操作ボタンの階層構造を示す図である。 第２の実施形態に係る電子機器システムの構成を示すブロック図である。 情報処理装置の制御部が実行する処理の一例を示すフローチャートである。 第３の実施形態に係る電子機器システムの構成を示すブロック図である。 移動手段用機器の制御部が実行する処理の一例を示すフローチャートである。 情報処理装置の制御部が実行する処理の一例を示すフローチャートである。 第４の実施形態に係る電子機器システムの構成を示すブロック図である。 登録ＤＢのデータ構造の一例を示す図である。 携帯機器の制御部が実行する処理の一例を示すフローチャートである。 遠隔操作処理の一例を示すフローチャートである。 図２３（ａ）及び図２３（ｂ）は、実行機器の制御部が実行する処理の一例を示すフローチャートである。 図２４（ａ）から図２４（ｃ）は、窓を遠隔操作する場合の一例を示す図である。 図２５（ａ）から図２５（ｃ）は、時計を遠隔操作する場合の一例を示す図である。 図２６（ａ）から図２６（ｃ）は、テレビの音量を遠隔操作する場合の一例を示す図である。 図２７（ａ）から図２７（ｃ）は、テレビのチャンネルを遠隔操作する場合の一例を示す図である。 図２８（ａ）から図２８（ｃ）は、エアコンの風向きを遠隔操作する場合の一例を示す図である。 図２９（ａ）から図２９（ｃ）は、ロボット掃除機を遠隔操作する場合の一例を示す図である。 図３０（ａ）から図３０（ｃ）は、自動ロボットによるボールの移動を遠隔操作する場合の一例を示す図である。

《第１の実施形態》
以下、第１の実施形態に係る電子機器システム５００について、図１〜図１２に基づいて、詳細に説明する。図１には、電子機器システム５００の構成がブロック図にて示されている。電子機器システム５００は、図１に示すように、携帯機器１０と、情報処理装置２０と、を備える。携帯機器１０と情報処理装置２０とは、インターネット等のネットワーク３０に接続されている。本実施形態の電子機器システム５００は、ユーザが商品（例えばピザ）を注文する際の作業を支援するとともに、注文を受けて作業を行う者（例えばピザ屋の従業員）の作業負担の軽減を図るためのシステムである。

（携帯機器１０）
携帯機器１０は、ユーザにより携帯された状態で利用される情報機器である。携帯機器１０としては、携帯電話、スマートフォン、タブレット型パソコン、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）等を採用することができる。本実施形態では、携帯機器１０は、スマートフォンであるものとする。携帯機器１０は、電話機能や、インターネット等に接続するための通信機能、及びプログラムを実行するためのデータ処理機能等を有する。

携帯機器１０は、図１に示すように、撮像部１０２、表示部１０４、操作部１０６、マイク１０８、スピーカー１１０、位置検出部１１２、記憶部１１４、近接通信部１１６、通信部１１８、及び制御部１２０を備える。

撮像部１０２は、レンズ、撮像素子、Ａ／Ｄ（Analog/Digital）変換部、画像処理部等を備え、静止画や動画を撮影する。レンズは、被写体像を撮像素子の撮像面に結像させる。撮像素子は、受光素子が撮像面に二次元配列されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を備え、アナログ画像信号を生成する。Ａ／Ｄ変換部は、撮像素子が生成したアナログ画像信号をデジタル画像信号に変換する。画像処理部は、Ａ／Ｄ変換部から入力されたデジタル画像信号に対して、各種の画像処理（色補間処理、階調変換処理、ホワイトバランス処理、画像圧縮処理、画像伸張処理等）を行う。

表示部１０４は、例えばＬＣＤ（Liquid Crystal Display）であり、画像や、各種情報、及びタッチ操作ボタン等の操作入力用画像等を表示する。

操作部１０６は、タッチパネルとスイッチを備える。タッチパネルは、ユーザが触れたことに応じて情報入力を受け付け、受け付けた操作情報を制御部１２０に送信する。タッチパネルは、例えば表示部１０４上又は表示部１０４内に組み込まれて設けられる。したがって、タッチパネルは、ユーザが表示部１０４の表面をタッチすることに応じて、種々の情報入力を受け付ける。スイッチは、ユーザから携帯機器１０に対する操作を受け付ける操作部材であり、受け付けた操作情報を制御部１２０に送信する。

マイク１０８は、携帯機器１０の周囲の音声（例えばユーザの声）を入力するための音声入力装置である。スピーカー１１０は、ユーザや携帯機器１０の周囲へ音声を出力する音声出力装置である。

位置検出部１１２は、例えばＧＰＳ（Global Positioning System）センサを有しており、携帯機器１０の位置を検出し、位置情報（例えば緯度、経度）を制御部１２０に送信する。

記憶部１１４は、例えばフラッシュメモリ等の不揮発性の半導体メモリであり、撮像部１０２が撮影した静止画、動画の各画像データ等を記憶する。

近接通信部１１６は、ＮＦＣ（Near Field Communication）による近距離無線通信によって、他の機器と通信を行う。近接通信部１１６が行う通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、ＴｒａｎｓｆｅｒＪｅｔ（登録商標）、Ｗｉ−Ｆｉ（登録商標）等である。例えば、近接通信部１１６は、ピザ屋のチラシ等に設けられたＩＣチップと近距離無線通信を行い、ＩＣチップに格納されているクーポン情報を取得する。

通信部１１８は、ネットワーク３０に接続された他の機器（例えば情報処理装置２０）と無線通信（例えば携帯電話回線や無線ＬＡＮ（Local Area Network）等を用いた通信）を行う。

制御部１２０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備え、プログラムを実行することにより、携帯機器１０全体を制御する。例えば、制御部１２０は、ピザ屋から提供されるピザの注文を実行するためのアプリケーション（アプリ）上で、ユーザの操作を受け付け、ユーザが入力した注文内容に関する情報を情報処理装置２０に送信する。なお、制御部１２０が実行する処理の詳細については後述する。

（情報処理装置２０）
情報処理装置２０は、例えばピザ屋の店舗に設置されたサーバである。情報処理装置２０は、図１に示すように、通信部２０２、表示部２０４、記憶部２０６、及び制御部２０８等を備える。

通信部２０２は、ネットワーク３０を介して、他の機器（例えば携帯機器１０）と無線通信又は有線通信を行う。

表示部２０４は、例えばＬＣＤであり、携帯機器１０から送信されてくる、ユーザによるピザの注文内容に関する情報等を表示し、当該情報をピザ屋の従業員に報知する。

記憶部２０６は、例えばフラッシュメモリ等の不揮発性の半導体メモリや、ハードディスク等である。記憶部２０６は、ピザの種類毎（商品名毎）に具材やアレルゲン等の情報を記憶する。ここで、図２に基づいて、記憶部２０６に記憶される情報（商品ＤＢ３２）の一例について説明する。

図２には、商品ＤＢ３２のデータ構造の一例が示されている。図２に示すように、商品ＤＢ３２は、商品名、画像データ、具材、アレルゲン、及び追加可能具材の各フィールドを有している。商品名のフィールドには、ピザの商品名（マルゲリータ、ビスマルク等）の情報が格納される。画像データのフィールドには、商品毎の標準画像のデータファイルが格納される。標準画像としては、ピザ屋がチラシに載せるピザの画像などを採用することができる。具材のフィールドには、商品毎に使用している具材（トマト、チーズ等）の情報が格納される。アレルゲンのフィールドには、商品毎にピザに含まれるアレルゲン（小麦、乳等）に関する情報が格納される。追加可能具材のフィールドには、ピザに追加することが可能な具材（ツナ、ポテト等）の情報が格納される。なお、追加可能具材の中にアレルゲンが存在する場合には、当該追加可能具材を他の追加可能具材と区別して商品ＤＢ３２に格納してもよい。

制御部２０８は、ＣＰＵ等を備え、プログラムを実行することにより、情報処理装置２０全体を制御する。制御部２０８が実行する処理の詳細については後述する。

（連携処理）
次に、第１の実施形態に係る電子機器システム５００において実行される、携帯機器１０と情報処理装置２０との連携処理について説明する。図３から図５は、携帯機器１０の制御部１２０が実行する処理の一例を示すフローチャートである。図６及び図７は、情報処理装置２０の制御部２０８が実行する処理の一例を示すフローチャートである。なお、前提として、携帯機器１０には、情報処理装置２０等から提供されるピザを注文するためのアプリ（注文アプリ）がインストールされているものとする。

図３の処理では、まず、ステップＳ１０において、制御部１２０は、注文アプリがユーザによって起動されるまで待機する。この場合、ユーザの操作等に応じて制御部１２０が注文アプリを起動した段階で、ステップＳ１２に移行する。なお、制御部１２０は、ユーザによる操作部１０６への入力、又はマイク１０８への所定の音声の入力に応じて、注文アプリを起動させるものとする。

ステップＳ１２に移行すると、制御部１２０は、表示部１０４又はスピーカー１１０を介して、注文するピザの画像を取得すべきことをユーザに報知する。ユーザは、この報知に応じて、ピザ屋のチラシ等に記載されているピザの画像（写真）を撮像部１０２で撮影する。これにより、制御部１２０は、注文するピザの画像を取得することができる。なお、ユーザが、注文するピザの画像を以前に撮影し、当該画像が記憶部１１４に記憶されているような場合もある。このような場合には、ユーザは記憶部１１４に記憶されている画像の中から注文したいピザの画像を選択することとしてもよい。かかる場合には、制御部１２０は、ユーザが選択した画像を注文するピザの画像として取得すればよい。

次いで、ステップＳ１４では、制御部１２０は、注文するピザの画像を取得するまで待機する。そして、画像を取得した段階で、制御部１２０は、ステップＳ１６に移行する。ステップＳ１６に移行すると、制御部１２０は、位置検出部１１２から携帯機器１０の現在位置を取得し、現在位置から利用可能なピザ屋の店舗を表示部１０４に表示する。なお、ピザ屋の店舗の表示態様としては、店舗名の列挙や、現在位置と店舗の位置を表示した地図の表示などを採用することができる。

次いで、ステップＳ１８では、制御部１２０は、利用するピザ屋の店舗がユーザによって選択されるまで待機する。なお、ユーザは、表示部１０４の表面（タッチパネル）のうち、注文したい店舗の情報をタッチすることで、店舗の選択を行うことができる。制御部１２０は、ユーザによってピザ屋の店舗が選択された段階でステップＳ２０に移行する。

ステップＳ２０に移行すると、制御部１２０は、注文するピザの画像とカスタム設定画面の送信要求とを、ユーザが選択した店舗に設置された情報処理装置２０に送信する。

一方、情報処理装置２０の制御部２０８は、図６の処理を開始した後、ステップＳ５０において、携帯機器１０からピザの画像とカスタム設定画面の送信要求とを受信するまで待機している。したがって、携帯機器１０において図３のステップＳ２０の処理が行われた段階で、制御部２０８は、ステップＳ５２に移行する。ステップＳ５２では、制御部２０８は、記憶部２０６に記憶されている商品ＤＢ３２の画像データと受信したピザの画像とを比較し、受信したピザの画像に対応する商品名を特定する。

次いで、ステップＳ５４では、制御部２０８は、商品ＤＢ３２を参照して、受信したピザの画像に、特定した商品名に対応する具材、アレルゲン（アレルギーの原因食物）、及び追加可能具材の情報を組み合わせたカスタム設定画面を生成して、携帯機器１０に送信する。ここで、カスタム設定画面４０のＴＯＰ画面の一例が図８（ａ）に示されている。図８（ａ）に示すように、カスタム設定画面４０のＴＯＰ画面は、特定したピザの商品名４１と、ピザの画像４３を表示する画像表示領域４２と、具材、アレルゲン、クーポン入力、及び注文のタッチ操作ボタン４４ａ〜４４ｄとを含んでいる。画像表示領域４２の下側には、スケールバー（物差し）４５が表示されている。なお、タッチ操作ボタン４４ａは、図８（ｂ）に示すような階層構造となっており、タッチ操作ボタン４４ａをタッチすることで、タッチしたボタンの下層の１又は複数のボタンがカスタム設定画面４０上に表示されるようになっている。

図３に戻り、ステップＳ２２では、制御部１２０は、情報処理装置２０からカスタム設定画面を受信するまで待機する。なお、制御部１２０は、ステップＳ２０の処理から所定時間（タイムアウトを示す時間であり、例えば５秒）が経過するまでに、情報処理装置２０からカスタム設定画面を受信できない場合には、受信できない旨を表示部１０４に表示させたり、スピーカー１１０から音声出力させ、図３から図５の処理を強制的に終了してもよい。

制御部１２０は、情報処理装置２０からカスタム設定画面を受信した段階で、図４のステップＳ２４に移行する。ステップＳ２４に移行すると、制御部１２０は、受信したカスタム設定画面（図８（ａ））を表示部１０４に表示する。

次いで、ステップＳ２６では、制御部１２０は、カスタム設定画面４０上のクーポン入力のタッチ操作ボタン４４ｃがユーザによってタッチされたか否かを判断する。タッチ操作ボタン４４ｃがタッチされていない場合、ステップＳ２６の判断は否定されて、図５のステップＳ３６に移行する。

一方、タッチ操作ボタン４４ｃがタッチされた場合は、制御部１２０は、ユーザが撮像部１０２を用いてクーポンの画像を撮影した結果、撮像部１０２からクーポンの画像を取得するまで（ステップＳ２８が肯定されるまで）、又はユーザが近接通信部１１６を用いてクーポンに関する情報を受信するまで（ステップＳ３２が肯定されるまで）待機する。

ステップＳ２８の判断が肯定された場合、即ち、ユーザが撮像部１０２を用いてクーポンの画像を撮影した場合、制御部１２０は、ステップＳ３０において、クーポンの画像をカスタム設定画面に表示する。図９には、撮像部１０２で撮影されたクーポンの画像が表示されたカスタム設定画面４０の一例が示されている。これに対し、ステップＳ３２の判断が肯定された場合、即ち、ユーザが、近接通信が可能な機器に携帯機器１０を近づけることで、制御部１２０がクーポンに関する情報を受信した場合、制御部１２０は、ステップＳ３４において、クーポンに関する情報をカスタム設定画面に表示する（図９参照）。ステップＳ３０又はステップＳ３４の処理の後は、図５のステップＳ３６に移行する。

なお、ユーザが誤ってクーポン入力のタッチ操作ボタン４４ｃをタッチした場合に対応するため、ステップＳ２６の判断が肯定された場合でも、ユーザによる特定の操作があったタイミングで、ステップＳ３６に移行するようにしてもよい。

ステップＳ３０、Ｓ３４の処理を経た後、あるいはステップＳ２６の判断が否定された後は、図５のステップＳ３６に移行し、制御部１２０は、ユーザがカスタム設定画面４０上のタッチ操作ボタン４４ａを操作することで、ピザのカスタマイズがされたか否かを判断する。このステップＳ３６の判断が肯定された場合、ステップＳ３８に移行し、制御部１２０は、カスタム設定画面４０の画像表示領域４２に表示されている画像４３を、カスタマイズ後の画像に更新する。ステップＳ３８の後又はステップＳ３６の判断が否定された場合には、制御部１２０は、ステップＳ４０に移行する。

ここで、図１０（ａ）〜図１０（ｆ）を用いて、タッチ操作ボタンによるピザのカスタマイズについて説明する。

図１０（ａ）には、カスタム設定画面４０のＴＯＰ画面が示されている。ユーザが、図１０（ａ）の画面において“具材”のタッチ操作ボタン４４ａをタッチすると、図１０（ｂ）のように、“具材量調整”、“具材追加”、“具材削除”の各タッチ操作ボタン４６ａ〜４６ｃが表示される。

これらのタッチ操作ボタン４６ａ〜４６ｃのうち、“具材量調整”のタッチ操作ボタン４６ａ又は“具材削除”のタッチ操作ボタン４６ｃをユーザがタッチすると、図１０（ｃ）に示すように、画面上には注文するピザに標準で使用している具材（例えばトマト、チーズ等）のタッチ操作ボタンが表示される。

図１０（ｂ）の画面においてユーザにより“具材量調整”のタッチ操作ボタン４６ａがタッチされて図１０（ｃ）のタッチ操作ボタンが表示された状態において、ユーザが具材のタッチ操作ボタンをタッチすると、図１０（ｄ）に示すように、具材の量を“増量”するタッチ操作ボタンと“減量”するタッチ操作ボタンとが表示される。ユーザは、“増量”又は“減量”のタッチ操作ボタンをタッチすることで、具材の量を調整することができる。なお、制御部１２０は、ユーザが“増量”又は“減量”のタッチ操作ボタンをタッチする度に、画像表示領域４２に表示されている画像４３上に予め記憶部１１４に記憶されている具材の画像を追加（合成表示）又は削除（チーズの色で具材を隠す）等する。また、図１０（ｂ）の画面においてユーザにより“具材削除”のタッチ操作ボタン４６ｃがタッチされた場合には、図１０（ｃ）の画面が表示された後に、ユーザが各具材のタッチ操作ボタンをタッチすると、タッチした具材を無くすことができる。この場合、制御部１２０は、ユーザがタッチした具材の画像を、画像４３上から全て削除（チーズの色で具材を隠す）する。

一方、図１０（ｂ）における“具材追加”のタッチ操作ボタン４６ｂをユーザがタッチすると、図１０（ｅ）のように、注文するピザに標準では使用されておらず、追加することが可能な具材（ツナ、ポテト等）のタッチ操作ボタンが表示される。各具材のタッチ操作ボタンをユーザがタッチすると、タッチした具材を追加することができる。具材が追加された場合、制御部１２０は、画像４３上に予め記憶部１１４に記憶されている具材の画像を追加（合成表示）する。なお、追加した具材の量の調整は、前述した図１０（ｄ）の画面を用いた方法で行うこととすればよい。なお、商品ＤＢ３２において、アレルゲンを含む具材とアレルゲンを含まない具材を区別して格納している場合には、各具材のタッチ操作ボタンを区別して表示してもよい。

また、図１０（ａ）の画面において、ユーザが“アレルゲン”のタッチ操作ボタン４４ｂをタッチした場合には、図１０（ｆ）のように、注文するピザに含まれるアレルゲンが表示される。この場合、例えば、７品目アレルゲン又は２５品目アレルゲンが表示される。また、アレルゲンと共に、当該アレルゲンを含む具材を併記してもよい。ユーザは、これらの情報を基に、具材の削減や具材の量の調整を行うことができるので、アレルギー体質の子供等もアレルギーを気にせずに食べることが可能なピザをカスタマイズすることができる。なお、図１０（ｅ）において具材を追加した場合には、アレルゲンを含む具材を他の具材と区別して表示することとしてもよい。

さらに、図１０（ａ）〜図１０（ｆ）の画面においては、ユーザは、ピザの画像４３を２本の指でピンチイン又はピンチアウトすることで、注文するピザの大きさを変更することができる。この場合、画像表示領域４２の傍にスケールバー４５が表示されているので、ユーザは注文するピザの大きさを好みの大きさに的確に調整することができる。図１１には、ユーザによるカスタマイズが行われた後のカスタム設定画面４０のＴＯＰ画面の一例が示されている。なお、図１０（ａ）〜図１０（ｆ）の画面に金額やカロリーを表示してもよく、カスタマイズの操作毎に金額や、カロリーの表示を行うようにしてもよい。また、制御部１２０は、金額モードとカロリーモードを設定し、ユーザが指定した金額やカロリー内でカスタマイズできるようにしてもよい。この場合、個々の具材毎に金額やカロリーを表示してもよく、全体として表示するようにしてもよい。

図５に戻り、ステップＳ４０では、制御部１２０は、ユーザによって“注文”のタッチ操作ボタン４４ｄがタッチされて、注文の指示がされたか否かを判断する。注文の指示がされていない場合、ステップＳ４０の判断は否定されて、図４のステップＳ２６に戻る。以降は、図１０（ａ）の画面上のいずれかのタッチ操作ボタンが押されるまで、ステップＳ２６、Ｓ３６、Ｓ４０の判断を繰り返す。そして、ユーザによって“注文”のタッチ操作ボタン４４ｄがタッチされると、ステップＳ４０の判断が肯定されて、ステップＳ４２に移行する。なお、ピザを注文する場合、ユーザは、ピザ屋の店舗を含む地図画面を表示し、注文したい店舗の位置にピザの画像をドラッグアンドドロップするようにしてもよい。これにより直感的な操作でピザの注文を行うことができるようになる。

ステップＳ４２に移行すると、制御部１２０は、カスタム設定画面の画像と、記憶部１１４に記憶されているユーザの氏名や連絡先、住所等の配達先に関する情報と、を選択された店舗の情報処理装置２０に送信する。なお、ユーザの氏名や連絡先、住所等の情報が携帯機器１０の記憶部１１４に記憶されていない場合には、制御部１２０は、これらの情報を入力するためのフォームを表示部１０４に表示し、ユーザによって入力された情報を情報処理装置２０に送信するようにしてもよい。ステップＳ４２が終了した場合、制御部１２０は、図３〜図５の全処理を終了する。この場合、制御部１２０は、注文アプリの実行を終了する。なお、図３〜図５の処理において、ユーザが携帯機器１０の所定のボタンを押した場合には、処理は図４のステップＳ２４に戻り、表示部１０４上にはＴＯＰ画面（図８（ａ））が表示されるようになっている。

一方、情報処理装置２０の制御部２０８では、図７のステップＳ６０において、カスタム設定画面の画像と配達先に関する情報とを受信するまで待機しているので、図５のステップＳ４２の処理が行われた段階で、ステップＳ６２に移行する。なお、制御部２０８は、受信した配達先に関する情報を、カスタム設定画面の画像と関連付けて、記憶部２０６に記憶する。

ステップＳ６２に移行すると、制御部２０８は、受信したカスタム設定画面の画像に対して画像解析及び文字解析を行い、注文のベースとなる商品名やカスタマイズの内容等を特定する。例えば、制御部２０８は、カスタム設定画面の画像に対して文字認識処理（ＯＣＲ（Optical Character Recognition）処理）による文字解析をすることで、注文のベースとなる商品名やクーポンの情報等を特定する。例えば、制御部２０８は、カスタム設定画面の画像に含まれるピザの画像を画像解析することで、具材の種類及び量等を特定する。なお、ステップＳ６４において、制御部２０８は、カスタマイズの内容を特定することができない場合には、カスタマイズの内容を特定できない旨と、カスタマイズの内容を客に問い合わせるべき旨と、を表示部２０４に表示するようにしてもよい。

ステップＳ６４では、制御部２０８は、注文を受けたピザに関する情報（ユーザによるカスタマイズの内容を含んだ情報）を表示部２０４に表示する。図１２には、情報処理装置２０の表示部２０４に表示される画像の一例を示している。図１２に示すように、表示部２０４に表示される画像には、ベースとなる商品名５１、カスタマイズ後のピザの画像５２、クーポン情報５３、並びに、カスタマイズ後のピザの大きさ、具材の種類及び量等の情報５４、が含まれる。また、表示部２０４に表示される画像には、クーポンの情報を文字認識した結果を反映させた支払額の情報５５が含まれる。ピザ屋の従業員は、この画像に従ってピザを作ることで、ユーザ（顧客）の要望に応えたピザを提供することができる。

以上詳細に説明したように、本第１の実施形態によれば、携帯機器１０の制御部１２０は、注文に関するピザの画像を含むカスタム設定画面４０を表示部１０４に表示し（Ｓ２４）、カスタム設定の入力を受け付けて（Ｓ２６〜Ｓ３６）、注文するピザの情報と、カスタマイズの情報とを含むカスタム設定画面４０の画像を情報処理装置２０に送信する（Ｓ４２）。これにより、制御部１２０は、ユーザが携帯機器１０を操作してカスタマイズした好みのピザに関する情報を情報処理装置２０に送信することで、当該好みのピザを注文することが可能となるので、ユーザの利便性を向上することが可能となる。

また、本第１の実施形態では、制御部１２０は、撮像部１０２が撮像したピザの画像を注文に関する情報として表示部１０４に表示するので、ユーザは、チラシや雑誌等に掲載されたピザの写真等を利用して、ピザの注文を行うことができる。

また、本第１の実施形態では、制御部１２０は、撮像部１０２が撮像したクーポンの画像に基づき、カスタム設定の入力を受け付けるので、ユーザはチラシや雑誌等に掲載されたクーポンを撮影するという簡単な操作で、クーポンを利用することができる。

また、本第１の実施形態では、制御部１２０は、表示部１０４に表示された注文に関する画像に対する操作に基づき、カスタム設定（例えばピザの大きさの変更）の入力を受け付けるので、例えばピザの大きさを視覚的に確認しながら簡単な操作で変更することができる。

また、本第１の実施形態では、制御部１２０は、近接通信部１１６が受信したクーポンに関する情報に基づき、カスタム設定の入力を受け付けることもできる。これにより、ユーザは簡単な操作によりクーポンを利用することが可能となる。

また、本第１の実施形態では、制御部１２０は、カスタム設定画面４０においてカスタム設定のメニューを表示するので、ユーザはメニューを利用して簡易にカスタマイズを行うことが可能となる。また、カスタム設定画面４０に表示されたメニュー（タッチ操作ボタン４４ａ）は階層構造を有している（図８（ｂ）参照）ことから、ユーザは、カスタマイズしたい内容を順を追って絞り込むことができる。

また、本第１の実施形態では、制御部１２０は、カスタム設定の内容に基づいて、注文に関する画像を更新する（Ｓ３８）ので、ユーザはカスタム内容（例えばピザの大きさや具材の量など）を視覚的に確認しながらピザをカスタマイズすることができる。

また、本第１の実施形態によれば、情報処理装置２０の制御部２０８は、携帯機器１０から、注文に関する情報と、カスタム設定に関する情報と、を含むカスタム設定画面４０の画像を受け付け（Ｓ６０）、当該画像から注文に関する情報と、カスタム設定とを解析し（Ｓ６２）、解析結果に応じて、注文に関する処理（例えば、注文されたピザの情報を表示部２０４に表示する処理（Ｓ６４））を実行する。これにより、ピザ屋の従業員は電話等による注文を受け付けなくてもよくなるため、従業員の手間を軽減することができる。

また、本第１の実施形態では、制御部２０８は、カスタム内容を含むカスタム設定画面４０の画像を文字解析（例えば文字認識処理）するので、画像からユーザによるカスタマイズの内容（本実施形態では、ユーザが利用するクーポンの情報等）を取得することができる。

なお、上記第１の実施形態において、カスタム設定画面４０に、ピザの重さや総カロリーが表示され、カスタマイズを行う毎に、重さや総カロリーが更新されるようにしてもよい。この場合、注文アプリにおいて、具材別の重さやカロリーを管理しておけばよい。

なお、上記第１の実施形態では、ピザをカスタマイズする場合を例に示したが、その他の物、例えば飲み物をカスタマイズする場合でもよい。図１３（ａ）には、飲み物のカスタム設定画面のＴＯＰ画面の一例が示されている。図１３（ａ）に示すように、飲み物のカスタム設定画面４０のＴＯＰ画面は、飲み物の商品名４１と、飲み物の画像４３を表示する画像表示領域４２と、調整・削除、アレルゲン、クーポン入力、及び注文のタッチ操作ボタン４８ａ〜４８ｄと、を含んでいる。画像表示領域４２の下側には、スケールバー４５が表示されていて、これを基準にしてサイズを変更することができる。なお、タッチ操作ボタン４８ａは、図１３（ｂ）に示すような階層構造となっており、タッチ操作ボタン４８ａをタッチすることで、タッチしたボタンの下層の１又は複数のボタンがカスタム設定画面４０上に表示されるようになっている。例えば飲み物がオレンジジュース等の冷たい飲み物の場合には氷の量の調整や削除をできるようにしてもよいし、コーヒーや紅茶の場合には砂糖・ミルクの量の調整や削除をできるようにしてもよいし、ウイスキーの水割り等の場合にはアルコールの量を調整や削除をできるようにしてもよい。また、パフェ等の具材がある場合には、具材の量を調整したり、具材を追加、削除できるようにしてもよい。

なお、上記第１の実施形態では、携帯機器１０の制御部１２０は、カスタム設定画面４０をピザ屋の店舗にある情報処理装置２０から受信する場合を例に示したが、これに限られるものではない。例えば、携帯機器１０の記憶部１１４に商品ＤＢ３２の情報が記憶されている場合には、制御部１２０が、撮像部１０２から取得したピザの画像と商品ＤＢ３２とを用いて、カスタム設定画面を生成して、表示部１０４に表示する場合でもよい。

なお、上記第１の実施形態において、携帯機器１０の記憶部１１４又は情報処理装置２０の記憶部２０６にユーザが以前に行ったカスタム内容を記憶しておいてもよい。この場合、制御部１２０は、ユーザからの指示により記憶部１１４又は記憶部２０６に記憶されたカスタム内容を用いて、ピザをカスタマイズしてもよい。なお、ユーザが更なるカスタマイズを望む場合には、ステップＳ２６〜Ｓ３８を更に実行するようにしてもよい。

なお、上記第１の実施形態において、ピザ屋の店舗の情報処理装置２０から送信されるカスタム設定画面４０は、各店舗共通の画面であってもよいが、各店舗独自のカスタム内容を含む画面であってもよい。また、撮像部１０２によって２種類以上のピザが撮影された場合に、制御部１２０は、これら撮影されたピザの画像を合成して、所謂ハーフ＆ハーフピザやクウォータピザ等の画像を生成し、表示してもよい。

なお、上記第１の実施形態では、情報処理装置２０がピザ屋の店舗に設置されていて、携帯機器１０から情報処理装置２０にピザの注文をする場合を例に示したが、これに限られるものではない。例えば、情報処理装置２０は、スーパーや居酒屋等に設置されていてもよい。情報処理装置２０がスーパーに設置された場合、ユーザは、スーパーに行かずに、携帯機器１０から情報処理装置２０に野菜や肉や卵等の様々な物を注文することが可能となる。この場合、野菜や卵の大きさ等をカスタマイズしたり、魚のさばき方などを選択できるようにすることで、ユーザの利便性を向上することが可能となる。また、例えば、情報処理装置２０が居酒屋に設置された場合、ユーザは居酒屋の各席に設置された携帯機器１０やユーザが保有する携帯機器１０から注文を行ったり、注文内容をカスタマイズできるようにすればよい。

《第２の実施形態》
次に、第２の実施形態に係る電子機器システム６００について、図１４及び図１５に基づいて詳細に説明する。図１４には、電子機器システム６００の構成がブロック図にて示されている。電子機器システム６００は、図１４に示すように、携帯機器１０と情報処理装置２０Ａとがネットワーク３０に接続されている。携帯機器１０の構成は、第１の実施形態の図１に示す携帯機器１０の構成と同一又は同等であるため、ここでは説明を省略する。情報処理装置２０Ａは、撮像部２１０及び操作部２１２を有する点以外は、第１の実施形態の図１に示す情報処理装置２０の構成と同一又は同等である。ここで、撮像部２１０は、レンズ、撮像素子、Ａ／Ｄ変換部、画像処理部等を備え、静止画や動画を撮影する。操作部２１２は、キーボードやマウスを備え、ユーザから情報処理装置２０Ａに対する操作を受け付け、受け付けた操作情報を制御部２０８に送信する。

次に、第２の実施形態に係る電子機器システム６００において実行される、情報処理装置２０Ａの処理について説明する。図１５は、情報処理装置２０Ａの制御部２０８が実行する処理の一例を示すフローチャートである。なお、図１５の処理は、注文を受けたピザを作る従業員や調理中のピザの様子を、ピザを注文したユーザに見せるための処理である。なお、本第２の実施形態では、従業員は、第１の実施形態で説明した方法で注文を受けたピザを作るものとする。

図１５の処理では、まず、ステップＳ７０において、制御部２０８は、ピザを作成する複数の工程（例えば、生地を伸ばす工程、具材を盛り付ける工程、ピザを焼く工程等）のうちの１つの工程の作業が開始されるまで待機する。この場合、制御部２０８は、従業員が操作部２１２を操作して工程開始を入力した段階で、１つの工程の作業が開始されたと判断し、ステップＳ７２に移行する。

ステップＳ７２に移行すると、制御部２０８は、撮像部２１０を用いて、ピザを作る従業員や調理中のピザの撮影を開始する。例えば、制御部２０８は、動画撮影を開始する。なお、制御部２０８は、動画に代えて、又は動画とともに、所定の時間間隔で静止画を撮影してもよい。なお、撮像部２１０がピザを作成する各工程に対応して店舗内に複数設けられている場合には、各工程に対応する撮像部２１０を用いた撮影を行うこととすればよい。また、１つの撮像部２１０が複数工程に対応して設けられている場合には、当該１つの撮像部２１０の撮像方向を制御して、各工程の撮影を行うこととすればよい。

ステップＳ７２の後は、ステップＳ７４に移行し、制御部２０８は、１つの工程の作業が終了するまで待機する。この場合、制御部２０８は、従業員が情報処理装置２０Ａの操作部２１２を介して工程完了を入力したタイミングで、ステップＳ７６に移行する。

ステップＳ７６に移行すると、制御部２０８は、撮影を終了する。次いで、ステップＳ７８では、制御部２０８は、撮影した画像（動画）を、ピザを注文したユーザの携帯機器１０に送信する。ステップＳ７８の後は、ステップＳ８０に移行し、制御部２０８は、ピザが完成したか（即ち、全ての工程が終了したか）否かを判断する。この場合、制御部２０８は、従業員が操作部２１２を介して全工程が終了したことを入力したか否かを判断する。このステップＳ８０の判断が否定された場合には、ステップＳ７０に戻るが、ステップＳ８０の判断が肯定された場合には、図１５の全処理を終了する。

このように、本実施形態では、ピザを注文したユーザは、注文したピザがどの程度できているかをほぼリアルタイムで把握することができる。なお、図１５では、制御部２０８は、１つの工程の撮影終了後に、動画を携帯機器１０に送信する場合について説明したが、これに限られるものではない。例えば、制御部２０８は、撮影している画像（動画）をユーザの携帯機器１０にリアルタイム配信してもよい。また、撮影した動画をキャプチャした画像を定期的に携帯機器１０に送信するようにしてもよい。

以上詳細に説明したように、本第２の実施形態によれば、情報処理装置２０Ａの制御部２０８は、ピザを作成する複数の工程毎に、従業員や調理中のピザを撮影して、携帯機器１０に送信する。これにより、携帯機器１０を用いてピザを注文したユーザは、注文したピザを作る過程を把握することができる。

なお、上記第２の実施形態では、従業員が第１の実施形態の方法で注文を受ける場合について説明したが、これに限らず、従業員は、電話等により注文を受けてもよい。この場合、撮影した画像を携帯機器１０に送らずに、店舗のウェブサイト等において公開してもよい。

《第３の実施形態》
次に、第３の実施形態に係る電子機器システム７００について、図１６〜図１８に基づいて詳細に説明する。図１６には、電子機器システム７００の構成がブロック図にて示されている。電子機器システム７００は、図１６に示すように、携帯機器１０、情報処理装置２０、移動手段用機器６０、及び配達物用機器７０を備える。なお、携帯機器１０、情報処理装置２０の構成は第１の実施形態と同一又は同等である。

（移動手段用機器６０）
移動手段用機器６０は、例えばピザの配達用のバイクの荷台に取り付けられた機器であり、図１６に示すように、通信部６０２、近接通信部６０４、位置検出部６０６、及び制御部６０８を備える。

通信部６０２は、情報処理装置２０の通信部２０２と無線通信を行う。近接通信部６０４は、ＮＦＣによる近距離無線通信によって、配達物用機器７０（近接通信部７０４）と通信を行う。

位置検出部６０６は、例えばＧＰＳセンサを有し、移動手段用機器６０の位置（即ち、バイクの位置）を検出し、位置情報（例えば緯度、経度）を制御部６０８に送信する。

制御部６０８は、ＣＰＵ等を備え、プログラムを実行することにより、移動手段用機器６０全体を制御する。

（配達物用機器７０）
配達物用機器７０は、例えばピザを入れた箱に取り付けられる機器であり、図１６に示すように、記憶部７０２、近接通信部７０４、及び制御部７０６を備える。なお、配達物用機器７０は、ピザを入れた箱に対して着脱自在であるものとする。例えば、ピザを配達する間は、当該ピザを入れた箱に配達物用機器７０が取り付けられ、配達を終えた場合には、箱から配達物用機器７０が取り外されるようになっている。

記憶部７０２は、例えばフラッシュメモリ等の不揮発性の半導体メモリであり、配達するピザを識別するための識別情報（例えば識別番号）を記憶する。なお、本第３の実施形態では、第１の実施形態の方法で注文を受けた場合に、注文に関する情報と、記憶部７０２に記憶されている識別情報と、を関連付けた状態で情報処理装置２０の記憶部２０６に記憶するものとする。

近接通信部７０４は、ＮＦＣによる近距離無線通信によって、移動手段用機器６０と通信を行う。この通信により、配達するピザの識別情報が移動手段用機器６０の制御部６０８に通知されるようになっている。

制御部７０６は、ＣＰＵ等を備え、プログラムを実行することにより、配達物用機器７０全体を制御する。

次に、第３の実施形態に係る電子機器システム７００において実行される、移動手段用機器６０及び情報処理装置２０の処理について説明する。図１７は、移動手段用機器６０の制御部６０８が実行する処理の一例を示すフローチャートであり、図１８は、情報処理装置２０の制御部２０８が実行する処理の一例を示すフローチャートである。

なお、ピザ屋の従業員は、配達用のバイクを利用して、注文を受けて作成されたピザを、注文者に届けるものとする。配達用のバイクには、図１６の移動手段用機器６０が設けられ、ピザの箱には、配達物用機器７０が取り付けられているものとする。

図１７の処理では、まず、ステップＳ９０において、制御部６０８は、ピザの配達が開始されるまで待機する。この場合、ピザを入れた箱がバイクの荷台に載せられることで、近接通信部６０４、７０４間で通信が行われ、制御部６０８が配達物用機器７０からピザの識別情報を受信した段階で、制御部６０８は、配達が開始されたと判断することができる。配達が開始されたと判断した場合、制御部６０８は、ステップＳ９２に移行する。ステップＳ９２に移行すると、制御部６０８は、位置検出部６０６から現在のバイクの位置情報（例えば緯度、経度）を取得する。

次いで、ステップＳ９４では、制御部６０８は、ピザの識別情報と位置情報とを、情報処理装置２０に送信する。次いで、ステップＳ９６では、制御部６０８は、移動手段用機器６０が有する計時部（不図示）を用いて、識別情報と位置情報とを情報処理装置２０に送信してから所定の時間（例えば５分）が経過するまで待機する。所定の時間が経過した後は、制御部６０８は、ステップＳ９８に移行する。

ステップＳ９８に移行すると、制御部６０８は、ピザの配達先に到着したか否かを判断する。配達先に到着した場合、ピザを入れた箱がバイクの荷台から下ろされるので、近接通信部６０４と近接通信部７０４との間の通信ができなくなる。従って、制御部６０８は、近接通信ができなくなったタイミングを、配達先に到着したタイミングと判断することができる。配達先に到着した場合、ステップＳ９８の判断は肯定され、図１７の処理は終了する。一方、配達先に到着していない場合、ステップＳ９８の判断は否定され、ステップＳ９２に戻り、ステップＳ９２以降の処理・判断を繰り返す。

一方、情報処理装置２０においては、図１８に示すように、ステップＳ１００において、制御部２０８は、移動手段用機器６０から識別情報と位置情報とを受信するまで待機している。従って、制御部２０８は、これらの情報を受信した段階で、ステップＳ１０２に移行する。

ステップＳ１０２では、制御部２０８は、記憶部２０６を参照し、受信した識別番号に対応するピザの配達先の住所を特定する。ステップＳ１０２の後は、ステップＳ１０４に移行し、制御部２０８は、受信した位置情報と配達先の住所とに基づいて、配達先に到着する時刻を予想する。なお、到着時刻の予想は、既存技術（例えば、現在位置と配達先との間の距離と、バイクの平均速度を用いた計算など）を用いることとすればよい。ステップＳ１０４の後は、ステップＳ１０６に移行し、制御部２０８は、配達先への予想到着時刻を、ピザを注文したユーザの携帯機器１０に送信する。その後は、ステップＳ１００に戻る。このように、本実施形態では、ユーザは、ピザを注文した後、ピザの配達が開始された場合に、ピザが到着する予想時刻を逐一知ることができるので、応対の準備、ピザを食べる準備等を予め行うことができる。

以上詳細に説明したように、本第３の実施形態によれば、移動手段用機器６０の制御部６０８は、所定の時間間隔で、バイクの現在位置を示す位置情報を情報処理装置２０に送信する。そして、情報処理装置２０の制御部２０８は、受信した位置情報に基づいて、配達先への予想到着時刻をユーザの携帯機器１０に送信する。これにより、携帯機器１０を用いてピザを注文したユーザは、ピザの届く時刻を正確に把握することができる。

なお、上記第３の実施形態においては、移動手段用機器６０が位置検出部６０６を備える場合を例に示したが、これに限らず、配達物用機器７０が位置検出部を備えていてもよい。この場合、移動手段用機器６０を省略し、配達物用機器７０が、情報処理装置２０に対して識別情報と位置情報を直接送信してもよい。

なお、上記第３の実施形態においては、情報処理装置２０が、携帯機器１０に対して予想到着時刻を送信する場合について説明したが、これに限らず、到着までに要する時間の予測値を送信することとしてもよい。

なお、上記第３の実施形態においては、情報処理装置２０が予想到着時刻の情報を携帯機器１０に送信する場合について説明したが、情報処理装置２０は、予想到着時刻の情報を表示部２０４に表示したり、記憶部２０６にログとして格納することとしてもよい。このようにすることで、ピザ屋の従業員の上司等が配達している従業員の勤務状況を把握することが可能となる。

なお、上記第１〜第３の実施形態では、ユーザが注文等をする機器が携帯機器１０である場合について説明したが、これに限らず、ユーザが注文等する機器は、デスクトップ型のＰＣなどであってもよい。また、上記第１〜第３の実施形態のうちの少なくとも２つを組み合わせることとしてもよい。即ち、上記第１と第２の実施形態を組み合わせたり、上記第１と第３の実施形態を組み合わせたり、上記第２と第３の実施形態を組み合わせたり、上記第１と第２と第３の実施形態を組み合わせてもよい。上記第２の実施形態を組み合わせる態様の場合には、情報処理装置は、図１４に示した情報処理装置２０Ａを用いることとすればよい。

《第４の実施形態》
以下、第４の実施形態に係る電子機器システム８００について、図１９〜図２４に基づいて、詳細に説明する。図１９には、電子機器システム８００の構成がブロック図にて示されている。電子機器システム８００は、図１９に示すように、携帯機器８０と、１又は複数の実行機器９０と、を備える（利用する）。本実施形態の電子機器システム８００は、ユーザが窓や時計、テレビ、エアコンなどの操作対象物を遠隔操作するためのシステムである。

携帯機器８０は、ユーザにより携帯された状態で利用される情報機器である。携帯機器８０としては、携帯電話、スマートフォン、タブレット型パソコン、ＰＨＳ、ＰＤＡ等を採用することができるが、本実施形態では、携帯機器８０は、スマートフォンであるものとする。携帯機器８０は、電話機能や、他の機器と通信するための通信機能、及びプログラムを実行するためのデータ処理機能等を有する。

（携帯機器８０）
携帯機器８０は、図１９に示すように、撮像部８０２、表示部８０４、操作部８０６、マイク８０８、スピーカー８１０、位置検出部８１２、加速度センサ８１４、地磁気センサ８１６、記憶部８１８、通信部８２０、及び制御部８２２を備える。

撮像部８０２、表示部８０４、操作部８０６、マイク８０８、スピーカー８１０、及び位置検出部８１２は、第１の実施形態の撮像部１０２、表示部１０４、操作部１０６、マイク１０８、スピーカー１１０、及び位置検出部１１２（図１参照）と同一又は同等であるため、説明を省略する。

加速度センサ８１４は、例えば３軸加速度センサであり、携帯機器８０に作用する直交３軸方向（Ｘ軸、Ｙ軸、Ｚ軸方向）の加速度を検出する。地磁気センサ８１６は、地磁気を検出して、携帯機器８０の特定の軸が向いている方向（方位）を求める。

記憶部８１８は、例えばフラッシュメモリ等の不揮発性の半導体メモリであり、撮像部８０２が撮影した静止画、動画の各画像データ等を記憶する。また、記憶部８１８は、図２０に示す登録ＤＢ３４において、操作対象物の名称（寝室の窓、リビングのテレビ、和室のエアコン等）と、操作対象物に設けられた実行機器９０の機器ＩＤと、を対応付けて記憶する。なお、登録ＤＢ３４に対する情報の登録は、ユーザにより予め行われているものとする。

通信部８２０は、他の機器（例えば実行機器９０）と通信を行うものであり、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ、ＴｒａｎｓｆｅｒＪｅｔ（登録商標）などの近接通信や、無線通信、赤外線通信等を用いることができる。

制御部８２２は、ＣＰＵ等を備え、プログラムを実行することにより、携帯機器８０全体を制御する。例えば、制御部８２２は、操作対象物を遠隔操作するためのアプリケーション（アプリ）を実行し、ユーザの操作を受け付けたり、ユーザの操作に基づいて実行機器９０を遠隔操作したりする。なお、制御部８２２が実行する処理の詳細については後述する。

（実行機器９０）
実行機器９０は、操作対象物の特定の動作を実現するための機器であり、操作対象物に内蔵されている、又は操作対象物に外付けされる機器である。実行機器９０は、図１９に示すように、動作部９０２、記憶部９０４、通信部９０６、及び制御部９０８を備える。

動作部９０２は、制御部９０８の指示の下、操作対象物の特定の動作を実行する。例えば、操作対象物が窓の場合には、動作部９０２は、モータ等を備え、窓を開閉する開閉機構を含んでいるものとする。

記憶部９０４は、例えばフラッシュメモリ等の不揮発性の半導体メモリや、ハードディスク等であり、実行機器９０を遠隔操作する携帯機器８０において動作する操作プログラムや、実行機器９０を識別するための機器ＩＤ等を格納する。なお、操作プログラムの詳細については、後述する。

通信部９０６は、他の機器（例えば携帯機器８０）と通信を行うものであり、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ、ＴｒａｎｓｆｅｒＪｅｔ（登録商標）などの近接通信や、無線通信、赤外線通信等を用いることができる。

制御部９０８は、ＣＰＵ等を備え、プログラムを実行することにより、実行機器９０全体を制御する。制御部９０８が実行する処理の詳細については後述する。

（連携処理）
次に、第４の実施形態に係る電子機器システム８００において実行される、携帯機器８０と実行機器９０との連携処理について説明する。図２１及び図２２は、携帯機器８０の制御部８２２が実行する処理の一例を示すフローチャートである。図２３（ａ）及び図２３（ｂ）は、実行機器９０の制御部９０８が実行する処理の一例を示すフローチャートである。本実施形態では、携帯機器８０から窓に設けられた実行機器９０に対して指示を与え、窓の開閉を遠隔操作する場合について説明する。なお、図２１〜図２３（ｂ）の処理の前提として、携帯機器８０には、実行機器９０を用いて遠隔操作するためのアプリ（遠隔操作アプリ）がインストールされているものとする。また、登録ＤＢ３４には、図２０に示すような操作対象物の情報が事前に格納されているものとする。

図２１の処理では、まず、ステップＳ１１０において、制御部８２２は、遠隔操作アプリがユーザによって起動されるまで待機する。この場合、ユーザの操作等に応じて制御部８２２が遠隔操作アプリを起動した段階で、ステップＳ１１２に移行する。なお、制御部８２２は、ユーザによる操作部８０６を介した所定の操作、又はマイク８０８への所定の音声の入力があった場合に、遠隔操作アプリを起動するものとする。

ステップＳ１１２に移行すると、制御部８２２は、撮像部８０２から操作対象物（例えば窓）の画像（静止画）を取得するまで待機する。この場合、ユーザが、撮像部８０２を用いて、遠隔操作を行う操作対象物（例えば窓）を撮影すると、制御部８２２は、ステップＳ１１４に移行する。ステップＳ１１４に移行すると、制御部８２２は、撮像部８０２が撮影した操作対象物に設けられた実行機器９０と通信し、実行機器９０の機器ＩＤを取得する。なお、制御部８２２は、撮影とほぼ同時に実行機器９０との通信を行う場合には、撮影時に正面に存在している実行機器９０との間で赤外線通信等を行えばよい。一方、撮影から所定時間経過後に実行機器９０との通信を行う場合には、制御部８２２は、撮影時に位置検出部８１２と加速度センサ８１４と地磁気センサ８１６から得られた撮影位置と撮影方向を記憶しておき、当該撮影位置と撮影方向に基づいて通信範囲を制限して、当該通信範囲に含まれる実行機器９０との間で通信を行えばよい。本実施形態では、制御部８２２は、寝室の窓に設けられた実行機器９０の機器ＩＤを取得したものとする。

ステップＳ１１４の後は、制御部８２２は、ステップＳ１１６に移行し、記憶部８１８に記憶された登録ＤＢ３４を参照して、取得した機器ＩＤに対応する操作対象物が登録されているか否かを判断する。操作対象物が登録されていない場合は、ステップＳ１１６の判断は否定されて、図２１の処理を終了する。なお、ステップＳ１１６の判断が否定された場合には、制御部８２２は、表示部８０４上に例えば“撮影した操作対象物は未登録です”などの表示を行ってもよい。

一方、操作対象物が登録されていた場合には、ステップＳ１１６の判断は肯定され、ステップＳ１１８に移行する。ステップＳ１１８では、制御部８２２は、ステップＳ１１４で取得した機器ＩＤに対応する実行機器９０と無線通信を行い、操作プログラムの送信要求を送信する。なお、制御部８２２は、機器ＩＤから特定されるＩＰアドレスを利用して実行機器９０と無線通信を行うなどする。

ところで、実行機器９０の制御部９０８は、図２３（ａ）の処理を開始した後、ステップＳ１４０において、操作プログラムの送信要求を受信するまで待機している。したがって、携帯機器８０の制御部８２２において図２１のステップＳ１１８の処理が行われた段階で、ステップＳ１４２に移行する。ステップＳ１４２に移行すると、制御部９０８は、記憶部９０４に記憶されている操作プログラムを携帯機器８０に送信する。

図２１に戻り、ステップＳ１２０では、制御部８２２は、実行機器９０から操作プログラムを受信するまで待機する。なお、制御部８２２は、ステップＳ１１８の処理から所定時間（タイムアウトを示す時間であり、例えば５秒）が経過するまでに、実行機器９０から操作プログラムを受信できない場合には、受信できない旨を表示部８０４に表示させたり、スピーカー８１０から音声出力させ、図２１の処理を強制的に終了してもよい。

制御部８２２は、実行機器９０から操作プログラムを受信した段階で、ステップＳ１２２に移行する。ステップＳ１２２では、制御部８２２は、受信した操作プログラムを実行することにより、遠隔操作処理のサブルーチンを実行する。ステップＳ１２２では、具体的には、制御部８２２は、図２２のフローチャートに沿った処理を実行する。

図２２の処理においては、まず、ステップＳ１２４において、制御部８２２は、撮影した操作対象物（窓）の画像に遠隔操作が可能な部分を示す画像を重畳させて表示部８０４に表示する。例えば、制御部８２２は、撮影した窓の画像を解析して、遠隔操作可能な部分（窓の可動部分）を特定し、図２４（ａ）に示すように、携帯機器８０の表示部８０４に窓の画像に遠隔操作可能な部分を示す破線枠を重畳させて表示する。

次いで、ステップＳ１２６では、制御部８２２は、表示部８０４に表示された画像に対してユーザによる操作がなされたか否かを判断する。例えば、制御部８２２は、ユーザが表示部８０４（操作部８０６（タッチパネル部分））に表示された破線枠を指でスワイプすることで、窓の開閉の操作がなされたか否かを判断する。操作されていない場合は、ステップＳ１２６の判断は否定されて、ステップＳ１３４に移行する。

一方、操作された場合は、ステップＳ１２６の判断は肯定されて、制御部８２２は、ステップＳ１２８に移行する。ステップＳ１２８に移行すると、制御部８２２は、表示部８０４に表示されている遠隔操作が可能な部分を示す画像（破線枠）を、ユーザの操作に応じて移動させる。図２４（ｂ）は、右側の窓に対応する破線枠がユーザの操作に応じて移動された場合を示している。

次いで、ステップＳ１３０では、制御部８２２は、ユーザによる操作内容を解析して、ユーザの操作に応じた動作を実行機器９０に実行させるための制御信号を生成する。例えば、制御部８２２は、ユーザが表示部８０４に表示された破線枠をスワイプした方向や距離を解析して、当該方向や距離に対応する開閉動作を実行機器９０に実効させるための制御信号を生成する。

次いで、ステップＳ１３２では、制御部８２２は、生成した制御信号を実行機器９０に無線通信により送信する。ステップＳ１３２の後、又はステップＳ１２６の判断が否定された後は、ステップＳ１３４において、制御部８２２は、遠隔操作が終了したか否かを判断する。この場合、制御部８２２は、例えば、ユーザが操作部８０６又はマイク８０８を介して遠隔操作が終了したことを入力したか否かを判断する。このステップＳ１３４の判断が否定された場合には、ステップＳ１２６に戻るが、ステップＳ１３４の判断が肯定された場合には、制御部８２２は、操作プログラムの実行（図２２の処理）を終了するとともに、図２１の全処理を終了する。

これに対し、実行機器９０の制御部９０８では、図２３（ａ）の処理においてステップＳ１４２が実行された後から、図２３（ｂ）の処理を開始する。図２３（ｂ）の処理を開始すると、制御部９０８は、ステップＳ１５０において、制御信号を受信するまで待機する。この場合、制御部９０８は、携帯機器８０の制御部８２２において、図２２のステップＳ１３２の処理が行われた段階で、ステップＳ１５２に移行する。ステップＳ１５２では、制御部９０８は、制御信号に基づいて、動作部９０２に操作対象物の動作（ここでは、窓の開閉動作）を実行させる。なお、図２４（ｃ）には、図２４（ａ）、図２４（ｂ）のユーザの操作に応じて窓が開放された後の状態が示されている。このように、本第４の実施形態では、携帯機器８０を用いた操作対象物の遠隔操作が可能となる。

以上詳細に説明したように、本第４の実施形態によれば、携帯機器８０の制御部８２２は、表示部８０４に表示された窓の画像に対するユーザの操作内容（窓の開閉）を実行するための制御信号を生成し（Ｓ１３０）、この制御信号を窓に設けられた実行機器９０に送信する（Ｓ１３２）。そして、実行機器９０の制御部９０８は、受信した制御信号に基づいて、窓の開閉を実行する（Ｓ１５２）。これにより、ユーザは携帯機器８０の表示部８０４に表示された窓の画像に対する操作部８０６を用いた直感的な操作により、窓の開閉を行うことができるため、ユーザの利便性を向上させることができる。

また、本第４の実施形態では、制御部８２２は、遠隔操作が可能な部分を示す画像（破線枠等）を撮影した画像に重畳させて表示しているので（Ｓ１２４）、ユーザは操作可能な部分を容易に把握することができる。

また、本第４の実施形態では、制御部８２２は、表示部８０４に表示された画像に対するユーザの操作に応じて、遠隔操作が可能な部分を示す画像（破線枠）を移動させているので（Ｓ１２８）、ユーザは携帯機器８０上で遠隔操作の内容を視覚的に把握することができる。なお、遠隔操作が可能な部分を示す画像を移動させる代わりに、撮影した窓の画像の一部を切り抜いて位置を変更して元の窓の画像に貼り付けてもよい。

また、本第４の実施形態では、制御部８２２は、実行機器９０から遠隔操作をするための操作プログラムを逐次受信するので（Ｓ１２２）、記憶部８１８に操作対象物それぞれの操作プログラムを予め記憶しておかなくてよい。これにより、記憶部８１８における記憶量を削減することができる。

なお、上記第４の実施形態では、撮像部８０２で撮影された静止画像を用いて遠隔操作を行う場合を説明したが、撮像部８０２によるライブビュー画像を用いて遠隔操作を行ってもよい。

なお、上記第４の実施形態では、制御部８２２は、ステップＳ１１４において、撮影した画像を画像認識することで撮影した物体が窓であることを特定できる場合には、当該特定した情報に基づいて、操作対象物の機器ＩＤを特定してもよい。

なお、上記第４の実施形態では、携帯機器８０を用いて窓の開閉を遠隔操作する場合について説明したが、これに限らず、その他の操作対象物を遠隔操作することとしてもよい。以下、操作対象物の例について説明する。

（操作対象物が時計の場合）
図２５（ａ）〜図２５（ｃ）には、時計を遠隔操作する場合の例が示されている。なお、実行機器９０は、時計に内蔵された針を駆動する機構であるものとする。操作対象物として時計が撮影されると、図２５（ａ）のように、撮影された時計の画像の針の部分に遠隔操作が可能であることを示す画像（破線枠）が重畳表示される。この場合において、図２５（ｂ）のように、ユーザが破線を指で移動（スワイプ）することで、実行機器９０の動作部９０２は、図２５（ｃ）のように、時計針の位置を移動させる。

（操作対象物がテレビの場合）
図２６（ａ）〜図２６（ｃ）は、テレビの音量を遠隔操作する場合の一例を示す図である。この場合、実行機器９０は、テレビに内蔵された音量調整部であるものとする。図２６（ａ）のように、撮影されたテレビの画像のスピーカー部分に遠隔操作が可能であることを示す画像（破線枠）が重畳表示される。図２６（ｂ）のように、ユーザが破線枠（スピーカー部分）を指でスワイプすることで、実行機器９０の動作部９０２は、図２６（ｃ）のように、テレビの音量を変更する。なお、一例として、ユーザがスピーカー部分を下から上にスワイプすることで音量を上げることができ、上から下にスワイプすることで音量を下げることができる。

図２７（ａ）〜図２７（ｃ）は、テレビのチャンネルを遠隔操作する場合の一例を示す図である。この場合、実行機器９０は、テレビに内蔵されたチャンネル変更部であるものとする。図２７（ａ）のように、撮影されたテレビの画像の画面部分に遠隔操作が可能であることを示す画像（破線枠）が重畳表示される。図２７（ｂ）のように、ユーザが破線枠で囲まれた画面部分を指でスワイプすることで、実行機器９０の動作部９０２は、図２７（ｃ）のように、テレビのチャンネルを変更する。なお、図２６（ａ）の破線枠と、図２７（ｂ）の破線枠を同時に表示部８０４に表示することとしてもよい。

（操作対象物がエアコンの場合）
図２８（ａ）〜図２８（ｃ）は、エアコンの風向きを遠隔操作する場合の一例を示す図である。この場合、実行機器９０は、エアコンに内蔵された風向変更部であるものとする。図２８（ａ）のように、撮影されたエアコンの画像の風向調整部分に遠隔操作が可能であることを示す画像（破線枠）が重畳表示される。図２８（ｂ）のように、ユーザが破線枠で囲まれた風向調整部分を指でスワイプすることで、実行機器９０の動作部９０２は、図２８（ｃ）のように、エアコンの風向きを変更する。なお、エアコンの遠隔操作は、風向のほか、風量や設定温度の調整操作であってもよい。

（操作対象物がロボット掃除機の場合）
図２９（ａ）〜図２９（ｃ）は、ロボット掃除機３６を遠隔操作する場合の一例を示す図である。この場合、実行機器９０は、ロボット掃除機３６に内蔵された移動部であるものとする。図２９（ａ）のように、撮影された画像に含まれるロボット掃除機に遠隔操作が可能であることを示す画像（破線枠）が重畳されて表示される。図２９（ｂ）のように、ユーザがロボットを囲む破線を指で任意の位置に移動させることで、実行機器９０の動作部９０２は、図２９（ｃ）のように、ロボット掃除機の位置を移動させる。

（操作対象物が自動ロボットの場合）
図３０（ａ）〜図３０（ｃ）は、自動ロボット３９による搬送対象物（ボール３８）の移動を遠隔操作する場合の一例を示す図である。この場合、実行機器９０は、自動ロボット３９の駆動部であるものとする。本例では、図３０（ａ）のように、撮影された画像に含まれる搬送対象物（ボール３８）に遠隔操作が可能であることを示す画像（破線枠）が重畳されて表示される。この場合において、図３０（ｂ）のように、ユーザがボールを囲む破線枠を指で箱まで移動させると、実行機器９０の動作部９０２は、図３０（ｃ）のように、自動ロボット３９がボール３８を箱に移動するように制御する。

なお、上記第４の実施形態では、制御部８２２は、実行機器９０から受信した操作プログラムに基づいて、予め遠隔操作が可能な部分を示す画像（破線枠）を撮影画像に重畳表示する場合について説明した。しかしながら、これに限らず、例えば、表示部８０４に表示された撮影画像に対してユーザが操作したい部分を指でタッチした場合に、制御部８２２が、当該部分の遠隔操作が可能であるか否かを判断し、操作可能である場合には、当該部分に遠隔操作が可能であることを示す画像（破線枠）を重畳表示するようにしてもよい。

なお、上記第４の実施形態では、携帯機器８０と実行機器９０とが直接通信を行う場合について説明したが、例えばホームサーバ等を介して携帯機器８０と実行機器９０とが通信を行ってもよい。

なお、上記第４の実施形態において、制御部８２２は、撮像部８０２から取得した画像に複数の操作対象物がある場合には、ユーザに操作したい操作対象物を選択させ、選択された操作対象物に対して遠隔操作を行うようにしてもよい。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した各実施形態は本発明の好適な実施の例であり、適宜組み合わせることができる。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

１０、８０ 携帯機器
２０、２０Ａ 情報処理装置
３０ ネットワーク
３２ 商品ＤＢ
３４ 登録ＤＢ
４０ カスタム設定画面
４１ 商品名
４２ 画像表示領域
４３ 画像
４４ａ〜４４ｄ、４６ａ〜４６ｃ、４８ａ〜４８ｄ タッチ操作ボタン
４５ スケールバー
６０ 移動手段用機器
７０ 配達物用機器
９０ 実行機器
１０２、２１０、８０２ 撮像部
１０４、２０４、８０４ 表示部
１０６、２１２、８０６ 操作部
１０８、８０８ マイク
１１０、８１０ スピーカー
１１２、６０６、８１２ 位置検出部
１１４、２０６、７０２、８１８、９０４ 記憶部
１１６、６０４、７０４ 近接通信部
１１８、２０２、６０２、８２０、９０６ 通信部
１２０、２０８、６０８、７０６、９０８ 制御部
８１４ 加速度センサ
８１６ 地磁気センサ
９０２ 動作部
５００、６００、７００、８００ 電子機器システム

Claims (12)

1. 注文に関する情報を表示する処理と、
   前記注文に関するカスタム設定の入力を受け付ける処理と、
   前記注文に関する情報と、前記カスタム設定に関する情報と、を、外部機器に送信する処理と、をコンピュータに実行させるプログラム。
2. 前記表示する処理では、撮像部が撮像した画像データを、前記注文に関する情報として表示する請求項１に記載のプログラム。
3. 前記受け付ける処理では、前記撮像部が撮像した画像データに基づき、前記カスタム設定の入力を受け付ける請求項２に記載のプログラム。
4. 前記受け付ける処理では、表示された前記注文に関する情報に対する操作に基づき、前記カスタム設定の入力を受け付ける請求項１〜３のいずれか一項に記載のプログラム。
5. 前記受け付ける処理では、近接通信を行う近接通信部が取得した情報に基づき、前記カスタム設定の入力を受け付ける請求項１〜４のいずれか一項に記載のプログラム。
6. 前記表示する処理では、前記カスタム設定に関するメニューを表示する請求項１〜５のいずれか一項に記載のプログラム。
7. 前記メニューは、階層構造を有する請求項６に記載のプログラム。
8. 前記受け付ける処理において受け付けた前記注文に関するカスタム設定に基づいて、前記注文に関する情報を更新する処理、をコンピュータに実行させる請求項１〜７のいずれか一項記載のプログラム。
9. 外部機器から、注文に関する情報と前記注文に関するカスタム設定に関する情報との入力を受け付ける処理と、
   前記注文に関する情報と、前記カスタム設定と、を解析する処理と、
   前記解析する処理による解析結果に応じて、前記注文に関する処理を実行する処理と、をコンピュータに実行させるプログラム。
10. 前記解析する処理では、前記注文に関する情報及び／又は前記カスタム設定の文字認識処理を実行する請求項９に記載のプログラム。
11. 注文に関する情報を表示する表示部と、
    前記注文に関するカスタム設定の入力を受け付ける受付部と、
    前記注文に関する情報と、前記注文に関するカスタム設定に関する情報と、を、外部機器に送信する送信部と、を備える電子機器。
12. 外部機器から、注文に関する情報と前記注文に関するカスタム設定に関する情報との入力を受け付ける受付部と、
    前記注文に関する情報と、前記カスタム設定と、を解析する解析部と、
    前記解析部による解析に応じて、前記注文に関する処理を実行する処理部と、を備える電子機器。

Images