以下本発明の実施の形態について、図面を参照しながら説明する。以下の実施の形態において、本発明に係る通信装置の様々な態様についての説明を行っている。ただし、請求の範囲に直接的に関連する内容は、実施の形態18である。
(実施の形態1)
本発明の実施の形態1について述べる。図1は本発明の概念図を示す。ここには、撮影装置(カメラ)1、TV(テレビ)45およびサーバ42から構成される通信システムが示されている。本図において、左側は撮影時の状況を示し、右側は撮影した画像を再生するときの状況を示す。
撮影装置1は、本発明に係る通信装置の一例(ここでは、デジタルカメラ)であり、撮影時に関連する構成要素として、第1電源部101と、映像処理部31と、第2のアンテナ20と、第1処理部35と、メディア識別情報111、撮影画像状況情報60およびサーバ特定情報48を記憶する第2メモリ52と、RF−IDのアンテナ21とを備える。また、この撮影装置1は、再生時に関連する構成要素として、第1電源部101と、第1メモリ174と、電源検知部172と、起動部170と、メディア識別情報111、撮影画像状況情報60およびサーバ特定情報58を記憶する第2メモリ52と、第2処理部95と、変調切部179と、通信部171と、第2電源部91と、RF−IDのアンテナ21とを備える。
TV45は、リーダ装置を通信路で接続された機器の一例であり、具体的には、撮影装置1で撮影された画像データを表示するのに使用されるテレビ受像機であり、表示部110と、RF−IDリーダライタ46とを備える。
サーバ42は、撮影装置1からアップロードされる画像データを保存するとともに、その画像データをTV45にダウンロードするコンピュータであり、データ50を保持するための記憶装置を備える。
景色などの被写体を撮影した場合、映像処理部31により撮影データに変換された画像データは通信が可能な条件下では、無線LAN、WiMAX用の第2アンテナ20を用いてアクセスポイントに無線で送られ、インターネットを介して、予め設定したサーバ42の中のデータ50として記録される。
このとき、第1処理部35は、撮影した画像データの撮影画像状況情報60をRF−ID47の第2メモリ52に記録する。この撮影画像状況情報60の中には、画像撮像日時と、画像撮影枚数、最終画像送信日時、画像送信枚数および最終画像撮影日時の少なくともいずれかと、アップロードされた画像、もしくは、アップロードされていない画像、最終撮影番号等が記録される。
また、サーバ42にアップロードしたデータ50を特定するためのURLを生成する。この情報画像データにアクセスするためのサーバ特定情報48が第2メモリ52の中に第1処理部35により記録される。また、このRF−IDが内蔵されているシステムが、カメラかカードかハガキか等を識別するためのメディア識別情報111も第2メモリ52に記録されている。
第2メモリ52はカメラの主電源(電池等の第1電源101)が入っているときは、カメラの主電源により動作する。カメラの主電源が入っていなくても、RF−IDのアンテナ21に外部のRF−IDリーダライタから、電力が供給されるので、電池等の電源を持たない第2電源部91が電圧を調整し、RF−ID回路部の第2メモリを含めた各ブロックに電力を供給し、それによって、第2メモリのデータを記録再生し、そのデータを送受信することができるようになる。なお、第2電源部91は、整流回路等からなり、第2アンテナ21で受信した電波から電力を作り出す回路である。第2メモリ52は主電源のオンオフにかかわらず、第2処理部95から読み書きでき、主電源がオンの場合は第1処理部35から読み書きできるように構成されている。つまり、第2メモリ52は、不揮発メモリから構成されるともに、第1処理部35と第2処理部95の双方から読み書きできる。
この撮影装置1を旅行等の撮影が終了した後、再生する場合は、図1の右側の再生時に示すように、撮影装置1をTV45のRF−IDリーダライタ46に近づける。すると、RF−IDリーダライタ46によりアンテナ21を介して、RF−ID47に電力が供給され第2電源部91により、撮影装置1の主電源(第1電源101)がオフであってもRF−ID47の各部に電源が供給される。第2処理部95により第2メモリ52の撮影画像状況情報60とサーバ特定情報58が読み出されアンテナ21を介してTV45に送られる。TV側はサーバ特定情報58に基づきURLを生成し、サーバ42のデータ50の画像データをダウンロードし、画像のサムネイル等を表示部110に表示する。撮影画像状況情報60によりアップロードされていない撮影画像があると判断された場合は、その旨を表示部110に表示するとともに、場合により撮影装置1を起動させ、アップロードされていない画像データをサーバ42へアップロードさせる。
図2の(a)と(b)と(c)は、内蔵本発明の撮影装置1の外観の正面図と背面図と右側面図を示す。
図2の(c)に示すように右側面には、無線LAN用のアンテナ20とRF−ID用のアンテナ21が内蔵され、電波非遮蔽材料からなるアンテナカバー22が取り付けられている。RF−IDは13.5MHzで無線LANは2.5GHzであり、同波数が大きく異なり互いに干渉することがない。このため2つのアンテナ20、21を図2の(c)に示すように、外部からみて、重なるように構成する。これにより設置面積を小さくできるため、撮影装置を小型化することができるという効果が得られる。また2つのアンテナのアンテナカバー22を、図2の(c)に示すように1つにまとめることができるため電波非遮蔽材料部を最小にできる。プラスチック等の電波非遮蔽材料は金属に比べると強度が低いため、この材料を最小にすることによりボディの強度の低下を軽減できるという効果がある。レンズ6と電源スイッチ3である。2〜16は後で説明する。
図3は撮影装置1のブロック図を示す。
撮像部30から得られた画像データは、映像処理部31を介して記録再生部32に送られ、第3メモリ33に記録される。このデータは脱着可能なICカード34に記録される。
これらの処理は、CPU等の第1処理部35により指示される。撮影された写真や動画等の画像データは暗号部36と通信部37の送信部38と第1アンテナ20により無線LANやWiMAZ等の無線でアクセスポイント等に送られ、インターネット40を介してサーバ42に送られる。つまり、写真等の画像データがアップロードされる。
通信状態が悪い場合や近くにアクセスポイントや基地局がない等の理由で、一部の画像データがアップロードできない場合がある。この場合、サーバ42にアップロードされた画像と、まだアップロードされていない画像が混在する。この場合、サーバ42の画像のデータと撮影した画像のデータに差異が生ずる。詳しくは後でするが、本発明の場合、TV45等に付いているRF−IDリーダライタ46で、撮影装置1のRF−ID47の第2メモリ52のサーバ特定情報48等を読み取り、このデータを用いてサーバ42のURL等を生成し、このURLを用いてTV45からサーバ42にアクセスし、撮影装置1がアップロードしたファイルやフォルダ等のデータ50にアクセスし、撮影装置1で撮影した画像のうちアップロードした画像をダウンロードしTV45に表示させる方式を採っている。
もし、実際撮影した画像の一部もしくは全部がサーバ42のデータ50の画像データの中にアップロードされていないと、TV45にダウンロードした場合、実際に撮影した画像の一部がTV45で視聴できないという課題が発生することが考えられる。
この課題を解決するため、本発明では、第1処理部35の撮影画像の状況データを記録再生部51により第2メモリ52の撮影画像状況情報55にアップロード状況等を記録する。
図4を用いて詳細に説明する。第2メモリ52には、サーバ42の画像データとカメラが撮影した画像データが一致しているか、言い換えると、同期しているかを示す同期情報56が記録される。本発明では、TV45が第2アンテナ21を介して、第2メモリ52の中の撮影画像状況情報55を読み取る。このためサーバのデータ50に不足した画像がないかどうかを即座に確認できる。もし、未アップロードの画像があるときはその結果をTV45の表示部に表示し、視聴者に「画像のアップロードをして下さい」の表示を出すか、RF−IDのアンテナ21経由でカメラに命令を出し、起動部170に起動信号を送り強制的に撮影装置1の第1電源部101を起動させ、撮影装置1の第1メモリ174等の中の未アップロード画像を無線LAN、もしくは有線LAN、もしくはRF−ID用の第2アンテナ21等を介してサーバ42にアップロードさせる。
RF−IDのアンテナ21経由の場合は伝送量が小さいため、元の画像データをそのまま、送ろうとするとアップロードと画像の表示に時間がかかり使用者に不快感を与える。これを避けるために、本発明では、アンテナ21経由の場合、未アップロード画像のサムネイル画像を送る。これにより、見かけ上のアップロード時間や表示時間を短縮でき、使用者に不快感を与えることを軽減できる。現在のHF帯のRF−IDでは数百kbpsの伝送量の場合が多いが、4倍速も検討されている。この場合、数Mbpsを実現できる可能性がある。未アップロード画像のサムネイル画像データを送れば、1秒間に数十枚の画像を送ることができる。一覧表示の場合は一般ユーザが容認できる時間内に未アップロード画像を含めた全画像をTVに表示させることができるという効果がある。この方法は1つの現実的な方法といえる。
このように撮影装置を強制的に起動させ未アップロード画像を送る場合、無線LAN、RF−IDのアンテナ21、有線LANのうち、最も速度が速く、安定している経路を用いてアップロードやTVへの表示を行う。第2アンテナ21に信号を送る通信部171は第2アンテナ21を介して外部から電源供給を受ける状況においては低速の変調方式を用いて通信を行うが、第1電源部101等から電源供給を受けられる状況においては必要に応じて、変調方式をQPSK、16QAN、64QAN等の信号点数の多い変調方式に切り替え伝送を高速化させ未アップロードの画像データを短時間でアップロードする。なお、電源検知部172により第1電源等の余力が少ないことや外部電源が非接続であること等を検出すると第1電源部101からの電力供給を止め、変調方式切替部175により通信部171の変調方式を信号点数の少ない変調方式や、伝送レートの少ない変調方式に切り替える。このことにより第1電源部101の規定値以下の容量低下を未然に防ぐことができる。
また、別の電力対策として、電力に余裕がない場合は第2処理部95や通信部171等は第2アンテナ21を介してTV45のRF−IDリーダライタ46に電力増加要求信号を送り支援を要求する。これに応えてRF−IDリーダライタは送信電力をRF−ID読み取り時の電力の規定値より多い値に増加させる。RF−ID側はアンテナ21を介して受ける供給電力量が増加するので、通信部171もしくは第1処理部35へ電力を供給することができる。この方法により、第1電源部101の電池100の電力量がへることがなくなる。もしくは電池100がなくても送信作業を実質的に無限に継続できるという効果がある。
また別の方法として、図3のアップロード画像データ情報60を用いてもよい。アップロードした画像の情報61、例えば、写真番号等を記録する。この情報をハッシュした情報62を用いてもよい。この場合、情報量が減るという効果がある。
このデータを用いると、TV45がこのデータを読み取り、カメラの撮影した画像の情報と比較することにより、未アップロードの画像の情報を得ることができる。
別の方法として、未アップロード画像データの存在識別情報63を用いることができる。未アップロード画像データが存在するかどうかの存在識別子64により未アップロード画像の有無を知らせることができるので、第2メモリ52の情報を大幅に削減することができる。
未アップロード画像の枚数65でもよい。この場合、TV45に読み取らせることができるため、アップロードが必要な枚数を視聴者に知らせることができる。この場合、枚数に加えて、データ容量を撮影画像状況情報55として記録しておくと、未アップロード画像をアップロードするための予測時間をより正確にTV45に表示させることができる。
また、未アップロード画像情報をハッシュした情報67を用いてもよい。
また、第2メモリ52に最後に撮影した時間68を記録することにより後にTV45から読み出しサーバ42に接続したときにサーバ42の最終アップロードした画像の撮影日と比べることにより簡易的に未アップロード画像の有無を判定することができる。また、古い順から画像番号を付与していく方式において撮影した画像の最終番号69のみを記録していくことにより、サーバにアップロードされた画像の最後の画像番号と照合することにより未アップロード画像があるかどうかの情報を得ることができる。また、撮影した画像の情報70、例えば、撮影した画像の画像番号のすべてを第2メモリ52に記録しておく。すると、後でサーバ42にアクセスしたときにサーバ42にアップロードされた画像データと比較することにより未アップロードデータがあるかどうかを判断できる。この場合、撮影した画像情報をハッシュした情報71を用いることによりデータを圧縮できる。
第2メモリ52の他の情報として、RF−IDのUID75、カメラID部76、メディア識別情報111が記録されている。これらはカメラの主電源(時計のバックアップ等のサブ電源を除く)が入っていなくても、TV45から第2アンテナ21を介して読み取られ、カメラやユーザの識別や機器の認証に使われる。海外旅行等から帰ってきたときはバッテリの充電量が少ない場合が多いが本発明の場合、バッテリがなくても動作し情報を送るため利便性に優れている。メディア識別情報111はRF−IDを内蔵した機器、もしくは、メディアが、カメラ、ビデオ、ハガキ、カード、携帯電話であるかを示す識別子等が入っている。TV45側では、この識別子により機器、メディアを特定できるため、画面上にカメラやハガキのマークやアイコンを、後述する図22に示すように表示させたり、識別情報に応じて処理を変更したりすることができる。
また、画像表示方法指示情報77が記録されているが、例えば、図5の一覧表示78がONの場合は、TV45のRF−IDリーダライタ46に第2アンテナ21を近づけたときに写真等のサムネイルの画像データを一覧表示させる。
スライドショー79がONのときはTV45に画像データを新しい順、もしくは古い順から1枚ずつ、次々と表示させる。
第2メモリ52の図の下部には、サーバ特定情報48の記録領域が設けられている。
これにより、カメラ操作者の好みに合った表示方法でTV画面に表示される。
この中にはサーバURLを生成するための元情報となるサーバURL生成情報80があり、サーバアドレス情報81やユーザ識別情報82を記録するための領域が設けられており、具体的にはログインID83等が記録される。また、パスワード84を記録するための領域があり、場合により暗号化されたパスワード85が記録される。これらのデータは撮影装置1の内部やRF−ID47の内部、もしくは、カメラの内部、もしくは、TV45側に設けられたURL生成部90によりサーバ42の中の、この撮影装置、もしくは、ユーザに対応する画像データ群にアクセスするためのURLが生成される。このURL生成部90がRF−ID47の中にあるときは第2電源部91により電源供給される。
また、URL92を作成して直接、第2メモリ52に記録してもよい。
この第2メモリ52のデータはRF−ID側の第2処理部95とカメラ側の第1処理部35のどちらからでもデータを読める点が特長となる。
したがって、TV45がカメラのRF−ID47を読みにいった場合は、アップロード状況情報やサーバアドレスやログインID、パスワードが瞬時に得られるためのサーバ42の中のこのカメラに対応する画像データをダウンロードしてTV45に高速に表示できるという効果がある。
この場合、撮影装置1の主電源が入っていなくても、RF−IDリーダライタから電源が第2電源部91に供給されるため動作するという効果がある。したがって、撮影装置1の電池100の電力が減らない。
図3に戻ると、電池100から第1電源部101は電力の供給を受け、カメラの各部に電源を供給する。しかし、休止状態においては第3電源部102により、時計103等に微弱な電源を供給する。場合によっては第2メモリ52の一部のメモリにバックアップ電力を供給する。
RF−ID47は第2アンテナからの電力を受け、第2電源部91を動作させ、第2処理部95かデータ受信部105、記録部106、再生部107、データ転送部108(通信部171)や第2メモリ52を動作させる。
このためカメラの休止状態においてはまったく電力を消費しないため、カメラの電池100を永く持たせることができる。
カメラ、カード側の処理とTV、RF−IDリーダライタ側の処理を図7のフローチャートを用いて述べる。
図7のステップ150aで主電源がOFFのとき、ステップ150bで主電源OFF時のRF−IDリーダライタの起動設定がされているかをチェックし、Yesならステップ150cでRF−IDリーダライタ46をONにして、ステップ150eでRF−IDリーダライタの省電力モードに入る。
ステップ150fではアンテナ部のインピーダンス等を測定もしくは近接センサの測定をして、ステップ150gでRF−IDをRF−IDリーダライタのアンテナに近づけると、ステップ150gで近接もしくは接触したかを検地した場合は、ステップ150hでアンテナに電力の出力を開始し、ステップ150kで第2電源がONし、第2処理部が動作開始し、ステップ150mで交信を開始する。
ステップ150で受信すると、図8のステップ151aで相互認証を開始し、ステップ151fで相互認証を開始し、ステップ151b、151gで相互認証がOKなら、ステップ151dで第2メモリのデータを読み出し、ステップ151eで第2メモリのデータを送信し、ステップ151iでRF−IDリーダライタは第2メモリのデータを受信し、ステップ151jで第2メモリの識別情報等が正しいかをチェックし、OKならステップ151mでTV45側に自動電源ONの識別情報ありかを見て、Yesならステップ151rでTVの主電源がOFFかをチェックして、OFFならば図9のステップ152aでTVの主電源をONして、ステップ152bで第2メモリ52に強制表示命令がある場合は、ステップ152dでTVの入力信号をRF−IDの画面表示信号に切り替えるとともに、ステップ152eでフォーマット識別情報を読み、ステップ152fでフォーマット識別情報に応じて第2メモリを読み出し、データフォーマットを変えて該当するデータを読み、ステップ152gで第2メモリ部に「パスワード要求フラグ」がある場合はステップ152hで第2メモリの「パスワード入力不要のTVのID」を読み、ステップ152iで自機のTVのIDと「パスワード入力不要のTVのID」が一致しないときは、ステップ152qで第2メモリからパスワードを読み、ステップ152vでパスワードの暗号を復号し、ステップ152sでパスワードを送信する。なお、ステップ152q、152r、152sはサーバ42が保持するデータ50としてサーバ42が備える記憶装置にパスワードを記録してもよい。
ステップ152jでパスワードを入手、ステップ152kでパスワード入力画面を表示し、ステップ152mで入力されたパスワードが正しいかをチェックする。この作業はサーバ42で行ってもよい。OKならRF−IDの第2メモリの情報やプログラムに基づく表示を行う。
図10のステップ153aで、第2メモリのRF−IDのメディア識別情報111がカメラならステップ153bでカメラのアイコン(文字)をTVの表示部に表示し、カメラでなかったらステップ153cで、郵便ハガキならステップ153dで郵便ハガキのアイコンを表示部に表示し、ステップ153eでICカードであることがわかれば、ステップ153fでICカードのアイコンを表示部に表示し、ステップ153gで携帯電話あることがわかれば、携帯電話のアイコンをTV画面の角に表示させる。
図11のステップ154a、154iでサーバもしくは第2メモリからサービス内容識別情報を読み取り、ステップ154cで画像表示サービスかをステップ154bでダイレクトメール等のハガキサービスか、ステップ154dで広告サービスか、をチェックし、ステップ154fと154jで第2メモリからサーバ特定情報48を得て、もし第2メモリにURL92がない場合はステップ154hと154kに進み、サーバアドレス情報81とユーザ識別情報82を得て、図12のステップ155a、155pでは第2メモリから暗号化されたパスワードを得て、ステップ155bで復号されたパスワードを得て、ステップ155cで上記情報からURLを生成して、第2メモリにURL92がある場合も含めてステップ155dで通信部とインターネットを介してURLのサーバにアクセス、ステップ155kでサーバ42と接続開始して、ステップ155qで動作プログラム存在識別子119を読み、ステップ155eで動作プログラム存在識別子があるか、ステップ155fで複数の動作プログラムもある場合は、ステップ155rで動作プログラム選択情報118を読み、ステップ155gで動作プログラム選択情報が設定されている場合は、ステップ155hで特定の動作プログラムのディレクトリ情報を選択し、ステップ155sで第2メモリの動作プログラムのサーバ上のディレクトリ情報117を読み、ステップ155iでサーバ上の特定ディレクトリの動作プログラムにアクセスし、ステップ155mで動作プログラムを送出もしくはサーバ上で稼動させ、ステップ155jで動作プログラムの稼動を開始(TV側もしくはサーバ側)させ、図13のステップ156aで画像利用サービスかをチェックし、Yesならステップ156bで未アップロード画像データの確認作業を開始する。
ステップ156iで未アップロードデータ存在識別子64を読み、ステップ156cで未アップロードデータ存在識別子64がONの場合は、ステップ156dで未アップロード画像の枚数66とデータ容量65を読み、ステップ156eで未アップロード画像の枚数66を表示し、未アップロードデータ容量65からデータのアップロード予測時間をTVの表示部に表示し、ステップ156fで、もしカメラ側が自動画像アップロード可能状態にある場合は、ステップ156gでカメラを起動し、第1アンテナ20もしくは第2アンテナ21等を介して、無線もしくは、接点による有線で、サーバに未アップロードデータをアップロードし、完了すると図14のステップ157aへ進み、ステップ157aで課金プログラムがあるかをチェックし、NOの場合はステップ157nで図6の画像表示方法指示情報の識別子121を読み、ステップ157bで画像表示方法識別情報がサーバにあるかをチェックし、Yesならステップ157pで画像表示方法指示情報が記録されているサーバ上のディレクトリ情報120を読み出し、ステップ157cでUID等に対応した画像表示方法指示情報が記録されているサーバ上のディレクトリ情報120を読み、ステップ157dでサーバ上の画像表示方法指示情報をサーバから得て、ステップ157fへ進む。
ステップ157bがNOの場合はステップ157eに進み、画像表示方法指示情報をカメラより得て、ステップ157fに進む。
ステップ157fでは画像表示方法指示情報に基づいて表示を開始、ステップ157gで全画像表示識別子123を読み、ステップ157gで全画像表示ならステップ157rで全画像を表示し、NOならステップ157sの特定ディレクトリ124の一部画像をステップ157hで表示し、ステップ157iで一覧表示125ならステップ157tの表示順序識別子122を読み、ステップ157jで表示順序識別子に基づき、日付順、アップロード順に表示し、ステップ157vでスライドショー識別子126を読み、ステップ157kでOKならステップ157mで表示順序識別子122に基づき表示を行い、第2メモリから画質優先127を読み出し、図15のステップ158aで表示方法が画質優先でない場合はステップ158qで速度優先128かどうかをチェックし、ステップ158bで速度優先ならステップ158cで表示音声サーバにあるかを調べ、ステップ158sで音声のサーバのディレクトリ130を調べ、ステップ158aで表示音声のサーバ上のディレクトリにアクセスし音声を出力させる。
ステップ158eで優先表示画像が全画像でないならステップ158fで一部画像を選び、ステップ158vまたはステップ158wで特定ディレクトリ124の情報を入手(ステップ158g)し、ステップ158hで特定ディレクトリの画像を表示する。ステップ158iのように全画像表示してもよい。ステップ158jで表示が完了すると、ステップ158kで「別の画像を見るか」の表示をして、Yesの場合はステップ158mで別のディレクトリの画像のメニューを表示する。
図16のステップ159aで特定使用者の画像を要求されると、ステップ159mで特定使用者全画像132のデータと特定使用者のパスワード133を得て、ステップ159bで特定使用者のパスワードを要求して、ステップ159cで正しければ、ステップ159pで画像リストが入ったファイルのディレクトリ情報134を読み、ステップ159dで特定使用者の画像リストが入ったディレクトリをアクセスし、ステップ159rでサーバの特定ディレクトリから画像データをダウンロードし、ステップ159eで特定使用者の画像を表示する。
ステップ159fで色補正ルーチンを開始し、ステップ159gでカメラIDとカメラID部76からカメラ機種情報を読み出し、ステップ159hと159tでカメラ機種の特性データをサーバからダウンロードする。次に、ステップ159i、159uでTVの特性データをダウンロードする。ステップ159wでデータを演算し補正データを得る。ステップ159jでカメラとTVの特性データに基づき表示部の色や明るさを補正して、ステップ159kで正しい色と明るさで表示する。
図17のステップ160aで強制印刷命令がONであって、ステップ160bでカメラが近接した端末がプリンタ、もしくはプリンタに接続されている端末である場合は、ステップ160cで画像データごとのカメラ機種情報とプリンタの機種名を入手し、ステップ160dでサーバの各情報より補正データを算出し補正し、ステップ160pで印刷対象の画像データの入ったディレクトリ情報137を得て、ステップ160eで印刷対象の画像データ(ファイル名)が記録されたディレクトリのアドレスを用いてサーバにアクセスし、ステップ160mで特定のディレクトリの画像データを送出し、ステップ160fで印刷画像データを得て、ステップ160gで印刷し、ステップ160hで印刷を完了する。ステップ160iで1回印刷を完了したことを示す識別子を各画像データに記録し、ステップ160nで、サーバ上で印刷した画像データに印刷完了識別子を付与する。
次に、メディア(カメラ、ハガキ等)側のメモリに記録機能がない場合の実施例を述べる。
図8の丸3、丸4、丸5から繋がっている。まず、TV側では図18のステップ161aでTVの主電源をONにし、ステップ161kで第2メモリからUIDを読み、ステップ161bでUIDを入手し、ステップ161mでサーバ特定情報48を得て、ステップ161cでサーバのディレクトリにアクセスし、ステップ161dでこのUIDに対応したサービスの最終サーバを検索。ステップ161eで最終サーバがある場合はステップ161gで最終サーバにアクセスし、UIDリストから使用者のIDとパスワードとサービス名を読み出し、もしステップ161hでパスワードを要求する場合はステップ161iで正しいかどうか判定し、図19のステップ162aで写真やビデオのサービスかをチェックし、Yesならステップ162bで前記UIDに関連付けられているサーバの特定ディレクトリの中から対応する課金等のプログラムや表示する画像データのアドレスやファイル名を含むリストと画像表示指示情報や強制表示命令や強制印刷命令やカメラIDを読み出し、これらのデータや手順に応じて表示や印刷作業を自動的に行う。
必要に応じてパスワード入力を要求し、ステップ162cで特定の画像を印刷したい場合はステップ162dで印刷したい特定の画像データを前記UIDに対応するサーバ上、もしくはTVの印刷ディレクトリに加え、ステップ162eでTVにプリンタが接続されているか、単独のプリンタがあるかをチェックし、Yesの場合はステップ162fでプリンタのRF−IDリーダライタにこのハガキ等のメディアのRF−ID部を接近させると図20のステップ163aでプリンタは、前記メディアのUIDを読み込み、図の修正サーバ上の前記印刷ディレクトリから印刷すべき画像データもしくは画像データの場所を読み出し、その画像データを印刷させ、ステップ163bで印刷が完了し、終了する。
図19の23に続くステップ163iの次のステップ163bでショッピングサービスの場合はステップ163eで認証が正しいかチェックし、正しい場合はステップ163fで前記UIDに関連付けられているショッピング・課金プログラムをサーバから読み出し、プログラムを実行し、ステップ163gでプログラムが完了すると終了する。
次にハガキに内覧されたRF−IDのデータをRF−IDリーダなしで読み取る方法を述べる。
図21のステップ164aではハガキ等のメディアに付着もしくは内蔵されているとともに中継サーバのURL情報が記録されている第2のRF−IDの外の面にはUIDと中継サーバの第1URLを特定するデータが2次元バーコードで印刷され表示されている。
ステップ164bでは主サーバとの通信機能を持つとともに第1のRF−ID部を待ち、この中に主サーバの第1URL情報が記録されているカメラがあり、このカメラの撮影部により、前記2次元バーコードを光学的に読み取り、第2のRF−IDのUIDと中継サーバの第2URLを特定するデータに変換する。
ステップ164cで上記変換したデータをカメラのメモリに記録する。
ステップ164dではカメラで撮影した画像から特定の画像群を選び、主サーバ上の特定の第1ディレクトリに記録する。同時に第2URLの中継サーバ上の特定の第2ディレクトリに主サーバの第1URL情報とともに第1ディレクトリ情報をアップロードする。特定の第2RF−IDのUIDを前記第2ディレクトリに関連付けるための情報を前記第2URLの中継サーバにアップロードし、ステップ164eでハガキ等のメディアを特定者に郵送する。
ステップ164fでハガキを受け取った者がハガキのRF−ID部をTV等のRF−IDリーダ部に近づけ、中継サーバの第2URLとハガキのUIDを得る。
ステップ164gでは第2URLの中継サーバにアクセスし、前記UIDに関連付けられた第2ディレクトリの中のプログラムもしくは、かつ特定の画像データが記録されている主サーバの第1URLと第1ディレクトリ情報を取り出し、主サーバから画像データをダウンロードし、TV画面上に表示する。この場合、一般的に商品やハガキに印刷されている、サーバサーバ情報を記録した2次元バーコードを本発明の撮影装置の撮像部により読み取り、2次元バーコードの情報をデジタルデータとして、RF−ID部の第2メモリに記録し、TVのRF−IDリーダにこのデータを読み取らせることにより、2次元バーコード用の光学センサのないTVでも間接的に2次元バーコードのデータを読み取り、サーバ等に自動的にアクセスすることができる。
図22(a)はTV45のRF−IDのアンテナ138に撮影装置1を近づけたときの表示状態を示す。
撮影装置1をアンテナ138に近づけると、前述のようにカメラであることを認識するためのカメラのアイコン140を表示する。
次に、未アップロードの画像が何枚(例:5枚)あるかわかるので5枚の空白画像142a、142b、142c、142d、142eをカメラのアイコン140から出てきたが如く表示させる。
このことにより、「モノから情報」への「タンジブル」な画像が表示されるため、ユーザが、より自然な感覚で画像を見ることができる。
データがサーバにある実画像は143a、143b、143cのように、同様にタンジブルに表示される。
図22(b)はハガキ139にRF−IDが埋め込まれている場合を示す。TV45のRF−IDリーダライタ46により、ハガキの属性情報が読み込まれるため、図に示すようにTV45の左下の角にハガキのアイコン141が表示され、(a)と同様にサーバの画像やメニュー画面がタンジブルに表示される。
以下に、図4の中で示された動作プログラム116を、撮影装置1のRF−ID47の通信対象となる機器である図3のTV45に送信し、このRF−ID部の通信対象となる機器が、送信されたプログラムを実行する処理の詳細について説明する。
図23は、撮影装置1のRF−ID47の通信対象となる機器が、送信されたプログラムを実行する処理の行うブロック図である。本図には、撮影装置1の一部(RF−ID47、第2アンテナ21)、テレビ(TV)45、および、TV45のリモコン827から構成される通信システムが図示されている。ここで、撮影装置1は、赤外線通信路でTV45と接続されたRF−IDリーダライタ46との間で近接無線通信を行うRF−ID47を有するカメラであって、近接無線通信用のアンテナ21と、RF−IDリーダライタ46から供給される入力信号を、アンテナ21を介して受信する受信部105と、少なくとも通信装置を特定するための識別情報であるUID部75と、当該UID部75を参照してTV45によって実行される動作プログラム116とを記憶する不揮発性の第2メモリ52と、受信部105で受信された入力信号に応じて、第2メモリ52に記憶されたUID部75および動作プログラム116を、アンテナ21を介してRF−IDリーダライタ46に送信するデータ転送部108とを備え、データ転送部108から送信されたUID部75および動作プログラム116は、データ転送部108から、アンテナ21、RF−IDリーダライタ46および赤外線通信路を介して、TV45に転送される点に特徴を有する。以下、各構成要素を詳細に説明する。
撮影装置1のRF−ID47は、第2メモリ52を有し、第2メモリ52は、RF−ID部の通信対象となるテレビ45で動作する動作プログラム116を格納している。つまり、この動作プログラム116は、撮影装置1の識別情報を参照してTV45で実行されるプログラムの一例であり、例えば、後述するように、Java(登録商標)等の実行形式プログラム、あるいは、Java(登録商標)スクリプト等のスクリプト形式の仮想マシン用プログラムである。
RF−ID47の再生部は、第2メモリ52から撮影装置1に固有のUIDやURLを含むサーバ特定情報などの動作プログラムを実行するために必要な情報であるデータを、動作プログラム116とともに読み出し、データ転送部108および第2アンテナ21を介してテレビ45の遠隔操作を行うリモコン827のRF−IDリーダライタ46に送信される。
リモコン827のRF−IDリーダライタ46は、撮影装置1のRF−ID47から送信されたデータと動作プログラムを受信し、RF−ID記憶部6001に記憶する。
また、リモコン827のリモコン信号生成部6002は、撮影装置1のRF−ID47から送信されてRF−ID記憶部6001に記録されたデータと動作プログラムを、現在リモコン用の通信に広く利用されている赤外線方式等のリモコン信号に変換する。
リモコン信号送信部6003は、リモコン信号生成部6002で生成された動作プログラムを含むリモコン信号をテレビ45に対して送信する。
テレビ45のリモコン信号受信部6004は、リモコン827から送信されたリモコン信号を受信し、プログラム実行部6005は、例えば、Java(登録商標)等の仮想マシンであり、復号部5504を介してリモコン信号から、撮影装置1のRF−ID47から送信されたデータと動作プログラムを取得し、動作プログラムを実行する。
図24では、動作プログラムとして「撮影装置1の識別情報(ここでは、UID)を参照して、画像サーバから画像データをダウンロードし、スライドショー形式で画像を表示する」という動作を実行する処理の流れを示す。
リモコンを撮影装置1に近づけると、まず、撮影装置1のRF−ID47にリモコンのRF−IDリーダライタ46からRF−IDの通信を介して電源が供給され、第2メモリ52から、機器固有のUID75、画像サーバのURL48、動作プログラム116が読み出される(S6001)。読み出したUID、画像サーバURL、動作プログラムは、データ転送部108および第2アンテナ21によって、リモコン827に向けて送信される(S6002)。ここで、動作プログラムは、図25で示すように、サーバ接続命令6006、ダウンロード命令6008、スライドショー表示命令6010、ダウンロード完了時の処理設定命令6007、ダウンロード完了時命令6009で構成される。
リモコン827では、RF−IDリーダライタ46で撮影装置1から送信されたUID、画像サーバURL、動作プログラムを受信し(S6003およびS6004)、受信が完了すると、UID、画像サーバURL、動作プログラムをRF−ID記憶部6001に記憶する(S6005)とともに、UID、画像サーバURL、動作プログラムをリモコン信号として赤外線方式で送信できる形式に変換しておく(S6006)。そして、ユーザがリモコン827上で所定の操作入力を行い、リモコン信号を送信する指示を受け付けた場合(S6007)、UID、画像サーバURL、動作プログラムを含むリモコン信号をリモコン信号送信部から送信する(S6008)。つまり、リモコン827は、通常のリモコンとしての機能のほかに、内蔵するRF−IDリーダライタ46によって、撮影装置1からTV45に向けて、UID、画像サーバURLおよび動作プログラムを転送する中継器として機能する。
次に、テレビ45では、リモコン827から送信されたリモコン信号を受信し(S6009)、復号部でリモコン信号に含まれるUID、画像サーバURL、動作プログラムを取得する(S6010)。そして、プログラム実行部6005が、UID、画像サーバURLを使用して動作プログラムを実行する(S6011〜6015)。動作プログラムは、まず画像サーバURLを用いて通信ネットワーク上の画像サーバ42と接続を確立する(S6012および図25の6006)。そして撮像機器に固有の情報であるUIDを用いて特定の撮像機器で撮影された画像データを、画像サーバ42記憶装置に保持された画像データ50の中から選択し、テレビにダウンロードする(S6013、S6014および図25の6008)。つまり、UIDは、画像サーバ42が保持する画像データのうち、UIDが示す撮影装置1に対応付けられた画像データを選択するために用いられる。画像のダウンロードが完了すると、画像をスライドショー形式で順次表示していく(S6015および図25の6007、6009、6010)。図25の6007は画像ダウンロード完了時の処理を設定する命令であり、図25では、画像ダウンロード完了時の処理として命令6009を設定している。さらに、処理6009の中で画像のスライドショー表示を実行する処理6010をコールしている。
なお、図23および図24では、リモコン827を介して動作プログラムや動作プログラムが使用するデータを撮影装置1からテレビ45に転送したが、リモコン827のRF−IDリーダライタ46についてはテレビが備える構成であってもよい。つまり、RF−IDリーダライタ46がTVに内蔵されていてもよい。言い換えると、リーダ装置と機器とを接続する通信路は、赤外線等の無線通信路であってもよいし、有線の信号ケーブルであってもよい。
なお、上述の動作例では、UIDは、画像サーバ42が保持する画像データから撮影装置1に対応する画像データを選択するために用いられたが、画像データが置かれている画像サーバを特定するのに用いられてもよい。例えば、複数の画像サーバが存在する通信システムにおいて、UIDと、そのUIDが示す撮影装置の画像データが保存されている画像サーバとが対応付けられている場合には、そのUIDを参照して画像サーバのURLを決定するように動作プログラムを作成しておくことで、動作プログラムを実行したTV45は、UIDを参照することで、複数の画像サーバから当該UIDに対応付けられた画像サーバを特定し、その画像サーバから画像データをダウンロードすることができる。
また、撮影装置1を特定する識別情報としては、UIDに限られず、撮影装置1のシリアル番号、製造番号、MAC(Media Access Control)アドレス、MACアドレスに相当する情報(IPアドレス等)、あるいは、撮影装置1が無線LANのアクセスポイントとしての機能を備える場合には、SSID(Service Set
Identifier)、SSIDに相当する情報であってもよい。さらに、上述の第2メモリ52では、撮影装置1を特定する識別情報(UID75)は、動作プログラム116とは別個に格納されていたが、動作プログラム116の中に格納(記述)されていてもよい。
なお、リモコン信号(つまり、リーダ装置と機器とを接続する通信路)は赤外線方式を使用すると説明したが、これに限定されるものではなく、例えば、Bluetooth(登録商標)などの無線通信方式であってもよい。一般的に赤外線通信よりも高速な無線通信方式を用いることで、動作プログラム等の転送に必要な時間を短縮することができる。
なお、動作プログラムは図25で示した書式のプログラムだけではなく、他のプログラミング言語でもよい。例えば、Java(登録商標)で動作プログラムを記述すれば、Java(登録商標)VMと呼ばれるプログラム実行環境は汎用性が高いため、多様な機器での動作プログラムの実行が容易になる。また、Java(登録商標)Scriptに代表されるスクリプト形式の小さい記憶容量に記憶できるコンパクトなプログラミング言語で記述すれば、第2メモリ52で示されるRF−IDの記憶容量が小さい場合でも動作プログラムをRF−ID内部に格納することができる。また、テレビのようなプログラム実行環境を備える機器の処理負荷を軽減するために、動作プログラムは図25で示したようなソースコードとしてではなく、コンパイル等の処理を施した実行形式のプログラムであってもよい。
さらに図26と図27を用いて、RF−IDリーダを備える表示装置の固有情報に応じて、プログラムの動作を変更する処理の詳細について説明する。
図26で示すテレビ45は言語コード保持部6013を備え、プログラム実行部6005は、リモコン信号として受信した動作プログラムがサーバ42に接続する処理を行う場合に、言語コード保持部6013から言語コードを読み出して、言語コードに対応するサーバ42に接続し、そのサーバ42からサーバプログラムをダウンロードし、さらにダウンロードしたサーバプログラムを実行する。例えば言語コードが日本語であれば日本語に対応した処理を含むプログラム記憶部6011を備えるサーバ42に接続し、そのプログラム記憶部6011から取得したサーバプログラムをテレビ上で実行する。すなわち、図23で説明したような撮影装置1のRF−ID47に格納された動作プログラムは、サーバ42への接続だけを実行し、それ以外の画像を表示するといった処理の実行には、サーバからダウンロードしたサーバプログラムを使用する。
このような処理の流れを図27で説明する。撮影装置1のRF−ID47から動作プログラムや動作プログラムに必要なデータをテレビが受信する処理は図24で説明した処理と同様である。ここで、テレビ45がリモコン信号として受信したサーバ特定情報は、英語に対応したサーバ42を示すサーバアドレスと日本語に対応したサーバ42を示すサーバアドレスの2種類を含み、テレビがリモコン信号として受信した動作プログラムは、図25の6006で示したサーバへの接続命令が記述されているものとする。
テレビ45の実行環境は、テレビ45の言語コードを取得し(S6016)、言語コードが日本語であればサーバ特定情報の中から日本語に対応した処理を含むプログラム記憶部6011を備えるサーバのサーバアドレスを選択し(S6017、S6018)、言語コードが日本語でなければサーバ特定情報の中から英語に対応した処理を含むプログラム記憶部6011を備えるサーバのサーバアドレスを選択する(S6017、S6019)。次に選択したサーバアドレスを用いてサーバ42に接続し(S6021)、サーバ42からサーバプログラムをダウンロードする(S6022、S6023)。取得したサーバプログラムはテレビのプログラム実行環境(例えば、仮想マシン)で実行される(S6024)。
なお、図26と図27では言語コードの使用について説明したが、製造番号やシリアル番号のように、表示装置が販売および/または設置されている国を示す情報であってもよい。
図28に撮影装置1とTV45が無線LANやPower Line Communication(以下、PLC)などを用いてホームネットワーク6500を構成している場合を示す。撮影装置1とTV45が無線LANを通して直接通信が可能な直接通信部6501、6502を保有する場合には、撮影装置1は画像をインターネット上のサーバを介さずにTV45に送信することが可能となる。すなわち、撮影装置1自身がサーバの役割を兼ねることができる。しかし、無線LANなどのホームネットワーク6500で用いられるいくつかの通信媒体は他者に容易に傍受可能であるという特性を持つ。そのため、安全なデータ通信を行うためには相互に認証し、暗号化されたデータをやりとりする必要がある。例えば、現在の無線LAN機器ではアクセスポイントを認証端末とし、認証してほしい端末の画面上に接続可能なアクセスポイントをすべて表示し、ユーザにアクセスポイントを選択させ、WEPキーを入力することによって暗号化された通信を行っている。しかし、一般のユーザにとってはこの処理は煩雑である。また、TVなどの家電機器に無線LANが内蔵された場合には、認証することが可能な端末が多数存在することになる。集合住宅などでは隣家の端末とも通信可能であるため、ユーザが認証端末を選択するということ自体が困難となる。例えば隣家で同機種のTV6503を使用していた場合には、画面に表示される情報からユーザが自宅のTV45を識別するのは極めて困難である。
本発明ではこの課題を解決することが可能となる。本発明ではRF−IDを用いて、認証処理を行う。具体的には、上記動作プログラムとして、撮影装置1のRF−ID部47の第2メモリ52にMACアドレス58を含んだ認証プログラムを格納し、TV45のRF−IDリーダライタ46に近づけることによって、TV45に認証プログラムを受け渡す。認証プログラムにはMACアドレスと共に、認証用の暗号鍵と認証コマンドが含まれており、RF−ID47より渡された情報に認証コマンドが含まれていると認識したTV45は認証処理を行う。RF−ID47の通信部171は物理的に近接させない限り通信ができないため、宅内では傍受することが極めて困難である。また、物理的に近づけることにより情報の受渡しを行うため、隣家のTV6503やDVDレコーダ6504などの宅内の他の機器と間違った認証を行うことを回避することが可能となる。
図29にRF−IDを用いない場合の認証方法の一例について示す。ユーザはカメラやDVDレコーダなどの認証したい端末のMACアドレスと各端末の認証用の暗号鍵6511を入力する。入力されたTV45は入力されたMACアドレスを持つ端末に向かって、チャレンジ6513といわれる適当なメッセージを送信する。チャレンジを受信した撮影装置1はチャレンジメッセージ6513を、認証用暗号鍵6511を用いて暗号化し、チャレンジを送信してきた端末であるTV45に向かって返信する。返信を受けたTV45は入力された認証用暗号鍵6511を用いてチャレンジを複合する。これによって、認証用暗号鍵6511の正当性を確認し、ユーザのミスや悪意を持ったユーザの介在を防いでいる。次に、データ用の暗号鍵6512aを認証用の暗号鍵6511を用いて暗号化し、撮影装置1に向けて送信する。これにより、TV45と撮影装置1間で暗号化されたデータ通信が可能となる。さらに、DVDレコーダ6504や他の機器(6505、6506)とも同様の処理を行い、共通のデータ暗号鍵6512aを持つことにより、ホームネットワークに繋がるすべての機器間で暗号化された通信ができるようになる。
図30にRF−IDを用いた場合の認証方法について示す。RF−IDを用いた認証処理では、認証プログラム6521aを撮影装置1内で作成し、カメラのRF−ID47からTVのRF−ID部46に受け渡す。認証プログラム6521aには認証コマンドと、カメラのMACアドレスとカメラの認証用暗号鍵が含まれている。認証コマンドを受けたTVはRF−IDよりカメラのMACアドレスと認証用暗号鍵を取り出し、データ用の暗号鍵を認証用暗号鍵により暗号化し、指定されたMACアドレスに対して送信する。この送信は無線LANデバイスを用いて行われる。RF−IDを用いた認証の場合には、機械的に行われるため、ユーザの入力ミスは発生しない。また、TV45に接近するという動作が必要なことから悪意のあるユーザによる介在を回避することが可能となる。そのため、チャレンジなどの前処理動作を省略することが可能となる。さらに、物理的に近接させるという動作はユーザにどの端末とどの端末を認証させたかということを用意に認識させることが可能となる。なお、認証用暗号鍵を認証プログラムに含まない場合には、一般の公開鍵認証と同様の手法を用いて認証処理を行ってもよい。また、通信デバイスは無線LANではなくPLCやEthernet(登録商標)などのホームネットワークを構成するデバイスであればなんでもよい。また、MACアドレスはホームネットワーク内で用いられる通信端末を識別することができる固有識別情報であればなんでもよい。
図31に各端末を近接させることが困難な場合のRF−IDを用いた認証方法について示す。冷蔵庫とTVなどのように、双方ともに移動させることが困難な端末の場合には、RF−IDを用いて直接認証プログラムを受け渡すことは極めて難しい。このような場合に、本発明ではリモコン6531などの端末に付属する装置を用いて認証プログラム情報を中継してもらってもよい。具体的には、リモコン6531に内蔵したRF−IDリーダライタで冷蔵庫に内蔵したRF−IDのプログラムを読み出し、リモコン6531のメモリに記憶させ、ユーザによって移動リモコン6531を移動させる。リモコン6531をTV45に近づけると、リモコン6531のメモリ内に記憶したプログラムをTVのRF−IDに転送する。なお、リモコンからTVへの転送はRF−IDではなく、赤外線やZigBee(登録商標)などのリモコン自身に元から内蔵されている通信手段を用いてもよい。既に通信の安全性を確定された媒体であればなんでもよい。
図32にカメラ(撮影装置1)側動作のフローチャートを示す。カメラは認証モードになると、認証用の暗号鍵を作成し、タイマを設定する(S6541)。次に、RF−IDメモリ部に自身のMACアドレスと作成した認証鍵と認証コマンドを書き込む(S6542)。ユーザによって、TVのRF−IDにカメラのRF−IDが近づけられると、カメラのRF−IDメモリ内のTVのRF−IDに転送する(S6543)。最初に設定されたタイマ時間内に応答が返ってきた場合には(S6544)、応答内に含まれる暗号化されたデータ用の暗号鍵を、認証用暗号鍵を用いて復号する(S6545)。データ用暗号鍵を用いて他の機器と通信を行い(S6546)、データ通信が可能であった場合には(S6547)、認証処理を終了する。データが正しく復号できなかった場合には、認証エラーを表示し、処理を終了(S6548)する。また、タイマ時間内にTVよりの応答がなかった場合には、認証モードを解除(S6549)し、タイムアウトエラーを表示する(S6550)。
図33にTV45側動作のフローチャートを示す。RF−ID部より受信した情報に認証コマンドが含まれるかどうかを判断(S6560)する。認証コマンドが含まれない場合には、受信した情報に応じた処理を実行する(S6561)。認証コマンドが含まれる場合には、RF−ID部より受信した情報が認証プログラムであるとし、認証プログラム内に存在する認証用暗号鍵を用いて自身の持つデータ用暗号鍵を暗号化する(S6562)。さらに、認証プログラム内に指定されたMACアドレスに対して暗号化済みのデータ用暗号鍵を送信する(S6563)。
以下に、図3にて説明した撮影装置1が、TV45にて動作可能なプログラムを生成または更新し、データ送信部173から、TV45にプログラムを送信し、TV45にてプログラムを実行する形態について図面を用いて詳細に説明する。
図34は、本形態における撮影装置1の第1処理部35と第2メモリ52のブロック図であり、第1処理部35は、第2メモリ読み出し部7002、URL生成部7004、プログラム生成部7005、プログラム部品記憶部7006およびプログラム書き込み部7007によって構成される。
第2メモリ読み出し部7002は、記録再生部51を通して、第2メモリ52に記憶されている情報を読み出す部分である。
URL生成部7004は、第2メモリ読み出し部7002を介して、第2メモリ52から、UID75、サーバ特定情報48、撮影画像状況情報55および画像表示方法指示情報77を読み出し、これらの情報から、画像がアップロードされているサーバ42のアドレスであるURLを生成する。
UID75は、撮影装置1を識別するための識別情報であり、撮影装置1台ごとにユニークな番号である。URL生成部7004で生成されるURLには、UIDが含まれており、例えば、画像をアップロードする画像サーバ42においてUIDごとにユニークなディレクトリに画像ファイルを保存するなどして、撮影装置1台ごとに異なるURLアドレスを生成するとことができる。
サーバ特定情報48は、画像がアップロードされているサーバを特定するためのサーバ名であり、DNS(Domain Name Server)を介することによって、サーバ42のIPアドレスが判定でき、サーバ42に接続することができる。よって、サーバ特定情報48も、生成するURLに含まれる。
画像表示方法指示情報77は、オプションとして、一覧表示78、スライドショー表示79などを選択できる情報である。URL生成部7004は、この画像表示方法指示情報77に基づいてURLを決定する。すなわち、一覧表示78であるか、スライドショー表示79であるかを示すURLを生成することによって、画像サーバは、URLに基づいて、一覧表示を行うか、スライドショー表示を行うかを決定することができる。
以上のように、本URL生成部7004は、第2メモリ52に記憶されているUID75、サーバ特定情報48、撮影画像状況情報55および画像表示方法指示情報77などから画像を視聴するための画像サーバへのURLを生成して、生成したURLをプログラム生成部7005に出力する。
プログラム生成部7005は、URL生成部7004にて生成したURlと、第2メモリ52に記憶されている強制表示命令7000、強制印刷命令136およびフォーマット識別情報7001によって、TV45にて動作可能なプログラムを生成する部分である。なお、プログラム生成部7005は、新たな動作プログラムの生成方法として、上述した情報に基づいて新たな動作プログラムを生成することもできるし、既に生成した動作プログラムを更新することで新たな動作プログラムを生成することもできる。
プログラム生成部7005で生成するプログラムは、TV45にて動作可能なプログラムであり、TV45の図示しないシステムコントローラで動作可能なように、前記システムコントローラ用の機械語にコンパイルしている必要がある。この場合は、本プログラム生成部7005内に、コンパイラを持っており、生成したプログラムを実行形式のプログラムに変換される。
一方、一般的なJAVA(登録商標)スクリプトのように、テキスト形式(スクリプト)のプログラムであってもTV45に搭載されたブラウザによって実行されるプログラムである場合には、上記のコンパイラは必要ない。
プログラム生成部7005に入力されるURLは、画像が記録されている画像サーバへの接続するためのURLであり、本プログラム生成部7005は、URLを用いてサーバへの接続プログラムを生成または更新する。
また、強制表示命令7000は、TV45にて例えば通常の放送波による番組を視聴中に、本撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46が通信可能になった場合に、画像サーバから画像情報を表示するためのブラウザ視聴モードに、TV45を自動的に設定するオプションであり、本オプションが選択されている場合には、TV45にて強制表示されるためのプログラムを生成する。
また、強制印刷命令136は、TV45にて例えば通常の放送波による番組を視聴中に、本撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46が通信可能になった場合に、画像サーバに保存されている画像データを、TV45に接続されている図示しないプリンタから自動的に印刷するオプションであり、本オプションが選択されている場合には、TV45にて強制印刷されるための印刷用プログラムを生成する。
また、フォーマット識別情報7001は、表示するためのフォーマット情報であり、本プログラム生成部7005は、フォーマット情報の中の言語コード最適サイト選択のオプションが選択されていると、TV45に設定されている言語コードによって、サーバに接続するURLを選択するためのプログラムを生成する。例えば、フォーマット情報の中の言語コード最適サイト選択のオプションが選択されている場合は、TV45の言語コードが日本語である場合には、接続するURLとして、日本語のサイトを選択し、言語コードが日本語以外の場合は、接続するURLとして、英語のサイトを選択して接続するためのプログラムを生成する。したがって、前記のURL生成部7004は、フォーマット情報の中の言語コード最適サイト選択のオプションが選択されている場合、日本語サイト用のURLと英語サイト用のURLの2つのURLを生成して、本プログラム生成部7005に出力する。
プログラム部品記憶部7006は、プログラム生成部7005にてプログラムを生成するためのプログラムコマンド情報が記憶されている。本プログラム部品記憶部7006に記憶されているプログラム部品は、一般的なライブラリやAPIであってもいい。プログラム生成部7005は、サーバへの接続コマンドを生成する場合、プログラム部品記憶部からサーバ接続コマンドである“Connect”に、URL生成部7004で生成したURLをつなぎ合わせることによって、URLに記述されたサーバに接続するための接続プログラムを生成または更新する。
プログラム書き込み部7007は、プログラム生成部7005で生成したプログラムを、第2メモリ部に書き込むためのインタフェースである。
プログラム書き込み部7007から出力されるプログラムは、記録再生部51を介して、第2メモリ52のプログラム記憶部7002に記憶する。
本撮影装置1のRF−ID部が、TV45に接続されているRF−IDリーダライタ46に通信可能に接近した場合、再生部によって第2メモリ52のプログラム記憶部7002からプログラムを読み出し、データ転送部108、第2アンテナ21を介して、プログラムを示す送信信号をRF−IDリーダライタ46に送信する。送信された送信信号は、RF−IDリーダライタ46を介してTV45にて受信される。TV45は、受信したプログラムを実行する。
また、TV45には、製造番号7008、言語コード7009およびプログラム実行バーチャルマシン7010が存在する。
製造番号7008は、TV45の製造番号であり、これによってTV45が製造された日時、場所、製造ライン、製造者などが判定可能な情報である。
言語コード7009は、TV45に設定されているメニュー表示などに利用する言語コードであり、予め設定されている以外に、ユーザによって切り替えることも可能である。
プログラム実行バーチャルマシン7010は、受信するプログラムを実行するための仮想マシンであり、ハードウェアで構成されている場合もソフトウェアで構成されている場合も両方とも有効である。例えば、本プログラム実効バーチャルマシンは、JAVA(登録商標)バーチャルマシンで構成される。JAVA(登録商標)バーチャルマシンは定義された命令セットを実行するスタック型やインタプリタ型の仮想マシンである。このバーチャルマシンを搭載することによって、撮影装置1のプログラム生成部7005で生成されたプログラムは、その実行プラットフォームを選ぶことはなくなり、どんなプラットフォームでも実行可能なプログラムを生成することが可能となる。
図35は、撮影装置1のプログラム生成部7005の動作を示したフローチャートである。
まず、本プログラム生成部7005は、生成プログラム情報を初期化する(S7000)。
次に、第2メモリ52に記憶されているサーバ特定情報48を用いて、URL生成部7004で生成したURLを用いて、サーバ42への接続コマンドを生成する。接続コマンドを生成するためには、プログラム部品記憶部7006から、サーバ接続コマンド用の命令セット(例えば、図中の“Connect”)を選択して、URLと組み合わせることによってサーバ接続プログラム(例えば、“Connect(URL)”)を生成する。
次に、第2メモリ52の強制表示命令7000を確認して、強制表示命令がONかどうかを判定する(S7001)。ONになっている場合には、プログラム部品記憶部7006から強制表示プログラム用の命令セットを呼び出し、強制表示コマンドを生成する(S7002)。生成したコマンドは、プログラムに追加される(S7004)。
一方、強制表示命令がONではない場合には、強制表示コマンドを生成することはない。
次に、第2メモリ52の強制印刷命令がONに設定されているかを判定する(S7005)。ONになっている場合には、サーバに記憶されている画像ファイルを強制的に印刷するための印刷コマンドを生成する(S7006)。生成されたコマンドはプログラムに追加される(S7007)。
次に、第2メモリ52の画像表示方法指示情報77を確認し一覧表示78がONに設定されているかを判定する(S7008)。ONになっている場合には、サーバに記憶されている画像ファイルを一覧表示させるための一覧表示コマンドを生成する(S7009)。生成されたコマンドはプログラムに追加される(S7010)。
次に、第2メモリ52の画像表示方法指示情報77を確認しスライドショー79がONに設定されているかを判定する(S7011)。ONになっている場合には、サーバに記憶されている画像ファイルをスライドショー表示させるためのスライドショーコマンドを生成する(S7012)。生成されたコマンドはプログラムに追加される(S7013)。
以上のように、本撮影装置1のプログラム生成部7005は、第2のメモリ52に設定された内容に基づいて、プログラム部品記憶部7006に記憶されているプログラム生成用の命令コマンドセットを利用して、TV45で画像表示させるためのプログラムを生成する。
なお、本実施の形態では、強制表示命令、強制印刷命令、一覧表示、スライドショーの場合で説明したがこれに限られない。例えば生成するプログラムとして、強制表示命令コマンドを生成する場合には、プログラムを実行する装置において、表示機器、表示機能があるかどうかの判定プログラムを挿入して、表示機器、表示機能がある場合のみ実行されるようにすれば、プログラムを実行する機器側の混乱をなくすプログラムを生成することができる。強制印刷命令コマンドの場合も同様である。強制印刷命令コマンドを実行する機器に印刷機能を持っていたり、印刷機能を持つ機器が接続されていたりするかを判定するコマンドを挿入して、持っている場合にのみ、強制印刷命令コマンドを実行させるようにした方がよい。
次に、本撮影装置1におけるプログラム生成部7005で生成または更新するプログラムについて説明する。
図36は、本プログラム生成部7005で生成するプログラムの処理の流れを示したフローチャートであり、本プログラムは、本撮影装置1の第2アンテナ21を介して送信され、受信する本撮影装置1とは異なる機器が実行するプログラムである。本実施形態では、本撮影装置1とは異なる機器は、TV45であり、RF−IDリーダライタ46で受信したプログラムをTV45の図示しないコントローラ(あるいは、仮想マシン)によって実行される。
本プログラムは、まず、TV45に設定されている言語コードを、TV45の固有情報として読み出す(S7020)。言語コードは、TV45のメニュー表示などのときに使用する言語コードであり、ユーザが設定したものである。
次に、言語コードに設定された言語を判定する。本実施形態では、まず、言語コードが日本語であるかどうかを判定する(S7021)。言語コードが日本語であると判定された場合には、プログラム中のサーバへの接続コマンドのうち、日本語サイト用の接続コマンドを選択する(S7022)。一方、言語コードが日本語でないと判定された場合には、本プログラム中の英語サイトへの接続コマンドを選択する(S7023)。本実施形態では、言語コードが日本語であるかどうかのみを判定して、それぞれ日本語サイトへ接続するか、英語サイトへ接続するかを選択する形態を説明したが、2種類以上の言語コードにも対応できるよう、それぞれの言語コードに対応した接続プログラムを具備しておけば、2種類以上の言語コードへ対応することが可能となって、ユーザの利便性を向上させることができる。次に、選択した接続コマンドに従って、接続コマンド中に記されたURLに接続する(S7024)。
次に、接続コマンド中に記されたURLへ接続が成功したかどうかを判定する(S7025)。接続に失敗した場合には、TV45の表示部に、接続に失敗したことを示す警告表示を行う(7027)。一方、接続に成功した場合には、サーバに記憶されている画像ファイルをスライドショー表示させるためのコマンドを実行して、サーバに記憶されている画像ファイルをスライドショー表示させる(7026)。
なお、本実施形態では、動作プログラムが画像をスライドショー表示させるためのプログラムである場合について説明したが、本発明に係る動作プログラムはこの限りではない。一覧表示や強制表示、強制印刷を行うプログラムでもいい。強制表示させるプログラムの場合には、サーバに記憶された画像ファイルを表示する設定に自動的に変更するためのステップがコマンドとして挿入される。これによって、ユーザは、TV45の設定を手動で変更する手間を省いて、画像サーバからの画像ファイルを表示することができる。また、強制印刷の場合には、TV45の設定を自動的に印刷可能なモードに切り替えるコマンドが挿入される。また、強制印刷、強制表示の場合には、それぞれ、印刷機能を有しているかの判定コマンド、表示機能を有しているかの判定コマンドを挿入することによって、印刷機能のない機器で強制印刷コマンドが実行されることがないようにする必要がある。さらに、本発明に係る動作プログラムは、他のプログラムを導くための接続プログラムであってもよい。例えば、ブートローダのように、他のプログラムをロードして実行させるためのローダ・プログラムであってもよい。
以上のように、本実施例で開示した発明の特徴は、RF−ID通信手段(データ転送部108、第2アンテナ21など)を有している機器である撮影装置1の第1処理部35の中に、プログラム生成部7005を有していることである。また、プログラム生成部7005で生成または更新するプログラムは、RF−IDを有する通信機器である本実施形態の撮影装置1以外の機器で実行されることも特徴である。
従来、RF−IDを搭載する機器は、RF−ID通信部から自身が持つID情報(タグ情報)を他の機器(例えば本実施形態のTV45)に転送して、他の機器では、ID情報(タグ情報)に応じて、RF−IDを持つそれぞれの機器でユニークな動作プログラムを他の機器の中に用意する必要があった。したがって、RF−IDを持った新しい商品が登場した場合には、その新しい商品に対応した動作プログラムを入手してインストールして実行するか、対応できない危機であるとして排除するしかなかった。また、動作プログラムのインストールには、専門的な知識が求められ、誰もが簡単に行えるものでもない。したがって、RF−IDを持つ機器が多数世に送り出されれば、本実施形態のTV45のような他の機器は陳腐化して、ユーザの財産価値を損ねるという問題がある。
本実施形態で説明した発明の開示によれば、RF−IDを持った機器が、プログラム生成部7005を有しており、TV45などの他の機器には、ID情報(タグ情報)ではなく、プログラムを送信する。TV45などの他の機器では、受信したプログラムを実行することによって、予めRF−IDを持つ機器ごとに対応する動作プログラムを具備する必要がなくなり、例え、新しいRF−IDを持つ機器が登場した場合においても、新たなプログラムをインストールする必要がなくなり、ユーザ利便性を格段に向上させることができる。
よって、RF−IDを装備した物品の個体ごと、種類ごと、あるいは、応用システムごとに、対応するアプリケーションプログラムをTV等の端末が備えておく必要がなくなる。よって、TV等の端末は、多くの種類のアプリケーションプログラムを保持するための記憶装置を備える必要がなくなるとともに、端末が保持するプログラムの改訂等の保守も不要となる。
また、本プログラム生成部7005が生成するプログラムはJAVA(登録商標)言語のような実行プラットフォームを選ばないプログラムが有用である。よって、プログラムを実行するTV45のような機器にJAVA(登録商標)の仮想マシンを用意することだけで、どのような機器のプログラムであっても実行することができる。
また、本発明のプログラム生成部7005は、予め第2メモリ52のプログラム記憶部7003に記憶されているプログラムを更新する機能を有していてもよい。プログラムを更新する場合においても、プログラムを生成するのと同様の効果を有するためである。また、本プログラム生成部7005で、生成または更新するプログラムは、TV45にてプログラムを実行する場合に使用するデータの生成または更新であってもよい。通常、プログラムは、付随する初期設定データなどを有し、そのデータによって動作するモードを切り替えたり、フラグ設定をしたりするので、データを生成または更新する場合でも、プログラムを生成または更新するのと同様であり、本発明の範疇である。なぜなら、プログラムを実行するに当たって、そのモード切り替えなどのパラメータをデータとして保持して読み出すのか、プログラム内部に埋め込んで実行させるかは設計事項であるためである。したがって、本発明のプログラム生成部7005で生成または更新するプログラムは、同時に前記プログラムが使用するパラメータ列などのデータも同時に生成することもできる。生成するパラメータとしては、第2メモリ52に記憶されている強制表示命令7000、強制印刷命令136、画像表示方法指示情報77あるいはフォーマット識別情報7001などに基づいて生成されるデータである。
次に、本発明におけるRF−IDを持った通信機器である撮影装置1の第2メモリ52および第1処理部の特徴的な構成と動作を説明する。本実施形態では、RF−IDを持った通信機器である本撮影装置1が、動作に関した不具合を検出したり、電力使用状況を検出したりする使用状況検出部を第1処理部35に持ち、検出した使用状況を本撮影装置とは異なる機器であるTV45に表示させるためのプログラムを生成する形態について説明する。
図37は、本発明の撮影装置1の第2のメモリ52、第1処理部35の特徴的な構成を示したブロック図である。
第2のメモリ52は、UID75、サーバ特定情報48、カメラID部135およびプログラム記憶部7002を持つ。
UID75は、本撮影装置1を識別可能な機器1台ごとに異なるシリアル番号である。
サーバ特定情報48は、本撮影装置1の通信部37から撮影した画像データをサーバ42に送信する、サーバを特定する情報であり、サーバアドレスや保存ディレクトリ、ログインアカウント、ログインパスワードなどを含んでいる。
カメラID部135は、本撮影装置1の製造番号、製造年月日、製造元、製造ライン情報、製造場所などが記録されるとともに、本撮影装置1の機種を特定するためのカメラ機種情報も含んでいる。
第1処理部35は、第2メモリ読み出し部7002、使用状況検出部7020、プログラム生成部7005、プログラム部品記憶部7006およびプログラム書き込み部7005で構成される。
第2メモリ読み出し部は、第2のメモリ52に記憶されている内容を記録再生部51と介して読み出す部分である。本実施形態では、第2のメモリ52から、UID75、サーバ特定情報48、カメラID部135を読み出して、プログラム生成部7005に出力する。なお、本第2メモリ読み出し部7002は、後に説明する使用状況検出部7020からの読み出し信号が出力された時点で、第2のメモリ52から上記内容を読み出す。
使用状況検出部7020は、本撮影装置1を構成する機能単位ごとに、その使用状況を検出する部分である。また、本撮影装置1を構成する機能単位ごとに動作不具合を確認するセンシング部を有しており、各機能単位のセンシング部でのセンシング結果を本使用状況検出部7020に入力される。例えば、撮像部30からは、撮像部の撮像動作に関する不具合が認められるかどうか(機能しているかどうか、本使用状況検出部からの呼びかけに対して正しく応答しているか)、映像処理部31からは、撮像部30が撮像した画像データのデータ処理において不具合が認められるかどうか(機能しているかどうか、本使用状況検出部からの呼びかけに対して正しく応答しているか)、電源部101からは、バッテリの電圧レベル、トータルの電力使用量が入力され、通信部37からは、サーバとの接続に成功しているか、インターネットへの接続ができているか(機能しているかどうか、本使用状況検出部からの呼びかけに対して正しく応答しているか)、表示部6aからは表示処理に不具合はないか、呼びかけに対して正しく応答しているか、機能しているか)といった機能単位ごとに不具合情報や電池寿命、電力消費量が入力される。本使用状況検出部7020では、機能単位ごとから送られてくる上記のようなステータス情報を元に、内部の不具合検出部7021で、機能単位ごとに機能動作に対する不具合があるかどうかを判定して、不具合が認められる場合には、不具合箇所を特定する情報、不具合内容を特定する情報をプログラム生成部7005に出力する。また、本使用状況検出部7020は、内部に使用電力検出部7022を持っており、電源部からのトータル使用電力情報に基づいて使用電力情報を生成してプログラム生成部7005に出力する。
プログラム生成部7005は、使用状況検出部7020からの不具合内容を特定する情報や使用電力情報をTV45で表示するためのプログラムを生成する。プログラム生成は、プログラムを構成するための命令セットがプログラム部品記憶部7006に予め記憶されているので、不具合や電力消費量を表示するための表示コマンド(図37では“display”)と、不具合箇所を特定する情報、不具合内容を特定する情報を表示するためのプログラムを生成する。なお、前述の電力消費量は、2酸化炭素の排出量に変換し、2酸化炭素排出量を表示するプログラムとして生成してもよい。
プログラム生成部7005で生成したプログラムは、プログラム書き込み部7007を介して、第2メモリ52のプログラム記憶部7002に記憶される。
第2メモリ52のプログラム記憶部7002に記憶されているプログラムは、データ転送部108を介して、第2アンテナ21から、TV45のRF−IDリーダライタ46に送信される。
TV45では、受信したプログラムを、プログラム実行バーチャルマシン7010にて実行される。
以上の構成によれば、撮影装置1の使用における使用状況検出部7020によって検知された不具合や使用状況情報をTV45にて表示するためのプログラムを第1処理部35内のプログラム生成部7005にて生成し、TV45に送信して、TV45にて撮影装置1の不具合情報や使用状況情報を表示する。これによって、TV45では、撮影装置1などの機器に依存した複数のプログラムをインストールすることなく、ユーザに不具合情報や使用状況情報を表示することが可能となる。
従来システムでは、TV45内に、撮影装置やビデオカメラ、電動歯ブラシ、体重計などの機器ごとに、簡単な液晶ディスプレイなどの表示機能を用意して、その表示機能に不具合情報や使用状況情報を表示していた。したがって、表示能力の低い表示機能しか搭載できず、不具合情報を記号列やエラーコードで表示することしかできなかった。したがって、ユーザは、不具合情報などが出力されると、取扱説明書を紐解き、どのようなエラーであるかを判断する必要があった。しかしながら、一部のユーザは、取扱説明書を紛失したりして、インターネットのウェブサイトから情報を知りえた。
しかしながら、本発明にシステムにおいては、撮影装置1などの装置ごとに検知した不具合情報を表示するための本撮影装置とは異なる表示能力の高い機器であるTV45で実行可能な不具合報告表示プログラムを生成することができ、上記のような問題を解消することができる。
以下に、図3にて説明した撮影装置1が生成したプログラムが、TV45を含む複数の機器にて動作する形態について図面を用いて詳細に説明する。
図38は、本形態において、撮影装置1が生成したプログラムが、複数の機器で実行される様子を示したものであり、撮影装置1、TV45、表示機能付きリモコン6520、表示機能無しリモコン6530によって構成される。
TV45は、前記RF−IDリーダライタ46、無線通信装置6512から構成される。無線通信装置6512は、例えば、現在多くの家電のリモコンで利用されている一般的な赤外線通信装置や、Bluetooth(登録商標)(ブルートゥース)やZigBee(登録商標)(ジグビー)と呼ばれる、電波を用いた家電向け短距離無線通信装置などである。
表示機能付きリモコン6520は、TV45の無線通信装置6512に対して信号を送信するための送信部6521、映像を表示するための表示装置6523、ユーザからのキー入力を受け付ける入力装置6524、RF−ID47と通信するためのRF−IDリーダ6522、RF−IDリーダ6522で受信したプログラムを格納するためのメモリ6526、RF−IDリーダ6522で受信したプログラムを実行するための仮想マシンであるプログラム実行バーチャルマシン6525から構成される。例えば、近年の携帯電話は赤外線通信機能やBluetooth(登録商標)、RF−IDリーダ、液晶画面、キー入力部、JAVA(登録商標)バーチャルマシンなどを保持する、表示機能付きリモコンの一例である。表示装置6523と入力装置6524は、液晶画面と複数の文字入力ボタンであってもよいし、タッチパネル液晶のように一体となっていてもよい。
表示機能無しリモコン6530は、TV45の無線通信装置6512に対して信号を送信するための送信部6521、ボタンなどの、ユーザからの入力を受け付ける入力装置6533、RF−ID47と通信するためのRF−IDリーダ6532、RF−IDリーダ6532から受信したデータを一時的に格納するメモリ6535から構成される。
表示機能無しリモコン6530は、現在多くのTVに付属した一般的なリモコンに、RF−IDリーダを内蔵した機器などが考えられる。
本形態では、撮影装置1で生成したプログラムを、TV45のRF−IDリーダライタ46を介することにより直接TV45に送信し、TV45でプログラムを実行する第1のケース、撮影装置1で生成したプログラムを、表示機能無しリモコン6530を介することにより間接的にTV45に送信し、TV45でプログラムを実行する第2のケース、撮影装置1で生成したプログラムを、表示機能有りリモコン6520を介することにより間接的にTV45に送信し、TV45でプログラムを実行する第3のケース、撮影装置1で生成したプログラムを、表示機能有りリモコン6520に送信し、表示機能有りリモコン6520でプログラムを実行する第4のケースが考えられ、ユーザは4つのケースを選択的に実行する。
ここで第1のケースは、実施の形態1で既に述べているため説明を省略する。
下記に、第2〜第4のケースに関して、詳細を説明する。
第2のケースは、一般的なTVリモコンのように、液晶パネルなどのグラフィカルな表示装置を持たない表示機能無しリモコン6530を介して、撮影装置1で生成したプログラムをTV45で実行するケースである。
ユーザが、RF−ID47をRF−IDリーダ6532に近接させた場合、RF−IDリーダ6532は、撮影装置1で生成されたプログラムを読み出し、メモリ6535に保持する。
次に、ユーザが入力装置6533を押下すると、送信部6531からTV45の無線通信装置6512に対して、メモリ6535に保持されていたプログラムが送信され、TV45上のプログラム実行バーチャルマシン7010でプログラムが実行される。無線通信装置6512が指向性を持つ赤外線通信装置の場合、ユーザは表示機能無しリモコン6530を対応するTV45に向けた状態で入力装置6533を押下する。無線通信装置6512が指向性を持たないBluetooth(登録商標)やZigBee(登録商標)などの短距離無線通信装置であった場合は、事前にペアリングされているTV45に対して、プログラムが送信される。短距離無線通信装置の場合は、ユーザが入力装置6533を押下しなくとも、RF−IDリーダ6532がRF−ID47からプログラムを読み込んだ時点で、自動的にペアリングされたTV45に読み込んだプログラムを送信してもよい。
また、表示機能無しリモコン6530は、RF−IDリーダ6532で読み込んだデータをメモリ6535に保持していることをユーザに通知するための表示装置、例えばLED6534を構成要素に持ち、RF−IDリーダ6532からメモリ6535にプログラムを読み込んだ際にLED6534を点灯させ、ユーザが入力装置6533を押下し、TV45にプログラムを送信完了した際にLED6534を消灯させてもよい。これにより、表示機能無しリモコンがプログラムを保持していることをユーザに明確に通知することが可能となる。LED6534は、単体のLEDであってもよいし、入力装置6533と一体となっていてもよい。
第2のケースでは、ユーザとTV45の位置が離れていた場合であっても、手元の表示機能無しリモコン6530を利用することにより、TV45上でプログラムを実行するが可能となる。
第3、第4のケースは、例えばスマートフォンと呼ばれる高機能な携帯電話のように、表示機能付きリモコン6520がプログラム実行バーチャルマシンを持っている場合に、撮像装置1で生成したプログラムを表示機能付きリモコン上で実行することも、TV45にプログラムを送信することによりTV45上でプログラムを実行することも、ユーザが選択できるようにする場合の例である。
ユーザが、RF−ID47をRF−IDリーダ6522に近接させた場合、RF−IDリーダ6522は、撮影装置1で生成されたプログラムを読み出し、メモリ6535に保持する。
次に、表示機能付きリモコン6520の動作を、図39のフローチャートを用いて、詳細に説明する。
まず、RF−IDリーダ6522で読み出したプログラムが、プログラム実行バーチャルマシン6525に転送され、実行される(S6601)。
次に、リモコン6520が表示デバイスを持つか否かを判定する(S6602)。リモコン6520が表示機能を持っていない場合(S6602でN)は、送信部6521を用いてプログラムをTV45に送信し、処理を終える。この場合、プログラムはTV45上で実行される。
リモコンが表示機能を持っている場合(S6602でY)、リモコンと送信先のTV45とがペアリングされているか否かを判定する(S6603)。リモコン6520とTV45がペアリングされていない場合(S6603でN)は、リモコン6520の表示装置6523を用いてプログラムの続きが実行される。リモコン6520とTV45がペアリングされている場合(S6603でY)は、ユーザに選択を促すため、表示装置6523に「表示「TVに表示しますか?リモコンで表示しますか?」というダイアログ・メッセージを表示する(S6604)。
次に、入力装置6524からのユーザ入力を受け付け(S6605)、ユーザがTVに表示を選択したか否かを判定する(S6606)。ユーザがTV45で表示することを選択した場合(S6606でY)、送信部6521を用いてプログラムをTV45に送信し、処理を終える。この場合、プログラムはTV45上で実行される。ユーザがリモコンで表示することを選択した場合(S6606でN)、リモコン6520の表示装置6523を用いて、プログラムの続きが実行される(S6607)。
また、上記で示したプログラムの続きとは、前述した、撮影装置1のバッテリ状態、不具合状態、取扱説明書の表示などであり、本実施例に制限されるものではないことは当然である。
以上の構成によれば、撮影装置1で生成したプログラムが、表示機能付きリモコン機器に送信され、表示機能付きリモコンの能力を判定し、リモコン上でプログラムの続きをどの機器で実行するか否かが決定される。これによって、リモコン自身に複数の機器に対応したプログラムをインストールしておく必要がなく、ユーザは好みの形態でプログラムを実行することが可能となる。
また、本実施の形態においては、リモコンの表示機能の有無、ペアリング状態を判定条件として説明したが、これらに限るものではない。通信能力、音声・映像再生能力、入力デバイス、出力デバイスなど、機器の持ち得る能力に従ってどのような判定をプログラムが行ったとしてもよい。
以上、説明してきたように、RF−IDの記憶領域がデータだけでなく、機器の動作を記述したプログラムを保持することにより、従来では機器の動作を変更するために必要であったプログラムの変更や更新が大幅に容易なものとなり、多数の新機能の追加や連携機器の増加にも対応が可能である。また、RF−IDを用いた近接通信は、近づけるというユーザにわかりやすい操作であるので、従来はボタンやメニューを操作して面倒であった機器操作も簡単にすることができ、複雑な機器の動作を使いやすくすることができる。
(実施の形態2)
次に、本発明に係る通信システムの具体的な動作、つまり、カメラで取得した画像をアップロードしておき、その後に、簡単な操作で、その画像をTVにダウンロードして表示する通信システムについて、実施の形態2として、説明する。通信システムの全体構成は、実施の形態1と同様である。
図40A〜図40Cに、カメラ(撮影装置1)が写真をアップロードする一連手続きのフローチャートを示す。カメラはまず画像を撮影すると(ステップS5101)、撮影画像を第3メモリに保存し(ステップS5102)、第2メモリ情報の更新処理を行う(ステップS5103)。この更新情報については後述する。次に通信部によってインターネットに接続可能かどうかを判断し(ステップS5104)、接続可能であれば、URLの作成処理を行う(ステップS5105)。この処理の詳細は後述する。URLを作成後、カメラは撮影画像のアップロードを行い(ステップS5106)、アップロードが完了すると、通信部の切断処理を行い(ステップS5107)、終了する。アップロード処理の詳細は後述する。
ステップS5103の第2メモリ情報の更新処理はサーバ42へアップロードした写真と、アップロードしていない写真の識別情報をサーバ42とカメラの間で共有するために利用される。アップロード処理S5105の動作は例えばcase1〜case4の動作が挙げられる。
第2メモリの最後に撮影した時間68を記録しておき、撮影画像を第3メモリに保存後、第2メモリの最後に撮影した時間68を更新する方法がある(ステップS5111)。
アップロードした時刻とカメラの最終撮影時刻を比較することで、サーバ42とカメラの間でアップロードした写真の識別情報を共有することが可能となる。
また、撮影した画像に対応してサーバ42への撮影した画像に対応して、サーバ42への未アップロード画像データの存在識別子64を生成し第2メモリに記憶するという方法でも同等の効果を得ることができる(ステップS5121)。
また、未アップロード画像情報をハッシュした情報67を第2メモリに記憶してもよい(ステップS5131)。これによって、第2メモリに保存する情報量が少なくなり、メモリの節約に繋がる。
また、撮影画像に時系列的に画像番号を生成して、第2メモリの画像の最終番号69を更新してもよい(ステップS5141)。これにより、カメラの時刻が正確でない場合でも、サーバ42とカメラの間のアップロード写真に関する同期を取ることが可能となる。
図41に、ステップS5105のURL作成処理の詳細を示す。カメラは、第2メモリからサーバアドレス情報81、ログインID83、パスワード84等含むサーバ特定情報48を読み出し(ステップS5201)、URLを生成する(ステップS5202)。
図42A〜図42DにステップS5106のアップロード処理の詳細を示す。
それぞれのcaseは図40A〜図40Cで示された、第2メモリ情報の更新処理に対応している。
case1では、カメラはサーバ42から、サーバ42への最終アップロード時間を受信すると(ステップS5211)、最終アップロード時刻と、最後に撮影した時刻を比較する(ステップS52112)。最後に撮影した時刻が最終アップロード時刻より大きい、すなわち、最終アップロードした後に撮影した画像がある場合は、サーバ42からの最終アップロード時刻以降に撮影された画像をサーバ42にアップロードする(ステップS5213)。
case2では、カメラは、第2メモリから、未アップロード画像データ存在識別子64を確認し(ステップS5231)、未アップロードの存在を確認する(ステップS5232)。未アップロード画像が存在している場合、未アップロード画像をサーバ42へアップロードし(ステップS5233)、第2メモリのアップロードした画像の情報67を更新する(ステップS5234)。
case3では、カメラは、まず第2メモリから未アップロード画像情報をハッシュした情報67を確認し(ステップS5301)、第2メモリから未アップロード画像情報をハッシュした情報67はNULLをハッシュした情報と同じかどうかを判断する(ステップS5302)、同じでない場合、サーバ42にアップロードされていない画像があると判断し、第3メモリに記録され、サーバ42にアップロードされていない画像をアップロードする(ステップS5303)。
case4では、カメラは、サーバ42から最終アップロード画像の番号を受信する(ステップS5311)。次に、第2メモリの画像の最終番号69と同じかどうかを判断し(ステップS5312)、同じでない場合、サーバ42からの固有IDより新しい固有IDを持つ画像データをアップロードする(ステップS5313)。
図43は、撮影装置1とTV45とのRF−ID近接通信を行う処理を示したフローチャートである。
まず、撮影装置1に内蔵されている第2アンテナ21は、TV45のRF−IDリーダライタ46からのポーリングによる微弱無線電力を受信して、第2電源部91で動作するRF−ID47を起動する(S5401)。
ステップS5401で微弱電力を受信して起動した撮影装置1のRF−ID47は、TV45のRF−IDリーダライタ46のポーリングに応答を行う(ステップS5402)。
ステップS5402でポーリング応答を行った後、撮影装置1のRF−ID47とTV45のRF−IDリーダライタ部が互いに正規の装置であるかどうかの認証と、撮影装置1とTV45間でセキュアな情報通信を行うための暗号鍵の鍵シェアリング動作を含んだ相互認証を行う(ステップS5403)。この相互認証は、楕円暗号などの公開鍵暗号アルゴリズムを用いた相互認証処理であり、通常、HDMI(登録商標)やIEEE1394による通信の相互認証処理と同様の方法である。
ステップS5403で、撮影装置1のRF−ID47とTV45のRF−IDリーダライタ46で、相互認証処理を行い、互いに共通の暗号鍵を生成したのち、RF−ID47から読み出し可能な第2メモリ52に記憶されているサーバ特定情報58から、サーバURL生成情報80を読み出し、第2アンテナ21から、TV45のRF−IDリーダライタ46に送信する。サーバURL生成情報80の中には、サーバ42のアドレス情報を示すサーバアドレス情報81、サーバ42へのログインID83であるユーザ識別情報82およびサーバ42へのログインパスワードであるパスワード84が含まれる。パスワード84は、悪意ある第3者からの不正行為を防ぐために重要な情報であるので、予め暗号化された、暗号化されたパスワード85として記憶され、TV45に送信される場合もある。
ステップS5404で、サーバURL生成情報80をTV45のRF−IDリーダライタ46に送信された後、第2メモリ52に記憶されている撮影画像状況情報55を、サーバ特定情報58と同様に、第2アンテナ21からTV45のRF−IDリーダライタ46に送信する(ステップS5405)。撮影画像状況情報55としては、最終撮影時間68(Case1)、未アップロード画像データの存在識別情報として、撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64(Case2)、未アップロード画像情報をハッシュした情報67(Case3)、あるいは、撮影画像に対して時系的に付与した画像番号の画像の最終番号69(Case4)が送信される。これは、撮影装置1とサーバ42の撮影画像の同期を確認するために必要な情報である。
Case1では、撮影画像状況情報55として最終撮影時間68を適用する。よって、TV45において、サーバ42への最終アップロード時間と最終撮影時間68を比較して、サーバ42への最終アップロード時間よりも最終撮影時間68が時系的に遅ければ、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case2では、撮影画像状況情報55として撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64を適用する。よって、TV45において、撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case3では、撮影画像状況情報55として未アップロード画像情報をハッシュした情報67を適用する。よって、TV45において、未アップロード画像情報をハッシュした情報67を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case4では、撮影画像状況情報55として撮影画像に対して時系的に付与した画像番号の画像の最終番号69を適用する。よって、TV45において、サーバ42から受信するサーバ42へアップロードされた最終画像番号と、撮影装置1から送信される撮影画像に対して時系的に付与した画像番号の画像の最終番号69を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
ステップS5405で、撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46に撮影画像状況情報55が送信された後、第2メモリ52から、画像表示方法指示情報77を、撮影画像状況情報55と同様に、撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46に送信する(ステップS5406)。画像表示方法指示情報77は、TV45の表示部において、サーバ42からダウンロードした画像を、どのように表示するかを示した識別情報であり、画像の一覧形式表示することを示した一覧表示(指示子)78やスライドショー形式で表示するためのスライドショー(指示子)79で構成される。
以上、撮影装置1のステップS5401〜ステップS5406のステップによって、撮影装置1の第2アンテナ21から、TV45のRF−IDリーダライタ46に、撮影装置1の第2メモリ52に記憶されているサーバURL生成情報80、撮影画像状況情報55、および、画像表示方法指示情報77を送信する。また、これらは、すべて、相互認証時に撮影装置1とTV45でシェアリングした暗号鍵情報によって暗号化して送信することが望ましい。暗号化を行うことによって、撮影装置1とTV45間でセキュアな情報通信が可能となり、悪意ある第3者からの介入を防ぐことができる。
また、サーバURL生成情報80をTV45に送信することによって、撮影装置1の第1アンテナ20送信するサーバ42と、TV45から画像をダウンロードするサーバが共通のサーバおよびディレクトリとなるために、撮影装置1で撮影してアップロードした画像を、TV45で表示することが可能となる。
また、撮影画像状況情報55をTV45に送信することによって、撮影装置1の第3メモリ33に記録されている撮影画像と、第1アンテナ20によってサーバ42にアップロードされた画像の同期が判定可能となって、同期が取れていないことをTV45で判定可能となり、同期が取れていないことを示すTV45で注意情報を表示することによって、ユーザの無用な混乱を防止することができる。
また、画像表示方法指示情報77をTV45に送信することによって、TV45でユーザが画像の閲覧方法を指定することなく、TV45に撮影装置1を近づけることによって、設定された閲覧方法で画像を閲覧することが可能となり、TV45のリモコン等による複雑な操作を行うことなく、設定された閲覧方法で自動的に画像を表示することが可能となる。
図44は、本発明に係るTVシステムの特徴的な機能を示したブロック図である。
本TV45は、RF−IDリーダライタ46、復号部5504、URL生成部5505、通信部5506、送信部5507、通信インタフェース5508、受信部5509、データ処理部5510、メモリ部5511、表示部5512およびCPU5513から構成される。
RF−IDリーダライタ46は、撮影装置1のRF−ID47と第2アンテナ21を介して通信する部分であり、無線アンテナ5501、受信部5503、および通信可能装置検索部(ポーリング部)5502から構成される。
無線アンテナ5501は、撮影装置1の第2アンテナ21と近接無線通信を行う部分であり、汎用のRF−IDリーダライタの無線アンテナと同等の構成である。
通信可能装置検索部(ポーリング部)5502は、複数のカメラのRF−ID部に対して、送信(あるいは処理)要求がないか、一つ一つの相手に確認するポーリングを行う部分である。ポーリングに対して、撮影装置1のRF−ID47からポーリング応答があった場合には、相互認証動作を行い、TV45と撮影装置1で、共通の暗号鍵をシェアリングする。
受信部5503は、ポーリングに対してポーリング応答があり、相互認証が終了したとき、撮影装置1の第2アンテナ21から、撮影装置1の第2メモリ52に記憶されているサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77をそれぞれ受信する。
復号部5504は、受信部5503で受信したサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77を復号する部分である。復号は、通信可能装置検索部(ポーリング部)5502で相互認証後に撮影装置1とTV45で共通化した暗号鍵を用いて、暗号化されているサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77を復号する。
URL生成部5505は、サーバURL生成情報80から、サーバ42にアクセスするためのURL(Uniform Resource Locator)を生成して通信部に送信する。本URLには、サーバ特定情報のほかに、サーバにログインするためのログインID83、パスワード85が含まれる。
通信部5506は、通信インタフェース5508によって、汎用のネットワークを介して、サーバ42と通信を行う部分である。
送信部5507は、通信インタフェース5508を介して、URL生成部5505で生成したURLを送信して、サーバ42と接続する。
通信インタフェース5508は、汎用のネットワークを介して、サーバ42と接続する通信インタフェースであり、有線/無線LAN(Local Area Network)インタフェースなどで構成される。
受信部5509は、通信インタフェース5508によって接続したサーバ42から画像情報や画像表示スタイルシート(CSS)を受信し、ダウンロードする部分である。
データ処理部5510は、受信部5509でダウンロードした画像情報のデータ処理を行う部分であり、ダウンロードする画像が圧縮されている場合にはその伸張を、暗号化されている場合にはその復号を行い、画像表示スタイルシートに基づいた画像表示スタイルで、ダウンロードした画像情報を配列したりする。また、本データ処理部5510は、復号部で必要に応じて復号して得る撮影画像状況情報55によって、撮影装置1に保存されている撮影画像情報と、サーバ42にアップロードされた画像情報とに同期が確認されない場合には、表示部5512に同期が取れていないことを示す注意情報を表示して、ユーザの無用な混乱を防ぐ処理を行う。また、本データ処理部5510は、復号部5504からの画像表示方法指示情報77に従って、ダウンロードした画像情報を表示する形態を設定する。例えば、画像表示方法指示情報77の一覧表示(フラグ)78がONのときは、ダウンロードした画像の一覧表示を生成して、メモリ部5511に出力する。また、画像表示方法指示情報77のスライドショーフラグ79がONのときは、ダウンロードした画像のスライドショーを生成して、メモリ部5511に出力する。
メモリ部5511は、データ処理部5510でデータ処理された画像情報を一時記憶するメモリで構成される。
表示部5512は、メモリ部5511に蓄積した、サーバ42からダウンロードして、データ処理部5510でデータ処理した画像データを表示する部分である。
以上のように、本発明に係るTV45は、撮影装置1のRF−ID47から受信するサーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77に基づいて、サーバ42と接続し、サーバ42にアップロードされた画像情報をダウンロードして、表示部5512に表示する処理を行うことができる。これによって、撮影装置1のSDカードやフラッシュメモリによって構成される第3メモリ33を取り出し、TV45のカードリーダに装着して撮影済み画像の閲覧を行うという煩雑なユーザ処理を行うことなく、撮影装置1のRF−ID47をTV45のRF−IDリーダライタ46にかざし、近接通信させるという簡単なユーザ操作によって、撮影済みの画像情報を表示し、閲覧することが可能となり、デジタル機器の操作に不慣れなユーザであっても、簡単に画像情報を閲覧可能な撮影画像閲覧システムを実現することが可能となる。
図45は、撮影装置1とTV45のRF−ID無線近接通信動作を示したフローチャートである。
まず、TV45のRF−IDリーダライタ46の通信可能装置検索部5502によって、通信可能な撮影装置1のRF−ID47を検索するための呼びかけ信号を送信する(ステップS5601)。
撮影装置1のRF−ID47は、TV45のRF−IDリーダライタ46の通信可能装置検索部5502のポーリング信号を受信すると、第2電源部91を起動し、RF−IDリーダライタ46を起動する(ステップS5602)。このとき、少なくとも第2電源部91で動作可能なRF−ID47のみを起動すればよく、撮影装置1の機能をすべて起動する必要はない。
ステップS5602で、撮影装置1のRF−ID47の起動が完了すると、TV45のRF−IDリーダライタ46のポーリングに対するポーリング応答を第2アンテナ21から送信する(ステップS5603)。
ステップS5603で、撮影装置1からポーリング応答がなされた後、TV45のRF−IDリーダライタ46の無線アンテナ5501で、ポーリング応答を受信する(ステップS5604)。
ステップS5604で、ポーリング応答を受信した後、ポーリング応答を送信した撮影装置1が互いに通信可能な機器であるかどうかの判定を行う(ステップS5605)。判定の結果、互いに通信可能な機器ではないと判断した場合には、処理を終了する。一方、互いの機器により通信可能な機器であると判断された場合には、次の処理に進む。
ステップS5605によって、互いに通信可能な機器であると判断された場合、互いの機器が正規の機器であるかどうかの判定を行うための相互認証処理を行う(ステップS5606)。この相互認証処理は、HDMI(登録商標)やIEEE1394で行う一般的な相互認証処理と同様であり、TV45と撮影装置1でチャレンジデータの発行、レスポンスデータの確認を複数回行い、採取的には、双方で同じ暗号鍵を生成する処理であり、どちらかが不正な機器であれば、共通の暗号鍵が生成されず、以後の相互の通信が無効となる。
一方、撮影装置1のRF−ID47でもTV45と同様に相互認証処理を行う。互いの複数回のチャレンジデータの生成および送信、レスポンスデータの受信および確認を行い、TV45と同じ暗号鍵データを生成する(ステップS5607)。
ステップS5607で、相互認証処理が完了すれば、撮影装置1の第2メモリ52から、サーバ特定情報58であるサーバURL生成情報80を読み出し、TV45のRF−IDリーダライタ46に総合認証で共通化した暗号鍵で暗号化して送信する(ステップS5608)。
ステップS5608で、送信されたサーバURL生成情報80は、TV45のRF−IDリーダライタ46に受信部5503受信され、復号部5504で、共通化した暗号鍵で復号され、サーバ42にアクセスするためのURLをURL生成部5505によって生成し、受信完了を撮影装置1に送信する(ステップS5609)。
ステップS5609で受信完了が送信された後、撮影装置1の第2アンテナ21で受信完了を受信し、第2メモリ52から、撮影画像状況情報55を読み出し、TV45に送信する(ステップS5610)。撮影画像状況情報55としては、最終撮影時間68(Case1)、未アップロード画像データの存在識別情報として、撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64(Case2)、未アップロード画像情報をハッシュした情報67(Case3)、あるいは、撮影画像に対して時系的に付与した画像番号の画像の最終番号69(Case4)が送信される。これは、撮影装置1とサーバ42の撮影画像の同期を確認するために必要な情報である。
ステップS5610で撮影装置1から撮影画像状況情報55が送信された後、TV45のRF−IDリーダライタ46で撮影画像状況情報55を受信して、受信完了を撮影装置1に送信する(ステップS5611)。また、TV45のCPU5513では、受信する撮影画像状況情報55に応じて以下の処理を行う。
Case1では、撮影画像状況情報55として最終撮影時間68を適用する。よって、TV45において、サーバ42への最終アップロード時間と最終撮影時間68を比較して、サーバ42への最終アップロード時間よりも最終撮影時間68が時系的に遅ければ、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case2では、撮影画像状況情報55として撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64を適用する。よって、TV45において、撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case3では、撮影画像状況情報55として未アップロード画像情報をハッシュした情報67を適用する。よって、TV45において、未アップロード画像情報をハッシュした情報67を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
Case4では、撮影画像状況情報55として撮影画像に対して時系的に付与した画像番号の画像の最終番号69を適用する。よって、TV45において、サーバ42から受信するサーバ42へアップロードされた最終画像番号と、撮影装置1から送信される撮影画像に対して時系的に付与した画像番号の画像の最終番号69を確認することによって、未アップロード画像が存在することが判別可能で、撮影装置1とサーバ42に保持する画像情報の同期が取れていないとして、TV45の表示部に同期が取れていないことを示す注意情報を表示する。
S5611で、撮影画像状況情報55の受信を完了し、受信完了を撮影装置1に送信した後、撮影装置1の第2メモリ52から画像表示方法指示情報77を読み出して、TV45に送信する(ステップS5612)。画像表示方法指示情報77には、一覧表示(フラグ)78やスライドショー(フラグ)79が含まれる。
ステップS5612で、画像表示方法指示情報77が送信された後、TV45のRF−IDリーダライタ46によって、画像表示方法指示情報77が受信され、受信完了を撮影装置1に送信する(ステップS5613)。TV45のデータ処理部5510は、受信した画像表示方法指示情報77に基づいて、サーバ42からダウンロードした画像の表示形態を作成する。例えば、画像表示方法指示情報77の一覧表示フラグがONのときは、ダウンロードした画像の一覧表示を作成してメモリ部5511に記憶し、表示部5512に一覧を表示する。一方、画像表示方法指示情報77のスライドショーフラグがONのときは、ダウンロードした画像のスライドショー表示を作成してメモリ部5511に記憶し、表示部5512にスライドショーを表示する。
ステップS5613で、画像表示方法指示情報77を受信した後、撮影装置1のRF−IDリーダライタ46との通信を遮断する(ステップS5614)。
次に、TVシステムを起動する(ステップS5615)。TVシステムの起動とは、表示部5512に、ダウンロードする画像データを表示するために、主電源をONにすることである。ステップS5615でTVシステムを起動する以前は、少なくとも、TV45のRF−IDリーダライタ46が起動している状態であり、表示部5512の電源はOFFでも構わない。
次に、通信部5506を起動して、URL生成部5505で生成したURLに基づいてサーバ42に接続を行う(ステップS5616)。
ステップS5616で、サーバ42に接続した後、アップロード済みの画像データをTV45にダウンロードする(ステップS5617)。
ステップS5617で、ダウンロードした画像を、データ処理部5510で、カメラからの画像表示方法指示情報77に従って表示用の画像データを生成して、メモリ部5511に蓄積して、表示部5512に表示する(ステップS5618)。TV45のデータ処理部5510は、受信した画像表示方法指示情報77に基づいて、サーバ42からダウンロードした画像の表示形態を作成する。例えば、画像表示方法指示情報77の一覧表示フラグ78がONのときは、ダウンロードした画像の一覧表示を作成してメモリ部5511に記憶し、表示部5512に一覧を表示する。一方、画像表示方法指示情報77のスライドショーフラグ79がONのときは、ダウンロードした画像のスライドショー表示を作成してメモリ部5511に記憶し、表示部5512にスライドショーを表示する。
ステップS5617で、サーバ42からダウンロードした画像の表示処理が完了すると、撮影装置1の第3メモリ33に記録されている撮影画像と、サーバ42からダウンロードした画像データとの間に同期が成り立っているかどうかの同期確認処理を行う(ステップS5619)。本処理は、撮影装置1からステップS5611で受信した撮影画像状況情報55に基づいて行われる。撮影画像状況情報55としては、最終撮影時間68(Case1)、未アップロード画像データの存在識別情報として、撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64(Case2)、未アップロード画像情報をハッシュした情報67(Case3)、あるいは、撮影画像に対して時系的に付与した画像番号の画像の最終番号69(Case4)が送信される。これは、撮影装置1とサーバ42の撮影画像の同期を確認するために必要な情報である。
図46Aおよび図46Bは、図45のサーバ同期確認処理(ステップS5619)の撮影画像状況情報55がCase1〜Case4のそれぞれにおける詳細な処理の流れを示したフローチャートである。
Case1は、撮影画像状況情報55が最終撮影時間68であるときのフローチャートである。
まず、TV45の通信部5506によって、サーバ42から、最終のアップデートに日時を取得する(アップデートされた画像の最終撮影日時でも、同様の効果)(ステップS5701)。
次に、サーバ42から取得した最終のアップデート日時と、撮影装置1からRF−IDリーダライタ46からの撮影画像状況情報55で示される最後に撮影した日時68を比較する(ステップS5702)。最終アップロード日時が、最後に撮影した日時68より以前の場合は、最終アップロードした時点の以後に画像を撮影し、撮影した画像がアップロードできていないと判定されるため、撮影装置1とサーバ42の画像の同期が取れていないと判断しステップS5703のエラー表示処理に移る。一方、最終アップロード日時が、最後に撮影した日時68が同等の場合には、撮影装置1とサーバ42の画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5702で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。この場合、最終アップロード日時と最後に撮影した日時68の比較によって、どの時点からの撮影画像がアップロードできていないのかを示す時間情報を同時にメッセージとして出力すれば、ユーザにとってわかりやすいメッセージとなる。
Case2は、撮影画像状況情報55が撮影画像ごとに付与された未アップロードデータかどうかの判別が可能な存在識別子64であるときのフローチャートである。
まず、撮影装置1からRF−IDリーダライタ46からの撮影画像状況情報55で示される未アップロード画像の存在識別情報の存在識別子から撮影装置1の第3メモリ33に記録されている撮影画像のうち、サーバ42にアップロードできていない画像があるかどうかを判定する(ステップS5711)。ステップS5711でアップロードできていない画像があると判定された場合には、ステップS5712のエラー表示処理に移る。一方、アップロードできていない画像ないと判定された場合には、撮影装置1とサーバ42の画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5712で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。
Case3は、撮影画像状況情報55が未アップロード画像情報をハッシュした情報67であるときのフローチャートである。
まず、撮影装置1からRF−IDリーダライタ46からの撮影画像状況情報55で示される未アップロード画像情報をハッシュした情報67から撮影装置1の第3メモリ33に記録されている撮影画像のうち、サーバ42にアップロードできていない画像があるかどうかを判定する(ステップS5721)。ステップS5721は、NULLのハッシュ値をTV45で生成し、その比較によって、未アップロード画像があるかないかを判定する。ステップS5721でアップロードできていない画像があると判定された場合には、ステップS5722のエラー表示処理に移る。一方、アップロードできていない画像ないと判定された場合には、撮影装置1とサーバ42の画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5722で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。
Case4は、撮影画像状況情報55が撮影した画像に付与する番号のうち、最終の撮影画像の番号であるときのフローチャートである。
まず、TV45の通信部5506によって、サーバ42から、最終のアップデート画像の画像番号を取得する(ステップS5731)。
次に、サーバ42から取得した最終アップロード画像の番号69と、撮影装置1からRF−IDリーダライタ46からの撮影画像状況情報55で示される画像の最終番号69を比較する(ステップS5732)。最終アップロード画像の番号が、最後に撮影した画像の番号69より小さい場合は、最終アップロードした時点の以後に画像を撮影し、撮影した画像がアップロードできていないと判定されるため、撮影装置1とサーバ42の画像の同期が取れていないと判断しステップS5733のエラー表示処理に移る。一方、最終アップロード画像の番号が、最後に撮影した画像の番号69が同等の場合には、撮影装置1とサーバ42の画像の同期が行われているので、エラーを出力することなく、処理を終了する。
ステップS5732で、撮影装置1とサーバ42の同期が取れていないと判断した場合には、表示部5512に、同期が取れていないことを示す注意メッセージを出力する。
以上のCase1〜Case4のいずれの方法でも、撮影装置1で撮影した全画像がサーバ42にアップロードできていない、すなわち同期できていない場合には、表示部5512に撮影した全画像を表示することができないが、同期が取れていないことが判定可能となるため、ユーザにわかりやすいメッセージを表示することが可能となり、ユーザの無用な混乱を避けることができる。
図47は、(1)撮影装置1からサーバ42に撮影画像をアップロードする場合、(2)撮影装置1とTV45のRF−ID通信の場合のそれぞれのデータフォーマットである。
まず、(1)撮影装置1からサーバ42に撮影画像をアップロードする場合のデータフォーマット5940を説明する。本フォーマットには、カメラID5901、サーバアドレス5902、サーバログインID5903、サーバログインパスワード5904、画像ディレクトリ5905およびアップロード画像数5906が含まれる。
カメラID5901は、カメラごとに固有に付与されているカメラ固有IDであり、撮影装置1の第2メモリ52のカメラID部76に記録されているID情報である。本ID情報は、サーバ42へのログインIDとして用いることで、ユーザによってログインIDの入力を行うことなく、撮影装置1ごとに一意のサーバアドレスを付与することが可能となる。また、サーバ42で、撮影したカメラごとに、撮影画像を管理することも可能となる。
サーバアドレス5902は、撮影装置1の第2メモリ52のサーバ特定情報58のサーバアドレス情報81の内容である。これによって、アップロードしたサーバをTV45側で特定することができる。
サーバログインID5903は、撮影装置1の第2メモリ52のサーバ特定情報58のユーザ識別情報82であるログインID83の内容である。これによって、撮影装置1からアップロードしたサーバへの同一アカウントでのログインがTV45でも可能となる。
サーバログインパスワード5904は、撮影装置1の第2メモリ52のサーバ特定情報58のパスワード84の内容である。これによって、撮影装置1からアップロードしたサーバへの同一アカウントでのログインがTV45でも可能となる。
アップロード画像数5906は、サーバへアップロードする画像数である。これには、撮影装置1の第2メモリ52の未アップロード画像の枚数65に記憶されている画像数と同等の枚数であり、撮影後、サーバにアップロードされていない画像数が記載される。
本フォーマットの送信以後、撮影装置1の第3メモリ33に記録され、かつ、サーバにアップロードされていない画像がアップロードされる。
次に、(2)撮影装置1とTV45のRF−ID通信の場合のそれぞれのデータフォーマット5950について説明する。本フォーマットは、カメラID5911、サーバアドレス5902、サーバログインID5913、サーバログインパスワード5914、最終撮影日時5915、未アップロードであることが判定可能な識別情報5916、未アップロード画像情報をハッシュした情報5917、最終撮影画像の画像番号5918および画像表示方法指示情報5919から構成される。
カメラID5911は、カメラごとに固有に付与されているカメラ固有IDであり、撮影装置1の第2メモリ52のカメラID部76に記録されているID情報である。本ID情報は、TV45からサーバ42へのログインIDとして用いることで、ユーザによってログインIDの入力を行うことなく、撮影装置1ごとに一意のサーバアドレスを付与することが可能となる。また、撮影装置1のRF−ID47とTV45のRF−IDリーダライタ46との相互認証時に用いることもある。
サーバアドレス5912は、撮影装置1の第2メモリ52のサーバ特定情報58のサーバアドレス情報81の内容である。これによって、アップロードしたサーバをTV45側で特定することができる。
サーバログインID5913は、撮影装置1の第2メモリ52のサーバ特定情報58のユーザ識別情報82であるログインID83の内容である。これによって、撮影装置1からアップロードしたサーバへの同一アカウントでのログインがTV45でも可能となる。
サーバログインパスワード5914は、撮影装置1の第2メモリ52のサーバ特定情報58のパスワード84の内容である。これによって、撮影装置1からアップロードしたサーバへの同一アカウントでのログインがTV45でも可能となる。
最終撮影日時5915は、撮影装置1の第2メモリ52の撮影画像状況情報55の最後に撮影した時間68に対応する情報であり、TV45側で、サーバ42と撮影装置1の撮影画像の同期確認に用いられる。
未アップロードであることが判定可能な識別情報5916は、撮影装置1の第2メモリ52の撮影画像状況情報55の未アップロード画像データ存在識別情報に対応する情報であり、TV45側で、サーバ42と撮影装置1の撮影画像の同期確認に用いられる。また、本未アップロードであることが判定可能な識別情報5916は、各撮影画像を識別可能な画像ID5928に対して、サーバへのアップロードが完了しているかどうかを示すアップロードフラグ5926が付与されている形態である。これによって、撮影画像1枚1枚ごとにサーバにアップロードしているかどうかの判定が可能となる。
未アップロード画像情報をハッシュした情報5917は、撮影装置1の第2メモリ52の撮影画像状況情報55の未アップロード画像情報をハッシュした情報67に対応する情報であり、TV45側で、サーバ42と撮影装置1の撮影画像の同期確認に用いられる。
最終撮影画像の画像番号5918は、撮影装置1の第2メモリ52の撮影画像状況情報55の撮影画像の最終番号69に対応する情報であり、TV45側で、サーバ42と撮影装置1の撮影画像の同期確認に用いられる。
画像表示方法指示情報5919は、撮影装置1の第2メモリ52の撮影画像状況情報55の画像表示方法指示情報77に対応する情報であり、TV45側で、サーバ42からダウンロードした画像の閲覧方法を指定する識別情報で構成される。
画像表示方法指示情報5919は、画像ID5927ごとに、一覧表示フラグ5920、スライドショーフラグ5921、印刷フラグ5922、動画再生フラグ5923、ダウンロードフラグ5924およびセキュリティパスワード5925から構成される。
画像ID5927は、撮影画像に一意の情報であり、撮影装置1によって撮影時に時系列的に付与される。
一覧表示フラグ5920は、撮影装置1の第2メモリ52の一覧表示(フラグ)78に対応し、TV45においてサーバ42からダウンロードした画像情報の閲覧を一覧形式にするかどうかのフラグである。TV45のデータ処理部5510は、このフラグが“yes”の場合には、ダウンロードした画像の一覧表示を作成して、メモリ部5511に記憶し、表示部5512に一覧形式で表示する。
スライドショーフラグは、撮影装置1の第2メモリ52のスライドショー(フラグ)79に対応し、TV45においてサーバ42からダウンロードした画像情報の閲覧をスライドショーにするかどうかのフラグである。TV45のデータ処理部5510は、このフラグが“automatic”の場合には、ダウンロードした画像のスライドショーを作成して、メモリ部5511に記憶し、表示部5512にスライドショーで表示する。一方、本スライドショーフラグが、“manual”である場合には、ユーザ指示によってスライドショーを実施することを許可する。また、“disable”の場合には、スライドショー表示を許可しない。
印刷フラグ5922は、TV45にダウンロードして表示部5512にて表示する画像が、TV45に接続された図示しないプリンタによって印刷可能かを示すフラグである。これは、撮影装置1の第2メモリ52の画像表示方法指示情報77内に図示していないが、印刷フラグを設けることによって、印刷可能かどうかの設定を行うことができ、ユーザの画像使用に関する利便性を向上させることが可能となる。
動画再生フラグ5923は、撮影装置1で動画情報を撮影し、サーバ42にアップロードした場合、TV45にて動画をダウンロードし、閲覧することを許可するかどうかのフラグである。撮影装置1にて動画撮影機能が存在する場合には、第2メモリ52の画像表示方法指示情報77に本動画再生フラグ5923を付与することによって、動画像の再生を許可するかどうかの設定を追加することが可能となり、ユーザの煩雑な操作をすることなく、動画像の再生管理を行うことが可能となる。
ダウンロードフラグ5924は、サーバ42にアップロードされた画像や動画をTV45のメモリにダウンロード(コピー)することが可能かどうかを示す識別子である。このフラグを用いれば、撮影画像を許可されない第3者によって、コピーさせることがなくなるので、著作権の保護にも繋げることが可能となる。
セキュリティパスワード5925は、前述の画像の閲覧、印刷およびダウンロードを許可したユーザのみ可能とするためのパスワード情報である。本実施形態では、前述の画像の閲覧、印刷およびダウンロードに対して、同じパスワード設定をする形態で説明するが、それぞれ異なるパスワードを設定できるようにする方が、各レベルでのセキュリティ対策が実施できるのでなおよい。
以上のように、本発明のシステムを用いれば、撮影装置1は撮影画像を第1アンテナによって接続されるサーバにアップロードされる。また、撮影装置1をTV45のRF−IDリーダライタ46にかざせば、撮影装置1のRF−ID47から、サーバURL生成情報80、撮影画像状況情報55および画像表示方法指示情報77をRF−ID通信によって、TV45に送信し、TV45は、撮影装置1によって撮影画像をアップロードしたサーバに接続し、撮影装置1にて撮影した画像をTV45にダウンロードして表示する。また、撮影画像状況情報55によって、サーバ42と撮影装置1の撮影画像情報の同期を確認して、同期が取れていない場合には、その旨をTV45の表示部5512に表示する。よって、ユーザは、従来までの記録メモリをカメラから抜き出し、TV45にセットして閲覧する必要のあった撮影画像の表示を、撮影装置1をTV45にかざすだけで対応できるようにすることが可能となる。これによって、デジタル機器の操作に慣れないユーザであっても簡単に撮影画像をTV45に表示することができる。
(実施の形態3)
本発明の実施の形態3について述べる。
まず、実施の形態3の概略を説明する。図48は実施の形態3の電子カタログ表示システムの概略構成図である。実施の形態3の電子カタログ表示システムは、RF−IDライタ部501を備えた電子カタログサーバ情報入力機500と、RF−ID47を備えた電子カタログ通知カード502と、RF−IDリーダ部504とネットワーク通信部509xを備えたTV45と、電子カタログデータデータベース507と顧客属性データベース508を備えた電子カタログサーバ506を備える。
電子カタログサーバ情報入力機500は、ユーザ(電子カタログのサービス提供者)から入力された電子カタログサーバ情報を、RF−IDライタ部501から、電子カタログ通知カード502に貼付されたRF−ID47に書き込む。この電子カタログサーバ情報が書き込まれた電子カタログ通知カード502を、ユーザ(電子カタログのサービス利用者)が、TV45に近づけることにより、TV45が備えるRF−IDリーダ部504がRF−ID47に書き込まれた電子カタログサーバ情報を読み取る。さらに、TV45は、読み取った電子カタログサーバ情報を基に、ネットワーク通信部509xを介してネットワーク上に設置された電子カタログサーバ505に電子カタログの取得要求を送信する。また、TV45は、電子カタログ取得要求を電子カタログサーバに送信する際に、予めTV45に入力されていたユーザ情報も同時に電子カタログサーバ505に送信する。電子カタログサーバ505は、TV45からの電子カタログ送信要求およびユーザ情報を受信し、まずユーザ情報を基に、顧客属性データベース508から顧客属性データを取得する。次に、顧客属性データを基に、電子カタログデータデータベース507から対応する電子カタログデータを取得する。そして、取得した電子カタログデータを、電子カタログ要求を発したTV45に対して送信する。TV45は、電子カタログサーバ505から受信した電子カタログデータを画面に表示し、ユーザ(電子カタログのサービス利用者)からの電子カタログデータ内の商品の購入操作を受け付ける。
以下に、実施形態3の電子カタログ表示システムの詳細を説明する。
図49は実施形態3の電子カタログサーバ情報入力機の構成を示す機能ブロック図である。まず、キー入力受付部520が、ユーザ(電子カタログのサービス提供者)が操作する入力キーからの入力を受け取り、電子カタログサーバ情報を取得する。キー入力受付部520が取得する電子カタログサーバ情報は、URL等のサーバアドレスと、サーバログインIDと、サーバログインパスワードと、電子カタログ表示用パスワードと、電子カタログに含まれる商品の画像を一覧(サムネイル)表示するのかそれとも逐次(スライド)表示するのかを示す電子カタログ表示情報と、RF−IDが貼付先となるカードやハガキ等の媒体を示すメディア識別情報である。キー入力受付部520が取得した電子カタログサーバ情報を、記憶部522に格納する。次に、電子カタログサーバ情報が入力された後に、RF−ID送信キー等が入力されると、RF−ID送信入力受付部521が送信部523に送信要求を通知し、送信部523は、記憶部522から電子カタログサーバ情報を読み出し、アンテナ部524から電子カタログサーバ情報を送信する。電子カタログサーバ情報入力機の処理の詳細を、図50のフローチャートで示す。
図51は、電子カタログ通知カード502が備えるRF−ID47の構成を示すブロック図である。RF−ID47の構成および処理は、実施の形態1および2で説明したものと同様である。第2アンテナ21から受信した信号から第2電源部91が電流を取り出して各部へ電源供給を行い、データ受信部105と第2処理部95と記録部106が、受信したデータを第2メモリ52へ記録する。
図52は、TV45の構成を示す機能ブロック図である。実施の形態3でのTV45の構成は、実施の形態2での構成に、ユーザ情報入力部588を追加した構成である。予めユーザ(電子カタログのサービス利用者)が入力した、ユーザ自身の属性に関するユーザ情報をユーザ情報入力部588が受け付け、メモリ部583に一旦格納する。ユーザ情報として、例えばユーザの性別情報や年齢情報が好ましいが、これら以外にも、居住地や家族構成等のように電子カタログから提供される商品データの選別に利用可能な個人情報であってもよい。このユーザ情報は、URL生成部が生成した電子カタログサーバのURLとともに、通信部509を介して電子カタログサーバに送信される。実施の形態1と同様、本実施形態でも、電子カタログサービス利用者が、電子カタログ通知カード502をTV45のRF−IDリーダ部504に近づけることで、TV45が電子カタログサーバ情報を受信し、これを用いてサーバのURLを生成し、サーバに接続する。この処理の詳細は、第1の実施形態の図7〜図20で示した処理と同様である。
図53は電子カタログサーバ506の構成を示す機能ブロック図である。電子カタログサーバ506は、通信部600を介して、TV45から送信された電子カタログ送信先アドレス(TV45と電子カタログサーバ506が属するネットワーク上でのTV45のネットワークアドレス)とユーザ情報を受信する。次に、顧客属性データ取得部が受信したユーザ情報を基に、顧客属性データベース508から顧客属性データを取得する。例えば、ユーザ情報の中にTV45を使用するユーザの性別と年齢が含まれている場合は、図57に示すデータ構造を持つ顧客属性データベース508から年齢と性別に対応する商品ジャンルや商品価格帯の情報を顧客属性データとして取得する。そして、電子カタログデータ取得部602が、顧客属性データを基に電子カタログデータベース507から電子カタログデータを取得する。例えば、顧客属性データに商品ジャンルと商品価格帯が含まれている場合は、図58に示すデータ構造を持つ電子カタログデータベース507から商品ジャンルと商品価格帯に対応する商品データをまとめて電子カタログデータとして取得する。電子カタログデータ取得部602で取得した電子カタログデータは、通信部600を介して、電子カタログ送信先アドレスが示すTV45に送信される。電子カタログサーバ506の処理の詳細を図54のフローチャートで示す。
次に、図55に示したフローチャートを用いて、電子カタログデータをダウンロードした後のTV45の処理を説明する。S630〜S632におけるRF−IDから電子カタログサーバ情報を取得する処理は、電子カタログデータをダウンロードしていない場合もダウンロード完了後でも共通である。S633で、RF−IDから受信した電子カタログサーバ情報に対応する電子カタログデータの、ダウンロードおよび表示が完了しているかを判定し、ダウンロードが完了していない場合は、S634およびS635でサーバから電子カタログデータをダウンロードする。このデータのダウンロード処理は実施の形態1におけるデータのダウンロード処理と同様である。
S633で電子カタログデータがダウンロード済みであった場合は、予め設定した所定のキー、例えば確定キーのキー信号を発効し、表示している電子カタログデータに対する操作を実行する。例えば、図56に示した電子カタログデータの画面表示例のように、表示中の電子カタログデータに対してユーザが次に行うべき操作を2、3の少ない選択肢で提示する画面構成とし、さらに図56中の選択肢652と653で示されるように、一定時間経過ごとに選択候補を示すフォーカスが選択肢間を移動するような画面構成とする。このようにすれば、ユーザは自身が希望する選択肢にフォーカスがあるときに、RF−ID47を備えた電子カタログ通知カード502をTV45にかざすことで、電子カタログデータの選択や、各データにおける購入などの操作を実行することができる。
なお、本実施形態の電子カタログ通知カード502上のRF−ID47が内蔵する第2メモリ52は、ROM(ReadOnlyMemory)であってもよい。この場合、電子カタログサーバ情報入力機500は、RF−ID製造工程におけるRF−IDメモリデータ入力機、またはRF−ID製造システムにおけるRF−IDメモリデータ入力手段となる。一般的に、書き換え可能メモリを有するRF−IDよりもROMを有するRF−IDの方が安価に構成できるため、電子カタログ通知カードを大量に送付する電子カタログサービス提供者にとっては、ROM型RF−IDを利用することでコストを抑えることができる。
なお、本実施形態では、TV45の画面構成として、図56中の選択肢652と653で示されるように、一定時間経過ごとに選択候補を示すフォーカスが選択肢間を移動するとしたが、RF−ID47を備えた電子カタログ通知カード502を使用して、画面表示した電子カタログデータを操作する方法はこれに限定されない。例えば、TV45の受信部571が、RF−IDから送信される情報を連続して受信し、その連続する受信数を計測することによって、RF−IDがTV45に近づけられている時間を取得し、そのRF−ID近接時間を基に、画面表示された選択候補を示すフォーカスを移動させてもよい。このような構成とすることで、RF−IDをTVに近づけている間だけ、画面上に表示されたフォーカスが移動して選択候補を変更し、RF−IDをTVから離した所でフォーカスの移動も停止し、さらにフォーカスの移動停止後、一定時間が経過すると、フォーカスが停止していた選択候補の選択が確定するという、電子カタログの操作が可能となる。この電子カタログ操作方法では、一定時間ごとに自動的に選択候補を巡回するフォーカスが、ユーザの所望する選択肢まで回ってくることを待つことなく、ユーザがRF−IDを用いて能動的に電子カタログを操作できるという効果が得られる。
なお、本実施形態で電子カタログサーバ情報入力機500は、キー入力受付部520が、ユーザ(電子カタログのサービス提供者)が操作する入力キーからの入力を受け取り、電子カタログサーバ情報を取得する構成としたが、電子カタログサーバ情報入力機が画像サーバとの通信インタフェースを備え、画像サーバが、電子カタログサーバ情報入力機に送信するサーバ情報を保持し、電子カタログサーバ情報入力機が画像サーバからサーバ情報を受信して取得する構成としてもよい。このような構成にすることにより、画像サーバにサーバ情報を入力しておけば、電子カタログサーバ情報入力機側で画像サーバを入力する必要がなく、特に1つの画像サーバに対して複数の電子カタログサーバ情報入力機を運用する場合において、利便性が高い。
従来はパソコン等の電子機器操作に精通していないユーザがネットショッピングを利用するために機器の操作を習得しなければならないことが課題であったが、以上のように、実施の形態3で述べたシステムを用いれば、電子カタログを利用するユーザは、受け取ったカードやハガキをTVに近づけるだけで、ネットショッピング等を利用することができ、パソコンや携帯電話等のインターネット端末に慣れ親しんでいないユーザであっても、容易にTV画面上でショッピングを楽しめるようになる。
(実施の形態4)
本発明の実施の形態4について述べる。
図59は実施の形態4の概略構成図である。本実施の形態では、画像サーバへアクセスするためのRF−IDが貼付されたハガキを、遠隔地に送付する方法について説明する。まず、ハガキの送付元となる第1ユーザが、RF−ID47を備えた撮影装置1をTV45のRF−IDリーダライタ46に近づけると、TV45が画像サーバ42に接続するためのサーバURLを生成し、画像サーバ42から画像データを取得し、画面に表示する。この処理は、実施の形態1と同様である。次に、第1ユーザが、TV45に表示された画像の中から、ハガキに印刷したい画像と、ハガキに関連付けて登録したい(遠隔地に居る第2ユーザに見せたい)画像を、TV45に対応するリモコン等の入力手段を用いて選択する。さらに第1ユーザは、ハガキの送付先住所等の送付先情報もリモコン等を用いて入力する。TV45は、第1ユーザが選択したハガキに印刷する画像のIDと、ハガキに登録する画像のIDと、ハガキ送付先情報を画像サーバ42に送信する。画像サーバ42は、受信した印刷画像IDに対応する画像データを取得し、画像データとハガキ送付先情報をプリンタ800に送信する。プリンタ800は、画像データとハガキ送付先住所を、ハガキに印刷する。また、画像サーバ42は、画像サーバ情報入力機500に、Tv45から受信した登録画像IDを送信し、同時に、URL等のサーバアドレスと、サーバログインIDと、サーバログインパスワードと、画像表示用パスワードと、画像を一覧(サムネイル)表示するのかそれとも逐次(スライド)表示するのかを示す画像表示情報と、RF−IDの貼付先となるカードやハガキ等の媒体を示すメディア識別情報を含む画像サーバ情報を送信する。画像サーバ情報入力機500は、画像サーバ情報と登録画像IDを、プリンタで画像と送付先情報を印刷したハガキのRF−ID47に書き込む。印刷とRF−IDへの書き込みが行われたハガキ801は、印刷された送付先に郵送され、第1ユーザが送付先として指定した第2ユーザがこのハガキ801を取得する。第2ユーザが、郵送されたハガキを、第2ユーザのTV45のRF−IDリーダライタ46に近づけると、TV45は、RF−ID47が格納する画像サーバ情報と登録画像IDを取得し、登録画像IDに対応する画像データをサーバからダウンロードおよび表示する。
本実施の形態の撮影装置1の構成および処理は実施の形態1と同様である。
図60は、本実施の形態のTV45の構成を示すブロック図である。受信部811は、無線アンテナ570を介して撮影装置1もしくはハガキ801のRF−ID47から画像サーバ情報を受信するが、ハガキ801のRF−ID47が登録画像IDを有する場合は、登録画像IDも受信する。また、画像選択部584は、キー部585および赤外線受光部586を介してユーザの画像選択操作を受け付け、第1ユーザがハガキに印刷するために選択した画像のID(印刷画像ID)と、ハガキに登録するために選んだ画像のID(登録画像ID)を取得し、これらを通信部509へ送る。この画像選択操作時にTV45に表示する画面表示例を図61に示す。図61中の821がハガキに印刷する画像を選択する画面表示であり、図61中の820がハガキに登録する画像を選択する画面表示である。また、ハガキ送付先情報入力部810は、キー部585および赤外線受光部586を介してユーザの文字入力操作を受け付け、ハガキの送付先となる住所および宛名を含むハガキ送付先情報を取得し、通信部509へ送る。ハガキ送付先情報を入力する際の画面表示例を図61中の823に示す。通信部509は、送信部575および通信インタフェース576を介して、ハガキ送付先情報と印刷画像IDと登録画像IDを画像サーバに送信する。
図62は、画像サーバ42とプリンタ800と画像サーバ情報入力機500が、ハガキ801を送付できるように準備する処理を示すフローチャートである。印刷とRF−IDへの書き込みが行われたハガキ801は、印刷された送付先に郵送され、第1ユーザが送付先として指定した第2ユーザがこのハガキ801を取得する。第2ユーザが受け取ったハガキ801を、TV45にかざすと、受信部811が無線アンテナ570を介して、RF−ID47が送信した画像サーバ情報および登録画像IDを受信する。画像サーバ情報および登録画像IDの中で暗号化された情報は、復号部572で復号化される。次にURL生成部573が、画像サーバ42に格納された画像データの中から、登録画像IDに対応する画像データのみをTV45にダウンロードするURLを生成する。具体的には、生成するURLの中でサーバの内部ディレクトリを指定したり、URLオプションとして登録画像IDをURLに埋め込んだりする手法を利用することができる。URL生成部573で生成したサーバを指定するURLを用いて、TV45が画像サーバにアクセスして画像データを取得する処理の詳細は、実施の形態1で説明した処理と同様である。
なお、本実施の形態では、ユーザがTV45に送付先情報を入力する構成としたが、住所や宛名等の送付先情報だけでなく、ハガキに画像とともに印刷するメッセージも入力してもよい。TV45が受け付けた入力メッセージは、送付先情報と同様に、TV45から画像サーバ42に送られ、さらにプリンタ800でハガキに印刷される。TV45での印刷用のメッセージの入力画面例を、図61の822に示す。このようにハガキに印刷するハガキを選択できるだけでなく、画像に添えるメッセージを入力できるようにすることで、RF−ID付きハガキを作成する自由度が上がる。
なお、本実施の形態のTV45において、実施の形態3でRF−IDを用いて画面表示された電子カタログを操作する処理と同様に、RF−ID付きハガキを用いて、TV45に表示した画像を操作できる構成としてもよい。
以上のように、実施の形態4で述べたシステムを用いれば、手元にRF−IDが貼付されたハガキを用意することなく、離れた所にいる相手にRF−ID付きハガキを郵送することができるとともに、画像サーバに格納した画像をハガキに印刷して送付したい場合も、TV画面上の操作で印刷したい画像を選択することができるので高い利便性が得られる。
従来は遠隔地にいる相手にテレビなどの大画面表示機器で画像を見せるためには、遠隔地側のユーザが機器操作を習得したり、遠隔地に操作習得者が赴いて機器を操作したり、遠隔地にある表示機器を遠隔操作する必要があったが、本システムでは、遠隔地のユーザがRF−ID付きのハガキ等、物理的な媒介物を表示機器に近づけるという簡単な操作で容易に画像を閲覧することができる。
(実施の形態5)
本発明の実施の形態5では、ハガキ等の郵送物に固定の情報が書き込まれており、撮影装置では書き込まれた固定情報とサーバに保存された画像または画像グループ(画像情報)とを紐付けし、再生側ではハガキ等に付けられたRF−IDから固定情報を読み出すことで、固定情報に関連付けられた画像の閲覧を可能にする構成について説明を行う(図63)。図63では、まず郵送物に記録された固定情報を撮影装置で読み取り、画像と郵送物固有IDとの関連付けを行いサーバに登録する。登録が完了した郵送物を受け取ったユーザは、郵送物をテレビのRF−IDリーダに近づけることで固定情報の読み出しを行い、固有情報を用いてサーバに問い合わせを行うことで郵送物に関連付けられた画像の閲覧を行う。
本実施の形態のポイントは、郵送物に付けられたRF−IDの情報が書き換えできない(ROM)または、書き換えできない環境であるという点であり、郵送物の固定情報の書き換えを行わずにサーバの画像情報と郵送物の関連付けを行う点である。
<撮影装置での画像のアップロードと郵送物との関連付け>
撮影装置により撮影した画像は、先の実施の形態で説明した方法によりサーバにアップロードされる。このとき、アップロードした画像または画像グループごとに識別子が付与され、この識別子によりサーバ上の画像または画像グループが識別可能となる。
以下、撮影装置により撮影されサーバへアップロードされた画像または画像グループと、郵送物のRF−IDにタグに記録された固定情報との関連付け方法について説明を行う。なお、郵送物のRF−IDに記録されている固定情報は図64のようになる。
図64(a)は、郵送物に固有の郵送物固有IDと画像サーバへアクセスするためのアドレス等の情報を、図64(b)は郵送物固有IDと中継サーバにアクセスするためのアドレス等の情報を、図64(c)は郵送物固有IDのみ記録されている例である。なお、これ以外にサーバにアクセスするためのログインIDやパスワード情報を格納していることもあるが、本実施の形態ではサーバにアクセスするために必要となる情報は、アドレス情報を含むURLに含まれているとする。
図65は、撮影装置がRF−IDリーダの機能を持つ場合のRF−IDとサーバに記録された画像情報との関連付けのフローチャートである。
撮影装置では、まず、郵送物のRF−IDに格納された情報をRF−IDリーダを用いて読み出す(S2500)。具体的には、図3の第2アンテナ21より、郵送物のRF−IDと通信を行い、データ受信部105により郵送物の固定情報を受信する。その後、第2処理部95により処理を行い、記録部106、第2メモリ52、記録再生部51を経由して第1処理部35へ読み出した郵送物の情報が転送される。第1処理部では、郵送物より読み出した郵送物固有IDと、画像または画像グループとの関連付けをユーザの指示により決定する(S2501)。その後、第1アンテナ20を経由してサーバ42へアクセスし(S2502)、郵送物固有IDとサーバに格納されている画像情報との関連付け情報をサーバに登録する(S2503)。
読み出した郵送物に格納された固定情報に画像サーバのアドレスまたはアドレスを含むURLが記録されていた場合には、以上で処理は終了である。郵送物に格納された固定情報に画像サーバのアドレスまたはアドレスを含むURLが記録されていない場合には、中継サーバへの設定を行う(図66)。
中継サーバへの設定では、まず中継サーバへのアクセスを行う(S2510)。なお、中継サーバのアドレスまたはアドレスを含むURLが郵送物から読み出した情報にある場合には、読み出した情報に含まれる中継サーバを、ない場合いは撮影装置側に予め設定されている中継サーバにアクセスする。
中継サーバと接続後、中継サーバのデータベースに郵送物固有IDをリダイレクト先(転送先)のサーバとの関連付け設定を行う(S2511)。これにより中継サーバのデータベースに郵送物固有IDと転送先のアドレスの対応が登録される。
撮影装置がRF−IDリーダの機能を持たない場合で、かつ、郵送物にRF−IDリーダの情報を記録した2次元コード等が印刷されている場合は、撮影装置の撮像部を用いて撮影を行い、2次元コードとして記録された情報を読み出すことで郵送物のRF−IDに記録されている固定情報と同じ情報を読み出す。2次元コードとしては、QRコード(登録商標)、PDF417、ベリコード、マキシコードなどがあるが、ここに書かれているもの以外のものでも撮影装置により撮影することで情報の取り込みが行えるものであればどのようなものを利用してもよい。また、印刷領域面積が増えてしまうが、1次元方向のみのバーコードを利用した場合でも本実施の形態と同様の効果が期待できる。
図67は、RF−ID部2520が取り付けられ、同一の情報が記録された2次元コード2521が印刷された郵送物の例である。2次元コードを撮影装置で読み込む場合のデータの流れを図3の構成図を用いて説明する。郵送物に印刷された2次元コードは、撮像部30により撮影され、映像処理部31により画像に変換された後、記録再生部32を経由して第一処理部35へ送られる。第1処理部35では、撮影された2次元コードを解析し、2次元コードに記録されている情報を取り出す。2次元コードに記録されている情報は、RF−IDに記録されている情報と基本的には同一であり、少なくとも郵送物固有IDを含んでいる。
以下、図68を用いて、2次元コードから情報を読み出してサーバの画像または画像グループと関連付けを行うまでの処理の流れを説明する。
まず、撮像部により2次元コードの撮影を行う(S2530)。次に撮影された画像が2次元コードであるかどうかの判定を行い(S2531)、2次元コードでない場合には、エラー処理を行う(S2532)。なお、2次元コードでない場合には、通常の撮影処理を行ってもよい。2次元コードである場合には、2次元コードの解析を行い(S2533)、解析結果から郵送物の情報を読み出す(S2534)。郵送物の固定情報が読み出された後は、郵送物固有IDとサーバの画像情報の関連付けを決定し(S2535)、サーバへアクセスし(S2536)、関連付け情報をサーバに設定する(S2537)。S2535〜S2537の処理は図65のS2501〜S2503の処理と同じである。なお、読み出した情報に画像サーバのアドレスまたはアドレスを含むURLが記録されていない場合には、中継サーバへの転送設定処理を行う。中継サーバへの設定処理は、先に説明した図66の処理となる。
以上により、郵送物に印刷された2次元バーコードの情報を読み取ることで、RF−IDに記録された情報とサーバの画像情報との関連付けが完了する。
撮影装置がRF−IDリーダ機能を持たず、郵送物に2次元コード等のコードが印刷されていない場合、郵送物に印刷された郵送物固有IDやサーバアドレスなどのURLを直接撮影装置に手入力することで、郵送物の情報を撮影装置で情報を読み出すことも可能である。手入力は、図2の7〜15のボタン操作等により行う。なお、URLや郵送物の固有IDは、直接平文で印刷されていても、入力しやすいコードに符号化されていてもよい。符号化されている場合は、入力完了後に撮影装置でデコード処理を行い、郵送物のRF−IDの記録されている情報を取り出す。
以上により、RF−IDリーダ機能を持たず、かつ、2次元バーコード等が印刷されていない場合でも、郵送物とサーバの画像情報との関連付けを行うことができる。
<郵送物のRF−IDを用いた画像再生および閲覧>
次に、関連付けが完了している郵送物を用いて、テレビでサーバに記録されている画像を閲覧する手順について説明する。
図69は、郵送物のRF−IDを読み込んで画像サーバにアクセスするまでのテレビの処理フローを示す図である。
郵送物をテレビのRF−IDリーダに近づけると、郵送物のRF−IDの情報がテレビに読み込まれる(S2540)。読み込まれた情報にサーバアドレスまたサーバアドレスを含むURLが存在する場合には(S2541)、指定されたサーバへアクセスすし(S2542)、郵送物固有IDを送信する(S2543)。なお、相手が中継サーバであった場合には(S2544)、中継サーバにより指定されたサーバへのリダイレクトが行われ(2547)、画像サーバの画像または画像グループへのアクセスが行われる(S2548)。S2544において、相手が画像サーバであった場合には、リダイレクトは行われず、画像サーバへのアクセスが行われる(S2548)。また、郵送物に記録されていた情報にサーバアドレスが存在していない場合、テレビに予め設定されているデフォルトのサーバへのアクセスが行われ(S2545)、郵送物固有IDをデフォルトのサーバへ送信する(S2546)。その後、指定されたサーバへのリダイレクトが行われ(S2547)、画像サーバへのアクセスが行われる。
なお、中継サーバまたは、デフォルトのサーバのデータベースに郵送物固有IDと中継する先のサーバの対応付けが登録されていない場合は、エラーページへのリダイレクトが行われる。図70は、郵送物固有IDを受信した後の中継サーバおよびデフォルトのサーバの処理フローを示す図である。郵送物固有IDを受け取ると(S2550)、この固有IDに関連する情報がデータベースに記録されているか検索する(S2551)。データベースに記録されている場合は(S2552)、固有IDに関連付けられてデータベースに記録されているサーバへのリダイレクトを行う(S2554)。もし、関連付けがない場合には、エラーページへのリダイレクトが行われる(S2553)。
以上のように、予めRF−IDの情報が固定されている郵送物と画像サーバの画像情報の関連付けが行い、関連付けが行われた郵送物をテレビにかざすことで、郵送物のRF−IDの書き換えを行うことなく、画像サーバに記録され郵送物固有IDに関連付けられた画像または画像グループを閲覧することができる。これは例えば、外出先などで郵送物のRF−IDの書き換えができない場合や郵送物のRF−IDが書き換え不能なものでであっても、サーバの画像と郵送物との関連付けが行えるようになり、郵送物を受け取った側に郵送物に関連付けた画像を閲覧させることができるようになる。
なお、本実施の形態では、サーバにアクセス後、郵送物固有IDを送信するとしたが、郵送物に記録された郵送物固有IDとサーバアドレスからURLを生成し、これを用いてサーバにアクセスしてもよい。この場合は、サーバへのアクセスと郵送物固有IDの送信を同時に行うことが可能となる。
本実施の形態によれば、例えば、観光先等のようにRF−IDの書き換えができない環境下でも、撮影した写真とハガキを関連付けることができ、関連付けたハガキを知人に送ることで、ハガキを受け取った知人がテレビにハガキをかざすことで観光先での写真を閲覧させることが可能となる。このように、RF−ID書き換えができない環境であっても、サーバの画像情報と関連付けを行った郵送物を作成し、閲覧させたい相手に送ることができるようになる。
なお、撮影装置に郵送物のRF−IDを書き換えるためのRF−IDライタ機能が備わっている場合は、次に説明する実施の形態6のテレビ装置で郵送物とサーバの画像情報を関連付けるフローと処理は同じになるのでここでの説明は省略する。
(実施の形態6)
本発明の実施の形態6では、撮影装置にて撮影された画像が、画像サーバにアップロードされた後、画像送信側の利用者(以後、送信者と記載する)が画像サーバの画像から画像グループを選定し、この画像グループにアクセスするための情報が郵送物上のRF−IDに記録され、画像受信側の利用者(以後、受信者と記載する)の下へ郵送され、この郵送物上のRF−IDを用いて受信者による画像サーバの画像グループへのアクセスを実現する構成について説明する。
図71は、本発明の実施の形態6における画像送信側の構成を示す概略図であり、図72は本発明の実施の形態6における画像受信側の構成を示す概略図である。なお、図71と図72において、図1および図3と同じ構成要素については同じ符号を用い、説明を省略する。
図71と図72において、郵送物3001は、画像送信側から画像受信側へ郵送されるハガキ、または、封筒、便箋などの郵送物を示し、RF−ID部3002は、書き換え可能なRF−IDであり、その少なくとも一部の領域が書き換え可能なメモリ部3003を内包している。RF−ID部3002は、郵送物3001に貼り付け、あるいは漉き込まれており、郵送物と共に画像受信側へ送付されるものである。
また、RF−ID部3002については、先の実施の形態で述べた通り、このRF−ID部が属する媒体が郵送物であることを識別するためのメディア識別情報が、メモリ部3003に記録されている。
図72において、テレビ3045は、先の実施の形態で述べた図71のテレビ45と同等の機能を有する画像受信側に設置されたテレビ表示装置であり、図71のテレビ45と同様に、RF−IDリーダライタ部3046(図71のRF−IDリーダライタ46に相当)と、表示部3047(図71の表示部110に相当)を有し、さらに図には示されていないネットワーク接続手段によってインターネット40と接続されている。
上記構成に関して、次にその動作を説明する。
〈画像送信側の画像グループ選定、郵送物への書き込み〉
図71の画像送信側において、撮影装置1で撮影された画像は、撮影装置1に搭載された無線LAN、あるいはWiMAXなどの無線通信用の第2アンテナ20を用いて無線アクセスポイントに送られ、インターネット40を介して画像サーバ42の画像データ50として記録される。そして、撮影装置1をテレビ45のRF−IDリーダライタ46に近づけて、撮影装置1に搭載されたRF−IDのための第1アンテナ21を介した無線通信により、テレビ45との接続を確立する。テレビ45は、画像サーバ42の画像データ50へのアクセスのための情報を撮影装置1より取得し、画像データ50の画像をダウンロードして表示部110への表示を行う。以上の動作は、先の実施の形態で述べた動作と同様であり、概要のみ述べたものである。
次に送信者は、テレビ45の表示部110に表示された画像を確認しながら、画像ごとに受信者へ送信する画像であるか否か、言い換えれば、受信者の閲覧を許可するか否かを示す送信画像選択情報を設定していく。さらに、先の実施の形態で述べた表示限定、スライドショー、プリントなどの利用形態情報を、受信者に対して設定することもできる。これら送信画像選択情報と利用形態情報は、画像サーバに送信、記録され、送信画像選択情報によって送信画像として選択された画像の集合を画像グループとして画像サーバで管理される。
以降、送信者により選定された画像グループに関する情報が郵送物3001に記録される過程を、テレビ45の動作フロー図73を用いて説明する。
送信者は、上述の通りの送信画像選択、利用形態情報を設定した画像グループの作成が完了している状態にて、RF−ID部3002を有する郵送物3001を、テレビ45のRF−IDリーダライタ46に近づけて、RF−ID部3002とRF−IDリーダライタ46が無線通信できるようにする。
テレビ45は、RF−IDリーダライタ46を介して郵送物3001上のRF−ID部3002と通信が可能となると、メモリ部3003に記録された情報の読み込みを行い(S3101)、その中のメディア識別情報から現在の通信対象が郵送物であること識別して、郵送物に対する書き込み処理の流れに移行する(S3102)。なお、ステップS3102での条件判断が成立しない場合については、特に触れていないが、各媒体に応じた処理に移行するものする。
郵送物3001に対する書き込み処理は、まず、インターネット40を介して画像サーバ42へアクセスし(S3103)、画像受信側が前述の画像サーバ42上の画像グループにアクセスするためのサーバURL、画像グループアドレスなどの画像グループ指定情報を、画像サーバ42より取得する(S3104)。
画像サーバより取得した画像グループ指定情報は、郵送物3001内のメモリ部3003に書き込みを行うために、テレビ45のRF−IDリーダライタ46を介して、郵送物3001のRF−ID部3002に送信され、RF−ID部3002によりメモリ部3003の書き換え可能領域へ記録される(S3105)。
以上のようにして、画像グループ指定情報が記録された郵送物3001は、送信者により投函され、画像受信側の利用者の下に郵送される。
〈画像受信側の画像再生および閲覧〉
次に、画像受信側について、画像受信側構成の概略図である図72と画像受信側テレビの動作フロー図である図74を用いて説明する。
図72において、受信者は、送信者から郵送されてきた郵送物3001を受け取り、受信者は、RF−ID部3002、あるいは、郵送物3001上に記載された文字情報、または意匠により、その郵送物に画像へのアクセスのための手段が組み込まれていることを認知する。ここで、受信者は郵送物3001により画像へのアクセスが可能であること理解しているだけでよく、RF−ID部3002の画像グループ指定情報についてなどを特に意識する必要はない。
受信者は、画像を再生および閲覧するにあたり、郵送物3001を画像受信側に設置されたテレビ3045のRF−IDリーダライタ部3046に近づけることで、画像の閲覧を開始することができる。
郵送物3001上のRF−ID部3002が、テレビ3045のRF−IDリーダライタ部3046に十分に近づくと、RF−IDリーダライタ部3046は、図示されていないRF−IDリーダライタ部3046とRF−ID部3002の双方のアンテナを介して電力供給を行い、それによりに郵送物3001のRF−ID部3002が起動され、テレビ3045と郵送物3001のRF−ID部3002との無線通信が開始される。無線通信が開始されるとテレビ3045は、RF−ID部3002のメモリ部3003に記録されている情報の読み込みを行う(S3151)。
読み込まれた情報の中のメディア識別情報から現在の通信対象が郵便物であることを識別した場合は、送信者により設定された画像グループを画像サーバ42より読み出す処理の流れに移行する(S3152)。
画像サーバ42へのアクセスは、先のステップS3151にてRF−ID部3002より読み込まれた情報の中の画像グループ指定情報、例えば、サーバURL、画像グループアドレスなどから画像サーバ42上の画像グループへのアクセスのためのURLを生成し、インターネット40を介してアクセスすることが可能となる(S3153)。
以上の過程で、画像サーバ42と接続されたテレビ3045は、画像サーバ42上の画像データ50から、画像サーバ42が管理する画像グループの送信画像選択情報に従って、表示許可された画像を読み込み(S3154)、読み込んだ画像を表示部110に表示する(S3155)。
さらに、テレビ3045を介して受信者は、画像サーバ42が管理する画像グループの送信画像選択情報と利用形態情報に従って、スライドショーの再生、画像の印刷、また、図示されていないテレビ3045に付属、あるいは外部接続された記憶媒体への画像のダウンロードなどの機能を利用することが可能となる。
加えて、上述の画像の印刷は、図示していないLAN上のプリンタでの印刷のみならず、インターネット40を介した写真プリントサービスに対しての印刷依頼を行うことも可能である。
以上の通り、本発明の上記構成によると、郵送物3001上のRF−ID部3002により画像グループ指定情報が画像受信側のテレビ3045に伝達されることで、画像を取得するためのネットワーク・アクセス先の文字入力作業などを行う手間をかける必要がなくなる。すなわち、郵送物3001をテレビ3045に近づけるという、直感的で平易な操作により画像サーバ42に格納された画像データ50へのアクセスが可能となり、受信者にメニュー選択や文字入力などの煩雑な手順を行う知識を要求することなく画像サーバを介した画像の受渡しを実現している。
なお、上述の本実施の形態において、郵送物3001は、予めRF−ID部3002が貼り付け、あるいは、漉き込まれた状態として説明しているが、通常のハガキや便箋などの郵送物に、別途に提供される単体のRF−ID部3002を貼り付けることで作成されてもよく、これによれば、後からRF−ID部を貼り付けて、上述の効果を得ることができるため、送信側利用者の好みに応じた任意の郵送物に対して利用できるという新たな利点が生じる。
また、画像サーバ42へのアクセスにログイン操作が必要な場合は、郵送物3001上のRF−ID部3002のメモリ部3003の書き換え可能領域への書き込みの際(ステップS3105)にサーバログインIDとサーバログインパスワードを記録してもよい。さらに、ログインIDとログインパスワードは平文ではなく、暗号化された形式で記録することで安全性を確保することが望ましい。
また、上述の本実施の形態において、送信画像の選択、利用形態情報の設定、および、郵送物3001上のRF−ID部3002への画像グループ指定情報の書き込みは、画像送信側のテレビ45にて行っているが、これに替えて、RF−IDリーダライタ機能を有する撮影装置1で、送信画像選択情報と利用形態情報の設定、画像グループ指定情報の書き込みを行っても、上述と同様に、受信者の平易な操作による画像の受渡しを可能とする効果が得られる。
〈派生する他の一例〉
図75は、本発明の実施の形態6における別の一形態の画像送信側のテレビ45の動作を示すフロー図である。なお、図75において、図73と同じ処理となるステップは同じ符号を用い、その説明を略する。
本実施の形態においては、郵送物3001上のRF−ID部3002のメモリ部3003に、予め郵送物固有IDが記録されている。そして、この郵便物固有IDは、メモリ部3003のROM領域に記録されていることが、不慮の動作によるデータ破損やデータ改ざんなどのリスクを低減できる点で望ましい。このときのメモリ部3003のデータ構造の一例を示す構成図を図76に示す。
上述のRF−ID部によると、画像送信側のテレビ45にて、送信画像選択情報、利用形態情報の設定が行われ、画像グループが画像サーバ42上に設定されている状況において、図75(a)のフローに従って、テレビ45の動作次のようになる。
郵送物RF−IDの情報読み込み(S3101)、メディア識別情報による郵便物であることの認定(S3102)の後、テレビ45は、郵送物固有IDを取得する。郵送物固有IDについては、ステップS3101で読み込んだ情報を用いても、改めてRF−ID部3002より取得してもいずれでもよい。次に、テレビ45は、インターネット40を介して画像サーバ42へのアクセスを行い(S3202)、テレビ45より郵送物固有IDが画像サーバ42に送信され、画像サーバ42は、送られた郵便物固有IDと画像グループのアドレスとの関連付けを行い、その情報を記録および管理する(S3203)。
テレビ45は、画像受信側から画像サーバ42にアクセスするためのサーバURLを画像サーバ42より取得し(S3204)、取得したサーバURLは、RF−IDリーダライタ46を介して、郵送物3001のRF−ID部3002のメモリ部3003の書き換え可能領域に書き込まれる(S3205)。
以上の様に、画像サーバ側で画像グループと郵送物固有IDが関連付けされて記録および管理されると、郵便物固有IDごとに利用形態情報を分けて管理することが可能となり、複数の郵送物3001が存在する場合に、個々の郵便物ごとに、すなわち、異なる受信者ごとに画像受信時の動作を変更することが可能となる。
これは、本実施の形態の初めに述べた構成において、個々の郵便物ごとに画像グループをそれぞれ設定し、異なる画像グループアドレスを各々生成して、それぞれRF−ID部に書き込むことで画像受信側に対する同様の効果が得られるが、個別に画像グループを設定するという画像送信側の煩雑の操作が発生する。
そのため、同一の送信画像の選択であれば上述の様に郵便物の固有IDを用いて個別に利用形態情報を記録、管理することで送信者の操作の軽減、画像サーバ側においては、送信画像選択情報を別々に保管する必要がなくなる分の記憶容量低減のさらなる効果が得られる。
図75(b)について、図75(a)に対して異なる部分は、ステップS3214とステップS3215であり、ステップS3214では、サーバURLに加えて画像グループアドレスを取得し、ステップS3215では、サーバURLに加えて画像グループアドレスをRF−ID部3002のメモリ部3003の書き込み可能領域へ書き込んでいる。
これにより、画像受信側から画像受信の際に、画像サーバ42の画像グループを指定したアクセスが行われるが、こととき、画像サーバで記録および管理されている画像グループ内の郵送物固有IDとアクセスを要求している受信者が使用している郵便物の固有IDが一致した場合のみアクセス許可することで、安全性の向上を図ることができる。
従来は遠隔地にいる相手にテレビなどの大画面表示機器で画像を見せるためには、遠隔地側のユーザが機器操作を習得したり、遠隔地に操作習得者が赴いて機器を操作したり、遠隔地にある表示機器を遠隔操作する必要があったが、実施の形態4と同様に、本システムでも、遠隔地のユーザがRF−ID付きのハガキ等、物理的な媒介物を表示機器に近づけるという簡単な操作で容易に画像を閲覧することができる。実施の形態4では、RF−ID付きハガキの作成およびRF−IDへのデータ書き込みをユーザ(画像の撮影/送信者や画像の閲覧者)が行うのではなく、サービス事業者が行う形態であったが、本実施の形態では、画像送信側の利用者(送信者)がRF−ID付きハガキの作成およびRF−IDへのデータ書き込みを行う点で異なる。
(実施の形態7)
本実施の形態では、本発明のRF−IDカードを用いて機器の設定を変更する方法に関して述べる。
以下では、図77、図78を用いて、RF−IDカードを用いてレコーダの設定を変更する方法に関して説明する。
図77は、本発明のレコーダの構成を示すブロック図である。
レコーダ2000は、チューナ2001から取得した放送コンテンツのHDD2008や光ディスクドライブ2009への録画や、録画コンテンツや光ディスクドライブ2009で読み取った映像・音楽コンテンツのTV45での再生を行う。
入力信号処理部2002は、チューナ2001から入力されたアナログ信号をデジタル信号に変換するA/Dコンバータや、スクランブルされたコンテンツをデコードするデコーダ、MPEG−2などの映像フォーマットに変換するエンコーダを備え、入力された映像・音声信号を所定の映像・音声フォーマット形式に変換する。
出力信号処理部2003は、デジタル信号をアナログ信号に変換するD/Aコンバータや、MPEG−2などの映像フォーマットからのデコードを行うデコーダを備え、TV45への映像、音声出力を行う。
システム制御部2004は、レコーダ2000の動作を制御し、レコーダ2000の設定を切り替える設定情報処理部2011を備えている。設定情報処理部2011に関しては、後に詳細に説明する。
メモリ2005は、レコーダ2000の識別情報であるレコーダID2012や、レコーダ2000の設定情報である設定情報2013が格納されている。
操作入力部2006は、図示されていないリモコンやフロントパネルのボタンなどからのユーザ操作による入力を受け付ける。
通信部2007は、インターネットやLANなどにより、サーバ42への接続を行う。
HDD2008は、入力信号処理部2002から得られた録画コンテンツやコンテンツリストなどを記録する領域である。
光ディスクドライブ2009は、DVDやBlu−ray(登録商標) Discなどの光ディスクの記録再生を行うドライブで、入力信号処理部2002から得られた録画コンテンツやコンテンツリストなどの記録や、映像・音楽コンテンツの入った光ディスクの再生を行う。
レコーダ2000の入力信号処理部2002、出力信号処理部2003、システム制御部2004、HDD2008、光ディスクドライブ2009は、バス2010を介して相互接続されている。
ここで、設定情報処理部2011に関して詳細に説明する。
設定情報処理部2011は、メモリ2005に格納されている設定情報2013に応じて、レコーダ2000のメニュー画面などの表示設定や録画・再生モード設定、録画コンテンツのチャプター設定やユーザの嗜好などに応じた番組推薦などの設定を行う。具体的には、例えば、設定情報2013に格納されている“メニュー画面背景色:黒”などを示す識別子を読み取って、出力信号処理部2003へのメニュー画面出力要求を行う際に、背景色を“黒”で表示する指示を出力する。
なお、設定情報2013はHDD2008や、図示されていないSDカードなどの外部記録手段に格納してもよい。特に、HDD2008に格納されている録画コンテンツに関するチャプターなどの設定情報や、サイズの大きい情報などは、HDD2008に格納すると効率がよい情報である。
設定情報2013は、従来は、機器購入時に既に設定されているか、操作入力部2006からのユーザ操作によって設定されるが、本発明では、設定情報2013をRF−IDリーダライタ46から得られた情報を基に変更することができる。
図78は、レコーダ2000のRF−IDリーダライタ46で読み取ることで、レコーダ2000の設定を変更するRF−IDカードの構成を示すブロック図である。
RF−IDカード2100は、メモリ2101、アンテナ21、電源部91、データ受信部105、データ転送部108、処理部2102、記録部106、再生部107から構成される。
アンテナ21をRF−IDリーダライタ46に近づけると、RF−IDリーダライタ46よりアンテナ21を介して電源部91に電力が供給され、RF−IDカード2100の各部に電源が供給される。
RF−IDリーダライタ46からのデータ記録および再生などの情報は、データ受信部105で受信し、処理部2102に送られる。
処理部2102は、記録部106によるメモリ2101へのデータ記録や、再生部107によるメモリ2101からのデータの再生を行う。
データ転送部108は、処理部2102から送信されたデータを、アンテナ21を介してRF−IDリーダライタ46へと送信する。
メモリ2101には、UID75、メディア識別情報111、機器操作情報2103が格納されている。
UID75とメディア識別情報111は、RF−IDカード2100識別に用いられる情報である。
UID75は、RF−IDカード2100の固有IDである。
メディア識別情報111には、カードであるという識別子が記録されている。
機器操作情報2103は、RF−IDカード2100を用いて操作を行う対象の機器に関する情報と機器の操作に関する情報が格納されている。
操作機器識別情報2104には、操作を行う機器の種別を示す情報が格納されている。格納されている情報は、メディア識別情報111と同じ識別子を用い、図78では、レコーダであるという識別子が記録されている。
対象機器情報2105は、特定の機器に対してのみ操作を行いたい場合に用いる情報が格納されており、図78では、レコーダ2000の識別情報であるレコーダID2012が格納されている。なお、本発明のRF−IDカード2100を使用する機器が限られている場合、例えばレコーダのみで使用する場合、には、操作機器識別情報2104や対象機器情報2105は機器操作情報2103に含まれていなくてもよい。また、設定情報処理部2011がカードによって設定を変更することを想定した構成となっている場合は、メディア識別情報111も、メモリ2101に含まれていなくてもよい。
操作指示情報2106は、機器に行う操作内容を示す情報で、図78では、設定変更を示す情報2109、設定の変更を行う対象を示す情報2110、設定情報を取得する際に通信を実施することを示す情報2111が格納されている。
なお、操作指示情報2106は、1つの操作に対する情報だけとは限らず、複数の操作に関する情報から構成されていてもよいし、複数の操作を組み合わせたプログラムになっていてもよい。
通信情報2107は、操作指示情報2106で通信して取得することを指示された際にアクセスを行うサーバ等に関する情報である。図78では、URL2112、ログインID2113、パスワード2114が格納されている。なお、URL2112ではなく、IPアドレスなどが記録されていてもよいし、社内や家庭内ネットワークで他の機器にアクセスする場合には、MACアドレスなどの機器を特定する情報が記録されていてもよい。
以下では、図79を用いて、レコーダ2000の設定をRF−IDカード2100を用いてサーバに登録する手順に関して説明する。
ステップ2201で、ユーザによる操作入力部2006からの入力を受けると、設定情報処理部2011は、出力信号処理部2003に対して、TV45へのメッセージ出力要求を行い、TV45の画面に「RF−IDカードをかざして下さい」というメッセージが表示される。なお、メッセージの表示は、レコーダ2000の図示していないコンソール上に表示してもよい。また、ユーザによる操作入力を行う際に、パスワードや生体認証などの認証を要求し、認証後に登録処理に移行してもよい。さらに、TV45へのメッセージ出力を行わず、レコーダ2000の使用時に、RF−IDカード2100をRF−IDリーダライタ46にかざすことで、ステップ2203以降の処理を行ってもよい。なお、どの場所に設定情報2013を登録するかどうかの問い合わせメッセージを表示して、ユーザの選択した場所への登録を行ってもよい。例えば、RF−IDカード2200に設定情報2013を登録してもよいし、サーバ42とは異なるサーバへ登録を行ってもよい。
ステップ2203でRF−IDカードを検出すると、相互認証処理が実施される。
ステップ2204の認証判定がOKの場合は、ステップ2205に進んで処理を継続し、認証判定がNGの場合は、ステップ2202に戻ってRF−IDカード検出処理を繰り返す。
ステップ2205では、RF−IDカード2100のメモリ2101から、UID情報75を取得する。
ステップ2206では、RF−IDカード2100のメモリ2101から、通信情報2107を取得する。なお、RF−IDカード2100のメモリ2101に通信情報が登録されていない場合は、ユーザへの通信情報入力要求を出してもよい。また、ステップ2201で、RF−IDカード2100に登録されていない箇所への登録指示を行った際には、このステップでは何も行わない。また、RF−IDカード2100に複数の通信情報2107が登録されている場合は、通信情報を一覧表示して、ユーザが選択を行ってもよい。
ステップ2207では、メモリ2005から、レコーダID2012と設定情報2013を取得する。なお、設定情報は、現在の情報ではなく、設定登録実施時などに、ユーザの入力した情報であってもよい。
ステップ2208では、設定情報処理部2011は、通信部2007に対して通信情報2107のURL2112へのアクセス要求を出す。URL2112へのアクセス時には、ログインID2113とパスワード2114を使用する。
ステップ2209では、アクセスが成功したかどうかの判定を行い、アクセスが成功した場合は、ステップ2210に進んで処理を継続し、アクセスが失敗した場合は、そのまま処理を終了する。
ステップ2210では、UID情報75、メモリ2005から取得したレコーダID2012、設定情報2013をサーバ42に送信する。
ステップ2211では、2201で指定された操作や選択した設定情報2013の格納位置、ステップ2207で取得した設定情報2013、ステップ2206で取得した通信情報2107から、操作指示情報2106を生成する。
ステップ2212では、ステップ2202と同様の処理を行って、TV45の画面に「RF−IDカードをかざして下さい」というメッセージを表示する。
ステップ2213で、RF−IDカードを検出すると、相互認証処理が実施される。
ステップ2214の認証判定がOKの場合は、ステップ2215に進んで処理を継続し、認証判定がNGの場合は、ステップ2212に戻ってRF−IDカード検出処理を繰り返す。
ステップ2215では、RF−IDカード2100のメモリ2101から、UID情報を取得する。
ステップ2216では、ステップ2205で取得したUID情報75とステップ2215で取得したUID情報が一致するかどうか確認し、一致していればステップ2217に進んで処理を継続し、一致していなければ、ステップ2211に戻ってRF−IDカード検出処理を繰り返す。
ステップ2217では、メモリ2005に格納されている図示されていない操作機器識別情報2104と、レコーダID2012、ステップ2211で生成した操作指示情報2106、通信情報2107をRF−IDカード2100に送信し、メモリ2101に記録を行って処理を終了する。
上で述べた図79の手順でサーバ42登録した設定情報を、図80を用いて説明する。
設定情報2250は、UID情報75、対象機器情報2105に関連付けられて登録されており、具体的には、“メニュー画面背景色:黒”などの情報を示す識別子が登録されている。各設定情報の末尾の“A”、“B”は、異なった設定であることを示している。
UID0001のように、1つのUIDに対して複数の設定情報を登録することも可能で、対象機器情報2105がREC−0001の項目のように、1つの対象機器情報に対して、複数のUIDと関連付けられた設定情報が登録されていてもよい。なお、設定情報には、変更対象情報2110が含まれていてもよい。
次に、図81を用いて、図79の手順でRF−IDカード2100のメモリ2101へ登録された機器操作情報2103に関して説明する。
UID情報75として、“UID0001”が記録されており、メディア識別情報111として“カード”が記録されている。
機器操作情報2103には、操作機器識別情報2104、対象機器情報2105、操作指示情報2106、通信情報2107の組が登録されている。なお、通信情報2107は他の情報と関連のない情報として、登録されていてもよい。例えば、1つの通信情報が登録されており、RF−IDカード2100を使用する際には、常に同じサーバなどへのアクセスを行ってもよい。
操作指示情報2106は、指示内容情報2260、指示対象情報2261、通信実施情報2262から構成されている。指示内容情報2260には対象機器情報2105で指定された機器に対して実行する処理を示す識別子が記録されており、指示対象情報2261には操作を行う対象として、例えば、REC−0001に対しては、メニュー画面モード、録画モードなどの設定を示す識別子が記録されている。通信実施情報2262には、指示内容情報2260の処理を行う際に通信を行うかどうかを示す識別子が記録されている。なお、RF−IDカード2100を用いて行う操作が設定変更に限られる場合は、機器操作情報2103は、通信情報2107のみで構成されていてもよい。
通信情報2107には、通信実施情報2262に通信を実施することが指定されている場合に、通信を行うサーバなどのURL、ログインID、パスワードなどが記録されている。
次に、図82を用いて、レコーダ2000の設定をRF−IDカード2100を用いて変更する手順に関して説明する。図82は、レコーダ2000の設定情報処理部2011がRF−IDカード2100の情報を用いて設定情報2013を更新する手順を示したフローチャートである。
初めに、ステップ2301でRF−IDカード2100を検出すると、ステップ2302で相互認証処理を実施する。
ステップ2303の判定がOKならば、ステップ2304に進んで処理を継続し、判定がNGならば、処理を終了する。
ステップ2304では、RF−IDカード2100のメモリ2101からUID情報75と機器操作情報2103を取得する。
ステップ2305では、機器操作情報2103に含まれる操作機器識別情報2104を検索し、レコーダ2000のメモリ2005から取得した図示されていない機器識別情報と比較する。
ステップ2306では、ステップ2305で行った比較の結果が一致していれば、ステップ2307に進んで処理を継続し、一致していなければ、ステップ2314に進む。
ステップ2314では、操作機器識別情報2104をすべて検索したかどうかを判定し、すべての操作機器識別情報2104を検索した場合は処理を終了する。
ステップ2307では、対象機器情報2105を検索し、レコーダ2000のメモリ2005から取得したレコーダID2012と比較する。
ステップ2308では、ステップ2307で行った比較の結果が一致していれば、ステップ2309に進んで処理を継続し、一致していなければ、処理を終了する。
ステップ2309では、機器操作情報2103、対象機器情報2105に対応した操作指示情報2106を取得する。
ステップ2310では、機器操作情報2103、対象機器情報2105に対応した通信情報2107を取得する。
ステップ2311では、操作指示情報2106の指示内容情報2260から、設定変更処理であることを取得し、サーバ42にアクセスして、設定情報2250を取得する。このステップの処理は、後で図83を用いて詳細に説明する。
ステップ2312では、設定情報2250の取得が正しく行ったかどうかを判定し、正しく取得できた場合は、ステップ2313に進んで、設定情報処理部2011によってレコーダ2000のメモリ2005の設定情報2013を更新して処理を終了し、正しく取得できなかった場合は、そのまま処理を終了する。
以下では、図82のステップ2311の処理を、図83を用いて詳細に説明する。図82は、設定情報処理部2011がサーバ42にアクセスして設定情報2250を取得する手順を示したフローチャートである。
ステップ2351では、通信部2007で通信情報2107に含まれるURL2112に対してアクセスを行う。
ステップ2352では、設定情報処理部2011が通信情報2107に含まれるログインID2113とパスワード2114を通信部2007に対して送信し、ログイン処理を行う。
ステップ2353で認証OKと判定された場合は、ステップ2354に進んで処理を継続し、認証NGと判定された場合は、設定情報2250の取得失敗として処理を終了する。
ステップ2354では、サーバ42のUID情報を検索し、ステップ2355で、図82のステップ2304で取得したUID情報75と一致するものがあった場合は、ステップ2356に進んで処理を継続し、一致するものがない場合は、ステップ2359でUID情報をすべて検索したと判定するまでは、ステップ2354に進んでUID情報の検索を繰り返し実施する。ステップ2359でUID情報をすべて検索したと判定した場合は、設定情報2250の取得失敗として処理を終了する。
ステップ2356では、UID情報75に対応した対象機器情報を検索し、ステップ2357で、図82のステップ2305で取得した対象機器情報2105と一致するものがあった場合は、ステップ2358に進んで処理を継続し、一致するものがない場合は、ステップ2360で対象機器情報をすべて検索したと判定するまでは、ステップ2354に進んで対象機器情報の検索を繰り返し実施する。ステップ2360で対象機器情報をすべて検索したと判定した場合は、設定情報2250の取得失敗として処理を終了する。
ステップ2258では、UID情報75、対象機器情報2105に対応した設定情報2250を取得して、処理を終了する。
以上に述べたように、RF−IDカード2100を用いれば、レコーダ2000の設定をユーザが複雑な処理を意識することなく実施することが可能となり、機器の操作に習熟していないユーザでも、容易にレコーダの設定の変更を行うことが可能となるという効果が得られる。なお、レコーダに対して行うことが可能な操作は、設定の変更だけではなく、例えば、指示内容情報に録画コンテンツリスト取得を指定すると、レコーダの録画コンテンツリストをRF−IDやサーバ上に登録し、他の機器から参照することも可能となる。
さらに、図84で示されるRF−IDカードを用いると、RF−IDカードをかざすだけで予約録画が行うことが可能になる。図84のIndex1に対応した変更対象情報を用いると、指示対象情報で指定した“番組ID”、“録画モード”の設定で予約録画を行うことで、サーバにアクセスすることなしに予約録画を行うことが可能になり、Index2に対応した変更対象情報を用いると、指示対象情報で指定した“番組コード”を指定して、サーバから番組IDまたは開始時間と終了時間、チャンネルの情報を取得し、“録画モード”の設定で予約録画を行うことが可能となる。
さらに、指示対象情報に“お奨め番組”の指定を行ってサーバから番組IDを取得することで、サーバからお奨めのコンテンツを取得して、予約録画を行うことが可能になる。この機能を用いると、例えば、RF−IDカードを番組ガイド雑誌の付録として予約録画の手間を軽減するというサービスも考えられる。また、指示内容情報として、ダウンロードを設定し、指示対象情報として、機能限定版の映像やソフトウェアを設定し、通信情報としてダウンロードサイトのURLを設定したRF−IDカードを用いると、無料配布したRF−IDカードで機能限定のコンテンツを試用し、気に入ったユーザが購入を行うというサービスも考えられる。
なお、本実施の形態では、レコーダを例に挙げて説明を行ったが、本発明の適用範囲は、レコーダには限らない。
例えば、TVにRF−IDカードのリーダライタと設定情報処理部を備えることで、電源を入れた直後の初期表示チャンネルや初期音量の設定、アダルト放送や暴力シーンなどを除外したチャイルドロック設定、お気に入りのチャンネルザッピング設定、画面のコントラストや明るさ設定、言語設定、連続使用時間設定などを変更対象情報として登録して、ユーザの使い勝手に応じた設定を行うことが可能になる。また、カーナビゲーションシステム(カーナビ)にRF−IDカードのリーダライタと設定情報処理部を備えた場合には、指示内容情報に“強調表示”を指定し、指示対象情報に“ランドマーク情報”を指定することで、指定したランドマークをカーナビで表示する際に、文字フォントやサイズを変更したり、色を変更したりするなどの強調表示を行うことが可能になる。なお、ランドマーク情報は、サーバから取得してもよい。これにより、例えば、図85で示される機器操作情報を記録したRF−IDカードを高速道路のサービスエリアやインターチェンジ、観光地などで配布し、現在イベントが行われているなどの、お奨めのランドマークを強調表示するなどの用途にも用いることが可能になる。さらに、ノートPCにRF−IDカードのリーダライタと設定情報処理部を備えると、画面の解像度やデスクトップ上のアイコンなどの配置、壁紙、スクリーンセーバー、常駐ソフトなどのスタートアップ設定、使用する周辺機器、マウスなどの利き手設定などを設定することが可能となり、RF−IDカードを持ち運ぶだけで、出張先などのPCでも、ふだん使用している設定で作業を行うことが可能になる。また、ゲーム機にRF−IDカードのリーダライタと設定情報処理部を備えて、例えば友人の家などで、指示内容情報として設定変更を設定したRF−IDカードでコントローラのキー配置やメニュー画面構成を設定したり、セーブデータなどを読み込ませたりすることも可能になる。さらに、指示内容情報としてダウンロードを設定したRF−IDカードを雑誌などの付録とし、追加シナリオや希少なアイテムなどのダウンロードを行うといったサービスも考えられる。
本発明のRF−IDカードは、家庭内の家電がネットワークで接続された際にも、例えば個人の好みに合わせたエアコン温度や風呂の湯沸かしの設定などをRF−IDカードに登録しておき、家庭内に備えたRF−IDリーダライタにかざして家電の設定を一括して行うことや、冷蔵庫に保管してある食品の閲覧操作をRF−IDカードに登録しておき、予め食品に付けられたタグなどで冷蔵庫のメモリに登録された食品の情報や、冷蔵庫の中をカメラで撮影した映像を取得することで、TVのリーダライタで食品リストを確認することなど、様々な用途での使用が可能である。なお、機器を指定するRF−IDカード(例えば、“暖房”、“冷房”、“ストーブ”、“扇風機”を示す4種類のカード)と、機器の設定を指定するRF−IDカード(例えば、“弱”、“中”、“強”を示す3種類のカード)などを組み合わせる、または、前記機器指定、機器設定指定のそれぞれの機能を持った複数のRFタグを1枚のRF−IDカードに備えて、機器の設定をカスタマイズしてもよい。
なお、本発明の適用範囲は、これまでの実施の形態で述べた方法に限定されない。本発明の主旨を逸脱しない範囲で、上記実施の形態における構成要素および特徴を任意に組み合わせて得られる形態や、上記実施の形態に対して当業者が変形を施して得られる形態も、本発明に含まれる。
例えば、2人のユーザ(ユーザAとユーザBする)の間で、写真のやりとりを行う形態では、ユーザAの撮影した写真をユーザBが閲覧する方法として、ユーザBのTVの機器IDとユーザBが所有している中継サーバのURLが予め格納されているRF−ID(RFタグBとする)から生成した情報(機器生成情報Bとする)をユーザAにメールなどで伝えるとともにRFタグBに記録し、ユーザAが、機器生成情報Bに関連付けて中継サーバに写真を登録したサーバのURLを格納することで、ユーザBはRFタグBをTVのRF−IDリーダライタにかざすだけでユーザAの撮影した写真を閲覧することが可能となる。なお、タグBには予めユーザAのメールアドレスが登録されており、ユーザBがタグBをTVのRF−IDリーダライタにかざすだけで、タグBへの機器生成情報Bの書き込みと、ユーザAへの機器生成情報Bの通知が自動的に行われる方法を用いると、ユーザBが機器の使用方法に習熟していない場合でも、写真のやりとりを行うことが可能となる。また、ユーザAがURL、ログインID、パスワードの少なくとも1つを機器生成情報Bで暗号化してRF−IDに登録したハガキを送付することで、写真の閲覧をユーザBのTVに制限することが可能である。さらに、送信用のRF−IDと返信用のRF−IDの2つのRF−IDが付いたハガキをユーザAからユーザBに送信する場合には、ユーザAが予め返信用のRF−IDに自分のTVなどから生成した機器生成情報Aを記録することで、ユーザBが返信の際にユーザBが写真を登録するサーバのURLやログインIDやパスワードを機器生成情報Aで暗号化して返信用のRF−IDに記録したり、写真を登録する際にユーザBが機器生成情報Aに関連付けて登録したりすることで、ユーザBの登録した写真の閲覧を許可する機器を制限することが可能となる。
なお、郵送物に付けられたRF−IDの郵送物固有IDは、複数の郵送物で共通なグループID部と郵送物ごとに設定された固有ID部とが組み合わせられた構成となっていてもよい。サーバの写真を郵送物固有ID全体に関連付ける代わりに、前記グループID部と関連付けて登録することで、複数の対象に対して写真と関連付けたRF−ID付けハガキを送付する際に、複数の固有IDの登録を行う手間を省略することができる。また、グループID部と関連付けて登録したサーバの写真を固有ID部に応じて閲覧許可・禁止を切り替えてもよい。それにより、例えば、郵送物にプリンタで宛先住所などの印刷を行う場合は、プリンタにRF−IDリーダライタを備えて郵送物固有IDの固有ID部を印刷時に読み取ることで、住所録と固有ID部の対応付けを行うことが可能となり、住所録でサーバ上の写真閲覧の許可・禁止の管理を行うことが可能となる。
なお、ハガキやカードに機能の異なるRFタグを複数備え、使用しないRFタグの通信を遮断することで、1枚のハガキやカードで複数の機能を切り替えてもよい。例えば、ハガキの上部に写真をスライドショー表示する機能を持ったRFタグを備え、下部に映像を再生する機能を持ったRFタグを備えることで、ハガキの上部、下部のどちらをRF−IDリーダライタに近づけるかで写真表示と映像再生機能を切り替えることが可能となる。なお、ハガキの表裏に備えてもよいし、通信を遮断する素材を用いた蓋を備えて、蓋を開けた状態のRFタグのみを使用可能としてもよい。
なお、写真を複数のサーバに登録し、それぞれのサーバのURLをRFタグに格納することで、それぞれのサーバにアクセスして写真を取得し、一覧表示を行ってもよい。
なお、RF−IDリーダライタは、機器に備えているだけでなく、リモコンなどの機器操作を行う入力手段に備えていてもよい。例えば、ネットワークなどで複数の機器が接続されている場合には、複数の機器の操作を集中的に行う入力手段にRF−IDリーダライタを備え、それぞれの機器の操作を行ってもよい。さらに、リモコンなどの入力手段に指紋認証や顔認証といった生体認証やパスワードなどの個人認証手段を備え、個人認証が完了した場合のみ、RFタグの読み書きを行ってもよい。逆に、個人の認証情報をRFタグに記録しておき、RFタグによって機器やリモコンなどで個人認証を行ってもよい。
なお、本発明の記載に関してRF−IDという用語を多用している。一般的にはRF−IDという用語は狭義では「識別情報を不揮発メモリに記録してあるタグ」のことを指し、デュアルインタフェースやセキュリティ機能を持つRF−IDは「ICカード」等の用語が用いられているようである。しかし、本明細書のRF−IDこの狭義の用語に限定されるものではない。本発明では「個体識別情報を不揮発メモリに記録し、個体識別情報を、アンテナを介して外部に送信できる電子回路」との広義の意味で用いている。
従来は機器操作の未習熟者が機器の複雑な設定を行うためには、機器の販売者や修理者、サービスマンが対象機器のある場所に赴いて設定を行うか、対象機器を遠隔操作する必要があった。つまり、遠隔操作する場合もやはり遠隔操作の設定のために気規模ある場所に赴く必要があった。しかし、以上に述べたように、RF−IDカード2100を用いれば、レコーダ2000の設定をユーザが複雑な処理を意識することなく実施することが可能となり、機器の操作に習熟していないユーザでも、容易にレコーダの設定の変更を行うことが可能となるという効果が得られる。
また、本発明は、画面を有する機器と、前記機器と通信路で接続されたリーダ装置と、前記リーダ装置と近接無線通信を行う通信装置を備える通信システムにおいて、前記通信装置に関する画像を前記機器に提示する画像提示方法として実現したり、通信装置の識別情報とともに当該通信装置内に保存されるプログラムであって、前記通信装置との間で近接無線通信を行う機器が備える仮想マシンによって実行されるコードで記述され、通信ネットワークで接続されたサーバ装置にアクセスするステップと、アクセスした前記サーバ装置に保存された画像のうち、前記識別情報に対応する画像を前記サーバ装置からダウンロードするステップと、ダウロードした画像を表示するステップとを含むプログラム、あるいは、そのようなプログラムが記録されたCD−ROM等のコンピュータ読み取り可能な記録媒体として実現したりすることもできる。
また、本発明に係る通信装置は、識別情報および仮想マシン用プログラムを格納したRF−IDを備えるあらゆる機器、例えば、カメラ等の電子機器、炊飯器や冷蔵庫等の家電機器、歯ブラシ等の日常品にも、適用できるは言うまでもない。
ここで、TV等のリモコンにRF−IDリーダを搭載した場合の実施の形態を図86(a)、(b)のブロック図と図86(c)のフローチャートと図87のフローチャート図を用いて説明する。
まず、前述のようにカメラなどの子通信機5050はメモリ52とアンテナ21を持つ。このアンテナ21にリモコン5051のアンテナ5063を近づけるとアンテナ5063からアンテナ21に電源が供給され、メモリ52の中のデータがアンテナ21よりアンテナ5063に送られる。リモコン5051側では通信回路5064によりデジタルデータに変換してメモリ5061に蓄える(ステップ5001a:図87)。リモコン5051の送信部をTV45に向け、送信スイッチ5062を押すと(ステップ5001b)メモリ5061のデータは光出力部5062を介して光を用いて、TVの受発光部5058に送られTV等の親機45に送信される(ステップ5001c)。なお、ここでの通信は光でなく無線でもよい。
ここで図86(c)のフローチャートに戻ると、発明は社会的なシステムに用いられるため20年後、30年後に対応する必要がある。仮想マシン言語等のプログラムはJava(登録商標)等が知られているが、将来、拡張されたり、まったく別の効率のよい言語等のプログラムになったりすることが予想される。したがって本発明では、TV等の親機45に親機の仮想マシン言語等の言語タイプやバージョンを示す親機バージョン情報5059、n1が記録されている(ステップ5060i:図86(c))。子機5050のメモリ21には(図86(a))、最初に子機のプログラムの言語等のバージョンを示す子機バージョン情報5052、n2が記録されている。その後にプログラム領域5053があり、バージョン5055a、5055b、5055cのプログラム5056a、5056b、5056cが記録され、その次にデータ領域5054がある。
図86のフローチャートのステップ5060iで親機45のバージョン情報n1を入手し、子機のメモリの中のバージョン情報n2を入手し(ステップ5060a)、n1≧n2の最大値のプログラムnを選択し(ステップ5060b)、その実行プログラムnを実行し(ステップ5060c)、ステップ5060dでインターネットへの接続がある場合、ステップ5060eでサーバに接続し、サーバに親機45に設定されている言語情報5065を送り(ステップ5060f)、サーバは送られた言語情報5065に応じて、その言語、例えばフランス語のプログラムを親機に送り、実行させる。もしくはサーバ上でそのプログラムを実行してもよい。
インターネットに接続されていない場合はステップ5060hに戻り、ローカルプログラムを実行して、子機5050の属性情報、例えば故障の場合を知らせる情報や記録した写真の枚数等の情報を親機45の画面に表示する。このように子機のメモリ52にバージョン情報5052が記録され、10年単位の周期で進化する各世代のプログラムや手順やURLがバージョンごとに記録されているため、20年30年経っても同じフォーマットで動作するという効果がある。図86(a)ではプログラムのバージョン、世代を記録する例を示したが、図86(b)のようにバージョン5055d、5055e、5055fに対応したURL等のサーバの中のデータのアドレス、URL5057a、5057b、5057cを記録することにより同様の効果が得られる。この方式により、将来にわたって、下位互換性を実現できる。例えば今年買った製品にRF−IDが搭載されている場合、バージョンを1とすると、20年後、30年後の親機45には例えばバージョン1、2、3に対応したJAVA(登録商標)等の仮想マシン言語などのプログラムが載っているので、子機バージョン情報5052を知ることにより、親機はそのバージョンに対応した親機のプログラムに切り替え動作を行う。また30年後の子機21ではバージョン1、2、3のすべてのプログラムが記録されているため、バージョン3の親機45では最高の機能を得る。そして、バージョン1の親機45では古いバージョンの少し限定された機能が得られ、完全な互換性が実現する。
図87のフローチャートを説明する。ステップ5001aでリモコン5051の読み取りスイッチ5063を押して、子機5050のアンテナ21に近づけると子機のメモリ52のデータがリモコン5051のメモリ5061に蓄積される。次にステップ5001bでリモコン5051をTV等の親機45に向け、送信スイッチ5062を押すと(ステップ5001b)、光により親機へメモリ5061のデータが送られる(ステップ5001c)。本実施の形態ではこのデータをタグデータと便宜上呼ぶ。タグデータから実行プログラムを抽出もしくは選択し(ステップ5001d)、抽出もしくは選択した実行プログラムを親機の仮想マシン言語を用いて実行し(ステップ5001e)、親機側のインターネット接続識別用情報を読み込み(ステップ5001f)、もしステップ5001まで識別用情報が「インターネットに接続可能」を示さない場合は実行プログラムの中に非接続時用のプログラムを実行し(ステップ5001t)、親機の画面の実行結果を表示する(ステップ5001u)。本発明ではメモリ52にインターネットに接続する情報だけでなく、非接続時に動作する実行プログラムが記録されているため、非接続時に要求される最低の動作が表示を行うことができるという効果がある。
ステップ5001gに戻り、Yesの場合は、上記プログラムの一部を含む接続プログラムを実行する(ステップ5001h)。
この場合、タグデータの中の実行プログラムに図86(a)のデータ領域5054にサーバのURLやユーザIDやパスワード等のデータを加えて接続プログラムを生成することによりタグデータの中の実行プログラムを拡張することができるとともに、メモリ52の中の不揮発性メモリの容量を小さくできる。この場合、メモリ52の接続プログラムをプログラム領域5053の書き換え不能なROMメモリ等のメモリに記録し、サーバのURLなどを書き換え可能なデータ領域5054に記録することにより、チップ面積やコストを下げることができる。
ステップ5001iにおいて特定のURLのサーバに接続し、ステップ5001jでサーバ側がデータのアップロードを要求するかどうかを判定し、Yesならステップ5001pでデータもしくは/かつプログラムをサーバにアップロードする。このデータを用いてサーバでプログラムを実行し(ステップ5001q)、サーバで実行した結果を親機に送り(ステップ5001r)、親機の表面に実行した結果等を表示する(ステップ5001s)。
ステップ5001jに戻り、Noの場合、サーバのURLの中の特定のプログラムを含む情報をダウンロードし(ステップ5001k)、このダウンロードしたプログラムを親機で実行する(ステップ5001m)。そして、その結果を親機の画面に表示する。
消費電力や体積やコストの制約により、RF−IDや子機側のメモリ容量には限界があり、通常のプログラムは記憶できない。しかし、本発明のように接続プログラムと、サーバを利用することにより、無限に大きなプログラムを動作させることができるという大きな効果がある。
サーバで巨大なプログラムを実行してもよいし、サーバからダウンロードしたプログラムを実行してもよく、これらは本発明の範疇に入る。
なお、本発明の図86を用いた実施の形態では、TV用のリモコンを想定して説明した。この場合、リモコンは、電池とTVチャンネルを切り替えるためのボタン、RF−IDを読み取るアンテナと通信回路、赤外の発光部から構成される。リモコンに代えて携帯電話を用いても同様の効果が得られる。携帯電話に搭載されている赤外の発光部などを共用できるため導入しやすい。携帯の通信回線を持つため、直接、サーバに接続されるため性能面では、変わらない。しかし、通信費用が発生するため、ユーザに負担をかけることになる。携帯電話の画面はTVに比べると圧倒的に小さい。したがって、図86で示した送信スイッチ5062を設け、TVが近くにある場合は、携帯電話の発光部をTVの方に向け、前述のメモリ52の中のタグデータをTVに直接送ることにより、解像度の高い大きな画面でデータを見ることができる。また、費用もかからないため、ユーザにとってメリットが大きい。読み取ったタグデータを用いた携帯電話回線を介しての交信は、この送信スイッチと連動して、中止される。
この場合には、図86で説明したリモコンと同様に、RF−ID(NFC通信部でもよい)の少なくともリーダ部を携帯電話に備える構成とする。今後、RF−IDなどのリーダ機能を携帯電話に持たせることが予想される。もしRF−IDのリーダが携帯電話に搭載されるようになれば、本発明を実施するに当たって追加するコストは非常に小さくなり、ユーザにとってのメリットは大きい。また、リモコン、携帯電話だけではなく、PDA端末、ノートPC、携帯メディアプレーヤなどでも本発明を実現することは容易である。
(実施の形態8)
図88に本実施の形態において想定しているホームネットワーク環境について示す。1つの家屋内部に2つのTV45、8001が存在し、それぞれのTVはRFIDタグリーダライタと画面の表示部110、8003を持つものとする。また、それぞれのTVには動画サーバ8004、8005が接続されており、動画サーバからTVに有線もしくは無線を用いて動画データを送信し、動画サーバの情報をTVに動画を表示させることができるようになっている。ここで、動画サーバとはNASなどのストレージデバイスもしくはBDレコーダなどの記録デバイスである。同様に、インターネットを通じて宅外の動画サーバにアクセスすることも可能としている。また、ホームネットワークのユーザは持ち運び可能かつ動画の表示が可能なモバイルAV端末8006を所有しているものとする。モバイルAV端末もTVと同様に、RFIDタグ8007と動画表示部8008を持ち、無線を通じて動画サーバにアクセス可能である。
本実施の形態ではこのような環境において、ユーザがTV1(45)で動画を見ているが、2階のテレビ2(8001)で見たくなったという状況を想定している。移動して動画を見る場合には、動画の続きがシームレスに見られることが望ましい。しかし、セキュリティを保ったまま、シームレスに動画を移動させるためには、ユーザの認証やタイミングの同期を取ることが必要であり、ユーザは複雑な操作をしなければならない。
本発明は上記課題を解決するため、RFIDを用いることにより、ユーザの認証やタイミングの同期といった処理を極めて単純なやりとりで行うものである。具体的にはモバイルAV端末8006のRFIDタグ8007をTV1のRFIDタグ46に近接させ、RFIDタグによって認証やタイミング同期のための情報のやりとりを行う。
本発明は、上記構成によって、モバイルAV端末とTVをタッチさせるという極めて単純な動作で動画の受渡しを可能とし、ユーザの利便性を大きく向上させるものである。
図89は、モバイルAV端末が実行する各機能を説明する機能ブロック図である。動画の受渡しを行うユーザは動画受渡しボタン8050を押す。動画受渡しボタンを押されたときに、動画受渡し要求作成部8051は表示情報管理部8052より現在、表示部8008に表示されている動画情報を取得し、動画受渡し要求を作成し、RFIDのメモリ8054に書き込む。動画が表示されていなかった場合には、動画をもらうモードに変更し、動画もらうコマンド動画作成要求とする。もし、動画を表示していた場合には、動画を渡すモードに変更し、動画渡すコマンドと動画の情報を動画受渡し要求とする。ここで、動画の情報とは表示情報管理部で管理されている動画表示時間の情報と通信・放送管理部8055で管理されている接続先情報のことである。通信・放送管理部8055では動画を、放送インタフェース8056を通して受信している場合には、チャンネル情報を管理し、通信インタフェース8057を通して受信している場合には、動画サーバの識別子および動画の識別子を管理している。ここで、動画サーバの識別子および動画の識別子とは例えばIPアドレスであり、URLであり、一意に識別できるものであればなんでもよい。なお、動画受渡しボタンは動画を受けるボタンと動画を渡すボタンに分けてもよい。また、動画受渡しボタンを押すことにより画面にもらうか渡すかの選択肢を表示させてもよい。RFIDのメモリ8054に記録された情報は他のRFIDタグに近接されると、送信部8058より無線アンテナ8059を通して送信される。なお、受渡しコマンドを作成後、一定時間経っても送信されない場合には、動画受渡しモードは解除されるものとし、メモリ内の情報も廃棄するものとする。RFIDの受信部8060は動画受渡し応答を受信する。動画受渡し応答とは、動画もらうコマンドもしくは動画渡すコマンドに対する可否の応答で、動画もらうコマンドに対する可の応答の場合には、動画の情報を含むものとする。動画受渡し応答は通信・放送管理部に送られ、応答に従った処理を行う。動画もらうコマンドに可の応答が返ってきた場合には動画もらう処理を行う。応答に含まれる動画情報がチャンネル情報だった場合には、放送インタフェース8056にその情報を通知し、そのチャンネルを受信する。また、表示管理部8061にそのチャンネルを表示する指示を出す。モバイルAV端末の放送インタフェースでは受信できないチャンネル情報(BS、CS、ケーブルTVのチャンネル)であった場合には、それらのチャンネルを受信し、通信インタフェースへ転送してくれる端末の探索を通信部8062に依頼する。なお、転送してくれる端末の探索は事前にやっておいてもよい。通信インタフェースで受信した場合でも通常と同様に表示部8008には表示される。受渡し応答に含まれる動画情報が接続先情報だった場合には、通信部8062にその情報を通知し、動画の送信要求を接続先に送信する。動画の送信要求には動画の表示時間が含まれており、その時間に合わせてデータの送信を要求する。なお、放送インタフェースでの動画受信と異なり、通信インタフェースでの動画の受信にはある程度の時間がかかる場合がある。それは、通信インタフェースで受信するための前処理や通信バッファ8063に一時的に動画データが蓄えられる時間に依存する。本方式ではその時間を予測し、予めその時間に合わせた動画送信要求を通信部から行わせることで、余計なデータ送信およびそれに待ち時間の削減を行ってもよい。その場合には、表示時間補正部において、シームレスに動画表示ができるように補正を行う。これは、一般にデジタル動画のデータは表示バッファ8065に蓄えられ、表示処理部8053で処理をされながら表示部8008で表示されているから可能となる。動画を渡すコマンドに対して可の応答が返ってきた場合には、画面表示を消す。なお、画面表示は自動で消してもよいし、ユーザに選択させてもよい。また、渡した側の端末より画面表示を消す指示を受信してから消してもよいし、タイマを用意し、一定時間経過したのちに消してもよい。
図90は、TVが実行する各機能を説明する機能ブロック図である。RFIDタグのアンテナ8100より動画受渡し要求を受信した受信部8101は通信・放送管理部8102にデータを渡す。受信したデータが動画もらうコマンドであった場合には、動画受渡し応答作成部8103に管理している表示動画の接続先情報を送信する。受信した動画受渡し応答作成部8103は表示情報管理部8104より表示時間情報を取得し、動画受渡し応答を作成し、RFIDのメモリ8105に書き込む。このとき、所望の情報が得られなければ、受渡し不可の応答を作成する。書き込まれた受渡し応答は送信部8106によりモバイルAV端末のRFIDに送られる。送信後の動画の表示終了処理はモバイルAV端末と同様である。受信したデータが動画渡すコマンドであった場合には、通信・放送管理部8102において含まれる情報に応じた処理を行う。チャンネル情報の場合には、放送インタフェース8107に通知し、所望のチャンネルでの情報を受信し、表示管理部8108に通知し、表示を変更する。なお、既に動画を表示中に動画渡すコマンドを受信した場合、優先度判定部8109にてどちらの動画を優先すべきかの判定を行ってもよいし、選択コマンドを表示してもよい。接続先情報を含む場合には、通信部8110に通知して、動画送信要求を送信してもらう。その後の処理はモバイルAV端末と同様であり、その他の各部の機能も同様である。
図91は、TV1(45)が動画サーバ1(8004)から動画を受信している場合に、モバイルAV端末8006がその動画を受け渡してもらう場合のシーケンス図である。ユーザは動画を受け渡すために、モバイルAV端末8006の電源を入れる。モバイル端末は無線LANのアクセスポイント8009を探索し無線接続を確立する。さらに、DHCPなどによりIPアドレスを取得しIP接続を確立する。DLNA(登録商標)端末であった場合には、M−SEARCHなどのDLNA(登録商標)端末探索処理を行ってもよい。ユーザは動画受渡しボタンを押し、RFIDのメモリ内に動画受渡し要求を作成する。さらに、ユーザはモバイルAV端末のRFID8007とTV1のRFID46を近接させ、動画受渡し要求をTV1に送信する。TV1では要求コマンドを受信したことにより、動画受渡し応答(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)を作成し、モバイルAV端末8006に返信する。なお、TV1での動画受信手段が、HDMI(登録商標)ケーブルなどの非IP接続の場合でも、TV1は動画サーバのIPアドレスを取得しておくものとする。また、動画が暗号化されていた場合には、必要なセキュリティ関連情報(鍵など)を同時に交換するものとする。動画受渡し応答を受信した、モバイルAV端末は、応答に含まれる動画サーバ1のIPアドレスに対して動画送信要求(動画の識別子、表示時間を含む)を送信する。動画送信要求を受信した動画サーバ18004は動画の送信先をモバイルAV端末8006に切り替える。動画のデータを受信しなくなったTV1(45)は動画表示をOFFにする。
図92は、モバイルAV端末8006が動画サーバ1(8004)から動画を受信している場合に、TV2(8003)がその動画を受け渡してもらう場合のシーケンス図である。ユーザはモバイルAV端末8006の動画受渡しボタンを押し、動画受渡し要求を作成する(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)。さらに、ユーザはモバイルAV端末のRFID8007とTV2のRFID8002を近接させ、動画受渡し要求をTV2に送信する。TV2(8003)は動画受渡し可の応答を作成し、モバイルAV端末8006に返信する。TV2(8003)は動画送信要求を動画サーバ1(8004)に送信する。その後の処理は図91と同様となる。
図93はモバイルAV端末の処理を説明するフローチャートである。モバイルAV端末はユーザに受渡しボタンを押されると(S8300)、画面が空白の(もしくは動画表示でない)場合(S8301)には動画をもらうモードに移行する(S8302)。画面が空白でない場合には、選択画面を表示する(S8303)。もらうを選択した場合には(S8304)同様に動画をもらうモードに移行する。渡すを選択した場合には、動画を渡すモード(S8305)に変更する。動画をもらうモードの場合、モバイルAV端末は動画をもらうコマンドを含む動画受渡し要求を自身のRFIDのメモリ内に格納する。ユーザは他端末のRF−IDに自端末のRFIDを近接させ(S8306)、動画受渡し要求を他端末に送信する(S8307)。その際、他端末より動画受渡し応答を受信すると(S8308)、応答内に含まれる情報に応じて処理を行う。応答が得られなかった場合には、応答無しのエラー画面を表示し、処理を終了する(S8309)。応答内に地上波のチャンネル情報が含まれている場合には、モバイルAV端末が該当チャンネル受信可能であるかどうかを確認する(チューナ、アンテナを持ち電波的に受信可能な範囲にいる)。可能であった場合には(S8311)、指定されたチャンネルを画面表示する。不可能であった場合には、無線LAN転送モードに変更する(S8313)。また、応答情報にBSなどのモバイルAV端末では、そもそも受信することが不可能なチャンネル情報が含まれていた場合(S8314)でも同様に無線LAN転送モードに変更する。応答に含まれる情報がチャンネル情報でない場合には無線LAN受信モード(S8315)に変更する。
図94はモバイルAV端末の動画を渡すモードでの処理を説明するフローチャートである。動画を渡すモードの場合、モバイルAV端末は動画を渡すコマンドおよび渡したい動画の情報を含む動画受渡し要求を自身のRFIDのメモリ内に格納する。ユーザは他端末のRF−IDに自端末のRFIDを近接させ(S8320)、動画受渡し要求を他端末に送信する(S8321)。その際、他端末より動画受渡し応答を受信すると(S8322)、応答内に含まれる情報に応じて処理を行う。応答が得られなかった場合には、応答無しのエラー画面を表示し、処理を終了する(S8323)。応答が受渡し不可の応答である場合には(S8324)、受渡し不可のエラー画面を表示し、処理を終了する(S8325)。受渡し可で、受け渡す動画を地上波で受信している場合には(S8326)、地上波放送の画面表示を停止する。そうでない場合には、無線LANで受信している動画の終了処理を受信している方式の種類に応じて行(S8327)、画面表示を停止する。なお、画面表示の停止は動画を渡す側の端末の指示に従ってもよいし、初期画面等の別の画面に切り替えてもよい(S8328)。
図95はモバイルAV端末の無線LAN転送モードでの処理を説明するフローチャートである。モバイルAV端末は、地上波は受信可能であるが、衛星放送やケーブルTVの放送は受信不可能な端末を仮定している。これらの放送波を受信するためには、受信可能な別の端末で受信し、無線LANで転送してもらう必要がある。モバイルAV端末は、無線LAN転送モードになると、無線LAN転送対応機器の情報を呼び出す。もし、対応機器の情報を保持していなければ(S8340)、対応機器の探索を行う(S8341)。宅内に無線LAN転送対応機器を発見することができなければ、該当チャンネル受渡し不能のエラー画面を表示する(S8342)。無線LAN転送機器が発見されるもしくはそもそも対応機器情報を保持していた場合には、その機器に対して該当チャンネルの動画転送要求を送信する(S8344)。動画転送可能の応答が転送機器から返ってきた場合には、指定されたチャンネルの動画パケットを無線LANにより受信し(S8345)、指定されたチャンネルの動画を画面表示する(S8346)。
図96はモバイルAV端末の無線LAN受信モードでの処理を説明するフローチャートである。無線LAN受信モードで、動画受渡し応答の中に、動画サーバのIPアドレス、動画のIDおよび表示時間情報が含まれている場合(S8360)には、動画サーバにアクセスを行う。まず、動画サーバのIPアドレスが自端末のIPアドレスと同一サブネットであるかどうかを確認する(S8361)。自端末のIPアドレスと同一サブネットであった場合には、動画サーバに対して動画IDと表示時間を含む動画送信要求を送信する(S8364)。なお、遅延時間補正機能があった場合には(S8362)、動画送信要求内の表示時間情報を補正する(S8363)。ここで、表示時間補正機能とは、処理にかかる様々な遅延を考慮して、効率的な動画転送を行うために行う補正機能を指す。さらに、モバイルAV端末は動画サーバから動画を受信できなかった場合には(S8365)、動画送信要求を再送してもよい。再送タイムアウトが所定回数を超えても応答が得られなかった場合には(S8366)、サーバ応答無しエラー画面を表示する(S8367)。受信した動画データの時間が表示したい時間とあっていない場合(S8368)には、早送りや巻き戻しの制御パケットを用いて表示したい時間と合わせる(S8369)。その後、モバイルAV端末は動画の画面表示を行う。
図97は動画受渡し応答の中にURLが含まれていた場合の処理を説明するフローチャートである。URLが含まれている場合(S8380)には、DNSによる名前解決を行い、動画サーバのIPアドレスを取得する(S8381)。なお、動画のURLは動画サービス用に付けられた名前であればなんでもよい。また、名前解決はDNS以外のサービス識別子から端末識別子への変換も含むものとする。取得した動画サーバのIPアドレスが自端末のIPアドレスと同一である場合には、図96で説明した処理に戻る。同一サブネットでなかった場合には、サブネット外サーバへの接続処理へ移る。応答情報に所望の情報が含まれていなかった場合には、応答情報不正のエラー画面を表示する。
図98は動画サーバのIPアドレスが自端末のIPアドレスとサブネットが異なる場合の処理を説明するフローチャートである。サブネットが異なる場合には、別の無線アクセスポイントを探索する。宅内に別のアクセスポイントがなかった場合には、動画サーバは宅外サーバであるとして、宅外サーバの接続処理に移る。別のアクセスポイントがあった場合には(S8390)、そのアクセスポイントに再接続を行い、別のサブネットを持つIPアドレスを取得する(S8391)。動画サーバのサブネットが取得したIPアドレスのサブネットと同じならば(S8392)、宅内サーバの処理へ移る。自端末がアクセス可能な宅内アクセスポイントに接続し、IPアドレスを取得しても、サブネットが同じにならなかった場合には(S8393)、宅外サーバへのアクセス処理に移る。なお、すべてのアクセスポイントに対するIPアドレスの取得処理は、事前に行い、モバイルAV端末内で管理しておいてもよい。
図99は宅外サーバへアクセスする場合の処理を説明するフローチャートである。動画サーバのアドレスがグローバルアドレスでない場合には(S8400)、アドレスエラーを画面表示する(S8401)。指定された動画サーバへのアクセス方式を知らない場合には(S8402)、アクセス方式不明エラーを画面表示する(S8403)。なお、宅内動画サーバおよび宅内動画機器はDLNA(登録商標)に準拠していると仮定している。アクセス方式がわかった場合かつ、宅内サーバと同等の機能を備えている場合には、宅内サーバと同様の処理を行う(S8404)。そうでない場合には、アクセス方式に応じた処理によって動画を取得し(S8405)、受信した動画を画面表示する(S8406)。
図100はTVの処理を説明するフローチャートである。TVは自端末のRFIDに他端末のRFIDを近接され(S8410)、動画受渡し要求を受信する(S8411)。自端末が動画を受信中(S8412)で動画受渡し要求内に動画もらうコマンドが含まれている場合には(S8413)、自端末を、動画を渡すモードに移行する(S8414)。動画受信中でないにもかかわらず、動画受渡し要求内に動画もらうコマンドが含まれている場合には(S8415)、動画受渡し不可の動画受渡し応答を返信し(S8416)、受渡し不可のエラー画面を表示する(S8417)。受信している動画が地上波である場合には(S8418)、動画受渡し応答にチャンネル情報を入れて返信し(S8419)、画面表示を消す(S8420)。
図101は受信している動画が地上波ではない場合の処理を説明するフローチャートである。受信している動画が地上波以外の放送動画であった場合には(S8430)、動画受渡し応答にチャネル情報を入れて返信する。無線LAN転送モードがある場合、自端末のIPアドレスを入れてもよい(S8431)。返信したのち、画面表示を消す(S8432)。その他の動画の場合には、受渡し応答に動画サーバIPアドレス、動画ID、動画表示時間もしくは動画URL、動画表示時間を入れて返信する(S8433)。返信後に無線LANでの動画通信の終了処理を行い(S8434)、画面表示を消す。
図102は動画受渡し応答に動画渡すコマンドが含まれていた場合の処理を説明するフローチャートである。動画を表示している最中に、動画渡すコマンドを受信した場合には、2画面表示機能があった場合(S8440)には動画をもらうモードに移行する(S8441)。ない場合には、動画をもらうかどうかの選択画面を表示する(S8442)。動画をもらうを選択した場合には(S8443)、動画もらうモードに移行する。動画をもらわないを選択した場合には、動画受渡し不可の動画受渡し応答を返信する(S8444)。要求に含まれる情報がチャンネル情報だった場合には(S8445)、指定されたチャンネルを画面表示する(S8446)。要求に含まれる情報が動画サーバのIPアドレスもしくはURLであった場合には(S8447、S8448)、モバイルAV端末の動画もらうモードと同じ動作を行う。それらの情報が含まれていない場合には、情報エラー画面を表示する(S8449)。
(実施の形態9)
図103はTV1(45)が動画サーバ1(8004)から動画を受信している場合に、モバイルAV端末8006がその動画を受け渡してもらう場合に、TV1(45)から動画送信要求を送信する場合のシーケンス図である。図91と同様に、ユーザは動画を受け渡すために、モバイルAV端末8006の電源を入れる。モバイル端末は無線LANのアクセスポイント8009を探索し無線接続を確立する。さらに、DHCPなどによりIPアドレスを取得しIP接続を確立する。ユーザは動画受渡しボタンを押し、RFIDのメモリ内に動画受渡し要求を作成する。このとき、動画受渡し要求に自端末のIPアドレスを入れて作成する。さらに、ユーザはモバイルAV端末のRFID8007とTV1のRFID46を近接させ、動画受渡し要求をTV1(45)に送信する。TV1は動画サーバのIPアドレスを含んだ、動画受渡し応答を返す。これはセキュリティ性を高める(無関係の端末からの勝手なアクセスを防ぐ)ためのものであり、省略することが可能である。なお、図91と同様に、動画が暗号化されていた場合には、必要なセキュリティ関連情報(鍵など)を同時に交換するものとする。動画受渡し要求を受信したTV1(45)は動画サーバ1(8004)に対して、モバイルAV端末8006のIPアドレスを含んだ動画送信要求を送信する。動画送信要求を受信した動画サーバ1(8004)は動画の送信先をモバイルAV端末8006に変更する。その後の処理は図91と同様となる。
図104は図92と同様の場合において、動画受渡し要求の中に動画サーバ1(8004)のIPアドレスを送る場合である。これは図102と同様に省略することが可能である。動画受渡し要求を受けたTV2(8003)は自端末のIPアドレスを含んだ、動画受渡し応答を返す。動画受渡し応答を受けたモバイルAV端末8006は動画サーバ1(8004)にTV2のIPアドレスを含んだ動画送信要求を送信する。動画送信要求を受信した動画サーバ1(8004)は動画の送信先をTV2(8003)に変更する。その後の処理は図91と同様となる。
(実施の形態10)
図105はモバイルAV端末8006ではなく、RFIDを備えたリモコン8200を用いた場合のシーケンス図である。ここでリモコンは表示部を持たないが、RFIDの送受信部とメモリを持つ端末を想定している。ユーザは動画受渡しボタンを押し、RFIDのメモリ内に動画受渡し要求を作成する。さらに、ユーザはリモコンのRFIDとTV1のRFID46を近接させ、動画受渡し要求をTV1に送信する。TV1では要求コマンドを受信したことにより、動画受渡し応答(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)を作成し、リモコンに返信する。リモコンからの動画受渡し要求を受けたTV1(45)は動画停止要求を動画サーバ1(8004)に送信する。ユーザは2Fに移動後、TV2のRFIDにリモコンのRFIDを近接させ、動画受渡し応答(動画サーバ1のIPアドレスと動画識別子、動画表示時間を含む)を送信する。動画受渡し要求を受信したTV2(8003)は動画受渡し応答を返信し、動画サーバ1に動画送信要求(動画識別子、動画表示時間を含む)を送信する。動画サーバ1(8004)は指定された動画を指定された時間のデータから送信を開始する。
(実施の形態11)
図106は、動画サーバ1から同時送信が可能な場合のシーケンス図である。モバイルAV端末はTV間で所定のやりとりを行った後、動画送信要求を送っている。動画サーバ1(8004)は動画送信要求を受けた場合に、一時的にTV1(45)とモバイルAV端末(8006)の両方に動画データを送信している。これは完全にシームレスを目指す場合の処理である。モバイルAV端末とTV1は一時的に両方ともに画面表示を出してもよいし、何らかの同期処理を行い、完全シームレス処理を行ってもよい。動画サーバ1(8006)は、モバイルAV端末(8006)からの動画停止要求を基にTV側の動画データ転送を停止する。なお、停止要求はTV1(45)から出してもよいし、動画サーバ1(8006)が自動的に止めてもよい。
(実施の形態12)
本実施の形態は、実施の形態1〜10で説明したRFIDを付与した機器の工場出荷から使用環境までの流通形態においてトレーサビリティを確保するための方法の最良の形態を説明するものである。
昨今、流通の効率化や家電商品の老朽化が原因となった事故が多発している背景に基づいて、生産、流通から消費者による使用環境までをトレースする所謂、トレーサビリティを確保するための議論がなされている。
その1つとして、860〜900MHz帯の通信周波数を用いたパッシブ型のRFIDを梱包材や通い箱等に付与して、生産から小売店までの流通を管理可能にしようとする試みがなされている。860〜900MHz帯は、UHF(Ultra High Frequency)帯とも呼ばれ、UHF帯のRFIDは、パッシブ型(タグ側に外部から電源を供給するもの)の中では、最も通信距離を確保できる使用であり、出力の大きさにも依存するが、2〜3mの通信を可能とする。よって、運搬中に複数台を同時にRFID読み出しゲートに入れることによって、効率的に複数台のRFID情報を瞬時に読み出すことが可能となり、特に流通現場での使用が期待されている。
しかしながら、このようなUHF帯のRFIDは、長距離を通信できる利点の一方で、梱包材や通い箱に付与されるため、消費者の手元に届いてしまった後は、その機器をトレースできなくなるという課題を含む。また、距離が長いということは、機器と機器を近づけることによってアクションを起こす所謂、実施形態1〜10で説明した実体インタフェース、実物インタフェースあるいは直感インタフェースには有効とはいえない。
一方、実施の形態1〜10で説明したRFID(47)は、13.56MHz帯のHF−RFIDを想定している(無論、これだけに限定しているわけではない)。HF−RFIDの特徴は、近距離通信(出力によって異なるが概ね数10cm以内)であり、例えば、近づけることによって直感的にアクションを起こすアプリケーションである電子マネー、改札システムなどに幅広く利用されている。したがって、デジタルカメラで撮った写真をTVに写したいときなどは、デジタルカメラをTVのRFIDリーダライタ46に近づけることによって、実体(カメラ)と実体(TV)が連動して動作する実体インタフェースや、デジタルカメラの写真をTVに写すという直感的なインタフェースの実現が可能となる。
本実施の形態では、実施の形態1〜10と同様に機器にHF−RFIDを付与するとともに、機器の梱包材や通い箱にUHF−RFIDを付与して、商品のトレーサビリティを消費者の使用環境に届いてもなお行われるようにする開示である。
図107は、機器の工場出荷時にHF−RFIDとUHF−RFIDの動作を示した概念図である。
本実施の形態では、機器がレコーダである場合について説明しているが、機器は、デジタル家電、食品などどのようなものでも構わない。
製造ラインで組み立てられた機器M003には、HF−RFIDM001が付与されている。また、本HF−RFIDには、メモリを有しており、機器M003からとRFIDの通信部からのどちらからでもアクセス可能なデュアルインタフェースの構成である。また、HF−RFIDM001のメモリには、組立て段階において、機器の製造番号と、機器の製造番号をUHF−RFIDに複製するためのプログラム(コマンド)が記録されている。
機器M003の組立てが完了すると、梱包前にハンディ型リーダライタM002によって、HF−RFIDのメモリから製造番号を読み出すとともに、梱包材などにUHF−RFIDを付与することを示すUHF−RFIDのデバイスID(UHF−RFID固有情報)を記録する。
次に、機器M003が梱包された後、梱包材M004にUHF−RFIDM005を付与する。UHF−RFIDM005は、梱包材にそのまま付与されてもいいし、管理表などに付与されている形態でも構わない。UHF−RFIDM005が付与されると、機器M003のHF−RFIDM001から読み出した製造番号などをUHF−RFIDM005にハンディ型リーダライタM002によって記録する。本実施の形態のハンディ型リーダライタM002は、HF−RFIDおよびUHF−RFIDのともにアクセス可能な機器である。
このようにすれば、機器M003の製造番号が、HF−RFIDM001に記録されるとともに、それと同じ情報が梱包材M004のUHF−RFIDM005にも記録される。したがって、梱包後の流通においては、近距離しかアクセスできないHF−RFIDから製造番号等を読み出す必要がなくなり、UHF−RFIDから直接、複数同時にゲートを通すことによって読み出すことが可能となり、流通の効率化が可能となる。
また、機器M003が消費者の使用環境に届いた後も、HF−RFIDをTVリモコン等によって読み出すことが可能となるので、流通だけではなく、消費者の手元に至るまでの機器のトレースを可能とし、流通の効率化と機器使用中の経年劣化による事故等を未然に防ぐことが可能となるトータル的なトレーサビリティを実現することが可能となる。
図108は、UHF−RFIDM005からアクセス可能なメモリの記録フォーマットを示した概念図である。
UHF−RFIDM005のメモリには、UHFデバイスID1070、HF存在識別情報1071、機器製造番号、現品番号1072、日付1073、メーカ1074、型番、ロット番号、品名1075およびステータス1076が記録されている。
UHFデバイスID1070は、メモリの書き換え不能領域に記録されており、UHF−RFIDごとの個々に識別可能な識別情報である。UHFデバイスID1070は、機器M003が梱包される前に、ハンディ型リーダライタによって読み出され、HF−RFIDM001にも記録される。これによって、梱包材と機器の対応関係が間違っている場合にも、未然に確認して適切に処理を行うことができる。
HF存在識別情報1071は、機器M003にHF−RFIDM001が付与されているか否かを確認する識別情報である。HF−RFIDが機器に付与されている場合には、機器の梱包時にHF−RFIDから読み出した製造番号等をUHF−RFIDに記録する際に、HF−RFIDの存在識別情報を“存在する”という情報に書き換える。これによって、HF存在識別情報1071のみを確認することによって、UHF−RFIDとHF−RFIDの対応関係の確認工程を行うかどうかの判断が可能となる。
機器製造番号、現品番号1072は、HF−RFIDM001から読み出した製造番号あるいは、製造番号と対応付けられた現品番号の少なくともいずれか一方が記録される。現品番号とは、流通過程で使用される機器ごとの番号であり、製造番号と現品番号を同一の管理を行うことによって、製造番号と一意に対応付けを行うことは可能である。よって、本実施の形態では、この両者を明確に使い分けることをせず、一意な情報として説明する。
日付1073は、所謂製造年月日に相当する情報であり、機器M003が製造された日付、時間情報が記録される。これは、ハンディ型リーダライタM002によって、UHF−RFIDに製造番号を記録する時点で記録してもいいし、HF−RFIDに記録されている製造年月日情報を読み出してUHF−RFIDに記録する形態でも、どちらでも構わない。
メーカ1074は、機器M003を製造した製造メーカ識別情報であり、UHF−RFIDへ製造番号を記録する時点でハンディ型リーダライタによって記録してもかまわないし、HF−RFIDに予め記録されているものを読み出して記録する形態でも、どちらでも構わない。
型番、ロット番号、品名1075も日付1073やメーカ1074と同様に、HF−RFIDから読み出した情報を記録してもいいし、ハンディ型リーダライタで記録する攻勢でも構わない。ただし、ロット番号の場合には、ロット管理が生産から流通までの一元管理を行われる場合には、上記、どちらの方法で情報を書き込んでもかまわないが、一元管理がなされておらず梱包時に生産ライン情報が不明な場合には、HF−RFIDからロット番号を読み出して、UHF−RFIDに記録する方が、厳密な管理が行われるという利点がある。
ステータス1076は、流通形態におけるステータス情報が記録される。すなわちステータス情報は、工場内保管、工場出荷、配送センター受領、配送センター出荷、小売店受領など、機器のトレースに必要なステータス情報が記録される。本ステータスは、各流通過程において、書き換えられる情報である。
また、UHF−RFIDM001には、管理サーバ特定情報1077が記録される。この管理サーバ特定情報1077は、HF−RFIDM001の第2メモリ52のサーバ特定情報48と同等の情報である。機器M003梱包時に、HF−RFIDM001から読み出し、UHF−RFIDM005に複製する。これによって、UHF−RFIDを用いる流通段階での管理と、機器が消費者の手元に届いた後の管理も同一の管理サーバによって一元管理することが可能となる。
よって、機器M003が消費者の手元に届いた後、HF−RFIDM001から管理サーバアドレス情報を読み出して、管理サーバにアクセスして、機器製造番号1072によって、問い合わせを実施すれば、管理サーバで管理している製造から流通までのトレース情報を消費者に可視化することが可能となり、消費者の安心・安全を高める要素となる。
図109は、機器M003の工場出荷時のHF−RFIDからUHF−RFIDに製造番号等を複製する処理の流れを示したフローチャートである。
まず、組み立てられた生産物(機器M003)にHF−RFIDを付与する(M020)。本フローチャートでは、機器M003が組み立てられた後にHF−RFIDを付与する形態であるが、機器とHF−RFIDが共有メモリをともにアクセスできるデュアルインタフェースを持つ構成の場合には、機器M003の組立て段階でHF−RFIDが付与されている。
次に、HF−RFID1081に、機器M003の製造番号を記録する(M021)。ここでは、組立て工程においてHF−RFIDM001に、ハンディ型リーダライタ機器M002を解して、製造番号を記録する工程である。製造番号は、生産ラインの管理サーバなどからハンディ型リーダライタ等によって取得して、HF−RFIDM001に近接無線通信によって記録する。
HF−RFIDM001に製造番号が記録された後、機器M003は梱包される(M022)。ここでの梱包とは、緩衝材などを伴う流通用の梱包や通い箱などへの収納を意味する。
梱包が完了すると、梱包材(通い箱表面、管理用ラベルを含む)にUHF−RFIDを付与する(M023)。
次に、ハンディ型リーダライタM002が管理サーバ1085と通信することによって、HF−RFIDM001から読み出した製造番号に対応付けられた現品番号を読み出す(M024)。現品番号とは、商品の流通に用いられる管理番号であって、管理サーバが発行する番号であり、製造番号と1対1に対応する番号である。
現品番号を管理サーバ1085から読み出した後、UHF−RFIDに、製造番号あるいは現品番号と、HF−RFIDが機器M003に付与されていることを示す存在識別情報をUHF−RFIDに記録する(M026)。
以上の工程によって、機器M003に付与されたHF−RFIDに記録されている製造番号が、機器の梱包後にUHF−RFIDに複製される。通常、HF−RFIDは、その通信距離が短いため、梱包後にHF−RFIDへアクセスすることは困難である。しかしながら、本実施の形態によれば、HF−RFIDより通信可能距離が長く梱包材に付与されたUHF−RFIDに製造番号あるいは現品番号を記録することによって、梱包後の機器の流通管理を可能にすることができる。
また、機器が消費者の元に届いて、例え梱包材などが廃棄されたとしても、機器に付与されているHF−RFIDにアクセスすることによって、製造番号などを読み出すことが可能となり、流通から消費者の手元までを一元的に管理することが可能となり、幅広い範囲でのトレーサビリティを実現することが可能となる。
図110は、機器M003の流通過程における処理の流れを示したフローチャートである。
まず、機器M003の工場出荷時には、UHF−RFIDからハンディ型リーダライタやUHF−RFID読み出しゲートを通過させることによって、製造番号あるいは現品番号を読み出し、ハンディ型リーダライタやUHF−RFID読み出しゲートと通信可能な管理サーバ1085に出荷済みを登録するとともに、ハンディ型リーダライタやUHF−RFID読み出しゲートからUHF−RFIDにアクセスして、メモリ内のステータス(1076)も同様に出荷済みに書き換える(M030)。
工場出荷後、配送センターなどに貯留され、その後、配送センターを出荷するときには、ハンディ型リーダライタやUHF−RFID読み出しゲートによってUHF−RFIDから製造番号あるいは現品番号を読み出し、配送センターから出荷済みであることを管理サーバ1085およびUHF−RFIDのステータス(1076)を書き換える(M032)。
また、小売店出荷時も同様に、小売店出荷済みであるという状態を管理サーバ1085およびUHF−RFIDのステータス1076を書き換える(M034)。
最終的に、機器M003が消費者の手元に届いた時点で、TVリモコンなどのRFID読み取り部46で、HF−RFIDから製造番号を読み出し、TVの識別情報に関連付けて管理サーバ1085に登録される(M036)。したがって、本実施の形態においてもHF−RFIDの第2メモリ52には、サーバ特定情報48が予め記録されている。本実施の形態におけるサーバ特定情報48は、管理サーバ1085を示すサーバ特定情報であり、管理サーバ1085への接続のためのURLを含む。これによって、RFリーダライタを備えるTVリモコンなどで、機器M003のHF−RFIDM001を読み出せば、生産から流通までの管理情報を管理サーバ1085から取得することが可能となる。また、管理サーバ1085に、TVの識別情報に対応付けて管理することによって、例え使用者の個人情報を管理しなくても、所有しているTVに紐付けて、ユーザが保有している機器のリストを管理サーバに蓄積することができる。
よって、ユーザの所有している機器に、不具合が発覚した場合には、的確にユーザに危険を知らせるメッセージをTVにて表示させることが可能となって、重大な事故を未然に防止することが可能なる。
以上のように、本実施の形態では、生産段階で、機器にHF−RFIDと機器の梱包材にUHF−RFIDを付与し、互いの存在識別情報をそれぞれに持つとともに、HF−RFIDに記録されている製造番号や管理サーバ特定情報をUHF−RFIDにも持たせることによって、今まで流通のみのトレーサビリティであったものを、流通管理の利便性はそのまま保持しながらも、消費者の手元に届いてもなお、管理するシステムを提供することが可能となる。
本実施の形態では、製造からユーザの手元までの管理について説明したが、本発明は、ユーザが廃棄、あるいはリサイクルに出したときにも同様に効果を発揮する。その手順もまた、本実施の形態で説明した流れで実現することが可能である。
例えば、図107において、機器M003に付与されたHF−RFIDM001に記録されている製造番号等を梱包後の梱包材M004に付与するUHF−RFIDM005に付与して工場出荷する形態であるが、工場出荷を廃棄場への出荷、あるいはリサイクルセンターへの出荷としても同様である。廃棄場への出荷であれば、廃棄完了後、管理サーバに廃棄完了であることを登録すれば、商品が生産され、消費者に使用され、廃棄されるまでは一元的に管理することができる。昨今、廃棄コストの情報から不法廃棄の問題が指摘されているが、不法廃棄されている機器のHF−RFIDやUHF−RFIDを見れば、流通段階のどこで不法廃棄が行われたのかは一目瞭然であり、このような不法廃棄の問題を軽減することが可能となる。
また、リサイクルセンターへの出荷である場合には、HF−RFIDからアクセス可能な領域に使用状況検出部7020で検出した使用状況情報や不具合検出状況、トータル使用時間などが記録されており、リサイクル可能かどうかの判断や、値決めなどに利用することもかのうである。また、リサイクル可能と判断された場合には、管理サーバ1085に対応付けて管理されているTVの識別情報や、個人情報などの情報を更新して利用することが可能である。
(実施の形態13)
図111は全体のシステム構成図を示す。洗面所のミラー部には半透過式のミラー透過板が装着されている。その裏側の背面部にはディスプレイ、電源アンテナ、RFのアンテナ部が配置されている。ユーザはRFアンテナを有するモバイル端末を持ち、何らかの映像情報を表示している。この映像をミラーのディスプレイに移動させる手順を述べる。図112のフローチャートはこの手順を示す。まず、スタートし、端末の画像送出ボタンを押す。ネットワークやTVチャンネルを介して得た情報もしくはデータが端末に表示されているかどうかをチェックしYesなら映像やデータの送出元のサーバのURLやIPアドレス、表示中の映像のストリームID、ストリームの再生時間情報、TVチャンネル情報を入手する。そして、端末のアンテナから電源の送信、受信を開始する。端末のアンテナ部を装置側のアンテナ近傍に接触させると端末側から装置側のアンテナに電力もしくは信号が送られる。装置側の属性情報(映像表示能力、音声能力、インターネットの宅内と宅外の最大(平均)通信速度、TVチャンネル接続の有無、インターネットや通信回線の種類)を装置側のアンテナを介して端末が読み出す。
まず、映像ソースがTVで装置がTVアンテナに接続されている場合は、TVのチャンネル情報とTVの画像の再生表示時間を、アンテナを介して装置に送る。装置側ではそのTVチャンネルの映像を画面に表示する。TVの場合、画像の左右反転表示はしない。
端末側から給電可能フラグを受け取った場合、装置から端末へ電源を供給する。
ここで前のステップに戻り、インターネットに接続されている場合は、装置側の属性情報に応じて映像のレート速度、解像度を設定し、この設定に最適のサーバアドレス、DLNA(登録商標)ネットワーク上のサーバID、サーバの中のストリームID、ストリームの再生表示時間情報を、RFアンテナを介して装置側に送る。
図113のフローチャートに移り、装置側ではサーバのIPアドレス、ストリームID、ストリームの再生表示時間を基にして端末側に表示されている映像ストリームと表示時間が一致するようにストリームを表示する。時間が一致した段階で、装置の前の表示から次の表示つまり端末の映像を装置側にシームレスに移す。
もし、著作権保護のため映像の端末と装置の2台同時表示が禁止されている場合は装置側の映像表示がシームレスに始まった時点で装置側から端末側に端末の映像中止命令を送る等の手段により端末側の映像表示を中止する。
また、ミラー時左右を反転させる「ミラー時反転識別子」を装置が端末から受け取った場合は、次のステップで映像の左右を反転する。文字の左右反転はしない。
以上の手法により、まず最初に端末より装置に電力を供給し装置が停止している場合は装置を起動させる。こうして省電力を図る。次に装置が動作を始めると今度は装置から端末に電力を供給する。端末がサーバ等から映像データを受け取り、端末を一旦経由してネットワーク経由で迂回して装置側に映像を配信する場合、端末側が無線LANでアクセスポイント経由で映像を長時間送信する必要がある。無線LANで大量なデータを送る場合電力消費が大きく端末の電池残量がなくなる恐れがある。しかし、実施例のように装置から端末へ電力を送ることにより電池の消耗を防げるという効果がある。また、ミラーのため人間の姿は左右反転で写る。通常であれば歯ブラシの指導ビデオ等のとき、右と左が逆になり学習効果が落ちる。しかし左右反転することにより学習しやすくなる。
(実施の形態14)
本発明の実施の形態14について述べる。図114に本実施の形態において想定しているホームネットワーク環境について示す。複数のホームネットワークがそれぞれの宅内M1001、M1002、M1003に構成され、各ホームネットワークはインターネットをM1004介して登録サーバM1005に接続されている。なお、ホームネットワーク内でのサービスが宅内に限定される場合には、登録サーバM1005は宅内に存在してもよい。また、ホームネットワークが別荘やオフィスなどの複数の場所に分割されている場合、もしくは寮やルームシェアのように1つの宅内で複数のホームネットワークが存在する場合でも本発明は有効である。宅内にはルータM1006や無線アクセスポイント(以下:無線AP)M1007などを介してインターネットに接続するTV(M1008、M1009)やDVDレコーダM1010などの常時接続家電と必要に応じて間接的にインターネットに接続するデジタルカメラM1011や電子レンジM1012、冷蔵庫M1013といった非常時接続家電が存在するものとする。さらに、本実施の形態では携帯電話M1014などのモバイル端末もホームネットワークを構成している端末とする。本発明における各機器は近接無線通信デバイスを通して相互に簡単なデータ通信が可能なものとし、各機器の情報を近接無線通信デバイスにより取得し、ホームネットワークデバイスを通して登録サーバM1005に登録するものとする。
図115に本発明を実施する端末のハードウェア構成図を示す。本発明における通信装置M1101は通信デバイスとして2つのデバイスを搭載しているものとする。1つは近接無線通信デバイスM1102であり、一般的にはNear Field Communicateion(以下:NFC)やRFタグといわれるものである。もう1つはホームネットワーク通信デバイスM1103であり、宅内機器連携に用いられる無線Local Area Network(以下:無線LAN)やZigBee(登録商標)などの無線通信デバイス、Ethernet(登録商標)やPower Line Communication(以下:PLC)などの有線通信デバイスおよびWiMaxや3GPPなどのモバイル機器に利用される通信デバイスである。さらに、通信装置はユーザインタフェースデバイスM1104を備えるものとする。ここでユーザインタフェースデバイスとはボタンなどの入力デバイスおよびディスプレイ、LEDなどの出力デバイスを示したものである。なお、TVやエアコンなどの機器では、入出力はリモコンで行うことが一般的であり、物理的には離れているものであるが、本発明では説明の簡単化のためユーザIFデバイスとしてあつかうものとする。
図116は、CPU(M1105)上で動作する機能説明する機能ブロック図である。通信装置M1101内の機器固有ID取得部M1202は登録機器M1201の機器固有IDを含む情報を取得する。登録機器は登録コマンドおよび機器固有IDを含む登録情報を近接無線通信デバイスM1102によって送信しているものとする。機器固有ID取得部M1202から機器固有IDを含む登録情報を取得して登録情報作成部M1204はホームID管理部M1205よりホームIDを取得し、登録機器から取得した登録情報にホームIDを付加して登録情報を作成する。登録情報として位置情報を付加する場合には、位置情報取得部M1206より位置情報を取得する。ここで、位置情報とはTVに入力されている郵便番号に基づく住所情報や携帯電話のGPSによって取得できる地理的な位置情報などを指しており、登録機器の設置位置情報などを登録することにより、家電トレーサビリティなどのサービス提供を容易にすることができる。登録情報送受信部M1206にする。ホームID管理部は前述したホームネットワークを構成する通信デバイスで用いられる通信デバイスIDとは異なるホームIDを管理している。現在、ホームネットワークでは各通信デバイスのマスター機器がそれぞれの通信デバイス単位で管理しており、その管理手法は通信デバイスの種別によって異なるため、ホーム単位での管理ができていない。また、サービス単位でのIDをユーザに入力してもらっている場合もあるが、ユーザにとっては極めて利便性が低い。本発明はホームIDという新しいIDの導入により、ホームネットワークを構成する機器の管理を通信デバイスやサービスによらずに可能とするものである。また、ホームID管理部は始めて機器登録を行う場合には、ホームIDを作成する。ホームIDは位置情報に基づいて作成されてもよいし、通信機器の固有IDに基づいて作成されてもよい。乱数を基に作成して、登録サーバで重複しないように確認してもよいし、ユーザに設定させてもよい。登録情報を登録情報作成部M1204より受信した登録情報送受信部M1207はホームネットワーク通信デバイスM1103を用いて登録サーバM1005に送信する。登録サーバM1005は登録情報を登録データベースM1208に照合して、登録の可否を判断し、登録応答を返信する。登録応答を受信した登録情報送受信部は結果を、ユーザインタフェースデバイスM1104を用いてユーザに通知する。不可の場合には登録情報作成部M1204に通知し、登録情報の変更を要請してもよい。これにより、通信用のユーザインタフェースデバイスを持たない白物機器などを含めたホームネットワーク機器の統一管理を行うことができる。
図117は、通信装置の登録処理を説明するためのフローチャートである。通信装置は登録コマンドと機器固有IDを受信する(M1301)と自端末がホームIDを保持しているかどうか(M1302)を判定する。ホームIDを保持していない場合にはホームID取得処理(M1303)に移行する。ホームIDを保持している場合には、登録データの作成処理(M1304)を行う。次に登録データを登録サーバに送信する(M1305)。登録サーバから登録応答を受信しなかった場合には(M1306)、ユーザに登録失敗通知(M1307)を表示して終了する。登録応答を受信した場合、ユーザに作成した情報で登録してもよいかどうかを表示し、OKの場合(M1308)には終了する。そうでない場合にはホームID取得処理に戻る。なお、他のホームIDを取得することが困難な場合には、登録失敗として終了するものとする。
図118はホームID取得処理を説明するためのフローチャートである。通信装置にホームIDの自動作成機能がある場合(M1401)には自動で作成を行い、ない場合にはユーザに手動入力を依頼する。手動入力をする方法がない、もしくはユーザに手動入力を拒否された場合には、登録不能をユーザに通知し(M1403)、ユーザに別手法でホームIDを取得するように促す。自動で作成する場合には、状況に応じて自動作成機能を選択(M1404)する。GPSによって地理的な位置情報が取得可能な場合やTVのように住所を登録することが一般的な端末の場合には、位置情報によってホームIDを作成する(M1405)。宅内に据え置きが一般的な端末では通信装置の固有識別子によるホームIDを作成する(M1406)。特に有効なホームID作成が困難な場合には、乱数によりホームIDを作成する(M1407)。ホームIDが作成されたら、サーバに作成したホームIDを送信する(M1408)。サーバから作成したホームIDに関する情報を受信し、そのホームIDを利用することができない場合(M1409)には、ホームIDの作成に戻る。利用することが可能な場合には、ユーザに確認し(M1410)OKの場合には、自端末にホームIDとして登録する(M1411)。そうでない場合にはホームIDの作成に戻る。
図119は機器登録を行う場合のフローチャートである。登録機器M1201は近接無線通信デバイスを通して、機器固有IDを含む情報を登録コマンドと共に通信装置M1101に転送する。通信装置はホームIDを保持していない場合には、仮ホームIDを作成して登録サーバM1005にホームネットワーク通信デバイスを通して送信する。登録サーバM1005は仮ホームIDに関する情報を添付して通信装置に返信する。ホームIDを通信装置が保持している場合、もしくは登録サーバより利用してもよいというホームID情報を取得した場合には、ホームIDおよび機器固有IDを含む登録情報を登録サーバに送信し。登録機器の登録処理を完了する。
(実施の形態15)
本発明の実施の形態15として、ホームIDを通信端末間で共有する形態について述べる。図120はホームIDを通信装置間で共有する場合の機能を表す機能ブロック図である。ホームネットワークを構成する通信装置はホームネットワークM1601およびホームネットワーク通信デバイスM1103を通してホームIDを共有するものとする。もしくは、近接無線通信デバイスM1102を通して共有してもよい。本発明における通信装置は共有コマンドとホームIDを、近接無線通信デバイスM1102を通して他の通信装置に送ることにより、ホーム内の通信装置間でホームIDを共有することが可能である。ホームID管理部M1205S内のホームID共有部M1602Sは共有コマンドと自端末のホームID記憶部M1209Sに記憶されたホームIDを近接無線通信デバイスM1102Sに記憶する。送信側の通信装置M1101Sの近接無線通信デバイスM1102Sと受信側の通信装置M1101Rの近接無線通信デバイスM1102Rが近接したときに情報が転送され、受信側通信装置M1101Rの近接無線通信デバイスM1102R内に送信側通信装置M1101SのホームIDが記憶される。受信側通信装置M1101R内のホームID共有部M1602Rは自端末のホームID記憶部M1209RにホームIDが記憶されていなければ、自端末のホームIDとして記憶する。これにより、通信装置間のホームIDが極めて簡単に行うことができる。ホームIDが記憶されている場合には、登録サーバに双方のホームIDを送信する。双方のホームIDを受信した登録サーバは双方のホームIDを仮想的に1つのホームのIDとして管理する。また、どちらかのホームIDに統一するために、すべての通信装置に対してどちらかのホームIDを通知してもよい。この場合でも、非常時接続機器が存在するため、登録サーバにおけるホームIDは双方を仮想的に1つのIDとして管理する。なお、非常時接続機器のIDを接続するたびに更新し、すべての登録機器の更新が終われば仮想的な管理を終了してもよい。これにより、もともと複数のホームネットワークを1つのネットワークに統合することが可能となる。
また、ホームネットワークを用いて共有を行ってもよい。ホームIDを保持していない通信装置がホームネットワークM1601に接続されたことをホームネットワーク接続検出部M1603Sで検出した場合、ホームID共有要求をホームネットワークに接続する端末にブロードキャストする。ホームネットワークM1601に接続する端末のうち、ホームIDを保持する端末はホームIDを、共有要求を送信した端末に向かって返信する。これにより、通信を行う事前の段階でホームIDを完了することが可能となる。なお、ホームIDを保持する端末のうち、共有要求に応答するマスター端末を予め設定しておけば、複数端末から多数の共有応答が返信され、ホームネットワークに過剰な負荷がかかることを回避することが可能となる。また、応答がない場合には、自端末でホームID取得処理を行ってもよい。
図121は近接無線通信デバイスM1102を用いてホームIDを共有する場合における、受信側通信装置M1101Rの動作を表すフローチャートである。共有コマンドとホームIDを受信すると(M1701)、通信装置は自端末にホームIDを保持しているかどうかを判定する(M1702)。自端末に保持していない場合は、受信したホームIDを自端末のホームIDとして登録する(M1703)。自端末に保持している場合には、保持しているホームIDと受信したIDとを比較する。等しい場合には何もせずに終了する。等しくない場合には、ホームIDの選択を行う(M1705)。ホームIDの選択は自端末で行ってもよいし、登録サーバで行ってもよい。選択を登録サーバに依頼した場合には、登録サーバに自端末のホームIDと受信したIDを共有情報として送信する(M1706)。登録サーバにより選択されたホームIDを含んだ共有応答を受信し(M1707)、ユーザに確認して(M1708)、OKであった場合には終了する。OKでなかった場合には、ホームIDの選択に戻る。通信装置で自端末のホームIDを選択した場合には登録サーバに自端末のIDをホームIDとして受信したIDを共有IDとして送信する(M1709)。登録サーバは共有IDを持つ通信装置にホームIDが更新されたことを通知する。受信したホームIDを選択した場合には、自端末のホームIDを更新する(M1710)。さらに、登録サーバに自端末の旧IDを共有IDとして受信したIDをホームIDとして送信する(M1711)。登録サーバは同様に共有IDを持つ通信装置にホームIDが更新されたことを通知する。
図122は、近接無線通信デバイスM1102を用いてホームIDを共有する場合における、送信側通信装置M1101Sの動作を表すフローチャートである。共有コマンドとホームIDを送信した端末は登録サーバより共有応答が送られてくるかどうかを判定する(M1752)。共有応答を受信しなかった場合には終了する。ホームID更新通知を含む共有応答を受信した場合には、ホームIDを更新(M1753)して終了する。
図123は、登録サーバで選択する場合のシーケンス図である。通信装置M1101SはホームID_Aを、近接無線通信デバイスを用いて通信装置M1101Rに送信する。通信装置M1101Rは登録サーバM1005に自端末の保持するホームID_Bと受信したホームID_Aを合わせて送信する。登録サーバは受信したIDのうちから、ホームID_Bを選択し、ホームID_Aを持つ通信端末および通信装置M1101RにホームID_Bを記憶するように通知を送る。
図124はホームネットワーク通信デバイスM1103を用いてホームIDを共有する場合における、送信側通信装置M1101Sの動作を表すフローチャートである。ホームネットワークへの接続を検出(M1801)した通信端末はホームID共有要求をホームネットワーク内にブロードキャストする(M1802)。共有応答が返ってきた場合には、自端末に受信したホームIDを登録する(M1804)。返ってこなかった場合には、ホームID取得処理(M1303)を行う。
図125は、ホームネットワーク通信デバイスM1103を用いてホームIDを共有する場合における、受信側通信装置M1101Rの動作を表すフローチャートである。ホームID共有要求を受信(M1851)した通信端末は自端末がホームネットワークのマスター端末であるかどうかを判断し(M1852)、マスター端末であった場合には、自端末のホームIDを共有応答として送信する(M1853)。マスター端末でなかった場合には、何もしない。なお、ホームIDを持つ端末内でマスターという設定を行っていない場合には、マスターかどうかの判定をせずに、すべての端末から返信するものとする。
図126は、ホームネットワーク通信デバイスM1103を用いてホームIDを共有する場合のシーケンス図である。通信装置はホームネットワークに接続されたことを検出すると、ホームネットワークにホームID要求をブロードキャストする。ホームID共有要求を受信した通信装置のうち、マスター設定をされている端末M1854のみがホームID共有応答を返信する。共有応答を受信した通信装置は受信したホームIDを自端末のホームIDとして記憶する。
(実施の形態16)
本実施の形態は、端末装置からNFC(Nier Field Communication)の通信機能を介して、前記端末装置の端末装置情報を読み出し、汎用のネットワークを介してサーバに転送する通信装置について、図面を用いて詳細に説明する。
図127は、本実施の形態のシステムであり、端末装置Y01、通信装置Y02およびサーバY04で構成される。なお、本実施の形態の発明主題は、通信装置である。
端末装置Y01は、NFC通信機能(RFIDやICタグ、NFCタグエミュレーション)を有する機器であり、冷蔵庫、電子レンジ、洗濯機、テレビ、録画機器などの電子的な端末機器で、内部のメモリに、端末装置情報として、端末装置を示すIDである製造番号や、端末装置の使用履歴情報、エラー情報などを保持する。
通信装置Y02とは、端末装置のNFC通信機能と近接無線通信によって通信可能なNFC通信機能を有し、端末装置で保持している端末装置情報を読み出すリーダライタ機能を有する。また、通信装置とは、ポータブル機器であり、携帯電話端末などのポータブル機器や、テレビのリモコン端末を指す。
サーバY04は、インターネットなどの汎用のネットワークによって前記通信機器Y02と通信可能に接続されるサーバであって、内部にDB(データベース)を有し、前記DBには、端末装置Y01から通信機器Y02によって読み出された端末装置情報を蓄積する。
端末装置Y01は、CPU(Central Processing Unit)Y011、故障センシング部Y012、使用履歴ロギング部Y013、メモリY014、変調部Y017およびアンテナY018から構成される。
CPU(Y011)は、端末装置Y01のシステム制御を行う部分である。CPUは、端末装置の各構成要素である故障センシング部Y012、使用履歴Y013、メモリY014、変調部Y017の制御を行う。
故障センシング部Y012は、端末装置Y01の各構成要素の故障箇所、故障内容をセンシングする部分である。本故障センシング部Y012でセンシングした故障情報は、メモリY014のRAM(Random Access Memory)に蓄積される。センシングする故障情報とは、エラーコードのことであり、故障の生じた場所と症状によって一意に定められたコードである。
使用履歴ロギング部Y013は、本端末装置Y01がユーザに操作されるごとにその使用履歴情報をロギングする部分であり、ロギングされた使用履歴情報はメモリY014のRAM(Y016)に蓄積される。通常、使用履歴情報によって故障に至った経緯を調査するためには、故障が生じた数ステップ手前の履歴の優先度が高い。したがって、本実施の形態の使用履歴ロギング部Y013は、RAM(Y016)をFIFO(First In、 Fist Out)として利用することで、時系列的に新しい使用履歴情報をRAMに蓄積する構成が望ましい。また、故障に至った経緯を使用履歴から判別可能とするためには、故障センシング部Y012で故障を検知したタイミングを基点として、数ステップ前の使用履歴情報を優先的にRAMに保持する形態が望ましい。したがって使用中に5回の軽微な故障を検知した場合には、5回の故障に至った数ステップの操作履歴情報を優先的に保持する構成になっている。
メモリY014は、ROM(Read Only Memory)Y015とRAM Y016から構成される。
ROM(Y015)には、少なくとも本端末装置Y01を位置に示す製造番号が出荷時に予め記録され、本端末装置の使用者からは本ROMに記録された内容を更新不可能に構成されている。また、製造番号とは、メーカや製造されたロット番号、製造日が判別可能な情報であることが望ましい。また、本ROMは、CPU(Y011)の半導体チップの内部に構成されていることが望ましい。この場合には、メモリアクセスの情報を簡単に見ることはできなくなり、この場合には、通信装置との近接無線通信時の認証や暗号化通信のための秘密鍵情報を出荷時に記録することが可能となる。
RAM(Y016)は、書き換え可能なメモリであり、故障センシング部Y012でセンシングした故障情報や、使用履歴ロギング部Y013でロギングした使用履歴情報が蓄積される。
変調部Y017は、通信装置Y02との近接無線通信時の通信データの変調を行う部分である。変調方式は、使用するNFC規格によって異なり、振幅変調(ASK)、周波数変調(FSK)や位相変調(PSK)などが用いられる。
アンテナY018は、ループアンテナが用いられ、通信装置Y02のアンテナから発信された電波から電磁誘導を起こし、少なくとも変調部やメモリを駆動するための電力生起を行うとともに、通信装置Y02から発信された電波の反射波に、前記変調部Y017で変調した信号を重畳して、メモリY014に記録されている端末装置情報を通信機器Y02に送信する部分である。
以上のように、本実施の形態の端末装置では、内部の各構成要素の故障を検知し、使用履歴をロギングしてメモリに蓄積して、通信装置Y02と近接して近接無線通信が可能となれば、メモリに蓄積している端末装置情報を通信装置Y02に送信することが可能となる。
次に、本実施の形態の通信装置Y02について説明する。なお、本実施の形態で開示する発明の主題は、本通信装置Y02である。
本通信装置Y02は、アンテナY021、CPU(Y022)、復調部Y023、メモリY024、位置情報測位部Y027、GPSアンテナY031、通信メモリY032、情報付与部Y035および通信部Y036で構成される。
アンテナY021は、本通信装置Y02と近接無線通信可能な端末装置を探索するために不特定な端末装置に向けて呼びかけを行うポーリングを行う。また、ポーリングに対して応答があった場合には、端末装置との近接無線通信を確立して、端末装置Y01から送信される変調された端末装置情報を受信して、復調部Y023に出力する。通常、ポーリング動作は、近接無線通信可能な端末装置がない場合においても、常時行う必要があるが、これには、電力消費を伴う。したがって、ポーリングを開始するタイミングを制御するための図示しないスイッチを設けて、スイッチがONにされた場合にポーリング動作を行うようにすれば、ポーリング時間を大幅に短縮することが可能となって、通信機器Y02の電力消費量を格段に下げることが可能となる。特に、通信装置がバッテリや電池など限りある電力で動作している場合には有効である。
CPU(Y022)は、本通信装置のシステム制御を行う部分であり、通信装置の各構成要素の動作を制御する。
復調部Y023は、端末装置Y01の変調部Y017に対応した変調を復調する部分である。復調した端末装置情報は、一旦、メモリY024に出力される。
メモリY024は、内部にROM(Y025)とRAM(Y026)を具備する。
ROM(Y025)は、外部からは書き換え不能に構成されたメモリであり、本通信装置出荷時に、本通信装置Y02を一意に識別可能な製造番号が記録されている。製造番号とは、本通信装置Y02のメーカや製造されたロット番号、製造日が判別可能な情報であることが望ましい。また、本ROMは、CPU(Y022)の半導体チップの内部に構成されていることが望ましい。この場合には、メモリアクセスの情報を簡単に見ることはできなくなり、この場合には、端末装置Y01との近接無線通信時の認証や暗号化通信のための秘密鍵情報を出荷時に記録することが可能となる。
RAM(Y026)は、アンテナY021で受信し、復調部Y023で復調した端末装置Y01の端末装置情報が蓄積される。前述の通り、端末装置情報とは、端末装置Y01を一意に識別可能な端末装置の製造番号や、端末装置Y01の使用履歴情報、故障コードが含まれる。
位置情報測位部Y027は、本通信装置Y02の場所を特定するためのセンサ群で構成され、経緯測位部(GPS)Y028、高度測位部Y029および位置補正部Y030で構成される。また、本位置情報測位部Y027は、アンテナY021から、本通信装置Y02と端末装置Y01が通信可能になった時点で、位置情報を取得する構成にすれば、常時位置情報を取得する必要がなくなり、本通信装置Y02の電力使用量を削減することが可能となる。
経緯測位部Y028は、一般的なGPS(Global Positioning System)であり、人工衛星からの電波を受信して、地球上の3次元測位が可能な部分である。
また、高度測位部Y029は、一般的な高度計であり、電波を受信して高度を抽出するもの、気圧をセンシングして高度を計測するものなど多数存在する。本高度測位部Y029は、GPS電波が受信できない室内においても高度をセンシング可能とするために具備している。
位置情報補正部Y030は、GPSで即位した位置情報をより精細にするために、GPSの測位値を補正する部である。通常、GPSは、室内など衛星からの電波の受信できない状況では、正しい位置情報を得ることが不可能になる。そこで、本位置情報補正部Y030では、内部に電子コンパスと6軸の加速度センサを具備して、GPS測位困難な場所では、本通信装置の移動方向を電子コンパスから、移動速度を加速度センサから抽出して、GPSで測位した位置情報を補正することを可能としている。
情報付与部Y035は、端末装置Y01から受信してメモリY024に記憶されている端末装置情報をサーバY04に送信するときに、メモリY024のROM(Y025)に記録されている通信装置Y02の製造番号と、位置情報測位部Y027で測定された位置情報を、端末装置情報に付与する部分である。これによって、サーバY04では、端末装置情報を、どの通信装置から送信されたか、どの位置で検出したかなどを判別可能に管理することができ、例えば、メーカ側で端末装置の重大事故の可能性がある場合において、サーバY04のDBを紐解けば、その端末機器がどこに存在するかがわかり、製品回収時間を短縮し、重大な事故の可能性を低減させることが可能となり、製品使用の安心、安全に繋げることが可能となる。また、通信装置Y02が携帯電話端末などのように表示機能がある場合には、事故の可能性がある端末機器がどの通信機器と近接無線通信が可能であったかがわかり、端末機器の事故情報を、対応する通信機器に表示させる構成とすれば、一般的に表示機能がなく、汎用のネットワークに接続されていない端末機器の事故情報を通信機器に送信することで、端末装置を使用するユーザに啓発を行うことができ、こちらも端末装置を使用するユーザの安心、安全に繋がる機器の提供を可能とする。
通信部Y036は、一般的なLANやワイヤレスLANや携帯電話通信網によってインターネットを介してサーバY04と通信を行う部分であり、通信装置情報として通信装置の製造番号や位置情報を付与された端末装置情報をサーバY04に送信する部分である。ここでは、通信制御用に、MACアドレスやIP(Internet protocol)アドレスを、さらに付与して、サーバY04に送信する。
サーバY04は、インターネットなど汎用のネットワークを介して通信機器Y02と接続されるサーバである。本サーバY04は、内部に端末装置を管理する機器管理DB(Data Base)を具備する。
機器管理DB(Y041)では、通信装置情報に紐付けられた端末装置情報を受信する。本DBでは、通信機器を親機器、端末装置を子機器として親機器に紐付けて管理する。また、子機器には、通信装置で取得した位置情報が付与されており、端末装置がどこに存在するかの情報を同時に管理することが可能となる。
以上のように、本実施形態のシステムでは、端末装置の端末装置情報が、通信機器によって近接無線通信を介して読み出され、通信装置において、通信装置の製造番号や通信機器を端末装置にタッチして近接無線通信が可能となった位置情報を対応付けて、サーバに送信する。サーバでは、通信装置を親機器、端末機器を子機器として対応付けを行って管理することが可能となる。したがって、メーカ側で端末機器が重大事故を起こし得ると判定したときには、端末装置の回収が容易になったり、重大事故の可能性を対応する通信機器の表示部に表示したりするなどすることが可能となり、製品のトレーサビリティを実現し、安心、安全機器を提供することを可能とする。
図128は、図127で説明したシステムの各構成要素の動作を示したシーケンス図である。
まず、通信装置Y02から端末装置Y01に向けて、近接無線通信を確立するためのポーリングを行う。このポーリングは、前述のように、通信装置の電力使用量の観点から、ユーザが操作するスイッチを設けて、このスイッチが押されている、あるいは押された場合にポーリングを開始する方が望ましい(SY01)。
次に、端末機器Y01は、通信機器Y02のポーリングに応答することによって、端末装置Y01と通信装置Y02との近接無線通信を確立する(SY02)。この時点で、通信装置Y02の位置情報測位部Y027によって位置情報を取得して、端末機器の位置情報として抽出する。なお、位置情報の取得は、ポーリング完了時のみに限定されるものではない。ポーリング応答移行、近接無線通信が確立している間であれば、いつでも構わない。趣旨は、数センチメートルしか通信できない近接無線通信が確立している位置情報を取得することによって、端末装置の場所を高精度に抽出することが重要である。
SY02で近接無線通信が確立後、端末装置が通信機器を認証し、通信装置が端末装置を認証することを、一般的な公開化儀暗号を用いた認証を用いて実施するとともに、一時的に端末装置と通信装置間で生成する暗号鍵をキーシェアリングする(SY03)。以後、本近接無線通信が確立している間は、通信路をこの暗号鍵を用いて暗号化して通信することによって盗聴を防止することが可能となる。
キーシェアリングが完了すると、端末装置Y01のメモリY014に記録されている端末装置情報を端末装置Y01から通信装置Y02に送信する(SY04)。
通信装置Y02において、端末装置Y01から端末装置情報を受信すると、通信装置のメモリY024に記憶する(SY05)。
通信装置Y02において、端末装置Y01から端末装置情報の受信を完了すると、通信装置Y02からサーバY04に対して接続要求を出す(SY06)。
サーバY04では、SY06の接続要求に対して、応答を返し、通信を確立する(SY07)。
通信装置Y02とサーバY04の通信が確立すれば、サーバに端末装置の端末装置情報を送信するために、通信装置の通信装置情報を付与する(SY08)。なお、通信装置情報とは、通信装置の製造番号、端末装置と近接無線通信が確立している間の通信装置の位置情報、通信装置機器に登録されていれば登録されているユーザのメールアドレス、通信装置に登録されていれば登録されているサーバへの接続アカウントなどのことである。
SY08で、端末装置情報に通信装置情報の通信装置情報を付与した後、通信装置情報付きの端末装置情報をサーバY04へ送信する(SY09)。
サーバY04では、通信装置Y02から受信した通信装置情報付きの端末装置情報を機器管理DB(Y041)に登録することで処理を完了する。
これによって、サーバY04では、通信装置Y02でタッチして近接無線通信を確立した端末機器を、通信装置の識別情報(製造番号など)に紐付けて管理することによって、家丸ごとの機器管理を行うことが可能となる。また、端末装置の設置場所として登録する位置情報は、通信機器と端末装置とが近接無線通信を確立した位置情報を用いる。本実施の形態の近接無線通信は、一般的なHF帯域(13.56MHz帯)を用いるので、その通信可能距離は数センチメートルである。したがって、近接無線を確立した位置情報を端末機器の位置情報として設定することで、誤差が最大数センチメートルとなり、製品のトレーサビリティを実現するには十分の精度を確保することが可能となる。
図129は、サーバY04の機器管理DB(Y041)に通信端末Y02に対応付けて管理される端末装置群の概念図である。
通信機器Y02で、端末装置を購入時の愛用者登録などを行う場合には、端末機器を設置した後、通信機器で端末装置をタッチすることによって、端末機器の端末機器情報を通信機器に近接無線通信を介して読み出して、サーバに、通信装置情報を付与して送信する。すると、サーバ側の機器管理DBでは、通信装置を親機器、端末機器を子機器として関連付けて管理される。具体的には、DB内では、通信機器の製造番号(Y051)に紐付けて、通信装置でタッチされた端末装置1(例えば電子レンジ)Y052、端末装置2(例えば洗濯機)Y053、端末装置3(例えばテレビ)Y054として、各端末装置の端末装置情報としての所在情報(経緯、高度など)、使用状況情報(使用履歴、エラーコード、使用時間など)を通信機器に紐付けて管理することで、通信装置でのタッチを起因として家丸ごとの機器の管理を行うことが可能となり、端末装置のトレーサビリティを実現することが可能となる。
また、近接無線通信が確立したときに通信装置は位置情報を読み出し、端末装置の位置情報として検出するため、近接無線通信が通信可能な数センチメートル単位の誤差の範囲で端末機器の位置を登録することが可能となる。これを実現するために通信装置に搭載されているGPSを利用して、端末装置の位置情報を検出することで、端末機器ごとにGPSを持つ必要はなく、コストの削減が可能となる。
図130は、通信機器Y02で端末装置Y01をタッチしたときの通信機器の表示部に出力される表示画面を示した概念図である。
まず、端末装置に通信機器をタッチして機器登録する場合について説明する。
通信装置Y02を操作して、通信装置のリーダライタアプリケーションを立ち上げると、近接無線通信で通信する端末装置をタッチするように画面に表示する(Y060)。
タッチされると通信機器と端末装置との近接無線通信が確立して、通信装置は、端末装置から端末装置情報を読み出し、現在の位置情報を取得して、メモリに一時記憶し、サーバY04との通信を確立して、通信装置情報と付与した端末装置情報をサーバに送信する。サーバでは、送られてきた端末装置情報が、既に機器管理DBに登録されているかどうかを判定して、登録されていないと判定された場合には、機器の登録を促すメッセージを通信装置の表示部に表示させる(Y061)。
次にユーザが機器の登録を選択すれば、機器の位置情報の登録を促すメッセージをサーバから通信装置に出力して、ユーザが登録するを選択した時点で、通信機器からサーバに送信される端末装置情報に紐付けされている位置情報を登録する端末装置の位置情報としてサーバの機器管理DBに登録される(Y062)。
一方、端末機器の位置情報がサーバの機器管理DBで登録されているものと異なる場合について説明する。
通信装置Y02を操作して、通信装置のリーダライタアプリケーションを立ち上げると、近接無線通信で通信する端末装置をタッチするように画面に表示する(Y063)。
通信機器が端末装置にタッチされると近接無線通信を確立して、通信装置が端末機器から端末機器情報を読み出すとともに、位置情報を取得して、通信装置情報を付与した端末装置をサーバに送信する。サーバでは、機器管理DBから、タッチされた端末機器が既に登録されていることを、サーバに受信した端末装置情報に含まれる端末装置の製造番号と、機器管理DBに登録されている製造番号とを照合することによって確認するとともに、サーバで受信した通信装置情報から位置情報を抽出して、機器管理DBに登録されている位置情報とを照合して一致しているかどうかを判定する。無論、位置情報には誤差を伴うため、数センチメートルオーダー(近接無線通信可能な距離に応じた値)での閾値判定を実施することによって同じ位置か異なる位置かの判定を行う。異なる位置であると判定された場合には、既に登録されている位置情報を異なることを通知するメッセージを通信装置の表示部に出力する(Y064)。
次に、現在の位置情報で端末機器の位置情報を更新するかを促すメッセージを通信装置の表示部に表示される(Y065)。
ユーザが更新するを選択すれば、タッチを起因として通信装置が取得した位置情報を、端末装置の新たな位置情報としてサーバの機器管理DBに登録する。
したがって、本実施の形態では、一旦登録した位置情報が、端末装置の設置場所の移動に伴って変更された場合においても、タッチを起因として取得した新しい位置情報に更新することが可能となって、端末装置のトレーサビリティの精度を向上させることが可能となる。
(実施の形態17)
図131は本実施の形態におけるRF−IDの機能ブロック図である。
図131のRF−IDN10は、近接無線通信用のアンテナN11、アンテナN11からの電力で動作する電源部N12、個体識別情報を記録する不揮発メモリであるメモリN13、メモリN13に記録された内容を再生する再生部N14、メモリN13に記憶されたデータを、アンテナN11を介して送信するデータ転送部N15で構成される。
メモリN13は、RF−IDN10を搭載する製品を特定するUID部N13A、RF−IDN10を搭載する製品の品番を特定する品番ID部N13B、登録サーバN40のサーバ特定情報N13C、モバイル機器N20に実行させる動作プログラムN13Dで構成される。
図132は本実施の形態におけるモバイル機器の機能ブロック図である。
図132のモバイル機器N20は、RF−IDN10から送信されたデータを受信するRF−IDリーダライタN21、RF−IDN21から送信されたデータを記憶するRF−ID記憶部N22、データに含まれるプログラムを実行するプログラム実行部N23、データに含まれる画像情報のデータ処理を行うデータ処理部N24、データ処理部N24が処理した画像情報が出力されるメモリN25、メモリN25に一時記憶された画像を表示する表示部N26、汎用のネットワークを介して他の機器と接続する通信I/F部N27、通信I/F部N27を介してデータを送信する送信部N28、通信I/F部N27を介してデータを受信する受信部N29、通信I/F部N27によって汎用ネットワークを介して他の機器と通信を行う通信部N30、モバイル機器N20の絶対的位置情報を測定するGPSN31、モバイル機器N20の相対的位置情報を測定する6軸センサN32、PSN31と6軸センサN32の測定結果を記憶する位置情報記憶部N33、位置情報記憶部N33に記憶された位置情報を解析するCPUN34で構成される。
図133は、本実施の形態における登録サーバの機能ブロック図である。
図133の登録サーバN40は、汎用のネットワークを介して他の機器と接続する通信I/F部N41、通信I/F部N41を介してデータを送信する送信部N42、通信I/F部N41を介してデータを受信する受信部N43、通信I/F部N41によって汎用ネットワークを介して他の機器と通信を行う通信部N44、通信I/F部N41から受信した製品情報を管理する製品情報管理部N45、モバイル機器N20に送信する画像データを記憶する画像データ記憶部N46、モバイル機器N20に送信するプログラムを記憶するプログラム記憶部N47、製品情報管理部N45に記憶された情報を組み合わせることによりRF−IDを搭載した製品の位置関係を示すマップを作成する位置情報作成部N48、制御情報管理部N45に記憶された情報とモバイル機器N20の現在の位置情報からRF−IDN10を搭載した製品の制御を行う製品制御部N49で構成される。
本実施の形態は、モバイル端末N20の位置情報とRF−IDN10を搭載した宅内の製品の位置情報から作成した製品マップの情報から宅内の製品を制御することが他の実施の形態と異なる。
図134は、本実施の形態におけるネットワーク製品の配置の一例を示す図である。
図134の配置図は、1階のリビングにはテレビN10AとBDレコーダN10BとエアコンN10CとFF暖房機N10K、1階の洋室にはエアコンN10Dと火災報知器N10E、1階の和室にはエアコンN10Fと火災報知器N10G、2階にはテレビN10IとエアコンN10J、屋根には太陽電池パネルN10Hが配置されている。
図135は、本実施の形態におけるシステムの一例を示す構成図である。図135は図134の配置図に設置された家電で構成している。
図131のRF−IDN10と汎用のネットワークを介して他の機器と接続する通信I/F部N18を搭載したテレビN10A〜FF暖房機N10K、図132のモバイル機器N20、図133の登録サーバN40、テレビN10A〜FF暖房機N10Kとモバイル機器N20を接続する宅内ネットワークN100、宅内ネットワークN100と接続し登録サーバN40に接続する宅外ネットワークN101で構成される。
図136〜図141を用いて、RF−IDN10を搭載した製品の情報を登録サーバN40への登録する方法の一例について示す。
図136は、テレビN10Aの情報を登録サーバN40に登録するシーケンス図である。
最初、ユーザがモバイル機器N20のRF−IDリーダライタN21をテレビN10AのアンテナN11近づけると、RF−IDリーダライタN21よりアンテナN11を介して電源部N12に電力が給電されRF−IDN10の各部に電源が供給される(図136丸1)。
RF−IDN10の再生部N14はメモリN13のUID部N13Aと品番ID部N13Bとサーバ特定情報N13Cと動作プログラムN13Dに記憶されている情報を含む製品データを作成する。
図137(a)は、製品データの構成の一例を示す図である。図137(a)の製品データは、品番IDとしてテレビN10Aの品番(色情報を含む)、UIDとしてテレビN10Aの製造番号、サーバ特定情報として登録サーバN40のアドレス情報とログインIDとパスワード、モバイル機器N20のプログラム実行部N23で実行する動作プログラムで構成されている。
RF−IDN10のデータ転送部N15は製品データを変調しアンテナN11を介してモバイル機器N20のRF−IDリーダライタN21へと送信する(図136丸2)。
モバイル機器N20のRF−IDリーダライタN21は、製品データを受信し、RF−ID記憶部N22に記憶する。
プログラム実行部N23はRF−ID記憶部N22に記憶された製品データに含まれる動作プログラムを実行する。
ここでは動作プログラムとして「製品データに含まれる登録サーバN40のアドレスに対して送信するサーバ登録データを作成する」という動作を実行する。
図137(b)は、サーバ登録データの構成の一例を示す図である。図137(b)のサーバ登録データは、品番IDとしてテレビN10Aの品番(色情報を含む)、UIDとして製造番号、サーバ特定情報として登録サーバN40のログインIDとパスワード、モバイル機器N20の位置情報で構成されている。
次に、モバイル機器N20の位置情報に関して説明する。
GPSN31はモバイル機器N20が起動中は常に動作しており測定した結果を位置情報記憶部N33に記憶する。
6軸センサN32はGPSN31が測定圏外であるときに動作し測定した結果を位置情報記憶部N33に記憶する。
プログラム実行部N23は位置情報記憶部N33に記憶されたGPSN31と6軸センサN32の測定結果からサーバ登録データの位置情報を作成する。
プログラム実行部N23は作成した位置情報とRF−ID記憶部N22に記憶された情報から図137(b)に示すサーバ登録データを作成する。
次に、通信部N30はRF−ID記憶部N22に記憶された登録サーバN40のアドレスにサーバ登録データのあて先を設定する。
送信部N28は通信I/F部N27を介してサーバ登録データを送信する(図136間丸3)。
登録サーバN40の受信部N43は通信I/F部N41を介してサーバ登録データを受信する。
通信部N44はサーバ登録データのログインIDとパスワードを確認する。
ログインIDとパスワードが一致していればサーバ登録データの品番IDとUIDと位置情報を製品情報管理部N45に記憶する。
図138(a)は、製品情報管理部N45で記憶するテレビN10Aの製品情報の一例を示す。品番IDとUIDと位置情報で構成されている。位置情報は経度、緯度、高度で構成されている。
次に、登録サーバN40の通信部N44はテレビN10Aの登録が完了すると予め画像データ記憶部N46に記憶された画像情報とプログラム記憶部N47に記憶された動作プログラムを含むサーバ登録完了通知を作成しあて先をモバイル機器N20のアドレスに設定する。
送信部N42は通信I/F部N41を介してサーバ登録完了通知を送信する(図136丸4)。
モバイル機器N20の受信部N29は通信I/F部N27を介してサーバ登録完了通知を受信する。
通信部N30はサーバ登録完了通知のあて先アドレスを確認しプログラム実行部N23に転送する。
プログラム実行部N23はサーバ登録完了通知に含まれる動作プログラムを実行する。ここでは動作プログラムとして「表示部N26に画像データを表示する」という動作を実行する。
プログラム実行部N23はデータ処理部N24に画像データの処理を指示する。
データ処理部N24は画像データのデータ処理を行う。例えば、ダウンロードする画像が圧縮されている場合にはその伸張を、暗号化されている場合にはその復号を行い、画像表示スタイルシートに基づいた画像表示スタイルで、ダウンロードした画像情報を配列したりする。
データ処理部N24は処理が終了すると画像データをメモリN25に一時記憶する。
表示部N26は、メモリN25に蓄積した画像データを表示する。ここでは、メモリN25に蓄積した画像データは製品の登録が正常に完了したことを通知することを示す画像である。
図138(b)は、テレビN10Aと同様の手順でBDレコーダN10B〜FF暖房機N10Kを登録サーバN40に登録後の登録サーバN40の製品情報管理部N45に管理される製品情報の一例を示す図である。図134の宅内から登録された製品情報は同じテーブルで管理される。ここでは、同じモバイル機器N20で登録した製品を同じ宅内から登録された製品と判定する。
図139にRF−IDN10の製品登録時の処理フローの一例を示す。
最初、RF−IDN10はモバイル端末N20からの給電待ち受け状態になる(N001)。
RF−IDN10はモバイル端末N20から給電を受けた場合はN002に移り、受けていないならばN001に戻る。
N002でメモリN13の情報を含む製品データを作成する。その後、N003で製品データをアンテナN11からモバイル機器N20へ送信して処理を終了する。
図140にモバイル機器N20の製品登録時の処理フローの一例を示す。
最初、N001でRF−IDリーダライタN21からRF−IDN10に給電する。
次に、モバイル機器N20はRF−IDN10からの製品データの待ち受け状態になる(N005)。
モバイル端末N20はRF−IDN10から製品データを受けた場合はN006に移り、受けていないならばN004に戻り、再度RF−IDN10に給電する。
N006で受信した製品データを解析する。次に、製品データに含まれる動作プログラムを実行する。
N007でモバイル端末N20は自機の位置を測定する。
N008で位置の測定結果を含むサーバ登録データを作成する。N009でサーバ登録データを通信I/F部N27から登録サーバN40へ送信する。
次に、モバイル機器N20は登録サーバN40からのサーバ登録完了通知の待ち受け状態になる(N010)。
モバイル端末N20は登録サーバN40からサーバ登録完了通知を受けた場合はN011に移る。
N011で、サーバ登録完了通知を解析する。その後、N012で表示部N25にサーバ登録完了通知に含まれる画像情報を表示して処理を終了する。
図141に登録サーバN40の製品登録時の処理フローの一例を示す。
最初、登録サーバN40はモバイル機器N20からのサーバ登録データの待ち受け状態になる(N013)。
登録サーバN40はモバイル端末N20からサーバ登録データを受けた場合はN014に移り、受けていないならばN013に戻る。
N014でサーバ登録データを解析し、ログイン名とパスワードが一致するか確認する。その後、N015でログイン名とパスワードが一致すれば製品情報を製品情報管理部N45に記憶する。
N016で動作プログラムと画像情報を含むサーバ登録完了通知を作成する。N017でサーバ登録完了通知を通信I/F部N41からモバイル機器N20へ送信し処理を終了する。
次に、図142と図143を用いて、モバイル機器N20の位置情報によるRF−IDN10を搭載した製品の制御する方法の一例について示す。
図142は、モバイル機器N20の1階から2階へ移動した場合にエアコンN10JとテレビN10Aの電源を制御する一例を示すシーケンス図である。
モバイル機器N20のCPUN34は、位置情報記憶部N33に記憶されている位置情報を監視し、予め設定している条件を満たすと現在の位置情報を含む位置情報データを作成する。
図143(a)は位置情報データの構成の一例を示す図である。
非図示のメモリに予め製品登録時に取得し記憶していた登録サーバN40の第2サーバログインIDと第2のサーバログインパスワード、位置情報記憶部N33から取得したモバイル機器N20の現在の位置情報で構成されている。
通信部N30は位置情報データを製品登録した登録サーバN40のアドレスに設定する。
送信部N28は通信I/F部N27を介して位置情報データを送信する(図142丸1)。
登録サーバN40の受信部N43は通信I/F部N41を介して位置情報データを受信する。
通信部N44は位置情報データの第2サーバログインIDと第2のサーバログインパスワードを確認する。
通信部N44は第2サーバログインIDと第2のサーバログインパスワードが一致していれば製品制御部N49に位置情報データを転送する。
製品制御部N49は、位置情報作成部N48に第2サーバログインIDを転送する。
位置情報作成部N48は、製品制御部N49に指示に従い第2サーバログインIDから製品情報管理部N45に登録されている図138(b)の情報を取得し、各製品の位置情報から図134の宅内の製品の位置を示す製品マップを作成し製品制御部N49に渡す。
図144に位置情報作成部N48が作成する製品マップの一例を示す。
製品マップは3Dマップで各製品の位置情報から各製品の位置する箇所に製品のイメージ図を配置する。
製品制御部N49は、位置情報データに含まれるモバイル機器N20の現在と位置情報作成部N48で作成した家電マップを用いて製品(テレビN10A〜FF暖房機N10K)の制御を行う。ここでは、製品制御部N49は、モバイル機器N20から受信した位置情報と最も近い商品の電源をONする。ここではエアコンN10Jの電源をONにする命令を含む機器制御データを作成する。
図143(b)は第1機器制御データの構成の一例を示す図である。
エアコンN10Jの品番IDとUID、エアコンN10Jの電源をONする製品制御コマンドで構成されている。
通信部N44は第1機器制御データにモバイル機器N20のアドレスをあて先として設定する。
送信部N42は通信I/F部N41を介して第1機器制御データを送信する(図142丸2)。
モバイル機器N20は第1機器制御データを受信すると第1機器制御データに含まれる品番IDとUIDからエアコンN10Jに第1機器制御データを転送する(図142丸2´)。
エアコンN10Jは通信I/F部N18から第1機器制御データを受信すると自機の電源がOFF状態ならば電源をONする。
次に、製品制御部N49は、モバイル機器N20から受信した位置情報と最も遠い商品の電源をOFFする。ここではテレビN10Aの電源をOFFにする命令を含む機器制御データを作成する。
図143(c)は第2機器制御データの構成の一例を示す図である。
テレビN10Aの品番IDとUID、テレビN10Aの電源をOFFする製品制御コマンドで構成されている。
通信部N44は第2機器制御データにモバイル機器N20のアドレスをあて先として設定する。
送信部N42は通信I/F部N41を介して第2機器制御データを送信する(図142丸2)。
モバイル機器N20は第2機器制御データを受信すると第2機器制御データに含まれる品番IDとUIDからテレビN10Aに第2機器制御データを転送する(図142丸3´)。
テレビN10Aは通信I/F部N18から第2機器制御データを受信すると自機の電源がON状態ならば通信機能以外の電源をOFFする。
以上説明したように、本実施例によれば、RF−IDの近距離無線通信と位置情報を用いることによりRF−IDN10を搭載した製品の位置を登録サーバで管理することが可能になる。これにより、モバイル機器N20の現在位置に応じた製品の自動制御が可能になる。
また、位置情報として相対的位置情報を測定する6軸センサN32(モーションセンサ)で測定した情報を位置情報として使用するため、GPSN31の測定圏外において6軸センサN32の測定結果を用いて位置情報を更新することが可能になりGPSN31の測定圏外でも正確な位置情報を取得が可能になる。
なお、本実施の形態のモバイル機器N20はGPSN31と6軸センサN32を保持したがこれに限定されるものではない。例えば、モバイル機器N20は6軸センサN32のみ保持する構成としてもよい。この場合、登録サーバN40の製品情報管理部N45は図145に示すように最初に登録したテレビN10Aを基準点に、テレビN10Aとの相対的位置情報を記憶する構成になる。また、この場合、位置情報作成部N48が作成する製品マップは図146に示すように軸がx座標、y座標、z座標で構成される。
なお、本実施の形態では、RF−IDN10に搭載した製品の品番IDとUIDとモバイル機器N20の位置情報を登録サーバN40に登録したがこれに限定されるものではない。例えば、登録サーバN40は登録済みの製品のサーバ登録データを再度受信した場合は、図147の表に示す処理を行ってもよい。
図147について説明する。図147は位置情報の精度を示す精度識別子と各識別子に該当する品番IDと、再度受信したサーバ登録データの位置情報と製品情報管理部N45に登録済みの位置情報が異なる場合の処理で構成されている。
登録サーバN40は、再度受信したサーバ登録データに含まれる品番IDとUIDから既に製品情報管理部N45に登録済みと判断すると品番IDを確認する。品番IDがテレビ、BDレコーダ、FF暖房機の場合は再度受信したサーバ登録データに含まれる位置情報に製品情報管理部N45を更新する。
また、品番IDがエアコン、太陽電池パネル、火災報知器の場合は、モバイル機器N20に製品情報管理部N45で記憶している位置情報を通知する。モバイル機器N20は自機の現在の位置情報を登録サーバN40から受けた位置情報に基づき修正する。
なお、図147では精度識別子は2種類だがこれに限定されることはなく2種類以上設けて精度識別子ごとに異なる処理を設けてよい。
なお、本実施の形態の製品制御部N49は登録サーバN40に搭載したがこれに限定されるものではない。例えばモバイル機器N20に搭載し、登録サーバN40から製品マップを取得して動作してもよい。また、モバイル機器N20以外で宅内ネットワーク100に接続された非図示の宅内サーバに搭載してもよい。この場合は、モバイル機器N20は位置情報を宅内サーバに送信し、宅内サーバから製品マップを取得する。
なお、本実施の形態のモバイル装置N20は汎用I/F部N27で宅内ネットワーク100と宅外ネットワーク101と経由して登録サーバN40と接続したがこれに限定されるものではない。例えばモバイル機器は携帯電話の機能を有しており汎用I/F部N27の代わりに携帯電話網(例えばLTE)に接続可能なインタフェースで少なくとも携帯電話網を経由して登録サーバN40に接続してよい(図148参照)。また、モバイル機器N20はWiMAXなどの回線網に接続可能なインタフェースを有し、少なくともWiMAXネットワークを経由して登録サーバN40に接続してよい。その他のいずれのネットワークを利用して登録サーバN40に接続してもよい。
なお、本実施の形態では位置情報作成部N48で作成した製品マップを製品制御の判定に利用したがこれに限定されるものではない。例えば、位置情報作成部N48で作成した製品マップの画像データをモバイル機器N20に送信し、モバイル機器N20の表示部N26に表示してもよい。
なお、本実施の形態では位置情報作成部N48は図8(b)の情報に基づいて製品マップを作成したがこれに限定されるものではない。例えば、位置情報から近接する宅内に設置されている製品情報を製品情報管理部N45から検出し、近接する宅内の製品マップを作成してもよい。この場合、製品制御部N43は図144の製品マップと近接する宅内の製品マップを組み合わせで製品の制御を行う。例えば本実施例ではモバイル機器N20から最も遠いテレビN10Aの電源をOFFにしたが近接する宅内に太陽電池パネルがあるならテレビN10Aの電源をONのままにするなどの制御を行う。
なお、本実施の形態では登録サーバN40の製品情報管理部N45では各製品の品番ID、UID、位置情報を記憶したがこれに限定されるものではない。例えば、各製品の通信I/F部N18を介して電源のON・OFF状態をリアルタイムに取得して管理してもよい。この場合、製品制御部N49はモバイル機器N20から最も遠いテレビN10A電源をOFFにしたが、予め設定した台数の製品が電源OFFの状態ならテレビN10Aの電源をONのままにするなどの制御を行う。
なお、本実施の形態では製品制御部N49は最も遠い製品の電源をOFFにして最も近い製品の電源をONにしたがこれに限定されるものではない。
モバイル機器N20の位置情報を基に複数台の製品の電源をON・OFFを制御してよい。
なお、本実施の形態では製品制御部N49は最も遠い製品の電源をOFFにして最も近い製品の電源をONにしたがこれに限定されるものではない。例えば、モバイル機器N20のCPUN34は非図示のメモリに位置情報を移動履歴として記憶し、定期的に登録サーバN40に移動履歴を通知してよい。この場合、登録サーバN40はモバイル機器N20の移動履歴からどの製品が同じ部屋・階にあるか推定して推定結果を管理する。また、製品制御部N49は推定結果に基づいて同じ部屋にある製品の電源のON・OFFを制御してもよい。例えば、移動履歴からテレビN10AとエアコンN10Cが同じ部屋にあると推定すると製品制御部N49はテレビN10Aの電源をOFFにする場合はエアコンN10Cの電源もOFFにする。
また、移動履歴に加え、各製品のON・OFF切り替えの時間情報を収集してどの製品が同じ部屋・階にあるか推定してもよい。
なお、本実施の形態では製品情報管理部N45は図138または図145の製品情報を管理し、位置情報作成部N48は図144または図146の製品マップを作成したがこれに限定されるものではない。例えば、ユーザが作成した宅内間取りの画像データをモバイル機器N20から登録サーバN40に送信し、製品情報管理部N45で管理する。この場合、位置情報作成部N48は図138または図145の製品情報と宅内間取りの画像データを組み合わせ、図134のような製品マップを作成する。
また、宅内も間取りの画像データのような個人情報は製品情報と異なる暗号化の処理を行いモバイル端末N20から登録サーバN40に送信処理をしてもよい。
また、宅内間取りの画像データのような個人情報は製品情報と異なるサーバに送信し、登録サーバN40が製品マップ作成時に異なるサーバに参照する手順で製品マップを作成してもよい。
なお、本実施例と他の実施の形態を組み合わせでもよい。例えば、実施の形態16の端末装置Y01の機能をRF−IDN10に搭載し、実施の形態16の通信装置Y02の機能をモバイル端末N20に搭載することで図136の製品登録処理を行う事前に図128に示すポーリングから相互認証、キーシェアリングの処理を行ってもよい。また、他の実施の形態と組み合わせることも本発明の範囲内である。
また、上述の各実施の形態の構成は、典型的には集積回路であるLSI(Large Scale Integration)で実現されているものとしてもよい。これらは、個別に1チップ化されていてもよいし、すべての構成または一部の構成を含むように1チップ化されてもよい。集積回路は、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。また、集積回路の手法は、LSIに限定されるものではなく、専用回路または汎用プロセッサを用いて実現してもよい。さらに、FPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成することができるリコンフィギュアラブル・プロセッサを利用してもよい。
さらに、半導体技術の進歩により、または派生する別技術により現在の半導体技術に置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の応用等が考えられる。
(実施の形態18)
本実施の形態では、通信システムが、近接通信機能を有する端末機器と、端末機器と近接無線通信を行う例えば携帯機器である通信装置と、通信装置とインターネットや携帯電話通信網などの汎用のネットワークを介して接続されるサーバ機器とから構成されるとして以下説明する。この通信システムでは、通信装置が取得するセンシング情報などを利用して、通信装置が端末機器を指し示すことで端末機器を操作可能にする。以下、図面を用いて詳細に説明する。
(システム構成)
図149は、本実施の形態に係る通信システムを示す概念図である。図149に示す通信システム100は、端末機器101、通信装置102およびサーバ機器104を含む。
端末機器101と通信装置102とは、近接無線通信によって通信可能である。ここで、本実施の形態における近接無線通信では、(1)電磁誘導方式の13.56MHz帯(HF帯)、もしくは電波方式の52〜954MHz帯(UHF帯)などを用いるRFID(Radio Frequency Identification、ISO14443)タグとリーダライタ機器との通信、または、(2)13.56MHz帯のNFC(Near Field Communication、ISO/IEC 21481)による通信を想定している。そして、この近接無線通信が可能な距離(通信距離)は、通常、HF帯では数10cm、UHF帯では数cmに限られるため、通信装置102を端末機器101にかざす(またはタッチする)ことによって通信(近接無線通信)を確立する。
本実施の形態では、通信装置102側にリーダライタ機能を実装し、端末機器101側にICタグ機能を有する構成について説明する。ただし、本実施の形態の主眼は、端末機器101と通信装置102とが互いに近接無線通信によって情報のやりとりができる構成である。つまり、上記の構成の組合せに限らず、例えば通信装置102側にICタグ機能を実装し、端末機器101側にリーダライタ機能を有する構成であっても、本発明の範疇である。また、NFCでは、PtoP通信機能、カードエミュレーション、およびリーダライタエミュレーションが規格化されている。これらの場合には、ICタグとリーダライタ機器との関係はどちらでもよいことになる。そのため、本実施の形態では便宜上、通信装置102側にリーダライタ機能を実装し、端末機器101側にICタグ機能を有する構成で以下説明する。
端末機器101は、例えばエアコンやテレビなどの通信装置102で操作したい操作対象の家電機器であり、コントローラ105、メモリ106、近接無線通信部107およびアンテナ108を備える。
コントローラ105は、端末機器101のシステムコントローラであり、例えばCPU(Central Processing Unit)である。コントローラ105は、端末機器101の近接無線通信部107以外のシステムコントロールを少なくとも行う。
メモリ106は、コントローラ105により端末機器101が動作するための制御ソフトウェア、および端末機器101でセンシングするあらゆるデータを記憶可能なメモリであり、例えば、RAMまたは不揮発性メモリ等である。メモリ106は、通常、コントローラ105のLSI内部に実装されるが、外付けメモリとして構成されてもよい。
近接無線通信部107は、通信装置102に実装されているリーダライタ機能部と通信を行う。近接無線通信部107は、リーダライタ機能部への転送データを変調したり、リーダライタ機器からの転送データを復調したりする。
また、近接無線通信部107は、リーダライタ機器から受信した電波に基づいて、少なくとも近接無線通信を確立するための電力生起を行うとともに、リーダライタ機器からの電波に基づいてクロック信号を抽出する。このようにして、少なくとも近接無線通信部107は、リーダライタ機器からの電波で生起した電力とクロックとによって動作する。これにより、端末機器101の主電源がオフの状態においても、近接無線通信部107は、通信装置102と近接無線通信を行うことが可能である。
アンテナ108は、通信装置102に実装されているリーダライタ機器と近接無線を行うためのループアンテナである。
このように、端末機器101は構成される。
通信装置102は、アンテナ109、表示部110およびキー111を備え、例えば携帯機器である。
アンテナ109は、端末機器101と近接無線通信を行うためのアンテナである。通信装置102は、端末機器101が備えるICタグに向けてポーリングを行い、通信が確立した時点で、端末機器101から情報を読み出したり、端末機器101へ情報を書き込んだりする。
表示部110は、例えば、液晶ディスプレイなどであり、通信装置102と端末機器101との近接無線通信の結果、または、サーバ機器104から送信されたデータを表示する。
キー111は、ユーザが通信装置102を操作するためのインタフェースである。なお、キー111は、図149に示すように、表示部110と別の構成になることに限られない。例えば表示部110がタッチパネルとなっており、表示部110がキー111を表示することにより、キー111の機能を実現するとしてもよい。つまり、表示部110がキー111を兼ね備えるとしてもよい。
このように構成された通信装置102は、ユーザによるキー111へのキー入力に応じて、通信装置102が備える近接無線通信部を起動させ、起動後、端末機器101に対して近接無線通信を行うためのポーリング動作を開始する。なお、通常、ポーリング動作は、不特定の相手に対して電波を出し続けるので、バッテリ駆動の通信装置102には電池寿命の観点で負担が生じる。そのため、通信装置102にポーリング動作を行わせるための専用ボタンを配置するとしてもよい。その場合、通信装置102に無駄なポーリング動作を行わせないと同時に、専用ボタンを押すだけという操作のため、ユーザの操作負担もないという効果を奏するため好ましい。
サーバ機器104は、データベースを備えたサーバである。サーバ機器104は、例えばデータベースを有するWEBサーバで構成され、インターネット103を介して、通信装置102と接続している。このサーバ機器104は、通信装置102から転送されてくる情報をデータベースに登録し、登録が終了した旨等の結果を示す情報を、通信装置102に転送する。そして、通信装置102の表示部110では、当該結果を示す情報を表示する。
以上のよう通信システム100は構成される。そして、このシステム構成によって、通信装置102は、端末機器101から情報を取得し、取得した情報を、サーバ機器104のデータベースに登録することができる。具体的には、通信装置102は、端末機器101から製造番号、型番またはメーカ識別情報といった端末機器を唯一に識別可能な情報を近接無線通信で取得する。そして、通信装置102は、近接無線通信を介して端末機器101から受信(取得)した情報と、通信装置102が保持しているユーザまたは携帯機器(通信装置)そのものを特定するための情報(例えばメールアドレス、電話番号、携帯端末識別情報、またはSIMカードID)と、通信装置102が位置情報をセンシングできる場合には位置を特定するための情報(例えばGPS情報、A−GPS情報、または携帯網の基地局から推定される位置情報など)とをサーバ機器104に転送する。サーバ機器104は、これらをデータベースに登録する。
以上のような一連の動作によって、ユーザに、様々な情報を入力する作業の負担をなくすことができる。つまり、実質、ユーザは、通信装置102を端末機器101にかざすだけで、端末機器101の愛用者などの情報の登録などを行うことができる。
また、通信装置102は、端末機器101から取得する情報として、端末機器101がセンシングした情報例えば不具合発生状況または使用履歴情報を取得し、サーバ機器104に送ることもできる。この場合、端末機器101のメーカでは、不具合発生状況から特定ロットの初期不良を迅速に判断するなどして、端末機器101の不具合に対処できる。さらに、使用履歴情報からユーザごとに使用されている機能を特定することにより、特定した情報を次期商品開発に利用するなど、メーカにとってのメリットを出すことも可能となる。
(通信装置の構成)
次に、本実施の形態に係る通信装置102の詳細について図面を用いて説明する。
図150は、本実施の形態に係る通信装置102の構成を示すブロック図である。
通信装置102は、例えば携帯機器であり、図149に示すように、アンテナ109、表示部110およびキー111を備えている。さらに、通信装置102は、近接無線通信部201、近接無線検出部202、機器情報取得部203、外部通信部204、センサ部205、位置情報取得部206、方向センシング部207、指向空間算出部208、選択部209a、移動判断部210、操作情報取得部212、記憶部213、表示情報決定部214、操作情報送信部215、操作履歴取得部216、および音声センサ217を備える。
近接無線通信部201は、アンテナ109で受信した情報の復調や送信する情報の変調を行う。例えば、近接無線通信部201は、アンテナ109を介して、不特定への呼びかけ信号であるポーリング電波を送信したり、端末機器101の機器情報を取得するための機器情報要求を送信したり、端末機器101から送信された機器情報を含む情報を受信したりする。
近接無線検出部202は、端末機器101からのポーリング応答が検出できたかどうか判断する。また、近接無線検出部202は、近接無線通信部201で復調された情報を検出する。
機器情報取得部203は、端末機器101から、当該端末機器101を一意に識別可能な情報である機器情報を取得する。具体的には、機器情報取得部203は、近接無線検出部202で検出された情報から端末機器101に関する情報である機器情報を取得する。また、機器情報取得部203は、取得した機器情報から端末機器101の機器位置情報が取得できるか判断する。
外部通信部204は、サーバ機器104を含む通信装置102の外部の機器と通信するためのものであり、通信アンテナ219、受信部220、送信部221および通信制御部222で構成される。具体的には、通信アンテナ219は、インターネットなどの汎用のネットワークと接続する。送信部221は、インターネット103などの汎用のネットワークへ送信するデータの変調を行う。受信部220は、インターネット103などの汎用のネットワークから受信するデータの復調を行う。通信制御部222は、インターネット103などの汎用のネットワークを介して外部の機器と通信を行うデータを作成・解析する。
センサ部205は、自装置(通信装置102)の位置をセンシングするためのものであり、加速度センサ223、GPSセンサ224、角速度センサ225および方位センサ226で構成される。加速度センサ223は、通信装置102の加速度を計測する。GPSセンサ224は、GPS(Global Positioning System)情報を取得し、通信装置102の位置情報を算出する。角速度センサ225は、通信装置102の角速度を計測する。方位センサ226は、通信装置102が位置する方位を計測する。
位置情報取得部206は、通信装置102の位置(現在位置)を示す位置情報を取得するものであり、絶対位置取得部227、相対位置取得部228および位置情報算出部229で構成される。絶対位置取得部227は、GPSセンサ224で算出された位置情報、または、外部通信部204を介して、サーバ機器104から取得した位置情報を絶対位置として取得する。相対位置取得部228は、加速度センサ223と角速度センサ225とで計測された加速度と角速度とを積分することより、初期設定値に対する通信装置102の相対位置を取得する。位置情報算出部229は、絶対位置取得部227で取得した絶対位置と相対位置取得部228で取得した相対位置とから、通信装置102の現在位置を算出する。例えば、通信装置102は、機器情報取得部203が取得した機器情報から機器位置情報が取得できたと判断する場合には、その機器位置情報を絶対位置取得部227で取得される絶対位置情報として記憶部213で保持し、相対位置取得部228で取得される相対位置情報を初期化する。一方、通信装置102は、機器情報取得部203が取得した機器情報から機器位置情報が取得できないと判断された場合には、GPSセンサ224を起動し、絶対位置情報を取得し、かつ、相対位置取得部228で取得される相対位置情報を初期化する。
方向センシング部207は、通信装置102が向けられている方向を示す方向情報をセンシングする。具体的には、角速度センサ225で計測された角速度と方位センサ226で計測された方位とから、通信装置102が向けられている方向すなわち通信装置が指し示す方向である指向方向を算出する。
指向空間算出部208は、位置情報取得部206により取得される位置情報と、方向センシング部207によりセンシングされる方向情報とに基づいて、通信装置102が向けられる方向であって当該通信装置102が指し示す空間である指向空間(指向空間情報)を算出する。具体的には、指向空間算出部208は、位置情報取得部206で算出された通信装置102の位置情報と方向センシング部207で算出された指向方向から、通信装置102の指し示す空間を指向空間情報として算出する。
操作情報取得部212は、外部通信部204を介して、サーバ機器104から取得した端末機器101を操作するための例えばリモコン情報などの操作情報を取得する。
記憶部213は、操作情報取得部212で取得した端末機器101の操作情報と、機器情報取得部203が機器情報を取得したときの位置情報を前記機器の位置を示す機器位置情報として対応付けて記憶する。なお、機器情報取得部203が機器情報を取得したときの位置情報は、言い換えると、端末機器101との近接無線が検出された際に位置情報取得部206で取得される位置情報である。ここで、端末機器101との近接無線が検出された際に位置情報取得部206で取得される位置情報は、通信装置102の位置(現在位置)を示すが、端末機器101と近接無線通信していることから、端末機器101の位置情報(以下、機器位置情報と記載)とみなすことができる。つまり、通信装置102は、端末機器101との近接無線通信が検出された際に位置情報取得部206で取得される位置情報を、端末機器101の機器位置情報として取り扱うことができる。
移動判断部210は、センサ部205で計測されたセンサ情報から通信装置102が静止しているか、否かを判断する。
選択部209aは、機器判断部209と操作情報設定部211とを備える。選択部209aは、記憶部213に記憶されている機器位置情報に基づいて指向空間に存在する機器(端末機器101)を決定し、記憶部213に記憶されている操作情報のうち決定した機器(端末機器101)に対応する操作情報を選択する。機器判断部209は、記憶部213に記憶されている機器位置情報から、指向空間に存在する機器(端末機器101)を判断する。具体的には、機器判断部209は、指向空間算出部208により取得された指向空間情報と記憶部213に保持されている端末機器101の機器位置情報とから、通信装置102が指し示す方向にある機器がいずれの端末機器101であるかを判断(決定)する。操作情報設定部211は、記憶部213に記憶されている操作情報のうち決定した機器(端末機器101)に対応する操作情報を選択する。具体的には、操作情報設定部211は、機器判断部209により判断(決定)された端末機器101の操作情報を記憶部213から取得し、通信装置102に上記操作情報を設定することにより、判断(決定)された機器(端末機器101)に対応する操作情報を選択する。
表示情報決定部214は、操作情報設定部211で設定(選択)された操作情報に基づき表示部110に表示すべきリモコンインタフェースを決定する。
操作情報送信部215は、操作情報設定部211により選択(設定)された操作情報に基づき当該機器を操作するための制御信号を当該機器に送信する。具体的には、操作情報送信部215は、通信装置102の使用者がキー111を押下した際、押下されたキー111に対応する端末機器101のリモコンコマンド等の制御信号を端末機器101に送信する。
操作履歴取得部216は、操作情報送信部215で送信されたリモコンコマンド等の制御信号の情報を取得することにより、使用者の端末機器101に対する操作履歴を取得する。
音声センサ217は、例えばマイクであり、通信装置102の周囲の音をセンシングする。
以上のように通信装置102は、構成される。
この構成により、煩雑な操作を必要とせず、簡単にリモコンなどの拡張ユーザインタフェースに対応できる通信装置102を実現することができる。
なお、上記の説明では、本発明に係る通信装置102は、アンテナ109、表示部110およびキー111を備え、さらに、近接無線通信部201、近接無線検出部202、機器情報取得部203、外部通信部204、センサ部205、位置情報取得部206、方向センシング部207、指向空間算出部208、選択部209a、移動判断部210、操作情報取得部212、記憶部213、表示情報決定部214、操作情報送信部215、操作履歴取得部216、および音声センサ217を備えるとしたが、それに限られない。図151に示すように、通信装置102の最小構成として、機器情報取得部203と、外部通信部204と、位置情報取得部206と、方向センシング部207と、指向空間算出部208と、選択部209aと、操作情報取得部212と、記憶部213と、操作情報送信部215とで構成される最小構成部102aを少なくとも備えていればよい。ここで、図151は、本発明に係る通信装置の最小構成を示すブロック図である。そして、この通信装置102は、この最小構成部102aを備えることにより、煩雑な操作を必要とせず、簡単にリモコンなどの拡張ユーザインタフェースに対応できる通信装置102を実現することができる。
(機器判断部209の詳細)
次に、本実施の形態の機器判断部209の詳細について説明する。
図152A〜図152Cは、本実施の形態における機器判断部の詳細構成の一例を示すブロック図である。
図152Aに示す機器判断部209は、機器方向算出部2092、差分算出部2093、および機器決定部2094を備える。
機器方向算出部2092は、指向空間に複数の機器が存在している場合に、通信装置102の位置情報と指向空間に存在する複数の機器における記憶部213に記憶されている機器位置情報とから、当該通信装置102から当該複数の機器それぞれに対する方向を示す複数の機器方向情報を算出する。具体的には、機器方向算出部2092は、端末機器101と通信装置102との距離から、通信装置102からみた場合の端末機器101の方向角を算出する。
差分算出部2093は、通信装置102の方向情報と複数の機器方向情報との差分を算出する。具体的には、差分算出部2093は、機器方向算出部2092で算出された各端末機器101の方向角と、通信装置102の指し示す方向(指向方向)を示す指向角との差分を算出する。
機器決定部2094は、複数の機器のうち差分算出部2093で算出される差分が所定値より小さい機器を、指向空間に存在する機器として、決定する。例えば、機器決定部2094は、差分算出部2093で算出された差分が最小の端末機器101を、操作情報を設定すべき端末機器として決定する。
以上のように、機器判断部209は構成されることにより、指向空間に存在する機器(端末機器101)を判断する。つまり、通信装置102は、指向空間算出部208で取得される指向空間に複数の端末機器101が存在する場合において、差分算出部2093で通信装置102が指し示す方向と近い端末機器101を指向空間に存在する機器として選択することができる。
なお、機器判断部209は、機器方向算出部2092の前段に、指向空間に複数の機器が存在しているか否かを判断する台数判断部を備えるとしてもよい。その場合、台数判断部は、指向空間算出部208で算出された通信装置102の指向方向と記憶部213で保持している端末機器101の機器位置情報から指向空間内に存在する端末機器101の台数を判断するとすればよい。
図152Bに示す機器判断部309は、空間情報記憶部3095、および、機器決定部3096を備える。
空間情報記憶部3095は、空間と当該空間に対する機器の配置とを示す空間情報が記憶されている。具体的には、空間情報記憶部3095は、端末機器101の存在する建築物の間取り情報または部屋のレイアウト情報とそれに対する座標情報とを保持する。
機器決定部3096は、指向空間に複数の機器が存在している場合に、通信装置102の位置情報を用いて当該通信装置102が存在する空間を含む空間情報を空間情報記憶部3095から取得し、上記空間情報に基づき、通信装置102が存在する空間に存在する機器を指向空間に存在する機器として決定する。具体的には、機器決定部3096は、空間情報記憶部3095から取得した間取り情報等に基づいて、通信装置102の使用者が操作したい機器を決定する。なお、通信装置102と同じ部屋に存在する端末機器101が1台だけ存在する場合、その端末機器101が操作情報を設定すべき端末機器101として決定される。
以上のように、機器判断部309は構成されることにより、指向空間に存在する機器(端末機器101)を判断する。つまり、通信装置102は、指向空間算出部208で取得される指向空間に複数の端末機器101が存在する場合において、建築物の間取り情報を取得することが可能となり、操作情報を設定すべき端末機器101を、通信装置102が存在する空間内の端末機器101から絞ることができる。
なお、機器判断部309は、機器決定部3096の前段に、指向空間に複数の機器が存在しているか否かを判断する台数判断部を備えるとしてもよい。その場合、台数判断部は、指向空間算出部208で算出された通信装置102の指向方向と記憶部213で保持している端末機器101の機器位置情報から指向空間内に存在する端末機器101の台数を判断するとすればよい。
図152Cに示す機器判断部409は、台数判断部4091、機器候補出力部4092、ユーザ入力取得部4093、機器決定部4094、機器ピッチ角取得部4095、および機器ピッチ角記憶部4096を備える。
台数判断部4091は、指向空間算出部208で算出された通信装置102の指向方向と記憶部213で保持している端末機器101の機器位置情報から指向空間内に機器(端末機器101)が複数存在しているかを判断する。具体的には、台数判断部4091は、指向空間内に機器(端末機器101)の台数を判断する。
機器候補出力部4092は、記憶部213に記憶されている機器位置情報と機器ピッチ角記憶部4096に記憶されているピッチ角情報とに基づき、その指向空間に存在する少なくとも一の機器(端末機器101)を機器候補リストとして表示部110に出力する。すなわち、機器候補出力部4092は、台数判断部4091で判断された台数分の端末機器101を機器ピッチ角取得部4095に基づいて、端末機器の機器候補リストとして表示部110へ出力する。そして、表示部110では、その機器候補リストが表示される。
ユーザ入力取得部4093は、機器候補出力部4092により出力されて表示部110で表示された機器リストのうちでキー111へのユーザのキー操作により選択された機器(端末機器101)を取得する。
機器決定部4094は、表示部110に表示された機器候補リストの機器のうちユーザにより選択された機器を指向空間に存在する機器として決定する。具体的には、機器決定部4094は、ユーザ入力取得部4093で取得された端末機器101を、指向空間に存在し、かつ、操作情報を設定すべき端末機器101として決定する。
機器ピッチ角取得部4095は、通信装置102のピッチ方向の角度を示すピッチ角情報を取得する。具体的には、機器ピッチ角取得部4095は、指向空間に存在する機器(端末機器101)が判断され、操作情報を設定すべき端末機器101が決定される際に、通信装置102のピッチ方向の角度を示すピッチ角情報ピッチ角を取得する。また、機器ピッチ角取得部4095は、取得したピッチ角度情報を機器決定部4094により決定された機器(端末機器101)に対応付けて、機器ピッチ角記憶部4096に記憶させる。
機器ピッチ角記憶部4096は、ピッチ角情報と機器情報とが対応付けられて記憶されている。具体的には、機器ピッチ角記憶部4096は、機器ピッチ角取得部4095で取得されたピッチ角と機器決定部4094で決定された端末機器101とを対応付けて記憶している。
以上のように、機器判断部409は構成されることにより、指向空間に存在する機器(端末機器101)を判断する。つまり、通信装置102は、ユーザが選択した端末機器101とピッチ角情報とを対応付けて記憶することで、指向空間算出部208で取得される指向空間に複数の端末機器101が存在する場合でも、ピッチ角情報に基づいて機器候補出力部4092で出力される端末機器101を絞ることが可能となる。また、機器決定部4094で端末機器101が決定された後に、機器ピッチ角記憶部4096に、機器ピッチ角取得部4095で取得されたピッチ角と機器決定部4094で決定された端末機器101とを対応付けて記憶させることで、ユーザが通信装置102をその端末機器101を指し示す方向のくせをピッチ角として学習することができるという効果も奏する。
(通信装置102の記憶部213)
次に、記憶部213に記憶されるデータ構造の一例について説明する。
図153は、本実施の形態における記憶部213のデータ構造の一例を示す図である。
図153に示されるように、記憶部213では、例えば製造番号と、製品番号と、位置情報と、リモコン情報とが対応付けて記憶される。ここで、記憶部213では、これらを記憶するための領域すなわち製造番号記憶領域、製品番号記憶領域、位置情報記憶領域、リモコン情報記憶領域を有する。なお、この領域はデータ構造として有する場合のほか、テーブルとして有しているとしてもよい。
製造番号記憶領域は、登録された端末機器101を唯一に決定するための情報として製造番号が記憶される領域である。
製品番号記憶領域は、端末機器101の製品種別を識別するための情報として製品番号が記憶される領域である。
位置情報記憶領域は、端末機器101に対応付けられた位置情報が記憶される領域である。例えば、端末機器101が存在する緯度経度や、リビング、キッチンなどの部屋情報が記憶される。
リモコン情報記憶領域は、端末機器101に対応付けられたリモコン情報が記憶される領域である。ここで、リモコン情報とは、端末機器101に対応付けられた端末機器101の操作情報と、キー111および操作情報が対応付けられた表示情報とで構成される。また、操作情報とは、例えば電源の“ON”や“OFF”などの端末機器101の動作とその動作を実行するために通信装置102から送信される操作コマンドが対応付けられた情報である。なお、この操作情報は単一の端末機器101の動作に限らず、複数の動作であってもよい。つまり、例えば、電源をONし、録画リストを開き、特定の番組を選択し、再生する、といった一連の端末機器101の動作を1つの操作情報として設定するとしてもよい。
(通信装置102の指向空間の決定法)
次に、指向空間算出部208で取得する指向空間の取得法の一例について説明する。
図154は、本実施の形態における指向空間算出部208で取得する指向空間の取得法の一例を示す図である。
図154に示す座標x0および座標y0は、通信装置102の座標位置を表しており、通信装置102の位置情報取得部206で取得可能な位置情報である。また、座標軸に示されている「N」、「S」、「E」、「W」、はそれぞれ「北」、「南」、「東」、「西」、を表しており、通信装置102の方位センサ226で取得(計測)される。座標軸に対する通信装置102の指向角を示す角度θは、通信装置102の角速度センサ225で取得される。
角度αは、指向空間の範囲(領域)を規定するためのしきい値である。つまり、この角度αを大きくすれば、指向空間は広くなり、角度αを小さくすれば、指向空間は狭くなる。具体的には、角度θの指向角を示す方向である指向方向aに対して、角度±αの範囲を示す点線bおよび点線cで囲まれる範囲(領域d)を指向空間の範囲(領域)として規定している。なお、角度αは、通信装置102にプリセットされていてもよいし、ユーザが入力することで設定されていてもよい。また、角度αは、建築物の広さ、部屋の広さ、壁と通信装置102との距離などに基づいて設定するとしてもよい。
図153において、指向空間の範囲(領域)は(x−x0)・tan(θ−α)+y0<y<(x−x0)・tan(θ+α)+y0と表すことができる。通信装置102は、このように表された指向空間に存在する端末機器101を記憶部213に記憶されている機器位置情報に基づき選択する。
次に、以上のように構成される通信装置102の動作の概要について説明する。
図155は、本実施の形態における通信装置102の動きの概要を示すフローチャートである。
通信装置102の動きには、大きく分けて、機器位置情報と操作情報とを記憶するステップS1と、記憶している操作情報および機器位置情報に基づき、所望の端末機器101をリモコン操作等の操作を行うステップS2とがある。
ステップS1において、まず、機器情報取得部203は、端末機器101から当該端末機器101を一意に識別可能な情報である機器情報を取得する(S11)。
次に、位置情報取得部206は、当該通信装置102の位置を示す位置情報を取得する(S12)。
次に、操作情報取得部212は、取得した機器情報に基づいて、端末機器101を操作可能とするための操作情報を、外部通信部204を介してサーバ機器104から取得する(S13)。
次に、通信装置102は、取得した操作情報に位置情報を端末機器101の位置を示す機器位置情報として対応付けて、当該操作情報と当該機器位置情報とを記憶部213に記憶する(S14)。
このようにS11〜S14を行うことで、通信装置102は、機器位置情報と操作情報とを記憶するステップS1を行う。
続いて、ステップS2において、まず、方向センシング部207は、通信装置102が向けられている方向を示す方向情報をセンシングする(S21)。
次に、指向空間算出部208は、位置情報取得部206により取得される位置情報と、方向センシング部207により取得される方向情報とに基づいて、通信装置102が向けられることで当該通信装置102が指し示す空間である指向空間を算出する(S22)。
次に、選択部209aは、記憶部213に記憶されている機器位置情報から指向空間に存在する機器(端末機器101)を決定し(S23)、記憶部213に記憶されている操作情報のうち決定された機器に対応する操作情報を選択する(S24)。
最後、操作情報送信部215は、選択された操作情報に基づき当該機器(端末機器101)を操作するための制御信号を当該機器に送信する(S25)。
このようにS21〜S25を行うことで、通信装置102は、記憶している操作情報および機器位置情報に基づき、所望の端末機器101をリモコン操作等の操作を行うステップS2を行う。
以下、通信装置102の動きの詳細について説明する。
(リモコン情報の登録フロー)
まず、本実施の形態における通信装置102の記憶部213に操作情報を登録する場合の処理の流れについて説明する。
図156は、本実施の形態における通信装置102の記憶部213に操作情報を登録する場合の処理の流れを示すフローチャートである。
まず、ユーザは近接無線通信を行うためのリーダ/ライタアプリケーションを起動する(S101)。
次に、通信装置102は、アンテナ109を介して、不特定への呼びかけ信号であるポーリング電波を送信する(S101)。そして、端末機器101からのポーリング応答が検出できたかどうか判断する(S102)。なお、S103において、ポーリング応答が検出できないと判断された場合には(S103のN)、再びポーリング電波の送信を行う。
S103において、通信装置102は、ポーリング応答が検出できたと判断された場合(S103のY)、端末機器101の機器情報を取得するための機器情報要求を送信する(S104)。
次に、通信装置102は、端末機器101から送信された機器情報を受信する(S105)。
次に、通信装置102は、機器情報から端末機器101の機器位置情報が取得できるか判断する(S106)。
通信装置102は、機器位置情報が取得できたと判断する場合には(S106のY)、その機器位置情報を絶対位置取得部227で取得された絶対位置情報として保持し、相対位置取得部228で取得される相対位置情報を初期化する(S107)。
一方、通信装置102は、機器位置情報が取得できないと判断した場合には(S106のN)、GPSセンサ224を起動し(S108)、絶対位置情報を取得し、相対位置取得部228で取得される相対位置情報を初期化する(S109)。
次に、通信装置102は、S106で取得した機器情報に対応する操作情報を記憶部213で保持しているかどうか判断する(S110)。
そして、通信装置102は、記憶部213で操作情報を保持していると判断した場合は(S110のY)、処理を終了する。
一方、通信装置102は、記憶部213で操作情報を保持していないと判断した場合は(S110のN)、外部通信部204を介し、サーバ機器104へその機器情報に対応する操作情報要求を送信する(S111)。
次に、通信装置102は、サーバ機器104から送信された操作情報を受信する(S112)。
次に、通信装置102は、取得した操作情報と機器位置情報とを対応付けて、記憶部213に保存する(S113)。
以上のようにして、通信装置102は、記憶部213に操作情報を登録する処理を行う。
(リモコン情報の設定操作フロー)
次に、本実施の形態における通信装置102にリモコン情報を設定し、リモコンとして操作する場合の処理の流れについて説明する。
図157および図158は、本実施の形態における通信装置102に操作情報を設定し、操作する場合の処理の流れを示すフローチャートである。図157はユーザが通信装置102を操作し、リモコンアプリケーションを起動する場合の処理の流れを示しており、図158はキー111へのユーザのキー操作なしに自動的にリモコンアプリケーションが起動する場合の処理の流れを示している。
最初に、図157について説明する。
まず、通信装置102は、ユーザのキー111に対するキー操作により、リモコンアプリケーションを起動する(S201)。続いて、通信装置102は、キー操作によりユーザに選択された端末機器101を取得する(S202)。そして、通信装置102は、S202で取得した端末機器に対応する操作情報を設定する(S203)。
つまり、S201〜S203において、通信装置102に操作情報が明示的に設定されているという前提の上で、続く通信装置102の処理について説明する。
このように通信装置102に例えばテレビ等に対する操作情報が設定された後、続いて通信装置102は、センサ部205を起動し、位置情報取得部206および方向センシング部207においてセンシングを開始する(S204)。そして、通信装置102は、相対位置取得部228において相対位置を算出する(S205)。
次に、通信装置102は、ユーザのキー111への入力によるリモコン操作に基づき、S203で操作情報が設定された端末機器101を操作するためのリモコンコマンドを送信する。つまり、S202、S203およびS204とは、ユーザからみて通信装置102の連続した動作処理に把握されるが、その裏では、通信装置102はS204とS205の動作処理を開始しているということである。
次に、通信装置102は、移動判断部210において自装置(通信装置102)が静止しているかどうかを判断する(S207)。
S207で、通信装置102は、自装置が静止していないと判断する場合は(S207のN)、再びS205の相対位置情報の算出を行う。
一方、S207で、通信装置102は、自装置が静止していると判断する場合は(S207のY)、位置情報取得部206および方向センシング部207により、位置情報および指向方向情報を取得する(S208)。
次に、通信装置102は、自装置が指し示す方向に存在する端末機器101を判断し、操作情報を設定する。
そして、再度S202へ戻り、処理を継続する。
以上のように、通信装置102は、まずS201〜S203において、操作情報を設定し、その上で、S204、S205およびS207〜S209に示す処理を行うことにより、新たに操作情報を設定する処理を行う。
次に、図158について説明する。
まず、通信装置102は、センサ部205を起動し、位置情報取得部206および方向センシング部207においてセンシングを開始する(S301)。そして、通信装置102は、相対位置取得部228において相対位置を算出する(S302)。
次に、通信装置102は、移動判断部210において自装置(通信装置102)が静止しているかどうかを判断する(S303)。
S303で、通信装置102は、自装置が静止していないと判断する場合は(S303のN)、再びS302の相対位置情報の算出を行う。
一方、S303で、通信装置102は、自装置が静止していると判断する場合は(S303のY)、リモコンアプリケーションを起動する(S304)。
次に、通信装置102は、位置情報取得部206および方向センシング部207により、位置情報および指向方向情報を取得する(S305)。
次に、通信装置102は、自装置が指し示す方向に存在する端末機器101を判断し、操作情報を設定する(S306)。
続くS307では、通信装置102は、例えば、ユーザのキー111入力によるリモコン操作に基づき端末機器101を操作するためのリモコンコマンドを送信する(詳細フローは後述)。
そして、再度S301へ戻り、処理を継続する。
以上のようにして、通信装置102は、ユーザのキー操作を介する(トリガとする)ことなく、操作情報を設定する処理を行う。
(リモコン情報の設定操作フロー)
次に、S209、S307の詳細処理例すなわち通信装置102が指し示す方向に存在する端末機器101を判断する処理の流れについて説明する。
図159は、本実施の形態における通信装置102が指し示す方向に存在する端末機器101を判断する処理の流れの例を示したフローチャートである。
まず、探索する指向空間の範囲(領域)を規定するための角度である探索範囲角度をαとして探索範囲の設定が行われる(S401)。
次に、通信装置102は、図154で説明した自装置(通信装置102)の位置情報(X0、Y0)、指向方向情報θを用いて、(x−x0)・tan(θ−α)+y0<y<(x−x0)・tan(θ+α)+y0を満たす指向空間の範囲(領域)に、端末機器101が存在するかどうか判断する(S402)。
S402において、通信装置102は、その指向空間に端末機器101が存在すると判断した場合は(S402のY)、指向空間に端末機器101が1台であるかどうかを判断する(S403)。
通信装置102は、指向空間に端末機器101が1台であると判断した場合(S403のY)、後述するS409に移行し、当該端末機器101に対応する操作情報を設定し、処理を終了する。一方、S402において、通信装置102は、その指向空間に端末機器101が1台でないと判断する場合つまり2台以上存在すると判断する場合は(S403のN)、機器判断部309が有する例えば空間情報記憶部3095から間取り情報を取得する(S404)。
次に、通信装置102は、取得した間取り情報とS402で取得した指向空間とを用いて、自装置(通信装置102)が存在する部屋内でかつその指向空間内であるという条件を満たす端末機器101が1台かどうかを判断する(S405)。
通信装置102は、S405での条件を満たす端末機器101が1台であると判断する場合は(S405のY)、後述するS409に移行し、当該端末機器101に対応する操作情報を設定し、処理を終了する。一方、S405において、通信装置102は、自装置(通信装置102)が存在する部屋内でかつその指向空間内にある端末機器101が1台でないと判断する場合は(S405のN)、表示部110で、S405での条件を満たす端末機器101のリストを機器候補リストとして、表示する(S406)。
次に、通信装置102は、上記機器候補リストの中からキー111を介し、ユーザが選択した端末機器101を取得する(S407)。
次に、通信装置102は、機器判断部309が有する例えば機器ピッチ角取得部4095からピッチ角情報を取得し、S407で選択された端末機器101と取得したピッチ角情報とを対応付けて機器ピッチ角記憶部4096に記憶する(S408)。それとともに、通信装置102は、自装置が指し示す方向に存在する端末機器101を判断し、操作情報を設定する(S409)。
なお、S402において、通信装置102は、その指向空間に端末機器101が存在しないと判断した場合は(S402のN)、取得した位置情報より、自端末(通信装置102)が自宅などの操作対象の端末機器101が存在する空間に存在するかどうかを判断する(S410)。ここで、一例として操作したい端末機器101が存在する空間を自宅としているが、それに限るものではない。
S410において、通信装置102は、操作対象の端末機器101が存在する空間に自端末(通信装置102)が存在すると判断する場合(S410のN)、表示部110で例えば「登録されていません、家電にタッチしてください」の端末機器101の登録を促す警告を表示する(S411)。
一方、S410において、通信装置102は、操作対象の端末機器101が存在する空間に自端末(通信装置102)が存在しないと判断する場合(S410のY)、自宅の経度緯度などの自端末の位置情報を取得する(S412)。
次に、通信装置102は、自宅位置を示す自宅位置情報と自端末(通信装置102)の指向方向情報および位置情報とから自端末(通信装置102)が自宅の方向へ向いているかどうかを判断する(S413)。
S413において、通信装置102は、自端末(通信装置102)が自宅の方向を向いていないと判断する場合は(S413のY)、処理を終了する。一方、S413において、通信装置102は、自端末(通信装置102)が自宅の方向を向いていると判断する場合は(S413のN)、例えば外部ネットワークに繋がっている端末機器101など、インターネットを介して、操作が可能な端末機器101(操作可能機器)のリストを表示部110で表示する(S414)。
次に、ユーザは、通信装置102により表示された操作可能機器のリストの中からキー111を介し、操作対象の端末機器を選択する(S415)。そして、通信装置102は、ユーザにより選択された端末機器101を決定し、決定した端末機器101に対応する操作情報を自装置に設定し(S409)、処理を終了する。
以上のようにして、通信装置102は、自端末(通信装置102)が指し示す方向に存在する端末機器101を判断する処理を行う。
(リモコン操作詳細フロー)
次に、S206、S307の詳細処理例すなわち通信装置102をリモコンとして、操作対象の端末機器101を操作する処理の流れについて説明する。
図160は、本実施の形態における通信装置102をリモコンとして、操作対象の端末機器101を操作する処理の流れの例を示すフローチャートである。
まず、通信装置102は、ユーザがキー111を介したコマンドの入力があるかどうかを確認する(S501)。
通信装置102は、ユーザによりコマンドの入力がないと判断する場合は(S501のN)、本処理を終了する。
一方、通信装置102は、ユーザによりコマンドの入力があったと判断した場合は(S501のY)、入力されたコマンドがアプリケーションの終了コマンドかどうか判断する(S502)。通信装置102は、ユーザにより入力されたコマンドが終了コマンドであると判断する場合は(S502のY)、処理を終了する。S502において、ユーザにより入力されたコマンドが終了コマンドでないと判断する場合は(S502のN)、端末機器101に操作コマンドを示すコマンド信号を送信する(S503)。
次に、通信装置102は、音声センサ217を用いて、操作コマンドを端末機器101が正しく受信したかどうかを判断する(S504)。具体的には、通信装置102は、端末機器101が操作コマンドを適切に受け付けたことを示すために発する音声情報を取得し、取得した音声情報に基づき、操作コマンドを端末機器101が正しく受信したかどうかを判断する。ここで、音声情報とは、例えば、端末機器101がテレビの場合、チャンネルの切り替え時に発生する音などである。また、例えば、端末機器101がエアコンなどの場合、ユーザにリモコン情報が適切に届いたことを示す反応音などである。
S504において、通信装置102は、端末機器101が操作コマンドを正しく受信したと判断した場合(S504のY)、外部通信部204を介し、端末機器101の操作履歴をサーバ機器104へ送信する(S505)。なお、通信装置102は、この操作履歴を記憶部213に保存しておくとしてもよい。
次に、通信装置102は、操作コマンドに応じて表示部110の画面を遷移させる。例えば、端末機器101であるテレビにおいて録画済み番組リストを表示する際に、ユーザが保持する通信装置102の表示部110にも録画済み番組リストを表示させるようにするなどである。
なお、S504において、通信装置102は、端末機器101が操作コマンドを正しく受信していないと判断した場合(S504のN)、操作コマンドを再送し、さらに、再送回数が一定値を超えたかどうかを判断する(S506)。
S506において、通信装置102は、操作コマンドの再送回数が一定値を超えたと判断する場合は(S506のY)、例えば、「もう1回お願いします」など、ユーザにもう1度キー操作を促す警告を表示部110で表示する。
以上のようにして、通信装置102は、操作対象の端末機器101を操作するリモコンとしての処理を行う。
(リモコン登録シーケンス)
次に、通信装置102が操作情報を登録する際において行う、端末機器101とサーバ機器104とのデータのやりとりについて説明する。
図161は、本実施の形態における通信装置102が操作情報を登録する際に行うデータの流れを示すシーケンス図である。
まず、ユーザは、近接無線通信を行う(リーダライタを起動するための)通信装置102のアプリケーションを立ち上げて、通信装置102にポーリングを開始させる(S601)。
次に、ユーザは、ポーリングを開始させた通信装置102を、端末機器101の近接無線通信のためのアンテナが実装されている領域へタッチさせ(S602)、端末機器101に対してポーリング電波を送信させる(S603)。次いで、端末機器101は、通信装置102からのポーリング電波を受信し、ポーリング応答信号を通信装置102に送信する(S604)。このようにして、端末機器101と通信装置102は、近接無線通信を確立する。そして、通信装置102は、端末機器101からポーリング応答信号を受信すると、端末機器101から機器情報を読み出すためのリードコマンドを生成して、端末機器101に送信する(S605)。端末機器101は、リードコマンドを受信すると、自端末機器101の機器情報を含む情報を通信装置102に送信する(S606)。
次に、通信装置102は、端末機器101から受信した情報の中から機器情報を抽出する(S607)。
なお、通信装置102は、GPSセンサなどの各種センサ情報を利用して、S602で端末機器101にタッチしたタイミングでの位置情報を取得している(S608)。ここで、通信装置102がS602のタイミングで位置情報を取得するのは、近接無線通信を確立するために端末機器101と通信装置102との距離を数cm以内に近づける必要があることを利用している。つまり、近接無線通信確立時に通信装置102が取得する位置情報は端末機器101の機器位置情報であるとみなせるからである。
次に、通信装置102は、抽出した端末機器101の機器情報に対応する操作情報をサーバ機器104から取得するため、その操作情報を要求する要求コマンドをサーバ機器104へ送信する(S609)。
次に、サーバ機器104は、操作情報の要求コマンドを受信すると、操作情報管理データベースから当該端末機器に対応する操作情報を取得し、当該操作情報を通信装置102に送信する(S610)。
最後に、通信装置102は、受信した操作情報、位置情報および機器情報を対応付けて記憶部213に記憶する(S610)。
以上のようなシーケンスにより、通信装置102は、操作情報を登録する処理を行う。
(リモコン操作シーケンス)
次に、通信装置102がリモコンとして機能し端末機器101を操作する際に行う、端末機器101とサーバ機器104とデータのやりとりについて説明する。
図162は、本実施の形態における通信装置102がリモコンとして機能し端末機器101を操作する際に行うデータの流れを示すシーケンス図である。
まず、ユーザは、表示部110に表示されているリモコンインタフェースに基づき、キー111を介し、通信装置102に操作コマンドを入力する(S701)。
次に、通信装置102は、ユーザが入力した操作コマンドを、操作情報送信部215を介し、端末機器101に送信する(S702)。
次に、端末機器101は、受信した操作コマンドに応じたプログラムを実行する(S704)。例えば、端末機器101は、電源、音量、温度、再生、テレビチャンネルの変更といった操作コマンドに対応したプログラムを実行する。
次に、端末機器101は、操作コマンドを適切に受け付けたことを示す音声(音声情報)を発する(S704)。例えば、端末機器101がテレビの場合、音声とは、チャンネルの切り替え時に発生する音であり、端末機器101がエアコンなどの場合、ユーザに操作情報が適切に届いたことを示すために発する反応音である。
次に、通信装置102は、音声センサ217により端末機器101が発した音を認識する(S705)。そして、通信装置102は、端末機器101が操作コマンドを適切に受け付けたことを示すために発する音声であると認識した場合に、サーバ機器104へ端末機器101の操作履歴を送信する(S706)。このとき、通信装置102は、上述したように、操作コマンドに応じて表示部110の画面を遷移させる(S707)。
続いて、例えば再びユーザが表示部110に表示されているリモコンインタフェースに基づき、キー111を介し、操作コマンドを入力するとする(S708)。その場合には、上述したように、通信装置102は、ユーザが入力した操作コマンドを、操作情報送信部215を介し、端末機器101に送信する(S709)。
ここで、端末機器101が操作コマンドを正しく受信できないとすると、通信装置102は、端末機器101が発する音声を認識することができない(S710)。そして、通信装置102は、操作コマンドの再送を行う(S711)。このように、通信装置102は、端末機器101が正しく信号を受信したことを示す特定のフィードバック信号を送信し受け取ることなしに、端末機器101が操作コマンドの受信を完了していないことが認識可能となり、操作コマンドの再送等の対応を行うことができる。
なお、通信装置102は、操作コマンドの再送回数が一定数を超えたと判断した場合は(S712)、例えば、「もう1回お願いします」などユーザにもう1度キー操作を促す警告を表示部110で表示し、ユーザの操作コマンド入力を待つことになる(S713)。
以上のようなシーケンスにより、通信装置102は、端末機器101を操作するリモコンとして機能する。
以上のように、本発明によれば、煩雑な操作を必要とせず、簡単にリモコンなどの拡張ユーザインタフェースに対応できる通信装置を実現することができる。
具体的には、通信装置102は、端末機器情報、端末機器101の位置情報(機器位置情報)および端末機器101の操作情報を対応付けて記憶部213で保持することができる。それにより、センサ部205によりセンシングされたセンサ情報を用いて、通信装置102が指し示す方向を算出することにより、算出した指向空間に存在する端末機器101の操作情報を記憶部213から呼び出し、その端末機器101のリモコンとして機能することができる。つまり、通信装置102は、その端末機器101の操作情報に基づいて、通信装置102のリモコンコマンド(制御信号)を設定することができる。例えば、通信装置102の使用者がエアコンやテレビなどの操作したい家電機器等(端末機器101)に通信装置102を向けるだけで、使用者に向けられた家電機器等の操作が通信装置102で可能となるという効果を奏する。
また、移動判断部210が通信装置102の静止判断をすることで、通信装置102は、自装置の静止をトリガとして、自装置が指し示している方向にある端末機器101のリモコンとして機能させるようにすることが可能となる。つまり、使用者のキー操作などをせずに、通信装置102の静止をトリガとして、通信装置102を新たな端末機器101に対応するリモコンにすることができるという効果を奏する。
また、通信装置102は、方向センシング部207で指向方向を取得しているので、端末機器101を例えば赤外線通信を介して操作している際に、赤外線通信の指向方向が端末機器101から外れたとき、「もう少し右に向けてください」などの警告メッセージをユーザに提示することが可能となる。
また、通信装置102は、音声センサ217で、端末機器101の音声情報、例えば、端末機器101がテレビの場合、チャンネルの切り替え時に発生する音、端末機器101がエアコンなどの場合、ユーザに操作情報が適切に届いたことを示す反応音を取得することができる。それにより、通信装置102は、端末機器101が信号を受信したことを示す特定のフィードバック信号を別途送信することなしに、通信装置102は操作コマンドを正しく送信できたかどうかが認識することができる。したがって、たとえ汎用ネットワークに繋がっていないような端末機器101からも、通信装置102を介し、正しい端末機器101の操作履歴を収集することが可能となるという効果も奏する。
また、通信装置102は、近接無線検出部202で端末機器101が検出されたことをトリガとして、相対位置取得部228で取得される相対位置情報を初期化し、絶対位置取得部227で絶対位置情報を、GPSセンサ224または外部通信部204を介して取得できる機器位置情報に設定する。これにより、通信装置102は、加速度センサ223を用いて機器位置情報を補正した際に生まれる機器位置情報の累積誤差を軽減することができるという効果を奏する。
なお、本実施の形態では、通信装置102が端末機器101の機器情報を取得する際、近接無線通信を用いて取得する例を説明したが、これに限るものではない。例えば、機器情報を持たせたバーコードなどを端末機器101に付加し、通信装置102の持つデジタルカメラなどの光学読取装置を用いて読み取るとしても同様のことが可能である。ここで、図163Aは、本実施の形態における端末機器101の機器情報として2次元バーコードが付加された場合の様子を示す図である。図163Bは、本実施の形態における端末機器101の機器情報を2次元バーコードから読み出す様子の一例を示した図ある。図163Aおよび図163Bでは、端末機器101の例としてエアコン1201が示されている。また、図14Bに示す通信装置102は、光学読取装置をさらに有し、この構成以外は図150(もしくは図151)で示す通信装置102と同様の構成である。図163Aに示すように、エアコン1201には機器情報を含む2次元バーコード1203が付加されている。そして、図163Bに示すように、この2次元バーコード1203を通信装置102の光学読取装置を用いて、2次元バーコードに付加されている機器情報を取得する。この構成にすれば、近接無線通信の機能を持たない端末機器101の機器情報も取得可能となる。例えば、エアコンなど設置場所が高くて近接無線通信を確立するための動作、すなわち端末機器101へのタッチが難しい場合においても、機器情報を取得することが可能となる。
また、本実施の形態では、通信装置102がリモコンとして機能する端末機器101を1つ選択する場合の例について説明したが、これに限るものではない。
例えば、複数の端末機器101が近接しており、機器判断部209で判断が困難な場合、または複数の機器を同時に操作したい場合は、通信装置102は、複数の端末機器101の操作をすればよい。つまり、複数の端末機器101を操作するリモコンとして機能すればよい。図164Aおよび図164Bは、複数の照明を操作する場合の表示部での表示例を示す図である。具体的には、通信装置102を複数の照明ではなく複数の照明を操作するための照明スイッチ盤の方へ向けることで、その照明スイッチ盤で操作可能な照明スイッチを一括で操作できるように表示部110で表示する例を示している。つまり、図164Aに示すように、通信装置102にキッチン照明とダイニング照明との複数の機器の操作情報を同時に設定し、かつ同時に操作するとしてもよい。また、図164Bに示すように、LED照明など照度がアナログ的に変化させることが可能な場合には、表示部110でアナログ的に照度が変更できるように表示させてもよい。
さらに例えば、テレビとレコーダとのように端末機器101同士が近くにある場合、テレビとレコーダとは操作するためのリモコンコマンドが多数あるため、複数の端末機器101のリモコンコマンドをすべて通信装置102の表示部110に表示させるのは難しい。そのため、リモコンコマンドが多数ある場合は、ユーザにどの端末機器101のリモコンとして、通信装置102を機能させるかを選択できる表示を、図165Aに示すように、表示部110で行うとしてもよい。ここで、図165Aは、複数の機器のうちのどの機器のリモコンとして通信装置102を機能させるかの選択をユーザに促す場合の表示例を示す図である。図165Aに示す例では、テレビリモコンの設定を“ON”にすることで、通信装置102は、テレビリモコンとして機能し、レコーダリモコンの設定を“ON”にすることで、レコーダリモコンとして機能する。
また、本実施の形態では、通信装置102が端末機器101の機器情報を取得する場合の例について説明したが、それに限られない。例えば、さらに、通信装置102は、端末機器101からONやOFFなど端末機器101の現在の動作状況を取得できるとしてもよい。その場合、通信装置102は、端末機器101の現在の動作状況に合わせて、操作情報を設定するとしてもよい。そうすることで、すべてのリモコンコマンドを表示部110に表示する必要がなくなり、ユーザインタフェースを簡易化することができるという効果を奏する。例えば、通信装置102が端末機器101の現在の動作状況を取得する手段として、端末機器101がテレビなどの場合、インターネットなどの汎用ネットワークを用いることで取得することができる。図165Bは、端末機器101の現在の動作状況に合わせて、通信装置102の操作情報を設定する場合の一例を示す図である。図165Bに示す例では、テレビは電源ON状態であり、レコーダは電源OFF状態であったとし、この現在の動作状況を通信装置102は取得している。このとき、テレビの操作として、少なくとも電源ONコマンドを使用することはないため、通信装置102の表示部110で表示する必要ない。また、レコーダは電源OFF状態のため、最初にユーザが選択する操作として、電源ONであると考えられるため、電源ONできる操作情報を表示していればよい。以上のようにして、通信装置102は、端末機器101の動作状況に応じて、ユーザに提示するリモコンコマンドを絞るとしてもよい。
なお、本実施の形態において、通信装置102は、自装置(通信装置102)の指向空間情報を算出し、指向方向に存在する端末機器101を判断するとしているが、この判断をサーバ機器104にさせる構成としてもよい。その場合、例えば、通信装置102は、角速度情報、加速度情報および位置情報を、外部通信部204を介して、サーバ機器104へ送信する。そして、サーバ機器104は通信装置102から受信した角速度情報、加速度情報および位置情報に基づいて、通信装置102の指向方向に存在する端末機器101を判断し、判断した端末機器101の操作情報を通信装置102へ送信するとしてもよい。
また、本実施の形態において、通信装置102は、高度情報を用いるとしてもよい。その場合、例えば、気圧計から通信装置102の高度情報を取得するとすればよい。
また、本実施の形態において、テレビやエアコンなどの端末機器101を、移動性の高さ、操作緊急度の高さ、または機器の大きさ等によって、リモコンの検出範囲を可変にするとしてもよい。これは、例えばエアコン等容易に移動しない端末機器101では、検出範囲を小さくすることで、別の端末機器101の操作中に誤動作を発生させてしまうことを防ぐとともに、例えば扇風機など設置場所が比較的変化しやすい端末機器101に関してはリモコンの検出範囲を大きくすることで、機器の場所がある程度変わった場合においても、端末機器101を操作することが可能になる。
また、端末機器101と通信装置102との距離が遠い場合、機器を操作できる範囲が狭くなってしまうため、端末機器101と通信装置102の距離に応じて、指向空間範囲を規定するためのしきい値αを可変にしてもよい。
さらに、当然のことながら、図166のように建物の1階にいるユーザが2階の端末機器101に向けて操作を行うことも可能である。ここで、図166は、実施の形態18における2階へのリモコン操作の概念図である。図166に示すように、通信機器102を持つユーザが存在する階と操作を行いたい端末機器101の階もしくは部屋が異なる場合、または、通信機器102と操作対象の端末機器101が所定の距離以上離れている場合、ユーザが通信装置102を向けると、向けた方向の部屋にある端末機器101の機器一覧が表示されるようにしてもよい。これによって、隣の部屋の端末機器101の場所をユーザが正確に覚えていない場合においても、遠隔場所の端末機器101の操作が可能になる。
(実施の形態19)
図167は、本実施の形態における全体システム図である。
図167は、RF−IDO50、モバイル機器O60、第1サーバO101および第2サーバO103で構成される。
RF−IDO50は、NFC通信機能を有する機器であり、冷蔵庫、電子レンジ、洗濯機、テレビ、録画機器などの電子的な製品に搭載され、製品のメモリに、製品情報として、製品を示すIDである製造番号や、製品の使用履歴情報、エラー情報などを保持し、実施の形態18における端末機器101と同等の機能を有する。
モバイル機器O60は、RF−IDO50のNFC通信機能と近接無線通信によって通信可能なNFC通信機能を有し、RF−IDO50で保持している製品情報を読み出すリーダライタ機能を有する。また、モバイル機器とは、ポータブル機器であり、携帯電話端末などのポータブル機器や、テレビのリモコン端末を指す。また、モバイル機器O60は、実施の形態18における通信装置102と同等の機能を有する。
第1サーバO101は、インターネットなどの汎用のネットワークによってモバイル機器O60と通信可能に接続されるサーバであって、内部にDB(データベース)を有し、前記DBには、RF−IDO50からモバイル機器O60によって読み出されたRF−ID情報を蓄積する。
第2サーバO103は、インターネットなどの汎用のネットワークによって前記第1サーバO101と通信可能に接続されるサーバであって、内部にDB(データベース)を有し、前記DBには、RF−IDO50が設置されている座標の建築物情報を蓄積する。
RF−IDO50は、製品IDO51、第1サーバURLO52、サービスIDO53、精度識別子O54から構成される。
なお、実施の形態18におけるサーバ機器104は、第1サーバO101と第2サーバO103を含む機能を有する。
製品IDO51は、RF−IDを搭載した製品の識別するためのID、例えば製品の品番(色情報を含む)、製造番号である。
第1サーバURLO52は、第1サーバO101のアドレス情報である。
サービスIDO53は、テレビ・エアコン・冷蔵庫など製品分類を示すIDが設定されている。
精度識別子O54は、RF−IDO10を搭載した製品IDによって付与される位置情報の信頼性を表す情報である。
以上のように、本実施の形態のRF−IDO50ではモバイル機器O60と近接して近接無線通信が可能となれば、メモリに蓄積している品番、製造番号と第1サーバのURL、サービスID、精度識別子をモバイル機器O60に送信することが可能となる。
次に、本実施の形態のモバイル機器O60について説明する。
モバイル機器O60は、アンテナO61、RF−IDリーダライタO62、座標精度識別情報O63、CPUO64、プログラム実行部O65、データ処理部O66、メモリ部O67、表示部O68d、通信アンテナO68、送信部O70、受信部O71、通信部O72、位置情報記憶部O73、RF−ID記憶部O74、RF−ID検出部O75、URLO76、再生部O77、相対位置演算部O78、座標情報送出部O79、記録部O80、建築物座標データ出力部O81、登録座標O82、判断部O83、基準座標O84、位置情報出力部O85、位置情報O86、向き情報O87、磁気コンパスO88、向き情報O89、衛星用アンテナO90、位置情報演算部O91、位置情報O92、位置情報補正部O93、向き情報補正部O94、角速度センサO95、角速度センサO96、角速度センサO97、加速度センサO98、加速度センサO99、加速度センサO100、積分器O105、積分器O106、絶対座標演算部O107で構成される。
アンテナO61は、近接無線通信可能なRF−IDを探索するために不特定なRF−IDに向けて給電を行う。また、応答があった場合には、RF−IDとの近接無線通信を確立して、RF−IDO50から送信される変調された情報を受信する。
RF−IDリーダライタO62は、受信した情報を復調する。
なお、実施の形態18における近接無線通信部201は、アンテナO61とRF−IDリーダライタO62を含む機能を有する。
座標精度識別情報O63は、受信した情報から精度識別子を抽出する。
CPUO64は、モバイル機器のシステム制御を行う部分であり、モバイル機器の各構成要素の動作を制御する。
プログラム実行部O65は、受信した情報に含まれるサービスIDに基づきプログラムを実行する。
データ処理部O66は、第1サーバから送信されるデータ処理を行う。
メモリ部O67は、データを一時記憶する。
表示部O68dは、メモリ部O67に記憶された情報を表示する。
通信アンテナO68は、インターネットなどの汎用のネットワークと接続する機能を有し、実施の形態18における通信アンテナ219と同等の機能を有する。
送信部O70は、インターネットなどの汎用のネットワークへ送信するデータの変調を行い、実施の形態18における送信部221と同等の機能を有する。
受信部O71は、インターネットなどの汎用のネットワークから受信するデータの復調を行い、実施の形態18における受信部220と同等の機能を有する。
通信部O72は、インターネットなどの汎用のネットワークを介して他の機器と通信を行うデータを作成・解析し、実施の形態18における通信制御部222と同等の機能を有する。
位置情報記憶部O73は、本モバイル機器で測定した位置情報を記憶する。
RF−ID記憶部O74は、RF−IDO50から取得した製品ID、サービスIDを記憶する。
RF−ID検出部O75は、RF−IDO10からの応答を検出する。
URLO76は、RF−IDO50から受信した情報から第1サーバのURLを抽出する。
再生部O77は、位置情報記憶部O73に記憶された情報を再生する。
相対位置演算部O78は、位置情報記憶部O73から再生した位置情報とモバイル機器O60の現在の位置情報から相対位置情報を算出する。
座標情報送出部O79は、RF−ID検出部O75からトリガを受けた時点のモバイル機器O60の位置情報を送出する。
記録部O80は、座標情報送出部O79から送出された位置情報を位置情報記憶部O73に書き込む。
建築物座標データ出力部O81は、通信アンテナで受信する建築物座標データを抽出する。
登録座標O82は、通信アンテナで受信する登録座標のデータを抽出する。
判断部O83は、登録座標O82で抽出した登録座標のデータの精度を判断する。
基準座標O84は、判断部O83の判断の結果、登録座標のデータが信頼できるなら登録座標のデータを基準座標と設定し、設定した基準座標データを位置情報補正部O93に渡す。
位置情報出力部O85は、向き情報O87と位置情報O86からの情報から位置情報を作成し出力する。位置情報O86と向き情報O87は位置情報補正部O93と向き情報補正部O94で構成される絶対座標演算部O107から出力されるモバイル機器O60の位置情報である。
磁気コンパスO88は、方位を示す。
向き情報O89は、磁気コンパスO88の方位情報を作成する。
また、実施の形態18における方位センサ226は、磁気コンパスO88および向き情報O89の機能を含む。
衛星用アンテナO90は、衛星と通信する。
位置情報演算部O91は、衛星との通信結果からモバイル機器O60の位置情報を演算する。例えば、緯度、経度、高度を求める。
位置情報O92は、位置情報演算部O91の演算結果から位置情報を作成する。
また、実施の形態18におけるGPSセンサ224は、衛星用アンテナO90、位置情報演算部O91、および位置情報O92の機能を含む。
位置情報補正部O93は積分器O105と積分器O106から位置情報の結果を位置情報O92と基準座標O84と建築物座標データ出力部O81からの情報で補正する。
向き情報補正部O94は積分器O105と積分器O106から向き情報の結果を補正する。
角速度センサO95はモバイル機器O60のx軸方向の角速度を計測する。
角速度センサO96はモバイル機器O60のy軸方向の角速度を計測する。
角速度センサO97はモバイル機器O60のz軸方向の角速度を計測する。
なお、実施の形態18における角速度センサ225は、角速度センサO95からO97の機能を含む。
加速度センサO98はモバイル機器O60のx軸方向の加速度を計測する。
加速度センサO99はモバイル機器O60のy軸方向の加速度を計測する。
加速度センサO100はモバイル機器O60のz軸方向の加速度を計測する。
なお、実施の形態18における加速度センサ223は、加速度センサO98からO100の機能を含む。
積分器O105は、角速度センサO95と角速度センサO96と角速度センサO97の計測結果を積分する。
積分器O106は、加速度センサO98と加速度センサO99と加速度センサO100の計測結果を積分する。
絶対座標演算部O107は、位置情報補正部O93と向き情報補正部O94で構成されモバイル機器O60の絶対座標を算出する。
以上のように、本実施の形態のモバイル機器O60は、RF−IDO50の製品情報と製品情報を取得したときのモバイル機器O60の位置情報を測定することが可能になり、前記位置情報とRF−IDO50の製品情報を関連付けて第1サーバO101に送信することができる。また、受信した登録座標から設定した基準座標や建築物座標データと位置情報O92で取得した位置情報や向き情報O89で取得した情報により本モバイル機器O60の現在の位置情報を補正することを可能にしている。また、第1サーバO101の登録座標データと第2サーバO103の建築座標データを組み合わせてモバイル機器O60で登録したRF−IDO10の製品が設置された建築物の3D製品マップを作成することも可能になる。また、作成した3D製品マップを表示部O68dに表示することも可能になる。
次に、本実施の形態の第1サーバO101について説明する。
第1サーバO101は、インターネットなど汎用のネットワークを介してモバイル機器O60と接続されるサーバである。本第1サーバO101は、内部にRF−IDO50を搭載した製品を管理する登録座標データO102を具備する。
登録座標データO102では、モバイル機器O60に紐付けられたRF−IDO10の情報を受信する。登録座標データO102では、モバイル機器O60を親機、RF−IDO50を子機器として親機器に紐付けて管理する。また、子機器には、モバイル機器O60で取得した位置情報が付与されており、端末装置がどこに存在するかの情報を同時に管理することが可能となる。また、第2サーバO103から受信する建築物座標データと登録座標データO102を組み合わせることによりモバイル機器O60同様に建築物に設置された3D製品マップを作成することも可能である。
次に、本実施の形態の第2サーバO103について説明する。
第2サーバO103は、インターネットなど汎用のネットワークを介して第1サーバO101と接続されるサーバである。本第2サーバO103は、内部には、現存する建築物の間取りと各建築物の座標(例えば緯度、経度、高度)を関連付けて管理する建築物座標データベースO104を具備する。
建築物座標データベースO104では、現存する建築物の間取りと座標情報を保持することにより、第1サーバの登録座標データと組み合わせ、モバイル機器O60同様に建築物に設置された3D製品マップを作成することも可能である。また、建築物座標データベースO104は個人情報として第1サーバO101と別にセキュリティ設定が高い(例えばモバイル機器O60から直接通信できない設定)サーバで管理することにより個人情報の漏洩を低減することも可能である。
以上のように、本実施形態のシステムでは、RF−IDO50の製品情報がモバイル機器O60によって近接無線通信を介して読み出され、モバイル機器O60においてRF−IDO50にタッチして近接無線通信が可能となった位置情報とRF−IDO50の製品情報を対応付けて、第1のサーバに送信する。第1のサーバでは、モバイル機器O60を親機器、RF−IDO50と搭載した製品を子機器として対応付けを行って管理することが可能となる。また、RF−IDO50と搭載した製品の位置情報を用いて各製品の相対位置を算出することにより製品の3Dマップを作成することが可能になる。
また、建築物の間取りと座標の情報をデータベースとして保持する第2のサーバを設けることにより、第1のサーバで管理している各製品の位置情報と組み合わせることにより各建築物でのRF−IDO50を搭載した製品の3Dマップを作成することが可能になる。
また、モバイル機器O60は、受信した登録座標から設定した基準座標や建築物座標データと位置情報O92で取得した位置情報や向き情報O89で取得した情報により本モバイル機器O60の現在の位置情報を補正することを可能とする。
次に、第1サーバO101にRF−IDO50の製品情報を登録する手順を説明する。
モバイル機器O60でRF−IDO50にタッチして近接無線通信が可能なる状態にすると、モバイル機器O60からの給電でRF−IDO50が動作する。
RF−IDO50は給電されると記憶している、製品IDO51と1サーバURLとサービスIDO53と精度識別子O54の情報を変調してモバイル機器O60に送信する。
モバイル機器O60はアンテナO61で製品IDO51と第1サーバURLとサービスIDO53と精度識別子O54を受信するとRF−IDリーダライタO62で復調する。
URLO76は、第1サーバURLを抽出して通信部O72に第1サーバURLの情報を渡す。
RF−ID記憶部O74は、製品IDO51とサービスIDO53の情報を記憶する。
座標精度識別情報O63は精度識別子を抽出して判断部O83に渡す。
RF−ID検出部O75はRF−IDO50から情報を受信したことを通知するトリガを座標情報送出部O79と基準座標O84に送る。
座標情報送出部O79はトリガを受けると位置情報出力部O85から受けたモバイル機器O60の位置情報を通信部O72に渡す。
ここで、位置情報出力部O85が出力するモバイル機器O60の位置情報について説明する。
まず、角速度センサO95〜O97で計測した結果を積分器O105で積分した結果と、加速度センサO98〜O100で計測した結果を積分器O106で積分した結果を絶対座標演算部O107に入力する。絶対座標演算部O107では、衛星用アンテナO90を用いて位置情報演算部O91が演算した結果を保持している位置情報O92の情報と磁気コンパスO88の示す方位の結果を保持している向き情報O89の情報を用いて積分器O105、O106から入力された結果に対して向き情報補正部O94と位置情報補正部O93で補正を行う。
次に、絶対座標演算部O107は、補正した絶対座標演算部O107向き情報O87と位置情報O86に出力する。位置情報出力部O85は、向き情報O87と位置情報O86からの情報で位置情報を作成する。
以上手順でモバイル機器O60は位置情報を作成する。
次に、プログラム実行部O65はRF−ID記憶部O74に記憶された製品ID、サービスIDを通信部O72に渡す。
通信部O72は座標情報送出部O79からの位置情報とプログラム実行部O65からのされた製品ID、サービスIDを情報に含むデータを作成し、URLO76から受けた第1のサーバのURLをデータのアドレスに設定して送信部O70に渡す。送信部O70はデータを変調して通信アンテナO68を介して第1サーバO101に送信する。
第1サーバは、モバイル機器O60からデータを受信するとデータを復調する。
登録座標データO102では、モバイル機器O60を親機、RF−IDO50を子機として親機であるモバイル機器O60に子機であるRF−IDO50の製品IDO51とサービスIDO53とモバイル機器O60がRF−IDO50の情報を取得したときの位置情報を紐付けて管理する。
次に、モバイル機器O60でRF−IDO10が搭載し、かつ第1サーバO101にモバイル機器O60で登録済みの製品の3Dマップを作成する手順を説明する。
図168は、本実施の形態におけるRF−IDO50が搭載した製品の配置の一例を示す図である。
1階のリビングにはテレビO50AとBDレコーダO50BとエアコンO50C、1階の和室にはエアコンO50D、2階にはテレビO50EとエアコンO50Fが配置されている。全製品にRF−IDO50が搭載されている。また、前述した第1サーバO101にRF−IDO50の製品情報を登録する手順で全製品ともモバイル機器O60を用いて第1サーバO101の登録座標データに登録されているとする。
まず、モバイル機器O60の通信部O72は、第1サーバO101にモバイル機器O60で登録した製品の情報を要求する製品情報要求データを作成する。
送信部O70は製品情報要求データに変調を行い、通信アンテナO68を介して第1サーバO101に送信する。
第1サーバO101は製品情報要求データを受信するとモバイル機器O60を親機として紐付けて管理している子機の製品情報を含む製品情報応答データを作成してモバイル機器O60に送信する。ここでは、製品情報応答データにはテレビO50AとBDレコーダO50BとエアコンO50CとエアコンO50DとテレビO50EとエアコンO50Fの製品IDO51とサービスIDと位置情報が含まれている。
次に、第1サーバO101は第2サーバO103にも製品情報応答データと同じ情報を送信する。
第2サーバO103では製品情報応答データに含まれる各製品の位置情報から建築物座標データベースO104にある同じ位置にある建築物の位置(座標)情報を含む画像データを抽出する。図169は、建築物座標データベースO104から抽出した建築物座標データである。建築物の間取りの画像と位置情報に含まれている。
第2サーバO103は、抽出した建築物座標データをモバイル機器O60に送信する。
モバイル機器O60の受信部O71は、通信アンテナO68を介して製品情報応答データを受信すると復調して通信部O72に渡す。
通信部O72は、データの内容をプログラム実行部O65に渡す。
プログラム実行部O65は、製品情報応答データの内容である各製品の位置情報から図170に示すような製品の3Dマップの画像データを作成する。各製品の位置情報に基づいて座標にマッピングし、また製品ごとに異なるアイコンでユーザに一目でわかるよう3Dマップである。
プログラム実行部O65は、作成した画像データをデータ処理部O66に渡す。
データ処理部O66は、画像データをメモリ部O67に一時記憶する。
表示部O68dは、メモリ部O67に記憶している図169に示す製品の3Dマップの画像データを表示する。
次に、モバイル機器O60の受信部O71は、通信アンテナO68を介して第2サーバO103からの建築物座標データを受信すると復調して建築物座標データ出力部O81に渡す。
建築物座標データ出力部O81は、建築物座標データを解析して表示部O68dに渡す。表示部O68dは図169の画像データと既に表示している図170の画像データを組み合わせた図170に示す製品の3Dマップの画像データを表示する。
以上のように、モバイル機器O60を保有するユーザに一目でわかる製品の3Dマップが作成できる。
次に、モバイル機器O60で建築物座標データを用いてモバイル機器O60の位置情報を補正する手順について説明する。
ここでは、第1サーバO101に図168のエアコンO50Dの製品情報を登録する場合を例に説明する。
なお、第1サーバO101がモバイル機器O60からに製品ID、サービスIDを情報に含むデータを受信するまでの前述した手順と同様なので省略する。
第1サーバO101はエアコンO50Dの製品情報を取得すると取得したエアコンO50Dの位置情報を第2サーバO103に送信する。
第2サーバO103はエアコンO50Dの位置情報に該当する図169の建築物座標データを建築物座標データベースO104から抽出し第1サーバに送信する。
第1サーバは、登録する製品がエアコンなど壁に固定する製品の場合は建築物座標データとエアコンの位置情報を比較して、エアコンの位置情報が壁に近くない場合は建築物座標データをモバイル機器O60に送信する。
モバイル機器O60の受信部O71は建築物座標データで受信すると復調して建築物座標データ出力部O81に渡す。建築物座標データ出力部O81は建築物座標データとエアコンの位置情報から補正すべき位置情報を決定して位置情報補正部O93に渡す。
位置情報補正部O93は、建築物座標データ出力部O81から受けた位置情報を基に現在のモバイル機器の位置を補正する。
次に、モバイル機器O60は補正した現在位置の情報で第1サーバO101にエアコンO50Dの登録を行う。
以上のように、建築物座標データベースの位置情報とモバイル機器O60で測定した位置情報を比較し、モバイル機器O60で測定した位置情報がズレを判定してモバイル機器O60の位置情報を補正することが可能なる。
なお、上述の説明では第1サーバO101が第2サーバO103から建築物座標データを取得して判定したがこれに限定されるものではい。例えば、モバイル機器O60が第1サーバO101に登録するデータを送信する前に、モバイル機器O60が第2サーバO103から建築物座標データを取得してエアコンO50Dと建築物座標データを比較して補正の要否を判断してもよい。
次に、モバイル機器O60で精度識別子を用いてモバイル機器O60の位置情報を補正する手順について説明する。
ここでは、既に第1サーバO101に製品情報が登録済みである図168のエアコンO50Cにモバイル機器O60がタッチした場合を例に説明する。
モバイル機器O60はアンテナO61でエアコンO50CのRF−IDO50の製品IDO51と第1サーバURLとサービスIDO53と精度識別子O54を受信するとRF−IDリーダライタO62で復調する。
モバイル機器O60は、この時点では第1サーバO101にエアコンO50Cの製品情報が登録されているかわからないので前述した商品登録の手順で第1サーバO101に位置情報と製品IDとサービスIDを情報に含むデータを送信する。
第1サーバは、モバイル機器O60からデータを受信するとデータを復調する。
登録座標データO102では、既にエアコンO50Cが商品登録済みであると判断すると、登録座標データO102のエアコンO50Cの位置情報を含むデータを作成してモバイル機器O60に送信する。
モバイル機器O60の受信部O71は通信アンテナO68を介してエアコンO50Cの位置情報を受信すると復調して登録座標O82に渡す。
登録座標O82は、エアコンO50Cの位置情報を含むデータから位置情報を抽出すると判断部O83に渡す。
判断部O83は、座標精度識別情報O63から受けるRF−IDO50の精度識別子O54を参照して、登録座標O82から受ける位置情報を基準座標とするか判断する。
図172に精度識別子ごとの判断部O83の処理を示す。
精度識別子は、予め図172に示すように製品ごとに異なる精度識別子O54がRF−IDO50に設定されている。
ここでは、エアコンO50Cの精度識別子O54なので「高」が設定されている。判断部O83は、モバイル機器O60の位置補正を行うと判定し、登録座標O82から受けた位置情報を基準座標O84に渡す。
ここで、精度識別子O54なので「低」の場合は、モバイル機器O60は位置情報の補正は必要ないと判定し、判定結果を第1サーバO101に通知し、第1サーバでは新たなエアコンO50Cの位置情報を登録座標データに記憶して処理を終了する。
基準座標O84は、RF−ID検出部O75からトリガを受けているなら登録座標O82から受けた位置情報を位置情報補正部O93に渡す。
位置情報補正部O93は、基準座標O84から受けた位置情報を基に現在のモバイル機器の位置を補正する。
次に、モバイル機器O60は位置情報が完了したことを、第1サーバO101に通知して処理を終了する。
以上のように、建築物座標データベースの位置情報とモバイル機器O60で測定した位置情報を比較し、モバイル機器O60で測定した位置情報がズレを判定してモバイル機器O60の位置情報を補正することが可能になり、不必要な位置情報の更新を回避できる。
また、座標の精度は高いグループは、一度設置したら設置場所を変更しない製品を設定することにより、精度の信頼性を高める。
なお、精度は高いグループでも予め設定した回数だけ位置情報がズレている場合はモバイル機器O60の位置情報を補正せずに、登録座標データO102に登録済みの位置情報を補正してもよい。
なお、上記の説明ではモバイル機器O60で精度識別子を用いて補正の判断をしたが、第1サーバO101に精度識別子を送信し、第1サーバO101で補正の判断をしてもよい。
次に、モバイル機器O60で製品の位置情報を相対位置で管理する手順を説明する。
ここでは、最初に登録するテレビO50Aの位置情報を基準点に、その後、商品登録する製品であるBDレコーダO50Bの相対的位置情報を作成する。
まず、モバイル機器O60はアンテナO61でテレビO50AのRF−IDO50の製品IDO51と第1サーバURLとサービスIDO53と精度識別子O54を受信するとRF−IDリーダライタO62で復調する。モバイル機器O60の座標情報送出部O79は、RF−IDO50を検出したときの位置情報を記録部O80に送出する。
記録部O80は位置情報を受けると位置情報を記憶する。
その後、モバイル機器O60は、上述した製品登録の手順に従い第1サーバO101にテレビO50Aの製品情報を登録する。
次に、モバイル機器はBDレコーダO50Bの製品登録を行う。
まず、モバイル機器O60はアンテナO61でBDレコーダO50BのRF−IDO50の製品IDO51と第1サーバURLとサービスIDO53と精度識別子O54を受信するとRF−IDリーダライタO62で復調する。
モバイル機器O60の座標情報送出部O79は、BDレコーダO50BのRF−IDO50を検出したときの位置情報を記録部O80と相対位置演算部O78に送出する。
記録部O80は、位置情報記憶部O73にはテレビO50Aの位置情報を記憶しているのでBDレコーダO50Bの位置情報を記録しない。
相対位置演算部O78は、座標情報送出部O79から位置情報を受けると、再生部O77を介して位置情報記憶部O73に記憶しているテレビO50Aの位置情報を取得する。
次に、相対位置演算部O78は再生部O77から取得したテレビO50Aの位置情報を基準にBDレコーダO50Bの相対的な位置情報を算出し、算出した結果を位置情報記録部に記憶する。
以上の手順である特定の製品の位置を基準にした相対的位置情報を求めることができる。
なお、上記の説明では、モバイル機器O60の位置情報記憶部O73で相対位置情報を記憶したがこれに限定されるものではない。モバイル機器O60は相対位置情報を第1サーバO101に送信し、登録座標データO102で管理してもよい。
なお、上記の説明では、最初に製品登録したテレビO50Aの位置情報を基準位置としたがこれに限定されるものではない。
例えば、予めユーザにより設定された位置を基準点としてもよい。例えば、建築物の玄関の位置などでもよい。また、モバイル機器O60がテレビのリモコン端末の場合は該当するテレビの位置を基準点としてもよい。
図173と図174に本実施の形態の3Dマップの処理フローの一例を示す。
なお、本実施の形態では、モバイル機器O60の位置情報記憶部O73は相対的な位置情報を記憶したがこれに限定されるものではない。例えば、モバイル機器O60の座標情報送出部O79は常にモバイル機器O60の測定した位置情報を記録部O80に送り、記録部O80は位置情報を位置情報記憶部O73に記録する。位置情報記憶部O73は本モバイル機器O60の位置情報を蓄積する。その場合、プログラム実行部O65は位置情報記憶部O73に蓄積された位置情報から本モバイル機器O60の軌跡情報を作成する。これにより、軌跡情報から本モバイル機器O60の行動が推定できる。
なお、本実施の形態では、図172の精度識別子の2種類の分類に従って判断部O83の処理を行ったがこれに限定されるものではない。例えば、2種類以上の製品分類を設けて分類ごとに異なる位置情報のズレの大きさの閾値を定義して補正の要否を判定してよい。
なお、本実施例と他の実施の形態を組み合わせでもよい。例えば、実施の形態18の通信装置102の機能をRF−IDO50を搭載した製品に組み込み、ホームIDを共有するときに3Dマップも共有してもよい。この場合、3Dマップを予めモバイル機器O60からNFC通信機能で取得しておく。
なお、本実施の形態では、テレビ・BDレコーダ・エアコンなどのRF−IDO50を搭載したがこれに限定されるものではない。図176はRF−IDO50を搭載した製品O50G〜O50Nで構成されている。また、製品O50G〜O50Nは特定小電力無線通信デバイス(例えば、Zigbee(登録商標))を搭載し、各製品間で電波が受信可能な範囲で直接通信が可能とする。また、製品O50G〜O50NはRF−IDO50を介してモバイル機器O60から製品の製品O50G〜O50Nで構成された製品配置の3Dマップを取得しているとする。また、別方法として製品O50G〜O50Nは通信アンテナO68を保持しインターネット経由で製品配置の3Dマップを取得してもよい。
ここで、製品O50Hが製品O50Kに特定小電力無線通信でデータを送信する場合について説明する。特定小電力無線通信デバイスは通常は省電力の観点からスリープモードで動作している。スリープモードは電源が定期的にON・OFFの切り替わるモードである。また各製品のON・OFF切り替えタイミングは同期が取れている。製品O50Hの特定小電力無線通信デバイスは送信するデータが発生するとアウェイクモードに切り替える。アウェイクモードは常に電源をONするモードである。製品O50Hは予め取得している製品O50G〜O50Nの製品配置の3Dマップを参照する。製品O50Hは製品配置の3Dマップから自機と製品O50Kの間に位置する製品を調べる。ここでは3Dマップの情報から製品O50Jをデータ中継する中継製品とする。
製品O50Hは、製品O50Jに対してアウェイクモードに切り替える指示を行う。製品O50Hは、製品O50Jに製品O50H宛のデータを送信する。製品O50Jは製品O50H宛のデータを受けると、製品O50Hに転送して、その後スリープモードに切り替える。
以上のように、製品O50Hは3Dマップを用いてデータを送信する場合の中継製品を決定し、決定した製品O50Jのみアウェイクモードに切り替える。これにより不必要な他の製品をアウェイクモードに切り替える必要がない。3Dマップがない場合は、製品O50Hは、製品O50Kまでの経路を確立するために全製品をアウェイクモードに切り替え経路探索を行う必要がある。
また、上述の各実施の形態の構成は、典型的には集積回路であるLSI(Large Scale Integration)で実現されているものとしてもよい。これらは、個別に1チップ化されていてもよいし、すべての構成または一部の構成を含むように1チップ化されてもよい。集積回路は、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。また、集積回路の手法は、LSIに限定されるものではなく、専用回路または汎用プロセッサを用いて実現してもよい。さらに、FPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成することができるリコンフィギュアラブル・プロセッサを利用してもよい。
さらに、半導体技術の進歩により、または派生する別技術により現在の半導体技術に置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の応用等が考えられる。
(実施の形態20)
本発明の実施の形態20について述べる。
図176は、実施の形態20における機器接続設定のネットワーク環境図である。図176に示すように、本実施の形態では、様々な家電機器が家電制御装置5000と無線通信デバイスによって接続しているホームネットワーク環境を想定している。ここで、様々な家電機器とは、例えば、テレビN10A、BDレコーダN10B、エアコンN10C、エアコンN10D、火災報知器N10E、エアコンN10F、火災報知器N10G、太陽電池パネルH10H、テレビN10I、FF暖房機10Kである。
図177は、実施の形態20における機器のネットワークモジュール構成図である。図177は、図176に示す各家電機器に搭載されるネットワークモジュールの構成を示している。このネットワークモジュールは、NFCなどの近接無線通信が可能な第1無線通信部5011と、ZigBee(登録商標)などの近距離無線通信が可能な第2無線通信部5012とを少なくとも備えるものとする。第1無線通信部5011は、アンテナ部、インタフェース部、電源部、通信部、クロック部および不揮発メモリ等を有し、第2無線通信部5012は、アンテナ部、無線通信部およびインタフェース等を有する。なお、これらの機能は上述したものと同様のため、説明を省略する。また、このネットワークモジュールは、CPU、サーミスタ、電源部等を備えるとしてもよい。
図178は、実施の形態20における家電制御装置の機能ブロック図である。家電制御装置5000も上述した各家電機器と同様、第1無線通信部5021と第2無線通信部5022とを少なくとも備える。また、この家電制御装置5000は、例えばメーカA、メーカBおよびメーカCなど複数のメーカや異なる複数の機器に対応するプロトコルを保持する。
なぜなら、各家電機器は、物理層5023、MAC層5024で標準化されたプロトコルを使っている場合でも、その上位層5025ではそれぞれ異なるプロトコルを用いている場合があるからである。例えば、NFCで認証する機器5026、ボタンによって認証する機器5027などである。また、各家電機器はBlueTooth(登録商標)や無線LAN(802.11)などの複数の近距離無線方式を搭載している場合もある。その場合、物理層やMAC層も異なるが、上位層が異なる場合と同様に振る舞う。そのため、家電制御装置5000は、上述したように対応するプロトコルを保持していれば対応できる。
図179は、実施の形態20における太陽電池パネルを設置するときのユーザの動作を説明するための図である。本実施の形態における太陽電池パネルN10Hは、複数のパネルより構成され、それぞれのパネルが個別に家電制御装置5000と通信可能である。ここで、ユーザとは太陽電池パネルN10Hの設置業者、家電制御装置5000の設置業者など、家電制御装置5000と太陽電池パネルN10Hの通信接続設定を行う人のことを指す。なお、以下では、実施の形態18で説明した通信装置102を、モバイル端末と称して説明する。
図179(a)に示すように、まず、ユーザは家電制御装置5000の近くで、モバイル端末を機器接続モードにし、家電制御装置5000にタッチする(ステップ丸1)。なお、本明細書内において、タッチするとは近距離通信を確立させて近接無線により通信を行うことを指す。ユーザがモバイル端末を家電制御装置5000にタッチすると、モバイル端末は近距離通信を確立させて家電制御装置5000から通信ID(MACアドレスなど)、機器ID(製造番号など)、利用可能な通信プロトコル、家電制御装置5000と接続しているサーバの情報、および無線通信路の暗号鍵などを取得する(図179(a))。ここで、通信IDは家電機器が家電制御装置に接続するために、家電機器に受け渡される。機器IDはモバイル端末がサーバに問い合わせを行うために必要なIDである。
このように、家電制御装置5000とモバイル端末とは、近接無線を介して相互に情報を交換することにより、一定時間、サーバを介して安全なパスを確立する。ここで、安全なパスとはセルラーなどの別の無線パスを含んだ暗号化通信路である。サーバを介した安全なパスは、家電制御装置5000とモバイル端末との間で家電機器に渡す秘密鍵の更新に用いられる。
太陽電池パネルN10Hなど家電制御装置5000から遠隔地にある機器(家電機器)は、家電制御装置5000とモバイル端末との間で長期間有効な秘密鍵を受け渡すことにより、ペアリング設定を行うことが可能である。しかし、例えば日単位にて有効な秘密鍵を発行するとセキュリティ強度が低下する。また、図179に示す太陽電池パネルN10Hのように家電制御装置5000からみて遠隔地にある機器(家電機器)に対して連続して設定を行いたい場合にはさらにセキュリティ強度が低下する。しかし、本実施の形態ではモバイル端末のボタンを押すのみで新しい秘密鍵の発行を可能とすることができるので、秘密鍵の有効時間を短くし、セキュリティ強度を維持することができる。また、モバイル端末で新しく秘密鍵を発行してもらいつつ、家電機器にタッチすることで秘密鍵を受け渡すことにより、連続して複数の遠隔地の家電機器と家電制御装置とで認証することが可能となる。
なお、本方式の用途は宅内の無線通信のペアリング用に限るものではない。例えば、自宅の家電機器と親戚・友人宅の家電機器をペアリングする際に用いることも可能である。これにより、自宅でなくても、ペアリング処理が容易に行えるようになる。
また、モバイル端末は移動中に6軸センサやGPSによって位置情報を取得することができる。そのため、ユーザは、モバイル端末を家電制御装置5000にタッチし(ステップ丸1)、太陽電池パネルN10Hまで移動(ステップ丸2〜6)した後に、太陽電池パネルN10Hにタッチした瞬間(ステップ丸7)でのモバイル端末の位置情報をサーバに送ることにより、サーバにおいて家電制御装置5000(以下SEG(Smart Energy Gateway)とも呼ぶ)と太陽電池パネルN10Hの3次元的な相対的な位置情報の管理を行うことが可能となる。
図180は、実施の形態20における太陽電池パネル設置時のモバイル端末画面遷移図である。図180では、ユーザがモバイル端末を太陽電池パネルN10Hの1枚目のパネルにタッチさせたときのモバイル端末の画面遷移図の例を示している。
図180に示すように、まず、ユーザがモバイル端末を太陽電池パネルN10Hの1番目のパネル(太陽電池パネルNo1)にタッチさせたとき(ステップ丸1)、モバイル端末は、1番目のパネル(太陽電池パネルNo1)と家電制御装置5000(SEG)、またはサーバとの接続を開始する。具体的には、モバイル端末は1番目のパネル(太陽電池パネルNo1)よりその機器IDや通信プロトコルなどの情報もしくは太陽電池パネルのメーカの製品のサーバアドレスを取得する。そして、モバイル端末は家電制御装置と通信可能であるかどうかの判断を行う。なお、この判断はサーバに送ってサーバが行うとしてもよいし、モバイル端末が行うとしてもいずれでも構わない。モバイル端末は、取得した通信プロトコルが通信可能なプロトコルであった場合には、通信IDを用いて接続設定を行う。一方、取得した通信プロトコルが通信可能なプロトコルでなかった場合には、モバイル端末は、サーバよりファームをダウンロードし、近接無線を用いてファームアップデートを行うとしてもよいし、モバイル端末から家電制御装置5000(SEG)にファームアップデートの指示を出すとしてもよい。
このようにして、モバイル端末は、1番目のパネル(太陽電池パネルNo1)と家電制御機器5000(SEG)、またはサーバとの認証を確定する。例えば、図180に示すように、1番目のパネル(太陽電池パネルNo1)はネットID(例えば0019)を取得することで、家電制御機器5000(SEG)もしくはサーバとの認証を確定する。
なお、太陽電池パネルが近接無線による自動設定できない機器(家電機器)の場合には、ユーザが手動で設定を行った後、家電制御装置5000から設定完了の信号を送ってもらうことにより、モバイル端末で設定完了を確認することが可能となる。また、太陽電池パネルN10Hがボタンの同時押しで設定する機器(家電機器)の場合には、モバイル端末の設定ボタンと家電制御装置5000のボタンを安全パスによって連動させることにより、ボタン同時押しによる設定を行うことができる。それぞれの方式は家電制御装置5000(SEG)と家電機器の双方の種別から自動的にモバイル端末にダウンロードされてくるものとする。これにより、ユーザは自動的に最適な方式で即座に設定を完了することが可能となる。
図181は、実施の形態20における太陽電池パネル連続認証時のモバイル端末画面遷移図である。2番目以降の太陽電池パネルも基本的には1番目の太陽電池パネルと同様の方式で認証することが可能であり、例えば秘密鍵を再発行してもらうことにより連続して認証することが可能となる。また、各太陽電池パネル間の相対的位置をサーバに登録することにより、それぞれのパネルの挙動を一目で確認することのできる映像をコントローラの画面もしくはサーバを介してTVの画面に表示することが可能となる。
図182は、実施の形態20における太陽電池パネル発電量チェック時のモバイル端末画面図である。図182に示すように、モバイル端末では、太陽電池パネルの発電状況を画面で示すことができる。したがって、モバイル端末に太陽電池パネルN10Hのそれぞれの位置と、それに対応するパネルの発電量とを同時もしくは交互に表示させることにより、どのパネルでどれだけの発電がされているかを確認することが可能となる。
図183は、実施の形態20における太陽電池パネル故障チェック時のモバイル端末画面図である。例えば、モバイル端末に太陽電池パネルの温度状況を示させると、一般に太陽電池パネルが故障した場合には温度状況が異常となるため、その状況とパネルの位置情報とを組み合わせることにより、即座に故障しているパネルがわかる。それにより、故障しているパネルの修理を迅速に行うことが可能となる。また、サーバを介して修理業者に通知することなどにより、自動的に修理依頼も可能となる。
図184〜図188は、太陽電池パネル設置時のモバイル端末の動作を説明するためのフローチャートである。
まず、太陽電池パネル設置時に、ユーザはモバイル端末を機器接続モードにする(ステップS5081)。
次に、モバイル端末は「モバイル端末をタッチ(近接)して下さい」と表示し(ステップS5082)、近接無線でのポーリングを開始する。そして、ユーザは、モバイル端末を家電制御装置5000(親機もしくは太陽電池コントローラ)にタッチさせる。なお、モバイル端末は、ユーザによって家電制御装置5000にタッチされるまで、ポーリングを繰り返すが、ユーザによって家電制御装置5000にタッチされずに、ある一定の時間が経つとタイムアウトするものとする。また、家電制御装置5000がスリープモードになっており、一部の回路が起動していない場合には、モバイル端末にタッチされて起動する。
次に、モバイル端末は、「他の機器との接続との接続設定をする」のモードに入り、家電制御装置に対応した接続設定プログラムをサーバからダウンロードする。
具体的には、モバイル端末は、1)暗号通信を行い、2)近接無線通信(NFC)などにより家電制御装置5000の機器ID、通信ID (MACアドレス、NFC−IDなど)、使用可能な通信プロトコルとそのバージョンとサーバアドレスを取得する。次いで、モバイル端末は、取得したサーバアドレスのサーバと接続し、暗号通信を行う。つまり、モバイル端末は、サーバと接続し、「他の機器との接続との接続設定をする」のモードに入り、家電制御装置5000に対応した接続設定プログラムをサーバからダウンロードする。なお、通信プロトコルのバージョンが古い場合は新しいバージョンの通信プロトコルをサーバからダウンロードしてバージョンアップする。
次に、モバイル端末は、「1時間以内に接続したい機器にタッチして下さい。」と表示する(ステップS5086)。すなわち、ステップS5085で入った設定モードは一定時間、有効であるので、モバイル端末は、その一定時間内にタッチしてくださいとの表示をする。
次に、モバイル端末は、家電制御装置(SEG)との距離を測定する(S5087)。
具体的には、ユーザは、S5086での表示を受けて、モバイル端末を接続したい機器の所へ持っていく。そのとき、モバイル端末は、家電制御装置5000の位置からの位置(相対位置)を、角速度センサ、加速度センサ、磁気センサおよびGPS等を用いて、3次元空間上で測定し、モバイル端末の3Dの移動軌跡、移動後の座標を演算する。それにより、モバイル端末は、家電制御装置(SEG)との距離を測定することができる。なお、この演算は、モバイル端末ではなくサーバが行ってもよい。その場合には、モバイル端末は、測定したデータをサーバに送る。そして、サーバではこのデータを用いて、モバイル端末の3Dの移動軌跡、移動後の座標を演算し、家電制御装置(SEG)とモバイル端末との距離を測定するとすればよい。
ここで、モバイル端末は、ユーザにより移動時間や距離が長いかを判断している(ステップS5088)。短い場合には(ステップS5088のNo)、モバイル端末は、家電機器にタッチされたときに、家電制御装置5000から発行された秘密鍵を家電機器に渡す。
一方、時間が長い場合には(ステップS5088のYes)、モバイル端末は、一旦設定モードをOFFにする(ステップS5089)。そして、モバイル端末の位置情報と機器の位置情報が近くなった場合に、設定モードを再びONし(ステップS5091)、サーバと接続して家電制御装置5000に秘密鍵を再発行してもらう。
次に、モバイル端末は、家電制御装置5000と相互に通信を行い、設定情報を渡した端末と実際に家電制御装置5000が設定を完了した数およびそれぞれに割り振った番号を記録する(ステップS5092、ステップS5093)。これにより、家電制御装置5000は、複数の端末を認証後に不整合が起きていないか確認することが可能となる。
次に、n番目の機器(太陽電池パネルなど)と近接無線通信を行う(ステップS5094。具体的には、ユーザは、モバイル端末のアンテナ部をn番目の機器(太陽電池パネルなど)のアンテナ部にタッチさせて、n番目の機器(太陽電池パネルなど)と近接無線通信を行う。
すると、モバイル端末は、NFCを介して機器のメモリの中の情報を読み出す(ステップS5095)。具体的には、モバイル端末は、機器のメモリの中からNFC−ID、MACアドレス、メーカID、無線通信の規格、バージョン、プロトコル、メーカ名、製品名、型番、エラーまたは履歴を読み出す。なお、モバイル端末は、読み出した情報をサーバに送るとしてもよい。
次に、モバイル端末は、家電制御装置5000とn番目の機器(太陽電池パネルなど)とが通信可能かをチェックする(ステップS5096)。なお、ステップS5095で、モバイル端末が読み出した情報をサーバに送る場合には、サーバ側で、家電制御装置5000とn番目の機器(太陽電池パネルなど)とが通信可能かをチェックするとしてもよい。
次に、モバイル端末は、家電制御装置とn番目の機器との通信プロトコルは違うか否かを判断する(ステップS5097)。
通信プロトコルは同じと判断した場合(ステップS5097のNo)、モバイル端末は、さらに、n番目の機器の通信プロトコルのバージョンが古いのかどうかを判断する(ステップS5098)。そして、n番目の機器の通信プロトコルが古いと判断さいた場合(ステップS5098のYes)、モバイル端末は、サーバから新しいバージョンのプロトコルをダウンロードして近接無線通信により機器のプロトコルをバージョンアップする(ステップS5099)。
一方、ステップS5097において、通信プロトコルが違うと判断した場合(ステップS5097のYes)、モバイル端末は、機器または家電制御装置5000に対応した通信プロトコルデータをサーバよりダウンロードし(ステップS5101)、その通信プロトコルデータを家電制御機器にインストールする。
具体的には、モバイル端末は、サーバよりn番目の機器に対応した通信プロトコルデータをダウンロードし、ユーザによりモバイル端末が家電制御装置5000にタッチされて、NFC経由でn番目の機器と通信可能な新しいプロトコルを家電制御装置にインストールする。ここで、モバイル端末は、無線LAN等のインターネット経由で家電制御装置にインストールするとしてもよい。
なお、ステップS5097において、モバイル端末は、家電制御装置5000に、上記の機器に対応した通信プロトコルのデータをダウンロードさせる命令を送ることで、n番目の機器と通信可能な新しいプロトコルが家電制御装置にインストールされるとしてもよい。
次に、モバイル端末は、家電制御装置5000に、n番目の機器と通信可能な新しいプロトコルのインストールが完了したか否かを判断する(ステップS5102)。
ダウンロードからインストールのプロセスにおいてエラーが発生した場合などでインストールが完了していない場合(ステップS5102のNo)には、ステップS5101とステップS5102の動作を繰り返し行う。一方、インストールが完了した場合(ステップS5102のYes)には、ユーザは、モバイル端末の「家電制御装置と機器との接続を開始」するスイッチ(ボタン)を入力する(押す)。
次に、モバイル端末は、「家電制御装置と機器との接続を開始」するスイッチ(ボタン)が入力された(押された)ことを検出する(ステップS5103)。
次に、モバイル端末は、秘密鍵(時間限定型)を発行する(ステップS5104)。なお、この秘密鍵(時間限定型)を発行するのは、モバイル端末に限られない。家電制御装置(SEG)またはサーバが発行するとしてもよい。
次に、モバイル端末は、発行した秘密鍵を家電制御装置(SEG)に送る(ステップS5105)。なお、モバイル端末は、秘密鍵以外にも、機器のネットワークIDもしくはMACアドレスを家電制御装置(SEG)に送るとしてもよい。典型的には、モバイル端末は、秘密鍵等を、インターネットのサーバ経由もしくは無線LANなどのイントラネット経由で家電制御装置(SEG)に送る。
次に、モバイル端末は、秘密鍵と送信命令をNFCで機器に送る(ステップS5106)。
ここで、モバイル端末は、秘密鍵と送信命令とともに、家電制御装置のネットワークIDまたはMACアドレスをNFCで機器に送るとしてもよい。
図187は、家電制御装置とn番目の機器とが相互認証する際の動作を示している。
まず、モバイル端末は、n番目の機器(太陽電池パネルなど)と家電制御装置(SEG)と、短距離無線(ZigBee(登録商標)など)で通信を直接行うか否かを判断する(ステップS5110)。
通信を直接行うと判断する場合(ステップS5110のYes)、モバイル端末はn番目の機器と家電制御装置との位置間の距離Lに応じて無線の電波強度を変え、セキュリティを高めるとともに省電力を行う(ステップS5111)。なお、距離Lや障害が大きい場合は後述の中継器を介して家電制御装置(SEG)と通信することをユーザに推奨する画面表示をする。
次に、家電制御装置とn番目の機器とは、相互認証を行う(ステップS5112)。
次に、家電制御装置は、サーバ経由でモバイル端末に認証結果を送る(ステップS5113)。ここで、ユーザがモバイル端末をn番目の機器にタッチすることで、モバイル端末が認証結果をn番目の機器から得るとしてもよい(ステップS5115)。ステップS5115において、認証結果をn番目の機器に光の発光等で表示させたり、n番目の機器に光等で表示させたりすることで、ユーザが認証結果を把握するとしてもよい。
なお、認証失敗の場合は、鍵発行からやりなおす(ステップS5114のNo、ステップS5116のNo)。
次に、n番目の機器の接続認証すなわちn番目の機器と家電制御装置との接続認証が完了したか否かを確認する(ステップS5117)。
次に、n番目の機器が最後の機器であるかを確認する(ステップS5118)。
すべての機器の接続認証が終了すると(ステップS5118のYes)、モバイル端末はサーバに通知後、接続モードを解除し、処理を終了する。
そうでない場合には(ステップS5118のNo)、次の(n+1番目の)機器の接続認証を行うために、モバイル端末は、図188に示す動作を行う。
すなわち、まず、モバイル端末は、次の(n+1番目の)機器の場所へ移動(ステップS5119)されるとともに、自端末(モバイル端末)の物理的な相対もしくは絶対の3次元の位置情報を取得する(ステップS5121)。
そして、モバイル端末は、1番目〜n+1番目の機器の2次元もしくは3次元の位置情報を2次元もしくは3次元表示したイメージ情報もしくは座標情報を画面に表示する(ステップS5122)。
このように、モバイル端末は、複数の機器に対して設定を行った場合には、複数の機器の位置情報を画面上に表示する。なお、モバイル端末は、S5121において、モバイル端末は、取得した物理的な相対もしくは絶対の3次元の位置情報をサーバに送るとしてもよい。その場合には、サーバ側でn番目とn+1番目の機器(太陽電池パネルなど)の3次元空間上の配置関係をマッピングする。そして、サーバは、1番目〜n+1番目の機器の2次元もしくは3次元の位置情報を2次元もしくは3次元表示したイメージ情報もしくは座標情報をモバイル端末に送ることで、モバイル端末は、それらを画面上に表示するとしてもよい。
そして、モバイル端末は、イメージ情報もしくは座標情報の画面表示が完了した場合には(ステップS5123のYes)、図185のS5093に戻って処理を繰り返す。なお、モバイル端末は、画面表示が完了していない場合には(ステップS5123のNo)、再度ステップS5121からの処理を繰り返す。
図189は、本実施の形態における太陽電池パネルの設置手順を説明するための図である。太陽電池パネルは太陽光があたると直流の高電力を発生するため、アーク放電が起こり、危険である。このため、設置前の状態においては太陽電池パネルに遮光シート5202を貼っておき、発電できない状態とされていることが好ましい。さらに、通信設定が完了するまでは安全のため、遮光シートを貼ったままの状態であることが好ましい。しかし、遮光シートを貼った状態では太陽電池パネルのどこに通信用ICが存在するのかを判別することが困難である。そこで、遮光シートの近接無線のアンテナ部と同じ場所にアンテナ部マークを印刷し、設定時にはそのマークにタッチして、設定完了後に遮光シートをはがす。そうすることにより、安全性を確保しつつ、タッチによる通信設定が可能となる。
具体的には、まず、太陽電池パネルのn番目のパネルの遮光シートをはがし(ステップS5201f)、n番目のパネルが正常であるかをチェックする(ステップS5201g)。さらに具体的には、n番目のパネルの電圧、電流および温度を通信IC5203eから発信させ、モバイル端末またはコントローラ5203cが受信することでチェックする。例えば、総発電量をコントローラ5203cがチェックすることで、n番目のパネルが正常であるかをチェックすることができる。そして、チェック結果をコントローラ5203cからインターネットもしくはイントラネット経由でモバイルに送る。
このようにして、太陽電池パネルの一枚一枚についてパネルが正常であるかをチェックすることができる。
ここで、通信用IC5203eは、図189に示すように、例えばZigBee(登録商標)などの無線ICとNFCの通信IC5203fとを搭載している。通信用IC5203eは、外部とは電源線5203aのみ接続線が出ているため、他の部分はシールドされている。そのため、寿命が永く30年程度の寿命要求に応えられる。また、サーバ5203dからの指令を上記の家電制御機器等のコントローラ5203cが受け、電源5203bを1時間に数回、数十秒間、電圧を間欠的に与えデューティ比を1/100程度にする。そうすることで、太陽電池パネルに搭載される通信用ICの劣化があまり進まないため、常時、印加電圧を与えておく方式に比べて、永い寿命を確保できるという効果がある。
次に、図186のステップS5097で家電制御装置(SEG)と機器とのメーカやプロトコルが違う場合の処理の一例についてを、図190を用いて説明する。
図190は、家電制御装置(SEG)と機器とのメーカやプロトコルが違う場合に機器と家電制御装置(SEG)とが接続するための手順を示すフローチャートである。
なお、この家電制御装置(SEG)は、コントローラとも呼ぶ。
まず、ステップS5201aで、モバイル端末は読み取りモードに設定される。
次に、ステップS5201bで、モバイル端末は、家電制御装置(SEG)にタッチされて、家電制御装置(SEG)と近接無線通信を確立する。
そして、ステップS5201cで、モバイル端末は、例えばメーカ名、機器ID、製品番号、サーバアドレスなど家電制御装置(SEG)のデータを読み取る。
次に、ステップS5201dにおいて、モバイル端末は、家電制御装置(SEG)からサーバアドレスを得たかどうかを判定し、Yesの場合はステップS5201eへ進む。
次に、ステップS5201eで、モバイル端末は、そのサーバアドレスにアクセスし、ステップ5201fで接続し、接続が成功した場合には(ステップS5201fのYes)、図188のステップS5201iへと進む。
一方、ステップS5021dまたはステップS5201fでNoの場合は、ステップS5201gに進む。すなわち、モバイル端末は、ステップS5201gで家電制御装置(SEG)のメーカまたは品番のサーバアドレスにアクセスする。
次に、ステップS5201hで、モバイル端末は、メニュー画面で家電制御装置(SEG)のメーカ、品番を表示する。
そして、ユーザは、メニュー画面でその家電制御装置(SEG)のメーカ、品番を選択する。
モバイル端末は、ユーザの選択を受け付けて、図191のステップS5201iへ進む。
次に、家電制御装置(SEG)のソフトのバージョンアップ方法について図191を用いて説明する。
まず、ステップS5201iで、モバイル端末は、初期メニューを表示する。そして、ユーザは、初期メニューのうち、家電制御装置(SEG)と新しい機器(例えば、n番目の太陽電池パネル)を接続するメニューを選択する。
次に、ステップS5201kにおいて、モバイル端末は家電制御装置(SEG)のソフトやファームウェアの新しいバージョンがあるか否かを判定する。
家電制御装置(SEG)のソフトやファームウェアの新しいバージョンがある場合(ステップS5201kのYes)、ステップS5201mにおいて、モバイル端末はサーバから新しいバージョンのソフトをダウンロードする。そして、モバイル端末は、画面にインストール開始を指示するための「インストール」ボタンを表示する。
次に、ステップS5201nで、モバイル端末は、「インストール」ボタンが選択されたかを判断する。「インストール」ボタンが選択された場合(ステップS5201nでYes)、ステップ5201pで、モバイル端末は、家電制御装置(SEG)とサーバとを認証した上で家電制御装置(SEG)のバージョンアップを実施する。図192のステップS5201qへ進む。なお、家電制御装置(SEG)のバージョンアップを実施するのは、モバイル端末でなくてもよく、モバイル端末からの命令を受けて、家電制御装置(SEG)が行うとしてもよい。
なお、ステップS5201kにおいてNoの場合すなわち家電制御装置(SEG)のソフトやファームウェアの新しいバージョンがない場合、またはステップS5201nでモバイル端末の「インストール」ボタンが選択されない場合は、図193のステップS5202qへ進む。
図192は、実施の形態20における家電制御装置(SEG)に新しいバージョンのソフトをインストールする手順を示すフローチャートである。
まず、ステップS5201qで、モバイル端末は、家電制御装置(SEG)がサーバと接続されているかを判断する。そして、家電制御装置(SEG)がサーバと接続されている場合(ステップS5201qでYes)、ステップ5201tにおいて、モバイル端末は、家電制御装置(SEG)とサーバと認証を行う。
次に、モバイル端末は家電制御装置(SEG)とサーバとの認証が完了すれば、ステップS5202aで、家電制御装置(SEG)にサーバから新しいバージョンのソフトをインストールさせる。
次に、ステップS5202bで、そのインストールが完了したかを確認し、完了を確認した場合には(ステップS5202bのyes)、図193のステップS5202gへ進む。なお、ステップS5202bで、そのインストールが完了しなければ、ステップS5201tに戻る。
一方、ステップS5201qで、家電制御装置(SEG)がサーバと接続されていない場合(ステップS5201qでNo)、ステップS5201rで、モバイル端末は新しいバージョンのソフトをサーバよりダウンロードする。
次に、ステップ5201sで、そのダウンロードが完了したかを確認し、完了を確認した場合には(ステップS5201sのYes)、ステップS5202cで、モバイル端末は、「家電制御装置(SEG)にm秒間タッチして下さい」と表示する。
次に、ステップS5202dで、モバイル端末は、家電制御装置(SEG)と近接無線通信を確立したかを判断する。
次に、モバイル端末は、家電制御装置(SEG)と近接無線通信を確立しているのを確認した場合(S5202dのYes)すなわち、モバイル端末が家電制御装置(SEG)のアンテナ部にタッチされた場合は、ステップS5202eで、モバイル端末は、家電制御装置(SEG)と近接無線通信を確立したと判断し、近接無線通信(直接NFC)などで家電制御装置(SEG)に新しいバージョンのソフトを送信し、インストールさせる。
なお、モバイル端末は、家電制御装置(SEG)と近接無線通信を確立しているのを確認できない場合(S5202dのNo)、ステップS5202cへ戻る。
次に、ステップS5202eで、家電制御装置(SEG)がインストールを完了したかを確認し、完了を確認した場合には(ステップS5202fのyes)、図193のステップS5202gへ進む。
なお、ステップS5201sで、家電制御装置(SEG)がインストールを完了していない場合(ステップS5202fのNo)は、ステップ5202cへ戻る。
次に、家電制御装置(SEG)のソフトのバージョンは最新の状態であり、かつ、家電制御装置(SEG)の位置で事前に接続機器の情報を持っている場合のフローを、図193を用いて説明する。
図193は、実施の形態20における家電制御装置(SEG)と接続対象の機器とを接続するための手順を示すフローチャートである。
まず、ステップS5202gでモバイル端末は家電制御装置(SEG)がサーバに接続されているか?を確認する。
ステップS5202gでYesの場合、ステップ5202hで、モバイル端末は家電制御装置(SEG)とサーバ経由で接続する。一方、ステップS5202gでNoの場合は、ステップ5202iで、モバイル端末は家電制御装置(SEG)と例えば無線LANやZigBee(登録商標)等の無線のイントラネット経由で接続する。
次に、ステップS5202jにおいて、メニュー画面等でモバイル端末を「機器接続モード」に設定する。すると、モバイル端末は、例えば「接続機器のメーカ名は?」と表示する。
次に、ステップS5202kで、接続する機器(エアコン、洗濯機、TV.レコーダ等)のメーカ名や型番や製造番号がわかっている場合(ステップS5202kでYes)、ユーザは、モバイル端末の画面上でメーカ名や品名、型番を選択もしくは入力する。
すると、ステップS5202mで、モバイル端末は、入力されたデータをサーバに送る。そして、サーバは、モバイル端末より送信された機器の情報から機器の通信規格、ミドルウェア、アプリケーション等のプロトコル情報を調査する。
次に、ステップ5202pで、サーバは、家電制御装置(SEG)の通信プロトコルと接続対象の機器の通信プロトコルとを用いて、正常な通信が可能かを確認する。Yesの場合は、図195のステップS5203eへ進む。
なお、上記ステップS5202kでNoの場合、図195のステップS5203eへ進む。また、ステップS5202pで、Noの場合、図194のステップS5202qへ進む。
次に、図194を説明する。図194は、実施の形態20における家電制御装置(SEG)と接続対象の機器とを接続するための手順を示すフローチャートである。
まず、ステップS5202qで、サーバは、新しいバージョンの通信プロトコル(物理層、ミドルウェア、アプリケーション層)を探し、モバイル端末または家電制御装置(SEG)に送る。
次に、ステップS5202rで、モバイル端末は、「新しいバージョンの通信プロトコルをダウンロードするか?」と表示する。
次に、ステップS5202sで、モバイル端末は、画面上に表示するOKボタンが押されるか否かにより、新しいバージョンの通信プロトコルをダウンロードするか否かを判断する。Yesの場合は、ステップS5202uへ進む。Noの場合は、ステップS5202tへ進み、モバイル端末は「この機器とは通信接続できません」と表示する。
次に、ステップS5202uにおいて、モバイル端末は、家電制御装置(SEG)とサーバとが接続していて、かつ通信プロトコルのデータが大きいかどうかを判定する。
ステップS5202uでYesの場合、ステップS5203aで、モバイル端末は、家電制御装置(SEG)と接続機器との通信を開始させる。具体的には、モバイル端末は、家電制御装置(SEG)へ直接、インストール命令や暗号通信用の鍵、認証データを送り、家電制御装置(SEG)はサーバが設定した時間内に、サーバから接続機器用の通信プロトコルをダウンロードする。このようにして、家電制御装置(SEG)と接続機器との通信が開始される。
次に、ステップS5203bで、モバイル端末は、家電制御装置(SEG)と接続機器との通信が成功したかを判断する。ステップS5203bで通信が成功した場合、図195のステップS5203eへ進み、通信が成功しなければ、ステップS5202rへ戻る。
一方、ステップS5202uで、Noの場合、ステップS5203cへ進む。ステップS5203uでは、モバイル端末は、通信プロトコルをダウンロード後に、その通信プロトコルを家電制御装置(SEG)に送り、インストールする。具体的には、モバイル端末は、通信プロトコルを一旦、ダウンロードして、家電制御装置(SEG)とサーバと相互認証した上で、暗号鍵を共有する。そして、モバイル端末は、ダウンロードした通信プロトコルを家電制御装置(SEG)、直接NFC等で通信プロトコルを送り、家電制御装置(SEG)にインストールする。
次に、ステップS5203dで、モバイル端末は、家電制御装置(SEG)に通信プロトコルがインストールできたか否かを判断する。ステップ5203dでインストールが成功していると判断すれば、図195のステップS5203eへ進み、成功していないと判断すれば、ステップS5202uへ戻る。
次に、図195を説明する。図195は、実施の形態20における家電制御装置(SEG)と接続対象の機器とを接続するための手順を示すフローチャートである。
まず、ステップS5203eで、モバイル端末は、利用者により「新しい機器を接続設定する」モードが選択されたかを判定する。
ステップS5203eで、Yesの場合、ステップ5203fで、モバイル端末は、家電制御装置(SEG)と暗号通信を確立する。具体的には、モバイル端末は、ユーザにより家電制御装置(SEG)にタッチされて、モバイル端末と家電制御装置(SEG)との暗号通信を確立する。ここで、暗号通信とは、インターネットもしくは無線LAN等のNFC以外の宅内ネットワークとの暗号通信を意味する。
次に、ステップS5203gで、モバイル端末は、「n分以内に機器の所へ移動して下さい」という表示をする。
次に、ステップ5203hで、操作者(ユーザ)は、モバイル画面の表示を見て、移動を開始する。すなわち、モバイル端末は、操作者(ユーザ)により移動が開始され、図196のS5203iに進む。
なお、ステップS5203eにおいて、Noの場合、ステップS5203eの処理を再度、試みる。
次に、図196を用いて3Dマッピングについて説明する。図196は、実施の形態20における家電制御装置(SEG)と接続対象の機器とを接続するための手順を示すフローチャートである。
まず、ステップS5203iで、モバイル端末は、家電制御装置(SEG)との相対3D座標情報を得る。具体的には、モバイル端末は、角度センサ、地磁気センサおよび加速度センサの少なくとも1つを用いて家電制御装置(SEG)の位置を基準としてもモバイル端末の位置の変化を3次元で測定する。そして、モバイル端末は家電制御装置(SEG)との相対3D座標情報を得る。
次に、ステップS5203jで、モバイル端末は、機器に到着したかを判断する。具体的には、モバイル端末は、例えば図176に示す1階のエアコン、2階のエアコン、1階の電子レンジ、洗濯機、TV、レコーダなどの機器に到着したか否かを判定する。ステップS5203jでYesの場合は、ステップS5203kへ進み、Noの場合はステップS5203iへ戻る。
次に、ステップS5203kで、操作者(ユーザ)は、到着した機器に第1無線部(NFCなど)および第1アンテナ部などを備えているかを判定する。Yesの場合は、ステップS5203nへ進み、機器の第1アンテナ部にタッチし、モバイル端末と機器との近接無線通信を確立する。ステップS5203pで、モバイル端末は、機器の情報を読み込み、サーバに送る。具体的には、モバイル端末は、機器のMACアドレス、ネットワークIDを読み込み、サーバに送る。
次に、ステップS5203gで、モバイル端末は、機器の3D座標の位置情報をサーバに送る。
次に、ステップS5203rで、モバイル端末は、機器と家電制御装置(SEG)との通信プロトコルが一致しているかをチェックする。ここで、Yesの場合はステップS5203sへ進む。一方、Noの場合は、ステップS5203zへ進み、モバイル端末は、上述したような家電制御装置(SEG)の通信プロトコルの変更ルーチンを実施して、ステップS5203sへ進む。
ここで、操作者(ユーザ)は、例えば、家電制御装置(SEG)と機器との接続開始ボタンを押すことにより、家電制御装置(SEG)と機器とを接続開始させる。
次に、ステップS5203tで、モバイル端末は、秘密鍵(時間期限付)を発行し、機器に送信命令とともにNFCなどの近接無線通信を用いて送る。このとき、家電制御装置(SEG)にも同様に送る。なお、秘密鍵は、モバイル端末が発行することに限られず、サーバが発行するとしてもよい。
次に、ステップS5203uで、モバイル端末は、モバイル端末は、家電制御装置(SEG)と機器とに認証を開始させる。ここで、モバイル端末は、家電制御装置(SEG)と機器とが直接通信を行うと家電制御装置(SEG)と機器とが認証を開始したと判断する。そして、ステップS5203xで認証が完了すると、接続が完了する。なお、ステップS5203xで認証が完了されなければ、ステップS5203nへ戻る。
なお、ステップS5203kで、Noの場合(NFC通信ができない場合)は、ステップS5203lへ進み、モバイル端末のバーコードリーダ(もしくは目視)で読み取ることで、メーカ名、製品名、製品型番、製造番号などの機器の情報をモバイル端末に入力する。次いで、ステップS5203nで、モバイル端末は入力された上記データ(機器の情報)をサーバに送り、図197のステップS5204aへ進む。
続いて、図197の説明をする。図197は、実施の形態20における家電制御装置(SEG)と接続対象の機器とを接続するための手順を示すフローチャートである。
まず、ステップS5204aで、サーバは、モバイル端末から送信された機器の情報から機器と家電制御装置(SEG)の通信規格、ミドルウェア、アプリケーション等のプロトコル情報を調査し、ステップS5204bで、家電制御装置(SEG)の通信プロトコルと接続対象の機器の通信プロトコルとを用いて、正常な通信が可能か否かをチェックする。
ステップS5204bでYesの場合は、図194のステップS5203cへ進む。ステップS5204bでNoの場合は、ステップS5204cへ進み、サーバは、機器に適したバージョンの家電制御装置(SEG)用の通信プロトコル(物理層、ミドルウェア、アプリケーション層)を探す。
次に、ステップS5204dで、モバイル端末は、「機器に適した通信プロトコルをダウンロードするか?」と表示する。
次に、ステップS5204eで、モバイル端末は、画面上に表示するOKボタンを押すか否かにより、新しいバージョンの通信プロトコルをダウンロードするか否かを判断する。このとき、Yesの場合は、図198のステップS5204gへ進み、Noの場合は、ステップS5204fで、モバイル端末は「この機器とは通信できない」と表示する。
次に、図198を説明する。図198は、本発明の実施の形態20における家電制御装置(SEG)と接続対象の機器とを接続するための手順を示すフローチャートである。
まず、ステップS5204gで、モバイル端末は、家電制御装置(SEG)がサーバと接続しているかどうかをチェックする。Yesの場合はステップS5204hへ進み、モバイル端末は、家電制御装置(SEG)と暗号通信可能かどうかをチェックする。具体的には、モバイル端末は、家電制御装置(SEG)とインターネットもしくは無線を介した宅内ネットワーク(NFC以外)で暗号通信可能かどうかをチェックする。
可能な場合、ステップS5204iへ進み、モバイル端末は、接続機器用の通信プロトコルを家電制御装置(SEG)にインストールする。具体的には、モバイル端末は、インターネットもしくは無線LAN等のイントラネットを介して、家電制御装置(SEG)にインストール命令や暗号通信用の鍵や認証データを時間内に送信する。また、モバイル端末、サーバから接続機器用の通信プロトコルを家電制御装置(SEG)にダウンロードする。このようにして、モバイル端末は、家電制御装置(SEG)に接続機器用の通信プロトコルを家電制御装置(SEG)にインストールする。
次に、ステップS5204jで、モバイル端末は、家電制御装置(SEG)に通信プロトコルがインストールされたか否かを判断する。ステップS5204でインストールが成功していると判断すれば、ステップS5204kへ進み、最適の通信プロトコルで機器と家電制御装置(SEG)がNFC以外で無線通信し、認証手順を開始する。ここで、家電制御装置(SEG)と機器とは、両者の3D座標と建物の3D構造データとから互いの距離と障害物とを計算することができるので、計算結果に応じて必要最小限で最適の信号出力を設定する。
次に、ステップS5204mで、モバイル端末は、「接続が開始可能です」または「OKボタンと機器の接続開始ボタンをm秒以内に押して下さい」など、機器側で接続開始指示を促す画面を表示し、図199のステップS5204nへ進む。
一方、ステップS5204gまたはステップS5204hでNoの場合は、ステップS5205aへ進み、ステップS5205aで、モバイル端末は「場所を移動し、家電制御装置(SEG)にタッチして下さい」と表示する。具体的には、モバイル端末は、家電制御装置(SEG)の場所に移動し、モバイル端末を家電制御装置(SEG)にタッチして下さい」と表示する。次いで、ステップS5205bで、モバイル端末は、家電制御装置(SEG)と近接無線通信を確立する。具体的には、操作者(ユーザ)が移動後、家電制御装置(SEG)にタッチすることで、モバイル端末は、家電制御装置(SEG)と近接無線通信を確立する。そして、図194のステップS5203cへ進む。
次に、図199を説明する。図199は、実施の形態20における家電制御装置(SEG)と接続対象の機器とを接続するための手順を示すフローチャートである。
まず、操作者(ユーザ)は、モバイル端末が表示する「OKボタン」を押す。
すると、ステップS5204pで、モバイル端末は、命令を送信し、家電制御装置(SEG)に秘密鍵を発行させて、暗号通信を一定時間継続させる。
続いて、操作者(ユーザ)は、機器側の「接続開始ボタン」を押す。
すると、ステップS5204rで、機器は、秘密鍵(時間限定型)を発行して暗号通信を一定時間継続する。
次に、ステップS5204sで、モバイル端末は、家電制御装置(SEG)と機器とが相互認証されたかをチェックし、ステップS5204tで、相互認証が成功したかを判断する。
S5204tで、相互認証は成功している場合には、ステップS5204uに進み、モバイル端末は、画面上に「家電制御装置(SEG)と機器との接続完了」と表示する。このとき、モバイル端末は、機器に特定の表示等の動作をさせるとしてもよい。
なお、ステップS5204tでNoの場合は、つまり、相互認証が失敗している場合には、ステップS5204xでモバイル端末は「接続に失敗」と表示する。
次に、図200および図201を説明する。図200および図201は、実施の形態20における家電制御装置(SEG)と接続対象の機器とを接続するために中継器を用いた接続手順を示すフローチャートである。
ステップS5206aで、モバイル端末は、接続したい機器と家電制御装置(SEG)と直接の通信は困難かを判断する。具体的には、モバイル端末は、例えばサーバに接続して、サーバまたは家電制御装置(SEG)が接続したい機器の3D座標情報と家電制御装置(SEG)の3D座標情報とから両者の間の距離や障害物が大きいかどうかにより、両者の直接の通信が困難であるかを判定する。
次に、ステップS5206aでの判定がYesの場合、ステップS5206bに進み、モバイル端末は、両者の間にある中継器の位置情報をサーバから取得する。具体的には、サーバは、保持している中継器の3D座標情報から、両者(機器と家電制御装置(SEG))の間にある中継器(例えばPAN coordinator)を検索し、検索した中継器の位置情報をモバイルに通知する。このようにして、モバイル端末は、両者の間にある中継器の位置情報をサーバから取得する。
ここで、必要な場合、操作者(ユーザ)は、モバイル端末をその機器に再度タッチさせる。このように、モバイル端末は、その機器のMACアドレス、ネットワークID(PAN IDなど)、通信プロトコル、通信鍵や3D座標を入手している。
次に、ステップS5206dで、モバイル端末は、家電制御装置(SEG)のMACアドレス、ネットワークID(PAN IDなど)などのネットワークコンフィギュレーション情報を持っているかを判定する。
そして、ステップS5206dでの判定がYesの場合には、図201のステップS5206fへ進む。一方、ステップS5206dでNoの場合は、ステップS5206eへ進み、モバイル端末は、家電制御装置(SEG)と近接無線通信を確立し、ネットワークコンフィギュレーション情報を入手し、図201のステップ5206f(図198)へ進む。具体的には、操作者(ユーザ)が、モバイル端末を持って、家電制御装置(SEG)の所へ行きモバイル端末をタッチさせることにより、モバイル端末と家電制御装置(SEG)との近接無線通信を確立させる。そして、モバイル端末は、家電制御装置(SEG)からそのMACアドレス、IPアドレス、ネットワークID、通信プロトコル、通信鍵、(3D座標、再度)入手する。そして、図201のステップ5206f(図198)へ進む。なお、このとき、サーバは各機器、AEG、中継器の3D座標情報を用いて、ネットワーク全体のコンフィギュレーション(各子機のMACアドレス、サブネットワークのネットワークID(PAN ID))の最適化を行い、このコンフィギュレーション情報が家電制御装置(SEG)に登録されるとしてもよい。
次に、図201を説明する。
まず、ステップS5206fで、モバイル端末は、中継器と近接無線通信を確立し、機器が中継器を介して、家電制御装置(SEG)と接続するように設定する。
具体的には、Zigbee(登録商標)等の中継器の所へ操作者(ユーザ)が移動して、モバイル端末を中継器にタッチさせる。すると、モバイル端末は、中継器と近接無線通信を確立し、中継器の位置情報を再度入手することができる。それとともに、モバイル端末は、サーバ等で機器、中継器、家電制御装置(SEG)の3D座標情報と、操作者(ユーザ)が存在する建物の3D座標とから、最適の上記のネットワークのコンフィギュレーション情報つまり最適の中の中継器のサブネットワーク(PAN ID)間の中継点としての中継接続方法やトポロジーを算出する。モバイル端末は、このコンフィギュレーション情報をNFC経由もしくは家電制御装置(SEG)経由で記録する。なお、サーバがこれを記録するとしてもよい。
モバイル端末は、少なくともNFC経由で記録命令を中継器に送る。その場合、モバイル端末は、機器が中継器を介して、家電制御装置(SEG)と接続するように設定する。具体的には機器(複数でもよい)のMACアドレス、ネットワークID、通信鍵を中継器に登録する。
次に、ステップS5206gで、モバイル端末は機器と中継器との接続が完了したかどうかをチェックする。
完了した場合(ステップS5206gでYes)、ステップS5206hへ進み、完了していない場合(ステップS5206gでNo)、再度ステップS5206fに戻る。
次に、ステップS5206hで、モバイル端末は、中継器にモバイル端末もしくはサーバ、家電制御装置(SEG)の接続情報を記録する。具体的には、モバイル端末は、中継器にモバイル端末もしくはサーバ、家電制御装置(SEG)のMACアドレス、ネットワークID、通信鍵、プロトコルなどの中継先の接続情報をNFCもしくはネットワークを介して記録する。このようにして、MACアドレスが登録されている機器の属するPAN
IDのサブネットワークと家電制御装置(SEG)の属するPAN ID 2つのサブネットワークの下にあるMACアドレスの家電制御装置(SEG)が中継器(PAN coordinator)を介して接続開始される。
次に、ステップS5206iで、モバイル端末は、中継器と家電制御装置(SEG)との接続が完了したかチェックする。Yesの場合は、ステップS5206jへ進み、モバイル端末は、機器と家電制御装置(SEG)との接続認証が完了しているかを判断する。
そして、その接続認証が完了している場合(ステップS5206JでYes)、機器、中継器および、家電制御装置(SEG)の中継が完了したとして処理を終了する。
一方、ステップS5206iでNoの場合、また、ステップS5206jでNoの場合はステップS5206hへ戻る。
以上、図200と図201を用いて説明したように、本発明の3Dマッピングを使うと、モバイル端末は、ZigBee(登録商標)や無線LANの子機、親機、中継器の3Dの位置情報が得られる。これは、モバイル端末が3Dの座標情報を常に持っているためであり、ZigBee(登録商標)や無線LANの子機、親機、中継器の物質的な位置関係(3Dの位置情報)を、各装置にNFCで近接したときや、近接してモバイル端末の入力を行ったときに各装置と通信し、MACアドレス等のネットワークID情報を得ると同時に得ることができるからである。
そして、モバイル端末は、得たデータ(上記装置の3Dの位置情報等)を処理することにより、物理的に最適のネットワークコンフィギュレーション構成を得ることができる。なお、この処理は、モバイル端末ではなく宅内もしくは宅外のサーバで処理するとしてもよい。
このネットワーク構成情報は、具体的には図200の下部に示す例のように、3Dの位置関係がわかっていると容易に演算により求めることができる。ここで、図200の下部に示す構成例は、PANID1には、MACアドレス1の機器と別の機器とMACアドレス3の中継器があり、PANID2にはインターネットプロトコルを搭載したMACアドレス2の家電制御装置(SEG)とMACアドレス5、6の別の機器2、3が無線で接続され、PANID1とPANID2とは中継器を介して接続される構成が最も省電力で安定して、ループが起こらない構成であることを示している。
ところで、ZigBee(登録商標)等の従来方式では、家電制御装置(SEG)と子機とは1対1の構成が求められている。これは中継器を追加すると全体のネットワークコンフィギュレーションを最適設計し、設定する必要があるからであるが、各機器の3Dの位置関係を簡単に知る方法がなかったからである。企業内のネットワークにおいては、費用や手間をかけられるため、可能であるものの、一般家庭のエアコンや電子レンジや太陽電池のような家電機器の場合は、このような費用や手間をかけることができない。そのため中継器の導入は容易でなかった。
しかし、本実施の形態では、NFCでタッチしたり、機器のごく近傍でモバイル端末に入力したりするだけで、機器の位置情報やMACアドレス等、ID情報が得られる。このため、手間、費用をかけることなく、サーバやモバイル端末でコンフィギュレーション情報が得られ、この情報を家電制御装置(SEG)や中継器にモバイル端末を操作して直接もしくは、間接的に記録することにより、簡単に最適のネットワークコンフィギュレーションが構成されるという効果がある。さらに、NFCを使った場合、暗号鍵や3D位置情報等で不正チェックできるため、高いセキュリティも得られる。こうして、中継器の導入が家庭でも可能となり、屋根の上の太陽電池と1階の家電制御装置(SEG)との間や、室内の家電制御装置(SEG)と屋外のヒートポンプや充電システム等の長い距離の無線通信が安定して行われるという効果がある。そして、この場合に、サーバを使うことにより、3D座標を用いた高度の演算を行うことができるため、理想的なネットワークシステムが構築でき、ループなどの異常通信も防止できるため伝送効率を上げられるというさらに効果もある。
(実施の形態21)
本実施の形態では、建築物の3D製品マップを用いて、モバイル端末がリモコンとして機器を操作可能にするシステムについて図面を用いて詳細に説明する。
図202は、プログラム実行部O65で作成した製品の3Dマップの画像データの一例を示す図である。図203は、表示部O68dが図169の画像データと既に表示している図202の画像データを組み合わせた製品の3Dマップの一例を示す図である。図169〜図171と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図202には本実施の形態における建築物の3D製品マップを用いた例えば携帯機器(モバイル端末9である通信装置102による機器制御の一例が示されている。また、図203にはさらに建築物データを加え、建築物のどの部屋に機器が存在するか認識可能な場合の本実施の形態における機器制御の一例が示されている。図202および図203に示すモバイル端末による機器制御の動作を、図204、図205、図206を用いて説明する。図204および図205は、実施の形態21におけるリモコン操作の手順を示したフローチャートである。図206は、図205の動作詳細の意義を説明するためのフローチャートである。
まず、S6001において、モバイル端末はGPS情報を用いて自端末の位置情報を取得する。
次に、S6002において、モバイル端末は、基準点となる位置情報を取得する。具体的には、例えば、モバイル端末が保持する近接通信により開閉する開錠システムと建築物の玄関鍵とが連動する場合に、モバイル端末は、近接通信でその玄関鍵を開錠した際に、その開錠システムの機器IDを取得する。そしてモバイル端末は、取得した機器IDと紐付いている位置情報を基準点として設定する(図203の丸1)。ここで、機器IDと位置情報を紐付けたデータベースは、サーバまたはモバイル端末が保持している。なお、モバイル端末は、近接通信によりその玄関鍵から直接位置情報を取得するとしてもよいし、当然のことながら、開錠システム以外の他の機器からその玄関鍵の位置情報を取得してもよい。また、ユーザはモバイル端末を保持して建築物に入るが、このとき、モバイル端末は、ドアに付加されたセンサの出力情報から、ユーザの建築物への入室を察知し、そのドアの位置を基準点としてもよい。
次に、図203の丸1から丸2まで歩行する場合において、S6003で説明する。すなわちS6003において、モバイル端末は、歩幅情報より、移動距離を算出し、かつ、方向情報より、位置を算出する。具体的には、モバイル端末は、ユーザの宅内での歩幅をデータベースより入手し、加速度センサ、地磁気センサまたは振動ジャイロなどにより当該区間の歩数nを検出する。このようにして、ユーザの歩幅および歩数nを取得し、歩幅×nにより移動距離を算出する。また、モバイル端末は、移動方向を振動ジャイロおよび地磁気センサで検出し、3次元における基準点からの今のモバイル端末の相対位置を算出し、データベースに記録する。
次に、S6004でモバイル端末は、算出した位置情報や移動情報をサーバへ送信する。
次に、図203の丸2にユーザがいる場合について、S6005で説明する。すなわち、S6005において、モバイル端末をTVの方向に向けると、モバイル端末の3D座標とモバイル端末の測定した方向の法線にTVが入ったとき、リモコンになる。具体的には、例えば、図203の丸2すなわちユーザは1階のテレビの前に移動し、モバイル端末の方向をテレビへ向ける。モバイル端末の3次元座標とモバイル端末の測定した方向の法線にTVが入ったとき、モバイル端末は、そのテレビとネットワークで接続するなどにより、テレビのリモコンとなる。
なお、その後、図203の丸3から丸4へユーザが移動し、モバイル端末をエアコンの方向へ向けると、上述同様に、モバイル端末は、エアコンのリモコンとなる。具体的には、ユーザが1階を移動して、和室に入った場合に、エアコンの方向にモバイル端末を向けると、エアコンとモバイル端末はネットワークで接続され、モバイル端末はエアコンのリモコンとなる。このとき、モバイル端末は、S6003と同様に、ユーザの歩幅および歩数から移動距離を検出し、モバイル端末の3次元位置情報を算出する。そして、この3次元位置情報をモバイル端末もしくはサーバのデータベースで保持する。
さらに、図205のS6007において、図203の丸4から丸5まで移動した際の、歩数により移動距離を計算し、モバイル端末もしくはサーバのデータベースで保持する。このようなデータベースに保存されたユーザごとの場所別歩行履歴によりユーザの歩幅を学習し、精度を向上させる。
そして、S6008において、宅内の階段に到達すると、階段の1段の段差と1段の長さをそれぞれm、kとすると歩数×mが高さの変化、歩数×kが水平移動距離として算出する。m、kはデータベースに記録し、過去のデータより学習させ、精度を高める。
S6009において、例えば、エレベータにより階を上がる場合を考える。この場合、建築物のエレベータの特性データをデータベースに記録し、P階からQ階への所要時間rを取得し、所要時間から移動後の階数を測定する。P、Q、rは過去データからの学習により精度を上げることも可能である。また、エレベータの上昇開始と停止は加速度センサの情報から得る。
S6010において、階の移動が終了したと判断された場合、S6011に移行する。
S6011において、水平方向の移動距離を、歩幅×歩数で方向を振動ジャイロで得て、モバイル端末の3次元の位置情報を得る。建物の3次元構造データがあれば位置情報を校正し、精度を上げる。そして例えば、2階のテレビの左前方位置(図203丸5の位置)でユーザは一旦停止する。
S6013において、3次元位置情報の累積誤差Eが設定された誤差許容値より大きいかどうか判断する。累積誤差Eは、移動距離×5%で算出される。累積誤差Eが誤差許容値より大きいと判断された場合、S6014に移行する。
S6014において、相対もしくは絶対の位置情報がデータベースに登録されている機器をデータベースから探し出し、最も近い機器をモバイル端末の画面上に提示する。操作者はこの機器にモバイルのカメラを向ける。カメラに撮影された画像より、機器を認識し、モバイル端末とその相対角度、距離を演算し、基準位置を補正する。
続く、S6015において、機器の機器IDから、機器のネットワーク情報(MACアドレス、IPアドレス、通信鍵など)を入手し、機器とモバイルとを接続する。モバイル端末が指し示す機器にRockボタンを押すとモバイル端末と機器の接続が固定され、リモコンとして用いたり、機器の映像データなどがモバイル画面に表示されたりする。
最後に、モバイル端末は、リモコン操作機能を終了する。
なお、S6007〜S6011の動作は、図205のS6017に示すように、モバイル端末が、過去のデータを学習することにより、移動距離の算出精度を上げ、精度のよい3次元の位置情報を得るための動作である。また、S6013の動作は、図205のS6018に示すように、3次元の位置情報の累積誤差が大きいかを判断する動作を示している。また、S6014は、図205のS6019に示すように、3次元の位置情報(基準位置)の誤差を補正する動作を示している。
以上のような処理により、モバイル端末は、基準点からの相対位置を取得することが可能となり、正確な絶対位置情報を必要とせずに、機器へ向けるだけでモバイル端末を機器のリモコンとすることができる。
また、加速度センサによる移動距離測定の誤差が大きい場合、歩幅や機器の位置情報などを用いて、位置情報の誤差を軽減することが可能となる。
図207は、実施の形態21におけるモバイル端末の基準点情報が不正確な場合に正確な基準点を取得する処理を説明するためフローチャートである。
まず、ユーザは、モバイル端末が基準点を取得できていないまたはモバイル端末の基準点情報が不正確であると判断した場合、S6021で、モバイル端末で機器を撮影する。ここで、モバイル端末は、撮影した機器の画像(撮像画像)をサーバへ送信するとしてもよい。
次に、S6023において、モバイル端末は、撮影画像から機器の種類を認識する。続くS6024において、機器のみの画像をフィルタリングし、サーバへ送信する。
次に、S6026において、サーバは、モバイル端末の位置から、現在の建物を特定し、建物の中の機器リストから機器を特定する。具体的には、サーバは、モバイル端末の基地局情報やGPS等でおおよそのモバイル端末の位置を取得し、現在いる建築物を特定する。それとともに、サーバは、その建築物と紐付いている機器リストから撮影された機器を特定する。また、サーバは、機器の大きさや3D形状情報を得た後、その情報をデータベースに保存する。なお、モバイル端末の現在の位置が不明のときはモバイル端末の所有者に紐付いている機器リストから特定するとすればよい。
次に、S6027において、モバイル端末またはサーバは、画像中で機器の向いている方向からモバイル端末と機器との相対角度を算出する。
次に、S6028において、モバイル端末またはサーバは、モバイル端末の光学特性情報からズーム倍率等に基づき、その撮像画像からモバイル端末と機器との距離を算出する。
次に、S6029において、モバイル端末またはサーバは、モバイル端末と機器との距離および相対角度より、モバイル端末と機器との3次元の相対座標で表される位置情報Prを得る。
S6030において、モバイル端末の建物内での相対もしくは絶対位置のPmを演算する。具体的には、サーバまたはモバイル端末は、サーバまたはモバイル端末に記録されている機器の相対もしくは絶対位置の3次元座標情報Pdを、サーバまたはモバイル端末から読み出し、PrとPdからモバイル端末のその建築物内の相対もしくは絶対位置のPmを演算する。
最後に、S6031において、モバイル端末の基準点となる位置情報としてPmを設定する。
以上のような処理により、モバイル端末の電源投入直後など基準点が設定されていない場合においても、モバイル端末の基準点が撮影画像を用いて取得することが可能となる。また、撮影画像から機器のみの画像にフィルタリングすることで、ユーザは宅内の情報などプライバシーを気にすることなく、機器の画像をサーバへ送信することが可能となる。
図208、図209に、機器と機器が属するネットワークの親機との接続手順の処理フローを示したフロー図を示す。図208および図209は、実施の形態21における機器にNFC機能がない場合に機器との接続手順を示すフローチャートである。
まず、ユーザは、モバイル端末を接続したい機器の方向へ向け、モバイル端末のカメラで機器を撮影する。
次に、S6112において、モバイル端末は、自分の位置情報(3Dの座標情報など)に基づき、撮影した機器の画像を処理して機器を認識する。モバイル端末は、機器を認識するとその機器の種類、型番とラフな機器の位置情報(3D座標など)を得ることができる。なお、モバイル端末は、認識した機器の種類、型番とラフな機器の位置情報(3D座標など)をモバイル端末またはサーバが持つデータベースを用いて得る。
次に、S6113において、モバイル端末は、接続しようとしている機器が既にサーバもしくはモバイル端末のデータベース内に登録されている機器かを判断する。具体的には、モバイル端末は、サーバまたはモバイル端末のデータベースを用いて得た位置情報の近傍に登録されている機器の候補機器の情報を取得し、この候補の機器と撮影された機器との画像のマッチングを行い、認識した機器が登録機器かを確認する。
S6113において、接続しようとしている機器が既にサーバもしくはモバイル端末のデータベース内に登録されている機器と判断された場合、S6114に移行する。
S6114において、モバイル端末は、機器ID等を取得して、機器とネットワークで接続する。具体的には、モバイル端末は、サーバもしくはモバイル端末のデータベースから機器ID、接続プロトコル、通信鍵、サーバアドレスを取得して、機器とネットワーク
で接続する。
続くS6115において、モバイル端末は、機器の位置情報とモバイル端末の方向とにより、様々なコマンドを発生させる。
一方、S6113において、モバイル端末は、接続しようとしている機器が既にサーバもしくはモバイル端末のデータベース内に登録されていない機器と判断する場合、S6116に移行する。
次に、S6116において、モバイル端末は、機器がネットワーク機能を有するかを判断する。なお、モバイル端末は、機器の型番が認識可能かを判断するとしてもよい。機器の型番が認識できれば、ネットワーク機能を有するか判断できるからである。
機器はネットワーク機能を有さない、もしくは、モバイル端末が機器の型番を認識可能でないと判断された場合(S6116のNo)、S6117に移行する。
次に、ユーザは、例えば機器の蓋を開けて機器が保持する2次元バーコードを露出させて、モバイル端末のカメラで機器のバーコードを撮影する(S6117)。
次に、S6118において、モバイル端末は、2次元バーコードの暗号データを解読し、解読したデータを、サーバもしくはモバイル端末のデータベースに記録する。具体的には、モバイル端末は、2次元バーコードを読み取り、2次元バーコードの暗号データを解読する。ここで、解読されるデータとは、例えば機器ID、接続用通信プロトコル、通信規格、リモコン機能(赤外線リモコン用もしくは無線ZigBee(登録商標)用など)、ネットアドレス(MACアドレス、IPアドレス、通信鍵)やサーバアドレスなどである。モバイル端末は、読み出したデータをサーバもしくはモバイル端末のデータベースに記録する。
次に、S6119において、モバイル端末は、機器の3次元位置情報を演算し、データベースに記録する。具体的には、モバイル端末は、サーバもしくはモバイル端末のデータベースから機器の3次元の形状情報を得る。そして、モバイル端末は、撮影画像とモバイル端末の撮影時の3次元位置情報とから機器の3次元位置情報を演算し、データベースに記録する。
また、S6116において、機器にネットワーク機能を有し、モバイル端末が機器の型番を認識可能であると判断された場合、S6121に移行する。その際、機器がAOSS機能を有するかどうか判断するとしてもよい。
次に、S6121において、モバイル端末が親機と通信できるかどうか判断し、モバイル端末が親機と通信できると判断された場合、S6122へ移行する。ここで、親機とは、例えば家電制御装置(SEG)、無線LANのAP等である。
次に、S6122において、機器が赤外線通信受信もしくは無線リモコン(ZigBee(登録商標)など)受信機能を保持するかどうかを判断する。つまり、機器が親機以外の機器と通信可能を判断する。
S6122において、機器が赤外線通信受信もしくは無線リモコン(ZigBee(登録商標)など)受信機能を保持しないと判断された場合(S6122のNo)、S6123に移行し、使用者のAOSS開始命令により、機器の親機と機器とは接続認証を開始する。具体的には、S6123において、使用者は、モバイル端末上の「接続開始ボタン」を押すと、モバイル端末は、機器の親機にAOSS命令を送り、機器の親機のモードを登録可能モードに切り替えさせる。同時に使用者は、機器のAOSSボタンを押すと、機器の親機と機器との接続認証を開始させ、一定時間続ける。なお、このとき、親機の3Dの位置情報と機器の3D位置情報から両間の距離と障害物から必要最小限の電波出力に制御し、通信の安全性を高めるのが好ましい。
次に、S6124において、機器の親機と機器との接続認証が成功したかどうか判断し、接続認証ができていると判断された場合は、S6126に移行する。
一方、S6122において、機器が赤外線通信受信もしくは無線リモコン(ZigBee(登録商標)など)受信機能を保持すると判断された場合、S6125へ移行する。
次に、S6125において、モバイル端末は、機器と同じ通信プロトコルの親機に通信鍵と「AOSS開始命令」を送り、同時に、機器に通信鍵と「AOSS命令」を送り、相互認証を開始させる。具体的には、使用者がモバイル端末の接続開始ボタンを押すと、モバイル端末は、機器と同じ通信プロトコルの親機に通信鍵と「AOSS開始命令」を送る。同時にモバイル端末はリモコン送信機能を用いて機器に通信鍵と「AOSS命令」を送り、機器とその親機との相互認証を開始させる。
次に、S6126において、モバイル端末は、その相互認証が完了したかどうか判断し、完了していないと判断した場合は、S6125へ移行する。S6126において、相互認証が完了したと判断した場合は、S6127に移行し、親機と機器との接続が完了したかどうか判断する。
そして、モバイル端末は、S6127で接続が完了したと判断する場合、機器IDや製品番号、アドレス、エラーコード、使用時間、履歴、3次元の位置情報を機器に親機経由でサーバに送らせる。
次に、S6129において、モバイル端末は、機器の3次元位置情報を演算する。具体的には、モバイル端末は、機器の製品番号から機器の3次元の形状情報をデータベースから得て、撮影した画像からモバイル端末からの距離、3次元の方向とモバイル端末の撮影時の位置情報から機器の3次元位置情報を演算する。そして、モバイル端末は、演算したこの位置情報をサーバもしくはモバイル端末のデータベースに記録する。
以上のような処理により、機器に近接通信機能が付加されていない場合においても、2次元バーコードを用いて、簡単に機器と親機が接続可能となり、機器のサーバ登録や3次元位置情報のサーバ登録ができる。
続いて、3Dマッピングについて説明する。図210〜図212は、実施の形態21における位置情報登録法を示すフローチャートである。
3Dマッピング開始後、操作者(ユーザ)は、モバイル端末を移動させる。ここで、操作者は、モバイル端末を土地境界点の位置に移動している場合を例にとり、以下説明する。
ステップ6140cで、モバイル端末は、GPS情報をサーバに送り、3D絶対座標を入手する。具体的には、モバイル端末は、GPS情報をサーバに送り、例えばモバイル端末が存在する位置の近傍の土地境界線マークもしくは測量基準点のID等を含む3D絶対座標を入手する。そして、モバイル端末は、入手した3D絶対座標を、絶対位置の3D座標データベースに入力する。なお、モバイル端末は、上述したように、相対位置の3D座標と絶対位置の3D座標の2つを持つ。
次に、ステップ6140dで、モバイル端末は、GPSからモーションセンサによる位置検出に切り替えて、3D座標を演算する。具体的には、モバイル端末は、GPSからモーションセンサによる位置検出に切り替える。そして、歩数および歩幅により距離を、振動ジャイロにより方向を入手して、3D絶対座標を基準に距離と方向とを加味した3D座標を演算している。
次に、S6140eで、モバイル端末は、近接無線通信が確立したときの3D座標を記録する。具体的には、ユーザが例えば建物の鍵のNFC部にタッチして、鍵を開けるとする。モバイル端末は、建物の鍵のNFC部にタッチされて近接無線通信が確立したときの3D座標を自端末(モバイル端末)やサーバのデータベース、鍵のNFCに記録する。
次に、S6140fで、モバイル端末は、さらに、ユーザの歩数と歩幅と方向により3D座標を演算する。具体的には、モバイル端末は、ユーザが建物の中に入ると、ユーザの歩数と歩幅と方向とにより3D座標を演算する。なお、このとき、3軸の磁気センサの精度が雑音等により悪くなった場合は、振動ジャイロの方向情報に切り替えるとする。
次に、S6140gで、モバイル端末は、その機器の3D位置情報を更新するとともに高精度位置情報識別子を3D座標とともに記録する。具体的には、モバイル端末は、基準点(3D絶対座標)から移動した距離が短い場合は、位置精度が高いと判断する。そのため、ユーザが既に3D位置情報が登録されている機器のNFCのアンテナ部にタッチしてモバイル端末と機器との近接無線通信を確立すると、モバイル端末は、その機器の3D位置情報を更新するとともに3D位置情報の精度が高いことを示す高精度位置情報識別子を、NFC、サーバもしくは自端末(モバイル端末)のデータベースに3D座標とともに記録する。
次に、S6140hで、モバイル端末は、3D座標の累積誤差が予め定めた値以上かどうかをチェックする。具体的には、モバイル端末は、3D座標の累積誤差PE>一定値かどうかをチェックする。
S6140hで、Yesの場合は、S6140iへ進み、モバイル端末は、高精度位置識別子が付与されている機器をモバイル端末の近傍から探し出し、探し出した機器 とともに「その機器のNFCのアンテナ部にタッチして下さい」という命令を画面上に表示する。具体的には、モバイル端末は、TVやエアコンや電子レンジや冷蔵庫の家の中のNFCが付いた機器の中で、高精度位置識別子が付与されている機器をモバイル端末の近傍から探し出し、探し出した機器(TVなど)をモバイルの画面に表示し、「この機器のNFCのアンテナ部にタッチして下さい」という命令を画面上に表示する。そして、図212のS6140jへ進む。
一方、S6140hで、Noの場合は、図212のS6140nへ進む。S6140hにおいて、モバイル端末は、3Dの基準座標を更新し、高精度位置識別子をDBに記録する 。具体的には、モバイル端末は、例えば、階段の1段目を登るときや最終段が終わったとき、閉まっているドアの前で止まったとき、エレベータが昇り始めたとき、止まったとき、閉まっている玄関ドアの前で止まったとき、玄関の段差を上がったとき、はしごを登り始めたとき、廊下の曲がり角を曲がったとき、家の出張った壁を迂回したとき、加速度センサで検知することができる。そして、モバイル端末は、加速度センサで検知した時点のモバイル端末の3D座標情報を建物の3D座標情報とマッチング処理をすることにより、3Dの基準座標を更新することができる。このような処理により3D基準座標の精度を高めることができる。そして、このとき、更新した3Dの基準座標を高精度位置識別子とともにDBに記録する。
次に、S6140jで、モバイル端末は、機器と近接無線通信を確立したかを判断する。具体的には、モバイル端末は、使用者が機器のアンテナ部にタッチして機器と近接無線通信を確立したかを判断する。そして、Yesの場合は、S6140kへ進む。
次に、S6140kで、モバイル端末は、機器の3D座標と、自端末(モバイル端末)の3D座標とが大幅に異なるか否かをチェックする。Yesの場合は、S6140pへ進み、モバイル端末は、機器が前回測定した座標から移動したと判断し、誤情報識別子をその機器のデータベースに記録する。
ここで、もし近くに高精度位置識別子が付いた機器がある場合、操作者(ユーザ)はその機器にタッチすることで、モバイル端末が保持する3D座標を更新し、S6140kで元の位置が違っていると判断された機器に再びタッチして、正しい位置情報をデータベースに記録する。このとき、データベースにおいて、誤情報識別子に変えて高精度を示す位置精度識別子をこの機器に対して付与するとすればよい。このようにして、機器に高精度な位置情報を紐付けることができる。
一方、S6140jで、Noの場合は、S6140nへ進む。S6140の処理については上述したため、説明を省略する。
また、S6140kで、Noの場合は、S6140mへ進み、その機器の2Dもしくは3Dの座標をモバイル端末の3D位置座標として更新する。このようにしてモバイル端末の3座標が正確になる。そして、S6140nに進む。
(実施の形態22)
以下、通信装置としてのモバイル機器と機器との連携について説明する。
図213は、本発明の実施の形態22におけるモバイル機器と連携機器の様子について説明するための図である。
図213において、モバイル機器の表示画面9001、9002、9003はすべて同一のモバイル機器9000の表示画面の一例を示している。
すなわち、モバイル機器9000の表示画面9001は、使用者がモバイル機器9000を手に持ち、モバイル機器9000をTV機器9004に向けたときの様子を示している(丸A)。丸Aでは、モバイル機器9000の表示画面9001がTV機器9004に転送され、TV機器9004にも表示される様子を示している。
同様に、モバイル機器9000の表示画面9002、9003はそれぞれ、使用者がモバイル機器9000をレコーダ機器9005、電子レンジ9006に向けたときの様子を示している(丸B、丸C)。丸Bでは、モバイル機器9000の表示画面9002には、レコーダ機器9005を操作するためのリモコン画面が表示されており、リモコン画面の所望のボタンを押下することで、レコーダ機器9005を操作する様子を示している。また、丸Cでは、モバイル機器9000の表示画面9002には、電子レンジ9006を操作するためのレシピ画面が表示されている様子を示している。なお、図中の上部と下部とに示すモバイル機器9000は、例えばTV機器9004の表裏関係なく適切に動作するということを表している。
図214は、実施の形態22におけるモバイル機器9000と連携機器の一例であるTVのそれぞれの表示画面を示した図である。図215〜図219は、実施の形態22における手続きを示すフローチャート図である。
まず、図215を用いて、使用者が所望の連携機器を選択するまでの処理について説明する。
最初、モバイル機器9000は、モバイル機器位置の取得を行う(S9302)。すなわち、モバイル機器は、1)カメラで機器を探る2)距離センサの情報を取得する3)機器との近接無線通信を確立する4)位置特定が可能となる特定の電波を受ける、などに基づき、モバイル機器の基準位置を演算または特定することで、モバイル機器位置を取得する。なお、モバイル機器位置の取得方法についての詳細は、図204を用いて既に説明しているため、ここでは省略する。
次に、モバイル機器9000は、丸Aの方向へ向けられる。具体的には、使用者(ユーザ)は、モバイル機器9000を、所望の機器(ここではTV機器9004)の方向に向ける(S9303)。
このとき、モバイル機器9000は、向けられている方向の機器の候補をデータベースより抽出する(S9304)。具体的には、モバイル機器9000は、モバイル機器9000とTV機器9004との3D(相対もしくは絶対)座標情報、モバイル機器9000の向いている方向を示す方向情報、機器(ここではTV機器9004)の姿勢情報、および機器(ここではTV機器9004)の面積情報などから、モバイル機器9000が向けられている機器の候補をデータベースより抽出する。
ここで、モバイル機器9000は、モバイル機器9000が向けらている方向に機器の候補が複数あるかを確認する(S9305)。機器の候補が複数ある場合(S9305のYes)、モバイル機器9000は、複数の機器のリストを位置関係と共に画面に表示する(S9306)。
次に、モバイル機器9000は、モバイル機器9000が向けらている方向が変わったかを判断する(S9307)。モバイル機器9000が向けらている方向が変わった場合、すなわち使用者がモバイル9000機器の向きを変えた場合(S9307のYes)、モバイル機器9000は、向きに応じて機器の表示を変更する。具体的には、モバイル機器9000は、モバイル機器9000の変えられた向きに応じて、モバイル機器9000の向きの中心にあるらしさに従い、モバイル機器9000画面上の機器の表示を変化させる。
ここで、モバイル機器9000の表示画面上での機器の表示は、モバイル機器9000の向きの中心にある程、中央に表示される。なお、中央に表示されるだけに限らず、上部に表示される、または、または最も中央にある機器にターゲットカーソルが表示されるなどであってもよい。
また、モバイル機器は、Rockボタンの押下を検知している(S9309)。Rockボタンの押下を検知した場合(S9309のYes)、S9310へと進む。具体的には、使用者が希望する機器が中央に表示されたときに、使用者はROCKボタンを押す。すると、モバイル機器は、Rockボタンの押下を検知し、S9310へと進む。なお、ROCKボタンは、モバイル機器9000上の物理的スイッチであってもよいし、タッチパネル上に表示される仮想的なボタンであってもよい。また、モバイル機器9000と論理的に接続された、別の機器であってもよい。このときの様子を、図214の9222に示している。
次に、S9309がYESの場合、モバイル機器9000は、ユーザが選択した特定の機器を決定して、データベースから、その機器のネットワーク接続情報を取得もしくはダウンロードする(S9310)。具体的には、モバイル機器9000は、モバイル機器9000が向けられている(ユーザが選択した)特定の機器(例:TVや電子レンジ)を決定する。そして、サーバまたはモバイル機器9000のデータベースからその機器のネットワーク接続情報(MACアドレス、IPアドレス、通信鍵、通信規格、通信プロトコル)、機器の能力、機器用のプログラム、スクリプトなどを取得もしくはダウンロードする。
また、モバイル機器9000は、ROCKボタンが押されると、モバイル機器9000が向けられている特定の機器との接続状態を示すフラグ(ロックフラグ)を内部に保持している。このロックフラグが立っている間は、使用者がモバイル機器9000の向きを変えたとしても、S9304の処理は実行されない。そのため、モバイル機器9000とTV機器9004などの機器と接続している状態で、使用者がモバイル9000機器の向きを変えたとしても、接続された機器との接続が切れないので、使用者が選択した機器の画面が消えてしまわないという効果がある。
ここで、使用者がモバイル機器9000を特定の機器(TVやレコーダ、電子レンジなど)に向ける方向について図220を用いて説明する。
本発明は、使用者が手に持ったモバイル機器9000(通信装置)と、特定の機器(TVやレコーダ、電子レンジなど)との3D(相対もしくは絶対)座標情報と、モバイル機器900の方向を用いて対象機器を特定する。モバイル機器9000の形状が直方体に近い場合、機器特定に用いるモバイル機器の方向は、筐体を構成する仮想的な直方体の辺のうち、長い辺と平行の方向とする。例えば、モバイル機器9000が、図220に示すモバイル機器9000のように、ボタンとディスプレイとを有し、一般的に、使用者がディスプレイ側ではなくボタン側を持つことが想定される場合、特定の機器を指し示すのに用いるモバイル機器9000の方向は、ディスプレイ側の方向9111とする。なお、モバイル機器9000がアップル社のiPhone4(登録商標)のようなほとんどボタンを有しないスマートフォンであり、使用者が様々な持ち方をする場合は、モバイル機器の重力センサやジャイロセンサ、カメラ、近接センサなどを用いて、モバイル機器9000上の使用者の手の重心点を判定し、重心点からモバイル機器の外周までの距離が最も長い方向を、モバイル機器9000の距離として用いるとしてもよい。
また、モバイル機器9000が、ディスプレイ裏面に裏面カメラ9113を保持する場合、裏面カメラの向きとの平行方向9112をモバイル機器9000の方向としてもよい。なお、カメラを起動していない場合は、方向9111をモバイル機器の方向として用い、カメラを起動した場合は方向9112をモバイル機器9000の方向としてもよい。カメラを起動して方向9112をモバイル機器9000の方向とした場合、モバイル機器9000と対象機器との3D座標情報とモバイル機器9000の方向情報とを用いて、対象機器を特定する際に、使用者はモバイル機器9000のディスプレイに表示される機器を見ながら対象機器をロックすることも可能となる。
また、モバイル機器9000の形状、モバイル機器9000の重力センサやジャイロセンサ、カメラ映像、ユーザ近接センサ、カメラの起動状態、および使用者によるモバイル方向の選択、使用者の視線、使用者の姿勢などを用いて、モバイル機器9000の方向を動的に変更するとしてもよい。
かかる構成によれば、使用者はモバイル機器9000の持ち方を意識することなく、直感的にモバイル機器9000を特定の機器に向けるだけで、対象の機器を選択可能となるという効果がある。
さらに、モバイル機器9000は機器を特定するための方向を、同時に複数有するとしてもよい。これにより、使用者のモバイル機器9000の持ち方によらず広範囲の機器を対象とすることが可能になるという効果がある。
以降は、図216に戻り、S9310の続きを説明する。
次に、モバイル機器9000は、S9310で取得したネットワーク接続情報を用いて、ネットワークを介して機器との接続を試みる(S9401)。接続が成功した場合(S9401のYES)でかつ、データベースから通信情報しか入手しなかった場合(S9402のYES)、モバイル機器9000は、機器もしくはサーバに機器の能力を問い合わせる(S9403)。そして、モバイル機器9000は、取得した機器の能力に応じて、表示画質を変える。ここで、モバイル機器9000は、さらに、モバイル機器9000上での制御表示プログラムを取得するとしてもよい。
次に、モバイル機器は、制御表示プログラムを実行する(S9404)。
次に、モバイル機器は、機器がTVであった場合、TVのチャンネル放送番組の番組数、タイトル、サムネイルなどを機器から取得し、表示する(S9405)。このときの様子を、図214の9223に示している。
そして、使用者は、モバイル機器9000の画面(表示画面9001)上で特定の番組のサムネイルを選択(ボタンのプッシュ、タッチパネル上のクリックやピンチアウトジェスチャーなど)する。すると、モバイル機器9000は、選択した番組の表示要求命令を機器(TV)に対して送る(S9407)。このときの様子を、図214の9224に示している。
次に、モバイル機器9000は、TV機器9004から能力に応じた品質の映像データを受信する(S9408)。具体的には、TVは、指定された番組を表示すると共に、モバイル機器9000の能力に応じた品質の映像データをモバイル機器9000に送信する。それにより、モバイル機器9000は、TV機器9004から能力に応じた品質の映像データを受信する。
次に、モバイル機器9000は、TVから受信した映像データを表示する(S9409)。このときの様子を、図214の9224に示している。
ここで、表示画面上で右にフリックされると、次のチャンネルの番組を表示画面とTV機器とに表示する。具体的には、使用者が、モバイル機器9000上で例えば右にフリックすると、次のチャンネルの番組に対してS9407〜S9409が実行され、モバイル機器9000の表示画面とTV機器9004の画面上とに次のチャンネルの番組が表示される(S9410)。このときの様子を、図214の9225〜9227に示している。
かかる構成によれば、使用者はモバイル機器9000を使用したい機器に向けるだけで、直感的に機器の機能をコントロールすることができるという効果がある。
また、機器の姿勢、形状情報を用いることにより、モバイル機器9000が指す機器を特定する場合に、大型テレビのような機器中心位置と機器の端までの距離が大きな場合でも、機器が指す機器を特定することが可能であるため、使用者が指し示したい機器を正確に判断することができる。
以降は、図217、図218を用いてS9410の続きを説明する。
まず、モバイル機器9000は、特定の番組を表示画面に表示している(S9501)。ここで、使用者がMOVEボタンを押しながら、保存もしくは表示したい機器(レコーダ、またはテレビなど)の方向にモバイル機器9000を向けるとする。
このとき、モバイル機器9000は、向けられている方向の機器の候補をデータベースより抽出する(S9503)。具体的には、モバイル機器9000は、モバイル機器9000および機器の3D(相対もしくは絶対)座標情報と、モバイル機器9000の向いている方向を示す方向情報と、機器の姿勢情報と、機器の面積情報とから、向いている機器の候補をデータベースより抽出する。
ここで、モバイル機器9000は、モバイル機器9000が向けらている方向に機器の候補が複数あるかを確認する(S9504)。機器の候補が複数ある場合(S9504のYES)、モバイル機器9000は、複数の機器のリストを位置関係と共に画面に表示する(S9505)。
モバイル機器9000は、モバイル機器9000が向けらている方向が変わったかを判断する(S9506)。モバイル機器9000が向けらている方向が変わった場合すなわち使用者がモバイル機器9000の向きを変えた場合(S9506のYES)、モバイル機器9000は、向きに応じて中央にある機器の表示を変更する。具体的には、モバイル機器9000は、モバイル9000機器の変えられた向きに応じてモバイル機器9000の向きの中心にあるらしさに従い、モバイル機器9000画面上の機器の表示を変化させる。ここで、モバイル機器9000の表示画面上の機器の表示は、モバイル機器9000の向きの中心にある程、中央に表示される。中央に表示されるだけに限らず、上部に表示される、または、または最も中央にある機器にターゲットカーソルが表示されるなどであってもよい。
次に、モバイル機器9000は、Moveボタンの押下を検知したかを確認している(S9508)。Moveボタンの押下を検知した場合(S9508のYes)、S9509へと進む。具体的には、使用者は、使用者が希望する機器が中央に表示されたときに、使用者はMoveボタンを押す。すると、モバイル機器は、Moveボタンの押下を検知し、S9310へと進む。なお、Moveボタンは、モバイル機器9000上の物理的スイッチであってもよいし、タッチパネル上に表示される仮想的なボタンであってもよい。また、モバイル機器9000と論理的に接続された、別の機器であってもよい。このときの様子を、図214の9227に示している。
次に、モバイル機器9000は、Moveボタンの押下を検知したときに、向けられている方向の特定の機器を決定する(S9509)。具体的には、モバイル機器9000は、Moveボタンの押下を検知したときに、モバイル機器9000が向けられている(ユーザが選択した)特定の機器(例:レコーダ機器やTV機器、電子レンジ)を決定する。
次に、モバイル機器9000は、データベースから、決定した機器のネットワーク接続情報等を取得もしくはダウンロードする(S9510)具体的には、モバイル機器9000は、サーバまたはモバイル機器9000上のデータベースからその機器のネットワーク接続情報(MACアドレス、IPアドレス、通信鍵、通信規格、通信プロトコル)、機器の能力、機器用のプログラム、スクリプトなどを取得もしくはダウンロードする。
次に、モバイル機器9000は、特定した機器に記録能力があるか否かを判断する(S9601)。特定された機器に記録能力がある場合(S9601のYes)、モバイル機器9000は、特定した機器に対して、録画命令とともに、コンテンツのソース情報と、認証情報と、録画範囲とを示す情報とを送る(S9602)。具体的には、モバイル機器9000は、特定した機器に対して、コンテンツのソース情報(チャンネル番号、コンテンツのアドレス、コンテンツのURIなど)と、録画範囲(時間、単位など)と、コンテンツのサーバアドレスと、ソースの範囲)と、認証情報(認証プロトコル、鍵)などとを含む情報とともに記録命令を送信する。
続いて、機器(特定された機器)は、モバイル機器9000から記録命令等を受信すると、記録命令等に従って記録データを接続受信し、記録を行う。機器は、記録するコンテンツのタイトル、内容、静止画サムネイル、動画サムネイルなどのコンテンツの情報をモバイル機器9000に送信する。
モバイル機器9000は、機器が記録するコンテンツの情報を受信し(S9604)、モバイル機器9000の表示画面上に機器が記録する内容を表示する(S9605)。
次に、モバイル機器9000は、使用者に対して機器の記録を継続してよいか否かを確認するためのダイアログを表示する(S9606)。機器の記録を継続する場合、すなわち使用者が機器の記録の継続を了承した場合(S9606のYes)、モバイル機器9000は、機器に記録を継続させる。なお、機器の記録を継続しない場合、すなわち使用者が否認した場合(S9606のNo)、モバイル機器9000は、機器に記録の継続を中止させる(S9607)。
次に、モバイル機器9000と記録しているその機器(例えばレコーダ機器)との接続が切れると、再び元の機器(TV機器など)の情報を表示する(S9609)。
かかる構成によれば、使用者は見ている番組を録画したい場合、レコーダ機器のリモコンに持ち替え、見ている番組情報をレコーダ機器のリモコンで再度入力するというような煩雑な作業を行うことなく、番組を録画することができる。
また、本実施の形態では機器がレコーダ機器であり、TV機器で見ている番組をレコーダ機器に記録する例を説明したが、それに限らない。機器がディスプレイ装置などの表示装置としてもよく、その場合、機器で記録する代わりに機器に現在見ていた番組やコンテンツを表示させるとしてもよい。それにより、使用者が見ている番組やWebページ、コンテンツ情報をディスプレイ装置のリモコンのキーボードで再度入力する必要なく、異なる機器でも視聴することができるという効果を奏する。また、モバイル機器で見ていたWebページを、ディスプレイ機器で表示させることも可能となる。
以降は、図219を用いてS9609の続きを説明する。
まず、モバイル機器9000は、TV機器と同じ映像を見ている状態であるとする(S9701)。
次に、モバイル機器は、リモコンモードボタンの押下を検知したかを確認する(S9702)。リモコンモードボタンの押下を検知した場合(S9702のYes)、モバイル機器9000の画面は機器のリモコンモードに切り替わる(S9703)。
具体的には、使用者がモバイル機器9000を機器のリモコンとして使用したい場合、モバイル機器9000上(すなわち表示画面)に表示されたリモコンモードボタンを押す。すると、モバイル機器は、リモコンモードボタンの押下を検知して、モバイル機器9000の画面は機器のリモコンモードに切り替わる。ここで、リモコンモードボタン表示機能、およびTV機器用リモコンモード制御プログラム(またはスクリプト)とは、S9510で取得していたTV機器制御プログラムに含まれていた機能である。
かかる構成によれば、使用者はTV機器のリモコンを用いなくとも、モバイル機器9000を、制御したいTV機器に向かって向けることで、TV機器のリモコンとなる。すなわち、モバイル機器9000は、TV機器のリモコンモードを表示し、TV機器のチャンネルや音量などをコントロールすることができる。また、従来の携帯電話では、TV機器のリモコンとして利用したい場合には、TV機器リモコンアプリケーションをダウンロードして対応するTV用のプログラムを選択する必要などがあった。しかし、本実施の形態のモバイル機器9000では、その必要もなく、自動的に向けたTV用のプログラムがダウンロードされてリモコンとなるため、リモコンモードへの移行への手間を低減することができるという効果を奏する。
次に、モバイル機器9000は、モバイル機器9000(リモコン)と機器との間の通信レートや使用頻度が低いかどうかを確認する(S9704)。使用頻度や通信レートが低い場合(S9704のYes)、TV機器のリモコンとなっているモバイル機器9000はZigBee(登録商標)や赤外線通信プロトコルをサーバから取得し、より低消費電力の無線規格に切り替える(S9705)。
かかる構成によれば、機能に応じた最適な通信規格を自動的に選択することで、モバイル機器9000および周辺機器(例えばTV機器等)の消費電力を低減する効果がある。
次に、モバイル機器9000は、ロック解除ボタンの押下について検知する(S9706)。ロックボタンの押下を検知した場合、すなわち使用者がモバイル機器9000の画面に表示されたロック解除ボタンを押したのを検知した場合(S9706のYES)、モバイル機器9000は機器(TVなど)との接続を解除する(S9707)。
次に、モバイル機器9000は、画面を初期画面に戻す(S9708)。なお、このときの様子を、図214の9228に示す。
かかる構成によれば、使用者が異なる機器の機能をモバイル機器9000で使用したいと考えたときに、選択的に切り替えることができるという効果がある。
なお、図221は、実施の形態22におけるモバイル機器と連携機器との表示の一例を示した図である。図221のS9801〜S9807は、機器がレコーダ機器であり、TV機器で見ている番組をレコーダ機器に記録する例について、モバイル機器9000上の表示と、ユーザの動きとを直感的に把握できるように記載したものである。詳細は、上述したので、説明を省略する。
以降は、図222、図223を用いて、使用者の所望の連携機器が電子レンジの場合の処理について説明する。図222および図223は、実施の形態22における連携機器が電子レンジである場合の手続きを示すフローチャートである。
最初に、モバイル機器9000は、モバイル機器位置の取得を行う(S9912)。すなわち、モバイル機器は、1)カメラで機器を探る2)距離センサの情報を取得する3)機器との近接無線通信を確立する4)位置特定が可能となる特定の電波を受けるなどに基づき、モバイル機器の基準位置を演算または特定することで、モバイル機器位置を取得する。なお、モバイル機器位置の取得方法についての詳細は、図204を用いて既に説明しているため、ここでは省略する。
次に、モバイル機器9000は、Webブラウザなどでユーザより選択された料理レシピを表示する(S9901)。
次に、モバイル機器9000は、所望の機器の方向へ向けられる(S9902)。具体的には、モバイル機器9000上(表示画面上)に特定のレシピが表示されている状態において、使用者がMOVEボタンを押しながら、調理に利用したい機器(電子レンジ、クッキングマシンなど)の方向にモバイル機器9000を向ける。このようにして、モバイル機器9000は、所望の機器の方向へ向けられる。なお、このときの様子は、図213のCで示す通りである。
このとき、モバイル機器9000は、向けられている方向の機器の候補をデータベースより抽出する(S9903)。具体的には、モバイル機器9000は、モバイル機器9000と調理に利用したい機器の3D(相対もしくは絶対)座標情報、モバイル機器9000の向いている方向を示す方向情報、機器(ここでは電子レンジ9006)の姿勢情報、機器(電子レンジ9006)の面積情報などから、モバイル機器9000が向けられている機器の候補をデータベースより抽出する。
ここで、モバイル機器9000は、モバイル機器9000が向けられている方向に機器の候補が複数あるかを確認する(S9904)。機器の候補が複数ある場合(S9904のYes)、モバイル機器9000は、複数の機器のリストを位置関係と共に画面に表示する(S9905)。
次に、モバイル機器9000は、モバイル機器9000が向けらている方向が変わったかを判断する(S9906)。使用者がモバイル機器9000の向きを変えた場合、すなわちモバイル機器9000が向けらている方向が変わった場合(S9906のYes)、モバイル機器9000は、向きに応じて機器の表示を変更する。具体的には、モバイル機器9000は、モバイル機器9000の変えられた向きに応じて、モバイル機器9000の向きの中心からの距離などに従い、モバイル機器9000画面上の機器の表示を変化させる。
ここで、モバイル機器9000の表示画面上での機器の表示は、モバイル機器9000の向きの中心にある程、中央に表示される。なお、中央に表示されるだけに限らず、上部に表示される、または、または最も中央にある機器にターゲットカーソルが表示されるなどであってもよい。
また、モバイル機器は、Moveボタンの押下の解放を検知している(S9908)。Moveボタンの押下の解放を検知した場合(S9908のYes)、S9910へと進む。具体的には、使用者は、使用者が希望する機器が中央に表示されたときに、Moveボタンを離す。すると、モバイル機器は、Moveボタンの押下の解放を検知し、S9910へと進む。なお、Moveボタンは、モバイル機器9000上の物理的スイッチであってもよいし、タッチパネル上に表示される仮想的なボタンであってもよい。また、モバイル機器9000と論理的に接続された、別の機器であってもよい。
次に、S9908がYESの場合、モバイル機器9000は、データベースから、ユーザが選択した特定の機器のネットワーク接続情報等を取得もしくはダウンロードする(S9910)。具体的には、モバイル機器9000は、モバイル機器9000が向けられている特定の機器(ここでは電子レンジ)が決定する。そして、モバイル機器9000は、サーバまたはモバイル機器9000のデータベースからその機器のネットワーク接続情報(MACアドレス、IPアドレス、通信鍵、通信規格、通信プロトコル)、機器の能力、機器用のプログラム、スクリプトなどを取得もしくはダウンロードする。
次に、モバイル機器9000は、特定した機器に調理能力があるかどうかを判断する(S9001)。特定した機器に調理能力がある場合(S9001のYes)、モバイル機器9000は、特定した機器に対して、記録命令とともに、認証情報、レシピ情報およびレシピソース情報を送る(S9602)。ここで、レシピ情報とは、調理内容・方法を示す情報であり、例えばレンジ、オーブン、混ぜる、こねる、焼く、蒸す、解凍、暖める、蒸らすなど調理加減(温度、時間など)などを示す情報である。また、レシピソース情報とは、チャンネル番号、コンテンツのURLのアドレス、コンテンツのサーバアドレス、ソースの範囲などを示す情報である。また、認証情報とは、認証プロトコル、鍵などを含む情報である。
続いて、機器は、モバイル機器9000から記録命令等を受信すると、記録命令等に従って記録データを接続受信し、記録を行う。機器は、記録したレシピの調理内容などをモバイル機器9000に送信する。
次に、モバイル機器9000は、機器が記録するレシピの調理内容などを受信し(S9004)、機器が調理しようとしている調理内容を、モバイル機器9000上に表示する(S9005)。
次に、モバイル機器9000は、使用者に対して機器が調理を開始してよいか否かを確認するためのダイアログを表示する(S9006)。機器の調理を開始する場合、すなわち使用者が機器の調理の開始を了承した場合(S9006でYes)、調理を開始する(S9008)。なお、機器の調理を開始しない場合、すなわち使用者が否認した場合(S9006のNo)、モバイル機器9000は、機器の調理を開始を中止させる(S9009)。
次に、モバイル機器9000と調理している機器(例えば電子レンジなどの調理機器)との接続が切れると、再びは元の機器(TV機器など)の情報を表示する(S9010)。
かかる構成によれば、使用者はモバイル機器9000上で見ている料理レシピを調理したい場合、電子レンジやクッキングマシンに再度入力する必要もなく、調理を開始することができる。さらに、電子レンジやクッキングマシンには内蔵されていないレシピに関しても、複雑な操作を行うことなく、機器にレシピを登録することができるという効果を奏する。また、調理機器にはブラウザやタッチパネルなどの機器を搭載する必要がなく、調理機器のコストを低減することができるという効果もある。
次に、ここで、使用者がMOVEボタンを押しながら、保存もしくは表示したい機器(レコーダ、またはテレビなど)の方向にモバイル機器9000を向ける動作(図217のS9501とS9503の間の動作)について、図214の9227以降の図を用いて説明する。
まず、ステップ9227aにおいて、使用者がROCKを解除した場合(ステップ9227aでYes)、モバイル機器9000は元の画面(ここではTV機器の画面)に戻る。
一方、ステップ9227aにおいて、使用者がROCKを解除せず(ステップ9227aのNo)、使用者がこの画面をレコーダ機器に記録したいと考えた場合(ステップ9227bのYes)、使用者はMoveボタンを押しながら図213の丸Aの方向から図213の丸Bの方向にモバイル機器9000の方向を向ける(ステップ9227c)。
すると、モバイル機器9000は、モバイル機器9000の3D方向センサにより、向いている3D方向にある機器を3D座標より検出し、機器(ここではレコーダ機器)と接続する(ステップ9227d)。このとき、モバイル機器9000の画面上には図214の9227eに示される表示画像(モバイル画面)が表示される。
次に、ステップ9227eの状態で、使用者がMoveボタンを離した場合(ステップ9227f)、モバイル機器9000は機器(レコーダ機器)に対して現在表示している番組の録画要求(録画命令等)を送信する。すると、モバイル機器9000の画面は図214の9227gに示される表示画面(モバイル画面)が表示され、レコーダ機器はモバイル機器9000上に表示されている番組の録画を開始する。
さらに、使用者がモバイル機器9000を図213の丸Bの方向から、図213の丸Aの方向に向け直した場合(ステップ9227h)、モバイル機器9000には図214の9227iに示される表示画面(モバイル画面)が表示される。
ここで、図213を用いて、本願の効果を述べる。図213において、実線の矢印は、モバイル機器9000の表示画面9001を、正面からTV機器9004やレコーダ機器9005や電子レンジ9006に向けた場合にモバイル機器9000が向いている方向を丸A、丸B、丸Cで示している。そして、点線は、モバイル機器9000の表示画面9001をTV機器9004、レコーダ機器9005、電子レンジ9006の背面、つまり後側から向けた場合のモバイル機器9000の向いている方向を表している。ゲーム等に用いられている従来の単なるモーションセンサを用いた方式では、モバイル機器9000の表示画面9001をTVの正面から向けた場合、丸Aの方向から丸Bの方向は左側、つまり反時計回りに回るため、操作者の意図通り、TV機器9004からレコーダ機器9005に切り替わる。しかし、モバイル機器9000の表示画面9001をTV機器9004の裏側において、丸Aの方向のTV機器9004から丸Bの方向のレコーダ機器9005に向けた場合、モバイル機器9000は、正面の場合とは逆の時計回り方向に回転するため、モーションセンサだけでは、TV機器9004から電子レンジ9006に向けたと判断されてしまい電子レンジを選択しモバイル機器9000の表示画面に電子レンジが表示される。そのため、操作者の意図とは反した誤った動作をすることになる。
しかし、本発明では、3DマッピングによりTV機器9004、レコーダ機器9005、電子レンジ9006の座標がNFCとサーバとにより事前に登録されている。また、モバイル機器9000は自分の3D座標情報を持っているため、広い部屋の中央においてあるTV機器9004の裏側にモバイル機器9000を移動させ、点線の矢印で示すように丸Aの方向のTV機器9004から丸Bの方向のレコーダ機器9005に時計回りにモバイル機器9000を回転させても、TV機器9004、レコーダ機器9005、モバイル機器9000の3D座標情報と、モバイル機器9000が向いている方向から、レコーダ機器9005を選択して表示し、モバイル機器9000の画面にレコーダ機器9000を表示せることができる。さらに、レコーダ機器9005にリンクすることができる。以上のようにように誤動作が起こらないという本発明の独特の効果がある。
また、一般的な家庭の家の中には数十点の家電製品がある。本発明では家の中の家電製品にタッチしNFC通信を行うとき、5〜10cmの距離範囲内にモバイル機器9000と家電製品がある。もし、モバイル機器9000が正確な位置情報を持っていれば、5〜10cm以内の精度で、位置情報がサーバに送られる。つまり、本発明により家の中の数十点の家電製品が位置測定の基準点になる。建物内で正確な位置情報を得る場合、基準を設定するための基準点がないという課題があった。しかし本発明では家電製品の多くが基準点になるという大きな効果がある。
(複数の伝送路を持つ通信方式における位置情報の入手方法)
以下、位置情報の入手方法として、電波を用いる方法の一例を説明する。
図224は、複数のアンテナを用いて複数の伝送路を確保し、伝送する通信方法を説明するための図である。
図224に示すように、例えばMIMO(Multiple Input Multiple Output)など、複数のアンテナを用いて複数の伝送路を確保して伝送する通信方法がある。
このような方法において親機9306とモバイル端末9308とが通信する場合に位置情報を得る方法を述べる。親機9306は、伝送路9308a、9308b、9308cの3つを用いてモバイル端末9308と交信する。実際の伝送路は3X3の9本であるが省略する。
例えばMIMOような通信方法を用いたモバイル端末9308は、ステップ9307a〜ステップ9307dにより伝達関数Aを求め、9307gに示すような固有ベクトルXやWi、固有値λ等の伝送情報を求めて、通信を行う。なお、このとき9つの伝送路は、それぞれ異なる固有ベクトル、位相や振幅の特長を持つ。具体的には、ステップ9307aで、この伝送路の特長を抽出し、ステップ9307bで電波強度を求め、ステップ9307cでモバイル端末9308が持つ、自分自身の3Dの座標情報、モバイルの方向の状態にあるときの伝送特性を求め、その座標情報における伝達関数9307dと電波強度9307eとを3D座標、方向情報とともにサーバ9302に送る(ステップ9307f)。そして、図225のステップ9350へ進む。
図225は、複数の伝送路を持つ通信方式における位置情報の入手方法を説明するための図である。
ステップ9350おいて、サーバ9302は、モバイル端末9406の特定時間の3D座標とモバイル端末9406の方向と伝送特性(伝送路の伝達関数、固有値、固有ベクトル)と、強度とをパターン化する。
続いて、ステップ9351a、ステップ9351b、ステップ9351cにおいて、各3D座標(3D座標1、3D座標2、3D座標3)に対応した伝送パターン9352a、9352b、9352c(具体的には、例えばAAA、ADA、CAB)とパターンとを圧縮して、3D座標空間にマッピングしていく。
続いて、ステップ9353aで、それらを、サーバ9302の3D座標位置を記憶するデータベースに記録する。ここで、モバイル端末9308の一定時間内の移動時の伝送情報の変化の特長をさらに記録するとしてもよい。
このようにして、サーバ9302のデータベースに伝送情報が記録される。また、このでは、個人ごとに異なるモバイル端末9308の伝送データを記録する。例えば精度が低い位置情報をモバイル端末9308が送ってくるが、入力された伝送情報のデータを何度も学習させることにより、さらに位置精度を高めた伝送データをデータベースに記録することができる。
次に、ステップ9353bでは、ステップ9353aの状態で、モバイル端末9308が現在の位置情報を得るため、現在の伝送データをサーバ9302に送ってきたとする(ステップ9353でYesの場合)。この場合、ステップ9353cで、サーバ9302は、モバイル端末9308から送られてきた伝送パターンとサーバ9302が有するデータベースに記録された伝送パターンとマッチングを行う。ここでは、例えば、“AAA”をパターンマッチング方式で探すと仮定して説明する。ここで、図225の左下部にある図の15個の円は、サーバ9302が有するデータベースに記録された伝送パターンの模式図を示している。
次に、ステップ9353dで、モバイル端末9308から送られてきた伝送パターン(AAA)に近いパターンと、モバイル端末9308の電波強度に近い電波強度とを示す候補データがあった場合、サーバ9302は、候補データが1個かどうかを判断する(ステップ9353e)。そして、候補データが1個の場合(ステップ9353eのYes)は、サーバ9302は、データベースから、その候補データのパターンに該当する3D座標の位置情報をモバイル端末9308に送る(ステップ9353g)。
一方、ステップ9353eで、候補データが1個でなく複数ある場合は(ステップ9353eのNo)、ステップ9353hに進み、モバイル端末9308の持つ精度の低い3D座標を用いて、フィルタリングして候補データを減らす。ここで、図225に左下部にある図の例を用いて説明すると、ステップ9353eで、AAAの伝送パターンが、9355a、9355b、9355cと3ヶ所(複数)に存在しているとする。この場合、ステップ9353hでモバイル端末9308の持つ精度の低い3D座標9357(図中の太円の範囲の座標に相当)を用いて、候補のデータをモバイルの近傍にある候補のみに絞る(フィルタリングする)ことにより、候補データの数を減らす。
次に、ステップ9353のフィルタリング後、サーバ9302は、候補データが1個であるかを判断する(ステップ9353i)。もし1個でなければ(ステップ9353iのNo)、サーバ9302は、ステップ9353fで、モバイル端末9308の持つ精度の低い3D座標を使うように指示する。反対に、1個になっていれば(ステップ9353iのYes)、その1つの候補データ(伝送パターン)に該当する3D座標をモバイル端末9306に送る(ステップ9353j)。
ところで、モバイル端末9308は、部屋内では衛星からのGPSの位置情報の精度を取れない。このため、3軸の振動ジャイロや加速度センサ、磁気センサを用いて、部屋内のモバイル端末9308の位置検出を行う。しかし、基準点から離れるに従い誤差が累積するため、精度が落ちてしまう。
しかし、本発明のMIMO等の複数の伝送路を使う方式の場合、伝達関数等のパターンの数が増える。このため、1つの伝送路に比べると部屋の中に多くの伝送パターンが存在する。このパターンは、λ/2移動すると変わるため、言い換えると、伝送路の特徴を抽出したパターンがわかれば、λ/2の高い精度で位置検出ができるという効果がある。例えば1GHzの場合、15cmの精度で検出できる可能性がある。この方式の問題点は、同じ伝送パターンが1つの部屋に複数存在する可能性があることである。しかし本発明の場合、モバイル端末9308は位置検出部を持っているため、この精度の低い位置精度情報から、誤ったパターンを排除することができる。それにより、モバイル端末9308は、高い精度の位置情報を得ることができる。
また、MIMOでは複数のアンテナのビームの方向を変えることができる。モバイル端末と親機のビーム方向を変えると、受信機の伝送路の強度など、例えば受信信号のレベルを変えることができる。モバイル端末9308を移動させることにより、伝送路の状況が変わるため、親機の3D座標位置がわかっている場合、モバイル端末9308の位置を演算することもできる。
以上のように、本発明によれば、携帯電話やスマートフォンなどの携帯機器(通信装置)を用いて、携帯機器のRFIDとGPSやモーションセンサなどの各種センサを利用して、携帯機器が簡単にマルチリモコン、家電コンテンツダウンロードなどの拡張ユーザインタフェースを実現することができる。
以上、本発明の通信装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
(実施の形態23)
本発明の実施の形態23について述べる。
図226は、自宅など一般的な家のフロアと、その中でモバイル機器(以下、単にモバイルとも表す)を持った使用者が、フロア内を移動した場合の処理に関係する機器の例を示したものである。宅内にはテレビ(TV−A、TV−B)などの家電機器が各部屋にある。使用者の居場所は、モバイルの保有する宅内の位置情報である座標値を把握する技術により判明する。家電機器の宅内における位置情報である座標値が予め登録されているため、例えば、使用者が寝室でテレビ(TV−A)を制御する場合は、モバイル機器をテレビの方向を向けることで、モバイルの座標値とテレビの座標値の相対的な関係から、モバイルがテレビに向いていることがモバイル機器の中で認識可能となる。したがって、モバイルは制御対象となるテレビを特定し、テレビの制御に必要なコマンドを送ることで、対象となるテレビの制御を行う。なお、図226において、モバイルが位置を把握する為に利用する宅内のマップ情報は、モバイルが保有していてもよいし、SEG(401c)のような宅内サーバに保有していてもよいし、インターネットで接続されたサーバでも良い。宅内サーバはモバイルの公衆網を経由するか、または無線LANアクセスポイント(401e)を経由してモバイルと接続される。好ましくは、宅内サーバに保存してあれば、インターネット回線が接続されていない状況でも、モバイル機器にマップ情報を提供できる。その上、モバイルのストレージ(データを保存する領域)を必要以上に使用せずにマップ情報を管理することができる。
まず、モバイル(401a)を持った使用者が、建物(自宅等)の周辺(401g)に近づいた所から、モバイルが建物内でのモバイルの位置をモバイルの保有するセンサを用いて検出する処理の流れを説明する。
図227を用いて建物内でのモバイルの位置を測定する処理を解説する。
開始して、ステップ402aでモバイルがモバイルの有するGPSセンサ、または宅内の無線電波を検出する機能が起動中であるかどうかを確認し、起動中の場合(Yes)、ステップ402cへ進み、モバイルが、GPSで検知したモバイルの現在地座標が、予め登録された建物の近傍であるか、または無線LAN等の対象となる建物内の機器が発する電波を検出することで、対象となる建物(自宅等)の周辺にいることを検出した場合(Yes)、ステップ402dへ進む。ステップ402cでNoの場合はYesになるまで繰り返す。ステップ402aでNoの場合はステップ402bへ進み、使用者が建物(自宅前)の玄関でモバイルのUI上で屋内での位置検知を開始することを表す「屋内位置検知モード」を選択、ステップ402dへ進む。ステップ402dでモバイルの角速度センサ,地磁気センサ,加速度センサが起動していなければ起動し、ステップ402eに進む。ステップ402eでクラウド上のマップ管理サーバ、もしくはSEG(宅内にあるサーバ等)からマップおよび基準点情報が入手可能であれば(Yesの場合)、ステップ402fに進み、マップおよび基準点情報を取得する。基準点情報とは、モバイルのセンサによって移動量を計測し、座標値に置き換えるときに基準となる場所のことで、マップ上の座標値が予め登録されている。モバイルは基準点を検知し、基準点の座標値を取得することで、モバイルが現在地として保存している座標を設定する。基準点は、主に玄関や階段の上り口や宅内の廊下の突き当たりなど、マップ上特徴的な部分であり、さらには家電製品や椅子、ソファの位置なども含まれる。
なお、モバイルが十分なストレージを持つ場合は、マップや基準点情報をモバイル内部に保有していてもよく。保存や入手場所は問わない。また、SEGやクラウド上のサーバにマップと基準点情報を置いたまま、モバイルがモバイルの保有センサによるセンシング結果を用いてSEGやクラウド上のサーバに問い合わせることで、モバイルがマップや基準点情報を保持している状態と同様の処理をネットワーク経由で実現してもよい。
また、モバイルの位置に応じてマップや基準点情報を、モバイルの位置の周辺部分だけに限るなど、モバイルの移動に併せて、マップや基準点情報を、SEGやクラウド上のサーバからモバイルに対して、部分的にダウンロードしながら利用してもよい。
ステップ402eでNoの場合は、ステップ402gへ進み、モバイルが予め設定された特徴的な変化パターン(予め測定された角度変化の繰り返しによる引き戸、垂直方向の加速度変化による階段等)を検出(Yesの場合)した場合、ステップ402hに進み、モバイル内部に「類似する特徴の変化パターン」が登録されていれば、丸1(図228)に進む。ステップ402gでNoの場合はYesになるまで検出ルーチンを繰り返す。
なお、ステップ402gでの特徴的な変化パターンとは、例えば3秒以内に階段を3段上ったことをあらわすZ軸(垂直)方向の加速度の上下方向へのGの変化であり、この変化を検知することで、モバイルが玄関の床の高さに達したと判断する。さらにその先例えば5秒以内に、角速度センサでYew方向の向きが90度変化するという検知結果から使用者が玄関の方向を向いたと判断する。
この場合、玄関ドアを開けるという、使用者のいつもの動作であると認識することによって、玄関ドア近傍の基準点にモバイルが存在することを判断する。このときにモバイルの保有するセンサの検知結果から、例えば5秒間使用者がほぼ静止状態を続けたことが分かった場合は、玄関の鍵を開けていると判断する。この玄関の前の位置の座標情報がサーバもしくはモバイルにあれば、座標情報を用いてモバイルの位置情報を書き換える。ここで外部のGPS情報の緯度.経度の絶対座標系から建物内の相対座標系に切り替える。相対座標系に切り替えることにより、緯度経度への座標変換処理が不要になるとともに、変換誤差を少なくすることができる。
さらに、玄関ドアにRF−ID(NFC)方式の錠が付いている場合について説明する。本発明のRF−IDには座標情報と座標精度評価点のVsが錠もしくはサーバに記録されている。タッチした時点ではモバイルと錠のアンテナ部の距離は5cm以内である。このため、もし、モバイルの持つ座標の座標精度評価点Vmの評価点がよりVsより高い場合は、錠の座標データをモバイルの座標情報に置きかえる。もしVsの方が高い場合は置きかえない。座標精度評価点により、本発明ではエアコンやTVのRF−IDもしくは対応するサーバに座標情報と、その座標精度評価点が記録されているため、タッチするたびに精度が高い方の座標情報と高い精度評価点に書き換えられていくため、タッチするたびに各機器の座標精度が向上していくという効果がある。
なお、RF-ID機能を有する機器に対しては、座標情報、座標精度評価点の情報は、図260に示すように記載される。
図228は、建物内でのモバイルの位置を測定する処理を示すフローチャートである。ステップ403aでモバイルが内蔵センサから取得したデータの変化パターンから、対象となる基準点(例えば玄関等)を特定し、マップと基準点情報から基準点の座標値(任意の基準点を初期位置とした相対座標、緯度経度、海抜に基づく絶対座標値等)を取得し、ステップ403bで、モバイルが、モバイルの現在位置が基準点であることを判断して、基準点の座標値を用いて、モバイル内部で保存してある現在位置情報を上書きし、ステップ403cでモバイルが角速度センサ,地磁気センサ,加速度センサを用いて基準点からの移動情報の計測を開始し、ステップ403dで、基準点からの移動情報により現在座標を3D位置として特定することを繰り返し、ステップ403eで、基準点からの移動情報により、現在座標がマップ上の階段やエレベータ等による明確な上昇行動を伴わない状態であったかどうかを判定し、ステップ403fでモバイルに所有者の身長が設定されているか、またはサーバ(SEG、クラウド上のサーバ等)から取得できた場合はその高さを用い、所有者の身長情報が取得できなかった場合は、例えば170センチメートルといった国や地域による平均身長情報を、SEG、サーバまたは端末内のプリセット情報から取得し、身長情報を超える位置に座標が来た場合は、身長情報以内になるように補正し、丸2(図229)に進む。
なお、ステップ403cにおいて、角速度センサ、地磁気センサ、加速度センサを用いることで、使用者の移動量を計測し、3D位置を特定できるが、さらに音センサ、気圧センサなどによって、特定の音のする場所や階数を判定することで位置特定の制度をさらに上げることも可能である。
また、モバイル機器のセンサを建物の外と中の両方でONにし続けることに比べ、本実施例で示す例のように建物の近傍を検出し、宅内での位置特定に必要なセンサをその時点でONするようにし、建物の近傍ではない所にいるときは、ゲーム等の異なるアプリケーションといった他の用途で起動しておく必要がない場合は、スリープモード、又はOFFにしておくことでモバイルの省電力化を行う。
さらに、建物内のマップから、直線移動しかできない通路など、マップ上で直線部のときは角速度センサを切るか、またはスリープモードにする。もしくは、地磁気センサを使用して方向を求める。そして、曲線部、もしくはルート上の分岐点の手前で角速度センサをONにする。例えば現行の一般的なモバイル向け3軸角速度センサは約5mA〜10mA消費するが、こまめにON,OFFすることにより電力消費を削減できる。さらに、現行の一般的な地磁気センサは、約1mA近辺となり、角速度センサに比べて消費電力が少なく、角速度センサが必要なほど高精度の角速度検出、姿勢検出が必要ないときは、地磁気センサのみで姿勢を判定することで消費電力の削減効果を期待できる。
図229は、建物内でのモバイルの位置を測定する処理を示すフローチャートである。
ステップ404aで、マップ情報に予め、リビング、寝室といったエリアを示すエリア情報(座標値)が設定されていれば(Yesの場合)、ステップ404bに進み、モバイルに保存されたマップ情報を参照し、マップ上のエリア情報(部屋を示す情報)を取得し、ステップ404cで、モバイルの座標とエリア情報からモバイルの存在する部屋を特定(X1、Y1、Z1<Xm、Ym、Zm<X2、Y2、Z2)し、ステップ404dで、モバイルの画面に特定された部屋名(リビング等)を表示し、ステップ404eで、モバイルに保存されたマップを参照しモバイルの先端が向いている方向ある制御可能な機器を取得し、ステップ404fで、取得した機器に対して、モバイルがいる部屋と同じ部屋に設置された機器かどうかを、予め設定された機器の取付け位置の座標値から判定、または予め設定されている部屋名がある場合はその情報から、判定し、ステップ404gで、モバイルと同一の部屋の機器に対して枠の色などの表現を変えることで、モバイルと同一の部屋の機器と、そうでない機器を分けるUIとして、機器リストを使用者へ提示し、丸3(図233)へ進む。ステップ404aで、Noの場合、ステップ404hへ進み、モバイルに保存されたマップを参照しモバイルの先端が向いている方向にある制御可能な機器を取得し、404iで、機器リストを使用者へ提示し、丸3(図233)へ進む。この時、地磁気センサ、加速度センサによる重力方向の検知と、角速度センサによってモバイルの向きとその上下方向の角度である姿勢情報を算出し、使用者の意図であるモバイルが指し示す方向を判断する。
このようにモバイルがどの部屋にいるかを認識することで、モバイルが向いている方向に、異なる部屋にある2つのテレビが置かれていた場合においても、モバイルの使用者がいる部屋のテレビを制御できるようにすることが可能となる。
さらに、加速度センサを用いた移動量の計測において、加速度センサによって歩数をカウントすることで移動量を計測することで、加速度センサの精度を補う。移動量の計測では、歩数に対して一歩分の移動量(歩幅)を乗算することで移動量を算出する。この時、モバイルが部屋を認識した後に、部屋の種類をマップから入手し、部屋ごとの床の状態(フローリング、絨毯等)に応じて、例えば、フローリングでは歩幅70cm、絨毯では歩幅60cmとするなど、歩幅を変化させることで移動量検出の精度を上げる。
図230は、3Dマップ上の部屋のエリアを表す情報の例を表す図である。部屋の形が複雑で単一の立方体でない場合は、複数の立方体の組み合わせで1つの部屋として設定する。この場合、モバイルが同一の部屋の一部である複数の立方体のどれかにモバイルの現在座標値が含まれるかどうかを判断することで、モバイルが存在する部屋を特定する。
図231は、基準点の近傍でのモバイルの挙動を示す図である。
図に示す通り、角速度センサがスリープ状態(406b)であるモバイル(406a)が、基準点の3メートル以内に入ったことをモバイルが検知した場合、より高精度な基準点の検知をするため、モバイルの角速度センサがON状態(406c)になる。基準点の近傍に入るまでの間のモバイルの位置は、例えば加速度センサと地磁気センサによって、1つ前に通過した基準点からの移動量の計測結果を用いて、マップ上のモバイルの位置である座標値を推測することで認識する。
図232はモバイルの進行方向で高精度に検知したい場所を示す図である。
例えば図に示す寝室からみて、玄関とリビングの両方の入り口が直線方向にそれほど離れずにあった場合など、マップ上、歩行時に曲がったことを高精度に検知できないと、現在位置が部屋の単位で異なってしまうようなマップマッチングが難しいポイント(407b)の近傍(例3メートル以内)にモバイルが入った場合、角速度センサを一定時間(10秒間)起動することで、マップマッチングの精度を高める。
図233は、建物内でのモバイルの位置を測定する処理を示すフローチャートである。
ステップ408aでモバイルの現在座標値を取得し、ステップ408bで、マップを参照し、周辺3m以内に基準点またはマップ上の注意点がある場合(Yes)、ステップ408cへ進む。ステップ408bで、Noの場合、ステップ408aへ戻る。ステップ408cで、基準点または注意点の近傍で使用すべきセンサのリストを参照し、ステップ408dで、対象となるセンサの情報「角速度センサ」と時間情報(10秒、到達後5秒)を取得し、ステップ408eで角速度センサのスリープモードを解除し、計測開始しステップ408fで、基準点または注意点に関するセンサの検知結果のパターンを検知した場合(Yes)、ステップ408gへ進み、ステップ408gで、指定時間5秒経過(Yes)で終了。ステップ408gで、Noの場合はYesになるまで繰り返す。ステップ408fで、Noの場合は、ステップ408hへ進み、ステップ408hで10秒経過の場合(Yes)、408iに進み、ステップ408iで時間内発見率をカウント(−1回分)し、ステップ408jで、リスト上の時間情報を延長し上書きする。サーバから取得したリストの場合は、サーバに通知して上書きし、ステップ408aへ戻る。
図234は、基準点および注意点の近傍でのモバイルの挙動を示す表である。
図234に示す表(409a)では、マップ上の基準点や、例えばマップマッチングのミスが置きやすいポイントである注意点の近傍において、基準点や注意点の特徴に応じて、モバイルが起動すべきセンサを優先度順に記載していることと、起動時間と、基準点または注意点を検知した後起動し続ける時間が記載されており、より高精度な基準点または注意点の検知を行う。さらに、基準点又は注意点の近傍に入って、表にあるセンサ起動してからの起動時間内に基準点又は注意点を発見できたパーセントを示す時間内発見率と、マップマッチングをした後の、その後のセンサデータから実際の位置とマップマッチングした結果が異なっていた場合の比率を示すミス率を記載しておく。これにより、時間内発見率が低い場合は、起動時間を長めに設定し、時間内発見率が高い場合は起動時間を低めに調整することで、センサの起動時間を少なくし、省電力化を実現できる。また、マップマッチミス率が高い場合は、センサの起動時間を長めに取る以外に、近傍を認識するときの距離である近傍とする距離を伸ばす(3メートル→5メートル)ことで基準点または注意点の発見精度を上げることができる。マップマッチミス率が低い場合は、近傍とする距離を短くすることで、センサの起動時間を少なくし、省電力化を実現できる。
注意点の種類には、各種センサの検知精度が下がるエリアも含まれる。地磁気センサの場合は、テレビの側や、磁力を帯びた空間などでは大きなノイズが発生する。このとき地磁気センサが明らかに異なる方向を指してしまうようなノイズを検知した場合、モバイルがその場所をマップ上に注意点として登録する。モバイルが注意点近傍に入った場合、角速度センサを起動し、方向検知の補正を行う。さらに、マップ上に注意点として登録されていない状態でノイズ検知した場合は、直ぐに角速度センサを起動して補正を行いつつ、マップ上の注意点として登録する。また、急な坂や階段などで使用者のモバイルの持ち方が常に変わる座標点では、角速度センサの精度が重力方向が変わることによって影響を受けやすいセンサの位置になった場合、角速度センサ自体の検知精度、サンプリング量を上げる補正を行う。さらに地磁気センサが起動していない場合は、起動することで補正を加える。使用者の状態によってモバイルの位置の変化が常に同じ場所で起きることが、位置の変化を検出した座標値が常に近傍にあるかどうかを比較することで判断し、同じ場所の場合は、その座標値を注意点として登録する。
図235を用いて、建物内でのモバイルの位置を測定する処理を解説する。
開始し、ステップ410aで、モバイルがGPSで自宅周辺の座標を検知、または自宅無線LANのアクセスポイントを検知または、自宅で予め計測したときに取得した自宅周辺の無線LANのアクセスポイントのどれかを検知したかを判断し、Noの場合モバイルは検知するまで待ち続ける。Yesの場合、ステップ410b家に入るときの基準点を検知するためのセンサを図236に示す基準点を検知するためのセンサの優先度を表すリストである基準点検知センサ優先度リストから取得し、ステップ410c加速度センサの場合、登録されている加速度の検知パターン(例、3段分の階段)を検知するZ軸方向のGを検出した場合、予め登録されている基準点の座標値にいると判断しモバイルに座標値をセットし、丸4(図237)に進む。
なお、このとき、410cの処理に加えて地磁気センサのデータから進行方向軸(X軸)のG(加速度)と地磁気センサにより階段の向きを検知し、過去に検知するなどしてマップ上に登録された階段の方向と同じかどうかを判断し、同じでない場合は対象となる基準点である階段ではないと判断してもよい。
図236は、基準点を検知するためのセンサの優先度を表すリストである。
リスト(411a)に示すように、基準点の種類によって、起動すべきセンサの優先度が異なり、例えば、玄関ドアの検知においては、音センサによって鍵穴の音の類似性を検知することで正確な判定をすることができるが、リビングのドアは大きな音はしないため、音センサでの検知は難しく、入室時に床の高さが1段上がるので、加速度センサによる上下方向の移動検知の方が、特徴的なパターンの検出に効果的であるため、優先度が高いといった差がある。
また、例えばこのリスト(411a)を参照し、通常時はリスト中の上位2つのセンサを常に起動しておき、一定の期間たっても判定率が低い場合は上位3つを起動することにし、逆に判定率が高い場合は上位1つのみを使用するよう設定することで、基準点の特性と判定率に応じて、起動すべきセンサを変えることで、必要十分なセンサを用いた判定を行い省電力化および、検出精度を向上させる。また、モバイルのバッテリの充電状態に十分な余裕がある場合は、上位3つを常に起動するなどセンサの優先順位の低い物も含めて起動する。これにより使用者の利便性を損なわず検出制度を向上させることも可能である。
図237を用いて、建物内でのモバイルの位置を測定する処理を解説する。
例えば、ステップ412aで、Z軸の−(マイナス)方向の加速度成分が多い場合(Yes)は、ステップ412bへ進み、階段を登っていると判断し、ステップ412cで階段の歩数nをカウントし、ステップ412dで、無線LANの複数のアクセスポイントの電波強度や位相に応じて位置を求め、複数の階段の中から階段Aを特定し、ステップ412fで、サーバもしくはモバイルのメモリから得た階段Aの階段数mに達した場合もしくは気圧センサが一定気圧に達した場合(Yes)は、ステップ412gへ進み、階段を登り切ったと判断して、その場合のサーバから得た階段登り段の座標と、その座標精度評価点:Vsを得て、丸5(図238)へ進む。ステップ412fで、Noの場合は、ステップ412cへ戻る。ステップ412aで、Noの場合は、ステップ412hへ進み、ステップ412hで、Z軸の+(プラス)方向の加速度成分が多い場合(Yes)はステップ412iへ進み、階段を下りていると判断し、ステップ412kで、階段の歩数をカウントし、ステップ412mで、無線LANの複数のアクセスポイントの電波強度や位相に応じて位置を求め、複数の階段の中から階段Aを特定し、ステップ412nで、サーバもしくはモバイルのメモリから得た階段Aの階段数mに達した場合もしくは気圧センサが一定気圧に達した場合(Yes)は、ステップ412pへ進み、階段を下り切ったと判断して、その場合のサーバから得た階段下り段の座標と、その座標精度評価点:Vsを得て、丸5(図238)へ進む。ステップ412pで、Noの場合はステップ412kへ戻る。
図238を用いて、建物内でのモバイルの位置を測定する処理を解説する。
ステップ413aで、モバイルが測定した座標情報の座標精度評価点:Vmを取り出し、ステップ413bで、VmよりVsが高いつまりサーバの座標情報の方がより正確な場合(Yes)は、ステップ413cへ進み、モバイルの座標情報をサーバの座標情報に置きかえて、ステップ413gで、階段における基準点の座標情報の設定を完了、丸2(図229)へ戻る。ステップ413bで、Noの場合、ステップ413dへ進み、モバイルの座標情報をサーバの座標情報に書き換えないで、ステップ413eで、サーバの座標情報の自動書き換えフラグがONの場合もしくは、画面に「書き換えてよいか?」との表示をして使用者がOKした場合(Yes)は、ステップ413fへ進み、サーバの座標情報をモバイルの座標情報で書きかえて、ステップ413gで、階段における基準点の座標情報の設定を完了、丸2(図229)へ戻る。ステップ413eで、Noの場合は、ステップ413gで、階段における基準点の座標情報の設定を完了する。丸2(図229)へ戻る。
図239は、加速度センサによるZ軸(垂直)方向の検知データを表す図である。
図239の414aに示すように、階段を上っている場合は、上り方向である、Z軸(垂直)方向に対してマイナス方向の加速度が強く周期的に検出される(414a)。階段を下っている場合は上り方向である、Z軸(垂直)方向に対してプラス方向の加速度が強く周期的に検出される(414b)。歩行時は上下方向に対してほぼ同じとなる(414c)。図239のグラフは、よりわかりやすく説明するため、加速度センサにおいて定常状態で計測される重力成分を除いた状態での例として記載してある。
図240を用いて、建物内でのモバイルの位置を測定する処理を解説する。
開始し、ステップ415aで、モバイルがGPSで自宅周辺の座標を検知又は、自宅無線LANのアクセスポイントを検知または、自宅で予め計測したときに取得した自宅周辺の無線LANのアクセスポイントのどれかを検知したかを判断し、Noの場合モバイルは検知するまで待ち続ける。Yesの場合、ステップ415bで、家に入るときの基準点を検知するためのセンサを基準点検知センサ優先度リスト(411a)から取得し、ステップ415cで、取得結果が音センサの場合、セルラー網または無線LAN、BTなどの近接無線により予め登録された、建物(自宅)内に入るモバイル(例えば家族)にアクセスし、建物(自宅)の近くにいるかどうかを問い合わせて、ステップ415dで、近くに家族などの建物に入って位置検知サービスを受けることが許される使用者のモバイル機器がある場合は、座標値を問い合わせ、取得した座標値が自機器よりも基準値に近いかどうかを判断し、近い場合は、ステップ415fに進み、基準点検知センサ優先度リストを確認し、音以外の検知方法を選択し、ステップ415gで、選択した検知方法により基準点にモバイルが移動したことを検知し、基準点の座標値をモバイルにセットし、丸6(図241)へ進む。
ステップ415dで、遠い場合は、ステップ415eへ進み、予め入力してある音(ドアノブの音、カギの音)と一致した場合、基準点であると判断して基準点の座標値をモバイルにセットして、丸6(図236)へ進む。
次に、図241を用いて、建物内でのモバイルの位置を測定する処理を解説する。
ステップ416aで、一定の時間(10ms)ごとに基準点からの移動量を加速度、角速度センサ、地磁気から算出しつつ自立航法により想定座標値をモバイル内部に登録し続けて、ステップ416bで、Z軸加速度の検知結果から歩行を認識し、足が床についた瞬間の時刻を取得、対象となる時刻の音を1つまたは複数取得し、音に変化があった瞬間を検知し、ステップ416cで、音の変化のパターンがフローリングから絨毯といった予め登録された部屋の違いから来る音であるかどうかを比較し、類似している場合は、ステップ416dへ進み、地磁気角速度センサから進行方向を割り出し、進行方向に現在登録されている現在地情報である座標値から直線を引いた交点に座標を修正(または、最も近い所に修正してもよい)し、丸7(図242)へ進む。ステップ416cで、類似していない場合は、丸7(図242)へ進む。
図242は、加速度Z軸(垂直方向)の検知データと歩行者の関係を表す図である。
417aに示すように、加速度によって歩行の状態を検知することが可能であり、足を床に着いた時刻(417b、417c)を取得することができるため、その時刻を元に足音となる部分の音のみを抽出することが可能となり、より効果的に足音の違いを検知することができる。417dに示すように、フローリングのリビングから洋室の絨毯に移動した場合、足音の変化ポイント417eの時刻が、リビングと洋室の境目(417f)を通過した瞬間であると判断し、マップを元にモバイルの座標値を補正することができる。
図243は建物内での移動の例を表す図である。
モバイルが基準点(418a)を検知し、TV−Aに至るまでには曲がった量(418b)と基準点(418a)の座標値のマップ上の精度とから、TV−Aの座標値の精度を算出することができる。より具体的には曲がった量(418b)が多かった場合は、TV−Aの地点でモバイルが認識している座標値の精度は低く、曲がった量(418b)が少なかった場合は精度を高く設定し、基準点の制度情報を登録する。同様に、TV−AからTV−Bまでの移動においても、TV−A自体の座標値の精度情報と曲がった量やZ軸移動量(418c)の情報とを用いて、精度を計算し、制度情報を登録する。
図244はモバイルが移動した基準点から次の基準点までの道程の情報を表す図である。
道程の情報(419aの表)には、直近に通過した基準点の精度情報である元基準点精度情報と、移動量、加速度センサで算出した歩数情報、角速度センサ、地磁気センサで算出した曲がった量の総量、経過時間、上下方向のZ軸移動量の総量があり、これらの値の大小から、現時点のモバイルの座標の精度評価点(座標精度評価点)を算出する。
図245は元基準点精度を説明する図である。
420aの表の通り、それぞれの玄関などの基準点A、TV−A,TV−Bなどの基準点とその座標の精度情報を登録してある。図240の例のように、TV−Aの座標精度評価点は、基準点Aの座標精度評価点と道程1(420b)から決まり、TV−Bの座標精度評価点は、TV−Aの座標精度評価点と道程2(420c)から決まる。
この情報はマップ情報として常に保存し、更新し続ける。更新のタイミングはモバイルがその基準点に来たときに行ってもよいし、一定以上情報を蓄積して、10回分の計測データである座標値の平均を取るなど統計的な手法を用いることで決定してもよい。
図246を用いて、建物内でのモバイルの位置を測定する処理を解説する。
ステップ421aで、基準点を検知し、ステップ421bで、モバイルの現在座標値を基準点の座標値に置きかえて、ステップ421cで、道程リストの元基準点として対象基準点の座標の精度を示す座標精度評価点情報を基準点情報から取得し、ステップ421dで、角速度センサ、地磁気センサ、加速度センサから移動情報を計測保存し、ステップ421eで、新しい基準点に到達または、何らかのRF−ID機能を持ったデバイスにモバイルをタッチすることで通信?Yesの場合はステップ421fへ進み、基準点情報またはデバイス情報取得し、ステップ421gへ進み、座標精度評価点を基準点情報またはデバイス情報を用いて取得。取得方法は、RF−ID機能を搭載した家電機器など基準点に置かれた機器に対してモバイルをタッチする動作と同時、サーバ(SEG等)に問い合わせることでの取得、モバイル内部から取得のいずれかを利用、丸8(図242)へ進む。ステップ421eで、Noの場合は、ステップ421dへ戻る。
次に、図247を用いて建物内でのモバイルの位置を測定する処理を解説する。
ステップ422aで、道程情報から座標精度評価点を算出し、ステップ422bで、モバイルが算出した座標精度評価点の方が、元の座標精度評価点より高い数値の場合(Yes)は、ステップ422cへ進み、基準点または対象デバイスの3D座標情報と座標精度評価点を上書きする。ステップ422bで、Noの場合はステップ422dへ進み、基準点または対象デバイスの3D座標情報を取得し、ステップ422eで、モバイルの現在座標値を上書きする。丸2(図229)へ戻る。
次に、図239と図240を用いてエレベータに対する位置検知方法について記載する。
まず、図239を説明する。
ステップ423aで、エレベータの位置に来た場合(Yes)は、ステップ423bへ進み、Noの場合は繰り返す。
ステップ423aで、エレベータに入った場合(Yes)は、ステップ423cへ進み、Noの場合は繰り返す。
その建物内で複数台のエレベータが並んでいる場合は、各機内性能が異なるため、ステップ423cで、位置情報から、何番目のエレベータかと階数を判断し、ステップ423dで、該当するエレベータの「特性情報」をサーバから入手するn階からm階までの上昇時もしくは下降時の所要時間情報、Tsや負荷変化特性の情報と各階の床面の絶対もしくは相対高さ情報と各階の出口ドアの位置情報を入手し、ステップ423eで、Z軸の上下の加速度を計測し、ステップ423fで重力方向と同一方向の加速度が増加もしくは気圧が下がったとき、上昇を開始したと判断して経過時間の測定を開始し、ステップ423gで、重力方向と同一方向の加速度が減少したときもしくは気圧の下降が止まったとき、上昇を停止したと判断して経過時間の測定を停止して、経過時間TAを算出し、ステップ423hで、上昇開始階と経過時間TAと該当エレベータの前記所要時間情報から「n階からm階までの所要時間」の情報を得て「到達した階数」を求め、ステップ423iで、エレベータの外の位置に移動した場合(Yes)は、丸9(図249)へ進む。
ステップ423iで、Noの場合はステップ423eに戻る。
なお、エレベータが下降したことを検知する場合は、加速度、気圧ともにエレベータ上昇時の逆のデータが検知される。このため、上記ステップと同様にして下降段数を算出する。
また、他の人の行動などによってエレベータが途中階で止まる場合は、上昇または下降を開始して途中で止まるまでの間の移動量を、最終的に下りるまで、途中で止まるたびにプラスしていくことにより算出する。
次に、図249を説明する。
ステップ424aで、前記の「到達した階数」の高さ情報もしくは階数情報をモバイルの現在の3座標情報のZ情報に記録し、ステップ424bで、歩数でエレベータのドアを出たと判断した場合(Yes)は、ステップ424cへ進み、Noの場合は繰り返す。
ステップ424cで、サーバからもしくはモバイルのメモリに予め持つ該当階の出入口の位置情報とその座標精度評価点Vsを得る。これとは別にモバイルのセンサ等が測定した座標情報を持ち、丸5(図238)へ進む。この場合、出入口の位置情報の座標精度が評価点Vsの方がモバイルの座標制度評価点Vmが高い場合は、モバイルの座標情報を出入口の座標情報に置きかえることにより、基準点を再設定することにより、モバイルが持つ座標精度を高めることができるという効果がある。この後、モバイルが移動する距離と時間が増加することに従い、もし次の基準点設定をしない場合以外はモバイルの座標精度評価点Vmを徐々に下げてゆく。この下げ方はサーバからモバイル機種の特性に応じたプログラムをモバイルがダウンロードする。
エスカレーターに乗った場合は、平均的に安定したZ軸の上方向の加速度と平均的に安定した進行方向の加速度の双方が検出される。使用者が歩いて登らない限りこの加速度は極めて特徴的なパターンであるため、このパターンを検出することによりエレベータに乗り、上昇もしくは下降していることを検出して、下りた時点を歩数センサで検出することにより基準位置の再設定を行うことができる。
このようにして、エレベータにおいて到達した階数の情報および高さ情報を取得することができる。
(実施の形態24)
本実施例では、NFCリーダ・ライタを搭載したモバイル機器、家電機器に搭載されるNFCタグと家電CPU、およびモバイル機器および家電機器の情報を管理するサーバに関して、モバイル機器で家電機器のNFCタグにタッチした場合の動作を、図254〜図259を用いて説明する。
図254を解説すると、家電機器に搭載された家電CPUは、ステップ951vでタグのメモリに家電に関するデータを定期的に記録する。これにより、モバイル端末から家電機器タグにアクセスした際、モバイル機器から読み出し不可でありかつ、家電機器CPUからのみ読み出し可能な家電機器内情報を、モバイル端末に送信することが可能となるという効果を得る。
ステップ951aで、モバイル端末が動作状態とする。
ステップ951bでモバイル端末上の家電機器操作アプリケーションの起動を確認し、アプリケーションの起動が完了した場合(Yes)、ステップ951cでモバイル端末上の表示装置に、”タッチして下さい”と表示されるので、使用者は家電機器のタグにタッチする準備が整ったことを通知するという効果を得る。
ステップ951dで、使用者がモバイル端末のNFCリーダ・ライタを家電機器のNFCタグにタッチした場合(Yes)は、ステップ951eに進み、タグデータ読み出し要求を出し、ステップ951fでタグのメモリ内のデータを読み出す。
ステップ951gで、家電CPUへのアクセスが必要な場合(Yes)は、ステップ651hに進みCPUにアクセスし、ステップ951jでCPUへのアクセスが必要な情報を読み出し、ステップ651kでCPUの情報をタグのメモリに送るか記憶し、ステップ951mへ進む。これにより、モバイル端末から家電機器タグにアクセスした際、モバイル機器から読み出し不可でありかつ、家電機器CPUからのみ読み出し可能な家電機器内情報を、モバイル端末に送信することが可能となるという効果を得る。
ステップ951dで、Noの場合は再度繰り返し、ステップ951eへ進む。
ステップ951gで、Noの場合はステップ951mへ進む。
ステップ951mでモバイル端末にデータを送り、ステップ651nで、タグID、署名、鍵ID、機器型番、エラーコード、使用履歴(回数データ)、ログデータ、製造番号、家電の稼動状態(現在の状態)、URL、位置情報、展示モード識別子、などのデータを受け取る。
ステップ951qでモバイル端末が電波圏内の場合(Yes)は、ステップ951rへ進み、ステップ951rで、モバイル端末は、ユーザID +タグID+署名+鍵ID+機器型番+エラーコード+使用履歴(回数データ)+ログデータ+家電の稼動状態(現在の状態)位置情報、展示モード識別子のデータを上記URLのアドレスのサーバに送り、ステップ951sで、サーバはモバイル端末から送信されたデータを受信する。
ステップ951qでNoの場合は丸11(図255)に進む。
次に、図255を説明する。
ステップ952aで、モバイル端末は、タッチした家電機器から受信した機器型番に関するアプリケーションがある場合(Yes)、ステップ952iで、その機器型番に関するアプリケーションを起動する。これにより、機器型番と、機器型番に関するアプリケーションをモバイル端末が保持している場合は、モバイル端末が圏外でも、機器型番に関するアプリケーションを起動することができるという効果を得る。
ステップ952aで、Noの場合はステップ952bへ進み、一般用ローカル処理ルーチンを起動し、952cでタグより読み出したデータの一部を表示する。これにより、モバイル端末が圏外であり、機器型番に関するアプリケーションを保持していない場合でも、タッチした家電機器から取得した情報を使用者に提示できるという効果を得る。
ステップ952dでエラーコードが「エラー」を示す場合(Yes)は、ステップ952eへ進み、ステップ952eで、端末内に、エラーコードに関するエラー内容などを示す属性情報がある場合(Yes)は、ステップ952fに進む。
ステップ952eで、Noの場合は、ステップ952gへ進み、機器型番とエラーコードもしくはエラーを文字に変換した情報を表示し、ステップ952hに進む。これにより、エラーコードに関するエラー内容などを示す属性情報がモバイル端末内にない場合でも、家電機器のエラー情報を使用者に提示することができるという効果がある。
ステップ952fで、エラーコードに基づきエラー内容を説明する情報を表示し、ステップ952hに進む。これにより、モバイル端末が圏外の場合でも、モバイル機器内部にエラーコードとエラー内容の対応情報を保持し、家電機器から取得したエラーコードからエラー内容に変換することにより、タッチした家電機器から取得したエラー内容を使用者にわかりやすく提示することができるという効果がある。エラーコードとエラー内容の対応変換を行う場合は、家電機器からタグを経由してメーカコードもモバイル端末に送り、メーカごとに、エラーコードとエラー内容の対応表を管理し、変換するとしてもよい。もしもメーカごとに機器共通エラーコードが定義されている場合は、家電機器からタグを経由してメーカコードもモバイル端末に送り、メーカごとのエラーコードとエラー内容の対応表を参照し、エラー内容に変換するとしてもよい。これにより、モバイル端末に保持する必要のあるエラー数を減らすことが可能となるという効果も得る。また、メーカコードとそのメーカの機器型番とエラーコードとエラー内容の対応表を管理し、エラー内容を変換するとしてもよい。
ステップ952hで、もし、機器型番の問い合わせに関する電話番号もしくはEメールアドレス、URLがモバイル内に記憶されている場合(Yes)は、丸4(図257)のステップ954aへ進む。
ステップ952hで、Noの場合は丸10(図257)のステップ954bへ進む。
図256を説明すると、ステップ953aで、サーバもしくはタグの展示モード識別子がONの場合(Yes)は、ステップ953bへ進み、展示モードのメニュー画面をモバイル画面上に出す。
前記展示モードとは、家電機器が家電店舗の店頭に並べられている状態を示す情報である。家電機器の流通は一般に、メーカで製造され、製造された一部の機器が倉庫に収められ、ランダムに選択された一部の機器が家電販売店の店頭にディスプレイされる。消費者は、家電販売店の店頭で、商品の使い心地を試したり、デザインを評価したりするが、次のような問題点がある。
ステップ953d以降は、モバイル端末で家電にタッチすることで、メーカに対してユーザ登録を簡単に実現するためのステップである。消費者は、家電店舗で実物の商品に触れることが可能であるが、購入することが確定しているわけではない。もし悪意のある消費者が、消費者自身の保有するモバイル端末で、展示されている家電機器のタグにタッチすると、購入していない家電機器に対してユーザ登録ができてしまうという問題がある。近年、メーカにとってユーザ登録は、リコールが発生した場合に商品購入者を特定するための非常に重要な情報であるため、ユーザ登録をした消費者に対して、金銭的もしくは付加価値を提供することも多い。そのため、未購入機器に対してユーザ登録をしようとする悪意のある消費者は増える可能性があり、未購入機器に対するユーザ登録を防止する仕組みが強く求められる。ステップ953a、953bは、サーバもしくはタグの展示モード識別子を用い、展示モードである場合はユーザ登録を行わず、展示モードのメニュー画面をモバイル機器画面に表示することで、不正なユーザ登録を防止するという効果を有する。展示モードをサーバ上で変更、参照する場合は、家電機器に直接触れる必要がないため、大量機器の一括変更や遠隔地の家電機器を制御することができるという効果がある。展示モードを家電機器内、または家電機器タグ上で変更、参照する場合は、例えば店舗に展示している家電機器それぞれに対して操作することが可能となる。
ステップ953aで、Noの場合は、ステップ953cへ進み、タグID+機器の型番により、DBを検索して機器登録(愛用者)済みかを判定し、ステップ953dで、機器の登録がある場合(Yes)は、ステップ953eへ進み、ステップ953eでユーザID(モバイル)とサーバに登録されているユーザIDが同一か、同一の家族IDの場合(Yes)は、ステップ953fへ進み、通常の機器型番に対応したメニュー画面を表示する。これにより、既にユーザ登録済みの家電機器の場合は、購入者に対して不要なユーザ登録画面を何度も表示させる必要がないという効果を有する。また近年、ほぼ1人1台以上のモバイル端末を保持しているため、例えば購入した洗濯機に対して、父親のモバイル端末を用いてユーザ登録を行い、母親のモバイル端末を用いて洗濯機のNFCタグにタッチした場合、同世帯であったとしても異なるユーザが再登録要求したと判断してしまうと、ユーザ登録変更画面を表示してしまう。この課題に対して、ステップ953eのようにユーザIDを家族IDとしても紐付けて管理しておき、同一家族であることを判別した場合は、正常にユーザ登録された状態であると判定し、購入者に対して不要なユーザ登録画面を何度も表示させる必要がないという効果を有する。
ステップ953dで、Noの場合は、ステップ953gへ進み、ユーザ登録画面を表示し、ステップ953hで、GPS等の端末の位置情報がある場合(Yes)は、ステップ953jへ進み、特定の地域にあるか?その機器(型番)が販売されている建物内にあるかどうかをチェックし、丸6(図259)へ進む。
ステップ953eで、Noの場合は丸5(図258)へ進む。
次に、図257を説明する。
ステップ954aで、上記の電話番号,Eメールアドレス,URLを画面に表示し、ステップ954bで、サーバに接続して、情報のやりとりをするデータがある場合(Yes)は、ステップ954cへ進み、Noの場合は、ステップ954dへ進み、終了。
ステップ954cで、「圏内に移動する」ことを使用者に促す表示をして、ステップ954eで、タグより読み取ったデータをメモリに退避させ「得る状態」にしておき、ステップ954fで、圏内に入った場合(Yes)はステップ954gに進み、Noの場合はステップ954cへ戻る。
ステップ954gで、タグもしくは、モバイルに記録されているURLのサーバに接続して、ステップ954hで、ユーザ認証し、ステップ954jで、タグより読み取った情報そのものもしくは加工した情報をサーバに送るか、サーバから送られてきたアプリケーションに基づき処理する。
これにより、モバイル端末で家電機器にタッチした場所が電波圏外であったとしても、使用者が圏内に移動した後に、引き続きユーザ認証、ユーザ登録や変更、機器に対応したメニュー画面などを表示することができるという効果を有する。
次に、図258を説明する。
ステップ955aで、GPS等により端末の位置情報が入手できる場合(Yes)は、ステップ955bへ進み、ステップ955bで、端末の位置情報とサーバに登録されている位置情報がほぼ一致する場合(Yes)はステップ955cへ進む。
ステップ955cで、サーバに「他のIDユーザを使用してよい」ことを示す識別子が記録されている場合(Yes)は、ステップ955dへ進み、ゲストモードに入る。
ステップ955cで、Noの場合は、ステップ955eへ進み、停止する。
これにより、家族以外の訪問客のモバイル端末上で、指定した家電機器に対してのみ機能を動作させることが可能になるという効果がある。例えば、自宅に家族外の訪問客が訪問した場合などに際し、モバイル端末上でテレビリモコン機能を動作させることは訪問客に許可するが、洗濯機の洗濯履歴は家族外に見せたくない、という判断をした場合に、テレビに関しては、「他のIDユーザを使用してよい」ことを示す識別子をONにしておき、洗濯機に関しては「他のIDユーザを使用してよい」ことを示す識別子をOFFにしておけばよい。また、ゲストモードを定義することにより、洗濯機の洗濯履歴は家族外に見せないが、エラーコードだけはモバイル端末で表示することを許可するなど、一部の機能だけを訪問客に提供することが可能になるという効果も有する。
ステップ955bで、Noの場合はステップ955fへ進み、ステップ955fで、「住所が変わったか?」「持ち主が変わったか?」の質問をモバイル画面に表示し、Yesの場合は、ステップ955gへ進み、住所変更メニューもしくは使用者変更メニューを表示する。
これにより、以前使用していた家電を持って引越を行った場合など購入時にユーザ登録していた住所が変わった場合に、ユーザがユーザ登録を失念していた場合でも、自動的にユーザ登録を促すことが可能になるという効果を有する。
ステップ955fで、Noの場合はステップ955hへ進み、処理を続行する。
次に、家電機器が家電販売店で展示されている状況に関する実施の形態として、図259を用いて説明する。
ステップ956aで、該当地域にある場合(Yes)は、ステップ956bへ進み、Noの場合は、ステップ956cへ進み、ユーザ登録作業を行う。
ここで、当該地域とは一般的には家電販売店のフロアを示す空間情報であり、GPS情報などで構成される。当該地域であることの判別は、モバイル端末の位置情報を用いてもよいし、店舗のビーコンを用いてもよい。家電流通経路情報と現在時間を参照して店舗に存在すると判別してもよい。
これにより、家電機器の存在する場所が販売店にある場合、販売店に展示された未購入商品を、悪意を持ったユーザが不正にユーザ登録することを防止するという効果を有する。
ステップ956bでサーバとモバイル端末(ユーザID)でユーザ認証し、ステップ956dで、ユーザ認証がOKの場合(Yes)は、ステップ956eへ進み、Noの場合はステップ956fへ進み、動作を停止する。
ステップ956eで、その販売店もしくはメーカ固有のパスワード入力を要求する。
ステップ956gで認証し、ステップ956hへ進む。
ステップ956hで認証がOKの場合(Yes)はステップ956jへ進み、Noの場合はステップ956kへ進み、停止する。
ステップ956jで、パスワードが正しい場合(Yes)は、ステップ956mへ進み、Noの場合はステップ956nへ進み、停止する。
ステップ956mで、展示モードに切り替えて、ステップ956pで、展示モード識別子をタグもしくはサーバに記録してよいかを聞く。
ステップ956pで、Yesの場合は、ステップ956qへ進み、サーバもしくはタグの展示モード識別子をONにして、ステップ956rでその識別子情報をサーバに送る、もしくはかつタグのプロットされたメモリ領域に記録するために、識別子情報、パスワード、鍵情報を暗号化してタグに送って、ステップ956sで展示モードを継続する。
タグはステップ956tで受け取った鍵、パスワードをタグの中の鍵を用いて認証して、ステップ956uで、認証OKの場合(Yes)は、ステップ956vへ進み、タグの中の展示モード識別子領域にONを意味する値を記録する。
ステップ956uで、Noの場合はステップ956wへ進み、停止する。
ステップ956pで、Noの場合はステップ956sへ進む。
これにより、悪意のある客が店舗に展示されている家電機器の展示モードなどを、イタズラで変更することを防止することができるという効果を有する。また、悪意のある客が展示モードを不正にOFFにし、未購入商品に対する不正なユーザ登録を行うことを防止することができるという効果を有する。また、仮に展示モードがない場合でも、機器が店舗内にあり、販売店もしくはメーカ固有のパスワード入力を要求することにより、未購入商品に対する不正なユーザ登録を行うことを防止することができるという効果を有する。
また、ステップ956mで展示モードに切り替えるとしたが、ユーザ登録作業を行うとしてもよい。これにより、未販売家電に対する不正ユーザ登録を防止するともに、家電販売店の販売担当者が、消費者の代わりに販売店舗の中でユーザ登録を行うことを可能とするという効果を有する。
図260は、実施例23,34,25や他の実施例で説明しているタグに記録されている情報の属性を説明している。
(実施の形態25)
本発明の実施の形態25について述べる。図261に本実施の形態において想定しているモバイル端末5201、図262に本実施の形態において想定している家電機器5211について示す。本実施例では、モバイル端末5201と家電機器5211が近接無線通信を行う際に双方の機器のガイド機能を用いて簡単に近接通信モジュールのアンテナ部の位置合わせをより精度をあげて近接通信させる方法を示す。モバイル端末5201は前面部のほとんどが表示装置で構成されているスマートフォンのような端末を主に想定している。近接無線モジュールのアンテナ部は表示部のボタン部の背面に搭載されているものとする。図262に示すように家電機器5211は一般の家電のある部分に近接無線モジュールのアンテナ部が搭載されている。さらに、そのNFCのアンテナの中心部の近傍には部分には何らかの目印となるマーク5301が付けられている。目印となるものは、丸や十字などの一般的な記号でもよいし、近接モジュールを表す特殊な記号でもよい。また、メーカロゴや商品ロゴなどのもともと付いているものを利用してもよいが、図262のマーク5301のようにアンテナ5302の中心部を中心とし、タテ方向に長い十字マーク5302の位置合わせ効果が高い。
図263は、本実施の形態におけるモバイル端末5201のモジュールのアンテナ位置5303を表示している状態の図である。本実施の形態のモバイル端末5201では、近接無線通信を用いる際に、背面に存在する近接無線通信モジュールのアンテナ位置を前面の表示装置に表示する。ディスプレイ表示の方法はアンテナ部形状に合わせてもよいし、一般的な記号を用いてもよい。さらに、複数の表示方法を組み合わせて用いてもよい。なお、ディスプレイ表示の種別はユーザが選択かのうであってもよい。本発明により、背面にモジュールの位置を表す表示を付けた場合に比べて、モバイル端末5201の背面を見ながら近接無線モジュールを近づけていくという不便な動作を軽減することが可能となる。
図264は、本実施の形態における家電機器5211のモジュール位置を表示している状態の図である。本実施の形態の家電機器5211では近接無線通信を用いる際に、ガイド表示を行うものとする。通常時はタグ位置は印刷されたマークであるが、家電機器5211側にモバイル端末5201に送信したいデータが発生した場合には、LEDなどを用いて明確にわかる表示を行う。表示する種別はモバイル端末5201と同様に様々な種別が考えられるが、基本的に近接無線通信モジュールを中心にして広がっている図形となる。本発明により、白物家電などのシンプルなデザインを損なうことなく、通信したいときは明確に近接無線通信モジュールの位置を示すことが可能となる。
図265は、本実施の形態におけるモバイル端末5201と家電機器5211が近接無線通信モジュールを用いて通信を行っているときの状態図である。ユーザは家電機器5211側に表示された表示の中心に向かって、モバイル端末5201に表示されたマークを合わせていくだけで、正確に近接モジュールを近接させることが可能となる。これにより、極めて簡単に近接無線モジュールの性能限界で通信を行うことが可能となる。本発明は、モバイル端末5201側、家電側それぞれで有効であるが、同時の用いることによりより一層の効果が期待できる。
図266は、加速度計やジャイロを表示と連動させて用いる場合の図である。円形に広がっている図形以外を用いた場合には、モバイル端末5201の傾きにあわせて表示するものとする。これにより、ユーザは家電側に表示された図形に応じて、モバイル端末5201を好きな角度で近接させることが可能となる。一般に、モバイル端末5201は円形や正方形をしていないため、本発明は有効である。
図267は、背面のカメラを連動させて用いる場合の図である。家電側にガイド表示をさせたとしても、モバイル端末5201で隠れてしまい、見えない部分が多くなる。カメラを用いて家電側のガイドをモバイル端末5201上に表示してやることにより、この問題を解決することが可能となる。モバイル端末5201は背面にカメラを搭載しているものが多いため、本発明は有効である。なお、カメラがモバイル端末5201のアンテナ位置の近傍部に搭載されている場合は、そのカメラの映像中心にアンテナマークがくるように表示する、もしくは、表示部の位置合わせ用の表示がアンテナ位置にくるように表示する。しかし、一致しない場合はオートフォーカスの距離データもしくは、アンテナマークの大きさをサーバからダウンロードしておき、モバイルの位置情報から、対象の家電機器を特定し、アンテナの大きさから距離を演算し、カメラ中心とアンテナとの位置のズレを補正し、中心部もしくは位置合わせマークの中心に家電のアンテナマークが表示されるように距離から補正演算する。
図268は、サーバ5505と連動して、本発明を実現するアプリケーションをダウンロードしてくる場合の図である。本発明はモバイル端末5201にアプリケーション5501をダウンロードしてくる必要がある。アプリケーションをダウンロードする場合には、モバイル端末5201からサーバへモバイル端末5201の型番情報5510が送信され、サーバはその型番より座標データベース5503を検索し、型番に対応するNFCのアンテナ座標と表示部5221の位置情報もしくは両者の位置関係を示す情報を入手する。特にスマートフォンのようにアンテナの中心位置が表示部の裏面の位置にあるかどうかを示す識別情報が「Yes(ある)」を示す場合は、表示部のアンテナ中心位置を示すアンテナ位置表示座標5513a(x1、y1)を入手して、アプリケーション5501とともにモバイル5201hに送る。このアプリケーション5501はNFCの読み出し用でかつ読みとる時にアンテナ位置表示座標(x1、y1)を中心として、図263の(5)〜(12)までの図の表示画面例のアンテナ表示位置座標5513(x1、y1)の5513r、5513s、5513r、5513z、5513v、5513a、5513y、5513xのようにアンテナの中心位置に対応する位置が中心となるように表示される。特に(4)に示すように十字表示5521の場合は丁度、家電側のアンテナマーク5321a、5321bに使用者が合わせることにより、精度高く両方のアンテナ位置を合わせることができるため、確実にタグのデータを読み書きできるという効果がある。特に図271に示すように、1分近くかかる家電ファームウェアのアップデート、データのダウンロード時のようにアンテナ位置を長時間、人間の手では合わせ続ける必要がある場合に効果が高い。モバイル端末5201の座標位置に合わせた値を入れてアプリケーションを配信する。各モバイル端末5201の近接無線通信モジュールのアンテナの位置と表示部の位置と関係を示す情報含む位置情報のデータベース5503をサーバは保有しているものとする。こうすることにより、様々な種別のモバイル端末5201に対応することが可能となる。なお、各モバイルにアンテナ位置表示中心座標を予め記録する方法でも本発明の効果はまったく変わることがない。
図269は、本発明を実現するモバイル端末5201の機能ブロック図である。制御部は一般無線通信部を用いてアンテナ位置を示す表示座標を取得し、表示座標保持部に記録する。近接無線通信部が近接無線通信を開始しようとすると、制御部は座標保持部から座標を取得し、アンテナ位置表示画像保持部から表示画像を取得し、ディスプレイ部の該当座標に画像を表示する。同時にカメラ部からの映像をディスプレイ部に表示してもよい。近接無線通信アンテナ部が家電の近接無線通信モジュールに接近すると、通信を開始する。
図270は、家電機器5211の異常発生時のガイド表示に関する状態遷移図である。家電機器5211は異常が発生すると、赤色を表示させるものとする。ここで、異常とは故障などの緊急に近接無線通信の必要性をユーザに通知したい状況を表す。異常の通知が完了すると青色を表示させるものとする。さらに、異常の度合いが低い場合、例えばフィルタ交換やファームアップデート要求などの場合には黄色を表示させるものとする。なお、色の表示はこの2色に限定されるものではない。また、警告音等でユーザ通知をおこなってもよい。
図271は、長時間の通信を行う場合の図である。ファームアップデートなどの長期間の通信を行う場合には、ユーザに対して残り時間を通知するものとする。モバイル端末5201側でメッセージを表示させてもよいし、家電機器5211側の表示を用いてもよい。
図272は、ディスプレイ表示部を持つ家電機器5211のガイドを表示したときの図である。家電機器5211の近接無線通信モジュールは背面には設置されない。また、ディスプレイ表示部の上にも設置されない。そのため、ディスプレイ以外の部分に設置されている近接無線通信モジュールがわかる表示を行う。十字などの表示でもよいし、矢印などで表示してもよい。
図273は、本実施の形態25におけるフローチャートである。家電機器5211には図262のようにアンテナ5302の中心部を中心とする長さd1の印刷マーク5301が印字されている。転倒していてもよい。イベントが発生した場合、もしくは一定の期間近接無線通信を行わなかった場合(ステップ5201a)にはサーバへの接続を試みる。インターネット経由での接続ができる場合にはステップ5201bで、インターネット経由でサーバに情報を送信する(ステップ5201k)。そうでない場合もしくは通信機能がない場合には、近接無線通信を用いてサーバへの接続をするため、家電のアンテナの中心部に中心が配置された図262の点灯マークのように印刷マーク5301の長さd1よりも少なくとも水平方向の長さが大きい長さd2の点灯マーク5321a、5321bが点灯表示される。具体的には図271の(1)から(2)の表示マーク5321、5320のように変化する。印字マーク5301は消灯できないため大型であるとデザイン面の自由度が狭くなる。しかし、図271の(3)のように点灯マーク5321e、5320fが印字マーク5301より大きいつまりd2>d1であるためスマートフォンなどのモバイル5201より大きな形状の表示ができるため、表示マークがモバイルによりかくれることがなくなり、モバイルのアンテナと家電のアンテナの位置合わせがしやすくなるという大きな効果が得られる。このようにして、図270(2)のように十字表示の点灯マーク5321を赤色で表示(点滅)させる。異常系エラー以外の通常エラーでは別の色(例:青色)を表示する(図270(3)や図271(4))。ここで異常系エラーとは故障など通常動作では発生しないエラーのことであり、通常エラーとはエアコンのフィルタ交換などの通常動作をしていても発生する故障ではないエラーのことである。エラーでない場合でもサーバに情報を送信したい場合には何らかの形で表示してもよい(5201c)。エラーの場合には警告音を発生させる(5201d)。一定時間近接無線通信(タッチ)がない場合には、ユーザが近くにいないものと判断し、音をとめる(5201f)。さらに、点滅の間隔を長く、もしくは暗くする(5021g)。家電が持つ使用履歴からそのユーザの機器の使用時間帯を推定し、その時間だけ点灯させたり点灯させたりする間隔を短くすることにより省電力する(5201h)。さらに長時間タッチがない場合には、再び音を出す(5201j)。タッチを検出した場合にはデータ転送を開始する5201k。ユーザが家電側の点灯表示を見る、もしくは音を聞いた場合(5202)、モバイル端末5201のアプリケーションを起動すると(5202b)、アプリケーションは表示部に表示部裏側に配置されたNFCのアンテナ部のほぼ中心部に該当する表示部の該当部分を中心とした十字マークもしくは円マークなどのタッチ指示マークを表示する(5202c)。モバイル端末5201からアンテナを通して電波の送信を開始し(5202d)、同時に使用者はモバイルのタッチ指示マークと家電のアンテナ表示マークを見てモバイルの位置を合わせようと試みる(5202e)。ポーリングを繰り返し(5202g)、一定時間内に通信が開始された場合には(5202h)、家電部の近接無線通信部のメモリ内のデータを読み出す(5203d)。一定時間通信が開始できない場合には(5202h)、一旦、ポーリングを終了し(5202j)、「もう1度合わせてください」との表示を出す(5203a)。ユーザに再び位置合わせをしてもらい、それでも通信できない場合(5203b)には終了する(5203c)。データを読み出す際に最初に送られるデータから読み出すべきそうデータ量と家電側の通信速度を取得する(5203e)。通信状況からエラー率を計算する。サーバに送ってもよい(5203f)。データ量と通信速度とエラー率から読み取りにかかる時間を計算する(5203g)。そして、推定読み取り時間を表示部に表示する(5204a)。残り時間も棒状もしくは円形状のインジケーターで表示する。通信が完了すると(5204b)、完了表示を出して(5204c)、データをサーバに送る(5204d)。家電側もデータ転送が進むにつれて(5204e)、表示部を明るくする、点滅を早くする、色を帰るなどの処理を行ってもよい(5204f)。通信が完了すると(5204g)、完了をモバイルに通知する(5204h)。通信完了後(5204j)、点滅を点灯に変更し(5204k)、一定時間後に消灯する(5204m)。
以上のように、本発明では、スマートフォンなどのモバイル端末を使って家電にタッチ(近接通信)することにより家電の情報をサーバに送るので、アンテナとIC1つの極めて安いコストと簡単な構成でインターネットサービスを享受することができるが、サーバから使用者へはモバイルを介して24時間、データが提供されるが、家電からモバイル、サーバへの持続はタッチしない限りない。しかし、本発明では家電からサーバに一定時間接続しない時や故障によりサーバに接続する必要があった場合に、NFCのアンテナを中心として赤色などのLEDが点灯したり、音を出して使用者に光や音でタッチすることを要求するので、家電からモバイルやサーバへの接続が人間を介在させて可能となるという効果がある。また家電のNFCのアンテナを中心として、印刷マークより大きな点灯表示マークを表示させる。スマートフォンより大きなマークにすることによりスマートフォンによりアンテナ部がかくれても十字表示によりアンテナの位置が目視できるという効果がある。
また発明では、スマートフォンの裏側にあるアンテナの中心位置に対応する表示部の表示する際の座標情報(x1、y1)をパラメータとしてモバイルのメモリ部に予めもっているため、表示部にアンテナの位置を表示することができる。特に図263の(4)のように家電側のNFCのアンテナ表示マーク5321a、5321bと対応する位置に、モバイル側のアンテナ位置マークを十文字形に表示することにより使用者が容易に双方のアンテナ位置を合わせることができるため、データ転送開始の時間が早くなったり、長時間のダウンロード時にもエラーを起こすことがなくなるという効果がある。上部の表示部の座標情報はサーバから読みとり用のアプリケーションのダウンロード時にサーバから入手しても同じ効果が得られる。また、モバイルのアンテナの物理位置と表示素子の物理位置や表示位置との位置関係を示す情報や、それぞれの位置情報を使ってもよい。十字マークが効果的であるが、円形や角形の表示モバイルの表示部に表示してもよい。重要なのは家電の例のマークとモバイル側の表示マークの位置が目で見て一致しやすくすることである。
図272の表示マーク5401のようにTVのようなディスプレイの表示部にアンテナの位置マークを表示すると、画面の周辺の枠が狭いディスプレイでも大きく表示することができる。
本発明では、スマートフォンなどのように、表示部の背面部にアンテナがある場合、アンテナ配置識別情報がONである。この場合、アンテナの中心部に該当する表示部の領域の座標位置情報、例えば、横480x縦1200画素の表示部の場合、アンテナの中心位置が(x、y)=(200ドット、400ドット)と定義する。こうするだけで全製造業者の携帯電話のアンテナ位置が確実に簡単に特定できるため、規格化や標準化がし易いという効果が得られる。この場合、アンテナの領域を端点(150、200)と端点(250、500)のように定義してアンテナの範囲を特定してもよい。さらに、この方式ではデータ量も最小でするため、メモリを消費することもない。このデータをモバイル端末の記憶部に記憶すればよい。またサーバからダウンロードしてモバイルのアンテナ座標記憶専用領域に記憶してもよい。この場合読み取り用のアプリケーションダウンロード時にこのデータを入力する。これによりアプリケーションのダウンロード時に、自動的にアンテナ位置が特定できる。この座標情報により大きな効果が得られる。
また、図268の2つ折り型の携帯電話にはボタン部の裏側にアンテナがあるため、モバイル5201mのようにアンテナ位置データに基づき、これを中心とする押しボタンの水平方向と垂直方向を点灯させることにより十字表示をさせたり、別の表示部を設けることにより、家電部の十字等のアンテナ表示マークと一致させて表示することもできる。これにより、従来型の携帯電話でもアンテナ位置の表示が可能となるという効果がある。
次に、図277を用いて、本発明の同期の運転時のモバイルの待ち受け画面への表示方法を説明する。
ステップ5205aで、家電の予約画面を選択し、Yesの場合はステップ5205bへ進み、予約開始時間、工程の内容、種類のパラメータを入力し、ステップ5205cで、洗濯機のように洗濯物により運転時間が変動する場合(Yesの場合)なら、ステップ5205dへ進み、「強制同期運転モード」をONまたはOFFにして、ステップ5205eへ進む。
ステップ5205cで、Noの場合もステップ5205eへ進む。
ステップ5205eで、タッチした場合(Yes)は、ステップ5205fへ進み、Noの場合は繰り返す。
ステップ5205fで、設定したプログラム等の命令を家電に送り、ステップ5205gで、家電がデータを受け取り、ステップ5205hで、開始から終了までの手順の予測時間を含むプログラムデータを送る。
ステップ5205hから、家電部はステップ5205iへ進み、プログラム開始し、ステップ5205jで、強制同期運転モードがONのとき、もしくは運転時間が変化しないとき(Yes)は、ステップ5205kへ進み、端末と家電が同期運転を行い、ステップ5205mで、例えば、洗濯機が最大20分の作業が15分で終わった場合は20分になるまで5分停止する。これにより端末と家電が完全に同期する。
ステップ5205jで、Noの場合は、ステップ5205nへ進み、端末と必ずしも同期しない運転を行う。
ステップ5205から、モバイルはステップ5205pへ進み、プログラムを受け取り、ステップ5205qで、プログラム開始し、ステップ5205rで、強制同期運転モードがONのとき、もしくは運転時間が変化しないとき(Yes)は、ステップ5205sに進み、家電の運転と同じ表示をして、ステップ5205tで、図278の5302aのように待ち受け画面になったときは、ステップ5205uへ進み、画面に家電の現在の状況を表すアイコン5305,5306,5307を表示する。例えば、エアコンの予約開始動作が始まるとその動作開始や残り時間をアイコン5306b、5305b、5305cのように表示する。このアイコンを指で押すと5303のようにその家電、例えば、洗濯機のメニュー画面に切り替わる。ここで予約画面のアイコン5309aを指で洗濯すると画面5304のような予約した画面に入り、どのような予約を洗濯機やエアコンがしたのかが家の外にいてもわかる。
つまり、本発明では、タッチしたときに通信を行うだけであるが、モバイルと家電が通信してなくとも、同じプログラムで強制的に各家電がプログラムで設定した通りに同期運転をするため、外出していてもモバイルの待ち受け画面を見るだけで家の中の家電の現在の動作状況がつぶさにわかり、洗濯の完了や暖房の開始などの通知もモバイルを介して使用者にされるという効果がある。使用者はあたかもネットで接続されているようなサービスを提供されるという効果が得られる。
ステップ5205rで、Noの場合は、ステップ5205yに進み、端末に家電の略々時間を表示させる。その際、例えば、洗濯・乾燥時間の最小所要時間と最大所要時間の場合の完了時間になれば、その表示を待ち受け画面に表示する。本発明では待ち受けが面5351aの状態でも家電用アプリケーションが動作しており、アイコンで図278(1)のように表示するだけでなく、図278(2)の待ち受け画面5351bのように現在の家電の動作状況を表示するため、モバイルの操作をすることなしにいつも家電の現在の状況を把握できる。本発明では動作が完了した家電のアイコンを待ち受け画面から消すため、不要なアイコンが消滅、見やすいという効果もある。
以上、本発明の通信装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
なお、図263を用いて説明した実施の形態において、表示ディスプレイやLEDの裏面にNFCアンテナ中心部がある形態をもちいて説明したが、もしもNFCアンテナ中心部が液晶ディスプレイやLEDの裏面ではなく、表示装置のない部分の裏面部に配置されている場合でも、NFCアンテナ中心部を中心とした同心円の一部を表示ディスプレイに表示する。その場合、同心円の中心はディスプレイに表示されないが、同心円の一部のカーブを使用者に示すことで、使用者はモバイル端末に表示された同心円の一部と家電機器のマーカーとを合わせることで、NFCアンテナの中心部を最適な位置にあてがうことが可能となる効果を有する。
また、図267を用いて説明した実施の形態において、カメラを用いるとしたが、カメラの起動、もしくはNFCリーダーの起動、もしくはモバイル端末が家電機器のNFCタグに接触することに寄るNFC電界強度の変化、もしくは加速度センサーなどによるモバイル端末と家電機器との接触を検知した場合に、モバイル端末に搭載されているLED照明を点灯させるとしても良い。モバイル端末には、主にカメラのフラッシュ用に白色LEDが搭載されているものが多い。これにより、カメラを用いる場合に、家電端末のマーカーが、モバイル端末の影に隠れて暗くなり、カメラに表示されないという問題を解決する効果を有する。この場合、カメラのレンズ部をモバイル側のNFCのアンテナの中の部分に配置することにより画像の補整をすることなく家電側のアンテナの映像を捉えることができる。この場合やすこしカメラレンズがずれている場合に、カメラの映像からパターン認識により家電側のアンテナの配置マークを認識することにより、家電側とモバイル側のアンテナのずれを検出できるので、モバイルの画面上に右や左や上、下の矢印表示をすることにより使用者がアンテナ位置を正確にあわせることができる。この場合音で一致している比率を示すことによりより合わせやすくなる。中心部からずれるに従い警告音を大きくしたり、高くすることにより使用者に位置のずれを知らせたりすることができる。
また、図268ではモバイル5201mの押しボタン部にアンテナガイド用の十字のラインを発光させ表示したが、これだけでは初めて使う使用者にはわからない。従ってモバイル5201mの画面部にモバイルの全体の画像を表示するともに、押しボタン部のライン表示を家電側のアンテナのマークに一致させる画像を表示することにより初心者でも押しボタン部のラインマーク発光部を家電側の十字のアンテナ表示マークに合わせればよいことがわかる。このため、操作が簡単になるという効果がある。
本発明では通常はアンテナのガイド表示をモバイルの画面に表示するが、モバイルのNFCが「リーダ・ライタ」として動作するときにはアンテナのガイドを表示させる。しかしモバイルのNFCが「ICタグ」として動作するときには表示はしない。場合によっては消灯させたままにする。これにより不要な表示素子や表示部の不要な発光を防ぎ、省電力させることができるという効果がある。ICタグとして使用するときにはリーダ・ライタ側のアンテナは極めて大きいためアンテナのガイドが必要ないからである。また、ICタグの場合は読み取られるだけでよいため、表示部を必ずしも発光させる必要はない。
なお、NFCアンテナ側と反対側の筐体面に、前記アンテナの中心部の位置に対応する部分にLEDなどの発光表示装置を設けたモバイル端末であってもよい。これにより、NFCアンテナをあてがう場合に、ユーザーにNFCアンテナ中心部を使用者に明確に伝えることが可能となる効果を有する。