JP2009071728A

JP2009071728A - 通信装置、表示装置、表示システム、通信装置の制御方法、表示装置の制御方法、通信プログラム、及び表示プログラム

Info

Publication number: JP2009071728A
Application number: JP2007240179A
Authority: JP
Inventors: Yuji Koide; 裕司小出
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-09-14
Filing date: 2007-09-14
Publication date: 2009-04-02

Abstract

【課題】通信装置を介して表示装置を操作する場合の操作性を向上させる。
【解決手段】通信装置は、表示装置と通信する通信装置であって、指示を入力するための操作手段の複数の操作状態のうち、現在の操作状態を検知する検知手段と、前記表示装置に、前記複数の操作状態に対応した複数のアイコンを送信する送信手段とを有し、前記送信手段は、前記複数のアイコンの中から前記現在の操作状態に対応したアイコンを前記表示装置に表示させるために、前記検知手段により検知された前記操作手段の現在の操作状態を送信する。
【選択図】図９

Description

本発明は、通信装置、表示装置、表示システム、通信装置の制御方法、表示装置の制御方法、通信プログラム、及び表示プログラムに関する。

近年、無線ＬＡＮを始めとする無線通信技術の発展に伴い、様々な機器に無線通信機能が搭載されつつある。これにより、デジタルカメラ、プリンタ、テレビなどの機器がネットワークで結ばれ、ユーザは、複数の機器を連携させたサービスを簡単に利用することができるようになっている。ユーザは、家庭やオフィスなどの環境において、無線通信機能を搭載した機器同士を通信させてサービスを利用することができる。

上記のように多くの機器が無線通信可能となった場合には、ネットワークに参加している機器の構成が複雑になり、接続関係やそれぞれの機器の役割が動的に変化することが予想される。また、機器との接続に必要なＩＰアドレスなどの通信設定に関する情報も、機器がネットワークに参加するたびに異なることも考えられる。ユーザがネットワークにおいて不便を感じることなくサービスを利用するためには次のような機能が必要となる。ネットワークにどのような機器が参加しているかを確実に把握し、利用したいサービスを持つ機器を検索して、通信を行いたい機器との接続に必要な情報を収集する処理を自動的に行うような機能である。

このような要求に対し、ネットワーク上の機器やサービスを検出する機能を持つディスカバリプロトコルがＯＳベンダや業界団体などから提案され、機器への実装が普及しつつある。例えばＭｉｃｒｏｓｏｆｔ社が中心となって策定されたディスカバリプロトコルであるＵＰｎＰ（ＵｎｉｖｅｒｓａｌＰｌｕｇａｎｄＰｌａｙ）は、次のような機能を有している。通信機能起動時に機器のＩＰアドレスを自動的に決定する機能、所望のサービスを持つ機器をネットワーク上から検索する機能、相手機器に接続して相手機器を操作する機能などである。このＵＰｎＰを用いることでユーザがネットワーク上のサービスを容易に利用可能になるものとして、ＰＣやアクセスポイント、家電機器への実装が進んでいる。

ＵＰｎＰでは、ネットワーク上に接続する機器に対して、コントロールポイント（ＣｏｎｔｒｏｌＰｏｉｎｔ）とデバイス（Ｄｅｖｉｃｅ）という二つの役割が定義される。デバイスは、ネットワーク上で何らかの機能を持つホスト機器として位置づけられる。コントロールポイントは、そのデバイスの機能を利用する機器をとして位置づけている。デバイスは、マルチキャストデータ送信により、他の機器へその機器が持つ機能を知らせたり、ネットワークへの参加や離脱を報知したりする機能を持つ。また、コントロールポイントは、ネットワーク上の所望のサービスを持つ機器を検索し、検索された機器から情報を収集してその機器の制御を行う機能を持つ（特許文献１参照）。

デジタルカメラがネットワーク上でテレビと接続される場合、デジタルカメラがデバイスとして動作し、テレビがコントロールポイントとして動作することがある。このとき、ユーザがテレビを操作することによってデジタルカメラで撮影された画像データをテレビの画面で閲覧するような使い方が考えられる。

逆に、テレビがデバイスとして動作し、デジタルカメラがコントロールポイントとして動作することがある。ユーザがデジタルカメラを操作して、デジタルカメラで撮影された画像データをテレビに送信してテレビの画面に表示するよう指示するような使い方も考えられる。
特開２００５−１７５７２４号公報

ユーザがデジタルカメラを操作して、デジタルカメラで撮影された画像データをテレビに送信してテレビの画面に表示させる場合、ユーザは、操作するボタンの位置を確認するためにデジタルカメラに視線を移すことが多い。これにより、デジタルカメラ（通信装置）を介してテレビ（表示装置）を操作する場合の操作性が悪くなる。

本発明の目的は、通信装置を介して表示装置を操作する場合の操作性を向上させることにある。

本発明の第１側面に係る通信装置は、表示装置と通信する通信装置であって、指示を入力するための操作手段の複数の操作状態のうち、現在の操作状態を検知する検知手段と、前記表示装置に、前記複数の操作状態に対応した複数のアイコンを送信する送信手段とを有し、前記送信手段は、前記複数のアイコンの中から前記現在の操作状態に対応したアイコンを前記表示装置に表示させるために、前記検知手段により検知された前記操作手段の現在の操作状態を送信することを特徴とする。

本発明の第２側面に係る表示装置は、通信装置と通信可能な表示装置であって、表示手段と、前記通信装置が有する操作手段の複数の操作状態に対応した複数のアイコンを前記通信装置から受信する受信手段とを有し、前記受信手段は、前記操作手段の複数の操作状態のうち、前記通信装置が検知した操作状態を前記通信装置から受信し、前記表示手段は、前記受信した操作状態に基づき、前記受信した複数のアイコンいずれかを表示することを特徴とする。

本発明の第３側面に係る表示システムは、上記の通信装置と、前記通信装置と通信する上記の表示装置とを有することを特徴とする。

本発明の第４側面に係る通信装置の制御方法は、表示装置と通信する通信装置の制御方法であって、指示を入力するための操作手段の複数の操作状態のうち、現在の操作状態を検知する検知ステップと、前記表示装置に、前記複数の操作状態に対応した複数のアイコンを送信する送信ステップとを含み、前記送信ステップでは、前記複数のアイコンの中から前記現在の操作状態に対応したアイコンを前記表示装置に表示させるために、前記検知ステップで検知された前記操作手段の現在の操作状態を送信することを特徴とする。

本発明の第５側面に係る表示装置の制御方法は、通信装置と通信可能な表示装置の制御方法であって、表示ステップと、前記通信装置が有する操作手段の複数の操作状態に対応した複数のアイコンを前記通信装置から受信する受信ステップとを含み、前記受信ステップでは、前記操作手段の複数の操作状態のうち、前記通信装置が検知した操作状態を前記通信装置から受信し、前記表示ステップでは、前記受信した操作状態に基づき、前記受信した複数のアイコンの表示を制御することを特徴とする。

本発明の第６側面に係る通信プログラムは、表示装置と通信する通信装置に、指示を入力するための操作手段の複数の操作状態のうち、現在の操作状態を検知する検知ステップと、前記表示装置に、前記複数の操作状態に対応した複数のアイコンを送信する送信ステップとを実行させ、前記送信ステップでは、前記複数のアイコンの中から前記現在の操作状態に対応したアイコンを前記表示装置に表示させるために、前記検知ステップで検知された前記操作手段の現在の操作状態を送信することを特徴とする。

本発明の第７側面に係る表示プログラムは、通信装置と通信可能な表示装置に、表示ステップと、前記通信装置が有する操作手段の複数の操作状態に対応した複数のアイコンを前記通信装置から受信する受信ステップとを実行させ、前記受信ステップでは、前記操作手段の複数の操作状態のうち、前記通信装置が検知した操作状態を前記通信装置から受信し、前記表示ステップでは、前記受信した操作状態に基づき、前記受信した複数のアイコンの表示を制御することを特徴とする。

本発明によれば、通信装置を介して表示装置を操作する場合の操作性を向上させることができる。

本発明の実施形態に係る表示システム１について、図１を用いて説明する。図１は、本発明の実施形態に係る表示システム１の構成図である。

表示システム１は、通信装置２１、表示装置５１、無線ＬＡＮアクセスポイント（以下、ＡＰとする）４１、及びネットワーク４２を備える。ネットワーク４２は、例えば、ＤＬＮＡ（ＤｉｇｉｔａｌＬｉｖｉｎｇＮｅｔｗｏｒｋＡｌｌｉａｎｃｅ）の仕様に従ったホームネットワークである。ネットワーク４２は、有線ＬＡＮ４２ａ及び無線ＬＡＮ４２ｂを備える。

通信装置２１とＡＰ４１とは、無線ＬＡＮ４２ｂで接続されている。通信装置２１は、例えば、デジタルカメラである。無線ＬＡＮ４２ｂは、例えば、ＩＥＥＥ８０２．１１ｇの通信方式を採用したものである。ＡＰ４１と表示装置５１とは、有線ＬＡＮ４２ａで接続されている。有線ＬＡＮ４２ａは、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）の通信方式を採用したものである。

通信装置２１は、後述のように、被写体を撮像して得られた画像データを記憶する記憶部と、ユーザが指示を入力するために操作する複数の操作部とを有する。通信装置２１は、例えば、デジタルカメラである。

表示装置５１は、物体の属性を示す非画像情報を受信した際に物体の属性に応じたアイコンを表示する。表示装置５１は、例えば、デジタルテレビである。

次に、通信装置２１の外観構成を、図２を用いて説明する。図２は、通信装置２１の外観構成図である。

通信装置２１は、外観上、表示部２２、通信部２３、記録媒体２９、及び複数の操作部３２９を備える。

表示部２２は、撮影対象の被写体をライブで表示する。これにより、表示部２２を、構図や露出を確認したり（電子ビューファインダー機能）、撮影画像を確認したりするために用いることができる。また、表示部２２は、画像データに応じた画像を表示したり、各種設定メニュー等を表示したりする。

通信部２３は、通信装置２１の内部に実装されている。通信部２３は、例えば、無線通信のためのインターフェースである。

記録媒体２９は、記録媒体Ｉ／Ｆ３４１（図３参照）に着脱可能であり、撮像して得られた画像データを記録保存する。記録媒体２９は、例えば、ＳＤ（登録商標）カード、メモリカード、光磁気ディスクなどのリムーバブルメディアである。

複数の操作部３２９は、「ＤＩＳＰ」ボタン２４、「ＭＥＮＵ」ボタン２５、十字キー２６、「ＳＥＴ」ボタン２７、及び無線ボタン２８を含む。

「ＤＩＳＰ」ボタン２４は、表示部２２への電子ビューファインダー表示や撮影画像の確認表示の際に、撮影補助情報や付属情報を表示するか否かを切り替えるための指示を受け付ける。

「ＭＥＮＵ」ボタン２５は、各種設定のためのメニュー画面を表示させるための指示を受け付ける。

十字キー２６は、撮影画像の確認表示の際に画像を順次切り替えたり、メニュー画面において選択する項目を切り替えたりするための指示を受け付ける。

「ＳＥＴ」ボタン２７は、メニュー画面において選択された項目を決定するための指示を受け付ける。

無線ボタン２８は、無線による通信を開始するためのである。無線ボタン２８は、ＬＥＤ３０を内蔵している。ＬＥＤ３０は、点滅、あるいは点灯することにより、ユーザに無線通信状況を知らせることができる。例えば、ＬＥＤ３０は、点灯することにより、無線通信状況が良好であることを報知し、点滅することにより、無線通信状況が悪化したことを報知する。

ＤＩＳＰボタン２４、ＭＥＮＵボタン２５、十字キー２６、ＳＥＴボタン２７、無線ボタン２８は、後述の操作検知部３２８により、接触状態、入力状態、及び非接触状態を含む操作状態が検知される。接触状態は、操作部（ＤＩＳＰボタン２４等）にユーザが接触した状態を含む。入力状態は、操作部により指示を入力するための状態である。非接触状態は、接触状態および入力状態のいずれでもない状態である。

次に、通信装置２１の構成について、図３を用いて説明する。図３は、通信装置２１の構成図である。

通信装置２１は、撮像部３２３、信号処理部３２１、記憶部３２２、記録媒体Ｉ／Ｆ３４１、複数の操作部３２９、操作検知部３２８、ＣＰＵ（情報生成手段）３３１、ＶＲＡＭ３２５、及びＵＳＢＩ／Ｆ３３３を備える。通信装置２１は、ＬＣＤモニタ３２６、ＲＯＭ３２７、及び通信部２３を備える。

撮像部３２３は、撮影レンズ、撮像素子、及びアナログ／デジタル（Ａ／Ｄ）変換回路を含む。撮像素子は、撮影レンズを介して入射する被写体光を受光し、光電変換してアナログ画像信号を生成する。撮像素子は、例えば、ＣＣＤである。Ａ／Ｄ変換回路は、アナログ画像信号をＡ／Ｄ変換して画像データ（デジタル画像信号）を生成する。すなわち、撮像部３２３は、被写体を撮像して画像データを取得する。撮像部３２３は、デジタル画像信号をＣＰＵ３３１経由で信号処理部３２１へ供給する。

信号処理部３２１は、所定の信号を信号処理する。例えば、信号処理部３２１は、ＣＰＵ３３１経由で撮像部３２３から受け取ったデジタル画像信号を信号処理して、処理後のデジタル画像信号をＣＰＵ３３１へ供給する。

記憶部３２２は、所定の情報を一時的に記憶する。例えば、記憶部３２２は、被写体を撮像して得られた画像データ、すなわち、処理後のデジタル画像信号をＣＰＵ３３１から受け取り一時的に記憶する。記憶部３２２は、例えば、ＲＡＭである。

記録媒体Ｉ／Ｆ３４１は、記録媒体２９（図２参照）が接続されるためのインターフェースである。記録媒体Ｉ／Ｆ３４１は、記憶部３２２に記憶されたデジタル画像信号（画像データ）に対して撮影設定情報などが付属情報としてヘッダー領域に付加された画像ファイルを、ＣＰＵ３３１から受け取り、記録媒体２９に記録保存する。

複数の操作部３２９（図２参照）には、上述のように、ユーザからの各種の指示が入力される。例えば、複数の操作部３２９は、撮像部３２３で取得された画像データを表示装置５１に表示させるための画像表示指示を受け付ける。この場合、複数の操作部３２９は、画像表示指示を操作検知部３２８経由でＣＰＵ３３１へ供給する。

操作検知部３２８は、ユーザによる複数の操作部３２９の操作状態を検知する。ここで、操作状態は、複数の操作部３２９に対する接触状態と、複数の操作部３２９への指示の入力状態と、接触状態および入力状態のいずれでもない非接触状態との少なくとも１つを含む。

操作検知部３２８は、ユーザが複数の操作部３２９へ接触したことを検知した場合、あるいは、ユーザが複数の操作部３２９へ入力したことを検知した場合、その旨の情報をＣＰＵ３３１へ供給する。

操作検知部３２８は、ユーザが同一の操作部を一定時間以上継続して接触したか否かを示す情報と、ユーザが操作部への接触を解除したか否かを示す情報とをＣＰＵ３３１へ供給する。

ＣＰＵ３３１は、各部を制御する。

例えば、ＣＰＵ３３１は、予めＲＯＭ３２７に記憶された位置情報などに基づいて、複数の操作部３２９の相対的な位置関係を示す位置情報を生成する。ＣＰＵ３３１は、位置情報を通信部２３へ供給する。

例えば、ＣＰＵ３３１は、ユーザが複数の操作部３２９への接触状態を検知した結果を示す情報、あるいは、ユーザによる複数の操作部３２９への入力状態を検知した結果を示す情報を操作検知部３２８から受け取る。この場合、ＣＰＵ３３１は、それらの情報に基づいて、操作検知部３２８により検知された複数の操作部３２９の操作状態を示す操作情報を生成する。ＣＰＵ３３１は、操作情報を通信部２３へ供給する。

あるいは、例えば、ＣＰＵ３３１は、ユーザが同一の操作部を一定時間継続して接触したこと、あるいは、ユーザが操作部への接触を解除したことを検知したことを示す情報を操作検知部３２８から受け取る。この場合、ＣＰＵ３３１は、非表示指示を生成して通信部２３へ供給する。非表示指示は、複数のアイコンを表示装置５１に表示させないあるいは複数のアイコンを表示装置５１に目立たない状態で表示させるための指示である。

あるいは、例えば、ＣＰＵ３３１は、画像表示指示を受け取った場合、その画像表示指示に応じて、記録媒体Ｉ／Ｆ３４１経由で記録媒体２９から画像データを読み出して、その画像データ及び画像表示指示を通信部２３へ供給する。

また、ＣＰＵ３３１は、通信状況判断部３３１ａを含む。通信状況判断部３３１ａは、通信部２３を介して、表示装置５１との通信状況を判断する。

例えば、ＣＰＵ３３１は、通信状況が悪化したと通信状況判断部３３１ａが判断した場合、非表示指示を生成して通信部２３へ供給する。すなわち、ＣＰＵ３３１は、通信状況が悪化したと通信状況判断部３３１ａが判断した結果を示す情報として非表示指示を通信部２３へ供給する。

ＶＲＡＭ３２５は、デジタル画像信号の表示データや、各種ユーザインターフェイスの表示データを保持する。

ＵＳＢＩ／Ｆ３３３は、ＵＳＢが接続されるためのインターフェースであるである。

ＬＣＤモニタ３２６は、ＶＲＡＭ３２５に保持されたデータを表示する。

ＲＯＭ３２７は、各種のプログラムを記憶するためのである。各種のプログラムには、画像を撮像するためのプログラムや、撮影した画像をＬＣＤモニタに表示するためのプログラム、通信を行うためのプログラム（通信プログラム）などが含まれている。

通信部２３は、無線ＬＡＮ４２ｂに接続されている。通信部２３は、表示装置５１との間で所定の情報を送受信する。

例えば、通信部２３は、複数の操作部３２９の相対的な位置関係を示す位置情報と、操作検知部３２８により検知された複数の操作部の操作状態を示す操作情報とを、表示装置５１（図１参照）へ送信する。すなわち、通信部２３は、少なくとも位置情報及び操作情報を物体の属性を示す非画像情報として表示装置５１へ送信する。これにより、表示装置５１は、位置情報及び操作情報を受信して、複数の操作部３２９と複数の操作部３２９の操作状態とを視覚的に表す複数のアイコンを、複数の操作部３２９のそれぞれの相対的な位置関係に対応した位置に表示する。

本実施形態における位置情報及び操作情報は、非画像情報である。すなわち、アイコンなどの画像情報が通信装置２１から表示装置５１へ送信される場合に比べて、送信される情報のデータ容量が少なく抑えられている。操作情報は、入力状態の情報を含む場合、どのボタンが押されたのかを示す情報も含むので、ユーザから複数の操作部３２９に入力された各種の指示の内容も含むものとなる。各種の指示は、画像を拡大表示するための拡大表示指示や、画像を縮小表示するための縮小表示指示を含む。

あるいは、例えば、通信部２３は、非表示指示を、表示装置５１へ送信する。非表示指示は、複数のアイコンを表示装置５１に表示させないあるいは複数のアイコンを表示装置５１に目立たない状態で表示させるための指示である。

あるいは、例えば、通信部２３は、記憶部３２２から読み出された画像データ（画像ファイル）と画像表示指示とを表示装置５１へ送信する。通信部２３は、画像データ（画像ファイル）を表示装置５１へ送信する際に、表示装置５１へ送信する操作情報の伝送速度を制限する。これにより、ネットワーク４２の負荷が過大にならないようにすることができる。

通信部２３は、コントローラ３３０、ＲＦモジュール３３２、及びアンテナ３３４を含む。コントローラ３３０は、通信を行うためのプログラムをＣＰＵ３３１経由でＲＯＭ３２７から取得する。コントローラ３３０は、そのプログラムにしたがって、ＲＦモジュール３３２及びアンテナ３３４を制御する。例えば、コントローラ３３０は、アンテナ３３４から受信した情報をＲＦモジュールに復調させて、復調された情報をＣＰＵ３３１が認識可能なフォーマットに変換してＣＰＵ３３１へ渡す。例えば、コントローラ３３０は、所定の情報をＣＰＵ３３１から受け取って、その所定の情報をフォーマット変換するとともにＲＦモジュールに変調させて、変調された情報をアンテナ３３４から送信させる。

次に、表示装置５１の構成について、図４を用いて説明する。図４は、表示装置５１の構成図である。

表示装置５１は、通信部５２２、システムコントローラ５２０、リモコン送信機５１２、リモコン受信機５１３、アンテナ５０１、チューナ５０２、ＤＥＭＵＸ回路５０３、記憶装置５２１、ＯＳＤ表示回路５１４、及びＡＶデコーダ５０４を備える。表示装置５１は、映像処理回路５０５、マルチプレクサ５０６、映像出力回路５０７、表示部５０８、音声処理回路５０９、音声出力回路５１０、及びスピーカ５１１を備える。

通信部５２２は、有線ＬＡＮ４２ａに接続されている。通信部５２２は、通信装置２１との間で所定の情報を送受信する。

例えば、通信部５２２は、複数の操作部の位置関係を示す位置情報と、通信装置２１で検知された複数の操作部３２９の操作状態を示す操作情報とを、通信装置２１から受信する。通信部５２２は、位置情報と操作情報とをシステムコントローラ５２０経由でＯＳＤ表示回路５１４へ供給する。

あるいは、例えば、通信部５２２は、ユーザが同一の操作部を一定時間継続して接触したことが通信装置２１で検知されたことに応じて、非表示指示を通信装置２１から受信する。あるいは、例えば、通信部５２２は、ユーザが同一の操作部を一定時間未満継続して接触した後に操作部への接触を解除したことが通信装置２１で検知されたことに応じて、非表示指示を通信装置２１から受信する。非表示指示は、複数のアイコンを表示させないあるいは複数のアイコンの表示を目立たない状態で表示させるための指示である。通信部５２２は、非表示指示をシステムコントローラ５２０経由でＯＳＤ表示回路５１４へ供給する。

あるいは、例えば、通信部５２２は、通信装置２１との通信状況が悪化したことに応じて、非表示指示を通信装置２１から受信する。通信部５２２は、非表示指示をシステムコントローラ５２０経由でＯＳＤ表示回路５１４へ供給する。

あるいは、例えば、通信部５２２は、撮像部３２３により取得された画像ファイル（画像データ）と画像表示指示とを通信装置２１から受信する。通信部５２２は、画像データを通信装置２１から受信する際に、通信装置２１から受信する操作情報の伝送速度を制限する。これにより、ネットワーク４２の負荷が過大にならないようにすることができる。通信部５２２は、画像ファイル（画像データ）と画像表示指示とをシステムコントローラ５２０経由でＡＶデコーダ５０４へ供給する。

システムコントローラ５２０は、各部を制御する。また、システムコントローラ５２０は、通信状況判断部５２０ａを含む。通信状況判断部５２０ａは、通信部５２２を介して、通信装置２１との通信状況を判断する。

あるいは、例えば、システムコントローラ５２０は、通信状況が悪化したと通信状況判断部５２０ａが判断した場合、非表示指示を生成してＯＳＤ表示回路５１４へ供給する。すなわち、システムコントローラ５２０は、通信状況が悪化したと通信状況判断部５２０ａが判断した結果を示す情報として非表示指示をＯＳＤ表示回路５１４へ供給する。

リモコン送信機５１２には、上下左右カーソルキー、決定キーを含む複数のキーが設けられている。リモコン送信機５１２は、その複数のキーを介して、ユーザから所定の指示を受け付ける。リモコン送信機５１２は、受け付けた指示に応じた信号をリモコン受信機５１３へ送信する。

リモコン受信機５１３は、所定の指示を示す信号をリモコン送信機５１２から受信して、受信した信号が示す指示の情報をシステムコントローラ５２０へ供給する。システムコントローラ５２０は、例えば選局の指示の情報が供給された場合、チューナ５０２及びＤＥＭＵＸ回路５０３へ選局のための情報等を供給する。また、システムコントローラ５２０は、選局のための情報に基づいて、各種操作画面を表示部５０８にオンスクリーン表示させるためのＯＳＤ制御信号を生成してＯＳＤ表示回路５１４へ供給する。

アンテナ５０１は、放送波を受信して、受信した信号をチューナ５０２へ供給する。

チューナ５０２は、選局のための情報に応じて、受信した信号に対して高周波処理および復調を行い、復調後の信号をＤＥＭＵＸ回路５０３へ供給する。

ＤＥＭＵＸ回路５０３は、選局のための情報に応じて、復調後の信号に対してパケットの復号を行う。ＤＥＭＵＸ回路５０３において、パケットは、ＭＰＥＧデータと番組情報等の付属情報とに分別される。ＤＥＭＵＸ回路５０３によって分別されたＭＰＥＧデータは、ＡＶデコーダ５０４に送られる。ＤＥＭＵＸ回路５０３によって分別された付属情報は、システムコントローラ５２０経由で記憶装置５２１に送られる。

記憶装置５２１は、ＤＥＭＵＸ回路５０３によって分別された付属情報を受け取り記憶する。また、記憶装置５２１は、システムコントローラ５２０が所定の処理を実行するプログラム（例えば、表示プログラム）を記憶している。

ＯＳＤ表示回路５１４は、位置情報と操作情報とをシステムコントローラ５２０経由で通信部５２２から受け取る。又は、非表示指示をシステムコントローラ５２０経由で通信部５２２から受け取る。あるいは、ＯＳＤ表示回路５１４は、リモコン送信機５１２に対応した各種操作画面を表示部５０８にオンスクリーン表示させるためのＯＳＤ制御信号を、システムコントローラ５２０から受け取る。

ＯＳＤ表示回路５１４は、位置情報と操作情報とを受け取った場合、複数の操作部３２９と複数の操作部３２９の操作状態とを視覚的に表す複数のアイコンの表示データを生成する。ＯＳＤ表示回路５１４は、その表示データをＯＳＤ信号としてマルチプレクサ（合成回路）５０６に供給する。この表示データは、複数のアイコンを複数の操作部３２９の相対的な位置関係に対応した位置に表示部５０８が表示するためのデータである。なお、ＯＳＤ表示回路５１４は、位置情報及び操作情報とＯＳＤ制御信号とを同時に受け取った場合でも、位置情報及び操作情報に応じた処理を優先して行う。

ＯＳＤ表示回路５１４は、非表示指示を受け取った場合、複数のアイコンを表示するための表示データを削除する、又は、複数のアイコンを目立たない状態で表示するような表示データを生成してマルチプレクサ５０６へ供給する。なお、ＯＳＤ表示回路５１４は、非表示指示とＯＳＤ制御信号とを同時に受け取った場合でも、非表示指示にしたがった処理を優先して行う。

ＯＳＤ表示回路５１４は、位置情報と操作情報とを受け取らず、かつ、非表示指示を受け取らなかった場合、ＯＳＤ制御信号に応じて、電子番組ガイド、メニュー等の表示データを生成する。ＯＳＤ表示回路５１４は、その表示データをＯＳＤ信号としてマルチプレクサ５０６に供給する。

ＡＶデコーダ５０４は、ＤＥＭＵＸ回路５０３から送られてきたＭＰＥＧデータを復調して映像信号及び音声信号を生成する。ＡＶデコーダ５０４は、復調後の映像信号を映像処理回路５０５へ供給し、復調後の音声信号を音声処理回路５０９へ供給する。

あるいは、ＡＶデコーダ５０４は、画像データ（画像ファイル）と画像表示指示とをシステムコントローラ５２０経由で通信部５２２から供給される。ＡＶデコーダ５０４は、画像表示指示に応じて、画像データ（画像ファイル）を復調して表示用の画像データに変換する。ＡＶデコーダ５０４は、復調後の画像データを映像処理回路５０５へ供給する。なお、ＡＶデコーダ５０４は、ＭＰＥＧデータと画像データ（画像ファイル）及び画像表示指示とを同時に受け取った場合でも、画像データ（画像ファイル）及び画像表示指示に応じた処理を優先して行う。

映像処理回路５０５は、画像データをＡＶデコーダ５０４から受け取り、その画像データに対して所定の処理を行う。映像処理回路５０５は、処理後の画像データをマルチプレクサ５０６へ供給する。あるいは、映像処理回路５０５は、映像信号をＡＶデコーダ５０４から受け取り、その映像信号に対して所定の処理を行う。映像処理回路５０５は、処理後の信号（映像データ）をマルチプレクサ５０６へ供給する。

マルチプレクサ５０６は、映像処理回路５０５から出力された画像データにＯＳＤ表示回路５１４から送られてきた表示データをスーパーインポーズ処理して、映像出力回路５０７へ供給する。あるいは、マルチプレクサ５０６は、映像処理回路５０５から出力された映像データにＯＳＤ表示回路５１４から送られてきた表示データをスーパーインポーズ処理して、映像出力回路５０７へ供給する。

映像出力回路５０７は、マルチプレクサ５０６から受け取ったデータを表示用のアナログ信号に変換して、変換後のアナログ信号を表示部５０８へ供給する。

表示部５０８は、映像出力回路５０７から供給されたアナログ信号に応じて画像を表示する。表示部５０８は、例えば、ＬＣＤなどのディスプレイである。

例えば、表示部５０８は、位置情報と操作情報とに応じて、複数の操作部３２９と複数の操作部３２９の操作状態とを視覚的に表す複数のアイコンを、複数の操作部３２９の相対的な位置関係に対応した位置に表示する。表示部５０８は、複数の操作部３２９の接触状態及び入力状態の少なくとも一方を識別可能な状態で複数のアイコンを、画像データに応じた画像に重ねて表示する。

あるいは、例えば、表示部５０８は、通信部５２２により通信装置２１から受信された非表示指示に応じて、複数のアイコンを表示しない、あるいは、複数のアイコンを目立たない状態で表示する。

あるいは、例えば、表示部５０８は、通信状況判断部５２０ａが判断した結果に基づいて、通信状況を識別可能な状態で複数のアイコンを表示する。すなわち、表示部５０８は、通信状況が良好であると通信状況判断部５２０ａが判断したことに応じて、通信状況が良好であることを識別可能な状態で複数のアイコンを表示する。表示部５０８は、通信状況が悪化したと通信状況判断部５２０ａが判断したに応じて、通信状況が悪化したことを識別可能な状態で複数のアイコンを表示する。すなわち、表示部５０８は、通信状況が悪化したと通信状況判断部５２０ａが判断したに応じて、複数のアイコンを表示しない、あるいは、複数のアイコンを目立たない状態で表示する。

音声処理回路５０９は、音声信号をＡＶデコーダ５０４から受け取り、その音声信号に対して所定の処理を行う。音声処理回路５０９は、処理後の信号（音声データ）を音声出力回路５１０へ供給する。

音声出力回路５１０は、音声処理回路５０９から受け取ったデータを出力用のアナログ信号に変換して、変換後のアナログ信号をスピーカ５１１へ供給する。

スピーカ５１１は、音声出力回路５１０から供給されたアナログ信号に応じて音声を出力する。

次に、本実施形態において、通信装置２１と表示装置５１とをネットワーク４２（有線ＬＡＮ４２ａ）で接続して実現できる機能について説明する。

本実施形態では、表示装置５１がＵＰｎＰのデバイスとして動作し、通信装置２１がＵＰｎＰコントロールポイントとして動作する。そして、表示装置５１の表示部５０８を、通信装置２１のＬＣＤモニタ３２６のように利用することができる。すなわち、ユーザは通信装置２１の十字キー２６やＳＥＴボタン２７などの複数の操作部３２９を操作して、通信装置２１に接続された記録媒体２９内の画像ファイルを選択し送信を指示する。それによって、通信装置２１から表示装置５１に画像ファイルが送信されるとともに、画像表示指示が送信され、画像ファイルおよび画像表示指示を受信した表示装置５１が表示部５０８に受信した画像データをシングル再生表示する。

シングル再生モードでは、十字キー２６の右位置を１回押すと現在表示している画像より撮影日時が１つ新しい画像ファイルが通信装置２１から表示装置５１に送信され、表示装置５１の表示部５０８に表示される。十字キー２６の左位置を１回押すと現在表示している画像より撮影日時が１つ古い画像ファイルが通信装置２１から表示装置５１に送信され、表示装置５１の表示部５０８に表示される。

十字キー２６の上位置はズームボタンに割り当てられる。画像を表示している状態で、十字キー２６の上位置を１回押すと、現在表示している画像に対する拡大表示指示が通信装置２１から表示装置５１に送信される。表示装置５１では、特定の倍率に拡大された画像が表示部５０８に表示される。拡大の倍率は、十字キーの上位置を押すにしたがって、４倍、９倍、１６倍のように段階的に設定される。画像を拡大表示している状態で十字キー２６の下位置を押すと、縮小表示指示が通信装置２１から表示装置５１に送信される。表示装置５１では、現在拡大表示している画像の拡大の倍率を落とされた画像が表示部５０８に表示される。

画像を等倍表示している状態で十字キー２６の下位置を押すと、インデックス画面表示状態となる。通信装置２１から表示装置５１に縮小表示のための画像データを複数画像分送信しインデックス表示指示を送信する。表示装置５１では、画面を９分割して受信した画像データを縮小表示する。シングル画像表示、拡大画像表示、インデックス画面表示機能では、通信装置２１のＬＣＤモニタ３２６でも表示装置５１の表示部５０８と同じように、シングル画像表示、拡大画像表示、インデックス画面表示を行う。

一方、通信装置２１と表示装置５１とをネットワーク４２で接続して画像データをシングル画像表示している状態で、通信装置２１のＭＥＮＵボタン２５を押すと、通信装置２１のＬＣＤモニタ３２６上には、メニュー画面が表示される。メニュー画面では、画像のプロテクト操作や消去、スライドショーの再生などが実行できる。通信装置２１でメニュー画面を表示している間、表示装置５１の表示部５０８上は、シングル画像表示の状態となる。

本実施形態における通信装置２１および表示装置５１を備える表示システム１では、ユーザが、通信装置２１の複数の操作部３２９のガイダンスと複数の操作部３２９の操作状態とを表示装置５１の表示部５０８上で確認することができる。

ここで、従来であれば、ユーザは、表示装置５１の表示部５０８に表示された画像に関する指示を入力する場合、表示装置５１の表示部５０８に視線を向けた状態から、通信装置２１の複数の操作部３２９に視線を移す必要があることが多い。

それに対して、本実施形態では、通信装置２１の複数の操作部３２９のガイダンスと複数の操作部３２９の操作状態を表示装置５１の表示部５０８上に表示する。これによって、ユーザは、表示装置５１の表示部５０８に表示された画像に関する指示を入力する場合、通信装置２１の複数の操作部３２９に視線を移す必要性を低減できる。

以下、本実施形態における複数の操作部３２９のガイダンスおよび複数の操作部３２９の操作状態の表示方法について、図５を用いて説明する。図５は、通信装置２１のＲＯＭ３２７に保持されている操作部のアイコンデータを示す図である。

ＲＯＭ３２７には、複数の操作部３３９（ＤＩＳＰボタン２４、ＭＥＮＵボタン２５、十字キー２６、ＳＥＴボタン２７、無線ボタン２８）の各々のアイコンデータが保持される。各アイコンデータは、操作の状態に対応して複数個保持されている。操作状態の例としては、非接触状態、接触状態、入力状態、及び無効状態のそれぞれに対応して異なる表示態様で用意され、ユニークな識別番号が割り当てられている。非接触状態は、操作部が接触されていない状態である。接触状態は、ユーザが操作部に接触した状態である。入力状態は、ユーザが操作部に入力した状態である。無効状態は、ユーザが押し込んだ状態ガイダンスが無効な状態である。

アイコンデータは、ビットマップ形式で表現されている。本実施形態では、便宜上２色で表現しているが色情報を含んでもよい。

図５で、例えば識別番号ＩＤ−１１は、非接触状態のＭＥＮＵボタン２５のアイコンデータである。識別番号ＩＤ−１２は、ユーザが接触している状態（接触状態）のＭＥＮＵボタン２５のアイコンデータである。識別番号ＩＤ−１３は、ユーザが押しこんだ状態（入力状態）のＭＥＮＵボタン２５のアイコンデータである。識別番号ＩＤ−１４は、通信状態の悪化などの原因により操作状態を適切に表示できない場合に、ＭＥＮＵボタン２５に対するガイダンスが無効（無効状態）であることを示すアイコンデータである。

図５では、ＭＥＮＵボタン２５、ＤＩＳＰボタン２４に対するアイコンデータのみを示しているが、十字キー２６、ＳＥＴボタン２７、無線ボタン２８の各々のボタンに対しても同様にアイコンデータを保持している。十字キー２６に関しては、上下左右の位置それぞれに対する接触状態及び入力状態のアイコンデータを保持している。

アイコンデータは、通信装置２１と表示装置５１とがネットワーク４２で接続された時点で、通信装置２１から表示装置５１に送信される。表示装置５１では、受信したアイコンデータを記憶装置５２１に保持する。

例えば、ひとつのアイコンデータが横６４画素、縦６４画素で構成され、各画素１６ビットの色情報で構成されているとする。このとき、８１９２バイトで表現可能であるので、本実施形態のＭＥＮＵボタンのアイコンデータは、全部で３２Ｋバイト程度のデータ量となる。これにより、アイコンデータは、通信装置２１から表示装置５１に接続確立時に１回送信する場合に、十分短い時間で送信できるデータ量となっている。

また、通信装置２１と表示装置５１との接続確立時には、通信装置２１から表示装置５１へ図６に示す位置情報が送信される。図６は、位置情報を示す図である。

位置情報は、アイコンデータの識別番号と座標の情報とから構成される。座標の情報は、各々のアイコンデータの相対的な表示位置を指定するための情報で、アイコンデータ表示領域における左上隅からの座標値で表現される。例えば、ＤＩＳＰボタン２４は、アイコンデータ表示領域の左上隅に対して（３０、１６０）の位置に配置されることが示されている。なお、位置情報は、通信装置２１のＲＯＭ３２７に予め記憶されている。

表示装置５１は、図５に示すアイコンデータと図６に示す位置情報とに基づいて、通信装置２１から受信した操作情報に応じた例えば図８に示す複数のアイコン（表示データ）を生成して表示する。図８は、複数のアイコンを示す図である。

座標（０、０）を示す点８０１を基準として、無線ボタン２８のアイコン８０７は、座標（３０、１０）の位置８０２に配される。十字キー２６のアイコン８０８は、座標（２０、５０）の位置８０３に配される。ＳＥＴボタン２７のアイコン８０９は、座標（３０、６０）の位置８０４に配される。ＭＥＮＵボタン２５のアイコン８１０は、座標（２５、１００）の位置８０５に配される。ＤＩＳＰボタン２４のアイコン８１１は、座標（３０、１６０）の位置８０６に配される。なお、各アイコンの外側の枠は、アイコンの位置を表すために便宜上示したものである。

表示装置５１のシステムコントローラ５２０は、記憶装置５２１に保持さているアイコンデータおよび通信装置２１から受信した操作情報をＯＳＤ制御信号として、ＯＳＤ表示回路５１４に送る。ＯＳＤ表示回路５１４は、表示データを生成して、ＯＳＤ信号としてマルチプレクサ５０６に送る。

一方、通信装置２１から受信した画像データが映像処理回路５０５からマルチプレクサ５０６へ出力される。

マルチプレクサ５０６は、映像処理回路５０５から出力された画像データにＯＳＤ表示回路５１４から送られてきた表示データをスーパーインポーズ処理して、映像出力回路５０７に送る。映像出力回路５０７から出力された画像信号は、表示部５０８に送られる。これにより、図８で示したような表示データが表示部５０８にオンスクリーン表示される。すなわち、図９に示すように画像９０２に通信装置２１の複数の操作部３２９のガイダンスおよび操作状態を表した表示データ９０１がスーパーインポーズ処理された状態で表示される。このため、ユーザは、表示装置５１の表示部５０８上で画像を確認しながら、通信装置２１の複数の操作部３２９の操作状態を同時に表示部５０８上で確認することができる。

図９では、表示データ９０１内でＭＥＮＵボタン２５のアイコンが縦線で示されているので、ユーザは、表示装置５１の表示部５０８を見て、自身がＭＥＮＵボタン２５に接触していることを認識できる。

このように、本実施形態の表示システム１によれば、通信装置２１の複数の操作部及びそれらの操作状態を、複数の操作部のそれぞれの相対的な位置関係に対応した位置に、表示装置５１が表示するようにできる。これにより、ユーザが通信装置２１を操作して、通信装置２１で撮影された画像データを表示装置５１に送信して表示装置５１の表示部５０８に表示する場合、ボタンの位置を確認するためにユーザが通信装置２１に視線を移す必要性を低減できる。この結果、通信装置２１を介して表示装置５１を操作する場合の操作性を向上させることができる。

また、本実施形態の表示システム１によれば、アイコンデータ及び位置情報は、通信装置２１と表示装置５１とがネットワーク４２で接続された時点で、通信装置２１から表示装置５１に送信される。そして、ユーザが通信装置２１の複数の操作部３２９のいずれかに指を接触したり押し込んだりした際に、非画像情報である操作情報のみが通信装置２１から表示装置５１に送信される。そのため、複数の操作部３２９の操作状態の変更に伴って送信されるデータ量が少なくて済むので、通信時間を短くでき、ユーザが複数の操作部３２９を操作してから操作状態が表示されるまでの時間を短くすることができる。この結果、通信装置２１を介して表示装置５１を操作する場合の操作性を向上させることができる。

さらに、本実施形態の表示システム１によれば、操作部を押し込んだときだけでなく、操作部に指を接触させたときも操作情報を通信装置２１から表示装置５１に送信する。ユーザによる操作部への接触状態の更新頻度は高いと考えられるため、その分操作情報を頻繁に送信する必要がある。１回の操作状態の情報のデータ量を少なくすることによって、操作情報の全体の送信データ量を低く抑えることができる。そのため、同じ通信Ｉ／Ｆを使って行われる画像データの送信動作が妨げられるなどの影響を少なくすることができる。

また、本実施形態の表示システム１によれば、ユーザが操作部に接触していることが表示される。このため、例えば十字キーの右位置を押して表示画像を送ろうと意図した場合でも、ユーザは、表示装置５１に視線を向けたまま、まず通信装置２１の操作部を指でなぞることにより目的の操作部を探すことができる。表示装置５１の表示部５０８上で、指が十字キーの右位置に接触していることを確認した後、ボタンを押し込み目的の動作を指示することができる。

例えば、照明が暗い中で、通信装置２１の操作部を見て目的のボタンを探すのが難しい場合であっても、表示装置５１の表示部５０８上で目的のボタンに指が接触しているかどうかを判断できるという利点がある。

次に、本実施形態における通信装置２１と表示装置５１との通信状態が良好な場合における動作について、図７を用いて説明する。図７は、通信装置２１と表示装置５１との動作を示すシーケンス図である。

まず、シーケンス１０１（情報生成ステップ）では、通信装置２１と表示装置５１との間の接続を確立する。前述したように、表示装置５１がＵＰｎＰのデバイスとして動作し、通信装置２１がＵＰｎＰコントロールポイントとして動作する。通信装置２１がネットワーク４２上で目的のデバイスの検索動作を行い、表示装置５１が検索のパケットに対して応答を返すことによって、両者の間の接続動作が開始される。通信装置２１は、表示装置５１との間の接続が確立されたことに応じて、位置情報を生成する。

なお、通信装置２１は、表示装置５１との間の接続が確立される前に、予め、位置情報を生成してもよい。

次に、シーケンス１０２（通信ステップ）では、通信装置２１が、図５で説明した操作部のアイコンデータ及び位置情報を表示装置５１へ送信する。アイコンデータは、確実に送信される必要があるため、ＴＣＰプロトコルベースのストリーム型通信で送信される。表示装置５１は、アイコンデータ及び位置情報を通信装置２１から受信する。

次に、シーケンス１０３（通信ステップ）では、通信装置２１が、撮影日時が最も新しい画像ファイルを表示装置５１へ送信する。画像ファイルは、１画像あたり数Ｍバイトのデータ量のこともある。本実施形態の通信装置２１が備えるＩＥＥＥ８０２．１１ｇ規格に準拠した通信部２３で送信した場合には、送信されてから受信されるまでに１〜２秒程度かかることがある。そこで、表示装置５１での表示に適した大きさにリサイズしたり再圧縮するなどして、データ量を減らした後に通信装置２１から表示装置５１に送信するようにしてもよい。

その後、シーケンス１０４では、通信装置２１から表示装置５１に画像表示指示が送信される。これは、例えば通信装置２１のユーザに複数の操作部３２９が操作されることに応じて実行される。

シーケンス１０５では、表示装置５１が、シーケンス１０３で受信した画像ファイルを展開して表示部５０８に表示する。

シーケンス１０６（操作検知ステップ、情報生成ステップ）は、ユーザが、別の画像ファイルを表示装置５１に表示させようとして、通信装置２１の操作部の適当な位置に指をおいた場合のシーケンスである。これにより、通信装置２１は、十字キー２６の上位置に指が触れたことを検知して、操作情報を生成する。

シーケンス１０７（通信ステップ）では、通信装置２１が、操作情報を表示装置５１に送信する。

その後、シーケンス１０８（表示ステップ）では、表示装置５１が、シーケンス１０２で受信したアイコンデータとシーケンス１０７で受信した操作情報とから、図８で説明したような操作部のガイダンスおよび操作状態を表した表示データを生成する。そして、表示装置５１は、生成した表示データをシーケンス１０３で受信した画像ファイルに基づく画像にオーバーラップさせて表示部５０８に表示する。

その後、シーケンス１０９では、レスポンスのデータを表示装置５１から通信装置２１へ送信する。操作情報と、それに対するレスポンスのデータとは、応答性が求められるためＵＤＰプロトコルベースのデータグラム型通信で送信する。無線通信の状況やネットワークのトラフィック状態によってはデータが到達しないことが考えられるため、通信装置２１は操作情報を複数回送り、表示装置５１もレスポンスのデータを複数回送るようにすることが望ましい。

シーケンス１１０は、ユーザが、十字キー２６の左位置に指を触れた場合のシーケンスである。通信装置２１は、十字キー２６の左位置に指が触れたことを検知して、操作情報を作成する。

シーケンス１１１では、通信装置２１が、操作情報を表示装置５１へ送信する。

シーケンス１１２では、表示装置５１が、操作部のガイダンスおよび操作状態を表した表示データを表示する。例えば、図１０に示すように、表示装置５１の表示部５０８に操作部のガイダンスおよび操作状態を表示する。図１０の場合、十字キー２６のアイコンの左位置が縦線で示されているため、ユーザは、十字キー２６の左位置に接触していることを認識できる。

シーケンス１１３では、表示装置５１が、レスポンス（確認応答）を通信装置２１へ返信する。

シーケンス１１４では、ユーザが、十字キー２６の左位置を押し込む。通信装置２１は、十字キー２６の左位置が押し込まれたことを検知し、操作情報を生成する。

シーケンス１１５では、通信装置２１が、操作情報を表示装置５１へ送信する。

シーケンス１１６では、表示装置５１が、操作部のガイダンスおよび操作状態を表した表示データを表示する。例えば、図１１に示すように、表示装置５１の表示部５０８に操作部のガイダンスおよび操作状態を表示する。図１１の場合、十字キー２６のアイコンの左位置がグレーで示されているため、ユーザは、十字キー２６の左位置を押し込んでいることを認識できる。

シーケンス１１７では、表示装置５１が、レスポンス（確認応答）を通信装置２１へ返信する。

その後、シーケンス１１８では、通信装置２１が、撮影日時が次に新しい画像ファイルを表示装置５１へ送信する。このシーケンス１１８では、例えば、画像ファイルを送信している間に、シーケンス１２９でユーザが十字キー２６の左位置の押し込み状態を解除したり、シーケンス１３０でユーザがＭＥＮＵボタン２５に接触したりする。このとき、通信装置２１は、即座に操作情報を送信しないように制御する。これは、画像ファイルの送信動作中は画像ファイルの送信動作を操作情報の送信動作よりも優先させて、即座に表示装置５１の表示部５０８上に画像データが表示されるようにするためである。また、画像ファイルの送信動作中、および表示装置５１での画像ファイルに応じた画像の表示動作中は、それらの動作のために、操作部の操作状態の表示動作が妨げられるなどの影響を受ける。このため、ユーザが操作部を操作してから、その状態が表示部５０８に表示されるまでの応答性が遅くなり、操作性が悪くなることが考えられるためである。

シーケンス１１９では、通信装置２１が、画像表示指示を表示装置５１へ送信する。

シーケンス１２０では、表示装置５１が、シーケンス１１８で受信した画像ファイルを展開して表示部５０８に表示する。

その後、操作部の操作状態を更新するために、通信装置２１は、現在の操作部の操作状態を検知して、操作情報を生成する。

シーケンス１２１では、通信装置２１が、操作情報を表示装置５１へ送信する。

シーケンス１２２では、表示装置５１が、操作部のガイダンスおよび操作状態を表した表示データを生成して、シーケンス１１８で受信した画像ファイルに基づく画像に表示データをオーバーラップさせて表示部５０８に表示する。

その後、シーケンス１２３では、表示装置５１が、レスポンス（確認応答）を通信装置２１へ返信する。

ここで、ユーザが通信装置２１の操作部のいずれかに指を接触した場合、あるいは、ユーザが通信装置２１の操作部のいずれかのボタンに対して押し込み動作をした場合、通信装置２１は、操作情報を表示装置５１へ送信する。

それに対して、ユーザが通信装置２１の同一の操作部を一定時間Ｔ以上継続して接触した場合、通信装置２１は、時間Ｔが第１の閾値Ｔｔｈ１以上であれば、表示装置５１へ非表示指示を送信する。

そのため、シーケンス１２１で最後に操作情報を送信してから時間Ｔ１だけ経過したシーケンス１２４のタイミングでは、ユーザがＭＥＮＵボタン２５に第１の閾値Ｔｔｈ１以上継続して接触し続けている状態である。このため、通信装置２１は、非表示指示を表示装置５１へ送信する。

シーケンス１２５では、表示装置５１が、操作部のガイダンスおよび操作状態を表した表示データを消去して、表示部５０８の表示を更新する。これにより、表示部５０８には、操作状態を表した表示データがオーバーラップすることなくシーケンス１１８で受信した画像ファイルに基づく画像のみが表示されている状態になり、画像の閲覧に適した表示となる。

その後、シーケンス１２６では、表示装置５１が、レスポンス（確認応答）を通信装置２１へ返信する。

このように、本実施形態の表示システム１によれば、ユーザが操作しようと意図して操作部に指を触れると、表示部５０８上に操作部のガイダンスおよび操作状態を表した表示データが現れる。一方、ユーザが操作をやめた場合は操作部のガイダンスおよび操作状態を表した表示データは表示されないようにして、画像閲覧に適した画面を作成するように表示態様を制御するため、ユーザの意図に合った画面表示が行われる。これにより、通信装置２１を介して表示装置５１を操作する場合の操作性を向上させることができる。

また、本実施形態の表示システム１によれば、操作部のガイダンスおよび操作状態の表示を行っていない状態でも定期的に生存確認、つまり表示装置が通信可能な状態にあるか否かの確認を行っている。例えば、通信装置２１は、周期ＴＰで生存確認を行う。

すなわち、シーケンス１２７では、通信装置２１が、前回の生存確認のタイミングから周期ＴＰが経過したことに応じて、生存確認の要求を表示装置５１へ送信する。

シーケンス１２８では、表示装置５１が、生存確認の要求に対するレスポンス（確認応答）のデータを通信装置２１へ返信する。生存確認のための通信（生存確認の要求の送信及びレスポンスの受信）は、通信装置２１が無線通信の状況やネットワークのトラフィック状態を調べる目的で行っている。そのため応答性が求められるためＵＤＰプロトコルベースのデータグラム型通信で実現している。

次に、本実施形態における通信装置２１と表示装置５１との通信状態が悪化した場合における動作について、図１２を用いて説明する。図１２は、通信装置２１と表示装置５１との動作を示すシーケンス図である。

まず、シーケンス１００１では、ユーザが、十字キー２６の左位置に指を触れる。通信装置２１は、十字キー２６の左位置に指が触れたことを検知して、操作情報を生成する。このとき、通信装置２１の通信状況判断部３３１ａは、図示しないタイマを作動させて通信時間をカウントし始める。

シーケンス１００２では、通信装置２１が、操作情報を表示装置５１へ送信する。

シーケンス１００３では、表示装置５１が、操作部のガイダンスおよび操作状態を表した表示データを表示する。

シーケンス１００４では、表示装置５１が、レスポンス（確認応答）を通信装置２１へ返信する。

シーケンス１００５では、通信装置２１の通信状況判断部３３１ａが、通信部２３を介して、表示装置５１との通信状況を判断する。すなわち、通信状況判断部３３１ａは、タイマを参照して、シーケンス１００２からシーケンス１００４までの時間Ｔ２が第２の閾値Ｔｔｈ２以上であるか否かを判断する。通信状況判断部３３１ａは、時間Ｔ２が第２の閾値Ｔｔｈ２以上であると判断する場合、表示装置５１との通信状況が悪化したと判断する。

シーケンス１００６では、通信装置２１が、表示装置５１へ非表示指示を送信する。非表示指示は、例えば、各操作部のガイダンスが無効な状態のアイコンデータの識別番号を指定する情報を含む。

シーケンス１００７では、表示装置５１が、非表示指示に応じて、無効な状態のアイコンを表示する。例えば、図１３に示すように、表示装置５１の表示部５０８は、操作部のガイダンスおよび操作状態を目立たない状態で表示する。図１３の場合、各操作部のアイコンが点線の円で示されているため、ユーザは、操作部のガイダンスが無効な状態である、すなわち、通信装置２１と表示装置５１との通信状況が悪化したことを認識できる。そのため、ユーザが操作部に接触したときに、表示部５０８上の操作部のガイダンスが応答しなくても、混乱することがない。

シーケンス１００８では、表示装置５１が、レスポンス（確認応答）を通信装置２１へ返信する。

以降、例えばシーケンス１００９でユーザが十字キー２６の右位置に指を触れた場合でも、操作部のガイダンスが無効状態であるため、操作情報を通信装置２１から表示装置５１に送信することは行わない。

操作部のガイダンスが無効状態の場合でも、上記のシーケンス１２７で示したように、定期的に（周期ＴＰで）生存確認を行う。例えば、通信装置２１は、表示装置５１に生存確認の要求を送信してから、それに対するレスポンスのデータが表示装置５１から受信されるまでの時間が第２の閾値Ｔｔｈ２以下になった場合、再び操作部のガイダンスを有効状態にするように動作する。

シーケンス１００２からシーケンス１００４までの時間Ｔ２が第２の閾値Ｔｔｈ２以上になる場合（通信状況が悪化する場合）として、次のような場合が考えられる。例えば、電波状況が悪いため無線通信が妨げられる場合、表示装置５１で他の処理のために操作部のガイダンス及び操作状態の表示の処理が待たされる場合である。あるいは、ネットワーク４２のトラフィックが多いために通信装置２１と表示装置５１との間の通信に時間がかかる場合などである。

ここで、電波状況が悪いため無線通信が妨げられる場合、シーケンス１００６の非表示指示が表示装置５１に受信されないことも考えられる。このため、表示装置５１の通信状況判断部５２０ａは、通信部５２２を介して、通信装置２１との通信状況を判断する。表示部５０８は、通信状況判断部５２０ａが判断した結果に基づいて、通信状況を識別可能な状態で複数のアイコンを表示する。すなわち、通信状況が悪化した場合は表示装置５１は第２の閾値Ｔｔｈ２以上の間だけ通信装置２１からの通信がなくなったことを検知できる。通信装置２１からの通信がなくなったことを検知すると、表示装置５１は自発的に操作部のガイダンスおよび操作状態の表示を停止する。

次に、通信装置２１を介して表示装置５１を操作する場合の処理の流れを、図１４を用いて説明する。図１４は、通信装置２１を介して表示装置５１を操作する場合のシステム全体の処理の流れを示すフローチャートである。

ステップＳ１４０２では、通信装置２１が、ユーザが操作部に指を接触したか、あるいは操作部のいずれかのボタンに対して押し込み動作を行ったかどうかを検知する。通信装置２１は、接触又は押し込みいずれかの操作を検知した場合、処理をステップＳ１４０３へ進め、いずれの操作も検知しなかった場合、処理をステップＳ１４０６へ進める。

ステップＳ１４０３では、通信装置２１が、操作情報を生成する。

ステップＳ１４０４では、通信装置２１が、操作情報を表示装置５１に送信する。

ステップＳ１４０５では、表示装置５１から通信装置２１へレスポンスを送信する。通信装置２１は、そのレスポンスの情報を受信する。

ステップＳ１４２２では、通信装置２１が、アプリケーション機能を実行する。例えば、通信装置２１は、画像を表示するためのボタンをユーザが押し込んだことを検知して、画像ファイルをＳＤ（登録商標）カードから読み出す。そして、通信装置２１は、読み出した画像ファイルと画像表示指示とを表示装置５１へ送信する。

ステップＳ１４０６では、通信装置２１が、同じ操作部に第１の閾値Ｔｔｈ１未満継続して接触し続けた後に指を離したり押し込み状態を解除したり、同じ操作部に第１の閾値Ｔｔｈ１以上継続して接触し続けたりしたか否かを検知する。通信装置２１は、それらの状態のいずれかを検知した場合、処理をステップＳ１４０７へ進め、それらの状態のいずれも検知しなかった場合、処理をステップＳ１４０９へ進める。

ステップＳ１４０７では、通信装置２１が、非表示指示を表示装置５１に送信する。

ステップＳ１４０８では、表示装置５１が、レスポンスを通信装置２１へ送信する。通信装置２１は、レスポンスを表示装置５１から受信する。

ステップＳ１４０９では、通信装置２１が、図示しないタイマを参照して、生存確認の周期ＴＰが経過したか否かを判断する。通信装置２１は、生存確認の周期ＴＰが経過したと判断する場合、処理をステップＳ１４１０へ進め、生存確認の周期ＴＰが経過していないと判断する場合、処理をステップＳ１４０２へ進める。

ステップＳ１４１０では、通信装置２１が、表示装置５１に生存確認の要求を送信する。

ステップＳ１４１１では、表示装置５１が、それに対するレスポンスを通信装置２１へ送信する。通信装置２１は、表示装置５１からのレスポンスを受信する。

ステップＳ１４１２では、通信装置２１が、レスポンスがタイムアウトしているか否かを判断する。すなわち、通信装置２１は、図示しないタイマを参照し、操作情報及び表示指示を送信してからレスポンスを受信するまでの時間（応答時間）が第２の閾値Ｔｔｈ２以上であるか否かを判断する。通信装置２１は、応答時間が第２の閾値Ｔｔｈ２以上であると判断する場合、処理をステップＳ１４１３へ進め、応答時間が第２の閾値Ｔｔｈ２以上でないと判断する場合、処理をステップＳ１４０２へ進める。なお、通信装置２１は、ステップＳ１４０４、Ｓ１４０７、Ｓ１４１０においてデータを送信した後、所定の時間が経過した場合も、ステップＳ１４１２に処理を進める。

ステップＳ１４１３では、通信装置２１が、非表示指示を生成する。非表示指示は、例えば、各操作部のガイダンスが無効な状態のアイコンデータの識別番号を指定する情報を含む。

ステップＳ１４１４では、通信装置２１が、非表示指示を表示装置５１へ送信する。表示装置５１は、非表示指示に応じて、複数の操作部３２９を示す複数のアイコンを表示しなくなる。

ステップＳ１４１５では、表示装置５１が、それに対するレスポンスを通信装置２１へ送信する。通信装置２１は、レスポンスを表示装置５１から受信する。

ステップＳ１４１６では、通信装置２１が、ユーザが操作部に指を接触するか、あるいは操作部のいずれかのボタンに対して押し込む操作を行ったかどうかを検知する。通信装置２１は、接触又は押し込みいずれかの操作を検知した場合、処理をステップＳ１４１７へ進め、いずれの操作も検知しなかった場合、処理をステップＳ１４１８へ進める。

ステップＳ１４１７では、通信装置２１が、ステップＳ１４２２と同様に、アプリケーション機能を実行する。通信装置２１は、アプリケーション機能の実行が完了すると、処理をステップＳ１４１６へ進める。

ステップＳ１４１８では、通信装置２１が、図示しないタイマを参照して、生存確認の周期ＴＰが経過したか否かを判断する。通信装置２１は、生存確認の周期ＴＰが経過したと判断する場合、処理をステップＳ１４１９へ進め、生存確認の周期ＴＰが経過していないと判断する場合、処理をステップＳ１４１６へ進める。

ステップＳ１４１９では、通信装置２１が、生存確認の要求を表示装置５１へ送信する。

ステップＳ１４２０では、表示装置５１が、それに対するレスポンスを通信装置２１へ送信する。通信装置２１は、レスポンスを表示装置５１から受信する。

ステップＳ１４２１では、通信装置２１が、レスポンスがタイムアウトしているか否かを判断する。すなわち、通信装置２１は、図示しないタイマを参照し、操作情報及び表示指示を送信してからレスポンスを受信するまでの時間（応答時間）が第２の閾値Ｔｔｈ２以上であるか否かを判断する。通信装置２１は、応答時間が第２の閾値Ｔｔｈ２以上であると判断する場合、処理をステップＳ１４１３へ進め、応答時間が第２の閾値Ｔｔｈ２以上でないと判断する場合、処理をステップＳ１４０２へ進める。

ところで、本発明の趣旨とは異なり、通信装置２１と表示装置５１とを例えばコンポジットビデオ信号のケーブルで接続して、通信装置２１でボタンのアイコンを含む映像信号を生成して表示装置５１上に表示させる構成も考えられる。

このような構成に対して、本実施形態の構成の場合、通信装置２１と表示装置５１とを無線ＬＡＮおよび有線ＬＡＮによるネットワークで接続しているため汎用的な通信Ｉ／Ｆで実現されている。これにより、通信装置２１と表示装置５１との映像信号の規格が合っていないと接続できないといったことがない。また、無線ＬＡＮおよび有線ＬＡＮによるネットワークで接続しているので、同一の通信Ｉ／Ｆ上で画像データの送受信やＵＰｎＰのプロトコルを同時に流すことができる。

さらに、通信装置２１が映像信号用のＶＲＡＭデータを生成する必要がなく、通信装置２１側の処理能力が高くなくても操作部の操作状態の表示ができるという利点がある。

なお、通信装置２１は、ＭＥＮＵボタン、ＤＩＳＰボタン、十字キー、ＳＥＴボタン、無線ボタンのいずれか特定のボタンのみが検知可能であってもよい。例えば、十字キーのみがユーザによる接触を検知可能とした場合、ユーザが十字キーに接触することによって、すべての操作部の表示データが表示装置５１上に表示されるため、操作部の配置状態を認識することができる。

以上示したように、本実施形態によれば、通信装置２１と表示装置５１とをネットワーク４２で接続して、ユーザが通信装置２１を操作して、通信装置２１で撮影された画像データを表示装置５１の画面上で閲覧することができる。そして、ユーザがどの操作部を操作しているかを表示装置５１の表示部５０８上で確認できるため、視線を表示装置５１と通信装置２１との間で移動させることなく操作が可能である。この結果、通信装置２１を介して表示装置５１を操作する場合の操作性を向上させることができる
また、ユーザは、画像のシングル表示やインデックス表示、拡大表示を通信装置２１の操作部を使って操作できるため、通信装置２１と同様の操作手順で表示装置５１を操作することができる。特に、リモコン送信機５１２よりも複数の操作部３２９の方が使い慣れている場合、リモコン送信機５１２を使って操作する場合と比べて、操作性が向上する。

また、本実施形態よれば、通信装置２１は接続が確立したときに各アイコンデータごとに複数の操作状態に対応した複数のアイコンを表示装置５１に送信し、操作状態の変化に応じて操作情報を通知することとした。このことにより、通信装置２１は操作情報を通知するだけで、表示装置５１に表示されているアイコンの表示態様を操作状態に適したものに変更させることができる。

また、通信装置２１の操作部がタッチセンサー機構を備え、ユーザの指がどのボタンに接触しているかを表示装置５１の画面上で確認できる場合、間違ったボタンを押すなどの誤動作を減らすことができる。また、照明が暗い場所でも操作が可能である。

また、通信状況が悪くなるどの理由で応答性が低下した場合でも、操作部の操作状態の表示を停止することによって、ユーザの操作に対する画面表示の遅れによる操作性が低下してユーザにストレスを与えることを防ぐことができる。

なお、表示装置５１は、コンピュータであっても構わない。この場合、コンピュータにマルチウインドウ表示が可能なＯＳがインストールされていれば、画像ファイルを表示するためのウィンドウと、操作部のガイダンスおよび操作状態を表した表示データを表示するためのウィンドウとを別々に構成することができる。これにより、操作部の表示で画像の閲覧が妨げられることなく実現できる。特に、コンピュータ上で負荷が大きい処理が同時に実行されている場合に、操作部のガイダンスおよび操作状態の表示を停止するよう制御するため、ユーザの操作に対して画面表示が遅れてしまうことによって操作性が低下してしまうことを防ぐことができる。

また、表示装置は、表示部を含むセットトップボックスやハードディスクレコーダーなどであってもよい。

次に、上述した各実施形態の機能を実現するためのプログラムについて説明する。

上述した各実施形態の機能を実現するように各種のデバイスを動作させ、その各種のデバイスと接続された装置あるいはシステム内のコンピュータに対して上述した各実施形態の機能を実現させるソフトウェアのプログラムコード（プログラム）を供給する。

そして、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に（ソフトウェア的に又はハードウェア的に）格納されたプログラムにしたがって上記の各種のデバイスを動作させるようにしたものも、本発明の範疇に含まれる。

また、この場合、上記のソフトウェアのプログラム自体が上述した実施形態の機能を実現することになる。

また、そのプログラム自体、及びそのプログラムのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムを格納した記憶媒体も、本発明の範疇に含まれる。

かかるプログラムを記憶する記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、供給されたプログラムをコンピュータが実行することにより、上述の実施形態の機能が実現されるだけではない。

例えば、そのプログラムがコンピュータにおいて稼動しているＯＳ（オペレーティングシステム）あるいは他のアプリケーション等と協働して上述の実施形態の機能を実現させる場合にも、かかるプログラムは、本発明の範疇に含まれる。

さらに、供給されたプログラムは、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納される。

そして、そのプログラムの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合にも、かかるプログラムは、本発明の範疇に含まれる。

本発明の実施形態に係る表示システム１の構成図。通信装置２１の外観構成図。通信装置２１の構成図。表示装置５１の構成図。通信装置２１のＲＯＭ３２７に保持されている操作部のアイコンデータを示す図。位置情報を示す図。通信装置２１と表示装置５１との動作を示すシーケンス図。複数の操作部を示す複数のアイコンの表示例。表示装置の表示部が表示する画面の例。表示装置の表示部が表示する画面の例。表示装置の表示部が表示する画面の例。通信装置２１と表示装置５１との動作を示すシーケンス図。表示装置の表示部が表示する画面の例。通信装置２１を介して表示装置５１を操作する場合の処理の流れをフローチャート。

符号の説明

１表示システム
２１通信装置
２３通信部
５１表示装置
３２３撮像部
３２８操作検知部
３２９複数の操作部
５０８表示部
５２２通信部

Claims

表示装置と通信する通信装置であって、
指示を入力するための操作手段の複数の操作状態のうち、現在の操作状態を検知する検知手段と、
前記表示装置に、前記複数の操作状態に対応した複数のアイコンを送信する送信手段と、
を有し、
前記送信手段は、前記複数のアイコンの中から前記現在の操作状態に対応したアイコンを前記表示装置に表示させるために、前記検知手段により検知された前記操作手段の現在の操作状態を送信する
ことを特徴とする通信装置。
前記操作状態は、前記操作手段にユーザが接触した接触状態と、前記操作手段により指示を入力するための入力状態と、前記接触状態および前記入力状態のいずれでもない非接触状態との少なくとも１つを含む
ことを特徴とする請求項１に記載の通信装置。
前記検知手段が、前記操作手段が一定時間継続して接触状態にあること、あるいは前記操作手段の接触状態が解除されたことを検知した場合、前記送信手段は、前記アイコンの態様を変化させる指示を前記表示装置に送信する
ことを特徴とする請求項２に記載の通信装置。
前記アイコンの態様を変化させる指示は、前記アイコンを非表示にする指示および前記非接触状態を示すアイコンのいずれかである
ことを特徴とする請求項３に記載の通信装置。
前記送信手段は、前記現在の操作状態に対応したアイコンを前記表示装置の所定の位置に表示させるために、前記アイコンの表示位置を送信する
ことを特徴とする請求項１から４のいずれか１項に記載の通信装置。
前記通信装置は、複数の前記操作手段を有し、
前記アイコンの表示位置は、前記複数のアイコンの相対的な位置を示す
ことを特徴とする請求項５に記載の通信装置。
前記表示装置との通信状況を判断する通信状況判断手段をさらに備え、
前記通信状況判断手段が前記表示装置との通信状況が悪化したと判断した場合、前記送信手段は、前記アイコンの態様を変化させる指示を前記表示装置に送信する
ことを特徴とする請求項１から６のいずれか１項に記載の通信装置。
前記送信手段は、画像データを前記アイコンとともに前記表示装置に表示するために画像データを前記表示装置に送信する
ことを特徴とする請求項１から７のいずれか１項に記載の通信装置。
前記送信手段は、画像データと前記操作状態とを前記表示装置に送信する際に、前記操作状態の伝送速度を制限する
ことを特徴とする請求項８に記載の通信装置。
通信装置と通信可能な表示装置であって、
表示手段と、
前記通信装置が有する操作手段の複数の操作状態に対応した複数のアイコンを前記通信装置から受信する受信手段と、
を有し、
前記受信手段は、前記操作手段の複数の操作状態のうち、前記通信装置が検知した操作状態を前記通信装置から受信し、
前記表示手段は、前記受信した操作状態に基づき、前記受信した複数のアイコンいずれかを表示する
ことを特徴とする表示装置。
前記操作状態は、前記通信装置の操作手段にユーザが接触した接触状態と、前記操作手段により指示を入力するための入力状態と、前記接触状態および前記入力状態のいずれでもない非接触状態との少なくとも１つを含み、
前記表示手段は、受信した複数のアイコンのうち、前記操作状態に応じたアイコンを表示する
ことを特徴とする請求項１０に記載の表示装置。
前記受信手段は、前記アイコンの表示位置を前記通信装置から受信し、
前記表示手段は、前記表示位置に基づき、前記アイコンを表示する
ことを特徴とする請求項１０または１１に記載の表示装置。
前記表示位置と前記操作状態とを受信したことに応じて、確認応答を前記通信装置へ送信する送信手段をさらに有する
ことを特徴とする請求項１２に記載の表示装置。
請求項１から９のいずれか１項に記載の通信装置と、
前記通信装置と通信する請求項１０から１３のいずれか１項に記載の表示装置と、
を有することを特徴とする表示システム。
表示装置と通信する通信装置の制御方法であって、
指示を入力するための操作手段の複数の操作状態のうち、現在の操作状態を検知する検知ステップと、
前記表示装置に、前記複数の操作状態に対応した複数のアイコンを送信する送信ステップと、
を含み、
前記送信ステップでは、前記複数のアイコンの中から前記現在の操作状態に対応したアイコンを前記表示装置に表示させるために、前記検知ステップで検知された前記操作手段の現在の操作状態を送信する
ことを特徴とする通信装置の制御方法。
通信装置と通信可能な表示装置の制御方法であって、
表示ステップと、
前記通信装置が有する操作手段の複数の操作状態に対応した複数のアイコンを前記通信装置から受信する受信ステップと、
を含み、
前記受信ステップでは、前記操作手段の複数の操作状態のうち、前記通信装置が検知した操作状態を前記通信装置から受信し、
前記表示ステップでは、前記受信した操作状態に基づき、前記受信した複数のアイコンの表示を制御する
ことを特徴とする表示装置の制御方法。
表示装置と通信する通信装置に、
指示を入力するための操作手段の複数の操作状態のうち、現在の操作状態を検知する検知ステップと、
前記表示装置に、前記複数の操作状態に対応した複数のアイコンを送信する送信ステップと、
を実行させ、
前記送信ステップでは、前記複数のアイコンの中から前記現在の操作状態に対応したアイコンを前記表示装置に表示させるために、前記検知ステップで検知された前記操作手段の現在の操作状態を送信する
ことを特徴とする通信プログラム。
通信装置と通信可能な表示装置に、
表示ステップと、
前記通信装置が有する操作手段の複数の操作状態に対応した複数のアイコンを前記通信装置から受信する受信ステップと、
を実行させ、
前記受信ステップでは、前記操作手段の複数の操作状態のうち、前記通信装置が検知した操作状態を前記通信装置から受信し、
前記表示ステップでは、前記受信した操作状態に基づき、前記受信した複数のアイコンの表示を制御する
ことを特徴とする表示プログラム。