JP2004201215A - Display device, operated device, operating device, and user interface system - Google Patents

Display device, operated device, operating device, and user interface system Download PDF

Info

Publication number
JP2004201215A
JP2004201215A JP2002370319A JP2002370319A JP2004201215A JP 2004201215 A JP2004201215 A JP 2004201215A JP 2002370319 A JP2002370319 A JP 2002370319A JP 2002370319 A JP2002370319 A JP 2002370319A JP 2004201215 A JP2004201215 A JP 2004201215A
Authority
JP
Japan
Prior art keywords
display
rank
display device
function
operated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002370319A
Other languages
Japanese (ja)
Other versions
JP4158512B2 (en
Inventor
Masaji Kawano
正司 川野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002370319A priority Critical patent/JP4158512B2/en
Publication of JP2004201215A publication Critical patent/JP2004201215A/en
Application granted granted Critical
Publication of JP4158512B2 publication Critical patent/JP4158512B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Selective Calling Equipment (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily realize transfer of information, particularly that related to user interfaces, between devices designed with different systems and platforms. <P>SOLUTION: A display device 101 has a function of displaying contents obtained from an operated device 102 and an operating device 103 using information transfer means 104 and 105 on its own display part. The operated device 102 has a function of notifying the display contents to the display device 101. The operating device 103 has a function of detecting information on operations and transferring the detected information to the display device 101. The display device 101 has a function of transferring the transferred information to the operated device 103. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、通信で結合された装置間でユーザーインターフェースを代替する仕組みを有する表示装置、被操作装置、操作装置およびユーザーインターフェースシステムに関する。
【０００２】
【従来の技術】
装置固有の情報を表示したり、装置に指示を入力したりする、いわゆるユーザーインターフェース（以下、「ＵＩ」と称す。）機能を構成する場合、従来は以下のような方法が用いられている。
【０００３】
第１の方法は、装置に結合された操作手段と表示手段を纏める制御手段によって管理された閉じたシステムによるものである。
【０００４】
第２の方法は、コンピュータ装置に代表される、操作手段と、表示手段と、制御手段が通信により結合され、相互に情報交換を行うシステムによるもので、操作手段と表示手段を有するインテリジェントな装置が、被操作装置を制御するために固有のアプリケーションプログラムもしくはアプリケーションプログラムと協調して機能するドライバープログラムを通信やインターフェース（以下、「ＩＦ」と称す。）から入手し、組み込むことで被制御装置の制御を可能とする（例えば、パーソナルコンピュータ（以下、「ＰＣ」と称す。）で凡例化している周辺機器用のドライバーソフトウェア組み込み手法（例えば特許文献１を参照。）や、ＰＣではない家庭用のＡＶ機器や家電品を通信で接続し制御するＨａｖｉ（家庭用オーディオ／ビジュアルイニシアチブ）規格におけるＨａｖｌｅｔ（機器操作アプリケーションプログラム）を組み込む周辺機器制御手段（例えば特許文献２を参照。）など）。
【０００５】
図２５を用いて従来の技術の説明を行う。
【０００６】
図２５の構成は前述の第２の方法にて概要説明したシステムの中の主に表示装置の構成であり、表示装置２５０１は、表示管理プログラム２５０３と、通信プログラム２５０５と、外部に通信で接続されて制御を行うべき対象装置となる被操作装置を認識する被操作装置認識プログラム２５０６と、被操作装置認識プログラム２５０６によって表示装置２５０１内に対象となる被操作装置用の制御用表示プログラム２５０９が存在しない場合に外部のドライバーソフトウェア格納部２５０２から該プログラムを組み込む為のドライバー組み込みエリア２５０８と、複数の制御装置のための制御用表示プログラム（ドライバーソフトウェア）を格納するドライバーソフトウェア格納部２５０７とを有する。
【０００７】
ＰＣに例えると、表示装置２５０１はＣＲＴなどのディスプレイ装置とＰＣ本体部が概ね該当する。表示管理プログラム２５０３は、凡例としてはマイクロソフト社のウインドウズシステムの類である。通信プログラム２５０５は、イーサネット（Ｒ）類である。被操作装置認識プログラム２５０６は、同じくマイクロソフト社の提唱するプラグアンドプレイの類である。ドライバー組み込みエリア２５０８とドライバーソフトウェア格納部２５０７は、同じくマイクロソフト社のウインドウズシステムの中のドライバー管理手法の類である。
【０００８】
上記構成の特徴は、汎用性と拡張性を重視して、制御のための新しい周辺装置が開発されて、既存のＰＣにおいて制御を行おうとした場合に、新しい周辺装置のための制御プログラムは、ＰＣとそのシステムで規定されている規則にしたがって作成されていれば、該プログラムをドライバーソフトウェアとしてＰＣに組み込むことで、所望の新しい周辺装置の制御を可能とするものである。
【０００９】
【特許文献１】
特表２００２−５０１２３８号公報
【特許文献２】
特開２００２−１８３００１号公報
【００１０】
【発明が解決しようとする課題】
家庭の中で従来使用されてきた機器群は、その多くが他の機器との接続や情報伝達を行わない閉じたシステムで使われてきた。例えば、冷蔵庫、洗濯機や電子レンジなどの機器群である。一方、ＰＣに代表される情報処理機器群は、統一されたＯＳやシステムの互換性を保証する仕組みや通信のプロトコルを共通化することで、相互の接続性を実現している。然るに、冷蔵庫とＰＣを接続して情報交換を行おうとすれば、冷蔵庫にはＰＣの世界で受け入れられる通信インターフェースを備えるか、ＰＣ側が冷蔵庫のために特殊な機能を追加する必要がある。同様に、ＰＣの周辺機器であるプリンタとＴＶを接続して情報交換を行おうとすれば、ＴＶがＰＣのような機能を所有することが要求される。このように異なるシステムと異なるプラットフォームで設計された機器間の情報伝達と疎通は困難を極めている。
【００１１】
（特許文献１，および２）に記載のシステムは、ＰＣとは異なる家庭用電気製品群、とりわけ衛星通信を主体とするセットトップボックスやデジタルＴＶ等のインテリジェントな家電品をユーザーインターフェースの主機器に配置し、他のオーディオ機器やビデオ機器等の周辺機器をローカルな通信手段（先例ではＩＥＥＥ１３９４）で結合して、Ｈａｖｉ規格に基づいた周辺機器制御手段を構築している。
【００１２】
Ｈａｖｉ規格では、ＰＣと同様に周辺機器を制御するための専用のプログラムを必要とする。ＰＣでは一般にドライバーソフトウェアと称され、Ｈａｖｉ規格ではＨａｖｌｅｔと呼ばれるユーザーインターフェースソフトウェアである。いずれにおいてもインテリジェントな制御機器が、被制御機器のための固有のアプリケーションプログラムを組み込む方式である。インテリジェントな家電製品に使われるＣＰＵ、メモリやインターフェースなどのハードウェアは、ＰＣの世界とは異なり様々な部品が使われる。Ｈａｖｉでは、このような家電製品特有のハードウェアの多様性を吸収するためにＪａｖａ（Ｒ）言語が用いられている。Ｊａｖａ（Ｒ）言語をアプリケーションプログラムの言語とすることで、家電製品間のユーザーインターフェース用アプリケーションプログラムの機器間互換性を維持する仕組みである。
【００１３】
然るに、ＰＣの世界やＨａｖｉで結合される仕組みは、以下のような潜在的な課題を含んでいる。
【００１４】
１）インテリジェントな機器はローカルなネットワークに接続される被制御機器が増えると、制御用のドライバーやＨａｖｌｅｔを組み込むメモリが増える。
【００１５】
２）凝ったユーザーインターフェースを要求するような被制御機器用のアプリケーションプログラムは大きな容量となり、ＵＩを担うインテリジェントな機器のメモリの負担になる。
【００１６】
３）その結果としてインテリジェントな機器として成立するための要求される水準が高くなる。
【００１７】
４）被接続機器が変われば、インテリジェントな機器はアプリケーションプログラムを更新する必要がある。
【００１８】
本発明は、上述したように冷蔵庫、電子レンジや炊飯器などのあまり高度な通信手段を持つ必要のない機器までを視野に入れたユーザーインターフェースの手段とシステムを提供するものである。家電製品の主たる制御が人間と被制御機器との間で行われることに着目して、ユーザーインターフェースの窓口となる機器にはＴＶ等を想定している。また、移動体通信技術の発達で、普及著しい携帯電話に見られる小さな画面とキーを持ったユーザーインターフェース機器となりえる機器群も想定している。本発明は、このように異なるシステムと異なるプラットフォームで設計された機器間の情報の中の、特にユーザーインターフェースに関する部分を、前述の課題を生じることなく容易に実現可能とする表示装置、被操作装置、操作装置およびユーザーインターフェースシステムを提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明の表示装置は、他の機能装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有する構成としたものである。
【００２０】
本発明によれば、異なるシステムと異なるプラットフォームで設計された機器間のユーザーインターフェースに関する部分を容易に実現することが可能となる。
【００２１】
【発明の実施の形態】
請求項１に記載の発明は、他の機能装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有する表示装置であり、機能的に異なる他の機能装置あるいは物理的に異なる場所にある他の機能装置の表示内容を表示することができるという作用を有する。
【００２２】
請求項２に記載の発明は、表示内容を請求項１に記載の表示装置に通知する機能を有する被操作装置であり、表示内容を請求項１に記載の表示装置に通知し、表示内容を表示装置の表示部に表示することができるという作用を有する。
【００２３】
請求項３記載の発明は、操作行為の操作情報を検出し、検出した操作情報を請求項１に記載の表示装置に伝達する機能を有する操作装置であり、操作装置の操作行為の操作情報を請求項１に記載の表示装置に伝達することができるという作用を有する。
【００２４】
請求項４に記載の発明は、請求項３に記載の操作装置からの操作情報を、変換もしくは非変換で請求項２に記載の被操作装置へ伝達する機能を有する請求項１に記載の表示装置であり、操作装置の操作情報を表示装置経由で被操作装置伝達することができるという作用を有する。
【００２５】
請求項５に記載の発明は、操作装置の操作条件の一部もしくは全てを、被操作装置に提示する機能を有する請求項１に記載の表示装置であり、表示装置の操作装置にどのような操作条件が有るかを被操作装置に知らせることができるという作用を有する。
【００２６】
請求項６に記載の発明は、請求項５に記載の表示装置の提示する操作条件を判定し、操作条件と対応させた表示内容を表示装置に伝達する機能を有する請求項２に記載の被操作装置であり、被操作装置側が表示装置の提示する操作条件から表示装置に要求できる表示の可能性を把握し、操作条件に適合した表示要求にすることができるという作用を有する。
【００２７】
請求項７に記載の発明は、請求項６に記載の被操作装置の表示要求に従って、表示を構成する機能を有する請求項１に記載の表示装置であり、被操作装置の要求した表示内容が表示されるという作用を有する。
【００２８】
請求項８に記載の発明は、選択と決定の機能を操作者に明示するために必要な２個以上の数の操作選択子を持つ請求項３に記載の操作装置であり、被操作装置の要求した表示内容の選択項目を選択し決定する操作を行うことができるという作用を有する。
【００２９】
請求項９に記載の発明は、選択と決定の機能を操作者に明示するために必要な２個以上の数の選択表現を持つ請求項１、４、５または７のいずれかに記載の表示装置であり、被操作装置の要求した表示内容が選択と決定を要求している場合に操作の曖昧さを排除することができるという作用を有する。
【００３０】
請求項１０に記載の発明は、直接的あるいは間接的に情報を伝達する手段を有する請求項１、４、５、７または９のいずれかに記載の表示装置であり、被操作装置との間で直接的あるいは間接的に通信を行うことができるという作用を有する。
【００３１】
請求項１１に記載の発明は、直接的あるいは間接的に情報を伝達する手段を有する請求項２または６に記載の被操作装置であり、表示装置との間で直接的あるいは間接的に通信を行うことができるという作用を有する。
【００３２】
請求項１２に記載の発明は、１以上の複数のランク付けされた表示能力を有する請求項１、４、５、７または９のいずれかに記載の表示装置であり、１以上の複数のランク付けされた表示能力を有する被操作装置との間でランクの整合性を取り、整合性が取れたランク同士で結合された場合には、表示要求を満たす表示内容が表示装置に表現されるという作用を有する。
【００３３】
請求項１３に記載の発明は、１以上の複数のランク付けされた表示要求能力を有する請求項２または６に記載の被操作装置であり、１以上の複数のランク付けされた表示能力を有する表示装置との間でランクの整合性を取り、整合性が取れたランク同士で結合された場合には、表示要求を満たす表示内容が表示装置に表現されるという作用を有する。
【００３４】
請求項１４に記載の発明は、表示能力のランクは、ランクごとに定義される表示の為に用いられ、あるいは参照される表現制約事項を含み、少なくとも２個以上の選択表現を持つ請求項１２に記載の表示装置であり、定義されたランクの下位から順に任意のランクの表示能力を実装することができるという作用を有する。
【００３５】
請求項１５に記載の発明は、表示要求能力のランクは、ランクごとに定義される表示の為に用いられ、あるいは参照される表現制約事項を含み、少なくとも２個以上の選択表現を持つ請求項１３に記載の被操作装置であり、定義されたランクの下位から順に任意のランクの表示要求能力を実装することができるという作用を有する。
【００３６】
請求項１６に記載の発明は、請求項１２に記載の表示装置の表示能力の所有するランクと請求項１３に記載の被操作装置の表示要求能力の所有するランクが、一致するランクであれば、そのランクに基づいた被操作装置の表示要求を満足するように表示可能とする手段を有する表示装置であり、被操作装置の要求する表示内容が表示装置に表示されることを確実にするという作用を有する。
【００３７】
請求項１７に記載の発明は、その所有する表現能力を上回らない範囲で相当の定められたランクの表現能力であることを提示する手段を有する請求項１２または１６に記載の表示装置であり、表示装置が自身の表現能力のランク情報を被操作装置に伝達することができるという作用を有する。
【００３８】
請求項１８に記載の発明は、請求項１７に記載の表示装置の提示する表現力ランクに応じて、表示要求内容を変化させることが可能な請求項２または６に記載の被操作装置であり、被操作装置の表示要求ランクが高く、表示装置の表示能力ランクが低い場合等に、被操作装置の表示要求ランクを下げて表示装置の表示能力ランクにあわせることができるという作用を有する。
【００３９】
請求項１９に記載の発明は、複数の表示要求内容を構成する機能を有する請求項１８に記載の被操作装置であり、被操作装置が表示能力ランクの異なる複数の表示装置と通信で結合された状態で、それぞれの表示装置との間に異なるランクの表示要求を行うことができるという作用を有する。
【００４０】
請求項２０に記載の発明は、操作装置と表示装置とは別に、第２の操作手段を備えた請求項２、６または１９のいずれかに記載の被操作装置であり、被操作装置自身に独自の第２の操作手段を持つことで、通信が成立していない場合や、被操作装置近辺でのＵＩの利便性が向上するという作用を有する。
【００４１】
請求項２１に記載の発明は、選択情報と伝達情報を区別して表示レイアウトするフォームをもつ表示指定機能を備えたランクを備えた請求項１２、１４または１６のいずれかに記載の表示装置であり、表示装置の表示上に選択情報と伝達情報とを分離してレイアウトすることで、例えば内容部が動画などの常にデータが更新される伝達情報の部分と選択キーなどの更新される頻度の少ない選択情報の部分とを効果的に表現することができるという作用を有する。
【００４２】
請求項２２に記載の発明は、請求項１３、１５、１８、１９または２０のいずれかに記載の被操作装置と請求項１２、１４、１６、１７または２１のいずれかに記載の表示装置との間に表示変換装置を配置したユーザーインターフェースシステムであり、表示装置の表示能力が乏しくて、表示装置として十分なＵＩが実現できない場合に、表示装置に代わってＵＩのための表現能力が高い代替装置としての表示変換装置を被操作装置との間に置くことで、表示変換装置と被操作装置との間でランクの整合をとることができるという作用を有する。
【００４３】
請求項２３に記載の発明は、表示変換装置は、被操作装置の表示要求内容ランクと表示装置の表示能力ランクが不整合な場合に表示変換する機能を有する請求項２２記載のユーザーインターフェースシステムであり、被操作装置の表示要求内容ランクと表示装置の表示能力ランクが不整合な場合に、表示変換装置と被操作装置間でランクの整合をとることができるという作用を有する。
【００４４】
請求項２４に記載の発明は、請求項２、３または８のいずれかに記載の操作装置の操作部と請求項１２、１４、１６、１７または２１のいずれかに記載の表示装置の表示部を備えた操作表示装置と、請求項１３、１５、１８、１９または２０のいずれかに記載の被制御装置との間に通信中継装置が配置され、操作表示装置は通信中継装置と通信を行い、通信中継装置は被制御装置と通信を行い、操作表示装置と被制御装置はランク情報を通信中継装置を経由して行うことを特徴とするユーザーインターフェースシステムであり、表示部を備えた操作表示装置が通信の経路に置かれた中継装置を経由して表示変換装置と被操作装置との間でランクの整合をとることができるという作用を有する。
【００４５】
請求項２５に記載の発明は、操作表示装置は移動体通信装置であることを特徴とする請求項２０に記載のユーザーインターフェースシステムであり、表示部を備えた操作表示装置が被操作装置と移動体通信により接続され、通信の経路に置かれた中継装置を経由して表示変換装置と被操作装置間でランクの整合をとることができるという作用を有する。
【００４６】
請求項２６に記載の発明は、通信中継装置が更に複数の通信中継装置を連結して構成されることを特徴とする請求項２４または２５に記載のユーザーインターフェースシステムであり、表示部を備えた操作表示装置が通信の経路に置かれた複数の中継装置を経由して表示変換装置と被操作装置との間でランクの整合をとることができるという作用を有する。
【００４７】
請求項２７に記載の発明は、通信中継装置の少なくとも一つがパーソナルコンピュータであることを特徴とする請求項２４から２６のいずれかに記載のユーザーインターフェースシステムであり、ユーザーインターフェースを代替する本システムを構成する装置群がＰＣと通信で結合されるという作用を有する。
【００４８】
請求項２８に記載の発明は、通信中継装置の少なくとも一つが情報処理装置であることを特徴とする請求項２４から２６のいずれかに記載のユーザーインターフェースシステムであり、ユーザーインターフェースを代替する本システムを構成する装置群が情報処理装置と通信で結合されるという作用を有する。
【００４９】
請求項２９に記載の発明は、通信中継装置の少なくとも一つがセットトップボックスであることを特徴とする請求項２４から２６のいずれかに記載のユーザーインターフェースシステムであり、ユーザーインターフェースを代替する本システムを構成する装置群がセットトップボックスと通信で結合されるという作用を有する。
【００５０】
請求項３０に記載の発明は、通信中継装置の少なくとも一つがホームゲートウェイであることを特徴とする請求項２４から２６のいずれかに記載のユーザーインターフェースシステムであり、ユーザーインターフェースを代替する本システムを構成する装置群がホームゲートウェイと通信で結合されるという作用を有する。
【００５１】
請求項３１に記載の発明は、１以上の複数のランク付けされた表示要求能力を有する被操作装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有するとともに、１以上の複数のランク付けされた表示能力を有し、表示能力のランクと被操作装置の表示要求能力のランクとが一致すれば、そのランクに基づいた被操作装置の表示要求を満足するように表示可能とする手段を有する表示装置であり、１以上の複数のランク付けされた表示能力を有する被操作装置との間でランクの整合性を取り、整合性が取れたランク同士で結合された場合には、表示要求を満たす表示内容が表示装置に確実に表示されるという作用を有する。
【００５２】
請求項３２に記載の発明は、他の機能装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有するとともに、１以上の複数のランク付けされた表示能力を有し、かつその所有する表現能力を上回らない範囲で相当の定められたランクの表現能力であることを提示する手段を有する表示装置に、表示内容を通知する機能を有し、表示装置の提示する表現力ランクに応じて、表示要求内容を変化させることが可能な被操作装置であり、１以上の複数のランク付けされた表示能力を有する表示装置が自身の表現能力のランク情報を被操作装置に伝達することで、被操作装置の表示要求ランクが高く、表示装置の表示能力ランクが低い場合等に、被操作装置の表示要求ランクを下げて表示装置の表示能力ランクにあわせることができるという作用を有する。
【００５３】
請求項３３記載の発明は、他の機能装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有するとともに、１以上の複数のランク付けされた表示能力を有し、かつその所有する表現能力を上回らない範囲で相当の定められたランクの表現能力であることを提示する手段を有し、さらに選択情報と伝達情報を区別して表示レイアウトするフォームをもつ表示指定機能を備えたランクを備えた表示装置に、表示内容を通知する機能を有し、表示装置の提示する表現力ランクに応じて、表示要求内容を変化させることが可能であり、さらに、複数の表示要求内容を構成する機能と、操作装置と表示装置とは別の第２の操作手段とを備えた被操作装置であり、被操作装置の表示要求ランクが高く、表示装置の表示能力ランクが低い場合等に、被操作装置の表示要求ランクを下げて表示装置の表示能力ランクにあわせることができ、また、被操作装置が表示能力ランクの異なる複数の表示装置と通信で結合された状態で、それぞれの表示装置との間に異なるランクの表示要求を行うことができ、また、被操作装置自身に独自の第２の操作手段を持つことで、通信が成立していない場合や、被操作装置近辺でのＵＩの利便性が向上し、また、表示装置の表示上に選択情報と伝達情報とを分離してレイアウトすることで、例えば内容部が動画などの常にデータが更新される伝達情報の部分と選択キーなどの更新される頻度の少ない選択情報の部分とを効果的に表現することができるという作用を有する。
【００５４】
以上により、
（１）従来異なるプラットフォームに基づく機能的に異なる機器間では困難あるいは高度の技術的手段を要求されていたユーザーインターフェースが、内容の制限を有するけれども簡易に確実に実現できる。
【００５５】
（２）表示装置、操作装置、被操作装置、あるいはそれらの複合装置は独自に自己の機能の向上が可能であり、かつその結果として、本ユーザーインターフェースのシステムの根幹には如何なる悪影響も与えない。
【００５６】
（３）表示装置にも被操作装置にもユーザーインターフェースを目的に両社が接続されるために新たなメモリやプログラムは必要としない。
【００５７】
（４）表示装置、被操作装置のいずれの装置も少なくとも最も低いランクに適合するように設計・製造されていれば、代替のユーザーインターフェースを成立させる保証が得られるため、装置の開発が極めて自由になる。
【００５８】
（５）表示装置（ＴＶ等）の操作装置（リモコン等）を使って表示装置（ＴＶ等）経由で被操作装置（オーディオ機器、家電、プリンタ等）へ操作装置の操作情報を伝達することが可能となる。
【００５９】
（６）表示装置（ＴＶ等）の操作装置（リモコン等）にどのような操作条件（キーの種類や数）が有るかを被操作装置に知らせることで、被操作装置側が表示装置に要求できる表示の可能性を把握し、操作条件に適合した表示要求にすることが可能となる。
【００６０】
（７）被操作装置の要求した表示内容が表示されるため、操作装置と表示装置と被操作装置が不整合なく機能する。
【００６１】
（８）操作装置の入力として、主に人間とのインターフェースを可能とし、障害を持つ人々のために開発される各種情報入力機器を使用することが可能となる。
【００６２】
（９）表示装置の出力として、主に人間とのインターフェースを可能とし、障害を持つ人々のために開発される各種情報出力機器を使用することが可能となる。
【００６３】
（１０）表示装置（ＴＶ等）と被操作装置（オーディオ機器、家電、プリンタ等）間で通信を行うことが可能となる。
【００６４】
（１１）表示装置、被操作装置がそれぞれに表示能力ランクと表示要求ランクを持つことで、双方のランクの整合性を取り、整合性が取れたランク同士で結合された場合には、表示要求を満たす表示内容が表示装置に表現される。
【００６５】
（１２）表示装置が自身の表現能力のランク情報を被操作装置に伝達することが可能となる。
【００６６】
（１３）被操作装置の表示要求ランクが高く、表示装置の表示能力ランクが低い場合等に、被操作装置の表示要求ランクを下げて表示装置の表示能力ランクにあわせることが可能となる。
【００６７】
（１４）被操作装置が表示能力ランクの異なる複数の表示装置と通信で結合された状態で、それぞれの表示装置との間に異なるランクの表示要求を行うことが可能となる。
【００６８】
（１５）被操作装置自身に操作パネルなどの独自の操作手段を持つことで、通信が成立していない場合や、被操作装置近辺でのＵＩの利便性が向上する。
【００６９】
（１６）表示装置の表示上に選択情報と伝達情報とを分離してレイアウトすることで、例えば内容部が動画などの常にデータが更新される伝達情報の部分と選択キーなどの更新される頻度の少ない選択情報の部分とを効果的に表現することが可能となる。
【００７０】
（１７）表示装置の表示能力が乏しくて、表示装置として十分なＵＩが実現できない場合に表示装置に代わってＵＩのための表現能力が高い代替装置としての表示変換装置を被操作装置との間に置くことで、表示変換装置と被操作装置との間でランクの整合をとることが可能となる。
【００７１】
（１８）表示部を備えた操作表示装置が被操作装置と例えば遠隔に通信で接続される場合において、通信の経路に置かれた１つもしくは複数の中継装置を経由して表示変換装置と被操作装置との間でランクの整合をとることが可能となる。
【００７２】
（１９）ユーザーインターフェースを代替する本システムを構成する装置群がＰＣやセットトップボックスに代表される家電情報処理装置と通信で結合される。
【００７３】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００７４】
図１は本発明の実施の形態におけるＵＩシステムのブロック図である。
【００７５】
図１に示すＵＩシステムは、テレビジョン（ＴＶ）等に代表される表示装置１０１と、リモートコントローラ（以下、「リモコン」と称す。）に代表される操作装置１０３と、オーディオ機器、冷蔵庫やプリンタ等に代表される被操作装置１０２と、表示装置１０１と操作装置１０３との間を接続する情報伝達手段１０５と、表示装置１０１と被操作装置１０２との間を接続する情報伝達手段１０４とから構成される。
【００７６】
ここで、情報伝達手段１０４，１０５については、手法を限定しないが、本実施の形態においては、情報伝達手段１０４は米国電気電子学会（ＩＥＥＥ：Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ ＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｓ）のＩＥＥＥ１３９４規格に基づくものである。情報伝達手段１０５は、赤外線リモコンを用いた家電協コードに基づくものである。
【００７７】
また、図１において被操作装置１０２が複数記載されているが、本発明の主旨が表示装置１０１と操作装置１０３と被操作装置１０２との３つの機能装置間に関するものなので、共に１０２という共通番号を付記している。また、情報伝達手段１０４が複数の装置間の通信を可能とするものであれば、図１には記載されていない複数の表示装置１０１が存在し得る。同様に、情報伝達手段１０５及び操作装置１０３に関しても上述の意に添えば、複数の操作装置１０３が存在し得る。
【００７８】
図２は図１の表示装置１０１の構成図である。
【００７９】
図２に示すように、表示装置１０１は、処理用のＣＰＵ（中央処理装置）２０１と、プログラム２０４と、プログラム作業用のワークメモリ２０５と、表示部２０２と、情報伝達手段１０５により通信するリモコンＩＦ部２０６と、情報伝達手段１０４により通信する通信部２０３と、各部を接続する接続部とで構成される。表示の為の表示メモリは、本実施の形態ではワークメモリ２０５に含めるものとするが、いわゆる表示装置の構成は多岐に亘るので、表示メモリが表示部２０２に含まれたり、表示専用素子（ＬＳＩ）等に含まれたりする場合等を本実施の形態の適用外としているわけではない。
【００８０】
図３は図１の被操作装置１０２の構成図である。
【００８１】
図３に示すように、被操作装置１０２は、処理用のＣＰＵ３０１と、プログラム３０２と、プログラム作業用のワークメモリ３０３と、入出力部３０４と、情報伝達手段１０４により通信する通信部３０５と、各部を接続する接続部とで構成される。
【００８２】
本実施の形態では被操作装置１０２は特に機器の種類を特定していない。それ故に入出力部３０４は特定の入出力を規定していない。
【００８３】
図４は図１の操作装置１０３の構成図である。
【００８４】
図４に示すように、操作装置１０３は、操作部である操作キー４０１と、キー入力をコードに変換するエンコーダ部４０２と、情報伝達手段１０５により通信する為のコードを光に変換する発光素子からなる通信部４０３とからなる。
【００８５】
図５は本発明の実施の形態における操作装置の操作キーの構成図である。
【００８６】
本実施の形態では操作装置１０３として簡略したものを図示している。図５に示すように操作キー４０１は、選択と決定の機能を操作者に明示するために必要な操作選択子であって、選択手段としての方向キー５０１と、意思決定手段としての決定キー５０２と、意思解除（キャンセル）手段としての解除キー５０３とからなる。一般に見受けられるリモコン等のように、数字キー、機能設定／選択キーや、携帯電話などのキー部に見られる文字入力キーなどを備えることを制限するものではない。
【００８７】
図６は、本発明の実施の形態におけるＵＩシステムの操作説明図であり、上述の各機能装置（表示装置１０１、被操作装置１０２、操作装置１０３、及び情報伝達手段１０４，１０５）からなるＵＩシステムの操作説明である。
【００８８】
なお、説明の簡略化のために以下を定義する。
【００８９】
１）通信の具体的手法や詳細は記述しない。
【００９０】
２）操作者６０１は人とする。
【００９１】
３）操作装置１０３はリモコンとする。
【００９２】
４）表示装置１０１はＴＶとする。
【００９３】
５）被操作装置１０３はプリンタとする。
【００９４】
人がＴＶを見ながらリモコンを操作するというシーンは極めてありふれたシーンである。人がリモコンを操作（Ａ１）すると、リモコン（操作装置１０３）からＴＶ（表示装置１０１）へ情報（Ｔ１）が送られてＴＶの画面が変わり、画面（Ｖ１）が人に表現される。または、プリンタ（被操作装置１０２）が何らかの表示要求（Ｆ１）をＴＶ（表示装置１０１）に送ると、ＴＶの画面が変わり、画面（Ｖ１）が人に表現される。画面（Ｖ１）は以下の説明の簡便さのために、メニュー画面と表現することにする。
【００９５】
図２４にメニュー画面の一例を示す。メニュー画面という手法は汎用化しており、多くの具現化された表示装置１０１の表示画面に現れるものである。その用途は主として、対象とする装置の機能の変更や設定、ヘルプ機能や通信網の機器表示等、多岐にわたっている。本実施の形態では、ＴＶ（表示装置１０１）と情報伝達手段１０４で接続されたプリンタ（被操作装置１０２）を明示するような意味を持つ表示例を図示している。図２４は、本発明の実施の形態における表示装置のメニュー画面例を示す図であり、プリンタ（被操作装置１０２）がＰＴＲアイコン２４０１としてハイライト表現されている様子を示している。
【００９６】
さて、メニュー画面からＰＴＲアイコン２４０１を選択してリモコン（操作装置１０３）の決定キー５０２を押す操作（Ａ２）を行うと、前述同様に通信（Ｔ２）を経てＴＶ（表示装置１０１）に情報が送られる。ここで、ＴＶとプリンタは、図７のランク調停フローチャートに示す手順で、本発明の主たる要素であるＵＩ貸し出し機能を実現する。
【００９７】
図７を説明する前に、以降の理解を容易にするために図８を用いて通信データ構造を説明する。ＴＶとプリンタの間で通信が行われていることは前述したが、その通信データ８０１の中には、ネゴシエーションコード８０２を含んでいる。ネゴシエーションコード８０２はネゴシエーションコードの内容８０３に示すように、ＵＩ規格Ｖｅｒ（バージョン）情報と装置属性情報と装置ランク情報とを含んでいる。ＵＩ規格Ｖｅｒ情報は、本発明が広範囲の装置間で使用されることを想定した場合に、内容の進化、修正が発生することが想定されるため、予め、装置仕様の規格内容を明確に判別できるようにするものである。装置属性情報は、本発明における３つの機能装置である表示装置１０１、操作装置１０３、被操作装置１０２のいずれかまたは複合した機能を含有していることを示すものである。装置ランク情報は、前記機能がそれぞれどのランクの機能を所有しているかを示すものである。
【００９８】
ランクの説明のために、図９は本発明の実施の形態におけるランク１の表示構成例を示す図である。本実施の形態では、ランク１を以下のように定義する。
【００９９】
１）選択ボタンと相対する内容表現で構成。
【０１００】
２）選択ボタン数：Ｎ （Ｎ＜９） （注：９に特別な意味は無い）
３）内容表現：英数字、ひらがな、カタカナ
４）内容文字数：Ｍ （Ｍ＜２０） （注：２０に特別な意味は無い）
ランク１の表示は、選択ボタンを表示する選択情報表示領域９０１と、それに相対する表示内容を表示する伝達情報表示領域９０２とで基本構成される。
【０１０１】
図１０に本発明の実施の形態における表示装置と被制御装置間の表示データ構造を示す図を示す。
【０１０２】
図１０に示すように通信フォームの中には、表示関連情報部１００１を含む。本実施の形態では、表示関連情報部１００１の構成は、選択情報部１００２と伝達情報部１００３とが組み合わされた１組のデータブロックを選択数分持つ形である（通信パケットのサイズ制約により、データのブロックを選択数分全て一つの通信パケットに組み込むと言う意味ではない）。
【０１０３】
図１１に本発明の実施の形態におけるランク１の表示例を示す図を示す。
【０１０４】
図１１に示す表示例は、選択ボタン１１０１と内容部１１０２との計６組で構成されている。この表示例では文字は英語を使っている。
【０１０５】
図１２に本実施の形態におけるランク２の表示例を示す図である。本実施の形態では、ランク２を以下のように定義する。
【０１０６】
１）選択ボタンと相対する内容で構成。
【０１０７】
２）選択ボタン数Ｎ （Ｎ＜９） （注：９に特別な意味は無い）
３）内容 英数字、ひらがな、カタカナ、グラフィック
４）文字数Ｍ （Ｍ＜２０） （注：２０に特別な意味は無い）
ランク２の表示は、選択ボタン１２０１と、各選択ボタン１２０１に対応するグラフィック１２０２と、前述のクラス１同様の文字表現内容１２０３とで構成される。本実施の形態では、グラフィック１２０２のイメージの仕様としてサイズ（Ｘ：１５０ピクセル、Ｙ：１００ピクセル）、色（ＲＧＢ表現で４：４：４）を用いている。
【０１０８】
上のランク１，２の概略説明を踏まえて、図７のフローチャートの説明に戻る。
【０１０９】
図７のステップＳ１で、ＴＶ（表示装置１０１）はプリンタ（被操作装置１０２）に、表示ランク情報（Ｆ２）を送信する（図６参照）。仮に、ＴＶ側が上述のランク２（グラフィック表示可能）をプリンタ側に送ったとする。プリンタがランク２を処理できない場合、もしくはランク２が不要な場合には、ランクの変更に関する調整が必要になる。
【０１１０】
ＴＶとプリンタのランクの調停のためのネゴシエーションフェーズが、図６のネゴシエーション（Ｆ３）である。図７のステップＳ２で、ＴＶとプリンタのランクのネゴシエーションが合意されたらステップＳ３に移行するが、ネゴシエーションが不成立の場合はステップＳ１０，Ｓ１１と進み、ＴＶ側がランクを下げて、再度ステップＳ１からの手順を行う。仮に、ＴＶとプリンタでランク１で合意が取れたとすれば、図７ステップＳ３，Ｓ４と進み、ＴＶはプリンタに表示フォーム形式の送信を行う。表示フォーム形式とは、図９の説明時に記載した選択数（選択ボタンを一度に表示できる数：Ｎの最大値）と内容（文字数Ｍの最大値）である。
【０１１１】
ここで表示フォーム形式を定義した理由を述べる。前述のようにランクと言う概念は装置間のＵＩ表示を保証するための手法であるから、当然のごとく表示フォーム形式に変更可能な規定数値が含まれることは好ましくない。しかしながら、数値を固定することによる弊害も同時に懸念される。例えば、装置が技術の進歩に伴って変わっていくときに、表示装置１０１側の表示能力も向上していくからである。すなわち、同時に被操作機器側も、この向上した表示装置１０１の表現能力を活用したいケースも出てくると考えられるからである。本実施の形態ではランク１で保証する表示フォーム形式に、一つの歯止めをかけている。ここで主張したいのは、表示装置１０１側がランク１で表現できるフォームの形式を拡張して提示することは許されるが、前述のランク１での最低限表示を可能とするために規定した表示フォーム形式よりも表示能力が下回るものを提示してはならないということである。
【０１１２】
さて、図７のステップＳ５で、プリンタ（被操作装置１０２）は表示用のデータ（図６のＦ４）をＴＶ（表示装置１０１）に送信する。ここで、ＴＶはランク１であることが合意されているので、表示画面を形成する処理を行う必要がある。以降の説明のために各装置の構成と機能を詳述する。
【０１１３】
図１１に例示したような形式の表示を行うための本実施の形態における表示装置１０１のＵＩ機能構成を図１３に示す。図１３において、表示装置１０１は、表示位置管理機能１３０１と、操作機器情報管理機能１３０２と、操作キーと表示ボタンの対応付け機能１３０３と、基本レイアウトパターン１３０４と、送受信機能１３０５と、表示資源１３０６とを有している。以下、図５、図１４、図１８および図２０を用いて各機能を説明する。
【０１１４】
表示位置管理機能１３０１は、図１４に示すように表示装置１０１の表示部２０２の中にメニュー表示領域１４０１として場所を確保する機能である。メニュー表示領域１４０１は、ランク１の基本表示形式である図９に基づく表示形式を備える。操作機器情報管理機能１３０２は、図５に示すように、操作装置１０３がどのような操作を前提とした操作部位（方向キー５０１、決定キー５０２、解除キー５０３など）を備えているかを管理する。操作キーと表示ボタンの対応付け機能１３０３は、図２０に示すように操作キーと表示ボタンの関連付けを行うものである。
【０１１５】
ここで、関連付けとは以下のようなことである。リモコン等の操作装置１０３は通常はＴＶ等の表示装置１０１の付属装置であることが多く、更には機器メーカーごとに社内で標準化された仕様を持つことが多い。つまり、表示装置１０１は、操作装置１０３がどのような操作部位を所有しているかを、かなりの確度で把握可能である。そこで、表示装置１０１は、ＵＩの視点に立てば、操作装置１０３の操作部位表示と合った表現をした方が、操作者により良い使いやすさを提供できるはずである。図２０では、操作装置１０３に（Ａ，Ｂ，Ｃ，Ｄ・・・）という操作部位が有って、（１，２，３，４・・）という操作部位がない場合に、本実施の形態でランク１の標準的な表示フォームである選択ボタン表現２００２（１，２，３，４・・）を表示装置１０１が表示するよりも、１をＡに、２をＢにというように対応付けを行った管理手段を設けることで操作装置１０３と表示装置１０１の表現を合わせた選択ボタン表現２００１（Ａ，Ｂ，Ｃ，Ｄ・・・）を表示装置１０１が表示する。つまり、ステップＳ２０１で、操作者は表示装置１０１が表示している選択項目の中のＡを選択する為に操作装置１０３のＡキーを押す。ステップＳ２０２で、表示装置１０１はＡ＝１という対応を行って、ステップＳ２０３で、被操作装置１０２に“操作者がキー１を押した”という主旨の情報を送信する。つまり、表示装置１０１と被操作装置１０３と間で通信される情報の意味は、１は１、２は２のままである。
【０１１６】
基本レイアウトパターン１３０４は、図１１や図１２に示したランクごとの表現形式のことである。送受信機能１３０５は、本実施の形態で使用している情報伝達手段１０４のベースとなるもので詳細な説明は省略する。表示資源１３０６とは、図１８および図１９に示すように、内容に文字が有れば対応する文字表現のための文字フォントや色を管理する手段であり、更には、データが圧縮されている場合（ＪＰＥＧなど）などにそれを伸張する手段を指している。
【０１１７】
さて、ＴＶ（表示装置１０１）が図６の表示用のデータ（Ｆ４）を上述のように画面表示（Ｖ２）（例えば、図１１を参照。）として操作者６０１に提示する（図７のステップＳ７）と、操作者６０１はリモコン（操作装置１０３）のボタンを操作して何れかの選択を決定するリアクション（Ａ３）を行う（図７のステップＳ８）。リモコン（操作装置１０３）は、リアクション（Ａ３）を通信データ（Ｔ３）に変えてＴＶ（表示装置１０１）に送信する（図７のステップＳ９）。ＴＶ（表示装置１０１）は、前述の操作キーと表示ボタンの対応付け機能１３０３を用いて、適切なリアクション情報（Ｆ５）をプリンタ（被操作装置１０２）に伝達する。プリンタ（被操作装置１０２）はリアクション情報（Ｆ５）の内容を判読して新たな内容（Ｆ６）をＴＶ（表示装置１０１）に送信する。
【０１１８】
ところで、図７のステップＳ６ではＵＩ処理の終了判定を行っているが、説明の流れから、内容（Ｆ６）には表示内容以外にＵＩ行為自体の状態を変化させるための制御コマンド類を含んでいるものとする。制御コマンドの一例としては、ＵＩ操作自体を終了する旨の通知を被操作装置１０２が表示装置１０１に送り、表示装置１０１は対応する被操作装置１０２とのＵＩジョブを終了させる終了コマンド（図７のステップＳ６，Ｓ１２，Ｓ１３）や、表示ランクの変更を途中で行うためのランク変更コマンドなどである。
【０１１９】
例えば、図１７に示すようにランク１の文字表示１７０１からランク２のグラフィック表示１７０２に切り換えたいと被操作装置１０２側が所望する場合、図１６に示すように処理フローを改良し、制御コマンド判定のための判定ステップＳ１４を追加し、さらに表示ランク変更判定ステップＳ１５を追加することで、表示装置１０１と被操作装置１０２の間で合意が取れる範囲内で自由な表現に移行できる。
【０１２０】
図１５は被操作装置１０２のＵＩ機能構成を示している。上述したように表示装置１０１と被操作装置１０２はランクのネゴシエーションを行うことで、表示と操作とそれによって操作される物という３者間の相互接続性が構築されている。
【０１２１】
次に、被操作装置１０２側の視点で説明を行うことにする。
【０１２２】
図１５において、被操作装置１０２は、文字コードやグラフィックのイメージデータを格納する表示内容格納部１５０１と、表示要求に対して操作者からのリアクション情報に対して次の表示内容等を管理するＵＩ管理機能１５０２と、表示装置１０１とランクの調停を行うランク調停機能１５０３と、表示装置１０１の表現能力ランク（ランクと表示フォーム形式）に応じて表示内容を修飾する修飾機能１５０４と、要求表示量の適正化機能１５０５と、要求表示をランクに合わせて適切に通信情報のフォームに組み込む要求表示フォーム化機能１５０６と、送受信機能１５０７とを有する。ちなみに被操作装置１０２本来の機能（プリント機能等）は従来と同様であるため、本説明では不要であり、説明図には記載していない。
【０１２３】
図２１、図２２および図２３は、本発明における応用例である。
【０１２４】
図２１は表示装置１０１がＴＶ、操作装置１０３がＴＶ付属のリモコン、被操作装置１０２がインテリジェントな冷蔵庫である。
【０１２５】
図２２は表示装置１０１と被操作装置１０２との間の情報伝達手段１０４が無線の場合を示している。
【０１２６】
図２３は表示装置１０１と操作装置１０３が携帯電話やＰＤＡ（パーソナル・デジタル・アシスタント）機器などの同一の装置内に組み込まれた例を示している。携帯電話やＰＤＡ（機器は、主に情報伝達手段１０４としての無線通信手段によって中継・表示変換装置２３０１を経由して複数の被操作装置１０２と接続される。
【０１２７】
なお、中継・表示変換装置２３０１は図２３では一つの構成装置として記載したが、中継機能という側面から、実際には複数の中継装置から構成されても良い。加えて、表示変換機能という側面から、中継・表示変換装置２３０１は表示装置１０１の機能を内在させても良い。更には、表示変換機能を前記複数の中継装置の中の少なくとも一つの中継装置に内在させても良い。
【０１２８】
例えば、図２３の構成を平易に表現するならば、携帯電話と通信を行う通信網（第１の中継装置）から家庭の通信の入り口となる例えばＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ；非対称デジタル加入者線）通信端末（第２の中継装置）を経て、ＰＣ（第３の中継装置であり、かつ表示変換可能な情報処理装置）から家庭内のネットワークに接続する情報伝達手段１０４、例えばイーサネット（Ｒ）、ＩＥＥＥ１３９４（Ｈａｖｉなど）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）、電力線通信等の通信手段を通じて複数の被操作装置１０２が有機的に接続されていることを表している。このように一見複雑に思える接続形式においても、操作者に表示を提供する手段（表示装置１０１）と操作を提供する手段（操作装置１０３）と操作の結果を反映する被操作装置１０２とからなる３者の構成が成立し、ランクという概念で統一されるＵＩシステムを構築することが可能である。
【０１２９】
【発明の効果】
本発明により、以下の効果を奏することができる。
【０１３０】
本発明の表示装置は、他の機能装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有する構成としたものである。
【０１３１】
本発明によれば、異なるシステムと異なるプラットフォームで設計された機器間のユーザーインターフェースに関する部分を容易に実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態におけるＵＩシステムのブロック図
【図２】図１の表示装置の構成図
【図３】図１の被操作装置の構成図
【図４】図１の操作装置の構成図
【図５】本発明の実施の形態における操作装置の操作キーの構成図
【図６】本発明の実施の形態におけるＵＩシステムの操作説明図
【図７】本発明の実施の形態におけるＵＩシステムの動作フローチャート
【図８】本発明の実施の形態における表示装置と被制御装置間の通信データ構造を示す図
【図９】本発明の実施の形態におけるランク１の表示構成例を示す図
【図１０】本発明の実施の形態における表示装置と被制御装置間の表示データ構造を示す図
【図１１】本発明の実施の形態におけるランク１の表示例を示す図
【図１２】本発明の実施の形態におけるランク２の表示例を示す図
【図１３】本発明の実施の形態における表示装置のＵＩ機能構成を示す図
【図１４】本発明の実施の形態における表示装置の機能説明図
【図１５】本発明の実施の形態における被操作装置のＵＩ機能構成を示す図
【図１６】本発明の実施の形態におけるＵＩシステムの改良された動作フローチャート
【図１７】ランク切り換えによる階層表示例を示す図
【図１８】本発明の実施の形態における表示装置による文字表現例を示す図
【図１９】本発明の実施の形態における表示装置によるグラフィック表現例を示す図
【図２０】操作キーと表示ボタンの対応付け機能の具体例を示す図
【図２１】本発明の実施の形態におけるＵＩシステムの接続例１を示す図
【図２２】本発明の実施の形態におけるＵＩシステムの接続例２を示す図
【図２３】本発明の実施の形態におけるＵＩシステムの接続例３を示す図
【図２４】本発明の実施の形態における表示装置のメニュー画面例を示す図
【図２５】従来の機器操作プログラム組み入れ方式の説明図
【符号の説明】
１０１ 表示装置
１０２ 被操作装置
１０３ 操作装置
１０４ 情報伝達手段
１０５ 情報伝達手段
２０１ ＣＰＵ
２０２ 表示部
２０３ 通信部
２０４ プログラム
２０５ ワークメモリ
２０６ リモコンＩＦ部
３０１ ＣＰＵ
３０２ プログラム
３０３ ワークメモリ
３０４ 入出力部
３０５ 通信部
４０１ 操作キー
４０２ エンコーダ部
４０３ 通信部
５０１ 方向キー
５０２ 決定キー
５０３ 解除キー
６０１ 操作者
８０１ 通信データ
８０２ ネゴシエーションコード
８０３ ネゴシエーションコードの内容
９０１ 選択情報表示領域
９０２ 伝達情報表示領域
１００１ 表示関連情報部
１００２ 選択情報部
１００３ 伝達情報部
１１０１ 選択ボタン
１１０２ 内容部
１２０１ 選択ボタン
１２０２ グラフィック
１２０３ 文字表現内容
１３０１ 表示位置管理機能
１３０２ 操作機器情報管理機能
１３０３ 操作キーと表示ボタンの対応付け機能
１３０４ 基本レイアウトパターン
１３０５ 送受信機能
１３０６ 表示資源
１４０１ メニュー表示領域
１５０１ 表示内容格納部
１５０２ ＵＩ管理機能
１５０３ ランク調停機能
１５０４ 修飾機能
１５０５ 要求表示量の適正化機能
１５０６ 要求表示フォーム化機能
１５０７ 送受信機能
１７０１ ランク１の文字表示
１７０２ ランク２のグラフィック表示
２００１ 選択ボタン表現
２００２ 選択ボタン表現
２３０１ 中継・表示変換装置
２４０１ ＰＴＲアイコン
Ａ１〜Ａ４ 操作者による操作装置に対するリアクション
Ｆ１〜Ｆ８ 表示装置と被操作装置間の通信
Ｔ１〜Ｔ４ 操作装置から表示装置への通信
Ｖ１〜Ｖ３ 表示装置の表示画面[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a display device, an operated device, an operating device, and a user interface system having a mechanism for replacing a user interface between devices coupled by communication.
[0002]
[Prior art]
In the case of configuring a so-called user interface (hereinafter, referred to as “UI”) function for displaying device-specific information or inputting an instruction to the device, the following method is conventionally used.
[0003]
The first method is by a closed system managed by a control means that integrates operating means and display means coupled to the device.
[0004]
The second method is based on a system in which operation means, display means, and control means are communicatively coupled and exchange information with each other, such as a computer apparatus, and is an intelligent device having operation means and display means. Obtains from a communication or an interface (hereinafter, referred to as “IF”) a unique application program or a driver program that functions in cooperation with the application program to control the operated device, and incorporates the acquired application program into the controlled device. For example, a method of embedding driver software for a peripheral device which is controlled by a personal computer (hereinafter, referred to as a “PC”) (see, for example, Japanese Patent Application Laid-Open No. H10-15095), or a method for home use that is not a PC. Havi (home audio / video) that connects and controls AV equipment and home appliances via communication Havlet in Interview Al Initiative) standard (see peripheral control unit (for example, Patent Document 2 incorporating a device control application program).), Etc.).
[0005]
A conventional technique will be described with reference to FIG.
[0006]
The configuration in FIG. 25 is mainly the configuration of the display device in the system outlined in the above-described second method. The display device 2501 is connected to the display management program 2503, the communication program 2505, and the outside by communication. The operated device recognition program 2506 for recognizing the operated device which is the target device to be controlled and controlled, and the control display program 2509 for the operated device to be controlled in the display device 2501 by the operated device recognition program 2506. A driver installation area 2508 for installing the program from an external driver software storage section 2502 when it does not exist, and a driver software storage section 2507 for storing a control display program (driver software) for a plurality of control devices. .
[0007]
When compared to a PC, the display device 2501 generally corresponds to a display device such as a CRT and a PC main body. The display management program 2503 is a kind of Microsoft Windows system as a legend. The communication program 2505 is an Ethernet® type. The operated device recognition program 2506 is a type of plug and play also proposed by Microsoft Corporation. The driver installation area 2508 and the driver software storage unit 2507 are also a kind of driver management method in the Microsoft Windows system.
[0008]
The feature of the above configuration is that when a new peripheral device for control is developed with an emphasis on versatility and expandability, and control is to be performed on an existing PC, a control program for the new peripheral device is: If the program is created in accordance with the rules defined by the PC and its system, the program can be incorporated into the PC as driver software to control a desired new peripheral device.
[0009]
[Patent Document 1]
JP 2002-501238 A
[Patent Document 2]
JP 2002-183001 A
[0010]
[Problems to be solved by the invention]
Many of the devices conventionally used in homes have been used in closed systems that do not connect or transmit information to other devices. For example, a device group such as a refrigerator, a washing machine, and a microwave oven. On the other hand, a group of information processing devices represented by a PC realizes mutual connectivity by sharing a common mechanism for ensuring compatibility of an OS and a system and a communication protocol. In order to exchange information by connecting the refrigerator to a PC, the refrigerator must have a communication interface that is accepted in the PC world or the PC must add a special function for the refrigerator. Similarly, if a TV, which is a peripheral device of a PC, is connected to a TV to exchange information, the TV is required to have a function like a PC. It is extremely difficult to transmit and communicate information between devices designed with different systems and different platforms.
[0011]
The systems described in Patent Literatures 1 and 2 use a group of home electric appliances different from PCs, in particular, intelligent home appliances such as set-top boxes and digital TVs mainly for satellite communication as main devices of a user interface. The peripheral devices such as audio devices and video devices are arranged and connected by local communication means (IEEE 1394 in the previous example) to construct peripheral device control means based on the Havi standard.
[0012]
The Havi standard requires a dedicated program for controlling peripheral devices like a PC. PC is generally referred to as driver software, and in the Havi standard, it is user interface software called Havlet. In each case, the intelligent control device incorporates a unique application program for the controlled device. Unlike the PC world, various components are used for hardware such as a CPU, a memory, and an interface used for intelligent home appliances. In Havi, the Java (R) language is used to absorb such a variety of hardware unique to home electric appliances. By using the Java (R) language as the language of the application program, this is a mechanism for maintaining the device compatibility of the user interface application program between home appliances.
[0013]
However, the mechanism linked in the PC world and Havi has the following potential problems.
[0014]
1) As the number of controlled devices connected to a local network increases for intelligent devices, the number of memories in which control drivers and Havelets are incorporated increases.
[0015]
2) An application program for a controlled device that requires an elaborate user interface has a large capacity, which imposes a burden on the memory of an intelligent device that handles the UI.
[0016]
3) As a result, the required level for realizing an intelligent device is increased.
[0017]
4) If the connected device changes, the intelligent device needs to update the application program.
[0018]
The present invention provides a means and system of a user interface that covers devices that do not need to have very advanced communication means such as a refrigerator, a microwave oven and a rice cooker as described above. Focusing on the fact that the main control of home electric appliances is performed between a human and a controlled device, a TV or the like is assumed as a device serving as a window of a user interface. In addition, with the development of mobile communication technology, a group of devices that can be used as user interface devices having small screens and keys, which are widely used in mobile phones, are also assumed. The present invention provides a display device and an operated device that can easily realize a part related to a user interface in information between devices designed on different systems and different platforms without causing the above-described problem. , An operation device and a user interface system.
[0019]
[Means for Solving the Problems]
The display device of the present invention is configured to have a function of displaying, on its own display unit, display contents obtained from another functional device by using the information transmitting means.
[0020]
ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to implement | achieve the part regarding the user interface between the apparatus designed by the different system and the different platform easily.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
The invention according to claim 1 is a display device having a function of displaying, on its own display unit, display contents obtained from another functional device by using an information transmitting means, and the functional device or the physical device having a different function. This has the effect that the display content of another functional device at a different location can be displayed.
[0022]
According to a second aspect of the present invention, there is provided an operated device having a function of notifying display contents to the display device according to the first aspect, and notifying the display contents to the display device according to the first aspect. It has the effect of being able to display on the display unit of the display device.
[0023]
According to a third aspect of the present invention, there is provided an operation device having a function of detecting operation information of an operation action and transmitting the detected operation information to the display device according to the first aspect. It has the effect of being able to transmit to the display device according to claim 1.
[0024]
According to a fourth aspect of the present invention, there is provided the display according to the first aspect, which has a function of transmitting operation information from the operation device according to the third aspect to the operated device according to the second aspect in a converted or non-converted manner. This is a device, and has an effect that operation information of the operation device can be transmitted to the operated device via the display device.
[0025]
The invention according to claim 5 is the display device according to claim 1, which has a function of presenting a part or all of the operation conditions of the operation device to the operated device. This has the effect that the operated device can be informed whether the operating condition is present.
[0026]
The invention according to claim 6 has a function of determining an operation condition presented by the display device according to claim 5, and transmitting a display content corresponding to the operation condition to the display device. The operation device has an effect that the operated device can grasp the possibility of display that can be requested from the display device from the operation conditions presented by the display device, and can make a display request suitable for the operation condition.
[0027]
According to a seventh aspect of the present invention, there is provided the display device according to the first aspect, wherein the display device has a function of configuring a display in accordance with the display request of the operated device. It has the effect of being displayed.
[0028]
The invention according to claim 8 is the operating device according to claim 3, wherein the operating device has two or more operation selectors necessary to clearly show the selection and determination functions to the operator. An operation of selecting and selecting a selection item of the requested display content can be performed.
[0029]
According to a ninth aspect of the present invention, there is provided the display according to any one of the first, fourth, fifth, and seventh aspects, which has two or more selection expressions necessary to clearly show the selection and determination functions to the operator. The device has the effect of eliminating ambiguity in operation when the display content requested by the operated device requires selection and determination.
[0030]
According to a tenth aspect of the present invention, there is provided the display device according to any one of the first, fourth, fifth, seventh, and ninth aspects, wherein the display device has means for directly or indirectly transmitting information. Has the effect of enabling direct or indirect communication.
[0031]
According to an eleventh aspect of the present invention, there is provided the operated device according to the second or sixth aspect, further comprising means for directly or indirectly transmitting information, and performing direct or indirect communication with the display device. It has the effect that it can be performed.
[0032]
According to a twelfth aspect of the present invention, there is provided the display device according to any one of the first, fourth, fifth, seventh and ninth aspects having one or more plurality of ranked display capabilities, wherein the one or more plural ranks are provided. When the ranks are matched with the operated device having the attached display capability, and when the ranks with the consistency are combined, the display content satisfying the display request is expressed on the display device. Has an action.
[0033]
According to a thirteenth aspect of the present invention, there is provided the operated device according to the second or sixth aspect, having at least one of a plurality of ranked display request capabilities, and having at least one of a plurality of ranked display capability. When the ranks are consistent with the display device, and when the ranks with the consistency are combined, the display content satisfying the display request is displayed on the display device.
[0034]
The invention according to claim 14 is that the display capability rank is used for display defined for each rank, or includes expression restrictions to be referred to, and has at least two or more selected expressions. Which has an effect that display capabilities of an arbitrary rank can be implemented in order from the lower rank of the defined rank.
[0035]
The invention according to claim 15 is that the rank of the display request capability is used for display defined for each rank or includes an expression constraint referred to, and has at least two or more selected expressions. 13. The operated device according to 13, which has an effect that a display request capability of an arbitrary rank can be implemented in order from the lower rank of the defined rank.
[0036]
According to a sixteenth aspect of the present invention, when the rank possessed by the display capability of the display device according to the twelfth aspect and the rank possessed by the display request capability of the operated device according to the thirteenth aspect match each other. A display device having means for enabling display so as to satisfy the display request of the operated device based on the rank, and ensuring that display contents requested by the operated device are displayed on the display device. Has an action.
[0037]
The invention according to claim 17 is the display device according to claim 12 or claim 16, further comprising means for presenting that the expression ability is of a predetermined rank within a range not exceeding the expression ability possessed by the invention. This has the effect that the display device can transmit rank information of its own expressive ability to the operated device.
[0038]
The invention according to claim 18 is the operated device according to claim 2 or 6, wherein the display request content can be changed according to the expressive power rank presented by the display device according to claim 17. For example, when the display required rank of the operated device is high and the display capability rank of the display device is low, the display required rank of the operated device can be lowered to match the display capability rank of the display device.
[0039]
The invention according to claim 19 is the operated device according to claim 18 having a function of configuring a plurality of display request contents, wherein the operated device is connected to a plurality of display devices having different display capability ranks by communication. In this state, it is possible to perform a display request of a different rank with each display device.
[0040]
According to a twentieth aspect of the present invention, there is provided the operated device according to any one of the second, sixth, and nineteenth aspects, further including a second operating means separately from the operating device and the display device. Providing the unique second operation means has an effect of improving the convenience of the UI when communication is not established or near the operated device.
[0041]
The invention according to claim 21 is the display device according to any one of claims 12, 14 or 16, wherein the display device has a rank having a display designating function having a form for performing display layout by distinguishing between selection information and transmission information. By laying out the selection information and the transmission information separately on the display of the display device, for example, the transmission information portion where the data is constantly updated, such as a moving image, and the selection key are updated less frequently. This has the effect that the part of the selection information can be effectively expressed.
[0042]
According to a twenty-second aspect of the present invention, there is provided an operated device according to any one of the thirteenth, fifteenth, eighteenth, nineteenth and twentieth aspects, and a display device according to the twelfth aspect. This is a user interface system in which a display conversion device is arranged between the display devices. When the display capability of the display device is poor and a sufficient UI cannot be realized as a display device, an alternative to the display device is a high expression capability for the UI. By arranging the display conversion device as a device between the display conversion device and the operated device, it is possible to achieve rank matching between the display conversion device and the operated device.
[0043]
The invention according to claim 23 is the user interface system according to claim 22, wherein the display conversion device has a function of performing display conversion when the display request content rank of the operated device and the display capability rank of the display device are inconsistent. In addition, when the display request content rank of the operated device is inconsistent with the display capability rank of the display device, the display conversion device and the operated device can be matched in rank.
[0044]
According to a twenty-fourth aspect of the present invention, there is provided an operation unit of the operation device according to any one of the second, third, and eighth aspects and a display unit of the display device according to any one of the twelfth, twelfth, fourteenth, sixteenth, and seventeenth aspects. A communication relay device is disposed between the operation display device including the control device and the controlled device according to any one of claims 13, 15, 18, 19, and 20, and the operation display device communicates with the communication relay device. The communication relay device communicates with the controlled device, and the operation display device and the controlled device perform rank information via the communication relay device. This has an effect that ranks can be matched between the display conversion device and the operated device via the relay device placed on the communication path.
[0045]
According to a twenty-fifth aspect of the present invention, in the user interface system according to the twentieth aspect, the operation display device is a mobile communication device. There is an effect that ranks can be matched between the display conversion device and the operated device via the relay device connected by the body communication and placed on the communication path.
[0046]
The invention according to claim 26 is the user interface system according to claim 24 or 25, wherein the communication relay device is further configured by connecting a plurality of communication relay devices, and further comprising a display unit. The operation display device has an effect that ranks can be matched between the display conversion device and the operated device via the plurality of relay devices placed on the communication path.
[0047]
The invention according to claim 27 is the user interface system according to any one of claims 24 to 26, wherein at least one of the communication relay devices is a personal computer. It has an effect that the constituent device group is connected to the PC by communication.
[0048]
The invention according to claim 28 is the user interface system according to any one of claims 24 to 26, wherein at least one of the communication relay devices is an information processing device, wherein the system replaces the user interface. Are connected by communication with the information processing apparatus.
[0049]
The invention according to claim 29 is the user interface system according to any one of claims 24 to 26, wherein at least one of the communication relay devices is a set-top box. Is connected to the set-top box by communication.
[0050]
The invention according to claim 30 is the user interface system according to any one of claims 24 to 26, wherein at least one of the communication relay devices is a home gateway. It has an effect that the constituent device group is connected by communication with the home gateway.
[0051]
The invention according to claim 31 has a function of displaying, on its own display unit, display contents obtained from one or more operated devices having a plurality of ranked display requesting capabilities by using information transmission means, It has one or more ranked display capabilities, and if the rank of the display capability matches the rank of the display request capability of the operated device, the display requirement of the operated device based on the rank is satisfied. A display device having a means for enabling display on the display device, and achieves rank consistency with at least one operated device having a plurality of ranked display capabilities, and is connected with the consistent ranks. In such a case, the display content satisfying the display request is reliably displayed on the display device.
[0052]
The invention according to claim 32 has a function of displaying the display content obtained from another functional device by using the information transmission means on its own display unit and has one or more ranked display capabilities. The display device has a function of notifying the display contents to a display device having a means for presenting that the expression capability is of a predetermined rank within a range not exceeding the expression capability possessed by the display device. An operated device capable of changing the display request content in accordance with the expressive power rank, wherein one or more display devices having a plurality of ranked display capacities display rank information of their own expressive power by the operated device. When the display request rank of the operated device is high and the display capability rank of the display device is low, the display request rank of the operated device is lowered to match the display capability rank of the display device. It has the effect that the door can be.
[0053]
The invention according to claim 33 has a function of displaying the display content obtained from another functional device by using the information transmission means on its own display unit, and has one or more ranked display capabilities. A display designating function having means for presenting that the expressive ability is of a predetermined rank within a range not exceeding its own expressive ability, and further having a form for displaying and laying out selection information and transmission information separately A display device having a rank having a function of notifying a display content to a display device, the display request content can be changed in accordance with the expressiveness rank presented by the display device, and a plurality of display devices can be displayed. This is an operated device provided with a function constituting a request content and a second operation means different from the operating device and the display device, and the display request rank of the operated device is high, and the display capability run of the display device is high. When the display device rank is low, the display request rank of the operated device can be lowered to match the display capability rank of the display device, and the operated device is connected to a plurality of display devices having different display capability ranks by communication. Thus, display requests of different ranks can be made between the respective display devices. In addition, since the operated device itself has its own second operation means, communication is not established, The convenience of the UI in the vicinity of the operation device is improved, and the selection information and the transmission information are separated and laid out on the display of the display device so that, for example, the transmission of data whose contents are constantly updated such as a moving image is performed. This has the effect that the information portion and the selection information portion such as the selection key that is updated less frequently can be effectively represented.
[0054]
From the above,
(1) A user interface that has conventionally required difficult or sophisticated technical means between functionally different devices based on different platforms can be easily and surely realized with limited contents.
[0055]
(2) The display device, the operating device, the operated device, or a composite device thereof can independently improve its own function, and as a result, does not adversely affect the basics of the system of the user interface. .
[0056]
(3) Since both companies are connected to the display device and the operated device for the purpose of a user interface, no new memory or program is required.
[0057]
(4) If both the display device and the operated device are designed and manufactured so as to conform to at least the lowest rank, it is guaranteed that an alternative user interface will be established, so that the development of the device is extremely free. become.
[0058]
(5) It is possible to transmit operation information of an operation device to an operated device (audio equipment, home appliance, printer, etc.) via a display device (TV, etc.) using an operation device (remote control, etc.) of the display device (TV, etc). It becomes possible.
[0059]
(6) The operated device can request the display device by notifying the operated device of the operating device (remote controller or the like) of the display device (TV or the like) with the operating conditions (type or number of keys). It is possible to grasp the possibility of display and to make a display request suitable for the operation condition.
[0060]
(7) Since the display content requested by the operated device is displayed, the operating device, the display device, and the operated device function without inconsistency.
[0061]
(8) As an input of the operation device, it is possible to mainly use an interface with a human and use various information input devices developed for people with disabilities.
[0062]
(9) As an output of the display device, it is possible to interface mainly with humans, and it is possible to use various information output devices developed for people with disabilities.
[0063]
(10) Communication between a display device (such as a TV) and an operated device (such as an audio device, a home appliance, or a printer) can be performed.
[0064]
(11) Since each of the display device and the operated device has a display capability rank and a display request rank, the two ranks are made consistent, and when the consistent ranks are combined, a display request is made. Is displayed on the display device.
[0065]
(12) The display device can transmit rank information of its own expressive ability to the operated device.
[0066]
(13) When the display required rank of the operated device is high and the display capability rank of the display device is low, the display required rank of the operated device can be reduced to match the display capability rank of the display device.
[0067]
(14) In a state where the operated device is connected to a plurality of display devices having different display capability ranks by communication, it is possible to request display of different ranks with each of the display devices.
[0068]
(15) By providing the operated device itself with its own operating means such as an operation panel, the convenience of the UI when communication is not established or near the operated device is improved.
[0069]
(16) By separating and laying out the selection information and the transmission information on the display of the display device, for example, the transmission information portion where the data is constantly updated, such as a moving image, and the update frequency of the selection key, etc. It is possible to effectively express the portion of the selection information with less number.
[0070]
(17) When the display capability of the display device is poor and a sufficient UI cannot be realized as the display device, a display conversion device as a substitute device having a high expression capability for the UI is replaced with the operated device instead of the display device. , Rank matching can be achieved between the display conversion device and the operated device.
[0071]
(18) When the operation display device having the display unit is connected to the operated device by, for example, remote communication, the display conversion device and the operated device are connected via one or a plurality of relay devices placed on the communication path. It is possible to match the rank with the operation device.
[0072]
(19) A group of devices constituting the present system that substitutes for a user interface is connected by communication with a home appliance information processing device represented by a PC or a set-top box.
[0073]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0074]
FIG. 1 is a block diagram of a UI system according to an embodiment of the present invention.
[0075]
The UI system illustrated in FIG. 1 includes a display device 101 typified by a television (TV) or the like, an operation device 103 typified by a remote controller (hereinafter, referred to as a “remote controller”), an audio device, a refrigerator, and a printer. And the like, an information transmitting unit 105 connecting the display device 101 and the operating device 103, and an information transmitting unit 104 connecting the display device 101 and the operated device 102. Be composed.
[0076]
Here, the method of the information transmitting means 104 and 105 is not limited, but in the present embodiment, the information transmitting means 104 is based on the IEEE 1394 standard of the Institute of Electrical and Electronics Engineers (IEEE). is there. The information transmission means 105 is based on the Home Appliances Association code using an infrared remote controller.
[0077]
Although a plurality of operated devices 102 are shown in FIG. 1, since the gist of the present invention relates to the three functional devices of the display device 101, the operating device 103, and the operated device 102, the common number 102 is used for both. Is added. In addition, if the information transmission unit 104 enables communication between a plurality of devices, a plurality of display devices 101 not shown in FIG. 1 may exist. Similarly, a plurality of operating devices 103 can exist as described above regarding the information transmission unit 105 and the operating device 103.
[0078]
FIG. 2 is a configuration diagram of the display device 101 of FIG.
[0079]
As shown in FIG. 2, the display device 101 includes a processing CPU (central processing unit) 201, a program 204, a work memory 205 for program work, a display unit 202, and a remote controller communicating with the information transmitting unit 105. It comprises an IF unit 206, a communication unit 203 that communicates by the information transmission unit 104, and a connection unit that connects each unit. In this embodiment, the display memory for display is included in the work memory 205. However, since the configuration of a so-called display device is various, the display memory is included in the display unit 202 or a display-only element (LSI). ) Is not excluded from the application of this embodiment.
[0080]
FIG. 3 is a configuration diagram of the operated device 102 of FIG.
[0081]
As shown in FIG. 3, the operated device 102 includes a processing CPU 301, a program 302, a program work work memory 303, an input / output unit 304, a communication unit 305 that communicates with the information transmission unit 104, And a connection unit for connecting each unit.
[0082]
In the present embodiment, the operated device 102 does not particularly specify the type of device. Therefore, the input / output unit 304 does not specify a specific input / output.
[0083]
FIG. 4 is a configuration diagram of the operation device 103 of FIG.
[0084]
As shown in FIG. 4, the operation device 103 includes an operation key 401 as an operation unit, an encoder unit 402 that converts a key input into a code, and a light emitting element that converts a code for communication by the information transmission unit 105 into light. And a communication unit 403.
[0085]
FIG. 5 is a configuration diagram of operation keys of the operation device according to the embodiment of the present invention.
[0086]
In this embodiment, a simplified operation device 103 is shown. As shown in FIG. 5, an operation key 401 is an operation selector required to clearly show a selection and decision function to an operator, and includes a direction key 501 as a selection means and a decision key 502 as a decision making means. And a release key 503 as intention release (cancel) means. It does not limit the provision of numeric keys, function setting / selection keys, and character input keys found on a key portion of a mobile phone or the like, such as a commonly-used remote controller.
[0087]
FIG. 6 is an explanatory diagram of the operation of the UI system according to the embodiment of the present invention. The UI includes the above-described functional devices (the display device 101, the operated device 102, the operating device 103, and the information transmitting units 104 and 105). It is an explanation of the operation of the system.
[0088]
The following is defined for simplification of the description.
[0089]
1) Specific methods and details of communication are not described.
[0090]
2) The operator 601 is a person.
[0091]
3) The operation device 103 is a remote controller.
[0092]
4) The display device 101 is a TV.
[0093]
5) The operated device 103 is a printer.
[0094]
A scene in which a person operates a remote control while watching a TV is an extremely common scene. When a person operates the remote controller (A1), information (T1) is transmitted from the remote controller (the operation device 103) to the TV (display device 101), the screen of the TV changes, and the screen (V1) is displayed to the person. Alternatively, when the printer (operated device 102) sends some display request (F1) to the TV (display device 101), the screen of the TV changes, and the screen (V1) is displayed to a person. The screen (V1) is referred to as a menu screen for simplicity of the following description.
[0095]
FIG. 24 shows an example of the menu screen. The method of the menu screen is generalized and appears on the display screen of the display device 101 that has been embodied. Its applications are mainly wide-ranging, such as changing or setting the function of a target device, a help function, and displaying equipment on a communication network. In the present embodiment, a display example having a meaning that clearly indicates a printer (operated device 102) connected to the TV (display device 101) by the information transmission unit 104 is illustrated. FIG. 24 is a diagram showing an example of a menu screen of the display device according to the embodiment of the present invention, and shows a state where the printer (operated device 102) is highlighted as a PTR icon 2401.
[0096]
When the user selects the PTR icon 2401 from the menu screen and presses the enter key 502 of the remote controller (the operation device 103) (A2), the information is transmitted to the TV (display device 101) via the communication (T2) in the same manner as described above. Sent. Here, the TV and the printer implement the UI lending function, which is a main element of the present invention, according to the procedure shown in the rank arbitration flowchart of FIG.
[0097]
Before describing FIG. 7, a communication data structure will be described with reference to FIG. 8 to facilitate the following understanding. As described above, communication is performed between the TV and the printer. However, the communication data 801 includes a negotiation code 802. The negotiation code 802 includes UI standard Ver (version) information, device attribute information, and device rank information as shown in the content 803 of the negotiation code. As for the UI standard Ver information, if it is assumed that the present invention is used between a wide range of devices, it is assumed that the content will evolve and be modified. Therefore, the standard content of the device specifications is clearly determined in advance. To make it possible. The device attribute information indicates that one of the three functional devices of the present invention, that is, the display device 101, the operating device 103, and the operated device 102, or a compound function is included. The device rank information indicates which rank function each function has.
[0098]
FIG. 9 is a diagram showing a display configuration example of rank 1 in the embodiment of the present invention for the purpose of describing the rank. In the present embodiment, rank 1 is defined as follows.
[0099]
1) Consist of a content expression opposite to the selection button.
[0100]
2) Number of selection buttons: N (N <9) (Note: 9 has no special meaning)
3) Content expression: alphanumeric, hiragana, katakana
4) Number of content characters: M (M <20) (Note: 20 has no special meaning)
The display of rank 1 is basically composed of a selection information display area 901 for displaying a selection button, and a transmission information display area 902 for displaying display contents corresponding thereto.
[0101]
FIG. 10 is a diagram showing a display data structure between the display device and the controlled device according to the embodiment of the present invention.
[0102]
As shown in FIG. 10, the communication form includes a display-related information section 1001. In the present embodiment, the configuration of display-related information section 1001 is a form in which one set of data blocks in which selection information section 1002 and transmission information section 1003 are combined is provided for the number of selections. This does not mean that all blocks of data are incorporated into one communication packet for the number of selections).
[0103]
FIG. 11 shows a display example of rank 1 in the embodiment of the present invention.
[0104]
The display example shown in FIG. 11 is composed of a total of six sets of a selection button 1101 and a content part 1102. In this display example, the characters are in English.
[0105]
FIG. 12 is a diagram showing a display example of rank 2 in the present embodiment. In the present embodiment, rank 2 is defined as follows.
[0106]
1) Consists of the content opposite to the selection button.
[0107]
2) Number of select buttons N (N <9) (Note: 9 has no special meaning)
3) Contents Alphanumeric, Hiragana, Katakana, Graphic
4) Number of characters M (M <20) (Note: 20 has no special meaning)
The display of rank 2 is composed of a selection button 1201, a graphic 1202 corresponding to each selection button 1201, and a character expression content 1203 similar to the class 1 described above. In the present embodiment, the size (X: 150 pixels, Y: 100 pixels) and color (4: 4: 4 in RGB expression) are used as the specifications of the image of the graphic 1202.
[0108]
Returning to the description of the flowchart of FIG. 7, based on the schematic description of the ranks 1 and 2 above.
[0109]
In step S1 of FIG. 7, the TV (display device 101) transmits display rank information (F2) to the printer (operated device 102) (see FIG. 6). It is assumed that the TV sends the above rank 2 (graphics can be displayed) to the printer. If the printer cannot process rank 2 or does not need rank 2, an adjustment regarding rank change is required.
[0110]
The negotiation phase for arbitrating the ranks of the TV and the printer is negotiation (F3) in FIG. In step S2 of FIG. 7, if the negotiation of the TV and the printer rank is agreed, the process proceeds to step S3. If the negotiation is not established, the process proceeds to steps S10 and S11, the TV lowers the rank, and again from step S1. Do the steps. If the TV and the printer agree on rank 1, the process proceeds to steps S3 and S4 in FIG. 7, and the TV transmits the display form to the printer. The display form format is the number of selections (the number of select buttons that can be displayed at a time: the maximum value of N) and the content (the maximum value of the number of characters M) described in the description of FIG.
[0111]
Here, the reason why the display form format is defined will be described. As described above, the concept of rank is a method for guaranteeing the UI display between the devices, and it is not preferable that the display form format includes a changeable prescribed numerical value as a matter of course. However, the harmful effects of fixing the numerical values are also a concern at the same time. This is because, for example, when the device changes as the technology advances, the display capability of the display device 101 also improves. That is, at the same time, it is considered that the operated device side may want to utilize the improved expression capability of the display device 101. In this embodiment, one stop is applied to the display form format guaranteed by rank 1. What I want to argue here is that the display device 101 can extend and present the form format that can be expressed in rank 1, but the display form specified to enable minimum display in rank 1 described above. This means that you must not present anything that has less display capacity than form.
[0112]
Now, in step S5 in FIG. 7, the printer (operated device 102) transmits display data (F4 in FIG. 6) to the TV (display device 101). Here, since it is agreed that the TV has the rank 1, it is necessary to perform processing for forming a display screen. The configuration and function of each device will be described in detail for the following description.
[0113]
FIG. 13 illustrates a UI functional configuration of the display device 101 according to the present embodiment for performing display in the format illustrated in FIG. 11. 13, the display apparatus 101 includes a display position management function 1301, an operation device information management function 1302, an operation key and display button association function 1303, a basic layout pattern 1304, a transmission / reception function 1305, and a display resource 1306. And Hereinafter, each function will be described with reference to FIGS. 5, 14, 18, and 20.
[0114]
The display position management function 1301 is a function for securing a place as a menu display area 1401 in the display unit 202 of the display device 101 as shown in FIG. The menu display area 1401 has a display format based on FIG. 9 which is a basic display format of rank 1. As shown in FIG. 5, the operating device information management function 1302 manages what operation the operating device 103 is supposed to perform (such as a direction key 501, an enter key 502, and a release key 503). . The operation key and display button association function 1303 associates the operation key with the display button as shown in FIG.
[0115]
Here, the association is as follows. The operating device 103 such as a remote controller is usually an accessory device of the display device 101 such as a TV, and often has specifications that are standardized in-house for each device manufacturer. In other words, the display device 101 can grasp with high accuracy what kind of operation part the operation device 103 owns. Therefore, from the viewpoint of the UI, the display device 101 should be able to provide the operator with better usability by expressing the display device 101 in accordance with the operation site display of the operation device 103. In FIG. 20, when the operation device 103 has an operation part (A, B, C, D...) And no operation part (1, 2, 3, 4,. Rather than the display device 101 displaying the selection button expression 2002 (1, 2, 3, 4,...) Which is a standard display form of rank 1 in the form, 1 corresponds to A and 2 corresponds to B. The display device 101 displays a selection button expression 2001 (A, B, C, D...) In which the expressions of the operation device 103 and the display device 101 are combined by providing the attached management means. That is, in step S201, the operator presses the A key of the operation device 103 to select A from the selection items displayed on the display device 101. In step S202, the display device 101 responds to A = 1, and in step S203, transmits information indicating that the operator has pressed the key 1 to the operated device 102. In other words, the meaning of the information communicated between the display device 101 and the operated device 103 remains 1 for 1 and 2 for 2.
[0116]
The basic layout pattern 1304 is an expression format for each rank shown in FIG. 11 and FIG. The transmission / reception function 1305 is the base of the information transmission unit 104 used in the present embodiment, and a detailed description is omitted. As shown in FIGS. 18 and 19, the display resource 1306 is means for managing the character font and color for the corresponding character expression if the content includes characters, and further, the data is compressed. It refers to a means for decompressing it in cases (such as JPEG).
[0117]
The TV (display device 101) presents the display data (F4) of FIG. 6 to the operator 601 as the screen display (V2) (for example, see FIG. 11) as described above (step of FIG. 7). S7), the operator 601 operates a button on the remote controller (the operation device 103) to perform a reaction (A3) for deciding one of the selections (Step S8 in FIG. 7). The remote controller (the operation device 103) converts the reaction (A3) into communication data (T3) and transmits the communication data (T3) to the TV (display device 101) (step S9 in FIG. 7). The TV (display device 101) transmits appropriate reaction information (F5) to the printer (operated device 102) by using the above-described operation key / display button association function 1303. The printer (operated device 102) reads the content of the reaction information (F5) and transmits the new content (F6) to the TV (display device 101).
[0118]
By the way, the end of the UI processing is determined in step S6 of FIG. 7, but from the flow of the description, the contents (F6) include control commands for changing the state of the UI action itself in addition to the display contents. It is assumed that As an example of the control command, the operated device 102 sends a notification to the effect that the UI operation itself is ended to the display device 101, and the display device 101 ends the UI job with the corresponding operated device 102 (FIG. 7). Steps S6, S12, and S13), and a rank change command for changing the display rank halfway.
[0119]
For example, when the operated device 102 desires to switch from the character display 1701 of rank 1 to the graphic display 1702 of rank 2 as shown in FIG. 17, the processing flow is improved as shown in FIG. Is added, and the display rank change determining step S15 is further added, so that the display can be shifted to a free expression as long as the display device 101 and the operated device 102 can agree.
[0120]
FIG. 15 shows a UI functional configuration of the operated device 102. As described above, the display device 101 and the operated device 102 perform negotiation of the rank, thereby establishing the interconnectivity between the display device, the operation, and the object operated by the operation.
[0121]
Next, description will be made from the viewpoint of the operated device 102 side.
[0122]
In FIG. 15, the operated device 102 includes a display content storage unit 1501 that stores character code and graphic image data, and a UI that manages the next display content and the like in response to reaction information from the operator in response to a display request. A management function 1502, a rank arbitration function 1503 for arbitrating ranks with the display device 101, a modification function 1504 for modifying display contents according to the expression capability rank (rank and display form format) of the display device 101, and a requested display amount , A request display form conversion function 1506 for properly integrating the request display into the communication information form in accordance with the rank, and a transmission / reception function 1507. Incidentally, the original function (printing function and the like) of the operated device 102 is the same as that of the conventional device, and thus is unnecessary in this description and is not described in the explanatory diagram.
[0123]
FIG. 21, FIG. 22, and FIG. 23 show application examples in the present invention.
[0124]
In FIG. 21, the display device 101 is a TV, the operation device 103 is a remote controller attached to the TV, and the operated device 102 is an intelligent refrigerator.
[0125]
FIG. 22 shows a case where the information transmission means 104 between the display device 101 and the operated device 102 is wireless.
[0126]
FIG. 23 shows an example in which the display device 101 and the operation device 103 are incorporated in the same device such as a mobile phone or a PDA (Personal Digital Assistant) device. A mobile phone or a PDA (device is connected to a plurality of operated devices 102 via a relay / display conversion device 2301 mainly by wireless communication means as the information transmission means 104.
[0127]
Although the relay / display conversion device 2301 is described as a single component device in FIG. 23, it may actually be composed of a plurality of relay devices from the aspect of a relay function. In addition, from the aspect of the display conversion function, the relay / display conversion device 2301 may incorporate the function of the display device 101. Further, the display conversion function may be provided in at least one of the plurality of relay devices.
[0128]
For example, if the configuration of FIG. 23 is simply expressed, for example, an ADSL (Asymmetric Digital Subscriber Line; an asymmetric digital subscriber line) which becomes an entrance of home communication from a communication network (first relay device) that communicates with a mobile phone. Information communication means 104 for connecting a PC (third relay device and an information processing device capable of display conversion) to a home network via a communication terminal (second relay device), for example, Ethernet (R) , IEEE1394 (Havi or the like), Bluetooth (Bluetooth), power line communication, or the like, indicates that the plurality of operated devices 102 are organically connected. Thus, even in the seemingly complicated connection form, the connection form includes a means for providing display to the operator (display apparatus 101), a means for providing operation (operation apparatus 103), and the operated apparatus 102 for reflecting the operation result. It is possible to construct a UI system that has a three-party configuration and is unified by the concept of rank.
[0129]
【The invention's effect】
According to the present invention, the following effects can be obtained.
[0130]
The display device of the present invention is configured to have a function of displaying, on its own display unit, display contents obtained from another functional device by using the information transmitting means.
[0131]
ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to implement | achieve the part regarding the user interface between the apparatus designed by the different system and the different platform easily.
[Brief description of the drawings]
FIG. 1 is a block diagram of a UI system according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of the display device of FIG. 1;
FIG. 3 is a configuration diagram of the operated device of FIG. 1;
FIG. 4 is a configuration diagram of the operation device of FIG. 1;
FIG. 5 is a configuration diagram of operation keys of the operation device according to the embodiment of the present invention.
FIG. 6 is a diagram illustrating an operation of a UI system according to the embodiment of the present invention.
FIG. 7 is an operation flowchart of a UI system according to the embodiment of the present invention.
FIG. 8 is a diagram showing a communication data structure between the display device and the controlled device according to the embodiment of the present invention.
FIG. 9 is a diagram showing a display configuration example of rank 1 in the embodiment of the present invention.
FIG. 10 is a diagram showing a display data structure between a display device and a controlled device according to an embodiment of the present invention.
FIG. 11 is a diagram showing a display example of rank 1 in the embodiment of the present invention.
FIG. 12 is a diagram showing a display example of rank 2 in the embodiment of the present invention.
FIG. 13 is a diagram showing a UI functional configuration of the display device according to the embodiment of the present invention.
FIG. 14 is a diagram illustrating functions of a display device according to an embodiment of the present invention.
FIG. 15 is a diagram showing a UI functional configuration of the operated device according to the embodiment of the present invention.
FIG. 16 is an improved operation flowchart of the UI system according to the embodiment of the present invention;
FIG. 17 is a diagram showing a hierarchical display example by rank switching.
FIG. 18 is a diagram showing an example of character expression by the display device according to the embodiment of the present invention.
FIG. 19 is a diagram showing a graphic expression example by the display device according to the embodiment of the present invention.
FIG. 20 is a diagram showing a specific example of a function of associating operation keys with display buttons;
FIG. 21 is a diagram showing a connection example 1 of the UI system according to the embodiment of the present invention.
FIG. 22 illustrates a connection example 2 of the UI system according to the embodiment of the present invention.
FIG. 23 illustrates a connection example 3 of the UI system according to the embodiment of the present invention.
FIG. 24 is a diagram showing an example of a menu screen of the display device according to the embodiment of the present invention.
FIG. 25 is an explanatory diagram of a conventional device operation program incorporating method.
[Explanation of symbols]
101 Display device
102 Operated device
103 Operating device
104 Information transmission means
105 Information transmission means
201 CPU
202 Display
203 Communication unit
204 programs
205 work memory
206 Remote control IF
301 CPU
302 program
303 work memory
304 input / output unit
305 Communication unit
401 operation keys
402 Encoder section
403 Communication unit
501 Direction key
502 Enter key
503 Release key
601 Operator
801 Communication data
802 negotiation code
Contents of 803 negotiation code
901 Selection information display area
902 Transmission information display area
1001 Display related information section
1002 Selection information section
1003 Transmission information section
1101 Select button
1102 Contents
1201 Select button
1202 graphics
1203 Character expression contents
1301 Display position management function
1302 Operating device information management function
1303 Function for associating operation keys with display buttons
1304 Basic layout pattern
1305 Transmission / reception function
1306 Display resource
1401 Menu display area
1501 Display content storage unit
1502 UI management function
1503 Rank arbitration function
1504 Modification function
1505 Optimization function of required display amount
1506 Request display form function
1507 Send / Receive Function
1701 Rank 1 character display
1702 Rank 2 Graphic Display
2001 Selection button expression
2002 Selection button expression
2301 Relay / Display conversion device
2401 PTR icon
A1 to A4 Reaction of the operating device by the operator
F1 to F8 Communication between display device and operated device
T1 to T4 Communication from operation device to display device
V1 to V3 Display screen of display device

Claims (33)

他の機能装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有することを特徴とする表示装置。A display device having a function of displaying, on its own display unit, display contents obtained from another functional device by using an information transmitting means. 表示内容を請求項１に記載の表示装置に通知する機能を有することを特徴とする被操作装置。An operated device having a function of notifying display contents to the display device according to claim 1. 操作行為の操作情報を検出し、検出した操作情報を請求項１に記載の表示装置に伝達する機能を有することを特徴とする操作装置。An operation device having a function of detecting operation information of an operation action and transmitting the detected operation information to the display device according to claim 1. 請求項３に記載の操作装置からの操作情報を、変換もしくは非変換で請求項２に記載の被操作装置へ伝達する機能を有することを特徴とする請求項１に記載の表示装置。The display device according to claim 1, further comprising a function of transmitting operation information from the operation device according to claim 3 to the operated device according to claim 2 in a converted or non-converted manner. 操作装置の操作条件の一部もしくは全てを、被操作装置に提示する機能を有することを特徴とする請求項１に記載の表示装置。The display device according to claim 1, further comprising a function of presenting a part or all of the operation conditions of the operation device to the operated device. 請求項５に記載の表示装置の提示する操作条件を判定し、操作条件と対応させた表示内容を前記表示装置に伝達する機能を有することを特徴とする請求項２に記載の被操作装置。The operated device according to claim 2, further comprising a function of determining an operation condition presented by the display device according to claim 5, and transmitting display content corresponding to the operation condition to the display device. 請求項６に記載の被操作装置の表示要求に従って、表示を構成する機能を有することを特徴とする請求項１に記載の表示装置。The display device according to claim 1, further comprising a function of configuring a display in accordance with a display request of the operated device according to claim 6. 選択と決定の機能を操作者に明示するために必要な２個以上の数の操作選択子を持つことを特徴とする請求項３に記載の操作装置。4. The operating device according to claim 3, wherein the operating device has two or more operation selectors required to clearly indicate the selection and determination functions to the operator. 選択と決定の機能を操作者に明示するために必要な２個以上の数の選択表現を持つことを特徴とする請求項１、４、５または７のいずれかに記載の表示装置。The display device according to any one of claims 1, 4, 5, and 7, wherein the display device has two or more selection expressions necessary to clearly indicate a function of selection and determination to an operator. 直接あるいは間接的に情報を伝達する手段を有することを特徴とする請求項１、４、５、７または９のいずれかに記載の表示装置。The display device according to any one of claims 1, 4, 5, 7, and 9, further comprising means for directly or indirectly transmitting information. 直接的あるいは間接的に情報を伝達する手段を有することを特徴とする請求項２または６に記載の被操作装置。7. The operated device according to claim 2, further comprising means for directly or indirectly transmitting information. １以上の複数のランク付けされた表示能力を有することを特徴とする請求項１、４、５、７または９のいずれかに記載の表示装置。The display device according to any one of claims 1, 4, 5, 7, and 9, wherein the display device has one or more plurality of ranked display capabilities. １以上の複数のランク付けされた表示要求能力を有することを特徴とする請求項２または６に記載の被操作装置。7. The operated device according to claim 2, wherein the operated device has one or more plurality of ranked display request capabilities. 前記表示能力のランクは、ランクごとに定義される表示の為に用いられ、あるいは参照される表現制約事項を含み、少なくとも２個以上の選択表現を持つことを特徴とする請求項１２に記載の表示装置。13. The display capability according to claim 12, wherein the display capability rank has at least two or more selected expressions, including expression constraints used or referred to for display defined for each rank. Display device. 前記表示要求能力のランクは、ランクごとに定義される表示の為に用いられ、あるいは参照される表現制約事項を含み、少なくとも２個以上の選択表現を持つことを特徴とする請求項１３に記載の被操作装置。14. The display request capability rank according to claim 13, wherein the display request capability has at least two or more selection expressions, including expression constraints used or referred to for display defined for each rank. Operated device. 請求項１２に記載の表示装置の表示能力の所有するランクと請求項１３に記載の被操作装置の表示要求能力の所有するランクが、一致するランクであれば、そのランクに基づいた被操作装置の表示要求を満足するように表示可能とする手段を有することを特徴とする表示装置。If the rank possessed by the display capability of the display device according to claim 12 and the rank possessed by the display request capability of the operated device according to claim 13 match, the operated device based on the rank. A display device comprising means for enabling display so as to satisfy the display request of (1). その所有する表現能力を上回らない範囲で相当の定められたランクの表現能力であることを提示する手段を有することを特徴とする請求項１２または１６に記載の表示装置。17. The display device according to claim 12, further comprising: means for presenting that the expression ability is of a predetermined rank within a range not exceeding the expression ability possessed by the display apparatus. 請求項１７に記載の表示装置の提示する表現力ランクに応じて、表示要求内容を変化させることが可能であることを特徴とする請求項２または６に記載の被操作装置。The operated device according to claim 2 or 6, wherein the display request content can be changed according to the expressiveness rank presented by the display device according to claim 17. 複数の表示要求内容を構成する機能を有することを特徴とする請求項１８に記載の被操作装置。19. The operated device according to claim 18, having a function of configuring a plurality of display request contents. 操作装置と表示装置とは別に、第２の操作手段を備えたことを特徴とする請求項２、６または１９のいずれかに記載の被操作装置。20. The operated device according to claim 2, further comprising a second operating means separately from the operating device and the display device. 選択情報と伝達情報を区別して表示レイアウトするフォームをもつ表示指定機能を備えたランクを備えたことを特徴とする請求項１２、１４または１６のいずれかに記載の表示装置。17. The display device according to claim 12, further comprising a rank having a display designation function having a form for performing display layout by distinguishing between selection information and transmission information. 請求項１３、１５、１８、１９または２０のいずれかに記載の被操作装置と請求項１２、１４、１６、１７または２１のいずれかに記載の表示装置との間に表示変換装置を配置したことを特徴とするユーザーインターフェースシステム。A display conversion device is arranged between the operated device according to any one of claims 13, 15, 18, 19 and 20 and the display device according to any one of claims 12, 14, 16, 17 and 21. A user interface system characterized in that: 前記表示変換装置は、前記被操作装置の表示要求内容ランクと前記表示装置の表示能力ランクが不整合な場合に表示変換する機能を有することを特徴とする請求項２２記載のユーザーインターフェースシステム。23. The user interface system according to claim 22, wherein the display conversion device has a function of performing display conversion when a display request content rank of the operated device and a display capability rank of the display device do not match. 請求項２、３または８のいずれかに記載の操作装置の操作部と請求項１２、１４、１６、１７または２１のいずれかに記載の表示装置の表示部を備えた操作表示装置と、請求項１３、１５、１８、１９または２０のいずれかに記載の被制御装置との間に通信中継装置が配置され、前記操作表示装置は前記通信中継装置と通信を行い、前記通信中継装置は前記被制御装置と通信を行い、前記操作表示装置と前記被制御装置は前記ランク情報を前記通信中継装置を経由して行うことを特徴とするユーザーインターフェースシステム。An operation display device comprising the operation unit of the operation device according to any one of claims 2, 3 and 8, and the display unit of the display device according to any one of claims 12, 14, 16, 17 and 21. A communication relay device is disposed between the controlled device according to any one of items 13, 15, 18, 19 and 20; the operation display device communicates with the communication relay device; A user interface system that communicates with a controlled device, wherein the operation display device and the controlled device perform the rank information via the communication relay device. 前記操作表示装置は移動体通信装置であることを特徴とする請求項２０に記載のユーザーインターフェースシステム。The user interface system according to claim 20, wherein the operation display device is a mobile communication device. 前記通信中継装置が更に複数の通信中継装置を連結して構成されることを特徴とする請求項２４または２５に記載のユーザーインターフェースシステム。26. The user interface system according to claim 24, wherein the communication relay device is further configured by connecting a plurality of communication relay devices. 前記通信中継装置の少なくとも一つがパーソナルコンピュータであることを特徴とする請求項２４から２６のいずれかに記載のユーザーインターフェースシステム。27. The user interface system according to claim 24, wherein at least one of said communication relay devices is a personal computer. 前記通信中継装置の少なくとも一つが情報処理装置であることを特徴とする請求項２４から２６のいずれかに記載のユーザーインターフェースシステム。27. The user interface system according to claim 24, wherein at least one of said communication relay devices is an information processing device. 前記通信中継装置の少なくとも一つがセットトップボックスであることを特徴とする請求項２４から２６のいずれかに記載のユーザーインターフェースシステム。27. The user interface system according to claim 24, wherein at least one of the communication relay devices is a set-top box. 前記通信中継装置の少なくとも一つがホームゲートウェイであることを特徴とする請求項２４から２６のいずれかに記載のユーザーインターフェースシステム。27. The user interface system according to claim 24, wherein at least one of said communication relay devices is a home gateway. １以上の複数のランク付けされた表示要求能力を有する被操作装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有するとともに、１以上の複数のランク付けされた表示能力を有し、
前記表示能力のランクと前記被操作装置の表示要求能力のランクとが一致すれば、そのランクに基づいた前記被操作装置の表示要求を満足するように表示可能とする手段を有することを特徴とする表示装置。It has a function of displaying, on its own display unit, display contents obtained from the operated device having at least one or more ranked display requesting capabilities by using the information transmitting means, and one or more of the plurality of ranked display requested capabilities. Has display ability,
When the rank of the display capability and the rank of the display request capability of the operated device match each other, the display device has means for enabling display so as to satisfy the display request of the operated device based on the rank. Display device. 他の機能装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有するとともに、１以上の複数のランク付けされた表示能力を有し、かつその所有する表現能力を上回らない範囲で相当の定められたランクの表現能力であることを提示する手段を有する表示装置に、表示内容を通知する機能を有し、
前記表示装置の提示する表現力ランクに応じて、表示要求内容を変化させることが可能であることを特徴とする被操作装置。It has a function of displaying the display content obtained from another functional device by using the information transmission means on its own display unit, and has one or more ranked display capabilities, and its own expression capability. A function of notifying the display content to a display device having a means for presenting that the expression ability is of a predetermined rank within a range not exceeding,
An operated device, wherein the display request content can be changed according to the expressiveness rank presented by the display device. 他の機能装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有するとともに、１以上の複数のランク付けされた表示能力を有し、かつその所有する表現能力を上回らない範囲で相当の定められたランクの表現能力であることを提示する手段を有し、さらに選択情報と伝達情報を区別して表示レイアウトするフォームをもつ表示指定機能を備えたランクを備えた表示装置に、表示内容を通知する機能を有し、
前記表示装置の提示する表現力ランクに応じて、表示要求内容を変化させることが可能であり、
さらに、複数の表示要求内容を構成する機能と、操作装置と表示装置とは別の第２の操作手段とを備えたことを特徴とする被操作装置。It has a function of displaying the display content obtained from another functional device by using the information transmission means on its own display unit, and has one or more ranked display capabilities, and its own expression capability. A display having a rank having a display designating function having a means for presenting that the expression ability of a considerably determined rank within a range not exceeding, and a form for displaying and laying out selection information and transmission information separately The device has a function of notifying display contents,
According to the expressive power rank presented by the display device, it is possible to change the display request content,
The operated device further includes a function of configuring a plurality of display request contents, and a second operating unit separate from the operating device and the display device.
JP2002370319A 2002-12-20 2002-12-20 Display device, operated device, and user interface control method Expired - Fee Related JP4158512B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002370319A JP4158512B2 (en) 2002-12-20 2002-12-20 Display device, operated device, and user interface control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002370319A JP4158512B2 (en) 2002-12-20 2002-12-20 Display device, operated device, and user interface control method

Publications (2)

Publication Number Publication Date
JP2004201215A true JP2004201215A (en) 2004-07-15
JP4158512B2 JP4158512B2 (en) 2008-10-01

Family

ID=32766269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002370319A Expired - Fee Related JP4158512B2 (en) 2002-12-20 2002-12-20 Display device, operated device, and user interface control method

Country Status (1)

Country Link
JP (1) JP4158512B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767123B2 (en) 2007-08-06 2014-07-01 Kabushiki Kaisha Toshiba Information processing apparatus and output switching control method
US9009776B2 (en) 2007-08-06 2015-04-14 Kabushiki Kaisha Toshiba Information processing apparatus and output control method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767123B2 (en) 2007-08-06 2014-07-01 Kabushiki Kaisha Toshiba Information processing apparatus and output switching control method
US9009776B2 (en) 2007-08-06 2015-04-14 Kabushiki Kaisha Toshiba Information processing apparatus and output control method
US9055236B2 (en) 2007-08-06 2015-06-09 Kabushiki Kaisha Toshiba Information processing apparatus and output switching control method

Also Published As

Publication number Publication date
JP4158512B2 (en) 2008-10-01

Similar Documents

Publication Publication Date Title
US11416113B2 (en) Apparatus and method for remotely controlling peripheral devices in mobile communication terminal
US6763247B1 (en) Portable telecommunication apparatus for controlling an electronic utility device
EP2530924B1 (en) Mobile terminal and device control method for the same
EP1727107A2 (en) Integrated remote control system
CN101316318A (en) Remote control for devices with connectivity to a service delivery platform
US20130283209A1 (en) Display apparatus and method for providing user interface thereof
JP2003523144A (en) Control of interconnected audio / video devices
KR20130078329A (en) Electronic device, user input apparatus controlling electronic device and contol method thereof
JP2004531172A (en) Integrated remote controller device and control method therefor
KR101814602B1 (en) Apparatus for remote controlling and electronic apparatus controlled by thereof remotely
CN112514332A (en) Method and system for switching USB (universal serial bus) device to internet of things (IoT) device to operate based on thing description model
WO2001093624A1 (en) Device for operating electronic apparatus, recorded medium and electronic apparatus
CN103064355B (en) A kind of interaction control system for hotel guest room
EP1234465B1 (en) A portable telecommunication apparatus for controlling an electronic utility device
JP2003208302A (en) User interface method and apparatus for appliance connected with host system
KR101078944B1 (en) Method and apparatus for reallizing (a) controll menu of home network system
JP2005303659A (en) Remote control system, operation target device, remote control device, and remote control method
KR100657793B1 (en) Method and apparatus for controlling home-network devices
KR100653266B1 (en) Control apparatus for home network device and producing method for user interface
JP2004201215A (en) Display device, operated device, operating device, and user interface system
CN102667885B (en) By the method and apparatus that UPnP service remote controls
CN114025227A (en) Electronic equipment and control method
JP2008236369A (en) Video display device and control method thereof
JP2001036979A (en) Communication control system
JP2003348674A (en) Remote control terminal and remote control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050902

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20051013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080520

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080707

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees