JP2008258853A - 機器操作支援装置及び機器操作支援方法 - Google Patents

Abstract

【課題】機器システムに対する全体像を簡単に把握できるとともに、直感的な操作で、複雑な機器システムに対する操作を簡単に行うことを可能にする機器操作支援装置を提供する。
【解決手段】ユーザの指示を受け付ける入力部２１と、画像を表示するディスプレイ２２と、複数の機器を特定する機器情報を格納している機器情報格納部２４と、機器情報が示す複数の機器に対して可能な操作指示を論理的に表現した操作画面であって、操作指示の種類を示す操作アイコンと複数の機器を示す機器アイコンと複数の機器間の信号の流れを示す矢印線とを含む操作画面をディスプレイ２２に表示する初期画面表示部２５ａと、アイコンが指定された場合に操作画面上の関連箇所を強調表示するように操作画面を変更する表示変更部２５ｂと、機器に送信する操作コマンドを生成する操作コマンド生成部２７とを備える。
【選択図】図２

Description

本発明は、機器の操作を支援する装置に関し、特に、複数の機器から構成される機器システムに対する操作を支援する機器操作支援装置に関する。

近年、デジタル技術や通信技術の進展に伴い、ＴＶやＤＶＤレコーダ等の家電機器は、高機能化し、その操作が複雑になってきている。特に、複数の機器を連携して使用する際には、複数の機器の取扱説明書を読んで理解する必要があり、煩雑な作業が強いられる。

そのために、このような機器や機器システムの操作を支援する様々な技術が提案されている（例えば、特許文献１参照）。特許文献１の技術によれば、バスで複数の機器を接続し、これらの機器の間で通信を行うシステムにおいて、図２９に示されるように、バスに接続されている機器や機器間の信号の流れを表示することで、各機器を見なくても、システム構成と共にシステムの動作状態を把握できるようにしている。

また、ＴＶにおけるＥＰＧ（電子番組）のガイド表示では、図３０に示されるように、階層化された画面遷移で、ユーザの操作を誘導する誘導型ＧＵＩ（グラフィカル・ユーザ・インターフェース）が採用されている。これによって、画面を遷移させながら、ユーザが所望する番組にたどり着くように誘導することで、番組の選択操作が支援される。
特開平１０−１７３６８９号公報

しかしながら、上記特許文献１に開示された技術では、現在接続されている機器の構成や信号の流れが表示されるに止まり、ユーザが所望する動作を機器に実行させるには、それらの機器をどのように操作すればよいか（機器操作）については支援されないという問題がある。つまり、それらの機器を用いて特定の処理をしたい場合に、いかなる操作をすればよいかは、ユーザが自ら判断する必要がある。

また、階層化された画面遷移による誘導型ＧＵＩでは、操作に応じて画面が切り替わるために、操作がどこまで進んだか等の全体把握ができないという問題や、階層化された画面をジャンプして戻りたい場合に、そのようなボタンが用意されていないときには、戻るためのボタンを繰り返して押さなければならないという問題がある。

そこで、本発明は、このような状況に鑑みてなされたものであり、機器システムに対する全体像を簡単に把握できるとともに、直感的な操作で、複雑な機器システムに対する操作を簡単に行うことを可能にする機器操作支援装置を提供することを目的とする。

上記目的を達成するために、本発明に係る機器操作支援装置は、複数の機器から構成される機器システムに対する操作を支援する機器操作支援装置であって、ユーザの指示を受け付ける入力部と、画像を表示するディスプレイと、前記複数の機器を特定する機器情報を格納している機器情報格納部と、前記機器情報格納部に格納された機器情報が示す複数の機器に対して可能な操作指示を論理的に表現した操作画面であって、操作指示の種類を示す操作アイコンと前記複数の機器を示す機器アイコンと前記複数の機器間の信号の流れを示す矢印線とを含む操作画面を前記ディスプレイに表示する初期画面表示部と、前記操作画面に表示された操作アイコンのいずれかに対する指定が前記入力部によって受け付けられた場合に、指定された操作アイコンに対応する処理を行う機器の機器アイコンと当該処理における信号の流れを示す矢印線とが強調表示されるように前記操作画面を変更し、前記操作画面に表示された機器アイコンのいずれかに対する指定が前記入力部によって受け付けられた場合に、指定された機器アイコンに対応する機器が行う処理に対応する操作アイコンと当該処理における信号の流れを示す矢印線とが強調表示されるように前記操作画面を変更し、変更した操作画面を前記ディスプレイに表示する表示変更部と、操作指示の入力を完了した旨の指示が前記入力部によって受け付けられた場合に、前記操作画面で強調表示されている箇所に対応する情報からなる操作コマンドを生成する操作コマンド生成部とを備えることを特徴とする。

これにより、機器に対する可能な操作指示を論理的に表現したグラフィカルな操作画面が提示されるので、機器をどのように操作すればよいか（機器操作）が容易に把握されるとともに、個別の操作メニューではなく、機器システムの全体を示す操作画面が提示されるので、一瞥して、機器システム全体に対する操作を指示することができる。つまり、機器システムに対する全体像を簡単に把握できるとともに、直感的な操作で、複雑な機器システムに対する操作を簡単に行うことができる。

ここで、前記機器操作支援装置はさらに、前記複数の機器と通信する通信部を備え、前記機器情報格納部は、前記通信部を介して前記機器情報を取得し、取得した機器情報を保持し、前記操作コマンド生成部は、生成した操作コマンドを、前記通信部を介して、当該操作コマンドに対応する機器に送信する構成としてもよい。これにより、機器操作支援装置と機器システムとはオンライン状態となり、機器操作支援装置に対する操作によって、機器システムが自動制御される。

また、前記初期画面表示部は、複数の選択可能な操作アイコンの並びと、前記信号の供給元となる複数の選択可能な機器アイコンの並びと、前記信号の供給先となる複数の選択可能な機器アイコンの並びとを含む操作画面を前記ディスプレイに表示し、前記表示変更部は、前記操作アイコン及び前記機器アイコンの並びを変更することなく、前記強調表示がされるように前記操作画面を変更するのが好ましい。これにより、機器システムの全体を表示したまま、操作可能な箇所が強調表示されるので、常に機器システム全体を把握した状態で、操作指示を進めていくことができる。

また、前記操作コマンド生成部は、前記操作画面で強調表示されている操作アイコン、前記信号の供給元となる機器アイコン及び前記信号の供給先となる機器アイコンを特定する情報が、それぞれ、動詞、第１の目的語及び第２の目的語となる文型の操作コマンドを生成するのが好ましい。多くのケースにおいて、機器に対する操作指示が動詞、第１の目的語及び第２の目的語をもつ文型で表現され得るからである。もっとも、前記操作コマンド生成部は、前記操作画面で強調表示されている操作アイコン及び機器アイコンを特定する情報が、それぞれ、動詞及び第１の目的語となる文型の操作コマンドを生成してもよい。

また、前記機器情報格納部はさらに、前記複数の機器それぞれの操作メニューを特定する操作メニュー情報を格納し、前記機器操作支援装置はさらに、前記複数の機器アイコンのいずれかに対応する機器に対して詳細な操作をしたい旨の指示が前記入力部によって受け付けられた場合に、当該機器の操作メニュー情報を前記機器情報格納部から読み出し、読み出した操作メニュー情報が示す操作メニューを表示する子画面表示部を備え、前記操作コマンド生成部は、前記子画面表示部によって表示された操作メニューに対して前記入力部が受け付けた指示を含む操作コマンドを生成する構成としてもよい。これにより、機器システム全体を一瞥した状態で、必要な機器に対する詳細な操作を指示することができるので、機器システム全体の表示と個別の詳細操作とを兼ね備えた操作性の優れたＧＵＩが実現される。

また、前記表示変更部は、前記入力部によって前記操作アイコン又は前記機器アイコンに対する指定が受け付けられた場合に、直前に強調表示されていた操作アイコン、機器アイコン及び矢印線のうち、指定された操作アイコン又は機器アイコンに対応するものだけが強調表示されるように前記操作画面を変更してもよい。このとき、前記強調表示には、色の変化、線種の変化、大きさの変化、形状の変化及びアニメーション表示の少なくとも一つが含まれるのが好ましい。これにより、操作の進行に応じて可能な操作が絞り込まれて表示されるので、機器の操作に慣れていないユーザであっても、確実に機器操作が誘導される。

なお、本発明は、このような機器操作支援装置として実現できるだけでなく、機器操作支援方法として実現したり、その方法に含まれるステップをもつプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記録媒体として実現することもできる。

本発明によれば、機器に対する可能な操作指示を論理的に表現したグラフィカルな操作画面が提示されるので、機器をどのように操作すればよいか（機器操作）が容易に把握される。

また、本発明によれば、個別の操作メニューではなく、機器システムの全体を示す操作画面が提示されるので、一瞥して、機器システム全体に対する操作を指示することができる。

つまり、本発明により、機器システムに対する全体像を簡単に把握できるとともに、直感的な操作で、複雑な機器システムに対する操作を簡単に行うことができる。

よって、本発明によれば、機器が多機能となり複合機化、ネットワーク化、分散化され、機器構成の可視化や操作の流れが複雑化するユビキタス時代の情報機器操作において、空間的に分散された機器のシステム構成が操作の流れを中心にシステムイメージとして可視化され、ユーザは複雑な操作の流れを直感的に理解できることから、親和性、操作性の向上が図られ、特に、高齢者やコンピュータ操作経験の少ないユーザ、新しいシステムを導入した直後で操作方法がよくわからない初心者向けのＧＵＩ装置として、その実用的価値は極めて高い。

以下、本発明に係る機器操作支援装置の実施の形態について、図面を参照しながら説明する。

図１は、本実施の形態における機器操作支援装置２０及び操作の対象となる機器システム１０を含む全体構成を示す図である。この機器操作支援装置２０は、機器システム１０を遠隔・集中制御することで、機器システム１０に対するユーザの操作を支援する装置であり、通信路１１で機器システム１０と接続されている。

機器システム１０は、通信路１１で接続された機器（デジタル放送用チューナ１、ＤＶＤレコーダ２、ＴＶ３、デジタルカメラ４及びＰＣ５）の集まりである。各機器１〜５は、通信路１１を介して機器操作支援装置２０と通信することにより、自機器の情報（ネットワークアドレス、機器の動作状態を示す情報等）を機器操作支援装置２０に送信したり、機器操作支援装置２０から受け取った操作コマンドを解読して実行する機能を備える。

通信路１１は、有線又は無線の伝送路であり、ＩＥＥＥ１３９４やインターネット／イントラネット用のＬＡＮ等である。

図２は、図１に示された機器操作支援装置２０の構成を示す機能ブロック図である。この機器操作支援装置２０は、入力部２１、ディスプレイ２２、通信部２３、機器情報格納部２４、表示制御部２５、選択状態記憶部２６及び操作コマンド生成部２７を備える。

入力部２１は、ユーザの指示を受け付ける入力機器や入力処理部であり、例えば、リモコン、操作ボタン、ディスプレイ２２に貼り付けられたタッチパネル、それら入力機器からの信号を処理する処理部等である。

ディスプレイ２２は、画像を表示する表示部であり、例えば、ＬＣＤ（液晶表示装置）、ＰＤＰ（プラズマ・ディスプレイ・パネル）等である。なお、ディスプレイ２２は、この機器操作支援装置２０の専用のものであってもよいし、機器システム１０を構成する機器の表示部と兼用されていてもよい（例えば、ＴＶ３のディスプレイであってもよい）。

通信部２３は、機器システム１０を構成する機器と通信する有線又は無線の通信インターフェースであり、例えば、ＩＥＥＥ１３９４や家庭内ＬＡＮ等である。

機器情報格納部２４は、機器システム１０を構成する各機器から、通信路１１を介して、それら機器を特定する情報を含む機器情報２４ａを取得し、取得した機器情報２４ａを内蔵の記憶部に保持する処理部であり、例えば、不揮発性メモリ等を備える。なお、機器情報２４ａには、図３に示されるように、通信路１１上での「識別アドレス」、当該機器の「製品情報」（メーカー名、モデル名、「ＤＶＤ」や「ＴＶ」等の機器の種別）、当該機器の操作メニューを特定する「操作メニュー情報」（ここでは、ＨＴＭＬファイル及びそこからリンクされた画像ファイル）、当該機器が信号の供給元となるか否かを示す「信号の供給元フラグ」、当該機器が信号の供給先となるか否かを示す「信号の供給先フラグ」等が含まれる。

表示制御部２５は、機器システム１０を操作するための操作画面を機器情報格納部２４に格納された機器情報２４ａに従ってグラフィカルにディスプレイ２２に表示するＧＵＩ処理部であり、初期画面表示部２５ａ、表示変更部２５ｂ及び子画面表示部２５ｃを備える。

初期画面表示部２５ａは、入力部２１が初期画面を表示する旨の指示を受け付けたとき、又は、この機器操作支援装置２０の電源が投入されたときに、機器情報格納部２４に格納された機器情報２４ａが示す複数の機器に対して可能な操作指示を論理的に表現した操作画面、つまり、操作指示の種類を示す操作アイコンと機器システム１０を構成する複数の機器を示す機器アイコンとそれら複数の機器間の信号の流れを示す矢印線とを含む操作画面を、ディスプレイ２２に表示する処理部である。

このとき、初期画面表示部２５ａは、図４に示される初期画面表示例のように、複数の選択可能な操作アイコンの並び（図４の左列において「動詞」と記された行）と、信号の供給元となる複数の選択可能な機器アイコンの並び（図４の左列において「目的語１」と記された行）と、信号の供給先となる複数の選択可能な機器アイコンの並び（図４の左列において「目的語２」と記された行）とを含む操作画面をディスプレイ２２に表示する。

表示変更部２５ｂは、ディスプレイ２２に表示された操作画面上の操作アイコンのいずれかに対する指定が入力部２１によって受け付けられた場合に、指定された操作アイコンに対応する処理を行う機器の機器アイコンと当該処理における信号の流れを示す矢印線とが強調表示されるように操作画面を変更し、一方、操作画面に表示された機器アイコンのいずれかに対する指定が入力部２１によって受け付けられた場合に、指定された機器アイコンに対応する機器が行う処理に対応する操作アイコンと当該処理における信号の流れを示す矢印線とが強調表示されるように操作画面を変更し、変更した操作画面をディスプレイ２２に表示する処理部である。

このとき、表示変更部２５ｂは、入力部２１が受け付けた指示を、選択状態情報２６ａとして、選択状態記憶部２６に格納し、格納された選択状態情報２６ａに従って、ディスプレイ２２に表示する操作画面を更新する。また、この表示変更部２５ｂは、ユーザの明示の指示がない限り、操作アイコン及び機器アイコンの並びを変更することなく、上述の強調表示がされるように、操作画面を変更する。たとえば、この表示変更部２５ｂは、入力部２１によって操作アイコン又は機器アイコンに対する指定が受け付けられた場合に、直前に強調表示されていた操作アイコン、機器アイコン及び矢印線のうち、指定された操作アイコン又は機器アイコンに対応するものだけが強調表示されるように、操作画面を変更する。強調表示には、色の変化、線種の変化、大きさの変化、形状の変化及びアニメーション表示の少なくとも一つが含まれる。

子画面表示部２５ｃは、ディスプレイ２２に表示された操作画面上の複数の機器アイコンのいずれかに対応する機器に対して詳細な操作をしたい旨の指示が入力部２１によって受け付けられた場合に、当該機器の操作メニュー情報を機器情報格納部２４から読み出し、読み出した操作メニュー情報が示す操作メニューをポップアップ等によって表示する処理部である。

選択状態記憶部２６は、選択状態情報２６ａを一時的に保持するメモリ等である。なお、選択状態記憶部２６は、選択状態情報２６ａの記憶領域だけでなく、表示制御部２５の一時的な記憶領域として、ディスプレイ２２に表示される操作画面を特定するのに必要な画面情報に関する一切の情報が格納される。よって、この選択状態記憶部２６を不揮発性のメモリで構成することで、機器操作支援装置２０の電源が投入された後の初期画面として、選択状態記憶部２６に格納された情報によって再現される操作画面、つまり、電源が切断される直前における操作画面を表示することができる。

操作コマンド生成部２７は、操作指示の入力を完了した旨の指示が入力部２１によって受け付けられた場合に、選択状態記憶部２６に格納されている選択状態情報２６ａを含む画面情報を参照することで、その時点でディスプレイ２２に表示されている操作画面で強調表示されている箇所に対応する情報からなる操作コマンドを生成し、生成した操作コマンドを、通信路１１を介して、当該操作コマンドに対応する機器に送信し、機器を遠隔制御する処理部である。

このとき、操作コマンド生成部２７は、選択されている機器アイコンの数等に応じて、操作画面で強調表示されている操作アイコン、信号の供給元となる機器アイコン及び信号の供給先となる機器アイコンを特定する情報が、それぞれ、動詞、第１の目的語及び第２の目的語となる文型（Ｖ＋Ｏ＋Ｏ）の操作コマンド（テキストデータ）、あるいは、操作画面で強調表示されている操作アイコン及び機器アイコンを特定する情報が、それぞれ、動詞及び第１の目的語となる文型（Ｖ＋Ｏ）の操作コマンドを生成する。また、この操作コマンド生成部２７は、子画面表示部２５ｃによって表示された操作メニューに対して入力部２１が指示を受け付けた場合には、受け付けた指示を含む操作コマンドを生成し、生成した操作コマンドを、通信路１１を介して、当該操作コマンドに対応する機器（通信路１１上の識別アドレス）に送信する。

次に、以上のように構成された本実施の形態における機器操作支援装置２０の動作について説明する。

図５は、本実施の形態における機器操作支援装置２０の動作を示すフローチャートである。

まず、機器情報格納部２４は、機器システム１０を構成する各機器から、通信路１１を介して、機器情報２４ａを取得し、取得した機器情報２４ａを内蔵の記憶部に保持する（Ｓ１）。この処理は、機器操作支援装置２０の電源が投入された直後、あるいは、機器システム１０の構成が変化したことを通信路１１の監視によって検出したとき等に実行される。

続いて、初期画面表示部２５ａは、入力部２１が初期画面を表示する旨の指示を受け付けたとき等において、機器情報格納部２４に格納されている機器情報２４ａに従って、図４に示されるような初期画面としての操作画面を生成し、生成した操作画面を特定する画面情報を選択状態記憶部２６に格納するとともに、その操作画面をディスプレイ２２に表示する（Ｓ２）。

具体的には、初期画面表示部２５ａは、予め内部に保持している図６に示される動詞群テーブルの「操作の種類（操作アイコン）」欄を参照することで、操作の種類に対応する操作アイコンを生成し、ディスプレイ２２の最上段（図４の左列において「動詞」と記された行）に表示する。

なお、図６は、初期画面表示部２５ａが保持する複数の動詞群テーブルのうち、ユーザによって予め選択された動詞群テーブル（「ＴＶ」を中心とした動詞群テーブル）のデータ例を示している。この動詞群テーブルにおいて、「操作の種類」欄は、操作画面に表示すべき操作アイコンの種別（文字列）を示し、「機器の種別」欄は、対応する「操作の種類」の操作で使用され得る機器の種別を示している。

そして、初期画面表示部２５ａは、機器情報格納部２４に格納されている機器情報２４ａを参照し、そこに格納されている全ての機器について、「信号の供給元フラグ」が「Ｙｅｓ」であれば、信号の供給元となる複数の選択可能な機器アイコンの並びとして、ディスプレイ２２の次の段（図４の左列において「目的語１」と記された行）に表示し、「信号の供給先フラグ」が「Ｙｅｓ」であれば、信号の供給先となる複数の選択可能な機器アイコンの並びとして、ディスプレイ２２の次の段（図４の左列において「目的語２」と記された行）に表示するとともに、上下の機器アイコン間の信号の流れを示す矢印線を表示する。

なお、本実施の形態では、「ＴＶ」を中心とした動詞群テーブルが選択されているので、図４に示されるように、初期画面表示部２５ａは、信号の供給元となる機器アイコンの並びの直下（図４の左列において「表示」と記された行）、及び、信号の供給先となる機器アイコンの並びの直下（図４の左列において「確認」と記された行）に、「ＴＶ」の機器アイコンを表示する。

続いて、表示変更部２５ｂは、ディスプレイ２２に表示された操作画面に対する入力指示があったか否かを判断し（Ｓ３）、入力指示がない場合には（Ｓ３でＮｏ）、入力指示があるまで判断を繰り返し、入力指示があった場合には（Ｓ３でＹｅｓ）、その入力指示の種類を判断する（Ｓ４）。

その結果、入力指示が操作画面上の操作アイコン及び機器アイコンのいずれかに対する指定であった場合には（Ｓ４で「操作アイコン／機器アイコンの選択」）、表示変更部２５ｂは、対応する操作アイコン、機器アイコン及び矢印線を強調表示する（Ｓ５）。このとき、表示変更部２５ｂは、選択指示を選択状態情報２６ａとして選択状態記憶部２６に格納しておくとともに、表示変更部２５ｂに格納されていた画面情報が示す操作画面に対して強調表示すべき箇所を示す画面情報を選択状態記憶部２６に格納しておく。

具体的な表示変更例として、操作画面上の操作アイコンのいずれかに対する指定が入力部２１によって受け付けられた場合には、表示変更部２５ｂは、内部に保持している動詞群テーブルと機器情報格納部２４に格納された機器情報２４ａ（「製品情報」のうちの「機器の種別」）とを参照することで、指定された操作アイコンに対応する処理を行う機器を特定し、特定した機器アイコンと当該処理における信号の流れを示す矢印線とが強調表示されるように操作画面を変更する。一方、操作画面に表示された機器アイコンのいずれかに対する指定が入力部２１によって受け付けられた場合には、機器情報格納部２４に格納された機器情報２４ａ（「製品情報」のうちの「機器の種別」）と内部に保持している動詞群テーブルとを参照することで、指定された機器アイコンに対応する「機器の種別」、その「機器の種別」に対応する「操作の種類」、その「操作の種類」に対応する他の「機器の種別」等を特定することで、指定された機器アイコンに対応する機器が行う処理に対応する操作アイコンと当該処理における信号の流れを示す矢印線とが強調表示されるように操作画面を変更し、変更した操作画面をディスプレイ２２に表示する。

例えば、操作アイコン「見たいなあ」が選択された場合には、表示変更部２５ｂは、動詞群テーブルの「操作の種類」欄における「見たいなあ」に対応する「機器の種別」に対応する全ての機器アイコンとその入出力信号の矢印線を強調表示する。続いて、信号の供給元としての機器アイコン「ＤＶＤレコーダ」が選択された場合には、図７の操作画面表示例に示されるように、操作アイコン「見たいなあ」を「ＤＶＤ見たいなあ」と変更し、他の操作アイコンを消去したうえで、選択された機器アイコン「ＤＶＤレコーダ」からの信号の流れを示す矢印線を強調表示する。

同様にして、操作アイコンとして「見ながら保存したいなあ」が選択され、信号の供給元として機器アイコン「ＤＶＤレコーダ」が選択され、信号の供給先として機器アイコン「ＨＤＤ」が選択された場合には、表示変更部２５ｂは、図８の操作画面表示例に示されるように、操作画面上の「動詞」の行において、操作アイコン「ダビングしたいなあ（ＤＶＤ→ＨＤＤ）」だけを表示し、操作画面上の「目的語１」の行における機器アイコン「ＤＶＤレコーダ」と、操作画面上の「表示」の行における機器アイコン「ＴＶ」と、操作画面上の「目的語２」の行における機器アイコン「ＨＤＤ」と、操作画面上の「確認」の行における機器アイコン「ＴＶ」と、それらの機器アイコン間での信号の流れを示す矢印線とを強調表示する。

なお、表示変更部２５ｂは、強調表示として、アイコンの種類や表示位置（行）等に応じて、色の変化、線種の変化、大きさの変化、形状の変化及びアニメーション表示等を混在させて行う。

また、操作画面上の「表示」の行における機器アイコン「ＴＶ」を指定したうえで、詳細な操作をしたい旨の指示がなされた場合には、図７及び図８に示される操作画面上の「表示」の行の右端に示されるように、子画面表示部２５ｃは、機器「ＴＶ」の機器情報２４ａにおける「操作メニュー情報」に登録された画像ファイルを機器情報格納部２４から読み出し、読み出したファイル（詳細な操作メニュー）をポップアップ等によって操作画面上に表示する。

一方、入力指示の種類の判断において（Ｓ４）、入力指示を完了した旨の指示と判断された場合には（Ｓ４で「入力完了指示」）、操作コマンド生成部２７は、選択状態記憶部２６に格納されている選択状態情報２６ａを含む画面情報を参照することで、その時点でディスプレイ２２に表示されている操作画面で強調表示されている箇所に対応する情報からなる操作コマンドを生成し（Ｓ６）、生成した操作コマンドを、通信路１１を介して、当該操作コマンドに対応する機器（機器情報２４ａに含まれる「識別アドレス」）に送信する（Ｓ７）。

このとき、操作コマンド生成部２７は、選択されている機器アイコンの数等に応じて、操作画面で強調表示されている操作アイコン、信号の供給元となる機器アイコン及び信号の供給先となる機器アイコンを特定する情報が、それぞれ、動詞、第１の目的語及び第２の目的語となる文型の操作コマンド（テキストデータ）、あるいは、操作画面で強調表示されている操作アイコン及び機器アイコンを特定する情報が、それぞれ、動詞及び第１の目的語となる文型の操作コマンドを生成する。また、この操作コマンド生成部２７は、子画面表示部２５ｃによって表示された操作メニューに対して入力部２１が指示を受け付けた場合には、受け付けた指示を含む操作コマンドを生成し、生成した操作コマンドを、通信路１１を介して、当該操作コマンドに対応する機器に送信する。

操作コマンドの具体的な生成手法としては、操作コマンド生成部２７は、選択状態記憶部２６に格納された選択状態情報２６ａや強調箇所を示す画面情報に基づいて、「動詞」については、予め内部に保持している変換テーブル（操作アイコンの種類と対応する「動詞（機器が解読・実行できる機器コマンド）」とを登録した変換テーブル）を参照することで、選択されている操作アイコンに対応する「動詞」を生成し、「目的語」については、機器情報格納部２４に格納されている機器情報２４ａを参照することで、選択されている機器アイコンに対応する「識別アドレス」（あるいは、「機器の種別」）を生成する。

このようにして、機器操作支援装置２０でのユーザ操作に対応する操作コマンドが機器システム１０に送信され、対応する機器が操作コマンドを解読・実行することで、機器システム１０に対する遠隔・集中制御が実行される。

以上のように、本実施の形態における機器操作支援装置２０によれば、機器システム全体の構成イメージが１つの操作画面として表示され続けるので、常に、操作の全体像が簡単に把握される。そして、操作アイコンや機器アイコンを指定すると、関連する操作アイコン、機器アイコン及び矢印線が強調表示されるので、確実に操作が誘導される。さらに、ユーザは、論理的に結合されたシステム構成に対して指示するので、操作の流れに関する制約がなく、直感的な操作・ユーザの個性に応じた操作が可能となる。たとえば、機能（動詞）、機器（目的語）の指定順序は自由である。よって、ユーザは、機器システムに対する操作の全体像を簡単に把握できるとともに、直感的な操作で、複雑な機器システムを操作することができる。

以上で、本実施の形態における機器操作支援装置２０の機能説明を終了し、次に、この機器操作支援装置２０のハードウェア構成と、より具体的な動作について、図面を参照しながら説明する。

図９は、機器操作支援装置２０のハードウェア構成を示すブロック図である。図１において、機器操作支援装置２０は、ＣＰＵ５２と、ＲＯＭ５３と、ＲＡＭ５４と、出力部５５と、入力部５６と、機器情報格納部５７と、機器制御部５８と、通信部５９を備える。

ＣＰＵ５２は、入力部５６からの入力とＲＯＭ５３あるいはＲＡＭ５４に格納されている情報あるいはプログラムと機器制御部５８からの信号あるいは情報とを利用して、ＲＡＭ５４に格納されている情報あるいは通信部５９を介して送受信される情報を、操作画面として、ユーザに提示する等の制御を行う。

ＲＯＭ５３は、読み込み専用メモリで、起動時実行プログラムや情報提示に必要なプログラムあるいは固定的なデータを格納している。例えば、情報提示に必要なアプリケーションとしてインターネットブラウザやＥＰＧ（電子プログラムガイド）などがこれにあたる。

ＲＡＭ５４は、書き込み可能メモリで、実行中の中間パラメータを一時的に格納する。
以上のＣＰＵ５２、ＲＯＭ５３及びＲＡＭ５４は、図２における各構成要素の機能（ソフトウェア的に実現される機能）を実現する共通の基本ハードウェアである。

出力部５５は、表示装置（液晶ディスプレイ、ＣＲＴディスプレイ、プラズマディスプレイ等）やスピーカ、バイブレータ、香り発生器等を含み、ＣＰＵ５２で生成あるいは合成された情報を表示し、及び／又は、音声出力、及び／又は、振動、及び／又は、香り等を出力する機器であり、図２におけるディスプレイ２２に相当する。

入力部５６は、リモートコントローラ、タッチセンサ、キーボード、マウス等により、アプリケーションの機能選択（テレビチャンネル選択、ビデオ録画、ＤＶＤ→ＨＤＤへのダビング、初期設定等）や、パラメータ入力等を行う機器であり、図２における入力部２１に相当する。

機器情報格納部５７は、機器の選択制御や操作指示の種類の選択制御を行うために必要な情報を格納するとともに、機器制御部５８により作成された表示画像情報の格納を行う記憶装置であり、図２における機器情報格納部２４及び選択状態記憶部２６に相当する。

機器制御部５８は、操作可能な機器（機器アイコン）や操作指示の種類（操作アイコン）の選択あるいは表示のための制御を行う。また、機器情報格納部５７に格納されている情報を参照して、システムの機器の構成と接続状態を示したシステムイメージ構成図（操作画面）の提示と、操作可能な機器と選択可能な操作指示の種類との関係を、機器アイコン、操作アイコン及び矢印線等で表示する。この機器制御部５８は、図２における表示制御部２５及び操作コマンド生成部２７に相当する。

通信部５９は、機器システム１０や外部システムとの情報の送受信を行い、電話回線やＩＳＤＮ網や無線ＬＡＮやＰＬＣ（電灯線通信）などであり、図２における通信部２３に相当する。

図１０は、以上のように構成された機器操作支援装置２０の動作を示すフローチャートである。以下、図１０を参照して機器操作支援装置２０の動作を説明する。

まず、ＣＰＵ５２は、操作アイコンの選択あるいは機器アイコンの選択あるいは操作画面を提示する指示が入力部５６から入力されたか、あるいは、そのような指示をシステム的に出す必要性があるかどうかを検出する（Ｓ１１）。なお、内部的にシステムが表示画像を生成する必要性があると判断するのは、例えば、ＣＰＵ５２の空き時間がある場合や、通信部５９から新しい機器情報や更新情報が送信されてきた場合や、機器構成に変化があった場合などである。

そして、ステップＳ１１でＹｅｓと判断すると、ＣＰＵ５２は、機器制御部５８へ起動をかけ、コマンド及び必要なパラメータを送信し処理を依頼する（Ｓ１２）。依頼された機器制御部５８は、操作画面や表示画像の生成処理あるいは操作指示の選択処理あるいは機器の選択処理を行う。

続いて、ＣＰＵ５２は、出力部５５に、機器制御部５８より出力された情報を出力する（Ｓ１３）。これにより、操作画面や表示画像の生成処理が行われる。

ステップＳ１１でＮｏと判断すると、ＣＰＵ５２は、入力部５６よりシステム終了コマンドがあったかどうかを確認し（Ｓ１４）、Ｎｏの場合は、次の情報提示を行うため、ステップＳ１１にブランチし、これら一連の処理の流れを繰り返す。ステップＳ１４でＹｅｓが確認されると、ＣＰＵ５２は、処理を終了する。

図１１は、本発明の一実施形態に係る機器操作支援装置２０の機器制御部５８の構成を示すブロック図である。図１１において、本実施形態の機器操作支援装置２０の機器制御部５８は、操作コマンド選択部８１と、機器選択部８２と、操作画面提示部８３とを備える。

操作コマンド選択部８１は、ユーザが選択した操作アイコン等に従って、機器情報格納部５７に格納されている操作コマンド列の情報を参照し、機器システム１０に対する操作指示を決定したり、その操作指示に対応する操作コマンドを生成したりする。

機器選択部８２は、ユーザが選択した機器アイコン等に従って、操作コマンド選択部８１で選択された操作コマンドに対応した操作コマンド体系と機器情報格納部５７に格納された機器情報を参照し、操作の対象となる機器を決定する。

操作画面提示部８３は、機器システム１０における機器の構成と接続状態を示した操作画面を提示する。

図１２は、図１１に示される機器制御部５８の動作を示すフローチャートである。以下、図１１を参照して機器制御部５８の動作を説明する。

まず、機器制御部５８は、ＣＰＵ５２あるいは入力部５６から送られてきた指示及びパラメータを解析し（Ｓ１２１）、各指示に対応した処理を行う。

例えば、ステップＳ１２１で解析された指示の種類が操作画面を作成する指示であれば、ステップＳ１２２にブランチする。

そして、機器制御部５８は、指定された操作画面に対応した表示画像を機器操作支援装置２０の出力部５５に出さずにバックグラウンドで実行処理が行えるよう出力部５５への表示出力を中間バッファで行うように、ＣＰＵ５２に依頼する（Ｓ１２２）。

そして、機器制御部５８は、操作画面提示部８３に表示画像を作成するために必要なパラメータあるいは情報を送信し処理を依頼する。処理を依頼された操作画面提示部８３は、処理を実行する（Ｓ１２３）。

さらに、操作画面提示部８３は、中間バッファの表示出力を出力部５５へ出力するように、ＣＰＵ５２に処理を依頼する（Ｓ１２４）。このとき、操作画面提示部８３は、指定された操作画面に対応した表示画像を機器操作支援装置２０の出力部５５に出さずにバックグラウンドで実行処理が行えるよう出力部５５への表示出力を中間バッファで行うように、ＣＰＵ５２に依頼する。

図１３は、図１２におけるステップＳ１２３（操作画面提示部８３の処理）の詳細を示すフローチャートである。

まず、操作画面提示部８３は、機器情報格納部５７に格納されている情報を読み込む（Ｓ１２３１）。ここで、機器情報格納部５７に格納されている情報内容の一例について説明する。

図１４は、機器情報格納部５７に格納されている機器情報の一例であり、図３に示された機器情報をより詳細化したものの一部を示している。機器情報は、ここでは、「番号」６１、「メディア番号」６２、「表示画像アドレス」６３、「表示画像枚数」６４、「表示座標」６５、「接続モード」６６、「入力端子」６７、「出力端子」６８、「コンテンツポインタ」６９等から構成される。

「番号」６１は、機器情報格納部５７に格納されている機器情報のレコード番号である。「メディア番号」６２は、操作画面を構成する機器の識別番号（通信路１１上の識別アドレスと機器の種別情報とを兼ね備えた番号）である。機器の種別とメディア番号の対応関係の一例は、図１５に示される通りである。

「表示画像アドレス」６３は、各機器を表現する表示画像が格納されている機器情報格納部５７内のメモリのアドレスが格納されている。「表示画像枚数」６４は、各機器を表現する表示画像が格納されている枚数が格納されている。「表示座標」６５は、表示画像を操作画面提示部８３により出力部５５に表示する際のディスプレイ座標（Ｘ、Ｙ）が格納されている。

「接続モード」６６は、接続属性を制御するために必要なパラメータが格納されており、例えば、接続モードがＯＮ状態（「１」）の場合、この機器操作支援装置２０とネットワーク接続、あるいは無線ＬＡＮ接続、あるいは直接端子接続されている状態（オンライン状態）を表現する。また、接続モードがＯＦＦ状態（「０」）の場合、ネットワーク接続あるいは無線ＬＡＮあるいは直接端子接続が可能であるが現在は有機的に繋がっていない（オフライン状態である）ことを示している。

「入力端子」６７は、当該機器側に入力される情報の端子が存在するか否か（つまり、当該機器が信号の供給先となり得るか否か）を示す。存在する場合はＯＮ（「１」）で、存在しない場合はＯＦＦ（「０」）である。さらに、入力端子から入力される情報の種類を限定する。例えば、図１４に示される機器情報において、番号＝８に格納されている機器（５：ＳＤスロット）の入力端子に（動画不可）と記載されている。この実施の形態では、通信路１１に接続されているＳＤスロットへの入力は、動画については不可であって、静止画しか入力を受け付けないことを示している。

「出力端子」６８は、当該機器から出力される情報の端子が存在するか否か（つまり、当該機器が信号の供給元となり得るか否か）を示す。存在する場合はＯＮ（「１」）で、存在しない場合はＯＦＦ（「０」）である。さらに、出力端子から出力される情報の種類を限定することも可能である。

「コンテンツポインタ」６９は、メディア番号で示される機器のコンテンツの情報リストへのポインタ（格納場所を示すアドレス）を示す。この「コンテンツポインタ」６９は、操作画面上にポップアップされる子画面としての操作メニューへのポインタの一例である。例えば、図１４に示される機器情報において、番号＝６の機器（３：ＤＶＤレコーダ）の「コンテンツポインタ」６９によりインデックスされている情報例を図１６に示す。図１６に示される情報例の表示画面を図１７に示す。図１６に示されるように、「コンテンツポインタ」６９によりインデックスされる情報は、「コンテンツの番号」７１、「コンテンツ名」７２、「表示画像アドレス」７３、「表示画像枚数」７４、「表示座標」７５、「コマンドパラメータ」７６、「現モードフラグ」７７、「メモリアドレス」７８等から構成される。

「コンテンツの番号」７１は、機器情報格納部５７に格納されている機器情報が示す機器に格納されているコンテンツ情報のレコード番号である。「コンテンツ名」７２は、コンテンツに対応する名前で、機器（この例では、ＤＶＤ）の中に入っているコンテンツの名前である。通常、録画した内容のタイトルなどをコンテンツの名前にする。「表示画像アドレス」７３は、各コンテンツを表現する表示画像が格納されているメモリのアドレスが格納されている。「表示画像枚数」６４は、各コンテンツを表現する表示画像が格納されている枚数が格納されている。「表示座標」７５は、表示画像を操作画面提示部８３により出力部５５に表示する際のディスプレイ座標（Ｘ、Ｙ）が格納されている。

「コマンドパラメータ」７６は、表示属性を制御するために必要なパラメータが格納されており、例えば、「現モードフラグ」７７、「メモリアドレス」７８などが格納されている。「現モードフラグ」７７は、現在、表示対象あるいはダビング対象として指定されているコンテンツかどうか、あるいは、ダビングする場合の上書き可否を示すフラグを表現し、例えば、図１６に示される情報例では、「コンテンツ１」の表示画像（現モードフラグ＝１）がＯＮ状態で、残りのコンテンツは０となりＯＦＦになっている。「メモリアドレス」７８は、コンテンツの内容が記録されている機器にセットされている記録媒体のメモリアドレスを示す。

また、図１４に示される機器情報において、番号＝７の機器（４：ＨＤＤレコーダ）の「コンテンツポインタ」６９によりインデックスされている情報例を図１８に示す。図１８に示される情報例の表示画面を図１９に示す。図１８に示されるように、「コンテンツポインタ」６９によりインデックスされる情報は、「コンテンツの番号」８１、「コンテンツ名」８２、「表示画像アドレス」８３、「表示画像枚数」８４、「表示座標」８５、「コマンドパラメータ」８６、「現モードフラグ」８７、「メモリアドレス」８８等から構成される。

「コンテンツの番号」８１は、機器情報格納部５７に格納されている機器情報が示す機器に格納されているコンテンツ情報のレコード番号である。「コンテンツツ」８２は、コンテンツに対応する名前で、機器（この例では、ＨＤＤ）の中に入っているコンテンツの名前である。通常、録画した内容のタイトルなどをコンテンツの名前にする。「表示画像アドレス」８３は、各コンテンツを表現する表示画像が格納されているメモリのアドレスが格納されている。「表示画像枚数」８４は、各コンテンツを表現する表示画像が格納されている枚数が格納されている。「表示座標」８５は、表示画像を操作画面提示部８３により出力部５５に表示する際のディスプレイ座標（Ｘ、Ｙ）が格納されている。

「コマンドパラメータ」８６は、表示属性を制御するために必要なパラメータが格納されており、例えば、「現モードフラグ」８７、「メモリアドレス」８８などが格納されている。「現モードフラグ」８７は、現在、表示対象あるいはダビング対象として指定されているコンテンツかどうか、あるいは、ダビングする場合の上書き可否を示すフラグを表現し、例えば、図１８に示される情報例では、「コンテンツ１１」の表示画像（現モードフラグ＝１）がＯＮ状態で、残りのコンテンツは０となりＯＦＦになっている。図１８の情報例で番号＝４（リスト名＝その他１）の現モードがＯＮになっている。表示画像のポインタ＝ＮＵＬＬなので何も入っていないことを示している。「メモリアドレス」８８は、コンテンツの内容が記録されている機器にセットされている記録媒体のメモリアドレスを示す。

図２０は、この機器操作支援装置２０が生成する操作コマンドの型（コマンド型）とパラメータを説明する図である。本図に示されるように、機器操作支援装置２０が生成する操作コマンド、つまり、操作指示の内部表現形式は、パラメータの個数を基準にすると、Ｉ型コマンドとＩＩ型コマンドがある。インターネットも含めたテレビ操作コマンドの構造を分析すると、図１２に示されるように、合計で３つの構造に抽象化される。

図２０において、Ｓは主語、Ｖは動詞、Ｏは目的語１、目的語２、Ｃは補語を表している。主語や第２目的語（目的語２）は、省略可能である。省略可能な項を（ ）で囲むと最も単純な操作コマンドは以下のような形式で表現される。

（主語 ＋ ）動詞 ＋ 目的語１ （＋目的語２）
例えば、
（私が） 見る テレビ ：（動詞＋目的語１）
（私が） 移す ＳＤから ＤＶＤへ：（動詞＋目的語１＋目的語２）
（私が） 探す グルメ情報を インターネットから：（動詞＋目的語１＋目的語２）

なお、主語の属性としてユーザ分類や習熟度が考えられる。例えば、ユーザ分類は、一般ユーザ、子供、障害者、老人など、ユーザの年齢やハンディキャップによって分類され、習熟度ではノバイスか熟練者の属性を持つ。より知的な操作誘導システムを目指す場合、主語の属性によって操作誘導を支援する内容や手順が変化するメカニズムを考慮する必要がある。しかしながら、操作画面を作成するためのシステムモデルの基本的な構造を検討するうえでは、前述したように、主語は省略可能であるため、主語の属性と制御についての詳細は省略する。

また、図２１に示されるように、ＡＶ機器（ＴＶ／ＤＶＤレコーダ等）についての基本的な操作コマンドの動詞群には、「見る」、「撮る」、「移す」、「探す」、「予約する」、「接続・設定」などがある。また、オーディオ系も含めると、「見る」に加えて「聞く」という動詞が追加される。

さらに、インターネットを介しての代表的なコマンドである「買う」、「売る」、「送る」、「受け取る」も含めると以下のように表現される。

（私は） 買う 本を インターネットショッピングから：（動詞＋目的語１＋目的語２）
（私は） 売る 本を 楽天オークションで：（動詞＋目的語１＋目的語２）
（私は） 送る 写真を 祖父母の家に：（動詞＋目的語１＋目的語２）
（私は） 受け取る ＡＶ年賀状を 子供から：（動詞＋目的語１＋目的語２）

以上のように、代表的なコマンドの抽象的な命令体系はテレビ操作コマンドに限らず、オーディオ系やインターネットを介したコマンドに対しても適応できる。

なお、図２１は、ＡＶ機器の操作コマンド（操作指示）を構成する動詞群の一覧を示す動詞群情報の例を示す。この動詞群情報は、「動詞の番号」９１、「動詞名」９２、「表示画像アドレス」９３、「表示座標」９４等から構成される。

「動詞の番号」９１は、機器情報格納部５７に格納されている機器情報が示す機器に格納されている動詞情報のレコード番号である。「動詞名」９２は、動詞に対応する名前で、操作コマンド選択部８１で選択できる動詞の名前である。

「表示画像アドレス」９３は、各操作コマンドを表現する表示画像（ここでは、「操作アイコン」）が格納されているメモリのアドレスが格納されている。例えば、図４に示される操作画面の雛形の最上段に表示されている動詞群に対応する操作アイコン、例えば「見たいなあ」、「買いたい、受け取りたいなあ」、「見ながら保存したいなあ」、「予約保存したいなあ」へのアドレスが格納されている。「表示座標」９４は、表示画像を操作画面提示部８３により出力部５５に表示する際のディスプレイ座標（Ｘ、Ｙ）が格納されている。

なお、本実施の形態においては、操作コマンド（機器システム１０に対する操作指示）の選択は、ユーザによって操作画面から直接、ポインティングして指示されたが、この操作は、画面の別の領域に表示されたメニューからでも、リモコンにセットされたボタンからでも入力が可能であり、特に、操作画面からの入力に限定されるものではない。

代表的なＡＶ機器であるＴＶ／ＤＶＤレコーダと携帯電話に対する操作指示の種類の具体例を図２２に示す。図２２に示されるように、操作指示には、接続処理、設定処理、実行処理、エラー処理などの種類がある。特に、ユーザが、ＴＶ／ＤＶＤレコーダにおいて、「操作手順のわかりにくさ」を感じている操作指示は、初期設定（ハードウエア接続やアンテナ設定）、録画予約、ダビングなどである。また、将来への拡張性を考慮して、テレビをユビキタスネットワークの情報端末として位置付けるためには、テレビやＤＶＤ操作のための操作指示に加えて、インターネットへのハード的な接続処理、アクセス方法、情報ブラウジング、情報入手、情報発信などのコマンドも含めた統一的なシステムモデルの操作指示を想定する必要がある。

ここで、図１３に示されるフローチャートに戻り、説明を続ける。
操作画面提示部８３は、機器情報格納部５７に格納されている機器情報等を読み込むとともに、機器情報格納部５７に格納されている操作画面の雛形情報（図４に示される初期画面としての操作画面の情報）を読み込む（Ｓ１２３１）。

続いて、操作画面提示部８３は、機器情報に登録されている各機器の「番号」６１、「メディア番号」６２、「表示画像アドレス」６３、「枚数」６４、「表示座標」６５、「接続モード」６６、「入力端子」６７、「出力端子」６８の情報と、図４に示されている操作画面の雛形の図を参照して、機器の配置、配線を行い、初期画面としての操作画面を完成させる（Ｓ１２３２）。

そして、操作画面提示部８３は、完成された操作画面の情報を中間バッファに送信し、制御を機器制御部５８へ制御を渡す（Ｓ１２３３）。なお、読み込まれた雛形情報の表示イメージは、図４に示される通りである。

ここで、図１２に示されるフローチャートに戻り、図１２のステップＳ１２１で、解析された指示の種類が機器を選択する指示（機器アイコンの選択）であれば、ステップＳ１２５にブランチし、操作画面提示部８３は、機器を選択した際の操作画面を提示する。

なお、ステップＳ１２５の処理は、ステップＳ１２３の処理と同じであるので省略する。

機器制御部５８は、機器選択部８２に、機器選択処理を行うよう依頼する（Ｓ１２６）。

図２３は、図１２におけるステップＳ１２６（機器選択部８２による機器選択処理）の詳細を示すフローチャートである。

まず、機器選択部８２は、機器情報格納部５７に格納されている機器情報を読み込む（Ｓ１２６１）。

次に、機器選択部８２は、入力部２１から機器選択（機器アイコンの選択）における座標情報を受け取り、いま読み込んだ機器情報の「表示座標」６５から選択された機器を決定するとともに、操作画面で選択された機器の「メディア番号」６２を、目的語１として、機器制御部５８に送信する（Ｓ１２６２）。

次に、機器選択部８２は、その時点で対象としている操作コマンドが必要とする目的語が１つであるか否かを確認する（Ｓ１２６３）。例えば、「見る」コマンドであれば、目的語は１つであり、「ダビングする」コマンドであれば、目的語が２つ必要になる。

その結果、目的語が１つである場合には（Ｓ１２６３でＹｅｓ）、例えば、対象としている操作コマンドが「見る」コマンドである場合は、機器選択部８２は、選択された機器の情報を機器制御部５８に送信するとともに制御を渡す。

一方、目的語が１つでない場合、つまり、２つの目的語を必要とする場合には（Ｓ１２６３でＮｏ）、例えば、対象としている操作コマンドが「ダビングする」コマンドである場合は、機器選択部８２は、入力部２１から機器選択の座標情報を受け取り、いま読み込んだ機器情報の「表示座標」６５から選択された機器を決定するとともに、操作画面で選択された機器の「メディア番号」６２を、目的語２として、機器制御部５８に送信し、制御を渡す（Ｓ１２６４）。

図１２の説明に戻り、図１２のステップＳ１２１で、解析された指示の種類が操作アイコンの選択（操作指示の種類の決定）であれば、ステップＳ１２７にブランチし、操作画面提示部８３は、操作コマンドの種類を決定する操作画面を提示する。なお、ステップＳ１２７の処理は、ステップＳ１２３の処理と同じであるので省略する。

機器制御部５８は、操作コマンド選択部８１に、操作コマンド選択処理を行うよう依頼する（Ｓ１２８）。

図２４は、図１２におけるステップＳ１２８（操作コマンド選択部８１による操作コマンド選択処理）の詳細を示すフローチャートである。

まず、操作コマンド選択部８１は、機器情報格納部５７に格納されている情報を読み込む（Ｓ１２８１）。具体的には、図２１に示される動詞群の情報を読み込む。

次に、操作コマンド選択部８１は、入力部５６から、選択された操作アイコンの座標情報を受け取り、いま読み込んだ操作コマンドの動詞群の表示座標から、選択された操作アイコンに対応する操作指示の種類を選択する（Ｓ１２８２）。

次に、操作コマンド選択部８１は、選択された操作指示の種類を調べ、操作指示の種類毎の処理を行う（Ｓ１２８３）。

例えば、選択された操作指示の種類が「見る」コマンドに一致した場合は、ステップＳ１２８４に分岐し、機器制御部５８は、図７の操作画面に示される処理を、図２５及び図２６に示されるフローチャートに従って、実行する（Ｓ１２８４）。

また、選択された操作指示の種類が「ダビングする」コマンドに一致した場合は、ステップＳ１２８５に分岐し、機器制御部５８は、図８の操作画面に示される処理を、図２７及び図２８に示されるフローチャートに従って、実行する（Ｓ１２８５）。

また、選択された操作指示の種類がそれ以外の場合は、ステップＳ１２８６に分岐して、機器制御部５８は、それ以外の処理を行う（Ｓ１２８６）。ここでは、その説明を省略する。

図２５は、テレビを見るためのユーザ操作の流れ、図２６は、そのユーザ操作に対応して動作する操作コマンド選択部８１による処理の流れを示す図である。なお、インターネットを含めたテレビ操作コマンドの基本構造を調査した結果、Ｓ＋Ｖ＋Ｏ＋Ｏの操作コマンド体系で表現され、テレビ操作コマンドの操作の流れ、処理の流れは、「機器の設定」、「対象の設定」、「場所の設定」、などの基本的な操作の組み合わせで表現されることが分かった。以下、その流れを説明する。

（１）「テレビを見る」
＜操作の流れ（図２５参照）＞
（i）機器の設定（電源、配線等）ができていないならば機器の設定操作を行う（Ｓ２０、Ｓ２１）。
（ii）見たいものが決まっていなければ見たいものを決める操作を行う（Ｓ２２、Ｓ２３）。
（iii）どこにあるかわからなければ場所を探す操作を行う（Ｓ２４、Ｓ２５）。
（iv）今見れるものでなければ予約視聴の操作を行う（Ｓ２６、Ｓ２７）。

以上の操作を経て、ユーザは、テレビを見ることになる（Ｓ２８）。以上の操作は、テレビを見るたびに、繰り返される（Ｓ２９）。

＜処理の流れ（図２６参照）＞
（i）機器の設定（電源、配線等）ができていないならば機器の設定操作を行うようユーザに促し、内部的な機器の初期設定、データのローディング等の処理を行う。
（ii）見たいものが決まっていなければ見たいものを決める操作を行うようユーザに促し、ユーザの操作に応じて、コンテンツ検索やＥＰＧによる番組選択、メディア選択などの内部処理を行い（Ｓ３０）、チャンネル番号や番組情報などの設定処理を行う（Ｓ３１〜Ｓ４１、Ｓ５０〜Ｓ６３）。
（iii）どこにあるかわからなければ場所を探す操作を行うようユーザに促し、ユーザの操作に応じて、メディア選択などの内部処理を行い（Ｓ５０〜Ｓ５２）、チャンネル番号や番組情報などの設定処理を行う（Ｓ５３〜Ｓ６３）。
（iv）今見れるものでなければ予約視聴の操作を行うようユーザに促し、予約視聴の設定処理を行う。

図２７は、ダビングするためのユーザ操作の流れ、図２８は、そのユーザ操作に対応して動作する操作コマンド選択部８１による処理の流れを示す図である。

（２）「ダビングする」
＜操作の流れ（図２７参照）＞
（i）機器の設定（電源、配線等）ができていないならば機器の設定操作を行う（Ｓ７０、Ｓ７１）。
（ii）ダビングしたいものが決まっていなければダビングしたいものを決める操作を行う（Ｓ７２、Ｓ７３）。
（iii）どこにあるかわからなければ場所を探す操作を行う（Ｓ７４、Ｓ７５）。
（iv）どこにダビングしたいのか決まっていなければダビングする場所を決める操作を行う（Ｓ７６、Ｓ７７）。

以上の操作を経て、ユーザは、ダビングをすることになる（Ｓ７８）。以上の操作は、ダビングするたびに、繰り返される（Ｓ７９）。

＜処理の流れ（図２８参照）＞
（i）機器の設定（電源、配線等）ができていないならば機器の設定操作を行うようユーザに促し、内部的な機器の初期設定、データのローディング等の処理を行う。
（ii）ダビングしたいものが決まっていなければダビングしたいものを決める操作を行うようユーザに促し、ユーザの操作に応じて、コンテンツ検索やＥＰＧによる番組選択、メディア選択などの内部処理を行い（Ｓ８０）、チャンネル番号や番組情報などの設定処理を行う（Ｓ８１〜Ｓ９１、Ｓ１００〜Ｓ１１３）。
（iii）どこにあるかわからなければ場所を探す操作を行うようユーザに促し、ユーザの操作に応じて、メディア選択などの内部処理を行い（Ｓ１００〜Ｓ１０２）、チャンネル番号や番組情報などの設定処理を行う（Ｓ１０３〜Ｓ１１３）。
（iv）どこへダビングするのか決まっていなければダビングする場所を探す操作を行うようユーザに促し、ユーザの操作に応じて、メディア選択などの内部処理を行い、メディア内のダビング場所（メモリアドレス）やダビングのための空き領域等の確認を行い、ダビングするための設定処理を行う（Ｓ１０７でＮｏ、Ｓ１１４）。

次に、以上のように構成された本実施の形態における機器操作支援装置２０による操作画面の表示例（操作の誘導例）について説明する。

図７は、操作画面において「ＤＶＤが見たいなあ」という操作を指示する場合における操作の流れの表示例を示している。まず、図４に示される初期画面に対して入力部２１で操作アイコン「見たいなあ」が選択されると、選択可能な機器への配線が行われる。本実施の形態においては、斜線型の矢印線で表示されている。ユーザが入力部２１からＤＶＤを指定すると、「ＤＶＤが見たいなあ」→「ＤＶＤ」への配線が強調表示される。例えば、強調表示として、線の色、太さの変更、あるいは点滅などのアニメーションが用いられる。また、選択可能でない機器の場合、線の種類を破線にしたり、機器自身の色の輝度、色相、コントラストを下げたり形状を小さくするなどの相対効果が用いられてもよい。

また、本実施の形態では、ＤＶＤの中に格納されているコンテンツも簡単に指定できるように、画面の「目的語１」の下部にコンテンツリストが表示される。ここで、コンテンツリストの表示窓が小さくて見えにくい場合、例えば、コンテンツ窓をダブルクリックすることで、画面のコンテンツ窓の右側にコンテンツリスト表示の拡大表示がポップアップし、拡大表示されたコンテンツリストから、ユーザは見たいコンテンツを指定できる。コンテンツの内容が指定されたら、コンテンツはシステムイメージの「表示」ディスプレイに表示されるとともに、「見たい」→「ＤＶＤ」→「テレビ画面」の系列で配線の強調表示が行われる。さらに、「見たい」という動詞は目的語を１つしかとらないので、操作画面の「目的語２」と「確認」行にある機器の画像と配線は色を薄くしたり、破線にして選択ができないことがユーザに伝えられる。

また、図８は、操作画面において「ＤＶＤ→ＨＤＤへのダビングがしたいなあ」という操作を指示する場合の操作の流れの表示例を示している。まず、図４に示される初期画面に対して入力部２１から操作アイコン「ダビングしたい」（ここでは、図示されていない）が選択されると、選択可能な機器への配線が行われる。本実施の形態においては、実線で表示されている。ユーザが入力部２１からＤＶＤを指定すると、「ダビングしたい」→「ＤＶＤ」への配線が強調表示される。例えば、強調表示として、線の色、太さの変更、あるいは点滅などのアニメーションが用いられる。また、選択可能でない機器の場合、線の種類を破線にしたり、機器自身の色の輝度、色相、コントラストを下げたり形状を小さくするなどの相対効果が用いられてもよい。

また、本実施の形態では、ＤＶＤの中に格納されているコンテンツも簡単に指定できるように、画面の目的語１の下部にコンテンツリストが表示される。また、コンテンツリストの表示窓が小さくて見えにくい場合、例えば、コンテンツ窓をダブルクリックすることで、画面のコンテンツ窓の右側にコンテンツリスト表示の拡大表示がポップアップし、拡大表示されたコンテンツリストから、ユーザはダビングしたいコンテンツを指定できる。コンテンツの内容が指定されたら、コンテンツはシステムイメージの「表示」ディスプレイに表示されるとともに、「ダビングしたい」→「ＤＶＤ」→「テレビ画面」の系列で配線の強調表示が行われる。さらに、「ダビングしたい」という動詞は目的語を２つとるので、操作画面の「目的語２」と「確認」行にある機器の中でシステムに接続してダビングできる機器の強調表示と配線の強調表示が行われる。

また、本実施の形態では、ＨＤＤの中に格納されているコンテンツが、ダビングされてコンテンツ領域を上書きされ消去されてもかまわないコンテンツかどうかを簡単に確認できるための、画面の目的語２の下部の「確認」行をコンテンツ窓として利用して、コンテンツリストを表示している。また、ダビングされる側のコンテンツリストの表示窓が小さくて見えにくい場合、例えば、コンテンツ窓をダブルクリックすることで、画面のコンテンツ窓の左側にコンテンツリスト表示の拡大表示がポップアップし、拡大表示されたコンテンツリストからユーザはダビングしたいメモリアドレスを画面から指定できる。コンテンツのダビングする場所が指定されたら、つぶされても良いコンテンツ領域はシステムイメージの「確認」行に表示されるとともに、「ダビングしたい」→「ＤＶＤ」→「テレビ画面」→「ＨＤＤ」→「確認」行の系列で配線の強調表示が行われる。

なお、本実施の形態では、どこからどこへという指定が画面上でできることと、機器情報格納部５７に、図１６、図１８に示されるように、各コンテンツの格納メモリアドレスを格納しているので、各コンテンツの容量も算出できるため、ダビングのためのコピー先のメモリ容量が不足している場合や、有効コンテンツが入っている場合（例えば、図１８のコンテンツ１１、１２、１３のメモリアドレスが有効）、残量不足の警告メッセージや上書きの確認メッセージをユーザに提示することも可能である。

以上のように、本実施の形態における機器操作支援装置２０によれば、機器に対する可能な操作指示を論理的に表現したグラフィカルな操作画面が提示されるので、機器をどのように操作すればよいか（機器操作）が容易に把握される。また、個別の操作メニューではなく、機器システムの全体を示す操作画面が提示されるので、一瞥して、機器システム全体に対する操作を指示することができる。つまり、本発明により、機器システムに対する全体像を簡単に把握できるとともに、直感的な操作で、複雑な機器システムに対する操作を簡単に行うことができる。

このように、本発明に係る機器操作支援装置２０によれば、機器が多機能となり複合機化、ネットワーク化、分散化され、機器構成の可視化や操作の流れが複雑化するユビキタス時代の情報機器操作において、空間的に分散された機器のシステム構成が操作の流れを中心にシステムイメージとして可視化され、ユーザは複雑な操作の流れを直感的に理解できることから、親和性、操作性の向上が図られ、特に、高齢者やコンピュータ操作経験の少ないユーザ、新しいシステムを導入した直後で操作方法がよくわからない初心者向けのＧＵＩ装置として、その実用的価値は極めて高い。

以上、本発明に係る機器操作支援装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、実施の形態に対して当業者が思いつく各種変形を施したものも本発明に含まれる。

たとえば、本実施の形態では、機器操作支援装置２０は、通信路１１を介して機器システム１０に接続され、機器システム１０を構成する各機器に対して遠隔制御を実行したが、本発明は、このようなオンライン機能を必須として装備する構成に限定されない。つまり、本発明に係る機器操作支援装置は、操作画面に対するユーザの指示を反映した操作コマンド、つまり、機器に送信する操作コマンドを生成するスタンドアローン型の装置として実現されてもよい。

本発明は、機器の操作を支援する装置として、特に、複数の機器から構成される機器システムに対する操作を支援する機器操作支援装置として、及び、高齢者やコンピュータ操作経験の少ないユーザ、新しいシステムを導入した直後で操作方法がよくわからない初心者向けのＧＵＩ装置として、利用することができる。

本実施の形態における機器操作支援装置及び操作の対象となる機器システムを含む全体構成を示す図 図１に示された機器操作支援装置の構成を示す機能ブロック図 機器情報のデータ例を示す図 初期画面の表示例を示す図 機器操作支援装置の動作を示すフローチャート 初期画面表示部が備える動詞群テーブルの例を示す図 「ＤＶＤが見たいなあ」を選択した場合の操作画面の表示例を示す図 「ダビングしたいなあ」を選択した場合の操作画面の別の表示例を示す図 機器操作支援装置のハードウェア構成を示すブロック図 機器操作支援装置の動作を示すフローチャート 機器操作支援装置の機器制御部の詳細な構成を示すブロック図 機器制御部の動作を示すフローチャート 図１２におけるステップＳ１２３の詳細を示すフローチャート 機器情報格納部に格納されている機器情報の一例を示す図 機器の種別とメディア番号の対応関係の一例を示す図 図１４における「コンテンツポインタ」によりインデックスされる情報例を示す図 図１６に示される情報例の表示画面例を示す図 図１４における「コンテンツポインタ」によりインデックスされる別の情報例を示す図 図１８に示される情報例の表示画面例を示す図 機器操作支援装置が生成する操作コマンドの型とパラメータを説明する図 ＡＶ機器の基本的な操作コマンドの動詞群の例を示す図 ＴＶ／ＤＶＤレコーダと携帯電話に対する操作コマンドの種類の具体例を示す図 図１２におけるステップＳ１２６の詳細を示すフローチャート 図１２におけるステップＳ１２８の詳細を示すフローチャート テレビを見るためのユーザ操作の流れを示す図 図２５に示されるユーザ操作に対応して動作する操作コマンド選択部による処理の流れを示す図 ダビングするためのユーザ操作の流れを示す図 図２７に示されるユーザ操作に対応して動作する操作コマンド選択部による処理の流れを示す図 従来の機器操作支援装置のブロック図 従来の誘導型ＧＵＩを説明する図

符号の説明

１ デジタル放送用チューナ
２ ＤＶＤレコーダ
３ ＴＶ
４ デジタルカメラ
５ ＰＣ
１０ 機器システム
１１ 通信路
２０ 機器操作支援装置
２１ 入力部
２２ ディスプレイ
２３ 通信部
２４ 機器情報格納部
２４ａ 機器情報
２５ 表示制御部
２５ａ 初期画面表示部
２５ｂ 表示変更部
２５ｃ 子画面表示部
２６ 選択状態記憶部
２６ａ 選択状態情報
２７ 操作コマンド生成部
５２ ＣＰＵ
５３ ＲＯＭ
５４ ＲＡＭ
５５ 出力部
５６ 入力部
５７ 機器情報格納部
５８ 機器制御部
５９ 通信部
８１ 操作コマンド選択部
８２ 機器選択部
８３ 操作画面提示部

Claims (11)

1. 複数の機器から構成される機器システムに対する操作を支援する機器操作支援装置であって、
   ユーザの指示を受け付ける入力部と、
   画像を表示するディスプレイと、
   前記複数の機器を特定する機器情報を格納している機器情報格納部と、
   前記機器情報格納部に格納された機器情報が示す複数の機器に対して可能な操作指示を論理的に表現した操作画面であって、操作指示の種類を示す操作アイコンと前記複数の機器を示す機器アイコンと前記複数の機器間の信号の流れを示す矢印線とを含む操作画面を前記ディスプレイに表示する初期画面表示部と、
   前記操作画面に表示された操作アイコンのいずれかに対する指定が前記入力部によって受け付けられた場合に、指定された操作アイコンに対応する処理を行う機器の機器アイコンと当該処理における信号の流れを示す矢印線とが強調表示されるように前記操作画面を変更し、前記操作画面に表示された機器アイコンのいずれかに対する指定が前記入力部によって受け付けられた場合に、指定された機器アイコンに対応する機器が行う処理に対応する操作アイコンと当該処理における信号の流れを示す矢印線とが強調表示されるように前記操作画面を変更し、変更した操作画面を前記ディスプレイに表示する表示変更部と、
   操作指示の入力を完了した旨の指示が前記入力部によって受け付けられた場合に、前記操作画面で強調表示されている箇所に対応する情報からなる操作コマンドを生成する操作コマンド生成部と
   を備えることを特徴とする機器操作支援装置。
2. 前記機器操作支援装置はさらに、前記複数の機器と通信する通信部を備え、
   前記機器情報格納部は、前記通信部を介して前記機器情報を取得し、取得した機器情報を保持し、
   前記操作コマンド生成部は、生成した操作コマンドを、前記通信部を介して、当該操作コマンドに対応する機器に送信する
   ことを特徴とする請求項１記載の機器操作支援装置。
3. 前記初期画面表示部は、複数の選択可能な操作アイコンの並びと、前記信号の供給元となる複数の選択可能な機器アイコンの並びと、前記信号の供給先となる複数の選択可能な機器アイコンの並びとを含む操作画面を前記ディスプレイに表示し、
   前記表示変更部は、前記操作アイコン及び前記機器アイコンの並びを変更することなく、前記強調表示がされるように前記操作画面を変更する
   ことを特徴とする請求項１記載の機器操作支援装置。
4. 前記操作コマンド生成部は、前記操作画面で強調表示されている操作アイコン、前記信号の供給元となる機器アイコン及び前記信号の供給先となる機器アイコンを特定する情報が、それぞれ、動詞、第１の目的語及び第２の目的語となる文型の操作コマンドを生成する
   ことを特徴とする請求項３記載の機器操作支援装置。
5. 前記操作コマンド生成部は、前記操作画面で強調表示されている操作アイコン及び機器アイコンを特定する情報が、それぞれ、動詞及び第１の目的語となる文型の操作コマンドを生成する
   ことを特徴とする請求項１記載の機器操作支援装置。
6. 前記機器情報格納部はさらに、前記複数の機器それぞれの操作メニューを特定する操作メニュー情報を格納し、
   前記機器操作支援装置はさらに、前記複数の機器アイコンのいずれかに対応する機器に対して詳細な操作をしたい旨の指示が前記入力部によって受け付けられた場合に、当該機器の操作メニュー情報を前記機器情報格納部から読み出し、読み出した操作メニュー情報が示す操作メニューを表示する子画面表示部を備え、
   前記操作コマンド生成部は、前記子画面表示部によって表示された操作メニューに対して前記入力部が受け付けた指示を含む操作コマンドを生成する
   ことを特徴とする請求項１記載の機器操作支援装置。
7. 前記表示変更部は、前記入力部によって前記操作アイコン又は前記機器アイコンに対する指定が受け付けられた場合に、直前に強調表示されていた操作アイコン、機器アイコン及び矢印線のうち、指定された操作アイコン又は機器アイコンに対応するものだけが強調表示されるように前記操作画面を変更する
   ことを特徴とする請求項１記載の機器操作支援装置。
8. 前記強調表示には、色の変化、線種の変化、大きさの変化、形状の変化及びアニメーション表示の少なくとも一つが含まれる
   ことを特徴とする請求項１記載の機器操作支援装置。
9. 前記初期画面表示部は、前記入力部が初期画面を表示する旨の指示を受け付けたとき、又は、当該機器操作支援装置の電源が投入されたときに、前記操作画面を前記ディスプレイに表示する
   ことを特徴とする請求項１記載の機器操作支援装置。
10. 複数の機器から構成される機器システムに対する操作を支援する機器操作支援装置による機器操作支援方法であって、
    機器情報格納部に格納された機器情報が示す複数の機器に対して可能な操作指示を論理的に表現した操作画面であって、操作指示の種類を示す操作アイコンと前記複数の機器を示す機器アイコンと前記複数の機器間の信号の流れを示す矢印線とを含む操作画面を前記ディスプレイに表示する初期画面表示ステップと、
    前記操作画面に表示された操作アイコンのいずれかに対する指定が入力部によって受け付けられた場合に、指定された操作アイコンに対応する処理を行う機器の機器アイコンと当該処理における信号の流れを示す矢印線とが強調表示されるように前記操作画面を変更し、前記操作画面に表示された機器アイコンのいずれかに対する指定が前記入力部によって受け付けられた場合に、指定された機器アイコンに対応する機器が行う処理に対応する操作アイコンと当該処理における信号の流れを示す矢印線とが強調表示されるように前記操作画面を変更し、変更した操作画面を前記ディスプレイに表示する表示変更ステップと、
    操作指示の入力を完了した旨の指示が前記入力部によって受け付けられた場合に、前記操作画面で強調表示されている箇所に対応する情報からなる操作コマンドを生成する操作コマンド生成ステップと
    を含むことを特徴とする機器操作支援方法。
11. 複数の機器から構成される機器システムに対する操作を支援する機器操作支援装置のためのプログラムであって、
    請求項１０記載の機器操作支援方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。