JP2005020508A

JP2005020508A - Device operation system

Info

Publication number: JP2005020508A
Application number: JP2003184165A
Authority: JP
Inventors: Mutsuko Yamamoto; 睦子山本; Masazumi Yamada; 山田　　正純
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-06-27
Filing date: 2003-06-27
Publication date: 2005-01-20
Anticipated expiration: 2023-06-27
Also published as: JP4325297B2

Abstract

<P>PROBLEM TO BE SOLVED: To give the same operation to a certain function of AV equipment regardless of the type of a terminal to be used in the operation even though a UI of an equipment main body and a UI for an external terminal are needed for the operation via a network when the AV equipment is incorporated into the network. <P>SOLUTION: A device operation system has a main body control part 102 for the operation of a device main body, a remote control part 103 for the operation via the network and a device control part 104 for controlling the device. The first operation judgment part 109 of the main body control part 102 and the second operation judgment part 113 of the remote control part 103 respectively have a plurality of operating states, and the individual operating states are associated with each other. The same function is provided in an operating state managed by the second operation determining part 113 which is associated with an operating state managed by the first operation judgment part 109. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明はネットワーク対応ＡＶ機器用ユーザインターフェース及びアプリケーションに関する。
【０００２】
【従来の技術】
近年、ネットワーク経由でＡＶ機器の操作が可能になってきており、宅外からもインターネットとブラウザを用いて機器を制御することができるように、機器本体の制御手段以外に、制御手段を提供しているものがある（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−１０３５５６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、機器本体用のＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）以外にネットワーク経由で接続する外部端末用のＵＩが必要となり、前記従来の構成では、機器本体用ＵＩの表現能力や入力手段と、外部端末用ＵＩの表現能力や入力手段には差があるため、ＵＩがその機器に特化したものになってしまい、機器本体と外部端末との操作性に一貫性がないという問題を有していた。
【０００５】
本発明は、上記事情を考慮してなされたもので、ＡＶ機器のある１つの機能に対して、操作に使用する端末の種類に関わらず、同じ操作性を与える機器操作システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の本発明は、機器本体の操作を制御する本体制御部と、ネットワーク経由で前記機器の操作を制御するリモート制御部と、前記本体制御部、または、前記リモート制御部の制御に従って、前記機器を制御する機器コントロール部により構成される機器操作システムであって、前記本体制御部は、外部より入力される前記機器を操作する第１の操作指示情報に基づいて前記機器の本体イベント情報を出力する本体入力手段と、前記機器の動作状態を管理し、前記本体イベント情報と現在の前記機器の状態より、前記機器の次の動作状態を決定し、前記第１の動作指示情報を出力する第１の動作判定手段と、前記第１の動作判定手段より出力される前記第１の動作指示情報より、前記機器コントロール部に第１の機器コントロール情報を送ることで前記機器を制御し、その結果、必要であれば動作結果を出力するために必要な第１の表示内容情報を生成する本体動作処理手段と、前記本体動作処理手段より出力される前記第１の表示内容情報より、外部に出力する為の出力信号を作成する表示処理手段、とで構成され、前記リモート制御部は、外部端末よりネットワーク経由で入力される前記機器を操作する第２の操作指示情報に基づいてリモートイベント情報を出力し、前記外部端末へ出力指示情報を出力する入出力処理手段と、前記機器の動作状態を管理し、前記リモートイベント情報と現在の前記機器の状態より、前記機器の次の動作状態を決定し、前記第２の動作指示情報を出力する第２の動作判定手段と、前記第２の動作判定手段より出力される前記第２の動作指示情報より、前記機器コントロール部に第２の機器コントロール情報を送ることで前記機器を制御し、その結果、必要であれば前記外部端末に動作結果を出力するために必要な第２の表示内容情報を生成するリモート動作処理手段と、前記リモート動作処理手段より出力される前記第２の表示内容情報より、前記外部端末の表現能力に合わせた形の出力指示情報を生成し、前記入出力処理部へ出力する入出力生成手段、とで構成され、機器コントロール部は、前記機器のハードウエアの操作を行い、前記機器が持つコンテンツやデータベースにアクセスする能力を持ち、前記第１の動作判定手段が管理する動作状態と、前記第２の動作判定手段が管理する動作状態が対応付けられており、対応付けられた動作状態においては、同じ機能を提供することを特徴とする機器操作システムである。
【０００７】
請求項２の本発明は、請求項１記載の機器操作システムにおいて、同じ機能とは、本体動作処理手段とリモート動作処理手段が同一のデータベースから、現在の動作状態から次の動作状態へ遷移するために用いる遷移情報を取得し、遷移情報からそれぞれ同一の遷移情報を選択した後の状態が、第１の動作判定手段が決定する遷移先の動作状態と、第２の動作判定部が決定する遷移先の動作の状態が対応付けられたものであることを特徴とする機器操作システムである。
【０００８】
請求項３記載の本発明は、請求項１記載の機器操作システムにおいて、同じ機能とは、出力信号を用いてユーザに提示した選択肢と出力指示情報を用いてユーザに提示した選択肢の各々が対応付けられており、機器本体において対応付けられた選択肢が選択された時の機器コントロール部の動作と、外部端末で対応付けられた選択肢が選択された時の機器コントロール部の動作が同じであることを特徴とする機器操作システムである。
【０００９】
【発明の実施の形態】
以下に、本発明の実施の形態について図を参照して説明する。まず、各実施の形態において問題のモデルケースを説明し、その問題の解決手順を、本発明の各実施の形態の動作に応じて説明する。
【００１０】
まず、システム構成の基本形を示し、それに対して各実施の形態でその実装方法を述べる。
【００１１】
図１は本発明のシステム構成の基本的な構成を示すブロック図である。図１において、本システムが搭載されたＡＶ機器１０１は、本体制御部１０２、リモート制御部１０３、機器コントロール部１０４で構成され、本体制御部１０２は、ＡＶ機器１０１を本体側から操作する際に使用するリモコン１０５、本体側から操作する際にＡＶ機器１０１の出力を表示する表示手段であるＴＶ１０７、リモコン１０５からの操作命令を入力する為の本体用入力部１０８、ＡＶ機器１０１の状態を判断し、次の状態を決定する第１の動作判定部１０９、第１の動作判定部１０９の判定の結果に応じて、実際の処理を行う本体動作処理部１１０、本体動作処理部１１０で作成した出力をＴＶ１０７に表示できるように処理をする表示処理部１１１で構成される。また、リモート制御部１０３は、ＡＶ機器１０１をネットワークを介して操作するときに使用する外部端末１０６、外部端末１０６に対して入出力手段を提供する入出力処理部１１２、ＡＶ機器１０１の状態を判断し、ＡＶ機器１０１の次の状態を決定する第２の動作判定部１１３、第２の動作判定部１１３の判定結果に応じて、実際の処理を行うリモート動作処理部１１４、リモート動作処理部１１４で作成した出力を外部端末１０６に表示できるように処理する画面生成部１１５で構成されている。
【００１２】
（実施の形態１）
本発明の実施の形態１について説明する。図２は本発明の実施の形態１における機器操作システムの構成の一例を示すブロック図である。
【００１３】
図２において、本システムが搭載された静止画／動画／音楽の蓄積・閲覧機能を持つＡＶ機器２０１は、本体制御部２０２、リモート制御部２０３、機器コントロール部２０４で構成され、本体制御部２０２は、本体側から操作する際に使用するリモコン２０５、本体側から操作する際に機器の出力の表示手段として使用するＴＶ２０７、リモコン２０５からの操作命令を入力する為の本体用入力部である赤外線受信部２０８、ＡＶ機器２０１の状態を判断し、次の状態を決定する第１の動作判定部である本体動作判定プログラム２０９、本体動作判定プログラム２０９の判定の結果、実際の処理を行う本体動作処理部である本体動作処理プログラム２１０、本体動作処理プログラム２１０で作成した出力をＴＶ２０７に表示できるように処理をする本体用ＧＵＩライブラリ及びビデオコントローラ２１１で構成される。また、リモート制御部２０３は、ネットワークを介して操作するときに使用する外部端末であるＷｅｂブラウザ搭載携帯電話２０６、外部端末に対して入出力手段を提供する入出力処理部であるＷｅｂサーバ２１２、ＡＶ機器２０１の状態を判断し、次の状態を決定する第２の動作判定部であるＣＧＩ（ＣｏｍｍｏｎＧａｔｅｗａｙＩｎｔｅｒｆａｃｅ）プログラム２１３、ＣＧＩプログラム２１３の判定の結果、実際の処理を行うリモート動作処理部であるリモート動作処理プログラム２１４、携帯電話２０６に合わせて画面を生成する為のＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）パーサとＸＳＬＴ（ＸＭＬＳｔｙｌｅｓｈｅｅｔＬａｎｇｕａｇｅＴｒａｎｓｆｏｒｍ）プロセッサで構成されている。
【００１４】
本実施の形態の構成及び動作を、具体例を挙げて説明する。本実施の形態では、ユーザがＡＶ機器２０１に入っている静止画アルバムの中から、所望の静止画を取り出して表示する場合を例にとって、説明する。ここで、本体側の操作では、ユーザはＡＶ機器２０１の本体をリモコン２０５を用いて操作し、本体用のＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）や静止画をＴＶ２０７に表示するものとする。また、ネットワーク経由では、ユーザはＷｅｂブラウザ搭載の携帯電話２０６を用い、Ｗｅｂブラウザの機能を使って携帯電話２０６のディスプレイ上にリモート用のＧＵＩや静止画を表示するものとする。
【００１５】
ここで、ＡＶ機器２０１本体内において、静止画は図４、図５のようなデータベースを用いて静止画が幾つか集まったアルバムという単位で管理されている。図４はアルバムリストの一例を示し、各アルバムの情報として、アルバムＩＤ、アルバム名、撮影日時、撮影場所等が登録されている。図５は、アルバムに属するコンテンツリストの一例を示している。図５は、図４におけるアルバムの中で、アルバムＩＤが１５であるアルバムのコンテンツリストを示し、各コンテンツは、コンテンツ情報として、アルバムＩＤ、コンテンツ名、コンテンツファイル名等が登録され、コンテンツの特定にはファイル名が利用されている。ここで、アルバムはコンテンツのリストからなるが、本実施の形態ではコンテンツの種類は静止画として説明する。
【００１６】
ＡＶ機器２０１に蓄えられている静止画を見るには、図３に示すような手順で行われる。図３はリモコンで操作した場合（ＴＶ画面）と携帯電話で操作した場合に表示される画面を手順の順番で示している。まず、図３の３０１、３０４に示すように、ユーザはＡＶ機器２０１が格納しているアルバムリストを画面に表示するよう操作し、表示されたアルバムリストの中から所望のアルバムを選択する。図３においては、アルバムリストは、図４に示すアルバムリストが格納されている場合を示している。アルバムを選択すると、図３の３０２、３０５に示すように、アルバムに格納されている静止画（コンテンツ）を示すコンテンツリストが表示される。この場合は図４に示すアルバムＩＤが１５の冬休み旅行が選択されるので、図５に示すアルバムＩＤが１５であるコンテンツ名が画面に表示される。さらに、図３の３０３、３０６に示すように、ユーザはコンテンツリストの中から、夕日を選択し、夕日の静止画が表示される。
【００１７】
以下、本体側において状態が図３の３０１に示す「アルバムリストの選択」から、３０２に示す「コンテンツリストの選択」へ変わる際の機器の動作について詳細に説明する。
【００１８】
今、図３の３０１のようにＴＶ２０７上でリストボックス３０７にアルバムリストが表示されており、リストボックス３０７の上から６番目の要素「冬休み」にフォーカスが当っているとする。現在の状態は「アルバムリスト選択中」であり、本体動作判定プログラム２０９がこの状態を管理している。ここで、ユーザは要素「冬休み」を選択したことを機器に知らせる為に、リモコン２０５の決定ボタンを押す。このとき、リモコン２０５からの赤外線信号が赤外線受信部２０８に届くと、赤外線受信部２０８はこの赤外線信号を解析し、解析した情報から図６のような本体動作判定プログラム２０９のＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍＩｎｔｅｒｆａｃｅ）を呼び出す。図６はアルバムが表示されているリストボックス上で決定キーが押されたこと、および、決定キーが押された行を通知するＡＰＩの一例を示す。
【００１９】
呼び出された本体動作判定プログラム２０９は図６に示すＡＰＩの引数と、現在の状態「アルバムリスト選択中」という情報から、次に「コンテンツリストの選択」へ状態を変化させ、且つ「冬休み」アルバムのコンテンツリストを表示する必要があることが分かるので、図７に示すリストボックスの行数とアルバムＩＤの関連表からリストボックス６番目の要素に該当する「冬休み」のアルバムＩＤ（＝１５）を割り出した後、図８に示すような本体動作処理プログラム２１０のＡＰＩを用いて、コンテンツリストデータベースからアルバムＩＤが１５であるデータを取得するよう指示する。図８はアルバムＩＤを引数とし、コンテンツリストをデータベースから取得するＡＰＩの一例である。このとき、本体動作処理プログラム２１０は機器コントロール部２０４を用いて、「アルバムタイトル」「撮影日時」「撮影場所」等のデータを取得する。
【００２０】
ここで、操作手段の入力手段および表示能力と、取得するデータの種類との関係について解説する。機器本体の入力手段はリモコン２０５であり、主に、上下左右、決定のキーを使用する。よって、フォーカスの移動は２次元方向である。また、表示能力としては、２次元表示が可能で、表示領域は８００×６００ｐｉｘｅｌ以上である。一方、携帯端末２０６については、入力手段は上下ボタンと決定キーであり、表示能力は、１次元表示、１２０×１６０ｄｏｔである。このため、もし、アルバムリストからアルバムを選ぶ時にフォーカスを移動させるときのリモコンボタン押下手順を機器本体と外部端末で合わせようとすると、外部端末に合わせて、上下ボタンと決定キーのみで選択できる必要がある。そこで、機器本体、外部端末の双方で、アルバムリストからアルバムを選ぶときの手順は、フォーカスを上下方向に移動させて、決定ボタンで選択できるように設計する。
【００２１】
この取得したデータはユーザに提示する必要があるため、本体動作処理プログラム２１０は図９のように本体用ＧＵＩライブラリ及びビデオコントローラ２１１のＡＰＩ呼び出しを行う。図９は表示先のＧＵＩ部品と、表示したいコンテンツのリストデータを引数として、コンテンツリストを画面上に表示するＡＰＩの一例である。本体用ＧＵＩライブラリ及びビデオコントローラ２１１はこのデータを元にＧＵＩを作成し、ＮＴＳＣ（ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎＳｔａｎｄａｒｄｓＣｏｍｍｉｔｔｅｅ）の信号としてＴＶ２０７に出力する。出力の結果は図３の３０２の通りである。この動作が完了すると、本体動作判定プログラム２０９はＡＶ機器２０１の状態を「コンテンツリスト選択」に変更する。
【００２２】
次に、ユーザが外部端末側において状態が図３の３０４に示す「アルバムリストの選択」から、３０５に示す「コンテンツリストの選択」へ変わる際の機器の動作について説明する。
【００２３】
今、図３の３０４のように、携帯電話２０６のＷｅｂブラウザ上でリストボックス３０８にアルバムリストが表示されており、リストボックス３０８の上から６番目の要素「冬休み」にフォーカスが当っているとする。ユーザはこの要素を選択したことを機器に知らせる為に、携帯電話２０６の決定ボタンを押す。このとき、携帯電話２０６のＷｅｂブラウザから、図１０のようなリクエストがＷｅｂサーバ２１２に届く。Ｗｅｂサーバ２１２はこのリクエストを解析し、解析した情報から図１１のようなＣＧＩプログラム２１３を呼び出す。呼び出されたＣＧＩプログラム２１３は選択された要素の行数を示す引数と、現在の状態「アルバムリスト選択中」という情報から、次に「コンテンツリストの選択」へ状態を変化させ、且つ「冬休み」アルバムのコンテンツリストを表示する必要があることが分かるので、図７のリストボックスの行数とアルバムＩＤの関連表からリストボックス６番目の要素に該当する「冬休み」のアルバムＩＤ（＝１５）を割り出した後、図１２のようなリモート動作処理プログラム２１４のＡＰＩを用いて、コンテンツリストデータベースからアルバムＩＤが１５のデータを取得する。図１２はコンテンツリストが所属するアルバムＩＤより、コンテンツリストをデータベースから取得するＡＰＩの一例を示す。
【００２４】
ここで、先程機器本体操作で述べたように、機器本体との表現能力の違いにより、携帯端末２０６では、機器本体と同じ情報を表示することが出来ず、おのずと表示できるデータ量が制限される。そこで、形態端末２０６では、表示する種類を減らすことによって、機器本体と外部端末で見比べた時にその表示が同じ状態だと言える最低限の表示を行うことにする。本実施の形態では、そのリストを構成するデータの種類を１つに絞り、１次元の表にして並べることにした。現在の状態は「アルバムリスト選択中」であり、最低限必要な要素は、アルバムを表すデータのリストである。そこで、本実施の形態では、機器本体で表示したアルバムを表すデータである「アルバムタイトル」、「撮影日時」、「撮影場所」の中で、「アルバムタイトル」だけを取得することとする。そのため、機器本体と外部端末で機器コントロール部の振る舞いが変わってくる。
【００２５】
携帯端末２０６ではフォーカス移動に使用するキーは上下キーに制限されるため、機器本体でアルバムリストを選択する場合に上下ボタンと決定キーだけで選択できるようにした。このデータはユーザに提示する必要があるため、リモート動作処理プログラム２１４は画面生成部に図１３のようなＡＰＩ呼び出しによって引数として渡す。図１３は表示したいコンテンツのリストデータを引数として、コンテンツリストを画面上に表示するＡＰＩの一例を示す。
【００２６】
ここで、携帯端末２０６の表示領域（文字幅、列数）は、端末によって違う為、その端末ごとに表示内容を最適化しなければならない。そこで、端末ごとに表示内容を最適化するためのＸＳＬＴデータを用意し、ＸＭＬパーサとＸＳＬＴプロセッサ２１５を用いてＸＭＬデータをＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）に変換する際に、ＸＳＬＴデータを用いてその端末に合う文字幅や列数に変換する。作成されたＨＴＭＬ形式のファイルはＷｅｂサーバに送られる。ＷｅｂサーバはこのＨＴＭＬ形式のデータをＨＴＴＰ（ＨｙｐｅｒＴｅｘｔＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）リクエストに対するレスポンスとして携帯電話２０６に送り返す。携帯電話２０６はそれを受け取って、Ｗｅｂブラウザ上で表示をする。ＣＧＩプログラム２１３は、Ｗｅｂサーバがリクエストを送り返した時点で、機器の状態を「コンテンツリスト選択」に変更する。
【００２７】
このような仕組みを採用することで、同じアルバムに対してＡＶ機器の操作を本体側で行っても、外部端末側で行っても、アルバムリストから１つアルバムを選んだときに同じコンテンツリストを表示することができる。
【００２８】
また、本体側と外部端末側で、アルバムリストから１つのアルバムを決定するまでのフォーカスの移動させるボタン操作の手順を合わせることができる。
【００２９】
また、本実施の形態では、静止画のアルバムリスト選択について説明したが、動画や音楽のアルバムリストからのアルバムの選択や、コンテンツリストからのコンテンツの選択など、同じＡＶ機器内のデータベースにアクセスするが、本体と外部端末の表示能力の差による最適化が必要であるため、本体側と外部端末側から操作した時の機器コントロール部の動作が違うものである操作についても、本発明に該当する。
【００３０】
（実施の形態２）
本発明の第２の実施の形態について説明する。本発明の機器操作システムの構成を示すブロック図は図２と同じである。
【００３１】
以下、本実施の形態の構成及び動作を具体例を挙げて説明する。
【００３２】
今、ユーザはＡＶ機器２０１にはいっている予約一覧からある予約を選択した後に予約詳細を表示した状態から予約を削除したいとする。ここで、「予約詳細」状態から次の状態に行くには、図１４のように選択肢が３つ用意されている。選択肢はそれぞれ予約の「修正」、「削除」、「追加」である。また、ユーザはＡＶ機器２０１の本体をリモコン２０５を用いて操作し、本体用のＧＵＩをＴＶ２０７に表示し、ネットワーク経由では、ユーザはＷｅｂブラウザ搭載の携帯電話２０６を用い、Ｗｅｂブラウザの機能を使って携帯電話２０６のディスプレイ上にリモート用のＧＵＩを表示するものとする。
【００３３】
この機器本体内において、予約は図１５のようなデータベースを用いて管理されており、予約一覧と予約の間の関連付けにはＩＤが利用されている。図１５は予約データベースを示し、予約情報として、予約ＩＤ、予約日、予約開始時刻、予約終了時刻、チャンネル、タイトル、ドライブ、録画モード等を登録している。
【００３４】
まず、ユーザが本体側において、状態を「予約詳細表示」から「予約削除完了」に変える際の機器の動作について説明する。
【００３５】
今、図１６の１６０２のように予約一覧を表示した１６０１の状態より、「ドラマスペシャル」を選択し、ＴＶ２０７上で「ドラマスペシャル」の予約詳細内容が表示された状態になっているとする。現在の状態は、「予約詳細表示」であり、本体動作判定プログラム２０９がこの状態を管理している。また、図１５に示すように、「ドラマスペシャル」の予約ＩＤは３である。ここで、ユーザは「ドラマスペシャル」の予約を削除することを機器に知らせる為に、削除ボタン１６０９にフォーカスをあわせてリモコン２０５の決定ボタンを押したとする。このとき、リモコン２０５からの赤外線信号が赤外線受信部２０８に届くと、赤外線受信部２０８はこの赤外線信号を解析し、解析した情報から図１７のように本体動作判定プログラム２０９のＡＰＩを呼び出す。図１７は、リストボックスで選択された行を引数として、削除ボタンが押されたことを示すＡＰＩの一例を示す。
【００３６】
呼び出された本体動作判定プログラム２０９はＡＰＩの引数と、現在の状態「予約詳細表示」という情報から、次に「予約の削除」へ状態を変化させ、且つ「ドラマスペシャル」の削除をする必要があることが分かるので、図１９のような本体動作処理プログラム２１０のＡＰＩを用いて、予約データベースから予約ＩＤが３のデータを削除する。図１９は予約ＩＤを引数とし、予約データベースから予約を削除するＡＰＩの一例である。本実施の形態では、実施の形態１のように、機器本体と外部端末の表示性能差を考慮する必要は無い。本実施の場合は、データベースの内容を表示するのではなく、短いユーザに対する完了確認通知を出すだけであるからである。
【００３７】
さて、この完了確認通知はユーザに表示するために、本体動作処理プログラム２１０は図２０のような本体用ＧＵＩライブラリ及びビデオコントローラ２１１のＡＰＩ呼び出しを行う。図２０は表示先のＧＵＩ部品に結果と結果のコメントを表示するＡＰＩの一例である。本体用ＧＵＩライブラリ及びビデオコントローラ２１１はこのデータを元にＧＵＩを作成し、ＮＴＳＣの信号としてＴＶ２０７に出力する。出力の結果は図１６の１６０３の通りである。この動作が完了すると、本体動作判定プログラム２０９は機器の状態を「予約削除完了」に変更する。
【００３８】
次に、ユーザが外部端末側において状態が「予約一覧表示」から「予約削除完了」へ変わる際の機器の動作について説明する。
【００３９】
今、図１６の１６０５のように、携帯電話２０６のＷｅｂブラウザ上で予約一覧を表示した１６０４の状態から、「ドラマスペシャル」を選択し、「ドラマスペシャル」の予約詳細内容が表示された状態になっているとする。また、現在の状態は「予約詳細表示」であり、ＣＧＩプログラム２１３がこの状態を管理している。さらに、図１５に示すように、「ドラマスペシャル」の予約ＩＤは３とする。
【００４０】
ここで、ユーザは「ドラマスペシャル」の予約を削除することを機器に知らせるために、削除ボタンの上で携帯電話の決定ボタンを押したとする。このとき、携帯電話２０６のＷｅｂブラウザからの図２９のようなリクエストがＷｅｂサーバ２１２に届く。Ｗｅｂサーバ２１２はこのリクエストを解析し、解析した情報から図２２のようなＡＰＩを用いてＣＧＩプログラム２１３を呼び出す。呼び出されたＣＧＩプログラム２１３は引数と、現在の状態「予約詳細表示中」という情報から、次に「予約削除完了」へ状態を変化させ、かつ、「ドラマスペシャル」の予約を削除する必要があることが分かるので、図２３のようなリモート動作処理プログラム２１４のＡＰＩを用いて、予約データベースから予約ＩＤが３のデータを削除する。ここで、機器コントロールでの予約削除の動作の内容は全く同じになり、その結果、機器コントロール部の動作は機器本体と外部端末で同じになる。また、機器本体操作で述べたように、実施の形態１のように、機器本体と外部端末の表示性能差を考慮する必要は無い。
【００４１】
予約の削除が完了した後、削除完了通知をユーザに提示する必要があるため、リモート動作処理プログラム２１４は画面生成部に図２４のようにＡＰＩ呼び出しによって引数として渡す。図２４は結果と結果についてのコメントを表示するＡＰＩの一例である。ここで、外部端末の表示領域（文字幅、列数）は、端末によって違う為、その端末ごとに表示内容を最適化しなければならない。そこで、端末ごとに表示内容を最適化するためのＸＳＬＴデータを用意し、ＸＭＬパーサとＸＳＬＴプロセッサ２１５を用いてデータをＨＴＭＬに変換する際に、ＸＳＬＴデータを用いてその端末に合う文字幅や列数に変換する。作成されたＨＴＭＬ形式のファイルはＷｅｂサーバに送られる。ＷｅｂサーバはこのＨＴＭＬ形式のデータをＨＴＴＰリクエストに対するレスポンスとして携帯電話に送り返す。携帯電話はそれを受け取って、Ｗｅｂブラウザ上で表示をする。ここで、リモート動作処理プログラム２１４は、Ｗｅｂサーバがリクエストを送り返した時点で、機器の状態を「予約削除完了」に変更する。
【００４２】
本実施の形態によれば、予約の削除を実行するとき、ＡＶ機器の操作を本体側で行うか、外部端末側で行うかに関わらず、同じ予約を削除することができる。
【００４３】
また、本体側と外部端末側で、メニューから削除対象の予約を決定するまでのフォーカスの移動させるボタン操作の手順を合わせることができる。
【００４４】
また、本実施の形態では、予約の削除について説明したが、ＡＶ機器２０１の電源を遠隔操作で入切するなど、本体と外部端末の端末能力の差による最適化が必要でないため本体側と外部端末側から操作した時の機器コントロール部の動作が同じである操作についても本発明に該当する。
【００４５】
（実施の形態３）
本発明の第３の実施の形態について説明する。本発明の機器操作システムの構成は実施の形態１の構成と同様である。
【００４６】
以下、本実施の形態の構成及び動作を具体例を挙げて説明する。
【００４７】
今、ユーザはＡＶ機器２０１にはいっている予約一覧からある予約を選択し、予約を修正するために詳細を表示したいとする。ここで、「予約一覧」状態から次の状態に行くには、図３３のように選択肢が３つ用意されている。選択肢はそれぞれ予約の「修正」、「削除」、「追加」である。また、ユーザはＡＶ機器２０１の本体をリモコン２０５を用いて操作し、本体用のＧＵＩをＴＶ２０７に表示するものとする。また、ネットワーク経由では、ユーザはＷｅｂブラウザ搭載の携帯電話２０６を用い、Ｗｅｂブラウザの機能を使って携帯電話２０６のディスプレイ上にリモート用のＧＵＩを表示するものとする。ＡＶ機器２０１本体内において、予約は図１５のようなデータベースを用いて管理されており、予約一覧と予約の間の関連付けにはＩＤが利用されている。
【００４８】
まず、ユーザが本体側において状態が「予約一覧表示」から「予約の修正」へ変わる際の機器の動作について説明する。
【００４９】
今、図２５の２５０１のようにＴＶ２０７上でリストボックス２５０５に予約一覧が表示されており、リストボックス２５０５の上から３番目の要素「ドラマスペシャル」が選択された状態になっている。現在の状態は「予約一覧表示」であり、本体動作判定プログラム２０９がこの状態を管理している。ここで、ユーザが「ドラマスペシャ」の予約の内容を修正することを機器に知らせる為に、修正ボタンにフォーカスをあわせてリモコン２０５の決定ボタンを押したとする。
【００５０】
このとき、リモコン２０５からの赤外線信号が赤外線受信部２０８に届くと、赤外線受信部２０８はこの赤外線信号を解析し、解析した情報から本体動作判定プログラム２０９のＡＰＩを呼び出す。呼び出された本体動作判定プログラム２０９は図２６のようなＡＰＩの引数と、現在の状態「予約一覧表示」という情報から、次に「予約の修正」へ状態を変化させ、且つ「ドラマスペシャル」の詳細を表示する必要があることが分かるので、図１８のリストボックスの行数と予約ＩＤの関連表からリストボックス３番目の要素に該当する「ドラマスペシャル」の予約ＩＤ（＝３）を割り出した後、図２７のような本体動作処理プログラム２１０のＡＰＩを用いて、予約データベースから予約ＩＤが３のデータを取得する。ここで、図２６はリストボックスで選択された行を引数として、修正ボタンが押されたことを通知するＡＰＩ、図２７は予約ＩＤを引数として、予約データベースから予約を取得するＡＰＩの一例を示す。
【００５１】
実施の形態１で示したように、機器本体と外部端末の表示性能差を考慮し、予約一覧から予約を選ぶ時にフォーカスを移動させるときのリモコンボタン押下手順を機器本体と外部端末で合わせようとすると、外部端末に合わせて、上下ボタンと決定キーのみで選択できる必要がある。そこで、機器本体、外部端末の双方で、予約一覧から予約を選ぶときの手順は、フォーカスを上下方向に移動させて、決定ボタンで選択できるように設計する。ユーザが修正したい予約内容のデータはユーザに提示する必要があるため、本体動作処理プログラム２１０は図２８のように本体用ＧＵＩライブラリ及びビデオコントローラ２１１のＡＰＩ呼び出しを行う。図２８は表示先のＧＵＩ部品と表示したい予約のデータを引数として予約詳細を表示するＡＰＩの一例である。
【００５２】
本体用ＧＵＩライブラリ及びビデオコントローラ２１１はこのデータを元にＧＵＩを作成し、ＮＴＳＣの信号としてＴＶ２０７に出力する。出力結果は図２５の２５０２に示す。この動作が完了すると、本体動作判定プログラム２０９は機器の状態を「予約の修正」に変更する。
【００５３】
次に、ユーザが外部端末側において状態が「予約一覧表示」から「予約の修正」へ変わる際の機器の動作について説明する。
【００５４】
今、図２５の２５０３に示すように、携帯電話２０６のＷｅｂブラウザ上でラジオボタンのリスト２５０６に予約一覧が表示されており、ラジオボタンのリスト２５０３の上から３番目の要素「ドラマスペシャル」にフォーカスが当たっている。ユーザは「ドラマスペシャル」の予約内容を修正する機器に知らせるために、修正ボタンにフォーカスをあわせて携帯電話の決定ボタンを押したとする。
【００５５】
このとき、携帯電話２０６のＷｅｂブラウザから、図２９のようなリクエストがＷｅｂサーバ２１２に届く。Ｗｅｂサーバ２１２はこのリクエストを解析し、解析した情報から図３０のようなＣＧＩプログラム２１３を呼び出す。呼び出されたＣＧＩプログラム２１３は引数と、現在の状態「予約一覧選択中」という情報から、次に「予約の修正」へ状態を変化させ、かつ、「ドラマスペシャル」の予約詳細を表示する必要があることが分かるので、まず図１８のリストボックスの行数と予約ＩＤの関連表からリストボックス３番目の要素に該当する「ドラマスペシャル」の予約ＩＤ（＝３）を割り出した後、図３１のようなリモート動作処理プログラム２１４のＡＰＩを用いて、予約データベースから予約ＩＤが３のデータを取得する。図３１はコンテンツリストが所属するアルバムのＩＤを引数として予約データベースから予約データを取得するＡＰＩの一例である。
【００５６】
ここで、実施の形態１で述べたように、携帯端末２０６には表示できるデータ量の問題が発生するが、今回の場合、予約の修正のため、機器本体と外部端末で表示するデータの種類が同じであることが必須になる。つまり、機器コントロールでの予約ＩＤが３のデータを取得する時のＡＰＩの内容が全く同じになり、その結果、機器本体と外部端末で機器コントロール部の動作は同じになる。また、外部端末はフォーカス移動に使用するキーは、上下キーに制限されるため、機器本体で予約一覧を選択する場合に上下ボタンと決定キーだけで選択できるようにする。また、予約を表すデータは、機器本体で表示した「予約日」「予約開始時刻」「予約終了時刻」「チャンネル」「録画モード」「ドライブ」「タイトル」と同じである。このデータはユーザに提示する必要があるため、リモート動作処理アプリケーションは画面生成部に図３２のようにＡＰＩ呼び出しによって引数として渡す。図３２は表示したいコンテンツのリストデータを引数として、コンテンツリストを画面上に表示するＡＰＩの一例を示す。ここで、外部端末の表示領域（文字幅、列数）は、端末によって違う為、その端末ごとに表示内容を最適化しなければならない。そこで、端末ごとに表示内容を最適化するためのＸＳＬＴデータを用意し、ＸＭＬパーサとＸＳＬＴプロセッサ２１５を用いてデータをＨＴＭＬに変換する際に、ＸＳＬＴデータを用いてその端末に合う文字幅や列数に変換する。
【００５７】
作成されたＨＴＭＬ形式のファイルはＷｅｂサーバに送られる。ＷｅｂサーバはこのＨＴＭＬ形式のデータをＨＴＴＰリクエストに対するレスポンスとして携帯電話２０６に送り返す。携帯電話２０６はそれを受け取って、Ｗｅｂブラウザ上で表示をする。ここで、リモート動作判定アプリケーションは、Ｗｅｂサーバがリクエストを送り返した時点で、機器の状態を「予約の修正」に変更する。
【００５８】
本実施の形態によれば、予約一覧から予約を１つ選んで予約修正を選択するとき、ＡＶ機器の操作を本体側で行うか、外部端末側で行うかに関わらず、予約一覧から１つ選んだときに同じ予約修正の内容を表示することができる。
【００５９】
また、本体側と外部端末側で、予約一覧から１つの予約を決定するまでのフォーカスの移動させるボタン操作の手順を合わせることができる。
【００６０】
また、本実施の形態では、予約の修正画面表示について説明したが、表示項目について、同じＡＶ機器内のデータベースにアクセスするが、本体と外部端末の端末能力の差による最適化が必要でないため、本体側と外部端末側から操作した時の機器コントロール部の動作が同じである操作についても本発明に該当する。
【００６１】
以上のように、本実施の形態によれば、ＡＶ機器の本体のＵＩを覚えれば、外部端末を操作できるようになる。また、その逆も可能になる。
【００６２】
なお、本実施の形態では外部端末の例として携帯電話を用いたが、Ｗｅｂブラウザの搭載されている機器なら何でも良い。例えば、ＰＤＡ、ＰＣ、インターネット閲覧端末、Ｗｅｂブラウザ搭載のＴＶなどである。
【００６３】
また、本実施の形態では、予約一覧から予約を選ぶ、もしくはアルバムリストからアルバムを選ぶ、を例にあげたが、機器内のデータベースからデータの一覧を表示し、その中から１つ選ぶのであれば、データの種類は問わない。
【００６４】
また、本実施の形態では、データベースは１つであったが、データベースは１つに限らず、２つ以上のデータベースであってもよい。その際のデータベースは互いのデータが関連付けてあることが望ましい。
【００６５】
また、本実施の形態では、画面生成部として、ＸＭＬパーサとＸＳＬＴプロセッサを用いたが、これに限定するものではない。
【００６６】
【発明の効果】
以上のように、本発明によれば、機器の本体側操作手段と外部端末側操作手段に、同じ操作性を与えることができる。即ち、機器が内蔵するデータに対してある操作を本体側で行っても、外部端末側で行っても、同じ結果を得ることができる。
【００６７】
また、本体側と外部端末側で対応付けられた状態と、対応付けられた選択肢が用意された場合、同じ選択肢を選ぶと、同じ結果を得ることができる。
【００６８】
また、本体側と外部端末側で、内蔵するデータのリストから１つのデータを決定するまでのフォーカスの移動させるボタン操作の手順を合わせることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の基本構成を示すブロック図
【図２】本発明の機器操作システムの構成の一例を示すブロック図
【図３】本発明の実施の形態１におけるＴＶ画面及び携帯電話画面の表示の遷移図
【図４】同アルバムリストのデータベースの説明図
【図５】同コンテンツリストのデータベースの説明図
【図６】同本体用状態管理プログラムのＡＰＩ呼び出しの説明図
【図７】同リストボックスとアルバムリストの関係を示す表図
【図８】同本体用動作処理プログラムのＡＰＩ呼び出しの説明図
【図９】同本体用ＧＵＩライブラリのＡＰＩ呼び出しの説明図
【図１０】同ＷｅｂサーバへのＨＴＴＰリクエストの説明図
【図１１】同動作判定プログラムのＣＧＩプログラムの呼び出しの説明図
【図１２】同外部端末用動作処理プログラムのＡＰＩ呼び出しの説明図
【図１３】同画面生成部用インタフェースのＡＰＩ呼び出しの説明図
【図１４】本発明の実施の形態２における予約詳細表示での選択肢の説明図
【図１５】本発明の実施の形態２と実施の形態３における予約データベースの説明図
【図１６】本発明の実施の形態２における同ＴＶ画面及び携帯電話画面の表示の遷移図
【図１７】同本体用状態管理プログラムのＡＰＩ呼び出しの説明図
【図１８】同リストボックスとアルバムリストの関係を示す表図
【図１９】同本体用動作処理プログラムのＡＰＩ呼び出しの説明図
【図２０】同本体用ＧＵＩライブラリのＡＰＩ呼び出しの説明図
【図２１】同ＷｅｂサーバへのＨＴＴＰリクエストの説明図
【図２２】同動作判定プログラムのＣＧＩプログラムの呼び出しの説明図
【図２３】同外部端末用動作処理プログラムのＡＰＩ呼び出しの説明図
【図２４】同画面生成部用インタフェースのＡＰＩ呼び出しの説明図
【図２５】本発明の実施の形態３におけるＴＶ画面及び携帯電話画面の表示の遷移図
【図２６】同本体用状態管理プログラムのＡＰＩ呼び出しの説明図
【図２７】同本体用動作処理プログラムのＡＰＩ呼び出しの説明図
【図２８】同本体用ＧＵＩライブラリのＡＰＩ呼び出しの説明図
【図２９】本発明の実施の形態２におけるＷｅｂサーバへのＨＴＴＰリクエストの説明図
【図３０】同動作判定プログラムのＣＧＩプログラムの呼び出しの説明図
【図３１】同外部端末用動作処理プログラムのＡＰＩ呼び出しの説明図
【図３２】同画面生成部用インタフェースのＡＰＩ呼び出しの説明図
【図３３】本発明の実施の形態３における予約一覧表示での選択肢の説明図
【符号の説明】
１０１ＡＶ機器
１０２本体制御部
１０３リモート制御部
１０４機器コントロール部
１０５リモコン
１０６外部端末
１０７ＴＶ
１０８本体用入力部
１０９第１の動作判定部
１１０本体動作処理部
１１１表示処理部
１１２入出力処理部
１１３第２の動作判定部
１１４リモート動作処理部
１１５画面生成部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a user interface and application for a network-compatible AV device.
[0002]
[Prior art]
In recent years, it has become possible to operate AV equipment via a network, and in addition to the control means of the equipment body, control means are provided so that the equipment can be controlled from outside the home using the Internet and a browser. (For example, refer to Patent Document 1).
[0003]
[Patent Document 1]
JP 2001-103556 A
[0004]
[Problems to be solved by the invention]
However, in addition to the device main body UI (User Interface), a UI for an external terminal connected via a network is required. In the conventional configuration, the device main body UI representation capability and input means, and the external terminal UI Since there is a difference in expression ability and input means, the UI is specialized for the device, and there is a problem that the operability between the device main body and the external terminal is not consistent.
[0005]
The present invention has been made in consideration of the above circumstances, and provides a device operation system that gives the same operability to one function of an AV device regardless of the type of terminal used for the operation. Objective.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problem, the present invention of claim 1 includes a main body control unit that controls operation of a device main body, a remote control unit that controls operation of the device via a network, the main body control unit, or A device operation system configured by a device control unit that controls the device according to the control of the remote control unit, wherein the main body control unit operates as a first operation instruction information for operating the device input from the outside. Based on the main body input means for outputting the main body event information of the device, the operation state of the device is managed, and the next operation state of the device is determined from the main body event information and the current state of the device, From the first operation determination means for outputting the first operation instruction information and the first operation instruction information output from the first operation determination means, the device control unit Main body operation processing means for controlling the apparatus by sending first apparatus control information and, as a result, generating first display content information necessary for outputting an operation result if necessary; Display processing means for creating an output signal for output to the outside from the first display content information outputted from the processing means, and the remote control unit is inputted from the external terminal via the network Input / output processing means for outputting remote event information based on second operation instruction information for operating the device and outputting output instruction information to the external terminal; managing an operating state of the device; and the remote event information A second operation determining means for determining a next operation state of the device based on the current state of the device and outputting the second operation instruction information; and a second operation determining means. To control the device by sending second device control information to the device control unit from the output second operation instruction information, and as a result, to output the operation result to the external terminal if necessary. Remote operation processing means for generating the second display content information necessary for the output, and the second display content information output from the remote operation processing means, the output instruction information in a form matching the expression capability of the external terminal And an input / output generation means for outputting to the input / output processing unit, and the device control unit has the ability to operate the hardware of the device and access the content and database of the device. The operation state managed by the first operation determination unit is associated with the operation state managed by the second operation determination unit, and the associated operation state Is a device operation system characterized by providing the same function.
[0007]
According to a second aspect of the present invention, in the device operation system according to the first aspect, the same function means that the main body operation processing means and the remote operation processing means transition from the same operation state to the next operation state from the same database. The transition information used for the purpose is acquired, and the state after selecting the same transition information from the transition information is determined by the second motion determination unit and the transition destination operation state determined by the first motion determination means A device operation system characterized in that a state of an operation at a transition destination is associated.
[0008]
According to the third aspect of the present invention, in the device operating system according to the first aspect, the same function corresponds to the option presented to the user using the output signal and the option presented to the user using the output instruction information The operation of the device control unit when the associated option is selected in the device body and the operation of the device control unit when the associated option is selected on the external terminal are the same Is a device operation system characterized by
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. First, a model case of a problem in each embodiment will be described, and a procedure for solving the problem will be described according to the operation of each embodiment of the present invention.
[0010]
First, the basic form of the system configuration is shown, and the mounting method is described in each embodiment.
[0011]
FIG. 1 is a block diagram showing the basic configuration of the system configuration of the present invention. In FIG. 1, an AV device 101 on which the present system is installed includes a main body control unit 102, a remote control unit 103, and a device control unit 104. The main body control unit 102 operates the AV device 101 from the main body side. The state of the remote controller 105 to be used, the TV 107 that is a display means for displaying the output of the AV device 101 when operated from the main body side, the input unit 108 for inputting the operation command from the remote controller 105, and the state of the AV device 101 are determined. Then, the first motion determination unit 109 that determines the next state, the main body motion processing unit 110 that performs the actual processing, and the main body motion processing unit 110 according to the determination result of the first motion determination unit 109 The display processing unit 111 performs processing so that the output can be displayed on the TV 107. The remote control unit 103 also includes an external terminal 106 used when operating the AV device 101 via a network, an input / output processing unit 112 that provides input / output means to the external terminal 106, and the status of the AV device 101. The second operation determination unit 113 that determines and determines the next state of the AV device 101, the remote operation processing unit 114 that performs actual processing according to the determination result of the second operation determination unit 113, and the remote operation processing unit The screen generation unit 115 performs processing so that the output created in 114 can be displayed on the external terminal 106.
[0012]
(Embodiment 1)
Embodiment 1 of the present invention will be described. FIG. 2 is a block diagram showing an example of the configuration of the device operation system according to Embodiment 1 of the present invention.
[0013]
In FIG. 2, an AV apparatus 201 having a still image / moving picture / music storage / viewing function equipped with this system includes a main body control unit 202, a remote control unit 203, and a device control unit 204. Is a remote controller 205 used when operating from the main body side, a TV 207 used as a display means for device output when operating from the main body side, and an infrared ray as a main body input unit for inputting operation commands from the remote controller 205 The operation of the main body that performs the actual processing as a result of the determination of the main body operation determination program 209 and the main body operation determination program 209 that are the first operation determination unit that determines the state of the reception unit 208 and the AV device 201 and determines the next state The main body operation processing program 210, which is a processing unit, and an output generated by the main body operation processing program 210 are processed so that the TV 207 can display them. It consists of the main body GUI library and the video controller 211 to the. The remote control unit 203 includes a web browser-equipped mobile phone 206 that is an external terminal used when operating via a network, a web server 212 that is an input / output processing unit that provides input / output means to the external terminal, As a result of the determination by the CGI (Common Gateway Interface) program 213 and the CGI program 213, which is a second operation determining unit that determines the state of the AV device 201 and determines the next state, the remote operation processing unit that performs the actual processing An XML (extensible Markup Language) parser and an XSLT (XML Stylesheet Language Transform) processor for generating a screen in accordance with a certain remote operation processing program 214 and the mobile phone 206 are configured.
[0014]
The configuration and operation of this embodiment will be described with a specific example. In this embodiment, a case where a user takes out a desired still image from a still image album stored in the AV device 201 and displays it will be described as an example. Here, in the operation on the main body side, it is assumed that the user operates the main body of the AV device 201 using the remote control 205 and displays a GUI (Graphical User Interface) or a still image on the TV 207. Also, it is assumed that the user uses a mobile phone 206 equipped with a Web browser and displays a remote GUI or a still image on the display of the mobile phone 206 using the Web browser function via the network.
[0015]
Here, in the AV device 201 main body, still images are managed in units of albums in which several still images are collected using a database as shown in FIGS. FIG. 4 shows an example of an album list, in which album ID, album name, shooting date and time, shooting location, and the like are registered as information about each album. FIG. 5 shows an example of a content list belonging to an album. FIG. 5 shows the content list of the album with the album ID 15 among the albums in FIG. 4. For each content, the album ID, content name, content file name, etc. are registered as content information, and the content is specified. The file name is used for. Here, the album is composed of a list of contents, but in the present embodiment, the type of contents will be described as a still image.
[0016]
In order to view a still image stored in the AV device 201, a procedure as shown in FIG. 3 is performed. FIG. 3 shows the screens displayed in the order of procedures when operated by a remote controller (TV screen) and when operated by a mobile phone. First, as shown by 301 and 304 in FIG. 3, the user operates to display the album list stored in the AV device 201 on the screen, and selects a desired album from the displayed album list. In FIG. 3, the album list shows a case where the album list shown in FIG. 4 is stored. When an album is selected, a content list indicating still images (contents) stored in the album is displayed as shown by 302 and 305 in FIG. In this case, since the winter holiday trip with the album ID 15 shown in FIG. 4 is selected, the content name with the album ID 15 shown in FIG. 5 is displayed on the screen. Further, as shown by 303 and 306 in FIG. 3, the user selects sunset from the content list, and a still image of the sunset is displayed.
[0017]
The operation of the device when the state changes from “album list selection” shown in 301 of FIG. 3 to “content list selection” shown in 302 will be described in detail below.
[0018]
Assume that an album list is displayed in the list box 307 on the TV 207 as indicated by 301 in FIG. 3, and the sixth element “winter vacation” from the top of the list box 307 is focused. The current state is “album list selected”, and the main body operation determination program 209 manages this state. Here, the user presses a determination button on the remote controller 205 to inform the device that the element “winter vacation” has been selected. At this time, when an infrared signal from the remote controller 205 reaches the infrared receiving unit 208, the infrared receiving unit 208 analyzes the infrared signal, and from the analyzed information, an API (Application Program Interface) of the main body operation determination program 209 as shown in FIG. ). FIG. 6 shows an example of an API for notifying that the enter key is pressed on the list box in which the album is displayed, and the line where the enter key is pressed.
[0019]
The called main body operation determination program 209 changes the status from the argument of the API shown in FIG. 6 and the current status “album list selected” to “select content list” and “winter vacation” album. It is understood that it is necessary to display the content list of the list box, so the album ID (= 15) corresponding to the sixth element of the list box corresponding to the sixth element of the list box from the table of the number of list box rows and album ID shown in FIG. After the determination, using the API of the main body operation processing program 210 as shown in FIG. 8, an instruction is given to acquire the data with the album ID 15 from the content list database. FIG. 8 shows an example of an API that uses an album ID as an argument and acquires a content list from a database. At this time, the main body operation processing program 210 uses the device control unit 204 to acquire data such as “album title”, “shooting date / time”, and “shooting location”.
[0020]
Here, the relationship between the input means and display capability of the operation means and the type of data to be acquired will be described. The input means of the device main body is a remote controller 205, which mainly uses up / down / left / right and enter keys. Therefore, the focus movement is in a two-dimensional direction. As the display capability, two-dimensional display is possible, and the display area is 800 × 600 pixels or more. On the other hand, with respect to the portable terminal 206, the input means is an up / down button and a determination key, and the display capability is one-dimensional display, 120 × 160 dots. Therefore, if you want to match the remote control button pressing procedure when moving the focus when selecting an album from the album list between the device main unit and the external terminal, it is necessary to select only the up and down buttons and the enter key according to the external terminal There is. Therefore, the procedure for selecting an album from the album list in both the device main body and the external terminal is designed so that the focus can be moved up and down and selected with the enter button.
[0021]
Since the acquired data needs to be presented to the user, the main body operation processing program 210 calls an API of the main body GUI library and the video controller 211 as shown in FIG. FIG. 9 shows an example of an API that displays a content list on the screen using a GUI component as a display destination and list data of content to be displayed as arguments. The main body GUI library and video controller 211 creates a GUI based on this data and outputs the GUI to the TV 207 as a signal of NTSC (National Television Standards Committee). The output result is as 302 in FIG. When this operation is completed, the main body operation determination program 209 changes the state of the AV device 201 to “content list selection”.
[0022]
Next, the operation of the device when the user changes from “album list selection” shown in 304 in FIG. 3 to “content list selection” shown in 305 on the external terminal side will be described.
[0023]
As shown in 304 of FIG. 3, the album list is displayed in the list box 308 on the web browser of the mobile phone 206, and the sixth element “winter vacation” from the top of the list box 308 is focused. To do. The user presses the enter button on the mobile phone 206 to inform the device that this element has been selected. At this time, a request as shown in FIG. 10 arrives at the Web server 212 from the Web browser of the mobile phone 206. The Web server 212 analyzes this request and calls a CGI program 213 as shown in FIG. 11 from the analyzed information. The called CGI program 213 changes the state from the argument indicating the number of rows of the selected element and the current state “album list selected” to “select content list” and “winter vacation”. Since it is understood that it is necessary to display the content list of the album, the album ID (= 15) of “winter holiday” corresponding to the sixth element of the list box from the relation table of the number of rows of the list box and the album ID in FIG. After the determination, data with an album ID of 15 is acquired from the content list database using the API of the remote operation processing program 214 as shown in FIG. FIG. 12 shows an example of an API for acquiring the content list from the database from the album ID to which the content list belongs.
[0024]
Here, as described in the operation of the device main body, the mobile terminal 206 cannot display the same information as the device main body due to the difference in expression ability with the device main body, and the amount of data that can be displayed naturally is limited. . Therefore, the form terminal 206 performs a minimum display that can be said to be the same state when compared between the device main body and the external terminal by reducing the types of display. In the present embodiment, the type of data constituting the list is limited to one and arranged in a one-dimensional table. The current state is “album list selected”, and the minimum necessary element is a list of data representing the album. Therefore, in this embodiment, only “album title” is acquired from “album title”, “shooting date”, and “shooting location”, which are data representing albums displayed on the device main body. Therefore, the behavior of the device control unit changes between the device body and the external terminal.
[0025]
In the portable terminal 206, the keys used for moving the focus are limited to the up / down keys. Therefore, when the album list is selected on the device main body, the up / down buttons and the enter key can be selected. Since this data needs to be presented to the user, the remote operation processing program 214 passes it to the screen generation unit as an argument by an API call as shown in FIG. FIG. 13 shows an example of an API for displaying a content list on the screen using list data of content to be displayed as an argument.
[0026]
Here, since the display area (character width, number of columns) of the portable terminal 206 differs depending on the terminal, the display content must be optimized for each terminal. Therefore, XSLT data for optimizing the display contents is prepared for each terminal, and when the XML data is converted into HTML (HyperText Markup Language) using the XML parser and the XSLT processor 215, the terminal is used by using the XSLT data. Convert to a character width or number of columns that fits. The created HTML file is sent to the Web server. The Web server sends this HTML format data back to the mobile phone 206 as a response to the HTTP (HyperText Transfer Protocol) request. The mobile phone 206 receives it and displays it on the Web browser. The CGI program 213 changes the state of the device to “content list selection” when the Web server sends back the request.
[0027]
By adopting such a mechanism, the same content list can be displayed when one album is selected from the album list, whether the AV device is operated on the main body side or the external terminal side for the same album. Can be displayed.
[0028]
In addition, on the main body side and the external terminal side, it is possible to match the button operation procedure for moving the focus until one album is determined from the album list.
[0029]
In this embodiment, the album list selection for still images has been described. However, access to a database in the same AV device such as selection of an album from a movie or music album list or selection of content from a content list is performed. However, since the optimization is required due to the difference in display capability between the main body and the external terminal, the operation of the device control unit when operating from the main body side and the external terminal side is also applicable to the present invention. .
[0030]
(Embodiment 2)
A second embodiment of the present invention will be described. The block diagram showing the configuration of the device operating system of the present invention is the same as FIG.
[0031]
Hereinafter, the configuration and operation of the present embodiment will be described with specific examples.
[0032]
Now, assume that the user wants to delete a reservation from a state in which the reservation details are displayed after selecting a reservation from the reservation list in the AV device 201. Here, in order to go from the “reservation details” state to the next state, three options are prepared as shown in FIG. The options are “revision”, “deletion”, and “addition” of the reservation, respectively. In addition, the user operates the main body of the AV device 201 using the remote controller 205 and displays the main body GUI on the TV 207. Through the network, the user uses the mobile phone 206 equipped with the Web browser and uses the function of the Web browser. Assume that a remote GUI is displayed on the display of the mobile phone 206.
[0033]
In this device body, reservations are managed using a database as shown in FIG. 15, and an ID is used for associating a reservation list with reservations. FIG. 15 shows a reservation database, in which reservation ID, reservation date, reservation start time, reservation end time, channel, title, drive, recording mode, etc. are registered as reservation information.
[0034]
First, the operation of the device when the user changes the state from “reservation detail display” to “reservation deletion complete” on the main body side will be described.
[0035]
Now, assume that “Drama Special” is selected from the state 1601 in which the reservation list is displayed as 1602 in FIG. 16, and the reservation details of “Drama Special” are displayed on the TV 207. The current state is “reservation details display”, and the main body operation determination program 209 manages this state. Further, as shown in FIG. 15, the reservation ID of “Drama Special” is 3. Here, it is assumed that the user presses the determination button of the remote controller 205 with the focus on the delete button 1609 in order to notify the device that the reservation of “drama special” is to be deleted. At this time, when the infrared signal from the remote controller 205 reaches the infrared receiving unit 208, the infrared receiving unit 208 analyzes the infrared signal and calls the API of the main body operation determination program 209 from the analyzed information as shown in FIG. FIG. 17 shows an example of an API indicating that the delete button has been pressed with the line selected in the list box as an argument.
[0036]
The called main body operation determination program 209 needs to change the state from the API argument and the information of the current state “reservation details display” to “delete reservation” and delete “drama special”. Since it can be seen, the data of the reservation ID 3 is deleted from the reservation database using the API of the main body operation processing program 210 as shown in FIG. FIG. 19 shows an example of an API that uses a reservation ID as an argument and deletes a reservation from the reservation database. In the present embodiment, unlike the first embodiment, it is not necessary to consider the display performance difference between the device body and the external terminal. This is because in this embodiment, the contents of the database are not displayed, but only a completion confirmation notification is issued to a short user.
[0037]
Now, in order to display this completion confirmation notification to the user, the main body operation processing program 210 calls an API of the main body GUI library and the video controller 211 as shown in FIG. FIG. 20 is an example of an API that displays a result and a comment of the result on the GUI component of the display destination. The main body GUI library and video controller 211 creates a GUI based on this data and outputs it to the TV 207 as an NTSC signal. The output result is as 1603 in FIG. When this operation is completed, the main body operation determination program 209 changes the state of the device to “reservation deletion complete”.
[0038]
Next, the operation of the device when the user changes from “reservation list display” to “reservation deletion complete” on the external terminal side will be described.
[0039]
Now, as shown by 1605 in FIG. 16, “Drama Special” is selected from the state of 1604 in which the reservation list is displayed on the Web browser of the mobile phone 206, and the reservation details of “Drama Special” are displayed. Suppose that The current state is “reservation details display”, and the CGI program 213 manages this state. Further, as shown in FIG. 15, the reservation ID of “Drama Special” is set to 3.
[0040]
Here, it is assumed that the user presses the determination button of the mobile phone on the delete button in order to inform the device that the reservation of “Drama Special” is to be deleted. At this time, a request as shown in FIG. 29 from the Web browser of the mobile phone 206 arrives at the Web server 212. The Web server 212 analyzes this request and calls the CGI program 213 from the analyzed information using an API as shown in FIG. The called CGI program 213 needs to change the status to “reservation deletion complete” and delete the reservation of “drama special” from the information of the argument and the current state “reservation details are being displayed”. Therefore, the data with the reservation ID 3 is deleted from the reservation database by using the API of the remote operation processing program 214 as shown in FIG. Here, the contents of the reservation deletion operation in the device control are exactly the same, and as a result, the operation of the device control unit is the same in the device main body and the external terminal. Further, as described in the operation of the device main body, it is not necessary to consider the display performance difference between the device main body and the external terminal as in the first embodiment.
[0041]
Since it is necessary to present a deletion completion notification to the user after the deletion of the reservation is completed, the remote operation processing program 214 passes it as an argument to the screen generation unit by an API call as shown in FIG. FIG. 24 is an example of an API that displays a result and a comment about the result. Here, since the display area (character width, number of columns) of the external terminal differs depending on the terminal, the display content must be optimized for each terminal. Therefore, when preparing the XSLT data for optimizing the display contents for each terminal and converting the data into HTML using the XML parser and the XSLT processor 215, the character width and the string suitable for the terminal using the XSLT data. Convert to number. The created HTML file is sent to the Web server. The Web server sends this HTML format data back to the mobile phone as a response to the HTTP request. The mobile phone receives it and displays it on the Web browser. Here, the remote operation processing program 214 changes the state of the device to “reservation deletion complete” when the Web server sends back the request.
[0042]
According to the present embodiment, when the reservation is deleted, the same reservation can be deleted regardless of whether the AV device is operated on the main body side or the external terminal side.
[0043]
In addition, on the main body side and the external terminal side, it is possible to match the button operation procedure for moving the focus until the reservation to be deleted is determined from the menu.
[0044]
Further, in the present embodiment, the reservation deletion has been described. However, since there is no need for optimization due to a difference in terminal capability between the main body and the external terminal, such as turning on / off the power of the AV device 201 by remote control, the main body side and the external device An operation in which the operation of the device control unit is the same when operated from the terminal side also falls under the present invention.
[0045]
(Embodiment 3)
A third embodiment of the present invention will be described. The configuration of the device operating system of the present invention is the same as the configuration of the first embodiment.
[0046]
Hereinafter, the configuration and operation of the present embodiment will be described with specific examples.
[0047]
Now, assume that the user selects a reservation from the reservation list stored in the AV device 201 and wants to display details to correct the reservation. Here, in order to go from the “reservation list” state to the next state, three options are prepared as shown in FIG. The options are “revision”, “deletion”, and “addition” of the reservation, respectively. In addition, the user operates the main body of the AV device 201 using the remote controller 205 and displays the main body GUI on the TV 207. Further, it is assumed that the user uses a mobile phone 206 equipped with a Web browser and displays a remote GUI on the display of the mobile phone 206 using the Web browser function via the network. In the AV device 201 main body, reservations are managed using a database as shown in FIG. 15, and an ID is used for associating a reservation list with reservations.
[0048]
First, the operation of the device when the state changes from “reservation list display” to “revision correction” on the main body side will be described.
[0049]
Now, a reservation list is displayed in the list box 2505 on the TV 207 as indicated by 2501 in FIG. 25, and the third element “drama special” is selected from the top of the list box 2505. The current state is “reservation list display”, and the main body operation determination program 209 manages this state. Here, it is assumed that the user presses the decision button on the remote controller 205 with the focus on the correction button in order to inform the device that the content of the reservation of “Drama Special” is to be corrected.
[0050]
At this time, when the infrared signal from the remote controller 205 reaches the infrared receiving unit 208, the infrared receiving unit 208 analyzes the infrared signal and calls the API of the main body operation determination program 209 from the analyzed information. The called main body operation determination program 209 changes the status from the API argument as shown in FIG. 26 and the current status “reservation list display” to “revision correction” and “drama special”. Since it is understood that it is necessary to display details, the reservation ID (= 3) of “drama special” corresponding to the third element of the list box is determined from the table of the number of rows in the list box and the reservation ID in FIG. Thereafter, data with a reservation ID of 3 is acquired from the reservation database using the API of the main body operation processing program 210 as shown in FIG. Here, FIG. 26 shows an API for notifying that the correction button has been pressed using the line selected in the list box as an argument, and FIG. 27 shows an example of an API for acquiring a reservation from the reservation database using the reservation ID as an argument. .
[0051]
As shown in the first embodiment, in consideration of the display performance difference between the device main body and the external terminal, the procedure for pressing the remote control button when moving the focus when selecting a reservation from the reservation list is to be matched between the device main body and the external terminal. Then, it is necessary to be able to select only with the up and down buttons and the enter key according to the external terminal. Therefore, the procedure for selecting a reservation from the reservation list in both the device main body and the external terminal is designed so that the focus can be moved up and down and selected with the enter button. Since the data of the reservation contents that the user wants to correct needs to be presented to the user, the main body operation processing program 210 calls APIs for the main body GUI library and the video controller 211 as shown in FIG. FIG. 28 shows an example of an API that displays reservation details using a GUI component to be displayed and reservation data to be displayed as arguments.
[0052]
The main body GUI library and video controller 211 creates a GUI based on this data and outputs it to the TV 207 as an NTSC signal. The output result is indicated by 2502 in FIG. When this operation is completed, the main body operation determination program 209 changes the state of the device to “revision reservation”.
[0053]
Next, the operation of the device when the state changes from “reservation list display” to “revision correction” on the external terminal side will be described.
[0054]
Now, as shown in 2503 of FIG. 25, the reservation list is displayed in the radio button list 2506 on the Web browser of the mobile phone 206, and the third element “drama special” from the radio button list 2503 is displayed. Focus is on. It is assumed that the user presses the decision button of the mobile phone with the focus on the correction button in order to notify the device for correcting the reservation content of “Drama Special”.
[0055]
At this time, a request as shown in FIG. 29 arrives at the Web server 212 from the Web browser of the mobile phone 206. The Web server 212 analyzes this request and calls a CGI program 213 as shown in FIG. 30 from the analyzed information. The called CGI program 213 needs to change the state from the argument and the current state “reservation list selected” information to “reservation modification” and display the reservation details of “drama special”. First, the reservation ID (= 3) of “drama special” corresponding to the third element of the list box is determined from the table of the number of rows in the list box and the reservation ID in FIG. Using the API of the remote operation processing program 214, data with a reservation ID of 3 is acquired from the reservation database. FIG. 31 shows an example of an API for acquiring reservation data from the reservation database using the ID of the album to which the content list belongs as an argument.
[0056]
Here, as described in the first embodiment, there is a problem of the amount of data that can be displayed on the mobile terminal 206. In this case, the type of data displayed on the device main body and the external terminal for reservation correction Must be the same. That is, the contents of the API when acquiring the data with the reservation ID 3 in the device control are exactly the same, and as a result, the operation of the device control unit is the same between the device main body and the external terminal. In addition, since the keys used for moving the focus of the external terminal are limited to the up and down keys, when the reservation list is selected on the device body, it can be selected only with the up and down buttons and the enter key. The data representing the reservation is the same as the “reservation date”, “reservation start time”, “reservation end time”, “channel”, “recording mode”, “drive”, and “title” displayed on the device main body. Since this data needs to be presented to the user, the remote operation processing application passes it as an argument to the screen generation unit by API call as shown in FIG. FIG. 32 shows an example of an API for displaying a content list on the screen using list data of content to be displayed as an argument. Here, since the display area (character width and number of columns) of the external terminal differs depending on the terminal, the display content must be optimized for each terminal. Therefore, when preparing the XSLT data for optimizing the display contents for each terminal and converting the data to HTML using the XML parser and the XSLT processor 215, the character width and the sequence suitable for the terminal using the XSLT data. Convert to number.
[0057]
The created HTML file is sent to the Web server. The Web server sends this HTML format data back to the mobile phone 206 as a response to the HTTP request. The mobile phone 206 receives it and displays it on the Web browser. Here, the remote operation determination application changes the state of the device to “revision of reservation” when the Web server sends back the request.
[0058]
According to the present embodiment, when one reservation is selected from the reservation list and the reservation correction is selected, one is selected from the reservation list regardless of whether the AV device is operated on the main body side or the external terminal side. The same reservation modification can be displayed when selected.
[0059]
In addition, the button operation procedure for moving the focus until one reservation is determined from the reservation list can be matched between the main body side and the external terminal side.
[0060]
Further, in the present embodiment, the reservation correction screen display has been described. However, for the display item, the database in the same AV device is accessed, but optimization due to the difference in terminal capability between the main body and the external terminal is not necessary. An operation in which the operation of the device control unit is the same when operated from the main body side and the external terminal side also falls under the present invention.
[0061]
As described above, according to the present embodiment, an external terminal can be operated by learning the UI of the main body of the AV device. The reverse is also possible.
[0062]
In the present embodiment, a mobile phone is used as an example of an external terminal, but any device equipped with a Web browser may be used. For example, a PDA, a PC, an Internet browsing terminal, a TV equipped with a Web browser, and the like.
[0063]
In this embodiment, an example is given in which a reservation is selected from a reservation list or an album is selected from an album list. However, a list of data is displayed from a database in the device, and one of them can be selected. For example, the type of data does not matter.
[0064]
In this embodiment, there is one database, but the number of databases is not limited to one, and two or more databases may be used. In this case, it is desirable that the databases are associated with each other's data.
[0065]
In this embodiment, an XML parser and an XSLT processor are used as the screen generator, but the present invention is not limited to this.
[0066]
【The invention's effect】
As described above, according to the present invention, the same operability can be given to the main body side operation means and the external terminal side operation means of the device. That is, the same result can be obtained whether an operation is performed on the data stored in the device on the main body side or on the external terminal side.
[0067]
In addition, when a state associated with the main body side and the external terminal side and associated options are prepared, the same result can be obtained by selecting the same option.
[0068]
In addition, on the main body side and the external terminal side, the button operation procedure for moving the focus until one data is determined from the list of built-in data can be matched.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a basic configuration of an embodiment of the present invention.
FIG. 2 is a block diagram showing an example of the configuration of the device operating system according to the present invention.
FIG. 3 is a transition diagram of display of a TV screen and a mobile phone screen in Embodiment 1 of the present invention.
FIG. 4 is an explanatory diagram of the database of the album list
FIG. 5 is an explanatory diagram of a database of the content list
FIG. 6 is an explanatory diagram of an API call of the state management program for the main body
FIG. 7 is a table showing the relationship between the list box and album list
FIG. 8 is an explanatory diagram of an API call of the operation processing program for the main body
FIG. 9 is an explanatory diagram of API call of the GUI library for the main body
FIG. 10 is an explanatory diagram of an HTTP request to the Web server
FIG. 11 is an explanatory diagram of calling a CGI program of the operation determination program
FIG. 12 is an explanatory diagram of an API call of the operation processing program for the external terminal
FIG. 13 is an explanatory diagram of API call of the interface for the screen generation unit
FIG. 14 is an explanatory diagram of options in a reservation detail display according to the second embodiment of the present invention.
FIG. 15 is an explanatory diagram of a reservation database according to the second and third embodiments of the present invention.
FIG. 16 is a transition diagram of display on the TV screen and the mobile phone screen in the second embodiment of the present invention;
FIG. 17 is an explanatory diagram of API call of the state management program for the main body
FIG. 18 is a table showing the relationship between the list box and album list
FIG. 19 is an explanatory diagram of an API call of the operation processing program for the main body
FIG. 20 is an explanatory diagram of API call of the GUI library for the main body
FIG. 21 is an explanatory diagram of an HTTP request to the Web server
FIG. 22 is an explanatory diagram of calling the CGI program of the operation determination program
FIG. 23 is an explanatory diagram of an API call of the operation processing program for the external terminal
FIG. 24 is an explanatory diagram of API call of the interface for the screen generation unit
FIG. 25 is a transition diagram of display of a TV screen and a mobile phone screen in Embodiment 3 of the present invention.
FIG. 26 is an explanatory diagram of API call of the state management program for the main body
FIG. 27 is an explanatory diagram of an API call of the operation processing program for the main body
FIG. 28 is an explanatory diagram of API call of the GUI library for the main body
FIG. 29 is an explanatory diagram of an HTTP request to the Web server according to the second embodiment of the present invention.
FIG. 30 is an explanatory diagram of calling the CGI program of the operation determination program
FIG. 31 is an explanatory diagram of an API call of the operation processing program for the external terminal
FIG. 32 is an explanatory diagram of API call of the screen generation unit interface.
FIG. 33 is an explanatory diagram of options in the reservation list display according to the third embodiment of the present invention.
[Explanation of symbols]
101 AV equipment
102 Main body control unit
103 Remote control unit
104 Device control unit
105 remote control
106 External terminal
107 TV
108 Input unit for main unit
109 1st operation | movement determination part
110 Main body operation processing unit
111 Display processor
112 I / O processor
113 2nd operation | movement determination part
114 Remote operation processing unit
115 Screen generator

Claims

A main body control unit for controlling the operation of the device main body, a remote control unit for controlling the operation of the device via a network, and a device control unit for controlling the device according to the control of the main body control unit or the remote control unit An equipment operation system comprising:
The main body control unit
Body input means for outputting body event information of the device based on first operation instruction information for operating the device input from the outside;
First operation determining means for managing an operation state of the device, determining a next operation state of the device from the main body event information and a current state of the device, and outputting the first operation instruction information; ,
The device is controlled by sending the first device control information to the device control unit from the first operation instruction information output from the first operation determining means, and as a result, if necessary, the operation result Main body operation processing means for generating the first display content information necessary for outputting
Display processing means for creating an output signal for output to the outside from the first display content information output from the main body operation processing means,
The remote control unit is
Input / output processing means for outputting remote event information based on second operation instruction information for operating the device input from an external terminal via a network, and outputting output instruction information to the external terminal;
Second operation determining means for managing an operation state of the device, determining a next operation state of the device from the remote event information and a current state of the device, and outputting the second operation instruction information; ,
Based on the second operation instruction information output from the second operation determination means, the device is controlled by sending second device control information to the device control unit. Remote operation processing means for generating second display content information necessary for outputting an operation result to the terminal;
Input / output generation means for generating output instruction information in a form matching the expression capability of the external terminal from the second display content information output from the remote operation processing means, and outputting the output instruction information to the input / output processing section; Consisting of
The device control unit operates the device hardware and has the ability to access the content and database of the device,
The operation state managed by the first operation determination unit is associated with the operation state managed by the second operation determination unit, and the same function is provided in the associated operation state. Equipment operation system.

The same function means that the main body operation processing unit and the remote operation processing unit acquire transition information used for transitioning from the current operation state to the next operation state from the same database, and the same from the transition information. The state after the transition information is selected is obtained by associating the operation state of the transition destination determined by the first operation determination unit with the state of the operation of the transition destination determined by the second operation determination unit The apparatus operating system according to claim 1, wherein

With the same function, the option presented to the user using the output signal and the option presented to the user using the output instruction information are associated with each other. 2. The device operation according to claim 1, wherein the operation of the device control unit when selected is the same as the operation of the device control unit when the associated option is selected on the external terminal. system.