JP2010050792A

JP2010050792A - Control unit of electronic device

Info

Publication number: JP2010050792A
Application number: JP2008213803A
Authority: JP
Inventors: Jun Okochi; 潤大河内
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2008-08-22
Filing date: 2008-08-22
Publication date: 2010-03-04

Abstract

<P>PROBLEM TO BE SOLVED: To provide a control unit of electronic device enabling a user to operate a plurality of electronic devices different in operation method using one unified method, only by means of utilizing the remote control function and video output function with which the electronic devices, such as an image recording apparatus, are provided on the standard scale. <P>SOLUTION: The control unit of electronic device includes: a control information storing means for storing GUI information and remote control code information on every electronic device; an operation information inputting storage means for causing operation information on a desired operation requested by a user to the electronic device to be input by a GUI function which the control unit has, and to be stored; an image recognition means for recognizing a GUI screen to be input; a remote control signal-transmitting means for transmitting a remote control signal corresponding to operation of changing the GUI screen and the like; and a control means, based on operation information, which performs sequentially GUI processing using the GUI function of the electronic device, and makes the electronic device perform a desired operation using the remote control signal-transmitting means and the image recognition means. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、ＧＵＩ(Graphical User Interface)機能とリモコン機能とを有する電子機器を制御するための制御装置に関するものである。 The present invention relates to a control device for controlling an electronic device having a GUI (Graphical User Interface) function and a remote control function.

ハードディスクや光ディスク等の記録媒体に、放送番組等のコンテンツを録画する録画機器が広く普及している。
また、近年、ＤＬＮＡ(Digital Living Network Alliance)ガイドラインが制定された。これは、ＬＡＮ(Local Area Network)を用いて、ＡＶ（Audio/Visual)機器、情報家電、パーソナルコンピュータ（以下、ＰＣと呼ぶ）等の電子機器を相互に接続し、連携して利用するための技術仕様である。このＤＬＮＡガイドラインに対応した電子機器（以下、ＤＬＮＡ対応機器と呼ぶ）同士であれば、ＬＡＮを介してデータの共有や他機の制御を行うことが可能となる。従って、所有している録画機器やテレビ等の電子機器がこのＤＬＮＡ対応機器であり、ＬＡＮの構築がなされていれば、ユーザは、テレビのリモコンを用いてテレビに対する操作を行うことで、ＬＡＮ接続されている録画機器に対して録画予約設定等を行うことが可能となる。 Recording devices that record content such as broadcast programs on recording media such as hard disks and optical disks are widely used.
In recent years, Digital Living Network Alliance (DLNA) guidelines have been established. This is for connecting electronic devices such as AV (Audio / Visual) devices, information appliances, personal computers (hereinafter referred to as PCs) to each other and using them in cooperation with each other using a LAN (Local Area Network). Technical specifications. Electronic devices that comply with the DLNA guidelines (hereinafter referred to as DLNA-compatible devices) can share data and control other devices via the LAN. Therefore, if the electronic device such as a recording device or a television that is owned by this device is a DLNA compatible device and a LAN has been constructed, the user can operate the television by using the television remote control to connect to the LAN. It is possible to make a recording reservation setting or the like for the recording device that is being used.

一方、特許文献１のように、上記で述べたようなＤＬＮＡガイドラインの技術を用いずに、携帯電話を用いて、録画機器に対して録画予約を設定するような技術もある。
特開２００７-３２４７４９号公報 On the other hand, as disclosed in Patent Document 1, there is a technique for setting a recording reservation for a recording device using a mobile phone without using the technique of the DLNA guideline as described above.
JP 2007-324749 A

現在の録画機器は、放送のデジタル化や高機能化等に対応した様々な機能を有している。また、番組を録画するための記録媒体も、ハードディスクや光ディスク、更にはメモリーカードなど多種多様になっている。従って、現在の録画機器は、上記の如く様々な機能や多種多様な記録媒体に対応するために複雑な操作が必要となる。更に、この複雑な操作は、録画機器のメーカによっても異なる。 Current recording devices have various functions corresponding to digitization and high functionality of broadcasting. In addition, there are a wide variety of recording media for recording programs, such as hard disks, optical disks, and memory cards. Therefore, current recording devices require complicated operations to support various functions and various recording media as described above. Furthermore, this complicated operation differs depending on the manufacturer of the recording device.

従って、メーカの異なる複数の録画機器を所有するユーザは、録画機器毎にその複雑な操作方法を習得しなければならなかいという課題があった。
上記したＤＬＮＡ対応機器同士であれば、メーカが異なっていてもある程度は操作方法の統一が図れる。しかし、これを実現するには、ユーザは、所有する録画機器やテレビ等の電子機器を、このＤＬＮＡ対応機器に買い換えなければならないという課題があった。 Therefore, there is a problem that a user who owns a plurality of recording devices from different manufacturers has to learn the complicated operation method for each recording device.
If the above-mentioned DLNA-compatible devices are used, the operation method can be unified to some extent even if the manufacturers are different. However, in order to realize this, there is a problem that the user has to replace electronic devices such as recording devices and televisions with DLNA compatible devices.

上記した特許文献１の従来技術を用いれば、ＤＬＮＡガイドラインの技術を用いずに、録画機器に対して録画予約の操作を行うことができるが、この従来技術では、ＧＵＩを用いての対話形式による操作に関しては対応が困難であるという課題があった。 If the conventional technique of Patent Document 1 described above is used, it is possible to perform a recording reservation operation on a recording device without using the technique of the DLNA guideline. However, in this conventional technique, an interactive method using a GUI is used. There was a problem that it was difficult to cope with the operation.

本発明は、このような課題に鑑みてなされたものであり、ＤＬＮＡガイドラインなどの複雑なネットワーク技術を用いることなく、録画機器等の電子機器が標準的に備えているＧＵＩ機能とリモコン機能とを用いるのみで、操作方法が異なる複数の電子機器の操作を、一種類の統一した操作方法によってユーザに行なわせることが可能な電子機器の制御装置を提供することを目的とする。 The present invention has been made in view of such problems, and without using complicated network technology such as DLNA guidelines, the GUI function and the remote control function that are provided as standard in electronic devices such as recording devices are provided. An object of the present invention is to provide an electronic device control apparatus that allows a user to operate a plurality of electronic devices having different operation methods only by using one type of unified operation method.

そこで上記課題を解決するために本発明は、下記の装置を提供するものである。
（１）第１のＧＵＩ(Graphical User Interface)機能とリモコン機能とを有する電子機器を制御する制御装置であって、
前記第１のＧＵＩ機能によって前記電子機器から出力される複数のＧＵＩ画面をそれぞれ認識するための情報であるＧＵＩ情報と前記リモコン機能に対応したリモコンコード情報とをそれぞれ記憶する制御情報記憶手段(126)と、
ユーザが、本制御装置が有する１種類のみのＧＵＩ機能である第２のＧＵＩ機能を用いて入力した、前記電子機器に所望の動作を行なわせるための操作情報を記憶する操作情報入力記憶手段(118,117,122,123,124)と、
前記電子機器に対応する前記ＧＵＩ情報を用いて、前記電子機器から出力されるＧＵＩ画面が前記複数のＧＵＩ画面のうちどのＧＵＩ画面なのかを認識し、この認識したＧＵＩ画面に含まれる選択可能な領域を認識し、更に、前記選択可能な領域のうち、現在選択されている１つの選択領域を認識する処理である映像認識処理を行う映像認識手段(117)と、
前記電子機器に対応する前記リモコンコード情報を用いて、前記ＧＵＩ画面を変更する操作と、前記選択領域を変更する操作と、前記選択領域を決定する操作とにそれぞれ対応するリモコン信号を、前記電子機器に送信する処理であるリモコン信号送信処理を行うリモコン信号送信手段(117,119,120,121)と、
前記操作情報入力記憶手段に記憶されている前記操作情報に基づいて、前記リモコン信号送信手段と前記映像認識手段とを用いて、前記リモコン信号送信処理と前記映像認識処理とを前記第１のＧＵＩ機能で定まるシーケンスに沿って実行し、前記操作情報に対応する前記所望の操作を前記電子機器に実行させる制御手段(117)と、
を有することを特徴とする電子機器の制御装置。
（２）前記第１のＧＵＩ機能と前記リモコン機能とは、複数の前記電子機器毎に異なった種類のものであり、
前記制御情報記憶手段は、複数の前記電子機器毎の前記ＧＵＩ情報と前記リモコンコード情報とを、それぞれ記憶することを特徴とする上記（１）記載の電子機器の制御装置。
（３）前記映像認識手段は、前記第１のＧＵＩ機能が音声出力を伴う場合、この出力される音声を認識する音声認識処理も行ない、この音声認識処理で認識した情報を、前記映像認識処理で映像を認識する際の情報の１つとして用いることを特徴とする上記（１）又は（２）記載の電子機器の制御装置。
（４）外部機器との通信手段(125)を有し、
前記操作情報入力記憶手段は、前記外部機器から前記通信手段を介して送信される操作情報を記憶することを特徴とする上記（１）乃至（３）のいずれか１項記載の電子機器の制御装置。
（５）前記外部機器は携帯電話であることを特徴とする上記（４）記載の電子機器の制御装置。
（６）外部機器との通信手段(125)を有し、
前記制御情報記憶手段は、前記ＧＵＩ情報と前記リモコンコード情報とを、前記通信手段を介して外部から取得することを特徴とする上記（１）乃至（３）のいずれか１項記載の電子機器の制御装置。
（７）前記制御情報記憶手段は、前記ＧＵＩ情報と前記リモコンコード情報とを、前記通信手段を介して外部から取得することを特徴とする上記（４）又は（５）項記載の電子機器の制御装置。 Therefore, in order to solve the above problems, the present invention provides the following apparatus.
(1) A control device for controlling an electronic device having a first GUI (Graphical User Interface) function and a remote control function,
Control information storage means (126) for storing GUI information, which is information for recognizing a plurality of GUI screens output from the electronic device by the first GUI function, and remote control code information corresponding to the remote control function, respectively. )When,
Operation information input storage means for storing operation information for causing the electronic device to perform a desired operation, which is input by the user using the second GUI function which is only one type of GUI function possessed by the present control device ( 118,117,122,123,124) and
Using the GUI information corresponding to the electronic device, the GUI screen output from the electronic device is recognized as to which GUI screen of the plurality of GUI screens, and the selectable GUI included in the recognized GUI screen is selectable Video recognition means (117) for recognizing a region and performing video recognition processing that is processing for recognizing a currently selected one of the selectable regions;
Using the remote control code information corresponding to the electronic device, remote control signals respectively corresponding to an operation to change the GUI screen, an operation to change the selection area, and an operation to determine the selection area are Remote control signal transmission means (117, 119, 120, 121) for performing remote control signal transmission processing that is processing to be transmitted to the device;
Based on the operation information stored in the operation information input storage unit, the remote control signal transmission unit and the video recognition unit are used to perform the remote control signal transmission process and the video recognition process using the first GUI. Control means (117), which is executed along a sequence determined by a function, and causes the electronic device to execute the desired operation corresponding to the operation information;
A control apparatus for an electronic device, comprising:
(2) The first GUI function and the remote control function are different types for each of the plurality of electronic devices,
The control apparatus for an electronic device according to (1), wherein the control information storage unit stores the GUI information and the remote control code information for each of the plurality of electronic devices.
(3) The video recognition means also performs voice recognition processing for recognizing the output voice when the first GUI function is accompanied by voice output, and the information recognized by the voice recognition processing is processed by the video recognition processing. The electronic apparatus control apparatus according to (1) or (2), wherein the electronic apparatus control information is used as one of information when recognizing an image.
(4) Having communication means (125) with external equipment,
The electronic device control according to any one of (1) to (3), wherein the operation information input storage unit stores operation information transmitted from the external device via the communication unit. apparatus.
(5) The electronic device control device according to (4), wherein the external device is a mobile phone.
(6) Having communication means (125) with external equipment,
The electronic apparatus according to any one of (1) to (3), wherein the control information storage unit acquires the GUI information and the remote control code information from the outside via the communication unit. Control device.
(7) The control information storage means acquires the GUI information and the remote control code information from the outside via the communication means. The electronic device according to (4) or (5) above, Control device.

本発明によれば、ＤＬＮＡガイドラインなどの複雑なネットワーク技術を用いることなく、従来の録画機器等の電子機器が標準的に備えているＧＵＩ機能とリモコン機能とを用いるのみで、操作方法が異なる複数の電子機器の操作を、一種類の統一した操作方法によってユーザに行なわせることが可能となる。従って、ユーザは、現在所有している電子機器を買い換える必要が無い。 According to the present invention, a plurality of operation methods differing only by using a GUI function and a remote control function that are normally provided in an electronic device such as a conventional recording device without using a complicated network technology such as DLNA guidelines. It is possible to allow the user to operate the electronic device by one type of unified operation method. Therefore, the user does not need to buy a new electronic device that he currently owns.

更に、本発明によれば、複数の録画機器に対する録画予約の履歴を一元的に集約することになるので、録画予約した番組の番組情報に含まれる出演者やジャンルなどの情報を用いて、ユーザの嗜好を分析し、お勧め番組をユーザに通知することも可能となる。 Furthermore, according to the present invention, since the recording reservation histories for a plurality of recording devices are centralized, the user can use information such as performers and genres included in the program information of the program reserved for recording. It is also possible to analyze the user's preferences and notify the user of recommended programs.

以下、本発明の一実施形態の制御装置について説明する。
＜全体システム構成＞
図１は、本発明の一実施形態の制御装置と、この制御装置によって制御される電子機器の一例である録画機器等との接続関係を示す図である。 Hereinafter, a control device according to an embodiment of the present invention will be described.
<Overall system configuration>
FIG. 1 is a diagram illustrating a connection relationship between a control device according to an embodiment of the present invention and a recording device that is an example of an electronic device controlled by the control device.

制御装置（以下メディエータ１と呼ぶ）の映像音声入力端子と第一録画機器４及び第二録画機器５の映像音声出力端子とはＡＶケーブルで接続されている。そして、第一録画機器４及び第二録画機器５は、メディエータ１へ、このＡＶケーブルを介して映像音声信号を出力する。また、メディエータ１は、第一録画機器４及び第二録画機器５に対して、それぞれの録画機器が有するリモコン機能に対応した制御信号（以下リモコン信号と呼ぶ）を赤外線等の無線信号に変換して送信する。また、メディエータ１の映像音声出力端子と、テレビ３の映像音声入力端子とはＡＶケーブルで接続されている。そして、メディエータ１は、テレビ３へ、このＡＶケーブルを介して映像音声信号を出力する。 The video / audio input terminal of the control device (hereinafter referred to as the mediator 1) and the video / audio output terminals of the first recording device 4 and the second recording device 5 are connected by an AV cable. Then, the first recording device 4 and the second recording device 5 output video / audio signals to the mediator 1 via the AV cable. Further, the mediator 1 converts a control signal (hereinafter referred to as a remote control signal) corresponding to the remote control function of each recording device into a wireless signal such as infrared light for the first recording device 4 and the second recording device 5. To send. The video / audio output terminal of the mediator 1 and the video / audio input terminal of the television 3 are connected by an AV cable. The mediator 1 then outputs a video / audio signal to the television 3 via the AV cable.

リモコン２は、ユーザが、メディエータ１を無線操作するための制御端末である。
また、メディエータ１は、付加機能としてＬＡＮ接続機能を有していても良い。この場合、メディエータ１は、ＬＡＮ６を介してパーソナルコンピュータ７（以下ＰＣ７と呼ぶ）７、第三録画機器１２、ブロードバンドルータ８等と接続される。従って、ユーザは、ＰＣ７を用いて、ＬＡＮ６を介してメディエータ１へ制御信号を送信することでもメディエータ１の操作が可能である。さらには、携帯電話１１を用いて、メールや、ブラウザおよびそれに類似した通信アプリケーションなどを用いて、携帯電話網１０、インターネット９、ブロードバンドルータ８、ＬＡＮ６を介してメディエータ１へ制御信号を送信することでもメディエータ１の操作が可能である。 The remote controller 2 is a control terminal for the user to operate the mediator 1 by radio.
The mediator 1 may have a LAN connection function as an additional function. In this case, the mediator 1 is connected to a personal computer 7 (hereinafter referred to as PC 7) 7, a third recording device 12, a broadband router 8 and the like via the LAN 6. Therefore, the user can operate the mediator 1 by transmitting a control signal to the mediator 1 via the LAN 6 using the PC 7. Furthermore, using the mobile phone 11, a control signal is transmitted to the mediator 1 via the mobile phone network 10, the Internet 9, the broadband router 8, and the LAN 6 using e-mail, a browser and a communication application similar thereto. However, the mediator 1 can be operated.

第一録画機器４、第二録画機器５、及び第三録画機器１２は、それぞれ放送番組受信機能を有しており、図示しないアンテナ等から放送番組を受信し、録画する。なお、このうち、第一録画機器４、及び第二録画機器５は、ＬＡＮ接続機能を有していなくても構わない。 Each of the first recording device 4, the second recording device 5, and the third recording device 12 has a broadcast program receiving function, and receives and records a broadcast program from an antenna or the like (not shown). Of these, the first recording device 4 and the second recording device 5 may not have the LAN connection function.

第三録画機器１２は、ＤＬＮＡ対応機器である。
ブロードバンドルータ８は、ＬＡＮ６とインターネット９との間に接続され、相互のネットワーク間の橋渡しを行う機器である。
＜内部構成＞
次に、メディエータ１の内部構成について、図２を用いて説明する。 The third recording device 12 is a DLNA compatible device.
The broadband router 8 is connected between the LAN 6 and the Internet 9 and is a device that bridges between networks.
<Internal configuration>
Next, the internal configuration of the mediator 1 will be described with reference to FIG.

同図中の破線で囲まれた部分がメディエータ１である。
メディエータ１は、第一映像音声入力部１１２、第二映像音声入力部１１３、映像音声入力切替部１１４、Ａ／Ｄ変換器１１５、映像メモリ１１６、制御ＣＰＵ１１７、赤外線受信部１１８、リモコン信号切替部１１９、第一赤外線送信部１２０、第二赤外線送信部１２１、グラフィクス生成部１２２、映像音声出力部１２３、出力端子１２４、ネットワークインタフェース部１２５、機器制御情報記憶部１２６を備える。なお、機器制御情報記憶部１２６には、第一録画機器４及び第二録画機器５、それぞれの録画機器が有するＧＵＩ機能で用いる各ＧＵＩ画面をそれぞれ認識するための情報であるＧＵＩ情報やリモコン機能に対応したリモコンコード情報等が予め記憶されている。 A portion surrounded by a broken line in FIG.
The mediator 1 includes a first video / audio input unit 112, a second video / audio input unit 113, a video / audio input switching unit 114, an A / D converter 115, a video memory 116, a control CPU 117, an infrared receiving unit 118, and a remote control signal switching unit. 119, a first infrared transmission unit 120, a second infrared transmission unit 121, a graphics generation unit 122, a video / audio output unit 123, an output terminal 124, a network interface unit 125, and a device control information storage unit 126. The device control information storage unit 126 includes GUI information and remote control functions that are information for recognizing the GUI screens used in the GUI functions of the first recording device 4 and the second recording device 5 and the recording devices. Remote control code information corresponding to is stored in advance.

次に、本実施の形態のメディエータ１が各録画機器を制御する方法の詳細を、図面を参照しながら説明する。
［第１の実施形態（録画予約１）］
＜動作手順＞
メディエータ１が、第一録画機器４に対して録画予約を行う第１の実施形態の動作手順を、図２及び図３を用いて説明する。図３は、この第１実施形態の動作手順を示すシーケンス図である。なお、リモコン２は、メディエータ１を操作するものであり、第一録画機器４やテレビ３を操作するものではない。また、メディエータ１はテレビ３へ映像信号を出力する。 Next, details of how the mediator 1 of the present embodiment controls each recording device will be described with reference to the drawings.
[First embodiment (recording reservation 1)]
<Operation procedure>
The operation procedure of the first embodiment in which the mediator 1 makes a recording reservation for the first recording device 4 will be described with reference to FIGS. 2 and 3. FIG. 3 is a sequence diagram showing an operation procedure of the first embodiment. The remote controller 2 operates the mediator 1 and does not operate the first recording device 4 or the television 3. Further, the mediator 1 outputs a video signal to the television 3.

なお、メディエータ１内の各ブロックは、制御ＣＰＵ１１７によって制御される。従って、メディエータ１が行う動作の主体はメディエータ１内の制御ＣＰＵ１１７である。
まず、ユーザは、リモコン２を用いて、メディエータ１に対して、第一録画機器４への録画予約を行うための最初のＧＵＩ画面（録画機器選択画面）を表示させるためのメニュー要求を行う（ステップＳ１０１）。以下、このリモコン２によってメディエータ１を操作する処理を詳細に説明する。 Each block in the mediator 1 is controlled by the control CPU 117. Therefore, the main body of the operation performed by the mediator 1 is the control CPU 117 in the mediator 1.
First, the user uses the remote controller 2 to make a menu request to the mediator 1 to display the first GUI screen (recording device selection screen) for making a recording reservation for the first recording device 4 ( Step S101). Hereinafter, processing for operating the mediator 1 by the remote controller 2 will be described in detail.

ユーザが、リモコン２に設けられた所定のボタンを押下すると、リモコン２の赤外線送信部（図示せず）は、この所定のボタンに割り付けられた機能をメディエータ１に実行させるためのリモコン信号を赤外線信号に変換し、メディエータ１へ送信する。メディエータ１は、この送信された赤外線信号を赤外線受信部１１８で受信する。赤外線受信部１１８は、受信した赤外線信号を電気的な制御信号に変換して制御ＣＰＵ１１７へ出力する。制御ＣＰＵ１１７は、この制御信号に対応した処理を行う。なお、説明を簡単にするため、これ以降は、これら一連の制御信号の送受信処理を、単に「リモコン信号を送受信する」等と表現することにする。 When the user presses a predetermined button provided on the remote controller 2, an infrared transmission unit (not shown) of the remote controller 2 transmits an infrared remote control signal for causing the mediator 1 to execute the function assigned to the predetermined button. It is converted into a signal and transmitted to the mediator 1. The mediator 1 receives the transmitted infrared signal at the infrared receiver 118. The infrared receiver 118 converts the received infrared signal into an electrical control signal and outputs it to the control CPU 117. The control CPU 117 performs processing corresponding to this control signal. For the sake of simplicity, hereinafter, a series of control signal transmission / reception processes will be simply expressed as “transmit / receive remote control signals” or the like.

ステップ１０１においては、ユーザは、録画機器選択画面を表示させるためのメニュー要求を行うので、押下するボタンは録画機器選択画面表示ボタンであり、メディエータ１は、このボタンに対応したリモコン信号を受信する。 In step 101, since the user makes a menu request for displaying the recording device selection screen, the button to be pressed is a recording device selection screen display button, and the mediator 1 receives a remote control signal corresponding to this button. .

メディエータ１は、この受信したリモコン信号に応じて、グラフィクス生成部１２２を用いて録画機器選択画面を生成する。
その後、メディエータ１は、生成した録画機器選択画面を、映像音声出力部１２３、出力端子１２４を介して、テレビ３へ出力する（ステップＳ１０２）。テレビ３は、入力された録画機器選択画面を表示部（図示せず）に表示する。このとき、テレビ３に表示される録画機器選択画面は、例えば図４に示すようなものであるとする。図４の録画機器選択画面４０においては、選択対象となる録画機器候補が一覧で表示されている。ここでは、“レコーダ１”の矩形領域４１が第一録画機器４に対応しており、“レコーダ２”の矩形領域４２が第二録画機器４に対応している。そして、第一録画機器４に対応する“レコーダ１”の矩形領域４１にフォーカスがあたっている状態である。 The mediator 1 generates a recording device selection screen using the graphics generation unit 122 according to the received remote control signal.
Thereafter, the mediator 1 outputs the generated recording device selection screen to the television 3 via the video / audio output unit 123 and the output terminal 124 (step S102). The television 3 displays the input recording device selection screen on a display unit (not shown). At this time, it is assumed that the recording device selection screen displayed on the television 3 is, for example, as shown in FIG. In the recording device selection screen 40 of FIG. 4, recording device candidates to be selected are displayed in a list. Here, the rectangular area 41 of “recorder 1” corresponds to the first recording device 4, and the rectangular area 42 of “recorder 2” corresponds to the second recording device 4. The rectangular area 41 of “recorder 1” corresponding to the first recording device 4 is in focus.

次に、ユーザは、この“レコーダ１”の矩形領域４１にフォーカスがあたっている状態で、リモコン２の決定ボタンを押下することで、第一録画機器４を選択決定する（ステップＳ１０３）。なお、「フォーカスをあてる」とは、ＧＵＩ操作にてユーザがＧＵＩ画面上の特定の領域を選択する操作のことである。また、フォーカスがあたった（選択された）領域は、通常の場合、フォーカスがあたっていない（選択されていない）状態から、輝度や色が変更される。これによって、その領域がフォーカスされたことをユーザに認識させることが可能となる。今回は、最初からフォーカスが“レコーダ１”にあたっている状態であったので、フォーカスを移動させる処理は行なわなかったが、例えば、第二録画機器５に対応した“レコーダ２”を選択決定する場合は、ユーザは、リモコン２のフォーカスを下側に移動させるためのボタンを押下してフォーカスを“レコーダ２”に移動させた後に、リモコン２の決定ボタンを押下する。 Next, the user selects and determines the first recording device 4 by pressing the determination button on the remote controller 2 while the rectangular area 41 of the “recorder 1” is in focus (step S103). Note that “focus” refers to an operation in which the user selects a specific area on the GUI screen by a GUI operation. In addition, in a normal area, the brightness and the color of the area that has been focused (selected) are changed from the state that is not focused (not selected). This allows the user to recognize that the area has been focused. This time, since the focus has been on the “recorder 1” from the beginning, the process of moving the focus was not performed. For example, when “recorder 2” corresponding to the second recording device 5 is selected and determined. The user presses a button for moving the focus of the remote controller 2 downward to move the focus to “recorder 2”, and then presses the determination button of the remote controller 2.

次に、メディエータ１は、入出力設定を、上記で選択された第一録画機器４に設定する。具体的には、映像音声入力切替部１１４を第一映像音声入力部１１２からの信号入力に切り替えるとともに、リモコン信号切替部１１９を第一赤外線送信部１２０への信号出力に切り替える（ステップＳ１０４）。 Next, the mediator 1 sets the input / output setting to the first recording device 4 selected above. Specifically, the video / audio input switching unit 114 is switched to signal input from the first video / audio input unit 112, and the remote control signal switching unit 119 is switched to signal output to the first infrared transmission unit 120 (step S104).

次に、メディエータ１は、第一録画機器４の電源をオンにするためのリモコン信号を、第一録画機器４へ送信する（ステップＳ１０５）。
第一録画機器４は、このリモコン信号を受信したら、自身の動作状態を、副電源のみが投入されているスタンバイ状態から主電源を投入して通常動作状態に切り替える。 Next, the mediator 1 transmits a remote control signal for turning on the power of the first recording device 4 to the first recording device 4 (step S105).
When receiving the remote control signal, the first recording device 4 switches its operation state from the standby state where only the sub power supply is turned on to the normal operation state by turning on the main power supply.

次に、メディエータ１は、グラフィクス生成部１２２を用いて録画予約メニュー画面を生成する（ステップＳ１０６）。録画予約メニュー画面は、例えば番組表を用いた予約録画の画面でも良い。なお、番組表を構成するのに必要な番組毎の番組名や放送開始／終了時刻等の番組情報は、インターネットを介して電子番組表提供事業者が用意するサーバから取得しても良いし、メディエータ１自身が、図示しないチューナを備えて放送波に含まれる番組情報を取得しても良い。 Next, the mediator 1 generates a recording reservation menu screen using the graphics generation unit 122 (step S106). The recording reservation menu screen may be a reservation recording screen using a program guide, for example. Note that program information such as program names and broadcast start / end times for each program necessary to configure the program guide may be acquired from a server prepared by an electronic program guide provider via the Internet, The mediator 1 itself may be provided with a tuner (not shown) to acquire program information included in the broadcast wave.

次に、メディエータ１は、生成した録画予約メニュー画面を、映像音声出力部１２３、出力端子１２４を介して、テレビ３へ出力する（ステップＳ１０７）。テレビ３は、入力された録画予約メニュー画面を表示部（図示せず）に表示する。 Next, the mediator 1 outputs the generated recording reservation menu screen to the television 3 via the video / audio output unit 123 and the output terminal 124 (step S107). The television 3 displays the input recording reservation menu screen on a display unit (not shown).

次に、ユーザは、録画予約メニュー画面において、リモコン２を用いたＧＵＩ操作にて所定の番組の録画予約を行う（ステップＳ１０８）。なお、ここまでのユーザ操作に用いられるＧＵＩは、メディエータ１が提供するＧＵＩである点が本発明のポイントである。 Next, the user makes a recording reservation for a predetermined program by a GUI operation using the remote controller 2 on the recording reservation menu screen (step S108). Note that the GUI used for the user operations so far is the GUI provided by the mediator 1, which is the point of the present invention.

なお、ユーザ操作を伴う処理は以上までであり、これ以降の処理はメディエータ１が自動で行う処理である。
まず、メディエータ１は、ユーザが行なった録画予約の妥当性を検証する（ステップＳ１０９）。録画予約の妥当性とは、その予約された番組の番組名や放送開始／終了時刻等の番組情報が、メディエータ１が取得した番組表の情報に存在するか否か等で判断する。 Note that the processes involving user operations are as described above, and the subsequent processes are processes automatically performed by the mediator 1.
First, the mediator 1 verifies the validity of the recording reservation made by the user (step S109). The validity of the recording reservation is determined by whether or not the program information such as the program name of the reserved program and the broadcast start / end time is present in the information of the program guide acquired by the mediator 1.

次に、メディエータ１は、上記検証において妥当性が有り録画予約可能と判断した場合、上記ステップＳ１０８においてユーザがメディエータ１に行なった録画予約を、第一録画機器４に対して行う。以下に、その具体的処理を説明する。 Next, when the mediator 1 determines that the verification is valid and the recording reservation is possible, the mediator 1 makes the recording reservation made to the mediator 1 by the user to the first recording device 4 in step S108. The specific process will be described below.

メディエータ１は、第一録画機器４に対して録画予約を行うため、この録画予約のための最初のＧＵＩ画面（録画予約メニュー画面）を表示させるためのリモコン信号を、機器制御情報記録部１２６に記憶されている、第一録画機器４用のリモコンコード情報を参照して取得する。そして、この取得したリモコン信号を第一録画機器４へ送信する（ステップＳ１１０）。 In order to make a recording reservation for the first recording device 4, the mediator 1 sends a remote control signal for displaying the first GUI screen (recording reservation menu screen) for the recording reservation to the device control information recording unit 126. Obtained by referring to the stored remote control code information for the first recording device 4. Then, the acquired remote control signal is transmitted to the first recording device 4 (step S110).

第一録画機器４は、このリモコン信号を受信したら、録画予約メニュー画面をメディエータ１の第一映像入力部１１２へ出力する（ステップＳ１１１）。
従来は、ユーザが、この第一録画機器４が提供する録画予約メニュー画面等のＧＵＩ画面を用いて録画予約を行う必要があった。これに対して、本実施形態においては、ユーザの替わりにメディエータ１が、機器制御情報記録部１２６に記憶されているＧＵＩ情報とリモコンコード情報とを用いて、第一録画機器４から入力されるＧＵＩ画面の認識（映像認識処理）と、その認識したＧＵＩ画面において次に行うべきリモコン操作に対応するリモコン信号の送信とを、第一録画機器４が有するＧＵＩ機能で定まるシーケンスに沿って交互に繰り返す対話形式で、第一録画機器４のＧＵＩを操作する。これにより、ステップＳ１０８で行なわれた録画予約の内容を第一録画機器４へ設定することを可能とするものである。 When receiving the remote control signal, the first recording device 4 outputs a recording reservation menu screen to the first video input unit 112 of the mediator 1 (step S111).
Conventionally, the user has to make a recording reservation using a GUI screen such as a recording reservation menu screen provided by the first recording device 4. On the other hand, in this embodiment, the mediator 1 is input from the first recording device 4 using the GUI information and the remote control code information stored in the device control information recording unit 126 instead of the user. GUI screen recognition (video recognition processing) and transmission of a remote control signal corresponding to a remote control operation to be performed next on the recognized GUI screen alternately along a sequence determined by the GUI function of the first recording device 4 The GUI of the first recording device 4 is operated in a repeated interactive form. As a result, it is possible to set the content of the recording reservation made in step S108 to the first recording device 4.

すなわち、機器制御情報記録部１２６に記憶されている第一録画機器４のＧＵＩ情報を用いて、第一録画機器４から入力される録画予約メニュー画面を始めとするＧＵＩ画面の種類を認識するとともに、この認識したＧＵＩ画面内においてＧＵＩで選択可能な領域を認識し、更に、この選択可能な領域のうちのフォーカスがあたっている領域を検出する（ステップ１１２）。また、必要に応じて、ＧＵＩ画面内の各領域に表示されている文字の認識を行う。 That is, using the GUI information of the first recording device 4 stored in the device control information recording unit 126, the type of GUI screen including the recording reservation menu screen input from the first recording device 4 is recognized. In the recognized GUI screen, an area that can be selected by the GUI is recognized, and further, an area that is in focus among the selectable areas is detected (step 112). Moreover, the character currently displayed on each area | region in a GUI screen is recognized as needed.

そして、この映像認識処理の結果により、次に実行すべき操作を判断し（ステップＳ１１３）、この判断ＧＵＩ画面をそれぞれ認識するための情報であるした操作に対応するリモコン信号を第一録画機器４へ送信する（ステップＳ１１４）。 Then, based on the result of the video recognition process, the next operation to be executed is determined (step S113), and a remote control signal corresponding to the operation, which is information for recognizing each determination GUI screen, is sent to the first recording device 4. (Step S114).

なお、映像認識処理の詳細については後述する。
第一録画機器４は、送信されたリモコン信号に対応して更新した更新画面を出力する（ステップＳ１１５）。 Details of the video recognition process will be described later.
The first recording device 4 outputs an updated screen updated in response to the transmitted remote control signal (step S115).

メディエータ１は、入力される更新画面に対して再度、映像認識処理を行ない（ステップＳ１１６）、次に実行すべき操作を判断する（ステップＳ１１７）。この判断の結果、録画予約の途中段階で再度リモコン信号を送信する必要がある場合は、ステップＳ１１４に戻り、判断結果に対応したリモコン信号を送信する。このステップＳ１１４からステップＳ１１７までの処理を、ステップＳ１１７で録画予約が完了したと判断するまで繰り返す。 The mediator 1 performs the image recognition process again on the input update screen (step S116), and determines the next operation to be executed (step S117). As a result of the determination, if it is necessary to transmit the remote control signal again in the middle of the recording reservation, the process returns to step S114, and the remote control signal corresponding to the determination result is transmitted. The processing from step S114 to step S117 is repeated until it is determined in step S117 that the recording reservation has been completed.

ステップＳ１１７で、第一録画機器４への録画予約が完了したと判断したら、メディエータ１は、第一録画機器４の主電源をオフするためのリモコン信号を送信する（ステップＳ１１８）。また、録画予約完了を示す画面をテレビ３へ出力する。テレビ３は、入力された録画予約完了を示す画面を表示部（図示せず）に表示する。 If it is determined in step S117 that the recording reservation for the first recording device 4 has been completed, the mediator 1 transmits a remote control signal for turning off the main power of the first recording device 4 (step S118). In addition, a screen indicating completion of recording reservation is output to the television 3. The television 3 displays on the display unit (not shown) a screen that indicates the input recording reservation completion.

以上が、第一録画機器４に対して録画予約を行う第１の実施形態の動作手順である。
このように、メディエータ１は、映像認識処理とリモコン信号の送信処理とを第一録画機器４が有するＧＵＩ機能で定まるシーケンスに沿って実行することにより、ユーザが第一録画機器４に録画予約を行うのと同様の操作を実行することが可能となる。 The operation procedure of the first embodiment for making a recording reservation for the first recording device 4 is as described above.
As described above, the mediator 1 executes the video recognition process and the remote control signal transmission process in accordance with the sequence determined by the GUI function of the first recording device 4, so that the user makes a recording reservation to the first recording device 4. It is possible to execute the same operation as that performed.

以上の説明では、第一録画機器４に録画予約を設定する例を示したが、第一録画機器４には録画予約を設定せず、メディエータ１が、録画予約を受け付けた番組の放送開始時刻になったときに、第一録画機器４に対して、録画対象の番組を受信させて録画させるためのリモコン信号を送信しても良い。この方法によると、第一録画機器４が録画予約実行時の番組延長機能を有していない場合でも、メディエータ１がこの番組延長機能を有していれば、例えばスポーツ番組等延長される可能性のある番組の後の番組を予約した場合にも対応が可能である。
＜詳細説明＞
つぎに、上記で述べた録画予約の動作手順について、映像認識処理を中心にしてより詳細に説明する。 In the above description, an example in which a recording reservation is set in the first recording device 4 has been shown. However, a recording reservation is not set in the first recording device 4, and the mediator 1 starts broadcasting the program for which the recording reservation has been accepted. Then, a remote control signal for receiving and recording a program to be recorded may be transmitted to the first recording device 4. According to this method, even if the first recording device 4 does not have a program extension function at the time of recording reservation execution, if the mediator 1 has this program extension function, for example, there is a possibility that a sports program or the like is extended. It is possible to deal with a case where a program after a certain program is reserved.
<Detailed explanation>
Next, the recording reservation operation procedure described above will be described in more detail with a focus on video recognition processing.

ここで、第一録画機器４からメディエータ１へ入力される録画予約用のＧＵＩ画面は、図５〜図８に示すようなデザインであるとする。そして、カレンダー予約によって録画予約する場合を一例として説明する。 Here, it is assumed that the GUI screen for recording reservation input from the first recording device 4 to the mediator 1 has a design as shown in FIGS. An example of recording reservation by calendar reservation will be described.

図５（Ａ）に示すＧＵＩ画面５０は、第一録画機器４が“予約開始"に対応するリモコン信号をメディエータ１から受けたときに出力される録画予約用のＧＵＩ画面である。
第一録画機器４から入力されるＧＵＩ画面５０は、第一映像音声入力部１１２、映像音声切替部１１４を介して、Ａ／Ｄ変換器１１５に入力される。Ａ／Ｄ変換機器１１５は、入力されたＧＵＩ画面５０をデジタル画面データに変換し、映像メモリ１１６に保存する。以降、第一録画機器４から出力される各ＧＵＩ画面は、上記と同様の経路によって映像メモリ１１６に逐次デジタル画面データとして更新保存されるものとする。 A GUI screen 50 shown in FIG. 5A is a recording reservation GUI screen that is output when the first recording device 4 receives a remote control signal corresponding to “reservation start” from the mediator 1.
The GUI screen 50 input from the first recording device 4 is input to the A / D converter 115 via the first video / audio input unit 112 and the video / audio switching unit 114. The A / D conversion device 115 converts the input GUI screen 50 into digital screen data and stores it in the video memory 116. Thereafter, each GUI screen output from the first recording device 4 is sequentially updated and stored as digital screen data in the video memory 116 through the same route as described above.

次に、メディエータ１は、映像メモリ１１６に保存されたデジタル画面データに対して映像認識処理を行う。
以下、この映像認識処理の内容を、図９および図１０を用いて説明する。 Next, the mediator 1 performs video recognition processing on the digital screen data stored in the video memory 116.
Hereinafter, the contents of this video recognition process will be described with reference to FIGS.

図９は、図５（Ａ）（Ｂ）に示すＧＵＩ画面５０及びＧＵＩ画面５１における属性情報のリストを示す図である。
また、図１０は、映像認識処理を説明するための機能ブロック図である。 FIG. 9 is a diagram showing a list of attribute information on the GUI screen 50 and the GUI screen 51 shown in FIGS.
FIG. 10 is a functional block diagram for explaining video recognition processing.

機器制御情報記憶部１２６内のＧＵＩ情報記憶部３１には、制御対象の録画機器が有するＧＵＩ機能で用いられる複数のＧＵＩ画面情報毎に、そのＧＵＩ画面を構成するボタン領域などの１つ以上の構成要素（領域）の属性を示す属性情報のリスト等で構成されるＧＵＩ情報が記憶されている。なお、このＧＵＩ情報は、メディエータ１が制御する対象の１台以上の録画機器毎に記憶されている。また、リモコンコード記憶部３２には、メディエータ１が制御する対象の１台以上の録画機器毎のリモコン機能に対応したリモコンコードのリストが記憶されている。 In the GUI information storage unit 31 in the device control information storage unit 126, for each of a plurality of pieces of GUI screen information used in the GUI function of the recording device to be controlled, one or more buttons such as button areas constituting the GUI screen are provided. GUI information configured by a list of attribute information indicating attributes of components (areas) is stored. This GUI information is stored for each of one or more recording devices to be controlled by the mediator 1. The remote control code storage unit 32 stores a list of remote control codes corresponding to the remote control function for each of one or more recording devices to be controlled by the mediator 1.

制御ＣＰＵ１１７内の色情報および形状抽出部３０は、上記したＧＵＩ情報記憶部３１及びリモコンコード記憶部３２に記憶されている各情報を用いて、映像メモリに一時保存されたデジタル画面データにおいて、色情報の値が大きく変化している領域を求め、その領域の形状を検出する。そして、その形状が矩形の場合には、その頂点座標位置を求める。 The color information and shape extraction unit 30 in the control CPU 117 uses the information stored in the GUI information storage unit 31 and the remote control code storage unit 32 described above, and in the digital screen data temporarily stored in the video memory, An area where the value of the information changes greatly is obtained, and the shape of the area is detected. If the shape is rectangular, the vertex coordinate position is obtained.

上記で述べた属性情報とは、各矩形領域を示す座標、その矩形領域の色、および名称等で構成される情報である。本実施の形態では、座標系として表示画面の左上端を原点座標（０，０）とする。そして、各矩形領域の左上の頂点座標を（Ｘ０，Ｙ０）、右下の頂点座標を（Ｘ１，Ｙ１）で示す。そして、図９に示すように、この二つの頂点座標の情報と、この二つの頂点座標で示される矩形領域内の通常状態時の色情報（通常色）、フォーカスされた時の色情報（選択色）、および、この矩形領域の名称情報（名前）を一組としてリスト化している。なお、リストにおける記載順（番号順）は、例えば、Ｙ０の値の小さいものから順に記載する。そして、Ｙ０の値が同じ場合は、次にＸ０の小さい順、同様に、Ｘ０の値が同じ場合はＹ１の小さい順、Ｙ１の値が同じ場合はＸ１の小さい順とする。
また、各色情報は、通常の場合、三原色である、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の大きさ（値）で表される。今回の場合は、各色の大きさを８ビット（２５５階調）で表現しており、図９においては、１６進数で２桁ずつ、左側からＲＧＢの順に記載している。例えば、番号３の予約一覧の選択色欄の記載“＃ｂ７ｆｃｃｄ”は、Ｒの値が“ｂ７”（十進数で１８３）、Ｇの値が“ｆｃ”（十進数で２５２）、Ｂの値が“ｃｄ”（十進数で２０５）であることを示している。 The attribute information described above is information including coordinates indicating each rectangular area, a color of the rectangular area, a name, and the like. In the present embodiment, the upper left corner of the display screen is the origin coordinate (0, 0) as the coordinate system. The upper left vertex coordinates of each rectangular area are indicated by (X0, Y0), and the lower right vertex coordinates are indicated by (X1, Y1). Then, as shown in FIG. 9, the information on the two vertex coordinates, the color information in the normal state (normal color) in the rectangular area indicated by the two vertex coordinates, the color information at the time of focus (selection) Color) and name information (name) of the rectangular area as a set. Note that the description order (number order) in the list is, for example, described in order from the smallest Y0 value. If the values of Y0 are the same, the order of X0 is the next smallest. Similarly, if the values of X0 are the same, the order of Y1 is the smallest, and if the values of Y1 are the same, the order is the smallest of X1.
Each color information is usually represented by the size (value) of the three primary colors red (R), green (G), and blue (B). In this case, the size of each color is expressed by 8 bits (255 gradations), and in FIG. 9, two digits in hexadecimal are listed in the order of RGB from the left side. For example, the description “# b7fccd” in the selection color column of the reservation list of number 3 has an R value of “b7” (decimal number 183), a G value of “fc” (decimal number 252), and a B value. Is “cd” (205 in decimal).

また、本実施例では説明を簡単にするため、検出する領域を矩形領域に限定しているが、記憶しておく頂点座標の数を増やせば、矩形以外のどのような形状の領域でも検出すること可能である。 In this embodiment, for the sake of simplicity, the detection area is limited to a rectangular area. However, if the number of vertex coordinates to be stored is increased, an area having any shape other than a rectangle is detected. It is possible.

そして、上記で述べた色情報および形状抽出部３０にて、デジタル画面データから検出した矩形領域の頂点座標及び色情報と、ＧＵＩ情報記憶部３１に記憶されている第一録画機器４のＧＵＩ情報のリストに含まれる各矩形領域の頂点座標及び色情報とを照合することで、ＧＵＩ画面５０が、このリストに記載されているＧＵＩ画面のうちのどれにあたるのか、更に、そのＧＵＩ画面の中のどの矩形領域にフォーカスされているのかを認識する。 Then, in the color information and shape extraction unit 30 described above, the vertex coordinates and color information of the rectangular area detected from the digital screen data, and the GUI information of the first recording device 4 stored in the GUI information storage unit 31 By collating the vertex coordinates and color information of each rectangular area included in the list, the GUI screen 50 corresponds to which of the GUI screens described in this list, and the GUI screen Recognize which rectangular area is focused.

以下、図５（Ａ）に示すＧＵＩ画面５０を例にして、より具体的に映像認識処理について説明する。
ＧＵＩ画面５０は、第一録画機器４において録画予約がなされる際に最初に表示されるＧＵＩ画面である。そして図５（Ａ）においては“予約一覧"の矩形領域にフォーカスされている。このとき“予約一覧"の矩形領域画面の色情報は、Ｒ＝１８０、Ｇ＝２５４、Ｂ＝２０１であったとする。 Hereinafter, the video recognition process will be described more specifically with reference to the GUI screen 50 shown in FIG.
The GUI screen 50 is a GUI screen that is first displayed when a recording reservation is made in the first recording device 4. In FIG. 5A, the rectangular area of the “reservation list” is focused. At this time, the color information of the rectangular area screen of the “reservation list” is R = 180, G = 254, and B = 201.

メディエータ１（の制御ＣＰＵ１１７）は、入力されたＧＵＩ画面５０に対して、色情報および形状抽出部３０を用いて、映像認識処理を行うことにより、このＧＵＩ画面５０が録画予約開始時のＧＵＩ画面であることを認識する。また、矩形領域の色情報から、どの矩形領域がフォーカスされているかを判断する。フォーカス領域の判断は、ＧＵＩ情報のリストに含まれる各矩形領域の選択色欄に記載されている各色情報の値を中心として、例えば±５レベルの範囲に、実際にＧＵＩ画面上から読み込んだ各色情報の値が、全て入っていることを確認することで行う。 The mediator 1 (the control CPU 117) performs a video recognition process on the input GUI screen 50 using the color information and shape extraction unit 30, so that the GUI screen 50 is displayed when the recording reservation starts. Recognize that. In addition, from the color information of the rectangular area, it is determined which rectangular area is focused. The focus area is determined based on each color information actually read from the GUI screen within a range of, for example, ± 5 levels around the value of each color information described in the selection color column of each rectangular area included in the GUI information list. This is done by confirming that all information values are included.

図５（Ａ）においては、上記したとおり“予約一覧"の矩形領域がフォーカスされており、読み込んだ各色情報の値は、Ｒ＝１８０、Ｇ＝２５４、Ｂ＝２０１である。そして、リストに含まれる各矩形領域の選択色欄に記載されている各色情報の値は、“＃ｂ７ｆｃｃｄ”つまりＲ＝１８３、Ｇ＝２５２、Ｂ＝２０５である。従って、読み込んだ各色情報の値が、リストに含まれる“予約一覧"の矩形領域の各色情報の値の±５レベル以内に全て含まれている。従って、フォーカスされている矩形領域は“予約一覧"の矩形領域であると判断する。 In FIG. 5A, the rectangular area of the “reservation list” is focused as described above, and the values of the read color information are R = 180, G = 254, and B = 201. The value of each color information described in the selection color column of each rectangular area included in the list is “# b7fccd”, that is, R = 183, G = 252, and B = 205. Accordingly, the read values of each color information are all included within ± 5 levels of the values of each color information in the rectangular area of the “reservation list” included in the list. Therefore, it is determined that the focused rectangular area is a rectangular area of the “reservation list”.

なお、説明を簡単にするために上記においては“予約一覧"の矩形領域のみに関して説明したが、どの矩形領域がフォーカスされているかの判断は、ＧＵＩ情報のリストに記載されている全ての矩形領域の色情報に対して行なわなければならないのはもちろんである。 In addition, in the above description, only the rectangular area of the “reservation list” has been described for the sake of simplicity. However, it is possible to determine which rectangular area is focused on all the rectangular areas described in the GUI information list. Of course, this must be done for the color information.

また、上記で比較する色情報の値は、矩形領域の所定座標における色情報の値でも良いし、矩形領域内の全ての座標における色情報の値の最頻値や平均値等でも良い。
なお、以上の説明は一例である。映像認識処理は、従来よりいくつもの種類の技術が提案されており、上記のようにＧＵＩ画面を認識できる技術であればどのような技術を用いても構わない。 The color information value to be compared may be a color information value at a predetermined coordinate of the rectangular area, or a mode value or an average value of the color information values at all coordinates in the rectangular area.
The above description is an example. Various kinds of techniques have been proposed for the image recognition process, and any technique may be used as long as it can recognize the GUI screen as described above.

次に、メディエータ１は、カレンダー予約をするために、フォーカスを右側に移動させるためのリモコン信号を第一録画機器４へ送信する。この処理により、フォーカスが“番組表"にあたるようになる。そして、上記と同様の判断処理によって“番組表"の矩形領域がフォーカスされたことを認識する。更に、フォーカスを下側に移動させるためのリモコン信号を送信する。この処理により、図５（Ｂ）に示すように、フォーカスが“カレンダー予約"の矩形領域にあたるようになる。そして、再度同様の判断処理によってカレンダー予約を実行させるための矩形領域がフォーカスされたことを認識する。 Next, the mediator 1 transmits a remote control signal for moving the focus to the right side to the first recording device 4 in order to make a calendar reservation. With this processing, the focus comes to the “program guide”. Then, it is recognized that the rectangular area of the “program guide” has been focused by the same determination process as described above. Further, a remote control signal for moving the focus downward is transmitted. By this processing, as shown in FIG. 5B, the focus comes to the rectangular area of “calendar reservation”. Then, the same determination process is performed again to recognize that the rectangular area for executing the calendar reservation has been focused.

最後に、このカレンダー予約を実行させるための矩形領域を選択決定したことを示すリモコン信号を送信する。
以上が、人間に代わってメディエータ１が、映像認識処理によってＧＵＩ画面を認識し、リモコン信号によってＧＵＩを操作するための処理例である。 Finally, a remote control signal indicating that the rectangular area for executing the calendar reservation has been selected and transmitted is transmitted.
The above is a processing example for the mediator 1 to recognize the GUI screen by the video recognition process and operate the GUI by the remote control signal instead of the human.

実際のカレンダー予約処理は、これ以降も操作が必要であるが、その基本動作は、上記した処理と同様の処理を繰り返すことで行われる。従って、これ以降のカレンダー処理の説明は、ＧＵＩ画面の遷移を中心に行う。 The actual calendar reservation process still requires operation, but its basic operation is performed by repeating the same process as described above. Therefore, the description of the calendar process after that will be focused on the transition of the GUI screen.

次に、第一録画機器４は、カレンダー予約を実行させるための矩形領域を選択決定したことを示すリモコン信号を受信したら、図６に示すカレンダー予約のＧＵＩ画面５２を出力する。 Next, when receiving the remote control signal indicating that the rectangular area for executing the calendar reservation has been selected, the first recording device 4 outputs the calendar reservation GUI screen 52 shown in FIG.

メディエータ１は、入力されたＧＵＩ画面５２がカレンダー予約のＧＵＩ画面であることを認識する。そして、メディエータ１は、映像認識処理とリモコン信号の送信とを繰り返し行って、ユーザによって設定された所定の日付の領域にフォーカスを遷移させたのち、この所定の日付の領域を選択決定したこと示すリモコン信号を送信する。 The mediator 1 recognizes that the input GUI screen 52 is a calendar reservation GUI screen. Then, the mediator 1 repeatedly performs the image recognition process and the transmission of the remote control signal to change the focus to the predetermined date area set by the user, and then indicates that the predetermined date area has been selected and determined. Send a remote control signal.

第一録画機器４は、このリモコン信号を受信したら、選択決定された所定の日付における録画開始／終了時間とチャンネルを入力させるための図７（Ａ）に示すようなＧＵＩ画面５３を出力する。 When receiving the remote control signal, the first recording device 4 outputs a GUI screen 53 as shown in FIG. 7A for inputting the recording start / end time and channel on the predetermined date selected and determined.

メディエータ１は、入力されたＧＵＩ画面５３が録画開始／終了時刻とチャンネルを入力するためのＧＵＩ画面であると認識する。そして、これまでと同様に映像認識処理とリモコン信号の送信とを繰り返し行い、録画開始／終了時刻とチャンネルとを設定する。次に、同様の処理を繰り返し、図７（Ｂ）に示すように“決定"の矩形領域にフォーカスを遷移させ、この矩形領域を選択決定したことを示すリモコン信号を送信する。 The mediator 1 recognizes that the input GUI screen 53 is a GUI screen for inputting a recording start / end time and a channel. Then, the video recognition process and the remote control signal transmission are repeated as before, and the recording start / end time and channel are set. Next, the same processing is repeated, and as shown in FIG. 7B, the focus is shifted to the rectangular area “determined”, and a remote control signal indicating that this rectangular area has been selected and transmitted is transmitted.

次に、第一録画機器４は、このリモコン信号を受信したら、カレンダー予約確認のための図８に示すようなＧＵＩ画面５５を出力する。
メディエータ１は、入力されたＧＵＩ画面５５がカレンダー予約確認のためのＧＵＩ画面であることを認識し、ユーザによって設定された録画モード等を設定する。そして、メディエータ１は、映像認識処理とリモコン信号の送信とを繰り返し行って、"予約決定"の矩形領域にフォーカスを遷移させたのち、この矩形領域を選択決定したこと示すリモコン信号を送信する。 Next, when receiving the remote control signal, the first recording device 4 outputs a GUI screen 55 as shown in FIG. 8 for confirming the calendar reservation.
The mediator 1 recognizes that the input GUI screen 55 is a GUI screen for confirming the calendar reservation, and sets the recording mode set by the user. Then, the mediator 1 repeatedly performs the image recognition process and the transmission of the remote control signal, changes the focus to the “reservation determination” rectangular area, and then transmits a remote control signal indicating that this rectangular area has been selected and determined.

第一録画機器４は、このリモコン信号を受信したら、図５（Ａ）のＧＵＩ画面５０を出力する。
メディエータ１は、映像認識処理を行なってＧＵＩ画面５０を認識し、録画予約が正常に終了したと判断する。 When receiving the remote control signal, the first recording device 4 outputs the GUI screen 50 shown in FIG.
The mediator 1 performs video recognition processing to recognize the GUI screen 50, and determines that the recording reservation has been completed normally.

次に、メディエータ１は、ＧＵＩ画面５０を通常のテレビ画面へ戻すためのリモコン信号を送信する。
第一録画機器４は、このリモコン信号を受信したら、表示画面をＧＵＩ画面５０からテレビ放送の画面に切り替える。 Next, the mediator 1 transmits a remote control signal for returning the GUI screen 50 to the normal television screen.
When receiving the remote control signal, the first recording device 4 switches the display screen from the GUI screen 50 to the television broadcast screen.

メディエータ１は、入力される画面に特徴的な矩形領域がないことを認識することで、入力画面が、ＧＵＩ画面ではなくテレビ放送の画面に切替ったと判断し、処理を終了数する。
［第２の実施形態（録画予約２）］
次に、第２の実施形態の動作手順を、図１１を用いて説明する。図１１は、この第２実施形態の動作手順を示すシーケンス図である。第２の実施形態は、携帯電話１１から第一録画機器４に対して録画予約を行う場合の例である。 Recognizing that there is no characteristic rectangular area on the input screen, the mediator 1 determines that the input screen is switched to the TV broadcast screen instead of the GUI screen, and finishes the process.
[Second embodiment (recording reservation 2)]
Next, the operation procedure of the second embodiment will be described with reference to FIG. FIG. 11 is a sequence diagram showing an operation procedure of the second embodiment. The second embodiment is an example in the case where a recording reservation is made from the mobile phone 11 to the first recording device 4.

携帯電話１１は、携帯電話網１０、インターネット９、ブロードバンドルータ８、ＬＡＮ６を介してメディエータ１と通信可能であるとする。また、メディエータ１は、携帯電話１１からのメールを受信する機能、すなわちメールサーバ機能を持つものとする。もしくは、インターネット９上に存在する図示しないメールサーバに定期的にアクセスしてメールを確認し、このメールサーバに保存されたメールがある場合には、そのメールを受信する機能、すなわちＰＯＰクライアント機能を有しているものとする。 It is assumed that the mobile phone 11 can communicate with the mediator 1 via the mobile phone network 10, the Internet 9, the broadband router 8, and the LAN 6. The mediator 1 is assumed to have a function of receiving mail from the mobile phone 11, that is, a mail server function. Alternatively, a mail server (not shown) on the Internet 9 is periodically accessed to check the mail, and when there is mail stored in the mail server, a function for receiving the mail, that is, a POP client function is provided. It shall have.

以下、詳細に説明する。
ユーザは、携帯電話１１での録画予約に先立ち、メディエータ１から番組情報を取得する。以下、具体的にその取得する処理について説明する。 Details will be described below.
The user acquires program information from the mediator 1 prior to recording reservation on the mobile phone 11. Hereinafter, the process to acquire is demonstrated concretely.

ユーザは、携帯電話１１を操作し、メディエータ１への送付用としてあらかじめ決められた定型文で、希望の条件に合致する番組の番組情報を取得する番組情報取得メールを作成し、メディエータ１へ送信する（ステップＳ２０１）。定型文においては、例えば、放送開始時間の範囲、録画予約希望の番組のジャンル等の条件を指定する。 The user operates the mobile phone 11, creates a program information acquisition mail for acquiring program information of a program that matches a desired condition with a fixed sentence predetermined for sending to the mediator 1, and transmits it to the mediator 1. (Step S201). In the standard sentence, for example, conditions such as a broadcast start time range, a genre of a program desired to be recorded are specified.

次に、メディエータ１は、インターネット上に存在する図示しないメールサーバから番組情報取得メールを受信し、あらかじめ決められた方法によって、そのメールの発信元が信頼できるものか否かを検証する（ステップＳ２０２）。検証方法としては、例えば、予め携帯電話１１とメディエータ１とに共通のパスワードを設定し、このパスワードをメール本文に埋め込むとともに、相互にメールアドレスを登録しあうなどの方法がある。 Next, the mediator 1 receives a program information acquisition mail from a mail server (not shown) existing on the Internet, and verifies whether or not the sender of the mail is reliable by a predetermined method (step S202). ). As a verification method, for example, a common password is set in advance in the mobile phone 11 and the mediator 1, and the password is embedded in the mail body and the mail addresses are registered with each other.

メディエータ１は、受信したメールが番組情報取得メールであることを認識したならば、そのメールに記載されている条件に合致する番組情報を有する番組を抽出するとともに、抽出した番組の番組情報を、あらかじめ決められた定型文に変換した番組案内メールを生成し（ステップＳ２０３）、この生成した番組案内メールを受信元の携帯電話１１へ返信する（ステップＳ２０４）。 If the mediator 1 recognizes that the received mail is a program information acquisition mail, the mediator 1 extracts a program having program information that matches the conditions described in the mail, and the program information of the extracted program is A program guide mail converted into a predetermined fixed sentence is generated (step S203), and the generated program guide mail is returned to the mobile phone 11 of the reception source (step S204).

次に、ユーザは、携帯電話１１に返信された番組案内メールを参照して、録画予約したい番組を選択し、第一録画機器４に対して、この選択した番組を録画予約させるための録画予約メールを作成し、メディエータ１へ送信する（ステップＳ２０５）。 Next, the user refers to the program guide mail returned to the mobile phone 11, selects a program to be reserved for recording, and makes a recording reservation for causing the first recording device 4 to make a recording reservation for the selected program. A mail is created and transmitted to the mediator 1 (step S205).

次に、メディエータ１は、録画予約メールを受信し、その録画予約メールの内容が妥当か否かを検証する（ステップＳ２０６）。万一、妥当でないと判断した場合には、録画予約メールの送信元（携帯電話１１）に録画予約ができない理由等を記述したメールを返信する。一方、録画予約メールの内容が妥当であったならば次の処理に移行する。 Next, the mediator 1 receives the recording reservation mail and verifies whether or not the content of the recording reservation mail is appropriate (step S206). If it is determined that it is not appropriate, a mail describing the reason why the recording reservation cannot be made is sent back to the recording reservation mail transmission source (cell phone 11). On the other hand, if the contents of the recording reservation mail are valid, the process proceeds to the next process.

これ以降のステップＳ１０４、Ｓ１０５、Ｓ１１０〜Ｓ１１８の第一録画機器４に対する録画予約設定の動作手順は、第１の実施形態と同様であるので説明は省略する。
なお、携帯電話１１から送信された録画予約メールに、録画予約完了の通知要求が記載されていた場合は、メディエータ１は、第一録画機器４に対する録画予約の設定が完了したら、録画予約完了メールを生成し、携帯電話１１に返信するようにしても良い（ステップＳ２０７）。
［第３の実施形態（再生）］
次に、第３の実施形態について説明する。第３の実施形態は、第一録画機器４に録画されている番組の再生を行う実施形態例である。 Subsequent steps S104, S105, and S110 to S118 of the recording reservation setting operation procedure for the first recording device 4 are the same as those in the first embodiment, and a description thereof will be omitted.
If a recording reservation completion notification request is described in the recording reservation mail transmitted from the mobile phone 11, the mediator 1 completes the recording reservation completion mail when the recording reservation setting for the first recording device 4 is completed. May be generated and returned to the mobile phone 11 (step S207).
[Third Embodiment (Reproduction)]
Next, a third embodiment will be described. The third embodiment is an embodiment in which a program recorded in the first recording device 4 is reproduced.

この第３の実施形態は、第一録画機器４に録画されている番組の番組情報がメディエータ１に記憶されており、かつ、第一録画機器４が、番組再生用のＧＵＩ機能を有している場合に実現可能である。なお、メディエータ１は、第一録画機器４に対して番組の録画行なった際に、これらの番組の番組情報をメディエータ１自身の記億部に記憶しておく。このようにすれば、ユーザは、改めて、これらの番組情報をメディエータ１に記憶させる手間が省ける。また、このように録画予約を行なった番組の番組情報を記憶しておくと、メディエータ１は、これらの番組情報に含まれる出演者やジャンルなどの情報を用いて、ユーザの嗜好を分析し、お勧め番組をユーザに通知することが可能となる。 In the third embodiment, program information of a program recorded in the first recording device 4 is stored in the mediator 1, and the first recording device 4 has a GUI function for program reproduction. This is feasible when When the mediator 1 records programs on the first recording device 4, the mediator 1 stores the program information of these programs in the storage section of the mediator 1 itself. In this way, the user can save the trouble of storing the program information in the mediator 1 again. In addition, when the program information of the program for which the recording reservation has been made in this way is stored, the mediator 1 analyzes the user's preference using information such as performers and genres included in the program information, It is possible to notify the user of recommended programs.

以下、図１２、図１３を用いて、第一録画機器４に録画された番組を再生する動作手順説明する。
まず、ユーザは、メディエータ１が有している番組再生用ＧＵＩ機能とリモコン２とを用いて、メディエータ１に記憶している第一録画機器４に録画されている番組一覧から再生したい番組を選択決定する。 Hereinafter, an operation procedure for reproducing a program recorded in the first recording device 4 will be described with reference to FIGS.
First, the user selects a program to be reproduced from the program list recorded in the first recording device 4 stored in the mediator 1 by using the program reproduction GUI function of the mediator 1 and the remote controller 2. decide.

ユーザ操作を伴う処理は以上までであり、これ以降の処理はメディエータ１が自動で行う処理である。
メディエータ１は、第一録画機器４に対して、番組再生用の最初のＧＵＩ画面（再生ナビ画面）の表示を要求するためのリモコン信号を送信する。 The processes involving user operations are as described above, and the subsequent processes are processes that the mediator 1 automatically performs.
The mediator 1 transmits a remote control signal for requesting the first recording device 4 to display the first GUI screen (reproduction navigation screen) for program reproduction.

第一録画機器４は、このリモコン信号を受信したら、図１２（Ａ）に示すような再生ナビ画面５６をメディエータ１へ出力する。
メディエータ1は、第１及び第２実施例で説明したものと同様の映像認識処理を用いて、第一録画機器４から入力されるＧＵＩ画面が再生ナビ画面５６であることを認識する。この再生ナビ画面５６においては、“オリジナル"の矩形領域にフォーカスがあたっている。 When receiving the remote control signal, the first recording device 4 outputs a playback navigation screen 56 as shown in FIG. 12 (A) to the mediator 1.
The mediator 1 recognizes that the GUI screen input from the first recording device 4 is the playback navigation screen 56 using the same video recognition process as described in the first and second embodiments. In the reproduction navigation screen 56, the “original” rectangular area is focused.

次に、メディエータ１は、フォーカスを下側に移動させるリモコン信号を２回送信し、
図１２（Ｂ）の再生ナビ画面５７に示すように“タイトル名一覧"の矩形領域にフォーカスを移動させる。 Next, the mediator 1 transmits a remote control signal for moving the focus downward, twice.
As shown in the reproduction navigation screen 57 in FIG. 12B, the focus is moved to the rectangular area of the “title name list”.

次に、メディエータ１は、“タイトル名一覧"の矩形領域を選択決定するためのリモコン信号を送信する。
第一録画機器４は、このリモコン信号を受信したら、図１３に示すような、タイトル名一覧画面５８をメディエータ１へ出力する。 Next, the mediator 1 transmits a remote control signal for selecting and determining a rectangular area of the “title name list”.
When receiving the remote control signal, the first recording device 4 outputs a title name list screen 58 to the mediator 1 as shown in FIG.

メディエータ１は、第一録画機器４から入力されるＧＵＩ画面がタイトル名一覧画面５８であることを認識する。
次に、メディエータ１は、タイトル名一覧画面５８内において、文字認識処理を行い、ユーザが選択した番組に対応する番組名の文字列を抽出する。なお、文字認識処理は、従来よりいくつもの種類の技術が提案されており、どのような技術を用いても構わない。 The mediator 1 recognizes that the GUI screen input from the first recording device 4 is the title name list screen 58.
Next, the mediator 1 performs character recognition processing in the title name list screen 58 and extracts a character string of a program name corresponding to the program selected by the user. Note that various types of techniques have been proposed in the past for character recognition processing, and any technique may be used.

そして、フォーカスを移動させるためのリモコン信号の送信と映像認識処理と繰り返して、ユーザが選択した番組に対応する番組名の文字列が表示されている矩形領域にフォーカスを移動させるとともに、この移動させた矩形領域において、選択決定を示すリモコン信号を送信する。 Then, by repeating the remote control signal transmission for moving the focus and the video recognition process, the focus is moved to the rectangular area where the character string of the program name corresponding to the program selected by the user is displayed. In the rectangular area, a remote control signal indicating selection decision is transmitted.

第一録画機器４は、このリモコン信号を受信したら、選択決定された矩形領域に表示されているタイトル名に対応する番組の再生を開始する。
なお、この場合、第一録画機器４の映像音声出力端子は、メディエータ１の映像音声入力端子だけではなく、テレビ３の、メディエータ１と接続されている映像音声入力端子とは別の映像音声入力端子へ接続させておく。また、メディエータ１は、テレビ３のリモコンコード情報も記憶しておく。 When receiving the remote control signal, the first recording device 4 starts playing the program corresponding to the title name displayed in the selected rectangular area.
In this case, the video / audio output terminal of the first recording device 4 is not only the video / audio input terminal of the mediator 1 but also the video / audio input different from the video / audio input terminal of the television 3 connected to the mediator 1. Connect to the terminal. The mediator 1 also stores remote control code information of the television 3.

そして、メディエータ１は、番組の再生を開始したら、この別の映像音声入力端子に切り替るようためのテレビ３用のリモコン信号をテレビ３へ送信する。
テレビ３は、このリモコン信号を受信したら、映像音声入力端子を別の映像音声入力端子に切り替えて、この別の映像音声入力端子から入力される再生開始した番組の映像音声信号を表示する。 When the mediator 1 starts to reproduce the program, the mediator 1 transmits to the television 3 a remote control signal for the television 3 for switching to another video / audio input terminal.
When the television 3 receives this remote control signal, it switches the video / audio input terminal to another video / audio input terminal, and displays the video / audio signal of the program started to be input, which is input from this other video / audio input terminal.

以上説明した各実施の形態は、メディエータ１が第一録画機器４を制御する例であったが、同様の処理を第二録画機器５など、リモコン機能とＧＵＩ機能とを有するとともに、このＧＵＩ機能によって生成されるＧＵＩ画面を外部機器へ出力するための映像出力端子を備える電子機器であれば、録画機器に限らず、どのような電子機器にも適用することが可能であることはもちろんである。例えば、光ディスク再生機器等にも対応可能である。 Each embodiment described above is an example in which the mediator 1 controls the first recording device 4, but the same processing is performed for the second recording device 5 and the like with a remote control function and a GUI function, and this GUI function. Of course, the present invention can be applied not only to a recording device but also to any electronic device as long as it is an electronic device having a video output terminal for outputting a GUI screen generated by an external device. . For example, it can be applied to an optical disk playback device and the like.

また、各実施の形態では、制御信号（リモコン信号）を送信するための無線通信手段として赤外線を用いる例を説明したが、他のどのような無線通信手段を用いても同様に実現できる。 In each embodiment, an example in which infrared rays are used as wireless communication means for transmitting a control signal (remote control signal) has been described. However, any other wireless communication means can be similarly used.

さらに、メディエータ１に入力させる映像音声信号は、アナログ信号の場合を説明したが、これに限定しているわけではなく、ＨＤＭＩ規格やＤＶＩ規格等に沿ったデジタル信号でも構わない。デジタル信号の場合は、量子化ノイズを発生させる可能性のあるＡ／Ｄ変換器１１５を省略でき、映像認識処理を更に精度良く行うことができる。 Furthermore, although the case where the video / audio signal input to the mediator 1 is an analog signal has been described, the present invention is not limited to this and may be a digital signal conforming to the HDMI standard, the DVI standard, or the like. In the case of a digital signal, the A / D converter 115 that may generate quantization noise can be omitted, and the image recognition process can be performed with higher accuracy.

また、機器制御情報記録部１２６に記録されているＧＵＩ情報とリモコンコード情報とは、インターネット９上にある図示しない外部の機器情報データベースサーバから、ブロードバンドルータ８、ＬＡＮ６を介してダウンロードすることで更新可能としても良い。これにより、ユーザが新たな録画機器を追加した場合でも、メディエータ１は、この追加された録画機器用のＧＵＩ情報とリモコンコード情報とをダウンロードすることで、この追加された録画機器に対応することが可能となる。 The GUI information and remote control code information recorded in the device control information recording unit 126 are updated by downloading from an external device information database server (not shown) on the Internet 9 via the broadband router 8 and the LAN 6. It may be possible. Thus, even when the user adds a new recording device, the mediator 1 can cope with the added recording device by downloading the GUI information and the remote control code information for the added recording device. Is possible.

また、制御対象の電子機器が、リモコン操作に反応してチャイム音等などの音声を発する機能がある場合には、映像認識処理と併せてこの音声による音声認識処理も行ない、この音声認識した情報を前記映像認識のための情報の１つとして用いることで、より認識の精度を向上させたり、認識処理の負荷の軽減を図ったりすることが可能となる。 In addition, when the electronic device to be controlled has a function to emit a sound such as a chime sound in response to a remote control operation, a voice recognition process is also performed with this voice in addition to the video recognition process, and the voice-recognized information Is used as one piece of information for video recognition, it is possible to further improve the accuracy of recognition and reduce the load of recognition processing.

以上説明した実施形態の電子機器の制御装置においては、図２における、機器制御情報記憶部１２６で、前記第１のＧＵＩ機能によって前記電子機器から出力される複数のＧＵＩ画面をそれぞれ認識するための情報であるＧＵＩ情報と前記リモコン機能に対応したリモコンコード情報とをそれぞれ記憶する制御情報記憶手段を構成している。 In the electronic apparatus control apparatus according to the embodiment described above, the apparatus control information storage unit 126 in FIG. 2 recognizes each of a plurality of GUI screens output from the electronic apparatus by the first GUI function. Control information storage means for storing GUI information as information and remote control code information corresponding to the remote control function is configured.

赤外線受信部１１８と、制御ＣＰＵ１１７と、グラフィクス生成部１２２と、映像音声出力部１２３と、出力端子１２４とで、ユーザが、本制御装置が有する１種類のみのＧＵＩ機能である第２のＧＵＩ機能を用いて入力した、前記電子機器に所望の動作を行なわせるための操作情報を記憶する操作情報入力記憶手段を構成している。 The infrared receiving unit 118, the control CPU 117, the graphics generation unit 122, the audio / video output unit 123, and the output terminal 124, the second GUI function that the user has only one type of GUI function that the control device has. Operation information input storage means for storing operation information for causing the electronic device to perform a desired operation, which is input using the key, is configured.

制御ＣＰＵ１１７で、前記電子機器に対応する前記ＧＵＩ情報を用いて、前記電子機器から出力されるＧＵＩ画面が前記複数のＧＵＩ画面のうちどのＧＵＩ画面なのかを認識し、この認識したＧＵＩ画面に含まれる選択可能な領域を認識し、更に、前記選択可能な領域のうち、現在選択されている１つの選択領域を認識する処理である映像認識処理を行う映像認識手段を構成している。 The control CPU 117 uses the GUI information corresponding to the electronic device to recognize which GUI screen the GUI screen output from the electronic device is out of the plurality of GUI screens and includes in the recognized GUI screen. And a video recognition means for performing a video recognition process, which is a process of recognizing a currently selected one of the selectable areas.

制御ＣＰＵ１１７と、リモコン信号切替部１１９と、第一赤外線送信部１２０と、第二赤外線送信部１２１とで、前記電子機器に対応する前記リモコンコード情報を用いて、前記ＧＵＩ画面を変更する操作と、前記選択領域を変更する操作と、前記選択領域を決定する操作とにそれぞれ対応するリモコン信号を、前記電子機器に送信する処理であるリモコン信号送信処理を行うリモコン信号送信手段を構成している。 The control CPU 117, the remote control signal switching unit 119, the first infrared transmission unit 120, and the second infrared transmission unit 121 use the remote control code information corresponding to the electronic device to change the GUI screen; A remote control signal transmitting means for performing remote control signal transmission processing, which is processing for transmitting remote control signals respectively corresponding to the operation for changing the selection area and the operation for determining the selection area to the electronic device; .

制御ＣＰＵ１１７で、前記操作情報入力記憶手段に記憶されている前記操作情報に基づいて、前記リモコン信号送信手段と前記映像認識手段とを用いて、前記リモコン信号送信処理と前記映像認識処理とを前記第１のＧＵＩ機能で定まるシーケンスに沿って実行し、前記操作情報に対応する前記所望の操作を前記電子機器に実行させる制御手段を構成している。 The control CPU 117 performs the remote control signal transmission processing and the video recognition processing using the remote control signal transmission means and the video recognition means based on the operation information stored in the operation information input storage means. Control means is configured to execute the desired operation corresponding to the operation information and to execute the desired operation corresponding to the operation information along a sequence determined by the first GUI function.

なお、本発明は上記した装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

The present invention includes a program for causing a computer to realize the functions of the apparatus described above. These programs may be read from a recording medium and loaded into a computer, or may be transmitted via a communication network and loaded into a computer.

本発明の一実施形態である制御装置と各録画機器等との接続図である。FIG. 2 is a connection diagram between a control apparatus according to an embodiment of the present invention and recording devices and the like. 本発明の一実施形態の構成図である。It is a block diagram of one Embodiment of this invention. 一実施形態の制御フローを示すシーケンス図である。It is a sequence diagram which shows the control flow of one Embodiment. 一実施形態が出力するＧＵＩ画面の例である。It is an example of the GUI screen which one embodiment outputs. 第一録画機器４のＧＵＩ画面の例である。It is an example of a GUI screen of the first recording device 4. 第一録画機器４のＧＵＩ画面の例である。It is an example of a GUI screen of the first recording device 4. 第一録画機器４のＧＵＩ画面の例である。It is an example of a GUI screen of the first recording device 4. 第一録画機器４のＧＵＩ画面の例である。It is an example of a GUI screen of the first recording device 4. ＧＵＩ情報の例である。It is an example of GUI information. 本発明の一実施形態の構成図である。It is a block diagram of one Embodiment of this invention. 一実施形態の制御フローを示すシーケンス図である。It is a sequence diagram which shows the control flow of one Embodiment. 第一録画機器４のＧＵＩ画面の例である。It is an example of a GUI screen of the first recording device 4. 第一録画機器４のＧＵＩ画面の例である。It is an example of a GUI screen of the first recording device 4.

Explanation of symbols

１メディエータ
２リモコン
３テレビ
４第一録画機器
５第二録画機器
６ＬＡＮ
７ＰＣ
８ブロードバンドルータ
９インターネット
１０携帯電話網
１１携帯電話
１２第三録画機器
１１２第一映像音声入力部
１１３第二映像音声入力部
１１４映像音声入力切替部
１１５Ａ／Ｄ変換器
１１６映像メモリ
１１７制御ＣＰＵ
１１８赤外線受信部
１１９リモコン信号切替部
１２０第一赤外線送信部
１２１第二赤外線送信部
１２２グラフィクス生成部
１２３映像音声出力部
１２４出力端子
１２５ネットワークインタフェース部
１２６機器制御情報記憶部
３０色情報および形状抽出部
３１ＧＵＩ情報記憶部
３２リモコンコード記憶部 1 Mediator 2 Remote Control 3 Television 4 First Recording Device 5 Second Recording Device 6 LAN
7 PC
8 Broadband router 9 Internet 10 Mobile phone network 11 Mobile phone 12 Third recording device 112 First video / audio input unit 113 Second video / audio input unit 114 Video / audio input switching unit 115 A / D converter 116 Video memory 117 Control CPU
118 Infrared Receiving Unit 119 Remote Control Signal Switching Unit 120 First Infrared Transmitting Unit 121 Second Infrared Transmitting Unit 122 Graphics Generation Unit 123 Video / Audio Output Unit 124 Output Terminal 125 Network Interface Unit 126 Device Control Information Storage Unit 30 Color Information and Shape Extraction Unit 31 GUI information storage unit 32 Remote control code storage unit

Claims

A control device for controlling an electronic device having a first GUI (Graphical User Interface) function and a remote control function,
Control information storage means for storing GUI information, which is information for recognizing a plurality of GUI screens output from the electronic device by the first GUI function, and remote control code information corresponding to the remote control function;
Operation information input storage means for storing operation information for causing the electronic device to perform a desired operation, which is input by a user using a second GUI function that is only one type of GUI function possessed by the control device; ,
Using the GUI information corresponding to the electronic device, the GUI screen output from the electronic device is recognized as to which GUI screen of the plurality of GUI screens, and the selectable GUI included in the recognized GUI screen is selectable Video recognition means (117) for recognizing a region and performing video recognition processing that is processing for recognizing a currently selected one of the selectable regions;
Using the remote control code information corresponding to the electronic device, remote control signals respectively corresponding to an operation to change the GUI screen, an operation to change the selection area, and an operation to determine the selection area are Remote control signal transmission means for performing remote control signal transmission processing that is processing to be transmitted to the device;
Based on the operation information stored in the operation information input storage unit, the remote control signal transmission unit and the video recognition unit are used to perform the remote control signal transmission process and the video recognition process using the first GUI. Control means for executing the desired operation corresponding to the operation information in accordance with a sequence determined by a function;
A control apparatus for an electronic device, comprising:

The first GUI function and the remote control function are different types for each of the plurality of electronic devices,
2. The control apparatus for an electronic device according to claim 1, wherein the control information storage means stores the GUI information and the remote control code information for each of the plurality of electronic devices.

The video recognition means also performs voice recognition processing for recognizing the output voice when the first GUI function is accompanied by voice output, and the information recognized by the voice recognition processing is converted into video by the video recognition processing. 3. The electronic apparatus control apparatus according to claim 1, wherein the control apparatus is used as one piece of information for recognition.

Having communication means with external devices,
4. The control apparatus for an electronic device according to claim 1, wherein the operation information input storage unit stores operation information transmitted from the external device via the communication unit.

5. The electronic device control apparatus according to claim 4, wherein the external device is a mobile phone.

Having communication means with external devices,
4. The electronic device control device according to claim 1, wherein the control information storage unit obtains the GUI information and the remote control code information from the outside via the communication unit. 5. .

6. The control apparatus for an electronic device according to claim 4, wherein the control information storage means acquires the GUI information and the remote control code information from the outside via the communication means.