CN102331868A - 指示系统、控制装置以及控制方法 - Google Patents

Abstract

本发明提供了一种指示系统、控制装置以及控制方法。该指示系统，包括：指示装置，包括操作部和根据操作部的操作发光的发光部；以及，控制装置，包括图像摄取部、显示部和控制部，该图像摄取部在发光部发光时摄取发光部的光，并输出包含光的光点信息的图像，该显示部包括屏幕，并在屏幕上显示指针，该控制部根据图像中的光点信息判断光点的移动并根据光点的移动在屏幕上移动指针，并且根据图像中的光点信息判断光点的光是否熄灭并在光点熄灭时执行点击相关处理。

Description

指示系统、控制装置以及控制方法

技术领域

本发明涉及一种关于指示系统的技术，该指示系统设有控制装置和包括发光部的指示装置，该控制装置摄取来自发光部的光并根据摄取图像移动屏幕上显示的指针。

背景技术

之前，已知有这样一种技术，其中，遥控器发出的诸如红外线的光被设于电视设备侧的图像摄取部摄取，并根据摄取图像检测遥控器在屏幕上表示的坐标点(见日本专利申请公开第2007-213197号；下文称为专利文献1)。

在专利文献1公开的技术中，使用者先按下设于遥控器2上的坐标指定按钮28。然后，从设于遥控器2上的6个LED(发光二极管)22至27发出编码调制红外线。设于电视设备1上的CCD(电荷耦合器件)传感器摄取LED发出的红外线并将其传递给遥控器识别控制部36。该遥控器识别控制部36根据摄取图像执行各种操作，并计算屏幕上的坐标位置。在屏幕上计算的坐标位置显示按钮等时，执行选择该按钮等的处理。

发明内容

另外，在近几年，在PC(个人计算机)中广泛使用的诸如指针和图标的GUI(图形用户界面)现在开始用在备有(例如)作为图像媒介的电视机的起居室等中。

这种环境下，需要一种能利用发光(例如，红外线)的遥控器(指示装置)使屏幕上显示的指针易于移动的技术。此外，还需要能利用遥控器(指示装置)使点击等操作易于执行的技术。

鉴于如上所述的情况，需要一种关于指示系统的技术，该指示系统能用发光(例如，红外线)的指示装置使屏幕上显示的指针易于移动并使点击等操作易于执行。

根据本发明的一个实施方式，提供了一种包括指示装置和控制装置的指示系统。

指示装置包括操作部和发光部。

发光部根据操作部的操作发光。

控制装置包括图像摄取部、显示部和控制部。

图像摄取部在发光部发光时摄取发光部的光，并输出包含光的光点信息的图像。

显示部包括屏幕，并在屏幕上显示指针。

控制部根据图像中的光点信息判断光点的移动并根据光点的移动在屏幕上移动指针，并根据图像中的光点信息判断光点的光是否熄灭，并在光点熄灭时执行点击相关处理。

“点击相关处理”包括单击处理和双击处理。

在该指示系统中，在使用者操作操作部(例如，设于指示装置上的操作按钮)时，该指示装置的发光部发光。该发光部发出的光由控制装置的图像摄取部摄取。使用者在操作操作部的同时以三维方式操作指示装置时，光点在摄取图像内移动，光点的移动由控制部进行判断。该控制部根据光点的移动在屏幕上移动指针。因此，使用者在操作操作部(例如，设于指示装置上的操作按钮)的同时，可以三维方式操作指示装置，从而易于在屏幕上移动指针。

另一方面，使用者取消操作部(例如，设于指示装置上的操作按钮)的操作时，该发光部的光熄灭，由控制装置的图像摄取部摄取的图像中光点的光熄灭。由控制部判断光的熄灭，在光熄灭时，执行点击相关处理。因此，使用者可通过取消指示装置的操作按钮的操作易于执行点击等操作。

在该指示系统中，该控制部可判断光点的移动是否满足预定条件，并在光点的移动满足预定条件时，在左击处理模式和右击处理模式之间切换模式，在左击处理模式下，在光点的光熄灭时，执行左击相关处理，在右击处理模式下，在光点的光熄灭时，执行右击相关处理。

“左击相关处理”包括“左键单击处理”和“左键双击处理”。

“右击相关处理”包括“右键单击处理”和“右键双击处理”。

在将右击处理模式切换为左击处理模式的情况下的光点的移动条件，或将左击处理模式切换为右击处理模式的情况下的光点的移动条件可相同或不同。

在该指示系统中，使用者握住指示装置，并对其以三维方式进行操作，以进行特定移动(例如，快速移动到右侧并停止，或快速移动到左侧并停止)。因此，可在右击处理模式和左击处理模式之间进行切换。通过在右击处理模式下取消操作部的操作，使用者可执行右击操作，通过在左击处理模式下取消操作部的操作，使用者可执行左击操作。

在该指示系统中，该控制部判断光点的移动是否满足预定条件，并在光点的移动满足预定条件时，将点击处理模式切换为拖动处理模式，在点击处理模式下，根据光点的移动来移动指针，并在光点的光熄灭时执行点击相关处理，在拖动处理模式下，根据光点的移动来执行拖动(trag)，并在光点的光熄灭时执行放下(drop)。

在该指示系统中，使用者通过握住指示装置并对其以三维方式进行操作，以进行特定移动(例如，停止一定时间)，从而将点击处理模式切换为拖动处理模式。在拖动处理模式下，使用者可通过以三维方式操作指示装置来执行拖动，并通过取消操作部的操作来执行放下。

在该指示系统中，该控制部可判断光点的移动是否满足预定条件，并在光点的移动满足预定条件时，将点击处理模式切换为滚动处理模式，在点击处理模式下，根据光点的移动来移动指针，并在光点的光熄灭时执行点击相关处理，在滚动处理模式下，根据光点的移动执行滚动。

在该指示系统中，使用者可握住指示装置并对其以三维方式进行操作以进行特定移动(例如，在垂直方向和横向快速移动)，从而将点击处理模式切换为滚动处理模式。

在该指示系统中，在操作该操作部时，该发光部可以以预定周期闪烁，该控制部可根据图像中的光点信息来判断光点的光的熄灭是基于发光部的闪烁的光点光熄灭，还是基于操作部操作的取消的光点光熄灭，在光点的光熄灭被判断为是基于闪烁的光点光熄灭时，避免执行点击相关处理，在光点的光熄灭被判断为是基于操作部操作的取消的光点光熄灭时，执行点击相关处理。

在该指示系统中，由于在操作指示装置的操作部的同时，该发光部以预定周期闪烁，可节省指示装置的电力。

另一方面，该控制装置的控制部判断光的熄灭是基于发光部的闪烁的光熄灭，还是基于操作部操作的取消的光熄灭。在光的熄灭基于闪烁时，该控制部不执行点击相关处理。因此，可防止了在该发光部闪烁的同时执行点击相关处理从而执行错误操作。

在该指示系统中，该控制部可计算光点的移动量，并根据移动量的水平在第一模式和第二模式之间切换模式，在第一模式下，该指针以第一移动比率相对于移动量移动，在第二模式下，该指针以大于第一移动比率的第二移动比率相对于移动量移动。

采用该结构，在该指示装置的三维移动较小时，屏幕上指针的移动明显较小。因此，可抑制屏幕上的指针由于振动的影响而产生摆动。

在该指示系统中，该控制部可判断图像中光点的大小，在由图像摄取部摄取的图像中将与显示部的屏幕对应的基本框大小设为与光点的大小对应的大小，并根据基本框中光点的移动在屏幕上移动指针。

在该指示系统中，根据光点的大小，即，指示装置和控制装置之间的距离，在图像中设置基本框。由于指针根据基于距离设置的基本框内光点的移动而移动，根据距离对指针的移动进行控制成为可能。

在该指示系统中，在图像中，控制部可将光点搜索框设置在基本框的周围，并判断在光点搜索框中的光点的移动以及光点的光熄灭。

在该指示系统中，由于设置了光点搜索框，并判断了光点搜索框内光点的移动以及光点的光熄灭，可消除环境光的影响。

根据本发明的一个实施方式，提供了一种指示装置的控制装置，该指示装置包括操作部和根据操作部的操作发光的发光部，该控制装置摄取发光部发出的光的图像，并根据所摄取图像中包含的光的光点信息在屏幕上移动指针。该控制装置包括图像摄取部、显示部和控制部。

该图像摄取部用于在发光部发光时摄取发光部的光，并输出包含光点的信息的图像。

该显示部包括屏幕，并用于在屏幕上显示指针。

该控制部用于根据图像中的光点信息判断光点的移动并根据光点的移动在屏幕上移动指针，并根据图像中关于光点的信息判断光点是否熄灭，并在光点熄灭时执行点击相关的处理。

根据本发明的实施方式，提供了一种控制方法，包括摄取根据操作部的操作发光的发光部发出的光。

输出包含关于光的光点的信息的图像。

根据所摄取图像中关于光点的信息判断光点的移动。

根据光点的移动在屏幕上移动指针。

根据图像中关于光点的信息判断光点的光是否熄灭。

在光点的光熄灭时执行点击相关处理。

如上该，根据本发明的实施方式，可提供一种关于指示系统的技术，该指示系统能利用发光(例如，红外线)的指示装置使屏幕上显示的指针易于移动，并使点击等操作易于执行。

如附图中所示，根据本发明的最佳实施方式的以下详细描述，本发明的这些和其他目的、特征和优点将变得显而易见。

附图说明

图1是示出根据本发明的一个实施方式的指示系统的示图；

图2是遥控器的透视图；

图3是示出遥控器的内部结构的框图；

图4是示出PC(个人计算机)的内部结构的框图；

图5是示出遥控器的处理的流程图；

图6是示出摄取图像、基本框和光点搜索框的示意图；

图7是示出当设置基本框和光点搜索框时执行的处理的流程图；

图8是用于解释基本框的设置位置的示图；

图9A和图9B是示出在遥控器横向摆动且同时使用者按下遥控器的按钮并且发光部发出光的时摄取图像中的光点移动的示图；

图10是用于解释移动指针时执行的处理和点击等处理的示图；

图11是用于解释移动指针时执行的处理和点击等处理的示图；

图12是用于解释移动指针时执行的处理和点击等处理的示图；

图13是用于解释移动指针时执行的处理和点击等处理的示图；以及

图14是示出根据本发明另一个实施方式的指示系统的PC的处理的流程图。

具体实施方式

下文将根据附图对本发明的实施方式进行说明。

<第一实施方式>

(指示系统100的整体结构和部件结构)

图1是示出根据本发明的第一实施方式的指示系统100的示图。

如图1所示，指示系统100包括遥控器30(指示装置)和包括电视广播接收功能的显示部集成PC 10(控制装置)(下文中，简称为PC 10)。

图2是遥控器30的透视图。图3是示出遥控器30的内部结构的框图。

如图2和图3所示，遥控器30包括操作部36、存储部39、控制部38以及发光部37。

操作部36包括各种操作按钮，例如电源按钮31、频道按钮32、在PC模式和电视广播模式之间进行切换的切换按钮33、频道上调下调按钮34和音量上调下调按钮35。操作部36可以是使用电容传感器的触摸式操作部36，而不是按键式操作按钮。操作部36可采用使用者可操作的任何形式。

存储部39包括存储有控制遥控器30所需的各种程序的非易失性存储器，例如ROM(只读存储器)。此外，遥控器30包括用作控制部38的操作的工作区域的易失性存储器，例如RAM(随机存取存储器)。

发光部37由(例如)在控制部38的控制下发出红外线的红外LED(发光二极管)构成。

控制部38由(例如)遥控器30的CPU(中央处理器)和集中控制部分构成。控制部38控制发光部37在操作部36的各个按钮被按下时发出红外线。这时，控制部38控制发光部37发出与按下的按钮对应的由遥控编码调制的红外线。

此时，在对操作部36的各个按钮进行操作时，遥控器30可采取以下形式：在操作按钮的同时，发光部37连续发光，或发光部37以预定周期闪烁。在此实施方式的描述中，虽然遥控器30可采取任一种形式，但将把发光部37描述为采取以预定周期闪烁的形式。

应注意的是，在发光部37闪烁的形式下，可节省遥控器30的电力，并可延长结合在遥控器30内部的电池(未示出)等的使用寿命。

可使用通用遥控器30作为显示部集成PC或电视设备的遥控器30。通过PC 10的处理，遥控器30起指示装置的作用，能在屏幕3(稍后进行描述)上移动指针1并执行点击等操作。

图4是示出此实施方式的PC 10的内部结构的框图。

参照图1和图4，PC 10包括显示部11、扬声器12、图像摄取部13、图像处理部14、红外线接收部15、编码分析部16、控制部20、电视广播接收部17、存储部18和通信部19。

显示部11由(例如)液晶显示器或EL(电致发光)显示器构成。显示部11在控制部20的控制下在屏幕3上显示诸如指针1和图标2的GUI(图形用户界面)以及电视广播视频。

应注意的是，在本说明中，屏幕3上显示诸如指针1和图标2的GUI的状态称为PC模式，屏幕3上显示电视广播视频的状态称为电视广播模式。

图像摄取部13包括图像摄取装置，例如CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)和红外滤波器，红外滤波器选择性地透射遥控器30的发光部37发出的红外线。

图像摄取部13摄取遥控器30的发光部37发出的红外线，并将包含关于红外线的光点4的信息的摄取图像40(见图6)输出给图像处理部14。图像处理部14处理图像摄取部13摄取的摄取图像40，并将图像输出给控制部20。

控制部20包括，例如，CPU和GPU(图形处理器)。控制部20对PC 10的部件进行集中控制。控制部20根据从图像处理部14输入的摄取图像40执行各种操作，从而执行在显示部11的屏幕3上移动指针1的处理，以及点击、双击、拖放(drag-and-drop)、滚动等的处理。应注意的是，稍后将给出处理的细节。

存储部18包括诸如存储控制PC 10所需的各种程序和OS(操作系统)的HDD(硬盘驱动器)和SSD(固态驱动器)的记录介质。另外，存储部18包括存储有BIOS(基本输入/输出系统)的诸如ROM的非易失性存储器以及用作控制部20的操作的工作区域的诸如RAM的易失性存储器。

通信部19与诸如因特网的通信网络连接并能从通信网络接收信息/向通信网络发送信息。接收的信息输出至控制部20。例如，在接收网页的HTML(超文本标记语言)数据时，控制部20分析HTML数据，以生成网页的图像数据并控制显示部11显示网页。

红外线接收部15包括红外滤波器和红外线接收电路，该红外滤波器选择性地透射遥控器30的发光部37发出的红外线。红外线接收部15接收遥控器30发出的红外线，将该红外线转换成电信号并将获得的电信号输出至编码分析部16。

编码分析部16分析从红外线接收部15输入的电信号，以分析从遥控器30输入的遥控编码信号，并将分析的遥控编码信号输出至控制部20。

控制部20根据输入的遥控编码信号控制PC 10。例如，遥控编码信号是将切换PC模式和TV广播模式时，则对PC模式和TV广播模式进行切换。另外，当TV广播模式下输入用于切换广播频道的遥控编码信号时，控制部20控制电视广播接收部17切换到要接收的广播频道。

电视广播接收部17为数字地面广播信号、数字BS广播信号、CS广播信号等的接收调谐器。电视广播接收部17经由天线21接收与所选广播频道对应的广播节目的节目数据并将该数据输出至控制部20。

控制部20执行显示部11上的节目数据内所包含的视频信号的显示处理，以及来自扬声器12的节目数据中所包含的音频信号的输出处理。

(操作描述)

接下来将对此实施方式的指示系统100的操作进行描述。

(遥控器30的处理)

首先将对遥控器30侧的处理进行描述。

图5是示出遥控器30的处理的流程图。

使用者握住遥控器30，并将遥控器30的梢端侧对准PC 10。此时，当PC 10处于在屏幕3上对电视广播进行广播的TV广播模式下时，使用者操作切换按钮33以切换到PC模式。

当使用者按下设于遥控器30上的多个按钮中的其中一个时，控制部20检测按钮的按下(步骤101中的“是”)。

应注意的是，使用者按下的按钮可以是频道按钮32、频道上调下调按钮34以及音量上调下调按钮35中的任意一个。还应注意的是，在下文的描述中，为了方便起见，使用者操作的按钮为频道按钮32(下文中，简称为按钮32)。

一旦检测到按钮32按下时，控制部20控制发光部37发出红外线(步骤102)。此时，控制部20控制发光部37发出以预定周期闪烁的红外线。

当使用者释放按钮32时，控制部20检测按钮32的释放(步骤103中的“是”)。一旦检测到按钮32释放时，控制部20控制发光部37停止发光，并熄灭发光部37(步骤104)。

(PC 10的处理)

接下来将描述PC 10的处理。

(基本框41的设置和光点搜索框42的设置)

首先，将对PC 10的控制部20相对于由图像摄取部13摄取并由图像处理部14处理的摄取图像40设置基本框41和光点搜索框42时执行的处理进行描述。

图6是示出摄取图像40、基本框41和光点搜索框42的示图。图7是示出当设置基本框41和光点搜索框42时执行的处理的流程图。图8是用于解释基本框41的设置位置的示图。

在此实施方式中，在使用者按下遥控器30的按钮32的同时三维地操作遥控器30时，指针1根据遥控器30的三维移动而在屏幕3上移动，稍后将给出详细说明。将对该原理进行简要说明。

遥控器30在使用者按下按钮32并且从发光部37发出红外线的状态下进行移动。此时，发光部37的红外线光点4(高亮度点)根据遥控器30的移动而在图像摄取部13摄取的摄取图像40中移动。换句话说，由于遥控器30的三维移动与摄取图像40中光点4的移动互相关联，指针1利用这种互相关联在屏幕3上移动。

此处，可相对于整个摄取图像40判断光点4等的移动。在此实施方式中，为了(例如)抑制随遥控器30与PC 10之间的距离变化而变化的屏幕3上的指针1的移动距离，基本框41被设置为在大小与距离对应。此处，基本框41为光点4的移动距离的参照框。

此外，在此实施方式中，(例如)为了消除环境光，光点搜索框42被设置在摄取图像40中。此处，光点搜索框42是用于搜索光点4的框并确定了判断光点4的光的移动和熄灭的范围。

参照图7，PC 10的控制部20判断是否第一次收到来自遥控器30的发光部37的红外线(步骤201)。这种情况下，控制部20判断由图像摄取部13摄取并由图像处理部14输入的摄取图像40是否包含红外线的光点4，从而判断是否第一次收到红外线。

在判断出第一次收到了发光部37发出的红外线(步骤201中的“是”)时，控制部20获得光点4的大小和中心位置(步骤202)。

另一方面，在判断出第一次没有收到发光部37发出的红外线(步骤201中的“否”)时，控制部20使用已设置的基本框41和光点搜索框42(步骤207)。

一旦获得光点4的大小和中心位置，控制部20接下来确定基本框41的大小(步骤203)。在这种情况下，基本框41的大小与光点4的大小成正比。因此，基本框41的大小与遥控器30和PC 10之间的距离成正比。

具体地，基本框41的大小在遥控器30与PC 10之间的距离变大时变小，在该距离变小时变大(见图9A和图9B)。根据光点相对于基本框41的大小的移动量来确定显示部11的屏幕3上的指针1的移动量。

接下来，控制部20确定基本框41的位置(步骤204)。这种情况下，基本框41的位置被设置在与摄取图像40和光点4之间的位置关系对应的位置。例如，在摄取图像40中光点4的位置为向上位置、向下位置、向左位置和向右位置的情况下，摄取图像40中基本框41的位置被设为向上位置、向下位置、向左位置和向右位置。

接下来，控制部20将基本框41缩小，使其不与摄取图像40的端部接触(步骤205)。参照图8，图8示出了基本框设置范围框43。基本框设置范围框43略小于摄取图像40。在步骤205中，控制部20判断是否基本框41的至少一部分与基本框设置范围框43交叉。然后，在判断出基本框41的至少一部分与基本框设置范围框43交叉时，控制部20缩小基本框41，使其不与基本框设置范围框43交叉。

因此，通过将基本框41设置在基本框设置范围框43内，可防止光点搜索框42伸出摄取图像40。

然后，控制部20确定光点搜索框42的大小，并围绕基本框41设置光点搜索框42(步骤206)。通过以预定倍率放大基本框41来确定光点搜索框42的大小并且光点搜索框42略大于基本框41。通过如此将光点搜索框42设置为大于基本框41，可防止在使用者用遥控器30对准显示部11的屏幕3的端部时无法搜索光点4的状态。

通过在摄取图像40内设置光点搜索框42，并判断光点搜索框42内光点4等的移动，可消除环境光的影响。

图9A和图9B是示出在遥控器30横向摆动且同时使用者按下遥控器30的按钮32、发光部37发出光时摄取图像40中的光点4的移动的示图。图9A示出了远离PC 10的使用者摆动遥控器30时光点4的移动，而图9B示出了使用者在PC 10附近摆动遥控器30时光点4的移动。应注意的是，在图9A和图9B中，使用者移动遥控器30的空间横向距离相同。

将图9A和图9B相比，光点4的移动距离d1相对于摄取图像40的比率与光点4的移动距离d2相对于摄取图像40的比率不同。但是，在图9A和图9B中，光点4的移动距离d1相对于基本框41的比率与光点4的移动距离d2相对于基本框41的比率相同。由于指针1相对于显示部11的屏幕3的移动距离根据光点4相对于基本框41的移动距离而确定，在图9A和图9B中，指针1在屏幕3上的移动距离相同。

特别地，在此实施方式中，可抑制屏幕3上的指针1的移动距离随遥控器30与PC 10之间的距离变化而变化(操作距离校正)。

(移动指针1时的处理和点击等的处理)

接下来将描述移动指针1时执行的处理和点击等的处理。

图10至图13是示出此时的PC 10的处理的流程图。

参照图10，PC 10的控制部20判断是否已收到来自遥控器30的发光部37的红外线(步骤301)。这种情况下，控制部20通过判断由图像摄取部13摄取的摄取图像40中的光点搜索框42内是否包含红外线的光点4来判断是否收到红外线。

使用者在握住遥控器30并对准PC 10的同时按下按钮32时，红外线从发光部37发出，以进行接收(步骤301中的“是”)。收到红外线时，控制部20获得光点4的中心位置并计算光点4相对于摄取图像40中的基本框41的移动量(步骤303)。

接下来，控制部20判断光点4是否已移动(步骤304)。当判断出光点4没有移动时(步骤304中的“否”)，控制部20在屏幕3上在与上一次相同的位置处显示指针1(步骤305)。

另一方面，当判断出光点4已移动时(步骤304中的“是”)，处理过程前进到作为下一步骤的步骤401。

参照图11，在步骤401中，控制部20判断当前模式是否为拖动处理模式。

当判断出当前模式是拖动处理模式时(步骤401中的“是”)，控制部20前进到步骤501(见图12)。另一方面，当判断出当前模式不是拖动处理模式时(步骤401中的“否”)，控制部20判断特定时间内光点4的移动是否较小(步骤402)。

当判断出特定时间内光点4的移动较小时(步骤402中的“是”)，控制部20将模式切换为拖动处理模式(步骤406)并前进到步骤501。

另一方面，在判断出特定时间内光点4移动了预定移动量以上时(步骤402中的“否”)，控制部20判断光点4是否在摄取图像40的光点搜索框42内的垂直方向或横向移动较大(步骤403)。

当光点4在垂直方向或横向移动较大时(步骤403中的“是”)，控制部20将模式切换为滚动处理模式(步骤407)并前进到步骤501。

另一方面，在步骤403中判断为否定时(步骤403中的“否”)，控制部20判断光点4是否有较大向右移动并在光点搜索框42内停止(步骤404)。光点4有较大向右移动并停止时(步骤404中的“是”)，控制部20将模式切换为右击处理模式(步骤408)并前进到步骤501。

在步骤404中判断为否定时(步骤404中的“否”)，控制部20随后判断光点4是否有较大向左移动并在光点搜索框42内停止(步骤405)。在判断出光点4有较大向左移动并停止时(步骤405中的“是”)，控制部20将模式切换为左击处理模式(步骤409)并前进到步骤501。

另一方面，在步骤405中判断为否定时(步骤405中的“否”)，不切换拖动处理模式、滚动处理模式和点击处理模式(右击处理模式和左击处理模式)，在保持上一次处理模式的同时，控制部20前进到步骤501。

参照图12，在步骤501中，控制部20判断当前模式是否为拖动处理模式。在当前模式为拖动处理模式时(步骤501中的“是”)，控制部20执行拖动处理和在屏幕3上移动指针1的处理(步骤504)。因此，使用者可(例如)拖动显示部11的屏幕3上显示的图标2、窗口、网页等。

此处，在拖动期间，指针1和被拖动的拖动目标的移动距离是根据光点4相对于摄取图像40内的基本框41的移动量计算的距离(见图9A和图9B)。因此，在使用者在远离PC 10的位置以三维方式操作遥控器30和使用者在PC 10附近以三维方式操作遥控器30的两种情况下，指针1和拖动目标可在屏幕3上以相同方式移动。应注意的是，滚动处理(稍后将进行描述)和移动指针1的处理也是如此。

在步骤501中，在判断出当前模式不是拖动处理模式时(步骤501中的“否”)，控制部20判断当前模式是否为滚动处理模式(步骤502)。

在当前模式为滚动处理模式时(步骤502中的“是”)，控制部20在屏幕3上执行滚动处理。因此，使用者可滚动(例如)显示部11的屏幕3上显示的窗口或网页等内显示的图像。

当在步骤502中判断出当前模式不是滚动处理模式时(步骤502中的“否”)，控制部20根据光点4相对于摄取图像40内的基本框41的移动量在屏幕3上移动指针1(步骤503)。

再参照图10，当在步骤301中判断出没有收到来自遥控器30的发光部37的红外线时(步骤301中的“否”)，控制部20判断是否在预定时间内再次收到来自发光部37的红外线(步骤302)。该预定时间是根据发光部37的闪烁周期适当设置的。

根据步骤302的判断，控制部20可明显识别基于发光部37闪烁的光点4的光熄灭和基于按钮32释放的光点4的光熄灭。

当在预定时间内再次收到发光部37发出的红外线时(步骤302中的“是”)，与步骤301中判断红外线已经收到的情况相同，控制部20前进到步骤303，并执行步骤303的处理和上述后续步骤。

另一方面，当在预定时间内没有再次收到来自发光部37的红外线时(步骤302中的“否”)，控制部20前进到作为下一步骤的步骤306。在步骤306中，控制部20判断是否已经执行了点击处理。当已经执行了点击处理时(步骤306中的“是”)，控制部20按当前状态结束处理。另一方面，尚未进行点击处理时(步骤306中的“否”)，控制部20前进到作为下一步骤的步骤601。

参照图13，在步骤601中，控制部20判断当前模式是否为右击处理模式。当前模式为右击处理模式时(步骤601中的“是”)，控制部20执行右击处理。这种情况下，控制部20(例如)在当时指针1的位置执行相关菜单的显示处理。

另一方面，在当前模式不是右击处理模式时(步骤601中的“否”)，控制部20判断当前模式是否为左击处理模式(步骤602)。当前模式为左击处理模式时(步骤602中的“是”)，控制部20执行左击处理(步骤605)。这种情况下，(例如)此时指针1的位置处于图标2上时，控制部20进行选择和执行该图标2的处理。

另一方面，在当前模式不是左击处理模式时(步骤602中的“否”)，控制部20判断当前模式是否为拖动处理模式(步骤603)。在当前模式为拖动处理模式时(步骤603中的“是”)，控制部20执行放下处理(步骤606)。

通过图10至图13所示的处理，使用者通过在按下按钮32的同时以三维方式操作遥控器30可容易地移动屏幕3上的指针1。另外，使用者通过取消对遥控器30的按钮32的按压可容易地执行右击和左击操作(点击处理模式)(见步骤604和605)。

进一步，使用者可通过三维地操作遥控器30而容易地切换右击处理模式和左击处理模式，在右击处理模式下，释放按钮32时，执行右击，在左击处理模式下，释放按钮32时，执行左击(见步骤404和405)。

在将左击处理模式切换为右击处理模式时，使用者只需在按下按钮32的同时将遥控器30向右快速移动并停止(见步骤404)。另一方面，在将右击处理模式切换为左击处理模式时，使用者只需在按下按钮32的同时将遥控器30向左快速移动并停止(见步骤405)。

另外，使用者可通过将指针1定位在屏幕3上的诸如图标2、窗口和网页的拖动目标上一段时间来拖动该拖动目标(见步骤402)。随后，通过在按下按钮32并在将拖动目标移动到目标位置后释放按钮32的同时三维地操作遥控器30，使用者可拖动该拖动目标(见步骤504和606)。

另外，通过在例如窗口和网页等的滚动目标上定位指针1之后将遥控器30在垂直方向或横向快速移动，使用者可将滚动目标进行滚动(见步骤403和505)。

另外，由于此实施方式的遥控器30采用发光部37以预定周期闪烁的形式，所以可节省遥控器30的电力。

另一方面，PC 10的控制部20可识别光点4的光熄灭是基于发光部37闪烁的光点4的光熄灭还是基于按钮32释放的光点4的光熄灭(见步骤302)。随后，在光熄灭是基于闪烁时，控制部20不执行右击、左击和拖动处理(见步骤302中的“是”)。因此，可防止由于遥控器30的周期性闪烁而使执行的右击、左击和拖动处理产生误操作。

另外，在此实施方式的PC 10中，基于摄取图像40中单个光点4的移动和光点4的光的熄灭来实现移动指针1的处理，点击(右击和左击)、拖放和滚动处理。因此，可使一般用作显示部集成PC 10和电视设备遥控器30的遥控器30用作可将指针1移动，进行点击等操作的指示装置。由此，由于不需要使用特殊遥控器30，可节省成本。

另外，由于根据光点搜索框42内的光熄灭来判断光点4的光是否熄灭(见步骤301)，当光点4的光在光点搜索框42外部熄灭时，不执行右击、左击和拖动处理。因此，使用者用遥控器30对准屏幕3外部的位置的同时释放按钮32时执行点击等的情况下，可防止产生误操作。

(第一实施方式的变形例)

在上述说明中，在特定时间内光点4的移动较小时，模式切换为拖动处理模式，在光点4的垂直移动和横向移动较大时，模式切换为滚动处理模式。此外，在光点4向右移动较大并停止时，模式切换为右击处理模式，在光点4向左移动较大并停止时，模式切换为左击处理模式。但是，上述处理模式的切换条件并不限于此。

通常，上述处理模式的切换条件可指定为：使用者以三维方式操作遥控器30以移动指针1时一般不采用的光点4的任何移动。

虽然关于将右击处理模式切换为左击处理模式的条件与将左击处理模式切换为右击处理模式的条件不同的情况给出了上面的描述，但也可采用相同条件。

另外，虽然关于单击给出了以上说明，但也可执行双击(右手侧和左手侧)。例如，在桌面上的图标2上定位指针1时可执行左键双击处理。

<第二实施方式>

接下来将描述本发明的第二实施方式。

应注意的是，在第二实施方式和后续实施方式的描述中，与第一实施方式的部件具有相同结构和功能的部件以相同参考号表示，并将简化或省略其描述。

图14是示出根据本发明第二实施方式的指示系统100的PC 10的处理流程图。

PC 10的控制部20判断是否已收到来自遥控器30的发光部37的红外线(步骤701)。这种情况下，控制部20通过判断红外线的光点4是否处于由图像摄取部13摄取的摄取图像40中的光点搜索框42内来判断是否收到红外线。

使用者在握住遥控器30并对准PC 10的同时按下按钮32时，红外线从发光部37发出，以进行接收(步骤701中的“是”)。在收到红外线时，控制部20计算光点4相对于摄取图像40中的基本框41的移动量(步骤702)。

接下来，控制部20判断光点4的计算移动量是否小于预定阈值(步骤703)。阈值根据使用者的手部移动水平进行适当设置。

光点4的移动量小于预定阈值时(步骤703中的“是”)，控制部20相对于光点4的移动量减小屏幕3上指针1的移动比率(步骤704)(小模式(第一模式)。

另一方面，光点4的移动量等于或大于预定阈值时(步骤703中的“否”)，控制部20相对于光点4的移动量增加屏幕3上指针1的移动比率(步骤705)(大模式(第二模式))。

通过进行如上所述处理，在遥控器30的三维移动较小时，屏幕3上指针1的移动明显变小。因此，可抑制屏幕3上的指针1由于手部移动的影响而产生摆动。另外，使用者可精确控制屏幕3上的指针1。

另一方面，在遥控器30的三维移动较大时，屏幕3上指针1的移动明显变大。因此，在希望将指针1进行较大移动时，使用者可将遥控器30以三维方式进行较大移动，从而有效地移动指针1。

在图14所示的示例中，该模式具有大模式和小模式。但模式可为3个步骤或以上。

可对阈值进行处理，使其在小模式和大模式中不同。在这种情况下，可对阈值进行处理，使其在小模式下较大，在大模式下较小。因此，模式之间可进行稳定操作。

或者，在大模式下，控制部20可在光点4的光在摄取图像40(光点搜索框42)内熄灭时取消点击相关处理(左键单击和右键单击、左键双击和右键双击)。一般来说，使用者在执行点击相关操作时通常不对遥控器30以三维方式进行较大移动。换句话说，在大模式下，光点4的光在摄取图像40内是熄灭，通常为误操作。这种情况下，当在大模式下光点4的光在摄取图像40(光点搜索框42)内熄灭时，控制部20可取消点击相关处理。因此，可防止出现误操作。

(变形例)

在上述实施方式的描述中，对集成了显示部11和PC 10的显示部集成PC 10作为控制装置的实例进行了描述。但是，控制装置并不限于此。例如，显示部11和PC 10可为独立装置。另外，图像摄取部13也可与显示部11和PC 10分开设置。控制装置的其他实例包括电视设备和汽车导航设备。

本发明包含涉及于2010年6月17日在日本专利局递交的日本在先专利申请JP 2010-138224中公开的主题，其全部内容结合于此，作为参考。

本领域的技术人员应理解的是，可根据设计要求或其他因素进行各种修改、组合、子组合和改变，只要它们在附加权利要求或其等同物的范围内即可。

Claims (10)

1.一种指示系统，包括：

指示装置，所述指示装置包括：

操作部，和

发光部，根据所述操作部的操作发光；以及控制装置，所述控制装置包括：

图像摄取部，在所述发光部发光时摄取所述发光部发出的光，并输出包含所述光的光点信息的图像，

显示部，包括屏幕，并在所述屏幕上显示指针，和

控制部，根据所述图像中的所述光点信息判断所述光点的移动并根据所述光点的移动在屏幕上移动所述指针，并且根据所述图像中的所述光点信息判断所述光点的光是否熄灭，并在所述光点的光熄灭时执行点击相关处理。

2.根据权利要求1所述的指示系统，

其中，所述控制部判断所述光点的移动是否满足预定条件，并在所述光点的移动满足所述预定条件时，在左击处理模式和右击处理模式之间切换模式，在所述左击处理模式下，在所述光点的光熄灭时，执行左击相关处理，而在所述右击处理模式下，在所述光点的光熄灭时，执行右击相关处理。

3.根据权利要求1所述的指示系统，

其中，所述控制部判断所述光点的移动是否满足预定条件，并在所述光点的移动满足所述预定条件时，将点击处理模式切换为拖动处理模式，在所述点击处理模式下，根据所述光点的移动来移动所述指针，并在所述光点的光熄灭时执行所述点击相关处理，而在所述拖动处理模式下，根据所述光点的移动来执行拖动，并在所述光点的光熄灭时执行放下。

4.根据权利要求1所述的指示系统，

其中，所述控制部判断所述光点的移动是否满足预定条件，并在所述光点的移动满足所述预定条件时，将点击处理模式切换为滚动处理模式，在所述点击处理模式下，根据所述光点的移动来移动所述指针，并在所述光点的光熄灭时执行点击相关处理，而在所述滚动处理模式下，根据所述光点的移动执行滚动。

5.根据权利要求1所述的指示系统，

其中，所述发光部在所述操作部被操作时以预定周期闪烁，

其中，所述控制部根据所述图像中的所述光点信息判断光熄灭是基于所述发光部的闪烁的光点光熄灭，还是基于所述操作部操作的取消的光点光熄灭，在所述光点光熄灭被判断为是基于闪烁的光熄灭时，不执行点击相关处理，而在所述光点的光熄灭被判断为是基于操作部操作的取消的光熄灭时，执行点击相关处理。

6.根据权利要求1所述的指示系统，

其中，所述控制部计算光点的移动量，并根据所述移动量的大小来在第一模式和第二模式之间切换模式，在所述第一模式下，所述指针以第一移动比率相对于所述移动量移动，而在所述第二模式下，所述指针以大于所述第一移动比率的第二移动比率相对于所述移动量移动。

7.根据权利要求1所述的指示系统，

其中，所述控制部判断所述图像中所述光点的大小，在由所述图像摄取部摄取的所述图像中将与所述显示部的屏幕对应的基本框的大小设为与所述光点的大小对应的大小，并根据所述基本框中所述光点的移动在所述屏幕上移动所述指针。

8.根据权利要求7所述的指示系统，

其中，在所述图像中所述控制部将光点搜索框设置在所述基本框的周围，并判断在所述光点搜索框中的光点的移动以及所述光点的光熄灭。

9.一种控制装置，所述控制装置摄取指示装置的发光部发出的光的图像，并根据所摄取图像中包含的光的光点信息在屏幕上移动指针，所述指示装置包括操作部和根据所述操作部的操作发光的所述发光部，所述控制装置包括：

图像摄取部，用于在所述发光部发光时摄取所述发光部发出的光，并输出包含关于所述光点的信息的图像；

显示部，包括所述屏幕，并用于在所述屏幕上显示所述指针；以及

控制部，用于根据所述图像中关于所述光点的信息来判断光点的移动并根据所述光点的移动在所述屏幕上移动所述指针，并根据所述图像中关于所述光点的信息判断所述光点是否熄灭，并在所述光点的光熄灭时执行点击相关处理。

10.一种控制方法，包括：

摄取来自根据操作部的操作发光的发光部的光；

输出包含关于所述光的光点的信息的图像；

根据所摄取图像中关于所述光点的信息判断所述光点的移动；

根据所述光点的移动在屏幕上移动指针；

根据所述图像中关于所述光点的信息判断所述光点的光是否熄灭；以及

在所述光点的光熄灭时执行点击相关处理。

Images