CN101430625B - 显示系统及指示位置的检测方法 - Google Patents

Abstract

本发明涉及显示系统及指示位置的检测方法。在液晶显示装置的显示画面内，通过彼此能识别的方法显示多个红外发光亮点。而且，由操作装置拍摄指示位置的方向，根据拍摄图像中包含的各红外发光亮点的识别结果和各红外发光亮点的位置，计算出显示画面上的指示位置。由此，可恰当检测出操作装置和显示装置的距离、与操作装置将拍摄方向作为轴的旋转角度无关地由操作装置指示的显示画面上的位置。

Description

显示系统及指示位置的检测方法

技术领域

本发明涉及能够检测由指示器(pointer)等操作装置指示的显示画面上的指示位置的显示系统及上述指示位置的检测方法。

背景技术

近年来，在液晶显示器和等离子体显示器等显示器的薄型化进展的同时，画面尺寸大型的显示器也普及起来。

这些薄型且大型的显示器例如有时在会议、制品介绍等的展示或者电视游戏的显示器等中被使用。而且，在这样的使用情景中，用指示器等操作装置指定显示器上显示的所希望的点(位置或地方)，来进行操作。

例如，在专利文献1(日本国公开专利公报的特开2007-66080号公报(公开日：2007年3月15日)中公开了一种分别以不同的闪烁模式驱动在指示器的前后配置的发光元件，利用在显示器的左右设置的相机拍摄包含配置在指示器的前后的发光点的图像，根据三角法，分析运算发光点的方向(角度)、距离，来检测显示器上的指定点的坐标的技术。

而且，专利文献2(日本国公开专利公报的特开2007-83024号公报(公开日：2007年4月5日)中公开了一种在显示器的上侧或下侧等画面的附近设置发出红外线的LED的模块，利用控制器所具备的只透过红外光的滤光器和CMOS传感器或CCD等摄像元件拍摄上述的LED，根据拍摄的图像数据内的LED的位置变化，检测画面内的坐标位置的系统。

可是，在上述的现有技术中，存在着在操作装置的位置接近显示器时，无法恰当检测出操作装置所指示的位置的问题。

即，在专利文献1的技术中，用于拍摄包含在指示器(操作装置)的前后设置的发光点的图像的相机，设置在显示器的显示画面的左右。 因此，在指示器的位置接近显示画面时，有时发光点的位置会脱离相机的可拍摄范围。

另外，在专利文献2的技术中，通过设置在控制器(操作装置)中的摄像元件，来拍摄在显示器的显示画面的上侧或下侧设置的LED模块所发出的红外线。因此，与专利文献1的情况同样，在控制器的位置接近显示画面时，有时LED模块会脱离摄像元件的可拍摄范围。

图25(a)、图25(b)、图26(a)和图26(b)是在表示与专利文献2所公开的结构同样的结构中，操作装置101和显示装置102的距离与能检测操作装置101的指示位置的范围之间的关系的说明图。

如图25(a)及图25(b)所示，当显示装置102和操作装置101的距离充分分开时，无论由操作装置101指示显示画面上的哪个位置，LED模块103都被包含在操作装置101所具备的摄像元件的可拍摄范围内，能够检测操作装置101的指示位置。

而如图26(a)和图26(b)所示，当显示装置102和操作装置101的距离短时，根据操作装置101的指示位置，LED模块103未被纳入到摄像元件的可拍摄范围内。而且，当LED模块103未被纳入到可拍摄范围内时，无法检测操作装置101的指示位置。

另外，在上述现有技术中，当在操作装置围绕连接操作装置和显示画面的直线的轴旋转的状态下(例如操作装置的上下颠倒的状态)，指示显示画面上的位置时，有时无法恰当检测出指示位置。即，当将显示画面的坐标系中的x轴方向和y轴方向与拍摄图像的坐标系中的x轴方向和y轴方向一致的位置作为基准位置时，在相对于该基准位置，使操作装置的姿态以该操作装置的拍摄方向为轴旋转时，有时会误检测指示位置。

例如，如图27(a)和图28(a)所示，考虑发光点L1、L2设置在显示画面的左右的情形。如图27(a)所示，当在操作装置的上下不颠倒的状态(操作装置的姿态位于基准位置的状态)下指示了显示画面的左下部分时，拍摄图像为图27(b)那样。而如图28(a)所示，当在操作装置的上下颠倒的状态(操作装置的姿态相对于基准位置以拍摄方 向为轴进行了旋转的状态)下指示了显示画面的左上部分时，拍摄图像为图28(b)那样。这样，与指示了显示画面上的不同位置无关，在操作装置的上下颠倒时和不颠倒时取得了同样的拍摄图像，结果，导致误认指示位置。

发明内容

本发明是鉴于上述问题而提出的，其目的在于，与操作装置和显示装置的距离、及以操作装置的拍摄方向为轴的旋转角度无关地，恰当检测出由操作装置指示的显示画面上的位置。

为了解决上述课题，本发明的显示系统包括：显示装置，具有用于显示与图像数据对应的图像的显示画面；操作装置，针对所述显示画面从非接触的位置指示所述显示画面上的任意位置，拍摄包含该显示画面上的指示位置的图像；设置于所述显示装置的射出红外波长区域的光的2个以上红外发光亮点；和指示位置检测部件，根据由所述操作装置拍摄的拍摄图像中包含的所述红外发光亮点的位置，检测显示画面上的所述指示位置；其特征在于，具有亮点识别部，该亮点识别部识别所述拍摄图像中的所述各红外发光亮点彼此；所述红外发光亮点中的至少一个设置在所述显示装置的显示画面内；所述各红外发光亮点通过以下方法发光，该方法为由所述亮点识别部根据所述拍摄图像识别所述各红外发光亮点彼此。

根据上述结构，在显示画面内至少设置有一个射出红外波长区域的光的红外发光亮点。由此，与以往那样只在显示画面的外部设置红外发光亮点的结构相比，能缩短为了在拍摄范围内包含2个以上红外发光亮点而必要的显示装置和操作装置的距离。因此，能缩短为了恰当算出操作装置在显示画面上的指示位置而必要的显示画面和操作装置的距离，即使在操作装置和显示画面的距离短的时候，也能恰当检测操作装置在显示画面上的指示位置。

此外，根据上述结构，各红外发光亮点通过亮点识别部根据拍摄图像，能识别各红外发光亮点彼此的方法发光。由此，在拍摄时，即使操作装置相对于基准位置(显示画面的坐标系中的x轴方向及y轴方向与拍摄图像的坐标系中的x轴方向及y轴方向一致的位置)以拍摄方向为轴旋转时，根据各亮点的位置和各亮点的识别结果，考虑上述旋转，也 能恰当检测出显示画面上的位置。

根据以下所示的记载，应该能充分理解本发明的其他目的、特征和优点。此外，在参照附图的以下说明中，本发明的优点会变得清楚。

附图说明

图1是表示本发明的一个实施方式的显示系统中的红外发光亮点的显示处理和指示装置的计算处理的流程的流程图。

图2是表示本发明的一个实施方式的显示系统的概略结构的框图。

图3是表示图2的显示系统所具备的显示装置的概略结构的框图。

图4是表示图3的显示装置的显示部所具备的各副像素的概略结构的示意图。

图5是图3的显示装置所具备的显示部的剖视图。

图6是表示图2的显示系统所具备的操作装置中的图像处理模块的结构的框图。

图7是表示在图3的显示装置中，将显示画面分割为多个块，将从多个块中选择的任意块作为红外发光亮点使其发挥功能的结构说明图。

图8(a)是表示对相当于图7中的亮点Ir1的块内的Ir的副像素供给的驱动电压的波形的一个例子的波形图，图8(b)是表示对相当于图7的亮点Ir2的块内的Ir的副像素供给的驱动电压的波形的一个例子的波形图。

图9(a)是表示在图3所示的显示装置的显示部显示的红外发光亮点的一个例子的说明图，图9(b)是表示在操作装置的上下颠倒了的状态下，拍摄图9(a)所示的显示部的拍摄图像的说明图。图9(c)是表示使显示装置的坐标系中的x轴方向及y轴方向与拍摄图像的坐标系中的x轴方向及y轴方向一致地使图9(b)的拍摄图像旋转后的图像的说明图。

图10是表示对相当于图7中的亮点Ir1和亮点Ir2的块内的Ir的 副像素供给的驱动电压的波形的其他例子的波形图。

图11是表示对相当于图7中的亮点Ir1和亮点Ir2的块内的Ir的副像素供给的驱动电压的波形的另一其他例子的波形图。

图12是表示对相当于图7中的亮点Ir1和亮点Ir2的块内的Ir的副像素供给的驱动电压的波形的又一其他例子的波形图。

图13是表示图3的显示装置所具备的背光灯单元的变形例的立体图。

图14是表示图3的显示装置所具备的背光灯单元的变形例的立体图。

图15(a)是表示在图3所示的显示装置的显示部显示的红外发光亮点的其他例子的说明图，图15(b)是表示操作装置相对上述显示装置的显示面的拍摄方向的说明图，图15(c)是表示利用操作装置所具备的摄像元件从图15(b)所示的拍摄方向拍摄图15(a)所示的显示部时的拍摄图像的说明图。

图16(a)是表示图3所示的显示装置的显示部所显示的各红外发光亮点和各红外发光亮点的重心之间的关系的说明图，图16(b)是表示利用操作装置所具备的摄像元件拍摄图16(a)所示的显示部的拍摄图像中的各红外发光亮点和各红外发光亮点的重心之间的关系的说明图。

图17是表示在本发明其他实施方式的显示系统中，显示装置的显示画面所显示的红外发光亮点的一个例子的说明图。

图18是表示在图17所示的位置显示红外发光亮点时，从接近显示画面的位置利用操作装置能够指示的范围的例子的说明图。

图19是表示在本发明的其他实施方式的显示系统中，显示装置的显示画面所显示的红外发光亮点的其他例子的说明图。

图20(a)和图20(b)是在图19所示的位置显示红外发光亮点时，从接近显示画面的位置利用操作装置能够指示的范围的例子的说明图。

图21是表示本发明的其他实施方式的显示系统的概略结构的框图。

图22是表示在本发明的其他实施方式的显示系统的显示装置所具备的存储部中保存的、查找表(lookup table)的一个例子的说明图。

图23(a)和图23(b)是表示本发明的其他实施方式的显示系统中的、操作装置的指示位置和显示画面中的亮点的显示位置之间的关系的说明图。

图24(a)是表示在本发明的其他实施方式的显示系统中，显示装置的显示画面与操作装置的距离长时变更后的各亮点的显示位置的例子的说明图。图24(b)是表示在本发明的其他实施方式的显示系统中，显示装置的显示画面与操作装置的距离短时变更后的各亮点的显示位置的例子的说明图。

图25(a)和图25(b)是表示现有技术的显示系统中的操作装置和显示装置的距离与能够检测操作装置的指示位置的范围之间的关系的说明图。

图26(a)和图26(b)是表示现有技术的显示系统中的操作装置和显示装置的距离与能够检测操作装置的指示位置的范围之间的关系的说明图。

图27(a)是表示现有的显示系统中的红外发光亮点的位置及指示位置的一个例子的说明图。图27(b)是表示利用上下不颠倒的状态的操作装置拍摄了图27(a)的红外发光亮点及指示位置时的拍摄图像的说明图。

图28(a)是表示现有的显示系统中的红外发光亮点的位置及指示位置的一个例子的说明图。图28(b)是表示利用上下颠倒的状态的操作装置拍摄了图28(a)的红外发光亮点及指示位置时的拍摄图像的说明图。

具体实施方式

[实施方式1]

对本发明的一个实施方式进行说明。

图2是表示本实施方式的显示系统1的概略结构的框图。如该图所示，显示系统1具有液晶显示装置10和操作装置20。

液晶显示装置10具有显示部11、控制部12及通信模块13。

图3是表示液晶显示装置10的概略结构的框图，图4是表示图3所示的液晶显示装置10中的各副像素的概略结构的示意图。

如图3所示，液晶显示装置10具备：将多个由R(红)、G(绿)、B(蓝)、Ir(红外色)4种颜色的副像素(子像素)SPR、SPG、SPB、SPIr构成的像素P配置为矩阵状的显示部(显示面板)11；具有源极驱动器32、栅极驱动器33、显示控制部31、及指示位置计算部38的控制部12；与操作装置20之间进行数据的收发的通信模块13；和对上述各部供给电力的电源电路34。其中，液晶显示装置10通过有源矩阵方式驱动。而且，在液晶显示装置10中，未被施加驱动电压的像素显示黑图像。

并且，在显示部11中设置有多条数据信号线SL1_R、SL1_G、SL1_B、SL1_Ir、～SLn_R、SLn_G、SLn_B、SLn_Ir(n表示2以上的任意整数)、与这些各数据信号线分别交叉的多条扫描信号线GL1～GLm(m是2以上的任意整数)，按这些数据信号线及扫描信号线的组合设置有上述副像素。

指示位置计算部38根据通过通信模块13从操作装置20接收到的信息，计算出操作装置20在显示画面上的指示位置。后面将描述指示位置的计算方法的细节。

显示控制部31控制源极驱动器32和栅极驱动器33的动作，来控制透过R、G、B各副像素的光的强度，在显示部11上显示与显示图像数据对应的图像。另外，上述显示图像数据例如可以是从与液晶显示装置10连接成能够通信的外部装置(未图示)输入的数据，也可以是从液晶显示装置10所具备的存储部(未图示)读出的数据，还可以是通过天线、调谐器等接收部件(未图示)接收到的广播数据。

而且，显示控制部31控制源极驱动器32和栅极驱动器33的动作，来控制透过Ir的副像素的光的强度，在显示画面上的任意位置显示多个亮点(红外发光亮点)。这时，显示控制部31通过根据拍摄这些各亮点的拍摄图像彼此能识别的方法，显示各亮点。并且，显示控制部31根据指示位置计算部38的指示位置计算结果，控制源极驱动器32和栅极驱动器33的动作，在操作装置20于显示画面上的指示位置显示规定的图形(表示指示位置的标记等图像)。另外，后面将描述亮点的显示方法和指示位置的计算方法的细节。

源极驱动器32根据显示图像数据，生成用于驱动各个副像素的驱动电压(图像信号)，施加给与各副像素对应的数据信号线。栅极驱动器33控制向各扫描信号线的施加电压，从而对沿着数据信号线配置的各副像素，在规定的定时依次供给从源极驱动器32输出的驱动电压。

在各副像素中，如图4所示，设置有开关元件41。作为开关元件41，例如可使用FET(场效应晶体管)或TFT(薄膜晶体管)等，上述开关元件41的栅电极42与扫描信号线GLi(i表示1以上的任意整数)连接，漏电极44与副像素电极45连接。而且，与副像素电极45对置配置的对置电极46与在全部副像素中共有的未图示的公共电极线连接。

图5是显示部11的剖视图。如该图所示，显示部11具备通过隔离物(spacer)(未图示)以规定的间隔对置配置的玻璃基板51、52、和被封入在这些玻璃基板51、52之间的由液晶性材料构成的液晶层57。其中，作为液晶性材料，可使用向列液晶、近晶型液晶、强介电性液晶等一般经常使用的液晶材料。

而且，在玻璃基板51的与玻璃基板52的对置面设置有：具备数据信号线SL1_R、SL1_G、SL1_B、SL1_Ir、…、扫描信号线GL1、…、开关元件41、副像素电极45等的布线层53、和覆盖布线层53地形成的取向膜55a。并且，在玻璃基板51的与玻璃基板52的对置面相反侧的面设置有偏光板58a。而且，与偏光板58a对置地配置有背光灯单元60。

并且，在玻璃基板52的与玻璃基板51的对置面，按顺序层叠有滤色器层56、由透明导电膜构成的对置电极46、及形成为覆盖对置电极 46的取向膜55b。进而，在玻璃基板52的与玻璃基板51的对置面相反侧的面设置有偏光板58b。

其中，对于对取向膜55a、55b实施的取向处理方向、及偏光板58a、58b的吸收轴方向而言，只要根据在液晶层57中封入的液晶性物质的种类等，与以往公知的液晶显示装置同样设定即可。另外，本实施方式中，在彼此不同的基板配置了副像素电极45和对置电极46，但并不局限于此，也可以是在同一基板上配置这两个电极的所谓IPS方式。

此外，在滤色器层56中，按各副像素设置有使与R、G、B、Ir中的任意一个对应的波长区域的光透过，将其他波长区域的光遮光的滤光器。其中，作为使Ir的光(红外波长区域的光)透过的滤光器，例如能使用HOYA色玻璃滤光器的红外透过可见吸收滤光器。

背光灯单元60如图5所示，具有光源61和反射部62，从光源61照射的光通过被反射部62反射，而对显示部11照射光。另外，在背光灯单元60和显示部11之间也可以配置用于使光源61发出的光扩散，对显示部11的显示面全体均一照射的扩散膜。

作为光源61，可使用在可见区域和红外区域具有发光光谱的光源。作为这样的光源，例如能使用金属卤化物灯等(参照非专利文献1(东忠利著，“液晶投影仪用直流点灯型金属卤化物灯”，光技术信息杂志“Light edge”No11，1997年10月，pp.6-pp.9)。

在液晶显示装置10中，如果选择了扫描信号线GLi，则与该扫描信号线连接的各副像素的开关元件41导通，根据对显示控制部31输入的显示图像数据而决定的信号电压，由源极驱动器32通过数据信号线施加到副像素电极45和对置电极46之间。在副像素电极45和对置电极46之间，当扫描信号线GLi的选择期间结束、遮断开关元件41时，理想的情况是继续保持遮断时的电压。由此，通过在与各副像素对应的副像素电极45和对置电极46之间分别独立施加驱动电压，可以对配置在这两个电极之间的液晶层的各副像素区域施加与所显示的图像对应的电场，使各副像素区域的液晶分子的取向状态变化，来进行显示。

根据这样的结构，在液晶显示装置10中，控制在各副像素的副像 素电极45和对置电极46之间施加的电压，来控制透过液晶层57的各副像素区域的光量，进行彩色显示，并且，在任意的副像素中，使红外光透过，在任意的显示位置显示发出人眼不能捕捉的红外区域光的亮点。

操作装置20如图2所示，具有红外透过滤光器21、透镜22、摄像元件23、图像处理模块24、操作开关25、控制部26、通信模块27。而且，操作装置20能通过将该操作装置20的前端朝向液晶显示装置10的显示画面上的任意位置，而指示显示画面上的任意位置。

红外透过滤光器21是使红外区域波长的光透过的滤光器，例如能使用HOYA色玻璃滤光器的红外透过可见吸收滤光器。

透镜22将透过红外透过滤光器21后的红外光汇聚到摄像元件23的摄像部。摄像元件23例如由CMOS或者CCD等构成，接收由透镜22汇聚的红外光进行摄像，将拍摄的图像的图像信号输出给图像处理模块24。其中，摄像元件23的拍摄方向的中心(即透镜22的光轴方向)与操作装置20的指示方向(即连接显示画面上的指示位置和操作装置20的前端的直线的方向)平行。因此，拍摄图像的中心与显示画面上的指示位置对应。

图像处理模块24如图6所示，具有A/D转换部71、识别信息提取部72、亮点位置计算部73、亮点间距离计算部74。A/D转换部71对从摄像元件23输入的图像数据进行A/D变换，生成数字图像信号。识别信息提取部72根据拍摄图像，提取出各亮点的识别信息(例如，规定期间内的各亮点的平均亮度)。亮点位置计算部73根据从A/D转换部71输出的数字图像信号，计算出拍摄图像的中心位置和亮点的相对位置(拍摄图像的坐标系中的拍摄图像的中心位置(指示位置)和亮点的相对位置)。亮点间距离计算部74计算出拍摄图像中的亮点间的距离(拍摄图像的坐标系中的亮点间的距离)。后面将描述这些处理的细节。

操作开关25受理来自用户的指示输入，由多个按钮键等构成。

控制部26控制操作装置20所具备的各部的动作。而且，根据从图像处理模块24输入的识别信息的提取结果、相对位置的计算结果、亮 点间距离的计算结果、通过操作开关25从用户输入的信息等，生成发送给液晶显示装置10的信息。

通信模块27是与液晶显示装置10的通信模块13之间进行数据的收发的部件，例如将从控制部26输入的信息发送给液晶显示装置10。其中，通信模块27所使用的通信媒体未特别限定，可以是无线媒体，也可以是有线媒体。

下面，说明亮点的显示方法、及指示位置的计算方法。图1是表示亮点显示处理和指示位置计算处理的流程的流程图。

首先，液晶显示装置10的显示控制部31控制源极驱动器32和栅极驱动器33的动作，在显示画面的规定位置用彼此不同的明亮度(亮度)显示多个(本实施方式中为2个)亮点(S1)。其中，该处理可以在由用户选择了计算出操作装置20的指示位置的模式(指示位置计算模式)时执行，也可以时常进行。另外，与亮点的显示并行，显示控制部31根据图像数据，控制源极驱动器32和栅极驱动器33的动作，驱动R、G、B的各副像素，显示与图像数据对应的图像。

在本实施方式中，如图7所示，将显示画面分割成各块由3×3像素构成的多个块，将从这多个块中选择的2个块作为亮点发挥作用。而且，这时，使对成为各亮点的块中的Ir的副像素SPIr施加的驱动电压在两块中互不相同。由此，可使各亮点的明亮度(亮度)不同，将各亮点显示成能彼此识别。另外，在本实施方式中，为了将说明变得简单，通过由3×3像素构成的块表示了各亮点，但是各亮点的尺寸(成为亮点的块的尺寸)并不局限于此，只要是根据操作装置20的拍摄图像能识别各亮点的像素数即可。

图8(a)表示对相当于图7中的亮点Ir1的块内的Ir的副像素SPIr供给的驱动电压(数据信号)的波形，图8(b)表示对相当于图7中的亮点Ir2的块内的Ir的副像素SPIr供给的驱动电压的波形。即，当在1帧内依次扫描了栅电极，分别选择了与亮点Ir1所对应的副像素SPIr连接的扫描信号线时，图8(a)所示的驱动电压被提供给与这些副像素SPIr连接的数据信号线。同样，当在1帧内依次扫描了栅电极，分别选择了与亮点Ir2所对应的副像素SPIr连接的扫描信号线时，图8 (b)所示的驱动电压被提供给与这些副像素SPIr连接的数据信号线。

另外，在本实施方式中，如图8(a)和图8(b)所示，使针对各副像素的驱动电压的极性每次反转。由此，能防止由于连续施加同极性的驱动电压而导致液晶劣化。

而且，如图8(a)和图8(b)所示，使对亮点Ir1所对应的副像素SPIr供给的驱动电压的大小，比对亮点Ir2所对应的副像素SPIr供给的驱动电压的大小大(在图8(a)和图8(b)的例子中，将针对亮点Ir2的副像素SPIr的驱动电压的大小设定为针对亮点Ir1的副像素SPIr的驱动电压的大小的1/2)。由此，能使各亮点的明亮度(亮度)不同，所以例如通过计算出拍摄图像中的各亮点的规定期间内(例如，规定帧期间内)的明亮度的平均值(平均亮度)，进行比较，从而能够识别各亮点。

接着，操作装置20的控制部26使摄像元件23拍摄显示画面(S11)。由此，可拍摄操作装置20的前端朝向的方向的图像。另外，该处理可以每隔规定时间进行，也可以连续进行，还可以在有通过操作开关25而来自用户的指示输入时进行，并可以在由用户按下了规定按钮的期间中连续或每隔规定时间进行。

接着，操作装置20的控制部26使图像处理模块24的识别信息提取部72提取出拍摄图像中的各亮点的识别信息(S12)。具体而言，识别信息提取部72将规定期间(规定帧期间)中的各亮点的明亮度(亮度)的平均值作为识别信息检测出。另外，提取的识别信息并不局限于此，可以按照液晶显示装置10中的各亮点的显示方法，预先设定。

接着，操作装置20的控制部26使图像处理模块24的亮点位置计算部73计算出拍摄图像的坐标系中的各亮点相对于指示位置(在本实施方式中，为拍摄图像的中心)的相对位置(S13)。具体而言，计算出拍摄图像的坐标系中的各亮点的中点的坐标。或者，计算出拍摄图像的坐标系中的各亮点的坐标。

接着，操作装置20的控制部26使图像处理模块24的亮点间距离计算部74计算出拍摄图像的坐标系中的亮点间的距离(S14)。

接着，操作装置20的控制部26将在S12中提取出的各亮点的识别信息、S13中计算出的表示相对位置的信息、及在S14中计算出的表示亮点间的距离的信息，从通信模块27发送给液晶显示装置10(S15)。

然后，如果液晶显示装置10的指示位置计算部38通过通信模块13收到从操作装置20发送的上述信息(S2)，则计算出拍摄时的操作装置20相对于基准位置的旋转角度(S3)。具体而言，指示位置计算部38根据拍摄时在显示画面上显示的各亮点的亮度(识别信息)、和从拍摄图像提取出的各亮点的亮度(识别信息)，计算出操作装置20相对于基准位置的旋转角度。

这里，对计算拍摄时的操作装置20的旋转角度的方法进行说明。图9(a)是表示在液晶显示装置10的显示部11上显示的2个亮点Ir1、Ir2的一个例子的说明图，图9(b)是表示在操作装置20的上下颠倒的状态下，拍摄了图9(a)所示的显示部11时的拍摄图像的一个例子的说明图。

液晶显示装置10的指示位置计算部38通过比较显示画面的坐标系中的拍摄时的各亮点的坐标、和拍摄图像的坐标系中的各亮点的坐标，来计算出拍摄图像的坐标系相对于显示画面的坐标系的旋转角度。例如，根据连接显示画面的坐标系中的各亮点的直线的斜率和连接拍摄图像的坐标系中的各亮点的直线的斜率的关系、显示画面的坐标系中的各亮点的x坐标和拍摄图像的坐标系中的各亮点的x坐标的大小关系、及显示画面的坐标系中的各亮点的y坐标和拍摄图像的坐标系中的各亮点的y坐标的大小关系，计算出拍摄图像的坐标系相对于显示画面的坐标系的旋转角度。

由此，能计算出拍摄时的操作装置20相对于基准位置的旋转角度。例如在图9(b)的情况下，从各亮点的位置关系可知，拍摄图像的坐标系相对于显示画面的坐标系旋转了180°。

接着，液晶显示装置10的指示位置计算部38根据在S3中计算出的旋转角度、在S2中接收到的表示相对位置的信息和表示亮点间距离的信息，计算出操作装置20在显示画面上的指示位置(显示画面的坐标系中的基于操作装置20的指示位置)(S4)。即，由于从操作装置20 收到的信息是基于拍摄图像的坐标系的亮度的位置信息，所以将它变换为显示画面的坐标系，计算出操作装置20在显示画面上的指示位置。

这里，更详细地说明显示画面的坐标系中的指示位置的计算方法。

首先，指示位置计算部38根据S3中计算出的拍摄时的操作装置20的旋转角度，使在S2中接收到的表示相对位置的信息的坐标系旋转，变换为与基准位置对应的坐标系。即，使显示图像的坐标系和拍摄图像的坐标系的x轴方向及y轴方向一致。例如，在图9(b)的情况下，使拍摄图像的坐标系围绕拍摄图像的中心旋转-180°。由此，如图9(c)所示，能使显示画面的坐标系和拍摄图像的坐标系的x轴方向及y轴方向一致。

如图9(c)所示，在拍摄图像的坐标系中，拍摄图像的中心的坐标为(0，0)，亮点Ir1和亮点Ir2的中点C的坐标为(x1，y1)，亮点Ir1和亮点Ir2的距离为L1。而且，如图9(a)所示，显示画面的坐标系中的亮点Ir1和亮点Ir2的距离为Ld，亮点Ir1和亮点Ir2的中点c的坐标为(xc，yc)，操作装置20在显示画面上的指示位置的坐标为(xp，yp)。而且，操作装置20在显示画面上的指示位置与亮点Ir1和亮点Ir2的中点的x方向的距离为xd，y方向的距离为yd。

该情况下，可利用c＝Ld/L1计算出用于将拍摄图像的坐标系变换为显示画面的坐标系的系数c。因此，由于表示为xd＝c×x1，yd＝c×y1，所以根据xp＝xc-xd＝xc-c×x1，yp＝yc-yd＝yc-c×y1，能够确定显示画面上的指示位置的坐标(显示画面的坐标系中的操作装置20的指示位置的坐标)。

如上所述，在本实施方式的显示系统1中，利用彼此能够识别的方法在液晶显示装置10的显示画面内显示多个亮点。然后，通过操作装置20拍摄显示画面，检测出拍摄图像中包含的各亮点的识别信息(例如各亮点的规定期间的平均亮度)、拍摄图像中的指示位置和各亮点的相对位置、及亮点间的距离，将检测结果发送给液晶显示装置10。然后，液晶显示装置10根据从操作装置20收到的上述各信息和在显示画面上显示的各亮点的位置及识别信息，计算出显示画面的坐标系中的基于操作装置20的指示位置。

这样，通过在显示画面内显示亮点，与以往那样在显示画面的外部设置亮点的情形相比，即使在显示画面与操作装置的距离短时，也能够容易地在操作装置的拍摄范围内包含亮点，所以可扩大能够恰当计算出显示画面上的指示位置的范围。而且，根据显示画面的坐标系中的各亮点的位置、和拍摄图像的坐标系中的指示位置与各亮点的相对位置，能容易地计算出显示画面的坐标系中的指示位置的坐标。

并且，由于能够识别拍摄图像中的各亮点，所以可计算出拍摄时的操作装置20的以拍摄方向为轴的旋转角度，能够恰当检测出显示画面的坐标系中的指示位置的坐标。

另外，在本实施方式中，通过使向各亮点所对应的Ir的副像素SPIr供给的驱动电压的大小互不相同，来使各亮点的明亮度(亮度)不同，由此可识别地显示各亮点，但是各亮点的显示方法并不局限于此，也可以是根据拍摄图像能够识别各亮点彼此的方法。

例如如图10所示，也可以使亮点Ir1的发光时间(在图10中，为4帧期间)和亮点Ir2的发光时间(在图10中，为2帧期间)不同。即，可以使与亮点Ir1对应的Ir的副像素变为ON的期间(帧数)和与亮点Ir2对应的Ir的副像素变为ON的期间不同。由此，通过根据拍摄图像，计算出各亮点的规定期间(规定帧期间)的明亮度(亮度)的平均值，能够根据计算结果识别各亮点。

另外，如图11所示，也可以将用于显示各亮点的驱动电压设为脉冲波，使脉冲的数量按各亮点不同。即，可以使切换与亮点Ir1对应的Ir的副像素的ON/OFF的次数、和切换与亮点Ir2对应的Ir的副像素的ON/OFF的次数不同。由此，通过根据拍摄图像，检测规定期间(规定帧期间)的各亮点的脉冲数(ON/OFF的切换次数)，或者计算出规定期间的明亮度(亮度)的平均值，从而能识别各亮点。

此外，如图12所示，也可以将用于显示各亮点的驱动电压设为脉冲波，使针对各亮点的驱动电压的脉冲的周期或波形模式(发光模式、闪烁模式)不同。这时，也通过根据拍摄图像，检测各亮点的脉冲周期或波形图案，从而能够识别各亮点。

而且，在本实施方式中，对作为光源61而使用金属卤化物灯的结构进行了说明，但是光源61的结构并不局限于此，可以是射出在用于进行与图像数据对应的图像的显示的可见区域具有发光波长的光、和在用于显示亮点的红外区域具有发光波长的光的结构。例如，可以组合在可见区域具有发光波长的光源和在红外区域具有发光波长的光源，进行使用。这时，例如可以组合RBG的各LED和红外LED进行使用，也可以组合白色LED和红外LED进行使用。并且，该情况下，也可以是来自各LED的出射光通过微透镜阵列向显示部11入射的结构(参照非专利文献2(内田龙男监修，“图解电子显示器的全部”，株式会社工业调查会发行，2006年10月30日，pp.92-pp.95))。另外，背光灯单元60可以是侧光(side light)方式，也可以是正下方类型，还可以是组合两者的结构。

此外，也可以将显示画面分割为多个块，按各块设置光源61。图13是表示在由3×3像素构成的各块中分别设置了2个由R、G、B、Ir各色的LED构成的光源61R、61G、61B、61Ir时的结构例的立体图。在图13中，为了将说明变得简单，也表示了块由3×3像素构成块的结构，但是块的尺寸并不局限于此。而且，在该图所示的例子中，具有使从R、G、B、Ir的LED射出的光扩散，将其没有颜色偏差且成为均一亮度地向块内的各像素引导的导光板63。其中，除了背光灯单元的结构以外，可与图5所示的结构同样。此外，在图13的结构中，可代替R、G、B的LED而使用白色LED。

另外，可以按各像素设置光源61。而且，这时，可以按各像素配置R、G、B、Ir各色的LED，以场序(field sequential)方式进行图像显示。图14是表示采用场序方式时的各像素的结构例的剖视图。

在图14所示的例子中，从背光灯侧按顺序层叠有R、G、B、Ir各色的光源61R、61G、61B、61Ir、偏光板58a、布线层53、取向膜55a、玻璃基板51、液晶层57、取向膜55b、对置电极45、玻璃基板52、光学补偿板59、偏光板58b。另外，由于在采用场序方式时，将各色的光源依次点亮，进行显示，所以没必要设置副像素，可省略滤色器。

光学补偿板59通过将单轴性的相位差薄膜按彼此的光轴正交地重叠3张而形成，用于进行三维的光学补偿。通过设置该光学补偿板59， 在图14的结构中，以OCB(Optically Compensated Bend)方式动作。

这时，在各像素中，以将1帧期间(1/60秒)4分割的1/240秒以下，依次驱动(时间分割驱动)R、G、B、Ir的各LED。即，在写入了R的场的驱动电压后，使R的背光灯点亮，以下，同样在写入了G的场的驱动电压后，使G的背光灯点亮，在写入了B的场的驱动电压后，使B的背光灯点亮，进行图像的显示。而且，对于显示亮点的像素而言，按照使Ir透过的方式对薄膜晶体管输入驱动电压之后，使Ir的背光灯点亮。另外，也可以将显示画面分割为多个块，按每个块依次点亮。

而且，在本实施方式中，将图像处理模块24和控制部26设置为独立的功能块，但是也可以由公共的计算部件构成它们。

另外，在本实施方式中，利用操作装置20进行了拍摄图像的坐标系中的各亮点相对于指示位置的相对位置(拍摄图像的中心和各亮点的相对位置、或者拍摄图像的中心和根据各亮点的位置而唯一决定的点(例如，各亮点的中点)的相对位置)及亮点间的距离的运算，但是并不局限于此。例如，可以将由摄像元件23拍摄的拍摄图像的图像数据、或者拍摄图像的坐标系中的指示位置及各亮点的坐标的数据发送给液晶显示装置10，在液晶显示装置10计算。

而且，在本实施方式中，根据操作装置20从拍摄图像检测到的各亮点的识别信息、拍摄图像的坐标系中的各亮点相对于指示位置的相对位置及亮点间的距离，液晶显示装置10计算出显示画面的坐标系中的指示位置，但是并不局限于此。例如，可以从液晶显示装置10的通信模块13向操作装置20预先发送各亮点的识别信息(例如各亮点的实际亮度)、亮点间的距离Ld或者显示画面的坐标系中的各亮点的位置(坐标)，由操作装置20的图像处理模块24根据从液晶显示装置10收到的上述各信息、从拍摄图像提取出的各亮点的识别信息、拍摄图像的坐标系中的亮点相对于指示位置的相对位置及亮点间的距离，计算出显示画面的坐标系中的指示位置。这时，只要从操作装置20向液晶显示装置10发送显示画面的坐标系中的指示位置的计算结果即可。

并且，在本实施方式中，说明了在显示画面显示2个亮点的结构， 但是并不局限于此，也可以显示3个以上的亮点。当显示3个以上亮点时，与显示2个时同样，利用彼此可识别的方法显示各亮点，根据显示画面的坐标系中的各亮点的位置关系和拍摄图像的坐标系中的各亮点的位置关系，计算出拍摄时的操作装置20的旋转角度。

这里，对显示3个亮点时的显示画面上的指示位置的计算方法的例子进行说明。图15(a)是表示液晶显示装置10的显示部11所显示的3个亮点Ir1、Ir2、Ir3的一个例子的说明图，图15(c)是表示利用操作装置20所具备的摄像元件23如图15(b)所示那样，从倾斜视角方向拍摄图15(a)所示的显示部11时的拍摄图像的一个例子的说明图。

如图15(c)所示，拍摄图像的坐标系中的指示位置(这里为拍摄图像的中心)的坐标为(x_c，y_c)，拍摄图像的坐标系中的亮点Ir1、Ir2、Ir3的坐标分别为(x_Ia，y_Ia)、(x_Ib，y_Ib)、(x_Ic，y_Ic)。而且，如图15(a)所示，显示画面的坐标系中的亮点Ir1、Ir2、Ir3的坐标分别为(xDa，yDa)、(xDb，yDb)、(xDc，yDc)，显示画面的坐标系中的指示位置的坐标为(xp，yp)。

首先，决定拍摄图像的坐标系中的各亮点和显示画面的坐标系中的各亮点的对应关系。在本实施方式中，如图16(a)所示，当在显示画面的坐标系中3个亮点的重心为原点(0，0)时，将亮点Ir1配置在第二象限，将亮点Ir2配置在第一象限，将亮点Ir3配置在第三象限和第四象限的边界线(y轴上)。

而且，如图16(b)所示，当在拍摄图像的坐标系中各亮点的重心为原点(0，0)时，位于第二象限的亮点为Ir1，位于第一象限的亮点为Ir2，位于第三象限和第四象限的边界部的亮点为Ir3。

并且，将矩阵D和矩阵I定义如下。

$D=\left(\begin{array}{ccc}{x}_{\mathrm{Da}}& y_{\mathrm{Da}}& 1\\ x_{\mathrm{Db}}& y_{\mathrm{Db}}& 1\\ x_{\mathrm{Dc}}& y_{\mathrm{Dc}}& 1\end{array}\right)$

$I=\left(\begin{array}{ccc}{x}_{\mathrm{Ia}}& x_{\mathrm{Ib}}& x_{\mathrm{Ic}}\\ y_{\mathrm{Ia}}& y_{\mathrm{Ib}}& y_{\mathrm{Ic}}\\ 1& 1& 1\end{array}\right)$

该情况下，由于满足D＝MI的矩阵M为M＝DI^-1，所以通过运算以下的矩阵，可计算出显示画面的坐标系中的指示位置(xp，yp)。

$\left(\begin{array}{ccc}\mathrm{xp}& \mathrm{yp}& 1\end{array}\right)=M\left(\begin{array}{c}\mathrm{xc}\\ \mathrm{yc}\\ 1\end{array}\right)$

另外，这些运算可以通过操作装置20的图像处理模块24或控制部26进行，也可以利用液晶显示装置10的显示控制部31进行。

这样，通过根据3点以上的亮点，计算出操作装置20在显示画面上的指示位置，并不局限于由操作装置20从显示画面的正面指示的情况，如图15(b)所示，在由操作装置20从显示画面的倾斜视角方向指示的情况，也能恰当计算出操作装置20在显示画面上的指示位置。

[实施方式2]

对本发明的其他实施方式进行说明。其中，为了便于说明，对于具有与实施方式1同样的功能的构件，付与相同的符号，并省略其说明。

图17和图19是表示在实施方式1所示的显示系统1中，液晶显示装置10的显示画面所显示的亮点的例子的说明图。而图18是表示在图17所示的位置显示亮点时，从接近显示画面的位置可利用操作装置20指示的范围的例子的说明图。而图20(a)和图20(b)是表示在图19所示的位置显示亮点时，从接近显示画面的位置可利用操作装置20指示的范围的例子的说明图。

在图17所示的位置显示亮点时，如图18所示，在显示画面的下部产生无法由操作装置20指示的区域。而且，当在图19所示的位置显示亮点，从位于显示画面的斜上方的操作装置20指示显示画面上的位置时，如图20(a)所示，对于显示画面的下部的区域，全部能由操作 装置20指示，但是如图20(b)所示，在显示画面的上部产生无法由操作装置20指示的区域。

这样，由于通过如实施方式1那样在显示画面显示亮点，即使当操作装置20和显示画面的距离短时，亮点也容易纳入到基于操作装置20的拍摄范围中，所以可扩大由操作装置20能够指定的范围，但是在操作装置20和显示画面的距离更短时，在显示画面上会产生无法由操作装置20指示的区域。

因此，在本实施方式中，通过根据操作装置20的拍摄结果，计算出显示画面的坐标系中的指示位置、及显示画面和操作装置20的距离，根据计算结果，来控制亮点的显示位置，从而即使操作装置20和显示画面的距离非常短时，也能进一步扩大可由操作装置20指示的显示画面上的区域。

图21是表示本实施方式的显示系统1b的概略结构的框图。如该图所示，本实施方式的显示系统1b在实施方式1的显示系统1的基础上，液晶显示装置10还具有距离计算部35、显示位置计算部36及存储部37。另外，距离计算部35和显示位置计算部36设置在控制部12中。

距离计算部35计算出在显示画面中当前显示的亮点间的间隔。

显示位置计算部36根据显示控制部31计算出的显示画面的坐标系中的操作装置20的指示位置、距离计算部35计算出的在显示画面中当前显示的亮点间的间隔、和从操作装置20收到的拍摄图像中的亮点间的间隔，计算出变更后的亮点的显示位置。

在存储部37中，如图22所示，预先保存有使显示画面的坐标系中的当前各亮点间的间隔、拍摄图像的坐标系中的各亮点间的间隔、变更(设定)后的各亮点的间隔对应的查找表。另外，该查找表中保存的变更后的各亮点的间隔被设定为显示画面和操作装置20的距离越短，成为越短的间隔。

显示位置计算部36参照该查找表，提取出与显示画面当前显示的亮点间的间隔、拍摄图像中的亮点间的间隔对应的变更后的亮点间的间隔。然后，显示控制部31按照在根据当前显示的亮点计算出的显示画 面的坐标系中的操作装置20的指示位置的附近，以上述那样提取出的变更后的亮点间间隔显示各亮点的方式，计算出各亮点的显示位置。更具体而言，按照使变更了显示位置后的各亮点的中点(或者重心)，与根据在变更前的显示位置处显示的亮点而计算出的操作装置20的指示位置一致的方式，计算出显示位置。然后，将显示画面所显示的各亮点的位置变更为该计算出的显示位置。

如上所述，在本实施方式的显示系统1b中，根据显示画面上当前显示的亮点，计算出操作装置20的指示位置，将亮点的显示位置变更为计算出的指示位置的附近。由此，如图23(a)和图23(b)所示，由于总在操作装置20的指示位置的附近显示亮点，所以能防止使操作装置20的指示位置移动时，显示画面上的亮点从操作装置20的拍摄范围脱离，而无法检测指示位置的情况。

而且，在本实施方式中，按照显示画面和操作装置20的距离越近，亮点间的间隔越缩短的方式，控制各亮点的显示位置。由此，如图24(a)和图24(b)所示，由于在操作装置20的拍摄范围内能显示各亮点，所以无论显示画面和操作装置20的距离如何，都能恰当计算出操作装置20的指示位置。其中，图24(a)是表示显示画面和操作装置20的距离长时变更后的各亮点的显示位置的例子的说明图，图24(b)是表示显示画面和操作装置20的距离短时变更后的各亮点的显示位置的例子的说明图。

另外，在本实施方式中，说明了参照存储部37所具备的查找表，计算出变更后的亮点间的间隔的结构，但是，并不局限于此，也可以在存储部37中预先存储使显示画面的坐标系中的当前各亮点间的间隔、拍摄图像的坐标系中的各亮点间的间隔、变更(设定)后的各亮点的间隔相关联的函数，使用该函数，计算出变更后的各亮点的间隔。

此外，在上述各实施方式中，使用CPU等处理器，通过软件实现了液晶显示装置10所具备的显示控制部31、操作装置20所具备的图像处理模块24和控制部26。即，显示控制部31、图像处理模块24和控制部26具有：对实现各功能的控制程序的命令进行执行的CPU(centralprocessing unit)、存储上述程序的ROM(read only memory)、展开上述程序的RAM(random access memory)、存储上述程序及各种数据的 存储器等存储装置(记录媒体)等。并且，通过对液晶显示装置10或操作装置20供给以计算机可读取的形式存储了实现上述功能的软件、即液晶显示装置10或操作装置20的控制程序的程序代码(执行形式程序、中间代码程序、软件程序)的记录媒体，使该计算机(或者CPU和MPU)读出并执行记录媒体中记录的程序代码，从而可实现本发明的目的。

作为上述记录媒体，例如可使用磁带或盒式带等带类、包含软盘(注册商标)/硬盘等磁盘或CD-ROM/MO/MD/DVD/CD-R等光盘的盘类、IC卡(包含存储卡)/光卡等卡类、或掩模ROM/EPROM/EEPROM/闪存ROM等半导体存储器类等。

而且，可将液晶显示装置10和/或操作装置20构成为能够与通信网络连接，通过通信网络供给上述程序代码。作为该通信网络，未特别限定，例如能够利用因特网、企业内部互联网、附加网、LAN、ISDN、VAN、CATV通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。并且，作为构成通信网络的传送媒体，未特别限定，例如可以利用IEEE1394、USB、电力线输送、有线电视线路、ADSL线路等有线，也可以利用IrDA或远程的红外线、蓝牙(注册商标)、802.11无线、HDR、移动电话网、卫星线路、地面波数字网等无线媒体。另外，本发明也能够通过利用电子传送将上述程序代码具体化的在载波中嵌入的计算机数据信号的方式实现。

而且，并不局限于使用软件来实现液晶显示装置10和操作装置20的各模块，也可以由硬件逻辑电路构成，还可以是将进行处理的一部分的硬件和进行该硬件的控制或剩余处理的运算机构组合的部件。

并且，在上述各实施方式中，说明了在液晶显示装置中应用本发明的情形，但是并不局限于此，只要是能将显示画面内的规定像素作为亮点的显示装置就能应用。本发明例如在等离子体显示器、有机EL显示器等中也能应用。

另外，在上述各实施方式中，说明了从显示画面内的规定像素(或者像素群)射出红外波长区域的光，将该像素(或者像素群)作为亮点发挥功能的结构，但是并不局限于此。例如，也可以分别具有：显示与 图像数据对应的图像的显示面板、和在该显示面板的显示画面内成为亮点的LED等红外发光部件。这时，例如可以在显示面板的表面配置红外发光部件，也可以按照在显示面板上设置缺口部，使红外波长区域的光通过该缺口部射出的方式配置红外发光部件。

此外，在上述各实施方式中，所有的亮点都配置在显示画面内，但是并不局限于此，只要在显示画面内设置至少1个以上的亮点即可。也可以在显示画面的外部设置亮点，并且在显示画面内显示至少1个以上的亮点，根据各亮点，计算出显示画面上的指示位置。

本发明的显示系统包括：显示装置，具有用于显示与图像数据对应的图像的显示画面；操作装置，对于所述显示画面从非接触的位置指示所述显示画面上的任意位置，拍摄包含该显示画面上的指示位置的图像；设置在所述显示装置上的射出红外波长区域的光的2个以上红外发光亮点；和指示位置检测部件，根据由所述操作装置拍摄的拍摄图像中所包含的所述红外发光亮点的位置，检测显示画面上的所述指示位置，其特征在于，具有对所述拍摄图像中的所述各红外发光亮点彼此进行识别的亮点识别部；所述红外发光亮点中的至少一个被设置在所述显示装置的显示画面内；所述各红外发光亮点通过所述亮点识别部根据所述拍摄图像，能识别所述各红外发光亮点彼此的方法进行发光。

根据上述结构，在显示画面内至少设置有一个射出红外波长区域的光的红外发光亮点。由此，与以往那样只在显示画面的外部设置红外发光亮点的结构相比，能缩短为了在拍摄范围内包含2个以上红外发光亮点而必要的显示装置和操作装置的距离。因此，可缩短为了恰当算出操作装置在显示画面上的指示位置而必要的显示画面和操作装置的距离，即使在操作装置和显示画面的距离短的情况下，也能恰当检测出操作装置在显示画面上的指示位置。

而且，根据上述结构，各红外发光亮点通过亮点识别部根据拍摄图像，能识别各红外发光亮点彼此的方法进行发光。由此，在拍摄时，即使当操作装置相对于基准位置(显示画面的坐标系中的x轴方向及y轴方向与拍摄图像的坐标系中的x轴方向及y轴方向一致的位置)以拍摄方向为轴旋转时，也可根据各亮点的位置和各亮点的识别结果，考虑上述的旋转，恰当检测出显示画面上的位置。

并且，上述各红外发光亮点可以是亮度、发光期间、发光周期、发光模式、及单位规定时间的ON/OFF的切换次数中的至少一个互不相同的结构。

根据上述结构，由于在各红外发光亮点中，亮度、发光期间、发光周期、发光模式、及单位规定时间的ON/OFF的切换次数中的至少一个彼此不同，所以能识别拍摄图像中的各红外发光亮点。

另外，还可以具有旋转角度计算部，其根据显示画面上显示的所述各红外发光亮点的位置和所述拍摄图像中的所述各红外发光亮点的位置，计算出拍摄所述拍摄图像时的所述操作装置的以拍摄方向为轴的旋转角度；所述指示位置检测部件根据所述拍摄图像中包含的所述红外发光亮点的位置、所述拍摄图像中的所述指示位置、显示画面中的所述各红外发光亮点的位置、和所述旋转角度计算部计算出的旋转角度，检测显示画面上的所述指示位置。

根据上述结构，旋转角度计算部根据显示画面上显示的各红外发光亮点的位置和拍摄图像中的各红外发光亮点的位置，计算出对拍摄图像进行拍摄时的操作装置的以拍摄方向为轴的旋转角度。然后，指示位置检测部件根据拍摄图像中包含的各红外发光亮点的位置、拍摄图像中的指示位置、显示画面中的各红外发光亮点的位置、和旋转角度计算部计算出的旋转角度，检测显示画面上的指示位置。由此，在拍摄时，即使操作装置相对于基准位置以拍摄方向为轴旋转时，也能根据各亮点的位置和各亮点的识别结果，考虑上述的旋转，恰当检测显示画面上的位置。

并且，所述显示画面由具有配置为矩阵状的多个像素的显示面板构成，上述各像素具有射出彼此不同的波长区域的光的多个副像素，所述多个像素中的至少一部分像素具有射出红外波长区域的光的红外副像素，作为所述副像素，具备使所述红外副像素中的至少一部分红外副像素作为所述红外发光亮点发挥功能的显示控制部件。

根据上述结构，可使显示面板所具备的红外副像素作为红外发光亮点发挥功能。由此，由于没必要分别具备显示面板和成为红外发光亮点的光源，所以与分别具备各构件时相比，能防止显示装置的尺寸增大， 并且能减少零件数量。而且，由于在所述各像素的红外副像素以外的像素中，能显示与图像数据对应的图像，所以，可将因设置有红外发光亮点而引起的分辨度降低抑制在最小限度。

另外，所述显示面板是透过型的液晶显示面板，具有：配置在所述液晶显示面板的与图像显示面相反侧的、射出在红外波长区域具有光谱分布的光的背光灯；和设置于所述液晶显示面板，在与所述各副像素对应的区域中，使与该各副像素对应的波长区域的光透过的滤色器层。

根据上述结构，能使通过红外副像素从背光灯射出红外波长区域的光透过。由此，可使红外副像素作为红外发光亮点发挥功能。

此外，所述显示画面由具有配置为矩阵状的多个像素的透过型液晶显示面板构成，在所述液晶显示面板的与显示画面相反侧，按各像素或由多个像素构成的各像素群设置有红、绿、蓝、红外各色的光源；具有：以时间分割方式依次驱动所述各像素或所述各像素群中的所述各色光源，由此显示与所述图像数据对应的图像及所述红外发光亮点的显示控制部。

根据上述结构，通过在液晶显示面板显示红外色(红外波长区域)的图像，能使红外色的图像作为所述红外发光亮点发挥功能。而且，由于可使用公共的像素，进行与图像数据对应的图像的显示和红外发光亮点的显示，所以，通过显示红外发光亮点，能防止液晶显示面板的分辨率下降。

而且，所述显示控制部件将所述红外发光亮点的显示位置变更为比上次的显示位置接近由所述指示位置检测部件检测到的所述指示位置。

根据上述结构，由于可在指示位置的附近显示红外发光亮点，所以即使在操作装置和显示画面的距离近时，也能可靠地在拍摄图像中包含红外发光亮点，能够更恰当地计算出显示画面上的指示位置。

并且，所述显示控制部件在所述显示画面的与所述指示位置对应的位置显示规定的图像。

根据上述结构，通过在显示画面的与所述指示位置对应的位置显示规定的图像，从而对于观察显示画面的用户而言，能识别基于操作装置的指示位置。

本发明的指示位置的检测方法用于显示系统中的指示位置的检测，所述显示系统包括：显示装置，具有用于显示与图像数据对应的图像的显示画面；操作装置，针对所述显示画面从非接触的位置指示所述显示画面上的任意位置，拍摄包含该显示画面上的指示位置的图像；和设置在所述显示装置上的射出红外波长区域的光的2个以上红外发光亮点；通过根据由所述操作装置拍摄的拍摄图像中包含的所述红外发光亮点的位置，来检测显示画面上的所述指示位置，其特征在于，在所述显示装置的显示画面内设置所述红外发光亮点中的至少1个以上，利用可由所述显示系统具备的亮点识别部根据所述拍摄图像识别所述各红外发光亮点彼此的方法，使所述各红外发光亮点发光。

根据上述的方法，在显示画面内至少设置一个射出红外波长区域的光的红外发光亮点。由此，与以往那样只在显示画面的外部设置红外发光亮点时相比，能缩短为了在拍摄范围内包含2个以上红外发光亮点而必要的显示装置和操作装置的距离。因此，可缩短为了恰当算出操作装置在显示画面上的指示位置而必要的显示画面和操作装置的距离，即使在操作装置和显示画面的距离短的时候，也能恰当检测出操作装置在显示画面上的指示位置。

而且，根据上述方法，通过由显示系统所具备的亮点识别部根据所述拍摄图像来识别各红外发光亮点彼此的方法使各红外发光亮点发光。由此，在拍摄时，即使操作装置相对于基准位置以拍摄方向为轴旋转时，也能根据各亮点的位置和各亮点的识别结果，考虑上述的旋转，恰当检测出显示画面上的位置。

另外，所述显示系统也可以由计算机实现，该情况下，通过使计算机作为上述各部件工作而利用计算机实现所述显示系统的程序、及记录它的计算机可读取记录媒体也包含在本发明的范畴中。

本发明能够在包含显示装置、和以非接触的状态在显示画面上指示该显示装置的上述显示画面上的任意位置的操作装置的显示系统中 应用。例如，能在显示装置的显示画面显示会议、介绍、游戏等的图像，通过操作装置任意指示该显示画面上的位置的指示设备中应用。

在本发明的详细说明项目中形成的具体实施例只不过是用于使本发明的技术内容变得清楚，不应该狭义地解释为只限定在这样的具体例，在本发明的精神和以下记载的权利要求书的范围内，能进行各种变更，并进行实施。

Claims (9)

1.一种显示系统，包括：显示装置，具有用于显示与图像数据对应的图像的显示画面；操作装置，针对所述显示画面从非接触的位置指示所述显示画面上的任意位置，拍摄包含该显示画面上的指示位置的图像；设置于所述显示装置的射出红外波长区域的光的2个以上红外发光亮点；和指示位置检测部件，根据由所述操作装置拍摄的拍摄图像中包含的所述红外发光亮点的位置，检测显示画面上的所述指示位置；其特征在于，

具有亮点识别部，该亮点识别部识别所述拍摄图像中的各所述红外发光亮点彼此；

所述红外发光亮点中的至少一个设置在所述显示装置的显示画面内；

各所述红外发光亮点通过以下方法发光，该方法为由所述亮点识别部根据所述拍摄图像识别各所述红外发光亮点彼此。

2.根据权利要求1所述的显示系统，其特征在于，

对于各所述红外发光亮点而言，亮度、发光期间、发光周期、发光模式、单位规定时间的ON/OFF的切换次数中的至少一个彼此不同。

3.根据权利要求1所述的显示系统，其特征在于，具有：

根据显示画面上显示的各所述红外发光亮点的位置、和所述拍摄图像中的各所述红外发光亮点的位置，计算出拍摄所述拍摄图像时的所述操作装置的以拍摄方向为轴的旋转角度的旋转角度计算部；

所述指示位置检测部件根据所述拍摄图像中包含的各所述红外发光亮点的位置、所述拍摄图像中的所述指示位置、显示画面中的各所述红外发光亮点的位置、和所述旋转角度计算部计算出的旋转角度，检测显示画面上的所述指示位置。

4.根据权利要求1所述的显示系统，其特征在于，

所述显示画面由具有配置为矩阵状的多个像素的显示面板构成；

所述多个像素具有射出彼此不同的波长区域的光的多个副像素；

所述多个像素中的至少一部分像素具有射出红外波长区域的光的红外副像素，作为所述副像素；

具有控制从所述多个副像素射出的光的光量，使所述红外副像素中的至少一部分红外副像素作为所述红外发光亮点发挥功能的显示控制部件。

5.根据权利要求4所述的显示系统，其特征在于，

所述显示面板是透过型的液晶显示面板；

具有：配置在所述液晶显示面板的与图像显示面相反侧的、射出在红外波长区域具有光谱分布的光的背光灯；和

设置于所述液晶显示面板，在与所述多个副像素对应的区域中，使与该多个副像素对应的波长区域的光透过的滤色器层。

6.根据权利要求1所述的显示系统，其特征在于，

所述显示画面由具有配置为矩阵状的多个像素的透过型液晶显示面板构成；

在所述液晶显示面板的与显示画面相反侧，按各像素或由多个像素构成的各像素群设置有红、绿、蓝、红外各色光源；

具有：以时间分割方式依次驱动所述各像素或所述各像素群的所述各色光源，来显示与所述图像数据对应的图像及所述红外发光亮点的显示控制部。

7.根据权利要求4或6所述的显示系统，其特征在于，

所述显示控制部件将所述红外发光亮点的显示位置变更为比上次的显示位置接近所述指示位置检测部件检测出的所述指示位置。

8.根据权利要求4或6所述的显示系统，其特征在于，

所述显示控制部件在所述显示画面的与所述指示位置对应的位置显示规定的图像。

9.一种指示位置的检测方法，用于显示系统中的指示位置的检测，所述显示系统包括：显示装置，具有用于显示与图像数据对应的图像的显示画面；操作装置，针对所述显示画面从非接触的位置指示所述显示画面上的任意位置，拍摄包含该显示画面上的指示位置的图像；设置于所述显示装置的射出红外波长区域的光的2个以上红外发光亮点；通过根据由所述操作装置拍摄的拍摄图像中包含的所述红外发光亮点的位置，来检测显示画面上的所述指示位置，其特征在于，

在所述显示装置的显示画面内设置所述红外发光亮点中的至少1个以上；

通过以下方法使各所述红外发光亮点发光，该方法为由所述显示系统所具备的亮点识别部根据所述拍摄图像能识别所述各红外发光亮点彼此。

Images