CN101408813A - 显示系统及指示位置的检测方法 - Google Patents

Abstract

本发明提供一种显示系统及指示位置的检测方法。在液晶显示装置的显示画面内，显示至少两个以上作为射出红外波段的光的波段的红外发光亮点。而且，由操作装置在指示位置的方向上进行拍摄，并基于包括在拍摄图像中的红外发光亮点的位置，计算出由操作装置指示的显示画面上的指示位置。由此，无论操作装置与液晶显示装置的显示画面的距离如何，都能够确切地检测出由操作装置指示的显示画面上的位置。

Description

显示系统及指示位置的检测方法

技术领域

本发明涉及能够检测由指示器等操作装置所指示的在显示画面上的指示位置的显示系统，以及上述指示位置的检测方法。

背景技术

近年，随着液晶显示器和等离子体显示器等显示器的薄型化的发展，使得画面尺寸大型化的显示器也日趋普及。

这些薄型并且大型的显示器，例如，往往用于会议或产品介绍等的显示，或者电视游戏的显示器等。而且在这样使用的情形下，是用指示器等操作装置来指定显示器中所显示的图像上期望的点(位置或场所)，而进行操作。

例如，在专利文献1(作为日本国公开专利公报的特开2007-66080号公报(公开日：2007年3月15日))中公开有如下技术，即，分别用不同的闪烁模式驱动配置于指示器前后的发光元件，并用设置于显示器左右的照相机来拍摄包括配置在指示器的前后的发光点的图像，并利用三角法解析运算发光点的方向(角度)与距离，从而检测出显示器上的指定点的坐标。

另外，在专利文献2(作为日本国公开专利公报的特开2007-83024号公报(公开日：2007年4月5日))中公开有如下系统，即，在显示器的上侧或下侧等画面的附近，设置发出红外光的LED的模块，利用设置在控制器中的只透过红外光的滤光器和CMOS传感器或CCD等摄像元件拍摄上述LED，并根据拍摄的图像数据内的LED的位置变化，而检测出画面内的坐标位置。

然而，在上述以往的技术中，在操作装置的位置相对于显示器较近的情况下，存在不能确切地检测出操作装置指示的位置的情况。

即，在专利文献1的技术中，用于拍摄包括设置在指示器(操作装置)前后的发光点的图像的照相机，设置在显示器中的显示画面的左右。因此，在指示器的位置离显示画面较近的情况下，存在发光点的位置脱离照相机的可拍摄范围的情况。

另外，在专利文献2的技术中，是通过设置在控制器(操作装置)中摄像元件，来拍摄在显示器所显示的画面的上侧或下侧所设置的LED模块发出的红外线。因此，与专利文献1的情况相同，当控制器的位置相对于显示画面较近的情况下，存在LED模块脱离摄像元件的可拍摄范围的情况。

图18(a)、图18(b)、图19(a)及图19(b)，是表示在与专利文献2所公开的构成相同的构成中的、操作装置101和显示装置102的距离，与可检测出由操作装置101指示的指示位置的范围之间的关系的说明图。

如图18(a)及图18(b)所示，在显示装置102与操作装置101的距离充分离开的情况下，无论通过操作装置101指示显示画面上的哪个位置，LED模块103均包括在设置于操作装置101中的摄像元件的可拍摄范围内，从而能够检测出操作装置101的指示位置。

另一方面，如图19(a)及图19(b)所示，在显示装置102与操作装置101的距离较短的情况下，根据操作装置101的指示位置，LED模块103未收纳在摄像元件的可摄像范围内。而且，当LED模块103未收纳在可摄像范围内的情况下，则不能够检测出操作装置101的指示位置。

发明内容

本发明是鉴于上述的问题而完成的，其目的在于提供一种即使在操作装置和显示装置的距离较短的情况下，也能够确切地检测出由操作装置所指示的在显示画面上的位置。

本发明的显示装置，为了解决上述的问题，提供一种显示系统，具备：显示装置，其具备用于显示与图像数据对应的图像的显示画面；操作装置，其对于上述显示画面从非接触的位置上指示上述显示画面上的任意的位置，且拍摄包括该指示位置的图像；至少两个以上红外发光亮点，其设置于上述显示装置用于射出红外波段的光，基于包括在由上述操作装置所拍摄的拍摄图像中的上述红外发光亮点的位置，检测出显示画面上的上述指示位置，该显示系统的特征在于，上述红外发光亮点中的至少一个以上，被设置在上述显示装置的显示画面内。

根据上述的构成，在显示画面内至少设置一个以上射出红外波段的光的红外发光亮点。由此，与以往那样只在显示画面的外部设置红外发光亮点的构成相比，能够缩短在拍摄范围内包括两个以上的红外发光亮点所需的显示装置与操作装置的距离。因此，能够缩短用于确切地计算出由操作装置指示的显示画面上的指示位置所需的显示画面与操作装置的距离，且即使在操作装置与显示画面的距离较短的情况下，也能够确切地检测出由操作装置指示的显示画面上的指示位置。

本发明的指示位置的计算方法，为了解决上述的问题，提供一种在显示系统中的上述指示位置的检测方法，该显示系统具备：显示装置，其具备用于显示与图像数据对应的图像的显示画面；操作装置，其对上述显示画面从非接触的位置上指示上述显示画面上的任意的位置，且对包括该指示位置的图像进行拍摄；至少两个以上红外发光亮点，其设置于上述显示装置、用于射出红外波段的光，基于包括在由上述操作装置所拍摄的拍摄图像中的上述红外发光亮点的位置，检测出显示画面上的上述指示位置，该指示位置的检测方法的特征在于，将上述红外发光亮点中的至少一个以上，设置在上述显示装置的显示画面内。

根据上述的方法，在显示画面内至少设置一个以上射出红外波段的光的红外发光亮点。由此，与以往那样只在显示画面的外部设置红外发光亮点的构成相比，能够缩短在拍摄范围内包括两个以上的红外发光亮点所需的显示装置与操作装置的距离。因此，能够缩短用于确切地计算出由操作装置指示的显示画面上的指示位置所需的显示画面与操作装置的距离，且即使在操作装置与显示画面的距离较短的情况下，也能够确切地检测出由操作装置指示的显示画面上的指示位置。

本发明的其它的目的、特征及优点，通过如下所示的记载能够充分地理解。另外，本发明的优点，通过参照附图的以下的说明则能够明白。

附图说明

图1是设置于本发明的一实施方式的显示装置中的显示部的剖视图。

图2是表示本发明的一实施方式的显示系统的简略构成的框图。

图3是表示本发明的一实施方式的显示装置的简略构成的框图。

图4是表示设置于本发明的一实施方式的显示装置的显示部的各子像素的简略构成的示意图。

图5是表示设置于本发明的一实施方式的操作装置中的图像处理模块的构成的框图。

图6是表示本发明的一实施方式的显示系统中的指示位置的计算处理流程的流程图。

图7(a)是表示本发明的一实施方式的显示装置的显示部所显示的红外发光亮点的一例的说明图，图7(b)是表示用设置于操作装置中的摄像元件，对图7(a)表示的显示部进行拍摄的情况下拍摄图像的一例的说明图。

图8(a)是表示本发明的一实施方式的显示装置的显示部所显示的红外发光亮点的另一例的说明图，图8(b)是从倾斜的视觉方向观察图8(a)所示的显示部的图，图8(c)是表示用设置于操作装置中的摄像元件从图8(b)所示的倾斜视角方向，对图8(a)表示的显示部进行拍摄的情况下拍摄图像的一例的说明图。

图9(a)是表示本发明的一实施方式的显示装置的显示部所显示的各红外发光亮点与各红外发光亮点的重心的关系的说明图，图9(b)是表示用设置于操作装置中的摄像元件，对图9(a)表示的显示部进行拍摄的情况下拍摄图像中的各红外发光亮点与各红外发光亮点的重心的关系的说明图。

图10是表示在本发明的一实施方式的显示系统中，在显示装置的显示画面中所显示的红外发光亮点的一例的说明图。

图11是表示将红外发光亮点显示在图10表示的位置的情况下，从接近于显示画面的位置用操作装置能够指示的范围的例子的说明图。

图12是表示在本发明的一实施方式的显示系统中，显示装置的显示画面中所显示的红外发光亮点的另一例的说明图。

图13(a)及图13(b)是表示，将红外发光亮点显示在图12表示的位置的情况下，从接近于显示画面的位置用操作装置能够指示的范围的例子的说明图。

图14是表示本发明的另一实施方式的显示系统的简略构成的框图。

图15是表示在本发明的另一实施方式的显示系统的显示装置所具备的存储部中所保存的查询表的一例的说明图。

图16(a)及图16(b)是表示在本发明的另一实施方式的显示系统中的、操作装置的指示位置和显示画面中的亮点的显示位置的关系的说明图。

图17(a)是表示在本发明的另一实施方式的显示系统中，对于显示装置的显示画面与操作装置的距离较长的情况下的改变后的各亮点的显示位置的例子的说明图。图17(b)是表示在本发明的另一实施方式的显示系统中，对于显示装置的显示画面与操作装置的距离较短的情况下的改变后的各亮点的显示位置的例子的说明图。

图18(a)及图18(b)是表示以往技术的显示系统中的、操作装置和显示装置的距离与可检测出由操作装置指示的指示位置的范围的关系的说明图。

图19(a)及图19(b)是表示在以往技术的显示系统中的、操作装置和显示装置的距离与可检测出由操作装置指示的指示位置的范围的关系的说明图。

具体实施方式

实施方式1

对于本发明的一实施方式进行说明。

图2是表示本实施方式的显示系统1的简略构成的框图。如该图所示，显示系统1，具备液晶显示装置10和操作装置20。

液晶显示装置10，具备显示部11、控制部12及通信模块13。

图3是表示液晶显示装置10的简略构成的框图，图4是表示图3所示的液晶显示装置10中的各子像素的简略构成的示意图。

如图3所示，液晶显示装置10，具备：显示部(显示面板)11，其将由R(红)、G(绿)、B(蓝)、Ir(红外色)四种颜色的子像素SPR、SPG、SPB、SPIr构成的多个像素P配置成矩阵状；控制部12，其具有源极驱动器32、栅极驱动器33及显示控制部31；通信模块13，其与操作装置20之间进行数据的发送接收；电源线路34，其将电力供给到各部件。另外，各像素P的配置，不只局限于矩阵状，只要是能够将多个像素分别确切地进行驱动的构造即可，例如可以利用与矩阵状不同的法则而规则地配置。

另外，在显示部11，设置有：多个数据信号线SL1_R、SL1_G、SL1_B、SL1_Ir、～SLn_R、SLn_G、SLn_B、Sln_Ir(n表示2以上的任意整数)，以及分别与该各数据信号线交叉的多个扫描信号线GL1～GLm(m表示2以上的任意的整数)，并在每个该数据信号线及扫描信号线的组合中设置上述子像素。

显示控制部31，控制源极驱动器32及栅极驱动器33的动作，控制透过各子像素的光的强度，并在显示部11显示与显示图像数据对应的图像。另外，上述显示图像数据，例如，可以是从以可通信的方式与液晶显示装置10连接的外部装置(未图示)所输入的，也可以是从设置于液晶显示装置10中的存储部(未图示)中读出的，还可以是通过天线、调谐器等接收单元(未图示)所接收的广播数据。

另外，显示控制部31，通过通信模块13并基于从操作装置20接收的信息，来计算操作装置20指示的在显示部11的显示画面上的位置。而且，控制源极驱动器32及栅极驱动器33的动作，从而使规定的图像(表示指示位置的标记等的图像)显示在操作装置20指示的在显示画面上的指定位置。另外，以下对位置的计算方法的详细情况进行叙述。

源极驱动器32，基于显示图像数据生成用于驱动各个子像素的驱动电压，并施加于与各子像素对应的数据信号线。栅极驱动器33，将从源极驱动器32输出的驱动电压，按照以规定的时刻对于沿着数据信号线而配置的各子像素依次供给的方式来控制对各扫描信号线的施加电压。作为源极驱动器32及栅极驱动器33，可以使用以往公知的驱动器。

在各子像素中，如图4所示，设置有开关元件41。作为开关元件41，例如，使用FET(场效应型晶体管)或者TFT(薄膜晶体管)等，上述开关元件41的栅极电极42，与扫描信号线GLi(i表示1以上的任意的整数)连接，源极电极43与数据信号线连接，此外，漏极电极44与子像素电极45连接。另外，与子像素电极45相对置配置的对置电极46，在全体子像素中与共同的未图示的公共电极线连接。

图1是显示部11的剖视图。如该图所示，显示部11，具备：玻璃基板51、52，它们通过间隔块(未图示)以规定的间隔相对置配置；液晶层57，其由被封入到该玻璃基板51、52之间的液晶性材料构成。此外，作为液晶性材料，使用向列相液晶、蝶状液晶、强介电性液晶等一般常使用的液晶材料。

另外，在玻璃基板51中的与玻璃基板52的相对置面上，设置有：布线层53以及以覆盖布线层53的方式所形成的定向膜55a，该布线层53具备数据信号线SL1_R、SL1_G、SL1_B、SL1_Ir、...、扫描信号线GL1、...、开关元件41、子像素电极45等。此外，在玻璃基板51中的与玻璃基板52相对置面的相反侧的面上，设置有偏光板58a。另外，以与偏光板58a相对置的方式配置有背光灯单元60。

另外，在玻璃基板52中的与玻璃基板51相对置面，以如下顺序层积有：彩色滤光层56、由透明导电膜构成的对置电极46、以及以覆盖对置电极46的方式所形成的定向膜55b。此外，在玻璃基板52中的与玻璃基板51的相对置面的相反侧的面上，设置有偏光板58b。

并且，对于在施加于定向膜55a、55b的定向处理方向，以及偏光板58a、58b的吸收轴方向，根据封入到液晶层57中的液晶性物质的种类等，与以往公知的液晶显示装置进行同样地设定即可。另外，在本实施方式中，是将子像素电极45及对置电极46配置在相互不同的基板上，然而不局限于此，也可以为将这两个电极配置在同一基板上的所谓的IPS方式。

另外，在彩色滤光器层56上，透过与R、G、B、Ir的任意一个对应的波长范围的光，并按每个子像素设置有对其它波段的光进行遮光的滤光器。另外，作为透过Ir光(红外波段的光)的滤光器，例如，可以使用HOYA色玻璃滤光器的红外线透过可见光吸收滤光器。

背光灯单元60，如图1所示具备光源61和反射部62，通过将从光源61照射的光利用反射部62进行反射，而成为对显示部11照射光。另外，在背光灯单元60和显示部11之间，还可以配置扩散滤光器，用于将光源61发出的光进行扩散，并均匀地照射到显示部11的显示面全体。

作为光源61，例如，使用在可见光区及红外区具有发光光谱的光源。作为这样的光源，例如，可以使用金属卤化物灯等(例如，参照非专利文献1(东忠利著，“液晶プロジエクタ一用直流点灯型メタルハライドランプ”，光技术信息杂志“ライトエツジ”No11，1997年10月，pp.6-pp.9))。另外，可以将在可见光区具有发光波长的光源，和在红外区具有发光波长的光源进行组合来使用。例如，可以将白色LED和红色LED组合而使用。另外，在这种情况下，也可以作成使来自各LED的射出光通过微透镜阵列而入射到显示部11的构成(例如，参照非专利文献2(内田龙男监修，“図解電子デイスプレイのすベて”，株式会社工业调查会发行，2006年10月30日，pp.92-pp.95))。

根据这样的构成，在液晶显示装置10中，控制施加在各子像素的子像素电极45-对置电极46之间的电压，控制透过液晶层57的各子像素区域的光量，进行彩色显示，并且在任意的子像素中使红外光透过，从而能够在任意的显示位置显示发出人眼不能察觉到的红外区的光的亮点(红外发光亮点)。

在由这样的构成所构成的液晶显示装置10中，当选择扫描信号线GLi时，则与该扫描信号线连接的各子像素的开关元件41导通，基于被输入到显示控制部31的显示画像数据所决定的信号电压，由源极驱动器32通过数据信号线而施加到子像素电极45-对置电极46之间。在子像素电极45-对置电极46之间，结束扫描信号线GLi的选择期间并在开关元件41断开期间，理想的是，持续保持断开时的电压。由此，由于在与各子像素对应的子像素电极45-对置电极46之间，分别单独施加驱动电压，因此在配置于这两个电极之间的液晶层的各子像素区域，施加与显示的图像对应的电场，并使各子像素区域的液晶分子的定向状态改变来进行显示。

操作装置20，如图2所示，具备：红外透过滤光器21、透镜22、摄像元件23、图像处理模块24、操作开关25、控制部26、通信模块27。另外，操作装置20，通过将该操作装置20的前端朝向液晶显示装置10中的任意的位置，从而能够指示显示画面上的任意的位置。

红外透过滤光器21，是透过红外区的波长的光的滤光器，例如可以使用HOYA色玻璃滤光器的红外线透过可见光吸收滤光器。

透镜22，将透过了红外透过滤光器21的红外光聚光到摄像元件23的摄像部。摄像元件23，例如由CMOS或者CCD等构成，将接收利用透镜22聚光后的红外光进行拍摄，并将拍摄后的图像信号输出到图像处理模块24。另外，摄像元件23的拍摄方向的中心(即透镜22的光轴方向)，与操作装置20的指示方向(即，连接显示画面上的由操作装置20所指示的指示位置与操作装置20的前端的直线的方向)平行。

图像处理模块24，如图5所示，具备A/D转换部71、亮点位置计算部72、亮点间距离计算部73。A/D转换部71，将从摄像元件23所输入的图像数据进行A/D转换，生成数字图像信号。亮点位置计算部72，基于从A/D转换部71输出的数字图像信号，计算出拍摄图像的中心位置和亮点(红外发光亮点)的相对位置(在拍摄图像的坐标系中的拍摄图像的中心位置和亮点的相对位置)。亮点间距离计算部73，计算出在拍摄图像中的亮点间距离(在拍摄图像的坐标系中的亮点间的距离)。以下对亮点位置及亮点间距离的计算方法进行叙述。

操作开关25，由多个按键等所构成，用于接受来自用户的指示输入。

控制部26，控制设置于操作装置20中的各部件的动作。另外，基于从画像处理模块24所输入的指示位置、亮点间距离的计算结果、通过操作开关25由用户所输入的信息等，生成发送到液晶显示装置10的信息。

通信模块27，是与液晶显示装置10的通信模块13之间进行数据的发送接收的部件，例如将从控制部26所输入的信息发送到液晶显示装置10。另外，使用通信模块27的通信介质不作特别限定，可以是无线介质也可以是有限介质。

接着，对操作装置20的指示位置的计算方法进行说明。图6，是表示计算由操作装置指示的显示画面上的指示位置的处理流程的流程图。

首先，液晶显示装置10的显示控制部31，控制源极驱动器32及栅极驱动器33的动作，并在显示画面中的规定的位置上显示两个红外发光亮点(S1)。另外，该处理，可以在用户选择了计算由操作装置20指示的指示位置的模式(指示位置计算模式)的情况下执行，也可以在平常时进行。

接着，操作装置20的控制部26，使摄像元件23拍摄显示画面(S11)由此，拍摄操作装置20的前端朝向的方向的图像。另外，该处理，可以每隔规定时间进行，也可以连续地进行，可以在通过操作开关25得到来自用户的指示输入时进行，也可以在由用户按下规定的按键期间中，连续或者每个规定时间而进行。

接着，操作装置20的控制部26，在图像处理模块24的亮点位置计算部72，计算出与在拍摄图像的坐标系中的指示位置(在本实施方式中为拍摄图像的中心)相对的亮点的相对位置(S12)。另外，作为上述相对位置，可以分别计算与指示位置相对的各亮点的相对位置，也可以根据各亮点的位置，计算出与唯一确定的点(例如各亮点的中点、重心等)的指示位置相对的相对位置。

接着，操作装置20的控制部26，在图像处理模块24的亮点间距离计算部73，计算出拍摄图像的坐标系中的亮点间的距离(S13)。

接着，操作装置20的控制部26，将表示在S12计算出的相对位置的信息及表示亮点间的距离的信息，从通信模块27发送到液晶显示装置10(S14)。

之后，当液晶显示装置10的显示控制部31，通过通信模块13接收了从操作装置20发送的信息时(S2)，基于接收的信息计算出由操作装置20指示的在显示画面上的指示位置(显示画面的坐标系中的由操作装置20指示的指示位置)(S3)。即，由于从操作装置接收的信息，是基于拍摄图像的坐标系的亮点的位置信息，因此将其转换为显示画面的坐标系，计算出由操作装置20指示的在显示画面上的指示位置。

在此，对于显示画面的坐标系中的由操作装置20指示的指示位置的计算方法进行更详细地说明。图7(a)是表示液晶显示装置10的显示部11所显示的两个亮点(红外发光亮点)Ir1、Ir2的一例的说明图，图7(b)是表示用设置于操作装置20中的摄像元件23拍摄了图7(a)表示的显示部11的情况下的拍摄图像的一例的说明图。

如图7(b)所示，在拍摄图像的坐标系中，将拍摄图像的中心的坐标设为(0，0)，将亮点Ir1和亮点Ir2的中点C的坐标设为(x₁，y₁)，将亮点Ir1和亮点Ir2的距离设为L₁。另外，如图7(a)所示，将显示画面的坐标系中的亮点Ir1和亮点Ir2的距离设为L_D，将亮点Ir1和亮点Ir2的中点的坐标设为(x_c，y_c)，将由操作装置20指示的在显示画面上的指示位置的坐标设为(x_p，y_p)。而且，将由操作装置20指示的在显示画面上的指示位置，和亮点Ir1和亮点Ir2的中点的在x方向上的距离设为x_D，y方向上的距离设为y_D。

在这种情况下，用于将拍摄图像的坐标系转变为显示画面的坐标系的系数c，用c＝L_D/L₁来计算。因此，表示为x_D＝c×x₁、y_D＝c×y₁，根据x_p＝x_c-x_D＝x_c-c×x₁、y_p＝y_c-y_D＝y_c-c×y₁，就能够确定显示画面上的显示位置的坐标(显示画面的坐标系中的由操作装置20指示的指示位置的坐标)。

如上所述，在本实施方式的显示系统1中，在液晶显示装置10的显示画面内显示两个红外发光亮点。而且，操作装置20拍摄显示画面，并计算出拍摄图像的坐标系中的显示画面上的指示位置与红外发光亮点的相对距离，以及红外发光亮点间的距离，并将计算结果发送到液晶显示装置10。而且，液晶显示装置10，基于从操作装置20接受的上述的计算结果，和显示画面的坐标系中的各亮点的位置，计算出显示画面的坐标系中的操作装置20的指示位置。

于是，通过在显示画面内显示红外发光亮点，与以往的将亮点设置在显示画面外部的情况相比，即使在显示画面和操作装置的距离较短的情况下，红外发光亮点也易于被包括在操作装置的拍摄范围内，因此可以将能够确切地计算出显示画面上的指示位置的范围扩大。另外，基于显示画面的坐标系中的各亮点的位置和在拍摄画面的坐标系中的指示位置与各亮点的相对位置，就能够容易地计算出显示画面的坐标系中的指示位置的坐标。

另外，在本实施方式中，是将图像处理模块24和控制部26作为各自的功能信息块而设置的，然而它们也可以是由共同的运算单元而构成的。

另外，在本实施方式中，是利用操作装置来进行如下的运算，即，与拍摄图像的坐标系中的指示位置相对的亮点的相对位置(拍摄图像的中心和各亮点的相对位置，或者根据拍摄图像的中心和各亮点的位置与唯一确定的点(例如各亮点的中心)的相对位置)以及亮点间的距离的运算，然而不局限于此。例如，也可以是将被摄像元件23拍摄的拍摄图像的数据发送到液晶显示装置10，并计算出在液晶显示装置10中与拍摄图像的坐标系中的亮点对于指示位置的相对位置及亮点间的距离。

另外，在本实施方式中，是基于操作装置20计算出的拍摄图像的坐标系中的亮点对于指示位置的相对位置以及亮点间的距离，液晶显示装置10计算出在显示画面的坐标系中的由操作装置20指示的指示位置，然而不局限于此。例如，可以从液晶显示装置10的通信模块13将亮点间的距离L_D，或者在显示画面的坐标系中的各亮点的位置(坐标)预先发送到操作装置20，操作装置20的图像处理模块24，基于从液晶显示装置10接收的信息，和拍摄图像的坐标系中的亮点对于指示位置的相对位置及亮点间的距离，计算出显示画面的坐标系中的指示位置。在这种情况下，使显示画面的坐标系中的指示位置的计算结果，从操作装置20发送到液晶显示装置10即可。

另外，在本实施方式中，对于在显示画面上显示两个红外发光亮点的构成进行了说明，然而不局限于此，也可以显示三个以上的红外发光亮点。

在此，对于显示三个红外发光亮点的情况的、显示画面上的指示位置的计算方法进行说明。图8(a)是表示在液晶显示装置10的显示部11所显示的三个亮点(红外发光亮点)Ir1、Ir2、Ir3的一例的说明图。图8(c)是表示用设置于操作装置20中的摄像元件23如图8(b)所示从倾斜视角方向，拍摄了图8(a)所示的显示部11情况下的拍摄图像的一例的说明图。

如图8(c)所示，将拍摄图像的坐标系中的指示位置(在此为拍摄图像的中心)的坐标设为(x_c，y_c)，拍摄图像的坐标系中的亮点Ir1、Ir2、Ir3的坐标分别设为(x_1a，y_1a)、(x_1b，y_1b)、(x_1c，y_1c)。另外，如图8(a)所示，将显示画面的坐标系中的亮点Ir1、Ir2、Ir3的坐标分别设为(x_Da，y_Da)、(x_Db，y_Db)、(x_Dc，y_Dc)，将显示画面的坐标系中的指示位置的坐标设为(x_p，y_p)。

首先，决定拍摄图像的坐标系中的各亮点与显示画面的坐标系中的各亮点的对应关系。在本实施方式中，如图9(a)所示，对于显示画面的坐标系，当将三个亮点的重心设为原点(0，0)时，亮点Ir1配置于第二象限，将亮点Ir2配置于第一象限，将亮点Ir3配置在第三象限和第四象限的边界线上(y轴上)。

而且，如图9(b)所示的那样，在拍摄图像的坐标系中，在将各亮点的重心设为原点(0，0)时，将位于第二象限亮点设为Ir1，将位于第一象限亮点设为Ir2，将位于第三象限和第四象限的边界部的亮点设为Ir3。

而且，将矩阵D及矩阵I定义如下。

$D=\left(\begin{array}{ccc}{x}_{\mathrm{Da}}& y_{\mathrm{Da}}& 1\\ x_{\mathrm{Db}}& y_{\mathrm{Db}}& 1\\ x_{\mathrm{Dc}}& y_{\mathrm{Dc}}& 1\end{array}\right)$

$I=\left(\begin{array}{ccc}{x}_{\mathrm{Ia}}& x_{\mathrm{Ib}}& x_{\mathrm{Ic}}\\ y_{\mathrm{Ia}}& y_{\mathrm{Ib}}& y_{\mathrm{Ic}}\\ 1& 1& 1\end{array}\right)$

在这种情况下，满足D＝MI的矩阵为M＝DI^-1，因此显示画面的坐标系中的指示位置(x_p，y_p)，是通过运算下列的矩阵所计算出的。

$\left(\begin{array}{ccc}{x}_p& y_p& 1\end{array}\right)=M\left(\begin{array}{c}{x}_c\\ y_c\\ 1\end{array}\right)$

另外，这些运算，可以利用操作装置20的图像处理模块24或者控制部26进行，也可以利用液晶显示装置10的显示控制部31来进行。

这样，基于三个以上的红外发光亮点来计算操作装置20的显示画面上的指示位置，然而不局限于由操作装置20从显示画面的正面指示的情况，例如图9所示，即使是在由操作装置20从显示画面的倾斜视角方向指示的情况下，也能够确切地计算出由操作装置20指示的在显示画面上的指示位置。

实施方式2

对于本发明的另一实施方式进行说明。另外，为了便于说明，对与实施方式1具有相同作用的部件标记相同的符号，并省略其说明。

图10及图12，是在实施方式1表示的显示系统中，表示在液晶显示装置10的显示画面所显示的红外发光亮点的例子的说明图。另外，图11是表示将红外发光亮点显示于图10表示的位置的情况下，从接近于显示画面的位置用操作装置20能够指示的范围的例子的说明图。另外，图13(a)及图13(b)是表示，将红外发光亮点显示于图12所示的位置的情况下，从接近于显示画面的位置用操作装置20能够指示的范围的例子的说明图。

在将红外发光亮点显示于图10所示的位置的情况下，如图11所示，在显示画面的下部产生由操作装置20不能指示的区域。另外，将红外发光亮点显示于图12所示的位置，且从位于显示画面斜上方的操作装置20指示显示画面上的位置的情况下，如图13(a)所示，对于显示画面的下部的区域全都能够由操作装置20来指示，然而如图13(b)所示，在显示画面的上部则产生由操作装置20不能指示的区域。

于是，如实施方式1所示，通过将红外发光亮点显示于显示画面，即使是操作装置20与显示画面的距离较短的情况下，由于红外发光亮点变得易于聚集到操作装置20的拍摄范围，因此能够将可由操作装置20指示的范围扩大，然而在操作装置20与显示画面的距离进一步缩短的情况下，就在显示画面上产生由操作装置20不能指示的区域。

因此，在本实施方式中，是基于操作装置20的拍摄结果，计算出显示画面的坐标系中的指示位置，及显示画面和操作装置20的距离，并基于计算结果来控制红外发光亮点的显示位置，因此即使是在操作装置20与显示画面的距离非常短的情况下，也能进一步扩大由操作装置20能够指示的在显示画面上的区域。

图14是表示本实施方式的显示系统1b的简略构成的框图。如该图所示，本实施方式的显示系统1b，在实施方式1的显示系统的基础上，液晶显示装置10还具备：距离计算部35、显示位置计算部36以及存储部37。另外，距离计算部35及显示位置计算部36设置于控制部12中。

距离计算部35，计算出在显示画面中当前所显示的亮点间的间隔。

显示位置计算部36，基于显示控制部31计算出的在显示画面的坐标系中的操作装置20的指示位置、距离计算部35计算出的在显示画面上当前所显示的亮点间的间隔、在从操作装置20接收的拍摄图像中的亮点间的间隔，来计算改变后的红外发光亮点的显示位置。

在存储部37，如图15所示预先保存查询表，该查询表是将在显示画面的坐标系中的当前的各亮点间的间隔，和在拍摄图像的坐标系中的各亮点间的间隔，及改变(设定)后的各亮点的间隔建立了对应关系的表。另外，保存在该查询表中的改变后的各亮点的间隔被设定为，显示画面与操作装置20的距离越短则间隔越短。

显示位置计算部36，参照该查询表，抽出当前所显示的亮点间的间隔，和拍摄图像中的亮点间的间隔建立对应的改变后的亮点间的间隔。而且，在基于显示控制部31当前所显示的亮点而计算出的显示画面的坐标系中的由操作装置20指示的指示位置附近，以如上所述抽出的改变后的亮点间间隔来表示各亮点的方式，计算出各亮点的显示位置。更具体而言，按照将改变了显示位置后的各亮点的中点(或者重心)，显示在基于改变前的显示位置所显示的亮点而计算出的由操作装置20指示的指示位置的方式，计算出显示位置。而且，将显示在显示画面的各亮点的位置，改变为该计算出的显示位置。

如上所述，在本实施方式的显示系统1b中，基于在显示画面上当前所显示的亮点，计算出由操作装置20指示的指示位置，并在计算出的指示位置的附近改变亮点的显示位置。由此，如图16(a)及图16(b)所示，由于红外发光亮点通常显示在操作装置20的指示位置的附近，因此能够防止在移动了操作装置20的指示位置的情况下，显示画面上的亮点从操作装置20的摄像范围脱离，从而能够不能检测出指示位置。

另外，在本实施方式中，以显示画面与操作装置20的距离越近亮点间的间隔越短的方式控制各亮点的显示位置。由此，如图17(a)及图17(b)所示，由于能够使各亮点显示在操作装置20的拍摄范围内，因此无论显示画面与操作装置20的距离如何，均能够确切地计算出操作装置20的指示位置。另外，图17(a)是表示显示画面与操作装置20的距离较长的情况下的改变后的各亮点的显示位置的例子的说明图，图17(b)是表示显示画面与操作装置20的距离较短的情况下的改变后的各亮点的显示位置的例子的说明图。

另外，在本实施方式中，对于参照存储部37所具备的查询表计算出改变后的亮点间的间隔的构成进行了说明，但并不局限于此，也可以是将与显示画面的坐标系中的现在的各亮点间的间隔，和在拍摄图像的坐标系中的各亮点间的间隔，及改变(设定)后的各亮点的间隔建立了关联的函数，事先存储在存储部37中，并使用该函数对改变后的各亮点的间隔进行运算。

另外，在上述各实施方式中，设置于液晶装置10中的显示控制部31、设置于操作装置20中的图像处理模块24及控制部26，使用CPU等处理器通过软件而实现。即，显示控制部31、图像处理模块24、以及控制部26，具备：执行用于实现各功能的控制程序的命令的CPU(centralprocessing unit)、和保存了上述程序的ROM(read only memory)、展开上述程序的RAM(random access memory)、保存上述程序及各种数据的存储器等存储装置(记录介质)等。而且，本发明的目的，通过以下来实现：将以计算机可读取方式记录了作为实现上述功能的软件的液晶显示装置10或者操作装置20的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质，供给到液晶显示装置10或操作装置20，该计算机(或CPU和MPU)读出记录在记录介质中的程序代码并执行。

作为上述记录媒体，例如，可以使用：磁带和录音带等的带系列、包括软盘(注册商标)/硬盘等磁盘和CD-ROM/MO/MD/DVD/CD-R等光盘的盘系列、IC卡(包括存储卡)/光卡等的卡系列、或者掩膜ROM/EPROM/EEPRROM/闪存ROM等的半导体存储系列等。

另外，可以将液晶显示装置10及/或操作装置20与通信网络连接而构成，并通过网络供给上述程序代码。作为该通信网络，不作特别限定，例如，可以利用互联网、内部网、内扩网、LAN、ISDN、VAN、CATV通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。另外，作为构成通信网络的传输介质，不作特别限定，例如，可以利用IEEE1394、USB、电力线输送、电缆TV线路、电话线、ADSL线路等有线，或者如IrDA或遥控那样的红外线、Bluetooth(注册商标)、802.1无线、HDR、移动电话网、卫星线路、地面数字网等无线。另外，本发明，即使上述程序代码为，利用电子传输所具体化的隐藏在输送电波中的计算机数据信号的形式也能够实现。

另外，液晶显示装置10及操作装置20的各功能块，不局限于使用软件而实现，也可以通过硬件逻辑电路而构成，还可以是将进行一部分的处理的硬件与运算单元进行组合而构成，该运算单元是，执行进行该硬件的控制和其余处理的软件。

另外，在上述各实施方式中，对将本发明适用于液晶显示装置的情况进行了说明，然而不局限于此，只要是能够将显示画面内的规定像素作为红外发光亮点的显示装置就都能够适用。本发明，也能够适用于例如，等离子显示器、有机EL显示器、电致发光显示器、背面投影仪等。

另外，在上述各实施方式中，对于从显示画面内的规定像素(或者像素组)中射出红外波段的光，并使该像素(或者像素组)作为红外发光亮点发挥作用的构成进行了说明，然而不局限于此，例如，也可以分别具备：显示与图像数据对应的像素的显示面板，和在该显示面板的显示画面内作为红外发光亮点的LED等的红外发光装置。在这种情况下，例如，可以在显示面板的表面配置红外发光单元，也可以以在显示面板上设置切口部、通过该切口部射出红外波段的光的方式而配置红外发光单元。

另外，在上述各实施方式中，是将所有的红外发光亮点均配置在显示画面内，然而不局限于此，只要在显示画面内至少设置一个以上的红外发光亮点即可。也可以在显示画面的外部设置红外发光亮点，并且在显示画面内显示至少一个以上的红外发光亮点，并基于该各红外发光亮点来计算出显示画面上的指示位置。

本发明的显示系统，具备：显示装置，其具备用于显示与图像数据对应的图像的显示画面；操作装置，其对于上述显示画面从非接触的位置上指示上述显示画面上的任意的位置，且对包括该指示位置的图像进行拍摄；至少两个以上红外发光亮点，其设置于上述显示装置、用于射出红外波段的光，基于在由上述操作装置所拍摄的拍摄图像中包括的上述红外发光亮点的位置，检测出显示画面上的上述指示位置，该显示系统的特征在于，上述红外发光亮点中的至少一个以上，被设置在上述显示装置的显示画面内。

根据上述的构成，在显示画面内设置至少一个以上用于射出红外波段的光的红外发光亮点。由此，与以往那样只在显示画面的外部设置红外发光亮点的构成相比，能够缩短在拍摄范围内包括两个以上的红外发光亮点所需的显示装置与操作装置的距离。因此，能够缩短用于确切地计算出由操作装置指示的显示画面上的指示位置所需的显示画面与操作装置的距离，且即使在操作装置与显示画面的距离较短的情况下，也能够确切地检测出由操作装置指示的显示画面上的指示位置。

另外，可以为如下构成，即，上述显示画面，由具有规则状地配置的多个像素的显示面板构成，上述各像素，具备射出相互不同的波段的光的多个子像素，且上述多个像素中的至少一部分像素，具有作为上述子像素射出红外波段的光的红外子像素，并使上述红外子像素中的至少一部分作为上述红外发光亮点发挥作用。

根据上述的构成，能够使设置于显示面板中的红外子像素作为红外发光亮点发挥作用。由此，无需分别具备显示面板和作为红外发光亮点的光源，因此与分别具备各部件的情况相比，能够防止增大显示装置的尺寸，并且降低部件的件数。另外，由于在上述各像素中的除红外子像素以外的像素中，能够显示与图像数据对应的图像，因此能够将因设置了红外发光亮点而引起的解像度的降低控制到最小限度。

另外，还可以构成为具备显示控制单元，其控制从上述各子像素射出的光的光量，上述显示控制单元，控制从上述各红外子像素射出的光的光量，以使上述红外发光亮点显示在上述显示画面中任意的区域。

根据上述的构成，能够使上述红外发光亮点显示在显示画面内的任意的位置。因此，例如能够根据操作装置和显示画面的相对位置等，来控制红外发光亮点的位置。

另外，上述显示面板是透过型的液晶显示面板，还可以构成为具备：背光灯，其配置在上述液晶显示面板中的与图像显示面的相反的一侧，射出在红外波段中具有光谱分布的光；彩色滤光层，其设置在上述液晶显示面板中，在与上述各子像素对应的区域中，透过与该各子像素对应的波段的光。

根据上述的构成，从背光灯射出的红外波段的光透过红外子像素。由此，能够使红外子像素作为红外发光亮点发挥作用。

另外，还可以构成为具备：接收单元，其从上述操作装置接收上述拍摄图像的数据、或者与基于上述拍摄图像而计算出的在上述拍摄图像中的上述指示位置和上述红外发光亮点的相对位置相关的数据；指示位置计算单元，其基于从上述操作装置接收的上述数据，计算出在上述显示画面上的上述指示位置。

根据上述的构成，接收由设置于操作装置的拍摄单元所拍摄的拍摄图像的数据，或者与基于拍摄图像而计算出的拍摄图像中的指示位置和红外发光亮点的相对位置相关的数据，并能够基于接收的数据，计算出显示画面上的上述指示位置。

另外，还可以构成为具备：发送单元，其将表示上述各红外发光亮点的位置的数据发送到上述操作装置；接收单元，其从上述操作装置接收表示基于上述数据而计算出的在上述显示画面上的上述指示位置的数据。

根据上述构成，发送单元，将表示各红外发光亮点位置的数据发送到操作装置。由此，在操作装置中，基于实际的红外发光亮点的位置，和拍摄图像中的红外发光亮点的位置，以及拍摄图像中的指示位置，就能够确定显示画面上的指示位置。而且，通过接收单元从操作装置接收显示画面上的指示位置的数据，从而能够把握在显示装置侧显示画面上的指示位置。

另外，上述显示画面由具有规则状地配置的多个像素的显示面板构成，上述各像素，具备射出相互不同的波段的光的多个子像素，并且上述多个像素中的至少一部分像素，具有作为上述子像素射出红外波段的光的红外子像素，且还可以构成为具备显示控制单元，其控制从上述各子像素射出的光的光量，并在上述显示画面中的规定的位置显示上述红外发光亮点，上述显示控制单元，基于在显示画面上的上述指示位置的计算结果，使上述红外发光亮点的显示位置改变到比上次的显示位置更接近上述指示位置。

根据上述构成，显示控制单元，基于在显示画面上的上述指示位置的计算结果，使红外发光亮点的显示位置改变到比上次的显示位置更接近上述指示位置。由此，由于在指示位置的附近显示红外发光亮点，因此即使在操作装置和显示画面的距离较近的情况下，也能够将红外发光亮点更可靠地包括在拍摄图像中，从而能够更确切地计算出显示画面上的指示位置。

另外，上述显示控制单元的构成也可以为，使两个以上的红外发光亮点显示于上述显示画面，并根据上述显示画面中的上述红外发光亮点彼此的距离与上述拍摄图像中的上述红外发光亮点彼此的距离之间的关系，来改变上述各红外发光亮点的显示位置，以使上述各红外发光亮点包括在上述拍摄图像的摄像范围内。例如，以操作位置与显示位置的距离越短红外发光亮点间的间隔越短的方式来改变各红外发光亮点的显示位置。

根据上述构成，即使操作装置与显示画面的距离较近的情况下，也能够将红外发光亮点更可靠地包括在拍摄图像中，从而能够更确切地计算出显示画面上的指示位置。

另外，也可以构成为具备指示位置显示单元，该指示位置显示单元，使规定的图像显示在与上述显示画面中的上述指示位置对应的位置上。

根据上述构成，由于使规定的图像显示在与显示画面中的上述指示位置相对应的位置上，因此对于观察显示画面的用户而言，就够识别操作装置的指示位置。

另外，也可以构成为具备三个以上上述红外发光亮点。

根据上述构成，通过基于不以同一直线状排列的三个以上的上述红外发光亮点，计算出显示画面上的指示位置，因此即使在由操作装置从对于显示画面倾斜视角的方向指示的情况下，也能够高精度地计算出显示画面上的指示位置。

本发明的指示位置的计算方法，提供一种在显示系统中的上述指示位置的检测方法，该显示系统具备：显示装置，其具备用于显示与图像数据对应的图像的显示画面；操作装置，其对于上述显示画面从非接触的位置上指示上述显示画面上的任意的位置，且对包括该指示位置的图像进行拍摄；至少两个以上红外发光亮点，其设置于上述显示装置用于射出红外波段的光，基于包括在由上述操作装置所拍摄的拍摄图像中的上述红外发光亮点的位置，检测出显示画面上的上述指示位置，该指示位置的检测方法的特征在于，将上述红外发光亮点中的至少一个以上，设置在上述显示装置的显示画面内。

根据上述的方法，在显示画面内至少设置一个以上射出红外波段的光的红外发光亮点。由此，与以往只在显示画面的外部设置红外发光亮点的构成相比，能够缩短在拍摄范围内包括两个以上的红外发光亮点所需的显示装置与操作装置的距离。因此，能够缩短确切地计算出由操作装置指示的显示画面上的指示位置所需的显示画面与操作装置的距离，且即使在操作装置与显示画面的距离较短的情况下，也能够确切地检测出由操作装置指示的显示画面上的指示位置。

另外，上述显示装置，可以通过计算机来实现，在这种情况下，由于将计算机作为上述显示控制单元而动作，因此利用计算机使上述显示装置实现的程序、以及记录了该程序的计算机可读取的记录介质，也包括在本发明的范畴。

本发明，能够适用于包括显示装置和操作装置的显示系统，其中操作装置为，在上述显示画面上以非接触的状态指示该显示装置中的显示画面上的任意的位置。例如，能够适用于将会议、显示，游戏等图像显示在显示装置的显示画面，并通过操作装置任意地指示该显示画面上的位置的指示器。

在发明的详细说明的内容中所实施的具体的实施方式或者实施例，完全是为了使本发明的技术内容明确，而不应是限定于这样的具体例而狭义的解释，在本发明的精神和所记载的权利要求的范围内，可以进行各种变形而实施。

Claims (12)

1.一种显示系统，具备：

显示装置，其具备用于显示与图像数据对应的图像的显示画面；

操作装置，其对于上述显示画面从非接触的位置上指示上述显示画面上的任意的位置，且拍摄包括该指示位置的图像；以及

至少两个以上红外发光亮点，其设置于上述显示装置、用于射出红外波段的光，

基于包括在由上述操作装置所拍摄的拍摄图像中的上述红外发光亮点的位置，检测出显示画面上的上述指示位置，

该显示系统的特征在于，

上述红外发光亮点中的至少一个以上，被设置在上述显示装置的显示画面内。

2.根据权利要求1所述的显示系统，其特征在于，

上述显示画面，由具有规则地配置的多个像素的显示面板构成，

上述各像素，具备射出相互不同的波段的光的多个子像素，

上述多个像素中的至少一部分像素，具有作为上述子像素、射出红外波段的光的红外子像素，

使上述红外子像素中的至少一部分作为上述红外发光亮点发挥作用。

3.根据权利要求2所述的显示系统，其特征在于，具备：

显示控制单元，其控制从上述各子像素射出的光的光量，

上述显示控制单元，控制从上述各红外子像素射出的光的光量，以使上述红外发光亮点显示在上述显示画面中任意的区域。

4.根据权利要求2所述的显示系统，其特征在于，

上述显示面板是透过型的液晶显示面板，

具备：背光灯，其配置在上述液晶显示面板中的与图像显示面的相反的一侧，射出在红外波段中具有光谱分布的光；

彩色滤光层，其设置在上述液晶显示面板中，在与上述各子像素对应的区域中，透过与该各子像素对应的波段的光。

5.根据权利要求1所述的显示系统，其特征在于，具备：

接收单元，其从上述操作装置接收上述拍摄图像的数据、或者与基于上述拍摄图像而计算出的在上述拍摄图像中的上述指示位置和上述红外发光亮点的相对位置相关的数据；

指示位置计算单元，其基于从上述操作装置接收的上述数据，计算出在上述显示画面上的上述指示位置。

6.根据权利要求1所述的显示系统，其特征在于，具备：

发送单元，其将表示上述各红外发光亮点的位置的数据发送到上述操作装置；

接收单元，其从上述操作装置接收表示基于上述数据而计算出的在上述显示画面上的上述指示位置的数据。

7.根据权利要求5所述的显示系统，其特征在于，

上述显示画面，由具有规则地配置的多个像素的显示面板构成，

上述各像素，具备射出相互不同的波段的光的多个子像素，并且上述多个像素中的至少一部分像素，具有作为上述子像素、射出红外波段的光的红外子像素，

具备显示控制单元，其控制从上述各子像素射出的光的光量，并在上述显示画面中的规定的位置显示上述红外发光亮点，

上述显示控制单元，基于在显示画面上的上述指示位置的计算结果，使上述红外发光亮点的显示位置改变到比上次的显示位置更接近上述指示位置。

8.根据权利要求6所述的显示系统，其特征在于，

上述显示画面，由具有规则地配置的多个像素的显示面板构成，

上述各像素，具备射出相互不同的波段的光的多个子像素，并且上述多个像素中的至少一部分像素，具有作为上述子像素、射出红外波段的光的红外子像素，

具备显示控制单元，其控制从上述各子像素射出的光的光量，并在上述显示画面中的规定的位置显示上述红外发光亮点，

上述显示控制单元，基于在显示画面上的上述指示位置的计算结果，使上述红外发光亮点的显示位置改变到比上次的显示位置更接近上述指示位置。

9.根据权利要求7或8所述的显示系统，其特征在于，

上述显示控制单元，使两个以上的红外发光亮点显示于上述显示画面，并根据上述显示画面中的上述红外发光亮点彼此的距离与上述拍摄图像中的上述红外发光亮点彼此的距离之间的关系，来改变上述各红外发光亮点的显示位置，以使上述各红外发光亮点包括在上述拍摄图像的摄像范围内。

10.根据权利要求1所述的显示系统，其特征在于，

具备指示位置显示单元，其使规定的图像显示在上述显示画面中的与上述指示位置对应的位置上。

11.根据权利要求1所述的显示系统，其特征在于，

具备三个以上上述红外发光亮点。

12.一种指示位置的检测方法，是显示系统中的指示位置的检测方法，该显示系统，具备：

显示装置，其具备用于显示与图像数据对应的图像的显示画面；

操作装置，其对于上述显示画面从非接触的位置上指示上述显示画面上的任意的位置，且拍摄包括该指示位置的图像；以及

至少两个以上红外发光亮点，其设置于上述显示装置、用于射出红外波段的光，

基于包括在由上述操作装置所拍摄的拍摄图像中的上述红外发光亮点的位置，检测出显示画面上的上述指示位置，

该指示位置的检测方法的特征在于，

上述红外发光亮点中的至少一个以上，被设置在上述显示装置的显示画面内。

Images