CN102768582B - 图像显示系统和图像显示方法 - Google Patents

Abstract

本发明涉及图像显示系统和图像显示方法。其中，图像显示系统包括：图像投影单元，用于投影图像信息；光指示器，用于通过照射指示光来指明图像信息中的点，其中，指示光的照射能被打开和关闭；拍照单元，用于对投影了图像信息的区域拍照并输出拍得的信息；指令检测单元，基于拍得的信息来检测指示光在图像信息中的照射位置，并且检测指示光的照射是被打开还是被关闭；以及，控制单元，用于根据指示光的照射被关闭的位置，在指令检测单元检测到指示光的照射被关闭的时刻设置附加图像信息。

Description

图像显示系统和图像显示方法

技术领域

本发明的实施例涉及图像处理系统和图像显示方法。具体地，实施例涉及适合于用于通过光指示器来提高多种操作的操作性的图像处理系统和图像显示方法。

背景技术

对于使用投影仪的讲演，可利用例如为激光指示器的光指示器来照亮投影到屏幕上的图像中的期望的点。通常地，光指示器仅具有指明屏幕上的期望点的功能，并不具有操作PC的通常功能以及鼠标的点击功能。

因此，在操作者通过光指示器指明期望的点以后，为了操作连接到投影仪的PC的键盘或鼠标，操作者可能在操作键盘或鼠标之前，需要通过光指示器停止指明该点。

另一方面，已经提出了一种通过光指示器来指明坐标或执行点击的技术。在该技术中，投影仪投影的图像由照相机拍照，检测投影图像上由光指示器照射的指示光的亮点，指明坐标或执行例如点击的操作。在该技术中，例如通过在定义的时间段内指示点或通过在预先确定的点闪烁光指示器来实现点击功能（亦即“左键点击操作”）。

例如，专利文献1（日本公开未审申请No.H03-167621）以及专利文献2（日本公开未审申请No.H04-324847）公开了获取投影图像上的点的位置信息由此通过光指示器在投影图像上操作的方法。在此方法中，由照相机拍照包括由光指示器指示的点的投影图像，并且通过检测该点的坐标获得投影图像上的点的位置信息。

另外，专利文献3（日本公开未审申请No.JP2002-116878）公开了一种使用光指示器执行指明操作（如，点击）的方法。在此方法中，确定在即将关闭光指示器之前由光指示器指示的位置的坐标以及紧接在再次打开光指示器之后由光指示器指示的位置的坐标是否在预先确定的范围内，由此通过光指示器 执行指明操作。

然而，不同于鼠标等，对于光指示器来说，难于保持指明相同的点。因此，对于可能需要在超过预先确定的时间段指明相同的点的方法，对操作者来说该操作是困难的。此外，在每次执行该操作时，操作者需要等待预先确定的时间段。由此，降低了操作速度并可操作性变低。

此外，对于闪烁光指示器来执行操作的方法，需要操作者按压并释放光指示器的操作开关。在这种情况下，会出现一个问题：当操作者按压光指示器的操作开关由此再次打开光指示器时，由于手的移动坐标可能移位且可能执行误操作。此外，为了防止这种由手的移动产生的误操作，需要增大闪烁有效的范围。然而，会出现另一个问题：由于闪烁有效的范围对操作者来说是不清楚的，因此可操作性变低。

此外，通过上述方法，可能执行例如点击的单个的操作。然而，难于执行例如右键操作或滚轮操作（持续点击的操作）等其它操作。在一些情况下，多种操作按钮（例如滚轮操作）被显示在投影图像上。然而，这些操作按钮非常小以至于难于利用光指示器进行精确地指明。

发明内容

实施例的目的是提供一种图像显示系统和图像显示方法。在该图像显示系统和图像显示方法中，当利用关闭光指示器的操作作为触发的同时，在投影图像上显示使得能够进行相应操作的附加图像。通过这种配置，可利用光指示器精确地执行多种操作，并且提高可操作性。

一方面，提供了一种图像显示系统，包括：图像投影单元，用于投影图像信息；光指示器，用于通过照射指示光来指明图像信息中的点，其中，指示光的照射能被打开和关闭；拍照单元，用于对投影了图像信息的区域拍照并输出拍得的信息；指令检测单元，基于拍得的信息来检测指示光在图像信息中的照射位置，并且检测指示光的照射是被打开还是被关闭；以及，控制单元，用于根据指示光的照射被关闭的位置，在指令检测单元检测到指示光的照射被关闭的时刻设置附加图像信息。

另一方面，提供了一种图像显示方法，包括：图像投影步骤，投影图像信息；光指示器的指示步骤，其中光指示器通过照射指示光来指明图像信息中的 点，并且指示光的照射能被打开和关闭；拍照步骤，对投影了图像信息的区域拍照并输出拍得的信息；指令检测步骤，基于拍得的信息检测指示光在图像信息中的照射位置，并且检测指示光的照射是被打开还是被关闭；以及，显示控制步骤，根据指示光的照射被关闭的位置，在指令检测步骤检测到指示光的照射被关闭的时刻设置附加图像信息。 

根据这些实施例，可通过使用光指示器精确、容易地执行多种操作。

当结合附图阅读时，从下面的详细描述，本发明的其它目的、特征和优点将变得更明显。

附图说明

图1是依据实施例的图像显示系统的示意性配置图；

图2是输入设备的功能框图；

图3A和3B是示出了选择区域的显示示例的示意图；

图4是在显示了选择区域的状态下图像显示系统的示意性配置图；

图5是示出选择区域的显示操作以及输入设备的操作处理的示例的流程图；

图6是示出选择区域的指示的另一示例的示意图；

图7是示出选择区域的指示的另一示例的示意图；

图8是示出选择区域的指示的另一示例的示意图；

图9是示出图像显示区域中的不显示选择区域的区域的示意图；以及

图10是示出选择区域的显示操作以及输入设备的操作处理的另一示例的流程图。

具体实施方式

在下文中，基于图1至图10说明依据本发明的实施例的配置。

[第一实施例]

根据第一实施例的图像显示系统（100）包括：图像投影单元（投影仪104）；光指示器（107）；拍照单元（照相机103）；指令检测单元（例如输入设备105的指示器位置检测单元202）；以及控制单元（例如输入设备105的控制单元203）。图像投影单元（投影仪104）用于投影图像信息（投影在屏幕101的图像显示区域102上的图像）。光指示器（107）能通过将指示光（斑点光108） 照射到该图像信息上来标示位置，并且能打开或关闭照射。拍照单元（照相机103）对投影了图像信息的区域（图像显示区域102）进行拍照，并且输出拍得的信息。指令检测单元（输入设备105的指示器位置检测单元202）基于拍得的信息来检测指示光在图像信息上的照射位置，并检测指示光的照射的开/关状态。当指令检测单元检测到指示光的照射被关闭时，控制单元根据指示光被关闭的位置来设置附加图像信息（例如选择区域306）。

亦即，对于第一实施例，关注于：在光指示器关闭的时间期间由于手的运动引起的斑点光的运动，小于光指示器打开的时间期间斑点光的运动。通过显示指示多个操作的选择区域同时利用操作来关闭光指示器作为触发，提高了图像显示系统100的可操作性。例如，在标示期望操作的选择区域内，通过关闭光指示器且随后再次打开光指示器，不但能够从可视显示图像中选择普通的点击操作（左键点击），也能够选择包括例如右键点击以及滚动等的多个操作。

（图像显示系统概要）

图1是依据第一实施例的图像显示系统的示意性配置图。通过参照图1说明图像显示系统100的基本操作。

图1示出大致位于屏幕101前面的投影仪104将预先确定的图像投影用于讲演的状态。在此情况下，操作者可给第三方做出讲演同时通过例如激光指示器的光指示器107指明图像显示区域102内的期望的位置，该图像显示区域102是正在显示图像的屏幕101内的区域。

此外，当操作者利用光指示器107照射的斑点光108指明图像显示区域102上的期望的位置时，通过大致位于图像显示区域102前面的照相机103对图像显示区域102和斑点光108进行拍照作为指令图像。

在输入设备105处对该指令图像执行例如质心检测处理的图像处理，并且将斑点光108的几何中心的位置检测作为指令位置（指示器位置）。通过根据该指令位置和/或是否检测到斑点光108来将操作信息发送到PC 106，实现了例如光标的移动或者图标109的左键点击或右键点击的操作。

在图1所示的图像显示系统100中，将投影仪104、照相机103以及输入设备105实现为不同的硬件项。然而，图像显示系统100可具有投影仪104包括照相机102和/或输入设备105的配置。例如，图像显示系统100可包括 含有照相机103和输入设备105的投影仪104、以及PC 106。

此外，在图1所示的示例中，投影仪104和照相机103大致位于屏幕101的前面，但是投影位置和拍照位置并不限于此。例如，可通过利用短距离投影仪（short range projector）104并通过校正投影位置来检测指令位置，该短距离投影仪104能在大致水平方向的短距离上投影图像。

（输入设备的配置）

图2示出了输入设备105的功能方框图。这里，输入设备105可由硬件资源实现，这不同于PC106的输入设备。或者，输入设备105可作为硬件包含在PC 106中。另外，输入设备105也可由通过执行程序使得PC 106作为输入设备105来实现。在此情况下，照相机103和投影仪104可直接连接到PC 106。

首先，输入设备105通过拍得图像获取单元201获得指令图像。这里，指令图像是由照相机103拍得的图像显示区域102和斑点光108的图像。

指示器位置检测单元202为指令图像检测作为斑点光108的几何中心的位置的指令位置。可通过已知的或新颖的方法来检测指令图像中的指令位置，并且检测方法不限于此。例如，可通过噪声滤波处理、二值化处理以及中值检测处理来检测指令图像中的指令位置。由此检测的指令位置的坐标被发送到控制单元203。

此外，图像信号输入单元207从PC 106接收图像信号，并将图像信号发送到图像信号组合单元206。图像信号组合单元206将输入图像信号的图像大小发送到控制单元203。

控制单元203基于来自指示器位置检测单元202的在照相机103上的坐标数据以及从图像信号组合单元206接收到的图像大小执行坐标变换，并且坐标数据被转换为在PC 106上的图像的坐标并被传送到操作信号产生单元204。操作信号产生单元204产生可被PC 106识别的操作信号，例如相当于由USB鼠标产生的信号的信号，并且将产生的操作信号发送到PC 106。

通过上述操作，可实现光指示器107对指令位置的指明。

此外，控制单元203可以基于由指示器位置检测单元202检测到的坐标数据计算指令位置的改变的轨迹，并且基于指令位置的改变的轨迹计算指令位置的变化（运动矢量）。通过这些，可以获得光指示器107的斑点光108的运动 轨迹和移动速度。这里，可由PC 106执行上述处理。

此外，当关闭光指示器107时，指示器位置检测单元202通知控制单元203没有检测到光指示器107的坐标。当控制单元203检测到光指示器107被关闭时，控制单元203将关闭光指示器107之前存在的斑点光108的坐标和对应于选择区域306的图像一起发送到图像信号组合单元206，其中，选择区域306表示指令的多个内容（例如左键点击、右键点击以及滚动等操作指令）。图像信号组合单元206将这些图像和从PC 106输入的图像组合。

随后，图像信号组合单元206将组合的图像发送到图像信号输出单元205，作为输入到投影仪104的图像输入信号。以此方式，从投影仪104投影图像。这里，在投影图像中，将选择区域与从PC 106输入的图像组合。

当操作者再次打开光指示器107同时指示在包括在投影的组合图像中的选择区域内的选择按钮上并且控制单元203接收到选择按钮的坐标时，控制单元203将指令发送到操作信号生成单元204。这里，该指令代表与选择按钮对应的操作。

通过上述操作，当利用关闭光指示器107的操作作为触发时，可以显示并操作选择区域。

（选择区域的显示和操作）

参考图3中示出的选择区域的显示的示例来描述上面的操作。如图3A所示，当通过关闭光指示器107从而在预定位置（图3A中，在图标109上）关闭斑点光108时，选择区域306被覆盖在原始图像上，如图3B所示，同时已经关闭了斑点光108的位置（图标109的位置）被使用作为参考位置。图4是在选择区域306与图像显示区域102组合并显示的状态下图像显示系统的示意图。

在图3B所示的示例中，选择区域306包括4个区域（操作按钮），它们是向上滚动区域302、左键点击区域303、右键点击区域304以及向下滚动区域305。当在选择区域306的预定位置再次打开光指示器107的斑点光108时，执行用于选择与预定位置对应的302至305中的一个区域的选择操作，并且输出对应的操作信号。通过将用于在选择区域306上执行相应的操作的操作按钮作为一组来显示，由此可容易地看见操作按钮，即使利用光指示器107，也可 容易地由斑点光108指示区域302至305中的任意区域。在此方式下，能提高图像显示系统的可操作性。

此外，图5的流程图示出了输入设备105对选择区域的上述显示和操作处理。

首先，当输入设备105的控制单元203正检测到光指示器107被打开(S101)并且随后检测到光指示器107被关闭(S102)时，输入设备105的控制单元203将选择区域与原始图像组合，并且投影该组合图像(S103)。

在此状态下，输入设备105的控制单元203确定在预定时间段内光指示器107的斑点光108是否在选择区域306内再次打开(S104)。当输入设备105的控制单元203确定斑点光108在选择区域306内被打开时(S104：是)，执行与由斑点光108指明的选择按钮相对应的操作(S105)。随后终止选择区域306的显示(S106)。

另一方面，当在预定时间段内没有再次打开光指示器107时或者当光指示器107的斑点光108被打开来照射位于选择区域306以外的位置时(S104：否)，终止选择区域306的显示(S106)。

这里，选择区域306的形状以及选择区域306中的操作按钮的类型并不限于图3所示。例如，优选地，选择区域306的大小和形状，各个按钮的大小、形状和位置，以及与每个操作按钮对应的操作都可以任意地设置。此外，优选地，可从选择区域的预先注册的多种显示类型中选择期望的显示类型。

例如，如图6所示的选择区域307是优选的。这里，选择区域307的中心位于关闭光指示器107的斑点光108时的点(图标109)，并且选择按钮302至305同中心地位于选择区域307内。在此情况下，在关闭光指示器107以后，用于选择对应的选择按钮302至305的斑点光108的移动量大致上相同。

此外，例如，如果由于光指示器107的开关的位置和形状导致手在水平方向的运动较大，则优选使用如图7所示的选择按钮302至305在垂直方向排列的选择区域308。

此外，例如，如果仅使用向上滚动和向下滚动，例如在仅仅阅读文件或图的情况下，可使用如图8所示的选择区域308，选择区域308仅包括向上滚动区域302和向下滚动区域305。

此外，选择区域可能不覆盖在关闭光指示器107的斑点光108的位置。例如，选择区域可能显示在邻近关闭斑点光108的位置（图标109的位置）。

此外，例如，当操作者朝着图像显示区域102的外面移动斑点光108时，即使为了特殊的操作而不关闭斑点光108，也检测到好像斑点光108被关闭了。因此，如图9所示，将区域（边界区域）309定义在与图像显示区域102的边缘部分接近的部分，其中在该区域309内不显示选择区域306。这里，即使在区域309内检测到关闭了光指示器107的斑点光108，也不显示选择区域306。以此方式，能够防止选择区域306被无意地显示。

如上所述，当关闭光指示器107时，关闭光指示器107的操作是释放发光开关的操作。由此手不会抖动。因此，通过第一实施例的图像显示系统100，操作者能通过关闭光指示器107来指明期望的坐标。此外，显示表示多个操作的选择区域，同时利用关闭光指示器107的操作作为触发。因此，可实现多个操作。

此外，当通过再次打开光指示器107来执行期望的操作时，打开光指示器107的操作是按压发光开关的操作。因此手会抖动。然而，可通过显示选择区域防止由手的移动导致的误操作，其中，选择区域比由手的移动导致的斑点光108的移动的范围要宽。此外，当通过再次打开光指示器107来执行期望的操作时，操作者可打开光指示器107同时将光指示器107指向可视的选择区域306。由此操作者能执行清楚的操作。此外，操作者不需等待预定的时间段就可操作多个操作中的每一个，并且可以减少操作时间。以此方式，可通过光指示器107精确地、容易地执行各种操作。

[第二实施例]

在下文中，将说明依据第二实施例的图像显示系统。这里，略去第二实施例中与第一实施例共同的说明。

在第一实施例中，当关闭光指示器107时，显示选择区域306。当关闭斑点光108时的点位于特定选择按钮内时，执行与选择区域306中的特定选择按钮对应的操作。然而，在关闭光指示器107以后移动该光指示器时，或者暂时释放光指示器107时，难于对准光指示器107的斑点光108的位置。因此，在操作者期望的位置可能不能再次打开斑点光108，并且可能执行无意识的操作。

因此，可以不执行与再次打开斑点光108时的点对应的操作。例如，当再次打开斑点光108并随后移动斑点光108的位置时，优选地执行在打开斑点光108以后与首次连续照射了预定时间段（例如，1秒）的斑点光108的位置对应的操作。以此方式，防止执行与斑点光108穿过的区域对应的操作。

此外，例如可能的是，再次打开光指示器107的位置位于选择区域的外面。在此情况下，可执行与选择区域内的点对应的操作，其中选择区域内的该点是在打开斑点光108以后该斑点光108首次停留的位置。

[第三实施例]

在上述的第一实施例和第二实施例中，示例描述的是：当再次打开光指示器107时执行选择在选择区域内的选择按钮的操作。然而，如上所述，可能不是在期望的位置打开斑点光108。由此，可能在打开光指示器107的时刻不执行选择在选择区域内的选择按钮的操作。在此情况下，类似于显示选择区域的情况，可执行与选择区域内再次打开斑点光108以后再一次关闭该斑点光108的位置对应的操作。

图10是示出第三实施例中通过输入设备105对选择区域的显示和操作处理的流程图。

首先，当输入设备正检测到光指示器107已被打开（S201）并随后检测到光指示器107被关闭（S202）时，输入设备105将选择区域306和原始图像组合（S203）。

在此状态下，输入设备105确定在预定的时间段内在选择区域内是否再次打开光指示器107的斑点光108（S204）。当输入设备105确定在选择区域306内再次打开斑点光108时（S204：是），输入设备105确定在选择区域内是否再次关闭斑点光108（S205）。

当输入设备105确定在选择区域内再次关闭斑点光108时（S205：是），输入设备105执行与再次关闭斑点光108的位置对应的操作（S206），并且随后终止选择区域的显示（S207）。

另一方面，当经过预定时间段以后再次打开斑点光108，或者在选择区域306的外面打开斑点光108时（S204：否），或者当在选择区域306内再次打开斑点光108以后在选择区域306内没有再一次关闭该斑点光108时（S205： 否），终止选择区域306的显示（S207）。

在第三实施例中，当打开光指示器107并显示选择区域306时，操作者可选择操作的内容。由此，能可视化地选择操作的内容并进一步提高图像显示系统的可操作性。

此外，当在选择区域306内再次打开斑点光108时，可执行如第一实施例所述的与再次打开斑点光108的点对应的操作，并且当在选择区域306的外面再次打开斑点光108时，如第三实施例所述，可执行与在再次打开斑点光108以后再次关闭该斑点光108的选择区域内的点对应的操作。

[第四实施例]

此外，如上所述，输入设备可基于斑点光108的坐标的变化轨迹计算斑点光108的运动矢量，另外，输入设备105可确定运动矢量的速度是否大于预定的速度。当输入设备105确定运动矢量的速度大于预定的速度并且检测到斑点光108被关闭时，输入设备105可不显示选择区域。

在这种斑点光108快速移动的状态的示例包括操作者试图将斑点光108朝图像显示区域102的外部移动的情况。在此情况下，通过依据第四实施例的配置，可防止无意中显示选择区域。

[第五实施例]

在上述的实施例中，描述的示例是，当在选择区域打开和/或关闭光指示器107的斑点光108时，执行点击预定的选择按钮的功能。然而，当打开和/或关闭光指示器107时也可执行其它操作。

例如，当打开光指示器107并且在与图3和图6-8中的显示了操作按钮的区域不同的区域（非操作区域）内移动斑点光108时，可通过使得选择区域的显示位置移动来实现选择区域的拖放功能（drag and drop function）。以此方式，可将选择区域的显示位置移动到期望的位置。

此外，当在预定时间段内在选择区域内连续地打开和关闭光指示器107的斑点光108时，可执行双击功能。此外，例如当在预定时间段内在选择区域的向上滚动区域302或在向下滚动区域305内连续地打开和关闭光指示器107的斑点光108时，可执行连续的滚动功能（连续点击对应区域的状态）。

本发明不限于特定公开的实施例，并且在不脱离本发明的范围的情况下可 作出的各种变形和修改。

本发明基于2011年5月2日提交的日本优先权申请No.2011-102717，其整个内容通过参考而引入于此。

Claims (8)

1.一种图像显示系统，包括：

图像投影单元，用于投影图像信息；

光指示器，用于通过照射指示光来指明图像信息中的点，其中，指示光的照射能被打开和关闭；

拍照单元，用于对投影了图像信息的区域拍照并输出拍得的信息；

指令检测单元，基于拍得的信息来检测指示光在图像信息中的照射位置，并且检测指示光的照射是被打开还是被关闭；以及

控制单元，用于响应于检测到指示光的照射被关闭，控制所述图像投影单元投影附加图像信息，

其中，基于所述指示光的照射被关闭的位置定位所述附加图像信息，并且

所述附加图像信息包括至少一个操作按钮，所述操作按钮用于对图像信息执行预定操作并且与所述指示光的照射被关闭的位置重叠，

其中，当指令检测单元检测到指示光的照射被打开并确定指示光的照射是否在操作按钮的区域内，且随后在所述区域内的点被指示光连续照射了预定时间段时，控制单元确定操作按钮被操作。

2.根据权利要求1所述的图像显示系统，

其中，当指令检测单元检测到指示光的照射在操作按钮的区域内被打开时，控制单元确定操作按钮被操作。

3.根据权利要求1所述的图像显示系统，

其中，当指令检测单元检测到指示光的照射在操作按钮的区域以外的区域内被打开且随后指令检测单元检测到指示光的照射在操作按钮的区域内被打开或关闭时，控制单元确定操作按钮被操作。

4.根据权利要求1所述的图像显示系统，

其中，当指令检测单元检测到指示光的照射在操作按钮的区域内被再次关闭时，控制单元确定操作按钮被操作。

5.根据权利要求1所述的图像显示系统，

其中，当指令检测单元检测到指示光的照射在边界区域内被关闭时，控制单元不设置附加图像信息。

6.根据权利要求1所述的图像显示系统，

其中，附加图像信息包括非操作区域，在所述非操作区域内不显示操作按钮；

其中，控制单元基于由指令检测单元检测到的指示光的照射位置，计算指示光的照射位置的变化轨迹，以及

其中，当指令检测单元检测到指示光的照射在非操作区域内被打开时，控制单元沿着指示光的照射位置的变化轨迹，改变附加图像信息的设置位置。

7.根据权利要求1所述的图像显示系统，

其中，控制单元基于指令检测单元检测到的指示光的照射位置，计算指示光的照射位置的变化轨迹，并且控制单元基于指示光的照射位置的变化轨迹，计算指示光的运动矢量，

其中，控制单元确定由运动矢量确定的速度是否大于预定速度，以及

其中，当控制单元确定由运动矢量确定的速度大于预定速度，并且指令检测单元检测到指示光的照射被关闭时，控制单元不设置附加图像信息。

8.一种图像显示方法，包括：

图像投影步骤，投影图像信息；

光指示器的指示步骤，其中光指示器通过照射指示光来指明图像信息中的点，并且指示光的照射能被打开和关闭；

拍照步骤，对投影了图像信息的区域拍照并输出拍得的信息；

指令检测步骤，基于拍得的信息检测指示光在图像信息中的照射位置，并且检测指示光的照射是被打开还是被关闭；以及

显示控制步骤，响应于检测到指示光的照射被关闭，控制图像投影步骤投影附加图像信息，

其中，基于所述指示光的照射被关闭的位置定位所述附加图像信息，并且

所述附加图像信息包括至少一个操作按钮，所述操作按钮用于对图像信息执行预定操作并且与所述指示光的照射被关闭的位置重叠，

其中，当指令检测步骤检测到指示光的照射被打开并确定指示光的照射是否在操作按钮的区域内，且随后在所述区域内的点被指示光连续照射了预定时间段时，显示控制步骤确定操作按钮被操作。