CN103425268A - 图像处理装置、计算机可读记录介质和图像处理方法 - Google Patents

Abstract

本发明公开了图像处理装置、计算机可读记录介质和图像处理方法。在本发明中，投影图像以便从投影设备的投影轴与屏幕之间形成锐角；捕捉所投影的图像和其周边的图像；以及基于在捕捉图像中包括的用户手指的影子区域执行对应于用户将要执行的操作的处理。

Description

图像处理装置、计算机可读记录介质和图像处理方法

相关申请的交叉参考

本申请要求享有于2012年5月18日在日本提交的日本专利申请No.2012-114843和于2013年3月28日在日本提交的日本专利申请No.2013-069791，并且通过参考并入其全部内容。

技术领域

本发明涉及图像处理装置、包括图像处理程序的计算机可读记录介质、图像处理方法，并且尤其涉及图像投影显示设备中的图像投影显示方法。

背景技术

在例如会议、讲课或演示中，为了给多人显示信息，传统上一般使用如投影仪的投影设备以扩大并投影图像或动态图像以便将必要信息展示在墙或屏幕上，并给出解释。在使用投影设备的场合，存在讲话者或听众希望将额外的信息写到上述图像的情况，或希望标示或指出所投影的图像的特别部分。在上述情况下，通过使用指示棒或讲话者或听众自身的手指，已经设计出并存在允许讲话者或听众实施上述动作的方法。

作为这样方法中的一种，如日本专利No.3729533所描述的，存在已知指示系统，该指示系统显示通过用户使用指示棒循迹的轨迹和投影图像作为屏幕上叠加的图像。作为另一个方法，如日本专利特开H7-129322所描述的，存在已知计算机显示系统，当指示棒的影子被放置在与代表在屏幕上投影的按钮的目标图像对应的位置处时，该系统确定按下按钮。

利用在日本专利No.3729533中描述的方法，通过用指示棒简单地循迹屏幕的用户，能在屏幕上画下图像。但是，指示棒的尖端需要与屏幕接触；从而用户需要准备长的指示棒以避免用户进入投影光学路径。因此，日本专利No.3729533中描述的方法存在如下问题：指示系统仅作为常规投影设备运作，并且除非准备如此长的指示棒，否则不能在屏幕上添加或画下图像。

通过日本专利申请特开No.H7-129322描述的方法，因为用户能实现与按下按钮相同的效果或者能简单地将手指或指示棒的影子放置在屏幕上所投影的图像处来执行操作，所以在日本专利No.3729533中的上述问题不会发生。但是通过日本专利申请特开No.H7-129322描述的方法，代替指示棒或手指自身，有必要将手指或指示棒的影子放置在所投影的图像的所标示的位置处并综合考虑投影角、从投影设备所投影的图像的投影范围和用户的站立位置等。因此，存在用户不能执行直观操作并且需要技能和训练以充分利用系统的问题。

因而，作为日本专利申请特开No.2009-070245所描述的，已知一种图像投影显示设备，该图像投影显示设备从屏幕的远端侧投影图像以允许用户通过循迹屏幕的前表面的同时观看所投影的图像的传输光线来执行操作。与日本专利No.3729533和日本专利申请特开No.H7-129322描述的方法不同，由于存在后部投影设备，日本专利申请特开No.2009-070245描述的图像投影显示设备避免用户拦截投影光学路径并且使用户通过直接用手指触摸屏幕来执行直观操作。因此，通过日本专利申请特开No.2009-070245描述的图像投影显示设备，不存在发生在日本专利No.3729533和日本专利申请特开No.H7-129322中的问题。但是，日本专利申请特开No.2009-070245描述的图像投影显示设备存在如下问题：要求有别于常规屏幕的高价格屏幕并且这对于设备是专用的。

为了解决这种问题，提出了本发明，并且本发明的目的在于当用户在屏幕上所投影的图像上执行操作时，允许用户用低价格和简单配置来执行直观操作。

发明内容

至少部分地解决传统技术中的问题是本发明的目的。

根据本发明，此处提供了一种图像处理装置，所述图像处理装置包括：图像获取单元，用于获取通过成像投影表面以及所述投影表面的周边中的至少一个所得到的捕捉图像，其中图像投影在所述投影表面上，以使从投影设备投影的投影光线的光轴与所述投影表面形成锐角；影子检测单元，用于基于所述捕捉图像，检测当对象进入投影光线的光学路径时在所述投影表面和所述投影表面的周边中的至少一个上所产生的影子；指示位置确定单元，用于基于所检测的影子，确定与在所述投影表面上影子的位置不同的并且与所述影子的位置具有预定关系的位置以作为用户指示的指示位置；以及指示信息输出单元，用于输出与所确定的指示位置相对应的信息。

本发明还提供了一种包含图像处理程序的非瞬态计算机可读记录介质，所述图像处理程序包括用于执行如下步骤的指令：获取通过成像投影表面以及所述投影表面的周边中的至少一个所得到的捕捉图像的步骤，其中图像投影在所述投影表面上，以使从投影设备投影的投影光线的光轴与所述投影表面形成锐角；基于所述捕捉图像，检测当对象进入投影光线的光学路径时在所述投影表面和所述投影表面的周边中的至少一个上所产生的影子的步骤；基于所检测的影子，确定与在所述投影表面上影子的位置不同的并且与所述影子的位置具有预定关系的位置以作为用户指示的指示位置的步骤；以及输出与所确定的指示位置相对应的信息的步骤。

本发明还提供了一种图像处理方法，所述图像处理方法包括：获取通过成像投影表面以及所述投影表面的周边中的至少一个所得到的捕捉图像，其中图像投影在所述投影表面上，以使从投影设备投影的投影光线的光轴与所述投影表面形成锐角；基于所述捕捉图像，检测当对象进入投影光线的光学路径时在所述投影表面和所述投影表面的周边中的至少一个上所产生的影子；基于所检测的影子，确定与在所述投影表面上影子的位置不同的并且与所述影子的位置具有预定关系的位置以作为用户指示的指示位置；以及输出与所确定的指示位置相对应的信息。

考虑结合所附附图时，通过阅读本发明当前优选实施例的具体实施方式将更好地理解本发明的上述以及其他目的、特征、优点和技术的与工业的重要性。

附图说明

图1是示意性地示出了依据本发明实施例的图像投影显示设备的硬件配置的方框图；

图2是示意性地示出了依据本发明实施例的图像投影显示设备的功能配置的方框图；

图3是解释依据本发明实施例的图像投影显示设备的操作模式的示意图；

图4是解释从依据本发明实施例的图像投影显示设备到屏幕上所投影的示例图像和用户手指的影子的示意图；

图5是解释当投影图4所示的图像的示例情况中按下任何按钮时，用户手指的影子的形状变化以及用户的动作的示意图；

图6是用于解释依据本发明实施例的图像投影显示设备确定用户将要按下的按钮的处理以及在确定按钮已被按下之后所执行的处理的流程图；

图7是示出了通过依据本发明实施例的图像投影显示设备从投影设备投影并显示在屏幕上的水平/垂直线网格图案图像的示意图；

图8示出了通过使用图像捕捉设备捕捉图7中所示的水平/垂直线网格图案图像而获取的捕捉图像；

图9是示出了通过依据本发明实施例的图像处理单元产生不同图像的示意图；

图10是示出了通过依据本发明实施例的图像处理单元产生合成图像和线性回归线的示意图；

图11是示出了依据本发明另一个实施例的图像投影显示设备的配置例子的示意图；

图12是示出了依据本发明又一个实施例的图像投影显示设备的配置例子的示意图；

图13是用于解释依据本发明其他实施例的图像投影显示设备的操作模式的示意图；

图14是当从另一个角度观看时图13中所示的图像投影显示设备的操作模式的示意图；

图15是示意性地示出了用户手指的位置和在屏幕上所产生的手指的影子之间的对应关系的示意图；

图16是示意性地示出了用户手指的位置和在屏幕上所产生的手指的影子之间的对应关系的示意图；

图17是示意性地示出了用户手指的位置和在屏幕上所产生的手指的影子之间的对应关系的示意图；

图18是示出了依据第二实施例的图像投影显示设备的功能配置例子的方框图；

图19是示出了依据第二实施例的图像投影显示设备的操作例子的流程图；以及

图20是示出了用户执行相对于投影区域从左向右轻轻地扫过手指动作的状态的示意图。

具体实施方式

将参考所附附图在以下详细地描述本发明实施例。在实施例中，对于例如依照用户的动作执行处理的图像投影显示设备做出描述，该用户用手指执行动作以便在屏幕上所投影的图像上执行操作。

第一实施例

当用户用手指执行动作以便在屏幕上所投影的图像上执行操作时，依据第一实施例的图像投影显示设备迅速地并确定地基于动作执行用户所期望的处理。因此，通过依据本实施例的图像投影显示设备，用户能基于屏幕上所投影的图像执行直观操作。将在以下详细地做出描述。

首先，根据图1，描述依据本实施例的图像投影显示设备1的硬件配置。图1是示意性地示出了依据本发明实施例的图像投影显示设备1的硬件配置的方框图。注意到除了图1所示硬件配置之外，图像投影显示设备1还具有用于将图像投影到屏幕上以及用于通过在屏幕上所投影的图像与其周边来捕捉屏幕的光学机构。

如图1所示，依据本实施例的图像投影显示设备1包括与一般服务器、个人计算机（PC）等相似的结构。具体地，依据本实施例的图像投影显示设备1中，中央处理器（CPU）10、随机访问存储器（RAM）20、只读存储器（ROM）30、硬盘驱动器（HDD）40以及接口（I/F）50经由总线80相互连接。另外，液晶显示器（LCD）60与操作单元70连接于I/F50。

CPU10是运算单元，并控制图像投影显示设备1的整体运行。RAM20是具有高速读取和写入信息的能力的易失性存储介质，并用作当CPU10处理信息时的工作区域。ROM30是只读非易失性存储介质，并在其中存储如固件的程序。HDD40是具有读取和写入信息的能力的非易失性存储介质并在其中存储操作系统（OS）、各种控制程序、应用程序等。

I/F50连接并控制总线80，各种类型的硬件和网络等。LCD60是视觉的用户界面用于用户检查图像投影显示设备1的状态。操作单元70是包括鼠标和键盘的接口，用于使用户将信息输入给图像投影显示设备1。

在上述硬件配置中，将存储于如ROM30、HDD40和/或光盘（未示出）的存储介质上的程序读入RAM20并且CPU10依据RAM20载入的程序执行算术运算。从而，构成了软件控制单元。从而依据本实施例将软件控制单元与硬件结合以构成执行图像投影显示设备1功能的功能块。

接着根据图2，描述依据本实施例的图像投影显示设备1的功能配置。图2是示意性地示出了依据本实施例的图像投影显示设备1的功能配置的方框图。如图2所示，图像投影显示设备1包括控制器100、投影设备101、图像捕捉设备102、显示面板103和网络I/F104。

控制器100包括主控制单元110、光学机构控制单元120、图像处理单元130、操作/显示控制单元140和输入/输出控制单元150。注意到通过图2中的实线箭头指示电子连接。

依据光学机构控制单元120的控制，投影设备101基于屏幕上的图像数据，投影并显示图像。在光学机构控制单元120的控制下，图像捕捉设备102通过在屏幕上所投影的图像与屏幕周边来捕捉该屏幕，并将所捕获的数据提供到控制器100。

显示面板103是视觉地显示图像投影显示设备1的状态的输出界面，另外当用户直接操作图像投影显示设备1或将信息输入到图像投影显示设备1时，也是用作触摸面板的输入界面。也就是说，显示面板103包括用于接收用户的操作来显示图像的功能。通过图1中所示的操作单元70和LCD60实现显示面板103。注意到依据本实施例的图像投影显示设备1不仅具有显示面板103，而且还具有如硬件开关的机械操作单元。

网络I/F104是经由网络等用于图像投影显示设备1与如PC或其他外部设备的客户终端进行通信的接口，并且使用以太网（注册商标）或通用串行总线（USB）接口。通过图1所示的I/F50实现网络I/F104。

控制器100通过软件和硬件的组合来构成。具体地，将存储于如ROM30、非易失性存储器、HDD40和/或光盘的非易失性存储介质上的程序载入如RAM20的易失性存储器（下述，存储器）并且CPU10依据程序运行以构成软件控制单元，这继而结合如集成电路的硬件来构成控制器100。控制器100作为控制图像投影显示设备1的整体的控制单元发挥作用。

主控制单元110起控制控制器100中包括的单元的作用，并向控制器100的单元给出命令。光学机构控制单元120起驱动单元的作用，该驱动单元控制或驱动投影设备101、图像捕捉设备102等。

在主控制单元110的控制下，图像处理单元130产生由投影设备101投影的图像数据，并处理由图像捕捉设备102捕捉和提供的所捕捉的图像数据。操作/显示控制单元140在显示面板103上显示信息，并将经由显示面板103输入的信息传输到主控制单元110。输入/输出控制单元150将经由网络I/F104输入的信息提供到主控制单元110。主控制单元110控制输入/输出控制单元150来经由网络I/F104访问如客户终端的其他设备。

接着，根据图3，描述依据本实施例的图像投影显示设备1的操作模式。图3是解释依据本实施例的图像投影显示设备1的操作模式的示意图。如图3所示，依据本实施例在用户和屏幕201之间放置图像投影显示设备1。如图3另外示出的，依据本实施例的图像投影显示设备1投影由投影设备101照射的光线作为在屏幕201上所投影和所显示的图像。

在此时，如图3所示，投影设备101投影图像以使投影光线的轴线202与屏幕201形式锐角“θ”。当用户将手指204带入投影光线路径203时，阻挡了在那部分的投影光线，以使在屏幕201上的投影区域205处产生用户的手指影子206。进一步，依据本实施例的图像投影显示设备1使用图像捕捉设备102来捕捉屏幕以及其周边，这包括在投影区域205中所产生的用户的手指影子206。注意到，如图3所示，将图像捕捉设备102提供到图像投影显示设备1上以便放置在投影设备101的投影口和屏幕201之间。由于这样的位置关系，避免用户身体的一部分（例如手指或手臂）出现在所捕获的图像中，所捕获的图像是通过图像投影显示设备1使用图像捕获设备102捕获的。

尽管对于在图3中示出的将图像捕捉设备102提供在图像投影显示设备1上的例子做出了描述，但是不需将图像捕捉设备102提供到图像投影显示设备1上，而是可以独立设置。在这种情况下，图像捕捉设备102不需放置在投影设备101的投影口和屏幕201之间，并且只要在用户的身体一部分（如手指或手臂）并不出现在所捕捉的图像的范围内，就无需限制图像捕捉设备102的位置。尽管对于在图3中示出的将投影设备101提供到图像投影显示设备1上的例子做出了描述，但是不需将投影设备101提供到图像投影显示设备1上，而是可以独立设置。在这种情况下，只要在起投影图像作用使得来自投影设备101的投影光线的轴线202与屏幕201形成锐角的范围内，就无需限制投影设备101的位置。

如上所述，一种所配置的图像投影显示装备1的主要特征之一在于，当用户用手指执行动作以便在屏幕201上所投影的图像上执行操作时，基于通过动作在屏幕201上所产生的影子执行处理。这使得用户能够通过依据本实施例的图像投影显示设备1基于屏幕201上所投影的图像执行直观操作。从而不需技能和训练，任何人能经由屏幕201上所投影和显示的图像简单地在图像投影显示设备1上执行操作。

接着，根据图4，对于从依据本实施例的图像投影显示设备1到屏幕201上所投影的示例图像和用户手指的影子做出描述。图4是解释从依据本实施例的图像投影显示设备1到屏幕201上所投影的示例图像和用户手指的影子的示意图。注意到图4示出了从图3中所示的箭头方向上所观看的屏幕201。

如图4所示，显示以1到6编号的六个按钮图标以便从依据本实施例的图像投影显示设备1到屏幕201上所投影的图像的水平方向上以一条线排列。另外，作为图3中所示的用户将手指204带入投影光学路径203的结果，如图4所示的在屏幕201上产生用户的手指影子206。

注意到图4中所示的六个按钮图标是所投影的图像并因此用户不能以物理方式直接按下按钮。但是，当用户执行按下所投影的图像的动作时，图像投影显示设备1依照动作执行如通过按下按钮激活的相同处理。以这种方式，当用户希望在屏幕201上所投影的图像上执行任何操作时，用户需要执行将手指带入投影光学路径203的动作以便执行操作。例如图4所示的在屏幕201上所投影的六个按钮图标的情况下，将根据图5，对于用户的动作和当按下任何按钮图标时用户的手指影子206的形状变化做出描述。

如图5所示，为了执行按下图4所示的任意六个按钮图标中任一个的动作，用户需要执行将手指204带入投影光学路径203以使手指接近按钮图标。注意到图5示出了手指204接近按钮图标“4”的例子。

如图5所示，将用户的手指204从204a所指示的位置移动到204b所指示的位置，借此通过用户的手指所产生的影子206从206a所指示的形状变成206b所指示的形状，以便从屏幕201的上部向着下部移动。这因为，如上根据图3所述，依据本实施例的图像投影显示设备1上的投影设备101投影并显示图像，以使来自投影设备101的投影光线的轴线202和屏幕201形成锐角。一种依据本实施例的图像投影显示装备1的主要特征之一在于，基于如上述已经改变形状的用户的手指影子206确定将要按下哪个按钮。以这种方式，当按钮图标处于与屏幕201上所产生的用户的手指影子206的不同的位置时，依据本实施例的图像投影显示设备1能精确地以及快速地确定将要按下哪个按钮。

注意到，当如图3所述投影光线的轴线202和屏幕201形成锐角时，实质上以梯形方式变形了在屏幕201上所投影和显示的图像以便与所投影的源图像（以下称“原始图像”）相比，向着屏幕201的上部降低宽度。依据本实施例的图像投影显示设备1通过请求梯形失真校正（keystone correction），从而电子上取消了梯形变形。结果依据本实施例的图像投影显示设备1能令原始图像的坐标系（以下称“原始图像坐标系”）与在屏幕201上实际投影和显示的图像的坐标系（以下称“投影图像坐标系”）相符。

接着，根据图6，描述当用户执行图5所述的动作时，依据本实施例的图像投影显示设备1确定用户将要按下的按钮的处理以及在确定已经按下按钮之后执行的处理。图6是用于解释依据本实施例的图像投影显示设备1确定用户将要按下的按钮的处理以及在确定已经按下按钮之后执行的处理的流程图。

如图6所示，当依据本实施例的图像投影显示设备1确定用户将要按下的按钮时，投影设备101首先在光学机构控制单元120的控制下在屏幕201上投影并显示图像（S601）。作为例子，描述在屏幕201上投影并显示图4所示的图像的情况。然后，在从投影设备101投影图像并在屏幕201上显示图像后，图像捕捉设备102在光学机构控制单元120的控制下捕捉屏幕201和其周边（S602）。在图像捕捉设备102捕捉屏幕201和其周边后，图像处理单元130获得所捕捉的图像（S603）。在获得所捕捉的图像后，图像处理单元130将所捕捉的图像变换到原始图像坐标系中的图像（S604）。

此时根据图7和图8来描述S604的处理，即将所捕捉的图像变换到原始图像坐标系中的图像。图7是示出了通过依据本实施例的图像投影显示设备1从投影设备101投影并显示在屏幕201上的水平/垂直线网格图案图像的示意图。术语“水平/垂直线网格图案图像”指的是如图7所示，在屏幕201上的投影图像坐标系中，在均匀间隔处排列平行于坐标轴线的多个线段。如上述，依据本实施例的图像投影显示设备1能通过应用梯形校正使得原始图像坐标系与投影图像坐标系相符。如图7所示，这使得在屏幕201上所投影和显示的水平/垂直线网格图案图像与原始图像的水平/垂直线网格图案图像相符。

图8示出了通过使用图像捕捉设备102捕捉图7中所示的水平/垂直线网格图案图像，获取所捕捉的图像。如图3所示，将依据本实施例的图像捕捉设备102提供到图像投影显示设备1上以便被放置在投影设备101的投影口和屏幕201之间。因此，当图像捕捉设备102捕捉在屏幕201上所投影和显示的如图7所示的水平/垂直线网格图案图像时，如图8所示，在所捕捉的图像的坐标系（以下称“捕捉图像坐标系”）中水平/垂直线网格图案图像的形状变形成梯形。

因此，通过预先获取变换方程并通过将变换方程应用到S603所获取的所捕捉的图像，执行将所捕捉的图像变换到原始图像坐标系中的图像（S604），该变换方程用于使图8所示的坐标系与图7所示的坐标系相符，即用于使捕捉图像坐标系与原始图像坐标系相符。通过执行这样的变换，依据本实施例的图像投影显示设备1能在原始图像坐标系中以与原始图像相同的方式处理所捕捉的图像。

在将所捕捉的图像变换到原始图像坐标系中的图像后，图像处理单元130产生由变换后的所捕捉图像（以下称“变换图像”）和原始图像构成的差别图像（S605）。由此例如通过以下方法产生差别图像：将变换图像和原始图像都转换成灰度图像；在这些图像相互对应的像素间获取像素值（如0到255）的差异；获取二值图像，其中如果差异的绝对值达到或超过预定值则将像素设定成黑色，而其他像素设定成白色。注意到产生差异图像的方法并不限于这些方法，也可以是其他已知方法。

在此时，设定成黑色的像素是在屏幕201上产生的用户的手指影子的像素。因而，在产生差异图像后，图像处理单元130确定所产生的差异图像是否包括达到或超过预定数目的黑色像素（S606）。如果图像处理单元130确定所产生的差异图像包括达到或超过预定数目的黑色像素（在S606中的“是”），则认为通过在屏幕201上产生的用户的手指影子形成了像素组。因此，在这种情况下，在上述处理之后，图像投影显示设备1将基于差异图像中的上述像素组确定用户将要按下的哪个按钮（S607到S611）。图9示出了在此时的差异图像。如图9所示，在差异图像中，在原始图像区207中显示用户的手指影子区208。

如果图像处理单元130确定差异图像不包括达到或超过预定数目的黑色像素（在S606中的“否”）,则认为在屏幕201上没有产生影子。在这种情况下，图像处理单元130从S602重复处理直到差异图像包括达到或超过预定数目的黑色像素（在S606中的“是”）为止，即直到在屏幕201上产生用户的手指影子206为止。

如果图像处理单元130确定差异图像包括达到或超过预定数目的黑色像素（在S606中的“是”），则图像处理单元130从差异图像提取黑色像素组（S607）并将所提取的像素组与原始图像坐标系中的原始图像进行组合（S608）。随后，图像处理单元130使用最小二乘法来从与原始图像坐标系组合的像素组中获取线性回归线（S609）。此处所获取的线性回归线是直线，通过计算获取线性回归线，以便最小化直线和所组合的像素组中包括的像素之间距离的平方和。当在这条直线上存在按钮时，图像投影显示设备1能够确定用户将要按下按钮。图10示出了此时的合成图像和线性回归线。图10显示了原始图像区209、用户的手指影子区210（即在S608的处理中所组合的像素组）和原始图像坐标系中的线性回归线211。

接着，图像处理单元130确定在原始图像坐标系的合成图像中的线性回归线211上是否存在按钮图标（S610）。如果图像处理单元130确定线性回归线211上存在按钮图标（在S610中的“是”），则认为用户将要按下按钮。因此，依据本实施例的图像投影显示设备1执行预先所设定的预定处理以作为按下按钮的响应（S611）。

此处，表述“预先设定的预定处理”指的是响应于用户打算做的操作的处理，如在光学机构控制单元120的控制下，投影设备101从当前所显示的图像变换到另一个图像或显示当前所显示的页面的滚动屏幕。也就是说，此处光学机构控制单元120作为指示信息输出单元发挥作用。在S603到S610的处理中，图像处理单元130作为图像获取单元、影子检测单元和指示位置确定单元发挥作用。以这种方式，依据本实施例的图像投影显示设备1能迅速地并确定地基于用户的手指影子执行与用户将要执行的操作相对应的处理，并且这是依据本实施例的图像投影显示设备1的主要特征之一。

注意到，如果在所投影图像中显示多个按钮图标并且超过一个按钮图标存在于线性回归线211上，则图像投影显示设备1难以确定将要按下哪个按钮。因此，按钮图标优选地设置在所投影的图像中，以使两个或更多的按钮图标不会存在于线性回归线211上。例如，通过依据本实施例的配置，产生用户的手指影子以便导向至与屏幕201上投影光线的轴线202大致平行；因此，如图10所示，线性回归线211也趋向于与在原始图像坐标系中投影光线的轴线202平行。因此，当在所投影图像中显示多个按钮图标时，能通过将按钮图标设置在与投影光线的轴线202大致垂直的方向上避免上述问题。

当没有将按钮图标设置在与投影光线的轴线202大致垂直的方向上的直线时，只要将它们设置成处于与投影光线的轴线202大致垂直的方向上各自不相同的位置，就无论处于与投影光线的轴线202大致平行的方向上的任何位置，也能避免上述问题。注意到如果将按钮图标设置成接近于所投影的图像的左端或右端，则可以存在线性回归线211没有与投影光线的轴线202大致平行的情况，该线性回归线211基于指向按钮图标的用户的手指影子206。这种情况下，将按钮图标设置在与投影光线的轴线202大致垂直的方向上的相同位置处的事实不一定表明线性回归线211上具有超过一个按钮图标。因此，如此的设置是允许的。

当图像处理单元130确定线性回归线211上存在按钮图标时（在S610中的“是”），此确定可能是用户没打算操作的结果，如用户错误动作的结果或在屏幕201上产生另一个不相关影子的结果。在这种情况下，如果处理过程继续如下处理（如图像的切换），该处理是在图像处理单元130确定线性回归线211上存在按钮图标后立刻按下按钮来启动的，则导致图像投影显示设备1执行与用户打算相反的处理。依据本实施例的图像投影显示设备1能通过不继续如下处理，该处理是在图像处理单元130确定线性回归线211上存在按钮图标后立刻按下按钮来启动的，而是通过使用例如以下方法避免上述问题。

具体地，首先在第一次S610的处理中，如果确定线性回归线211上存在按钮图标，则图像处理单元130仅执行增加按钮图标的亮度的处理。随后，图像处理单元130改变用于S606的确定处理中起参考值作用的黑色像素的预定数目值并且在之后重新执行从步骤S602的处理。依据本实施例的图像投影显示设备1继续如下处理，该处理只有图像处理单元130重新确定在线性回归线211上存在按钮图标作为上述处理过程的结果后，才通过按下按钮来启动。通过运用上述配置，根据本实施例的图像投影显示设备1能避免执行与用户打算相反的处理的问题。

S602到S610的处理，即捕捉在屏幕201上投影的图像的处理以及检测用户操作的处理，以预定速率重复执行，如每秒若干次的速率。如果连续多次检测到按下相同的按钮图标后，才确定识别出按下按钮图标，从而操作的可靠性能得以改善。

可以配置在继续如下处理（如图像的切换）之前，依据本实施例的图像投影显示设备1以按压的形式显示按钮图标，该处理是当按下按钮时启动的。通过运用上述配置，依据本实施例的图像投影显示设备1能清楚地通知用户执行当按下按钮时启动的处理。

如果图像处理单元130确定线性回归线211上不存在按钮图标（在S610中的“否”），则认为用户不会按下任何按钮。因此，图像处理单元130重复从S602的处理直到线性回归线211上存在按钮图标（在S610中的“是”）。随后，在结束投影图像后，图像投影显示设备1结束当确定用户将要按下按钮时执行的处理和在确定按下按钮后执行的处理。

在S606的上述处理中，描述了图像处理单元130能确定如果存在预定数目或更多的黑色像素则在屏幕201上产生影子。可以另外配置图像处理单元130能确定如果在特定区中存在预定数目或更多的黑色像素则在屏幕201上产生影子。即使由于噪音等原因使得预定数目或更多的黑色像素以散布的方式存在，这样的配置也使图像处理单元130避免做出错误确定。

在本实施例中，描述了通过图像处理单元130中的软件处理执行用于图像显示的控制和处理的例子。可选地，可以通过专用电路中的硬件处理执行控制和处理用于执行图像处理，该专用电路例如专用集成电路（ASIC）或数字信号处理器（DSP）。

在本实施例中，描述了基于用户的手指影子通过图像投影显示设备1执行哪种处理。可选地，还可以基于指示棒、另一个指示设备或用户所操作的其他设备的影子，来执行该处理。

另外，在本实施例中，描述了配置图像投影显示设备1以检测在屏幕201上所投影和显示的图像上所产生的影子的例子，但如图11所示可以配置图像投影显示设备1以比投影设备101更接近用户的位置设置光源105、从光源105发射光线到屏幕201上投影区域之外的区域，并检测在所发射的光线中产生的影子。如图11所示，在如此配置的情况下，发现将从光源105所发射的光线212投影到屏幕201的部分上面作为光源区域213，该部分高于从投影设备101所投影的图像的投影区域205。在光源区域213中产生用户的手指影子206。

通过运用上述配置，在图像的投影区域205之外产生用户的手指影子206，并因此不会拦截投影图像以使用户的可视性得到改善。对于本实施例中所描述的配置，其中在投影区域205中产生影子，当投影图像的亮度低时，在屏幕201上产生影子的色彩亮，由此问题出现在例如执行错误处理的图像处理单元130。但是，通过运用上述配置，不论投影图像的亮度如何，都在屏幕201上产生具有特定水平或更高暗度的影子。

图像投影显示设备1可以具有另一个配置，如图12所示，在该配置中以如图11所示的相同方式在比投影设备101更接近用户的位置处提供光源105，从光源105将光线发射到在屏幕201中包括的弯折部分214，并且检测在所发射光线中产生的影子。在如此设置的情况中，如图12所示，发现将从光源105照射的光线212投影到弯折部分214上作为光源区域213。在光源区域213上产生用户的手指影子206。

通过运用上述配置，因为在可视范围之外所产生，用户的手指影子206的可视性变差。从而除了通过图11所描述的配置获取的效果以外，这种效果还能进一步改善可视性。

代替在图像投影显示设备1上设置光源105，光源105还能独立存在。在如此的情况下，如图11和图12分别所示，只要在图像的投影区域205之外或在弯折部分214上产生用户的手指影子206，就无需限制光源105的位置。

上面描述了这样的例子，如图3所示在该例子中设置屏幕201和图像投影显示设备1以便在图像投影显示设备1之上投影图像。但是，如图13所示，通过设置屏幕201和图像投影显示设备1以便将图像投影到图像投影显示设备1的左侧上能获取相同的效果。并且在这种情况下，如图14所示，在投影光线的轴线202和屏幕201之间形成的角“θ”是锐角。注意到图14示出了从图13所示的箭头方向上所观看的状态。

通过与图3所示的设置相反地设置屏幕201和图像投影显示设备1以便将图像投影到图像投影显示设备1之下或者通过与图13所示的设置相反地设置屏幕201和图像投影显示设备1以便将图像投影到图像投影显示设备1的右侧上，也能获取相似的效果。注意到也在这些情况下，投影光线的轴线202与屏幕201形成锐角。

第一实施例的变形例

在上面描述的第一实施例中，在大致垂直于投影光线的轴线202的方向（以下描述中也称“X轴方向”）中将按钮图标设置在直线上，但是不限于这种设置，还可以沿着垂直于X轴方向的方向（方向大致平行于投影光线的轴线202，以下描述中也称作“Y轴方向”）上设置按钮图标。此处，上述描述的投影光学路径203具有四角锥形状。当用户将手指向着有别于接近投影区域205中心区域的区域移动时，手进入各种区域，并且取决于手指的高度方向上的位置（在Y轴方向中的位置），上述线性回归线211以各种角度倾斜。特别地，在投影区域205的右端和左端部分，取决于所带入的手指高度方向上的位置，显著地改变了线性回归线211的倾斜。因此，即使当沿着Y轴方向设置按钮图标时，也可能基于上述线性回归线211确定用户将要按下哪个按钮。也就是说，不限于在大致垂直于投影光线的轴线202的方向中将按钮图标设置在直线上，还可以任何形式设置按钮图标。

在图15的例子中，附图标记“204d”代表当用户将手指向着投影区域205移动以按下编号“1”按钮图标时手指的位置，并且附图标记“206d”代表在投影区域205（屏幕201）上所产生的手指的影子。附图标记“204e”代表当用户将手指向着投影区域205移动以按下紧接着编号“1”按钮图标下的编号“2”按钮图标时手指的位置，并且附图标记“206e”代表在投影区域205（屏幕201）上所产生的手指的影子。附图标记“204f”代表当用户将手指向着投影区域205移动以按下紧接着编号“2”按钮图标下的编号“3”按钮图标时手指的位置，并且附图标记“206f”代表在投影区域205（屏幕201）上所产生的手指的影子。

第二实施例

接着，描述第二实施例。在第二实施例中，只需将在屏幕201上所投影的图像中显示的按钮图标设置在各自不同的位置处，而不需将该按钮图标以如第一实施例相同的方式在大致垂直于投影光线的轴线202的方向中的直线上设置。

第二实施例和第一实施例的不同还在于，上述图像处理单元130具有当已经确定线性回归线211上存在两个或更多的按钮图标（图标的例子）时，基于在屏幕201上所产生的影子伸展的速度，确定用户将要按下的按钮图标（确定用户指示的指示位置）的功能。

此处例如图16、图17所示，假设一种情况，该情况下大致沿平行于投影光线的轴线202的方向（沿Y轴方向）将在投影区域205中（屏幕201上）显示的两个按钮图标设置在直线上。这个例子将编号“Y”按钮图标设置在编号“X”按钮图标之下。图16示出了用户向着投影区域205移动手指以按下编号“X”按钮图标的状态，其中通过“204x”代表用户的手指的位置并且通过“206x”代表在投影区域205（屏幕201）上所产生的影子。图17示出了用户向着投影区域205移动手指以按下编号“Y”按钮图标的状态，其中通过“204y”代表用户的手指的位置并且通过“206y”代表在投影区域205上所产生的影子。

假设用户以恒速向前移动手指。从图16和图17可知，比起用户向前移动手指以按下编号“X”按钮图标的情况，在用户向前移动手指以按下编号“Y”按钮图标的情况下在投影区域205中所产生的影子206以更快的速度伸展。本实施例关注当用户向前移动手指以按下按钮图标时的速度取决于按钮图标的Y轴方向上的位置而变化的事实。因此，本实施例的特征之一在于，当确定在线性回归线211上存在两个或更多的按钮图标时，基于影子206的伸展速度确定用户将要按下的按钮图标。下面将描述特定配置。注意到将适当省略描述中与第一实施例相同的部分。

图18是示意性地示出了依据本实施例的图像投影显示设备1000的功能配置的方框图。如图18所示，依据本实施例的图像投影显示设备1000包括存储控制单元160和存储设备106因而不同于第一实施例中的图像投影显示设备。在此例子中，将存储控制单元160提供到控制器200中。

在主控制单元110的控制下，存储控制单元160在存储设备106中以彼此对应的方式存储在屏幕201上（投影区域205中）所产生的影子的伸展速度以及在投影表面的高度。在本实施例中，存储设备106以对应的方式存储第二信息与各个第一信息，第二信息是指示投影表面的高度方向上（上下方向）的预定范围的信息（例如其可以是指示在原始图像坐标系中的上下方向中的预定范围的信息），第一信息是指示影子的伸展速度的信息。

在本实施例中，当已经确定线性回归线211上存在两个或更多个按钮图标时，图像处理单元130基于屏幕201上产生的影子206的伸展速度，确定指示位置。更具体地，当已经确定线性回归线211上存在两个或更多个按钮图标时，图像处理单元130检测屏幕201上所产生的影子206的伸展速度。图像处理单元130例如基于在上述合成图像中黑色像素组（对应于影子206）的时变，能检测影子206的伸展速度。然后，在从存储设备106读取与指示所检测的速度的第一信息相对应的第二信息之后，图像处理单元130确定在由所读取的第二信息指示的范围内所显示的按钮图标，并且确定所确定的按钮图标的显示位置作为指示位置。

图19是示出了依据第二实施例的图像投影显示设备1000的操作例子的流程图。步骤S601到S610的处理和第一实施例中的相同，因此省略了描述。如果在步骤S610已经确定在原始图像坐标系中合成图像中的线性回归线211上存在按钮图标（在步骤S610中的“是”），则图像处理单元130确定在线性回归线211上是否存在多个按钮图标（步骤S620）。

如果在步骤620确定多个按钮图标不存在，也就是说在线性回归线211上仅存在一个按钮图标（在步骤620中的“否”），则处理继续到步骤S611。步骤S611的处理与第一实施例中的相同，因此省略了描述。

如果在步骤620确定多个按钮图标存在（在步骤S620中的“是”），则图像处理单元130检测屏幕201上所产生的影子206的伸展速度（步骤S621）。例如，图像处理单元130能以预定速率重复从步骤S602到步骤S608的处理，并且基于原始图像坐标系中合成图像中的黑色像素组（对应于影子206）的时变，检测在屏幕201上所产生的影子206的伸展速度。

接着，基于在步骤S621所检测的影子206的速度，图像处理单元130确定用户将要按下的按钮图标（步骤S622）。更具体地，图像处理单元130从存储设备106读取对应于第一信息的第二信息，其中第一信息指示在步骤S621所检测的影子206的速度，并且从在线性回归线211上存在的按钮图标当中，确定由所读取的第二信息指示的范围内所显示的按钮图标（对应于用户将要按下的按钮图标）。此后，处理继续到步骤S611。步骤S611的处理与第一实施例中的相同，并因此将省略描述。

如上述，当已经确定在线性回归线211上存在两个或多个按钮图标时，依据本实施例的图像处理单元130基于屏幕201上所产生的影子的伸展速度确定用户将要按下的按钮图标。即使例如当以在方向大致平行于投影光线的轴线202的直线（Y轴方向）上设置在屏幕201上投影的图像中所显示的按钮图标时，这也能正确地确定用户将要按下的按钮图标。

虽然如上描述了本发明的实施例，但是给出的实施例仅作为例子而并不打算对本发明的范围做出限制。本发明并不限于像现在这样的实施例，而能够在并不背离本发明精神的范围内在实施阶段通过修改构成要件将本发明付诸实践。并且，通过适当组合实施例中公开的构成要素能形成各种发明。例如从实施例所示出的整个构成要素中可以删除若干构成要素。

例如，能基于屏幕201（投影区域205中）上所产生的影子206确定用户的拂过（flick）操作。注意到术语“拂过”指的是轻轻地扫过手指的动作。例如，如果原始图像坐标系中合成图像中的黑色像素组的纵向长度（对应于屏幕201上所产生的影子206）具有阈值内的长度以及如果黑色像素组随着时间从左向右（或从右向左）移动，则图像处理单元130能确定用户已经执行拂过操作。

图20是示出了用户执行相对于投影区域205从左向右轻轻地扫过手指的动作的状态的示意图。在图20的例子中，当用户的手指位于位置“204g”时，在投影区域205中产生影子206g。当用户的手指位于位置“204h”时，在投影区域205中产生影子206h。当用户的手指位于位置“204i”时，在投影区域205中产生影子206i。

注意到上述实施例和变形例能以任何需要的方式进行组合。

当用户在屏幕上所投影的图像上执行操作时，本发明允许用户以低价格和简单配置来执行直观操作。

虽然用于完整并清楚公开的具体实施例描述了本发明，但是并不因此限制所附的权利要求，而是可以被解释为包括落入所提出的基本教示范围内的本领域技术人员会想到的所有修改和替换结构。

Claims (12)

1.一种图像处理装置，包括：

图像获取单元，用于获取通过成像投影表面以及所述投影表面的周边中的至少一个所得到的捕捉图像，其中图像投影在所述投影表面上，以使从投影设备投影的投影光线的光轴与所述投影表面形成锐角；

影子检测单元，用于基于所述捕捉图像，检测当对象进入投影光线的光学路径时在所述投影表面和所述投影表面的周边中的至少一个上所产生的影子；

指示位置确定单元，用于基于所检测的影子，确定与在所述投影表面上影子的位置不同的并且与所述影子的位置具有预定关系的位置以作为用户指示的指示位置；以及

指示信息输出单元，用于输出与所确定的指示位置相对应的信息。

2.根据权利要求1所述的图像处理装置，其中，所述指示位置确定单元基于所述影子获取在所述投影表面上的直线，并且基于在所述直线上的轨迹确定所述指示位置。

3.根据权利要求2所述的图像处理装置，其中，

在图像中显示多个图标并且将所述多个图标设置成在与所述投影表面平行并且与投影的轴线垂直的方向上各自不相同的位置处；并且

所述指示位置确定单元确定一位置作为指示位置，在所述位置处显示图标当中所述直线上的轨迹穿过的图标。

4.根据权利要求3所述的图像处理装置，其中，

所述图像获取单元、所述影子检测单元和所述指示位置确定单元在预定周期重复相同的处理；并且

当已经连续多次确定显示了相同图标的位置是所述指示位置时，所述指示信息输出单元输出与所确定的指示位置相对应的信息。

5.根据权利要求2所述的图像处理装置，其中，

在图像中显示在各自不相同的位置处设置的多个图标；并且

当已经确定在所述直线上存在两个或更多的图标时，所述指示位置确定单元基于影子的伸展速度确定所述指示位置。

6.根据权利要求5所述的图像处理装置，还包括存储控制单元，所述存储控制单元以彼此对应的方式存储影子的伸展速度和在所述投影表面上的高度，

其中，当已经确定在直线上存在两个或更多的图标时，所述指示位置确定单元检测影子的伸展速度，并且确定对应于高度的图标的显示位置作为所述指示位置，所述高度对应于所检测的影子的伸展速度。

7.根据权利要求3至6中任意一项所述的图像处理装置，其中，当任何图标对应于所述指示位置时，所述指示信息输出单元控制所述投影设备代替已经投影的图像，将对应于图标的新图像投影到所述投影表面上，所述图标对应于所述指示位置。

8.根据权利要求1至7中任意一项所述的图像处理装置，还包括：

投影设备；以及

图像捕捉设备，所述图像捕捉设备被设置在与投影设备的投影部相比较更接近投影表面的位置处，并且用于捕捉所述投影表面和所述投影表面的周边中的至少一个。

9.根据权利要求1至8中任意一项所述的图像处理装置，其中，所述影子检测单元检测通过由光源发射的光线产生的影子，所述光源通过特定光量照射所述投影表面的周边。

10.根据权利要求9所述的图像处理装置，还包括光源。

11.一种包含图像处理程序的非瞬态计算机可读记录介质，所述图像处理程序包括用于执行如下步骤的指令：

获取通过成像投影表面以及所述投影表面的周边中的至少一个所得到的捕捉图像的步骤，其中图像投影在所述投影表面上，以使从投影设备投影的投影光线的光轴与所述投影表面形成锐角；

基于所述捕捉图像，检测当对象进入投影光线的光学路径时在所述投影表面和所述投影表面的周边中的至少一个上所产生的影子的步骤；

基于所检测的影子，确定与在所述投影表面上影子的位置不同的并且与所述影子的位置具有预定关系的位置以作为用户指示的指示位置的步骤；以及

输出与所确定的指示位置相对应的信息的步骤。

12.一种图像处理方法，包括：

获取通过成像投影表面以及所述投影表面的周边中的至少一个所得到的捕捉图像，其中图像投影在所述投影表面上，以使从投影设备投影的投影光线的光轴与所述投影表面形成锐角；

基于所述捕捉图像，检测当对象进入投影光线的光学路径时在所述投影表面和所述投影表面的周边中的至少一个上所产生的影子；

基于所检测的影子，确定与在所述投影表面上影子的位置不同的并且与所述影子的位置具有预定关系的位置以作为用户指示的指示位置；以及

输出与所确定的指示位置相对应的信息。

Images