CN105814876A - 图像处理设备和方法以及程序 - Google Patents

Abstract

本技术涉及能改善可操作性的图像处理设备、方法、及程序。基于从由成像单元捕获的输入图像剪取的剪取图像，以及指示至该剪取图像的每个区域中对象的距离的距离图像，短距离图像分离单元生成短距离图像，该图像指示位于该成像单元侧的短距离对象。轮廓提取单元提取作为调整图像的该短距离图像的轮廓，且显示图像生成单元基于该调整图像生成输出图像，以及在图像显示单元上显示该输出图像。用户移动他/她的手，同时观看显示在该图像显示单元上的该输出图像，使得他/她的手与该手在该输出图像中的区域重叠。XY计算单元基于不同时点的调整图像计算该图像的显示位置的修正量。该技术可应用于头戴式显示器。

Description

图像处理设备和方法以及程序

技术领域

本技术涉及图像处理设备和方法以及程序，且尤其涉及配置成能改善可操作性的图像处理设备和方法以及程序。

背景技术

近来，通过中央处理单元(CPU)、图形处理单元(GPU)等的进步，利用计算机图形(CG)图像实现了虚拟现实，且进一步地利用虚拟现实将实际摄影图像与虚拟图像相结合实现了增强现实(AR)。

例如，作为与这样的增强现实相关的技术，提出了一种显示叠加在存在于真实环境中的对象的位置上的图像，以及根据用于该图像的操作进行处理的技术(例如参阅专利文献1)。

此外，也提出了一种用于实现增强现实的图像显示设备，诸如透视型头戴式显示器，其允许用户以裸眼透过半透明眼镜直接看到真实空间，且通过在眼镜上显示图像来实现增强现实。

引文列表

专利文献

专利文献1：JP2011-203823A

发明内容

技术问题

然而，前述技术不能改善透视型图像显示设备的可操作性。

由于在典型的透视型图像显示设备中，例如，使用触摸界面或按钮界面来进行用户操作，用户难以在他/她的头被屏幕覆盖时进行操作，且因此可操作性不是很优良。

有鉴于这样的情况，实现了本技术，且其目标在于改善可操作性。

问题的解决方案

根据本技术的一方面，提供了图像处理设备，该设备包括：生成单元，配置成基于由设置在用户的视点附近的成像单元捕获的输入图像，以及指示至该输入图像的每个区域中对象的距离的距离信息，而生成指示该输入图像中的、其在真实空间中的位置比预定距离更靠近该成像单元的对象的图像；图像显示单元，配置成显示该图像，从而允许用户经由显示屏观看该对象；以及修正量计算单元，配置成基于互不相同的时点上的该图像，而计算用于修正要在该图像显示单元上显示的图像的显示位置或显示尺寸的修正量。

该修正量计算单元能基于短距离对象在该图像中的移动量而计算用于修正该显示位置的修正量，该短距离对象为位置比该预定距离更靠近该成像单元的对象。

在其中作为参考的该图像，或经过该修正量修正且在作为参考的该图像之后的图像正在该图像显示单元上显示的状态下，该修正量计算单元能基于在当用户移动该操作指令单元而使得作为短距离对象的操作指令单元与正在显示的图像上的操作指令单元重叠时捕获的图像，与作为参考的该图像或在作为参考的图像之后的该图像之间的该操作指令单元的移动量，而计算该修正量。

该修正量计算单元能基于短距离对象在该图像中尺寸的变化而计算用于修正显示尺寸的修正量，该短距离对象为位置比该预定距离更靠近该成像单元的对象。

在其中作为参考的该图像，或经过该修正量修正且在作为参考的图像之后的该图像正在该图像显示单元上显示的状态下，该修正量计算单元能基于在当用户移动该操作指令单元而使得作为短距离对象的操作指令单元与正在显示的图像上的操作指令单元具有相同尺寸时捕获的图像，与作为参考的图像之间的该操作指令单元的尺寸变化，而计算该修正量。

该修正量计算单元能基于短距离对象的特定部分在该图像中的移动量而计算用于修正显示尺寸的修正量，该短距离对象为位置比该预定距离更靠近该成像单元的对象。

该图像显示单元能进一步显示将由用户操作的虚拟图像。该图像处理设备能进一步包括修正单元，该修正单元配置成基于修正量修正该虚拟图像的显示位置或显示尺寸。

该图像处理设备能进一步包括：遮蔽生成单元，配置为生成指示未遮蔽区域的遮蔽图像，该未遮蔽区域为在空间中其位置比该虚拟图像的距离更靠近该成像单元的对象的区域；遮蔽修正单元，配置为基于该修正量而修正该未遮蔽区域在该遮蔽图像中的位置或尺寸；以及遮蔽处理单元，配置为基于由遮蔽修正单元修正的该遮蔽图像和该修正量，通过对该虚拟图像进行透明处理，而将该未遮蔽区域从该虚拟图像中去除。该图像显示单元能显示受到该透明处理的该虚拟图像。

该图像处理设备能进一步包括：操作修正单元，其配置为基于该修正量而修正由用户操作的该虚拟图像上的位置。

能为用户的左与右眼中的每一个提供该图像显示单元。该修正量计算单元能为用户的左与右眼中的每一个计算修正量。

根据本技术的一方面，提供了一种图像处理方法或程序，其包括：基于由设置在用户的视点附近的成像单元捕获的输入图像，以及指示至该输入图像的每个区域中对象的距离的距离信息，而生成指示该输入图像中的在真实空间中其位置比预定距离更靠近该成像单元的对象的图像；在图像显示单元上显示该图像，从而允许用户经由显示屏观看该对象；以及基于互不相同的时点处的该图像而计算用于修正要在该图像显示单元上显示的图像的显示位置或显示尺寸的修正量。

在本技术的一方面中，基于由设置在用户的视点附近的成像单元捕获的输入图像，以及指示至该输入图像的每个区域中对象的距离的距离信息，而生成指示该输入图像中的在真实空间中其位置比预定距离更靠近该成像单元的对象的图像；该图像在图像显示单元上显示，从而允许用户经由显示屏观看该对象；以及基于互不相同的时点处的该图像，而计算用于修正要在该图像显示单元上显示的图像的显示位置或显示尺寸的修正量。

本发明的有益效果

根据本技术的一方面，能改善可操作性。

注意，本文中说明的效果不是限制性的，且能实现本公开中描述的任何效果。

附图说明

图1为示出显示设备的外观的示例性构造的图。

图2为说明用于虚拟图像的操作的图。

图3为示出显示设备的示例性构造的图。

图4为说明进行位置调整时的操作的图。

图5为说明进行尺寸调整时的操作的图。

图6为说明进行尺寸调整时的操作的图。

图7为说明显示差距调整的图。

图8为说明调整处理的流程图。

图9为说明修正量计算处理的流程图。

图10为说明输出图像的显示的图。

图11为说明触摸识别处理的流程图。

图12为示出显示设备的示例性构造的图。

图13为示出显示设备的示例性构造的图。

图14为示出显示设备的外观的示例性构造的图。

图15为示出显示设备的外观的示例性构造的图。

图16为示出显示设备的示例性构造的图。

图17为说明显示差距调整的图。

图18为说明调整处理的流程图。

图19为说明修正量计算处理的流程图。

图20为说明输出图像的显示的图。

图21为说明触摸识别处理的流程图。

图22为示出显示设备的示例性构造的图。

图23为示出显示设备的示例性构造的图。

图24为示出计算机的示例性构造的图。

具体实施方式

以下，将结合附图说明应用本技术的实施方式。

<第一实施方式>

<本技术概述>

本技术意在通过基于以佩戴透视型头戴式显示器的用户的裸眼看到的图景以及虚拟图像而进行三维呈现，来提供实际的触摸感，且由此实现与该程度的真实性等同水平的自然用户界面。本技术特别地允许低成本地实施具有快的响应性和高的自由度的透视型头戴式显示器的用户界面，该界面给予了用户自然的感觉。

例如，本技术能应用于各种电子设备(诸如音频设备、多功能型的移动电话、电子书阅读器)的操作，且也能应用于医疗领域、游戏机操作、音乐会、电影、引人关注，等等。

以下，将把本技术说明为将本技术应用于眼镜型显示设备的一个例子。在这样的情况下，如图1中所示，在上侧，例如，在显示设备11的后侧(即用户佩戴显示设备11时面对用户的左眼和右眼的平面上)设置有图像显示单元21L与图像显示单元21R。

包括半透明的透视型显示器件的图像显示单元21L与图像显示单元21R为将图像分别呈现给用户的左眼与右眼的显示部件。此外，用户也能经由图像显示单元21L与图像显示单元21R的显示屏观看位于视线方向前方的真实空间。

注意，以下，当不必特别区分图像显示单元21L与图像显示单元21R时，也可以将它们中的每一个简单地成为图像显示单元21。

此外，在显示设备11的前侧(即当用户佩戴显示设备11时位置与用户的眼睛侧相对的一侧)在图像显示单元21L与图像显示单元21R之间设置了成像单元22。换言之，成像单元22设置在用户的视点附近。包括具有范围发现能力的相机的成像单元22进行图像捕获，以及测量至位于佩戴显示设备11的用户的前方的对象的距离。

如图2中所示，如上所述作为透视型头戴式显示器的显示设备置于用户U11头上以供使用。在本实例中，用户经由显示设备11的图像显示单元21观看真实对象H11。

此外，设置在显示设备11中的成像单元22测量至用户11前方的每个对象的距离。然后，通过对位置比虚拟图像V11更靠近用户U11的对象在预定的虚拟图像V11中的一部分区域进行透明处理，显示设备11生成输出图像，且在图像显示单元21上显示所获取的输出图像。因此，输出图像中用户的手的部分或类似部分受到透明处理，使得图像中不会显示出用户的手的部分。换言之，防止了图像与用户的手的重叠，从而实现了更真实的增强现实。

此处，假定虚拟图像V11为三维用户界面(诸如例如由用户操作的虚拟终端的显示屏，当指令显示设备11进行各种处理时操作该虚拟终端)。虚拟图像V11设置在虚拟空间(即增强现实空间)上。

在观察显示在图像显示单元21上的该输出图像时，通过将手伸至被显示为如同存在于真实空间中的虚拟图像V11，用户U11进行虚拟图像V11的触摸操作。也即，用户进行诸如按压显示在虚拟图像V11上的按钮的操作。

之后，当用户U11进行用于虚拟图像V11的操作时，显示设备11进行与该操作对应的处理。

在显示设备11中，显示在图像显示单元21L与图像显示单元21R上的输出图像上的虚拟图像V11具有视差，且呈现给用户U11的左和右眼的输出图像形成立体图像，每个立体图像具有视差。

以这种方式，显示设备11显示作为输出图像的、以透视方式与实际观看的图像重叠的立体图像，且由此能实现允许用户容易地具有距离感，但不使其感到压力的用户界面。该用户界面为使用真实的三维增强现实的空间触摸界面。

<显示设备的示例性构造>

接下来，将说明图1中所示的显示设备11的具体构造。图3为示出显示设备11的示例性构造的图。注意，在图3中，同样的附图标记与对应于图1中部件的部件相联系，且将适当地省略其说明。

显示设备11包括具有范围发现能力的成像单元22、相机输入单元51、相机处理单元52、CPU53、ROM(只读存储器)54、RAM(随机存取存储器)55、图像显示处理单元56、图像输出单元57、总线58、图像显示单元21L、以及图像显示单元21R。在本实例中，从相机输入单元51至图像显示处理单元56的部件通过总线58互连，使得能经由总线58交换信息与图像。

具有范围发现能力的成像单元22捕获输入图像，且将该输入图像提供给相机输入单元51，以及也获取用于测量至该对象的距离的信息，和将该信息提供给相机输入单元51。例如，成像单元22已在其中提供了各种颜色R、G和B的像素，用于获取输入图像，且提供了用于接收近红外光像素，用于范围发现。成像单元22将为R、G和B的各像素获取的像素数据输出为该输入图像的图像数据，且为每个对应的像素输出范围发现数据。

相机输入单元51从成像单元22获取输入图像的图像数据，根据需要进行输入图像的数据格式转换等，且将转换后的数据提供给相机处理单元52。此外，相机输入单元51经由总线58将从成像单元22提供的至对象距离信息直接提供给RAM55。

相机处理单元52对从相机输入单元51提供的输入图像进行失真的修正处理等以及显像处理，且将所得图像提供给RAM55。

CPU53控制显示设备11的总体操作。例如，CPU53基于从RAM55提供的至对象距离信息生成输出图像，且将输出图像提供给图像显示处理单元56。尽管可以以任何方式获取距离信息，例如可以基于飞行时间(TOF)来计算该距离信息。

ROM54记录诸如虚拟图像的各种图像、数据、程序，等等。RAM55暂时记录图像、距离信息、各种数据、程序、等等。

图像显示处理单元56对从CPU53提供的图像(诸如要在图像显示单元21上显示的输出图像)进行诸如缓存处理的图像处理。图像输出单元57将诸如受到图像显示处理单元56中的图像处理的输出图像的图像输出给图像显示单元21，以供显示。

<调整处理概述>

接下来，将说明由显示设备11进行的处理。

在透视型显示设备11中，例如，对诸如用户的手的操作指令单元来指令操作进行检测是必要的，以识别用户对虚拟图像进行的操作。然而，不可避免地出现检测操作指令单元的成像单元22的视点位置与实际用户的视点位置之间的差距。这是因为用户正在经由透视型显示设备11中的半透明图像显示单元21观看真实空间，难以将成像单元22设置在用户的视线上。

相应地，成像单元22与用户的视点位置之间的差距的存在引起了由显示设备11识别的增强现实空间中的位置与由用户观看的增强现实空间中的位置之间的细微差距，这可能降低了可操作性。类似地，也出现了由显示设备11识别的增强现实空间中的对象尺寸与由用户观看的增强现实空间中的对象尺寸之间的细微差距。换言之，出现了显示设备11与用户的坐标系统之间的差距。

相应地，例如，可能是尽管用户已指定了增强现实空间中的预定位置，显示设备11可能识别为不同于用户指定位置的位置被指定，且这样的误识别对于用户变为了压力。此外，在组合实际看到的图像与其虚拟图像时，也可能出现差距。

因此，显示设备11首先进行调整处理，以调整显示设备11与用户之间的呈现上的差距，即位置和尺寸的识别差距。

具体地，作为调整处理，显示设备11进行修正输出图像中的位置差距和输出图像中的对象的尺寸差距的处理。以下，将把输出图像中相互垂直的预定方向称为X方向和Y方向，且也将把XY坐标系统(其轴方向为X方向和Y方向)中的显示位置差距称为XY方向上的位置差距。此外，以下也将把输出图像中对象的尺寸差距(显示尺寸)称为比例差距。

例如，如图4的左侧所示，当调整XY方向上的位置差距时，在图像显示单元21上显示作为输出图像的调整图像VHD11，该图像为显示设备11捕获的用户的手的图像。在这样的情况下，用户的手用作操作指令单元。

例如，调整图像VHD11是半透明地表示略早于当前时刻的时刻处的输入图像中用户手的区域的图像，或是仅表示该区域的轮廓的图像。

相应地，结果是向观看图像显示单元21的用户呈现经由图像显示单元21看到的用户的实际的手HD11，以及调整图像VHD11，其为略早时刻处的手HD11的图像。

此处，当用户可见的调整图像VHD11的位置与用户未正在移动手HD11的状态下手HD11的实际位置之间存在差距时，该差距量成为XY方向上的位置差距量。

如该图的右侧所示，当调整XY方向上的位置差距时，用户竖直和水平地移动手HD11，使得他/她的手HD11与调整图像VHD11重叠。之后，在确认手HD11已与调整图像VHD11重叠后，通过将手HD11保持静止某个时间，或经由音频或其他界面发出确认指令，用户向显示设备11通知XY方向上的位置差距调整的完成。换言之，用户确认该调整的完成。此处，例如可以设想用户经由另一界面对显示设备11进行实际的触摸操作，作为确认指令。

当用户进行这样的操作，同时调整XY方向上的位置差距时，基于由调整图像VHD11指示的用户的手的位置的移动量，显示设备11计算XY方向上的位置差距的修正量。

换言之，基于手从当由用户确认该调整时显示的调整图像VHD11中用户的手的位置至当开始调整处理时显示的调整图像VHD11中用户的手的位置的移动量，计算了调整图像VHD11中XY方向上位置差距的修正量。在这种情况下，结果是在与用户的手的实际移动方向相反的方向上修正(调整)了XY方向上的位置。

此外，此处尽管已说明了一个例子，其中在调整XY方向上的位置差距时用户竖直和水平地移动他/她的手，但也可以通过任何其他方法将修正量输入至显示设备11。

而且，如图5的左侧所示，当调整输出图像的比例(尺寸)差距时，在图像显示单元21上显示作为输出图像的调整图像VHD21，其是由显示设备11捕获的用户的手的图像。在这样的情况下，用户的手用作操作指令单元。例如，调整图像VHD21是半透明地表示略早于当前时刻的时刻处的输入图像中用户手的区域的图像，或是仅表示该区域的轮廓的图像。

注意，在图5中，同样的附图标记与对应于图4中部件的部件相联系，且将适当地省略其说明。

同样在以上例子中，用户能观看他/她的实际的手HD11和调整图像VHD21，该调整图像为略早时刻处的手HD11的图像。

此处，当用户可见的调整图像VHD21的尺寸与用户未正在移动手HD11的状态下实际的手HD11的尺寸之间存在差距时，这些尺寸之间的差异，即显示放大倍数之间的差异成为比例差距量。

当调整比例差距时，用户来回地移动手HD11，即在如该图右侧所示的深度方向上移动手HD11，使得他/她的手HD11与调整图像VHD21相重叠。之后，在确认手HD11已经与调整图像VHD21重叠后，通过将手HD11保持静止某个时间，或经由音频或其他界面发出确认指令，用户向显示设备11通知比例差距调整的完成。换言之，用户确认该调整的完成。

当用户进行这样的操作，同时调整该比例差距时，基于由调整图像VHD21指示的用户的手的尺寸的变化量，即显示放大倍数上的变化量，显示设备11计算比例差距的修正量。

换言之，基于从当由用户确认该调整时显示的调整图像VHD21中用户的手的尺寸至当开始调整处理时显示的调整图像VHD21中用户的手的尺寸的变化量，计算了调整图像VHD21中比例差距的修正量。在这种情况下，修正(调整)了显示比例，使得当用户将他/她的手移近以用于调整时，以减小的方式显示输出图像中的对象，而当用户将他/她的手移远以用于调整时，以放大的方式显示输出图像中的对象。

此外，此处尽管已说明了一个例子，其中在调整比例差距时用户来回地移动他/她的手，但也可以通过任何其他方法将修正量输入显示设备11。例如，如图6中所示，可以用过用户的手动操作，如手指合拢(pinch-in)或手指分开(pinch-out)，来进行比例差距的调整。注意，在图6中，同样的附图标记与对应于图5中部件的部件相联系，且将适当地省略其说明。

在本实例中，如该图的左侧所示，对于用户，调整图像VHD31被显示为看起来比他/她的手HD11大，且因此进行手指合拢操作，以调整比例差距，使得以减小的方式显示输出图像中的对象。相应地，如该图的右侧所示，以减小的方式显示调整图像VHD31，使其与用户的手HD11的实际尺寸同样大小。

同样在以上例子中，当用户将手HD11保持静止某个时间时，或经由音频或另一界面(显示设备11上的实际触摸操作)给出确认指令，确认完成了比例差距调节。此外，在本实例中，基于用户的手的特定部分(诸如拇指或食指)的移动量计算修正量。注意，当以放大的方式显示输出图像中的对象时，进行手指展开操作。

通过前述操作在显示设备11中进行输出图像中显示差距(诸如XY方向上的位置差距或比例差距)的调节。相应地，修正了显示设备11识别的对象的位置及尺寸与用户观看的增强显示空间中该对象的位置及尺寸之间的差距，使得用户能无压力地操作显示设备11。换言之，可能改善显示设备11的可操作性。

随后，结合图7，将说明上述调整处理的流程。注意，在图7中，同样的附图标记与对应于图3中部件的部件相联系，且将适当地省略其说明。

在图7的实例中，例如通过CPU53执行存储在ROM54中的程序，实施了确认单元81、图像剪取单元82、剪取单元83、短距离图像分离单元84、轮廓提取单元85、调整操作确认单元87、XY计算单元88、比例计算单元89、修正单元90L、修正单元90R、显示图像生成单元91L、以及显示图像生成单元91R。此外，例如通过RAM55实施了参考图像保存单元86。

注意，以下，当不必特别区分修正单元90L与修正单元90R时，也将把它们中的每一个简单地称为修正单元90，且当不必特别区分显示图像生成单元91L与显示图像生成单元91R时，也将把它们中的每一个简单地称为显示图像生成单元91。

在显示设备11中，首先由成像单元22捕获输入图像IP11，且从成像单元22获取的信息计算距离信息。随后，将输入图像IP11提供给图像剪取单元82，且将距离信息提供给剪取单元83。

此外，通过确认单元81，确认了指示一区域的尺寸与位置的调整尺寸与位置，在该区域中用户的手是调整处理中的检测目标，且确认了指示深度方向上的范围的距离，在该范围中用户的手是调整处理中的检测目标。然后，确认单元81将该调整尺寸与位置提供给图像剪取单元82和剪取单元83，且将该距离提供给短距离图像分离单元84。

此处，调整尺寸与位置为一区域的尺寸与位置，该区域包括其中可能在输入图像IP11中检测到用户的手的区域。例如，假定将在输入图像IP11的中心附近检测到用户的手。此外，其中用户的手为检测目标的距离是真实空间中的距离，或更具体地是从三维增强现实空间中的成像单元22至其中可能检测到用户的手的最远位置的距离。

图像剪取单元82剪取基于从确认单元81提供的调整尺寸与位置定义的输入图像IP11中的区域作为剪取图像CP11，且将该剪取图像CP11提供给短距离图像分离单元84。将基于该调整尺寸与位置从输入图像IP11剪取的该区域设为包括移动以调整显示差距的用户的手的区域。因此，剪取了输入图像IP11中相当大的区域。

此外，剪取单元83在从确认单元81提供的距离信息中剪取基于该调整尺寸与位置定义的区域作为距离图像DP11，且将距离图像DP11提供给短距离图像分离单元84。此处，假定由图像剪取单元82和剪取单元83剪取的区域为同一区域。在这样的情况下，该距离信息为指示至输入图像IP11中每个区域中对象的距离，且因此距离图像DP11变成指示至剪取图像CP11中每个区域中对象的距离的信息。

基于从确认单元81提供的该距离与从剪取单元83提供的距离图像DP11，短距离图像分离单元84提取剪取图像CP11中用户的手的区域作为短距离图像，且将该短距离图像提供给轮廓提取单元85。

例如，提取剪取图像CP11中的区域作为用户的手的区域，其中由距离图像DP11指示的距离比从确认单元81提供的距离短。更具体地，在真实空间中，从剪取图像CP11提取位置比由从确认单元81提供的距离确定的位置更靠近成像单元22的短距离对象的区域。

基于从短距离图像分离单元84提供的短距离图像，轮廓提取单元85提取该短距离图像中短距离对象的轮廓，且将该轮廓的图像用作调整图像VHD41。相应地，提取了用户的手的区域的轮廓。对于输入图像IP11的每个帧，轮廓提取单元85将以这种方式获取的调整图像VHD41提供给从调整操作确认单元87至修正单元90的部件。

此外，轮廓提取单元85提供给参考图像保存单元86，且促使其保存，在调整处理开始时获取的调整图像VHD41，作为当计算XY方向上的位置差距与比例差距的修正量时用作参考的调整图像。以下，也将要保存在参考图像保存单元86中的调整图像VHD41称为参考图像。在本实例中，将调整处理开始时获取的调整图像VHD41作为参考图像BHD41保存在参考图像保存单元86中。

基于从轮廓提取单元85提供的调整图像VHD41中用户的手的区域的变化，调整操作确认单元87确认用户是否已经进行了比例调节的操作，且将该确认结果提供给XY计算计算单元88以及比例计算单元89。

根据从调整操作确认单元87提供的该确认结果，基于从轮廓提取单元85提供的当前帧的调整图像VHD41与保存在参考图像保存单元86中的参考图像BHD41，XY计算单元88计算和提供给修正单元90L或修正单元90RXY方向上的位置差距的修正量。

根据从调整操作确认单元87提供的该确认结果，基于从轮廓提取单元85提供的当前帧的调整图像VHD41与保存在参考图像保存单元86中的参考图像BHD41，比例计算单元89计算和提供给修正单元90L或修正单元90R比例差距的修正量。比例计算单元89可以使用当前帧与紧接的之前帧的调整图像VHD41计算修正量。

基于从XY计算单元88提供的XY方向上的位置差距的修正量与从比例计算单元89提供的比例差距的修正量，修正单元90L修正从轮廓提取单元85提供的调整图像VHD41中的用户的手的区域的位置和尺寸(比例)，且将所得的调整图像VHD41L提供给显示图像生成单元91L。

基于从XY计算单元88提供的XY方向上的位置差距的修正量与从比例计算单元89提供的比例差距的修正量，修正单元90R修正从轮廓提取单元85提供的调整图像VHD41中的用户的手的区域的位置和尺寸，且将所得的调整图像VHD41R提供给显示图像生成单元91R。

显示图像生成单元91L生成其中在合适位置处显示从修正单元90L提供的调整图像VHD41L的输出图像OP11L，且也将获取的输出图像OP11L提供给图像显示单元21L，以供显示。

显示图像生成单元91R生成其中在合适位置处显示从修正单元90R提供的调整图像VHD41R的输出图像OP11R，且也将获取的输出图像OP11R提供给图像显示单元21R，以供显示。

通过重复前述的处理，显示设备11计算XY方向上的位置差距的修正量以及比例差距的修正量。

<调整处理的说明>

接下来，将更详细地说明以上说明的调整处理。以下，结合图8的流程图，将说明通过显示设备11的调整处理。

当例如用户操作显示设备11的预定操作单元时，操作显示在图像显示单元21上的虚拟图像的操作单元时，或手动进行预定的操作时，开始该调整处理。

在步骤S11处，显示设备11进行修正量计算处理，以计算XY方向上的位置差距的修正量，或用于右眼的比例差距的修正量，即要显示在图像显示单元21R上的输出图像中的修正量。

此处，结合图9的流程图，将说明修正量计算处理。

在步骤S41处，显示设备11获取短距离图像，以获取参考图像。

换言之，成像单元22捕获输出图像，且也输出至对象的距离信息。

图7的图像剪取单元82从成像单元22获取输入图像，在输入图像中剪取由从确认单元81提供的调整尺寸与位置定义的区域，且将获取的该剪取图像提供给短距离图像分离单元84。

此外，剪取单元83剪取由从确认单元81提供的调整尺寸与位置定义的距离信息的区域作为距离图像，且将该距离图像提供给短距离图像分离单元84。

基于从图像剪取单元82提供的剪取图像与从剪取单元83提供的距离图像，将从确认单元81提供的距离用作阈值，短距离图像分离单元84在该剪取图像中提取用户的手的区域，且将短距离图像提供给轮廓提取单元85。

在步骤S42处，轮廓提取单元85从由短距离图像分离单元84提供的短距离图像提取用户的手的区域的轮廓，且将该轮廓的图像提供给参考图像保存单元86，作为要保存在其中的参考图像。

此外，轮廓提取单元85将该获取的参考图像经由修正单元90提供给显示图像生成单元91。基于从轮廓提取单元85提供的该参考图像，显示图像生成单元91生成输出图像，且将该输出图像提供给图像显示单元21，以供显示。以这种方式显示在图像显示单元21上的输出图像是仅由初始的修正值修正的图像。

当显示该输出图像时，用户竖直地、水平地，或在深度方向上来回地移动他/她的手，同时观看图像显示单元21，使得他/她的手与显示在输出图像上的该手(调整图像)的轮廓重叠。由于对应于步骤S11的修正量计算处理计算用于右眼的修正量，用户移动他/她的手，同时观看图像显示单元21R。

在步骤S43处，显示设备11获取当前帧的短距离图像。换言之，进行了类似于步骤S41流程的流程。由此作为短距离图像获取了当前帧中的输入图像上的用户的手的区域的图像。

在步骤S44处，轮廓提取单元85从由短距离图像分离单元84提供的短距离图像提取用户的手的区域的轮廓，且将该轮廓的图像提供给从调整操作确认单元87至修正单元90的部件，作为调整图像。

在步骤S45处，调整操作确认单元确认用户是否已基于从轮廓提取单元85提供的几个最新的帧的调整图像进行比例调节的操作，且将确认结果提供给XY计算单元88与比例计算单元89。

在图5中所示的例子中，例如，当调整图像上的用户的手的区域的尺寸已随时间变化时，确认已进行比例调整的操作。此外，在图6所示的例子中，例如，调整操作确认单元87试图基于调整图像上特定部分(诸如用户的手的手指)的区域中的变化来检测手指合拢操作与手指分开操作，且当检测到这两个操作中之一时，确认已进行比例调节的操作。

当在步骤S45处确认已进行比例调节的操作时，过程流行进至步骤S46。

在步骤S46处，基于从轮廓提取单元85提供的当前帧的调整图像与参考图像保存单元86中保存的参考图像，比例计算单元89计算，且向修正单元90提供比例差距的修正量。

具体地，在图5中所示的例子中，例如，基于参考图像中用户的手的区域的尺寸与当前帧的调整图像中用户的手的区域的尺寸之间的比率，比例计算单元89计算比例差距的修正量。换言之，将当放大或减小参考图像中用户的手的区域而使得参考图像中用户的手的区域具有与调整图像中用户的手的区域相同的尺寸时的缩放比例用作比例差距的修正量。也可以设想计算当前帧的调整图像与领先当前帧若干帧(这些帧比参考图像的帧晚)的调整图像之间的用户的手的区域的尺寸的比率，且基于该计算的比率来更新比例差距的修正量。

此外，在图6中所示的例子中，例如，通过进一步将根据调整图像中特定部分(诸如用户的手)在预定帧之间移动量的修正量加到当前时间的比例差距修正量而获得的值被用作比例差距的新计算的修正量。换言之，当前的修正量被改变由手指在手指合拢或手指分开操作中的移动量确定的数量。

如这样描述的，基于互不相同的时点处的调整图像，比例计算单元89计算比例差距的修正量。在对应于步骤S11的修正量计算处理中，计算了用于右眼的修正量，且因此将步骤S46处获取的比例差距的修正量提供给修正单元90R。

在步骤S47处，基于从比例计算单元89提供的比例差距的修正量，修正单元90修正显示比例(显示尺寸)。

在对应于步骤S11的修正量计算处理中，例如，基于从比例计算单元89提供的比例差距的修正量，通过放大或减小从轮廓提取单元85提供的调整图像，修正单元90R修正该调整图像的显示比例，且将修正后的图像提供给显示图像生成单元91R。随后，过程流行进至步骤S50。

此外，当在步骤S45处确认还未进行比例调节的操作时，过程流行进至步骤48，因为用户尚未进行用于修正XY方向上的位置差距的操作。

在步骤S48处，基于从轮廓提取单元85提供的当前帧的调整图像与保存在参考图像保存单元86中的参考图像，XY计算单元88计算，且向修正单元90提供，XY方向上的位置差距的修正量。

在图4中所示的实例中，例如，基于参考图像中用户的手的区域的位置与当前帧的调整图像中用户的手的区域的位置之间XY方向上的距离，XY计算单元88计算XY方向上位置差距的修正量。换言之，将调整图像中用户的手的区域移动至参考图像中用户的手的区域时移动的方向与距离被用作XY方向上位置差距的修正量。也可以设想计算当前帧的调整图像与领先当前帧若干帧(这些帧比参考图像的帧晚)的调整图像之间的用户的手的区域的移动方向与数量，且基于该计算的移动方向与数量来更新XY方向上的位置差距的修正量。

如这样所述的，基于互不相同的时点处的调整图像，XY计算单元88计算XY方向上的位置差距的修正量。在对应于步骤S11的修正量计算处理中，计算了用于右眼的修正量，且因此将步骤S48处获取的XY方向上的位置差距的修正量提供给修正单元90R。

在步骤S49处，基于从XY计算单元88提供的XY方向上的位置差距的修正量，修正单元90修正XY方向上的显示位置。

在对应于步骤S11的修正量计算处理中，例如，基于从XY计算单元88提供的XY方向上的位置差距的修正量，通过在XY方向上移动从轮廓提取单元85提供的调整图像，修正单元90R修正该调整图像的显示位置，且将修正后的图像提供给显示图像生成单元91R。随后，过程流行进至步骤S50。

当在步骤S47处修正显示比例时，或在步骤S49处修正显示位置时，基于从修正单元90提供的调整图像，在步骤S50处，显示图像生成单元91生成和显示输出图像。换言之，经由总线58、图像显示处理单元56、以及图像输出单元57，显示图像生成单元91将生成的输出图像提供给图像显示单元21，以供显示。

相应地，将半透明地显示略早时间处的用户的手的图像，更具体地用户的手的轮廓的图像，作为输出图像显示。因此，用户能知晓显示差距修正后该手的轮廓是否与他/她的实际的手重叠，即是否已完全修正了显示差距。例如，在确认已修正显示差距后，用户将他/她的手保持静止(停止)一会儿，且确认调整操作的完成。

在步骤S51处，基于从轮廓提取单元85提供的若干最新帧的调整图像，调整操作确认单元87确认是否终止该处理。例如，当用户的手的区域在预定的时间内未移动时，确认已修正显示差距，且将终止该处理。

当在步骤S51处确认不终止该处理时，即尚未修正显示差距，过程流返回步骤S43，且重复进行前述处理。

相反地，当在步骤S51处确认将终止该处理时，终止修正量计算处理，且随后过程流行进至图8的步骤S12。

返回对图8的流程图的说明，当进行步骤S11的流程时，随后进行步骤S12的流程。

换言之，在步骤S12处，CPU53将由步骤S11的流程计算的XY方向上的位置差距的修正量或比例差距的修正量设为用于右眼的XY方向上的位置差距的修正量或比例差距的修正量，或换一种说法，将其设为用于修正在图像显示单元21R上显示且呈现给用户的右眼的图像的显示差距的修正量。

在步骤S13处，CPU53确认是否终止计算用于右眼的修正量的处理。

当例如已进行用于修正右眼的比例差距的操作后，用户随后在步骤S13的确认时刻进行用于修正右眼的XY方向上的位置差距的操作时，则确认不终止计算用于右眼的修正量的处理。

或者，当例如在已进行用于修正右眼的比例差距与XY方向上的差距的操作后，用户随后进行操作以开始修正左眼的显示差距时，确认终止计算用于右眼的修正量的处理。

当在步骤S13处确认不终止计算用于右眼的修正量的处理时，过程流返回至步骤S11，且重复进行前述的处理。

相反地，当在步骤S13确认终止计算用于右眼的修正量的处理时，过程流行进至步骤S14。

在步骤S14处，显示设备11进行修正量计算处理，以为左眼计算XY方向上的位置差距的修正量或比例差距的修正量，即要在图像显示单元21L上显示的输出图像中的修正量。

由于步骤S14处进行的修正量计算处理与结合图9说明的修正量计算处理类似，故将省略对其的说明。然而，步骤S14处进行的修正量计算处理计算将在图像显示单元21L而非图像显示单元21R上显示的输出图像的显示差距的修正量，且修正单元90L进行该修正。

换言之，在步骤S15处，CPU53将由步骤S14的流程计算的XY方向上的位置差距的修正量或比例差距的修正量设为用于左眼的XY方向上的位置差距的修正量或比例差距的修正量，或换一种说法，将其设为用于修正在图像显示单元21L上显示且呈现给用户的左眼的图像的显示差距的修正量。

在步骤S16处，CPU53确认是否终止该处理。

当例如在进行用于修正左眼的比例差距的操作后，用户随后在步骤S16的确认时刻进行否定的确认操作，或进行音频响应，反对该终止确认消息，则确认不终止该处理。

或者，当例如在进行用于修正左眼的比例差距以及XY方向上的差距的操作后，用户在某个时间内未进行任何操作，则确认终止该处理。

当在步骤S16处确认不终止该处理时，过程流返回至步骤S14，且重复执行前述处理。

相反地，当在步骤S16处确认将终止该处理时，过程流行进至步骤S17。

在步骤S17处，基于在前述处理中计算的左和右眼的显示差距的修正量，CPU53计算用于左和右眼球的修正量。

具体地，CPU53将根据左和右眼的视差的预定参考量定义的参考显示位置与尺寸修正在前述处理中分别为左和右眼计算的XY方向上的差距的修正量与比例差距的修正量，以便为左和右眼中的每一个获取眼球修正量。换言之，将XY方向上的差距的修正量加入到参考显示位置中，而参考尺寸被放大或减小比例差距的修正量。

该眼球修正量用于修正成像单元22的安装位置及焦距与用户的实际视点位置及焦距之间的差距。

当计算眼球修正量时，随后终止调整处理。

正如以上所述，显示设备11从输入图像提取用户的手的区域，以生成调整图像，且根据用户的操作计算来自每个时间的调整图像的显示差距修正量。相应地，适当地修正了由显示设备11识别的对象的位置及尺寸与由用户观看的增强现实空间中的对象的位置及尺寸之间的差距，且因此可能改善显示设备11的可操作性。

尽管已说明了其中接连进行用于右眼的修正量计算与用于左眼的修正量计算的例子，这些计算也可以同时并行进行，或是分别独立进行。

<触摸识别处理概述>

当如上所述计算了显示差距的修正量时，显示设备11显示其显示差距已被适当修正的虚拟图像，且根据用户的操作进行处理变得可能。以下，结合图10，将说明当用户对虚拟图像进行操作时由显示设备11进行的处理流。

注意，在图10中，同样的附图标记与对应于图7中部件的部件相联系，且将适当地省略其说明。

在图10的例子中，例如通过CPU53执行存储在ROM54中的程序，实施了确认单元81、图像剪取单元82、剪取单元83、短距离图像分离单元84、触摸坐标计算单元111、触摸修正单元112、触摸处理单元113、遮蔽生成单元114、遮蔽修正单元115L、遮蔽处理单元116L、显示位置修正单元117L、遮蔽修正单元115R、遮蔽处理单元116R、以及显示位置修正单元117R。

此外，以下，当无需特别区分遮蔽修正单元115L与遮蔽修正单元115R时，可以将它们中的每一个简单地称为遮蔽修正单元115。而且，以下，当无需特别区分显示位置修正单元117L与显示位置修正单元117R时，可以将它们中的每一个简单地称为显示位置修正单元115。

在图10的实例中，确认单元81确认通过在图像显示单元21L上显示而呈现给用户的左眼的虚拟图像V21L以及通过在图像显示单元21R上显示而呈现给用户的左眼的虚拟图像V21R。以下，当无需特别区分虚拟图像V21L与虚拟图像V21R时，可以将它们中的每一个简单地称为虚拟图像V21。

确认单元81确认虚拟图像V21R的显示位置、尺寸、以及距离。

此处，虚拟图像V21的显示位置与尺寸为输出图像上的位置与尺寸。进一步地，要显示的虚拟图像V21的距离为真实空间(或更具体地该三维增强现实空间)中从成像单元22至虚拟图像V21的距离。

确认单元81将确认的虚拟图像V21的显示位置与尺寸提供给图像剪取单元82与剪取单元83，且也将确认的虚拟图像V21的距离提供给短距离图像分离单元84。

此外，确认单元81将确认的虚拟图像V21L提供给遮蔽处理单元116L，且也将确认的虚拟图像V21R提供给遮蔽处理单元116R。

图像剪取单元82在输入图像IP21中剪取由从确认单元81提供的虚拟图像V21的显示位置与尺寸定义的区域作为剪取的图像CP21，且将剪取的图像CP21提供给短距离图像分离单元84。

图像剪取单元82剪取虚拟图像V21附近的区域作为剪取的图像CP21，且因此在例如用户对虚拟图像V21进行操作的情况下，剪取的图像CP21结果是包括用户的手的图像。

此外，剪取单元83在距离信息中剪取由从确认单元81提供的虚拟图像V21的显示位置与尺寸定义的区域作为距离图像DP21，且将该距离图像DP21提供给短距离图像分离单元84。此处，进行距离图像DP21的切出，使得距离图像DP21变为指示至剪取的图像CP21的每个区域中的对象的距离的信息。

基于从确认单元81提供的距离和从剪取单元83提供的距离图像DP21，短距离图像分离单元84在剪取图像CP21中提取位置比虚拟图像V21更靠近成像单元22的对象的区域，作为短距离图像。相应地，提取了操作虚拟图像V21的用户的手的区域作为短距离图像。

此外，短距离图像分离单元84将该短距离图像提供给遮蔽生成单元114，且也将该距离图像DP21提供给触摸坐标计算单元111。

基于从短距离图像分离单元84提供的距离图像DP21，触摸坐标计算单元111计算和向触摸修正单元112提供虚拟图像V21上用户触摸位置的坐标。

基于通过结合图8说明的调整处理而获取的用于左和右眼中的每一个的XY方向上的位置差距的修正量与比例差距的修正量，触摸修正单元112修正从触摸坐标计算单元111提供的触摸坐标的位置与尺寸，且将修正后的触摸坐标提供给触摸处理单元113。

触摸处理单元113使得显示设备11的每个部分根据从触摸修正单元112提供的坐标进行处理。

遮蔽生成单元遮蔽从短距离图像分离单元84提供的短距离图像作为遮蔽图像MK11，且将该遮蔽图像MK11提供给遮蔽修正单元115L与遮蔽修正单元115R。此处，遮蔽图像MK11为指示短距离图像中用户的手的区域(即位置比虚拟图像V21更靠近成像单元22的短距离对象的区域)的图像。

以下，将把遮蔽图像MK11中用户的手的区域，更具体地为位置比虚拟图像V21更靠近成像单元22的对象的区域，称为未遮蔽区域，其为未被遮蔽的区域。

基于通过结合图8说明的调整处理而获取的用于左眼的XY方向上的位置差距的修正量与比例差距的修正量，遮蔽修正单元115L修正从遮蔽生成单元114提供的遮蔽图像MK11中的未遮蔽区域的位置与尺寸。换言之，移动该未遮蔽区域该位置差距的修正量，且放大或减小该未遮蔽区域该比例差距的修正量。

遮蔽修正单元115L将通过修正遮蔽图像MK11而获取的遮蔽图像MK21L提供给遮蔽处理单元116L。

基于通过结合图8说明的调整处理而获取的用于左眼的XY方向上的位置差距的修正量与比例差距的修正量，遮蔽处理单元116L修正从确认单元81提供的虚拟图像V21L的位置与尺寸。

此外，遮蔽处理单元116L从其位置与尺寸已被修正的虚拟图像V21L去除从遮蔽修正单元115L提供的遮蔽图像MK21L的未遮蔽区域的部分，且将所得的虚拟图像V31L提供给显示位置修正单元117L。

以以上方式获取的虚拟图像V31L结果是从虚拟图像V21L中去除用户的手的区域的图像。换言之，虚拟图像V31L为通过对虚拟图像V21L中用户的手的部分的区域进行透明处理而获取的图像。

基于从遮蔽处理单元116L提供的虚拟图像V31L与通过结合图8说明的调整处理获取的左眼的眼球修正量，显示位置修正单元117L生成输出图像OP21L。输出图像OP21L结果是这样的图像：其具有在显示位置被显示为该图像中左眼的眼球修正量的虚拟图像V31L，且其具有等于左眼的眼球修正量的尺寸。

显示位置修正单元117L将以以上方式获取的输出图像OP21L提供给图像显示单元21L，以供显示。

基于通过结合图8说明的调整处理而获取的用于右眼的XY方向上的位置差距的修正量与比例差距的修正量，遮蔽修正单元115R修正从遮蔽生成单元114提供的遮蔽图像MK11中的未遮蔽区域的位置与尺寸。

遮蔽修正单元115R将通过修正遮蔽图像MK11而获取的遮蔽图像MK21R提供给遮蔽处理单元116R。

基于通过结合图8说明的调整处理而获取的用于右眼的XY方向上的位置差距的修正量与比例差距的修正量，遮蔽处理单元116R修正从确认单元81提供的虚拟图像V21R的位置与尺寸。

此外，遮蔽处理单元116R从其位置与尺寸已被修正的虚拟图像V21R去除从遮蔽修正单元115R提供的遮蔽图像MK21R的未遮蔽区域的部分，且将所得的虚拟图像V31R提供给显示位置修正单元117R。

基于从遮蔽处理单元116R提供的虚拟图像V31R与通过结合图8说明的调整处理获取的右眼的眼球修正量，显示位置修正单元117R生成输出图像OP21R。显示位置修正单元117R将以以上方式获取的输出图像OP21R提供给图像显示单元21R，以供显示。

<触摸识别处理的说明>

接下来，结合图11的流程图，将说明触摸识别处理，其中显示设备11显示输出图像，且也识别该虚拟图像的用户操作，以根据该操作进行处理。

在步骤S81处，确认单元81确认虚拟图像，以及该虚拟图像的尺寸、显示位置和距离。

确认单元81将所确认的虚拟图像的显示位置与尺寸提供给图像剪取单元82和剪取单元83，且将所确定的虚拟图像的距离提供给短距离图像分离单元84。此外，确认单元81将用于左眼的所确认虚拟图像提供给遮蔽处理单元116L，且也将用于右眼的所确认虚拟图像提供给遮蔽处理单元116R。

在步骤S82处，图像剪取单元82从由成像单元22经由相机输入单元51与相机处理单元52提供的输入图像剪取由从确认单元81提供的虚拟图像的显示位置与尺寸定义的区域。图像剪取单元82将从输入图像剪取的该区域的图像提供给短距离图像分离单元84，作为剪取图像。

在步骤S83处，显示设备11获取与剪取的图像区域对应的距离信息。

换言之，CPU53向短距离图像分离单元84提供由图像剪取单元82与剪取单元83剪取的图像、来自由成像单元22获取的图像的距离信息、以及基于由从确认单元81提供的虚拟图像的显示位置与尺寸定义的区域的距离信息。

当进行步骤S83的流程时，随后并行执行从步骤S84至步骤S86的流程，以及从步骤S87至步骤S88的流程。

在步骤S84处，基于从确认单元81提供的距离，通过从由图像剪取单元82提供的剪取图像提取短距离对象，短距离图像生成单元84生成和向遮蔽生成单元114提供短距离图像。此外，短距离图像分离单元84将该距离图像提供给触摸坐标计算单元111。

例如，通过检测距离图像中的像素(该像素的指示对象的距离的像素值大于指示从确认单元81提供的距离的值)，且将具有与所检测的像素相同的位置关系的剪取图像像素的像素值设置为0，短距离图像分离单元生成短距离图像。以这种方式获取的短距离图像结果是位置比虚拟图像更靠近成像单元的对象，即仅包括短距离对象的区域的图像。

在步骤S85处，遮蔽生成单元114对从短距离图像分离单元84提供的短距离图像进行遮蔽处理，且将所得的遮蔽图像提供给遮蔽修正单元115L和遮蔽修正单元115R。

例如，通过为短距离图像中具有0的像素值的像素设置1的新像素值，且为短距离图像中具有不为0的像素值的像素设置0的新像素值，遮蔽生成单元14生成遮蔽图像，该遮蔽图像具有短距离处的为未遮蔽区域(即用户的手的区域)的对象。在该遮蔽图像中，具有0值的像素区域结果是未遮蔽区域。

在步骤S86处，基于通过调整处理获取的XY方向上的位置差距的修正量以及比例差距的修正量，遮蔽修正单元修正和向遮蔽处理单元116提供从遮蔽生成单元114提供的遮蔽图像。

例如，遮蔽修正单元115L将遮蔽图像中的未遮蔽区域的位置移动用于左眼的XY方向上的位置差距的修正量，以及也将遮蔽图像中的未遮蔽区域放大或减小用于左眼的比例差距的修正量。

基于用于右眼的XY方向上的位置差距的修正量以及比例差距的修正量，遮蔽修正单元115R以与遮蔽修正单元115L的方式类似的方式修正遮蔽图像。

此外，在步骤S87处，基于从短距离图像分离单元84提供的距离图像，触摸坐标计算单元111计算和向触摸修正单元112提供虚拟图像上的用户的触摸坐标。

例如，触摸坐标计算单元111从距离图像中的各个区域提取区域，在该区域中，至由距离图像指示的对象的距离与至由确认单元81确认的虚拟图像的距离相同。之后，触摸坐标计算单元111将包括各个提取区域的单个区域的前边缘部分的区域定义为触摸位置的区域，且将该触摸位置的区域中各个位置的坐标的中值定义为触摸坐标。换言之，该流程从剪取图像中的各个区域提取在三维增强显示空间中处于虚拟图像的位置的对象的区域，且将所提取区域的位置定义为用户的触摸位置。

更具体地，也将指示包括触摸坐标的预定区域的信息提供给触摸修正单元112，作为触摸位置的信息。此外，取决于用户的触摸操作，由触摸坐标计算单元111计算(检测)的触摸坐标的数目可以是1或更多。

在步骤S88处，基于通过左和右眼中的每一个上的调整处理获取的XY方向上的位置差距的修正量以及比例差距的修正量，触摸修正单元112修正从触摸坐标计算单元111提供的触摸坐标。

换言之，通过为左眼将触摸坐标移动XY方向上的位置差距的修正量，以及为左眼放大或减小触摸位置的区域(触摸坐标)的尺寸，触摸修正单元112为左眼获取了触摸位置的区域以及触摸坐标。此外，触摸修正单元也进行与为左眼进行之流程类似的流程，以便为右眼获取触摸位置的区域与触摸坐标。

触摸修正单元112向触摸处理单元113提供以以上方式获取的用于左和右眼的触摸坐标与触摸位置的区域。

当进行了从步骤S86至步骤S88的流程时，基于从触摸修正单元112提供的触摸坐标或类似信息，在步骤S89处，触摸处理单元113使得显示设备11的每个部分根据用户的触摸操作来进行流程。

换言之，基于该触摸坐标或类似信息，触摸处理单元113确定用户是否已触摸诸如虚拟图像上的按钮的操作目标的区域。例如，通过将左和右眼中的每一个的触摸坐标的中值定义为由用户触摸的位置，或将用于左和右眼中的每一个的触摸位置的区域的重叠部分定义为由用户触摸的区域，触摸处理单元113确定是否已对任何操作目标进行操作。

也可以设想通过以加权方式合成用于左和右眼的触摸坐标来计算最后的触摸位置，通过仅使用左和右眼中之一的触摸坐标来计算最后的触摸位置，或是为左和右眼中的每一个进行确定触摸操作的处理，以从确定结果获取最终的确定结果。

根据上述的确定是否已经进行触摸操作的处理的结果，触摸处理单元113使得显示设备11的每个部分根据触摸操作进行处理。

例如，根据触摸操作的处理是图像显示、声音复现，等等。具体地，触摸处理单元113使得显示颜色被改变，诸如使得由用户触摸的虚拟图像的区域变亮，或使得由触摸操作指定的声音被复现。进一步地，可以通过发亮(flush)显示输出图像，或者改变虚拟图像的颜色。

在步骤S90处，使用从遮蔽修正单元115提供的遮蔽图像，遮蔽处理单元116对从确认单元81提供的虚拟图像进行遮蔽处理，且将遮蔽的虚拟图像提供给显示位置修正单元。

具体地，基于通过调整处理获取的用于左眼的XY方向上的位置差距的修正量与比例差距的修正量，遮蔽处理单元116L例如为左眼修正虚拟图像的位置与尺寸。之后，遮蔽处理单元116L将修正后的虚拟图像的各个像素的像素值与和前述像素处于相同位置关系的遮蔽图像的像素的像素值相乘，且将所得的图像定义为遮蔽的虚拟图像。

相应地，获取从原始虚拟图像中去除的、具有由遮蔽图像指示的未遮蔽区域(即用户的手的区域的部分)的图像，作为遮蔽的虚拟图像。

遮蔽处理单元116R进行与由遮蔽处理单元116L进行的流程类似的流程，以便为右眼生成遮蔽的虚拟图像。

在步骤S91处，基于从遮蔽处理单元116提供的虚拟图像以及通过调整处理获取的眼球修正量，显示位置修正单元117生成输出图像。

例如，显示位置修正单元117L生成和向图像显示单元21L提供输出图像，其中，在由用于左眼的眼球修正量定义的显示位置处显示虚拟图像，且其尺寸由用于左眼的眼球修正量确定。此外，显示位置修正单元117R也进行与由显示位置修正单元117L进行的流程类似的流程，以生成和向图像显示单元21R提供输出图像。

图像显示单元21L与图像显示单元21R显示从显示位置修正单元117L与显示位置修正单元117R提供的输出图像。

相应地，结果是在图像显示单元21上显示虚拟图像。此外，在虚拟图像中，在与用户的实际的手重叠的部分上，不会进行显示。换言之，从用户来看，用户的手与虚拟图像不重叠，且因此能将更容易观看的虚拟图像呈现给用户。

在步骤S92处，CPU53确定是否终止该处理。例如，当用户指令终止对虚拟图像的操作时，确认要终止该处理。

当在步骤S92处确认不终止该处理时，过程流返回步骤S81，且重复进行前述处理。

相反地，当在步骤S92处确认终止该处理时，终止触摸处理。

如以上已经所述的，基于作为调整处理的结果而获取的修正量，显示设备11修正虚拟图像的显示位置与尺寸或类似方面，且也检测由用户进行的触摸操作和根据该触摸操作进行处理。

以这种方式，基于至剪取图像的每个区域中对象的距离，通过使得在可选的位置处显示该虚拟图像和识别用于该虚拟图像的触摸操作，可能改善显示设备11的可操作性。

也即，由于不限制该虚拟图像的设置位置，能够由显示设备11实现具有更高自由度的用户界面。而且，通过提取具有与至虚拟图像的距离相同距离的对象区域和识别触摸操作，可能使用可选的一只(不限于手或脚)对该虚拟图像进行操作，以改善可操作性。

而且，使用预先计算的修正量，显示设备11修正虚拟图像的显示位置、尺寸、触摸坐标等，由此适当地修正了由显示设备11识别的对象的位置及尺寸与由用户观看的增强现实空间中对象的位置及尺寸之间的差距。相应地，可能改善显示设备11的可操作性。

具体地，在显示设备11中，由于为左边和右边图像(即为了两只眼睛)进行处理，用户易于具有至显示在增强现实空间中的虚拟图像的距离感，且不会在用于虚拟图像的操作中感觉压力。

<第一实施方式的示例性变例>

<显示设备的示例性构造>

此外，尽管以上已经说明了其中显示设备11具有如图3中所示的构造的实例，但显示设备11可以具有如图12中所示的构造。注意，在图12中，同样的附图标记与对应于图3或10中部件的部件相联系，且将适当地省略其说明。

图12中所示的显示设备11包括成像单元22、图像处理单元141、和图像显示处理单元142。

在本实例中，图像处理单元141与图像显示处理单元142相互连接，且显示设备11由该处理单元与程序实施。

图像处理单元141具有CPU151、ROM152、RAM153、通信IF(接口)154、相机输入单元51、相机处理单元52、图像剪取单元82、距离计算单元155、短距离图像分离单元84、遮蔽生成单元114、触摸坐标计算单元111、以及图像输出单元156。

CPU151控制由图像处理单元141进行的总体处理。

例如，通过执行存储在ROM152中的程序，CPU151实施确认单元81，且经由通信IF154与图像显示处理单元142交换各种控制信息，等等。此外，例如，在调整处理中，CPU151实施轮廓提取单元85，以及从调整操作确认单元87至比例计算单元89的部件。

ROM152存储诸如虚拟图像的各种图像、数据、程序，等等。RAM153暂时存储图像、各种数据、程序、等等。此外，在执行调整处理中，RAM153用作参考图像保存单元86。

根据CPU151进行的控制，通信IF154与图像显示处理单元142通信，以发送和接收各种控制信息，等等。

图像剪取单元82生成和向短距离图像分离单元84提供来自由成像单元22经由相机输入单元51与相机处理单元52提供的输入图像的剪取图像。对应于剪取单元83的距离计算单元155基于从成像单元22提供的信息计算距离信息，用于获取至对象的距离，且也从该距离信息生成距离图像，以及将该距离图像提供给短距离图像分离单元84。

基于来自图像剪取单元82的剪取图像与来自距离计算单元155的距离图像，短距离图像分离单元84生成和向遮蔽生成单元114提供短距离图像，且也将该距离图像提供给触摸坐标计算单元111。

遮蔽生成单元114从自短距离图像分离单元84获取的短距离图像生成遮蔽图像，且经由图像输出单元156将该遮蔽图像提供给图像显示处理单元142。触摸坐标计算单元111从自短距离图像分离单元84获取的距离图像计算触摸坐标，且经由通信IF154将触摸坐标提供给图像显示处理单元142。可以通过图像输出单元156将触摸坐标连同遮蔽图像提供给图像显示处理单元142。

图像输出单元156与图像显示处理单元142通信，以将自遮蔽生成单元114获取的遮蔽图像提供给图像显示处理单元142。此外，在执行调整处理中，图像输出单元156将由轮廓提取单元85获取的调整图像发送给图像显示处理单元142。

此外，图像显示处理单元142具有通信IF161、图像输入单元162、CPU163、ROM164、RAM165、图像显示处理单元56、图像输出单元57、总线166、图像显示单元21L、以及图像显示单元21R。

在图像显示处理单元142中，通信IF161、图像输入单元162、CPU163、ROM164、RAM165、图像显示处理单元56以及图像输出单元57通过总线相互连接。

通信IF161与通信IF154通信，以发送和接收各种控制信息或类似事项。图像输入单元162接收和向CPU163提供诸如来自图像输出单元156的遮蔽图像的各种图像。

CPU163控制由图像显示处理单元142进行的总体处理。

例如，通过执行存储在ROM164中的程序，CPU163实施触摸修正单元112、触摸处理单元113、遮蔽修正单元115、遮蔽处理单元116、以及显示位置修正单元117。此外，例如，通过在执行调整处理中执行程序，CPU163实施修正单元90与显示图像生成单元91。

ROM164存储各种图像、数据、程序、等等。RAM165临时存储图像、各种数据、程序、等等。

<第一实施方式的示例性变例2>

<显示设备的示例性构造>

而且，显示设备11可以具有如图13中所示的构造。注意，在图13中，同样的附图标记与对应于图12或10中部件的部件相联系，且将适当地省略其说明。

图13中所示的显示设备11具有成像单元22、CPU191、ROM192、RAM193、相机输入单元51、相机处理单元52、图像剪取单元82、距离计算单元155、短距离图像分离单元84、遮蔽生成单元114、触摸坐标计算单元111、遮蔽修正单元194、触摸修正单元112、触摸处理单元113、虚拟图像遮蔽处理单元195、虚拟图像显示位置修正单元196、图像显示处理单元56、图像输出单元57、图像显示单元21L、以及图像显示单元21R。

CPU191控制由显示设备11进行的总体处理。例如，在执行调整处理中，CPU191实施轮廓提取单元85、以及从调整操作确认单元87至显示图像生成单元91的部件。

ROM192存储诸如虚拟图像的各种图像、数据、程序、等等。RAM193暂时存储图像、各种数据、程序、等等。此外，例如在执行调整处理中RAM193用作参考图像保存单元86。

遮蔽修正单元194用作图10中示出的遮蔽修正单元115L和遮蔽修正单元115R，以修正和向虚拟图像遮蔽处理单元195提供从遮蔽生成单元114提供的遮蔽图像。

触摸修正单元112修正和向触摸处理单元113提供从触摸坐标计算单元111提供的触摸坐标，且触摸处理单元113基于从触摸修正单元112提供的触摸坐标进行触摸处理。

虚拟图像遮蔽处理单元195用作图10中示出的遮蔽处理单元116L与遮蔽处理单元116R，以基于从遮蔽修正单元194提供的遮蔽图像对虚拟图像进行遮蔽处理，且将遮蔽的虚拟图像提供给虚拟图像显示位置修正单元196。

虚拟图像显示位置修正单元用作图10的显示位置修正单元117L与显示位置修正单元117R，以基于从虚拟图像遮蔽处理单元195提供的虚拟图像生成和向图像显示处理单元56提供用于左和右眼的输出图像。

也可以设想在调整处理中通过遮蔽修正单元194实施图7中所示的修正单元90，且通过虚拟图像显示位置修正单元196实施图7中所示的显示图像生成单元91。

<第二实施方式><显示设备的外观的示例性构造>

此外，尽管以上已经说明了其中在显示设备11中设置单个成像单元22的实例，也可以在显示设备的左和右侧分别设置成像单元。

在这样的情况下，例如，如图14中所示来配置显示设备的外观。注意，在图14中，同样的附图标记与对应于图1中部件的部件相联系，且将适当地省略其说明。

例如，如图14的上部所示，在显示设备231的背侧设置图像显示单元21L与图像显示单元21R。

此外，如该图的下部所示，在图像显示单元21L与图像显示单元21R附近，在显示设备231的前侧分别设置成像单元241L与成像单元241R。

换言之，在该图中位于图像显示单元21L的上部的成像单元241L捕获对应于用户的左眼看到的视场的输入图像。此外，在该图中位于图像显示单元21R的上部的成像单元241R捕获对应于用户的右眼看到的视场的输入图像。注意，以下，当不必特别区分成像单元241L与成像单元241R时，也可以将它们中的每一个简单地称为成像单元241。

此外，设置有成像单元241L与成像单元241R的位置可以是任何位置，只要该位置靠近图像显示单元21L与图像显示单元21R(即用户的视点附近的位置)。

例如，如图15的下部所示，在该图中成像单元241L可以位于图像显示单元21L的右侧，且在该图中成像单元241R可以位于图像显示单元21R的左侧。

注意，在图15中，同样的附图标记与对应于图14中部件的部件相联系，且将适当地省略其说明。此外，在图15中，其上部示出从背侧所见的显示设备231，且其下部示出从前侧所见的显示设备231。

<显示设备的示例性构造>

接下来，将说明图14或图15中所示的显示设备231的具体构造。图16为示出显示设备231的示例性构造的图。注意，在图16中，同样的附图标记与对应于图3或图14中部件的部件相联系，且将适当地省略其说明。

显示设备231包括成像单元241L、成像单元241R、相机输入单元51、相机处理单元52、CPU53、ROM54、RAM55、图像显示处理单元56、图像输出单元57、总线58、图像显示单元21L、以及图像显示单元21R。

显示设备231的构造不同于显示设备11的构造，在于设置了成像单元241L与成像单元241R，代替了显示设备11的成像单元22，该构造的其余部分与显示设备11的构造相同。

在显示设备231中，使用由成像单元241L获取的输入图像与由成像单元241R获取的输入图像，CPU53进行处理。

<调整处理概述>

接下来，将说明由显示设备231进行的处理。

首先，结合图17，将说明由显示设备231进行的调整过程流。注意，在图17中，同样的附图标记与对应于图7中部件的部件相联系，且将适当地省略其说明。

在图17的例子中，例如通过CPU53执行存储在ROM54中的程序，实施了确认单元271L、确认单元271R、图像剪取单元272L、图像剪取单元272R、距离计算单元273、短距离图像分离单元274、轮廓提取单元85、调整操作确认单元87、XY计算单元88、比例计算单元89、修正单元90L、修正单元90R、显示图像生成单元91L、以及显示图像生成单元91R。此外，例如，由RAM55实施参考图像保存单元86。

注意，以下，当不必特别区分确认单元271L与确认单元271R时，也可以将它们中的每一个简单地称为确认单元271。此外，当不必特别区分图像剪取单元272L与图像剪取单元272R时，也可以将它们中的每一个简单地称为图像剪取单元272。

在显示设备231中，成像单元241L首先捕获和向图像剪取单元272L提供用于左眼的输入图像IP31L，且成像单元241R捕获和向图像剪取单元272R提供用于右眼的输入图像IP31R。

此外，确认单元271L确认指示用于左眼的区域的尺寸与位置的调整尺寸与位置(在调整处理中将在该区域中检测到用户的手)，以及指示用于左眼的深度方向上的范围的距离(在调整处理中将在该范围中检测到用户的手)。之后确认单元271L将该调整尺寸与位置提供给图像剪取单元272L，以及将该距离提供给短距离图像分离单元274。

类似地，确认单元271R确认指示用于右眼的区域的尺寸与位置的调整尺寸与位置(在调整处理中将在该区域中检测到用户的手)，以及指示用于右眼的深度方向上的范围的距离(在调整处理中将在该范围中检测到用户的手)。之后确认单元271R将该调整尺寸与位置提供给图像剪取单元272R，以及将该距离提供给短距离图像分离单元274。

图像剪取单元272L在输入图像IP31L中剪取由从确认单元271L提供的调整尺寸与位置定义的区域作为剪取图像CP31L，且将剪取图像CP31L提供给距离计算单元273以及短距离图像分离单元274。

类似地，图像剪取单元272R在输入图像IP31R中剪取由从确认单元271R提供的调整尺寸与位置定义的区域作为剪取图像CP31R，且将剪取图像CP31R提供给距离计算单元273以及短距离图像分离单元274。

通过在来自图像剪取单元272L的剪取图像CP31L与来自图像剪取单元272R的剪取图像CP31R之间进行立体匹配或类似操作，距离计算单元273为剪取图像的每个区域计算视差。然后，距离计算单元273将为每个区域计算的视差确定的距离定义为至剪取图像中每个区域中对象的距离，且将指示该距离的距离图像提供给短距离图像分离单元274，作为至对象的距离计算的结果。

通过基于从确认单元271提供的距离与从距离计算单元273提供的距离图像而在从图像剪取单元272提供的剪取图像中提取短距离对象的区域作为用户的手的区域，短距离图像分离单元274生成和向距离提取单元85提供短距离图像。

例如，也当调整用于用户的左和右眼中的任一个的显示差距时，短距离图像分离单元274使用由确认单元271L或确认单元271R中之一确认的距离，以及使用剪取图像CP31L与剪取图像CP31R中之一。

当以上述方式获取短距离图像时，从轮廓提取单元85至显示图像生成单元91的部件随后进行与结合图7说明的流程类似的流程。

换言之，通过基于从短距离图像分离单元274提供的短距离图像进行轮廓提取，轮廓提取单元85生成和向从调整操作确认单元87至修正单元90的部件提供调整图像VHD51。此外，将调整处理开始时获取的调整图像VHD51保存在参考图像保存单元86中，作为参考图像。在本实例中，将调整处理开始时获取的调整图像VHD51保存在参考图像保存单元86中，作为参考图像BHD51。

而且，调整操作确认单元87确认是否已进行用于比例调整的操作，且XY计算单元88或比例计算单元89根据确认结果计算修正量。

此外，修正单元90L与修正单元90R分别将调整图像VHD51修正为调整图像VHD51L与调整图像VHD51R。而且，输出图像OP31L与输出图像OP31R由显示图像生成单元91L与显示图像生成单元91R从调整图像VHD51L与调整图像VHD51R生成，且在图像显示单元21上显示。

<调整处理的说明>

接下来，将更详细地说明结合图17说明的调整处理。以下，结合图18的流程图，将说明通过显示设备231的调整处理。

在步骤S121处，显示设备231进行修正量计算处理，以计算用于右眼的XY方向上的位置差距的修正量或比例差距的修正量，即要在图像显示单元21R上显示的输出图像中的修正量。

此处，结合图19的流程图，将说明修正量计算处理。

在步骤S151处，显示设备231获取短距离图像，以获取参考图像。

换言之，成像单元241捕获输出图像，并将其提供给图像剪取单元272。图像剪取单元272在输入图像中剪取由从确认单元271提供的调整尺寸与位置定义的区域作为剪取图像，且将该剪取图像提供给距离计算单元273与短距离图像分离单元274。

通过基于从左和右图像剪取单元272中的每一个提供的剪取图像进行立体匹配或类似处理，距离计算单元273为剪取图像的每个区域计算视差，且从计算的视差生成距离图像和将该距离图像提供给短距离图像分离单元274。

基于从确认单元271提供的距离与从距离计算单元273提供的距离图像，短距离图像分离单元274在从图像剪取单元272提供的剪取图像中提取用户的手的区域作为短距离图像，且将该短距离图像提供给轮廓提取单元85。具体地，短距离图像分离单元274在剪取图像中提取其中由该距离图像指示的距离短于从确认单元271提供的距离的区域作为用户的手的区域。

当以以上方式获取短距离图像时，随后进行从步骤S152至步骤S161的流程，且终止修正量计算处理，将省略对上述流程的说明，因为该流程与图9中的从步骤S42至步骤S51的流程类似。然而，在步骤S153处，与步骤S151的情形类似，从由图像剪取单元272获取的剪取图像中生成短距离图像。换言之，在步骤S153处进行与步骤S151的流程类似的流程。

当终止修正量计算处理时，过程流随后行进至图18的步骤S122。

返回对图18的流程图的说明，在步骤S122处，CPU53将在步骤S121的流程中计算的XY方向上的位置差距的修正量或比例差距的修正量设为用于右眼的XY方向上的修正量或比例差距的修正量。

随后，进行从步骤S123至S127的流程，且终止调整处理，且将省略对其的说明，因为这些流程类似于图8的从步骤S13至步骤S17的流程。然而，在步骤S124处，进行与结合图19说明的修正量计算处理类似的处理。

如以上所述，显示设备231从输入图像提取用户的手的区域，以生成调整图像，且根据用户的操作而从每个时间处的调整图像计算显示差距的修正量。相应地，适当地修正了由显示设备231识别的对象的位置及尺寸与由用户观看的增强现实空间中的对象的位置及尺寸之间的差距，且因此可能改善显示设备231的可操作性。

尽管此处已说明了其中接连进行用于右眼的修正量计算与用于左眼的修正量计算的例子，这些计算可以同时并行进行。

<触摸识别处理的概述>

随后，结合图20，将说明由显示设备231进行的触摸识别处理流程。

注意，在图20中，同样的附图标记与对应于图10或图17中部件的部件相联系，且将适当地省略其说明。

在图20的例子中，例如通过CPU53执行存储在ROM54中的程序来实施确认单元271L与确认单元271R、图像剪取单元272L与图像剪取单元272R、距离计算单元273、短距离图像分离单元274、触摸坐标计算单元111、触摸修正单元112、触摸处理单元113、遮蔽生成单元114、遮蔽修正单元115L、遮蔽处理单元116L、显示位置修正单元117L、遮蔽修正单元115R、遮蔽处理单元116R、以及显示位置修正单元117R。

在显示设备231中，确认单元271L与确认单元271R首先确认和向遮蔽处理单元116L与遮蔽处理单元116R提供要在图像显示单元21L上显示的虚拟图像V41L和要在图像显示单元21R上显示的虚拟图像V41R。注意，以下，当不必特别区分虚拟图像V41L与虚拟图像V41R时，可以将它们中的每一个简单地称为虚拟图像V41。

此外，确认单元271L确认虚拟图像V41L的显示位置、尺寸与距离，将确认的显示位置与尺寸提供给图像剪取单元272L，且将确认的距离提供给短距离图像分离单元274。

类似地，确认单元271R确认虚拟图像V41R的显示位置、尺寸与距离，将确认的显示位置与尺寸提供给图像剪取单元272R，且将确认的距离提供给短距离图像分离单元274。

图像剪取单元272L在输入图像IP41L中剪取由从确认单元271L提供的显示位置和尺寸定义的区域作为剪取图像CP41L，且将剪取图像CP41L提供给距离计算单元273与短距离图像分离单元274。类似地，图像剪取单元272R在输入图像IP41R中剪取由从确认单元271R提供的显示位置和尺寸定义的区域作为剪取图像CP41R，且将剪取图像CP41R提供给距离计算单元273与短距离图像分离单元274。

通过基于剪取图像CP41L与剪取图像CP41R进行立体匹配或类似处理，距离计算单元273生成距离图像，且将该距离图像提供给短距离图像分离单元274。

基于从确认单元271提供的距离与从距离计算单元273提供的距离图像，短距离图像分离单元274从由图像剪取单元272提供的剪取图像生成短距离图像，将该短距离图像提供给遮蔽生成单元114，且也将该距离图像提供给触摸坐标计算单元111。

此外，基于从短距离图像分离单元274提供的距离图像，触摸坐标计算单元111计算虚拟图像V41上的用户触摸位置的坐标，且将该坐标提供给触摸修正单元112。基于通过结合图18说明的调整处理获取的用于左和右眼中的每一个的XY方向上的位置差距的修正量以及比例差距的修正量，触摸修正单元112修正和向触摸处理单元113提供来自触摸坐标计算单元111的触摸坐标的位置与尺寸。

触摸处理单元113使得显示设备231的每个部分根据从触摸修正单元112提供的触摸位置的坐标进行处理。

遮蔽生成单元114遮蔽从短距离图像分离单元274提供的短距离图像作为遮蔽图像MK41，且将遮蔽图像MK41提供给遮蔽修正单元115L和遮蔽修正单元115R。

尽管可以为左和右眼中的每一个生成遮蔽图像，在随后的阶段由遮蔽修正单元115修正该遮蔽图像，且从而即使将同样的遮蔽图像用于左和右眼，在将去除用户的手的区域中，看起来左和右输出图像之间几乎没有差距。此外，为左和右眼使用相同的遮蔽图像能计算处理量。

基于通过结合图18说明的调整处理获取的用于左眼的XY方向上的位置差距的修正量与比例差距的修正量，遮蔽修正单元115L修正遮蔽图像MK41，将所得的遮蔽图像MK51L提供给遮蔽处理单元116L。

基于通过结合图18说明的调整处理获取的用于左眼的XY方向上的位置差距的修正量与比例差距的修正量，遮蔽处理单元116L修正虚拟图像V41L的位置和尺寸。

此外，遮蔽处理单元116L从其位置与尺寸已被修正的虚拟图像V41L去除遮蔽图像MK51L的未遮蔽区域的部分，且将所得的虚拟图像V51L提供给显示位置修正单元117L。

基于虚拟图像V51L以及通过结合图18说明的调整处理获取的用于左眼的眼球修正量，显示位置修正单元117L生成和向图像显示单元21L提供输出图像OP41L。

基于通过结合图18说明的调整处理获取的用于右眼的XY方向上的位置差距的修正量与比例差距的修正量，遮蔽修正单元115R修正遮蔽图像MK41，将所得的遮蔽图像MK51R提供给遮蔽处理单元116R。

基于通过结合图18说明的调整处理获取的用于右眼的XY方向上的位置差距的修正量与比例差距的修正量，遮蔽处理单元116R修正虚拟图像V41R的位置和尺寸。

此外，遮蔽处理单元116R从其位置与尺寸已被修正的虚拟图像V41R去除遮蔽图像MK51R的未遮蔽区域的部分，且将所得的虚拟图像V51R提供给显示位置修正单元117R。

基于虚拟图像V51R以及通过结合图18说明的调整处理获取的用于右眼的眼球修正量，显示位置修正单元117R生成和向图像显示单元21R提供输出图像OP41R。

<触摸识别处理的说明>

接下来，将结合图21的流程图说明由显示设备231进行的触摸识别处理。

在步骤S191处，确认单元271确认虚拟图像以及该虚拟图像的尺寸、显示位置与距离。

换言之，确认单元271确认虚拟图像，且将其提供给遮蔽处理单元116。此外，确认单元271确认该虚拟图像的显示位置、尺寸及距离，将确认的显示位置与尺寸提供给图像剪取单元272，且将确认的距离提供给短距离图像分离单元274。

在步骤S192处，图像剪取单元272在从成像单元241提供的输入图像中剪取由从确认单元271提供的显示位置与尺寸定义的区域作为剪取图像，且将该剪取图像提供给距离计算单元273与短距离图像分离单元274。

在步骤S193处，基于从图像剪取单元272提供的用于左和右眼的剪取图像，通过执行立体匹配或类似操作，距离计算单元273生成距离图像，且将该距离图像提供给短距离图像分离单元274。

当进行了步骤S193的流程时，随后并行地进行从步骤S194至步骤S196的流程以及从步骤S197至步骤S198的流程。

在步骤S194处，基于从确认单元271提供的距离与从距离计算单元273提供的距离图像，通过从图像剪取单元272提供的剪取图像提取短距离对象，短距离图像分离单元274生成短距离图像。

当获取了该短距离图像时，随后进行从步骤S195至步骤S202的流程，且终止触摸处理，将省略对该流程的说明，因为其类似于图11的从步骤S85至步骤S92的流程。

如以上所述，基于作为调整处理的结果而获取的修正量，显示设备231修正了虚拟图像的显示位置与尺寸等，且也检测了由用户进行的触摸操作和根据该触摸操作进行处理。

以这种方式，通过使得在可选的位置显示该虚拟图像和根据至剪取图像的每个区域中的对象的距离来识别用于该虚拟图像的触摸操作，可能改善显示设备11的可操作性。此外，可能通过修正显示差距而进一步改善可操作性。

<第二实施方式的示例性变例1>

<显示设备的示例性构造>

此外，以上尽管已说明了其中显示设备231具有如图16中所示的构造的例子，显示设备231可以具有如图22中所示的构造。注意，在图22中，同样的附图标记与对应于图12、16或20中部件的部件相联系，且将适当地省略其说明。

图22中所示的显示设备231包括成像单元241L、成像单元241R、图像处理单元301、以及图像显示处理单元302。

在本实例中，图像处理单元301与图像显示处理单元302相互连接，且通过该处理单元与程序来实施显示设备231。

图像处理单元301具有CPU151、ROM152、RAM153、通信IF154、相机输入单元51、相机处理单元52、剪取单元311、距离计算单元273、短距离图像分离单元274、遮蔽生成单元114、触摸坐标计算单元111、以及图像输出单元156。

由两个成像单元241将输入图像提供给相机输入单元51。此外，在调整处理中，通过执行存储在ROM152中的程序，CPU151实施确认单元271，或实施轮廓提取单元85以及从调整操作确认单元87至比例计算单元89的部件。而且，剪取单元311用作图像剪取单元272L和图像剪取单元272R。

此外，图像显示处理单元302具有通信IF161、图像输入单元162、CPU163、ROM164、RAM165、图像显示处理单元56、图像输出单元57、总线166、图像显示单元21L、以及图像显示单元21R。

在该例子中，通过执行存储在ROM164中程序，CPU163实施触摸修正单元112、触摸处理单元113、遮蔽修正单元115、遮蔽处理单元116、以及显示位置修正单元117。此外，例如，通过在执行调整处理中执行程序，CPU163实施修正单元90与显示图像生成单元91。

<第二实施方式的示例性变例2>

<显示设备的示例性变例>

而且，显示设备231可以具有如图23中所示的构造。注意，在图23中，同样的附图标记与对应于图13、20、或22中部件的部件相联系，且将适当地省略其说明。

图23中所示的显示设备231具有成像单元241L与成像单元241R、CPU191、ROM192、RAM193、相机输入单元51、相机处理单元52、剪取单元311、距离计算单元273、短距离图像分离单元274、遮蔽生成单元114、触摸坐标计算单元111、遮蔽修正单元194、触摸修正单元112、触摸处理单元113、虚拟图像遮蔽处理单元195、虚拟图像显示位置修正单元196、图像显示处理单元56、图像输出单元57、图像显示单元21L、以及图像显示单元21R。

在本实例中，在执行调整处理中，通过执行存储在ROM192中的程序，CPU191实施轮廓提取单元85以及从调整操作确认单元87至显示图像生成单元91的部件。此外，例如，在执行调整处理中，RAM193用作参考图像保存单元86。

此外，遮蔽修正单元194用作如图20中所示的遮蔽修正单元115L与遮蔽修正单元115R。虚拟图像遮蔽处理单元195用作图20中所示的遮蔽处理单元116L与遮蔽处理单元116R，且虚拟图像显示位置修正单元196用作图20中的显示位置修正单元117L与显示位置修正单元117R。

可通过硬件，但也可通过软件执行上述的系列流程。当通过软件执行该系列流程时，构成这样的软件的程序被安装入计算机。此处，表述“计算机”包括集成有专用硬件的计算机，与当安装了各种程序时能执行各种功能的通用计算机，等等。

图24为示出根据程序执行早前所述的系列流程的计算机硬件的示例性构造的框图。

在计算机中，CPU501、ROM502、与RAM503通过总线504互连。

输入/输出接口505也连接到总线504。输入单元506、输出单元507、记录单元508、通信单元509、以及驱动器510连接到输入/输出接口505。

从键盘、鼠标、麦克风、成像装置等等配置输入单元506。从显示器、扬声器等配置输出单元507。从硬盘、非易失性存储器等配置记录单元508。从网络接口等配置通信单元509。驱动器510驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移除介质511。

在如上述配置的计算机中，作为一个例子CPU501经由输入/输出接口505以及总线504将存储在记录单元508中的程序装入RAM503，且执行该程序以实现先前所述的系列流程。

作为一个例子，可以通过将其记录在可移除介质511上作为包装介质，等等，来提供由计算机(CPU501)执行的该程序。也可以经由有线的或无线的传输介质，诸如局域网、互联网、或数字卫星广播，来提供该程序。

在该计算机中，通过将可移除介质511装入驱动器510，可以经由输入/输出接口505将该程序安装至记录单元508中。也可能使用通信单元509从有线的或无线的传输介质接收该程序，且将该程序安装至记录单元508中。作为另一替代例子，可以事先将该程序安装至ROM502或记录单元508中。

注意，由该计算机执行的该程序可以是其中以按照本说明书中所述的次序的时间序列进行各流程的程序，或可以是其中诸如当调用这些流程时并行地进行或是在必要时刻进行这些流程的程序。

本公开的实施方式不限于上述的实施方式，且可以进行各种变更和修改，而不脱离本公开的范围。

例如，本技术能采取云计算构造，其通过经网络在多个设备之间分配和连接一个功能而进行处理。

进一步地，可以通过一个设备或通过分配多个设备来执行通过上述流程图说明的每个步骤。

此外，在其中将多个过程包括于一个步骤中的情况下，可以通过一个设备或通过分配多个设备来执行包括在这一个步骤中的该多个过程。

以上说明书中所述的效果仅仅是说明性的或示例性的效果，且不是限制性的，且可以产生其他效果。

此外，也可以如下配置本技术。

(1)一种图像处理设备，包括：

生成单元，其配置为，基于由设置在用户的视点附近的成像单元捕获的输入图像，与指示至所述输入图像的每个区域中对象的距离的距离信息，而生成图像，所述图像指示所述输入图像中的、在真实空间中其位置比预定距离更靠近所述成像单元的对象；

图像显示单元，其配置为显示所述图像，使得允许所述用户经由显示屏观看所述对象；以及

修正量计算单元，其配置为，基于互不相同的时点处的所述图像，计算用于修正将在所述图像显示单元上显示的图像的显示位置或显示尺寸的修正量。

(2)根据(1)的图像处理设备，其中，基于所述图像中短距离对象的移动量，所述修正量计算单元计算用于修正所述显示位置的修正量，所述短距离对象是位置比所述预定距离更靠近所述成像单元的所述对象。

(3)根据(2)的图像处理设备，其中，在其中在所述图像显示单元上显示作为参考的所述图像或是显示经过所述修正量修正、且在作为参考的所述图像之后的图像的状态下，基于在所述用户移动操作指令单元使得作为所述短距离对象的操作指令单元和正在显示的所述图像上的操作指令单元重叠时捕获的图像与作为参考的所述图像或在作为参考的所述图像之后的所述图像之间的所述操作指令单元的移动量，所述修正量计算单元计算所述修正量。

(4)根据(1)的图像处理设备，其中，基于所述图像中短距离对象的尺寸变化，所述修正量计算单元计算用于修正所述显示尺寸的修正量，所述短距离对象是位置比所述预定距离更靠近所述成像单元的所述对象。

(5)根据(4)的图像处理设备，其中，在其中在所述图像显示单元上显示作为参考的所述图像或是显示经过所述修正量修正、且在作为参考的所述图像之后的图像的状态下，基于在所述用户移动操作指令单元使得作为所述短距离对象的操作指令单元具有和在被显示的所述图像上的操作指令单元相同的尺寸时捕获的图像与作为参考的所述图像之间的所述操作指令单元的尺寸变化，所述修正量计算单元计算所述修正量。

(6)根据(1)的图像处理设备，其中，基于所述图像中短距离对象的特定部分的移动量，所述修正量计算单元计算用于修正所述显示尺寸的修正量，所述短距离对象是位置比所述预定距离更靠近所述成像单元的所述对象。

(7)根据(1)至(6)中任一项的图像处理设备，

其中所述图像显示单元进一步显示将由所述用户操作的虚拟图像，且

其中所述图像处理设备还包括修正单元，所述修正单元配置为基于所述修正量来修正所述虚拟图像的显示位置或显示尺寸。

(8)根据(7)的图像处理设备，还包括：

遮蔽生成单元，其配置为生成指示未遮蔽区域的遮蔽图像，所述未遮蔽区域是空间中其位置比所述虚拟图像的距离更靠近所述成像单元的对象的区域；

遮蔽修正单元，其配置为基于所述修正量来修正所述遮蔽图像中所述未遮蔽区域的位置或尺寸；以及

遮蔽处理单元，其配置为基于由所述遮蔽修正单元修正的所述遮蔽图像与所述修正量，通过对所述虚拟图像进行透明处理，将所述未遮蔽区域从所述虚拟图像中去除，

其中所述图像显示单元显示受到所述透明处理的所述虚拟图像。

(9)根据(7)或(8)的图像处理设备，还包括：

操作修正单元，其配置为基于所述修正量来修正由所述用户操作的所述虚拟图像上的位置。

(10)根据(1)至(9)中任一项的图像处理设备，

其中为所述用户的左和右眼中的每一个设置所述图像显示单元，且

其中所述修正量计算单元为所述用户的左和右眼中的每一个计算所述修正量。

(11)一种图像处理方法，包括：

基于由设置在用户的视点附近的成像单元捕获的输入图像，与指示至所述输入图像的每个区域中对象的距离的距离信息，而生成图像，所述图像指示所述输入图像中的、在真实空间中其位置比预定距离更靠近所述成像单元的对象；

在图像显示单元上显示所述图像，使得允许所述用户经由显示屏观看所述对象；以及

基于互不相同的时点处的所述图像，计算用于修正将在所述图像显示单元上显示的图像的显示位置或显示尺寸的修正量。

(12)一种程序，其使得计算机进行包括以下步骤的处理：

基于由设置在用户的视点附近的成像单元捕获的输入图像，与指示至所述输入图像的每个区域中对象的距离的距离信息，而生成图像，所述图像指示所述输入图像中的、在真实空间中其位置比预定距离更靠近所述成像单元的对象；

在图像显示单元上显示所述图像，使得允许所述用户经由显示屏观看所述对象；以及

基于互不相同的时点处的所述图像，计算用于修正将在所述图像显示单元上显示的图像的显示位置或显示尺寸的修正量。

附图标记清单

11显示设备

21L、21R、21图像显示单元

22成像单元

53CPU

82图像剪取单元

83剪取单元

84短距离图像分离单元

85轮廓提取单元

87调整操作确认单元

88XY计算单元

89比例计算单元

90L、90R、90修正单元

111触摸坐标计算单元

112触摸修正单元

115L、115R、115遮蔽修正单元

116L、116R、116遮蔽处理单元

117L、117R、117显示位置修正单元

272L、272R、272图像剪取单元

273距离计算单元

274短距离图像分离单元。

Claims (12)

1.一种图像处理设备，包括：

生成单元，其配置为，基于由设置在用户的视点附近的成像单元捕获的输入图像与指示至所述输入图像的每个区域中对象的距离的距离信息，而生成图像，所述图像指示所述输入图像中的、在真实空间中其位置比预定距离更靠近所述成像单元的对象；

图像显示单元，其配置为显示所述图像，使得允许所述用户经由显示屏观看所述对象；以及

修正量计算单元，其配置为，基于互不相同的时点处的所述图像，计算用于修正将在所述图像显示单元上显示的图像的显示位置或显示尺寸的修正量。

2.根据权利要求1的图像处理设备，其中，基于所述图像中短距离对象的移动量，所述修正量计算单元计算用于修正所述显示位置的修正量，所述短距离对象是位置比所述预定距离更靠近所述成像单元的所述对象。

3.根据权利要求2的图像处理设备，其中，在其中在所述图像显示单元上显示作为参考的所述图像或是显示经过所述修正量修正、且在作为参考的所述图像之后的图像的状态下，基于在所述用户移动操作指令单元使得作为所述短距离对象的操作指令单元和正在显示的所述图像上的操作指令单元重叠时捕获的图像与作为参考的所述图像或在作为参考的所述图像之后的所述图像之间的所述操作指令单元的移动量，所述修正量计算单元计算所述修正量。

4.根据权利要求1的图像处理设备，其中，基于所述图像中短距离对象的尺寸变化，所述修正量计算单元计算用于修正所述显示尺寸的修正量，所述短距离对象是位置比所述预定距离更靠近所述成像单元的所述对象。

5.根据权利要求4的图像处理设备，其中，在其中在所述图像显示单元上显示作为参考的所述图像或是显示经过所述修正量修正、且在作为参考的所述图像之后的图像的状态下，基于在所述用户移动操作指令单元使得作为所述短距离对象的操作指令单元具有和在被显示的所述图像上的操作指令单元相同的尺寸时捕获的图像与作为参考的所述图像之间的所述操作指令单元的尺寸变化，所述修正量计算单元计算所述修正量。

6.根据权利要求1的图像处理设备，其中，基于所述图像中短距离对象的特定部分的移动量，所述修正量计算单元计算用于修正所述显示尺寸的修正量，所述短距离对象是位置比所述预定距离更靠近所述成像单元的所述对象。

7.根据权利要求1的图像处理设备，

其中所述图像显示单元进一步显示将由所述用户操作的虚拟图像，且

其中所述图像处理设备还包括修正单元，所述修正单元配置为基于所述修正量来修正所述虚拟图像的显示位置或显示尺寸。

8.根据权利要求7的图像处理设备，还包括：

遮蔽生成单元，其配置为生成指示未遮蔽区域的遮蔽图像，所述未遮蔽区域是空间中其位置比所述虚拟图像的距离更靠近所述成像单元的对象的区域；

遮蔽修正单元，其配置为基于所述修正量来修正所述遮蔽图像中所述未遮蔽区域的位置或尺寸；以及

遮蔽处理单元，其配置为基于由所述遮蔽修正单元修正的所述遮蔽图像与所述修正量，通过对所述虚拟图像进行透明处理，将所述未遮蔽区域从所述虚拟图像中去除，

其中所述图像显示单元显示受到所述透明处理的所述虚拟图像。

9.根据权利要求7的图像处理设备，还包括：

操作修正单元，其配置为基于所述修正量来修正由所述用户操作的所述虚拟图像上的位置。

10.根据权利要求1的图像处理设备，

其中为所述用户的左和右眼中的每一个设置所述图像显示单元，且

其中所述修正量计算单元为所述用户的左和右眼中的每一个计算所述修正量。

11.一种图像处理方法，包括：

基于由设置在用户的视点附近的成像单元捕获的输入图像与指示至所述输入图像的每个区域中对象的距离的距离信息，而生成图像，所述图像指示所述输入图像中的、在真实空间中其位置比预定距离更靠近所述成像单元的对象；

在图像显示单元上显示所述图像，使得允许所述用户经由显示屏观看所述对象；以及

基于互不相同的时点处的所述图像，计算用于修正将在所述图像显示单元上显示的图像的显示位置或显示尺寸的修正量。

12.一种程序，其使得计算机进行包括以下步骤的处理：

基于由设置在用户的视点附近的成像单元捕获的输入图像与指示至所述输入图像的每个区域中对象的距离的距离信息，而生成图像，所述图像指示所述输入图像中的、在真实空间中其位置比预定距离更靠近所述成像单元的对象；

在图像显示单元上显示所述图像，使得允许所述用户经由显示屏观看所述对象；以及

基于互不相同的时点处的所述图像，计算用于修正将在所述图像显示单元上显示的图像的显示位置或显示尺寸的修正量。