CN102447931A - 图像处理装置、图像处理方法及程序 - Google Patents

Abstract

本发明提供了一种图像处理装置、图像处理方法及程序，该装置包括：投影部，适于交替地投影右眼图像和另一左眼图像；分离部，适于将右眼图像的投影图像和另一左眼用图像的投影图像彼此分离；视线检测部，适于将被提供右眼图像和左眼图像的观察者的视线方向进行检测；以及亮度调整部，适于对右眼图像和左眼图像设定关于视线方向的范围，并调整像素的亮度值，使得右眼图像和左眼图像中的设定范围以外的部分呈现不可见的状态。

Description

图像处理装置、图像处理方法及程序

技术领域

本发明涉及图像处理装置、图像处理方法和程序，并且适用于与例如呈现三维图像的情况一起使用。

背景技术

可利用向观察者的眼睛交替地给予相互具有视差的右眼图像和左眼图像以向观察者呈现三维图像的技术(参考日本专利特开平第10-117362号和日本专利特开第2010-193409号)。采用这种技术，视频图像中的人能够从三维方向上进行观看，因此，增强了真实感。

发明内容

顺便提及，关于游戏等的视频图像，使用者的视点有时被当作并且被显示为图像。在刚刚描述的情况下，作为用于增强真实感的对策之一，有时要求图像提供使用者实际上位于使用者的位置但同时使用者的视点被当作图像的这种现场感。

期望提供能够增强真实感的图像处理装置、图像处理方法和程序。

根据公开的技术的实施方式，提供了图像处理装置，包括：投影部，适于交替地投影右眼图像以及另一左眼图像，分离部，适于将右眼图像的投影图像和另一左眼图像的投影图像彼此分离，视线检测部，适于对将被提供右眼图像和左眼图像的观察者的视线方向进行检测，以及亮度调整部，适于对右眼图像和左眼图像设定关于视线方向的范围，并调整像素的亮度值，使得右眼图像和左眼图像的设定范围以外的部分呈现不可见的状态。

根据公开的技术的另一实施方式，提供了图像处理方法，包括：对将被提供右眼图像和另一左眼图像的观察者的视线方向进行检测，对右眼图像和左眼图像设定关于视线方向的范围，并调整像素的亮度值，使得右眼图像和左眼图像中的设定范围以外的部分呈现不可见的状态，交替地投影经过调整的右眼图像和左眼图像，以及将右眼图像的投影图像和另一左眼图像的投影图像彼此分离。

根据公开的技术的另一实施方式，提供了用于使计算机执行以下操作的程序：对被提供右眼图像和左眼图像的观察者的视线方向进行检测，对右眼图像和左眼图像设定关于该视线方向的范围，并调整像素的亮度值，使得右眼图像和左眼图像中的设定范围以外的部分呈现不可见的状态，交替地投影经过调整的右眼图像和左眼图像，以及将右眼图像的投影图像和另一左眼图像的投影图像彼此分离。

采用公开的技术，观察者的注意区域被限制在视线方向的周围，并且近似于在夜间等的黑暗的地方的实际视场的三维图像能够呈现给观察者。因此，通过图像处理装置、图像处理方法和程序能够增加真实感。

附图说明

图1是示出了视频图像显示系统的结构的示意图；

图2A和图2B是示出了眼镜的结构的示意图；

图3是示出了眼镜的佩戴状态的示意图；

图4是示出了图像处理装置的结构的框图；

图5是示出了CPU的功能结构的框图；

图6是示出了视线与电位差的符号和大小的关系的示意图；

图7和图8是示出了投影图像的显示状态的不同实例的示意图；

图9是示出了视频图像显示处理程序的流程图。

具体实施方式

下面描述公开的技术的具体实施方式。应注意，本发明实施方式是按下列顺序描述的。

1.实施方式

2.其他实施方式

1.实施方式

三维图像的显示方法大致可以分为时间分割法和偏光法。在时间分割法中，沿着时间序列交替地投影相互具有视差的右眼图像和左眼图像，并且改变用于分配给左眼和右眼的液晶快门的传输定时以呈现三维图像。

另一方面，在偏光法中，沿着时间序列交替地投影偏光方向彼此不同的右眼图像和左眼图像，并且通过被分配了对应于左眼和右眼的偏光方向的透镜来呈现三维图像。

作为实施方式，将使用时间分割法的图像显示系统作为实例进行描述。

1-1.图像显示系统的结构

首先参照图1，示出了图像显示系统1，其包括眼镜10和图像处理装置20。配置眼镜10和图像处理装置20，使得能够通过有线通信或无线通信来彼此发送和接收数据。

1-2.眼镜的结构

现在参照图2A、图2B和图3，眼镜10包括框架(下文称为眼镜框)11，分配给左眼的液晶快门LL和分配给右眼的液晶快门LR设置在眼镜框架11的预定的位置上。

投影部13安装在桥接部12的上侧，桥接部12设置在眼镜框架11的液晶快门LL和液晶快门LR之间。投影部13向与液晶面正交的前方投影图像。此外，三轴陀螺仪14内置于桥接部BLP。

用于接触脸的左眼的左上侧部分的电极(下文中，有时称为左上电极)15以及用于接触脸的右眼的右下侧部分的另一电极(下文中，有时称为右下电极)16设置在眼镜框架11的与脸相对的一侧上。

作为左上电极15将接触的脸部位置，佩戴眼镜框架11的使用者的左眉尾部周围的部分是更优选的。另一方面，作为右下电极16将接触的脸部位置，位于佩戴眼镜框架11的使用者的右眉尾部下方的部分是更优选的。

此外，用于接触一只耳朵周围的脸部部位的电极(下文中，有时简称耳部电极)17设置在眼镜框11的镜腿的内侧。作为耳部电极17将接触的脸部部位，位于使用者佩戴眼镜框架11的位置的下方的使用者部位是优选的。如果这个位置是耳垂，则将是更优选的。

应注意，如果电极15至17能够接触佩戴眼镜框架11的使用者的多个部位，则眼镜框架11与电极15至17之间的安装并不仅限于示出的形式。

1-3.图像处理装置的结构

参照图4，通过将各种硬件连接至用于控制整个图像处理装置20的CPU(中央处理单元)21来配置图像处理装置20。

具体地，ROM(只读存储器)22、用作CPU 21的工作存储器的RAM(随机存储器)23、操作部24和接口25通过总线26连接至CPU 21。

用于适当地使用液晶快门LL和LR、投影部13、陀螺仪14和电极15至17向使用者显示三维图像的程序存储在ROM 22内。

操作部24具有多个操作元件，并且提供由使用者向CPU 21发出的对应于操作元件的操作的指令。指令涉及对三维图像的控制，诸如例如包括在三维图像内的人的移动或三维图像本身向后、向前、向左或向右的移动，对三维图像的状态进行改变等。

液晶快门LL和LR、投影部13、陀螺仪14、电极15至17以及记录介质MR连接至接口25。记录介质MR例如是蓝光(蓝光光盘协会：注册商标)光盘、硬盘、存储卡等。

1-4.图像显示过程

在接收到显示视频图像的指令的情况下，CPU 21将存储在ROM 22内的程序展开至RAM 23。现在参照图5，CPU 21基于程序用作视频图像获取部31、同步信号产生部32、投影控制部33、快门控制部34、视线检测部35、亮度调整部36和倾斜度调整部37。CPU 21因此执行用于向使用者显示三维图像的过程。

视频图像获取部31通过使用接口25的有线或无线通信路径获取来自记录介质MR的视频图像数据，并且将获取的数据发送至投影控制部33。视频图像数据表示沿着时间序列的多个图像，以相互具有视差的右眼图像和左眼图像为单位。

同步信号产生部32产生用于同步控制的信号(下文中，称为同步信号)，并且将产生的信号发送至投影控制部33、快门控制部34、亮度调整部36和倾斜度调整部37。

根据同步信号产生部32提供的同步信号，投影控制部33控制投影部13以沿着时间序列投影构成视频图像获取部所提供的视频图像数据的多个右眼图像和左眼图像。

快门控制部34根据同步信号产生部32提供的同步信号交替地改变液晶快门LL和LR的打开和关闭，使得右眼图像和左眼图像分别提供至右眼和左眼。

通过视线检测部35，根据左上电极15与耳部电极17之间的电位差以及右下电极16与耳部电极17之间的另一电位差检测视线方向。

在该情况，图6示出了实验的结果，当在基准电极设置在左耳垂上并且其他电极分别设置在左眼的左上部分以及右眼的右下部分的状态下在不同的方向移动视线时，测量各电极和基准电极之间的电位差以及电极之间的电位差。

在该测量中，按照从前面至左上、右下、上中、下中、右上、左下、右中、左中、前面的顺序移动视线，并且视线以预定时间停留在各位置。如图4可见，当视线停留在不同的方向上时，对于左上电极和基准电极之间的电位差、右下电极和基准电极之间的电位差以及左上电极和右下电极之间的电位差来说，符号和大小基于视线停留的方向而不同。

应注意，因为在视线移动时测量肌电位，所以对应于眼电位的电位差随着视线的移动而变化很大，如图6所示。因为肌电位的大小约为眼电位的1000倍，所以能够很容易地区分肌电位和眼电位。

视线检测部35放大用作基准的耳部电极17和左上电极15之间的电位差，以及放大耳部电极17和右下电极16之间的电位差。然后，视线检测部13在每个预定的时间间隔之后对放大的电位差的值与被定义为最低值的阈值进行比较，该最低值将被确定为肌电位。

如果耳部电极17与左上电极15之间的电位差(该电位差在下文中称为左电位差)的值和耳部电极17与右下电极16之间的电位差(该电位差在下文中称为右电位差)的值等于或高于阈值，那么视线检测部35确定没有检测到视线。

另一方面，如果左电位差和右电位差低于阈值，则视线检测部35参考表格检测与左电位差和右电位差的符号和大小相对应的视线方向。

具体地，例如，确定9个不同的视线方向为检测对象，确定左电位差和右电位差的符号和大小属于三种不同大小“大”、“中”、“小”中的哪一种。然后，将确定的结果与表示如图6中所示的9个视线方向上的符号和大小的表格进行比较。应注意，9个视线方向包括“前面”、“上中”、“下中”、“右中”、“左中”、“右上”、“右下”、“左上”和“左下”方向。

如果检测到视线方向，则视线检测部35产生表示视线方向的数据(在下文中有时称为视线数据)，并且将产生的数据发送至亮度调整部36。

在接收到来自视线检测部35的视线数据的情况下，亮度调整部36基于由同步信号产生部32提供的同步信号和内置时钟将对应于检测到视线数据所表示的视线方向的时间点的右眼图像和左眼图像识别为调整对象。

然后，亮度调整部36对识别为调整对象的右眼图像和左眼图像设定关于视线方向的范围，并将设定范围之外的区域中的像素的亮度值改变为低于预定值的值，使得位于设定范围之外的区域呈现不可见的状态。

此外，亮度调整部36改变位于范围内的像素的亮度值，使得亮度值的减弱率随着距离中心的距离的增加而增加，使得设定范围从其中心开始逐渐变暗。

结果，如图7所示，使用者的注意区域限制在视线方向的周围，并且能够显示近似于在夜间等的黑暗的地方的实际视场的三维图像。

倾斜度调整部37获取在适当佩戴眼镜框架11的状态下的陀螺仪14的测量值作为参考数据。作为参考数据的获取方法，例如，从预先存储参考数据的ROM等中读出并且获取参考数据的方法，并且，产生并获取在检测到佩戴眼镜框架11的时间点处的陀螺仪14的测量值作为参考数据的另一方法是可用的。

如果获取到参考数据，则倾斜度调整部37定期地对参考数据与从陀螺仪14中输出的测量值进行比较，从而从比较的结果中检测相对于参考平面的倾斜角。

此时，在检测到的倾斜角等于或大于倾斜度设定的最小值时，倾斜度调整部37基于由同步信号产生部32提供的同步信号和内置时钟将对应于检测时间点的右眼图像和左眼图像识别为调整对象。

然后，倾斜度调整部37对作为调整对象的右眼图像和左眼图像的倾斜度进行校正，使得倾斜角变得小于预定的角度。

结果，如图8所示，避免了响应于佩戴眼镜框架11的使用者的头部的倾斜度对投影图像进行倾斜的情况，并且呈现与实际视场状态相一致的三维图像。

以这种方式，CPU 21使用电极15至17以及陀螺仪14来校正右眼图像和左眼图像，使得近似于黑暗的地方的实际视场，并且与实际视场状态相一致，从而呈现三维图像。

1-5.三维图像显示处理过程

现在，参照图9中所示的流程图对上述的三维图像显示过程进行描述。如果CPU 21接收到显示视频图像的指令，那么CPU 21开始三维图像显示过程并将其处理进入步骤SP1。

在步骤SP1中，CPU 21使用电极15至17检测视线方向，并且使用陀螺仪14检测相对于参考平面的倾斜角，然后将处理进入步骤SP2。

在步骤SP2中，CPU 21从记录介质MR获取构成视频图像数据的成对的右眼图像和左眼图像，并且将处理进入步骤SP3。

在步骤SP3中，CPU 21基于在步骤SP1中检测到的视线方向以及相对于参考平面的倾斜角对在步骤SP2中获取的右眼图像和左眼图像进行校正，并且将处理进入步骤SP4。具体地，对右眼图像和左眼图像的亮度值进行校正，使得相对于在步骤SP1中检测到的视线方向的预定的范围可见，并且对右眼图像和左眼图像的倾斜度进行校正，使得与相对于在步骤SP1中检测到的参考平面的倾斜角的差小于预定的量。

在步骤SP4中，CPU 21交替地投影在步骤SP3中经过校正的右眼图像和左眼图像，并且根据投影周期改变液晶快门LL和LR的打开和关闭，并且将处理进入步骤SP5。

在步骤SP5中，CPU 21确定在步骤SP1的检测时间点之后是否经过预定的时间段。如果没有经过预定的时间段，则CPU 21将处理返回至步骤SP2，在步骤SP2中CUP 21从记录介质中获取新的一对右眼图像和左眼图像。

另一方面，如果在步骤SP1中的检测时间点之后经过了预定的时间段，则CPU 21将处理返回至步骤SP1，在步骤SP1中CUP 21再次检测视线方向以及相对于参考平面的倾斜角。

以这种方式，CPU 21基于存储在记录介质MR中的视频图像数据显示三维图像，直至接收到结束视频图像的显示的指令。

应注意，因为视线的移动，所以有时在步骤SP1检测不到视线方向。在这种情况下，在步骤SP3中，将目前作为获取对象的右眼图像和左眼图像的亮度值同样地校正为在目前获取的图像之前获取的右眼图像和左眼图像的经过校正的亮度值。

此外，如果在步骤SP1中相对于参考平面的倾斜角小于为最小倾斜度设定的最小值，则在步骤SP3中，将目前作为获取对象的右眼图像和左眼图像的倾斜度同样地校正为在目前获取的图像之前获取的右眼图像和左眼图像的经过校正的倾斜度。

1-6.效果等

具有上述结构的图像处理装置20对向其显示三维图像的使用者的视线方向进行检测，并且在将被给予使用者的右眼的右眼图像以及将被给予使用者的左眼的左眼图像中设定关于视线方向的范围。然后，图像处理装置20调整右眼和左眼图像的设定范围之外的部分的像素的亮度值，使得该部分呈现不可见的状态。

因此，图像处理装置20能够显示将使用者的注意区域限制在视线方向的周围并且近似于在夜间等的黑暗的地方的实际视场的三维图像。这特别适于屏幕图像(诸如游戏等中的三维图像)被感知作为使用者的视场以呈现三维图像的情况。

此外，图像处理装置20基于由陀螺仪提供的测量值对相对于参考平面的倾斜角进行检测，并调整右眼图像和左眼图像的倾斜度，使得倾斜角变得小于预定的角度。

因此，图像处理装置20能够避免随着佩戴眼镜框架11的使用者的头部的倾斜，投影图像也发生倾斜的情况，并且能够向使用者显示与实际视场状态相一致的三维图像。这特别适于用于投影观察者所观察到的图像的投影部13设置在诸如观察者佩戴的眼镜框架11的装置上的情况。

使用上述结构，通过实现近似于实际视场的三维图像的显示或与实际视场状态相一致的另一三维图像的显示，图像处理装置20能够增加真实感。

2.其他实施方式

在上述实施方式中，液晶快门LL和LR被应用为用于将右眼图像和左眼图像的投影图像分离到相应的眼睛的部件。然而，分离部并不仅限于上述的实施方式中的分离部。例如，能够应用双凸透镜屏幕(lenticularscreen)等。此外，在用偏光法取代时间分割法情况下，用作偏光滤光器的液晶透镜等能够被用来取代液晶快门LL和LR。

应注意，在时间分割法中，在投影之前对右眼图像和左眼图像的亮度值和倾斜度进行校正，然而，在偏光方法中，对液晶透镜的偏光方向进行调整，从而校正待投影的右眼图像和左眼图像的亮度值和倾斜度。

此外，在上述实施方式中，根据电极15和16与电极17之间的电位差检测视线方向。然而，视线方向的检测部并不仅限于上述实施方式中的检测部。例如，可根据作为摄像部拍摄到的被给予右眼图像和左眼图像的使用者的眼中的图像的结果而获取的图像来检测视线方向。具体地，作为从图像检测视线方向的方法，例如，基于眼睛中心处相对于夹在眼睑之间的眼睛区域的中心的偏离量来检测视线方向的方法是可行的。

此外，在上述实施方式中，通过将视线方向作为检测对象应用了“前面”、“上中”、“下中”、“右中”、“左中”、“右上”、“右下”、“左上”以及“左下”9个方向。但是，检测对象的视线方向并不仅限于上述实施方式中的这些视线方向，能够应用不同数量的检测对象。

此外，在上述实施方式中，左电位差和右电位差的大小被划分为三个级别。然而，用于对大小进行分类的级别的数量并不仅限于上述实施方式中的数量，能够应用不同数量的级别。

此外，在上文描述的实施方式中，关于视线方向的范围的形状被形成为圆形。但是，范围的形状并不仅限于圆形，而是能够应用不同的形状。

此外，在上述实施方式中，对左电位差和右电位差的符号和大小与表示9个视线方向的符号和大小的表格进行了比较来检测视线方向。然而，视线方向的检测方法并不仅限于上文描述的实施方式中的检测方法，例如，也可以应用通过从左电位差和右电位差的符号和大小的计算直接地检测视线方向的方法等。

此外，在上述实施方式中，眼镜框架11被应用为佩戴部或使用者能够佩戴的装置。然而，佩戴部并不仅限于上述实施方式中的佩戴部。能够应用不同装置，例如发带、帽子等。

此外，在上述实施方式中，相对于左眼的左上部分以及相对于右眼的右下部分被应用为电极将接触的部位。然而，如果能够检测到上、下、左、右方向的视线，则电极将接触的部位并不仅限左眼的左上部分和右眼的右下部分。此外，虽然在上述实施方式中与眼睛的临近部位接触的电极的数量为每只眼睛一个电极，但是可以使用二个以上电极。

此外，在上述实施方式中，用于执行视频图像显示过程的程序存储在ROM中。然而，程序的存储位置并不仅限于上述实施方式中的位置。能够应用位于图像处理装置20的外部或内部的各种存储介质。

本发明可应用于游戏行业、医药行业等。

本发明包含关于2010年10月12日向日本专利局提交的日本在先专利申请JP 2010-229770中所公开的主题，其全部内容结合于此作为参考。

本领域的技术人员应当理解，根据设计需求和其他因素，可以进行各种修改、组合、子组合和变形，均应包含在所附权利要求或其等同物的范围之内。

Claims (8)

1.一种图像处理装置，包括：

投影部，适于交替地投影右眼图像和左眼图像；

分离部，适于将所述右眼图像的投影图像和所述左眼图像的投影图像彼此分离；

视线检测部，适于对将被提供所述右眼图像和所述左眼图像的观察者的视线方向进行检测；以及

亮度调整部，适于对所述右眼图像和所述左眼图像设定关于视线方向的范围，并调整像素的亮度值，使得所述右眼图像和所述左眼图像中的设定范围以外的部分呈现不可见的状态。

2.根据权利要求1所述的图像处理装置，还包括：

能够被观察者佩戴的佩戴部；

设置在所述佩戴部上的陀螺仪；以及

倾斜度调整部，适于基于所述陀螺仪的测量值检测相对于基准面的倾斜角，并调整所述右眼图像和所述左眼图像的倾斜度，使得所述倾斜角变得小于预定的角度。

3.根据权利要求1或2所述的图像处理装置，其中，所述亮度调整部调整所述范围内的像素的亮度值，使得所述范围呈现从所述基准起逐渐变暗的状态。

4.根据权利要求2或3所述的图像处理装置，其中，

所述分离部是一对液晶快门，

所述佩戴部是眼镜架，

所述投影部设置在所述佩戴部上，使得佩戴所述眼镜架的使用者的前方是投影方向，

所述液晶快门设置在所述佩戴部上，使得所述液晶快门配置在佩戴所述眼镜架的使用者的眼睛之一的前面。

5.根据权利要求4所述的图像处理装置，还包括：

两个电极，设置在所述眼镜架上，并且配置在佩戴所述眼镜架的使用者的一只眼睛和另一只眼睛之间的上下方向及左右方向不同的位置上；以及

基准电极，适于测量用作基准的电位，

其中，所述视线检测部根据所述电极与所述基准电极之间的电位差来检测所述使用者的视线方向。

6.根据权利要求1所述的图像处理装置，其中，所述分离部是双凸透镜屏幕。

7.一种图像处理方法，包括：

对将被提供右眼图像和左眼图像的观察者的视线方向进行检测；

对所述右眼图像和所述左眼图像设定关于所述视线方向的范围，并调整像素的亮度值，使得所述右眼图像和所述左眼图像中的设定范围以外的部分呈现不可见的状态；

交替地投影经过调整的右眼图像和左眼图像；以及

将所述右眼图像的投影图像和所述左眼图像的投影图像彼此分离。

8.一种程序，用于使计算机执行以下操作：

对将被提供右眼图像和左眼图像的观察者的视线方向进行检测；

对所述右眼图像和所述左眼图像设定关于所述视线方向的范围，并调整像素的亮度值，使得所述右眼图像和所述左眼图像中的设定范围以外的部分呈现不可见的状态；

交替地投影经过调整的右眼图像和左眼图像；以及

将所述右眼图像的投影图像和所述左眼图像的投影图像彼此分离。

Images