CN113170090A

CN113170090A - 头戴式显示装置

Info

Publication number: CN113170090A
Application number: CN201880099966.1A
Authority: CN
Inventors: 川前治; 嶋田坚一; 胜木学; 藏知惠
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2018-12-04
Filing date: 2018-12-04
Publication date: 2021-07-23
Also published as: JP2022183177A; US11582441B2; WO2020115815A1; US11956415B2; US20230156176A1; JP7148634B2; US20220060680A1; JPWO2020115815A1

Abstract

在头戴式显示装置等的AR显示中，即使是双目视觉也能够忠实地表现遮挡效果。平视显示装置(10)包括透镜(12)、透镜(13)、摄像头(14)、摄像头(15)和信息处理部(16)。透镜(12)显示右眼用的CG图像。透镜(13)显示左眼用的CG图像。摄像头(14)拍摄右眼用的图像。摄像头(15)拍摄左眼用的图像。信息处理部(16)根据摄像头(14、15)拍摄的图像分别生成表现了用右眼观看时的遮挡效果的右眼用的CG图像和表现了用左眼观看时的遮挡效果的左眼用的CG图像，将生成的右眼、左眼用的CG图像分别投射到透镜(12、13)。摄像头(14)的镜头中心设置在与透镜(12)的中心相同的位置。摄像头(15)的镜头中心设置在与透镜(13)的中心相同的位置。

Description

头戴式显示装置

技术领域

本发明涉及头戴式显示装置，尤其涉及可有效地在AR(Augmented Reality：增强现实)显示中忠实地表现遮挡效果的技术。

背景技术

近年来，人们提出了使用AR实现的各种各样的服务。AR是将计算机或便携式计算机等生成的图像叠加在整个画面或实景图像的一部分上显示的技术。

3维空间中除了上下、左右关系以外，还存在前后关系。由此，会产生位于近处(跟前)的物体将背后的物体遮住而使该物体不可见的状态，即发生遮挡(occlusion)。

在AR显示中，为了向用户提供没有不适感的AR图像，通过3维影像的处理等忠实地表现上述遮挡效果是非常重要的。

作为考虑了这种遮挡效果的AR图像处理技术，例如已知一种在表现遮挡效果时以椭圆形裁去被现实物体遮住的CG(Computer Graphics：计算机图形)图像区域，来进行遮挡处理的技术(例如参照专利文献1)。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2012/206452号说明书

发明内容

发明要解决的技术问题

在上述的遮挡处理中，在例如通过智能手机或平板电脑等进行AR显示的单目视觉(Single Vison)的情况下，单纯根据现实物体与CG图像的距离关系表现遮挡效果即可。

但是，在AR眼镜等利用了双目视觉(Binocular Vision)的头戴式显示装置的情况下，要在AR显示中忠实地表现遮挡效果，就需要考虑双眼的视差和辐合角(angle ofconvergence)等，若仅应用单目视觉的遮挡处理，会导致形成不自然的AR图像。

上述专利文献1的遮挡处理技术中，未进行考虑了用户的双眼视差和辐合角等引起的视觉效果差异的处理，并且，其并非沿着现实物体的轮廓裁去被现实物体遮住的CG图像区域而是以椭圆形裁去该CG图像区域，因此存在现实物体与CG图像之间的间隙显示会变得不自然的问题。

本发明的目的在于提供一种技术，在利用头戴式显示装置等实现的AR显示中，即使在双目视觉的情况下也能够忠实地表现遮挡效果。

本发明的上述和其他目的以及新的特征能够根据本说明书的描述和附图变得明确。

解决问题的技术手段

对本申请公开的技术方案中有代表性者的内容之概要简单说明如下。

即，有代表性的头戴式显示装置包括第一透镜、第二透镜、第一摄像机、第二摄像机和信息处理部。第一透镜显示右眼用的CG图像。第二透镜显示左眼用的CG图像。第一摄像机拍摄右眼用的图像。第二摄像机拍摄左眼用的图像。

信息处理部根据第一摄像机和第二摄像机拍摄的图像，分别生成表现了用右眼观看时的遮挡效果的右眼用的CG图像和表现了用左眼观看时的遮挡效果的左眼用的CG图像，并将生成的右眼用的CG图像投射到第一透镜，将生成的左眼用的CG图像投射到第二透镜。

第一摄像机的镜头中心设置在与第一透镜的中心(佩戴者的瞳孔中心)相同的位置(水平方向)。第二摄像机的镜头中心设置在与第二透镜的中心(佩戴者的瞳孔中心)相同的位置(水平方向)。

信息处理部包括第一信息生成部、第二信息生成部、第一遮蔽区域计算部、第二遮蔽区域计算部、图像生成部和显示部。

第一信息生成部根据第一摄像机和第二摄像机拍摄的图像，生成表示要显示在第一透镜上的CG图像与现实环境之间的遮蔽关系的遮挡信息。第二信息生成部根据第一摄像机和第二摄像机拍摄的图像，生成表示要显示在第二透镜上的CG图像与现实环境之间的遮蔽关系的遮挡信息。

第一遮蔽区域计算部基于第一信息生成部生成的遮挡信息，计算用右眼观看显示在第一透镜上的CG图像时CG图像被物体遮蔽的遮蔽区域。

第二遮蔽区域计算部基于第二信息生成部生成的遮挡信息，计算用左眼观看显示在第二透镜上的CG图像时CG图像被物体遮蔽的遮蔽区域。

图像生成部基于用于生成CG图像的CG图像生成数据，分别生成右眼用的CG图像和左眼用的CG图像，其中，在右眼用的CG图像中不显示第一遮蔽区域计算部计算出的遮蔽区域，在左眼用的CG图像中不显示第二遮蔽区域计算部计算出的遮蔽区域。显示部将图像生成部生成的右眼用的CG图像和左眼用的CG图像投射到第一透镜和第二透镜。

发明效果

本申请公开的技术方案中有代表性者可得到的技术效果简单说明如下。

在双目视觉的AR显示中，能够忠实地重现遮挡效果。

附图说明

图1是表示一个实施方式的头戴式显示装置的结构之一例的说明图。

图2是表示图1的头戴式显示装置具有的控制处理部的结构之一例的说明图。

图3是表示图2的控制处理部具有的信息处理部的结构之一例的说明图。

图4是表示利用图1的头戴式显示装置实现的AR显示之一例的说明图。

图5是表示考虑了双目视觉的图像处理之一例的说明图。

图6是表示辐合角之一例的说明图。

图7是表示右眼和左眼的视觉差异之一例的说明图。

具体实施方式

在用于说明实施方式的所有图中，对相同的部件原则上标注相同的附图标记，省略其重复的说明。

下面详细说明实施方式。

〈头戴式显示装置的结构例〉

图1是表示一个实施方式的头戴式显示装置10的结构之一例的说明图。

如图1所示，头戴式显示装置10包括壳体11、透镜(镜片，lens)12和13、摄像头14和15、信息处理部16。壳体11构成眼镜架。

作为第一透镜的透镜12和作为第二透镜的透镜13分别被固定于壳体11的镜框(rims)。固定于镜框的各个透镜12、13被设置成，与使用头戴式显示装置10的用户的左右眼分别对应。

在固定透镜12的镜框的上部，设置有作为第一摄像机的摄像头14，在固定透镜13的镜框的上部，设置有作为第二摄像机的摄像头15。这些摄像头14、15例如是立体摄像头。立体摄像头利用2个摄像头的视差拍摄被摄体。

摄像头14是对应于用户右眼的摄像头，摄像头15是对应于用户左眼的摄像头。这些摄像头14、15分别拍摄图像。

摄像头14的镜头中心被设置于与透镜12的中心大致相同的位置(水平方向，下同)。换言之，摄像头14的镜头中心与用户右眼的瞳孔中心大致相同。

同样，摄像头15的镜头中心被设置于与透镜13的中心大致相同的位置。换言之，摄像头15的镜头中心与用户右眼的瞳孔中心大致相同。

图2是表示图1的头戴式显示装置10具有的控制处理部16的结构之一例的说明图。

如图2所示，控制处理部16包括操作输入部17、控制部18、信息处理部19和通信部30。该操作输入部17、控制部18、信息处理部19、通信部30和图1的摄像头14、15通过总线31相互连接。

操作输入部17例如是由触摸传感器等构成的用户接口。触摸传感器由静电容量方式的触摸面板等构成，通过静电的方式检测与该触摸传感器接触的用户的手指等的位置。

控制部18负责头戴式显示装置10的控制。信息处理部19生成CG图像显示在透镜12、13上。该信息处理部19例如设置在壳体11的鼻梁部分等。信息处理部16的配置没有特别限制，例如也可以将信息处理部16设置在壳体11的镜腿部分等。

信息处理部16生成的CG图像被投射到透镜12、13上。投射的CG图像被透镜12、13分别放大显示。于是，透镜12、13显示的CG图像与现实图像重合而构成AR图像。

通信部30例如通过Bluetooth(蓝牙)(注册商标)或网络线路等进行信息的无线通信等。

〈信息处理部的结构例〉

图3是表示图2的控制处理部16具有的信息处理部19的结构之一例的说明图。

如图3所示，信息处理部19包括进深信息生成部20、遮蔽区域计算部21、AR图像生成部22和AR显示部23。

进深信息生成部20构成第一信息生成部和第二信息生成部，其计算到物体的距离以及辐合角等并将它们存储起来。该进深信息生成部20包括视差匹配部25和深度信息存储部26。

视差匹配部25针对图1的摄像头14、15拍摄的图像的所有物体分别计算物体距离和辐合角。摄像头14、15拍摄的图像是经由总线31输入的。

物体距离是指从摄像头14、15到物体的距离，换言之，是物体的深度信息。辐合角是从两眼发出的视线在所注视的物体处相交形成的角度。该辐合角例如能够根据物体距离和该物体在图像上的位置信息计算出来。

深度信息存储部26例如由快闪存储器等半导体存储器构成，存储右眼用深度信息和左眼用深度信息。右眼用深度信息是对摄像头14拍摄的图像分别附加了视差匹配部25计算出的物体距离和辐合角而构成的信息。左眼用深度信息是对摄像头15拍摄的图像分别附加了视差匹配部25计算出的物体距离和辐合角而构成的信息。

遮蔽区域计算部21构成第一遮蔽区域计算部和第二遮蔽区域计算部，其基于存储在深度信息存储部26中的右眼用深度信息、左眼用深度信息和要显示的CG图像的距离信息，分别计算右眼用的CG图像遮蔽区域和左眼用的CG图像遮蔽区域。遮蔽区域指的是，为了表现遮挡(occlusion)效果而使要显示的CG图像的一部分不显示的区域。

AR图像生成部22构成图像生成部，其基于遮蔽区域计算部21计算出的右眼用的CG图像遮蔽区域、左眼用的CG图像遮蔽区域以及图像生成数据，分别生成右眼用的CG图像和左眼用的CG图像。

上述CG图像的距离信息是表示要显示的CG图像的距离和位置等的信息。图像生成数据是生成要显示的CG图像时所需的数据，例如是CG图像的形状和配色等数据。

这些距离信息和图像生成数据例如是通过从外部输入的应用程序提供的。应用程序例如通过控制处理部19具有的通信部30取得。或者，也可以在信息处理部19设置未图示的存储器，在该存储器中存储预先从外部输入的应用程序。

AR显示部23构成显示部，其是将AR图像生成部22生成的右眼用的CG图像和左眼用的CG图像分别照射到透镜12、13上形成图像的光学系统。

〈头戴式显示装置的动作例〉

接着说明头戴式显示装置10的动作。

首先，摄像头14、15拍摄图像。摄像头14、15拍摄的图像被输入到进深信息生成部20具有的视差匹配部25中。视差匹配部25根据摄像头14、15拍摄的图像分别计算物体距离和辐合角。

物体距离是这样计算的，即，由视差匹配部25利用三角测量等方法计算摄像头14、15拍摄的各自的图像的位置差，由此计算物体距离。或者，也可以不采用基于立体摄像头即摄像头14、15的图像计算到物体的距离的方法，而是例如在信息处理部19新设置未图示的距离传感器等，利用该距离传感器分别测量到物体的距离。

辐合角是由视差匹配部25基于计算出的物体距离和该物体的位置计算出来的。这些计算对摄像头14、15拍摄的图像中出现的每个物体都要进行。

之后，视差匹配部25将根据摄像头14的图像计算出的物体距离和辐合角分别附加至摄像头14拍摄的图像。同样，将根据摄像头15的图像计算出的物体距离和辐合角分别附加至摄像头15拍摄的图像。

然后，视差匹配部25将附加了距离和辐合角的摄像头14的图像作为上述的右眼用深度信息存储在深度信息存储部26中，将附加了距离和辐合角的摄像头15的图像作为上述的左眼用深度信息存储在深度信息存储部26中。

遮蔽区域计算部21从存储在深度信息存储部26中的右眼用深度信息和左眼用深度信息分别取得到物体的距离和辐合角。之后，基于取得的到物体的距离、辐合角和由应用程序提供的CG图像的距离信息，分别计算要对右眼显示的CG图像被现实物体遮蔽的区域，和要对左眼显示的CG图像被现实物体遮蔽的区域。

遮蔽区域计算部21计算出的遮蔽区域的信息被分别输出至AR图像生成部22。AR图像生成部22基于应用程序提供的图像生成数据，生成与现实景象叠加的CG图像。

此时，AR图像生成部22基于遮蔽区域计算部21计算出的遮蔽区域的信息，分别生成在用于表现遮挡效果的区域不进行显示的CG图像。

AR图像生成部22生成的右眼用和左眼用的CG图像被分别输出至AR显示部23。AR显示部23将输入的右眼用的CG图像投射到透镜12，将左眼用的CG图像投射到透镜13。

由此，在透镜12、13上分别显示了能够对右眼视野表现出最佳遮挡效果的右眼用的CG图像和能够对左眼视野表现出最佳遮挡效果的左眼用的CG图像。其结果是，能够提供忠实地表现了遮挡效果的AR图像。

〈考虑了双目视觉的CG图像的显示〉

图4是表示利用图1的头戴式显示装置10实现的AR显示之一例的说明图。图5是表示考虑了双目视觉的图像处理之一例的说明图。图6是表示辐合角之一例的说明图。图7是表示右眼和左眼的视觉差异之一例的说明图。

图4表示在现实物体200的后方存在现实物体201，并实现了在现实物体201上放置CG图像50的状态的AR显示的例子。

人类的右眼与左眼相距6cm左右，因此左右眼捕捉的景色稍有偏差。此时，偏差量随物体的距离而不同。由此，在考虑了双目视觉的基础上进行AR显示时，需要掌握用户左右眼捕捉到的现实物体的视觉效果。

此外，辐合角如图6所示，与观看远处物体203时的辐合角θ1相比，观看近处物体204时的辐合角θ2较大。由于辐合角的变化，如图7所示，右眼和左眼能看见的物体203的区域也会发生变化，因此还需要考虑因辐合角引起的可见区域的不同而产生的CG图像的遮蔽区域的变化。

为此，利用如上述那样以镜头中心与用户右眼的中心大致相同的方式设置的摄像头14，和以镜头中心与用户左眼的中心大致相同的方式设置的摄像头15，来分别拍摄图像。由此，能够捕捉到与用户的左右眼看到的现实物体的视觉效果大致相同的图像。

如上所述，在用户观看图4的现实物体200、201的情况下，现实物体200的遮挡方式随左右眼而不同。从而，在利用摄像头14、15拍摄图4的现实物体200、201的情况下，也能够取得与左右眼捕捉到的图像大致相同的图像。

例如，在人的右眼捕捉到图4的现实物体200、201的情况下，看上去主要是现实物体201的左侧被现实物体200遮住。在左眼捕捉到的情况下，看上去主要是现实物体201的右侧被现实物体200遮住。

摄像头14、15拍摄到的图像也是与人的左右眼捕捉的图像同样的，如图5的上方所示，在右眼用的摄像头14捕捉到的图像中，主要是现实物体201的左侧被现实物体200遮住，而在左眼用的摄像头15捕捉到的图像中，主要是现实物体201的右侧被现实物体200遮住。

于是，如图5的下方所示，根据摄像头14取得的图像计算要叠加的CG图像50的遮蔽区域，并根据摄像头15拍摄的图像计算要叠加的CG图像50的遮蔽区域，分别生成并显示右眼用的CG图像和左眼用的CG图像。

这样，通过分别生成并显示考虑了左右视野的遮挡关系的右眼用的CG图像和左眼用的CG图像，用户能够观赏忠实了表现了遮挡效果的AR图像。

根据以上说明，能够提供对用户而言没有不适感的、自然的AR图像。

〈CG图像生成的其他例子〉

此外，CG图像也可以按照应用程序提供的CG图像的距离信息来调节分辨率，换言之调节该CG图像的模糊量，将其显示在透镜12、13上。由此，能够显示更自然的CG图像。

该情况下，在深度信息存储部26中存储有模糊量信息，其中包括CG图像的距离和与该距离关联的模糊量。AR图像生成部22根据应用程序提供的CG图像的距离信息取得CG图像的距离。并且，搜索存储在深度信息存储部26中的模糊量信息，来提取与对应模糊量一致或相近的模糊量，其中对应模糊量是与取得的距离对应的模糊量。

然后，基于提取的模糊量对CG图像进行模糊处理。例如，用模糊信息表示使CG图像的轮廓线晕开的量，基于该模糊信息进行使CG图像的轮廓线晕开的处理。

由此，能够使CG图像与远景同样地模糊，因此能够消除明明是显示在远处的CG图像但该CG图像却显示得很清晰等不适感，向用户提供更自然的AR图像。

此外，也可以并不仅仅使用CG图像的距离信息来决定模糊量，而是使用还考虑了CG图像的大小等的模糊量信息来生成CG图像。这样，与仅使用距离信息的情况相比，能够提供更能融入远景的、自然模糊的AR图像。

该情况下，模糊量信息包括CG图像的显示距离和大小、与该CG图像的距离和大小关联的模糊量。AR图像生成部22根据应用程序提供的CG图像的距离信息取得CG图像的距离，并根据同样由应用程序提供的CG图像的图像生成数据取得CG图像的大小的信息。

然后，搜索存储在深度信息存储部26中的模糊量信息，来提取与对应模糊量一致或相近的模糊量，其中对应模糊量是与取得的距离和大小对应的模糊量。并基于提取的该模糊信息，进行使CG图像的轮廓线晕开的处理。

上面基于实施方式具体地说明了本申请发明人完成的发明，不过本发明当然并不限定于上述实施方式，能够在不脱离其思想的范围内进行各种变更。

附图标记说明

10 头戴式显示装置

11 壳体

12 透镜

13 透镜

14 摄像头

15 摄像头

16 控制处理部

17 操作输入部

18 控制部

19 信息处理部

20 信息生成部

21 遮蔽区域计算部

22 AR图像生成部

23 AR显示部

25 视差匹配部

26 深度信息存储部

30 通信部

50 CG图像。

Claims

1.一种头戴式显示装置，其特征在于，包括：

显示右眼用的CG图像的第一透镜；

显示左眼用的CG图像的第二透镜；

拍摄右眼用的图像的第一摄像机；

拍摄左眼用的图像的第二摄像机；和

信息处理部，其根据所述第一摄像机和所述第二摄像机拍摄的图像，分别生成表现了用右眼观看时的遮挡效果的右眼用的CG图像和表现了用左眼观看时的遮挡效果的左眼用的CG图像，并将生成的右眼用的所述CG图像投射到所述第一透镜，将生成的左眼用的所述CG图像投射到所述第二透镜，

其中，所述第一摄像机的镜头中心设置在与所述第一透镜的中心相同的位置，

所述第二摄像机的镜头中心设置在与所述第二透镜的中心相同的位置。

2.如权利要求1所述的头戴式显示装置，其特征在于：

所述信息处理部包括：

第一信息生成部，其根据所述第一摄像机和所述第二摄像机拍摄的图像，生成表示要显示在所述第一透镜上的所述CG图像与现实环境之间的遮蔽关系的遮挡信息；

第二信息生成部，其根据所述第一摄像机和所述第二摄像机拍摄的图像，生成表示要显示在所述第二透镜上的所述CG图像与现实环境之间的遮蔽关系的遮挡信息；

第一遮蔽区域计算部，其基于所述第一信息生成部生成的所述遮挡信息，计算用右眼观看显示在所述第一透镜上的CG图像时所述CG图像被物体遮蔽的遮蔽区域；

第二遮蔽区域计算部，其基于所述第二信息生成部生成的所述遮挡信息，计算用左眼观看显示在所述第二透镜上的CG图像时所述CG图像被物体遮蔽的遮蔽区域；

图像生成部，其基于用于生成所述CG图像的CG图像生成数据分别生成右眼用的CG图像和左眼用的CG图像，其中，在右眼用的CG图像中不显示所述第一遮蔽区域计算部计算出的所述遮蔽区域，在左眼用的CG图像中不显示所述第二遮蔽区域计算部计算出的所述遮蔽区域；和

显示部，其将所述图像生成部生成的右眼用的所述CG图像和左眼用的所述CG图像投射到所述第一透镜和所述第二透镜。

3.如权利要求2所述的头戴式显示装置，其特征在于：

所述第一信息生成部和所述第二信息生成部生成的所述遮挡信息包括物体距离和辐合角，其中，物体距离表示从所述第一摄像机和所述第二摄像机到物体的距离，辐合角是用双眼注视物体时双眼的视线在所述物体处相交的角度。

4.如权利要求3所述的头戴式显示装置，其特征在于：

所述图像生成部基于所述遮挡信息中包含的所述物体距离和所述辐合角，分别计算右眼用的CG图像和左眼用的CG图像的所述遮蔽区域。

5.如权利要求4所述的头戴式显示装置，其特征在于：

所述第一信息生成部和所述第二信息生成部生成的所述遮挡信息包括按照要显示的所述CG图像的距离信息而设定的模糊量，

所述图像生成部从所述遮挡信息取得与CG图像的显示距离相符的模糊量，按照取得的所述模糊量进行模糊处理，在模糊处理中，使不显示所述遮蔽区域的右眼用的CG图像和不显示所述遮蔽区域的左眼用的CG图像的轮廓变得模糊，

所述CG图像的显示距离是包含在所述CG图像生成数据中的信息。

6.如权利要求4所述的头戴式显示装置，其特征在于：

所述第一信息生成部和所述第二信息生成部生成的所述遮挡信息包括按照要显示的所述CG图像的距离信息和大小而设定的模糊量，

所述图像生成部从所述遮挡信息取得与CG图像的显示距离和大小相符的模糊量，按照取得的所述模糊量进行模糊处理，在模糊处理中，使不显示所述遮蔽区域的右眼用的CG图像和不显示所述遮蔽区域的左眼用的CG图像的轮廓变得模糊，

所述CG图像的显示距离和大小是根据所述CG图像生成数据中包含的距离信息而生成的。