CN114363489B - 一种将摄像头和眼部显示装置直接耦合的增强现实系统 - Google Patents

Abstract

本发明涉及增强现实系统技术领域，具体涉及一种将摄像头和眼部显示装置直接耦合的增强现实系统，其技术方案是：包括AR眼镜本体，还包括显示组件和通用计算模块，显示组件安装在AR眼镜本体上，显示组件的一侧安装有相机组件，AR眼镜本体内安装有图片处理组件和通用计算单元，通用计算模块连接有图像处理模块，图像处理模块连接有相机模块和显示模块，图像处理模块包括计算模块通用数据交换单元，计算模块通用数据交换单元连接有图像处理单元，图像处理单元连接有计算模块图像数据输入单元、图像数据输出单元和相机模块数据输入单元，本发明可将相机模块采集的图像数据以非常高效，低延迟的方式显示给人眼，大幅改善了图像延迟问题。

Description

一种将摄像头和眼部显示装置直接耦合的增强现实系统

技术领域

本发明涉及增强现实系统技术领域，具体涉及一种将摄像头和眼部显示装置直接耦合的增强现实系统。

背景技术

AR眼镜是一款带有科幻色彩的产品，也是一项拥有前卫技术的产品，带上它可以体验到在科幻电影里帅气的男、女主角所使用的未来功能，AR眼镜可以实现诸多功能，可以看作是一台微型的手机，通过跟踪眼球视线轨迹判断用户处于的状态，并且可以开启相应功能，如果需要打电话或者发短信只需要开启Google Voice语音输入信息即可。

现有的AR眼镜上的相机采集的图像数据投射到使用者眼中效率较低，且相机采集图像后显示给使用者眼中的延迟较高。

因此，发明一种将摄像头和眼部显示装置直接耦合的增强现实系统很有必要。

发明内容

为此，本发明提供一种将摄像头和眼部显示装置直接耦合的增强现实系统，通过通用计算模块、相机模块、计算模块通用数据交换单元、图像处理单元、计算模块图像数据输入单元、图像数据输出单元和相机模块数据输入单元，以解决现有的AR眼镜上的相机采集的图像数据投射到使用者眼中效率较低，且相机采集图像后显示给使用者眼中的延迟较高的问题。

为了实现上述目的，本发明提供如下技术方案：一种将摄像头和眼部显示装置直接耦合的增强现实系统，包括AR眼镜本体，还包括显示组件和通用计算模块，所述显示组件固定安装在AR眼镜本体的外侧上，所述显示组件远离AR眼镜本体的一侧固定安装有相机组件，所述AR眼镜本体内固定安装有图片处理组件和通用计算单元，所述通用计算模块电性连接有图像处理模块，所述图像处理模块电性连接有相机模块和显示模块；

所述图像处理模块包括图像数据输出单元、相机模块数据输入单元、计算模块图像数据输入单元、计算模块通用数据交换单元和图像处理单元，所述计算模块通用数据交换单元电性连接图像处理单元，所述图像处理单元电性连接计算模块图像数据输入单元，所述图像处理单元电性连接图像数据输出单元和相机模块数据输入单元。

优选的，所述计算模块图像数据输入单元和计算模块通用数据交换单元均与通用计算模块电性连接，所述图像数据输出单元与显示模块电性连接，所述相机模块数据输入单元与相机模块电性连接，所述图片处理组件和通用计算单元分别为图片处理器和计算芯片。

优选的，所述显示模块包括驱动单元，所述驱动单元与图像数据输出单元电性连接，所述驱动单元电性连接有显示单元，所述显示单元光学连接有光学单元。

优选的，所述显示组件和相机组件均设两组，所述相机模块和显示模块均设置两组。

优选的，所述图像数据输出单元为B图像数据输出单元，所述相机模块数据输入单元为Type-B相机模块数据输入单元。

优选的，所述AR眼镜本体和相机组件均设一组，所述相机模块和显示模块均设置一组。

优选的，所述图像数据输出单元为A图像数据输出单元，所述相机模块数据输入单元为Type-A相机模块数据输入单元。

本发明的有益效果是：可将相机模块采集的图像数据以非常高效，低延迟的方式显示给人眼，大幅改善了传统的基于相机模块采集图像后显示给人眼方案中的图像延迟问题。

附图说明

图1为本发明提供的实施例1中摄像头和眼部显示装置主视图；

图2为本发明提供的实施例1中增强系统结构图；

图3为本发明提供的显示模块结构图；

图4为本发明提供的实施例1中图像处理模块结构图；

图5为本发明提供的实施例2中摄像头和眼部显示装置主视图；

图6为本发明提供的实施例2中增强系统结构图；

图7为本发明提供的实施例2中图像处理模块结构图。

图中：1-AR眼镜本体，2-显示组件，3-相机组件，4-图像处理模块，41-Type-A相机模块数据输入单元，42-A图像数据输出单元，43-计算模块图像数据输入单元，44-计算模块通用数据交换单元44，45-图像处理单元，46-B图像数据输出单元，47-Type-B相机模块数据输入单元，5-相机模块，6-显示模块，61-驱动单元，62-显示单元，63-光学单元，7-通用计算模块。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

参照附图1-4，本发明提供的一种将摄像头和眼部显示装置直接耦合的增强现实系统，包括AR眼镜本体，还包括显示组件2和通用计算模块7，所述显示组件2固定安装在AR眼镜本体的外侧上，所述显示组件2远离AR眼镜本体的一侧固定安装有相机组件3，所述AR眼镜本体内固定安装有图片处理组件和通用计算单元，通用计算单元可以集成进AR眼镜中，也可以通过连接线外置与AR眼镜之外，通用计算单元连接图像处理单元的连接线可以是通用数据交换线和视频输入线分开成两股线，也可以采用单根数据线(如USB-typeC连接线、光通讯线等)进行视频信号和通用数据的传输,所述通用计算模块7电性连接有图像处理模块4，图像处理模块4用于对图像进行处理，所述图像处理模块4电性连接有相机模块5和显示模块6，相机模块5用于获取前方场景的画面，显示模块6用于将处理后的图像显示出来以给使用者观看，所述图像处理模块4包括图像数据输出单元、相机模块数据输入单元、计算模块图像数据输入单元43、计算模块通用数据交换单元44和图像处理单元45，计算模块通用数据交换单元44用于接收通用计算模块7发送过来的控制制指令数据，也可以向通用计算模块7发送相机模块5采集到的图像数据，所述计算模块通用数据交换单元44电性连接图像处理单元45，图像处理单元45用于对相机模块5采集到的每个场景图像进行畸变矫正、色偏调整、亮度调整等预处理，然后根据预设规则进行叠加计算，最后得到新的图像A，再将处理后的图像A和从通用计算模块7中输送过来的增强图像数据B进行融合得到新的图像C，图像A和增强图像数据融合的方式为：以图像A为背景、增强图像B为前景进行混合，对于图像C中坐标为(x，y)的像素C[x,y]，如果增强图像B中同样坐标的像素B[x,y]的RGB三个通道数值都是0的话，则在混合后输出图像的像素C[x,y]采用相机图像A同样XY坐标的像素A[x,y]的RGB颜色值、否则图像C[x,y]采用增强图像B的像素B[x,y]的RGB数值，所述图像处理单元45电性连接计算模块图像数据输入单元43，所述图像处理单元45电性连接图像数据输出单元和相机模块数据输入单元，相机模块数据输入单元用于连接相机模块5，通过相机模块数据输入单元接收相机模块5发送过来的图像，图像数据输出单元用于连接显示模块6，将处理后的图像发送给显示模块6。

进一步地，所述计算模块图像数据输入单元43和计算模块通用数据交换单元44均与通用计算模块7电性连接，所述图像数据输出单元与显示模块6电性连接，所述相机模块数据输入单元与相机模块5电性连接，所述图片处理组件和通用计算单元分别为图片处理器和计算芯片，所述图片处理器的型号设置为GeForce 700M，所述计算芯片的型号设置为CD4522BE，图片处理器用于对图像进行畸变矫正、色偏调整、亮度调整等处理，计算芯片用于计算增强数据。

进一步地，所述显示模块6包括驱动单元61，所述驱动单元61与图像数据输出单元电性连接，驱动单元61用于接收图像数据输出单元发送的图像，所述驱动单元61电性连接有显示单元62，显示单元62用于显示接收的处理后的图像，所述显示单元62光学连接有光学单元63，光学单元63负责将所述显示单元62生成的光学图像进行光路调整以便传输给人眼，使该图像能够在人眼中成像。

进一步地，所述显示组件2和相机组件3均设两组，所述相机模块5和显示模块6均设置两组，显示组件2和相机组件3均设两组给用户的双眼同时提供图像，让用户通过观看有视差的双目图像获得立体感。

进一步地，所述图像数据输出单元为B图像数据输出单元46，B图像数据输出单元46具有两个输出接口，用于同时将两个画面分别发送给两组显示组件6，所述相机模块数据输入单元为Type-B相机模块数据输入单元47，Type-B相机模块数据输入单元47具有两个输入接口，用于接收两组相机模块5发送的图像。

本发明的使用过程如下：使用者将AR眼镜本体1带在头上，两组相机模块5工作采集场景画面，两组相机模块5工作采集的场景画面均发送给Type-B相机模块数据输入单元47,Type-B相机模块数据输入单元47接收两组相机模块5发送的画面，图像处理单元45对两组画面进行畸变矫正、色偏调整、亮度调整等预处理，然后根据预设规则进行叠加计算，最后得到新的图像A1和A2，通过计算模块通用数据交换单元44发送相机模块5采集到的图像数据,计算模块图像数据输入单元43接收通用计算模块7发送的两组虚拟增强图像B1和B2并将两组增强图像数据B1和B2发送给图像处理单元45,然后将处理后的图像A1和图像B1、图像A2和图像B2根据预设的融合方式进行融合得到新的图像C1和C2，然后通过B图像数据输出单元46将图像C1和图像C2发送给两组驱动单元61,两组驱动单元61分别接收B图像数据输出单元46发送图像C1和图像C2，两组显示单元62分别将图像C1和图像C2显示出来，两组光学单元63分别将图像C1和C2投射入使用者眼中，同时将两组画面投射到使用者眼中，给用户的双眼同时提供图像，让用户通过观看有视差的双目图像获得立体感，即可解决光学透视式AR对于现实环境光透射率有限导致的现实影像暗淡、现实环境光和增强图像互相干扰导致增强图像不清晰等问题，画面亮度可调整到人眼最适宜接受的程度，合成的图像可以完全遮挡在现实图像前方而不会受到现实环境光的干扰，大幅降低现实场景画面从采样到显示的延迟。

实施例2：

参照附图5-7，所述AR眼镜本体和相机组件3均设一组，所述相机模块5和显示模块6均设置一组，AR眼镜本体和相机组件3均设一组可使得画面增强，成本又低。

进一步地，所述图像数据输出单元为A图像数据输出单元42，A图像数据输出单元42具有两个输出接口，用于将一个画面分别发送给一组显示组件6，所述相机模块数据输入单元为Type-A相机模块数据输入单元41，Type-A相机模块数据输入单元41具有一个输入接口，用于接收一组相机模块5发送的图像。

本发明的使用过程如下：使用者将AR眼镜本体1带在头上，两组相机模块5工作采集场景画面，两组相机模块5工作采集的场景画面均发送给Type-A相机模块数据输入单元41,Type-A相机模块数据输入单元41接收相机模块5发送的画面，图像处理单元45对画面进行畸变矫正、色偏调整、亮度调整等预处理，然后根据预设规则进行叠加计算，最后得到新的图像A1，通过计算模块通用数据交换单元44发送相机模块5采集到的图像数据,计算模块图像数据输入单元43接收通用计算模块7发送的虚拟增强图像B1并将增强图像数据B1发送给图像处理单元45，然后将处理后的图像A1和图像B1根据预设的融合方式进行融合得到新的图像C1，然后通过B图像数据输出单元46将图像C1发送给驱动单元61,驱动单元61接收B图像数据输出单元46发送的图像C1，显示单元62将图像C1显示出来，光学单元63将图像C1投射入使用者眼中，成本低，即可解决光学透视式AR对于现实环境光透射率有限导致的现实影像暗淡、现实环境光和增强图像互相干扰导致增强图像不清晰等问题，画面亮度可调整到人眼最适宜接受的程度，合成的图像可以完全遮挡在现实图像前方而不会受到现实环境光的干扰，大幅降低现实场景画面从采样到显示的延迟。

以上所述，仅是本发明的较佳实施例，任何熟悉本领域的技术人员均可能利用上述阐述的技术方案对本发明加以修改或将其修改为等同的技术方案。因此，依据本发明的技术方案所进行的任何简单修改或等同置换，尽属于本发明要求保护的范围。

Claims (6)

1.一种将摄像头和眼部显示装置直接耦合的增强现实系统，包括AR眼镜本体，其特征在于：还包括显示组件(2)和通用计算模块(7)，所述显示组件(2)固定安装在AR眼镜本体的外侧上，所述显示组件(2)远离AR眼镜本体的一侧固定安装有相机组件(3)，所述AR眼镜本体内固定安装有图片处理组件和通用计算单元，所述通用计算模块(7)电性连接有图像处理模块(4)，所述图像处理模块(4)电性连接有相机模块(5)和显示模块(6)；

所述图像处理模块(4)包括图像数据输出单元、相机模块数据输入单元、计算模块图像数据输入单元(43)、计算模块通用数据交换单元(44)和图像处理单元(45)，所述计算模块通用数据交换单元(44)电性连接图像处理单元(45)，所述图像处理单元(45)电性连接计算模块图像数据输入单元(43)，所述图像处理单元(45)电性连接图像数据输出单元和相机模块数据输入单元，所述计算模块图像数据输入单元(43)和计算模块通用数据交换单元(44)均与通用计算模块(7)电性连接，所述图像数据输出单元与显示模块(6)电性连接，所述相机模块数据输入单元与相机模块(5)电性连接，所述图片处理组件和通用计算单元分别为图片处理器和计算芯片；

所述图像处理单元(45)用于对所述相机模块(5)采集到的图像进行预处理，再根据预设规则进行叠加计算，得到图像A；

所述通用计算模块用于对所述相机模块(5)采集到的图像进行增强处理，得到增强图像B，并将增强图像B发送至所述图像处理单元(45)；

所述图像处理单元(45)能够将图像A与增强图像B进行融合，得到图像C，融合方式为：

以图像A为背景、增强图像B为前景进行混合，对于图像C中坐标为(x，y)的像素C[x,y]，如果增强图像B中同样坐标的像素B[x,y]的RGB三个通道数值都是0的话，则在混合后输出图像的像素C[x,y]采用相机图像A同样XY坐标的像素A[x,y]的RGB颜色值、否则图像C[x,y]采用增强图像B的像素B[x,y]的RGB数值。

2.根据权利要求1所述的一种将摄像头和眼部显示装置直接耦合的增强现实系统，其特征在于：所述显示模块(6)包括驱动单元(61)，所述驱动单元(61)与图像数据输出单元电性连接，所述驱动单元(61)电性连接有显示单元(62)，所述显示单元(62)光学连接有光学单元(63)。

3.根据权利要求1所述的一种将摄像头和眼部显示装置直接耦合的增强现实系统，其特征在于：所述显示组件(2)和相机组件(3)均设两组，所述相机模块(5)和显示模块(6)均设置两组。

4.根据权利要求1所述的一种将摄像头和眼部显示装置直接耦合的增强现实系统，其特征在于：所述图像数据输出单元为B图像数据输出单元(46)，所述相机模块数据输入单元为Type-B相机模块数据输入单元(47)。

5.根据权利要求1所述的一种将摄像头和眼部显示装置直接耦合的增强现实系统，其特征在于：所述AR眼镜本体和相机组件(3)均设一组，所述相机模块(5)和显示模块(6)均设置一组。

6.根据权利要求1所述的一种将摄像头和眼部显示装置直接耦合的增强现实系统，其特征在于：所述图像数据输出单元为A图像数据输出单元(42)，所述相机模块数据输入单元为Type-A相机模块数据输入单元(41)。

Images