一种VR眼镜及其信号处理方法、装置及介质
技术领域
本申请涉及VR技术领域,特别是涉及一种VR眼镜及其信号处理方法、装置及介质。
背景技术
虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。VR产品有多种,例如,VR眼镜,目前,VR眼镜可以通过有线连接个人计算机(PC)实现打游戏或者观看视频等体验。
由于人在佩带VR眼镜时,眼前只能观看到PC上的图像,功能较为单一,无法看到周围环境的具体情况,例如,无法观看行走路线,容易造成摔跤等问题。
发明内容
本申请的目的是提供一种VR眼镜及其信号处理方法、装置及介质,用于在PC输出的图像信号和相机模组输出的信号之间切换,功能更加丰富。
为解决上述技术问题,本申请提供一种基于FPGA的VR眼镜,包括眼镜本体,还包括:
设置于所述眼镜本体上的相机模组,用于在接收到启动信号后开启拍摄模式;
与所述相机模组连接的第一信号转换电路,用于将所述相机模组输出的第一图像信号进行信号转换;
用于与PC连接的PC接口,用于接收由所述PC传输的第二图像信号;
与所述PC接口连接的第二信号转换电路,用于将所述第二图像信号进行信号转换;
与所述第一信号转换电路和所述第二信号转换电路连接的FPGA处理模块,用于在接收到切换信号后将所述第一图像信号和所述第二图像信号进行切换并输出至所述眼镜本体中的显示屏。
优选地,所述第一图像信号为MIPI格式的信号,所述FPGA处理模块包括LVDS信号接口,用于接收所述第一图像信号,所述第一信号转换电路用于将所述MIPI格式的信号转换为LVDS格式的信号。
优选地,所述第二图像信号为HDMI格式的信号,所述FPGA处理模块包括RGB信号接口,用于接收所述第二图像信号,所述第二信号转换电路用于将所述HDMI格式的信号转换为RGB格式的信号。
优选地,所述FPGA处理模块的输出端输出RGB格式的信号,所述显示屏为包含RGB信号接口的有源矩阵有机发光二极体面板。
优选地,所述相机模组为两个。
优选地,还包括音频识别模块,用于在识别出预设关键词时,向所述FPGA处理模块发送所述切换信号。
优选地,还包括切换按键,用于在接收到按压信号时,向所述FPGA处理模块发送所述切换信号。
为解决上述技术问题,本申请还提供一种基于FPGA的VR眼镜的信号处理方法,所述VR眼镜包括眼镜本体、设置于所述眼镜本体上的相机模组、用于与PC连接的PC接口、第一信号转换电路、第二信号转换电路和FPGA处理模块,该方法包括:
向所述相机模块发送启动信号以开启拍摄模式;
在接收到切换信号后将由第一图像信号转换后的信号和由第二图像信号转换后的信号进行切换并输出至所述眼镜本体中的显示屏;
其中,所述第一信号转换电路将所述相机模组输出的所述第一图像信号进行信号转换,所述第二信号转换电路将所述PC输出的所述第二图像信号进行信号转换。
为解决上述技术问题,本申请还提供一种基于FPGA的VR眼镜的信号处理装置,所述VR眼镜包括眼镜本体、设置于所述眼镜本体上的相机模组、用于与PC连接的PC接口、第一信号转换电路、第二信号转换电路和FPGA处理模块,该装置包括:
发送模块,用于向所述相机模块发送启动信号以开启拍摄模式;
切换模块,用于在接收到切换信号后将由第一图像信号转换后的信号和由第二图像信号转换后的信号进行切换并输出至所述眼镜本体中的显示屏;
其中,所述第一信号转换电路将所述相机模组输出的所述第一图像信号进行信号转换,所述第二信号转换电路将所述PC输出的所述第二图像信号进行信号转换。
为解决上述技术问题,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的基于FPGA的VR眼镜的信号处理方法的步骤。
本申请所提供的基于FPGA的VR眼镜,除了眼镜本体外,还包括相机模组、第一转换电路、PC接口、第二转换电路和FPGA处理模块。其中,相机模组用于拍摄当前环境图像,并输出第一图像信号,PC接口用于接收PC传输的第二图像信号,第一图像信号和第二图像信号分别通过第一信号转换电路和第二信号转换电路转换后传输至FPGA处理模块。FPGA处理模块,用于在接收到切换信号后将第一图像信号和第二图像信号进行切换并输出至所述眼镜本体中的显示屏。由此可见,采用本实施例提供的VR眼镜,既可以实现VR眼镜连接PC的功能,又可以实现获取用户所处实际环境的图像,方便用户在不用摘取眼镜的情况下,获知周围情况,功能更加丰富,提高了用户的体验感。
此外,本申请所提供的基于FPGA的VR眼镜的信号处理方法,装置及介质与基于FPGA的VR眼镜相对应,效果同上。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于FPGA的VR眼镜的结构图;
图2为本申请实施例提供的一种第一信号转换电路的电路图;
图3为本申请实施例提供的一种FPGA芯片的第一部分的引脚图;
图4为本申请实施例提供的一种FPGA芯片的第二部分的引脚图;
图5为本申请实施例提供的一种FPGA芯片的第三部分的引脚图;
图6为本申请实施例提供的一种FPGA芯片的第四部分的引脚图;
图7为本申请实施例提供的一种基于FPGA的VR眼镜的信号处理方法的流程图;
图8为本申请实施例提供的一种基于FPGA的VR眼镜的信号处理装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本申请保护范围。
本申请的核心是提供一种VR眼镜及其信号处理方法、装置及介质。
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。
图1为本申请实施例提供的一种基于FPGA的VR眼镜的结构图。如图1所示,该眼镜包括眼镜本体,还包括:
设置于眼镜本体上的相机模组10,用于在接收到启动信号后开启拍摄模式;
与相机模组10连接的第一信号转换电路11,用于将相机模组10输出的第一图像信号进行信号转换;
用于与PC连接的PC接口12,用于接收由PC传输的第二图像信号;
与PC接口12连接的第二信号转换电路13,用于将第二图像信号进行信号转换;
与第一信号转换电路11和第二信号转换电路13连接的现场可编程门阵列(FPGA)处理模块14,用于在接收到切换信号后将第一图像信号和第二图像信号进行切换并输出至眼镜本体中的显示屏15。
在具体实施中,相机模组的数量不作限定,图1中示出两个,在其它实施例中,可以是一个,相机模组的作用是拍摄视野内的图像,通常情况下是视频信号,当然也可以是图片信号,相机模组所拍摄的图像用于告知用户所处的环境,例如,用户在佩带VR眼镜过程中,可以不用摘取眼镜就知道眼前是什么真实环境,以便帮助用户展示路线或者拿取物品等。
可以理解的是,如果只有一个相机模组可以安装在眼镜框的中部,如果是两个相机模组可以安装在眼镜框的两侧,当然,还可以是更多相机模组。相机模组越多,选取合适的安装位置,FPGA处理模块可以对多个相机模组输出的图像信号进行合并融合,生成视场角更大的图像,可实现观察周围360°情况。但是,由于相机模块的数量增加时,会占用过多的空间,增加了VR眼睛的重量,用户佩带的舒适度降低,也会给FPGA处理模块带来较大的处理压力。另外,如果是两个或两个以上相机模组,可以采用不同焦距的相机光圈,使得二者得到第一图像信号能够被FPGA融合,得到更清楚的视觉效果。
为了降低功耗,相机模组可以处于低功耗模式,甚至可以关闭,如论是哪种形式,在接收到开启信号后,可以对视野内的图像进行拍摄,并将第一图像信号输出至第一信号处理电路。这里之所以采用第一图像信号仅仅是为了与第二图像信号作区分之用。
通常情况下,相机模组输出的第一图像信号无法被FPGA所识别,所以本实施例中采用第一信号处理电路将第一图像信号进行信号转换,使得转换后的信号能够被FPGA处理模块所识别。可以理解的是,采用何种类型的信号转换方式,需要依据相机模组的接口,即输出的第一图像信号的格式和FPGA的接口类型决定而定,图1中,以第一图像信号为MIPI格式的信号和FPGA处理模块包括LVDS信号接口为例说明,则第一信号处理电路就是将MIPI格式的信号转换为LVDS格式的信号。至于第一信号处理电路采用何种器件实现本实施例不作限定。除了以上格式的信号,还可以是其它类型的格式,本实施例不作限定。
VR眼镜具有PC接口,可以与PC连接,从而获取第二图像信号,通常情况下,PC输出的第二图像信号无法被FPGA所识别,所以本实施例中采用第二信号处理电路将第二图像信号进行信号转换,使得转换后的信号能够被FPGA处理模块所识别。可以理解的是,采用何种类型的信号转换方式,需要依据PC接口,即输出的第二图像信号的格式和FPGA的接口类型决定而定,图1中,以第二图像信号为HDMI格式的信号和FPGA处理模块包括RGB信号接口为例说明,则第二信号处理电路就是将HDMI格式的信号转换为RGB格式的信号。至于第二信号处理电路采用何种器件实现本实施例不作限定。除了以上格式的信号,还可以是其它类型的格式,本实施例不作限定。
现场可编程门阵列(FPGA处理模块包含有FPGA芯片、电源管理模块等,其能够获取相机模组拍摄的图像,也可以获取由PC传输的图像,而至于显示屏显示何种图像,需要FPGA处理模块根据切换信号进行切换。FPGA芯片作为专用集成电路(ASIC)领域中的一种半定制电路而出现,既解决了定制电路的不足,又克服了原有可编程器件门电路数有限的缺点。其引脚数量较多,满足本申请的需求,并且,价格较低,可以降低VR眼镜整体的成本。
可以理解的是,本实施例中,对于切换信号的来源不作限定,下文中将以具体实施方式进行说明。通常情况下,FPGA处理模块默认是输出PC传输的第二图像信号,此时,如果接收到切换信号,则切换为输出相机模组拍摄的第一图像信号,当然,如果再接收到一次切换信号,则由当前输出第一图像信号改为输出第二图像信号。由此可见,FPGA处理模块可根据切换信号切换不同的图像,实现用户配戴VR眼睛的情况下,既可以在虚拟场景下进行娱乐,又可以在需要的情况下看到周围环境的实际情况。
眼镜本体中的显示屏通常是有两个,分别与用户的左眼和右眼对应,当然,还可以根据用户的选择开启其中一个显示屏,另外,显示屏的类型不作限定,以上均不影响本申请技术方案的实现。
本实施例提供的基于FPGA的VR眼镜,除了眼镜本体外,还包括相机模组、第一转换电路、PC接口、第二转换电路和FPGA处理模块。其中,相机模组用于拍摄当前环境图像,并输出第一图像信号,PC接口用于接收PC传输的第二图像信号,第一图像信号和第二图像信号分别通过第一信号转换电路和第二信号转换电路转换后传输至FPGA处理模块。FPGA处理模块,用于在接收到切换信号后将第一图像信号和第二图像信号进行切换并输出至所述眼镜本体中的显示屏。由此可见,采用本实施例提供的VR眼镜,既可以实现VR眼镜连接PC的功能,又可以实现获取用户所处实际环境的图像,方便用户在不用摘取眼镜的情况下,获知周围情况,功能更加丰富,提高了用户的体验感。
在上述实施例的基础上,作为优选地实施方式,第一图像信号为MIPI格式的信号,FPGA处理模块包括LVDS信号接口,用于接收第一图像信号,第一信号转换电路用于将MIPI格式的信号转换为LVDS格式的信号。
MIPI格式的信号一般是差分信号,差分信号为一正一负两根信号线,两者之间相位差180度,可以抑制共模干扰(同样的一个干扰源,在两根信号线上形成同样的干扰波形,最终一正一负正好抵消),还可以提升信号幅度(一正一负,两者的幅度相当于一根线上的幅度的两倍),LVDS格式的信号也是差分信号。
图2为本申请实施例提供的一种第一信号转换电路的电路图。如图2所示,第一信号转换电路包括MIPI接口接收设备和电阻R1和电阻R2。MIPI_0_P差分正极性信号传送到FPGA芯片中的I/O时分为HS_0_P高速信号和LP_0_P低速信号;MIPI_0_N差分正极性信号传送到FPGA芯片中的I/O时分为HS_0_N高速信号和LP_0_N低速信号。通过电阻R1连接LVDS接口的HS_0_P高速信号和LVCMOS12接口的LP_0_P低速信号,电阻R1阻值范围50Ω~150Ω;阻值可根据实际PCB线的阻抗来匹配。通过电阻R2连接LVDS接口的HS_0_N高速信号和LVCMOS12接口的LP_0_N低速信号,电阻R2阻值范围50Ω~150Ω。阻值可根据实际PCB线的阻抗来匹配。电阻R1、电阻R2同时起到终端电阻作用,保持信号完整性,电阻R1、电阻R2位置尽可能靠近MIPI接口接收设备的输入管脚。
在上述实施例的基础上,作为优选地实施方式,第二图像信号为HDMI格式的信号,FPGA处理模块包括RGB信号接口,用于接收第二图像信号,第二信号转换电路用于将HDMI格式的信号转换为RGB格式的信号。优选地,第二信号转换电路可以包括LT8619C芯片,本实施例不再赘述。HDMI格式的信号不仅可以满足1080P的分辨率,还能支持DVD Audio等数字音频格式,支持八声道96kHz或立体声192kHz数码音频传送,可以传送无压缩的音频信号及视频信号。与DVI接口相比HDMI接口的体积更小,只要一条缆线,就可以取代最多13条模拟传输线,能有效连线负载的问题。
在上述实施例的基础上,作为优选地实施方式,FPGA处理模块的输出端输出RGB格式的信号,显示屏为包含RGB信号接口的有源矩阵有机发光二极体面板。
本实施例中,采用有源矩阵有机发光二极体面板(AMOLED),其分辨率高达720P,屏幕尺寸却只有0.5寸,因此像素密度(PPI)高达2398,而一般VR眼镜的显示屏的PPI也仅在650左右,用该显示屏能极大改善VR眼镜的佩戴颗粒感。
图3为本申请实施例提供的一种FPGA芯片的第一部分的引脚图。图4为本申请实施例提供的一种FPGA芯片的第二部分的引脚图。图5为本申请实施例提供的一种FPGA芯片的第三部分的引脚图。图6为本申请实施例提供的一种FPGA芯片的第四部分的引脚图。其中,图3-图6中的引脚均集成在同一片FPGA芯片上。
如图3和图4所示,FPGA引脚用于与其中一个显示屏连接,图中采用后缀_A表示,如图5和图6所示,FPGA引脚用于与其中另一个显示屏连接,图中采用后缀_B表示。RGB格式的信号中每部分信号都包含有8位,所以对应在图中就是Ri_A或Ri_B、Gi_A或Gi_B和Bi_A或Bi_B,其中,i=0-7。HSYNC_A和HSYNC_B表示行同步信号,DCLK_A和DCLK_B表示时钟信号,VSYNC_A和VSYNC_B表示帧同步信号,DE_A和DE_B表示信号有效标识,其中,可以是高电平有效,也可以是低电平有效。
在上述实施例的基础上,还包括音频识别模块,用于在识别出预设关键词时,向FPGA处理模块发送切换信号。
在一些场景中,用户双手不方便控制相应的硬件产生切换信号,因此,本实施例中,通过声控的方式产生切换信号。具体的,音频识别模块采集用户的语音,当语音中包含有预设关键词时,向FPGA处理模块发送切换信号。可以连接的是,预设关键词可以为“切换”等。
在上述实施例的基础上,还包括切换按键,用于在接收到按压信号时,向FPGA处理模块发送切换信号。
考虑到按键触发的可靠性较高,本实施例中,在VR眼镜本体上设置切换按键,可以设置在眼镜腿的位置,切换按键与FPGA处理模块连接,其被按下时,将切换信号发送至FPGA处理模块。可以理解的是,切换按键可以是机械按键,也可以是触摸按键。
以上实施例中,对于基于FPGA的VR眼镜的硬件结构的实施例进行了详细描述,本申请还提供一种应用于该眼镜的信号处理方法。VR眼镜包括眼镜本体、设置于眼镜本体上的相机模组、用于与PC连接的PC接口、第一信号转换电路、第二信号转换电路和FPGA处理模块。其中,信号处理方法基于FPGA处理模块的角度说明。图7为本申请实施例提供的一种基于FPGA的VR眼镜的信号处理方法的流程图。如图7所示,该方法包括:
S10:向相机模块发送启动信号以开启拍摄模式。
S11:在接收到切换信号后将由第一图像信号转换后的信号和由第二图像信号转换后的信号进行切换并输出至眼镜本体中的显示屏。
其中,第一信号转换电路将相机模组输出的第一图像信号进行信号转换,第二信号转换电路将PC输出的第二图像信号进行信号转换。
由于上述实施例已经详细说明,故在此不再赘述。
本实施例提供的基于FPGA的VR眼镜的信号处理方法,既可以实现VR眼镜连接PC的功能,又可以实现获取用户所处实际环境的图像,方便用户在不用摘取眼镜的情况下,获知周围情况,功能更加丰富,提高了用户的体验感。
与上述方法对应,本申请还提供一种基于FPGA的VR眼镜的信号处理装置。VR眼镜包括眼镜本体、设置于眼镜本体上的相机模组、用于与PC连接的PC接口、第一信号转换电路、第二信号转换电路和FPGA处理模块。图8为本申请实施例提供的一种基于FPGA的VR眼镜的信号处理装置的结构图。如图8所示,该装置包括:
发送模块20,用于向相机模块发送启动信号以开启拍摄模式;
切换模块21,用于在接收到切换信号后将由第一图像信号转换后的信号和由第二图像信号转换后的信号进行切换并输出至眼镜本体中的显示屏;
其中,第一信号转换电路将相机模组输出的第一图像信号进行信号转换,第二信号转换电路将PC输出的第二图像信号进行信号转换。
本实施例提供的基于FPGA的VR眼镜的信号处理装置,既可以实现VR眼镜连接PC的功能,又可以实现获取用户所处实际环境的图像,方便用户在不用摘取眼镜的情况下,获知周围情况,功能更加丰富,提高了用户的体验感。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。故本申请还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述实施例所述的基于FPGA的VR眼镜的信号处理方法的步骤。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。