CN113156644A - 基于立体视觉显示的车辆互动显示系统 - Google Patents

基于立体视觉显示的车辆互动显示系统 Download PDF

Info

Publication number
CN113156644A
CN113156644A CN202010074651.0A CN202010074651A CN113156644A CN 113156644 A CN113156644 A CN 113156644A CN 202010074651 A CN202010074651 A CN 202010074651A CN 113156644 A CN113156644 A CN 113156644A
Authority
CN
China
Prior art keywords
display
light
display system
stereoscopic
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010074651.0A
Other languages
English (en)
Other versions
CN113156644B (zh
Inventor
吴慧军
徐俊峰
方涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Future Beijing Black Technology Co ltd
Original Assignee
Future Beijing Black Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Future Beijing Black Technology Co ltd filed Critical Future Beijing Black Technology Co ltd
Priority to CN202010074651.0A priority Critical patent/CN113156644B/zh
Publication of CN113156644A publication Critical patent/CN113156644A/zh
Application granted granted Critical
Publication of CN113156644B publication Critical patent/CN113156644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于立体视觉显示的车辆互动显示系统,包括控制装置、立体视觉显示系统和屏幕显示装置,其中立体视觉显示系统能够向眼盒区域投射出为第一特性光线的图像光线和为第二特性光线的图像光线,使得处于眼盒区域的用户能够观看到立体图像。立体视觉显示系统与屏幕显示装置之间通信连接,本基于立体视觉显示的车辆互动显示系统能够实现立体视觉显示系统与屏幕显示装置互动显示。

Description

基于立体视觉显示的车辆互动显示系统
技术领域
本发明涉及车辆智能技术领域,特别是涉及一种基于立体视觉显示的车辆互动显示系统。
背景技术
近年来,随着车辆智能化、车联网、自动驾驶等技术的不断发展,移动车载终端接收到的信息及扩展的各类应用层出不穷,人们对将车辆内所有显示屏联通,灵活显示各类信息的需求越来越大,但驾驶员在进行相关操作时视线容易偏离,有潜在的安全风险。
而平视显示(head up display,HUD)技术可以避免驾驶员在驾驶过程中低头看仪表盘或者其它显示屏所导致的分心,提高驾驶安全系数,同时也能带来更好的驾驶体验,近些年也受到越来越多的关注,在车载智能显示方面拥有巨大的应用潜力。
现有的平视显示设备采用自由曲面反射镜实现,像源产生的图像光线经过平面镜、自由曲面反射镜反射后入射至挡风玻璃,光线被挡风玻璃反射而进入用户眼睛,然而这种平视显示设备仅能显示二维图像画面,一般只能显示车速或者方向信息,无法显示更加丰富的内容,限制了平视显示设备进一步的推广与应用。
发明内容
本发明的目的是提供一种基于立体视觉显示的车辆互动显示系统,能够向用户显示出立体图像,能够实现立体视觉显示系统与屏幕显示装置互动显示。
为实现上述目的,本发明提供如下技术方案:
一种基于立体视觉显示的车辆互动显示系统,包括控制装置、立体视觉显示系统和屏幕显示装置,所述立体视觉显示系统和所述屏幕显示装置之间通信连接;
所述控制装置与所述立体视觉显示系统相连,用于控制所述立体视觉显示系统向眼盒区域投射出图像光线;
所述立体视觉显示系统包括图像产生装置和光线控制装置,所述图像产生装置至少包括第一光产生部和第二光产生部,所述第一光产生部用于产生为第一特性光线的图像光线,所述第二光产生部用于产生为第二特性光线的图像光线;
所述光线控制装置用于将所述第一光产生部产生光线引导传播至预设面并经所述预设面反射后传播至眼盒区域,将所述第二光产生部产生光线引导传播至所述预设面并经所述预设面反射后传播至眼盒区域,其中预设面包括车辆的挡风玻璃。
优选的,第一特性光线为第一偏振特性光线,第二特性光线为第二偏振特性光线。
优选的,第一特性光线为第一波段光线,第二特性光线为第二波段光线。
优选的,还包括应用于眼盒区域的光线处理装置,所述光线处理装置包括用于允许第一特性光线透过的第一元件和用于允许第二特性光线透过的第二元件。
优选的,所述光线控制装置包括第一光学部和第二光学部,所述第一光学部用于将通过光线扩展以调控光线的发散角度和/或传播方向,将入射的图像光线扩展而引导入射至所述第二光学部以及将由所述第二光学部返回的图像光线扩展而引导发射出,所述第二光学部用于将所述第一光学部出射的图像光线回反射至所述第一光学部,以使得由所述光线控制装置出射的图像光线经所述预设面反射后传播至眼盒区域。
优选的,所述第二光学部包括排布的多个光学介质体,所述光学介质体至少包括用于接收入射光线的表面以及若干用于引导光线在所述光学介质体传播而最终对向传播出的表面;
或者,所述第二光学部包括反射面以及排布在所述反射面一侧的多个光学介质体,所述光学介质体包括为曲面的表面,所述光学介质体用于将入射光线折射进入所述光学介质体内部并入射到所述反射面,并将被所述反射面反射回的光线折射出所述光学介质体外,出射光线与入射光线传播方向相反。
优选的,所述光线控制装置包括第一光学部和第二光学部,所述第一光学部用于将通过光线扩展以调控光线的发散角度和/或传播方向,将入射的图像光线扩展而引导入射至所述第二光学部以及将由所述第二光学部返回的图像光线扩展而引导发射出,所述第二光学部用于将所述第一光学部出射的图像光线反射回所述第一光学部并调控光线的主光轴方向,以使得由所述光线控制装置出射的图像光线经所述预设面反射后传播至眼盒区域。
优选的,所述第二光学部包括多个离散排布的反射面,各个反射面分别将所述第一光学部出射的不同传播方向的图像光线反射回所述第一光学部,以使得由所述光线控制装置出射的图像光线经所述预设面反射后出射至同一眼盒区域;
或者,所述第二光学部包括连续型反射面,所述反射面用于将所述第一光学部出射的不同传播方向的图像光线反射回所述第一光学部,以使得由所述光线控制装置出射的图像光线经所述预设面反射后出射至同一眼盒区域。
优选的,所述控制装置还用于根据指令控制所述立体视觉显示系统显示包含第一信息对应内容的图像画面,或者根据指令控制所述屏幕显示装置显示包含第二信息对应内容的图像画面。
优选的,所述控制装置具体用于根据所述立体视觉显示系统的属性调整所述第一信息以使得第一信息对应内容的显示因素符合所述立体视觉显示系统,或者根据所述屏幕显示装置的属性调整所述第二信息以使得第二信息对应内容的显示因素符合所述屏幕显示装置。
优选的,所述控制装置还用于根据指令控制所述屏幕显示装置当前显示的第二信息对应内容切换至所述立体视觉显示系统,以由所述立体视觉显示系统显示所述第二信息对应内容,或者根据指令控制所述立体视觉显示系统当前显示的第一信息对应内容切换至所述屏幕显示装置,以由所述屏幕显示装置显示所述第一信息对应内容。
优选的,所述控制装置具体用于根据所述立体视觉显示系统的属性调整所述第二信息以使得第二信息对应内容的显示因素符合所述立体视觉显示系统,或者根据所述屏幕显示装置的属性调整所述第一信息以使得第一信息对应内容的显示因素符合所述屏幕显示装置。
优选的,所述控制装置还用于控制所述立体视觉显示系统向眼盒区域投射出包括控制界面的图像光线,所述控制界面展示了第一信息选项、第二信息选项、第三信息选项和第四信息选项,通过用户操作选择任一信息选项以下发用于控制预设显示装置显示用户选择的想要显示信息对应内容。
优选的,所述控制装置还用于控制所述立体视觉显示系统向眼盒区域投射出包括控制界面的图像光线,所述控制界面以分屏形式展示了各个所述屏幕显示装置所显示内容,以使得用户根据控制界面展示信息下发用于控制预设屏幕显示装置显示相应内容的指令,所述分屏形式是指在同一显示画面上同时展示各个所述屏幕显示装置的显示画面。
优选的,所述立体视觉显示系统还用于向眼盒区域投射出将整个挡风玻璃区域划分为多个子显示区域的图像光线,所述多个子显示区域包括第一子显示区域和第二子显示区域;
所述控制装置还用于根据指令控制所述第一子显示区域显示包含第一信息对应内容的图像画面,或者根据指令控制所述第二子显示区域显示包含第二信息对应内容的图像画面。
优选的,所述立体视觉显示系统还用于向眼盒区域投射出包括多个以前后层次分层次显示的子显示画面的图像光线,所述多个子显示画面包括第一子显示画面和第二子显示画面;
所述控制装置还用于根据指令控制所述立体视觉显示系统将所述第一子显示画面显示第一信息对应内容,或者根据指令控制所述立体视觉显示系统将所述第二子显示画面显示第二信息对应内容。
优选的,所述控制装置还用于根据指令控制所述立体视觉显示系统将所述第一子显示画面推进到最前方进行显示。
优选的,所述控制装置还用于向预设车辆的立体视觉显示系统或者屏幕显示装置传输数据,以将该数据在预设车辆的立体视觉显示系统或者屏幕显示装置上显示,或者所述控制装置还用于接收预设车辆传输来的数据,以将该数据在本车辆的立体视觉显示系统或者屏幕显示装置上显示,所述预设车辆与本车辆能够相互通信。
优选的,所述控制装置具体用于获取用户通过实体按键、肢体动作或者发出语音触发产生的指令。
优选的,所述屏幕显示装置还包括车辆的中控台、仪表盘、后视镜显示屏、车载导航仪、行车记录仪、DVD播放屏和/或移动通信设备。
由上述技术方案可知,本发明所提供的一种基于立体视觉显示的车辆互动显示系统,包括控制装置、立体视觉显示系统和屏幕显示装置,其中立体视觉显示系统能够向眼盒区域投射出为第一特性光线的图像光线和为第二特性光线的图像光线,使得双眼处于眼盒区域的用户能够观看到立体图像。立体视觉显示系统与屏幕显示装置之间通信连接,本基于立体视觉显示的车辆互动显示系统能够实现立体视觉显示系统与屏幕显示装置互动显示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于立体视觉显示的车辆互动显示系统示意图;
图2为本发明一种实施例的立体视觉显示系统示意图;
图3为本发明一种实施例的光线控制装置示意图;
图4为本发明一种具体实施方式的第二光学部示意图;
图5为本发明又一种具体实施方式的第二光学部示意图;
图6为本发明又一种具体实施方式的第二光学部示意图;
图7为本发明又一种具体实施方式的第二光学部示意图;
图8为本发明又一种实施例的光线控制装置示意图;
图9为本发明实施例中控制装置控制立体视觉显示系统和屏幕显示装置之间实现互动显示的方法流程图;
图10为本发明一种实施例的从眼盒区域观看到的挡风玻璃显示画面;
图11为本发明又一种实施例的从眼盒区域观看到的挡风玻璃显示画面;
图12为本发明又一种实施例的从眼盒区域观看到的挡风玻璃显示画面。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
请参考图1,图1为本发明实施例提供的一种基于立体视觉显示的车辆互动显示系统示意图,由图可看出,所述系统包括控制装置11、立体视觉显示系统10和屏幕显示装置12,所述立体视觉显示系统10和所述屏幕显示装置12之间通信连接;
所述控制装置11与所述立体视觉显示系统10相连,用于控制所述立体视觉显示系统10向眼盒区域投射出图像光线;
所述立体视觉显示系统10包括图像产生装置和光线控制装置,所述图像产生装置至少包括第一光产生部和第二光产生部,所述第一光产生部用于产生为第一特性光线的图像光线,所述第二光产生部用于产生为第二特性光线的图像光线;
所述光线控制装置用于将所述第一光产生部产生光线引导传播至预设面并经所述预设面反射后传播至眼盒区域,将所述第二光产生部产生光线引导传播至所述预设面并经所述预设面反射后传播至眼盒区域,其中预设面包括车辆的挡风玻璃。
其中,图像产生装置产生图像光线,图像光线是指携带图像信息的光线,用户眼睛获取到图像光线后用户能够看到图像画面。眼盒(eyebox)区域是指用户能够接收到光线而观看到图像画面的位置区域。
屏幕显示装置12是指以实体屏幕显示图像的装置。本基于立体视觉显示的车辆互动显示系统中,立体视觉显示系统10能够通过挡风玻璃向眼盒区域投射出为第一特性光线的图像光线和为第二特性光线的图像光线,使得处于眼盒区域的用户能够通过挡风玻璃观看到立体图像,用户不需要低头即可观看到立体图像。其中立体视觉显示系统10与屏幕显示装置12之间通信连接,从而本基于立体视觉显示的车辆互动显示系统能够实现立体视觉显示系统与屏幕显示装置互动显示。
下面结合具体实施方式和附图对本基于立体视觉显示的车辆互动显示系统的立体视觉显示系统进行详细说明。
请参考图2,图2为一种实施例的立体视觉显示系统示意图,由图可看出,所述立体视觉显示系统包括图像产生装置和光线控制装置,图像产生装置包括第一光产生部100和第二光产生部101,所述第一光产生部100用于产生为第一特性光线的图像光线,所述第二光产生部101用于产生为第二特性光线的图像光线。光线控制装置103用于将所述第一光产生部100产生光线引导传播至预设面并经所述预设面反射后传播至眼盒区域,将所述第二光产生部101产生光线引导传播至所述预设面并经所述预设面反射后传播至眼盒区域,其中预设面包括车辆的挡风玻璃。
在具体应用时,立体视觉显示系统还包括应用于眼盒区域的光线处理装置,所述光线处理装置包括用于允许第一特性光线透过的第一元件和用于允许第二特性光线透过的第二元件,具体的,第一元件允许第一特性光线透过是指第一元件只允许第一特性光线透过,第二元件允许第二特性光线透过是指第二元件只允许第二特性光线透过,处于眼盒区域的用户通过光线处理装置,左眼通过光线处理装置的第一元件获取到为第一特性光线的图像光线,右眼通过光线处理装置的第二元件获取到为第二特性光线的图像光线,用户眼睛获取到两种光线从而观看到立体图像。示例性的,光线处理装置可以是但不限于立体眼镜,光线处理装置的第一元件和第二元件分别对应于立体眼镜的两个镜片。
可选的,第一特性光线可以为第一偏振特性光线,第二特性光线为第二偏振特性光线,具体第一偏振特性光线为水平线偏振光,第二偏振特性光线为垂直线偏振光。可选的,第一特性光线可以为第一波段光线,第二特性光线为第二波段光线,其中第一波段光线的波段范围和第二波段光线的波段范围不相同,如第一波段光线包括红光(波长范围600-640nm)、绿光(波长范围490-530nm)、蓝光(波长范围400-430nm),第二波段光线包括红光(波长范围650-700nm)、绿光(波长范围540-560nm)、蓝光(波长范围440-450nm)。
在具体实施时,图像产生装置可以是投影机或者液晶显示装置,或者也可以是其它显示装置,都在本发明保护范围内。
下面结合具体实施方式和附图对本基于立体视觉显示的车辆互动显示系统的光线控制装置光学结构做进一步说明。请参考图3,图3为一种实施例的光线控制装置示意图,由图可看出,光线控制装置包括第一光学部21和第二光学部22,所述第一光学部21用于将通过光线扩展以调控光线的发散角度和/或传播方向,将入射的图像光线扩展而引导入射至所述第二光学部22以及将由所述第二光学部22返回的图像光线扩展而引导发射出,所述第二光学部22用于将所述第一光学部21出射的图像光线回反射至所述第一光学部21,以使得由所述光线控制装置出射的图像光线经所述预设面反射后传播至眼盒区域,其中预设面包括车辆的挡风玻璃。具体的,回反射是指入射光线与出射光线的传播方向相反。
第一光学部21通过调控光线的发散角度或/和传播方向,来控制光线的扩散程度。第一光学部21对光线的扩散角度越小,成像亮度越高,视角范围也越小;第一光学部21对光线的扩散角度越大,成像亮度越低,视角范围也越大。可选的,第一光学部21可采用衍射光学元件(Diffractive Optical Elements,DOE),衍射光学元件可采用可形成各种光斑形状的光束整形器(Beam Shaper)。第一光学部21通过调控光线的发散角度或/和传播方向,能够控制光线扩散区域的形状,光线扩散区域的形状可以被调控为线形、圆形、椭圆形、正方形、长方形或者蝙蝠翼形状,或者也可以是其它形状。
在一种实施方式中,第二光学部22包括排布的多个光学介质体,所述光学介质体至少包括用于接收入射光线的表面以及若干用于引导光线在所述光学介质体传播而最终对向传播出的表面。光学介质体可以是三角锥结构或者立方体结构,三角锥结构可以是正三角锥结构或者等腰三角锥结构。示例性的,请参考图4,图4为一种具体实施方式的第二光学部示意图,从图可看出,入射光线入射到第二光学部的光学介质体220,由光学介质体220的一个表面进入其内部,光线在光学介质体内经过若干表面反射后最终以与入射方向相反方向传播出。
优选的请参考图5,图5为又一种具体实施方式的第二光学部示意图。第二光学部22可包括基底层223、支撑层222和多个光学介质体221,支撑层222形成在基底层223上,多个光学介质体221排布设置在支撑层222上。其中光学介质体221的折射率需要大于支撑层222的折射率,光学介质体221将入射光线中入射角大于临界角的光线,以全反射的方式沿光线入射方向的相反方向反射回第一光学部21。
在又一种具体实施方式中,第二光学部包括反射面以及排布在所述反射面一侧的多个光学介质体,所述光学介质体包括为曲面的表面,所述光学介质体用于将入射光线折射进入所述光学介质体内部并入射到所述反射面,并将被所述反射面反射回的光线折射出所述光学介质体外,出射光线与入射光线传播方向相反。具体的,光学介质体可以是颗粒结构,具体可以是球状颗粒或者椭球状颗粒,颗粒结构可以是暴露设置在反射面上,或者颗粒结构嵌入反射面内。可选的,颗粒结构可以是玻璃颗粒、树脂颗粒或者高分子聚合物颗粒,或者也可以是由其它材料制作的颗粒结构。反射面可以是金属膜反射面。请参考图6,图6为本具体实施方式的第二光学部示意图,由图可看出,入射光线从光学介质体224的P点折射进入光学介质体224内,并入射到反射面225,而后光线被反射面225反射回并从Q点折射出光学介质体224外,出射光线与入射光线的传播方向正好相反。
在又一种具体实施方式中,第二光学部22具体用于通过改变光线的相位而将光线回反射。第二光学部22由预设材料制作形成,预设材料能够调制光线的相位,入射光线在由预设材料制作的第二光学部22内经过多次改变相位,每次相位改变介于(0,2π)之间,并最终导致累计相位被改变为π或大于π,使得入射光线和出射光线之间的相位累计改变π,从而起到回反射的作用。
具体可参考图7,本实施方式中第二光学部22可包括沿光线入射方向依次设置的光线汇聚层226、隔离层227、反射层228和衬底229,所述光线汇聚层226用于将入射光线汇聚入射到所述反射层228,所述反射层228用于将光线反射,所述光线汇聚层226和所述反射层228分别由能够调制光线相位的材料制成。反射层228位于光线汇聚层226的焦平面上,光线汇聚层226和反射层228分别采用不同的超材料(Metamaterial)制成,不同的超材料是指具有不同尺寸、成份、形状或者排布方式的材料。光线在超材料制成的光线汇聚层226和反射层228的共同作用下相位累计改变π,超材料制成的光线汇聚层对光线起到回反射作用,使得光线能够沿光线的入射方向的相反方向反射出。具体应用于本实施例的超材料具有各向异性的特性,可以对光线进行相位补偿,即通过改变入射到超材料的光线的相位,来改变光线的反射和折射方向,从而实现光线汇聚、折射、反射等功能,具体可包括但不限于:钛酸锶、氧化铬、氧化铜、二氧化钛(金红石型)、二氧化钛(锐钛矿型)、非晶硒、氧化锌、氮化镓、碘晶体、非晶硅、以及单晶硅。
请参考图8,图8为又一种实施例的光线控制装置示意图,由图可看出,所述光线控制装置包括第一光学部23和第二光学部24,所述第一光学部23用于将通过光线扩展以调控光线的发散角度和/或传播方向,将入射的图像光线扩展而引导入射至所述第二光学部24以及将由所述第二光学部24返回的图像光线扩展而引导发射出,所述第二光学部24用于将所述第一光学部23出射的图像光线反射回所述第一光学部23并调控光线的主光轴方向,以使得由所述光线控制装置出射的图像光线经所述预设面反射后传播至眼盒区域。其中第一光学部23的具体实施方式可参考上一实施例描述的第一光学部21,本实施例中不再赘述。
请结合参考图8,光产生部20发出的光线A经过第一光学部23后射向第二光学部24,第一光学部23会对光线A进行第一次弥散,为了方便描述,图8中未表示出第一次弥散过程。之后第二光学部24将入射的光线A进行反射。参考图8所示,当不存在第一光学部23时,光线A可以沿着光路a射向预设位置130;当在第二光学部24一侧设置第一光学部23后,反射回的光线再次经过第一光学部23进行第二次弥散,将光线A弥散成多个光线(包括光线A1、光线A2等)并分散至一个范围内,即形成光斑131,使观察者在光斑131的范围内均可以观看到像源的成像。光线控制装置通过第二光学部可以将不同入射角度的入射光线汇聚至同一个位置,可以提高光线亮度;同时,通过第一光学部将光线弥散开,从而可以形成预设形状的光斑,方便后续在光斑范围内成像,从而在提高光线亮度的同时,还可以扩大成像范围,此外能够使得图像生成装置的光源不需要大功率即可提供足够亮度的光线,从而可以降低对带光源的设备的散热要求。
进一步的在一种实施方式中,第二光学部24可包括多个离散排布的反射面,各个反射面分别将第一光学部23出射的不同传播方向的图像光线反射回第一光学部23,以使得由所述光线控制装置出射的图像光线经所述预设面反射后出射至同一眼盒区域。可选的在又一种实施方式中,第二光学部24包括连续型反射面,所述反射面用于将所述第一光学部23出射的不同传播方向的图像光线反射回所述第一光学部23,以使得由所述光线控制装置出射的图像光线经所述预设面反射后出射至同一眼盒区域。
下面结合具体实施方式和附图对本基于立体视觉显示的车辆互动显示系统实现互动显示的应用功能进行详细说明。
参考图1所示,所述基于立体视觉显示的车辆互动显示系统包括控制装置11、立体视觉显示系统10和屏幕显示装置12,控制装置11与立体视觉显示系统10、屏幕显示装置12分别相连。
可选的,屏幕显示装置12可以是但不限于车辆的中控台、仪表盘、后视镜显示屏、车载导航仪、行车记录仪、DVD播放屏和/或移动通信设备,移动通信设备包括智能手机或者电脑。
立体视觉显示系统10和屏幕显示装置12之间通信连接,可选的,可以通过有线方式通信连接或者通过无线方式通信连接,示例性的,可通过无线方式如WiFi、信号传输、蓝牙、ZigBee、光通信等进行连接,实现通信连接和数据传输;也可通过有线方式如数据线实现数据传输,本发明对此不做限定。
具体的,请参考图9,控制装置11控制立体视觉显示系统10和屏幕显示装置12之间实现互动显示的方法主要包括以下过程:
S300:判断是否获取到启动立体视觉显示系统显示立体图像的启动指令,若是则进入步骤S301。可选的,可以是当车辆发动机启动时控制装置11获取到启动指令,即启动指令可为自动指令,比如随车辆发动而启动。或者当用户触发时控制装置11获取到启动指令,即启动指令也可为手动指令,比如驾驶员/乘客需要观看立体图像时可通过语音/触控等方式启动。
S301:判断是否获取到用于指示立体视觉显示系统所显示内容的指令,若是则进入步骤S302,若否则进入步骤S303。
S302:根据指令控制立体视觉显示系统显示包含第一信息对应内容的图像画面。其中上述用于指示立体视觉显示系统所显示内容的指令指示立体视觉显示系统10显示第一信息内容。
优选的,控制装置11具体用于根据立体视觉显示系统10的属性调整所述第一信息以使得第一信息对应内容的显示因素符合所述立体视觉显示系统10。显示因素具体可包括分辨率、帧率、码率、画幅等的至少一项。由于立体视觉显示系统10和屏幕显示装置12的显示原理、显示方式、显示画面大小不相同,因此通过立体视觉显示系统10显示第一信息对应内容时需要根据立体视觉显示系统10的属性调整第一信息对应内容的显示因素,以使得通过立体视觉显示系统10显示的第一信息对应内容的画面清晰。
进一步的,控制装置11执行的方法过程还包括步骤S305:若接收到第一切换指令,则根据第一切换指令控制所述屏幕显示装置12当前显示的第二信息对应内容切换至所述立体视觉显示系统10,以由所述立体视觉显示系统显示所述第二信息对应内容。其中第一切换指令指示将屏幕显示装置12当前显示的第二信息对应内容切换至所述立体视觉显示系统。
比如,若用户在驾车过程中需要详细关注导航地图信息,而当前导航地图信息在车载导航仪屏幕上,导致用户需要不断低头看导航仪屏幕,给驾车带来安全风险,这种情形下用户可以操作将导航地图信息内容切换到立体视觉显示系统10进行显示,不仅避免了用户需要低头看屏幕,并且通过立体图像展示导航地图信息使画面更形象、逼真,有利于用户安全驾驶车辆,提升驾车体验。
进一步优选的,控制装置11具体用于根据所述立体视觉显示系统10的属性调整所述第二信息以使得第二信息对应内容的显示因素符合所述立体视觉显示系统10。由于立体视觉显示系统10和屏幕显示装置12的显示原理、显示方式、显示画面大小不相同,因此将第二信息对应内容切换到立体视觉显示系统10时,要根据立体视觉显示系统的属性相应性地调整第二信息对应内容的显示因素,以使得通过立体视觉显示系统10显示的第二信息对应内容的画面清晰。
可见,本实施例基于立体视觉显示的车辆互动显示系统能够实现将屏幕显示装置所显示内容切换到立体视觉显示系统上以立体图像显示,能够实现屏幕显示装置和立体视觉显示系统之间的画面灵活切换,能够提升用户的驾车和乘车体验。
S303:控制立体视觉显示系统向眼盒区域投射出包括控制界面的图像光线,所述控制界面展示了第一信息选项、第二信息选项、第三信息选项和第四信息选项,通过用户操作选择任一信息选项以下发用于控制预设显示装置显示用户选择的想要显示信息对应内容。
用户根据车辆挡风玻璃显示出的以立体图像展示的控制界面,根据控制界面的各个信息选项可以从中选择想要显示的信息,并可以选择由哪一显示装置显示,比如可选择由立体视觉显示系统10以立体图像向用户显示,或者可以选择由任意一种屏幕显示装置12显示。本车辆互动显示系统利用立体视觉显示系统10通过车辆挡风玻璃呈现的立体图像画面画幅大,进而通过立体图像画面向车辆内用户显示出控制界面,从而车辆内用户能够根据以立体图像展示的控制界面,操作选择想要观看的信息内容。
可选的,第一信息或者第二信息可以是用于辅助驾驶员操控车辆的与车辆相关的信息数据,具体可包括车辆的运行数据以及车辆的运行数据超出对应安全范围的提示信息,车辆的运行数据包括但不限于车辆的行驶速度、行驶方向、行驶车道、地理位置、油量或者电量、总行驶时间、总行驶路程、前方能见度、车辆与相邻车辆的距离等数据。可选的,第一信息或者第二信息可包括导航地图信息、导航提示信息或者规划出的路径信息等信息数据,还可以是与用户相关的即时通讯信息,即时通讯信息可包括但不限于语音通话、视频通话、短消息、社交软件通讯信息或者邮件信息等。第一信息或者第二信息还可以是娱乐信息,娱乐信息包括但不限于用于娱乐的音频播放、视频播放等信息数据。
控制装置11执行的方法过程还包括步骤S304:若获取到用于指示屏幕显示装置所显示内容的指令,则根据指令控制所述屏幕显示装置显示包含第二信息对应内容的图像画面。其中上述的用于指示屏幕显示装置所显示内容的指令指示屏幕显示装置显示第二信息内容。
用户根据车辆挡风玻璃显示出的以立体图像展示的控制界面,若选择由屏幕显示装置12显示第二信息内容,那么下发指令,从而控制装置11根据指令控制相应的屏幕显示装置12显示第二信息对应内容。优选的,控制装置11根据屏幕显示装置12的属性调整所述第二信息以使得第二信息对应内容的显示因素符合所述屏幕显示装置。由于立体视觉显示系统10和屏幕显示装置12的显示原理、显示方式、显示画面大小不相同,因此通过屏幕显示装置12显示第二信息对应内容时需要根据屏幕显示装置12的属性调整第二信息对应内容的显示因素,以使得通过屏幕显示装置12显示的第二信息对应内容的画面清晰,便于用户观看。
进一步的,若接收到第二切换指令,则根据第二切换指令控制所述立体视觉显示系统10当前显示的第一信息对应内容切换至所述屏幕显示装置12,以由所述屏幕显示装置12显示所述第一信息对应内容。其中第二切换指令指示将立体视觉显示系统10当前显示的第一信息对应内容切换至屏幕显示装置12。
可见,本实施例基于立体视觉显示的车辆互动显示系统能够控制立体视觉显示系统和屏幕显示装置分别显示不同的信息内容,并且可以根据需求灵活切换屏幕显示装置和立体视觉显示系统之间的显示画面,其中立体视觉显示系统通过车辆挡风玻璃向处于眼盒区域用户显示出立体图像,可以由立体视觉显示系统以立体图像展示控制界面,以立体图像向用户显示信息内容更生动、形象,并且用户不需要低头即可观看到立体图像。
在一种实施例中,控制装置11具体用于控制所述立体视觉显示系统10向眼盒区域投射出包括控制界面的图像光线,所述控制界面以分屏形式展示了各个所述屏幕显示装置12所显示内容,以使得用户根据控制界面展示信息下发用于控制预设屏幕显示装置显示相应内容的指令,所述分屏形式是指在同一显示画面上同时展示各个所述屏幕显示装置的显示画面。示例性的,请参考图10,图10为一种实施例的从眼盒区域观看到的挡风玻璃显示画面,可以看出,在挡风玻璃显示画面中以分屏形式展示了四个显示画面,各个显示画面分别显示相应的屏幕显示装置12当前显示的内容,如图中所示画面区域1对应为车载导航仪,画面区域2对应为电脑车机屏,区域3对应为仪表盘画面,区域4对应为用户手机屏幕对应显示内容,用户通过立体视觉显示系统10展示的控制界面,能够得知各个屏幕显示装置所显示内容,并且能够根据需求控制相应的屏幕显示装置显示所想要显示的画面。
在又一种实施例中,优选的,立体视觉显示系统10还用于向眼盒区域投射出将整个挡风玻璃区域划分为多个子显示区域的图像光线,所述多个子显示区域包括第一子显示区域和第二子显示区域;控制装置11还用于根据指令控制所述第一子显示区域显示包含第一信息对应内容的图像画面,或者根据指令控制所述第二子显示区域显示包含第二信息对应内容的图像画面。示例性的,请参考图11,图11为又一种实施例的从眼盒区域观看到的挡风玻璃显示画面,可以看出,在挡风玻璃显示画面中展示了三个子显示区域包括子显示区域400、子显示区域401和子显示区域402,控制装置11可以分别控制各个子显示区域显示相应的信息内容。
优选的,立体视觉显示系统10还用于向眼盒区域投射出包括多个以前后层次分层次显示的子显示画面的图像光线,所述多个子显示画面包括第一子显示画面和第二子显示画面;控制装置11还用于根据指令控制所述立体视觉显示系统10将所述第一子显示画面显示第一信息对应内容,或者根据指令控制所述立体视觉显示系统10将所述第二子显示画面显示第二信息对应内容。示例性的,请参考图12,图12为又一种实施例的从眼盒区域观看到的挡风玻璃显示画面,可以看出,在挡风玻璃显示画面中展示了三个子显示画面包括子显示画面500、子显示画面501和子显示画面502,各个子显示画面以前后层次分层次显示,控制装置可以分别控制各个子显示画面显示相应的信息内容。
进一步的,控制装置11还用于根据指令控制所述立体视觉显示系统10将所述第一子显示画面推进到最前方进行显示。用户根据从车辆的挡风玻璃呈现的以前后层次分层次显示的子显示画面,用户可以根据需求通过操作将其中任意一个子显示画面推进到最前方进行显示,以便更详细地观看该子显示画面所展示的信息内容。
进一步优选的,控制装置11还用于向预设车辆的立体视觉显示系统或者屏幕显示装置传输数据,以将该数据在预设车辆的立体视觉显示系统或者屏幕显示装置上显示,或者所述控制装置11还用于接收预设车辆传输来的数据,以将该数据在本车辆的立体视觉显示系统或者屏幕显示装置上显示,所述预设车辆与本车辆能够相互通信。传输数据可以是图片数据、文字数据或者视频数据。因此,本车辆互动显示系统可以实现本车辆与其它车辆之间的互动显示,可以应用于进行互动娱乐,提升驾驶员/乘客的驾车乘车体验。
在以上实施例中,控制装置11可以获取用户通过实体按键、肢体动作或者发出语音触发产生的指令,用户可通过实体按键控制操作,或者通过肢体动作进行控制操作,或者可以通过发出语音来触发控制。
综上所述,通过本发明实施例提供的基于立体视觉显示的车辆互动显示系统,能够控制立体视觉显示系统和屏幕显示装置分别显示不同的信息内容,并且可以根据需求灵活切换屏幕显示装置和立体视觉显示系统之间的显示画面,其中立体视觉显示系统通过车辆挡风玻璃向处于眼盒区域用户显示出立体图像,可以由立体视觉显示系统以立体图像展示控制界面,以立体图像向用户显示信息内容更生动、形象,并且用户不需要低头即可观看到立体图像。
以上对本发明所提供的一种基于立体视觉显示的车辆互动显示系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (20)

1.一种基于立体视觉显示的车辆互动显示系统,其特征在于,包括控制装置、立体视觉显示系统和屏幕显示装置,所述立体视觉显示系统和所述屏幕显示装置之间通信连接;
所述控制装置与所述立体视觉显示系统相连,用于控制所述立体视觉显示系统向眼盒区域投射出图像光线;
所述立体视觉显示系统包括图像产生装置和光线控制装置,所述图像产生装置至少包括第一光产生部和第二光产生部,所述第一光产生部用于产生为第一特性光线的图像光线,所述第二光产生部用于产生为第二特性光线的图像光线;
所述光线控制装置用于将所述第一光产生部产生光线引导传播至预设面并经所述预设面反射后传播至眼盒区域,将所述第二光产生部产生光线引导传播至所述预设面并经所述预设面反射后传播至眼盒区域,其中预设面包括车辆的挡风玻璃。
2.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,第一特性光线为第一偏振特性光线,第二特性光线为第二偏振特性光线。
3.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,第一特性光线为第一波段光线,第二特性光线为第二波段光线。
4.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,还包括应用于眼盒区域的光线处理装置,所述光线处理装置包括用于允许第一特性光线透过的第一元件和用于允许第二特性光线透过的第二元件。
5.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述光线控制装置包括第一光学部和第二光学部,所述第一光学部用于将通过光线扩展以调控光线的发散角度和/或传播方向,将入射的图像光线扩展而引导入射至所述第二光学部以及将由所述第二光学部返回的图像光线扩展而引导发射出,所述第二光学部用于将所述第一光学部出射的图像光线回反射至所述第一光学部,以使得由所述光线控制装置出射的图像光线经所述预设面反射后传播至眼盒区域。
6.根据权利要求5所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述第二光学部包括排布的多个光学介质体,所述光学介质体至少包括用于接收入射光线的表面以及若干用于引导光线在所述光学介质体传播而最终对向传播出的表面;
或者,所述第二光学部包括反射面以及排布在所述反射面一侧的多个光学介质体,所述光学介质体包括为曲面的表面,所述光学介质体用于将入射光线折射进入所述光学介质体内部并入射到所述反射面,并将被所述反射面反射回的光线折射出所述光学介质体外,出射光线与入射光线传播方向相反。
7.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述光线控制装置包括第一光学部和第二光学部,所述第一光学部用于将通过光线扩展以调控光线的发散角度和/或传播方向,将入射的图像光线扩展而引导入射至所述第二光学部以及将由所述第二光学部返回的图像光线扩展而引导发射出,所述第二光学部用于将所述第一光学部出射的图像光线反射回所述第一光学部并调控光线的主光轴方向,以使得由所述光线控制装置出射的图像光线经所述预设面反射后传播至眼盒区域。
8.根据权利要求7所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述第二光学部包括多个离散排布的反射面,各个反射面分别将所述第一光学部出射的不同传播方向的图像光线反射回所述第一光学部,以使得由所述光线控制装置出射的图像光线经所述预设面反射后出射至同一眼盒区域;
或者,所述第二光学部包括连续型反射面,所述反射面用于将所述第一光学部出射的不同传播方向的图像光线反射回所述第一光学部,以使得由所述光线控制装置出射的图像光线经所述预设面反射后出射至同一眼盒区域。
9.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述控制装置还用于根据指令控制所述立体视觉显示系统显示包含第一信息对应内容的图像画面,或者根据指令控制所述屏幕显示装置显示包含第二信息对应内容的图像画面。
10.根据权利要求9所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述控制装置具体用于根据所述立体视觉显示系统的属性调整所述第一信息以使得第一信息对应内容的显示因素符合所述立体视觉显示系统,或者根据所述屏幕显示装置的属性调整所述第二信息以使得第二信息对应内容的显示因素符合所述屏幕显示装置。
11.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述控制装置还用于根据指令控制所述屏幕显示装置当前显示的第二信息对应内容切换至所述立体视觉显示系统,以由所述立体视觉显示系统显示所述第二信息对应内容,或者根据指令控制所述立体视觉显示系统当前显示的第一信息对应内容切换至所述屏幕显示装置,以由所述屏幕显示装置显示所述第一信息对应内容。
12.根据权利要求11所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述控制装置具体用于根据所述立体视觉显示系统的属性调整所述第二信息以使得第二信息对应内容的显示因素符合所述立体视觉显示系统,或者根据所述屏幕显示装置的属性调整所述第一信息以使得第一信息对应内容的显示因素符合所述屏幕显示装置。
13.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述控制装置还用于控制所述立体视觉显示系统向眼盒区域投射出包括控制界面的图像光线,所述控制界面展示了第一信息选项、第二信息选项、第三信息选项和第四信息选项,通过用户操作选择任一信息选项以下发用于控制预设显示装置显示用户选择的想要显示信息对应内容。
14.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述控制装置还用于控制所述立体视觉显示系统向眼盒区域投射出包括控制界面的图像光线,所述控制界面以分屏形式展示了各个所述屏幕显示装置所显示内容,以使得用户根据控制界面展示信息下发用于控制预设屏幕显示装置显示相应内容的指令,所述分屏形式是指在同一显示画面上同时展示各个所述屏幕显示装置的显示画面。
15.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述立体视觉显示系统还用于向眼盒区域投射出将整个挡风玻璃区域划分为多个子显示区域的图像光线,所述多个子显示区域包括第一子显示区域和第二子显示区域;
所述控制装置还用于根据指令控制所述第一子显示区域显示包含第一信息对应内容的图像画面,或者根据指令控制所述第二子显示区域显示包含第二信息对应内容的图像画面。
16.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述立体视觉显示系统还用于向眼盒区域投射出包括多个以前后层次分层次显示的子显示画面的图像光线,所述多个子显示画面包括第一子显示画面和第二子显示画面;
所述控制装置还用于根据指令控制所述立体视觉显示系统将所述第一子显示画面显示第一信息对应内容,或者根据指令控制所述立体视觉显示系统将所述第二子显示画面显示第二信息对应内容。
17.根据权利要求16所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述控制装置还用于根据指令控制所述立体视觉显示系统将所述第一子显示画面推进到最前方进行显示。
18.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述控制装置还用于向预设车辆的立体视觉显示系统或者屏幕显示装置传输数据,以将该数据在预设车辆的立体视觉显示系统或者屏幕显示装置上显示,或者所述控制装置还用于接收预设车辆传输来的数据,以将该数据在本车辆的立体视觉显示系统或者屏幕显示装置上显示,所述预设车辆与本车辆能够相互通信。
19.根据权利要求9-18任一项所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述控制装置具体用于获取用户通过实体按键、肢体动作或者发出语音触发产生的指令。
20.根据权利要求1所述的基于立体视觉显示的车辆互动显示系统,其特征在于,所述屏幕显示装置还包括车辆的中控台、仪表盘、后视镜显示屏、车载导航仪、行车记录仪、DVD播放屏和/或移动通信设备。
CN202010074651.0A 2020-01-22 2020-01-22 基于立体视觉显示的车辆互动显示系统 Active CN113156644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010074651.0A CN113156644B (zh) 2020-01-22 2020-01-22 基于立体视觉显示的车辆互动显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010074651.0A CN113156644B (zh) 2020-01-22 2020-01-22 基于立体视觉显示的车辆互动显示系统

Publications (2)

Publication Number Publication Date
CN113156644A true CN113156644A (zh) 2021-07-23
CN113156644B CN113156644B (zh) 2023-06-23

Family

ID=76881587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010074651.0A Active CN113156644B (zh) 2020-01-22 2020-01-22 基于立体视觉显示的车辆互动显示系统

Country Status (1)

Country Link
CN (1) CN113156644B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006052A (ja) * 2005-06-23 2007-01-11 Alpine Electronics Inc 立体画像表示システム
JP2014228314A (ja) * 2013-05-20 2014-12-08 日本精機株式会社 車両用表示装置
US20170153457A1 (en) * 2015-11-30 2017-06-01 Magna Electronics Inc. Heads up display system for vehicle
CN107238936A (zh) * 2017-07-11 2017-10-10 京东方科技集团股份有限公司 立体显示装置、系统及立体显示方法
CN107479199A (zh) * 2017-08-04 2017-12-15 京东方科技集团股份有限公司 抬头显示装置及系统
CN108345116A (zh) * 2018-03-26 2018-07-31 苏州车萝卜汽车电子科技有限公司 三维抬头显示器装置以及带有该装置的汽车
CN109591688A (zh) * 2018-11-29 2019-04-09 上海九山电子科技有限公司 车载显示器的控制系统、方法及车载显示装置的光学系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006052A (ja) * 2005-06-23 2007-01-11 Alpine Electronics Inc 立体画像表示システム
JP2014228314A (ja) * 2013-05-20 2014-12-08 日本精機株式会社 車両用表示装置
US20170153457A1 (en) * 2015-11-30 2017-06-01 Magna Electronics Inc. Heads up display system for vehicle
CN107238936A (zh) * 2017-07-11 2017-10-10 京东方科技集团股份有限公司 立体显示装置、系统及立体显示方法
CN107479199A (zh) * 2017-08-04 2017-12-15 京东方科技集团股份有限公司 抬头显示装置及系统
CN108345116A (zh) * 2018-03-26 2018-07-31 苏州车萝卜汽车电子科技有限公司 三维抬头显示器装置以及带有该装置的汽车
CN109591688A (zh) * 2018-11-29 2019-04-09 上海九山电子科技有限公司 车载显示器的控制系统、方法及车载显示装置的光学系统

Also Published As

Publication number Publication date
CN113156644B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US11415799B2 (en) Display system and display method therefor, and vehicle
US10578864B2 (en) Head-up display device
US11175498B2 (en) Virtual image display device, intermediate image formation unit, and image display light generation unit
JP2019174693A (ja) 表示システム、制御装置、制御方法、プログラム、及び移動体
CN210348060U (zh) 一种增强现实抬头显示装置及系统
US11300786B2 (en) Display apparatus, display method thereof, and head-up display apparatus
CN113168012A (zh) 表示虚拟图像的体积显示装置及其方法
JP5537337B2 (ja) 表示装置及び表示方法
US10264248B2 (en) Display apparatus, vehicle having the same and method for controlling the same
JP2015197495A (ja) 虚像表示装置
WO2024021852A1 (zh) 立体显示装置、立体显示系统和交通工具
CN115629515B (zh) 立体投影系统、投影系统和交通工具
CN113156644B (zh) 基于立体视觉显示的车辆互动显示系统
JP6102628B2 (ja) ヘッドアップディスプレイ装置
CN113219657B (zh) 一种车辆平视显示系统
CN113156643B (zh) 基于立体视觉显示的车辆显示系统
CN113219656B (zh) 一种车载抬头显示系统
CN113156645B (zh) 基于立体视觉显示的车辆智能辅助系统
CN210666205U (zh) 一种抬头显示设备、成像系统和车辆
CN105511079A (zh) 一种基于hud的侧向光路传播系统及方法
CN113219658B (zh) 一种分视角智能显示的车辆平视显示系统
WO2021147972A1 (zh) 交通工具平视显示系统、显示方法及交通工具
WO2023184276A1 (zh) 一种显示方法、显示系统和终端设备
CN217982023U (zh) 用于车辆的抬头显示系统和车辆
CN117075336A (zh) 抬头显示系统、车辆和抬头显示系统的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant