CN210618064U - 车辆中控交互设备及车辆 - Google Patents

车辆中控交互设备及车辆 Download PDF

Info

Publication number
CN210618064U
CN210618064U CN201920775822.5U CN201920775822U CN210618064U CN 210618064 U CN210618064 U CN 210618064U CN 201920775822 U CN201920775822 U CN 201920775822U CN 210618064 U CN210618064 U CN 210618064U
Authority
CN
China
Prior art keywords
vehicle
gesture
central control
control device
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201920775822.5U
Other languages
English (en)
Inventor
刘中杰
唐利科
刘武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai OFilm Smart Car Technology Co Ltd
Original Assignee
Shanghai OFilm Smart Car Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai OFilm Smart Car Technology Co Ltd filed Critical Shanghai OFilm Smart Car Technology Co Ltd
Priority to CN201920775822.5U priority Critical patent/CN210618064U/zh
Application granted granted Critical
Publication of CN210618064U publication Critical patent/CN210618064U/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种车辆中控交互设备及车辆,车辆中控交互设备包括手势识别模组、语音识别器、控制装置和供电电源,手势识别模组、语音识别器和供电电源连接控制装置,且控制装置通过通信总线连接车辆的车载设备;手势识别模组识别待识别手势并发送手势信息至控制装置,语音识别器识别语音并发送语音信息至控制装置,控制装置接收手势信息并输出手势响应信号至对应的车载设备、以及接收语音信息并输出语音响应信号至对应的车载设备。采用本申请,驾驶员在驾驶过程中可以通过手势或语音进行操控,不需要转移视线去找实体按键,驾驶安全性高。

Description

车辆中控交互设备及车辆
技术领域
本申请涉及车辆控制技术领域,特别是涉及一种车辆中控交互设备及车辆。
背景技术
随着车辆技术的发展,车辆的功能越来越全面。例如,汽车上一般设置有中控平台,可以实现音乐、空调、车门等的多种控制。
传统车辆的中控平台一般包括多个实体按键,驾驶过程中,驾驶员可操作实体按键以进行功能设置;例如,如果驾驶员需要调节音乐播放的音量,则需要找到音量调节按键进行操作。这样,驾驶员在操作过程中需要进行视线转移,分散驾驶员的注意力,会给驾驶带来安全隐患。
实用新型内容
基于此,有必要针对上述问题,提供一种可提高驾驶安全性的车辆中控交互设备及车辆。
一种车辆中控交互设备,包括手势识别模组、语音识别器、控制装置和供电电源,所述手势识别模组、所述语音识别器和所述供电电源连接所述控制装置,且所述控制装置通过通信总线连接车辆的车载设备;
所述手势识别模组识别待识别手势并发送手势信息至所述控制装置,所述语音识别器识别语音并发送语音信息至所述控制装置,所述控制装置接收所述手势信息并输出所述手势响应信号至对应的车载设备、以及接收所述语音信息并输出所述语音响应信号至对应的车载设备。
上述车辆中控交互设备,通过设置连接控制装置的手势识别模组、语音识别器和供电电源,供电电源为控制装置供电;使用时,手势识别模组可以识别用户的待识别手势并发送手势信息至控制装置,控制装置接收手势信息并控制对应的车载设备动作,实现驾驶室内基于手势的交互控制;语音识别器可以获取识别用户的语音并发送语音信息至控制装置,控制装置接收语音信息并控制对应的车载设备工作,实现驾驶室内基于语音的交互控制。如此,驾驶员在驾驶过程中可以通过手势或语音进行操控,不需要转移视线去找实体按键,驾驶安全性高。
在一个实施例中,所述手势识别模组包括光源和图像采集单元,所述光源和所述图像采集单元连接所述控制装置。通过结合采用光源和图像采集单元,可实现由手势识别模组采集并输出手势数据,使得控制装置能够根据手势数据控制对应的车载设备,操作便利。
在其中一个实施例中,所述光源为发射940nm红外光的红外光发射器。通过采用发射红外光的红外光发射器,940nm的红外光无红曝,可以减少环境光线的干扰,提高手势识别模组11的可靠性。
在其中一个实施例中,所述控制装置为SoC芯片。SoC芯片本身可以集成对汽车控制的其他处理,功能性强。
在其中一个实施例中,所述手势识别模组为TOF模组。TOF模组可以采集深度信息识别手势,相比于平面手势识别,准确性高,而且TOF模组的处理精度高,从而手势识别准确性高,进一步使基于手势识别的操控准确性高。
在其中一个实施例中,上述车辆中控交互设备还包括用于显示车辆状态显示信息的第一显示屏和用于显示调节显示信息的第二显示屏,所述第一显示屏和所述第二显示屏连接所述控制装置。通过采用两个显示屏分别显示不同信息,实现信息分类,信息展示效果好。
在其中一个实施例中,所述第一显示屏和/或所述第二显示屏为4K分辨率的触控屏。通过采用4K分辨率的触控屏,清晰度高,且可以提高用户操作的便捷性。
在一个实施例中,所述第一显示屏设置于所述车辆的驾驶室内的中控台,所述第二显示屏设置于所述驾驶室内的扶手箱上。通过将第一显示屏设置于驾驶室的中控台、第二显示屏设置于扶手箱上,驾驶员可以方便地查看第一显示屏和第二显示屏的屏幕。
在一个实施例中,上述车辆中控交互设备还包括连接所述控制装置的生物特征识别器,所述生物特征识别器采集并识别用户生物特征信息、发送识别结果至所述控制装置。通过采用生物特征识别器,控制装置可以根据识别结果进行权限的设置,提高操控安全性。
在一个实施例中,所述生物特征识别器包括指纹识别器、虹膜识别器和人脸识别器中的任一种。通过采用指纹识别器、虹膜识别器或人脸识别器,识别便利性高。
一种车辆,包括车体、车载设备和上述的车辆中控交互设备,所述车载设备和所述车辆中控交互设备设置于所述车体,且所述车载设备通过通信总线连接所述车辆中控交互设备。
上述车辆,由于采用了上述车辆中控交互设备,同理,可提高驾驶安全性,而且手势操控准确性高。
附图说明
图1为一个实施例中车辆中控交互设备的结构框图;
图2为一个实施例中手势识别模组的示意图;
图3为一个实施例中驾驶室的座舱一侧示意图;
图4为一个实施例中驾驶室的座舱另一侧示意图;
图5为一个实施例中驾驶室的座舱的俯视图;
图6为另一个实施例中车辆中控交互设备的结构框图;
主要元件符号说明:
车辆100、车载系统10、手势识别模组11、光源112、图像采集单元114、语音识别器13、车载设备14、控制装置15、第一显示屏121、第二显示屏122、生物特征识别器16、供电电源17、存储器19、中控台20、驾驶座30、扶手箱32。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参考图1,在一个实施例中,提供了一种车辆中控交互设备,包括手势识别模组11、语音识别器13、控制装置15和供电电源17,手势识别模组11、语音识别器13和供电电源17连接控制装置15,且控制装置15通过通信总线连接车辆的车载设备14。具体地,手势识别模组11、语音识别器13可以设置于车辆的驾驶室内,控制装置15和供电电源17可以设置于驾驶室内,也可以设置于车辆的其他位置。
其中,供电电源17用于给控制装置15提供工作电压。手势识别模组11是用于识别手势的器件,语音识别器13是用于识别语音的器件。具体地,手势识别模组11识别用户的待识别手势并发送手势信息至控制装置15,控制装置15接收手势信息并输出手势响应信号至对应的车载设备,以控制对应的车载设备工作,实现基于手势的交互控制。语音识别器13识别用户的语音并发送语音信息至控制装置15,控制装置15接收语音信息并输出语音响应信号至对应的车载设备,以控制对应的车载设备工作,实现基于语音的交互控制。例如,控制装置15可以通过通信总线直接与车载设备14通信;控制装置15接收手势信息后发送手势响应信号至手势信息所对应的车载设备,以控制所对应的车载设备执行相应功能,控制装置15接收语音信息后发送语音响应信号至语音信息所对应的车载设备,以控制所对应的车载设备执行相应功能。其中,手势响应信号是指响应于手势信息、用于控制车载设备工作的控制信号;语音响应信号是指响应于语音信息、用于控制车载设备工作的控制信号。
具体地,控制装置15可以预存储各种类型的手势对应的场景功能,每一种场景功能对应一个手势响应信号;控制装置15确定手势信息指示的手势,查找对应的场景功能、根据场景功能发送手势响应信号至对应需要接收的车载设备,从而控制车载设备进行相应的响应操作,实现基于用户手势的交互控制。例如,控制装置15预存储的手势和场景功能的对应关系如下表1所示。同理,控制装置15可以预存储各种类型的语音对应的场景功能,每一种场景功能对应一个语音响应信号。
表1
Figure BDA0002073194650000051
Figure BDA0002073194650000061
可以理解,控制装置15也可以通过通信总线与车载电脑通信、车载电脑通过通信总线与车载设备14通信,即控制装置15通过车载电脑实现与车载设备14的间接通信;控制装置15将手势信息和语音信息发送至车载电脑,由车载电脑根据手势信息和语音信息控制对应的车载设备工作。
上述车辆中控交互设备,通过设置连接控制装置15的手势识别模组11、语音识别器13和供电电源17,供电电源17为控制装置15供电;使用时,手势识别模组11可以识别用户的待识别手势并发送手势信息至控制装置15,控制装置15接收手势信息并控制对应的车载设备动作,实现驾驶室内基于手势的交互控制;语音识别器13可以识别用户的语音并发送语音信息至控制装置15,控制装置15接收语音信息并控制对应的车载设备工作,实现基于语音的交互控制。如此,驾驶员在驾驶过程中可以通过手势或语音进行操控,不需要转移视线去找实体按键,驾驶安全性高。
在一个实施例中,参考图2和图3,手势识别模组11包括光源112和图像采集单元114,光源112和图像采集单元114连接控制装置15。具体地,手势信息包括手势数据;光源112用于发射光线至手势识别区域,图像采集单元114用于采集光源112发射光线的反射光并形成手势数据发送至控制装置15。控制装置15接收手势数据并输出对应手势的手势响应信号至车载设备。具体地,图像采集单元114可以为摄像头。
其中,手势识别区域是指用户摆放待识别手势的区域。具体地,手势识别区域包含光源112发射的光的照射区域;实际使用时,可以设置光源112的安装角度和位置,使光源112发射的光的照射区域落在用户需要的手势识别区域内,从而光照射摆放手势的手部。光遇到手部会有反射;图像采集单元114采集反射光得到手势图像信息、处理手势图像信息形成对应的手势数据。如此,由手势识别模组11采集并输出手势数据,使得控制装置15能够根据手势数据控制对应的车载设备,操作便利。其中,光源112可以保证图像采集单元114采集得到手势数据。
在一个实施例中,光源112为发射940nm(纳米)红外光的红外光发射器。其中,940nm是指的红外光的波长。图像采集单元114采集红外光的反射光。通过采用发射红外光的红外光发射器,940nm的红外光无红曝,可以减少环境光线的干扰,提高手势识别模组的可靠性。可以理解,在其他实施例中,也可以是采用发射其他安全的光的光源。
进一步地,图像采集单元114可以用于采集色彩图像和/或深度图像。其中,图像采集单元114可以通过结构光技术(Structured l ight)或光飞行时间技术(Time OfFlight,TOF)采集深度图像。
在一个实施例中,手势识别模组11为TOF模组。其中,TOF模组是采用飞行时间技术的模组,可以包括光源和TOF相机。TOF模组可以采集深度图像得到深度信息,从而控制装置15可基于深度信息识别手势,相比于平面手势识别,准确性高,而且TOF模组的处理精度高,从而手势识别准确性高,进一步使基于手势识别的操控准确性高。
如图2所示,光源112和图像采集单元114组装成一个手势识别模组11。如图3和图4所示,车辆100还可以包括设置在驾驶室内的中控台20和与中控台20相对的驾驶座30;其中,中控台是车辆100的驾驶室内集中设置车载系统10的空调控制、中央控制等装置的硬件平台。手势识别模组11设置在车辆100的中控台20,并可以识别中控台20前方预设区域的手势操作。在某些实施方式中,驾驶座30可以设置有扶手箱32,预设区域可以是扶手箱32上方的区域;其中,扶手箱32是驾驶座30与副驾驶座之间可供放置手肘的器件,还可以带有储物功能。手势识别模组11可以用于检测扶手箱32上方的手势,如此,驾驶人员可以方便地将手移动到扶手箱32上方的位置并进行相应的手势动作,便于手势识别模组11采集手势,而不影响驾驶人员控制车辆100。
进一步地,车辆100还可以包括设置与中控台20相对的副驾驶座(图未示),手势识别模组11可以设置在中控台20的中部并用于检测驾驶座30和副驾驶座之间的扶手箱32上方的手势。如此,副驾驶座的乘客同样可以通过手势对车载设备14进行控制。需要说明的是,手势识别模组11设置在中控台20的中部时,一般地,手势识别模组11采集到的是驾驶人员的右手手势数据,以及副驾驶座的乘客的左手手势数据。如此,车载系统10可以通过识别采集到的左手或右手判断进行手势控制的是驾驶人员还是乘客。
在一个实施例中,手势识别模组11可以识别中控台20前方20cm-50cm范围内的手势操作。可以理解,在某些实施方式中,手势识别模组11识别手势操作的区域范围与图像采集单元114的参数相关,例如,图像采集单元114的视场角和焦距等。具体地,参考图4,图像采集单元114的视场角θ可以是80度。当然,在其他实施方式中,图像采集单元114的视场角可以不限于上述讨论的实施方式,而可以根据实际需要灵活配置。
在一个实施例中,控制装置15为SoC(System of Chips芯片系统)芯片。SoC芯片本身可以集成对汽车控制的其他处理,功能性强。
在一个实施例中,参考图3、图4、图5和图6,上述车辆中控交互设备还包括用于显示车辆状态显示信息的第一显示屏121和用于显示调节显示信息的第二显示屏122,第一显示屏121和第二显示屏122连接控制装置15。其中,车辆状态显示信息可以包括车速、油耗、音乐播放信息、导航信息等;调节显示信息可以包括空调参数信息、音量信息、座椅位置信息等。通过采用两个显示屏分别显示不同信息,实现信息分类,信息展示效果好。进一步地,手势交互的开启和关闭可通过第一显示屏121所显示的设置菜单进行控制,或者通过车载系统10的实体按键、触摸按键来实现。
具体地,第一显示屏121和第二显示屏122均设置于驾驶室内,具体设置位置可以根据需要进行设置。在一个实施例中,第一显示屏121可以设置于车辆100的驾驶室内的中控台20,第二显示屏122可以设置于驾驶室内的扶手箱32上,如图3至图5所示。具体地,图5中的点A可以是手势识别模组11的设置位置中心点。通过将第一显示屏121设置于驾驶室的中控台20、第二显示屏122设置于扶手箱32上,驾驶员可以方便地查看第一显示屏121和第二显示屏122的屏幕。
在一些实施方式中,第一显示屏121可以位于中控台20上方且朝向驾驶座30设置,如图4。驾驶车辆100时,驾驶人员面向中控台20,驾驶人员同样可以方便地获知第一显示屏121显示的信息。
在一个实施例中,第一显示屏121和/或第二显示屏122为4K分辨率的触控屏。即,可以是第一显示屏121和第二显示屏122中的其中一个为4K分辨率的触控屏,也可以是两个都为4K分辨率的触控屏。通过采用4K分辨率的触控屏,清晰度高,且可以提高用户操作的便捷性。
在一个实施例中,参考图6,上述车辆中控交互设备还包括连接控制装置15的生物特征识别器16,生物特征识别器16采集并识别用户生物特征信息、发送识别结果至控制装置15。具体地,控制装置15可以根据识别结果进行权限的设置,提高操控安全性。其中,生物特征识别器16可以包括指纹识别器、虹膜识别器和人脸识别器中的任一种,识别便利性高。
在一个实施例中,继续参考图6,上述车辆中控交互设备还可以包括存储器19,存储器19连接控制装置15。控制装置15可以发送信息至存储器19进行存储,加强数据管理功能。
在一个实施例中,提供了一种车辆,包括车体、车载设备和前述的车辆中控交互设备,车载设备和车辆中控交互设备设置于车体,且车载设备通过通信总线连接车辆中控交互设备。具体地,车载设备和车辆中控交互设备设置于车体形成的驾驶室内,车载设备通过通信总线与车辆中控交互设备中的控制装置连接。
上述车辆,由于采用了前述车辆中控交互设备,同理,可提高驾驶安全性,而且手势操控准确性高。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对实用新型专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种车辆中控交互设备,其特征在于,包括手势识别模组、语音识别器、控制装置和供电电源,所述手势识别模组、所述语音识别器和所述供电电源连接所述控制装置,且所述控制装置通过通信总线连接车辆的车载设备;
所述手势识别模组识别待识别手势并发送手势信息至所述控制装置,所述语音识别器识别语音并发送语音信息至所述控制装置,所述控制装置接收所述手势信息并输出手势响应信号至对应的车载设备、以及接收所述语音信息并输出语音响应信号至对应的车载设备。
2.根据权利要求1所述的车辆中控交互设备,其特征在于,所述手势识别模组包括光源和图像采集单元,所述光源和所述图像采集单元连接所述控制装置。
3.根据权利要求2所述的车辆中控交互设备,其特征在于,所述光源为发射940nm红外光的红外光发射器。
4.根据权利要求1所述的车辆中控交互设备,其特征在于,所述控制装置为SoC芯片。
5.根据权利要求1所述的车辆中控交互设备,其特征在于,所述手势识别模组为TOF模组。
6.根据权利要求1所述的车辆中控交互设备,其特征在于,还包括用于显示车辆状态显示信息的第一显示屏和用于显示调节显示信息的第二显示屏,所述第一显示屏和所述第二显示屏连接所述控制装置。
7.根据权利要求6所述的车辆中控交互设备,其特征在于,所述第一显示屏和/或所述第二显示屏为4K分辨率的触控屏。
8.根据权利要求6所述的车辆中控交互设备,其特征在于,所述第一显示屏设置于所述车辆的驾驶室内的中控台,所述第二显示屏设置于所述驾驶室内的扶手箱上。
9.根据权利要求1所述的车辆中控交互设备,其特征在于,还包括连接所述控制装置的生物特征识别器,所述生物特征识别器采集并识别用户生物特征信息、发送识别结果至所述控制装置。
10.根据权利要求9所述的车辆中控交互设备,其特征在于,所述生物特征识别器包括指纹识别器、虹膜识别器和人脸识别器中的任一种。
11.一种车辆,其特征在于,包括车体、车载设备和权利要求1-10中任意一项所述的车辆中控交互设备,所述车载设备和所述车辆中控交互设备设置于所述车体,且所述车载设备通过通信总线连接所述车辆中控交互设备。
CN201920775822.5U 2019-05-27 2019-05-27 车辆中控交互设备及车辆 Expired - Fee Related CN210618064U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201920775822.5U CN210618064U (zh) 2019-05-27 2019-05-27 车辆中控交互设备及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201920775822.5U CN210618064U (zh) 2019-05-27 2019-05-27 车辆中控交互设备及车辆

Publications (1)

Publication Number Publication Date
CN210618064U true CN210618064U (zh) 2020-05-26

Family

ID=70753481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201920775822.5U Expired - Fee Related CN210618064U (zh) 2019-05-27 2019-05-27 车辆中控交互设备及车辆

Country Status (1)

Country Link
CN (1) CN210618064U (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947757A (zh) * 2021-03-04 2021-06-11 恒大新能源汽车投资控股集团有限公司 车载交互系统的控制方法、存储介质和车载电子设备
CN113377209A (zh) * 2021-07-14 2021-09-10 王凤英 一种车载交互体验的智能化外设
CN113986007A (zh) * 2021-10-21 2022-01-28 上海萤火虫数字科技有限公司 一种车载信息娱乐系统展示台及展示控制方法
CN114084053A (zh) * 2021-11-16 2022-02-25 苏州罗伦士汽车制造股份有限公司 蚕茧式座舱及智能调节系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947757A (zh) * 2021-03-04 2021-06-11 恒大新能源汽车投资控股集团有限公司 车载交互系统的控制方法、存储介质和车载电子设备
CN113377209A (zh) * 2021-07-14 2021-09-10 王凤英 一种车载交互体验的智能化外设
CN113986007A (zh) * 2021-10-21 2022-01-28 上海萤火虫数字科技有限公司 一种车载信息娱乐系统展示台及展示控制方法
CN114084053A (zh) * 2021-11-16 2022-02-25 苏州罗伦士汽车制造股份有限公司 蚕茧式座舱及智能调节系统

Similar Documents

Publication Publication Date Title
CN210618064U (zh) 车辆中控交互设备及车辆
CN104627094B (zh) 识别用户手势的车辆和用于控制该车辆的方法
CN107251120B (zh) 具有单摄像头停车辅助的可训练收发器
US20190001987A1 (en) Vehicle and control method thereof
KR101777518B1 (ko) 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
US20180211515A1 (en) Trainable transceiver and camera systems and methods
KR101730315B1 (ko) 영상을 공유하는 전자 기기 및 방법
CN105807912B (zh) 车辆、用于控制该车辆的方法和其中的手势识别装置
KR101959300B1 (ko) 차량용 스마트 키 및 시스템
EP3508370B1 (en) Input output device and vehicle comprising the same
US20140195096A1 (en) Apparatus and method for contactlessly detecting objects and/or persons and gestures and/or operating procedures made and/or carried out thereby
CN106560836A (zh) 在车辆中提供防物品遗失服务的设备、方法和移动终端
CN106467060A (zh) 显示装置及包括该显示装置的车辆
KR102266354B1 (ko) 다중설정을 위한 생체인증 장치 및 방법
KR101691800B1 (ko) 차량용 디스플레이 제어 장치 및 그 동작 방법
KR102686009B1 (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
CN112399935A (zh) 使用运载工具内相机连同受信移动计算装置进行无缝驾驶员认证
CN112753009A (zh) 人机交互方法与人机交互装置
KR101846184B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR102122263B1 (ko) 차량 실내 인원 모니터링 장치 및 방법
KR20200113154A (ko) 차량 제어 장치
KR102168041B1 (ko) 차량 제어장치 및 차량 제어방법
KR20220088710A (ko) 차량용 디스플레이 장치 및 그 제어 방법
KR101809916B1 (ko) 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치
KR101816570B1 (ko) 차량용 디스플레이 장치

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200526