CN206411612U - 一种虚拟现实系统的交互控制装置及虚拟现实设备 - Google Patents
一种虚拟现实系统的交互控制装置及虚拟现实设备 Download PDFInfo
- Publication number
- CN206411612U CN206411612U CN201621427676.XU CN201621427676U CN206411612U CN 206411612 U CN206411612 U CN 206411612U CN 201621427676 U CN201621427676 U CN 201621427676U CN 206411612 U CN206411612 U CN 206411612U
- Authority
- CN
- China
- Prior art keywords
- user
- image
- action
- foot
- depth camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn - After Issue
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本实用新型公开了一种虚拟现实系统的交互控制装置及虚拟现实设备，该装置包括：模式选择单元根据应用场景选择对用户肢体动作的识别模式；第一深度摄像头按预设的频率采集用户手部的图像；第二深度摄像头按预设的频率采集用户脚部的图像；动作识别单元根据采集的图像识别用户手部和/或脚部的动作；指令发送单元对识别出的用户手部和/或脚部的某一动作，若存在与该动作对应的预先定义的控制指令时，则向虚拟现实系统的虚拟场景发送该控制指令，在虚拟场景中执行该控制指令。用户可以实际需求选择仅使用双手、或仅使用双脚、或手脚并用地与虚拟现实系统进行交互，满足了需要多重控制的应用场景，也便于一些不能使用手部动作进行操控的用户使用虚拟现实设备。
Description
技术领域
本实用新型涉及虚拟现实技术领域，具体涉及一种虚拟现实系统的交互控制装置及一种虚拟现实设备。
背景技术
随着虚拟现实技术的发展，体感技术作为与虚拟场景进行交互的关键技术，得到了科技巨头的普遍重视，无论是微软的Kinect，还是谷歌的Tango，都希望在人机交互上获得突破式创新，引领用户体验变革。
但是，目前与虚拟现实系统的人机交互方式主要是按键控制和手势控制等方面，无法满足某些需要用户脚部操作的应用场景的需求，也使得某些有特殊要求的用户，例如不能使用手部动作来操作虚拟现设备的残疾用户，无法使用虚拟现实设备。
实用新型内容
本实用新型提供了一种虚拟现实系统的交互控制装置及一种虚拟现实设备，以解决现有的虚拟现实系统的交互控制方式无法满足某些需要用户脚部操作的应用场景的需求，也使得某些有特殊要求的用户无法使用虚拟现实设备的问题。
根据本实用新型的一个方面，本实用新型提供了一种虚拟现实系统的交互控制装置，包括模式选择单元、第一深度摄像头、第二深度摄像头、动作识别单元和指令发送单元；
所述模式选择单元，用于根据应用场景选择对用户肢体动作的识别模式，所述识别模式包括：仅手部模式、仅脚部模式、手脚并用模式；
所述第一深度摄像头，用于当所述模式选择单元选择仅手部模式或手脚并用模式时，按预设的频率采集用户手部的图像；
所述第二深度摄像头，用于当所述模式选择单元选择仅脚部模式或手脚并用模式时，按预设的频率采集用户脚部的图像；
所述动作识别单元，用于根据所述第一深度摄像头采集的图像识别用户手部的动作；以及根据所述第二深度摄像头采集的图像识别用户脚部的动作；
所述指令发送单元，用于对所述动作识别单元识别出的用户手部和/或脚部的某一动作，若存在与该动作对应的预先定义的控制指令时，则向所述虚拟现实系统的虚拟场景发送该控制指令，在所述虚拟场景中执行该控制指令。
根据本实用新型的另一个方面，本实用新型提供了一种虚拟现实设备，包括显示屏，还包括模式选择单元、第一深度摄像头、第二深度摄像头、动作识别单元和指令发送单元；
所述模式选择单元，用于根据应用场景选择对用户肢体动作的识别模式，所述识别模式包括：仅手部模式、仅脚部模式、手脚并用模式；
所述第一深度摄像头，用于当所述模式选择单元选择仅手部模式或手脚并用模式时，按预设的频率采集用户手部的图像；
所述第二深度摄像头，用于当所述模式选择单元选择仅脚部模式或手脚并用模式时，按预设的频率采集用户脚部的图像；
所述动作识别单元，用于根据所述第一深度摄像头采集的图像识别用户手部的动作；以及根据所述第二深度摄像头采集的图像识别用户脚部的动作；
所述指令发送单元，用于对所述动作识别单元识别出的用户手部和/或脚部的某一动作，若存在与该动作对应的预先定义的控制指令时，则向所述显示屏播放的虚拟场景发送该控制指令，在所述虚拟场景中执行该控制指令。
本实用新型的有益效果是：本实用新型实施例可以根据应用场景选择对用户肢体动作的识别模式，并利用两个深度摄像头分别采集用户手部和脚部的图像，从而识别用户手部和/或脚部的动作，若存在与用户动作对应的预先定义的控制指令，则向虚拟现实系统发送相应的控制指令，并在虚拟场景中执行该控制指令。用户可以实际需求选择仅使用双手、或仅使用双脚、或手脚并用地与虚拟现实系统进行交互，满足了需要多重控制的应用场景。由于用户可以通过脚部的动作控制虚拟现实系统，因而对于某些不便于使用手部动作进行操作的特殊用户，也可以通过双脚方便地使用虚拟现实设备。
附图说明
图1是本实用新型一个实施例提供的一种虚拟现实系统的交互控制装置的功能框图；
图2是本实用新型一个实施例提供的一种虚拟现实设备的功能框图。
具体实施方式
本实用新型的设计构思是：现有的虚拟现实系统人机交互方式比较单一，主要是按键控制和手势控制，无法满足某些需要用户脚部操作的应用场景，也使得某些有特殊要求的用户，例如残疾用户，无法使用虚拟现实设备。针对这种情况，本实用新型通过两个深度摄像头分别采集用户手部和脚部的图像，从而识别用户和脚部的动作，用户可以根据选择的动作识别模式，仅使用双手、或仅使用双脚、或手脚并用地与虚拟现实系统进行交互，满足了需要多重控制的应用场景。由于用户可以通过脚部的动作控制虚拟现实系统，因而对于某些不便于使用手部动作进行操作的特殊用户，也可以通过双脚方便地使用虚拟现实设备。
实施例一
图1是本实用新型一个实施例提供的一种虚拟现实系统的交互控制装置的功能框图，如图1所示，本实施例提供的虚拟现实系统的交互控制装置包括模式选择单元110、第一深度摄像头120、第二深度摄像头130、动作识别单元140和指令发送单元150。
模式选择单元110选择用户肢体动作的识别模式，包括：仅手部模式、仅脚部模式和手脚并用模式。用户可以通过操作设备外部的硬件开关或虚拟现实场景的操作界面与模式选择单元110进行交互。
本实施例中的第一深度摄像头120和第二深度摄像头130均为TOF(Time ofFlying)摄像头，通过给目标连续发送光脉冲，然后用传感器接收从目标返回的光脉冲，通过探测光脉冲的飞行时间可以得到目标物的距离。
当模式选择单元110选择仅手部模式时，第一深度摄像头120按预设的频率采集用户手部的图像，第二深度摄像头130不工作。当模式选择单元110选择仅脚部模式时，第一深度摄像头120不工作，第二深度摄像头130按预设的频率采集用户脚部的图像。当模式选择单元110选择手脚并用模式时，第一深度摄像头120按预设的频率采集用户手部的图像，同时，第二深度摄像头130按预设的频率采集用户脚部的图像。
每当第一深度摄像头120或第二深度摄像头130采集了一帧图像，动作识别单元140根据第一深度摄像头120采集的图像识别用户手部的动作，根据第二深度摄像头130采集的图像识别用户脚部的动作。
第一深度摄像头120和第二深度摄像头130以特定的频率采集图像，通常两个摄像头的频率相同，也就是说在相同的时间内可以采集到相同数量的图像。当选择手脚并用模式时，两个摄像头采集到的图像都需要动作识别单元140进行处理，此时动作识别单元140需要处理的图像是仅手部模式或仅脚部模式的两倍，在处理资源比较紧张的情况下，有可能无法满足系统实时性的需要。针对这种情况，在一个优选实施例中，交互控制装置还包括图像选择单元160，当模式选择单元110选择手脚并用模式时，图像选择单元160按照预设的权重从第一深度摄像头120采集的图像中和第二深度摄像头130采集的图像中各选择若干图像输入到动作识别单元140。权重可以根据应用场景设定，例如对于弹钢琴这种虚拟应用场景，需要用户手脚并用，手部动作比较复杂，而脚部的动作相对简单，此时可以从第一深度摄像头120采集的图像中选择80％并从第二深度摄像头130采集的图像选择20％，例如根据图像采集时间的先后顺序，先选取第一深度摄像头120采集的4帧图像，然后选择第二深度摄像头130采集的1帧图像，以此类推。然后将选择的图像输入到动作识别单元140。动作识别单元140仅根据图像选择单元160选择的图像识别用户手部和脚部的动作，根据图像的时间戳，可以将识别出的用户手部和脚部动作组合起来，提高了动作识别的速度，满足了系统实时性需求，提高了用户的沉浸感。
优选地，本实施例中动作识别单元140包括训练模块141和匹配模块142。训练模块141使用预先采集的用户手部各种动作的图像和用户脚部各种动作的图像对一卷积神经网络(CNN)模型进行训练，建立用于识别用户手部和/或脚部动作的识别模型。本实施例采用如caffe、tensorflow等CNN的算法架构，这些CNN架构内部都已经存在图像处理模块。也就是说在进行训练或进行识别的时候CNN内部会首先进行图片处理。完成训练后，得到的模型可以用于识别用户手部和脚部的动作。
匹配模块142将第一深度摄像头120采集到的图像和第二深度摄像头130采集到的图像与训练模块141建立的识别模型进行匹配，从而识别出用户手部和/或脚部的动作。采集到的图片经过CNN内部的图像处理，提取特征后会和模型进行匹配，如果匹配成功，匹配模块142会输出识别的是用户手部还是脚部，并且判定是哪一种动作。
动作识别单元140识别出的用户手部或脚部的某一动作之后，若存在与该动作对应的预先定义的控制指令，则指令发送单元150向虚拟现实系统的虚拟场景发送该控制指令，在虚拟场景中执行该控制指令。
例如，预先定义“以脚跟为支点滑动”的动作控制页面滑动，当动作识别单元140根据第二深度摄像头130采集的图像识别出用户脚部“以脚跟为支点滑动”的动作时，指令发送单元150向虚拟现实系统的虚拟场景发送页面滑动的控制指令，且页面滑动的距离以脚部滑动的角度大小为依据。
再例如，预先定义“以脚跟为支点点动”的动作控制鼠标点击，当动作识别单元140根据第二深度摄像头130采集的图像识别出用户脚部“以脚跟为支点点动”的动作时，指令发送单元150向虚拟现实系统的虚拟场景发送鼠标点击的控制指令，脚部点动一次对应鼠标单击，脚部快速点动两次次对应鼠标双击。
本实施例通过深度摄像头采集用户手部和脚部的图像，从而识别用户的动作，使得用户可以根据需要使用手部动作或脚部动作与虚拟现实系统进行交互，满足了需要多重控制的应用场景。由于用户可以通过脚部的动作控制虚拟现实系统，因而对于某些不便于使用手部动作进行操作的特殊用户，也可以通过双脚方便地使用虚拟现实设备。
实施例二
图2是本实用新型一个实施例提供的一种虚拟现实设备的功能框图，如图2所示，本实施例提供的虚拟现实设备包括显示屏210、模式选择单元220、第一深度摄像头230、第二深度摄像头240、动作识别单元250和指令发送单元260。本实施例中的虚拟现实设备可以为头戴设备，此时第一深度摄像头230可以设置在虚拟现实头戴设备的前方，便于向前采集用户手部的图像；第二深度摄像头230可以设置在虚拟现实头戴设备的下方，便于向下采集用户脚部的图像。
模式选择单元220用于选择用户肢体动作的识别模式，包括：仅手部模式、仅脚部模式、手脚并用模式。第一深度摄像头230用于当模式选择单元220选择仅手部模式或手脚并用模式时，按预设的频率采集用户手部的图像。第二深度摄像头240用于当模式选择单元220选择仅脚部模式或手脚并用模式时，按预设的频率采集用户脚部的图像。模式选择单元220可以是虚拟现实设备外部设置的硬件开关，也可以是显示屏210显示的用户操作界面中设置的软件开关。
动作识别单元250根据第一深度摄像头230采集的图像识别用户手部的动作；以及根据第二深度摄像头240采集的图像识别用户脚部的动作。指令发送单元260对动作识别单元250识别出的用户手部和/或脚部的某一动作，若存在与该动作对应的预先定义的控制指令时，则向显示屏210的虚拟场景发送该控制指令，在虚拟场景中执行该控制指令。
优选地，本实施例提供的虚拟现实设备还包括图像选择单元270，当模式选择单元220选择手脚并用模式时，图像选择单元270按照预设的权重从第一深度摄像头230采集的图像中和第二深度摄像头240采集的图像中各选择若干图像；动作识别单元250仅根据图像选择单元270选择的图像识别用户手部和/或脚部的动作。
动作识别单元250包括训练模块251和匹配模块252。训练模块251使用预先采集的用户手部各种动作的图像和用户脚部各种动作的图像对一卷积神经网络模型进行训练，建立用于识别用户手部和/或脚部动作的识别模型。匹配模块252将第一深度摄像头230采集到的图像和/或第二深度摄像头240采集到的图像与训练模块251建立的识别模型进行匹配，从而识别出用户手部和/或脚部的动作。
以上所述，仅为本实用新型的具体实施方式，在本实用新型的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本实用新型的目的，本实用新型的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种虚拟现实系统的交互控制装置，其特征在于，包括模式选择单元、第一深度摄像头、第二深度摄像头、动作识别单元和指令发送单元；
所述模式选择单元，用于根据应用场景选择对用户肢体动作的识别模式，所述识别模式包括：仅手部模式、仅脚部模式、手脚并用模式；
所述第一深度摄像头，用于当所述模式选择单元选择仅手部模式或手脚并用模式时，按预设的频率采集用户手部的图像；
所述第二深度摄像头，用于当所述模式选择单元选择仅脚部模式或手脚并用模式时，按预设的频率采集用户脚部的图像；
所述动作识别单元，用于根据所述第一深度摄像头采集的图像识别用户手部的动作；以及根据所述第二深度摄像头采集的图像识别用户脚部的动作；
所述指令发送单元，用于对所述动作识别单元识别出的用户手部和/或脚部的某一动作，若存在与该动作对应的预先定义的控制指令时，则向所述虚拟现实系统的虚拟场景发送该控制指令，在所述虚拟场景中执行该控制指令。
2.如权利要求1所述的交互控制装置，其特征在于，所述交互控制装置还包括图像选择单元，当所述模式选择单元选择手脚并用模式时，
所述图像选择单元，用于按照预设的权重从所述第一深度摄像头采集的图像中和所述第二深度摄像头采集的图像中各选择若干图像；
所述动作识别单元，具体用于仅根据所述图像选择单元选择的图像识别用户手部和/或脚部的动作。
3.如权利要求1所述的交互控制装置，其特征在于，所述动作识别单元包括训练模块和匹配模块；
所述训练模块，用于使用预先采集的用户手部各种动作的图像和用户脚部各种动作的图像对一卷积神经网络模型进行训练，建立用于识别用户手部和/或脚部动作的识别模型；
所述匹配模块，用于将所述第一深度摄像头采集到的图像和/或所述第二深度摄像头采集到的图像与所述训练模块建立的识别模型进行匹配，从而识别出用户手部和/或脚部的动作。
4.一种虚拟现实设备，包括显示屏，其特征在于，还包括模式选择单元、第一深度摄像头、第二深度摄像头、动作识别单元和指令发送单元；
所述模式选择单元，用于根据应用场景选择对用户肢体动作的识别模式，所述识别模式包括：仅手部模式、仅脚部模式、手脚并用模式；
所述第一深度摄像头，用于当所述模式选择单元选择仅手部模式或手脚并用模式时，按预设的频率采集用户手部的图像；
所述第二深度摄像头，用于当所述模式选择单元选择仅脚部模式或手脚并用模式时，按预设的频率采集用户脚部的图像；
所述动作识别单元，用于根据所述第一深度摄像头采集的图像识别用户手部的动作；以及根据所述第二深度摄像头采集的图像识别用户脚部的动作；
所述指令发送单元，用于对所述动作识别单元识别出的用户手部和/或脚部的某一动作，若存在与该动作对应的预先定义的控制指令时，则向所述显示屏播放的虚拟场景发送该控制指令，在所述虚拟场景中执行该控制指令。
5.如权利要求4所述的虚拟现实设备，其特征在于，还包括图像选择单元，当所述模式选择单元选择手脚并用模式时，
所述图像选择单元，用于按照预设的权重从所述第一深度摄像头采集的图像中和所述第二深度摄像头采集的图像中各选择若干图像；
所述动作识别单元，具体用于仅根据所述图像选择单元选择的图像识别用户手部和/或脚部的动作。
6.如权利要求4所述的虚拟现实设备，其特征在于，所述动作识别单元包括训练模块和匹配模块；
所述训练模块，用于使用预先采集的用户手部各种动作的图像和用户脚部各种动作的图像对一卷积神经网络模型进行训练，建立用于识别用户手部和/或脚部动作的识别模型；
所述匹配模块，用于将所述第一深度摄像头采集到的图像和/或所述第二深度摄像头采集到的图像与所述训练模块建立的识别模型进行匹配，从而识别出用户手部和/或脚部的动作。
7.如权利要求4所述的虚拟现实设备，其特征在于，所述模式选择单元为在所述虚拟现实设备外部设置的硬件开关，或者在所述显示屏显示的用户操作界面中设置的软件开关。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201621427676.XU CN206411612U (zh) | 2016-12-23 | 2016-12-23 | 一种虚拟现实系统的交互控制装置及虚拟现实设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201621427676.XU CN206411612U (zh) | 2016-12-23 | 2016-12-23 | 一种虚拟现实系统的交互控制装置及虚拟现实设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN206411612U true CN206411612U (zh) | 2017-08-15 |
Family
ID=59551966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201621427676.XU Withdrawn - After Issue CN206411612U (zh) | 2016-12-23 | 2016-12-23 | 一种虚拟现实系统的交互控制装置及虚拟现实设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN206411612U (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107066081A (zh) * | 2016-12-23 | 2017-08-18 | 歌尔科技有限公司 | 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备 |
| CN109364471A (zh) * | 2018-12-12 | 2019-02-22 | 歌尔科技有限公司 | 一种vr系统 |
| CN112783318A (zh) * | 2019-11-05 | 2021-05-11 | 未来市股份有限公司 | 人机交互系统和人机交互方法 |
| CN114327038A (zh) * | 2021-11-19 | 2022-04-12 | 广州德纳智谷科技有限公司 | 一种基于人工智能技术的虚拟现实人机交互系统 |
-
2016
- 2016-12-23 CN CN201621427676.XU patent/CN206411612U/zh not_active Withdrawn - After Issue
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107066081A (zh) * | 2016-12-23 | 2017-08-18 | 歌尔科技有限公司 | 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备 |
| CN107066081B (zh) * | 2016-12-23 | 2023-09-15 | 歌尔科技有限公司 | 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备 |
| CN109364471A (zh) * | 2018-12-12 | 2019-02-22 | 歌尔科技有限公司 | 一种vr系统 |
| CN112783318A (zh) * | 2019-11-05 | 2021-05-11 | 未来市股份有限公司 | 人机交互系统和人机交互方法 |
| CN114327038A (zh) * | 2021-11-19 | 2022-04-12 | 广州德纳智谷科技有限公司 | 一种基于人工智能技术的虚拟现实人机交互系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN206411612U (zh) | 一种虚拟现实系统的交互控制装置及虚拟现实设备 | |
| CN106859956B (zh) | 一种人体穴位识别按摩方法、装置及ar设备 | |
| CN107066081A (zh) | 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备 | |
| US9400548B2 (en) | Gesture personalization and profile roaming | |
| KR101643020B1 (ko) | 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치 | |
| US8856691B2 (en) | Gesture tool | |
| US9734393B2 (en) | Gesture-based control system | |
| CN102449576B (zh) | 姿势快捷方式 | |
| US20180300037A1 (en) | Information processing device, information processing method, and program | |
| CN104410883A (zh) | 一种移动可穿戴非接触式交互系统与方法 | |
| CN112198959A (zh) | 虚拟现实交互方法、装置及系统 | |
| CN107357434A (zh) | 一种虚拟现实环境下的信息输入设备、系统及方法 | |
| CN108427910A (zh) | 深层神经网络ar手语翻译学习方法、客户端及服务器 | |
| CN103136986A (zh) | 手语识别方法及系统 | |
| KR102147430B1 (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
| JP2012515968A (ja) | 顔検出及びホットスポットの動きによりメディアを制御する方法 | |
| US20130069876A1 (en) | Three-dimensional human-computer interaction system that supports mouse operations through the motion of a finger and an operation method thereof | |
| DE102018103572A1 (de) | Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium | |
| JPH07141101A (ja) | 画像を用いた入力システム | |
| WO2011084245A2 (en) | Camera navigation for presentations | |
| CN106373142A (zh) | 虚拟人现场互动表演系统及方法 | |
| EP2391970A1 (en) | Method for controlling and requesting information from displaying multimedia | |
| CN109739353A (zh) | 一种基于手势、语音、视线追踪识别的虚拟现实交互系统 | |
| Klein et al. | A markeless augmented reality tracking for enhancing the user interaction during virtual rehabilitation | |
| CN110389664B (zh) | 一种基于增强现实的火灾场景模拟分析装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201015 Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building) Patentee after: GoerTek Optical Technology Co.,Ltd. Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong Patentee before: GOERTEK TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221220 Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong Patentee after: GOERTEK TECHNOLOGY Co.,Ltd. Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building) Patentee before: GoerTek Optical Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| AV01 | Patent right actively abandoned |
Granted publication date: 20170815 Effective date of abandoning: 20230915 |
|
| AV01 | Patent right actively abandoned |
Granted publication date: 20170815 Effective date of abandoning: 20230915 |
|
| AV01 | Patent right actively abandoned | ||
| AV01 | Patent right actively abandoned |