CN110114125A - 无人机操纵系统、操纵信号发射器组和无人机操纵方法 - Google Patents
无人机操纵系统、操纵信号发射器组和无人机操纵方法 Download PDFInfo
- Publication number
- CN110114125A CN110114125A CN201780080836.9A CN201780080836A CN110114125A CN 110114125 A CN110114125 A CN 110114125A CN 201780080836 A CN201780080836 A CN 201780080836A CN 110114125 A CN110114125 A CN 110114125A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- transmitter
- auxiliary tool
- information
- manipulation signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000011664 signaling Effects 0.000 claims 6
- 239000007787 solid Substances 0.000 claims 2
- 238000012800 visualization Methods 0.000 abstract description 6
- 210000003128 head Anatomy 0.000 description 16
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
- A63H30/02—Electrical arrangements
- A63H30/04—Electrical arrangements using wireless transmission
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
Abstract
提供了一种能够实现更简单的无人机操纵的新系统。无人机操纵系统(1)包括无人机(30)和操纵信号发射器组(10)。操纵信号发射器组(10)包括控制无人机(30)的至少前进、后退、向左和向右移动的第一发射器(100),以及控制无人机(30)的垂直移动和旋转移动的第二发射器(200)。第一发射器(100)包括第一辅助工具(110),并且向无人机(30)发送操纵信号,该操纵信号包括第一辅助工具(110)的倾斜信息,该倾斜信息伴随着操纵者对无人机(30)的前进、后退、向左和向右移动进行形象化描绘的动作。第二发射器(200)包括第二辅助工具(210),并且向无人机(30)发送操纵信号,该操纵信号包括第二辅助工具(210)的旋转信息,该旋转信息伴随着操纵者对无人机(30)的垂直移动和旋转移动进行形象化描绘的动作。无人机(30)根据接收的操纵信号进行操作。
Description
技术领域
本发明涉及一种用于操纵无人机的设备。
背景技术
近年来,在由遥控操纵的无人设备中,无人机已经尝试应用于各种服务。此外,即使作为一般家庭用的玩具,无人机也很容易获得。使用所谓的比例方法的操纵设备来操纵无人机,并且通过移动附接到操纵设备的两个杆来控制无人机的电机,从而控制无人机的移动(非专利文献1)。然而,无人机的操纵非常困难。因此,在目前的情况下,必须进行许多练习以安全地操纵无人机。
此外,已知可以操作摄像头或者可以在行李运输中升降行李的无人机,这种无人机的操纵更加复杂。
现有技术文献
非专利文献
非专利文献1:“Scalable Autonomy Concept for Reconnaissance UAVs on theBasis of an HTN Agent Architecture(基于HTN代理架构的侦察无人机可扩展自治概念)”,2016年无人机系统国际会议(ICUAS),2016年6月7日至10日
发明内容
技术问题
在这种情况下,本发明的目的是提供一种更容易操纵无人机的新系统。
解决问题的方案
为了实现该目的,根据本发明的无人机操纵系统包括:
无人机;以及
操纵信号发射器组,被配置为操纵无人机,
操纵信号发射器组包括:
第一发射器,被配置为控制无人机的至少向前、向左和向右移动;以及
第二发射器,被配置为控制无人机的垂直移动和旋转移动,无人机包括:
信号接收单元,用于接收来自第一发射器和第二发射器的操纵信号,
第一发射器包括:
第一辅助工具,具有用于与参考表面接触的接触单元和用于固定操纵者脚底的固定单元;
倾斜信息获取单元,用于获取关于第一辅助工具相对于参考表面的倾斜的倾斜信息;以及
信号发送单元,用于向无人机发送操纵信号,该操纵信号包括用于使用所获取的倾斜信息向无人机指示无人机的至少向前、向左和向右移动的信息,以及
第二发射器包括:
第二辅助工具,具有用于佩戴在操纵者头部的佩戴单元;
旋转信息获取单元,用于获取关于第二辅助工具的旋转位移的旋转信息;以及
信号发送单元,用于向无人机发送操纵信号,该操纵信号包括用于使用所获取的旋转信息向无人机指示无人机的垂直移动或旋转移动的信息。
根据本发明的操纵信号发射器组包括:
第一发射器,被配置为控制无人机的至少向前、向左和向右移动;以及
第二发射器,被配置为控制无人机的垂直移动和旋转移动,
第一发射器包括:
第一辅助工具,具有用于与参考表面接触的接触单元,以及用于固定操纵者脚底的固定单元;
倾斜信息获取单元,用于获取关于第一辅助工具相对于参考表面的倾斜的倾斜信息;以及
信号发送单元,用于向无人机发送操纵信号,该操纵信号包括用于使用所获取的倾斜信息向无人机指示无人机的至少向前、向左和向右移动的信息,以及
第二发射器包括:
第二辅助工具,具有用于佩戴在操纵者头部的佩戴单元;
旋转信息获取单元,用于获取关于第二辅助工具的旋转位移的旋转信息;以及
信号发送单元,用于向无人机发送操纵信号,该操纵信号包括用于使用所获取的旋转信息向无人机指示无人机的垂直移动或旋转移动的信息。
根据本发明的无人机操纵方法包括:
通过倾斜信息获取单元检测操纵者的脚部的倾斜,该倾斜信息获取单元设置在第一辅助工具中并且检测脚部相对于参考表面的倾斜,该第一辅助工具佩戴在操纵者的脚部;
向无人机发送操纵信号,该操纵信号包括用于使用关于脚部的倾斜的倾斜信息向无人机指示无人机的至少向前、向左和向右移动的信息;
通过旋转信息获取单元检测操纵者的头部的旋转位移,该旋转信息获取单元设置在第二辅助工具中并且检测头部的旋转位移,该第二辅助工具佩戴在操纵者的头部;以及
向无人机发送操纵信号,该操纵信号包括用于使用关于头部的旋转位移的旋转信息向无人机指示无人机的垂直移动或旋转移动的信息。
发明的有益效果
根据本发明,可以提供一种用于更容易地操纵无人机的新系统。另外,根据本发明,可以简单地实现无人机的操纵而无需用手操纵。而且,根据本发明,由于可以在不使用手的情况下操纵无人机,因此当向无人机添加另外的功能时,可以使用腾出的手来实现该功能的操纵。
附图说明
图1是示出本发明的第一示例实施例中的无人机操纵系统的示例的框图。
图2A是用于描述在本发明的第一示例实施例中由于操纵者的动作而在第一辅助工具中生成倾斜信息的状态的示例的图。
图2B是从左侧观察附接在操纵者脚上的第一辅助工具时的示意图。
图2C是用于描述在本发明的第一示例实施例中由于操纵者的动作而在第二辅助工具中生成旋转信息的状态的示例的图。
图3是用于描述本发明的第一示例实施例中的无人机操纵方法的示例的流程图。
图4是示出在第一示例实施例的变形中设置的操纵信号发射器组的示例的框图。
具体实施方式
在无人机操纵系统的一种模式中,例如,关于第一辅助工具的倾斜信息是取决于操纵者的动作的关于第一辅助工具的倾斜的信息。操纵者的动作是以预定位置处的第一辅助工具为参考点的、操纵者用自己的身体再现无人机动作的动作。关于第二辅助工具的旋转信息是取决于操纵者的动作的关于第二辅助工具的旋转的信息。操纵者的动作是以预定位置处的第二辅助工具为参考点的、操纵者用自己的身体再现无人机动作的动作。
在无人机操纵系统的一种模式中,例如,第一发射器包括第一辅助工具。在第一辅助工具中,用于与地面接触的接触单元是球体。固定单元耦接到球体。并且倾斜信息获取单元获取关于第一辅助工具的球体的移动信息。
在无人机操纵系统的一种模式中,例如,在第一发射器中,取决于操纵者的动作的关于第一辅助工具的倾斜信息包括关于移动方向和移动程度的信息。关于无人机的移动信息包括关于前进、后退、向左和向右移动方向和移动程度的信息。并且操纵信号信息包括关于前进、后退、向左和向右移动方向和移动程度的信息,以便指示无人机。第二发射器包括第二辅助工具。取决于操纵者的动作的关于第二辅助工具的旋转信息包括关于旋转方向和旋转程度的信息。关于无人机的移动信息包括关于垂直移动方向和旋转移动方向以及移动程度的信息。并且操纵信号信息包括关于垂直移动和旋转移动的方向的信息以及所指示的移动程度,以便指示无人机。
在无人机操纵系统的一种模式中,例如,无人机包括获取图像信息的图像信息获取单元,以及向第二发射器发送所获取的图像信息的图像信息发送单元。第二发射器包括:接收从无人机发送的图像信息的图像信息接收单元,以及显示所述图像信息的显示单元。
在无人机操纵系统的一种模式中,例如,无人机的图像信息获取单元是摄像头。
在无人机操纵系统的一种模式中,例如,在第二发射器中,显示单元是显示器。
在无人机操纵系统的一种模式中,例如,第二发射器还包括位置预测单元,其使用由图像信息接收单元接收的图像信息预测在预定时间之后无人机的位置。显示单元显示由图像信息接收单元接收的图像信息和由位置预测单元获取的预测位置信息。
在操纵信号发射器组的一种模式中,例如,关于第一辅助工具的倾斜信息是取决于操纵者的动作的关于第一辅助工具的倾斜的信息。操纵者的动作是以预定位置处的第一辅助工具为参考点的、操纵者用自己的身体再现无人机动作的动作。关于第二辅助工具的旋转信息是取决于操纵者的动作的关于第二辅助工具的旋转的信息。操纵者的动作是以预定位置处的第二辅助工具为参考点的、操纵者用自己的身体再现无人机动作的动作。
在操纵信号发射器组的一种模式中,例如,在第一发射器的第一辅助工具中,用于与地面接触的接触单元是球体。固定单元耦接到球体。并且倾斜信息获取单元获取第一辅助工具中的球体的移动信息。
在操纵信号发射器组的一种模式中,例如,在第一发射器中,取决于操纵者的动作的关于第一辅助工具的倾斜信息包括关于移动方向和移动程度的信息。关于无人机的移动信息包括关于前进、后退、向左和向右移动方向和移动程度的信息。并且操纵信号信息包括关于前进、后退、向左和向右移动的方向和移动的程度的信息,以便指示无人机。第二发射器包括第二辅助工具。取决于操纵者的动作的关于第二辅助工具的旋转信息包括关于旋转方向和旋转程度的信息。关于无人机的移动信息包括关于垂直移动方向和旋转移动方向以及移动程度的信息。并且操纵信号信息包括关于垂直移动和旋转移动的方向的信息以及所指示的移动程度,以便指示无人机。
在操纵信号发射器组的一种模式中,例如,第二发射器包括接收从无人机发送的图像信息的图像信息接收单元,以及显示所述图像信息的显示单元。
在操纵信号发射器组的一种模式中,例如,在第二发射器中,显示单元是显示器。
操纵信号发射器组的一种模式包括例如信息获取终端和服务器。终端和服务器可通过通信网络连接。终端包括倾斜信息获取单元和旋转信息获取单元。服务器包括存储设备、转换器单元和信号发送单元。
在操纵信号发射器组的一种模式中,例如,第二发射器还包括位置预测单元,该位置预测单元使用由图像信息接收单元接收的图像信息预测在预定时间之后无人机的位置。显示单元显示由图像信息接收单元接收的图像信息和由位置预测单元获取的预测位置信息。
在一种无人机操纵方法中,例如,关于第一辅助工具的倾斜信息是取决于操纵者的动作的关于第一辅助工具的倾斜的信息。操纵者的动作是以预定位置处的第一辅助工具为参考点的、操纵者用自己的身体再现无人机动作的动作。关于第二辅助工具的旋转信息是取决于操纵者的动作的关于第二辅助工具的旋转的信息。操纵者的动作是以预定位置处的第二辅助工具为参考点的、操纵者用自己的身体再现无人机动作的动作。
在一种无人机操纵方法中,例如,在第一发射器的第一辅助工具中,用于与地面接触的接触单元是球体。固定单元耦接到球体。并且倾斜信息获取单元获取第一辅助工具中的球体的移动信息。
在一种无人机操纵方法中,例如,在第一发射器中,取决于操纵者的动作的关于第一辅助工具的倾斜信息包括关于移动方向和移动程度的信息。关于无人机的移动信息包括关于前进、后退、向左和向右移动方向和移动程度的信息。并且操纵信号信息包括关于前进、后退、向左和向右移动方向和移动程度的信息,以便指示无人机。第二发射器包括第二辅助工具。取决于操纵者的动作的关于第二辅助工具的旋转信息包括关于旋转方向和旋转程度的信息。关于无人机的移动信息包括关于垂直移动方向和旋转移动方向以及移动程度的信息。并且操纵信号信息包括关于垂直移动和旋转移动的方向的信息以及所指示的移动程度,以便指示无人机。
一种无人机操纵方法包括从无人机获取图像信息的图像信息获取步骤,向第二发射器发送从无人机获取的图像信息的图像信息发送步骤,第二发射器从无人机接收所发送的图像信息的图像信息接收步骤,以及第二发射器显示图像信息的显示步骤。
在一种无人机操纵方法中,例如,在图像信息获取步骤中,摄像头获取图像信息。
在一种无人机操纵方法中,例如,在显示步骤中,显示器显示图像信息。
例如,一种无人机操纵方法还包括位置预测步骤,该预测步骤使用在图像信息接收步骤中由第二发射器接收的图像信息预测在预定时间之后无人机的位置。在显示步骤中,显示在图像信息接收步骤中接收的图像信息和由位置预测步骤获取的预测位置信息。
在下文中,将参考附图描述根据本发明的示例实施例。本发明不限于下面要描述的示例实施例。在各个附图中,相同名称的组件由相同的附图标记表示,并且省略对共同结构组件的描述。
<第一示例实施例>
第一示例实施例涉及根据本发明的无人机操纵系统、操纵信号发射器组和无人机操纵方法。
图1是示出第一示例实施例中的无人机操纵系统的简化配置的框图。如图1所示,第一示例实施例的无人机操纵系统1包括操纵信号发射器组10和无人机30。操纵信号发射器组10包括至少控制无人机30的前、左和右移动的第一发射器100和控制无人机30的垂直移动和旋转移动的第二发射器200。第一发射器100和第二发射器200可以通过无线通信与无人机30连接。
无人机30是可以通过操纵者远程无线操纵来飞行的飞行器(即无人飞行器(飞行物体))。例如,无人机30是多旋翼飞行器,例如四轴飞行器。注意,在这种情况下,无人机被假定为包括无人飞行器,其不仅具有通过操纵者的无线操纵来飞行的飞行模式,而且具有可以自主飞行的飞行模式。
无人机30包括信号接收单元301。信号接收单元301的一部分功能由例如中央处理单元(CPU)311实现。
在第一示例实施例中,操纵信号发射器组10包括第一发射器100和第二发射器200。第一发射器100包括第一辅助工具110、倾斜信息获取单元102和信号发送单元104。第二发射器200包括第二辅助工具210、旋转信息获取单元202和信号发送单元204。第一发射器100例如是其中集成了第一辅助工具110、倾斜信息获取单元102和信号发送单元104的设备(终端)。第二发射器200例如是集成了第二辅助工具210、旋转信息获取单元202和信号发送单元204的设备(终端)。
第一发射器100的第一辅助工具110包括用于与参考表面接触的接触单元,以及用于固定操纵者的脚底的固定单元。例如,如图2A和图2B所示,在第一辅助工具110中,与参考表面40接触的接触单元是球体111。固定单元112耦接到球体111。例如,球体111可以是或可以不是完全的球,可以是例如半球等。在该形式的情况下,可以容易地获取取决于操纵者的动作的关于第一辅助工具110的倾斜信息。包括在第一发射器100中的第一辅助工具110的数量是例如一个或多个。具体地,例如,第一发射器100可以设计成由一只脚使用,或者由双脚使用。在后一种情况下,例如,第一发射器100包括用于右脚和左脚的一对第一辅助工具110。注意,图2A和图2B中的附图标记50表示操纵者的脚。
倾斜信息获取单元102包括获取关于第一辅助工具110相对于参考表面40的倾斜的倾斜信息的配置。倾斜信息获取单元102是传感器。传感器例如安装在第一辅助工具110的接触单元(球体)111或固定单元112上,并且检测接触单元111或固定单元112的移动作为第一辅助工具110的倾斜。传感器例如是陀螺仪传感器、加速度传感器等。
注意,当倾斜信息获取单元102获取球体111的移动信息时,倾斜信息获取单元102可以检测球体111的旋转,或者可以检测球体111的表面与参考表面40的接触位置的二维位置位移。
信号发送单元104包括向无人机30发送指示无人机30的操作的操纵信号的配置。操纵信号是基于由倾斜信息获取单元102获取的倾斜信息的信号,并且包括例如关于无人机30的移动方向(例如无人机30的前进、左右移动和静止)的信息以及移动程度的信息。这里,操纵信号包括将无人机30的移动(行进的方向和速度)与操纵者的脚的移动(倾斜的方向和程度)联动的信息,使得例如当操纵者的脚向右倾斜时,变为关于将无人机30向右移动的指示的操作信号。注意,信号发送单元104的一部分功能可以由CPU 150实现。在这种情况下,例如,信号发送单元104包括存储设备(未示出)。存储设备例如是随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘(HD)、光盘、软(商标)盘(FD)等。
第二发射器200包括第二辅助工具210、旋转信息获取单元202和信号发送单元204。
如图2C所示,第二辅助工具210包括用于佩戴在操纵者头部上的佩戴单元211。操纵者头部的对佩戴单元211进行佩戴的一部分例如是头顶、前额、眼睛、整个头部等。注意,第二辅助工具210可以是包括显示单元的可佩戴显示器(头戴式显示器)。
旋转信息获取单元202包括获取关于第二辅助工具210的旋转位移的旋转信息的配置。具体地,旋转信息获取单元202是例如安装在第二辅助工具210上并且检测第二辅助工具210的旋转的传感器。传感器例如是陀螺仪传感器、加速度传感器等。
信号发送单元204包括向无人机30发送指示无人机30的操作的操纵信号的配置。操纵信号是基于由旋转信息获取单元202获取的旋转信息的信号,包括例如关于无人机30的垂直移动和旋转移动的信息,以及移动程度的信息。这里,操纵信号包括将无人机30的移动(旋转方向)与操纵者头部的旋转(旋转方向和旋转速度)联动的信息。注意,信号发送单元204的一部分功能可以由CPU 250实现。在这种情况下,例如,信号发送单元204包括存储设备(未示出)。存储设备例如是随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘(HD)、光盘、软(商标)盘(FD)等。
无人机30包括信号接收单元301。信号接收单元301包括以下功能:接收来自第一发射器100和第二发射器200的操纵信号,并基于所接收的操纵信号控制无人机30的操作。信号接收单元301的一部分功能例如由CPU 311实现。另外,信号接收单元301包括存储由CPU311执行的计算机程序以及数据的存储设备(未示出)。
第一示例实施例的无人机操纵系统1是按照上述方式来配置的。同时,在非专利文献1中的无人机的操纵方法中,各个螺旋桨的电机由操纵设备的两个杆控制。通过电机的运动,控制无人机的移动,例如前进、后退、左右移动、旋转移动和静止不动。具体地,除非操纵者掌握操纵设备的两个杆的移动与无人机的相应移动之间的关系,否则操纵者不能很好地操纵无人机。另一方面,人类不能通过使用他/她的身体来飞行。然而,例如,从电影、图画书、漫画、动画等中,许多人获得了与通过使用他们的身体飞行的情况下的动作(例如姿势、姿态等)有关的形象化的描绘。因此,例如,可以将人形象化地描绘的动作与无人机的移动相关联,其中该形象化地描绘的动作是针对与飞行物体的操纵有关的各种移动的。考虑到这一点,在第一示例实施例中,在操纵者佩戴第一辅助工具110和第二辅助工具210的状态下,基于第一辅助工具110的倾斜信息和第二辅助工具210的旋转信息与无人机30的相应移动之间的关系,生成用于指示无人机30的操纵信号,其中,第一辅助工具110的倾斜信息和第二辅助工具210的旋转信息取决于对飞行进行形象化描绘的操纵者的动作。此外,操纵信号从操纵信号发射器组10发送到无人机30,并控制无人机30的移动。因此,操纵者可以通过在佩戴第一辅助工具110和第二辅助工具210的状态下做出形象化描绘的动作来操纵无人机30。简而言之,第一示例实施例中的无人机操纵系统1实现了简便的无人机操纵。相反,例如在非专利文献1中的操纵设备的情况下,必须记住两个杆的精细移动以及移动组合,操纵非常困难。另一方面,由人形象化描绘的与飞行物体的操纵有关的动作易于为操纵者记忆,即使在需要快速判断时身体也容易自然地作出反应,并且操纵变得更加简单。
图2A示出了取决于操纵者的动作的第一辅助工具110的倾斜信息和无人机30的相关联移动之间的关系的示例。图2C示出了取决于操纵者的动作的第二辅助工具210的旋转信息和无人机30的相关联移动之间的关系的示例。
如图2A和图2B所示,第一辅助工具110包括用于与参考表面40接触的接触单元111,以及用于固定操纵者的脚50的固定单元112。接触单元111是球体,并且固定单元112耦接到球体。第一辅助工具110包括用于检测球体旋转的陀螺仪传感器作为倾斜信息获取单元102。另外,如图2A所示,例如,佩戴第一辅助工具110的操纵者将重心施加到脚50的脚趾侧的状态,即第一辅助工具110朝向图的图纸的观察者侧倾斜的状态,对应于无人机的向前移动。操纵者将重心施加到脚50的右侧的状态,即第一辅助工具110朝向右侧(图中的左侧)倾斜的状态,对应于无人机的向右移动。操纵者将重心施加到脚50的左侧的状态,即第一辅助工具110朝向左侧(图中的右侧)倾斜的状态,对应于无人机的向左移动。操纵者将重心施加到脚50的脚跟侧的状态,即第一辅助工具110朝向图的图纸的里侧倾斜的状态,可以对应于无人机的后退移动,或者可以对应于无人机悬停(原地静止)。此外,在图2A中,例如,第一辅助工具110的倾斜程度对应于速度,可以通过增大第一辅助工具110的倾斜而使无人机以更高的速度移动,并且可以通过减小第一辅助工具110的倾斜而使无人机以更低的速度移动。
第二辅助工具210包括检测第二辅助工具210的旋转的陀螺仪传感器作为旋转信息获取单元202。操纵者可以通过将头部朝向上下方向和左右方向,或通过向左右方向倾斜头部来旋转第二辅助工具210。另外,如图2C所示,例如,佩戴第二辅助工具210的操纵者将面部朝向向上方向的状态对应于无人机的上升,并且操纵者将面部朝向向下方向的状态对应于无人机的下降。操纵者将面部朝向右方的状态对应于无人机转向右方(向右转弯),并且操纵者将面部朝向左方的状态对应于无人机转向左方(向左转弯)。操纵者向右倾斜面部的状态对应于无人机的向右旋转(围绕无人机的行进方向轴线向右旋转),并且操纵者向左倾斜面部的状态对应于无人机的向左旋转(围绕无人机的行进方向轴线向左旋转)。此外,在图2C中,例如,第二辅助工具210的旋转角度对应于无人机的旋转等的速度。例如,通过增加旋转角度,无人机可以快速旋转。注意,虽然在上述示例中第二辅助工具210的旋转角度对应于无人机的旋转等的速度,但是例如第二辅助工具210的旋转速度可以对应于无人机的旋转等的速度。另外,在图2C中,例如,可以在旋转角度超过作为阈值的角度之前不开始无人机的旋转等,在旋转角度超过阈值时开始无人机的旋转等。此外,例如,可以在旋转速度超过作为阈值的速度之前不开始无人机的旋转等,在旋转速度超过该速度时开始无人机的旋转等。在这种情况下,通过以低于阈值的低速移动头部,可以改变头部的方向而不改变无人机的操作状态。
旋转信息获取单元202(第二辅助工具210)可以与上述倾斜信息获取单元102(第一辅助工具110)协作操纵无人机。操纵者佩戴第一辅助工具110和第二辅助工具210,并执行操纵。在这种情况下,操纵者对第一辅助工具110的操纵例如如上所述。佩戴第二辅助工具210的操纵者可以通过将面部朝上使无人机向上移动。操纵者可以通过将面部朝下使无人机向下移动。操纵者可以通过将面部朝向右方使无人机转向右方。操纵者可以通过将面部朝向左方使无人机转向左方。操纵者可以通过将面部朝向前方同时向右倾斜面部,来使无人机的主体向右旋转。操纵者可以通过将面部朝向前方同时向左倾斜面部,来使无人机的主体向左旋转。
接下来,图3示出了第一示例实施例中的无人机操纵方法的流程图。例如,通过使用图1的无人机操纵系统,如下实现第一示例实施例的无人机操纵方法。
这里,图3中的A1步骤到A4步骤和B1步骤到B4步骤是并行执行的。
(A1)获取倾斜信息。
在A1步骤中,第一发射器100的倾斜信息获取单元102通过检测取决于操纵者的动作的第一辅助工具110的移动,获取取决于操纵者的动作的关于第一辅助工具110的倾斜信息。
(A2)发送操纵信号。
在A2步骤中,第一发射器100的信号发送单元104基于所获取的倾斜信息向无人机30发送操纵信号。
(A3)接收操纵信号。
在A3步骤中,无人机30的信号接收单元301接收来自信号发送单元104的操纵信号。
(A4)控制无人机的移动。
在A4步骤中,无人机30的信号接收单元301根据从信号发送单元104接收的操纵信号控制无人机30的移动。
(B1)获取旋转信息。
在B1步骤中,第二发射器200的旋转信息获取单元202通过检测取决于操纵者的动作的第二辅助工具210的移动,获取取决于操纵者的动作的关于第二辅助工具210的旋转信息。
(B2)发送操纵信号。
在B2步骤中,第二发射器200的信号发送单元204基于所获取的旋转信息向无人机30发送操纵信号。
(B3)接收操纵信号。
在B3步骤中,无人机30的信号接收单元301接收来自信号发送单元204的操纵信号。
(B4)控制无人机的移动。
在B4步骤中,无人机30的信号接收单元301根据从信号发送单元204接收的操纵信号控制无人机30的移动。
第一示例实施例的无人机操纵系统、操纵信号发射器组和无人机操纵方法具有这样的配置:无人机30与操纵者的脚和头部的移动联动地操作。这使得操纵者易于按照操纵者对无人机30的移动进行形象化描绘的那样操纵无人机30。
<变形例>
接下来,将说明操纵信号发射器组10的变形。具体地,包括在操纵信号发射器组10中的第一发射器100和第二发射器200中的每一个不限于上述单个设备(终端、辅助工具)的模式,可以由例如多个设备构成。在具体示例中,第一发射器100和第二发射器200中的每一个可以由能够可通信地连接的两个独立终端组成。在这种情况下,在第一发射器100中,例如,一个终端是包括倾斜信息获取单元102的第一辅助工具110,另一个终端包括信号发送单元104。另外,在第二发射器200中,例如,一个终端是包括旋转信息获取单元202的第二辅助工具210,另一个终端包括信号发送单元204。
图4是以简化方式示出变形例中的第一发射器100和第二发射器200的配置的框图。如图4所示,第一发射器100包括主体(例如服务器)11和终端12。主体11和终端12可以通过有线或无线电连接。另外,第二发射器200包括主体(例如服务器)21和终端22。主体21和终端22可以通过有线或无线电连接。主体11包括信号发送单元104。另一方面,主体21包括信号发送单元204。终端12是第一辅助工具110,并且包括倾斜信息获取单元102。终端22是第二辅助工具210,并且包括旋转信息获取单元202。注意,主体11和主体21可以由共同的设备(服务器)组成。
<第二示例实施例>
在第二示例实施例的无人机操纵系统1中,第二发射器200还包括作为图像信息接收单元的接收单元205和显示单元206,它们由图1中的虚线表示。并且无人机30还包括包括图像信息获取单元302和图像信息发送单元303。注意,在第二示例实施例的描述中,与第一示例实施例中相同的结构部分由相同的附图标记表示,并且省略对共同部分的重复描述。
图像信息获取单元302获取图像信息。图像信息例如是运动图像(视频)。图像信息获取单元302由例如摄像头组成,并安装在无人机30上。构成图像信息获取单元302的摄像头可以是例如用于拍摄一个方向的摄像头,或用于拍摄所有方向的360°摄像头。
图像信息发送单元303将由图像信息获取单元302获取的图像信息发送到第二发射器200。图像信息发送单元303的一部分功能由例如CPU实现。
第二发射器200的接收单元205接收从无人机30发送的图像信息。接收单元205的一部分功能由例如CPU实现。
显示单元207显示接收的图像信息。例如,当第二辅助工具210是佩戴在操纵者头部上的可佩戴显示器(头戴式显示器)的模式时,显示器还用作显示单元207。
第二示例实施例的无人机操纵系统1可以通过存在于操纵者附近的第二发射器200的显示单元205显示由无人机30的图像信息获取单元302获取的图像信息。由此,操纵者可以容易地获得无人机30附近的状况,并且可以使无人机30的操纵更容易。
<第三示例实施例>
在第三示例实施例的无人机操纵系统1中,除了第二示例实施例的配置之外,第二发射器200还包括由图1中的虚线指示的位置预测单元206。
位置预测单元206使用由接收单元205从无人机30接收的图像信息,预测在预定时间之后无人机30的飞行位置或飞行路线。位置预测单元206由例如CPU实现。
在第三示例实施例中,显示单元207不仅显示从无人机30接收的图像信息,还显示由位置预测单元206预测的无人机30的飞行位置或飞行路线。
由于第三示例实施例的无人机操纵系统1预测无人机30的飞行位置或飞行路线,并在显示单元207上显示预测的飞行位置或飞行路线,因此操纵者对无人机30的操纵可以变得更容易。
尽管以上参考示例实施例描述了本发明,但是本发明不限于上述示例实施例。可以在本发明范围内对本发明的配置和细节进行技术人员可以理解的各种变形。
本申请要求基于2016年12月28日提交的第2016-256922号日本专利申请的优先权;其全部内容通过引用并入本文。
附图标记列表
1 无人机操纵系统,
10 操纵信号发射器组,
100 第一发射器,
200 第二发射器,
30 无人机,
110 第一辅助工具,
102 倾斜信息获取单元,
104 信号发送单元,
210 第二辅助工具,
202 旋转信息获取单元,
204 信号发送单元,
301 信号接收单元。
Claims (9)
1.一种无人机操纵系统,包括:
无人机;以及
操纵信号发射器组,被配置为操纵所述无人机,
所述操纵信号发射器组包括:
第一发射器,被配置为控制所述无人机的至少向前、向左和向右移动;以及
第二发射器,被配置为控制所述无人机的垂直移动和旋转移动,
所述无人机包括:
信号接收部件,用于接收来自所述第一发射器和所述第二发射器的操纵信号,
所述第一发射器包括:
第一辅助工具,所述第一辅助工具具有用于与参考表面接触的接触部件,以及用于固定操纵者脚底的固定部件;
倾斜信息获取部件,用于获取关于所述第一辅助工具相对于所述参考表面的倾斜的倾斜信息;以及
信号发送部件,用于向所述无人机发送所述操纵信号,所述操纵信号包括用于使用所获取的倾斜信息向所述无人机指示所述无人机的至少向前、向左和向右移动的信息,以及所述第二发射器包括:
第二辅助工具,所述第二辅助工具具有用于佩戴在操纵者头部的佩戴部件;
旋转信息获取部件,用于获取关于所述第二辅助工具的旋转位移的旋转信息;以及
信号发送部件,用于向所述无人机发送所述操纵信号,所述操纵信号包括用于使用所获取的旋转信息向所述无人机指示所述无人机的垂直移动或旋转移动的信息。
2.根据权利要求1所述的无人机操纵系统,其中所述第一发射器中的所述第一辅助工具的所述接触部件为球体,并且所述固定部件耦接到所述球体,并且
所述倾斜信息获取部件获取所述第一辅助工具中的所述球体的移动信息。
3.根据权利要求1或2所述的无人机操纵系统,其中所述无人机包括:
图像信息获取部件,用于获取图像信息;以及
图像信息发送部件,用于向所述第二发射器发送所获取的图像信息,以及
其中所述第二发射器还包括:
图像信息接收部件,用于接收从所述无人机发送的图像信息;以及
显示部件,用于显示所述图像信息。
4.根据权利要求3所述的无人机操纵系统,其中所述无人机的图像信息获取部件是摄像头。
5.根据权利要求3或4所述的无人机操纵系统,其中所述第二发射器中的所述显示部件是显示器。
6.根据权利要求3至5中任一项所述的无人机操纵系统,其中所述第二发射器还包括:
位置预测部件,用于使用由所述图像信息接收部件接收的图像信息,预测在预定时间之后所述无人机的飞行位置或所述无人机的飞行路线,以及
其中所述显示部件还显示由所述位置预测部件预测的飞行位置或飞行路线。
7.一种操纵信号发射器组,包括:
第一发射器,被配置为控制无人机的至少向前、向左和向右移动;以及
第二发射器,被配置为控制所述无人机的垂直移动和旋转移动,
所述第一发射器包括:
第一辅助工具,所述第一辅助工具具有用于与参考表面接触的接触部件,以及用于固定操纵者脚底的固定部件;
倾斜信息获取部件,用于获取关于所述第一辅助工具相对于所述参考表面的倾斜的倾斜信息;以及
信号发送部件,用于向所述无人机发送操纵信号,所述操纵信号包括用于使用所获取的倾斜信息向所述无人机指示所述无人机的至少向前、向左和向右移动的信息,以及
所述第二发射器包括:
第二辅助工具,所述第二辅助工具具有用于佩戴在操纵者头部的佩戴部件;
旋转信息获取部件,用于获取关于所述第二辅助工具的旋转位移的旋转信息;以及
信号发送部件,用于向所述无人机发送操纵信号,所述操纵信号包括用于使用所获取的旋转信息向所述无人机指示所述无人机的垂直移动或旋转移动的信息。
8.根据权利要求7所述的操纵信号发射器组,其中所述第一发射器的所述倾斜信息获取部件设置在第一终端设备中,所述第一终端设备配备于所述第一辅助工具,
所述第一发射器的所述信号发送部件设置在可通信地连接到所述第一终端设备的服务器中,
其中所述第二发射器的所述旋转信息获取部件设置在第二终端设备中,所述第二终端设备配备于所述第二辅助工具,
所述第二发射器的所述信号发送部件设置在可通信地连接到所述第二终端设备的服务器中。
9.一种无人机操纵方法,包括:
通过倾斜信息获取部件检测操纵者的脚部的倾斜,所述倾斜信息获取部件设置在第一辅助工具中并且检测所述脚部相对于参考表面的倾斜,所述第一辅助工具佩戴在所述操纵者的脚部;
向无人机发送操纵信号,所述操纵信号包括用于使用关于所述脚部的倾斜的倾斜信息向所述无人机指示所述无人机的至少向前、向左和向右移动的信息;
通过旋转信息获取部件检测所述操纵者的头部的旋转位移,所述旋转信息获取部件设置在第二辅助工具中并且检测所述头部的旋转位移,所述第二辅助工具佩戴在所述操纵者的头部;以及
向所述无人机发送操纵信号,所述操纵信号包括用于使用关于所述头部的旋转位移的旋转信息向所述无人机指示所述无人机的垂直移动或旋转移动的信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016256922 | 2016-12-28 | ||
JP2016-256922 | 2016-12-28 | ||
PCT/JP2017/045629 WO2018123747A1 (ja) | 2016-12-28 | 2017-12-20 | ドローン操縦システム、操縦シグナル送信機セットおよびドローン操縦方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110114125A true CN110114125A (zh) | 2019-08-09 |
CN110114125B CN110114125B (zh) | 2021-08-31 |
Family
ID=62708115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780080836.9A Active CN110114125B (zh) | 2016-12-28 | 2017-12-20 | 无人机操纵系统、操纵信号发射器组和无人机操纵方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11209835B2 (zh) |
JP (1) | JP6734400B2 (zh) |
CN (1) | CN110114125B (zh) |
WO (1) | WO2018123747A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7396639B2 (ja) * | 2019-10-29 | 2023-12-12 | Necソリューションイノベータ株式会社 | 移動体制御装置、移動体制御方法、及びプログラム |
JP7384513B2 (ja) | 2019-10-29 | 2023-11-21 | Necソリューションイノベータ株式会社 | 移動体制御装置、移動体制御方法、及びプログラム |
WO2021106036A1 (ja) * | 2019-11-25 | 2021-06-03 | 株式会社Orso | 情報処理装置、情報処理方法およびプログラム |
WO2021130980A1 (ja) * | 2019-12-26 | 2021-07-01 | 株式会社センシンロボティクス | 飛行体の飛行経路表示方法及び情報処理装置 |
US20220113720A1 (en) * | 2020-10-08 | 2022-04-14 | Xtend Reality Expansion Ltd. | System and method to facilitate remote and accurate maneuvering of unmanned aerial vehicle under communication latency |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102380216A (zh) * | 2011-10-10 | 2012-03-21 | 汕头市博意玩具有限公司 | 一种遥控玩具飞机的方法及实施该方法的遥摆遥控器 |
CN103605400A (zh) * | 2013-11-27 | 2014-02-26 | 连云港杰瑞电子有限公司 | 一种脚踏控制器 |
CN205139708U (zh) * | 2015-10-28 | 2016-04-06 | 上海顺砾智能科技有限公司 | 一种无人机的动作识别远程控制装置 |
CN105759833A (zh) * | 2016-02-23 | 2016-07-13 | 普宙飞行器科技(深圳)有限公司 | 一种沉浸式无人机驾驶飞行系统 |
CN106020227A (zh) * | 2016-08-12 | 2016-10-12 | 北京奇虎科技有限公司 | 无人机的控制方法、装置 |
CN205692054U (zh) * | 2016-06-22 | 2016-11-16 | 国网江西省电力公司南昌供电分公司 | 一种头部运动监测的无线巡线机 |
CN106200657A (zh) * | 2016-07-09 | 2016-12-07 | 东莞市华睿电子科技有限公司 | 一种无人机控制方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4012749B2 (ja) | 2002-03-14 | 2007-11-21 | 国立大学法人 奈良先端科学技術大学院大学 | 遠隔操縦システム |
JP3671024B2 (ja) * | 2002-04-25 | 2005-07-13 | 三菱重工業株式会社 | 遠隔操縦システム |
US8214098B2 (en) * | 2008-02-28 | 2012-07-03 | The Boeing Company | System and method for controlling swarm of remote unmanned vehicles through human gestures |
US20130169514A1 (en) * | 2009-06-25 | 2013-07-04 | The Boeing Company | Method and apparatus for a virtual mission control station |
US8773330B2 (en) * | 2009-06-25 | 2014-07-08 | The Boeing Company | Method and apparatus for a virtual mission control station |
WO2011140606A1 (en) | 2010-05-13 | 2011-11-17 | Constantine Papas | Remote control assembly for use with a model vehicle |
NO334308B1 (no) | 2011-03-28 | 2014-02-03 | Prox Dynamics As | UAV-kit |
JP6026088B2 (ja) | 2011-08-09 | 2016-11-16 | 株式会社トプコン | 遠隔操作システム |
JP5698802B2 (ja) | 2013-06-28 | 2015-04-08 | ヤマハ発動機株式会社 | 遠隔操縦装置 |
EP3438775A1 (en) * | 2016-03-31 | 2019-02-06 | Nikon Corporation | Flight device, electronic device and program |
KR20170130952A (ko) * | 2016-05-20 | 2017-11-29 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US10813710B2 (en) * | 2017-03-02 | 2020-10-27 | KindHeart, Inc. | Telerobotic surgery system using minimally invasive surgical tool with variable force scaling and feedback and relayed communications between remote surgeon and surgery station |
US10139631B1 (en) * | 2017-06-05 | 2018-11-27 | Microsoft Technology Licensing, Llc | Apparatus and method of 1:1 matching head mounted display view to head movement that controls articulated camera |
CA3070624A1 (en) * | 2017-07-28 | 2019-01-31 | Nuro, Inc. | Flexible compartment design on autonomous and semi-autonomous vehicle |
WO2019055023A1 (en) * | 2017-09-15 | 2019-03-21 | Honeywell International Inc. | REMOTE CONTROLLED AIRCRAFT VEHICLE PROVIDING FIELD SENSOR COMMUNICATION AND SITE IMAGING DURING FACTORY FAILURE CONDITIONS |
WO2019087160A1 (en) * | 2017-11-03 | 2019-05-09 | OPS Solutions, LLC | Distributed production method |
US11352135B2 (en) * | 2019-04-25 | 2022-06-07 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Tactile and force feedback in virtual reality via drone |
-
2017
- 2017-12-20 JP JP2018559096A patent/JP6734400B2/ja active Active
- 2017-12-20 US US16/470,622 patent/US11209835B2/en active Active
- 2017-12-20 WO PCT/JP2017/045629 patent/WO2018123747A1/ja active Application Filing
- 2017-12-20 CN CN201780080836.9A patent/CN110114125B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102380216A (zh) * | 2011-10-10 | 2012-03-21 | 汕头市博意玩具有限公司 | 一种遥控玩具飞机的方法及实施该方法的遥摆遥控器 |
CN103605400A (zh) * | 2013-11-27 | 2014-02-26 | 连云港杰瑞电子有限公司 | 一种脚踏控制器 |
CN205139708U (zh) * | 2015-10-28 | 2016-04-06 | 上海顺砾智能科技有限公司 | 一种无人机的动作识别远程控制装置 |
CN105759833A (zh) * | 2016-02-23 | 2016-07-13 | 普宙飞行器科技(深圳)有限公司 | 一种沉浸式无人机驾驶飞行系统 |
CN205692054U (zh) * | 2016-06-22 | 2016-11-16 | 国网江西省电力公司南昌供电分公司 | 一种头部运动监测的无线巡线机 |
CN106200657A (zh) * | 2016-07-09 | 2016-12-07 | 东莞市华睿电子科技有限公司 | 一种无人机控制方法 |
CN106020227A (zh) * | 2016-08-12 | 2016-10-12 | 北京奇虎科技有限公司 | 无人机的控制方法、装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2018123747A1 (ja) | 2018-07-05 |
JP6734400B2 (ja) | 2020-08-05 |
US20190317528A1 (en) | 2019-10-17 |
US11209835B2 (en) | 2021-12-28 |
CN110114125B (zh) | 2021-08-31 |
JPWO2018123747A1 (ja) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110114125A (zh) | 无人机操纵系统、操纵信号发射器组和无人机操纵方法 | |
US10936894B2 (en) | Systems and methods for processing image data based on region-of-interest (ROI) of a user | |
US11233943B2 (en) | Multi-gimbal assembly | |
US11632497B2 (en) | Systems and methods for controlling an image captured by an imaging device | |
CN107577247B (zh) | 目标追踪系统及方法 | |
WO2016031105A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN106020234B (zh) | 一种无人机飞行控制的方法、装置及设备 | |
WO2021088684A1 (zh) | 全向避障方法及无人飞行器 | |
JP6744033B2 (ja) | 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体 | |
JP2020126666A (ja) | 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体 | |
CN111194433A (zh) | 用于构图和捕捉图像的方法和系统 | |
US11620913B2 (en) | Movable object application framework | |
CN106060357B (zh) | 成像设备、无人机及机器人 | |
WO2021059684A1 (ja) | 情報処理システム、情報処理方法、情報処理プログラム | |
Portal | A java autopilot for Parrot AR Drone Designed with DiaSpec |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |