CN107207089A - 用于捕获图像的基于无人机的系统和方法 - Google Patents

用于捕获图像的基于无人机的系统和方法 Download PDF

Info

Publication number
CN107207089A
CN107207089A CN201580075902.4A CN201580075902A CN107207089A CN 107207089 A CN107207089 A CN 107207089A CN 201580075902 A CN201580075902 A CN 201580075902A CN 107207089 A CN107207089 A CN 107207089A
Authority
CN
China
Prior art keywords
unmanned plane
user
digital media
capture
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580075902.4A
Other languages
English (en)
Other versions
CN107207089B (zh
Inventor
沃尔夫兰·K·高格里茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peck Bo Chi Ltd
Original Assignee
Peck Bo Chi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peck Bo Chi Ltd filed Critical Peck Bo Chi Ltd
Publication of CN107207089A publication Critical patent/CN107207089A/zh
Application granted granted Critical
Publication of CN107207089B publication Critical patent/CN107207089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278Product appraisal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/16Real estate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography

Abstract

提供了一种用于按请求向用户发送无人机的方法。所述方法包括提供软件,所述软件的实例安装在多个移动技术平台上,其中每个移动技术平台与用户相关联且配备有有形的、非暂时介质,所述介质中安装有所述软件的实例。所述软件包含合适的编程指令,当所述编程指令由处理器执行时执行以下步骤:(a)在与所述移动技术平台相关联的显示器上显示图形用户界面(GUI),所述图形用户界面上显示用户可选择的对象,(b)确定用户何时已选择所述用户可选择的对象,和(c)当所述用户已选择所述用户可选择的对象时,(i)通过所述位置识别功能来确定所述用户的所述当前位置,和(ii)传输无人机请求,其中所述请求包括所述用户的所述确定的当前位置。所述方法还包括从所述多个移动技术平台中一个接收传输的无人机请求,和从无人机机群派遣无人机飞过所述请求中说明的所述用户的所述确定当前位置。

Description

用于捕获图像的基于无人机的系统和方法
相关申请的交叉引用
本申请请求2014年12月17日提交的发明者相同且标题相同的美国临时申请案62/093,063的优先权权益,且所述申请案全文以引用的方式并入本文。
技术领域
本公开一般涉及用于图像捕获的系统和方法,并且更具体说来涉及用于图像捕获的基于无人机的系统和方法。
技术背景
用于捕获图像和视频的无人机已颇具规模。无人机在军事侦察中有相当长的历史,且最近在民用应用技术方面也变得更加普遍。例如,国际财经时报在2014年7月8日刊登了题为“Drone-Filmed Fireworks Videos Capture Stunning Images From Above, BetweenExplosions”的文章,其中以在最近独立日庆祝活动期间无人机捕获的烟火表演的航拍图像和视频为特色。同样,若干个人和包括电讯报的组织已发布了无人机捕获的在加州库比蒂诺建设中的新苹果电脑总部(“校园2”)的视频片段和照片。
附图说明
图1是召集无人机用于捕获数字媒体的系统的实施方案的说明。
发明内容
在一个方面,提供一种用于按请求向用户发送无人机的方法。方法包括提供软件,所述软件的实例安装在多个移动技术平台上,其中每个移动技术平台与用户相关联且配备有有形的、非暂时介质,所述介质中安装有软件的实例,且其中软件包含合适的编程指令。当编程指令由处理器执行时执行以下步骤:(a)在与移动技术平台相关联的显示器上显示图形用户界面(GUI),图形用户界面上显示用户可选择的对象,(b)确定用户何时已选择用户可选择的对象,和(c)当用户已选择用户可选择的对象时,(i)获得目标位置(例如,例如通过用户移动技术平台的位置识别能力确定的用户的当前位置),和(ii)传输无人机请求,其中请求包括目标位置。方法还包括从多个移动技术平台中一个接收传输的无人机请求,和派遣无人机以飞过请求中说明的目标位置。在优选实施方案中,方法也包括以下步骤:从设置在无人机上的一个或多个设备自目标位置捕获数字媒体。
在另一方面,提供一种通过无人机请求数字媒体捕获的方法。方法包括获得移动技术平台,移动技术平台配备有显示器且具有有形的、非暂时介质,介质中安装有软件程序的实例。软件程序包含合适的编程指令,当编程指令由处理器执行时执行以下步骤:(a)在显示器上显示图形用户界面(GUI),图形用户界面上显示用户可选择的对象,其中GUI包括数字媒体控制面板,数字媒体控制面板允许用户将来自移动技术平台的数字媒体捕获控制命令输入到无人机,(b)确定用户何时已选择用户可选择的对象,和(c)当用户已选择用户可选择的对象时,(i)获得目标位置(例如,例如通过用户移动技术平台的位置识别能力确定的用户的当前位置),和(ii)传输无人机请求,其中请求包括目标位置。方法还包括选择可选择的对象,和将数字媒体捕获控制命令输入到数字媒体控制面板中。
在又一方面,提供一种用于捕获数字媒体的系统。系统包括无人机机群,其中在优选实施方案中每个无人机优选地被配备以捕获与地面目标相关的数字媒体。系统还包括多个移动技术平台,每个移动技术平台配备有(a)位置识别功能,(b)显示器,(c)有形的、非暂时存储器介质,和(d)记录在存储器介质中的软件程序的实例。软件程序包含合适的编程指令,当编程指令由与移动技术平台相关联的处理器执行时在显示器上呈现图形用户界面(GUI),图形用户界面上具有图形对象,当用户选择图形对象时,(i)通过位置识别功能来确定用户的当前位置,和(ii)传输无人机请求,所述请求包括用户的确定当前位置。系统还包括控制器,控制器从多个移动技术平台接收无人机请求并将无人机机群中一个无人机引导到用户的确定当前位置。
在又一方面,提供一种用于执行资产评估的方法。方法包括(a)提供配备有图像捕获和位置识别功能的无人机;(b)获得将用作建立资产的评估值的基础的一组可比较资产;(c)重复以下步骤直到已捕获n个图像为止,其中n≥1:
(i)向无人机传输请求,以捕获选自由资产和可比较资产组成的组的目标资产的图像,
(ii)确定无人机相对于与目标资产相关联的地理围栏的当前位置,和
(iii)如果无人机在与目标资产相关联的地理围栏的距离d内,那么捕获图像,否则拒绝请求;和(d)使用n个图像来确定资产的评估值。
在又一方面,提供一种用于捕获资产图像的方法。方法包括(a)提供无人机,无人机配备有图像捕获和位置识别功能;(b)从无人机接收请求以使用软件来捕获资产的图像;(c)确定无人机相对于与资产相关联的地理围栏的当前位置;和(d)如果无人机在与资产相关联的地理围栏的距离d内,那么同意请求,否则拒绝请求。
具体实施方式
尽管有上述进展,本领域中仍然需要应用基于无人机来成像数字媒体且更具体说来基于无人机来捕获数字媒体。例如,在一些应用中,本领域中需要按需获得基于无人机来捕获关于感兴趣目标的数字媒体,例如位置或事件。本领域中还需要一种构件,藉此,请求基于无人机捕获数字媒体的一方可控制数字媒体捕获的至少某些参数,且可限定数字媒体捕获的目标。可使用本文公开的系统和方法来满足这些和其他需要。
本文公开的系统、设备和方法还可参考图1描述的召集无人机用于数字媒体捕获的系统的特定非限制性实施方案来理解。参考图1,提供系统101,其包括多个移动技术平台103、服务器105和无人机机群107。多个移动技术平台103中每一个具有内部存储器设备,内部存储器设备中记录软件应用的实例。
软件应用优选地配备有合适的特征,以允许用户捕获数字媒体,例如照片、视频和声音文件。在优选实施方案中,且除了本文所述的特征和功能以外,软件包括题为“Systemsand Methods for Event Networking and Media Sharing”的美国2013/0275505(Gauglitz等人)、题为“System and Methods for Event Networking, Media Sharing,and Product Creation”的美国20130117146(Gauglitz)和题为“Systems AndMethodologies For Validating The Correspondence Between An Image And AnAsset”的美国62/048,506中所述的软件的特征和功能,所述申请案全文以引用的方式并入本文。软件可用各种形式来实现,包括例如实现为分布式应用或客户端-服务器应用。
在优选实施方案中,当软件在移动技术平台上启动时,在主机设备的显示器上呈现合适的图形对象,软件的实例安装在所述移动技术平台上。这个对象可能例如是图标、按钮、选项卡、图片或任何其他合适的用户可选择对象,虽然在特别优选实施方案中,所述对象是具有相关文本字段“Drone Me!”的图标。对象被优选地纳入安装在主机设备上的图像、视频和/或音频捕获软件的图形用户界面(GUI)中,以向用户提供捕获这些类型媒体的另外的选项。
在优选实施方案中,用户对图形对象的选择将无人机请求传输到服务器105。这个请求优选地包括如可例如由安装在主机设备上的本机位置识别软件或由其他合适的构件确定的用户的当前位置。
在接收到无人机请求之后,服务器105利用合适的算法来确定将无人机机群107中的哪个无人机派遣到用户位置。这个确定中可能考虑到各种因素,包括例如给定无人机的可用性、无人机相对于目标的当前位置、无人机从当前位置行进到目标所需的飞行路径、所述飞行路径的长度和无人机穿过所述飞行路径所需的时间、气象条件(包括例如风速和风向)和其他此类因素。
在选择合适的无人机之后,服务器向无人机提供足够的指令,以行进到目标目的地。这些指令可包括例如关于目标的位置信息(例如,无人机请求中包括的移动技术平台的当前位置)。
在一些实施方案中,随着无人机接近目标,所述无人机可把其操作的至少部分控制让给移动技术平台,无人机请求从所述移动技术平台发送。这可例如当无人机到达离目标预定距离时,或当无人机进入地理围栏(例如,与移动技术平台相关联的地理围栏,或服务器指定的地理围栏)时发生。
例如,在本文公开的系统和方法的一些实施方案中,在接近目标位置时,无人机可允许移动技术平台的用户承担通过无人机对数字媒体捕获的至少部分控制。在所述实施方案中,GUI可包括允许用户从移动技术平台向无人机输入数字媒体捕获控制命令的数字媒体控制面板。这些数字媒体捕获控制命令可包括例如指定无人机将要捕获的数字媒体的类型、所述数字媒体将何时被捕获或将捕获所述数字媒体的频率、将要成像的目标的位置、指定目标位置的一组坐标或地理围栏(其可为用户定义的地理围栏)、无人机摄像机将用于获取图像或视频片段的快门速度或曝光设置、成像期间将使用的镜头或摄像机(这可为实际镜头或产生所需的光学效果的虚拟镜头)或例如从目标标定器(painter)获得的目标信息的命令,所述目标标定器可与用户相关联,且在一些实施方案中,所述目标标定器可纳入移动技术平台中。
在本文公开的系统和方法的一些实施方案中,在接近目标位置时,无人机可允许移动技术平台的用户承担对无人机飞行的至少部分控制,尤其是当其足够接近目标位置以允许捕获数字媒体时。在所述实施方案中,GUI可配备有允许用户从移动技术平台向无人机输入飞行控制命令的飞行控制面板。这些飞行控制命令包括指定数字媒体捕获期间无人机将要采取的飞行路径的一部分的命令。在一些实施方案中,GUI也可被配置以允许用户输入或调整其他飞行控制参数,例如无人机的高度、速度或轨迹。为了安全或保险起见,无人机可配备有容许命令数据库,使得用户输入的不是容许命令或将使无人机或公众人士处于危险之中的任何飞行控制命令可被无人机忽视。
作为上述情况的实例,在一些实施方案中,可使无人机机群在事件地点可用。事件参与者可获得一段时间内对机群中特定无人机承担控制的能力。这可能因为参与者购买无人机时间、接收无人机作为赠品或通过其他方式而发生。在参与者控制无人机的时间期间,用户可利用无人机来捕获事件的数字媒体,且数字媒体可用例如在题为“Systems AndMethodologies For Validating The Correspondence Between An Image And AnAsset”的美国62/048,506(Gauglitz)和发明者相同且标题相同的PCT/US15/49488中所述的方式来与用户和/或事件相关联。用户在这个时间期间可能仅具有对无人机的部分控制。例如,用户可能能够控制无人机飞行路径的某些参数,但可能被锁定而无法调整无人机的高度。当无人机未被参与者利用时,所述无人机可返回家,即返回基地以加油或再充电,或者所述无人机可悬停在事件上方直到另一参与者进行控制。以这种方式,对无人机的控制可基本上从一个参与者传递到另一个参与者。
在本文限定的系统和方法的一些实施方案中,无人机可配备有合适的智能,使得其可确定最有效的飞行路径来覆盖事件(例如,为了数字媒体捕获目的)。这可通过无人机自身上安装的软件和/或硬件而发生,和/或通过无人机和一个或多个计算机或计算机网络之间的合适通信而发生。这个智能可适于允许无人机由于绕道或中断而重新计算它的飞行路径(例如,如果个人暂时以本文所述的方式承担对无人机的控制,那么可能发生这种情况)。
在一些实施方案中,本文公开的系统和方法可允许用户输入指定请求使用无人机用于的一般用途的信息。这个信息然后可用以调整将无人机控制为可能最有利于最终使用的设置的各种参数。例如,如果无人机将要用于捕获房地产的图像或视频,那么无人机可采取最有可能产生高品质图像或视频捕获的关于位置或地理围栏的一个或多个预定义飞行模式。
本文公开的系统和方法可结合包括捕获数字媒体作为一个步骤的其他系统和方法使用,其中进行了可理解的修改来考虑捕获数字媒体中无人机的使用。例如,这些系统和方法可用作题为“Systems And Methodologies For Validating The CorrespondenceBetween An Image And An Asset”的美国62/048,506(Gauglitz)和发明者相同且标题相同的PCT/US15/49488中所公开的系统和方法的部件。‘506申请案和‘488申请案公开了确保捕获的资产(例如家)的图像对应于实际资产且是最近年份的系统和方法。本文公开用于实现这个目标的系统、方法和软件可能以直接了断的方式延伸到使用无人机来捕获资产图像。
通过说明,需要一系列资产的最近图像(例如用于保险目的)的第一实体可联系第二实体,所述第二实体与第一实体签约以按需提供所述图像。第二实体可拥有或租用无人机机群,或者可与拥有或租用无人机机群的另一方具有业务关系。在接收到成像请求之后,第二实体可将一个或多个无人机派遣到将要成像的一个或多个资产的一个或多个位置。
所述实施方案中的无人机(或控制无人机的设备)可配备有合适的软件,所述软件防止采集数字媒体直到无人机足够靠近目标资产为止。所述靠近可例如通过确定无人机靠近与资产相关联的地理围栏来确定。尤其是,所述软件可防止无人机捕获数字媒体,直到无人机进入与目标资产相关联的地理围栏。
在其他实施方案中,数字媒体可由无人机捕获,且然后经受验证是否可能与资产相关联。在所述实施方案中,与捕获的数字媒体相关联的时间和方位数据可用于确定数字媒体是否应与目标资产相关联。在一些实施方案中,捕获数字媒体的无人机的标识可嵌入元数据或与捕获媒体相关联的其他数据。
在一些实施方案中,一个或多个信标可设于目标处或靠近目标以建立地理围栏,所述地理围栏可例如用以确定无人机应在何处收集数字媒体(例如,通过地理围栏入口)。举例来说,如果需要紧邻房屋中特定房间的外部结构的图像(例如,以为了保险目的确定结构损坏程度),信标可被放置于房间中,且用以限定合适的地理围栏,使得无人机将其成像的努力专注于房屋的适当部分。
在一些实施方案中,可提供合适的软件来按照预定公式控制无人机收集数字媒体。所述软件可设置在无人机自身上或另一设备上,所述另一设备例如移动技术平台、计算机、服务器或与无人机通信且施加对无人机飞行路径的至少部分控制的其他合适的设备。
例如,当利用无人机来成像房屋时,所述软件可确定将要捕获图像的一组最优位置(例如,2维或3维坐标集)、对于每个图像而言无人机的最优姿态(例如,俯仰、偏航和横滚)和无人机遵循以用最短的时间或最少的能源消耗来收集图像的最有效飞行路径。以上情况可取决于例如当前天气情况(例如,风速和风向)、太阳的位置和清晰度的此类因素。无人机然后可遵循规定的飞行路径并在预定位置捕获图像。
当然,应理解,上述方法可用于捕获一组资产的图像。在所述实施方案中,软件可确定将能够受到适当约束(例如,可用燃料、时间和限制空气空间的考虑)而捕获所有资产的图像的无人机的最优整体飞行路径。
在一些实施方案中,可维持各种大小、级别、形状和占地面积的房屋或其他结构的参数(例如,成像位置相对于结构的坐标)的数据库。然后这些参数可用以控制图像捕获。
本文所述的系统、方法和软件应用也可能以直接了断的方式延伸到题为“Systemsand Methods for Event Networking and Media Sharing”的美国2013/0275505(Gauglitz等人)、题为“System and Methods for Event Networking, Media Sharing,and Product Creation”的美国20130117146(Gauglitz)中所述的系统、方法和软件应用。例如,可修改其中公开的媒体共享软件,以包括本文所述的“Drone Me”功能,从而允许事件的观众、参加者或参与者具有捕获的航拍图像或视频。
在其他实施方案中,安装在与事件的观众、参加者或参与者相关联的移动技术平台上的软件可用本文所述的的方式来利用,以至少部分控制无人机的飞行或成像捕获。在所述实施方案中,一方可向事件提供一个或多个无人机,且事件中配备有上面安装了上述软件的移动技术平台的观众可通过经由软件提交请求来“租用”对无人机的控制达预定时间段。
虽然已相对于捕获特定类型的资产(例如,房屋或其他资产)的图像频繁具体地描述了上述系统、方法和软件,但是应当理解,这些系统、方法和软件更普遍适用于收集关于各种类型的资产的各种类型的数字媒体。
应理解,本文公开的系统和方法延伸超出媒体捕获。例如,这些系统和方法可用于其中用户可召集无人机进行各种目的的无人机租赁的情景中。例如,在本文公开的系统和方法的一些实施方案中,无人机机群可配备有合适的照明、电子标牌或音频传输能力,且用户可召集无人机以向观众显示广告、消息或其他内容。例如,用户可召集无人机以穿过生日聚会,同时显示“生日快乐!”并播放合适的音乐。在其他实施方案中,用户可召集无人机,并使用所述无人机来向收件人投递包裹或物品。在另外的实施方案中,用户可召集无人机供紧急用途,例如,在雪崩中定位一位滑雪者。
在本文公开的系统和方法的一些实施方案中,可召集多个无人机到拥挤的场所。在所述实例中,无人机可彼此通信以避免碰撞,并绘制每个个别无人机的飞行路径,其将防止或减少媒体捕获期间任何另一无人机的任何干扰。
在本文公开的系统和方法的一些实施方案中,无人机请求可包括选择无人机的飞行路径的一个或多个参数。例如,用户可能能够选择将使无人机悬停或盘旋在指定的区域或点达预定时间量的参数。用户也可能能够选择将使无人机在隐形模式下操作的参数。在所述实施方案中,无人机可响应于所述请求而通过减少或最小化操作噪声或通过选择将使无人机尽可能不引人注目的飞行路径来操作。
在本文公开的系统和方法的一些实施方案中,当无人机到达目的地时,其可跟随用户。这可例如通过使与用户相关联的移动技术平台定期更新其位置并将该更新的信息提供到无人机来实现(这可通过移动技术平台和无人机之间的直接通信来发生,或间接地通过例如一个或多个服务器来发生)。
本文公开的系统和方法中可利用各种移动技术平台。优选地,这些移动技术平台是手持设备,例如配备有显示器、操作系统、通信系统和位置识别的智能手机。所述设备的许多当前模型重量少于6.5盎司。然而,应当理解,本文所述的系统和方法的一些实施方案中可使用其他类似设备,包括例如便携式计算机或平板PC。
本发明的以上描述是说明性而非限制性。因此,应理解,可在不脱离本发明的范围的情况下,对上述实施方案进行各种添加、替换和修改。因此,本发明的范围应参考所附权利要求书来解释。在这些权利要求中,应理解,在不脱离本发明的范围的情况下,任一权利要求中所述的限制可与任何其他一或多项权利要求所述的限制组合,除非本说明书另有明确教导。因此,例如,任一从属权利要求中说明的各种限制可与任何其他从属权利要求中说明的限制组合,而不管所述组合是否在发明的权利要求书或说明书中明确指出。

Claims (60)

1.一种用于按请求向用户发送无人机的方法,其包括:
提供软件,所述软件的实例安装在多个移动技术平台上,其中每个移动技术平台与用户相关联且配备有有形的、非暂时介质,所述介质中安装有所述软件的实例,且其中所述软件包含合适的编程指令,当所述编程指令由处理器执行时执行以下步骤:
(a) 在与所述移动技术平台相关联的显示器上显示图形用户界面(GUI),所述图形用户界面上显示用户可选择的对象,
(b) 确定所述用户何时已选择所述用户可选择的对象,
(c) 当所述用户已选择所述用户可选择的对象时,(i)获得无人机的目的地,和(ii)传输无人机请求,其中所述请求包括所述目的地;
从所述多个移动技术平台中一个接收传输的无人机请求;和
派遣无人机以飞过所述请求中指定的所述目的地。
2.如权利要求1所述的方法,其中获得无人机的目的地包括向所述用户询问目的地。
3.如权利要求1所述的方法,其中获得无人机的目的地包括获得所述用户的所述当前位置,和将所述用户的所述当前位置指定为所述目的地。
4.如权利要求3所述的方法,其中与所述用户相关联的所述移动技术平台具有位置识别能力,且其中传输所述请求时所述移动技术平台的所述位置被指定为所述目的地。
5.如权利要求1所述的方法,其还包括:
从设置在所述无人机上的设备自所述用户的所述确定位置捕获数字媒体。
6.如权利要求5所述的方法,其中所述数字媒体包括至少一个数字图像。
7.如权利要求5所述的方法,其中所述数字媒体包括至少一个数字视频。
8.如权利要求5所述的方法,其中所述数字媒体包括至少一个音频文件。
9.如权利要求5所述的方法,其中所述软件进一步标识与所述移动技术平台相关联的地理围栏,所述移动技术平台与所述用户相关联;和用所述请求传输这个信息。
10.如权利要求9所述的方法,其中,在接近所述用户的所述确定位置时,所述无人机采用平行于所述地理围栏的所述边界的飞行路径。
11.如权利要求10所述的方法,其中当所述无人机在所述采用的飞行路径上时,所述无人机捕获所述数字媒体。
12.如权利要求5所述的方法,其中,在接近所述用户的所述确定位置时,所述软件允许所述用户承担对所述无人机的所述飞行路径的至少部分控制。
13.如权利要求12所述的方法,其中所述GUI包括飞行控制面板,所述飞行控制面板允许所述用户将来自所述移动技术平台的飞行控制命令输入到所述无人机。
14.如权利要求13所述的方法,其中所述无人机配备有容许命令数据库,且其中所述用户输入的不是容许命令的任何飞行控制命令被所述无人机忽视。
15.如权利要求13所述的方法,其中所述飞行控制命令包括指定数字媒体捕获期间所述无人机采取的所述飞行路径的部分的命令。
16.如权利要求5所述的方法,其中,在接近所述用户的所述确定位置时,所述软件允许所述用户承担对所述无人机进行的数字媒体的所述捕获的至少部分控制。
17.如权利要求5所述的方法,其中,在进入与用户移动技术平台相关联的地理围栏时,所述软件允许所述用户承担对所述无人机在所述地理围栏内时由所述无人机进行的数字媒体的所述捕获的至少部分控制。
18.如权利要求15所述的方法,其中所述GUI包括数字媒体控制面板,所述数字媒体控制面板允许所述用户将来自所述移动技术平台的数字媒体捕获控制命令输入到所述无人机。
19.如权利要求18所述的方法,其中所述数字媒体捕获控制命令包括指定将由所述无人机捕获的数字媒体的所述类型的命令。
20.如权利要求18所述的方法,其中所述数字媒体捕获控制命令包括指定数字媒体将何时被所述无人机捕获的命令。
21.如权利要求18所述的方法,其中所述数字媒体捕获控制命令包括指定数字媒体将被所述无人机捕获的频率的命令。
22.如权利要求18所述的方法,其中所述数字媒体捕获控制命令包括指定将要成像的目标的所述位置的命令。
23.如权利要求22所述的方法,其中所述数字媒体捕获控制命令允许用于数字媒体捕获的目标的所述位置由一组坐标来指定。
24.如权利要求22所述的方法,其中所述数字媒体捕获控制命令允许用于数字媒体捕获的目标的所述位置由地理围栏来指定。
25.如权利要求24所述的方法,其中所述地理围栏是用户定义的地理围栏。
26.如权利要求18所述的方法,其中所述数字媒体捕获控制命令包括选自由快门速度、变焦和曝光组成的组的命令。
27.如权利要求18所述的方法,其中所述无人机配备有多个镜头,且其中所述数字媒体捕获控制命令包括指定数字媒体捕获期间将使用哪个镜头的命令。
28.如权利要求18所述的方法,其中所述无人机配备有多个摄像机,且其中所述数字媒体捕获控制命令包括指定数字媒体捕获期间将使用哪个摄像机的命令。
29.如权利要求18所述的方法,其中所述数字媒体捕获控制命令包括从目标标定器获得的目标信息。
30.如权利要求29所述的方法,其中所述目标标定器是所述移动技术平台的部件。
31.如权利要求1所述的方法,其中派遣无人机以飞过所述请求中说明的目的地包括派遣多个无人机中的一个。
32.如权利要求31所述的方法,其中派遣无人机包括确定所述多个无人机中哪个无人机可用且最靠近所述请求中说明的所述目的地。
33.如权利要求31所述的方法,其中派遣无人机包括确定所述多个无人机中哪个无人机可用且具有到所述请求中说明的所述目的地最短的飞行路径。
34.一种通过无人机请求数字媒体捕获的方法,其包括:
获得移动技术平台,所述移动技术平台配备有显示器且具有有形的、非暂时介质,所述介质中安装有软件程序的实例,其中所述软件程序包含合适的编程指令,当所述编程指令由处理器执行时执行以下步骤
(a) 在所述显示器上显示图形用户界面(GUI),所述图形用户界面上显示用户可选择的对象,其中所述GUI包括数字媒体控制面板,所述数字媒体控制面板允许所述用户将来自所述移动技术平台的数字媒体捕获控制命令输入到所述无人机,
(b) 确定所述用户何时已选择所述用户可选择的对象,和
(c) 当所述用户已选择所述用户可选择的对象时,(i)从所述用户或与所述用户相关联的所述移动技术平台获得目标位置,和(ii)传输无人机请求,其中所述请求包括所述目标位置;
选择所述可选择的对象;和
将数字媒体捕获控制命令输入到所述数字媒体控制面板中。
35.如权利要求34所述的方法,其还包括:
响应于所述请求从所述无人机接收捕获的数字媒体。
36.如权利要求34所述的方法,其中所述数字媒体捕获控制命令包括指定将由所述无人机捕获的数字媒体的所述类型的命令。
37.如权利要求34所述的方法,其中所述数字媒体捕获控制命令包括指定数字媒体将何时被所述无人机捕获的命令。
38.如权利要求34所述的方法,其中所述数字媒体捕获控制命令包括指定数字媒体将被所述无人机捕获的频率的命令。
39.如权利要求34所述的方法,其中所述数字媒体捕获控制命令包括指定将要成像的目标的所述位置的命令。
40.如权利要求34所述的方法,其中所述数字媒体捕获控制命令允许用于数字媒体捕获的目标的所述位置由一组坐标来指定。
41.如权利要求34所述的方法,其中所述数字媒体捕获控制命令允许用于数字媒体捕获的目标的所述位置由地理围栏来指定。
42.如权利要求41所述的方法,其中所述地理围栏是用户定义的地理围栏。
43.如权利要求34所述的方法,其中所述数字媒体捕获控制命令包括选自由快门速度、变焦和曝光组成的组的命令。
44.如权利要求34所述的方法,其中所述无人机配备有多个镜头,且其中所述数字媒体捕获控制命令包括指定数字媒体捕获期间将使用哪个镜头的命令。
45.如权利要求34所述的方法,其中所述无人机配备有多个摄像机,且其中所述数字媒体捕获控制命令包括指定数字媒体捕获期间将使用哪个摄像机的命令。
46.如权利要求34所述的方法,其中所述数字媒体捕获控制命令包括从目标标定器获得的目标信息。
47.如权利要求46所述的方法,其中所述目标标定器是所述移动技术平台的部件。
48.如权利要求34所述的方法,其中所述目标位置是与所述用户相关联的所述移动技术平台的所述位置。
49.如权利要求48所述的方法,其中所述移动技术平台通过其操作系统具有位置识别功能,且其中获得目标位置包括向所述操作系统询问所述移动技术平台的所述当前位置。
50.一种用于捕获数字媒体的系统,其包括:
多个无人机;
多个移动技术平台,每个移动技术平台配备有
(a) 位置识别功能,
(b) 显示器,
(c) 有形的、非暂时存储器介质,和
(d) 记录在所述存储器介质中的软件程序的实例,其中所述软件程序包含合适的编程指令,当所述编程指令由与所述移动技术平台相关联的处理器执行时在所述显示器上呈现图形用户界面(GUI),所述图形用户界面上具有图形对象,当所述用户选择所述图形对象时,(i)通过所述位置识别功能来确定所述用户的所述当前位置,和(ii)传输无人机请求,所述请求包括所述用户的所述确定当前位置;和
控制器,所述控制器从所述多个移动技术平台接收无人机请求并将所述多个无人机中的一个引导到所述用户的所述确定当前位置。
51.如权利要求50所述的系统,其中所述多个无人机中每一个被配备以捕获与地面目标相关的数字媒体。
52.一种用于执行资产评估的方法,其包括:
提供配备有图像捕获和位置识别功能的无人机;
获得将用作建立所述资产的所述评估值的基础的一组可比较资产;
重复以下步骤直到已捕获n个图像为止,其中n≥1,
向所述无人机传输请求,以捕获选自由所述资产和所述可比较资产组成的组的目标资产的图像,
确定所述无人机相对于与所述目标资产相关联的地理围栏的所述当前位置,和
如果所述无人机在与所述目标资产相关联的所述地理围栏的距离d内,那么捕获所述图像,否则拒绝所述请求;和
使用所述n个图像来确定所述资产的评估值。
53.如权利要求52所述的方法,其中所述资产是房地产。
54.如权利要求52所述的方法,其中所述n个图像包括每个可比较资产的至少一个图像。
55.如权利要求54所述的方法,其中有至少3个可比较资产,且不超过5个可比较资产。
56.如权利要求52所述的方法,其还包括:
将每个捕获图像放在与所述目标资产相关联的文件夹中。
57.如权利要求52所述的方法,其中确定所述无人机相对于与所述目标资产相关联的地理围栏的所述当前位置包括确定所述无人机的所述GPS坐标。
58.如权利要求52所述的方法,其还包括:
使方位和时间数据与每个捕获图像相关联,所述方位和时间数据分别指定捕获所述图像的所述位置和时间。
59.如权利要求58所述的方法,其中使方位和时间数据与每个捕获图像相关联包括将所述方位和时间数据记录到与所述捕获图像相关联的元数据中。
60.一种用于捕获资产图像的方法,其包括:
提供无人机,所述无人机配备有图像捕获和位置识别功能;
从所述无人机接收请求以使用所述软件来捕获所述资产的图像;
确定所述无人机相对于与所述资产相关联的地理围栏的所述当前位置;和
如果所述无人机在与所述资产相关联的所述地理围栏的距离d内,那么同意所述请求,否则拒绝所述请求。
CN201580075902.4A 2014-12-17 2015-12-17 用于捕获图像的基于无人机的系统和方法 Active CN107207089B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462093063P 2014-12-17 2014-12-17
US62/093,063 2014-12-17
PCT/US2015/066257 WO2016100601A2 (en) 2014-12-17 2015-12-17 Drone based systems and methodologies for capturing images

Publications (2)

Publication Number Publication Date
CN107207089A true CN107207089A (zh) 2017-09-26
CN107207089B CN107207089B (zh) 2020-11-24

Family

ID=56127853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580075902.4A Active CN107207089B (zh) 2014-12-17 2015-12-17 用于捕获图像的基于无人机的系统和方法

Country Status (5)

Country Link
US (3) US10640208B2 (zh)
EP (1) EP3233633A4 (zh)
CN (1) CN107207089B (zh)
CA (1) CA2971254C (zh)
WO (1) WO2016100601A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045209A (zh) * 2018-10-11 2020-04-21 光宝电子(广州)有限公司 使用无人机的旅游系统与方法
CN111512256A (zh) * 2018-01-25 2020-08-07 通用电气公司 自动和自适应的三维机器人现场勘测
CN113257045A (zh) * 2021-07-14 2021-08-13 四川腾盾科技有限公司 一种基于大型固定翼无人机电子围栏的无人机控制方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977757B2 (en) * 2013-09-18 2021-04-13 James Brian Fry Video record receipt system and method of use
US9292705B2 (en) 2014-02-21 2016-03-22 Lens Ventures, Llc Management of drone operations and security in a pervasive computing environment
GB2557556A (en) * 2015-11-25 2018-06-20 Walmart Apollo Llc Unmanned aerial delivery to secure location
CN108292365A (zh) * 2015-12-09 2018-07-17 深圳市大疆创新科技有限公司 用于无人载运工具的成像系统和方法
US9740200B2 (en) * 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US10137984B1 (en) * 2016-02-23 2018-11-27 State Farm Mutual Automobile Insurance Company Systems and methods for operating drones in response to an incident
WO2018034018A1 (ja) * 2016-08-16 2018-02-22 Necソリューションイノベータ株式会社 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
US10874240B2 (en) 2016-10-04 2020-12-29 Walmart Apollo, Llc Landing pad receptacle for package delivery and receipt
US11518510B1 (en) * 2016-10-06 2022-12-06 Gopro, Inc. Systems and methods for controlling an unmanned aerial vehicle
WO2018089588A1 (en) * 2016-11-11 2018-05-17 Wal-Mart Stores, Inc. Layaway system
US11068837B2 (en) * 2016-11-21 2021-07-20 International Business Machines Corporation System and method of securely sending and receiving packages via drones
KR102248793B1 (ko) * 2017-06-07 2021-05-07 에더트로닉스, 잉크. 고도 변경 객체들을 갖는 시스템들을 위한 전력 제어 방법
US10625854B2 (en) * 2017-08-10 2020-04-21 Wesley John Boudville Drone interacting with a stranger having a cellphone
CN107330773A (zh) * 2017-08-18 2017-11-07 北京臻迪机器人有限公司 基于移动终端的无人机租赁系统及方法
US10880465B1 (en) 2017-09-21 2020-12-29 IkorongoTechnology, LLC Determining capture instructions for drone photography based on information received from a social network
US10860953B2 (en) * 2018-04-27 2020-12-08 DISH Technologies L.L.C. IoT drone fleet
CN110942265A (zh) * 2018-09-25 2020-03-31 北京外号信息技术有限公司 一种货物协同配送系统和方法
US11320821B2 (en) 2018-12-11 2022-05-03 Airbus Helicopters Drone for industrial activities
US20220114382A1 (en) * 2019-06-05 2022-04-14 Hewlett-Packard Development Company, L.P. Structural measurement using a fixed pattern
CN111142558B (zh) * 2019-12-24 2023-03-14 中国航空工业集团公司西安飞机设计研究所 一种系统需求捕获的方法及装置
US11320281B2 (en) * 2020-03-04 2022-05-03 Ford Global Technologies, Llc On-demand vehicle imaging systems and methods
US11934981B2 (en) 2020-10-06 2024-03-19 Dish Network L.L.C. Systems and methods for drones as a service
IT202100002021A1 (it) * 2021-02-01 2022-08-01 Wenvent It S R L Sistema e metodo di acquisizione dati immagine da un dispositivo volante
JP2023078640A (ja) * 2021-11-26 2023-06-07 トヨタ自動車株式会社 車両撮影システムおよび車両撮影方法
US11819737B1 (en) * 2023-07-02 2023-11-21 Owen Charles Wengreen Drones that save people from avalanches

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070284474A1 (en) * 2006-06-09 2007-12-13 The Insitu Group, Inc. Wirelessly controlling unmanned aircraft and accessing associated surveillance data
CN101127078A (zh) * 2007-09-13 2008-02-20 北京航空航天大学 一种基于蚁群智能的无人机机器视觉图像匹配方法
US20100004798A1 (en) * 2005-01-25 2010-01-07 William Kress Bodin Navigating a UAV to a next waypoint
US20100250022A1 (en) * 2006-12-29 2010-09-30 Air Recon, Inc. Useful unmanned aerial vehicle
WO2013163746A1 (en) * 2012-05-04 2013-11-07 Aeryon Labs Inc. System and method for controlling unmanned aerial vehicles

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130741B2 (en) 2003-10-23 2006-10-31 International Business Machines Corporation Navigating a UAV with a remote control device
US7848765B2 (en) 2005-05-27 2010-12-07 Where, Inc. Location-based services
US8046306B2 (en) 2007-06-29 2011-10-25 Zaio Corporation System, method, and apparatus for property appraisals
JP2009109782A (ja) * 2007-10-31 2009-05-21 Hitachi Ltd ズームカメラ
US8090633B2 (en) 2007-12-24 2012-01-03 Meadow William D Method and apparatus for image data based valuation
US9544379B2 (en) 2009-08-03 2017-01-10 Wolfram K. Gauglitz Systems and methods for event networking and media sharing
IL201682A0 (en) 2009-10-22 2010-11-30 Bluebird Aero Systems Ltd Imaging system for uav
US8335526B2 (en) 2009-12-14 2012-12-18 At&T Intellectual Property I, Lp Location and time specific mobile participation platform
US20120271461A1 (en) 2011-04-20 2012-10-25 Spata Gregory P Capturing environmental information
US9384668B2 (en) * 2012-05-09 2016-07-05 Singularity University Transportation using network of unmanned aerial vehicles
US8909391B1 (en) * 2012-12-28 2014-12-09 Google Inc. Responsive navigation of an unmanned aerial vehicle to a remedial facility
CA2947936C (en) * 2013-05-04 2023-02-21 Christopher Decharms Mobile security technology
US9363638B1 (en) * 2015-06-02 2016-06-07 GeoFrenzy, Inc. Registrar mapping toolkit for geofences
US20170090484A1 (en) * 2015-09-29 2017-03-30 T-Mobile U.S.A., Inc. Drone-based personal delivery system
US9513635B1 (en) * 2015-12-30 2016-12-06 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US20170214856A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Method for controlling motions and actions of an apparatus including an image capture device having a moving device connected thereto using a controlling device
US10762795B2 (en) * 2016-02-08 2020-09-01 Skydio, Inc. Unmanned aerial vehicle privacy controls

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100004798A1 (en) * 2005-01-25 2010-01-07 William Kress Bodin Navigating a UAV to a next waypoint
US20070284474A1 (en) * 2006-06-09 2007-12-13 The Insitu Group, Inc. Wirelessly controlling unmanned aircraft and accessing associated surveillance data
US20100250022A1 (en) * 2006-12-29 2010-09-30 Air Recon, Inc. Useful unmanned aerial vehicle
CN101127078A (zh) * 2007-09-13 2008-02-20 北京航空航天大学 一种基于蚁群智能的无人机机器视觉图像匹配方法
WO2013163746A1 (en) * 2012-05-04 2013-11-07 Aeryon Labs Inc. System and method for controlling unmanned aerial vehicles

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111512256A (zh) * 2018-01-25 2020-08-07 通用电气公司 自动和自适应的三维机器人现场勘测
CN111512256B (zh) * 2018-01-25 2021-11-05 通用电气公司 自动和自适应的三维机器人现场勘测
CN111045209A (zh) * 2018-10-11 2020-04-21 光宝电子(广州)有限公司 使用无人机的旅游系统与方法
CN113257045A (zh) * 2021-07-14 2021-08-13 四川腾盾科技有限公司 一种基于大型固定翼无人机电子围栏的无人机控制方法

Also Published As

Publication number Publication date
US20210139146A1 (en) 2021-05-13
CA2971254A1 (en) 2016-06-23
US10960977B2 (en) 2021-03-30
US11603201B2 (en) 2023-03-14
CA2971254C (en) 2021-07-06
CN107207089B (zh) 2020-11-24
US10640208B2 (en) 2020-05-05
US20180265194A1 (en) 2018-09-20
WO2016100601A3 (en) 2016-08-11
EP3233633A4 (en) 2018-05-30
US20200189736A1 (en) 2020-06-18
EP3233633A2 (en) 2017-10-25
WO2016100601A2 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
CN107207089A (zh) 用于捕获图像的基于无人机的系统和方法
US20200034989A1 (en) Imaging system, calibration method, and calibrator
JP5416763B2 (ja) カメラの制御と構図のための方法及び装置
CN107079184B (zh) 交互式双目镜视频显示器
CN101753808B (zh) 照片授权系统、方法和设备
CN106657923B (zh) 基于位置的场景切换式共享观景系统
WO2018205104A1 (zh) 无人机拍摄控制方法、无人机拍摄方法、控制终端、无人机控制装置和无人机
CN105684414A (zh) 无线摄像机
CN110192168A (zh) 一种无人机拍照方法、图像处理方法和装置
CN106060469A (zh) 基于无人飞行器拍摄的图像处理系统及其图像处理方法
US20210112194A1 (en) Method and device for taking group photo
KR20180047488A (ko) 이동통신 네트웍을 이용하는 드론 시스템 및 드론관리서버
JP2024041752A (ja) 使用者間の経験共有を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
JP2017529029A (ja) カメラ制御および画像ストリーミング
KR102226716B1 (ko) 실시간 원격지 영상 조작 기능을 제공하기 위한 방법 및 시스템
CN110291776B (zh) 飞行控制方法及飞行器
CN205356525U (zh) 无人飞行器
CN116762354A (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
JP2019179963A (ja) 撮影装置及び撮影方法
US9584725B2 (en) Method and terminal device for shooting control
KR101599149B1 (ko) 피사체를 자동으로 추적하는 촬영장치
US20230362485A1 (en) Camera service system and method
JP2019145947A (ja) 撮影システム及び撮影制御装置
CN205726067U (zh) 基于无人飞行器拍摄的图像提示系统
CN113050698B (zh) 一种搜寻目标物的方法、装置、无人机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant