CN110906922A - 无人机位姿信息的确定方法及装置、存储介质、终端 - Google Patents

无人机位姿信息的确定方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN110906922A
CN110906922A CN201911090269.2A CN201911090269A CN110906922A CN 110906922 A CN110906922 A CN 110906922A CN 201911090269 A CN201911090269 A CN 201911090269A CN 110906922 A CN110906922 A CN 110906922A
Authority
CN
China
Prior art keywords
information
positioning
historical
attitude
pose information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911090269.2A
Other languages
English (en)
Inventor
张奕峰
齐欣
苏文博
宋大雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Woozoom Technology Co ltd
Original Assignee
Shenyang Woozoom Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Woozoom Technology Co ltd filed Critical Shenyang Woozoom Technology Co ltd
Priority to CN201911090269.2A priority Critical patent/CN110906922A/zh
Publication of CN110906922A publication Critical patent/CN110906922A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53—Determining attitude

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明公开了一种无人机位姿信息的确定方法及装置、存储介质、终端，涉及数据处理技术领域，主要目的在于解决现有根据GPS装置采集的位姿信息进行数据处理，会产生较大的数据误差，从而影响成图定位精度，以及降低免像控精度的问题。包括：获取无人机飞行测绘时第一定位设备在曝光时刻所产生的热靴信号；根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息；根据所述第一定位设备与所述第二定位设备之间的相对位置对应关系，将所述位姿信息转换为所述无人机的位姿信息。主要用于无人机位姿信息的确定。

Description

无人机位姿信息的确定方法及装置、存储介质、终端
技术领域
本发明涉及一种数据处理技术领域，特别是涉及一种无人机位姿信息的确定方法及装置、存储介质、终端。
背景技术
传统航空摄影、测量、无人机航测都需要在地面部署多个像控点，用于控制最后的成图位置精度。其中，由于外业测设地面像控点费时费力，在实际工作中，测设像控点任务通常会占整个航测任务的一半，在交通不便的地区，测设像控点所占用的时间会更长，因此，免像控应运而生，实现无需在地面部署测量的多个像控点，仍能达到成图精度的目的。
目前，现有的无人机航测时，利用GPS定位装置确定无人机的位置信息，由于多旋翼无人机的GPS装置与相机的位置位于一条垂直线上，而且飞行速度较低，采集的无人机位姿信息中的位姿信息误差较小，此时使用无人机采集的位姿数据代表相机曝光时刻位置数据误差并不大。但是，在固定翼模式下，无人机GPS装置采集与相机有固定的位置偏移，同时固定翼模式下无人机飞行速度较快，直接使用无人机采集的位姿数据作为相机曝光时刻位置数据会产生较大的误差，直接影响免像控成图精度。
发明内容
有鉴于此，本发明提供一种无人机位姿信息的确定方法及装置、存储介质、终端，主要目的在于解决现有根据GPS装置采集的位姿信息进行数据处理时产生较大的误差，从而影响无人机的定位精度，以及降低免像控精度的问题。
依据本发明一个方面，提供了一种无人机位姿信息的确定方法，包括：
获取无人机飞行测绘时第一定位设备在曝光时刻所产生的热靴信号；
根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息；
根据所述第一定位设备与所述第二定位设备之间的相对位置对应关系，将所述位姿信息转换为所述无人机的位姿信息。
进一步地，所述根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息包括：
提取第二定位设备的历史位姿信息，所述历史位姿信息包括历史定位信息、历史姿态信息；
利用内插计算方法以及所述历史定位信息计算所述曝光时刻的定位信息，所述定位信息包括经度信息、纬度信息、高程信息；和/或，
利用内存计算方法以及所述历史姿态信息计算所述曝光时刻的姿态信息，所述姿态信息包括航向信息、俯仰信息、横滚信息。
进一步地，所述利用内插计算方法以及所述历史定位信息计算所述热靴信号对应的曝光时刻的定位信息包括：
根据所述历史定位信息中的历史定位时刻以及与所述历史定位时刻对应的定位信息通过内插计算方法分别计算出所述曝光时刻的定位信息，所述内插计算方法为历史定位时刻、与所述历史定位时刻对应的定位信息、曝光时刻、与所述曝光时刻对应的定位信息之间的比例对应关系。
进一步地，所述利用内存计算方法以及所述历史姿态信息计算所述热靴信号对应的曝光时刻的姿态信息包括：
根据所述历史姿态信息中的历史姿态时刻以及与所述历史姿态时刻对应的姿态信息通过内插计算方法分别计算出所述曝光时刻的姿态信息，所述内插计算方法为历史姿态时刻、与所述历史姿态时刻对应的姿态信息、曝光时刻、与所述曝光时刻对应的姿态信息之间的比例对应关系。
进一步地，所述根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息之后，所述方法还包括：
解析所述位姿信息中的姿态信息；
判断所述姿态信息与预设规范姿态信息是否匹配；
若不匹配，则发送位姿信息重置告警信息。
进一步地，所述根据所述第一定位设备与所述第二定位设备之间的相对位置对应关系，将所述位姿信息转换为所述无人机的位姿信息包括：
提取所述第一定位设备与所述第二定位设备的安装偏移信息、姿态偏移信息、旋转矩阵；
按照所述安装偏移信息、所述姿态偏移信息、所述旋转矩阵将所述曝光时刻对应的定位信息、姿态信息、旋转矩阵进行转换，得到所述无人机相对于所述曝光时刻的位姿信息。
进一步地，所述方法还包括：
根据所述位姿信息生成定位文件，并进行输出。
依据本发明另一个方面，提供了一种无人机位姿信息的确定装置，包括：
获取模块，用于获取无人机飞行测绘时第一定位设备在曝光时刻所产生的热靴信号；
确定模块，用于根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息；
转换模块，用于根据所述第一定位设备与所述第二定位设备之间的相对位置对应关系，将所述位姿信息转换为所述无人机的位姿信息。
进一步地，所述确定模块包括：
提取单元，用于提取第二定位设备的历史位姿信息，所述历史位姿信息包括历史定位信息、历史姿态信息；
第一计算单元，用于利用内插计算方法以及所述历史定位信息计算所述曝光时刻的定位信息，所述定位信息包括经度信息、纬度信息、高程信息；和/或，
第二计算单元，用于利用内存计算方法以及所述历史姿态信息计算所述曝光时刻的姿态信息，所述姿态信息包括航向信息、俯仰信息、横滚信息。
进一步地，所述第一计算单元，用于根据所述历史定位信息中的历史定位时刻以及与所述历史定位时刻对应的定位信息通过内插计算方法分别计算出所述曝光时刻的定位信息，所述内插计算方法为历史定位时刻、与所述历史定位时刻对应的定位信息、曝光时刻、与所述曝光时刻对应的定位信息之间的比例对应关系。
进一步地，所述第二计算单元，用于根据所述历史姿态信息中的历史姿态时刻以及与所述历史姿态时刻对应的姿态信息通过内插计算方法分别计算出所述曝光时刻的姿态信息，所述内插计算方法为历史姿态时刻、与所述历史姿态时刻对应的姿态信息、曝光时刻、与所述曝光时刻对应的姿态信息之间的比例对应关系。
进一步地，所述装置还包括：
解析模块，用于解析所述位姿信息中的姿态信息；
判断模块，用于判断所述姿态信息与预设规范姿态信息是否匹配；
发送模块，用于若不匹配，则发送位姿信息重置告警信息。
进一步地，所述转换模块包括：
提取单元，用于提取所述第一定位设备与所述第二定位设备的安装偏移信息、姿态偏移信息、旋转矩阵；
转换单元，用于按照所述安装偏移信息、所述姿态偏移信息、所述旋转矩阵将所述曝光时刻对应的定位信息、姿态信息、旋转矩阵进行转换，得到所述无人机相对于所述曝光时刻的位姿信息。
进一步地，所述装置还包括：
输出模块，用于根据所述位姿信息生成定位文件，并进行输出。
根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述无人机位姿信息的确定方法对应的操作。
根据本发明的再一方面，提供了一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述无人机位姿信息的确定方法对应的操作。
借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：
本发明提供了一种无人机位姿信息的确定方法及装置、存储介质、终端，与现有技术根据GPS装置采集的位姿信息进行数据处理时产生较大的误差，从而影响无人机的定位精度，以及降低免像控精度相比，本发明实施例通过第一定位设备在曝光时刻所产生的热靴信号及第二定位设备的历史位姿信息确定曝光时刻的位姿信息，通过第一定位设备及第二定位设备之间的相对位置对应关系，将位姿信息转换为无人机的位姿信息，实现任意时刻曝光瞬间根据相机确定出无人机的位姿信息，减少根据此定位数据进行数据处理的误差，提高无人机定位精度，从而提高免像控精度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种无人机位姿信息的确定方法流程图；
图2示出了本发明实施例提供的另一种无人机位姿信息的确定方法流程图；
图3示出了本发明实施例提供的一种位置采样间隔示意图；
图4示出了本发明实施例提供的一种姿势采样间隔示意图；
图5示出了本发明实施例提供的一种位姿信息确定的流程示意图；
图6示出了本发明实施例提供的一种无人机位姿信息的确定装置组成框图；
图7示出了本发明实施例提供的另一种无人机位姿信息的确定装置组成框图；
图8示出了本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种无人机位姿信息的确定方法，如图1所示，该方法包括：
101、获取无人机飞行测绘时第一定位设备在曝光时刻所产生的热靴信号。
其中，所述第一定位设备为图像拍摄设备，如相机、摄像机等，本发明实施例不做具体限定。所述曝光时刻为图像拍摄设备在拍摄瞬间的瞬时时刻，所述热靴信号为图像拍摄设备，如相机在拍摄时，发送至外置闪光灯曝光的信号，热靴信号会在快门开启或关闭前发送，一般的，持续时间为30ms，且由于不同相机本身没有配置记录拍照时刻的装置，本发明实施例中，通过获取第一定位设备在曝光时刻所产生的热靴信号可以作为当前无人机飞行测绘时最准确的曝光时刻所产生的信号。
需要说明的是，本发明实施例中，由于第一定位设备安装在无人机上，且在无人机飞行过程中，第一定位设备在进行拍摄时，曝光时刻可以通过相机记录至无人机的数据存储位置中，相对的，热靴信号也会存储至此数据存储位置中。也可以通过无线设备将记录的数据传输回监控系统中，相对的，热靴信号也会传输回监控系统中。因此，本发明实施例可以通过从存储有热靴信号的数据存储位置中获取到不同曝光时刻对应的热靴信号，也可以通过从监控系统中直接获取不同曝光时刻对应的热靴信号。
102、根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息。
其中，所述第二定位设备为位姿定位设备，如无人机载GNSS系统及IMU系统，GNSS系统用于定位位置信息，IMU系统用于采集姿态信息，本发明实施例不做具体限定。所述历史位姿信息包括历史定位信息、历史姿态信息，历史定位信息为通过第二定位设备，如无人机载GNSS系统按照采样间隔采集的位姿信息。位姿信息包括定位信息、姿态信息，本发明实施例中，由于热靴信号的产生是发生在一次采样间隔之间的，因此，第二定位设备的历史位姿信息需要获取2个以上的数量，才能够通过内插计算方法，即利用比例关系通过历史位姿信息确定出曝光时刻的位姿信息。
103、根据所述第一定位设备与所述第二定位设备之间的相对位置对应关系，将所述位姿信息转换为所述无人机的位姿信息。
对于本发明实施例，由于第一定位设备与第二定位设备安装在无人机上是带有相对位置关系的，例如，下视相机与GPS天线的安装位置，因此，根据第一定位设备与第二定位设备之间的相对位置对应关系，将确定出的曝光时刻的位姿信息转换为第二定位设备的位姿信息，即将确定出的无人机机载相机的位姿信息转换为卫星定位大地坐标下的位姿信息，作为无人机相对于大地坐标系下的位姿信息。
本发明提供了一种无人机位姿信息的确定方法，与现有技术根据GPS装置采集的飞机位姿信息当做相机位姿信息，从而影响无人机的定位精度，以及降低免像控精度相比，本发明实施例通过第一定位设备在曝光时刻所产生的热靴信号及第二定位设备的历史位姿信息确定曝光时刻的位姿信息，通过第一定位设备及第二定位设备之间的相对位置对应关系，将位姿信息转换为无人机的位姿信息，实现任意时刻曝光瞬间确定无人机相对于大地坐标系的位姿信息，减少根据此定位数据进行数据处理的误差，提高无人机机载相机定位精度，从而提高免像控精度。
本发明实施例提供了另一种无人机机载相机位姿信息的确定方法，如图2所示，该方法包括：
201、获取无人机飞行测绘时第一定位设备在曝光时刻所产生的热靴信号。
本步骤与图1所示的步骤101方法相同，在此不再赘述。
202、提取第二定位设备的历史位姿信息。
对于本发明实施例，为了便于利用内插计算方法来确定出曝光时刻的定位信息，且第二定位设备的历史位姿信息可以包括所有采样间隔的位姿信息，因此，需要提取出适用于计算的历史位姿信息，优选的，可以提取任意2个采样间隔对应的位姿信息。其中，所述历史位姿信息包括历史定位信息、历史姿态信息，分别用以计算出曝光时刻对应的定位信息及姿态信息。
203a、利用内插计算方法以及所述历史定位信息计算所述曝光时刻的定位信息。
对于本发明实施例，由于无人机通过第二定位设备，如GPS定位设备获取位置信息是具有一定频率的，而曝光时刻并不一定与获取位置信息的采样时刻一致，因此，需要通过内插计算方法来计算曝光时刻的定位信息。其中，所述定位信息包括经度信息、纬度信息、高程信息，本发明实施例不做具体限定。
需要说明的是，由于本发明实施例中采用高频位置信息获取的GNSS导航来进行卫星定位，得到每0.2秒会更新一次位置信息，由于两个获取位置时刻非常短，将两个时刻之间的位置移动近似看做是匀速直线运动，进行内插。
对于本发明实施例，作为步骤203a的细化及补充，步骤203a具体可以包括：根据所述历史定位信息中的历史定位时刻以及与所述历史定位时刻对应的定位信息通过内插计算方法分别计算出所述曝光时刻的定位信息，所述内插计算方法为历史定位时刻、与所述历史定位时刻对应的定位信息、曝光时刻、与所述曝光时刻对应的定位信息之间的比例对应关系。
其中，所述内插计算方法为用一组已知的未知函数的自变量的值和与它对应的函数值来求一种求未知函数其它值的近似计算方法，是一种未知函数数值逼近求法。本发明实施例中，根据历史定位时刻、定位时刻对应的定位信息，通过内插计算方法计算出曝光时刻对应的定位信息，即包括经度信息、纬度信息、高程信息。
需要说明的是，由于本发明实施例中内插计算方法为历史定位时刻、与所述历史定位时刻对应的定位信息、曝光时刻、与所述曝光时刻对应的定位信息之间的比例对应关系，具体可以为：时刻t1，经度坐标x1，纬度坐标y1，高程坐标h1，时刻t2，经度坐标x2，纬度坐标y2，高程坐标h2，曝光时刻t，利用内插计算公式计算出曝光时刻经度坐标x＝(t-t1)*(x2-x1)/(t2-t1)+x1，曝光时刻纬度坐标y＝(t-t1)*(y2-y1)/(t2-t1)+y1，曝光时刻高程h＝(t-t1)*(h2-h1)/(t2-t1)+h1。
例如，如图3所示的采样间隔是接收到热靴信号，提取的历史位置信息包括时刻100：x坐标110，y坐标120，高程50；时刻300：x坐标150，y坐标160，高程55；曝光时刻168，曝光时刻x坐标＝(168-100)*(150-110)/(300-100)+110；曝光时刻y坐标＝(168-100)*(160-120)/(300-100)+120；曝光时刻高程＝(168-100)*(55-50)/(300-100)+50。
对于本发明实施例，与步骤203a并列的步骤203b、利用内存计算方法以及所述历史姿态信息计算所述曝光时刻的姿态信息。
由于无人机的姿态信息的变化，是通过采集航向、俯仰、横滚的角度来确定姿态信息的，而曝光时刻并不一定与获取姿态信息的采样时刻一致，因此，需要通过内插计算方法来计算曝光时刻的姿态信息，尤其是针对本发明实施例中，获取姿态信息的频率为250hz类似的高频率的姿态数据。其中，所述姿态信息包括航向信息、俯仰信息、横滚信息，本发明实施例不做具体限定。
对于本发明实施例，作为步骤203b的细化及补充，步骤203b具体可以包括：根据所述历史姿态信息中的历史姿态时刻以及与所述历史姿态时刻对应的姿态信息通过内插计算方法分别计算出所述曝光时刻的姿态信息，所述内插计算方法为历史姿态时刻、与所述历史姿态时刻对应的姿态信息、曝光时刻、与所述曝光时刻对应的姿态信息之间的比例对应关系。
其中，所述内插计算方法为用一组已知的未知函数的自变量的值和与它对应的函数值来求一种求未知函数其它值的近似计算方法，是一种未知函数数值逼近求法。本发明实施例中，根据历史姿态时刻、姿态时刻对应的姿态信息，通过内插计算方法计算出曝光时刻对应的姿态信息，即包括航向信息、俯仰信息、横滚信息。
需要说明的是，由于本发明实施例中内插计算方法为历史姿态时刻、与所述历史姿态时刻对应的姿态信息、曝光时刻、与所述曝光时刻对应的姿态信息之间的比例对应关系，具体可以为：时刻t1，横滚角度r1，时刻t2，横滚角度r2，利用内插计算公式计算出曝光时刻横滚角度r＝(t-t1)*(r2-r1)/(t2-t1)+r1，对应的，航向信息、俯仰信息的内插计算方法与横滚信息的内插计算方法相同，不再赘述。
例如，如图4所述，采样间隔是接收到热靴信号，提取的历史姿态信息包括时刻100：横滚10°，时刻104：横滚10.004°，曝光时刻101，曝光时刻横滚＝(101-100)*(10.004-10)/(104-100)+10。
204、解析所述位姿信息中的姿态信息。
对于本发明实施例，为了便于对位姿信息中的姿态信息进行判断是否符合标准，通过解析位姿信息中的姿态信息。解析的具体方法可以为从姿态信息中提取出姿态信息的航向信息、俯仰信息、横滚信息。
需要说明的是，步骤204为执行完步骤203a与步骤203b之后所执行的步骤，尤其是步骤203b之后必须执行步骤204至步骤206，若执行完203a之后，可以选择行执行步骤204至步骤206。
205、判断所述姿态信息与预设规范姿态信息是否匹配。
对于本发明实施例，为了避免无人机在进行姿态变换时，变换后的姿势不符合规范要求，判断解析后的姿态信息，即航向信息、俯仰信息、横滚信息与预设规范姿态信息是否匹配。其中，所述预设规范姿态信息为根据规范《CH-Z3005-2010低空数字航空摄影规范》中涉及的无人机姿态信息确定的规范姿态，具体由技术人员设定航向信息、俯仰信息、横滚信息的角度，本发明实施例不做具体限定。
206、若不匹配，则发送位姿信息重置告警信息。
对于本发明实施例，为了当姿态信息不规范时及时进行告警，当姿态信息与预设规范姿态信息不匹配时，发送位姿信息重置告警信息，以便技术人员根据告警信息重置无人机。
需要说明的是，若匹配，则执行步骤207至209。
207、提取所述第一定位设备与所述第二定位设备的安装偏移信息、姿态偏移信息、旋转矩阵。
对于本发明实施例，由于曝光时刻的位姿信息为第一定位设备确定的位姿信息，为了将此位姿信息转换为相对于第二定位设备的位姿信息，即相对于大地的位姿信息，通过提取第一定位设备与第二定位设备的安装偏移信息、姿态偏移信息、旋转矩阵，以便进行通过上述数据进行转换。其中，所述安装偏移信息为第一定位设备与第二定位设备安装的相对位置信息，所述姿态偏移信息为第一定位设备与第二定位设备曝光时的相对姿态信息，旋转矩阵为在乘以一个向量时，实现改变向量的方向但不改变向量大小效果的矩阵，本发明实施例不做具体限定。
需要说明的是，本发明实施例中，安装偏移信息、姿态偏移信息、旋转矩阵均为预先测量存储的数据，因此，直接从数据库中提取即可。
208、按照所述安装偏移信息、所述姿态偏移信息、所述旋转矩阵将所述曝光时刻对应的定位信息、姿态信息、旋转矩阵进行转换，得到所述无人机相对于所述曝光时刻的位姿信息。
对于本发明实施例，由于第一定位设备与第二定位设备都各自有自己的偏移、姿态等安装特点，因此，需要根据安装偏移信息、姿态偏移信息、旋转矩阵将曝光时刻对应的定位信息、姿态信息、旋转矩阵进行转换。例如，下视相机与GPS安装偏移为d＝[x1；y1；z1]，姿态偏移为[α1；β1；γ1]，对应旋转矩阵ε1；左视相机与下视相机安装偏移为dl＝[x2；y2；z2]，姿态偏移为[α2；β2；γ2]，对应旋转矩阵ε2；飞机的瞬时位置是[x0；y0；z0]，姿态是[α0；β0；γ0]，对应旋转矩阵ε3。将倾斜相机计算到下视相机下为：posi＝ε1'·dl+d，将下视相机坐标计算到无人机坐标系下为posi飞机＝ε1'·posi，将无人机坐标计算到大地坐标下为
Figure BDA0002266640730000111
其中，姿态计算方法为下视相机姿态矩阵(ε1·ε3)'，倾斜相机姿态矩阵(ε2·ε1·ε3)'，旋转矩阵ε的确定与常用旋转矩阵定义一致，如
Figure BDA0002266640730000112
，本发明实施例不做具体限定。
209、根据所述位姿信息生成定位文件，并进行输出。
对于本发明实施例，为了便于用户查看位姿信息，将不同曝光时刻的全部位姿信息生成定位文件，对定位文件的形式不做具体限定，输出此定位文件，以便用户查看定位文件中不同曝光时刻的位姿信息。例如，定位文件为不同曝光时刻下对应的位置坐标图像，图像中标记有曝光时刻时对应的定位信息及姿态信息。如图5所示，根据无人机进行航测时，执行当前位姿信息的确定方法的具体流程图。
本发明提供了另一种无人机位姿信息的确定方法，本发明实施例通过第一定位设备在曝光时刻所产生的热靴信号及第二定位设备的历史位姿信息确定曝光时刻的位姿信息，通过第一定位设备及第二定位设备之间的相对位置对应关系，将位姿信息转换为无人机的位姿信息，实现任意时刻曝光瞬间确定无人机相对于大地坐标系的位姿信息，减少根据此定位数据进行数据处理的误差，提高无人机定位精度，从而提高免像控精度。
进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种无人机位姿信息的确定装置，如图6所示，该装置包括：获取模块31、确定模块32、转换模块33。
获取模块31，用于获取无人机飞行测绘时第一定位设备在曝光时刻所产生的热靴信号；
确定模块32，用于根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息；
转换模块33，用于根据所述第一定位设备与所述第二定位设备之间的相对位置对应关系，将所述位姿信息转换为所述无人机的位姿信息。
本发明提供了一种无人机位姿信息的确定装置，本发明实施例通过第一定位设备在曝光时刻所产生的热靴信号及第二定位设备的历史位姿信息确定曝光时刻的位姿信息，通过第一定位设备及第二定位设备之间的相对位置对应关系，将位姿信息转换为无人机的位姿信息，实现任意时刻曝光瞬间确定无人机相对于大地坐标系的位姿信息，减少根据此定位数据进行数据处理的误差，提高无人机定位精度，从而提高免像控精度。
进一步的，作为对上述图2所示方法的实现，本发明实施例提供了另一种无人机位姿信息的确定装置，如图7所示，该装置包括：获取模块41、确定模块42、转换模块43、解析模块44、判断模块45、发送模块46、输出模块47。
获取模块41，用于获取无人机飞行测绘时第一定位设备在曝光时刻所产生的热靴信号；
确定模块42，用于根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息；
转换模块43，用于根据所述第一定位设备与所述第二定位设备之间的相对位置对应关系，将所述位姿信息转换为所述无人机的位姿信息。
进一步地，所述确定模块42包括：
提取单元4201，用于提取第二定位设备的历史位姿信息，所述历史位姿信息包括历史定位信息、历史姿态信息；
第一计算单元4202，用于利用内插计算方法以及所述历史定位信息计算所述曝光时刻的定位信息，所述定位信息包括经度信息、纬度信息、高程信息；和/或，
第二计算单元4203，用于利用内存计算方法以及所述历史姿态信息计算所述曝光时刻的姿态信息，所述姿态信息包括航向信息、俯仰信息、横滚信息。
进一步地，所述第一计算单元4202，用于根据所述历史定位信息中的历史定位时刻以及与所述历史定位时刻对应的定位信息通过内插计算方法分别计算出所述曝光时刻的定位信息，所述内插计算方法为历史定位时刻、与所述历史定位时刻对应的定位信息、曝光时刻、与所述曝光时刻对应的定位信息之间的比例对应关系。
进一步地，所述第二计算单元4203，用于根据所述历史姿态信息中的历史姿态时刻以及与所述历史姿态时刻对应的姿态信息通过内插计算方法分别计算出所述曝光时刻的姿态信息，所述内插计算方法为历史姿态时刻、与所述历史姿态时刻对应的姿态信息、曝光时刻、与所述曝光时刻对应的姿态信息之间的比例对应关系。
进一步地，所述装置还包括：
解析模块44，用于解析所述位姿信息中的姿态信息；
判断模块45，用于判断所述姿态信息与预设规范姿态信息是否匹配；
发送模块46，用于若不匹配，则发送位姿信息重置告警信息。
进一步地，所述转换模块43包括：
提取单元4301，用于提取所述第一定位设备与所述第二定位设备的安装偏移信息、姿态偏移信息、旋转矩阵；
转换单元4302，用于按照所述安装偏移信息、所述姿态偏移信息、所述旋转矩阵将所述曝光时刻对应的定位信息、姿态信息、旋转矩阵进行转换，得到所述无人机相对于所述曝光时刻的位姿信息。
进一步地，所述装置还包括：
输出模块47，用于根据所述位姿信息生成定位文件，并进行输出。
本发明提供了另一种无人机位姿信息的确定装置，本发明实施例通过第一定位设备在曝光时刻所产生的热靴信号及第二定位设备的历史位姿信息确定曝光时刻的位姿信息，通过第一定位设备及第二定位设备之间的相对位置对应关系，将位姿信息转换为无人机的位姿信息，实现任意时刻曝光瞬间确定无人机相对于大地坐标系的位姿信息，减少根据此定位数据进行数据处理的误差，提高无人机定位精度，从而提高免像控精度。
根据本发明一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的无人机位姿信息的确定方法。
图8示出了根据本发明一个实施例提供的一种终端的结构示意图，本发明具体实施例并不对终端的具体实现做限定。
如图8所示，该终端可以包括：处理器(processor)502、通信接口(CommunicationsInterface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述无人机位姿信息的确定方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。终端包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作：
获取无人机飞行测绘时第一定位设备在曝光时刻所产生的热靴信号；
根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息；
根据所述第一定位设备与所述第二定位设备之间的相对位置对应关系，将所述位姿信息转换为所述无人机的位姿信息。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种无人机位姿信息的确定方法，其特征在于，包括：
获取无人机飞行测绘时第一定位设备在曝光时刻所产生的热靴信号；
根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息；
根据所述第一定位设备与所述第二定位设备之间的相对位置对应关系，将所述位姿信息转换为所述无人机的位姿信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息包括：
提取第二定位设备的历史位姿信息，所述历史位姿信息包括历史定位信息、历史姿态信息；
利用内插计算方法以及所述历史定位信息计算所述曝光时刻的定位信息，所述定位信息包括经度信息、纬度信息、高程信息；和/或，
利用内存计算方法以及所述历史姿态信息计算所述曝光时刻的姿态信息，所述姿态信息包括航向信息、俯仰信息、横滚信息。
3.根据权利要求2所述的方法，其特征在于，所述利用内插计算方法以及所述历史定位信息计算所述热靴信号对应的曝光时刻的定位信息包括：
根据所述历史定位信息中的历史定位时刻以及与所述历史定位时刻对应的定位信息通过内插计算方法分别计算出所述曝光时刻的定位信息，所述内插计算方法为历史定位时刻、与所述历史定位时刻对应的定位信息、曝光时刻、与所述曝光时刻对应的定位信息之间的比例对应关系。
4.根据权利要求2所述的方法，其特征在于，所述利用内存计算方法以及所述历史姿态信息计算所述热靴信号对应的曝光时刻的姿态信息包括：
根据所述历史姿态信息中的历史姿态时刻以及与所述历史姿态时刻对应的姿态信息通过内插计算方法分别计算出所述曝光时刻的姿态信息，所述内插计算方法为历史姿态时刻、与所述历史姿态时刻对应的姿态信息、曝光时刻、与所述曝光时刻对应的姿态信息之间的比例对应关系。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息之后，所述方法还包括：
解析所述位姿信息中的姿态信息；
判断所述姿态信息与预设规范姿态信息是否匹配；
若不匹配，则发送位姿信息重置告警信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一定位设备与所述第二定位设备之间的相对位置对应关系，将所述位姿信息转换为所述无人机的位姿信息包括：
提取所述第一定位设备与所述第二定位设备的安装偏移信息、姿态偏移信息、旋转矩阵；
按照所述安装偏移信息、所述姿态偏移信息、所述旋转矩阵将所述曝光时刻对应的定位信息、姿态信息、旋转矩阵进行转换，得到所述无人机相对于所述曝光时刻的位姿信息。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述位姿信息生成定位文件，并进行输出。
8.一种无人机位姿信息的确定装置，其特征在于，包括：
获取模块，用于获取无人机飞行测绘时第一定位设备在曝光时刻所产生的热靴信号；
确定模块，用于根据所述热靴信号以及第二定位设备的历史位姿信息确定所述曝光时刻的位姿信息；
转换模块，用于根据所述第一定位设备与所述第二定位设备之间的相对位置对应关系，将所述位姿信息转换为所述无人机的位姿信息。
9.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的无人机位姿信息的确定方法对应的操作。
10.一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的无人机位姿信息的确定方法对应的操作。
CN201911090269.2A 2019-11-08 2019-11-08 无人机位姿信息的确定方法及装置、存储介质、终端 Pending CN110906922A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911090269.2A CN110906922A (zh) 2019-11-08 2019-11-08 无人机位姿信息的确定方法及装置、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911090269.2A CN110906922A (zh) 2019-11-08 2019-11-08 无人机位姿信息的确定方法及装置、存储介质、终端

Publications (1)

Publication Number Publication Date
CN110906922A true CN110906922A (zh) 2020-03-24

Family

ID=69817076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911090269.2A Pending CN110906922A (zh) 2019-11-08 2019-11-08 无人机位姿信息的确定方法及装置、存储介质、终端

Country Status (1)

Country Link
CN (1) CN110906922A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111504254A (zh) * 2020-04-28 2020-08-07 深圳市云鼠科技开发有限公司 一种基于六轴陀螺仪的扫地机角度测算方法
CN111649761A (zh) * 2020-06-01 2020-09-11 成都纵横大鹏无人机科技有限公司 一种多拼相机pos数据获取方法、装置、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901458A (zh) * 2014-03-14 2014-07-02 中国测绘科学研究院 一种动态定位系统及动态定位方法
CN104748730A (zh) * 2015-04-15 2015-07-01 中测新图(北京)遥感技术有限责任公司 测定无人机中航测相机曝光时刻的装置及方法
CN104764442A (zh) * 2015-04-15 2015-07-08 中测新图(北京)遥感技术有限责任公司 测定轻小型无人机中航测相机曝光时刻的方法及装置
CN104880215A (zh) * 2015-06-05 2015-09-02 立得空间信息技术股份有限公司 多传感器平台相机激光一体化检校的方法
CN105627991A (zh) * 2015-12-21 2016-06-01 武汉大学 一种无人机影像实时全景拼接方法及系统
CN107702709A (zh) * 2017-08-31 2018-02-16 西北工业大学 一种非合作目标运动与惯性参数的时频域混合辨识方法
CN109074664A (zh) * 2017-10-26 2018-12-21 深圳市大疆创新科技有限公司 姿态标定方法、设备及无人飞行器
CN109186596A (zh) * 2018-08-14 2019-01-11 深圳清华大学研究院 Imu测量数据生成方法、系统、计算机装置及可读存储介质
CN109917816A (zh) * 2019-04-30 2019-06-21 大连交通大学 一种用于配送货物的手控飞行设备监控系统
CN110083177A (zh) * 2019-05-06 2019-08-02 湖北汽车工业学院 一种基于视觉着陆的四旋翼飞行器及控制方法
CN110209847A (zh) * 2019-04-29 2019-09-06 中国科学院遥感与数字地球研究所 航空遥感数据机上准实时处理方法、装置和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901458A (zh) * 2014-03-14 2014-07-02 中国测绘科学研究院 一种动态定位系统及动态定位方法
CN104748730A (zh) * 2015-04-15 2015-07-01 中测新图(北京)遥感技术有限责任公司 测定无人机中航测相机曝光时刻的装置及方法
CN104764442A (zh) * 2015-04-15 2015-07-08 中测新图(北京)遥感技术有限责任公司 测定轻小型无人机中航测相机曝光时刻的方法及装置
CN104880215A (zh) * 2015-06-05 2015-09-02 立得空间信息技术股份有限公司 多传感器平台相机激光一体化检校的方法
CN105627991A (zh) * 2015-12-21 2016-06-01 武汉大学 一种无人机影像实时全景拼接方法及系统
CN107702709A (zh) * 2017-08-31 2018-02-16 西北工业大学 一种非合作目标运动与惯性参数的时频域混合辨识方法
CN109074664A (zh) * 2017-10-26 2018-12-21 深圳市大疆创新科技有限公司 姿态标定方法、设备及无人飞行器
CN109186596A (zh) * 2018-08-14 2019-01-11 深圳清华大学研究院 Imu测量数据生成方法、系统、计算机装置及可读存储介质
CN110209847A (zh) * 2019-04-29 2019-09-06 中国科学院遥感与数字地球研究所 航空遥感数据机上准实时处理方法、装置和存储介质
CN109917816A (zh) * 2019-04-30 2019-06-21 大连交通大学 一种用于配送货物的手控飞行设备监控系统
CN110083177A (zh) * 2019-05-06 2019-08-02 湖北汽车工业学院 一种基于视觉着陆的四旋翼飞行器及控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111504254A (zh) * 2020-04-28 2020-08-07 深圳市云鼠科技开发有限公司 一种基于六轴陀螺仪的扫地机角度测算方法
CN111649761A (zh) * 2020-06-01 2020-09-11 成都纵横大鹏无人机科技有限公司 一种多拼相机pos数据获取方法、装置、设备及介质
CN111649761B (zh) * 2020-06-01 2022-05-06 成都纵横大鹏无人机科技有限公司 一种多拼相机pos数据获取方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN109596118B (zh) 一种用于获取目标对象的空间位置信息的方法与设备
US10754354B2 (en) Hover control
EP3158417B1 (en) Sensor fusion using inertial and image sensors
EP3158411B1 (en) Sensor fusion using inertial and image sensors
US20200264011A1 (en) Drift calibration method and device for inertial measurement unit, and unmanned aerial vehicle
RU2550811C1 (ru) Способ и устройство определения координат объектов
CN104748730B (zh) 测定无人机中航测相机曝光时刻的装置
US7409292B2 (en) Method and system for degimbalization of vehicle navigation data
CN108513710A (zh) 图像和位置信息的关联方法、装置及可移动平台
KR101634878B1 (ko) 무인 비행체의 군집 비행을 이용한 항공 영상 정합 장치 및 방법
JP7153306B2 (ja) 検出対象位置特定システム
Leira et al. A ligth-weight thermal camera payload with georeferencing capabilities for small fixed-wing UAVs
KR101943823B1 (ko) 고속비행 중 정밀위치 데이터 획득을 위한 무인기 및 고속비행 중 정밀위치 데이터 획득을 위한 무인기 임무장비 동기화 결정방법
CN109341686B (zh) 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法
CN107783555B (zh) 一种基于无人机的目标定位方法、装置及系统
US9816786B2 (en) Method for automatically generating a three-dimensional reference model as terrain information for an imaging device
CN110906922A (zh) 无人机位姿信息的确定方法及装置、存储介质、终端
Zingoni et al. Real-time 3D reconstruction from images taken from an UAV
JP2018139105A (ja) 地理登録を通じた生センサ画像強化のための方法および装置
US20210229810A1 (en) Information processing device, flight control method, and flight control system
JP2018112543A (ja) 地理登録を通じた生センサ画像強化のための方法および装置
RU2513900C1 (ru) Способ и устройство определения координат объектов
CN109146936B (zh) 一种图像匹配方法、装置、定位方法及系统
CN114777768A (zh) 一种卫星拒止环境高精度定位方法、系统及电子设备
US10412372B2 (en) Dynamic baseline depth imaging using multiple drones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324