CN110718137B - 目标物密度分布地图的构建方法及装置、终端、移动装置 - Google Patents
目标物密度分布地图的构建方法及装置、终端、移动装置 Download PDFInfo
- Publication number
- CN110718137B CN110718137B CN201810772240.1A CN201810772240A CN110718137B CN 110718137 B CN110718137 B CN 110718137B CN 201810772240 A CN201810772240 A CN 201810772240A CN 110718137 B CN110718137 B CN 110718137B
- Authority
- CN
- China
- Prior art keywords
- density distribution
- target
- image
- distribution map
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 148
- 238000012545 processing Methods 0.000 claims description 63
- 230000009466 transformation Effects 0.000 claims description 53
- 238000010586 diagram Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002349 favourable effect Effects 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 54
- 238000012549 training Methods 0.000 description 28
- 238000005507 spraying Methods 0.000 description 24
- 238000013145 classification model Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 239000000575 pesticide Substances 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 241000607479 Yersinia pestis Species 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 239000007788 liquid Substances 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 239000002837 defoliant Substances 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000002917 insecticide Substances 0.000 description 2
- 230000002147 killing effect Effects 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- -1 snow remover Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
- G09B29/005—Map projections or methods associated specifically therewith
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及飞行器技术领域，具体而言，本发明涉及目标物密度分布地图的构建方法及装置、终端、移动装置。所述目标物密度分布图确定方法，包括：获取通过采集装置在目标区域内采集的图像；确定所述图像中目标物的密度分布信息，得到目标物密度分布图；获取所述采集装置采集所述图像时的空间位置信息与姿态信息，并基于所述空间位置信息与姿态信息，确定所述图像与所述目标区域所在的平面坐标系的投影关系；基于所述投影关系将所述目标物密度分布图投影到所述目标区域所在的平面坐标系上。通过本发明提供的方案能够确定图像对应的目标物密度分布图的位置，有利于建立目标区域的密度分布地图。
Description
技术领域
本发明涉及飞行器技术领域，具体而言，本发明涉及目标物密度分布地图的构建方法及装置、终端、移动装置。
背景技术
随着科技的发展，飞行器，例如无人机等，在航拍、农业、植保、微型自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄等等领域得到广泛的应用。在飞行器进行植保作业时，掌握待作业区域的目标物，如农作物或农害等的分布密度能够预先控制液体的喷洒量及药液浓度，实现更有效率的作业。
传统技术中，利用GPS和遥感技术生成低质量的密度地图，但遥感技术大多是远距离成像，利用GPS辅助定位，导致生成的密度地图质量和其定位精准度普遍较低，而且，这种技术的成本高，操作困难，难以频繁更新地图中的密度变化状态，不能保证该地图的实时有效性。
发明内容
本发明针对现有方式的缺点，提出一种目标物密度分布图的位置确定方法、目标物密度分布地图的构建方法、基于移动作业设备的喷洒控制方法及装置、终端、移动装置，用以解决现有技术中存在的目标物密度地图质量低的问题。
第一方面，本发明实施例首先提供了一种目标物密度分布图确定方法，包括：
获取通过采集装置在目标区域内采集的图像；
确定所述图像中目标物的密度分布信息，得到目标物密度分布图；
获取所述采集装置采集所述图像时的空间位置信息与姿态信息，并基于所述空间位置信息与姿态信息，确定所述图像与所述目标区域所在的平面坐标系的投影关系；
基于所述投影关系将所述目标物密度分布图投影到所述目标区域所在的平面坐标系上。
具体地，获取所述采集装置采集所述图像时的空间位置信息与姿态信息的步骤，包括：
获取所述采集装置采集所述图像时的经纬度信息及高程信息；
获取采集所述图像时所述采集装置的朝向、所述采集装置与所述图像对应的目标区域所在平面之间的夹角和/或所述采集装置与所述平面的垂直面之间的夹角。
优选地，所述确定所述图像中目标物的密度分布信息，得到目标物密度分布图之前，还包括：
利用神经网络算法对已知目标物密度分布信息的多个图像样本进行学习，提取所述图像中的高层特征和底层特征以建立目标物密度分布图的生成模型。
优选地，所述确定所述图像中目标物的密度分布信息，得到目标物密度分布图的步骤，包括：
将当前采集到的所述图像输入到预先经过训练的密度分布图的生成模型中，输出该图像对应的目标物密度分布图。
优选地，所述基于所述空间位置信息与姿态信息，确定所述图像对应于所述目标区域所在的平面坐标系上的平面位置信息的步骤，具体包括：
结合所述采集装置的空间位置信息与姿态信息计算所述图像所在平面与所述目标区域所在平面之间的变换矩阵；
基于所述变换矩阵利用投影变换确定所述图像与所述目标区域所在的平面坐标系的投影关系。
优选地，所述采集设备包括：摄像头、激光雷达、热释电红外传感器中的至少一种。
第二方面，本发明实施例还提供一种目标物密度分布地图的构建方法，包括：
通过上述任一项所述的目标物密度分布图确定方法对采集装置在目标区域内采集的每一帧图像进行处理，得到各帧图像所对应的目标物密度分布图在所述目标区域所在平面坐标系上的投影；
将各所述目标物密度分布图的投影进行拼接，以构建出目标物密度分布地图。
优选地，通过上述任一项所述的目标物密度分布图的位置确定方法对采集装置在目标区域内采集的每一帧图像进行处理的步骤，包括：当获取到一帧图像时，实时对该帧图像按照上述任一项所述的目标物密度分布图的确定方法进行处理，得到该帧图像对应的所述目标物密度分布图。
优选地，通过上述任一项所述的目标物密度分布图确定方法对采集装置在目标区域内采集的每一帧图像进行处理的步骤，还包括：
当获取到多帧所述图像且所述图像的处理参数满足预设条件时，逐一对各帧图像按照上述任一项所述的位置确定方法处理，所述处理参数至少包括：图像数量和/或图像采集时间。
优选地，所述预设条件包括：采集到的图像数量达到预设阈值或图像采集时间达到预设阈值。
具体地，所述将各所述目标物密度分布图的投影进行拼接的步骤，包括：
对所述目标物密度分布图的投影进行预处理，确定相邻所述密度分布图的投影中特征点之间的对应关系；
根据相邻目标物密度分布图的投影中特征点之间的对应关系，建立相邻目标物密度分布图的投影的数学变换模型；
根据所述数学转换模型，将待拼接所述目标物密度分布图的投影转换到参考坐标系中，完成统一坐标变换；
将转换到统一坐标系上的相邻所述目标物密度分布图的投影的重合区域进行融合得到目标物密度分布拼接图。
第三方面，本发明实施例还提供一种基于移动作业设备的作业用量控制方法，包括：
基于上述任一项所述的目标物密度分布图确定方法或如上述任一项所述的目标物密度分布地图构建方法，确定目标区域内对应位置处的目标物密度分布信息；
基于所述目标区域内对应位置处的目标物密度分布信息，控制所述对应位置处的作业用量。
优选地，所述基于所述目标区域内对应位置处的目标物密度分布信息，控制所述对应位置处的作业用量之前，还包括：
将所述目标物密度分布图与包括全部所述目标区域的全局地图相融合，形成拼接有部分或全部所述目标区域的目标物密度分布图的全局密度分布地图；
将所述全局密度分布地图划分成多个待作业区域；
根据移动作业设备的移动参数确定下一个待作业区域；
若已获取所述待作业区域的目标物密度分布信息，调取该待作业区域的目标物密度分布信息；
若尚未获取所述待作业区域的目标物密度分布信息，根据上述任一项所述的目标物密度分布图的位置确定方法或如上述任一项所述的目标物密度分布地图构建方法，确定所述待作业区域内的目标物密度分布信息。
优选地，所述将所述全局目标物密度分布地图划分成多个待作业区域的步骤，包括：根据所述采集装置采集的目标区域的尺寸划分所述全局密度分布地图。
第四方面，本发明实施例提供了一种目标物密度分布图确定装置，包括：
第一获取模块，用于获取通过采集装置在目标区域内采集的图像；
第一确定模块，用于确定所述图像中目标物的密度分布信息，得到目标物密度分布图；
第二获取模块，用于获取所述采集装置采集所述图像时的空间位置信息与姿态信息，并基于所述空间位置信息与姿态信息，确定所述图像与所述目标区域所在的平面坐标系的投影关系；
投影模块，用于基于所述投影关系将所述目标物密度分布图投影到所述目标区域所在的平面坐标系上。
第五方面，本发明的实施例还提供了一种目标物密度分布地图的构建装置，包括：
处理模块，用于利用前述目标物密度分布图确定装置对采集装置在目标区域内采集的每一帧图像进行处理，得到各帧图像所对应的目标物密度分布图在所述目标区域所在的平面坐标系上的投影；
拼接模块，用于将各所述目标物密度分布图的投影进行拼接，以构建出目标物密度分布地图。
第六方面，本发明实施例还提供了一种基于移动作业设备的作业用量控制装置，包括：
第二确定模块，用于基于前述目标物密度分布图确定装置或前述目标物密度分布地图构建装置，确定目标区域内对应位置处的目标物密度分布信息；
控制模块，用于基于所述目标区域内对应位置处的目标物密度分布信息，控制所述对应位置处的作业用量。
第七方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序执行时实现上述第一方面所述目标物密度分布图确定方法的步骤。
第八方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序执行时实现上述第二方面所述的目标物密度分布地图的构建方法的步骤。
第九方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序执行时实现上述第三方面所述的基于移动作业设备的作业用量控制方法的步骤。
第十方面，本发明实施例还提供了一种终端，包括存储器、处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现第一方面实施例所述的目标物密度分布图确定方法的步骤。
第十一方面，本发明实施例还提供了一种终端，包括存储器、处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现第二方面实施例所述的目标物密度分布地图的构建方法的步骤。
第十二方面，本发明实施例还提供了一种终端，包括存储器、处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现第三方面实施例所述的基于移动作业设备的作业用量控制方法的步骤。
第十三方面，本发明实施例还提供了一种移动装置，包括：通信模块与定位模块，以及上述任一技术方案所述的计算机可读存储介质或上述任一技术方案所述的终端；
所述通信模块，用于与外部装置进行通信；
所述定位模块，用于确定采集装置采集图像时的空间位置信息和姿态信息。
本发明实施例提供的目标物密度分布图确定方法，将目标区域的图像对应的目标物密度分布图投影到所述目标区域所在平面坐标系上，获得目标物密度分布图在目标区域所在平面的确切位置，与现有技术通过卫星定位获取目标物位置方法，提高了目标物密度分布图位置的精确度，有利于生成高质量的目标物密度分布地图。
本发明实施例提供的目标物密度分布图确定方法，通过实时处理获取的图像实现实时获取目标区域中目标物密度分布图，最大程度地保证该目标物密度分布图的实时有效性，降低获得目标区域中目标物密度分布图的时间成本，提高用户体验。
本发明实施例提供的目标物密度分布图确定方法，利用深度学习自动训练目标物密度分布图的生成模型，实现输入目标区域的图像直接输出所述图像对应的目标物密度分布图，与其他获取所述图像对应的目标物密度分布图的方法相比，本发明提出的方案提高了获取目标物密度分布图的自动化程度，降低了能量消耗。
本发明实施例提供的目标物密度分布地图的构建方法，通过拼接所述目标物密度分布图，结合与所述目标物密度分布图关联的平面位置信息构建目标物密度分布地图。而且，该方案能够将分块作业获得的局部目标物密度分布图拼接成全局目标物密度分布图，相对降低了构建目标物密度分布地图中对采集设备及处理设备的要求，实现作业区域较大的目标物密度地图的构建，且由于对各局部目标区域的处理过程类似，随着作业区域的增大，其构建全局目标物密度分布地图的成本增幅不大，有利于降低较大作业区域目标物密度分布地图的构建成本。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一实施例提供的目标物密度分布图确定方法的流程示意图；
图2为本发明一实施例提供的目标物密度分布图确定方法的流程示意图；
图3为本发明一实施例提供的步骤S130的流程示意图；
图4为本发明一实施例提供的所述图像所在平面与其所述目标区域所在平面之间的位置示意图；
图5为本发明一实施例提供的目标物密度分布地图的构建方法的流程示意图；
图6为本发明一实施例提供的拼接各目标物密度分布图的流程示意图；
图7为本发明一实施例提供的基于移动作业设备的作业用量控制方法的流程示意图；
图8为本发明一实施例提供的获取待作业区域内目标物密度分布信息的流程示意图；
图9为本发明一实施例提供的目标物密度分布图确定装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面对本发明所提供的技术方案的具体实施方式进行详细介绍。
本发明提供的一种目标物密度分布图确定方法，在一种实施方式中，其流程示意图如图1所示，包括：S110、S120、S130、S140。
S110，获取通过采集装置在目标区域内采集的图像；
S120，确定所述图像中目标物的密度分布信息，得到目标物密度分布图；
S130，获取所述采集装置采集所述图像时的空间位置信息与姿态信息，并基于所述空间位置信息与姿态信息，确定所述图像与所述目标区域所在的平面坐标系的投影关系；
S140，基于所述投影关系将所述目标物密度分布图投影到所述目标区域所在的平面坐标系上。
所述目标区域为任一待检测目标物密度分布的区域，也可以是预先指定的特定区域，所述目标区域可以是局部目标区域，若全局目标区域较小，采集装置采集一次的图像也可以是全局目标区域。所述目标物包括但不限于农业害虫、农作物、动物、人等。所述采集装置用于采集所述目标区域中任意区域的图像。
本发明实施例接收到采集装置采集的图像并对所述图像进行识别，图像标记等处理，确定图像对应的目标物密度分布图，由于所述目标物密度分布图是基于所述图像做出的，且采集装置在采集图像时与实际的目标区域之间有一定的距离，采集图像时会有一定的采集角度，采集到的图像可能不能反映对应目标区域中各位置的实际大小，图像中距离采集装置较近的区域在图像中所占的区域较大，而距离采集装置较远的区域在图像中所占的区域较小，并不能真实地反映出目标物的地理位置，因此，获取图像中目标物的地理位置并将其反映在平面地图上，需要结合采集装置采集所述图像时的空间位置信息与姿态信息，通过投影变换等方式确定图像对应的目标区域在平面坐标系中的平面位置信息，确定该密度分布图所在的空间位置信息，所述空间位置信息包括：经纬度、高程信息，所述高程信息包括采集图像时采集装置距离目标区域所在平面的深度信息等，如采集装置采集了区域A的图像，通过图像识别、深度学习算法等方式处理该图像，确定图像中目标物的分布情况，结合拍摄该图像时采集装置的空间位置信息与姿态信息，确定该图像对应的目标区域在水平坐标系上的平面位置信息，进而确定该平面位置对应所对应的目标区域的密度分布。
采集装置能够用于采集目标区域内的图像，基于采集装置采集所述图像时的空间位置信息与姿态信息确定所述图像与所述目标区域所在的平面坐标系的投影关系，基于所述投影关系将所述目标物密度分布图投影到所述目标区域所在的平面坐标系上，确定目标区域中目标物的密度分布情况。在一种实施例中，所述投影关系是图像中的目标区域与所述图像拍摄区域的平面位置之间建立的联系，通过所述投影关系，将目标物密度分布图映射到图像中目标区域的平面位置上，通过这种投影，能够在目标区域所在平面上直观地看到目标区域中目标物的密度分布情况，为针对所述目标物的作业提供数据支撑。坐标转换是空间实体的位置描述，是从一种坐标系统变换到另一种坐标系统的过程。通过建立两个坐标系统之间一一对应关系来实现。任意两空间坐标系的转换可以采用布尔莎模型进行求解，或者采用布尔莎公式。由于采集坐标系(即由采集系统形成的坐标系)和大地坐标系(即目标区域的实际坐标系)采用不同的标准，首先要进行精确转换，必须知道至少3个重合点，即为在两坐标系中坐标均为已知的三个点，这三个点在两个坐标系中均为已知点，然后通过这三个点可以推算出坐标的映射关系，本领域内技术人员可以理解，可以通过识别一些目标对象，并获取这些对象在图像上和在大地坐标系上的坐标，然后获得空间坐标系之间的映射关系；也可以通过已知的采集装置的安装角度，以及飞行高度等信息，也可以直接得到两个空间坐标系的对应关系。
通过本发明提供的目标物密度分布图确定方法能够确定目标区域中目标物的密度分布情况及目标物在目标区域所在平面的实际位置，通过该方案能够实现对农业害虫分布、农作物分布、畜牧分布及交通拥堵情况的实时掌控。
本发明实施例提供的目标物密度分布图确定方法，将图像对应的目标物密度分布图投影到对应目标区域所在平面坐标系上，获得目标区域中目标物密度分布的位置信息，与现有技术通过卫星定位获取目标物位置方法，提高了目标物密度分布图位置的精确度，有利于生成高质量的目标物密度分布地图。
一种实施例中，所述采集装置包括RGB摄像头、激光雷达、热释电红外传感器中的至少一种。所述图像优选为RGB摄像头采集的RGB图像，以便通过对RGB图像中各像素点的进行像素点的识别、标记等处理确定目标物在图像中的分布情况。
激光雷达向目标物发射探测信号，如激光束，然后将接收到的从目标物反射回来的信号与发射信号进行比较，作适当处理后，就可获得目标物的有关信息，如距离、方位、高度、姿态、及形状等参数，从而实现对目标物进行探测和识别。
热释电红外传感器是一种以非接触的形式感应红外辐射并将其转换为电信号的仪器，处理器根据传递过来的电信号识别目标区域的目标物。热释电红外传感器主要利用热电效应原理来完成对红外辐射的感应，所谓的热电效应指的是受热物体中的电子由高温处向低温处移动时产生电流或者电荷堆积的一种现象。
值得说明的是，所述采集设备至少为一个，当所述采集设备为多个时，多个采集设备采集多个不同角度的图像，经过上述技术方案的处理获得将不同角度的密度图，通过图像融合多幅不同角度的密度图映射在地图上，形成该目标区域的密度地图，建立的密度地图会比仅采用一个采集设备构建的密度地图更加全面，如通过多个采集设备能够获取位于不同高度层次的目标物，如吸附于农作物不同高度叶片上的农害，仅通过一个采集设备或一个角度的图像无法获得该角度采集不到的区域的目标物分布。
所述采集设备的空间位置信息包括：采集设备的经纬度、距离所述图像对应的目标区域所在平面的深度信息。所述采集设备的姿态信息包括采集设备的朝向、角度等。所述角度包括：与所述图像对应的目标区域所在平面之间的夹角或与所述平面的垂直面之间的夹角。所述采集设备的空间位置信息可以通过定位装置，如RTK定位传感器获取确定所述采集设备采集当前目标区域图像时的空间位置信息，可以利用机身传感器获得采集设备当前的姿态信息。
进一步地，在一种实施例中，确定所述图像中目标物的密度分布信息，得到目标物密度分布图的步骤之前，还包括S210，其流程示意图如图2所示，
S210，利用神经网络算法对已知目标物密度分布信息的多个图像样本进行学习，提取所述图像中的高层特征和底层特征以建立目标物密度分布图的生成模型；
利用多幅包含目标物的目标区域图像作为训练样本，通过对神经网络模型进行训练得到用于生成密度分布图的神经网络模型，以RGB摄像头采集到的RGB图像为例，对神经网络模型进行训练后得到用于生成密度分布图的神经网络颜色分类模型。具体地，例如可选取RGB图像中目标物像素块和非目标物像素块，读取每个目标物像素块和非目标物像素块中每个像素的R、G、B值并对读取到的像素进行标注，如，将目标物像素置为1，非目标物像素块置为0，由此得到所述训练样本的训练数据；设定训练参数，读入所述训练数据进行神经网络的模型训练，得到所述神经网络颜色分类模型。
获取目标区域的RGB图像，将所述RGB图像的R、G、B值作为所述神经网络颜色分类模型的输入，并输入到所述神经网络颜色分类模型，由所述神经网络颜色模型对所述RGB图像的像素点进行分类，去除背景像素，得到目标物像素区域图像。去除背景像素的过程包括：读取目标物像素点的RGB值，输入到神经网络的三个输入通道，运算该神经网络即可得到该像素点是目标物像素点还是非目标物的像素点，然后将图片中非目标物像素点去除，即去除了背景像素。
所述神经网络颜色分类模型优选为三层结构的BP神经网络(前馈网络)，包括输入层、中间层、输出层，输入层负责接收来自外界的输入信息并传递给中间层各神经元，输入层提取的特征是底层特征，输入层将提取出的特征与各特征所占的权值传递至中间层，中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单层或多层结构，基于前一层传递过来的特征及各特征所占的权重逐层提取不同的特征及各特征所占的权值，特征逐渐由底层向高层转化，越高层的特征越抽象，最后一层中间层负责传递向输出层传递各神经元的信息，经过处理后完成学习的正向传播处理过程，最后由输出层向外界输出信息处理结构，当实际输出与期望输出不符时，进入误差的反向传播阶段，误差通过输出层，按照误差梯度下降的方式修正各层权值，向中间层、输入层逐层返传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者达到预先设定的学习次数为止。
神经网络模型通过上述过程不断学习图像中的目标物，建立神经网络颜色分类模型，进而实现对图像中目标物的识别。
选取已知目标物密度分布信息的多个图像作为训练样本，提取样本图像中有利于生成密度分布图的特征，如高层特征和底层特征，对训练样本中的图像进行归一化处理，将图像中的像素值归一化到[0,255]之间，分析归一化后的图像，构造基于卷积神经网络的目标物密度分布图的生成模型，结合提取的高层特征和底层特征，使用训练数据集对生成模型训练，得到训练好的目标物密度分布图的生成模型。
若采集装置为激光雷达、热释电红外传感器，对其采集的图像信息的处理过程优选与RGB摄像头处理过程相似，但对信息进行处理的模型可以不同。
一种实施例中，利用深度学习方法建立从图像到其密度分布图的映射，以卷积神经网络为例，本实施例中，确定图像对应的目标物密度分布图，将图像分割成像素级别，所述图像的尺寸不限，可以是任意大小。
所述密度分布图是一个和输入图像相同大小的矩阵，理想情况下，对于任一密度图上的像素，如果对应于原始图像上相同位置的像素是属于某个目标物区域，则该像素设置值为1/Si，Si是对应的目标物所占的像素个数之和，否则为0。实际上，由于标注图像中所有目标物的完整区域很难，因此，对于目标物的标注，在目标物的中心位置的像素设置值为1，其他的像素设置值为0。对于给定的目标物中心像素点pi，一张包含N个目标物的图像的密度分布图定义如下：
其中，D(p)是从图像到其密度图的映射，Gσ(p)是一个二维的高斯卷积核，σ是其宽度参数，δ是冲激函数。通过这样高斯卷积生成的密度图之上的所有像素值之和与原始的标注图一致。通过计算图像中各像素的像素值确定该像素点是否分布有目标物及目标物的分布密度。
一种实施例中，所述步骤S120的步骤，具体包括：将当前采集到的所述图像输入到预先经过训练的目标物密度分布图的生成模型中，输出该图像对应的目标物密度分布图。
利用步骤S210训练好的目标物密度分布图的生成模型，将当前采集到的图像输入到该生成模型中，模型的输出端输出该图像对应的目标物密度分布图。
本发明实施例提供的目标物密度分布图确定方法，利用深度学习自动获取所述图像对应的目标物密度分布图，通过提供大量的训练样本获得输出结果精准的目标物密度分布图的生成模型，相同时间内该方法与其他获取所述图像对应的目标物密度分布图的方法相比，提高了目标物密度分布图的精准度，提高了获取目标物密度分布图的自动化程度，节省了能量消耗。
进一步地，利用神经网络颜色分类模型分割出目标物像素区域，对去除背景后的目标物像素区域进行边缘检测，对目标物边缘进行检测，基于采集该图像时采集位置的空间位置信息及姿态信息确定每一目标物在平面坐标系中的投影。
确定目标物在平面坐标系中的平面位置信息有利于进一步提高目标物分布图的精准度，有利于指导后续作业的进行，如对所述目标区域中的目标物进行植保作业。
进一步地，在一种实施例中，基于空间位置信息与姿态信息，确定所述图像与所述目标区域所在的平面坐标系的投影关系的步骤，其流程示意图如图3所示，包括如下步骤：
S310，结合所述采集装置的空间位置信息与姿态信息计算所述图像所在平面与所述目标区域所在平面之间的变换矩阵。
所述采集装置的空间位置信息包括采集图像时所处的地理位置，如经纬度、高程信息。所述姿态信息包括采集装置采集图像时的朝向及采集角度，所述朝向可以是任意朝向，便于提前获取待检测区域的图像，例如可以获取下一个待检测区域的图像，例如获取即将要处理的第N个待检测区域的图像，其中N为整数，且大于1；本发明实施例优选与采集设备前进方向一致。本发明实施例提供的采集装置朝前，所述采集角度为采集设备采集图像时与垂直地面的轴线或水平面之间的夹角，采集角度可以根据采集设备的高度及采集设备与目标区域的相对位置调节。
若采集装置装载在飞行器上，采集装置的当前位置信息和姿态信息均可通过飞行器的飞控装置获取。
本实施例中所述目标区域所在平面优选为水平面。图4为本发明实施例提供的所述图像所在平面与其所述目标区域所在平面之间的位置示意图，在本实施例中所述采集装置的采集角度，为采集装置的中垂线与垂直地面的夹角a1，所述图像所在的平面为与所述采集装置平行的平面，则所述采集装置的中垂线与所述图像所在的平面垂直。所述目标区域所在的平面为水平面，所述图像在所述目标区域所在平面上的投影为L区域，结合所述采集装置的空间位置信息，尤其是距离地面的深度信息，及所述采集装置的采集角度，能够计算出所述图像所在平面与所述目标区域所在平面之间的变换矩阵。所述变换矩阵可以为平面变换矩阵、仿射变换矩阵中的任一种。仿射变换在几何上可以理解为两个向量空间之间的一个仿射变换或者仿射映射。通过所述变换矩阵实现所述图像所在坐标系与所述目标区域所在坐标系之间的转换，两个坐标系之间的变换关系可以通过旋转矩阵和平移向量描述。
320，基于所述变换矩阵利用投影变换确定所述图像与所述目标区域所在的平面坐标系的投影关系。
所述投影变换能够将一种地图投影点的坐标变换为另一种地图投影点的坐标，建立所述图像所在平面与所述目标区域所在平面之间的投影关系。
进一步地，在一种实施例中，确定所述图像与所述目标区域所在的平面坐标系的投影关系之后，根据所述投影关系确定所述目标密度图对应的目标区域所在的平面位置信息，进而确定密度分布图中目标物的平面位置信息。确定方法优选与确定图像对应的所述目标区域所在的平面坐标系上的平面位置信息类似，结合采集装置采集所述图像时的空间位置信息及姿态信息，将三维空间的目标物映射到二维的平面上。
本发明实施例提供的目标物密度分布图确定方法，通过对采集装置采集到的图像进行处理得到所述图像中目标物的密度分布图，这种基于图像处理方法获得所述图像中的目标物密度分布情况，与采用遥感技术的方案相比，降低了获取目标物密度分布情况的复杂性，降低检测成本。
进一步地，本发明还提供一种目标物密度分布地图的构建方法，其流程示意图如图5所示，包括：
S510，通过上述任一技术方案所述的目标物密度分布图确定方法对采集装置在目标区域内采集的每一帧图像进行处理，得到各帧图像所对应的目标物密度分布图在所述目标区域所在的平面坐标系上的投影。
通过前述任一技术方案所述的目标物密度分布图确定方法对采集装置采集的每一帧图像进行处理，进而得到各帧图像所对应的所述目标物密度分布图及所述目标物密度分布图在所述目标区域所在的平面坐标系上的投影。该过程至少包括以下两种实现方式：一种实施例中，得到各帧图像所对应的所述目标物密度分布图及其在所述目标区域所在的平面坐标系上的投影的步骤包括：获取采集装置采集的一帧图像，根据前述任一项所述确定方法，得到该帧图像对应的所述目标物密度分布图及其在所述目标区域所在的平面坐标系上的投影，再获取采集装置采集的另一帧图像，重复处理过程。本实施例采集到一帧图像后实时对其进行处理的方法，有利于根据快速得到相对应的目标物密度分布图及其在对应目标区域所在的平面坐标系上的投影，有利于及时根据该目标区域的密度分布图指导对该目标区域的作业，如携带有所述采集装置的植保无人机可以根据获取到的目标区域的目标物密度分布图及时调整植保作业，实现实时获取所述图像对应目标区域的目标物密度分布情况。另一种实施例中，得到各帧图像所对应的所述目标物密度分布图及其在对应目标区域所在平面坐标系上的投影的步骤包括：获取采集装置采集的图像，当所述图像的处理参数满足预设条件时，对已采集到的图像按照前述任一项所述确定方法处理，所述处理参数至少包括：图像数量和/或图像采集时间，所述预设条件包括：采集到的图像数量达到预设阈值或图像采集时间达到预设阈值，如：可以选择在采集到全局目标区域的图像之后进行处理采集到的图像，或者根据不同处理器的处理效率选择特定数值的图像数量，或者根据实际情况在采集到目标区域的图像一段时间后再进行处理，本发明对此不作限制。
S520，将各所述目标物密度分布图的投影进行拼接，以构建出目标物密度分布地图。
根据步骤S510获得多个目标区域图像对应的目标物密度分布图，为构建出目标物密度分布地图，可以先将各目标区域的目标物密度分布图进行拼接，再将拼接好的密度分布图投影到地图上，以构建全局目标物密度分布地图，或者，首先获取各图像对应的目标物密度分布图在平面坐标系上的投影，将所述投影与该区域的地图相融合，得到各目标区域的目标物密度分布地图，即局部目标物密度分布地图，再对局部目标物密度分布地图进行拼接，以构建全局目标物密度分布地图。
具体地，将各目标区域的目标物密度分布图的投影进行拼接的步骤，其流程示意图如图6所示，包括：
S610，对所述目标物密度分布图的投影进行预处理，确定相邻所述密度分布图的投影中特征点之间的对应关系；
对所述目标物密度分布图在对应目标区域所在平面坐标系上的投影进行预拼接，对所述目标物密度分布图进行变换操作，如小波变换等，确定相邻所述密度分布图在对应目标区域所在平面坐标系上的投影重合的较精确位置，为确定特征点奠定基础。在基本重合位置确定之后提取特征点，通过对特征点进行分析确定相邻所述密度分布图的投影中特征点的对应关系。
S620，根据相邻目标物密度分布图的投影中特征点之间的对应关系，建立相邻目标物密度分布图的投影之间的数学变换模型；
获取所述特征点之间对应关系可以通过SIFT、SURF、ORB等算法，能够比较精准地匹配不同密度分布图中的特征点。
S630，根据所述数学转换模型，将待拼接所述目标物密度分布图的投影转换到参考坐标系中，完成统一坐标变换；
所述参考坐标系可以是惯性坐标系、地球坐标系、直角坐标系等，通过数学转换模型将不同坐标系中的投影转换到一个坐标中，便于对多个所述投影的拼接。
S640，将转换到同一坐标系上的相邻所述目标物密度分布图的投影的重合区域进行融合得到目标物密度分布拼接图。
一种实施例中，首先将目标物密度分布图投影在目标区域所在平面上的投影图像进行预拼接，通过预设算法确定相邻所述投影图像的匹配特征点，根据所述特征点监理图像的变换矩阵并实现投影图像的拼接，然后再对拼接后的投影图像进行平滑处理以消除缝合线的痕迹。
一种实施例中，首先对不同密度分布图进行预拼接，确定两幅相邻图像重合的较精确位置，为特征点的搜索奠定基础，在基本重合位置确定后，找到待匹配的特征点，根据匹配点建立图像的变换矩阵并实现图像的拼接，最后对拼接后的图像进行平滑处理以消除缝合线痕迹。
一种实施例中，通过首先将密度分布图进行拼接重构，结合各密度分布图与其关联的平面位置信息的关系，确定目标物密度分布地图。也可以先将一个目标区域对应的目标物密度分布图投影到包括该目标区域的全局地图上，获得不同目标区域的目标物密度分布地图，在利用图像拼接技术获得全局目标物密度分布地图。其中，所述包括所有目标检测区域的全局地图的范围预先有大致的判断，如本次检测的目的是甲镇某块农田的农害，则包括目标区域的全局地图可以是仅包括甲镇该块农田的地图，也可以是以为中心的以农田最长边为半径的区域范围，甚至是甲镇全部农田范围。当然，所选的全局范围越大，目标检测区域在全局地图中所占的面积越小，制得的密度分布地图精确度相对于只有目标区域的地图稍低。
值得说明的是，对局部目标物密度分布地图进行拼接的处理过程与上述拼接过程类似，在此不再赘述。
进一步地，本发明还提供一种基于移动作业设备的作业用量控制方法，其流程示意图如图7所示，包括：
S710，基于上述任一技术方案所述的目标物密度分布图确定方法或者如上述任一技术方案所述的目标物密度分布地图构建方法，确定目标区域内对应位置处的目标物密度分布信息；
S720，基于所述目标区域内对应位置处的目标物密度分布信息，控制所述对应位置处的作业用量。
所述作业方式可以是喷洒、投放等方式，在一种实施例中，所述作业为喷洒，所述喷洒的物质可以是液体、固体、粉末状、雾状等形状，喷洒的物质可以是杀虫剂、除尘剂、除雪剂、落叶剂等物质。所述目标物分布信息至少包括：目标区域中目标物的位置和数量。
基于目标区域内对应位置处的目标物密度分布信息，控制所述对应位置处的喷洒量，以喷洒杀虫剂为例，本发明实施例根据目标物的密度分布情况控制喷洒量，能够做到有针对性地喷洒，在虫害较严重的区域喷洒更多的杀虫剂，解决均匀喷洒无法处理的在不损害农作物的情况下杀灭所有害虫所需的喷洒次数的问题，还可以在无需喷洒的区域减少甚至不进行喷洒，从而做到有的放矢，提高作业效率和质量，同时，降低对农作物的损害，节约喷洒物。
采集任一目标区域的图像，根据前述任一技术方案所述的目标物密度分布图确定方法或者如上述任一技术方案所述的目标物密度分布地图构建方法，确定目标区域内对应位置处的目标物密度分布信息，所述目标物密度分布信息包括：各目标物在目标区域中的位置信息，目标物的数量，根据该目标区域中目标物的数量及位置信息控制在该位置处的喷洒量。
所述基于所述目标区域内对应位置处的目标物密度分布信息，控制所述对应位置处的作业用量之前，还包括：获取待作业区域内目标物密度分布信息，其流程示意图如图8所示，具体如下包括：S810、S820、S830、S840，
S810，将所述目标物密度分布图与包括全部所述目标区域的全局地图相融合，形成拼接有部分或全部所述目标区域的目标物密度分布图的全局密度分布地图；
S820，将所述全局密度分布地图划分成多个待作业区域；
S830，根据移动作业设备的移动参数确定下一个待作业区域；
S840，若已获取所述待作业区域的目标物密度分布信息，调取该待作业区域的目标物密度分布信息；或者，若尚未获取所述待作业区域的目标物密度分布信息，根据上述任一项所述的目标物密度分布图确定方法或上述任一项所述的目标物密度分布地图构建方法，确定所述待作业区域内的目标物密度分布信息。
总的来说，所述基于所述目标区域内对应位置处的目标物密度分布信息控制所述对应位置处的作业用量包括两种实施方式，其一，获取多个目标区域的密度分布信息之后，再根据各目标区域的密度分布信息控制对应位置处的作业用量。其二，获取到一个目标区域的密度分布信息之后，随即控制所述目标区域对应位置处的作业用量。
相应地，本发明实施例还提供了一种目标物密度分布图确定装置，其结构示意图如图9所示，包括：第一获取模块110、第一确定模块120、第二获取模块130、投影模块140。
第一获取模块110，用于获取通过采集装置在目标区域内采集的图像；
第一确定模块120，用于确定所述图像中目标物的密度分布信息，得到目标物密度分布图；
第二获取模块130，用于获取所述采集装置采集所述图像时的空间位置信息与姿态信息，并基于所述空间位置信息与姿态信息，确定所述图像与所述目标区域所在的平面坐标系的投影关系；
投影模块140，用于基于所述投影关系将所述目标物密度分布图投影到所述目标区域所在的平面坐标系上。
所述目标区域为任一待检测目标物密度分布的区域，也可以是预先指定的特定区域，所述目标区域可以是局部目标区域，若全局目标区域较小，采集装置采集一次的图像也可以是全局目标区域。所述目标物包括但不限于农业害虫、农作物、动物、人等。所述采集装置用于采集所述目标区域中任意区域的图像。
本发明实施例接收到采集装置采集的图像并对所述图像进行识别，图像标记等处理，确定图像对应的目标物密度分布图，由于所述目标物密度分布图是基于所述图像做出的，且采集装置在采集图像时与实际的目标区域之间有一定的距离，采集图像时会有一定的采集角度，采集到的图像可能不能反映对应目标区域中各位置的实际大小，图像中距离采集装置较近的区域在图像中所占的区域较大，而距离采集装置较远的区域在图像中所占的区域较小，并不能真实地反映出目标物的地理位置，因此，获取图像中目标物的地理位置并将其反应在平面地图上，需要结合采集装置采集所述图像时的空间位置信息与姿态信息，通过投影变换等方式确定图像对应的目标区域在平面坐标系中的平面位置信息，确定该密度分布图所在的空间位置信息，所述空间位置信息包括：经纬度、高程信息，所述高程信息包括采集图像时采集装置距离目标区域所在平面的深度信息等，如采集装置采集了区域A的图像，通过图像识别、深度学习算法等方式处理该图像，确定图像中目标物的分布情况，结合拍摄该图像时采集装置的空间位置信息与姿态信息，确定该图像对应的目标区域在水平坐标系上的平面位置信息，进而确定该平面位置对应所对应的目标区域的密度分布。
通过本发明提供的目标物密度分布图确定装置能够确定目标区域中目标物的密度分布情况及目标物的平面位置，可以采用该方法实现对农业害虫分布、农作物分布、畜牧分布及交通拥堵情况的实时掌控。
本发明实施例提供的目标物密度分布图确定装置，将图像对应的目标物密度分布图投影到对应目标区域所在平面坐标系上，获得目标区域中目标物密度分布的位置信息，提高了目标物密度分布图位置的精确度，有利于生成高质量的目标物密度分布地图。
一种实施例中，所述采集装置包括RGB摄像头、激光雷达、热释电红外传感器中的至少一种。所述图像优选为RGB摄像头采集的RGB图像，以便通过对RGB图像中各像素点的进行像素点的识别、标记等处理确定目标物在图像中的分布情况。
激光雷达向目标物发射探测信号，如激光束，然后将接收到的从目标物反射回来的信号与发射信号进行比较，作适当处理后，就可获得目标物的有关信息，如距离、方位、高度、姿态、及形状等参数，从而实现对目标物进行探测和识别。
热释电红外传感器是一种以非接触的形式感应红外辐射并将其转换为电信号的仪器，处理器根据传递过来的电信号识别目标区域的目标物。热释电红外传感器主要利用热电效应原理来完成对红外辐射的感应，所谓的热电效应指的是受热物体中的电子由高温处向低温处移动时产生电流或者电荷堆积的一种现象。
值得说明的是，所述采集设备至少为一个，当所述采集设备为多个时，多个采集设备采集多个不同角度的图像，经过上述技术方案的处理获得将不同角度的密度图，通过图像融合多幅不同角度的密度图映射在地图上，形成该目标区域的密度地图，建立的密度地图会比仅采用一个采集设备构建的密度地图更加全面，如通过多个采集设备能够获取位于不同高度层次的目标物，如吸附于农作物不同高度叶片上的农害，仅通过一个采集设备或一个角度的图像无法获得该角度采集不到的区域的目标物分布。
所述采集设备的空间位置信息包括：采集设备的经纬度、距离所述图像对应的目标区域所在平面的深度信息。所述采集设备的姿态信息包括采集设备的朝向、角度等。所述角度包括：与所述图像对应的目标区域所在平面之间的夹角或与所述平面的垂直面之间的夹角。所述采集设备的空间位置信息可以通过定位装置，如RTK定位传感器获取确定所述采集设备采集当前目标区域图像时的空间位置信息，可以利用机身传感器获得采集设备当前的姿态信息。
进一步地，在一种实施例中，确定所述目标物密度分布图确定装置还包括：建模模块。
所述建模模块，用于利用神经网络算法对已知目标物密度分布信息的多个图像样本进行学习，提取所述图像中的高层特征和底层特征以建立目标物密度分布图的生成模型；
利用多幅包含目标物的目标区域图像作为训练样本，通过对神经网络模型进行训练得到用于生成密度分布图的神经网络模型，以RGB摄像头采集到的RGB图像为例，对神经网络模型进行训练后得到用于生成密度分布图的神经网络颜色分类模型。具体地，选取RGB图像中目标物像素块和非目标物像素块，读取每个目标物像素块和非目标物像素块中每个像素的R、G、B值并对读取到的像素进行标注，如，将目标物像素置为1，非目标物像素块置为0，由此得到所述训练样本的训练数据；设定训练参数，读入所述训练数据进行神经网络的模型训练，得到所述神经网络颜色分类模型。
获取目标区域的GRB图像，将所述RGB图像的R、G、B值作为所述神经网络颜色分类模型的输入，并输入到所述神经网络颜色分类模型，由所述神经网络颜色模型对所述RGB图像的像素点进行分类，去除背景像素，得到目标物像素区域图像。去除背景像素的过程包括：读取目标物像素点的RGB值，输入到神经网络的三个输入通道，运算该神经网络即可得到该像素点是目标物像素点还是非目标物的像素点，然后将图片中非目标物像素点去除，即去除了背景像素。
所述神经网络颜色分类模型优选为三层结构的BP神经网络(前馈网络)，包括输入层、中间层、输出层，输入层负责接收来自外界的输入信息并传递给中间层各神经元，输入层提取的特征是底层特征，输入层将提取出的特征与各特征所占的权值传递至中间层，中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单层或多层结构，基于前一层传递过来的特征及各特征所占的权重逐层提取不同的特征及各特征所占的权值，特征逐渐由底层向高层转化，越高层的特征越抽象，最后一层中间层负责传递向输出层传递各神经元的信息，经过处理后完成学习的正向传播处理过程，最后由输出层向外界输出信息处理结构，当实际输出与期望输出不符时，进入误差的反向传播阶段，误差通过输出层，按照误差梯度下降的方式修正各层权值，向中间层、输入层逐层返传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者达到预先设定的学习次数为止。
神经网络模型通过上述过程不断学习图像中的目标物，建立神经网络颜色分类模型，进而实现对图像中目标物的识别。
选取已知目标物密度分布信息的多个图像作为训练样本，提取样本图像中有利于生成密度分布图的特征，如高层特征和底层特征，对训练样本中的图像进行归一化处理，将图像中的像素值归一化到[0,255]之间，分析归一化后的图像，构造基于卷积神经网络的目标物密度分布图的生成模型，结合提取的高层特征和底层特征，使用训练数据集对生成模型训练，得到训练好的目标物密度分布图的生成模型。
若采集装置为激光雷达、热释电红外传感器，对其采集的图像信息的处理过程优选与RGB摄像头处理过程相似，但对信息进行处理的模型可以不同。
在本实施例中，所述第一确定模块120，用于将当前采集到的所述图像输入到预先经过训练的目标物密度分布图的生成模型中，输出该图像对应的目标物密度分布图。
利用训练好的目标物密度分布图的生成模型，将当前采集到的图像输入到该生成模型中，模型的输出端输出该图像对应的目标物密度分布图。
本发明实施例提供的目标物密度分布图确定方法，利用深度学习自动获取所述图像对应的目标物密度分布图，只需提供大量的训练样本即可获得输出结果精准的目标物密度分布图的生成模型，相同时间内该方法与其他获取所述图像对应的目标物密度分布图的方法相比，提高了目标物密度分布图的精准度，提高了获取目标物密度分布图的自动化程度，节省了能量消耗。
进一步地，利用神经网络颜色分类模型分割出目标物像素区域，对去除背景后的目标物像素区域进行边缘检测，对目标物边缘进行检测，基于采集该图像时采集位置的空间位置信息及姿态信息确定每一目标物在平面坐标系中的投影。
确定目标物在平面坐标系中的平面位置信息有利于进一步提高目标物分布图的精准度，有利于指导后续作业的进行，如对所述目标区域进行植保作业。
进一步地，在一种实施例中，所述第二获取模块130，还包括：计算单元、投影单元。
计算单元，用于结合所述采集装置的空间位置信息与姿态信息计算所述图像所在平面与所述目标区域所在平面之间的变换矩阵。
所述采集装置的空间位置信息包括采集图像时所处的地理位置，如经纬度、高程信息。所述姿态信息包括采集装置采集图像时的朝向及采集角度，所述朝向可以是任意朝向，便于提前获取下一个待检测区域的图像，本发明实施例优选与采集设备前进方向一致。本发明实施例提供的采集装置朝前，所述采集角度为采集设备采集图像时与垂直地面的轴线或水平面之间的夹角，采集角度可以根据采集设备的高度及采集设备与目标区域的相对位置调节。
若采集装置装载在飞行器上，采集装置的当前位置信息和姿态信息均可通过飞行器的飞控装置获取。
本实施例中所述目标区域所在平面优选为水平面。图4为本发明实施例提供的所述图像所在平面与其所述目标区域所在平面之间的位置示意图，在本实施例中所述采集装置的采集角度，为采集装置的中垂线与垂直地面的夹角a1，所述图像所在的平面为与所述采集装置平行的平面，则所述采集装置的中垂线与所述图像所在的平面垂直。所述目标区域所在的平面为水平面，所述图像在所述目标区域所在平面上的投影为L区域，结合所述采集装置的空间位置信息，尤其是距离地面的深度信息，及所述采集装置的采集角度，能够计算出所述图像所在平面与所述目标区域所在平面之间的变换矩阵。所述变换矩阵可以为平面变换矩阵、仿射变换矩阵中的任一种。仿射变换在几何上可以理解为两个向量空间之间的一个仿射变换或者仿射映射。通过所述变换矩阵实现所述图像所在坐标系与所述目标区域所在坐标系之间的转换，两个坐标系之间的变换关系可以通过旋转矩阵和平移向量描述。
投影单元，用于基于所述变换矩阵利用投影变换确定所述图像与所述目标区域所在的平面坐标系的投影关系。
所述投影变换能够将一种地图投影点的坐标变换为另一种地图投影点的坐标，建立所述图像所在平面与所述目标区域所在平面之间的投影关系。
进一步地，在一种实施例中，第二获取模块还用于确定所述目标密度图对应的目标区域所在的平面位置信息以及确定密度分布图中目标物的平面位置信息。确定方法优选与确定图像对应的所述目标区域所在的平面坐标系上的平面位置信息类似，结合采集装置采集所述图像时的空间位置信息及姿态信息，将三维空间的目标物映射到二维的平面上。
本发明实施例提供的目标物密度分布图确定方法，通过对采集装置采集到的图像进行处理得到所述图像中目标物的密度分布图，这种基于图像处理方法获得所述图像中的目标物密度分布情况，与采用遥感技术的方案相比，降低了获取目标物密度分布情况的复杂性，降低检测成本。
进一步地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序执行时实现上述任一项所述的目标物密度分布图确定方法的步骤。
更进一步地，本发明还提供了一种终端，包括处理器、存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的目标物密度分布图确定方法的步骤。
对应地，本发明实施例还提供了一种目标物密度分布地图的构建装置，包括：处理模块、拼接模块。
处理模块，用于利用前述目标物密度分布图确定装置对采集装置在目标区域内采集的每一帧图像进行处理，得到各帧图像所对应的目标物密度分布图在所述目标区域所在的平面坐标系上的投影。
具体地，通过前述任一技术方案所述的目标物密度分布图确定方法对采集装置采集的每一帧图像进行处理，进而得到各帧图像所对应的所述目标物密度分布图及所述目标物密度分布图在所述目标区域所在的平面坐标系上的投影。该过程至少包括以下两种实现方式：一种实施例中，得到各帧图像所对应的所述目标物密度分布图及关联的所述平面位置信息的步骤包括：获取采集装置采集的一帧图像，根据前述任一项所述确定方法，得到该帧图像对应的所述目标物密度分布图及其在所述目标区域所在的平面坐标系上的投影，再获取采集装置采集的另一帧图像，重复处理过程。本实施例采集到一帧图像后实时对其进行处理的方法，有利于根据快速得到相对应的目标物密度分布图及其在所述目标区域所在的平面坐标系上的投影，有利于及时根据该目标区域的密度分布图指导对该目标区域的作业，如携带有所述采集装置的植保无人机可以根据获取到的目标区域的目标物密度分布图及时调整植保作业，实现实时获取所述图像对应目标区域的目标物密度分布情况。另一种实施例中，得到各帧图像所对应的所述目标物密度分布图及其在对应目标区域所在的平面坐标系上的投影的实现过程包括：获取采集装置采集的图像，当所述图像的处理参数满足预设条件时，对已采集到的图像按照前述任一项所述确定方法处理，所述处理参数至少包括：图像数量和/或图像采集时间，所述预设条件包括：采集到的图像数量达到预设阈值或图像采集时间达到预设阈值，如：可以选择在采集到全局目标区域的图像之后进行处理采集到的图像，或者根据不同处理器的处理效率选择特定数值的图像数量，或者根据实际情况在采集到目标区域的图像一段时间后再进行处理，本发明对此不作限制。
拼接模块，用于将各所述目标物密度分布图的投影进行拼接，以构建出目标物密度分布地图。
基于各所述目标物密度分布图所关联的平面位置信息，将各所述目标物密度分布图进行拼接，以构建出目标物密度分布地图。
根据处理模块获得多个目标区域图像对应的目标物密度分布图，为构建出目标物密度分布地图，可以先将各目标区域的目标物密度分布图进行拼接，再将拼接好的密度分布图投影到地图上，以构建全局目标物密度分布地图，或者，首先获取各图像对应的目标区域在平面坐标系上的目标物密度分布图，将所述目标物密度分布图映射到地图上，得到各目标区域的目标物密度分布地图，即局部目标物密度分布地图，再对局部目标物密度分布地图进行拼接，以构建全局目标物密度分布地图。
进一步地，所述拼接模块，还用于：对所述目标物密度分布图的投影进行预处理，确定相邻所述密度分布图的投影中特征点之间的对应关系；根据相邻目标物密度分布图的投影中特征点之间的对应关系，建立相邻目标物密度分布图的投影的数学变换模型；根据所述数学转换模型，将待拼接所述目标物密度分布图的投影转换到参考坐标系中，完成统一坐标变换；将转换到同一坐标系上的相邻所述目标物密度分布图的投影的重合区域进行融合得到目标物密度分布拼接图。
对所述目标物密度分布图进行预拼接，对所述目标物密度分布图进行变换操作，如小波变换等，确定相邻所述密度分布图重合的较精确位置，为确定特征点奠定基础。在基本重合位置确定之后提取特征点，通过对特征点进行分析确定相邻所述密度分布图中特征点的对应关系。获取所述特征点之间对应关系可以通过SIFT、SURF、ORB等算法，能够比较精准地匹配不同密度分布图中的特征点。
所述参考坐标系可以是惯性坐标系、地球坐标系、直角坐标系等，通过数学转换模型将不同坐标系中的投影转换到一个坐标中，便于对多个所述投影的拼接。
所述拼接模块，还用于将转换到同一坐标系上的相邻所述目标物密度分布图的投影的重合区域进行融合得到目标物密度分布拼接图。
一种实施例中，首先将目标物密度分布图投影在目标区域所在平面上的投影图像进行预拼接，通过预设算法确定相邻所述投影图像的匹配特征点，根据所述特征点监理图像的变换矩阵并实现投影图像的拼接，然后再对拼接后的投影图像进行平滑处理以消除缝合线的痕迹。一种实施例中，首先对不同密度分布图进行预拼接，确定两幅相邻图像重合的较精确位置，为特征点的搜索奠定基础，在基本重合位置确定后，找到待匹配的特征点，根据匹配点建立图像的变换矩阵并实现图像的拼接，最后对拼接后的图像进行平滑处理以消除缝合线痕迹。
如前所述，可以通过首先将密度分布图进行拼接重构，结合各密度分布图与其关联的平面位置信息的关系，确定目标物密度分布地图。也可以先将一个目标区域对应的目标物密度分布图投影到包括该目标区域的全局地图上，获得不同目标区域的目标物密度分布地图，在利用图像拼接技术获得全局目标物密度分布地图。其中，所述包括所有目标检测区域的全局地图的范围预先有大致的判断，如本次检测的目的是甲镇某块农田的农害，则包括目标区域的全局地图可以是仅包括甲镇该块农田的地图，也可以是以为中心的以农田最长边为半径的区域范围，甚至是甲镇全部农田范围。当然，所选的全局范围越大，目标检测区域在全局地图中所占的面积越小，制得的密度分布地图精确度相对于只有目标区域的地图稍低。
值得说明的是，对局部目标物密度分布地图进行拼接的处理过程与上述拼接过程类似，在此不再赘述。
进一步地，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序执行时实现上述任一项所述的目标物密度分布地图的构建方法的步骤。
更进一步地，本发明实施例还提供了一种终端，包括处理器、存储器、所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的目标物密度分布地图的构建方法的步骤。
对应地，本发明还提供了一种基于移动作业设备的作业用量控制装置，包括：第二确定模块、控制模块。
第二确定模块，用于基于前述目标物密度分布图确定装置或前述目标物密度分布地图构建装置，确定目标区域内对应位置处的目标物密度分布信息；
控制模块，用于基于所述目标区域内对应位置处的目标物密度分布信息，控制所述对应位置处的作业用量。
所述作业方式可以是喷洒、投放等方式，在一种实施例中，所述作业为喷洒，所述喷洒的物质可以是液体、固体、粉末状、雾状等形状，喷洒的物质可以是杀虫剂、除尘剂、除雪剂、落叶剂等物质。所述目标物分布信息至少包括：目标区域中目标物的位置和数量。
基于目标区域内对应位置处的目标物密度分布信息，控制所述对应位置处的喷洒量，以喷洒杀虫剂为例，本发明实施例根据目标物的密度分布情况控制喷洒量，能够做到有针对性地喷洒，在虫害较严重的区域喷洒更多的杀虫剂，解决均匀喷洒无法处理的在不损害农作物的情况下杀灭所有害虫所需的喷洒次数的问题，还可以在无需喷洒的区域减少甚至不进行喷洒，从而做到有的放矢，提高作业效率和质量，同时，降低对农作物的损害，节约喷洒物。
采集任一目标区域的图像，根据前述任一技术方案所述的目标物密度分布图确定方法或者如上述任一技术方案所述的目标物密度分布地图构建方法，确定目标区域内对应位置处的目标物密度分布信息，所述目标物密度分布信息包括：各目标物在目标区域中的位置信息，目标物的数量，根据该目标区域中目标物的数量及位置信息控制在该位置处的喷洒量。
所述基于移动作业设备的作业用量控制装置，还包括：第三获取模块，用于获取待作业区域内目标物密度分布信息，具体包括如下单元，
第二拼接单元，用于将所述目标物密度分布图与包括全部所述目标区域的全局地图相融合，形成拼接有部分或全部所述目标区域的目标物密度分布图的全局密度分布地图；
划分单元，用于将所述全局密度分布地图划分成多个待作业区域；
确定待喷洒单元，用于根据移动作业设备的移动参数确定下一个待作业区域；
第四获取单元，若已获取所述待喷洒区域的目标物密度分布信息，调取该待作业区域的目标物密度分布信息；或者，若尚未获取所述待作业区域的目标物密度分布信息，根据上述任一项所述的目标物密度分布图确定方法或上述任一项所述的目标物密度分布地图构建方法，确定所述待作业区域内的目标物密度分布信息。
总的来说，所述基于所述目标区域内对应位置处的目标物密度分布信息控制所述对应位置处的作业用量包括两种实施方式，其一，获取多个目标区域的密度分布信息之后，再根据各目标区域的密度分布信息控制对应位置处的作业用量。其二，获取到一个目标区域的密度分布信息之后，随即控制所述目标区域对应位置处的作业用量。
进一步地，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序执行时实现上述任一项所述的基于移动作业设备的作业用量控制方法的步骤。
更进一步，本发明实施例还提供了一种终端，包括处理器、存储器、所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的基于移动作业设备的作业用量控制方法的步骤。
更进一步地，本发明实施例还提供了一种移动装置，包括通信模块与定位模块，以及上述任一技术方案所述的计算机可读存储介质或上述任一技术方案所述的终端，
所述通信模块，用于与外部装置进行通信；
所述定位模块，用于确定采集设备的空间位置信息和姿态信息。
所述外部装置包括：地面控制装置等与所述移动装置建立通信通路的装置。
在本发明各实施例中的各功能单元可集成在一个处理模块中，也可以各个单元单独物理存在，也可以两个或两个以上单元集成于一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取的存储介质中。所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (22)
1.一种目标物密度分布图确定方法，其特征在于，包括：
获取通过采集装置在目标区域内采集的图像；
利用神经网络算法对已知目标物密度分布信息的多个图像样本进行学习，提取所述图像中的高层特征和底层特征以建立目标物密度分布图的生成模型；
确定所述图像中目标物的密度分布信息，得到目标物密度分布图，包括：
将当前采集到的所述图像输入到预先经过训练的密度分布图的生成模型中，输出该图像对应的目标物密度分布图；其中，所述生成模型选取所述图像中的目标像素块与非目标像素块，将所述目标像素块的像素值设置为1，将所述非目标像素块的像素值标注为0，以生成原始标注图像；基于所述目标像素块得到所述图像中的多个目标物，将每一目标物的中心像素点的像素值设置为1，将每一目标物中的其他像素点的像素值设置为0，以生成目标标注图像；对所述目标标注图像进行卷积运算，并输出所述图像对应的目标物密度分布图；其中，所述目标物密度分布图中所有像素值之和与所述原始标注图像的像素值之和相同；
获取所述采集装置采集所述图像时的空间位置信息与姿态信息，并基于所述空间位置信息与姿态信息，确定所述图像与所述目标区域所在的平面坐标系的投影关系；
基于所述投影关系将所述目标物密度分布图投影到所述目标区域所在的平面坐标系上。
2.根据权利要求1所述的目标物密度分布图确定方法，其特征在于，获取所述采集装置采集所述图像时的空间位置信息与姿态信息的步骤，包括：
获取所述采集装置采集所述图像时的经纬度信息及高程信息；
获取采集所述图像时所述采集装置的朝向、所述采集装置与所述图像对应的目标区域所在平面之间的夹角和/或所述采集装置与所述平面的垂直面之间的夹角。
3.根据权利要求1所述的目标物密度分布图确定方法，其特征在于，所述基于所述空间位置信息与姿态信息，确定所述图像与所述目标区域所在的平面坐标系的投影关系的步骤，具体包括：
结合所述采集装置的空间位置信息与姿态信息计算所述图像所在平面与所述目标区域所在平面之间的变换矩阵；
基于所述变换矩阵利用投影变换确定所述图像与所述目标区域所在的平面坐标系的投影关系。
4.根据权利要求1所述的目标物密度分布图确定方法，其特征在于，所述采集装置包括：摄像头、激光雷达、热释电红外传感器中的至少一种。
5.一种目标物密度分布地图的构建方法，其特征在于，包括：
通过如权利要求1至4任一项所述的目标物密度分布图确定方法对采集装置在目标区域内采集的每一帧图像进行处理，得到各帧图像所对应的目标物密度分布图在所述目标区域所在的平面坐标系上的投影；
将各所述目标物密度分布图的投影进行拼接，以构建出目标物密度分布地图。
6.根据权利要求5所述的目标物密度分布地图的构建方法，其特征在于，通过如权利要求1至4任一项所述的目标物密度分布图确定方法对采集装置在目标区域内采集的每一帧图像进行处理的步骤，包括：当获取到一帧图像时，实时对该帧图像按照权利要求1至4中任一项所述的目标物密度分布图的确定方法进行处理，得到该帧图像对应的所述目标物密度分布图。
7.根据权利要求5所述的目标物密度分布地图的构建方法，其特征在于，通过如权利要求1至4任一项所述的目标物密度分布图确定方法对采集装置在目标区域内采集的每一帧图像进行处理的步骤，还包括：
当获取到多帧所述图像且所述图像的处理参数满足预设条件时，逐一对各帧图像按照权利要求1至4中任一项所述的确定方法处理，所述处理参数至少包括：图像数量和/或图像采集时间。
8.根据权利要求7所述的目标物密度分布地图的构建方法，其特征在于，所述预设条件包括：采集到的图像数量达到预设阈值或图像采集时间达到预设阈值。
9.根据权利要求5所述的目标物密度分布地图的构建方法，其特征在于，所述将各所述目标物密度分布图的投影进行拼接的步骤，包括：
对所述目标物密度分布图的投影进行预处理，确定相邻所述密度分布图的投影中特征点之间的对应关系；
根据相邻目标物密度分布图的投影中特征点之间的对应关系，建立相邻目标物密度分布图的投影的数学转换模型；
根据所述数学转换模型，将待拼接所述目标物密度分布图的投影转换到参考坐标系中，完成统一坐标变换；
将转换到统一坐标系上的相邻所述目标物密度分布图的投影的重合区域进行融合得到目标物密度分布拼接图。
10.一种基于移动作业设备的作业用量控制方法，其特征在于，包括：
基于如权利要求1至4任一项所述的目标物密度分布图的确定方法或如权利要求5至9任一项所述的目标物密度分布地图构建方法，确定目标区域内对应位置处的目标物密度分布信息；基于所述目标区域内对应位置处的目标物密度分布信息，控制所述对应位置处的作业用量。
11.根据权利要求10所述的基于移动作业设备的作业用量控制方法，其特征在于，所述基于所述目标区域内对应位置处的目标物密度分布信息，控制所述对应位置处的作业用量之前，还包括：
将所述目标物密度分布图与包括全部所述目标区域的全局地图相融合，形成拼接有部分或全部所述目标区域的目标物密度分布图的全局密度分布地图；
将所述全局密度分布地图划分成多个待作业区域；
根据移动作业设备的移动参数确定下一个待作业区域；
若已获取所述待作业区域的目标物密度分布信息，调取该待作业区域的目标物密度分布信息；
若尚未获取所述待作业区域的目标物密度分布信息，根据权利要求1至4任一项所述的目标物密度分布图确定方法或如权利要求5至9任一项所述的目标物密度分布地图构建方法，确定所述待作业区域内的目标物密度分布信息。
12.根据权利要求11所述的基于移动作业设备的作业用量控制方法，其特征在于，所述将所述全局密度分布地图划分成多个待作业区域的步骤，包括：根据所述采集装置采集的目标区域的尺寸划分所述全局密度分布地图。
13.一种目标物密度分布图确定装置，其特征在于，包括：
第一获取模块，用于获取通过采集装置在目标区域内采集的图像；
建模模块，用于利用神经网络算法对已知目标物密度分布信息的多个图像样本进行学习，提取所述图像中的高层特征和底层特征以建立目标物密度分布图的生成模型；
第一确定模块，用于将当前采集到的所述图像输入到预先经过训练的密度分布图的生成模型中，输出该图像对应的目标物密度分布图；其中，所述生成模型选取所述图像中的目标像素块与非目标像素块，将所述目标像素块的像素值设置为1，将所述非目标像素块的像素值标注为0，以生成原始标注图像；基于所述目标像素块得到所述图像中的多个目标物，将每一目标物的中心像素点的像素值设置为1，将每一目标物中的其他像素点的像素值设置为0，以生成目标标注图像；对所述目标标注图像进行卷积运算，并输出所述图像对应的目标物密度分布图；其中，所述目标物密度分布图中所有像素值之和与所述原始标注图像的像素值之和相同；
第二获取模块，用于获取所述采集装置采集所述图像时的空间位置信息与姿态信息，并基于所述空间位置信息与姿态信息，确定所述图像与所述目标区域所在的平面坐标系的投影关系；
投影模块，用于基于所述投影关系将所述目标物密度分布图投影到所述目标区域所在的平面坐标系上。
14.一种目标物密度分布地图的构建装置，其特征在于，包括：
处理模块，用于利用如权利要求13所述的目标物密度分布图确定装置对采集装置在目标区域内采集的每一帧图像进行处理，得到各帧图像所对应的目标物密度分布图在所述目标区域所在的平面坐标系上的投影；
拼接模块，用于将各所述目标物密度分布图的投影进行拼接，以构建出目标物密度分布地图。
15.基于移动作业设备的作业用量控制装置，其特征在于，包括：
第二确定模块，用于基于如权利要求13所述的目标物密度分布图确定装置或如权利要求14所述的目标物密度分布地图构建装置，确定目标区域内对应位置处的目标物密度分布信息；
控制模块，用于基于所述目标区域内对应位置处的目标物密度分布信息，控制所述对应位置处的作业用量。
16.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序执行时实现权利要求1-4中任意一项所述的目标物密度分布图确定方法的步骤。
17.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序执行时实现权利要求5-9中任意一项所述的目标物密度分布地图的构建方法的步骤。
18.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序执行时实现权利要求10-12中任意一项所述的基于移动作业设备的作业用量控制方法的步骤。
19.一种终端，其特征在于，包括处理器、存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现权利要求1至4中任一项所述的目标物密度分布图确定方法的步骤。
20.一种终端，其特征在于，包括处理器、存储器、所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现权利要求5至9任一项所述的目标物密度分布地图的构建方法的步骤。
21.一种终端，其特征在于，包括处理器、存储器、所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现权利要求10至12任一项所述的基于移动作业设备的作业用量控制方法的步骤。
22.一种移动装置，其特征在于，包括：通信模块与定位模块，以及如权利要求16至18任一项所述的计算机可读存储介质或如权利要求19至21任一项所述的终端；
所述通信模块，用于与外部装置进行通信；
所述定位模块，用于确定采集装置采集图像时的空间位置信息和姿态信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810772240.1A CN110718137B (zh) | 2018-07-13 | 2018-07-13 | 目标物密度分布地图的构建方法及装置、终端、移动装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810772240.1A CN110718137B (zh) | 2018-07-13 | 2018-07-13 | 目标物密度分布地图的构建方法及装置、终端、移动装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110718137A CN110718137A (zh) | 2020-01-21 |
| CN110718137B true CN110718137B (zh) | 2022-05-10 |
Family
ID=69208578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810772240.1A Active CN110718137B (zh) | 2018-07-13 | 2018-07-13 | 目标物密度分布地图的构建方法及装置、终端、移动装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110718137B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340801A (zh) * | 2020-03-24 | 2020-06-26 | 新希望六和股份有限公司 | 一种牲畜盘点方法、装置、设备及存储介质 |
| CN111597287B (zh) * | 2020-05-15 | 2023-09-29 | 阿波罗智能技术(北京)有限公司 | 地图生成方法、装置及设备 |
| CN111783549A (zh) * | 2020-06-04 | 2020-10-16 | 北京海益同展信息科技有限公司 | 一种分布图生成方法、系统、巡检机器人及控制终端 |
| CN112016596B (zh) * | 2020-08-10 | 2024-04-09 | 西安科技大学 | 基于卷积神经网络的农田土壤肥力评价方法 |
| CN112488244B (zh) * | 2020-12-22 | 2022-09-09 | 中国科学院合肥物质科学研究院 | 一种利用热力图进行点标注方式的密集分布小目标害虫自动计数方法 |
| CN113160225B (zh) * | 2021-05-20 | 2024-07-02 | 神华准格尔能源有限责任公司 | 露天矿粉尘浓度识别方法、存储介质及电子设备 |
| CN113329191B (zh) * | 2021-05-28 | 2022-09-13 | 广州极飞科技股份有限公司 | 图像处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013071003A1 (en) * | 2011-11-10 | 2013-05-16 | Azar Jimmy C | Color decomposition in histology |
| CN103226616A (zh) * | 2013-05-16 | 2013-07-31 | 南京龙渊微电子科技有限公司 | 一种图像内容检索系统及其图像内容稀疏学习方法 |
| CN104077613A (zh) * | 2014-07-16 | 2014-10-01 | 电子科技大学 | 一种基于级联多级卷积神经网络的人群密度估计方法 |
| CN105890601A (zh) * | 2015-10-30 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 车辆位置显示方法、装置和导航装置 |
| CN106650913A (zh) * | 2016-12-31 | 2017-05-10 | 中国科学技术大学 | 一种基于深度卷积神经网络的车流密度估计方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7822275B2 (en) * | 2007-06-04 | 2010-10-26 | Objectvideo, Inc. | Method for detecting water regions in video |
| US8743115B1 (en) * | 2009-10-23 | 2014-06-03 | Paradigm Sciences Ltd. | Systems and methods for coordinated editing of seismic data in dual model |
| CN102982515A (zh) * | 2012-10-23 | 2013-03-20 | 中国电子科技集团公司第二十七研究所 | 一种无人机图像实时拼接的方法 |
| CN103984502B (zh) * | 2014-05-30 | 2017-09-29 | 天津三星通信技术研究有限公司 | 一种截取屏幕内容的方法及便携式终端 |
| CN105046252B (zh) * | 2014-11-21 | 2018-09-07 | 华中科技大学 | 一种人民币冠字码识别方法 |
| CN105678754B (zh) * | 2015-12-31 | 2018-08-07 | 西北工业大学 | 一种无人机实时地图重建方法 |
| CN106557814A (zh) * | 2016-11-15 | 2017-04-05 | 成都通甲优博科技有限责任公司 | 一种道路车辆密度评估方法及装置 |
| CN106683038B (zh) * | 2016-11-17 | 2020-07-07 | 云南电网有限责任公司电力科学研究院 | 一种生成火情态势图的方法及装置 |
| CN106814745A (zh) * | 2017-03-22 | 2017-06-09 | 常熟理工学院 | 无人机智能药物供给喷洒方法和系统 |
-
2018
- 2018-07-13 CN CN201810772240.1A patent/CN110718137B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013071003A1 (en) * | 2011-11-10 | 2013-05-16 | Azar Jimmy C | Color decomposition in histology |
| CN103226616A (zh) * | 2013-05-16 | 2013-07-31 | 南京龙渊微电子科技有限公司 | 一种图像内容检索系统及其图像内容稀疏学习方法 |
| CN104077613A (zh) * | 2014-07-16 | 2014-10-01 | 电子科技大学 | 一种基于级联多级卷积神经网络的人群密度估计方法 |
| CN105890601A (zh) * | 2015-10-30 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 车辆位置显示方法、装置和导航装置 |
| CN106650913A (zh) * | 2016-12-31 | 2017-05-10 | 中国科学技术大学 | 一种基于深度卷积神经网络的车流密度估计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《Photo image classification using pre-trained deep network for density-based spatiotemporal analysis system》;Tatsuhiro Sakai等;《2017 IEEE 10th International Workshop on Computational Intelligence and Applications(IWCIA)》;20171231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110718137A (zh) | 2020-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110718137B (zh) | 目标物密度分布地图的构建方法及装置、终端、移动装置 | |
| Xiang et al. | Mini-unmanned aerial vehicle-based remote sensing: Techniques, applications, and prospects | |
| CN110400363B (zh) | 基于激光点云的地图构建方法和装置 | |
| CN109076192A (zh) | 行星尺度分析系统 | |
| CN106204443A (zh) | 一种基于多目复用的全景无人机系统 | |
| CN105159319A (zh) | 一种无人机的喷药方法及无人机 | |
| CN111765974B (zh) | 一种基于微型制冷红外热像仪的野生动物观测系统及方法 | |
| Liu et al. | Ground feature oriented path planning for unmanned aerial vehicle mapping | |
| CN112462756B (zh) | 农林作业任务生成方法、装置、计算机设备和存储介质 | |
| US11861855B2 (en) | System and method for aerial to ground registration | |
| KR20210105345A (ko) | 측량 및 매핑 방법, 장치 및 기기 | |
| CN117665841B (zh) | 一种地理空间信息采集测绘方法及装置 | |
| Paulin et al. | Application of raycast method for person geolocalization and distance determination using UAV images in Real-World land search and rescue scenarios | |
| Guo et al. | Application of UAV tilt photogrammetry in 3D modeling of ancient buildings | |
| Bhattacharya et al. | IDeA: IoT-based autonomous aerial demarcation and path planning for precision agriculture with UAVs | |
| CN111950524B (zh) | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 | |
| Koshelev et al. | Drone-Aided Detection of Weeds: Transfer Learning for Embedded Image Processing | |
| CN111985472A (zh) | 基于人工智能和主动球机的食槽干草温度图像处理方法 | |
| Esser et al. | Field robot for high-throughput and high-resolution 3D plant phenotyping: towards efficient and sustainable crop production | |
| KR102557775B1 (ko) | 드론을 이용한 3차원 지도 제작 방법 | |
| CN112530014B (zh) | 一种多无人机室内场景三维重建方法及装置 | |
| Paulin et al. | Person localization and distance determination using the raycast method | |
| Wei et al. | Fast Multi-View 3D reconstruction of seedlings based on automatic viewpoint planning | |
| Ronchetti | Uav Surveys For Crop Monitoring And Management In Precision Agriculture | |
| Li et al. | Low-altitude remote sensing-based global 3D path planning for precision navigation of agriculture vehicles-beyond crop row detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province Applicant after: XAG Co., Ltd. Address before: 510000, No. 1, Cheng Cheng Road, Gaotang Software Park, Guangzhou, Guangdong, Tianhe District, 3A01 Applicant before: Guangzhou Xaircraft Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |