CN112567383A - 物体检测方法、可移动平台、设备和存储介质 - Google Patents

物体检测方法、可移动平台、设备和存储介质 Download PDF

Info

Publication number
CN112567383A
CN112567383A CN202080004061.9A CN202080004061A CN112567383A CN 112567383 A CN112567383 A CN 112567383A CN 202080004061 A CN202080004061 A CN 202080004061A CN 112567383 A CN112567383 A CN 112567383A
Authority
CN
China
Prior art keywords
target
pixel points
image
determining
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080004061.9A
Other languages
English (en)
Inventor
周游
蔡剑钊
杨健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112567383A publication Critical patent/CN112567383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供一种物体检测方法、可移动平台、设备和存储介质，在得到第一图像后，先识别此第一图像中水面所在的目标图像区域，再进一步得到此目标图像区域中像素点对应的三维坐标。然后，用此三维坐标拟合出对应于水面的目标平面，并以此目标平面为基准进一步判断第一图像中其他物体的位置。可见，上述方法是一个分步确定图像中物体位置的过程。具体地，先利用识别算法对第一图像进行第一次识别，以得到第一图像中的水面位置。再以此水面区域对应的目标平面为依据进行第二次识别，以进一步得到图像中其他物体的位置。由于根据算法确定出的水面区域是准确的，因此，以此准确的水面区域为依据，也就进一步保证图像中其他物体所在位置的准确性。

Description

物体检测方法、可移动平台、设备和存储介质
技术领域
本发明涉及无人机领域，尤其涉及一种物体检测方法、可移动平台、设备和存储介质。
背景技术
无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器。与载人飞机相比，它具有体积小、造价低等特点，目前已经广泛使用到众多领域中，比如街景拍摄、电力巡检、交通监视、灾后救援等等。
比如在电力巡检、灾后救援等领域，无人机存在在包含水面的环境内飞行的情况，此时，若不能准确地识别出飞行环境中的水面以及其他障碍物的位置，则无人机很容易飞行至水面或者与其他障碍物相撞，从而导致无人机的飞行事故。
发明内容
本发明提供了一种物体检测方法、可移动平台、设备和存储介质，用于准确识别图像中的各物体所在的位置。
本发明的第一方面是为了提供一种物体检测方法，所述方法包括：
在第一图像中识别水面所在的目标图像区域；
确定所述目标图像区域中像素点对应的三维坐标；
根据所述三维坐标拟合所述目标图像区域对应的目标平面；
根据所述目标平面确定所述第一图像中各物体的位置。
本发明的第二方面是为了提供一种可移动平台，所述可移动平台包括：机体、动力系统、图像采集装置以及控制装置；
所述动力系统，设置于所述机体上，用于为所述可移动平台提供动力；
所述图像采集装置，设置于所述机体上，用于采集图像；
所述控制装置包含存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于运行所述存储器中存储的计算机程序以实现：
在第一图像中识别水面所在的目标图像区域；
确定所述目标图像区域中像素点对应的三维坐标；
根据所述三维坐标拟合所述目标图像区域对应的目标平面；
根据所述目标平面确定所述第一图像中各物体的位置。
本发明的第三方面是为了提供一种物体检测设备，所述设备包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
在第一图像中识别水面所在的目标图像区域；
确定所述目标图像区域中像素点对应的三维坐标；
根据所述三维坐标拟合所述目标图像区域对应的目标平面；
根据所述目标平面确定所述第一图像中各物体的位置。
本发明的第四方面是为了提供一种计算机可读存储介质，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令对应于第一方面所述的物体检测方法。
本发明提供的物体检测方法、可移动平台、设备和存储介质，在得到第一图像后，先识别此第一图像中水面所在的目标图像区域，再进一步得到此目标图像区域中像素点对应的三维坐标。然后，用此三维坐标拟合出对应于目标图像区域的目标平面，并以此目标平面为基准进一步判断第一图像中其他物体的位置，即是水面、是位于水面上方还是位于水面下方。
可见，上述的物体检测方法是一个分步确定图像中物体位置的方案。具体地，先利用识别算法对第一图像进行第一次识别，以确定第一图像中的水面的位置。再以此水面对应的目标平面为依据进行第二次识别，以进一步得到图像中其他物体的位置。由于根据算法确定出的水面是准确的，因此，以此准确的水面为依据，也就进一步保证了图像中其他物体所在位置的准确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例提供的一种物体检测方法的流程示意图；
图2为本发明实施例提供的像素点与目标平面之间位置关系的示意图；
图3为本发明实施例提供的一种可选地目标平面拟合方式的流程示意图；
图4为本发明实施例提供的一种可选地三维坐标确定方式的流程示意图；
图5为本发明实施例提供的一种可选地匹配关系验证方式的流程示意图；
图6为本发明实施例提供的另一种物体检测方法的流程示意图；
图7为本发明实施例提供的一种物体检测装置的结构示意图；
图8为本发明实施例提供的一种可移动平台的结构示意图；
图9为本发明实施例提供的一种物体检测设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
下面结合附图，对本发明提供的一些实施方式进行详细说明。在各实施例之间不冲突的情况下，下述各实施例及各实施例中的特征均可以相互组合。
图1为本发明实施例提供的一种物体检测方法的流程示意图。该物体检测方法的执行主体是物体检测设备。可以理解的是，该物体检测设备可以实现为软件、或者软件和硬件的组合。物体检测设备执行该物体检测方法则可以实现对可移动平台运动环境中障碍物的检测。本实施例以及下述各实施例中的物体检测设备具体来说可以是可移动平台，比如无人机等。以无人机为例对本实施例以及下述各实施例进行说明。具体的，该方法可以包括：
S101，在第一图像中识别水面所在的目标图像区域。
无人机可以在包含水面的环境内飞行，并且在飞行过程中还可以获取到由无人机配置的图像采集装置拍得的第一图像以及第二图像。可选地，此图像采集装置具体可以是双目摄像头，可由双目摄像头中的一摄像头拍得第一图像，由另一摄像头拍得第二图像，第一图像和第二图像对应的视角类似于人的左右两个眼睛的视角。
在得到第一图像之后，可以先提取图像中的水波纹特征、亮度特征等等，通过特征识别确定出第一图像中哪部分图像是水面，此部分图像也即是目标图像区域。以亮度特征为例，由于水面对应的像素点亮度值通常较高，因此，可以由亮度值大于预设阈值的像素点构成目标图像区域。
需要说明的有，根据实际飞行环境的不同，环境中的水面可能包含或者不包含倒影。比如无人机在海面上拍摄时，其得到的图像中，水面通常是没有倒影的。无人机在跨河大桥或跨海大桥下拍摄时，桥梁会映入水面形成倒影，此时无人机拍得的图像中，水面是包含倒影的。但无论是有无倒影的水面，都需要被准确识别出来，以避免无人机飞入水中造成损毁。
而通过亮度特征识别出来的目标图像区域往往只是第一图像中没有倒影的水面所在的位置。此时，基于识别出的无倒影的水面，还可以通过执行后续步骤以进一步识别出图像中有倒影的水面所在的位置以及其他物体所在的位置。
S102，确定目标图像区域中像素点对应的三维坐标。
通过对第一图像和第二图像进行匹配处理，可以得到多对匹配像素点，可以认为第一图像中的第一像素点与第二图像中的第二像素点匹配，以由二者构成一对匹配像素点。第一像素点和第二像素点对应于同一物体，且第一像素点可以是第一图像中的任一像素点。
但由于拍摄第一图像和第二图像的视角不同，因此，第一像素点在第一图像中的像素坐标与第二像素点在第二图像中的像素坐标是存在差异的。也正是可以根据两像素点像素坐标的差异确定出第一像素点的深度值，再根据深度值换算得到第一像素点对应的三维坐标。按照上述方式则可以得到第一图像中各像素点对应的三维坐标，也即是得到了水面所在的目标图像区域中各像素点对应的三维坐标。
S103，根据三维坐标拟合目标图像区域对应的目标平面。
接着，利用三维坐标可以拟合出水面所在的目标图像区域对应的目标平面。可选地，可以采用主成分分析法(Principal Component Analysis，简称PCA)或者最小二乘法来实现目标平面的拟合。
S104，根据目标平面确定第一图像中各物体的位置。
由于目标平面用于表明目标图像区域的位置，因此，可以以目标平面为基准进一步识别第一图像的非目标图像区域中都包含什么物体以及各物体与水面之间的位置关系。
根据步骤102中的描述可知，经过第一图像和第二图像的匹配处理，已经能够得到第一图像中各像素点对应的三维坐标。对于非水面所在的非目标图像区域中的各像素点，分别计算各像素点对应的三维坐标与目标平面之间的距离，以通过此距离值判断非目标图像区域中各物体所在的位置。
具体来说，若非目标图像区域中任一像素点对应的三维坐标与目标平面之间的距离值为正值，则确定此任一像素点对应的物体位于水面上方。若任一像素点对应的三维坐标与目标平面之间的距离值为负值，则确定此任一像素点对应的物体为水下倒影。
举例来说，假设像素点A的三维坐标表示为：[x1,y1,z1]，目标平面的方程表示为：Ax+By+Cz+D＝0，则像素点A与目标平面之间的距离可以为：
Figure BDA0002906849700000051
当Ax1+By1+Cz1+D＞0时，可以认为像素点A对应的三维坐标与目标平面之间的距离为正值，像素点A对应的物体位于水面上方，如图2中的(a)所示。当Ax1+By1+Cz1+D＜0时，认为像素点A对应的物体位于水面下方，如图2中的(b)所示。
本实施例提供的物体检测方法，在得到第一图像后，先识别此第一图像中水面所在的目标图像区域，再进一步得到此目标图像区域中像素点对应的三维坐标。然后，用此三维坐标拟合出对应于水面的目标平面，并以此目标平面为基准进一步判断第一图像中其他物体的位置。可见，上述方法是一个分步确定图像中物体位置的过程。也即是，先利用识别算法对第一图像进行第一次识别，以得到第一图像中的水面的位置。再以此水面区域对应的目标平面为依据进行第二次识别，以进一步得到图像中其他物体的位置。由于根据算法确定出的水面是准确的，因此，以此准确的水面为依据，也就进一步保证了图像中其他物体所在位置的准确性。
同时，现有技术中是直接利用识别算法对图像进行一次性识别，以一并得到所有物体所在的位置。与此种方式相比，使用本发明提供的方法也能够更加准确的确定出各物体所在的位置。
根据图1所示实施例中的描述可知，目标平面是确定物体位置的关键。基于此，一种可选地目标平面拟合方式，也即是步骤103一种可选地实现方式，可以如图3所示：
S1031，根据目标图像区域中像素点对应的三维坐标拟合第一初始平面。
S1032，根据目标图像区域中像素点对应的三维坐标和第一初始平面计算第一初始平面对应的第一代价值。
在得到目标图像区域中像素点对应的三维坐标后，一种可选地方式，可以根据第一初始平面以及三维坐标计算第一代价值，即可以根据以下公式计算第一代价值：
cost＝∑distance(p1,m)
其中，cost为第一代价值，此代价值可以表明平面拟合的拟合误差。p1为目标图像区域中像素点对应的三维坐标，m为第一初始平面的方程，distance(p,m)为像素点对应的三维坐标与第一初始平面之间的距离。
容易理解的，目标图像区域表示的是水面，在实际中水面又应该是一个水平的区域，则用于描述水面的第一初始平面其对应的方程也应该是水平的。因此，在计算代价值的过程中还可以引入重力单位矢量，从而使计算出的第一代价值能够准确反映第一初始平面是否水平。
基于上述描述，另一种可选地方式，根据三维坐标、第一初始平面以及预设重力矢量计算第一初始平面对应的第一代价值，即根据以下公式计算第一代价值：
Figure BDA0002906849700000071
其中，k为预设权重系数，
Figure BDA0002906849700000072
为第一初始平面的单位法向量，
Figure BDA0002906849700000073
为重力单位矢量，
Figure BDA0002906849700000074
为向量
Figure BDA0002906849700000075
和
Figure BDA0002906849700000076
的夹角的绝对值。
通过重力单位矢量的引入可以保证拟合出的第一初始平面的水平程度。并且预设权重系数k用于表示对拟合出的第一初始平面是否水平的容忍程度，当容忍程度较高时，k可以设置为一个较小的数值，比如k＝0.001，反之k可以设置为一个较小的数值，比如k＝1000。
但在实际应用中，目标图像区域的确定难免会存在误差，此种误差可以表现为在区域中像素点对应的三维坐标中会有一些坐标与第一初始平面相距较远，这些三维坐标对应的像素点可以认为是噪点，并且此噪点对于后续确定物体位置并不起作用，甚至还有可能起到干扰作用。因此，另一种可选地方式，在得到目标图像区域中所有像素点各自对应的三维坐标后，还可以对这些三维坐标进行筛选，以剔除噪声对应的三维坐标。
具体来说，先计算水面区域中各像素点对应的三维坐标与第一初始平面之间的距离，然后，剔除距离大于预设距离的三维坐标，以将距离小于或等于预设距离的三维坐标确定为第一备选三维坐标。再根据第一备选三维坐标和第一初始平面计算第一初始平面对应的第一代价值。
此时，与上述类似的，一种可选地方式，可以采用以下公式计算第一代价值：
cost＝∑distance(p2,m)
其中，p2为第一备选三维坐标。
另一种可选地方式，可以采用以下公式计算第一代价值：
Figure BDA0002906849700000081
其中，p2为第一备选三维坐标。
S1033，第一代价值满足预设条件，则确定第一初始平面为目标平面。
在经过步骤1032后，则已经计算出第一代价值。若此第一代价值满足预设条件，比如小于或等于预设阈值，则确定此第一初始平面即为目标平面。
若此第一代价值不满足预设条件，比如大于预设阈值，可以表明第一备选三维坐标中仍包含较多噪点对应的三维坐标，此时则可以根据经过筛选得到的第一备选三维坐标继续拟合出一个第二初始平面。然后，计算第一备选三维坐标与第二初始平面之间的距离，剔除距离大于预设阈值的三维坐标，以将距离小于或等于预设距离的第一备选三维坐标确定为第二备选三维坐标。再根据第二备选三维坐标和第二初始平面计算第二代价值。
若第二代价值满足预设条件，则确定第二初始平面为目标平面，否则再重复上述过程，以得到第三初始平面，直至计算次数满足预设次数或者计算出一初始平面的代价值满足预设条件。
本实施例中，通过代价值来判断拟合出的目标平面的准确性。当代价值满足条件时，则可以得到准确的目标平面，从而也就进一步保证能够准确确定出第一图像中各物体位置。
如图1所示实施例的步骤102中已经提供了一种通过像素点匹配来确定第一图像中像素点对应的三维坐标的方式。但上述方式确定出的是第一图像中所有像素点对应的三维坐标，一方面，计算量较大，从而导致物体检测的效率大大降低，另一方面，并不是每个像素点在物体检测的过程中都起到同等重要的作用的，因此，上述方式实际上也是对无人机计算资源的不合理使用。
为了避免上述问题，还可以只对第一图像中的部分像素点进行匹配，并只确定此部分像素点对应的三维坐标。则另一种可选地三维坐标确定方式，也即是步骤102一种可选地实现方式，可以如图4所示：
S1021，提取第一图像中的特征像素点。
S1022，确定第二图像中与特征像素点匹配的目标像素点。
S1023，根据特征像素点和目标像素点各自的像素坐标确定特征像素点的深度值。
S1024，根据特征像素点的深度值确定特征像素点的三维坐标。
具体地，先提取第一图像中的特征像素点，然后将此特征像素点与第二图像中的像素点进行匹配，以得到与特征像素点匹配的目标像素点。经过上述匹配后可以得到至少一对匹配像素点，且任一对匹配像素点可以由第一图像中的一个特征像素点和第二图像中的一个目标像素点组成。
由于拍摄第一图像和第二图像的视角不同，因此，特征像素点在第一图像中的像素坐标与目标像素点在第二图像中的像素坐标是存在差异的，则可以根据此坐标差异计算出特征像素点的深度值，再根据深度值换算得到特征像素点对应的三维坐标。按照上述方式即可得到第一图像区域中各特征像素点对应的三维坐标，也即是得到了目标图像区域中各特征像素点对应的三维坐标。
本实施例中，先对第一图像中的特征像素点进行提取，从而剔除第一图像中大量的非特征像素点。再对特征像素点进行匹配，以根据匹配结果确定特征像素点的三维坐标。通过使用上述方式一方面可以减少匹配处理的计算量，另一方面也可以将释放出的计算资源更合理地分配到其他处理过程中。
根据图4所示实施例中的描述可知，像素点的匹配结果是确定三维坐标的重要依据。为了保证匹配结果的准确性，在在第二图像中确定出与特征像素点匹配的目标像素点即步骤1022之后，如图5所示，还可以通过以下步骤来实现对匹配结果的验证：
S1025，从第一数量的匹配像素点中选取第二数量的匹配像素点。
S1026，根据第二数量的匹配像素点确定校验参数。
S1027，根据校验参数验证第三数量的匹配像素点中的特征像素点和目标像素点匹配关系是否正确。
在经过步骤1022之后，已经可以得到第一数量的匹配像素点。然后，可以从中随机筛选出第二数量的匹配像素点。在实际应用中，此第二数量通常是较小的一个数值。
接着，可以将此第二数量的匹配像素点作为训练样本进行模型训练，以得到一个分类模型，此模型的参数也即为校验参数。可以根据此分类模型的输出结果来实现匹配像素点之间匹配关系的验证。若此分类模型输出的分类结果为匹配，则表明特征像素点与目标像素点之间的匹配关系正确，否则则认为二者之间的匹配关系错误。
可选地，当匹配关系出现错误的次数较多时，则可以重新执行步骤1022，以重新得到至少一对匹配像素点。可选地，为了保证校验参数的准确性，还可以多次从第一数量的匹配像素点中选出不同的第二数量的匹配像素点，从而训练出分类效果更佳的分类模型。
在验证完成后，则可以继续利用具有正确匹配关系的像素点确定特征像素点的三维坐标。
本实施例中，对于已经得到第一数量的匹配像素点，可以利用其中的一部分匹配像素点进行分类模型的训练，并通过模型的输出结果验证另一部分匹配像素点之间的匹配关系。通过匹配关系的验证，可以依次保证确定出的像素点的三维坐标以及目标平面的准确性，也就进一步保证确定出的第一图像中各物体位置的准确性。
承接上述各实施例的举例，本实施例以及下述各实施例中的可移动平台可以是无人机。基于此，在实际应用中，为了保证飞行安全，无人机往往需要确定的是360°全方位内是否存在障碍物。
基于上述描述，一种可选地方式，可以在无人机的机身四周配置有多个双目摄像头，由于每个双目摄像头的拍摄视角不同，因此同样可以得到无人机飞行环境内全方位的图像。
另一种可选地方式，图6为本发明实施例提供的另一种物体检测方法的流程示意图，如图6所示。基于图1所示的实施例，在步骤101之前，该物体检测方法还可以包括以下步骤：
S201，对旋转飞行指令进行响应，以使可移动平台原地旋转运动.
S202，获取对应于可移动平台所处运动环境中全方位的第一图像。
无人机悬停于当前位置时，可以对旋转飞行控制指令进行响应，以使无人机在当前位置旋转飞行一周。在此旋转飞行期间，无人机上的摄像头便可以拍得第一图像。第一图像可以对应于一个环形视场，其可以全方位的反映无人机所处飞行环境中包含的物体以及各物体所在的位置。可选地，旋转飞行控制指令可以由无人机自主产生，也可以由飞手通过控制设备发送至无人机。
本实施例中，通过控制无人机的旋转飞行，可以得到包含丰富内容的第一图像，通过执行本发明提供的物体检测方法则可以确定出无人机所处飞行环境360°范围内的物体所在的位置，以保证无人机的飞行安全。
图7为本发明实施例提供的一种物体检测装置的结构示意图；参考附图7所示，本实施例提供了一种物体检测装置，该物体检测装置可以执行上述的物体检测方法；具体的，物体检测装置包括：
识别模块11，用于在第一图像中识别水面所在的目标图像区域。
坐标确定模块12，用于确定所述目标图像区域中像素点对应的三维坐标。
拟合模块13，用于根据所述三维坐标拟合所述目标图像区域对应的目标平面。
位置确定模块14，用于根据所述目标平面确定所述第一图像中各物体的位置。
图7所示装置还可以执行图1～图6所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图6所示实施例中的描述，在此不再赘述。
图8为本发明实施例提供的一种可移动平台的结构示意图；参考附图8所示，本发明实施例的提供了一种可移动平台，该可移动平台为以下至少之一：无人飞行器、无人船、无人车；具体的，该可移动平台包括：机体21、动力系统22、图像采集装置23以及控制装置24。
所述动力系统22，设置于所述机体21上，用于为所述可移动平台提供动力。
所述图像采集装置23，设置于所述机体21上，用于采集图像。
所述控制装置24包括存储器241和处理器242。
所述存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
在第一图像中识别水面所在的目标图像区域；
确定所述目标图像区域中像素点对应的三维坐标；
根据所述三维坐标拟合所述目标图像区域对应的目标平面；
根据所述目标平面确定所述第一图像中各物体的位置。
进一步的，处理器242还用于：根据所述目标图像区域中像素点对应的三维坐标拟合第一初始平面；
根据所述目标图像区域中像素点对应的三维坐标和所述第一初始平面计算所述第一初始平面对应的第一代价值；
若所述第一代价值满足预设条件，则确定所述第一初始平面为所述目标平面。
进一步的，该处理器242还用于：从所述目标图像区域中像素点对应的三维坐标中筛选与所述第一初始平面相距预设距离第一备选三维坐标；
根据所述第一备选三维坐标、所述第一初始平面以及预设重力矢量计算所述第一初始平面对应的第一代价值。
进一步的，处理器242还用于：若所述第一代价值不满足所述预设条件，则根据所述第一备选三维坐标拟合第二初始平面；
从所述第一备选三维坐标中筛选与所述第二初始平面相距预设距离的第二备选三维坐标；
根据所述第二备选三维坐标以及所述第二初始平面计算所述第二初始平面对应的第二代价，以根据所述第二代价值确定所述第二初始平面是否为所述目标平面。
进一步的，在第一图像中识别水面所在的目标图像区域之前，处理器242还用于：对旋转飞行指令进行响应，以使可移动平台原地旋转运动；
获取对应于所述可移动平台所处运动环境中全方位的所述第一图像。
进一步的，处理器242还用于：确定所述第一图像中非目标图像区域中像素点对应的三维坐标；
根据所述目标平面以及所述非目标图像区域中像素点对应的三维坐标之间的距离值确定所述第一图像中各物体的位置。
进一步的，处理器242还用于：若所述非目标图像区域中任一像素点对应的三维坐标与所述目标平面之间的距离值为正值，则确定所述任一像素点对应的物体位于水面上方；
若所述任一像素点对应的三维坐标与所述目标平面之间的距离值为负值，则确定所述任一像素点对应的物体为水下倒影。
进一步的，处理器242还用于：提取所述第一图像中的特征像素点；
确定第二图像中与所述特征像素点匹配的目标像素点，其中，所述第一图像和所述第二图像由所述可移动平台配置的双目摄像头拍得；
根据所述特征像素点和所述目标像素点各自的像素坐标确定所述特征像素点的深度值；
根据所述特征像素点的深度值确定所述特征像素点的三维坐标。
进一步的，具有匹配关系的特征像素点和目标像素点为一对匹配像素点，所述匹配像素点的数量为第一数量；
确定第二图像中与所述特征像素点匹配的目标像素点之后，处理器242还用于：从第一数量的匹配像素点中选取第二数量的匹配像素点；
根据所述第二数量的匹配像素点确定校验参数；
根据所述校验参数验证第三数量的匹配像素点中的特征像素点和目标像素点匹配关系是否正确，所述第一数量为所述第二数量与所述第三数量之和
图8所示的可移动平台可以执行图1～图6所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图6所示实施例中的描述，在此不再赘述。
在一个可能的设计中，图9所示物体检测设备的结构可实现为一电子设备，该电子设备可以是无人机。如图9所示，该电子设备可以包括：一个或多个处理器31和一个或多个存储器32。其中，存储器32用于存储支持电子设备执行上述图1～图6所示实施例中提供的物体检测方法的程序。处理器31被配置为用于执行存储器32中存储的程序。
具体的，程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器31执行时能够实现如下步骤：
在第一图像中识别水面所在的目标图像区域；
确定所述目标图像区域中像素点对应的三维坐标；
根据所述三维坐标拟合所述目标图像区域对应的目标平面；
根据所述目标平面确定所述第一图像中各物体的位置。
其中，该物体检测设备的结构中还可以包括通信接口33，用于电子设备与其他设备或通信网络通信。
进一步的，处理器31还用于：根据所述目标图像区域中像素点对应的三维坐标拟合第一初始平面；
根据所述目标图像区域中像素点对应的三维坐标和所述第一初始平面计算所述第一初始平面对应的第一代价值；
若所述第一代价值满足预设条件，则确定所述第一初始平面为所述目标平面。
进一步的，处理器31还用于：从所述目标图像区域中像素点对应的三维坐标中筛选与所述第一初始平面相距预设距离第一备选三维坐标；
根据所述第一备选三维坐标、所述第一初始平面以及预设重力矢量计算所述第一初始平面对应的第一代价值。
进一步的，处理器31还用于：若所述第一代价值不满足所述预设条件，则根据所述第一备选三维坐标拟合第二初始平面；
从所述第一备选三维坐标中筛选与所述第二初始平面相距预设距离的第二备选三维坐标；
根据所述第二备选三维坐标以及所述第二初始平面计算所述第二初始平面对应的第二代价值，以根据所述第二代价值确定所述第二初始平面是否为所述目标平面。
进一步的，在第一图像中识别水面所在的目标图像区域之前，处理器31还用于：对旋转飞行指令进行响应，以使可移动平台原地旋转运动；
获取对应于所述可移动平台所处运动环境中全方位的所述第一图像。
进一步的，处理器31还用于：确定所述第一图像中非目标图像区域中像素点对应的三维坐标；
根据所述目标平面以及所述非目标图像区域中像素点对应的三维坐标之间的距离值确定所述第一图像中各物体的位置。
进一步的，处理器31还用于：若所述非目标图像区域中任一像素点对应的三维坐标与所述目标平面之间的距离值为正值，则确定所述任一像素点对应的物体位于水面上方；
若所述任一像素点对应的三维坐标与所述目标平面之间的距离值为负值，则确定所述任一像素点对应的物体为水下倒影。
进一步的，处理器31还用于：提取所述第一图像中的特征像素点；
确定第二图像中与所述特征像素点匹配的目标像素点，其中，所述第一图像和所述第二图像由所述可移动平台配置的双目摄像头拍得；
根据所述特征像素点和所述目标像素点各自的像素坐标确定所述特征像素点的深度值；
根据所述特征像素点的深度值确定所述特征像素点的三维坐标。
进一步的，具有匹配关系的特征像素点和目标像素点为一对匹配像素点，所述匹配像素点的数量为第一数量；
确定第二图像中与所述特征像素点匹配的目标像素点之后，处理器31还用于：
从第一数量的匹配像素点中选取第二数量的匹配像素点；
根据所述第二数量的匹配像素点确定校验参数；
根据所述校验参数验证第三数量的匹配像素点中的特征像素点和目标像素点匹配关系是否正确，所述第一数量为所述第二数量与所述第三数量之和。
图9所示设备可以执行图1～图6所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图6所示实施例中的描述，在此不再赘述。
另外，本发明实施例提供了一种计算机可读存储介质，存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，程序指令用于实现上述图1～图6的物体检测方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (28)

1.一种物体检测方法，其特征在于，所述方法包括：
在第一图像中识别水面所在的目标图像区域；
确定所述目标图像区域中像素点对应的三维坐标；
根据所述三维坐标拟合所述目标图像区域对应的目标平面；
根据所述目标平面确定所述第一图像中各物体的位置。
2.根据权利要求1所述的方法，其特征在于，所述根据所述三维坐标拟合所述目标图像区域对应的目标平面，包括：
根据所述目标图像区域中像素点对应的三维坐标拟合第一初始平面；
根据所述目标图像区域中像素点对应的三维坐标和所述第一初始平面计算所述第一初始平面对应的第一代价值；
若所述第一代价值满足预设条件，则确定所述第一初始平面为所述目标平面。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标图像区域中像素点对应的三维坐标和所述第一初始平面计算所述第一初始平面对应的第一代价值，包括：
从所述目标图像区域中像素点对应的三维坐标中筛选与所述第一初始平面相距预设距离第一备选三维坐标；
根据所述第一备选三维坐标、所述第一初始平面以及预设重力矢量计算所述第一初始平面对应的第一代价值。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述第一代价值不满足所述预设条件，则根据所述第一备选三维坐标拟合第二初始平面；
从所述第一备选三维坐标中筛选与所述第二初始平面相距预设距离的第二备选三维坐标；
根据所述第二备选三维坐标以及所述第二初始平面计算所述第二初始平面对应的第二代价值，以根据所述第二代价值确定所述第二初始平面是否为所述目标平面。
5.根据权利要求1所述的方法，其特征在于，所述在第一图像中识别水面所在的目标图像区域之前，所述方法还包括：
对旋转飞行指令进行响应，以使可移动平台原地旋转运动；
获取对应于所述可移动平台所处运动环境中全方位的所述第一图像。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标平面确定所述第一图像中各物体的位置，包括：
确定所述第一图像中非目标图像区域中像素点对应的三维坐标；
根据所述目标平面以及所述非目标图像区域中像素点对应的三维坐标之间的距离值确定所述第一图像中各物体的位置。
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标平面以及所述非目标图像区域中像素点对应的三维坐标之间的距离值确定所述第一图像中各物体的位置，包括：
若所述非目标图像区域中任一像素点对应的三维坐标与所述目标平面之间的距离值为正值，则确定所述任一像素点对应的物体位于水面上方；
若所述任一像素点对应的三维坐标与所述目标平面之间的距离值为负值，则确定所述任一像素点对应的物体为水下倒影。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述确定所述目标图像区域中像素点对应的三维坐标，包括：
提取所述第一图像中的特征像素点；
确定第二图像中与所述特征像素点匹配的目标像素点，其中，所述第一图像和所述第二图像由所述可移动平台配置的双目摄像头拍得；
根据所述特征像素点和所述目标像素点各自的像素坐标确定所述特征像素点的深度值；
根据所述特征像素点的深度值确定所述特征像素点的三维坐标。
9.根据权利要求8所述的方法，其特征在于，具有匹配关系的特征像素点和目标像素点为一对匹配像素点，所述匹配像素点的数量为第一数量；
所述确定第二图像中与所述特征像素点匹配的目标像素点之后，所述方法还包括：
从第一数量的匹配像素点中筛选出第二数量的匹配像素点；
根据所述第二数量的匹配像素点确定校验参数；
根据所述校验参数验证第三数量的匹配像素点中的特征像素点和目标像素点匹配关系是否正确，所述第一数量为所述第二数量与所述第三数量之和。
10.一种可移动平台，其特征在于，所述移动平台包括：机体、动力系统、图像采集装置以及控制装置；
所述动力系统，设置于所述机体上，用于为所述可移动平台提供动力；
所述图像采集装置，设置于所述机体上，用于采集图像；
所述控制装置包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于运行所述存储器中存储的计算机程序以实现：
在第一图像中识别水面所在的目标图像区域；
确定所述目标图像区域中像素点对应的三维坐标；
根据所述三维坐标拟合所述目标图像区域对应的目标平面；
根据所述目标平面确定所述第一图像中各物体的位置。
11.根据权利要求10所述的平台，其特征在于，所述处理器，还用于：根据所述目标图像区域中像素点对应的三维坐标拟合第一初始平面；
根据所述目标图像区域中像素点对应的三维坐标和所述第一初始平面计算所述第一初始平面对应的第一代价值；
若所述第一代价值满足预设条件，则确定所述第一初始平面为所述目标平面。
12.根据权利要求11所述的平台，其特征在于，所述处理器，还用于：
从所述目标图像区域中像素点对应的三维坐标中筛选与所述第一初始平面相距预设距离第一备选三维坐标；
根据所述第一备选三维坐标、所述第一初始平面以及预设重力矢量计算所述第一初始平面对应的第一代价值。
13.根据权利要求12所述的平台，其特征在于，所述处理器，还用于：
若所述第一代价值不满足所述预设条件，则根据所述第一备选三维坐标拟合第二初始平面；
从所述第一备选三维坐标中筛选与所述第二初始平面相距预设距离的第二备选三维坐标；
根据所述第二备选三维坐标以及所述第二初始平面计算所述第二初始平面对应的第二代价值，以根据所述第二代价值确定所述第二初始平面是否为所述目标平面。
14.根据权利要求10所述的平台，其特征在于，所述在第一图像中识别水面所在的目标图像区域之前，所述处理器，还用于：
对旋转飞行指令进行响应，以使可移动平台原地旋转运动；
获取对应于所述可移动平台所处运动环境中全方位的所述第一图像。
15.根据权利要求10所述的平台，其特征在于，所述处理器，还用于：
确定所述第一图像中非目标图像区域中像素点对应的三维坐标；
根据所述目标平面以及所述非目标图像区域中像素点对应的三维坐标之间的距离值确定所述第一图像中各物体的位置。
16.根据权利要求15所述的平台，其特征在于，所述处理器，还用于：
若所述非目标图像区域中任一像素点对应的三维坐标与所述目标平面之间的距离值为正值，则确定所述任一像素点对应的物体位于水面上方；
若所述任一像素点对应的三维坐标与所述目标平面之间的距离值为负值，则确定所述任一像素点对应的物体为水下倒影。
17.根据权利要求10至16中任一项所述的平台，其特征在于，所述处理器，还用于：
提取所述第一图像中的特征像素点；
确定第二图像中与所述特征像素点匹配的目标像素点，其中，所述第一图像和所述第二图像由所述可移动平台配置的双目摄像头拍得；
根据所述特征像素点和所述目标像素点各自的像素坐标确定所述特征像素点的深度值；
根据所述特征像素点的深度值确定所述特征像素点的三维坐标。
18.根据权利要求17所述的平台，其特征在于，具有匹配关系的特征像素点和目标像素点为一对匹配像素点，所述匹配像素点的数量为第一数量；
所述确定第二图像中与所述特征像素点匹配的目标像素点之后，所述处理器，还用于：
从第一数量的匹配像素点中选取第二数量的匹配像素点；
根据所述第二数量的匹配像素点确定校验参数；
根据所述校验参数验证第三数量的匹配像素点中的特征像素点和目标像素点匹配关系是否正确，所述第一数量为所述第二数量与所述第三数量之和。
19.一种物体检测设备，其特征在于，所述设备包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
在第一图像中识别水面所在的目标图像区域；
确定所述目标图像区域中像素点对应的三维坐标；
根据所述三维坐标拟合所述目标图像区域对应的目标平面；
根据所述目标平面确定所述第一图像中各物体的位置。
20.根据权利要求19所述的设备，其特征在于，所述处理器，还用于：
根据所述目标图像区域中像素点对应的三维坐标拟合第一初始平面；
根据所述目标图像区域中像素点对应的三维坐标和所述第一初始平面计算所述第一初始平面对应的第一代价值；
若所述第一代价值满足预设条件，则确定所述第一初始平面为所述目标平面。
21.根据权利要求20所述的设备，其特征在于，所述处理器，还用于：
从所述目标图像区域中像素点对应的三维坐标中筛选与所述第一初始平面相距预设距离第一备选三维坐标；
根据所述第一备选三维坐标、所述第一初始平面以及预设重力矢量计算所述第一初始平面对应的第一代价值。
22.根据权利要求21所述的设备，其特征在于，所述处理器，还用于：
若所述第一代价值不满足所述预设条件，则根据所述第一备选三维坐标拟合第二初始平面；
从所述第一备选三维坐标中筛选与所述第二初始平面相距预设距离的第二备选三维坐标；
根据所述第二备选三维坐标以及所述第二初始平面计算所述第二初始平面对应的第二代价值，以根据所述第二代价值确定所述第二初始平面是否为所述目标平面。
23.根据权利要求19所述的设备，其特征在于，所述在第一图像中识别水面所在的目标图像区域之前，所述处理器，还用于：
对旋转飞行指令进行响应，以使可移动平台原地旋转运动；
获取对应于所述可移动平台所处运动环境中全方位的所述第一图像。
24.根据权利要求19所述的设备，其特征在于，所述处理器，还用于：
确定所述第一图像中非目标图像区域中像素点对应的三维坐标；
根据所述目标平面以及所述非目标图像区域中像素点对应的三维坐标之间的距离值确定所述第一图像中各物体的位置。
25.根据权利要求24所述的设备，其特征在于，所述处理器，还用于：
若所述非目标图像区域中任一像素点对应的三维坐标与所述目标平面之间的距离值为正值，则确定所述任一像素点对应的物体位于水面上方；
若所述任一像素点对应的三维坐标与所述目标平面之间的距离值为负值，则确定所述任一像素点对应的物体为水下倒影。
26.根据权利要求19至25中任一项所述的设备，其特征在于，所述处理器还用于：
提取所述第一图像中的特征像素点；
确定第二图像中与所述特征像素点匹配的目标像素点，其中，所述第一图像和所述第二图像由所述可移动平台配置的双目摄像头拍得；
根据所述特征像素点和所述目标像素点各自的像素坐标确定所述特征像素点的深度值；
根据所述特征像素点的深度值确定所述特征像素点的三维坐标。
27.根据权利要求25所述的设备，其特征在于，具有匹配关系的特征像素点和目标像素点为一对匹配像素点，所述匹配像素点的数量为第一数量；
所述确定第二图像中与所述特征像素点匹配的目标像素点之后，所述处理器还用于：
从第一数量的匹配像素点中选取第二数量的匹配像素点；
根据所述第二数量的匹配像素点确定校验参数；
根据所述校验参数验证第三数量的匹配像素点中的特征像素点和目标像素点匹配关系是否正确，所述第一数量为所述第二数量与所述第三数量之和。
28.一种计算机可读存储介质，其特征在于，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于实现权利要求1至9中任一项所述的物体检测方法。
CN202080004061.9A 2020-03-06 2020-03-06 物体检测方法、可移动平台、设备和存储介质 Pending CN112567383A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/078245 WO2021174539A1 (zh) 2020-03-06 2020-03-06 物体检测方法、可移动平台、设备和存储介质

Publications (1)

Publication Number Publication Date
CN112567383A true CN112567383A (zh) 2021-03-26

Family

ID=75034935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004061.9A Pending CN112567383A (zh) 2020-03-06 2020-03-06 物体检测方法、可移动平台、设备和存储介质

Country Status (2)

Country Link
CN (1) CN112567383A (zh)
WO (1) WO2021174539A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870234B (zh) * 2021-09-30 2023-05-12 三一专用汽车有限责任公司 车辆状态的检测方法、装置和车辆
CN113989248A (zh) * 2021-11-01 2022-01-28 江苏昱博自动化设备有限公司 一种流水生产线用产品自动搬运系统及其搬运方法
CN113985830A (zh) * 2021-11-08 2022-01-28 武汉逸飞激光股份有限公司 密封钉的上料控制方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558038B (zh) * 2015-09-18 2019-07-02 中国人民解放军国防科学技术大学 一种水天线检测方法及装置
CN108243623B (zh) * 2016-09-28 2022-06-03 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
US10577101B2 (en) * 2017-12-21 2020-03-03 Autel Robotics Co., Ltd. Water surface detection method and apparatus, unmanned aerial vehicle landing method and apparatus and unmanned aerial vehicle
CN109961417B (zh) * 2017-12-26 2021-04-06 广州极飞科技有限公司 图像处理方法、装置及移动装置控制方法
CN109271944B (zh) * 2018-09-27 2021-03-12 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
CN109520478B (zh) * 2018-12-05 2020-10-23 深圳市道通智能航空技术有限公司 一种水面检测方法、装置和无人机

Also Published As

Publication number Publication date
WO2021174539A1 (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN112567383A (zh) 物体检测方法、可移动平台、设备和存储介质
CN111274943B (zh) 一种检测方法、装置、电子设备及存储介质
CN109816730B (zh) 工件抓取方法、装置、计算机设备和存储介质
CN110633629A (zh) 基于人工智能的电网巡检方法、装置、设备及存储介质
KR20170056474A (ko) 건축물 높이 산출 방법, 장치 및 저장 매체
CN113848984B (zh) 一种无人机集群控制方法及系统
CN109584299B (zh) 一种定位方法、定位装置、终端及存储介质
CN111126116A (zh) 无人船河道垃圾识别方法及系统
CN114556445A (zh) 物体识别方法、装置、可移动平台以及存储介质
Lei et al. Radial coverage strength for optimization of monocular multicamera deployment
CN115327568A (zh) 基于PointNet网络的无人机集群实时目标识别方法、系统和地图构建方法
CN114724246A (zh) 危险行为识别方法及装置
CN110181504B (zh) 一种控制机械臂移动的方法、装置及控制设备
Stowers et al. Quadrotor Helicopter Flight Control Using Hough Transform and Depth Map from a Microsoft Kinect Sensor.
CN112560736A (zh) 一种基于卷积神经网络的任意角度激光门检测方法以及储存介质
CN109977884B (zh) 目标跟随方法和装置
CN115131433A (zh) 一种非合作目标位姿的处理方法、装置及电子设备
CN113326715B (zh) 一种目标关联方法及装置
CN114862952A (zh) 无人机检测与防御方法及系统
CN114549825A (zh) 目标检测方法、装置、电子设备与存储介质
CN112149687A (zh) 目标识别的方法
CN113936134A (zh) 一种目标检测方法及装置
Lei et al. Radial coverage strength for optimization of multi-camera deployment
CN114677859B (zh) 无人机航线自动校正方法和装置
CN113674343B (zh) 一种无人机巡检方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination