CN115512242B - 场景变化检测方法及飞行装置 - Google Patents
场景变化检测方法及飞行装置 Download PDFInfo
- Publication number
- CN115512242B CN115512242B CN202210868213.0A CN202210868213A CN115512242B CN 115512242 B CN115512242 B CN 115512242B CN 202210868213 A CN202210868213 A CN 202210868213A CN 115512242 B CN115512242 B CN 115512242B
- Authority
- CN
- China
- Prior art keywords
- scene
- image
- camera
- parameter value
- external parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 230000008859 change Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000004590 computer program Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种场景变化检测方法及飞行装置，该方法包括：获取飞行装置所搭载相机采集的目标场景的第一和第二图像集；分别根据两个图像集以及相机在采集图像集中场景图像时的相机参数值，对目标场景进行重建，得到两个三维场景模型；比较两个三维场景模型，得到目标场景的变化量；其中，图像集包括在不同时间点采集的第一和第二场景图像，获得相机在采集场景图像时的相机参数值，包括：根据第一场景图像，获得相机的内参数值和在第一时间点的第一外参数值；根据位姿检测装置在第一时间点采集的第一位姿数据，获得第一外参数近似值；根据第一外参数值与第一外参数近似值构建误差模型；根据误差模型和第二位姿数据，获得相机的第二外参数值。
Description
技术领域
本发明涉及计算机处理技术领域，更具体地，涉及一种场景变化检测方法及一种飞行装置。
背景技术
场景变化检测可用于评估自然灾害、城市建设等对目标场景的影响，在场景变化检测中，一般是通过无人机等飞行装置携带相机采集目标场景的场景图像，并通过场景图像进行三维场景重建，以通过在不同时间段重建得到的三维场景模型来进行场景变化检测。
在进行三维场景重建中，不仅需要相机采集到的场景图像，还需要相机在采集相应场景图像时的相机参数，其中，相机参数包括内参数和外参数，在此，由于相机在采集场景图像时的位置和姿态是不断变化的，而相机的外参数又与相机的位置和姿态相关，因此，相机的外参数在图像采集过程中将是动态变化的，这就需要确定每一帧场景图像对应的外参数值。在现有技术中，相机的外参数值可以通过场景图像计算得到，但计算量较大，如果通过该种手段确定每一帧场景图像对应的外参数值，不仅计算速度慢，而且还会增加处理器的负担，因此，有必要提供一种能够在相机位姿动态变化的过程中快速获得相机外参数值的技术方案。
发明内容
本公开实施例的一个目的是提供一种能够快速获得相机外参数值的技术方案。
根据本发明的第一方面，提供了一种场景变化检测方法，其包括：
获取目标场景的第一图像集；其中，所述第一图像集由飞行装置所搭载相机采集；
根据所述第一图像集中场景图像以及所述相机在采集第一图像集中场景图像时的相机参数值，对所述目标场景进行重建，得到第一三维场景模型；所述相机参数值包括内参数值和外参数值；
获取所述目标场景的第二图像集；其中，所述第二图像集由所述飞行装置所搭载相机采集，所述第一图像集的采集时间先于所述第二图像集的采集时间；
根据所述第二图像集中场景图像以及所述相机在采集第二图像集中场景图像时的相机参数值，对所述目标场景进行重建，得到第二三维场景模型；
比较所述第一三维场景模型与所述第二三维场景模型，得到所述目标场景的变化量；
其中，对于所述第一图像集和所述第二图像集中的图像集，所述图像集包括在第一时间点采集的第一场景图像和在第二时间点采集的第二场景图像，所述第一时间点先于所述第二时间点，获得所述相机在采集所述图像集中场景图像时的相机参数值，包括：
根据所述第一场景图像，获得所述相机的内参数值和所述相机在所述第一时间点的第一外参数值；
根据所述飞行装置搭载的位姿检测装置在所述第一时间点采集的第一位姿数据，获得所述相机在所述第一时间点的第一外参数近似值；
根据所述第一外参数值与所述第一外参数近似值间的第一误差，构建外参数近似值的误差模型；
根据所述位姿检测装置在所述第二时间点采集的第二位姿数据，获得所述相机在所述第二时间点的第二外参数近似值；
根据所述第二外参数近似值和所述误差模型，获得所述相机在所述第二时间点的第二外参数值。
可选地，所述图像集还包括在第三时间点采集的第三场景图像，所述第一时间点先于所述第三时间点，在所述构建外参数近似值的误差模型之后，所述方法还包括：
获取所述第三场景图像和所述位姿检测装置在所述第三时间点采集的第三位姿数据；
根据所述第三场景图像，获得所述相机在所述第三时间点的第三外参数值；
根据所述第三位姿数据，获得所述相机在所述第三时间点的第三外参数近似值；
根据所述第三外参数值与所述第三外参数近似值间的第三误差，更新所述误差模型。
可选地，在所述更新所述误差模型之后，所述方法还包括：
通过训练样本，获得更新后误差模型相对更新前误差模型的精确度变化率；其中，所述训练样本包括由所述第一外参数近似值和第一外参数值构成的样本，以及由所述第三外参数近似值和第三外参数值构成的样本；
在所述精确度变化率小于设定阈值的情况下，停止更新所述误差模型。
可选地，所述根据所述第一场景图像，获得所述相机的内参数值和所述相机在所述第一时间点的第一外参数值，包括：
根据所述第一场景图像中的特征点，计算所述内参数值和所述第一外参数值。
可选地，所述位姿检测装置包括位置检测装置和姿态检测装置，所述姿态检测装置包括惯性测量单元。
可选地，所述比较所述第一三维场景模型与所述第二三维场景模型，得到所述目标场景的变化量，包括：
根据第一图像语义库对所述第一三维场景模型进行语义分割，得到第一三维场景模型的语义特征；
根据第二图像语义库对所述第二三维场景模型进行语义分割，得到第二三维场景模型的语义特征；
比较所述第一三维场景模型的语义特征与所述第二三维场景模型的语义特征，得到所述目标场景的变化量。
可选地，获得所述第一图像语义库的步骤，包括：
识别所述第一图像集中场景图像的特征点；
根据所述场景图像的特征点对所述第一图像集中场景图像进行语义分割，得到所述第一图像语义库。
根据本公开的第二方面，提供了一种飞行装置，其包括存储器、处理器、相机和位姿检测装置，所述存储器用于存储计算机程序，所述处理器用于在所述计算机程序的控制下，执行根据本公开的第一方面所述的场景变化检测方法，所述相机和所述位姿检测装置均与所述处理器连接。
可选地，所述处理器包括多个并行的微服务器。
可选地，所述飞行装置包括无人机本体和安装架，所述安装架连接在所述无人机本体的底部，所述处理器、存储器、相机和位姿检测装置安装在所述安装架上。
本公开实施例的一个有益效果在于，在本公开实施例的场景变化检测方法中需要进行三维场景重建，由于三维场景重建所需要的图像集由飞行装置携带相机在运动中动态采集，因此，图像集中每一场景图像对应的相机外参数值都可能不同，这就需要针对图像集中每一场景图像，确定其对应的相机外参数值。本公开实施例在确定图像集中场景图像对应的相机外参数值时，只有少部分场景图像的外参数值是基于相应的场景图像计算得到的，大部分场景图像(也即为第二场景图像)的外参数值，采用了基于位姿数据确定外参数近似值，并通过误差模型修正该外参数近似值的方式得到。在此，由于基于场景图像确定外参数值的计算量非常大，而基于位姿数据确定外参数值却具有很少的计算量，能够快速获得外参数近似值，因此，通过本公开实施例的方法，能够大大减小确定图像集中场景图像对应的相机外参数的计算量，提高响应速度。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是本公开实施例的应用场景示意图；
图2是根据一些实施例的飞行装置的组成结构示意图；
图3是根据一些实施例的场景变化检测方法的流程示意图；
图4是根据一些实施例的确定相机参数值的流程示意图；
图5是根据一些实施例的飞行装置的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人物已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开涉及基于场景图像进行的场景变化检测，作为检测对象的目标场景可以是具有山川、河流等的自然场景，也可以是具有建筑物的城市场景等，在此不做限定。对于选定的目标场景，场景变化检测可用于评估自然灾害、城市建设等对该目标场景的影响，相较于人工勘测的手段，基于场景图像进行的场景变化检测具有安全、快速、准确的优点。
图1是可应用本公开实施例的场景变化检测方法的应用场景示意图。
该场景变化检测方法由飞行装置1000实施，飞行装置1000搭载有用于采集场景图像的相机，用于检测飞行装置1000的实时位姿的位姿检测装置，以及用于运行计算机程序以执行根据本公开实施例的场景变化检测方法的处理器。
如图1所示，在进行场景变化检测时，飞行装置1000需要在不同时间段对目标场景进行两次图像采集，进而分别获得目标场景的第一图像集和第二图像集。在每次图像采集中，飞行装置1000会按照设定路径依次到达对应于目标场景的多个拍摄点中的每一拍摄点进行图像采集，进而获得本次图像采集的图像集。飞行装置1000在完成一次图像采集后，可以基于本次采集得到的图像集，对目标场景进行三维场景重建，得到目标场景的三维场景模型，这样，便可以根据第一图像集获得目标场景在第一时间段的第一三维场景模型，及根据第二图像集获得目标场景在第二时间段的第二三维场景模型，然后通过比较第一三维场景模型与第二三维场景模型，便可以得到目标场景在不同时间段的变化量，该变化量即反映了目标场景在第二时间段相对第一时间段的变化情况。
在基于图像集进行目标场景的三维场景重建时，需要使用相机在采集图像集中每一场景图像时的相机参数值，相机参数值包括相机内参数的内参数值和相机外参数的外参数值，其中，相机内参数的作用是确定相机从三维空间到二维图像的投影关系，共有6个参数(f,κ,Sx,Sy,Cx,Cy)，其中，f为焦距；κ表示径向畸变量；Sx,Sy是缩放比例因子；Cx,Cy是图像的主点，即过镜头轴心垂直于成像平面与图像平面的交点。相机外参数的作用是确定相机坐标与世界坐标系之间相对位置关系，共有6个参数(α,β,γ,Tx,Ty,Tz)，其中T＝(Tx,Ty,Tz)是平移向量，R＝R(α,β,γ)是旋转矩阵。相机内参数一般不会随相机位姿(包括相机位置和相机姿态)的变化而变化，但相机外参数却会跟随相机位姿的变化而动态变化。
由于相机外参数会跟随相机位姿的变化而动态变化，而图像集是飞行装置携带相机在运动中动态采集，在不同摄像点，相机位姿都会发生变化，因此，图像集中每一场景图像对应的外参数值都可能不同，这就需要针对图像集中每一场景图像，确定其对应的外参数值。
在确定相机采集一场景图像的外参数值(本文也称之为场景图像对应的外参数值)时，可以基于相应的场景图像计算得到精确的外参数值，但计算量较大，计算耗时也较长，而每个图像集中有大量的场景图像，如果均基于场景图像计算对应的外参数值，计算量和计算耗时对于用户而言无疑是非常不友好的。针对该问题，在本公开实施例中，只有少部分场景图像(也即本公开实施例所称的第一场景图像、第三场景图像)对应的外参数值是基于相应的场景图像计算得到的，以用于构建、更新近似估计外参数值的误差模型，大部分场景图像(也即为本公开实施例所称的第二场景图像)的外参数值，采用了基于位姿数据确定外参数近似值，并通过误差模型修正该外参数近似值的方式得到，这将大大减少确定外参数值的计算量，并减少计算耗时，而且也能够保证所确定外参数值的精确度满足使用需求，能够明显缩短进行场景变化检测的时长。
图2示出了能够实施本公开实施例的场景变化检测方法的飞行装置1000的组成结构示意图。
飞行装置1000可以包括机体，以及安装在机体上的处理器1100、存储器1200、接口装置1300、通信装置1400、相机1500和位姿检测装置1600。
处理器1100用于执行计算机程序，该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、总线接口、网络接口等。通信装置1400例如能够进行有线或无线通信，通信装置1400可以包括至少一种短距离通信模块，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意模块，通信装置1400也可以包括远程通信模块，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意模块。飞行装置1000可以通过通信装置与控制中心通信连接，以接收控制中心的控制指令等。
相机1500包括至少一个摄像头，飞行装置1000还具有驱动相机1500转动的云台，相机1500能够在云台的驱动下改变拍摄姿态。
位姿检测装置1600包括位置检测装置和姿态检测装置，位置检测装置可以包括GPS和北斗中的至少一项，姿态检测装置可以包括惯性测量单元(Inertial MeasurementUnit，IMU)，其中，惯性测量单元包括陀螺仪和加速度计等，用于测量飞行装置1000的三轴姿态角以及加速度。
飞行装置1000还可以包括电池装置等，以为其他装置提供电能。飞行装置1000例如可以是任意类型的无人机等。
飞行装置1000的存储器1200用于存储计算机程序，该计算机程序用于控制处理器1100进行操作以执行根据本公开实施例的场景变化检测方法。技术人员可以根据该方法步骤设计计算机程序，而且计算机程序如何控制处理器进行操作，这是本领域公知技术，故在此不再详细描述。
<方法实施例>
图3示出了根据一些实施例的场景变化检测方法的流程示意图。该场景变化检测方法可由图2所示的飞行装置1000实施。
如图3所示，本实施例的场景变化检测方法可以包括如下步骤S310～S350：
步骤S310，获取目标场景的第一图像集。
目标场景的第一图像集包括多帧场景图像，多帧场景图像由飞行装置1000按照设定路径依次到达目标场景的多个拍摄点中的每一拍摄点进行图像采集得到。飞行装置1000搭载有相机1500，在每一拍摄点，飞行装置1000可以通过该相机1500完成图像采集。
步骤S320，根据第一图像集中场景图像以及相机在采集第一图像集中场景图像时的相机参数值，对目标场景进行重建，得到第一三维场景模型。
第一图像集中的场景图像实现了对目标场景的全覆盖，因此，根据第一图像集中的场景图像，可以实现对目标场景的重建，得到通过第一图像集重建的第一三维场景模型。
相机参数值包括内参数值和外参数值。在根据第一图像集中场景图像进行场景重建时，需要获知每一场景图像对应的相机参数值。如上所述，由于内参数值通常是不随相机姿态的变化而变化的，因此，第一图像集中所有场景图像对应的内参数值是相同的，无需区分场景图像多次确定，而外参数值是随相机姿态的变化而变化的，而相机在每一拍摄点的拍摄位置和姿态会有所不同，因此，对应的外参数值也会不同，这就需要为每一场景图像确定各自对应的外参数值。
步骤S330，获取目标场景的第二图像集。
第一图像集和第二图像集均由飞行装置所搭载相机采集，只是第一图像集的采集时间先于第二图像集的采集时间，以通过飞行装置在不同时间段采集的目标场景的图像集，来检测目标场景在一段时间以来发生的变化。
步骤S340，根据第二图像集中场景图像以及相机在采集第二图像集中场景图像时的相机参数值，对目标场景进行重建，得到第二三维场景模型。
重建第二三维场景模型与重建第一三维场景模型的重建方式相同，只是基于不同的图像集进行重建，同样需要确定第二图像集中每一场景图像的相机参数值，在此不再赘述。
对于第一图像集和第二图像集中的任一图像集，本实施例对图像集中少量场景图像(也即第一场景图像)，分别通过相应的第一场景图像计算精确的外参数值及通过姿态数据计算外参数近似值，以根据精确的外参数值和对应的外参数近似值构建近似值的误差模型，然后便可通过该误差模型和姿态数据计算其他场景图像(也即第二场景图像)的外参数值，而无需对图像集中的每一场景图像，均采用相应的场景图像来计算精确的外参数值，进而减少对计算资源的占用。可见，对于第一图像集合第二图像集中的图像集，其包括在第一时间点采集的第一场景图像和在第二时间点采集的第二场景图像，第一时间点先于第二时间点，本实施例中，如图4所示，获得相机在采集图像集中场景图像时的相机参数值，包括步骤S410～S450：
步骤S410，根据第一场景图像，获得相机的内参数值和相机在第一时间点的第一外参数值。
根据场景图像获得相机内、外参数值有很多手段，例如，有传统标定法、自标定法、基于主动视觉的标定法等。其中，传统标定法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的标定点与图像像素点之间的对应关系，获得相机的内、外参数值；自标定法主要是利用相机的运动约束和/或场景约束进行；基于主动视觉的标定法是指已知相机的某些运动信息对相机进行标定，以获得相机内、外参数值。
在一些实施例中，根据第一场景图像，获得相机的内参数值和相机在第一时间点的第一外参数值，可以包括：根据第一场景图像中的特征点，计算相机的内参数值和第一外参数值。图像的特征点可以通过尺度不变特征变换(Scale-invariant featuretransform，SIFT)算法获得。
由于特征点是与相机姿态无关的特征，因此，可以根据这些特征在参考图像与第一场景图像之间的像素位置变化，得到相机的内参数值和在第一时间点的第一外参数值；其中，参考图像为相机参数值已知的图像。
步骤S420，根据飞行装置搭载的位姿检测装置在第一时间点采集的第一位姿数据，获得相机在第一时间点的第一外参数近似值。
由于第一位姿数据表示位姿检测装置在第一时间点的位置和姿态，位姿检测装置安装在飞行装置的机体上，而飞行装置通过安装在机体上的云台控制相机的姿态，因此，飞行装置可以根据第一位姿数据，以及相机与位姿检测装置间的相对位姿数据，得到相机在第一时间点的位姿数据，进而得到相机在第一时间点的第一外参数近似值。但是，由于云台与位姿检测装置均存在安装误差，相机与云台之间亦存在安装误差，因此，根据第一位姿数据得到的外参数值为近似值。另外，位姿检测装置对于姿态的检测误差属于时间累积误差，检测误差的初始值很小，但检测误差的数值会随着时间的增加而增大，进而使得基于姿态数据计算得到的外参数值的误差也随之增大，这也导致根据第一位姿数据得到的外参数值为近似值，且该近似值相对真实值的误差会随着时间的增加而增大。
步骤S430，根据第一外参数值与第一外参数近似值间的第一误差，构建外参数近似值的误差模型。
根据第一外参数值与第一外参数近似值间的第一误差，便可得到符合第一误差的外参数近似值的误差模型，其中，该误差模型反映外参数近似值与外参数值之间的映射关系。根据该误差模型修正第一外参数近似值得到的外参数值与该第一外参数值间的损失应该满足设定条件。
在一些实施例中，可以通过一帧第一图像构建该误差模型。为了提高所构建误差模型的准确性。在另一些实施例中，可以将飞行装置连续采集的多帧图像均作为第一图像，以构建误差模型，对此，以上损失是这些第一图像的平均损失。
步骤S440，根据位姿检测装置在第二时间点采集的第二位姿数据，获得相机在第二时间点的第二外参数近似值。
根据第二位姿数据得到第二外参数近似值的方式，与根据第一位姿数据得到第一外参数值近似值的方式相同，在此不再赘述。
在构建得到误差模型之后，便可以通过姿态数据和误差模型，来获得相机在第二时间点的外参数值，其中，第二时间点位于第一时间点之后。
步骤S450，根据第二外参数近似值和误差模型，获得相机在第二时间点的第二外参数值。
由于第二外参数值是通过误差模型对第二外参数近似值进行修正或者说补偿后得到的数值，因此，该第二外参数值相对第二外参数近似值具有更高的精确度。
步骤S350，比较第一三维场景模型与第二三维场景模型，得到目标场景的变化量。
在一些实施例中，可以通过比较第一三维场景模型与第二三维场景模型中的场景特征进行变化检测。
在另一些实施例中，为了减小步骤S350中场景比较的计算量，该步骤S350中比较第一三维场景模型与第二三维场景模型，得到目标场景的变化量，可以包括如下步骤：根据第一图像语义库对第一三维场景模型进行语义分割，得到第一三维场景模型的语义特征；根据第二图像语义库对第二三维场景模型进行语义分割，得到第二三维场景模型的语义特征；以及，比较第一三维场景模型的语义特征与第二三维场景模型的语义特征，得到目标场景的变化量。
以上第一图像语义库和第二图像语义库可以分别通过识别第一图像集和第二图像集中的设定特征得到。第一图像语义库与第二图像语义库也可以是共用的语义库，该共用的语义库可以通过识别第一图像集和/或第二图像集中的设定特征得到。
以第一图像语义库为例，获得第一图像语义库可以包括如下步骤：识别第一图像集中场景图像的尺度不变转换特征；以及，根据场景图像的特征点对第一图像集中场景图像进行语义分割，得到第一图像语义库。
类似地，获得第二图像语义库可以包括如下步骤：识别第二图像集中场景图像的尺度不变转换特征；以及，根据场景图像的特征点对第二图像集中场景图像进行语义分割，得到第二图像语义库。
由于场景图像容易受到光照和自然环境等各方面因素的影响，这为场景变化量的判断带来了困难。利用场景不变量，也即场景的尺度不变转换特征，同时利用场景图像或者场景模型等语义辅助，可以快速判断场景的变化量。
如上步骤S410～S450，本公开实施例的场景变化检测方法中，在确定相机在采集图像集中场景图像的外参数值时，将图像集中的大部分场景图像作为以上第二场景图像，在获得第二场景图像对应的外参数值时，是基于相应的第二位姿数据获得外参数近似值，再通过误差模型修正该外参数近似值的方式得到。相对通过场景图像计算得到对应的外参数值的方式，由于基于位姿数据获得外参数近似值具有很少的计算量，因此，本公开实施例的方法能够大大减小确定图像集中场景图像对应的相机外参数的计算量，减少对计算资源的占用。
在一些实施例中，为了不断提高误差模型的精度，在一些实施例，还可以在构建误差模型之后，通过第三场景图像对该误差模型进行更新，以逐渐提高误差模型的精度。在这些实施例中，图像集还包括在第三时间点采集的第三场景图像，第三时间点位于第一时间点之后，对应地，该场景变化检测方法在上述步骤S430的构建外参数近似值的误差模型之后，还可以包括如下步骤：根据第三场景图像，获得相机在第三时间点的第三外参数值；根据姿态检测装置在第三时间点采集的第三位姿数据，获得相机在第三时间点的第三外参数近似值；以及，根据该第三外参数值与第三外参数近似值间的第三误差，更新该误差模型。
该更新操作可以间隔设定时间进行，也可以根据控制中心发送的控制指令进行等，在此不做限定。飞行装置1000在确定任一帧第二场景图像对应的外参数值时，通过当前最新的误差模型进行修正。
在这些实施例中，由于位姿检测装置对于姿态的检测误差会随着时间的增加而增大，因此，间隔设定时间更新该误差模式，有利于提高误差模型的准确性，进而保证根据该误差模型修正过的外参数近似值，更加接近精确的外参数值，或者说更加接近外参数真实值。
在一些实施例中，在每次更新误差模型之后，该方法还可以包括如下步骤：通过训练样本，获得更新后误差模型相对更新前误差模型的精确度变化率；其中，所述训练样本包括由所述第一外参数近似值和第一外参数值构成的样本，以及由所述第三外参数近似值和第三外参数值构成的样本；以及，在所述精确度变化率小于设定阈值的情况下，停止更新所述误差模型。任一误差模型的精确度可以采用对每一样本的近似值进行修正的结果相对精确值的精确度平均值来衡量。在这些实施例中，如果精确度变化率小于设定阈值，代表误差模型已经收敛，继续更新不会对精确度带来有效提升，此时，可以停止更新。
本公开还提供了一种飞行装置，在一些实施例中，如图5所示，该飞行装置500包括存储器520、处理器510、相机530和位姿检测装置540，相机530和位姿检测装置540均与处理器510连接。存储器520用于存储计算机程序，处理器510用于在计算机程序的控制下，执行根据本公开任意实施例的场景变化检测方法。
该处理器510可以包括多个并行的微服务器，以提高处理器510的计算能力。
在一些实施例中，飞行装置500包括无人机本体和安装架，安装架连接在无人机本体的底部，处理器510、存储器520、相机530和位姿检测装置540等安装在安装架上，提高飞行装置500的集成度。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种场景变化检测方法，其特征在于，包括：
获取目标场景的第一图像集；其中，所述第一图像集由飞行装置所搭载相机采集；
根据所述第一图像集中场景图像以及所述相机在采集第一图像集中场景图像时的相机参数值，对所述目标场景进行重建，得到第一三维场景模型；其中，所述相机参数值包括内参数值和外参数值；
获取所述目标场景的第二图像集；其中，所述第二图像集由所述飞行装置所搭载相机采集，所述第一图像集的采集时间先于所述第二图像集的采集时间；
根据所述第二图像集中场景图像以及所述相机在采集第二图像集中场景图像时的相机参数值，对所述目标场景进行重建，得到第二三维场景模型；
比较所述第一三维场景模型与所述第二三维场景模型，得到所述目标场景的变化量；
其中，对于所述第一图像集和所述第二图像集中的任一图像集，所述图像集包括在第一时间点采集的第一场景图像和在第二时间点采集的第二场景图像，所述第一时间点先于所述第二时间点，获得所述相机在采集所述图像集中场景图像时的相机参数值，包括：
根据所述第一场景图像，获得所述相机的内参数值和所述相机在所述第一时间点的第一外参数值；
根据所述飞行装置搭载的位姿检测装置在所述第一时间点采集的第一位姿数据，获得所述相机在所述第一时间点的第一外参数近似值；
根据所述第一外参数值与所述第一外参数近似值间的第一误差，构建外参数近似值的误差模型；
根据所述位姿检测装置在所述第二时间点采集的第二位姿数据，获得所述相机在所述第二时间点的第二外参数近似值；
根据所述第二外参数近似值和所述误差模型，获得所述相机在所述第二时间点的第二外参数值。
2.根据权利要求1所述的方法，其特征在于，所述图像集还包括在第三时间点采集的第三场景图像，所述第一时间点先于所述第三时间点，在所述构建外参数近似值的误差模型之后，所述方法还包括：
获取所述第三场景图像和所述位姿检测装置在所述第三时间点采集的第三位姿数据；
根据所述第三场景图像，获得所述相机在所述第三时间点的第三外参数值；
根据所述第三位姿数据，获得所述相机在所述第三时间点的第三外参数近似值；
根据所述第三外参数值与所述第三外参数近似值间的第三误差，更新所述误差模型。
3.根据权利要求2所述的方法，其特征在于，在所述更新所述误差模型之后，所述方法还包括：
通过训练样本，获得更新后误差模型相对更新前误差模型的精确度变化率；其中，所述训练样本包括由所述第一外参数近似值和第一外参数值构成的样本，以及由所述第三外参数近似值和第三外参数值构成的样本；
在所述精确度变化率小于设定阈值的情况下，停止更新所述误差模型。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一场景图像，获得所述相机的内参数值和所述相机在所述第一时间点的第一外参数值，包括：
根据所述第一场景图像中的特征点，计算所述内参数值和所述第一外参数值。
5.根据权利要求1所述的方法，其特征在于，所述位姿检测装置包括位置检测装置和姿态检测装置，所述姿态检测装置包括惯性测量单元。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述比较所述第一三维场景模型与所述第二三维场景模型，得到所述目标场景的变化量，包括：
根据第一图像语义库对所述第一三维场景模型进行语义分割，得到第一三维场景模型的语义特征；
根据第二图像语义库对所述第二三维场景模型进行语义分割，得到第二三维场景模型的语义特征；
比较所述第一三维场景模型的语义特征与所述第二三维场景模型的语义特征，得到所述目标场景的变化量。
7.根据权利要求6所述的方法，其特征在于，获得所述第一图像语义库的步骤，包括：
识别所述第一图像集中场景图像的特征点；
根据所述场景图像的特征点对所述第一图像集中场景图像进行语义分割，得到所述第一图像语义库。
8.一种飞行装置，其特征在于，包括存储器、处理器、相机和位姿检测装置，所述存储器用于存储计算机程序，所述处理器用于在所述计算机程序的控制下，执行根据权利要求1至7中任一项所述的方法，所述相机和所述位姿检测装置均与所述处理器连接。
9.根据权利要求8所述的飞行装置，其特征在于，所述处理器包括多个并行的微服务器。
10.根据权利要求8所述的飞行装置，其特征在于，所述飞行装置包括无人机本体和安装架，所述安装架连接在所述无人机本体的底部，所述处理器、存储器、相机和位姿检测装置安装在所述安装架上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210868213.0A CN115512242B (zh) | 2022-07-22 | 2022-07-22 | 场景变化检测方法及飞行装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210868213.0A CN115512242B (zh) | 2022-07-22 | 2022-07-22 | 场景变化检测方法及飞行装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115512242A CN115512242A (zh) | 2022-12-23 |
| CN115512242B true CN115512242B (zh) | 2023-05-30 |
Family
ID=84502082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210868213.0A Active CN115512242B (zh) | 2022-07-22 | 2022-07-22 | 场景变化检测方法及飞行装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115512242B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106952219A (zh) * | 2017-03-14 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种基于外参数修正鱼眼像机的图像生成方法 |
| CN108648270A (zh) * | 2018-05-12 | 2018-10-12 | 西北工业大学 | 基于eg-slam的无人机实时三维场景重建方法 |
| CN109523597A (zh) * | 2017-09-18 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | 相机外参的标定方法和装置 |
| CN111161404A (zh) * | 2019-12-23 | 2020-05-15 | 华中科技大学鄂州工业技术研究院 | 一种环形扫描形貌三维重建方法、装置及系统 |
| CN113888642A (zh) * | 2021-09-23 | 2022-01-04 | 同济大学 | 一种环视系统外参数在线修正方法、系统、设备及介质 |
| CN114419165A (zh) * | 2022-01-17 | 2022-04-29 | 北京百度网讯科技有限公司 | 相机外参校正方法、装置、电子设备和存储介质 |
| WO2022127532A1 (zh) * | 2020-12-16 | 2022-06-23 | 华为技术有限公司 | 一种激光雷达与imu的外参标定方法、装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112312113B (zh) * | 2020-10-29 | 2022-07-15 | 贝壳技术有限公司 | 用于生成三维模型的方法、装置和系统 |
-
2022
- 2022-07-22 CN CN202210868213.0A patent/CN115512242B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106952219A (zh) * | 2017-03-14 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种基于外参数修正鱼眼像机的图像生成方法 |
| CN109523597A (zh) * | 2017-09-18 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | 相机外参的标定方法和装置 |
| CN108648270A (zh) * | 2018-05-12 | 2018-10-12 | 西北工业大学 | 基于eg-slam的无人机实时三维场景重建方法 |
| CN111161404A (zh) * | 2019-12-23 | 2020-05-15 | 华中科技大学鄂州工业技术研究院 | 一种环形扫描形貌三维重建方法、装置及系统 |
| WO2022127532A1 (zh) * | 2020-12-16 | 2022-06-23 | 华为技术有限公司 | 一种激光雷达与imu的外参标定方法、装置及设备 |
| CN113888642A (zh) * | 2021-09-23 | 2022-01-04 | 同济大学 | 一种环视系统外参数在线修正方法、系统、设备及介质 |
| CN114419165A (zh) * | 2022-01-17 | 2022-04-29 | 北京百度网讯科技有限公司 | 相机外参校正方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李枫."基于图像特征分析的视频场景变化检测".《中国优秀硕士学位论文全文数据库信息科技辑》.2017,(第02期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115512242A (zh) | 2022-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110118554B (zh) | 基于视觉惯性的slam方法、装置、存储介质和设备 | |
| CN107888828B (zh) | 空间定位方法及装置、电子设备、以及存储介质 | |
| EP4290878A2 (en) | Techniques for co-optimization of motion and sensory control | |
| CN108955718B (zh) | 一种视觉里程计及其定位方法、机器人以及存储介质 | |
| CN110084832B (zh) | 相机位姿的纠正方法、装置、系统、设备和存储介质 | |
| CN107748569B (zh) | 用于无人机的运动控制方法、装置及无人机系统 | |
| CN107123142B (zh) | 位姿估计方法和装置 | |
| KR20220028042A (ko) | 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| WO2020221307A1 (zh) | 一种运动物体的追踪方法和装置 | |
| WO2022193508A1 (zh) | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 | |
| CN105141807A (zh) | 视频信号图像处理方法和装置 | |
| CN111507132B (zh) | 一种定位方法、装置及设备 | |
| KR20190001086A (ko) | 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| CN113063421A (zh) | 导航方法及相关装置、移动终端、计算机可读存储介质 | |
| CN114199235B (zh) | 一种基于扇面深度相机的定位系统及定位方法 | |
| CN112904365B (zh) | 地图的更新方法及装置 | |
| CN112087728B (zh) | 获取Wi-Fi指纹空间分布的方法、装置和电子设备 | |
| CN110800023A (zh) | 图像处理方法和设备、摄像装置以及无人机 | |
| CN115512242B (zh) | 场景变化检测方法及飞行装置 | |
| CN112414444B (zh) | 一种数据标定方法、计算机设备、存储介质 | |
| CN116310991A (zh) | 一种基于强化学习的篮板落点预测方法及系统 | |
| CN113252066A (zh) | 里程计设备参数的标定方法及装置、存储介质、电子装置 | |
| CN115560744A (zh) | 机器人以及基于多传感器的三维建图方法、存储介质 | |
| CN113034538B (zh) | 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备 | |
| CN117788659A (zh) | 渲染图像的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |