CN110033475A - 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 - Google Patents
一种高分辨率纹理生成的航拍图运动物体检测与消除方法 Download PDFInfo
- Publication number
- CN110033475A CN110033475A CN201910248334.3A CN201910248334A CN110033475A CN 110033475 A CN110033475 A CN 110033475A CN 201910248334 A CN201910248334 A CN 201910248334A CN 110033475 A CN110033475 A CN 110033475A
- Authority
- CN
- China
- Prior art keywords
- moving object
- image
- plane
- exposure mask
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000008439 repair process Effects 0.000 claims abstract description 20
- 230000008030 elimination Effects 0.000 claims abstract description 14
- 238000003379 elimination reaction Methods 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 63
- 238000001514 detection method Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000013135 deep learning Methods 0.000 claims description 15
- 230000007704 transition Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000013441 quality evaluation Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 13
- 230000008859 change Effects 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 208000003164 Diplopia Diseases 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002789 length control Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000003079 width control Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种高分辨率纹理生成的航拍图运动物体检测与消除方法，从航拍图中检测可疑物体，对可疑物体进行筛选得出运动物体并对运动物体进行掩膜，通过对掩膜区域进行图像修复去除运动物体，可以有效改善和解决在航拍过程中由于车辆或行人等运动物体的位置变化造成的图像超分辨率重建纹理效果问题以及三维建模中模型扭曲和纹理错误贴图的问题，并且，是针对不同的情况选择合适的纹理图片进行运动物体的消除，使得消除运动物体后的图像更接近地面真实情况；此外，本发明实施例提供的上述航拍图运动物体检测与消除方法，能够有效检测出动态背景下的运动物体，不仅仅局限于视频等重叠度大的相邻帧图片，尤其适用于如航拍图等重叠度较小的情况。
Description
技术领域
本发明涉及图像处理和三维场景建模技术领域，尤其涉及一种高分辨率纹理生成的航拍图运动物体检测与消除方法。
背景技术
基于航拍图进行自动化三维建模，形成高分辨率的地形地貌三维模型是虚拟现实、增强现实等诸多领域的重要需求。如何在相机条件或飞行环境有限的情况下，建立更高清的纹理图片和更精准的三维模型是面向各类应用的关键。
现有的三维场景建模，大多是直接采用航拍图和三维建模软件进行。在实际的航拍过程中，受到飞行高度和飞行环境的影响，航拍过程通常持续时间较长，其中的车辆和行人变化较多、位置差距较大，并且，当航拍图的分辨率不能满足建模需求时，需要进行图像超分辨率重建使得分辨率更高，而超分辨率重建容易受到航拍过程中行车及行人的影响，产生纹理重影，此外，地面上运动的车辆、行人也会在三维场景重建过程中对空三处理和纹理贴图等步骤产生一定的影响，造成三维场景模型扭曲或者纹理错位等影响，由此可见，去除航拍图动态背景下的运动物体，对于仿真结果的精度提高有着重要影响。
传统的针对动态背景下的运动目标检测，多是针对监控录像等整个视频序列通过光流法、帧间差分法等方式得出。近年来出现利用深度学习算法包括RetinaNet、YOLOv3、SSD、Fasrter R-CNN等检测出车辆，通过视频帧对运动目标进行跟踪得出运动轨迹等算法，例如，在整个视频序列中获得车辆检测结果，将多目标跟踪问题简化为一个数据关联问题，目的是将视频序列中不同帧间的检测关联起来，直接通过相邻图像帧静态物体位置变化小而动态物体位置变化大的特性，只考虑边界盒的位置坐标和相应的车辆类型，判断同一车辆的移动，用于运动估计和数据关联。上述方法存在的问题是，监控视频拍摄的地点固定，连续帧之间背景差距小，对于非同一点拍摄的航拍图，无论是背景还是车辆在连续照片中差距都较大，直接采用像素点位置进行车辆跟踪不可行。
因此，针对不连续航拍图如何合理进行运动物体检测以及如何去除运动物体，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种，用以解决在航拍过程中由于车辆或行人等运动物体的位置变化造成的图像超分辨率重建结果的运动物体重影、三维场景模型扭曲及纹理错位等问题。
因此，本发明实施例提供了一种高分辨率纹理生成的航拍图运动物体检测与消除方法，包括以下步骤：
S1：准备待处理航拍图，对图像进行分割；
S2：利用深度学习算法对分割后的图像进行物体检测，并将检测后的图像重新连接还原为大图；
S3：对比相邻两张图像，判断运动物体，并对需要去除的运动物体进行掩膜；
S4：根据对比结果采取相应措施消除运动物体，包括利用匹配图像纹理贴图和利用图像修复算法修复图像。
在一种可能的实现方式中，在本发明实施例提供的上述航拍图运动物体检测与消除方法中，步骤S1，准备待处理航拍图，对图像进行分割，具体包括：
S11：准备待处理航拍图；
S12：根据物体检测和图像修复算法的计算，选择合适的图像分辨率，对图像进行分割。
在一种可能的实现方式中，在本发明实施例提供的上述航拍图运动物体检测与消除方法中，步骤S2，利用深度学习算法对分割后的图像进行物体检测，并将检测后的图像重新连接还原为大图，具体包括：
S21：利用深度学习算法对分割后的图像进行模型训练和物体检测；
S22：将检测后的图像通过图像名称序号对应位置重新拼接为原先大图。
在一种可能的实现方式中，在本发明实施例提供的上述航拍图运动物体检测与消除方法中，步骤S3，对比相邻两张图像，判断运动物体，并对需要去除的运动物体进行掩膜，具体包括：
S31：计算包含同一区域的相邻两张图像的转换矩阵；其中，相邻两张图像记为图甲和图乙；
S32：利用转换矩阵对检测到的物体进行坐标转换，进行图甲到图乙的转换对比；
S33：通过对比图乙中相应位置是否存在同一物体来判断物体是否存在运动；
S34：重新进行图乙到图甲的转换对比；
S35：进行下两张图的转换对比直至全部结束；
S36：对需要去除的运动物体进行掩膜。
在一种可能的实现方式中，在本发明实施例提供的上述航拍图运动物体检测与消除方法中，步骤S31，计算包含同一区域的相邻两张图像的转换矩阵，具体包括：
S311：计算相邻两张图像的特征点，对特征点进行匹配；
S312：通过随机抽样一致性算法进行匹配对的筛选，保留正确的匹配对；
S313：将匹配对导入单应矩阵的计算方程组，得到单应矩阵。
在一种可能的实现方式中，在本发明实施例提供的上述航拍图运动物体检测与消除方法中，步骤S32，利用转换矩阵对检测到的物体进行坐标转换，进行图甲到图乙的转换对比，具体包括：
S321：根据单应矩阵计算图甲和图乙的相互转换坐标，找出图甲和图乙的重合区域；
S322：依次找到图甲中的物体检测回归框在图乙中的具体位置。
在一种可能的实现方式中，在本发明实施例提供的上述航拍图运动物体检测与消除方法中，步骤S33，通过对比图乙中相应位置是否存在同一物体来判断物体是否存在运动，具体包括：
S331：查找图乙中相应位置处是否存在物体被检测；
若是，则执行步骤S332～步骤S334；若否，则执行步骤S335；
S332：设定图像相似的阈值，通过图像质量评价算法判断图甲与图乙中的物体是否为同一物体；若是，则执行步骤S333；若否，则执行步骤S334；
S333：确定物体不存在运动；
S334：确定物体存在运动；
S335：确定物体存在运动。
在一种可能的实现方式中，在本发明实施例提供的上述航拍图运动物体检测与消除方法中，步骤S36，对需要去除的运动物体进行掩膜，具体包括：
若执行步骤S334，则之后执行步骤S361；若执行步骤S335，则之后执行步骤S362；
S361：采取第一种掩膜方式进行掩膜，对运动物体像素级实例分割出的物体区域及周围20像素点范围全部采用绿色进行覆盖；
S362：采取第二种掩膜方式进行掩膜，对运动物体回归框中的物体区域及周围20像素点范围全部采用蓝色进行覆盖。
在一种可能的实现方式中，在本发明实施例提供的上述航拍图运动物体检测与消除方法中，步骤S4，根据对比结果采取相应措施消除运动物体，包括利用匹配图像纹理贴图和利用图像修复算法修复图像，具体包括：
S41：对图甲中采用第二种掩膜方式进行掩膜的掩膜部分进行掩膜消除；
S42：将消除掩膜后的图甲重新分割为小图像；
S43：对小图像中采用第一种掩膜方式进行掩膜的掩膜部分采用图像修复算法进行修复；
S44：将修复后的图甲重新根据名称序号连接还原为大图。
在一种可能的实现方式中，在本发明实施例提供的上述航拍图运动物体检测与消除方法中，步骤S41，对图甲中采用第二种掩膜方式进行掩膜的掩膜部分进行掩膜消除，具体包括：
S411：将掩膜部分的坐标信息经过单应矩阵变换得到该掩膜部分在图乙中的位置坐标；
S412：截取图乙中转换后坐标内部的四边形地表纹理；
S413：将图乙截取的地表纹理进行反向射影变换为掩膜部分大小；
S414：用变换后的地表纹理代替掩膜部分。
本发明实施例提供的上述航拍图运动物体检测与消除方法，从航拍图中检测可疑物体，对可疑物体进行筛选得出运动物体并对运动物体进行掩膜，通过对掩膜区域进行图像修复去除运动物体，通过对运动物体的去除，可以有效改善和解决在航拍过程中由于车辆或行人等运动物体的位置变化造成的图像超分辨率重建纹理效果问题以及三维建模中模型扭曲和纹理错误贴图的问题，并且，是针对不同的情况选择合适的纹理图片进行运动物体的消除，使得消除运动物体后的图像更接近地面真实情况；此外，本发明实施例提供的上述航拍图运动物体检测与消除方法，能够有效检测出动态背景下的运动物体，不仅仅局限于视频等重叠度大的相邻帧图片，尤其适用于如航拍图等重叠度较小的情况。
附图说明
图1为本发明实施例提供的航拍图运动物体检测与消除方法的流程图之一；
图2为本发明实施例提供的航拍图运动物体检测与消除方法的流程图之二；
图3为准备的待处理航拍图；
图4为将图3分割后的图像；
图5为利用深度学习算法检测到的车辆和行人结果；
图6为本发明实施例提供的航拍图运动物体检测与消除方法的流程图之三；
图7a和图7b为相邻两张图像；
图8为对图7a和图7b进行特征点匹配和筛选后的结果；
图9a为将图7a和图7b加权融合后的结果；
图9b为图7a和图7b融合结果对比示意图；
图10a、图10b和图10c分别为进行掩膜之前、采取第一种掩膜方式进行掩膜之后以及采取第二种掩膜方式进行掩膜之后的图像；
图11a和图11b为相邻两张图像纹理情况；
图12a和图12b为填充运动物体前后结果示意图；
图13本发明实施例提供的航拍图运动物体检测与消除方法的流程图之四；
图14a和图14b为进行三维建模的部分航拍图；
图15a和图15b为未经处理航拍图进行Smart3D三维重建后的效果；
图16a和图16b为去掉原始航拍图中运动物体的结果；
图17a和图17b为处理后的航拍图进行三维重建后的效果；
图18a和图18b为采用的超分辨率重建用图的部分图像；
图19为未经处理航拍图进行超分辨率重建结果；
图20a和图20b为去掉原始航拍图中运动物体的结果；
图21为处理后的航拍图进行超分辨率重建结果。
具体实施方式
下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本申请。
本发明实施例提供的一种高分辨率纹理生成的航拍图运动物体检测与消除方法，如图1所示，包括以下步骤：
S1：准备待处理航拍图，对图像进行分割；
S2：利用深度学习算法对分割后的图像进行物体检测，并将检测后的图像重新连接还原为大图；
S3：对比相邻两张图像，判断运动物体，并对需要去除的运动物体进行掩膜；
S4：根据对比结果采取相应措施消除运动物体，包括利用匹配图像纹理贴图和利用图像修复算法修复图像。
本发明实施例提供的上述航拍图运动物体检测与消除方法，从航拍图中检测可疑物体，对可疑物体进行筛选得出运动物体并对运动物体进行掩膜，通过对掩膜区域进行图像修复去除运动物体，通过对运动物体的去除，可以有效改善和解决在航拍过程中由于车辆或行人等运动物体的位置变化造成的图像超分辨率重建纹理效果问题以及三维建模中模型扭曲和纹理错误贴图的问题，并且，是针对不同的情况选择合适的纹理图片进行运动物体的消除，使得消除运动物体后的图像更接近地面真实情况；此外，本发明实施例提供的上述航拍图运动物体检测与消除方法，能够有效检测出动态背景下的运动物体，不仅仅局限于视频等重叠度大的相邻帧图片，尤其适用于如航拍图等重叠度较小的情况。
在具体实施时，在执行本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S1，准备待处理航拍图，对图像进行分割时，如图2所示，具体可以通过以下方式来实现：
S11：准备待处理航拍图；
S12：根据物体检测和图像修复算法的计算，选择合适的图像分辨率，对图像进行分割。
具体地，若对航拍图直接应用深度学习算法和图像修复算法，结合算法原理和程序实验验证，会发现无法达到理想的时间和效果。本发明实施例提供的上述航拍图运动物体检测与消除方法采用的物体检测算法为Mask R-CNN算法，当图像分辨率较高时，车辆和行人等物体相对周边环境占据像素点较少，由于算法、图形处理器(GPU)显存限制等因素，利用Mask R-CNN算法检测物体前会对图像进行降采样，导致行人和车辆占据像素点更少，无法正确识别出航拍图中物体，并且，随着航拍图分辨率的增加，利用图像修复算法对运动物体进行处理的时间会呈几何倍数增长。
基于此，本发明实施例提供的上述航拍图运动物体检测与消除方法，在对航拍图应用算法之前先对航拍图进行分割，秉着图像均分、车辆行人占比大、效果好和图像处理效率高的原则，可以将分辨率为a*b的图像分割成m*n张分辨率为x*y的图像，图3和图4分别为分割前后的图像。对图像进行分割需要满足以下四个条件：(1)m*x＝a，n*y＝b；(2)车辆所占像素在图像中不能过小；(3)x<1024，y<1024；(4)分割后的图像以A11…A1n，…，Am1…Amn方式记录。
在具体实施时，在执行本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S2，利用深度学习算法对分割后的图像进行物体检测，并将检测后的图像重新连接还原为大图时，如图2所示，具体可以通过以下方式来实现：
S21：利用深度学习算法对分割后的图像进行模型训练和物体检测；
具体地，Mask R-CNN算法属于常用的物体检测和分割的深度学习算法，是一种实例分割算法，为图像中待检测的每个实例生成包围框和分割掩码，完成像素级识别目标轮廓的任务，主要包含以下几个部分：骨干网络：包括多尺度检测网络(ResNet)和特征金字塔网络(FPN)，实现从RGB图像转化为特征图的过程；区域提议网络(RPN)：通过窗口滑动扫描特征图，找到包含可疑物体的部分，大致区分背景和物体并进行边缘框记录；感兴趣区域(ROI)分类器和边缘框回归：具体进行物体分类，如车辆和行人，并将边缘框进一步细化到某些具体位置；感兴趣区域(ROI)池化：对特征图进行剪裁，调整为固定的大小；对物体进行像素级分割掩码；
在航拍过程中，由于飞行高度较高，只有大型运动物体对航拍图纹理影响较为明显，而室外场景建模过程中起到主要影响的运动物体为车辆和行人，其他细小或罕见的运动物体对航拍图纹理影响可以忽略不计，因此，采用Mask R-CNN算法进行车辆和行人的检测，具体可以通过以下方式来实现：
(1)参数设定：Mask R-CNN算法不是轻量级的模型，是专为精度而设计的，而非内存效率，小型GPU训练可能会因内存不足而失败，理想情况下，需要使用12GB或更高的GPU，较小的GPU可以通过调整其他设置完成训练，许多都可以在配置(Config)类中设置；
影响Mask R-CNN算法显存占用的主要因素为图像分辨率，当分辨率控制在1024*1024以内时，GPU为12G显存的条件下采用默认Mask R-CNN算法配置，即骨干网络为resnet101，训练所有阶段，图像长宽控制在800～1024之内，每个GPU处理两张图像，第二阶段每张图像训练的ROI为200，每个图像最大实例数为100。当GPU较小时，对上述配置进行缩小，例如，骨干网络变为resnet50，训练部分阶段，图像长宽据实际调整，每个GPU处理一张图像，第二阶段每张图像训练的ROI缩为100，每个图像最大实例数缩为50。每项更改都会对培训时间和最终准确性产生影响，根据实际情况来评估每项更改的影响后再做选择；
(2)模型训练：利用Mask R-CNN算法在COCO数据集上进行训练；
COCO数据集是微软发布的数据库，除了图片以外，还提供物体检测、分割和对图像的语义文本描述信息，分为训练、验证和测试集。COCO数据集有91类且每类图像数量多，其中包括行人和车辆，因此，本发明选用COCO数据集对Mask R-CNN算法进行训练；
(3)修改配置：鉴于COCO数据集中的检测类型众多，修改Mask R-CNN算法中的文件使其只检测其中的车辆和行人，适用于自己的航拍图集；
(4)物体检测：将训练好的模型用于所有分割航拍图中车辆和行人的检测，检测到的车辆和行人结果如图5所示；
S22：将检测后的图像通过图像名称序号对应位置重新拼接为原先大图。
具体地，拼接方式可以通过以下方式来实现：按照图像名称记录，找到原对应位置，设某图像为Aqw，分割后的图像的分辨率为x*y，原图左上角坐标为(0,0)，则原图四角所对应的坐标位置为((q-1)*y,(w-1)*x),(q*y,(w-1)*x),((q-1)*y,w*x),(q*y,w*x)，找到所有图像对应位置，即可复原为大图。
需要说明的是，本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S2，利用深度学习算法对分割后的图像进行物体检测，并将检测后的图像重新连接还原为大图，还可以采用其他大型数据集、深度学习物体检测算法及像素级识别目标轮廓算法替代。
结合航拍图沿航道拍摄的特性，可知拍摄的航拍图中相邻两张图像包含大部分相同区域，可以用来进行对比。基于此，在执行本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S3，对比相邻两张图像，判断运动物体，并对需要去除的运动物体进行掩膜时，如图2所示，具体可以通过以下方式来实现：
S31：计算包含同一区域的相邻两张图像的转换矩阵；其中，相邻两张图像记为图甲和图乙；
具体地，转换矩阵即为单应矩阵的计算，可以算出相邻两张图像之间的射影变换；
S32：利用转换矩阵对检测到的物体进行坐标转换，进行图甲到图乙的转换对比；
S33：通过对比图乙中相应位置是否存在同一物体来判断物体是否存在运动；
S34：重新进行图乙到图甲的转换对比；
S35：进行下两张图的转换对比直至全部结束；
S36：对需要去除的运动物体进行掩膜。
在具体实施时，在执行本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S31，计算包含同一区域的相邻两张图像的转换矩阵时，如图6所示，具体可以通过以下方式来实现：
S311：计算相邻两张图像的特征点，对特征点进行匹配；图7a和图7b为相邻两张图像，计算图7a和图7b的特征点，对特征点进行匹配；
S312：通过随机抽样一致性算法(RANSAC)进行匹配对的筛选，保留正确的匹配对；如图8所示；
S313：将匹配对导入单应矩阵的计算方程组，得到单应矩阵。
在具体实施时，在执行本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S32，利用转换矩阵对检测到的物体进行坐标转换，进行图甲到图乙的转换对比，如图6所示，具体可以通过以下方式来实现：
S321：根据单应矩阵计算图甲和图乙的相互转换坐标，找出图甲和图乙的重合区域；
S322：依次找到图甲中的物体检测回归框在图乙中的具体位置。
在具体实施时，在执行本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S33，通过对比图乙中相应位置是否存在同一物体来判断物体是否存在运动时，如图6所示，具体可以通过以下方式来实现：
S331：查找图乙中相应位置处是否存在物体被检测；若是，则执行步骤S332～步骤S334；若否，则执行步骤S335；
S332：设定图像相似的阈值，通过图像质量评价算法判断图甲与图乙中的物体是否为同一物体；若是，则执行步骤S333；若否，则执行步骤S334；具体地，图像质量评价算法采用为PSNR算法；
S333：确定物体不存在运动；
S334：确定物体存在运动；
S335：确定物体存在运动。
具体地，如图9a所示，显示了相邻两张图像经过坐标转换后进行加权融合的场景。如图9b所示，实线框中的车辆分为以下几种情况：在拍摄过程中没有移动的车辆显示为实影；在拍摄过程中存在移动的车辆显示为虚影。其中，呈现虚影的移动车辆分为以下几种情况：在相邻两张图像中均存在且存在较大移动的；在相邻两张图像中均存在且移动较小的；在相邻两张图像中只出现一次的。
需要说明的是，本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S34，重新进行图乙到图甲的转换对比的具体实施，与本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S32，利用转换矩阵对检测到的物体进行坐标转换，进行图甲到图乙的转换对比，和步骤S33通过对比图乙中相应位置是否存在同一物体来判断物体是否存在运动的具体实施类似，在此不做赘述。
在具体实施时，在执行本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S36，对需要去除的运动物体进行掩膜时，如图6所示，具体可以通过以下方式来实现：
若在执行步骤S331，查找图乙中相应位置处是否存在物体被检测之后，执行步骤S332，设定图像相似的阈值，通过图像质量评价算法判断图甲与图乙中的物体是否为同一物体，且在执行步骤S332之后执行步骤S334，确定物体存在运动，则在执行步骤S334之后执行步骤S361；若在执行步骤S331，查找图乙中相应位置处是否存在物体被检测之后，执行步骤S335，确定物体存在运动，则在执行步骤S335之后执行步骤S362；
S361：采取第一种掩膜方式进行掩膜，对运动物体像素级实例分割出的物体区域及周围20像素点范围全部采用绿色进行覆盖；如图10a所示，为进行掩膜之前的图像，如图10b所示，为采取第一种掩膜方式进行掩膜之后的图像；
具体地，对运动物体像素级实例分割出的物体区域像素点全部采用绿色(0，255，0)进行覆盖，并且，由于部分物体边缘检测不够精确，例如图5所示的车辆后备箱部分，为了防止出现遗漏问题，分割出的物体区域边缘像素的周围部分各扩张20像素点，也采用绿色(0，255，0)进行覆盖；
S362：采取第二种掩膜方式进行掩膜，对运动物体回归框中的物体区域及周围20像素点范围全部采用蓝色进行覆盖；如图10c所示，为采取第二种掩膜方式进行掩膜之后的图像；
具体地，对该运动物体回归框中的物体区域像素点全部采用蓝色(0，0，255)进行覆盖，并且，由于部分物体边缘检测不够精确，例如图5所示的车辆后备箱部分，为了防止出现遗漏问题，该物体区域边缘像素的周围部分各扩张20像素点，也采用蓝色进行覆盖。
在具体实施时，在执行本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S4，根据对比结果采取相应措施消除运动物体，包括利用匹配图像纹理贴图和利用图像修复算法修复图像时，如图6所示，具体可以通过以下方式来实现：
S41：对图甲中采用第二种掩膜方式进行掩膜的掩膜部分进行掩膜消除；
具体地，如图11a和图11b所示，图11a(即图甲)和图11b(即图乙)为相邻两张图像，图11a(即图甲)中的车辆在图11b(即图乙)中不存在，可以在图11b(即图乙)中的对应区域找到合适的地表纹理贴图，复制到图11a(即图甲)的相应位置；
S42：将消除掩膜后的图甲重新分割为小图像；
S43：对小图像中采用第一种掩膜方式进行掩膜的掩膜部分采用图像修复算法进行修复；
具体地，第一种掩膜方式表示在图乙的对应区域具有其他运动物体，该情况通常出现在物体运动缓慢或其他物体运动到该位置时，此时无法找到相应的地表纹理进行贴图，针对这种情况，可以采用图像修复算法对采用第一种掩膜方式进行掩膜的掩膜部分进行修复。图像修复算法分为基于几何的技术和基于纹理的技术，其中，基于几何的技术是利用平行线或边等结构特征来决定复制像素的位置，从而对要填充的区域进行插值，着重于局部问题，但是该算法对纹理图片处理效果较差；基于纹理的技术通过一些根据顺序策略决定的优先级从图像的其他部分贴至填空区域，适用于具有一定随机性的二维纹理重复图像，并非是局部问题，而是用整个图像作为数据源选择最佳贴片，但是在没有任何例子的情况下重建能力有限。目前，图像修复算法技术较为成熟，本发明采用的图像修复算法可以为深度学习算法如基于CNN的图像修复算法或其他图像修复算法，本发明所采用的是基于纹理合成的图像补全算法(Exemplar based inpainting)，具体可以通过以下方式来实现：
(1)将图像分为已知区域(source region)和待填充(移除)区域(targetregion)；
(2)从待填充区域的边界开始移除，根据优先级决定移除顺序，最终选取优先级最高的边界点为中心，设置块的大小，形成块；具体地，优先级包含数据项和置信度项，两者乘积决定优先级；
(3)在已知区域中找到相似的块；
(4)选取最佳匹配的块填充，完成纹理和结构信息传播；具体地，包括寻找待选择区域中最小化平方和误差的候选区域补丁以及复制补丁至待匹配区域；
(5)更新所有像素点，检测是否有未移除区域；若是，在下一次循环前更新待匹配区域边缘上所有像素点的置信度值，循环至第(2)步；若否，则所有区域修复完毕。
S44：将修复后的图甲重新根据名称序号连接还原为大图；最终填充结果示意图如图12a和图12b所示。
在具体实施时，在执行本发明实施例提供的上述航拍图运动物体检测与消除方法中的步骤S41，对图甲中采用第二种掩膜方式进行掩膜的掩膜部分进行掩膜消除时，如图13所示，具体可以通过以下方式来实现：
S411：将掩膜部分的坐标信息经过单应矩阵变换得到该掩膜部分在图乙中的位置坐标；
S412：截取图乙中转换后坐标内部的四边形地表纹理；
S413：将图乙截取的地表纹理进行反向射影变换为掩膜部分大小；
S414：用变换后的地表纹理代替掩膜部分。
为了进一步证明本发明对工程实际的适用性，验证本发明在三维重建过程中对高分辨率纹理和精准建模的重要性，利用经过预处理的航拍图进行多图超分辨率重建或者三维场景建模，建立出能够满足仿真系统要求的图像或者三维模型。下面分别采用自飞无人机航拍图进行三维建模和采用网上航拍图集进行图像超分辨率重建实验。
实例1：采用自飞无人机航拍图进行三维建模。
此处采用的数据为进行无人机飞行的拍摄结果，三维建模利用Smart3D进行。图14a和图14b为进行三维建模的部分航拍图，如图14a和图14b所示，圆框内的物体保持静止，方框内的物体存在移动。图15a和图15b为经过Smart3D三维重建后的效果，如图15a和图15b所示，存在纹理贴图错误或模型扭曲等问题，如公路路面出现洼点、红色直接被作为纹理贴上(没有高低起伏的模型)以及人物建模不完全导致模型扭曲等。由此可见，运动物体对三维重建结果有着巨大影响。
考虑到自飞无人机航拍图集的图像分辨率为7360*4912，根据本发明实施例提供的上述航拍图运动物体检测与消除方法，具体将其分割成8*8共64张920*614分辨率的图像。分割采用Global Mapper软件脚本运行，或者也可以利用OpenCV等编程实现。具体地，Global Mapper脚本中需要确定输入图像及输出图像的路径及输出分辨率等，最终将图像分解为64张图。
利用本发明实施例提供的上述航拍图运动物体检测与消除方法对图像进行运动物体检测与消除，图16a和图16b为本发明去掉原始航拍图中运动物体的结果，如图16a和图16b所示，运动车辆和行人被去除，静止车辆被保留。图17a和图17b为重新进行三维重建后的效果，如图17a和图17b所示，原先纹理贴图错误或模型扭曲问题已经消失，三维重建结果得到极大改善。
综上所述，通过上述方式重建的三维模型可以极大程度的降低纹理贴图错误或模型扭曲的问题，有效提高三维模型的准确性，满足对于模型准确度较高的三维建模需求或其他应用要求。
实施例2：采用网上航拍图集进行图像超分辨率重建实验：
为了证明本发明实施例提供的上述航拍图运动物体检测与消除方法的通用性，网上航拍图集是本发明进行图像超分辨率重建实验采用的数据。图像超分辨率重建通过PhotoShop进行。图18a和图18b为本次采用的重建用图的部分图像。如图18a和图18b所示，方框内的车辆存在移动，圆框内的车辆保持静止。经过Photoshop超分辨率重建后，如图19所示，方框内的车辆存在重影，圆框内的车辆则保持实体。由此可见，运动物体对原始航拍图超分辨率结果有着巨大影响。
图20a和图20b为本发明去掉原始航拍图中运动物体的结果，如图20a和图20b所示，运动车辆被去除，静止车辆被保留。重新进行超分辨率重建后，如图21所示，原先重影部分已经消失，图像超分辨率结果得到极大改善。
通过上述方式重建的超分辨率图像可以极大程度的提高原始图像分辨率，且重影问题得到改善，满足对于分辨率较高的三维建模纹理需求或其他应用要求。
本发明实施例提供的上述航拍图运动物体检测与消除方法，从航拍图中检测可疑物体，对可疑物体进行筛选得出运动物体并对运动物体进行掩膜，通过对掩膜区域进行图像修复去除运动物体，通过对运动物体的去除，可以有效改善和解决在航拍过程中由于车辆或行人等运动物体的位置变化造成的图像超分辨率重建纹理效果问题以及三维建模中模型扭曲和纹理错误贴图的问题，并且，是针对不同的情况选择合适的纹理图片进行运动物体的消除，使得消除运动物体后的图像更接近地面真实情况；此外，本发明实施例提供的上述航拍图运动物体检测与消除方法，能够有效检测出动态背景下的运动物体，不仅仅局限于视频等重叠度大的相邻帧图片，尤其适用于如航拍图等重叠度较小的情况。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种高分辨率纹理生成的航拍图运动物体检测与消除方法，其特征在于，包括以下步骤：
S1：准备待处理航拍图，对图像进行分割；
S2：利用深度学习算法对分割后的图像进行物体检测，并将检测后的图像重新连接还原为大图；
S3：对比相邻两张图像，判断运动物体，并对需要去除的运动物体进行掩膜；
S4：根据对比结果采取相应措施消除运动物体，包括利用匹配图像纹理贴图和利用图像修复算法修复图像。
2.如权利要求1所述的航拍图运动物体检测与消除方法，其特征在于，步骤S1，准备待处理航拍图，对图像进行分割，具体包括：
S11：准备待处理航拍图；
S12：根据物体检测和图像修复算法的计算，选择合适的图像分辨率，对图像进行分割。
3.如权利要求1所述的航拍图运动物体检测与消除方法，其特征在于，步骤S2，利用深度学习算法对分割后的图像进行物体检测，并将检测后的图像重新连接还原为大图，具体包括：
S21：利用深度学习算法对分割后的图像进行模型训练和物体检测；
S22：将检测后的图像通过图像名称序号对应位置重新拼接为原先大图。
4.如权利要求1所述的航拍图运动物体检测与消除方法，其特征在于，步骤S3，对比相邻两张图像，判断运动物体，并对需要去除的运动物体进行掩膜，具体包括：
S31：计算包含同一区域的相邻两张图像的转换矩阵；其中，相邻两张图像记为图甲和图乙；
S32：利用转换矩阵对检测到的物体进行坐标转换，进行图甲到图乙的转换对比；
S33：通过对比图乙中相应位置是否存在同一物体来判断物体是否存在运动；
S34：重新进行图乙到图甲的转换对比；
S35：进行下两张图的转换对比直至全部结束；
S36：对需要去除的运动物体进行掩膜。
5.如权利要求4所述的航拍图运动物体检测与消除方法，其特征在于，步骤S31，计算包含同一区域的相邻两张图像的转换矩阵，具体包括：
S311：计算相邻两张图像的特征点，对特征点进行匹配；
S312：通过随机抽样一致性算法进行匹配对的筛选，保留正确的匹配对；
S313：将匹配对导入单应矩阵的计算方程组，得到单应矩阵。
6.如权利要求4所述的航拍图运动物体检测与消除方法，其特征在于，步骤S32，利用转换矩阵对检测到的物体进行坐标转换，进行图甲到图乙的转换对比，具体包括：
S321：根据单应矩阵计算图甲和图乙的相互转换坐标，找出图甲和图乙的重合区域；
S322：依次找到图甲中的物体检测回归框在图乙中的具体位置。
7.如权利要求4所述的航拍图运动物体检测与消除方法，其特征在于，步骤S33，通过对比图乙中相应位置是否存在同一物体来判断物体是否存在运动，具体包括：
S331：查找图乙中相应位置处是否存在物体被检测；
若是，则执行步骤S332～步骤S334；若否，则执行步骤S335；
S332：设定图像相似的阈值，通过图像质量评价算法判断图甲与图乙中的物体是否为同一物体；若是，则执行步骤S333；若否，则执行步骤S334；
S333：确定物体不存在运动；
S334：确定物体存在运动；
S335：确定物体存在运动。
8.如权利要求7所述的航拍图运动物体检测与消除方法，其特征在于，步骤S36，对需要去除的运动物体进行掩膜，具体包括：
若执行步骤S334，则之后执行步骤S361；若执行步骤S335，则之后执行步骤S362；
S361：采取第一种掩膜方式进行掩膜，对运动物体像素级实例分割出的物体区域及周围20像素点范围全部采用绿色进行覆盖；
S362：采取第二种掩膜方式进行掩膜，对运动物体回归框中的物体区域及周围20像素点范围全部采用蓝色进行覆盖。
9.如权利要求8所述的航拍图运动物体检测与消除方法，其特征在于，步骤S4，根据对比结果采取相应措施消除运动物体，包括利用匹配图像纹理贴图和利用图像修复算法修复图像，具体包括：
S41：对图甲中采用第二种掩膜方式进行掩膜的掩膜部分进行掩膜消除；
S42：将消除掩膜后的图甲重新分割为小图像；
S43：对小图像中采用第一种掩膜方式进行掩膜的掩膜部分采用图像修复算法进行修复；
S44：将修复后的图甲重新根据名称序号连接还原为大图。
10.如权利要求9所述的航拍图运动物体检测与消除方法，其特征在于，步骤S41，对图甲中采用第二种掩膜方式进行掩膜的掩膜部分进行掩膜消除，具体包括：
S411：将掩膜部分的坐标信息经过单应矩阵变换得到该掩膜部分在图乙中的位置坐标；
S412：截取图乙中转换后坐标内部的四边形地表纹理；
S413：将图乙截取的地表纹理进行反向射影变换为掩膜部分大小；
S414：用变换后的地表纹理代替掩膜部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910248334.3A CN110033475B (zh) | 2019-03-29 | 2019-03-29 | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910248334.3A CN110033475B (zh) | 2019-03-29 | 2019-03-29 | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110033475A true CN110033475A (zh) | 2019-07-19 |
| CN110033475B CN110033475B (zh) | 2020-12-15 |
Family
ID=67236845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910248334.3A Active CN110033475B (zh) | 2019-03-29 | 2019-03-29 | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110033475B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414492A (zh) * | 2019-08-29 | 2019-11-05 | 广东工业大学 | 一种晶体材料图像识别方法及装置 |
| CN110443764A (zh) * | 2019-08-01 | 2019-11-12 | 北京百度网讯科技有限公司 | 视频修复方法、装置及服务器 |
| CN110879401A (zh) * | 2019-12-06 | 2020-03-13 | 南京理工大学 | 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法 |
| CN110889453A (zh) * | 2019-11-28 | 2020-03-17 | 华南理工大学 | 目标检测与追踪方法、装置、系统、介质和设备 |
| CN111476890A (zh) * | 2020-04-28 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于影像的三维场景重建中移动车辆的修复方法 |
| CN111539914A (zh) * | 2020-03-24 | 2020-08-14 | 上海交通大学 | 一种手机照片质量比较评价方法、系统及终端 |
| CN111968176A (zh) * | 2020-07-17 | 2020-11-20 | 歌尔科技有限公司 | 头戴设备的位姿确定方法、装置、设备及存储介质 |
| CN112116534A (zh) * | 2020-08-07 | 2020-12-22 | 贵州电网有限责任公司 | 一种基于位置信息的鬼影消除方法 |
| WO2021042867A1 (zh) * | 2019-09-06 | 2021-03-11 | 西安光启未来技术研究院 | 一种实现人脸检测的方法和装置 |
| CN116583889A (zh) * | 2020-11-27 | 2023-08-11 | 日产自动车株式会社 | 车辆辅助方法及车辆辅助装置 |
| GB2624756A (en) * | 2022-11-23 | 2024-05-29 | Adobe Inc | Removing distracting objects from digital images |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101321241A (zh) * | 2008-07-04 | 2008-12-10 | 浙江大学 | 一种交互式的视频运动物体消除方法 |
| US20160290786A1 (en) * | 2015-04-01 | 2016-10-06 | Applied Materials Israel Ltd. | Temperature sensitive location error compensation |
| CN106005458A (zh) * | 2016-05-22 | 2016-10-12 | 程岚 | 一种用于无人机高空航拍的自稳平台 |
| CN106920258A (zh) * | 2017-01-24 | 2017-07-04 | 北京富龙飞科技有限公司 | 增强现实中快速实时获得运动物体信息的方法及系统 |
| CN107085836A (zh) * | 2017-05-16 | 2017-08-22 | 合肥工业大学 | 一种在运动物体检测中通用的鬼影消除方法 |
| CN107352032A (zh) * | 2017-07-14 | 2017-11-17 | 广东工业大学 | 一种人流量数据的监控方法及无人机 |
| CN206968975U (zh) * | 2017-07-14 | 2018-02-06 | 广东工业大学 | 一种无人机 |
| US20180075605A1 (en) * | 2016-09-13 | 2018-03-15 | Intelligent Fusion Technology, Inc | Method and system for detecting multiple moving objects from real-time aerial images |
-
2019
- 2019-03-29 CN CN201910248334.3A patent/CN110033475B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101321241A (zh) * | 2008-07-04 | 2008-12-10 | 浙江大学 | 一种交互式的视频运动物体消除方法 |
| US20160290786A1 (en) * | 2015-04-01 | 2016-10-06 | Applied Materials Israel Ltd. | Temperature sensitive location error compensation |
| CN106005458A (zh) * | 2016-05-22 | 2016-10-12 | 程岚 | 一种用于无人机高空航拍的自稳平台 |
| US20180075605A1 (en) * | 2016-09-13 | 2018-03-15 | Intelligent Fusion Technology, Inc | Method and system for detecting multiple moving objects from real-time aerial images |
| CN106920258A (zh) * | 2017-01-24 | 2017-07-04 | 北京富龙飞科技有限公司 | 增强现实中快速实时获得运动物体信息的方法及系统 |
| CN107085836A (zh) * | 2017-05-16 | 2017-08-22 | 合肥工业大学 | 一种在运动物体检测中通用的鬼影消除方法 |
| CN107352032A (zh) * | 2017-07-14 | 2017-11-17 | 广东工业大学 | 一种人流量数据的监控方法及无人机 |
| CN206968975U (zh) * | 2017-07-14 | 2018-02-06 | 广东工业大学 | 一种无人机 |
Non-Patent Citations (3)
| Title |
|---|
| KANNAPPAN PALANIAPPAN ET AL.: "Moving Object Detection for Vehicle Tracking in Wide Area Motion Imagery Using 4D Filtering", 《2016 23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 * |
| 孙琳，龚光红: "大场景多分辨率地形模型建模技术研究", 《中国体视学与图像分析》 * |
| 屠礼芬 等: "自然场景下运动目标检测与阴影剔除方法", 《西安交通大学学报》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443764A (zh) * | 2019-08-01 | 2019-11-12 | 北京百度网讯科技有限公司 | 视频修复方法、装置及服务器 |
| CN110414492A (zh) * | 2019-08-29 | 2019-11-05 | 广东工业大学 | 一种晶体材料图像识别方法及装置 |
| WO2021042867A1 (zh) * | 2019-09-06 | 2021-03-11 | 西安光启未来技术研究院 | 一种实现人脸检测的方法和装置 |
| CN110889453A (zh) * | 2019-11-28 | 2020-03-17 | 华南理工大学 | 目标检测与追踪方法、装置、系统、介质和设备 |
| CN110879401A (zh) * | 2019-12-06 | 2020-03-13 | 南京理工大学 | 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法 |
| CN111539914A (zh) * | 2020-03-24 | 2020-08-14 | 上海交通大学 | 一种手机照片质量比较评价方法、系统及终端 |
| CN111476890B (zh) * | 2020-04-28 | 2023-04-11 | 武汉大势智慧科技有限公司 | 一种基于影像的三维场景重建中移动车辆的修复方法 |
| CN111476890A (zh) * | 2020-04-28 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于影像的三维场景重建中移动车辆的修复方法 |
| CN111968176A (zh) * | 2020-07-17 | 2020-11-20 | 歌尔科技有限公司 | 头戴设备的位姿确定方法、装置、设备及存储介质 |
| CN112116534A (zh) * | 2020-08-07 | 2020-12-22 | 贵州电网有限责任公司 | 一种基于位置信息的鬼影消除方法 |
| CN116583889A (zh) * | 2020-11-27 | 2023-08-11 | 日产自动车株式会社 | 车辆辅助方法及车辆辅助装置 |
| EP4254382A4 (en) * | 2020-11-27 | 2023-10-04 | Nissan Motor Co., Ltd. | VEHICLE ASSISTANCE METHOD AND VEHICLE ASSISTANCE DEVICE |
| US11948372B2 (en) | 2020-11-27 | 2024-04-02 | Nissan Motor Co., Ltd. | Vehicle assist method and vehicle assist device |
| GB2624756A (en) * | 2022-11-23 | 2024-05-29 | Adobe Inc | Removing distracting objects from digital images |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110033475B (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110033475A (zh) | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 | |
| CN109409263B (zh) | 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法 | |
| CN112505065B (zh) | 一种实现室内无人机对大部件表面缺陷进行检测的方法 | |
| CN111539273A (zh) | 一种交通视频背景建模方法及系统 | |
| CN106709436A (zh) | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 | |
| CN108198201A (zh) | 一种多目标跟踪方法、终端设备及存储介质 | |
| CN110070580A (zh) | 基于局部关键帧匹配的slam快速重定位方法及图像处理装置 | |
| CN110287826A (zh) | 一种基于注意力机制的视频目标检测方法 | |
| CN107170037A (zh) | 一种基于多摄像机的实时三维点云重建方法和系统 | |
| Bešić et al. | Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning | |
| US20230281913A1 (en) | Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments | |
| CN111047698B (zh) | 一种真正射影像采集方法 | |
| CN112270697B (zh) | 一种结合超分辨率重建的卫星序列影像运动目标检测方法 | |
| CN106462975A (zh) | 用于对象跟踪和经由背景跟踪进行分割的方法和装置 | |
| CN114782628A (zh) | 基于深度相机的室内实时三维重建方法 | |
| Inamoto et al. | Intermediate view generation of soccer scene from multiple videos | |
| CN110807738A (zh) | 一种基于边缘图块锐化的模糊图像非盲复原方法 | |
| Zheng et al. | Steps: Joint self-supervised nighttime image enhancement and depth estimation | |
| CN114578807A (zh) | 一种无人靶车雷视融合的主动目标检测与避障方法 | |
| CN117274515A (zh) | 基于ORB和NeRF映射的视觉SLAM方法及系统 | |
| Ali et al. | Boundary-constrained robust regularization for single image dehazing | |
| CN110717910B (zh) | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 | |
| CN116883897A (zh) | 一种低分辨率目标识别方法 | |
| CN116758421A (zh) | 一种基于弱监督学习的遥感图像有向目标检测方法 | |
| Zhang et al. | Geometry-Aware Video Quality Assessment for Dynamic Digital Human |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |