CN110569927A - 移动端全景图像扫描提取的方法、终端和计算机设备 - Google Patents

移动端全景图像扫描提取的方法、终端和计算机设备 Download PDF

Info

Publication number
CN110569927A
CN110569927A CN201910887074.4A CN201910887074A CN110569927A CN 110569927 A CN110569927 A CN 110569927A CN 201910887074 A CN201910887074 A CN 201910887074A CN 110569927 A CN110569927 A CN 110569927A
Authority
CN
China
Prior art keywords
image data
data set
image
screening
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910887074.4A
Other languages
English (en)
Inventor
高振宇
韩冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dasou Vehicle Software Technology Co Ltd
Original Assignee
Zhejiang Dasou Vehicle Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dasou Vehicle Software Technology Co Ltd filed Critical Zhejiang Dasou Vehicle Software Technology Co Ltd
Priority to CN201910887074.4A priority Critical patent/CN110569927A/zh
Publication of CN110569927A publication Critical patent/CN110569927A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了移动端全景图像扫描提取的方法、终端和计算机设备，其中，获取感兴趣目标的第一图像数据集合，将该第一图像数据集合的格式转换为第一设定格式，并存储为第二图像数据集合，通过相似模型，对该第二图像数据集合进行相似筛选，得到第三图像数据集合，通过模糊检测模型，对该第三图像数据集合进行模糊筛选，得到第四图像数据集合，解决了全景图像展示对拍摄场地、拍摄设备和拍摄者技术水平的要求过高，拍摄成本较高的问题，提高了全景图像拍摄的效率，降低了对拍摄场地、拍摄设备和拍摄者技术水平的要求，同时降低了成本。

Description

移动端全景图像扫描提取的方法、终端和计算机设备
技术领域
本申请涉及图像处理领域，特别是涉及移动端全景图像扫描提取的方法、终端和计算机设备。
背景技术
随着移动互联网的发展，出现了线上全景图像展示技术，即用户在网上可以提前看到物品的全貌，进而做出选择，因此，用户在购物之前，更倾向于通过网络来浏览物品全貌。对于车辆这种贵重商品，用户在购买之前会更需要对其进行全面详细的了解，尤其对于二手车而言，仅有某些特定角度的照片并不足以让用户放心，所以近年来，相关的车辆网站在展示汽车详情时，都会添加360°全景图像展示，来对整车进行全方位的整体呈现，让用户可以完整地看到整个汽车的情况。
在相关技术中，全景图像展示技术大多是采用专业的相机设备，将车放入专门的场地来进行拍摄。即将车辆置于转盘上旋转，使用专业相机定点拍摄，从而得到多张不同角度的多张图片，这种全景图像展示的拍摄方法对拍摄场地、拍摄设备和拍摄者技术水平的要求过高，因此不能大规模的推广开来。
针对相关技术中，全景图像展示对拍摄场地、拍摄设备和拍摄者技术水平的要求过高，拍摄成本较高的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中，全景图像展示对拍摄场地、拍摄设备和拍摄者技术水平的要求过高，拍摄成本较高的问题，本发明提供了全景图像扫描提取的方法、终端、计算机设备和存储介质，以至少解决上述问题。
根据本发明的一个方面，提供了一种移动端全景图像扫描提取的方法，所述方法包括：
获取感兴趣目标的第一图像数据集合；
将所述第一图像数据集合的格式转换为第一设定格式，并存储为第二图像数据集合；
通过相似模型，对所述第二图像数据集合进行相似筛选，得到第三图像数据集合；
通过模糊检测模型，对所述第三图像数据集合进行模糊筛选，得到第四图像数据集合。
在其中一个实施例中，在所述获取感兴趣目标的第一图像数据集合之前包括：
设置所述移动端的采样帧率为预设采样帧率，设置所述移动端的分辨率为预设分辨率，设置所述第一图像数据集合的格式为预设格式。
在其中一个实施例中，在所述通过相似模型，对所述第二图像数据集合进行相似筛选之前，包括：
所述第一图像数据集合放入异步串行队列进行处理，在所述异步串行队列中建立第一线程处理所述第二图像数据集合。
在其中一个实施例中，所述通过相似模型，对所述第二图像数据集合进行相似筛选包括：
对所述第二图像数据集合进行图像重复检测，将所述第二图像数据集合中的一帧图像与第一预设时间前的图像进行结构相似性SSIM计算，在所述SSIM值小于第一预设阈值的情况下，舍弃所述第二图像数据集合中所述第一预设时间内的图像。
在其中一个实施例中，所述对所述第二图像数据集合进行相似筛选包括：
将所述第二图像数据集合中的一帧图像与第一预设时间前的图像进行感知哈希算法计算，得到数据位值，在所述数据位值不同的数值小于第二预设阈值的情况下，舍弃所述第二图像数据集合中所述第一预设时间内的图像。
在其中一个实施例中，通过模糊检测模型，对所述第三图像数据集合进行模糊筛选包括：
对所述第二图像数据集合通过拉普拉斯Laplacian算法进行图像模糊检测计算，根据所述Laplacian算法输出的方差进行图像筛选，舍弃所述Laplacian算法的方差结果小于第三预设阈值的图像。
在其中一个实施例中，所述模糊筛选包括以下之一：
依据Brenner梯度算法，对所述第三图像数据集合中的图像中相邻两个像素灰度差的平方值进行图像筛选，舍弃所述平方值小于第四预设阈值的图像；
依据Tenengrad梯度算法，对所述第三图像数据集合中的图像的平均灰度值进行图像筛选，舍弃所述平均灰度值小于第五预设阈值的图像。
在其中一个实施例中，在得到第四图像数据集合之后，所述方法还包括：
将所述第四图像数据集合输入配准融合模型，得到所述感兴趣目标的全景图像。
根据本发明的另一个方面，提供了一种移动终端，所述移动终端包括获取模块、转换模块、筛选模块和检测模块：
所述获取模块，用于获取感兴趣目标的第一图像数据集合；
所述转换模块，用于将所述第一图像数据集合的格式转换为第一设定格式，并存储为第二图像数据集合；
所述筛选模块，用于通过相似模型，对所述第二图像数据集合进行相似筛选，得到第三图像数据集合；
所述检测模块，用于通过模糊检测模型，对所述第三图像数据集合进行模糊筛选，得到第四图像数据集合。
在其中一个实施例中，所述移动终端还包括设置模块：
所述设置模块，用于设置所述移动终端的采样帧率为预设采样帧率，还用于设置所述移动端的分辨率为预设分辨率，还用于设置所述第一图像数据集合的格式为预设格式。
在其中一个实施例中，所述移动终端还包括处理模块：
所述处理模块，用于在所述通过相似模型，对所述第二图像数据集合进行相似筛选之前，所述第一图像数据集合放入异步串行队列进行处理，在所述异步串行队列中建立第一线程处理所述第二图像数据集合。
根据本发明的另一个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一所述任一项方法的步骤。
根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存有计算机程序，所述程序被处理器执行时实现上述任一方法的步骤。
通过本发明，获取感兴趣目标的第一图像数据集合，将该第一图像数据集合的格式转换为第一设定格式，并存储为第二图像数据集合，通过相似模型，对该第二图像数据集合进行相似筛选，得到第三图像数据集合，通过模糊检测模型，对该第三图像数据集合进行模糊筛选，得到第四图像数据集合，解决了全景图像展示对拍摄场地、拍摄设备和拍摄者技术水平的要求过高，拍摄成本较高的问题，提高了全景图像拍摄的效率，降低了对拍摄场地、拍摄设备和拍摄者技术水平的要求，同时降低了成本。
附图说明
图1是根据本发明实施例的移动端全景图像扫描的方法的流程图一；
图2是根据本发明实施例的移动端全景图像扫描的方法的流程图二；
图3是根据本发明实施例的移动端全景图像扫描的方法的流程图三；
图4是根据本发明实施例的全景图像扫描的移动终端的结构框图一；
图5是根据本发明实施例的全景图像扫描的移动终端的结构框图二；
图6是根据本发明实施例的全景图像扫描的移动终端的结构框图三；
图7是根据本发明实施例的手机实现车辆外部全景图像扫描提取方法的流程图；
图8是根据本发明实施例的移动端全景图像扫描的方法的流程图四。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，提供了一种移动端全景图像扫描的方法，图1是根据本发明实施例的移动端全景图像扫描的方法的流程图一，如图1所示，该方法包括如下步骤：
步骤S102，获取感兴趣目标的第一图像数据集合。本实施例提供的移动端全景图像扫描的方法，可以应用于各类具有图像信息的处理能力的移动端，包括手机、笔记本电脑、平板电脑、智能可穿戴设备等；本实施例中的物体，可以为车辆，包括轿车、客车、载货车、半挂车等，也可以为起重机械、车床等；预设拍摄角度可以为水平环绕物体360°，可以为竖直环绕物体360°，可以为以上两者的结合，还可以为其中的部分角度；第一图像数据集合为移动端在进行拍摄时，获取到的图像的数据信息，第一图像数据集合的格式为移动端拍摄时的默认格式。
步骤S104，将该第一图像数据集合的格式转换为第一设定格式，并存储为第二图像数据集合。第一图像数据集合的格式包括红绿蓝颜色模型(Red、Green、Blue和Alpha，简称为RGBA)、明度色度模式(Y表示明度Luminance或Luma，U和V表示两种色度信号，简称为YUV)、印刷四分色模式(Cyan、Magenta、Yellow和Black、简称为CMYK)、色相饱和度明度模式((Hue、Saturation和Value，简称为HSV)等，在对图像数据集合进行处理时，由于不同格式的处理速度不同，为了减少处理时间，将第一图像数据集合的格式转换为第一设定格式，其中，第一设定格式可以为RGB格式(Red、Green和Blue，简称为RGB)，并将转换后的图像数据集合存储为第二图像数据集合，表示转换后的图像数据信息。
步骤S106，通过相似模型，对该第二图像数据集合进行相似筛选，得到第三图像数据集合。在根据第二图像数据集合中图像的结构相似度进行筛选的过程中，图像的结构相似度是指两张图像的构图、特征点、亮度、对比度等特点的相似程度。
步骤S108，通过模糊检测模型，对该第三图像数据集合进行模糊筛选，得到第四图像数据集合。在移动端围绕目标进行运动时，移动端的速度可能是变化的，因此会造成图像在短暂的时间内失去焦点，所以需要对第三图像数据集合中的图像进行筛选，图像的模糊程度是指图像中物体和背景的边界是否清晰。
通过上述步骤，使用移动端对物体进行全景拍摄，对拍摄得到的图像进行格式转换和筛选，解决了相关技术中，需要专业的相机、专业的拍摄场地和专业的拍摄者，全景图像展示对拍摄场地、拍摄设备和拍摄者技术水平的要求过高，拍摄成本较高的问题，该方法对相机、拍摄场地和拍摄人员的要求降低，节约了拍摄成本。
在另一个实施例中，图2是根据本发明实施例的移动端全景图像扫描的方法的流程图二，如图2所示，该方法包括如下步骤：
步骤S202，设置移动端的采样帧率为预设采样帧率，设置该移动端的分辨率为预设分辨率，设置该第一图像数据集合的格式为预设格式。其中，预设采样帧率为每秒传输帧数7至10，预设分辨率为1600×1200像素，预设格式为RGBA或YUV。移动端在进行拍摄时，在采用预设采样频率、预设分辨率、预设格式的情况下，会更快地获取到图像的图像数据集合，节约时间。
在另一个实施例中，图3是根据本发明实施例的移动端全景图像扫描的方法的流程图三，如图3所示，该方法包括如下步骤：
步骤S302，第一图像数据集合放入异步串行队列进行处理，在该异步串行队列中建立第一线程处理第二图像数据集合。通过异步串行队列对第二图像数据集合进行处理，可以保证在执行主线程的同时进行新线程的处理，节约处理时间。
在另一个实施例中，通过相似模型，对第二图像数据集合的图像进行筛选，将该第二图像数据集合中的一帧图像与第一预设时间前的图像进行结构相似性(StructuralSimilarity index，简称为SSIM)计算，在该SSIM值小于第一预设阈值的情况下，舍弃第二图像数据集合中第一预设时间内的图像，其中，SSIM算法为结构相似性计算，通过对不同图片的均值、方差和协方差对图片的亮度、对比度和结构进行比较计算，得到SSIM值，SSIM值的范围为大于或等于0，且该SSIM值小于或等于1。本实施例中，第一预设时间可以为一秒或者其他时间值，第一预设阈值可以为0.9或者其他数值，例如，将第二图像数据集合中的一帧图像与一秒前的图像进行SSIM算法计算，在SSIM值小于0.9的情况下，舍弃这一秒内的所有图像数据。在经过SSIM算法进行的图像重复检测之后，可以去除移动端在静止或运动幅度较小情况下拍摄得到的图像，减少了进行全景拼接时需要处理的数据量。
在另一个实施例中，对第二图像数据集合进行相似筛选包括，将该第二图像数据集合中的一帧图像与第一预设时间前的图像进行感知哈希算法计算，得到数据位值，在该数据位值不同的数值小于第二预设阈值的情况下，舍弃该第二图像数据集合中该第一预设时间内的图像，其中，感知哈希算法可以将图像缩小至64像素，最后得到64位的长整数，该长整数的每一位称为数据位，两张图像的数据位中，相同的数据位越多，说明两张图像越相似。第一预设时间可以为一秒或者其他时间值，第二预设阈值可以为5或者其他数值，例如，将该第二图像数据集合中的一帧图像与第一预设时间前的图像进行感知哈希算法计算，对两张图像的数据位进行对比，在数据位不同的值小于5的情况下，舍弃这一秒内的所有图像数据。在经过感知哈希算法进行图像重复检测之后，可以去除移动端在静止或运动幅度较小情况下拍摄得到的图像，减少了进行全景拼接时需要处理的数据量。
在另一个实施例中，通过模糊检测模型，对第三图像数据集合进行模糊筛选包括，对第三图像数据集合通过拉普拉斯Laplacian算法进行图像模糊检测计算，根据该Laplacian算法输出的方差进行图像筛选，舍弃该Laplacian算法的方差结果小于第三预设阈值的图像。Laplacian算法通过计算二阶导数衡量图像中密度快速变化的区域，密度快速变化的区域即为图像中物体与背景的边界，图像清晰时Laplacian算法值比图像模糊时Laplacian算法值大。Laplacian算法处理过程为将图像通过跨平台计算机视觉库(OpenSource Computer Vision Library，简称为OpenCV)转换为单通道的黑白图，用3×3的核对图像的一个通道进行卷积计算，输出方差。在本实施例中，第三预设阈值可以为100，即舍弃Laplacian算法输出的方差值小于100的图像，通过Laplacian算法进行图像模糊检测，可以去除第三图像数据集合中模糊的图像，减少了进行全景拼接时需要处理的数据量。
在另一个实施例中，模糊筛选包括依据Brenner梯度算法，对图像中相邻两个像素灰度差的平方值进行图像筛选，舍弃该平方值小于第四预设阈值的图像，该平方值越大，表示与该平方值对应的图像越清晰。
在另一个实施例中，模糊筛选包括依据Tenengrad梯度算法，对图像的平均灰度值进行图像筛选，舍弃该平均灰度值小于第五预设阈值的图像。该灰度值越大，表示与该灰度值对应的图像越清晰。
在另一个实施例中，在得到第四图像数据集合之后，该方法还包括，将第四图像数据集合输入配准融合模型，得到感兴趣目标的全景图像。第四图像数据集合中的图像为最后需要进行全景拼接的图像，在全景拼接时，图像配准为找出待拼接图像中的模板或特征点，进而确定图像之间的变换关系，图像融合为根据图像中的变换关系，建立图像之间的数学变换模型，根据该数学变换模型，将待拼接的图像转换到同一坐标系中，完成坐标变换，在此基础上，将图像的重合区域进行融合，得到拼接重构后的全景图像。
应该理解的是，虽然图1至3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
对应于上述移动端全景图像扫描提取的方法，在本实施例中，还提供了一种移动端全景图像扫描提取的设备，该设备用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
在一个实施例中，提供了一种全景图像扫描的移动终端，图4是根据本发明实施例的全景图像扫描的移动终端的结构框图一，如图4所示，包括获取模块42、转换模块44、筛选模块46和检测模块48：
获取模块42，用于获取感兴趣目标的第一图像数据集合；
转换模块44，用于将该第一图像数据集合的格式转换为第一设定格式，并存储为第二图像数据集合；
筛选模块46，用于通过相似模型，对该第二图像数据集合进行相似筛选，得到第三图像数据集合；
检测模块48，用于通过模糊检测模型，对该第三图像数据集合进行模糊筛选，得到第四图像数据集合。
通过上述设备，使用移动终端对物体进行全景拍摄，获取模块42获取物体预设拍摄角度的第一图像数据集合，在转换模块44对拍摄得到的图像进行格式转换后，筛选模块46和检测模块48对第二图像数据集合进行筛选，解决了相关技术中，需要专业的相机、专业的拍摄场地和专业的拍摄者，全景图像展示对拍摄场地、拍摄设备和拍摄者技术水平的要求过高，拍摄成本较高的问题，该方法对相机、拍摄场地和拍摄人员的要求降低，节约了拍摄成本。
在另一个实施例中，图5是根据本发明实施例的全景图像扫描的移动终端的结构框图二，如图5所示，该移动终端还包括设置模块52：
设置模块52，用于设置该移动终端的采样帧率为预设采样帧率，还用于设置该移动端的分辨率为预设分辨率，还用于设置该第一图像数据集合的格式为预设格式。移动终端在进行拍摄时，在设置模块52设置预设采样频率、预设分辨率、预设格式的情况下，会更快地获取到图像的数据集合，节约时间。
在另一个实施例中，图6是根据本发明实施例的全景图像扫描的移动终端的结构框图三，如图6所示，该移动终端还包括处理模块62：
处理模块62，用于在该通过相似模型，对该第二图像数据集合进行相似筛选之前，该第一图像数据集合放入异步串行队列进行处理，在该异步串行队列中建立第一线程处理该第二图像数据集合。
下面结合实际应用场景对本发明的实施例进行详细说明，在进行车辆外观全景拍摄时，图7是根据本发明实施例的手机实现车辆外部全景图像扫描提取方法的流程图，如图7所示，该方法包括如下步骤：
步骤S702，设置手机摄像机的采样帧率为7至10fps，设置手机摄像机的分辨率为1600×1200像素，设置手机摄像机的图像数据集合格式为RGBA或YUV格式；
步骤S704，手机围绕车辆拍摄一圈，对车辆外观进行扫描，获取车辆的外观扫描图像数据集合；
步骤S706，通过手机操作系统的接口实时获取图像数据集合；
步骤S708，将该图像数据集合格式转换为RGB格式，转换公式为公式1、公式2和公式3；
R＝Y+1.14V 公式1
G＝Y-0.39U-0.58V 公式2
B＝Y+2.03U 公式3
其中，R、G、B分别表示RGB格式中三个通道的值，Y、U、V分别表示YUV格式中三个通道的值；
步骤S710，创建新的异步串行队列线程，专门处理每一帧的图像数据，将格式转换后的图像数据作为一个任务添加到任务队列中异步处理；
步骤S712，对于转换后的图像，根据图像数据集合中图像的结构相似度进行图像筛选，将一帧图像数据和一秒前的图像数据进行SSIM计算，如果得到的值小于0.9，则对于这一秒中的所有数据帧进行舍弃；
步骤S714，对于转换后的图像，根据图像数据集合中图像的模糊程度进行图像筛选，通过Laplacian算法计算其模糊度，即将图像通过OpenCV转换为单通道的黑白图，然后用3×3的核对图像的一个通道进行卷积计算，得到计算输出的方差，如果方差小于100，则图像视为模糊，对于模糊的图像数据直接舍弃；
步骤S716，保存图片，将筛选通过的图像数据保存在指定的文件目录下，以获取的顺序进行命名，格式为JPG(Joint Photographic Experts Group，简称为JPG)。
通过上述步骤，可以直接使用手机实现车辆外部的全景图像扫描提取，不需要专业的场地、相机和技术人员，降低了拍摄成本。在本实施例中，拍摄过程中可以对车辆的外观扫描图像数据集合进行实时预览，以便及时调整摄像机的捕获内容。
在一个实施例中，提供了一种移动端全景图像扫描的方法，图8是根据本发明实施例的移动端全景图像扫描的方法的流程图四，如图8所示，该方法包括如下步骤：
步骤S802，手机围绕车辆拍摄一圈，对车辆外观全景拍摄视频，获取物体预设拍摄角度的第一图像数据集合，将该第一图像数据集合保存在本地；
步骤S804，将第一图像数据集合的格式转换为第一设定格式，并存储为第二图像数据集合；
步骤S806，依据图像的结构相似度，提取该第二图像数据集合中的关键帧得到第三图像数据集合；
步骤S808，依据图像的模糊程度，提取该第三图像数据集合中的关键帧，得到第四图像数据集合；
步骤S810，将第四图像数据集合中的图像进行图像配准和图像融合，得到物体在该预设拍摄角度的全景图像。
通过上述方法，直接获得车辆外部的图像，降低了对拍摄场地、拍摄设备和拍摄者技术水平的要求，同时降低了成本。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种移动端全景图像扫描提取的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行所述计算机程序时实现上述各个实施例提供的移动端全景图像扫描提取的方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例提供的移动端全景图像扫描提取的方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种移动端全景图像扫描提取的方法，其特征在于，所述方法包括：
获取感兴趣目标的第一图像数据集合；
将所述第一图像数据集合的格式转换为第一设定格式，并存储为第二图像数据集合；
通过相似模型，对所述第二图像数据集合进行相似筛选，得到第三图像数据集合；
通过模糊检测模型，对所述第三图像数据集合进行模糊筛选，得到第四图像数据集合。
2.根据权利要求1所述的方法，其特征在于，在所述获取感兴趣目标的第一图像数据集合之前包括：
设置所述移动端的采样帧率为预设采样帧率，设置所述移动端的分辨率为预设分辨率，设置所述第一图像数据集合的格式为预设格式。
3.根据权利要求1所述的方法，其特征在于，在所述通过相似模型，对所述第二图像数据集合进行相似筛选之前，包括：
所述第一图像数据集合放入异步串行队列进行处理，在所述异步串行队列中建立第一线程处理所述第二图像数据集合。
4.根据权利要求3所述的方法，其特征在于，所述通过相似模型，对所述第二图像数据集合进行相似筛选包括：
对所述第二图像数据集合进行图像重复检测，将所述第二图像数据集合中的一帧图像与第一预设时间前的图像进行结构相似性SSIM计算，在所述SSIM值小于第一预设阈值的情况下，舍弃所述第二图像数据集合中所述第一预设时间内的图像。
5.根据权利要求4所述的方法，其特征在于，所述对所述第二图像数据集合进行相似筛选包括：
将所述第二图像数据集合中的一帧图像与第一预设时间前的图像进行感知哈希算法计算，得到数据位值，在所述数据位值不同的数值小于第二预设阈值的情况下，舍弃所述第二图像数据集合中所述第一预设时间内的图像。
6.根据权利要求1所述的方法，其特征在于，所述通过模糊检测模型，对所述第三图像数据集合进行模糊筛选包括：
对所述第二图像数据集合通过拉普拉斯Laplacian算法进行图像模糊检测计算，根据所述Laplacian算法输出的方差进行图像筛选，舍弃所述Laplacian算法的方差结果小于第三预设阈值的图像。
7.根据权利要求6所述的方法，其特征在于，所述模糊筛选包括以下之一：
依据Brenner梯度算法，对所述第三图像数据集合中的图像中相邻两个像素灰度差的平方值进行图像筛选，舍弃所述平方值小于第四预设阈值的图像；
依据Tenengrad梯度算法，对所述第三图像数据集合中的图像的平均灰度值进行图像筛选，舍弃所述平均灰度值小于第五预设阈值的图像。
8.根据权利要求1至7中任一项所述的方法，其特征在于，在得到第四图像数据集合之后，所述方法还包括：
将所述第四图像数据集合输入配准融合模型，得到所述感兴趣目标的全景图像。
9.一种移动终端，其特征在于，所述移动终端包括获取模块、转换模块、筛选模块和检测模块：
所述获取模块，用于获取感兴趣目标的第一图像数据集合；
所述转换模块，用于将所述第一图像数据集合的格式转换为第一设定格式，并存储为第二图像数据集合；
所述筛选模块，用于通过相似模型，对所述第二图像数据集合进行相似筛选，得到第三图像数据集合；
所述检测模块，用于通过模糊检测模型，对所述第三图像数据集合进行模糊筛选，得到第四图像数据集合。
10.根据权利要求9所述的移动终端，其特征在于，所述移动终端还包括设置模块：
所述设置模块，用于设置所述移动终端的采样帧率为预设采样帧率，还用于设置所述移动端的分辨率为预设分辨率，还用于设置所述第一图像数据集合的格式为预设格式。
11.根据权利要求9所述的移动终端，其特征在于，所述移动终端还包括处理模块：
所述处理模块，用于在所述通过相似模型，对所述第二图像数据集合进行相似筛选之前，所述第一图像数据集合放入异步串行队列进行处理，在所述异步串行队列中建立第一线程处理所述第二图像数据集合。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至8中任一步骤。
CN201910887074.4A 2019-09-19 2019-09-19 移动端全景图像扫描提取的方法、终端和计算机设备 Pending CN110569927A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910887074.4A CN110569927A (zh) 2019-09-19 2019-09-19 移动端全景图像扫描提取的方法、终端和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910887074.4A CN110569927A (zh) 2019-09-19 2019-09-19 移动端全景图像扫描提取的方法、终端和计算机设备

Publications (1)

Publication Number Publication Date
CN110569927A true CN110569927A (zh) 2019-12-13

Family

ID=68781092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910887074.4A Pending CN110569927A (zh) 2019-09-19 2019-09-19 移动端全景图像扫描提取的方法、终端和计算机设备

Country Status (1)

Country Link
CN (1) CN110569927A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970537A (zh) * 2020-08-04 2020-11-20 威海精讯畅通电子科技有限公司 一种根系扫描图像处理方法及系统
CN112183353A (zh) * 2020-09-28 2021-01-05 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置和相关设备
CN112468832A (zh) * 2020-10-22 2021-03-09 北京拙河科技有限公司 一种十亿级像素全景视频直播方法、装置、介质及设备
CN112738533A (zh) * 2020-12-28 2021-04-30 中国南方电网有限责任公司超高压输电公司 一种机巡图像分区域压缩方法
CN113360378A (zh) * 2021-06-04 2021-09-07 北京房江湖科技有限公司 一种用于生成vr场景的应用程序的回归测试方法及装置
CN114201726A (zh) * 2020-09-18 2022-03-18 深圳先进技术研究院 一种卷积运算优化方法、系统、终端以及存储介质
CN114792357A (zh) * 2022-03-23 2022-07-26 北京城市网邻信息技术有限公司 全景图资源生成方法、装置、电子设备及存储介质
WO2022214093A1 (en) * 2021-04-08 2022-10-13 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN117372933A (zh) * 2023-12-06 2024-01-09 南京智绘星图信息科技有限公司 图像去冗方法、装置及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244680A (zh) * 2011-07-04 2011-11-16 东华大学 一种基于体域传感阵列的全景视频码流生成方法
CN105872386A (zh) * 2016-05-31 2016-08-17 深圳易贝创新科技有限公司 一种全景摄像装置以及全景图片生成方法
CN105957008A (zh) * 2016-05-10 2016-09-21 厦门美图之家科技有限公司 基于移动终端的全景图像实时拼接方法及系统
CN106462944A (zh) * 2016-05-30 2017-02-22 香港应用科技研究院有限公司 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图
CN106952225A (zh) * 2017-02-15 2017-07-14 山东科技大学 一种面向森林防火的全景拼接方法
CN107272983A (zh) * 2016-04-06 2017-10-20 阿里巴巴集团控股有限公司 一种物品图像的展示方法、装置及系统
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN107526245A (zh) * 2017-08-31 2017-12-29 清远市奇盛科技有限公司 基于单摄像头的360度全景影像生成方法
CN108416732A (zh) * 2018-02-02 2018-08-17 重庆邮电大学 一种基于图像配准与多分辨率融合的全景图像拼接方法
CN108648218A (zh) * 2018-04-04 2018-10-12 广州市安晓科技有限责任公司 一种汽车环视全景中模糊棋盘格的匹配方法及系统
CN108961166A (zh) * 2018-07-06 2018-12-07 北京百度网讯科技有限公司 全景图像生成系统、方法和装置
CN110033411A (zh) * 2019-04-12 2019-07-19 哈尔滨工业大学 基于无人机的公路施工现场全景图像高效拼接方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244680A (zh) * 2011-07-04 2011-11-16 东华大学 一种基于体域传感阵列的全景视频码流生成方法
CN107272983A (zh) * 2016-04-06 2017-10-20 阿里巴巴集团控股有限公司 一种物品图像的展示方法、装置及系统
CN105957008A (zh) * 2016-05-10 2016-09-21 厦门美图之家科技有限公司 基于移动终端的全景图像实时拼接方法及系统
CN106462944A (zh) * 2016-05-30 2017-02-22 香港应用科技研究院有限公司 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图
CN105872386A (zh) * 2016-05-31 2016-08-17 深圳易贝创新科技有限公司 一种全景摄像装置以及全景图片生成方法
CN106952225A (zh) * 2017-02-15 2017-07-14 山东科技大学 一种面向森林防火的全景拼接方法
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN107526245A (zh) * 2017-08-31 2017-12-29 清远市奇盛科技有限公司 基于单摄像头的360度全景影像生成方法
CN108416732A (zh) * 2018-02-02 2018-08-17 重庆邮电大学 一种基于图像配准与多分辨率融合的全景图像拼接方法
CN108648218A (zh) * 2018-04-04 2018-10-12 广州市安晓科技有限责任公司 一种汽车环视全景中模糊棋盘格的匹配方法及系统
CN108961166A (zh) * 2018-07-06 2018-12-07 北京百度网讯科技有限公司 全景图像生成系统、方法和装置
CN110033411A (zh) * 2019-04-12 2019-07-19 哈尔滨工业大学 基于无人机的公路施工现场全景图像高效拼接方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HARRY MEI: "图像相似度判断方法", 《HTTP://HARRYMEI.GITHUB.IO/2019/01/14/%E5%9B%BE%E5%83%8F%E7%9B%B8%E4%BC%BC%E5%BA%A6%E5%88%A4%E6%96%AD%E6%96%B9%E6%B3%95/》 *
不是格格是炜彤啊。: "GCD 的同步任务,异步任务,串行队列,并行队列的理解", 《HTTPS://BLOG.CSDN.NET/QQ_27074387/ARTICLE/DETAILS/88875062》 *
修雨轩陈: "图像的模糊检测方法", 《HTTPS://WWW.CNBLOGS.COM/GREENTOMLEE/P/9379471.HTML》 *
李彬: "全景视频实时拼接技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王森: "全景图像多尺度分割方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970537A (zh) * 2020-08-04 2020-11-20 威海精讯畅通电子科技有限公司 一种根系扫描图像处理方法及系统
CN114201726A (zh) * 2020-09-18 2022-03-18 深圳先进技术研究院 一种卷积运算优化方法、系统、终端以及存储介质
CN112183353A (zh) * 2020-09-28 2021-01-05 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置和相关设备
CN112183353B (zh) * 2020-09-28 2022-09-20 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置和相关设备
CN112468832A (zh) * 2020-10-22 2021-03-09 北京拙河科技有限公司 一种十亿级像素全景视频直播方法、装置、介质及设备
CN112738533A (zh) * 2020-12-28 2021-04-30 中国南方电网有限责任公司超高压输电公司 一种机巡图像分区域压缩方法
WO2022214093A1 (en) * 2021-04-08 2022-10-13 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN113360378A (zh) * 2021-06-04 2021-09-07 北京房江湖科技有限公司 一种用于生成vr场景的应用程序的回归测试方法及装置
CN114792357A (zh) * 2022-03-23 2022-07-26 北京城市网邻信息技术有限公司 全景图资源生成方法、装置、电子设备及存储介质
CN117372933A (zh) * 2023-12-06 2024-01-09 南京智绘星图信息科技有限公司 图像去冗方法、装置及电子设备
CN117372933B (zh) * 2023-12-06 2024-02-20 南京智绘星图信息科技有限公司 图像去冗方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN110569927A (zh) 移动端全景图像扫描提取的方法、终端和计算机设备
US9558543B2 (en) Image fusion method and image processing apparatus
WO2018176925A1 (zh) Hdr图像的生成方法及装置
US8165396B2 (en) Digital image editing system and method for combining a foreground image with a background image
JP4375322B2 (ja) 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体
US20150103201A1 (en) Image processing apparatus, image processing method, program and imaging apparatus
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
JP4533287B2 (ja) 色処理方法およびその装置
JP2020095611A (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
CN112767291A (zh) 可见光图像和红外图像融合方法、设备及可读存储介质
US20100079582A1 (en) Method and System for Capturing and Using Automatic Focus Information
EP2445213A1 (en) Systems and methods for reducing the total number of bits required to be transferred over a communication link for an image
US20090324127A1 (en) Method and System for Automatic Red-Eye Correction
WO2017104328A1 (ja) 画像処理装置及び画像処理方法
US10567644B2 (en) Image capturing device, image processing method and image processing device for stitching and blending operations
WO2023151210A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
CN114862734A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2007149792A2 (en) Estimation of lighting conditions based on near-gray pixel detection using cylindrical boundaries
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备
JP6696596B2 (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
CN113781330A (zh) 图像处理方法、装置及电子系统
CN111242087A (zh) 物体识别方法及装置
CN110785772A (zh) 一种图像处理方法、设备、系统及存储介质
CN118115560A (zh) 深度信息确定方法、装置、电子设备和计算机存储介质
CN115731143A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213