CN111274421B - 图片数据清洗方法、装置、计算机设备和存储介质 - Google Patents

图片数据清洗方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111274421B
CN111274421B CN202010042605.2A CN202010042605A CN111274421B CN 111274421 B CN111274421 B CN 111274421B CN 202010042605 A CN202010042605 A CN 202010042605A CN 111274421 B CN111274421 B CN 111274421B
Authority
CN
China
Prior art keywords
pictures
group
preset
virtual
cleaning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010042605.2A
Other languages
English (en)
Other versions
CN111274421A (zh
Inventor
胡晨婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010042605.2A priority Critical patent/CN111274421B/zh
Publication of CN111274421A publication Critical patent/CN111274421A/zh
Priority to PCT/CN2020/099435 priority patent/WO2021143065A1/zh
Application granted granted Critical
Publication of CN111274421B publication Critical patent/CN111274421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请揭示了一种图片数据清洗方法、装置、计算机设备和存储介质,所述方法包括:接收数据清洗指令;在第一虚拟三维空间中引入第一组图片,将所述第一组图片组合成第一立体结构;在第二虚拟三维空间中引入第二组图片,将所述第二组图片组合成第二立体结构;在所述第一虚拟三维空间中对所述第一立体结构进行图像采集,从而得到第一平面图像;在所述第二虚拟三维空间中对所述第二立体结构进行图像采集,从而得到第二平面图像;计算第一平面图像和所述第二平面图像之间的清洗指数;若清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。从而提高数据清洗的效率。

Description

图片数据清洗方法、装置、计算机设备和存储介质
技术领域
本申请涉及到计算机领域,特别是涉及到一种图片数据清洗方法、装置、计算机设备和存储介质。
背景技术
数据清洗是对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。数据清洗一般包括不完整的数据、错误的数据、重复的数据等。其中,不完整的数据和错误的数据容易被识别(因为格式或数值等具有明显差异),因此容易进行清洗。而对于重复的数据,当该数据为图片数据时,要识别出重复的图片,传统技术需要耗费大量的计算资源,以进行图片的像素点的对比。因此,传统方法在对图片数据进行数据清洗时,尤其在处理大批量的图片数据的重复性检测并清洗时,耗时长效率低。
发明内容
本申请的主要目的为提供一种图片数据清洗方法、装置、计算机设备和存储介质,旨在提高数据清洗的效率。
为了实现上述发明目的,本申请提出一种图片数据清洗方法,包括以下步骤:
接收数据清洗指令,所述数据清洗指令用于对第一组图片和第二组图片进行数据清洗,其中所述第一组图片的图片数量和所述第二组图片的图片数量相同;
在预设的第一虚拟三维空间中引入所述第一组图片,并根据预设的第一图片组合方法,将所述第一组图片组合成第一立体结构,所述第一虚拟三维空间符合光线传播原理;
以及,在预设的第二虚拟三维空间中引入所述第二组图片,并根据预设的第二图片组合方法,将所述第二组图片组合成第二立体结构;其中所述第一虚拟三维空间与所述第二虚拟三维空间相同,所述第一图片组合方法与所述第二图片组合方法相同,所述第一立体结构与所述第二立体结构相同,所述第二虚拟三维空间符合光线传播原理;
根据预设的第一位置生成方法,在所述第一虚拟三维空间中生成第一位置,并在所述第一位置上对所述第一立体结构进行图像采集,从而得到第一平面图像;
以及,根据预设的第二位置生成方法,在所述第二虚拟三维空间中生成第二位置,并在所述第二位置上对所述第二立体结构进行图像采集,从而得到第二平面图像,其中所述第一位置生成方法与所述第二位置生成方法相同,所述第一位置与所述第二位置相同;
根据预设的清洗指数生成方法,计算所述第一平面图像和所述第二平面图像之间的清洗指数,并判断所述清洗指数是否大于预设的清洗阈值;
若所述清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。
进一步地,所述根据预设的第一图片组合方法,将所述第一组图片组合成第一立体结构的步骤,包括:
在所述第一虚拟三维空间中调用预设的第一立体形状,所述第一立体形状是由一个底面、一个顶面和n个侧面构成的闭合形状,所述底面和所述顶面均为正n边形,所述底面的正n边形的边长大于所述顶面的正n边形的边长,所述n个侧面均为相同形状的等腰梯形;
根据预设的图片修改方法,将所述第一组图片中的所有图片分别进行修改,从而得到n张形状相同的梯形形状图片,其中所述第一组图片中共有n张图片,所述梯形形状图片与所述侧面的形状相同;
根据预设的填充顺序,将所述n张图片对应填入所述第一立体形状的n个侧面中,从而得到第一立体结构。
进一步地,所述根据预设的图片修改方法,将所述第一组图片中的所有图片分别进行修改,从而得到n张形状相同的梯形形状图片的步骤,包括:
获取所述等腰梯形的底边长度和梯形高度,并判断所述第一组图片中的所有图片的宽度是否均小于所述底边长度,以及判断所述第一组图片中的所有图片的高度是否均小于所述梯形高度;
若所述第一组图片中的所有图片的宽度均不小于所述底边长度,并且所述第一组图片中的所有图片的高度均不小于所述梯形高度,则对所述第一组图片中的所有图片分别进行裁剪处理,从而得到n张形状相同的梯形形状图片。
进一步地,所述根据预设的填充顺序,将所述n张图片对应填入所述第一立体形状的n个侧面中,从而得到第一立体结构的步骤,包括:
获取所述第一组图片中的所有图片的数据大小,并根据数据大小降序排列的原则,生成所述第一组图片对应的图片排序表;
从所述第一立体形状的n个侧面中选出指定侧面,并将所述图片排序表中排名第一的图片填入所述指定侧面中;
将所述图片排序表中排名第二、第三、...、第n张图片对应填入所述指定侧面右侧第一、第二、...、第n-1个侧面中,从而得到第一立体结构。
进一步地,所述根据预设的第一位置生成方法,在所述第一虚拟三维空间中生成第一位置的步骤,包括:
对所述第一立体结构的n个侧面进行延长处理,从而使所述n个侧面交汇于所述第一立体结构上方的交汇点;
在所述第一立体结构的轴线上生成参考点,其中所述交汇点和所述第一立体结构的顶面中心位于所述第一立体结构的轴线上,并且所述参考点与所述第一立体结构的顶面中心分别位于所述交汇点的两侧;
在所述参考点上生成虚拟平面,所述虚拟平面与所述第一立体结构的顶面平行;
在所述虚拟平面中生成暂时位置,并分别连接所述暂时位置与n个指定点,从而得到n条连线,并判断所述n条连线与所述第一立体结构是否相交,其中所述n个指定点分别位于所述第一立体结构的n条底边;
若所述n条连线与所述第一立体结构均不相交,则将所述暂时位置记为所述第一位置。
进一步地,所述根据预设的清洗指数生成方法,计算所述第一平面图像和所述第二平面图像之间的清洗指数的步骤,包括:
将所述第一平面图像划分为n个第一区域,所述n个第一区域以所述第一立体结构的n个侧面的交界线为分界线;
以及,将所述第二平面图像划分为n个第二区域,所述n个第二区域以所述第二立体结构的n个侧面的交界线为分界线;
检测所述n个第一区域,以从每个第一区域中分别提取出第一特征数据,并生成第一特征向量,所述第一特征向量由n个分向量构成,所述n个分向量分别等于所述n个第一区域的第一特征数据;
以及,检测所述n个第二区域,以从每个第二区域中分别提取出第二特征数据,并生成第二特征向量,所述第二特征向量由n个分向量构成,所述n个分向量分别等于所述n个第二区域的第一特征数据;其中所述第一特征数据与所述第二特征数据的类型相同;
根据预设的相似度计算方法,计算所述第一特征向量和所述第二特征向量的相似程度值,并将所述相似程度值记为所述清洗指数。
进一步地,所述根据预设的相似度计算方法,计算所述第一特征向量和所述第二特征向量的相似程度值的步骤,包括:
根据公式:
Figure BDA0002368273370000041
计算得到所述第一特征向量和所述第二特征向量的相似程度值S,其中A为所述第一特征向量,B为所述第二特征向量,Ai为所述第一特征向量的第i个分向量,Bi为所述第二特征向量的第i个分向量,所述第一特征向量和所述第一特征向量均具有n个分向量。
本申请提供一种图片数据清洗装置,包括:
数据清洗指令接收单元,用于接收数据清洗指令,所述数据清洗指令用于对第一组图片和第二组图片进行数据清洗,其中所述第一组图片的图片数量和所述第二组图片的图片数量相同;
第一立体结构组合单元,用于在预设的第一虚拟三维空间中引入所述第一组图片,并根据预设的第一图片组合方法,将所述第一组图片组合成第一立体结构,所述第一虚拟三维空间符合光线传播原理;
第二立体结构组合单元,用于在预设的第二虚拟三维空间中引入所述第二组图片,并根据预设的第二图片组合方法,将所述第二组图片组合成第二立体结构;其中所述第一虚拟三维空间与所述第二虚拟三维空间相同,所述第一图片组合方法与所述第二图片组合方法相同,所述第一立体结构与所述第二立体结构相同,所述第二虚拟三维空间符合光线传播原理;
第一平面图像获取单元,用于根据预设的第一位置生成方法,在所述第一虚拟三维空间中生成第一位置,并在所述第一位置上对所述第一立体结构进行图像采集,从而得到第一平面图像;
第二平面图像获取单元,用于根据预设的第二位置生成方法,在所述第二虚拟三维空间中生成第二位置,并在所述第二位置上对所述第二立体结构进行图像采集,从而得到第二平面图像,其中所述第一位置生成方法与所述第二位置生成方法相同,所述第一位置与所述第二位置相同;
清洗指数计算单元,用于根据预设的清洗指数生成方法,计算所述第一平面图像和所述第二平面图像之间的清洗指数,并判断所述清洗指数是否大于预设的清洗阈值;
数据清洗单元,用于若所述清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。
本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的图片数据清洗方法、装置、计算机设备和存储介质,接收数据清洗指令;在第一虚拟三维空间中引入第一组图片,将所述第一组图片组合成第一立体结构;在第二虚拟三维空间中引入第二组图片,将所述第二组图片组合成第二立体结构;在第一虚拟三维空间中对所述第一立体结构进行图像采集,得到第一平面图像;在第二虚拟三维空间中对所述第二立体结构进行图像采集,得到第二平面图像;计算第一平面图像和所述第二平面图像之间的清洗指数;若清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。从而提高了数据清洗的效率。
附图说明
图1为本申请一实施例的图片数据清洗方法的流程示意图;
图2为本申请一实施例的图片数据清洗装置的结构示意框图;
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,本申请实施例提供一种图片数据清洗方法,包括以下步骤:
S1、接收数据清洗指令,所述数据清洗指令用于对第一组图片和第二组图片进行数据清洗,其中所述第一组图片的图片数量和所述第二组图片的图片数量相同;
S2、在预设的第一虚拟三维空间中引入所述第一组图片,并根据预设的第一图片组合方法,将所述第一组图片组合成第一立体结构,所述第一虚拟三维空间符合光线传播原理;
S3、以及,在预设的第二虚拟三维空间中引入所述第二组图片,并根据预设的第二图片组合方法,将所述第二组图片组合成第二立体结构;其中所述第一虚拟三维空间与所述第二虚拟三维空间相同,所述第一图片组合方法与所述第二图片组合方法相同,所述第一立体结构与所述第二立体结构相同,所述第二虚拟三维空间符合光线传播原理;
S4、根据预设的第一位置生成方法,在所述第一虚拟三维空间中生成第一位置,并在所述第一位置上对所述第一立体结构进行图像采集,从而得到第一平面图像;
S5、以及,根据预设的第二位置生成方法,在所述第二虚拟三维空间中生成第二位置,并在所述第二位置上对所述第二立体结构进行图像采集,从而得到第二平面图像,其中所述第一位置生成方法与所述第二位置生成方法相同,所述第一位置与所述第二位置相同;
S6、根据预设的清洗指数生成方法,计算所述第一平面图像和所述第二平面图像之间的清洗指数,并判断所述清洗指数是否大于预设的清洗阈值;
S7、若所述清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。
本申请可适用于任意可行场景,尤其适合于疑似重复的第一组图片和第二组图片(例如第一组图片和第二组图片已经过预先检测,从而被记为疑似重复),例如用户在第一时间点上传了第一组图片,并在第二时间点上传了第二组图片,而这两组图片相同或者实际上相同(即仅有些微差异)。
如上述步骤S1所述,接收数据清洗指令,所述数据清洗指令用于对第一组图片和第二组图片进行数据清洗,其中所述第一组图片的图片数量和所述第二组图片的图片数量相同。本申请要对第一组图片和第二组图片进行数据清洗,当第一组图片和第二组图片完全相同时,会将所述第一组图片和所述第二组图片中的一者删除,从而减少重复数据。
如上述步骤S2所述,在预设的第一虚拟三维空间中引入所述第一组图片,并根据预设的第一图片组合方法,将所述第一组图片组合成第一立体结构,所述第一虚拟三维空间符合光线传播原理。本申请采用特殊的方法来进行数据清洗,即将图片组合成立体结构,再对比立体结构之间的差异性,若立体结构之间无差异,则认定图片是相同的,因此可进行数据清洗操作,以删除所述第一组图片和所述第二组图片中的一者。其中,所述第一虚拟三维空间符合光线传播原理,以使第一立体结构被采集到的图像具有唯一性,以使将立体结构的对比转化平面图像的对比可行。其中所述第一立体结构可为任意可行结构,例如为由一个底面、一个顶面和n个侧面构成的闭合形状,所述底面和所述顶面均为正n边形,所述底面的正n边形的边长大于所述顶面的正n边形的边长,所述n个侧面均为相同形状的等腰梯形。从而,本申请采用对比图片的集合体-立体结构的方式,实现了快速对比,以提高数据清洗的速度。
如上述步骤S3所述,以及,在预设的第二虚拟三维空间中引入所述第二组图片,并根据预设的第二图片组合方法,将所述第二组图片组合成第二立体结构;其中所述第一虚拟三维空间与所述第二虚拟三维空间相同,所述第一图片组合方法与所述第二图片组合方法相同,所述第一立体结构与所述第二立体结构相同,所述第二虚拟三维空间符合光线传播原理。由于第一立体结构与第二立体结构将要进行对比,因此对应的生成方法也需要完全相同,即所述第一虚拟三维空间与所述第二虚拟三维空间相同,所述第一图片组合方法与所述第二图片组合方法相同,所述第一立体结构与所述第二立体结构相同。
如上述步骤S4所述,根据预设的第一位置生成方法,在所述第一虚拟三维空间中生成第一位置,并在所述第一位置上对所述第一立体结构进行图像采集,从而得到第一平面图像。其中第一位置可为任意可行位置,例如为所述第一立体结构之外的位置,优选能够采集到所述第一立体结构的所有侧面的位置。进一步地,所述第一位置生成方法例如为:对所述第一立体结构的n个侧面进行延长处理,从而使所述n个侧面交汇于所述第一立体结构上方的交汇点;在所述交汇点上生成虚拟平面,所述虚拟平面与所述第一立体结构的顶面平行;在所述虚拟平面中生成暂时位置,并分别连接所述暂时位置与n个指定点,从而得到n条连线,并判断所述n条连线与所述第一立体结构是否相交,其中所述n个指定点分别位于所述第一立体结构的n条底边;若所述n条连线与所述第一立体结构均不相交,则将所述暂时位置记为所述第一位置。
如上述步骤S5所述,以及,根据预设的第二位置生成方法,在所述第二虚拟三维空间中生成第二位置,并在所述第二位置上对所述第二立体结构进行图像采集,从而得到第二平面图像,其中所述第一位置生成方法与所述第二位置生成方法相同,所述第一位置与所述第二位置相同。本申请采用将立体结构的对比转化为平面图像的对比,因此第二位置与第一位置应是相同的,即所述第一位置生成方法与所述第二位置生成方法相同,所述第一位置与所述第二位置相同。从而保证对比得到的结果可信。
如上述步骤S6所述,根据预设的清洗指数生成方法,计算所述第一平面图像和所述第二平面图像之间的清洗指数,并判断所述清洗指数是否大于预设的清洗阈值。其中,所述清洗指数是判断是否应进行清洗的标准,当清洗指数越大时,表明第一平面图像与第二平面图像越相似(即第一组图片和第二组图片越相似),因此应该清洗。其中所述清洗指数可采用任意可行指数,例如采用所述第一平面图像和所述第二平面图像之间的图像相似度。其中所述图像相似度可用任意可行方式计算,例如依次比对像素点的方式,比对图像轮廓的方式等。
如上述步骤S7所述,若所述清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。若所述清洗指数大于预设的清洗阈值,表明所述第一组图片和所述第二组图片是重复数据,据此,将所述第一组图片和所述第二组图片中的一者删除。进一步地,若所述清洗指数不大于预设的清洗阈值,则判定所述第一组图片和所述第二组图片不是重复数据,因此不做删除处理。从而,完成了对图片组的数据清洗,克服了传统方案处理大批量的图片数据的重复性检测并清洗时(传统方案需要一一对比每张图片),耗时长效率低的缺陷。
在一个实施方式中,所述根据预设的第一图片组合方法,将所述第一组图片组合成第一立体结构的步骤S2,包括:
S201、在所述第一虚拟三维空间中调用预设的第一立体形状,所述第一立体形状是由一个底面、一个顶面和n个侧面构成的闭合形状,所述底面和所述顶面均为正n边形,所述底面的正n边形的边长大于所述顶面的正n边形的边长,所述n个侧面均为相同形状的等腰梯形;
S202、根据预设的图片修改方法,将所述第一组图片中的所有图片分别进行修改,从而得到n张形状相同的梯形形状图片,其中所述第一组图片中共有n张图片,所述梯形形状图片与所述侧面的形状相同;
S203、根据预设的填充顺序,将所述n张图片对应填入所述第一立体形状的n个侧面中,从而得到第一立体结构。
如上所述,实现了根据预设的第一图片组合方法,将所述第一组图片组合成第一立体结构。本申请采用特殊形状的第一立体形状,即所述第一立体形状是由一个底面、一个顶面和n个侧面构成的闭合形状,所述底面和所述顶面均为正n边形,所述底面的正n边形的边长大于所述顶面的正n边形的边长,所述n个侧面均为相同形状的等腰梯形。将所述第一立体形状作为第一组图片的容器,从而将第一组图片集合成一个整体。并且为了使图片与第一立体形状吻合,再根据预设的图片修改方法,将所述第一组图片中的所有图片分别进行修改,从而得到n张形状相同的梯形形状图片。最后根据预设的填充顺序,将所述n张图片对应填入所述第一立体形状的n个侧面中,从而得到第一立体结构。从而,第一立体结构代表了第一组图片,从而方便快速调用并对比。
在一个实施方式中,所述根据预设的图片修改方法,将所述第一组图片中的所有图片分别进行修改,从而得到n张形状相同的梯形形状图片的步骤S202,包括:
S2021、获取所述等腰梯形的底边长度和梯形高度,并判断所述第一组图片中的所有图片的宽度是否均小于所述底边长度,以及判断所述第一组图片中的所有图片的高度是否均小于所述梯形高度;
S2022、若所述第一组图片中的所有图片的宽度均不小于所述底边长度,并且所述第一组图片中的所有图片的高度均不小于所述梯形高度,则对所述第一组图片中的所有图片分别进行裁剪处理,从而得到n张形状相同的梯形形状图片。
如上所述,实现了根据预设的图片修改方法,将所述第一组图片中的所有图片分别进行修改,从而得到n张形状相同的梯形形状图片。本申请采用裁剪的方式将图片修改为梯形形状,虽然会损失图片中的部分图像,但由于本申请是对集合体的图片组进行对比,因此损失的部分图像不会对结果造成太大影响(因为有差异的图像全处于损失的部分图像中的可能性很低)。为了进行梯形形状的裁剪,需要先确定图片的尺寸大于梯形的尺寸,即,获取所述等腰梯形的底边长度和梯形高度,并判断所述第一组图片中的所有图片的宽度是否均小于所述底边长度,以及判断所述第一组图片中的所有图片的高度是否均小于所述梯形高度;若所述第一组图片中的所有图片的宽度均不小于所述底边长度,并且所述第一组图片中的所有图片的高度均不小于所述梯形高度,则对所述第一组图片中的所有图片分别进行裁剪处理,从而得到n张形状相同的梯形形状图片。从而实现了保证对比结果的前提下进行快速图片修改。进一步地,当图片的宽度小于所述底边长度,或者图片的高度小于所述梯形高度时,先对图片进行拉伸处理,直至图片的宽度大于所述底边长度,并且图片的高度大于所述梯形高度,再进行裁剪处理。
在一个实施方式中,所述根据预设的填充顺序,将所述n张图片对应填入所述第一立体形状的n个侧面中,从而得到第一立体结构的步骤S203,包括:
S2031、获取所述第一组图片中的所有图片的数据大小,并根据数据大小降序排列的原则,生成所述第一组图片对应的图片排序表;
S2032、从所述第一立体形状的n个侧面中选出指定侧面,并将所述图片排序表中排名第一的图片填入所述指定侧面中;
S2033、将所述图片排序表中排名第二、第三、...、第n张图片对应填入所述指定侧面右侧第一、第二、...、第n-1个侧面中,从而得到第一立体结构。
如上所述,实现了根据预设的填充顺序,将所述n张图片对应填入所述第一立体形状的n个侧面中,从而得到第一立体结构。本申请的填入图片的立体结构会进行对比,因此图片的填充顺序需要是确定的,并且第一立体结构和第二立体结构的图片充顺序是相同的,以保证对比的可行性。本申请以数据大小作为填充顺序,以对应填入第一立体形状的侧面中,即,获取所述第一组图片中的所有图片的数据大小,并根据数据大小降序排列的原则,生成所述第一组图片对应的图片排序表;从所述第一立体形状的n个侧面中选出指定侧面,并将所述图片排序表中排名第一的图片填入所述指定侧面中;将所述图片排序表中排名第二、第三、...、第n张图片对应填入所述指定侧面右侧第一、第二、...、第n-1个侧面中,从而得到第一立体结构。从而快速得到能够用于对比的第一立体结构。
在一个实施方式中,所述根据预设的第一位置生成方法,在所述第一虚拟三维空间中生成第一位置的步骤S4,包括:
S401、对所述第一立体结构的n个侧面进行延长处理,从而使所述n个侧面交汇于所述第一立体结构上方的交汇点;
S402、在所述第一立体结构的轴线上生成参考点,其中所述交汇点和所述第一立体结构的顶面中心位于所述第一立体结构的轴线上,并且所述参考点与所述第一立体结构的顶面中心分别位于所述交汇点的两侧;
S403、在所述参考点上生成虚拟平面,所述虚拟平面与所述第一立体结构的顶面平行;
S404、在所述虚拟平面中生成暂时位置,并分别连接所述暂时位置与n个指定点,从而得到n条连线,并判断所述n条连线与所述第一立体结构是否相交,其中所述n个指定点分别位于所述第一立体结构的n条底边;
S405、若所述n条连线与所述第一立体结构均不相交,则将所述暂时位置记为所述第一位置。
如上所述,实现了根据预设的第一位置生成方法,在所述第一虚拟三维空间中生成第一位置。本申请生成的第一位置优选为能够采集到所有侧面的图像的位置,并且为了减少虚拟空间的额外坐标点的计算,选择的第一位置与所述第一立体结构的距离较小。具体地,对所述第一立体结构的n个侧面进行延长处理,从而使所述n个侧面交汇于所述第一立体结构上方的交汇点,此交汇点是个特殊点,在此点上正好无法观测到所有侧面的图像,但是Z轴中的此点之上,就能够观测到所有侧面的图像。并且由于部分侧面的图像可能更复杂,更有对比的意义,因此本申请还采用在所述第一立体结构的轴线上生成参考点,在所述参考点上生成虚拟平面,在所述虚拟平面中生成暂时位置的方式,若所述n条连线与所述第一立体结构均不相交,则将所述暂时位置记为所述第一位置的方式,以增加观测位置的可选择性,并保证了所有侧面均被观测到,以提高对比的准确性。
在一个实施方式中,所述根据预设的清洗指数生成方法,计算所述第一平面图像和所述第二平面图像之间的清洗指数的步骤S6,包括:
S601、将所述第一平面图像划分为n个第一区域,所述n个第一区域以所述第一立体结构的n个侧面的交界线为分界线;
S602、以及,将所述第二平面图像划分为n个第二区域,所述n个第二区域以所述第二立体结构的n个侧面的交界线为分界线;
S603、检测所述n个第一区域,以从每个第一区域中分别提取出第一特征数据,并生成第一特征向量,所述第一特征向量由n个分向量构成,所述n个分向量分别等于所述n个第一区域的第一特征数据;
S604、以及,检测所述n个第二区域,以从每个第二区域中分别提取出第二特征数据,并生成第二特征向量,所述第二特征向量由n个分向量构成,所述n个分向量分别等于所述n个第二区域的第一特征数据;其中所述第一特征数据与所述第二特征数据的类型相同;
S605、根据预设的相似度计算方法,计算所述第一特征向量和所述第二特征向量的相似程度值,并将所述相似程度值记为所述清洗指数。
如上所述,实现了根据预设的清洗指数生成方法,计算所述第一平面图像和所述第二平面图像之间的清洗指数。本申请采用划分区域,再将分别从区域中提取特征数据,再构成特征向量,再计算特征向量的相似程度值的方式,以得到清洗指数。其优点在于,由于特征向量的相似程度值计算要比图像像素点对比的速度更快,并且当第一特征向量和所述第二特征向量的相似程度值不大时,可以通过比较分向量的方式,快速找出相同的图片。其中,特征数据可为任意可行数据,例如为像素点色值的平均值等等。并且所述特征数据不仅限于一种,例如可包括像素点色值的总平均值、像素点色值的每一行的平均值等。从而,将清洗指数,由第一组图片与第二组图片的之间的对比,转化为特征向量之间的对比,提高了效率。
在一个实施方式中,所述根据预设的相似度计算方法,计算所述第一特征向量和所述第二特征向量的相似程度值的步骤S605,包括:
S6051、根据公式:
Figure BDA0002368273370000131
计算得到所述第一特征向量和所述第二特征向量的相似程度值S,其中A为所述第一特征向量,B为所述第二特征向量,Ai为所述第一特征向量的第i个分向量,Bi为所述第二特征向量的第i个分向量,所述第一特征向量和所述第一特征向量均具有n个分向量。
如上所述,实现了根据预设的相似度计算方法,计算所述第一特征向量和所述第二特征向量的相似程度值。本申请采用公式:
Figure BDA0002368273370000141
计算得到所述第一特征向量和所述第二特征向量的相似程度值S。上述公式反应了所述第一特征向量和所述第二特征向量之间的角度差异,并且所述相似程度值S的最大值为1。当所述相似程度值S的值为1时,表示所述第一特征向量和所述第二特征向量之间的夹角为0,也即所述第一特征向量和所述第二特征向量最为相似,而第一特征向量代表了第一图片组,第二特征向量代表了第二图片组,这也就意味着第一图片组和第二图片组相同,因此符合数据清洗的条件,应当删去第一图片组和第二图片组中的一者。反之,则应当保留第一图片组和第二图片组。
本申请的图片数据清洗方法,接收数据清洗指令;在第一虚拟三维空间中引入第一组图片,将所述第一组图片组合成第一立体结构;在第二虚拟三维空间中引入第二组图片,将所述第二组图片组合成第二立体结构;在第一虚拟三维空间中对所述第一立体结构进行图像采集,得到第一平面图像;在第二虚拟三维空间中对所述第二立体结构进行图像采集,得到第二平面图像;计算第一平面图像和所述第二平面图像之间的清洗指数;若清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。从而提高了数据清洗的效率。
参照图2,本申请实施例提供一种图片数据清洗装置,包括:
数据清洗指令接收单元10,用于接收数据清洗指令,所述数据清洗指令用于对第一组图片和第二组图片进行数据清洗,其中所述第一组图片的图片数量和所述第二组图片的图片数量相同;
第一立体结构组合单元20,用于在预设的第一虚拟三维空间中引入所述第一组图片,并根据预设的第一图片组合方法,将所述第一组图片组合成第一立体结构,所述第一虚拟三维空间符合光线传播原理;
第二立体结构组合单元30,用于在预设的第二虚拟三维空间中引入所述第二组图片,并根据预设的第二图片组合方法,将所述第二组图片组合成第二立体结构;其中所述第一虚拟三维空间与所述第二虚拟三维空间相同,所述第一图片组合方法与所述第二图片组合方法相同,所述第一立体结构与所述第二立体结构相同,所述第二虚拟三维空间符合光线传播原理;
第一平面图像获取单元40,用于根据预设的第一位置生成方法,在所述第一虚拟三维空间中生成第一位置,并在所述第一位置上对所述第一立体结构进行图像采集,从而得到第一平面图像;
第二平面图像获取单元50,用于根据预设的第二位置生成方法,在所述第二虚拟三维空间中生成第二位置,并在所述第二位置上对所述第二立体结构进行图像采集,从而得到第二平面图像,其中所述第一位置生成方法与所述第二位置生成方法相同,所述第一位置与所述第二位置相同;
清洗指数计算单元60,用于根据预设的清洗指数生成方法,计算所述第一平面图像和所述第二平面图像之间的清洗指数,并判断所述清洗指数是否大于预设的清洗阈值;
数据清洗单元70,用于若所述清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。
其中上述单元分别用于执行的操作与前述实施方式的图片数据清洗方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述第一立体结构组合单元20,包括:
第一立体形状调用子单元,用于在所述第一虚拟三维空间中调用预设的第一立体形状,所述第一立体形状是由一个底面、一个顶面和n个侧面构成的闭合形状,所述底面和所述顶面均为正n边形,所述底面的正n边形的边长大于所述顶面的正n边形的边长,所述n个侧面均为相同形状的等腰梯形;
梯形形状图片获取子单元,用于根据预设的图片修改方法,将所述第一组图片中的所有图片分别进行修改,从而得到n张形状相同的梯形形状图片,其中所述第一组图片中共有n张图片,所述梯形形状图片与所述侧面的形状相同;
第一立体结构获取子单元,用于根据预设的填充顺序,将所述n张图片对应填入所述第一立体形状的n个侧面中,从而得到第一立体结构。
其中上述子单元分别用于执行的操作与前述实施方式的图片数据清洗方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述梯形形状图片获取子单元,包括:
底边长度判断模块,用于获取所述等腰梯形的底边长度和梯形高度,并判断所述第一组图片中的所有图片的宽度是否均小于所述底边长度,以及判断所述第一组图片中的所有图片的高度是否均小于所述梯形高度;
裁剪处理模块,用于若所述第一组图片中的所有图片的宽度均不小于所述底边长度,并且所述第一组图片中的所有图片的高度均不小于所述梯形高度,则对所述第一组图片中的所有图片分别进行裁剪处理,从而得到n张形状相同的梯形形状图片。
其中上述模块分别用于执行的操作与前述实施方式的图片数据清洗方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述第一立体结构获取子单元,包括:
图片排序表生成模块,用于获取所述第一组图片中的所有图片的数据大小,并根据数据大小降序排列的原则,生成所述第一组图片对应的图片排序表;
指定侧面填入模块,用于从所述第一立体形状的n个侧面中选出指定侧面,并将所述图片排序表中排名第一的图片填入所述指定侧面中;
第一立体结构获取模块,用于将所述图片排序表中排名第二、第三、...、第n张图片对应填入所述指定侧面右侧第一、第二、...、第n-1个侧面中,从而得到第一立体结构。
其中上述模块分别用于执行的操作与前述实施方式的图片数据清洗方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述第一平面图像获取单元40,包括:
交汇点获取模块,用于对所述第一立体结构的n个侧面进行延长处理,从而使所述n个侧面交汇于所述第一立体结构上方的交汇点;
参考点获取模块,用于在所述第一立体结构的轴线上生成参考点,其中所述交汇点和所述第一立体结构的顶面中心位于所述第一立体结构的轴线上,并且所述参考点与所述第一立体结构的顶面中心分别位于所述交汇点的两侧;
虚拟平面生成模块,用于在所述参考点上生成虚拟平面,所述虚拟平面与所述第一立体结构的顶面平行;
相交判断模块,用于在所述虚拟平面中生成暂时位置,并分别连接所述暂时位置与n个指定点,从而得到n条连线,并判断所述n条连线与所述第一立体结构是否相交,其中所述n个指定点分别位于所述第一立体结构的n条底边;
第一位置标记模块,用于若所述n条连线与所述第一立体结构均不相交,则将所述暂时位置记为所述第一位置。
其中上述模块分别用于执行的操作与前述实施方式的图片数据清洗方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述清洗指数计算单元60,包括:
第一区域划分模块,用于将所述第一平面图像划分为n个第一区域,所述n个第一区域以所述第一立体结构的n个侧面的交界线为分界线;
第二区域划分模块,用于将所述第二平面图像划分为n个第二区域,所述n个第二区域以所述第二立体结构的n个侧面的交界线为分界线;
第一特征向量生成模块,用于检测所述n个第一区域,以从每个第一区域中分别提取出第一特征数据,并生成第一特征向量,所述第一特征向量由n个分向量构成,所述n个分向量分别等于所述n个第一区域的第一特征数据;
第二特征向量生成模块,用于检测所述n个第二区域,以从每个第二区域中分别提取出第二特征数据,并生成第二特征向量,所述第二特征向量由n个分向量构成,所述n个分向量分别等于所述n个第二区域的第一特征数据;其中所述第一特征数据与所述第二特征数据的类型相同;
相似程度值计算模块,用于根据预设的相似度计算方法,计算所述第一特征向量和所述第二特征向量的相似程度值,并将所述相似程度值记为所述清洗指数。
其中上述模块分别用于执行的操作与前述实施方式的图片数据清洗方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述相似程度值计算模块,包括:
相似程度值S计算子模块,用于根据公式:
Figure BDA0002368273370000181
计算得到所述第一特征向量和所述第二特征向量的相似程度值S,其中A为所述第一特征向量,B为所述第二特征向量,Ai为所述第一特征向量的第i个分向量,Bi为所述第二特征向量的第i个分向量,所述第一特征向量和所述第一特征向量均具有n个分向量。
其中上述子模块分别用于执行的操作与前述实施方式的图片数据清洗方法的步骤一一对应,在此不再赘述。
本申请的图片数据清洗装置,接收数据清洗指令;在第一虚拟三维空间中引入第一组图片,将所述第一组图片组合成第一立体结构;在第二虚拟三维空间中引入第二组图片,将所述第二组图片组合成第二立体结构;在第一虚拟三维空间中对所述第一立体结构进行图像采集,得到第一平面图像;在第二虚拟三维空间中对所述第二立体结构进行图像采集,得到第二平面图像;计算第一平面图像和所述第二平面图像之间的清洗指数;若清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。从而提高了数据清洗的效率。
参照图3,本发明实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图片数据清洗方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图片数据清洗方法。
上述处理器执行上述图片数据清洗方法,其中所述方法包括的步骤分别与执行前述实施方式的图片数据清洗方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解,图中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备,接收数据清洗指令;在第一虚拟三维空间中引入第一组图片,将所述第一组图片组合成第一立体结构;在第二虚拟三维空间中引入第二组图片,将所述第二组图片组合成第二立体结构;在第一虚拟三维空间中对所述第一立体结构进行图像采集,得到第一平面图像;在第二虚拟三维空间中对所述第二立体结构进行图像采集,得到第二平面图像;计算第一平面图像和所述第二平面图像之间的清洗指数;若清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。从而提高了数据清洗的效率。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现图片数据清洗方法,其中所述方法包括的步骤分别与执行前述实施方式的图片数据清洗方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质,接收数据清洗指令;在第一虚拟三维空间中引入第一组图片,将所述第一组图片组合成第一立体结构;在第二虚拟三维空间中引入第二组图片,将所述第二组图片组合成第二立体结构;在第一虚拟三维空间中对所述第一立体结构进行图像采集,得到第一平面图像;在第二虚拟三维空间中对所述第二立体结构进行图像采集,得到第二平面图像;计算第一平面图像和所述第二平面图像之间的清洗指数;若清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。从而提高了数据清洗的效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图片数据清洗方法,其特征在于,包括:
接收数据清洗指令,所述数据清洗指令用于对第一组图片和第二组图片进行数据清洗,其中所述第一组图片的图片数量和所述第二组图片的图片数量相同;
在预设的第一虚拟三维空间中引入所述第一组图片,并根据预设的第一图片组合方法,将所述第一组图片组合成第一立体结构,所述第一虚拟三维空间符合光线传播原理;
以及,在预设的第二虚拟三维空间中引入所述第二组图片,并根据预设的第二图片组合方法,将所述第二组图片组合成第二立体结构;其中所述第一虚拟三维空间与所述第二虚拟三维空间相同,所述第一图片组合方法与所述第二图片组合方法相同,所述第一立体结构与所述第二立体结构相同,所述第二虚拟三维空间符合光线传播原理;
根据预设的第一位置生成方法,在所述第一虚拟三维空间中生成第一位置,并在所述第一位置上对所述第一立体结构进行图像采集,从而得到第一平面图像;
以及,根据预设的第二位置生成方法,在所述第二虚拟三维空间中生成第二位置,并在所述第二位置上对所述第二立体结构进行图像采集,从而得到第二平面图像,其中所述第一位置生成方法与所述第二位置生成方法相同,所述第一位置与所述第二位置相同;
根据预设的清洗指数生成方法,计算所述第一平面图像和所述第二平面图像之间的清洗指数,并判断所述清洗指数是否大于预设的清洗阈值;
若所述清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。
2.根据权利要求1所述的图片数据清洗方法,其特征在于,所述根据预设的第一图片组合方法,将所述第一组图片组合成第一立体结构的步骤,包括:
在所述第一虚拟三维空间中调用预设的第一立体形状,所述第一立体形状是由一个底面、一个顶面和n个侧面构成的闭合形状,所述底面和所述顶面均为正n边形,所述底面的正n边形的边长大于所述顶面的正n边形的边长,所述n个侧面均为相同形状的等腰梯形;
根据预设的图片修改方法,将所述第一组图片中的所有图片分别进行修改,从而得到n张形状相同的梯形形状图片,其中所述第一组图片中共有n张图片,所述梯形形状图片与所述侧面的形状相同;
根据预设的填充顺序,将所述n张图片对应填入所述第一立体形状的n个侧面中,从而得到第一立体结构。
3.根据权利要求2所述的图片数据清洗方法,其特征在于,所述根据预设的图片修改方法,将所述第一组图片中的所有图片分别进行修改,从而得到n张形状相同的梯形形状图片的步骤,包括:
获取所述等腰梯形的底边长度和梯形高度,并判断所述第一组图片中的所有图片的宽度是否均小于所述底边长度,以及判断所述第一组图片中的所有图片的高度是否均小于所述梯形高度;
若所述第一组图片中的所有图片的宽度均不小于所述底边长度,并且所述第一组图片中的所有图片的高度均不小于所述梯形高度,则对所述第一组图片中的所有图片分别进行裁剪处理,从而得到n张形状相同的梯形形状图片。
4.根据权利要求2所述的图片数据清洗方法,其特征在于,所述根据预设的填充顺序,将所述n张图片对应填入所述第一立体形状的n个侧面中,从而得到第一立体结构的步骤,包括:
获取所述第一组图片中的所有图片的数据大小,并根据数据大小降序排列的原则,生成所述第一组图片对应的图片排序表;
从所述第一立体形状的n个侧面中选出指定侧面,并将所述图片排序表中排名第一的图片填入所述指定侧面中;
将所述图片排序表中排名第二、第三、...、第n张图片对应填入所述指定侧面右侧第一、第二、...、第n-1个侧面中,从而得到第一立体结构。
5.根据权利要求2所述的图片数据清洗方法,其特征在于,所述根据预设的第一位置生成方法,在所述第一虚拟三维空间中生成第一位置的步骤,包括:
对所述第一立体结构的n个侧面进行延长处理,从而使所述n个侧面交汇于所述第一立体结构上方的交汇点;
在所述第一立体结构的轴线上生成参考点,其中所述交汇点和所述第一立体结构的顶面中心位于所述第一立体结构的轴线上,并且所述参考点与所述第一立体结构的顶面中心分别位于所述交汇点的两侧;
在所述参考点上生成虚拟平面,所述虚拟平面与所述第一立体结构的顶面平行;
在所述虚拟平面中生成暂时位置,并分别连接所述暂时位置与n个指定点,从而得到n条连线,并判断所述n条连线与所述第一立体结构是否相交,其中所述n个指定点分别位于所述第一立体结构的n条底边;
若所述n条连线与所述第一立体结构均不相交,则将所述暂时位置记为所述第一位置。
6.根据权利要求1所述的图片数据清洗方法,其特征在于,所述根据预设的清洗指数生成方法,计算所述第一平面图像和所述第二平面图像之间的清洗指数的步骤,包括:
将所述第一平面图像划分为n个第一区域,所述n个第一区域以所述第一立体结构的n个侧面的交界线为分界线;
以及,将所述第二平面图像划分为n个第二区域,所述n个第二区域以所述第二立体结构的n个侧面的交界线为分界线;
检测所述n个第一区域,以从每个第一区域中分别提取出第一特征数据,并生成第一特征向量,所述第一特征向量由n个分向量构成,所述n个分向量分别等于所述n个第一区域的第一特征数据;
以及,检测所述n个第二区域,以从每个第二区域中分别提取出第二特征数据,并生成第二特征向量,所述第二特征向量由n个分向量构成,所述n个分向量分别等于所述n个第二区域的第一特征数据;其中所述第一特征数据与所述第二特征数据的类型相同;
根据预设的相似度计算方法,计算所述第一特征向量和所述第二特征向量的相似程度值,并将所述相似程度值记为所述清洗指数。
7.根据权利要求6所述的图片数据清洗方法,其特征在于,所述根据预设的相似度计算方法,计算所述第一特征向量和所述第二特征向量的相似程度值的步骤,包括:
根据公式:
Figure FDA0002368273360000041
计算得到所述第一特征向量和所述第二特征向量的相似程度值S,其中A为所述第一特征向量,B为所述第二特征向量,Ai为所述第一特征向量的第i个分向量,Bi为所述第二特征向量的第i个分向量,所述第一特征向量和所述第一特征向量均具有n个分向量。
8.一种图片数据清洗装置,其特征在于,包括:
数据清洗指令接收单元,用于接收数据清洗指令,所述数据清洗指令用于对第一组图片和第二组图片进行数据清洗,其中所述第一组图片的图片数量和所述第二组图片的图片数量相同;
第一立体结构组合单元,用于在预设的第一虚拟三维空间中引入所述第一组图片,并根据预设的第一图片组合方法,将所述第一组图片组合成第一立体结构,所述第一虚拟三维空间符合光线传播原理;
第二立体结构组合单元,用于在预设的第二虚拟三维空间中引入所述第二组图片,并根据预设的第二图片组合方法,将所述第二组图片组合成第二立体结构;其中所述第一虚拟三维空间与所述第二虚拟三维空间相同,所述第一图片组合方法与所述第二图片组合方法相同,所述第一立体结构与所述第二立体结构相同,所述第二虚拟三维空间符合光线传播原理;
第一平面图像获取单元,用于根据预设的第一位置生成方法,在所述第一虚拟三维空间中生成第一位置,并在所述第一位置上对所述第一立体结构进行图像采集,从而得到第一平面图像;
第二平面图像获取单元,用于根据预设的第二位置生成方法,在所述第二虚拟三维空间中生成第二位置,并在所述第二位置上对所述第二立体结构进行图像采集,从而得到第二平面图像,其中所述第一位置生成方法与所述第二位置生成方法相同,所述第一位置与所述第二位置相同;
清洗指数计算单元,用于根据预设的清洗指数生成方法,计算所述第一平面图像和所述第二平面图像之间的清洗指数,并判断所述清洗指数是否大于预设的清洗阈值;
数据清洗单元,用于若所述清洗指数大于预设的清洗阈值,则执行数据清洗操作,所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010042605.2A 2020-01-15 2020-01-15 图片数据清洗方法、装置、计算机设备和存储介质 Active CN111274421B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010042605.2A CN111274421B (zh) 2020-01-15 2020-01-15 图片数据清洗方法、装置、计算机设备和存储介质
PCT/CN2020/099435 WO2021143065A1 (zh) 2020-01-15 2020-06-30 图片数据清洗方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010042605.2A CN111274421B (zh) 2020-01-15 2020-01-15 图片数据清洗方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111274421A CN111274421A (zh) 2020-06-12
CN111274421B true CN111274421B (zh) 2022-03-18

Family

ID=71002189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010042605.2A Active CN111274421B (zh) 2020-01-15 2020-01-15 图片数据清洗方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN111274421B (zh)
WO (1) WO2021143065A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274421B (zh) * 2020-01-15 2022-03-18 平安科技(深圳)有限公司 图片数据清洗方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1753032A (zh) * 2004-09-22 2006-03-29 世嘉股份有限公司 图像处理装置及其方法
CN106339496A (zh) * 2016-08-31 2017-01-18 百度在线网络技术(北京)有限公司 用于对照片进行清理的方法和装置
CN107291781A (zh) * 2016-04-12 2017-10-24 中兴通讯股份有限公司 一种图像管理方法和装置
WO2017202086A1 (zh) * 2016-05-23 2017-11-30 中兴通讯股份有限公司 图片的筛选方法及装置
CN109376754A (zh) * 2018-08-31 2019-02-22 平安科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103026387B (zh) * 2010-07-26 2019-08-13 香港城市大学 用于从单一的图像生成多视图像的方法
JP2017097459A (ja) * 2015-11-19 2017-06-01 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
CN109961455B (zh) * 2017-12-22 2022-03-04 杭州萤石软件有限公司 一种目标检测方法及装置
CN109740633B (zh) * 2018-12-10 2022-02-22 厦门市美亚柏科信息股份有限公司 一种图像相似度计算方法、装置、存储介质
CN110442738A (zh) * 2019-07-31 2019-11-12 北京明略软件系统有限公司 图片去重方法和装置,存储介质及电子装置
CN111274421B (zh) * 2020-01-15 2022-03-18 平安科技(深圳)有限公司 图片数据清洗方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1753032A (zh) * 2004-09-22 2006-03-29 世嘉股份有限公司 图像处理装置及其方法
CN107291781A (zh) * 2016-04-12 2017-10-24 中兴通讯股份有限公司 一种图像管理方法和装置
WO2017202086A1 (zh) * 2016-05-23 2017-11-30 中兴通讯股份有限公司 图片的筛选方法及装置
CN106339496A (zh) * 2016-08-31 2017-01-18 百度在线网络技术(北京)有限公司 用于对照片进行清理的方法和装置
CN109376754A (zh) * 2018-08-31 2019-02-22 平安科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111274421A (zh) 2020-06-12
WO2021143065A1 (zh) 2021-07-22

Similar Documents

Publication Publication Date Title
US11798174B2 (en) Method, device, equipment and storage medium for locating tracked targets
CN110992356A (zh) 目标对象检测方法、装置和计算机设备
US20210327126A1 (en) 3D Object Reconstruction Method, Computer Apparatus and Storage Medium
CN111598993A (zh) 基于多视角成像技术的三维数据重建方法、装置
CN111639626A (zh) 三维点云数据处理方法、装置、计算机设备和存储介质
CN111738223A (zh) 车架号图像生成方法、装置、计算机设备和存储介质
CN112818967A (zh) 基于人脸识别和头肩重识别的儿童身份识别方法
WO2022133770A1 (zh) 点云法向量的生成方法、装置、计算机设备和存储介质
CN111274421B (zh) 图片数据清洗方法、装置、计算机设备和存储介质
CN118115762A (zh) 双目立体匹配模型训练方法、装置、设备及存储介质
CN115049731A (zh) 一种基于双目摄像头的视觉建图和定位方法
CN111915676B (zh) 图像生成方法、装置、计算机设备和存储介质
CN116701679B (zh) 倾斜摄影数据存储方法及系统
CN110321405B (zh) 模型匹配方法、装置、计算机可读存储介质和计算机设备
US20240070979A1 (en) Method and apparatus for generating 3d spatial information
CN113239136A (zh) 一种数据处理方法、装置、设备及介质
CN116542926B (zh) 电池的二维码缺陷识别方法、装置、设备及存储介质
CN109360215B (zh) 三维模型的外轮廓查找方法、装置、设备和存储介质
CN110838138A (zh) 重复纹理检测方法、装置、计算机设备和存储介质
CN115937002B (zh) 用于估算视频旋转的方法、装置、电子设备和存储介质
CN116310899A (zh) 基于YOLOv5改进的目标检测方法及装置、训练方法
CN113408256B (zh) 一种表格图片的表格重构方法、装置及相关设备
WO2022110492A1 (zh) 指静脉身份识别方法、装置、计算机设备和存储介质
Kanaeva et al. Camera pose and focal length estimation using regularized distance constraints
CN114005052A (zh) 全景图像的目标检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028301

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant