CN117453936A - 一种数据整理方法及系统 - Google Patents
一种数据整理方法及系统 Download PDFInfo
- Publication number
- CN117453936A CN117453936A CN202311357229.6A CN202311357229A CN117453936A CN 117453936 A CN117453936 A CN 117453936A CN 202311357229 A CN202311357229 A CN 202311357229A CN 117453936 A CN117453936 A CN 117453936A
- Authority
- CN
- China
- Prior art keywords
- picture
- pictures
- representative
- value
- degree value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000007906 compression Methods 0.000 claims abstract description 45
- 230000006835 compression Effects 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims description 19
- 230000001939 inductive effect Effects 0.000 claims description 10
- 230000006698 induction Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000012216 screening Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005587 bubbling Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010415 tidying Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种数据整理方法及系统,涉及数据处理技术的领域,该方法包括获取需求整理图片;于需求整理图片中获取各像素点的像素位置以及像素灰度值;于不同需求整理图片的同一像素位置下根据像素灰度值进行差值计算以确定差值灰度值;定义为相似像素点,并根据相似像素点进行计数确定相似数量;根据相似数量以及总像素数量确定相似程度值;将相似程度值大于基准需求值的需求整理图片归纳于同一初始为空的图片集合中,并选取一级代表图片;于各图片集合中将除一级代表图片以外的需求整理图片进行压缩以生成图片一级压缩包,并将图片一级压缩包与相对应的一级代表图片相连接。本申请具有减少手机存储空间因类似图片而被占用较大的情况发生的效果。
Description
技术领域
本申请涉及数据处理技术的领域,尤其是涉及一种数据整理方法及系统。
背景技术
数据整理是对调查、观察、实验等研究活动中所搜集到的资料进行检验、归类编码和数字编码的过程,其中所述的数据包括有图片数据、文字数据、数字数据等。
相关技术中,目前需要对图片数据进行整理的情况一般为用户外出时会于同一拍摄点拍摄较多类似的图片,在后期有时间对图片进行处理时,用户会针对相类似的图片选取满意的图片留下,其余进行删除操作,实现于手机中对图片进行整理。
针对上述中的相关技术,发明人认为在后期用户对图片进行处理之前,用户仍需要使用手机进行拍照,而相类似的图片会占用手机较大的存储空间,一旦手机存储空间被占用较大时,会出现手机卡顿的情况,影响用户体验。
发明内容
为了减少手机存储空间因类似图片而被占用较大的情况发生,本申请提供一种数据整理方法及系统。
第一方面,本申请提供一种数据整理方法,采用如下的技术方案:
一种数据整理方法,包括:
获取需求整理图片;
于需求整理图片中获取各像素点的像素位置以及像素灰度值;
于不同需求整理图片的同一像素位置下根据像素灰度值进行差值计算以确定差值灰度值;
将差值灰度值小于预设的相似阈值的像素点定义为相似像素点,并于需求整理图片中根据相似像素点进行计数以确定该需求整理图片相较于另一需求整理图片的相似数量;
根据相似数量以及预设的总像素数量进行计算以确定相似程度值;
将相似程度值大于预设的基准需求值的需求整理图片归纳于同一预设的初始为空的图片集合中,并于图片集合归纳后于各图片集合中选取一级代表图片;
于各图片集合中将除一级代表图片以外的需求整理图片进行压缩以生成图片一级压缩包,并将图片一级压缩包与相对应的一级代表图片相连接。
通过采用上述技术方案,对于需要进行整理的图片,通过灰度值情况分析各图片之间的相似程度,将相似程度高的归纳于同一集合中以进行压缩,实现存储空间上的释放,同时对于每个压缩包均设置代表图片,使得用户能够通过代表图片得知每个压缩包内压缩的图片情况,便于后期用户自行对图片进行整理。
可选的,于图片集合归纳后,数据整理方法还包括:
将图片集合中的需求整理图片定义为集内图片,并将处于该图片集合以外的需求整体图片定义为该图片集合相对应的集外图片;
于集外图片中将相较于任一集内图片的相似程度值大于预设的替补需求值的集外图片定义为替补图片,并将与该替补图片相对应的相似程度值最大的集内图片定义为相对图片;
于替补图片中将相较于相对图片而言不为相似像素点的像素点定义为异类像素点,并以任一异类像素点为圆心、预设的相邻像素距离为半径以划定相邻区域;
将处于同一相邻区域内的异类像素点归纳于同一预设的初始为空的像素点集合内,并于归纳完成后根据像素点集合内的异类像素点进行计数以确定异类数量;
根据预设的排序规则以确定数值最大的异类数量,并根据该异类数量以更新相似程度值,且于相似程度值更新后重新归纳图片集合。
通过采用上述技术方案,对照片中突然闯入物体以使照片相似程度判断较低的情况进行分析,以使得照片能够较好的进行管理。
可选的,于各像素点集合的异类数量确定后,数据整理方法还包括:
根据单个像素点集合内的异类像素点相互连线以确定异类外轮廓线,并将异类外轮廓线围合形成的区域定义为异类区域,且获取异类区域的异类面积;
将异类区域与预设的边缘区域重叠的区域确定为重叠区域,并根据重叠区域确定重叠面积;
根据重叠面积以及异类面积进行计算以确定边缘占比值;
判断边缘占比值是否大于预设的基准占比值;
若边缘占比值大于基准占比值,则定义该像素点集合为有效集合;
若边缘占比值不大于基准占比值,则定义该像素点集合为无效集合;
于所有的有效集合中根据排序规则确定数值最大的异类数量并更新相似程度值。
通过采用上述技术方案,对为突然入境的物体进行较为准确的确定,以便于后续对图片进行整理。
可选的,于各图片集合中选取一级代表图片的步骤包括:
于图片集合中取任一需求整理图片为原始图片,并将其余需求整理图片确定为判定图片,且将原始图片与判定图片之间的相似程度值定义为比较程度值;
根据排序规则以确定数值最大的比较程度值,并将该比较程度值定义为标准程度值;
根据比较程度值与标准程度值进行差值计算以确定差值程度值,并根据所有的差值程度值进行计算以确定偏差程度值;
根据排序规则以确定数值最小的偏差程度值,并将该偏差程度值相对应的原始图片确定为一级代表图片。
通过采用上述技术方案,可确定较为合适的一级代表图片以用于代表压缩包内的其余图片。
可选的,选取一级代表图片的步骤还包括:
判断是否存在至少两个偏差程度值数值最小的原始图片;
若不存在至少两个偏差程度值数值最小的原始图片,则将该原始图片确定为一级代表图片;
若存在至少两个偏差程度值数值最小的原始图片,则于单个原始图片中根据排序规则确定数值最大的差值程度值,并将根据该差值程度值以及偏差程度值进行计算以确定剩余程度值;
根据排序规则确定数值最小的剩余程度值,并根据该剩余程度值相对应的原始图片进行计数以确定符合数量;
判断符合数量是否大于一;
若符合数量不大于一,则根据该原始图片确定一级代表图片;
若符合数量大于一,则于剩余程度值对应的差值程度值中根据排序规则继续确定数值最大的差值程度值并更新剩余程度值,直至符合数量不大于一以根据原始图片确定一级代表图片。
通过采用上述技术方案,可对多个满足要求的原始图片进行筛选以确定较为合适的一级代表图片。
可选的,于图片一级压缩包与相对应的一级代表图片相连接后,数据整理方法还包括:
将所有一级代表图片之间的相似程度值定义为代表程度值;
根据一级代表图片所确定的偏差程度值进行均值计算以确定均值程度值;
根据预设的系数匹配关系以确定任意两个一级代表图片的均值程度值相对应的需求程度值;
判断两个一级代表图片的代表程度值是否大于需求程度值;
若两个一级代表图片的代表程度值不大于需求程度值,则无动作;
若两个一级代表图片的代表程度值大于需求程度值,则将两个一级代表图片归纳于预设的初始为空的代表集合中,直至所有的一级代表图片均进行代表集合分析;
于代表集合中确定二级代表图片,并对其余一级代表图片以及图片一级压缩包进行压缩以生成图片二级压缩包,且于图片二级压缩包生成后继续分析二级代表图片的代表程度值,直至不存在能够继续压缩的情况。
通过采用上述技术方案,可对压缩包进一步压缩以进一步缩小存储空间。
可选的,若两个一级代表图片的代表程度值大于需求程度值时,数据整理方法还包括:
于单个一级代表图片将相对应的代表程度值大于需求程度值的另一一级代表图片定义为相邻图片;
于单个一级代表图片下判断相邻图片是否唯一;
若相邻图片唯一,则将两个一级代表图片归纳于初始为空的代表集合中;
若相邻图片不唯一,则于相邻图片中根据排序规则以确定数值最大的代表程度值,并根据该代表程度值相对应的相邻图片以归纳于同一代表集合中。
通过采用上述技术方案,可确定较为合适的图片归纳于同一集合中进行压缩。
第二方面,本申请提供一种数据整理系统,采用如下的技术方案:
一种数据整理系统,包括:
获取模块,用于获取需求整理图片;
处理模块,与获取模块和判断模块连接,用于信息的存储和处理;
判断模块,与获取模块和处理模块连接,用于信息的判断;
获取模块于需求整理图片中获取各像素点的像素位置以及像素灰度值;
处理模块于不同需求整理图片的同一像素位置下根据像素灰度值进行差值计算以确定差值灰度值;
处理模块将判断模块判断出的差值灰度值小于预设的相似阈值的像素点定义为相似像素点,并于需求整理图片中根据相似像素点进行计数以确定该需求整理图片相较于另一需求整理图片的相似数量;
处理模块根据相似数量以及预设的总像素数量进行计算以确定相似程度值;
处理模块将判断模块判断出的相似程度值大于预设的基准需求值的需求整理图片归纳于同一预设的初始为空的图片集合中,并于图片集合归纳后于各图片集合中选取一级代表图片;
处理模块于各图片集合中将除一级代表图片以外的需求整理图片进行压缩以生成图片一级压缩包,并将图片一级压缩包与相对应的一级代表图片相连接。
通过采用上述技术方案,对于需要进行整理的图片,通过处理模块对灰度值情况分析各图片之间的相似程度,将相似程度高的归纳于同一集合中以进行压缩,实现存储空间上的释放,同时对于每个压缩包均设置代表图片,使得用户能够通过代表图片得知每个压缩包内压缩的图片情况,便于后期用户自行对图片进行整理。
综上所述,本申请包括以下至少一种有益技术效果:
在对图片进行整理时,根据图片的相似程度进行归纳并压缩,以减少手机存储空间因类似图片而被占用较大的情况发生;
对于异常入境的物体可进行识别以使得相似的图片尽可能准确的归纳;
可选取合适的代表图片对要压缩的图片进行代表,以便于后续用户较为方便的得知压缩包内的图片内容。
附图说明
图1是数据整理方法的流程图。
图2是图片情况深度分析方法的流程图。
图3是图片异常物体精确方法的流程图。
图4是一级代表图片确定方法的流程图。
图5是一级代表图片筛选方法的流程图。
图6是图片多次压缩控制方法的流程图。
图7是图片归纳分析方法的流程图。
图8是数据整理方法的模块流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图1-8及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例公开一种数据整理方法,在对图片数据进行整理的过程中,对于图片的相似程度进行分析并对图片进行归纳处理,以将归纳于一起的图片进行压缩操作,减少图片对手机存储空间的占用。
参照图1,数据整理方法的方法流程包括以下步骤:
步骤S100:获取需求整理图片。
需求整理图片为当前手机拍摄到的需要进行整理的图片数据。
步骤S101:于需求整理图片中获取各像素点的像素位置以及像素灰度值。
像素位置为像素点于图片中的位置,像素灰度值为像素位置处像素点的灰度值。
步骤S102:于不同需求整理图片的同一像素位置下根据像素灰度值进行差值计算以确定差值灰度值。
差值灰度值为不同的图片于图片上的同一个像素位置的灰度值的差值,同一像素位置例如两张图片的左上角顶点,该差值为绝对值。
步骤S103:将差值灰度值小于预设的相似阈值的像素点定义为相似像素点,并于需求整理图片中根据相似像素点进行计数以确定该需求整理图片相较于另一需求整理图片的相似数量。
相似阈值为工作人员所设定的认定两个像素点的颜色未存在较为明显的差异时的最大差值灰度值,定义相似像素点以对不同的像素点进行区分,相似数量为两张照片中出现的相似像素点的总数量值,根据相似像素点一一计数进行获取。
步骤S104:根据相似数量以及预设的总像素数量进行计算以确定相似程度值。
总像素数量为一张图片中所存在的像素点的总数量值,相似程度值为相似像素点占所有像素点的比值,由相似数量除以总像素数量进行确定。
步骤S105:将相似程度值大于预设的基准需求值的需求整理图片归纳于同一预设的初始为空的图片集合中,并于图片集合归纳后于各图片集合中选取一级代表图片。
基准需求值为工作人员所设定的认定两张照片可认定为相类似的图片时所要求的最小相似程度值,图片集合为用于收纳需求整理图片的集合,将相类似的图片归纳于同一图片集合中可便于后续分析,归纳方法如下:例如存在A、B、C三张图片,其中A与B以及B与C均满足相似程度值大于基准需求值,但A与C不满足该要求,A、B、C三张图片依旧可以归纳于同一图片集合中;一级代表图片为能够较为明显的代表图片集合中大部分图片的图片,该以及代表图片为图片集合中的某一图片,具体选取方法下文进行说明,此处不作赘述。
步骤S106:于各图片集合中将除一级代表图片以外的需求整理图片进行压缩以生成图片一级压缩包,并将图片一级压缩包与相对应的一级代表图片相连接。
将除一级代表图片以外的图片进行压缩以实现存储空间占用量的减少,此时利用一级代表图片与图片一级压缩包相连接以实现图片与压缩包的一一对应,用户后续在查看一级代表图片时可较为方便的得知图片一级压缩包内图片的内容,便于后续人为对图片进行再次整理。
参照图2,于图片集合归纳后,数据整理方法还包括:
步骤S200:将图片集合中的需求整理图片定义为集内图片,并将处于该图片集合以外的需求整体图片定义为该图片集合相对应的集外图片。
将其中的某一图片集合中的需求整理图片定义为集内图片时,另外所有的其余图片集合中的需求整理图片则为集外图片,通过集内图片以及以外图片对需求整理图片进行标识,以便于后续分析。
步骤S201:于集外图片中将相较于任一集内图片的相似程度值大于预设的替补需求值的集外图片定义为替补图片,并将与该替补图片相对应的相似程度值最大的集内图片定义为相对图片。
定义替补图片以及相对图片以便于对不同的需求整理图片进行区分,以便于后续分析。
步骤S202:于替补图片中将相较于相对图片而言不为相似像素点的像素点定义为异类像素点,并以任一异类像素点为圆心、预设的相邻像素距离为半径以划定相邻区域。
定义异类像素点以便于对替补图片上相较于相对图片不为相似像素点的像素点进行区分,该异类像素点即有可能由其余物体于拍摄时意外入镜获取,需要对这一物体情况进一步分析;相邻像素距离为工作人员所设定的认定可处于同一物体上的像素点之间的距离值,划定相邻区域以便于对同一物体上所获取的像素点进行确定。
步骤S203:将处于同一相邻区域内的异类像素点归纳于同一预设的初始为空的像素点集合内,并于归纳完成后根据像素点集合内的异类像素点进行计数以确定异类数量。
像素点集合为用于供异类像素点进行放置的集合,例如存在A、B、C三个异类像素点,其中B处于A的异类像素点中、C处于B的异类像素点中,但A不处于C的异类像素点中,则A、B、C三个异类像素点可同时归纳于同一像素点集合中;异类数量为同一个像素点集合中异类像素点的总数量值,可通过对异类像素点一一计数进行确定。
步骤S204:根据预设的排序规则以确定数值最大的异类数量,并根据该异类数量以更新相似程度值,且于相似程度值更新后重新归纳图片集合。
排序规则为工作人员所设定的能对数值大小进行排序的方法,例如冒泡法,通过排序规则可确定对相似程度影响最大的物体所占用的像素点,此时将原相似数量加上异类数量以更新相似数量,从而能更新相似程度值,利用新的相似程度值能对图片重新进行归纳。
参照图3,于各像素点集合的异类数量确定后,数据整理方法还包括:
步骤S300:根据单个像素点集合内的异类像素点相互连线以确定异类外轮廓线,并将异类外轮廓线围合形成的区域定义为异类区域,且获取异类区域的异类面积。
异类外轮廓线为所有异类像素点相互连线后处于最外围的线段,定义异类区域以对以外入镜的物体所占用的像素位置进行确定,以便于后续分析,异类面积为异类区域于图片上所占用的面积。
步骤S301:将异类区域与预设的边缘区域重叠的区域确定为重叠区域,并根据重叠区域确定重叠面积。
边缘区域为工作人员所设定的认定为图片周边位置的区域,重叠区域为异类区域与边缘区域中出现重合的部分,重叠面积为重叠区域于图片上所占用的面积。
步骤S302:根据重叠面积以及异类面积进行计算以确定边缘占比值。
边缘占比值为重叠区域的面积占异类区域的面积的比例值,由重叠面积除以异类面积进行确定。
步骤S303:判断边缘占比值是否大于预设的基准占比值。
基准占比值为工作人员所设定的认定该异类区域较为靠近图像边缘时的最小边缘占比值,判断的目的是为了得知当前进行判断的物体是否处于图像边缘。
步骤S3031:若边缘占比值大于基准占比值,则定义该像素点集合为有效集合。
当边缘占比值大于基准占比值时,说明较为靠近图片边缘,此时有较大的概率为该物体为意外入镜的物体,此时将该像素点集合定义为有效集合以进行标识,以便于后续分析。
步骤S3032:若边缘占比值不大于基准占比值,则定义该像素点集合为无效集合。
当边缘占比值不大于基准占比值时,说明该物体未较为靠近图片边缘,此时无法有效分析该物体是否为意外入镜的物体,此时将该像素点集合定义为无效集合以进行标识,以便于后续分析。
步骤S304:于所有的有效集合中根据排序规则确定数值最大的异类数量并更新相似程度值。
仅于有效集合中确定数值最大的异类数量,以使得后续图像处理较为准确。
参照图4,于各图片集合中选取一级代表图片的步骤包括:
步骤S400:于图片集合中取任一需求整理图片为原始图片,并将其余需求整理图片确定为判定图片,且将原始图片与判定图片之间的相似程度值定义为比较程度值。
定义原始图片以及判定图片以便于后续对不同的需求整理图片进行分析;定义比较程度值以便于对同一图片集合中的两个图片之间的相似程度值进行标识,便于后续分析。
步骤S401:根据排序规则以确定数值最大的比较程度值,并将该比较程度值定义为标准程度值。
通过排序规则可确定与原始图片相似度最高的判定图片,此时将两者之间的相似度定义为标准程度值,以便于后续分析。
步骤S402:根据比较程度值与标准程度值进行差值计算以确定差值程度值,并根据所有的差值程度值进行计算以确定偏差程度值。
差值程度值为比较程度值与标准程度值的差值,该差值为绝对值,偏差程度值为原始图片与所有的判定图片之间的差值程度值的和。
步骤S403:根据排序规则以确定数值最小的偏差程度值,并将该偏差程度值相对应的原始图片确定为一级代表图片。
通过排序规则以确定数值最小的偏差程度值,此时说明该原始图片与其余判定图片之间的相似程度均较为接近,此时利用该原始图片作为一级代表图片可较为有效的对图片集合压缩后形成的图片一级压缩包进行标识;当图片集合中仅有两张图片时,利用现有的随机规则随机选取一张图片作为一级代表图片即可。
参照图5,选取一级代表图片的步骤还包括:
步骤S500:判断是否存在至少两个偏差程度值数值最小的原始图片。
判断的目的是为了得知是否仅有唯一可供选择的原始图片。
步骤S5001:若不存在至少两个偏差程度值数值最小的原始图片,则将该原始图片确定为一级代表图片。
当不存在至少两个偏差程度值数值最小的原始图片时,说明仅有唯一的可供选择的原始图片,此时将该原始图片确定为一级代表图片即可。
步骤S5002:若存在至少两个偏差程度值数值最小的原始图片,则于单个原始图片中根据排序规则确定数值最大的差值程度值,并将根据该差值程度值以及偏差程度值进行计算以确定剩余程度值。
当存在至少两个偏差程度值数值最小的原始图片时,说明存在多个满足要求的原始图片,需要对原始图片进行筛选;通过排序规则可对偏差最大的图片进行排除,此时利用偏差程度孩子减去排除的图片的差值程度值可得到剩余的需要进行分析的图片的差值程度值的和,该和值即剩余程度值。
步骤S501:根据排序规则确定数值最小的剩余程度值,并根据该剩余程度值相对应的原始图片进行计数以确定符合数量。
利用排序规则可确定偏差最小的剩余程度值,即此时原始图片与未排除的判定图片相似度最高,符合数量为存在的数值最小的剩余程度值的原始图片的总数量值。
步骤S502:判断符合数量是否大于一。
判断的目的是为了得知是否仅有唯一的原始图片以供选择。
步骤S5021:若符合数量不大于一,则根据该原始图片确定一级代表图片。
当符合数量不大于一时,说明仅有唯一的原始图片以供选择,此时正常确定一级代表图片即可。
步骤S5022:若符合数量大于一,则于剩余程度值对应的差值程度值中根据排序规则继续确定数值最大的差值程度值并更新剩余程度值,直至符合数量不大于一以根据原始图片确定一级代表图片。
当符合数量大于一时,说明还无法较为准确的确定唯一的原始图片,此时于剩下满足要求的原始图片中继续排除判定图片,直至仅有唯一的原始图片以作为一级代表图片;同理,在判定图片排除的过程中,若仅剩有两张图片,此时利用随机规则随机选取一张图片作为一级代表图片。
参照图6,于图片一级压缩包与相对应的一级代表图片相连接后,数据整理方法还包括:
步骤S600:将所有一级代表图片之间的相似程度值定义为代表程度值。
定义代表程度值以便于后续对以及代表图片之间做进一步处理。
步骤S601:根据一级代表图片所确定的偏差程度值进行均值计算以确定均值程度值。
均值程度值为所有一级代表图片确定时与图片集合中其余图片所确定的偏差程度值的平均值,例如共有三个一级代表图片A、B、C,其中A确定为一级代表图片时与图片集合中其余图片之间的偏差程度值为30%,B以及C分别为20%以及40%,则均值程度值为30%。
步骤S602:根据预设的系数匹配关系以确定任意两个一级代表图片的均值程度值相对应的需求程度值。
需求程度值为可认定两个一级代表图片之间较为相似时的最小相似度要求,不同的均值程度值说明两个一级代表图片之间能够代表图片一级压缩包中的其余图片的代表性程度不一, 此时所对应的需求程度值也不同,当两者的均值程度值均较高时,说明两者均能较好的代表其余图片,此时的需求程度值应较高,反之较低,两者之间的系数匹配关系由工作人员事先进行多次试验以确定。
步骤S603:判断两个一级代表图片的代表程度值是否大于需求程度值。
判断的目的是为了得知是否有两个一级代表图片较为相似,以判断是否能继续进行归纳处理。
步骤S6031:若两个一级代表图片的代表程度值不大于需求程度值,则无动作。
当两个一级代表图片的代表程度值不大于需求程度值时,说明这两个一级代表图片不相似,此时无需额外操作。
步骤S6032:若两个一级代表图片的代表程度值大于需求程度值,则将两个一级代表图片归纳于预设的初始为空的代表集合中,直至所有的一级代表图片均进行代表集合分析。
当两个一级代表图片的代表程度值大于需求程度值时,说明这两个一级代表图片较为相似,此时将这两个图片归纳于新的代表集合中,以便于后续分析。
步骤S604:于代表集合中确定二级代表图片,并对其余一级代表图片以及图片一级压缩包进行压缩以生成图片二级压缩包,且于图片二级压缩包生成后继续分析二级代表图片的代表程度值,直至不存在能够继续压缩的情况。
针对处于同一代表集合中的图片进行二级代表图片确定,以继续对图片以及压缩包进行压缩处理,从而事先较为相似的图片进行二次压缩,有效的实现图片整理;通过多级压缩的方式能够有效的将较为相似的图片进行归纳,便于释放手机存储空间。
参照图7,若两个一级代表图片的代表程度值大于需求程度值时,数据整理方法还包括:
步骤S700:于单个一级代表图片将相对应的代表程度值大于需求程度值的另一一级代表图片定义为相邻图片。
定义相邻图片以便于后续分析。
步骤S701:于单个一级代表图片下判断相邻图片是否唯一。
判断的目的是为了得知单个一级代表图片是否存在与多个其余一级代表图片均相似的情况。
步骤S7011:若相邻图片唯一,则将两个一级代表图片归纳于初始为空的代表集合中。
当相邻图片唯一时,说明该图片仅与唯一的一级代表图片相似,此时将两者归纳于同一代表集合即可。
步骤S7012:若相邻图片不唯一,则于相邻图片中根据排序规则以确定数值最大的代表程度值,并根据该代表程度值相对应的相邻图片以归纳于同一代表集合中。
当相邻图片不唯一时,需要对相邻图片进行选取,此时利用排序规则确定相似程度最高的归纳于同一代表集合中,以使得最相似的一级代表图片能进行后续压缩,利用该方式可使单个一级代表图片不会处于两个代表集合中,以便于图片数据整理的稳定。
参照图8,基于同一发明构思,本发明实施例提供一种数据整理系统,包括:
获取模块,用于获取需求整理图片;
处理模块,与获取模块和判断模块连接,用于信息的存储和处理;
判断模块,与获取模块和处理模块连接,用于信息的判断;
获取模块于需求整理图片中获取各像素点的像素位置以及像素灰度值;
处理模块于不同需求整理图片的同一像素位置下根据像素灰度值进行差值计算以确定差值灰度值;
处理模块将判断模块判断出的差值灰度值小于预设的相似阈值的像素点定义为相似像素点,并于需求整理图片中根据相似像素点进行计数以确定该需求整理图片相较于另一需求整理图片的相似数量;
处理模块根据相似数量以及预设的总像素数量进行计算以确定相似程度值;
处理模块将判断模块判断出的相似程度值大于预设的基准需求值的需求整理图片归纳于同一预设的初始为空的图片集合中,并于图片集合归纳后于各图片集合中选取一级代表图片;
处理模块于各图片集合中将除一级代表图片以外的需求整理图片进行压缩以生成图片一级压缩包,并将图片一级压缩包与相对应的一级代表图片相连接;
图片深度分析模块,用于对意外入镜的物体而导致图片相似程度较低的情况进行分析,以使图片能较好的进行归纳;
异常物体精确模块,对于意外入镜的物体进行较为准确的分析确定;
一级代表图片确定模块,用于确定较为合适的一级代表图片;
一级代表图片筛选模块,用于对多个满足要求的一级代表图片进行筛选;
多次压缩控制模块,对形成的压缩包进行多次压缩以尽可能缩小占用的存储空间;
图片归纳分析模块,用于对代表图片归纳的情况进行分析处理。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
Claims (8)
1.一种数据整理方法,其特征在于,包括:
获取需求整理图片;
于需求整理图片中获取各像素点的像素位置以及像素灰度值;
于不同需求整理图片的同一像素位置下根据像素灰度值进行差值计算以确定差值灰度值;
将差值灰度值小于预设的相似阈值的像素点定义为相似像素点,并于需求整理图片中根据相似像素点进行计数以确定该需求整理图片相较于另一需求整理图片的相似数量;
根据相似数量以及预设的总像素数量进行计算以确定相似程度值;
将相似程度值大于预设的基准需求值的需求整理图片归纳于同一预设的初始为空的图片集合中,并于图片集合归纳后于各图片集合中选取一级代表图片;
于各图片集合中将除一级代表图片以外的需求整理图片进行压缩以生成图片一级压缩包,并将图片一级压缩包与相对应的一级代表图片相连接。
2.根据权利要求1所述的数据整理方法,其特征在于,于图片集合归纳后,数据整理方法还包括:
将图片集合中的需求整理图片定义为集内图片,并将处于该图片集合以外的需求整体图片定义为该图片集合相对应的集外图片;
于集外图片中将相较于任一集内图片的相似程度值大于预设的替补需求值的集外图片定义为替补图片,并将与该替补图片相对应的相似程度值最大的集内图片定义为相对图片;
于替补图片中将相较于相对图片而言不为相似像素点的像素点定义为异类像素点,并以任一异类像素点为圆心、预设的相邻像素距离为半径以划定相邻区域;
将处于同一相邻区域内的异类像素点归纳于同一预设的初始为空的像素点集合内,并于归纳完成后根据像素点集合内的异类像素点进行计数以确定异类数量;
根据预设的排序规则以确定数值最大的异类数量,并根据该异类数量以更新相似程度值,且于相似程度值更新后重新归纳图片集合。
3.根据权利要求2所述的数据整理方法,其特征在于,于各像素点集合的异类数量确定后,数据整理方法还包括:
根据单个像素点集合内的异类像素点相互连线以确定异类外轮廓线,并将异类外轮廓线围合形成的区域定义为异类区域,且获取异类区域的异类面积;
将异类区域与预设的边缘区域重叠的区域确定为重叠区域,并根据重叠区域确定重叠面积;
根据重叠面积以及异类面积进行计算以确定边缘占比值;
判断边缘占比值是否大于预设的基准占比值;
若边缘占比值大于基准占比值,则定义该像素点集合为有效集合;
若边缘占比值不大于基准占比值,则定义该像素点集合为无效集合;
于所有的有效集合中根据排序规则确定数值最大的异类数量并更新相似程度值。
4.根据权利要求1所述的数据整理方法,其特征在于,于各图片集合中选取一级代表图片的步骤包括:
于图片集合中取任一需求整理图片为原始图片,并将其余需求整理图片确定为判定图片,且将原始图片与判定图片之间的相似程度值定义为比较程度值;
根据排序规则以确定数值最大的比较程度值,并将该比较程度值定义为标准程度值;
根据比较程度值与标准程度值进行差值计算以确定差值程度值,并根据所有的差值程度值进行计算以确定偏差程度值;
根据排序规则以确定数值最小的偏差程度值,并将该偏差程度值相对应的原始图片确定为一级代表图片。
5.根据权利要求4所述的数据整理方法,其特征在于,选取一级代表图片的步骤还包括:
判断是否存在至少两个偏差程度值数值最小的原始图片;
若不存在至少两个偏差程度值数值最小的原始图片,则将该原始图片确定为一级代表图片;
若存在至少两个偏差程度值数值最小的原始图片,则于单个原始图片中根据排序规则确定数值最大的差值程度值,并将根据该差值程度值以及偏差程度值进行计算以确定剩余程度值;
根据排序规则确定数值最小的剩余程度值,并根据该剩余程度值相对应的原始图片进行计数以确定符合数量;
判断符合数量是否大于一;
若符合数量不大于一,则根据该原始图片确定一级代表图片;
若符合数量大于一,则于剩余程度值对应的差值程度值中根据排序规则继续确定数值最大的差值程度值并更新剩余程度值,直至符合数量不大于一以根据原始图片确定一级代表图片。
6.根据权利要求5所述的数据整理方法,其特征在于,于图片一级压缩包与相对应的一级代表图片相连接后,数据整理方法还包括:
将所有一级代表图片之间的相似程度值定义为代表程度值;
根据一级代表图片所确定的偏差程度值进行均值计算以确定均值程度值;
根据预设的系数匹配关系以确定任意两个一级代表图片的均值程度值相对应的需求程度值;
判断两个一级代表图片的代表程度值是否大于需求程度值;
若两个一级代表图片的代表程度值不大于需求程度值,则无动作;
若两个一级代表图片的代表程度值大于需求程度值,则将两个一级代表图片归纳于预设的初始为空的代表集合中,直至所有的一级代表图片均进行代表集合分析;
于代表集合中确定二级代表图片,并对其余一级代表图片以及图片一级压缩包进行压缩以生成图片二级压缩包,且于图片二级压缩包生成后继续分析二级代表图片的代表程度值,直至不存在能够继续压缩的情况。
7.根据权利要求6所述的数据整理方法,其特征在于,若两个一级代表图片的代表程度值大于需求程度值时,数据整理方法还包括:
于单个一级代表图片将相对应的代表程度值大于需求程度值的另一一级代表图片定义为相邻图片;
于单个一级代表图片下判断相邻图片是否唯一;
若相邻图片唯一,则将两个一级代表图片归纳于初始为空的代表集合中;
若相邻图片不唯一,则于相邻图片中根据排序规则以确定数值最大的代表程度值,并根据该代表程度值相对应的相邻图片以归纳于同一代表集合中。
8.一种数据整理系统,其特征在于,包括:
获取模块,用于获取需求整理图片;
处理模块,与获取模块和判断模块连接,用于信息的存储和处理;
判断模块,与获取模块和处理模块连接,用于信息的判断;
获取模块于需求整理图片中获取各像素点的像素位置以及像素灰度值;
处理模块于不同需求整理图片的同一像素位置下根据像素灰度值进行差值计算以确定差值灰度值;
处理模块将判断模块判断出的差值灰度值小于预设的相似阈值的像素点定义为相似像素点,并于需求整理图片中根据相似像素点进行计数以确定该需求整理图片相较于另一需求整理图片的相似数量;
处理模块根据相似数量以及预设的总像素数量进行计算以确定相似程度值;
处理模块将判断模块判断出的相似程度值大于预设的基准需求值的需求整理图片归纳于同一预设的初始为空的图片集合中,并于图片集合归纳后于各图片集合中选取一级代表图片;
处理模块于各图片集合中将除一级代表图片以外的需求整理图片进行压缩以生成图片一级压缩包,并将图片一级压缩包与相对应的一级代表图片相连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311357229.6A CN117453936B (zh) | 2023-10-19 | 2023-10-19 | 一种数据整理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311357229.6A CN117453936B (zh) | 2023-10-19 | 2023-10-19 | 一种数据整理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117453936A true CN117453936A (zh) | 2024-01-26 |
CN117453936B CN117453936B (zh) | 2024-03-26 |
Family
ID=89579075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311357229.6A Active CN117453936B (zh) | 2023-10-19 | 2023-10-19 | 一种数据整理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117453936B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120026354A1 (en) * | 2009-04-06 | 2012-02-02 | Nec Corporation | Data processing device, image matching method, program, and image matching system |
CN103092861A (zh) * | 2011-11-02 | 2013-05-08 | 阿里巴巴集团控股有限公司 | 一种商品代表图的选取方法和系统 |
CN104111778A (zh) * | 2014-06-25 | 2014-10-22 | 小米科技有限责任公司 | 图片显示方法和装置 |
CN109325518A (zh) * | 2018-08-20 | 2019-02-12 | Oppo广东移动通信有限公司 | 图像的分类方法、装置、电子设备和计算机可读存储介质 |
CN110956203A (zh) * | 2019-11-14 | 2020-04-03 | 江苏大学 | 一种基于灯元分布匹配的静态夜景灯光检测方法 |
CN116521917A (zh) * | 2023-04-26 | 2023-08-01 | 四川长虹电器股份有限公司 | 一种图片筛选方法及装置 |
-
2023
- 2023-10-19 CN CN202311357229.6A patent/CN117453936B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120026354A1 (en) * | 2009-04-06 | 2012-02-02 | Nec Corporation | Data processing device, image matching method, program, and image matching system |
CN103092861A (zh) * | 2011-11-02 | 2013-05-08 | 阿里巴巴集团控股有限公司 | 一种商品代表图的选取方法和系统 |
CN104111778A (zh) * | 2014-06-25 | 2014-10-22 | 小米科技有限责任公司 | 图片显示方法和装置 |
CN109325518A (zh) * | 2018-08-20 | 2019-02-12 | Oppo广东移动通信有限公司 | 图像的分类方法、装置、电子设备和计算机可读存储介质 |
CN110956203A (zh) * | 2019-11-14 | 2020-04-03 | 江苏大学 | 一种基于灯元分布匹配的静态夜景灯光检测方法 |
CN116521917A (zh) * | 2023-04-26 | 2023-08-01 | 四川长虹电器股份有限公司 | 一种图片筛选方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117453936B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11281712B2 (en) | System, apparatus, method, program and recording medium for processing image | |
EP3667286A1 (en) | Tire image recognition method and tire image recognition device | |
CN1301489C (zh) | 从牙齿图像提取牙齿区域的方法及个人识别方法和装置 | |
US6445818B1 (en) | Automatically determining an optimal content image search algorithm by choosing the algorithm based on color | |
CN110147710B (zh) | 人脸特征的处理方法、装置和存储介质 | |
US20100008568A1 (en) | Method for classifying a digital image | |
CN110941594A (zh) | 一种视频文件的拆分方法、装置、电子设备及存储介质 | |
CN102045566B (zh) | 图像处理装置及图像处理装置的控制方法 | |
US11321287B2 (en) | Data noise reduction method, device, computer apparatus and storage medium | |
CN109389019B (zh) | 人脸图像选择方法、装置及计算机设备 | |
CN111291682A (zh) | 确定目标对象的方法、装置、存储介质及电子装置 | |
CN117453936B (zh) | 一种数据整理方法及系统 | |
CN110427845B (zh) | 物品像素中心确定方法、装置、设备及可读存储介质 | |
KR102522399B1 (ko) | 객체 확인 방법 및 이를 위한 시스템 | |
CN108052918A (zh) | 一种笔迹比对系统及方法 | |
CN117221609B (zh) | 一种高速公路收费业务集中监控值机系统 | |
CN110569840A (zh) | 目标检测方法及相关装置 | |
CN112464765B (zh) | 一种基于单像素特征放大的安全帽检测方法及其应用 | |
CN113989531A (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
CN117392404A (zh) | 一种提高图像检测速度的方法及系统 | |
CN112613396B (zh) | 一种任务紧急程度处理方法及系统 | |
KR101567026B1 (ko) | 비정상 상황 판별 장치 및 그 판별 방법 | |
CN115147633A (zh) | 图像聚类方法、装置、设备及存储介质 | |
CN115049875A (zh) | 一种基于深度学习的变电站中佩戴绝缘手套的检测方法 | |
KR101972428B1 (ko) | 개인 정보 보호를 위한 모드 설정이 가능한 영상 처리 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |