CN113362233B - 图片处理方法、装置、设备、系统及存储介质 - Google Patents

图片处理方法、装置、设备、系统及存储介质 Download PDF

Info

Publication number
CN113362233B
CN113362233B CN202010139174.1A CN202010139174A CN113362233B CN 113362233 B CN113362233 B CN 113362233B CN 202010139174 A CN202010139174 A CN 202010139174A CN 113362233 B CN113362233 B CN 113362233B
Authority
CN
China
Prior art keywords
target picture
frame group
picture
current frame
compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010139174.1A
Other languages
English (en)
Other versions
CN113362233A (zh
Inventor
孙效骥
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN202010139174.1A priority Critical patent/CN113362233B/zh
Publication of CN113362233A publication Critical patent/CN113362233A/zh
Application granted granted Critical
Publication of CN113362233B publication Critical patent/CN113362233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图片处理方法、装置、设备、系统及存储介质。该方法包括：根据目标图片的附属信息，识别所述目标图片是否为破损图片；若所述目标图片为破损图片，则根据所述目标图片的关联帧组，生成新的目标图片，用于替换所述目标图片。本申请实施例通过引入目标图片的关联帧组，并在目标图片破损的情况下，基于目标图片的关联帧组进行新的目标图片的生成，从而达到了对已破损的目标图片进行修复的效果，减少了目标图片破损时对目标图片的采集设备的依赖，一定程度上还降低了对目标图片的采集设备的存储能力的要求。

Description

图片处理方法、装置、设备、系统及存储介质
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种图片处理方法、装置、设备、系统及存储介质。
背景技术
高清图片是非现场执法过程中作为记录、取证等最为重要的业务之一。针对非现场执法的应用方案中，通常会设置前端采集设备在所安装区域实时采集图像，并将所采集图像网络传输至数据处理设备进行存储分析。
在图像传输过程中，受网络稳定性的影响，可能会存在文件传输成功，但数据处理设备所接收的图片数据存在丢失或部分丢失的情况，导致图片破损。
由于前端采集设备的存储空间有限，前端采集设备所采集图像会定期消除。当破损图片在前端采集设备的图像数据已被消除时，将无法通过续传的方式对破损图片进行覆盖，严重影响了公安、交警等执法单位的业务运行。
发明内容
本申请提供一种图片处理方法、装置、设备、系统及存储介质，以对破损的图片进行修复。
第一方面，本申请实施例提供了一种图片处理方法，包括：
根据目标图片的附属信息，识别所述目标图片是否为破损图片；
若所述目标图片为破损图片，则根据所述目标图片的关联帧组，生成新的目标图片，用于替换所述目标图片。
第二方面，本申请实施例还提供了一种图片处理装置，包括：
破损图片识别模块，用于根据目标图片的附属信息，识别所述目标图片是否为破损图片；
目标图片替换模块，用于在所述目标图片为破损图片时，根据所述目标图片的关联帧组，生成新的目标图片，用于替换所述目标图片。
第三方面，本申请实施例还提供了一种数据处理设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面实施例所提供的一种图片处理方法。
第四方面，本申请实施例还提供了一种监控系统，其特征在于，包括：
采集设备和如第三方面实施例所提供的数据处理设备；其中，所述采集设备与所述数据处理设备通信连接；
所述采集设备，用于采集目标图片，并向所述数据处理设备传输所述目标图片。
第五方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所提供的一种图片处理方法。
本申请实施例通过根据目标图片的附属信息，识别目标图片是否为破损图片；若目标图片为破损图片，则根据目标图片的关联帧组，生成新的目标图片，用于替换目标图片。上述技术方案通过引入目标图片的关联帧组，并在目标图片破损的情况下，基于目标图片的关联帧组进行新的目标图片的生成，从而达到了对已破损的目标图片进行修复的效果，减少了目标图片破损时对目标图片的采集设备的依赖，一定程度上还降低了对目标图片的采集设备的存储能力的要求。
附图说明
图1A是本申请实施例中的监控系统及应用场景示意图；
图1B是本申请实施例一中的一种图片处理方法的流程图；
图2是本申请实施例二中的一种图片处理方法的流程图；
图3是本申请实施例三中的一种图片生成方法的流程图；
图4是本申请实施例四中的一种图片生成装置的结构图；
图5是本申请实施例五中的一种数据处理设备的结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
为了清楚的介绍本申请各实施例的技术方案，首先对本申请所涉及的监控系统和应用场景进行示例性说明。
如图1A所示的监控系统和应用场景示意图。该监控系统包括采集设备10和数据处理设备20，采集设备10与数据处理设备20通信连接。
其中，采集设备10，用于采集目标图片和图片数据，并向所述数据处理设备20传输该目标图片和图片数据。其中，图片数据指的是视频流数据。
其中，数据处理设备20用于接收目标图片和图片数据，并对所接收的目标图片进行存储分析等。
具体的，采集设备10实时采集图片数据，并向数据处理设备20传输该图片数据，以实时存储。当采集设备10被触发执行图片采集功能时，进行目标图片的采集，并将采集到的目标图片和目标图片的图片数据并行传输至数据处理设备20进行实时存储。
举例说明，当安装在路口的摄像头监控到存在闯红灯等违法行为时，触发图片采集功能。
当数据处理设备20发现自身存储的图片数据存在缺失时，向采集设备10发送缺失码流查询请求；采集设备10基于该缺失码流查询请求向数据处理设备20反馈查询结果；数据处理设备20基于查询结果向采集设备发送缺失码流缓存补录请求；采集设备10基于该缺失码流缓存补录请求查询相应的图片数据，并反馈至数据处理设备20。
当目标图片传输过程中，网络状况不佳时，目标图片传输过程产生异常，也即数据处理设备20中无法接收到完好无损的目标图片。当网络状况恢复后，采集设备10会本地获取未成功传输的目标图片，并采用断网续传的方式将该目标图片重新传输至数据处理设备20。
然而，在实际使用过程中，仍然会存在采集设备10显示目标图片传输成功，然后将已成功传输的目标图片删除，但数据处理设备20所接收或存储的目标图片数据丢失的情况，此时将无法使用断网续传功能从采集设备10向数据处理设备20进行该目标图片的重新发送。给公安、交警等执法单位基于目标图片进行违法违规行为查证带来较大的影响。
实施例一
图1B是本申请实施例一中的一种图片处理方法的流程图。本申请实施例适用于数据处理设备存储由采集设备发送的目标图片过程中，目标图片发生破损的情况，该方法由图片处理装置执行，该装置通过软件和/或硬件实现，并具体配置于数据处理设备中。该数据处理设备可以是台式机、个人电脑等终端设备，还可以服务器。
如图1B所示的一种图片处理方法，包括：
S110、根据目标图片的附属信息，识别所述目标图片是否为破损图片。
其中，目标图片由采集设备进行图片采集得到，并由采集设备传输至数据处理设备中。
其中，附属信息可以是目标图片的标准图片大小和/或标准特征数据，由采集设备在图片采集后，对目标图片进行处理得到，并在向数据处理设备传输目标图片时，一并传输至数据处理设备中。
在本申请实施例的一种可选实施方式中，根据目标图片的附属信息，识别目标图片是否为破损图片，可以是：数据处理设备确定目标图片的实际图片大小，并比较目标图片的实际图片大小与附属信息中的目标图片的标准图片大小；若目标图片的实际图片大小与附属信息中的目标图片的标准图片大小相差不满足设定大小阈值，则确定目标图片为破损图片。其中，设定大小阈值可以由技术人员根据需要或经验值进行设定，还可以通过大量试验反复确定，例如可以是10％。
具体的，若目标图片的实际图片大小与附属信息中的目标图片的标准图片大小相差不小于设定大小阈值，则确定目标图片为破损图片。
在本申请实施例的另一可选实施方式中，根据目标图片的附属信息，识别目标图片是否为破损图片，可以是：数据处理设备提取目标图片的实际特征数据，并比较提取的实际特征数据与附属信息中的目标图片的标准特征数据的相似度；若该相似度不满足设定相似度阈值，则确定目标图片为破损图片。其中，设定相似度阈值可以由技术人员根据需要或经验值进行设定，还可以通过大量试验反复确定，例如可以是90％。
具体的，若目标图片的实际特征数据与附属信息中的目标图片的标准特征数据的相似度小于设定相似度阈值，则确定目标图片为破损图片。
其中，特征数据可以理解为目标图片中具备一定标识作用的信息，例如，车辆行驶过程抓拍的图片中的车牌号以及车辆轮廓信息等，又如监控画面中的人脸特征信息等。
可选的，可以通过轮询的方式对各目标图片进行破损识别。可以理解的是，为了避免对目标图片的破损情况进行重复识别，还可以在对目标图片进行识别之后，对已识别的目标图片进行标记。后续在对目标图片进行识别之前，首先根据标记情况验证该目标图片是否被标记，若被标记，则对下一目标图片进行识别；若未被标记，则对该目标图片进行识别，并在识别之后标记该目标图片。
S120、若所述目标图片为破损图片，则根据所述目标图片的关联帧组，生成新的目标图片，用于替换所述目标图片。
若目标图片为破损图片，则表明目标图片可能存在图片不完整或显示花屏的情况，因此需要对目标图片进行修复。由于采集设备向数据处理设备传输采集的各目标图片时，还并行传输与各目标图片的图片数据，也即与各目标图片关联的帧组数据，因此可以通过该目标图片的关联帧组进行图片修复。
在本申请实施例的一种可选实施方式中，根据目标图片的关联帧组，生成新的目标图片，可以是：根据目标图片的时间戳信息，确定目标图片的当前帧组；根据当前帧组，生成新的目标图片。
其中，时间戳信息可以理解为采集设备进行目标图片采集时的采集时间。
示例性地，根据目标图片的时间戳信息，确定目标图片的当前帧组，可以是：从图片数据中获取与目标图片的时间戳信息相一致的当前帧组。
示例性地，根据当前帧组，生成新的目标图片，可以是：对当前帧组中的关键帧进行编码，已生成新的目标图片。
其中，关键帧可以理解为当前帧组中的I帧。
在本申请实施例的另一可选实施方式中，根据目标图片的关联帧组，生成新的目标图片，还可以是：根据目标图片的时间戳信息，确定目标图片的当前帧组；根据与当前帧组相邻的历史帧组，生成新的目标图片。
示例性地，根据与当前帧组相邻的历史帧组，生成新的目标图片，可以是：从历史帧组中选择其中一个补偿帧作为参考补偿帧，并根据历史帧组中的关键帧和参考补偿帧，生成新的目标图片。
具体的，根据历史帧组中的关键帧和参考补偿帧，生成候选关键帧；对所生成的候选关键帧进行编码，以生成新的目标图片。
其中，关键帧可以理解为历史帧组中的I帧；参考帧可以理解为历史帧组中的P帧。
其中，与当前帧组相邻的历史帧组，可以是位于当前帧组具备一定帧组间隔的历史帧组，其中，帧组间隔可以是帧组时间长度的正整数倍。例如，帧组间隔为1个帧组时间长度，相应的，历史帧组为当前帧组的前一帧组。
本申请实施例通过根据目标图片的附属信息，识别目标图片是否为破损图片；若目标图片为破损图片，则根据目标图片的关联帧组，生成新的目标图片，用于替换目标图片。上述技术方案通过引入目标图片的关联帧组，并在目标图片破损的情况下，基于目标图片的关联帧组进行新的目标图片的生成，从而达到了对已破损的目标图片进行修复的效果，减少了目标图片破损时对目标图片的采集设备的依赖，一定程度上还降低了对目标图片的采集设备的存储能力的要求。
在上述各实施例的技术方案的基础上，当采集设备与数据处理设备之间网络不稳定造成目标图片破损时，在采集设备与数据处理设备之间的网络状况恢复后，若采集设备中还留存有采集的目标图片，则还会通过断网续传的方式重新传输至数据处理设备。此时，若数据处理设备已经对目标图片完成修复，形成了新的目标图片，则可以采用重新传输的目标图片替换修复后的目标图片，以最大限度保证数据处理设备中存储的数据的还原度。
实施例二
图2是本申请实施例二中的一种图片处理方法的流程图，本申请实施例在上述各实施例的技术方案的基础上，进行了优化改进。
进一步地，将操作“根据所述目标图片的关联帧组，生成新的目标图片”细化为“根据所述目标图片的时间戳信息，确定所述目标图片的当前帧组；根据所述当前帧组，或与所述当前帧组相邻的历史帧组，生成新的目标图片”，以完善新的目标图片的生成机制。
进一步地，将操作“根据所述当前帧组，或与所述当前帧组相邻的历史帧组，生成新的目标图片”，细化为“提取所述当前帧组的关键帧的实际特征数据，并确定所述当前帧组的关键帧的实际特征数据与所述附属信息中的所述目标图片的标准特征数据的相似度；若所述相似度满足设定相似度阈值，则根据所述当前帧组，生成新的目标图片；若所述相似度不满足所述设定相似度阈值，则根据所述目标图片的时间戳信息，确定与目标图片的当前帧组相邻的历史帧组，并根据所述历史帧组，生成新的目标图片”，以进一步完善新的目标图片的生成机制。
如图2所示的一种图片生成方法，包括：
S210、根据目标图片的附属信息，识别所述目标图片是否为破损图片。
S220、若所述目标图片为破损图片，则根据所述目标图片的时间戳信息，确定所述目标图片的当前帧组。
S230、提取所述当前帧组的关键帧的实际特征数据。
其中，当前帧组的关键帧即为当前帧组中的I帧。
S240、确定所述当前帧组的关键帧的实际特征数据与所述附属信息中的所述目标图片的标准特征数据的相似度。
S250、判断相似度是否满足设定相似度阈值；若是，则执行S260A；否则，执行S260B。
其中，设定相似度阈值可以由技术人员根据需要或经验值进行设定，还可以通过大量试验反复确定。例如，设定相似度阈值可以是90％。
可选的，若相似度不小于设定相似度阈值，则表明当前帧组的关键帧中所包含的细节信息与目标图片中所包含的细节信息相似度较高，因此后续可以采用当前帧组对目标图片进行修复，也即根据当前帧组生成新的目标图片；若相似度小于设定相似度阈值，则表明当前帧组的关键帧中所包含的细节信息可能无法满足目标图片中的细节要求，也即当前帧组的关键帧中丢失了目标图片中的部分细节信息，因此当前帧组不适于对目标图片进行修复，或根据当前帧组所生成的新的目标图片与原目标图片的差异较大，因此后续可以根据与当前帧组相邻的历史帧组生成新的目标图片。
S260A、根据所述当前帧组，生成新的目标图片，用于替换所述目标图片。
具体的，对当前帧组中的关键帧进行编码，得到新的目标图片，用于替换目标图片。
S260B、根据所述目标图片的时间戳信息，确定与目标图片的当前帧组相邻的历史帧组。
具体的，从图片数据中查找与目标图片的时间戳信息相对应的帧组作为当前帧组；确定与当前帧组相邻的至少一个历史帧组。
示例性地，在确定与当前帧组相邻的至少一个历史帧组时，可以依照设定帧组间隔进行历史帧组的确定。其中，设定帧组间隔可以是帧组时间长度的正整数倍。可以理解的是，为了保证最终生成的目标图片与原图片的还原度，典型的，将设定帧组间隔设置为1个帧组时间长度。
S270B、根据所述历史帧组，生成新的目标图片，用于替换所述目标图片。
在本申请实施例的一种可选实施方式中，根据历史帧组，生成新的目标图片，可以是：从历史帧组中选择其中一个补偿帧作为参考补偿帧，并根据所述历史帧组中的关键帧和所述参考补偿帧，生成新的目标图片。
可以理解的是，由于历史帧组中包含有一个关键帧，也即I帧，以及多个补偿帧，也即P帧。在进行参考帧选择时，可以根据目标图片的时间戳信息，从历史帧组中选择其中一个补偿帧作为参考补偿帧。
可选的，根据目标图片的时间戳信息，从历史帧组中选择其中一个补偿帧作为参考补偿帧，可以随机选取历史帧组中的其中一个补偿帧作为参考补偿帧。
为了保证后续所生成的目标图片与原目标图片的还原度，以及生成的目标图片的精准度，可选的，根据目标图片的时间戳信息，从历史帧组中选择其中一个补偿帧作为参考补偿帧，还可以是：选取所述历史帧组中与所述时间戳信息的时间间隔最小的补偿帧，作为候选补偿帧；根据所述历史帧组中的关键帧与所述候选补偿帧，生成候选关键帧；提取所述候选关键帧的实际特征数据，并确定所述候选关键帧的实际特征数据与所述附属信息中的所述目标图片的标准特征数据的相似度；若该相似度满足设定相似度阈值，则将所述候选补偿帧作为所述参考补偿帧；若该相似度不满足所述设定相似度阈值，则从所述历史帧组中的其他补偿帧中，重新选取与所述时间戳信息的时间间隔最小的补偿帧作为所述候选补偿帧；继续执行候选关键帧生成操作，直至候选关键帧的实际特征数据与附属信息中的目标图片的标准特征数据的相似度不小于设定相似度阈值，从而将该候选补偿帧作为参考补偿帧。其中，设定相似度阈值可以由技术人员根据需要或经验值进行设定，还可以通过大量试验反复确定。例如，设定相似度阈值可以是90％。
具体的，当根据历史帧组中的关键帧与候选补偿帧所生成的候选关键帧的实际特征数据，与附属信息中的目标图片的标准特征数据的相似度不小于设定相似度阈值时，表明该候选关键帧中所包含的细节信息与目标图片中所包含的细节信息相似度较高，因此后续可以采用该候选关键帧对目标图片进行修复，
当根据历史帧组中的关键帧与候选补偿帧所生成的候选关键帧的实际特征数据，与附属信息中的目标图片的标准特征数据的相似度小于设定相似度阈值时，表明该候选关键帧中所包含的细节信息，可能无法满足目标图片中的细节要求，也即该候选关键帧中丢失了目标图片中的部分细节信息，因此该候选关键帧不适于对目标图片进行修复，或根据该候选关键帧所生成的新的目标图片，与原目标图片的差异较大，因此需要重新选择补偿帧进行候选关键帧的确定。
本申请实施例通过将根据当前帧组或与当前帧组的历史帧组，生成新的目标图片的过程，细化为提取当前帧组的关键帧的实际特征信息，根据实际特征信息与附属信息中的目标图片的标准特征数据的相似度，确定使用当前帧组还是与当前帧组相邻的历史帧组，进行新的目标图片的生成。上述方式能够在对目标图片的修复过程中，保证修复后的目标图片的精准度，以便基于修复后的目标图片为人脸识别、过车抓拍识别、及违章判罚等业务提供数据支撑。
实施例三
图3是本申请实施例三中的一种图片生成方法的流程图，本申请实施例在上述各实施例的技术方案的基础上，提供了一种优选实施方式。
如图3所示的一种图片生成方法，包括：
S301、接收采集设备采集的图片和图片数据；
S302、获取一个未标记的图片作为目标图片；
S303、确定目标图片的实际图片大小；
S304、判断实际图片大小与目标图片的私有数据段中的标准图片大小是否相同；若是，则执行S305；否则，执行S307B；
S305、提取目标图片的实际特征数据；
S306、判断实际特征数据与目标图片的私有数据段中的标准特征数据的相似度是否满足设定相似度阈值；若是，则执行S307A；否则，执行S307B；
其中，满足设定相似度阈值可以是不小于设定相似度阈值。其中，设定相似度阈值可以是90％。
S307A、对该目标图片进行标记。返回执行S302。
S307B、从图片数据中确定与目标图片的时间戳一致的当前帧组。
具体的，当目标图片的采集时刻，也即时间戳为t时，从图片数据中确定帧组Gt为当前帧组。
S308、提取当前帧组的关键帧的实际特征数据。
提取当前帧组Gt的关键帧It的实际特征数据。
S309、判断当前帧组的关键帧的实际特征数据与标准特征数据的相似度是否满足设定相似度阈值；若是，则执行S310A；否则，执行S310B。
S310A、对所述当前帧组中的关键帧进行编码，生成新的目标图片，用于替换原目标图片。返回执行S302。
S310B、从图片数据中确定与当前帧组时间间隔最小的历史帧组。
具体的，从图片数据中选取帧组Gt-1为历史帧组。
S311、选取历史帧组中与时间戳的时间间隔最小的补偿帧，作为候选补偿帧。继续执行S312。
具体的，从历史帧组Gt-1中，选取与时间戳t的时间间隔最小的补偿帧Pt-1,m为候选补偿帧。其中，m为每一帧组中包含的补偿帧的数量。
S312、根据历史帧组中的关键帧与候选补偿帧，生成候选关键帧。
具体的，根据历史帧组Gt-1中的关键帧It-1和候选补偿帧Pt-1,m生成候选关键帧I'。
S313、提取候选关键帧的实际特征数据。
S314、判断候选关键帧的实际特征数据与标准特征数据的相似度是否满足设定相似度阈值；若是，则执行S315；否则执行S316。
S315、对候选关键帧进行编码，生成新的目标图片，用于替换原目标图片。返回执行S302。
S316、确定该历史帧组中是否还存在其他补偿帧；若是，则执行S317；否则执行S318。
具体的，判断m是否为1；若是，则表明历史帧组Gt-1中已不存在其他补偿帧；否则，确定历史帧组Gt-1中还存在其他补偿帧。
S317、从该历史帧组的其他补偿帧中，重新选取与时间戳的时间间隔最小的补偿帧作为候选补偿帧。返回执行S312。
具体的，从历史帧组Gt-1的其他帧组中选取与时间戳t的时间间隔最小的补偿帧Pt-1,m-1为候选补偿帧。
S318、从图片数据中的其他历史帧组中选取与时间戳的时间间隔最小的另一历史帧组。返回执行S311。
具体的，从图片数据中选取帧组Gt-2为历史帧组。
实施例四
图4是本申请实施例四中的一种图片生成装置的结构图，本申请实施例适用于数据处理设备存储由采集设备发送的目标图片过程中，目标图片发生破损的情况，该装置通过软件和/或硬件实现，并具体配置于数据处理设备中。该数据处理设备可以是台式机、个人电脑等终端设备，还可以服务器。
如图4所示的一种图片生成装置，包括：破损图片识别模块410和目标图片替换模块420。其中，
破损图片识别模块410，用于根据目标图片的附属信息，识别所述目标图片是否为破损图片；
目标图片替换模块420，用于在所述目标图片为破损图片时，根据所述目标图片的关联帧组，生成新的目标图片，用于替换所述目标图片。
本申请实施例通过破损图片识别模块根据目标图片的附属信息，识别目标图片是否为破损图片；通过目标图片替换模块在目标图片为破损图片时，根据目标图片的关联帧组，生成新的目标图片，用于替换目标图片。上述技术方案通过引入目标图片的关联帧组，并在目标图片破损的情况下，基于目标图片的关联帧组进行新的目标图片的生成，从而达到了对已破损的目标图片进行修复的效果，减少了目标图片破损时对目标图片的采集设备的依赖，一定程度上还降低了对目标图片的采集设备的存储能力的要求。
进一步地，目标图片替换模块420，在执行根据所述目标图片的关联帧组，生成新的目标图片时，具体用于：
根据所述目标图片的时间戳信息，确定所述目标图片的当前帧组；
根据所述当前帧组，或与所述当前帧组相邻的历史帧组，生成新的目标图片。
进一步地，目标图片替换模块420，在执行根据所述当前帧组，或与所述当前帧组相邻的历史帧组，生成新的目标图片时，具体用于：
提取所述当前帧组的关键帧的实际特征数据，并确定所述当前帧组的关键帧的实际特征数据与所述附属信息中的所述目标图片的标准特征数据的相似度；
若所述相似度满足设定相似度阈值，则根据所述当前帧组，生成新的目标图片；
若所述相似度不满足所述设定相似度阈值，则根据所述目标图片的时间戳信息，确定与目标图片的当前帧组相邻的历史帧组，并根据所述历史帧组，生成新的目标图片。
进一步地，目标图片替换模块420，在执行根据所述当前帧组，或与所述当前帧组相邻的历史帧组，生成新的目标图片时，具体用于：
对所述当前帧组中的关键帧进行编码，以生成新的目标图片；或者，
从历史帧组中选择其中一个补偿帧作为参考补偿帧，并根据所述历史帧组中的关键帧和所述参考补偿帧，生成新的目标图片。
进一步地，目标图片替换模块420，在执行从历史帧组中选择其中一个补偿帧作为参考补偿帧时，具体用于：
根据所述目标图片的时间戳信息，从所述历史帧组中选择其中一个补偿帧作为参考补偿帧。
进一步地，目标图片替换模块420，在执行根据所述目标图片的时间戳信息，从所述历史帧组中选择其中一个补偿帧作为参考补偿帧时，具体用于：
选取所述历史帧组中与所述时间戳信息的时间间隔最小的补偿帧，作为候选补偿帧；
根据所述历史帧组中的关键帧与所述候选补偿帧，生成候选关键帧；
提取所述候选关键帧的实际特征数据，并确定所述候选关键帧的实际特征数据与所述附属信息中的所述目标图片的标准特征数据的相似度；
若该相似度满足设定相似度阈值，则将所述候选补偿帧作为所述参考补偿帧；
若该相似度不满足所述设定相似度阈值，则从所述历史帧组中的其他补偿帧中，重新选取与所述时间戳信息的时间间隔最小的补偿帧作为所述候选补偿帧。
进一步地，破损图片识别模块410，具体用于：
若所述目标图片的实际图片大小与所述附属信息中的所述目标图片的标准图片大小相差不满足设定大小阈值，则确定所述目标图片为破损图片；或者，
提取所述目标图片的实际特征数据，若所述目标图片的实际特征数据与所述附属信息中的所述目标图片的标准特征数据的相似度不满足设定相似度阈值，则确定所述目标图片为破损图片。
上述图片生成装置可执行本申请任意实施例所提供的图片生成方法，具备执行图片生成方法相应的功能模块和有益效果。
实施例五
图5是本申请实施例五中的一种数据处理设备的结构图，该设备包括：输入装置510、输出装置520、处理器530以及存储装置540。
其中，输入装置510，用于从采集设备中获取目标图片；
输出装置520，用于展示目标图片或替换后的目标图片；
一个或多个处理器530；
存储装置540，用于存储一个或多个程序。
图5中以一个处理器530为例，该数据处理设备中的输入装置510可以通过总线或其他方式与输出装置520、处理器530以及存储装置540相连，且处理器530和存储装置540也通过总线或其他方式连接，图5中以通过总线连接为例。
在本实施例中，数据处理设备中的处理器530可以控制输入装置510从采集设备中获取目标图片；还可以根据目标图片的附属信息，识别所述目标图片是否为破损图片；还可以在所述目标图片为破损图片时，根据所述目标图片的关联帧组，生成新的目标图片，用于替换所述目标图片；还可以控制输出装置520显示目标图片或替换后的目标图片。
该数据处理设备中的存储装置540作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本申请实施例中的图片生成方法对应的程序指令/模块(例如，附图4所示的破损图片识别模块410和目标图片替换模块420)。处理器530通过运行存储在存储装置540中的软件程序、指令以及模块，从而执行数据处理设备的各种功能应用以及数据处理，即实现上述方法实施例中的图片生成方法。
存储装置540可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储数据等(如上述实施例中的目标图片、附属信息、关联帧组和新的目标图片等)。此外，存储装置540可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置540可进一步包括相对于处理器530远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例六
本申请实施例提供了一种监控系统，包括采集设备和如图5所示的数据处理设备。其中，采集设备，用于采集目标图片，并向所述数据处理设备传输所述目标图片。
实施例七
本申请实施例七还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被图片生成装置执行时，实现本申请实施提供的图片生成方法，该方法包括：根据目标图片的附属信息，识别所述目标图片是否为破损图片；若所述目标图片为破损图片，则根据所述目标图片的关联帧组，生成新的目标图片，用于替换所述目标图片。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (8)

1.一种图片处理方法，其特征在于，包括：
根据目标图片的附属信息，识别所述目标图片是否为破损图片；其中，所述附属信息为所述目标图片的标准图片大小和/或标准特征数据；
若所述目标图片为破损图片，则根据所述目标图片的关联帧组，生成新的目标图片，用于替换所述目标图片；
所述根据所述目标图片的关联帧组，生成新的目标图片，包括：
根据所述目标图片的时间戳信息，确定所述目标图片的当前帧组；
根据所述当前帧组，或与所述当前帧组相邻的历史帧组，生成新的目标图片；
所述根据所述当前帧组，或与所述当前帧组相邻的历史帧组，生成新的目标图片，包括：
对所述当前帧组中的关键帧进行编码，以生成新的目标图片；或者，
从历史帧组中选择其中一个补偿帧作为参考补偿帧，并根据所述历史帧组中的关键帧和所述参考补偿帧，生成新的目标图片；
所述根据所述当前帧组，或与所述当前帧组相邻的历史帧组，生成新的目标图片，包括：
提取所述当前帧组的关键帧的实际特征数据，并确定所述当前帧组的关键帧的实际特征数据与所述附属信息中的所述目标图片的标准特征数据的相似度；
若所述相似度满足设定相似度阈值，则根据所述当前帧组，生成新的目标图片；
若所述相似度不满足所述设定相似度阈值，则根据所述目标图片的时间戳信息，确定与目标图片的当前帧组相邻的历史帧组，并根据所述历史帧组，生成新的目标图片。
2.根据权利要求1所述的方法，其特征在于，从历史帧组中选择其中一个补偿帧作为参考补偿帧，包括：
根据所述目标图片的时间戳信息，从所述历史帧组中选择其中一个补偿帧作为参考补偿帧。
3.根据权利要求2所述的方法，其特征在于，根据所述目标图片的时间戳信息，从所述历史帧组中选择其中一个补偿帧作为参考补偿帧，包括：
选取所述历史帧组中与所述时间戳信息的时间间隔最小的补偿帧，作为候选补偿帧；
根据所述历史帧组中的关键帧与所述候选补偿帧，生成候选关键帧；
提取所述候选关键帧的实际特征数据，并确定所述候选关键帧的实际特征数据与所述附属信息中的所述目标图片的标准特征数据的相似度；
若该相似度满足设定相似度阈值，则将所述候选补偿帧作为所述参考补偿帧；
若该相似度不满足所述设定相似度阈值，则从所述历史帧组中的其他补偿帧中，重新选取与所述时间戳信息的时间间隔最小的补偿帧作为所述候选补偿帧。
4.根据权利要求1-3任一项所述的方法，其特征在于，根据目标图片的信息，识别所述目标图片是否为破损图片，包括：
若所述目标图片的实际图片大小与所述附属信息中的所述目标图片的标准图片大小相差不满足设定大小阈值，则确定所述目标图片为破损图片；或者，
提取所述目标图片的实际特征数据，若所述目标图片的实际特征数据与所述附属信息中的所述目标图片的标准特征数据的相似度不满足设定相似度阈值，则确定所述目标图片为破损图片。
5.一种图片处理装置，其特征在于，包括：
破损图片识别模块，用于根据目标图片的附属信息，识别所述目标图片是否为破损图片；其中，所述附属信息为所述目标图片的标准图片大小和/或标准特征数据；
目标图片替换模块，用于在所述目标图片为破损图片时，根据所述目标图片的关联帧组，生成新的目标图片，用于替换所述目标图片；
所述目标图片替换模块，还用于根据所述目标图片的时间戳信息，确定所述目标图片的当前帧组；根据所述当前帧组，或与所述当前帧组相邻的历史帧组，生成新的目标图片；所述根据所述当前帧组，或与所述当前帧组相邻的历史帧组，生成新的目标图片，包括：对所述当前帧组中的关键帧进行编码，以生成新的目标图片；或者，从历史帧组中选择其中一个补偿帧作为参考补偿帧，并根据所述历史帧组中的关键帧和所述参考补偿帧，生成新的目标图片；
所述目标图片替换模块，在执行根据所述当前帧组，或与所述当前帧组相邻的历史帧组，生成新的目标图片时，具体用于：
提取所述当前帧组的关键帧的实际特征数据，并确定所述当前帧组的关键帧的实际特征数据与所述附属信息中的所述目标图片的标准特征数据的相似度；
若所述相似度满足设定相似度阈值，则根据所述当前帧组，生成新的目标图片；
若所述相似度不满足所述设定相似度阈值，则根据所述目标图片的时间戳信息，确定与目标图片的当前帧组相邻的历史帧组，并根据所述历史帧组，生成新的目标图片。
6.一种数据处理设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任一项所述的一种图片处理方法。
7.一种监控系统，其特征在于，包括：
采集设备和如权利要求6所述的数据处理设备；其中，所述采集设备与所述数据处理设备通信连接；
所述采集设备，用于采集目标图片，并向所述数据处理设备传输所述目标图片。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述的一种图片处理方法。
CN202010139174.1A 2020-03-03 2020-03-03 图片处理方法、装置、设备、系统及存储介质 Active CN113362233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010139174.1A CN113362233B (zh) 2020-03-03 2020-03-03 图片处理方法、装置、设备、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010139174.1A CN113362233B (zh) 2020-03-03 2020-03-03 图片处理方法、装置、设备、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113362233A CN113362233A (zh) 2021-09-07
CN113362233B true CN113362233B (zh) 2023-08-29

Family

ID=77523338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010139174.1A Active CN113362233B (zh) 2020-03-03 2020-03-03 图片处理方法、装置、设备、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113362233B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783512B (zh) * 2019-11-11 2024-05-14 西安宇视信息科技有限公司 图像处理方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
JP2004289284A (ja) * 2003-03-19 2004-10-14 Seiko Epson Corp 画像処理方法および画像処理装置ならびに画像処理プログラム
JP2009124502A (ja) * 2007-11-15 2009-06-04 Toshiba Corp フレーム補間装置
WO2014180255A1 (zh) * 2013-10-22 2014-11-13 中兴通讯股份有限公司 一种数据处理方法、装置、计算机存储介质及用户终端
WO2016002140A1 (ja) * 2014-07-03 2016-01-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
CN107872671A (zh) * 2016-09-26 2018-04-03 华为技术有限公司 一种图片编码方法及终端
CN108093299A (zh) * 2017-12-22 2018-05-29 厦门市美亚柏科信息股份有限公司 Mp4损坏文件的修复方法及存储介质
CN108961183A (zh) * 2018-06-27 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、终端设备及计算机可读存储介质
CN110266955A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110728639A (zh) * 2019-09-29 2020-01-24 三星电子（中国）研发中心 图片修复方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
US9788018B2 (en) * 2008-06-30 2017-10-10 Microsoft Technology Licensing, Llc Error concealment techniques in video decoding
US20100231797A1 (en) * 2009-03-10 2010-09-16 Broadcom Corporation Video transition assisted error recovery for video data delivery
US10659724B2 (en) * 2011-08-24 2020-05-19 Ati Technologies Ulc Method and apparatus for providing dropped picture image processing
JPWO2014051081A1 (ja) * 2012-09-28 2016-08-25 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
EP3281176A1 (en) * 2015-04-08 2018-02-14 Google LLC Image editing and repair
CN106682124A (zh) * 2016-12-09 2017-05-17 百度在线网络技术（北京）有限公司 一种图片识别方法、装置和设备
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
JP2004289284A (ja) * 2003-03-19 2004-10-14 Seiko Epson Corp 画像処理方法および画像処理装置ならびに画像処理プログラム
JP2009124502A (ja) * 2007-11-15 2009-06-04 Toshiba Corp フレーム補間装置
WO2014180255A1 (zh) * 2013-10-22 2014-11-13 中兴通讯股份有限公司 一种数据处理方法、装置、计算机存储介质及用户终端
WO2016002140A1 (ja) * 2014-07-03 2016-01-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
CN107872671A (zh) * 2016-09-26 2018-04-03 华为技术有限公司 一种图片编码方法及终端
CN108093299A (zh) * 2017-12-22 2018-05-29 厦门市美亚柏科信息股份有限公司 Mp4损坏文件的修复方法及存储介质
CN108961183A (zh) * 2018-06-27 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、终端设备及计算机可读存储介质
CN110266955A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110728639A (zh) * 2019-09-29 2020-01-24 三星电子（中国）研发中心 图片修复方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Data hiding inside JPEG images with high resistance to steganalysis using a novel technique: DCT-M3;Abdelhamid Awad Attaby，et al;Ain Shams Engineering Journal;第9卷(第4期);1965-1974 *

Also Published As

Publication number Publication date
CN113362233A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN105354773B (zh) 一种用于交通事故现场证据保全及验证的系统
CN106919610B (zh) 车联网数据处理方法、系统及服务器
CN108900910B (zh) 监测iptv业务内容合法性的方法和系统
CN112767711A (zh) 一种多类别多尺度多目标抓拍方法及系统
CN112464030B (zh) 一种可疑人员确定方法及装置
CN108230669B (zh) 基于大数据和云分析的道路车辆违法检测方法及系统
CN113362233B (zh) 图片处理方法、装置、设备、系统及存储介质
CN110969860B (zh) 交通违法行为后台审核系统和方法
CN110543584B (zh) 一种建立人脸索引的方法、装置、处理服务器及存储介质
CN112509325A (zh) 一种基于视频深度学习的非现场违法自动甄别方法
CN112233421A (zh) 一种基于机器视觉的城市智慧交通监控智能系统
CN112507860A (zh) 一种视频标注方法、装置、设备及存储介质
CN114139016A (zh) 一种智慧小区的数据处理方法及系统
KR20090035798A (ko) 차량 번호판의 영상 저장 시스템 및 그 방법
CN112990308A (zh) 一种对印刷内容进行监测的方法、装置及设备
CN110855947B (zh) 一种图像抓拍处理方法及装置
CN111461124A (zh) 基于大数据的遮挡车牌识别方法、设备及存储介质
KR101071715B1 (ko) 아이피 기반의 차량번호인식 시스템 및 방법
CN112613396B (zh) 一种任务紧急程度处理方法及系统
CN112347996A (zh) 一种场景状态判断方法、装置、设备及存储介质
CN111327925A (zh) 数据处理方法、装置、电子设备及机器可读存储介质
CN114691603A (zh) 目标信息存储方法、装置、电子设备及介质
CN112418234A (zh) 识别车牌号的方法、装置、电子设备及存储介质
CN111353477B (zh) 一种步态识别系统和方法
CN112766116B (zh) 一种执法记录仪的人脸识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant