CN103957341A - 图片传输的方法及其相关设备 - Google Patents

图片传输的方法及其相关设备 Download PDF

Info

Publication number
CN103957341A
CN103957341A CN201410183227.4A CN201410183227A CN103957341A CN 103957341 A CN103957341 A CN 103957341A CN 201410183227 A CN201410183227 A CN 201410183227A CN 103957341 A CN103957341 A CN 103957341A
Authority
CN
China
Prior art keywords
image
reference picture
receiving device
ending equipment
sending ending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410183227.4A
Other languages
English (en)
Other versions
CN103957341B (zh
Inventor
宣曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Huawei Software Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410183227.4A priority Critical patent/CN103957341B/zh
Publication of CN103957341A publication Critical patent/CN103957341A/zh
Application granted granted Critical
Publication of CN103957341B publication Critical patent/CN103957341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明实施例公开了图片传输的方法及其相关设备,用于在单幅图片传输场景中,提高图像传输中传输图片的压缩率,在保证图片质量的情况下,缓解图片传输对网络带宽的压力。本发明实施例方法包括:发送端设备根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合,将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码的方法对当前传输图像进行压缩,得到压缩图像文件,将参考图像的标识信息与所压缩图像文件发送给接收端设备,使得该接收端设备利用帧间解码的方法对所述压缩文件解码得到完整图像。

Description

图片传输的方法及其相关设备
技术领域
本发明涉及数据传输领域,尤其涉及图片传输的方法及其相关设备。
背景技术
随着智能手机与社交媒体概念的普及,人们的通信与交流的方式越发多样化,从原先单一的文本信息的传递发展到文字、图片、语音、视频等多种媒体形式信息的传递、分享。通信过程更直观、更快捷。目前微信等服务平台都具有媒体传输分享的功能,其中图片传输分享具有实时、直观、生动的特点,得到消费者的普遍认同和喜爱。而且用户往往会将一段时间间隔内拍摄得到的图片,例如婚礼现场、宝宝写真、体育赛事等图片共享。随着高清摄像头在移动终端上的发展,图片文件所需的储存与传输空间也越来越大(单幅1080P图片接近6M,4K图片需要24M左右的存储空间),由此引发的媒体编码压缩需求日趋迫切。
目前,手机拍摄的照片大都采用JPEG编码标准进行初步压缩处理,为了保证手机拍摄图片的质量,手机成像软件采用高质量的JPEG压缩。在实际的图片分享过程中,会传输该使用JPEG压缩的图片。
但是,一幅手机拍摄成像的接近4K的原始照片采用高质量的JPEG压缩后仍需要大于2M的空间,直接传输该使用JPEG压缩的图片会对网络带宽造成很大的压力。
发明内容
本发明实施例提供了图片传输的方法及其相关设备,用于在单幅图片传输场景中,提高图像传输中传输图片的压缩率,在保证图片质量的情况下,缓解图片传输对网络带宽的压力。
本发明实施例第一方面提供了一种发送端设备,包括:
第一确定模块,用于根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合,所述接收端设备的标识用于唯一确定接收端设备;
第一编码模块,用于将所述参考图像集合中的图像作为所述当前传输图像的参考图像,采用帧间编码方法对所述当前传输图像进行压缩,得到压缩图像文件;
第一发送模块,用于将参考图像的标识信息与所述压缩图像文件发送给所述接收端设备,所述参考图像的标识信息用于表示所述参考图像,使得所述接收端设备根据所述参考图像的标识信息与所述压缩图像文件采用帧间解码方法解码出所述当前传输图像的完整图像。
结合本发明实施例的第一方面,本发明实施例第一方面的第一种实现方式中,所述第一确定模块具体包括:
查找单元,用于按照所述接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
候选构建单元,用于使用所述已传输图像索引列表中图像的标识信息构成参考图像候选集合;
计算单元,用于对所述参考图像候选集合中各图像进行图像相似计算,得到所述参考图像候选集合中各图像与所述当前传输图像的相似度;
选择单元,用于按照所述参考图像候选集合中各图像的相似度从高到低的顺序,在所述参考图像候选集合中选择预置数目个图像组成所述参考图像集合。
结合本发明实施例第一方面的第一种实现方式,本发明实施例第一方面的第二种实现方式中,所述第一确定模块中还可以包括:
判断单元,用于将所述参考图像候选集合中各图像与所述当前传输图像进行属性信息一致性判断;
删除单元,用于删除所述参考图像候选集合中与所述当前传输图像的属性信息不一致的图像。
结合本发明实施例第一方面的第二种实现方式,本发明实施例第一方面的第三种实现方式中,所述第一编码模块具体包括:
第一检索单元,用于根据所述参考图像集合中图像的标识信息,在所述已传输图像索引列表中检索参考图像的路径;
读取单元,用于按照所述参考图像的路径读取所述参考图像的图像信息;
编码单元,用于根据所述参考图像的图像信息,采用帧间编码方法对所述当前传输图像进行压缩,得到所述压缩图像文件。
结合本发明实施例第一方面的第一种实现方式至第一方面的第三种实现方式中任一种实现方式,本发明实施例中第一方面的第四种实现方式中,所述发送端设备还包括:
第二发送模块,用于发送参考图像可用信息请求消息给所述接收端设备,所述参考图像可用信息请求消息用于向所述接收端设备确定所述参考图像候选集合中的图像是否存在于所述接收端设备中;
第一更新模块,用于当接收到所述接收端设备返回参考图像可用信息响应消息后,根据所述参考图像可用信息响应消息更新所述参考图像候选集合。
结合本发明实施例的第一方面至第一方面的第三种实现方式中任一种实现方式,本发明实施例中第一方面的第五种实现方式中,所述发送端设备还包括:
第一接收模块,用于接收所述接收端设备返回的解码异常处理请求,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像;
第二更新模块,用于根据所述解码异常处理请求更新所述参考图像集合;
第二编码模块,用于按照更新后的参考图像集合中的参考图像,采用帧间编码方法对所述当前传输图像重新进行压缩,得到新压缩图像文件;
第三发送模块,用于将更新后的参考图像的标识信息与所述新压缩图像文件发送给所述接收端设备。
本发明实施例第二方面提供了一种接收端设备,包括:
第二接收模块,用于接收发送端设备发送的参考图像的标识信息与压缩图像文件,所述压缩图像文件为所述发送端设备对当前传输图像采用帧间编码方法压缩的文件;
第二确定模块,用于根据所述参考图像的标识信息确定所述压缩图像文件的参考图像;
第一解码模块,用于根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像,所述完整图像为所述当前传输图像的完整图像。
结合本发明实施例的第二方面,本发明实施例第二方面的第一种实现方式中,所述接收端设备还包括:
第三接收模块,用于接收所述发送端设备发送的参考图像可用信息请求消息,所述参考图像可用信息请求消息用于向所述接收端设备确定参考图像候选集合中的图像是否存在于所述接收端设备中;
返回模块,用于返回参考图像可用信息响应消息给所述发送端设备,所述参考图像可用信息响应消息用于确定存在于所述接收端设备中的参考图像。
结合本发明实施例的第二方面或第二方面的第一种实现方式,本发明实施例第二方面的第二种实现方式中,所述第二确定模块具体包括:
第二检索单元,用于按照所述参考图像的标识信息,在本地保存的已传输图像索引列表中检索所述参考图像的路径;
获取模块,用于按照所述参考图像的路径获取所述压缩图像文件的参考图像。
结合本发明实施例的第二方面,本发明实施例第二方面的第三种实现方式中,所述接收端设备还包括:
第四发送模块,用于当所述接收端设备检索不到所述参考图像时,所述接收端设备发送解码异常处理请求给所述发送端设备,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像,使得所述发送端设备根据所述解码异常处理请求更新参考图像集合;
第四接收模块,用于接收所述发送端设备发送的更新后的参考图像的标识信息与新压缩图像文件;
第三确定模块,用于根据所述更新后的参考图像的标识信息确定更新后的参考图像;
所述第一解码模块具体用于,根据所述更新后的参考图像,采用帧间解码方法对所述新压缩图像文件进行解码,得到所述完整图像。
本发明实施例第三方面提供了一种图片传输的方法,包括:
发送端设备根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合;
所述发送端设备将所述参考图像集合中的图像作为所述当前传输图像的参考图像,采用帧间编码方法对所述当前传输图像进行压缩,得到压缩图像文件;
所述发送端设备将参考图像的标识信息与所述压缩图像文件发送给所述接收端设备,所述参考图像的标识信息用于表示所述参考图像,使得所述接收端设备根据所述参考图像的标识信息与所述压缩图像文件采用帧间解码方法解码出所述当前传输图像的完整图像。
结合本发明实施例的第三方面,本发明实施例第三方面的第一种实现方式中,所述发送端设备根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合具体包括:
所述发送端设备按照所述接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
所述发送端设备使用所述已传输图像索引列表中图像的标识信息构成参考图像候选集合;
所述发送端设备对所述参考图像候选集合中各图像进行图像相似计算,得到所述参考图像候选集合中各图像与所述当前传输图像的相似度;
所述发送端设备按照所述参考图像候选集合中各图像的相似度从高到低的顺序,在所述参考图像候选集合中选择预置数目个图像组成所述参考图像集合。
结合本发明实施例第三方面的第一种实现方式,本发明实施例第三方面的第二种实现方式中,所述发送端设备对所述参考图像候选集合中各图像进行图像相似计算,得到所述参考图像候选集合中各图像与所述当前传输图像的相似度的步骤之前还包括:
所述发送端设备将所述参考图像候选集合中各图像与所述当前传输图像进行属性信息一致性判断;
所述发送端设备删除所述参考图像候选集合中与所述当前传输图像的属性信息不一致的图像。
结合本发明实施例第三方面的第二种实现方式,本发明实施例第三方面的第三种实现方式中,所述发送端设备将所述参考图像集合中的图像作为所述当前传输图像的参考图像,采用帧间编码方法对所述当前传输图像进行压缩,得到压缩图像文件具体包括:
所述发送端设备根据所述参考图像集合中图像的标识信息,在所述已传输图像索引列表中检索参考图像的路径;
所述发送端设备按照所述参考图像的路径读取所述参考图像的图像信息;
所述发送端设备根据所述参考图像的图像信息,采用帧间编码方法对所述当前传输图像进行压缩,得到所述压缩图像文件。
结合本发明实施例第三方面的第三种实现方式,本发明实施例第三方面的第四种实现方式中,所述标识信息为全局唯一的图像编号或图像哈希码。
结合本发明实施例第三方面的第一种实现方式至第三方面的第四种实现方式中任一种实现方式,本发明实施例中第三方面的第五种实现方式中,所述发送端设备使用所述已传输图像索引列表中图像的标识信息构成参考图像候选集合的步骤之后,所述发送端设备对所述参考图像候选集合中各图像进行图像相似计算的步骤之前还包括:
所述发送端设备发送参考图像可用信息请求消息给所述接收端设备,所述参考图像可用信息请求消息用于向所述接收端设备确定所述参考图像候选集合中的图像是否存在于所述接收端设备中;
当接收到所述接收端设备返回参考图像可用信息响应消息后,所述发送端设备根据所述参考图像可用信息响应消息更新所述参考图像候选集合。
结合本发明实施例的第三方面至第三方面的第四种实现方式中任一种实现方式,本发明实施例中第三方面的第六种实现方式中,所述发送端设备将所述参考图像的标识信息与所述压缩图像文件发送给接收端设备的步骤之后还包括:
所述发送端设备接收所述接收端设备返回的解码异常处理请求,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像;
所述发送端设备根据所述解码异常处理请求更新所述参考图像集合;
所述发送端设备按照更新后的参考图像集合中的参考图像,采用帧间编码方法对所述当前传输图像重新进行压缩,得到新压缩图像文件;
所述发送端设备将更新后的参考图像的标识信息与所述新压缩图像文件发送给所述接收端设备。
本发明实施例第四方面提供了一种图片传输的方法,包括:
接收端设备接收发送端设备发送的参考图像的标识信息与压缩图像文件,所述压缩图像文件为所述发送端设备对当前传输图像采用帧间编码方法压缩的文件;
所述接收端设备根据所述参考图像的标识信息确定所述压缩图像文件的参考图像;
所述接收端设备根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像,所述完整图像为所述当前传输图像的完整图像。
结合本发明实施例的第四方面,本发明实施例第四方面的第一种实现方式中,所述接收端设备根据所述参考图像的标识信息确定所述压缩图像文件的参考图像包括:
所述接收端设备按照所述参考图像的标识信息,在本地保存的已传输图像索引列表中检索所述参考图像的路径;
所述接收端设备按照所述参考图像的路径获取所述压缩图像文件的参考图像。
结合本发明实施例第四方面的第一种实现方式,本发明实施例第四方面的第二种实现方式中,所述接收端设备接收发送端设备发送的参考图像的标识信息与压缩图像文件的步骤之前还包括:
所述接收端设备接收所述发送端设备发送的参考图像可用信息请求消息,所述参考图像可用信息请求消息用于向所述接收端设备确定参考图像候选集合中的图像是否存在于所述接收端设备中;
所述接收端设备返回参考图像可用信息响应消息给所述发送端设备,所述参考图像可用信息响应消息用于确定存在于所述接收端设备中的参考图像。
结合本发明实施例第四方面的第一种实现方式,本发明实施例第四方面的第三种实现方式中,所述接收端设备根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像的步骤之前还包括:
当所述接收端设备检索不到所述参考图像时,所述接收端设备发送解码异常处理请求给所述发送端设备,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像,使得所述发送端设备根据所述解码异常处理请求更新参考图像集合;
所述接收端设备接收所述发送端设备发送的更新后的参考图像的标识信息与新压缩图像文件;
所述接收端设备根据所述更新后的参考图像的标识信息确定更新后的参考图像;
所述接收端设备根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像包括:
所述接收端根据所述更新后的参考图像,采用帧间解码方法对所述新压缩图像文件进行解码,得到所述完整图像。
从以上技术方案可以看出,本发明实施例具有以下优点:本发明实施例中发送端设备根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合,将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码的方法对当前传输图像进行压缩,得到压缩图像文件,将参考图像的标识信息与所压缩图像文件发送给接收端设备,使得该接收端设备利用帧间解码的方法对所述压缩文件解码得到完整图像,这样,在单幅图像传输场景中,确定发送端设备与接收端设备中都存在的图像为参考图像,利用帧间编码的方式对当前传输图像进行压缩,对压缩后的压缩图像文件与参考图像的标识信息进行传输即可使得接收端设备通过帧间解码的方法获取到完整图像,由于参考图像已经存在于发送端设备与接收端设备,且帧间编码的压缩文件压缩率极高,提高了图像传输中传输图片的压缩率,在保证图片质量的情况下,缓解图片传输对网络带宽的压力。
附图说明
图1为本发明实施例中发送端设备一个结构示意图;
图2为本发明实施例中发送端设备另一个结构示意图;
图3为本发明实施例中发送端设备另一个结构示意图;
图4为本发明实施例中发送端设备另一个结构示意图;
图5为本发明实施例中发送端设备另一个结构示意图;
图6为本发明实施例中接收端设备一个结构示意图;
图7为本发明实施例中接收端设备另一个结构示意图;
图8为本发明实施例中接收端设备另一个结构示意图;
图9为本发明实施例中接收端设备另一个结构示意图;
图10为本发明实施例中图片传输的方法一个流程示意图;
图11为本发明实施例中帧内编解码的一个基本流程图示意图;
图12为本发明实施例中帧内编解码的另一个基本流程图示意图;
图13为本发明实施例中帧间编码的一个基本流程示意图;
图14为本发明实施例中帧间解码的一个基本流程示意图;
图15为本发明实施例中图片传输的方法另一个流程示意图;
图16为本发明实施例中图片传输的方法另一个流程示意图;
图17为本发明实施例中图片传输的方法另一个流程示意图;
图18为本发明实施例中确定参考图像集合的方法一个流程示意图;
图19为本发明实施例中图片传输的方法另一个流程示意图;
图20为本发明实施例中图片传输的方法另一个流程示意图;
图21为本发明实施例中确定参考图像集合的方法另一个流程示意图;
图22为本发明实施例中图片传输的方法另一个流程示意图;
图23为本发明实施例中图片传输的方法另一个流程示意图;
图24为本发明实施例中图片传输的方法另一个流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面对本发明实施例中的发送端设备进行描述:
请参阅图1,本发明实施例中发送端设备一个实施例包括:
第一确定模块101,用于根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合;
第一编码模块102,用于将所述参考图像集合中的图像作为所述当前传输图像的参考图像,采用帧间编码方法对所述当前传输图像进行压缩,得到压缩图像文件;
第一发送模块103,用于将参考图像的标识信息与所述压缩图像文件发送给所述接收端设备,所述参考图像的标识信息用于表示所述参考图像,使得所述接收端设备根据所述参考图像的标识信息与所述压缩图像文件采用帧间解码方法解码出所述当前传输图像的完整图像。
本发明实施例中第一确定模块101根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合,第一编码模块102将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码的方法对当前传输图像进行压缩,得到压缩图像文件,第一发送模块103将参考图像的标识信息与所压缩图像文件发送给接收端设备,使得该接收端设备利用帧间解码的方法对所述压缩文件解码得到完整图像,这样,在单幅图像传输场景中,确定发送端设备与接收端设备中都存在的图像为参考图像,利用帧间编码的方式对当前传输图像进行压缩,对压缩后的压缩图像文件与参考图像的标识信息进行传输即可使得接收端设备获取到完整图像,由于参考图像已经存在于发送端设备与接收端设备,且帧间编码的压缩文件压缩率极高,提高了图像传输中传输图片的压缩率,在保证图片质量的情况下,缓解图片传输对网络带宽的压力。
上面实施例中,第一确定模块101根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合,在实际应用中,第一确定模块101可以先确定参考图像候选集合,再对该参考图像候选集合中的图像进行筛选得到参考图像集合,请参阅图2,本发明实施例中发送端设备另一个实施例包括:
第一确定模块201,用于根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合;
第一编码模块202,用于将所述参考图像集合中的图像作为所述当前传输图像的参考图像,采用帧间编码方法对所述当前传输图像进行压缩,得到压缩图像文件;
第一发送模块203,用于将参考图像的标识信息与所述压缩图像文件发送给所述接收端设备,所述参考图像的标识信息用于表示所述参考图像,使得所述接收端设备根据所述参考图像的标识信息与所述压缩图像文件采用帧间解码方法解码出所述当前传输图像的完整图像;
本实施例中,该第一确定模块201具体包括:
查找单元2011,用于按照所述接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
候选构建单元2012,用于使用所述已传输图像索引列表中图像的标识信息构成参考图像候选集合;
计算单元2013,用于对所述参考图像候选集合中各图像进行图像相似计算,得到所述参考图像候选集合中各图像与所述当前传输图像的相似度;
选择单元2014,用于按照所述参考图像候选集合中各图像的相似度从高到低的顺序,在所述参考图像候选集合中选择预置数目个图像组成所述参考图像集合;
在本发明的一些实施例中,该第一确定模块201还可以包括:
判断单元2015,用于将所述参考图像候选集合中各图像与所述当前传输图像进行属性信息一致性判断;
删除单元2016,用于删除所述参考图像候选集合中与所述当前传输图像的属性信息不一致的图像;
在本发明的一些实施例中,该第一编码模块202具体可以包括:
第一检索单元2021,用于根据所述参考图像集合中图像的标识信息,在所述已传输图像索引列表中检索参考图像的路径;
读取单元2022,用于按照所述参考图像的路径读取所述参考图像的图像信息;
编码单元2023,用于根据所述参考图像的图像信息,采用帧间编码方法对所述当前传输图像进行压缩,得到所述压缩图像文件。
可以理解的是,该第一编码模块202的功能还可以使用其他的单元来实现,此处不作限定。
本发明实施例中,查找单元2011按照接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表,候选构建单元2012再使用已传输图像索引列表中图像的标识信息构成参考图像候选集合,计算单元2013对参考图像候选集合中各图像进行图像相似计算,得到参考图像候选集合中各图像与当前传输图像的相似度,选择单元2014按照参考图像候选集合中各图像的相似度从高到低的顺序,在参考图像候选集合中选择预置数目个图像组成参考图像集合,这样选取相似度较高的图像组成参考图像集合,使得对参考图像的选择更加准确,能进一步提高帧间编码的压缩率。
在实际应用中,为防止接收端设备中没有发送端设备使用的参考图像而导致解码失败,可以采取多种方式根据接收端设备中存在的图片来更新发送端设备确定的参考图像,下面以其中两种方式为例:
一、在计算单元2013对参考图像候选集合中各图像进行图像相似计算之前,发送端设备可以发送参考图像可用信息请求消息给接收端设备以确定参考图像候选集合中的图像是否存在于接收端设备中:
请参阅图3,本发明实施例中发送端设备另一个实施例包括:
第一确定模块301,用于根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合;
第一编码模块302,用于将所述参考图像集合中的图像作为所述当前传输图像的参考图像,采用帧间编码方法对所述当前传输图像进行压缩,得到压缩图像文件;
第一发送模块303,用于将参考图像的标识信息与所述压缩图像文件发送给所述接收端设备,所述参考图像的标识信息用于表示所述参考图像,使得所述接收端设备根据所述参考图像的标识信息与所述压缩图像文件采用帧间解码方法解码出所述当前传输图像的完整图像;
该第一确定模块301具体包括:
查找单元3011,用于按照所述接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
候选构建单元3012,用于使用所述已传输图像索引列表中图像的标识信息构成参考图像候选集合;
计算单元3013,用于对所述参考图像候选集合中各图像进行图像相似计算,得到所述参考图像候选集合中各图像与所述当前传输图像的相似度;
选择单元3014,用于按照所述参考图像候选集合中各图像的相似度从高到低的顺序,在所述参考图像候选集合中选择预置数目个图像组成所述参考图像集合;
在本发明的一些实施例中,该第一确定模块301还可以包括:
判断单元3015,用于将所述参考图像候选集合中各图像与所述当前传输图像进行属性信息一致性判断;
删除单元3016,用于删除所述参考图像候选集合中与所述当前传输图像的属性信息不一致的图像;
在本发明的一些实施例中,该第一编码模块302具体可以包括:
第一检索单元3021,用于根据所述参考图像集合中图像的标识信息,在所述已传输图像索引列表中检索参考图像的路径;
读取单元3022,用于按照所述参考图像的路径读取所述参考图像的图像信息;
编码单元3023,用于根据所述参考图像的图像信息,采用帧间编码方法对所述当前传输图像进行压缩,得到所述压缩图像文件。
可以理解的是,该第一编码模块302的功能还可以使用其他的单元来实现,此处不作限定。
本实施例中,该发送端设备还可以包括:
第二发送模块304,用于发送参考图像可用信息请求消息给所述接收端设备,所述参考图像可用信息请求消息用于向所述接收端设备确定所述参考图像候选集合中的图像是否存在于所述接收端设备中;
第一更新模块305,用于当接收到所述接收端设备返回参考图像可用信息响应消息后,根据所述参考图像可用信息响应消息更新所述参考图像候选集合。
本发明实施例中,第二发送模块304向接收端设备发送参考图像可用信息请求消息,确定参考图像候选集合中的图像是否存在于所述接收端设备中,第一更新模块305根据返回的参考图像可用信息响应消息更新参考图像候选集合,避免了使用接收端设备中不存在的图像作为参考图像进行编码而导致的解码异常,提高了图片传输的效率。
二、在第一发送模块303将参考图像的标识信息与所述压缩图像文件发送给接收端设备之后,若接收端设备中不存在该参考图像,接收该接收端设备返回的解码异常处理请求,根据该解码异常处理请求对参考图像集合进行更新:
请参阅图4,本发明实施例中发送端设备另一个实施例包括:
第一确定模块401,用于根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合;
第一编码模块402,用于将所述参考图像集合中的图像作为所述当前传输图像的参考图像,采用帧间编码方法对所述当前传输图像进行压缩,得到压缩图像文件;
第一发送模块403,用于将参考图像的标识信息与所述压缩图像文件发送给所述接收端设备,所述参考图像的标识信息用于表示所述参考图像,使得所述接收端设备根据所述参考图像的标识信息与所述压缩图像文件采用帧间解码方法解码出所述当前传输图像的完整图像;
该第一确定模块401具体包括:
查找单元4011,用于按照所述接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
候选构建单元4012,用于使用所述已传输图像索引列表中图像的标识信息构成参考图像候选集合;
计算单元4013,用于对所述参考图像候选集合中各图像进行图像相似计算,得到所述参考图像候选集合中各图像与所述当前传输图像的相似度;
选择单元4014,用于按照所述参考图像候选集合中各图像的相似度从高到低的顺序,在所述参考图像候选集合中选择预置数目个图像组成所述参考图像集合;
在本发明的一些实施例中,该第一确定模块401还可以包括:
判断单元4015,用于将所述参考图像候选集合中各图像与所述当前传输图像进行属性信息一致性判断;
删除单元4016,用于删除所述参考图像候选集合中与所述当前传输图像的属性信息不一致的图像;
在本发明的一些实施例中,该第一编码模块402具体可以包括:
第一检索单元4021,用于根据所述参考图像集合中图像的标识信息,在所述已传输图像索引列表中检索参考图像的路径;
读取单元4022,用于按照所述参考图像的路径读取所述参考图像的图像信息;
编码单元4023,用于根据所述参考图像的图像信息,采用帧间编码方法对所述当前传输图像进行压缩,得到所述压缩图像文件。
可以理解的是,该第一编码模块402的功能还可以使用其他的单元来实现,此处不作限定。
本实施例中,该发送端设备还可以包括:
第一接收模块404,用于接收所述接收端设备返回的解码异常处理请求,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像;
第二更新模块405,用于根据所述解码异常处理请求更新所述参考图像集合;
第二编码模块406,用于按照更新后的参考图像集合中的参考图像,采用帧间编码方法对所述当前传输图像重新进行压缩,得到新压缩图像文件;
第三发送模块407,用于将更新后的参考图像的标识信息与所述新压缩图像文件发送给所述接收端设备。
本发明实施例中,第一接收模块404接收到接收端设备发送端的解码异常处理请求后,第二更新模块405根据该解码异常处理请求更新参考图像集合,第二编码模块406对当前传输图像重新编码后,第三发送模块407将新的压缩图像文件与更新后的参考图像的标识信息发送给接收端设备,使得接收端设备可以顺利的对该新压缩图像文件进行解码得到完整图像,提高图片传输过程的稳定性。
上面从单元化功能实体的角度对本发明实施例中的发送端设备进行了描述,下面从硬件处理的角度对本发明实施例中的发送端设备进行描述,请参阅图5,本发明实施例中的发送端设备500另一实施例包括:
输入装置501、输出装置502、处理器503和存储器504(其中发送端设备500中的处理器503的数量可以一个或多个,图5中以一个处理器503为例)。在本发明的一些实施例中,输入装置501、输出装置502、处理器503和存储器504可通过总线或其它方式连接,其中,图5中以通过总线连接为例;
其中,
通过调用存储器504存储的操作指令,处理器503,用于执行如下步骤:
根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合;
将所述参考图像集合中的图像作为所述当前传输图像的参考图像,采用帧间编码方法对所述当前传输图像进行压缩,得到压缩图像文件;
将参考图像的标识信息与所述压缩图像文件发送给所述接收端设备,所述参考图像的标识信息用于表示所述参考图像,使得所述接收端设备根据所述参考图像的标识信息与所述压缩图像文件采用帧间解码方法解码出所述当前传输图像的完整图像;
本发明的一些实施例中,该处理器503具体用于执行如下步骤:
按照所述接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
使用所述已传输图像索引列表中图像的标识信息构成参考图像候选集合;
对所述参考图像候选集合中各图像进行图像相似计算,得到所述参考图像候选集合中各图像与所述当前传输图像的相似度;
按照所述参考图像候选集合中各图像的相似度从高到低的顺序,在所述参考图像候选集合中选择预置数目个图像组成所述参考图像集合;
本发明的一些实施例中,该处理器503还执行如下步骤:
将所述参考图像候选集合中各图像与所述当前传输图像进行属性信息一致性判断;
删除所述参考图像候选集合中与所述当前传输图像的属性信息不一致的图像;
本发明的一些实施例中,该处理器503具体用于执行如下步骤:
根据所述参考图像集合中图像的标识信息,在所述已传输图像索引列表中检索参考图像的路径;
按照所述参考图像的路径读取所述参考图像的图像信息;
根据所述参考图像的图像信息,采用帧间编码方法对所述当前传输图像进行压缩,得到所述压缩图像文件;
本发明的一些实施例中,该处理器503还执行如下步骤:
发送参考图像可用信息请求消息给所述接收端设备,所述参考图像可用信息请求消息用于向所述接收端设备确定所述参考图像候选集合中的图像是否存在于所述接收端设备中;
当接收到所述接收端设备返回参考图像可用信息响应消息后,根据所述参考图像可用信息响应消息更新所述参考图像候选集合;
本发明的一些实施例中,该处理器503还执行如下步骤:
接收所述接收端设备返回的解码异常处理请求,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像;
根据所述解码异常处理请求更新所述参考图像集合;
按照更新后的参考图像集合中的参考图像,采用帧间编码方法对所述当前传输图像重新进行压缩,得到新压缩图像文件;
将更新后的参考图像的标识信息与所述新压缩图像文件发送给所述接收端设备。
下面对本发明实施例中的接收端设备进行描述,请参阅图6,本发明实施例中接收端设备一个实施例包括:
第二接收模块601,用于接收发送端设备发送的参考图像的标识信息与压缩图像文件,所述压缩图像文件为所述发送端设备对当前传输图像采用帧间编码方法压缩的文件;
第二确定模块602,用于根据所述参考图像的标识信息确定所述压缩图像文件的参考图像;
第一解码模块603,用于根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像,所述完整图像为所述当前传输图像的完整图像。
本发明实施例中,第二接收模块601接收发送端设备发送的参考图像的标识信息与压缩图像文件,第二确定模块602根据该参考图像的标识信息确定该压缩图像文件的参考图像,第一解码模块603根据该参考图像采用帧间解码方法对该压缩图像文件进行解码,得到完整图像,由于压缩图像文件的数据量远小于完整图像的数据量,且参考图像保存在本地,在保证图片质量的情况下,减小了需要接收的数据量,缓解图片传输对网络带宽的压力。
在实际应用中,为防止接收端设备中没有发送端设备使用的参考图像而导致解码失败,可以采取多种方式根据接收端设备中存在的图片来更新发送端设备确定的参考图像,下面以其中两种方式为例:
一、在发送端设备可以发送参考图像可用信息请求消息给接收端设备以确定参考图像候选集合中的图像是否存在于接收端设备中:
请参阅图7,本发明实施例中接收端设备另一个实施例包括:
第二接收模块701,用于接收发送端设备发送的参考图像的标识信息与压缩图像文件,所述压缩图像文件为所述发送端设备对当前传输图像采用帧间编码方法压缩的文件;
第二确定模块702,用于根据所述参考图像的标识信息确定所述压缩图像文件的参考图像;
第一解码模块703,用于根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像,所述完整图像为所述当前传输图像的完整图像;
本实施例中,该接收端设备还包括:
第三接收模块704,用于接收所述发送端设备发送的参考图像可用信息请求消息,所述参考图像可用信息请求消息用于向所述接收端设备确定参考图像候选集合中的图像是否存在于所述接收端设备中;
返回模块705,用于返回参考图像可用信息响应消息给所述发送端设备,所述参考图像可用信息响应消息用于确定存在于所述接收端设备中的参考图像;
该第一解码模块703具体可以包括:
第二检索单元7031,用于按照所述参考图像的标识信息,在本地保存的已传输图像索引列表中检索所述参考图像的路径;
获取模块7032,用于按照所述参考图像的路径获取所述压缩图像文件的参考图像。
本发明实施例中,第三接收模块704接收发送端设备发送的参考图像可用信息请求消息后,查找本地保存的图像,返回模块705返回参考图像可用信息响应消息给发送端设备,使得发送端设备能确定出接收端设备与发送端设备中都存在的图像作为参考图像,避免了接收端设备接收到压缩图像文件与参考图像的标识信息后,出现解码异常的问题,提高了图像传输的效率。
二、在发送端设备将参考图像的标识信息与压缩图像文件发送给接收端设备之后,若接收端设备中不存在该参考图像,接收该接收端设备返回的解码异常处理请求:
请参阅图8,本发明实施例中接收端设备另一个实施例包括:
第二接收模块801,用于接收发送端设备发送的参考图像的标识信息与压缩图像文件,所述压缩图像文件为所述发送端设备对当前传输图像采用帧间编码方法压缩的文件;
第二确定模块802,用于根据所述参考图像的标识信息确定所述压缩图像文件的参考图像;
第一解码模块803,用于根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像,所述完整图像为所述当前传输图像的完整图像;
本实施例中,该接收端设备还包括:
第四发送模块804,用于当所述第二确定模块802检索不到所述参考图像时,所述接收端设备发送解码异常处理请求给所述发送端设备,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像,使得所述发送端设备根据所述解码异常处理请求更新参考图像集合;
第四接收模块805,用于接收所述发送端设备发送的更新后的参考图像的标识信息与新压缩图像文件;
第三确定模块806,用于根据所述更新后的参考图像的标识信息确定更新后的参考图像;
所述第一解码模块803还可以用于,根据所述更新后的参考图像,采用帧间解码方法对所述新压缩图像文件进行解码,得到所述完整图像。
本发明实施例中,当接收端设备检索不到参考图像时,第四发送模块804发送解码异常处理请求给发送端设备,使得发送端设备根据该解码异常处理请求更新参考图像集合,然后使用更新后的参考图像重新编码压缩,再发送更新后的参考图像的标识信息与新压缩图像文件给接收端设备,使得接收端设备能顺利的进行解码,得到完整图像,这样提高了图片传输过程的稳定性。
上面从单元化功能实体的角度对本发明实施例中的接收端设备进行了描述,下面从硬件处理的角度对本发明实施例中的接收端设备进行描述,请参阅图9,本发明实施例中的接收端设备900另一实施例包括:
输入装置901、输出装置902、处理器903和存储器904(其中接收端设备900中的处理器903的数量可以一个或多个,图9中以一个处理器903为例)。在本发明的一些实施例中,输入装置901、输出装置2302、处理器903和存储器904可通过总线或其它方式连接,其中,图9中以通过总线连接为例;
其中,
通过调用存储器904存储的操作指令,处理器903,用于执行如下步骤:
接收发送端设备发送的参考图像的标识信息与压缩图像文件,所述压缩图像文件为所述发送端设备对当前传输图像采用帧间编码方法压缩的文件;
根据所述参考图像的标识信息确定所述压缩图像文件的参考图像;
根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像,所述完整图像为所述当前传输图像的完整图像;
本发明的一些实施例中,该处理器903具体用于执行如下步骤:
按照所述参考图像的标识信息,在本地保存的已传输图像索引列表中检索所述参考图像的路径;
按照所述参考图像的路径获取所述压缩图像文件的参考图像;
本发明的一些实施例中,该处理器903还用于执行如下步骤:
接收所述发送端设备发送的参考图像可用信息请求消息,所述参考图像可用信息请求消息用于向所述接收端设备确定参考图像候选集合中的图像是否存在于所述接收端设备中;
返回参考图像可用信息响应消息给所述发送端设备,所述参考图像可用信息响应消息用于确定存在于所述接收端设备中的参考图像;
本发明的一些实施例中,该处理器903还用于执行如下步骤:
当所述接收端设备检索不到所述参考图像时,所述接收端设备发送解码异常处理请求给所述发送端设备,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像,使得所述发送端设备根据所述解码异常处理请求更新参考图像集合;
接收所述发送端设备发送的更新后的参考图像的标识信息与新压缩图像文件;
根据所述更新后的参考图像的标识信息确定更新后的参考图像;
根据所述更新后的参考图像,采用帧间解码方法对所述新压缩图像文件进行解码,得到所述完整图像。
下面分别从两个执行主体的角度对本发明实施例中图片传输的方法进行描述:
一、发送端设备的操作:
请参阅图10,本发明实施例中图片传输的方法一个实施例包括:
1001、发送端设备根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合;
在单幅图像传输场景中,当发送端设备传输图像给接收端设备时,发送端根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合,该接收端设备的标识用于全局唯一确定某一个接收端设备。
可以理解的是,该单幅图像传输场景仅为了区别于同时传输批量相关联图片的场景,并不限定为只传输一幅图像。
1002、发送端设备将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码方法对当前传输图像进行压缩,得到压缩图像文件;
发送端设备确定当前传输图像的参考图像集合后,将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码方法对当前传输图像进行压缩,得到压缩图像文件。
1003、发送端设备将参考图像的标识信息与压缩图像文件发送给接收端设备。
发送端设备得到压缩图像文件后,将参考图像的标识信息与压缩图像文件发送给接收端设备,使得接收端设备根据参考图像的标识信息与压缩图像文件采用帧间解码方法解码出当前传输图像的完整图像,该参考图像的标识信息用于表示该参考图像。
可以理解的是,各集合中各图像的标识信息都可以用于表示各集合中的各图像,图像的标识信息用于全局唯一确定该图像,得到了图像的标识信息即可以查找到对应的图像,所以,各图像集合中包含的是各图像的标识信息,也可以看成包含的是各图像。
本发明实施例中发送端设备根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合,将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码的方法对当前传输图像进行压缩,得到压缩图像文件,将参考图像的标识信息与所压缩图像文件发送给接收端设备,使得该接收端设备利用帧间解码的方法对所述压缩文件解码得到完整图像,这样,在单幅图像传输场景中,确定发送端设备与接收端设备中都存在的图像为参考图像,利用帧间编码的方式对当前传输图像进行压缩,对压缩后的压缩图像文件与参考图像的标识信息进行传输即可使得接收端设备获取到完整图像,由于参考图像已经存在于发送端设备与接收端设备,且帧间编码的压缩文件压缩率极高,提高了图像传输中传输图片的压缩率,在保证图片质量的情况下,缓解图片传输对网络带宽的压力。
其中,帧间编码方法为区别于帧内编码方法的一种编码方式,是在已编码的图像中搜索与当前图像的关联性,根据关联性,对当前图像的部分数据/残差数据进行压缩的过程。已编码图像与当前图像的关联性可以是用于预测的运动矢量,也可以是诸如SIFT的图像特征。
如图11所示为帧内编解码的一个基本流程图示例,其中帧内编码的基本步骤分为图像分块、变换、量化、熵编码三个过程,图像分块是将原始图像数据分成一个个编码宏块,对每个编码宏块进行编码;常用的变换方法为DCT变换、小波变换等;量化方法通常是与变换方法相匹配的;熵编码算法有Huffman编码、变长编码、算术编码等。解码过程为编码过程的逆过程。
随着图像编码技术的发展,如图12所示,在帧内编码的变换过程前增加了帧内预测残差的过程,是利用当前编码宏块周围的已编码宏块的信息,对当前图像进行预测,取预测块与当前块相的差值得到残差块,随后针对残差块进行、变换、量化、熵编码实现图像压缩。
如图13所示为帧间编码的一个基本流程图示例,如图14所示为帧间解码的一个基本流程图示例,帧首先被切分成多个块状区域,分别传输给解码器。图像序列的第一个画面(以及每一个可被拖放的帧)只使用帧内预测编码(只使用同一帧中其它区域进行预测,不依赖其他帧)。其它帧中的块大多数使用帧间预测编码,过程包括选择预测模式、参考图像的运动数据和生成每个块的运动矢量(MV)。编码器和解码器通过旁路传输预测模式信息和运动矢量(MV),计算运动补偿,进而重建帧间预测数据。帧间的预测结果和实际画面之间的残差数据经过空间-线性变换、采样、量化、熵编码后和预测信息一起传输。编码器会重复解码器的处理循环,以保证编解码双方对子序列作出一致的预测。残差和预测的结果合并后会进入一或两个循环滤波器以去处块效应。最终得出的画面(解码器的输出)会存储在缓冲区中作为视频中其它图像预测参考。
由于对原始图像采用帧内编码得到的编码后的图像远小于原始图像,所以,这样对图像进行编码也可以称为对图像进行压缩。
上面实施例中,发送端设备根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合,在实际应用中,发送端设备可以先确定参考图像候选集合,再对该参考图像候选集合中的图像进行筛选得到参考图像集合,请参阅图15,本发明实施例中图片传输的方法另一个实施例包括:
1501、发送端设备按照接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
在单幅图像传输场景中,当发送端设备传输图像给接收端设备时,发送端设备按照接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
可以理解的是,该单幅图像传输场景仅为了区别于同时传输批量相关联图片的场景,并不限定为只传输一幅图像。
若该已传输图像索引列表不存在,则发送端设备可以为该接收端创建新的已传输图像索引列表,该已传输图像索引列表中可以包括接收端设备的标识、已传输图像的标识信息、传输时间、已传输图像路径等。
发送端设备可以检索已传输图像索引列表,删除其中传输时间与当前时间间隔大于预设时间间隔以及本地没有保存的图像条目信息。
可以理解的是,发送端设备可以为传输的每张图像分配一个全局唯一的标识信息(例如,图像编号、hash值等)。
该接收端设备的标识可以为接收端设备的ID,按照接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表可以为查找预设时间间隔内该接收端设备已经接收到的图像列表。
1502、发送端设备使用已传输图像索引列表中图像的标识信息构成参考图像候选集合;
发送端设备查找到已传输图像索引列表后,使用已传输图像索引列表中图像的标识信息构成参考图像候选集合。
1503、发送端设备对参考图像候选集合中各图像进行图像相似计算,得到参考图像候选集合中各图像与当前传输图像的相似度;
发送端设备确定参考图像候选集合后,对参考图像候选集合中各图像进行图像相似计算,得到参考图像候选集合中各图像与当前传输图像的相似度。
其中,判断图像相似度的方法有很多,诸如:PSNR、MSE、SSIM等,可以采用一种标准或是多个标准组合而成的标准来判断两幅图像是否相似,以SSIM为例,两幅图像的SSIM值计算方法如式(1)所示:
SSIM(x,y)=[l(x,y)]α·[c(x,y)]β;(1)
l ( x , y ) = 2 μ x μ y + C 1 μ x 2 + μ y 2 + C 1 , c ( x , y ) = 2 σ x σ y + C 2 σ x 2 + σ y 2 + C 2 ; - - - ( 2 )
其中,SSIM(x,y)为图像x,y的结构相似值,SSIM值越大,则图像相似度越高。l(x,y)比较x和y的亮度(luminance),c(x,y)比较x和y的对比度,α>0,β>0,为调整l(x,y)、c(x,y)相对重要性的参数,μx及μy、σx及σy分别为x和y的平均值和标准差,σxy为x和y的共变异数,C1、C2皆为常数,用以维持l(x,y)、c(x,y)的稳定。
发送端设备可以预先设定相似度阈值,判断各图像与当前传输图像的相似度是否大于该相似度阈值,如果图像的相似度不大于该相似度阈值,则可以直接删除该图像,进行下幅图像判断,直到完成参考图像候选集合中所有图像的判断再进行步骤1504,在实际应用中,也可以不设定该相似度阈值,直接进入步骤1504,此处不作限定。
在实际应用中,在步骤1502之后,步骤1503之前,还可以先将参考图像候选集合中各图像与当前传输图像进行属性信息一致性判断,删除参考图像候选集合中与当前传输图像的属性信息不一致的图像,该属性信息可以为图片的尺寸、光圈、焦距等图片属性信息,可以理解的是,根据实际情况,也可以不进行属性信息一致性判断,此处不做限定。
1504、发送端设备按照参考图像候选集合中各图像的相似度从高到低的顺序,在参考图像候选集合中选择预置数目个图像组成参考图像集合;
发送端设备计算出参考图像候选集合中各图像的相似度后,按照参考图像候选集合中各图像的相似度从高到低的顺序,在参考图像候选集合中选择预置数目个图像组成参考图像集合。
1505、发送端设备将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码方法对当前传输图像进行压缩,得到压缩图像文件;
发送端设备确定当前传输图像的参考图像集合后,将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码方法对当前传输图像进行压缩,得到压缩图像文件。
具体过程可以为:
(1)、发送端设备根据所述参考图像集合中图像的标识信息,在所述已传输图像索引列表中检索参考图像的路径;
(2)、发送端设备按照所述参考图像的路径读取所述参考图像的图像信息;
(3)、发送端设备根据所述参考图像的图像信息,采用帧间编码方法对所述当前传输图像进行压缩,得到所述压缩图像文件。
若参考图像集合为空集,则发送端设备可以采用帧内编码方法对当前传输图像进行压缩。
1506、发送端设备将参考图像的标识信息与压缩图像文件发送给接收端设备。
发送端设备得到压缩图像文件后,将参考图像的标识信息与压缩图像文件发送给接收端设备,使得接收端设备根据参考图像的标识信息与压缩图像文件采用帧间解码方法解码出当前传输图像的完整图像,该参考图像的标识信息用于表示该参考图像。
可以理解的是,各集合中各图像的标识信息都可以用于表示各集合中的各图像,图像的标识信息用于全局唯一确定该图像,得到了图像的标识信息即可以查找到对应的图像,所以,各图像集合中包含的是各图像的标识信息,也可以看成包含的是各图像。
本发明实施例中,发送端设备按照接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表,再使用已传输图像索引列表中图像的标识信息构成参考图像候选集合,对参考图像候选集合中各图像进行图像相似计算,得到参考图像候选集合中各图像与当前传输图像的相似度,按照参考图像候选集合中各图像的相似度从高到低的顺序,在参考图像候选集合中选择预置数目个图像组成参考图像集合,这样选取相似度较高的图像组成参考图像集合,使得对参考图像的选择更加准确,能进一步提高帧间编码的压缩率。
二、接收端设备的操作:
请参阅图16,本发明实施例中图片传输的方法另一个实施例包括:
1601、接收端设备接收发送端设备发送的参考图像的标识信息与压缩图像文件;
当发送端设备向接收端设备传输图像时,接收端设备接收发送端设备发送的参考图像的标识信息与压缩图像文件。
1602、接收端设备根据该参考图像的标识信息确定该压缩图像文件的参考图像;
接收端设备接收到参考图像的标识信息后,根据该参考图像的标识信息确定该压缩图像文件的参考图像。
具体可以为:
(1)、接收端设备按照参考图像的标识信息,在本地保存的已传输图像索引列表中检索该参考图像的路径;
(2)、按照该参考图像的路径获取所述压缩图像文件的参考图像。
可以理解的是,还可以有其他的方式根据该参考图像的标识信息确定该压缩图像文件的参考图像,此处不作限定。
1603、接收端设备根据该参考图像,采用帧间解码方法对该压缩图像文件进行解码,得到完整图像。
接收端设备确定该压缩图像文件的参考图像后,采用帧间解码方法对该压缩图像文件进行解码,得到完整图像。
本发明实施例中,接收端设备接收发送端设备发送的参考图像的标识信息与压缩图像文件,根据该参考图像的标识信息确定该压缩图像文件的参考图像,根据该参考图像采用帧间解码方法对该压缩图像文件进行解码,得到完整图像,由于压缩图像文件的数据量远小于完整图像的数据量,且参考图像保存在本地,在保证图片质量的情况下,减小了需要接收的数据量,缓解图片传输对网络带宽的压力。
可以理解的是,发送端设备也可以简称为发送端,接收端设备也可以简称为接收端。
为便于理解,结合图10所示的实施例或图15所示实施例中发送端设备的操作,与图16所示的实施例中接收端设备的操作,请参阅图17,对本发明实施例中图片传输的方法进行描述:
1701、发送端设备确定参考图像集合;
发送端设备检测到用户进行图片传输操作,通过时间阈值选择、图像属性比较与相似度计算在已传输图像索引列表包含的所有图像中确定参考图像集合R;
确定参考图像集合的方法有多种,例如使用相似度计算,或通过判断图像属性信息的一致性等,如图18所示,确定参考图像集合的方法一个具体实施例包括:
1801、发送端设备根据接收端设备ID在本地查找该接收端设备的已传输图像索引列表并分配当前传输图像的标识信息;
具体为:
(1)、发送端设备根据接收端设备ID在本地查找该接收端设备的已传输图像索引列表,判断列表是否存在;如果列表不存在,则为该接收端设备创建新的已传输图像索引列表(包括:接收端设备ID、已传输图像标识信息、传输时间、已传输图像路径);如果列表存在,则更新该已传输图像索引列表。
例如:当前时间为15:22,发送端设备进行图片传输,根据接收端设备ID为B,发送端设备在本地查找到该接收端设备的已传输图像列表,如表1所示,为查找出的发送端设备保存的已传输图像索引列表:
表1
(2)、根据已传输图像索引列表中已传输图像的标识信息,为当前传输图像分配一个全局唯一的图像标识(例如,图像编号、图像哈希码hash等)。
例如:发送端设备选择图像编号作为图像标志信息,且列表中图像编号按升序排列,发送端设备获取列表底部的图像标号为4,可以为当前传输图像分配5作为图像标志信息。
1802、检索已传输图像索引列表,删除其中传输时间与当前时间间隔大于预设的时间阈值以及在本地没有保存的图像条目信息;
具体为:
(1)、发送端设备获取当前传输的时间,并按照传输时间检索已传输图像索引列表,删除其中传输时间与当前时间间隔大于预设的时间阈值的图像条目信息。
例如:发送端设备获取当前传输时间15:22,并根据接收端设备ID(ID为B)在本地检索得到表1,预设时间阈值为60min,按照传输时间检索已传输图像索引列表,删除列表中传输时间在14:22以前的条目,结果如表2所示,为发送端设备保存的更新的已传输图像索引列表:
表2
(2)、发送端设备按照图像路径检索已传输图像索引列表,删除列表中在本地已删除的的图像条目信息。
(3)、由已传输图像索引列表中的图像标识信息构成参考图像候选集合Ψ,如果列表中没有已传输图像的条目信息,Ψ即为空。
例如:保存表2中的已传输图像标识信息,构成参考图像候选集合Ψ,Ψ={1,2,3,4}。
(4)、如果Ψ不为空,触发步骤1803;否则,触发步骤1806。
例如:当前Ψ={1,2,3,4},不为空,则触发步骤1803。
1803、将参考图像候选集合中的图像逐次与当前传输图像进行属性信息一致性判断,删除参考图像候选集合中与该当前传输图像属性信息不一致的图像;
具体为:
(1)、发送端设备根据参考图像候选集合中的图像标志信息在已传输图像索引列表中查询对应的图像路径,获取当前传输图像与参考图像集合中的图像的属性信息(图片的尺寸、光圈、焦距等图片属性信息)。
例如:发送端设备可以通过读取图片的EXIF信息,获取当前传输图片与Ψ中已传输图片的属性信息,如表3所示,为Ψ中图像与当前传输图片的EXIF信息,其中5即为当前传输图像:
表3
图像标识信息 1 2 3 4 5
宽度 3264 1840 3264 3264 3264
高度 1840 3264 1840 1840 1840
模型 HUAWEIMT1-U06 HUAWEIMT1-U06 HUAWEIMT1-U06 HUAWEIMT1-U06 HUAWEIMT1-U06
焦距 4.31mm 4.31mm 4.31mm 4.31mm 4.31mm
光圈 2.4 2.4 2.4 2.4 2.4
时间 14::27 14:56 15:17 15:20 14:22
(2)、判断当前传输图片与Ψ中已传输图片的属性信息是否一致,如果属性信息一致,则进行1804相似图片判断;否则,删除Ψ中该图像条目信息,并进行Ψ中下幅图像判断。
例如:比较表3中图像1至4与当前传输图像5的EXIF信息(图像信息和照相机信息,非时间信息),确定Ψ中1、3、4与5信息一致,进行1804相似度判断;而2与5的尺寸不一致,在Ψ中删除该图像标识信息为2的图像条目信息,并进行Ψ中下幅图像判断。
1804、通过拍摄时间与相似度计算方法判断当前传输图片与参考图像候选集合中图像是否相似,删除其中不相似的图片;
如果当前传输图片与Ψ中图像不相似,则在Ψ中删除该图像标识信息对应的图像条目信息,跳转至1803进行Ψ中下幅图像判断。当Ψ中所有图像都与当前传输图像P进行相似度判断,则执行1805步骤。
具体为:
(1)、分别比较Ψ中各幅图像与当前图像的拍摄时间的差值,如果差值在连拍图像时间阈值范围内,则判断该图像与当前传输图像为连拍图像,即为相似图像,跳转至1803进行Ψ中下幅图像判断;否则,进行图像相似度计算。
例如:发送端设备预先设定连拍时间阈值为3min,此时,Ψ={1、3、4},由表3得到Ψ中的图像1、图像3和图像4与当前传输图像5的传输时间差值分别为55min,5min和2min,因此判断图像4与当前传输图像5为相似图像,而图像1和图像3需要进行图像相似度计算。
(2)、计算Ψ中图像与当前图像的相似度,如果相似度不在相似范围内,则在Ψ中删除该图像标识信息对应的图像信息条目;跳转至1803进行Ψ中下幅图像判断。当Ψ中所有图像都与当前图像P进行相似度判断,则执行1805步骤。
例如:通过计算得到SSIM(1,5)=0.67,SSIM(3,5)=0.86,SSIM(x,y)>0.75,即判断图像x与y相似。因此得出,Ψ中图像1与当前传输图像5为非相似图像,在Ψ中删除该图像标识信息为1的图像信息条目。Ψ中图像3与当前传输图像P为相似图像。至此,Ψ中图像均与传输图像P进行相似度判断,则执行1805步骤,Ψ={3,4}。
1805、保留参考图像候选集合中与当前传输图片的相似度最高的n幅图像,删除参考图像候选集合中其余图像标识信息;
其中,n是一个预置数目,为正整数。
例如:发送端设备设定参考图像集合R长度n为4,即R中最多包含4幅已传输图像标识信息,当前Ψ={3,4},保留Ψ中相似度最高的4幅图像,则Ψ={3,4}。
1806、拷贝参考图像候选集合Ψ中图像标识信息,构成参考图像集合R,如果Ψ为空,则R为空。
例如:当前传输图像候选集合为Ψ={3,4},因此,确定R={3,4}。
1702、发送端设备对当前传输图像编码;
发送端设备将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码方法对当前传输图像进行压缩。
可以理解的是,如果R为空,则采用帧内编码方法对当前图像进行编码压缩。如果R不为空,则根据参考图像标识信息查找已传输图像索引列表,获得图像路径,并读取参考图像信息,根据参考图像,采用帧间编码方法对当前传输图像进行压缩。
例如:当前R={3,4},不为空,根据参考图像标识信息3和4,检索本地已传输图像索引列表,获得参考图像路径,并读取参考图像信息,利用参考图像信息,对当前图像采用帧间编码的方法进行编码压缩。
1703、发送端设备传输压缩图像文件给接收端设备;
具体为:
(1)、将参考图像的标志信息与压缩图像文件发送给接收端;
例如:发送端设备将参考图像标识信息3和4以及当前图像标识信息5,与压缩图像文件通过相应的传输协议(TCP、UDP等)发送给接收端。
(2)、更新已传输图像索引列表;
发送端设备将当前传输图像的信息添加到对应接收端ID的已传输图像索引列表中。
例如:发送端设备根据当前接收端ID(ID=B),检索到本地已传输图像索引列表,并将当前传输图像标志信息、当前传输时间、当前传输图像路径添加到已传输图像索引列表底部,如表4所示,为发送端设备在图像传输后更新已传输图像列表:
表4
1704、接收端设备确定参考图像存在;
接收端读取参考图像集合中图像的标识信息确定当前传输图像的参考图像,具体为:
(1)、接收端从接收到的数据中读取参考图像标识信息以及当前传输图像的标识信息,
例如:接收端可以从接收到的数据中读取参考图像标识信息为3和4,当前传输图像ID为5。
(2)、如果参考图像标识信息不为空,接收端根据参考图像标志信息,在本地查找对应发送端设备的已传输图像索引列表(包括:发送端设备ID、已传输解码图像标识信息、传输时间、已传输解码图像路径,如表5所示),获得参考图像路径,并读取参考图像信息,如表5所示为接收端保存的对应发送端设备的已传输图像索引列表:
表5
1705、接收端设备对该压缩图像文件进行解码。
接收端根据参考图像信息,采用帧间解码方法对当前传输图像的压缩文件进行解码并存储,具体为:
(1)、如果参考图像标识信息为空,则采用帧内解码方法对压缩图像文件进行解码并保存。如果参考图像集合不为空,接收端则利用参考图像信息,采用帧间解码方法对压缩图像文件进行解码,并保存;
(2)、接收端根据将当前传输图像ID、当前传输时间、当前传输图像路径添加到当前发送端设备对应的已传输解码图像索引列表底部。
例如:接收端将当前解码图像的信息添加到发送端设备A对应的已传输解码图像索引列表,如表6所示:
表6
上面实施例中,发送端设备或接收端设备都会对已传输图像索引列表进行创建或更新,发送端设备针对不同的接收端设备ID或接收端设备针对不同的发送端设备ID操作已传输图像索引列表的具体过程可以如下:
一、创建列表:
发送端设备检测到图片传输操作时,根据接收端设备ID检索本地保存的已传输图像列表,如果返回列表不存在,则新创建已传输图像索引列表。
其中,发送端设备保存的某接收端设备ID已传输图像索引列表需要包括接收端设备ID信息,已传输图像ID、传输时间、已传输图像的发送端路径;
接收端设备保存的某发送端设备ID已传输图像索引列表需要包括发送端设备ID信息,已解码图像ID(与接收端设备已传输图像ID一致,随图像压缩码流传递)、传输时间、已解码图像的接收端设备路径。
已传输图像索引列表的长度为预置数据N,例如可以取值为10,此处不作限定。
二、更新列表:
1、即时更新:
在发送端设备:
(1)、发送端设备在检测到图片传输操作时,根据当前接收端设备ID,查找接收端设备的已传输图像索引列表,删除列表中拍摄时间与当前传输图像拍摄时间差值大于时间阈值(60min)的索引信息。
(2)系统在图片传输操作结束后,将已传输图像信息(当前时间、本地路径)添加到对应接收端设备ID的已传输图像索引列表,并添加图像ID。
(3)传输过程中,若接收端设备反馈参考图像信息没有保存,即删除本地列表中对应编号的图像索引信息。
在接收端设备:
(1)系统在图片传输操作结束后,将已解码图像信息(图像ID、当前时间、本地路径)添加到对应发送端设备ID的已传输图像索引列表。
(2)传输过程中,若反馈给发送端设备对应参考图像信息在本地没有保存,即删除本地列表中对应编号的图像索引信息。
2、定时更新:
发送端设备与接收端设备定时更新所有保存的已传输图像索引列表,删除列表中传输时间与当前时间差值大于时间阈值(60min)的索引信息。
3、采用先进先出原则对索引列表进行更新,保持列表的长度为预置数值N。
4、如果索引列表中添加条目时,出现重复图像ID,则进行采取直接覆盖的方法去重,即将新的已传输图像信息覆盖列表中已有的相同图像ID的条目内容。
在实际应用中,为防止接收端设备中没有发送端设备使用的参考图像而导致解码失败,可以采取多种方式根据接收端设备中存在的图片来更新发送端设备确定的参考图像,下面以其中两种方式为例:
一、在发送端设备对参考图像候选集合中各图像进行图像相似计算之前,发送端设备可以发送参考图像可用信息请求消息给接收端设备以确定参考图像候选集合中的图像是否存在于接收端设备中:
1、发送端设备的操作:
请参阅图19,本发明实施例中图片传输的方法另一个实施例包括:
1901、发送端设备按照接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
在单幅图像传输场景中,当发送端设备传输图像给接收端设备时,发送端设备按照接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
可以理解的是,该单幅图像传输场景仅为了区别于同时传输批量相关联图片的场景,并不限定为只传输一幅图像。
若该已传输图像索引列表不存在,则发送端设备可以为该接收端设备创建新的已传输图像索引列表,该已传输图像索引列表中可以包括接收端设备的标识、已传输图像的标识信息、传输时间、已传输图像路径等。
发送端设备可以检索已传输图像索引列表,删除其中传输时间与当前时间间隔大于预设时间间隔以及本地没有保存的图像条目信息。
可以理解的是,发送端设备可以为传输的每张图像分配一个全局唯一的标识信息(例如,图像编号、hash值等)。
该接收端设备的标识可以为接收端设备ID,按照接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表可以为查找预设时间间隔内该接收端设备已经接收到的图像列表。
1902、发送端设备使用已传输图像索引列表中图像的标识信息构成参考图像候选集合;
发送端设备查找到已传输图像索引列表后,使用已传输图像索引列表中图像的标识信息构成参考图像候选集合。
1903、发送端设备发送参考图像可用信息请求消息给接收端设备;
当发送端设备确定参考图像候选集合后,发送参考图像可用信息请求消息给接收端设备,该参考图像可用信息请求消息用于向接收端设备确定参考图像候选集合中的图像是否存在于接收端设备中。
1904、当接收到接收端设备返回参考图像可用信息响应消息后,发送端设备根据参考图像可用信息响应消息更新参考图像候选集合;
发送端设备发送参考图像可用信息请求消息给所述接收端设备后,接收该接收端设备返回的参考图像可用信息响应消息,该参考图像可用信息响应消息用于确定存在于所述接收端设备中的参考图像,其中可以包含有参考图像候选集合内在接收端设备中不存在的图像的标识信息,发送端设备接收到接收端设备返回参考图像可用信息响应消息后,根据参考图像可用信息响应消息更新参考图像候选集合,即删除参考图像候选集合中接收端设备中不存在的图像的标识信息。
可以理解的是,参考图像可用信息响应消息中也可以包含的是参考图像候选集合内在接收端设备中存在的图像的标识信息,发送端设备接收到该参考图像可用信息响应消息后,可以判断出参考图像候选集合内在接收端设备中不存在的图像的标识信息,此处不做限定。
1905、发送端设备对参考图像候选集合中各图像进行图像相似计算,得到参考图像候选集合中各图像与当前传输图像的相似度;
发送端设备确定参考图像候选集合后,对参考图像候选集合中各图像进行图像相似计算,得到参考图像候选集合中各图像与当前传输图像的相似度。
其中,判断图像相似度的方法有很多,诸如:PSNR、MSE、SSIM等,可以采用一种标准或是多个标准组合而成的标准来判断两幅图像是否相似,以SSIM为例,两幅图像的SSIM值计算方法如式(1)所示:
SSIM(x,y)=[l(x,y)]α·[c(x,y)]β;(1)
l ( x , y ) = 2 μ x μ y + C 1 μ x 2 + μ y 2 + C 1 , c ( x , y ) = 2 σ x σ y + C 2 σ x 2 + σ y 2 + C 2 ; - - - ( 2 )
其中,SSIM(x,y)为图像x,y的结构相似值,SSIM值越大,则图像相似度越高。l(x,y)比较x和y的亮度(luminance),c(x,y)比较x和y的对比度,α>0,β>0,为调整l(x,y)、c(x,y)相对重要性的参数,μx及μy、σx及σy分别为x和y的平均值和标准差,σxy为x和y的共变异数,C1、C2皆为常数,用以维持l(x,y)、c(x,y)的稳定。
发送端设备可以预先设定相似度阈值,判断各图像与当前传输图像的相似度是否大于该相似度阈值,如果图像的相似度不大于该相似度阈值,则可以直接删除该图像,进行下幅图像判断,直到完成参考图像候选集合中所有图像的判断再进行步骤1905,在实际应用中,也可以不设定该相似度阈值,直接进入步骤1905,此处不作限定。
在实际应用中,在步骤1904之后,步骤1905之前,还可以先将参考图像候选集合中各图像与当前传输图像进行属性信息一致性判断,删除参考图像候选集合中与当前传输图像的属性信息不一致的图像,该属性信息可以为图片的尺寸、光圈、焦距等图片属性信息,可以理解的是,根据实际情况,也可以不进行属性信息一致性判断,此处不做限定。
1906、发送端设备按照参考图像候选集合中各图像的相似度从高到低的顺序,在参考图像候选集合中选择预置数目个图像组成参考图像集合;
发送端设备计算出参考图像候选集合中各图像的相似度后,按照参考图像候选集合中各图像的相似度从高到低的顺序,在参考图像候选集合中选择预置数目个图像组成参考图像集合。
1907、发送端设备将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码方法对当前传输图像进行压缩,得到压缩图像文件;
发送端设备确定当前传输图像的参考图像集合后,将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码方法对当前传输图像进行压缩,得到压缩图像文件。
若参考图像集合为空集,则发送端设备可以采用帧内编码方法对当前传输图像进行压缩。
1908、发送端设备将参考图像的标识信息与压缩图像文件发送给接收端设备。
发送端设备得到压缩图像文件后,将参考图像的标识信息与压缩图像文件发送给接收端设备,使得接收端设备根据参考图像的标识信息与压缩图像文件采用帧间解码方法解码出当前传输图像的完整图像,该参考图像的标识信息用于表示该参考图像。
可以理解的是,各集合中各图像的标识信息都可以用于表示各集合中的各图像,图像的标识信息用于全局唯一确定该图像,得到了图像的标识信息即可以查找到对应的图像,所以,各图像集合中包含的是各图像的标识信息,也可以看成包含的是各图像。
本发明实施例中,发送端设备向接收端设备发送参考图像可用信息请求消息,确定参考图像候选集合中的图像是否存在于所述接收端设备中,避免了使用接收端设备中不存在的图像作为参考图像进行编码而导致的解码异常,提高了图片传输的效率。
2、接收端设备的操作:
请参阅图20,本发明实施例中图片传输的方法另一个实施例包括:
2001、接收端设备接收发送端设备发送的参考图像可用信息请求消息;
接收端设备接收发送端设备发送的参考图像可用信息请求消息,该参考图像可用信息请求消息用于向接收端设备确定参考图像候选集合中的图像是否存在于所述接收端设备中。
2002、接收端设备返回参考图像可用信息响应消息给发送端设备;
接收端设备接收到参考图像可用信息请求消息后,查找本地保存的图像,返回参考图像可用信息响应消息给发送端设备,该参考图像可用信息响应消息中包含有接收端设备中不存在的参考图像候选集合中的图像的标识信息。
2003、接收端设备接收发送端设备发送的参考图像的标识信息与压缩图像文件;
当发送端设备向接收端设备传输图像时,接收端设备接收发送端设备发送的参考图像的标识信息与压缩图像文件。
2004、接收端设备根据该参考图像的标识信息确定该压缩图像文件的参考图像;
接收端设备接收到参考图像的标识信息后,根据该参考图像的标识信息确定该压缩图像文件的参考图像。
2005、接收端设备根据该参考图像,采用帧间解码方法对该压缩图像文件进行解码,得到完整图像。
接收端设备确定该压缩图像文件的参考图像后,采用帧间解码方法对该压缩图像文件进行解码,得到完整图像。
本发明实施例中,接收端设备接收发送端设备发送的参考图像可用信息请求消息后,查找本地保存的图像,返回参考图像可用信息响应消息给发送端设备,使得发送端设备能确定出接收端设备与发送端设备中都存在的图像作为参考图像,避免了接收端设备接收到压缩图像文件与参考图像的标识信息后,出现解码异常的问题,提高了图像传输的效率。
为便于理解,结合图19所示的实施例中发送端设备的操作,与图20所示的实施例中接收端设备的操作,请参阅图21,对本发明实施例中确定参考图像集合的方法进行描述:
2101、发送端设备根据接收端设备ID在本地查找该接收端设备的已传输图像索引列表并分配当前传输图像的标识信息;
具体为:
(1)、发送端设备根据接收端设备ID在本地查找该接收端设备的已传输图像索引列表,判断列表是否存在;如果列表不存在,则为该接收端设备创建新的已传输图像索引列表(包括:接收端设备ID、已传输图像标识信息、传输时间、已传输图像路径);如果列表存在,则更新该已传输图像索引列表。
例如:当前时间为15:22,发送端设备进行图片传输,根据接收端设备ID为B,发送端设备在本地查找到该接收端设备的已传输图像列表,如表1所示,为查找出的发送端设备保存的已传输图像索引列表:
表1
(2)、根据已传输图像索引列表中已传输图像的标识信息,为当前传输图像分配一个全局唯一的图像标识(例如,图像编号、hash值等)。
例如:发送端设备选择图像编号作为图像标志信息,且列表中图像编号按升序排列,发送端设备获取列表底部的图像标号为4,可以为当前传输图像分配5作为图像标志信息。
2102、检索已传输图像索引列表,删除其中传输时间与当前时间间隔大于预设的时间阈值以及在本地没有保存的图像条目信息;
具体为:
(1)、发送端设备获取当前传输的时间,并按照传输时间检索已传输图像索引列表,删除其中传输时间与当前时间间隔大于预设的时间阈值的图像条目信息。
例如:发送端设备获取当前传输时间15:22,并根据接收端设备ID(ID为B)在本地检索得到表1,预设时间阈值为60min,按照传输时间检索已传输图像索引列表,删除列表中传输时间在14:22以前的条目,结果如表2所示,为发送端设备保存的更新的已传输图像索引列表:
表2
(2)、发送端设备按照图像路径检索已传输图像索引列表,删除列表中在本地已删除的的图像条目信息。
(3)、由已传输图像索引列表中的图像标识信息构成参考图像候选集合Ψ,如果列表中没有已传输图像的条目信息,Ψ即为空。
例如:保存表2中的已传输图像标识信息,构成参考图像候选集合Ψ,Ψ={1,2,3,4}。
(4)、如果Ψ不为空,触发步骤2103;否则,触发步骤2108。
例如:当前Ψ={1,2,3,4},不为空,则触发步骤2103。
2103、将参考图像候选集合中的图像逐次与当前传输图像进行属性信息一致性判断,删除参考图像候选集合中与该当前传输图像属性信息不一致的图像;
具体为:
(1)、发送端设备根据参考图像候选集合中的图像标志信息在已传输图像索引列表中查询对应的图像路径,获取当前传输图像与参考图像集合中的图像的属性信息(图片的尺寸、光圈、焦距等图片属性信息)。
例如:发送端设备可以通过读取图片的EXIF信息,获取当前传输图片与Ψ中已传输图片的属性信息,如表3所示,为Ψ中图像与当前传输图片的EXIF信息,其中5即为当前传输图像:
表3
图像标识信息 1 2 3 4 5
宽度 3264 1840 3264 3264 3264
高度 1840 3264 1840 1840 1840
模型 HUAWEIMT1-U06 HUAWEIMT1-U06 HUAWEIMT1-U06 HUAWEIMT1-U06 HUAWEIMT1-U06
焦距 4.31mm 4.31mm 4.31mm 4.31mm 4.31mm
光圈 2.4 2.4 2.4 2.4 2.4
时间 14::27 14:56 15:17 15:20 14:22
(2)、判断当前传输图片与Ψ中已传输图片的属性信息是否一致,如果属性信息不一致,则删除Ψ中该图像条目信息,并进行Ψ中下幅图像判断。
例如:比较表3中图像1至4与当前传输图像5的EXIF信息(图像信息和照相机信息,非时间信息),确定Ψ中1、3、4与5信息一致;而2与5的尺寸不一致,在Ψ中删除该图像标识信息为2的图像条目信息,并进行Ψ中下幅图像判断。
(3)、Ψ中已传输图片全部比较完毕后,更新Ψ。
例如:Ψ={1,3,4}。
2104、发送端设备向接收端设备发送参考图像可用信息请求消息;
发送端设备向接收端设备发送参考图像可用信息请求消息,包括“接收端设备ID”,“参考图像标识信息”。
例如:接收端设备ID为B,参考图像标识信息为1、3、4。发送端设备可以发送参考图像可用信息请求消息:B134。
2105、接收端设备向发送端设备反馈参考图像可用信息响应消息;
具体为:
(1)、接收端设备根据参考图像标志信息,在对应发送端设备ID的已传输解码图像索引列表中查找参考图像路径,确定存在的参考图像。
(2)、接收端设备向发送端设备发送参考图像可用信息响应消息,包括“发送端设备ID”,接收端设备存在的“参考图像标识信息”。
例如:发送端设备ID为A,存在的参考图像标识信息为1、4。接收端设备可以发送参考图像可用信息响应消息:A14。
2106、发送端设备根据接收端设备返回的参考图像可用信息,通过相似度计算更新参考图像集合R。
具体为:
(1)、发送端设备接收到可用参考图像标识信息,根据可用参考图像标识信息,对本地已传输图像索引列表及参考图像候选集合进行更新,删除已传输图像索引列表中接收端设备不存在的图像信息条目。
例如:发送端设备接收到可用参考图像标志信息为1、4,Ψ更新为{1,4}。已传输图像索引列表更新如图表8所示:
表8
(2)、通过拍摄时间与相似度计算方法判断当前传输图片与Ψ中图像是否相似,如果当前传输图片与Ψ中图像不相似,则在Ψ中删除该图像的ID,进行Ψ中下幅图像判断。当Ψ中所有图像都与当前传输图像P进行相似度判断后,执行步骤2107。
具体可以为:
1、分别比较Ψ中各幅图像与当前图像的拍摄时间的差值,如果差值在连拍图像时间阈值范围内,则判断该图像与当前传输图像为连拍图像,即为相似图像,进行Ψ中下幅图像判断;否则,进行图像相似度计算。
例如:预先设定连拍时间阈值为3min,此时,Ψ={1、4},由表3得到Ψ中的图像1和图像4与P的传输时间差值分别为55min和2min,因此判断图像4与P为相似图像,而图像1需要进行图像相似度计算。
2、计算Ψ中图像与当前图像的相似度,如果相似度在相似范围,则进行Ψ中下幅图像判断;否则,在Ψ中删除该图像的ID,进行Ψ中下幅图像判断。当Ψ中所有图像都与当前图像P进行相似度判断,则执行步骤2107。
例如:通过计算得到SSIM(1,P)=0.67<0.75,即判断Ψ中图像1与当前传输图像P为非相似图像,在Ψ中删除该图像ID:1。至此,Ψ中图像均与传输图像P进行相似度判断,则执行步骤2107,Ψ={4}。
2107、保留Ψ中与当前传输图片的相似度最高的n幅图像,删除Ψ中其余图像ID。
设定参考图像集合R长度n为4,即R中最多包含4幅已传输图像ID,当前Ψ={4},如果Ψ中图像数大于4,则保留当前传输图像P最相似(SSIM值最大)的4幅图像ID,删除其余ID,Ψ={4},如表9所示,为发送端设备在进行相似度计算后更新的已传输图像索引列表:
表9
2108、拷贝Ψ中图像ID,构成参考图像集合R,如果Ψ为空,则R为空。
R={4}。
可以理解的是,使用本实施例所示的方法确定参考图像集合后,对图片进行传输的后续步骤与图17所示实施例中步骤1702至步骤1705类似,此处不再赘述。
二、在将所述参考图像的标识信息与所述压缩图像文件发送给接收端设备之后,若接收端设备中不存在该参考图像,接收该接收端设备返回的解码异常处理请求,根据该解码异常处理请求对参考图像集合进行更新:
1、发送端设备的操作:
请参阅图22,本发明实施例中传输图片的方法另一个实施例包括:
2201、发送端设备按照接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
在单幅图像传输场景中,当发送端设备传输图像给接收端设备时,发送端设备按照接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
可以理解的是,该单幅图像传输场景仅为了区别于同时传输批量相关联图片的场景,并不限定为只传输一幅图像。
若该已传输图像索引列表不存在,则发送端设备可以为该接收端创建新的已传输图像索引列表,该已传输图像索引列表中可以包括接收端设备的标识、已传输图像的标识信息、传输时间、已传输图像路径等。
发送端设备可以检索已传输图像索引列表,删除其中传输时间与当前时间间隔大于预设时间间隔以及本地没有保存的图像条目信息。
可以理解的是,发送端设备可以为传输的每张图像分配一个全局唯一的标识信息(例如,图像编号、hash值等)。
该接收端设备的标识可以为接收端设备的ID,按照接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表可以为查找预设时间间隔内该接收端设备已经接收到的图像列表。
2202、发送端设备使用已传输图像索引列表中图像的标识信息构成参考图像候选集合;
发送端设备查找到已传输图像索引列表后,使用已传输图像索引列表中图像的标识信息构成参考图像候选集合。
2203、发送端设备对参考图像候选集合中各图像进行图像相似计算,得到参考图像候选集合中各图像与当前传输图像的相似度;
发送端设备确定参考图像候选集合后,对参考图像候选集合中各图像进行图像相似计算,得到参考图像候选集合中各图像与当前传输图像的相似度。
其中,判断图像相似度的方法有很多,诸如:PSNR、MSE、SSIM等,可以采用一种标准或是多个标准组合而成的标准来判断两幅图像是否相似,以SSIM为例,两幅图像的SSIM值计算方法如式(1)所示:
SSIM(x,y)=[l(x,y)]α·[c(x,y)]β;(1)
l ( x , y ) = 2 &mu; x &mu; y + C 1 &mu; x 2 + &mu; y 2 + C 1 , c ( x , y ) = 2 &sigma; x &sigma; y + C 2 &sigma; x 2 + &sigma; y 2 + C 2 ; - - - ( 2 )
其中,SSIM(x,y)为图像x,y的结构相似值,SSIM值越大,则图像相似度越高。l(x,y)比较x和y的亮度(luminance),c(x,y)比较x和y的对比度,α>0,β>0,为调整l(x,y)、c(x,y)相对重要性的参数,μx及μy、σx及σy分别为x和y的平均值和标准差,σxy为x和y的共变异数,C1、C2皆为常数,用以维持l(x,y)、c(x,y)的稳定。
发送端设备可以预先设定相似度阈值,判断各图像与当前传输图像的相似度是否大于该相似度阈值,如果图像的相似度不大于该相似度阈值,则可以直接删除该图像,进行下幅图像判断,直到完成参考图像候选集合中所有图像的判断再进行步骤2204,在实际应用中,也可以不设定该相似度阈值,直接进入步骤2204,此处不作限定。
在实际应用中,在步骤2202之后,步骤2203之前,还可以先将参考图像候选集合中各图像与当前传输图像进行属性信息一致性判断,删除参考图像候选集合中与当前传输图像的属性信息不一致的图像,该属性信息可以为图片的尺寸、光圈、焦距等图片属性信息,可以理解的是,根据实际情况,也可以不进行属性信息一致性判断,此处不做限定。
2204、发送端设备按照参考图像候选集合中各图像的相似度从高到低的顺序,在参考图像候选集合中选择预置数目个图像组成参考图像集合;
发送端设备计算出参考图像候选集合中各图像的相似度后,按照参考图像候选集合中各图像的相似度从高到低的顺序,在参考图像候选集合中选择预置数目个图像组成参考图像集合。
2205、发送端设备将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码方法对当前传输图像进行压缩,得到压缩图像文件;
发送端设备确定当前传输图像的参考图像集合后,将参考图像集合中的图像作为当前传输图像的参考图像,采用帧间编码方法对当前传输图像进行压缩,得到压缩图像文件。
若参考图像集合为空集,则发送端设备可以采用帧内编码方法对当前传输图像进行压缩。
2206、发送端设备将参考图像的标识信息与压缩图像文件发送给接收端设备。
发送端设备得到压缩图像文件后,将参考图像的标识信息与压缩图像文件发送给接收端设备,使得接收端设备根据参考图像的标识信息与压缩图像文件采用帧间解码方法解码出当前传输图像的完整图像,该参考图像的标识信息用于表示该参考图像。
可以理解的是,各集合中各图像的标识信息都可以用于表示各集合中的各图像,图像的标识信息用于全局唯一确定该图像,得到了图像的标识信息即可以查找到对应的图像,所以,各图像集合中包含的是各图像的标识信息,也可以看成包含的是各图像。
2207、发送端设备接收该接收端设备返回的解码异常处理请求;
发送端设备将参考图像的标识信息与压缩图像文件发送给接收端设备后,若接收端设备上不存在该参考图像,则发送端设备接收该接收端设备返回的解码异常处理请求,该解码异常处理请求用于确定所述接收端设备中不存在的参考图像,其中可以包含有接收端设备中不存在的参考图像的标识信息。
可以理解的是,该解码异常处理请求中也可以标识出接收端设备中存在的参考图像的标识信息使得发送端设备据此确定接收端设备中不存在的参考图像的标识信息,此处不作限定。
2208、发送端设备根据该解码异常处理请求更新参考图像集合;
发送端设备接收到解码异常处理请求后,根据该解码异常处理请求更新参考图像集合,即删除参考图像集合中在接收端设备上不存在的参考图像的标识信息。
2209、发送端设备按照更新后的参考图像集合中的参考图像,采用帧间编码方法对当前传输图像重新进行压缩,得到新压缩图像文件;
发送端设备更新参考图像集合后,按照更新后的参考图像集合中的参考图像,采用帧间编码方法对当前传输图像重新进行压缩,得到新压缩图像文件。
2210、发送端设备将更新后的参考图像的标识信息与新压缩图像文件发送给接收端设备。
发送端设备得到新压缩文件后,将更新后的参考图像的标识信息与新压缩图像文件发送给接收端设备。
本发明实施例中,发送端设备接收到接收端设备发送端的解码异常处理请求后,根据该解码异常处理请求更新参考图像集合,重新编码后将新的压缩图像文件与更新后的参考图像的标识信息发送给接收端设备,使得接收端设备可以顺利的对该新压缩图像文件进行解码得到完整图像,提高图片传输过程的稳定性。
2、接收端设备的操作:
请参阅图23,本发明实施例中图片传输的方法另一个实施例包括:
2301、接收端设备接收发送端设备发送的参考图像的标识信息与压缩图像文件;
当发送端设备向接收端设备传输图像时,接收端设备接收发送端设备发送的参考图像的标识信息与压缩图像文件。
2302、接收端设备根据该参考图像的标识信息确定该压缩图像文件的参考图像;
接收端设备接收到参考图像的标识信息后,根据该参考图像的标识信息确定该压缩图像文件的参考图像。
2303、当接收端设备检索不到该参考图像时,接收端设备发送解码异常处理请求给发送端设备;
接收端设备根据参考图像的标识信息确定该压缩图像文件的参考图像,当接收端设备检索不到该参考图像时,接收端设备发送解码异常处理请求给发送端设备,该解码异常处理请求用于确定接收端设备中不存在的参考图像,使得发送端设备根据该解码异常处理请求更新参考图像集合。
2304、接收端设备接收发送端设备发送的更新后的参考图像的标识信息与所述新压缩图像文件;
接收端设备发送解码异常处理请求给发送端设备后,接收该发送端设备发送的更新后的参考图像的标识信息与新压缩图像文件。
2305、接收端设备根据该更新后的参考图像的标识信息确定更新后的参考图像;
接收端设备接收发送端设备发送的更新后的参考图像的标识信息后,根据该更新后的参考图像的标识信息确定更新后的参考图像。
2306、接收端设备根据该更新后的参考图像,采用帧间解码方法对新压缩图像文件进行解码,得到完整图像。
接收端设备接收发送端设备发送的更新后的参考图像的标识信息与新压缩图像文件,根据更新后的参考图像的标识信息确定更新后的参考图像后,根据该更新后的参考图像,采用帧间解码方法对新压缩图像文件进行解码,得到完整图像。
本发明实施例中,当接收端设备检索不到参考图像时,发送解码异常处理请求给发送端设备,使得发送端设备根据该解码异常处理请求更新参考图像集合,然后使用更新后的参考图像重新编码压缩,再发送更新后的参考图像的标识信息与新压缩图像文件给接收端设备,使得接收端设备能顺利的进行解码,得到完整图像,这样提高了图片传输过程的稳定性。
为便于理解,结合图22所示的实施例中发送端设备的操作,与图23所示的实施例中接收端设备的操作,请参阅图24,对本发明实施例中图片传输的方法进行描述:
2401、发送端设备确定参考图像集合;
2402、发送端设备对当前传输图像编码;
2403、发送端设备传输压缩图像文件给接收端设备;
可以理解的是,步骤2401至步骤2403的具体执行过程与图17所示实施例中步骤1701至步骤1703类似,此处不作赘述。
2404、接收端设备读取参考图像集合中图像的标识信息,确定当前传输图像的参考图像不完全存在;
具体为:
(1)、接收端设备可以从接收到的数据中读取参考图像标识信息以及当前传输图像ID,
例如:接收端设备从压缩图像数据中读取参考图像标识信息:3、4,当前传输图像ID为5。
(2)、参考图标标识信息不为空,接收端设备则根据发送端设备ID,在本地查找对应发送端设备的已传输解码图像索引列表,根据参考图像标识信息,在列表中查找已传输解码图像的路径,确定参考图像不完全存在。
例如:当前发送端设备ID为A,则根据参考图像标识信息3、4在对应发送端设备的已传输解码图像索引列表查找图像路径,假设图像3已被接收端设备删除,因此参考图像不完全存在。
2405、接收端设备向发送端设备发送解码异常处理请求;
接收端设备确定有参考图像不存在后,向发送端设备发送解码异常消息,包括“发送端设备ID”,不存在的“参考图像ID”。
例如:执行步骤2404时确定R中仅有图像4保存,图像3已被删除了。接收端设备可以发送解码异常消息:A3。
2406、发送端设备根据接收端设备发送的解码异常处理请求确定接收端设备不存在的参考图像ID,更新参考图像集合,并根据更新的参考图像集合,对当前传输图像重新进行编码;
具体为:
(1)、发送端设备根据接收端设备ID,检索已传输图像索引列表,如表4所示,删除列表中对应接收端设备不存在的图像ID的条目。
例如:接收端设备ID为B,发送端设备删除该接收端设备对应的已传输图像索引列表中图像标识信息为3的条目信息,已传输图像索引列表更新如表7所示:
表7
2407、发送端设备将更新后的参考图像的标识信息与新压缩图像文件发送给接收端设备;
例如:发送端设备将更新后的参考图像标识信息4,与新压缩图像文件通过相应的传输协议(TCP、UDP等)发送给接收端设备。
2408、接收端设备根据该更新后的参考图像的标识信息确定更新后的参考图像存在;
发送端设备接收到更新后的参考图像的标识信息后,根据该更新后的参考图像的标识信息确定更新后的参考图像存在。
2409、接收端设备根据更新后的参考图像,对新压缩图像文件进行解码。
接收端设备确定更新后的参考图像存在后,根据更新后的参考图像,采用帧间解码方法对该新压缩图像文件进行解码。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (21)

1.一种发送端设备,其特征在于,包括:
第一确定模块,用于根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合,所述接收端设备的标识用于唯一确定接收端设备;
第一编码模块,用于将所述参考图像集合中的图像作为所述当前传输图像的参考图像,采用帧间编码方法对所述当前传输图像进行压缩,得到压缩图像文件;
第一发送模块,用于将参考图像的标识信息与所述压缩图像文件发送给所述接收端设备,所述参考图像的标识信息用于表示所述参考图像,使得所述接收端设备根据所述参考图像的标识信息与所述压缩图像文件采用帧间解码方法解码出所述当前传输图像的完整图像。
2.根据权利要求1所述的发送端设备,其特征在于,所述第一确定模块具体包括:
查找单元,用于按照所述接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
候选构建单元,用于使用所述已传输图像索引列表中图像的标识信息构成参考图像候选集合;
计算单元,用于对所述参考图像候选集合中各图像进行图像相似计算,得到所述参考图像候选集合中各图像与所述当前传输图像的相似度;
选择单元,用于按照所述参考图像候选集合中各图像的相似度从高到低的顺序,在所述参考图像候选集合中选择预置数目个图像组成所述参考图像集合。
3.根据权利要求2所述的发送端设备,其特征在于,所述第一确定模块中还可以包括:
判断单元,用于将所述参考图像候选集合中各图像与所述当前传输图像进行属性信息一致性判断;
删除单元,用于删除所述参考图像候选集合中与所述当前传输图像的属性信息不一致的图像。
4.根据权利要求3所述的发送端设备,其特征在于,所述第一编码模块具体包括:
第一检索单元,用于根据所述参考图像集合中图像的标识信息,在所述已传输图像索引列表中检索参考图像的路径;
读取单元,用于按照所述参考图像的路径读取所述参考图像的图像信息;
编码单元,用于根据所述参考图像的图像信息,采用帧间编码方法对所述当前传输图像进行压缩,得到所述压缩图像文件。
5.根据权利要求2至4中任一项所述的发送端设备,其特征在于,所述发送端设备还包括:
第二发送模块,用于发送参考图像可用信息请求消息给所述接收端设备,所述参考图像可用信息请求消息用于向所述接收端设备确定所述参考图像候选集合中的图像是否存在于所述接收端设备中;
第一更新模块,用于当接收到所述接收端设备返回参考图像可用信息响应消息后,根据所述参考图像可用信息响应消息更新所述参考图像候选集合。
6.根据权利要求1至4中任一项所述的发送端设备,其特征在于,所述发送端设备还包括:
第一接收模块,用于接收所述接收端设备返回的解码异常处理请求,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像;
第二更新模块,用于根据所述解码异常处理请求更新所述参考图像集合;
第二编码模块,用于按照更新后的参考图像集合中的参考图像,采用帧间编码方法对所述当前传输图像重新进行压缩,得到新压缩图像文件;
第三发送模块,用于将更新后的参考图像的标识信息与所述新压缩图像文件发送给所述接收端设备。
7.一种接收端设备,其特征在于,包括:
第二接收模块,用于接收发送端设备发送的参考图像的标识信息与压缩图像文件,所述压缩图像文件为所述发送端设备对当前传输图像采用帧间编码方法压缩的文件;
第二确定模块,用于根据所述参考图像的标识信息确定所述压缩图像文件的参考图像;
第一解码模块,用于根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像,所述完整图像为所述当前传输图像的完整图像。
8.根据权利要求7所述的接收端设备,其特征在于,所述接收端设备还包括:
第三接收模块,用于接收所述发送端设备发送的参考图像可用信息请求消息,所述参考图像可用信息请求消息用于向所述接收端设备确定参考图像候选集合中的图像是否存在于所述接收端设备中;
返回模块,用于返回参考图像可用信息响应消息给所述发送端设备,所述参考图像可用信息响应消息用于确定存在于所述接收端设备中的参考图像。
9.根据权利要求7或8所述的接收端设备,其特征在于,所述第二确定模块具体包括:
第二检索单元,用于按照所述参考图像的标识信息,在本地保存的已传输图像索引列表中检索所述参考图像的路径;
获取模块,用于按照所述参考图像的路径获取所述压缩图像文件的参考图像。
10.根据权利要求7所述的接收端设备,其特征在于,所述接收端设备还包括:
第四发送模块,用于当所述接收端设备检索不到所述参考图像时,所述接收端设备发送解码异常处理请求给所述发送端设备,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像,使得所述发送端设备根据所述解码异常处理请求更新参考图像集合;
第四接收模块,用于接收所述发送端设备发送的更新后的参考图像的标识信息与新压缩图像文件;
第三确定模块,用于根据所述更新后的参考图像的标识信息确定更新后的参考图像;
所述第一解码模块具体用于,根据所述更新后的参考图像,采用帧间解码方法对所述新压缩图像文件进行解码,得到所述完整图像。
11.一种图片传输的方法,其特征在于,包括:
发送端设备根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合;
所述发送端设备将所述参考图像集合中的图像作为所述当前传输图像的参考图像,采用帧间编码方法对所述当前传输图像进行压缩,得到压缩图像文件;
所述发送端设备将参考图像的标识信息与所述压缩图像文件发送给所述接收端设备,所述参考图像的标识信息用于表示所述参考图像,使得所述接收端设备根据所述参考图像的标识信息与所述压缩图像文件采用帧间解码方法解码出所述当前传输图像的完整图像。
12.根据权利要求11所述的方法,其特征在于,所述发送端设备根据接收端设备的标识与本地的已传输图像信息确定当前传输图像的参考图像集合具体包括:
所述发送端设备按照所述接收端设备的标识查找预设时间间隔内本地保存的已传输图像索引列表;
所述发送端设备使用所述已传输图像索引列表中图像的标识信息构成参考图像候选集合;
所述发送端设备对所述参考图像候选集合中各图像进行图像相似计算,得到所述参考图像候选集合中各图像与所述当前传输图像的相似度;
所述发送端设备按照所述参考图像候选集合中各图像的相似度从高到低的顺序,在所述参考图像候选集合中选择预置数目个图像组成所述参考图像集合。
13.根据权利要求12所述的方法,其特征在于,所述发送端设备对所述参考图像候选集合中各图像进行图像相似计算,得到所述参考图像候选集合中各图像与所述当前传输图像的相似度的步骤之前还包括:
所述发送端设备将所述参考图像候选集合中各图像与所述当前传输图像进行属性信息一致性判断;
所述发送端设备删除所述参考图像候选集合中与所述当前传输图像的属性信息不一致的图像。
14.根据权利要求13所述的方法,其特征在于,所述发送端设备将所述参考图像集合中的图像作为所述当前传输图像的参考图像,采用帧间编码方法对所述当前传输图像进行压缩,得到压缩图像文件具体包括:
所述发送端设备根据所述参考图像集合中图像的标识信息,在所述已传输图像索引列表中检索参考图像的路径;
所述发送端设备按照所述参考图像的路径读取所述参考图像的图像信息;
所述发送端设备根据所述参考图像的图像信息,采用帧间编码方法对所述当前传输图像进行压缩,得到所述压缩图像文件。
15.根据权利要求14所述的方法,其特征在于,所述标识信息为全局唯一的图像编号或图像哈希码。
16.根据权利要求12至15中任一项所述的方法,其特征在于,所述发送端设备使用所述已传输图像索引列表中图像的标识信息构成参考图像候选集合的步骤之后,所述发送端设备对所述参考图像候选集合中各图像进行图像相似计算的步骤之前还包括:
所述发送端设备发送参考图像可用信息请求消息给所述接收端设备,所述参考图像可用信息请求消息用于向所述接收端设备确定所述参考图像候选集合中的图像是否存在于所述接收端设备中;
当接收到所述接收端设备返回参考图像可用信息响应消息后,所述发送端设备根据所述参考图像可用信息响应消息更新所述参考图像候选集合。
17.根据权利要求11至15中任一项所述的方法,其特征在于,所述发送端设备将所述参考图像的标识信息与所述压缩图像文件发送给接收端设备的步骤之后还包括:
所述发送端设备接收所述接收端设备返回的解码异常处理请求,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像;
所述发送端设备根据所述解码异常处理请求更新所述参考图像集合;
所述发送端设备按照更新后的参考图像集合中的参考图像,采用帧间编码方法对所述当前传输图像重新进行压缩,得到新压缩图像文件;
所述发送端设备将更新后的参考图像的标识信息与所述新压缩图像文件发送给所述接收端设备。
18.一种图片传输的方法,其特征在于,包括:
接收端设备接收发送端设备发送的参考图像的标识信息与压缩图像文件,所述压缩图像文件为所述发送端设备对当前传输图像采用帧间编码方法压缩的文件;
所述接收端设备根据所述参考图像的标识信息确定所述压缩图像文件的参考图像;
所述接收端设备根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像,所述完整图像为所述当前传输图像的完整图像。
19.根据权利要求18所述的方法,其特征在于,所述接收端设备根据所述参考图像的标识信息确定所述压缩图像文件的参考图像包括:
所述接收端设备按照所述参考图像的标识信息,在本地保存的已传输图像索引列表中检索所述参考图像的路径;
所述接收端设备按照所述参考图像的路径获取所述压缩图像文件的参考图像。
20.根据权利要求19所述的方法,其特征在于,所述接收端设备接收发送端设备发送的参考图像的标识信息与压缩图像文件的步骤之前还包括:
所述接收端设备接收所述发送端设备发送的参考图像可用信息请求消息,所述参考图像可用信息请求消息用于向所述接收端设备确定参考图像候选集合中的图像是否存在于所述接收端设备中;
所述接收端设备返回参考图像可用信息响应消息给所述发送端设备,所述参考图像可用信息响应消息用于确定存在于所述接收端设备中的参考图像。
21.根据权利要求19所述的方法,其特征在于,所述接收端设备根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像的步骤之前还包括:
当所述接收端设备检索不到所述参考图像时,所述接收端设备发送解码异常处理请求给所述发送端设备,所述解码异常处理请求用于确定所述接收端设备中不存在的参考图像,使得所述发送端设备根据所述解码异常处理请求更新参考图像集合;
所述接收端设备接收所述发送端设备发送的更新后的参考图像的标识信息与新压缩图像文件;
所述接收端设备根据所述更新后的参考图像的标识信息确定更新后的参考图像;
所述接收端设备根据所述参考图像,采用帧间解码方法对所述压缩图像文件进行解码,得到完整图像包括:
所述接收端根据所述更新后的参考图像,采用帧间解码方法对所述新压缩图像文件进行解码,得到所述完整图像。
CN201410183227.4A 2014-04-30 2014-04-30 图片传输的方法及其相关设备 Active CN103957341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410183227.4A CN103957341B (zh) 2014-04-30 2014-04-30 图片传输的方法及其相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410183227.4A CN103957341B (zh) 2014-04-30 2014-04-30 图片传输的方法及其相关设备

Publications (2)

Publication Number Publication Date
CN103957341A true CN103957341A (zh) 2014-07-30
CN103957341B CN103957341B (zh) 2016-09-28

Family

ID=51334561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410183227.4A Active CN103957341B (zh) 2014-04-30 2014-04-30 图片传输的方法及其相关设备

Country Status (1)

Country Link
CN (1) CN103957341B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407353A (zh) * 2014-09-11 2016-03-16 腾讯科技(深圳)有限公司 一种图像压缩方法,及装置
CN105513101A (zh) * 2015-12-03 2016-04-20 小米科技有限责任公司 图片处理方法及装置
CN106331700A (zh) * 2015-07-03 2017-01-11 华为技术有限公司 参考图像编码和解码的方法、编码设备和解码设备
WO2018121432A1 (zh) * 2016-12-27 2018-07-05 华为技术有限公司 图像编解码方法及装置
CN108600769A (zh) * 2018-04-16 2018-09-28 西安万像电子科技有限公司 图像传输方法、装置及系统
CN110381319A (zh) * 2019-07-05 2019-10-25 西安万像电子科技有限公司 图像编解码方法及装置
CN110399511A (zh) * 2019-07-23 2019-11-01 中南民族大学 基于Redis的图片缓存方法、设备、存储介质及装置
CN111726632A (zh) * 2019-03-18 2020-09-29 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN111800631A (zh) * 2020-06-22 2020-10-20 西安万像电子科技有限公司 数据处理方法及系统
CN112235580A (zh) * 2019-07-15 2021-01-15 华为技术有限公司 图像编码方法、解码方法、装置和存储介质
CN112911410A (zh) * 2021-02-05 2021-06-04 北京乐学帮网络技术有限公司 一种在线视频处理方法及装置
WO2022110870A1 (zh) * 2020-11-27 2022-06-02 浙江智慧视频安防创新中心有限公司 图像编码和解码方法、编码和解码装置、编码器及解码器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6372277A (ja) * 1986-09-16 1988-04-01 Toshiba Corp フレ−ム間差分伝送方式
CN1168055A (zh) * 1996-04-19 1997-12-17 冲电气工业株式会社 图像编码器,图像解码器及图象发送系统
CN101594537A (zh) * 2009-06-04 2009-12-02 京北方科技股份有限公司 海量图像数据压缩方法
US20140086322A1 (en) * 2011-06-07 2014-03-27 Sony Corporation Image processing device and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6372277A (ja) * 1986-09-16 1988-04-01 Toshiba Corp フレ−ム間差分伝送方式
CN1168055A (zh) * 1996-04-19 1997-12-17 冲电气工业株式会社 图像编码器,图像解码器及图象发送系统
CN101594537A (zh) * 2009-06-04 2009-12-02 京北方科技股份有限公司 海量图像数据压缩方法
US20140086322A1 (en) * 2011-06-07 2014-03-27 Sony Corporation Image processing device and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐盛等: "基于JPEG-LS帧间扩展的图像无损压缩算法", 《计算机与数字工程》, vol. 34, no. 03, 20 March 2006 (2006-03-20) *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407353A (zh) * 2014-09-11 2016-03-16 腾讯科技(深圳)有限公司 一种图像压缩方法,及装置
US11968376B2 (en) 2015-07-03 2024-04-23 Huawei Technologies Co., Ltd. Reference image encoding method, reference image decoding method, reference image encoding device, and reference image decoding device
CN106331700A (zh) * 2015-07-03 2017-01-11 华为技术有限公司 参考图像编码和解码的方法、编码设备和解码设备
US10979722B2 (en) 2015-07-03 2021-04-13 Huawei Technologies Co., Ltd. Reference image encoding method, reference image decoding method, reference image encoding device, and reference image decoding device
CN106331700B (zh) * 2015-07-03 2019-07-19 华为技术有限公司 参考图像编码和解码的方法、编码设备和解码设备
CN105513101A (zh) * 2015-12-03 2016-04-20 小米科技有限责任公司 图片处理方法及装置
CN105513101B (zh) * 2015-12-03 2018-08-07 小米科技有限责任公司 图片处理方法及装置
WO2018121432A1 (zh) * 2016-12-27 2018-07-05 华为技术有限公司 图像编解码方法及装置
US11134269B2 (en) 2016-12-27 2021-09-28 Huawei Technologies Co., Ltd. Image encoding method and apparatus and image decoding method and apparatus
CN108600769A (zh) * 2018-04-16 2018-09-28 西安万像电子科技有限公司 图像传输方法、装置及系统
CN111726632A (zh) * 2019-03-18 2020-09-29 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN110381319A (zh) * 2019-07-05 2019-10-25 西安万像电子科技有限公司 图像编解码方法及装置
CN110381319B (zh) * 2019-07-05 2021-08-17 西安万像电子科技有限公司 图像编解码方法及装置
WO2021008524A1 (zh) * 2019-07-15 2021-01-21 华为技术有限公司 图像编码方法、解码方法、装置和存储介质
CN112235580A (zh) * 2019-07-15 2021-01-15 华为技术有限公司 图像编码方法、解码方法、装置和存储介质
CN110399511A (zh) * 2019-07-23 2019-11-01 中南民族大学 基于Redis的图片缓存方法、设备、存储介质及装置
CN111800631A (zh) * 2020-06-22 2020-10-20 西安万像电子科技有限公司 数据处理方法及系统
WO2022110870A1 (zh) * 2020-11-27 2022-06-02 浙江智慧视频安防创新中心有限公司 图像编码和解码方法、编码和解码装置、编码器及解码器
CN112911410A (zh) * 2021-02-05 2021-06-04 北京乐学帮网络技术有限公司 一种在线视频处理方法及装置

Also Published As

Publication number Publication date
CN103957341B (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
CN103957341A (zh) 图片传输的方法及其相关设备
Hu et al. Improving deep video compression by resolution-adaptive flow coding
US10771813B2 (en) Reference frame encoding method and apparatus, and reference frame decoding method and apparatus
US8977066B2 (en) Image compression using sub-resolution images
US10291925B2 (en) Techniques for hardware video encoding
US8135065B2 (en) Method and device for decoding a scalable video stream
CN102611823B (zh) 一种基于图片内容选择压缩算法的方法和设备
TWI622288B (zh) 視訊解碼方法
US20140314141A1 (en) Video encoding method and apparatus, and video decoding method and apparatus based on signaling of sample adaptive offset parameters
US20170094291A1 (en) Re-encoding image sets using frequency-domain differences
US9210435B2 (en) Video encoding method and apparatus for estimating a code amount based on bit string length and symbol occurrence frequency
CN106937111B (zh) 优化图像压缩质量的方法及系统
US9380314B2 (en) Pixel retrieval for frame reconstruction
US9667982B2 (en) Techniques for transform based transcoding
US20130170761A1 (en) Apparatus and method for encoding depth image by skipping discrete cosine transform (dct), and apparatus and method for decoding depth image by skipping dct
US20210329252A1 (en) Motion information acquisition method and device for video encoding or decoding
CN111183647A (zh) 通过适配参数的渐进式修正的二进制算术译码
US11445205B2 (en) Video encoding method and apparatus, video decoding method and apparatus, computer device, and storage medium
CN113597757A (zh) 具有区域数自适应的几何划分的形状自适应离散余弦变换
CN103020138A (zh) 一种视频检索的方法和装置
US8681860B2 (en) Moving picture compression apparatus and method of controlling operation of same
Hu et al. Complexity-guided slimmable decoder for efficient deep video compression
US20210103813A1 (en) High-Level Syntax for Priority Signaling in Neural Network Compression
US9812095B2 (en) Video processing method including managing a reference picture list and video system therefore
CN100539703C (zh) 压缩数据的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant