CN107872671B - 一种图片编码方法及终端 - Google Patents

一种图片编码方法及终端 Download PDF

Info

Publication number
CN107872671B
CN107872671B CN201610851341.9A CN201610851341A CN107872671B CN 107872671 B CN107872671 B CN 107872671B CN 201610851341 A CN201610851341 A CN 201610851341A CN 107872671 B CN107872671 B CN 107872671B
Authority
CN
China
Prior art keywords
picture
pictures
target group
terminal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610851341.9A
Other languages
English (en)
Other versions
CN107872671A (zh
Inventor
别晓辉
陈善席
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610851341.9A priority Critical patent/CN107872671B/zh
Priority to EP17852186.0A priority patent/EP3506635B1/en
Priority to PCT/CN2017/089888 priority patent/WO2018054114A1/zh
Publication of CN107872671A publication Critical patent/CN107872671A/zh
Priority to US16/361,000 priority patent/US10887586B2/en
Application granted granted Critical
Publication of CN107872671B publication Critical patent/CN107872671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种图片编码方法及终端,该终端包括:终端根据多张图片中每张图片的参考信息将多张图片分成N组,同组的各张图片的参考信息满足预设的相似条件,参考信息包括拍摄图片时生成的用于描述图片的特征的信息;终端对N组图片进行编码,其中,对N组图片中的任意一组,都执行以下步骤:根据预设规则从目标组中选择第一图片,以及对第一图片进行编码,第一图片为目标组中首先被编码的图片,目标组为N组图片中的任意一组;从目标组中为第二图片选择参考图片,第二图片为目标组中除第一图片外的一张图片;使用参考图片对第二图片做运动估计,以编码第二图片。采用本发明,能够使得到的编码信息的数据量更少。

Description

一种图片编码方法及终端
技术领域
本发明涉及计算机技术领域,尤其涉及一种图片编码方法及终端。
背景技术
随着电子技术的快速发展,很多终端(如手机、可穿戴设备等)都具备了拍照功能,如今,图片已成为人们获取信息的重要方式,人们习惯通过图片来记录生活的点点滴滴以及通过图片交流分享。随着技术的进步,终端拍摄到的图片的清晰度会越来越高,这就导致每张图片的数据量也越来越大。
图片的数据量越大所需要的存储成本也越高,例如,两台相同型号的手机,一台的存储空间是32G,另一台的存储空间是64G,该64G的手机往往比该32G 的手机贵几百甚至几千块钱。另外,图片的数据量越大则图片的传输成本也越大,例如,数据量较大的图片在上传网络或者从网络下载都要占用大量带宽,不仅增加了网络负担还增加了用户的流量开销。
现有技术中,为了减少图片的存储成本和传输成本,通常会对图片进行编码以减少图片的数据量,编码的方式通常是对多张图片中每张图片独立进行编码。这样做的缺陷在于,对每张图片单独编码需要生成每张图片中每个像素的信息,因此编码后的数据量虽然相较于编码前的数据量有减少,但减少量较低。
发明内容
本发明实施例公开了一种图片编码方法及终端,能够提高压缩率。
第一方面,本发明实施例提供了一种图片编码方法,该方法包括:终端根据多张图片中每张图片的参考信息将该多张图片分成N组,同组的各张图片的该参考信息满足预设的相似条件,该参考信息包括拍摄该图片时生成的用于描述该图片的特征的信息,N大于等于1;该终端对该N组图片进行编码,其中,对该N组图片中的任意一组,都执行以下步骤:该终端根据预设规则从目标组中选择第一图片,以及对该第一图片进行编码,该第一图片为该目标组中首先被编码的图片,该目标组为该N组图片中的任意一组;该终端从该目标组中为第二图片选择参考图片,该第二图片为该目标组中除该第一图片外的一张图片;该终端使用该参考图片对该第二图片做运动估计,以编码该第二图片。
通过执行上述步骤,终端根据参考信息所描述的特征对多张图片分组,具体原则是将特征相似的图片分为同一组,然后从目标组中为该目标组中的第二图片选择参考图片,由于目标组内的各个图片的特征相似,因此从该目标组中选择的参考图片与该第二图片存在较多相似之处,因此在对第二图片编码时可以结合该参考图片计算运动矢量并基于该运动矢量生成该第二图片的编码信息,使得得到的编码信息的数据量更少。因此,由本发明实施例得到的编码信息占用的存储空间更少,在网络中传输时占用的网络资源也更少。
结合第一方面,在第一方面的第一种可能的实现方式中,该图片的特征包含位置、角度和时间中至少一项,该位置为拍摄该图片的设备在拍摄该图片过程中通过定位得到的,该角度为拍摄该图片的设备在拍摄该图片过程中通过陀螺仪检测得到的,该时间为拍摄该图片的设备在拍摄该图片过程中实时记录得到的。
结合第一方面,或者第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,该终端根据预设规则从目标组中选择第一图片,包括:该终端根据目标组中每张图片的参考信息选择第一图片作为首先编码的图片,其中,该第一图片的特征满足预设的居中条件,该居中条件包括以下至少一个:在该目标组的图片中位置居中,在该目标组的图片中角度值居中以及在该目标组的图片中时间居中。
也即是说,尽量选择特征比较居中的图片作为第一图片,使得第一图片与目标组中更多的图片存在相似的部分,这样一来,该第一图片中将有较多宏块可以用于生成目标组内其他图片的运动矢量。
结合第一方面,或者第一方面的第一种可能的实现方式,或者第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,该终端从该目标组中为第二图片选择参考图片,包括:确定该目标组中除该第一图片外的每张图片的编码顺序;根据该第二图片的特征从编码顺序在该第二图片之前的图片中选择该第二图片的参考图片,该参考图片的该特征与该第二图片的该特征满足预设的筛选条件。
也即是说,选择特征与该第一图片最接近的图片作为该第一图片的参考图片,这样一来,对该第一图片编码时该第一图片中有更多的宏块可以参照该参考图片中的宏块生成运动矢量,使得该第一图片的编码信息尽可能少。
结合第一方面,或者第一方面的第一种可能的实现方式,或者第一方面的第二种可能的实现方式,或者第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,该终端使用该参考图片对该第二图片做运动估计,以编码该第二图片,包括:根据该参考图片的该参考信息和该第二图片的该参考信息确定该参考图片与该第二图片的重叠区域;在该参考图片的该重叠区域中,为该第二图片的多个宏块确定各自对应的匹配块,每个该匹配块为该参考图片的该重叠区域中与该多个宏块中的一个宏块最相似的宏块;根据该第二图片中的多个宏块和该多个宏块各自对应的匹配块计算该第二图片的多个运动矢量,以编码该第二图片。
也即是说,可以根据该参考信息来确定第一图片与参考图片的重叠部分,后面搜索匹配块时直接从该重叠部分搜索而不是从该参考图片的整个部分来搜索,提高了搜索匹配块的效率。
第二方面,本发明实施例提供一种终端,该终端包括分组单元、第一选择单元、第二选择单元和编码单元,其中,分组单元用于根据多张图片中每张图片的参考信息将该多张图片分成N组,同组的各张图片的该参考信息满足预设的相似条件,该参考信息包括拍摄该图片时生成的用于描述该图片的特征的信息,N大于等于1;该终端用于通过第一选择单元、第二选择单元和编码单元对该N组图片进行编码,在对该N组图片中的任意一组编码时,该第一选择单元用于根据预设规则从目标组中选择第一图片,以及对该第一图片进行编码,该第一图片为该目标组中首先被编码的图片,该目标组为该N组图片中的任意一组;该第二选择单元用于从该目标组中为第二图片选择参考图片,该第二图片为该目标组中除该第一图片外的一张图片;该编码单元用于使用该参考图片对该第二图片做运动估计,以编码该第二图片。
通过运行上述单元,终端根据参考信息所描述的特征对多张图片分组,具体原则是将特征相似的图片分为同一组,然后从目标组中为该目标组中的第二图片选择参考图片,由于目标组内的各个图片的特征相似,因此从该目标组中选择的参考图片与该第二图片存在较多相似之处,因此在对第二图片编码时可以结合该参考图片计算运动矢量并基于该运动矢量生成该第二图片的编码信息,使得得到的编码信息的数据量更少。因此,由本发明实施例得到的编码信息占用的存储空间更少,在网络中传输时占用的网络资源也更少。
需要说明的是,本发明实施例提供的终端包括但不限于上述第二方面中的分组单元、第一选择单元、第二选择单元和编码单元,并且上述第二方面中的分组单元、第一选择单元、第二选择单元和编码单元具有的功能包括但不限于上述描述的功能。该终端可以包括用于执行上述第一方面或其任意一种可选的实现方式所描述的图片编码方法的单元/模块,这些单元/模块是为了执行上述第一方面或其任意一种可选的实现方式所描述的图片编码方法,而对物理机进行的逻辑上的划分。
上述第二方面的技术效果的描述具体可参见上述对第一方面或其任意一种可选的实现方式的技术效果的相关描述,此处不再赘述。
第三方面,本发明实施例提供一种终端,该终端包括处理器、存储器和系统总线。存储器用于存储计算机执行指令,处理器和存储器通过系统总线相互连接,当终端运行时,处理器执行存储器存储的计算机执行指令,以使计算机执行如上述第一方面或其任意一项可选的实现方式所述的图片编码方法方法。
上述第三方面的技术效果的描述具体可参见上述对第一方面或其任意一种可选的实现方式的技术效果的相关描述,此处不再赘述。
第四方面,本发明实施例中还提供一种计算机存储介质,该存储介质可以是非易失性的,即断电后内容不丢失。该存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时可实现第一方面或上述第一方面的任意一种实现方式提供的方法。
通过实施本发明实施例,终端根据参考信息所描述的特征对多张图片分组,具体原则是将特征相似的图片分为同一组,然后从目标组中为该目标组中的第二图片选择参考图片,由于目标组内的各个图片的特征相似,因此从该目标组中选择的参考图片与该第二图片存在较多相似之处,因此在对第二图片编码时可以结合该参考图片计算运动矢量并基于该运动矢量生成该第二图片的编码信息,使得得到的编码信息的数据量更少。因此,由本发明实施例得到的编码信息占用的存储空间更少,在网络中传输时占用的网络资源也更少。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种终端的结构示意图;
图2是本发明实施例提供的一种图片编码方法的流程示意图;
图3是本发明实施例提供的一种图片分组的场景示意图;
图4是本发明实施例提供的一种从不同角度拍摄照片的场景示意图;
图5是本发明实施例提供的一种在不同位置拍摄照片的场景示意图;
图6是本发明实施例提供的又一种在不同位置拍摄照片的场景示意图;
图7是本发明实施例提供的又一种从不同角度拍摄照片的场景示意图;
图8是本发明实施例提供的一种计算机系统的结构示意图;
图9是本发明实施例提供的又一种终端的结构示意图;
图10是本发明实施例提供的又一种终端的结构示意图。
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行清楚地描述。
本发明实施例提供的编码方法主要应用于终端设备,该终端也可称之为用户设备(User Equipment,简称为“UE”)、移动台(Mobile Station,简称为“MS”)、移动终端(MobileTerminal)等,可选的,该终端可以具备经无线接入网(Radio Access Network,RAN)与一个或多个核心网进行通信的能力,例如,终端可以是移动电话(或称为“蜂窝”电话)、或具有移动性质的计算机等,例如,终端还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置。应理解的是,除了终端设备以外,本发明实施例提供的解码方法也可以应用于其他类型的计算机系统。
请参见图1,为本发明实施例应用的终端100的结构示意图。该终端100包括存储器180、处理器150以及显示设备140。存储器180存储计算机程序,该计算机程序包括操作系统程序182和应用程序181等。处理器150用于读取存储器180中的计算机程序,然后执行计算机程序定义的方法,例如处理器150 读取操作系统程序182从而在该终端100上运行操作系统以及实现操作系统的各种功能,或读取一种或多种应用程序181,从而在该终端上运行应用。
处理器150可以包括一个或多个处理器,例如,处理器150可以包括一个或多个中央处理器。当处理器150包括多个处理器时,这多个处理器可以集成在同一块芯片上,也可以各自为独立的芯片。一个处理器可以包括一个或多个处理核,以下实施例均以多核为例来介绍,但是本发明实施例提供的图片编码方法也可以应用于单核处理器。
另外,存储器180还存储有除计算机程序之外的其他数据183,其他数据 183可包括操作系统182或应用程序181被运行后产生的数据,该数据包括系统数据(例如操作系统的配置参数)和用户数据,例如终端对图片编码产生的编码信息可看作是用户数据。
存储器180一般包括内存和外存。内存可以为随机存储器(RAM),只读存储器(ROM),以及高速缓存(CACHE)等。外存可以为硬盘、光盘、USB盘、软盘或磁带机等。计算机程序通常被存储在外存上,处理器在执行处理前会将计算机程序从外存加载到内存。本发明实施例中的图片可以存储在外存上,当需要对该图片编码时,可以将该需要编码的图片先加载到内存。
操作系统程序182中包含了可实现本发明实施例提供的图片编码方法的计算机程序,从而使得处理器150读取到该操作系统程序182并运行该操作系统后,该操作系统可具备本发明实施例提供的图片编码功能。进一步的,该操作系统可以向上层的应用开放该图片编码功能的调用接口,处理器150从存储器中180中读取应用程序181并运行该应用后,该应用就可以通过该调用接口调用操作系统中提供的图片编码功能,从而实现对图片的编码。
终端100还可以包括输入设备130,用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势,以及产生与终端100的用户设置以及功能控制有关的信号输入等。具体地,本发明实施例中,该输入设备130可以包括触控面板131。触控面板131,也称为触摸屏,可收集用户在其上或附近的触摸操作 (比如用户使用手指、触笔等任何适合的物体或附件在触控面板131上或在触控面板131的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给该处理器150,并能接收处理器150发来的命令并加以执行。例如,用户在触控面板131上用手指单击某个虚拟按钮,触摸检测装置检测到此次单击带来的这个信号,然后将该信号传送给触摸控制器,触摸控制器再将这个信号转换成坐标发送给处理器150,处理器150根据该坐标和该信号的类型(单击或双击)执行图片的分组、选择、编码等操作,最后将编码结果显示在显示面板141上。
触控面板131可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了触控面板131,输入设备130还可以包括其他输入设备132,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
终端100还可以包括显示设备140,显示设备140,包括显示面板141,用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单界面等,在本发明实施例中主要用于显示图片编码后的编码结果、显示本发明实施例的图片等信息。该显示设备140可包括显示面板141,可选的,可以采用液晶显示器(英文:Liquid Crystal Display,简称:LCD)或有机发光二极管(英文:Organic Light-Emitting Diode,简称:OLED)等形式来配置显示面板141。在其他一些实施例中,触控面板131可覆盖显示面板141上,形成触摸显示屏。
除以上之外,终端100还可以包括用于给其他模块供电的电源190以及用于拍摄照片或视频的摄像头160、获取终端的地理位置的定位模块(如GPS)161、获取终端的摆放姿态(如角度、方位等)的陀螺仪162、记录时间的定时器163;其中,本发明实施例编码过程中用到的图片可以为通过该摄像头160拍摄得到的终端100还可以包括一个或多个传感器120,例如加速度传感器、光传感器等。终端100还可以包括无线射频(Radio Frequency,RF)电路110,用于与无线网络设备进行网络通信,还可以包括WiFi模块170,用于与其他设备进行WiFi 通信。
请参见图2,图2是本发明实施例提供的一种图像编码方法的流程示意图,该方法可以由上述终端10来实现,该终端100的处理器150调用存储器180中的程序,执行如下操作:
步骤S201:终端根据多张图片中每张图片的参考信息将该多张图片分成N 组。
具体地,该多张图片具体为哪些图片本发明实施例暂不作限定,可选的,该多张图片为某个指定文件夹中的图片,例如,该终端通过配置在该终端上的摄像头160拍摄的图片会存储在某个指定文件夹中,那么该多张图片指的就是该指定文件夹中的至少两张图片。本发明实施例中的每张图片均对应有参考信息,该参考信息包含拍摄该图片时生成的用于描述该图片的特征的信息,例如,该特征可以为拍摄该图片时的时间、角度、位置等信息。可以在拍摄图片的设备上配置定时器,这样该设备就可以基于该定时器生成拍摄该图片时的时间;可以在该设备上配置陀螺仪等可获取角度(或方位)的器件,这样该设备就可以通过该陀螺仪等器件获取拍摄该图片时的该设备所处的角度,此处的陀螺仪可以为陀螺方向仪,该陀螺方向仪测量到的角度可以为该陀螺方向仪的转子轴相对于预先指定的零方位所偏移的角度,此处的角度可以包括多个维度的角度。该陀螺仪还可以为速率陀螺仪,该速率陀螺仪用于测量角速度,可以对该角速度积分计算出角度。另外,可以在该设备上配置全球定位系统(英文:Global Positioning System,简称:GPS)、伽利略卫星导航系统(英文:Galileo satellite navigation system)、北斗系统(英文:Compass Navigationsatellite System)等定位器件,这样该设备就可以获取拍摄该图片时该设备所处的位置。本发明实施例中的终端可以为拍摄图片的设备,当图片由该终端以外的设备拍摄得到时,拍摄得到的图片可以通过上述无线设备电路110、WiFi模块170等通信模块来接收该其他设备拍摄后发送的图片。
该终端可以根据每张图片的参考信息对该多张图片归类,总体思想是将参考信息满足预设的相似条件的图片分为同一组,为了方便后续描述可以称分成的组为N组,N大于0,以下讲述如何评判各个图片的参考信息满足相似条件。
例如,该参考信息包括上述时间,那么两张图片的时间之差小于预先配置的时间阈值时将这两张图片归为同一组;再如,该参考信息包括上述角度,那么两张图片的角度之差小于预先配置的角度阈值时将这两张图片归为同一组;再如,该参考信息包括上述位置,那么两张图片的位置之间的距离小于预先配置的距离阈值时将这两张图片归为同一组。这样做的原因在于,如果用户拍摄两张图片的时间间隔较短,或者拍摄两张图片的时间角度较接近,或者拍摄两张图片时的位置较近,那么,这两张图片很可能是用户拍摄相同景物或者相邻景物所得到的,有较多相似内容,因此这两张图片满足该相似条件。
优选的,该参考信息包含上述时间、角度和位置,如果两张图片的位置所表示的距离之差小于预设的距离阈值,且角度之差小于预设的角度阈值,且时间之差小于预设的时间阈值,那么,则认为两张图片是用户拍摄相同或相邻景物所生成的,有较多相似内容,因此这两张图片满足该相似条件。对两张图片的时间、角度和位置分析的流程可以参照图3,在图3中,该多张图片包括图片 A~I,第一次分组是基于上述位置(location)分组,由于图片A的位置和图片B 的位置所产生的距离小于预设的距离阈值,图片C、图片D和图片E中任意两张图片的位置所产生的举例小于该距离阈值,图片F、图片G、图片H和图片I 中任意两张图片的位置所产生的举例小于该距离阈值,因此,将图片A和图片 B归为同一组,将图片C、图片D和图片E归为同一组,将图片F、图片G、图片H和图片I归为同一组。第二次分组是在第一次分组的基础上基于上述角度(direction)进一步分组,由于图片A和图片B的角度之差小于预设的角度阈值,因此在第二次分组时图片A和图片B还可以分为同一组;由于图片D和图片E的角度之差小于该角度阈值,且图片C与图片D以及与图片E之间的角度之差不小于该角度阈值,因此需要将图片C、图片D和图片E这一组分为两组,其中一组包括图片C,另一组包括图片E和图片E;由于图片F、图片G、图片H和图片I中任意两张图片的角度之差均小于该角度阈值,因此保持图片F、图片G、图片H和图片I为同一组。第三次分组是在第二次分组的基础上基于上述时间(time)进一步分组,由于图片A和图片B的时间之差小于预设的时间阈值,因此保持图片A和图片B为同一组,由于图片D和图片E的时间之差小于该时间阈值,因此保持图片 D和图片E为同一组,由于图片F、图片G、图片H和图片I中,图片F和图片G之间的时间之差小于该时间阈值,图片H和图片I直接的时间之差小于该时间阈值,其他任意两张图片之间的时间之差不小于该时间阈值,因此将图片F和图片G归为同一组,将图片H和图片I归为同一组。进过上述流程之后,图片A和图片B被划分为了同一组,图片C为一组,图片D和图片E被划分为了同一组,图片F和图片G被划分为了同一组,图片 H和图片I被划分为了同一组,对应的N等于5。需要说明的是,以上举例讲述了依次参照位置、角度和时间这三个特征对多张图片进行分组,在实际应用中,图片分组时各个特征的参照顺序还可以存在其他情况。
进一步地,该终端要对该N组图片进行编码,具体来说是对该N组图片中的任意一组都执行步骤S202、S203和S204,各个步骤的描述如下:
步骤S202:该终端根据预设规则从目标组中选择第一图片,以及对该第一图片进行编码,该第一图片为该该目标组中首先被编码的图片,该目标组为该N 组中的任意一组。
具体地,上述N组中的每组图片都需要进行编码,本发明实施例选择该N 组中的任意一组为例来进行描述,选择的这组可以称为目标组。本发明实施例划分得到的每组图片相当于现有的视频编码技术中的图像组(英文:Group of Pictures,简称:GOP),因此对目标组中的图片编码前需要确定首先编码的图片,该首先编码的图片相当于GOP中的关键帧(即I帧),在对该首先编码的图片编码时可以不参考其他图片,但是对该目标组中除该首先编码的图片外的图片编码时可能会直接或间接参考该首先编码的图片,因此该首先编码的图片比较重要,通常会预先设置规则来选择与其他大部分图片有较多重复内容的图片作为首先编码的图片,为了方便描述可以称确定的首先编码的图片为第一图片。
在一种可选的方案中,该第一图片为该目标组中拍摄时间最靠前的的图片。
在又一种可选的方案中,该终端根据预设规则从目标组中选择第一图片具体为:该终端根据目标组中每张图片的参考信息选择第一图片作为首先编码的图片,其中,该第一图片的特征满足预设的居中条件。需要说明的是,因为每张图片对应的参考信息均用来描述该图片的特征,因此可以根据通过每张图片的特征来选择首先编码的图片,具体而言是将特征满足预设的居中条件的图片作为首先编码的图片,需要说明的是,无论该特征是时间、角度、位置,还是其他信息,该特征最终都可以通过具体的数值来量化,量化后就可以计算这些特征的中位数、平均数等体现居中概念的参数,那么,这些图片中哪张图片的特征与该体现居中概念的参数最接近,则该图片可以选为该首先编码的图片。可选的,当该特征包括上述时间,可以先将每张图片按照其时间大小排序,排序居中的图片可选为首先编码的图片。可选的,该特征包括上述角度,可以先将每张图片按照其角度大小排序,排序居中的图片可选为首先编码的图片,如图4所示,用户分别通过终端向角度A拍摄了图片A1,向角度B拍摄了图片 B1,以及向角度C拍摄了图片C1,从角度大小来看,角度B的大小介于角度A和角度C之间,因此将向角度B拍摄的图片B1选为首先编码的图片。可选的,该特征包括上述位置,可以先将每张图片的位置的经度大小排序,排序居中的经度为目标经度,将每张图片的位置的纬度大小排序,排序居中的纬度为目标纬度,目标纬度和目标精度所指示的位置为目标位置,那张图片的位置距离该目标位置最近则将该图片选为首先编码的图片,如图5所示,用户分别通过终端在位置A拍摄了图片A2,在位置B拍摄了图片B2,以及在位置C拍摄了图片C2,位置B距离目标位置的最近,因此将在位置B拍摄的图片B2选为首先编码的图片。
为了方便描述,可以称选择的首先编码的图片为第一图片。
步骤S203:该终端从该目标组中为第二图选择参考图片,该第二图片为该目标组中除该第一图片外的一张图片。
具体地,该目标组中除该第一图片外的每张图片均满足该第二图片的特征,选择的参考图片也是来自该目标组,在一种可选的方案中,该终端首先确定该目标组中除该第一图片外的每张图片的编码顺序,可以使特征与该第一图片的特征越接近的图片的排序越靠近该第一图片,因为特征与该第一图片的特征越接近的图片与其他图片存在重复内容的可能性越大,后续该其他编码图片可以参照该排序靠前的图片进行编码;也可以直接以图片的拍摄的时间先后顺序对目标组中除该第一图片外的每张图片的编码顺序。确定好编码顺序后再从编码顺序在该第二图片之前的图片中选择该第二图片的参考图片,该参考图片的该特征与该第二图片的该特征满足预设的筛选条件,可选的,为该第二图片选择参考图片时,会选择特征与该第二图片的特征最相似的图片作为该某张图片的参考图片。例如,该特征具体为时间且该筛选条件是指时间之差最小;再如,该特征具体为角度且该筛选条件是指角度之差最小;再如,特征具体为位置且该筛选条件是指两位置之间的距离最小;其余以此类推。
步骤S204:该终端使用该参考图片对该第二图片做运动估计,以编码该第二图片。
具体地,该终端对该目标组中的第一图片编码可以不参照其他图片,但是对该目标组中其他图片编码需要参照该其他图片的参考图片编码,假设某张图片A4的参考图片为图片B4,图片A4包括宏块x1、x2和x3,图片B4包括宏块y1、y2和y3,其中,在这些宏块中宏块x1和宏块y3最相似(即宏块y3为宏块x1的匹配块),那么参照图片B4对图片A4编码时,可以对宏块x2和宏块 x3中每个像素点计算得到编码信息,对宏块x1做运动估计以计算宏块x1到宏块y3的运动矢量,并根据该运动矢量以及宏块x1与宏块y3之间的残差得到宏块x1的编码信息,而不是对宏块x1中每个像素点进行计算得到编码信息,使得得到的编码信息的数据量更少;可以理解的是,宏块的匹配块可以通过块匹配算法计算得到。
在一种可选的方案中,该终端使用该参考图片对该第二图片做运动估计,以编码该第二图片,具体为:根据该参考图片的该参考信息和该第二图片的该参考信息确定该参考图片与该第二图片的重叠区域;在该参考图片的该重叠区域中,为该第二图片的多个宏块确定各自对应的匹配块,每个该匹配块为该参考图片的该重叠区域中与该多个宏块中的一个宏块最相似的宏块;根据该第二图片中的多个宏块和该多个宏块各自对应的匹配块计算该第二图片的多个运动矢量,以编码该第二图片。也即是说,如果要对第二图片编码,则根据该第二图片的参考信息和该第二图片的参考图片的参考信息确定该第二图片与该参考图片的重叠区域,该第二图片上的该重叠区域与该参考图片的该重叠区域中的信息基本相同,因此,对该第二图片中某个宏块编码时,从该参考图片的该重叠区域中搜索到该宏块的匹配块的概率比较大,因此,将搜索该宏块的匹配块的范围限定到该重叠区域而不是该参考图片的所有区域,提高了搜索匹配块的效率,以下举例来说明。
可选的,该参考信息包含上述位置的信息,如图6,终端在位置A拍摄到了图片A1,在位置B拍摄到了图片B1,并且终端在这两个位置拍摄时摄像头所对的方向相同,因此根据这两个位置得到这两个位置之间的距离d,从而根据该距离d计算图片A1和图片B1重叠区域的长度s,进而得到重叠区域。
可选的,该参考信息包含上述位置的信息,如图7,终端向角度A拍摄到了图片A2,向角度B拍摄到了图片B2,并且终端向这两个角度拍摄时的位置相同,因此根据这两个角度得到这两个角度的角度差α,从而根据该角度差α计算图片A2和图片B2重叠区域的长度s,进而得到重叠区域。
在图2所描述的方法中,终端根据参考信息所描述的特征对多张图片分组,具体原则是将特征相似的图片分为同一组,然后从目标组中为该目标组中的第二图片选择参考图片,由于目标组内的各个图片的特征相似,因此从该目标组中选择的参考图片与该第二图片存在较多相似之处,因此在对第二图片编码时可以结合该参考图片计算运动矢量并基于该运动矢量生成该第二图片的编码信息,使得得到的编码信息的数据量更少。因此,由本发明实施例得到的编码信息占用的存储空间更少,在网络中传输时占用的网络资源也更少。
以上主要介绍了本发明实施例提供的方法的具体流程,下面结合图8以 Android操作系统为例,介绍本发明实施例提供的方法的实现位置和运行时状态,更具体的方法流程可参考前述实施例所述。
请参阅图8,为本发明实施例提供的终端800的结构示意图。该终端800可以本发明实施例的设备。该终端800包括应用层810和操作系统层850,该操作系统可以为Android操作系统。操作系统层850又分为框架层820、核心库层830 和驱动层840。其中,图8中的操作系统层850可以认为是图1中操作系统182 的一种具体实现,图8中的应用层810可以认为是图1中应用程序181的一种具体实现。驱动层840包括CPU驱动841、GPU驱动842、显示控制器驱动843、定位模块驱动844、陀螺仪驱动845和定时器驱动846等。核心库层830是操作系统的核心部分,包括输入/输出服务831、核心服务832、媒体服务834等,该媒体服务843中包含JPEG格式的图片库1、PNG格式的图片库2以及其他格式的图片库,该媒体服务843还包括算法库,该算法库用于存储本发明中与图片处理相关的算法,例如,选择第一图片的算法,选择参考图片的算法等。框架层820可包括图形服务(Graphic Service)824、系统服务(System service)821、网页服务(Web Service)822和用户服务(Customer Service)823等;图形服务 824中,可包括如图像编码Codec、视频编码Codec以及音频编码Codec等,本发明方案应用到了该图像编码。应用层810可包括图库811、媒体播放器(Media Player)812以及浏览器(Browser)813等。
另外,在驱动层840之下,该计算机系统800还包括硬件层850。该计算机系统800的硬件层可以包括中央处理器(Central Processing Unit,CPU)851和图形处理器(GraphicProcessing Unit,GPU)852(相当于图1中的处理器150的一种具体实现),还可以包括存储器853(相当于图1中的存储器180),包括内存和外存,还可以包括定位模块854(相当于图1中的定位模块161)、陀螺仪855 (相当于图1中的显示设备162),还可以包括定时器856(相当于图1中的定时器163),还可以包括一个或多个传感器,(相当于图1中的传感器120)。当然除此之外,硬件层850还可以包括图1中示出的电源、摄像头、RF电路和WiFi 模块,还可以包括图1中也没有示出的其他硬件模块,例如内存控制器和显示控制器等。
上述详细阐述了本发明实施例的方法,为了便于更好地实施本发明实施例的上述方案,相应地,下面提供了本发明实施例的装置。
请参见图9,图9是本发明实施例提供的一种终端90的结构示意图,该终端90可以包括分组单元901、第一选择单元902、第二选择单元903和编码单元904,其中,分组单元901用于根据多张图片中每张图片的参考信息将该多张图片分成N组,同组的各张图片的该参考信息满足预设的相似条件,该参考信息包括拍摄该图片时生成的用于描述该图片的特征的信息,N大于等于1;该终端用于通过第一选择单元、第二选择单元和编码单元对该N组图片进行编码,在对该N组图片中的任意一组编码时,该第一选择单元902用于根据预设规则从目标组中选择第一图片,以及对该第一图片进行编码,该第一图片为该目标组中首先被编码的图片,该目标组为该N组图片中的任意一组;该第二选择单元903用于从该目标组中为第二图片选择参考图片,该第二图片为该目标组中除该第一图片外的一张图片;该编码单元904用于使用该参考图片对该第二图片做运动估计,以编码该第二图片。
通过运行上述单元,终端90根据参考信息所描述的特征对多张图片分组,具体原则是将特征相似的图片分为同一组,然后从目标组中为该目标组中的第二图片选择参考图片,由于目标组内的各个图片的特征相似,因此从该目标组中选择的参考图片与该第二图片存在较多相似之处,因此在对第二图片编码时可以结合该参考图片计算运动矢量并基于该运动矢量生成该第二图片的编码信息,使得得到的编码信息的数据量更少。因此,由本发明实施例得到的编码信息占用的存储空间更少,在网络中传输时占用的网络资源也更少。
在一种可选的方案中,该图片的特征包含位置、角度和时间中至少一项,该位置为拍摄该图片的设备在拍摄该图片过程中通过定位得到的,该角度为拍摄该图片的设备在拍摄该图片过程中通过陀螺仪检测得到的,该时间为拍摄该图片的设备在拍摄该图片过程中实时记录得到的。当然,该特征还可以为其他信息。
在又一种可选的方案中,该第一选择单元902具体用于根据目标组中每张图片的参考信息选择第一图片作为首先编码的图片,其中,该第一图片的特征满足预设的居中条件,该居中条件包括以下至少一个:在该目标组的图片中位置居中,在该目标组的图片中角度值居中以及在该目标组的图片中时间居中。
也即是说,尽量选择特征比较适中的图片作为第一图片,使得第一图片与目标组中更多的图片存在相似的部分,这样一来,该第一图片中将有较多宏块可以用于生成目标组内其他图片的运动矢量。
在又一种可选的方案中,该第二选择单元903具体用于确定该目标组中除该第一图片外的每张图片的编码顺序;根据该第二图片的特征从编码顺序在该第二图片之前的图片中选择该第二图片的参考图片,该参考图片的该特征与该第二图片的该特征满足预设的筛选条件。
也即是说,选择特征与该第一图片最接近的图片作为该第一图片的参考图片,这样一来,对该第一图片编码时该第一图片中有更多的宏块可以参照该参考图片中的宏块生成运动矢量,使得该第一图片的编码信息尽可能少。
在又一种可选的方案中,该编码单元904具体用于根据该参考图片的该参考信息和该第二图片的该参考信息确定该参考图片与该第二图片的重叠区域;在该参考图片的该重叠区域中,为该第二图片的多个宏块确定各自对应的匹配块,每个该匹配块为该参考图片的该重叠区域中与该多个宏块中的一个宏块最相似的宏块;根据该第二图片中的多个宏块和该多个宏块各自对应的匹配块计算该第二图片的多个运动矢量,以编码该第二图片。
也即是说,可以根据该参考信息来确定第一图片与参考图片的重叠部分,后面搜索匹配块时直接从该重叠部分搜索而不是从该参考图片的整个部分来搜索,提高了搜索匹配块的效率。
在本发明实施例中各个单元的具体实现还可以对应参照图2所示的方法实施例的相应描述。
在图9所描述的终端90中,终端90根据参考信息所描述的特征对多张图片分组,具体原则是将特征相似的图片分为同一组,然后从目标组中为该目标组中的第二图片选择参考图片,由于目标组内的各个图片的特征相似,因此从该目标组中选择的参考图片与该第二图片存在较多相似之处,因此在对第二图片编码时可以结合该参考图片计算运动矢量并基于该运动矢量生成该第二图片的编码信息,使得得到的编码信息的数据量更少。因此,由本发明实施例得到的编码信息占用的存储空间更少,在网络中传输时占用的网络资源也更少。
图10描述了本发明实施例提供的一种终端100的结构,该终端100包括:至少一个处理器1001,存储器1002,至少一个网络接口1003或者其他用户接口1004,至少一个通信总线605。通信总线605用于实现这些组件之间的连接通信。该终端100可选的包含用户接口1003,包括显示器(例如,触摸屏、LCD、 CRT、全息成像(Holographic)或者投影(Projector)等),键盘或者点击设备 (例如,鼠标,轨迹球(trackball),触感板或者触摸屏等)。
存储器1002可以包括只读存储器和随机存取存储器,并向处理器1001提供指令和数据。存储器1002的一部分还可以包括非易失性随机存取存储器 (NVRAM)。
在一些实施方式中,存储器1002存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:
操作系统10021,包含各种系统程序,例如图8所示的框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。
应用程序模块10022,包含各种应用程序,例如图8所示的图库、媒体播放器(MediaPlayer)、浏览器(Browser)等,用于实现各种应用业务。
在本发明实施例中,通过调用存储器1002存储的程序或指令,处理器1001 用于根据多张图片中每张图片的参考信息将该多张图片分成N组,同组的各张图片的该参考信息满足预设的相似条件,该参考信息包括拍摄该图片时生成的用于描述该图片的特征的信息,N大于等于1;
该处理器1001对该N组图片进行编码,其中,对该N组图片中的任意一组,都执行以下操作:根据预设规则从目标组中选择第一图片,以及对该第一图片进行编码,该第一图片为该目标组中首先被编码的图片,该目标组为该N 组图片中的任意一组;从该目标组中为第二图片选择参考图片,该第二图片为该目标组中除该第一图片外的一张图片;使用该参考图片对该第二图片做运动估计,以编码该第二图片。
通过执行上述操作,终端根据参考信息将多张图片分组,在对目标组内的图片编码前先从该目标组中选择第一图片作为首先编码的图片,然后为除第一图片外的每张图片选择参考图片,在对除该第一图片外的某个图片编码时,结合该某个图片的参考图片计算运动矢量,并基于该运动矢量生成该某个图片的编码信息,使得得到的编码信息的数据量更少。因此,由本发明实施例得到的编码信息占用的存储空间更少,在网络中传输时占用的网络资源也更少。
在一种可选的方案中,该图片的特征包含位置、角度和时间中至少一项,该位置为拍摄该图片的设备在拍摄该图片过程中通过定位得到的,该角度为拍摄该图片的设备在拍摄该图片过程中通过陀螺仪检测得到的,该时间为拍摄该图片的设备在拍摄该图片过程中实时记录得到的。
在又一种可选的方案中,该处理器1001根据预设规则从目标组中选择第一图片,具体为:根据目标组中每张图片的参考信息选择第一图片作为首先编码的图片,其中,该第一图片的特征满足预设的居中条件,该居中条件包括以下至少一个:在该目标组的图片中位置居中,在该目标组的图片中角度值居中以及在该目标组的图片中时间居中。
也即是说,尽量选择特征比较适中的图片作为第一图片,使得第一图片与目标组中更多的图片存在相似的部分,这样一来,该第一图片中将有较多宏块可以用于生成目标组内其他图片的运动矢量。
在又一种可选的方案中,该处理器1001从该目标组中为第二图片选择参考图片,具体为:确定该目标组中除该第一图片外的每张图片的编码顺序;根据该第二图片的特征从编码顺序在该第二图片之前的图片中选择该第二图片的参考图片,该参考图片的该特征与该第二图片的该特征满足预设的筛选条件。
也即是说,选择特征与该第一图片最接近的图片作为该第一图片的参考图片,这样一来,对该第一图片编码时该第一图片中有更多的宏块可以参照该参考图片中的宏块生成运动矢量,使得该第一图片的编码信息尽可能少。
在又一种可选的方案中,该处理器1001使用该参考图片对该第二图片做运动估计,以编码该第二图片,具体为:根据该参考图片的该参考信息和该第二图片的该参考信息确定该参考图片与该第二图片的重叠区域;在该参考图片的该重叠区域中,为该第二图片的多个宏块确定各自对应的匹配块,每个该匹配块为该参考图片的该重叠区域中与该多个宏块中的一个宏块最相似的宏块;根据该第二图片中的多个宏块和该多个宏块各自对应的匹配块计算该第二图片的多个运动矢量,以编码该第二图片。
也即是说,可以根据该参考信息来确定第一图片与参考图片的重叠部分,后面搜索匹配块时直接从该重叠部分搜索而不是从该参考图片的整个部分来搜索,提高了搜索匹配块的效率。
在本发明实施例中各个单元的具体实现还可以对应参照图2所示的方法实施例的相应描述。
在图10所描述的终端100中,终端100根据参考信息所描述的特征对多张图片分组,具体原则是将特征相似的图片分为同一组,然后从目标组中为该目标组中的第二图片选择参考图片,由于目标组内的各个图片的特征相似,因此从该目标组中选择的参考图片与该第二图片存在较多相似之处,因此在对第二图片编码时可以结合该参考图片计算运动矢量并基于该运动矢量生成该第二图片的编码信息,使得得到的编码信息的数据量更少。因此,由本发明实施例得到的编码信息占用的存储空间更少,在网络中传输时占用的网络资源也更少。
综上所述,通过实施本发明实施例,终端根据参考信息所描述的特征对多张图片分组,具体原则是将特征相似的图片分为同一组,然后从目标组中为该目标组中的第二图片选择参考图片,由于目标组内的各个图片的特征相似,因此从该目标组中选择的参考图片与该第二图片存在较多相似之处,因此在对第二图片编码时可以结合该参考图片计算运动矢量并基于该运动矢量生成该第二图片的编码信息,使得得到的编码信息的数据量更少。因此,由本发明实施例得到的编码信息占用的存储空间更少,在网络中传输时占用的网络资源也更少。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅揭露了本发明中较佳实施例,不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (9)

1.一种图片编码方法,其特征在于,包括:
终端根据多张图片中每张图片的参考信息将所述多张图片分成N组,同组的各张图片的所述参考信息满足预设的相似条件,所述参考信息包括拍摄所述图片时生成的用于描述所述图片的特征的信息,所述特征包括拍摄所述图片的角度,N大于等于1;
所述终端对所述N组图片进行编码,其中,对所述N组图片中的任意一组,都执行以下步骤:
所述终端根据预设规则从目标组中选择第一图片,以及对所述第一图片进行编码,所述第一图片为所述目标组中首先被编码的图片,所述目标组为所述N组图片中的任意一组;
所述终端从所述目标组中为第二图片选择参考图片,所述第二图片为所述目标组中除所述第一图片外的一张图片;
所述终端使用所述参考图片对所述第二图片做运动估计,以编码所述第二图片;
所述终端根据预设规则从目标组中选择第一图片,包括:
所述终端根据目标组中每张图片的参考信息选择第一图片作为首先编码的图片,其中,所述第一图片满足在所述目标组的图片中拍摄角度值居中的条件。
2.根据权利要求1所述的方法,其特征在于,所述图片的特征进一步包含位置和时间中至少一项,所述位置为拍摄所述图片的设备在拍摄所述图片过程中通过定位得到的,所述角度为拍摄所述图片的设备在拍摄所述图片过程中通过陀螺仪检测得到的,所述时间为拍摄所述图片的设备在拍摄所述图片过程中实时记录得到的。
3.根据权利要求1或2所述的方法,其特征在于,所述终端从所述目标组中为第二图片选择参考图片,包括:
确定所述目标组中除所述第一图片外的每张图片的编码顺序;
根据所述第二图片的特征从编码顺序在所述第二图片之前的图片中选择所述第二图片的参考图片,所述参考图片的所述特征与所述第二图片的所述特征满足预设的筛选条件。
4.根据权利要求1或2所述的方法,其特征在于,所述终端使用所述参考图片对所述第二图片做运动估计,以编码所述第二图片,包括:
根据所述参考图片的所述参考信息和所述第二图片的所述参考信息确定所述参考图片与所述第二图片的重叠区域;
在所述参考图片的所述重叠区域中,为所述第二图片的多个宏块确定各自对应的匹配块,每个所述匹配块为所述参考图片的所述重叠区域中与所述多个宏块中的一个宏块最相似的宏块;
根据所述第二图片中的多个宏块和所述多个宏块各自对应的匹配块计算所述第二图片的多个运动矢量,以编码所述第二图片。
5.一种终端,其特征在于,包括:
分组单元,用于根据多张图片中每张图片的参考信息将所述多张图片分成N组,同组的各张图片的所述参考信息满足预设的相似条件,所述参考信息包括拍摄所述图片时生成的用于描述所述图片的特征的信息,所述特征包括拍摄所述图片的角度,N大于等于1;
所述终端用于通过第一选择单元、第二选择单元和编码单元对所述N组图片进行编码,在对所述N组图片中的任意一组编码时,
所述第一选择单元,用于根据预设规则从目标组中选择第一图片,以及对所述第一图片进行编码,所述第一图片为所述目标组中首先被编码的图片,所述目标组为所述N组图片中的任意一组;
所述第二选择单元,用于从所述目标组中为第二图片选择参考图片,所述第二图片为所述目标组中除所述第一图片外的一张图片;
所述编码单元,用于使用所述参考图片对所述第二图片做运动估计,以编码所述第二图片;
所述第一选择单元具体用于根据目标组中每张图片的参考信息选择第一图片作为首先编码的图片,其中,所述第一图片满足在所述目标组的图片中拍摄角度值居中的条件。
6.根据权利要求5所述的终端,其特征在于,所述图片的特征进一步包含位置和时间中至少一项,所述位置为拍摄所述图片的设备在拍摄所述图片过程中通过定位得到的,所述角度为拍摄所述图片的设备在拍摄所述图片过程中通过陀螺仪检测得到的,所述时间为拍摄所述图片的设备在拍摄所述图片过程中实时记录得到的。
7.根据权利要求5或6所述的终端,其特征在于,所述第二选择单元具体用于确定所述目标组中除所述第一图片外的每张图片的编码顺序;根据所述第二图片的特征从编码顺序在所述第二图片之前的图片中选择所述第二图片的参考图片,所述参考图片的所述特征与所述第二图片的所述特征满足预设的筛选条件。
8.根据权利要求5或6所述的终端,其特征在于,所述编码单元具体用于根据所述参考图片的所述参考信息和所述第二图片的所述参考信息确定所述参考图片与所述第二图片的重叠区域;在所述参考图片的所述重叠区域中,为所述第二图片的多个宏块确定各自对应的匹配块,每个所述匹配块为所述参考图片的所述重叠区域中与所述多个宏块中的一个宏块最相似的宏块;根据所述第二图片中的多个宏块和所述多个宏块各自对应的匹配块计算所述第二图片的多个运动矢量,以编码所述第二图片。
9.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器用于存储程序,所述处理器调用所述存储器中存储的程序,用于执行权利要求1~4任一项所述的图片编码方法。
CN201610851341.9A 2016-09-26 2016-09-26 一种图片编码方法及终端 Active CN107872671B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610851341.9A CN107872671B (zh) 2016-09-26 2016-09-26 一种图片编码方法及终端
EP17852186.0A EP3506635B1 (en) 2016-09-26 2017-06-24 Picture encoding method and terminal
PCT/CN2017/089888 WO2018054114A1 (zh) 2016-09-26 2017-06-24 一种图片编码方法及终端
US16/361,000 US10887586B2 (en) 2016-09-26 2019-03-21 Picture encoding method and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610851341.9A CN107872671B (zh) 2016-09-26 2016-09-26 一种图片编码方法及终端

Publications (2)

Publication Number Publication Date
CN107872671A CN107872671A (zh) 2018-04-03
CN107872671B true CN107872671B (zh) 2022-01-14

Family

ID=61690136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610851341.9A Active CN107872671B (zh) 2016-09-26 2016-09-26 一种图片编码方法及终端

Country Status (4)

Country Link
US (1) US10887586B2 (zh)
EP (1) EP3506635B1 (zh)
CN (1) CN107872671B (zh)
WO (1) WO2018054114A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049326B (zh) * 2019-05-28 2022-06-28 广州酷狗计算机科技有限公司 视频编码方法及装置、存储介质
CN110177275B (zh) * 2019-05-30 2022-09-30 广州酷狗计算机科技有限公司 视频编码方法及装置、存储介质
CN113362233B (zh) * 2020-03-03 2023-08-29 浙江宇视科技有限公司 图片处理方法、装置、设备、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000060847A1 (en) * 1999-03-30 2000-10-12 Koninklijke Philips Electronics N.V. Image compression
CN101420594A (zh) * 2007-10-26 2009-04-29 三星电子株式会社 将视频图像划分为构成区域的设备和方法
CN101521747A (zh) * 2008-02-29 2009-09-02 卡西欧计算机株式会社 具有用于拍摄摇摄图像的摇摄模式的摄像装置
CN101594537A (zh) * 2009-06-04 2009-12-02 京北方科技股份有限公司 海量图像数据压缩方法
CN101980536A (zh) * 2010-10-21 2011-02-23 北京航空航天大学 一种基于对象和分形的多目立体视频压缩编解码方法
CN102047674A (zh) * 2009-04-08 2011-05-04 索尼公司 记录设备、记录方法、重放设备、重放方法、程序和记录介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160848A (en) * 1998-01-22 2000-12-12 International Business Machines Corp. Conditional replenishment device for a video encoder
JP4702928B2 (ja) * 2004-03-12 2011-06-15 キヤノン株式会社 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
EP2512139B1 (en) * 2006-10-30 2013-09-11 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
JP2009272706A (ja) * 2008-04-30 2009-11-19 Toshiba Corp 動画像トランスコード装置およびその方法
US8837602B2 (en) * 2008-05-22 2014-09-16 Telefonaktiebolaget L.M. Ericsson (Publ) Content adaptive video encoder and coding method
US8780986B2 (en) * 2008-06-06 2014-07-15 Apple Inc. Refresh pixel group selection and coding adjustment
EP2308233A4 (en) * 2008-06-06 2012-10-24 Agency Science Tech & Res METHOD AND ARRANGEMENTS FOR ESTIMATING THE MOVEMENT IN SEVERAL INDIVIDUAL IMAGES
US8855205B2 (en) * 2010-05-26 2014-10-07 Newratek Inc. Method of predicting motion vectors in video codec in which multiple references are allowed, and motion vector encoding/decoding apparatus using the same
US8655085B2 (en) 2010-10-28 2014-02-18 Microsoft Corporation Burst mode image compression and decompression
JP5706264B2 (ja) * 2011-08-01 2015-04-22 日本電信電話株式会社 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラムおよび画像復号プログラム
US9154805B2 (en) 2012-09-12 2015-10-06 Advanced Micro Devices, Inc. Video and image compression based on position of the image generating device
US9020282B2 (en) * 2012-12-28 2015-04-28 Intel Corporation Coder based partial image storage and retrieval
US10068334B2 (en) * 2013-05-29 2018-09-04 Capsovision Inc Reconstruction of images from an in vivo multi-camera capsule
US10853407B2 (en) * 2013-09-05 2020-12-01 Ebay, Inc. Correlating image annotations with foreground features
US20150350653A1 (en) 2014-05-28 2015-12-03 Apple Inc. Image compression based on device orientation and location information
JP5846268B1 (ja) * 2014-08-12 2016-01-20 株式会社リコー 画像処理システム、画像処理装置、プログラムおよび撮像システム
CN105007412A (zh) 2015-07-02 2015-10-28 成都亿邻通科技有限公司 移动终端的照片存储方法
JP6379186B2 (ja) * 2016-02-17 2018-08-22 テレフオンアクチーボラゲット エルエム エリクソン(パブル) ビデオピクチャを符号化および復号する方法および装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000060847A1 (en) * 1999-03-30 2000-10-12 Koninklijke Philips Electronics N.V. Image compression
CN101420594A (zh) * 2007-10-26 2009-04-29 三星电子株式会社 将视频图像划分为构成区域的设备和方法
CN101521747A (zh) * 2008-02-29 2009-09-02 卡西欧计算机株式会社 具有用于拍摄摇摄图像的摇摄模式的摄像装置
CN102047674A (zh) * 2009-04-08 2011-05-04 索尼公司 记录设备、记录方法、重放设备、重放方法、程序和记录介质
CN101594537A (zh) * 2009-06-04 2009-12-02 京北方科技股份有限公司 海量图像数据压缩方法
CN101980536A (zh) * 2010-10-21 2011-02-23 北京航空航天大学 一种基于对象和分形的多目立体视频压缩编解码方法

Also Published As

Publication number Publication date
US20190222836A1 (en) 2019-07-18
CN107872671A (zh) 2018-04-03
EP3506635A1 (en) 2019-07-03
EP3506635B1 (en) 2024-01-24
WO2018054114A1 (zh) 2018-03-29
EP3506635A4 (en) 2019-07-03
US10887586B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
KR102362066B1 (ko) 포인트 클라우드 기하학적 압축
US11276183B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
US9607388B2 (en) System and method of pose estimation
CN110134804B (zh) 图像检索方法、装置及存储介质
CN103812931A (zh) 一种用户信息共享方法、装置及系统
US10887586B2 (en) Picture encoding method and terminal
CN111603772A (zh) 区域检测方法、装置、设备及存储介质
CN112053360B (zh) 图像分割方法、装置、计算机设备及存储介质
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
WO2021088497A1 (zh) 虚拟物体显示方法、全局地图更新方法以及设备
CN110728167A (zh) 文本检测方法、装置及计算机可读存储介质
CN115053516A (zh) 存储图像的电子装置和方法
JP2024521375A (ja) 3dマップを取り出すための方法及び装置
CN111061918B (zh) 图数据的处理方法、装置及存储介质
Liu et al. Fast camera motion estimation for hand-held devices and applications
US11262856B2 (en) Interaction method, device and equipment for operable object
EP4344200A1 (en) Methods and apparatus for encoding and decoding 3d map
WO2022252237A1 (zh) 3d地图的编解码方法及装置
CN111068333B (zh) 基于视频的载具异常状态检测方法、装置、设备及介质
KR102575743B1 (ko) 이미지 번역 방법 및 시스템
CN115690269A (zh) 一种视图对象的处理方法及电子设备
CN117991967A (zh) 虚拟键盘交互方法、装置、设备、存储介质和程序产品
CN115811615A (zh) 屏幕视频的编码方法、装置、计算机设备及存储介质
JP2024522154A (ja) 3次元マップ圧縮方法および装置、並びに、3次元マップ復元方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant