CN114697676A - 用于在图像中嵌入关键信息的方法和装置 - Google Patents
用于在图像中嵌入关键信息的方法和装置 Download PDFInfo
- Publication number
- CN114697676A CN114697676A CN202210363030.3A CN202210363030A CN114697676A CN 114697676 A CN114697676 A CN 114697676A CN 202210363030 A CN202210363030 A CN 202210363030A CN 114697676 A CN114697676 A CN 114697676A
- Authority
- CN
- China
- Prior art keywords
- range
- image
- values
- value
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013139 quantization Methods 0.000 claims description 21
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种用于在图像中嵌入关键信息的方法,所述方法包括:在图像中用于存储有用数据的2N个值的预定范围内保留DMZ个值的范围,所保留的范围用于存储与图像中的至少一个坐标相关联的关键信息,其中N>0且DMZ<<2N。
Description
本申请是申请日为2017年12月11日、申请号为201780079880.8的中国专利申请“用于在图像中嵌入关键信息的方法和装置”的分案申请。
技术领域
本公开的领域是图像和视频处理领域。
更具体地,本公开涉及一种用于在图像中嵌入关键信息的方法,以便优化该图像的解码。
背景技术
本部分是旨在向读者介绍可能与下文所述的和/或所要求保护的本公开的各个方面相关的技术的各方面。相信本讨论有助于向读者提供背景信息,以便于更好地理解本发明的各个方面。因此,应当理解:这些陈述应按这种方式解读,而不是作为对现有技术的承认。
在图像编码和解码领域,解码侧需要知道/了解一些信息,以优化对图像的解码。例如,当图像中的某些区域(例如,颜色图或距离图,如图1a中所示)包含不应被解码的未定义值时,存在例如产生异常值的风险。
那么用于“通知”解码器的已知解决方案主要在于发送是否应当对值进行解码的信息,作为附加二进制图,即“关键图”(例如图1b中所示,对应于图1a的颜色图和距离图),其例如仅包含定义值,并因此将消除解码侧的任务的歧义。然而,通过添加额外的流,发送这样的附加图可能使全局框架更复杂,这也可能非常显著地增加最终比特率。
也众所周知的是,在图像中保留值,以便嵌入解码侧所需的关键信息。然而,这种解决方案的缺点是该特定的保留值可能受到视频编码步骤修改,并且在解码侧误解相关信息。
因此,需要一种用于在图像中嵌入关键信息,同时优化编码和解码的复杂度以及用于图像传输的最终比特率的新方法。
发明内容
说明书中对“一个实施例”、“实施例”、“示例实施例”、“具体实施例”的参考指示所描述的实施例可以包括特定特征、结构或特性,但是每个实施例可以不必包括所述特定特征、结构或特性。此外,这种短语不必参考同一实施例。此外,当结合实施例来描述具体特征、结构或特性时,应认为结合其他实施例(不管是否是显式描述的)来实现这种特征、结构或特性是在本领域技术人员的知识内的。
本公开涉及一种用于在图像中嵌入关键信息的方法,所述方法包括:在图像中用于存储有用数据的2N个值的预定范围内保留DMZ个值的范围,所保留的范围用于存储与图像中的至少一个坐标相关联的关键信息,其中N>0并且DMZ<<2N。
因此,本公开提出了一种用于以鲁棒且紧凑的方式在图像中嵌入关键信息的新颖且富于创造性的解决方案,以便优化所述图像的解码。
为此,提出了将关键信息存储在图像中用于存储有用数据的预定值范围内保留的值范围内。因此,缩短了用于有用数据的预定值范围,以便存储关键信息。
该解决方案首先防止发送用于嵌入关键信息的附加图像,如在已知解决方案中那样。此外,该解决方案还防止简单地为关键信息保留预定值,该预定值可能通过编码步骤被修改并因此可能在解码侧被误解。
例如,该解决方案可以利用关于要存储的有用数据的超大预定值范围。
根据具体特征,该方法还包括对图像进行编码,并且根据在编码中应用的视频压缩的级别来更新保留范围的大小DMZ。
因此,根据该实施例,可以根据将用于编码图像的视频压缩的级别来更新保留范围的大小。因此,这种自适应大小允许考虑到编码伪像(编码误差),并最小化关键信息的嵌入对允许存储有用数据的动态的影响。
根据具体特征,根据图像的至少一个特性来更新保留范围的大小DMZ。
因此,根据该实施例,还可以根据图像本身来更新保留范围的大小,例如根据存储有用数据(例如,具有近距离对象和远距离对象的图像,或者仅仅是近距离对象,或仅仅是远距离对象)所需的真实动态。
根据具体特征,该方法还包括:对于图像中的至少一个坐标,
·如果无有用数据与坐标相关联,则在保留区域中存储关键信息,
·如果有用数据与坐标相关联:
ο将修正量化应用于有用数据以提供经修正的有用数据,所述修正量化考虑到保留范围,并且
ο在除保留范围之外的预定值范围内存储经修正的有用数据。
因此,根据该实施例,如果无有用数据与图像中的位置/坐标相关联(例如,对于对应点云中的未使用点),则将关键信息存储在保留范围中,而将(通过修正量化)修正的有用数据存储在预定范围的其余部分中(除保留范围外)。
因此,在解码侧,如果所接收的值属于保留范围,则丢弃对应点并将其视为未使用。
例如,图像对应于在表示多媒体内容中的对象的至少一部分的点云的参数表面上投影之后所获得的距离图;对于点云中与图像中的一个坐标相对应的至少一个点,有用数据对应于表示对象的至少一部分与参数表面之间的距离的信息;关键信息表示未使用点,并且保留范围对应于2N个值的预定范围中的前DMZ个值,大小DMZ是自适应的。
因此,根据该实施例,该方法应用于与多媒体内容(例如,视频内容)的图像(或图像中的对象或对象的一部分)相对应的距离图,其中存储了与图像中的每个位置的距离值相对应的有用数据。
实际上,在这样的上下文中,似乎在距离图中的某些位置/坐标处不存在有用值(例如,如果没有发生投影),从而导致不必被解码的“未使用”点。这些未使用点应在解码侧是知道的,以便被丢弃。为此,在距离值范围的开头处保留的值范围被用于嵌入与这种未使用点相对应的关键信息。
根据该实施例,该方法利用了以下事实:距离图值的范围通常(即,在多媒体内容的大多数情况下)相对于要存储的距离值过大。因此,为关键信息保留该预定值范围的一部分不是有害的。此外,由于距离值通常表示为距离的限幅反向函数,以提供更多动态并利于近距离,因此保留范围值的开头仍然不那么有害,因为前面的值用于非常远的对象。
最后,保留范围的大小是自适应的,以便利用例如要编码的图像的特殊性。
根据具体实施例,关键信息被设置为值Vk=0,并且经修正的有用数据对应于:
本公开还涉及一种用于解码与多媒体内容的对象的至少一部分的表示相对应的图像的方法,所述方法包括:对于针对图像中的至少一个坐标读取的值W,
·如果W属于由前面所公开的用于嵌入关键信息的方法提供的保留范围,则丢弃读取值W;
·如果W不属于由前面所公开的用于嵌入关键信息的方法提供的保留范围,则通过将反修正量化应用于读取值W来恢复与读取值W相对应的有用数据,反修正量化考虑了保留范围。
因此,根据该实施例,在解码侧,如果所接收的值属于保留范围,则丢弃对应的点并将其视为未使用。相反,如果所接收的值在保留范围以外(即,更大),则将对应的点视为有效的,并且通过修正所接收的值来恢复相关的距离值,以便应用如在编码侧应用的反量化。
本公开还涉及一种承载嵌入关键信息的图像的流,所述图像在图像中用于存储有用数据的2N个值的预定范围内保留的DMZ个值的范围内存储关键信息,关键信息与图像的至少一个坐标相关联,其中N>0并且DMZ<<2N。
本公开还涉及一种配置为在图像中嵌入关键信息的装置,所述装置包括与至少一个处理器关联的存储器,所述至少一个处理器被配置为在图像中用于存储有用数据的2N个值的预定范围内保留DMZ个值的范围,所保留的范围用于存储与图像中的至少一个坐标相关联的关键信息,其中N>0并且DMZ<<2N。
本公开还涉及一种配置为解码与多媒体内容的对象的至少一部分的表示相对应的图像的装置,所述装置包括与至少一个处理器关联的存储器,所述至少一个处理器被配置为:对于针对图像中的至少一个坐标读取的值W,
·如果W属于由前面所公开的配置为嵌入关键信息的装置提供的保留范围,则丢弃读取值W;
·如果W不属于由前面所公开的配置为嵌入关键信息的装置提供的保留范围,则通过将反修正量化应用于读取值W来恢复与读取值W相对应的有用数据,反修正量化考虑了保留范围。
本公开还涉及一种计算机程序产品,所述计算机程序产品包括程序代码指令,当所述程序在计算机或处理器上执行时,所述程序代码指令用于执行如前面所公开的用于在图像中嵌入关键信息的方法的步骤。
本公开还涉及一种其中存储有指令的非暂时性计算机可读载体介质,当所述程序在计算机上执行时,所述指令用于使处理器执行至少上文提到的用于在图像中嵌入关键信息的方法。
附图说明
根据通过示意和非穷尽示例的方式给出的以下描述以及根据附图,实施例的其他特征和优点将是清楚的,其中:
图1a和图1b分别示出了根据现有技术的具有未定义值和关键图的图像的示例;
图2a和图2b分别是所公开方法的实施例的流程图和根据所公开方法实施例的保留的值范围的示例;图2c示出了根据所公开方法实施例的分别与有用数据的已知量化和应用于有用数据的修正量化相对应的曲线;
图3是可用于实现根据结合图2a至图2c所公开的实施例的所公开方法的示例性装置的结构框的示意图。
具体实施方式
在本文档的所有附图中,相同的附图标记表示相似的元素和步骤。
现在参考附图描述主题,其中,相似的附图标记始终用于表示相似的元素。在下文的描述中,为了解释的目的,阐述了许多具体细节,以便提供对主题的透彻理解。然而,显而易见的是,没有这些具体细节也可以实施主题实施例。
本说明书示意了本公开的原理。因此,将理解的是,本领域的技术人员将能够设计出虽然没有明确地在此描述或示出但体现了本公开的原理的各种布置。
将参考在图像中嵌入关键信息的方法的具体实施例来描述本原理,以便优化该图像的解码,如图2a和图2b中所示。
所公开方法的总体原理是基于在图像中用于存储有用数据的2N个值的预定范围内保留用于存储关键信息的值的较小范围(大小DMZ<<2N)。例如,关键信息与图像中的至少一个坐标相关联,并且需要在解码侧被识别为要丢弃的值,而不是有用数据。
由于没有预先确定特定值来用于嵌入关键信息,而是保留和使用了值的范围,因此所公开的方法对于编码伪像是鲁棒的。确实,即使编码修改了关键信息,它也不应该变化到保留的值范围之外,因此,在解码侧,关键信息能够被识别为要丢弃而不被解码的值。
为此,可以根据用于编码图像的压缩级别来适应性地细化保留范围的大小DMZ(以对于编码伪像足够鲁棒)。确实,DMZ的值太高(即,关键信息的保留值范围太大)可能会浪费对于图像的有用数据所允许的一部分动态,而值太低(即,关键信息的保留值范围太小)可能会导致过多的编码伪像(关键信息传输不良)。
保留范围的大小DMZ也可以根据图像本身适应性地细化,即,根据在图像中存储有用数据所需的实际动态。
因此,可以考虑多通道策略以便针对给定图像和给定压缩级别设置DMZ的最佳值。对于每个通道,在编码侧以及在解码侧测试候选值,从最小初始化开始,并且如果观察到太多编码伪像则逐步增大。在任何情况下,DMZ值在解码时应该是已知的以适当地解码图像信息。
例如,可以实现这样的多通道策略,以针对每个GOP(图片组)调整大小DMZ。
根据所公开方法的具体实施例,嵌入关键信息以及有用数据的图像对应于距离图,例如从编码源图像的先前步骤所获得的距离图。因此,在这种情况下,对于图像中与有用距离值相对应的每个坐标,2N个值的预定范围对应于用于存储距离值的动态值范围。
然而,由于该距离图/图像可能呈现包含不应被解码的未定义值(例如,在无投影出现的情况下)的某些区域,因此大小为DMZ的保留范围对应于该距离图动态的一部分,其将被用于存储图像中无关联距离值的每个坐标的关键信息。
可以在表示多媒体内容中的对象的至少一部分的3D点云的参数表面上投影之后获得距离图/图像。这样的距离图/图像包含投影点和原始3D点之间的距离z的信息。在解码侧需要距离z的信息(若存在的话)以适当地恢复点云,并且通常将距离z的信息表示为距离的限幅反函数Z(z),以便给出更多动态并有利于近距离。例如,该限幅反函数Z(z)可以用公式表示为:
其中,zmin和zmax定义限幅范围,Z(zmin)=1并且Z(zmax)=0。
然后,该量Z(z)被量化并被存储为无符号整数U(z),在N个比特上(通常为10或12),诸如:
U(z)=floor(2NZ(z))。
例如,对于N=12,zmin=1并且zmax=5,图2c中用实线示出了U(z)。
因此,当没有有用数据与图像中的坐标相关联时,所公开的方法提出使用给予U(z)的该动态的一部分来存储关键信息。
例如,在图2b所示的第一变型中,在可容许动态的开头处定义DMZ个值的保留范围,DMZ<<2N。
确实,如上所述,由于前面的值用于远距离对象(根据限幅反函数Z(z)),保留范围值的开头仍然不太有害。
在另一变型中,例如在图像不对应于距离图的情况下,如果后面的值被用于存储较不重要的信息,则使用范围值的末尾更好。
如已经说过的,可以调整大小DMZ以便预期编码步骤将改变距离图中存储的值这一事实,例如在+/-(DMZ/2)的最大范围内调整。根据压缩级别适应性地调整该最大变化范围。图2b上与第一变型相关地对此进行了示出,其中,点线式的竖线表示可以变化的值DMZ以将2N个值的预定范围划分为两个范围:保留范围和有用数据范围。因此,距离图像中存储的有用数据可以取从(DMZ+1)到(2N-1)的所有值。
于是,一旦定义了大小DMZ,就实施专用的编码和解码过程。
例如,在编码侧,注意值V要存储在距离图/图像中,针对图像中的给定位置/坐标。如上所述,值V可以是对应于与坐标相关联的距离信息的有用数据或者是针对未定义区域的关键信息。
因此,在第一变型中,如果对于当前坐标,无有用数据是已知的(例如,在图像的该特定部分未发生投影),则在距离值的动态范围的开头,在距离图像中存储等于0的关键信息Vk,其中0是属于大小为DMZ的保留范围的值。
否则,如果对于当前坐标,距离值是已知的(即,在图像的该特定部分发生投影),则应当在有用数据范围内,即在2N个值的预定范围内除为关键信息保留的开头之外,存储有用数据。因此,为了从距离信息获得要存储的值,将修正量化应用于Z(z),并且存储值Vu,例如:
Vu=UDMZ(z)=floor((2N-DMZ)Z(z)+DMZ)。
例如,对于N=12,zmin=1并且zmax=5,图2c中还用虚线示出了UDMZ(z)。
因此,根据所公开的方法,对于距离图像中的每个坐标,根据针对相应点是否发生投影,存储值Vu或Vk(在第一变型中等于0)。然后,使用图像或视频压缩方法压缩编码图像。
在解码侧,对于所接收并解压缩的图像,注意读取值W可能受压缩伪像的影响。对于所接收的图像,值DMZ是解码器已知的。可能已在流中与图像相关联地发送了值DMZ。在一变型中,为DMZ设置预定义值。在另一变型中,解码器实施根据所接收的图像确定值DMZ的方法。
根据所公开的方法,如果值W属于大小为DMZ的保留范围(即,在第一变型中,如果W<DMZ),则当前值W可以对应于未定义/未使用的点,或者可以由“真”点(即,在编码之前接近保留范围但是通过压缩被修改并因此在由解码器解压缩时属于保留范围的有用数据)的编码误差产生。结果,这样的点被解码器丢弃并被视为未使用。确实,即使由于压缩伪像而导致“真”点被丢弃,这与将未定义数据解释为有用数据相比,“释放”少量有用数据也更少有害些,此外,如果它们对应于远距离对象的话则更是如此。
相反,如果值W不属于保留范围(即,在第一变型中,如果W>DMZ),则将当前点视为“有效”点,并且通过计算UDMZ -1(W)(即,作为应用于编码侧的量化的反量化)来恢复相关联的距离值。
因此,根据所公开的方法,对于所接收距离图像中的每个坐标,值W可以被解释为有用数据,或者如果识别出关键信息则可以被丢弃。
因此,所公开的方法允许在图像中紧凑地存储关键信息,同时提供对内容/图像中的编码伪像的鲁棒性和压缩级别自适应方式。
为此,所公开的方法可以利用值的动态范围,其可以是关于要存储的值和/或图像本身而言被认为尺寸超大,并允许在图像中嵌入关键信息而不传输附加图像,从而优化了图像传输的最终比特率。
现在参考图3,根据上面关于图2a至图2c所公开的任何实施例,示出了能够用于实现用于在图像中嵌入关键信息的方法的示例性装置的结构框。
在实施例中,用于实现所公开方法的装置300包括非易失性存储器303(例如,只读存储器(ROM)或硬盘)、易失性存储器301(例如,随机存取存储器或RAM)和处理器302。非易失性存储器303是非暂时性计算机可读载体介质。它存储由处理器302执行以实现上述在各个实施例中描述的方法的可执行程序代码指令。
在初始化时,前述程序代码指令从非易失性存储器303传送到易失性存储器301以便由处理器302执行。同样地,易失性存储器301包括用于存储所述执行所需的变量和参数的寄存器。
自然地,本公开不限于上述实施例。
具体地,本公开不限于用于在图像中嵌入关键信息的方法和设备,而是还扩展到用于对包括表示多媒体内容的对象的数据在内的分组进行编码/解码的方法以及实现该方法的任何设备,并且特别是包括至少一个CPU和/或至少一个GPU的任何设备。
例如,所公开的方法可以应用于立体式或沉浸式视频。
可以例如用方法或过程、装置、计算机程序产品、数据流或信号来实现本文所描述的实施方式。虽然仅在单一形式的实现的上下文中进行讨论(例如,仅作为方法或设备进行讨论),但是所讨论的特征的实现还可以以其他形式(如程序)来实现。装置可以以例如适当的硬件、软件和固件来实现。所述方法可以被实现于诸如处理器的装置中,所述处理器一般地是指处理设备,包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备,诸如智能电话、平板计算机、计算机、移动电话、便携式/个人数字助理(“PDA”)以及便于终端用户之间的信息通信的其他设备。
本文所述的各种处理和特征的实施方式可以表现为多种不同设备或应用,具体地,例如,与数据编码、数据解码、视图生成、纹理处理以及图像和相关纹理信息和/或深度信息的其他处理相关联的设备或应用。这种设备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人电脑、蜂窝电话、PDA以及其他通信设备。应当清楚,设备可以是移动的,甚至安装在移动交通工具中。
此外,可以通过由处理器执行的指令实现所述方法,而且这些指令(和/或通过实现产生的数据值)可以存储在处理器可读介质上,诸如集成电路、软件载体或其他存储设备,例如硬盘、压缩盘(“CD”)、光盘(诸如DVD,其通常称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM”)或只读存储器(“ROM”)。指令可以形成在处理器可读介质上有形地实施的应用程序。指令可以位于例如硬件、固件、软件或其组合中。可以在例如操作系统、单独应用或这两者的组合中发现指令。因此,处理器可以被表征为例如配置用于执行处理的设备和包括具有用于执行处理的指令的处理器可读介质的设备(诸如,存储设备)。此外,处理器可读介质可以存储实现所产生的数据值,作为对指令的添加或替代。
本领域技术人员应清楚,实施方式可以产生被格式化为携带例如所存储的或所传输的信息的多种信号。信息可以包括例如用于执行方法的指令、或通过描述的实施方式之一所产生的数据。例如,信号可以被格式化为将用于写入或读取所述实施例的语法的规则作为数据进行携带,或将由所述实施例写入的真实语法值作为数据进行携带。这种信号可被格式化为例如电磁波(例如使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码或者使用已编码数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。可以通过公知的多种不同的有线或无线链路来传输该信号。信号可以存储在处理器可读介质上。
已经描述了多个实现。然而,应当理解,可以进行各种修改。例如,可以组合、增补、修改或去除不同实施方式的元素,以便产生其他实施方式。附加地,本领域普通技术人员将理解的是,其他结构或过程可以替代那些公开的结构或过程,并且所得到的实施方式将用至少基本相同的方式来执行至少基本相同的功能,以实现与所公开的实施方式基本相同的结果。因此,本申请还涵盖这些实现和其他实现。
Claims (14)
1.一种用于编码图像的方法,所述图像对应于在表示多媒体内容的对象的至少一部分的点云的参数表面上投影之后所获得的图,所述方法包括:
在所述图像的像素中用于存储值的预定的值的第二范围内保留值的第一范围,所述第一范围用于存储指示所述像素是非有用像素的关键值,并且值的所述第二范围去除了值的所述第一范围,用于存储所述图像的像素的有用值;以及
在数据流中对所述图像和表示所述第一范围的信息进行编码。
2.根据权利要求1所述的方法,其中所述第一范围是所述第二范围的开头。
3.根据权利要求1所述的方法,其中所述第一范围是所述第二范围的末尾。
4.根据权利要求1所述的方法,包括:对于所述图像中的至少一个像素,
当非有用值与所述像素相关联时,在所述像素中存储关键值,所述关键值属于所述第一范围,
当有用值与所述像素相关联时:
将修正量化应用于所述有用值以提供经修正的有用值,所述修正量化是根据所述第一范围的值的数量而确定的,并且
在所述像素中存储经修正的值。
5.根据权利要求1所述的方法,其中通过以下步骤来确定所述第一范围:
(a)根据所述第一范围对所述图像进行编码;
(b)对所述图像进行解码;并且
(c)当解码的图像包括的伪像的数量大于给定数量时,迭代(a)、(b)和(c)。
6.一种用于解码图像的方法,所述图像对应于在表示多媒体内容的对象的至少一部分的点云的参数表面上投影之后所获得的图,所述方法包括:
从数据流中解码所述图像和表示保留范围的信息,所述保留范围被提供用于存储指示像素是非有用像素的关键信息;以及
对于针对所述图像中的至少一个像素而读取的值W:
当所述值W不属于所述保留范围时,通过将反修正量化应用于所述值W来恢复与所述值W相对应的有用值,所述反修正量化是根据所述保留范围而确定的。
7.一种非暂时性计算机可读存储介质,存储有:
对嵌入深度值的图像加以表示的数据,其中所述图像在所述图像中用于存储有用值的第二范围内所保留的第一范围中存储关键值,其中所述关键值与所述图像的至少一个像素相关联,并且其中值的所述第二范围去除了值的所述第一范围,用于存储所述图像的像素的值;以及
对用于存储关键值的所述第一范围加以表示的信息,所述关键值指示像素是非有用像素。
8.一种配置为编码图像的装置,所述图像对应于在表示多媒体内容的对象的至少一部分的点云的参数表面上投影之后所获得的图,所述装置包括至少一个处理器和存储有指令的至少一个存储器,所述指令在由所述至少一个处理器执行时使得所述装置执行以下操作:
在所述图像中用于存储有用值的值的第二范围内保留值的第一范围,所述第一范围用于存储指示像素是非有用像素的关键值,并且其中值的所述第二范围去除了值的所述第一范围,用于存储所述图像的像素的有用值;以及
在数据流中对所述图像和表示所述第一范围的信息进行编码。
9.根据权利要求8所述的装置,其中所述指令还使得所述装置对于所述图像中的至少一个像素:
当非有用值与所述像素相关联时,在所述像素中存储关键值,所述关键值属于所述第一范围,
当有用值与所述像素相关联时:
将修正量化应用于所述有用值以提供经修正的有用值,所述修正量化是根据所述第一范围的值的数量而确定的,并且
在所述像素中存储经修正的值。
10.根据权利要求8所述的装置,其中所述第一范围是所述第二范围的开头。
11.根据权利要求8所述的装置,其中所述第一范围是所述第二范围的末尾。
12.根据权利要求8所述的装置,其中所述指令还使得所述装置通过以下操作来确定所述第一范围:
(a)根据所述第一范围对所述图像进行编码;
(b)对所述图像进行解码;并且
(c)当解码的图像包括的伪像的数量大于给定数量时,迭代(a)、(b)和(c)。
13.一种配置为解码图像的装置,所述图像对应于在表示多媒体内容的对象的至少一部分的点云的参数表面上投影之后所获得的图,所述装置包括至少一个处理器和存储有指令的至少一个存储器,所述指令在由所述至少一个处理器执行时使得所述装置执行以下操作:
从数据流中解码所述图像和表示保留范围的信息,所述保留范围被提供用于存储指示像素是非有用像素的关键信息;以及
对于针对所述图像中的至少一个像素而读取的值W:
当所述值W不属于所述保留范围时,通过将反修正量化应用于所述值W来恢复与所述值W相对应的有用值,所述反修正量化是根据所述保留范围而确定的。
14.一种非暂时性计算机可读存储介质,具有指令,所述指令在由处理器执行时引起所述处理器对图像进行编码,所述图像对应于在表示多媒体内容的对象的至少一部分的点云的参数表面上投影之后所获得的图,其中所述编码包括:
在所述图像的像素中用于存储值的预定的值的第二范围内保留值的第一范围,所述第一范围用于存储指示所述像素是非有用像素的关键值,并且值的所述第二范围去除了值的所述第一范围,用于存储所述图像的像素的有用值;以及
在数据流中对所述图像和表示所述第一范围的信息进行编码。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16306764.8 | 2016-12-21 | ||
EP16306764.8A EP3340629A1 (en) | 2016-12-21 | 2016-12-21 | Method and apparatus for embedding key information in an image |
CN201780079880.8A CN110100441B (zh) | 2016-12-21 | 2017-12-11 | 用于在图像中嵌入关键信息的方法和装置 |
PCT/EP2017/082166 WO2018114417A1 (en) | 2016-12-21 | 2017-12-11 | Method and apparatus for embedding key information in an image |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780079880.8A Division CN110100441B (zh) | 2016-12-21 | 2017-12-11 | 用于在图像中嵌入关键信息的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114697676A true CN114697676A (zh) | 2022-07-01 |
Family
ID=57755132
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210363030.3A Pending CN114697676A (zh) | 2016-12-21 | 2017-12-11 | 用于在图像中嵌入关键信息的方法和装置 |
CN201780079880.8A Active CN110100441B (zh) | 2016-12-21 | 2017-12-11 | 用于在图像中嵌入关键信息的方法和装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780079880.8A Active CN110100441B (zh) | 2016-12-21 | 2017-12-11 | 用于在图像中嵌入关键信息的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11064213B2 (zh) |
EP (3) | EP3340629A1 (zh) |
JP (2) | JP7272953B2 (zh) |
KR (2) | KR102572323B1 (zh) |
CN (2) | CN114697676A (zh) |
WO (1) | WO2018114417A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200140825A (ko) | 2018-04-11 | 2020-12-16 | 인터디지털 브이씨 홀딩스 인코포레이티드 | 3d 객체를 나타내는 포인트 클라우드를 인코딩/디코딩하기 위한 방법 및 장치 |
EP3777182A1 (en) | 2018-04-11 | 2021-02-17 | InterDigital VC Holdings, Inc. | A method and apparatus for encoding/decoding a point cloud representing a 3d object |
EP3614672A1 (en) | 2018-08-23 | 2020-02-26 | InterDigital VC Holdings, Inc. | A method and apparatus for encoding/decoding a point cloud representing a 3d object |
CN112806016A (zh) | 2018-10-05 | 2021-05-14 | 交互数字Vc控股公司 | 一种用于编码/重构点云的点的属性的方法和设备 |
US11979607B2 (en) * | 2019-05-30 | 2024-05-07 | Lg Electronics Inc. | Apparatus and method for processing point cloud data |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102986214A (zh) * | 2010-07-06 | 2013-03-20 | 皇家飞利浦电子股份有限公司 | 从低动态范围图像生成高动态范围图像 |
US20140072223A1 (en) * | 2012-09-13 | 2014-03-13 | Koepics, Sl | Embedding Media Content Within Image Files And Presenting Embedded Media In Conjunction With An Associated Image |
US20140092989A1 (en) * | 2012-10-01 | 2014-04-03 | Texas Instruments Incorporated | System and method for transferring non-video data over a video interface |
US20140164419A1 (en) * | 2012-12-11 | 2014-06-12 | Gurulogic Microsystems Oy | Encoder, decoder and method |
EP2960854A1 (en) * | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and device for determining a set of modifiable elements in a group of pictures |
US20160316214A1 (en) * | 2013-12-19 | 2016-10-27 | Canon Kabushiki Kaisha | Improved encoding process using a palette mode |
CN106133795A (zh) * | 2014-01-17 | 2016-11-16 | 诺基亚技术有限公司 | 用于对3d渲染应用中地理定位的媒体内容进行视觉化的方法和装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US919905A (en) * | 1903-12-15 | 1909-04-27 | Lewis C Maltby | Paper-box machine. |
US6256736B1 (en) * | 1998-04-13 | 2001-07-03 | International Business Machines Corporation | Secured signal modification and verification with privacy control |
JP2004236230A (ja) | 2003-01-31 | 2004-08-19 | Ricoh Co Ltd | 画像処理装置、プログラム及び記憶媒体 |
JP2006074338A (ja) | 2004-09-01 | 2006-03-16 | Fuji Xerox Co Ltd | データ秘匿化装置、秘匿データ抽出装置、データ秘匿化方法、秘匿データ抽出方法及びこれらのプログラム |
JP4178481B2 (ja) * | 2006-06-21 | 2008-11-12 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置および撮像方法 |
JP5577415B2 (ja) | 2010-02-22 | 2014-08-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示 |
EP2538242B1 (en) * | 2011-06-24 | 2014-07-02 | Softkinetic Software | Depth measurement quality enhancement. |
US8873835B2 (en) * | 2011-11-30 | 2014-10-28 | Adobe Systems Incorporated | Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods |
JP5263854B1 (ja) * | 2013-02-25 | 2013-08-14 | 株式会社ドクターネット | 画像圧縮装置、画像解凍装置、画像圧縮プログラム、画像解凍プログラム及びデータ構造 |
-
2016
- 2016-12-21 EP EP16306764.8A patent/EP3340629A1/en not_active Withdrawn
-
2017
- 2017-12-11 CN CN202210363030.3A patent/CN114697676A/zh active Pending
- 2017-12-11 JP JP2019531433A patent/JP7272953B2/ja active Active
- 2017-12-11 WO PCT/EP2017/082166 patent/WO2018114417A1/en unknown
- 2017-12-11 EP EP22209933.5A patent/EP4161077A1/en active Pending
- 2017-12-11 US US16/472,761 patent/US11064213B2/en active Active
- 2017-12-11 KR KR1020197021030A patent/KR102572323B1/ko active IP Right Grant
- 2017-12-11 CN CN201780079880.8A patent/CN110100441B/zh active Active
- 2017-12-11 KR KR1020237028936A patent/KR20230128581A/ko not_active Application Discontinuation
- 2017-12-11 EP EP17811592.9A patent/EP3560203B1/en active Active
-
2021
- 2021-05-10 US US17/316,506 patent/US11431999B2/en active Active
-
2023
- 2023-04-27 JP JP2023072885A patent/JP2023095909A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102986214A (zh) * | 2010-07-06 | 2013-03-20 | 皇家飞利浦电子股份有限公司 | 从低动态范围图像生成高动态范围图像 |
US20140072223A1 (en) * | 2012-09-13 | 2014-03-13 | Koepics, Sl | Embedding Media Content Within Image Files And Presenting Embedded Media In Conjunction With An Associated Image |
US20140092989A1 (en) * | 2012-10-01 | 2014-04-03 | Texas Instruments Incorporated | System and method for transferring non-video data over a video interface |
US20140164419A1 (en) * | 2012-12-11 | 2014-06-12 | Gurulogic Microsystems Oy | Encoder, decoder and method |
US20160316214A1 (en) * | 2013-12-19 | 2016-10-27 | Canon Kabushiki Kaisha | Improved encoding process using a palette mode |
CN106133795A (zh) * | 2014-01-17 | 2016-11-16 | 诺基亚技术有限公司 | 用于对3d渲染应用中地理定位的媒体内容进行视觉化的方法和装置 |
EP2960854A1 (en) * | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and device for determining a set of modifiable elements in a group of pictures |
Also Published As
Publication number | Publication date |
---|---|
CN110100441B (zh) | 2022-04-15 |
US11431999B2 (en) | 2022-08-30 |
EP4161077A1 (en) | 2023-04-05 |
WO2018114417A1 (en) | 2018-06-28 |
EP3560203B1 (en) | 2023-02-01 |
US11064213B2 (en) | 2021-07-13 |
US20190349597A1 (en) | 2019-11-14 |
US20210306655A1 (en) | 2021-09-30 |
EP3560203A1 (en) | 2019-10-30 |
KR20190097212A (ko) | 2019-08-20 |
CN110100441A (zh) | 2019-08-06 |
JP7272953B2 (ja) | 2023-05-12 |
JP2020503746A (ja) | 2020-01-30 |
JP2023095909A (ja) | 2023-07-06 |
KR102572323B1 (ko) | 2023-08-30 |
EP3340629A1 (en) | 2018-06-27 |
KR20230128581A (ko) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110100441B (zh) | 用于在图像中嵌入关键信息的方法和装置 | |
EP2916543A1 (en) | Method for coding/decoding depth image and coding/decoding device | |
WO2018103568A1 (zh) | 云桌面内容编码与解码方法及装置、系统 | |
CN110971898B (zh) | 点云编解码方法和编解码器 | |
US11955994B2 (en) | Data processing apparatuses, methods, computer programs and computer-readable media | |
MX2012004747A (es) | Codificacion de graficos integrados: corriente de bits reclasificada para descodificacion paralela. | |
WO2015188297A1 (zh) | 加权跳过模式的视频图像块压缩算术编解码方法及装置 | |
TWI735193B (zh) | 用於在視訊編碼中的順延後處理的系統及方法 | |
US20190132649A1 (en) | Method for Improving Video Resolution and Video Quality, Encoder, and Decoder | |
KR102477031B1 (ko) | 3차원 데이터를 프로세싱하기 위한 방법 및 장치 | |
JP2010062626A (ja) | 画面データ送信装置、画面データ送信方法及び画面データ送信プログラム | |
CN112449186B (zh) | 编码方法、解码方法、相应的装置、电子设备及存储介质 | |
US20200314450A1 (en) | Method and apparatus for generating an image, and corresponding computer program product and non-transitory computer-readable carrier medium | |
JP5593468B1 (ja) | 画像符号化装置及び画像符号化方法 | |
CN115100031B (zh) | 图像处理方法以及图像处理装置 | |
CN103327336B (zh) | 一种三维编码的方法及设备 | |
WO2015177123A1 (en) | Method and device for encoding a frame and/or decoding a bitstream representing a frame | |
CN117751387A (zh) | 面元网格连通性编码 | |
WO2015097135A1 (en) | Method and device for encoding a high-dynamic range image | |
WO2015177126A1 (en) | Method and device for encoding a frame and/or decoding a bitstream representing a frame | |
WO2015177125A1 (en) | Method and device for encoding a frame and/or decoding a bitstream representing a frame | |
WO2015177116A2 (en) | Method and device for encoding a frame and/or decoding a bitstream representing a frame | |
WO2015177119A1 (en) | Method and device for encoding a frame and/or decoding a bitstream representing a frame |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |