CN101002471B - 对图像编码的方法和设备及对图像数据解码的方法和设备 - Google Patents

对图像编码的方法和设备及对图像数据解码的方法和设备 Download PDF

Info

Publication number
CN101002471B
CN101002471B CN2005800269727A CN200580026972A CN101002471B CN 101002471 B CN101002471 B CN 101002471B CN 2005800269727 A CN2005800269727 A CN 2005800269727A CN 200580026972 A CN200580026972 A CN 200580026972A CN 101002471 B CN101002471 B CN 101002471B
Authority
CN
China
Prior art keywords
image
interest
omni
area
directional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800269727A
Other languages
English (en)
Other versions
CN101002471A (zh
Inventor
朴光勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Original Assignee
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Industry Academic Cooperation Foundation of Kyung Hee University filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2005/002638 external-priority patent/WO2006016782A1/en
Publication of CN101002471A publication Critical patent/CN101002471A/zh
Application granted granted Critical
Publication of CN101002471B publication Critical patent/CN101002471B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种用于对图像进行编码的方法和设备以及一种用于对图像进行解码的方法和设备。用于对图像进行编码的设备包括：第一编码器，用于对全向图像进行编码以产生第一比特流；数据通信器，用于将第一比特流发送到解码设备，并从解码设备接收从基于第一比特流重建的图像选择的感兴趣区域的位置信息；以及第二编码器，用于基于位置信息对感兴趣区域的图像进行编码，以产生第二比特流。

Description

对图像编码的方法和设备及对图像数据解码的方法和设备
技术领域
本发明总体构思涉及图像编码/解码技术，更具体地说，涉及一种对用于三维(3D)真实广播的全向图像进行编码/解码的方法。
背景技术
全向视频相机系统是从单个视点拍摄360°全向视图的相机系统。全向视频相机系统包括安装有诸如双曲面镜的特殊镜或诸如鱼眼镜头的特殊镜头的相机，或用于拍摄全向视图的多个相机。正在进行对于全向视频编码的研究，所述全向视频编码用于使得由所述全向视频相机系统产生的视频信息适合广播。
使用全向视频编码的示例是3D真实广播。例如，向观察者的终端提供关于从不同的视点观察的场景的所有图像信息，所述视点包括棒球比赛中第一垒侧的投手的视点、接球手的视点、击球手的视点和观众的视点。观察者可选择期望的视点并从期望的视点观察场景。
是3D真实广播的示例。根据
Figure S05826972720070213D000012
可产生具有360°圆柱或立方体全景图的照片，并可将其旋转360°或放大。然而，用户必须在观看全景图像之前下载关于所有全景图像的信息，这些图像的质量非常低。
正在进行对于将诸如运动图像专家组(MPEG)-4和H.264的传统二维(2D)图像编码方法应用于全向3D图像的技术的研究。图1是传统全向视频编码/解码系统的构思图。参照图1，使用全向拍摄单元110来获取全向图像。图像转换器120将全向图像转换为可由现有MPEG-4编码器130处理的预定格式。
使用采用特殊镜头或镜或者多个相机的全向相机系统拍摄的图像具有与3D球形环境相应的特征。由于传统视频编解码器接收，压缩并发送2D图像，所以需要将使用全向相机系统拍摄的3D图像转换为2D图像。提供地图投影(cartographical projection)和多边投影(polygonal projection)以将3D图像转换为2D图像。
地图投影是将球形投射到完全矩形的平面上的处理，如同产生典型的世界地图。多边投影是将球形投射在多面体的发展图(development figure)中的处理。
MPEG-4编码器130对转换的图像进行编码以产生比特流，并将所述比特流发送到用户的解码单元。MPEG-4解码器140对所述比特流进行解码。图像转换器150将解码的比特流转换为全向图像。显示单元160显示全向图像。
由于将被发送到用户的全向图像数据量较大，所以需要非常宽的带宽以实时地将全向图像数据发送到用户。此外，会发生如同传输延迟的问题以及用户的解码单元的性能方面的限制。此外，当将传统2D图像编码按原样应用于全向图像，而不考虑全向图像和2D图像之间的特征差异时，会降低编码效率。
发明内容
技术方案
本发明总体构思提供一种图像编码方法和设备，通过所述方法和设备，全向图像被有效发送，并且以改善的图像质量向用户提供全向图像中的用户感兴趣区域。
本发明总体构思还提供一种图像解码方法和设备，通过所述方法和设备，接收并显示全向图像中具有改善的图像质量的用户感兴趣区域。
本发明总体构思的另外的方面将部分地在以下的描述中阐述，部分地通过所述描述变得清楚，或者可通过对本发明总体构思的实施而了解。
有益效果
根据本发明总体构思的实施例，首先通过具有受限带宽的信道将粗略的全向图像发送到解码设备，随后向用户提供由用户从全向图像中选择的感兴趣区域的高分辨率图像。因此，本发明可有效地发送全向图像，并改善全向图像中的用户感兴趣区域的图像质量。
附图说明
通过下面结合附图进行的对实施例的描述，本发明总体构思的这些和/或其它方面将会变得清楚和更加容易理解，其中：
图1是传统全向图像编码/解码系统的构思图；
图2是示出根据本发明总体构思实施例的图像编码设备的框图；
图3是示出根据本发明总体构思实施例的图像解码设备的框图；
图4是示出根据本发明总体构思实施例的对图像进行编码的方法的流程图；
图5是示出根据本发明总体构思实施例的对图像进行解码的方法的流程图；
图6是示出根据本发明总体构思另一实施例的图像编码设备的框图；以及
图7是示出根据本发明总体构思另一实施例的图像解码设备的框图。
具体实施方式
最佳实施方式
通过提供一种对图像进行编码的方法来实现本发明总体构思的上述和/或其它方面，所述方法包括：通过对全向图像进行编码来产生第一比特流，并将第一比特流发送到解码设备；从解码设备接收从基于第一比特流重建的图像选择的感兴趣区域的位置信息；以及通过基于位置信息对感兴趣区域的图像进行编码来产生第二比特流。
还通过提供一种用于对图像进行编码的设备来实现本发明总体构思的上述和/或其它方面，所述设备包括：第一编码器，用于对全向图像进行编码以产生第一比特流；数据通信器，用于将第一比特流发送到解码设备并从解码设备接收从基于第一比特流重建的图像选择的感兴趣区域的位置信息；以及第二编码器，用于基于位置信息对感兴趣区域的图像进行编码以产生第二比特流。
还通过提供一种用于对图像进行解码的方法来实现本发明总体构思的上述和/或其它方面，所述方法包括：从编码设备接收通过对全向图像进行编码产生的第一比特流；对第一比特流进行解码并显示重建图像；将从重建图像选择的感兴趣区域的位置信息发送到编码设备；从编码设备接收通过对感兴趣区域的图像进行编码产生的第二比特流；以及对第二比特流进行解码。
还通过提供一种用于对图像进行解码的设备来实现本发明总体构思的上述和/或其它方面，所述设备包括：第一解码器，用于从编码设备接收通过对全向图像进行编码产生的第一比特流，并对第一比特流进行解码以产生重建全向图像；第一显示单元，用于显示从第一解码器输出的重建全向图像；数据通信器，用于将从通过第一显示单元显示的重建全向图像选择的感兴趣区域的位置信息发送到编码设备；以及第二解码器，用于从编码设备接收通过对感兴趣区域的图像进行编码产生的第二比特流，并对第二比特流进行解码。
发明实施方式
现在，将详细参照本发明总体构思的实施例，其示例在附图中示出，其中，相同的标号始终指示相同的部件。以下在参考附图的同时描述实施例，以便解释本发明总体构思。
除去一次性观察由全向相机系统获取的完整的全向图像，用户会想要基于关于完整的全向图像的信息进行视点转变，靠近并局部地观察完整的全向图像中的感兴趣区域。为了满足用户的需要，本发明总体构思实施例提供这样一种方法和设备：使用最小带宽将除用户感兴趣区域之外的全向图像部分发送到用户终端，并以高分辨率来发送感兴趣区域的图像。换言之，以低分辨率向解码设备提供完整的全景图像，以向用户提供全景图像的粗略视图。此后，当用户在完整的全景图像中选择感兴趣区域并将感兴趣区域的位置信息发送到编码设备时，向解码设备提供感兴趣区域的高分辨率图像。
图2是示出根据本发明总体构思实施例的图像编码设备的框图。参照图2，图像编码设备包括：第一编码器210、数据通信器220、第一转换单元240、第二转换单元230、感兴趣区域选择器250、减法器260和第二编码器270。
将由全向相机系统(未示出)拍摄的全向图像输入第一编码器210和第一转换单元240。根据图2所示的实施例，全向图像可以是环形图像，但并不受限于此。
全向相机系统可以是包括特殊镜头或镜与镜头的组合的相机系统，并且可从单个视点拍摄多达360°的全向视图。索尼的TVR-900和HDW F900是这种全向相机系统的示例。TVR-900可拍摄180°视图，HDW F900可拍摄360°视图。或者，全向相机系统可使用多个相机获得全向图像。环形图像是在基于镜的全向相机系统中从镜反射之后拍摄的图像，意味着其是360°全向图像。
第一编码器210接收环形图像并使用预定的方法对其进行编码，以产生环形图像比特流。可将遵守运动图像专家组(MPEG)-4第2部分标准或H.264(或MPEG-4第10部分AVC)标准的编码器用作第一编码器210。然而，本发明总体构思并不受限于此，可选择性地将改进为适合环形图像的编码器用作第一编码器210。
通过数据通信器220将由第一编码器210产生的环形图像比特流发送到图像解码设备，诸如，图3所示的图像解码设备。图像解码设备对环形图像比特流进行解码以获得重建环形图像，将重建环形图像转换为全景图像，并通过全景图像显示单元330(参见图3)显示全景图像。第一编码器210还基于环形图像比特流产生适合特定带宽的重建环形图像，并将其存储在重建环形图像缓冲器(未示出)中。第一编码器210通过对其中产生的环形图像比特流进行解码来产生重建环形图像，因此，第一编码器210具有解码性能以及编码性能。将由第一编码器210产生的重建环形图像输入第二转换单元230。
第一转换单元240包括第一环形到全景转换器(APC)241以及第一全景到透视图像转换器(PPIC)243。第二转换单元230包括第二APC 231和第二PPIC 233。
第一转换单元240和第二转换单元230分别将原始环形图像和重建环形图像转换为预定图像格式。第一APC 241和第二APC 231分别将原始环形图像和重建环形图像转换为第一和第二全景图像。地图投影和多边投影是可由第一APC 241和第二APC 231用来将原始环形图像和重建环形图像转换为二维(2D)图像(即，第一和第二全景图像)的方法。第一PPIC 243和第二PPIC 233分别将第一和第二全景图像转换为第一和第二透视图像。平行投影和透视投影是可由第一PPIC 243和第二PPIC 233用来将第一和第二全景图像转换为第一和第二透视图像的方法。
感兴趣区域选择器250从诸如图3所示的图像解码设备的图像解码设备接收由用户选择的感兴趣区域的位置信息，并控制第一PPIC 243和第二PPIC233输出与感兴趣区域相应的第一和第二透视图像。
减法器260将从第一PPIC 243输出的第一透视图像与从第二PPIC 233输出的第二透视图像之间的误差图像输出到第二编码器270。第二编码器270使用预定方法对误差图像进行编码以产生将被发送到图像解码设备的透视图像比特流。可将遵守MPEG-4第2部分标准或H.264(或MPEG-4第10部分AVC)标准的编码器用作第二编码器270，然而，本发明总体构思并不受限于此。
图4是示出根据本发明总体构思实施例的对图像进行编码的方法的流程图。参照图2至图4，在操作S410，由全向相机系统(未示出)产生全向环形图像。全向环形图像被输入第一编码器210。在操作S420，由第一编码器210使用诸如MPEG-4第2部分或H.264的预定编码方法对全向环形图像进行编码，由此产生环形图像比特流，即，第一比特流。在操作S430，通过预定信道经由数据通信器220将环形图像比特流(第一比特流)发送到如图3所示的图像解码设备。
图像解码设备对接收的环形图像比特流(第一比特流)进行解码以获得重建环形图像，将重建环形图像转换为全景图像，并通过全景图像显示单元显示所述全景图像，所述全景图像显示单元诸如以下将更加详细地描述的图3的全景图像显示单元330。无法保证通过全景图像显示单元330显示的全景图像的图像质量，但是用户可通过全景图像显示单元330观看完整的图像。用户可使用用户接口(UI)340(参见图3)输入命令以在由全景图像显示单元330显示的完整的图像中选择用户想要更靠近地观看的感兴趣区域。
从UI 340输出感兴趣区域的位置信息，并通过数据通信器350(参见图3)将其发送到图2的图像编码设备。然后，在操作S440，由图像编码设备的感兴趣区域选择器250接收感兴趣区域的位置信息。感兴趣区域选择器250根据感兴趣区域的位置信息控制第一PPIC 243和第二PPIC 233以输出与感兴趣区域相应的图像。第一PPIC 243从自第一APC 241输出的第一全景图像提取与感兴趣区域相应的图像，并将提取的图像转换为第一透视图像。类似地，第二PPIC 233从自第二APC 231输出的第二全景图像提取与感兴趣区域相应的图像，并将提取的图像转换为第二透视图像。
从第一PPIC 243输出的第一透视图像是将原始环形图像转换为第一全景图像随后将第一全景图像转换为第一透视图像的结果。从第二PPIC 233输出的第二透视图像是将从第一编码器210输出的重建环形图像转换为第二全景图像随后将第二全景图像转换为第二透视图像的结果。换言之，可将从第一PPIC 243输出的第一透视图像称为原始感兴趣区域图像，并可将从第二PPIC 233输出的图像称为重建感兴趣区域图像。
减法器260将原始感兴趣区域图像与重建感兴趣区域图像之间的误差图像输出到第二编码器270。当对原始感兴趣区域图像与重建感兴趣区域图像之间的误差图像进行编码时，与对全部的原始感兴趣区域图像进行编码相比，可减少传输数据量。在操作S450，第二编码器270使用诸如MPEG-4第2部分或H.264的预定编码方法对误差图像进行编码，以产生将被发送到图像解码设备的透视图像比特流，即，第二比特流。在操作S460，将透视图像比特流(第二比特流)发送到图像解码设备。结果，用户可观察感兴趣区域的高分辨率图像。
如以上简要描述的，图3示出根据本发明总体构思实施例的图像解码设备。以下将更加详细地描述图3的实施例。参照图3，根据该实施例的图像解码设备包括：第一解码器310、转换单元320、UI 340、数据通信器350、感兴趣区域选择器360、第二解码器370以及混合器380。
图3的图像解码设备从诸如图2的图像编码设备的图像编码设备接收环形图像比特流和透视图像比特流，并通过全景图像显示单元330显示完整的全景图像，通过透视图像显示单元(未示出)显示感兴趣区域的透视图像。
第一解码器310接收通过对环形图像进行编码产生的环形图像比特流，并对其进行解码。转换单元320包括APC 321和PPIC 323。转换单元320接收从第一解码器310输出的重建环形图像，并将重建环形图像转换为预定图像格式。APC 321将重建环形图像转换为全景图像。PPIC 323将全景图像转换为透视图像。
UI 340接收由用户输入的命令。数据通信器350与诸如图2的图像编码设备的图像编码设备执行数据通信。感兴趣区域选择器360从UI 340接收由用户选择的感兴趣区域的位置信息，并控制PPIC 323输出感兴趣区域的图像。
混合器380将从第二解码器370输出的图像和从PPIC 323输出的图像混合以产生将通过透视图像显示单元显示的透视图像。如上所述，由于透视图像不是对原始感兴趣区域图像进行编码的结果，而是对原始感兴趣区域图像与重建感兴趣区域图像之间的误差图像进行编码的结果，所以从第二解码器370输出的图像是原始感兴趣区域图像与重建感兴趣区域图像之间的误差图像。因此，可通过将误差图像(即，从第二解码器370输出的图像)和重建感兴趣区域图像(即，从PPIC 323输出的图像)混合来获得完成的透视图像。
图5是示出根据本发明总体构思实施例的对图像进行解码的方法的流程图。参照图3和图5，在操作S510，通过数据通信器350接收通过对全向环形图像进行编码产生的环形图像比特流，即，第一比特流。在操作S520，由第一解码器310对环形图像比特流(即，第一比特流)进行解码，随后由APC321将其转换为全景图像，并且通过全景图像显示单元330显示所述全景图像。
然后，用户可观察全景图像，所述全景图像不是高分辨率图像，而是通过全景图像显示单元330提供全向图像。用户可使用UI 340输入命令以在由全景图像显示单元330显示的全向图像中选择用户想要更靠近地观察的感兴趣区域。在操作S530，从UI 340输出感兴趣区域的位置信息，并由感兴趣区域选择器360接收。在操作S540，通过数据通信器350将从UI 340输出的感兴趣区域的位置信息发送到诸如图2所示的图像编码设备的图像编码设备。图像编码设备基于感兴趣区域的位置信息产生包括与感兴趣区域相应的高分辨率透视图像数据的透视图像比特流，并将透视图像比特流发送到图3的图像解码设备。
在操作S550，通过数据通信器350接收透视图像比特流，即，第二比特流，并将其输入第二解码器370。在操作S560，由第二解码器370对透视图像比特流(第二比特流)进行解码，随后将其输出到混合器380。混合器380将从第二解码器370输出的图像和从PPIC 323输出的图像混合，由此产生感兴趣区域的透视图像。由透视图像显示单元(未示出)显示感兴趣区域的透视图像。
图6是示出根据本发明总体构思另一实施例的图像编码设备的框图。图6的图像编码设备具有与图2的图像编码设备类似的结构，除了图6的图像编码设备还包括下采样器205和上采样器215，以提供空间可伸缩性。
图7是示出根据本发明总体构思另一实施例的图像解码设备的框图。提供图7的图像解码设备以与图6的图像编码设备相应，图7的图像解码设备具有与图3的图像解码设备类似的结构，除了图7的图像解码设备还包括用于对从第一解码器310输出的图像进行上采样以便与图6的图像编码设备相应的上采样器315，其提供空间可伸缩性。
还可将本发明总体构思实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质可以是任何可存储数据的数据存储装置，所述数据可其后由计算机系统读取。计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储装置和载波(诸如通过互联网的数据传输)。还可将计算机可读记录介质分布于联网的计算机系统，从而以分布的方式存储和执行计算机可读代码。
如上所述，根据本发明总体构思的实施例，首先通过具有受限带宽的信道将粗略的全向图像发送到解码设备，随后向用户提供由用户从全向图像中选择的感兴趣区域的高分辨率图像。
尽管已经示出和描述了本发明总体构思的几个实施例，但是本领域的技术人员应理解：在不脱离本发明总体构思的原理和精神的情况下，可对这些实施例进行改变，本发明总体构思的范围由权利要求及其等同物限定。

Claims (29)

1.一种对图像进行编码的方法，包括：
通过对全向图像进行编码来产生第一比特流并将第一比特流发送到解码设备；
从解码设备接收从基于第一比特流重建的图像选择的感兴趣区域的位置信息；以及
通过基于位置信息对感兴趣区域的图像进行编码来产生第二比特流，
其中，产生第二比特流的步骤包括：从全向图像获得与感兴趣区域相应的第一图像；通过对第一比特流进行解码来获得重建全向图像；从重建全向图像获得与感兴趣区域相应的第二图像；获得第一图像与第二图像之间的误差图像，并对误差图像进行编码以产生第二比特流。
2.如权利要求1所述的方法，其中，
获得第一图像的步骤包括：
将全向图像转换为第一全景图像，并且
从第一全景图像获得第一图像，以及
获得第二图像的步骤包括：
将重建全向图像转换为第二全景图像，并且
从第二全景图像获得第二图像。
3.如权利要求2所述的方法，其中，
从第一全景图像获得第一图像的步骤包括：
从第一全景图像选择感兴趣区域，并且将从第一全景图像选择的感兴趣区域转换为透视图像，以获得第一图像；以及
从第二全景图像获得第二图像的步骤包括：
从第二全景图像选择感兴趣区域，并且将从第二全景图像选择的感兴趣区域转换为透视图像，以获得第二图像。
4.如权利要求1所述的方法，还包括：
在产生第一比特流之前对全向图像进行下采样，
其中，获得重建全向图像的步骤包括：
执行与下采样相应的上采样。
5.一种对图像进行编码的方法，包括：
对输入全向图像进行编码，并以第一分辨率输出编码的全向图像；以及
对与根据输入位置信息确定的输入全向图像的区域相应的图像进行编码，并以第二分辨率输出与输入全向图像的所述区域相应的编码的图像，
其中，对与输入全向图像的区域相应的图像进行编码的步骤包括：对以第一分辨率输出的编码的全向图像进行解码；根据输入位置信息产生解码的全向图像的区域的第一透视图像；根据输入位置信息产生所述输入全向图像的所述区域的第二透视图像；计算第二透视图像与第一透视图像之间的误差图像；对计算的误差图像进行编码。
6.如权利要求5所述的方法，其中，第二分辨率高于第一分辨率。
7.一种用于对图像进行编码的设备，包括：
第一编码器，用于对全向图像进行编码以产生第一比特流；
感兴趣区域选择器，用于从解码设备接收从基于第一比特流重建的图像选择的感兴趣区域的位置信息，并输出区域选择控制信号；
数据通信器，用于将第一比特流发送到解码设备；
第一转换单元，用于响应于区域选择控制信号，输出与全向图像中的感兴趣区域相应的第一图像；
第二转换单元，用于响应于区域选择控制信号，输出与重建全向图像中的感兴趣区域相应的第二图像，所述重建全向图像由第一编码器通过对第一比特流进行解码而产生；
减法器，用于将第一图像与第二图像之间的误差图像输出到第二编码器，作为将由第二编码器进行编码的感兴趣区域的图像；以及
第二编码器，用于对误差图像进行编码以产生第二比特流。
8.如权利要求7所述的设备，其中，
第一转换单元包括：
第一全景图像产生器，用于将全向图像转换为第一全景图像，并输出第一全景图像；
第一透视图像产生器，用于将与第一全景图像中的感兴趣区域相应的部分转换为第一透视图像，并输出第一透视图像；以及
第二转换单元包括：
第二全景图像产生器，用于将重建全向图像转换为第二全景图像，并输出第二全景图像，
第二透视图像产生器，用于将与第二全景图像中的感兴趣区域相应的部分转换为第二透视图像，并输出第二透视图像。
9.如权利要求7所述的设备，还包括：
下采样器，用于对全向图像进行下采样，并将下采样的结果输出到第一编码器；以及
上采样器，用于对由第一编码器产生的重建全向图像执行与下采样相应的上采样，并输出上采样的结果。
10.一种图像编码设备，包括：
第一编码单元，用于对输入全向图像进行编码，并对编码的输入全向图像进行解码；
感兴趣区域单元，用于接收输入全向图像的所选择的感兴趣区域的输入位置信息，并根据接收的位置信息，分别产生输入全向图像和解码的全向图像中所选择的感兴趣区域的第一和第二透视图像；以及
第二编码单元，用于对所选择的感兴趣区域的第一和第二透视图像之间的误差图像进行编码。
11.如权利要求10所述的图像编码设备，其中，第二编码单元以高于第一编码单元发送编码的全向图像的分辨率来发送编码的误差图像。
12.如权利要求10所述的图像编码设备，其中，感兴趣区域单元包括：
第一转换单元，用于产生输入全向图像中所选择的区域的第一透视图像；
第二转换单元，用于产生解码的全向图像中所选择的区域的透视第二图像；以及
感兴趣区域选择器，用于接收所选择的感兴趣区域的输入位置信息，并根据接收的位置信息来控制第一和第二转换单元。
13.如权利要求12所述的图像编码设备，其中，第一转换单元包括：第一全向到全景转换器，用于将输入全向图像转换为第一全景图像；和第一全景到透视图像转换器，用于根据输入位置信息将第一全景图像的部分转换为第一透视图像；以及第二转换单元包括：第二全向到全景转换器，用于将解码的全向图像转换为第二全景图像；和第二全景到透视图像转换器，用于根据输入位置信息将第二全景图像的部分转换为第二透视图像。
14.如权利要求10所述的图像编码设备，还包括：
数据通信器，用于将编码的全向图像和编码的误差图像发送到外部解码设备，并从外部解码设备接收所选择的感兴趣区域的输入位置信息，将接收的位置信息发送到感兴趣区域单元。
15.如权利要求10所述的图像编码设备，其中，感兴趣区域从解码的全向图像选择。
16.一种对图像进行解码的方法，包括：
从编码设备接收通过对全向图像进行编码产生的第一比特流；
对第一比特流进行解码并显示重建图像；
将从显示的重建图像选择的感兴趣区域的位置信息发送到编码设备；
从编码设备接收通过对感兴趣区域的图像进行编码产生的第二比特流；以及
对第二比特流进行解码，其中，对第二比特流的解码包括：通过对第二比特流进行解码来获得与感兴趣区域相应的第一图像；从重建图像获得与感兴趣区域相应的第二图像；通过将第一图像与第二图像混合来产生与感兴趣区域相应的组合透视图像。
17.如权利要求16所述的方法，其中，获得第二图像的步骤包括：
将重建图像转换为全景图像；
从全景图像选择感兴趣区域；以及
将感兴趣区域转换为透视图像以获得第二图像。
18.如权利要求16所述的方法，还包括：当在编码设备对全向图像进行编码的时候执行下采样时，对重建全向图像执行与下采样相应的上采样。
19.一种显示编码的图像的方法，包括：
对输入的编码全向图像进行解码并显示解码的全向图像；
在解码的全向图像中选择感兴趣区域并输出所选择的感兴趣区域的位置信息；
对所输入的经过编码的原始感兴趣区域图像与重建感兴趣区域图像之间的误差图像进行解码，并将解码的误差图像与解码的全向图像中所选择的感兴趣区域的图像组合，以形成组合的感兴趣区域图像；以及
显示组合的感兴趣区域图像。
20.如权利要求19所述的方法，其中，根据所选择的感兴趣区域的输出位置信息来产生输入的编码误差图像。
21.如权利要求19所述的方法，其中，将解码的误差图像与解码的全向图像中所选择的感兴趣区域的图像组合的步骤包括：
将解码的全向图像转换为全景图像；以及
根据所选择的感兴趣区域将全景图像的部分转换为透视图像。
22.一种用于对图像进行解码的设备，包括：
第一解码器，用于从编码设备接收通过对全向图像进行编码产生的第一比特流，并对第一比特流进行解码以产生重建全向图像；
第一显示单元，用于显示由第一解码器解码的重建全向图像；
感兴趣区域选择器，用于接收从由第一显示单元显示的重建全向图像选择的感兴趣区域的位置信息，并输出区域选择控制信号；
数据通信器，用于将所述感兴趣区域的位置信息发送到编码设备；
转换单元，用于响应于区域选择控制信号，输出与重建全向图像中的感兴趣区域相应的图像；
第二解码器，用于从编码设备接收通过对感兴趣区域的图像进行编码产生的第二比特流，并对第二比特流进行解码；以及
混合器，用于将从第二编码器输出的图像与从转换单元输出的图像混合。
23.如权利要求22所述的设备，其中，转换单元包括：
全景图像产生器，用于将由第一解码器解码的重建全向图像转换为全景图像；以及
透视图像产生器，用于响应于区域选择控制信号将与全景图像中的感兴趣区域相应的部分转换为透视图像，并将透视图像输出到混合器。
24.如权利要求22所述的设备，还包括：
上采样器，用于对重建全景图像执行与当编码设备对全向图像进行编码时执行的下采样相应的上采样。
25.一种图像解码设备，包括：
第一解码单元，用于对输入的编码全向图像进行解码；
感兴趣区域单元，用于在解码的全向图像中选择感兴趣区域，输出所选择的感兴趣区域的位置信息，并产生解码的全向图像中所选择的感兴趣区域的透视图像；
第二解码单元，用于对所输入的原始感兴趣区域图像与重建感兴趣区域图像之间的误差图像进行解码；以及
计算单元，用于将解码的全向图像中所选择的感兴趣区域的透视图像与解码的误差图像组合，以形成组合的感兴趣区域图像。
26.如权利要求25所述的图像解码设备，其中，感兴趣区域单元包括：
显示器，用于显示解码的全向图像；
用户接口，用于允许用户根据显示的全向图像选择感兴趣区域；以及
转换单元，用于产生解码的全向图像中所选择的感兴趣区域的透视图像。
27.如权利要求26所述的图像解码设备，其中，转换单元包括：
全向到全景转换器，用于将解码的全向图像转换为全景图像，并将全景图像输出到显示器，以在其上进行显示；以及
全景到透视图像转换器，用于将与所选择的感兴趣区域相应的全景图像的部分转换为所选择的感兴趣区域的透视图像。
28.如权利要求25所述的图像解码设备，还包括：
一个或更多显示器，用于显示解码的全向图像和组合的感兴趣区域图像。
29.一种图像编码和解码设备，包括：
编码单元，用于对输入全向图像进行编码，发送编码的全向图像，接收输入全向图像的感兴趣区域的位置信息，对与根据接收的位置信息确定的输入全向图像的部分相应的原始感兴趣区域图像与重建感兴趣区域之间的误差图像进行编码，并发送编码的误差图像；以及
解码单元，用于接收编码的全向图像并对其进行解码，基于解码的全向图像选择感兴趣区域，将感兴趣区域的位置信息发送到编码单元，接收编码的误差图像并对其进行解码，将解码的误差图像与根据位置信息确定的解码的全向图像的部分的图像组合，以形成组合的所选择的感兴趣区域的图像。
CN2005800269727A 2004-08-13 2005-08-12 对图像编码的方法和设备及对图像数据解码的方法和设备 Expired - Fee Related CN101002471B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US60114704P 2004-08-13 2004-08-13
US60/601,147 2004-08-13
KR1020040075972 2004-09-22
KR10-2004-0075972 2004-09-22
KR1020040075972A KR100739686B1 (ko) 2004-08-13 2004-09-22 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치
PCT/KR2005/002638 WO2006016782A1 (en) 2004-08-13 2005-08-12 Method and apparatus to encode image, and method and apparatus to decode image data

Publications (2)

Publication Number Publication Date
CN101002471A CN101002471A (zh) 2007-07-18
CN101002471B true CN101002471B (zh) 2010-08-18

Family

ID=37124058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800269727A Expired - Fee Related CN101002471B (zh) 2004-08-13 2005-08-12 对图像编码的方法和设备及对图像数据解码的方法和设备

Country Status (3)

Country Link
US (1) US8217988B2 (zh)
KR (1) KR100739686B1 (zh)
CN (1) CN101002471B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080117288A1 (en) * 2006-11-16 2008-05-22 Imove, Inc. Distributed Video Sensor Panoramic Imaging System
US8094182B2 (en) 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
KR101299245B1 (ko) * 2007-04-03 2013-08-22 삼성테크윈 주식회사 관심영역을 복호화하는 영상재생장치 및 그 방법
US8928579B2 (en) * 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
KR101663321B1 (ko) * 2010-07-30 2016-10-17 삼성전자주식회사 파노라마 사진 촬영 방법
US9325797B2 (en) 2012-02-29 2016-04-26 Google Inc. System and method for requesting an updated user location
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
US9635252B2 (en) * 2013-04-16 2017-04-25 Disney Enterprises, Inc. Live panoramic image capture and distribution
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
US10521099B2 (en) * 2015-08-28 2019-12-31 Facebook, Inc. Systems and methods for providing interactivity for panoramic media content
US10521100B2 (en) 2015-08-28 2019-12-31 Facebook, Inc. Systems and methods for providing interactivity for panoramic media content
GB2543320B (en) * 2015-10-14 2020-05-13 Sony Interactive Entertainment Inc Head-mountable display system
US10277858B2 (en) * 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
WO2017138458A1 (ja) * 2016-02-09 2017-08-17 株式会社ソニー・インタラクティブエンタテインメント 映像表示システム
US10225546B2 (en) 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
US10230957B2 (en) 2016-03-22 2019-03-12 Cyberlink Corp. Systems and methods for encoding 360 video
WO2017195650A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 生成装置および生成方法、並びに、再生装置および再生方法
US11184624B2 (en) * 2016-05-19 2021-11-23 Qualcomm Incorporated Regional random access in pictures
WO2018004317A1 (ko) * 2016-07-01 2018-01-04 에스케이텔레콤 주식회사 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
US10743000B2 (en) 2016-07-01 2020-08-11 Sk Telecom Co., Ltd. Video bitstream generation method and device for high-resolution video streaming
KR20180018017A (ko) * 2016-08-12 2018-02-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
CN106548446B (zh) * 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
CN118214886A (zh) 2016-10-04 2024-06-18 有限公司B1影像技术研究所 图像编码/解码方法和传输比特流的方法
CN118474340A (zh) 2016-10-04 2024-08-09 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和传输数据的方法
WO2018066986A1 (ko) * 2016-10-06 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018066985A1 (ko) * 2016-10-06 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018066984A1 (ko) * 2016-10-06 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018066981A1 (ko) * 2016-10-06 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
US10979721B2 (en) 2016-11-17 2021-04-13 Dolby Laboratories Licensing Corporation Predicting and verifying regions of interest selections
EP3389281B1 (en) * 2017-04-16 2020-12-30 Facebook, Inc. Systems and methods for provisioning content
EP3389282B1 (en) * 2017-04-16 2020-05-13 Facebook, Inc. Systems and methods for provisioning content
US11182639B2 (en) 2017-04-16 2021-11-23 Facebook, Inc. Systems and methods for provisioning content
CN107105333A (zh) * 2017-04-26 2017-08-29 电子科技大学 一种基于视线追踪技术的vr视频直播交互方法与装置
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
CN110858902A (zh) * 2018-08-22 2020-03-03 晨星半导体股份有限公司 基于输入地理位置的解码图块与显示位置同步方法及相关视频解码装置
CN110858907A (zh) * 2018-08-22 2020-03-03 晨星半导体股份有限公司 可适应解码帧缓存器尺寸的图块布局重建方法及相关视频解码装置
FR3086831A1 (fr) * 2018-10-01 2020-04-03 Orange Codage et decodage d'une video omnidirectionnelle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014671A (en) * 1998-04-14 2000-01-11 International Business Machines Corporation Interactive retrieval and caching of multi-dimensional data using view elements
US6121970A (en) * 1997-11-26 2000-09-19 Mgi Software Corporation Method and system for HTML-driven interactive image client
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331869B1 (en) * 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6043837A (en) * 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6124862A (en) 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6192393B1 (en) 1998-04-07 2001-02-20 Mgi Software Corporation Method and system for panorama viewing
US6665872B1 (en) * 1999-01-06 2003-12-16 Sarnoff Corporation Latency-based statistical multiplexing
JP2000261783A (ja) 1999-03-05 2000-09-22 Tamura Electric Works Ltd 撮影画像配信システム
JP2001008232A (ja) * 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
KR20010082993A (ko) 2000-02-22 2001-08-31 이연옥 3차원 이미지 입력 장치 및 데이터 전송 방법
US6791598B1 (en) * 2000-03-17 2004-09-14 International Business Machines Corporation Methods and apparatus for information capture and steroscopic display of panoramic images
KR100405060B1 (ko) 2000-08-24 2003-11-07 휴먼드림 주식회사 데이터 통신망을 통한 디지털 확대 이미지 제공방법,디지털 확대 이미지 제공장치
KR100328397B1 (ko) 2000-08-24 2002-03-13 김웅순 고해상도 파노라마 동영상의 획득 및 디스플레이 방법
JP3740011B2 (ja) 2000-11-29 2006-01-25 コナミ株式会社 画像表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体、ならびに、画像表示制御装置及び方法
FR2828754A1 (fr) 2001-08-14 2003-02-21 Koninkl Philips Electronics Nv Visualisation d'un montage d'une video panoramique par application de commandes de navigation a ladite video panoramique

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6121970A (en) * 1997-11-26 2000-09-19 Mgi Software Corporation Method and system for HTML-driven interactive image client
US6014671A (en) * 1998-04-14 2000-01-11 International Business Machines Corporation Interactive retrieval and caching of multi-dimensional data using view elements

Also Published As

Publication number Publication date
US20060034367A1 (en) 2006-02-16
US8217988B2 (en) 2012-07-10
KR100739686B1 (ko) 2007-07-13
CN101002471A (zh) 2007-07-18
KR20060015223A (ko) 2006-02-16

Similar Documents

Publication Publication Date Title
CN101002471B (zh) 对图像编码的方法和设备及对图像数据解码的方法和设备
US10567464B2 (en) Video compression with adaptive view-dependent lighting removal
US10341632B2 (en) Spatial random access enabled video system with a three-dimensional viewing volume
US11184584B2 (en) Method for image decoding, method for image encoding, apparatus for image decoding, apparatus for image encoding
JP6501904B2 (ja) 球面ビデオのストリーミング
US11057646B2 (en) Image processor and image processing method
WO2018172614A1 (en) A method and an apparatus and a computer program product for adaptive streaming
WO2009074110A1 (en) Communication terminal and information system
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
JP2008509630A (ja) パノラマ画像の動き推定及び補償のために仮想画像領域を生成する方法及び装置
KR102157658B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
JP2008510357A (ja) 画像のエンコーディング方法、エンコーディング装置、画像のデコーディング方法及びデコーディング装置
KR101861929B1 (ko) 관심 영역을 고려한 가상 현실 서비스 제공
CN107707830B (zh) 基于单向通信的全景视频播放拍照系统
US11910054B2 (en) Method and apparatus for decoding a 3D video
CN111726598B (zh) 图像处理方法和装置
Hu et al. Mobile edge assisted live streaming system for omnidirectional video
KR102183895B1 (ko) 가상 현실 비디오 스트리밍에서의 관심영역 타일 인덱싱
Fautier VR video ecosystem for live distribution
CN113949929A (zh) 一种视频通讯逼真技术
CN114866760A (zh) 一种虚拟现实显示方法、设备、系统和可读存储介质
Reddy et al. A client-driven 3D content creation system using 2D capable devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100818

Termination date: 20210812