CN100579245C - 使用相机参数编码和产生多视点视频的设备和方法 - Google Patents

使用相机参数编码和产生多视点视频的设备和方法 Download PDF

Info

Publication number
CN100579245C
CN100579245C CN200680008288A CN200680008288A CN100579245C CN 100579245 C CN100579245 C CN 100579245C CN 200680008288 A CN200680008288 A CN 200680008288A CN 200680008288 A CN200680008288 A CN 200680008288A CN 100579245 C CN100579245 C CN 100579245C
Authority
CN
China
Prior art keywords
camera
video
camera parameter
parameter
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200680008288A
Other languages
English (en)
Other versions
CN101142824A (zh
Inventor
李英烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Industry Academy Cooperation Foundation of Sejong University
Original Assignee
Samsung Electronics Co Ltd
Industry Academy Cooperation Foundation of Sejong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Industry Academy Cooperation Foundation of Sejong University filed Critical Samsung Electronics Co Ltd
Publication of CN101142824A publication Critical patent/CN101142824A/zh
Application granted granted Critical
Publication of CN100579245C publication Critical patent/CN100579245C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

提供一种使用相机参数对多视点视频编码的方法以及一种使用相机参数对多视点视频解码的方法。使用相机参数对多视点视频编码的方法包括：以预定的视频单位从多视点相机输入的多个视频数据中的每一个检测相机参数；以及根据每个视频数据是否具有相机参数自适应地对多个视频数据中的每一个编码。因此，可以增加压缩视频的效率而不用降低视频质量。

Description

使用相机参数编码和产生多视点视频的设备和方法
技术领域
本发明涉及编码和解码视频，更具体地说，涉及使用相机参数对多视点视频编码以及使用相机参数产生多视点视频。
背景技术
使用运动图像专家组层4(MPEG-4)和H.264标准的视频编码涉及对相机拍摄的视频编码，并主要集中在增加编码效率。然而，在实际通信或虚拟实体领域中，由多个相机拍摄场景以形成三维(3D)多视点视频。因此，对形成的多视点视频进行有效压缩-编码和再现的方法是必要的。
在美国第2004/0027452A1号专利申请公布中公开了一种传统多视点编码方法。
发明内容
技术问题
然而，传统的压缩-编码和再现视频的方法涉及压缩-编码和再现由一个相机拍摄的视频，因此很难将这种方法应用到多视点视频。
技术方案
本发明提供一种用于使用相机参数对多视点视频有效地编码的方法和设备，以及提供一种使用相机参数产生多视点视频的方法和设备。
本发明还提供一种存储用于执行上述方法的程序的计算机可读记录介质。
根据本发明的一方面，提供一种对多视点视频编码的方法，所述方法包括：从至少一个多视点相机接收多个视频数据；以预定的视频单位确定接收的多个视频数据中的每一个是否包括相机参数；以及根据多个视频数据中的每一个是否包括相机参数以预定的视频单位自适应地对所述多个视频数据中的每一个编码。
该方法还可包括：将指示多个视频数据中的每一个是否包括相机参数的信息插入到编码的视频数据中。
该方法还可包括：如果多个视频数据包括相机参数，则确定多个视频数据中的每一个的相机参数是否可靠。
相机参数可包括关于内部相机特性的内部参数和关于外部相机特性的外部参数中的至少一个。内部参数可包括焦距、主点、像素的宽度和高度、倾斜角、相机传感器的水平和垂直像素的数量、径向畸变系数和切向畸变系数中的至少一个。外部参数可包括相机位置信息。
可基于是否执行了至少一个多视点相机的变焦和摇摄(panning)中的至少一个来确定相机参数是否可靠。
当自适应地对多个视频数据编码时，可仅将具有相机参数的视频数据用作参考视频数据。
当自适应地对多个视频数据编码时，可仅将包括确定为可靠的相机参数的视频数据用作参考视频数据。
预定的视频单位可以是片单位，并且指示相机参数是否存在以及是否可靠的相机参数信息可作为2比特标志插入到每个输入比特流的片头。
根据本发明的另一方面，提供一种计算机可读记录介质，存储记录在其上的用于执行对多视点视频编码的方法的程序，其中，所述方法包括：从至少一个多视点相机接收多个视频数据；以预定的视频单位确定接收的多个视频数据中的每一个是否包括相机参数；以及根据每个视频数据是否包括相机参数以预定的视频单位自适应地对所述多个视频数据中的每一个编码。
根据本发明的另一方面，提供一种对多视点视频编码的设备，所述设备包括：输入单元，从至少一个多视点相机接收多个视频数据；相机参数检测器，以预定的视频单位检测接收的多个视频数据中的相机参数；编码器，根据是否存在相机参数以预定的视频单位自适应地对多个视频数据中的每一个编码。
根据本发明的另一方面，提供一种对多视点视频编码的方法，所述方法包括：检测当前视频和至少一个相邻视频的相机参数；以及根据当前视频和至少一个相邻视频是否包括相机参数自适应地对当前视频编码。
根据本发明的另一方面，提供一种计算机可读记录介质，存储记录在其上的用于执行对多视点视频编码的方法的程序，其中，所述方法包括：检测当前视频和至少一个相邻视频的相机参数；以及根据当前视频和至少一个相邻视频是否包括相机参数自适应地对当前视频编码。
根据本发明的另一方面，提供一种对多视点视频编码的设备，所述设备包括：检测器，检测当前视频和至少一个相邻视频的相机参数；以及编码器，根据当前视频和至少一个相邻视频是否包括相机参数自适应地对当前视频编码。
根据本发明的另一方面，提供一种使用相机参数信息产生多视点视频的方法，所述方法包括：以预定的视频单位从输入比特流提取每个视频的相机参数信息；以及基于提取的相机参数信息产生视频。
根据本发明的另一方面，提供一种计算机可读记录介质，存储记录在其上的用于执行对多视点视频编码的方法的程序，其中，所述方法包括：以预定的视频单位从输入比特流提取每个视频的相机参数信息；以及基于提取的相机参数信息产生视频。
根据本发明的另一方面，提供一种使用相机参数信息产生多视点视频的设备，所述设备包括：相机参数信息提取单元，以预定的视频单位从输入比特流提取每个视频的相机参数信息；以及视频产生单元，基于提取的相机参数信息产生视频。
有益效果
如上所述，根据本发明各方面，根据视频是否具有相机参数以及相机参数是否可靠来自适应地对视频编码，从而增加了视频压缩效率。另外，根据包括在输入比特流中的相机参数信息来自适应地产生中间视点帧，从而提高将被显示的视频的质量。
附图说明
通过参照附图对本发明示例性实施例的详细描述，本发明的上述和其他方面将会变得更加清楚，其中：
图1示出用于获得多视点视频的相机的位置；
图2示出根据时间由多个相机拍摄的视频；
图3是示出在本发明示例性实施例中使用的空间-时间预测编码的示图；
图4是根据本发明示例性实施例的对多视点视频编码的设备的框图；
图5是示出根据本发明示例性实施例的对多视点视频编码的方法的流程图；
图6是根据本发明另一示例性实施例的对多视点视频编码的设备的框图；
图7是示出根据本发明另一示例性实施例的对多视点视频编码的方法的流程图；
图8是根据本发明示例性实施例的对多视点视频解码的设备的框图；
图9是示出根据本发明示例性实施例的产生中间视点视频的方法的示图；
图10是示出根据本发明另一示例性实施例的产生中间视点视频的方法的示图；以及
图11是示出根据本发明示例性实施例的使用对多视点视频解码的设备对多视点视频解码的方法的流程图。
具体实施方式
以下，将参数附图详细描述本发明的示例性实施例。
图1示出以一维的直线安装的用于接收多视点视频并对其编码的多个相机的位置。在本发明的示例性实施例中，假设以二维(2D)排列沿着i轴和j轴安装相机。然而，将首先描述以一维安装相机的情况，即，当i＝0时的情况。
图2是用于建立由多个相机根据时间拍摄的帧的坐标系统。在图2中，用f(i，j，t)指示在预定的时刻由预定的相机拍摄的帧。在此，i和j代表相机的位置，t代表时间。参照图1和图2，以一维直线安装相机，也就是说，对于所有相机来说i＝0。例如，f(0，0，0)代表中心相机拍摄的第一帧。
图3是示出在本发明示例性实施例中使用的空间-时间预测编码的示图。参照图3，可参照相邻的帧f(0，-1，2)、f(0，-1，1)、f(0，0，1)和f(0，1，2)来对由中心相机拍摄的帧f(0，0，2)编码。空间-时间预测编码允许在编码期间参考更多的帧，从而提高了再现视频的质量。
图4是根据本发明示例性实施例的对多视点视频编码的设备的框图。该设备包括：相机参数检测器420、多视点视频编码器440和相机参数信息插入单元460。
相机参数检测器420从多个相机接收的视频数据检测关于每个帧的相机特性信息，例如，相机参数信息。相机参数可被划分为内部参数和外部参数。
内部参数包括焦距、主点、像素宽度和高度、倾斜角、相机传感器的水平和垂直像素的数量、径向畸变系数和切向畸变系数。外部参数包括相机的位置信息(诸如相机在世界坐标系统(world coordinate system)中的坐标)和在坐标x、y、z上的半径和角度。
相机参数检测器420检测输入多视点视频的每个帧是否具有相机参数，并将检测的结果发送到多视点视频编码器440。
由于形成多视点视频的多个相机中的某一些可能不发送相机参数，因此必须确定相机参数是否存在。当从相机输入的视频不具有相机参数时，当对相邻视频编码时，不可以使用输入视频内插多视点视频(即，中间视点视频)。
例如，参照图3，如果帧f(0，0，1)具有相机参数而帧f(0，-1，1)不具有相机参数，则不可以使用帧f(0，0，1)和f(0，-1，1)在帧f(0，0，1)和f(0，-1，1)之间内插帧f(0，-1/2，1)。在这种情况下，当帧f(0，-2，1)具有相机参数时，必须使用帧f(0，0，1)和f(0，-2，1)内插帧f(0，-1/2，1)。
随后将描述确定在每个视频中是否存在相机参数对于将视频数据编码也可能是有用的。
因此，需要以下处理：检测从用于拍摄多视点视频的n个相机输入的每个视频中是否存在相机参数。
在本示例性实施例中，假设相机参数以输入视频的片为单位被包括在片头中，并且确定输入视频的片头中是否包括相机参数。或者，相机参数可不以片为单位(例如，以宏块为单位)被包括在除输入视频的片头之外的位置。
多视点视频编码器440根据是否存在每个输入帧的相机参数信息对每个输入帧编码。例如，当在图3中示出的所有帧f(0，-1，1)、f(0，0，1)和f(0，1，1)都具有相机参数时，可使用解码器(未示出)基于相邻帧f(0，-1，1)和f(0，1，1)通过内插来再现帧f(0，0，1)。因此，可以省略压缩帧f(0，0，1)的步骤，省略发送压缩帧f(0，0，1)的结果的步骤，或者可以压缩并发送从帧f(0，0，1)与内插帧f’(0，0，1)之间的差获得的差数据，所述内插帧f’(0，0，1)是通过使用相邻帧f(0，-1，1)和f(0，1，1)内插帧f(0，0，1)而获得的。
根据本示例性实施例，可以有选择地省略压缩可由解码器内插的多视点视频的步骤，省略发送压缩的视频的步骤，或者可以压缩并发送当前帧和内插视频之间的差，从而在不降低视频质量的情况下增加视频压缩的效率。
可被附加地包括在本示例性实施例中的相机参数信息插入单元460将指示每个视频是否具有相机参数的相机参数信息插入到由多视点视频编码器440编码的比特流的预定点。
根据本示例性实施例，相机参数信息是1比特的Camera_Parameter_Existing_Flag，其作为语法元素以片为单位插入到每个视频的片头。插入相机参数信息的编码的比特流被发送到解码器。
或者，可按宏块为单位插入相机参数信息，并且相机参数信息作为从关于视频的信息分离的附加信息被发送。
图5是示出根据本发明示例性实施例的使用图4的设备对多视点视频编码的方法的流程图。参照图5，从至少一个多视点相机接收多个视频数据(操作520)。
接下来，确定当前帧和相邻帧是否具有相机参数(操作540)。
然后，根据当前帧和相邻帧是否具有相机参数对当前帧执行自适应的编码(操作560)。如果当前帧不具有相机参数，则对当前帧编码以进行压缩。如果当前帧具有相机参数，则随后确定相邻帧是否具有相机参数。当相邻帧具有相机参数时，使用多视点视频编码器440基于相邻帧对当前帧执行自适应的编码。
接着，将指示相邻帧中是否存在相机参数的信息添加到编码的当前帧(操作580)。操作580是可选的。
现将参照图3更详细地描述操作560和580。如果在图3中示出的当前帧f(0，0，1)和相邻帧f(0，-1，1)以及f(0，1，1)具有相机参数，则不对当前帧f(0，0，1)编码而发送当前帧f(0，0，1)的相机参数。将指示当前帧f(0，0，1)具有相机参数的相机参数标志插入到将被发送的比特流，例如，插入到片头。在这种情况下，通过使用当前帧f(0，0，1)的相机参数、相邻帧f(0，-1，1)和f(0，1，1)以及相邻帧f(0，-1，1)和f(0，1，1)的相机参数对当前帧f(0，0，1)解码来再现当前帧f(0，0，1)。
或者，当相邻帧f(0，-1，1)和f(0，1，1)具有相机参数时，仅发送当前帧f(0，0，1)的相机参数以及当前帧f(0，0，1)和内插帧f’(0，0，1)之间的差，所述内插帧f’(0，0，1)是通过使用相邻帧f(0，-1，1)和f(0，1，1)内插当前帧f(0，0，1)而获得的。相似地，将指示当前帧f(0，0，1)的相机参数存在的相机参数标志插入到将被发送的比特流。在这种情况下，通过使用当前帧f(0，0，1)的相机参数、所述差与相邻帧(0，-1，1)和f(0，1，1)以及所述相邻帧的相机参数来对当前帧f(0，0，1)解码来再现当前帧f(0，0，1)。
当最靠近当前帧的帧中仅有一个具有相机参数时，可仅发送当前帧f(0，0，1)的相机参数而无需对当前帧f(0，0，1)编码。在这种情况下，当再现当前帧f(0，0，1)时，使用其相机参数、具有相机参数的最近的帧和最近的视频的相机参数来对当前帧f(0，0，1)进行解码。此外，可使用附近的帧(例如，帧f(0，-1，2))以及附近的帧的相机参数来再现当前帧f(0，0，1)，所述附近的帧具有相机参数并且靠近不具有相机参数的相邻帧。当帧f(0，-1，2)是P帧并且当前帧f(0，0，1)是基于帧f(0，-1，2)的B帧时，可基于帧f(0，-1，2)来再现当前帧f(0，0，1)。
图6是根据本发明另一示例性实施例的对多视点视频编码的设备的框图。该设备包括相机参数检测器620、相机参数可靠性确定单元640、多视点视频编码器660和相机参数信息插入单元680。
相机参数检测器620的操作与图4的相机参数检测器420的操作相同。
当相机参数检测器620确定在帧中存在相机参数时，相机参数可靠性确定单元640确定帧的相机参数是否可靠。在本示例性实施例中，当在拍摄视频中使用相机变焦或摇摄(panning)时，确定视频的相机参数不可靠。或者，可通过变焦和摇摄之外的预定的条件(例如，相机倾斜、相机位置的变化和焦距的变化)来确定相机参数的可靠性。
如果所有的帧f(0，-1，1)、f(0，0，1)和f(0，1，1)都具有可靠的相机参数，则可通过使用相邻帧f(0，-1，1)和f(0，1，1)进行内插来通过解码器再现帧f(0，0，1)。因此，可不对帧f(0，0，1)编码，也可不发送对帧f(0，0，1)编码的结果，或者可对帧f(0，0，1)和内插帧f’(0，0，1)之间的差编码并将其发送，所述内插帧f’(0，0，1)是通过使用相邻帧f(0，-1，1)和f(0，1，1)内插帧f(0，0，1)而获得的。
另一方面，如果所有的帧f(0，-1，1)、f(0，0，1)和f(0，1，1)都具有相机参数，但是由于使用了相机的变焦或摇摄(例如，在拍摄帧f(0，-1，1)中)相机参数对于帧f(0，-1，1)不可靠，从而不能通过解码器从相邻帧f(0，-1，1)和f(0，1，1)再现帧f(0，0，1)。因此，必须压缩并发送帧f(0，0，1)，或者必须压缩并发送帧f(0，0，1)与内插帧f’(0，0，1)之间的差，所述内插帧f’(0，0，1)是通过使用相邻帧f(0，1，1)和f(0，-1，2)内插帧f(0，0，1)而获得的。这是因为使用相机参数不可靠(由于相机摇摄所致)的帧内插帧而获得的内插帧可能使图像畸变。
如上所述，多视点视频编码器660根据是否存在相机参数(由相机参数检测器620确定)对输入视频执行自适应编码，并由相机参数可靠性确定单元640确定相机参数的可靠性。
可选的相机参数信息插入单元680将每个帧的2比特的相机参数信息(即，指示相机参数是否存在的Camera_Parameter_Existing_Flag和关于相机参数的可靠性的Guaranteed_Camera_Parameter_Flag)划分为两个1比特的信息值，并将两个比特作为语法元素以片为单位插入到每个视频的片头。或者，可将两个比特的相机参数信息以宏块为单位插入到片头，或者作为与视频分离的附加信息被发送。
图7是示出根据本发明示例性实施例的使用图6的设备对多视点视频编码的方法的流程图。参照图6，从至少一个多视点相机接收多个视频数据(操作710)。
接下来，确定当前帧和相邻帧是否具有相机参数(操作720)。
然后，当确定当前帧和相邻帧具有相机参数时(操作730)，该方法进行操作740。如果在操作730确定当前帧或者相邻帧不具有相机参数，则该方法进行操作750。
接着，确定当前帧和相邻帧的相机参数是否可靠(操作740)。
接下来，根据操作720和操作740的结果对当前帧执行自适应编码(操作750)。例如，在当前帧或者相邻帧不具有相机参数时，对当前视频编码。
参照图3，在当前帧f(0，0，1)以及相邻帧f(0，-1，1)和f(0，1，1)都具有可靠的相机参数时，不对当前帧f(0，0，1)编码而仅发送其相机参数。在这种情况下，当再现当前帧f(0，0，1)时，使用当前帧f(0，0，1)的相机参数、相邻帧f(0，-1，1)和f(0，1，1)和所述相邻帧的相机参数对当前帧f(0，0，1)进行解码。
当所有帧f(0，-1，1)、f(0，0，1)和f(0，1，1)都具有相机参数但是由于在拍摄帧f(0，-1，1)时相机变焦或者摇摄而造成帧f(0，-1，1)的相机参数不可靠时，解码器不能从相邻帧帧f(0，-1，1)和帧f(0，1，1)再现帧f(0，0，1)。因此，必须压缩并发送帧f(0，0，1)，或者压缩并发送帧f(0，0，1)与内插帧f’(0，0，1)之间的差，所述内插帧f’(0，0，1)是通过使用相邻帧f(0，1，1)和f(0，-1，2)内插帧f(0，0，1)而获得的。
接下来，将指示相机参数是否存在以及是否可靠的相机参数信息插入到编码的视频数据(操作760)。操作760是可选的。
如果在操作720确定当前帧具有相机参数但是在操作740确定该相机参数不可靠，则将指示当前帧的相机参数存在但是不可靠的相机参数标志插入到编码的比特流的片头。在本示例性实施例中，将指示相机参数是否存在和可靠的相机参数信息作为2个比特的标志以片为单位插入到片头。
图8是根据本发明示例性实施例的对多视点视频解码的设备的框图。该设备包括比特流再现和相机参数提取单元820和多视点视频产生单元840。
比特流再现和相机参数提取单元820在再现输入比特流的帧的同时确定每个视频是否具有相机参数。在本示例性实施例中，使用被插入到每个帧的片头的1比特相机参数信息(即，Camera_Parameter_Existing_Flag)来确定每个视频是否具有相机参数。当Camera_Parameter_Existing_Flag为“1”时，确定相机参数存在，当Camera_Parameter_Existing_Flag为“0”时，确定相机参数不存在。
多视点视频产生单元840基于由比特流再现和相机参数提取单元820提取的相机参数信息在每个点(例如，在中间视点)及时产生多视点视频和内插视频。
例如，参照图3，仅当帧f(0，-1，1)和f(0，1，1)具有相机参数时，编码器不发送关于帧f(0，0，1)的数据，或者仅发送帧f(0，0，1)和内插帧f’(0，0，1)之间的差，所述内插帧f’(0，0，1)是通过使用相邻帧f(0，-1，1)和f(0，1，1)内插帧f(0，0，1)而获得的。在这种情况下，使用帧f(0，0，1)的相机参数、相邻帧f(0，-1，1)和f(0，1，1)以及所述相邻帧的相机参数来再现帧f(0，0，1)。
现将参照图9描述在输入帧f(0，0，0)、f(0，0，1)和f(0，-1，0)中的每一个的Camera_Parameter_Exsiting_Flag都是“1”，并且帧f(0，-1，1)的Camera_Parameter_Exsiting_Flag是“0”的情况(即，当帧f(0，0，0)、f(0，0，1)和f(0，-1，0)具有相机参数但是视频(0，-1，1)不具有相机参数)。
参照图9，当内插帧f(0，0，1)和f(0，0，0)之间的中间视点帧f(0，0，1/2)时，多视点视频产生单元840检查帧f(0，0，1)和f(0，0，0)的相机参数标志，并且仅当帧f(0，0，1)和f(0，0，0)的相机参数标志都为“1”时，使用两者来内插中间视点帧f(0，0，1/2)。在这种情况下，由于两个相机参数标志都假设为“1”，因此可基于帧f(0，0，1)和f(0，0，0)来产生中间视点帧f(0，0，1/2)。
由于帧f(0，-1，1)的相机参数的标志是“0”(即，帧f(0，-1，1)的相机参数不存在)，因此仅使用帧f(0，-1，0)内插帧f(0，-1，1)和f(0，-1，0)之间的中间视点帧f(0，-1，1/2)。否则，如果帧f(0，-1，2)的相机参数的标志具有值“1”，则使用帧f(0，-1，0)和帧f(0，-1，2)产生中间视点帧f(0，-1，1/2)。
为了在帧f(0，-1，1)、f(0，0，1)、f(0，0，0)和f(0，-1，0)中产生中间视点帧f(0，-1/2，1/2)，多视点视频产生单元840检查帧f(0，-1，1)、f(0，0，1)、f(0，0，0)和f(0，-1，0)的相机参数的标志，并使用帧f(0，-1，1)、f(0，0，1)、f(0，0，0)和f(0，-1，0)中具有相机参数标志被设置为“1”的帧来内插中间视点帧f(0，-1/2，1/2)。在本示例性实施例中，帧f(0，-1，1)的相机参数标志为“0”，也就是说，帧f(0，-1，1)的相机参数不存在，因此，使用帧f(0，0，1)、f(0，0，0)和f(0，-1，0)内插中间视点帧f(0，-1/2，1/2)。
由多视点视频产生单元840产生多视点视频，并且选择地产生的中间视点视频被发送到显示单元(未示出)并在其上显示。
如上所述，根据本发明的示例性实施例，根据每个帧是否具有相机参数来自适应地产生中间视点帧，从而提高了中间视点帧的质量。
现将参照图8描述根据本发明另一示例性实施例的用于对多视点视频解码的设备。参照图8，比特流再现和相机参数提取单元820在再现包括在输入比特流中的帧的同时确定每个帧是否具有相机参数。在本示例性实施例中，根据包括在每个帧的片头的2比特参数信息(即，Camera_Parameter_Existing_Flag和Guaranteed_Camera_Parameter_Flag)来确定每个帧是否具有相机参数以及相机参数是否可靠。
多视点视频产生单元840基于比特流再现和相机参数提取单元820检测的相机参数信息来产生多视点视频，并选择地产生中间视点内插视频。
参照图3，当帧f(0，-1，1)和f(0，1，1)具有可靠的相机参数并且不发送帧f(0，0，1)时，解码器使用可靠的视频(例如，与帧f(0，0，1)相邻并且具有相机参数的帧f(0，-1，1)和f(0，1，1))、可靠视频的相机参数和帧f(0，0，1)的相机参数来再现帧f(0，0，1)。
如果帧f(0，-1，1)和f(0，1，1)具有相机参数但是帧f(0，-1，1)的相机参数不可靠，则发送从帧f(0，0，1)和内插帧f’(0，0，1)之间的差获得的差数据，所述内插帧f’(0，0，1)通过使用帧f(0，-2，1)和f(0，1，1)内插帧f(0，0，1)而获得，使用差数据、帧f(0，-2，1)和f(0，1，1)的数据、帧f(0，-2，1)和f(0，1，1)的相机参数以及帧f(0，0，1)的相机参数来再现帧f(0，0，1)。
现将参照图10来描述以下情况：帧f(0，0，0)、f(0，-1，0)和f(0，0，1)中每一个的Camera_Parameter_Existing_Flag和Guaranteed_Camera_Parameter_Flag都为“1”，并且帧f(0，-1，1)的Camera_Parameter_Existing_Flag和Guaranteed_Camera_Parameter_Flag分别为“1”和“0”(即，当帧f(0，0，0)、f(0，-1，0)和f(0，0，1)具有可靠的相机参数而帧f(0，-1，1)具有不可靠的相机参数)。
参照图10，当内插帧f(0，0，1)和f(0，0，0)之间的中间视点帧f(0，0，1/2)时，多视点视频产生单元840检查帧f(0，0，1)和f(0，0，0)的相机参数的标志，并且仅当两个标志都为“1”时使用帧f(0，0，1)和f(0，0，0)来内插中间视点帧f(0，0，1/2)。由于在图10中两个标志都为“1”，可使用帧f(0，0，1)和f(0，0，0)来产生中间视点帧f(0，0，1/2)。
由于帧f(0，-1，1)的相机参数标志分别为“1”和“0”(即，帧f(0，-1，1)的相机参数存在但不可靠)，因此仅使用帧f(0，-1，0)来内插帧f(0，-1，1)和f(0，-1，0)之间的中间视点帧f(0，-1，1/2)。如果帧f(0，-1，2)的相机参数标志都为“1”，则使用帧f(0，-1，0)和f(0，-1，2)获得中间视点帧f(0，-1，1/2)。
为了在帧f(0，-1，1)、f(0，0，1)、f(0，0，0)和f(0，-1，0)中获得中间视点帧f(0，-1/2，1/2)，多视点视频产生单元840检查帧f(0，-1，1)、f(0，0，1)、f(0，0，0)和f(0，-1，0)的相机参数标志，并使用两个相机标志位都设为“1”的帧来内插中间视点帧f(0，-1/2，1/2)。参照图10，由于帧f(0，-1，1)的相机参数标志分别为“1”和“0”，也就是说，相机参数存在但不可靠，因此使用帧f(0，0，1)、f(0，0，0)和f(0，-1，0)来内插中间视点帧f(0，-1/2，1/2)。
由多视点视频产生单元840产生的多视点视频和选择地产生的中间视点帧被发送到显示单元(未示出)并在其上显示。
图11是示出根据本发明示例性实施例的使用图8的设备对多视点视频解码的方法的流程图。参照图11，从输入比特流以预定的视频单位提取每个帧的相机参数信息(操作1120)。
接下来，基于在操作1120提取的相机参数信息产生视频(操作1140)。
在本示例性实施例中，根据提取的相机参数信息来确定将在内插产生的帧时使用的参考帧。然后，多视点视频产生单元840使用所述参考帧内插产生的帧。
根据本发明的示例性实施例，当相机参数信息仅指示帧是否具有相机参数时，在内插帧时仅将与将被内插的帧相邻并且具有相机参数的帧用作参考帧。
或者，当相机参数信息指示每个帧是否具有相机参数并且所述相机参数是否可靠时，在内插视频时仅将与将被内插的帧相邻并且具有可靠相机参数的帧用作参考帧。
可以用计算机程序来实施对多视点视频编码和解码的方法。本领域的计算机程序员可以容易地得出该计算机程序的代码和代码段。该计算机程序可被存储在计算机可读介质中。当使用计算机读取并执行该计算机程序时，执行对多视点视频编码和解码的方法。计算机可读介质可以是磁性记录介质、光学记录介质或者载波。
如上所述，根据本发明的方面，按照视频是否具有相机参数以及相机参数是否可靠来自适应地对视频编码，从而增加了视频压缩的效率。另外，根据包括在输入比特流中的相机参数信息自适应地产生中间视点视频，从而提高了将被显示的视频的质量。
虽然已经参照本发明的示例性实施例具体示出和描述了本发明，但是本领域的技术人员将理解，在不脱离权利要求定义的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。
工业可用性
本发明可应用于对视频编码和解码，更具体地说，应用于使用相机参数对多视点视频编码以及使用相机参数产生多视点视频。

Claims (40)

1、一种对多视点视频编码的方法，包括：
从至少一个多视点相机接收多个视频数据；
以预定的视频单位确定接收的所述多个视频数据中的每一个是否包括相机参数；
根据所述多个视频数据中的每一个是否包括相机参数以预定的视频单位自适应地对所述多个视频数据中的每一个编码；以及
将指示所述多个视频数据中的每一个是否包括相机参数的信息插入到被编码的所述多个视频数据。
2、如权利要求1所述的方法，还包括：如果所述多个视频数据包括相机参数，则确定所述多个视频数据中的每一个的相机参数是否可靠。
3、如权利要求1所述的方法，其中，相机参数包括关于内部相机特性的内部参数和关于外部相机特性的外部参数中的至少一个，
其中，内部参数包括焦距、主点、像素的宽度和高度、倾斜角、相机传感器的垂直和水平像素的数量、径向畸变系数和切向畸变系数中的至少一个，外部参数包括相机位置信息。
4、如权利要求2所述的方法，其中，基于是否执行所述至少一个多视点相机的变焦和摇摄中的至少一个来确定相机参数是否可靠。
5、如权利要求1所述的方法，其中，仅将包括相机参数的视频数据用作参考视频数据，以自适应地对所述多个视频数据编码。
6、如权利要求2所述的方法，其中，仅将包括被确定为可靠的相机参数的视频数据用作参考视频数据，以自适应地对所述多个视频数据编码。
7、如权利要求1所述的方法，其中，预定的视频单位是片单位，以及
将指示相机参数是否存在以及相机参数是否可靠的相机参数信息作为两个比特的标志插入到每个输入比特流的片头。
8、一种对多视点视频编码的设备，包括：
输入单元，从至少一个多视点相机接收多个视频数据；
相机参数检测器，以预定的视频单位在接收的所述多个视频数据中检测相机参数；
编码器，根据相机参数是否存在，以预定的视频单位自适应地对所述多个视频数据中的每一个编码；以及
相机参数信息插入单元，将指示相机参数是否存在的相机参数信息插入到被编码的视频数据。
9、如权利要求8所述的设备，其中，还包括相机参数可靠性确定单元，如果相机参数存在，则确定相机参数是否可靠。
10、如权利要求8所述的设备，其中，相机参数包括关于内部相机特性的内部参数和关于外部相机特性的外部参数中的至少一个，
其中，内部参数包括焦距、主点、像素的宽度和高度、倾斜角、相机传感器的垂直和水平像素的数量、径向畸变系数和切向畸变系数中的至少一个，外部参数包括相机位置信息。
11、如权利要求9所述的设备，其中，基于是否执行所述至少一个多视点相机的变焦和摇摄中的至少一个来确定相机参数是否可靠。
12、如权利要求8所述的设备，其中，仅将包括相机参数的视频数据用作参考视频数据，以自适应地对所述多个视频数据编码。
13、如权利要求9所述的设备，其中，仅将包括被确定为可靠的相机参数的视频数据用作参考视频数据，以自适应地对所述多个视频数据编码。
14、如权利要求8所述的设备，其中，预定的视频单位是片单位，并且
将指示相机参数是否存在以及相机参数是否可靠的相机参数信息作为两个比特的标志插入到每个输入比特流的片头。
15、一种对多视点视频编码的方法，包括：
检测当前视频和至少一个相邻视频的相机参数；以及
根据当前视频和所述至少一个相邻视频是否包括相机参数自适应地对当前视频编码。
16、如权利要求15所述的方法，其中，仅将包括相机参数的所述至少一个相邻视频用作参考视频，以对当前视频编码。
17、如权利要求15所述的方法，还包括：如果相机参数存在，则确定相机参数是否可靠；以及
当对当前视频编码时，仅使用包括被确定为可靠的相机参数的所述至少一个相邻视频。
18、如权利要求15所述的方法，还包括：将指示所述相机参数是否存在的信息插入到被编码的当前视频。
19、如权利要求15所述的方法，其中，相机参数包括关于内部相机特性的内部参数和关于外部相机特性的外部参数中的至少一个，
其中，内部参数包括焦距、主点、像素的宽度和高度、倾斜角、相机传感器的垂直和水平像素的数量、径向畸变系数和切向畸变系数中的至少一个，外部参数包括相机位置信息。
20、如权利要求17所述的方法，其中，基于是否执行所述至少一个多视点相机的变焦和摇摄中的一个来确定相机参数是否可靠。
21、一种对多视点视频编码的设备，包括：
检测器，检测当前视频和至少一个相邻视频的相机参数；以及
编码器，根据当前视频和所述至少一个相邻视频是否包括相机参数来自适应地对当前视频编码。
22、如权利要求21所述的设备，其中，编码器将包括相机参数的所述至少一个视频用作参考视频对当前视频编码。
23、如权利要求21所述的设备，还包括相机参数可靠性确定单元，如果相机参数存在，则确定相机参数是否可靠，
其中，编码器仅将包括被确定为可靠的相机参数的所述至少一个相邻视频用作参考视频对当前视频编码。
24、如权利要求21所述的设备，还包括相机参数信息插入单元，将指示相机参数是否存在的相机参数信息插入到被编码的当前视频。
25、如权利要求21所述的设备，其中，相机参数包括关于内部相机特性的内部参数和关于外部相机特性的外部参数中的至少一个，
其中，内部参数包括焦距、主点、像素的宽度和高度、倾斜角、相机传感器的垂直和水平像素的数量、径向畸变系数和切向畸变系数中的至少一个，外部参数包括相机位置信息。
26、如权利要求23所述的设备，其中，基于是否执行所述至少一个多视点相机的变焦和摇摄中的至少一个来确定相机参数是否可靠。
27、一种使用相机参数信息产生多视点视频的方法，包括：
以预定的视频单位从输入比特流提取每个视频的相机参数信息；以及
基于提取的相机参数信息产生视频。
28、如权利要求27所述的方法，其中产生视频的步骤包括：基于提取的相机参数信息确定用于产生视频的参考视频；以及
使用确定的参考视频产生视频。
29、如权利要求27所述的方法，其中，相机参数信息包括指示相机参数是否存在的标志，所述相机参数代表内部相机特征和外部相机特征中的至少一个。
30、如权利要求27所述的方法，其中，相机参数信息包括指示相机参数是否存在以及相机参数是否可靠的标志，所述相机参数代表内部相机特征和外部相机特征中的至少一个。
31、如权利要求29所述的方法，其中，相机参数包括关于内部相机特性的内部参数和关于外部相机特性的外部参数中的至少一个，
其中，内部参数包括焦距、主点、像素的宽度和高度、倾斜角、相机传感器的垂直和水平像素的数量、径向畸变系数和切向畸变系数中的至少一个，外部参数包括相机位置信息。
32、如权利要求27所述的方法，其中，输入比特流包括相机参数信息，所述相机参数信息指示每个视频是否包括相机参数以及相机参数是否可靠中的至少一个。
33、如权利要求27的方法，其中，预定的视频单位是片单位，并且
将指示相机参数是否存在以及相机参数是否可靠的相机参数信息作为两个比特的信息插入到每个输入比特流的片头。
34、一种使用相机参数信息产生多视点视频的设备，包括：
相机参数信息提取单元，以预定的视频单位从输入比特流提取每个视频的相机参数信息；以及
视频产生单元，基于提取的相机参数信息产生视频。
35、如权利要求34所述的设备，其中，视频产生单元基于提取的相机参数信息确定将用于产生视频的参考视频，并使用所述确定的参考视频产生视频。
36、如权利要求34所述的设备，其中，相机参数信息指示相机参数是否存在，所述相机参数代表内部相机特征和外部相机特征中的至少一个。
37、如权利要求34所述的设备，其中，相机参数信息指示相机参数是否存在以及相机参数是否可靠，所述相机参数代表内部相机特征和外部相机特征中的至少一个。
38、如权利要求34所述的设备，其中，相机参数包括关于内部相机特性的内部参数和关于外部相机特性的外部参数中的至少一个，
其中，内部参数包括焦距、主点、像素的宽度和高度、倾斜角、相机传感器的垂直和水平像素的数量、径向畸变系数和切向畸变系数中的至少一个，外部参数包括相机位置信息。
39、如权利要求34所述的设备，其中，输入比特流包括相机参数信息，所述相机参数信息指示每个视频是否包括相机参数以及相机参数是否可靠中的至少一个。
40、如权利要求34所述的设备，其中，预定的视频单位是片单位，并且将指示相机参数是否存在以及相机参数是否可靠的相机参数信息作为两个比特的标志插入到每个输入比特流的片头。
CN200680008288A 2005-03-31 2006-03-30 使用相机参数编码和产生多视点视频的设备和方法 Active CN100579245C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050027011A KR101199498B1 (ko) 2005-03-31 2005-03-31 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
KR1020050027011 2005-03-31

Publications (2)

Publication Number Publication Date
CN101142824A CN101142824A (zh) 2008-03-12
CN100579245C true CN100579245C (zh) 2010-01-06

Family

ID=37053582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680008288A Active CN100579245C (zh) 2005-03-31 2006-03-30 使用相机参数编码和产生多视点视频的设备和方法

Country Status (7)

Country Link
US (4) US8031767B2 (zh)
EP (3) EP1864508B1 (zh)
JP (3) JP5185104B2 (zh)
KR (1) KR101199498B1 (zh)
CN (1) CN100579245C (zh)
HU (1) HUE025014T2 (zh)
WO (1) WO2006104351A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
WO2007110000A1 (en) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
AU2006230691B2 (en) * 2006-10-19 2010-11-25 Canon Kabushiki Kaisha Video Source Coding with Decoder Side Information
EP3182708B1 (en) * 2007-01-04 2019-03-06 InterDigital Madison Patent Holdings Methods and apparatus for multi-view information conveyed in high level syntax
US8917775B2 (en) * 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
CN101690231A (zh) * 2007-06-28 2010-03-31 汤姆森特许公司 多视图编码视频的单环解码
US8218855B2 (en) * 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
KR101490689B1 (ko) 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
RU2492585C2 (ru) * 2008-07-16 2013-09-10 Нокиа Корпорейшн Способ и устройство для группирования треков и подмножеств треков
KR101620067B1 (ko) 2009-05-14 2016-05-12 삼성전자주식회사 다시점 영상 압축 장치 및 방법
US8457155B2 (en) * 2009-09-11 2013-06-04 Nokia Corporation Encoding and decoding a multi-view video signal
US9083956B2 (en) 2009-09-28 2015-07-14 Samsung Electronics Co., Ltd. System and method for creating 3D video
CN102055968B (zh) * 2009-10-28 2012-08-29 中国移动通信集团公司 多视点视频中丢失的视频数据的恢复方法、系统及设备
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
CN102111621B (zh) * 2009-12-23 2013-03-13 中国移动通信集团公司 一种恢复视频数据的方法、装置和系统
US8340195B2 (en) * 2010-04-09 2012-12-25 Newport Media, Inc. Buffer size reduction for wireless analog TV receivers
CA2806846A1 (en) * 2010-09-03 2012-03-08 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
JP2012249137A (ja) * 2011-05-30 2012-12-13 Sony Corp 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
CN103875250A (zh) * 2011-08-12 2014-06-18 瑞典爱立信有限公司 摄像机和／或深度参数的信号通知
WO2013039333A1 (ko) * 2011-09-16 2013-03-21 엘지전자 주식회사 3ｄ 비디오 부호화/복호화 방법 및 그 장치
CN103379333B (zh) * 2012-04-25 2018-12-04 浙江大学 编解码方法、视频序列码流的编解码方法及其对应的装置
JP6000670B2 (ja) * 2012-06-11 2016-10-05 キヤノン株式会社 画像処理装置、画像処理方法
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
KR20160003070A (ko) * 2013-07-19 2016-01-08 미디어텍 인크. 3ｄ 비디오 코딩에서의 카메라 파라미터 시그널링의 방법 및 장치
US9906768B2 (en) * 2013-07-26 2018-02-27 Qualcomm Incorporated Use of a depth condition in 3DV codec
WO2015055143A1 (en) * 2013-10-17 2015-04-23 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
KR102050416B1 (ko) * 2014-02-12 2019-11-29 한화테크윈 주식회사 네트워크 카메라 장치 및 이의 영상 스트리밍 제공 방법
KR20170069957A (ko) * 2014-10-08 2017-06-21 엘지전자 주식회사 3d 비디오 코딩에서 카메라 파라미터 처리 방법 및 장치
CN109691109B (zh) * 2016-09-23 2023-05-12 苹果公司 多视角成像系统和方法
US10380804B1 (en) 2018-06-01 2019-08-13 Imajion Corporation Seamless injection of augmented three-dimensional imagery using a positionally encoded video stream

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3239279B2 (ja) 1993-02-10 2001-12-17 富士通株式会社 多眼式立体映像のベクトル量子化方法
JPH07327228A (ja) 1994-05-31 1995-12-12 Nippon Hoso Kyokai <Nhk> ディジタル符号化・伝送システム
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
KR100207659B1 (ko) 1996-02-27 1999-07-15 윤종용 감시용 카메라 시스템에서 영상데이터의 파일생성방법및그에따른기록및재생방법
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
MY124160A (en) * 1997-12-05 2006-06-30 Dynamic Digital Depth Res Pty Improved image conversion and encoding techniques
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
US6704041B2 (en) * 1998-03-10 2004-03-09 Canon Kabushiki Kaisha Image processing method, apparatus and memory medium therefor
JP4630406B2 (ja) 1998-10-09 2011-02-09 カシオ計算機株式会社 撮像装置および連続撮像画像の対照表示方法
JP2001008205A (ja) 1999-06-18 2001-01-12 Hitachi Denshi Ltd 映像データ伝送方式
WO2001041451A1 (en) 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
EP1273180B1 (en) * 2000-03-24 2006-02-22 Reality Commerce Corporation Method and apparatus for parallel multi-viewpoint video capturing and compression
IL136080A0 (en) * 2000-05-11 2001-05-20 Yeda Res & Dev Sequence-to-sequence alignment
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
KR100375708B1 (ko) * 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
EP2262273A3 (en) 2002-04-25 2013-12-04 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
KR100475060B1 (ko) 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
AU2003295586B2 (en) * 2002-11-15 2009-05-07 Warner Bros. Entertainment Inc. Method for digitally rendering skin or like materials
JP4182937B2 (ja) * 2004-09-28 2008-11-19 カシオ計算機株式会社 撮影装置、撮影装置の画像処理方法及びプログラム
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
WO2007110000A1 (en) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
MX2008011652A (es) * 2006-03-29 2008-09-22 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
FR2907575B1 (fr) * 2006-10-18 2009-02-13 Canon Res Ct France Soc Par Ac Procede et dispositif de codage d'images representant des vues d'une meme scene
EP3182708B1 (en) * 2007-01-04 2019-03-06 InterDigital Madison Patent Holdings Methods and apparatus for multi-view information conveyed in high level syntax
WO2008153294A2 (en) * 2007-06-11 2008-12-18 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR101416228B1 (ko) * 2007-07-06 2014-07-08 삼성전자주식회사 2차원/3차원 영상 호환용 디스플레이 장치의 구동 장치 및그 구동방법
US8218855B2 (en) * 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
JP5536676B2 (ja) * 2008-03-04 2014-07-02 トムソン ライセンシング 仮想参照ビュー
EP2365694B1 (en) * 2008-11-18 2017-01-04 LG Electronics Inc. Method and apparatus for processing image signal
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence

Also Published As

Publication number Publication date
US20110310960A1 (en) 2011-12-22
JP2012186837A (ja) 2012-09-27
JP5185104B2 (ja) 2013-04-17
JP2008535371A (ja) 2008-08-28
US8031767B2 (en) 2011-10-04
EP2506581A1 (en) 2012-10-03
EP1864508B1 (en) 2014-07-09
EP2506582B1 (en) 2015-01-28
JP5363609B2 (ja) 2013-12-11
CN101142824A (zh) 2008-03-12
EP1864508A4 (en) 2012-09-12
US20120269257A1 (en) 2012-10-25
KR101199498B1 (ko) 2012-11-09
US20120262547A1 (en) 2012-10-18
WO2006104351A1 (en) 2006-10-05
EP2506582A1 (en) 2012-10-03
US8228981B2 (en) 2012-07-24
EP2506581B1 (en) 2015-01-28
KR20060104671A (ko) 2006-10-09
HUE025014T2 (en) 2016-02-29
JP2012186836A (ja) 2012-09-27
US20060222252A1 (en) 2006-10-05
JP5363610B2 (ja) 2013-12-11
EP1864508A1 (en) 2007-12-12
US8891612B2 (en) 2014-11-18
US8565530B2 (en) 2013-10-22

Similar Documents

Publication Publication Date Title
CN100579245C (zh) 使用相机参数编码和产生多视点视频的设备和方法
CN101273635B (zh) 使用相机参数对多视图画面编码和解码的设备和方法
CN102047668B (zh) 通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备
EP2416577B1 (en) Image signal decoding apparatus and image signal decoding method
CN102045578B (zh) 图像处理设备和图像处理方法
CN1832001A (zh) 带有水印处理指令的录制视频广播、流动、下载和光盘发行
CN101562036A (zh) 用于生成和播放用于幻灯片的图像文件的系统和方法
CN101971639A (zh) 用于生成和显示媒体文件的装置和方法
WO2014015460A1 (en) 3d video representation using information embedding
CN101313582A (zh) 使用各种运动模型的编码器辅助式帧速率提升转换
KR101199166B1 (ko) 보간 프레임 생성 시스템
US8908010B2 (en) Method for processing video input by detecting if picture of one view is correctly paired with another picture of another view for specific presentation time and related processing apparatus thereof
KR101357755B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
CN105103543B (zh) 兼容的深度依赖编码方法
KR101313224B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
CN103227935A (zh) 图像发送装置和方法以及图像再现装置和方法
KR101343576B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
JP2005175943A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記録媒体
JP2015073156A (ja) 画像処理装置、情報処理装置、撮像装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant