CN102047668A - 通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备 - Google Patents

通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备 Download PDF

Info

Publication number
CN102047668A
CN102047668A CN2009801193329A CN200980119332A CN102047668A CN 102047668 A CN102047668 A CN 102047668A CN 2009801193329 A CN2009801193329 A CN 2009801193329A CN 200980119332 A CN200980119332 A CN 200980119332A CN 102047668 A CN102047668 A CN 102047668A
Authority
CN
China
Prior art keywords
parameter
focal length
camera
stereo
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801193329A
Other languages
English (en)
Other versions
CN102047668B (zh
Inventor
金容台
李健日
金大式
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102047668A publication Critical patent/CN102047668A/zh
Application granted granted Critical
Publication of CN102047668B publication Critical patent/CN102047668B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

提供了一种对立体图像和编码和解码的方法和设备。立体图像恢复方法包括：将接收的图像流解析为立体图像的图像数据和关于立体图像的信息；提取表示捕获了立体图像的一个或多个相机的每一个的各个特性的相机参数；解码并恢复立体图像的图像数据。

Description

通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备
技术领域
与本发明一致的方法和设备涉及对立体图像编码和解码。
背景技术
当前，正在积极地对三维(3D)图像显示方法进行研究以更逼真地且更自然地显示图像数据。在多种3D图像显示方法中，由于各种原因，这样的3D图像显示方法被认为是具有潜力的，在所述3D图像显示方法中，左视图像和右视图像分开显示在传统显示器装置的相应位置，从而不同的图像被形成以分别对应于观看者的左眼和右眼，从而利用人类视觉的特性来提供3D效果。作为可采用3D图像显示方法的装置的例子的具有栅栏液晶显示器(LCD)的便携式终端在再现立体内容的同时，可向用户提供更逼真的图像。
发明内容
本发明提供一种用于对立体图像编码和解码的方法和设备。
根据本发明的一方面，提供一种立体图像数据流产生方法，该方法包括：对立体图像的图像数据编码；基于捕获了立体图像的一个或多个相机的每一个的各个特性确定相机参数；将图像数据和相机参数插入数据流中。
本申请要求于2008年5月27日提交到美国专利商标局的第61/056,174号美国临时申请的权益以及于2008年7月23日提交到韩国知识产权局的第10-2008-0071897号韩国专利申请的权益，该申请全部公开于此以资参考。
有益效果
根据本发明的实施例，照相机参数可以单个参数，并且可以包括下述参数中的至少一个：焦距参数、角度宽高比参数、主点参数、旋转角参数和平移参数。焦距参数、角度宽高比参数和主点参数的每一个是用于单个相机的参数并且被定义为相机内参数，而旋转角参数和平移参数是关于多个相机之间的相互关系的参数并且被定义为相机外参数。相机参数可被应用到各种处理，例如核线约束处理和调整处理，从而提高3D图像的质量。
附图说明
通过下面结合附图对示例性实施例进行的详细描述，本发明的上述和其他示例性方面将会变得更加清楚，其中：
图1是根据本发明的示例性实施例的立体图像数据流产生设备的框图；
图2是根据本发明的示例性实施例的立体图像恢复设备的框图；
图3是显示世界坐标系统和相机坐标系统之间的相互关系的示图；
图4是显示相机坐标系统上的坐标和图像上的相应坐标之间的相互关系的示图；
图5是显示拍摄的图像上的坐标和再现图像上的坐标之间的相互关系的示图；
图6是显示立体相机的平移信息和旋转角信息的表；
图7是显示主视点相机坐标系统和次视点相机坐标系统；
图8是示出基于国际标准化组织(ISO)的媒体文件格式的结构的示图；
图9是示出基于ISO的媒体文件格式的各种框的列表的示图；
图10是示出根据本发明的示例性实施例的实现关于立体图像的各种参数的语法的示图；
图11是示出根据本发明的示例性实施例的实现关于立体图像的相机焦距参数的语法的示图；
图12是示出根据本发明的另一示例性实施例的实现关于立体图像的相机焦距参数的语法的示图；
图13是示出根据本发明的另一示例性实施例的实现关于立体图像的相机焦距参数的语法的示图；
图14是示出根据本发明的另一示例性实施例的实现关于立体图像的相机焦距参数的语法的示图；
图15是示出根据本发明的另一示例性实施例的实现关于立体图像的相机焦距参数的语法的示图；
图16是示出根据本发明的示例性实施例的实现关于立体图像的相机主点参数的语法的示图；
图17是示出根据本发明的另一示例性实施例的实现关于立体图像的相机主点参数的语法的示图；
图18是示出根据本发明的示例性实施例的实现关于立体图像的相机旋转角参数的语法的示图；
图19是示出根据本发明的示例性实施例的使用立体图像数据流产生方法的立体图像文件产生系统的框图；
图20是示出根据本发明的示例性实施例的使用立体图像恢复方法的立体图像恢复/再现系统的框图；
图21是示出根据本发明的示例性实施例的立体图像数据流产生方法的流程图；
图22是示出根据本发明的示例性实施例的立体图像恢复方法的流程图。
最佳实施方式
根据本发明的一方面，提供一种立体图像数据流产生方法，该方法包括：对立体图像的图像数据编码；基于捕获了立体图像的一个或多个相机的每一个的各个特性确定相机参数；将图像数据和相机参数插入数据流中。
确定相机参数的步骤可包括：确定主焦距参数和次焦距参数，其中，主焦距参数表示一个或多个相机的主视点相机的主焦距，次焦距参数表示一个或多个相机的次视点相机的次焦距。
确定相机参数的步骤可还包括：确定焦距差别参数，其中，焦距差别参数指示一个或多个相机的主视点相机的主焦距是否与一个或多个相机的次视点相机的次焦距不同。
如果焦距差别参数指示主焦距与次焦距一致，则确定相机参数的步骤可还包括：确定主焦距参数和次焦距参数中的一个，其中，主焦距参数表述主焦距，次焦距参数表示次焦距。
如果焦距差别参数指示主焦距与次焦距不同，则确定相机参数的步骤可还包括：确定主焦距参数和次焦距参数，其中，主焦距参数表述主焦距，次焦距参数表示次焦距。
确定相机参数的步骤可还包括：确定水平焦距参数和垂直焦距参数，其中，水平焦距参数表示相机的焦距的水平分量，垂直焦距参数表示相机的焦距的垂直分量。
确定相机参数的步骤可还包括：确定焦距宽高比参数，其中，焦距宽高比参数表示相机的焦距的水平分量和垂直分量之间的宽高比；确定水平焦距参数和垂直焦距参数中的一个，其中，水平焦距参数表示焦距的水平分量，垂直焦距参数表示焦距的垂直分量。
确定相机参数的步骤可还包括：确定焦距宽高比使用参数，其中，焦距宽高比使用参数指示是否基于焦距的水平分量和垂直分量之间的宽高比来设置关于相机的焦距的信息。
如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比被使用，则确定相机参数的步骤可还包括：确定焦距宽高比参数，其中，焦距宽高比参数表示焦距的水平分量和垂直分量之间的宽高比。
如果焦距宽高比使用参数指示焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比没有被使用，则确定相机参数的步骤可还包括：确定焦距的水平分量和垂直分量之间的宽高比具有值‘1’。
确定相机参数的步骤可还包括：确定基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点。
确定相机参数的步骤可还包括：对于x分量和y分量确定基本主点参数和次主点参数中的一个。
确定相机参数的步骤可还包括：确定主点信息设置参数，其中，主点信息设置参数指示关于立体图像的主视点图像的主点和次视点图像的主点的每一个的信息是否被设置。
如果主点信息设置参数指示关于主点的信息被设置，则确定相机参数的步骤可还包括：确定基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点，并且可对于x分量和y分量确定基本主点参数和次主点参数的每一个。
如果主点信息设置参数指示关于主点的信息没有被设置，则确定相机参数的步骤可还包括：确定由一个或多个相机的预定视点相机拍摄的区域的中心点匹配立体图像的预定视点图像的主点。
确定相机参数的步骤可包括：在相机的旋转角中确定x轴旋转角参数、y轴旋转角参数和z轴旋转角参数，其中，x轴旋转角参数表示关于x轴的旋转角，y轴旋转角参数表示关于y轴的旋转角，z轴旋转角参数表示关于z轴的旋转角。
确定相机参数的步骤可还包括：确定旋转角参数，其中，关于x轴的旋转角、关于y轴的旋转角和关于z轴的旋转角被表示为3×3矩阵和九位阵列之一。
如果数据流是基于国际标准化组织(ISO)的媒体文件格式，则基于ISO的媒体文件格式包括moov框、mdat框和第一meta框，并且插入步骤可包括：将相机参数插入下述框中的至少一个中：第一meta框的子级框、moov框的第一子级框、作为moov框的第二子级框的trak框的第一子级框以及作为trak框的第二子级框的第二meta框的子级框。
根据本发明的另一方面，提供一种立体图像恢复方法，包括：将接收的数据流解析为立体图像的图像数据和关于立体图像的信息；提取表示捕获了立体图像的一个或多个相机的每一个的各个特性的相机参数；解码并恢复立体图像的图像数据。
解码和恢复的步骤可包括：使用相机参数来再现立体图像的图像数据。
提取相机参数的步骤可包括提取主焦距参数和次焦距参数，其中，主焦距参数表示一个或多个相机的主视点相机的焦距，次焦距参数表示一个或多个相机的次视点相机的焦距。
提取相机参数的步骤还可包括：提取焦距差别参数，其中，焦距差别参数指示一个或多个相机的主视点相机的主焦距是否与一个或多个相机的次视点相机的次焦距不同。
如果焦距差别参数指示主焦距与次焦距一致，则提取相机参数的步骤还可包括：提取主焦距参数和次焦距参数中的一个，其中，主焦距参数表示主焦距，次焦距参数表示次焦距。
如果焦距差别参数指示主焦距与次焦距不同，则提取相机参数的步骤还可包括：提取主焦距参数和次焦距参数，其中，主焦距参数表示主焦距，次焦距参数表示次焦距。
提取相机参数的步骤可包括：提取水平焦距参数和垂直焦距参数，其中，水平焦距参数表示相机的焦距的水平分量，垂直焦距参数表示相机的焦距的垂直分量。
提取相机参数的步骤还可包括：提取焦距宽高比参数，其中，焦距宽高比参数表示相机的焦距的水平分量和垂直分量之间的宽高比；提取水平焦距参数和垂直焦距参数中的一个，其中，水平焦距参数表示焦距的水平分量，垂直焦距参数表示焦距的垂直分量。
提取相机参数的步骤还可包括：提取焦距宽高比使用参数，其中，焦距宽高比使用参数指示是否通过使用焦距的水平分量和垂直分量之间的宽高比来设置关于相机的焦距的信息。
如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比被使用，则提取相机参数的步骤可还包括：提取焦距宽高比参数，其中，焦距宽高比参数表示焦距的水平分量和垂直分量之间的宽高比。
如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比没有被使用，则提取相机参数的步骤可还包括：确定焦距的水平分量和垂直分量之间的宽高比具有值‘1’。
提取相机参数的步骤可还包括：提取基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点。
提取相机参数的步骤可包括：对于x分量和y分量提取基本主点参数和次主点参数的每一个。
提取相机参数的步骤可包括：提取主点信息设置参数，其中，主点信息设置参数指示关于立体图像的主视点图像的主点和次视点图像的主点的每一个的信息是否被设置的信息。
如果主点信息设置参数指示关于主点的信息被设置，则提取相机参数的步骤可还包括：提取基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点，并且对于x分量和y分量提取基本主点参数和次主点参数的每一个。
如果主点信息设置参数指示关于主点的信息没有被设置，则提取相机参数的步骤可还包括：确定由一个或多个相机的预定视点相机拍摄的区域的中心点匹配立体图像的预定视点图像的主点。
提取相机参数的步骤可包括：在相机的旋转角中提取x轴旋转角参数、y轴旋转角参数和z轴旋转角参数，其中，x轴旋转角参数表示关于x轴的旋转角，y轴旋转角参数表示关于y轴的旋转角，z轴旋转角参数表示关于z轴的旋转角。
提取相机参数的步骤可包括：提取旋转角参数，其中，基于x轴的旋转角、基于y轴的旋转角和基于z轴的旋转角被表示为3×3矩阵和九位阵列之
如果数据流是基于国际标准化组织(ISO)的媒体文件格式，则基于ISO的媒体文件格式包括moov框、mdat框和第一meta框，并且解析步骤可包括：从下述框中的至少一个中提取相机参数：第一meta框的子级框、moov框的第一子级框、作为moov框的第二子级框的trak框的第一子级框以及作为trak框的第二子级框的第二meta框的子级框；从mdat框中提取立体图像的图像数据。
根据本发明的另一方面，提供一种记载有用于执行立体图像恢复方法的计算机程序的计算机可读记录介质，该方法包括：将接收的图像流解析为立体图像的图像数据和关于立体图像的信息；提取表示捕获了立体图像的一个或多个相机的每一个的各个特性的相机参数；解码并恢复立体图像的图像数据。
根据本发明的另一方面，提供一种在其上记载有用于执行立体图像数据流产生方法的计算机程序的计算机可读记录介质，该方法包括：对立体图像的图像数据编码；基于捕获了立体图像的一个或多个相机的每一个的各个特性来确定相机参数；将图像数据和相机参数插入到数据流中。
根据本发明的另一方面，提供一种立体图像数据流产生设备，包括：图像数据编码单元，对立体图像的图像数据编码；相机参数确定单元，基于捕获了立体图像的一个或多个相机的每一相机的各个特性确定相机参数；和数据流插入单元，将图像数据和相机参数插入到数据流中。
相机参数确定单元可包括：确定一个或多个相机的预定视点相机的焦距的焦距参数确定单元，并且焦距参数确定单元可分离地确定主焦距参数和次焦距参数，其中，主焦距参数表示一个或多个相机的主视点相机的焦距，次焦距参数表示一个或多个相机的次视点相机的焦距。
相机参数确定单元可还包括确定焦距差别参数的焦距差别参数确定单元，其中，焦距参数差别指示一个或多个相机的主视点相机的焦距是否与表示一个或多个相机的次视点相机的焦距的次焦距参数不同。
如果焦距差别参数指示主焦距与次焦距一致，则焦距参数确定单元可确定表示主焦距的主焦距参数和表示次焦距的次焦距参数中的一个。
如果焦距差别参数指示主焦距与次焦距不同，则焦距参数确定单元可确定表示主焦距的主焦距参数和表示次焦距的次焦距参数。
相机参数确定单元可包括确定一个或多个相机的预定视点相机的焦距的焦距参数确定单元，并且焦距参数确定单元可确定表示相机的主焦距的主焦距参数和表示相机的次焦距的次焦距参数。
相机参数确定单元可包括：焦距参数确定单元，确定一个或多个相机的预定视点相机的焦距；和焦距宽高比参数确定单元，确定表示相机的水平分量和垂直分量之间的宽高比的焦距宽高比参数，并且焦距参数确定单元可确定表示焦距的水平分量的水平焦距参数和表示焦距的垂直分量的垂直焦距参数中的一个。
相机参数确定单元可还包括：焦距宽高比使用参数确定单元，确定焦距宽高比使用参数，其中，焦距宽高比使用参数指示是否通过使用焦距的水平分量和垂直分量之间的宽高比来设置相机的焦距。
如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比被使用，则焦距宽高比参数确定单元可确定表示焦距的水平分量和垂直分量之间的宽高比的焦距宽高比参数。
如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比没有被使用，则焦距宽高比参数确定单元可确定焦距的水平分量和垂直分量之间的宽高比具有值‘1’。
相机参数确定单元还可包括：主点参数确定单元，确定关于立体图像的预定视点图像的主点的信息，并且主点参数确定单元可分离地确定基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点。
主点参数确定单元可关于x分量和y分量确定基本主点参数和次主点参数中的每一个。
相机参数确定单元可包括：主点信息设置参数确定单元，确定主点信息设置参数，其中，主点信息设置参数指示关于立体图像的主视点图像的主点和次视点图像的主点的每一个的信息是否被设置。
相机参数确定单元可包括：主点参数确定单元，基于主点信息设置参数来确定关于立体图像的预定视点图像的主点的信息，并且如果主点信息设置参数指示关于主点的信息被设置，则主点参数确定单元可分离地确定表示立体图像的主视点图像的主点的基本主点参数以及表示立体图像的次视点图像的主点的次主点参数，并且可以关于x分量和y分量确定基本主点参数和次主点参数。
相机参数确定单元可包括：主点参数确定单元，基于主点信息设置参数来确定关于立体图像的预定视点图像的主点的信息，并且如果主点信息设置参数指示关于主点的信息没有被设置，则主点参数确定单元可由一个或多个相机的预定视点相机拍摄的区域的中心点匹配立体图像的预定视点的主点。
相机参数确定单元可包括：旋转角参数确定单元，确定关于相机的旋转角的信息，并且旋转角参数确定单元可在相机的旋转角中确定x轴旋转角参数、y轴旋转角参数和z轴旋转角参数，其中，x轴旋转角参数表示关于x轴的旋转角，y轴旋转角参数表示关于y轴的旋转角，z轴旋转角参数表示关于z轴的旋转角。
旋转角参数确定单元可确定旋转角参数，其中，关于x轴的旋转角、关于y轴的旋转角和关于z轴的旋转角被表示为3×3矩阵和九位阵列之一。
如果数据流是基于国际标准化组织(ISO)的媒体文件格式，则基于ISO的媒体文件格式可包括moov框、mdat框和第一meta框，并且数据流插入单元可将相机参数插入下述框中的至少一个中：第一meta框的子级框、moov框的第一子级框、作为moov框的第二子级框的trak框的第一子级框以及作为trak框的第二子级框的第二meta框的子级框。
根据本发明的另一方面，提供一种立体图像恢复设备，包括：解析单元，从接收的图像流解析立体图像的图像数据和关于立体图像的信息；相机参数提取单元，提取表示捕获了立体图像的一个或多个相机的每一相机的各个特性的相机参数；图像数据解码单元，解码并恢复立体图像的图像数据。
立体图像恢复设备可还包括：再现单元，通过使用相机参数来再现立体图像的图像数据。
立体图像恢复设备可包括：焦距参数提取单元，提取关于一个或多个相机的预定视点相机的焦距的信息，并且焦距参数提取单元可分离地提取主焦距参数和次焦距参数，其中，主焦距参数表示一个或多个相机的主视点相机的焦距，次焦距参数表示一个或多个相机的次视点相机的焦距。
相机参数提取单元可还包括：焦距差别参数提取单元，提取焦距差别参数，其中，焦距差别参数指示一个或多个相机的主视点相机的主焦距是否与一个或多个相机的次视点相机的次焦距不同。
相机参数提取单元可包括：焦距参数提取单元，提取关于一个或多个相机的预定视点相机的焦距的信息，并且如果焦距差别参数指示主焦距与次焦距一致，则焦距参数提取单元可提取主焦距参数和次焦距参数中的一个，其中，主焦距参数表示主焦距，次焦距参数表示次焦距。
相机参数提取单元可包括：焦距参数提取单元，提取关于一个或多个相机的预定视点相机的焦距的信息，并且如果焦距差别参数指示主焦距与次焦距不同，则焦距参数提取单元可提取主焦距参数和次焦距参数，其中，主焦距参数表示主焦距，次焦距参数表示次焦距。
相机参数提取单元可包括：焦距参数提取单元，提取关于一个或多个相机的预定视点相机的焦距的信息，焦距参数提取单元可提取水平焦距参数和垂直焦距参数，其中，水平焦距参数表示相机的焦距的水平分量，垂直焦距参数表示相机的焦距的垂直分量。
相机参数提取单元可包括：焦距参数提取单元，提取关于一个或多个相机的预定视点相机的焦距的信息；焦距宽高比参数提取单元，提取焦距宽高比参数，其中，焦距宽高比参数表示相机的焦距的水平分量和垂直分量之间的宽高比；并且焦距参数提取单元可提取水平焦距参数和垂直焦距参数中的一个，其中，水平焦距参数表示焦距的水平分量，垂直焦距参数表示焦距的垂直分量。
相机参数提取单元可还包括：焦距宽高比使用参数提取单元，提取焦距宽高比使用参数，其中，焦距宽高比使用参数指示是否通过使用焦距的水平分量和垂直分量之间的宽高比来设置关于相机的焦距的信息。
如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比被使用，则焦距宽高比参数提取单元可提取焦距宽高比参数，其中，焦距宽高比参数表示焦距的水平分量和处置分量之间的宽高比。
如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比没有被使用，则焦距宽高比参数提取单元可确定焦距的水平分量和垂直分量之间的宽高比具有值‘1’。
相机参数提取单元可包括：主点参数提取单元，提取关于立体图像的预定视点图像的主点的信息，并且主点参数提取单元可分离地提取基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点。
主点参数提取单元可对于x分量和y分量提取基本主点参数和次主点参数的每一个。
相机参数提取单元可包括：主点信息设置参数提取单元，提取主点信息设置参数，其中，主点信息设置参数指示关于立体图像的主视点图像的主点和次视点图像的主点的每一个的信息是否被设置的信息。
相机参数提取单元可包括：主点参数提取单元，提取关于立体图像的预定视点图像的主点的信息，并且如果主点信息设置参数指示关于主点的信息被设置，则主点参数提取单元可分离地提取基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点，并且对于x分量和y分量提取基本主点参数和次主点参数的每一个。
相机参数提取单元可包括：主点参数提取单元，提取关于立体图像的预定视点图像的主点的信息，并且如果主点信息设置参数指示关于主点的信息没有被设置，则主点参数提取单元可确定由一个或多个相机的预定视点相机拍摄的区域的中心点匹配立体图像的预定视点图像的主点。
相机参数提取单元可包括：旋转角参数提取单元，提取关于相机的旋转角的信息，旋转角参数提取单元可在相机的旋转角中提取x轴旋转角参数、y轴旋转角参数和z轴旋转角参数，其中，x轴旋转角参数表示关于x轴的旋转角，y轴旋转角参数表示关于y轴的旋转角，z轴旋转角参数表示关于z轴的旋转角。
旋转角参数提取单元可提取旋转角参数，其中，关于x轴的旋转角、关于y轴的旋转角和关于z轴的旋转角被表示为3×3矩阵和九位阵列之一。
如果数据流是基于国际标准化组织(ISO)的媒体文件格式，则基于ISO的媒体文件格式可包括moov框、mdat框和第一meta框，并且解析单元可从下述框中的至少一个中提取相机参数：第一meta框的子级框、moov框的第一子级框、作为moov框的第二子级框的trak框的第一子级框以及作为trak框的第二子级框的第二meta框的子级框；可从mdat框中提取立体图像的图像数据。
具体实施方式
下面，将通过参照附图解释本发明的示例性实施例来描述本发明。
图1是根据本发明实施例的立体图像数据流产生设备100的框图。
参照图1，立体图像数据流产生设备100包括图像数据编码单元110、相机参数确定单元120和数据流插入单元130。
图像数据编码单元110对立体图像的图像数据编码并且将编码图像数据输出到数据流插入单元130。当立体图像被编码时，主视点图像和次视点图像可被单独编码，或者主视点图像和次视点图像的合成图像可被编码。另外，将被编码的输入到图像数据编码单元110的立体图像可以是多视点图像或单视点图像。
相机参数确定单元120确定关于将被编码的立体图像的相机参数，并且将相机参数输出到数据流插入单元130。多个相机被需要以获得立体图像，并且每个相机具有不同视点。由于不同的视点，相机与相机之间，相机信息可以不同，因此，对每一相机单独地设置相机参数。
根据本发明的实施例，相机参数确定单元120可将表示每一相机的焦距、主点和旋转角/平移的信息确定为相机参数。尽管未在图1中显示，相机参数确定单元120可包括焦距参数确定单元、主点参数确定单元和旋转角参数确定单元。
焦距参数确定单元确定关于一个或多个相机的预定视角相机的焦距的信息(以下，将此信息称为焦距参数)。
相机参数确定单元120可包括单独的焦距参数确定单元，以确定主视点相机的焦距是否与次视点相机的焦距不同(以下，将此信息称为焦距差别参数)。
相机参数确定单元120可包括焦距宽高比参数确定单元，以通过使用垂直焦距与水平焦距之间比例来确定焦距(以下，将该比例称为焦距宽高比)。
此外，相机参数确定单元120可包括焦距宽高比使用参数确定单元，以确定指示焦距宽高比是否被使用的信息(以下，将此信息称为焦距宽高比使用参数)。
主点参数确定单元确定关于立体图像的预定视点图像的主点的信息(以下，将此信息称为主点参数)。相机参数确定单元120可包括主点信息设置参数确定单元，以确定指示主点信息是否被设置的信息(以下，将此信息称为主点信息设置参数)。
旋转角参数确定单元确定关于一个或多个相机的预定视角相机的旋转角的信息(以下，将此信息称为旋转角参数)。
数据流插入单元130通过将从图像数据编码单元110接收的编码图像数据和从相机参数确定单元120接收的相机参数插入数据流中来产生立体图像数据流。
编码图像数据和相机参数的每一个被插入立体图像数据流中的合适位置。稍后将参照图8和图9来描述插入有图像数据和相机参数的立体图像数据流。
图2是根据本发明实施例的立体图像恢复设备的框图。
参照图2，立体图像恢复设备200包括解析单元210、相机参数提取单元220、图像数据解码单元230和再现单元240。
解析单元210解析接收的立体图像数据流以将立体图像的图像数据与关于该立体图像的信息分离。解析单元210将图像数据输出到图像数据解码单元230，并且将关于立体图像的信息输出到相机参数提取单元220。
相机参数提取单元220从解析单元210接收的信息提取相机参数。关于立体图像的相机参数取决于捕获了立体图像的一个或多个相机的每一相机的各个特性。提取的相机参数可被输出到再现单元240。
根据本发明实施例，相机参数提取单元220可提取表示每一相机的焦距、主点和旋转角/平移的信息，作为相机参数。尽管未在图2中显示，相机参数提取单元220可包括焦距参数提取单元、主点参数提取单元和旋转角参数提取单元。
焦距参数提取单元提取焦距参数。
相机参数提取单元220可包括焦距差别参数提取单元。相机参数提取单元220可基于由焦距差别参数提取单元提取的焦距差别参数，考虑每一视点相机的焦距是否与另一视点相机的焦距相同，来确定是否提取每一视点相机的焦距。
相机参数提取单元220可包括焦距宽高比参数提取单元。相机参数提取单元220可基于由焦距宽高比参数提取单元提取的焦距宽高比参数来确定是否提取垂直焦距和水平焦距的每一个。
另外，相机参数提取单元220可包括焦距宽高比使用参数提取单元。相机参数提取单元220可基于由焦距宽高比使用参数提取单元提取的焦距宽高比使用参数来确定是否提取焦距宽高比参数。
主点参数提取单元提取主点参数。相机参数提取单元220可包括主点信息设置参数提取单元。相机参数提取单元220可基于由主点信息设置提取单元提取的主点信息设置参数来确定是否提取主点参数。
旋转角参数提取单元提取至少一个视点相机的旋转角参数。
图像数据解码单元230对立体图像的图像数据解码和恢复，并将恢复的立体图像输出到再现单元240。使用当立体图像被编码使用使用的压缩方法来对立体图像解码。
再现单元240使用图像参数来再现恢复的立体图像。由于再现单元240使用相机参数并且考虑不同视点相机之间的相互关系来再现立体图像，立体图像可被更精确地再现。
根据本发明实施例，相机参数可以是单个参数，并且可包括以下参数中的至少一个：焦距参数、焦距宽高比参数、主点参数、旋转角参数和平移参数。焦距参数、焦距宽高比参数和主点参数是用于单个相机的参数，并且被定义为相机内参数，旋转角参数和平移参数的每一个是关于多个相机之间的相互关系的参数，并且被定义为相机外参数。
相机参数可被应用到各种处理，例如核线约束处理和调整处理，从而提高3D图像的质量。
稍后将参照图10至18来描述相机参数的使用的特定示例。更详细地讲，稍后将参照相应附图来描述下述参数的使用的示例：焦距参数(图10至15)、焦距差别参数(图11)、焦距宽高比参数(图14和15)、焦距宽高比使用参数(图15)、主点参数(图16和17)、主点信息设置参数(图17)和旋转角参数(图18)。
图3是显示世界坐标系统300和相机坐标系统350之间的相互关系的示图。
参照图3，平移t 305是世界坐标系统300和相机坐标系统350之间的距离，并且世界坐标系统300和相机坐标系统350之间旋转角R 355由X、Y和Z轴中的旋转角定义。
平移t 305可被认为是世界坐标系统300的原点和相机坐标系统350的原点之间的距离。
旋转角R 355可通过下述旋转角来确定：相机坐标系统350的X轴Xc360关于世界坐标系统300的X轴Xw 310的旋转角；相机坐标系统350的Y轴Yc370关于世界坐标系统300的Y轴Yw 320的旋转角；相机坐标系统350的Z轴Zc380关于世界坐标系统300的Z轴Zw 330的旋转角。旋转角R 350可表示为3×3矩阵。
世界坐标系统300上的坐标MW与相机坐标系统350上的坐标Mc之间的对应关系由等式1定义。
MC＝R-1·MW-R-1·t    ............(1)
如果特定点302具有关于世界坐标系统300的坐标PW 340，则根据等式l，坐标PW 340匹配关于相机坐标系统350的坐标Pc 390。
图4是显示相机坐标系统400上的特定坐标(X，Y，Z)410和图像420上的坐标(x，y，f)430之间的相互关系的示图。在图4中，图像420与相机坐标系统400的Z轴Zc垂直排列(与Xc-Yc面平行)。相机坐标系统400上的坐标(X，Y，Z)410对应于图像420上的坐标(x，y，f)430。
参照图4，坐标(X，Y，Z)410与坐标(x，y，f)430之间的相互关系可由比例表达式450和从比例表达式450导出的关系表达式460表示。比例表达式450和关系表达式460可简化为如下所示的等式2。
s·m＝A·MC   ............(2)
在等式2中，s表示宽高比，m表示图像420上的坐标(x，y，f)430，A表示相机内参数，Mc表示相机坐标系统400上的坐标(X，Y，Z)410。宽高比s可表示为s＝(sx，sy)，并且相机内参数A可表示为A＝[-f/sx，0，0；0，-f/sy，0；0，0，1]。
s·m＝A·(R-1·MW-R-1·t)............(3)
世界坐标系统上的坐标和图像420上的坐标(x，y，f)430之间的相互关系被显示在等式3中。
主点是图像420和光轴的焦点。相机拍摄的区域应匹配图像420，因此拍摄的图像的中心点应匹配图像420的中心点。然而，可发生失配。此外，拍摄的区域的中心点应该匹配图像420的主点。然而，可再次发生失配。
图5是显示拍摄的图像510上的特定坐标(x，y)540和再现图像500上的坐标(xim，yim)570之间的相互关系的示图。
参照图5，如果捕获的图像510对应于再现的图像500，则捕获的图像510的原点530对应于再现的图像500的原点(ox，oy)560，，并且捕获的图像510的坐标(x，y)540对应于再现的图像500的坐标(xim，yim)570。
如果假设横向单元大小是sx520并且纵向单元大小sy 530，则基于相机的硬件特性，坐标(x，y)540和坐标(xim，yim)570之间的相互关系可被定义为算术表达式505。关于y分量，如果关系表达式460被代入算术表达式505，则关系表达式555被导出。关系表达式555表示再现的图像500和相机坐标系统之间的相互关系。
图6是显示立体相机的平移信息和旋转角信息的表。
参照图6，通过使用两个坐标系统的平移信息和旋转角信息来确定立体相机的主视角相机坐标系统和次视角相机系统之间的相互关系。现在将假设主视角相机坐标系统和次视角相机系统具有相同的x轴，并且主视角相机坐标系统与世界坐标系统一致来描述主视角相机坐标系统和次视角相机系统之间的相互关系。
平移信息表示次视点相机坐标系统与主视点相机坐标系统的距离，因此，主视点相机坐标系统的平移矩阵是(0，0，0)，次视点相机坐标系统的平移矩阵被表示为t＝(tx，ty，tz)。因此，可仅通过使用次视点相机坐标系统的平移矩阵来表示平移信息。
假设主视点相机系统是世界坐标系统来表示次视点相机坐标系统的旋转角。因此，主视点相机坐标系统的旋转矩阵是I＝[1，0，0；0，1，0；0，0，1]，次视点相机坐标系统的旋转矩阵被表示为R＝f(a，b，c)。因此，可仅使用次视点相机坐标系统来表示旋转信息。
通常，旋转信息具有3×3矩阵结构。然而，另一方面，可通过使用关于x，y和z轴的角度来表示旋转信息。也就是，旋转信息可表示为
Figure BPA00001259303100161
图7是显示主视点相机坐标系统700和次视点相机坐标系统750之间的相互关系的示图。
参照图7，通过使用两个坐标系统的平移信息和旋转角信息来表示主视点相机坐标系统700和次视点相机坐标系统750之间的相互关系。
更详细地讲，主视点相机坐标系统700的原点通过平移t710被平移到次视点相机坐标系统750的原点，因此，平移信息被表示为t＝(tx，ty，tz)。此外，主视点相机坐标系统700通过旋转角R 760被旋转到次视点相机坐标系统750，因此旋转角信息被表示为R＝f(a，b，c)。
因此，特定坐标720被定位在关于主视点相机坐标系统700的位置P1730，并且被定位在关于次视点相机坐标系统750的位置P2740。另外由平移t710和旋转角R760来定义位置P1730和位置P2740。
图8是示出基于国际标准化组织(ISO)的媒体文件格式800的结构的示图.
参照图8，基于ISO的媒体文件格式800包括moov框810和mdat框850。
关于音频和视频(AV)数据的基本头信息被插入moov框810。moov框810包括各种框，例如trak框820和825。trak框820和825包括关于mdat框850中的AV数据的存储位置的信息。mdat框850包括基本流(ES)的格式的AV数据。基于ISO的媒体文件格式800是根据运动图像专家组4(MPEG-4)和高级视频编码/H.264(AVC/H.264)标准广泛使用的AV数据格式。
图9是示出基于ISO的媒体文件格式的各种框的列表900的示图。
参照图9，基于ISO的媒体文件格式的框的列表900具有分级结构。ftyp框910、moov框920、mdat框930、meta框940和其他框950位于上层。
ftyp框910包含关于文件类型和兼容性的信息。为了表示立体图像数据文件格式，‘major_brand’被设置为‘ssav’。
moov框920是用于定时资源的所有元数据的空间。包括在moov框920中的trak框960是用于各个轨道的信息或者识别主AV数据或辅助数据的流的空间。包括在trak框960中的mdia框962是用于轨道中的所有媒体信息的空间。
mdat框930是用于媒体数据的空间。
meta框940是用于元数据的空间。根据本发明实施例，scdi框980被插入meta框940的子层，并且立体相机信息和立体差异信息被插入scdi框980中。
根据本发明的另一实施例，立体相机信息可被插入下述框中的至少一个中：位于上层的框950、包括在moov框920中的框970、包括在trak框960中的框966、包括在mdia框962中的框964以及包括在meta框940中的框990。
图10是示出根据本发明实施例的实现关于立体图像的各种参数的语法1000的示图。
参照图10，语法1000使用表示立体图像的视点图像之间的差异信息的差异信息参数、以及表示关于捕获了立体图像的立体相机的相机信息的相机信息参数1040。为了实现根据本发明实施例的相机参数，定义在图9中示出的scdi框980中的语法1000可包括以下参数。
‘item_count’参数表示代表立体数据的片段的项的数量。如果多个片段具有相同的相机信息和差异信息，则‘item_count’参数可被设置为具有值‘1’。
‘item_ID’参数表示记录在立体片段的iloc框中的项的标识(ID)信息。项的位置信息被插入iloc框中。
‘is_item_ID_ref’参数表示当前项是否使用另一项的参数。‘is_item_ID_ref’参数表示参考项的‘item_ID’参数。包括在scdi框中的参考项的相机信息和差异信息必须可用。
‘is_display_safety_info’参数表示差异信息是否被插入。‘expected_display_width’参数和‘expected_display_height’参数分别表示期望的显示宽度和高度。显示宽度/高度或观看距离可以以毫米定义。‘min_of_display’参数和‘max_of_display’参数分别表示主视点图像和次视点图像的最小差异和最大差异。
‘is_cam_params’参数表示相机信息是否被插入。‘baseline’参数表示两个相机之间的距离。‘focal_length’参数表示从光心到图像平面的距离。‘convergence_distance’参数表示从两个相机的中心点到聚焦点的距离。‘is_camera_cross’参数表示立体相机以平行方式排列还是交叉形式排列。
立体图像的数据与相机信息以及关于立体图像的差异信息一起被提供，因此，如果当恢复的立体图像被再现时相机信息和差异信息被使用，则立体图像的3D效果被提高，并且观看者可较少地感受到由3D效果引起的疲劳。
现在将参照图11至18来描述图10中示出的语法1000的相机信息参数1040可被替换的各种类型的语法。
图11是示出根据本发明实施例的实现关于立体图像的相机焦距参数的语法1100的示图。
参照图11，语法1100使用‘is_different_focal_length’参数1110。‘is_different_focal_length’参数1110是以上参照图1描述的焦距差别参数，并且表示主视点相机的焦距(以下称为主焦距)是否与次视点相机的焦距(以下称为次焦距)不同。‘primary_focal_length’参数1120表示主焦距。也就是，主焦距被用作相机信息。
如果if条件1130确定‘is_different_focal_length’参数1110具有值‘1’，则‘secondary_focal_length’参数1140被使用。也就是，如果焦距差别参数确定主焦距与次焦距不同，则表示为‘secondary_focal_length’参数1140的次焦距也被使用。
如果if条件1130确定‘is_different_focal_length’参数1110具有值‘0’，则‘secondary_focal_length’参数1140没有被使用。在这种情况下，焦距差别参数确定主焦距与次焦距一致，因此，可仅通过使用主焦距来表示主视点相机的焦距和次视点相机的焦距。尽管未在图11中显示，可仅通过使用次焦距来表示主视点相机的焦距和次视点相机的焦距。
图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括焦距参数确定单元，并且焦距参数确定单元可确定‘primary_focal_length’参数1120。焦距参数确定单元可基于由焦距差别参数确定单元确定的‘is_different_focal_length’参数1110来确定是否确定‘secondary_focal_length’参数1140。
此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括焦距参数提取单元，并且焦距参数提取单元可提取‘primary_focal_length’参数1120。焦距参数提取单元可基于由焦距差别参数提取单元提取的‘is_different_focal_length’参数1110来确定是否提取‘secondary_focal_length’参数1140。
图12是示出根据本发明的另一实施例的实现关于立体图像的相机焦距参数的语法1200的示图。
参照图12，语法1200不使用在图11中示出的‘is_different_focal_length’参数1110，而使用‘primary_focal_length’参数1220和‘secondary_focal_length’参数1240两者。也就是，主焦距和次焦距被单独使用。主视点和次视点可以分别是左视点和右视点，或者与此相反。
如果关于次焦距的信息没有被存储或传输，则次焦距被认为与主焦距一致。
因此，图1中示出的立体图像数据流产生设备的相机参数确定单元120可包括焦距参数确定单元，并且焦距参数确定单元可确定‘primary_focal_length’参数1220和‘secondary_focal_length’参数1240。
此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括焦距参数提取单元，并且焦距参数提取单元可提取‘primary_focal_length’参数1220和‘secondary_focal_length’参数1240。
图13是示出根据本发明的另一实施例的实现关于立体图像的相机焦距参数的语法1300的示图。
可通过水平分量和垂直分量来表示焦距。
参照图13，语法130使用‘hor_focal_length’参数1320和‘ver_focal_length’参数1340。‘hor_focal_length’参数1320表示焦距的水平分量，‘ver_focal_length’参数1340表示焦距的垂直分量。
图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括焦距参数确定单元，并且焦距参数确定单元可确定‘hor_focal_length’参数1320和‘ver_focal_length’参数1340。
此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括焦距参数提取单元，并且焦距参数提取单元可提取‘hor_focal_length’参数1320和‘ver_focal_length’参数1340。
图14是示出根据本发明的另一实施例的实现关于立体图像的相机焦距参数的语法1400的示图。
如果作为焦距的水平分量和垂直分量之间的宽高比的焦距宽高比被使用，则仅通过使用水平分量和垂直分量中的一个来表示焦距。
参照图14，语法1400使用‘hor_focal_length’参数1420和‘aspect_ratio’参数1440。‘hor_focal_length’参数1420表示焦距的水平分量，‘aspect_ratio’参数1440表示焦距的宽高比。根据本发明的另一实施例，可使用‘ver_focal_length’参数来代替使用‘hor_focal_length’参数1420。
图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括焦距参数确定单元和焦距宽高比参数确定单元。焦距参数确定单元可确定‘hor_focal_length’参数1420，并且焦距宽高比参数确定单元可确定‘aspect_ratio’参数1440。
此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括焦距参数提取单元和焦距宽高比参数提取单元。焦距参数提取单元可提取‘hor_focal_length’参数1420，并且焦距宽高比参数提取单元可提取‘aspect_ratio’参数1440。
图15是示出根据本发明的另一实施例的实现关于立体图像的相机焦距参数的语法1500的示图。
参照图15，语法1500使用‘is_aspect_ratio’参数1510。‘is_aspect_ratio’参数1510是以上参照图1描述的焦距宽高比使用参数，并且表示焦距宽高比是否被使用以表示焦距。‘hor_focal_length’参数1520表示焦距的水平分量。
如果if条件1530确定‘is_aspect_ratio’参数1510具有值‘1’，则‘aspect_ratio’参数1540被使用。也就是，如果确定焦距宽高比将被使用，则‘aspect_ratio’参数1540被声明和使用。
如果if条件1530确定‘is_aspect_ratio’参数1510具有值‘0’，则‘aspect_ratio’参数1540没有被单独定义。根据本发明的实施例，如果if条件1530确定‘is_aspect_ratio’参数1510具有值‘0’，则‘aspect_ratio’参数1540没有被单独定义并且被认为是具有值‘1’。也就是，如果确定焦距宽高比没有被使用，则焦距宽高比可被认为具有值‘1’，因此，焦距的水平分量可被确定与焦距的垂直分量一致。
图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括焦距参数确定单元、焦距宽高比参数确定单元和焦距宽高比使用参数确定单元。焦距参数确定单元可确定‘hor_focal_length’参数1520。焦距宽高比参数确定单元可基于由焦距宽高比使用参数确定单元确定的‘is_aspect_ratio’参数1510来确定是否确定‘aspect_ratio’参数1540。
此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括焦距参数提取单元、焦距宽高比参数提取单元和焦距宽高比使用参数提取单元。焦距参数提取单元可提取‘hor_focal_length’参数1520。焦距宽高比参数提取单元可基于由焦距宽高比使用参数提取单元提取的‘is_aspect_ratio’参数1510来确定是否提取‘aspect_ratio’参数1540。
图16是示出根据本发明的实施例的实现关于立体图像的相机主点参数的语法1600的示图。
主点是由相机捕获的图像的中心点。主点被单独表示在每一视点图像中，并且可通过使用x分量和y分量来表示。根据本发明实施例，主视点图像和次视点图像可分别是左视点图像和右视点图像。
参照图16，语法1600使用‘primary_principal_x’参数1640、‘primary_principal_y’参数1650、‘secondary_principal_x’参数1660和‘secondary_principal_y’参数1670。‘primary_principal_x’参数1640表示主视点图像的主点的x分量，‘primary_principal_y’参数1650表示主视点图像的主点的y分量，‘secondary_principal_x’参数1660表示次视点图像的主点的x分量，‘secondary_principal_y’参数1670表示次视点图像的主点的y分量。
图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括主点参数确定单元。主点参数确定单元可确定‘primary_principal_x’参数1640、‘primary_principal_y’参数1650、‘secondary_principal_x’参数1660和‘secondary_principal_y’参数1670。
此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括主点参数提取单元。主点参数提取单元可提取‘primary_principal_x’参数1640、‘primary_principal_y’参数1650、‘secondary_principal_x’参数1660和‘secondary_principal_y’参数1670。
图17是示出根据本发明的另一实施例的实现关于立体图像的相机主点参数的语法1700的示图。
参照图17，语法1700使用‘is_principal_point’参数1710。‘is_principal_point’参数1710是以上参照图1描述的主点信息设置参数，表示主点信息是否被设置，并且定义当图像的主点与相机的中心点不同的情况。
如果if条件1730确定‘is_principal_point’参数1710具有值‘1’，则‘primary_principal_x’参数1740、‘primary_principal_y’参数1750、‘secondary_principal_x’参数1760和‘secondary_principal_y’参数1770被使用。也就是，如果确定主点信息将被使用，则‘primary_principal_x’参数1740、‘primary_principal_y’参数1750、‘secondary_principal_x’参数1760和‘secondary_principal_y’参数1770被声明和使用。
如果if条件1730确定‘is_principal_point’参数1710具有值‘0’，则‘primary_principal_x’参数1740、‘primary_principal_y’参数1750、‘secondary_principal_x’参数1760和‘secondary_principal_y’参数1770不被单独声明和定义。根据本发明实施例，如果if条件1730确定‘is_principal_point’参数1710具有值‘0’，则‘primary_principal_x’参数1740、‘primary_principal_y’参数1750、‘secondary_principal_x’参数1760和‘secondary_principal_y’参数1770不被单独定义，并且没有视点相机的中心点被认为匹配每一视点图像的主点。
图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括主点参数确定单元和主点信息设置参数确定单元。主点参数确定单元可基于由主点信息设置参数确定单元确定的‘is_principal_point’参数1710来确定‘primary_principal_x’参数1740、‘primary_principal_y’参数1750、‘secondary_principal_x’参数1760和‘secondary_principal_y’参数1770。
此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括主点参数提取单元和主点信息设置参数提取单元。主点参数提取单元可基于由主点信息设置参数提取单元提取的‘is_principal_point’参数1710来提取‘primary_principal_x’参数1740、‘primary_principal_y’参数1750、‘secondary_principal_x’参数1760和‘secondary_principal_y’参数1770。
图18是示出根据本发明的实施例的实现关于立体图像的相机旋转角参数的语法1800的示图。
参照图18，语法1800使用旋转参数。旋转参数表示旋转角信息，并且可由x、y和z方向行的三个角度来表示。此外，旋转参数可被表示为3×3矩阵的‘rotation[3][3]’，或者可表示为九比特阵列的‘rotation[9]’。
尽管未在图18中显示，语法1800还可使用平移参数。平移参数可表示‘translation[3]’形式的主视点相机坐标系统和次视点相机坐标系统之间的距离。
因此，图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括旋转角参数确定单元，并且旋转角参数确定单元可确定‘rotation[9]’1820。
此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括旋转角参数提取单元，并且旋转角参数提取单元可提取‘rotation[9]’参数1820。
图19是根据本发明的实施例的使用立体图像数据流产生方法的立体图像文件产生系统的框图。
参照图19，立体图像文件产生系统1900包括主视点相机1902、次视点相机1904、立体/单视点图像相机1906、输入单元1910、图像信号处理单元1920、存储单元1930、编码单元1940和文件产生单元1960。
主视点相机1902和次视点相机1904在主视点和次视点拍摄预定对象，以便输出不同的主视点图像和次视点图像。如果立体图像文件产生系统1900还捕获单视点图像，则单视点图像从立体/单视点图像相机1906输出。从主视点相机1902和次视点相机1904以及立体/单视点图像相机1906的每一个输出的图像被输入到输入单元1910。
输入到输入单元1910的图像被图像信号处理单元1920预处理。例如，作为模拟值的外部图像值被转换为数字值。这里，术语“外部图像值”表示由电荷耦合(CCD)型或互补金属氧化物半导体(CMOS)型的传感器识别的光和色彩的分量。
存储单元1930存储预处理图像的图像数据，并将图像数据提供给编码单元1940。尽管存储单元1930被单独示出，则立体图像文件产生系统1900还可包括用于在立体图像文件产生系统1900的其他部件之间进行缓冲的其他存储元件(而不是存储单元1930)。
编码单元1940对从存储单元1930接收的图像数据编码。如果必要，可省略编码单元1940对图像数据的编码。
文件产生单元1960将图像相关性信息1950和从编码单元1940接收的(编码)图像数据插入预定文件格式中，以便产生图像文件1970。图像相关性信息1950可包括用于表示图像之间的相关性的轨迹框的参考信息、以及用于表示每一图像的媒体类型的处理器信息。
此外，图像相关性信息1950可包括二维(2D)图像相关信息和3D图像相关信息。3D图像相关信息表示主视点图像和次视点图像之间的相关性，并且可包括关于2D/3D数据部分的信息、关于主视点图像和次视点图像的排列方法的信息、关于图像文件类型的信息、相机参数、显示信息和差异信息。
根据本发明的实施例，文件产生单元1960可将图像数据和图像相关性信息1950分别存储在图像文件1970的媒体数据区域和头区域中。如果图像文件1970是基于ISO的媒体文件格式，则图像数据可被存储在mdat框中的基本流的格式中，并且图像相关性信息1950可被存储在trak框或trak框的子级框中。
图像文件1970被输入或发送到3D图像文件再现设备。
图20是示出根据本发明的实施例的使用立体图像恢复方法的立体图像恢复/再现系统的框图。
参照图20，立体图像恢复/再现系统2000包括文件解析单元2020、解码单元2030、存储单元2040、再现单元2050和显示单元2060。
文件解析单元2020解析接收的图像文件2010。在存储在ftyp框、moov框、trak框和meta框的每个中的信息被解析之后，存储在mdat框中的图像数据可被提取。主视点图像数据2022、次视点图像数据2024和立体/单视点图像数据2026可被提取作为图像数据。通过解析图像文件2010，图像数据相关信息2028也可被提取。图像数据相关信息2028可包括图像之间的相关性信息，例如关于相关轨迹的trak参考信息。
解码单元2030接收包括从图像文件2010提取的主视点图像数据2022、次视点图像数据2024和立体/单视点图像数据2026的图像数据，并对该图像数据解码。只有当图像文件2010中的图像数据已经被编码时才执行解码。存储单元2040接收并存储从解码单元2030输出的(解码)图像数据2035以及由文件解析单元2020提取的图像数据相关信息2028。
再现单元2050从存储单元2040接收图像再现相关信息2048以及将被再现的图像数据，以便再现图像。需要图像再现相关信息2048来从图像数据相关信息2028中再现图像，并且图像再现相关信息2048包括图像相关性信息。
再现单元2050可通过使用图像再现相关信息2048以2D或3D图像再现方法来再现图像数据2045。例如，再现单元2050可通过参照图像数据标识信息来组合和再现相关立体图像。此外，再现单元2050可通过参照图像数据标识信息和2D/3D数据部分信息来一起再现相关立体图像和单视点图像。
显示单元2060可将由再现单元2050再现的图像显示在屏幕上。显示单元2060可以是栅栏液晶显示器(LCD)。当栅栏LCD被关闭时单视点图像可被显示，并且当栅栏LCD被打开时，立体图像的视点图像都可被同时显示。
图21是示出根据本发明的实施例的立体图像数据流产生方法的流程图。
参照图21，在操作2110，立体图像的图像数据被编码。
在操作2120，基于捕获了立体图像的一个或多个相机的每一个的各个特性来确定相机参数。相机参数可包括焦距相关参数、主点相关参数、平移参数、旋转角参数和宽高比参数。焦距相关参数可包括焦距信息、指示视点相机的焦距彼此不同的信息、以及指示焦距是否由宽高比表示的信息。除了相机的主点之外，主点相关参数可包括主点信息、以及指示是否单独地设置图像的主点的信息。
在操作2130，编码图像数据和相机参数被插入数据流中。例如，如果数据流具有基于ISO的媒体文件格式，则图像数据可被插入mdat框，相机参数可被插入moov框的子级框，trak框、trak框的子级框、meta框或者meta框的子级框。
图22是示出根据本发明的实施例的立体图像恢复方法的流程图。
参照图22，在操作2210，从接收的数据流中解析立体图像的图像数据和关于立体图像的信息。例如，如果数据流具有基于ISO的媒体文件格式，可从mdat框中解析图像数据，并且可从moov框的子级框，trak框、trak框的子级框、meta框或者meta框的子级框中解析关于立体图像的信息。
在操作2220，提取取决于捕获了立体图像的一个或多个相机的每一个的各个特性的相机参数。相机参数可包括焦距相关参数、主点相关参数、平移参数、旋转角参数和宽高比参数。此外，焦距宽高比使用参数、焦距差别参数以及主点信息设置参数可被提取。
在操作2230，立体图像的图像数据被解码和恢复。
在操作2240，通过使用相机参数来再现立体图像的图像数据。通过使用相机参数来将每一视点图像在合适的时间和位置再现和显示，因此可将更精确的2D或3D图像提供给用户。
本发明的实施例可被编写为计算机程序，并且可以使用计算机可读记录介质在执行程序的通用数字计算机中被执行。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)等。
尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (26)

1.一种立体图像恢复方法，包括：
将接收的图像流解析为立体图像的图像数据和关于立体图像的信息；
提取表示捕获了立体图像的一个或多个相机的每一个的各个特性的相机参数；
解码并恢复立体图像的图像数据。
2.如权利要求1所述的立体图像恢复方法，其中，解码和恢复的步骤包括：基于相机参数来再现立体图像的图像数据。
3.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括提取主焦距参数和次焦距参数，其中，主焦距参数表示一个或多个相机的主视点相机的焦距，次焦距参数表示一个或多个相机的次视点相机的焦距。
4.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括：提取焦距差别参数，其中，焦距差别参数指示一个或多个相机的主视点相机的主焦距是否与一个或多个相机的次视点相机的次焦距不同。
5.如权利要求4所述的立体图像恢复方法，其中，如果焦距差别参数指示主焦距与次焦距一致，则提取相机参数的步骤还包括：提取主焦距参数和次焦距参数中的一个，其中，主焦距参数表示主焦距，次焦距参数表示次焦距。
6.如权利要求4所述的立体图像恢复方法，其中，如果焦距差别参数指示主焦距与次焦距不同，则提取相机参数的步骤还包括：提取主焦距参数和次焦距参数，其中，主焦距参数表示主焦距，次焦距参数表示次焦距。
7.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括：提取水平焦距参数和垂直焦距参数，其中，水平焦距参数表示一个或多个相机的预定视点相机的焦距的水平分量，垂直焦距参数表示预定视点相机的焦距的垂直分量。
8.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括：
提取焦距宽高比参数，其中，焦距宽高比参数表示一个或多个相机的预定视点相机的焦距的水平分量和垂直分量之间的宽高比；
提取水平焦距参数和垂直焦距参数中的一个，其中，水平焦距参数表示焦距的水平分量，垂直焦距参数表示焦距的垂直分量。
9.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括：提取焦距宽高比使用参数，其中，焦距宽高比使用参数指示关于一个或多个相机的预定视点相机的焦距的信息是否基于焦距的水平分量和垂直分量之间的宽高比设置。
10.如权利要求9所述的立体图像恢复方法，其中，如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比被使用，则提取相机参数的步骤还包括：提取焦距宽高比参数，其中，焦距宽高比参数表示焦距的水平分量和垂直分量之间的宽高比。
11.如权利要求9所述的立体图像恢复方法，其中，如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比没有被使用，则提取相机参数的步骤还包括：确定焦距的水平分量和垂直分量之间的宽高比具有值‘1’。
12.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括：提取基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点。
13.如权利要求12所述的立体图像恢复方法，其中，提取相机参数的步骤包括：对于x分量和y分量提取基本主点参数和次主点参数的每一个。
14.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括：提取主点信息设置参数，其中，主点信息设置参数指示关于立体图像的主视点图像的主点和次视点图像的主点的每一个的信息是否被设置的信息。
15.如权利要求14所述的立体图像恢复方法，其中，如果主点信息设置参数指示关于主点的信息被设置，则提取相机参数的步骤还包括：提取基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点，
其中，对于x分量和y分量提取基本主点参数和次主点参数的每一个。
16.如权利要求14所述的立体图像恢复方法，其中，如果主点信息设置参数指示关于主点的信息没有被设置，则提取相机参数的步骤还包括：确定由一个或多个相机的预定视点相机拍摄的区域的中心点匹配立体图像的预定视点图像的主点。
17.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括：在一个或多个相机的预定视点相机的旋转角中，提取x轴旋转角参数、y轴旋转角参数和z轴旋转角参数，其中，x轴旋转角参数表示关于x轴的旋转角，y轴旋转角参数表示关于y轴的旋转角，z轴旋转角参数表示关于z轴的旋转角。
18.如权利要求17所述的立体图像恢复方法，其中，提取相机参数的步骤包括：提取旋转角参数，其中，关于x轴的旋转角、关于y轴的旋转角和关于z轴的旋转角被表示为3×3矩阵和九位阵列之一。
19.如权利要求1所述的立体图像恢复方法，其中，如果数据流是基于国际标准化组织ISO的媒体文件格式，则基于ISO的媒体文件格式包括moov框、mdat框和第一meta框，
其中，解析步骤包括：
从下述框中的至少一个中提取相机参数：第一meta框的子级框、moov框的第一子级框、作为moov框的第二子级框的trak框的第一子级框以及作为trak框的第二子级框的第二meta框的子级框；
从mdat框中提取立体图像的图像数据。
20.一种立体图像数据流产生方法，包括：
对立体图像的图像数据编码；
基于捕获了立体图像的一个或多个相机的每一个的各个特性来确定相机参数；
将图像数据和相机参数插入到数据流中。
21.如权利要求20所述的立体图像数据流产生方法，其中，确定相机参数的步骤包括：
确定焦距差别参数，其中，焦距差别参数指示一个或多个相机的主视点相机的主焦距是否与一个或多个相机的次视点相机的次焦距不同；
基于焦距差别参数确定主焦距参数和次焦距参数中的至少一个，其中，主焦距参数表示主焦距，次焦距参数表示次焦距。
22.如权利要求20所述的立体图像数据流产生方法，其中，确定相机参数的步骤包括：
确定焦距宽高比参数，其中，焦距宽高比参数表示一个或多个相机的预定视点相机的焦距的水平分量和垂直分量之间的宽高比；
确定水平焦距参数和垂直焦距参数中的一个，其中，水平焦距参数表示焦距的水平分量，垂直焦距参数表示焦距的垂直分量。
23.如权利要求22所述的立体图像数据流产生方法，其中，确定相机参数的步骤还包括：确定焦距宽高比使用参数，其中，焦距宽高比使用参数指示是否基于焦距的水平分量和垂直分量之间的宽高比设置关于焦距的信息，
其中，确定焦距宽高比参数的步骤包括：如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比被使用，则确定表示焦距的水平分量和垂直分量之间的宽高比的焦距宽高比参数。
24.如权利要求20所述的立体图像数据流产生方法，其中，确定相机参数的步骤包括：
确定主点信息设置参数，其中，主点信息设置参数指示关于立体图像的主视点图像的主点和次视点图像的主点的每一个的信息是否被设置；
确定基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点。
25.一种其上记载有用于执行立体图像恢复方法的计算机程序的计算机可读记录介质，该方法包括：
将接收的图像流解析为立体图像的图像数据和关于立体图像的信息；
提取表示捕获了立体图像的一个或多个相机的每一个的各个特性的相机参数；
解码并恢复立体图像的图像数据。
26.一种在其上记载有用于执行立体图像数据流产生方法的计算机程序的计算机可读记录介质，该方法包括：
对立体图像的图像数据编码；
基于捕获了立体图像的一个或多个相机的每一个的各个特性来确定相机参数；
将图像数据和相机参数插入到数据流中。
CN2009801193329A 2008-05-27 2009-03-26 通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备 Expired - Fee Related CN102047668B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US5617408P 2008-05-27 2008-05-27
US61/056,174 2008-05-27
KR10-2008-0071897 2008-07-23
KR20080071897A KR101490689B1 (ko) 2008-05-27 2008-07-23 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
PCT/KR2009/001549 WO2009145426A1 (en) 2008-05-27 2009-03-26 Method and apparatus for generating stereoscopic image data stream by using camera parameter, and method and apparatus for restoring stereoscopic image by using camera parameter

Publications (2)

Publication Number Publication Date
CN102047668A true CN102047668A (zh) 2011-05-04
CN102047668B CN102047668B (zh) 2013-08-07

Family

ID=41685940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801193329A Expired - Fee Related CN102047668B (zh) 2008-05-27 2009-03-26 通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备

Country Status (8)

Country Link
US (1) US9179124B2 (zh)
EP (1) EP2286596A1 (zh)
JP (1) JP5519647B2 (zh)
KR (1) KR101490689B1 (zh)
CN (1) CN102047668B (zh)
BR (1) BRPI0912178A2 (zh)
MX (1) MX2010012948A (zh)
WO (1) WO2009145426A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013159705A1 (zh) * 2012-04-25 2013-10-31 浙江大学 编解码方法、视频序列码流的编解码方法及其对应的装置
WO2014101102A1 (zh) * 2012-12-28 2014-07-03 华为技术有限公司 对视频内容的摄像机参数的编码和解码方法与装置
CN107479180A (zh) * 2017-08-28 2017-12-15 中国科学院上海微系统与信息技术研究所 一种显微立体图像采集装置
WO2018086524A1 (en) * 2016-11-09 2018-05-17 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information and associated method and apparatus having video decoding function

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US8542286B2 (en) * 2009-11-24 2013-09-24 Microsoft Corporation Large format digital camera with multiple optical systems and detector arrays
US8665316B2 (en) * 2009-11-24 2014-03-04 Microsoft Corporation Multi-resolution digital large format camera with multiple detector arrays
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
JP5002047B2 (ja) * 2010-11-05 2012-08-15 シャープ株式会社 立体画像データ再生装置
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
EP2684294A4 (en) * 2011-03-10 2014-08-20 Vidyo Inc RENDERING ORIENTATION DATA IN A VIDEO DATA BIT TRAIN
JP2014528190A (ja) 2011-08-12 2014-10-23 テレフオンアクチーボラゲット エル エム エリクソン（パブル） カメラおよび／または深度パラメータのシグナリング
WO2013029696A1 (en) * 2011-08-30 2013-03-07 Telefonaktiebolaget L M Ericsson (Publ) Receiver-side adjustment of stereoscopic images
CN103139555B (zh) * 2011-11-22 2017-07-11 浙江大学 一种视频序列参数编码方法、解码方法、对应的装置及码流
US10171745B2 (en) * 2014-12-31 2019-01-01 Dell Products, Lp Exposure computation via depth-based computational photography
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
KR20190039669A (ko) 2016-05-26 2019-04-15 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN109785225B (zh) * 2017-11-13 2023-06-16 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN109785390B (zh) * 2017-11-13 2022-04-01 虹软科技股份有限公司 一种用于图像矫正的方法和装置
KR102344073B1 (ko) 2018-04-05 2021-12-28 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오를 전송하는 장치 및 360도 비디오를 수신하는 장치
JP7271099B2 (ja) * 2018-07-19 2023-05-11 キヤノン株式会社 ファイルの生成装置およびファイルに基づく映像の生成装置
JP2021182650A (ja) * 2018-07-20 2021-11-25 ソニーグループ株式会社 画像処理装置および方法
US11347788B2 (en) * 2019-01-16 2022-05-31 Toyota Research Institute, Inc. Systems and methods for generating a requested image view
US11887151B2 (en) * 2022-02-14 2024-01-30 Korea Advanced Institute Of Science And Technology Method and apparatus for providing advertisement disclosure for identifying advertisements in 3-dimensional space

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097850A (en) * 1996-11-27 2000-08-01 Fujitsu Limited Measuring method and apparatus of photographic parameter and computer memory product
US20030179923A1 (en) * 1998-09-25 2003-09-25 Yalin Xiong Aligning rectilinear images in 3D through projective registration and calibration
US20050091019A1 (en) * 1999-03-26 2005-04-28 Charles Clavadetscher Visualization and setting of a virtual camera and lens system in a computer graphic modeling environment
US20070008575A1 (en) * 2005-06-14 2007-01-11 Samsung Electronics Co., Ltd. Transport stream structure including image data and apparatus and method for transmitting and receiving image data
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07230556A (ja) 1994-02-17 1995-08-29 Hazama Gumi Ltd Ｃｇ立体視アニメーションの生成法
US5802410A (en) * 1997-02-18 1998-09-01 Wah Lo; Allen Kwok Method and apparatus for producing composite images with a masked imaging device
JP2004274253A (ja) 2003-03-06 2004-09-30 Sharp Corp 映像記録装置および映像送信装置
KR100556830B1 (ko) 2003-12-12 2006-03-10 한국전자통신연구원 스테레오스코픽 입체영상 디스플레이를 위한 3차원 그래픽모델렌더링 장치 및 그 방법
KR101199498B1 (ko) * 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
JP2011502375A (ja) 2007-10-10 2011-01-20 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造ならびにこれを利用するステレオスコピックコンテンツファイルの保存方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097850A (en) * 1996-11-27 2000-08-01 Fujitsu Limited Measuring method and apparatus of photographic parameter and computer memory product
US20030179923A1 (en) * 1998-09-25 2003-09-25 Yalin Xiong Aligning rectilinear images in 3D through projective registration and calibration
US20050091019A1 (en) * 1999-03-26 2005-04-28 Charles Clavadetscher Visualization and setting of a virtual camera and lens system in a computer graphic modeling environment
US20070008575A1 (en) * 2005-06-14 2007-01-11 Samsung Electronics Co., Ltd. Transport stream structure including image data and apparatus and method for transmitting and receiving image data
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3GPP2: "《3GPP2 C.S0050-0 Ver1.0》", 12 December 2003 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013159705A1 (zh) * 2012-04-25 2013-10-31 浙江大学 编解码方法、视频序列码流的编解码方法及其对应的装置
US10171841B2 (en) 2012-04-25 2019-01-01 Zhejiang University Method and device for encoding/decoding video bitstream
WO2014101102A1 (zh) * 2012-12-28 2014-07-03 华为技术有限公司 对视频内容的摄像机参数的编码和解码方法与装置
CN104185994A (zh) * 2012-12-28 2014-12-03 华为技术有限公司 对视频内容的摄像机参数的编码和解码方法与装置
WO2018086524A1 (en) * 2016-11-09 2018-05-17 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information and associated method and apparatus having video decoding function
US10560678B2 (en) 2016-11-09 2020-02-11 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
US10587857B2 (en) 2016-11-09 2020-03-10 Mediatek Inc. Method and apparatus having video decoding function with syntax element parsing for obtaining rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format
CN107479180A (zh) * 2017-08-28 2017-12-15 中国科学院上海微系统与信息技术研究所 一种显微立体图像采集装置

Also Published As

Publication number Publication date
WO2009145426A1 (en) 2009-12-03
US20090295907A1 (en) 2009-12-03
BRPI0912178A2 (pt) 2018-02-20
MX2010012948A (es) 2010-12-21
JP2011523285A (ja) 2011-08-04
US9179124B2 (en) 2015-11-03
KR20090123743A (ko) 2009-12-02
KR101490689B1 (ko) 2015-02-06
JP5519647B2 (ja) 2014-06-11
EP2286596A1 (en) 2011-02-23
CN102047668B (zh) 2013-08-07

Similar Documents

Publication Publication Date Title
CN102047668B (zh) 通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备
US8878836B2 (en) Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
US8780173B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US8929643B2 (en) Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
US8259162B2 (en) Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3D) data, and method and apparatus for displaying temporally partial 3D data of stereoscopic image
KR101530713B1 (ko) 영상 파일을 생성하고 표시하기 위한 장치 및 방법
EP2523461A1 (en) Image processing device, information recording medium, image processing method, and program
EP2158768B1 (en) System and method for generating and regenerating 3d image files based on 2d image media standards
WO2011083625A1 (ja) 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
TW201415864A (zh) 用於產生、傳送及接收立體影像之方法，以及其相關裝置
EP2537346B1 (en) Stereo logo insertion
KR101390810B1 (ko) 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치
KR101390811B1 (ko) 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치
KR101396350B1 (ko) 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치
Kim et al. Proposition of Rubustness Indicators for Immersive Content Filtering
KR101453084B1 (ko) 3ｄ 영상 파일을 생성 및 재생하기 위한 휴대 단말기 및 방법
KR20120131138A (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR20090093734A (ko) 다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치
Gitman et al. DELIVERING ENHANCED 3D VIDEO.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130807

Termination date: 20210326

CF01 Termination of patent right due to non-payment of annual fee