CN108353187A - 用于对由光学采集系统捕获的图像进行编码的装置和方法 - Google Patents

用于对由光学采集系统捕获的图像进行编码的装置和方法 Download PDF

Info

Publication number
CN108353187A
CN108353187A CN201680064918.XA CN201680064918A CN108353187A CN 108353187 A CN108353187 A CN 108353187A CN 201680064918 A CN201680064918 A CN 201680064918A CN 108353187 A CN108353187 A CN 108353187A
Authority
CN
China
Prior art keywords
collecting
optical system
pixel
parameter
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680064918.XA
Other languages
English (en)
Other versions
CN108353187B (zh
Inventor
L.布隆德
M.塞费
G.布瓦松
P.克尔比里乌
V.德拉齐克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP15306444.9A external-priority patent/EP3145195A1/en
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108353187A publication Critical patent/CN108353187A/zh
Application granted granted Critical
Publication of CN108353187B publication Critical patent/CN108353187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

存在若干类型的市场上可获得的全光设备和相机阵列，并且所有这些光场采集设备都具有其专有的文件格式。然而，没有支持多维信息的采集和传输的标准。感兴趣的是获得与所述光学采集系统的传感器的像素和所述光学采集系统的物空间之间的对应关系有关的信息。实际上，知道光学采集系统的物空间的哪个部分被属于所述光学采集系统的传感器的像素正在感测能实现信号处理操作的改进。因此引入像素束的概念，其表示光射线集在相机的光学系统的物空间中所占据的体积。

Description

用于对由光学采集系统捕获的图像进行编码的装置和方法
技术领域
本发明涉及表示光场的数据的生成。
背景技术
Anat Levin等人在ECCV 2008会议记录中发表的文章“Understanding camera trade-offs through a Bayesian analysis of light field projections”中解释的四维或4D光场数据的采集(其可以视为4D光场的采样，即光线的记录)是个热门的研究主题。
与从相机获得的传统二维或2D图像相比，4D光场数据使用户能够具有对较多后处理特征的访问，这增强图像的呈现和与用户的交互性。例如，利用4D光场数据，可以以自由选择的聚焦距离来执行图像的重新聚焦，意味着可以后验地规定/选择焦平面的位置，以及略微改变图像在场景中的视点。为了采集4D光场数据，可以使用若干技术。例如，全光相机能够采集4D光场数据。图1A中提供了全光相机的架构细节。图1A是示意性表示全光相机100的图。全光相机100包括主透镜101、包括以二维阵列排列的多个微透镜103的微透镜阵列102、以及图像传感器104。
采集4D光场数据的另一个方式是使用如图1B中描绘的相机阵列。图1B表示多阵列相机110。多阵列相机110包括透镜阵列112和图像传感器114。
在如图1A中所示的全光相机100的示例中，主透镜101接收来自主透镜101的物场中的物体(图上未示出)的光，并使光经过主透镜101的图像场。
最后，采集4D光场的另一个方式是使用被配置为捕获不同焦平面处的同一场景的2D图像序列的传统相机。例如，J.-H.Park等人在2014年10月的OPTICS EXPRESS，第22卷，第21期中发表的文献“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays”中描述的技术可以用于通过传统相机来实现4D光场数据的采集。
存在若干方式来表示4D光场数据。实际上，Ren Ng在2006年7月发表的题为“Digital Light Fiel dPhotography”的博士论文的第3.3章中描述了表示4D光场数据的三个不同方式。首先，4D光场数据可以在通过全光相机记录时，通过微透镜图像集合来表示。该表示下的4D光场数据称为原始图像或原始4D光场数据。第二，4D光场数据可以在通过全光相机或通过相机阵列记录时，通过子孔径图像集来表示。子孔径图像对应于从视点捕获的场景的图像，视点在两个子孔径图像之间略微不同。这些子孔径图像给出关于成像场景的视差和深度的信息。第三，4D光场数据可以通过核线图像(epipolar image)集来表示，例如参见S.Wanner等人在ISVC 2011会议记录中发表的题为“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”的文章。
存在若干类型的市场上可获得的全光设备和相机阵列，并且所有这些光场采集设备都具有其专有的文件格式。因此，由于没有支持多维信息的采集和传输的标准，所以看来光场技术无法存在于常规的2D或3D成像之外。考虑到前述内容而设计了本发明。
发明内容
根据本发明的第一方面，提供了一种用于对由光学采集系统捕获的图像进行编码的装置，所述装置包括处理器，该处理器被配置为针对所述光学采集系统的传感器的至少一个像素计算参数，该参数定义经过所述光学采集系统的光瞳和所述至少一个像素在正交于所述光瞳的表面的方向上在所述光学采集系统的物空间中的共轭的光射线集所占据的所述光学采集系统的物空间中的体积，所述光射线集所占据的所述体积称为像素束。
根据装置的实施例，所述处理器被配置为将表示像素束的参数与由所述光学采集系统采集的要编码的图像相关联。
根据装置的实施例，像素束的参数表示是通过以下方程定义的单叶双曲面：
其中x、y和z是属于双曲面的表面的点在物空间中的坐标，zP、θx、θy、a，zP表示像素束的最小截面的距离，该最小截面称为腰部，其对应于所述像素在正交于所述光瞳的表面的方向上在光学采集系统的物空间中的共轭，θx、θy表示定义腰部离开所述光瞳的中心的方向的剪切角，a表示腰部尺寸；c是定义像素束的角孔径的依赖于a的参数，以及v是在[0,2π]区间中变化的角度。
根据装置的实施例，像素束的参数表示是通过以下方程定义的单叶双曲面：
其中AO是表示非对称光瞳的纵横比的参数，AP是表示非对称腰部的纵横比的参数，a是与所述光瞳和所述腰部之间的一部分像素束的传播有关的参数，ρO是表示所述光瞳的极半径因子的参数，以及ρP是表示所述腰部的极半径因子的参数。
根据装置的实施例，像素束通过至少第一参数集和第二参数集来表示，该第一参数集表示称为主射线的双曲面的轴，该第二参数集表示通过绕主射线旋转实现双曲面的表面的生成的生成射线族。
根据装置的实施例，像素束的参数表示是前锥和后锥的联合，前锥和后锥彼此重叠。
根据装置的实施例，通过以下方程给出作为前锥和后锥的联合的像素束的参数表示：
其中，z前表示前锥的顶点的z坐标，z后表示后锥的顶点的z坐标，P、zP、W和zw分别表示像素束的光瞳的直径，其中P＞0，其z坐标，像素束的腰部的直径和z坐标，其中0＜W＜+∞，以及其z坐标，0＜zw＜+∞，以及
其中，θ前和θ后分别是前锥和后锥的顶角。
根据装置的实施例，在W＝+∞且zw＝+∞时，通过以下方程给出作为前锥和后锥的联合的像素束的参数表示：
其中，p和f分别表示像素的直径，其中p＞0，以及光学采集系统的光学器件的焦距，其中f＞0，
以及
本发明的另一目的是一种对由光学采集系统捕获的图像进行编码的方法，所述方法包括针对所述光学采集系统的传感器的至少一个像素计算参数，该参数定义经过所述光学采集系统的光瞳和所述至少一个像素在正交于所述光瞳的表面的方向上在所述光学采集系统的物空间中的共轭的光射线集所占据的所述光学采集系统的物空间中的体积，所述光射线集所占据的所述体积称为像素束。
根据本发明的实施例的方法，还包括将表示像素束的参数与由所述光学采集系统采集的要编码的图像相关联。
本发明的另一目的是一种用于对由光学采集系统捕获的图像进行处理的装置，所述装置包括处理器，该处理器被配置为基于与所述光学采集系统的传感器的至少一个像素相关联的参数来处理所述图像，所述参数定义经过所述光学采集系统的光瞳和所述至少一个像素在正交于所述光瞳的表面的方向上在所述光学采集系统的物空间中的共轭的光射线集所占据的所述光学采集系统的物空间中的体积，所述光射线集所占据的所述体积称为像素。
根据用于对由光学采集系统捕获的图像进行处理的装置的实施例，所述处理器被配置为通过以下对所捕获的图像进行处理：
-对所捕获的图像进行解复用，
-对所捕获的图像进行去马赛克，
-对所捕获的图像进行重新聚焦，或者
-将所捕获的图像与由不同的光学采集系统捕获的至少另一图像混合。
本发明的另一目的是一种对由光学采集系统捕获的图像进行处理的方法，所述方法包括基于与所述光学采集系统的传感器的至少一个像素相关联的参数来处理所述图像，所述参数定义经过所述光学采集系统的光瞳和所述至少一个像素在正交于所述光瞳的表面的方向上在所述光学采集系统的物空间中的共轭的光射线集所占据的所述光学采集系统的物空间中的体积，所述光射线集所占据的所述体积称为像素。
根据对由光学采集系统捕获的图像进行处理的方法的实施例，对所捕获的图像进行处理包括：
-对所捕获的图像进行解复用，
-对所捕获的图像进行去马赛克，
-对所捕获的图像进行重新聚焦，或者
-将所捕获的图像与由不同的光学采集系统捕获的至少另一图像混合。
本发明的另一目的是一种信号，其通过能够对由光学采集系统捕获的图像进行编码的第一装置传送到能够对所捕获的图像进行处理的第二装置，所述信号携带包括参数的消息，该参数定义经过所述光学采集系统的光瞳和所述至少一个像素在正交于所述光瞳的表面的方向上在所述光学采集系统的物空间中的共轭的光射线集所占据的所述光学采集系统的物空间中的体积，所述光射线集所占据的所述体积称为像素束，由第二装置进行的对所捕获图像的处理是基于所述参数。
由本发明的元件实现的一些处理可以是计算机实现的。因此，这样的元件可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)的形式，或者将软件和硬件方面(其通常都可以在此称为“电路”、“模块”或“系统”)组合的实施例的形式。此外，这样的元件可以采用包含在任何有形的表达介质中的、具有包含在介质中的计算机可用程序代码的计算机程序产品的形式。
由于本发明的元件可以以软件实现，所以本发明可以被实施为用于在任何合适的载体介质上提供到可编程装置的计算机可读代码。有形载体介质可以包括诸如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储设备等的存储介质。瞬态载体介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如微波或RF信号)之类的信号。
附图说明
现在将仅通过示例的方式并且参考以下附图来描述本发明的实施例，附图中：
图1A是示意性地表示全光相机的图；
图1B表示多阵列相机；
图2表示光射线集在相机或光学采集系统的光学系统的物空间中所占据的体积；
图3表示单叶双曲面；
图4表示单叶双曲面的另一视图；
图5表示根据本发明的实施例的定义像素束的主射线和生成射线；
图6表示两个锥的联合；
图7是示出根据本公开的实施例的用于对由光学采集系统捕获的图像进行编码的装置的示例的示意性框图；
图8是用于解释根据本公开的实施例的用于对由光学采集系统捕获的图像进行编码的处理的流程图；
图9是示出根据本公开的实施例的用于处理由光学采集系统捕获的图像的装置的示例的示意性框图；
图10是用于解释根据本公开的实施例的用于处理由光学采集系统捕获的图像的处理的流程图。
具体实施方式
如本领域技术人员将理解的，本原理的方面可以实施为系统、方法或计算机可读介质。因此，本原理的方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)的形式，或者将软件和硬件方面(其通常都可以在此称为“电路”、“模块”或“系统”)组合的实施例的形式。此外，本原理的方面可以采取计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质的任何组合。
对于任何光学采集系统，其可以是全光的或不是全光的，除了表示由光学采集系统捕获的4D光场数据的原始图像或核线图像之外，感兴趣的是获得与所述光学采集系统的传感器的像素和所述光学采集系统的物空间之间的对应关系有关的信息。知道光学采集系统的物空间的哪个部分被属于所述光学采集系统的传感器的像素正在感测能实现诸如去多路复用、去马赛克、重新聚焦等的信号处理操作的改进，以及由具有不同特性的不同光学系统捕获的图像的混合。此外，与光学采集系统的传感器的像素和所述光学采集系统的物空间之间的对应关系有关的信息与光学采集系统无关。
本公开引入图2上所示的像素束10的概念，其表示经过相机(图2上未示出)的光学系统11的光瞳和相机的传感器的像素在正交于光瞳的表面的方向上在光学系统的物空间中的共轭的光射线集所占据的体积。
该光射线集通过所述光学系统21的光瞳24被相机的传感器23的像素22感测。光学系统21可以是适合于照相机或摄像机的透镜的组合。光学系统的光瞳被定义为通过所述光学系统(即在所述孔径光阑之前的光学采集系统的透镜)看到的孔径光阑的图像。孔径光阑是限制经过光学采集系统的光学系统的光量的开口。例如，位于相机镜头内部的可调节叶片光圈是用于镜头的孔径光阑。被许可通过光圈的光量由光圈开口的直径来控制，光圈开口的直径可以根据相机的用户想要许可的光量来适配。例如，使孔径较小能减少被许可通过光圈的光量，并且同时增加焦点深度。由于透镜的一部分的折射作用，光阑的表观尺寸可以大于或小于其物理尺寸。正式地说，光瞳是通过位于物理光阑与观察空间之间的光学采集系统的所有透镜的孔径光阑的图像。
像素束10被定义为当经由入射光瞳24传播通过光学系统21时到达给定像素22的光射线的光线锥。由于光在自由空间中在直线上行进，所以这样的像素束20的形状可以由两个截面来定义，一个是像素22的共轭25，并且另一个是入射光瞳24。像素22由其非空表面及其灵敏度图来定义。
在本发明的第一实施例中，如图3上所示，像素束30可以由单叶双曲面来表示，由两个元素支持：光瞳34以及像素22在物空间中的共轭35。
单叶双曲面是规则表面，其可以支持光射线的光线锥的概念，并且符合物理光束的“集光率(étendue)”的概念，与物理光束的截面上的能量保存有联系的概念。
如图4上所示，单叶双曲面40与其渐近锥41、42大部分相同，除了在其最小截面的基本区域，称为腰部45，其对应于物空间中的共轭25。对于诸如光场相机之类的全光系统，这是执行通过多路径射线的空间采样的区域。在该区域中以退化到点的独特锥对空间进行采样是不适当的，因为像素22灵敏度在其表面上的几十平方微米上是显著的，并且不能由具有无限小的表面的数学点(就像是锥顶)来表示。
在本发明的实施例中，每个像素束20、30、40通过四个独立参数ZP,θx,θy,a(定义在光瞳24、34前面的像素共轭25、45的位置和大小)并且通过六个光瞳参数xO,yO,zO,θx0,θy0,r(其定义光瞳24、34的位置、取向和半径)来定义。当像素束由单叶双曲面表示时，这六个光瞳参数共用于共享相同的光瞳24、34的像素束集合。实际上，像素束表示通过光瞳24由像素22感测的光学系统21的物空间中的光射线集所占据的体积，即给定对耦像素22/光瞳24、34对应于唯一的像素束20、30、40，但是多个不同的像素束可以由相同的光瞳24、34支持。
如图2上所示，在其中对表示像素束20、30、40的单叶双曲面的参数进行定义的坐标系(x,y,z)的原点O对应于光瞳24的中心，其中z轴定义正交于光瞳24、34的表面的方向。
参数θx,θy定义相对于光瞳24中心的入射的主射线方向。它们取决于传感器23上的像素22位置和光学系统21的光学元件。更准确地说，参数θx,θy表示定义像素22的共轭25离开光瞳24的中心的方向的剪切角。
参数zP表示像素束20、30、40的腰部45或像素22的共轭25的沿着z轴的距离。
参数a表示像素束20、30、40的腰部45的半径。
对于可以使光学失真和场曲率模型化的光学系统21，参数zP和a可以经由参数函数取决于参数θx和θy。
四个独立参数与像素22及其共轭25有关。
定义像素束20、30、40的六个补充光瞳参数是：
-r，其表示光瞳24、34半径，
-xO,yO,zO，其表示光瞳24、34中心在(x,y,z)坐标系中的坐标，以及
-θx0,θy0，其表示光瞳24、34在参考(x,y,z)坐标系中的取向。
这六个光瞳参数与光瞳24、34有关。另一个参数c被定义。这样的参数c取决于与像素22及其共轭25有关的参数zP和a并且取决于与光瞳24、34有关的参数r。参数c定义像素束20、30、40的角孔径α，并由公式给出。
因此，参数c的表达式由以下方程给出：
在物空间中，属于限定像素束20、30、40的表面的点的坐标(x,y,z)是以上定义的与光瞳24以及像素的共轭25有关的参数集的函数。因此，使得能够生成表示像素束20、30、40的单叶双曲面的方程(2)是：
表示像素束20、30、40的相同双曲面的参数方程(3)是：
其中v是从生成双曲线实现像素束20、30、40的生成的(x,y)平面中的角度，v在[0,2π]区间中变化，并且z∈[0,∞]是沿着定义正交于光瞳24、34的表面的方向的z轴的坐标。方程(2)和(3)是在像素22及其共轭25的截面为圆形并且光瞳24、34的截面也是圆形的假设上写的。
为了获得像素束20、30、40如何对光学系统21的物空间进行采样的精确描述，感兴趣的是确定像素22的截面的几何和光瞳24、34的截面的几何如何铺设物空间。这导致对物空间中发射的光如何在传感器23的不同像素22之间分布的知识。
因此，定义另一参数集，以便描述光瞳24、34的截面形状、和像素22的截面形状、以及像素22的共轭25的截面形状。
定义第一独立参数AO。参数AO表示允许非对称光瞳24、34的纵横比。
定义第二独立参数AP。参数AP表示允许像素22的共轭25、45(腰部)处的非对称像素束的纵横比。
如下定义第三参数依赖参数α：
α为系数，其表示像素束20、30、40形状沿着z轴在光瞳24、34与像素22的共轭25、45之间的传播，与光瞳24、34的截面形状和像素22的截面形状无关；并且从像素22的共轭25、45到无穷远。参数k是调整像素束20、30、40形状沿着z轴的发展的参数。k≈1.3的值接近参数α在光瞳24、34与像素22的共轭25、45之间的线性变化。
称为极半径因子的两个参数ρO和ρP分别描述光瞳24、34的形状和像素22的共轭25、45的形状。由以下方程定义参数ρO和ρP：
其中ρ是定义角度v的单位平方点的极半径。
下表(称为表1)给出当AO＝AP＝1.0时参数ρO和ρP的值的示例：
ρO ρP
1.0 1.0 圆形光瞳24、34和像素共轭25、45
1.0 ρ 圆形光瞳24、34和方形像素共轭25、45
ρ 1.0 方形光瞳24、34和圆形像素共轭25、45
ρ ρ 方形光瞳24、34和方形像素共轭25、45
表1
考虑到与光瞳24、34的截面形状和像素22的截面形状以及像素22的共轭25的截面形状有关的以上定义的参数，表示像素束20、30、40的双曲面的扩展参数方程(6)为：
在本发明的另一实施例中，由于单叶双曲面是规则表面，所以其可以通过两个直线族来描述，第一族称为生成射线，其绕称为主射线并且存在于第二族的轴旋转。主射线和任何生成射线足以定义像素束。
如图5上所示，在描述像素束50时要考虑的第一射线是其轴或主射线51。主射线51对应于双曲面20、30、40、50的z轴，如图2所示。
剪切双曲面20、30、40、50，以使主轴在方向(θx,)上取向，给出方程：
(x-z.tx)2/a2+(y-z.ty)2/a2-(z-zP)2/c2＝1(7)
其中tx＝tan(θx)、ty＝tan(θy)，zP是像素束的腰部在z轴上的位置，并且a和c表示分别双曲面沿x轴、y轴和z轴的半轴长度。
在描述表示像素束10、20、30、40、50的单叶双曲面时要考虑的第二射线是生成射线52。生成射线52族描述双曲面50的表面。
当像素束将由其参数方程表示时，与所述光学采集系统的传感器的像素和所述光学采集系统的物空间之间的对应关系有关的信息可以采取参数集的形式，包括四个独立参数：zP,θx,θy,a(定义在光瞳24、34前面的像素共轭25、45的位置和大小)，以及六个光瞳参数xO,yO,zO,θx0,θy0,r(其定义光瞳24、34的位置、取向和半径)；或者通过定义主射线51和生成射线52族的参数集(当像素束是要由这两个射线表示的20、30、40、50时)。因此，除了表示光学采集系统捕获的4D光场数据的原始图像或核线图像之外，提供这两个参数集之一，以便在处理4D光场数据时使用。
本发明的第一实施例呈现了定义像素束仅需要两个射线(主射线和生成射线)的优点。然而，这没有准确地转换基础物理的几何。实际上，单叶双曲面确实丢弃一些实际上结束在传感器上的射线，并且另一方面它们包含额外射线。
为了克服该缺点，在本发明的第二实施例中，像素束60可以由同轴的、部分重叠的两个锥来表示，如图6所示的前锥61F和后锥61R，由两个元素支持：光瞳64以及像素62在物空间中的共轭65，即在像素上成像的物空间中的表面。
前锥61F是由像素62和光瞳64定义的凸锥台的图像。凸锥台的顶点位于光学采集系统的传感器之外。通过构造，前锥61F会聚在光学采集系统的物空间中，并且前锥61F的顶点位于像素65的共轭或像素束60的腰部与光瞳64之间。前锥61F从光瞳64在像素62处所对的立体角导出。
后锥61R是由像素62和光瞳64定义的锥的图像，其顶点位于光瞳64与光学采集系统的传感器之间。通过构造，后锥61R的顶点位于光瞳60的腰部65之外。后锥61R不一定会聚在光学采集系统的物空间中，在一些情况下，其可能退化成圆柱或发散锥。在后者情况下，发散锥的顶点位于光学采集系统的图像空间中，即在光瞳64的入口之前。
前锥61F和后锥61R共享同一旋转轴，该旋转轴是连接光瞳64的中心和腰部65的中心的线。
锥是规则表面，其可以支持光射线的光线锥的概念，并且当组合两个锥时符合物理光束的“集光率(étendue)”的概念，与物理光束的截面上的能量保存有联系的概念。锥与平面的交集是锥曲线，至于双曲面，其可以通过多个系数来表征。考虑到其顶点，锥可以通过三个角度参数来表示：从锥的旋转轴测量的极角，直到顶角，以及通过两个角度给出的旋转轴的方向。
令xyz为光学采集系统的坐标系，z表示光学采集系统的光轴，其中在光学采集系统的物空间中z＞0，以及光瞳64的中心是所述坐标系的原点。光学采集系统的光学器件将光学采集系统的物空间从范围z∈[2f；+∞]成像到光学采集系统的图像空间z∈[-2f；-f]中，其中f是光学采集系统的光学器件的焦距。从光学采集系统的校准，光瞳64和像素束60的腰部65的位置在光学采集系统的坐标系xyz中是已知的。假设光瞳64和腰部65是平行的并且都正交于z轴。
让我们将z′称为像素束60的主射线。主射线是连接光瞳64的中心和像素束60的腰部65的中心的线。主射线也是旋转轴以及像素束60的对称的轴。因此，在坐标系xyz′中，像素束60是旋转实体。
前锥61F和后锥61R的顶点都位于像素束60的主射线z′上。在薄透镜近似下，在光学采集系统的传感器不位于后焦平面的假设下，在光学采集系统的坐标系xyz中如下计算这两个顶点的坐标：
即：
其中P、zP、W和zw分别表示光瞳64的直径(其中P＞0)、其z坐标，像素的共轭65的直径(其中0＜W＜+∞)、以及其z坐标(0＜zw＜+∞)。
后锥61R的顶点的z坐标z后可以在后锥61R是会聚锥时是正的，在后锥61R是发散锥时是负的。它也可以在光瞳64和像素束的像素的共轭65具有相同大小的情况下为无限大。
如果光学采集系统的传感器位于后焦平面上，则W＝+∞且zw＝+∞。如它们的比率是常数：
其中假设光学采集系统的光学器件是会聚透镜，p和f分别表示像素62的直径(其中p＞0)以及光学采集系统的光学器件的焦距(其中f＞0)。
顶角通过以下给出：
考虑到每个锥(其联合表示像素束60)的顶点，可以利用两个角度参数来定义射线：从像素束的旋转轴测量的极角，直到顶角，以及[0,2π[中的方位。
那些与像素束有关的附加信息是与给定的光学采集系统相关联的元数据。它们可以作为数据文件提供，例如存储在随光学采集系统提供的CD-ROM或快闪驱动器上。包含与像素束有关的附加信息的数据文件也可以从属于光学采集系统的制造商的服务器下载。在本发明的实施例中，这些与像素束有关的附加信息也可以嵌入在光学采集系统捕获的图像的首标中。
这些与像素束有关的信息的知识使得能够独立于专有文件格式并且独立于用于捕获要处理的图像的光学采集系统的特征而处理由任何光学采集系统捕获的图像。
图7是示出根据本公开的实施例的用于对由光学采集系统捕获的图像进行编码的装置的示例的示意性框图。
装置700包括通过总线706连接的处理器701、存储单元702、输入设备703、显示设备704和接口单元705。当然，计算机装置700的组成元件可以通过除总线连接以外的连接而连接。
处理器701控制装置700的操作。存储单元702存储要由处理器701执行的能够对由光学采集系统捕获的图像进行编码的至少一个程序，以及存储各种数据，包括与传感器23上的像素22的位置有关的参数或与光学采集系统的光学系统21有关的参数，由处理器701执行的计算所使用的参数，由处理器701执行的计算的中间数据，等等。处理器701可以由任何已知的且合适的硬件或软件或硬件和软件的组合来形成。例如，处理器701可以由诸如处理电路之类的专用硬件形成，或者由执行存储在其存储器中的程序的诸如CPU(中央处理单元)之类的可编程处理单元形成。
存储单元702可以由能够以计算机可读的方式存储程序、数据等的任何合适的存储器或部件形成。存储单元702的示例包括诸如半导体存储器件之类的非临时性计算机可读存储介质，以及加载到读取和写入单元中的磁、光或磁光记录介质。该程序使处理器701执行根据在下文中参照图8描述的本公开的实施例的用于计算表示经过相机的光学系统的光瞳和相机的传感器的像素在正交于光瞳的表面的方向上在光学系统的物空间中的共轭的光射线集所占据的体积的参数以及对这些参数与由光学采集系统捕获的图像进行编码的处理。
输入设备703可以由键盘、诸如鼠标之类的指点设备等形成，以供用户使用以输入命令，以进行对用于生成光射线集在光学系统的物空间中所占据的体积的参数化表示的参数的用户选择。输出设备604可以由显示设备形成，以显示例如图形用户界面(GUI)，根据本公开的实施例生成的图像。例如，输入设备703和输出设备704可以由触摸屏面板一体地形成。
接口单元705提供装置700与外部装置之间的接口。接口单元705可以经由缆线或无线通信与外部装置进行通信。在实施例中，外部装置可以是光学采集系统。
图8是用于解释根据本公开的实施例的用于对由光学采集系统捕获的图像进行编码的处理的流程图。
装置700的处理器701执行程序，该程序能够计算表示经过相机(图2上未示出)的光学系统11的光瞳和相机的传感器的像素的共轭的光射线集在正交于光瞳的表面的方向上在光学系统的物空间中所占据的体积的参数，并且对这些参数与由光学采集系统捕获的图像进行编码。
因此，在步骤801期间，处理器701基于存储在存储单元702中的参数至少计算表示像素束10、20、30、40、50、60的参数。所计算的参数取决于制造商已选择的像素束10、20、30、40、50、60的表示类型，即通过双曲面的参数方程或通过主射线和生成射线族来表示像素束。
在步骤802期间，处理器701将能够感测通过光学采集系统的光瞳的光的所述光学采集系统的传感器的像素与在步骤801期间计算的参数相关联。针对能够感测通过光学采集系统的光瞳的光的传感器的每个像素执行步骤802。
在步骤803期间，处理器701生成数字文件，该数字文件包括所计算的表示与光学采集系统的传感器的不同像素相关联的像素束的参数。所生成的数据文件例如存储在随光学采集系统提供的CD-ROM或快闪驱动器上，或者存储在属于光学采集系统的制造商的服务器上。
在本发明的另一实施例中，在步骤804期间，处理器701将数据文件与由光学采集系统捕获的图像相关联，该数据文件包括所计算的表示与光学采集系统的传感器的不同像素相关联的像素束的参数。数据文件例如存储在所捕获图像的首标的特定字段中。
在步骤805期间，处理器701生成要发送到能够处理由光学采集系统捕获的图像的装置的消息。在本发明的第一实施例中，该消息包括数据文件，该数据文件包括所计算的表示与光学采集系统的传感器的不同像素相关联的像素束的参数，与由光学采集系统捕获的图像相关联。在本发明的第二实施例中，该消息包括由光学采集系统捕获的图像，该图像将数据文件嵌入在其首标的字段中。
然后，在步骤806期间，将该消息通过接口单元705传送到外部装置。接口单元705经由缆线或无线通信将携带包括参数的消息的信号传送到外部装置。外部装置能够使用在装置700传送的消息中接收到的参数来处理由光学系统21捕获的图像。
图9是示出根据本公开的实施例的用于处理由光学采集系统捕获的图像的装置的示例的示意性框图。
装置900包括通过总线906连接的处理器901、存储单元902、输入设备903、显示设备904和接口单元905。当然，计算机装置900的组成元件可以通过除总线连接以外的连接而连接。
处理器901控制设备900的操作。存储单元902存储要由处理器901执行的能够对由光学采集系统捕获的图像进行处理的至少一个程序，以及存储各种数据，包括与传感器23上的像素22的位置有关的参数或与光学采集系统的光学系统21有关的参数，由处理器901执行的计算所使用的参数，由处理器901执行的计算的中间数据，等等。处理器901可以由任何已知的且合适的硬件或软件或硬件和软件的组合来形成。例如，处理器901可以由诸如处理电路之类的专用硬件形成，或者由执行存储在其存储器中的程序的诸如CPU(中央处理单元)之类的可编程处理单元形成。
存储单元902可以由能够以计算机可读的方式存储程序、数据等的任何合适的存储器或部件形成。存储单元902的示例包括诸如半导体存储器件之类的非临时性计算机可读存储介质，以及加载到读取和写入单元中的磁、光或磁光记录介质。该程序使处理器901执行根据在下文中参照图10描述的本公开的实施例的用于基于与要处理的图像一起提供的像素束的参数来处理由光学采集系统捕获的图像的处理。
输入设备903可以由键盘、诸如鼠标之类的指点设备等形成，以供用户使用以输入命令，以进行对用于处理由光学采集系统捕获的图像的参数的用户选择。输出设备904可以由显示设备形成，以显示例如图形用户界面(GUI)，根据本公开的实施例生成的图像。例如，输入设备903和输出设备904可以由触摸屏面板一体地形成。
接口单元905提供装置900与外部装置之间的接口。接口单元905可以经由缆线或无线通信与外部装置进行通信。在实施例中，外部装置可以是光学采集系统或装置700。
图10是用于解释根据本公开的实施例的用于处理由光学采集系统捕获的图像的处理的流程图。
装置900的处理器901执行程序，该程序能够基于表示与要处理的图像相关联的像素束的参数来处理由光学采集系统捕获的图像。
因此，在步骤1001期间，处理器901从随光学采集系统提供的CD-ROM或快闪驱动器、或者通过从属于光学采集系统的制造商的服务器下载包括参数的数据文件，取回要用于处理所捕获图像的、表示像素束的所述参数。在本发明的实施例中，处理器901在要处理的图像的首标中取回这些参数。
然后，在步骤1002期间，基于在步骤1001期间取回的表示像素束10、20、30、40、50、60的参数，处理在步骤1001期间由光学采集系统捕获的图像。
对所捕获图像的处理可以包括去多路复用、去马赛克、重新聚焦、或者将所捕获图像与由不同光学采集系统捕获的至少另一图像混合，或者这些动作中的任何一个的组合。
虽然在上文中已经参考具体实施例描述了本发明，但是本发明不限于具体实施例，并且修改对于本领域技术人员而言将是显而易见的，其在本发明的范围内。
在参考前述说明性实施例时，许多另外的修改和变型将向本领域技术人员暗示它们自己，前述说明性实施例仅以示例的方式给出，并且不旨在限制仅由所附权利要求确定的本发明的范围。特别地，在适当的情况下，来自不同实施例的不同特征可以互换。

Claims (16)

1.一种用于对由光学采集系统捕获的图像进行编码的装置，所述装置包括处理器，该处理器被配置为针对所述光学采集系统的传感器的至少一个像素计算参数，该参数定义经过所述光学采集系统的光瞳和所述至少一个像素在正交于所述光瞳的表面的方向上在所述光学采集系统的物空间中的共轭的光射线集所占据的所述光学采集系统的物空间中的体积，所述光射线集所占据的所述体积称为像素束。
2.根据权利要求1所述的装置，其中所述处理器被配置为将表示像素束的参数与由所述光学采集系统采集的要编码的图像相关联。
3.根据前述权利要求中任一项所述的装置，其中像素束的参数表示是通过以下方程定义的单叶双曲面：
其中x、y和z是属于双曲面的表面的点在物空间中的坐标，zP、θx、θy、a，zP表示像素束的最小截面的距离，该最小截面称为腰部，其对应于所述像素在正交于所述光瞳的表面的方向上在光学采集系统的物空间中的共轭，θx、θy表示定义腰部离开所述光瞳的中心的方向的剪切角，a表示腰部尺寸；c是定义像素束的角孔径的依赖于a的参数，以及v是在[0,2π]区间中变化的角度。
4.根据权利要求3所述的装置，其中像素束的参数表示是通过以下方程定义的单叶双曲面：
其中AO是表示非对称光瞳的纵横比的参数，AP是表示非对称腰部的纵横比的参数，a是与所述光瞳和所述腰部之间的一部分像素束的传播有关的参数，ρO是表示所述光瞳的极半径因子的参数，以及ρP是表示所述腰部的极半径因子的参数。
5.根据权利要求1至2中任一项所述的装置，其中像素束通过至少第一参数集和第二参数集来表示，该第一参数集表示称为主射线的双曲面的轴，该第二参数集表示通过绕主射线旋转实现双曲面的表面的生成的生成射线族。
6.根据权利要求1或2所述的装置，其中像素束的参数表示是前锥和后锥的联合，前锥和后锥彼此重叠。
7.根据权利要求6所述的装置，其中通过以下方程给出作为前锥和后锥的联合的像素束的参数表示：
其中，z前表示前锥的顶点的z坐标，z后表示后锥的顶点的z坐标，P、zP、W和zw分别表示像素束的光瞳的直径，其中P＞0，其z坐标，像素束的腰部的直径和z坐标，其中0＜W＜+∞，以及其z坐标，0＜zw＜+∞，以及
其中，θ前和θ后分别是前锥和后锥的顶角。
8.根据权利要求6所述的装置，其中在W＝+∞且zw＝+∞时，通过以下方程给出作为前锥和后锥的联合的像素束的参数表示：
其中，p和f分别表示像素的直径，其中p＞0，以及光学采集系统的光学器件的焦距，其中f＞0，
以及
9.一种对由光学采集系统捕获的图像进行编码的方法，所述方法包括针对所述光学采集系统的传感器的至少一个像素计算参数，该参数定义经过所述光学采集系统的光瞳和所述至少一个像素在正交于所述光瞳的表面的方向上在所述光学采集系统的物空间中的共轭的光射线集所占据的所述光学采集系统的物空间中的体积，所述光射线集所占据的所述体积称为像素束。
10.根据权利要求9所述的方法，还包括将表示像素束的参数与由所述光学采集系统采集的要编码的图像相关联。
11.一种用于对由光学采集系统捕获的图像进行处理的装置，所述装置包括处理器，该处理器被配置为基于与所述光学采集系统的传感器的至少一个像素相关联的参数来处理所述图像，所述参数定义经过所述光学采集系统的光瞳和所述至少一个像素在正交于所述光瞳的表面的方向上在所述光学采集系统的物空间中的共轭的光射线集所占据的所述光学采集系统的物空间中的体积，所述光射线集所占据的所述体积称为像素。
12.根据权利要求11所述的装置，其中所述处理器被配置为通过以下对所捕获的图像进行处理：
-对所捕获的图像进行解复用，
-对所捕获的图像进行去马赛克，
-对所捕获的图像进行重新聚焦，或者
-将所捕获的图像与由不同的光学采集系统捕获的至少另一图像混合。
13.一种对由光学采集系统捕获的图像进行处理的方法，所述方法包括基于与所述光学采集系统的传感器的至少一个像素相关联的参数来处理所述图像，所述参数定义经过所述光学采集系统的光瞳和所述至少一个像素在正交于所述光瞳的表面的方向上在所述光学采集系统的物空间中的共轭的光射线集所占据的所述光学采集系统的物空间中的体积，所述光射线集所占据的所述体积称为像素。
14.根据权利要求13所述的方法，其中对所捕获的图像进行处理包括：
-对所捕获的图像进行解复用，
-对所捕获的图像进行去马赛克，
-对所捕获的图像进行重新聚焦，或者
-将所捕获的图像与由不同的光学采集系统捕获的至少另一图像混合。
15.一种信号，其通过能够对由光学采集系统捕获的图像进行编码的第一装置传送到能够对所捕获的图像进行处理的第二装置，所述信号携带包括参数的消息，该参数定义经过所述光学采集系统的光瞳和所述至少一个像素在正交于所述光瞳的表面的方向上在所述光学采集系统的物空间中的共轭的光射线集所占据的所述光学采集系统的物空间中的体积，所述光射线集所占据的所述体积称为像素束，由第二装置进行的对所捕获图像的处理是基于所述参数。
16.一种计算机程序，其特征在于，其包括程序代码指令，用于当所述程序由处理器执行时实现根据权利要求9至11中任一项所述的对由光学采集系统捕获的图像进行编码的方法。
CN201680064918.XA 2015-09-17 2016-08-23 用于对由光学采集系统捕获的图像进行编码的装置和方法 Active CN108353187B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15306444.9A EP3145195A1 (en) 2015-09-17 2015-09-17 An apparatus and a method for encoding an image captured by an optical acquisition system
EP15306444.9 2015-09-17
EP16305493.5 2016-04-28
EP16305493 2016-04-28
PCT/EP2016/069884 WO2017045875A1 (en) 2015-09-17 2016-08-23 An apparatus and a method for encoding an image captured by an optical acquisition system

Publications (2)

Publication Number Publication Date
CN108353187A true CN108353187A (zh) 2018-07-31
CN108353187B CN108353187B (zh) 2023-01-03

Family

ID=56787477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680064918.XA Active CN108353187B (zh) 2015-09-17 2016-08-23 用于对由光学采集系统捕获的图像进行编码的装置和方法

Country Status (12)

Country Link
US (1) US10872442B2 (zh)
EP (1) EP3350998A1 (zh)
JP (1) JP6847097B2 (zh)
KR (1) KR20180053719A (zh)
CN (1) CN108353187B (zh)
AU (1) AU2016321728B2 (zh)
BR (1) BR112018005339A2 (zh)
CA (1) CA2998661A1 (zh)
MX (1) MX2018003266A (zh)
RU (1) RU2729698C2 (zh)
TW (1) TW201723635A (zh)
WO (1) WO2017045875A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
KR20210144843A (ko) * 2019-04-02 2021-11-30 라이트 필드 랩 인코포레이티드 4차원 에너지 유도 시스템 및 방법
CN111768484A (zh) * 2020-05-20 2020-10-13 北京邮电大学 基于合成图像编码的电子沙盘显示方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020097987A1 (en) * 1998-01-21 2002-07-25 Shuichi Hisatomi Recording medium, playback apparatus and recording/playback apparatus thereof
US20030218685A1 (en) * 2002-05-27 2003-11-27 Olympus Optical Co., Ltd. Camera and image pickup device unit
EP2419884A1 (en) * 2009-04-18 2012-02-22 Refocus Imaging, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
CN103299166A (zh) * 2010-10-27 2013-09-11 康奈尔大学 光场图像传感器、方法和应用
US20130235261A1 (en) * 2012-03-07 2013-09-12 Ricoh Co., Ltd. Plenoptic Imaging System with a Body and Detachable Plenoptic Imaging Components
US20140098191A1 (en) * 2012-10-05 2014-04-10 Vidinoti Sa Annotation method and apparatus
CN104570000A (zh) * 2015-01-07 2015-04-29 太原理工大学 一种基于混沌压缩编码的光学综合孔径成像系统及方法
CN104683669A (zh) * 2013-11-29 2015-06-03 汤姆逊许可公司 估计与用全光相机获取的场景的视图的视差的方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US20100014063A1 (en) 2005-05-31 2010-01-21 Fujifilm Corporation Image exposure apparatus
JP2010176325A (ja) * 2009-01-28 2010-08-12 Ntt Docomo Inc 任意視点画像生成装置及び任意視点画像生成方法
JP5558094B2 (ja) 2009-10-07 2014-07-23 オリンパス株式会社 表示方法、表示装置、光学ユニット、表示装置の製造方法、及び電子機器
US8743199B2 (en) * 2010-03-09 2014-06-03 Physical Optics Corporation Omnidirectional imaging optics with 360°-seamless telescopic resolution
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
US8873112B2 (en) * 2011-10-21 2014-10-28 Canon Kabushiki Kaisha Image processing apparatus and determination method
JP5913934B2 (ja) * 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US9250445B2 (en) 2012-08-08 2016-02-02 Carol Ann Tosaya Multiple-pixel-beam retinal displays
WO2014198351A1 (en) * 2013-06-12 2014-12-18 Vidinoti Sa Method and apparatus for identifying local features
US9524556B2 (en) * 2014-05-20 2016-12-20 Nokia Technologies Oy Method, apparatus and computer program product for depth estimation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020097987A1 (en) * 1998-01-21 2002-07-25 Shuichi Hisatomi Recording medium, playback apparatus and recording/playback apparatus thereof
US20030218685A1 (en) * 2002-05-27 2003-11-27 Olympus Optical Co., Ltd. Camera and image pickup device unit
EP2419884A1 (en) * 2009-04-18 2012-02-22 Refocus Imaging, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
CN103299166A (zh) * 2010-10-27 2013-09-11 康奈尔大学 光场图像传感器、方法和应用
US20130235261A1 (en) * 2012-03-07 2013-09-12 Ricoh Co., Ltd. Plenoptic Imaging System with a Body and Detachable Plenoptic Imaging Components
US20140098191A1 (en) * 2012-10-05 2014-04-10 Vidinoti Sa Annotation method and apparatus
CN104683669A (zh) * 2013-11-29 2015-06-03 汤姆逊许可公司 估计与用全光相机获取的场景的视图的视差的方法和装置
CN104570000A (zh) * 2015-01-07 2015-04-29 太原理工大学 一种基于混沌压缩编码的光学综合孔径成像系统及方法

Also Published As

Publication number Publication date
AU2016321728B2 (en) 2020-10-22
KR20180053719A (ko) 2018-05-23
CN108353187B (zh) 2023-01-03
CA2998661A1 (en) 2017-03-23
TW201723635A (zh) 2017-07-01
RU2018113714A3 (zh) 2020-03-19
RU2729698C2 (ru) 2020-08-11
AU2016321728A1 (en) 2018-04-26
JP6847097B2 (ja) 2021-03-24
US20180260977A1 (en) 2018-09-13
US10872442B2 (en) 2020-12-22
RU2018113714A (ru) 2019-10-17
WO2017045875A1 (en) 2017-03-23
JP2018536312A (ja) 2018-12-06
BR112018005339A2 (pt) 2018-10-09
MX2018003266A (es) 2018-11-09
EP3350998A1 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
CN107018293B (zh) 生成表示光场的数据的方法和装置
JP2018538709A (ja) ピクセルビームを表すデータを生成する方法及び装置
JP6902529B2 (ja) 光学的捕捉システムを校正する装置及び方法
CN107786808B (zh) 生成代表与光场数据相关联的散景的数据的方法和装置
JP2018531448A6 (ja) 光学的捕捉システムを校正する装置及び方法
CN108353187A (zh) 用于对由光学采集系统捕获的图像进行编码的装置和方法
KR102454773B1 (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
CN108353120A (zh) 用于生成表示像素束的数据的装置和方法
CN109565583B (zh) 用于生成表示像素束的数据的方法和装置
EP3145195A1 (en) An apparatus and a method for encoding an image captured by an optical acquisition system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190916

Address after: Delaware

Applicant after: Interactive Digital VC Holdings

Address before: I Si Eli Murli Nor, France

Applicant before: THOMSON LICENSING

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant