CN107396083B - 一种全息图像生成方法及装置 - Google Patents

一种全息图像生成方法及装置 Download PDF

Info

Publication number
CN107396083B
CN107396083B CN201710623389.9A CN201710623389A CN107396083B CN 107396083 B CN107396083 B CN 107396083B CN 201710623389 A CN201710623389 A CN 201710623389A CN 107396083 B CN107396083 B CN 107396083B
Authority
CN
China
Prior art keywords
frame
holographic image
axis direction
depth
compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710623389.9A
Other languages
English (en)
Other versions
CN107396083A (zh
Inventor
董晓滨
张玉欣
赵玉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Qingdao Hisense Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Electronics Co Ltd filed Critical Qingdao Hisense Electronics Co Ltd
Priority to CN201710623389.9A priority Critical patent/CN107396083B/zh
Publication of CN107396083A publication Critical patent/CN107396083A/zh
Application granted granted Critical
Publication of CN107396083B publication Critical patent/CN107396083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Holo Graphy (AREA)

Abstract

本申请提供一种全息图像生成方法及装置，该方法包括：确定时间群组中参考帧的全息图像，时间群组中的第一帧为参考帧，其余帧为普通帧；基于普通帧相对于参考帧在预设坐标系的X轴方向、Y轴方向，以及Z轴方向上的移动矢量，对参考帧进行平移，得到普通帧的补偿帧；基于X轴方向、Y轴方向上的移动矢量对参考帧的全息图像进行平移，并基于Z轴方向上的移动矢量对参考帧的全息图像进行深度变换，得到补偿帧的全息图像；确定普通帧与补偿帧之间的差异区域，并确定差异区域的全息图像；将差异区域的全息图像叠加到补偿帧的全息图像中，得到普通帧的全息图像。应用该方法，可以提高全息图像的生成效率，避免计算资源的浪费，以及降低系统的处理负担。

Description

一种全息图像生成方法及装置
技术领域
本申请涉及视频显示技术领域，尤其涉及一种全息图像生成方法及装置。
背景技术
目前，现有技术中基于点的全息视频计算方法中，每一帧的每个像素点都作为一个独立的点光源来计算其在全息面上的光场分布，例如，输入视频为1280×1080分辨率，计算一个像素点的全息光场分布的计算量为N，则计算M帧图像的全息视频总计算量为1280×1080×M×N，由此可见，现有技术中基于点的全息视频计算方法的计算量巨大，生成全息图像的耗时也将较长；同时，由于输入视频中存在大量的时间冗余信息，基于点的全息视频计算方法将导致大量的像素点的光场分布被重复计算，从而将造成计算资源的严重浪费，以及增加系统的处理负担。
发明内容
有鉴于此，本申请提供一种全息图像生成方法及装置，以提高全息图像的生成效率，避免计算资源的浪费，降低系统的处理负担。
具体地，本申请是通过如下技术方案实现的：
根据本申请实施例的第一方面，提供一种全息图像生成方法，所述方法包括：
确定时间群组中参考帧的全息图像，所述时间群组中的第一帧为参考帧，其余帧为普通帧；
基于所述普通帧相对于所述参考帧在预设坐标系的X轴方向、Y轴方向，以及Z轴方向上的移动矢量，对所述参考帧进行平移，得到所述普通帧的补偿帧；
基于所述X轴方向、Y轴方向上的移动矢量对所述参考帧的全息图像进行平移，并基于所述Z轴方向上的移动矢量对所述参考帧的全息图像进行深度变换，得到所述补偿帧的全息图像；
确定所述普通帧与所述补偿帧之间的差异区域，并确定所述差异区域的全息图像；
将所述差异区域的全息图像叠加到所述补偿帧的全息图像中，得到所述普通帧的全息图像。
根据本申请实施例的第二方面，提高一种全息图像生成装置，所述装置包括：
第一确定模块，用于确定时间群组中参考帧的全息图像，所述时间群组中的第一帧为参考帧，其余帧为普通帧；
补偿帧计算模块，用于基于所述普通帧相对于所述参考帧在预设坐标系的X轴方向、Y轴方向，以及Z轴方向上的移动矢量，对所述参考帧进行平移，得到所述普通帧的补偿帧；
第一全息图像计算模块，用于基于所述X轴方向、Y轴方向上的移动矢量对所述参考帧的全息图像进行平移，并基于所述Z轴方向上的移动矢量对所述参考帧的全息图像进行深度变换，得到所述补偿帧的全息图像；
第二全息图像计算模块，用于确定所述普通帧与所述补偿帧之间的差异区域，并确定所述差异区域的全息图像；
第三全息图像计算模块，用于将所述差异区域的全息图像叠加到所述补偿帧的全息图像中，得到所述普通帧的全息图像。
由上述实施例可见，通过基于普通帧相对于参考帧在三维空间中三个方向上的移动矢量，对参考帧进行平移，得到该普通帧所对应的补偿帧；之后基于该移动矢量对参考帧的全息图像进行平移与深度变换，得到补偿帧的全息图像，后续在补偿帧的全息图像中叠加普通帧相对于补偿帧的差异区域的全息图像，得到普通帧的全息图像。上述过程中，由于在三维空间的三个方向上对普通帧进行了差异化处理，避免了相同像素点的二次计算，同时，当物体在深度方向上具有明显运动的情况下，也可以实现对输入视频中所存在的时间冗余信息进行过滤处理，从而提高了全息图像的生成效率，同时避免了计算资源的浪费，降低了系统的处理负担。
附图说明
图1A为本申请全息图像生成方法的一个实施例流程图；
图1B为时间群组划分规则的示意图；
图1C为本申请全息图像生成方法计算流程的一个示意图；
图2A为本申请全息图像生成方法的另一个实施例流程图；
图2B为确定二维移动矢量的示意图；
图3A为本申请全息图像生成方法的再一个实施例流程图；
图3B为确定深度移动矢量的示意图；
图4A为本申请全息图像生成方法的又一个实施例流程图；
图4B为通过深度变换得到补偿帧的全息图像的示意图；
图5为本申请全息图像生成装置所在图像处理设备的一种硬件结构图；
图6为本申请全息图像生成装置的一个实施例框图；
图7为本申请全息图像生成装置的另一个实施例框图；
图8为本申请全息图像生成装置的再一个实施例框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
现有技术中基于点的全息视频计算方法中，可以将输入图像上的每一个像素点看作一个物体点，根据菲涅尔传播公式计算每一个物体点在全息面上的光场分布，之后，将所有物体点的光场分布相加，即得到输入图像的全息图像。由此可见，现有技术中，每一帧图像的每个像素点都需进行光场计算，计算量巨大；同时，对于同一段视频，连续的帧图像中很可能存在大量相同的像素点，那么，采用现有技术中基于点的全息视频计算方法，将导致大量的像素点的光场分布被重复计算，从而造成计算资源的严重浪费，以及增加系统的处理负担。
为了解决上述问题，本申请实施例提出一种全息图像生成方法，在该方法中，不仅在预设坐标系的X轴方向和Y轴方向上利用运动估计和运动补偿技术消除视频帧的潜在时间冗余信息，同时还在预设坐标系的Z轴方向上利用运动估计和运动补偿技术来消除视频帧的潜在时间冗余信息，从而，当物体在深度方向，即Z轴方向上具有明显运动时，也可以通过本申请提出的全息图像生成方法，实现针对视频帧中所存在的时间冗余信息的过滤处理，提高全息图像的生成效率，同时，避免计算资源的浪费，降低系统的处理负担。
如下，列出下述实施例对本申请实施例提出的全息图像生成方法进行详细说明：
如图1A所示，为本申请全息图像生成方法的一个实施例流程图，该方法可以包括以下步骤：
在步骤101中，确定时间群组中参考帧的全息图像，时间群组中的第一帧为参考帧，其余帧为普通帧。
首先对“时间群组”进行说明：
本实施例中，可以将输入视频(包括彩色信息帧和深度信息帧)划分为连续的时间群组(Group of Pictures，GOP，即画面组合)，并将每个时间群组中的第一帧定义为参考帧(Reference Frame，RF)，其他帧定义为普通帧(General Frame，GF)，在同一时间群组中，参考帧可以对其后续的普通帧起到参考和补偿的作用。如图1B所示，为时间群组划分规则的示意图。
在一个可选的实现方式中，可以以帧的数量为标准将输入视频划分为连续的时间群组。具体的，由于输入视频所包含的帧是在不断变化的画面，并且，两个帧之间间隔越远，其画面差异就可能越大，基于此，为了避免普通帧和参考帧之间的间隔过大，导致两者之间的像素点差异过多，可以限定每个时间群组中帧的数量，也即限定时间群组中，参考帧所对应的普通帧的数量，从而使得同一时间群组中的参考帧可以对后续的普通帧起到较好的参考和补偿作用。
需要说明的是，每个时间群组中所包含帧的数量可以相同，也可以不同，本申请对此并不作限制。
在另一个可选的实现方式中，可以以画面内容的变化为标准将输入视频划分为连续的时间群组。具体的，由于当画面差异比例过高时，后续需要进行差异化计算的像素点就会越多，基于此，可以根据画面变化等因素调整不同的时间群组中所包含的帧的数量，以使得同一时间群组中的参考帧可以对后续的普通帧起到较好的参考和补偿作用。在一个例子中，当当前帧与其前一帧的画面差异比例达到预设的阈值时，可以将当前帧作为新的时间群组的参考帧，并创建新的时间群组。
在再一个可选的实现方式中，可以以时间长度为标准将输入视频划分为连续的时间群组。该实现方式和上述以帧的数量为标准将输入视频划分为连续的时间群组的方式类似，都属于一种同一标准的划分，本申请对此不再详述。
需要说明的是，上述所描述的三种时间群组的划分规则仅仅作为举例，在实际应用中，还可以存在其他时间群组划分规则，本申请对此不作限制，且在实际应用中，可以根据实际需求选择应用任一种划分规则实现时间群组的划分。
本实施例中，将输入视频划分为连续的时间群组的意义在于：
在每个时间群组中，参考帧与每一普通帧之间的图像差异相对较小，从而可以通过基于参考帧对普通帧进行运动估计和运动补偿的处理，避免相同的像素点被多次重复计算，从而实现减少冗余计算量，提高全息图像的生成效率，同时，可以避免计算资源的浪费，降低系统的处理负担。
本实施例中，针对每一时间群组，获取参考帧的全息图像，其具体获取过程可以参见现有技术中的逐点计算的处理过程，本申请对此不再详述。
在步骤102中，基于普通帧相对于参考帧在预设坐标系的X轴方向、Y轴方向，以及Z轴方向上的移动矢量，对参考帧进行平移，得到普通帧的补偿帧。
本实施例中，针对每一时间群组，可以通过本实施例提出的方案对其包括的每一普通帧进行处理，其中，对每一普通帧进行处理的过程可以为并行处理，也可以为串行处理，本申请对此不作限制。
如下，以对时间群组中的一个普通帧进行处理为例，进行说明：
首先确定普通帧相对于参考帧在预设坐标系的X轴、Y轴、Z轴三个方向上的移动矢量，之后，根据该移动矢量对参考帧进行平移，得到普通帧的补偿帧。具体的，可以首先确定普通帧相对于参考帧在预设坐标系的X轴和Y轴方向上的二维移动矢量，将参考帧按照该二维移动矢量进行平移，为了描述方便，本申请中将此处平移后得到的图像称为普通帧的XY补偿帧；后续，继续确定普通帧相对于该XY补偿帧在预设坐标系的Z轴方向上的深度移动矢量，将该XY补偿帧按照该深度移动矢量进行平移，即得到普通帧的补偿帧。
在上述描述中，具体是如何确定普通帧相对于参考帧在预设坐标系的X轴方向和Y轴方向上的二维移动矢量的，可以参见下述图2A所示实施例的描述，在此先不作详述；具体是如何确定普通帧相对于XY补偿帧在预设坐标系的Z轴方向上的深度移动矢量的，可以参见下述图3A所示实施例的描述，在此先不作详述。
需要说明的是，上述描述只是为了使得本申请更加清楚进行的举例，并非用于限定本申请，其他能够得到普通帧的补偿帧的方式也应包括在本申请中，例如，在实际应用中，还可以首先对参考帧进行Z轴方向上的平移，之后再进行X轴方向、Y轴方向上的平移，最终得到普通帧的补偿帧。
步骤103：基于所述X轴方向、Y轴方向上的移动矢量对参考帧的全息图像进行平移，并基于Z轴方向上的移动矢量对参考帧的全息图像进行深度变换，得到补偿帧的全息图像。
在本申请中，与上述所描述的得到普通帧的补偿帧的过程相类似的原理，可以对参考帧的全息图像进行X轴、Y轴、Z轴三个方向上的运动估计和运动补偿，得到补偿帧的全息图像。在此需要说明的是，针对全息图像的运动估计和运动补偿技术中，对全息图像进行深度方向，即Z轴方向上的运动估计和运动补偿，与对全息图像进行X轴方向和Y轴方向上的运动估计和运动补偿是两种不同的概念。具体的，对全息图像进行X轴和Y轴方向上的运动估计和运动补偿主要基于平移的形式，而对全息图像进行深度方向上的运动估计和运动补偿则基于一种运算的形式，该运算的物理意义相当于在全息图像前面放置一个菲涅尔透镜，使得全息图像上的像素点经过该菲涅尔透镜后可以改变深度。
据此，在本申请中，可以首先将参考帧的全息图像按照X轴方向、Y轴方向上的移动矢量，例如上述描述的二维移动矢量进行平移，为了描述方便，本申请将此处平移后得到的图像称为补偿帧的XY全息图像；之后，将该补偿帧的XY全息图像按照Z轴方向上的移动矢量，例如上述描述的深度移动矢量对进行深度变换，得到该补偿帧的全息图像。
在上述描述中，具体是如何基于深度移动矢量对补偿帧的XY全息图像进行深度变化，得到补偿帧的全息图像的，可以参见下述图4A所示实施例的描述，在此先不作详述。
在步骤104中，确定普通帧与补偿帧之间的差异区域，并确定差异区域的全息图像。
本实施例中，可以根据实际需求确定具体的差异区域的确定方法，例如，通过数据对比、像素对比、等等处理方式，确定普通帧与补偿帧之间的差异区域，本申请对具体的处理方式并不作限制。
本实施例中，差异区域的全息图像的具体获取过程可以参见现有技术中的逐点计算的处理过程，本申请对此不再详述。
在步骤105中，将差异区域的全息图像叠加到补偿帧的全息图像中，得到普通帧的全息图像。
本实施例中，将差异区域的全息图像叠加到补偿帧的全息图像中，即可得到普通帧的全息图像。
为了使得本领域技术人员可以更加清楚、直观地理解上述步骤101至步骤105所描述的全息图像生成方法，示出图1C，该图1C为本申请全息图像生成方法计算流程的一个示意图。
由上述实施例可见，通过基于普通帧相对于参考帧在三维空间中三个方向上的移动矢量，对参考帧进行平移，得到该普通帧所对应的补偿帧；之后基于该移动矢量对参考帧的全息图像进行平移与深度变换，得到补偿帧的全息图像，后续在补偿帧的全息图像中叠加普通帧相对于补偿帧的差异区域的全息图像，得到普通帧的全息图像。上述过程中，由于在三维空间的三个方向上对普通帧进行了差异化处理，避免了相同像素点的二次计算，同时，当物体在深度方向上具有明显运动的情况下，也可以实现对输入视频中所存在的时间冗余信息进行过滤处理，从而提高了全息图像的生成效率，同时避免了计算资源的浪费，降低了系统的处理负担。
请参见图2A，为本申请全息图像生成方法的另一个实施例流程图，该图2A所示流程在上述图1A所示流程的基础上，着重描述了是如何确定普通帧相对于参考帧在预设坐标系的X轴方向和Y轴方向上的二维移动矢量的，包括以下步骤：
在步骤201中，对普通帧与参考帧分别进行分块，得到普通帧在预设坐标系的XY平面上的像素块以及参考帧在XY平面上的像素块，其中，参考帧与普通帧中像素块的数量相同，像素块的大小相同。
在步骤202中，针对参考帧中的每一像素块，确定参考帧中的像素块在预设坐标系中的XY轴坐标位置。
在步骤203中，以XY轴坐标位置为中心，在普通帧中设置第二搜索范围，并在第二搜索范围中确定与参考帧中的像素块最为相似的目标像素块。
在步骤204中，根据目标像素块与参考帧中的像素块分别在预设坐标系中的XY轴坐标位置，确定普通帧中的目标像素块相对于参考帧中的像素块在预设坐标系的X轴方向、Y轴方向上的二维移动矢量。
如下，对步骤201至步骤204进行说明：
首先说明，本实施例中，考虑到不同帧中，被拍摄物体可能会随着时间的推移而发生移动，那么，被拍摄物体在图像中的位置也会发生偏移，而被拍摄物体自身的外形通常会保持稳定，因此，被拍摄物体的移动可以体现为被拍摄物体本身所对应的像素块的偏移。基于此，本实施例中将同一时间群组中的参考帧和普通帧对应的划分为多个相同大小的像素块，那么，参考帧与普通帧中像素块的数量相同，大小也相同；并且，本实施例中预设一个坐标系，将参考帧和普通帧都放到该同一坐标系中，那么，在参考帧和普通帧中，对应像素块的坐标信息也是对应的，从而方便对比得出参考帧与普通帧中相对应的像素块的偏移信息。
具体的，本实施例中，针对参考帧中的每一个像素块，均进行如下处理：
首先，确定参考帧中的像素块在预设的坐标系中的XY轴坐标位置，这里所说的“XY轴坐标位置”可以为像素块中的一个像素点，例如中心点、左上顶点、右上顶点、等等，在坐标系中的X轴和Y轴上的坐标位置；之后，由于在大部分情况下，时间间隔较短，且为了视频的可视化呈现，被拍摄物体在画面中的相对移动偏移距离不会太大，那么，可以在普通帧上，以上述所确定的XY轴坐标位置为中心，预设长度为边长，设置一个正方形区域的搜索范围，为了描述方便，将该搜索范围称为第二搜索范围；后续，可以在该第二搜索范围中确定与参考帧中的像素块最为相似的一个像素块，为了描述方便，将该像素块称为目标像素块，该目标像素块即可以看作移动后的参考帧中的像素块；后续，根据目标像素块的XY轴坐标位置，以及上述所描述参考帧中像素块的XY轴坐标位置，可以得出像素块在坐标系的X轴方向和Y轴方向上的二维移动矢量。
需要说明的是，上述所描述的第二搜索范围仅以正方形为例，在实际应用中，第二搜索范围也可以为其他形状的区域，例如长方形区域，本申请中对第二搜索范围的形状并不作限制。
本实施例中，在第二搜索范围内，确定与参考帧中的像素块最为相似的目标像素块的过程可以包括：
根据第三预设算法，确定位于第二搜索范围内的每个像素块与参考帧中的像素块之间的MADxy值；将MADxy值最小的像素块确定为与参考帧中的像素块最为相似的目标像素块；其中，该第三预设算法为：
Figure BDA0001362208160000101
其中，M表示像素块的边长，Cij表示普通帧中的像素块的像素值，Rij表示参考帧中的像素块的像素值，i和j分别表示像素块在X轴方向上的块编号和Y轴方向上的块编号。
举例来说，如图2B所示，为确定二维移动矢量的示意图。
在图2B中，对于参考帧上的某一个像素块Am,n(m表示像素块在X轴方向上的块编号，n表示像素块在Y轴方向上的块编号)，其XY轴坐标位置为(x1，y1)，其在普通帧上的对应像素块为A’m,n，像素块A’m,n的XY轴坐标位置同样为(x1，y1)，则可以以(x1，y1)为中心，在普通帧上确定第二搜索范围，例如图2B中所示例的SL×SL的区域，在该第二搜索范围内确定与像素块Am,n最为相似的像素块，假设为像素块Bm,n，像素块Bm,n的XY轴坐标位置为(x2，y2)，那么，则可以计算得出二维移动矢量(dx,dy)＝(x2-x1,y2-y1)。
此外，在此说明，计算得出参考帧中每个像素块的二维移动矢量后，将参考帧中的各像素块按照对应的二维移动矢量进行平移，则可以得到普通帧的XY补偿帧。
由上述实施例可见，通过将普通帧和参考帧对应的划分为相同大小、相同数量的像素块，之后，针对参考帧中的每一个像素块，在普通帧中确定与其最为相似的目标像素块，通过参考帧中像素块的XY轴坐标位置，以及其对应的目标像素块的XY轴坐标位置，可以计算得出参考帧中每一个像素块的二维移动矢量。
请参见图3A，为本申请全息图像生成方法的再一个实施例流程图，该图3A所示流程在上述图1A所示流程的基础上，着重描述了是如何确定普通帧相对于XY补偿帧在预设坐标系的Z轴方向上的深度移动矢量的，包括以下步骤：
在步骤301中，对普通帧与XY补偿帧分别进行深度切片，得到普通帧在预设坐标系的Z轴方向上的深度切片以及XY补偿帧在Z轴方向上的深度切片。
在步骤302中，针对XY补偿帧的每一深度切片，确定XY补偿帧的深度切片在预设坐标系中的Z轴坐标位置。
在步骤303中，以Z轴坐标位置为中心，在普通帧中设置第一搜索范围，并在第一搜索范围中确定与XY补偿帧的深度切片最为相似的目标深度切片。
在步骤304中，根据目标深度切片与XY补偿帧的深度切片分别在预设坐标系中的Z轴坐标位置，确定普通帧中的目标深度切片相对于XY补偿帧中的深度切片在预设坐标系的Z轴方向上的深度移动矢量。
如下，对步骤301至步骤304进行说明：
首先说明，本实施例中，基于上述图2A所示实施例中对参考帧和普通帧进行分块相类似的理由，可以基于深度信息分别对普通帧与XY补偿帧进行深度切片，得到普通帧在坐标系的Z轴方向上的深度切片以及XY补偿帧在Z轴方向上的深度切片。具体以对XY补偿帧进行深度切片为例，在XY补偿帧的深度信息帧中，将深度值，即像素值相同的像素点标识出来，例如，将像素值为0～255的像素点分别标识出来，之后，在XY补偿帧的彩色信息帧中，分别找到与这些像素点对应的像素点，即可以得到参考帧在0～255深度上的256个深度切片，这里所说的“深度”即对应坐标系中的Z轴方向。
之后，针对XY补偿帧中的每一个深度切片，均进行如下处理：
首先，确定XY补偿帧中的深度切片在坐标系中的Z轴坐标位置，Z轴坐标位置即可以为该深度切片所对应的深度值，即像素值，基于上述所描述的在普通帧中设置第二搜索范围类似的原理，可以以该Z轴坐标位置为中心，在普通帧中设置第一搜索范围，在该第一搜索范围内，确定与XY补偿帧的深度切片最为相似的深度切片，为了描述方便，本申请中将此处所描述的最为相似的深度切片称为目标深度切片，之后，根据该目标深度切片在坐标系中的Z轴坐标位置，以及上述所描述的XY补偿帧中的深度切片的Z轴坐标位置，即可以计算得出普通帧中的深度切片在坐标系的Z轴方向上的深度移动矢量。
本实施例中，在第一搜索范围内，确定与XY补偿帧中的深度切片最为相似的目标深度切片的过程可以包括：
根据第一预设算法，确定位于第一搜索范围内的每个深度切片与XY补偿帧中的深度切片之间的MADz值；将MADz值最小的深度切片确定为与所述XY补偿帧的深度切片最为相似的目标深度切片；其中，第一预设算法为：
Figure BDA0001362208160000121
其中，v表示所述深度切片的像素宽，h表示所述深度切片的像素高，B表示所述目标深度切片上像素点的像素值，A表示所述XY补偿帧的深度切片上像素点的像素值。
举例来说，如图3B所示，为确定深度移动矢量的示意图。
在图3B中，对于XY补偿帧上的某一个深度切片A，其Z轴坐标位置为z1，其在普通帧上的对应深度切片为A’，深度切片A’的Z轴坐标位置同样为z1，则可以以z1为中心，在普通帧上确定第一搜索范围，例如图2B中所示例的L区域，在该第一搜索范围内确定与深度切片A最为相似的目标深度切片，假设为深度切片B，深度切片B的Z轴坐标位置为z2，那么，则可以计算得出深度移动矢量
Figure BDA0001362208160000122
此外，在此说明，计算得出XY补偿帧中每个深度切片的深度移动矢量后，将XY补偿帧中的各深度切片按照对应的深度移动矢量进行平移，则可以得到普通帧的补偿帧。
由上述实施例可见，通过将普通帧和XY补偿帧对应的划分为相同深度的深度切片，之后，针对XY补偿帧中的每一个深度切片，在普通帧中确定与其最为相似的目标深度切片，通过XY补偿帧中深度切片的Z轴坐标位置，以及其对应的目标深度切片的Z轴坐标位置，可以计算得出XY补偿帧中每一个深度切片的深度移动矢量。
请参见图4A，为本申请全息图像生成方法的又一个实施例流程图，该图4A所示流程在上述图1A所示流程的基础上，着重描述了是如何基于深度移动矢量对补偿帧的XY全息图像进行深度变化，得到补偿帧的全息图像的，包括以下步骤：
在步骤401中，通过第二预设算法，确定深度变化图样PFP。
在步骤402中，将深度变化图样PFP与补偿帧的XY全息图像相乘，得到补偿帧的全息图像。
如下，对步骤401至步骤302进行说明：
由于当被拍摄物体在Z轴方向有移动时，对应的全息图像所发生的变化不同于被拍摄物体在X轴，和/或Y轴方向有移动时，对应的全息图像发生平移变化，而是一种运算，具体的，其物理意义相当于在被拍摄物体移动之前的全息图像的前方放置了一个菲涅尔透镜，那么，被拍摄物体移动之后的全息图图像即相当于移动之前的全息图图像上的像素点经过该菲涅尔透镜后重建而成。
基于此，本实施例中，首先通过第二预设算法确定一个深度变化图样PFP，即菲涅尔透镜的相位图样，其中，第二预设算法为：
Figure BDA0001362208160000131
其中，j为虚数且j2＝-1，λ表示光的波长，zc表示所述深度移动矢量。
后续，将深度变化图样PFP与补偿帧的XY全息图像相乘，得到补偿帧的全息图像。如图4B所示，为通过深度变换得到补偿帧的全息图像的示意图。在图4B中，(a)表示补偿帧的XY全息图像，(b)表示深度变化图样PFP，(c)表示补偿帧的全息图像。
由上述实施例可见，通过确定深度变化图样PFP，将深度变化图样PFP与补偿帧的XY全息图像相乘，即可以得到补偿帧的全息图像。
与前述全息图像生成方法的实施例相对应，本申请还提供了全息图像生成装置的实施例。
本申请全息图像生成装置的实施例可以应用在图像处理设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在图像处理设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本申请全息图像生成装置所在图像处理设备的一种硬件结构图，除了图5所示的处理器51、内存52、网络接口53、以及非易失性存储器54之外，实施例中装置所在的图像处理设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。
请参考图6，为本申请全息图像生成装置的一个实施例框图，该装置可以包括：第一确定模块61、补偿帧计算模块62、第一全息图像计算模块63、第二全息图像计算模块64、第三全息图像计算模块65。
其中，第一确定模块61，可以用于确定时间群组中参考帧的全息图像，所述时间群组中的第一帧为参考帧，其余帧为普通帧；
补偿帧计算模块62，可以用于基于所述普通帧相对于所述参考帧在预设坐标系的X轴方向、Y轴方向，以及Z轴方向上的移动矢量，对所述参考帧进行平移，得到所述普通帧的补偿帧；
第一全息图像计算模块63，可以用于基于所述X轴方向、Y轴方向上的移动矢量对所述参考帧的全息图像进行平移，并基于所述Z轴方向上的移动矢量对所述参考帧的全息图像进行深度变换，得到所述补偿帧的全息图像；
第二全息图像计算模块64，可以用于确定所述普通帧与所述补偿帧之间的差异区域，并确定所述差异区域的全息图像；
第三全息图像计算模块65，可以用于将所述差异区域的全息图像叠加到所述补偿帧的全息图像中，得到所述普通帧的全息图像。
请参考图7，为本申请全息图像生成装置的另一个实施例框图，该图7所示装置在上述图6所示装置的基础上，其中，补偿帧计算模块62可以包括：二维矢量确定子模块621、第一平移子模块622、深度矢量确定子模块623，以及第二平移子模块624。
其中，二维矢量确定子模块621，可以用于确定所述普通帧相对于所述参考帧在预设坐标系的X轴方向、Y轴方向上的二维移动矢量；
第一平移子模块622，可以用于基于所述二维移动矢量对所述参考帧进行平移，得到所述普通帧的XY补偿帧；
深度矢量确定子模块623，可以用于确定所述普通帧相对于所述XY补偿帧在所述预设坐标系的Z轴方向上深度移动矢量；
第二平移子模块624，可以用于基于所述深度移动矢量对所述XY补偿帧进行平移，得到所述普通帧的补偿帧。
在一实施例中，二维矢量确定子模块621可以包括(图6中并未示出)：
分块子模块，用于对所述普通帧与所述参考帧分别进行分块，得到所述普通帧在所述预设坐标系的XY平面上的像素块以及所述参考帧在所述XY平面上的像素块，其中，所述参考帧与所述普通帧中像素块的数量相同，像素块的大小相同；
XY轴坐标确定子模块，用于针对所述参考帧中的每一像素块，确定所述参考帧中的像素块在所述预设坐标系中的XY轴坐标位置；
第二目标确定子模块，用于以所述XY轴坐标位置为中心，在所述普通帧中设置第二搜索范围，并在所述第二搜索范围中确定与所述参考帧中的像素块最为相似的目标像素块；
确定子模块，用于根据所述目标像素块与所述参考帧中的像素块分别在所述预设坐标系中的XY轴坐标位置，确定所述普通帧中的目标像素块相对于所述参考帧中的像素块在所述预设坐标系的X轴方向、Y轴方向上的二维移动矢量。
在一实施例中，深度矢量确定子模块623可以包括(图6中并未示出)：
切片子模块，用于对所述普通帧与所述XY补偿帧分别进行深度切片，得到所述普通帧在所述预设坐标系的Z轴方向上的深度切片以及所述XY补偿帧在所述Z轴方向上的深度切片；
Z轴坐标确定子模块，用于针对所述XY补偿帧的每一深度切片，确定所述XY补偿帧的深度切片在所述预设坐标系中的Z轴坐标位置；
第一目标确定子模块，用于以所述Z轴坐标位置为中心，在所述普通帧中设置第一搜索范围，并在所述第一搜索范围中确定与所述XY补偿帧的深度切片最为相似的目标深度切片；
第一确定子模块，用于根据所述目标深度切片与所述XY补偿帧的深度切片分别在所述预设坐标系中的Z轴坐标位置，确定所述普通帧中的目标深度切片相对于所述XY补偿帧中的深度切片在所述预设坐标系的Z轴方向上的深度移动矢量。
在一实施例中，第二目标确定子模块可以包括(图6中并未示出)：
第二相似值确定子模块，用于根据第三预设算法，确定位于所述第二搜索范围内的每个像素块与所述参考帧中的像素块之间的MADxy值；
目标像素块确定子模块，用于将MADxy值最小的像素块确定为与所述参考帧中的像素块最为相似的目标像素块；
所述第三预设算法为：
Figure BDA0001362208160000161
其中，M表示像素块的边长，Cij表示普通帧中的像素块的像素值，Rij表示参考帧中的像素块的像素值，i表示像素块在X轴方向上的块编号，j表示像素块在Y轴方向上的块编号。
在一实施例中，第一目标确定子模块可以包括(图6中并未示出)：
第一相似值确定子模块，用于根据第一预设算法，确定位于所述第一搜索范围内的每个深度切片与所述XY补偿帧中的深度切片之间的MADz值；
目标深度切片确定子模块，用于将MADz值最小的深度切片确定为与所述XY补偿帧中的深度切片最为相似的目标深度切片；
所述第一预设算法为：
Figure BDA0001362208160000171
其中，v表示所述深度切片的像素宽，h表示所述深度切片的像素高，B表示所述目标深度切片上像素点的像素值，A表示所述XY补偿帧中的深度切片上像素点的像素值。
请参考图8，为本申请全息图像生成装置的再一个实施例框图，该图8所示装置在上述图6所示装置的基础上，其中，第一全息图像计算模块63可以包括：第三平移子模块631、深度变换子模块632。
其中，第三平移子模块631，可以用于基于所述X轴方向、Y轴方向上的移动矢量对所述参考帧的全息图像进行平移，得到所述补偿帧的XY全息图像；
深度变换子模块632，可以用于基于所述Z轴方向上的移动矢量对所述XY全息图像进行深度变换，得到所述补偿帧的全息图像。
在一实施例中，深度变换子模块632可以包括(图6中并未示出)：
图样确定子模块，用于通过第二预设算法，确定深度变化图样PFP；
所述第二预设算法为：
Figure BDA0001362208160000172
其中，j为虚数且j2＝-1，λ表示光的波长，zc表示所述深度移动矢量；
处理子模块，用于将所述深度变化图样PFP与所述补偿帧的XY全息图像相乘，得到所述补偿帧的全息图像。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (6)

1.一种全息图像生成方法，其特征在于，所述方法包括：
确定时间群组中参考帧的全息图像，所述时间群组中的第一帧为参考帧，其余帧为普通帧；
基于所述普通帧相对于所述参考帧在预设坐标系的X轴方向、Y轴方向，以及Z轴方向上的移动矢量，对所述参考帧进行平移，得到所述普通帧的补偿帧；
基于所述X轴方向、Y轴方向上的移动矢量对所述参考帧的全息图像进行平移，并基于所述Z轴方向上的移动矢量对所述参考帧的全息图像进行深度变换，得到所述补偿帧的全息图像；
确定所述普通帧与所述补偿帧之间的差异区域，并确定所述差异区域的全息图像；
将所述差异区域的全息图像叠加到所述补偿帧的全息图像中，得到所述普通帧的全息图像；
其中，基于所述普通帧相对于所述参考帧在预设坐标系的X轴方向、Y轴方向，以及Z轴方向上的移动矢量，对所述参考帧进行平移，得到所述普通帧的补偿帧，包括：
确定所述普通帧相对于所述参考帧在预设坐标系的X轴方向、Y轴方向上的二维移动矢量；
基于所述二维移动矢量对所述参考帧进行平移，得到所述普通帧的XY补偿帧；
确定所述普通帧相对于所述XY补偿帧在所述预设坐标系的Z轴方向上深度移动矢量；
基于所述深度移动矢量对所述XY补偿帧进行平移，得到所述普通帧的补偿帧；
所述确定所述普通帧相对于所述XY补偿帧在所述预设坐标系的Z轴方向上深度移动矢量，包括：
对所述普通帧与所述XY补偿帧分别进行深度切片，得到所述普通帧在所述预设坐标系的Z轴方向上的深度切片以及所述XY补偿帧在所述Z轴方向上的深度切片；
针对所述XY补偿帧的每一深度切片，确定所述XY补偿帧的深度切片在所述预设坐标系中的Z轴坐标位置；
以所述Z轴坐标位置为中心，在所述普通帧中设置第一搜索范围，并在所述第一搜索范围中确定与所述XY补偿帧的深度切片最为相似的目标深度切片；
根据所述目标深度切片与所述XY补偿帧的深度切片分别在所述预设坐标系中的Z轴坐标位置，确定所述普通帧中的目标深度切片相对于所述XY补偿帧中的深度切片在所述预设坐标系的Z轴方向上的深度移动矢量。
2.根据权利要求1所述的方法，其特征在于，所述在所述第一搜索范围中确定与所述XY补偿帧的深度切片最为相似的目标深度切片包括：
根据第一预设算法，确定位于所述第一搜索范围内的每个深度切片与所述XY补偿帧中的深度切片之间的MADz值；
将MADz值最小的深度切片确定为与所述XY补偿帧中的深度切片最为相似的目标深度切片；
所述第一预设算法为：
Figure FDA0002202479700000021
其中，v表示所述深度切片的像素宽，h表示所述深度切片的像素高，i和j表示所述深度切片的像素点坐标，B表示所述目标深度切片上像素点的像素值，A表示所述XY补偿帧中的深度切片上像素点的像素值。
3.根据权利要求1所述的方法，其特征在于，所述基于所述X轴方向、Y轴方向上的移动矢量对所述参考帧的全息图像进行平移，并基于所述Z轴方向上的移动矢量对所述参考帧的全息图像进行深度变换，得到所述补偿帧的全息图像，包括：
基于所述X轴方向、Y轴方向上的移动矢量对所述参考帧的全息图像进行平移，得到所述补偿帧的XY全息图像；
基于所述Z轴方向上的移动矢量对所述XY全息图像进行深度变换，得到所述补偿帧的全息图像。
4.根据权利要求3所述的方法，其特征在于，所述基于所述Z轴方向上的移动矢量对所述XY全息图像进行深度变换，得到所述补偿帧的全息图像包括：
通过第二预设算法，确定深度变化图样PFP；
所述第二预设算法为：
Figure FDA0002202479700000031
其中，j为虚数且j2＝-1，λ表示光的波长，zc表示所述Z轴方向上的移动矢量，x和y表示全息图像上的像素点坐标；
将所述深度变化图样PFP与所述补偿帧的XY全息图像相乘，得到所述补偿帧的全息图像。
5.一种全息图像生成装置，其特征在于，所述装置包括：
第一确定模块，用于确定时间群组中参考帧的全息图像，所述时间群组中的第一帧为参考帧，其余帧为普通帧；
补偿帧计算模块，用于基于所述普通帧相对于所述参考帧在预设坐标系的X轴方向、Y轴方向，以及Z轴方向上的移动矢量，对所述参考帧进行平移，得到所述普通帧的补偿帧；
第一全息图像计算模块，用于基于所述X轴方向、Y轴方向上的移动矢量对所述参考帧的全息图像进行平移，并基于所述Z轴方向上的移动矢量对所述参考帧的全息图像进行深度变换，得到所述补偿帧的全息图像；
第二全息图像计算模块，用于确定所述普通帧与所述补偿帧之间的差异区域，并确定所述差异区域的全息图像；
第三全息图像计算模块，用于将所述差异区域的全息图像叠加到所述补偿帧的全息图像中，得到所述普通帧的全息图像；
所述补偿帧计算模块包括：
二维矢量确定子模块，用于确定所述普通帧相对于所述参考帧在预设坐标系的X轴方向、Y轴方向上的二维移动矢量；
第一平移子模块，用于基于所述二维移动矢量对所述参考帧进行平移，得到所述普通帧的XY补偿帧；
深度矢量确定子模块，用于确定所述普通帧相对于所述XY补偿帧在所述预设坐标系的Z轴方向上深度移动矢量；
第二平移子模块，用于基于所述深度移动矢量对所述XY补偿帧进行平移，得到所述普通帧的补偿帧；
所述深度矢量确定子模块包括：
切片子模块，用于对所述普通帧与所述XY补偿帧分别进行深度切片，得到所述普通帧在所述预设坐标系的Z轴方向上的深度切片以及所述XY补偿帧在所述Z轴方向上的深度切片；
Z轴坐标确定子模块，用于针对所述XY补偿帧的每一深度切片，确定所述XY补偿帧的深度切片在所述预设坐标系中的Z轴坐标位置；
第一目标确定子模块，用于以所述Z轴坐标位置为中心，在所述普通帧中设置第一搜索范围，并在所述第一搜索范围中确定与所述XY补偿帧的深度切片最为相似的目标深度切片；
确定子模块，用于根据所述目标深度切片与所述XY补偿帧的深度切片分别在所述预设坐标系中的Z轴坐标位置，确定所述普通帧中的目标深度切片相对于所述XY补偿帧中的深度切片在所述预设坐标系的Z轴方向上的深度移动矢量。
6.根据权利要求5所述的装置，其特征在于，所述第一目标确定子模块包括：
第一相似值确定子模块，用于根据第一预设算法，确定位于所述第一搜索范围内的每个深度切片与所述XY补偿帧中的深度切片之间的MADz值；
目标深度切片确定子模块，用于将MADz值最小的深度切片确定为与所述XY补偿帧中的深度切片最为相似的目标深度切片；
所述第一预设算法为：
Figure FDA0002202479700000051
其中，v表示所述深度切片的像素宽，h表示所述深度切片的像素高，i和j表示所述深度切片的像素点坐标，B表示所述目标深度切片上像素点的像素值，A表示所述XY补偿帧中的深度切片上像素点的像素值。
CN201710623389.9A 2017-07-27 2017-07-27 一种全息图像生成方法及装置 Active CN107396083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710623389.9A CN107396083B (zh) 2017-07-27 2017-07-27 一种全息图像生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710623389.9A CN107396083B (zh) 2017-07-27 2017-07-27 一种全息图像生成方法及装置

Publications (2)

Publication Number Publication Date
CN107396083A CN107396083A (zh) 2017-11-24
CN107396083B true CN107396083B (zh) 2020-01-14

Family

ID=60341540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710623389.9A Active CN107396083B (zh) 2017-07-27 2017-07-27 一种全息图像生成方法及装置

Country Status (1)

Country Link
CN (1) CN107396083B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112346324B (zh) * 2020-11-13 2021-08-17 武汉华工图像技术开发有限公司 全息光学图像的生成方法、装置和电子设备
CN112327398B (zh) * 2020-11-20 2022-03-08 中国科学院上海光学精密机械研究所 一种矢量补偿体布拉格光栅角度偏转器的制备方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103703777A (zh) * 2011-07-22 2014-04-02 高通股份有限公司 对具有深度范围变化的运动深度图进行译码
CN105359529A (zh) * 2013-07-16 2016-02-24 联发科技（新加坡）私人有限公司 三维视频编码中用于高级时间残差预测的方法及装置
WO2016088965A1 (ko) * 2014-12-05 2016-06-09 광운대학교 산학협력단 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
CN106105191A (zh) * 2014-03-19 2016-11-09 株式会社Kt 用于处理多视图视频信号的方法和装置
CN106897983A (zh) * 2016-12-30 2017-06-27 青岛海信电器股份有限公司 一种多帧图像集合的处理方法和图像处理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103703777A (zh) * 2011-07-22 2014-04-02 高通股份有限公司 对具有深度范围变化的运动深度图进行译码
CN105359529A (zh) * 2013-07-16 2016-02-24 联发科技（新加坡）私人有限公司 三维视频编码中用于高级时间残差预测的方法及装置
CN106105191A (zh) * 2014-03-19 2016-11-09 株式会社Kt 用于处理多视图视频信号的方法和装置
WO2016088965A1 (ko) * 2014-12-05 2016-06-09 광운대학교 산학협력단 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
CN106897983A (zh) * 2016-12-30 2017-06-27 青岛海信电器股份有限公司 一种多帧图像集合的处理方法和图像处理装置

Also Published As

Publication number Publication date
CN107396083A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
US10368062B2 (en) Panoramic camera systems
US20190364265A1 (en) Free-viewpoint video generating method and free-viewpoint video generating system
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
Kim et al. Dynamic video deblurring using a locally adaptive blur model
CA2650557C (en) System and method for three-dimensional object reconstruction from two-dimensional images
CN109087346B (zh) 单目深度模型的训练方法、训练装置和电子设备
CN110223236B (zh) 用于增强图像序列的方法
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
JP7032871B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN113724155B (zh) 用于自监督单目深度估计的自提升学习方法、装置及设备
Oliveira et al. Selective hole-filling for depth-image based rendering
KR20100051359A (ko) 영상 데이터 생성 방법 및 장치
CN107396083B (zh) 一种全息图像生成方法及装置
Angot et al. A 2D to 3D video and image conversion technique based on a bilateral filter
KR101852085B1 (ko) 깊이 정보 획득 장치 및 깊이 정보 획득 방법
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统
KR101657367B1 (ko) 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
US20130120461A1 (en) Image processor and image processing method
JP2017126264A (ja) 情報処理装置、情報処理方法およびプログラム
De Sorbier et al. Augmented reality for 3D TV using depth camera input
JP2018010359A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6687496B2 (ja) 視差検出装置
US8743180B2 (en) Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
KR20210085953A (ko) 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법
JP2015216542A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Patentee after: Hisense Video Technology Co., Ltd

Address before: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Patentee before: HISENSE ELECTRIC Co.,Ltd.

CP01 Change in the name or title of a patent holder