CN103227930A - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN103227930A
CN103227930A CN201310027518XA CN201310027518A CN103227930A CN 103227930 A CN103227930 A CN 103227930A CN 201310027518X A CN201310027518X A CN 201310027518XA CN 201310027518 A CN201310027518 A CN 201310027518A CN 103227930 A CN103227930 A CN 103227930A
Authority
CN
China
Prior art keywords
image
pixel
hologram pattern
field picture
calculate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310027518XA
Other languages
English (en)
Other versions
CN103227930B (zh
Inventor
李硕
魏浩千
南东暻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120108618A external-priority patent/KR101939573B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103227930A publication Critical patent/CN103227930A/zh
Application granted granted Critical
Publication of CN103227930B publication Critical patent/CN103227930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0825—Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/44—Digital representation
    • G03H2210/441—Numerical processing applied to the object data other than numerical propagation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object
    • G03H2210/452—Representation of the decomposed object into points

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)

Abstract

提供一种图像处理设备和方法。所述图像处理设备可包括：确定单元，配置为在用于计算全息图案的多个输入帧图像当中确定具有的第一图像和第二图像之间的像素值差小于临界值的至少一个像素；计算单元，配置为计算第一图像的全息图案，并使用第一图像的至少一个像素的计算结果计算第二图像的全息图案。

Description

图像处理设备和方法
本申请要求于2012年9月28日提交到韩国知识产权局的第10-2012-0108618号韩国专利申请和2012年1月27日提交到美国专利商标局(USPTO)的第61/591347号美国临时申请的利益，该申请的公开通过引用包含于此。
技术领域
示例性实施例涉及一种图像处理设备和方法，更具体地讲，涉及一种用于从离散空间对象数据和强度/深度图像数据产生视频的全息图案的设备和方法。
背景技术
全息图是通过记录相位以及光波的光强度而精确再现的对象的三维(3D)图像。由于低视觉疲劳和对视点的数量上没有限制，全息图被吹捧为理想的3D空间呈现。全息图作为下一代逼真的3D呈现的要点而得到注意。
由于真实世界的空间具有无数个点，因此需要无数个元素模式来产生全息图。然而，在实践中，由于人类视觉特征和全息图显示装置中的像素间距的物理限制(例如，空间光调制器(SLM))，可使用表示空间对象的离散数量的点来产生并显示全息图。
在使用各种方法产生的各种类型的全息图中，可通过对空间对象进行建模并数字计算所述空间对象(例如，通过产生通过光学信号的近似和使用计算装置的数学计算的干扰模式或边纹图案)，并通过显示所述图案来获取计算机产生的全息图(CGH)。此概念由Brown和Lohmann在1966年提出。
此数字全息图技术是基于产生3D对象的全息图案的，其中通过计算由空间点的集合组成的对象中每个点的全息图案并对该全息图案进行合成来产生所述3D对象的全息图案。由于所述全息图案需要每秒30帧或更多的视频吞吐率，所以目前快速的全息图产生引起了争论。
发明内容
通过提供一种图像处理设备来实现上述和/或其他方面，所述图像处理设备包括：确定单元，配置为在用于计算全息图案的多个输入帧图像当中，确定具有的第一图像和第二图像之间的像素值差小于临界值的至少一个像素，计算单元，配置为计算第一图像的全息图案，使用第一图像的所述至少一个像素的计算结果计算第二图像的全息图案。
确定单元可被配置为产生用于将所述至少一个像素与至少一个其他像素区分的掩模；计算单元可被配置为通过参考掩模来计算在第二图像中除所述至少一个像素之外的像素的全息图案，并使用第一图像的计算结果来计算第二图像的所述至少一个像素的全息图案。
像素值可包括强度值和深度值中的至少一个。
图像处理设备还可包括：分组单元，配置为对多个帧图像进行分组，以创建多个帧组，该组包括N个帧图像，N为自然数，并在多个帧组当中的第一组的N个帧图像中选择具有最早时间索引的图像，作为第一图像。
通过提供一种图像处理设备来实现上述和/或其他方面，所述图像处理设备包括：分组单元，配置为当用于计算全息图案的多个帧图像被输入时，对所述多个帧图像进行分组，以创建多个帧组，该组包括N个帧图像，N为自然数；确定单元，配置为通过比较包括在多个帧组当中的第一组中的N个帧图像的像素，确定具有的像素值差小于临界值的至少一个像素；计算单元，配置为计算除了包括在第一组中的N个帧图像的所述至少一个像素之外的像素的全息图案，计算N个帧图像当中的一个帧图像的所述至少一个像素的全息图案，并将计算的全息图案复制到其他帧图像的全息图案。
通过提供一种图像处理设备来实现上述和/或其他方面，所述图像处理设备包括：确定单元，配置为在用于计算全息图案的多个输入帧图像当中，将第一图像和第二图像划分为块，并确定具有的第一图像的块和第二图像的块之间的像素值差小于临界值的至少一个块；计算单元，配置为计算第一图像的全息图案，并使用第一图像的所述至少一个块的计算结果计算第二图像的全息图案。
通过提供一种图像处理方法来实现上述和/或其他方面，所述图像处理方法包括：在用于计算全息图案的多个帧图像当中，确定具有的第一图像和第二图像之间的像素值差小于临界值的至少一个像素；计算第一图像的全息图案；使用第一图像的所述至少一个像素的计算结果计算第二图像的全息图案。
确定至少一个像素的步骤可包括：产生用于将至少一个像素与至少一个其他像素区分的掩模；使用第一图像的所述至少一个像素的计算结果计算第二图像的全息图案的步骤可包括：通过参考掩模来计算在第二图像中除所述至少一个像素之外的像素的全息图案，使用第一图像的计算结果来计算第二图像的所述至少一个像素的全息图案。
像素值可包括强度值和深度值中的至少一个。
所述图像处理方法还可包括：对多个帧图像进行分组，以创建多个帧组，该组包括N个帧图像，N为自然数；在多个帧组当中的第一组的N个帧图像中选择具有最早时间索引的图像，作为第一图像。
通过提供一种图像处理方法来实现上述和/或其他方面，所述方法包括：在用于计算全息图案的多个输入帧图像当中，将第一图像和第二图像划分为块，确定具有的第一图像的块和第二图像的块之间的像素值差小于临界值的至少一个块；计算第一图像的全息图案，使用第一图像的所述至少一个块的计算结果计算第二图像的全息图案。
通过提供一种图像处理设备来实现上述和/或其他方面，所述图像处理设备包括：确定单元，在多个帧图像当中产生用于将具有的第一帧图像和第二帧图像之间的像素值差小于临界值的像素与至少一个其他像素区分的掩模；计算单元，通过参考由确定单元产生的掩模，使用多个帧图像的第一帧图像的像素的计算结果计算多个帧图像的第二帧图像的全息图案。
通过提供一种图像处理方法来实现上述和/或其他方面。该图像处理方法包括：将一组帧图像的第一帧图像选择为参考帧；产生用于将第一帧图像中的像素与至少一个其他像素区分的掩模；通过参考产生的掩模，使用第一帧图像中的像素的计算结果来计算除参考帧之外的该组帧图像的第二帧图像的全息图案。
通过提供一种图像处理设备来实现上述和/或其他方面，所述图像处理设备包括：确定单元，产生在多个帧图像当中用于将具有的第一帧图像和第二帧图像之间的第一像素值差小于临界值的第一像素与具有的第一帧图像和第二帧图像之间第二像素值差等于或大于临界值的第二像素区分的掩模，计算单元，当第一像素值差小于临界值时使用第一帧图像的全息图案的计算结果来计算多个帧图像中的第二帧图像的像素的全息图案，当第二像素值差等于或大于临界值时在不使用第一帧图像的全息图案的计算结果的情况下，计算除第二帧图像的像素之外的像素的全息图案。
实施例的其他方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本发明的实施可以被理解。
附图说明
通过结合附图，从下面的实施例的描述中，这些和/或其它方面将会变得清楚并更易于理解，其中：
图1示出根据示例实施例的图像处理设备；
图2示出根据示例实施例的针对输入N个帧图像序列产生全息图案的示例；
图3示出根据示例实施例的图像处理设备的扩展；
图4示出根据示例性实施例的针对包括N个帧图像的每个帧组产生全息图案的示例；
图5示出根据示例实施例的用于计算全息图案的输入帧图像序列的示例；
图6示出根据示例实施例的用于产生全息图案的掩模的示例；
图7示出根据示例实施例的涉及针对帧图像的全息图案产生的数据计算；
图8示出根据示例实施例的图像处理方法；
图9示出根据另一示例实施例的图像处理方法。
具体实施方式
现在将详细描述本公开的示例性实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。将参照附图中示出的非限制性实施例和以下描述中的细节更充分地解释这里的实施例和该实施例的各种特征和有利的细节。
将省略公知部件和处理技术的描述，从而不会不必要地模糊这里的实施例。这里使用的实施例仅意在便于理解在此可被实施的实施例，并还能够使本领域的技术人员实施在此的实施例。因此，示例不应被理解为限制在此的实施例的范围。
除非另有定义，否则这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。还应该理解，除非这里明确定义，否则术语(诸如在常用词典中定义的术语)应被解释为具有与所述术语在现有技术和本公开的上下文中的含义一致的含义，而不应理想化或过于形式地被解释。
这里使用的术语“第一图像”可指示在用于计算全息图案的多个输入帧图像当中的参考帧图像，还被称为参考帧。第一图像主要与在用于计算全息图案的多个输入帧当中具有最早时间索引的图像相应。即，第一图像可与在用于计算全息图案的多个输入帧当中的第一输入帧图像相应。
这里使用的术语“第二图像”可指示在用于计算全息图案的多个输入帧图像当中除了第一图像之外的帧图像，还被称为差帧。
这里使用的术语“像素值”可包括包含在每个帧图像中的每个像素的强度值和深度值当中的至少一个。即，术语“像素值”可包括包含在每个帧图像中的每个像素的强度值或深度值中的任意一个，或包括强度值和深度值两者。可基于第一图像和第二图像的每个坐标点上的强度值和深度值中的至少一个来确定像素值，并可通过将在相同坐标点上的第一图像的像素值和第二图像的像素值进行比较来计算像素值差。
所述像素值不应解释为限定本公开的范围，除非另有定义，可使任意值作为用于确定帧图像之间的像素值差的参考。
这里使用的术语“掩模”指示这样的图案，该图案被产生用于将可使用第一图像的计算结果计算第二图像的全息图案的像素与可单独计算全息图案以计算第二图像的全息图案的另一像素区分。
在掩模中，具有的第一图像和第二图像之间的像素值差小于临界值的像素可与可使用第一图像的计算结果以计算第二图像的全息图案的区域相应。
具有的第一图像和第二图像之间的像素值差大于或等于临界值的像素可与可执行单独计算以计算第二图像的全息图案的区域相应。在实施例中，单独计算的执行可包括在不使用第一图像的计算结果的情况下计算第二图像的全息图案。
图1示出根据示例实施例的图像处理设备100。
参照图1，图像处理设备100可包括例如确定单元110和计算单元120。
确定单元110可从用于计算全息图案的多个输入帧图像当中确定具有的第一图像和第二图像之间的像素值差小于临界值的至少一个像素。
确定单元110可产生用于将所述至少一个像素与至少一个其他像素区分的掩模。
这里，像素值可包括针对帧图像的每个像素的强度值和深度值中的至少一个。
计算单元120可计算第一图像的全息图案，并可使用通过确定单元110确定的第一图像的所述至少一个像素的计算结果，计算第二图像的全息图案。
计算单元120可通过参考由确定单元110产生的掩模单独计算除了至少一个像素(例如，具有的像素值差大于或等于临界值的像素)之外的像素的全息图案。计算单元120可将所述至少一个像素的全息图案和单独计算的至少一个其他像素的全息图案进行合成，以产生第二图像的全息图案。
根据其他实施例，图像处理设备100将帧图像划分为块，并可计算减小了冗余的每个块的全息图案。
在此情况下，确定单元110可将在用于计算全息图案的多个输入帧图像当中的第一图像和第二图像的每一个划分为块，并可确定具有第一图像的块和第二图像的块之间的像素值差的至少一个块。
计算单元120可计算第一图像的全息图案，并可使用第一图像的至少一个块的计算结果来计算第二图像的全息图案。
图2示出根据示例实施例的针对输入N帧图像序列产生全息图案的示例。
在用于计算全息图案的输入N个帧图像210至230当中，具有最早时间索引的图像210可被确定为第一图像，其他图像211、212和213中的任何一个可被确定为第二图像。
图1的确定单元110可将第二图像211至213的每个坐标点的像素值和第一图像210的每个相应坐标点的像素值进行比较，并可基于临界值使用像素值差来产生掩模220。
可通过以下等式1来计算像素值差。
[等式1]
if，|L[1](i，j)-L[2](i，j)|＜d_L OR |D[1](i，j)-D[2](i，j)|＜d_D，
M(i，j)＝0
else，M(i，j)＝1
像素值可包括针对每个像素的强度值和深度值当中的至少一个，第一图像和第二图像的强度值分别由L[1]和L[2]来表示，第一图像和第二图像的深度值分别由D[1]和D[2]来表示。
当坐标(i，j)上的第一图像和第二图像之间的强度值差小于临界值d_L时，或当坐标(i，j)上的第一图像和第二图像之间的深度值差小于临界值d_D时，掩模值M(i，j)可被设置为“0”且掩模220的相应部分可以以黑色表示。
当坐标(i，j)上的第一图像和第二图像之间的强度值差或深度值差大于或等于临界值d_L或d_D时，掩模值M(i，j)可被设置为”1”且掩模220的相应部分可以以白色提供。
掩模220的黑色区域可被理解为可使用第一图像的计算结果以计算第二图像的全息图案的区域，而白色区域可被理解为可执行单独计算以计算第二图像的全息图案的区域，并且当计算第二图像的全息图案时可参考掩模220。在实施例中，单独计算可指示不使用第一图像的计算结果来计算第二图像的全息图案的计算。
在另一实施例中，在等式1，可由AND运算来代替OR运算。在此实施例中，当强度值差和深度值差均小于临界值d_L或d_D时，掩模值M(i，j)可被设置为“1”且仅可以以黑色来表示掩模220的相应部分。
在产生掩模220之后，计算单元120可基于通过等式1计算的掩模值来计算第二图像的全息图案。
在与具有以黑色提供的掩模值“0”的部分相应的区域中，可产生背景全息图230，并可使用第一图像的计算结果来计算第二图像的全息图案。
在与具有以白色提供的掩模值“1”的部分相应的区域中，可产生前景全息图案231至233，并可执行单独计算以计算第二图像的全息图案。在实施例中，单独计算的执行可包括在不使用第一图像的计算结果的情况下计算第二图像的全息图案。
确定单元110可在具有的第一图像和第二图像之间的像素值差小于临界值的区域中产生背景全息图230，而在具有的像素值差大于或等于临界值的区域中产生前景全息图231至233。
图1的计算单元120可计算第一图像210(不管背景还是前景)的所有像素的全息图案240。
计算单元120可使用第一图像的210的计算结果计算第二图像211至213的背景全息图230，并可单独计算全景全息图231至233。
计算单元120可将背景全息图230和前景全息图231至233进行合成，以产生第二图像的全息图案241至243。
图3示出根据示例实施例的图像处理设备100的扩展。
参照图3，图像处理设备100的扩展可包括例如确定单元110、计算单元120和分组单元130。
分组单元130可将用于计算全息图案的多个输入帧图像进行分组，以创建多个帧组，每个组包括N个帧图像，N为自然数。
分组单元130可在多个帧组当中的第一组的N个帧图像中选择具有最早时间索引的图像作为第一图像。
确定单元110可通过比较包括在第一组中的N个帧图像的像素来确定具有的像素值差小于临界值的至少一个像素。
像素值可包括帧图像的每个像素的强度值和深度值中的至少一个。
对于除了至少一个像素之外的像素，计算单元120可计算包括在第一组中的N个帧图像的每一个的全息图案。
对于至少一个像素，计算单元120可计算包括在第一组中的N个帧图像当中的一个帧图像的全息图案，并将计算的全息图案复制到另一帧图像的全息图案。
图4示出根据示例实施例的针对包括N个帧图像的每个帧组产生全息图案的示例。
分组单元130可将用于计算全息图案的多个输入帧图像410至460进行分组，以创建多个帧组，每个组包括N个帧图像。
参照图4，多个帧图像410至460可被分组为包括帧图像410至430的第一组和包括帧图像440至460的第二组。
在第一组的N个帧图像当中，具有最早时间索引的图像可被选择为参考帧，并可被理解为与第一图像相应。
在包括在第一组中的帧图像当中除了参考帧之外的图像可被设置为差帧，并可被理解为与第二图像相应。
为了产生参考帧410的全息图案(即，参考全息图)，所述帧的所有像素的全息图案可被计算，并可与图2的全息图案240相应。
为了产生差帧420和430中的每一个的全息图案(即，差全息图)，可使用参考全息图的数据来计算背景的全息图案，并且背景的全息图案可与图2的背景全息图230相应，前景的全息图案可被单独计算，并可与图2的前景全息图231至233相应。
差全息图可与图2的全息图案241至243相应。
图5示出根据示例实施例的用于计算全息图案的输入帧图像的序列的示例。图6示出根据示例实施例的用于产生全息图案的掩模的示例。
在图5中，表示运动的车的场景的四个帧图像的序列作为示例被示出。
在四个帧图像当中，具有最早时间索引的图像510可被确定为第一图像或参考帧R，而其他三个图像520至540可被确定为第二图像或差帧D。
可针对帧的所有像素计算第一图像510的全息图案。
可基于临界值使用在每个坐标点上的第二图像520至540中的每一个和第一图像510之间的像素值差，计算第二图像520至540中的每一个的全息图案。在实施例中，像素值差指示第一图像510的像素值和第二图像520至540之一的相应像素值之间的差。
在具有的像素值差小于临界值的区域中，可使用第一图像的计算结果来计算第二图像的全息图案，而在具有的像素值差大于或等于临界值的区域中，可执行单独计算来计算第二图像的全息图案。在此实施例中，单独计算的执行可包括在不使用第一图像的计算结果的情况下计算第二图像的全息图案。
参照图6，示出基于临界值使用像素值差而产生的掩模600。
掩模600的黑色区域可以是可使用第一图像510的计算结果来计算第二图像的全息图案的区域。
白色区域610可以是可执行单独计算来计算第二图像的全息图案的区域，并可以与具有在图5的四个帧图像的示例中改变的像素值的车区域相应。
图7示出根据示例实施例的涉及针对帧图像的全息图案产生的数据计算。
当输入八个帧图像时，传统的方法计算包括在八个帧图像当中的每一个的所有像素的全息图案。
例如，当每帧计算量为100时，传统方法需要总计算量800来计算所有八个帧图像的全息图案(没有去除冗余)。
根据图7的示例性实施例，八个帧图像可被分组为第一组和第二组，当帧组的大小被设置为4时，每个组包括四个帧图像，并可针对每个帧组计算全息图案。
在第一组中具有最早时间索引的帧图像可被选择为第一组的第一图像或参考帧，并可针对所有像素计算第一图像的全息图案(不管背景还是前景)。
为了计算第一组中的第二图像或差帧的全息图案，可单独计算(即，不使用第一图像的计算结果)前景全息图721至741，并可使用第一图像的计算结果来计算背景全息图722至742。
类似于第一组，为了计算第二组的全息图案，可针对帧中的所有像素计算第一图像的全息图案，并可单独计算(即，不使用第二组的第一图像的计算结果)第二图像的前景全息图751至781，并可使用第二组的第一图像的计算结果计算背景全息图752至782。
在此情况下，当第一组的背景全息图712至742的计算量为40.27，第二组的背景全息图752至782的计算量为39.77时，可第一组和第二组的第二图像的全息图案的计算量可减小了背景全息图的计算量。
可由等式2来表示图7的根据示例实施例的全息图案的计算量。
[等式2]
[100+(59.73x3)+(100+(60.23x3))]＝559.88
由于针对每一组计算了第一图像的背景全息图和前景全息图，并且使用第一图像的数据来计算第二图像的背景全息图，因此总计算量为559.88。
从总的八个帧图像，移除冗余之后的计算量相对于移除冗余之前的计算量的比例为70％，因此达到了30％计算量的减小。
图8示出根据示例实施例的图像处理方法。
参照图8，在操作810，在用于计算全息图案的多个输入帧图像当中，比较第一图像的像素值和第二图像的像素值。
像素值可包括帧图像的每个像素的强度值和深度值中的至少一个。
在操作820，可确定具有的像素值差小于临界值的至少一个像素。
在此情况下，可产生掩模以将所述至少一个像素与至少一个其他像素区分。
掩模可被不同地显示为可使用第一图像的计算结果以计算第二图像的全息图案的区域和可执行单独计算以计算第二图像的全息图案的区域，并且在计算第二图像的全息图案时可被参考。在实施例中，单独计算的执行包括：在不使用第一图像的计算结果的情况下计算第二图像的全息图案。
在操作830，可计算第一图像的全息图案。
在此情况下，可针对第一图像的所有像素执行第一图像的全息图案的计算。
在操作840，可计算第二图像的全息图案，在此情况下，可使用第一图像的至少一个像素的计算结果计算第二图像的全息图案。
为了计算第二图像的全息图案，针对除了至少一个像素之外的像素，可通过参考掩模来计算全息图案。
针对至少一个像素，可使用第一图像的全息图案的计算结果来计算全息图案。
图9示出根据另一示例实施例的图像处理方法。
参照图9，在操作910，可将用于计算全息图案的多个输入帧图像进行分组，以创建多个帧组，每个组包括N个帧图像，N为自然数。
在操作920，在第一帧组的N个帧图像当中确定第一图像或参考帧，作为用于产生全息图案的参考。
作为第一图像，可在第一帧组的N个帧图像当中选择具有最早时间索引的图像。然而，可任意地基于另一选择标准可选择地选择第一图像。
在第一帧组中除了确定的第一图像之外的帧图像可被自动设置为第二图像(即，差帧)。
在操作930，可产生掩模，以将使用第一图像的计算结果来计算第二图像的全息图案的区域与可执行单独计算来计算第二图像的全息图案的区域区别。在实施例中，单独计算的执行可包括在不使用第一图像的计算结果的情况下计算第二图像的全息图案。
掩模可基于每个像素值差的临界值而被不同地显示，其中，通过比较与坐标相应的每个像素的第一图像的像素值和第二图像的像素值来计算每个像素值差。
针对具有的像素值差小于临界值的像素，可使用第一图像的计算结果来计算第二图像的全息图案。
针对除了至少一个像素之外的像素，即，具有的像素值差大于或等于临界值的像素，可单独计算全息图案来计算第二图像的全息图案。在实施例中，单独计算包括在不使用第一图像的计算结果的情况下计算第二图像的全息图案。
可基于帧图像的每个像素的强度值和深度值中的至少一个确定像素值。
在操作940，可计算第一图像或参考帧的全息图案。
可针对第一图像的所有像素执行第一图像的全息图案的计算。
在操作950，可计算第二图像或差帧的全息图案。
仅针对具有的像素值差大于或等于临界值的像素，通过参考掩模来执行第二图像的全息图案的计算。
针对具有的像素值差小于临界值的至少一个像素，可使用第一图像的计算结果计算第二图像的全息图案。
根据其他实施例，帧图像可被划分为块；并针对减小了冗余的每个块计算全息图案。
在此情况下，在用于计算全息图案的多个帧图像当中，第一图像和第二图像中的每一个可被划分为块，并可确定具有第一图像的块和第二图像的块之间的像素值差的至少一个块。
可计算第一图像的全息图案，并可使用第一图像的至少一个块的计算结果计算第二图像的全息图案。
根据示例实施例的方法可被记录在计算机可读介质中，其中，计算机可读介质包括由计算机或处理器实现的用于执行各种操作的程序指令。介质还可包括单独的程序指令、数据文件、数据结构等，或可包括它们的组合。计算机可读存储介质的示例包括磁性介质(例如，硬盘、软盘和磁带)、光学介质(例如，CD ROM盘和DVD)、磁光介质(例如，光盘)和专门配置用于存储和执行程序指令的硬件装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。
程序指令的示例包括机器代码(例如，由编译器所产生的)和包含计算机使用解释器可执行的高级代码的文件。为了执行本公开的上述示例性实施例的操作，描述的硬件装置可被构造为用作一个或多个软件模块，反之亦然。可由对于单元专门的处理器或者由对于一个或更多软件模块共同的处理器来执行这里描述的一个或更多软件模块或单元。描述的方法可在通用计算机或处理器上被执行，或可在特定机器(例如，在此描述的图像处理设备)上被执行。
尽管已示出和描述了实施例，但是本领域的技术人员应理解，在不脱离本公开的原理和精神的情况下，可对这些实施例进行改变，其中，本发明的范围由权利要求及其等同物来限定。

Claims (16)

1.一种图像处理设备，包括：
确定单元，配置为在用于计算全息图案的多个输入帧图像当中，确定具有的第一图像和第二图像之间的像素值差小于临界值的至少一个像素；
计算单元，配置为计算第一图像的全息图案，使用第一图像的所述至少一个像素的计算结果计算第二图像的全息图案。
2.如权利要求1所述的图像处理设备，其中，确定单元配置为产生用于将所述至少一个像素与至少一个其他像素区分的掩模；
计算单元被配置为通过参考掩模来计算在第二图像中除所述至少一个像素之外的像素的全息图案，并使用第一图像的计算结果来计算第二图像的所述至少一个像素的全息图案。
3.如权利要求1所述的图像处理设备，其中，像素值包括强度值和深度值中的至少一个。
4.如权利要求1所述的图像处理设备，还包括：
分组单元，配置为对多个帧图像进行分组，以创建多个帧组，该组包括N个帧图像，N为自然数，并在所述多个帧组当中的第一组的N个帧图像中选择具有最早时间索引的图像，作为第一图像。
5.一种图像处理设备，包括：
分组单元，配置为当用于计算全息图案的多个帧图像被输入时，对所述多个帧图像进行分组，以创建多个帧组，其中，每组包括N个帧图像，N为自然数；
确定单元，配置为通过比较包括在所述多个帧组当中的第一组中的N个帧图像中的每个的相应的像素，确定具有的像素值差小于临界值的至少一个像素；
计算单元，配置为计算除了包括在第一组中的N个帧图像的所述至少一个像素之外的像素的全息图案，计算N个帧图像当中的一个帧图像的所述至少一个像素的全息图案，并将计算的全息图案复制到其他帧图像的全息图案。
6.如权利要求5所述的图像处理设备，其中，像素值包括强度值和深度值中的至少一个。
7.一种图像处理设备，包括：
确定单元，配置为在用于计算全息图案的多个输入帧图像当中，将第一图像和第二图像划分为块，确定具有的第一图像的块和第二图像的块之间的像素值差小于临界值的至少一个块；
计算单元，配置为计算第一图像的全息图案，并使用第一图像的所述至少一个块的计算结果计算第二图像的全息图案。
8.一种图像处理方法，包括：
在用于计算全息图案的多个帧图像当中，确定具有的第一图像和第二图像之间的像素值差小于临界值的至少一个像素；
计算第一图像的全息图案；
使用第一图像的所述至少一个像素的计算结果计算第二图像的全息图案。
9.如权利要求8的图像处理方法，其中，确定至少一个像素的步骤包括：产生用于将所述至少一个像素与至少一个其他像素区分的掩模，
使用第一图像的所述至少一个像素的计算结果计算第二图像的全息图案的步骤包括：
通过参考掩模来计算在第二图像中除所述至少一个像素之外的像素的全息图案；
使用第一图像的计算结果来计算第二图像的所述至少一个像素的全息图案。
10.如权利要求8所述的图像处理方法，其中，像素值包括强度值和深度值中的至少一个。
11.如权利要求8所述的图像处理方法，还包括：
对多个帧图像进行分组，以创建多个帧组，该组包括N个帧图像，N为自然数；
在多个帧组当中的第一组的N个帧图像中选择具有最早时间索引的图像，作为第一图像。
12.一种图像处理方法，包括：
在用于计算全息图案的多个输入帧图像当中，将第一图像和第二图像划分为块，确定具有的第一图像的块和第二图像的块之间的像素值差小于临界值的至少一个块；
计算第一图像的全息图案，使用第一图像的所述至少一个块的计算结果计算第二图像的全息图案。
13.一种图像处理设备，包括：
确定单元，在多个帧图像当中产生用于将具有的第一帧图像和第二帧图像之间的像素值差小于临界值的像素与至少一个其他像素区分的掩模；
计算单元，通过参考由确定单元产生的掩模，使用多个帧图像的第一帧图像的像素的计算结果计算多个帧图像的第二帧图像的全息图案。
14.一种图像处理方法，包括：
将一组帧图像的第一帧图像选择为参考帧；
产生用于将第一帧图像中的像素与至少一个其他像素区分的掩模；
通过参考产生的掩模，使用第一帧图像中的像素的计算结果来计算除参考帧之外的该组帧图像的第二帧图像的全息图案。
15.一种图像处理设备，包括：
确定单元，产生在多个帧图像当中用于将具有的第一帧图像和第二帧图像之间的第一像素值差小于临界值的第一像素与具有的第一帧图像和第二帧图像之间的第二像素值差等于或大于临界值的第二像素区分的掩模，
计算单元，当第一像素值差小于临界值时使用第一帧图像的全息图案的计算结果来计算多个帧图像中的第二帧图像的像素的全息图案，当第二像素值差等于或大于临界值时在不使用第一帧图像的全息图案的计算结果的情况下，计算除第二帧图像的像素之外的像素的全息图案。
16.如权利要求15所述的图像处理设备，还包括：计算单元，将第二帧图像的像素的全息图案和第二帧图像的其他像素的全息图案进行合成，以产生第二帧图像的全息图案。
CN201310027518.XA 2012-01-27 2013-01-24 图像处理设备和方法 Active CN103227930B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261591347P 2012-01-27 2012-01-27
US61/591,347 2012-01-27
KR1020120108618A KR101939573B1 (ko) 2012-01-27 2012-09-28 영상 처리 장치 및 방법
KR10-2012-0108618 2012-09-28

Publications (2)

Publication Number Publication Date
CN103227930A true CN103227930A (zh) 2013-07-31
CN103227930B CN103227930B (zh) 2018-06-01

Family

ID=47843009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310027518.XA Active CN103227930B (zh) 2012-01-27 2013-01-24 图像处理设备和方法

Country Status (3)

Country Link
US (1) US9361689B2 (zh)
EP (1) EP2629156B1 (zh)
CN (1) CN103227930B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106896690A (zh) * 2017-03-23 2017-06-27 京东方科技集团股份有限公司 一种全息图像评价方法和装置
CN107038693A (zh) * 2015-10-27 2017-08-11 富士通天株式会社 图像处理设备和图像处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433839B1 (en) * 2000-03-29 2002-08-13 Hourplace, Llc Methods for generating image set or series with imperceptibly different images, systems therefor and applications thereof
US20040240007A1 (en) * 2003-02-12 2004-12-02 Dai Nippon Printing Co., Ltd. Computer-generated hologram
CN1795420A (zh) * 2003-04-04 2006-06-28 大日本印刷株式会社 计算机合成全息图
US20090185246A1 (en) * 2008-01-22 2009-07-23 Dai Nippon Printing Co., Ltd. Fabrication process for computer-generated holograms, computer-generated hologram fabricated by that process, and computer-generated hologram
CN101527773A (zh) * 2008-03-05 2009-09-09 株式会社半导体能源研究所 图像处理方法、图像处理系统、以及计算机程序
CN101563659A (zh) * 2006-12-01 2009-10-21 F.珀斯扎特胡有限公司 计算机生成全息图
CN101568889A (zh) * 2006-10-26 2009-10-28 视瑞尔技术公司 全息显示装置
CN102089720A (zh) * 2008-07-09 2011-06-08 大日本印刷株式会社 全息图作成方法、全息图及使用该全息图的安全介质
WO2011128366A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
US20120008822A1 (en) * 2010-07-08 2012-01-12 Sony Corporation Multi-viewpoint image recording medium and authenticity judgment method

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625705A (en) * 1994-06-03 1997-04-29 Neuromedical Systems, Inc. Intensity texture based classification system and method
US6123733A (en) * 1996-11-27 2000-09-26 Voxel, Inc. Method and apparatus for rapidly evaluating digital data processing parameters
EP0862096A3 (en) * 1996-12-06 1999-05-19 Nippon Telegraph And Telephone Corporation Method and system for producing computer generated holograms realizing real time holographic video production and display
JP3442981B2 (ja) 1996-12-06 2003-09-02 日本電信電話株式会社 計算機ホログラム作成方法及びその方法を記録した記録媒体及び動画ホログラム表示装置
JP3505404B2 (ja) * 1998-10-16 2004-03-08 理想科学工業株式会社 ホログラムパターン決定装置、その決定方法及び記録媒体
JP4189879B2 (ja) 2003-08-08 2008-12-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 生成装置、生成方法、プログラム、及び記録媒体
JP2005181854A (ja) 2003-12-22 2005-07-07 Sanyo Electric Co Ltd 計算機ホログラムの生成方法
US8179578B2 (en) * 2006-07-18 2012-05-15 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
KR100837365B1 (ko) 2007-07-27 2008-06-12 광운대학교 산학협력단 룩업 테이블을 이용한 컴퓨터 형성 홀로그램 생성과 재생방법 및 그 장치
KR20090088047A (ko) 2008-02-14 2009-08-19 김동욱 고속 컴퓨터 생성 홀로그램 기법
KR100973031B1 (ko) 2009-04-06 2010-07-30 광운대학교 산학협력단 룩업 테이블과 영상의 시간적 중복성을 이용한 3차원 동영상 컴퓨터 형성 홀로그램 생성 방법 및 그 장치
KR101090787B1 (ko) 2010-05-20 2011-12-08 강원대학교산학협력단 깊이맵 변환을 이용한 홀로그램 처리 장치 및 방법
US20110310449A1 (en) * 2010-06-17 2011-12-22 Eun-Soo Kim Method for generating 3d video computer-generated hologram using look-up table and temporal redundancy and apparatus thereof
JP2012008220A (ja) 2010-06-22 2012-01-12 Kwang Woon Univ Industry-Academic Collaboration Foundation ルックアップテーブルと画像の空間的重複性を用いた計算機合成ホログラムの算出方法及びその装置
US8633969B2 (en) * 2011-02-09 2014-01-21 Omnivision Technologies, Inc. Apparatus and method for three-dimensional image capture with extended depth of field

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433839B1 (en) * 2000-03-29 2002-08-13 Hourplace, Llc Methods for generating image set or series with imperceptibly different images, systems therefor and applications thereof
US20040240007A1 (en) * 2003-02-12 2004-12-02 Dai Nippon Printing Co., Ltd. Computer-generated hologram
CN1795420A (zh) * 2003-04-04 2006-06-28 大日本印刷株式会社 计算机合成全息图
CN101568889A (zh) * 2006-10-26 2009-10-28 视瑞尔技术公司 全息显示装置
CN101563659A (zh) * 2006-12-01 2009-10-21 F.珀斯扎特胡有限公司 计算机生成全息图
US20090185246A1 (en) * 2008-01-22 2009-07-23 Dai Nippon Printing Co., Ltd. Fabrication process for computer-generated holograms, computer-generated hologram fabricated by that process, and computer-generated hologram
CN101527773A (zh) * 2008-03-05 2009-09-09 株式会社半导体能源研究所 图像处理方法、图像处理系统、以及计算机程序
CN102089720A (zh) * 2008-07-09 2011-06-08 大日本印刷株式会社 全息图作成方法、全息图及使用该全息图的安全介质
WO2011128366A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
US20120008822A1 (en) * 2010-07-08 2012-01-12 Sony Corporation Multi-viewpoint image recording medium and authenticity judgment method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038693A (zh) * 2015-10-27 2017-08-11 富士通天株式会社 图像处理设备和图像处理方法
CN106896690A (zh) * 2017-03-23 2017-06-27 京东方科技集团股份有限公司 一种全息图像评价方法和装置
CN106896690B (zh) * 2017-03-23 2019-07-16 京东方科技集团股份有限公司 一种全息图像评价方法和装置

Also Published As

Publication number Publication date
EP2629156B1 (en) 2024-04-17
CN103227930B (zh) 2018-06-01
EP2629156A1 (en) 2013-08-21
US9361689B2 (en) 2016-06-07
US20130195348A1 (en) 2013-08-01

Similar Documents

Publication Publication Date Title
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
CN102835119B (zh) 支持自动立体显示器上的实时3d图像渲染的多核心处理器
JP6208455B2 (ja) ３ｄディスプレイ装置およびその映像処理方法
KR101289585B1 (ko) 컴퓨터 제작 비디오 홀로그램을 랜더링 및 생성하는 방법 및 장치
KR102441587B1 (ko) 홀로그래픽 이미지를 처리하는 방법 및 장치
CN103348360B (zh) 二维图像的再投影的形态学反混叠(mlaa)
CN102379127A (zh) 影像处理装置、影像处理方法以及计算机程序
JP2008186264A (ja) ３ｄディスプレイ用ｃｇ画像生成装置、３ｄディスプレイ用ｃｇ画像生成方法、及びプログラム
CN105007477A (zh) 基于Unity3D引擎实现裸眼3D显示的方法
JP2021533646A (ja) 深度情報を使用して２次元画像を外挿するためのシステムおよび方法
US20210125395A1 (en) Rendering method and processor
KR20180007547A (ko) 3차원 이미지를 처리하는 방법 및 장치
CN105892681A (zh) 虚拟现实终端及其场景的处理方法和装置
KR102581470B1 (ko) 영상 데이터를 처리하는 방법 및 장치
CN103227930A (zh) 图像处理设备和方法
CN107623846A (zh) 用于处理三维（3d）图像的方法和装置
US20110310447A1 (en) Method for generating 3d video computer generated hologram using look-up table and spatial redundancy, and apparatus thereof
KR101270768B1 (ko) 홀로그램 재생 장치 및 방법
JP2012008220A (ja) ルックアップテーブルと画像の空間的重複性を用いた計算機合成ホログラムの算出方法及びその装置
KR20120119774A (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
JP2012008207A (ja) ルックアップテーブルと画像の時間的重複性を用いた３次元動画の計算機合成ホログラムの算出方法及びその装置
Watanabe et al. Fast calculation method based on hidden region continuity for computer-generated holograms with multiple cameras in a sports scene
Kim et al. Ray tracing-based construction of 3D background model for real-time stereoscopic rendering of live immersive video
US20230377250A1 (en) Light field offset rendering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant