CN103369337B - 3d显示设备及使用该3d显示设备处理图像的方法 - Google Patents

3d显示设备及使用该3d显示设备处理图像的方法 Download PDF

Info

Publication number
CN103369337B
CN103369337B CN201310114560.5A CN201310114560A CN103369337B CN 103369337 B CN103369337 B CN 103369337B CN 201310114560 A CN201310114560 A CN 201310114560A CN 103369337 B CN103369337 B CN 103369337B
Authority
CN
China
Prior art keywords
viewpoint
image
arrangement mode
multiple views
viewpoints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310114560.5A
Other languages
English (en)
Other versions
CN103369337A (zh
Inventor
金圣晋
闵钟述
李珍晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120130308A external-priority patent/KR101912242B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103369337A publication Critical patent/CN103369337A/zh
Application granted granted Critical
Publication of CN103369337B publication Critical patent/CN103369337B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Display Devices Of Pinball Game Machines (AREA)

Abstract

公开了一种3D显示设备及使用该3D显示设备处理图像的方法。所述3D显示设备包括：图像输入装置，接收图像和深度信息；多视点图像产生器，使用接收的图像和深度信息来产生深度信息小于预设深度值的多视点前景图像以及深度信息等于或大于预设深度值的多视点后景图像；多视点图像渲染器，通过根据第一布置模式布置多视点前景图像并根据第二布置模式布置多视点后景图像来执行渲染；显示器，输出渲染的多视点图像。

Description

3D显示设备及使用该3D显示设备处理图像的方法
本申请要求于2012年4月3日在美国专利商标局提交的第61/619,491号美国临时专利申请和于2012年11月16日在韩国知识产权局提交的第10-2012-0130308号韩国专利申请的优先权，所述专利申请的公开通过引用全部合并于此。
技术领域
与示例性实施例一致的设备和方法涉及一种3D显示设备以及使用所述3D显示设备处理图像的方法，更具体地讲，涉及一种减小可能根据观看者的观看位置而产生的死区(dead zone)的3D显示设备以及使用所述3D显示设备处理图像的方法。
背景技术
近来，已经加速开发三维(3D)显示设备的努力，以进行具有立体效果的观看。因此，可使用一般显示设备(诸如电视)在家中观看主要在电影院中能够被观看的3D图像。
3D显示设备可根据是否使用用于观看3D图像的眼镜被划分为眼镜式系统和非眼镜式系统。
眼镜式系统的示例是快门眼镜显示设备。在快门眼镜方案中，交替输出左眼图像和右眼图像，并且结合左眼图像和右眼图像的输出交替地打开或关闭观看者佩戴的3D眼镜的左快门镜片和右快门镜片，从而观看者可感到立体效果。
非眼镜式系统还被称为自动立体系统。非眼镜式3D显示设备显示在光学上分离的多视点图像，并使用视差屏障或柱状透镜将与不同视点的图像对应的光传输到观看者的左眼和右眼，从而观看者可感到立体效果。
图1示出一般非眼镜式3D显示设备的多视点图像的显示。
参照图1，通过以将第1视点图像置于第1视点位置并且将第9视点图像置于第9视点位置的方式从第1视点至第9视点渲染在光学上分离的多视点图像，来再现多视点图像。如果观看者位于第1视点与第9视点之间，则观看者可在不需要眼镜的情况下观看3D图像，并且可根据观看位置的改变感到运动视差。然而，一般的3D显示设备布置和显示依次从第1视点至第9视点的图像，从而可根据观看位置产生死区。
死区指示观看者的观看位置从第N视点至第1视点改变的位置。在死区中，观看者同时观看远离的两个视点的图像，从而可能发生严重的串扰。因此，观看者不能观看到3D图像。如图1中所示，第9视点图像和第1视点图像同时被观看的位置是死区。
图2示出一般非眼镜式3D显示设备的多视点图像的布置模式。
参照图2，根据如图1中所示的每个光学视点依次布置多视点图像。因此，在第9视点和第1视点的位置出现图像视点的显著差异，即，死区。
在死区中，由于串扰，不能正常地观看3D图像。
发明内容
本发明的示例性实施例克服以上缺点和以上未描述的其它缺点。此外，本发明不需要克服以上描述的缺点，并且本发明的示例性实施例可不克服以上描述的任何问题。
示例性实施例提供一种允许观看者使用多视点图像处理方法在任意位置舒服地观看3D图像以减小死区的3D显示设备及其图像处理方法。
根据示例性实施例的一方面，一种三维(3D)显示设备，包括：图像输入装置，接收图像和深度信息；多视点图像产生器，使用接收的图像和深度信息来产生深度信息小于预设深度值的多视点前景图像以及深度信息等于或大于预设深度值的多视点后景图像；多视点图像渲染器，通过根据第一布置模式布置多视点前景图像并根据第二布置模式布置多视点后景图像来执行渲染；显示器，输出渲染的多视点图像。
多视点前景图像和多视点后景图像均可具有“N”个视点，如果“N”是奇数(2K-1，K是自然数)，则第一布置模式可以是如下模式的重复：依次布置第1视点至第K视点，然后，按相反的顺序布置第K-1视点至第1视点；或者如果“N”是偶数(2K，K是自然数)，则第一布置模式可以是如下模式的重复：依次布置第1视点至第K+1视点，然后，按相反的顺序布置第K视点至第2视点；第二布置模式可以是通过将第一布置模式移动预定数量的视点从而具有相位差所获得的模式。
多视点前景图像和多视点后景图像均可具有9个视点，第一布置模式可以是如下模式：重复地布置第1、第2、第3、第4、第5、第4、第3、第2和第1视点前景图像；第二布置模式可以是如下模式：重复地布置第2、第3、第4、第5、第4、第3、第2、第1和第2视点后景图像。
多视点前景图像和多视点后景图像均可具有“N”个视点，第一布置模式可以是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点；第二布置模式可以是通过将第一布置模式移动预定数量的视点从而具有相位差所获得的模式。
多视点前景图像和多视点后景图像均可具有9个视点，第一布置模式可以是如下模式：重复地布置第1、第3、第5、第7、第9、第8、第6、第4和第2视点前景图像；第二布置模式可以是如下模式：重复地布置第3、第5、第7、第9、第8、第6、第4、第2和第1视点后景图像。
多视点前景图像和多视点后景图像均可具有“N”个视点，第一布置模式可以是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点；如果N是奇数，则第二布置模式可以是如下模式的重复：首先布置第1视点，依次布置第2视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第2视点的奇数视点；或者如果N是偶数，则第二布置模式可以是如下模式的重复：依次布置第1视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第1视点的奇数视点。
多视点前景图像和多视点后景图像均可具有9个视点，第一布置模式可以是如下模式：重复地布置第1、第3、第5、第7、第9、第8、第6、第4和第2视点前景图像；第二布置模式可以是如下模式：重复地布置第1、第2、第4、第6、第8、第9、第7、第5和第3视点后景图像。
根据示例性实施例的另一方面，提供一种3D显示设备的图像处理方法，所述方法包括：接收图像和图像的深度信息；基于接收的图像和深度信息，产生深度信息小于预设深度值的多视点前景图像以及深度信息等于或大于预设深度值的多视点后景图像；通过根据第一布置模式布置多视点前景图像并根据第二布置模式布置多视点后景图像来执行渲染；输出渲染的多视点图像。
多视点前景图像和多视点后景图像均可具有“N”个视点。如果“N”是奇数(2K-1，K是自然数)，则第一布置模式可以是如下模式的重复：依次布置第1视点至第K视点，然后，按相反的顺序布置第K-1视点至第1视点；或者如果“N”是偶数(2K，K是自然数)，则第一布置模式可以是如下模式的重复：依次布置第1视点至第K+1视点，然后，按相反的顺序布置第K视点至第2视点。第二布置模式可以是通过将第一布置模式移动预定数量的视点从而具有相位差所获得的模式。
多视点前景图像和多视点后景图像均可具有“N”个视点。第一布置模式可以是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点；第二布置模式可以是通过将第一布置模式移动预定数量的视点从而具有相位差所获得的模式。
多视点前景图像和多视点后景图像均可具有“N”个视点。第一布置模式可以是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点。如果N是奇数，则第二布置模式可以是如下模式的重复：首先布置第1视点，依次布置第2视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第2视点的奇数视点。如果N是偶数，则第二布置模式可以是如下模式的重复：依次布置第1视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第1视点的奇数视点。
根据示例性实施例的另一方面，提供一种非暂时性计算机可读介质，包括用于执行3D显示设备的图像处理方法的程序，其中，所述图像处理方法包括：接收图像和图像的深度信息；基于接收的图像和接收的图像的深度信息，产生深度信息小于预设深度值的多视点前景图像以及深度信息等于或大于预设深度值的多视点后景图像；通过根据第一布置模式布置多视点前景图像并根据第二布置模式布置多视点后景图像来执行渲染；输出渲染的多视点图像。
示例性实施例的另外和/或其它方面将在以下描述中被部分阐述，将从描述中部分是显然的，或者可通过示例性实施例的实践而得知。
附图说明
通过参照附图描述特定示例性实施例，以上和/或其它方面将更加清楚，在附图中：
图1示出一般非眼镜式3D显示设备的多视点图像的显示；
图2示出一般非眼镜式3D显示设备的多视点图像的渲染；
图3是示出根据示例性实施例的3D显示设备的构造的框图；
图4示出根据示例性实施例的多视点图像产生器的操作；
图5和图6示出根据第一示例性实施例的多视点图像的布置模式；
图7和图8示出根据第二示例性实施例的多视点图像的布置模式；
图9和图10示出根据第三示例性实施例的多视点图像的布置模式；
图11示出根据示例性实施例的多视点图像渲染器的操作；
图12是示出用于使用根据示例性实施例的3D显示设备处理图像的方法的流程图。
具体实施方式
现在将参照附图更加详细地描述特定示例性实施例。
在以下描述中，即使在不同附图中，相同的附图标号也用于相同的元件。提供在描述中定义的内容(诸如详细构造和元件)以帮助全面理解示例性实施例。因此，显然的是，在没有那些具体定义的内容的情况下，可实施示例性实施例。此外，由于公知功能或构造会在不必要的细节上模糊示例性实施例，因此不详细描述公知功能或构造。
图3是示出根据示例性实施例的三维(3D)显示设备的构造的框图。3D显示设备是以3D方式显示内容的设备，从而允许观看者感到立体效果。可利用3D显示设备实现各种装置，诸如电视(TV)、监视器、个人计算机(PC)、移动电话、膝上型计算机、平板PC、电子相框、电子书和个人数字助理(PDA)。根据本示例性实施例的3D显示设备可被实现在非眼镜式3D显示方案中。
参照图3，3D显示设备100可包括图像输入装置110、多视点图像产生器120、多视点图像渲染器130和显示器140。
图像输入装置110接收图像和图像的深度信息。更具体地讲，图像输入装置110可从各种外部装置(诸如外部存储介质、广播站、web服务器等)接收图像和图像的深度信息。
输入图像可以是单视点图像、立体图像和多视点图像之一。单视点图像是由一般的拍摄装置拍摄的图像。立体图像是仅以左图像和右图像表示的3D视频图像，其中，左图像和右图像是由立体拍摄装置拍摄的立体图像。通常，立体拍摄装置是具有两个镜头的拍摄装置，所述两个镜头用于拍摄立体图像。多视点图像是通过对由一个或多个拍摄装置拍摄的图像进行几何校正并在空间上组成图像来从多个方向向观看者提供不同视点的3D视频图像。
图像输入装置110接收图像的深度信息。
深度信息是考虑图像的每个像素的深度的值。例如，8比特的深度信息可具有范围从0至255的值。通常，可通过使用图像的二维特征(诸如立体匹配)以被动方式获得深度信息，或者可通过使用诸如深度相机的设备以主动方式获得深度信息。深度信息可以是深度图。
通常，随着图像的距离变近，深度值变小，随着图像的距离变得远离观看者，深度值变大，或者反之亦然。然而，为方便起见，示例性实施例将描述图像的距离变近，深度值变小的示例。
多视点图像产生器120基于输入图像和图像的深度信息产生深度信息小于预设深度值的多视点前景图像以及深度信息等于或大于预设深度值的多视点后景图像。更具体地讲，多视点图像产生器120使用输入的深度信息将前景图像和后景图像分离，并通过根据图像的类型适当地处理前景图像和后景图像来产生多视点前景图像和多视点后景图像。
可使用深度信息将前景图像和后景图像分离。以下描述用于将前景图像和后景图像分离的方法。
在此示例性实施例中，使用8比特的深度信息。每个像素可具有范围从0至255的深度值。在此情况下，用于将前景和后景分离的参考深度值可被设置为128。如果像素的深度信息小于128，则该像素属于前景图像，如果像素的深度信息等于或大于128，则该像素属于后景图像。即，前景图像是具有小于128的深度信息的像素集，后景图像是具有等于或大于128的深度信息的像素集。
预设深度值可以是128，这是通过深度信息获得的深度值的中间值。用于将前景图像和后景图像分离的预设深度值通常被设置为所述中间值，但是预设深度值可被修改。
以下将参照图4更加详细地描述用于将前景图像和后景图像分离的方法。以下描述用于使用分离的前景图像和后景图像产生多视点前景图像和多视点后景图像的方法。
在根据本示例性实施例的3D显示设备100中，如果给出与“n”个视点对应的“n”个视点图像，则不需要产生多视点图像。然而，为了拍摄“n”个视点图像，应由“N”个拍摄装置同时拍摄所述“n”个视点图像，并且实际上难以接收高容量的数据。
因此，使用单视点图像或低于“N”的多个视点图像产生“n”个虚拟视点图像。
使用每个视点的深度信息和邻近视点的图像产生虚拟多视点图像。
例如，如果使用图像的2个视点，则在图像的所述2个视点之间产生多个新视点。随后，将第1视点图像和第2视点图像发送至使用输入的深度信息的3D空间，并且产生期望的视点。
这样的图像处理技术被称为3D卷绕(3D warping)。通常，使用2个视点图像(而非单个视点图像)产生的多视点图像具有较小的变形。
以此方式，多视点图像产生器120可使用输入图像和图像的深度信息产生多视点前景图像和多视点后景图像。
多视点图像渲染器130通过根据第一布置模式布置多视点前景图像并通过根据第二布置模式布置多视点后景图像来执行渲染。根据示例性实施例，第二布置模式可与第一布置模式相同。
根据每个示例性实施例描述用于减小死区的布置模式。
这里描述根据第一示例性实施例的第一布置模式和第二布置模式。
如果存在“N”个多视点前景图像和“N”个多视点后景图像，则根据第一示例性实施例的第一布置模式和第二布置模式的示例可根据“N”是奇数还是偶数而不同，因此分开进行描述。
如果“N”是奇数(2K-1，K是自然数)，则第一布置模式可以是如下模式的重复：依次布置第1视点至第K视点，然后，按相反的顺序布置第K-1视点至第1视点。第二布置模式可以是通过将第一布置模式移动预定数量的视点从而具有相位差所获得的模式。
例如，如果存在总共9个视点，则根据第一示例性实施例的第一布置模式是重复布置第1、第2、第3、第4、第5、第4、第3、第2和第1视点前景图像的模式，第二布置模式是重复布置第2、第3、第4、第5、第4、第3、第2、第1和第1视点后景图像的模式。
另一方面，如果“N”是偶数(2K，K是自然数)，则第一布置模式可以是如下模式的重复：依次布置第1视点至第K+1视点，然后，按相反的顺序布置第K视点至第2视点。第二布置模式可以是通过将第一布置模式移动预定数量的视点从而具有相位差所获得的模式。
例如，如果存在总共8个视点，则根据第一示例性实施例的第一布置模式是重复布置第1、第2、第3、第4、第5、第4、第3和第2视点前景图像的模式，第二布置模式是重复布置第2、第3、第4、第5、第4、第3、第2和第1视点后景图像的模式。
以下将参照图5和图6描述根据第一示例性实施例的布置模式。
这里描述根据第二示例性实施例的第一布置模式和第二布置模式。
在第二示例性实施例中，如第一示例性实施例，存在“N”个多视点前景图像和“N”个多视点后景图像。然而，与第一示例性实施例不同，不管“N”是奇数还是偶数，根据第二示例性实施例的第一布置模式和第二布置模式的示例相同，因此没有分开描述。
根据第二示例性实施例的第一布置模式可以是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点。第二布置模式可以是通过将第一布置模式移动预定数量的视点从而具有相位差所获得的模式。
例如，如果存在总共9个视点，则根据第二示例性实施例的第一布置模式是重复布置第1、第3、第5、第7、第9、第8、第6、第4和第2视点前景图像的模式，第二布置模式是重复布置第3、第5、第7、第9、第8、第6、第4、第2和第1视点后景图像的模式。
另一方面，如果存在总共8个视点，则根据第二示例性实施例的第一布置模式是重复布置第1、第3、第5、第7、第8、第6、第4和第2视点前景图像的模式，第二布置模式是重复布置第3、第5、第7、第8、第6、第4、第2和第1视点后景图像的模式。
以下将参照图7和图8描述根据第二示例性实施例的布置模式。
这里描述根据第三示例性实施例的第一布置模式和第二布置模式。
在第三示例性实施例中，如第一示例性实施例和第二示例性实施例，存在“N”个多视点前景图像和“N”个多视点后景图像。然而，与第一示例性实施例和第二示例性实施例不同，根据第三示例性实施例的第一布置模式和第二布置模式被不同地设计。
根据第三示例性实施例的第一布置模式可以是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点。如果N是奇数，则第二布置模式可以是如下模式的重复：首先布置第1视点，依次布置第2视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第2视点的奇数视点。如果N是偶数，则第二布置模式可以是如下模式的重复：依次布置第1视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第1视点的奇数视点。
例如，如果存在总共9个视点，则根据第三示例性实施例的第一布置模式是重复布置第1、第3、第5、第7、第9、第8、第6、第4和第2视点前景图像的模式，第二布置模式是重复布置第1、第2、第4、第6、第8、第9、第7、第5和第3视点后景图像的模式。
另一方面，如果存在总共8个视点，则根据第三示例性实施例的第一布置模式是重复布置第1、第3、第5、第7、第8、第6、第4和第2视点前景图像的模式，第二布置模式是重复布置第2、第4、第6、第8、第7、第5、第3和第1视点后景图像的模式。
以下将参照图9和图10描述根据第三示例性实施例的布置模式。
利用如上所述的布置模式设计多视点前景图像和后景图像。因此，不论观看者处于什么位置，都不会发生图像视点的突然改变。从而，不产生死区。
另外，即使当如第一、第二和第三示例性实施例的第一布置模式布置和渲染没有将前景图像和后景图像分离的多视点图像时，也可减小图像视点的突然改变，从而获得如上所述的效果。
然而，在没有将前景图像和后景图像分离的多视点图像中，出现了视点被依次布置的立体部分和视点按相反顺序被布置的伪立体部分。因此，可通过根据观看者的位置在立体部分和伪立体部分之间切换而发生冲击。
因此，本示例性实施例使用利用预定相位差布置多视点前景图像和多视点后景图像的模式，从而可减轻通过在立体部分和伪立体部分之间切换所产生的冲击。另外，可减小使观看者观看图像感到不舒服的伪立体部分。
显示器140输出渲染的多视点图像。更具体地讲，显示器140在光学上分离由多视点图像渲染器130渲染的多视点图像，并显示分离的多视点图像。在光学上分离多视点图像的方法可使用视差屏障或柱状透镜。通过以上方法分离的多视点图像在3D显示设备100的前面被重复分离和显示，从而观看者可通过双目视差观看3D图像。
鉴于以上内容，3D显示设备100使用用于减小死区的多视点图像处理方法使观看者能够在任意位置方便地观看3D图像。
图4示出根据示例性实施例的多视点图像产生器120的操作。更具体地讲，图4示出使用深度信息将由图像输入装置110输入的图像分离为前景图像和后景图像的操作。
整个图像包括前景图像和后景图像。如参照图1描述的，前景图像是深度信息小于预设深度值的像素集，后景图像是深度信息等于或大于预设深度值的像素集。
为便于描述，在示例性实施例中，深度信息为8比特，每个像素具有范围从0至255的深度值。
在图4中示出的示例性实施例中，指示阴影树410的像素值的深度信息是70，指示黑色树420的像素值的深度信息是150，指示背景430的像素值的深度信息是255。在将用于分离前景和后景的参考深度值设置为125的基础上，深度值低于125的阴影树410被称为前景图像，深度值高于125的黑色树420和背景430被称为后景图像。如参照图4描述的，多视点图像产生器120使用预设参考值将前景图像和后景图像分离。
参照图5至图10描述用于使用多视点图像渲染器130布置多视点图像的模式。这里，多视点前景图像和多视点后景图像均具有9个视点，但是多视点前景图像和多视点后景图像还可均具有任意数量的其它多个视点，诸如8个视点。
图5和图6示出根据第一示例性实施例的多视点图像的布置模式。
根据第一示例性实施例的第一布置模式(即，多视点前景图像的布置模式)是如下模式的重复：依次布置第1视点至第K视点，然后，按相反的顺序布置第K-1视点至第1视点。第二布置模式(即，多视点后景图像的布置模式)是通过将第一布置模式移动预定数量的视点从而具有相位差所获得的模式。所述预定数量的视点优选地为1个视点，但是可根据用户的设置进行修改。
参照图5，可根据光学视点，如下面的表1布置多视点前景图像和多视点后景图像。
[表1]
光学视点 1 2 3 4 5 6 7 8 9 1 2 3
前景图像视点 1 2 3 4 5 4 3 2 1 1 2 3
后景图像视点 1 1 2 3 4 5 4 3 2 1 1 2
如图5中所示，在第5和第6光学视点处，前景图像视点是伪立体的，后景图像视点是立体的。前景图像视点在第5和第6光学视点处从立体切换到伪立体，后景图像视点在第6和第7光学视点处从立体切换到伪立体。由于首先前景图像视点从立体切换到伪立体，然后后景图像视点从立体切换到伪立体，因此可减轻通过从立体切换到伪立体所产生的冲击。另外，伪立体部分小于没有将前景和后景分离的多视点图像，从而可减小使观看者观看图像感到别扭的伪立体部分。
图6示出在光学上分离并显示根据第一示例性实施例渲染的多视点图像的3D显示设备100的操作。在图6中，示出与每个光学视点相应的根据第一示例性实施例布置的前景图像和后景图像的视点。例如，如果观看者位于第5和第6光学视点处，则观看者的左眼可观看第5视点前景图像和第4视点后景图像，右眼可观看第4视点前景图像和第5视点后景图像。
图7和图8示出根据第二示例性实施例的多视点图像的布置模式。
根据第二示例性实施例的第一布置模式(即，多视点前景图像的布置模式)是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点。第二布置模式(即，多视点后景图像的布置模式)是通过将第一布置模式移动预定数量的视点从而具有相位差所获得的模式。所述预定数量的视点优选地为1个视点，但是可根据用户的设置进行修改。
参照图7，可根据光学视点，按照下面的表2布置多视点前景图像和多视点后景图像。
[表2]
如图7中所示，在第5和第6光学视点处，前景图像视点是伪立体的，后景图像视点是立体的。前景图像视点在第5和第6光学视点处从立体切换到伪立体，后景图像视点在第6和第7光学视点处从立体切换到伪立体。由于首先前景图像视点从立体切换到伪立体，然后后景图像视点从立体切换到伪立体，因此可减轻通过从立体切换到伪立体所产生的冲击。另外，伪立体部分小于没有将前景和后景分离的多视点图像，从而可减小使观看者观看图像感到别扭的伪立体部分。
图8示出在光学上分离并显示根据第二示例性实施例渲染的多视点图像的3D显示设备100的操作。在图8中，示出与每个光学视点相应的根据第二示例性实施例布置的前景图像和后景图像的视点。例如，如果观看者位于第5和第6光学视点处，则观看者的左眼可观看第9视点前景图像和第7视点后景图像，右眼可观看第8视点前景图像和第9视点后景图像。
图9和图10示出根据第三示例性实施例的多视点图像的布置模式。
根据第三示例性实施例的第一布置模式(即，多视点前景图像的布置模式)是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点。如果N是奇数，则第二布置模式(即，多视点后景图像的布置模式)是如下模式的重复：首先布置第1视点，依次布置第2视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第2视点的奇数视点。如果N是偶数，则第二布置模式是如下模式的重复：依次布置第1视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第1视点的奇数视点。
参照图9，可根据光学视点，如下面的表3布置多视点前景图像和多视点后景图像。
[表3]
光学视点 1 2 3 4 5 6 7 8 9 1 2 3
前景图像视点 1 3 5 7 9 8 6 4 2 1 3 5
后景图像视点 1 2 4 6 8 9 7 5 3 1 2 4
如图9中所示，在第5和第6光学视点处，前景图像视点是伪立体的，后景图像视点是立体的。前景图像视点在第5和第6光学视点处从立体切换到伪立体，后景图像视点在第6和第7光学视点处从立体切换到伪立体。由于首先前景图像视点从立体切换到伪立体，然后后景图像视点从立体切换到伪立体，因此可减轻通过从立体切换到伪立体所产生的冲击。另外，伪立体部分小于没有将前景和后景分离的多视点图像，从而可减小使观看者感到别扭的伪立体部分。
图10示出在光学上分离并显示根据第三示例性实施例渲染的多视点图像的3D显示设备100的操作。在图10中，示出与每个光学视点相应的根据第三示例性实施例布置的前景图像和后景图像的视点。例如，如果观看者位于第5和第6光学视点处，则观看者的左眼可观看第9视点前景图像和第8视点后景图像，右眼可观看第8视点前景图像和第9视点后景图像。
图11示出根据示例性实施例的多视点图像渲染器130的操作。更具体地讲，这里描述用于根据预设布置模式布置多视点图像并将多视点图像渲染为将被显示的单个帧的方法。在此示例性实施例中，多视点前景图像和多视点后景图像均具有8个视点。
参照图11，从由多视点图像产生器120分离的图像的前景区域1110和后景区域1120中，在前景区域1110中，仅使用根据预设布置模式布置的像素来渲染多视点前景图像，在后景区域1120中，仅使用根据预设布置模式布置的像素来渲染多视点后景图像。
在图11中，用于每个区域的像素布置图采用根据第三示例性实施例的布置模式，在每个像素中写入的数字指示每个视点的编号，“f”指示前景，“b”指示后景。
如上所述，多视点图像渲染器130使用单个帧渲染根据预设布置模式布置的多视点前景图像和多视点后景图像，并向显示器140提供渲染的多视点图像。
图12是示出用于使用根据示例性实施例的3D显示设备100处理图像的方法的流程图。
参照图12，在操作S1210，3D显示设备100接收图像和图像的深度信息。
在操作S1220，3D显示设备100基于接收的图像和接收的图像的深度信息来产生深度信息小于预设深度值的多视点前景图像以及深度信息高于预设深度值的多视点后景图像。
已经参照图1描述了用于产生多视点前景图像和多视点后景图像的方法，所以不重复详细描述。
在操作S1230，3D显示设备100通过根据第一布置模式布置多视点前景图像并通过根据第二布置模式布置多视点后景图像来执行渲染。
多视点前景图像和多视点后景图像均可具有“N”个视点。
在第一示例性实施例中，如果“N”是奇数(2K-1，K是自然数)，则第一布置模式可以是如下模式的重复：依次布置第1视点至第K视点，然后，按相反的顺序布置第K-1视点至第1视点。如果“N”是偶数(2K，K是自然数)，则第一布置模式可以是如下模式的重复：依次布置第1视点至第K+1视点，然后，按相反的顺序布置第K视点至第2视点。第二布置模式可以是通过将第一布置模式移动预定数量的视点从而具有相位差所获得的模式。
在第二示例性实施例中，第一布置模式可以是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点。第二布置模式可以是通过将第一布置模式移动预定数量的视点从而具有相位差所获得的模式。
在第三示例性实施例中，第一布置模式可以是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点。如果N是奇数，则第二布置模式可以是如下模式的重复：首先布置第1视点，依次布置第2视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第2视点的奇数视点。或者，如果N是偶数，则第二布置模式可以是如下模式的重复：依次布置第1视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第1视点的奇数视点。
在操作S1240，在渲染完成之后，3D显示设备100输出渲染的多视点图像。
可通过具有图3的构造的3D显示设备100执行在图12中描述的3D显示设备100的图像处理方法，还可通过具有不同构造的任何其它3D显示设备执行所述图像处理方法。
鉴于以上内容，根据示例性实施例的3D显示设备100使用用于减小死区的图像处理方法处理图像，从而允许观看者在任意位置舒服地观看3D图像。
此外，根据示例性实施例的3D显示设备100使用以预定相位差布置多视点前景图像和多视点后景图像的模式来处理图像，从而可减轻通过在立体部分和伪立体部分之间切换所产生的冲击。另外，可减小使观看者观看图像感到不舒服的伪立体部分。
根据不同示例性实施例的这些图像处理方法被编程并被存储在不同类型的存储介质中，因此可由执行存储介质的不同类型的电子装置实现。
另外，如上所述的图像处理方法可被实现在包括可由计算机执行的算法的程序中。所述程序可被存储并被提供在非暂时性计算机可读介质中。
非暂时性计算机可读介质是不临时存储数据的介质(诸如寄存器、高速缓冲存储器和存储器)，而是半永久性地存储数据并可被装置读取。更具体地讲，前述的各种应用或程序可被存储并被提供在非暂时性计算机可读介质中，诸如紧凑盘(CD)、数字视频盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡和只读存储器(ROM)。
上述示例性实施例仅是示例性的，不应被解释为限制本发明构思。本教导可容易地应用于其它类型的设备。此外，对示例性实施例的描述意在说明性的，而不是限制权利要求的范围，并且许多替代、修改和改变对本领域的技术人员来说将是显然的。

Claims (13)

1.一种3D显示设备，包括：
图像输入装置，接收图像和图像的深度信息；
多视点图像产生器，基于接收的图像和接收的图像的深度信息来产生深度信息小于预设深度值的多视点前景图像以及深度信息等于或大于预设深度值的多视点后景图像；
多视点图像渲染器，通过根据第一布置模式布置多视点前景图像并根据不同于第一布置模式的第二布置模式布置多视点后景图像来执行渲染；
显示器，输出渲染的多视点图像，
其中，第二布置模式是通过将第一布置模式移动预定数量的视点以具有相位差所获得的模式。
2.如权利要求1所述的3D显示设备，其中，多视点前景图像和多视点后景图像均具有“N”个视点，其中
当“N”是奇数(2K-1，K是自然数)时，第一布置模式是如下模式的重复：依次布置第1视点至第K视点，然后，按相反的顺序布置第K-1视点至第1视点，
当“N”是偶数(2K，K是自然数)时，第一布置模式是如下模式的重复：依次布置第1视点至第K+1视点，然后，按相反的顺序布置第K视点至第2视点。
3.如权利要求2所述的3D显示设备，其中，多视点前景图像和多视点后景图像均具有9个视点，
第一布置模式是如下模式：重复地布置第1、第2、第3、第4、第5、第4、第3、第2和第1视点前景图像，
第二布置模式是如下模式：重复地布置第2、第3、第4、第5、第4、第3、第2、第1和第1视点后景图像。
4.如权利要求1所述的3D显示设备，其中，多视点前景图像和多视点后景图像均具有“N”个视点，
第一布置模式是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点。
5.如权利要求4所述的3D显示设备，其中，多视点前景图像和多视点后景图像均具有9个视点，
第一布置模式是如下模式：重复地布置第1、第3、第5、第7、第9、第8、第6、第4和第2视点前景图像，
第二布置模式是如下模式：重复地布置第3、第5、第7、第9、第8、第6、第4、第2和第1视点后景图像。
6.一种3D显示设备，包括：
图像输入装置，接收图像和图像的深度信息；
多视点图像产生器，基于接收的图像和接收的图像的深度信息来产生深度信息小于预设深度值的多视点前景图像以及深度信息等于或大于预设深度值的多视点后景图像；
多视点图像渲染器，通过根据第一布置模式布置多视点前景图像并根据不同于第一布置模式的第二布置模式布置多视点后景图像来执行渲染；
显示器，输出渲染的多视点图像，
其中，多视点前景图像和多视点后景图像均具有“N”个视点，
第一布置模式是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点，
当N是奇数时，第二布置模式是如下模式的重复：首先布置第1视点，依次布置第2视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第2视点的奇数视点，或者
当N是偶数时，第二布置模式是如下模式的重复：依次布置第1视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第1视点的奇数视点。
7.如权利要求6所述的3D显示设备，其中，多视点前景图像和多视点后景图像均具有9个视点，
第一布置模式是如下模式：重复地布置第1、第3、第5、第7、第9、第8、第6、第4和第2视点前景图像，
第二布置模式是如下模式：重复地布置第1、第2、第4、第6、第8、第9、第7、第5和第3视点后景图像。
8.一种3D显示设备的图像处理方法，所述方法包括：
接收图像和图像的深度信息；
使用接收的图像和接收的图像的深度信息，产生深度信息小于预设深度值的多视点前景图像以及深度信息等于或大于预设深度值的多视点后景图像；
通过根据第一布置模式布置多视点前景图像并根据不同于第一布置模式的第二布置模式布置多视点后景图像来执行渲染；
输出渲染的多视点图像，
其中，第二布置模式是通过将第一布置模式移动预定数量的视点以具有相位差所获得的模式。
9.如权利要求8所述的图像处理方法，其中，多视点前景图像和多视点后景图像均具有“N”个视点，
当“N”是奇数(2K-1，K是自然数)时，第一布置模式是如下模式的重复：依次布置第1视点至第K视点，然后，按相反的顺序布置第K-1视点至第1视点，
当“N”是偶数(2K，K是自然数)时，第一布置模式是如下模式的重复：依次布置第1视点至第K+1视点，然后，按相反的顺序布置第K视点至第2视点。
10.如权利要求8所述的图像处理方法，其中，多视点前景图像和多视点后景图像均具有“N”个视点，
第一布置模式是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点。
11.如权利要求8所述的图像处理方法，其中，多视点前景图像和多视点后景图像均具有“N”个视点，
第一布置模式是如下模式的重复：依次布置第1视点至第N视点的奇数视点，然后，按相反的顺序布置第N视点至第1视点的偶数视点，
当N是奇数时，第二布置模式是如下模式的重复：首先布置第1视点，依次布置第2视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第2视点的奇数视点，或者
当N是偶数时，第二布置模式是如下模式的重复：依次布置第1视点至第N视点的偶数视点，然后，按相反的顺序布置第N视点至第1视点的奇数视点。
12.一种3D显示设备，包括：
图像输入装置，接收图像和图像的深度信息；
多视点图像产生器，基于接收的图像产生多视点前景图像以及多视点后景图像；
多视点图像渲染器，通过基于第一布置模式布置多视点前景图像并根据不同于第一布置模式的第二布置模式布置多视点后景图像来渲染图像；
显示器，输出渲染的多视点图像，
其中，第二布置模式是通过将第一布置模式移动预定数量的视点以具有相位差所获得的模式。
13.如权利要求12所述的3D显示设备，其中，多视点前景图像具有小于预设深度值的深度，多视点后景图像具有等于或大于预设深度值的深度。
CN201310114560.5A 2012-04-03 2013-04-03 3d显示设备及使用该3d显示设备处理图像的方法 Expired - Fee Related CN103369337B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261619491P 2012-04-03 2012-04-03
US61/619,491 2012-04-03
KR1020120130308A KR101912242B1 (ko) 2012-04-03 2012-11-16 3d 디스플레이 장치 및 그 영상 처리 방법
KR10-2012-0130308 2012-11-16

Publications (2)

Publication Number Publication Date
CN103369337A CN103369337A (zh) 2013-10-23
CN103369337B true CN103369337B (zh) 2017-05-24

Family

ID=48092700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310114560.5A Expired - Fee Related CN103369337B (zh) 2012-04-03 2013-04-03 3d显示设备及使用该3d显示设备处理图像的方法

Country Status (4)

Country Link
US (2) US8884952B2 (zh)
EP (1) EP2648414B1 (zh)
JP (1) JP6208455B2 (zh)
CN (1) CN103369337B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9414049B2 (en) * 2011-09-19 2016-08-09 Écrans Polaires Inc./Polar Screens Inc. Method and display for showing a stereoscopic image
TWI520577B (zh) * 2012-08-10 2016-02-01 晨星半導體股份有限公司 立體影像輸出裝置與相關的立體影像輸出方法
US9716899B2 (en) * 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
KR102143473B1 (ko) * 2013-11-13 2020-08-12 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
CN103747228B (zh) * 2014-01-24 2015-09-23 冠捷显示科技（厦门）有限公司 一种可减缓死角的裸眼立体图像合成系统及其合成方法
KR101957243B1 (ko) * 2014-07-09 2019-03-12 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
EP3043316A1 (en) * 2015-01-08 2016-07-13 Thomson Licensing Method and apparatus for generating superpixels for multi-view images
CN104717514B (zh) * 2015-02-04 2018-03-02 四川长虹电器股份有限公司 多视点图像渲染系统及方法
TWI572899B (zh) * 2015-04-07 2017-03-01 南臺科技大學 擴充實境成像方法及其裝置
CN105635710A (zh) * 2015-07-05 2016-06-01 东莞康佳电子有限公司 一种3d电视立体图像成像方法及利用该方法的3d电视
AU2016315938B2 (en) 2015-08-31 2022-02-24 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
KR102143463B1 (ko) * 2015-09-24 2020-08-12 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
CN106327473A (zh) * 2016-08-10 2017-01-11 北京小米移动软件有限公司 前景图像的获取方法及装置
EP3881161A1 (en) 2018-11-14 2021-09-22 Cape Analytics, Inc. Systems, methods, and computer readable media for predictive analytics and change detection from remotely sensed imagery
WO2021237065A1 (en) 2020-05-21 2021-11-25 Looking Glass Factory, Inc. System and method for holographic image display
US11415935B2 (en) 2020-06-23 2022-08-16 Looking Glass Factory, Inc. System and method for holographic communication
WO2022082007A1 (en) * 2020-10-15 2022-04-21 Cape Analytics, Inc. Method and system for automated debris detection
US11388388B2 (en) 2020-12-01 2022-07-12 Looking Glass Factory, Inc. System and method for processing three dimensional images
US20240221140A1 (en) 2021-07-06 2024-07-04 Cape Analytics, Inc. System and method for property condition analysis
WO2023114027A1 (en) 2021-12-16 2023-06-22 Cape Analytics, Inc. System and method for change analysis
AU2023208758A1 (en) 2022-01-19 2024-06-20 Cape Analytics, Inc. System and method for object analysis

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4122573B2 (ja) * 1998-06-22 2008-07-23 株式会社セガ 画像処理方法及び画像処理プログラムを記録した記録媒体
GB0010685D0 (en) 2000-05-03 2000-06-28 Koninkl Philips Electronics Nv Autostereoscopic display driver
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
WO2005091050A1 (en) * 2004-03-12 2005-09-29 Koninklijke Philips Electronics N.V. Multiview display device
JP2006041811A (ja) * 2004-07-26 2006-02-09 Kddi Corp 自由視点画像ストリーミング方式
WO2010013171A1 (en) * 2008-07-28 2010-02-04 Koninklijke Philips Electronics N.V. Use of inpainting techniques for image correction
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
JP5659589B2 (ja) * 2010-07-13 2015-01-28 株式会社ニコン 表示装置および制御方法
TW201206151A (en) * 2010-07-20 2012-02-01 Chunghwa Picture Tubes Ltd Method and system for generating images of a plurality of views for 3D image reconstruction
US10134150B2 (en) * 2010-08-10 2018-11-20 Monotype Imaging Inc. Displaying graphics in multi-view scenes

Also Published As

Publication number Publication date
US20130257861A1 (en) 2013-10-03
JP6208455B2 (ja) 2017-10-04
US8780111B2 (en) 2014-07-15
US20140139515A1 (en) 2014-05-22
CN103369337A (zh) 2013-10-23
US8884952B2 (en) 2014-11-11
EP2648414B1 (en) 2016-03-23
JP2013214975A (ja) 2013-10-17
EP2648414A1 (en) 2013-10-09

Similar Documents

Publication Publication Date Title
CN103369337B (zh) 3d显示设备及使用该3d显示设备处理图像的方法
KR102704703B1 (ko) 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이
Balram et al. Light‐field imaging and display systems
CN101984670B (zh) 一种立体显示方法、跟踪式立体显示器及图像处理装置
CN101909219B (zh) 一种立体显示方法及跟踪式立体显示器
CN106604018B (zh) 3d显示设备及其控制方法
CN106296781B (zh) 特效图像生成方法及电子设备
US20090219283A1 (en) Non-linear depth rendering of stereoscopic animated images
CN102685523B (zh) 深度信息产生器、深度信息产生方法及深度调整装置
WO2015161541A1 (zh) 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
KR20120049997A (ko) 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들
WO2011036844A1 (ja) 三次元画像処理装置およびその制御方法
CN103945205B (zh) 兼容2d与多视点裸眼3d显示的视频处理装置及方法
CN102404592A (zh) 图像处理设备和方法以及立体图像显示设备
CN108076208B (zh) 一种显示处理方法及装置、终端
CN103167305B (zh) 一种信号处理方法及装置
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
WO2008122838A1 (en) Improved image quality in stereoscopic multiview displays
US10602120B2 (en) Method and apparatus for transmitting image data, and method and apparatus for generating 3D image
US9479766B2 (en) Modifying images for a 3-dimensional display mode
KR101754976B1 (ko) 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치
JP6377155B2 (ja) 多視点映像処理装置及びその映像処理方法
KR101912242B1 (ko) 3d 디스플레이 장치 및 그 영상 처리 방법
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及系统
CN105812765B (zh) 分屏图像显示方法与装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170524

CF01 Termination of patent right due to non-payment of annual fee