CN103096100A - 三维影像处理方法与应用其的三维影像显示装置 - Google Patents

三维影像处理方法与应用其的三维影像显示装置 Download PDF

Info

Publication number
CN103096100A
CN103096100A CN2011103446754A CN201110344675A CN103096100A CN 103096100 A CN103096100 A CN 103096100A CN 2011103446754 A CN2011103446754 A CN 2011103446754A CN 201110344675 A CN201110344675 A CN 201110344675A CN 103096100 A CN103096100 A CN 103096100A
Authority
CN
China
Prior art keywords
asymmetric
depth map
dimensional image
low pass
pass filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103446754A
Other languages
English (en)
Other versions
CN103096100B (zh
Inventor
陈俊维
刘广智
汪淳
姜建德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to CN201110344675.4A priority Critical patent/CN103096100B/zh
Priority to US13/668,742 priority patent/US8855409B2/en
Publication of CN103096100A publication Critical patent/CN103096100A/zh
Application granted granted Critical
Publication of CN103096100B publication Critical patent/CN103096100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种三维影像处理方法与应用其的三维影像显示装置，其中所述三维影像处理方法包括：对一输入深度图进行多个非对称滤波，以得到多个非对称滤波结果；从该些非对称滤波结果中，选择以当成一输出深度图；以及根据该输出深度图，将一2D影像转换成一3D影像。

Description

三维影像处理方法与应用其的三维影像显示装置
技术领域
本发明是有关于一种三维(3D)影像处理方法与应用其的3D影像显示装置。
背景技术
现今，观赏3D影像具有较佳娱乐效果，故而，愈来愈多的显示装置(比如3D电视机等)支持3D影像显示。不过，3D显示装置所接收的影像信号可能只是二维(2D)影像信号，故而，3D显示装置将2D影像转换成3D影像。
在将2D影像转换成3D影像时，亦可称为3D覆盖(wrapping)，必需参考所谓的深度图(depth map)。所谓的「深度」是指，人眼在看此影像中的物体时所感觉到物体的远近程度。量深图是由许多量深位所组成，各深度位代表相对应的2D影像中的一个像素的深度。如此，可从一张已知视角的影像与其相对应深度图来提供立体影像给观赏者。
将2D影像转换成3D影像后，3D影像分成左眼影像信号与右眼影像信号。通过人眼在观赏时，如果左眼所看的左眼影像信号与右眼所看的右眼影像信号有视差时，则人眼会感觉此物体有立体感。反之，如果无视差，则人眼会感觉此物体为平面。
一般来说，如果将物体显示在远方，要将左眼影像信号向左移并将右眼影像信号向右移。相对地，将物体显示在近方，要将左眼影像信号向右移并将右眼影像信号向左移。在查询深度图后，即可得知，左眼影像信号与右眼影像信号要往何方向移动，及其移动量为何。通常，移动量以像素为单位，比如，移动量可以是1/2像素、1/4像素、1/8像素等。
比如，以8位深度图为例，如果深度位为255，代表人眼会觉得此物体距离很近；如果深度位为0，代表人眼会觉得此物体距离很远。
然而，为让人眼感觉到物体的立体感而将左眼影像信号/右眼影像信号移动的话，如此将会导致人眼视觉上感觉到洞(hole)，也就是，有些补洞区域(disocclusion area)会被暴露出来，如果没有适当地填补这些洞，影像的质量会大大地降低。
为减缓此问题，目前已提出一些解决之道，然而，这些解决之道虽可能减少洞的大小，但亦造成前景物体(foreground object，也就是人眼觉得比较近的物体)的边界变得较为模糊/失真/变形/不连续。由于前景物体的边界变化程度较大，导致人眼观看感觉不舒服。
发明内容
本发明是有关于一种3D影像处理方法与3D影像显示装置，对深度图进行非对称低通滤波，以减缓前景物体边界的模糊/失真/变形/不连续。
根据本发明的一实施例，提出一种3D影像处理方法，包括：对一输入深度图进行多个非对称滤波，以得到多个非对称滤波结果；从该多个非对称滤波结果中，选择以当成一输出深度图；以及根据该输出深度图，将一2D影像转换成一3D影像。
根据本发明的另一实施例，提出一种3D影像显示装置，包括：一深度图处理单元，对一输入深度图进行多个非对称滤波，以得到多个非对称滤波结果，并从该多个非对称滤波结果中，选择以当成一输出深度图；以及一覆盖单元，耦接至该深度图处理单元，根据该输出深度图，将一2D影像转换成一3D影像。
为了对本发明的上述及其它方面有更佳的了解，下文特举实施例，并配合所附图式，作详细说明如下。
附图说明
图1显示根据本发明实施例的3D影像显示装置的功能方块图。
图2显示对深度图进行非对称低通滤波与对称低通滤波的结果。
图3显示根据本发明实施例的3D影像处理方法的流程图。
[主要元件标号说明]
Figure BDA0000105456210000021
具体实施方式
于本发明实施例中，对深度图进行非对称低通滤波，根据低通滤波后的深度图，将2D影像转为3D影像，以减缓前景物体边界的模糊/失真/变形/不连续。
现请参考图1，其显示根据本发明实施例的3D影像显示装置100的功能方块图。如图1所示，3D影像显示装置100至少包括：深度图处理单元110与覆盖单元120。深度图处理单元110则至少包括非对称低通滤波器(ALPF，asymmetric low pass filter)111与112，以及选择单元113。
深度图处理单元110将输入深度图DM处理成输出深度图DM’。深度图处理单元110的细节将于后述。
覆盖单元120则根据由深度图处理单元110所传来的输出深度图DM’，对2D输入影像2D_IN进行3D覆盖，以产生左眼影像LEI与右眼影像REI。人眼将左眼影像LEI与右眼影像REI合成时，即可感觉到3D影像。在本发明实施例中，覆盖单元120的功能与操作可不特别限定之。
现请参考图2，其显示对深度图进行非对称低通滤波与对称低通滤波的结果。如图2所示，于本发明实施例中，将输入深度图DM输入至非对称低通滤波器111与112，其可得到两个非对称低通滤波结果。接着，将此两个非对称低通滤波结果输入至选择单元113。
在本发明实施例中，选择单元113比如从两个输入值中择较大者并输出深度图DM’。比如，假设深度图DM包括9笔深度位D1～D9。这9笔深度位经过非对称低通滤波器111与112后，分别得到深度位D1’～D9’与D1”～D9”。选择单元113比较深度位D1’与D1”，择其大者输出；对于其它深度位D2’～D9’与D2”～D9”，选择单元113亦进行相同操作。藉此，选择单元113输出深度图DM’。
为显示本发明实施例的特色，图2另外显示将输入深度图DM输入至对称低通滤波器(SLPF，symmetric low pass filter)，得到对称低通滤波结果DM”。
另外，非对称低通滤波器111与112是彼此水平镜射(horizontallymirrored)。如图2所示，以中心点C为例，对称低通滤波器本身对称于中心点C。非对称低通滤波器111与112本身并不对称于中心点C。但非对称低通滤波器111的右半部与非对称低通滤波器112的左半部则彼此对称于中心点C；非对称低通滤波器111的左半部与非对称低通滤波器112的右半部则彼此对称于中心点C。
现请再次参考图2，来说明本发明实施例如何减缓前景物体边界的模糊/失真/变形/不连续。如图2的深度差20所示，此输入深度图DM所对应的前景(FG，foreground)物体与背景(BG，background)物体间的深度相差甚大。观看者所看到的前景物体与背景物体间的视差甚大，前景物体边界的模糊/失真/变形/不连续程度甚大，令观看者明显察觉到。
如图2的深度差22所示，对于经过对称低通滤波器所得到的对称低通滤波结果DM”，其深度图DM”所对应的前景物体的深度被改变，如此造成前景物体变形，甚至人眼无法对前景物体聚焦。
但经由本发明实施例中的将深度图经过两个非对称低通滤波器与选择单元后，如图2的深度差21所示，其深度图DM’所对应的前景物体的深度不变，也就是说，前景物体没有变形。背景物体的深度改变大，使得背景物体变形比较严重。不过，人眼对于背景物体的变形所导致的不适感较不敏感。也就是说，人眼观察变形背景物体所引起的不适感低于人眼观察变形前景物体所引起的不适感。故本发明实施例可提高人眼观察立体影像的舒适感。
此外，在本发明实施例中，进行非对称滤波并不会改变前景物体与背景物体之间的深度差。详细地说，进行滤波，将由背景物体到前景物体间的深度改变趋势变缓。进行对称滤波的结果是，前景物体与背景物体的深度都被改变；但进行非对称滤波的结果是，背景物体的深度虽被改变但前景物体的深度则维持不变。
现请参考图3，其显示根据本发明实施例的3D影像处理方法的流程图。如图3所示，于步骤310中，对输入深度图分别进行多个非对称低通滤波。其细节可如上述般，由非对称低通滤波器111与112所进行，故于此不重述。
于步骤320中，从这些非对称低通滤波结果，择其大者以当成输出深度图。其细节可如上述般，由选择单元113所进行，故于此不重述。
于步骤330中，根据输出深度图，将2D影像转换成3D影像。其细节可如上述般，由覆盖单元120所进行，故于此不重述。
另外，虽然上例说明中，以2个非对称低通滤波器为例做说明，但当知本发明并不受限于此，比如，可应用更多个非对称低通滤波器，此皆在本发明精神范围内。
由上述说明可知，于本发明实施例中，对深度图进行非对称低通滤波，使得背景物体到前景物体间的深度改变趋势变缓，以减缓前景物体边界的模糊/失真/变形/不连续程度，提高人眼观察的舒适感。
综上所述，虽然本发明已以实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (10)

1.一种三维影像处理方法，包括：
对一输入深度图进行多个非对称滤波，以得到多个非对称滤波结果；
从该多个非对称滤波结果中，选择以当成一输出深度图；以及
根据该输出深度图，将一二维影像转换成一三维影像。
2.根据权利要求1所述的三维影像处理方法，其中，将该输入深度图输入至多个非对称低通滤波器，以得到该多个非对称滤波结果。
3.根据权利要求2所述的三维影像处理方法，其中，该多个非对称低通滤波器彼此水平镜射。
4.根据权利要求3所述的三维影像处理方法，其中，对于一中心点，该多个非对称低通滤波器本身并不对称于该中心点；
该多个非对称低通滤波器之一的一右半部与该多个非对称低通滤波器的另一的一左半部彼此对称于该中心点；以及
该多个非对称低通滤波器之该一的一左半部与该多个非对称低通滤波器的该另一的一右半部彼此对称于该中心点。
5.根据权利要求1所述的三维影像处理方法，其中，从该多个非对称滤波结果中，选择其大者以当成该输出深度图。
6.一种三维影像显示装置，包括：
一深度图处理单元，对一输入深度图进行多个非对称滤波，以得到多个非对称滤波结果，并从该多个非对称滤波结果中，选择以当成一输出深度图；以及
一覆盖单元，耦接至该深度图处理单元，根据该输出深度图，将一二维影像转换成一三维影像。
7.根据权利要求6所述的三维影像显示装置，其中，该深度图处理单元包括多个非对称低通滤波器，该输入深度图输入至该多个非对称低通滤波器，以得到该多个非对称滤波结果。
8.根据权利要求7所述的三维影像显示装置，其中，该多个非对称低通滤波器彼此水平镜射。
9.根据权利要求8所述的三维影像显示装置，其中，对于一中心点，该多个非对称低通滤波器本身并不对称于该中心点；
该多个非对称低通滤波器之一的一右半部与该多个非对称低通滤波器的另一的一左半部彼此对称于该中心点；以及
该多个非对称低通滤波器之该一的一左半部与该多个非对称低通滤波器的该另一的一右半部彼此对称于该中心点。
10.根据权利要求6所述的三维影像显示装置，其中，该深度图处理单元还包括一选择单元，从该多个非对称滤波结果中，选择其大者以当成该输出深度图。
CN201110344675.4A 2011-11-04 2011-11-04 三维影像处理方法与应用其的三维影像显示装置 Active CN103096100B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110344675.4A CN103096100B (zh) 2011-11-04 2011-11-04 三维影像处理方法与应用其的三维影像显示装置
US13/668,742 US8855409B2 (en) 2011-11-04 2012-11-05 Three-dimension image processing method and a three-dimension image display apparatus applying the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110344675.4A CN103096100B (zh) 2011-11-04 2011-11-04 三维影像处理方法与应用其的三维影像显示装置

Publications (2)

Publication Number Publication Date
CN103096100A true CN103096100A (zh) 2013-05-08
CN103096100B CN103096100B (zh) 2015-09-09

Family

ID=48208157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110344675.4A Active CN103096100B (zh) 2011-11-04 2011-11-04 三维影像处理方法与应用其的三维影像显示装置

Country Status (2)

Country Link
US (1) US8855409B2 (zh)
CN (1) CN103096100B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9681154B2 (en) * 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US10104292B2 (en) * 2016-08-04 2018-10-16 Microsoft Technology Licensing, Llc Multishot tilt optical image stabilization for shallow depth of field

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316284A1 (en) * 2009-06-10 2010-12-16 Samsung Electronics Co., Ltd. Three-dimensional image generation apparatus and method using region extension of object in depth map
CN101969564A (zh) * 2010-10-29 2011-02-09 清华大学 一种用于三维立体电视的深度视频压缩的上采样方法
KR20110045650A (ko) * 2009-10-27 2011-05-04 삼성전자주식회사 깊이 영상 확대 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316284A1 (en) * 2009-06-10 2010-12-16 Samsung Electronics Co., Ltd. Three-dimensional image generation apparatus and method using region extension of object in depth map
KR20110045650A (ko) * 2009-10-27 2011-05-04 삼성전자주식회사 깊이 영상 확대 장치 및 방법
CN101969564A (zh) * 2010-10-29 2011-02-09 清华大学 一种用于三维立体电视的深度视频压缩的上采样方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIANG ZHANG AND WA JAMES TAM: ""Stereoscopic Image Generation Based on Depth Images for 3DTV"", 《IEEE TRANSACTIONS ON BROADCASTING》, vol. 51, no. 2, 30 June 2005 (2005-06-30) *
许小艳 等: "基于深度图像绘制的视图合成", 《系统仿真学报》, vol. 23, no. 10, 31 October 2011 (2011-10-31) *
赵乘麟: "一种新的保边缘滤波算法", 《电子与信息学报》, vol. 25, no. 11, 30 November 2003 (2003-11-30) *

Also Published As

Publication number Publication date
US8855409B2 (en) 2014-10-07
US20130114884A1 (en) 2013-05-09
CN103096100B (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
CN103270759B (zh) 用于基于反馈的三维视频的零视差平面
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
CN102685523B (zh) 深度信息产生器、深度信息产生方法及深度调整装置
US20140146139A1 (en) Depth or disparity map upscaling
TW201223247A (en) 2D to 3D user interface content data conversion
KR20120016408A (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기
CN104737535A (zh) 对3d图像中的图像叠加的深度调整
CN102685369A (zh) 消除左右眼图像重影的方法、重影消除器及3d播放器
US20120086777A1 (en) Systems and methods for detecting and displaying three-dimensional videos
US10317689B2 (en) 3D display device and driving method thereof
CN102970561A (zh) 视频处理装置以及视频处理方法
CN106797462A (zh) 多视图图像显示设备及其控制方法
CN102547314A (zh) 二维数字图像实时立体化转换的方法及装置
JP2014072801A (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
CN106817511A (zh) 一种用于跟踪式自由立体显示器的图像补偿方法
CN103096100B (zh) 三维影像处理方法与应用其的三维影像显示装置
CN103002295A (zh) 多视点裸眼三维显示设备的二维图像显示方法及系统
CN103841403A (zh) 一种无形变立体图像视差快速调节方法
CN103813148A (zh) 三维立体显示装置及其方法
CN102780900B (zh) 一种多人多视角立体显示器影像显示方法
CN102073162B (zh) 立体显示设备及其显示方法
CN105578171B (zh) 一种图像信号处理方法及装置
CN102447929B (zh) 一种显示控制芯片及立体显示设备
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及系统
KR100753512B1 (ko) 입체 영상 디스플레이 기능을 갖는 모바일 기기 및 이를이용한 입체 영상 디스플레이 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant