CN102883171A - 3d图像处理设备以及3d图像处理设备的实现方法 - Google Patents

3d图像处理设备以及3d图像处理设备的实现方法 Download PDF

Info

Publication number
CN102883171A
CN102883171A CN2012102367497A CN201210236749A CN102883171A CN 102883171 A CN102883171 A CN 102883171A CN 2012102367497 A CN2012102367497 A CN 2012102367497A CN 201210236749 A CN201210236749 A CN 201210236749A CN 102883171 A CN102883171 A CN 102883171A
Authority
CN
China
Prior art keywords
error
frame
stereo
frames
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012102367497A
Other languages
English (en)
Inventor
权五允
金裁彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102883171A publication Critical patent/CN102883171A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供一种3D图像处理设备以及3D图像处理设备的实现方法。所述3D图像处理设备包括:图像处理器,从包括多个帧的输入图像产生立体图像处理信息,并基于产生的立体图像处理信息执行渲染操作以将输入图像处理为立体图像;控制器,针对所述多个帧中具有立体图像处理信息的一部分帧执行误差识别操作;显示单元,根据由控制器执行的误差识别操作的结果,显示由图像处理器处理的立体图像以及关于所述多个帧中的所述一部分帧的误差信息。

Description

3D图像处理设备以及3D图像处理设备的实现方法
本申请要求于2011年7月13日在韩国知识产权局提交的第10-2011-0069294号韩国专利申请的优先权,该申请的公开通过引用合并于此。
技术领域
与示例性实施例一致的设备和方法涉及一种三维(3D)图像处理设备、3D图像处理设备的实现方法及其计算机可读存储介质,更具体地说,涉及一种将2D输入图像处理为3D图像的3D图像处理设备、3D图像处理设备的实现方法及其计算机可读存储介质。
背景技术
现有的将具有多个帧的二维(2D)图像处理为3D图像的图像处理设备无法在将所述多个帧处理为3D图像时识别出处理误差的存在。因此,仅在所述多个帧被处理为3D图像之后才会发生误差识别。在所述多个帧被处理为3D图像之前不检测误差会引起不便。
因此,存在对于在2D图像被处理为3D图像时识别与所述多个帧中的一部分帧相应的处理误差的需求。
发明内容
一个或多个示例性实施例提供了一种3D图像处理设备、3D图像处理设备的实现方法及其计算机可读存储介质,所述3D图像处理设备、3D图像处理设备的实现方法及其计算机可读存储介质针对与2D图像的多个帧中的一部分帧相应地产生的3D图像执行误差识别操作,并在具有所述多个帧的2D被处理为3D图像时校正误差。
根据示例性实施例的一方面,提供了一种三维(3D)图像处理设备,包括:图像处理器,从包括多个帧的输入图像产生立体图像处理信息,并基于产生的立体图像处理信息执行渲染操作以将输入图像处理为立体图像;控制器,针对所述多个帧中具有立体图像处理信息的一部分帧执行误差识别操作;显示单元,根据由控制器执行的误差识别操作的结果,显示由图像处理器处理的立体图像以及所述多个帧中的所述一部分帧的误差信息。
图像处理器可在所述多个帧中选择关键帧,提取包括在选择的关键帧中的对象,将深度信息分配给提取的对象,并追踪所述多个帧中的非关键帧以产生立体图像处理信息。
控制器可基于所述多个帧中执行了误差识别操作的所述一部分帧的运动矢量,确定在提取对象的步骤中的误差。
控制器可基于所述多个帧中执行了误差识别操作的所述一部分帧的深度图,确定在分配深度信息的步骤中的误差。
控制器可基于在针对非关键帧提取对象或分配深度信息的步骤中的误差产生频率,确定在选择与非关键帧相应的关键帧的步骤中的误差。
控制器可通过使用加粗、高亮以及以不同的颜色显示运动矢量中的至少一个,将所述多个帧中的所述一部分帧上具有误差的预定区域显示为误差信息。
所述3D图像处理设备还可包括:用户界面(UI)产生器,产生用于校正误差的UI,控制器可控制UI产生器产生UI,并将产生的UI显示在所述多个帧中发现误差的所述一分部帧上。
所述3D图像处理设备还可包括用户输入单元,控制器可控制图像处理器基于通过UI输入的选择来修改立体图像处理信息,并基于修改的立体图像处理信息针对输入图像执行渲染操作。
所述3D图像处理设备还可包括用户界面(UI)产生器,产生用于显示误差产生级别的UI,控制器可确定所述多个帧的误差产生级别,并控制UI产生器产生并显示所述UI以显示确定的误差产生级别。
控制器可基于包括在所述多个帧中的对象的复杂度或所述对象的动作的量来确定误差产生级别。
所述3D图像处理设备还可包括用户输入单元,控制器可针对所述多个帧中具有立体图像处理信息的所述一部分帧来执行误差识别操作,直到通过用户输入单元选择的误差识别模式的输入定时为止。
根据另一示例性实施例的一方面,提供了一种三维(3D)图像处理设备的实现方法,包括:产生包括多个帧的输入图像的立体图像处理信息,并基于产生的立体图像处理信息执行渲染操作以将输入图像处理为立体图像;针对所述多个帧中具有立体图像处理信息的一部分帧执行误差识别操作;根据误差识别操作的结果显示立体图像以及误差信息。
产生立体图像处理信息的步骤可包括:在所述多个帧中选择关键帧;提取包括在选择的关键帧中的对象;将深度信息分配给提取的对象;针对所述多个帧中的非关键帧执行追踪操作。
执行误差识别操作的步骤可包括:基于所述多个帧中执行了误差识别操作的所述一部分帧的运动矢量,确定在提取对象的步骤中的误差。
执行误差识别操作的步骤可包括:基于所述多个帧中执行了误差识别操作的所述一部分帧的深度图,确定在分配深度信息的步骤中的误差;
执行误差识别操作的步骤可包括:基于在针对非关键帧提取对象或分配深度信息的步骤中的误差产生频率,确定在选择与非关键帧相应的关键帧的步骤中的误差。
显示误差信息的步骤可包括:通过使用加粗、高亮以及以不同的颜色显示运动矢量中的至少一个,将所述多个帧中的所述一部分帧上具有误差的预定区域显示为误差信息。
所述实现方法还可包括:产生用户界面(UI)并在所述多个帧中具有误差的所述一部分帧上显示用户界面(UI)。
所述实现方法还可包括:基于通过UI输入的选择来修改立体图像处理信息;基于修改的立体图像处理信息渲染输入图像。
所述实现方法还可包括:确定所述多个帧的误差产生级别;产生并显示用于显示确定的误差产生级别的UI。
确定的步骤可包括:基于包括在所述多个帧中的对象的复杂度或所述对象的动作的量来确定误差产生级别。
执行误差识别操作的步骤可包括:针对所述多个帧中具有立体图像处理信息的所述一部分帧来执行误差识别操作,直到误差识别模式的输入定时为止。
一种记录程序的非暂时性计算机可读介质,其中,当所述程序被执行时,所述程序执行所述3D图像处理设备的方法。
根据另一示例性实施例的一方面,提供了一种3D图像处理设备,包括:接收器,接收包括多个帧的输入图像;用户输入单元,接收用户输入;用户界面(UI)产生器,产生UI;图像处理器,从接收器接收输入图像并从包括所述多个帧的输入图像产生立体图像处理信息,基于产生的立体图像处理信息执行渲染操作以将输入图像处理为立体图像;控制器,从用户输入单元接收用户输入,并针对所述多个帧中具有立体图像处理信息的一部分帧执行误差识别操作;显示单元,根据由控制器执行的误差识别操作,显示由图像处理器处理的立体图像以及所述多个帧中的所述一部分帧的误差信息。
附图说明
从以下结合附图对示例性实施例的描述中,以上和/或其它方面将变得清楚,并更易于理解,其中:
图1是根据示例性实施例的3D图像处理设备的控制框图;
图2示出根据示例性实施例的3D图像处理设备的控制器的操作;
图3示出根据示例性实施例的3D图像处理设备的控制器的另一操作;
图4示出根据示例性实施例的3D图像处理设备的控制器的另一操作;
图5和图6是3D图像处理设备的实现方法的流程图。
具体实施方式
以下,将参照附图详细描述示例性实施例以使本领域的普通技术人员容易实现示例性实施例。可以以各种形式来实现示例性实施例,而不限于这里阐述的示例性实施例。为了清楚,省略对公知部分的描述,相同的标号始终表示相同的元件。
图1是根据示例性实施例的3D图像处理设备的控制框图。
3D图像处理设备100可将作为由外部源装置(未示出)或存储介质(未示出)提供的单眼图像(即,左眼和右眼看上去相同的图像)的输入图像处理为双眼图像(即,左眼和右眼看到不同的图像)。单眼图像可包括2D图像,从而所述术语可一起使用。双眼图像包括3D图像(或立体图像),从而所述术语可一起使用。3D图像处理设备100针对输入图像产生立体图像处理信息,并基于产生的立体图像处理信息执行渲染操作以将输入图像处理为3D图像。
如果3D图像处理设备100在将包括多个帧的输入图像处理为3D图像的处理期间接收到用于选择误差识别模式的用户输入,则3D图像处理设备100可针对所述多个帧中具有立体图像处理信息的一部分帧执行误差识别操作。如果根据误差识别结果识别出误差,则3D图像处理设备100可将误差信息显示在具有该误差的帧上。用户可修改产生的立体图像处理信息来校正所述误差,并基于修改的立体图像处理信息对输入图像执行渲染操作。因此,当输入图像被处理为立体图像时,输入图像校正了所述误差。
如图1中所示,3D图像处理设备100包括接收器110、图像处理器120、显示单元130、用户输入单元140、用户界面(UI)产生器150和控制器160。控制器160控制接收器110、图像处理器120、显示单元130和UI产生器150。
3D图像处理设备100可包括将输入图像(即,单眼图像)处理为双眼图像的任何类型的电子装置。另外,3D图像处理设备100还可包括:包括用于将单眼图像处理为双眼图像的程序的任何电子装置。所述电子装置可包括显示设备,例如,个人计算机(PC)。
3D图像处理设备100可通过接收器110从外部源装置(未示出)接收包括多个帧的输入图像。3D图像处理设备100可在预定的有线/无线网络中与外部源装置执行数据通信。3D图像处理设备100可从外部存储介质(未示出)(即,通用串行总线(USB)、光盘(CD)或蓝光盘(BC))接收包括多个帧的输入图像。
由3D图像处理设备100从输入图像处理的立体图像可包括借助于快门眼镜的立体图像或借助于偏振眼镜的立体图像。快门眼镜通过使用快门眼镜实现3D图像,其中,显示设备分开显示左图像和右图像。左图像由左侧眼镜提供,右侧图像由右侧眼镜提供,提供了3D效果。偏振眼镜通过使用偏振眼镜实现3D图像,其中,显示设备100包括偏振滤波器。如果用户以与偏振滤波器相同的偏振方法通过偏振眼镜来观看图像,则对用户的左眼提供左图像,对用户的右眼提供右图像,提供了3D效果。3D图像处理设备100的图像处理器120针对输入图像产生立体图像处理信息,基于产生的立体图像处理信息执行渲染操作,并将图像的格式处理为快门眼镜或偏振眼镜以产生立体图像。
图像处理器120针对包括多个帧的输入图像产生立体图像处理信息,基于产生的立体图像处理信息执行渲染操作,并将输入图像处理为立体图像。
立体图像处理信息包括关键帧信息、对象提取信息和深度信息中的至少一个。关键帧信息包括多个帧之中的场景改变帧、主要对象第一次出现的帧和对象示出大动作的帧。对象提取信息包括:被分配深度值从而为包括在处理过的帧中的至少一个对象表现3D效果的对象的选择信息。深度信息包括用于表现3D效果的深度值。因此,图像处理器120在多个帧中选择关键帧,提取包括在选择的关键帧中的对象,将深度信息分配给提取的对象,并追踪所述多个帧中的非关键帧从而产生立体图像处理信息。非关键帧包括除了关键帧以外的帧。例如,如果场景改变帧被选为关键帧,则非关键帧将是紧接在该关键帧之后的帧到紧接在下一场景改变帧之前的帧。与关键帧类似,非关键帧可包括背景和对象信息。根据追踪处理,关键帧的对象提取信息和深度信息分配信息可被用于提取对象并将深度信息分配给非关键帧。
图像处理器120可包括用作图像处理器的预定图像处理程序。如果图像处理器120包括预定图像处理程序,则图像处理程序被存储在存储单元(未示出)中,通过控制器160的控制,存储在存储单元中的图像处理程序可被加载到随机存取存储器(RAM)(未示出)用于执行。
显示单元130可显示由图像处理器120处理的立体图像(即,3D图像)。显示单元130可根据控制器160的误差识别结果将误差信息显示在帧上。显示单元130在其上显示由UI产生器150产生的UI。显示单元130可包括各种显示单元类型,包括液晶、等离子、发光二极管、有机发光二极管、表面传导电子发射器、碳纳米管和纳米晶。
用户输入单元140是接收用于选择3D图像处理设备100的功能或操作的用户输入的用户接口。因此,3D图像处理设备100可通过用户输入单元140接收用于选择误差识别模式的输入或用于选择显示在显示单元130上的UI的输入。用户输入单元140可包括设置在3D图像处理设备100上的至少一个键按钮、操纵面板或触摸面板。用户输入单元140还可包括以有线/无线方式连接到3D图像处理设备100的指向装置(即,遥控器、键盘或鼠标)。
UI产生器150通过控制器160的控制产生用于校正误差的第一UI。UI产生器150通过控制器160的控制产生用于显示误差产生级别的第二UI。由UI产生器150产生的所有UI可以是图形用户界面(GUI)的形式,并且可被显示在显示单元130上。
控制器160可针对形成输入图像并具有立体图像处理信息的多个帧中的一部分帧来执行误差识别操作,并控制显示单元130根据误差识别结果将误差信息显示在所述帧上。如果用户通过用户输入单元140选择误差识别模式,则控制器160可针对所述多个帧中具有立体图像处理信息的一部分帧来执行误差识别操作,直到误差识别模式的输入定时为止。控制器160控制图像处理器120针对所述多个帧中具有立体图像处理信息的所述一部分帧执行用于误差识别的渲染操作,直到所述输入定时为止,并针对经过渲染的立体图像执行误差识别操作。将参照图2至图4更详细地描述控制器160的操作。
图2示出根据示例性实施例的3D图像处理设备100的控制器160的操作。
图像处理器120在形成输入图像的多个帧中选择关键帧,从选择的关键帧中提取对象,将深度信息分配给提取的对象,并追踪所述多个帧中的非关键帧以产生输入图像的立体图像处理信息。
如果通过用户输入单元140选择了误差识别模式,则控制器160针对图像处理器120的操作结果执行误差识别操作。
根据误差识别操作的示例性实施例,控制器160可基于执行了误差识别操作的帧的运动矢量来确定在提取对象的过程中的误差。
图2示出多个帧中的特定帧的原始图像(A)。图2还示出基于具有与原始图像(A)相应的立体图像处理信息的帧的块进行运动矢量估计的结果(B)。换句话说,控制器160基于执行了误差识别操作的帧的块来估计运动矢量。因此,控制器160确定在提取对象的过程中的误差。根据图2中的结果(B),如果控制器160确定特定区域(第一区域161)的运动矢量具有与其它区域的运动矢量的方向不同的方向,则控制器160确定在提取第一区域161的对象的过程中已产生误差。在这种情况下,为了用户辨认,控制器160可加粗、高亮地显示在帧中已产生误差的第一区域161的运动矢量,或以不同的颜色显示所述运动矢量。
根据误差识别操作的另一示例性实施例,控制160可基于执行了误差识别操作的帧的深度图,确定在分配深度信息的过程中的误差。
图2示出具有与原始图像(A)相应的立体图像处理信息的帧的深度图(C)。深度图(C)表示应用到帧的深度值,并根据深度值用黑色和白色显示深度图(C)。用白色显示负(-)深度值,用黑色显示正(+)深度值。因此,由颜色的深度来表现深度值的大小。
当与原始图像(A)比较时,尽管图2中的深度图(C)中的第二区域163应该被分配有负(-)深度值,但第二区域163被分配有正(+)深度值。尽管第三区域165应被分配有正(+)深度值,但第三区域165被分配有负(-)深度值。这样,控制器160可基于深度图,确定在分配深度信息的过程中的误差,并指明将被用户识别的具有误差的区域(即,使用颜色或高亮指定区域或指明指定的区域)。
根据误差识别操作的另一示例性实施例,控制器160可基于在针对多个帧中的非关键帧提取对象或分配深度信息的过程中的误差产生频率,确定在选择与非关键帧相应的关键帧的过程中的误差。如上所述,图像处理器120追踪至少一个非关键帧,提取对象并分配深度信息。因此,如果在提取对象或分配深度信息的过程中已产生误差的帧是非关键帧,并且具有误差的非关键帧的数量至少为预定数量,则控制器160可确定在选择与非关键帧相应的关键帧的过程中已产生误差。在这种情况下,控制器160可在至少一个非关键帧中指示在选择关键帧的过程中已产生误差。在选择关键帧的过程中的误差可被用户识别。
图3示出根据示例性实施例的3D图像处理设备100的控制器160的另一操作。
如果根据误差识别结果识别出已产生误差,则控制器160控制UI产生器150产生并显示用于校正误差的第一UI。如果针对显示误差的帧通过用户输入单元140选择了误差校正模式,则控制器160控制UI产生器150产生并显示第一UI。第一UI包括以下子UI中的至少一个:用于校正在提取对象的过程中的误差的第一子UI、用于重新分配深度信息的第二子UI和用于重新选择关键帧的第三子UI。控制器160控制UI产生器150产生第一UI,并将产生的第一UI显示在多个帧中发现误差的一分部帧上。
控制器160产生并显示用于校正帧上的误差的第一UI。所述帧上的误差可包括区域161、163和165。
在图3中的(A)的情况下,通过控制器160的控制,产生第一子UI。在图2中的(B)的情况下,控制器160可控制UI产生器150产生并显示用于针对第一区域161校正在提取对象的过程中的误差的第一子UI 151。第一区域161被识别为具有在提取对象的过程中的误差。第一子UI 151是使用户能够通过用户输入单元140(即,指向装置)修改用于提取对象的边界线152的界面。因此,用户可通过第一子UI 151适当地修改边界线152以提取对象。
在图3中的(B)的情况下,通过控制器160的控制,产生第二子UI。在图2的深度图(C)中,控制器160可控制UI产生器150产生并显示用于针对第二区域163和第三区域165重新分配深度信息的第二子UI,其中,第二区域163和第三区域165被识别为具有在分配深度信息的过程中的误差。例如,如果用户通过用户输入单元140选择第三区域165,则第二子UI 153被产生并被显示。第二子UI 153被设置为用于调整深度值的滑动条,从而用户可将深度值调整到期望的值。根据本示例性实施例,第二子UI 153被设置为滑动条,但其可以以用于用户输入特定数字的UI的形式被设置。第二子UI 153还可包括用于接收用户的选择的任何类型的UI。
如果用户的选择通过第一UI被输入,则控制器160可控制图像处理器120基于用户的选择修改立体图像处理信息,并基于修改的立体图像处理信息渲染输入图像。实施例使用户能够审查在将输入图像处理为立体图像的过程中在误差识别模式下产生立体图像处理信息的可行性,在修改模式下修改立体图像处理信息,并提供反映修改的立体图像。
图4示出根据示例性实施例的3D图像处理设备100的控制器160的另一操作。
控制器160可确定多个帧的误差产生级别,并控制UI产生器150产生并显示用于显示确定的级别的第二UI。这使用户能够识别所述多个帧产生误差的可能性。此外,这允许用户仅针对被确定为具有高误差可能性的帧来执行误差识别操作。
控制器160可基于包括在所述多个帧中的对象的复杂度或对象的动作的量来确定误差产生级别。如果对象复杂或者具有大量动作,则在提取对象的过程中产生误差的可能性高。如果在提取对象的过程中很可能产生误差,则在将深度值分配给提取的对象的过程中产生误差的可能性也会高。因此,在从用户输入单元140接收特定键输入时,控制器160确定所述多个帧的误差产生级别,并控制UI产生器150产生并显示用于显示确定结果的第二UI。
图4示出第二UI的实现方式。预定条167表示所述多个帧的区域,并显示形成所述多个帧的第一帧到第N帧。提供箭头168以在条167上自由地前后移动,并且箭头168的移动可导航所述多个帧。如果通过箭头168的移动选择了一个帧,则显示该帧中的缩略图168a。曲线图169示出通过控制器160进行的误差产生级别的确定结果。用户可识别哪个帧很可能具有误差。
控制器160可针对被识别为至少具有预定级别的误差产生的至少一个帧来执行误差识别操作。
图5和图6是3D图像处理设备的实现方法的流程图。
如图5中所示,所述实现方法包括以下步骤:将包括多个帧的输入图像处理为立体图像的步骤(S201)、接收用于选择误差识别模式的输入的步骤(S202)、针对所述多个帧中具有立体图像处理信息的一部分帧来执行误差识别操作的步骤(203)、根据误差识别结果显示误差信息的步骤(S204)。
图6是详细的实现方法的流程图。如图6中所示,图像处理器120在输入图像的多个帧中选择关键帧(S301),提取关键帧的对象(S302)、将深度信息分配给提取的对象(S303)、追踪其余的帧(非关键帧)(S304)、在接收到用于选择误差识别模式的输入时,针对所述多个帧中具有立体图像处理信息的一部分帧执行误差识别操作,直到输入定时为止(S305)。根据误差识别结果,如果没有识别出误差,则图像处理器120基于产生的立体图像处理信息执行渲染操作以完成输入图像到立体图像的处理(S307)。如果识别出误差,则误差信息被显示在帧上(S308)。如果接收到误差校正模式的输入,则控制器160控制UI产生器150产生并显示用于校正误差的UI(S309),并通过所述UI修改立体图像处理信息(S310)。图像处理器120基于修改的立体图像处理信息执行渲染操作以完成输入图像到立体图像的处理(S311)。
可以以程序命令中来实现3D图像处理设备的实现方法,其中,所述程序命令将通过各种计算机装置被执行并被纪录在计算机可读存储介质中。计算机可读存储介质可包括程序命令、数据文件、数据配置等。记录在存储介质中的程序命令可针对示例性实施例而被专门地设计和配置,或者对于计算机软件领域的技术人员可能是公知的。例如,计算机可读记录介质可包括硬盘、软盘、磁介质(诸如磁带)、光介质(诸如CD-ROM或DVD)、磁光介质(诸如软式光盘)或被配置为存储并执行程序命令的硬件装置(即,只读存储器(ROM)、RAM)。程序命令可包括由编译器完成的机器语言以及将由计算机通过注释器执行的高级语言代码。硬件装置可被配置为用作至少一个软件模块以执行操作。
如上所述,根据示例性实施例的3D图像处理设备、3D图像处理设备的实现方法及其计算机可读存储介质针对与2D图像的多个帧中的一部分帧相应地产生的3D图像执行误差识别操作,并在2D图像被处理为3D图像时校正误差。
虽然已示出并描述了一些示例性实施例,但是本领域的技术人员将理解,在不脱离示例性实施例的原理和精神的情况下,可对这些示例性实施例进行改变,示例性实施例的范围被限定在权利要求及其等同物中。

Claims (15)

1.一种三维(3D)图像处理设备,包括:
图像处理器,从包括多个帧的输入图像产生立体图像处理信息,基于产生的立体图像处理信息执行渲染操作以将输入图像处理为立体图像;
控制器,针对所述多个帧中具有立体图像处理信息的一部分帧执行误差识别操作;
显示单元,根据由控制器执行的误差识别操作的结果,显示由图像处理器处理的立体图像以及所述多个帧中的所述一部分帧的误差信息。
2.根据权利要求1所述的3D图像处理设备,其中,图像处理器在所述多个帧中选择关键帧,提取包括在选择的关键帧中的对象,将深度信息分配给提取的对象,并追踪所述多个帧中的非关键帧以产生立体图像处理信息。
3.根据权利要求2所述的3D图像处理设备,其中,控制器基于所述多个帧中执行了误差识别操作的所述一部分帧的运动矢量,确定在提取对象的步骤中的误差。
4.根据权利要求2所述的3D图像处理设备,其中,控制器基于所述多个帧中执行了误差识别操作的所述一部分帧的深度图,确定在分配深度信息的步骤中的误差。
5.根据权利要求2所述的3D图像处理设备,其中,控制器基于在针对非关键帧提取对象或分配深度信息的步骤中的误差产生频率,确定在选择与非关键帧相应的关键帧的步骤中的误差。
6.根据权利要求1所述的3D图像处理设备,其中,控制器通过使用加粗、高亮以及以不同的颜色来显示运动矢量中的至少一个,将所述多个帧中的所述一部分帧上具有误差的预定区域显示为误差信息。
7.根据权利要求1所述的3D图像处理设备,还包括:用户界面(UI)产生器,产生用于校正误差的UI,其中,
控制器控制UI产生器产生UI,并将产生的UI显示在所述多个帧中发现误差的所述一分部帧上。
8.根据权利要求7所述的3D图像处理设备,还包括用户输入单元,其中,
控制器控制图像处理器基于通过UI输入的选择来修改立体图像处理信息,并基于修改的立体图像处理信息针对输入图像执行渲染操作。
9.根据权利要求1所述的3D图像处理设备,还包括用户界面(UI)产生器,产生用于显示误差产生级别的UI,其中,
控制器确定所述多个帧的误差产生级别,并控制UI产生器产生并显示所述UI以显示确定的误差产生级别。
10.根据权利要求9所述的3D图像处理设备,其中,控制器基于包括在所述多个帧中的对象的复杂度或所述对象的动作的量来确定误差产生级别。
11.根据权利要求1所述的3D图像处理设备,其中,还包括用户输入单元,其中,
控制器针对所述多个帧中具有立体图像处理信息的所述一部分帧来执行误差识别操作,直到通过用户输入单元选择的误差识别模式的输入定时为止。
12.一种三维(3D)图像处理设备的实现方法,包括:
产生包括多个帧的输入图像的立体图像处理信息,并基于产生的立体图像处理信息执行渲染操作以将输入图像处理为立体图像;
针对所述多个帧中具有立体图像处理信息的一部分帧执行误差识别操作;
根据误差识别操作的结果显示立体图像以及误差信息。
13.根据权利要求12所述的实现方法,其中,产生立体图像处理信息的步骤包括:在所述多个帧中选择关键帧;
提取包括在选择的关键帧中的对象;
将深度信息分配给提取的对象;
针对所述多个帧中的非关键帧执行追踪操作。
14.根据权利要求13所述的实现方法,其中,执行误差识别操作的步骤包括:基于所述多个帧中执行了误差识别操作的所述一部分帧的运动矢量,确定在提取对象的步骤中的误差,
其中,执行误差识别操作的步骤包括:基于所述多个帧中执行了误差识别操作的所述一部分帧的深度图,确定在分配深度信息的步骤中的误差;
其中,执行误差识别操作的步骤包括:基于在针对非关键帧提取对象或分配深度信息的步骤中的误差产生频率,确定在选择与非关键帧相应的关键帧的步骤中的误差。
15.根据权利要求12所述的实现方法,其中,显示误差信息的步骤包括:通过使用加粗、高亮以及以不同颜色显示运动矢量中的至少一个,将所述多个帧中的所述一部分帧上具有误差的预定区域显示为误差信息。
CN2012102367497A 2011-07-13 2012-07-09 3d图像处理设备以及3d图像处理设备的实现方法 Pending CN102883171A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110069294A KR20130008746A (ko) 2011-07-13 2011-07-13 3d 영상변환장치, 그 구현방법 및 그 저장매체
KR10-2011-0069294 2011-07-13

Publications (1)

Publication Number Publication Date
CN102883171A true CN102883171A (zh) 2013-01-16

Family

ID=45936972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012102367497A Pending CN102883171A (zh) 2011-07-13 2012-07-09 3d图像处理设备以及3d图像处理设备的实现方法

Country Status (5)

Country Link
US (1) US9282320B2 (zh)
EP (1) EP2547113A1 (zh)
JP (1) JP2013021695A (zh)
KR (1) KR20130008746A (zh)
CN (1) CN102883171A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105050670A (zh) * 2013-01-22 2015-11-11 微软技术许可有限责任公司 混合现实体验共享

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102835118A (zh) * 2010-04-06 2012-12-19 富士胶片株式会社 图像生成装置、方法及打印机
KR101996658B1 (ko) * 2013-06-19 2019-07-04 엘지디스플레이 주식회사 입체영상표시장치와 이의 구동방법
EP2833637A1 (en) * 2013-07-31 2015-02-04 Thomson Licensing Method for processing a current image of an image sequence, and corresponding computer program and processing device
KR101417712B1 (ko) * 2014-02-05 2014-07-08 지승찬 3d 영상의 렌더링 보정방법
WO2017180754A1 (en) * 2016-04-13 2017-10-19 Mcconway & Torley, Llc System and method for manufacturing railcar coupler headcores
KR20170122013A (ko) * 2016-04-26 2017-11-03 삼성전자주식회사 영상처리장치 및 그 제어방법
KR20180056174A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
US10212406B2 (en) * 2016-12-15 2019-02-19 Nvidia Corporation Image generation of a three-dimensional scene using multiple focal lengths

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113634B2 (en) * 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
KR100768837B1 (ko) * 2003-04-17 2007-10-19 샤프 가부시키가이샤 3차원 화상 작성 장치, 3차원 화상 재생 장치, 3차원 화상 처리 장치, 3차원 화상 처리 프로그램을 기록한 기록 매체
US7301510B2 (en) * 2003-07-16 2007-11-27 The Boeing Company Methods and apparatus for reducing frame violations in a stereoscopic display
WO2006078249A1 (en) * 2005-01-21 2006-07-27 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
WO2007148219A2 (en) * 2006-06-23 2007-12-27 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8854425B2 (en) * 2007-07-26 2014-10-07 Koninklijke Philips N.V. Method and apparatus for depth-related information propagation
KR20110054396A (ko) * 2009-11-17 2011-05-25 삼성전자주식회사 입체영상용 셔터 안경, 이를 포함하는 디스플레이시스템 및 그 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105050670A (zh) * 2013-01-22 2015-11-11 微软技术许可有限责任公司 混合现实体验共享
CN105050670B (zh) * 2013-01-22 2018-05-04 微软技术许可有限责任公司 混合现实体验共享

Also Published As

Publication number Publication date
JP2013021695A (ja) 2013-01-31
EP2547113A1 (en) 2013-01-16
US20130016096A1 (en) 2013-01-17
US9282320B2 (en) 2016-03-08
KR20130008746A (ko) 2013-01-23

Similar Documents

Publication Publication Date Title
CN102883171A (zh) 3d图像处理设备以及3d图像处理设备的实现方法
EP2549764A1 (en) Input apparatus of display apparatus, display system and control method thereof
CN102067615B (zh) 图像产生方法和设备以及图像处理方法和设备
US9406139B2 (en) Image processing device and image processing method
US9380283B2 (en) Display apparatus and three-dimensional video signal displaying method thereof
US20160198097A1 (en) System and method for inserting objects into an image or sequence of images
CN102016917A (zh) 图像数据的分割
RU2598989C2 (ru) Устройство отображения трехмерного изображения и способ отображения для такового
CN102868898A (zh) 3d图像处理设备及其执行方法
EP2733670A1 (en) Apparatus and method for generating depth information
JP2005049668A (ja) データ変換装置、表示装置、データ変換方法、プログラム及び記録媒体
CN103548343A (zh) 用于将2d内容转换为3d内容的设备和方法及其计算机可读存储介质
CN104185086A (zh) 一种提供视频信息的方法和装置
CN104822078A (zh) 一种视频字幕的遮挡方法及装置
US20120306865A1 (en) Apparatus and method for 3d image conversion and a storage medium thereof
CN110708591B (zh) 一种图像处理方法、装置及电子设备
US9479766B2 (en) Modifying images for a 3-dimensional display mode
CN105392061A (zh) 一种用于互动电视系统的检测互动信息的方法及装置
CN111638787A (zh) 用于展示信息的方法和装置
EP3382508A1 (en) Method and device for controlling virtual reality helmets
US20120268454A1 (en) Information processor, information processing method and computer program product
EP2530940A1 (en) Apparatus and method for 3D image conversion and a storage medium thereof
US20120268456A1 (en) Information processor, information processing method, and computer program product
US20160241903A1 (en) Image output apparatus
KR101859412B1 (ko) 컨텐츠변환장치 및 컨텐츠변환방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130116