CN109327692B - 用于处理图像的方法和装置 - Google Patents

用于处理图像的方法和装置 Download PDF

Info

Publication number
CN109327692B
CN109327692B CN201810551350.5A CN201810551350A CN109327692B CN 109327692 B CN109327692 B CN 109327692B CN 201810551350 A CN201810551350 A CN 201810551350A CN 109327692 B CN109327692 B CN 109327692B
Authority
CN
China
Prior art keywords
image
pixel
value
display
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810551350.5A
Other languages
English (en)
Other versions
CN109327692A (zh
Inventor
金允泰
成基荣
李泓锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109327692A publication Critical patent/CN109327692A/zh
Application granted granted Critical
Publication of CN109327692B publication Critical patent/CN109327692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

一种用于处理图像的装置包括：第一显示器，其光学焦距是第一距离；第二显示器，其光学焦距是第二距离；处理器，被配置为根据要输出的第一图像的深度值来确定第一显示器的第一像素的第一值和第二显示器的第二像素的第二值；以及图像会聚构件，被配置为重叠第一像素和第二像素并且输出与深度值相对应的第一图像。

Description

用于处理图像的方法和装置
相关申请的交叉引用
本申请要求于2017年7月31日提交到韩国知识产权局的申请号为10-2017-0097122号的韩国专利申请的优先权，其公开通过引用整体合并于此。
背景技术
1.领域
与示范性实施例一致的方法和装置涉及用于处理图像的方法和装置。
2.相关技术的描述
已经开发了能够生成虚拟现实(virtual reality，VR)环境的电子设备和显示设备，并且其越来越受到关注。已经研究了作为虚拟现实(VR)的下一阶段的实现增强现实(augmented reality，AR)和混合现实(mixed reality，MR)的技术。
与其中实现完整的虚拟世界的虚拟现实(VR)不同，增强现实(AR)是在现实世界的环境的视角下通过叠加(或组合)虚拟对象或关于现实世界的环境的信息来进一步增加现实的效果的显示技术。虽然虚拟现实(VR)可能只应用于诸如游戏或虚拟体验的有限领域，然而AR具有可应用于各种真实环境的优势。特别地，增强现实(AR)作为适合于普遍存在的环境或物联网(Internet of Things，IoT)环境的下一代显示技术受到关注。增强现实(AR)是混合现实(MR)的一个示例，显示了现实世界和虚拟世界(例如附加信息)的混合。
因此，用于处理和显示三维图像的技术领域已经逐渐扩大。因此，需要对用户友好的三维图像处理方法或三维图像显示方法。
发明内容
一个或多个示范性实施例提供了通过处理图像来输出用户友好的图像的方法和装置。一个或多个示范性实施例还提供了用于输出不会对观看者造成眩晕的用户友好的三维图像的方法和装置。
额外的方面将部分地在下面的描述中被阐述，并且从所述描述中部分地变得清楚，或者可以通过实践所呈现的实施例而习得。
根据实施例的方面，提供了一种用于处理图像的装置，其包括：第一显示器，其光学焦距是第一距离；第二显示器，其光学焦距是第二距离；处理器，被配置为根据要被输出的第一图像的深度值来确定第一显示器的第一像素的第一值和第二显示器的第二像素的第二值；以及图像会聚构件，被配置为重叠第一像素和第二像素并且输出与深度值相对应的第一图像。
该处理器可以控制深度值的范围在预定范围内，该深度值的范围是同时显示第一显示器的第一像素和第二显示器的第二像素的深度值的范围。
当第二距离大于第一距离时，预定范围的上限可以小于第二距离，并且预定范围的下限可以大于第一距离。
第一距离和第二距离可以分别根据第一显示器和第二显示器的物理特性被确定。
第二距离可以大于第一距离，并且响应于第一距离和第二距离的平均值大于深度值，处理器可以确定第一像素的第一值要大于第二像素的第二值。
第二距离可以大于第一距离，并且响应于第一距离和第二距离的平均值大于深度值，处理器可以确定施加到第一像素的第一值的权重要大于施加到第二像素的第二值的权重。
第一像素的第一值可以包括第一像素的亮度值，并且第二像素的第二值包括第二像素的亮度值。
处理器可以生成其中在第一图像上反映双眼视差的附加图像，并且图像会聚构件可以输出附加图像。
第一图像可以被输出到用户的左眼和右眼中的一个，并且附加图像可以被输出到用户的左眼和右眼中的另一个。
处理器可以根据查找表(look up table，LUT)来确定与深度值相对应的第一像素的第一值和第二像素的第二值。
根据另一示范性实施例的方面，提供了一种处理图像的方法，其包括获得要输出的第一图像的深度值；基于深度值确定第一显示器的第一像素的第一值和第二显示器的第二像素的第二值，第一显示器的光学焦距是第一距离，第二显示器的光学焦距是第二距离；以及重叠第一像素和第二像素以输出与深度值相对应的第一图像。
该确定可以包括控制深度值的范围在预定范围内，该深度值的范围是同时显示第一显示器的第一像素和第二显示器的第二像素的深度值的范围。
当第二距离大于第一距离时，预定范围的上限可以小于第二距离，并且预定范围的下限可以大于第一距离。
第一距离和第二距离可以分别根据第一显示器和第二显示器的物理特性被确定。
第二距离可以大于第一距离，并且响应于第一距离和第二距离的平均值大于深度值，该确定可以包括确定第一像素的第一值要大于第二像素的第二值。
第二距离可以大于第一距离，并且响应于第一距离和第二距离的平均值大于深度值，该确定可以包括确定施加到第一像素的第一值的权重要大于施加到第二像素的第二值的权重。
第一像素的第一值可以包括第一像素的亮度值，并且第二像素的第二值包括第二像素的亮度值。
该方法还可以包括输出其中在第一图像上反映双眼视差的附加图像。
第一图像可以被输出到用户的左眼和右眼中的一个，并且附加图像可以被输出到用户的左眼和右眼中的另一个。
该确定可以包括根据查找表(look up table，LUT)来确定与深度值相对应的第一像素的第一值和第二像素的第二值。
根据另一示范性实施例的方面，提供了一种非瞬时性计算机可读记录介质，其存储当被计算机运行时实现上述方法的程序。
根据另一示范性实施例的方面，提供了一种处理图像的方法，包括：接收包括深度值的输入图像；基于第一显示器的第一光学焦距和第二显示器的第二光学焦距调制深度值在预定范围内；根据调制的深度值确定第一显示器的第一像素的第一值和第二显示器的第二像素的第二值，该第二像素具有与第一像素的位置相对应的位置；以及基于第一像素的值和第二像素的值输出输出图像。
该方法还包括在调制之前对深度值进行归一化。
可以使用被存储在查找表中的深度值调制数据来调制深度值。
可以使用包括sigmoid函数的深度值调制函数来提供LUT。
附图说明
从以下结合附图的对示范性实施例的描述中，以上和/或其它方面将变得清楚和更容易理解，其中：
图1是示出根据示范性实施例的用于处理图像的装置的框图；
图2是示出根据示范性实施例的输出图像的方法的流程图；
图3是示出根据示范性实施例的输出第一图像和第二图像的方法的流程图；
图4是示出根据示范性实施例的通过对深度值进行归一化和调制来显示图像的方法的流程图；
图5是示出根据示范性实施例的通过对深度值进行归一化和调制来显示图像的示例的图；
图6是示出根据示范性实施例的执行深度值的调制的方法的图；
图7是示出根据示范性实施例的在执行调制中使用的焦距相关特性的图；
图8是示出根据示范性实施例的显示透视型图像的示例的图；
图9是示出根据示范性实施例的使用被存储在存储器中的查找表(LUT)输出图像的设备的框图；以及
图10是示出根据示范性实施例的其中设备经由两个显示器输出图像的示例的图。
具体实施方式
现在将详细参考示范性实施例，其示例被示出在附图中，其中，相似的参考标号始终指代相似的元素。在这一点上，示范性实施例可以具有不同的形式，并且不应该被解释为受限于这里阐述的描述。因此，下面通过参考附图来描述示范性实施例仅仅为了说明各个方面。
如这里所使用的，术语“包括”等不应被解释为必然包括在说明书中描述的各种元件或步骤，并且应被解释为不包括一些元件或一些步骤或不包括附加的元件或步骤。
并且，如这里所使用的，包括诸如“第一”或“第二”的序数的术语可以被用来描述各种元素，但是元素不应该被术语所限制。这些术语仅仅被用于将一个元素与其它元素区分开的目的。
这些示范性实施例针对用于处理图像的方法和设备，并且针对这些示范性实施例所属领域的普通技术人员广泛知晓的内容将省略其详细描述。
在说明书中，图像可以包括运动图像以及静止图像。
图1是示出根据示范性实施例的用于处理图像的装置的框图。
如图1中所示，图像处理装置100可以包括第一显示器110、第二显示器120、处理器130和图像会聚构件140。然而，本领域普通技术人员将会理解，除了图1中所示的元件之外，诸如通用元件的其它元件可以进一步被包括在图像处理装置100中。可替换地，本领域的普通技术人员将会理解，根据另一示范性实施例，可以省略图1中示出的一些元件。
参考图1，图像处理装置100可以包括第一显示器110和第二显示器120。并且，第一显示器110和第二显示器120的光学焦距可以彼此不同。图像处理装置100是具有两个或更多个焦平面(focal planes)的多焦点显示设备，并且可以显示不会实质上对观看者造成眩晕的自然立体图像。并且，图像处理装置100可以是具有与自动立体显示设备相同的调节(accommodation)和会聚的显示设备。
在相关领域中，当输出图像具有与多焦点显示设备的显示设备的光学焦距不同的深度值，它可能会对观看者造成眩晕。例如，在其中第一显示器具有1m的光学焦距和第二显示器具有10m的光学焦距的多焦点显示器中，当在第一显示器和第二显示器上显示具有7m深度值的图像时，观看者可以感到眩晕。根据示范性实施例的用于处理图像的装置可以执行深度值的调制以避免对观看者造成眩晕。
参考图1，第一显示器110可以输出图像(例如，第1-1图像)，并且第二显示器120可以输出图像(例如，第1-2图像)。例如，第一显示器110可以包括用于生成第1-1图像的图像生成设备，并且第二显示器120可以包括用于生成第1-2图像的图像生成设备。第一显示器110可以根据处理器130的控制生成第1-1图像，以将第1-1图像输出到图像会聚构件140，并且第二显示器120可以根据处理器130的控制来生成第1-2图像，以将第1-2图像输出到图像会聚构件140。
图像会聚部件140可以会聚从第一显示器110获得的第1-1图像和从第二显示器120获得的第1-2图像，并输出会聚图像。
根据示范性实施例的图像会聚构件140可以包括提供光学多路径的多路径光学构件。例如，被包括在图像会聚构件140中的多路径光学构件可以仅输出代表第1-1图像的光的一部分和代表第1-2图像的光的一部分。
第一显示器110的光学焦距可以被设置为第一距离。第二显示器120的光学焦距可以被设置为第二距离。第一距离和第二距离可以彼此不同。例如，第二距离可以大于第一距离。虽然第二距离可以小于第一距离，为了便于解释，下面将描述第二距离大于第一距离的情况。
光学焦距可以根据显示器的物理特性被确定。例如，第一距离可以根据第一显示器110的物理特性被确定，并且第二距离可以根据第二显示器120的物理特性被确定。在这种情况下，第一距离可以根据第一显示器110的光学设计方案被确定，并且第二距离可以根据第二显示器120的光学设计方案被确定。
根据示范性实施例的处理器130可以根据与从图像会聚构件140输出的图像相对应的深度值来确定第1-1图像和第1-2图像的像素值。
例如，当要输出的图像的深度值等于第一距离时，处理器130可以将第1-1图像的输出比率设置为100％，并且将第1-2图像的输出比率设置为0％。
作为另一示例，当要输出的图像的深度值等于第二距离时，处理器130可以将第1-1图像的输出比率设置为0％，并且将第1-2图像的输出比率设置为100％。
作为另一示例，当要输出的图像的深度值等于第一距离和第二距离的平均值时，处理器130可以将第1-1图像的输出比率设置为50％，并且将第1-2图像的输出比率设置为50％。在这种情况下，第1-1图像的像素值与第1-2图像的像素值的比率可以是1。
第1-1图像的像素的位置和第1-2图像的像素的位置可以彼此对应。例如，第1-1图像的像素和第1-2图像的像素的位置可以彼此重叠并以输出图像输出。并且，如稍后将描述的，从第一显示器110输出的第一像素的位置和从第二显示器120输出的第二像素的位置可以彼此对应。例如，第一像素和第二像素可以彼此重叠并输出。
根据示范性实施例的处理器130可以将与从图像会聚构件140输出的图像相对应的深度值与第一距离和第二距离的平均值进行比较，以确定第1-1图像和第1-2图像的像素值。
例如，当第一距离和第二距离的平均值大于要输出的图像的深度值并且第一距离小于第二距离时，处理器130可以确定从第一显示器110输出的第一像素的值要大于从第二显示器120输出的第二像素的值。例如，当第二距离是11m，第一距离是1m，并且要输出的图像的深度值是3m时，处理器130可以确定第1-1图像的第一像素的亮度值要大于第1-2图像的第二像素的亮度值。
作为另一示例，当第一距离和第二距离的平均值小于要输出的图像的深度值并且第一距离小于第二距离时，处理器130可以确定从第一显示器110输出的第一像素的值要小于从第二显示器120输出的第二像素的值。例如，当第二距离是11m，第一距离是1m，并且要输出的图像的深度值是8m时，处理器130可以确定第1-1图像的第一像素的亮度值要小于第1-2图像的第二像素的亮度值。
作为另一示例，当第一距离和第二距离的平均值大于要输出的图像的深度值并且第一距离小于第二距离时，处理器130可以确定施加到从第一显示器110输出的第一像素的值的权重要大于施加到从第二显示器120输出的第二像素的值的权重。例如，当第二距离是11m，第一距离是1m，并且要输出的图像的深度值是3m时，处理器130可以确定施加到第1-1图像的第一像素的亮度值的权重要大于施加到第1-2图像的第二像素的亮度值的权重。
作为另一示例，当第一距离和第二距离的平均值小于要输出的图像的深度值并且第一距离小于第二距离时，处理器130可以确定施加到从第一显示器110输出的第一像素的值的权重要小于施加到第二像素的值的权重。例如，当第二距离是11m，第一距离是1m，并且要输出的图像的深度值是8m时，处理器130可以确定施加到第1-1图像的第一像素的亮度值的权重要小于施加到第1-2图像的第二像素的亮度值的权重。
根据示范性实施例的处理器130可以在根据与要输出的图像相对应的深度值来确定第1-1图像和第1-2图像的像素值时，确定同时输出第1-1图像和第1-2图像的深度值的范围在预定范围内。
例如，当第二距离大于第一距离时，处理器130可以确定同时输出第1-1图像和第1-2图像的深度值的最大值小于第二距离，并且同时输出第1-1图像和第1-2图像的深度值的最小值大于第一距离。例如，当第二距离是11m并且第一距离是1m时，处理器130可以确定同时输出第1-1图像和第1-2图像的深度值的最大值为10米，其小于第二距离11m，并且同时输出第1-1图像和第1-2图像的深度值的最小值为2m，其大于第一距离1m。
第一显示器110和/或第二显示器120可以包括例如空间光调制器(spatial lightmodulator，SLM)。SLM可以是透射式光学调制器或反射式光学调制器或半透射式光学调制器。作为示例，SLM可以包括硅基液晶(liquid crystal on silicon，LCoS)面板、液晶显示器(liquid crystal display，LCD)面板、数字光学投影(digital light projection，DLP)等。这里，DLP面板可以包括数字微镜器件(digital micromirror device，DMD)。第一显示器110和/或第二显示器120可以包括透射式调制器。尽管未示出，但是第一显示器110和/或第二显示器120还可以包括用于照射光的光源。根据实施例，第一显示器110和/或第二显示器120可以包括发光二极管(light emitting diode，LED)显示设备或有机LED(organicLED，OLED)显示设备。通过使用第一显示器110和/或第二显示器120实现的图像可以是二维(two-dimensional，2D)图像或三维(three-dimensional，3D)图像。通过使用第一显示器110和/或第二显示器120实现的3D图像可以包括全息图像、立体图像、光场图像、积分摄影(integral photography，IP)图像等。第一显示器110和/或第二显示器120可以包括一种显示设备或者微型显示设备，并且其配置不限于以上描述并且可以改变。
根据示范性实施例的图像处理装置100可以是多图像显示装置或透视型显示装置。例如，图像处理装置100可以将从图像处理装置100的外部获取的外部图像以及基于第1-1图像和第1-2图像生成的第一图像发送到用户的视觉器官。稍后将参照图8描述其中图像处理装置100不仅输出基于第1-1图像和第1-2图像生成的图像而且输出外部图像的方法。
根据示范性实施例的图像处理装置100可以输出一个图像或多个图像。例如，图像处理装置100可以输出两个图像。
例如，当图像处理装置100输出第一图像和第二图像时，第一图像可以被输出到用户的左眼，并且第二图像可以被输出到用户的右眼。可替换地，第一图像可以被输出到用户的右眼，并且第二图像可以被输出到用户的左眼。可以根据第一图像和第二图像之间的不一致来输出3D图像。
图像处理装置100可以执行通过使现实世界与虚拟图像之间的焦点信息匹配的多焦点显示方法来表示自然图像的像素渲染方法。例如，在输出其中深度值连续变化的图像的情况下，图像处理装置100可以通过控制同时显示具有不同光焦距的多个显示器的深度值的范围来输出自然图像。
图2是示出根据示范性实施例的其中图像处理装置100输出图像的方法的流程图。
在操作S210中，根据示范性实施例的图像处理装置100可以获得要输出的图像的深度值。
要输出的图像可以是3D图像。当要输出的图像是3D图像时，图像处理装置100可以获得与要输出的图像相对应的深度值。图像处理装置100可以接收与要输出的图像相对应的深度值，或者通过计算确定与要输出的图像相对应的深度值。
在操作S220中，根据示范性实施例的图像处理装置100可以根据在操作S210中获得的深度值确定第一显示器110的第一像素的值和第二显示器120的第二像素的值，其中第一显示器110的光学焦距被设置为第一距离，第二显示器120的光学焦距被设置为第二距离。第一距离和第二距离可以彼此不同。在下文中，为了便于解释，将描述第二距离大于第一距离的情况。
光学焦距可以根据显示器的物理特性被确定。例如，第一距离可以根据第一显示器110的物理特性被确定，并且第二距离可以根据第二显示器120的物理特性被确定。在这种情况下，第一距离可以根据第一显示器110的光学设计方案被确定，并且第二距离可以根据第二显示器120的光学设计方案被确定。
从第一显示器110输出的第一像素的位置和从第二显示器120输出的第二像素的位置可以彼此对应。例如，第一像素和第二像素可以彼此重叠并输出。
根据示范性实施例的图像处理装置100可以根据与从图像处理装置100输出的图像相对应的深度值来确定第一像素的值和第二像素的值。
例如，当要被输出的图像的深度值等于第一距离时，图像处理装置100可以将第一像素的亮度值的输出比率设置为100％，并且将第二像素的亮度值的输出比率设置为0％以输出图像。
作为另一示例，当要输出的图像的深度值等于第二距离时，图像处理装置100可以将第一像素的亮度值的输出比率设置为0％，并且将第二像素的亮度值的输出比率设置为100％以输出图像。
作为另一示例，当要输出的图像的深度值是第一距离和第二距离的平均值时，图像处理装置100可以将第一像素的亮度值的输出比率设置为50％，并且将第二像素的亮度值的输出比率设置为50％。
作为另一示例，当第一距离和第二距离的平均值大于要输出的图像的深度值时，图像处理装置100可以确定第一像素的亮度值要大于第二像素的亮度值。例如，在第二距离是11m，第一距离是1m，并且要输出的图像的深度值是3m的情况下，处理器100可以确定第一像素的亮度值要大于第二像素的亮度值。
作为另一示例，当第一距离和第二距离的平均值大于要输出的图像的深度值时，图像处理装置100可以确定施加到第一像素的亮度值的权重要大于施加到第二像素的亮度值的权重值。例如，当第二距离是11m，第一距离是1m，并且要输出的图像的深度值是3m时，处理器130可以确定施加到第一像素的亮度值的权重要大于施加到第二像素的亮度值的权重。
当根据要输出的图像的深度值确定第一像素值时，根据示范性实施例的图像处理装置100可以在预设范围内确定同时输出第一显示器110的图像和第二显示器120的图像的深度值的范围。
例如，当第二距离大于第一距离时，图像处理装置100可以确定同时输出第一像素和第二像素的深度值的最大值要小于第二距离，并且同时输出第一像素和第二像素的深度值的最小值要大于第一距离。例如，在第二距离是11m并且第一距离是1m的情况下，图像处理装置100可以确定同时输出第一像素和第二像素的深度值的最大值为10m，其小于第二距离11m，并且确定同时输出第一像素和第二像素的深度值的最小值为2m，其大于第一距离1m。
在操作S230中，根据示范性实施例的图像处理装置100可以通过重叠第一像素和第二像素来输出与深度值相对应的图像。
第一像素和第二像素可以重叠并输出。例如，图像会聚构件140可以重叠并输出第一像素和第二像素。图像会聚部件140可以将从第一像素获得的像素值和从第二像素获得的在相同位置的像素值会聚，并输出会聚的像素值。例如，图像会聚构件140可以输出基于第一像素和第二像素的会聚的第三像素值。输出图像中的第三像素的位置可以对应于第一像素和第二像素的位置。图像会聚构件140可以包括来自分束器和半透射膜当中的至少一个。
图3是示出根据示范性实施例的其中图像处理装置100输出第一图像和第二图像的方法的流程图。
在操作S310中，根据示范性实施例的图像处理装置100可以获得第一图像的深度值。第一图像可以包括颜色信息和深度信息。图像处理装置100可以接收与被包括在第一图像中的第一像素相对应的深度值。可替换地，图像处理装置100可以通过计算确定与被包括在第一图像中的第一像素相对应的深度值。
在操作S320中，根据示范性实施例的图像处理装置100可以根据在操作S310中获得的深度值确定第一显示器110的第一像素的值和第二显示器120的第二像素的值，其中第一显示器110的光学焦距被设置为第一距离，第二显示器120的光学焦距被设置为第二距离。第一距离和第二距离可以彼此不同。因为操作S320对应于上述操作S220，因此为了简化将省略其详细描述。
在操作S330中，根据示范性实施例的图像处理装置100可以通过重叠第一像素和第二像素来输出与深度值相对应的第一图像。因为操作S330对应于上述操作S230，因此为了简化将省略其详细描述。
在操作S340中，根据示范性实施例的图像处理装置100输出其中在操作S330中输出的第一图像上反映双眼视差的第二图像。可以根据第一图像和第二图像来输出3D图像。例如，第一图像可以被输出到用户的左眼，并且第二图像可以被输出到用户的右眼。可以根据第一图像和第二图像之间的不一致来输出3D图像。
图4是示出根据示范性实施例的其中图像处理装置100通过对深度值进行归一化和调制来显示图像的方法的流程图。
在操作S410中，根据示范性实施例的图像处理装置100获得色彩深度图像。色彩深度图像可以意味着包括色彩信息和深度值信息的图像。
在操作S420中，根据示范性实施例的图像处理装置100可以对在操作S410中获得的图像的深度值进行归一化。例如，图像处理装置100可以将在操作S410中获得的图像的深度值映射到0和1之间的值。作为另一示例，图像处理装置100可以将在操作S410中获得的图像的深度值映射到0和255之间的值。
在操作S430中，根据示范性实施例的图像处理装置100可以对在操作S410中归一化的深度值进行调制。
图像处理装置100可以在调制归一化的深度值的过程期间确定与第一显示器110和第二显示器120相对应的权重。权重可以包括指示第一显示器110的第一像素的值与输出像素的比率的第一权重以及包括指示第二显示器120的第二像素的值与输出像素的比率的第二权重。
例如，当在操作S410中获得的图像的深度值被映射为0和255之间的值的情况下，当深度值对应于0和9之间的范围时，图像处理装置100可以将第一权重确定为0以及将第二权重确定为1，当深度值对应于246至255之间的范围时，将第一权重确定为1以及将第二权重确定为0，当深度值对应于128时，将第一权重和第二权重确定为0.5，并且当深度值对应于10和245之间时，根据预设的S形函数(例如sigmoid函数)来确定第一权重和第二权重。换句话说，为了显示输出图像，当深度值大以显示近距离图像时图像处理装置100可以仅仅使用第一显示器110，当深度值小以显示远距离图像时图像处理装置100可以仅仅使用第二显示器120，以及当深度值是处于中间范围时使用第一显示器110和第二显示器120两者。
在操作S440中，根据示范性实施例的图像处理装置100可以确定第一显示器110的第一像素的值和第二显示器120的第二像素的值。
具体地，图像处理装置100可以使用在操作S430中确定的权重来确定第一像素的值和第二像素的值。例如，当要输出的像素值是100时，可以将第一像素的值确定为与“100X权重”相对应的值，并且可以将第二像素的值确定为与“100X(1-权重)”相对应的值。
在操作S450中，根据示范性实施例的图像处理装置100可以通过使用在操作S450中确定的第一像素的值和第二像素的值来输出图像。
图5是示出根据示范性实施例的其中图像处理装置100通过对深度值进行归一化和调制来显示图像的示例的图。
图5示出了其中图像处理装置100渲染像素值的方法。当颜色和深度图像被输入到输入图像510时，图像处理装置100可以执行深度值的归一化，并且根据使用查找表(LUT)的输入深度值来确定权重，其中使用诸如使用sigmoid函数的深度值调制函数来提供LUT。sigmoid函数仅仅是一个示例并且示范性实施例不限于此。例如，图像处理装置100可以使用将调制值(或调制的输入深度)0映射到等于或小于过渡区域的下限值(例如，0至9)的输入深度值，将调制值255映射到等于或大于过渡区域的上限值(例如，246至255)的输入深度值，并且将具有特定斜率的调制值映射到过渡区域的下限值和上限值之间(例如，10至245)的输入深度值的任何函数。在下文中，便于解释将描述其中使用sigmoid函数的情况。
假定确定的权重是w，则可以如下面的[表达式1]确定要输出到第一显示器110和第二显示器120的像素值。
[等式1]
Output1(x,y)＝w(x,y)·color(x,y)
Output2(x,y)＝(1-w)(x,y))·color(x,y)
这里，w(x，y)表示对应于每个像素位置的权重，color(x，y)表示输入色彩值(或亮度值)，Output1(x，y)和Output2(x，y)分别表示在第一显示器110和第二显示器120的相应像素位置处的输出值。在驱动第一显示器110和第二显示器120的像素值时，图像处理装置100可以仅输出像素值到负责显示具有近距离深度值的近距离图像的显示器(例如，第一显示器110)，可以仅输出像素值到负责显示具有远距离深度值的远距离图像的显示器(例如，第二显示器120)，并且在中间深度图像(例如具有中间深度值的图像)的情况下，可以将第一显示器110和第二显示器120的每个像素值对半划分以输出像素值到第一显示器110和第二显示器120两者。
将描述图像处理装置100获得第一深度图像520的情况。第一深度图像520可以代表远距离图像。第一深度图像520的右图像可以代表深度值。例如，当右图像变得更亮时，第一深度图像520的右图像可以代表更近的距离。图像处理装置100可以针对第一深度图像520对深度值进行归一化(操作S520)，根据深度值执行调制(操作S530)并且根据深度值确定对于第一显示器110和第二显示器120的权重(操作S540)。图像处理装置100可以根据确定的权重的值输出图像到第一显示器110和第二显示器120。图像处理装置100可以输出与第一深度图像520相对应的第一输出图像570。从对应于远距离图像的第二显示器120输出的第一远距离图像572的像素值(例如，亮度值)可以大于从对应于近距离图像的第一显示器110输出的第一近距离图像571的像素值。
将描述图像处理装置100获得第二深度图像530的情况。第二深度图像530可以代表中间距离图像。第二深度图像530的右图像可以代表深度值。例如，当右图像变得更亮时，第二深度图像530的右图像可以代表更近的距离。图像处理装置100可以针对第二深度图像530对深度值进行归一化(操作S520)，根据深度值执行调制(操作S530)并且根据深度值确定对于第一显示器110和第二显示器120的权重(操作S540)。图像处理装置100可以根据确定的权重的值输出图像到第一显示器110和第二显示器120。图像处理装置100可以输出与第二深度图像530相对应的第二输出图像550。从对应于远距离图像的第二显示器120输出的第二远距离图像552的像素值(例如，亮度值)可以与从对应于近距离图像的第一显示器110输出的第二近距离图像551的像素值相似。
将描述图像处理装置100获得第三深度图像540的情况。第三深度图像540可以代表近距离图像。第三深度图像540的右图像可以代表深度值。例如，当右图像变得更亮时，第三深度图像540的右图像可以代表更近的距离。图像处理装置100可以对第三深度图像540的深度值进行归一化(操作S520)，根据深度值执行调制(操作S530)并且根据深度值确定对于第一显示器110和第二显示器120的权重(操作S540)。图像处理装置100可以根据确定的权重的值输出图像到第一显示器110和第二显示器120。图像处理装置100可以输出与第三深度图像540相对应的第三输出图像560。从对应于远距离图像的第二显示器120输出的第三远距离图像562的像素值可以小于从对应于近距离图像的第一显示器110输出的第三近距离图像561的像素值。
图6示出了用于深度值调制的sigmoid函数的一些实施例。实施例中使用的函数被表示为下面的[等式2]，
[等式2]
其中x可以表示输入深度值，y可以表示由深度值调制函数获得的调制深度值。此外，α值可以是用于确定变化区域的倾斜度的参数值。
例如，第一显示器110和第二显示器120同时显示的深度值的范围在第一sigmoid函数610、第二sigmoid函数620以及第三sigmoid函数630当中的第一sigmoid函数610中可以是最窄的，并且在第三sigmoid函数630中可以是最宽的。
例如，假定当要输出的图像的深度值从足够大的值(例如，无穷大)变为足够小的值(例如0)时，图像处理装置100根据第一sigmoid函数610进行操作，则可以同时显示第一显示器110和第二显示器120以仅仅在具有深度值从5m到3m的期间中输出图像，当图像处理装置100根据第二sigmoid函数620进行操作时，可以同时显示第一显示器110和第二显示器120以仅仅在具有7m的深度值的期间中输出图像，并且当图像处理装置100根据第三sigmoid函数630进行操作时，可以同时显示第一显示器110和第二显示器120以仅仅在具有深度值从10m到1m的期间中输出图像。
并且，在同时显示第一显示器110和第二显示器120的过渡区域中，可以组合使用具有预定倾斜度的S形曲线或直线。例如，第一sigmoid函数610可以具有接近直线的形状，并且第三sigmoid函数630可以具有接近S形曲线的形状。
图6中所示的sigmoid函数是输出深度与输入深度之间的关系的示例，并且图像处理装置100可以根据sigmoid函数显示图像。然而，图像处理装置100的操作不限于图6中所示的sigmoid函数，并且图像处理装置100可以基于任何其它函数进行操作，这些函数映射输入深度和输出深度使得具有零值的权重被映射到深度值0至小于过渡区域的下限值(例如10)的值，具有值255的权重被映射到从大于过渡区域的上限值(例如245)的值至255的深度值，以及具有特定斜率的值的权重被映射到过渡区域的深度值(例如，10至245)。
图7是示出根据示范性实施例的针对在执行调制时使用的聚散度值的焦距相关特性的图。
图7示出了舒适区(zone of comfort，ZOC)。ZOC可以是指其中可以提供清楚的双眼单视的区域。ZOC可以被用来确定使用多平面显示器表示深度区域的显示位置。在图7中，1-屈光度焦平面覆盖从0至约2.5屈光度的范围S1，3-屈光度焦平面覆盖约从1.5屈光度至约4.8屈光度的范围S2。在这种情况下，即使在ZOC中只使用两个焦平面，也可以覆盖从0至约4.8屈光度的会聚位置。
第一行710可以代表ZOC的最小值(或最小相关聚散度)。第二行720可以代表ZOC的最大值(或最大相关聚散度)。例如，3-屈光度焦平面可以覆盖从由第一点730指示的1.5屈光度至由第二点740指示的4.8屈光度。
当图像处理装置100执行深度值的调制时，可以参考ZOC。在示范性实施例中，图像处理装置100使用ZOC确定第一显示器110和第二显示器120的图像被同时输出的深度值的最小值和最大值。例如，可以在ZOC内确定第一显示器110和第二显示器120的图像被同时输出的深度值的最小值和最大值。作为另一示例，可以将第一显示器110和第二显示器120的图像被同时输出的深度值的最小值和最大值确定为超出ZOC的预设范围的值。
图像处理装置100可以提供通过使现实世界与虚拟图像之间的焦点信息匹配的多焦点显示方法来表示自然图像的像素渲染方法。例如，在输出其中深度值连续变化的图像的情况下，可以通过控制同时显示具有不同光焦距的多个显示器的图像的深度值的范围来提供自然图像。例如，当图像处理装置100包括具有1m的光焦距的第一显示器110和具有11m的光焦距的第二显示器120时，在深度值是5m到7m的范围中时，可以同时显示第一显示器110和第二显示器120的图像。当要输出的图像的深度值小于5m时，施加到作为近距离显示器的第一显示器110的权重可以是100％，并且施加到作为远距离显示器的第二显示器120的权重可以是0％。可替换地，如果要输出的图像的深度值大于7m，则施加到作为近距离显示器的第一显示器110的权重可以是0％，并且施加到作为远距离显示器的第二显示器120的权重可以是100％。
图8是示出根据示范性实施例的其中图像处理装置100显示透视型图像的示例的图。
参考图8，第一显示器110可以包括用于形成和/或显示第1-1图像的图像形成设备(或图像显示设备)，并且第二显示器120可以包括用于形成和/或显示第1-2图像的图像形成设备(或图像显示设备)。
图像处理装置100可以是一种透视型光学系统。图像处理装置100可以通过第二光学构件830将来自图像处理装置100外部的外部图像(未示出)传送和/或引导至用户的视觉器官850。第1-1图像、第1-2图像和外部图像可以同时输出到用户的视觉器官850。用户的视觉器官850可以是用户的眼睛。
图像处理装置100可以通过不同的路径将多个图像(即，第1-1图像、第1-2图像和外部图像)发送到用户的视觉器官850。例如，图像处理装置100可以通过第一路径的光801传送和/或引导第1-1图像，通过第二路径的光802传送/引导第1-2图像，以及通过第三路径的光803传送/引导外部图像到用户的视觉器官850。第一路径的光801可以是在第一显示器110中生成(或传送)的光，并且可以是对应于第1-1图像的光。第二路径的光802可以是在第二显示器120中生成(或传送)的光，并且可以是对应于第1-2图像的光。第三路径的光803可以是从图像处理装置100的外部透过(through)图像处理装置100所传播(transmitted)的光并且可以对应于外部图像。
第1-1图像和第1-2图像可以生成虚拟图像840。并且，虚拟图像840可以与外部图像重叠并且可以被传送到用户的视觉器官850。
图像处理装置100可以包括提供光学多路径的多路径光学构件。例如，图像处理装置100可以包括第一光学构件810和第二光学构件830。
第一路径的光801可以通过从例如第一光学构件810反射而行进(travel)。第二路径的光802可以通过例如第一光学构件810传播，并且可以通过从第二光学构件830反射而行进。第三路径的光803可以通过从例如第二光学构件830反射而行进。第一光学构件810和/或第二光学构件830可以是半透射式构件。作为示例，第一光学构件810和/或第二光学构件830可以是偏振分束器(polarization beam splitter，PBS)、分束器(beam splitter，BS)、半透射膜等。
第一光学构件810或第二光学构件830可以包括相同的材料或不同的材料。例如，第二光学构件830可以是镜或半反射镜的类型，并且第一光学构件810可以是一种棱镜。
图像处理装置100可以包括透镜820。例如，透镜820可以被配置为折射被传送到透镜820的光的透明玻璃体。透镜820可以位于图像会聚部件140和第二光学部件830之间。
由第一路径的光801传送的第1-1图像可以是由图像处理装置100中的第一显示器110形成并输出的图像。并且，由第二路径的光802传送的第1-2图像可以是由图像处理装置100中的第二显示器120形成并输出的图像。第1-1图像或第1-2图像可以包括要被显示的虚拟现实或虚拟信息。
由第三路径的光803传送的外部图像可以是通过图像处理装置100面对用户的外部的图像。外部图像可以包括面向用户的前景的图像，并且可以包括预定的背景。这样的外部图像可以是现实世界的图像。因此，根据示范性实施例的图像处理装置100(或多图像和/或透视型显示设备)可以被应用来实现增强现实(AR)或混合现实(MR)。在这种情况下，显示设备可以是近眼AR显示设备。
第一显示器110和/或第二显示器120可以包括例如空间光调制器(SLM)。SLM可以是透射式光学调制器或反射式光学调制器或半透射式光学调制器。作为示例，SLM可以包括硅基液晶(LCoS)面板、液晶显示器(LCD)面板、数字光学投影(DLP)等。DLP面板可以包括数字微镜器件(DMD)。第一显示器110和/或第二显示器120可以包括例如透射式调制器。尽管未示出，但是第一显示器110或第二显示器120还可以包括用于照射光的光源。根据实施例，第一显示器110和/或第二显示器120可以包括发光二极管(LED)显示设备或有机LED(OLED)显示设备。通过使用第一显示器110和/或第二显示器120实现的图像可以是二维(2D)图像或三维(3D)图像。通过使用第一显示器110和/或第二显示器120实现的3D图像可以包括全息图像、立体图像、光场图像、积分摄影(IP)图像等。第一显示器110和/或第二显示器120可以是一种显示设备或者微型显示设备，并且其配置不限于以上描述并且可以改变。
图9是示出根据示范性实施例的使用存储在存储器中的查找表(LUT)输出图像的图像处理装置100的框图。
如图9所示，图像处理装置100可以包括图像输入单元910、存储器920、深度值调制模块940、输出图像像素值获得器950、伽马校正模块960、第一显示器110和第二显示器120。然而，本领域普通技术人员将会理解，除了图9中所示的组件之外，其它通用组件可以进一步被包括在图像处理装置100中。可替换地，本领域的普通技术人员将会理解，根据另一示范性实施例，可以省略图9中示出的一些组件。
图像输入单元910可以提供或接收色彩深度图像的输入。存储器920存储从图像输入单元910接收到的色彩深度图像。要存储的数据量可以取决于接收的图像的分辨率而变化。存储器920还可以基于深度值调制数据存储深度值调制函数查找表930。深度值调制模块940可以使用存储在深度值调制函数查找表LUT 930中的深度值调制数据和存储在存储器920中的色彩深度图像的数据来调制深度值。
输出图像像素值获得器950可以使用存储在存储器920中的色彩深度图像的数据和深度值调制数据来获得第一显示器110和第二显示器120的像素值(例如，用深度值调制数据乘以(multiply)色彩深度图像的数据)。
伽玛校正模块960可以使用第一显示器110和第二显示器120的像素值执行伽马校正，并且获得要输出到第一显示器110和第二显示器120的像素值。
第一显示器110和第二显示器120可以基于获得的像素值输出图像。
图10是示出根据示范性实施例的其中图像处理装置100使用两个显示器输出图像的示例的图。
在图10中，为了例示性的目的，将描述其中包括第一显示器110、第二显示器120、处理器130和图像会聚构件140的图像处理装置100输出图像的示例。
第一显示器110输出第1-1图像。第二显示器120输出第1-2图像。并且，第一显示器110和第二显示器120可以由处理器130控制。
由第一显示器110输出的第1-1图像和由第二显示器120输出的第1-2图像可以通过不同的路径输出。例如，可以通过第一路径的光1020输出第1-1图像，并且可以通过第二路径的光1030输出第1-2图像。图像处理装置100可以通过第一路径的光1020和第二路径的光1030在输出方向1010上输出图像。
图像会聚构件140可以包括提供光学多路径的光学构件1060。
图像会聚部件140可以会聚从第一显示器110输出的图像和从第二显示器120输出的图像，并输出会聚图像作为单个图像。例如，图像会聚部件140可以重叠从第一显示器110输出的图像和从第二显示器120输出的图像，并在输出方向1010上输出该图像。
第一路径的光1020可以通过从例如光学构件1060反射而行进。第二路径的光1030可以通过由例如光学构件1060传播而行进。可替换地，第三路径的光1050可以通过由例如光学构件1060传播而行进。第四路径的光1040可以通过从例如光学构件1060反射而行进。在输出方向1010以外的方向上行进的第三路径的光1050和第四路径的光1040可能被控制至消失。
光学构件1060可以是半透射式构件。作为示例，光学构件1060可以是偏振分束器(PBS)、分束器(BS)、透反射膜等。
根据示范性实施例的上述图像处理方法可以被实现在程序中，该程序可以由计算机(例如，通用数字计算机)执行，并且该程序可以存储在计算机可读记录介质中。这样的计算机可读记录介质包括诸如磁存储介质(例如，只读存储器(ROM)、软盘、硬盘等)的存储介质，光学读取介质(例如，光盘ROM(Compact disc ROM，CD ROM)-、数字通用光盘(Digitalversatile disc，DVD)等)的存储介质。
根据示范性实施例，根据附图所示的由块表示的组件、元件、模块或单元中的至少一个可以被实现为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件或单元中的至少一个可以使用直接电路结构，诸如存储器、处理器、逻辑电路、查找表等，其可以通过控制一个或多个微处理器或其它控制装置来执行各个功能。并且，这些组件、元件或单元中的至少一个可以通过包含用于执行特定逻辑功能的一个或多个可执行指令的模块、程序或代码的一部分来具体实现，并由一个或多个微处理器或其它控制装置执行。并且，这些组件、元件或单元中的至少一个还可以包括或由诸如执行各个功能的中央处理单元(central processing unit，CPU)的处理器、微处理器等实现。这些组件、元件或单元中的两个或更多个可以被组合成执行被组合的两个或更多个组件，元件或单元的所有操作或功能的一个单个组件、元件或单元。并且，这些组件、元件或单元中的至少一个的至少部分功能可以由这些组件、元件或单元中的另一个来执行。此外，尽管在上述框图中未示出总线，但是可以通过总线来执行组件、元件或单元之间的通信。上述示例性实施例的功能方面可以在一个或多个处理器上执行的算法中被实现。此外，由块或处理步骤代表的组件、元件或单元可以采用任何数量的用于电子配置、信号处理和/或控制、数据处理等相关技术。
应该理解，这里描述的示范性实施例应该被认为是描述性的意义而不是为了限制的目的。对每个示范性实施例内的特征或方面的描述应该典型地被认为是可用于其它示范性实施例中的其它类似的特征或方面。
虽然已经参考附图描述了一个或多个示范性实施例，但是本领域普通技术人员将理解，可以在这里做出各种形式和细节上的改变，而不脱离如所附权利要求定义的精神和范围。

Claims (17)

1.一种用于处理图像的装置，所述装置包括：
第一显示器，其光学焦距是第一距离；
第二显示器，其光学焦距是第二距离；
处理器，被配置为获得要输出的第一图像的深度值，以及基于所述深度值、第一距离和第二距离来确定所述第一显示器的第一像素的第一值和所述第二显示器的第二像素的第二值；以及
图像会聚构件，被配置为重叠第一像素和第二像素并且输出与所述深度值相对应的第一图像，
其中，所述处理器还被配置成：
归一化第一图像的深度值；
通过使用查找表调制归一化的深度值来确定与第一显示器和第二显示器相对应的权重，所述查找表使用深度值调制函数提供，其中如果所获得的深度值在sigmoid函数中变化区域的下限值和上限值之间，则所述深度值调制函数是sigmoid函数；和
根据所调制的深度值确定第一显示器的第一像素的第一值和第二显示器的第二像素的第二值，第二像素具有与第一像素的位置相对应的位置，
其中，所述处理器还被配置为将同时显示第一显示器的第一像素和第二显示器的第二像素的深度值的范围控制在sigmoid函数中变化区域的下限值和上限值之间，以及
深度值的范围是基于用于确定sigmoid函数中变化区域的倾斜度的参数值确定的。
2.如权利要求1所述的装置，其中，当所述第二距离大于所述第一距离时，上限值小于所述第二距离，并且下限值大于所述第一距离。
3.如权利要求1所述的装置，其中，所述第一距离和所述第二距离是分别根据所述第一显示器和所述第二显示器的物理特性设置的。
4.如权利要求1所述的装置，其中，所述第二距离大于所述第一距离，以及
其中，所述处理器还被配置为响应于所述第一距离和所述第二距离的平均值大于所述深度值，确定所述第一像素的第一值大于所述第二像素的第二值。
5.如权利要求1所述的装置，其中，所述第二距离大于所述第一距离，以及
其中，所述处理器还被配置为响应于所述第一距离和所述第二距离的平均值大于所述深度值，确定施加到所述第一像素的第一值的权重大于施加到所述第二像素的第二值的权重。
6.如权利要求1所述的装置，其中，所述第一像素的第一值包括所述第一像素的亮度值，并且所述第二像素的第二值包括所述第二像素的亮度值。
7.如权利要求1所述的装置，其中，所述处理器还被配置为生成附加图像，在所述附加图像中双眼视差被反映在第一图像上，以及
其中，所述图像会聚构件被配置为输出所述附加图像。
8.如权利要求7所述的装置，其中，所述第一图像被输出到用户的左眼和右眼中的一个，并且所述附加图像被输出到用户的左眼和右眼中的另一个。
9.一种用于处理图像的方法，所述方法包括：
获得要输出的第一图像的深度值；
基于所述深度值、第一距离、以及第二距离，确定第一显示器的第一像素的第一值和第二显示器的第二像素的第二值，其中，所述第一距离是所述第一显示器的光学焦距，以及所述第二距离是所述第二显示器的光学焦距；以及
重叠第一像素和第二像素以输出与所述深度值相对应的第一图像，
其中，所述确定包括：
归一化第一图像的深度值；
通过使用查找表调制归一化的深度值来确定与第一显示器和第二显示器相对应的权重，所述查找表使用深度值调制函数提供，其中如果所获得的深度值在sigmoid函数中变化区域的下限值和上限值之间，则所述深度值调制函数是sigmoid函数；和
根据所调制的深度值确定第一显示器的第一像素的第一值和第二显示器的第二像素的第二值，第二像素具有与第一像素的位置相对应的位置，
其中，所述确定还包括将同时显示第一显示器的第一像素和第二显示器的第二像素的深度值的范围控制在sigmoid函数中变化区域的下限值和上限值之间，以及
深度值的范围是基于用于确定sigmoid函数中变化区域的倾斜度的参数值确定的。
10.如权利要求9所述的方法，其中，当所述第二距离大于所述第一距离时，上限值小于所述第二距离，并且下限值大于所述第一距离。
11.如权利要求9所述的方法，其中，所述第一距离和所述第二距离是分别根据第一显示器和第二显示器的物理特性设置的。
12.如权利要求9所述的方法，其中，所述第二距离大于所述第一距离，以及
其中，所述确定还包括：响应于所述第一距离和所述第二距离的平均值大于所述深度值，确定所述第一像素的第一值大于所述第二像素的第二值。
13.如权利要求9所述的方法，其中，所述第二距离大于所述第一距离，以及
其中，所述确定还包括：响应于所述第一距离和所述第二距离的平均值大于所述深度值，确定施加到所述第一像素的第一值的权重大于施加到所述第二像素的第二值的权重。
14.如权利要求9所述的方法，其中，所述第一像素的第一值包括所述第一像素的亮度值，并且所述第二像素的第二值包括所述第二像素的亮度值。
15.如权利要求9所述的方法，还包括：输出附加图像，在所述附加图像中双眼视差被反映在第一图像上。
16.如权利要求15所述的方法，其中，所述第一图像被输出到用户的左眼和右眼中的一个，并且所述附加图像被输出到所述用户的左眼和右眼中的另一个。
17.一种非瞬时性计算机可读记录介质，其存储由计算机执行时实现如权利要求9所述的方法的程序。
CN201810551350.5A 2017-07-31 2018-05-31 用于处理图像的方法和装置 Active CN109327692B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170097122A KR102411661B1 (ko) 2017-07-31 2017-07-31 영상 처리 방법 및 디바이스
KR10-2017-0097122 2017-07-31

Publications (2)

Publication Number Publication Date
CN109327692A CN109327692A (zh) 2019-02-12
CN109327692B true CN109327692B (zh) 2023-08-08

Family

ID=62245131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810551350.5A Active CN109327692B (zh) 2017-07-31 2018-05-31 用于处理图像的方法和装置

Country Status (4)

Country Link
US (1) US10382738B2 (zh)
EP (1) EP3439302B1 (zh)
KR (1) KR102411661B1 (zh)
CN (1) CN109327692B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109557677A (zh) * 2017-09-26 2019-04-02 歌尔科技有限公司 显示设备和方法
CN116828174A (zh) * 2018-06-27 2023-09-29 Lg电子株式会社 对视频信号进行编解码的方法和发送方法
US11516385B2 (en) * 2020-12-09 2022-11-29 Microsoft Technology Licensing, Llc Dynamic quality proxy plural camera image blending

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873840A (zh) * 2012-12-12 2014-06-18 联想(北京)有限公司 显示方法及显示设备
WO2016105521A1 (en) * 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
CN205787364U (zh) * 2016-03-23 2016-12-07 北京三星通信技术研究有限公司 近眼显示设备
CN106612392A (zh) * 2015-10-21 2017-05-03 中兴通讯股份有限公司 一种基于双摄像头拍摄图像的方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6525699B1 (en) * 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
CN100573231C (zh) * 2004-09-08 2009-12-23 日本电信电话株式会社 三维显示方法、装置
JP6308513B2 (ja) 2012-07-31 2018-04-11 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
US8531519B1 (en) * 2012-09-06 2013-09-10 Google Inc. Automatic multi-device localization and collaboration using cameras
US10371943B2 (en) * 2013-03-14 2019-08-06 Valve Corporation Method and system to control the focus depth of projected images
KR101844232B1 (ko) * 2013-07-02 2018-04-02 엘지전자 주식회사 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
CN106464889A (zh) * 2014-03-06 2017-02-22 三星电子株式会社 执行基于子块的预测的层间视频解码方法和层间视频编码方法及其设备
US10200627B2 (en) * 2014-04-09 2019-02-05 Imagination Technologies Limited Virtual camera for 3-D modeling applications
CN104050682B (zh) 2014-07-09 2017-01-18 武汉科技大学 一种融合颜色和深度信息的图像分割方法
JP6585938B2 (ja) 2015-06-23 2019-10-02 日本放送協会 立体像奥行き変換装置およびそのプログラム
WO2017091704A1 (en) 2015-11-25 2017-06-01 Camplex, Inc. Surgical visualization systems and displays
CN106257995B (zh) 2016-07-25 2019-06-07 深圳大学 一种结构光场三维成像方法及其系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873840A (zh) * 2012-12-12 2014-06-18 联想(北京)有限公司 显示方法及显示设备
WO2016105521A1 (en) * 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
CN106612392A (zh) * 2015-10-21 2017-05-03 中兴通讯股份有限公司 一种基于双摄像头拍摄图像的方法和装置
CN205787364U (zh) * 2016-03-23 2016-12-07 北京三星通信技术研究有限公司 近眼显示设备

Also Published As

Publication number Publication date
US20190037196A1 (en) 2019-01-31
CN109327692A (zh) 2019-02-12
US10382738B2 (en) 2019-08-13
KR102411661B1 (ko) 2022-06-21
EP3439302B1 (en) 2023-11-01
EP3439302A1 (en) 2019-02-06
KR20190013100A (ko) 2019-02-11

Similar Documents

Publication Publication Date Title
CN109716244B (zh) 全息宽视场显示器
US20180035103A1 (en) See-through type display apparatus
CN109327692B (zh) 用于处理图像的方法和装置
US20130127861A1 (en) Display apparatuses and methods for simulating an autostereoscopic display device
JP7317003B2 (ja) 別個の位相および振幅変調器を伴う接眼３ｄディスプレイ
CN107076984A (zh) 虚像生成器
US10911733B2 (en) Light field display apparatus and method
US12052406B2 (en) Display apparatus and operating method of the same
US10353212B2 (en) See-through type display apparatus and method of operating the same
US11924401B2 (en) System and method for displaying a 3D image with depths
US10001648B2 (en) Occlusion-capable augmented reality display using cloaking optics
CN114114873A (zh) 全息显示装置及其操作方法
Wetzstein et al. State of the art in perceptual VR displays
TWI613463B (zh) 投影裝置以及影像投影方法
US9829721B2 (en) Method for determining a visual effect of an ophthalmic lens
KR101879430B1 (ko) 3차원 영상 표시 장치 및 방법
JP2009237310A (ja) 疑似３次元表示方法および疑似３次元表示装置
JP2005099425A (ja) 三次元表示装置
Sankaralingam Unified Graphics API for a Display-Agnostic Rendering System
CN115236855A (zh) 包括自由形成的表面的显示装置及其操作方法
JP2012227682A (ja) 立体映像表示装置、及び立体映像表示方法
JP2011033819A (ja) ３次元画像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant