CN112585962A - 用于形成大视点变化的扩展焦平面的方法和系统 - Google Patents

用于形成大视点变化的扩展焦平面的方法和系统 Download PDF

Info

Publication number
CN112585962A
CN112585962A CN201980054574.8A CN201980054574A CN112585962A CN 112585962 A CN112585962 A CN 112585962A CN 201980054574 A CN201980054574 A CN 201980054574A CN 112585962 A CN112585962 A CN 112585962A
Authority
CN
China
Prior art keywords
image
focus
depth
focal plane
focal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980054574.8A
Other languages
English (en)
Inventor
塞波·T·瓦利
佩卡·K·西尔塔宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
PCMS Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCMS Holdings Inc filed Critical PCMS Holdings Inc
Publication of CN112585962A publication Critical patent/CN112585962A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

描述了用于捕获和显示用于多焦平面(MFP)显示器的内容的方法和系统。在一个示例中，使用大光圈相机来捕获场景的多个纹理图像，每个纹理图像具有不同的焦距。对于每个纹理图像，生成焦平面图像。为了生成焦平面图像，在一些实施例中，每个纹理图像中的每个像素被乘以相应的权重值。权重值可以基于相应像素的测量深度(例如，如使用捕获的深度图确定的)和/或基于如通过滤波确定的相应像素的聚焦(或散焦)级别。焦平面图像可以显示在多焦平面显示器上，并且可以用于生成虚拟视点。

Description

用于形成大视点变化的扩展焦平面的方法和系统
相关申请的交叉引用
本申请是2018年07月06日递交的、名称为“用于形成大视点变化的扩展焦平面的方法和系统(Method and System for Forming Extended Focal Planes for LargeViewpoint Changes)”的美国临时专利申请No.62/694,722的非临时申请，并根据35U.S.C.§119(e)要求其权益，所述临时专利申请通过引用而整体并入本文。
背景技术
形成和使用多焦平面(MFP)是一种用于避免聚散度-调节冲突的方法，其使得观看者能够自然地沿着深度维度聚焦图像信息。该方法在近眼(眼镜)显示器中可能特别有用。
MFP显示器创建离散焦平面的堆叠，从而根据沿着观看者的视轴的层组成3D场景。通过以不同深度和空间角度投影用户可见的像素(或体素)来形成3D场景的视图。
每个焦平面显示3-D视图的表示对应于相应焦平面的深度范围的一部分。深度混合是一种用于在查看从离散焦平面编译的视图时平滑量化步长和轮廓描绘的方法，从而使得用户将不太可能感知到步长。深度混合在K.Akeley等人“具有多个焦距的立体显示原型(A Stereo Display Prototype with Multiple Focal Distances)”,ACM图形处理(TOG),v.23n.3,2004年08月,pp.804-813和Hu,X.,&Hua,H.(2014)“深度融合的多焦平面显示原型的设计与评估(Design and assessment of a depth-fused multi-focal-plane displayprototype)”IEEE/OSA显示技术杂志(Journal of Display Technology),10(4),308-316中更详细地描述。
当使用深度混合时，已经发现渲染相对少量的焦平面(例如4-6个平面)对于可接受的质量是足够的。这个数量的焦平面在技术上也是可行的。
可以通过空间复用2-D显示器的堆叠或通过以时间复用方式顺序地切换单个2-D显示器的焦距来实现多焦点平面显示器。单个2-D显示器的焦距的改变可以通过高速双折射(或其它可变焦元件)来实现，同时在空间上渲染相应多焦点图像帧的可见部分。在没有深度混合的情况下，希望使用更多数量的焦平面，例如14个或更多，如在J.P.Rolland等人,“多焦点平面头戴式显示器(Multifocal planes head-mounted displays)”Appl.Opt.39,3209–3215(2000)中所述。
人类视觉系统(HVS)有利于将焦平面放置在屈光尺度上的规则距离处。另一方面，使用线性尺度通常最容易捕获深度信息。这两种选择都可以用于MFP显示器。MFP近眼显示器的例子在图2中示意性地示出。图2示出了由用户的左眼202和右眼204观看的显示器。为每只眼睛提供相应的目镜206、208。目镜聚焦由相应的图像堆栈210、212形成的图像。图像堆栈在距目镜的不同距离处形成不同的图像。对于用户的眼睛，图像看起来源于不同的虚像平面，例如图像平面214、216、218。
MFP显示器创建所显示的场景的光场的近似。因为近眼显示器随着用户的头部移动而移动，所以在每个时刻仅支持一个视点就足够了。相应地，由于不需要捕获大量视点的光场，因此光场的近似更容易。
发明内容
本公开描述了用于捕获和显示用于多焦平面(MFP)显示器的内容的方法和系统。在一些实施例中，从焦点堆栈(以变化的焦距捕获的图像)生成内容。一些实施例可以在针对大的合成视差或视点改变而移动MFP时产生减少数量的去遮挡和空洞。
在一些实施例中，聚焦图像是用大光圈捕获的，使得一些图像信息是从遮挡对象的后面获得的。
一些实施例还执行大光圈深度感测，这可以通过大光圈深度传感器、通过应用散焦图、或者通过对由其形成的聚焦堆叠和/或焦平面使用合适的滤波和重新分布方案来实现。在一些实施例中，在形成重新分布的焦平面之前，应用滤波以聚焦堆叠图像。在一些实施例中，在形成焦平面之后应用滤波。然后，滤波结果被用于形成重新分布的焦平面(或更一般地，高频和/或重新分布的焦平面)。
一个示例如下操作。获得场景的多个纹理图像pi，其中每一纹理图像具有不同的相应焦距di。纹理图像可以是例如RGB图像或灰度图像，以及其他选项。对于每个纹理图像pi，生成焦平面图像qi。为了生成焦平面图像qi，纹理图像pi中的每个像素(x,y)由权重wi(x,y)加权。将纹理图像pi的每个像素值pi(x,y)乘以各自的权重wi(x,y)以生成焦平面图像qi，使得qi(x,y)＝pi(x,y)·wi(x,y)。
权重wi(x,y)可以表示在纹理图像pi中像素(x,y)对焦的量。可以使用不同的技术来确定在纹理图像pi中像素(x,y)对焦的量。在一些此类技术中，测量或以其它方式确定像素(x,y)的深度zi(x,y)，并且权重wi(x,y)是深度的函数，使得wi(x,y)＝wi[zi(x,y)]。函数wi[z]可以是如在已知的多焦显示器中使用的混合函数。在一些实施例中，函数在wi[di]处具有最大值(例如，值1)，指示当像素的测量深度与焦距相同时，像素最对焦的可能性。wi[z]的值可以随着z从焦距di增大或减小而单调地减小，从而针对更远离焦距并且不太可能对焦的像素深度给出较低权重。具有与焦平面充分偏移的深度值的像素可被赋予零权重(即使可辨别某一级别的聚焦)。
在一些实施例中，在纹理图像pi中像素(x,y)对焦的量通过产生散焦图来确定，该散焦图为纹理图像pi中的每个像素分配聚焦级别(或散焦级别)。例如，可以给予最对焦的像素一的权重，并且可以给予更不对焦的像素低至零的权重。
N个焦平面图像qo…qi…qN-1的集合可以使用这里描述的技术来生成，并且可以显示在多焦平面显示器上。根据显示器的类型，可以使用时间复用同时或以快速循环的顺序显示焦平面图像。
在一些实施例中，可用纹理图像pi的集合可以大于多焦平面显示器中的可用(或期望)显示平面的数量。在这种情况下，一种方法可以包括为每个显示平面选择一个焦平面图像。对于每个显示平面，可以选择具有与显示平面的焦距相同或最接近的焦距的纹理图像。
在一些实施例中，通过相对于焦平面图像中的至少第二焦平面图像横向移位焦平面图像中的至少第一焦平面图像来生成虚拟视点。例如，焦平面图像可以被横向移动与相应的焦平面图像的显示焦距(即，焦平面图像的显示平面的焦距)成反比的量。虚拟视点可用作立体视点对中的一个或两个。还可以响应于观看者头部运动生成虚拟视点以模拟运动视差。
在一些实施例中，基本上同时捕获每个纹理图像pi和相应的对应深度图di。可以利用相同或相似的光学器件来捕获每个纹理图像和相应的对应深度图。可以利用具有相同光圈的光学器件来捕获每个纹理图像和相应的对应深度图。
附图说明
图1A是示出了可以实现一个或多个所公开的实施例的示例通信系统的系统图。
图1B是示出了根据实施例可在图1A所示的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图。
图2是可以在一些实施例中使用的多焦近眼显示器的示意图。
图3A-3D是同一场景的不同纹理图像的示意性表示。图3A是场景的扩展景深图像的示意表示。图3B-3D是用聚焦在不同距离的较大光圈相机捕获的场景的图像的示意性表示。
图4A-4D是表示以不同焦距捕获的深度图的示意图。图4A-4D中所示的示意性深度图对应于图3A-3D中所示的相应纹理图像。
图5A-5C分别是根据图4B-4D的深度图生成的焦点权重图的示意图。
图6A示意性地示出了根据图3B的纹理图像和图5A的聚焦权重图生成焦平面图像。
图6B示意性地示出了根据图3C的纹理图像和图5B的聚焦权重图生成焦平面图像。
图6C示意性地示出了根据图3D的纹理图像和图5C的聚焦权重图生成焦平面图像。
图7示意性地示出了向用户显示图6A-6C的焦平面图像。
图8是示出一些实施例中生成和显示焦平面图像的方法的流程图。
图9是在一些实施例中遇到的不同焦距的示意图。
图10是示出一些实施例中生成和显示焦平面图像的方法的流程图。
图11是示出一些实施例中生成和显示焦平面图像的方法的流程图。
图12是示出一些实施例中生成和显示焦平面图像的方法的流程图。
图13A-13C示出了在一些实施例中对于不同焦平面的作为深度zi(x,y)的函数的聚焦权重wi(x,y)的示例。
图14A-14C示出了在附加实施例中对于不同焦平面的作为深度zi(x,y)的函数的聚焦权重wi(x,y)的示例。
用于实施例的实现的示例网络
图1A是示出了可以实施所公开的一个或多个实施例的示例通信系统100的图。该通信系统100可以是为多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM以及滤波器组多载波(FBMC)等等。
如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络元件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中操作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成传送和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订阅者单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中操作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上操作的设备等等。WTRU 102a、102b、102c、102d的任一者可被可互换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。每一个基站114a、基站114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一者对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个元件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络元件。
基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于许可频谱、未许可频谱或是许可与未许可频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，即，一个收发信机对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何合适的无线通信链路(例如射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何合适的无线电接入技术(RAT)来建立。
更具体地，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTE Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新无线电(NR)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(即全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)、以及GSM EDGE(GERAN)等等。
图1A中的基站114b例如可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何合适的RAT来促成局部区域中的无线连接，所述局部区域例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU 102c、102d可以通过实施诸如IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)要求，例如不同的吞吐量要求、等待时间要求、容错要求、可靠性要求、数据吞吐量要求、以及移动性要求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与可以使用NR无线电技术的RAN 104/113相连之外，CN106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如传输控制协议/网际协议(TCP/IP)网际协议族中的TCP、用户数据报协议(UDP)和/或IP)的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图1B是示出了示例WTRU 102的系统图。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等等。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述元件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中操作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收元件122。虽然图1B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以一起集成在一电子封装或芯片中。
发射/接收元件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收元件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收元件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收元件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收元件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图1B中将发射/接收元件122描述成是单个元件，但是WTRU 102可以包括任何数量的发射/接收元件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在一个实施例中，WTRU 102可以包括两个或更多个通过空中接口116来传送和接收无线信号的发射/接收元件122(例如多个天线)。
收发信机120可被配置成对发射/接收元件122所要传送的信号进行调制，以及对发射/接收元件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些元件的用户输入数据。处理器118还可以向扬声器/麦克风124、数字键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何合适的存储器中存取信息，以及将数据存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订阅者标识模块(SIM)卡、记忆棒、和安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置成分发和/或控制用于WTRU 102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何合适的位置确定方法来获取位置信息。
处理器118可以进一步耦合到其他外围设备138，其中所述外围设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0002945253300000121
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。外围设备138可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、姿势传感器、生物测定传感器、和/或湿度传感器。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧关联)的接收和传输可以是并发或同时的等。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送或接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧关联)的半双工无线电设备。
尽管在图1A-1B中将WTRU作为无线终端描述，可以想到的是，在某些代表性实施例中，这样的终端可以与通信网络使用(例如，临时地或永久地)有线通信接口。
在代表性实施例中，其他网络112可以是WLAN。
有鉴于图1A-1B以及关于图1A-1B的对应描述，这里描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行。仿真设备可以是被配置成模拟这里描述的一个或多个或所有功能的一个或多个设备。举例来说，仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施或部署的同时执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
具体实施方式
在图像捕获中使用大光圈的影响。
使用有限光圈的实际相机产生具有一定景深(DoF)的图像。景深可以被描述为距捕获点的距离跨度，在该跨度内像素是对焦的。在DoF之外，像素变得散焦或模糊。
当摄像机参数已知时，可以使用已知公式来计算或估计DoF。
在一个极端，理想化的针孔照相机是具有无限小的光圈的照相机。理想的针孔照相机产生具有无限大的DoF的图像，并且所有像素都对焦而不管它们的深度。实际上，在非常良好照明的条件下，针孔相机可以通过使用物理相机中的小光圈来近似。
在实际成像条件下，可以通过捕获和组合聚焦堆叠图像、具有若干焦距的图像来实现对针孔图像的近似。存在各种算法来将这些图像组合成一个扩展焦点图像。使用焦点捕获的离散集合来形成扩展焦点图像。
图3A是包括附近无线电设备、在中间距离处的窗框和在更远距离处的建筑物的场景的针孔图像302的示意性表示。由于针孔照相机的小光圈，所有距离处的对象都是对焦的。
图3B-3D是用聚焦在不同距离的较大光圈相机捕获的相同场景的图像的示意性表示。在一些实施例中，图3B-3D的图像被同时或基本上同时捕获(或者，在虚拟图像的情况下，被生成以表示基本上相同的时刻)。
图3B是聚焦在近距离f1的图像304的示意表示。无线电设备本身是对焦的(用实线示出)，而更远的窗框和建筑物至少部分地是未对焦的(用虚线示出)。
图3C是聚焦在中间距离f2的图像306的示意表示。窗框是对焦的，但是附近的无线电设备和更远的建筑物至少部分地是未对焦的。如图3C中还示意性地示出的，给定非零光圈尺寸，对焦窗框“通过”未对焦的无线电设备的天线部分可见。虽然这种影响在窄对象(例如无线电天线)中最显著，但是在较大的现实世界对象的边缘周围也是显著的。然而，为了保持本附图的清晰度和可再现性，这里仅针对窄对象示出该影响。
图3D是聚焦在更大距离f3的图像308的示意表示。附近的无线电设备和稍微更远的窗框是不对焦的，但是通过窗户可见的建筑物是对焦的。给定光圈尺寸，窗框的窄窗格条(水平和垂直横档)看起来至少部分透明，无线电天线也是如此。结果，与图3A的针孔图像相比，所捕获的图像包含关于建筑物的更大比例的信息。
图3A-3D示出了在不同焦点捕获中遮挡的影响。图3A-3D示出了当改变焦距时，由近的对象引起的遮挡不保持相同。例如，在图3D的图像中，聚焦于远处的建筑物，诸如窗格条和无线电天线的遮挡看起来被侵蚀和滤波，从而与聚焦于较近距离的图3B和3C的图像相比，揭示了更多的背景细节。
诸如图3A-3D所表示的那些图像可包含诸如色彩和亮度信息(例如，亮度和色度信息或RGB信息)等信息但不包含深度信息，它们在此被称为纹理图像。在一些情况下，在图像数据包括纹理和深度信息两者(例如RGBD图像)的情况下，术语纹理图像可用于指所述图像数据的含有亮度和/或色彩信息的一部分。
深度测量技术。
一些类型的深度传感器使用常规相机光学器件，并且产生深度图，该深度图通过其焦点属性相应地类似于照片。通常，对于深度感测，小光圈是有利的，以便获得在大景深(DoF)上对焦的深度图。大的光圈将增加灵敏度和范围，但是也将降低DoF。
在S.Honnungar等人的“用于大光圈飞行时间相机的焦点扫描(Focal-sweep forLarge Aperture Time-of-Flight Cameras)”，IEEE国际图像处理会议(ICIP)，2016，pp.953-957中描述了具有相对大光圈的深度传感器系统的示例。在一些实施例中，这种大光圈飞行时间相机可以用于深度感测。
能够生成深度图(指示距捕获设备的像素距离)的设备的一个示例是Kinect传感器。当将视图分解到焦平面(MFP)时，可以使用深度图。一种替代技术是拍摄基于相机的焦点捕获，并使用滤波和其他图像处理手段以使用“焦点距离深度”方法导出深度图。
散焦图的一个特性是，尽管在焦距的后面或前面有相同的距离，但它示出具有相同的散焦值的对象。另一个特性是，散焦图值-尽管相对于深度是非线性的-可以通过使用关于照相机参数(光圈、焦距等)的信息而被映射到线性距离，如在Shaojie Zhuo，TerenceSim，“根据单个图像的散焦图估计(Defocus map estimation from a single image)”，模式识别44(2011)，pp.1852-1858中所描述的。
在一些实施例中解决了的问题。
多焦平面(MFP)表示提供支持观看者调节而没有极端带宽的益处，并且捕获完整光场表示的挑战。当前MFP方法的局限性在于，由于例如遮挡造成的信息丢失，不能完全保留整个光场中存在的信息。
现有的MFP方法通常使用一个纹理图像和相应的深度图作为输入。除了几个其它影响质量的参数之外，获取每个纹理图像的精度限制了相应的MFP分解处理的质量及其结果，焦平面。
此外，当前的方法一般不利用由焦点堆栈提供的附加信息，焦点堆栈是利用从一个视图以变化的焦距捕获的图像的集合。特别地，当前的方法通常不利用由利用大光圈捕获的焦点堆栈提供的附加信息。这导致信息的丢失，否则当使用大光圈捕获时，这些信息可能在遮挡对象或结构之后或通过遮挡对象或结构被捕获。
在传统的MFP方法中，根据“针孔视点”形成深度图，并且在每个距离处形成MFP时使用相同的分割(遮挡)。为了从场景捕获更多信息，本文描述的一些示例针对每个捕获的图像使用若干焦点捕获(称为焦点堆栈)和单独的基于深度的分割(深度图)。
形成和使用MFP是一种用于避免聚散度-调节冲突以便使观看者能够自然地聚焦于深度维度中的图像信息的方法。该方法在近眼(眼镜)显示器中特别有用。发现渲染相对少量的MFP(4-6)对于质量是足够的，同时在技术上是可行的。
在用于MFP形成的当前方法中，通常使用纹理图像和相应的像素距离(深度图)。在一些情况下，该信息是虚拟的，并且使用3D建模产生，导致在任何地方都对焦的纹理(称为全对焦内容)。
3D信息也可以从真实世界视图中捕获。该视图可以由具有一个焦距、光圈和其他参数的物理相机来捕获，这导致仅在距捕获设备的特定距离处对焦的纹理图像。相应地，内容不是全对焦的。
实施例概述。
本文描述的过程和系统的示例操作以使用焦点堆栈(具有变化焦距的图像)作为输入来形成多个焦平面(MFP)。在一个示例中，对于每个焦点堆栈图像并行地执行多个传统MFP形成工艺，并且使用对焦最佳的像素和深度。
以变化的焦距捕获场景也可以应用于深度传感器，在一些实施例中，深度传感器使用具有可变焦距的相对大光圈光学器件。
基于深度的分解对每个纹理图像使用不同的分割(深度图)。相应地，在一些实施例中，所得到的MFP使用所有的焦点堆栈图像和(大部分)它们的信息内容。具体而言，与常规MFP方法相比，更多的信息被捕获到遮挡周围的焦平面。
通常，较大的光圈导致在遮挡对象边缘之后捕获更多的图像信息。该信息扩展了焦平面图像，并在它们之间产生了一些重叠。当叠加焦平面图像时，此重叠可表现为对象边缘附近的一些发亮。根据期望的用途，可以存在关于感知的图像质量的最佳重叠量。相应地，光圈尺寸可被选择为足以捕获足够的被遮挡区域而不会过度地突出显示或增强对象边缘。
在一些实施例中，由于在捕获多个焦点堆栈图像时使用相对大的光圈，遮挡对象或图像区域后面的信息也被捕获并被传递到MFP形成处理。与将焦点堆栈图像组合成一个扩展焦点图像时不同，该额外的信息在过程中被保存，并且导致具有扩展的信息量的MFP堆栈，在此称为具有扩展的焦平面的扩展的MFP堆栈。
一些实施例使用焦点堆栈(一系列纹理图像)和一系列对应的深度图作为输入。可通过以不同焦距拍摄一系列纹理图像或从自所述视图捕获的光场解析所述纹理图像来捕获焦点堆栈图像。在将适当的压缩方案应用于数据之后，发送该系列纹理图像和相应的深度图。
在传统的MFP处理中，将单个纹理图像乘以源自单个深度图的聚焦权重图。在一些实施例中，另一方面，以不同焦距捕获的一系列纹理图像对应于一系列略微不同的深度图和聚焦权重图。使用相对大的光圈和变化的焦距来捕获深度图。在一些实施例中，相同的光圈和焦距(光学器件)被用于焦点堆叠中的纹理图像。
所接收的深度图被用于生成聚焦权重图，所述聚焦权重图被用于焦平面(MFP)的形成和混合。焦点堆栈中的每个纹理图像与相应的聚焦权重图相乘以形成相应的焦平面图像。在一些实施例中，每个纹理图像与一聚焦权重图相乘，该聚焦权重图是从根据/针对相同焦距捕获的深度图形成的。
常规MFP方法分解具有一个焦距的一个图像或一个扩展焦点图像(虚拟建模场景或若干纹理图像的汇编)。遮挡对象或区域背后的相当数量的信息不进入MFP形成过程。
在一些实施例中，每个焦平面图像使用其对应的焦点捕获作为输入来形成。除了从所有焦距收集准确信息之外，该方法还利用了遮挡对象或区域背后的信息。使用本文所述的技术生成的焦平面被称为扩展MFP。
本文所使用的实施例可以在使用焦平面来生成虚拟视点改变的系统中采用。可以通过使MFP相对于彼此侧向移位来针对横向移位的视点执行虚拟视点改变的生成。移位的量取决于所选择的视点变化量(视差)以及每个MFP离观看者的距离。在一些实施例中，可以通过MFP的缩放，其中较近的MFP比较远的MFP缩放更大的量，来对在向前或向后方向上移位的视点执行虚拟视点改变的生成。
与传统MFP的移位相比，扩展MFP的移位可以导致去遮挡或空洞的级别降低。相应地，该益处可以用于增加虚拟视点改变的视差量。
一些现有的方法使用焦点捕获作为MFP分解程序的输入，但是已经被限制到对于人眼典型的光圈尺寸(在正常观看条件下在3-4mm的量级)。这些方法不能用于利用由在遮挡对象后面延伸的焦平面实现的内部涂色效应(减少孔洞)。
一些实施例在捕获聚焦叠层时受益于使用大光圈。光场也是用于提供具有变化焦距的大光圈图像的可行选项。与基于传输所有捕获数据的光场解决方案不同，一些实施例产生作为光场的近似进行操作的MFP，其可以被有效地压缩和传输。
由于可接受的技术复杂性和良好的渲染质量，MFP显示器是用于支持对3D内容的自然适应的非常可行的方法。因此，使用MFP也是捕获和传输所支持的非常自然的选择。
基于滤波的实施例可以操作以还针对场景中可能的非朗伯现象捕获焦点属性(例如，还针对反射和折射的图像信息示出正确的焦点)。
示例图像处理和显示方法。
捕获具有不同焦距的N个图像的集合。
一些实施例在使用相对大光圈图像捕获时利用从场景获取的额外信息。相对大的光圈在这里是指基本上大于人眼的光圈，在正常条件下为大约3mm。例如，可以使用1cm或更大的光圈。在一些实施例中，可以使用大约36mm的光圈。在一些实施例中，所述光圈在一厘米至几厘米的范围内。
捕获场景的N个纹理图像的集合，具有焦距f1,f2…fN。例如，图3B、3C和3D的纹理图像可以用相应的焦距f1、f2、f3来捕获。在该示例中，N是用于MFP形成和渲染中的焦平面的相同的相对小的数量。为了简单起见，在该示例中，MFP显示在相应的距离di处，其中d1＝f1,d2＝f2…dN＝fN。
当改变焦距时，所获得的纹理图像在相应的距离处聚焦。由于所使用的大光圈，每个纹理图像还可以包含来自遮挡对象边缘后面的一些信息，诸如图3D中建筑物被前景对象遮挡的部分。稍后在该过程中，该信息最终到达对应的焦平面(MFP)。在一些示例中，符号pi用于指代由值i索引的纹理图像，其中pi(x,y)是该纹理图像内的位置(x,y)处的像素值(例如，亮度值或RGB值，以及其他可能性)。
捕获或形成N个深度图。
在此示例中，对于N个纹理图像中的每一者，捕获单独的深度图。在不同的焦距的情况下，场景的最佳分割和深度像素的相应分配可以是不同的。
在一些示例中，符号zi用于指代与纹理图像pi对应的深度图。在一些实施例中，使用与用于相应的纹理图像pi的焦距相同的焦距di来捕获深度图zi。除了其它选项之外，可以使用飞行时间相机或结构光相机来捕获深度图。符号zi(x,y)在一些示例中用于指代针对该纹理图像内的位置(x,y)记录的深度。
在以大光圈尺寸(例如，1cm或更大)捕获的深度图中，较近对象与较远对象之间的边界可能“模糊”。例如，即使在较近和较远对象之间实际上存在清晰边界，用大光圈捕获的深度图也可展示跨像素的测量距离的逐渐过渡。例如，在如Honnungar等人所使用的飞行时间相机的情况下，边界附近的像素可以测量时间调制光的叠加，从而将从较近对象反射的光与从较远对象反射的光进行组合。在处理所接收的光以测量“飞行时间”(例如，根据Honnungar等人的等式1)时，结果可以反映在较近对象的深度和较远对象的深度之间的深度。虽然深度值的这种“模糊”在现有系统中可能被认为是不期望的，但是在本文描述的一些示例中使用该效果以有利地形成用于显示的扩展的焦平面，同时减少焦平面之间的孔或间隙的出现。
深度检测光学器件的焦距被调整，使得N个深度图中的每一个在与相应的焦点捕获图像相同的距离处对焦。当使用大光圈时，也可以获得被较近对象遮挡的像素/区域的深度值。
图4A-4D是表示用不同焦距捕获的深度图的示意图。图4A-4D中所示的示意性深度图对应于图3A-3D中所示的相应纹理图像。
图4A表示以非常小的光圈和基本上无限的焦深捕获的图3A-3D的场景的“针孔”深度图402。更远的区域用更深的影线表示，而更近的区域用更浅的影线表示(或者最近区域没有影线)。
图4B是使用与图3B的捕获纹理图像所使用的相同的光圈和焦距f1捕获的深度图404的示意图。具体地，图4B的深度图聚焦于前景中的无线电设备。更远的窗口窗格条是离焦的，并且因此对于深度相机而言显得至少部分透明。(为了说明，图4B的示意图中的窗格条被处理为完全透明的)。
图4C是使用与图3C的捕获纹理图像所使用的相同的光圈和焦距f2捕获的深度图406的示意图。具体地，图4C的深度图聚焦于中间距离处的窗框。无线电设备比焦距更靠近照相机。结果，无线电设备天线对深度相机表现为至少部分透明。(为了说明，在图4C的示意图中，天线被处理为完全透明)。
图4D是使用与图4D的捕获纹理图像所使用的相同的光圈和焦距f3捕获的深度图408的示意图。具体地，图4D的深度图聚焦于背景中的建筑物。无线电设备和窗框比焦距更靠近照相机。结果，无线电设备天线和窗口窗格条对于深度相机显得至少部分透明。(为了说明，天线和窗格条在图4D的示意图中被处理为完全透明的)
产生N个聚焦权重图。
深度混合可通过将深度混合函数应用于深度图来实现，例如，如在Kurt Akeley,Simon J.Watt,Ahna Reza Girshick,和Martin S.Banks(2004),“具有多个焦距的立体显示原型(A Stereo Display Prototype with Multiple Focal Distances)”ACM图形处理(TOG),v.23n.3,2004年08月,pp.804-813中所描述的。在一些实施例中，使用线性滤波器(也称为帐篷式滤波器)，尽管在一些实施例中可以使用非线性滤波器。
在一些实施例中，深度图被用于生成聚焦权重图(例如，N个聚焦权重图)，其指示图像像素对每个焦平面图像作出贡献的权重。
在一些这样的实施例中，正好在焦平面的距离处的那些像素仅对对应的焦平面有贡献(具有全权w＝1)。由于深度混合，两个焦平面之间的像素通过由对应的聚焦权重图所表示的权重(w1和w2；w1+w2＝1)对这两个平面有贡献。
符号wj(x,y)可以用于表示位置(x,y)处的像素相对于由j索引的显示焦平面的聚焦权重。在一些示例中，聚焦权重映射wj(x,y)是深度的函数，使得wj(x,y)＝wj[zi(x,y)]，其中zi(x,y)是由i索引的深度映射中位置(x,y)处的像素的深度(对应于由i索引的纹理图像)。
在一些实施例中，对应于N个图像的N个深度图中的每一者由N个混合函数处理。因此，可生成总共N×N个聚焦权重映射，其中在一些示例中每个聚焦权重映射可由wij(x,y)＝wj[zi(x,y)]表示，其中i，j＝0,…,N-1。可行的选择是仅使用与每个纹理图像的焦距相对应的那些聚焦权重图，使得在这样的实施例中每个聚焦权重图可以由wj(x,y)＝wj[zi(x,y)]来表示。每个这样的聚焦权重图包含与任何其他聚焦权重图相比最佳聚焦且准确的信息。在替代实施例中，例如为了提供期望的视觉效果，可以选择不对应于纹理图像的焦距的一个或多个聚焦权重图。
图5A-5C是与图3B-3D的相应纹理图像一起使用以生成距离f1、f2、f3的相应焦平面图像的聚焦权重图的示意图。聚焦权重图提供权重，该权重针对纹理图像的每个区域(例如，像素)表示该区域对焦的量。在图5A-5C的图示中，具有较高权重的区域(对应于更多对焦区域)用较亮(或不存在)阴影示出，而具有较低权重的区域(对应于更多未对焦的区域)用较暗阴影示出。
图5A示意性地示出了在生成距离f1的焦平面图像中使用的聚焦权重图504。具有接近距离f1的深度的区域被给予最高的聚焦权重，如使用图4B的深度图所测量的(其也是在焦距f1下捕获的)。例如，因为无线电设备基本上定位在距离f1处，所以无线电设备是对焦的，并且对应于无线电的区域(例如，像素)被给予最高聚焦权重。诸如窗框和背景建筑物的其它区域在更远的距离处，更加散焦，并且因此具有更低的聚焦权重。
图5B示意性地示出了在生成距离f2的焦平面图像中使用的聚焦权重图506。具有接近距离f2的深度的区域被给予最高的聚焦权重，如使用图4C的深度图所测量的(其也是在焦距f2下捕获的)。例如，因为窗框基本上定位在距离f2处，所以窗框是对焦的，并且对应于窗框的区域(例如像素)被给予最高聚焦权重。无线电设备是未对焦的，因为它比距离f2更近，并且背景建筑物是未对焦的，因为它比f2处于更大的距离，所以那些区域具有较低的聚焦权重。
图5C示意性地示出了在生成距离f3的焦平面图像中使用的聚焦权重图508。具有接近距离f3的深度的区域被给予最高的聚焦权重，如使用图4D的深度图所测量的(其也是在焦距f3下捕获的)。例如，因为背景建筑物基本上定位在距离f3处，所以建筑物是对焦的，并且对应于建筑物的区域(例如，像素)被给予最高聚焦权重。诸如窗框和无线电设备的其它区域在较近的距离处，更加未对焦，并且因此具有较低的聚焦权重。
N个焦平面图像的选择和使用。
在一些实施例中，通过将每个纹理图像乘以与其焦距相对应的聚焦权重图来形成焦平面图像。以这种方式形成，焦平面还包含遮挡对象边缘后面的一些信息。当捕获聚焦图像(和感测深度)时，光圈越大，这种信息的量越大。
图6A示意性地示出了在焦距f1处生成用于显示的焦平面图像604。在这个例子中，通过在逐个像素的基础上(可能在缩放或以其它方式对准纹理图像和聚焦权重图之后)将纹理图像304乘以聚焦权重图504来生成焦平面图像604。在焦平面图像604中最可见的内容主要是无线电设备，其是在焦距f1处最对焦的对象。
图6B示意性地示出了在焦距f2处生成用于显示的焦平面图像606。在这个例子中，通过将纹理图像306乘以聚焦权重图506来生成焦平面图像606。在焦平面图像606中最可见的内容主要是窗框，其是在焦距f2处最对焦的对象。
图6C示意性地示出了在焦距f3处生成用于显示的焦平面图像608。在该示例中，通过将纹理图像308乘以聚焦权重图508来生成焦平面图像608。在焦平面图像608中最可见的内容主要是建筑物，其是在焦距f3处最对焦的对象。
图7示意性地示出了例如使用诸如图2的MFP显示器向用户显示多个焦平面图像，具体地，在该示例中，焦平面图像604显示在最靠近用户的焦平面处(图的左侧)，焦平面图像606显示在离用户更远的焦平面处，而焦平面图像608显示在远处的焦平面处。对于用户，焦平面图像604可表现为在距用户的距离f1处，焦平面图像606可表现为在距用户的距离f2处，并且焦平面图像608可表现为在距用户的距离f3处。
图3-7的例子中使用的处理方法在图8的流程图中示出，在802，以不同的焦距捕获数量N个纹理图像。在804，为N个纹理图像中的每一者生成单独的深度图。在步骤806中，根据深度图中的每一者生成聚焦权重图。在步骤808中，将每个纹理图像乘以相关联的聚焦权重图以形成N个焦平面图像。在步骤810中，在多焦平面显示器上渲染N个焦平面图像。在启用运动视差的显示器的情况下，焦平面图像可响应于观看者的横向移动而相对于彼此横向移位和/或缩放以模拟运动视差。
示例聚焦权重确定。
在图3-7中所示的示例中，对于在焦距fi处的每个所显示的焦平面，存在利用焦距fi捕获的单个纹理图像和利用焦距fi捕获的单个深度图。(或者，其它深度图和纹理图像被捕获，但未被用来生成所显示的焦平面图像)。在这样的条件下，用来填充聚焦权重图的聚焦权重可以使用图13A-13C中所示的方法来计算。
图13A是用于具有最小焦距f1(最靠近相机或观察者)的焦平面的示例聚焦权重w1(x,y)的曲线图。在该示例中，每一聚焦权重w1(x,y)仅由也具有焦距f1的深度相机所捕获的相应像素深度z1(x,y)来确定。在该示例中，第二焦平面在焦距f2处。在该示例中，聚焦权重W1(x,y)计算如下。
·如果z1(x,y)≤f1，则w1(x,y)＝1。
·如果f1≤z1(x,y)≤f2，则w1(x,y)＝[z1(x,y)-f2]/[f1-f2]。
·如果z1(x,y)≥f2，则w1(x,y)＝0。
图13B是用于具有焦距fi的焦平面的示例聚焦权重wi(x,y)的曲线图，该焦平面既不是最近的也不是最远的焦平面。在该示例中，每一聚焦权重wi(x,y)仅由深度相机所捕获的相应像素深度zi(x,y)来确定，该深度相机也具有焦距fi。较近的焦平面在焦距fi-1处，而较远的焦平面在焦距fi+1处。在该示例中，聚焦权重wi(x,y)如下计算。
·如果zi(x,y)≤fi-1，则wi(x,y)＝0。
·如果fi-1≤zi(x,y)≤fi，则wi(x,y)＝[zi(x,y)–fi-1]/[fi–fi-1]。
·如果fi≤zi(x,y)≤fi+1，则wi(x,y)＝[zi(x,y)–fi+1]/[fi–fi+1]。
·如果zi(x,y)≥fi+1，则wi(x,y)＝0。
图13C是用于具有焦距fN的焦平面的示例聚焦权重wN(x,y)的曲线图，该焦平面是最远的焦平面。在该示例中，每一聚焦权重wN(x,y)仅由深度相机所捕获的相应像素深度zN(x,y)来确定，该深度相机也具有焦距fN。较近的焦平面在焦距fi-1处，而较远的焦平面在焦距fi+1处。在该示例中，聚焦权重wN(x,y)计算如下。
·如果zN(x,y)≤fN-1，则wN(x,y)＝0。
·如果fN-1≤zN(x,y)≤fN，则wN(x,y)＝[zN(x,y)–fN-1]/[fN–fN-1]。
·如果zN(x,y)≥fN，则wN(x,y)＝1。
图13A-13C的上述描述提供了代表距照相机或观察者的线性距离的fi值。然而，在一些实施例中，使用fi和zi的值的距离的倒数(例如屈光度尺度)来计算聚焦权重wi(x,y)。在这些实施例中仍然可以使用关于图13A-13C给出的等式，可以理解的是，fi的最小值(例如f1)将表示最远焦平面，fi的最大值(例如fN)将表示最近焦平面。使用相反距离尺度的此类实施例可更容易地适应使用位于“无穷远处”的焦平面。
图14A-14C类似于图13A-13C，但图14A-14C示出聚焦权重wi(x,y)无需相对于深度zi分段线性。图14A-14C所示的聚焦权重相对于深度zi是分段正弦的，但在其它实施例中可实现其它关系。在其它示例实施例中，在图13A-13C和14A-14C的实施例中，Wi在fi处具有最大值，并且在fi的任一侧上减小或保持恒定。
在一些实施例中，可能不是这样的情况，即对于焦距fi处的每个显示焦平面，是以焦距fi捕获的单个纹理图像和以焦距fi捕获的深度图。例如，在焦距fi处可以有显示平面，但是在相同焦距fi处没有捕获纹理图像和/或深度图。类似地，可以用不同的焦距来捕获深度图和纹理图像。图9中示出了这种条件的示例，其中存在两个不同的深度图、三个不同的纹理图像和两个不同的焦平面图像，它们都没有相同的对应焦距。
在这样的条件下，一些实施例中的图像处理可以如下执行。焦平面图像i中的位置(x,y)处的像素值(例如，亮度值或RGB值)可以由qi(x,y)表示。不同显示焦平面j中的像素值可以由pj(x,y)表示。每个像素值qi(x,y)可以计算如下：
Figure BDA0002945253300000271
其中wij(x,y)是聚焦权重图中的聚焦权重。权重wij(x,y)又可以利用由zi(x,y)表示的深度图来确定。权重wij(x,y)表示来自纹理图像j中的所捕获像素pj(x,y)对焦平面图像i中的显示像素qi(x,y)的贡献的权重。
在一些实施例中，基于至少两个因子确定权重：(i)基于焦平面i和所捕获的纹理图像j的焦距之间的差的因子，以及(ii)基于所捕获的纹理图像中的各个像素的聚焦级别的因子。
当焦平面i和纹理图像j都具有相同的焦距时，基于焦平面i和所捕获的纹理图像j的焦距之间的差的因子可以具有值1，并且可以由于焦距之间的差的增加而减小该因子。
基于所捕获的纹理图像中的各个像素的聚焦级别的因子可以取决于纹理图像的焦距与所捕获的像素的测量深度之间的差。当所捕获的像素的测量深度等于纹理图像的焦距时，该因子可以具有值1，否则可以减小该因子。如果在与纹理图像相同的焦距处没有捕获到深度图，则可以例如通过基于具有最近焦距的深度图的线性内插来确定所捕获的像素的测量深度。在一些实施例中，如以下更详细描述，使用散焦图来确定各个像素的聚焦级别。这样的实施例不需要捕获深度图的使用。
使用散焦图来形成聚焦权重图。
在一些实施例中，如上所述，为了使被遮挡信息最终到达焦平面，使用具有不可忽略的尺寸的光圈而不是使用针孔光圈来执行深度感测。在一些这样的实施例中，可以使用与用于捕获深度图像的相同的光圈和焦距来捕获深度图的集合。在替换实施例中，执行焦点堆栈图像的滤波以从遮挡区域捕获信息，该信息可以出现在任何焦点堆栈图像中，并使用它来形成扩展MFP。可在不使用单独的深度传感器的情况下实施此类实施例。
在一些实施例中，使用“距焦点深度”方法，例如在Shaojie Zhuo，Terence Sim，“根据单个图像的散焦图估计(Defocus map estimation from a single image)”，模式识别44(2011)，pp.1852-1858中描述的方法，为每个捕获的纹理图像导出焦点重量图。
在一些实施例中，形成N个散焦图，每个散焦图对应于一个纹理图像(例如，使用Zhuo&Sim的方法)。每一散焦图覆盖整个所捕获视图的深度范围。深度混合操作可被用于形成相应的聚焦权重图。在这样的实施例中，基于聚焦级别而不是基于测量的深度来确定聚焦权重图。
在一些情况下，深度混合函数是对称的，无论像素是在焦点(焦平面)距离的前面还是后面，都产生相同的贡献。散焦图固有地具有这种特性。
可以注意到，对于散焦图像，焦距也是已知的。因此，尽管尺度不同，但两种尺度的起源是相同的。为了满足深度图的约定，可在深度混合之前反转散焦图。这使得它基本上是一个焦点图，示出了最高焦点的最高值。然而，此图仍可称为散焦图。
图10示出了将(散焦)聚焦图解释为深度图，并使用线性滤波器将测试图像分解为三个MFP的示例。在1002，以不同的焦距捕获N个不同的纹理图像。在1004，对每个纹理图像进行滤波以形成相应的散焦图。散焦图的生成可以利用相机参数，诸如光圈和焦距。在1006，根据散焦图生成N个聚焦权重图。在1008，将每个纹理图像乘以相应的聚焦权重图以形成总共N个焦平面图像。在步骤1010，在多焦平面显示器上渲染焦平面图像。
通过使用散焦平面生成的聚焦权重图可在很大程度上对应于使用深度图生成的聚焦权重图，除了尺度之外，对于散焦图，其不必与距离成线性关系。虽然相信此差异不具有显著效果，但在一些实施例中，可能需要使散焦图的亮度尺度线性化。如Zhuo&Sim中所述，当捕获纹理图像时，可以利用摄像机参数的知识来执行线性化。
使用滤波和重新分布来形成多个焦平面。
在一些实施例中，使用滤波和重新分布来形成焦平面图像。
当产生支持视点改变(例如，运动视差和/或立体视图的生成)的MFP时，滤波和重新分布可以减少去遮挡。重新分布操作用于通过滤波每个焦平面图像的高频和低频分量来分离和重新分布。高频被保持在它们出现的相同级别/距离处，但是低频分量被分布在焦平面图像中。低频分量的重新分布是可行的，因为它们仅对人类视觉系统中的深度线索做出较小贡献。
在一些实施例中，通过不同的焦距捕获纹理图像的堆叠，并且通过已知的焦距暗示用于高频的深度位置。来自遮挡区域的信息被捕获至MFP，获得了重新分布的益处，并且没有使用深度图或深度混合。在一些实施例中，使用大光圈图像以便从遮挡区域捕获信息。光圈直径可以是几厘米的数量级。滤波和重新分布可以以这样的方式实现，即该信息最终到达重新分布的MFP；滤波在整个图像区域上是相同的，因此不可能排除从遮挡区域捕获的信息。结果似乎没有遭受这样的事实，即，可以通过遮挡纹理看到边缘附近的被遮挡区域，从而改变了相应像素的亮度。
对于与边缘周围的信息重叠相关的最佳光圈尺寸，可能存在实际限制。除了作为解决方案限制光圈尺寸之外，可以实现基于图像处理的解决方案，以仅当被遮挡的信息从边缘后面被显露时，例如当对于虚拟视点相对于彼此移动焦平面(移动量确定显露或覆盖哪些像素)时，才显示被遮挡的信息。
图11示出了一个这种方法的示例，在1102，从真实或合成场景捕获大光圈光场。在1104，根据光场图像生成N个焦点堆栈图像，每个焦点堆栈图像具有不同的焦距。在1106，根据光场图像生成扩展焦点图像(例如，“针孔”型图像)。在1108，将高通滤波器应用于焦点堆栈图像以获得高频图像分量。在1110，将低通滤波器应用于扩展焦点图像以获得低频图像分量。在1112，来自扩展焦点图像的低频图像分量被添加到滤波的(高频)焦点堆栈图像，可能具有诸如1/N的缩放因子。在1114，现在包括高频分量(来自原始焦点堆栈图像)和低频分量(来自扩展焦点图像)的重新分布的焦平面图像被渲染。在一些实施例中，焦平面图像的堆叠可被相对于彼此移位以产生场景的立体视图和/或模拟运动视差。在不同焦平面图像中的低频分量的分布允许在图像中的任何间隙或空隙变得可见之前的大量移位。
图12示出了用于使用滤波从光场生成焦平面图像的另一技术。在1202，从真实或合成场景捕获大光圈光场。在1204，根据光场图像生成N个焦点堆栈图像pic1…picN，每个焦点堆栈图像具有不同的焦距。在1206，根据光场图像生成扩展焦点图像(例如，“针孔”型图像)pic.ext。(在一些实施例中，扩展焦点图像可由具有不同焦距的单独焦点捕获形成)。在1208处，将低通滤波器应用于焦平面图像以获得低频图像分量pic1.lf…picN.lf。在1210，将低通滤波器应用于扩展焦点图像以获得低频图像分量pic_ext.lf。在1212，来自扩展焦点图像的低频图像分量被添加到焦平面图像，可能利用诸如1/N的缩放因子。得到的图像现在包括它们的原始低频分量和来自pic_ext.lf的低频贡献；因此，在1213，低通滤波图像pic1.lf…picN.lf被减去以生成重新分布的焦平面图像pic1.rd…picN.rd。在1214，这些重新分布的焦平面图像被显示给用户。在一些实施例中，焦平面图像的堆叠可被相对于彼此移位以产生场景的立体视图和/或模拟运动视差。在不同焦平面图像中的低频分量的分布允许在图像中的任何间隙或空隙变得可见之前的大量移位。
在一些这样的实施例中，使用高斯滤波来执行低通滤波。在图12的例子中，焦平面图像的低通滤波(在1208处)之后，从原始图像中减去低通滤波图像(在1213处)具有高通滤波的效果。在替代实施例中，明确地执行焦平面图像的高通滤波。
用信号通知多个深度和聚焦图像。
本文描述的实施例可以使用与单个时刻相对应的多个深度图和焦点图像。在一些实施例中，技术用于深度图和焦平面图像的高效存储和/或通信。
将深度图像和聚焦图像相关联。
在一些情况下，深度捕获的焦距可以不同于图像捕获的焦距。深度图的分辨率可以不同，通常具有比图像捕获的分辨率低的分辨率。在一些实施例中，在深度图的上采样期间，图像映射中的边缘映射可以用于提供信息以细化深度边缘。深度图可以以不同的帧速率被信号发送并且被内插到图像帧速率。深度图也可以具有不同的比特深度和图像值到深度值的映射。
在许多情况下，除了对象的边缘周围，深度图可能具有很少的细节。在一些实施例中，深度图的分辨率可被降低以用于通信，并且然后在用于计算深度加权函数之前被调整大小到全分辨率。当针对特定焦点深度值上采样深度图时，高分辨率图像捕获的存在可被用于引导边缘周围的内插。在许多情况下，深度图是单通道图像，没有颜色，并且比特深度可以相对低。比特深度和实际距离之间的关系可以通过传递函数来表示。
视频序列级参数。
给定焦平面图像和深度图之间的可能差异，诸如比特深度、空间分辨率、时间帧速率和焦距值，包括多个聚焦图像和深度图的编码视频序列可以为聚集图像和深度图两者独立地提供这些参数值。序列级参数的描述在表1中示出。
表1.多聚焦图像序列信息参数。
Figure BDA0002945253300000321
聚焦图像序列级参数在序列上是恒定的，并且描述了对于时间序列的所有聚焦图像共同的特性。
num_focal_images：对应于单个帧时间的聚焦图像的数量。
focal_images_fps：聚焦图像序列的帧速率定义了对应于相同焦距的图像之间的时间偏移。
focal_images_height：每个聚焦图像的以像素的空间高度。
focal_images_width：每个聚焦图像的以像素的空间宽度。
focal_images bit_depth：每个聚焦图像的样本的比特深度。
focal_images_num_color_planes：描述了颜色平面的数量，例如RGB或YUV序列的3个。
focal_distance[f]:：该阵列的每个条目给出了与焦点图像的索引相对应的焦距。
深度图序列级参数在序列上是恒定的，并且描述序列的深度图共有的特性。
num_depth_maps：对应于单个帧时间的深度图的数目。可能不同于焦点图像的数量。
depth_maps_fps：深度图序列的帧速率定义了对应于相同深度距离的图像之间的时间偏移。
depth_maps_height：每个深度图以像素的空间高度。
depth_maps_width：每个深度图以像素的空间宽度。
depth_maps_bit_depth：每个深度图图像的样本的比特深度。
depth_map_distance[f]：该阵列的每个条目给出对应于深度图的索引的距离值。这是与在记录深度图时使用的焦距相对应的距离。
帧级参数。
视频序列中的各个帧可以指示它们的类型：聚焦图像或深度图、索引相关序列级参数集，并且另外经由图像计数指示时间偏移、以及指示到focal_distance或depth_map_distance值的索引。这些帧级参数在表2和表3中示出。
表2.聚集图像单帧参数。
Figure BDA0002945253300000331
下面描述用于单个聚焦图像的帧级参数：
sequence_id：是指在多个序列参数集的情况下使用的单个序列参数集。
frame_count：描述了聚焦图像在帧序列内的时间位置。
depth_map_distance_index：索引焦距值的序列级列表。
表3.深度图单帧参数。
Figure BDA0002945253300000341
下面描述用于单个深度图的帧级参数：
sequence_id：是指在多个序列参数集的情况下使用的单个序列参数集。
frame_count：描述了聚焦图像在帧序列内的时间位置。
depth_map_distance_index：索引深度图距离值的序列级列表。
在对焦平面图像进行编码中使用图像间预测。
在不同聚焦条件下捕获的图像之间的相关性可以经由使用类似于SNR可缩放性技术的图像间预测来开发，其中质量变化但分辨率不变。在一些实施例中，通过用信号通知一个聚焦捕获图像并且用信号通知该第一聚焦捕获图像与第二聚焦捕获图像之间的差异来开发同一场景的不同聚焦捕获之间的相关性。
在编码中使用帧间深度图预测。
深度图之间的相关性可以用于减少带宽需求。类似于经由残差用信号发送单个基本聚焦图像和附加聚焦图像，可以通过在深度图之间进行预测来用信号发送具有不同聚焦捕获的多个深度图。
在一些实施例中的附加特征。
在一些实施例中，所形成的焦平面的数量和位置与所捕获的纹理图像的数量和位置相同。在数目和/或位置不同的情况下，纹理图像可以首先根据它们离对应的焦平面位置的距离被混合到最近的焦平面。
值得注意的是，在各种MFP方法中，深度图用于将场景信息/像素分离或分解为多个深度范围，用于形成相应的焦平面。代替深度图，可以使用其他依赖于深度的映射标准来进行分离。上文关于为此目的使用散焦图描述了可选的深度相关映射的示例。散焦图类似于深度图，但是代替深度感测，散焦图基于图像模糊，图像模糊可以通过对图像的滤波来检测。
在一些实施例中用于分离的另一标准是使用景深。然而，景深遵循相对复杂的3D和光学几何数学。DoF在图像中显示为具有聚焦像素的区域(超平面)，而外部区域相应地散焦。通过使用适当的滤波来检测聚焦区域，计算DoF可以被替换为通过滤波来检测聚焦区域。
在执行空间频率分量的重新分布的实施例中，通过不同的焦距捕获纹理图像的堆叠，并且通过已知的焦距暗示高频的深度位置，其现在被用作用于分配深度信息的标准。此外，使用滤波来检测互补的DoF的集合和相应的焦点堆栈图像，在深度和聚焦信息上覆盖整个捕获的体积。可以用数学方法确定焦点图像的数量和位置，以便捕获场景的大部分对焦细节(高频)。
在一些实施例中，一种方法包括获得场景的多个纹理图像，每个纹理图像具有不同的相应焦距；以及对于每个纹理图像，通过以下生成焦平面：(i)确定所述纹理图像的多个像素中的每个像素的对应权重，其中所述权重表示所述像素对焦的量，以及(ii)将所述多个像素中的每个像素的像素值乘以所述对应权重。焦平面图像可以以多焦平面显示器显示，例如基本上同时或以时间复用方式(例如，顺序地)显示。
在一些实施例中，一种方法包括获得场景的多个纹理图像pi，每个纹理图像具有不同的相应焦距di；以及对于每个纹理图像pi，通过以下生成焦平面图像qi：(i)确定纹理图像的多个像素中的每一个像素的对应权重wi，其中权重wi(x,y)表示像素(x,y)对焦的量，以及(ii)将纹理图像pi的每个像素值pi(x,y)乘以相应权重wi(x,y)以生成焦平面图像qi，使得qi(x,y)＝pi(x,y)·wi(x,y)。
可以至少部分地基于与像素对应的深度值zi(x,y)和包括该像素的纹理图像的焦距di之间的差来确定纹理图像中的像素聚焦的量。
在一些实施例中，对于每个纹理图像，获得场景的深度图像zi(x,y)。对于每个纹理图像pi(x,y)，通过函数wi[zi(x,y)]确定权重wi(x,y)。在一些实施例中，可以获得单个深度图像以与所有纹理图像一起使用，并且zi(x,y)对于i的所有值可以是相同的。在一些实施例中，wi[zi(x,y)]在wi[di]处具有最大值。
在一些实施例中，获得多个纹理图像包括：在具有多个显示焦平面的显示设备处接收初始纹理图像的集合，每个显示焦平面具有不同的相应焦距；以及从所述初始纹理图像的集合中选择具有与显示焦平面的焦距相对应的焦距(例如，具有相同的焦距或最近的焦距)的所选纹理图像pi的集合。每个所选纹理图像pi可具有等于显示焦平面之一的焦距di。
在一些实施例中，一种提供场景的多层图像的方法包括：对于多个不同焦距中的每一个焦距，(i)捕获聚焦在相应焦距处的场景的纹理图像，以及(ii)捕获聚焦在相应焦距处的场景的深度图像(例如，使用飞行时间相机)；以及传送所捕获的纹理图像和深度图像。每个纹理图像和相应的对应深度图像可基本上同时被捕获。每个纹理图像和相应的对应深度图像是用相同的光学器件捕获的。在一些实施例中，所捕获的纹理图像和深度图像被编码在比特流中，并且传送所捕获的纹理图像和深度图包括传送编码的比特流。在一些这样的实施例中，对所捕获的纹理图像和深度图像进行编码包括使用纹理图像中的至少第一纹理图像作为用于对纹理图像中的至少第二纹理图像进行编码的预测符。在一些实施例中，对所捕获的纹理图像和深度图像进行编码包括使用纹理图像中的至少一个纹理图像作为用于对深度图像中的至少一个深度图进行编码的预测符。
注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其执行(即，执行、施行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、和/或软件指令等的形式或包括它们，并且可以存储在任何适当的非暂时性计算机可读介质或媒介中，诸如通常被称为RAM、ROM等。
尽管以上以特定的组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可以单独使用或与其它特征和元件任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读存储介质的示例包括但不限于，只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘的磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)的光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。

Claims (15)

1.一种方法，包括：
获得场景的多个纹理图像，每个纹理图像具有不同的相应焦距；以及
对于每个纹理图像，通过以下生成焦平面图像：(i)确定所述纹理图像的多个像素中的每个像素的对应聚焦权重，其中所述聚焦权重表示所述像素对焦的量，以及(ii)将所述多个像素中的每个像素的像素值乘以所述对应聚焦权重。
2.根据权利要求1所述的方法，进一步包括在多焦平面显示器中在所述焦平面图像的所述相应焦距处的显示所述焦平面图像。
3.根据权利要求2所述的方法，其中所述焦平面图像被基本上同时显示。
4.根据权利要求1-3中任一项所述的方法，其中纹理图像中的像素对焦的所述量至少部分基于与所述像素对应的深度值而被确定。
5.根据权利要求1-4中任一项所述的方法，进一步包括获得每个纹理图像的对应深度图，其中所述纹理图像中的所述像素的所述聚焦权重基于所述深度图而被确定。
6.根据权利要求5所述的方法，其中纹理图像中的每个像素的所述聚焦权重至少部分基于包括所述像素的所述纹理图像的所述焦距与所述对应深度图中的所述像素的深度值之间的差而被确定。
7.根据权利要求5或6所述的方法，其中每个纹理图像的所述深度图在所述对应纹理图像的所述焦距处被捕获。
8.根据权利要求5-7中任一项所述的方法，其中：
获得多个纹理图像包括：在所述相应焦距处捕获所述多个纹理图像中的每一者；以及
获得对应深度图包括：捕获所述场景的聚焦在所述相应焦距处的每个深度图。
9.根据权利要求1-8中任一项所述的方法，其中纹理图像i中的像素的所述聚焦权重wi(x,y)根据所述像素的深度zi(x,y)被确定，使得wi(x,y)＝wi[zi(x,y)]。
10.根据权利要求9所述的方法，其中当zi(x,y)基本上等于所述纹理图像i的所述焦距时，wi[zi(x,y)]具有最大值。
11.根据权利要求1-3中任一项所述的方法，其中纹理图像中的像素对焦的所述量至少部分基于根据纹理图像生成的散焦图而被确定。
12.根据权利要求1-11中任一项所述的方法，进一步包括通过将所述焦平面图像中的至少一者移位与所述相应焦平面图像的所述显示焦距成反比的量来生成虚拟视点。
13.根据权利要求12所述的方法，进一步包括将所生成的虚拟视点显示为立体视点对中的一者。
14.根据权利要求12所述的方法，进一步包括响应于观看者头部运动来显示所生成的虚拟视点以模拟运动视差。
15.一种包括处理器和非暂时性计算机可读介质的系统，操作用于执行包括以下步骤的方法：
获得场景的多个纹理图像，每个纹理图像具有不同的相应焦距；以及
对于每个纹理图像，通过以下生成焦平面图像：(i)确定所述纹理图像的多个像素中的每个像素的对应聚焦权重，其中所述聚焦权重表示所述像素对焦的量，以及(ii)将所述多个像素中的每个像素的像素值乘以所述对应聚焦权重。
CN201980054574.8A 2018-07-06 2019-06-28 用于形成大视点变化的扩展焦平面的方法和系统 Pending CN112585962A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862694722P 2018-07-06 2018-07-06
US62/694,722 2018-07-06
PCT/US2019/039746 WO2020009922A1 (en) 2018-07-06 2019-06-28 Method and system for forming extended focal planes for large viewpoint changes

Publications (1)

Publication Number Publication Date
CN112585962A true CN112585962A (zh) 2021-03-30

Family

ID=67539572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054574.8A Pending CN112585962A (zh) 2018-07-06 2019-06-28 用于形成大视点变化的扩展焦平面的方法和系统

Country Status (4)

Country Link
US (1) US20210235067A1 (zh)
EP (2) EP3818695B1 (zh)
CN (1) CN112585962A (zh)
WO (1) WO2020009922A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701318B2 (en) * 2015-08-14 2020-06-30 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
WO2020259839A1 (en) * 2019-06-27 2020-12-30 Huawei Technologies Co., Ltd. Multifocal display device and method
JP7434032B2 (ja) * 2020-03-31 2024-02-20 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
EP4348587A1 (en) * 2021-06-02 2024-04-10 Dolby Laboratories Licensing Corporation Method, encoder, and display device for representing a three-dimensional scene and depth-plane data thereof
US11770513B1 (en) * 2022-07-13 2023-09-26 Rovi Guides, Inc. Systems and methods for reducing a number of focal planes used to display three-dimensional objects

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080252556A1 (en) * 2007-04-10 2008-10-16 Ling-Yuan Tseng 3d imaging system employing electronically tunable liquid crystal lens
CN104899870A (zh) * 2015-05-15 2015-09-09 清华大学深圳研究生院 基于光场数据分布的深度估计方法
US20160080717A1 (en) * 2014-09-15 2016-03-17 Mantisvision Ltd. Methods circuits devices systems and associated computer executable code for rendering a hybrid image frame
CN105474622A (zh) * 2013-08-30 2016-04-06 高通股份有限公司 用于产生全对焦图像的方法和设备
CN107924104A (zh) * 2015-08-18 2018-04-17 英特尔公司 深度感测自动聚焦多相机系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US9485487B2 (en) * 2011-06-22 2016-11-01 Koninklijke Philips N.V. Method and apparatus for generating a signal for a display
JP2014071207A (ja) * 2012-09-28 2014-04-21 Canon Inc 画像処理装置、撮像システム、画像処理システム
US20160307368A1 (en) * 2015-04-17 2016-10-20 Lytro, Inc. Compression and interactive playback of light field pictures
JP6489932B2 (ja) * 2015-05-19 2019-03-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US9609307B1 (en) * 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US10484599B2 (en) * 2016-10-25 2019-11-19 Microsoft Technology Licensing, Llc Simulating depth of field
CN110352592B (zh) * 2017-03-08 2021-08-17 索尼公司 成像设备和成像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080252556A1 (en) * 2007-04-10 2008-10-16 Ling-Yuan Tseng 3d imaging system employing electronically tunable liquid crystal lens
CN105474622A (zh) * 2013-08-30 2016-04-06 高通股份有限公司 用于产生全对焦图像的方法和设备
US20160080717A1 (en) * 2014-09-15 2016-03-17 Mantisvision Ltd. Methods circuits devices systems and associated computer executable code for rendering a hybrid image frame
CN104899870A (zh) * 2015-05-15 2015-09-09 清华大学深圳研究生院 基于光场数据分布的深度估计方法
CN107924104A (zh) * 2015-08-18 2018-04-17 英特尔公司 深度感测自动聚焦多相机系统

Also Published As

Publication number Publication date
EP3818695A1 (en) 2021-05-12
WO2020009922A1 (en) 2020-01-09
EP4270944A3 (en) 2024-01-03
EP3818695B1 (en) 2023-10-04
EP4270944A2 (en) 2023-11-01
US20210235067A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US11477434B2 (en) Multifocal plane based method to produce stereoscopic viewpoints in a DIBR system (MFP-DIBR)
EP3818695B1 (en) Method and system for forming extended focal planes for large viewpoint changes
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
US11689709B2 (en) Method and system for near-eye focal plane overlays for 3D perception of content on 2D displays
US9076267B2 (en) Image coding device, integrated circuit thereof, and image coding method
US20210049779A1 (en) System and method for optimizing dynamic point clouds based on prioritized transformations
KR20230117492A (ko) 면 연속성을 사용하는 360 도 비디오 코딩
EP2833638B1 (en) Image processing device, imaging device, and image processing method
WO2018200337A1 (en) System and method for simulating light transport between virtual and real objects in mixed reality
CN114375583A (zh) 用于自适应小透镜光场传输和渲染的系统和方法
CN114080582A (zh) 用于稀疏分布式渲染的系统和方法
WO2013146067A1 (ja) 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム
US20120170841A1 (en) Image processing apparatus and method
CN103037236A (zh) 图像处理方法以及装置
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
KR101119941B1 (ko) 입체영상의 화질 개선 장치 및 방법
JP2014230251A (ja) 画像処理装置、および画像処理方法
US20230056576A1 (en) 3d point cloud enhancement with multiple measurements
CN118158376A (zh) 用于近眼焦平面覆盖层的方法和系统
WO2021240056A1 (en) Method and system for supporting 3d perception from monocular images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230505

Address after: Delaware

Applicant after: Interactive Digital VC Holdings

Address before: Wilmington, Delaware, USA

Applicant before: PCMS HOLDINGS, Inc.