CN103270759B - 用于基于反馈的三维视频的零视差平面 - Google Patents

用于基于反馈的三维视频的零视差平面 Download PDF

Info

Publication number
CN103270759B
CN103270759B CN201180062656.0A CN201180062656A CN103270759B CN 103270759 B CN103270759 B CN 103270759B CN 201180062656 A CN201180062656 A CN 201180062656A CN 103270759 B CN103270759 B CN 103270759B
Authority
CN
China
Prior art keywords
roi
image
zdp
images
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180062656.0A
Other languages
English (en)
Other versions
CN103270759A (zh
Inventor
毕宁
张雪瑞
齐英勇
张钱仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103270759A publication Critical patent/CN103270759A/zh
Application granted granted Critical
Publication of CN103270759B publication Critical patent/CN103270759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明的技术针对例如可用于视频电话VT和人机接口HMI应用的三维图像的基于反馈的立体显示。根据一个实例，可基于确定所俘获图像的至少一个像素的视差来自动确定以立体方式俘获的图像的兴趣区ROI。根据另一实例，可基于经识别的ROI确定用于以立体方式俘获的图像的3D表示的呈现的零视差平面ZDP。根据此实例，可自动识别或基于接收到识别所述ROI的用户输入而识别所述ROI。

Description

用于基于反馈的三维视频的零视差平面
技术领域
本发明大体涉及视频的基于反馈的显示。更特定来说，本发明描述用于针对例如视频电话(VT)和/或人机接口(HMI)应用等基于反馈的视频应用的三维(3D)视频的呈现的技术。
背景技术
视频的基于反馈的显示(其中实时显示用户的图像)近些年来已变得愈加流行。举例来说，基于反馈的视频可用于视频电话(VT)应用。视频电话(VT)是指其中用户在有或没有相关联音频的情况下使用所俘获的双向视频进行通信的系统。第一位置处俘获的第一用户的视频和/或音频可实时或接近实时地发射到第二位置处的第二用户，且反之亦然。二维(2D)视频电话系统的一个实例是可用于在的上使用的视频电话应用。2DVT系统的其它实例包含例如由Google公司提供的Google聊天网络应用以及提供的iChat通信接口所提供的视频聊天特征。还存在许多其它视频电话应用。
基于反馈的视频还可用于人机接口(HMI)应用。HMI应用可提供供人类用户与计算机或其它机器介接的机制。HMI的实例可包含键盘、鼠标、语音命令或触摸屏接口。近些年来，已开发出利用机器的某一形式的运动检测来接收来自用户的反馈的HMI。基于运动的HMI的非限制性实例采用各种传感器，例如一个或一个以上加速计、陀螺仪、光传感器，或经配置以检测用户运动的其它类型的传感器。基于运动的HMI的一个实例由 游戏控制台采用。另一非限制性实例是用于游戏控制台的微软的接口，其依赖于用户的摄影图像的俘获来出于装置输入的目的检测用户移动。在一些实例中，HMI系统可将检测到的用户输入(例如，检测到的用户运动)的反馈提供到用户。举例来说，可俘获用户的一个或一个以上图像且经由显示器将其呈现给用户。根据这些实例，用户可观看当检测到移动时他或她的移动。举例来说，用户可经由图像反馈观看其自身操纵经由显示器呈现的虚拟对象。虚拟对象的用户操纵可提供机器输入。
三维(3D)视频图像(例如，针对电影、电视节目等)近些年来已经流行。举例来说，已开发出允许用户在家中观看3D视频的技术(例如，电视、3D眼镜、蓝光播放器、游戏系统、计算装置)。可能需要提供针对视频的基于反馈的显示(例如，针对视频电话和/或人机接口机制)的3D视频。
为了提供由用户感知为3D的图像或视频，根据一些技术，看起来从稍微不同视角俘获的图像可提供到用户的不同眼睛。提供到用户的不同眼睛的不同视角可产生所显示图像的深度的感知。不同图像可经由专门眼镜呈现给用户眼睛中的每一者，所述专门眼镜针对每一眼睛过滤一个或一个以上图像。在一些实例中，为实现3D图像显示，可例如通过两个或两个以上相机从不同视角俘获同一图像来立体地俘获图像。
发明内容
一般来说，本发明描述用于提供例如用于视频电话(VT)和人机接口(HMI)应用的基于反馈的三维视频的技术。根据本发明的一个方面，描述基于图像像素的视差识别用于基于反馈的视频的呈现的兴趣区(ROI)的技术。视差可描述为3D视频呈现的不同视图之间的像素位置的差异。ROI可为所俘获视频的显示可针对(例如，聚焦于)的所俘获视频的区域或对象。举例来说，ROI可为所俘获视频的主体的面部和/或身体。ROI还可包括一对象，例如所俘获视频的主体正拿着的对象。根据本发明的技术，可基于像素视差识别ROI，所述像素视差可依据所俘获的视频图像加以确定。举例来说，可基于所确定的图像视差来识别所俘获视频内的最接近对象。
在另一实例中，本发明描述用于基于反馈的3D图像的显示的技术。举例来说，可基于所俘获图像的经识别的ROI确定在一个或一个以上图像对象以极少视差或无视差出现的情况下所显示的3D图像的零视差平面(ZDP)或平面。这些技术可提供所显示3D图像的ZDP的自动(例如，无用户干预)调整。
举例来说，本文描述一种处理立体图像数据的方法。所述方法包含获取至少两个以立体方式俘获的图像。所述方法进一步包含识别所述所俘获的至少两个图像的兴趣区(ROI)。所述方法进一步包含基于所述至少两个所俘获图像的经识别的兴趣区(ROI)确定用于所述至少两个所俘获图像的三维(3D)呈现的零视差平面(ZDP)。
根据另一实例，本文描述一种用于处理立体图像数据的设备。所述设备包含一个或一个以上处理器。所述一个或一个以上处理器包含经配置以控制至少一个图像俘获装置以立体方式俘获至少两个图像的图像俘获模块。所述一个或一个以上处理器进一步包含经配置以识别所述至少两个所俘获图像的兴趣区(ROI)的ROI识别模块。所述一个或一个以上处理器进一步包含经配置以基于经识别的ROI确定用于所述所俘获的至少两个图像的三维显示的零视差平面(ZDP)的ZDP确定模块。
根据另一实例，本文描述一种包括指令的计算机可读存储媒体。所述指令致使一个或一个以上处理器接收至少两个以立体方式俘获的图像。所述指令进一步致使所述一个或一个以上处理器识别所述所俘获的至少两个图像的兴趣区(ROI)。所述指令进一步致使所述一个或一个以上处理器基于所述至少两个所俘获图像的经识别的兴趣区(ROI)确定用于所述至少两个所俘获图像的三维(3D)呈现的零视差平面(ZDP)。
根据另一实例，本文描述一种用于处理立体图像数据的装置。所述装置包含用于接收至少两个以立体方式俘获的图像的装置。所述装置进一步包含用于识别所述所俘获的至少两个图像的兴趣区(ROI)的装置。所述装置进一步包含用于基于所述至少两个所俘获图像的经识别的兴趣区(ROI)确定用于所述至少两个所俘获图像的三维(3D)呈现的零视差平面(ZDP)的装置。所述装置进一步包含用于以所确定的ZDP显示3D呈现的3D呈现的装置。
附图和以下描述中陈述本发明的一个或一个以上实例的细节。从描述和图式，且从权利要求书将明白本发明的其它特征、目的和优势。
附图说明
图1A是说明与本发明的技术一致的可经配置以处理和/或显示三维图像的VT装置的一个实例的框图。
图1B是说明与本发明的技术一致的经配置以处理和/或显示三维图像的人机接口(HMI)装置的一个实例的框图。
图2是说明与本发明的技术一致的VT或HMI装置的图像处理模块的一个实例的框图。
图3是说明与本发明的技术一致的场景的立体图像俘获的一个实例的概念图。
图4是说明与本发明的技术一致的以立体方式俘获的右和左图像中的相应像素位置的概念图。
图5是说明与本发明的技术一致的识别所俘获图像中的兴趣区(ROI)的方法的一个实例的流程图。
图6是说明与本发明的技术一致的基于所俘获图像的经识别ROI确定用于3D呈现的零视差平面(ZDP)的方法的一个实例的流程图。
图7是说明与本发明的技术一致的可经产生以确定ROI的像素的典型视差的直方图的一个实例的概念图。
图8到10是说明与本发明的技术一致的利用基于所俘获图像的ROI确定的ZDP进行三维呈现的显示的概念图。
图11是说明与本发明的技术一致的用于显示三维基于反馈的图像的方法的一个实例的流程图。
图12是说明与本发明的技术一致的用于显示三维基于反馈的图像的方法的一个实例的流程图。
图13是说明与本发明的技术一致的处理所俘获图像以产生三维呈现的一个实例的概念图。
具体实施方式
本发明涉及用于视频的三维(3D)显示的技术。这些技术可用于3D视频电话通信和/或实现3D人机接口(HMI)。根据一个实例，这些技术实现基于多个所俘获视图之间的视差来识别所俘获视频呈现的兴趣区(ROI)。根据另一实例，可基于所确定的ROI来用零视差平面(ZDP)呈现所俘获的3D视频，例如，可在具有极少或没有视差的情况下呈现ROI的对象。
图1A是说明与本发明的技术一致的视频电话(VT)系统的一个实例的框图，所述视频电话系统包含VT装置101A、101B。VT装置101A、101B可各自包括经配置以俘获视频和/或向用户显示视频图像的装置。可用作VT装置101A、101B的装置的非限制性实例包含个人计算机、膝上型计算机、上网本计算机、平板计算机、智能电话、摄像机和游戏控制台。可使用经配置以俘获视频和/或显示视频图像的任何其它装置或独立装置的组合作为第一或第二VT装置101A、101B。此外，可以通信方式耦合两个或两个以上装置以包括第一或第二VT装置101A、101B中的一者。举例来说，上述装置中的一者或一者以上(例如，个人计算机)可用有线(例如，通用串行总线(USB)、火线(FireWire))或无线(例如，Wi-Fi、蓝牙、蜂窝式网络)方式耦合到另一装置(例如，计算机相机，常被称为网络摄像机(webcam))以包括VT装置101A、101B中的单一一者。
装置101A和101B可经配置以允许相应的第一和第二用户经由所俘获的图像(例如，视频)与彼此通信。举例来说，第一VT装置101A可俘获第一用户的一个或一个以上图像，且将所俘获的图像传达到装置101B。装置101B可将所接收的所俘获图像呈现给第二用户。同样，装置101B可俘获第二用户的图像，且将所俘获的图像传达到第一装置101A以供显示给第一用户。
在一些实例中，VT装置101A、101B中的一者或一者以上可以立体方式俘获图像。举例来说，如图1中所示，装置101A和101B中的每一者可包含相应的第一和第二图像俘获元件112A、112B和114A、114B。第一图像俘获元件112A、112B可经配置以俘获场景的相应右图像。第二图像俘获元件114A、114B可经配置以俘获所述场景的相应左图像。第一和第二图像俘获元件可包含经配置和布置以俘获场景的相应右和左图像的一个或一个以上相机。
也如图1A中所示，VT装置101A、101B各自包含一个或一个以上处理器102A、102B。处理器102A、102B可包括VT装置101A、101B的经配置以处理一个或一个以上信号以致使相应VT装置101A、101B与本发明的技术一致地操作的任何计算组件。根据一些实例，处理器102A、102B可经配置以执行指令(例如，存储在计算机可读媒体上的指令)，在执行时，所述指令将处理器102A、102B配置为经配置以与本发明的技术一致地操作的特定计算装置。处理器102A、102B还可包括或可改为包括经配置以处理电、光、磁和/或其它信号以致使VT装置101A、101B与本发明的技术一致地操作的特定硬件组件。
在各种实例中，处理器102A、102B可包含一个或一个以上中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它电路的任何组合。在一些情况下，处理器102A和102B可经配置以执行致使VT装置101A、101B中的一者或一者以上与本文中所描述的技术一致地操作的指令。在此些情况下，所述指令可存储在VT装置101A、101B的一个或一个以上计算机可读媒体(未展示)中。举例来说，所述指令可存储在存储元件或装置(未展示)中，所述存储元件或装置可包括VT装置101A、101B的随机存取存储器(RAM)组件、硬盘存储器组件和/或快闪或其它固态存储器组件中的一者或一者以上。
在图1A的实例中，将VT装置101A、101B的各个模块110A、110B、120A、120B和132A、132B展示为实施于单一相应处理器102A、102B中。然而，在其它实例中，图1A的这些模块中的一者或一者以上可实施在一个以上不同硬件组件(例如，CPU、DSP、ASIC、FPGA、微处理器、特定硬件组件或能够处理信号的类似组件的一个或一个以上组合)中。
如图1A中所述，相应第一和第二VT装置101A、101B各自包含图像俘获模块110A、110B。图像俘获模块110A、110B可经配置以控制相应第一和第二相机元件112A、112B、114A和114B以俘获图像。举例来说，图像俘获模块110A、110B可经配置以控制相机元件112A、112B、114A、114B何时操作以俘获视频图像和/或相对于所俘获图像内的对象聚焦相机元件112A、112B、114A、114B或以其它方式控制相机元件112A、112B、114A、114B。在一些实例中，第一和第二相机元件112A、112B、114A、114B可包含一个或一个以上机械致动器，所述机械致动器允许对准第一和第二相机元件112A、112B、114A、114B中的一者或一者以上用于俘获视频。根据这些实例，图像俘获模块110A、110B可控制所述一个或一个以上机械致动器以便对准相机元件112A、112B、114A、114B。
也如图1A中所示，第一和第二VT装置101A、101B还可包含显示模块132A、132B。相应显示模块132A、132B可各自经配置以控制一个或一个以上显示器(未展示)用于呈现图像。举例来说，第一VT装置101A的显示模块132A可经配置以控制一个或一个以上显示器来呈现从第二VT装置101B接收(例如，经由通信模块130A、130B)的图像。
相应显示模块132A、132B可经配置以控制一个或一个以上立体显示器(例如，经配置以同时呈现相应右和左图像的一个或一个以上显示器)，使得用户以三维方式感知所显示图像。举例来说，显示模块132A、132B可经配置以控制一个或一个以上显示器结合观看者可佩戴的专门的眼镜来致使观看者的右眼与左眼观看到相应的右与左图像。举例来说，专门的眼镜可经由例如偏振、波长、频率或其它滤波等差异而呈现相应的右和左图像。在一些实例中，显示模块132A、132B可经配置以控制与专门眼镜同步化的一个或一个以上显示器。举例来说，专门的眼镜可充当快门以与显示器呈现相应右与左图像同步地在光亮与黑暗状态之间转变。根据此实例，专门的眼镜和显示器可以快于可由人眼检测到的频率在呈现右与左图像之间转变，使得所述转变大体上不会被观看者注意到。根据其它实例，显示模块132A、132B可替代地经配置以控制并不需要专门的眼镜的显示器(例如，自动立体显示器)。根据上述立体和自动立体实例两者，三维视频呈现的相应右和左图像(视图)之间的差异可致使一个或一个以上所显示图像被感知为具有深度，例如，使得图像的一些对象看起来在显示表面前方或后方。
也如图1A中所述，第一和第二VT装置101A、101B可进一步各自包含图像处理模块120A、120B。一般来说，图像处理模块120A、120B可接收(例如，从图像俘获模块110A、110B)所俘获图像的一个或一个以上表示，且处理所述一个或一个以上表示以供显示、存储和/或传达。根据一个实例，图像处理模块120A、120B可处理所俘获图像的一个或一个以上表示以产生适合于立体显示器的呈现。举例来说，图像处理模块120A、120B可处理一个或一个以上表示以产生相应右和左视图，所述视图可结合地显示以致使所述图像对观看者来说看起来大体上是三维的。在一些情况下，图像处理模块120A、120B可经配置以将一个或一个以上经处理的图像表示传达到显示模块132A、132B。显示模块132A、132B可经配置以控制立体显示器(图1中未展示)用于呈现图像。
在一个实例中，每一相应图像处理模块120A、120B可处理从包含相应图像处理模块120A、120B的同一VT装置101A、101B的一个或一个以上图像俘获模块110A、110B接收的所俘获图像的一个或一个以上表示。举例来说，图像处理模块120A可从图像俘获模块110A接收所俘获图像的一个或一个以上表示，处理所述一个或一个以上表示，并经由第一VT装置101A的通信模块130A将经处理的一个或一个以上表示传达到第二VT装置101B。第二VT装置101B可经由通信模块130B接收所述一个或一个以上表示，使用经处理的一个或一个以上表示来显示视频图像(例如，经由显示模块132B)。
根据另一实例，可经由通信模块130A将所俘获图像的一个或一个以上未经处理表示传达到第二VT装置101B。根据此实例，第二VT装置101B的图像处理模块120B可处理所接收的一个或一个以上表示，并将经处理的一个或一个以上表示传达到显示模块132B以供经由耦合到第二VT装置101B的显示器来呈现。在仍另一实例中，可通过第一和第二VT装置101A、101B的相应图像处理模块120A、120B来组合地处理所俘获图像。
根据上文描述的各个实例，可经由通信信道106使用相应通信模块130A、130B在第一与第二VT装置之间传达所俘获图像的一个或一个以上经处理或未经处理的表示。相应通信模块130A、130B可经配置以经由任何已知通信形式来传达关于所俘获图像的信息，例如所俘获图像的表示。可由通信模块130A、130B使用的通信技术的非限制性实例包含有线通信(例如，任何物理传输线，不管是电的、光学的还是其它的)和无线通信(例如，蜂窝式网络、在一些情况下，通信模块130A、130B可使用因特网或另一私用、公共或全球网络来进行通信。一般来说，可使用任何其它形式的电子通信来允许通信模块130A、130B之间的通信。在一些实例中，可在VT装置101A、101B之间完整地传达所述一个或一个以上经处理或未经处理的表示。在其它实例中，可根据流式传输协议(例如超文本传输协议(HTTP)流式传输协议)来在VT装置101A、101B之间传达一个或一个以上经处理或未经处理的表示。
图1B是说明与本发明的技术一致的人机接口(HMI)装置101C的一个实例的框图。HMI装置101C可包括经配置以俘获视频和/或向用户显示视频图像的任一装置。可用作HMI装置101C的装置的非限制性实例包含个人计算机、膝上型计算机、上网本计算机、平板计算机、智能电话、游戏控制台或用于控制广泛多种装置或计算机的控制系统。广泛多种装置或独立装置的组合可经配置以俘获视频和/或显示视频图像，且因此可用作HMI装置101C。
HMI装置101C可经配置以向用户提供基于反馈的视频，以用于控制HMI装置101C。举例来说，HMI装置101C可俘获HMI装置101C的用户的图像。HMI装置101C可将所俘获的用户图像连同一个或一个以上其它图像(例如，虚拟对象)一起呈现给用户。用户可观看到他或她自身操纵一个或一个以上其它图像。对所述一个或一个以上图像的操纵可允许用户控制HMI装置101C。
在一些实例中，HMI装置101C可经配置而以立体方式俘获视频图像。举例来说，如图2中所示，HMI装置101包含相应的第一和第二图像俘获元件112C、114C。第一图像俘获元件112C可经配置以俘获主体(例如，用户)的一个或一个以上右图像。第二图像俘获元件114C可经配置以俘获主体的一个或一个以上左图像。
如图1B中所示，HMI装置101C包含一个或一个以上处理器102C。处理器102C可包括HMI装置101C的经配置以执行指令的任何计算组件，所述指令经配置以致使相应HMI装置101C与本发明的技术一致地操作。一旦由处理器102C执行，所述指令就可将处理器102C配置为经配置以与本发明的技术一致地操作的特定计算装置。
也如图1B中所示，HMI装置101C包含一个或一个以上处理器102C。处理器102C可包括HMI装置101C的任何计算组件，所述计算组件经配置以处理一个或一个以上信号以致使HMI装置101C与本发明的技术一致地操作。根据一些实例，处理器102C可经配置以执行指令(例如，存储在计算机可读媒体上的指令)，在执行时，所述指令将处理器102C配置为经配置以与本发明的技术一致地操作的特定计算装置。处理器102C还可包括或可改为包括经配置以处理电、光、磁和/或其它信号以致使HMI装置101C与本发明的技术一致地操作的特定硬件组件。
在各种实例中，处理器102C可包含一个或一个以上中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它电路的任何组合。在一些情况下，处理器102C可经配置以执行指令，所述指令致使HMI装置101C与本文中描述的技术一致地操作。在此些情况下，所述指令可存储在HMI装置101C的一个或一个以上计算机可读媒体(未展示)中。举例来说，所述指令可存储在存储元件或装置(未展示)中，所述存储元件或装置可包括HMI装置101C的随机存取存储器(RAM)组件、硬盘存储器组件和/或快闪或其它固态存储器组件中的一者或一者以上。
在图1B的实例中，HMI装置101C的各个模块110C、120C和132C展示为经由单一处理器102C来实施。然而，在其它实例中，图1C的这些模块中的一者或一者以上可实施在一个以上不同硬件组件(例如，CPU、DSP、ASIC、FPGA、微处理器、特定硬件组件或能够处理信号的类似组件的一个或一个以上组合)中。
如图1B中所示，HMI装置101C包含图像俘获模块110C。图像俘获模块110C可经配置以控制相应第一和第二相机元件112C、114C以俘获图像。举例来说，图像俘获模块110C可经配置以控制第一和第二相机元件112C、114C何时操作以俘获视频图像和/或图像俘获的聚焦。在一些实例中，第一和第二相机元件112C、114C可包含一个或一个以上机械致动器，所述机械致动器允许对准第一和第二相机元件112C、114C用于俘获视频。根据这些实例，图像俘获模块110C可控制所述一个或一个以上机械致动器以对准第一和第二相机元件112C、114C。
HMI装置101C还可经配置以处理由图像俘获元件112C、114C俘获的一个或一个以上图像。也如图2的实例中所示，HMI装置101C包含图像处理模块120C。一般来说，图像处理模块120C可接收(例如，从图像俘获元件112C、114C)所俘获视频图像的一个或一个以上表示，且处理所述一个或一个以上表示以供显示。举例来说，图像处理模块120C可处理一个或一个以上所俘获图像以供连同其它图像一起显示。图像处理模块120C还可或可替代地处理一个或一个以上表示以用于立体显示。举例来说，图像处理模块120C可经配置以产生相应右和左视图，所述视图可结合地显示以致使视频呈现的显示对观看者来说看起来大体上是三维的。
图像处理模块120C可将所俘获视频图像的一个或一个以上经处理表示传达到显示模块132C。显示模块132C可控制一个或一个以上显示器(例如，立体显示器，图1B中未展示)以基于所俘获视频图像的所接收经处理表示而显示一个或一个以上图像。在一些实例中，HMI装置101C可操作而使得由图像俘获元件112C、114C俘获的图像实时或接近实时地被处理和/或由显示模块132C显示。
显示模块132C可经配置以控制一个或一个以上显示器(例如，立体显示器，图2中未展示)用于呈现图像。举例来说，显示模块132C可经配置以控制一个或一个以上显示器以呈现从图像处理模块120C接收的图像。举例来说，显示模块132C可结合观看者可佩戴的专门的眼镜来用以致使观看者的右眼与左眼观看到相应的右与左图像。举例来说，专门的眼镜可经由例如偏振、波长、频率或其它滤波等差异而呈现相应的右和左图像。在一些实例中，显示模块132C可经配置以控制与专门眼镜同步化的一个或一个以上显示器。举例来说，专门的眼镜可充当快门以与显示器呈现相应右与左图像同步地在光亮与黑暗状态之间转变。根据此实例，专门的眼镜和显示器可以快于可由人眼检测到的频率在呈现右与左图像之间转变，使得所述转变大体上不会被观看者注意到。根据其它实例，显示模块132C可替代地经配置以控制并不需要专门的眼镜的显示器(例如，自动立体显示器)。根据上述立体和自动立体实例两者，三维视频呈现的相应右和左图像(视图)之间的差异可致使一个或一个以上所显示图像被感知为具有深度，例如，使得图像的一些对象看起来在显示表面前方或后方。
图1A和1B描绘VT装置101A、101B和HMI装置101C(下文中统称为装置101)，其可各自共享共用元件。举例来说，装置101各自包含第一和第二图像俘获装置112A到112C和114A到114C(下文中分别统称为图像俘获装置112、114)、图像俘获模块110A到110C(下文中统称为图像俘获模块110)、图像处理模块120A到120C(下文中统称为图像处理模块120)，和显示器控制模块132A到132C(下文中统称为显示器控制模块132)。
仅为了说明的目的，装置101被描绘为包含第一图像俘获元件112和第二图像俘获元件114，所述图像俘获元件经配置而以立体方式俘获具有稍微不同视角的图像以实现所俘获图像的3D显示。根据未描绘的其它实例，装置101中的任一者可替代地或额外包含图像俘获元件的其它配置，所述图像俘获元件经配置而以立体方式俘获图像以进行3D呈现。举例来说，可使用多视图图像俘获技术，其中装置101包含多个相机元件(例如，两个以上)，所述相机元件经配置以俘获场景的不同视角图像。在另一实例中，装置101可使用全光相机，所述全光相机经配置以使用单一镜头俘获图像的多个视图。
图2是说明图像处理模块220的一个实例的框图。如上文所描述，图像处理模块220可为经由经配置以处理一个或一个以上图像以供显示的硬件、软件或者硬件或软件的任何组合来实施的组件。举例来说，图像处理模块220可大体经配置以处理图像以进行三维显示。
如图2中所示，图像处理模块220包含视差模块222。视差模块222可经配置以处理至少两个所俘获图像的一个或一个以上像素，以确定所述至少两个所俘获图像之间的一个或一个以上像素的视差。如图2中所示，图像处理模块220进一步包含ROI识别模块224。在一些实例中，ROI识别模块224可通过接收指示所需ROI的用户输入来识别所俘获图像中的ROI。举例来说，一个或一个以上VT或HMI装置101可经配置以接收指示所需ROI的用户输入。ROI识别模块224可替代地使用其它技术来自动确定所俘获图像的ROI。举例来说，ROI识别模块224可使用一个或一个以上计算机视觉算法或其它技术来自动确定所俘获图像的ROI。可使用的算法和/或技术的非限制性实例包含运动估计(图像像素/对象的相对移动)、光流(例如，由呈现的观察者与呈现的对象之间的相对运动引起的视觉平面中的对象亮度模式的明显运动的表示)，和/或模糊性(例如，图像对象的相对模糊性，其中较小模糊性指示图像对象较接近观察者)、面部辨识技术(例如，利用哈尔小波(Haarwavelet))、对象辨识(例如，利用尺度不变特征变换(SIFT)算法或其它技术来识别具有已知纹理的对象)、颜色直方图(利用像素颜色来识别图像对象)，或用于自动确定所俘获图像的ROI的任何其它技术。
还如图2中所示，图像处理模块220进一步包含ZDP确定模块226。ZDP确定模块226可经配置以从ROI识别模块224接收所俘获图像的ROI的指示。ZDP确定模块226可基于所识别的ROI确定用于显示3D图像的零视差平面(ZDP)。可将ZDP描述为所显示3D图像的平面，其中图像对象对观看者看上去大体上是二维(2D)的，例如看上去大体上位于显示表面890处或附近的图像对象。ZDP的对象在图像的相应右视图与左视图之间可具有极少差异或无差异(例如，极少视差或无视差)。3D图像还可包括ZDP的其它图像对象，例如由于相应右图像与左图像之间的差异(视差)而看上去在显示器前方或后方的图像。在一些实例中可由正值(在ZDP前方)或负值(在ZDP后方)来表示图像像素的视差。在观看3D图像时，对象可能看上去从3D图像的ZDP向外延伸或落在所述ZDP后方。ZDP确定模块226可处理所俘获图像，使得可在ZDP处于所识别的ROI处或在所述ROI附近的情况下显示所述图像。作为一实例，ZDP确定模块226可处理所俘获图像以对准(例如，偏移相对位置)、裁剪和/或以其它方式处理所俘获图像，使得ROI的一个或一个以上对象被显示而使得所述对象看起来处于呈现3D图像的显示器的表面处或所述表面附近。一旦被对准、偏移和/或以其它方式被处理，所识别ROI内的图像像素的视差值就可接近或大体上等于零。
根据一些实例，如图2中所示，ZDP确定模块可从视差模块222接收像素视差的一个或一个以上指示。举例来说，ZDP确定模块可接收所俘获图像的ROI的像素的像素视差的一个或一个以上指示。基于所述一个或一个以上指示，ZDP确定模块226可基于确定ROI的像素的典型视差(例如，经由视差模块222)来处理(例如，对准、裁剪或以其它方式处理)所俘获图像以在ZDP处于所识别ROI处或在所识别ROI附近的情况下加以显示(例如，可在具有极小或没有视差的情况下显示ROI的像素和/或对象)。根据一个实例，ZDP确定模块226可通过产生表示ROI的像素的相对视差的直方图并选择具有最大像素数目的直方图的区间(bin)来确定ROI的典型视差。因此，ZDP确定模块可处理所俘获图像，使得可在ZDP处于典型视差的深度处或在所述深度附近的情况下显示所述图像。
图3是说明图像的立体(例如，经由两个或两个以上相机)俘获的一个实例的概念图。如图3中所示，图像俘获元件312、314可经配置以俘获对象342、344和346的相应第一和第二图像。根据图3中所示的实例，第二图像俘获元件314可俘获同一场景(例如，包括对象342、344、346)的图像，但是从与第一图像俘获元件312稍有不同的视角进行俘获。在一些实例中，相应第一和第二图像俘获元件312可经配置以俘获场景的相应右和左视图。所俘获的右和左视图可被结合地处理并向用户显示为3D视频呈现。
在图3的实例中，对象342包含图像像素352。同样，对象346包含图像像素354。图像像素352、354可分别表示对象342和346的在由第一与第二相机元件312、314俘获的图像中的特定点。归因于第一与第二图像俘获元件312、314之间的不同视角，图像像素352、354可看起来在由相应图像俘获元件312、314俘获的图像中处于不同位置。在相应俘获图像(例如，相应右与左图像)之间的像素位置的此种差异可描述为所述像素的视差。视差可指示为像素的数目。举例来说，视差可表示为同一像素在至少两个所俘获图像中的相应位置之间的像素数目和/或像素分数。在一些实例中，视差可为正或负视差。举例来说，像素的正视差可指示所述像素是出现于参考平面(例如，所俘获图像的ZDP)的前方的对象的像素。根据此实例，像素的负视差可指示所述像素出现于参考平面(例如，所俘获图像的ZDP)的后方。
根据本发明的一个方面，可使用所俘获图像之间的图像像素的所确定视差来确定所俘获图像的兴趣区。根据本发明的另一方面，可使用所俘获图像之间的图像像素的所确定视差来确定用于显示所俘获图像(例如，经由立体显示器)的ZDP。
图4是说明所俘获左图像462与所俘获右图像464之间的视差的一个实例的概念图。相应所俘获右与左图像462、464可由立体相机俘获，例如包含如图3中所说明的第一和第二相机元件312、314的相机。
如图4中所示，所俘获左图像462包含用于所俘获左图像462中的第一和第二像素的相应位置452A、454A的指示。类似地，所俘获右图像462包含用于所俘获右图像464中相应位置452C和454C的指示。为说明目的，所俘获右图像464进一步包含对应于所俘获左图像462的位置452A和454A的相应位置452B、454B的指示。各个像素位置452A、452B和452C可对应于图3中所说明的对象342的像素352。类似地，各个像素位置454A、454B和454C可对应于图3中所说明的对象346的像素354。
如图4的实例中所示，由于相应图像俘获元件(例如，图3中的图像俘获元件312、314)的不同定位，表示所俘获图像中的特定点(例如，对象的特定点)的像素可能在所俘获左图像462与在俘获右图像464中具有不同位置。如所俘获右图像464的底部处所示，图像像素352可在所俘获左图像462中处于第一位置452B中，而图像像素352可在所俘获右图像464中处于第二位置452C中。这些位置之间的差异可认为是像素352在相应右与左所俘获图像462、464之间的视差。类似地，如所俘获右图像464的顶部处所示，图像像素354可在所俘获左图像462中处于第一位置454B中，而图像像素354可在所俘获右图像464中处于第二位置454C中。这些位置之间的差异可认为是像素354在相应右与左所俘获图像462、464之间的视差。还如图4中所示，一个像素的视差可能大于或小于另一像素在所俘获图像之间的视差。举例来说，如图4中所示，像素452的视差(例如，像素位置452B与452C之间的差异)大于像素454的视差(例如，像素位置454B与454C之间的差异)。
根据本发明的技术，图像处理模块120(例如，视差模块222)可确定所俘获图像的一个或一个以上像素的视差。根据本发明的一个方面，图像处理模块120(例如，ROI识别模块224)可使用所确定的视差来识别所俘获图像的兴趣区(ROI)。ROI可为所俘获图像的包含在所俘获视频中感兴趣的一个或一个以上对象的区。ROI可包括主体的面部或身体。在另一实例中，ROI可包括对象、白板、主体的手，或任何其它对象。在一些实例中，图像处理模块120可将ROI识别为所俘获图像的最接近所俘获图像的一个或一个以上观察者(例如，图像俘获装置312、314)的一个或一个以上对象。
根据与本发明的技术一致的一些实例，图像处理模块120可使用像素视差来确定图像像素(例如，所俘获图像的对象或主体的点)距观察者多近或多远。举例来说，较接近观察者的对象的像素可具有比较远离观察者的对象的像素大的视差。举例来说，根据图3中所说明的实例，对象342的像素352较接近于观察者，而对象344的像素354较远离观察者。根据图4的实例，如图4中所示，图像处理模块120可确定像素352在所俘获的右与左图像462、464之间具有比图像像素354(如图4中所示，在左图像像素位置454B与右图像像素位置454C之间)大的视差(如图4中所示，在左图像像素位置452B与右图像像素位置452C之间)。因此，图像处理模块120可基于针对图像像素352、354确定的视差来将图像对象342识别为ROI。
作为一个实例，图像处理模块120可使用所识别的ROI来将图像俘获聚焦于所俘获图像的一个或一个以上特定对象上。图像处理模块120还可或可替代地使用所识别的ROI来显示所俘获图像。举例来说，图像处理模块120可聚焦于ROI上的对象而处理所俘获图像，或使得ROI在所显示视频中突出(例如，放大、点亮、以亮色显示，或其它效果)。图像处理模块120还可(或替代地)使用所识别ROI来与本发明的技术一致地确定用于显示所俘获图像的ZDP。
而且，在一些实例中，所俘获图像的所识别ROI可在正俘获图像的同时改变。根据一个实例，图像处理模块120可使用图像像素的视差来将主体的面部识别为图像的ROI，因为主体的面部最接近于俘获所述图像的一个或一个以上图像俘获元件(例如，观察者)。主体可能接着将例如对象(例如照片)等对象伸出到观察者前方。图像处理模块120可例如基于图像像素的视差自动地确定所述对象现在最接近于所俘获图像的观察者。因此，基于像素视差，图像处理模块120可将伸出的对象识别为所俘获图像的新ROI。如本文中描述的图像处理模块120还可或可替代地经配置以基于其它技术自动地确定ROI的改变。举例来说，ROI识别模块224可使用一个或一个以上计算机视觉算法或其它技术来自动确定所俘获图像的ROI。可使用的算法和/或技术的非限制性实例包含运动估计(图像像素/对象的相对移动)、光流(例如，由呈现的观察者与呈现的对象之间的相对运动引起的视觉平面中的对象亮度模式的明显运动的表示)，和/或模糊性(例如，图像对象的相对模糊性，其中较小模糊性指示图像对象较接近观察者)、面部辨识技术(例如，利用哈尔小波(Haarwavelet))、对象辨识(例如，利用尺度不变特征变换(SIFT)算法或其它技术来识别具有已知纹理的对象)、颜色直方图(利用像素颜色来识别图像对象)，或用于自动确定所俘获图像的ROI的任何其它技术。根据其它实例，ROI识别模块224可基于接收到指示ROI的改变的用户输入而识别所俘获图像的ROI的改变。
图5是说明确定场景的一个或一个以上所俘获图像的兴趣区的方法的一个实例的流程图。根据图5的实例，图像俘获模块110可控制至少两个图像俘获元件(例如，图像俘获元件112、114)来俘获场景的第一和第二图像(502)。场景的所俘获的第一和第二图像可包含至少一个图像像素。所述至少一个图像像素可表示所俘获场景中的点。还如图5中所示，图像处理模块120(例如，视差模块222)可确定所述第一和第二图像的至少一个像素的视差(504)。图像处理模块120可通过确定所述至少一个像素在所述第一与第二图像之间的相应位置之间的差异来确定视差。图像处理模块120(例如，ROI识别模块224)可进一步基于所述至少一个像素的所确定的视差来识别所述所俘获图像的兴趣区(506)。
根据一个实例，图像处理模块120可确定所述第一和第二所俘获图像的多个像素的视差。所述多个像素可包括第一和第二所俘获图像的所有像素，或替代地可包括第一和第二图像的像素的子集。举例来说，图像处理模块120可识别场景的对象的像素，并确定所识别像素的视差。图像处理模块120可基于用于处理图像的边缘检测技术来确定场景的对象的像素。
根据一个实例，图像处理模块120可基于确定所俘获图像的在所俘获图像的至少两个视图之间具有最大视差量或最大位移的像素来识别ROI。图像处理模块120可基于什么像素具有最大视差来识别所俘获图像的最接近于所俘获图像的观察者的一个或一个以上对象。因此，图像处理模块120可将最接近于所俘获图像的观察者的一个或一个以上对象识别为所俘获图像的ROI。
根据本发明的一个方面，如上文关于图5所描述，图像处理模块120可使用图像像素的视差来识别以立体方式俘获的图像的ROI。根据如下文进一步详细描述的本发明的另一方面，图像处理模块120可基于根据图5的实例识别的ROI或根据其它技术识别的ROI来确定用于显示一个或一个以上所俘获图像的零视差平面。
图6是说明识别用于立体显示基于反馈的图像(例如，视频图像)的零视差平面的方法的一个实例的流程图。如图6所示，图像处理模块120(例如，ROI识别模块224)可识别至少两个所俘获的第一和第二图像(例如，以立体方式俘获的图像)的ROI(601)。图像处理模块120可自动地识别ROI。举例来说，图像处理模块120可基于针对如上文关于图5所描述的所俘获图像的至少一个像素所确定的视差来识别ROI。
根据其它实例，图像处理模块120可基于用于自动识别ROI的其它技术来自动地识别ROI。举例来说，图像处理模块120可利用依赖于识别最接近于所俘获图像的观察者的对象的其它技术。举例来说，图像处理模块120可使用一个或一个以上计算机视觉算法或其它技术来自动确定所俘获图像的ROI，如本文所述。
根据其它实例，图像处理模块120可基于基于接收到指示所需ROI的用户输入而识别的ROI来确定用于立体显示的ZDP。举例来说，VT或HMI装置101可经配置以例如经由鼠标、键盘、触摸屏或所需ROI的语音提示选择来从用户接收所需ROI的指示。根据其中装置101包含触敏显示器的一个此种实例，用户可通过在对象(例如，主体的面部，或所显示图像的其它对象)处或所述对象附近与触敏显示器交互(例如，触摸触敏显示器)来输入所需ROI以将对象识别为所需ROI。
还如图6中所示，图像处理模块120可进一步确定在步骤601中识别的ROI的至少一个像素的视差(例如，经由视差模块222)(602)。在一个实例中，图像处理模块120可确定所识别ROI的所有像素的视差。在其它实例中，图像处理模块120可确定所识别ROI的像素的子集的视差。举例来说，图像处理模块120可识别ROI的至少一个对象，且相应地确定所识别的至少一个对象的图像像素的视差。
还如图6中所示，图像处理模块120可进一步确定ROI的典型视差(603)。根据一个此种实例，图像处理模块120可通过对针对在步骤602处确定其视差的那些像素(例如，ROI的所有像素或像素的子集)所确定的视差求平均来确定典型视差。根据另一实例，图像处理模块120可通过将ROI的像素指派到直方图(包括数个区间，所述区间对应于如下文关于图7描述的各种视差范围)来确定ROI的典型视差。根据这些实例，图像处理模块120可识别针对其将最大像素数目指派为ROI的典型视差的区间的视差范围。
还如图6中所示，图像处理模块120可操作以基于ROI的所识别的典型视差来产生具有ZDP的立体视频呈现(604)。如上所述，经由立体显示器提供的相应右和左图像之间的差异可致使一个或一个以上所显示图像被感知为具有深度，例如，使得图像的一些对象看起来在显示器的显示表面前方或后方。在一些实例中，图像处理模块120(和/或显示器控制模块132)可基于所识别的典型视差而产生具有ZDP的立体视频呈现，具体是通过对准、裁剪和/或以其它方式处理立体视频呈现的相应第一和第二(例如，右和左)视图以致使所识别ROI的一个或一个以上像素和/或图像对象在具有极小或没有视差的情况下加以显示(例如，出现在立体显示器的表面处或所述表面附近)，同时致使一个或一个以上其它像素和/或图像对象看起来在显示器的表面前方或后方。在下文中关于图13进一步详细描述用于对准一个或一个以上立体视图的技术。
图7是说明如上文关于图6在步骤603处描述可由图像处理模块120产生以确定ROI的典型视差的直方图的一个实例的概念图。如图7的实例中所示，图像处理模块120(例如，视差模块222)可确定ROI的像素的视差，且将ROI的每一像素指派于多个区间7A-7J中的一者。图7的实例中展示十个区间，然而在不同实例中可使用任一数目的区间。如图7直方图的X轴上所示，区间7A-7J可各自表示ROI的像素的视差的不同范围。仅为了示范性目的，如果基于1-100的标度来确定视差，其中1是最小视差量，且100是最大视差量，则区间7A可表示1-10的视差范围，区间7B可表示11-20的视差范围，区间7C可表示21-30的视差范围，以此类推，区间7J可表示91-100的视差范围。
如图7直方图的Y轴上所示，可对一个或一个以上像素指派区间7A-7J中的一者或一者以上。如图7的实例中所示，区间7J已被指派最小数目的像素，而区间7E已被指派最大数目的像素。根据一个实例，图像处理模块120可基于对多个区间7A-7J中已被指派最大数目的像素的一者的选择来确定ROI的典型视差。根据图7的实例，区间7E相对于区间7A-7D和7F-7J来说已被指派最大数目的像素。因此，区间7E的视差范围或区间7E的范围的视差可用作用以确定立体图像显示的ZDP的典型视差，如上文关于图6所述。
根据另一实例，图7中描绘的直方图可视为类似于高斯分布。根据此实例，图像处理模块120可使用高斯分布的平均(例如，平均值)作为用以确定立体图像显示的ZDP的典型视差，如上文关于图6所述。
图8到10是说明如上文关于图6描述以基于所识别ROI确定的ZDP向观看者870的立体视频呈现的显示的各种实例的概念图。如图8到10中所示，观看者870(例如，人类观看者)有右眼872和左眼874。在图8到10的实例中，观看者870正在观看立体显示器800。立体显示器800可由显示器控制模块132控制以向观看者870呈现将由左眼872感知的第一图像和将由右眼874感知的第二图像。同样在图8到10所示的一些实例中，观看者870可佩戴立体眼镜876或另一装置，其经配置以致使第一图像由观看者的左眼872感知且第二图像由观看者的右眼874感知。举例来说，立体眼镜876可为液晶快门眼镜(LC快门眼镜)或主动式快门眼镜。根据这些实例，立体眼镜876可包含相应的右透镜和左透镜，其各自含有一液晶层，所述液晶层可在电压施加于所述液晶层时变暗，否则所述透镜为透明的。立体眼镜876的相应右透镜和左透镜可经配置以与显示器900在相应右图像与左图像的呈现之间转变的速率一致地在暗与透明之间转变(例如，经由例如红外线、或其它形式的无线通信等无线通信而同步)。因此，可单独地向观看者的左眼872和右眼874显示相应的右图像和左图像以致使用户以三维方式感知到所显示图像。
立体眼镜876可改为包括补色眼镜、色度深度眼镜或偏振3D眼镜，或允许观看者的左眼872和右眼874感知到不同视图的任一其它装置或结构。立体眼镜876可经配置以致使经由任一类型的过滤(例如，光学波长、偏振或其它技术)而感知到不同视图。作为另一实例，替代于立体眼镜876，可使用专门的接触透镜或其它光学结构来致使观看者的左眼872和右眼874感知到不同视图。
图8到10中描绘的立体眼镜876是仅为了示范性目的而提供，且既定为非限制性的。在其它实例中，显示器800可为自动立体显示器，其经配置以分别向观看者的右眼和左眼呈现相应的右图像和左图像而不使用立体眼镜876。举例来说，显示器800可采用视差障壁(具有一系列精确狭缝的材料层，允许每只眼看见不同的像素集合)、双凸式(放大透镜阵列，经设计以使得当从稍微不同的角度观看时放大不同的图像)、体积式(经由来自(x,y,z)空间中的良好界定区的照射的放射、散射或中继而产生3D图像，所述空间例如包含电-全息和光场)和/或这些技术的任一组合来以自动立体方式向用户呈现图像，其中与本发明的技术一致基于所识别ROI确定ZDP。
图8到10中说明的实例描绘图像对象842、844和846的立体显示，因为其将由观看者相对于显示器800的显示表面890来感知。图8到10中描绘的图像对象通常对应于由图3中描绘且上文描述的第一图像俘获元件312和第二图像俘获元件314俘获的场景的对象342、344和346。
图8是说明与本发明的技术一致的以基于所俘获视频的ROI确定的ZDP呈现的3D图像的立体显示的一个实例的概念图。如图8所示，图像处理模块120(例如，ROI识别模块224)具有所识别对象844作为所俘获图像的ROI880。图像处理模块120可自动地或手动地将对象844识别为ROI880。举例来说，如上所述，图像处理模块120可根据本文描述的各种技术自动地将对象844识别为ROI。根据其它实例，图像处理模块120可基于接收到指示将对象844选择为ROI880的用户输入而将对象844识别为ROI880。
还如图8所示，图像处理模块120可基于将对象844识别为ROI880而处理(例如，对准、裁剪和/或以其它方式处理)所俘获图像以用基于所识别ROI880确定的ZDP来以立体方式显示。可将ZDP描述为所显示3D图像的平面，其中图像对象对观看者看上去大体上是二维(2D)的，例如看上去大体上位于显示表面890处或附近的图像对象。ZDP的对象在图像的相应右视图与左视图之间可具有极少差异或无差异(例如，极少视差或无视差)。3D图像还可包括ZDP的其它图像对象，例如由于相应右图像与左图像之间的差异(视差)而看上去在显示器前方或后方的图像。在观看3D图像时，对象可能看上去从3D图像的ZDP向外延伸或落在所述ZDP后方。显示表面890可为例如LCD或等离子显示器等显示装置的表面。显示表面890可改为是图像投影于其上的表面，例如投影仪装置将图像投影于其上的墙壁或其它表面。
如上所述，为了致使所显示图像对用户感知为三维的，图像处理模块120可处理图像用于显示，使得分别将稍微不同的图像(视图)引导到观看者的左眼872和右眼874。相应右图像与左图像之间的差异可致使所显示图像的一个或一个以上对象看上去在显示器800的表面前方或后方。与本发明的技术一致，图像处理模块120可确定所显示立体图像的ZDP892以使得ROI880(例如，图8中的对象844)的对象可在相应左视图872与右视图874之间有极少差异或无差异(视差)的情况下呈现，且进而看上去在显示表面890处或附近。另一方面，还如图8所示，显示对象842，使得其由观看者870感知为大体上在显示表面890前方，且显示对象846，使得其由观看者870感知为大体上在显示器800后方。由于所显示右图像与左图像之间的相应差异，对象842和846可看上去在显示表面前方或后方。
图9和10是说明与本发明的技术一致的以基于所俘获视频的ROI990选择的ZDP982呈现的3D图像的立体显示的其它实例的概念图。如图9所示，图像处理模块120基于ROI980的识别而致使显示对象842以使得对象842看上去在显示表面890处或附近，例如在ZDP992处或附近而不是如图8所示的对象844。还如图9所示，图像处理模块120致使对象844看上去在ZDP992后方，且对象846看上去在ZDP992更后方。根据图10的实例，图像处理模块120将对象846识别为所俘获图像的ROI1080。因此，图像处理模块处理所俘获图像以使得对象846看上去在ZDP1082处或附近。
根据一些实例，如图1中描绘的VT装置101A、101B或图2中描绘的HMI装置201可经配置以基于俘获图像的所识别ROI880的改变而自动转变所显示图像的ZDP。举例来说，图像处理模块120可识别(例如，自动地或基于接收到用户输入)所俘获图像的第一ROI(例如，图8中的ROI890，包含对象844)。图像处理模块120可进一步识别第二ROI(例如，图9中的ROI990，包含对象842)。因此，图像处理模块120可自动修改3D图像的显示以使得第二ROI(例如，ROI990)的一个或一个以上对象看上去在所显示图像的第二ZDP处或附近(例如，看上去在显示表面890处或附近)。
举例来说，第一用户可经由如图1说明的第一VT装置101A观看经由第二VT装置101B俘获的第二用户的图像。假定对象844是第二用户，则第一VT装置101A或第二VT装置101B中的一者的图像处理模块120可将对象844识别(例如，自动地或通过接收到用户输入)为ROI890。因此，第一VT装置101A可呈现向第一用户显示的图像以使得对象844(例如，第二用户的面部)看上去在ZDP882处或附近，如图8的实例中所示。
第二用户可将照片或其它对象拿在他/她自己前方。图像处理模块120可将所拿着的照片(例如，对象842)识别为第二ROI990。图像处理模块120可自动地(例如，通过自动地确定对象842已变为较靠近图像俘获元件112、114)识别所述照片，或第二VT装置101B可从第二用户接收第二用户希望将照片识别为ROI的输入。因此，图像处理模块120(和/或显示模块132)可致使向用户显示图像以使得所述照片看上去有极少视差或无视差(例如，在ZDP982处或附近)，如图9中显示。
图11是说明基于所俘获图像的所识别ROI的改变而自动地修改所俘获图像的立体显示的方法的一个实例的流程图。如图11所示，图像俘获模块可例如使用至少两个立体相机112、114俘获第一和第二图像(1102)。图像处理模块120可进一步识别所俘获图像的第一ROI(1104)。图像处理模块120可自动地或经由接收到用户输入来识别第一ROI。图像处理模块120可进一步处理(例如，对准、裁剪或以其它方式处理)第一和第二图像以用基于所识别第一ROI选择的零视差平面(ZDP)进行显示(1106)。举例来说，图像处理模块120可处理第一和第二图像以使得第一ROI的一个或一个以上对象看上去在显示表面890处或附近。
图像处理模块120可进一步识别第一和第二所俘获图像的第二ROI(1108)。图像处理模块可自动地识别第二ROI或可接收识别第二ROI的用户输入。图像处理模块120可进一步修改所俘获第一和第二图像以用基于第二所识别ROI的第二ZDP进行显示(1110)。举例来说，图像处理模块120可处理第一和第二所俘获图像以使得第二ROI的一个或一个以上对象看上去在显示表面890处或附近。图像处理模块120可进一步处理第一和第二所俘获图像以使得第一所识别ROI的一个或一个以上对象不再看上去在显示表面890处或附近。
图12是说明与本发明一致的基于所俘获图像的ROI而确定用于一个或一个以上所俘获图像的显示的ZDP的方法的一个实例的流程图。为了示范性目的，图12描绘与本发明的技术一致的由如图1A和1B中说明的一个或一个以上VT装置101A、102B和/或一个或一个以上HMI装置101C的相应组件执行的各种操作。图12的实例是仅为了示范性目的而提供，且既定为非限制性的。VT或HMI装置101的任一组件均可执行图12中描绘的操作。
如图12所示，VT或HMI装置101的图像俘获模块110可经配置以俘获场景的相应第一和第二图像(1202)。举例来说，图像俘获模块110可经配置以控制一个或一个以上图像俘获元件112、114以俘获相应第一和第二图像。根据其它实例，图像俘获模块110可控制经配置以俘获场景的多个视图的单个图像俘获元件，例如全光相机。
图像处理模块110可进一步传送所俘获第一和第二图像的表示(1204)。举例来说，图像俘获模块110可传送可以由一个或一个以上处理器、DSP或其它计算组件读取的电子表示。根据图12的实例，图像俘获模块110可将所俘获第一和第二图像的表示传送到图像处理模块120用于处理。举例来说，在装置101为VT装置101A的情况下，图像俘获模块110A可将所俘获第一和第二图像的表示传送到第二VT装置101B的图像处理模块120B用于处理。根据其它实例，图像俘获模块110A可将所俘获第一和第二图像的表示传送到第一VT装置101A的图像处理模块120A。一旦图像处理模块120A已处理所俘获第一和第二图像，图像处理模块120A便可将经处理第一和第二图像的表示传送到第二VT装置101B以用于进一步处理、显示和/或存储。根据另一实例，在装置101为HMI装置101C的情况下，图像俘获模块110C可将所俘获图像传送到HMI装置101C本地的图像处理模块101C以用于处理、存储和/或显示。
图像处理模块120可从图像俘获模块110接收一个或一个以上所俘获第一和第二图像的表示(1206)。图像处理模块120可经配置以处理所接收图像以用于存储、通信和/或显示。举例来说，图像处理模块120可经配置以接收第一和第二所俘获图像的表示以用于产生可经立体显示以对用户看上去大体上为三维的多视图表示。
为了显示立体图像，可能需要界定图像的零视差平面(ZDP)。可将ZDP描述为所显示3D图像的平面，其中图像对象对观看者看上去大体上是二维(2D)的，例如看上去大体上位于显示表面890处或附近的图像对象。ZDP的对象在图像的相应右视图与左视图之间可具有极少差异或无差异(例如，极少视差或无视差)。3D图像还可包括ZDP的其它图像对象，例如由于相应右图像与左图像之间的差异(视差)而看上去在显示器前方或后方的图像。在观看3D图像时，对象可能看上去从3D图像的ZDP向外延伸或落在所述ZDP后方。
图像处理模块120可经配置以基于所俘获图像的所识别ROI来确定用于3D图像的呈现的ZDP。举例来说，如图12所示，图像处理模块120(例如，ROI识别模块224)可识别在步骤1206从图像俘获模块接收的第一和第二图像的ROI(1208)。图像处理模块120可自动地(例如，如上文关于图5所述基于由视差模块222确定的图像像素视差，或本文描述的其它技术)或基于接收到识别ROI的用户输入来识别ROI。
图像处理模块120可进一步确定ROI的一个或一个以上像素的典型视差(1210)。举例来说，图像处理模块120可基于从图2中说明的视差模块222接收的像素视差的一个或一个以上指示来确定典型视差。
图像处理模块120可进一步处理所俘获图像的所接收表示(在步骤120接收)以产生适合于3D显示的所俘获图像的一个或一个以上表示(1212)。举例来说，图像处理模块120可产生相应右视图或左视图，所述视图经构造以允许所显示图像对观看者看上去为大体上三维的。根据一个此类实例，图像处理模块120可产生所俘获图像的一个或一个以上其它表示，使得所显示图像的ZDP基于在步骤1210确定的典型视差而布置于一深度处。产生所述一个或一个以上3D表示可包含裁剪、对准和/或以其它方式处理相应右视图和左视图(例如，所俘获图像)，使得所显示图像的ZDP基于在步骤1210确定的典型视差而布置于一深度处。
还如图12所示，图像处理模块120可将3D呈现的所产生表示传送到一个或一个以上显示模块132用于向用户显示。在装置101为VT装置101A的实例中，图像处理模块可将3D呈现传送到另一VT装置101B用于显示。举例来说，图像处理模块120可传送3D呈现的完整表示。根据另一实例，图像处理模块120可经由流式传输技术(例如，HTTP流式传输)来传送表示。在装置101为HMI装置101C的实例中，图像处理模块120可将3D呈现传送到HMI装置101C本地的显示器控制模块132C。举例来说，图像处理模块120C可将3D表示存储在HMI装置101C的存储组件(例如，随机存取存储器、硬驱动器、快闪存储器)中。显示器控制模块132C可随后存取所存储的3D表示，且控制一个或一个以上显示器以向观看者呈现3D表示。根据另一实例，图像处理模块120C可例如经由系统总线或其它装置间通信机制将3D表示直接传送到显示器控制模块132C。
还如图12所示，显示模块132可接收第一和第二图像的经处理3D表示以用所识别典型视差处或附近的ZDP进行显示(1214)。显示模块132可控制一个或一个以上立体显示器以呈现具有基于在步骤1210由图像处理模块120确定的ROI的典型视差的ZDP的三维图像(1216)。
根据如由图12中的虚线指示的一个实例，VT和/或HMI装置101可经配置以连续地俘获相应第一和第二图像，识别所俘获图像的ROI，且产生所俘获图像的一个或一个以上3D呈现以用基于所识别ROI的ZDP进行显示。因此，本发明的技术可用于例如VT或HMI等基于反馈的视频应用，其中主体的图像是连续地俘获且以与本发明的技术一致的基于一个或一个以上所识别ROI的ZDP实时或接近实时地向用户显示。
图13是说明与本发明的技术一致的处理第一和第二所俘获图像以用于3D图像的呈现的技术的一个实例的概念图。如图13所示，图像处理模块120可接收第一和第二所俘获图像(分别为所俘获左图像1301、所俘获右图像1302)的表示。如本文描述，图像处理模块120可处理所俘获左图像和右图像的表示以用于三维呈现。举例来说，图像处理模块120可处理所俘获左图像1301和右图像1302的表示，使得左图像1301和右图像1302可以根据所俘获图像中的所识别ROI确定的ZDP来呈现。举例来说，图像处理模块120可相对于彼此对准、裁剪或以其它方式处理所俘获左图像1301和右图像1302的表示，使得所识别ROI的一个或一个以上对象在显示时看上去有极少视差或无视差。
举例来说，如图13的实例中所示，图像处理模块120可布置、对准或以其它方式定位相应的左图像1301和右图像1302，使得ROI1380(例如，包括对象1324)看上去在显示表面1390处或附近。举例来说，为了使对象1324看上去在显示表面1390处或附近，可使相应第一和第二图像彼此对准以使得在由观看者观看时，在对象1324的第一与第二图像之间看上去有极少差异或无差异。因此，对象1324可看上去在显示表面1324处或附近。同时，对象1322可看上去在显示表面1324前方，且对象1326可看上去在显示表面13254后方。
还如图13所示，图像处理模块120可裁剪左图像1301和右图像1302中的每一者。举例来说，如图13所示，当相应左图像1301和右图像1302如上所述对准时，右图像和左图像的部分可延伸经过所述图像呈现于其上的显示器或其它表面1390的显示区域。因此，图像处理模块120可操作以移除第一图像1301和第二图像1302的相应部分(裁剪)，使得仅呈现显示区域内的那些部分。如图13所示，已裁剪左图像和右图像中的每一者的一部分以产生经裁剪右图像和经裁剪左图像。
图13中描绘的概念实例仅是可由图像处理模块120执行以便以基于所俘获图像的ROI确定的ZDP产生所俘获图像的3D呈现的裁剪和对准的一个实例。图13的实例仅是可执行以准备3D呈现的处理的一个实例。图像处理模块120还可执行其它处理步骤以便与本发明的技术一致地准备3D呈现。
已描述了若干实例。在一个或一个以上这些实例中，本文所描述的功能可至少部分地以硬件(例如特定硬件组件或处理器)来实施。较通常地，所述技术可以硬件、处理器、软件、固件或其任一组合来实施。如果以软件实施，那么功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输，且由基于硬件的处理单元执行。计算机可读媒体可包含对应于例如数据存储媒体等有形媒体的计算机可读存储媒体，或包含促进计算机程序例如根据通信协议从一处传送到另一处的任何媒体的通信媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或者一个或一个以上处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说且并非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它媒体。而且，恰当地将任何连接称作计算机可读媒体，即计算机可读传输媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而应了解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是针对非瞬时有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读媒体的范围内。
可由例如一个或一个以上中央处理单元(CPU)、数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解码器中。而且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但不一定需要通过不同硬件单元来实现。而是，如上所述，各种单元可在编解码器硬件单元中组合或由互操作硬件单元(包含如上所述的一个或一个以上处理器)的集合结合合适软件和/或固件来提供。
已描述了各种实例。这些和其它实例属于所附权利要求书的范围内。

Claims (30)

1.一种处理立体图像数据的方法，其包括：
获取至少两个以立体方式俘获的图像；
识别所述所获取的至少两个图像的兴趣区ROI；
确定所述所获取的至少两个图像之间的像素视差，其中所述所获取的至少两个图像之间的所述像素视差与所述所获取的至少两个图像的每一所获取图像中表示的所述ROI相关联，且其中确定所述像素视差包括产生直方图来表示所述所获取的至少两个图像的每一所获取图像中表示的所述ROI的相对像素视差；
识别所述所获取的至少两个图像的三维3D呈现的平面作为用于所述所获取的至少两个图像的所述3D呈现的零视差平面ZDP，所述所获取的至少两个图像的一个或一个以上图像对象在所述平面处大体上以二维2D出现；以及
至少部分基于所述所确定的像素视差调整所述ZDP，使得所述ROI的至少一部分显示在所述ZDP处或附近。
2.根据权利要求1所述的方法，其中识别所述所获取的至少两个图像的所述ROI包括：
接收识别所述ROI的用户输入。
3.根据权利要求1所述的方法，其中识别所述所获取的至少两个图像的所述ROI包括：
自动识别所述ROI。
4.根据权利要求3所述的方法，其进一步包括：
确定所述所获取的至少两个图像的至少一个像素的视差；以及
基于所述至少一个像素的所述所确定的视差自动识别所述ROI。
5.根据权利要求3所述的方法，其中自动识别所述ROI包括基于选自由以下各项组成的群组的一种或一种以上技术而自动识别：
运动检测；
光流；
面部辨识；
对象辨识；
颜色直方图；以及
模糊度。
6.根据权利要求1所述的方法，其中确定所述像素视差进一步包括以下中的至少一者：1)确定所述经识别的ROI的至少一个像素的视差，以及2)确定所述经识别的ROI的平均视差。
7.根据权利要求1所述的方法，其中确定用于所述所获取的至少两个图像的3D呈现的ZDP包括显示所述3D呈现，使得所述经识别的ROI的至少一个对象出现在显示表面处或附近。
8.根据权利要求1所述的方法，其中所述ROI是第一ROI，且其中所述ZDP是第一ZDP，且所述方法进一步包括：
识别所述所获取的至少两个图像的第二ROI；以及
调整所述第一ZDP以基于所述经识别的第二ROI形成用于所述所获取的至少两个图像的3D呈现的第二ZDP，使得所述第二ROI的至少一部分显示在所述第二ZDP处或附近。
9.根据权利要求1所述的方法，其中识别用于所述所获取的至少两个图像的3D呈现的所述ZDP包括对准和/或裁剪所述所获取的至少两个图像的一者或一者以上。
10.一种用于处理立体图像数据的设备，所述设备包括：
一个或一个以上处理器，其包括：
图像获取模块，其经配置以至少部分通过致使至少一个图像俘获装置以立体方式俘获至少两个图像来获取所述至少两个图像；
兴趣区ROI识别模块，其经配置以识别所述所获取的至少两个图像的ROI；
视差模块，其经配置以确定所述所获取的至少两个图像之间的像素视差，其中所述所获取的至少两个图像之间的所述像素视差与所述所获取的至少两个图像的每一所获取图像中表示的所述ROI相关联，且其中所述视差模块至少部分通过产生直方图以表示所述所获取的至少两个图像的每一所获取图像中表示的所述ROI的相对像素视差来确定所述像素视差；
零视差平面ZDP识别模块，其经配置以识别所述所获取的至少两个图像的三维3D呈现的平面作为用于所述所获取的至少两个图像的所述3D呈现的ZDP，所述所获取的至少两个图像的一个或一个以上图像对象在所述平面处大体上以二维2D出现；以及
ZDP调整模块，其经配置以至少部分基于所述所确定的像素视差调整所述ZDP，使得所述ROI的至少一部分显示在所述ZDP处或附近。
11.根据权利要求10所述的设备，其中所述ROI识别模块经配置以基于接收到识别所述ROI的用户输入来识别所述ROI。
12.根据权利要求10所述的设备，其中所述ROI识别模块经配置以自动识别所述ROI。
13.根据权利要求12所述的设备，
其中所述视差模块进一步经配置以确定所述所获取的至少两个图像的至少一个像素的所述像素视差；且
其中所述ROI识别模块进一步经配置以基于所述至少一个像素的所述所确定的视差识别所述至少两个所俘获的图像的所述ROI。
14.根据权利要求12所述的设备，其中所述ROI识别模块经配置以基于选自由以下各项组成的群组的一种或一种以上技术而识别所述至少两个所俘获的图像的ROI：
运动检测；
光流；
面部辨识；
对象辨识；
颜色直方图；以及
模糊度。
15.根据权利要求10所述的设备，其中所述ZDP识别模块进一步经配置以确定所述经识别ROI的平均视差，且至少部分基于所确定的平均视差确定所述ZDP。
16.根据权利要求10所述的设备，其中所述ZDP识别模块经配置以确定用于所述所获取的至少两个图像的3D呈现的所述ZDP使得所述经识别ROI的至少一个对象出现在显示表面处或附近。
17.根据权利要求10所述的设备，其中所述ROI是第一ROI，且其中所述ZDP是第一ZDP，且其中所述ROI识别模块进一步经配置以识别所述所获取的至少两个图像的第二ROI，且其中所述ZDP调整模块经配置以调整所述第一ZDP以基于所述经识别的第二ROI形成用于所述至少两个所俘获图像的3D呈现的第二ZDP，使得所述第二ROI的至少一部分显示在所述第二ZDP处或附近。
18.根据权利要求10所述的设备，其中所述ZDP识别模块经配置以通过对准和/或裁剪所述所俘获的至少两个图像来确定用于所述所获取的至少两个所俘获图像的3D呈现的所述ZDP。
19.根据权利要求10所述的设备，其中所述设备是无线装置。
20.根据权利要求10所述的设备，其中所述设备是视频电话装置或人机接口装置。
21.一种用于处理立体图像数据的装置，其包括：
用于接收至少两个以立体方式俘获的图像的装置；
用于识别所述所接收的至少两个图像的兴趣区ROI的装置；
用于确定所述所接收的至少两个图像之间的像素视差的装置，其中所述所俘获的至少两个图像之间的所述像素视差与所述所俘获的至少两个图像的每一所俘获图像中表示的所述ROI相关联，且包含用以产生直方图以表示所述所接收的至少两个图像的每一所接收图像中表示的所述ROI的相对像素视差的装置；
用于识别所述所俘获的至少两个图像的三维3D呈现的平面并将所述平面确定为用于所述所接收的至少两个图像的所述3D呈现的零视差平面ZDP的装置，所述所俘获的至少两个图像的一个或一个以上图像对象在所述平面处大体上以二维2D出现；以及
用于至少部分基于所述所确定的像素视差调整所述ZDP使得所述ROI的至少一部分显示在所述ZDP处或附近的装置。
22.根据权利要求21所述的装置，其中所述用于识别所述所接收的至少两个图像的ROI的装置基于接收到识别所述ROI的用户输入来识别所述ROI。
23.根据权利要求21所述的装置，其中所述用于识别ROI的装置自动识别所述所接收的至少两个图像的所述ROI。
24.根据权利要求21所述的装置，其进一步包括：
用于确定所述至少两个图像的至少一个像素的视差的装置，
其中所述用于识别所述所接收的至少两个图像的所述ROI的装置基于所述至少一个像素的所述所确定的视差自动识别所述ROI。
25.根据权利要求21所述的装置，其中所述用于识别所述所接收的至少两个图像的所述ROI的装置基于选自由以下各项组成的群组的一种或一种以上技术而自动识别所述ROI：
运动检测；
光流；
面部辨识；
对象辨识；
颜色直方图；以及
模糊度。
26.根据权利要求21所述的装置，其进一步包括：
用于确定所述经识别ROI的至少一个像素的视差的装置；以及
用于基于所述经识别ROI的所述至少一个像素的所述所确定的视差确定所述经识别ROI的平均视差的装置。
27.根据权利要求26所述的装置，其中所述用于确定所述ZDP的装置基于所述经识别ROI的所确定的平均视差确定用于所述所接收的至少两个图像的所述3D呈现的所述ZDP。
28.根据权利要求21所述的装置，其中所述用于确定所述ZDP的装置确定所述ZDP，使得所述经识别ROI的至少一个对象出现在显示表面处或附近。
29.根据权利要求21所述的装置，其中所述ROI是第一ROI，且其中所述ZDP是第一ZDP，且其中所述用于识别所述ROI的装置进一步识别所述所俘获的至少两个图像的第二ROI，且
其中所述用于确定所述ZDP的装置包含用以调整所述第一ZDP以基于所述经识别的第二ROI形成用于所述所接收的至少两个图像的3D呈现的第二ZDP的装置。
30.根据权利要求21所述的装置，其进一步包括：
用于对准和/或裁剪所述所俘获的至少两个图像的装置。
CN201180062656.0A 2010-12-01 2011-11-30 用于基于反馈的三维视频的零视差平面 Active CN103270759B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/958,107 US9049423B2 (en) 2010-12-01 2010-12-01 Zero disparity plane for feedback-based three-dimensional video
US12/958,107 2010-12-01
PCT/US2011/062730 WO2012075203A1 (en) 2010-12-01 2011-11-30 Zero disparity plane for feedback-based three-dimensional video

Publications (2)

Publication Number Publication Date
CN103270759A CN103270759A (zh) 2013-08-28
CN103270759B true CN103270759B (zh) 2016-06-15

Family

ID=45099231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180062656.0A Active CN103270759B (zh) 2010-12-01 2011-11-30 用于基于反馈的三维视频的零视差平面

Country Status (6)

Country Link
US (1) US9049423B2 (zh)
EP (1) EP2647208A1 (zh)
JP (1) JP2014508430A (zh)
KR (2) KR20130117827A (zh)
CN (1) CN103270759B (zh)
WO (1) WO2012075203A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US20120087571A1 (en) * 2010-10-08 2012-04-12 Electronics And Telecommunications Research Institute Method and apparatus for synchronizing 3-dimensional image
EP2656613A1 (en) * 2010-12-22 2013-10-30 Thomson Licensing Apparatus and method for determining a disparity estimate
US9237331B2 (en) * 2011-01-18 2016-01-12 Disney Enterprises, Inc. Computational stereoscopic camera system
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US8941717B2 (en) * 2011-04-08 2015-01-27 Tektronix, Inc. Semi-automatic 3D stereoscopic disparity cursor
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US8837813B2 (en) * 2011-07-01 2014-09-16 Sharp Laboratories Of America, Inc. Mobile three dimensional imaging system
US20130009949A1 (en) * 2011-07-05 2013-01-10 Texas Instruments Incorporated Method, system and computer program product for re-convergence of a stereoscopic image
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
US9363498B2 (en) * 2011-11-11 2016-06-07 Texas Instruments Incorporated Method, system and computer program product for adjusting a convergence plane of a stereoscopic image
CN102722044B (zh) * 2012-06-07 2015-05-20 深圳市华星光电技术有限公司 立体显示系统
DE102012108249A1 (de) * 2012-09-05 2014-06-12 NET GmbH Verfahren und Vorrichtung zur Verbesserung der Wiedergabe stereoskopischer Bilder
US20140152676A1 (en) * 2012-11-30 2014-06-05 Dave Rohn Low latency image display on multi-display device
EP2932710B1 (en) * 2012-12-12 2019-02-20 Huawei Technologies Co., Ltd. Method and apparatus for segmentation of 3d image data
US9762905B2 (en) 2013-03-22 2017-09-12 Qualcomm Incorporated Disparity vector refinement in video coding
US9319665B2 (en) * 2013-06-19 2016-04-19 TrackThings LLC Method and apparatus for a self-focusing camera and eyeglass system
US20140375772A1 (en) * 2013-06-19 2014-12-25 Thaddeus Gabara Method and Apparatus for an SR and LR 3-D Visual Images and Sharing
TWI566576B (zh) 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置
US10244225B2 (en) 2014-06-12 2019-03-26 Inuitive Ltd. Method for determining depth for generating three dimensional images
US9609200B2 (en) * 2014-09-24 2017-03-28 Panavision International, L.P. Distance measurement device for motion picture camera focus applications
KR102618495B1 (ko) * 2015-01-18 2023-12-29 삼성전자주식회사 영상 처리 장치 및 방법
EP3335418A1 (en) * 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
US10097747B2 (en) * 2015-10-21 2018-10-09 Qualcomm Incorporated Multiple camera autofocus synchronization
FR3046014A1 (fr) * 2015-12-21 2017-06-23 Orange Procede de gestion de ressources sur un terminal
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
EP3420413A1 (en) * 2016-02-22 2019-01-02 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US10795316B2 (en) 2016-02-22 2020-10-06 Real View Imaging Ltd. Wide field of view hybrid holographic display
EP3252713A1 (en) * 2016-06-01 2017-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
WO2018093182A1 (en) * 2016-11-16 2018-05-24 Samsung Electronics Co., Ltd. Image management method and apparatus thereof
JP7362775B2 (ja) * 2019-04-22 2023-10-17 レイア、インコーポレイテッド 時間多重化バックライト、マルチビューディスプレイ、および方法
KR20210056540A (ko) * 2019-11-11 2021-05-20 삼성전자주식회사 디스패리티 이미지를 생성하는 알고리즘 갱신 방법 및 장치
KR20220107831A (ko) * 2021-01-26 2022-08-02 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005060271A1 (en) * 2003-12-18 2005-06-30 University Of Durham Method and apparatus for generating a stereoscopic image
CN1956555A (zh) * 2005-10-12 2007-05-02 三星电子株式会社 三维图像处理设备和方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6414709B1 (en) 1994-11-03 2002-07-02 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
US5661518A (en) 1994-11-03 1997-08-26 Synthonics Incorporated Methods and apparatus for the creation and transmission of 3-dimensional images
JPH08329110A (ja) 1995-06-05 1996-12-13 Matsushita Electric Ind Co Ltd 画像処理方法
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US7092003B1 (en) 1999-01-21 2006-08-15 Mel Siegel 3-D imaging arrangements
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6862364B1 (en) * 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
JP2003209858A (ja) 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004040445A (ja) 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
US8326084B1 (en) * 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
US7224831B2 (en) * 2004-02-17 2007-05-29 Honda Motor Co. Method, apparatus and program for detecting an object
JP2006221603A (ja) 2004-08-09 2006-08-24 Toshiba Corp ３次元情報復元装置、３次元情報復元方法および３次元情報復元プログラム
US7330584B2 (en) 2004-10-14 2008-02-12 Sony Corporation Image processing apparatus and method
ATE504897T1 (de) * 2004-10-26 2011-04-15 Koninkl Philips Electronics Nv Disparitätskarte
WO2007057497A1 (en) * 2005-11-17 2007-05-24 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
US8108119B2 (en) * 2006-04-21 2012-01-31 Sri International Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
US8374388B2 (en) 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
JP5567578B2 (ja) * 2008-10-21 2014-08-06 コーニンクレッカ フィリップス エヌ ヴェ 入力された三次元ビデオ信号を処理するための方法及びシステム
JP2010154422A (ja) 2008-12-26 2010-07-08 Casio Computer Co Ltd 画像処理装置
JP5409107B2 (ja) 2009-05-13 2014-02-05 任天堂株式会社 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム
CN101938670A (zh) * 2009-06-26 2011-01-05 Lg电子株式会社 图像显示装置及其操作方法
JP2011029905A (ja) * 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム
RU2554465C2 (ru) * 2009-07-27 2015-06-27 Конинклейке Филипс Электроникс Н.В. Комбинирование 3d видео и вспомогательных данных
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US8345930B2 (en) * 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
US8565516B2 (en) * 2010-02-05 2013-10-22 Sony Corporation Image processing apparatus, image processing method, and program
US8970672B2 (en) * 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
JP5494283B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
US8488870B2 (en) * 2010-06-25 2013-07-16 Qualcomm Incorporated Multi-resolution, multi-window disparity estimation in 3D video processing
JP5564633B2 (ja) * 2012-02-23 2014-07-30 富士フイルム株式会社 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005060271A1 (en) * 2003-12-18 2005-06-30 University Of Durham Method and apparatus for generating a stereoscopic image
CN1956555A (zh) * 2005-10-12 2007-05-02 三星电子株式会社 三维图像处理设备和方法

Also Published As

Publication number Publication date
WO2012075203A1 (en) 2012-06-07
KR20130117827A (ko) 2013-10-28
EP2647208A1 (en) 2013-10-09
JP2014508430A (ja) 2014-04-03
US20120140038A1 (en) 2012-06-07
KR20150096529A (ko) 2015-08-24
CN103270759A (zh) 2013-08-28
US9049423B2 (en) 2015-06-02

Similar Documents

Publication Publication Date Title
CN103270759B (zh) 用于基于反馈的三维视频的零视差平面
US10171792B2 (en) Device and method for three-dimensional video communication
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
WO2012086120A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
CN102170577A (zh) 用于处理视频图像的方法和系统
JP5814692B2 (ja) 撮像装置及びその制御方法、プログラム
WO2013091201A1 (zh) 视区调整的方法和装置、能实现立体显示视频信号的设备
WO2011121397A1 (en) Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
KR20130085784A (ko) 디스플레이 장치 및 그 제어방법
US20140022246A1 (en) Three-dimensional image output apparatus and three-dimensional image output method
Bista et al. Kinetic depth images: flexible generation of depth perception
US20230281916A1 (en) Three dimensional scene inpainting using stereo extraction
JP2006267767A (ja) 画像表示装置
JP5741353B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
TW201909627A (zh) 同步的３ｄ全景視訊播放系統
Lee et al. Eye tracking based glasses-free 3D display by dynamic light field rendering
CN114637391A (zh) 基于光场的vr内容处理方法及设备
WO2023005606A1 (zh) 一种显示装置及其显示方法
US20240121373A1 (en) Image display method and 3d display system
US9609313B2 (en) Enhanced 3D display method and system
TWM638384U (zh) 立體影像顯示裝置
TW202416709A (zh) 影像顯示方法與3d顯示系統
Chen et al. An automatic parallax adjustment method for stereoscopic augmented reality systems
JP5638985B2 (ja) 撮像装置および撮像プログラム
CN117119167A (zh) 一种基于人眼追踪的立体显示系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant