CN116076071A - 二维图像捕获系统和三维数字图像的显示 - Google Patents

二维图像捕获系统和三维数字图像的显示 Download PDF

Info

Publication number
CN116076071A
CN116076071A CN202180058093.1A CN202180058093A CN116076071A CN 116076071 A CN116076071 A CN 116076071A CN 202180058093 A CN202180058093 A CN 202180058093A CN 116076071 A CN116076071 A CN 116076071A
Authority
CN
China
Prior art keywords
image
digital image
display
scene
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180058093.1A
Other languages
English (en)
Inventor
杰瑞·尼姆斯
威廉·M·卡尔斯
塞缪尔·波尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sai JiuerBoer
Wei LianMKaersi
Jie RuiNimusi
Original Assignee
Sai JiuerBoer
Wei LianMKaersi
Jie RuiNimusi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sai JiuerBoer, Wei LianMKaersi, Jie RuiNimusi filed Critical Sai JiuerBoer
Publication of CN116076071A publication Critical patent/CN116076071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种用于由用户捕获场景的多个二维数字源图像的系统,该系统包括:智能装置,所述智能装置具有用于存储指令的存储器装置;处理器,所述处理器与存储器通信且被配置成执行指令;多个数字图像捕获装置,所述多个数字图像捕获装置与处理器通信,且每个图像捕获装置被配置成捕获场景的数字图像,多个数字图像捕获装置在大约瞳孔间距离内线性地串联地定位,其中,第一数字图像捕获装置靠近瞳孔间距离宽度的第一端居中,第二数字图像捕获装置在瞳孔间距离宽度的第二端上居中,以及所述多个数字图像捕获装置中任何其余的数字图像捕获装置在第一数字图像捕获装置与第二数字图像捕获装置之间均匀地间隔开;以及显示器,该显示器与处理器通信,该显示器被配置成对多维数字图像进行显示。

Description

二维图像捕获系统和三维数字图像的显示
相关申请的交叉引用
本申请涉及以下专利申请:于2020年1月9日提交的名称为“LINEAR INTRAOCULARWIDTH CAMERAS(线性眼内宽度相机)”的美国外观设计专利申请第29/720,105号;于2020年3月2日提交的名称为“INTERPUPILARY DISTANCE WIDTH CAMERAS(瞳孔间距离宽度相机)”的美国外观设计专利申请第29/726,221号;于2020年3月16日提交的名称为“INTERPUPILARY DISTANCE WIDTH CAMERAS(瞳孔间距离宽度相机)”的美国外观设计专利申请第29/728,152号;于2020年5月1日提交的名称为“INTERPUPILLARY DISTANCE WIDTHCAMERAS 11PRO(瞳孔间距离宽相机11PRO)”的美国外观设计专利申请第29/733,453号;于2021年4月14日提交的名称为“INTERPUPILLARY DISTANCE WIDTH CAMERAS BASIC(瞳孔间距离宽度相机基础)”的美国外观设计专利申请第29/778,683号。本申请涉及于2020年1月27日提交的名称为“Method and System for Simulating a 3-Dimensional ImageSequence(用于模拟三维图像序列的方法和系统)”的国际申请第PCT/IB2020/050604号。上述申请通过引用全部并入本文。
技术领域
本公开涉及2D图像捕获、图像处理和3D或多维图像的显示。
背景技术
人类视觉系统(HVS)依靠二维图像来解释三维视场。通过利用HVS的机制,我们创建了与HVS可比较的图像/场景。
在观看3D图像时,在眼睛必须会聚的点与眼睛必须聚焦到的距离之间的不匹配会产生负面的后果。虽然3D影像已被证明在电影、数字广告方面很受欢迎且有用,但如果观看者能够在不佩戴专门的眼镜或头戴式耳机的情况下观看3D图像,也可以利用许多其他的应用,这是众所周知的问题。在观看数字多维图像时,这些系统中的不对准会导致图像跳动、失焦或模糊的特征。观看这些图像会导致头疼和恶心。
在自然观看中,图像到达眼睛时有不同的双眼视差,因此当观看者从视觉场景中的一个点看向另一个点时,他们必须调整眼睛的辐辏(vergence)。视线相交处的距离就是辐辏距离。没有在这个距离上会聚会出现双重图像。观看者还为场景的固定部分适当地调整每只眼睛晶状体的焦度(即调节(accommodate))。眼睛必须聚焦到的距离就是调节距离。没有调节到这个距离会出现模糊的图像。辐辏和调节反应在大脑中是耦合的,具体地,辐辏的变化驱动调节的变化,调节的变化驱动辐辏的变化。这种耦合在自然观看中是有利的,因为辐辏距离和调节距离几乎总是相同的。
在3D图像中,图像具有不同的双眼视差,从而刺激了如自然观看中发生的辐辏变化。但调节距离仍然固定在与观看者的显示距离处,因此,辐辏距离和调节距离之间的自然相关性被破坏了,导致所谓的辐辏-调节冲突。该冲突导致了几个问题。首先,不同的视差和聚焦信息会导致感知上的深度失真。第二,观看者在同时融合(fuse)和聚焦于图像中的关键主体时遇到困难。最后,试图分别调整辐辏和调节会导致观看者的视觉不适和疲劳。
对深度的感知是基于各种线索的,双眼视差(binocular disparity)和运动视差(motion parallax)通常比图像线索提供更精确的深度信息。双眼视差和运动视差为深度感知提供了两个独立的定量线索。双眼视差指的是一个点在3D空间中的两个视网膜图像投影之间的位置差异。
传统的立体显示器迫使观看者试图将这些过程解耦,因为当他们必须动态地改变辐辏角以观看不同立体距离处的对象时,他们必须将调节保持在一个固定的距离,否则整个显示器将滑出焦点。在观看这种显示器时,这种解耦会产生眼睛疲劳,并损害图像质量。
因此,明显的是,对于可以被配置成解决以上讨论的问题的至少一些方面的2D图像捕获系统和3D或数字多维图像的显示,存在着明显的未满足的需求。
发明内容
简而言之,在示例实施方式中,本公开可以克服以上提及的缺点,并且可以满足用户对用于捕获场景的多个二维数字源图像的系统的明显的需求,该系统包括:智能装置,该智能装置具有用于存储指令的存储器装置;处理器,该处理器与存储器通信且被配置成执行所述指令;多个数字图像捕获装置,该多个数字图像捕获装置与处理器通信,且每个图像捕获装置被配置成捕获场景的数字图像,多个数字图像捕获装置在大约瞳孔间距离内线性地串联地定位,其中,第一数字图像捕获装置靠近瞳孔间距离的第一端居中,第二数字图像捕获装置在瞳孔间距离的第二端上居中,以及所述多个数字图像捕获装置中任何其余的数字图像捕获装置在第一数字图像捕获装置与第二数字图像捕获装置之间均匀地间隔开;以及显示器,该显示器与处理器通信,该显示器被配置成对多维数字图像进行显示。
因此,数字多维图像系统和使用方法的特征是:利用2D捕获装置捕获场景的图像的能力,该2D捕获装置被定位成相隔大约眼内或瞳孔间距离宽度IPD(人类视觉系统的瞳孔之间的距离)。
因此,数字多维图像系统和使用方法的特征是:将输入2D源场景转换成多维/多光谱图像的能力。输出的图像遵循“关键主体点”保持在最佳视差内的规则,以保持清晰明了的图像。
因此,数字多维图像系统和使用方法的特征是:将观看装置或其他观看功能集成到显示器中的能力,诸如屏障屏幕、柱状透镜、弧形、曲面、梯形、抛物线、叠加、波导、黑线与在LED或OLED、LCD、OLED及其组合或其他观看装置中的集成LCD层等。
基于数字多维图像平台的系统和使用方法的另一个特征是:产生数字多维图像的能力,这些数字多维图像可以在观看屏幕上观看,诸如移动电话和固定电话、智能手机(包括iPhone)、平板电脑、电脑、笔记本电脑、监视器和其他显示器和/或特定输出装置,而直接不需要3D眼镜或耳戴式耳机。
在示例性实施方式中,一种用于由用户捕获场景的多个二维数字源图像的系统,该系统包括:智能装置,该智能装置具有用于存储指令的存储器装置;处理器,该处理器与存储器装置通信且被配置成执行所述指令;多个数字图像捕获装置,该多个数字图像捕获装置与处理器通信,且每个图像捕获装置被配置成捕获场景的数字图像,多个数字图像捕获装置在大约瞳孔间距离内线性地串联地定位,其中,第一数字图像捕获装置靠近瞳孔间距离的第一端居中,第二数字图像捕获装置在瞳孔间距离的第二端上居中,以及所述多个数字图像捕获装置中任何其余的数字图像捕获装置在第一数字图像捕获装置与第二数字图像捕获装置之间均匀地间隔开;以及显示器,该显示器与处理器通信,该显示器被配置成对多维数字图像进行显示。
在用于捕获场景的多个二维数字源图像并且将修改后的图像对传输至多个用户以供观看的系统的另一个示例性实施方式中,所述系统具有:第一智能装置,该第一智能装置具有用于存储指令的第一存储器装置;第一处理器,该第一处理器与第一存储器装置通信并且被配置成执行所述指令;显示器,该显示器与第一处理器通信,该显示器被配置成对多维数字图像进行显示;第二智能装置,该第二智能装置具有用于存储指令的第二存储器装置;第二处理器,该第二处理器与第二存储器装置通信,并且第二处理器被配置成执行所述指令;多个数字图像捕获装置,该多个数字图像捕获装置与第二处理器通信并且每个图像捕获装置被配置成捕获场景的数字图像,多个数字图像捕获装置在大约瞳孔间距离宽度内线性地串联地定位,其中,第一数字图像捕获装置靠近瞳孔间距离宽度的第一端居中,第二数字图像捕获装置在瞳孔间距离宽度的第二端上居中,以及所述多个数字图像捕获装置中任何其余的数字图像捕获装置在第一数字图像捕获装置与第二数字图像捕获装置之间均匀地间隔开,并且该第二智能装置与所述第一智能装置通信。
在根据至少两个2D(二维)数字图像为用户生成场景的多维数字图像的方法的另一个示例性实施方式中,该方法包括:提供智能装置,该智能装置具有用于存储指令的存储器装置;提供处理器,该处理器与存储器通信且被配置成执行所述指令;提供多个数字图像捕获装置,该多个数字图像捕获装置与处理器通信,且每个图像捕获装置被配置成捕获所述场景的数字图像,多个数字图像捕获装置在大约瞳孔间距离内线性地串联地定位,其中,第一数字图像捕获装置靠近所述瞳孔间距离的第一端居中,第二数字图像捕获装置在瞳孔间距离的第二端上居中,以及所述多个数字图像捕获装置中任何其余的数字图像捕获装置在第一数字图像捕获装置与第二数字图像捕获装置之间均匀地间隔开;以及提供显示器,该显示器与处理器通信,该显示器被配置成对多维数字图像进行显示;以及在显示器上对所述多维数字图像进行显示。
本公开的特征可以包括一种系统,该系统具有一系列捕获装置,诸如两个、三个、四个或更多个,这样的多个捕获装置(数字图像相机)在眼内或瞳孔间距离宽度——普通人的瞳孔之间的距离——内线性地串联地定位,该系统捕获且存储两个、三个、四个或更多个,多个场景的2D源图像,该系统基于捕获该图像的源捕获装置来标记和识别这些图像。
本公开的特征可以包括一种系统,该系统具有由诸如顶部玻璃盖、电容式触摸屏玻璃、偏振器、漫射器和背光的部件的堆配置的显示装置。此外,图像源,诸如LCD,诸如LED、ELED、PDP、QLED,以及其他类型的显示技术。此外,显示装置可以包括透镜阵列,该透镜阵列优选地位于电容式触摸屏玻璃与LCD面板部件堆之间,并被配置成以以下方式使光弯曲或折射:能够显示高质量2D图像和左图像和右图像的交错立体图像对作为场景的3D或多维数字图像的。
本公开的特征可以包括使光弯曲或折射的其他技术,诸如屏障屏幕、柱状透镜、抛物线、叠加、波导、黑线等。
本公开的特征可以包括截面图被配置为一系列间隔开的梯形透镜的透镜阵列。
本公开的特征是:通过用于确定会聚点或关键主体点的另一个重要的参数来克服上述缺陷的能力,因为观看没有与关键主体点对准的图像会对人类视觉系统造成混乱,导致图像模糊和双重图像。
本公开的特征是:通过用于确定舒适圆CoC的另一个重要的参数来克服以上缺陷的能力,因为观看没有与舒适圆CoC对准的图像会对人类视觉系统造成混乱,导致图像模糊和双重图像。
本公开的特征是:通过用于确定与同视点界弧或点和帕努姆区域相融合的舒适圆CoC的另一个重要参数来克服上述缺陷的能力,因为观看没有对准与和同视点弧或点和帕努姆区域相融合的舒适圆CoC的图像会对人的视觉系统造成混乱,导致图像模糊和双重图像。
本公开的特征是:通过用于确定灰度深度图的另一个重要参数来克服上述缺陷的能力,该系统基于场景中的指定点(最近点、关键主体点和最远点)来插值中间点,该系统为这些中间点分配值,并且将其总和渲染成灰度深度图。该灰度图使用分配给场景中不同点(最近点、关键主体点和最远点)的值来生成体积视差。这种模式还允许将体积视差或圆角分配给场景中的单一对象。
本公开的特征是:它利用关键主体算法来手动或自动地选择在显示器上显示的场景的关键主体的能力。
本公开的特征是:它利用图像对准或编辑算法来手动或自动地将场景的两个图像进行对准以供显示的能力。
本公开的特征的特征是:它利用图像平移算法来将场景的两个图像的关键主体点进行对准以供显示的能力。
本公开的特征是它提供一种显示器的能力,该显示器能够使用集成在显示器中的透镜阵列来显示多维图像,其中这种透镜阵列可以选自屏障屏幕、抛物线、透镜阵列(无论是弧形的、圆顶的、梯形的等)和/或波导、在LED或OLED、LCD、OLED及其组合中的集成LCD层。
2D图像捕获系统和3D或数字多维图像的显示以及使用方法的这些和其他特征对于本领域的技术人员来说,根据鉴于附图或图阅读的前面的摘要和下面的附图说明、具体实施方式以及权利要求书将变得更加明显。
附图说明
通过参照附图阅读优选的和选定的替选实施方式的详细描述,将更好地理解本公开,在附图中,类似的附图标记表示类似的结构,并且自始至终指代类似的元素,并且其中:
图1是本公开的计算机系统的框图;
图2是由图1中的计算机系统实现的通信系统的框图;
图3A是计算装置的示例性实施方式的图,该计算装置的四个图像捕获装置在眼内或瞳孔间距离宽度(即普通人的瞳孔之间的距离)内竖直线性地串联地定位;
图3B是计算装置的示例性实施方式的图,该计算装置的四个图像捕获装置在眼内或瞳孔间距离宽度(即普通人的瞳孔之间的距离)内水平线性地串联地定位;
图3C是图3A和图3B的线性地串联的四个图像捕获装置的示例性实施方式的分解图;
图3D是图3A和图3B的线性地串联的四个图像捕获装置的示例性实施方式的截面图;
图3E是在眼内或瞳孔间距离宽度(即普通人的瞳孔之间的距离)内线性地串联的三个图像捕获装置的示例性实施方式的分解图;
图3F是图3E的线性地串联的三个图像捕获装置的示例性实施方式的截面图;
图3G是在眼内或瞳孔间距离宽度(即普通人的瞳孔之间的距离)内线性地串联的两个图像捕获装置的示例性实施方式的分解图;
图3H是图3G的线性地串联的两个图像捕获装置的示例性实施方式的截面图;
图4是人眼间距、眼内或瞳孔间距离宽度(即普通人的瞳孔之间的距离)的示例性实施方式的图;
图5A是根据本公开的选定实施方式的显示器堆的示例性实施方式的截面图;
图5B是根据本公开的选定实施方式的弧形或曲线形透镜追踪穿过其中的RGB光的示例性实施方式的截面图;
图5C是根据本公开的选定实施方式的梯形透镜追踪穿过其中的RGB光的原型实施方式的截面图;|
图5D是根据本公开的选定实施方式的圆顶形透镜追踪穿过其中的RGB光的示例性实施方式的截面图;
图6是识别成比例的场景的平面和舒适圆的顶视图,其中直角三角形限定了捕获装置在晶状体平面上的定位;
图6A是标识了用于计算图6的舒适圆半径的直角三角形的示例性实施方式的顶视图;
图6B是标识了用于计算捕获装置在图6的晶状体平面上的线性定位的直角三角形的示例性实施方式的顶视图;
图6C是标识了用于计算图6的背板的最佳距离的直角三角形的示例性实施方式的顶视图;
图7是根据利用图3中所示的捕获装置捕获的图8A中所示的2D数字图像生成多维图像的方法的流程图的示例性实施方式;
图8A是利用图3中所示的捕获装置捕获的场景的两个图像的示例性实施方式的前顶视图;
图8B是运行应用的计算机系统的显示器的示例性实施方式的顶视图;
图9是诸如根据本公开的选定实施方式的图8A中的两个图像(帧)之间的点的几何移位的示例性实施方式的图示;
图10是诸如根据本公开的选定实施方式的图8A中的两个图像(帧)之间的点的几何移位的示例性实施方式的图示;以及
图11是观看显示器上的多维数字图像的示例性实施方式的顶视图,其中图像在舒适圆内、靠近同视点弧或点、在帕努姆区域内并且从观看距离观看。
需要指出的是,所呈现的附图仅仅旨在出于说明的目的,因此,它们既不希望也不旨在将公开内容限制在所示出的任何或所有确切的构造细节上,除非它们可能被视为对所要求保护的公开内容至关重要。
具体实施方式
在描述本公开的示例性实施方式时,如图所示,为清晰起见,采用了特定的术语。然而,本公开并不旨在局限于如此选择的具体术语,应理解为每个具体元素包括以类似方式操作以完成类似功能的所有技术等同物。然而,所要求保护的发明可以以许多不同的形式体现出来,并且不应解释为仅限于本文所阐述的实施方式。本文所列举的示例是非限制性示例,并且只是在其他可能的示例中的示例。
为了理解本公开的内容,需要对某些变量进行定义。物场是指正在构成的整个图像。“关键主体点”被定义为场景会聚的点,即景深中始终保持聚焦且在关键主体点上没有视差的点。前景点和后景点分别是距观看者的最近点和最远点。景深是在物场内创建的深度或距离(描绘的前景到后景的距离)。主轴是垂直于场景、通过关键主体点的线。视差或双眼视差是指在关键主体对准后任何点在第一张和最后一张图像中的位置差异。在数字构图中,帧之间的关键主体点与主轴的移位始终保持为与主轴的整数个像素数。总视差是最近帧的关键主体点与主轴的移位的绝对值与最远帧的关键主体点与主轴的移位的绝对值之和。
此处在捕获图像时,申请人指的是景深或弥散圆,而在观看装置上观看图像时指的是舒适圆。
文件:Jason Geng的Three-Dimensional Display Technology(三维显示技术),第1-80页通过引用并入本文。
美国专利9,992,473、美国专利10,033,990和美国专利10,178,247的全部内容通过引用并入本文。
利用运动视差创建深度感知是已知的。然而,为了最大化深度,同时保持令人愉悦的观看体验,引入了一种系统方法。该系统将人类视觉系统的因素与图像捕获程序相结合,以在任何2D观看装置上产生真实的深度体验。
该技术引入了舒适圆CoC,舒适圆规定了图像捕获系统相对于场景S的位置。舒适圆CoC相对于关键主体KS(会聚点、焦点)设置了最佳的近平面NP和远平面FP,即控制了场景S的视差。
该系统的开发使任何捕获装置,诸如iPhone、相机或摄像机都可以用来捕获场景。类似地,捕获的图像可以在任何数字输出装置诸如智能手机、平板电脑、监视器、电视、笔记本电脑或计算机屏幕上进行组合和观看。
正如本领域的技术人员所理解的那样,本公开可以体现为一种方法、数据处理系统或计算机程序产品。因此,本公开可以采取完全是硬件的实施方式、完全软件的实施方式、或结合软件和硬件方面的实施方式。此外,本公开可以采取计算机可读存储介质上的计算机程序产品的形式,该计算机可读存储介质具有体现在该介质中的计算机可读程序代码装置。可以利用任何合适的计算机可读介质,包括硬盘、ROM、RAM、CD-ROM、电存储装置、光存储装置、磁存储装置等。
下面参照根据本公开的实施方式的方法、设备(系统)和计算机程序产品的流程图图示来描述本公开。将理解的是,流程图图示中的每个块或步骤、以及流程图图示中的块或步骤的组合可以通过计算机程序指令或操作来实现。这些计算机程序指令或操作可以加载到通用计算机、专用计算机或其他可编程数据处理设备上,以生产一台机器,从而使在计算机或其他可编程数据处理设备上执行的指令或操作创建用于实现流程图块/步骤中规定功能的手段。
这些计算机程序指令或操作也可以存储在计算机可使用的存储器中,该存储器可以指导计算机或其他可编程数据处理设备以特定方式运行,从而使存储在计算机可使用的存储器中的指令或操作产生一个制造品,该制造品包括实现一个或更多个流程图块/步骤中指定的功能的指令装置。计算机程序指令或操作也可以加载到计算机或其他可编程数据处理设备(处理器)上,以使一系列操作步骤在计算机或其他可编程设备(处理器)上执行,以产生计算机实现的过程,从而使在计算机或其他可编程设备(处理器)上执行的指令或操作提供用于实现一个或更多个流程图块/步骤中指定的功能的步骤。
因此,流程图图示的块或步骤支持用于执行指定功能的装置的组合、用于执行指定功能的步骤的组合、以及用于执行指定功能的程序指令装置。还应理解的是,流程图图示中的每个块或步骤、以及流程图图示中的块或步骤的组合可以由基于专用硬件的计算机系统来实现,该系统执行指定的功能或步骤、或专用硬件和计算机指令或操作的组合。
用于实现本公开的计算机编程可以以各种编程语言、数据库语言等编写。然而,将理解的是,在不背离本公开的精神和意图的情况下,可以利用其他源或面向对象的编程语言、以及其他常规编程语言。
现在参照图1,图1示出了计算机系统10的框图,计算机系统10提供了用于实现本公开的实施方式的合适的环境。图1中所示的计算机架构分为两部分—主板100和输入/输出(I/O)装置200。主板100优选地包括通过总线110互连的以下:用于执行指令的子系统或处理器,诸如中央处理单元(CPU)102;存储器装置,诸如随机存取存储器(RAM)104;输入/输出(I/O)控制器108;以及存储器装置,诸如只读存储器(ROM)106,也被称为固件。基本输入输出系统(BIOS)包含有助于在计算机子系统内各元素之间传输信息的基本例程,基本输入输出系统(BIOS)优选地存储在ROM 106中,或可操作地设置在RAM 104中。计算机系统10还优选地包括:I/O装置202,诸如用于存储操作系统204并且通过应用程序206执行指令的主存储装置214;以及用于视觉输出的显示器208;以及其他适当的I/O装置212。主存储装置214优选地通过连接到总线110的主存储控制器(表示为108)与CPU 102连接。网络适配器210允许计算机系统通过通信装置或任何其他能够通过通信链路传输和接收数据的网络适配器发送和接收数据,该通信链路可以是有线、光学或无线数据通路。在此认识到,中央处理单元(CPU)102执行存储在ROM 106或RAM 104中的指令、操作或命令。
在此设想,计算机系统10可以包括智能装置,诸如智能手机、iPhone、安卓手机(谷歌、三星或其他制造商)、平板电脑、台式机、笔记本电脑、数字图像捕获装置以及其他具有两个或更多个数字图像捕获装置和/或3D显示器208的计算装置(智能装置)。
在此进一步设想,显示器208可以被配置成能够展开成更大的显示表面区域的可折叠显示器或可多次折叠显示器。
许多其他装置或子系统或其他I/O装置212可以以类似的方式连接,包括但不限于诸如麦克风、扬声器、闪存驱动器、CD-ROM播放器、DVD播放器、打印机、主存储装置214诸如硬盘、和/或调制解调器等的装置,这些装置各自通过I/O适配器连接。另外,虽然是优选的,但不一定要存在图1中所示的所有装置才能实践本公开的内容,如下文所讨论的。此外,这些装置和子系统可以以与图1中所示不同的配置互连,或者也可以基于光学或门阵列、或能够响应和执行指令或操作的这些元素的某种组合互连。如图1中所示的计算机系统的操作在本领域中是很容易知道的,并且在本申请中没有进一步详细讨论,以便不使本讨论过于复杂。
现在参照图2,图2示出了描绘了示例性通信系统201的图,其中可以实现与本公开一致的构思。图2的通信系统201内的每个元素的示例在以上参照图1进行了广泛描述。特别地,服务器系统260和用户系统220具有类似于图1的计算机系统10的属性,并示出了计算机系统10的一种可能的实现方式。通信系统201优选地包括一个或更多个用户系统220、222、224(在此设想计算机系统10可以包括智能装置,诸如智能手机、iPhone、安卓手机(谷歌、三星或其他制造商)、平板电脑、台式机、笔记本电脑、相机和其他具有显示器208的计算装置(智能装置))、一个或更多个服务器系统260和网络250,该网络可以是例如因特网、公共网络、私人网络或云。用户系统220至224各自优选地包括耦接至处理器的计算机可读介质,诸如随机存取存储器。处理器—CPU 102—执行存储在存储器中的程序指令或操作。通信系统201通常包括一个或更多个用户系统220。例如,用户系统220可以包括一个或更多个通用计算机(例如,个人计算机)、一个或更多个专用计算机(例如,专门编程为彼此和/或服务器系统260进行通信的装置)、工作站、服务器、装置、数字助理或“智能”移动电话或寻呼机、数字相机、部件、其他设备、或能够响应于指令或操作并执行指令或操作的这些元素的一些组合。
与用户系统220类似,服务器系统260优选地包括耦接至处理器的计算机可读介质,诸如随机存取存储器。该处理器执行存储在存储器中的程序指令。服务器系统260还可以包括许多附加的外部或内部装置,诸如但不限于,鼠标、CD-ROM、键盘、显示器、存储装置和其他类似于图1的计算机系统10的特征。服务器系统260可以另外地包括辅助存储元件,诸如用于存储数据和信息的数据库270。服务器系统260虽然被描绘为单一的计算机系统,但其可以实现为计算机处理器的网络。服务器系统260中的存储器包含一个或更多个可执行的步骤、程序、算法或应用206(在图1中示出的)。例如,服务器系统260可以包括网络服务器、信息服务器、应用服务器、一个或更多个通用计算机(例如,个人计算机)、一个或更多个专用计算机(例如,专门编程为相互通信的装置)、工作站或其他设备、或能够响应于指令或操作并执行指令或操作的这些元素的一些组合。
通信系统201能够通过通信链路240和/或网络250在用户系统220与服务器系统260之间传递和交换数据(包括三维3D图像文件)。通过用户系统220,用户可以优选地通过网络250与每个其他用户系统220、222、224,以及与其他系统和装置诸如服务器系统260传达数据,以便以电子方式传输、存储、打印和/或观看多维数字主图像303(参见图7)。通信链路240通常包括在用户系统220与服务器系统260之间进行直接或间接通信的网络250,而不考虑物理分离。网络250的示例包括因特网、云、模拟或数字有线和无线网络、无线电、电视、电缆、卫星和/或任何其他用于承载和/或传输数据或其他信息的传递机制,诸如以电子方式传输、存储、打印和/或观看多维数字主图像303。通信链路240可以包括,例如,有线、无线、电缆、光学或卫星通信系统或其他通路。
现在参照图3A,通过示例而非限制的方式,示出了计算机系统10,诸如智能装置或便携式智能装置,其具有:背侧310、第一边缘诸如短边缘311、和第二边缘诸如长边缘312。背侧310可以包括I/O装置202,诸如图像捕获模块330的示例性实施方式,并且可以包括一个或更多个传感器340,一个或更多个传感器340用以测量计算机系统10与图像或场景S中的选定深度(深度)之间的距离。图像捕获模块330可以包括多个或四个数字图像捕获装置331、332、333、334,其中四个数字图像捕获装置(在眼内或瞳孔间距离宽度IPD(在舒适圆关系内的人类视觉系统的瞳孔之间的距离,以优化人类视觉系统的数字多维图像)内竖直线性地串联地定位)位于(asto)背侧310或靠近且平行于长边缘312。瞳孔间距离宽度IPD优选地是普通人的瞳孔之间的距离,可以具有大约两英寸半——2.5英寸(6.35cm)之间、更优选地大约40mm至80mm之间的距离,绝大多数成年人的IPD在50mm至75mm的范围内,45mm至80mm的较宽范围可能包括(几乎)所有成年人,而儿童(低至5岁)的最小IPD为约40mm)。在此设想,多个图像捕获模块330以及一个或更多个传感器340可以被配置成图像捕获装置330与传感器340的组合,被配置成其中传感器340控制图像捕获装置330的深度或对图像捕获装置330的深度进行设置的集成单元或模块,无论图7中所示出的场景S——诸如前景、和人P或对象、后景(诸如最接近点CP、关键主体点KS和最远点FP)——中的不同深度如何。在此用于参照,多个图像捕获装置可以包括:以靠近瞳孔间距离宽度IPD的第一端IPD IPD.1居中的第一图像捕获装置331、以靠近瞳孔间距离宽度IPD的第二端IPD.2居中的第四图像捕获装置334、以及其余的图像捕获装置——第二图像捕获装置332和第三图像捕获装置333,第二图像捕获装置332和第三图像捕获装置333在瞳孔间距离宽度IPD的第一端IPD IPD.1与第二端IPD.2之间均匀地间隔开。
在此设想,具有显示器的智能装置或便携式智能装置可以被配置成为矩形或方形或提供具有第一边缘311和第二边缘312的表面区域的其他类似构造。
在此设想,图像捕获装置331至334或图像捕获模块330可以被凹陷的、阶梯状的或斜面的边缘314包围,每个图像捕获装置331至334可以被凹陷的、阶梯状的或斜面的环316围绕,并且图像捕获装置331至334或图像捕获模块330可以被透镜盖320覆盖,该透镜盖320下面有透镜318。
在此设想,图像捕获装置331至334可以是单独的捕获装置,而不是图像捕获模块的一部分。
在此进一步设想,图像捕获装置331至334可以设置在背侧310的任何地方,并且大体上与长边缘312平行。
现在参照图3B,通过示例而非限制的方式,示出了计算机系统10或其他智能装置或便携式智能装置,其具有背侧310、短边缘311和长边缘312。背侧310可以包括I/O装置202,诸如图像捕获模块330的示例性实施方式,并且可以包括一个或更多个传感器340,一个或更多个传感器340用以测量计算机系统10与图像或场景S中的选定深度(深度)之间的距离。图像捕获模块330可以包括多个或四个数字图像捕获装置331、332、333、334,其中四个数字图像捕获装置(在眼内或瞳孔间距离宽度IPD(在舒适圆关系内的人类视觉系统的瞳孔之间的距离,以优化人类视觉系统的数字多维图像)内竖直线性地串联地定位)位于背侧310或靠近且平行于短边缘312。瞳孔间距离宽度IPD优选地是普通人的瞳孔之间的距离,可以具有大约两英寸半——2.5英寸(6.35cm)之间、更优选地大约40mm至80mm之间的距离,绝大多数成年人的IPD在50mm至75mm的范围内,45mm至80mm的较宽范围可能包括(几乎)所有成年人,而儿童(低至5岁)的最小IPD为约40mm)。在此设想,多个图像捕获模块330以及一个或更多个传感器340可以被配置成图像捕获装置330与传感器340的组合,被配置成其中传感器340控制图像捕获装置330的深度或对图像捕获装置330的深度进行设置的集成单元或模块,诸如图7中所示出的场景S——诸如前景、后景、和人P或对象(诸如最接近点CP、关键主体点KS和最远点FP)——中的不同深度。在此用于参照,多个图像捕获装置可以包括:以靠近瞳孔间距离宽度IPD的第一端IPD IPD.1居中的第一图像捕获装置331、以靠近瞳孔间距离宽度IPD的第二端IPD.2居中的第四图像捕获装置334、以及其余的图像捕获装置——第二图像捕获装置332和第三图像捕获装置333,第二图像捕获装置332和第三图像捕获装置333在瞳孔间距离宽度IPD的第一端IPD IPD.1与第二端IPD.2之间均匀地间隔开。
在此设想,数字图像捕获装置331至334或图像捕获模块330可以被凹陷的、阶梯状的或斜面的边缘314包围,每个图像捕获装置331至334可以被凹陷的、阶梯状的或斜面的环316围绕,并且图像捕获装置331至334或图像捕获模块330可以被透镜盖320覆盖,该透镜盖320下面有透镜318。
在此设想,图像捕获装置331至334可以是单独的捕获装置,而不是图像捕获模块的一部分。
在此进一步设想,图像捕获装置331至334可以设置在背侧310的任何地方,并且大体上与长边缘312平行。
关于计算机系统10和图像捕获装置330,应认识到最佳尺寸关系——包括尺寸、材料、形状、形式、位置、连接、功能及操作、组装和使用方式的变化——旨在被本公开所涵盖。
在本公开中,瞳孔间距离宽度IPD可以具有宽度量度,以将图像捕获装置331至334中心到中心定位在大约115毫米的最大宽度至50毫米的最小宽度之间;更优选地在大约72.5毫米的最大宽度至53.5毫米的最小宽度之间;以及最优选地大约64毫米的最大平均宽度至61.7毫米的最小平均宽度之间,以及图4所示的人类视觉系统的63毫米(2.48英寸)中心到中心宽度的平均宽度。
现在参照图3C,通过示例而非限制的方式,示出了图像捕获模块330的示例性实施方式的分解图。图像捕获模块330可以包括图像捕获装置331至334,其中四个图像捕获装置在眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内线性地串联。图像捕获装置331至334可以包括第一图像捕获装置331、第二图像捕获装置332、第三图像捕获装置333、第四图像捕获装置334。第一图像捕获装置331可以靠近瞳孔间距离宽度IPD的第一端IPD IPD.1居中,第四图像捕获装置334可以靠近瞳孔间距离宽度IPD的第二端IPD.2居中,以及其余的图像捕获装置——诸如第二图像捕获装置332和第三图像捕获装置333——可以定位在瞳孔间距离宽度IPD的第一端IPD IPD.1与第二端IPD.2之间或在其之间均匀地间隔开。在一个实施方式中,每个图像捕获装置331至334或透镜318可以被斜面的边缘314包围、被环316围绕、和/或被透镜盖320覆盖,在透镜盖320下面有透镜318。
现在参照图3D,通过示例而非限制的方式,示出了图3C的图像捕获模块330的示例性实施方式的截面图。图像捕获模块330可以包括数字或图像捕获装置331至334,其中四个图像捕获装置在眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内线性地串联。图像捕获装置331至334可以包括第一图像捕获装置331、第二图像捕获装置332、第三图像捕获装置333、第四图像捕获装置334。每个图像捕获装置331至334或透镜318可以被斜面的边缘314包围、被环316围绕、和/或被透镜盖320覆盖,在透镜盖320下面有透镜318。在此设想,图像捕获装置331至334可以包括:光学模块,诸如透镜318,透镜318被配置成将场景S的图像聚焦在传感器模块上,传感器模块诸如为:图像捕获传感器322,图像捕获传感器322被配置成生成用于捕获的场景S的图像的图像信号;以及数据处理模块324,数据处理模块324被配置成基于来自图像捕获传感器322的生成的图像信号来生成用于捕获图像的图像数据。
在此设想,在此可以利用其他传感器部件来生成用于捕获的场景S的图像的图像信号,以及利用其他数据处理模块324来处理或操纵该图像数据。
在此设想,当传感器340不用于计算场景S中的不同深度(从或图像捕获装置331至334到前景、后景和人P或对象(诸如最近点CP、关键主体点KS和最远点FP)的距离)时,那么可以提示用户距图像捕获装置331至334到场景S中的关键主体点KS设定距离(包括但不限于距最近点CP或关键主体KS点的6英尺(6ft)距离)来捕获场景S图像。
现在参照图3E,通过示例而非限制的方式,示出了图像捕获模块330的示例性实施方式的分解图。图像捕获模块330可以包括数字或图像捕获装置331至333,其中多个或三个数字图像捕获装置在眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内线性地串联。图像捕获装置331至333可以包括第一图像捕获装置331、第二图像捕获装置332、和第三图像捕获装置333。第一图像捕获装置331可以靠近瞳孔间距离宽度IPD的第一端IPD IPD.1居中,第三图像捕获装置333可以靠近瞳孔间距离宽度IPD的第二端IPD.2居中,以及其余的图像捕获装置——诸如第二图像捕获装置332——可以在瞳孔间距离宽度IPDE的第一端IPD IPD.1与第二端IPD.2之间居中。在一个实施方式中,每个图像捕获装置331至334或透镜318可以被斜面的边缘314包围、被环316围绕、和/或被透镜盖320覆盖,在透镜盖320下面有透镜318。
现在参照图3F,通过示例而非限制的方式,示出了图3E的图像捕获模块330的示例性实施方式的截面图。图像捕获模块330可以包括数字或图像捕获装置331至333,其中三个图像捕获装置在眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内线性地串联。图像捕获装置331至333可以包括第一图像捕获装置331、第二图像捕获装置332、和第三图像捕获装置333。每个图像捕获装置331至333或透镜318可以被斜面的边缘314包围、被环316围绕、和/或被透镜盖320覆盖,在透镜盖320下面有透镜318。在此设想,图像捕获装置331至333可以包括:光学模块,诸如透镜318,透镜318被配置成将场景S的图像聚焦在传感器模块上,传感器模块诸如为:图像捕获传感器322,图像捕获传感器322被配置成生成用于捕获的场景S的图像的图像信号;以及数据处理模块324,数据处理模块324被配置成基于来自图像捕获传感器322的生成的图像信号来生成用于捕获的图像的图像数据。
在此设想,在此可以利用其他传感器部件来生成用于捕获的场景S的图像的图像信号,以及利用其他数据处理模块324来处理或操纵该图像数据。
现在参照图3G,通过示例而非限制的方式,示出了图像捕获模块330的示例性实施方式的分解图。图像捕获模块330可以包括多个或两个数字图像捕获装置331至332,其中两个图像捕获装置在眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内线性地串联。图像捕获装置331至332可以包括第一图像捕获装置331和第二图像捕获装置332。第一图像捕获装置331可以靠近瞳孔间距离宽度IPD的第一端IPD IPD.1居中,第二图像捕获装置332可以靠近瞳孔间距离宽度IPD的第二端IPD.2居中。在一个实施方式中,每个图像捕获装置331至332或透镜318可以被斜面的边缘314包围、被环316围绕、和/或被透镜盖320覆盖,在透镜盖320下面有透镜318。
现在参照图3H,通过示例而非限制的方式,示出了图3G的图像捕获模块330的示例性实施方式的截面图。图像捕获模块330可以包括数字或图像捕获装置331至332,其中两个图像捕获装置在眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内线性地串联。图像捕获装置331至332可以包括第一图像捕获装置331和第二图像捕获装置332。每个图像捕获装置331至332或透镜318可以被斜面的边缘314包围、被环316围绕、和/或被透镜盖320覆盖,在透镜盖320下面有透镜318。在此设想,图像捕获装置331至332可以包括:光学模块,诸如透镜318,透镜318被配置成将场景S的图像聚焦在传感器模块上,传感器模块诸如为:图像捕获传感器322,图像捕获传感器322被配置成生成用于捕获的场景S的图像的图像信号;以及数据处理模块324,数据处理模块324被配置成基于来自图像捕获传感器322的生成的图像信号来生成用于捕获的图像的图像数据。
在此设想,在此可以利用其他传感器部件来生成用于捕获的场景S的图像的图像信号,以及利用其他数据处理模块324来处理或操纵该图像数据。
在此设想,图像捕获模块330和/或数字或图像捕获装置331至334用于获得图13和图14以及图9至图12的场景S的2D数字视图。此外,在此进一步设想,图像捕获模块330可以包括除本文所阐述的数量之外的多个图像捕获装置。此外,在此进一步设想,图像捕获模块330可以包括定位在大约等于瞳孔间距离宽度IPD的线性距离内的多个图像捕获装置。此外,在此进一步设想,图像捕获模块330可以包括竖直地定位的多个图像捕获装置(具有短边缘311的计算机系统10或其他智能装置或便携式智能装置)、水平地定位的多个图像捕获装置(具有长边缘312的计算机系统10或其他智能装置或便携式智能装置)或以其他方式线性地间隔开串联地定位的多个图像捕获装置。
在此进一步设想,图像捕获模块330和在眼内或瞳孔间距离宽度IPD内线性地定位的图像捕获装置331至334使得在显示器208中能够再现准确的场景S,以在显示器208上产生多维数字图像。
现在参照图4,通过示例而非限制的方式,示出了人的面部前视图,其具有左眼LE和右眼RE且各自具有瞳孔的中点P1、P2,以说明人眼间距或眼内或瞳孔间距离IPD宽度——普通人的视觉系统瞳孔之间的距离。瞳孔间距离(IPD)是指眼睛瞳孔中心之间以毫米/英寸测量的距离。这个测量值因人而异,也取决于他们是在看近处的对象还是远处的对象。P1可以通过瞳孔间距离宽度IPD的第一端IPD.1表示,以及PS可以通过瞳孔间距离宽度IPD的第二端IPD.2表示。
现在参照图5A,通过示例而非限制的方式,示出了显示器208的部件的示例性堆叠体的截面图。显示器208可以包括发射光的像素阵列或多个像素,诸如LCD面板部件堆520,其具有电极(诸如前电极和后电极)、偏振器(诸如水平偏振器和竖直偏振器)、漫射器(诸如灰色漫射器、白色漫射器)、以及发射红R光、绿G光和蓝B光的背光源。此外,显示器208可以包括其他标准LCD用户U交互部件,诸如顶部玻璃盖510,其中电容式触摸屏玻璃512定位在顶部玻璃盖510与LCD面板部件堆520之间。在此设想,除了LCD之外,此处可以包括其他形式的显示器208,诸如LED、ELED、PDP、QLED和其他类型的显示技术。此外,显示器208可以包括透镜阵列,诸如柱状透镜514,柱状透镜514优选地定位在电容式触摸屏玻璃512与LCD面板部件堆520之间,并且被配置成以如下方式使光弯曲或折射:能够在显示器208上显示交错的左右立体图像对,作为3d或多维数字图像1010,从而在显示器208上显示场景S的多维数字图像。透明粘合剂530可以用于粘结堆中的元件,无论是用作水平粘合剂还是竖直粘合剂以保持堆中的多个元件。例如,为了在显示器208上产生3D视图或产生多维数字图像,需要将1920x1200像素图像经由多个像素分成两半,即960x1200,并且多个像素中的任一半都可以用于左图像和右图像。
在此设想,透镜阵列可以包括用于使光弯曲或折射的其他技术,诸如能够分离成左图像和右图像的屏障屏幕、柱状透镜、抛物线、叠加、波导、黑线等。
在此进一步设想,当显示器208保持处于横向视图时柱状透镜514可以沿竖直列定向以在显示器208上产生多维数字图像。然而,当显示器208保持处于纵向视图时,3D效果不明显,从而能够使用同一显示器208进行2D和3D观看。
在此进一步设想,平滑或其他图像降噪技术和前景主体聚焦可以用于柔化和增强显示器208上的3D视图或多维数字图像。
现在参照图5B,通过示例而非限制的方式,示出了示例性折射元件诸如显示器208的柱状透镜514的一个实施方式的代表性段或部段。柱状透镜514的每个子元件是柱状透镜514的弧形或弯曲或拱形段或部段540,柱状透镜514的每个子元件可以被配置成具有重复的一系列梯形透镜段或多个子元件或折射元件。例如,每个弧形或弯曲或拱形段540可以被配置成具有柱状透镜540的透镜峰541并且尺寸被设定成一个像素550(发射红R光、绿G光和蓝B光)宽,诸如具有分配给透镜峰541的中心像素550C。在此设想,中心像素550C光作为中心光560C穿过柱状透镜540以向距像素550或柱状透镜514的梯形段或部段540观看距离VD的左眼LE和右眼RE提供显示器208上的图像的2D观看。此外,每个弧形或弯曲段540可以被配置成具有成角度的部段,诸如透镜折射元件(诸如柱状透镜540的透镜子元件542(多个子元件))的透镜角A1,并且尺寸被设定成一个像素宽,诸如具有分配给左透镜——具有角度A1的左透镜子元件542L——的左像素550L和具有角度A1的右透镜子元件542R的右像素550R,角度A1例如为分别折射穿过中心线CL的光的倾斜角和下降角。在此设想,像素550L/550R光穿过柱状透镜540并且弯曲或折射以提供左图像和右图像,以实现显示器208上图像的3D观看;经由左像素550L,光穿过左透镜角度542L并且弯曲或折射,诸如进入左透镜角度542L的光弯曲或折射以穿过中心线CL到右R侧,左图像光560L朝向左眼LE,并且右像素550R光穿过右透镜角度542R并且弯曲或折射,诸如进入右透镜角度542R的光弯曲或折射以穿过中心线CL到左侧L,右图像光560R朝向右眼RE,以在显示器208上产生多维数字图像。
在此设想,左图像和右图像可以如美国专利9,992,473、美国专利10,033,990和美国专利10,178,247的图6.1至图6.3所阐述那样的产生,并且以电子方式传送至左像素550L和右像素550R。此外,2D图像可以电子方式传送至中心像素550C。
在该图中,每个透镜峰541具有对应的左成角度透镜和右成角度透镜542,诸如在透镜峰541的任一侧并且各自分配一个像素的左成角度透镜542L和右成角度透镜542R,分别向透镜峰541、左成角度透镜542L和右成角度透镜542R分配中心像素550C、左像素550L和右像素像素550R。
在该图中,观看角度A1是观看距离VD、显示器208的大小S的函数,其中A1=2arctan(S/2VD)。
在一个实施方式中,每个像素可以由一组子像素配置。例如,为了在显示器208上产生多维数字图像,每个像素可以被配置为LCD面板部件堆520的一个或两个3x3子像素,LCD面板部件堆520发射穿过柱状透镜540的段或部段以在显示器208上产生多维数字图像的一个或两个红R光、一个或两个绿G光以及一个或两个蓝B光。红R光、绿G光和蓝B可以被配置为三个水平子像素的竖直堆。
在此认识到,梯形透镜540使光弯曲或折射,均匀地通过其中心C、左L侧和右R侧诸如左成角度透镜542L和右成角度透镜542R和透镜峰541。
现在参照图5C,通过示例而非限制的方式,示出了显示器208的示例性柱状透镜514的一个实施方式的原型段或部段。作为柱状透镜514的梯形段或部段540的每个段或多个子元件或折射元件可以被配置成具有重复的一系列梯形透镜段。例如,每个梯形段540可以被配置成具有柱状透镜540的透镜峰541并且尺寸被设定成一个或两个像素550宽,以及平坦或直透镜诸如透镜谷543并且尺寸被设定成一个或两个像素550宽(发射红R光、绿G光和蓝B光)。例如,透镜谷543可以被分配中心像素550C。在此设想,中心像素550C光作为中心光560C穿过柱状透镜540以向距像素550或柱状透镜514的梯形段或部段540观看距离VD的左眼LE和右眼RE提供显示器208上的图像的2D观看。此外,每个梯形段540可以被配置成具有成角度的部段,诸如柱状透镜540的透镜角度542并且尺寸被设定成一个或两个像素宽,诸如具有分别分配给左透镜角度542L的左像素550L和右透镜角度542R的右像素550R。在此设想,像素550L/550R光穿过柱状透镜540并且弯曲以提供左图像和右图像以实现显示器208上图像的3D观看;经由左像素550L,光穿过左透镜角度542L并且弯曲或折射,诸如进入左透镜角度542L的光弯曲或折射以穿过中心线CL到右R侧,左图像光560L朝向左眼LE;并且右像素550R光穿过右透镜角度542R并且弯曲或折射,诸如进入右透镜角度542R的光弯曲或折射以穿过中心线CL到左侧L,右图像光560R朝向右眼RE,以在显示器208上产生多维数字图像。
在此设想,透镜角度542的角度A1是像素550大小、显示器208的部件的堆叠体、柱状透镜514的折射特性以及左眼LE和右眼RE距像素550的距离——观看距离VD——的函数。
在该图中,观看角度A1是观看距离VD、显示器208的大小S的函数,其中A1=2arctan(S/2VD)。
现在参照图5D,通过示例而非限制的方式,示出了显示器208的示例性柱状透镜514的一个实施方式的代表性段或部段。作为柱状透镜514的抛物线或圆顶形段或部段540A(抛物面透镜或圆顶透镜)的每个段或多个子元件或折射元件可以被配置成具有重复的一系列圆顶形、弯曲、半圆形透镜段。例如,每个圆顶段540可以配置成具有柱状透镜540的透镜峰541并且尺寸被设定成一个或两个像素550宽(发射红R光、绿G光和蓝B光),诸如具有分配给透镜峰541的中心像素550C。在此设想,中心像素550C光作为中心光560C穿过柱状透镜540,以向距像素550或柱状透镜514的梯形段或部段540观看距离VD的左眼LE和右眼RE提供显示器208上的图像的2D观看。此外,每个梯形段540可以被配置成具有成角度的部段,例如柱状透镜540的透镜角度542并且尺寸被设定成一个像素宽,诸如具有分别分配给左透镜角度542L的左像素550L和右透镜角度542R的右像素550R。在此设想,像素550L/550R光穿过柱状透镜540并且弯曲以提供左图像和右图像以实现显示器208上图像的3D观看;经由左像素550L,光穿过左透镜角度542L并且弯曲或折射,诸如进入左透镜角度542L的光弯曲或折射以穿过中心线CL到右R侧,左图像光560L朝向左眼LE,并且右像素550R光穿过右透镜角度542R并且弯曲或折射,诸如进入右透镜角度542R的光弯曲或折射以穿过中心线CL到左侧L,右图像光560R朝向右眼RE,以在显示器208上产生多维数字图像。
在此认识到,圆顶形透镜4214B使光弯曲或折射,几乎均匀地通过其中心C、左L侧和右R侧。
在此认识到,示例性柱状透镜514的一个实施方式的代表性段或部段可以被配置成多种其他形状和尺寸。
此外,为了在同一显示器208上同时实现最高质量的二维(2D)图像观看和多维数字图像观看,可以在显示器208上的多维数字图像观看期间使用交替黑线或视差屏障(交替)的数字形式,而无需将柱状透镜514添加到显示器208的堆叠体,然后在显示器208上的二维(2D)图像观看期间可以禁用交替黑线或视差屏障(交替)的数字形式的数字形式。
视差屏障是放置在图像源诸如液晶显示器前面的装置,以允许其显示立体图像或多视觉(multiscopic)图像,而无需观看者佩戴3D眼镜。放置在普通LCD的前面,它由具有一系列精确间隔的狭缝的不透明层组成,从而允许每只眼睛看到一组不同的像素,从而通过视差创造深度感。数字视差屏障是图像源诸如液晶显示器(像素)前面的一系列交替黑线,以允许其显示立体图像或多视觉图像。此外,面部跟踪软件功能可以用于根据用户眼睛的位置调整像素和屏障狭缝的相对位置,从而允许用户从各种位置体验3D。KeehoonHong、Soon-gi Park、Jisoo Hong、Byoungho Lee的书籍Design and Implementation ofAutostereoscopic Displays(自动立体显示器的设计与实现)通过引用并入本文。
在此设想,视差和关键主体KS参考点计算可以针对如下项进行,以产生与观看装置或其他观看功能诸如屏障屏幕、柱状透镜、抛物面、叠加、波导、黑线与在LED或OLED、LCD、OLED及其组合或其他观看装置中的集成的LCD层等相关的数字多维图像:数字或图像捕获装置331至334(n个装置)间距;显示器208与用户U的距离;柱状透镜514配置(透镜角度A1、542、每毫米和毫米阵列深度的透镜);作为显示器208的部件的堆叠体的函数的透镜角度542;柱状透镜514的折射特性;以及左眼LE和右眼RE距像素550的距离;观看距离VD;图像捕获装置331至332、图像捕获装置331至333或图像捕获装置331至334之间的距离(瞳孔间距离IPD),参见下面的图6,等。
通过引用并入本文的是Jason Geng的名称为Three-Dimensional DisplayTechnology(三维显示技术),第1-80页的论文,可以用于产生显示器208的其他显示技术也通过引用并入。
在此设想,每毫米或每英寸柱状透镜514的透镜数量由每英寸显示器208的像素数确定。
在此设想,在此设想其他角度A1;像素550C、550L、550R距透镜540的距离(大约0.5mm);以及用户U从用户的眼睛距智能装置显示器208的观看距离(大约十五(15)英寸)),并且人眼之间的普通人瞳孔间间距(大约2.5英寸)可以被分解或计算以产生数字多维图像。角度和间距的控制规则确保显示器208上的观看图像在观看装置的舒适区内以产生数字多维图像,参见图5、下面的图6、图11。
在此认识到,可以基于用户U眼——左眼LE和右眼RE——与像素550诸如像素550C、550L、550R之间的观看距离VD来计算和设置透镜541的角度A1,该观看距离是保持显示器208距用户U眼睛的舒适距离,诸如十(10)英寸到手臂/手腕的长度、或者更优选地在大约十五(15)英寸至二十四(24)英寸之间、并且最优选地在大约十五(15)英寸。
在使用中,用户U将显示器208朝向用户的眼睛和远离用户的眼睛移动,直到数字多维图像出现在用户面前——该移动考虑到用户的U实际瞳孔间距离IPD间距——并且根据以下来匹配用户的视觉系统(近处差异和远处差异):来自两个图像捕获装置331至332、图像捕获装置331至333或图像捕获装置331至334的左右交错图像的宽度位置(瞳孔间距离IPD)、图像捕获装置之间的距离、场景S的数字图像(n个)中的每个数字图像中关键主体KS深度(关键主体KS算法)、两个图像(左图像和右图像)的关于关键主体KS的水平图像平移算法、两个图像(左图像和右图像)的关于关键主体KS的相间算法、角度A1、像素550距透镜540的距离(像素-透镜距离(PLD)大约为0.5mm))、以及透镜阵列诸如梯形透镜540的折射特性,所有这些都进行了考虑以产生数字多维图像供用户U观看显示器208。首先已知的元素是像素550的数量和图像数量、两个图像捕获装置331至332、图像捕获装置331至333或图像捕获装置331至334(瞳孔间距离IPD)中的图像的数量。在瞳孔间距离IPD处或瞳孔间距离IPD附近捕获的图像与人类视觉系统相匹配,简化了数学运算,最大限度地减少了两个图像之间的串扰、模糊性、图像移动,以产生可在显示器208上观看的数字多维图像。
在此进一步设想,梯形透镜540可以由聚苯乙烯、聚碳酸酯或其他透明材料或类似材料形成,因为这些材料提供多种形式和形状,可以制造成不同的形状和大小,并且提供重量降低的强度;然而,可以使用其他合适的材料等,只要这种材料具有透明性并且可机加工或可成型,以满足本文所述的目的以产生左右立体图像和指定的折射率。在此进一步设想,梯形透镜541可以配置有每毫米4.5个柱状透镜和大约0.33mm的深度。
现在参照图6,通过示例而非限制的方式,示出了按图4.1和图3.1的比例的舒适圆(CoC)的代表性图示。对于定义的平面,如果图像的很大一部分是在舒适圆(CoC)内捕获的,那么在透镜平面上捕获的图像将是舒适的,并且与观看显示在显示器208上的最终图像的用户U的人类视觉系统兼容。通过两个图像捕获装置诸如图像捕获装置331至332、图像捕获装置331至333或图像捕获装置331至334(瞳孔间距离IPD)在舒适圆CoC内捕获的任何对象诸如近平面N、关键主体KS平面和远平面B在再现为显示器208上的交错的左图像和右图像——诸如来自图像捕获装置331至332、图像捕获装置331至333或图像捕获装置331至334(瞳孔间距离IPD)的两个图像——时将聚焦于观看者。后对象平面或远平面B定义为关于15度径向线与视场中的垂直线的交点与30度线或R——舒适圆CoC的半径得到的距离。此外,舒适圆CoC定义为通过使圆的直径沿关键主体KS平面的垂直线穿过而形成的圆,其中宽度由从透镜平面——图像捕获模块330——上的中心点的30度径向确定。
两个图像捕获装置诸如图像捕获装置331至332、图像捕获装置331至333或图像捕获装置331至334(瞳孔间距离IPD)在透镜平面上的刚好与舒适圆CoC相切的在30度线内的线性定位或间距可以用于在观看交错的左右图像时在两个图像之间创建运动视差,诸如显示器208上的两个图像捕获装置331至332、图像捕获装置331至333或图像捕获装置331至334(瞳孔间距离IPD)将是舒适的并且与观看显示器208上显示的最终图像的用户U的人类视觉系统兼容。
现在参照图6A、图6B、图6C和图9,通过示例而非限制的方式,示出了从图6得出的直角三角形。所有的定义都是基于在场景与图像捕获的关系内保持直角三角形的。因此,知道了关键主体KS距离(会聚点),我们可以计算出以下参数。
图6A用于计算舒适(CoC)的半径R。
R/KS=tan 30°
R=KS*tan 30°
图6B用于计算图像捕获装置331至332、图像捕获装置331至333或图像捕获装置331至334之间的最佳距离(瞳孔间距离IPD)。
TR/KS=tan 15°
TR=KS*tan 15°;并且IPD是2*TR
图6C计算最佳远平面
tan 15°=R/B
B=(KS*tan 30°)/tan 15°
近平面与远平面的比率=((KS/(KS 8tan 30°))*tan 15°
为了理解TR的含义,在透镜平面的线性图像捕获线上的点,15度线击中/触及舒适CoC。图像被布置成使得关键主体KS点在所有通过两个图像捕获装置331至332、图像捕获装置331至333或图像捕获装置331至334(瞳孔间距离IPD)捕获的图像中是相同的。参见美国专利10,033,990的图6.1至图6.3。
在我们的案例中,图像捕获装置的用户构成场景S并移动图像捕获装置330,因此弥散圆表达(convey)场景S。由于图像捕获装置330使用线性间隔开的多个相机,因此由于图像捕获装置330的线性偏移捕获的两个图像之间存在双眼视差。这种视差可以通过以下来改变:改变图像捕获装置330的设置或将关键主体KS向后或远离图像捕获装置移动以减少视差,或将关键主体KS更靠近图像捕获装置移动以增加视差。我们的系统是固定的图像捕获装置系统,作为实验开展的准则,近平面应该距图像捕获装置330不近于大约6英尺。
现在参照图7,示出了由计算机系统10执行的且可在显示器208上观看的获取立体图象并将获取的立体图象转换成3D图象的方法的流程图700的方法步骤。在块或步骤710中,提供如上文在图1至图6中所述的具有图像捕获装置330和配置的显示器208的计算机系统10,以实现具有大约眼内或瞳孔间距离宽度IPD——普通人的瞳孔之间的距离——的视差的二维立体图像的捕获,并显示3维可观看图像。
在块或步骤715中,计算机系统10凭借(via)图像捕获应用206(捕获方法)被配置成通过图像捕获模块330捕获多个2D数字源图像来捕获场景S的两个数字图像,图像捕获模块330具有线性地串联地定位在眼内或瞳孔间距离宽度IPD(在舒适圆关系内的人类视觉系统的瞳孔之间的距离,以优化人类视觉系统的数字多维图像)内的至少两个图像捕获装置331和332、333或334。两个图像捕获装置331和332、333或334捕获场景S的多个数字图像作为场景S的左图像810L和右图像810R,如图8A所示(多个数字图像)。替代性地,计算机系统10通过图像操纵应用和显示器208可以被配置成使用户U能够选择或标识图像捕获装置331(1)、332(2)、333(3)或334(4)中的两个图像捕获装置以捕获场景S的两个数字图像作为场景S的左图像810L和右图像810R。用户U可以点击或与选择框812进行其他识别交互以选择或标识场景S的源图像、左图像810L和右图像810R中的关键主体KS,如图8B所示。
在此认识到,可以通过计算机系统10凭借图像捕获应用206和显示器208指示用户U捕获场景S的图像(n个)的最佳做法,诸如对场景S进行取景以包括场景S中的关键主体KS、选择场景S的突出前景特征以及场景S中的最远点FP,可以包括场景S中的关键主体KS中的两个或更多个、选择场景S中的最近点CP、场景S的突出后景特征等。此外,将场景S中的关键主体KS定位为距图像捕获装置331至334(n个装置)特定距离。此外,将场景S中的最接近点CP定位为距图像捕获装置331至334(n个装置)特定距离。
替代性地,在块或步骤715中,用户U可以利用计算机系统10、显示器208和应用程序206来输入、溯源、接收或下载图像对到计算机系统10,诸如通过AirDrop。
在此认识到,步骤715,计算机系统10凭借图像捕获应用206、图像操纵应用206、图像显示应用206可以利用不同的和单独定位的计算机系统10——诸如一个或更多个用户系统220、第一智能装置222、第二智能装置224、第三智能装置(多个智能装置)和应用程序206——来执行。例如,使用远离图像操纵系统且远离图像观看系统的相机系统,步骤715可以凭借计算机系统10(第一处理器)和应用程序206在用户系统220、222、224与应用程序206之间通信来执行接近场景S。在此,相机系统可以被定位或固定以捕获事件或娱乐的不同视点的片段,诸如场景S。接下来,通过通信链路240和/或网络250或5G,计算机系统10和应用程序206凭借多个用户系统220、222、224可以从捕获装置1631至1634(n个装置)相对于关键主体KS点捕获和传输场景S的多个二维数字图像,作为场景S的左图像810L和右图像810R、场景S的图像(n个)集。
作为示例,篮筐、击球区、球门、位置球员、音乐会歌手、主乐器、或其他娱乐或事件空间、或人员作为场景S,可以根据特定优势点配置场景S的多个捕获装置331至334(n个装置)。计算机系统10凭借图像捕获应用206可以用于分析事件以确定正确的结果,诸如即时回放或视频辅助裁判(VAR)。该计算机系统10凭借图像捕获应用206可以用于捕获场景S的多个二维数字图像作为场景S的左图像810L和右图像810R。该计算机系统10凭借图像捕获应用206可以用于捕获场景S的多个二维数字图像作为场景S的娱乐或事件空间的左图像810L和右图像810R。
另一个示例,关于车辆的场景S的车辆有利情况或视点,其中,车辆可以根据车辆的特定优势点配置场景S的多个捕获装置331至334(n个装置)。|该计算机系统10(第一处理器)凭借图像捕获应用206和多个捕获装置331至334(n个装置)可以用于从车辆周围的不同位置捕获场景S的多个二维数字图像作为场景S的左图像810L和右图像810R(多个数字图像),特别是自动驾驶车辆、自动驾驶、农业、仓库、运输、船舶、工艺、无人机等。
在瞳孔间距离IPD处或瞳孔间距离IPD附近捕获的图像与人类视觉系统相匹配,简化了数学运算,最大限度地减少了两个图像之间的串扰,减少了模糊性和图像移动,以产生可在显示器208上观看的数字多维图像。
此外,在块或步骤715中,利用计算机系统10、显示器208和应用程序206(凭借图像捕获应用)的设置,例如通过触摸或拖动场景S的图像,或将计算机系统10指向不同方向以在场景S的关键主体KS上对准图8B的十字线814,来在显示器208上显示的场景S的关键主体KS上对准或定位图标,诸如图8B的十字线814。在块或步骤715中,从图像捕获装置331至334(n个装置)获得或捕获聚焦于场景S的图像或场景(深度)中的选定深度的场景S的图像(n个)。
此外,在块或步骤715中,将I/O装置202与计算机系统10集成在一起,I/O装置202可以包括与计算机系统10通信的一个或更多个传感器340,以对计算机系统10与场景S中的选定深度(深度)诸如关键主体KS之间的距离进行测量,并且对一个或更多个图像捕获装置331至334的焦点进行设置。在此设想,计算机系统10、显示器208和应用程序206可以在自动模式下操作,其中一个或更多个传感器340可以对计算机系统10与场景S中的选定深度(深度)诸如关键主体KS之间的距离进行测量,并且对多个图像捕获装置331至334的参数进行设置。替代性地,在手动模式下,用户可以确定计算机系统10与场景S中的选定深度(深度)诸如关键主体KS之间的正确距离。或者计算机系统10、显示器208可以利用一个或更多个传感器340来对计算机系统10与场景S中的选定深度(深度)诸如关键主体KS之间的距离进行测量,并且在屏幕上提供指示或信息(距离优选),以指示用户U移动得距关键主体KS更近或更远,以优化一个或更多个图像捕获装置331至334。
在块或步骤720中,计算机系统10凭借图像操纵应用206被配置成通过图像获取应用接收由两个图像捕获装置331和332、333或334捕获的场景S的左图像810L和右图像810R。图像获取应用将每个立体图像转换为数字源图像,诸如JPEG、GIF、TIF格式。理想情况下,每个数字源图像在其中包括许多可见对象、主体或点,诸如与近平面、相关联的前景或最近点、后景、或者与远平面相关联的最远点、以及关键主体KS。前景点和后景点分别是距观看者(两个图像捕获装置331和332、333或334)最近的点和最远的点。景深是在物场内形成的深度或距离(描绘的前景到后景之间的距离)。主轴是垂直于场景通过关键主体KS点的线,而视差是关键主体KS点从主轴的移位。在数字合成中,移位总是保持为与主轴的整数个像素。
在此认识到,步骤720,计算机系统10凭借图像捕获应用206、图像操纵应用206、图像显示应用206可以利用不同的和单独定位的计算机系统10诸如一个或更多个用户系统220、222、224和应用程序206来执行。例如,使用远离图像捕获系统且远离图像观看系统的图像操纵系统,步骤720可以通过计算机系统10(第三处理器)和应用程序206在用户系统220、222、224与应用程序206之间通信来远离场景S执行。接下来,通过通信链路240和/或网络250、或5G,计算机系统10(第三处理器)和应用程序206凭借多个用户系统220、222、224可以从捕获装置1631至1634(n个装置)相对于关键主体KS点接收场景S的图像(n个)集,并且将经操纵的场景的多个二维数字图像作为场景S的左图像810L和右图像810R作为数字多维图像1010传输到计算机系统10(第一处理器)和应用程序206。
在框或步骤720A中,计算机系统10通过关键主体应用206被配置成在场景S的每个源图像、左图像810L和右图像810R中识别关键主体KS。在每个左图像810L和右图像810R中识别关键主体KS对应于场景S的同一关键主体4KS。此外,在自动模式下,计算机系统10通过图像操纵应用可以基于场景S的源图像、左图像810L和右图像810R的深度图720B来识别关键主体KS并执行水平图像平移以将场景S的堆叠的左图像810L和右图像810R关于关键主体KS进行对准。类似地。计算机系统10凭借图像操纵应用可以使用场景S的源图像、左图像810L和右图像810R的深度图来识别前景、最近点和后景、最远点。替代性地,在手动模式下,计算机系统10凭借图像操纵应用和显示器208可以被配置成使用户U可以选择或标识场景S的源图像、左图像810L和右图像810R中的关键主体KS,并且计算机系统10凭借图像操纵应用执行水平图像平移以将场景S的堆叠的左图像810L和右图像810R关于关键主体KS进行对准。用户U可以通过点击、移动光标或框或其他标识来选择或标识场景S的源图像、左图像810L和右图像810R中的关键主体KS,如图8B所示。
场景S的源图像、左图像810L和右图像810R均由具有相同焦距的两个图像捕获装置331和332、333或334获得。计算机系统10凭借关键主体应用206通过执行场景S的源图像、左图像810L和右图像810R的水平图像移位来创建确定点——关键主体KS点,由此场景S的源图像、左图像810L和右图像810R在这一点处叠置。这种图像移位做了两件事,首先它设定了图像的深度。关键主体KS点前面的所有点都更接近观察者,关键主体KS点后面的所有点都距离观察者更远。
此外,在块或步骤720A中,利用计算机系统10凭借关键主体应用206来至少部分地将来自捕获装置331至334(n个装置)的场景S的一个或更多个图像(n个)中的像素、像素组(显示器208上的手指点选择)分别识别为关键主体KS,并且将图像关于关键主体KS水平进行对准;(相对于柱状透镜540的水平图像平移(HIT)立体对图像(参见codeproject.com作为示例))在其中叠置来自捕获装置331至334(n个装置)的场景S的每个图像(n个),其中距离KS在舒适圆关系内,以为人类视觉系统优化数字多维图像1010。
在此设想,计算机系统10、显示器208和应用程序206可以执行算法或一组步骤,以自动识别来自捕获装置331至334(n个装置)的场景S的至少两个图像(n个)中的关键主体KS并将其对准。在块或步骤720A中,利用计算机系统10(在手动模式下)、显示器208和应用程序206的设置,以至少部分地使用户U能够对准或编辑来自捕获装置331至334(n个装置)的场景S的至少两个图像(n个)的像素、像素组(手指点选择)、关键主体KS点的对准。此外,计算机系统10和应用程序206可以使用户U能够执行帧增强、层丰富、将图像(n)羽化(平滑)在一起或其他软件技术,以产生要显示的3D效果。在此设想,计算机系统10(自动模式)、显示器208和应用程序206可以执行算法或一组步骤,以自动地执行对准或编辑来自捕获装置331至334(n个装置)的场景S的至少两个图像(n个)的关键主体KS点的像素、像素组的对准。
根据像素数、像素密度和帧数、以及最近点和最远点以及如美国专利9,992,473、美国专利10,033,990和美国专利10,178,247设定的其他参数来计算最小视差和最大视差,这些专利通过引用全部并入本文。
在此认识到,来自两个捕获装置331至334(n个装置)的场景S的两个图像引入了(左和右)双眼视差来为用户U显示多维数字图像1010。
创建深度图720B获取场景S的源图像、左图像810L和右图像810R,并通过算法制作灰度图像。例如,这提供了更多的信息,因为体积、纹理和照明被更充分地定义。一旦生成了深度图720B,然后就可以通过控制视角A来严格控制视差,以生成在最终输出立体图像中使用的多维图像1010。对于深度图,可以使用来自图像捕获装置331至334的多于两个帧或图像。为此,计算机系统10可以将输出帧的数量限制为四个,而不转向深度图。如果我们使用来自深度图的四个或来自深度图的两个,我们就不会受到中间的相机位置的限制。注意,外部的图像捕获装置331和332、333或334被锁定到观察者或观看显示器208的用户U的瞳孔间距离(IPD)中。我们可能只坚持两个的原因是为了最小化图像之间的串扰。计算机系统10的两个图像捕获装置331和332、333或334产生场景S的源图像、左图像810L和右图像810R,为用户产生多维图像1010的期望立体图。
当使用深度图技术时,帧是由设置在不同角度处的虚拟相机产生的。该装置的角度被设置为使得外部极端与人类视觉系统所对的角度相对应,即瞳孔间距离。
在此设想,深度图的工作方式是利用来自捕获装置331至334(n个装置)的场景S的图像(n个)并通过算法制作灰度图像。在一些情况下,这提供了更多的信息,因为体积、纹理和照明被更充分地定义。一旦生成了深度图,然后就可以严格控制视差,因为系统会控制生成最终输出(左和右)立体图像中使用的帧的视角。对于深度图,可以使用多于两个帧。为此,计算机系统10、显示器208和应用程序206参数可以将输出帧的数量限制为四个,而不转向深度图。如果我们使用来自深度图的四个或来自深度图的两个,则计算机系统10、显示器208和应用程序206不受捕获装置331至334的中间相机位置的限制。然而,计算机系统10、显示器208和应用程序206被锁定到观察者用户U的瞳孔间距距离中。仅使用来自捕获装置331至334(n个装置)的场景S的两个图像(n个)的原因或基本原理是为了使图像之间的串扰最小化。计算机系统10、捕获装置331至334、显示器208和应用程序206上的两个图像为用户U产生期望的立体图。
当使用深度图技术时,帧是由设置在不同角度处的虚拟相机产生的。计算机系统10、捕获装置331至334、显示器208和应用程序206的角度被设置为使得外部极端与人类视觉系统所对的角度相对应,即瞳孔间距离。
在块或步骤725中,计算机系统10通过校正应用720C(206)被配置成变换场景S的每个源图像、左图像810L和右图像810R以在同一像素空间中将所识别的关键主体KS对准。场景S的每个源图像、左图像810L和右图像810R的水平对准和竖直对准需要维度图像格式(DIF)变换。DIF变换是一种几何移位,它不改变在场景S的源图像、左图像810L和右图像810R中的每个点处获取的信息,但可以看作是场景S的源图像、左图像810L和右图像810R中的每个点在笛卡尔空间中的移位(如图9所示)。作为全光函数,DIF变换由以下方程表示:
Figure BDA0004113525420000381
其中Δu,v=Δθ,φ
在数字图像源的情况下,几何移位对应于包含全光信息的像素的几何移位,然后DIF变换变成:
(像素)x,y=(像素)x,yx,y
此外,计算机系统10凭借帧建立应用206也可以使用DIF变换对后景和或前景进行几何移位。后景和前景可以根据各自的深度相对于源图像的深度图720B识别的关键主体KS的深度进行几何移位。控制后景和前景相对于关键主体KS的几何移位控制了关键主体KS的运动视差。如所述的,关键主体KS相对后景或前景的明显相对运动为观察者提供了关于其相对距离的暗示。通过这种方式,运动视差被控制成聚焦所显示的场景中处于不同深度的对象,以匹配辐辏和立体视网膜的视差需求,从而更好地模拟自然观看条件。通过调整场景中关键主体KS的焦点以匹配其立体视网膜视差(眼内或瞳孔间距离宽度IPD(人类视觉系统的瞳孔之间的距离)),使用于眼球调节和辐辏的提示一致。
在块或步骤730中,计算机系统10凭借相间应用730(206)被配置成对场景S的每个源图像、左图像810L和右图像810R的像素列进行相间处理以产生利用关键主体KS点对准并在计算出的视差范围内的多维数字图像。相间应用730可以被配置成获取像素的部段、条带、行或列,诸如场景S的源图像、左图像810L和右图像810R的列1002,并将它们在左图像810L的列1002和右图像810R的列1002之间交替进行分层放置,并将它们重新配置或并排交错串联排列,诸如重复系列1004两列宽,并对场景S的源图像、左图像810L和右图像810R的所有层重复该配置以产生多维图像1010,其中列1002的尺寸被设定成一个像素550。对于相对于柱状透镜540(或其他观看功能,诸如屏障屏幕、柱状透镜、抛物面、叠加、波导、微光学材料(MOM)、黑线、数字黑线等(至少一个层)的交错立体对图像(参见codeproject.com作为示例)。其他显示技术中的可以用于在显示器208上产生多维数字图像)的Jason Geng的Three-Dimensional Display Technology(三维显示技术),第1-80页,在其中叠置来自捕获装置331至334(n个装置)的场景S的每个图像(n个)。
该配置为多维图像1010提供与左像素550L/右像素550R的尺寸匹配,光穿过柱状透镜540并且弯曲或折射以在显示器208上向距像素550观看距离VD的左眼LE和右眼RE提供多维图像1010的3D观看。
在此设想,源图像、左图像810L和右图像810R的列1002匹配显示器208的像素550的大小和配置。
替代性地,计算机系统10凭借相间应用730(206)被配置成对场景S的每个源图像、通过图像捕获装置331的左图像810L、通过图像捕获装置332或333的中心图像810C、以及通过图像捕获装置333或334的右图像810R的像素列进行相间处理,以产生利用关键主体KS点对准并且在计算出的视差范围内的多维数字图像。如图10所示,相间应用730可以被配置成获取像素的部段、条带、行或列,诸如场景S的源图像、左图像810L、中心图像810C和右图像810R的列1002,并将它们在左图像810L的列1002(或中心图像810C的列1002)和右图像810R的列1002之间交替进行分层放置,并将它们重新配置或并排交错串联排列,诸如重复系列1004两到三列宽,并对场景S的源图像、左图像810L(或中心图像810C)和右图像810R的所有层重复该配置以产生多维图像1010,其中列1002的尺寸被设定成一个像素550宽。
该配置为多维图像1010提供:与中心像素550C的尺寸匹配,光作为中心光560C穿过柱状透镜540以在显示器208上向距像素550观看距离VD的左眼LE和右眼RE提供多维图像1010的2D观看;与左像素550L/右像素550R的尺寸匹配,光穿过柱状透镜540并且弯曲或折射以在显示器208上向距像素550观看距离VD的左眼LE和右眼RE提供多维图像1010的3D观看。
现在给定多维图像1010,通过相关联的弥散圆,我们移动以观察装置的观看侧。
在此设想,可以通过利用计算机系统10、显示器208和应用程序206对来自捕获装置331至334(n个装置)的场景S的每个图像(n个)进行裁剪、缩放、对准或对其执行其他编辑来执行额外的图像编辑,以使场景S的图像(n个)能够在显示器208上针对显示器208的不同尺寸显示场景S的多维数字图像。在此设想,计算机系统10、显示器208和应用程序206可以是响应性的,即计算机系统10可以执行指令以将场景S的每个图像(n个)的大小设定为适合给定显示器208的尺寸。此外,计算机系统10和应用程序206可以包括编辑,诸如帧增强、层丰富、羽化、(Photoshop或Acorn照片或图像工具),以使图像(n个)平滑或填充在一起,以及用于产生3D效果以在显示器208上显示场景S的3D多维图像的其他软件技术。在此设想,计算机系统10、显示器208和应用程序206可以执行算法或一组步骤,以自动或手动编辑或应用效果到来自捕获装置331至334的场景S的至少两个图像(n个)。
在此认识到,步骤720至730可以由计算机系统10凭借图像操纵应用206利用不同的和单独定位的计算机系统10,诸如执行本文的步骤的一个或更多个用户系统220、222、224和应用程序206来执行。例如,使用远离图像捕获系统并且远离图像观看系统的图像处理系统,可以凭借计算机系统10和应用程序206远离场景S执行步骤720至735,并且凭借通信链路240和/或网络250或者凭借无线网络诸如5G,计算机系统10和应用程序206凭借多个用户系统220、222、224在用户系统220、222、224与应用程序206之间进行通信。在此,计算机系统10凭借图像操纵应用206可以操纵场景S的左图像810L和右图像810R,以产生利用关键主体KS点对准的多维数字图像,并且凭借通信链路240和/或网络250或凭借无线网络诸如5G,计算机系统10和应用程序206将显示多维数字图像1010传输至一个更多个用户系统220、222、224。
此外,在此认识到,步骤720至730可以由计算机系统10凭借图像操纵应用206利用定位在车辆上的不同的和单独定位的计算机系统10来执行。例如,使用远离图像捕获系统的图像处理系统,凭借计算机系统10和应用程序206来执行步骤720至735,计算机系统10可以操纵场景S的左图像810L和右图像810R,以产生利用关键主体KS点对准的多维数字图像1010。在此,计算机系统10凭借图像操纵应用206可以利用多维图像1010来导航车辆通过场景S。
在块或步骤720中,利用计算机系统10、显示器208和应用程序206对来自捕获装置331至334(n个装置)的场景S的每个图像(n个)进行裁剪、缩放、对准或对其执行其他编辑,以使场景S的图像(n个)能够在显示器208上针对显示器208的不同尺寸显示场景S的多维数字图像。在此设想,计算机系统10、显示器208和应用程序206可以是响应性的,即计算机系统10可以执行指令以将场景S的每个图像(n个)的大小设定为适合给定显示器208的尺寸。此外,计算机系统10和应用程序206可以包括编辑,诸如帧增强、层丰富、动画、(Photoshop或Acorn照片或图像工具),以使图像(n个)平滑或填充在一起,或其他用于产生3D效果以在显示器208上显示3-D多维图像的软件技术。在此设想,计算机系统10、显示器208和应用程序206可以执行算法或一组步骤,以自动或手动编辑或应用效果到来自捕获装置331至334的场景S的至少两个图像(n个)。
在块或步骤735中,计算机系统10凭借输出应用730(206)可以被配置成在显示器208上显示多维图像1010。多维图像1010可以凭借左像素550L和右像素550R显示,光穿过柱状透镜540并且弯曲或折射以在显示器208上向距像素550观看距离VD的左眼LE和右眼RE提供多维图像1010的3D观看。
在块或步骤735中,利用计算机系统10、显示器208和应用程序206设置来对来自捕获装置331至334(n个装置)的场景S的每个图像(n个)(L&R段)进行配置,同时将关键主体针对双眼视差在图像之间对准,用于在显示器208上显示/观看/保存多维数字主图像1010,其中来自捕获装置331至334(n个装置)的场景S的每个图像(n个)相对于关键主体KS平面的位置差异引入(左和右)双眼视差,以在显示器208上显示多维数字图像1010,以使用户U能够在块或步骤735中在显示器208上观看多维数字图像。
此外,在块或步骤735中,计算机系统10凭借输出应用730(206)可以被配置成凭借通信链路240和/或网络250、或5G,计算机系统10和应用程序206为一个更多个用户系统220、222、224在显示器208上显示多维图像1010。
在此设想,计算机系统10凭借输出应用730(206)可以被配置成使多维数字图像能够在显示器208上显示,以使多个用户U能够在块或步骤735中在显示器208上观看多维数字图像1010直播或作为重播/转播。
在此认识到,步骤735可以由计算机系统10凭借输出应用730(206)利用不同的和单独定位的计算机系统10诸如执行本文的步骤的一个或更多个用户系统220、222、224和应用程序206来执行。例如,使用远离场景S的输出或图像观看系统凭借计算机系统10和应用程序206并且凭借通信链路240和/或网络250或者凭借无线网络例如5G,计算机系统10和应用程序206凭借多个用户系统220、222、224在用户系统220、222、224与应用程序206之间进行通信。在此,计算机系统10凭借输出应用730(206)可以接收场景S的经操纵的多个二维数字图像作为场景S的左图像810L和右图像810R,并显示场景S的左图像810L和右图像810R以产生利用关键主体KS点对准的多维数字图像,并且凭借通信链路240和/或网络250或凭借无线网络诸如5G,计算机系统10和应用程序206将向一个更多个用户系统220、222、224显示多维数字图像1010。
现在参照图11,通过示例而非限制的方式,示出了与同视点(Horopter)弧或点和帕努姆区域融合的舒适圆(CoC)的代表性图示。同视点是空间中与注视点、同视点弧或点具有相同视差的点的轨迹。场景中落在同视点弧或点附近的对象是清晰的图像,而那些在同视点弧或点之外(在前面或后面)的对象是模糊的或模糊不清的。帕努姆是空间区域,帕努姆区域1120,围绕同视点以实现给定的眼部会聚度,内部界限为1121,并且外部界限为1122,其中投射到左眼LE/右眼RE的不同点导致双眼融合,从而产生视觉深度的感觉,而位于该区域之外的点会导致复视——双重图像。此外,对于落在帕努姆区域内的对象,包括靠近同视点的对象,融合左眼和右眼的图像,用户U将看到单个清晰图像。在帕努姆区域之外,无论是在前面还是在后面,用户U都会看到双重图像。
在此认识到,计算机系统10凭借图像捕获应用206、图像操纵应用206、图像显示应用206可以利用不同的和单独定位的计算机系统10诸如一个或更多个用户系统220、222、224和应用程序206来执行。接下来,凭借通信链路240和/或网络250、无线诸如5G,第二计算机系统10和应用程序206可以将来自捕获装置331至334(n个装置)的场景S的图像(n个)集相对于关键主体平面传输,引入(左和右)双眼视差以在显示器208上显示多维数字图像,以使多个用户U在块或步骤735中在显示器208上观看多维数字图像直播或作为重播/转播。
作为一个示例,篮筐、击球区、球门、音乐会歌手、教员、艺人、主奏乐器或其他娱乐或事件空间可以被配置有捕获装置331至334(n个装置),以使在显示器208上显示多维数字图像,以使多个用户U在块或步骤735中在显示器208上观看多维数字图像直播或作为重播/转播。
此外,图11示出了凭借左像素550L/右像素550R在显示器208上显示和观看多维图像1010,多维图像1010的光穿过柱状透镜540并且弯曲或折射以在显示器208上向距像素550的观看距离VD的左眼LE和右眼RE提供多维图像1010的3D观看,其中近对象、关键主体KS和远对象在舒适圆CoC内,舒适圆CoC靠近同视点弧或点并且在帕努姆区域1120内以实现在显示器208上的多维图像1010的与用户U的人类视觉系统舒适且兼容的清晰的单图像3D观看。
关于上述描述,应该认识到,最佳的尺寸关系,包括大小、材料、形状、形式、位置、移动机构、功能和操作、装配和使用方式的变化,都旨在是本公开所要涵盖的。
前述描述和附图包括例例示性实施方式。在这样描述了示例性实施方式之后,本领域的技术人员应该注意到,本公开仅是示例性的,并且可以在本公开的范围内进行各种其他替代、调整和修改。仅仅按照一定的顺序列出或编号方法的步骤并不构成对该方法的步骤顺序的任何限制。本公开所属领域的技术人员在受益于前述描述和相关附图中所呈现的教导后,将想到许多修改和其他实施方式。尽管此处可以采用特定术语,但它们仅在一般和描述性意义上使用,而不是出于限制的目的。此外,已经详细描述了本公开,应当理解,在不脱离所附权利要求所限定的本公开的精神和范围的情况下,可以对其进行各种更改、替换和改变。因此,本公开不限于本文所示的具体实施方式,而是仅受所附权利要求的限制。

Claims (28)

1.一种由用户捕获场景的多个二维数字源图像的系统,所述系统包括:
智能装置,所述智能装置具有用于存储指令的存储器装置;
处理器,所述处理器与所述存储器装置通信,所述处理器被配置成执行所述指令;以及
多个数字图像捕获装置,所述多个数字图像捕获装置与所述处理器通信,且每个图像捕获装置被配置成捕获所述场景的数字图像,所述多个数字图像捕获装置在大约瞳孔间距离宽度内线性地串联地定位,其中,第一数字图像捕获装置靠近所述瞳孔间距离宽度的第一端居中,第二数字图像捕获装置在所述瞳孔间距离宽度的第二端上居中,以及所述多个数字图像捕获装置中任何其余的数字图像捕获装置在所述第一数字图像捕获装置与所述第二数字图像捕获装置之间均匀地间隔开。
2.根据权利要求1所述的系统,所述系统还包括显示器,所述显示器与所述处理器通信,所述显示器被配置成对多维数字图像进行显示。
3.根据权利要求1所述的系统,其中,所述多个数字图像捕获装置为四个数字图像捕获装置,所述四个数字图像捕获装置在所述瞳孔间距离宽度之间均匀地间隔开。
4.根据权利要求1所述的系统,其中,所述多个数字图像捕获装置为三个数字图像捕获装置,其中,所述数字图像捕获装置中的一个数字图像捕获装置位于中心线上。
5.根据权利要求1所述的系统,其中,所述多个数字图像捕获装置为两个数字图像捕获装置。
6.根据权利要求2所述的系统,其中,所述处理器执行指令以进行下述操作:在所述显示器上显示消息,以指示所述用户对所述多个数字图像捕获装置中的两个数字图像捕获装置进行选择。
7.根据权利要求2所述的系统,其中,所述处理器执行指令以进行下述操作:在所述显示器上显示所述场景的数字图像。
8.根据权利要求7所述的系统,其中,所述处理器执行指令以进行下述操作:在所述显示器上生成消息,以指示所述用户将所述多个数字图像捕获装置定位成距所述场景的关键主体一定距离。
9.根据权利要求7所述的系统,其中,所述处理器执行指令以进行下述操作:通过所述多个数字图像捕获装置来捕获所述场景的多个数字图像。
10.根据权利要求9所述的系统,其中,所述处理器执行指令以进行下述操作:自动地选择所述多个数字图像中的两个数字图像中的关键主体点;并且所述处理器将所述图像关于所述关键主体点进行对准。
11.根据权利要求9所述的系统,其中,所述处理器执行指令以进行下述操作:使所述用户能够通过来自所述显示器的输入来对所述多个数字图像中的两个数字图像中的关键主体点进行选择,并且所述处理器将所述多个数字图像中的所述两个数字图像关于所述关键主体点进行对准。
12.根据权利要求9所述的系统,其中,所述处理器执行指令以进行下述操作:对所述多个数字图像中的两个数字图像关于关键主体点执行水平图像平移,其中,通过使所述场景的多个数字图像中的所述两个数字图像中的每个数字图像在所述关键主体点处叠置,来将所述数字图像中的所述两个数字图像进行对准。
13.根据权利要求12所述的系统,其中,所述处理器执行指令以进行下述操作:根据所述场景的所述多个数字图像中的所述两个数字图像生成深度图。
14.根据权利要求13所述的系统,其中,所述处理器执行指令以进行下述操作:对所述多个数字图像中的所述两个数字图像相对于所述关键主体点执行相间处理,以在多维数字图像中引入双眼视差。
15.根据权利要求9所述的系统,其中,所述处理器执行指令以进行下述操作:在所述显示器上显示所述多维数字图像。
16.根据权利要求15所述的系统,其中,所述显示器被配置成具有交替的数字黑线。
17.根据权利要求15所述的系统,其中,所述显示器被配置为多个像素,所述多个像素具有集成在所述多个像素中的折射元件,所述折射元件具有与所述多个像素对准的多个子元件。
18.根据权利要求17所述的系统,其中,所述多个子元件中的每个子元件被配置成具有形状为弧的截面。
19.根据权利要求17所述的系统,其中,所述多个子元件中的每个子元件被配置成具有形状为圆顶的截面。
20.根据权利要求17所述的系统,其中,所述多个子元件中的每个子元件被配置成具有形状为重复的平坦部段和梯形部段的截面,所述梯形部段中的每个梯形部段具有倾斜角和下降角。
21.根据权利要求2所述的系统,其中,所述显示器被配置成利用选自下述中的至少一个层来对所述多维数字图像进行显示:柱状透镜、屏障屏幕、抛物面透镜、叠加、波导及其组合。
22.一种根据至少两个二维数字图像为用户生成场景的多维数字图像的方法,所述方法包括以下步骤:
提供智能装置,所述智能装置具有用于存储指令的存储器装置;提供处理器,所述处理器与所述存储器装置通信且被配置成执行所述指令;提供多个数字图像捕获装置,所述多个数字图像捕获装置与所述处理器通信,且每个图像捕获装置被配置成捕获所述场景的数字图像,所述多个数字图像捕获装置在大约瞳孔间距离内线性地串联地定位,其中,第一数字图像捕获装置靠近所述瞳孔间距离宽度的第一端居中,第二数字图像捕获装置在所述瞳孔间距离宽度的第二端上居中,以及所述多个数字图像捕获装置中任何其余的数字图像捕获装置在所述第一数字图像捕获装置与所述第二数字图像捕获装置之间均匀地间隔开;以及提供显示器,所述显示器与所述处理器通信,所述显示器被配置成对所述多维数字图像进行显示;以及
在所述显示器上对所述多维数字图像进行显示。
23.根据权利要求22所述的方法,所述方法还包括以下步骤:在所述显示器上生成消息,以指示所述用户将所述多个数字图像捕获装置定位成距所述场景的关键主体一定距离。
24.根据权利要求23所述的方法,所述方法还包括以下步骤:通过所述多个数字图像捕获装置来捕获所述场景的多个数字图像。
25.根据权利要求24所述的方法,所述方法还包括以下步骤:对所述多个数字图像中的两个数字图像中的关键主体点进行选择,并且所述处理器将所述多个数字图像中的所述两个数字图像关于所述关键主体点进行对准。
26.根据权利要求25所述的方法,所述方法还包括以下步骤:对所述多个数字图像中的所述两个数字图像关于所述关键主体点执行水平图像平移,其中,通过使所述场景的所述多个数字图像中的所述两个数字图像中的每个数字图像在所述关键主体点处叠置,来将所述多个数字图像中的所述两个数字图像进行对准。
27.根据权利要求25所述的方法,所述方法还包括以下步骤:根据所述场景的多个数字图像中的所述两个数字图像生成深度图。
28.根据权利要求25所述的方法,所述方法还包括以下步骤:对所述多个数字图像中的所述两个数字图像相对于所述关键主体点执行相间处理,以在所述多维数字图像中引入双眼视差。
CN202180058093.1A 2020-06-03 2021-05-28 二维图像捕获系统和三维数字图像的显示 Pending CN116076071A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202063033889P 2020-06-03 2020-06-03
US63/033,889 2020-06-03
US202063043761P 2020-06-24 2020-06-24
US63/043,761 2020-06-24
US202063105486P 2020-10-26 2020-10-26
US63/105,486 2020-10-26
PCT/US2021/034832 WO2021247405A1 (en) 2020-06-03 2021-05-28 2d image capture system & display of 3d digital image

Publications (1)

Publication Number Publication Date
CN116076071A true CN116076071A (zh) 2023-05-05

Family

ID=78829861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180058093.1A Pending CN116076071A (zh) 2020-06-03 2021-05-28 二维图像捕获系统和三维数字图像的显示

Country Status (3)

Country Link
EP (2) EP4162321A1 (zh)
CN (1) CN116076071A (zh)
WO (1) WO2021247405A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8698878B2 (en) * 2009-07-02 2014-04-15 Sony Corporation 3-D auto-convergence camera
US9185391B1 (en) * 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
US10178247B2 (en) * 2015-01-30 2019-01-08 Jerry Nims Digital multi-dimensional image photon platform system and methods of use
KR101991080B1 (ko) * 2015-05-27 2019-06-19 구글 엘엘씨 파노라마 가상 현실 콘텐츠의 옴니스테레오 캡쳐 및 렌더링
WO2017083331A1 (en) * 2015-11-09 2017-05-18 Digital Surgicals Pte Ltd. Personalized hand-eye coordinated digital stereo microscopic systems and methods

Also Published As

Publication number Publication date
EP4162320A4 (en) 2024-06-12
EP4162321A1 (en) 2023-04-12
EP4162320A1 (en) 2023-04-12
WO2021247405A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
KR102030830B1 (ko) 곡면형 다시점 영상 디스플레이 장치 및 그 제어 방법
CN101909219B (zh) 一种立体显示方法及跟踪式立体显示器
US20240155096A1 (en) 2d image capture system & display of 3d digital image
US11051006B2 (en) Superstereoscopic display with enhanced off-angle separation
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
TWI556624B (zh) 影像顯示方法以及影像顯示裝置
US20220385880A1 (en) 2d digital image capture system and simulating 3d digital image and sequence
US20220078392A1 (en) 2d digital image capture system, frame speed, and simulating 3d digital image sequence
JP6462293B2 (ja) 多視点映像を提供するディスプレイ装置及び方法
JP2019512109A (ja) 裸眼光学立体スクリーン
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR20170029210A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
US20210392314A1 (en) Vehicle terrain capture system and display of 3d digital image and 3d sequence
JP2018151459A (ja) ステレオ立体視装置
US20210297647A1 (en) 2d image capture system, transmission & display of 3d digital image
US20210321077A1 (en) 2d digital image capture system and simulating 3d digital image sequence
EP4233008A1 (en) Vehicle terrain capture system and display of 3d digital image and 3d sequence
CN116076071A (zh) 二维图像捕获系统和三维数字图像的显示
CN116097167A (zh) 二维图像捕获系统和三维数字图像的传输和显示
Zhang et al. An interactive multiview 3D display system
CN117897951A (zh) 2d数字图像捕获系统及模拟3d数字图像和序列
EP4352953A1 (en) 2d digital image capture system and simulating 3d digital image and sequence
CN116097644A (zh) 2d数字图像捕获系统和模拟3d数字图像序列
CN117203668A (zh) 2d数字图像捕获系统、帧速度和模拟3d数字图像序列
EP4245029A1 (en) 2d digital image capture system, frame speed, and simulating 3d digital image sequence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination