CN107209949B - 用于产生放大3d图像的方法和系统 - Google Patents

用于产生放大3d图像的方法和系统 Download PDF

Info

Publication number
CN107209949B
CN107209949B CN201580073797.0A CN201580073797A CN107209949B CN 107209949 B CN107209949 B CN 107209949B CN 201580073797 A CN201580073797 A CN 201580073797A CN 107209949 B CN107209949 B CN 107209949B
Authority
CN
China
Prior art keywords
image
magnified
camera
images
magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580073797.0A
Other languages
English (en)
Other versions
CN107209949A (zh
Inventor
伦·施奈德
亚伯拉罕·泽图尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elbit Systems Ltd
Original Assignee
Elbit Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elbit Systems Ltd filed Critical Elbit Systems Ltd
Publication of CN107209949A publication Critical patent/CN107209949A/zh
Application granted granted Critical
Publication of CN107209949B publication Critical patent/CN107209949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Abstract

一种用于产生具有根据放大率修正的视差的对象的放大三维(3D)图像的方法，所述方法包括以下步骤：由第一相机采集所述对象的第一图像并且由第二相机采集所述对象的第二图像；确定放大参数；通过根据所述放大参数分别放大所述第一图像中包含所述对象的部分以及所述第二图像中包含所述对象的部分来生成第一放大图像和第二放大图像；作为所述放大参数的函数，修正所述第一放大图像和所述第二放大图像的几何结构，从而产生第一修正图像和第二修正图像；以及通过显示所述第一修正图像和所述第二修正图像来向用户显示所述放大3D图像。

Description

用于产生放大3D图像的方法和系统
技术领域
所公开的技术大体上涉及立体图像的放大，并且确切地说，涉及根据产生放大三维(3D)图像的放大率修改放大的立体图像的方法和系统。
背景技术
视差是指从两个不同点(这两个点与对象不在一条直线上)看向对象时，对象的视位移或者视方向差异。视差提供深度感觉的视觉暗示，并且被人脑用于产生立体视觉。确切地说，附近对象呈现的视差大于远方的对象。
瞳孔间距(IPD)是系统或人类瞳孔之间的距离。不同人的IPD不同，并且因此在相同距离查看相同对象的视差也会略微不同。
现在参考授予Sawachi的且标题为“图像处理装置、图像捕集装置和图像处理方法(Image Processing Device,Imaging Capturing Device,and Method for ProcessingImage)”的公开号为2013/0100253的美国专利申请。该公开案涉及一种图像处理装置，所述图像处理装置包括图像采集单元、缩放值采集单元、视差量计算单元和视差量更正单元。所述图像采集单元采集立体图像。所述缩放值采集单元采集所述立体图像的缩放值。所述视差量计算单元计算所述视点图像之间的每个像素的视差量。所述视差量计算单元根据所述视差量计算单元计算得出的所述视差量并且根据所述缩放值采集单元所采集的所述缩放值来计算视差量更正值，以更正所述立体图像(例如，左眼图像和右眼图像)的每个像素的视差量。
现在参考授予Jin等人的且标题为“根据观察者的立体定影能力灵活绘制视差图的立体显示系统(Stereoscopic Display System with Flexible Rendering ofDisparity Map According to The Stereoscopic Fusing Capability of TheObserver)”的编号为8,094,927的美国专利。该公开案涉及一种用于针对给定立体显示器，根据用户而定制场景内容的方法。所述方法包括以下步骤：获取关于用户的定制信息；获取场景视差图；确定用户的目标视差范围；生成定制视差图；以及应用所述定制视差图。所述定制信息是具体用户各自的信息，并且应针对每位用户获取。所述场景视差图从一对给定立体图像中获取。所述目标视差范围由所述用户的定制信息确定。所述定制视差图被生成用于与给定立体显示器的用户定影能力进行相关。应用所述定制视差图以绘制供后续显示的立体图像。
现在参考授予State等人的且标题为“用于动态虚拟会聚和头戴式显示器的方法和系统(Methods and Systems for Dynamic Virtual Convergence and Head MountableDisplay)”的公开号为2004/0238732的美国专利申请。该公开案涉及一种用于对视频透视头戴式显示器进行动态虚拟会聚以允许立体查看近距离对象的方法。所述方法包括以下步骤：使用第一和第二相机对图像进行取样；估计观看者的注视距离；在估计的注视距离下将显示器平截头体转换成会聚；将由相机取样的图像重新投射到所述显示器平截头体中；以及显示重新投射的图像。每个相机具有第一视场。在具有小于第一视场(相机的视场)的第二视场的显示器上为观看者显示重新投射的图像，从而允许立体观看近距离的对象。
发明内容
本公开技术的目标是提供一种用于产生具有根据放大率修正的视差的对象的放大三维(3D)图像的新颖方法和系统。根据本公开技术的实施方案，因此提供了一种用于产生对象的放大3D图像的方法。所述方法包括以下步骤：采集所述对象的图像；确定放大参数；根据所述放大参数生成所采集图像的放大图像；作为所述放大参数的函数修正所述放大图像的几何结构；以及将修正图像显示成3D放大图像。根据放大参数来修正所述修正图像中的对象视差。
根据本公开技术的另一个实施方案，因此提供了一种用于产生对象的放大3D图像的方法。所述方法包括以下步骤：对象图像；产生所述对象的3D模型；确定放大参数；确定放大对象距离；生成放大图像；以及将所述放大图像显示成3D放大图像。所述对象定位在距离采集图像的相机的对象距离处。所述放大对象距离是所述对象距离所述相机的模拟距离，在所述距离下，所述对象将根据所述放大参数被放大。根据所述放大参数确定所述放大对象距离。从所述3D模型生成所述放大图像。所述放大图像包含如同在放大对象距离处将出现的对象。
根据本公开技术的进一步实施方案，因此提供了一种用于产生对象的放大3D图像的系统。所述系统包括相机、显示器和图像处理器。所述相机采集位于距离所述相机对象距离处的对象的图像。所述图像处理器根据放大参数生成所述对象的放大图像。根据放大率来修正所述放大图像中的对象视差。所述显示器将所述放大图像显示成3D图像。
附图说明
从结合附图进行的以下详细说明中可更全面地理解和认识所公开的技术，在附图中：
图1A、1B、1C、1D和1E是根据本公开技术的实施方案构造和操作的用于根据放大参数产生放大3D图像以改善立体视觉的系统的示意图；
图2是根据本公开技术的另一实施方案构造和操作的用于根据放大参数产生放大3D图像以改善立体视觉的系统的示意图；
图3是根据本公开技术的又一个实施方案操作的用于根据放大参数产生放大3D图像以改善立体视觉的方法的示意图；以及
图4是根据本公开技术的又一个实施方案操作的用于根据放大参数产生放大3D图像以改善立体视觉的方法的示意图。
具体实施方式
本公开技术提供一种根据放大参数产生放大三维(3D)图像的方法，从而克服了现有技术的缺点。左图像和右图像分别由空间隔开的左相机和右相机(或者由具有两个通道的单个相机)采集。左图像和右图像每个包含对象。由于左相机和右相机的视角不同，因此对象在左图像和右图像中看起来不同(例如，在每个图像内的位置不同-视差)。
在放大系统中，所述图像放大将产生类似于从更近距离观察所述场景的视点改变(即，有利点)的效果。换言之，放大图像模拟在距离对象较近的距离处采集的图像。因此，当用户想要从更近距离查看所述对象时，可以放大所述对象的图像。所述用户提供放大参数，并且所述图像被相应地放大。也就是说，图像中包含所述对象的部分被放大。所述图像可以通过本领域中的任何已知方式(例如，光学或数字方式)进行放大。
由于相机在图像放大期间不移动，因此它们的对象视角保持不变。例如，图像中对象的视差保持不变。但是，所述放大对象提供一种对象距离较近的效果。因此，查看放大图像的用户会收到相互冲突的视觉暗示，并且可能感到不适并且发生疲劳、恶心等。因此，应修正放大图像的几何结构以产生减小用户不适的放大3D图像。
根据本公开技术的一个实施方案，用于产生放大3D图像的方法包括从用户接收表明预期放大率(或者预期视点或对象距离)的放大参数。放大所述左图像和右图像，并且确切地说，至少放大包含所述对象的部分。
随后修正所述放大图像的几何结构。所述几何修正是放大参数的函数。换言之，将几何修正函数(即，放大参数的函数)应用到放大图像上。例如，几何修正可以通过使放大对象的像素移位，或者通过以其他方式使图像变形来实现。对所述放大图像的几何结构进行修正，以使对象看起来好像从更近视点成像(即，比相机的原始位置近)。换言之，放大图像模拟在较近对象距离处采集的图像(即，在本文中称为放大对象距离)。
如果通过像素移位来进行修正，则图像的放大部分可以被均匀地移位(作为放大率的函数)。也就是说，像素将会进行线性地移位，而无论像素定位如何，且仅取决于放大率。也就是说，通过沿垂直、水平或旋转轴将整个像素移动相同的量来创建重新定义的图像(更正之后)。这种均匀移位在本文中称为零阶修正，或者线性修正。
所述修正可以是较高阶修正，例如一阶修正、二阶修正等。在每一个较高阶修正(即，高于零阶)中，移位像素的位移取决于其在图像中的原始定位。因此，较高阶修正可以为具有大深度范围的图像提供更好的效果。
根据本公开技术的另一个实施方案，用于产生放大3D图像的方法包括产生对象的三维(3D)模型。所述3D模型绘制对象(并且可能地图像中的其他对象)的元素的深度。从用户接收放大参数之后，确定放大对象距离。所述放大对象距离是对象将呈现放大参数所指示的放大效果的距离。例如，预期放大率是放大两倍。所述放大对象距离是所述对象距离所述相机的距离，在所述距离下，所述对象看起来是原始图像的两倍大小。
之后，从所述对象的3D模型产生一对放大图像。所述放大图像模拟从放大对象距离处采集的图像。也就是说，所产生的放大图像所呈现的对象如同是从放大对象距离处(即，在对象位于放大对象距离处时从相机的视角)成像的一样。因此，所产生的放大图像以预期放大率和自然视差呈现对象，从而改善立体视觉。所产生的放大图像共同形成放大3D图像。
现在参见图1A、1B、1C、1D和1E，这些附图中示出根据本公开技术的实施方案构造和操作的用于根据放大参数产生放大3D图像的放大3D图像系统的示意图，该放大3D图像系统一般表示成100。图1A中示出了放大3D图像系统和成像对象。图1B示出了由放大3D图像系统的相机采集的左图像和右图像。图1C示出了放大3D图像系统以及放大成像对象的表示。图1D示出了放大左图像和放大右图像。图1E示出了修正的左图像和修正的右图像。
放大3D图像系统100包括第一相机102(例如，左相机102)和第二相机104(例如，右相机104)，每个相机均与视场(FOV)相关联。在图1A中所示的示例中，相机102的FOV表示成两条点线，而相机104的FOV表示成两条短划线。每个相机均包括图像传感器和光学组件(均未图示)。相机102和相机104中的每一者均与图像处理器(例如，图2的图像处理器206)耦接。
相机102和104中的每一者均采集位于与相机相距距离D对象处的对象106的图像。应注意，对象距离相机102的距离可能与对象距离相机104的距离略微不同。但是，这些略微差异是可忽略的，并且确切地说，远小于相机102与相机104它们本身之间的距离。因此，在下文中，D对象是指对象106与相机102之间的距离，以及对象106与相机104之间的距离(或者简单来说，是指对象与相机之间的距离)。对象距离相机的距离(D对象)还可以被描述成相机的视点(例如，该视点与对象距离相对应)。例如，相机的视点位于距离对象1.5米处，并且因此，对象距离是1.5米。
从图1A中可以看出，相机102和104中的每一者从略微不同的视角采集对象的对应图像。从对象106在每个相机FOV内的不同定位中可以看出，对象106将出现在每个图像内的略微不同位置处。也就是说，对象106在左图像中的位置与它在右图像中的位置之间将呈现视差。
参见图1B，其中示出左图像110和右图像112。如可看到，左图像110和右图像112中的每一者均包括对象106。对象106在每个图像中出现在不同位置(即，呈现视差)。确切地说，在左图像110中，对象106的中心位于图像中心的左侧，而在右图像112中，对象106的中心位于图像中心的右侧。图像110和112中的对象106的视差由相机102和104中的每一者的位置限定，并且由对象106相对于相机的位置，即D对象，限定。
对象106可以被放大。放大可以是光学或数字的。光学放大采用光学元件(例如，望远镜透镜组件或者可变焦距透镜组件)来放大用户看到、相机检测到或者显示器显示的对象106。数字放大采用图像处理技术来剪切放大图像部分并且潜在地外推像素值。当放大对象106时，该对象看起来更靠近相机。也就是说，对象106的放大会模拟更短的对象距离(即，更近的相机视点)。
参见图1C，左放大图像120和右放大图像122示出了放大对象116(及其周围)。如图1C中可看到，图像120和122中的放大对象116所呈现的视差与图像110和112中的对象106相同。换言之，图像120和122中的每一者中的放大对象116的中心与图像110和112中的对象106的中心处于相同位置。所述视差不会随着对象放大而改变，无论是数字还是光学执行，因为对象距离和相机位置及取向(即，相机的视角)并未改变。
但是应注意，对象放大会使放大对象116看起来比对象106更近(即，更接近相机102和104)。参见图1D，放大对象116看起来(根据其新放大大小)位于距离相机的放大对象距离D放大处，其中D放大小于D对象。换言之，相机102和104的视点看起来相比对象106更接近放大对象116。
放大图像120和122为观看者提供相互冲突的视觉深度暗示。一方面，放大对象116的大小表明该对象位于放大对象距离D放大处，并且另一方面，图像120和122中的放大对象116的视差表明对象116位于对象距离D对象处。因此，放大图像120和122可能导致观看者感到视觉不适。本公开技术将根据放大率调整放大图像，以避免此类观看者不适。
参见图1E，其中示出了左调整图像130和右调整图像132。图像130和132中的每一者中的放大对象116沿相反的方向位移(相对于图像120和122)，并且图示成移位对象126。确切地说，图像120和122的至少一些像素将移位。
根据本公开技术的一个实施方案，放大对象被移位，并且所述移位将根据放大率确定。确切地说，所有像素均匀地移位，无论像素定位如何。此类均匀移位在本文中称为零阶修正。因此，本公开技术对放大图像进行修正，以使放大对象的视差与对象的放大大小相对应，从而改善立体视觉。
一个示例性移位函数给出为[D移位＝放大率*a(毫米)]，其中‘a’是常系数，例如0.1。因此，当以放大系数2来放大对象时，移位是2毫米。另一个示例性移位函数给出为[D移位＝放大率*a2+b(毫米)]，其中‘a’和‘b’是常系数。因此，对于a＝1.5和b＝3，当以放大系数2来放大所选场景时，移位量值是7.5毫米。替代地，移位可以以任何其他函数与放大率相关。通过这种方式，得以调整图像130和132的深度视觉暗示，从而改善立体视觉(例如，调整成使放大对象126的大小与图像中的对象126的视差相对应)。
根据本公开技术的其他实施方案，不同像素的移位可以不同。确切地说，像素(或者一组像素)的移位取决于像素的定位，以及放大率。这种不均匀移位在本文中称为较高阶修正(例如，一阶修正、二阶修正、三阶修正等)。较高阶修正可以为具有大深度范围的放大图像提供更好的效果。
一阶移位的示例给出为[D移位＝aX+b]。二阶移位的示例给出为[D移位＝aX2+bX+c]。二阶移位的另一个示例给出为[D移位＝aX+bY+c]。其中，‘X’是沿X轴的像素坐标，‘Y’是沿Y轴的像素坐标，并且‘a’、‘b’和‘c’是系数。应注意，至少一个系数取决于对象放大率。一阶修正的示例给出为[D移位＝f(放大率)*X+g(放大率)]，其中‘f’和‘g’是放大率的函数。
根据本公开技术的其他实施方案，放大图像的几何修正包括使放大图像变形的其他方法。例如，可以将所述图像(或者图像的不同部分)拉伸、收缩、旋转，或者执行它们的任何组合。几何修正是放大参数的函数，并且用于对所述图像进行修正，以使放大图像看起来是从放大对象距离成像的。
根据又一个实施方案，另外在放大图像上应用除了几何修正以外的其他修正。例如，用于修正色调和色彩或者修正阴影的像素值修正。
根据本公开技术的又一个实施方案，图像放大系统生成放大(和修正)图像，而不是对已经放大的图像进行修正。图像修正系统从用户接收预期放大率。所述图像修正系统从左图像和右图像产生三维(3D)模型。例如，可以根据相机实际视点(相对于对象)的知识、相机的相对位置以及来自两个相机的图像之间的相互关系来创建场景的3D模型。也就是说，图像修正系统绘制对象不同元素的深度图。所述图像修正系统生成调整图像，如同从距离3D模型的放大对象距离处采集的图像一般。下文将参见图4进一步详述该实施方案。
替代地，可以根据附加或替代数据生成所述3D模型，例如从外部来源接收到的数据(例如，另一个成像或扫描装置、结构光、飞行时间等)、来自对象的之前采集图像的数据等。应注意，如果接收到此类附加3D数据，则可以从由单个相机采集的单个图像来生成3D模型。附加地，从外部来源接收完整的3D模型，并且无需从相机图像生成所述模型。
在图1A-1E中所示的示例中，对象被放大以便看起来更大。但是，本公开技术也可以类似地应用到缩小对象(即，缩小而不是放大)，在该情况下，使对象看起来更小。在此类情况下，对对象视差进行调整，以使视差减小到与对象的缩小大小相对应(即，看起来更远)。
现在参见图2，它是根据本公开技术的另一个实施方案构造和操作的用于根据放大参数来产生放大3D图像以改善立体视觉的系统(一般表示成200)的示意图。系统200包括左相机202、右相机204、图像处理器206、用户数据接口208、左显示器210、右显示器212和用户接口214。相机202和204中的每一者与图像处理器206耦接。图像处理器进一步与用户数据接口208耦接，并且与左显示器210和右显示器212中的每一者耦接，并且与用户接口214耦接。
相机202和204中的每一者与图1A中的相机102和104大体上类似，并且类似地定位。图像处理器206可以由任何计算机系统实施。例如，所述计算机系统可以包括处理单元(或者若干处理单元)、系统存储器(例如，随机存取存储器和只读存储器)、大容量存储装置(例如，硬盘驱动器)、输入/输出装置(例如，键盘、鼠标、屏幕和扬声器)以及通信接口(例如，调制解调器)。这些部件之间通过一个或多个系统总线进行耦接。这些部件中的每一者均以本领域中的已知方式进行构造和操作，并且因此本文中不再详细说明。处理器206控制图像修正系统200的每个部件，并且附加地修正所述放大图像。例如，处理器206控制相机202和204，从用户数据接口208和用户接口214接收数据，并且为显示器210和212渲染图像。
用户数据接口208是用于为处理器206提供用户数据的接口。所述用户数据涉及用户的视觉特性，例如，用户瞳孔间距(IPD)。所述用户数据可以由用户数据接口208本身确定，或者可以从外部来源检索。例如，为确定用户的IPD，用户数据接口208可以包括IPD测量工具，或者可以访问包含所选用户的IPD测量值的医疗数据库。左显示器210和右显示器212是为用户呈现图像的视觉输出接口。用户接口214使系统200可从用户接收输入。例如，用户可通过缩放旋钮或者通过小键盘接口来指示预期放大水平。
左相机202和右相机204中的每一者采集各自图像。采集的图像中的每一个均包含对象。图像处理器206接收采集的图像并且经由显示器210和212将图像呈现给用户。应注意，左相机和右相机(在本文中也称为第一相机和第二相机)可以更换成具有两个通道的单个相机。因此，本文对第一相机和第二相机的任何参考也指单个双通道相机。所述单个相机可具有两个单独的图像传感器，或者具有用于检测每个图像的专用部分的单个图像传感器。
图像处理器206确定用于放大所述图像的放大参数。例如，图像处理器206从用户接收放大参数。所述用户经由用户接口214提供放大参数。例如，用户指示她想要查看放大了所选系数的对象，或者她想要从更近的视点查看，并且因此想要将图像缩放所选量值。
根据本公开技术的一个实施方案，图像处理器206根据放大参数产生原始采集图像的放大图像。例如，图像处理器206操作相机202和204来通过更改相机202和204的焦距采集放大图像。替代地，图像处理器以数字方式放大采集图像的所选部分(即，放大所述对象)。应注意，对象的放大可以涉及场景外观的增加，或者减少(即，缩小)。
图像处理器206可以从用户数据接口208检索用户数据，例如用户IPD。图像处理器206根据放大率，并且潜在地进一步根据所述用户数据修正所述放大图像。图像处理器206生成修正的放大图像并且经由左显示器210和右显示器212将这些图像显示成放大3D图像。换言之，图像处理器206根据放大参数生成修正的放大图像，以使所述修正的放大图像内的对象位置与对象的放大率相对应。换言之，根据放大率(即，是放大参数的函数)对修正图像中的放大对象的视差进行修正，以使修正的视差与放大率相对应。
根据本公开技术的另一个实施方案，图像处理器206生成修正的放大图像，而不是对已经放大的图像进行修正。图像处理器206从左图像和右图像生成对象的3D模型，从而绘制对象的不同元素的深度图。图像处理器206从用户接口214接收用户的放大参数。图像处理器206确定根据预期放大率模拟得出的放大对象距离。图像处理器206从所述对象的3D模型生成修正的放大图像。修正图像是相当于在对象位于与相机202和204相距放大对象距离处(即，相机位于根据放大率模拟得出的模拟视点处)采集的对象的放大图像。
根据本公开技术的又一个实施方案，可以根据用户数据(除了根据放大率之外)调整所述对象。例如，用户IPD可以影响放大图像中的对象的调整视差。不同用户的IPD不同，且因此可能在相同距离处以不同视差感知同一对象。可以根据具体用户的具体IPD对放大图像中的放大对象的修正视差进行修正，以根据自身大小的放大对象的深度感知与根据图像中的修正视差的放大对象的深度感知相对应。
在上文参考图1A-1E和图2所述的示例中，图像修正系统具有两个相机。附加地，可以利用较高数量的相机来从较高数量的视角采集对象的图像。将放大图像调整成使对象看起来如同图像是在放大对象距离处采集的一般。
现在参见图3，其是根据本公开技术的另一个实施方案操作的用于根据放大参数产生放大3D图像以改善立体视觉的方法的示意图。在步骤300中，采集对象的第一图像和第二图像。所述第一图像由第一相机采集，而所述第二图像由第二相机采集。第一图像和第二图像中的对象的位置呈现视差，因为相机位置不同。应注意，第一和第二相机可以更换成单个双通道相机。参见图1A和1B，相机102和104分别采集图像110和112。图像110和112中的每一者包含对象106。
在步骤302中，确定放大参数。所述用户经由图像显示器查看采集的图像。当用户想要更近地查看对象时，用户提供放大参数。放大参数由用户经由用户接口提供。例如，用户操作拉近/拉远旋钮(并且相应地确定放大参数)，或者经由键盘提供放大输出。所述放大参数指示预期放大率。图像放大会模拟视点或者对象距离的改变(即，相机与成像场景之间距离的改变)。参考图2，用户经由用户接口214提供放大参数。
附加地，还可以接收用户数据。可以确定所述用户数据，或者从外部来源检索所述用户数据。所述用户数据可以涉及用户的IPD，以及用户的视觉特性，例如视角等。参考图2，用户数据接口208确定用户数据，例如用户IPD，并且将用户数据提供给图像处理器206。
在步骤304中，生成第一放大图像和第二放大图像。通过根据放大参数(即，是放大参数的函数)将第一图像中包含所述对象的部分放大来生成第一放大图像。通过根据放大参数将第二图像中包含所述对象的部分放大来生成第二放大图像。所述对象可以光学地或数字地放大。所述放大不会改变图像中的对象的位置或比例。
放大之后，放大的对象看起来更靠近相机(由于其大小被放大)。但是，每一个放大图像中的对象的比例和位置(例如，放大图像中的对象的视差)不会指示对象距离的改变，或者相机视点的改变。因此，放大图像会提供相互冲突的深度视觉暗示，这样可能导致用户感到不适。参见图1C和1D，放大图像120和122示出了放大对象116。由于大小被放大，因此放大对象116看起来位于与相机相距距离D放大处，该距离比实际距离D对象更近。
在步骤306中，作为放大参数的函数，对第一放大图像和第二放大图像的几何结构进行修正。以此，产生第一修正图像和第二修正图像。根据放大参数来修正所述修正图像中的放大对象视差。通过这种方式，放大对象的视差与放大对象的放大率相对应，从而减小观看者的不适并且改善立体视觉。
可以通过以根据放大参数确定的位移将每个放大图像中的对象的像素在相反方向上进行移位来执行几何修正。以此，例如，修正视差与放大率相对应，并且观看者在查看修正图像时不会感到立体不适。附加地，可以根据诸如用户IPD等用户数据进一步确定移位，以使调整后的图像是针对所述用户特别定制的，从而进一步减小用户不适。
所述放大对象的像素可以以相同方式共同移位。附加地，针对每个像素或者每组像素确定相应的移位。可以根据图像内的像素位置确定所述移位。例如，所述移位是像素的X坐标的线性函数，或者是像素的X和Y坐标两者的二次函数。通过这种方式，所述对象不只能平移，而且能变形。放大对象的变形更好地补偿具有大深度范围的图像。通过这种方式，包含修正放大对象的修正图像看起来如同从预期放大率模拟所得的放大对象距离处采集的一般。一般来说，任何图像几何或其他修正可以采用来将放大图像修正成看起来如同从放大对象距离(比实际对象距离近)处采集的一般。所述修正图像共同形成放大3D图像，以为用户提供放大对象的3D视图。
根据本公开技术的另一个实施方案，每个像素的移位与该像素表示的元素的相对对象距离相关。例如，如果所述对象是一组对象，则每个对象位于距离相机的不同距离处。示出位于较短距离处的第一对象的像素的移位将大于示出位于较长距离处的第二对象的像素的移位。以此，根据该对象的具体对象距离来调整每个对象的视差。
附加地，可以对图像进行修正(例如，通过使像素移位)来适应具体用户特性，例如用户IPD。也就是说，将所述图像调整成使它们看起来如同具有特定IPD的特定用户从模拟的视点查看对象一般。
参见图2和1E，图像处理器206根据放大率(并且潜在地根据用户数据)使放大的所选场景的像素移位，以实现便利的立体视觉。所述移位涉及对所述放大图像进行几何修正以使其看起来如同对象是在图像放大率模拟得出的放大对象距离处采集的一般。图像处理器206产生图像130和132，其中调整的对象126从放大对象116的位置进行平移，从而对图像130和132进行几何修正，从而改善立体视觉。
参见步骤308，为用户显示放大3D图像。所述放大的修正图像共同形成放大3D图像。向用户的第一只眼睛显示第一修正图像，并且向用户的第二只眼睛显示第二修正图像。以此，向用户显示放大3D图像。修正图像会改善立体视觉，并且用户查看所述对象的放大3D图像。参见图2和1E，第一显示器210显示第一修正图像130，并且第二显示器212显示第二修正图像132。
现在参见图4，其是根据本公开技术的又一个实施方案操作的用于根据放大参数产生放大3D图像以改善立体视觉的方法的示意图。在步骤400中，采集对象的第一图像和第二图像。由第一相机采集第一图像，并且由第二相机采集第二图像。第一图像和第二图像中的对象的位置将呈现视差，因为相机位置不同。参见图1A和1B，相机102和104分别采集图像110和112。图像110和112中的每一者包含对象106。
在步骤402中，从第一图像和第二图像产对象的三维(3D)模型。所述3D模型绘制所述对象的每个元素的深度。例如，根据相机实际视点的知识、相机的相对位置以及两个相机的图像之间的相互关系来创建3D模型。附加地，可以从附加或替代数据产生3D模型，例如从外部来源接收的数据、来自对象的之前采集图像的数据等。在此类情况下，可以仅从单个图像产生3D模型，或者可以完全从附加数据，而无需这些图像来产生3D模型。参见图2，图像处理器206从左图像和右图像产生所选场景的3D模型。
在步骤404中，确定放大参数。步骤404类似于图3中的步骤302，并且可以类似地包括接收诸如用户IPD等用户数据的步骤。参考图2，用户经由用户接口214提供放大参数。
在步骤406中，根据放大参数确定放大对象距离。所述放大对象距离是所述对象距离所述相机的模拟距离，在所述距离下，所述对象将根据所述放大参数被放大。例如，如果预期放大率是放大两倍，则放大对象距离是使对象看起来是原始采集图像中的两倍大的距离。参见图1D和2，图像处理器206根据放大参数确定放大对象距离D放大图像。
在步骤408中，从所述3D模型生成第一放大图像和第二放大图像。第一放大图像和第二放大图像中的每一者包含看起来位于放大对象距离处的对象。如上所述，图像放大模拟较短的对象距离。但是，放大图像与在较短距离处采集的图像不同，因为相机的视角不会随着放大而改变。生成放大的修正图像，以模拟与放大率相对应的更近的视点。从对象的3D模型生成放大的修正图像。所述放大的修正图像共同形成所述对象的放大3D图像。
根据放大参数确定放大对象距离(或者模拟视点)。例如，所述距离与所述放大率成反比。也就是说，若放大系数为二，则对象距离将转换成原始对象距离的一半。可以采用放大率与距离之间的其他关系。根据本公开技术的一个实施方案，产生相机的经验表。也就是说，相机位于距离对象的不同距离处，并且每个距离处的对象放大率将存储在查询表中。如上所述，可以针对具有诸如IPD等特定视觉特性的特定用户定制修正图像。
根据本公开技术的另一个实施方案，所述图像包括多个对象(或者如果对象包括多个元素)，每个对象位于距离相机的不同距离处。在这种情况下，可以针对每个对象(或者对象的每个元素)确定放大对象距离。生成放大图像，以使每个对象看起来如同从相应放大对象距离处成像的一般，从而产生改善立体视觉的3D图像。
参见图1E和2，图像处理器206生成图像130和132，其中对象126看起来如同从放大对象距离D放大处成像的一般。图像处理器206经由显示器210和212向用户将图像130和132呈现为放大3D图像。
本领域中的技术人员将认识到，本公开技术并不限于上文具体图示和描述的内容。相反，本公开技术的范围仅由随附的权利要求书限定。

Claims (10)

1.一种用于产生具有根据放大率修正的视差的对象的放大三维图像的方法，所述方法包括以下步骤：
由第一相机采集所述对象的第一图像，并且由第二相机采集所述对象的第二图像；
确定放大参数；
接收描述所选用户的特性的用户数据；
通过根据所述放大参数放大所述第一图像中包含所述对象的部分来生成第一放大图像，并且通过根据所述放大参数放大所述第二图像中包含所述对象的部分来生成第二放大图像，其中所述第一放大图像和第二放大图像中的所述对象的视差与所述第一图像和第二图像中的所述对象的视差相同；
作为所述放大参数的函数修正所述第一放大图像和所述第二放大图像的几何结构，从而产生第一修正图像和第二修正图像，其中所述对象具有所述第一修正图像和所述第二修正图像中的修正视差，其中由第一放大图像和第二放大图像模拟所得的放大模拟对象距离与所述修正视差相对应；
根据所述用户数据进一步修正所述第一修正图像和所述第二修正图像中的所述修正视差，以获取新的第一修正图像和新的第二修正图像；以及
通过显示所述新的第一修正图像和所述新的第二修正图像来向所述所选用户显示所述放大三维图像。
2.根据权利要求1所述的方法，其中修正所述几何结构的所述步骤通过使所述所选对象的至少一个像素移位来执行。
3.根据权利要求2所述的方法，其中所述至少一个像素中的每一者的移位相同。
4.根据权利要求2所述的方法，其中所述至少一个像素的所选一个的移位取决于所述至少一个像素的所述所选一个的位置。
5.一种用于产生具有根据放大率修正的视差的放大三维图像的方法，所述方法包括以下步骤：
由第一相机采集对象的第一图像，并且由第二相机采集所述对象的第二图像，所述对象位于距离所述第一相机和所述第二相机的对象距离处；
产生所述对象的三维模型；
确定放大参数；
接收描述所选用户的特性的用户数据；
根据所述放大参数确定放大模拟对象距离，其中所述放大模拟对象距离是所述对象距离所述第一相机和所述第二相机的模拟距离，在所述距离下，所述对象将根据所述放大参数被放大；
从所述三维模型生成第一放大图像和第二放大图像，所述第一放大图像和所述第二放大图像中的每一者包含看起来位于所述放大模拟对象距离处的所述对象，其中由所述第一放大图像和第二放大图像模拟所得的所述放大模拟对象距离与所述第一放大图像和第二放大图像中的修正视差相对应；
根据所述用户数据进一步修正所述第一放大图像和所述第二放大图像中的所述修正视差，以获取新的第一放大图像和新的第二放大图像；以及
通过显示所述新的第一放大图像和所述新的第二放大图像来向所述所选用户显示所述放大三维图像。
6.根据权利要求5所述的方法，其中从所述第一图像和所述第二图像产生所述三维模型。
7.根据权利要求5所述的方法，其中从所述第一图像以及从外部来源接收的三维对象数据来产生所述三维模型。
8.一种用于产生具有根据放大率修正的视差的放大三维图像的系统，所述系统包括：
第一相机，所述第一相机配置成采集位于距离所述第一相机对象距离处的对象的第一图像；
第二相机，所述第二相机配置成采集位于距离所述第二相机所述对象距离处的所述对象的第二图像；
第一显示器，所述第一显示器配置成向用户显示第一放大图像；
第二显示器，所述第二显示器配置成向所述用户显示第二放大图像；
图像处理器，所述图像处理器与所述第一相机、所述第二相机、所述第一显示器和所述第二显示器耦接，所述图像处理器配置成根据放大参数生成所述第一放大图像和所述第二放大图像，所述对象在所述第一放大图像和所述第二放大图像中具有放大模拟对象距离和修正视差，所述放大模拟对象距离是在所述第一放大图像和所述第二放大图像中所述对象距离所述第一相机和所述第二相机的模拟距离，其中所述放大模拟对象距离与所述修正视差相对应；以及
用户数据接口，所述用户数据接口配置成耦接所述图像处理器并且接收描述所选用户的特性的用户数据；
其中所述图像处理器配置成进一步根据所述用户数据生成新的第一放大图像和新的第二放大图像，所述第一显示器进一步配置成将所述新的第一放大图像显示给所述用户，并且所述第二显示器进一步配置成将所述新的第二放大图像显示给所述用户。
9.根据权利要求8所述的系统，其中所述图像处理器配置成通过根据所述放大参数放大所述第一图像中包含所述对象的部分来生成所述第一放大图像，以及通过根据所述放大参数放大所述第二图像中包含所述对象的部分来生成所述第二放大图像，所述图像处理器进一步配置成作为所述放大参数的函数，修正所述第一放大图像和所述第二放大图像的几何结构。
10.根据权利要求8所述的系统，其中所述图像处理器配置成产生所述对象的三维模型，所述图像处理器进一步配置成根据所述放大参数确定放大对象距离，所述放大对象距离是所述对象距离所述第一相机和所述第二相机的模拟距离，在所述距离下，所述对象将根据所述放大参数被放大，并且其中所述图像处理器配置成从所述三维模型生成所述第一放大图像和所述第二放大图像，所述第一放大图像和所述第二放大图像中的每一者包含看起来位于所述放大对象距离处的所述对象。
CN201580073797.0A 2014-12-23 2015-12-21 用于产生放大3d图像的方法和系统 Active CN107209949B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL236420A IL236420A (en) 2014-12-23 2014-12-23 Methods and systems for producing an enlarged 3D image
IL236420 2014-12-23
PCT/IL2015/051236 WO2016103255A1 (en) 2014-12-23 2015-12-21 Methods and systems for producing a magnified 3d image

Publications (2)

Publication Number Publication Date
CN107209949A CN107209949A (zh) 2017-09-26
CN107209949B true CN107209949B (zh) 2020-01-17

Family

ID=54347963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580073797.0A Active CN107209949B (zh) 2014-12-23 2015-12-21 用于产生放大3d图像的方法和系统

Country Status (7)

Country Link
US (1) US9918066B2 (zh)
EP (1) EP3238178B1 (zh)
JP (1) JP2018500690A (zh)
CN (1) CN107209949B (zh)
ES (1) ES2808873T3 (zh)
IL (1) IL236420A (zh)
WO (1) WO2016103255A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607417B2 (en) 2016-06-08 2020-03-31 Sony Interactive Entertainment Inc. Image generating apparatus and image generating method
US10721456B2 (en) * 2016-06-08 2020-07-21 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method
US10869026B2 (en) * 2016-11-18 2020-12-15 Amitabha Gupta Apparatus for augmenting vision
EP3545675A4 (en) 2016-11-24 2020-07-01 The University of Washington CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS
DK3746446T3 (da) 2018-01-31 2022-06-27 Mirati Therapeutics Inc PRC2-inhibitorer

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法
WO2012036120A1 (ja) * 2010-09-15 2012-03-22 シャープ株式会社 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
CN102577407A (zh) * 2010-06-30 2012-07-11 富士胶片株式会社 图像处理装置、拍摄装置及图像处理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3653790B2 (ja) * 1995-05-23 2005-06-02 松下電器産業株式会社 立体電子ズーム装置及び立体画質制御装置
JPH08336165A (ja) * 1995-06-09 1996-12-17 Canon Inc 複眼撮像装置
JP3802630B2 (ja) 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
JPH1188910A (ja) * 1997-09-02 1999-03-30 Canon Inc ３次元モデル生成装置、３次元モデル生成方法、３次元モデル生成プログラムを記録した媒体、３次元モデル再生装置、３次元モデル再生方法及び３次元モデル再生プログラムを記録した媒体
JPH11102438A (ja) 1997-09-26 1999-04-13 Minolta Co Ltd 距離画像生成装置及び画像表示装置
KR20030029649A (ko) 2000-08-04 2003-04-14 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 화상 변환 및 부호화 기술
JP2002354505A (ja) 2001-05-29 2002-12-06 Vstone Kk 立体視システム
JP2003052058A (ja) 2001-08-06 2003-02-21 Nippon Hoso Kyokai <Nhk> 立体画像撮像装置
US20040238732A1 (en) 2001-10-19 2004-12-02 Andrei State Methods and systems for dynamic virtual convergence and head mountable display
US8094927B2 (en) 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US8248458B2 (en) 2004-08-06 2012-08-21 University Of Washington Through Its Center For Commercialization Variable fixation viewing distance scanned light displays
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP2011205358A (ja) 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
US9167134B2 (en) * 2010-03-30 2015-10-20 Panasonic Intellectual Property Managment Co., Ltd. Imaging control device, immersion position information generation device, imaging control method, immersion position information generation method
DE202010007397U1 (de) 2010-05-31 2011-08-02 Deutsches Zentrum für Luft- und Raumfahrt e.V. Anzeigevorrichtung
JP5484577B2 (ja) * 2010-06-30 2014-05-07 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法
US20130128003A1 (en) 2010-08-19 2013-05-23 Yuki Kishida Stereoscopic image capturing device, and stereoscopic image capturing method
FR2969791B1 (fr) 2010-12-23 2012-12-28 Thales Sa Procede de correction de l'hyperstereoscopie et systeme de visualisation de casque associe
WO2012137454A1 (ja) * 2011-04-01 2012-10-11 パナソニック株式会社 立体映像出力装置及び立体映像出力方法
US9191659B2 (en) 2011-11-16 2015-11-17 Christie Digital Systems Usa, Inc. Collimated stereo display system
JP6031755B2 (ja) 2011-12-14 2016-11-24 ソニー株式会社 立体画像撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法
CN102577407A (zh) * 2010-06-30 2012-07-11 富士胶片株式会社 图像处理装置、拍摄装置及图像处理方法
WO2012036120A1 (ja) * 2010-09-15 2012-03-22 シャープ株式会社 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
ES2808873T3 (es) 2021-03-02
CN107209949A (zh) 2017-09-26
EP3238178A4 (en) 2018-04-25
JP2018500690A (ja) 2018-01-11
IL236420A0 (en) 2015-04-30
US9918066B2 (en) 2018-03-13
IL236420A (en) 2016-06-30
EP3238178B1 (en) 2020-05-13
EP3238178A1 (en) 2017-11-01
US20170359562A1 (en) 2017-12-14
WO2016103255A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
JP7076447B2 (ja) ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
EP2357841B1 (en) Method and apparatus for processing three-dimensional images
JP3568195B2 (ja) 立体画像生成方法
CN107209949B (zh) 用于产生放大3d图像的方法和系统
US10382699B2 (en) Imaging system and method of producing images for display apparatus
CN108259883B (zh) 图像处理方法、头戴式显示器以及可读存储介质
KR102066058B1 (ko) 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
JP5840022B2 (ja) 立体画像処理装置、立体画像撮像装置、立体画像表示装置
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
KR100439341B1 (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
KR101212223B1 (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
WO2019048819A1 (en) METHOD FOR MODIFYING AN IMAGE ON A COMPUTER DEVICE
JP6113411B2 (ja) 画像処理装置
KR101632514B1 (ko) 깊이 영상 업샘플링 방법 및 장치
JP2018078496A (ja) 三次元動画像表示処理装置、動画情報記録媒体、動画情報提供サーバ、並びにプログラム
JP2017098596A (ja) 画像生成方法及び画像生成装置
JP6356928B1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
KR20160041403A (ko) 픽셀별 거리 정보를 기반으로 3d 영상 컨텐츠를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP7336871B2 (ja) 全天周映像処理装置及びプログラム
KR20040018858A (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
CN115334296A (zh) 一种立体图像显示方法和显示装置
JP2015029215A (ja) 立体画像処理装置
JP2021507655A (ja) 視聴者に合わせて調整された立体画像表示
JP2017076902A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant