CN102893614A - 基于立体画面的自动聚焦点自动会聚的方法和设备 - Google Patents
基于立体画面的自动聚焦点自动会聚的方法和设备 Download PDFInfo
- Publication number
- CN102893614A CN102893614A CN2011800243934A CN201180024393A CN102893614A CN 102893614 A CN102893614 A CN 102893614A CN 2011800243934 A CN2011800243934 A CN 2011800243934A CN 201180024393 A CN201180024393 A CN 201180024393A CN 102893614 A CN102893614 A CN 102893614A
- Authority
- CN
- China
- Prior art keywords
- picture
- focus point
- video
- parallax
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
Abstract
一种用于基于至少一个自动聚焦点对立体图像或视频的画面执行自动会聚的方法和设备。这种方法包括从图像中获取聚焦点的位置(104)、估计图像中聚焦点的视差(106)、确定立体图像或者视频的画面的视差(108)和移动画面以自动调整立体图像或视频的画面的会聚(110)。
Description
技术领域
本发明的实施例一般涉及基于立体画面的自动聚焦点自动会聚的方法和设备。
背景技术
在人类的视觉系统或立体摄影机系统中,两眼轴线或两个摄影机轴线的交叉点是会聚点。从会聚点到人眼或者摄影机的距离是会聚距离。对人眼而言,会聚点可以处在任意距离,因为人眼可以人为地接近所注视的地方。对于立体摄影机来说,会聚点可以处于无穷远或者处在固定距离。当人们想观看立体显示器上的立体图像或视频时,他们的眼睛会自然地会聚到显示屏上。显示屏到人眼的距离是自然的会聚距离。为了正确地观察3D效果,观察者会自然地调整他们的眼睛以具有和摄影机相同的会聚距离。如果感兴趣的主要物体有着很不同的会聚距离,则人眼将无法会聚在显示器上从而聚焦在这些物体上(会聚平面将提供给显示平面)。这种持续的会聚距离调整久而久之会造成不适、头痛或者眼肌肉疼痛。
因此,需要一种改进的自动会聚方法和设备来改善视觉舒适性。
发明内容
本发明的实施例涉及基于至少一个自动聚焦点在立体图像或视频的画面上执行自动会聚的方法和设备。这种方法包括获取图像中聚焦点的位置、估计图像的聚焦点的视差、确定立体图像或者视频的画面的视差和移动画面以自动调整立体图像或者视频的画面的会聚。
附图说明
参照附图描述示例性实施例,附图中:
图1图示基于立体画面的自动聚焦的自动会聚方法的实施例;
图2描述自动聚焦窗口和聚焦点;
图3描述图2中每个块的视差和聚焦点的视差;
图4(a)和4(b)图示在提出的自动会聚之前和之后立体图像的实施例。
具体实施方式
为了改善视觉舒适性,通常调整立体图像/视频的会聚距离,使得立体图像/视频的会聚距离等于或者接近于我们人眼的自然会聚距离,从而确保舒适的观看效果。为了调整会聚距离,左右画面需要移动特定量。本发明提出的自动会聚方法将自动确定移动的量。
当人们观看一个物体时,他们通常聚焦在物体上,并且他们的眼睛会聚在相同物体上。因此,眼睛的会聚距离和眼睛的聚焦距离是一样的。由于在该会聚距离上的物体必须有零视差(disparity),所以对于人眼来说在聚焦距离上的物体也应该具有零视差。但对于相机捕获的立体图像或者视频,由于相机的会聚点固定在无穷远处或特定距离处,所以在聚焦距离上的物体可能有非零视差。因此,我们需要调整会聚使得被聚焦的物体的视差为零。
图1描述了基于立体画面的自动聚焦的自动会聚方法100的实施例。方法100开始于步骤102。在步骤104,方法100获取聚焦点的位置。在步骤106,方法100估计聚焦点的视差。在步骤108,方法100确定画面的视差。在步骤110,方法100水平移动画面以自动调整立体图像或者视频的画面的会聚。
第一步是获取聚焦点的位置。例如,方法100可以从自动聚焦系统获取左侧画面上的聚焦点位置。图2描述了自动聚焦窗口和聚焦点。聚焦点是照相机聚焦在物体上的位置。正常情况下,左侧相机的自动聚焦将左侧画面分成相同大小的自动对焦窗口的矩阵网格。聚焦点的位置被描述成自动聚焦窗口(AF窗口)的索引。如图2所示,在此示例中有25个自动聚焦窗口组成5x5网格。如果画面上有多个聚焦点,可以得到被聚焦的自动聚焦窗口的多个索引。图2显示有两个聚焦点的5x5的自动聚焦窗口的示例。可以从右侧画面或者从左侧和右侧画面获得聚焦点的位置。
下一个步骤是估计聚焦点的视差。图3描述图2的每个块的视差和聚焦点的视差。可以利用任何基于块的视差估计法估计聚焦点的视差值。基于块的视差估计的块的数量和大小可以等于或者不等于步骤1中使用的自动聚焦窗口的数量和大小。在视差估计后,可以得到每个块的视差值D和置信值C。每个块的置信值描述在此块内的视差估计有多准确并且在从0到1的范围内。如果聚焦点不在块的中心,则使用最近邻内插法或双线性内插法获得聚焦点的视差值和置信值。在图2的示例中,聚焦点1和聚焦点2分别接收视差值D_1和D_2以及置信值C_1和C_2。
下一步是确定画面的视差。如果只有一个聚焦点,则画面的视差是聚焦点的视差D。
如果有数个聚焦点(m是聚焦点的数量),则画面的视差是所有聚焦点的视差的加权平均。
D=sum(D_i*C_i)/m
对于图3中的示例,画面视差D=(D_1*C_1+D_2*C_2)/2。
然后,方法100执行步骤4,其中画面被移动。例如,画面可以左移或者右移。一旦画面视差被确定,就可以水平移动左侧画面D/2的距离,并移动右侧画面-D/2的距离。移动后,会聚距离将与聚焦距离相同。聚焦的物体的视差将为零。图4显示在提出的自动会聚方法前后的立体图像。
可采用方法100的设备可以是,例如,图像捕获装置、照相机、录像机、包括视频或图像捕获装置的手持装置等。图5是图像捕获装置500的实施例。图像捕获装置500包括用于获取聚焦点的位置的装置502、用于估计聚焦点的视差的装置504、用于确定画面的视差的装置506、用于移动画面的装置508、存储器510、处理单元512、输入/输出装置514和自动聚焦系统516。用于获取聚焦点的位置的装置502、用于估计聚焦点的视差的装置504、用于确定画面的视差的装置506以及用于移动画面的装置508中的每一个执行以上概述的相关步骤。
存储器510可以包括非暂态计算机可读介质、随机存取存储器、只读存储器、可移动磁盘存储器、闪存以及这些类型的存储器的各种组合。存储器510有时称为主存储器,并且可以部分用作高速缓冲存储器或者缓冲存储器。存储器510可存储操作系统、数据库软件以及各种形式的应用程序软件。处理单元512可利用存储器510执行执行自动会聚所需的任何过程。输入/输出装置514可以是,例如,能够捕获图像或视频或获取捕获的图像或视频的任何装置。处理单元512和输入/输出装置514可以耦合、无线通信或包括在图像捕获装置500内。自动聚焦系统516可以是确定聚焦点的系统或者保持与聚焦点相关的数据的系统。
本领域技术人员将理解在要求保护的发明的范围内很多其他实施例和变体是可能的。
Claims (9)
1.一种基于至少一个自动聚焦点在立体图像或视频的画面上执行自动会聚的方法,所述方法包括:
获取图像中聚焦点的位置;
估计图像的聚焦点的视差;
确定所述立体图像或者视频的画面的视差;以及
移动所述画面以自动调整所述立体图像或视频的画面的会聚。
2.根据权利要求1所述的方法,其中获取聚焦点是从自动聚焦系统获取左侧画面的聚焦点。
3.根据权利要求1所述的方法,其中移动所述画面是右移和左移。
4.一种用于图像捕获和用于基于至少一个自动聚焦点在立体图像或视频的画面上执行自动会聚的设备,所述设备包括:
用于获取图像中聚焦点的位置的装置;
用于估计图像的聚焦点的视差的装置;
用于确定所述立体图像或视频的画面的视差的装置;以及
用于移动所述画面以自动调整所述立体图像或视频的画面的会聚的装置。
5.根据权利要求3所述的设备,其中获取聚焦点是从自动聚焦系统获取左侧画面的聚焦点。
6.根据权利要求3所述的设备,其中移动画面是右移和左移。
7.一种包括被处理器运行时使处理器执行以下方法的软件的非暂态计算机可读介质,所述方法基于至少一个自动聚焦点在立体图像或视频的画面上执行自动会聚,所述方法包括:
获取图像中聚焦点的位置;
估计图像的聚焦点的视差;
确定所述立体图像或者视频的画面的视差;以及
移动所述画面以自动调整所述立体图像或视频的画面的会聚。
8.根据权利要求7所述的非暂态计算机可读介质,其中获取聚焦点是从自动聚焦系统中获取左侧画面的聚焦点。
9.根据权利要求7所述的非暂态计算机可读介质,其中移动所述画面是右移和左移。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US34524310P | 2010-05-17 | 2010-05-17 | |
US61/345,243 | 2010-05-17 | ||
US13/099,582 | 2011-05-03 | ||
US13/099,582 US20110279651A1 (en) | 2010-05-17 | 2011-05-03 | Method and Apparatus for Auto-Convergence Based on Auto-Focus Point for Stereoscopic Frame |
PCT/US2011/036750 WO2011146436A2 (en) | 2010-05-17 | 2011-05-17 | Method and apparatus for auto-convergence based on auto focus point for stereoscopic frame |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102893614A true CN102893614A (zh) | 2013-01-23 |
Family
ID=44911451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011800243934A Pending CN102893614A (zh) | 2010-05-17 | 2011-05-17 | 基于立体画面的自动聚焦点自动会聚的方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20110279651A1 (zh) |
JP (1) | JP2013535120A (zh) |
CN (1) | CN102893614A (zh) |
WO (1) | WO2011146436A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107135385A (zh) * | 2017-04-28 | 2017-09-05 | 华强方特(深圳)动漫有限公司 | 一种交叉汇聚立体实拍的处理方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9432654B2 (en) * | 2012-11-05 | 2016-08-30 | Texas Instruments Incorporated | Modifying fusion offset data in sequential stereoscopic image frames |
CN112020420A (zh) * | 2018-04-10 | 2020-12-01 | 惠普发展公司,有限责任合伙企业 | 对3d打印中的尺寸变化进行补偿 |
DE102018110641B3 (de) | 2018-05-03 | 2019-07-25 | Carl Zeiss Meditec Ag | Mikroskopieverfahren zur Abbildung eines Objekts sowie Mikroskop |
DE102018110644B4 (de) | 2018-05-03 | 2024-02-15 | Carl Zeiss Meditec Ag | Digitales Mikroskop und digitales Mikroskopieverfahren |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6512892B1 (en) * | 1999-09-15 | 2003-01-28 | Sharp Kabushiki Kaisha | 3D camera |
US20050052593A1 (en) * | 2003-04-21 | 2005-03-10 | Dai-Liang Ting | Color filter for transflective liquid crystal display |
WO2009139740A1 (en) * | 2008-05-12 | 2009-11-19 | Thomson Licensing | System and method for measuring potential eyestrain of stereoscopic motion pictures |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0756517A (ja) * | 1993-08-20 | 1995-03-03 | Matsushita Electric Ind Co Ltd | 眼鏡型画像表示装置 |
JP3477441B2 (ja) * | 2000-12-08 | 2003-12-10 | 川崎重工業株式会社 | 画像表示装置 |
CN1476730A (zh) * | 2001-07-27 | 2004-02-18 | 皇家菲利浦电子有限公司 | 具有观看者跟踪系统的自动立体图像显示装置 |
IL155525A0 (en) * | 2003-04-21 | 2009-02-11 | Yaron Mayer | System and method for 3d photography and/or analysis of 3d images and/or display of 3d images |
JP2005117193A (ja) * | 2003-10-03 | 2005-04-28 | Ntt Docomo Inc | 撮像端末、画像表示端末、及び画像表示システム |
JP2008009341A (ja) * | 2006-06-30 | 2008-01-17 | Sony Corp | オートフォーカス装置、撮像装置及びオートフォーカス方法 |
EP2544579B1 (en) * | 2010-03-12 | 2018-08-15 | Viking Systems, Inc. | Stereoscopic visualization system |
US9100640B2 (en) * | 2010-08-27 | 2015-08-04 | Broadcom Corporation | Method and system for utilizing image sensor pipeline (ISP) for enhancing color of the 3D image utilizing z-depth information |
-
2011
- 2011-05-03 US US13/099,582 patent/US20110279651A1/en not_active Abandoned
- 2011-05-17 CN CN2011800243934A patent/CN102893614A/zh active Pending
- 2011-05-17 JP JP2013511274A patent/JP2013535120A/ja not_active Withdrawn
- 2011-05-17 WO PCT/US2011/036750 patent/WO2011146436A2/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6512892B1 (en) * | 1999-09-15 | 2003-01-28 | Sharp Kabushiki Kaisha | 3D camera |
US20050052593A1 (en) * | 2003-04-21 | 2005-03-10 | Dai-Liang Ting | Color filter for transflective liquid crystal display |
WO2009139740A1 (en) * | 2008-05-12 | 2009-11-19 | Thomson Licensing | System and method for measuring potential eyestrain of stereoscopic motion pictures |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107135385A (zh) * | 2017-04-28 | 2017-09-05 | 华强方特(深圳)动漫有限公司 | 一种交叉汇聚立体实拍的处理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20110279651A1 (en) | 2011-11-17 |
JP2013535120A (ja) | 2013-09-09 |
WO2011146436A3 (en) | 2012-03-01 |
WO2011146436A2 (en) | 2011-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102239686B1 (ko) | 단일 깊이 추적 순응-수렴 솔루션 | |
JP5138031B2 (ja) | 深度関連情報を処理する方法、装置及びシステム | |
CN108154058B (zh) | 图形码展示、位置区域确定方法及装置 | |
US8116557B2 (en) | 3D image processing apparatus and method | |
US10762653B2 (en) | Generation apparatus of virtual viewpoint image, generation method, and storage medium | |
EP2532166B1 (en) | Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair | |
CN102761768A (zh) | 一种实现立体成像的方法及装置 | |
CN102833560A (zh) | 图像处理设备、图像处理方法和程序 | |
JP2011166264A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
CN102893614A (zh) | 基于立体画面的自动聚焦点自动会聚的方法和设备 | |
US11415935B2 (en) | System and method for holographic communication | |
CN115668913A (zh) | 现场演出的立体显示方法、装置、介质及系统 | |
US20230281916A1 (en) | Three dimensional scene inpainting using stereo extraction | |
JP5741353B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
CN104463958A (zh) | 基于视差图融合的三维超分辨率方法 | |
CN114040184A (zh) | 图像显示方法、系统、存储介质及计算机程序产品 | |
Silva et al. | A no-reference stereoscopic quality metric | |
KR101939243B1 (ko) | 입체 깊이 조정 및 초점 조정 | |
JP5981460B2 (ja) | 立体シーンにおける焦点面の位置を管理するためのデバイスおよび方法 | |
Chappuis et al. | Subjective evaluation of an active crosstalk reduction system for mobile autostereoscopic displays | |
EP3099078A1 (en) | Method for collecting information on users of 4d light field data, corresponding apparatuses and computer programs | |
CN105516706A (zh) | 制作立体影像方法 | |
CN109729335A (zh) | 一种视差调整的方法、装置及系统 | |
CN108924527A (zh) | 一种双镜头3d拍摄以实现景深的方法、装置及移动端 | |
CN108924530A (zh) | 一种3d拍摄异常图像校正的方法、装置及移动端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130123 |