CN102893614A - 基于立体画面的自动聚焦点自动会聚的方法和设备 - Google Patents

基于立体画面的自动聚焦点自动会聚的方法和设备 Download PDF

Info

Publication number
CN102893614A
CN102893614A CN2011800243934A CN201180024393A CN102893614A CN 102893614 A CN102893614 A CN 102893614A CN 2011800243934 A CN2011800243934 A CN 2011800243934A CN 201180024393 A CN201180024393 A CN 201180024393A CN 102893614 A CN102893614 A CN 102893614A
Authority
CN
China
Prior art keywords
picture
focus point
video
parallax
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800243934A
Other languages
English (en)
Inventor
W·洪
M·N·伽马迪亚
G·R·赫韦斯
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of CN102893614A publication Critical patent/CN102893614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

一种用于基于至少一个自动聚焦点对立体图像或视频的画面执行自动会聚的方法和设备。这种方法包括从图像中获取聚焦点的位置（104）、估计图像中聚焦点的视差（106）、确定立体图像或者视频的画面的视差（108）和移动画面以自动调整立体图像或视频的画面的会聚（110）。

Description

基于立体画面的自动聚焦点自动会聚的方法和设备
技术领域
本发明的实施例一般涉及基于立体画面的自动聚焦点自动会聚的方法和设备。
背景技术
在人类的视觉系统或立体摄影机系统中，两眼轴线或两个摄影机轴线的交叉点是会聚点。从会聚点到人眼或者摄影机的距离是会聚距离。对人眼而言，会聚点可以处在任意距离，因为人眼可以人为地接近所注视的地方。对于立体摄影机来说，会聚点可以处于无穷远或者处在固定距离。当人们想观看立体显示器上的立体图像或视频时，他们的眼睛会自然地会聚到显示屏上。显示屏到人眼的距离是自然的会聚距离。为了正确地观察3D效果，观察者会自然地调整他们的眼睛以具有和摄影机相同的会聚距离。如果感兴趣的主要物体有着很不同的会聚距离，则人眼将无法会聚在显示器上从而聚焦在这些物体上（会聚平面将提供给显示平面）。这种持续的会聚距离调整久而久之会造成不适、头痛或者眼肌肉疼痛。
因此，需要一种改进的自动会聚方法和设备来改善视觉舒适性。
发明内容
本发明的实施例涉及基于至少一个自动聚焦点在立体图像或视频的画面上执行自动会聚的方法和设备。这种方法包括获取图像中聚焦点的位置、估计图像的聚焦点的视差、确定立体图像或者视频的画面的视差和移动画面以自动调整立体图像或者视频的画面的会聚。
附图说明
参照附图描述示例性实施例，附图中：
图1图示基于立体画面的自动聚焦的自动会聚方法的实施例；
图2描述自动聚焦窗口和聚焦点；
图3描述图2中每个块的视差和聚焦点的视差；
图4（a）和4（b）图示在提出的自动会聚之前和之后立体图像的实施例。
具体实施方式
为了改善视觉舒适性，通常调整立体图像/视频的会聚距离，使得立体图像/视频的会聚距离等于或者接近于我们人眼的自然会聚距离，从而确保舒适的观看效果。为了调整会聚距离，左右画面需要移动特定量。本发明提出的自动会聚方法将自动确定移动的量。
当人们观看一个物体时，他们通常聚焦在物体上，并且他们的眼睛会聚在相同物体上。因此，眼睛的会聚距离和眼睛的聚焦距离是一样的。由于在该会聚距离上的物体必须有零视差（disparity），所以对于人眼来说在聚焦距离上的物体也应该具有零视差。但对于相机捕获的立体图像或者视频，由于相机的会聚点固定在无穷远处或特定距离处，所以在聚焦距离上的物体可能有非零视差。因此，我们需要调整会聚使得被聚焦的物体的视差为零。
图1描述了基于立体画面的自动聚焦的自动会聚方法100的实施例。方法100开始于步骤102。在步骤104，方法100获取聚焦点的位置。在步骤106，方法100估计聚焦点的视差。在步骤108，方法100确定画面的视差。在步骤110，方法100水平移动画面以自动调整立体图像或者视频的画面的会聚。
第一步是获取聚焦点的位置。例如，方法100可以从自动聚焦系统获取左侧画面上的聚焦点位置。图2描述了自动聚焦窗口和聚焦点。聚焦点是照相机聚焦在物体上的位置。正常情况下，左侧相机的自动聚焦将左侧画面分成相同大小的自动对焦窗口的矩阵网格。聚焦点的位置被描述成自动聚焦窗口（AF窗口）的索引。如图2所示，在此示例中有25个自动聚焦窗口组成5x5网格。如果画面上有多个聚焦点，可以得到被聚焦的自动聚焦窗口的多个索引。图2显示有两个聚焦点的5x5的自动聚焦窗口的示例。可以从右侧画面或者从左侧和右侧画面获得聚焦点的位置。
下一个步骤是估计聚焦点的视差。图3描述图2的每个块的视差和聚焦点的视差。可以利用任何基于块的视差估计法估计聚焦点的视差值。基于块的视差估计的块的数量和大小可以等于或者不等于步骤1中使用的自动聚焦窗口的数量和大小。在视差估计后，可以得到每个块的视差值D和置信值C。每个块的置信值描述在此块内的视差估计有多准确并且在从0到1的范围内。如果聚焦点不在块的中心，则使用最近邻内插法或双线性内插法获得聚焦点的视差值和置信值。在图2的示例中，聚焦点1和聚焦点2分别接收视差值D_1和D_2以及置信值C_1和C_2。
下一步是确定画面的视差。如果只有一个聚焦点，则画面的视差是聚焦点的视差D。
如果有数个聚焦点（m是聚焦点的数量），则画面的视差是所有聚焦点的视差的加权平均。
D=sum(D_i*C_i)/m
对于图3中的示例，画面视差D=(D_1*C_1+D_2*C_2)/2。
然后，方法100执行步骤4，其中画面被移动。例如，画面可以左移或者右移。一旦画面视差被确定，就可以水平移动左侧画面D/2的距离，并移动右侧画面-D/2的距离。移动后，会聚距离将与聚焦距离相同。聚焦的物体的视差将为零。图4显示在提出的自动会聚方法前后的立体图像。
可采用方法100的设备可以是，例如，图像捕获装置、照相机、录像机、包括视频或图像捕获装置的手持装置等。图5是图像捕获装置500的实施例。图像捕获装置500包括用于获取聚焦点的位置的装置502、用于估计聚焦点的视差的装置504、用于确定画面的视差的装置506、用于移动画面的装置508、存储器510、处理单元512、输入/输出装置514和自动聚焦系统516。用于获取聚焦点的位置的装置502、用于估计聚焦点的视差的装置504、用于确定画面的视差的装置506以及用于移动画面的装置508中的每一个执行以上概述的相关步骤。
存储器510可以包括非暂态计算机可读介质、随机存取存储器、只读存储器、可移动磁盘存储器、闪存以及这些类型的存储器的各种组合。存储器510有时称为主存储器，并且可以部分用作高速缓冲存储器或者缓冲存储器。存储器510可存储操作系统、数据库软件以及各种形式的应用程序软件。处理单元512可利用存储器510执行执行自动会聚所需的任何过程。输入/输出装置514可以是，例如，能够捕获图像或视频或获取捕获的图像或视频的任何装置。处理单元512和输入/输出装置514可以耦合、无线通信或包括在图像捕获装置500内。自动聚焦系统516可以是确定聚焦点的系统或者保持与聚焦点相关的数据的系统。
本领域技术人员将理解在要求保护的发明的范围内很多其他实施例和变体是可能的。

Claims (9)

1.一种基于至少一个自动聚焦点在立体图像或视频的画面上执行自动会聚的方法，所述方法包括：
获取图像中聚焦点的位置；
估计图像的聚焦点的视差；
确定所述立体图像或者视频的画面的视差；以及
移动所述画面以自动调整所述立体图像或视频的画面的会聚。
2.根据权利要求1所述的方法，其中获取聚焦点是从自动聚焦系统获取左侧画面的聚焦点。
3.根据权利要求1所述的方法，其中移动所述画面是右移和左移。
4.一种用于图像捕获和用于基于至少一个自动聚焦点在立体图像或视频的画面上执行自动会聚的设备，所述设备包括：
用于获取图像中聚焦点的位置的装置；
用于估计图像的聚焦点的视差的装置；
用于确定所述立体图像或视频的画面的视差的装置；以及
用于移动所述画面以自动调整所述立体图像或视频的画面的会聚的装置。
5.根据权利要求3所述的设备，其中获取聚焦点是从自动聚焦系统获取左侧画面的聚焦点。
6.根据权利要求3所述的设备，其中移动画面是右移和左移。
7.一种包括被处理器运行时使处理器执行以下方法的软件的非暂态计算机可读介质，所述方法基于至少一个自动聚焦点在立体图像或视频的画面上执行自动会聚，所述方法包括：
获取图像中聚焦点的位置；
估计图像的聚焦点的视差；
确定所述立体图像或者视频的画面的视差；以及
移动所述画面以自动调整所述立体图像或视频的画面的会聚。
8.根据权利要求7所述的非暂态计算机可读介质，其中获取聚焦点是从自动聚焦系统中获取左侧画面的聚焦点。
9.根据权利要求7所述的非暂态计算机可读介质，其中移动所述画面是右移和左移。
CN2011800243934A 2010-05-17 2011-05-17 基于立体画面的自动聚焦点自动会聚的方法和设备 Pending CN102893614A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US34524310P 2010-05-17 2010-05-17
US61/345,243 2010-05-17
US13/099,582 2011-05-03
US13/099,582 US20110279651A1 (en) 2010-05-17 2011-05-03 Method and Apparatus for Auto-Convergence Based on Auto-Focus Point for Stereoscopic Frame
PCT/US2011/036750 WO2011146436A2 (en) 2010-05-17 2011-05-17 Method and apparatus for auto-convergence based on auto focus point for stereoscopic frame

Publications (1)

Publication Number Publication Date
CN102893614A true CN102893614A (zh) 2013-01-23

Family

ID=44911451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800243934A Pending CN102893614A (zh) 2010-05-17 2011-05-17 基于立体画面的自动聚焦点自动会聚的方法和设备

Country Status (4)

Country Link
US (1) US20110279651A1 (zh)
JP (1) JP2013535120A (zh)
CN (1) CN102893614A (zh)
WO (1) WO2011146436A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107135385A (zh) * 2017-04-28 2017-09-05 华强方特（深圳）动漫有限公司 一种交叉汇聚立体实拍的处理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9432654B2 (en) * 2012-11-05 2016-08-30 Texas Instruments Incorporated Modifying fusion offset data in sequential stereoscopic image frames
CN112020420A (zh) * 2018-04-10 2020-12-01 惠普发展公司，有限责任合伙企业 对3d打印中的尺寸变化进行补偿
DE102018110641B3 (de) 2018-05-03 2019-07-25 Carl Zeiss Meditec Ag Mikroskopieverfahren zur Abbildung eines Objekts sowie Mikroskop
DE102018110644B4 (de) 2018-05-03 2024-02-15 Carl Zeiss Meditec Ag Digitales Mikroskop und digitales Mikroskopieverfahren

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512892B1 (en) * 1999-09-15 2003-01-28 Sharp Kabushiki Kaisha 3D camera
US20050052593A1 (en) * 2003-04-21 2005-03-10 Dai-Liang Ting Color filter for transflective liquid crystal display
WO2009139740A1 (en) * 2008-05-12 2009-11-19 Thomson Licensing System and method for measuring potential eyestrain of stereoscopic motion pictures

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0756517A (ja) * 1993-08-20 1995-03-03 Matsushita Electric Ind Co Ltd 眼鏡型画像表示装置
JP3477441B2 (ja) * 2000-12-08 2003-12-10 川崎重工業株式会社 画像表示装置
CN1476730A (zh) * 2001-07-27 2004-02-18 皇家菲利浦电子有限公司 具有观看者跟踪系统的自动立体图像显示装置
IL155525A0 (en) * 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
JP2005117193A (ja) * 2003-10-03 2005-04-28 Ntt Docomo Inc 撮像端末、画像表示端末、及び画像表示システム
JP2008009341A (ja) * 2006-06-30 2008-01-17 Sony Corp オートフォーカス装置、撮像装置及びオートフォーカス方法
EP2544579B1 (en) * 2010-03-12 2018-08-15 Viking Systems, Inc. Stereoscopic visualization system
US9100640B2 (en) * 2010-08-27 2015-08-04 Broadcom Corporation Method and system for utilizing image sensor pipeline (ISP) for enhancing color of the 3D image utilizing z-depth information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512892B1 (en) * 1999-09-15 2003-01-28 Sharp Kabushiki Kaisha 3D camera
US20050052593A1 (en) * 2003-04-21 2005-03-10 Dai-Liang Ting Color filter for transflective liquid crystal display
WO2009139740A1 (en) * 2008-05-12 2009-11-19 Thomson Licensing System and method for measuring potential eyestrain of stereoscopic motion pictures

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107135385A (zh) * 2017-04-28 2017-09-05 华强方特（深圳）动漫有限公司 一种交叉汇聚立体实拍的处理方法

Also Published As

Publication number Publication date
US20110279651A1 (en) 2011-11-17
JP2013535120A (ja) 2013-09-09
WO2011146436A3 (en) 2012-03-01
WO2011146436A2 (en) 2011-11-24

Similar Documents

Publication Publication Date Title
KR102239686B1 (ko) 단일 깊이 추적 순응-수렴 솔루션
JP5138031B2 (ja) 深度関連情報を処理する方法、装置及びシステム
CN108154058B (zh) 图形码展示、位置区域确定方法及装置
US8116557B2 (en) 3D image processing apparatus and method
US10762653B2 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
EP2532166B1 (en) Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
CN102761768A (zh) 一种实现立体成像的方法及装置
CN102833560A (zh) 图像处理设备、图像处理方法和程序
JP2011166264A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN102893614A (zh) 基于立体画面的自动聚焦点自动会聚的方法和设备
US11415935B2 (en) System and method for holographic communication
CN115668913A (zh) 现场演出的立体显示方法、装置、介质及系统
US20230281916A1 (en) Three dimensional scene inpainting using stereo extraction
JP5741353B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
CN114040184A (zh) 图像显示方法、系统、存储介质及计算机程序产品
Silva et al. A no-reference stereoscopic quality metric
KR101939243B1 (ko) 입체 깊이 조정 및 초점 조정
JP5981460B2 (ja) 立体シーンにおける焦点面の位置を管理するためのデバイスおよび方法
Chappuis et al. Subjective evaluation of an active crosstalk reduction system for mobile autostereoscopic displays
EP3099078A1 (en) Method for collecting information on users of 4d light field data, corresponding apparatuses and computer programs
CN105516706A (zh) 制作立体影像方法
CN109729335A (zh) 一种视差调整的方法、装置及系统
CN108924527A (zh) 一种双镜头3d拍摄以实现景深的方法、装置及移动端
CN108924530A (zh) 一种3d拍摄异常图像校正的方法、装置及移动端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130123