CN102740095A - 3d视频分析 - Google Patents
3d视频分析 Download PDFInfo
- Publication number
- CN102740095A CN102740095A CN2012101041940A CN201210104194A CN102740095A CN 102740095 A CN102740095 A CN 102740095A CN 2012101041940 A CN2012101041940 A CN 2012101041940A CN 201210104194 A CN201210104194 A CN 201210104194A CN 102740095 A CN102740095 A CN 102740095A
- Authority
- CN
- China
- Prior art keywords
- image
- focusing
- detector
- detect
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title description 20
- 238000006073 displacement reaction Methods 0.000 claims abstract description 35
- 238000009826 distribution Methods 0.000 claims abstract description 10
- 238000010191 image analysis Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 15
- 239000004744 fabric Substances 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000003703 image analysis method Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 25
- 230000033228 biological regulation Effects 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 21
- 238000005520 cutting process Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010012374 Depressed mood Diseases 0.000 description 1
- 208000012895 Gastric disease Diseases 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/18—Focusing aids
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了3D视频分析。一种用于处理包括表示场景的不同的对应视图的连续图像对的3D视频信号以生成图像深度指示符的图像分析装置包括:相关器,该相关器被配置为将所述图像对中的一者的图像区域与所述图像对中的另一者的图像区域进行相关,以检测两幅图像之间的相应图像区域的位移;图形生成器,该图形生成器被配置为针对可能的位移值的范围生成跨所述图像对的位移的分布的图形表示;以及显示生成器,该显示生成器用于生成关于当前对显示位置处的当前图像对和关于在其他显示位置处的多个在前图像对的图形表示以进行显示,从而提供所述位移的分布的变化的基于时间的表示。
Description
技术领域
本发明涉及一种用于分析三维(3D)视频素材(video material)的方法和装置。
背景技术
三维(3D)视频电视最近已经面向了消费者,并且预期3D设备和节目的量在接下来的几年内将快速增加。
3D电视依赖于立体技术,即,图像对(一对图像)被对应的相机捕获,该对应的相机横向地相距(即,基本上在水平的图像方向上)某一距离,例如用户的眼睛的典型间距。图像对因此表示同一场景中略微不同的视图;一般而言,它们将包含场景内的相同项目(偶尔在图像的极端位置处会有例外),但是两幅图像之间的项目的相对位置将取决于诸如相机对齐和该项目距相机布置的距离之类的因素。
当图像被显示时,以下要求是重要的:用户的每只眼睛(至少主要地)看着图像对中对应的一个。实际上,这是通过各种方式实现的,例如通过用户佩戴偏振的、时间复用或者颜色过滤的眼镜,或者通过电视屏幕自身设有特殊的镜头装置,该镜头装置将两幅图像中的每一幅转向到观看者的对应的眼睛位置。其中,在3D电视技术中一般不使用早期在3D影院中通常尝试的颜色过滤技术。
返回到3D相机系统,图像对中的每一个由独立的相机捕获,该独立的相机具有其自身的镜头和图像捕获装置(例如CCD装置)。但是,为了维持观看者的3D错觉,很重要的是:每个图像对的两幅图像就它们的图像捕获属性而言紧密匹配。各种可调节的参数对于专业视频相机的操作者来说是可用的,但是设置3D相机布置的任务明显地比设置传统的(单个)视频相机要困难的多,这是因为不仅需要设置对于当前场景来说正确的各种参数,还需要设置参数以使得形成3D相机布置的两个相机生成具有相同的图像属性的图像。在家庭视频相机的情况下,对于用户来说可调节的范围受到更多的限制,这使得更加难以设置两个相机来提供相同的图像属性。
3D视频捕获的另一需要注意的方面是观看者对视频的感知。视频制作者可以过度使用3D效果,尤其是通过显示对象(在所观看的3D视频中)以使得它们出现在屏幕前面的过远处。这可能导致观看者产生主观上不愉快甚至反胃的感觉。类似地,突然地或者简单地太快的显示深度的变化也可能导致主观不愉快。这是因为3D显示会欺骗人类视觉系统,使其相信对象距观看者一定距离,该距离与观看者和显示屏幕之间的分离是不同的。观看者的眼睛本能地试图聚焦在对象的所感知的3D位置上,特别是当对象比显示屏幕更靠近观看者时。然而,为了观看3D视频,眼睛当然必须继续聚焦在显示屏幕的平面上。
发明内容
本发明提供了一种用于处理3D视频信号以生成图像深度指示符的图像分析装置,该3D视频信号包括表示场景的不同的对应视图的连续图像对,所述装置包括:
相关器,该相关器被配置为将所述图像对中的一者的图像区域与所述图像对中的另一者的图像区域进行相关,以检测两幅图像之间的相应图像区域的位移;
图形生成器,该图形生成器被配置为针对可能的位移值的范围生成跨所述图像对的位移的分布的图形表示;以及
显示生成器,该显示生成器用于生成关于当前对显示位置处的当前图像对和关于在其他显示位置处的多个在前图像对的图形表示以进行显示,从而提供所述位移的分布的变化的基于时间的表示。
本发明还提供了一种用于处理图像以生成图像聚焦指示符的图像分析装置,所述装置包括:
聚焦检测器,该聚焦检测器被配置为检测多个图像块的各自的局部聚焦估计,并对局部聚焦估计进行组合以生成该图像的图像聚焦指示符。
本发明的另外的各个方面和特征在权利要求中定义。
附图说明
现将仅通过示例的方式并参考如下的附图描述本发明的实施例:
图1示意性地图示了3D相机系统
图2示意性地图示了3D视频分析装置;
图3示意性地图示了3D视频分析装置的另一实施例;
图4示意性地图示了视频处理器;
图5示意性地图示了单元处理器;
图6是提供了关于接收到的3D(L/R)视频信号的视频处理器的操作的概况的示意图;
图7示意性地图示了深度检测器和深度指南时间绘图器;
图8是示意性示例图像;
图9示意性地图示了图8的图像的一部分;
图10示意性地图示了颜色表示尺度;
图11示意性地图示了深度直方图;
图12示意性地图示了直方图历史显示;
图13示意性地图示了帧违规(frame violation)情况;
图14示意性地图示了关于接近3D图像的左边缘和右边缘的正视差和负视差;
图15示意性地图示了帧违规检测器;
图16示意性地图示了聚焦失配检测器;
图17示意性地图示了两个对比度图;以及
图18示意性地图示了局部对比度误差检测处理。
具体实施方式
本发明的实施例针对三维(3D)电视信号进行操作。该实施例一般独立于该信号源。也就是说,该装置可以操作以便生成提供给该装置的3D电视信号(无论何来源)的定性评估。这可能是来自3D相机装置的直接馈送信号,计算机生成的或者计算机增强的3D信号,从记录介质重放的3D信号,通过传输介质从另一供应商接收的3D信号,诸如视频混合器之类的3D视频处理装置的输出等。然而,为了本说明的清晰性,将提供3D相机装置用作该3D信号的一个可能的源的简要描述。
参考图1,示出了用于捕获用于在生成3D图像中使用的场景的图像的系统100。系统100具有相机平台115,在其上安装了两个相机105。这些相机105L和105R可以是视频相机或者静止相机。本描述的剩余部分将涉及视频相机,但是应明白,不依赖于连续的视频帧的时间关系的该技术的那些方面同样可适用于静止相机。
虽然在图1中没有明确地示出,但是相机105相对于彼此的偏转(yaw)可以改变。具体地,当相机105安装在平台115时,每个相机105的俯仰(pitch)和滚转(roll)通常相对于彼此是固定的。然而,相机105的偏转可以彼此独立地进行调节。这允许改变相机会聚角或者“内倾”。一旦将相机锁定在适当位置(即固定在平台115上),就可以一致地移动平台115和相机的偏转、俯仰和滚转。通过手臂120可以移动平台115的偏转、俯仰和滚转。可以通过摇动手臂120将平台115的取向锁定在适当的位置。
来自每个相机105的输出馈送包括一起形成3D视频信号的左(L)和右(R)信号的对应的一个。因此,这些输出包括图像数据。然而,还将其他数据馈送出每个相机。例如,还可以将元数据馈送出每个相机。该元数据可以涉及诸如每个相机的孔径设置、焦距和/或变焦之类的相机设置。相应地,元数据可以包括关于相机操作者或者“好的拍摄者”等的信息。可以将来自相机105的输出馈送使用线缆或者通过网络连接到随后的处理设备。在相机105和随后的处理设备间的连接可以是无线的。
图2示意性地图示了根据本发明的实施例的3D视频分析装置。图2中的装置包括视频处理器200、显示器210和用户控件220。在本发明的实施例中,可以实时地实施该分析,也就是说可以在一个视频帧周期内完成涉及视频帧的分析。
包括(至少包括)R和L视频流的3D视频信号130被提供给视频处理器200。视频处理器200工作在分析模式中,也就是说视频处理器200不形成视频信号路径的部分,相反,它分析视频信号,而无需对视频信号进行任何的变更。因此,在图2中,视频处理器200被示出作为分支连接到主视频信号路径,通过视频处理器200的操作,L和R被不加改变地传送到(130’)以进行随后的处理、显示或者存储。
视频处理器200实施3D视频信号130的分析。以下将描述该分析的特征。分析结果可以在显示器210上显示,或者提供作为数据流240以进行随后的处理和/或存储。
用户控件可以包括诸如键盘、鼠标等之类的传统控件,并且允许用户控制视频处理器200的操作。
图3示意性地图示了视频处理器200的操作的可能模式。在很多方面,该操作类似于图2中示出的操作。然而,也设有诸如视频磁带记录器、硬盘记录器以及光盘记录器等之类的视频存储设备230。
该信号处理如下。所接收的3D信号130被提供给视频处理器200以进行分析,并且还被提供给存储设备230以进行存储。来自视频处理器200的分析结果被可选择地提供(如以上描述的)给显示器210并作为数据输出240。然而,分析结果也被存储设备230存储为与存储的3D视频信号相关联的元数据。
可以通过多种方式实现与视频信号相关联的元数据的存储。例如,可以提供元数据的单独存储,其中提供了链接(例如,存储的时间码变量)以提供元数据的项目和存储的视频信号中对应的时间位置之间的清楚关联。在这种情况中,实际上不要求元数据被与视频信号相同的存储介质存储,或者甚至被相同的物理设备存储-从而使得在图3中被简单地标记为“存储设备”的一般项实际上包括两个或者更多的物理的或者逻辑的存储装置,其中的至少一者甚至可以物理地被实现为视频处理器200的一部分。另一种可能性是将元数据嵌入到存储的视频信号中,例如,通过将元数据存储为与视频信号相关联的数据格式中的用户数据。取决于使用的视频存储的类型,这可能需要缓冲器(未示出)来延迟视频帧的记录,直到由视频处理器200得出的元数据准备好被嵌入到视频数据中为止。这对于诸如磁带存储之类的线性介质将是适当的,但是对于诸如基于磁盘的存储之类的随机访问介质则很少需要(或者根本不需要)。对于实时操作的系统,期望视频处理器200在单个帧周期内完成一个视频帧的处理,因此例如可以使用单个帧缓冲器。
可以将具有或者不具有由视频处理器200生成的元数据的所存储的视频信号重放为输出3D视频信号130”。
在图3的装置中,视频处理器仍不对实际的视频信号具有任何的影响(除了将视频信号与元数据相关联以外)。然而,本实施例不排除视频处理器改变视频信号;下面将描述的特定功能仅仅涉及视频信号130的分析,而不涉及视频信号130的变更。
在图3中,用户可以启动由存储设备230存储的视频信号的重放,该重放的启动或者是直接地(在这种意义上用户控件可以直接与存储设备230交互)或者是间接地(在这种意义上用户可以与视频处理器200交互,视频处理器200继而启动存储的视频信号的重放)。以下将描述这些类型的操作的相关性。
视频处理器200也可以被实现为在适当的软件控制下操作的诸如个人计算机之类的通用数据处理机。然而,在本发明的实施例中,将视频处理器200实现为在适当的软件控制下操作的MPE-200TM立体图像处理器。可以通过SRW-5100TM高清晰度立体视频磁带记录机实现与真实视频信号存储相关的存储设备,或者至少是该存储设备的部分功能。这两种设备在本申请的优先权日时都是可购得的。
图4是图示了MPE-200视频处理器的结构和相关联的硬件的示意性框图,并且将简要地描述该图以提供视频处理器200的操作的技术背景。
参考图4,视频处理器200包括立体处理装置300(可以将其实现为MPE-200设备)和控制计算机400。
将明白考虑软件和/或计算机程序产品来形成本发明的实施例,该软件控制设备200或者400的其中之一的操作,该计算机程序产品包括通过其对软件进行存储或者提供的存储或者其他计算机可读的介质。
可以例如将立体处理装置300设计在单元处理器310周围,并且该立体处理装置300包括全部通过总线装置连接在一起的随机访问存储器320、具有专用视频随机访问存储器(VRAM)340的真实合成图形单元(RSX)330、以及输入/输出(I/O)桥350。I/O桥350提供了到外围部件的接口,包括:包括高清晰度串行数字接口(HD-SDI)输入360和HD-SDI输出370的视频输入和输出连接、RS-232C数据I/O端口380、一个或者多个网络接口390、非易失性(例如,硬盘)存储装置400以及视频同步信号输入410。
控制计算机400经由网络接口和控制计算机上的对应接口(未示出)连接到立体处理装置300。控制计算机具有与立体处理装置类似的内部结构,除了控制计算机使用传统的个人计算机处理设备而不是单元处理器以外。控制计算机400设置了用户接口以控制立体处理装置的操作,并且将它自身的个人计算机格式显示器210和用户控件220进行连接。立体处理装置还可以经由HD-SDI输出端子连接它自身的显示器。
参考图5,单元处理器310具有包括四个基本部件的架构:包括存储器控制器312(用于与系统RAM 320连接)和用于与立体处理装置300的其他部件连接的双总线接口控制器314的外部输入和输出结构;被称为电力处理元件(PPE)316的主处理器;被称为协作处理元件(SPE)318A-H的八个协同处理器;以及被称为元件互连总线(E1B)322的连接以上部件的环形数据总线。
PPE 316是基于有相关联的512kB的二级(L2)缓存和32kB的一级(L1)缓存的双通道并行多线程PowerPC核心的。PPE 316的主要用途是作为用于处理绝大部分计算工作负载的协作处理元件318A-H的控制器。在操作中,PPE 316维护一个工作队列,为协作处理元件318A-H调度工作并且监视它们的进程。因此,每一协作处理元件318A-H运行一个内核,该内核的用途为取得工作、执行该工作并且与PPE 316同步。
每一协作处理元件318A-H包括对应的协作处理单元(SPU)、对应的存储器控制器和对应的总线接口。为了示图的清晰性,该SPE的内部结构没有示出。每一SPU是一RISC处理器,其可以在单个时钟周期内操作4个单精度浮点元、4个32位数、8个16位整数或者16个8位整数。在同一时钟周期内每一SPU还可以执行存储器操作。
EIB 222是连接以上处理器元件的单元处理器310内部的逻辑环形双向通信总线。所连接的元件可以以每时钟周期8字节的速率同时读和写入总线。
在操作中,PPE和SPE在软件控制下操作。该软件可从非易失性存储装置400取出和/或经由网络接口390接收,并且存储在RAM 320中以供执行。由控制计算机400提供包括操作指令和设置的控制信号。响应于该控制信号,PPE 316分配任务并且控制各个SPE的操作。
在本发明的实施例中,立体处理装置不仅能够处理视频,而且能够操纵3D对象,对对象进行投影和照明,实时地将视频映射到移动表面上。然而,在本实施例中使用立体处理装置来评定接收的3D视频信号的质量。现在将描述用于实现此的技术。
图6是提供了针对接收的3D(L/R)视频信号的视频处理器200的操作的概要的示意图。
视频处理器200用作下采样器480、深度检测器500、聚焦检测器520、帧违规检测器540和深度指南时间绘图器560。由深度指南时间绘图器560、聚焦检测器520和帧违规检测器540生成的输出数据被控制计算机400呈现以显示(在显示器210上)。视频处理器200的这些功能由在适当的软件控制下操作的单元处理器310的SPE来实现。以下将描述这些功能操作的方式以及作为结果的分析数据的显示方式。
下采样
下采样器480使用单个SPU将进入的左和右视频图像下采样为四分之一尺寸,例如将进入的1920×1080i下采样为480×135像素。该下采样允许随后的处理更有效率地操作下采样的视频,而没有可注意到的分析质量的损失。该下采样处理自身是传统处理。
深度分析
图7示意性地图示了深度检测器500和深度指南时间绘图器560。在本发明的实施例中,这用来处理包括表示一场景的不同对应视图的连续对的图像的3D视频信号以生成图像深度指示符。
深度检测器500包括垂直边缘检测器502、块匹配器504、深度指南渲染器506和相异(disparity)直方图生成器508。在本发明的实施例中分配给各种处理的SPU的数目(即,SPE的数目)在圆括号中指示。
深度分析的第一阶段是在左图像中的垂直边缘的检测。这些垂直边缘假定在右图像中是相同的;用于识别边缘的左图像的选择是任意的。为了实现此目的,垂直边缘检测器502将四分之一尺寸的图像(由下采样器480输出)分解为8×8个块,并且使用垂直苏贝尔(Sobel)边缘检测器检测在每一块中的可能的边缘。针对每个块的输出或者包括单个边缘位置(如果找到强边缘,也就是说,对其的边缘检测处理超过了阈值边缘似然性的边缘,这暗示着该边缘是(a)垂直的或者接近垂直的(例如,在垂直的阈值角内),和/或(b)在图像块中清晰的)或者包括在该块中没有找到边缘(即,无强边缘)的指示。因此,例如,偏离垂直超过阈值角的清晰的边缘可以被认为不代表边缘的检测。这些输出被整理到跨图像的边缘位置的列表中。
该边缘位置列表随后被块匹配器504使用(再次在SPU中运行)。这用作相关器,该相关器被配置为将图像对中的一者中的图像区域与图像对中的另一者中的图像区域相关,以便检测两幅图像之间对应图像区域的位移。块匹配器对每个检测到的边缘进行操作(如根据上述标准检测到的)并且搜索以该边缘位置为中心的四分之一左图像的16×16块和右图像的周围区域中对应块或者搜索区域之间的相似度。
换句话说,块匹配器504尝试将左图像中检测到的边缘的周围区域匹配到右图像中类似或者基本上相同的图像内容的区域,以检测相应图像区域之间的空间偏移。在来自良好设置的3D源的3D视频中,可能期望空间偏移仅在水平方向上。也就是说,理想情况下3D视频相机(诸如图1中示出的)应当被设置为使得将两个相机105L、R垂直对齐。基于此,在以下描述的处理中可以忽略位移的任何垂直分量。
块匹配处理被配置为不针对未检测到包含边缘的块执行块匹配。
相应图像特征之间的水平偏移是该特征相对于相机位置的深度的指示,或者换句话说,是在正交于图像平面的方向上该图像特征距相机位置的距离。在相机被对齐以供会聚的相机布置中,两个相机的图像平面将稍微偏离平行。在这种情况下,深度可以被认为部分代表在某一方向上偏离相机位置的距离,该方向表示相对于两个对应的图像平面的两个法向方向的平均。
水平偏移自身不提供距相机位置的距离的确切测量。其他因素是相关的,包括相机的横向分离和相机的会聚角。这些其他因素不能单独从左图像和右图像检测出来,尽管它们可在与视频信号相关联的元数据中定义。然而,如果横向分离和会聚一般保持恒定(其很有可能在视频信号内随图像的不同而保持恒定),则该水平偏移不表示距3D相机的距离的有用的定性指示,即使绝对距离的计算需要进一步的信息也是如此。考虑到这些,为了方便讨论,这里将使用术语“深度”以指示仅取决于两幅图像的水平偏移的度量。因此,当观看图像时,该“深度”度量与观看者对深度的感知相关联,而不是在捕获内容时距相机的实际物理距离。在观看时,深度是对象看起来所位于的屏幕外或者屏幕后的距离的度量。这部分地取决于观看者的显示屏幕的尺寸。
右图像中的搜索区域是原始位置周围的±48像素和±3行,也就是说,与左图像中所检测的边缘位置相对应的右图像中的位置周围。块匹配处理使用已知的“绝对差之和”(SAD)技术来找到右图像中最接近的匹配位置。也就是说,左图像的16×16块中的相应像素和右图像中的16×16测试块之间的绝对差被求和,并且引起最低的这种和的块位置(右图像中)被用来表示左图像和右图像之间的图像内容的最佳匹配。
使用SAD分析来进行块匹配的公知问题是可能发生所谓的混淆(aliasing)现象,尤其是如果图像在右图像的搜索区域中包括重复样式。该重复样式可能导致SAD数据中多个最小值的检测,并且因此导致水平偏移的不确定。为了解决该潜在的问题,基于指示图像中重复样式的块匹配结果中的多个SAD最小值的检测,还针对每个块匹配结果计算“混淆可能性”。可能仍然存在单个“极端最小值”或者主要最小值,但是也会检测到其他最小值,如果(a)它们是局部最小值以及(b)(可选地)它们在块位置中与主要最小值分离且相对于测试块相距至少预定分离度。具有高混淆可能性的结果(也就是说,对于其块匹配处理生成多个SAD最小值的结果)被从深度结果中排除。
生成了等于对其找到匹配的块的数目除以块的总数的“会聚估计”。这指示块匹配数据中的置信度。
由块匹配器检测到的水平偏移被传送到深度指南渲染器506,深度指南渲染器506操作为另一SPU处理以在平面(0(zero)alpha)纹理缓冲器上绘制彩色的深度标记,随后该标记可以被渲染以覆盖到视频信号的分析显示上,以指示超出用户设置的“深度预算”的点。可替代地,所有测得的相异性都可以被渲染,这对于检查左和右输入是正确的方向是有用的。
3D视频显示器的观看者对深度的正确的和愉悦的感知受一些因素的影响,但是其自身受本装置的分析的一个重要因素是图像两侧的深度值(即,所检测的水平偏移)是否在视频制作者设置的深度预算内。典型的深度预算可能是±3%,也就是说左图像和右图像中的相应特征之间的绝对水平偏移绝不应当超过图像的水平大小的3%。
图8示意性地图示了这些概念,并且还以对于视频处理器200的操作者来说便利的方式示意性地图示了深度指南渲染器506被布置为指示深度值(表示图像深度指示符)的方式。
图8示意性地图示了被渲染以显示在诸如显示器210之类的二维显示器上的3D图像。该渲染处理将左图像和右图像相结合。因为左图像和右图像是从不同的对应相机位置捕获的,所以在渲染的图像内的不同位置处存在不同的水平偏移量,这取决于相应的图像特征距相机位置的距离。在图8中表示的渲染图像被提供作为图像分析系统的一部分,因此期望指示(而不是尝试掩盖)这种水平偏移。
左图像和右图像的简单组合(例如,来自每一图像的简单的50%贡献因子)将导致难以评定渲染的2D图像,这是因为该水平偏移恰好导致许多图像特征表现为双图像(double image)。从这样一个简单的组合中将不清楚该双图像的哪一部分源自于左图像而哪一部分源自于右图像。因此为了使得该渲染的图像对于用户更清晰,采用了彩色表示。
具体地,3D图像被渲染以显示为红/蓝绿色(red/cyan)立体图片,以使得显示的图像包括:
Rout=RL;Gout=GR;Bout=BR
其中,R、G、B表示红、绿和蓝分量,下标“out”指示用于显示的值,并且下标L和R分别表示来自左图像和右图像的分量。
该带色表示意味着(a)两幅图像(L和R)能够在显示器上容易地区分开,以及(b)用户可以容易地看到水平偏移的方向。当对象位于3D相机的左和右相机的相机轴会聚的点上时,将不存在水平偏移并且因此对象将显得被正确地渲染为彩色对象。当对象距离3D相机比会聚点远时,将表现为在右图像中向右侧位移并且在左图像中向左侧位移,因此它的右侧有蓝绿色边界,它的左侧有红色边界。当对象距离3D相机比会聚点近时,将表现为在右图像中向左侧位移并且在左图像中向右侧位移,因此它的右侧有红色边界,它的左侧有蓝绿色边界。真实颜色取决于是图像的前景部分更亮还是背景部分更亮,但是对于本实施例的目的,使用的颜色表示与标准的红/蓝绿色立体图片相同,因此这些情形能够容易地在带色表示中区分。当然,这仅仅是用于将两个3D图像显示为单个2D图像的格式的一个示例。也可以使用其他格式,诸如简单的两个图像的50∶50混合。其目的是提供3D素材的2D表示以形成一个基础,在该基础上可以显示或者覆盖错误或者质量标记(见下文)。
图8是单色专利附图,因此不得不使用阴影指示这些彩色边界。在真实的图像中,该彩色边界效果当然可以应用到远离表示在左和右相机的会聚点处的对象的特征的每一图像特征。然而,为了本图的清晰性,并非图8中的每一对象都被注解以指示彩色边界。具体地,仅将前面的人600、后面的人610和球620以这种方式标注。阴影指示人600和球620在3D相机的会聚点630的前面,而人610在会聚点630的后面。
深度指南渲染器506将深度信息渲染在此类图像上。如上所述,通过将深度指南信息渲染在包括空白图像(即,0alpha值的图像)的纹理(或者图像)缓冲器中来实现此目的。alpha值确定相关联的图像的透明度,0表示完全透明。因此,如果具有0alpha值的图像区域与另一图像相结合,则对另一图像没有任何影响。深度标记被渲染在该0alpha的背景上,但是以这样一种方式,其使得深度标记具有非0alpha值(例如0.5的alpha值(50%透明度)),以使得深度标记将示出在深度指南渲染器的输出和渲染的2D图像的组合上,但是将不能完全隐藏在下方的渲染的2D图像。
在实施例中,该深度指南渲染器仅针对检测到的绝对水平偏移大于深度预算(其可以是预定的或者可以由操作者利用用户控件220设置)的图像区域生成指示符。在图9中示意性地图示了使用该指示符的示例,该示例仅示出了图8的球620,但是(为了本图的清晰性)没有示出球的标记。该球是最接近于3D相机的对象,并且所检测的左图像和右图像之间的球的水平偏移超过了为该视频信号设置的深度预算。为了指示这一点,深度指南渲染器506渲染了指示深度预算已经被超出的位置处的标记640、650。注意,该标记被示出为与球形状的垂直特征对齐;取决于垂直边缘检测器使用的容限,很有可能仅球的形状的一部分被检测为包括边缘,这是因为球的许多特征更接近于水平的而不是垂直边缘。在本示例中,仅具有接近垂直切线的球轮廓的一部分已经被检测为具有垂直边缘。因为在本发明的实施例中仅那些具有所检测的垂直边缘的位置被传递到随后处理(块匹配和深度指南渲染),因此在这些位置处生成深度预算告警标记。
如先前提及的,通过深度指南渲染器可以生成关于成功检测到垂直边缘的所有位置的深度指南指示符。该指示符可以(例如)被进行颜色编码以指示在该位置处检测到的深度(即,水平偏移)。该颜色编码可以基于绝对深度值,因此独立于深度值的符号,或者可以针对正和负水平偏移是不同的。该颜色编码可以基于深度值的带,例如,如果深度值少于图像宽度的2%则为一种颜色,而如果深度值为图像宽度的2%到5%之间则为第二种颜色,并且如果深度值超过5%则为第三种颜色。或者颜色改变可以是渐进尺度的,以使得(例如)由绿色指示符表示深度值0,且随着深度值变得更负,指示符的颜色逐渐地变为更黄然后变为更红。图10中指示了这样的连续的颜色变化(在由单色图施加的限制之内)的一个示例。
在将要指示深度值的符号时,应用惯例,例如以使得将指示对象比会聚点更接近于相机的深度值视为负深度值,以及将指示对象比会聚点距离相机更远的深度值视为正深度值。然而,这仅是一个惯例,可以使用其他极性来表示深度值。
因此,使用关于图8的示意图的图10的颜色表示,球620比会聚点更接近于相机,所以将深度值视为负值。因此标记640、650两者根据深度值大小或者是黄色或者是红色。
注意在一些实施例中,图10中图示类型的颜色编码可以取决于深度预算。因此,例如,可以将绿色和黄色间的界限布置在位于近似于深度预算的水平(在本示例中为-3%),且用户能够设置第二、更高的阈值(在图10的示例中为±4%),在该阈值处发生进一步的颜色改变。因此该布置是用户设置深度预算以及一个或者多个其他阈值,并且系统将类似于图10的颜色变化映射到可能的深度值上,以使得一般地将显著的颜色变化和阈值对齐。当然,图10中的颜色变化是连续的,因此不存在一种颜色和下一个颜色之间的单一的精确定义的界限。然而,可以导出当颜色从一种颜色占主导变为另一种颜色变主导时的想象界限,并针对深度预算和这里描述的其他可能阈值进行定位。
由块匹配器测量的水平偏移(在整个图像的两侧)也被组合以由相异性直方图生成器508形成水平相异性直方图。直方图生成包括对每一可能的偏移值或者“容器(bin)”的水平偏移的情况进行计数。根据由块匹配器检测的像素偏移值(检测的位移)来对容器进行排序,也就是说在-48到48像素的偏移值之间设置了97个这样的容器。注意,这些像素值是针对正处理的四分之一尺寸的图像的像素导出的,并且可以被容易地转换为百分比深度值,该转换是通过(a)除以所讨论图像的像素宽度,并且(b)乘以100而获得的。还应注意,这些容器可以被布置为存在更少的容器,但是每个容器包含一个像素偏移的范围。例如,这些容器可以说若干像素值的宽度。每个容器因此表示一个或多个可能的位移值。
对直方图数据使用如针对图10所描述的同一颜色编码方案来指派颜色。注意图10是用百分比深度值校准的,而容器可以通过像素偏移布置,但是如上所述,一者可以很容易转换为另一者。
图11中图示了颜色编码直方图的示意性示例。将该直方图根据深度值而不是像素偏移来显示。采用图10的颜色编码方案,并且真正的将该颜色编码方案显示为水平(二进制)轴表示的一部分。在任何水平位置处的直方图的垂直范围指示在该深度值上的对应容器的数量。阴影面积660被根据与水平位置相关的颜色来上色。因此,在阴影面积660内,颜色根据图10的颜色方案随着水平位置变化,但是颜色不随着垂直位置变化。
针对视频信号的每个连续图像来更新图10的直方图。还可以在每一图像周期更新直方图的显示。
深度指南时间绘图器560存储和显示相异性直方图的最近的历史。图12中示出了这样一个历史显示的示意性示例。可以在与图11的显示相同的屏幕上同时示出该显示。
在垂直轴上表示时间,其中通过距表示的底部的距离的增大来表示在当前时刻之前的时间的增大。该表示被划分为行700、710...。出于说明的目的,在图12中示出了行界限(水平线),但是在真实的显示屏幕上不显示这些行界限。
该表示的底部行700被用来显示从当前图像(例如,当前帧)导出的深度直方图。因为该显示被限制在很窄的一行内,所以不可能以与图10相同的方式来表示该直方图的这个方面。因此,相反地,直方图的高度或者容器占有率用具有与该容器或深度值相关联的颜色的相应显示点的亮度或强度来表示。该高度因此可以由显示强度表示,并且位移值可以由显示位置和该显示点的颜色中的一者或者两者来指示。这是通过以下方式实现的:将与沿着该行的一位置相关联的alpha(透明度)值设置为依赖于该位置处的直方图高度,以使得对于较大的直方图高度alpha也较大(透明度较低,更加不透明)。该行中的可显示点可以表示可显示点的邻近行。行700之上的类似行被针对每一历史直方图显示(未在图12中示出)。
当在每一新图像被处理时,图形表示被重新绘制以使得先前的当前直方图行700向上移动到下一个更高的行位置710(表示下一个较旧的图像),并且新的当前直方图被绘制在当前对显示位置(它是行700)中,以便形成按时间排序的显示点的行的堆栈,每一行对应于图像对的时间顺序中各个图像对的直方图表示。一般来说,当新的行700可得时,整个显示的每行向上移动一个行位置,除了位于显示的顶部的行以外(该行被丢弃)。这提供了一时间段的直方图数据的历史数据,该时间段等于行数目乘以视频信号的图像速率。其结果是深度数据的趋势可以被观察作为垂直显示的样式,例如样式720。
为了实现此目的,深度指南时间绘图器560包括用于存储n个最近的直方图的缓冲存储器,其中n是可以在图12的显示上显示的行数。深度指南时间绘图器还包括用于将存储的直方图渲染为显示中的连续的行的逻辑。
该历史显示也适合图3的实施例使用,其中定义3D素材的质量的元数据可以被存储在存储设备230上,并且视频处理器200具有存储设备230的重放控件。例如,如果视频处理器的操作者注意到诸如图12中的不连续性722之类的历史深度数据中的不连续性,那么该操作者可以指示存储设备230(经由用户控件220)来重放不连续点周围的视频片段,例如从不连续点之前的两秒到不连续点之后的两秒。操作者可以例如通过在历史深度数据显示的区域内的期望重放的时间位置上双击鼠标控件来实现该目的。因此视频处理器可以提供重放控制器,用于响应于对一个或多个图形表示的用户选择来控制3D视频信号的存储版本的重放。
更一般地,图3的布置可以用于获取与接收到的3D视频相关的质量信息,并且随后允许操作者评审质量数据,如果需要,评审之后伴随的视频素材。操作者可以手动地选择用于重放的部分,或者视频处理器可以自动地评审存储的质量数据并且选择用于操作者评审的部分,在该部分中例如存在任何存储的数据值的不连续性、超出可接受的限制的偏移(例如深度值偏移超出诸如10%之类的“告警”阈值)等。
因此,深度指南渲染器506用作被配置为图像对两侧的位移的分布(针对可能的位移值范围)的图形表示的图形生成器;并且深度指南时间绘图器560用作用于生成显示关于当前对显示位置处的当前图像对和关于其他显示位置处的多个在前图形对的图形表示,以便提供位移的分布中的变化的基于时间的表示。在本发明的实施例中,由图形生成器处理的位移数据仅包括所检测的图形位移的水平分量。
帧(边缘)违规
帧(或边缘)违规检测处理的目标是确定是在图片的左边缘或者右边缘处的对象是否在屏幕的前面。
当具有负视差的对象(也就是说,将要由3D显示器显示的对象在显示屏幕的平面的前面)离开相机,也就是说离开显示器时,在3D电视中可能出现潜在的问题。这个问题发生是因为对象在其离开一只眼睛的图像前离开了另一只眼睛的图像。在真实生活中,这种配置不会发生,因此在显示器上看到该配置会打破观看者观看3D场景的错觉。当对象缓慢地向一侧或者另一侧离开屏幕时,这尤其是个问题。
对象是否显得在屏幕的前面的问题取决于对象相对于相机会聚点的位置。因此可能的解决方案是改变会聚点,使得在视图中的全部对象都在屏幕的后面。另一个可能的方案是裁剪左图像和右图像以便将对象从任一眼睛的视图中去除。然而,这可能对图像的艺术构图有其他显著的和不期望的影响。第三种技术是仅裁剪一幅图像,以便减少在该图像中对象的出现而使得其匹配另一幅图像。这被公知为将“浮动窗”或者“浮动裁剪”添加到图像。利用浮动窗,左图像和右图像的边缘根据哪些对象在屏幕的边缘上或者接近屏幕的边缘被动态裁剪。该性质的临时浮动窗的值是如果谨慎地实施该值,那么很有可能用户甚至不能注意到它的存在。
换句话说,如果没有应用适当的浮动窗,但是对象在图像的左侧的边缘或者右侧的边缘上,并且该对象在屏幕平面的前面,那么该图像可能会显得在一只眼睛中被不自然地截断。例如,图片的左侧的边缘上在屏幕前面的对象将显得在右眼中被不自然地截断。这是因为右眼将期望比左眼看到对象的更多部分,就像对象在屏幕周围的窗口的后面。如前所述,场景中的对象的这种明显不正确的截断可能引起观看者的不舒适感觉并且可能破坏3D感觉。
在图像的左边缘或者右边缘上并且在屏幕的前面的对象被称为“帧违规”。
图13示意性地图示了在显示屏幕810上显示的3D图像的上下文中观看者的左眼和右眼的视图。示出了由3D系统显示为在屏幕810的前面(比屏幕810更接近于观看者)的两个示例对象820。图14的上面的行示意性地图示了该对象的左眼和右眼的视图。观看者将感到对象被不正确地裁剪,也就是说,针对“错误”的眼睛裁剪了对象。这部分地因为3D显示的错觉依赖于用户的以下信念:显示屏幕表示进入3D世界的窗口。真实的窗口将以一种期望的方式来裁剪窗口后面的对象,但是真实的窗口不会引起在图14的上部行中示出的不正确的裁剪类型。为了比较,图14的下部行示意性地图示了可接受的裁剪类型,如果对象已经在帧的边缘上但是在显示屏幕810的平面的后面,那么这种裁剪将会发生。
因此本发明的实施例提供了包括帧违规检测器540的图像分析装置,用于处理表示场景的左眼和右眼的视图的3D图像对。
图15更详细地示意性图示了帧违规检测器540。帧违规检测器540包括浮动窗检测器830、左块匹配器840、右块匹配器850和比较器860。图15表示用于左边缘帧违规检测的功能。使用完全相同的技术(尽管将左和右交换)来检测右边缘帧违规,但是为了本示图的清晰性,仅图示了左边缘检测。
为了检测在屏幕的边缘上的帧违规,图像被划分为块,仅处理图片的左侧和右侧的边缘的每一个上的16×16像素块的2列。左块匹配器840搜索右图像中的每一左图像块(在左图像的每一边缘上的2列内)。右块匹配器850搜索左图像中的每一右图像块(在右图像的每一边缘上的2列内)。来自图像边缘的块的两列的区域内的检测表示距该边缘在阈值距离(在该示例中,为32像素)之内的检测。也可以使用其他阈值距离。在本示例中,对于两个边缘阈值距离相同,但是如果期望它们可以不同。
在左手边缘,如果在右手图像中找到左图像块,那么不存在帧违规。但是如果在左图像中找到右图像块(但是它比在右图像中它的位置距右侧远),但是在右图像中没有找到左图像块,那么出现帧违规。
对应的测试被应用到图片的右边缘。
该测试可以被概括为:如果在左图像的左边缘的阈值距离(诸如32个像素)之内的图像特征没有在右图像中找到,或者如果在右图像的右边缘的阈值距离之内的图像特征没有在左图像中找到,那么检测到帧违规存在。
然而,如果浮动窗已经出现在输入视频上,那么检测帧违规的处理应当仅起始于图片的新边缘上,也就是说该帧违规发生在排除了任何检测的图像裁剪(浮动窗)的图像的区域之内。换句话说,要被测试的像素块的2列应该对齐,以使得测试起始于浮动窗的内边缘处,或者换句话说,起始于还没有被浮动窗裁剪的像素的第一列处。因此该阈值距离起始于所检测的浮动窗的内边缘处(从检测的浮动窗的内边缘处测量该阈值距离)。
如果浮动窗先前已经被正确地应用到图像上,那么通常将不存在帧违规。然而,即使已经应用浮动窗,仍可能存在所检测的帧违规,例如这是因为浮动窗没有充分大到能够遮盖帧违规。
因此帧违规检测器540提供图像裁剪检测器以检测图像的一者或者两者的横向(左侧或者右侧)边缘上的图像裁剪的存在,该检测通过以下步骤实现:提供预处理步骤以通过浮动窗检测器检测浮动窗(在左图像的左边缘上,以及在右图像的右边缘上),该浮动窗检测器检测在图像的左手边缘和右手边缘处的黑色视频条带的存在,并且如果检测到一条黑色视频则测量其宽度。注意该浮动窗通常被假定为是黑色的,其被形成为与图像的横向边缘垂直的条带并且覆盖了整个图像的高度。然而,除了黑色,它们还可以简单地为一种均匀的颜色。因此,该图像裁剪检测处理可以检测在图像中的一者的横向边缘上占据全部图像高度的均匀颜色的一部分的存在。通常使用暗的颜色。关于一个图像对可以检测出零到四个浮动窗(四个浮动窗为在两幅图像的每一横向边缘上各一个)。如果在特定边缘处检测出两个或者更多个相邻的浮动窗,例如图像的全部高度上有多个相邻的区域(每一区域具有均匀但不同的颜色),那么系统将它们视为多个区域的组合宽度的单个合成浮动窗。
例如,如果在左图像的左手边缘上检测出一个3像素宽度的浮动窗,那么仅从图形的原始边缘起的3个像素中开始对图形的左边缘检测帧违规的处理(通过左块匹配器840和右块匹配器850)。
当检测到帧违规时,通过该装置可以增强图像的显示,以便示出被布置为指示相对于一个(或者每个)所检测的帧违规的图像的位置的指示符。例如,箭头或者其他标记可以被绘制到纹理缓冲器(背景:黑色,0alpha)中,其可以覆盖在视频输出上以指示帧违规的存在和位置。换句话说,相同的技术可以被深度指南渲染器用来将告警标记引入到图像中以显示在显示屏幕210上。图8中示意性地图示了这样的告警标记的一个示例870,该示例870是关于在相机的会聚点的前面一只鸟飞过所捕获的图像的边缘。
如上所述,帧违规检测处理是利用单个SPU处理每一边缘从而对四分之一尺寸的视频执行的(因此,总共两个SPU)。
聚焦失配检测
本发明的实施例提供了聚焦失配告警特征,该聚焦失配告警特征使用图像分析来检测左图像和右图像之间的聚焦的任何差异并向用户告警。该算法尝试检测聚焦水平中的整体全局失配,然后进行到使用由深度检测器500的块匹配器504导出的数据来检测和显示可能具有聚焦失配的图像的具体区域。如下实现的算法表示一种包括聚焦检测器的图像分析装置用于处理图像以生成图像聚焦指示符的操作,聚焦检测器被配置为针对多个图像块检测各自的局部聚焦估计,并组合局部聚焦估计以为该图像生成图像聚焦指示符。
全局聚焦失配检测处理意图检测全部场景中的聚焦失配,而不管整个图像是否是对焦的。因此其考虑了视场的深度和艺术的非对焦效果。然而,当图像的至少一幅基本上对焦时,对聚焦失配的敏感度更大。
局部聚焦失配检测通过检测围绕一些或者每一对应的块的像素群组中的图像对比度来检测局部聚焦估计。在本发明的实施例中,可以使用独立生成的水平偏移数据来比较左图像和右图像的对应的局部区域的聚焦。接着可以向用户指示失配的具体位置。然而,因为块匹配处理仅在一幅图像(本实施例中的左图像)中找到的垂直边缘上生成水平偏移信息,所以将仅仅在左图像处于精确对焦的位置处生成局部聚焦失配告警。
图16示意性地图示了聚焦检测器520。
到聚焦检测器520的输入是四分之一尺寸格式的左(900)图像和右(910)图像,以及由块匹配器504针对该左图像和右图像的对生成的像素偏移数据。
左图像和右图像被传递到对应的对比度图生成器,该对比度图生成器作为SPU处理来操作以生成左图像和右图像的对比度图。为了进行该操作,在本示例实施例中,一组像素(例如诸如3×3窗口之类的一个正方形像素阵列)被越过图像中的全部可能位置,并且将每一点处的对比度估计为该窗口内像素的最大亮度(明亮度)值减去该窗口内像素的最小亮度(明亮度)值。这被表示为用八比特表示的从0到255的值。在本发明的实施例中,该像素群组可以是围绕对应的块定位的,因此在本示例中,与(对比度值所关联的)窗口位置有关的单个像素或点可以例如是3×3窗口的中央像素位置。
全局平均值计算器和比较器950接着导出跨左图像和右图像的每一个的全部的对比度的平均值,以生成对应的左平均值和右平均值。左平均值和右平均值的差值被计算并且被用作左图像和右图像之间的整体聚焦差值的指示。全局平均值计算器和比较器950将该差值与阈值相比较,以生成以下判决:在左图像和右图像之间的聚焦中存在明显的差异。这种聚焦中的明显差异的存在可以通过适当的用户显示指示给用户。其也可以记录在与图像相关联的元数据中。
图17示意性地图示了左图像和右图像的示例以及它们对应的对比度图。该装置检测关于每一图像的聚焦指示符(诸如全局平均值),并且比较聚焦指示符以检测图像对是否具有相似的聚焦程度。在示出的示例中,左图像比右图像更好的对焦,因此为对比度图生成的值稍微不同。在两幅对比度图间的平均对比度也不同。
形成聚焦检测器520的操作的一部分并且在图16中绘制作为局部对比度平均值比较器的局部聚焦告警处理可以使用由块匹配器504生成的水平偏移数据来比较左图像和右图像的相应小区域之间的聚焦。具体而言,聚焦检测器可以被配置为检测图像对的相应区域的局部聚焦估计之间的差值。如前所述,聚焦检测可以响应于指示图像对中的图像特征之间的位移的位移数据(诸如水平偏移数据),该聚焦检测器被配置为在图像对的相应区域的选择中应用位移数据。
因此聚焦检测处理利用了对比度检测器和对比度差异检测器,该对比度检测器被配置为检测图像对的每一者的块内的图像对比度,该对比度差异检测器被配置为检测图像对的对应区域之间的对比度的差异,该对应区域是响应于由上述块匹配处理检测出的位移而选出的以进行比较。
注意块匹配器504仅对那些在左图像中检测到垂直边缘的图像的小区域进行操作。换句话说,对比度差异检测处理被布置为不对边缘检测器对其没有检测到边缘的图像区域检测对比度差异。
另外,还可能存在在其上块匹配器504尝试导出水平偏移值但是却不能导出的区域,这可能是由于SAD数据中混淆现象的检测。因此由块匹配器504输出的数据是稀疏的,这是因为一些图片区域可能具有相关联的水平偏移数据,而其他图片区域可能没有任何相关联的水平偏移数据。
左图像和右图像被视为被分解为64×60像素的固定的栅格(四分之一的分辨率),或者对于隔行视频为64×30像素。栅格的每个这样的块内的水平偏移值(如果有的话)被组合到该块的水平相异性的单个平均值估计中。如果在一个块中没有找到水平偏移值,那么忽略该块。
参考图18,示出了示例图像1000,其中小的方形图标1010指示这样的图像位置,在该位置处,水平偏移数据被块匹配器504成功地获得。为了说明的清楚,图像1000的小区域以放大的形式1020示出。
针对每一栅格位置实施接下来的处理部分。与一个栅格位置相关的左对比度图1030,以及距该栅格位置有平均水平相异性的位置偏移的右对比度图1040被访问。分别通过左平均值计算器1050和右平均值计算器1060计算出对比度图的两个子区域的平均值对比度。减法器1070从一者中减去另一者以导出差异,该差异可以被表示为绝对差异。
可以通过比较器1080将差值与阈值进行比较来确定是否存在关于该栅格位置的局部聚焦误差(即,在本实施例中使用的关于左对比度图1030的栅格位置)。因为该差异(在减法器1070的输出处)可能容易受到原始块匹配处理中错误的影响,因此用于检测局部聚焦差异的阈值需要是用于全局聚焦差异的阈值的10倍。检测到局部聚焦差异的区域可以被标记在屏幕上,例如通过绘制围绕其的红色方框。这种方框的示例在图8中被示为框1100。
Claims (27)
1.一种用于处理3D视频信号以生成图像深度指示符的图像分析装置,该3D视频信号包括表示场景的不同的对应视图的连续图像对,所述装置包括:
相关器,该相关器被配置为将所述图像对中的一者的图像区域与所述图像对中的另一者的图像区域进行相关,以检测两幅图像之间的相应图像区域的位移;
图形生成器,该图形生成器被配置为针对可能的位移值的范围生成跨所述图像对的位移的分布的图形表示;
显示生成器,该显示生成器用于生成关于当前对显示位置处的当前图像对和关于在其他显示位置处的多个在前图像对的图形表示以进行显示,从而提供所述位移的分布的变化的基于时间的表示。
2.根据权利要求1所述的装置,其中,所述图形生成器被配置为建立所检测的位移跨多个可能的容器的直方图表示,其中每个容器表示一个或多个可能的位移值。
3.根据权利要求2所述的装置,其中,所述图形生成器被配置为通过相应显示点的显示强度来表示每个容器的占有率。
4.根据权利要求2或者权利要求3所述的装置,其中,所述图形生成器被配置为通过相应显示点的颜色来表示由容器表示的一个或多个位移值。
5.根据权利要求3或者权利要求4所述的装置,其中,所述图形生成器被配置为通过显示点的邻近线来表示直方图。
6.根据权利要求5所述的装置,其中,所述显示生成器被配置为显示按时间排序的显示点的行的堆栈,每一行对应于图像对的时间顺序中各个图像对的直方图。
7.根据权利要求6所述的装置,其中,所述显示生成器被配置为使得在生成关于每个连续图像对的直方图时,显示生成器重新绘制所述图形表示以便在所述当前对显示位置处显示新生成的直方图的表示,并且在与较旧的一个图像对相对应的位置处重新绘制所述按时间顺序的行的堆栈内的表示。
8.根据上述权利要求中任一项所述的装置,其中,所述相关器包括块匹配器,该块匹配器用于将图像中的一者的块与图像的另一者的相应搜索区域进行比较。
9.根据权利要求8所述的装置,其中,所述相关器包括边缘检测器,该边缘检测器用于检测图像中的一者中的边缘,其中,所述块匹配器被配置为不对未检测到包含边缘的块执行块匹配。
10.根据权利要求9所述的装置,其中,所述边缘检测器被配置为不检测偏离垂直大于阈值角度的边缘。
11.根据权利要求9或者权利要求10所述的装置,包括聚焦失配检测器,该聚焦失配检测器用于检测所述图像对之间的聚焦相异性,所述聚焦失配检测器包括:
对比度检测器,该对比度检测器被配置为检测所述图像对的每一者的块内的图像对比度;以及
对比度差异检测器,该对比度差异检测器被配置为检测所述图像对的对应区域之间的对比度,所述对应区域是响应于所述相关器检测出的位移而选择出以进行比较的。
12.根据权利要求11所述的装置,其中,所述对比度差异检测器被布置为不对所述边缘检测器没有检测到边缘的图像区域检测对比度差异。
13.根据权利要求1至10中的任一项所述的装置,包括聚焦检测器,该聚焦检测器被配置为检测多个图像块的各自的局部聚焦估计,并且对所述局部聚焦估计进行组合以生成该图像的图像聚焦指示符。
14.根据上述权利要求中任一项所述的装置,其中由所述图形生成器作用的位移数据仅包括所检测的图像位移的水平分量。
15.根据上述权利要求中任一项所述的装置,包括重放控制器,用于响应于一个或多个图形表示的用户选择控制3D视频信号的存储版本的重放。
16.一种用于处理3D视频信号以生成图像深度指示符的图像分析方法,该3D视频信号包括表示场景的不同的对应视图的连续图像对,所述方法包括:
将所述图像对中的一者的图像区域与所述图像对中的另一者的图像区域进行相关,以检测两幅图像之间的相应图像区域的位移;
针对可能的位移值的范围生成跨所述图像对的位移的分布的图形表示;以及
生成关于当前图像对和关于多个在前图像对的图形表示以进行显示,从而提供所述位移的分布的变化的基于时间的表示。
17.一种用于处理图像以生成图像聚焦指示符的图像分析装置,所述装置包括:
聚焦检测器,该聚焦检测器被配置为检测多个图像块的各自的局部聚焦估计,并对局部聚焦估计进行组合以生成该图像的图像聚焦指示符。
18.根据权利要求17所述的装置,其中,所述聚焦检测器被配置为通过检测围绕各个块的一组像素中的图像对比度来检测所述局部聚焦估计。
19.根据权利要求18所述的装置,其中,所述一组像素包括以所述各个块为中心的方形的像素阵列。
20.根据权利要求18或者权利要求19所述的装置,其中,所述聚焦检测器被配置为通过检测一个群组中的最大像素明亮度和最小像素明亮度之间的差异来检测图像对比度。
21.根据权利要求17至20中任一项所述的装置,其中,每个块包括对应的单个图像像素。
22.根据权利要求17至21中任一项所述的装置,其中:
所述图像是表示场景中的不同的对应视图的3D图像对的图像;
所述聚焦检测器被配置为检测关于所述图像对的每一图像的聚焦指示符;并且
所述装置被配置为比较关于所述图像对的聚焦指示符,以检测所述图像对是否具有相似的聚焦程度。
23.根据权利要求22所述的装置,其中,所述聚焦检测器被配置为检测所述图像对的相应区域的局部聚焦估计之间的差异。
24.根据权利要求23所述的装置,其中,所述装置响应于指示所述图像对中的图像特征之间的位移的位移数据,所述聚焦检测器被配置为在所述图像对的相应区域的选择中应用所述位移数据。
25.一种用于处理图像以生成图像聚焦指示符的图像分析方法,该方法包括以下步骤:
检测图像的多个块的各自的局部聚焦估计;以及
组合所述局部聚焦估计以生成该图像的图像聚焦指示符。
26.一种用于执行根据权利要求16或者权利要求25所述的方法的计算机软件。
27.一种包括存储了根据权利要求26所述的软件的存储介质的计算机程序产品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1105973.0 | 2011-04-08 | ||
GB1105973.0A GB2489930A (en) | 2011-04-08 | 2011-04-08 | Analysis of Three-dimensional Video to Produce a Time-Varying Graphical Representation of Displacements |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102740095A true CN102740095A (zh) | 2012-10-17 |
Family
ID=44072166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012101041940A Pending CN102740095A (zh) | 2011-04-08 | 2012-04-09 | 3d视频分析 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8976229B2 (zh) |
EP (1) | EP2509326A3 (zh) |
JP (1) | JP2012227924A (zh) |
CN (1) | CN102740095A (zh) |
GB (1) | GB2489930A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104811679A (zh) * | 2014-01-29 | 2015-07-29 | 宏达国际电子股份有限公司 | 立体图像的调整方法与图像处理装置 |
CN105187691A (zh) * | 2014-10-06 | 2015-12-23 | 三星电子株式会社 | 图像形成装置、图像形成方法、图像处理装置及图像处理方法 |
CN106489171A (zh) * | 2014-06-27 | 2017-03-08 | 微软技术许可有限责任公司 | 立体图像显示器 |
CN107852460A (zh) * | 2015-12-10 | 2018-03-27 | 谷歌有限责任公司 | 立体自动对焦 |
CN110546648A (zh) * | 2017-06-09 | 2019-12-06 | 三星电子株式会社 | 用于立体内容检测的系统和方法 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2489931A (en) * | 2011-04-08 | 2012-10-17 | Sony Corp | Analysis of 3D video to detect frame violation within cropped images |
WO2013095534A1 (en) * | 2011-12-22 | 2013-06-27 | Intel Corporation | Quantifiable stereoscopic three-dimensional video evaluation methodology |
US20150304640A1 (en) * | 2012-12-20 | 2015-10-22 | Dolby Laboratories Licensing Corporation | Managing 3D Edge Effects On Autostereoscopic Displays |
US9270876B2 (en) | 2013-01-05 | 2016-02-23 | The Lightco Inc. | Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times |
US9374514B2 (en) | 2013-10-18 | 2016-06-21 | The Lightco Inc. | Methods and apparatus relating to a camera including multiple optical chains |
US9325906B2 (en) | 2013-10-18 | 2016-04-26 | The Lightco Inc. | Methods and apparatus relating to a thin camera device |
US9557519B2 (en) | 2013-10-18 | 2017-01-31 | Light Labs Inc. | Methods and apparatus for implementing a camera device supporting a number of different focal lengths |
US9736365B2 (en) | 2013-10-26 | 2017-08-15 | Light Labs Inc. | Zoom related methods and apparatus |
US9467627B2 (en) | 2013-10-26 | 2016-10-11 | The Lightco Inc. | Methods and apparatus for use with multiple optical chains |
KR102130123B1 (ko) * | 2013-10-31 | 2020-07-03 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 그 제어 방법 |
US9686471B2 (en) | 2013-11-01 | 2017-06-20 | Light Labs Inc. | Methods and apparatus relating to image stabilization |
US9554031B2 (en) * | 2013-12-31 | 2017-01-24 | Light Labs Inc. | Camera focusing related methods and apparatus |
US9462170B2 (en) | 2014-02-21 | 2016-10-04 | The Lightco Inc. | Lighting methods and apparatus |
US9979878B2 (en) | 2014-02-21 | 2018-05-22 | Light Labs Inc. | Intuitive camera user interface methods and apparatus |
WO2016004422A1 (en) | 2014-07-04 | 2016-01-07 | The Lightco Inc. | Methods and apparatus relating to detection and/or indicating a dirty lens condition |
US10110794B2 (en) | 2014-07-09 | 2018-10-23 | Light Labs Inc. | Camera device including multiple optical chains and related methods |
US9912865B2 (en) | 2014-10-17 | 2018-03-06 | Light Labs Inc. | Methods and apparatus for supporting burst modes of camera operation |
US20160165207A1 (en) * | 2014-12-03 | 2016-06-09 | Kabushiki Kaisha Toshiba | Electronic device, method, and computer program product |
WO2016100756A1 (en) | 2014-12-17 | 2016-06-23 | The Lightco Inc. | Methods and apparatus for implementing and using camera devices |
US9544503B2 (en) | 2014-12-30 | 2017-01-10 | Light Labs Inc. | Exposure control methods and apparatus |
US9824427B2 (en) | 2015-04-15 | 2017-11-21 | Light Labs Inc. | Methods and apparatus for generating a sharp image |
US9857584B2 (en) | 2015-04-17 | 2018-01-02 | Light Labs Inc. | Camera device methods, apparatus and components |
US10075651B2 (en) | 2015-04-17 | 2018-09-11 | Light Labs Inc. | Methods and apparatus for capturing images using multiple camera modules in an efficient manner |
US9967535B2 (en) | 2015-04-17 | 2018-05-08 | Light Labs Inc. | Methods and apparatus for reducing noise in images |
US10091447B2 (en) | 2015-04-17 | 2018-10-02 | Light Labs Inc. | Methods and apparatus for synchronizing readout of multiple image sensors |
WO2016172641A1 (en) | 2015-04-22 | 2016-10-27 | The Lightco Inc. | Filter mounting methods and apparatus and related camera apparatus |
US10129483B2 (en) | 2015-06-23 | 2018-11-13 | Light Labs Inc. | Methods and apparatus for implementing zoom using one or more moveable camera modules |
US10491806B2 (en) | 2015-08-03 | 2019-11-26 | Light Labs Inc. | Camera device control related methods and apparatus |
US10365480B2 (en) | 2015-08-27 | 2019-07-30 | Light Labs Inc. | Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices |
US9749549B2 (en) | 2015-10-06 | 2017-08-29 | Light Labs Inc. | Methods and apparatus for facilitating selective blurring of one or more image portions |
US10225445B2 (en) | 2015-12-18 | 2019-03-05 | Light Labs Inc. | Methods and apparatus for providing a camera lens or viewing point indicator |
US10003738B2 (en) | 2015-12-18 | 2018-06-19 | Light Labs Inc. | Methods and apparatus for detecting and/or indicating a blocked sensor or camera module |
US10306218B2 (en) | 2016-03-22 | 2019-05-28 | Light Labs Inc. | Camera calibration apparatus and methods |
US9948832B2 (en) | 2016-06-22 | 2018-04-17 | Light Labs Inc. | Methods and apparatus for synchronized image capture in a device including optical chains with different orientations |
TWI678681B (zh) * | 2018-05-15 | 2019-12-01 | 緯創資通股份有限公司 | 產生深度圖的方法及其影像處理裝置與系統 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004289214A (ja) * | 2003-03-19 | 2004-10-14 | Minolta Co Ltd | 撮像装置 |
JP4755565B2 (ja) * | 2006-10-17 | 2011-08-24 | シャープ株式会社 | 立体画像処理装置 |
KR100778085B1 (ko) * | 2007-03-14 | 2007-11-22 | 주식회사 이시티 | 주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치 |
KR101345303B1 (ko) * | 2007-03-29 | 2013-12-27 | 삼성전자주식회사 | 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치 |
JP5047764B2 (ja) * | 2007-12-06 | 2012-10-10 | オリンパス株式会社 | 顕微鏡用撮影装置 |
JP5025532B2 (ja) * | 2008-03-12 | 2012-09-12 | キヤノン株式会社 | 撮影装置、撮像装置の制御方法及び撮像装置の制御プログラム |
JP2010097167A (ja) * | 2008-09-22 | 2010-04-30 | Fujinon Corp | オートフォーカス装置 |
-
2011
- 2011-04-08 GB GB1105973.0A patent/GB2489930A/en not_active Withdrawn
-
2012
- 2012-04-04 JP JP2012085594A patent/JP2012227924A/ja active Pending
- 2012-04-05 EP EP12163314.3A patent/EP2509326A3/en not_active Withdrawn
- 2012-04-06 US US13/441,431 patent/US8976229B2/en not_active Expired - Fee Related
- 2012-04-09 CN CN2012101041940A patent/CN102740095A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104811679A (zh) * | 2014-01-29 | 2015-07-29 | 宏达国际电子股份有限公司 | 立体图像的调整方法与图像处理装置 |
CN106489171A (zh) * | 2014-06-27 | 2017-03-08 | 微软技术许可有限责任公司 | 立体图像显示器 |
CN106489171B (zh) * | 2014-06-27 | 2020-03-24 | 微软技术许可有限责任公司 | 立体图像显示器 |
CN105187691A (zh) * | 2014-10-06 | 2015-12-23 | 三星电子株式会社 | 图像形成装置、图像形成方法、图像处理装置及图像处理方法 |
US9912924B2 (en) | 2014-10-06 | 2018-03-06 | Samsung Electronics Co., Ltd. | Image forming apparatus, image forming method, image processing apparatus and image processing method thereof |
CN105187691B (zh) * | 2014-10-06 | 2018-11-27 | 三星电子株式会社 | 图像处理方法及图像处理装置 |
CN107852460A (zh) * | 2015-12-10 | 2018-03-27 | 谷歌有限责任公司 | 立体自动对焦 |
CN110546648A (zh) * | 2017-06-09 | 2019-12-06 | 三星电子株式会社 | 用于立体内容检测的系统和方法 |
CN110546648B (zh) * | 2017-06-09 | 2024-03-08 | 三星电子株式会社 | 用于立体内容检测的系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2509326A2 (en) | 2012-10-10 |
GB2489930A (en) | 2012-10-17 |
EP2509326A3 (en) | 2014-03-19 |
JP2012227924A (ja) | 2012-11-15 |
GB201105973D0 (en) | 2011-05-18 |
US8976229B2 (en) | 2015-03-10 |
US20120257013A1 (en) | 2012-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102740095A (zh) | 3d视频分析 | |
CN102740117A (zh) | 3d视频分析 | |
Konrad et al. | Learning-based, automatic 2D-to-3D image and video conversion | |
US20230045393A1 (en) | Volumetric depth video recording and playback | |
Guttmann et al. | Semi-automatic stereo extraction from video footage | |
US9237330B2 (en) | Forming a stereoscopic video | |
CN102945563B (zh) | 一种全景视频的展示与交互系统及方法 | |
RU2568309C2 (ru) | Обнаружение формата трехмерного видео | |
US9838673B2 (en) | Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal | |
CN104601979B (zh) | 多视点图像显示设备及其控制方法 | |
CN101542536A (zh) | 用于合成三维图像的系统和方法 | |
CN102938844A (zh) | 利用立体成像生成自由视点视频 | |
CN101729791A (zh) | 图像处理设备和方法 | |
US20120320153A1 (en) | Disparity estimation for stereoscopic subtitling | |
US20130129193A1 (en) | Forming a steroscopic image using range map | |
CN106664397A (zh) | 用于生成三维图像的方法和装置 | |
CN103548333A (zh) | 图像处理装置和方法、增补图像产生装置和方法、程序和记录介质 | |
CN103348360A (zh) | 二维图像的再投影的形态学反混叠(mlaa) | |
CN104683787A (zh) | 识别视频类型的方法、装置和显示设备及其投影视频方法 | |
EP2717247A2 (en) | Image processing apparatus and method for performing image rendering based on orientation of display | |
CN102985949A (zh) | 使用背景像素扩大和背景优先块匹配的多视图绘制设备和方法 | |
Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
WO2013108285A1 (ja) | 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法 | |
Schenkel et al. | Natural scenes datasets for exploration in 6DOF navigation | |
KR101797035B1 (ko) | 오버레이 영역의 3d 영상 변환 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121017 |