CN1833258A - 图像对象处理 - Google Patents

图像对象处理 Download PDF

Info

Publication number
CN1833258A
CN1833258A CNA2004800226017A CN200480022601A CN1833258A CN 1833258 A CN1833258 A CN 1833258A CN A2004800226017 A CNA2004800226017 A CN A2004800226017A CN 200480022601 A CN200480022601 A CN 200480022601A CN 1833258 A CN1833258 A CN 1833258A
Authority
CN
China
Prior art keywords
point
image
group
picture point
object handles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800226017A
Other languages
English (en)
Inventor
P·A·雷德特
C·瓦雷坎普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1833258A publication Critical patent/CN1833258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种设备(200)包括用于检测与至少一个图像的至少一个对象有关的多个图像点(105,107,109,111)的简单的检测器(201)。该检测器不区分不同的类型的图像点。检测器(201)被耦合到分组处理器(203),它把多个图像点(105,107,109,111)分组为一组对象点(105,107),一组接合点(111)和一组被错误地检测的点(109)。设备还包括处理器装置(209),用于单独地处理对象点组(105,107)和接合点组(111)的图像点。对象点处理可以根据动态特性生成深度信息而接合点处理可以根据静态特性生成深度信息。因此可以得到改进的深度信息,并且可以采用简化的检测器。

Description

图像对象处理
发明领域
本发明涉及对至少一个图像进行对象处理的方法和设备。
发明背景
传统的视频和电视系统传播在性质上固有地是二维(2D)的视频信号。然而,在许多应用中希望还提供三维(3D)信息。例如,3D信息可用来增强对视频信号的对象获取和视频压缩。
具体地,三维视频或电视(3DTV)作为一种增强用户对可视内容的呈现的经验是具有前景的,以及3DTV潜在地可以与彩色电视机的引入一样重要。
大多数市场感兴趣的3DTV系统是基于重新使用现有的2D视频基础设施,从而允许解决与逐渐延伸(roll out)有关的最小成本和兼容性问题。对于这些系统,传播的是2D视频,并在消费者的位置处变换成3D视频。
2D到3D变换处理过程把(深度)结构添加到2D视频,并且还可被用于视频压缩。然而,把2D视频变换成包括3D信息的视频是重大的图像处理的挑战。因此,在这个区域进行了大量的研究,并提出了多种算法和方法以便从2D图像提取3D信息。
为了从单镜头视频得出深度或遮蔽(occlusion)关系的已知方法包括来自运动方法和动态遮蔽方法的结构。
在来自运动方法的结构中,对象的各点在对象移动时被跟踪,并且被用来得出对象的3D模型。3D模型被确定为这样的模型,它最接近地导致被跟踪的点的被观察到的运动。动态遮蔽方法利用这样的事实,当不同的对象在图像内移动时,遮蔽(即,在2D图像上一个对象与另一个对象重叠)提供表明对象的相对深度的信息。
然而,来自运动的结构需要存在照相机运动,并且不能处理独立运动的对象(非静态情景)。而且,这两个方法都依赖于运动对象的存在,并且在视频序列中只有很小的或没有视在运动的情形下是无效的。
已经提出了根据静态特性得出深度信息的方法。
可以提供静态信息的深度线索是相应于对象之间交叉的T接合(T-junction)。然而,虽然长时间以来使用T接合作为视觉上深度线索的可能性是已知的,但在视频中检测T接合的计算方法和把T接合用于自动深度提取至今只有非常有限的成功。
对使用T接合的以前的研究主要集中在T接合检测任务上,以及用于检测T接合点的方案的例子在以下的文章中给出:M.Nitzberg,D.Mumford和T.Shiota,“Filtering,Segmentation and Depth”(滤波、分段和深度),Lecture Notes in Computer Science 662;P.Perona,“Steerable-scalable kernels for edge detection andjunction analysis”(边缘检测和接合分析用的可控可定标的核心),2nd European Conference of Computer Vision pp.3-18和VisionComputing,vol.10,pp.663-672;和L.Parida,D.Geiger,R.Hummel,“Junctions:Detection,Classification,and Reconstruction”(接合:检测、分类和重建),1998 IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.20,no.7,pp.687-698。
此外,文件M.Nitzberg,D.Mumford和T.Shiota,“Filtering,Segmentation and Depth(滤波、分割和深度)”公开了用于根据T接合确定深度信息的系统。这个方法是基于轮廓的确定,并需要非线性滤波,曲线平滑,拐角和接合检测,和曲线延伸。因此,所描述的方法是非常复杂的以及需要很大的计算资源,但它确实提供从静态特性提取深度信息。
然而,虽然在为了深度信息而进行对象处理的领域中进行大量研究,但提取到的深度信息的精度和可靠度当前没有如希望的那样好。
而且,由于各种处理依赖于检测图像的特定的特性(例如,T接合或对象的拐角点),对这些特性的精确的和可靠的检测是关键的,并且在计算上是苛求的。
因此,对于至少一个图像进行对象处理的改进系统是有利的,具体地,允许减小复杂性、减小计算负担和/或改进性能的、对深度信息进行对象处理的系统是有利的。
发明概要
因此,本发明优选地寻求单个地或任何组合地减轻、缓和、或消除一个或多个上述的缺点。
本发明的发明人认识到,在对象处理中以及具体地在对于深度信息的对象处理中可以通过组合不同的处理,以及具体地通过把基于动态特性的处理与基于静态特性的处理相组合而得到改进的性能。而且,本发明人认识到,这些处理可以基于图像的不同特性而得到最佳性能。
因此,按照本发明的第一方面提供了处理至少一个图像对象的方法,包括以下步骤:检测与该至少一个图像的至少一个对象有关的多个图像点;把多个图像点分组为至少一组对象点和至少一组接合点;以及单独地处理该组对象点和该组接合点的图像点。
本发明允许把检测的图像点按照它们究竟是对象点还是接合点而进行分组。对象点可以有利地用于根据动态特性确定深度信息,以及接合点可以有利地用于根据静态特性确定深度信息。因此,本发明允许一个或多个图像的图像点被分离成不同的组,它们然后可被单独地处理。因此,本发明可提供改进的性能,因为对象处理可得到用于特定处理的最佳图像点。而且,由于对象点和接合点是分离的,从而减小了把对象点送到需要接合点处理的概率,反之亦然,因此可以得到改进的性能。本发明还允许用简单的检测处理来检测图像点,而不是用于只检测对象点和接合点的复杂的专用处理。简单的检测后面可以跟随简单的处理以确定给定的图像点究竟更可能是对象点还是接合点。因此,检测处理可被重复使用于不同的类型的图像点,由此导致减小的复杂性和减小的计算要求。
对象点典型地可以是图像中单个对象点的特性,诸如对象的拐角(corner)和边,而接合点典型地涉及到在两个或多个对象之间的相对特性,诸如在其中一个对象遮蔽另一个对象的两个对象之间的交叉点。
按照本发明的特性,单独地处理的步骤包括从至少一个二维图像确定至少一个三维特性。因此,本发明允许改进的处理以便从一个或多个2D图像确定3D特性。具体地,本发明提供了确定深度信息的改进的和低复杂性方法,它可优选地把分别响应于静态和动态特性而确定的相对的和绝对的深度信息组合。
按照本发明的另一个特性,多个图像点还被分组成一组被错误地检测的点。由于在处理时把被错误地检测的点组包括在内的概率被减小,使得对图像点的单独处理具有改进的性能。
按照本发明的另一个特性,多个图像点的每个图像点仅仅被包括在从对象点组、接合点组、和被错误地检测的点组中选择的唯一的组中。
优选地,已被检测的每个点被识别为对象点或接合点或被错误地检测的点。因为这使得仅仅处理基于适当类型的点的概率增加,单独处理可得到改进。例如,把对象点识别子程序应用于一个点,可导致该图像点“它是对象点”的概率大于0.5。然而,把接合点识别子程序应用到同一个图像点,可导致该图像点“它是接合点”的概率大于0.5。所以,分别使用这些子程序可以导致图像点同时被用于对象点处理和接合点处理。然而,通过把图像点只分配到它最可能对应的组,则它被包括在错误组中的概率得以减小。例如,接合点识别程序可提供0.95的概率,而对象点的识别程序可提供0.5的概率,在这种情形下图像点可被添加到接合点组中。
按照本发明的另一个特性,单独地处理的步骤包括对对象点组施加第一处理和对接合点组施加第二处理。优选地,对对象点和接合点施加不同的处理。因此,第一处理可以是基于或特别适用于处理对象点,而第二处理可以是基于或特别适用于处理接合点。第一和第二处理可以是完全分开的。而且,第一和第二处理的结果可被组合来提供改进的结果,它超过从每个单独的处理得到的结果。
按照本发明的另一个特性,第一处理是基于在至少一个图像内对象运动的对象处理。对象点特别适合于基于对象运动的处理。具体地,对象点适合于确定或处理对象的运动尤其是在2D图像中3D对象的运动。因此,可以使基于对象运动的对象处理达到改进的性能。第一处理可以是例如用于对象识别、对象跟踪或深度检测的处理。作为具体的例子,第一处理可以是动态遮蔽深度检测处理。
按照本发明的另一个特性,第一处理是来自运动处理的一种结构。因此,本发明可以允许由对象点确定的对象运动得出改进的3D结构信息。
按照本发明的另一个特性,第二处理是基于至少一个图像内的静态特性的对象处理。接合点特别适合于确定静态特性。第二处理例如可以是对象识别处理。
按照本发明的另一个特性,第二处理是用于确定至少一个图像的至少一个对象的深度特性的处理。接合点特别适合于根据静态特性确定深度信息的处理,以及具体地可以确定在不同的对象之间的相对深度信息。因此可以得到确定深度信息的对象处理的改进的性能。
优选地,第一处理是根据与对象点有关的动态特性确定深度信息的处理,以及第二处理是根据与接合点有关的静态特性确定深度信息的处理。通过第一和第二处理得出的深度信息优选地被组合,由此提供附加的和/或更精确的和/或可靠的深度信息。
按照本发明的另一个特性,深度特性是表示在至少一个图像的多个对象之间的相对深度的相对深度特性。接合点特别适合于确定相对深度信息。
按照本发明的另一个特性,检测多个图像点的步骤包括把曲线检测处理施加到至少一个图像的至少一部分。曲线检测处理是用于检测图像点的特别简单的和有效的处理,但它并不区分不同的类型的图像点。因此,本发明允许低复杂性的、易于实施的检测处理,它使用低的计算资源要求而同时提供良好的性能。
优选地,接合点包括相应于在至少一个图像的两个对象之间的重叠的T接合点。
按照本发明的第二方面,提供了对至少一个图像进行对象处理的设备,包括:用于检测与该至少一个图像的至少一个对象有关的多个图像点的装置;用于把多个图像点分组为至少一组对象点和至少一组接合点的装置;以及用于单独地处理对象点组和接合点组的图像点的装置。
参照此后描述的实施例,将阐述和明白本发明的这些和其它发明、特性与优点。
附图简述
下面参照附图仅仅作为例子描述本发明的实施例,其中:
图1显示包括两个对象的2D图像的例子;
图2显示按照本发明的实施例的、用于一个或多个图像的对象处理的设备;
图3显示按照本发明的实施例的对象处理的方法的流程图;以及
图4显示图像中T接合点的例子。
优选实施例说明
以下的说明集中在可用于从二维图像确定深度信息的对象处理的本发明的实施例。然而,将会看到,本发明不限于这种应用,而是可应用于包括对象检测的许多其它对象处理或对象成像处理。
从二维图像(包括视频序列的图像)提取深度信息的可能性吸引越来越多的注意,并且允许提供图像应用的增强的功能以及提供新的应用。例如,深度信息的提取可以从传统的二维视频生成三维视频图像。
典型地,提取深度信息的方法包括根据图像内对象的运动来检测深度信息。因此,在图像之间跟踪与对象的特定点相对应的对象点,并且把这些对象点用来确定对象的3D模型。一个这样的方法从对象的运动来确定结构。
图1显示包括两个对象的2D图像的例子。具体地,图像包括第一立方体101和第二立方体103。在来自运动处理的结构中,与立方体101的拐角相对应的第一对象点105用来确定第一立方体101的3D模型。类似地,与立方体103的拐角相对应的第二对象点107用来确定第二立方体103的3D模型。3D模型的参数是这样确定的使得拐角点在被投影到2D图上时实现2D图像中拐角点的观察到的运动。
因此,诸如来自运动处理的结构需要检测对象的拐角点。可用于检测对象拐角的检测器的例子在以下文章中给出:M.Pollefeys,R.Koch,N.Vergauwen和L.van Gool,“Flexible acquisition of 3Dstructure from motion”(根据运动的3D结构的灵活采集),Proc.IEEEIMDSP Workshop,pp.195-198,1998.这个检测器,像大多数其它已知的检测器一样,明显地或隐含地依赖于根据曲率特性,即,根据诸如亮度或彩色参数的突然变化来检测拐角点。
这些检测器的缺点在于,它们不单检测拐角点而且也检测许多其它图像点。例如,检测器可能错误地检测不与对象的拐角点对应的但符合能满足检测器准则的特性的点109。而且,诸如接合点和特别是T接合点111的其它的点也可显示出图像参数的突然变化,因此可以被拐角检测器所检测。然而,对于诸如来自运动的结构的处理,重要的是只有真正固定的对象点用来确定3D模型。例如,把错误检测点109或接合点11看作为拐角点,将使得能得出的3D模型失真(或阻止得出3D模型)。
因此,可能必须使用复杂得多的检测器,它能大大地减小检测到不想要的图像点的概率。然而,这需要非常复杂的处理以及导致增加的计算负担。
替换地或附加地,必须从检测到的图像点提取有效的对象点。这可以通过得出3D模型而得到,在其中丢弃不适配的图像点。然而,这不单是非常复杂的处理,而且也具有错误地丢弃有效的对象点或包括不想要的对象点的高概率。
本发明的发明人认识到,为了得到改进的性能,不是简单地提取对象点(诸如拐角点),而是把由图像点检测器检测到的图像点划分成不同的类别的图像点的组。具体地,本发明人认识到,接合点可单独处理,并且可有利地用来得出深度信息,以改进或补充从对象点得出的深度信息。
本发明人认识到,把检测到的图像点划分成至少接合点的组和对象点的组将易于实行检测处理并允许简单而共同的检测算法被使用于检测对象点处理和接合点处理所用的图像点。因此,达到能减小复杂性和计算负担的简化的检测。另外,单独的处理可以得到改进的性能,因为所要求的是在给定的处理中错误地使用不想要的图像点的概率。具体地,一般说来更加可靠的是要检测一个图像点究竟更可能是对象点还是接合点,而不是确定给定的点是否为对象点。而且,本发明人认识到,不要丢弃这些可以独立地处理的接合点,并且将处理结果有可能与从对象点的处理得出的那些结果相组合,由此改进深度信息处理的总的性能。
图2显示按照本发明的优选实施例对一个或优选地多个图像的对象进行处理的设备200。
设备包括检测器201,该检测器接收图像和执行图像检测处理,这个处理检测对象点和接合点。因此,检测器201检测与图像的至少一个对象有关的多个图像。例如,可以使用能找出对象点和T接合点而不区分它们的任意曲率检测器。
检测器201被耦合到分组处理器203,它用来把多个图像点编组成至少为对象点组和接合点组。在优选实施例中,图像点还可被分组成被错误检测的点组,即,被看作为既不是对象点也不是接合点的图像点。
分组处理器203被耦合到存储检测到的对象点的对象点存储装置205,和存储检测到的接合点的接合点存储装置207。错误地检测的点则简单地被丢弃。
对象点存储装置205和接合点存储装置207被连接到用来单独地处理对象点组和接合点组的图像点的处理器装置209。在优选实施例中,处理器装置209包括耦合到对象点存储装置205和用来处理存储的对象点的对象点处理器211。具体地,对象点处理器211可以执行深度信息处理,诸如来自运动处理的结构。处理器装置209还包括耦合到接合点存储装置207和用来处理存储的接合点的接合点处理器213。具体地,接合点处理器213可以执行基于T接合的深度信息处理。
在优选实施例中,对象点处理器211和接合点处理器213被耦合到用于组合由单独处理生成的深度信息的组合处理器215。例如,可生成图像深度的映射图,其中在对象之间的相对深度关系主要根据来自接合点处理器213的信息而确定,而各个对象的深度特性主要根据来自对象点处理器211的信息被确定。
将会看到,虽然以上的说明为了简明起见涉及到不同的处理器,但这些只应当被看作为功能模块而不是物理实体。因此,例如在优选实施例中,不同的处理例如可以由单个数字信号处理器执行。
图3显示按照本发明的优选实施例的、对象处理的方法的流程图。
方法从步骤301开始,在其中检测到与至少一个图像的至少一个对象有关的多个图像点。在优选实施例中,把曲率检测处理施加到一个或多个图像的全部或至少一部分。
例如,可以使用在以下文章中描述的检测算法:M.Pollefeys,Flexible acquisition of 3D structure from motion(灵活获取来自运动的3D结构)”,Proc.IEEE IMDSP Workshop,pp.195-198,1998。替换地或附加地,可以使用基于图像分段的检测。
在步骤301后面是步骤303,其中多个图像点被分组成至少对象点组和接合点组,以及优选地还分组成错误检测点组。在优选实施例中,多个图像点的每个点仅仅被包括在从对象点组、接合点组、和错误检测点组中选择的唯一的一个组中。因此,在步骤303,每个检测的图像点都要被估计并被放置在一个和唯一的一个组中。换句话说,每个图像点被表征为对象点或接合点或错误检测的点。
而且,各对象点被分组成属于各个对象的对象点组。具体地,把图像点分组成对象点和分组成相应于每个对象的组,可以使用在以下文章中描述的处理而完成:D.P.McReynolds和D.G.Lowe,“Rigiditychecking of 3D point correspondences under perspectiveprojection”(在透视投影下对3D点相关性的刚性检查),IEEE Trans.on PAMI,Vol.18,No.12,pp.1174-1185,1996。
在这种情形下,分组是基于这样的事实,属于一个移动的刚性对象的所有的点将遵从同一个3D运动模型。因此,接合点和不遵循运动模型的错误检测点不被看作为对象点。
其余的点接着被处理以提取接合点。作为具体的例子,图像可被划分成与图像中不连贯的区域相对应的多个分段。图像分段的目的在于,把各像素中不大可能包含深度间断性的图像分段分组在一起。一个基本假设是深度间断性会引起图像的亮度或彩色的突然改变。所以具有相似的亮度和或彩色的像素一起被分组,造成在区域之间的亮度/彩色边缘。
在一个实施例中,分段包括对在同一个图像分段中具有相似亮度水平的图像单元进行分组。具有相同亮度水平的图像单元的连续的组往往属于同一个底层对象。类似地,相邻的组的具有相同的彩色水平的图像单元也往往属于同一个基础对象,而分段替换地或附加地可包括对在同一个分段中具有相同彩色的图像单元进行分组。
在优选实施例中,分段处理是检测处理的一部分。
在优选实施例中,T接合是通过分析分段矩阵的所有的2×2子矩阵而被识别的。由于要检测T接合,分析集中在3一个接合,该3个接合正好是三个不同图像分段相遇。
为了从分段矩阵提取3接合,检查所有的可能的2×2子矩阵的结构。如果以下四个差值之一正好等于零的话则子矩阵包含一个3接合:
Si,j-Si+1,j,Si,j+1-Si+1,j+1,Si,j-Si,j+1,Si+1,j-Si+1,j+1
这例如是以下的子矩阵的情形:
1 2 1 3 , 2 1 3 1 , 1 1 2 3 , 2 3 1 1
但对例如以下的子矩阵的情形则不是。
1 2 3 1
这个子矩阵不被看作为3接合,因为出现两次的区域号1不是4-连接的。这违反了在分段中的区域在方形采样的网格上必须是4-连接的基本假设。
换句话说,2×2子矩阵被看作为3接头,如果四个单元正好相应于三个图像分段并且来自同一个图像分段的两个样本是垂直地或水平地(但不是对角地)互相邻接的话。
应当指出,3接合不一定是T接合,而也可表示为叉形或箭形(例如,它可以在立方体的图像中出现)。所以需要进一步的几何分析来确定检测到的3接合是否可被认为是一个T接合。然而,由于这样的几何分析被执行来提取对象点,满足以上准则的其余的点可认为是T接合。所有的其它的点作为被错误检测的点而被丢弃。
步骤303后面进行步骤305,其中对象点组和接合点组的图像点被单独地处理。在优选实施例中,单独的处理的目的在于分别根据对象点和接合点从2D图像确定至少一个三维特性。
在优选实施例中,对不同的对象点组加以分开处理。因此,单独的处理包括把第一处理应用到对象点组和把第二处理应用到接合点组。
在优选实施例中,第一处理是基于至少一个图像内的对象运动的对象处理。第一处理例如可以是用于根据图像序列内的对象点的运动来确定3D特性的处理。该处理例如可以是动态遮蔽处理,但在优选实施例中它是来自运动处理的结构。因此,图像中对象的3D模型可以根据相应的对象点的运动得出。
在优选实施例中,第二处理是基于图像的静态特性的对象处理,以及具体地是用于确定图像中对象的深度特性的处理。因此,在优选实施例中,对象点被用来根据动态特性确定深度信息而接合点被用来根据静态特性确定深度信息。
第二处理是用于按照在以下文章中描述的方法确定深度特性的处理:M.Nitzberg,D.Mumford和T.Shiota,“Filtering,Segmentation and Depth”(滤波、分段和深度),1991 Lecture Notesin Computer Science 662,Springer-Veriag,Berlin.
图4显示在图像上一个T接合的例子和显示如何从T接合找出深度信息。在显示的例子中,图像包括第一矩形401和第二矩形403。第一矩形401与第二矩形403重叠,因此边缘形成被称为T接合405的交叉。具体地,第二矩形403的第一边缘407被第一矩形的第二边缘409截短。因此,第一边缘407形成T接合405的主杆411以及第二边缘409形成T接合的顶部413。
因此,在例子中,T接合405是图像平面的点,其中对象边缘407,409形成一个“T”,一个边缘407在第二边缘409上终结。人们只要通过T接合的存在就能够识别某些对象更接近于其它对象。在图4的例子中,可以看到,第一矩形401遮蔽第二矩形403,因此,相应于第一矩形401的对象是在相应于第二矩形403的对象的前面。
因此,通过确定T接合点的顶部和主杆,可以确定在对象之间的相对深度信息。顶部和主杆的识别用于得出可能的深度次序。为了识别顶部和主杆,在优选实施例中,假设二者都是直线,它们以任意取向的角度穿过接合点。因此,接合适配于第一和第二曲线,在优选实施例中,它们是直线,以及形成主杆和顶部的区域根据它而被确定。
从图4可以看到,形成顶部而非主杆的图像部分固有地位于形成主杆的图像部分的前面。在形成主杆的两个图像部分之间的深度信息不能从T接合直接得到。在优选实施例中,要确定许多T接合,而具体地,一个给定的对象可以有许多相应的T接合。所以,相对深度信息通过考虑所有的对象的相对深度信息而被确定,以及具体地,可以得出代表图像中对象的相对深度的深度映射图。
基于对象点的动态性能的深度信息可以与基于T接合点的静态特性的相对深度信息相组合,由此增强和/或改进生成的深度信息。
本发明可以以包括硬件、软件、固件或它们的任何组合的任何适当的形式被实施。然而,优选地,本发明是用一个或多个数据处理器和或数字信号处理器上运行的计算机软件来实现的。本发明的实施例的单元和部件可以以任何适当的形式以物理方式、功能方式、和逻辑方式实施。事实上,功能可以以单个单位,以多个单位或作为其它功能单位的一部分而实施。这样,本发明可以以单个单位实施,或可以以物理方式和功能方式分布在不同的单位与处理器之间。
虽然本发明是结合优选实施例描述的,但本发明不打算限于这里阐述的特定的形式。而是,本发明的范围仅仅由所附权利要求限制。在权利要求中,术语包括并不排除其它单元或步骤的存在。而且,虽然单独地列出,但多个装置、单元或方法步骤例如可以由单个单位或处理器来实施。另外,虽然各个特性可包括在不同的权利要求中,但这些可以有利地组合,并且在权利要求中的包括并不是指特性的组合是不可行的和/或有利的。另外,单个标号并不排除多个。因此,“一个”,“第一个”,“第二个”等等并不排除多个。

Claims (15)

1.一种对至少一个图像进行对象处理的方法,包括以下步骤:
检测(301)与该至少一个图像的至少一个对象有关的多个图像点(105,107,109,111);
把多个图像点(105,107,109,111)分组为至少一组对象点(105,107)和至少一组接合点(111);以及
单独地(305)处理该组对象点(105,107)和该组接合点(111)的图像点。
2.如权利要求1中要求的对象处理的方法,其中单独地处理的步骤(305)包括根据至少一个二维图像确定至少一个三维特性。
3.如权利要求1中要求的对象处理的方法,其中多个图像点(105,107,109,111)还被分组为一组错误地检测的点(109)。
4.如权利要求3中要求的对象处理的方法,其中多个图像点(105,107,109,111)中的每个图像点被包括在从对象点组(105,107)、接合点组(111)、和被错误地检测的点组(109)中选择的仅仅一个组中。
5.如权利要求1中要求的对象处理的方法,其中单独地处理的步骤(305)包括对对象点组(105,107)施加第一处理和对接合点组(111)施加第二处理。
6.如权利要求5中要求的对象处理的方法,其中第一处理是基于在该至少一个图像内的对象运动的对象处理。
7.如权利要求5中要求的对象处理的方法,其中第一处理是来自运动处理的结构。
8.如权利要求5中要求的对象处理的方法,其中第二处理是基于在该至少一个图像内的静态特性的对象处理。
9.如权利要求5中要求的对象处理的方法,其中第二处理是用于确定该至少一个图像的至少一个对象的深度特性的处理。
10.如权利要求9中要求的对象处理的方法,其中该深度特性表明该至少一个图像的多个对象之间的相对深度的相对深度特性。
11.如权利要求1中要求的对象处理的方法,其中检测(301)多个图像点(105,107,109,111)的步骤包括对该至少一个图像的至少一个部分施加曲率检测处理。
12.如权利要求1中要求的对象处理的方法,其中接合点(111)包括与该至少一个图像的两个对象之间的重叠相对应的T接合点(111)。
13.能执行按照权利要求1的方法的计算机程序产品。
14.包括如权利要求13中要求的计算机程序产品的记录载体。
15.一种用于对至少一个图像进行对象处理的设备,包括:
用于检测与该至少一个图像的至少一个对象有关的多个图像点(105,107,109,111)的装置(201);
用于把该多个图像点(105,107,109,111)分组为至少一组对象点(105,107)和至少一组接合点(111)的装置(203);以及
用于单独地处理对象点组(105,107)和接合点组(111)的图像点的装置(209)。
CNA2004800226017A 2003-08-07 2004-08-02 图像对象处理 Pending CN1833258A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03102465 2003-08-07
EP03102465.6 2003-08-07

Publications (1)

Publication Number Publication Date
CN1833258A true CN1833258A (zh) 2006-09-13

Family

ID=34130288

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800226017A Pending CN1833258A (zh) 2003-08-07 2004-08-02 图像对象处理

Country Status (6)

Country Link
US (1) US20060251337A1 (zh)
EP (1) EP1654705A1 (zh)
JP (1) JP2007501974A (zh)
KR (1) KR20060055536A (zh)
CN (1) CN1833258A (zh)
WO (1) WO2005015498A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101647042B (zh) * 2007-04-10 2012-09-05 索尼株式会社 位置对准方法、位置对准装置
WO2017193477A1 (zh) * 2016-05-09 2017-11-16 中国科学院深圳先进技术研究院 三维医学影像数据处理方法及装置
CN109863365A (zh) * 2016-10-21 2019-06-07 Abb瑞士股份有限公司 从容器中拾取对象的方法、电子设备和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2420973B1 (en) * 2009-04-14 2019-11-13 Nec Corporation Image identifier extraction device
JP5095850B1 (ja) * 2011-08-31 2012-12-12 株式会社東芝 オブジェクト探索装置、映像表示装置およびオブジェクト探索方法
US10019657B2 (en) * 2015-05-28 2018-07-10 Adobe Systems Incorporated Joint depth estimation and semantic segmentation from a single image
US10346996B2 (en) 2015-08-21 2019-07-09 Adobe Inc. Image depth inference from semantic labels

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6640004B2 (en) * 1995-07-28 2003-10-28 Canon Kabushiki Kaisha Image sensing and image processing apparatuses
JPH09182067A (ja) * 1995-10-27 1997-07-11 Toshiba Corp 画像符号化/復号化装置
JPH11250250A (ja) * 1998-02-27 1999-09-17 Fujitsu Ltd 三次元形状抽出装置及び記録媒体
US6618439B1 (en) * 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
US6577757B1 (en) * 1999-07-28 2003-06-10 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
US6628836B1 (en) * 1999-10-05 2003-09-30 Hewlett-Packard Development Company, L.P. Sort middle, screen space, graphics geometry compression through redundancy elimination
US6714672B1 (en) * 1999-10-27 2004-03-30 Canon Kabushiki Kaisha Automated stereo fundus evaluation
US6701005B1 (en) * 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
WO2002071331A2 (en) * 2001-03-07 2002-09-12 Pulsent Corporation Predictive edge extension into uncovered regions
JP2005535028A (ja) * 2002-07-31 2005-11-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ セグメント化のためのシステムおよびセグメント化方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101647042B (zh) * 2007-04-10 2012-09-05 索尼株式会社 位置对准方法、位置对准装置
WO2017193477A1 (zh) * 2016-05-09 2017-11-16 中国科学院深圳先进技术研究院 三维医学影像数据处理方法及装置
CN109863365A (zh) * 2016-10-21 2019-06-07 Abb瑞士股份有限公司 从容器中拾取对象的方法、电子设备和系统
CN109863365B (zh) * 2016-10-21 2021-05-07 Abb瑞士股份有限公司 从容器中拾取对象的方法、电子设备和系统

Also Published As

Publication number Publication date
JP2007501974A (ja) 2007-02-01
EP1654705A1 (en) 2006-05-10
KR20060055536A (ko) 2006-05-23
US20060251337A1 (en) 2006-11-09
WO2005015498A1 (en) 2005-02-17

Similar Documents

Publication Publication Date Title
Berman et al. Air-light estimation using haze-lines
Leung et al. Human body motion segmentation in a complex scene
Mattoccia Stereo vision: Algorithms and applications
Glasner et al. Aware object detection and pose estimation
EP2584529B1 (en) Method of image processing and device therefore
US10558844B2 (en) Lightweight 3D vision camera with intelligent segmentation engine for machine vision and auto identification
Mishra et al. Segmenting “simple” objects using RGB-D
US20200380229A1 (en) Systems and methods for text and barcode reading under perspective distortion
CN1186746C (zh) 通过分析图像序列构建三维景物模型的方法
Hou et al. MobilePose: Real-time pose estimation for unseen objects with weak shape supervision
He et al. A new two-scan algorithm for labeling connected components in binary images
CN105740945A (zh) 一种基于视频分析的人群计数方法
Konishi et al. Real-time 6D object pose estimation on CPU
Mustafa et al. Msfd: Multi-scale segmentation-based feature detection for wide-baseline scene reconstruction
WO2018133119A1 (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
CN1833258A (zh) 图像对象处理
Recky et al. Window detection in complex facades
Tribak et al. QR code patterns localization based on Hu Invariant Moments
CN111161219B (zh) 一种适用于阴影环境的鲁棒单目视觉slam方法
Han et al. Accurate and robust vanishing point detection method in unstructured road scenes
Guan et al. Belief propagation for stereo analysis of night-vision sequences
Wu et al. Research of quickly identifying markers on augmented reality
Zhou et al. Coherent spatial abstraction and stereo line detection for robotic visual attention
Huang et al. Stereo object proposals
Yang et al. Hybrid3D: learning 3D hybrid features with point clouds and multi-view images for point cloud registration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication