CN101086788B - 产生视差图的方法和装置及其立体匹配方法和装置 - Google Patents
产生视差图的方法和装置及其立体匹配方法和装置 Download PDFInfo
- Publication number
- CN101086788B CN101086788B CN2007101085717A CN200710108571A CN101086788B CN 101086788 B CN101086788 B CN 101086788B CN 2007101085717 A CN2007101085717 A CN 2007101085717A CN 200710108571 A CN200710108571 A CN 200710108571A CN 101086788 B CN101086788 B CN 101086788B
- Authority
- CN
- China
- Prior art keywords
- edge
- pixel
- image
- search
- mapped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Abstract
为了立体匹配,从立体图像提取边缘图像。从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩,所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心。在边缘图像的搜索边缘图像的边缘像素中,搜索位于窗口的中心的边缘像素,并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素,所述窗口具有与搜索的边罩匹配的边缘形式。其中,在参考边缘图像的边缘像素中,参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
Description
技术领域
本发明通常涉及用于从立体图像获得三维图像的技术,具体地说,涉及从立体图像产生视差图的方法和装置及其立体匹配方法和装置。
背景技术
立体匹配技术用于从立体图像获得三维(3D)图像。此外,立体匹配技术用于从在同一直线上的不同位置拍摄的对象的多个二维(2D)图像获得3D图像。立体图像是从不同位置拍摄的对象的一对2D图像。
在传统技术中,为了从2D图像产生3D图像,需要与深度信息相应的z坐标以及与垂直位置信息和水平位置信息相应的x坐标和y坐标。需要立体图像的视差信息以计算z坐标。立体匹配技术用于获得视差。例如,如果立体图像是左右两个相机拍摄的左图像和右图像,则左图像和右图像中的一个被设置为参考图像而另一图像被设置为搜索图像。在这种情况下,对于空间中的相同点,参考图像和搜索图像之间的距离(即,坐标差)被称为视差。使用立体匹配技术获得视差。
对于所有像素,使用参考图像和搜索图像之间的视差从像素深度信息产生3D坐标表示的视差图。
将在此简要描述传统技术中用于计算参考图像和搜索图像之间的视差的立体匹配技术的示例。首先,设置以参考图像的参考像素为中心的预定大小参考像素窗口。对于搜索图像,与参考像素窗口具有相同大小的搜索像素窗口被设置以搜索像素为中心。在参考图像的像素中,参考像素用于当前从搜索图像搜索相应点。在搜索图像的像素中,搜索像素用于当前确定其是否被映射到对于参考像素的相应点。窗口具有由中心像素和中心像素周围的外围像素形成的矩阵。
计算参考像素窗口和每个搜索像素窗口内的像素之间的相似度。搜索像素窗口中与参考像素窗口具有最大相似度值的搜索像素窗口的搜索像素被定义为映射到相应点的相应像素。将视差计算为参考像素和相应像素之间的距离。
为了计算参考像素窗口和每个搜索像素窗口内的像素之间的相似度,使用计算并比较参考像素窗口内的像素的平均值和每个搜索像素窗口内的像素的平均值的方法。
用于计算并比较参考像素窗口内的像素的平均值和每个搜索像素窗口内的像素的平均值的处理需要增加处理时间,并且使用量增加的存储器被采用,以获得参考图像和搜索图像之间的视差。简单地,因为计算并比较窗口内所有像素值的平均值,所以应该存储窗口内所有像素值及其平均值,从而增加了存储器的使用量和处理时间。此外,因为对于图像的所有像素应该搜索所有相应像素,所以显著增加了存储器的使用量和处理时间。
可选地,在诸如移动通信终端的小产品的各种移动终端中采用的嵌入式系统具有很多限制,即,电源容量小、处理器计算速率低和存储器容量小。在实践中,在嵌入式系统中很难采用需要大存储器使用量和长处理时间的功能。
在不同于计算机的嵌入式系统中,很难采用用于从立体图像获得3D图像以使用3D图像的各种功能。
发明内容
因此,本发明提供一种用于产生视差图的方法和装置及其立体匹配方法和装置,能够减少从立体图像获得3D图像需要的存储器使用量和处理时间。
此外,本发明提供一种立体匹配方法和装置,能够简单地实现立体图像的立体匹配处理。本发明提供一种视差图产生方法和装置,能够简单地从立体图像产生视差图。
根据本发明的一方面,提供一种立体匹配技术:从立体图像提取边缘图像;从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩,所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心;以及从边缘图像的搜索边缘图像的边缘像素中搜索位于窗口的中心的边缘像素,并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素,所述窗口具有与搜索的边罩匹配的边缘形式。
根据本发明的另一方面,提供一种视差图产生技术:基于参考边缘图像的边缘像素和与其映射的搜索边缘图像的相应边缘像素之间的距离来产生边缘图像视差图;以及通过使用边缘图像视差图的边缘像素之间的内差补偿非边缘图像区的视差图来产生最终视差图。
在参考边缘图像的边缘像素中,参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
附图说明
通过下面结合附图进行的详细描述,本发明的上述和其它特点和优点将会变得更加容易理解,其中:
图1是示出根据本发明的用于产生视差图的装置的框图;
图2是示出根据本发明的用于产生视差图的处理的流程图;
图3是示出根据本发明的立体匹配处理的流程图;
图4示出根据本发明的边罩的示例;以及
图5A和图5B示出根据本发明的以边缘形式匹配的示例。
具体实施方式
下面将参照附图在此详细描述本发明的优选实施例。在下面的描述中,为了简明和清楚,将省略对本领域的技术人员公知的合并于此的功能和结构的详细描述。此外,将描述立体图像是左相机和右相机拍摄的左图像和右图像的示例。
图1是示出根据本发明的用于产生视差图的装置的框图。所述装置设置有第一边缘提取器100和第二边缘提取器102、边缘立体匹配器104、边缘视差图产生器106和视差图补偿器108。
参照图2,将在此描述用于产生视差图的装置。第一边缘提取器100和第二边缘提取器102接收立体图像。立体图像是与从不同位置拍摄的对象的二维(2D)图像相应的一对左图像和右图像。
参照图2,第一边缘提取器100和第二边缘提取器102执行图2的步骤200。第一边缘提取器100接收与立体图像相应的左图像和右图像中的左图像,并提取边缘图像。第二边缘提取器102接收与立体图像相应的左图像和右图像中的右图像,并提取边缘图像。在这里,第一边缘提取器100和第二边缘提取器102提取的边缘图像被分别称为左边缘图像和右边缘图像。由形成左图像和右图像的轮廓的边缘像素来构成左边缘图像和右边缘图像。将提取的左边缘图像和右边缘图像输入到边缘立体匹配器104。其后,边缘立体匹配器104执行图2的步骤202。边缘立体匹配器104执行用于左边缘图像和右边缘图像的边缘立体匹配处理。图3是示出根据本发明的立体匹配处理的流程图。参照图3,左边缘图像和右边缘图像中的一个被称为参考边缘图像,另一个被称为搜索边缘图像。此外,图3示出对于参考边缘图像的边缘像素中的一个参考边缘像素从搜索边缘图像的边缘像素中搜索相应边缘像素的处理。为了对于参考边缘图像的所有边缘像素搜索相应边缘像素,边缘立体匹配器104将图3的处理重复与参考边缘图像的边缘像素的数量相应的次数。此外,当对于参考边缘图像的边缘像素搜索搜索边缘图像的相应边缘像素时,例如,如传统情况,从第一扫描行依次执行搜索,并在一扫描行从第一边缘像素依次执行搜索。
在参考边缘图像的边缘像素中,参考边缘像素用于当前从搜索边缘图像搜索相应点。在搜索边缘图像的边缘像素中,搜索边缘像素用于当前确定其是否被映射到对于参考边缘像素的相应点。
首先,在图3的步骤300,边缘立体匹配器104对于参考边缘图像的边缘像素中的参考边缘像素设置预定大小的参考边缘像素窗口。然后,在步骤302,边缘立体匹配器104将预定数量的不同边罩(edge mask)中的第一边罩应用于参考边缘像素窗口,并且在步骤304,确定参考边缘像素窗口的边缘形式与应用的边罩的边缘形式是否匹配。如果参考边缘像素窗口的边缘形式与应用的边罩的边缘形式不匹配,则在步骤306,边缘立体匹配器104将参考边缘像素窗口的边罩改变为不同的边罩,并且应用该不同的边罩。其后,边缘立体匹配器104返回步骤304,以确定参考边缘像素窗口的边缘形式与应用的边罩的边缘形式是否匹配。使用上述处理,找到与参考边缘像素窗口的边缘形式匹配的边罩。
窗口具有由与参考边缘像素相应的中心像素和中心像素周围的外围像素形成的矩阵。预定映射到能够在窗口内出现的预定边缘形式的边罩。将窗口大小设置为等于边罩大小。水平像素的数量乘以垂直像素的数量的大小被预定为一个大小,例如,3×3、7×7、9×9等。由于窗口或边罩大小被放大,因此能够正确地搜索相应边缘像素,但是因为将被处理的像素的数量增加,所以处理量和时间增加。因此,在考虑本发明中将采用的系统的性能的同时,应该在设计时适当地定义窗口和边罩大小。
图4示出将垂直边罩400、水平边罩402、X形边罩404、钻石形边罩406、向上边罩408、向下边罩410和全边罩412定义为边罩的示例。此外,图4示出这样一种示例,其中,边罩大小是3×3,即,由一个中心像素和中心像素周围的8个外围像素指定3×3的窗口大小。在每个边罩的9个点中,例如,阴影点具有逻辑值“1”,空白点具有逻辑值“0”。
在上述罩中,当垂直地形成以参考边缘像素为中心的窗口内的边缘时,垂直边罩400用于搜索相应边缘像素。当水平地形成以参考边缘像素为中心的窗口内的边缘时,水平边罩402用于搜索相应边缘像素。当以参考边缘像素为中心的窗口内的边缘形成X形时,X形边罩404用于搜索相应边缘像素。当以参考边缘像素为中心的窗口内的边缘形成钻石形时,钻石形边罩406用于搜索相应边缘像素。当以向上的方向且不是以垂直方向形成以参考边缘像素为中心的窗口内的边缘时,向上边罩408用于搜索相应边缘像素。当以向下的方向且不是以垂直方向形成以参考边缘像素为中心的窗口内的边缘时,向下边罩410用于搜索相应边缘像素。当以参考边缘像素为中心的窗口内的所有像素都是边缘时,全边罩412用于搜索相应边缘像素。
因此,在步骤302至306,直到从如图4的示例所示的多个不同的预定边罩中找到与参考边缘像素窗口匹配的边罩,才从第一边罩开始依次执行匹配检查。
当边罩被应用于参考边缘像素窗口时,将描述匹配检查的示例。例如,当参考边缘像素窗口的边缘形式是垂直的时,能够出现包括图5A的示例的各种情况。当应用图4的垂直边罩400时,获得图5B所示的结果。在图5A和图5B中,“0”是逻辑值“0”,“1”是逻辑值“1”。如果应用边罩,则意味着基于逐个像素地对参考边缘像素和边罩执行“和”运算。当参考边缘像素窗口具有如图5A中的(a)~(d)所示的垂直边缘形式,并应用垂直边罩400时,如图5B所示,结果基本上等于垂直边罩400的值。这是参考边缘像素窗口与垂直边罩400的边缘形式匹配的情况。因为通过参照上述示例能够容易地理解与剩余边缘形式相关的边罩应用和匹配检查,所以省略进一步的描述。
在步骤308,如果在步骤302至306的处理中已经搜索到与参考边缘像素窗口的边缘形式匹配的边罩,则将匹配边罩设置为搜索罩。
在步骤310,以与在步骤300设置参考边缘像素的窗口的方式相同的方式来设置搜索边缘图像的边缘像素中的搜索边缘像素的窗口。
在步骤312,将搜索罩应用于搜索边缘像素窗口。在步骤314,对搜索边缘像素窗口的边缘形式与搜索罩的边缘形式是否匹配进行确定。如果搜索边缘像素窗口的边缘形式与搜索罩的边缘形式不匹配,则在步骤316,搜索边缘图像的下一边缘像素(即,扫描行上当前搜索边缘像素的下一边缘像素)被设置为搜索边缘像素,然后,再次执行步骤310。在这里,以与将边罩应用于参考边缘像素窗口并对边缘形式是否匹配进行确定的方式相同的方式,来执行将搜索罩应用于搜索边缘像素窗口并确定边缘形式是否匹配的处理。通过上述处理,找到与搜索罩匹配的边缘形式的搜索边缘像素。
在步骤318,将匹配搜索边缘像素设置为相应边缘像素。也就是说,对于当前参考边缘像素,找到映射到相应点的相应边缘像素。
边缘立体匹配器104通过重复图3的上述处理来搜索所有相应边缘像素。然后,在图2的步骤204,边缘视差图产生器106使用边缘立体匹配器104获得的参考边缘图像的边缘像素和与其映射的搜索边缘图像的相应边缘像素来产生边缘图像视差图。边缘视差图产生器106与传统视差图产生器不同,产生与边缘相关的视差图。产生边缘图像视差图的处理基本上与传统技术的视差图产生处理相同。例如,边缘视差图产生器106基于边缘立体匹配器104获得的参考边缘图像的边缘像素和与其映射的搜索边缘图像的相应边缘像素之间的距离来产生边缘图像视差图。
假定边缘视差图产生器106产生的边缘图像视差图仅是对于边缘图像的视差图而不是对于整个图像的视差图,则不包括非边缘图像区的视差图。在图2的步骤206,视差图补偿器108通过补偿非边缘图像区的视差图来产生最终视差图。视差图补偿器108可使用传统的像素间内差方法补偿边缘图像视差图的非边缘图像区的视差图。也就是说,通过在边缘图像视差图中的邻近边缘像素之间的深度信息(即,z坐标)的内差,补偿非边缘图像区的视差图。
根据本发明,立体匹配处理仅对边缘像素而不是参考图像的所有像素搜索搜索图像的相应边缘像素。
通过使用简单的逻辑“和”运算,而不计算并比较参考像素窗口内的像素的平均值和每个搜索像素窗口内的像素的平均值,来找到与仅由一个比特“1”或“0”表示的边缘形式匹配的搜索像素窗口,以搜索相应边缘像素。也就是说,通过对不同于原始图像的每个像素值的仅由一个比特表示的边缘图像的边缘像素比较边缘形式,来搜索相应边缘像素。
因此,显著减少了存储器的使用量和处理时间。
因为仅使用边缘图像搜索相应边缘像素,所以与对原始图像的所有像素搜索相应像素的情况相比,更能够减少搜索差错。
根据本发明,能够容易地实现立体图像的立体匹配处理,从而能够容易地从立体图像产生视差图。因此,本发明能够减少从立体图像获得3D图像所必需的存储器的使用量和处理时间,从而能够被容易地应用于嵌入式系统。
尽管已经为了示意性目的公开本发明的优选实施例,但本领域的技术人员应该理解,在不脱离权利要求范围的情况下,可以进行各种修改、添加和替换。具体地说,已经描述了左右两个相机拍摄的相同对象的左图像和右图像的示例。此外,本发明还可应用于由至少三个相机拍摄的多个2D图像的情况下。在这种情况下,将一幅图像设置为参考图像,将剩余图像设置为搜索图像。对一幅参考图像的多个搜索图像执行边缘立体匹配处理。在需要处,能够不同地应用边罩的形式和类型以及窗口大小和边罩大小。因此,本发明不限于上述实施例,而由权利要求及等同物的全部范围限定。
Claims (12)
1.一种用于从立体图像产生视差图的立体匹配方法,包括步骤:
从立体图像提取边缘图像;
从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩,所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心;以及
从边缘图像的搜索边缘图像的边缘像素中搜索位于具有与搜索的边罩匹配的边缘形式的窗口的中心的边缘像素,并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素,
其中,在参考边缘图像的边缘像素中,参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
2.如权利要求1所述的立体匹配方法,其中,所述边罩包括:映射到垂直边缘形式的垂直边罩、映射到水平边缘形式的水平边罩、映射到X形边缘形式的X形边罩、映射到钻石形边缘形式的钻石形边罩、映射到向上边缘形式的向上边罩、映射到向下边缘形式的向下边罩和映射到全边缘形式的全边罩。
3.如权利要求1所述的立体匹配方法,其中,预定边罩和预定大小窗口具有相同大小的矩阵形式。
4.一种用于从立体图像产生视差图的方法,包括步骤:
从立体图像提取边缘图像;
从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩,所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心;
从边缘图像的搜索边缘图像的边缘像素中搜索位于具有与搜索的边罩匹配的边缘形式的窗口的中心的边缘像素,并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素;
基于参考边缘图像的边缘像素和与其映射的搜索边缘图像的相应边缘像素之间的距离来产生边缘图像视差图;以及
通过使用边缘图像视差图的边缘像素之间的内差补偿非边缘图像区的视差图来产生最终视差图,
其中,在参考边缘图像的边缘像素中,参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
5.如权利要求4所述的方法,其中,所述边罩包括:映射到垂直边缘形式的垂直边罩、映射到水平边缘形式的水平边罩、映射到X形边缘形式的X形边罩、映射到钻石形边缘形式的钻石形边罩、映射到向上边缘形式的向上边罩、映射到向下边缘形式的向下边罩和映射到全边缘形式的全边罩。
6.如权利要求4所述的方法,其中,预定边罩和预定大小窗口具有相同大小的矩阵形式。
7.一种用于从立体图像产生视差图的立体匹配装置,包括:
边缘提取器,从立体图像提取边缘图像;
边缘立体匹配器,从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩,所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心,从边缘图像的搜索边缘图像的边缘像素中搜索位于具有与搜索的边罩匹配的边缘形式的窗口的中心的边缘像素,并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素,
其中,在参考边缘图像的边缘像素中,参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
8.如权利要求7所述的立体匹配装置,其中,所述边罩包括映射到垂直边缘形式的垂直边罩、映射到水平边缘形式的水平边罩、映射到X形边缘形式的X形边罩、映射到钻石形边缘形式的钻石形边罩、映射到向上边缘形式的向上边罩、映射到向下边缘形式的向下边罩和映射到全边缘形式的全边罩。
9.如权利要求7所述的立体匹配装置,其中,预定边罩和预定大小窗口具有相同大小的矩阵形式。
10.一种用于从立体图像产生视差图的装置,包括:
边缘提取器,从立体图像提取边缘图像;
边缘立体匹配器,从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩,所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心,从边缘图像的搜索边缘图像的边缘像素中搜索位于具有与搜索的边罩匹配的边缘形式的窗口的中心的边缘像素,并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素;
边缘视差图产生器,基于参考边缘图像的边缘像素和与其映射的搜索边缘图像的相应边缘像素之间的距离来产生边缘图像视差图;以及
视差图补偿器,通过使用边缘图像视差图的边缘像素之间的内差补偿非边缘图像区的视差图来产生最终视差图,
其中,在参考边缘图像的边缘像素中,参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
11.如权利要求10所述的装置,其中,所述边罩包括映射到垂直边缘形式的垂直边罩、映射到水平边缘形式的水平边罩、映射到X形边缘形式的X形边罩、映射到钻石形边缘形式的钻石形边罩、映射到向上边缘形式的向上边罩、映射到向下边缘形式的向下边罩和映射到全边缘形式的全边罩。
12.如权利要求10所述的装置,其中,预定边罩和预定大小窗口具有相同大小的矩阵形式。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2006-0051175 | 2006-06-07 | ||
KR1020060051175 | 2006-06-07 | ||
KR1020060051175A KR100762670B1 (ko) | 2006-06-07 | 2006-06-07 | 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101086788A CN101086788A (zh) | 2007-12-12 |
CN101086788B true CN101086788B (zh) | 2011-12-14 |
Family
ID=38461708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101085717A Expired - Fee Related CN101086788B (zh) | 2006-06-07 | 2007-06-06 | 产生视差图的方法和装置及其立体匹配方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7876954B2 (zh) |
EP (1) | EP1865729A3 (zh) |
KR (1) | KR100762670B1 (zh) |
CN (1) | CN101086788B (zh) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100762670B1 (ko) * | 2006-06-07 | 2007-10-01 | 삼성전자주식회사 | 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치 |
CN101933335B (zh) * | 2008-01-29 | 2012-09-05 | 汤姆森特许公司 | 将二维图像数据转换为立体图像数据的方法和系统 |
WO2010048632A1 (en) * | 2008-10-24 | 2010-04-29 | Real D | Stereoscopic image format with depth information |
KR100943635B1 (ko) * | 2008-11-06 | 2010-02-24 | 삼성에스디에스 주식회사 | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 |
DE102009006125A1 (de) * | 2009-01-26 | 2009-09-10 | Daimler Ag | Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern |
CN101877796B (zh) * | 2009-04-28 | 2013-07-24 | 海信集团有限公司 | 一种视差获取方法、装置和系统 |
EP2268045A1 (en) * | 2009-06-26 | 2010-12-29 | Lg Electronics Inc. | Image display apparatus and method for operating the same |
KR20110071213A (ko) * | 2009-12-21 | 2011-06-29 | 한국전자통신연구원 | 스테레오 비젼과 얼굴 검출기를 이용한 3d 아바타 얼굴 생성 장치 및 그 방법 |
GB2478164A (en) | 2010-02-26 | 2011-08-31 | Sony Corp | Calculating misalignment between a stereoscopic image pair based on feature positions |
GB2478156A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for generating a disparity map for stereoscopic images |
GB2479410A (en) * | 2010-04-09 | 2011-10-12 | Tektronix Uk Ltd | Measuring perceived stereoscopic visual depth |
US8488870B2 (en) | 2010-06-25 | 2013-07-16 | Qualcomm Incorporated | Multi-resolution, multi-window disparity estimation in 3D video processing |
US9111342B2 (en) * | 2010-07-07 | 2015-08-18 | Electronics And Telecommunications Research Institute | Method of time-efficient stereo matching |
US8861836B2 (en) * | 2011-01-14 | 2014-10-14 | Sony Corporation | Methods and systems for 2D to 3D conversion from a portrait image |
US8750622B2 (en) * | 2011-04-07 | 2014-06-10 | Panasonic Corporation | Image processing device and image processing method |
US20130004059A1 (en) * | 2011-07-01 | 2013-01-03 | Amir Said | Aligning stereoscopic images |
KR101178015B1 (ko) | 2011-08-31 | 2012-08-30 | 성균관대학교산학협력단 | 시차 맵 생성 방법 |
KR101220003B1 (ko) | 2011-08-31 | 2013-01-09 | 성균관대학교산학협력단 | 시차 맵 생성 방법 |
TWI540538B (zh) * | 2011-10-27 | 2016-07-01 | 晨星半導體股份有限公司 | 對立體影像之處理方法 |
CN103108200B (zh) * | 2011-11-09 | 2016-03-02 | 晨星软件研发(深圳)有限公司 | 对立体影像的处理方法 |
KR101265020B1 (ko) | 2012-02-29 | 2013-05-24 | 성균관대학교산학협력단 | 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법 |
KR101265021B1 (ko) | 2012-02-29 | 2013-05-24 | 성균관대학교산학협력단 | 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치 |
US9210405B2 (en) * | 2012-03-22 | 2015-12-08 | Qualcomm Technologies, Inc. | System and method for real time 2D to 3D conversion of video in a digital camera |
KR101364860B1 (ko) | 2012-09-03 | 2014-02-20 | 강원대학교산학협력단 | 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체 |
CN103489183B (zh) * | 2012-10-17 | 2017-10-10 | 深圳市瑞工科技有限公司 | 一种基于边缘分割和种子点的局部立体匹配方法 |
KR101711684B1 (ko) * | 2012-12-14 | 2017-03-03 | 한국전자통신연구원 | 3d 아바타 출력 장치 및 방법 |
KR20140099098A (ko) * | 2013-02-01 | 2014-08-11 | 한국전자통신연구원 | 능동 스테레오 매칭 방법 및 그 장치 |
US9934451B2 (en) | 2013-06-25 | 2018-04-03 | Microsoft Technology Licensing, Llc | Stereoscopic object detection leveraging assumed distance |
US9767571B2 (en) | 2013-07-29 | 2017-09-19 | Samsung Electronics Co., Ltd. | Apparatus and method for analyzing image including event information |
CN103714543A (zh) * | 2013-12-26 | 2014-04-09 | 南京理工大学 | 基于不变矩空间信息的简单树动态规划的双目立体匹配方法 |
KR101593316B1 (ko) * | 2014-08-18 | 2016-02-11 | 경희대학교 산학협력단 | 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 |
TW201742001A (zh) * | 2016-05-30 | 2017-12-01 | 聯詠科技股份有限公司 | 影像雜訊估測方法及裝置與影像擷取裝置 |
US10839535B2 (en) | 2016-07-19 | 2020-11-17 | Fotonation Limited | Systems and methods for providing depth map information |
US10462445B2 (en) * | 2016-07-19 | 2019-10-29 | Fotonation Limited | Systems and methods for estimating and refining depth maps |
DE112017005807T5 (de) * | 2016-11-17 | 2019-09-12 | Sony Corporation | Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren |
KR102550931B1 (ko) * | 2016-11-29 | 2023-07-04 | 삼성전자주식회사 | 스테레오 매칭 방법 및 장치 |
KR101920159B1 (ko) * | 2017-07-07 | 2018-11-19 | 전자부품연구원 | 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치 |
CN109272516A (zh) * | 2017-07-18 | 2019-01-25 | 深圳市凌云视迅科技有限责任公司 | 一种基于可变窗口的代价聚集方法 |
CN108257165B (zh) * | 2018-01-03 | 2020-03-24 | 上海兴芯微电子科技有限公司 | 图像立体匹配方法、双目视觉设备 |
KR101988551B1 (ko) | 2018-01-15 | 2019-06-12 | 충북대학교 산학협력단 | 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법 |
KR101999797B1 (ko) | 2018-01-15 | 2019-07-12 | 충북대학교 산학협력단 | 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법 |
CN112991254A (zh) | 2019-12-13 | 2021-06-18 | 上海肇观电子科技有限公司 | 视差估计系统、方法、电子设备及计算机可读存储介质 |
KR102430120B1 (ko) | 2019-12-24 | 2022-08-05 | 동의대학교 산학협력단 | 스테레오 기반의 roi 검출 알고리즘의 성능을 향상시키는 방법 및 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040105580A1 (en) * | 2002-11-22 | 2004-06-03 | Hager Gregory D. | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns |
US20040223640A1 (en) * | 2003-05-09 | 2004-11-11 | Bovyrin Alexander V. | Stereo matching using segmentation of image columns |
CN1643939A (zh) * | 2002-03-27 | 2005-07-20 | 三洋电机株式会社 | 立体图像处理方法及装置 |
CN1678085A (zh) * | 2004-03-31 | 2005-10-05 | 三洋电机株式会社 | 立体图像处理方法以及立体图像处理装置 |
US20050232510A1 (en) * | 2004-04-16 | 2005-10-20 | Andrew Blake | Virtual image generation |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU7989991A (en) * | 1990-05-29 | 1991-12-31 | Axiom Innovation Limited | Machine vision stereo matching |
US5210799A (en) * | 1991-03-28 | 1993-05-11 | Texas Instruments Incorporated | System and method for ranking and extracting salient contours for target recognition |
US5487116A (en) * | 1993-05-25 | 1996-01-23 | Matsushita Electric Industrial Co., Ltd. | Vehicle recognition apparatus |
JP2919284B2 (ja) * | 1994-02-23 | 1999-07-12 | 松下電工株式会社 | 物体認識方法 |
US5684890A (en) * | 1994-02-28 | 1997-11-04 | Nec Corporation | Three-dimensional reference image segmenting method and apparatus |
JP3242529B2 (ja) * | 1994-06-07 | 2001-12-25 | 松下通信工業株式会社 | ステレオ画像対応付け方法およびステレオ画像視差計測方法 |
US6493465B2 (en) * | 1996-02-21 | 2002-12-10 | Canon Kabushiki Kaisha | Matching point extracting method and apparatus therefor |
JP3975530B2 (ja) * | 1996-12-27 | 2007-09-12 | 富士ゼロックス株式会社 | 画像処理装置 |
US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
US6556704B1 (en) * | 1999-08-25 | 2003-04-29 | Eastman Kodak Company | Method for forming a depth image from digital image data |
JP2001101415A (ja) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | 画像認識装置および画像処理装置 |
JP2001184497A (ja) | 1999-10-14 | 2001-07-06 | Komatsu Ltd | ステレオ画像処理装置及び記録媒体 |
US20020164068A1 (en) * | 2001-05-03 | 2002-11-07 | Koninklijke Philips Electronics N.V. | Model switching in a communication system |
KR100411875B1 (ko) * | 2001-06-15 | 2003-12-24 | 한국전자통신연구원 | 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법 |
JP2003098424A (ja) * | 2001-09-25 | 2003-04-03 | Fujitsu Ten Ltd | 画像処理測距装置 |
US7715591B2 (en) * | 2002-04-24 | 2010-05-11 | Hrl Laboratories, Llc | High-performance sensor fusion architecture |
US7164784B2 (en) * | 2002-07-30 | 2007-01-16 | Mitsubishi Electric Research Laboratories, Inc. | Edge chaining using smoothly-varying stereo disparity |
US7043084B2 (en) * | 2002-07-30 | 2006-05-09 | Mitsubishi Electric Research Laboratories, Inc. | Wheelchair detection using stereo vision |
KR100682889B1 (ko) * | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
US20050201591A1 (en) * | 2004-03-10 | 2005-09-15 | Kiselewich Stephen J. | Method and apparatus for recognizing the position of an occupant in a vehicle |
KR100785594B1 (ko) * | 2005-06-17 | 2007-12-13 | 오므론 가부시키가이샤 | 화상 처리 장치 |
US7609877B2 (en) * | 2006-02-09 | 2009-10-27 | The United States Of America As Represented By The Secretary Of The Navy | Tactical image parameter adjustment method for stereo pair correlation |
KR100762670B1 (ko) * | 2006-06-07 | 2007-10-01 | 삼성전자주식회사 | 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치 |
-
2006
- 2006-06-07 KR KR1020060051175A patent/KR100762670B1/ko active IP Right Grant
-
2007
- 2007-06-01 EP EP07109412.2A patent/EP1865729A3/en not_active Withdrawn
- 2007-06-06 CN CN2007101085717A patent/CN101086788B/zh not_active Expired - Fee Related
- 2007-06-07 US US11/759,601 patent/US7876954B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1643939A (zh) * | 2002-03-27 | 2005-07-20 | 三洋电机株式会社 | 立体图像处理方法及装置 |
US20040105580A1 (en) * | 2002-11-22 | 2004-06-03 | Hager Gregory D. | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns |
US20040223640A1 (en) * | 2003-05-09 | 2004-11-11 | Bovyrin Alexander V. | Stereo matching using segmentation of image columns |
CN1678085A (zh) * | 2004-03-31 | 2005-10-05 | 三洋电机株式会社 | 立体图像处理方法以及立体图像处理装置 |
US20050232510A1 (en) * | 2004-04-16 | 2005-10-20 | Andrew Blake | Virtual image generation |
Also Published As
Publication number | Publication date |
---|---|
US20070286476A1 (en) | 2007-12-13 |
KR100762670B1 (ko) | 2007-10-01 |
EP1865729A3 (en) | 2013-11-13 |
CN101086788A (zh) | 2007-12-12 |
EP1865729A2 (en) | 2007-12-12 |
US7876954B2 (en) | 2011-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101086788B (zh) | 产生视差图的方法和装置及其立体匹配方法和装置 | |
US8675997B2 (en) | Feature based image registration | |
CN108076338B (zh) | 图像视觉处理方法、装置及设备 | |
US9053550B2 (en) | Techniques for rapid stereo reconstruction from images | |
CN107274338B (zh) | 用于深度图的低等待时间变形的系统、方法和装置 | |
US8867826B2 (en) | Disparity estimation for misaligned stereo image pairs | |
CN104156957B (zh) | 一种稳定高效的高分辨率立体匹配方法 | |
CN103248906B (zh) | 一种双目立体视频序列的深度图获取方法与系统 | |
CN103810708A (zh) | 一种激光散斑图像深度感知方法及装置 | |
CN110738618B (zh) | 一种基于双目相机的不规则堆料体积测量方法 | |
CN103839258A (zh) | 一种二值化激光散斑图像的深度感知方法 | |
US20230252664A1 (en) | Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium | |
CN106815594A (zh) | 立体匹配方法及装置 | |
CN102905145B (zh) | 立体影像系统、影像产生方法、影像调整装置及其方法 | |
CN105277169B (zh) | 基于图像分割的双目测距方法 | |
CN104574331A (zh) | 一种数据处理方法、装置、计算机存储介质及用户终端 | |
CN113192179A (zh) | 一种基于双目立体视觉的三维重建方法 | |
KR100943635B1 (ko) | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 | |
CN107203962B (zh) | 一种利用2d图片制作伪3d图像的方法及电子设备 | |
CN104270624A (zh) | 一种分区域的3d视频映射方法 | |
JP2017229067A (ja) | 少なくとも1つのライトフィールドカメラにより一対の立体画像を生成する方法及び装置 | |
CN103473807A (zh) | 一种3d模型变换系统及方法 | |
CN113808033A (zh) | 图像文档校正方法、系统、终端及介质 | |
CN112615993A (zh) | 深度信息获取方法、双目摄像模组、存储介质及电子设备 | |
Wang et al. | Accelerating image-domain-warping virtual view synthesis on GPGPU |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111214 Termination date: 20190606 |
|
CF01 | Termination of patent right due to non-payment of annual fee |