CN105279736A - 产生深度图像的方法及其系统 - Google Patents

产生深度图像的方法及其系统 Download PDF

Info

Publication number
CN105279736A
CN105279736A CN201410386122.9A CN201410386122A CN105279736A CN 105279736 A CN105279736 A CN 105279736A CN 201410386122 A CN201410386122 A CN 201410386122A CN 105279736 A CN105279736 A CN 105279736A
Authority
CN
China
Prior art keywords
image
depth
search
point
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410386122.9A
Other languages
English (en)
Inventor
徐敏堂
陈昱均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of CN105279736A publication Critical patent/CN105279736A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

一种产生深度图像的方法和系统。首先,通过位于不同位置的一第一图像捕获装置与一第二图像捕获装置,捕获一目标场景,并产生一第一图像与一第二图像。接着,沿着Y轴方向取样该第一图像与该第二图像,产生一第一特征图像与一第二特征图像,并且沿着X轴方向取样该第一特征图像与该第二特征图像,以产生一第三特征图像与一第四特征图像。其次,搜寻该第三特征图像的一目标点相对于该第四特征图像的一对应点的位置,其中该目标点有一搜寻范围。之后,依据该目标点及其相对的该对应点的位置计算一深度信息,得到一第一深度图像与一第二深度图像。接着,依据该第一深度图像与该第二深度图像,产生一第三深度图像。本发明可以加快搜寻对应点的速度。

Description

产生深度图像的方法及其系统
技术领域
本发明涉及一种产生深度图像的方法及其系统,尤其涉及一种可快速找到左图像与右图像的对应点的产生深度图像的方法及其系统。
背景技术
深度计算广泛用于各种领域,例如可用于产生三维(3D)立体图像等。对具有两台以上的摄影机或立体摄影机(Stereoscopiccamera)的装置来说,可采用基于视差的深度演算法,以图像视点变化引起的视差为深度计算依据。基于视差的深度演算法利用左右摄影机因拍摄角度不同,同一物体在左右图像中的成像位置不同造成视差产生位移偏差(disparity),可根据位移偏差来建立一深度图(depthmap),此深度图包含距物体的距离信息,由此可求得对应物体的深度信息,进而算出与待测物体的距离。之后,此深度图可应用于各种领域,例如图像技术中的自动机器人导航、深度图建立、人/机交谈、监视以及自动对焦系统等等。
也就是说,找深度的问题即为找左右图像中的对应点的问题。然而,为了找出左右图像的对应点,通常需要耗费庞大的计算量才能达成。举例来说,假设一张图像的大小为1280x960个像素,为了求得整张图像的深度值,便需要做1228800次搜索。若最大搜寻值设定为128时,则需要进行1280x960x128=157286400次搜索才能找出左右图像的对应点的位置,计算复杂度庞大,使得整体处理速度不佳,难以达到即时运算的需求。因此,需要一种可快速找出左右图像的对应点,进而求得深度图的图像深度计算方法及系统。
发明内容
有鉴于此,为了克服现有技术中存在的缺陷,本发明提供一种产生深度图像的方法及其系统,用以快速找出左右图像的对应点,进而求得深度图。
本发明一实施例提供一种产生深度图像的方法,适用于一产生深度图像的系统。方法包括下列步骤。首先,通过位于不同位置的一第一图像捕获装置与一第二图像捕获装置,捕获一目标场景,并产生一第一图像与一第二图像。接着,沿着Y轴方向取样该第一图像与该第二图像,产生一第一特征图像与一第二特征图像,并且沿着X轴方向取样该第一特征图像与该第二特征图像,以产生一第三特征图像与一第四特征图像。其次,搜寻该第三特征图像的一目标点相对于该第四特征图像的一对应点的位置,其中该目标点有一搜寻范围。之后,依据该目标点及其相对的该对应点的位置计算一深度信息,得到一第一深度图像与一第二深度图像。接着,依据该第一深度图像与该第二深度图像,产生一第三深度图像。其中该搜寻范围分为多个搜寻区段,并且每一该搜寻区段具有一对应搜寻频率。
本发明另一实施例提供一种产生深度图像的系统,包括一第一图像捕获装置、一第二图像捕获装置、一存储模块、一取样模块、一搜寻模块以及一图像处理模块。第一图像捕获装置用以捕获一目标场景,并产生一第一图像。第二图像捕获装置用以捕获该目标场景,并产生一第二图像。存储模块耦合于第一图像捕获装置与第二图像捕获装置之间,用以存储第一图像与第二图像。取样模块用以沿着Y轴方向取样第一图像与第二图像,产生一第一特征图像与一第二特征图像,其中取样模块沿着X轴方向取样第一特征图像与第二特征图像,以产生一第三特征图像与一第四特征图像。搜寻模块用以搜寻第三特征图像的一目标点相对于第四特征图像的一对应点的位置,其中目标点有一搜寻范围。图像处理模块耦接于取样模块以及搜寻模块,用以依据目标点及相对的对应点的位置计算一深度信息,得到一第一深度图像与一第二深度图像。其中,图像处理模块依据第一深度图像与第二深度图像,产生一第三深度图像。其中搜寻范围分为多个搜寻区段,并且每一搜寻区段具有一对应搜寻频率。
本发明上述方法可以通过程序码方式收录于实体介质中。当程序码被机器载入且执行时,机器变成用以实行本发明的装置。
本发明的有益效果在于,依据本发明的产生深度图像的方法及其系统,于搜寻通过不同位置的两个图像捕获装置所捕获到的图像的对应点时,采用特定顺序的取样方式,可有效减少需搜寻的目标点,同时维持深度精确度,以较少计算量即可建立深度图,加快搜寻对应点的速度。此外,依据本发明的产生深度图像的方法及其系统,还可进一步分割搜寻范围为多个搜寻区段并赋予每一搜寻区段一个不同搜寻频率,可大幅减少需搜寻的次数,进而提高搜寻效率与加快搜寻速度。再者,依据本发明的产生深度图像的方法及其系统可进一步利用连续图像的特性来辅助,于成本匹配计算时加重前一个找到的深度值的权重以稳定深度,可容易于后续图像中得到与前张图像相同的深度值。
附图说明
图1为显示本发明一实施例的产生深度图像的系统的示意图。
图2为显示本发明一实施例的图像的示意图。
图3为显示依据本发明一实施例的产生深度图像的方法的流程图。
图4为显示依据本发明一实施例的图像深度计算方式的示意图。
图5为显示依据本发明一实施例的对应点搜寻示意图。
图6为显示依据本发明一实施例的成本函数-视差的关系图。
附图标记说明如下:
10~目标场景;
100~产生深度图像的系统;
110~第一图像捕获装置;
120~第二图像捕获装置;
130~存储模块;
140~取样模块;
150~搜寻模块;
160~图像处理模块;
200~图像;
201~像素阵列;
(X,Y)~像素点;以及
S302、S304、…、S310、S312~步骤。
具体实施方式
为让本发明的上述与其他目的、特征、与优点能更明显易懂,下文特举出较佳实施例,并配合附图,作详细说明如下:
图1为显示本发明一实施例的产生深度图像的系统100的示意图。如图1所示,产生深度图像的系统100可用以检测其前方的目标场景10,可用以捕获关于目标场景的图像,计算图像的深度,计算出来深度可应用于各种领域,例如图像技术中的自动机器人导航、人/机交谈、监视以及自动对焦系统等等。产生深度图像的系统100可至少包括一第一图像捕获装置110、一第二图像捕获装置120、一存储模块130、一取样模块140、一搜寻模块150以及一图像处理模块160,其中第一图像捕获装置110与第二图像捕获装置120分别设置于相距一固定距离内的不同位置,可用以于同一时间捕获目标场景10的图像。具体来说,第一图像捕获装置110可于一第一时间捕获目标场景10并产生一第一图像,而第二图像捕获装置120可于相同的第一时间捕获目标场景10并产生一第二图像,其中第一图像以及第二图像各由一像素阵列所组成且像素阵列包含多个像素点(X,Y)。其中,X表示X轴的坐标,Y表示Y轴的坐标。参见图2,为显示本发明一实施例的图像的示意图。如图2所示,图像200包括一像素阵列201,像素阵列201包含1280*960个像素点(X,Y),每个像素点具有坐标(X,Y),其中,X表示X轴的坐标,Y表示Y轴的坐标。参见图2,沿着Y轴方向对图像进行取样指对同一X轴坐标,依序对Y轴坐标为0,1,2,…,959的像素点进行取样,而沿着X轴方向对图像进行取样指对同一Y轴坐标,依序对X轴坐标为0,1,2,…,1279的像素点进行取样。
存储模块130耦合于第一图像捕获装置110与第二图像捕获装置120之间,用以存储第一图像捕获装置110与第二图像捕获装置120同时产生的第一图像与第二图像。取样模块140用以依据一特定取样顺序,对第一图像与第二图像进行取样,产生对应的特征图像。搜寻模块150用以搜寻第三特征图像的一目标点相对于第四特征图像的一对应点的位置,其中目标点有一搜寻范围。
图像处理模块160耦接至第一图像捕获装置110、第二图像捕获装置120、存储模块130、取样模块140以及搜寻模块150,其具有适当的软件、硬件元件或两者的组合,可用以执行本案的产生深度图像的方法,其细节将描述于下。注意的是,于一些实施例中,存储模块130、取样模块140以及搜寻模块150也可整合于图像处理模块150中,用以执行本案的产生深度图像的方法。
具体来说,取样模块140可先沿着Y轴方向取样第一图像与第二图像,产生一第一特征图像与一第二特征图像,接着再沿着X轴方向取样第一特征图像与第二特征图像,由此产生第三特征图像与第四特征图像。搜寻模块150接着搜寻第三特征图像的一目标点相对于第四特征图像的一对应点的位置,其中目标点有一搜寻范围且搜寻范围可被分为多个搜寻区段,并且每一搜寻区段具有一对应搜寻频率。图像处理模块160接着依据每个目标点及相对的对应点的位置计算一深度信息,得到一第一深度图像与一第二深度图像例如特定比例的缩小深度图像,最后再依据第一深度图像与第二深度图像,产生一第三深度图像例如可将缩小深度图像放大回原来的比例,便可求得对应的深度图像(或称深度图)。
提醒的是,为了加快处理速度,一般先直接缩小图像来计算深度,得到缩小图像的深度后再放大回原寸,然而,这样的作法容易造成深度精确度的损失。因此,于一实施例中,本案采用先对原始图像进行垂直(Y轴)方向取样计算各点的特征值(目标点)产生特征图后,再对该特征图进行水平(X轴)方向取样来取得缩小图像对应的深度图像,最后将缩小图像对应的深度图像放大回原尺寸来得到原始图像对应的深度图像,由此可避免造成深度精确度的损失。
图3显示依据本发明一实施例的产生深度图像的方法的流程图,用以计算并产生一图像的深度图。请同时参照图1与图3。依据本发明实施例的产生深度图像的方法可以应用于图1的产生深度图像的系统100上。
首先,如步骤S302,通过位于不同位置的第一图像捕获装置110与第二图像捕获装置120,捕获一目标场景10,并产生一第一图像与一第二图像,其中第一图像以及第二图像各由一像素阵列所组成且像素阵列包含多个像素点(X,Y)。举例来说,左图像的大小可为1280*960个像素,其由包含1280*960个像素点(X,Y)的像素阵列所组成,如图2所示。产生的第一图像与第二图像将会存储于存储模块130中。
于产生目标场景10的第一图像与第二图像之后,如步骤S304,取样模块140自存储模块130取出第一图像与第二图像,并依据一缩小比例,沿着Y轴方向取样第一图像与第二图像,产生一第一特征图像与一第二特征图像。其中,第一特征图像与第二特征图像包括第一图像以及第二图像的对应图像特征图。举例来说,假设缩小比例为1/4时,则对像素点(X,Y)而言,取样模块影140可先沿Y轴方向取样第一图像,也即对第一图像中Y坐标为0,4,8…,960的像素点进行取样,计算特征产生大小为1280*240个像素的特征图,得到表示第一图像特征图的第一特征图像。类似地,取样模块140可沿Y轴方向取样第二图像,也即对右图像中Y坐标为0,4,8…,960的像素点进行取样,计算特征产生大小为1280*240个像素的特征图,得到表示第二图像特征图的第二特征图像。
于得到第一特征图像与第二特征图像之后,如步骤S306,取样模块140再依据此缩小比例,沿着X轴方向取样第一特征图像与第二特征图像,以产生一第三特征图像与一第四特征图像。之后,如步骤S308,搜寻模块150再搜寻第三特征图像的每个目标点相对于第四特征图像的一对应点的位置,以搜寻第三特征图像的每一目标点在第四特征图像的一对应点,并且于搜寻模块150找出第三特征图像的每一目标点在第四特征图像的一对应点之后,如步骤S310,图像处理模块160可依据每个目标点及其相对的对应点的位置计算一深度信息,得到一第一深度图像与第二深度图像。其中每一目标点有一搜寻范围,其表示每一目标点所需找寻的对应点的个数。举例来说,假设搜寻范围设为128时,则表示每一目标点需要从128个点中找出其对应点,因此需搜寻128次。举例来说,假设缩小比例为1/4时,则对像素点(X,Y)而言,取样模块140可沿X轴方向对第二特征图像进行取样,也即对第二特征图像中X坐标为0,4,8…,1280的像素点进行取样,取得大小为320*240个像素的缩小图像,以产生第三特征图像。类似地,取样模块140可沿X轴方向对第一特征图像进行取样,也即对第一特征图像中X坐标为0,4,8…,1280的像素点进行取样,取得大小为320*240个像素的缩小图像,以产生第四特征图像。搜寻模块150将搜寻第三特征图像的每个目标点相对于第四特征图像的一对应点的位置,以搜寻第三特征图像的每一目标点在第四特征图像的一对应点,来取得大小为320*240个像素的缩小图像对应的深度图像,得到表示缩小为1/4的第一图像对应的缩小深度图像的第一深度图像。
类似地,搜寻模块150将搜寻第四特征图像的每个目标点相对于第三特征图像的一对应点的位置,以搜寻第四特征图像的每一目标点在第三特征图像的一对应点,来取得大小为320*240个像素的缩小图像对应的深度图像,得到表示缩小为1/4的第一图像对应的缩小深度图像的第二深度图像。也就是说,第一深度图像与第二深度图像包括左图像以及右图像的对应缩小深度图像。
于一实施例中,依据每一目标点以及其对应的对应点计算一深度信息的步骤可包括计算每一目标点以及其对应的对应点的一位移偏差(disparity)并依据位移偏差得到深度信息。举例来说,但不限于此,于一实施例中,可利用位于两侧的图像捕获装置例如左右相机的视差产生位移偏差d,以得到对应物件10的深度Z,其中d=XR-XT,XR表示左图像(第一图像)的目标点以及XT表示XR于右图像(第二图像)中的对应点,则深度Z可经由以下公式得到:
Z=b*f/(XR-XT)=b*f/d(1),
其中,b表示左右相机的距离,f表示其焦距。由于b、f的值为预先决定好的固定值,因此可根据公式(1)与每一目标点以及其对应的对应点的一位移偏差简单推得各点的深度Z。
于得到第一深度图像与一第二深度图像之后,如步骤S312,图像处理模块160可依据第一深度图像与第二深度图像,产生一第三深度图像。
于一实施例中,依据第一深度图像与第二深度图像,得到第三深度图像的步骤可进一步包括相应于缩小比例,放大第一深度图像与第二深度图像,以便得到第三深度图像。举例来说,假设缩小比例为1/4,则图像处理模块160可将大小为320*240个像素的第一深度图像,放大4倍,得到相应原始图像大小(1280*960)的深度图。于一些实施例中,放大第一深度图像与第二深度图像的步骤可进一步包括利用一内插运算放大第一深度图像与第二深度图像以放大回原尺寸。举例来说,假设取样时仅选取(X,Y)坐标分别为(0,0)与(4,0)的像素点且坐标为(1,0)、(2,0)与(3,0)的像素点未被选取时,则放大回原尺寸时可利用坐标(0,0)与(4,0)的像素点的值经由内插运算或其他运算来得到坐标(1,0)、(2,0)与(3,0)的值。由于内插运算广泛应用于各种领域,其细节不在此赘述。
因此,本案以特定顺序对原始图像进行取样来缩小图像,于产生特征图时保留所有可能的位移偏差,之后,再对该特征图进行取样来取得缩小图像对应的深度图像,由此可避免直接缩小图像造成深度精确度的损失。
图4显示依据本发明一实施例的图像深度计算的示意图,用以计算并产生一图像的深度图。于此实施例中,假设第一图像捕获装置110以及第二图像捕获装置120已分别取得一第一图像L与一第二图像R。首先,对第一图像L与第二图像R进行一图像校正,得到一左校正图像L’与一右校正图像R’。接着,对左校正图像L’与右校正图像R’进行一特征计算。依据一缩小比例,沿着Y轴方向对左校正图像L’与右校正图像R’进行取样,得到一第一特征图像与一第二特征图像,以得到左图像特征图与右图像特征图。举例来说,如图4所示,假设原始左图像与右图像的大小为1280*960个像素且缩小比例为1/4时,则对像素点(X,Y)而言,可先沿Y轴方向对左校正图像L’与右校正图像R’图像进行取样,计算特征产生大小为1280*240个像素的特征图(第一特征图像以及第二特征图像),接着沿X轴方向取样第一特征图像以及第二特征图像,计算特征产生大小为1280*240个像素的特征图(第三特征图像以及第四特征图像)。接着,依据第三特征图像以及第四特征图像,得到一左缩小深度图像(第一深度图像)与右缩小深度图像(第二深度图像)。
其中,得到第一深度图像与第二深度图像依据每一目标点以及其对应点计算位移偏差,并通过如前述公式(1)计算深度信息,得到第一深度图像与第二深度图像。之后,再相应于缩小比例,放大第一深度图像与第二深度图像,以便得到第三深度图像DL与第四深度图像DR。举例来说,可沿着X轴方向对左图像特征图与右图像特征图进行取样来取得大小为320*240个像素的缩小图像对应的深度图像,最后将缩小图像对应的深度图像放大回原尺寸(1280*960个像素)来得到原始图像对应的深度图像。
最后,对第三深度图像DL与第四深度图像DR进行一误差校正与匹配,得到一左深度图像Dout。其中,误差校正与匹配用以交叉比对算出的第三深度图像DL与第四深度图像DR的一致性并适当进行误差校正,使左深度图像Dout的精确度更高,其广泛应用于本领域,故其细节不在此赘述。
于一些实施例中,为了加快搜寻速度,本案还进一步利用图像的视差(disparity)(或称水平位移偏量)与深度成反比的特性,将搜寻范围分为多个搜寻区段,并且每一搜寻区段具有一对应搜寻频率,并且于每一搜寻区段中以对应搜寻频率进行搜寻。其中,搜寻频率与其与物件的距离有关。其中,距离愈远的点,深度值愈大,而其水平位移偏量则愈小,因此在包含这些点的搜寻区段内需要仔细搜寻,其搜寻频率较频繁。相反地,距离愈近的点,深度值愈小,而其水平位移偏量则愈大,因此在包含这些点的搜寻区段内无需仔细搜寻,可给予较不频繁的搜寻频率。
于本实施例中,前述搜寻第一特征图像的每一目标点在第二特征图像的一对应点,可进一步包括于每一搜寻区段中以对应搜寻频率进行搜寻的步骤。举例来说,参见图5,为显示依据本发明一实施例的对应点搜寻示意图。如图5所示,假设最大搜寻范围Rmax设为128,也即搜寻范围为水平位移偏量数值为0~127的像素点,则Rmax可分割为4个搜寻区段S1-S4。其中搜寻区段S1对水平位移偏量数值为0-31的像素点的区段进行搜寻;搜寻区段S2对水平位移偏量数值为32-63的像素点的区段进行搜寻,搜寻区段S3对水平位移偏量数值为64-95的像素点的区段进行搜寻,搜寻区段S4对水平位移偏量数值为96-127的像素点的区段进行搜寻,且其中搜寻区段S1-S4分别具有搜寻频率F1-F4。搜寻频率F1为每个像素点搜寻一次,搜寻频率F2为每两个像素点点搜寻一次,搜寻频率F3为每四个像素点搜寻一次,搜寻频率F4为每八个像素点搜寻一次。
也就是说,搜寻区段S1中,每一个像素点都会依序进行搜寻,其搜寻顺序可为0,1,2,…,31。搜寻区段S2以每两个像素点的频率进行搜寻,其搜寻顺序可为33,35,37,…,63;搜寻区段S3以每四个像素点的频率进行搜寻,其搜寻顺序可为67,71,75,…,91,95;而搜寻区段S4则以每八个像素点的频率进行搜寻,其搜寻顺序可为103,111,119,127,因此总共仅需搜寻60次便可找出对应点。相比较先前技术中于找寻对应点时于最大搜寻范围内采用一个一个搜需要128次的搜寻,依据本案的深度计算方法,于找寻对应点时,依据不同搜寻区段给予不同的搜寻频率,可大幅减少需搜寻的次数,进而提高搜寻效率与处理速度。
于一些实施例中,由于深度计算时有许多算错的可能性,为了让深度值稳定,本案还可利用连续图像的特性来辅助以稳定深度。依据第一图像中的一第一目标点及其于第二图像中的一第一对应点,计算一第一深度值。于执行一成本函数(CostFunction)计算时,对该第一深度值提供一权重,使其于产生第一图像之后接续经由第一图像捕获装置捕获目标场景而产生一第三图像(接续左图像)时,于第三图像的相同位置的第一目标点得到相同或相似于第一深度值的深度值。举例来说,假设某一像素点于前一张图像中找到的深度值为Dp,于计算成本值Cost时,可对于后续的图像中相同深度值Dp附近的成本值给予加成,赋予较高的权重,调整后可更容易于后续图像中得到与前张图像相同的深度值。参见图6,为显示依据本发明的一实施例的成本函数-视差的关系图。如图6所示,其中横轴表示位移偏差,纵轴表示成本函数,假设前张图像的某一目标点的深度值DP所对应的位移偏差在线段L所示之处,则将Dp附近的成本值给予加成,赋予较高的权重,调整其深度曲线,调整后图像比较可以取得与前张图像近似的深度值。
因此,依据本发明的产生深度图像的方法及其系统,于搜寻通过不同位置的两个图像捕获装置所捕获到的图像的对应点时,采用特定顺序的取样方式,可有效减少需搜寻的目标点,同时维持深度精确度,以较少计算量即可建立深度图,加快搜寻对应点的速度。此外,依据本发明的产生深度图像的方法及其系统,还可进一步分割搜寻范围为多个搜寻区段并赋予每一搜寻区段一个不同搜寻频率,可大幅减少需搜寻的次数,进而提高搜寻效率与加快搜寻速度。再者,依据本发明的产生深度图像的方法及其系统可进一步利用连续图像的特性来辅助,于成本匹配计算时加重前一个找到的深度值的权重以稳定深度,可容易于后续图像中得到与前张图像相同的深度值。
本发明的方法,或特定型态或其部份,可以以程序码的型态存在。程序码可以包含于实体介质,如软碟、光碟片、硬碟、或是任何其他机器可读取(如电脑可读取)存储介质,也或不限于外在形式的电脑程序产品,其中,当程序码被机器,如电脑载入且执行时,此机器变成用以参与本发明的装置。程序码也可通过一些传送介质,如电线或电缆线、光纤、或是任何传输型态进行传送,其中,当程序码被机器,如电脑接收、载入且执行时,此机器变成用以参与本发明的装置。当在一般用途处理单元实现时,程序码结合处理单元提供一操作类似于应用特定逻辑电路的独特装置。
虽然本发明已以较佳实施例公开如上,然而其并非用以限定本发明,任何本领域技术人员,在不脱离本发明的精神与范围内,当可作些许的改动与润饰。举例来说,本发明实施例所述的系统以及方法可以硬件、软件或硬件以及软件的组合的实体实施例加以实现。因此本发明的保护范围应当以所附的权利要求范围所界定的为准。

Claims (12)

1.一种产生深度图像的方法,包括下列步骤:
通过位于不同位置的一第一图像捕获装置与一第二图像捕获装置,捕获一目标场景,并产生一第一图像与一第二图像;
沿着Y轴方向取样该第一图像与该第二图像,产生一第一特征图像与一第二特征图像;
沿着X轴方向取样该第一特征图像与该第二特征图像,以产生一第三特征图像与一第四特征图像;
以该第三特征图像的一目标点为基础,搜寻该第四特征图像的一对应点的位置,其中该目标点有一搜寻范围;
依据每一个该目标点及其相对的该对应点的位置计算一深度信息,得到一第一深度图像与一第二深度图像;以及
依据该第一深度图像与该第二深度图像,产生一第三深度图像;
其中该搜寻范围分为多个搜寻区段,并且每一该搜寻区段具有一对应搜寻频率。
2.如权利要求1所述的方法,其中该对应搜寻频率和该目标点与该对应点之间的位移偏差成反比。
3.如权利要求1所述的方法,其中依据该第一深度图像与该第二深度图像,产生该第三深度图像的步骤还包括:
相应于一缩小比例,放大该第一深度图像与该第二深度图像,以产生该第三深度图像。
4.如权利要求3所述的方法,其中相应于该缩小比例,放大该第一深度图像与该第二深度图像的步骤还包括利用一内插运算放大该第一深度图像与该第二深度图像。
5.如权利要求1所述的方法,还包括:
依据一第一目标点以及其对应的一第一对应点计算一第一深度值;以及
于执行一成本计算时对该第一深度值提供一权重,使其于产生该第一图像之后经由该第一图像捕获装置捕获该目标场景而产生一第三图像时,于该第三图像的该第一目标点得到该第一深度值。
6.如权利要求1所述的方法,其中依据该目标点以及其相对的该对应点的位置计算该深度信息,得到该第一深度图像与该第二深度图像的步骤还包括:
计算该目标点以及该对应点之间的一位移偏差;以及
依据该位移偏差算出该深度信息。
7.一种产生深度图像的系统,包括:
一第一图像捕获装置,用以捕获一目标场景,并产生一第一图像;
一第二图像捕获装置,用以捕获该目标场景,并产生一第二图像;
一存储模块,耦合于该第一图像捕获装置与该第二图像捕获装置之间,用以存储该第一图像与该第二图像;
一取样模块,用以沿着Y轴方向取样该第一图像与该第二图像,产生一第一特征图像与一第二特征图像,其中该取样模块沿着X轴方向取样该第一特征图像与该第二特征图像,以产生一第三特征图像与一第四特征图像;
一搜寻模块,用以搜寻该第三特征图像的一目标点相对于该第四特征图像的一对应点的位置,其中该目标点有一搜寻范围;
一图像处理模块,耦接于该取样模块以及该搜寻模块,用以依据该目标点及相对的该对应点的位置计算一深度信息,得到一第一深度图像与一第二深度图像;
其中该图像处理模块依据该第一深度图像与该第二深度图像,产生一第三深度图像;
其中该搜寻范围分为多个搜寻区段,并且每一该搜寻区段具有一对应搜寻频率。
8.如权利要求7所述的系统,其中该对应搜寻频率和该目标点与该对应点之间的位移偏差成反比。
9.如权利要求7所述的系统,其中该图像处理模块还相应于一缩小比例,放大该第一深度图像与该第二深度图像,以产生该第三深度图像。
10.如权利要求7所述的系统,其中该图像处理模块还利用一内插运算以放大该第一深度图像与该第二深度图像。
11.如权利要求7所述的系统,其中该图像处理模块还依据一第一目标点以及其对应的一第一对应点计算一第一深度值,并于执行一成本计算时对该第一深度值提供一权重,使其于产生该第一图像之后经由该第一图像捕获装置捕获该目标场景而产生一第三图像时,于该第三图像的该第一目标点得到该第一深度值。
12.如权利要求7所述的系统,其中该图像处理模块依据该目标点以及其相对的该对应点的位置计算该深度信息,得到该第一深度图像与该第二深度图像通过计算该目标点以及该对应点之间的一位移偏差并依据该位移偏差算出该深度信息。
CN201410386122.9A 2014-07-21 2014-08-07 产生深度图像的方法及其系统 Pending CN105279736A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103124881 2014-07-21
TW103124881A TWI528783B (zh) 2014-07-21 2014-07-21 產生深度影像之方法及其系統及電腦程式產品

Publications (1)

Publication Number Publication Date
CN105279736A true CN105279736A (zh) 2016-01-27

Family

ID=55148689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410386122.9A Pending CN105279736A (zh) 2014-07-21 2014-08-07 产生深度图像的方法及其系统

Country Status (2)

Country Link
CN (1) CN105279736A (zh)
TW (1) TWI528783B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683133A (zh) * 2016-12-09 2017-05-17 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
CN106780589A (zh) * 2016-12-09 2017-05-31 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
CN109213138A (zh) * 2017-07-07 2019-01-15 北京臻迪科技股份有限公司 一种避障方法、装置及系统
CN109410253A (zh) * 2018-11-06 2019-03-01 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN114866758A (zh) * 2022-05-31 2022-08-05 星宸科技股份有限公司 视差图像填补方法以及图像处理装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231754A (zh) * 2008-02-03 2008-07-30 四川虹微技术有限公司 多视角视频图像深度搜索方法及深度估计方法
CN102047288A (zh) * 2008-05-28 2011-05-04 汤姆森特许公司 利用正向和反向深度预测进行图像的深度提取的系统和方法
CN102204263A (zh) * 2008-11-03 2011-09-28 微软公司 将2d视频转换为立体视频
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
TW201324437A (zh) * 2011-12-06 2013-06-16 Ind Tech Res Inst 階段式深度運算裝置及階段式深度運算方法
CN103202026A (zh) * 2010-11-10 2013-07-10 三星电子株式会社 图像转换设备及使用其的显示设备和方法
US20130251240A1 (en) * 2012-03-21 2013-09-26 Industrial Technology Research Institute Image processing apparatus and image processing method
CN103428514A (zh) * 2012-05-24 2013-12-04 矽统科技股份有限公司 深度图产生装置及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231754A (zh) * 2008-02-03 2008-07-30 四川虹微技术有限公司 多视角视频图像深度搜索方法及深度估计方法
CN102047288A (zh) * 2008-05-28 2011-05-04 汤姆森特许公司 利用正向和反向深度预测进行图像的深度提取的系统和方法
CN102204263A (zh) * 2008-11-03 2011-09-28 微软公司 将2d视频转换为立体视频
CN103202026A (zh) * 2010-11-10 2013-07-10 三星电子株式会社 图像转换设备及使用其的显示设备和方法
TW201324437A (zh) * 2011-12-06 2013-06-16 Ind Tech Res Inst 階段式深度運算裝置及階段式深度運算方法
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
US20130251240A1 (en) * 2012-03-21 2013-09-26 Industrial Technology Research Institute Image processing apparatus and image processing method
CN103428514A (zh) * 2012-05-24 2013-12-04 矽统科技股份有限公司 深度图产生装置及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683133A (zh) * 2016-12-09 2017-05-17 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
CN106780589A (zh) * 2016-12-09 2017-05-31 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
CN109213138A (zh) * 2017-07-07 2019-01-15 北京臻迪科技股份有限公司 一种避障方法、装置及系统
CN109213138B (zh) * 2017-07-07 2021-09-14 北京臻迪科技股份有限公司 一种避障方法、装置及系统
CN109410253A (zh) * 2018-11-06 2019-03-01 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109410253B (zh) * 2018-11-06 2019-11-26 北京字节跳动网络技术有限公司 用于生成信息的方法、装置、电子设备和计算机可读介质
CN114866758A (zh) * 2022-05-31 2022-08-05 星宸科技股份有限公司 视差图像填补方法以及图像处理装置
CN114866758B (zh) * 2022-05-31 2024-02-23 星宸科技股份有限公司 视差图像填补方法以及图像处理装置

Also Published As

Publication number Publication date
TWI528783B (zh) 2016-04-01
TW201605225A (zh) 2016-02-01

Similar Documents

Publication Publication Date Title
CN105279736A (zh) 产生深度图像的方法及其系统
CN101933335B (zh) 将二维图像数据转换为立体图像数据的方法和系统
US10027947B2 (en) Image processing apparatus and image processing method
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
AU2020401367A1 (en) 3-D reconstruction using augmented reality frameworks
CN104539934A (zh) 图像采集装置和图像处理方法、系统
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
CN101680756A (zh) 复眼摄像装置、测距装置、视差算出方法以及测距方法
CN111899282A (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN112381847B (zh) 管路端头空间位姿测量方法及系统
CN111260720A (zh) 一种基于深度学习方法的目标高度测定系统
US10142613B2 (en) Image processing apparatus, image processing system, and image processing method
CN101577004A (zh) 一种极线矫正方法、装置和系统
CN103425626A (zh) 一种摄像机间坐标转换方法及装置
TWI571099B (zh) 深度估測裝置及方法
WO2009099117A1 (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统
US9674503B2 (en) Stereo matching apparatus using image property
CN105184780B (zh) 一种立体视觉深度的预测方法和系统
El Hazzat et al. Structure from motion for 3D object reconstruction based on local and global bundle adjustment
CN106548482B (zh) 一种基于稀疏匹配与图像边缘的稠密匹配方法及系统
US9380285B2 (en) Stereo image processing method, stereo image processing device and display device
KR101766756B1 (ko) 스테레오 비전 시스템의 렉티피케이션 장치 및 그 방법
JP2021131377A (ja) 生成装置、生成方法およびプログラム
JP2001238230A (ja) 多眼式立体テレビシステムにおける3次元構造情報を抽出する装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160127