CN107027019B - 图像视差获取方法及装置 - Google Patents

图像视差获取方法及装置 Download PDF

Info

Publication number
CN107027019B
CN107027019B CN201610064279.9A CN201610064279A CN107027019B CN 107027019 B CN107027019 B CN 107027019B CN 201610064279 A CN201610064279 A CN 201610064279A CN 107027019 B CN107027019 B CN 107027019B
Authority
CN
China
Prior art keywords
event
image
pixel
parallax
indicate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610064279.9A
Other languages
English (en)
Other versions
CN107027019A (zh
Inventor
郭萍
邹冬青
王强
朴根柱
赵百焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201610064279.9A priority Critical patent/CN107027019B/zh
Priority to KR1020160085660A priority patent/KR102187192B1/ko
Priority to US15/277,572 priority patent/US10341634B2/en
Publication of CN107027019A publication Critical patent/CN107027019A/zh
Application granted granted Critical
Publication of CN107027019B publication Critical patent/CN107027019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像视差获取方法及装置，其中，该方法包括：针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价，根据该代价，计算该事件的中间过程视差；其中，左目图像和右目图像是基于DVS获取的图像；针对第一图像中的每一个事件，根据该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定第一图像中的该事件是否为鲁棒事件；其中，当第一图像为左目图像时，第二图像为右目图像，当第一图像为右目图像时，第二图像为左目图像；根据第一图像中的鲁棒事件的中间过程视差，估计第一图像中的所有事件的全局最优视差。本申请能够解决现有技术中由于针对每一个像素进行处理而导致的计算量较大且计算所需时间较长的问题。

Description

图像视差获取方法及装置
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种图像视差获取方法及装置。
背景技术
目前，图像视差计算技术已经在许多重要的应用场景，例如，对象识别、场景三维建模和辅助驾驶等应用场景中发挥了核心作用。近年来，图像视差计算技术成果丰硕，根据双目图像(两个传感器在同一时刻拍摄同一场景得到的两个图像，分别称为左目图像和右目图像)匹配使用方法的不同，主要可以分为如下三类：
1)基于局部特征相似性的技术
该类技术通过匹配双目图像的每个像素及其邻域范围内像素的特征分布，为左目图像的每个像素点，在右目图像中匹配到最佳像素。
2)基于非局部特征相似性的技术
该类技术在整个图像特征空间中，为每个像素寻找特征相近的多个像素，建立这些像素间的相似性关系；在此基础上，计算双目图像中像素的代价匹配矩阵，通过贪心策略得到每个像素的视差。
3)基于全局特征相似性的技术
该类技术首先建立每个像素和所在图像中所有像素的相似性，构建图像的条件随机场；利用局部特征相似性技术，分别计算双目图像中每个像素的视差，通过左右交叉验证，去除匹配异常点；利用条件随机场，将鲁棒的视差传播到其它像素。
上述三类技术均针对像素进行处理，即，需要针对每一个像素进行处理，所需计算量较大，计算所需时间较长。
发明内容
有鉴于此，本申请提供了一种图像视差获取方法及装置。
本申请的技术方案如下：
一方面，提供了一种图像视差获取方法，包括：
针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价，根据该代价，计算该事件的中间过程视差；其中，左目图像和右目图像是基于DVS获取的图像；
针对第一图像中的每一个事件，根据该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定第一图像中的该事件是否为鲁棒事件；其中，当第一图像为左目图像时，第二图像为右目图像，当第一图像为右目图像时，第二图像为左目图像；
根据第一图像中的鲁棒事件的中间过程视差，估计第一图像中的所有事件的全局最优视差。
其中，在针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价之前，还包括：去除左目图像和右目图像中的噪声。
其中，去除图像中的噪声的方法包括：
对图像进行特征分解，得到其中，δi表示第i个特征值，并且，δ1,δ2,…,δr按照由大到小的顺序排列，ui和vi表示相互正交的特征向量，r表示特征值的总数；
从δ1,δ2,…,δr中获取不小于预设值的前k个特征值δ1,δ2,…,δk，其中，k＜r；
按照以下公式计算得到去除噪声后的图像I0：
其中，针对图像中的每一个事件，计算该事件在预定视差范围内的代价的方法包括：
计算该图像中的每一个像素的特征；
针对该图像中的每一个事件，根据以对应于该事件的像素为中心点的局部范围内的像素的特征，计算该事件在预定视差范围内的代价。
其中，图像中的像素(x,y)的特征满足以下公式：
其中，x,y分别表示像素的横坐标和纵坐标，Fn(x,y)表示像素(x,y)在方向n上的特征，En(i,y)表示像素(x,y)在方向n上的邻近像素(i,y)的极性值，i≠x，i表示邻近像素(i,y)的横坐标，rot表示对该图像进行旋转，abs表示求取绝对值，n＝1,2,...,N，N表示方向总数，min表示取最小值。
其中，在预定视差值为d的条件下，按照以下公式计算事件的代价C(x,y,d)：
其中，α表示线性合并权重，x,y 分别表示对应于该事件的像素的横坐标和纵坐标，W(x,y)表示以对应于该事件的像素(x, y)为中心点的局部范围，(x′,y′)表示W(x,y)中的任一像素，Fn(x′,y′)表示像素(x′,y′)在 方向n上的特征，Fn(x′+d,y′)表示像素(x′+d,y′)在方向n上的特征，n＝1,2,...,N，N表示 方向总数，d表示预定视差范围内的任一视差值，E(x,y)表示对应于该事件的像素(x,y)的 极性值，E(x+d,y)表示像素(x+d,y)的极性值。
其中，按照以下公式计算事件的中间过程视差d(x,y)：
其中，x,y分别表示对应于该事件的像素的横坐标和纵坐标，C(x,y,d)表示在预定视差值为d的条件下该事件的代价，d表示预定视差范围内的任一视差值，表示使C(x,y,d)取最小值时的d。
其中，针对第一图像中的每一个事件，根据该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定第一图像中的该事件是否为鲁棒事件的方法包括：
判断第一图像中的该事件的中间过程视差dl(x,y)与第二图像中的对应事件的中间过程视差dr(x+dl(x,y),y)是否相等；其中，x,y分别表示对应于第一图像中的该事件的像素的横坐标和纵坐标，x+dl(x,y),y分别表示对应于第二图像中的对应事件的像素的横坐标和纵坐标；
若相等，则确定第一图像中的该事件为鲁棒事件；
否则，确定第一图像中的该事件为不鲁棒事件。
其中，按照以下公式估计第一图像中的所有事件的全局最优视差组成的集合
其中，λ表示线性合并权重， M表示第一图像中鲁棒事件的总数，di表示根据第一图像中的鲁棒事件i在预定视差范围内 的代价计算得到的鲁棒事件i的中间过程视差，表示第一图像中的鲁棒事件i的全局最优 视差，S表示第一图像中的事件总数，表示第一图像中的事件j的全局最优视差，K表示在 事件j周围选取的鲁棒事件的总数，dm表示根据选取的鲁棒事件m在预定视差范围内的代价 计算得到的鲁棒事件m的中间过程视差，wjm表示事件j与鲁棒事件m的特征相似度，表示使取最小值时的
另一方面，还提供了一种图像视差获取装置，包括：
代价计算模块，用于针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价；其中，左目图像和右目图像是基于DVS获取的图像；
视差计算模块，用于根据代价计算模块计算得到的事件在预定视差范围内的代价，计算该事件的中间过程视差；
确定模块，用于针对第一图像中的每一个事件，根据视差计算模块计算得到的该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定第一图像中的该事件是否为鲁棒事件；其中，当第一图像为左目图像时，第二图像为右目图像，当第一图像为右目图像时，第二图像为左目图像；
视差估计模块，用于在确定模块确定出第一图像中的鲁棒事件之后，根据视差计算模块计算得到的第一图像中的鲁棒事件的中间过程视差，估计第一图像中的所有事件的全局最优视差。
其中，该装置还包括：去噪模块，用于在代价计算模块针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价之前，去除左目图像和右目图像中的噪声。
其中，去噪模块包括：
分解单元，用于对图像进行特征分解，得到其中，δi表示第i个特征值，并且，δ1,δ2,…,δr按照由大到小的顺序排列，ui和vi表示相互正交的特征向量，r表示特征值的总数；
获取单元，用于从δ1,δ2,…,δr中获取不小于预设值的前k个特征值δ1,δ2,…,δk，其中，k＜r；
去噪后图像计算单元，用于按照以下公式计算得到去除噪声后的图像I0：
其中，代价计算模块包括：
特征计算单元，用于计算该图像中的每一个像素的特征；
事件代价计算单元，用于针对该图像中的每一个事件，根据特征计算单元计算得到的以对应于该事件的像素为中心点的局部范围内的像素的特征，计算该事件在预定视差范围内的代价。
其中，图像中的像素(x,y)的特征满足以下公式：
其中，x,y分别表示像素的横坐标和纵坐标，Fn(x,y)表示像素(x,y)在方向n上的特征，En(i,y)表示像素(x,y)在方向n上的邻近像素(i,y)的极性值，i≠x，i表示邻近像素(i,y)的横坐标，rot表示对该图像进行旋转，abs表示求取绝对值，n＝1,2,...,N，N表示方向总数，min表示取最小值。
其中，在预定视差值为d的条件下，事件代价计算单元按照以下公式计算事件的代价C(x,y,d)：
其中，α表示线性合并权重，x,y 分别表示对应于该事件的像素的横坐标和纵坐标，W(x,y)表示以对应于该事件的像素(x, y)为中心点的局部范围，(x′,y′)表示W(x,y)中的任一像素，Fn(x′,y′)表示像素(x′,y′)在 方向n上的特征，Fn(x′+d,y′)表示像素(x′+d,y′)在方向n上的特征，n＝1,2,...,N，N表示 方向总数，d表示预定视差范围内的任一视差值，E(x,y)表示对应于该事件的像素(x,y)的 极性值，E(x+d,y)表示像素(x+d,y)的极性值。
其中，视差计算模块按照以下公式计算事件的中间过程视差d(x,y)：
其中，x,y分别表示对应于该事件的像素的横坐标和纵坐标，C(x,y,d)表示在预定视差值为d的条件下该事件的代价，d表示预定视差范围内的任一视差值，表示使C(x,y,d)取最小值时的d。
其中，确定模块包括：
判断单元，用于判断第一图像中的该事件的中间过程视差dl(x,y)与第二图像中的对应事件的中间过程视差dr(x+dl(x,y),y)是否相等；其中，x,y分别表示对应于第一图像中的该事件的像素的横坐标和纵坐标，x+dl(x,y),y分别表示对应于第二图像中的对应事件的像素的横坐标和纵坐标；
事件确定单元，用于若判断单元的判断结果是相等，则确定第一图像中的该事件为鲁棒事件，若判断单元的判断结果是不相等，则确定第一图像中的该事件为不鲁棒事件。
其中，视差估计模块按照以下公式估计第一图像中的所有事件的全局最优视差组成的集合
其中，λ表示线性合并权重， M表示第一图像中鲁棒事件的总数，di表示根据第一图像中的鲁棒事件i在预定视差范围内 的代价计算得到的鲁棒事件i的中间过程视差，表示第一图像中的鲁棒事件i的全局最优 视差，S表示第一图像中的事件总数，表示第一图像中的事件j的全局最优视差，K表示在 事件j周围选取的鲁棒事件的总数，dm表示根据选取的鲁棒事件m在预定视差范围内的代价 计算得到的鲁棒事件m的中间过程视差，wjm表示事件j与鲁棒事件m的特征相似度，表示使取最小值时的
本申请的以上技术方案中，针对基于DVS获取到的左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价，并根据该代价计算该事件的中间过程视差；针对第一图像中的每一个事件，根据该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定第一图像中的该事件是否为鲁棒事件，其中，当第一图像为左目图像时，第二图像为右目图像，当第一图像为右目图像时，第二图像为左目图像；根据第一图像中的鲁棒事件的中间过程视差，估计第一图像中的所有事件的全局最优视差，从而实现了对DVS图像的视差的计算。上述方法针对图像中的事件进行处理，而不是针对像素进行处理，而事件比像素的数量少很多，因此，能够解决现有技术中由于针对每一个像素进行处理而导致的计算量较大且计算所需时间较长的问题。
另外，首先去除左目图像和右目图像中的噪声，然后再针对图像中的每一个事件进行处理，最终得到第一图像中所有事件的全局最优视差，可以在针对图像中的事件进行计算之前，先有效的去除图像中包含的噪声，即无效事件，从而仅对保留的有效事件进行计算，进一步减少了计算量，缩短了计算所需时间，提高了工作效率。
另外，提出了图像中的像素的特征描述子，能够有效描述像素的特征，并有效建立左右目图像中事件的对应关系。基于第一图像中鲁棒事件的中间过程视差，估计出第一图像中所有事件的全局最优视差的方法，能够提高第一图像中事件的视差平滑性和视差估计精度。
附图说明
图1是本申请实施例的图像视差获取方法的流程图；
图2是本申请实施例的去除图像中的噪声的方法的流程图；
图3是本申请实施例的计算事件在预定视差范围内的代价和中间过程视差的方法的流程图；
图4是本申请实施例的在单方向上寻找邻近事件和在8个方向上寻找邻近事件的示意图；
图5是本申请实施例的确定事件是鲁棒事件还是不鲁棒事件的方法的流程图；
图6是本申请实施例的图像视差获取装置的一种结构示意图；
图7是本申请实施例的图像视差获取装置的另一种结构示意图。
具体实施方式
为了解决现有技术中存在的需要针对每一个像素进行处理，所需计算量较大，计算所需时间较长的问题，本申请实施例中提供了一种图像视差获取方法，以及一种可以应用该方法的图像视差获取装置。
DVS(Dynamic Vision Sensor，动态视觉传感器)根据拍摄场景的光照强度变化而产生事件，通常将DVS在某一时间段内输出的所有事件组成一个图像，图像中的某些像素对应于一个事件，而某些像素不对应事件。DVS生成的图像具有如下特点：
(1)事件稀疏性。DVS是一种运动敏感型传感器，只捕获存在相对运动且光照强度变化达到一定阈值的物体边界或轮廓事件。因此，仅需少量事件就可以描述拍摄场景中的内容。
(2)DVS产生的事件与拍摄场景的光照强度变化有关，当拍摄场景中的光照强度变化大于给定阈值时，DVS产生相应事件，以描述拍摄场景中的内容变化。因此，DVS是一种光照变化鲁棒型的传感器，减少了光照因素对图像的影响。
本申请以下实施例中，使用两台DVS在同一时间段内拍摄同一场景，输出的事件分别组成左目图像和右目图像。如图1所示，本申请实施例的图像视差获取方法包括以下步骤：
步骤S101，去除左目图像和右目图像中的噪声；
DVS所产生的图像中的事件具有一定的特点。通常而言，事件是根据光照强度变化而产生的，因此，事件通常集中分布在拍摄场景中的对象的轮廓或边界周围，即，分布较散的事件通常可以被视为噪声。利用该特点，可以对图像进行特征分解，特征值越小，表示事件分布越离散，反之，特征值越大，表示事件分布越集中。因此，可以提取前几个特征值不小于预设值的特征向量并重新组合，得到去除噪声后的图像。
具体的，如图2所示，去除图像中的噪声的方法包括以下步骤：
步骤S1011：对图像I进行特征分解，得到
假设，I0表示去除噪声后的图像，e表示噪声，则有以下公式(1)：
其中，δi表示第i个特征值，并且，δ1,δ2,…,δ按照由大到小的顺序排列，ui和vi表示相互正交的特征向量，r表示特征值的总数。
步骤S1012：从δ1,δ2,…,δk,…,δr中获取不小于预设值的前k个特征值δ1,δ2,…,δk，其中，k＜r；
步骤S1013：按照公式(2)计算得到去除噪声后的图像I0。
步骤S102，针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价，根据该代价，计算该事件的中间过程视差；
具体的，如图3所示，步骤S102中针对图像中的每一个事件，计算该事件在预定视差范围内的代价，根据该代价，计算该事件的中间过程视差的方法具体包括以下步骤：
步骤S1021，计算该图像中的每一个像素的特征；
本申请实施例中通过计算每一个像素与给定方向上的最近事件之间的距离，来描述该像素的特征。具体而言，针对每一个像素，分别在N个方向上寻找距离该像素最近的事件，计算出从该像素到每一个最近事件之间的距离，最终得到N个距离，用以描述该像素的特征。例如，如图4所示，N可以取8。
像素(x,y)的特征的计算公式如公式(3)：
其中，x,y分别表示像素的横坐标和纵坐标，Fn(x,y)表示像素(x,y)在方向n上的特征，En(i,y)表示像素(x,y)在方向n上的邻近像素(i,y)的极性值，i≠x，i表示邻近像素(i,y)的横坐标，rot表示对该图像进行旋转，abs表示求取绝对值，n＝1,2,...,N，N表示方向总数，min表示取最小值。
步骤S1022，针对该图像中的每一个事件，根据以对应于该事件的像素为中心点的局部范围内的像素的特征，计算该事件在预定视差范围内的代价(即代价矩阵C(x,y,d))；
事件的代价主要包含以下两大部分，分别是特征匹配代价和极性匹配代价：
(1)特征匹配代价
在预定视差值为d的条件下，事件的特征匹配代价CFn(x,y,d)满足以下公式(4)：
其中，x,y分别表示对应于该事件的像素的横坐标和纵坐标；W(x,y)表示以对应于该事件的像素(x,y)为中心点的局部范围，例如，该局部范围可以是一个正方形的范围；(x′,y′)表示W(x,y)中的任一像素；Fn(x′,y′)表示像素(x′,y′)在方向n上的特征；Fn(x′+d,y′)表示像素(x′+d,y′)在方向n上的特征，n＝1,2,...,N，N表示方向总数；d表示预定视差范围内的任一视差值，比如，预定视差范围是1～100，则d＝1,2,...,100。在实际实施过程中，预定视差范围通常是根据实际经验给定的。
(2)极性匹配代价
在预定视差值为d的条件下，事件的极性匹配代价CP(x,y,d)满足以下公式(5)：
CP(x,y,d)＝[E(x+d,y)-E(x,y)]2 (5)
其中，x,y分别表示对应于该事件的像素的横坐标和纵坐标；E(x,y)表示对应于该事件的像素(x,y)的极性值，E(x+d,y)表示像素(x+d,y)的极性值；d表示预定视差范围内的任一视差值，比如，预定视差范围是1～100，则d＝1,2,...,100。
因此，在预定视差值为d的条件下，事件的最终的代价矩阵C(x,y,d)满足公式(6)：
其中，α表示线性合并权重。
左目图像中的事件和右目图像中的事件分别进行计算，从而，可以按照公式(6)计算得到左目图像中的事件的代价矩阵Cl(x,y,d)，以及，按照公式(6)计算得到右目图像中的事件的代价矩阵Cr(x,y,d)。
步骤S1023，根据该事件在预定视差范围内的代价矩阵C(x,y,d)，计算该事件的中间过程视差d(x,y)。
首先，根据该事件在预定视差范围内的代价矩阵C(x,y,d)，利用胜者为王(winnertake all)算法，按照公式(7)计算该事件的中间过程视差d(x,y)：
其中，x,y分别表示对应于该事件的像素的横坐标和纵坐标，C(x,y,d)表示在预定视差值为d的条件下该事件的代价矩阵，d表示预定视差范围内的任一视差值，比如，预定视差范围是1～100，则d＝1,2,...,100，表示使C(x,y,d)取最小值时的d。其中，左目图像中的事件和右目图像中的事件分别进行计算，从而，可以按照公式(7)计算得到左目图像中的事件的中间过程视差dl(x,y)，以及，可以按照公式(7)计算得到右目图像中的事件的中间过程视差dr(x,y)。
步骤S103，针对第一图像(即为参考图像)中的每一个事件，根据该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定第一图像中的该事件是否为鲁棒事件；其中，当第一图像为左目图像时，第二图像为右目图像，当第一图像为右目图像时，第二图像为左目图像；
在步骤S103中，针对第一图像中的每一个事件，进行左右目图像视差交叉验证，确定该事件是鲁棒事件还是不鲁棒事件。如图5所示，具体的验证方法包括以下步骤：
步骤S1031，判断第一图像中的该事件的中间过程视差dl(x,y)与第二图像中的对应事件的中间过程视差dr(x+dl(x,y),y)是否相等，若相等，则执行步骤S1032，否则，执行步骤S1033；
其中，x,y分别表示对应于第一图像中的该事件的像素的横坐标和纵坐标，x+dl(x,y),y分别表示对应于第二图像中的对应事件的像素的横坐标和纵坐标。
步骤S1032，确定第一图像中的该事件为鲁棒事件；
步骤S1033，确定第一图像中的该事件为不鲁棒事件。
通过步骤S103，可以确定出第一图像中的哪些事件是鲁棒事件，哪些事件是不鲁棒事件，如果一个事件是鲁棒事件，则表明该事件的中间过程视差计算对了，反之，如果是不鲁棒事件，则表明该事件的中间过程视差计算错了，需要重新估计该事件的视差(即步骤S104中，该事件的全局最优视差)。
步骤S104，根据第一图像中的鲁棒事件的中间过程视差，估计第一图像中的所有事件的全局最优视差。
为了估计第一图像中的不鲁棒事件的全局最优视差，可以根据事件间的关联关系进行推理。通常而言，空间相邻的事件具有相似的视差值。据此，可以构建如公式(8)所示的第一图像的视差条件随机场：
其中，λ表示线性合并权重，M表示第一图像中鲁棒事件的总数，di表示根据第一图 像中的鲁棒事件i在预定视差范围内的代价计算得到的鲁棒事件i的中间过程视差，表示 第一图像中的鲁棒事件i的全局最优视差，S表示第一图像中的事件总数，表示第一图像 中的事件j的全局最优视差，K表示在事件j周围选取的鲁棒事件的总数，dm表示根据选取的 鲁棒事件m在预定视差范围内的代价计算得到的鲁棒事件m的中间过程视差，wjm表示事件j 与鲁棒事件m的特征相似度，表示使取最小值时的
在公式(8)中，第一项能量公式旨在保持鲁棒事件视差(即，将鲁棒事件的全局最优视差保持为中间过程视差)，第二项能量式旨在保持相邻事件视差间的平滑过渡关系。采用梯度下降法最小化求得上述公式(8)，得到的结果即为第一图像中所有事件的全局最优视差(最终输出结果视差)。
采用公式(8)能够达到以下效果：保留鲁棒事件的中间过程视差，使用周围的鲁棒事件的中间过程视差估计不鲁棒事件的全局最优视差，保证第一图像中事件的视差平滑性。
本申请实施例的方法中，针对基于DVS获取到的左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价，并根据该代价计算该事件的中间过程视差；针对第一图像中的每一个事件，根据该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定第一图像中的该事件是否为鲁棒事件，其中，当第一图像为左目图像时，第二图像为右目图像，当第一图像为右目图像时，第二图像为左目图像；根据第一图像中的鲁棒事件的中间过程视差，估计第一图像中的所有事件的全局最优视差，从而实现了对DVS图像的视差的计算。上述方法针对图像中的事件进行处理，而不是针对像素进行处理，而事件比像素的数量少很多，因此，能够解决现有技术中由于针对每一个像素进行处理而导致的计算量较大且计算所需时间较长的问题。
另外，本申请实施例的方法中，首先去除左目图像和右目图像中的噪声，然后再针对图像中的每一个事件进行处理，最终得到第一图像中所有事件的全局最优视差，可以在针对图像中的事件进行计算之前，先有效的去除图像中包含的噪声，即无效事件，从而仅对保留的有效事件进行计算，进一步减少了计算量，缩短了计算所需时间，提高了工作效率。
另外，本申请实施例的方法中，提出了图像中的像素的特征描述子，能够有效描述像素的特征，并有效建立左右目图像中事件的对应关系。基于第一图像中鲁棒事件的中间过程视差，估计出第一图像中所有事件的全局最优视差的方法，能够提高第一图像中事件的视差平滑性和视差估计精度。
表1给出了当分别使用现有技术1、现有技术2和本申请实施例的方法计算图像视差时，得到的第一图像中所有事件的视差误差的平均值的实验数据。
表1
现有技术1 现有技术2 本申请实施例的方法
Avgerr 2.14 10.07 1.36
其中，Avgerr表示第一图像中所有事件的视差误差的平均值(单位是像素)。由表1可以看出，与现有技术1和现有技术2相比，使用本申请实施例的方法时得到的视差误差的平均值最小，从而视差估计精度也就最高。
针对上述实施例中的方法，本申请实施例中提供了一种可以使用上述方法的图像视差获取装置。
如图6所示，该图像视差获取装置中包括以下模块：代价计算模块201、视差计算模块202、确定模块203和视差估计模块204，其中：
代价计算模块201，用于针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价；其中，左目图像和右目图像是基于DVS获取的图像；
视差计算模块202，用于根据代价计算模块201计算得到的事件在预定视差范围内的代价，计算该事件的中间过程视差；
确定模块203，用于针对第一图像中的每一个事件，根据视差计算模块202计算得到的该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定第一图像中的该事件是否为鲁棒事件；其中，当第一图像为左目图像时，第二图像为右目图像，当第一图像为右目图像时，第二图像为左目图像；
视差估计模块204，用于在确定模块203确定出第一图像中的鲁棒事件之后，根据视差计算模块202计算得到的第一图像中的鲁棒事件的中间过程视差，估计第一图像中的所有事件的全局最优视差。
如图7所示，该装置中还包括：去噪模块205，用于在代价计算模块201针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价之前，去除左目图像和右目图像中的噪声。
其中，去噪模块205中包括：分解单元、获取单元和去噪后图像计算单元，其中：
分解单元，用于对图像进行特征分解，得到其中，δi表示第i个特征值，并且，δ1,δ2,…,δr按照由大到小的顺序排列，ui和vi表示相互正交的特征向量，r表示特征值的总数；
获取单元，用于从δ1,δ2,…,δr中获取不小于预设值的前k个特征值δ1,δ2,…,δk，其中，k＜r；
去噪后图像计算单元，用于按照以下公式计算得到去除噪声后的图像I0：
其中，代价计算模块201中包括：特征计算单元和事件代价计算单元，其中：
特征计算单元，用于计算该图像中的每一个像素的特征；
事件代价计算单元，用于针对该图像中的每一个事件，根据特征计算单元计算得到的以对应于该事件的像素为中心点的局部范围内的像素的特征，计算该事件在预定视差范围内的代价。
其中，图像中的像素(x,y)的特征满足以下公式：
其中，x,y分别表示像素的横坐标和纵坐标，Fn(x,y)表示像素(x,y)在方向n上的特征，En(i,y)表示像素(x,y)在方向n上的邻近像素(i,y)的极性值，i≠x，i表示邻近像素(i,y)的横坐标，rot表示对该图像进行旋转，abs表示求取绝对值，n＝1,2,...,N，N表示方向总数，min表示取最小值。
其中，在预定视差值为d的条件下，事件代价计算单元按照以下公式计算事件的代价C(x,y,d)：
其中，α表示线性合并权重，x,y 分别表示对应于该事件的像素的横坐标和纵坐标，W(x,y)表示以对应于该事件的像素(x, y)为中心点的局部范围，(x′,y′)表示W(x,y)中的任一像素，Fn(x′,y′)表示像素(x′,y′)在 方向n上的特征，Fn(x′+d,y′)表示像素(x′+d,y′)在方向n上的特征，n＝1,2,...,N，N表示 方向总数，d表示预定视差范围内的任一视差值，E(x,y)表示对应于该事件的像素(x,y)的 极性值，E(x+d,y)表示像素(x+d,y)的极性值。
其中，视差计算模块202按照以下公式计算事件的中间过程视差d(x,y)：
其中，x,y分别表示对应于该事件的像素的横坐标和纵坐标，C(x,y,d)表示在预定视差值为d的条件下该事件的代价，d表示预定视差范围内的任一视差值，表示使C(x,y,d)取最小值时的d。
其中，确定模块203中包括：判断单元和事件确定单元，其中：
判断单元，用于判断第一图像中的该事件的中间过程视差dl(x,y)与第二图像中的对应事件的中间过程视差dr(x+dl(x,y),y)是否相等；其中，x,y分别表示对应于第一图像中的该事件的像素的横坐标和纵坐标，x+dl(x,y),y分别表示对应于第二图像中的对应事件的像素的横坐标和纵坐标；
事件确定单元，用于若判断单元的判断结果是相等，则确定第一图像中的该事件为鲁棒事件，若判断单元的判断结果是不相等，则确定第一图像中的该事件为不鲁棒事件。
其中，视差估计模块204按照以下公式估计第一图像中的所有事件的全局最优视差组成的集合
其中，λ表示线性合并权重， M表示第一图像中鲁棒事件的总数，di表示根据第一图像中的鲁棒事件i在预定视差范围内 的代价计算得到的鲁棒事件i的中间过程视差，表示第一图像中的鲁棒事件i的全局最优 视差，S表示第一图像中的事件总数，表示第一图像中的事件j的全局最优视差，K表示在 事件j周围选取的鲁棒事件的总数，dm表示根据选取的鲁棒事件m在预定视差范围内的代价 计算得到的鲁棒事件m的中间过程视差，wjm表示事件j与鲁棒事件m的特征相似度，表示使取最小值时的
综上，本申请以上实施例可以达到以下技术效果：
(1)针对基于DVS获取到的左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价，并根据该代价计算该事件的中间过程视差；针对第一图像中的每一个事件，根据该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定第一图像中的该事件是否为鲁棒事件，其中，当第一图像为左目图像时，第二图像为右目图像，当第一图像为右目图像时，第二图像为左目图像；根据第一图像中的鲁棒事件的中间过程视差，估计第一图像中的所有事件的全局最优视差，从而实现了对DVS图像的视差的计算。上述方法针对图像中的事件进行处理，而不是针对像素进行处理，而事件比像素的数量少很多，因此，能够解决现有技术中由于针对每一个像素进行处理而导致的计算量较大且计算所需时间较长的问题。
(2)首先去除左目图像和右目图像中的噪声，然后再针对图像中的每一个事件进行处理，最终得到第一图像中所有事件的全局最优视差，可以在针对图像中的事件进行计算之前，先有效的去除图像中包含的噪声，即无效事件，从而仅对保留的有效事件进行计算，进一步减少了计算量，缩短了计算所需时间，提高了工作效率。
(3)提出了图像中的像素的特征描述子，能够有效描述像素的特征，并有效建立左右目图像中事件的对应关系。
(4)基于第一图像中鲁棒事件的中间过程视差，估计出第一图像中所有事件的全局最优视差的方法，能够提高第一图像中事件的视差平滑性和视差估计精度。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (18)

1.一种图像视差获取方法，其特征在于，包括：
针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价，根据该代价，计算该事件的中间过程视差；其中，所述左目图像和所述右目图像是基于动态视觉传感器DVS获取的图像；所述事件是根据光照强度变化大于给定阈值而产生的事件；
针对第一图像中的每一个事件，根据该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定所述第一图像中的该事件是否为鲁棒事件；其中，当所述第一图像为所述左目图像时，所述第二图像为所述右目图像，当所述第一图像为所述右目图像时，所述第二图像为所述左目图像；
根据所述第一图像中的鲁棒事件的中间过程视差，估计所述第一图像中的所有事件的全局最优视差。
2.根据权利要求1所述的方法，其特征在于，在针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价之前，还包括：
去除所述左目图像和所述右目图像中的噪声。
3.根据权利要求2所述的方法，其特征在于，去除图像中的噪声的方法包括：
对图像进行特征分解，得到其中，δi表示第i个特征值，并且，δ1,δ2,…,δr按照由大到小的顺序排列，ui和vi表示相互正交的特征向量，r表示特征值的总数；
从δ1,δ2,…,δr中获取不小于预设值的前k个特征值δ1,δ2,…,δk，其中，k＜r；
按照以下公式计算得到去除噪声后的图像I0：
4.根据权利要求1至3中任一项所述的方法，其特征在于，针对图像中的每一个事件，计算该事件在预定视差范围内的代价的方法包括：
计算该图像中的每一个像素的特征；
针对该图像中的每一个事件，根据以对应于该事件的像素为中心点的局部范围内的像素的特征，计算该事件在所述预定视差范围内的代价。
5.根据权利要求4所述的方法，其特征在于，图像中的像素(x,y)的特征满足以下公式：
其中，x,y分别表示像素的横坐标和纵坐标，Fn(x,y)表示像素(x,y)在方向n上的特征，En(i,y)表示像素(x,y)在方向n上的邻近像素(i,y)的极性值，i≠x，i表示邻近像素(i,y)的横坐标，rot表示对该图像进行旋转，abs表示求取绝对值，n＝1,2,...,N，N表示方向总数，min表示取最小值。
6.根据权利要求4所述的方法，其特征在于，在预定视差值为d的条件下，按照以下公式计算事件的代价C(x,y,d)：
其中，α表示线性合并权重，x,y分别表示对应于该事件的像素的横坐标和纵坐标，W(x,y)表示以对应于该事件的像素(x,y)为中心点的局部范围，(x′,y′)表示W(x,y)中的任一像素，Fn(x′,y′)表示像素(x′,y′)在方向n上的特征，Fn(x′+d,y′)表示像素(x′+d,y′)在方向n上的特征，n＝1,2,...,N，N表示方向总数，d表示所述预定视差范围内的任一视差值，E(x,y)表示对应于该事件的像素(x,y)的极性值，E(x+d,y)表示像素(x+d,y)的极性值。
7.根据权利要求1至3中任一项所述的方法，其特征在于，按照以下公式计算事件的中间过程视差d(x,y)：
其中，x,y分别表示对应于该事件的像素的横坐标和纵坐标，C(x,y,d)表示在预定视差值为d的条件下该事件的代价，d表示所述预定视差范围内的任一视差值，表示使C(x,y,d)取最小值时的d。
8.根据权利要求7所述的方法，其特征在于，针对第一图像中的每一个事件，根据该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定所述第一图像中的该事件是否为鲁棒事件的方法包括：
判断所述第一图像中的该事件的中间过程视差dl(x,y)与所述第二图像中的对应事件的中间过程视差dr(x+dl(x,y),y)是否相等；其中，x,y分别表示对应于所述第一图像中的该事件的像素的横坐标和纵坐标，x+dl(x,y),y分别表示对应于所述第二图像中的对应事件的像素的横坐标和纵坐标；
若相等，则确定所述第一图像中的该事件为鲁棒事件；
否则，确定所述第一图像中的该事件为不鲁棒事件。
9.根据权利要求1至3中任一项所述的方法，其特征在于，按照以下公式估计所述第一图像中的所有事件的全局最优视差组成的集合
其中，λ表示线性合并权重，M表示所述第一图像中鲁棒事件的总数，di表示根据所述第一图像中的鲁棒事件i在所述预定视差范围内的代价计算得到的鲁棒事件i的中间过程视差，表示所述第一图像中的鲁棒事件i的全局最优视差，S表示所述第一图像中的事件总数，表示所述第一图像中的事件j的全局最优视差，K表示在事件j周围选取的鲁棒事件的总数，dm表示根据选取的鲁棒事件m在所述预定视差范围内的代价计算得到的鲁棒事件m的中间过程视差，wjm表示事件j与鲁棒事件m的特征相似度，表示使取最小值时的
10.一种图像视差获取装置，其特征在于，包括：
代价计算模块，用于针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价；其中，所述左目图像和所述右目图像是基于动态视觉传感器DVS获取的图像；所述事件是根据光照强度变化大于给定阈值而产生的事件；
视差计算模块，用于根据所述代价计算模块计算得到的事件在所述预定视差范围内的代价，计算该事件的中间过程视差；
确定模块，用于针对第一图像中的每一个事件，根据所述视差计算模块计算得到的该事件的中间过程视差以及第二图像中的对应事件的中间过程视差，确定所述第一图像中的该事件是否为鲁棒事件；其中，当所述第一图像为所述左目图像时，所述第二图像为所述右目图像，当所述第一图像为所述右目图像时，所述第二图像为所述左目图像；
视差估计模块，用于在所述确定模块确定出所述第一图像中的鲁棒事件之后，根据所述视差计算模块计算得到的所述第一图像中的鲁棒事件的中间过程视差，估计所述第一图像中的所有事件的全局最优视差。
11.根据权利要求10所述的装置，其特征在于，还包括：
去噪模块，用于在所述代价计算模块针对左目图像和右目图像中的每一个事件，计算该事件在预定视差范围内的代价之前，去除所述左目图像和所述右目图像中的噪声。
12.根据权利要求11所述的装置，其特征在于，所述去噪模块包括：
分解单元，用于对图像进行特征分解，得到其中，δi表示第i个特征值，并且，δ1,δ2,…,δr按照由大到小的顺序排列，ui和vi表示相互正交的特征向量，r表示特征值的总数；
获取单元，用于从δ1,δ2,…,δr中获取不小于预设值的前k个特征值δ1,δ2,…,δk，其中，k＜r；
去噪后图像计算单元，用于按照以下公式计算得到去除噪声后的图像I0：
13.根据权利要求10至12中任一项所述的装置，其特征在于，所述代价计算模块包括：
特征计算单元，用于计算该图像中的每一个像素的特征；
事件代价计算单元，用于针对该图像中的每一个事件，根据所述特征计算单元计算得到的以对应于该事件的像素为中心点的局部范围内的像素的特征，计算该事件在所述预定视差范围内的代价。
14.根据权利要求13所述的装置，其特征在于，图像中的像素(x,y)的特征满足以下公式：
其中，x,y分别表示像素的横坐标和纵坐标，Fn(x,y)表示像素(x,y)在方向n上的特征，En(i,y)表示像素(x,y)在方向n上的邻近像素(i,y)的极性值，i≠x，i表示邻近像素(i,y)的横坐标，rot表示对该图像进行旋转，abs表示求取绝对值，n＝1,2,...,N，N表示方向总数，min表示取最小值。
15.根据权利要求13所述的装置，其特征在于，在预定视差值为d的条件下，所述事件代价计算单元按照以下公式计算事件的代价C(x,y,d)：
其中，α表示线性合并权重，x,y分别表示对应于该事件的像素的横坐标和纵坐标，W(x,y)表示以对应于该事件的像素(x,y)为中心点的局部范围，(x′,y′)表示W(x,y)中的任一像素，Fn(x′,y′)表示像素(x′,y′)在方向n上的特征，Fn(x′+d,y′)表示像素(x′+d,y′)在方向n上的特征，n＝1,2,...,N，N表示方向总数，d表示所述预定视差范围内的任一视差值，E(x,y)表示对应于该事件的像素(x,y)的极性值，E(x+d,y)表示像素(x+d,y)的极性值。
16.根据权利要求10至12中任一项所述的装置，其特征在于，所述视差计算模块按照以下公式计算事件的中间过程视差d(x,y)：
其中，x,y分别表示对应于该事件的像素的横坐标和纵坐标，C(x,y,d)表示在预定视差值为d的条件下该事件的代价，d表示所述预定视差范围内的任一视差值，表示使C(x,y,d)取最小值时的d。
17.根据权利要求16所述的装置，其特征在于，所述确定模块包括：
判断单元，用于判断所述第一图像中的该事件的中间过程视差dl(x,y)与所述第二图像中的对应事件的中间过程视差dr(x+dl(x,y),y)是否相等；其中，x,y分别表示对应于所述第一图像中的该事件的像素的横坐标和纵坐标，x+dl(x,y),y分别表示对应于所述第二图像中的对应事件的像素的横坐标和纵坐标；
事件确定单元，用于若所述判断单元的判断结果是相等，则确定所述第一图像中的该事件为鲁棒事件，若所述判断单元的判断结果是不相等，则确定所述第一图像中的该事件为不鲁棒事件。
18.根据权利要求10至12中任一项所述的装置，其特征在于，所述视差估计模块按照以下公式估计所述第一图像中的所有事件的全局最优视差组成的集合
其中，λ表示线性合并权重，M表示所述第一图像中鲁棒事件的总数，di表示根据所述第一图像中的鲁棒事件i在所述预定视差范围内的代价计算得到的鲁棒事件i的中间过程视差，表示所述第一图像中的鲁棒事件i的全局最优视差，S表示所述第一图像中的事件总数，表示所述第一图像中的事件j的全局最优视差，K表示在事件j周围选取的鲁棒事件的总数，dm表示根据选取的鲁棒事件m在所述预定视差范围内的代价计算得到的鲁棒事件m的中间过程视差，wjm表示事件j与鲁棒事件m的特征相似度，表示使取最小值时的
CN201610064279.9A 2016-01-29 2016-01-29 图像视差获取方法及装置 Active CN107027019B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610064279.9A CN107027019B (zh) 2016-01-29 2016-01-29 图像视差获取方法及装置
KR1020160085660A KR102187192B1 (ko) 2016-01-29 2016-07-06 영상시차 획득방법 및 장치
US15/277,572 US10341634B2 (en) 2016-01-29 2016-09-27 Method and apparatus for acquiring image disparity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610064279.9A CN107027019B (zh) 2016-01-29 2016-01-29 图像视差获取方法及装置

Publications (2)

Publication Number Publication Date
CN107027019A CN107027019A (zh) 2017-08-08
CN107027019B true CN107027019B (zh) 2019-11-08

Family

ID=59525194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610064279.9A Active CN107027019B (zh) 2016-01-29 2016-01-29 图像视差获取方法及装置

Country Status (2)

Country Link
KR (1) KR102187192B1 (zh)
CN (1) CN107027019B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537837B (zh) * 2018-04-04 2023-05-05 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN103813156A (zh) * 2012-11-02 2014-05-21 三星电子株式会社 运动传感器阵列装置和深度感测系统及使用其的方法
CN104200453A (zh) * 2014-09-15 2014-12-10 西安电子科技大学 基于图像分割和可信度的视差图像校正方法
US9204127B1 (en) * 2012-01-17 2015-12-01 Nextvr Inc. Stereoscopic image processing methods and apparatus

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225778A (ja) * 2007-03-12 2008-09-25 Toshiba Corp 画像処理装置
FR2982448A1 (fr) * 2011-11-07 2013-05-10 Thomson Licensing Procede de traitement d'image stereoscopique comprenant un objet incruste et dispositif correspondant
US9361699B2 (en) * 2012-06-27 2016-06-07 Imec Taiwan Co. Imaging system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
US9204127B1 (en) * 2012-01-17 2015-12-01 Nextvr Inc. Stereoscopic image processing methods and apparatus
CN103813156A (zh) * 2012-11-02 2014-05-21 三星电子株式会社 运动传感器阵列装置和深度感测系统及使用其的方法
CN104200453A (zh) * 2014-09-15 2014-12-10 西安电子科技大学 基于图像分割和可信度的视差图像校正方法

Also Published As

Publication number Publication date
KR102187192B1 (ko) 2020-12-04
CN107027019A (zh) 2017-08-08
KR20170090976A (ko) 2017-08-08

Similar Documents

Publication Publication Date Title
CN105144247B (zh) 用户的三维表示的生成
CN104899563B (zh) 一种二维人脸关键特征点定位方法及系统
CN105404888A (zh) 结合颜色和深度信息的显著性目标检测方法
US8086027B2 (en) Image processing apparatus and method
EP3273412B1 (en) Three-dimensional modelling method and device
JP2018124985A5 (zh)
CN107230225A (zh) 三维重建的方法和装置
JP5035467B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
CN110148179A (zh) 一种训练用于估计图像视差图的神经网络模型方法、装置及介质
CN110378181A (zh) 图像解析装置、图像解析方法及记录介质
CA2794659A1 (en) Apparatus and method for iris recognition using multiple iris templates
CN110532850B (zh) 一种基于视频关节点和混合分类器的跌倒检测方法
CN112926464B (zh) 一种人脸活体检测方法以及装置
CN110243390B (zh) 位姿的确定方法、装置及里程计
GB2594657A (en) Damage detection from multi-view visual data
CN104599284A (zh) 基于多视角手机自拍图像的三维人脸重建方法
CN107016348A (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
CN108875469A (zh) 活体检测与身份认证的方法、装置及计算机存储介质
CN106778660B (zh) 一种人脸姿态校正方法及装置
CN104992428B (zh) 一种基于k均值聚类分析的图像落石体积测定方法
US20200036961A1 (en) Constructing a user's face model using particle filters
CN107027019B (zh) 图像视差获取方法及装置
JP6359985B2 (ja) デプス推定モデル生成装置及びデプス推定装置
CN108830890B (zh) 一种使用生成式对抗网络从单幅图像中估计场景几何信息的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant