CN111476837B - 自适应立体匹配优化方法及其装置、设备和存储介质 - Google Patents
自适应立体匹配优化方法及其装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111476837B CN111476837B CN201910063133.6A CN201910063133A CN111476837B CN 111476837 B CN111476837 B CN 111476837B CN 201910063133 A CN201910063133 A CN 201910063133A CN 111476837 B CN111476837 B CN 111476837B
- Authority
- CN
- China
- Prior art keywords
- stereo matching
- adaptive stereo
- adaptive
- real time
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000005457 optimization Methods 0.000 title claims abstract description 41
- 230000003044 adaptive effect Effects 0.000 title claims description 80
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 44
- 230000004044 response Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006872 improvement Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 2
- 238000005265 energy consumption Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000012080 ambient air Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/12—Simultaneous equations, e.g. systems of linear equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Algebra (AREA)
- Operations Research (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种自适应立体匹配优化方法及其装置、设备和存储介质，通过获取同一目标场景的至少两个视角的图像，据以计算得到对应所述目标场景中各像素的视差值的范围，然后通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围；其中，依据处理系统的资源约束条件，利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期，和/或通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时依据所获取的不同场景图像进行相应调整。本申请能够在满足处理系统的系统资源约束条件，根据不同场景图像像素灵活调整输出质量，极大提高了深度估算的精度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种自适应立体匹配优化方法及其装置、设备和存储介质。
背景技术
立体匹配是智能车辆找到附近物体深度的有效的方法，其将传统的立体匹配算法转化为自适应的立体匹配算法，可以最大限度地提高立体匹配的质量(深度的精度)。自适应立体匹配(ASM)任务的执行周期越长，质量越高。但是，支持这种自适应功能是非常具有挑战的。一方面，在质量和执行周期之间很难得到精确的模型；另一方面，在智能汽车严格的时序和能源约束下，如何在多处理器上调度ASM任务以产生最大的执行周期是一个挑战。
尽管自适应立体匹配(ASM)具有较高应用前景，但想要在智能车辆系统中得到最优、最实用的应用，还需要解决几个重要问题，其中包括：(1)精确建模输出质量自适应与执行周期的关系；(2)优化确定达到质量最大化的系统执行参数，如处理器工作电压/执行频率等；(3)准确估计质量函数模型的参数。由于参数依赖于输入图像，因此对立体匹配的大量分析仍然可能导致精度不高。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种自适应立体匹配优化方法及其装置、设备和存储介质，用于解决现有自适应立体匹配输出质量不高、深度估算精度低的问题。
为实现上述目的及其他相关目的，本申请提供一种自适应立体匹配优化方法，应用于处理系统，所述方法包括：获取同一目标场景的至少两个视角的图像，据以计算得到对应所述目标场景中各像素的视差值的范围；通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围；其中，依据处理系统的资源约束条件，利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期；和/或，通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时依据所获取的不同场景图像进行相应调整。
于本申请的一实施例中，所述处理系统的资源约束条件包括：能量约束、响应时间约束、及热量约束。
于本申请的一实施例中，所述自适应立体匹配模型为指数函数模型，其具体公式为：
其中，a,b,m为特定函数参数；o为执行周期。
于本申请的一实施例中，所述处理系统的资源约束条件包括：能量约束、响应时间约束、及热量约束；所述利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期的方法包括：将指数函数模型转变为质量QP模型，得到质量公式如下：
其中，ai,bi为特定函数参数；oi为初始执行周期；△oi为需改进的执行周期；经泰勒公式展开并进行一定次数的推导，得到变换公式如下：
所述变换公式需满足所述处理系统的资源约束条件。
于本申请的一实施例中，所述变换公式需满足所述处理系统的资源约束条件的公式分别为：A、能量约束：
其中，oi为初始执行周期；△oi为需改进的执行周期；fi为处理系统频率；vi为处理系统电源电压；
表示动态功耗；Pi0,lkg表示特定线性部分的初始功率；Ti为处理系统温度；Kα和Kβ分别为对应温度和电压在特定线性部分的漏电流功率的斜率；
表示总功率；∈s为所述处理系统的能量预算；B、响应时间约束：
其中，oi为初始执行周期；△oi为需改进的执行周期；fi为处理系统频率；τs为所述处理系统的时间预算；C、热量约束：
其中，
和
分别为热量的上限和下线的矢量；
及Φf,T分别为由频率、功率和热导率确定的系数矩阵。
所述通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围的方法包括：
于本申请的一实施例中，所述深度值与所述视差值成反比，依据所述视差值的范围估算得到所述深度值的范围。
于本申请的一实施例中，所述通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时根据所获取的不同场景图像进行相应调整的方法包括：所述卷积神经网络的输入端为场景图像数据集；所述卷积神经网络的输出端为预估的特定函数参数进行归一化处理后的概率；经过离线训练后，以使所述自适应立体匹配模型中的特定函数参数能够依据实时所获取的不同场景图像进行相应调整。
为实现上述目的及其他相关目的，本申请提供一种自适应立体匹配优化装置，所述装置包括：获取模块，用于获取同一目标场景的至少两个视角的图像，据以计算得到对应所述目标场景中各像素的视差值的范围；处理模块，用于通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围；其中，依据处理系统的资源约束条件，利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期；和/或，通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时依据所获取的不同场景图像进行相应调整。
为实现上述目的及其他相关目的，本申请提供一种自适应立体匹配优化设备，所述设备包括：存储器、处理器、及通信器；所述存储器，其上存储有计算机程序；处理器，用于执行存储器存储的计算机程序，该程序被执行时实现如上所述的自适应立体匹配优化方法；所述通信器，用于通信连接外部设备。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的自适应立体匹配优化方法。
如上所述，本申请提供的一种自适应立体匹配优化方法及其装置、设备和存储介质，通过获取同一目标场景的至少两个视角的图像，据以计算得到对应所述目标场景中各像素的视差值的范围，然后通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围；其中，依据处理系统的资源约束条件，利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期，和/或通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时依据所获取的不同场景图像进行相应调整。
本方法具有如下优点：
在满足处理系统的系统资源约束条件，能够根据不同场景图像像素灵活调整输出质量(误差小)，极大提高了深度估算的精度。
附图说明
图1显示为本申请于一实施例中的自适应立体匹配优化方法的流程示意图。
图2显示为本申请于一实施例中的自适应立体匹配优化装置的模型示意图。
图3显示为本申请于一实施例中的自适应立体匹配优化设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图式仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，展示本申请于一实施例中的自适应立体匹配优化方法的流程示意图。如图所示，所述方法应用于处理系统，所述处理系统可以为处理器、处理芯片或片上系统等。
所述方法包括：
步骤S101：获取同一目标场景的至少两个视角的图像，据以计算得到对应所述目标场景中各像素的视差值的范围。
于本实施例中，所述立体匹配具体采用双目立体匹配，即用两个相机同时对前方物体拍照，两个相机在两个视角同时捕获的两个图像中，其一图像上物体的每个像素点在另一视角的同一物体上对应的像素点之间的位移，定义为视差值。视差值可用于估算出图像的景深(深度值)，也即是前方物体与相机间的距离。已知的是景深与视差成反比关系，所以景深的估算可从视差值得出。而对于视差值的获得，一般来说会给定一个最大视差值和一个最小视差值，以框定可探测景深的范围。
于本实施例中，可通过外部双目深度相机获取到同一目标场景的至少两个视角的图像，还可以是直接获取同一目标场景的至少两个视角的图像的数据，以进一步分析计算得到所述目标场景中各像素的视差值的范围。
步骤S102：通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围；其中，依据处理系统的资源约束条件，利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期；和/或，通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时依据所获取的不同场景图像进行相应调整。
需要说明的是，对于视差值(范围)为不同的取值时，会导致处理系统(例如车载系统处理器)上不同的能耗和响应时间。这是因为增加或减少最大视差值，处理系统的计算量(体现在处理器运行时钟数)会相应地增大或者减少，这导致系统总功耗和响应时间的增大或减少。同时，处理系统在不同的电压、频率的组合设定下，存在一个最优组合，使得在相同的能耗和响应时间的约束条件下，达到最大的处理器运行时钟数。因而本申请提出了一种运用二次规划QP函数来计算处理系统的动态操作电压和频率的方法(DVFS)。该方法的目标是最大化处理器运行立体匹配算法的时钟数(执行周期)，也即最大化视差最大值或视差最小值。
简单来说，如果能根据处理系统(智能车载平台)的某些系统资源性约束，例如车载系统的能量是有限的，所以需要小心的规划如何使用这些能量，还要求有很好的实时性，所以有了车载系统的响应时间、能量、及热量的约束条件，再通过“实时”调整最大视差值，比如增大最大视差值，使得相机所能测量得到的景深更小，即可测量到距离相机更近的物体，这样会使得立体匹配的输出结果更加精确，即对更近物体测量的误差变小，那么就可以来调整这个最大视差值来实现“适应性”的双目立体匹配。如果实现了这个适应性的改进，就可以灵活调整输出结果，使得在系统资源充裕的情况下最大化输出结果的精确性，而在系统资源紧张的情况下利用可用的系统资源最优化输出结果的精确性。
所述DVFS(Dynamic Voltage and Frequency Scaling，动态电压频率调节)，是根据外界事件的紧迫程度来动态调节CPU的电压和频率，以达到响应时间和功耗之间的平衡。由于DVFS对CPU电压和频率的动态可调性，被普遍应用在节能领域。例如，对于网络视频点播服务器，DVFS技术能够在系统运行时根据网络用户点播请求数量和等级、系统性能等情况灵活改变视频点播服务器处于工作状态的CPU核数及其工作频率，处理用户的视频点播请求并传输点播视频。这样，可以在不影响用户网络视频点播质量和延时的前提下，更为有效和合理地降低网络视频点播服务器的能量消耗。
于本申请的一实施例中，所述处理系统的资源约束条件包括：能量约束、响应时间约束、及热量约束。
具体来说，1)能量约束主要指处理系统的功耗约束，其主要包括：动态功耗和静态功耗(包括短路功耗和漏电流功耗)。
动态功耗表示为：
其中，SW为平均开关电容，fi为处理系统频率，vi为处理系统电源电压。
为了强调电压作用，对于在fi和电压vi下运行的处理系统p，我们改变表达式为：
静态功耗表示为：
其中，Pi0,lkg表示特定线性部分的初始功率，Ti为处理系统温度，vi为处理系统电源电压，Kα和Kβ分别为对应温度和电压在特定线性部分的漏电流功率的斜率。
所述处理系统的总功耗表示为：
总功耗针对任务i执行oi次循环(执行周期)，其中将循环时间
带入公式(4)后的表达式为：
其中，假定给电压vi一电压值，fi的选择属于一个相应的离散集
即
具体来说，2)热量约束主要指处理系统的热能消耗约束。
所述处理系统上的热能消耗可以近似地以热能RC模型来表示：
其中，
为所有相邻处理系统的集合，Gp,m为处理系统p与相邻处理系统M之间的导热系数，Tenv为周围空气温度，Gp,env为对周围空气的导热系数，包括对处理系统盖和底面的导热系数。
将公式(4)代入公式(6)，并仅考虑稳态温度，则得到如下温度与电压的关系矩阵形式：
其中，
和
分别是热能量的上限和下限的矢量，
and Φf,T分别是由频率、功率和热导率确定的系数矩阵。
于本申请的一实施例中，所述自适应立体匹配模型为指数函数模型。
于本实施例中，本申请通过将多个图像数据集分别带入指数模型和幂指数模型来描述质量周期关系，并采用均方误差(MSE)来验证建模的选择，结果得出，指数模型具有更好的建模精度，因此，本申请所述自适应立体匹配优化方法采用指数函数模型。
所述自适应立体匹配优化的具体公式为：
其中，a,b,m为特定函数参数；o为执行周期。通常来说，函数参数a,b,m是输入不变的，其依赖于输入图像。其中，m经计算取0。
在满足包括能量约束、响应时间约束、及热量约束的所述处理系统的资源约束条件下，所述利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期的方法包括：
首先，为最大限度地提高所述自适应匹配算法的输出质量，即减小误差，将指数函数模型(8)型转变为质量QP模型，得到质量公式如下：
其中，ai,bi为特定函数参；oi为初始执行周期；△oi为需改进的执行周期。
其次，为了将质量公式(9)易于处理，故将公式(9)进行泰勒公式展开，并进行一定次数的推导，以得到如下变换公式：
所述变换公式(10)需满足所述处理系统的资源约束条件。
于本申请的一实施例中，所述变换公式(10)需满足所述处理系统的资源约束条件的公式分别为：
A、能量约束：
其中，oi为初始执行周期；△oi为需改进的执行周期；fi为处理系统频率；vi为处理系统电源电压；
表示动态功耗；Pi0,lkg表示特定线性部分的初始功率；Ti为处理系统温度；Kα和Kβ分别为对应温度和电压在特定线性部分的漏电流功率的斜率；
表示总功率；∈s为所述处理系统的能量预算。
于本实施例中，公式(11)由公式(5)获得。其中，自适应立体匹配模型中的能量消费总量不应超过改变执行周期oi到oi+△oi后的能量预算∈s。这里选择Ti作为温度上限，以避免系统热量过高。
B、响应时间约束：
其中，oi为初始执行周期；△oi为需改进的执行周期；fi为处理系统频率；τs为所述处理系统的时间预算。
于本实施例中，所述时间预算τs对每一个i限制执行oi+△oi，且fi的选择属于一个相应的离散集
即
C、热量约束：
其中，
和
分别为热量的上限和下限的矢量；
及Φf,T分别为由频率、功率和热导率确定的系数矩阵。
于本实施例中，公式(13)由公式(7)获得。其中，热量的限制条件是基于分段的线性部分的静态功耗模型得来的。
需要注意的是，由于公式(11)和公式(13)为非线性约束，因此，公式(10)到公式(13)还并不是QP公式，为了线性化，进行如下变换：
1)将公式(11)的乘积形式解耦，即以带入已知数值的
替代vi。
2)替代公式(13)中的的变量为集合变量，即以变量Θ代替
从而得到：
所需满足的约束条件为：
于本实施例中，公式(14)到公式(17)为质量二次规划QP公式，借用内点法可有效进行求解，以得到在所述处理系统为不同的能耗和响应时间时，求得所述处理系统最优的执行周期，或者说是所述处理系统最优的运行时钟数。
于本申请的一实施例中，所述通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围的方法包括：所述深度值与所述视差值成反比，依据所述视差值的范围估算得到所述深度值的范围。
于本实施例中，所述立体匹配具体采用双目立体匹配，即用两个相机同时对前方物体拍照，两个相机在两个视角同时捕获的两个图像中，其一图像上物体的每个像素点在另一视角的同一物体上对应的像素点之间的位移，定义为视差值。视差值可用于估算出图像的景深(深度值)，也即是前方物体与相机间的距离。已知的是景深与视差成反比关系，所以景深的估算可从视差值得出。而对于视差值的获得，一般来说会给定一个最大视差值和一个最小视差值，以框定可探测景深的范围。
于本申请的一实施例中，所述通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时根据所获取的不同场景图像进行相应调整的方法包括：
a、所述卷积神经网络的输入端为场景图像数据集；
b、所述卷积神经网络的输出端为预估的特定函数参数进行归一化处理后的概率；
c、经过离线训练后，以使所述自适应立体匹配模型中的特定函数参数能够依据实时所获取的不同场景图像进行相应调整。
需要说明的是，在每一次进行立体匹配时，因为所获取的场景图像不同，从而导致所述自适应立体匹配优化的公式(8)中的特定函数参数的不同。故快速和准确的估计出特定特征函数是自适应立体匹配优化可操性的重要前提。
由于所获取的场景图像的随机性和广泛性，传统的基于扩展性分析(extensiveprofiling)或曲线拟合的方法并不适用，因此本申请提出了一种基于卷积神经网络的推断方法来实现更加高效率和精确度的特定函数参数的估计。卷积神经网络的输入端为图像整体像素集，输出端为所预估系数归一化处理后的概率。经过离线训练后，我们的方法可快速实时推断质量函数系数，精确度达96％以上。例如，可适用于智能车载电子系统下对于响应时间和能耗的要求。
于本实施例中，DVFS优化的关键在于对自适应立体匹配模型进行准确的参数估计。传统的立体匹配函数的参数，多是通过扩展性分析和曲线拟合得到的。然而，在运动状态下的场景所获取的场景图像是高度动态的，这种方法是不切实际的。假设车辆大部分时间在有限的街道上行驶。例如，一辆家用汽车可能会把自己限制在一个有限的区域。因此，我们提出了一种基于街道场景约束的S-CNN质量模型参数估计方法。
于本实施例中，将质量函数参数预测问题转化为分类问题，本申请可以使用Carla(智能车辆模拟器)捕获的数据集，可以在其中配置不同数量的行人、车辆和街道。两个摄像头用来捕捉左右图像，激光雷达同时记录视差图。同时使用如LeNet网络进行分类，用修正过的线性单元激活代替原始的sigmoid函数。该网络有两层卷积和池化运算，以及完全连接的输入和输出层。
S-CNN通过街道数据进行训练，并在车辆所处的特定街道进行测试。其具有多重优势：1)准确性和训练速度。每一个S-CNN都经过专门针对某条街道的训练，训练数据由那条街道上拍摄的图像组成。S-CNN需要有限的训练数据，训练可以更快的适应变化，由于地面的实际情况多为街上的被动物体，他们保持不变的可能性很大。2)可重复性和自我隔离。S-CNN是面向街道的，不同的车辆可以在同一条街道上共享相同的S-CNN。假设S-CNN是在云中训练的，各种车辆也可以协同贡献训练输入图像。此外，考虑到街道的独立性，一条街道的重大变化不会影响到其他S-CNN。
于本实施例中，以下通过一实施例对本申请所述的自适应立体匹配方法进行测试及验证。
首先，设计个一包含2x2排列的处理器组且具有电压/频率缩放能力的仿真系统。每个自适应立体匹配任务运行在一个不考虑优先权的特定的处理器上。依据PTScalar获得了处理器的功率和热特性。在测试中，所有处理器的初始频率设置为300MHz，处理器电压范围为0.5V～0.8V。所有的实验都有相同的初始条件。
通过三个数据集测试本申请所述的自适应立体匹配方法：Kitti、New Tsukuba、及Carla。其中，Kitti与New Tsukuba是评价立体匹配算法中常用的数据集。Carla数据集来自Carla模拟器，其用于支持智能车辆系统的开发、培训和验证。为了本申请所述的自适应立体匹配方法的性能，将其同时与其他三种最新的算法进行了比较，(1)TS算法，是一种通过选择能量指标最高的任务来最大化能量约束下系统质量的调度方法；(2)DFS算法，一种基于指数模型的动态变频优化调度方法。(3)ED算法，另一种简化版的调度方法，它将能量预算平均分配给所有处理器。
本测试采用指数模型和幂模型来描述质量周期关系，并采用均方误差(MSE)来验证建模的选择。三个数据集的MSE值建模分别为<1.62-8,1.22-8>，<2.58-7,1.04-7>，<2.98-4,2.19-5>。结果表明，该指数模型具有较好的建模精度，因此，本申请所述的自适应立体匹配方法采用指数模型以准确地描述立体匹配任务的质量周期关系。
三个数据集的图像，初始视差d_max分别设为62、72和38。初始电压均设置为0.8V。通过本申请所述的自适应立体匹配方法进行测试，三个数据集的视差范围分别增加到197、203和59，对Kitti、New Tsukuba和Carla数据集的质量改进提升了93.3％、92.8％和47.4％。
并且本申请所述的自适应立体匹配方法与TS、DFS、ED三种算法相比较，在不同能量约束下，分别执行参数相同的20个任务(ai＝0.35,bi＝0.75)的平均值。其结果是：本申请所述的自适应立体匹配方法的平均值是TS算法得到的平均值的3.63倍，是DFS算法得到的平均值的5.53倍，是ED算法的平均值的1.96倍。
因此，本申请所述的自适应立体匹配方法与ED相比，其优点在于通过公式(14)对处理器之间的能源进行了最优分配，解决了一些处理器对质量改进贡献不大的问题。TS在不考虑DVFS的情况下，分配由能量系数确定优先级的可选执行周期。本次测试中，电压和频率是综合考虑的。
另外，为了验证S-CNN的准确性，选取场景图像为48×48像素。用于预测模型系数的输出层划分为50个区间，训练迭代被调整为4000次。在不同的行人或车辆密度下，共采集到14400对图像。在14400对图像中，12000对作为训练集，2400对作为测试集。最终，得到6条被试街道的估计的特定函数参数估计效果均较为准确，准确率最高达到96.7％，最低为92.9％。
综上所述，本申请所述的自适应立体匹配方法可用于处理系统(如智能车辆平台)，利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期，以及通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时依据所获取的不同场景图像进行相应调整。并且通过结果表明，本申请所述的自适应立体匹配方法与现有技术相比，质量改进至少1.96倍，参数估计精度达到96.7％。
如图2所示，展示本申请于一实施例中的自适应立体匹配优化装置的模块示意图，如图所示，所述自适应立体匹配优化装置200包括：获取模块201、及处理模块202。
所述获取模块201，用于获取同一目标场景的至少两个视角的图像，据以计算得到对应所述目标场景中各像素的视差值的范围。
所述处理模块202，用于通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围；其中，依据处理系统的资源约束条件，利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期；和/或，通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时依据所获取的不同场景图像进行相应调整。
可以理解的是，所述自适应立体匹配优化装置200通过各模块的运行，能够实现如图1所述的自适应立体匹配优化方法。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块202可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块202的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图3所示，展示本申请于一实施例中的自适应立体匹配优化设备的结构示意图，如图所示，所述自适应立体匹配优化设备300包括：存储器301、处理器302、及通信器303。所述存储器301存储有计算机程序，所述处理器302执行所述计算机程序实现如图1所述的自适应立体匹配优化方法；所述通信器303通信连接外部设备。
于本实施例中，所述终端设备300可以是处理器系统，如车载系统，服务器，电脑等具有处理器或控制器系统的终端设备。所述外部设备可以是双目深度相机、及普通相机等。
所述存储器301可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
所述处理器302可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述通信器303用于实现其他设备(例如客户端、控制器、读写库和只读库)之间的通信连接。其可包含一组或多组不同通信方式的模块。所述通信连接可以是一个或多个有线/无线通讯方式及其组合。通信方式包括：互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。
于本申请的一实施例中，一种计算机可读存储介质，其上存储有计算机程序，该计算机序被处理器执行时实现如图1所述的自适应立体匹配优化方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的图像处理程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
综上所述，本申请提供一种自适应立体匹配优化方法及其装置、设备和存储介质，通过获取同一目标场景的至少两个视角的图像，据以计算得到对应所述目标场景中各像素的视差值的范围，然后通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围；其中，依据处理系统的资源约束条件，利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期；和/或，通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时依据所获取的不同场景图像进行相应调整。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种自适应立体匹配优化方法，其特征在于，应用于处理系统，所述方法包括：
获取同一目标场景的至少两个视角的图像，据以计算得到对应所述目标场景中各像素的视差值的范围；
通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围；其中，依据处理系统的资源约束条件，利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期；和/或，通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时依据所获取的不同场景图像进行相应调整。
2.根据权利要求1所述的自适应立体匹配优化方法，其特征在于，所述处理系统的资源约束条件包括：能量约束、响应时间约束、及热量约束。
3.根据权利要求1所述的自适应立体匹配优化方法，其特征在于，所述自适应立体匹配模型为指数函数模型，其具体公式为：
其中，a,b,m为特定函数参数；o为执行周期。
4.根据权利要求3所述的自适应立体匹配优化方法，其特征在于，所述处理系统的资源约束条件包括：能量约束、响应时间约束、及热量约束；所述利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期的方法包括：
将指数函数模型转变为质量二次规划QP模型，得到质量公式如下：
其中，ai,bi为特定函数参数；oi为初始执行周期；△oi为需改进的执行周期；
经泰勒公式展开并进行一定次数的推导，得到变换公式如下：
所述变换公式需满足所述处理系统的资源约束条件。
5.根据权利要求4所述的自适应立体匹配优化方法，其特征在于，所述变换公式需满足所述处理系统的资源约束条件的公式分别为：
A、能量约束：
其中，oi为初始执行周期；△oi为需改进的执行周期；fi为处理系统频率；vi为处理系统电源电压；
表示动态功耗；Pi0,lkg表示特定线性部分的初始功率；Ti为处理系统温度；Kα和Kβ分别为对应温度和电压在特定线性部分的漏电流功率的斜率；
表示总功率；∈s为所述处理系统的能量预算；
B、响应时间约束：
其中，oi为初始执行周期；△oi为需改进的执行周期；fi为处理系统频率；τs为所述处理系统的时间预算；
C、热量约束：
其中，
和
分别为热量的上限和下线的矢量；
及Φf,T分别为由频率、功率和热导率确定的系数矩阵。
6.根据权利要求1所述的自适应立体匹配优化方法，其特征在于，所述通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围的方法包括：
所述深度值与所述视差值成反比，依据所述视差值的范围估算得到所述深度值的范围。
7.根据权利要求1所述的自适应立体匹配优化方法，其特征在于，所述通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时根据所获取的不同场景图像进行相应调整的方法包括：
所述卷积神经网络的输入端为场景图像数据集；
所述卷积神经网络的输出端为预估的特定函数参数进行归一化处理后的概率；
经过离线训练后，以使所述自适应立体匹配模型中的特定函数参数能够依据实时所获取的不同场景图像进行相应调整。
8.一种自适应立体匹配优化装置，其特征在于，所述装置包括：
获取模块，用于获取同一目标场景的至少两个视角的图像，据以计算得到对应所述目标场景中各像素的视差值的范围；
处理模块，用于通过自适应立体匹配模型实时调整所述目标场景中各像素的视差值的范围，进而得到优化的深度值的范围；其中，依据处理系统的资源约束条件，利用DVFS算法实时调整所述自适应立体匹配模型中的执行周期；和/或，通过卷积神经网络针对多种场景图像数据集进行训练，以使所述自适应立体匹配模型中的特定函数参数实时依据所获取的不同场景图像进行相应调整。
9.一种自适应立体匹配优化设备，其特征在于，所述设备包括：存储器、处理器、及通信器；
所述存储器，其上存储有计算机程序；处理器，用于执行存储器存储的计算机程序，该程序被执行时实现权利要求1至7中任意一项所述的自适应立体匹配优化方法；所述通信器，用于通信连接外部设备。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任意一项所述的自适应立体匹配优化方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910063133.6A CN111476837B (zh) | 2019-01-23 | 2019-01-23 | 自适应立体匹配优化方法及其装置、设备和存储介质 |
| US17/286,488 US11875523B2 (en) | 2019-01-23 | 2019-09-20 | Adaptive stereo matching optimization method and apparatus, device and storage medium |
| PCT/CN2019/106873 WO2020151244A1 (zh) | 2019-01-23 | 2019-09-20 | 自适应立体匹配优化方法及其装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910063133.6A CN111476837B (zh) | 2019-01-23 | 2019-01-23 | 自适应立体匹配优化方法及其装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111476837A CN111476837A (zh) | 2020-07-31 |
| CN111476837B true CN111476837B (zh) | 2023-02-24 |
Family
ID=71735873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910063133.6A Active CN111476837B (zh) | 2019-01-23 | 2019-01-23 | 自适应立体匹配优化方法及其装置、设备和存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11875523B2 (zh) |
| CN (1) | CN111476837B (zh) |
| WO (1) | WO2020151244A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200465B (zh) * | 2020-10-14 | 2024-04-19 | 安徽继远软件有限公司 | 基于多媒体信息智能分析的电力ai方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3182369A1 (en) * | 2015-12-15 | 2017-06-21 | Ricoh Company, Ltd. | Stereo matching method, controller and system |
| WO2018098891A1 (zh) * | 2016-11-30 | 2018-06-07 | 成都通甲优博科技有限责任公司 | 一种立体匹配方法及系统 |
| CN108898174A (zh) * | 2018-06-25 | 2018-11-27 | Oppo（重庆）智能科技有限公司 | 一种场景数据采集方法、场景数据采集装置及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150030235A1 (en) * | 2012-02-27 | 2015-01-29 | Sony Corporation | Image processing device, image processing method, and computer program |
| CN104574391A (zh) * | 2014-12-29 | 2015-04-29 | 西安交通大学 | 一种基于自适应特征窗口的立体视觉匹配方法 |
-
2019
- 2019-01-23 CN CN201910063133.6A patent/CN111476837B/zh active Active
- 2019-09-20 WO PCT/CN2019/106873 patent/WO2020151244A1/zh active Application Filing
- 2019-09-20 US US17/286,488 patent/US11875523B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3182369A1 (en) * | 2015-12-15 | 2017-06-21 | Ricoh Company, Ltd. | Stereo matching method, controller and system |
| WO2018098891A1 (zh) * | 2016-11-30 | 2018-06-07 | 成都通甲优博科技有限责任公司 | 一种立体匹配方法及系统 |
| CN108898174A (zh) * | 2018-06-25 | 2018-11-27 | Oppo（重庆）智能科技有限公司 | 一种场景数据采集方法、场景数据采集装置及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| 基于卷积神经网络的双目立体匹配VLSI架构设计;李智伟;《中国优秀硕士学位论文全文数据库》;20181215;全文 * |
| 基于实时多处理器的周期任务节能调度算法研究;陈昕媛;《CNKI》;20190115;全文 * |
| 结合同场景立体图对的高质量深度图像重建;杨宇翔等;《中国图象图形学报》;20150116(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476837A (zh) | 2020-07-31 |
| US20210390725A1 (en) | 2021-12-16 |
| WO2020151244A1 (zh) | 2020-07-30 |
| US11875523B2 (en) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI765979B (zh) | 操作神經網路裝置的方法 | |
| CN113014415A (zh) | 边缘计算环境中的端到端服务质量 | |
| Metwaly et al. | Edge computing with embedded ai: Thermal image analysis for occupancy estimation in intelligent buildings | |
| US20160239597A1 (en) | Apparatus and method for performing finite element computation | |
| WO2015152941A1 (en) | Combing multiple trending models for photovoltaic plant output forecasting | |
| Šikšnys et al. | Dependency-based flexoffers: scalable management of flexible loads with dependencies | |
| US20180047043A1 (en) | Determining Sensor Placement and a Reward Sharing Mechanism Based on Shared Energy Forecasting Information | |
| CN111476837B (zh) | 自适应立体匹配优化方法及其装置、设备和存储介质 | |
| KR102210693B1 (ko) | 경계 비트맵을 이용하는 이미지 분류 개선 기법 | |
| US10114149B2 (en) | Cloud coverage estimation by dynamic scheduling of a distributed set of cameras | |
| KR102350195B1 (ko) | 모바일 엣지 컴퓨팅을 활용하는 모바일 증강현실 서비스의 모바일 단말 에너지 최적화 방법 및 시스템 | |
| US8412649B2 (en) | Method for converting dynamical systems with continuous states into Markov decision processes with discrete states | |
| CN108139942A (zh) | 数据中心端到端功率效率建模的方法 | |
| WO2022040255A1 (en) | Methods, systems, and computer readable media for model-free privacy preserving thermal load management | |
| Chen et al. | Quality estimation and optimization of adaptive stereo matching algorithms for smart vehicles | |
| CN110557339A (zh) | 一种流量规划方法、装置、计算机设备、存储介质 | |
| CN114441848A (zh) | 功耗确定方法、装置、电子设备和存储介质 | |
| CN112817898A (zh) | 数据传输方法、处理器、芯片及电子设备 | |
| CN116739306B (zh) | 一种热泵负荷灵活性量化方法、系统及设备 | |
| US20230237700A1 (en) | Simultaneous localization and mapping using depth modeling | |
| CN116522680B (zh) | 一种用于星座卫星在轨任务规划的热约束分析方法 | |
| WO2023272662A1 (en) | Adaptive object detection | |
| CN117094031B (zh) | 工业数字孪生数据隐私保护方法及相关介质 | |
| CN117134366B (zh) | 负荷控制方法、装置、设备和存储介质 | |
| Chen et al. | Romanus: Robust task offloading in modular multi-sensor autonomous driving systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |