CN103971379B - 基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法 - Google Patents
基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法 Download PDFInfo
- Publication number
- CN103971379B CN103971379B CN201410238228.4A CN201410238228A CN103971379B CN 103971379 B CN103971379 B CN 103971379B CN 201410238228 A CN201410238228 A CN 201410238228A CN 103971379 B CN103971379 B CN 103971379B
- Authority
- CN
- China
- Prior art keywords
- bubble
- foam
- image
- bubbles
- equivalent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000006260 foam Substances 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005188 flotation Methods 0.000 claims abstract description 39
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 239000002184 metal Substances 0.000 claims abstract description 11
- 229910052751 metal Inorganic materials 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 239000012530 fluid Substances 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 11
- 150000002739 metals Chemical class 0.000 abstract 2
- 238000004088 simulation Methods 0.000 abstract 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- CWYNVVGOOAEACU-UHFFFAOYSA-N Fe2+ Chemical compound [Fe+2] CWYNVVGOOAEACU-UHFFFAOYSA-N 0.000 description 3
- 229910052802 copper Inorganic materials 0.000 description 3
- 239000010949 copper Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000009291 froth flotation Methods 0.000 description 2
- 229910052500 inorganic mineral Inorganic materials 0.000 description 2
- 239000011707 mineral Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000002000 scavenging effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种基于单摄像机等效双目立体视觉模型提取浮选泡沫立体特征的方法。在单摄像机获取浮选生产现场泡沫视频的基础上，利用视频中相邻两帧图像因泡沫流动而产生的差异信息，将一台摄像机从一个方位在不同时刻拍摄的流动泡沫的两帧图像，看作两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像，等效构建模拟人眼成像过程的双目立体视觉模型，获得泡沫图像中气泡的深度信息，进而提取气泡的立体特征，以用于有效识别有色金属浮选工况，实现对有色金属浮选过程的优化控制。
Description
技术领域
本发明涉及一种有色金属选矿过程中基于单摄像机等效双目立体视觉原理提取泡沫立体特征的方法，具体为浮选泡沫图像的关键特征的提取方法，属于图像处理技术和模式识别等领域。
背景技术
人主要是通过视觉系统来获取、处理与理解外界信息。矿物浮选生产过程主要是通过人工肉眼观察浮选槽表面泡沫的特征来判断工况，进行浮选过程操作。目前，尽管国内外研究人员提出了众多的描述泡沫图像表观结构的特征，如颜色、纹理、大小等，但这些特征的提取都是采用基于二维图像的处理方法，因摄像机从三维世界向二维平面投影的过程中，丢失了被摄对象的深度信息，故二维图像不能全面反映出人眼对泡沫结构特征的客观感知。为此，需要研究如何应用立体视觉原理，利用泡沫视频中相邻两帧图像因泡沫流动而产生的差异获取图像表观的深度信息，并将其与传统的二维图像特征相结合，获取更加丰富多样的工况特征信息，结合这些特征智能识别工况，可及时调整生产参数，使浮选生产过程始终保持在最优状态。
立体视觉是计算机视觉中一个重要的研究领域，其研究目的就是让计算机通过两幅或者多幅同一场景、不同角度的二维图像，恢复出三维场景，并认知三维世界。图像深度信息的提取，一般基于双目立体视觉原理，需要两个摄像机，而泡沫浮选的工业现场由于场地、成本等原因，粗选槽、精选槽和扫选槽上方一般都只安装一个摄像机，利用单摄像机采集到生产现场的浮选泡沫流动的视频，可以将同一台摄像机从一个方位拍摄的视频中相邻两帧(不同时刻)的泡沫图像，看做两台摄像机(左右眼摄像机)从不同方位在同一时刻所拍摄的同一场景下的两幅泡沫图像，从而可以等效构建模拟人眼成像过程的双目立体视觉模型。
发明内容
本发明的目的在于解决传统有色金属泡沫浮选特征的提取方法都是基于二维图像，难以全面表征符合人眼立体视觉特征特点的问题；在不增加硬件成本的基础上，利用生产现场已安装的现有设备，提供一种基于单摄像机等效双目立体视觉原理提取泡沫立体特征的方法，该方法易于实施，不增加成本，从立体视觉的角度表征浮选泡沫特征，为有色金属矿物浮选过程中的图像分析及指标预测提供了更为全面有效的信息，结合浮选泡沫的立体特征进行智能识别工况的工作，可以快速准确地识别浮选现场的工况类别。
为了实现上述技术目的，本发明的技术方案是：
一种基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法，包括以下步骤：
步骤一：获取有色金属浮选工业现场浮选槽内浮选工矿泡沫视频；
步骤二：利用视频中图像因泡沫流动而产生的图像变化，将步骤一视频中相邻两帧泡沫图像，看作由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像；采用宏块搜索策略获得两帧泡沫图像中最为匹配的宏块，并获得宏块在x、y方向上的偏移量；利用所获得的偏移量来分别获取两帧图像的重叠部分并构建可重叠视场，得到模拟人眼双目成像过程的等效左眼和右眼图像；
步骤三：分别对步骤二得到的等效左眼和右眼图像进行图像分割，得到气泡连通区域；对分割后的气泡连通区域进行预处理，去除非气泡连通区域以得到气泡区域；然后对气泡区域进行标记以区分相同或不同气泡；对已完成标记的气泡区域，先进行气泡匹配，通过计算得到各个气泡的质心和面积，然后取质心距离最短且面积差异最小时的气泡作为等效左右眼两幅图像中最为匹配的气泡对；再在最为匹配的气泡对上进行气泡宏块匹配，取包含单个气泡质心且余弦相似度最大时的宏块作为等效左右眼图像中最为匹配的气泡宏块，并获得该气泡在x、y方向上的局部偏移量；进而得到每个气泡的等效左、右摄像机基线距离，并求取相应每个气泡的深度；
步骤四：由步骤三得到气泡深度，计算气泡的高度和体积；再根据步骤三得到的左、右眼图像中的气泡匹配对来获取左、右眼图像中的相对红色分量，通过求相对红色分量的均值用来表征气泡的立体颜色特征，然后根据步骤二中得到的宏块在x、y方向上的偏移量求出泡沫的平均流动速度，最后根据步骤三中气泡匹配结果得出泡沫的平均破碎率，即得到浮选工矿泡沫图像的立体泡沫特征。
所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法，所述步骤一中获取泡沫视频包括以下步骤：
构建浮选泡沫图像获取平台：将一个摄像机垂直安装于有色金属浮选工业现场的浮选槽上方，距离泡沫层的高度为90-125cm，摄像机通过光纤连接图像采集卡，图像采集卡连接计算机，摄像机拍摄泡沫层视频信号并由图像采集卡转换为数字视频信号送往计算机即获得泡沫视频。
所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法，所述步骤二包括以下子步骤：
(1)当一台摄像机从一个固定方位拍摄的流动泡沫视频满足以下条件时：
①摄像机所摄视频中相邻两帧图像间隔时间τ足够小；要求摄像机每秒拍摄视频大于等于15帧，则τ≤0.0667秒；
②在时间τ内，流动的气泡可看做是不可压缩的理想流体，也就是说，气泡内部液体的质量不会导致气泡内部的压力变化，即其中为泡沫流动速度向量，为散度算子；
③在时间τ内，气泡流动可看做是无旋运动，也就是说，气泡内某点的剪切力为常数，即其中为旋度算子；
④在时间τ内，气泡流动的速率恒定且方向不变；
⑤在时间τ内，气泡保持其形状结构不变；
根据运动相对性原理，一台摄像机在间隔时间τ内平移所拍摄的静止泡沫的两幅图像，可以等同于泡沫静止而这台摄像机向泡沫流动方向相反移动拍摄的相邻两帧图像，也即由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像，满足了用一台摄像机从一个方位拍摄的相邻两帧流动泡沫图像来构建模拟人的左右眼视觉图像的要求；
(2)对相邻两帧泡沫图像进行宏块搜索，取余弦相似度最大时的宏块作为两帧图像中最为匹配的宏块，并获得其在x、y方向上的偏移量；进而分别获取两帧图像的可重建视场，用以构建模拟人眼双目成像过程的等效左右眼图像；具体步骤如下：
1)取前1帧图像的一个中心矩形宏块，计算投影向量；
在获取的泡沫视频中任取相邻两帧泡沫图像，设前1帧即第i帧泡沫图像为TM×N(u,v)，后1帧即第i+1帧泡沫图像为T′M×N(u,v)，其中M×N为图像的分辨率，u＝0,1,…,M-1，v＝0,1,…,N-1，分别用g(u,v)、g′(u,v)表示图像TM×N(u,v)、T′M×N(u,v)在坐标(u,v)处像素的灰度值，其中M、N取偶数。
以图像TM×N(u,v)的中心点为中心，取一个大小为m×n的矩形宏块Bm×n(i,j)，其坐标原点(i＝0,j＝0)位于图像TM×N的坐标处。将宏块Bm×n(i,j)分别按第i行、第j列投影，即分别求Bm×n(i,j)第i行、第j列所有像素的灰度值之和，得到第i行、第j列的投影分别为：
将m个行投影构成一个行向量Rm＝[R(0),…,R(i)…,R(m-1)]，将n个列投影也构成一个行向量Cn＝[C(0),…,C(j)…,C(n-1)]，将行、列投影一起构成前1帧泡沫图像TM×N(u,v)中宏块Bm×n(i,j)的投影向量P＝[Rm,Cn]，其中m、n取偶数，
2)取后1帧图像中所有矩形宏块，分别计算其投影向量；
以后1帧图像T′M×N(u,v)的中心点为中心，取一个与前1帧Bm×n(i,j)大小相同的矩形宏块B′m×n(i,j)。
在T′M×N(u,v)中将宏块B′m×n(i,j)的坐标原点分别沿x方向和y方向逐点移动到(i＝i′+sx,j＝j′+sy)，其中i＝0,j＝0，sx＝-sx,B,…,-1,0,1,…,sx,B，sy＝-sy,B,…,-1,0,1,…,sy,B，得到4sx,Bsy,B+1个坐标原点在的宏块其中i′＝0,j′＝0；
将T′M×N(u,v)中所有宏块分别按第i′行、第j′列投影，即分别求第i′行、第j′列所有像素的灰度值之和，得到第i′行、第j′列的投影分别为：
将每一个宏块的m个行投影构成一个行向量R′m＝[R′(0),…,R′(i′)…,R′(m-1)]，将n个列投影也构成一个行向量C′n＝[C′(0),…,C′(j′)…,C′(n-1)]，行、列投影一起构成该宏块的投影向量P′＝[R′m,C′n]；
3)搜索T′M×N(u,v)中所有的宏块寻找与TM×N(u,v)中Bm×n(i,j)最为匹配的宏块，并获得其在x、y方向上的偏移量；
计算前1帧图像中心宏块Bm×n(i,j)的投影向量P与后1帧图像各宏块的投影向量P′的内积，得到前后2帧图像的两宏块间余弦相似度，公式为：
其中，“·”表示向量点积， 表示向量的长度；
搜索T′M×N(u,v)中所有的宏块取余弦相似度最大时对应的作为与前1帧图像TM×N(u,v)中Bm×n(i,j)最为匹配的宏块，记为记录此时的sx,match和sy,match，作为宏块B′m×n(i,j)在x、y方向上的偏移量；
4)分别获取相邻两帧图像的可重建视场，用以构建模拟人眼双目成像过程的等效左右眼图像：
提取前1帧图像TM×N(u,v)的第|min(0,sy,match)|行到第M-|max(0,sy,match)|-1行、第|min(0,sx,match)|列到第N-|max(0,sx,match)|-1列的一个大小为(M-|sy,match|)×(N-|sx,match|)的子图，作为可重建视场，记为uR＝0,1,…,M-|sy,match|-1，vR＝0,1,…,N-|sx,match|-1；提取后1帧图像TM′×N(u,v)的第|max(0,sy,match)|行到第M-|min(0,sy,match)|-1行、第|max(0,sx,match)|列到第N-|min(0,sx,match)|-1列的一个大小为(M-|sy,match|)×(N-|sx,match|)的子图，作为可重建视场，记为uL＝0,1,…,M-|sy,match|-1，vL＝0,1,…,N-|sx,match|-1。
分别用可重建视场和作为模拟人眼双目成像过程的等效左眼图像和右眼图像。
所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法，所述步骤三包括以下子步骤：
(1)对步骤二得到的等效左、右眼图像采用分水岭算法分别进行分割，得到不同气泡连通区域并计算各气泡连通区域的像素面积；
(2)对分割后的等效左、右眼图像气泡连通区域分别进行预处理为：去除像素面积小于500且灰度方差大于80的非气泡像素连通区域，得到预处理后的气泡区域。
(3)对预处理后的等效左、右眼图像气泡区域采用四邻域扫描标号方法分别进行标记，即对图像中相互连通的像素赋予同样的标号，表示该连通区域为同一气泡；对图像中不同连通区域内像素赋予不同的标号，表示不同气泡；像素值为0的像素连线表示分割线；记左、右眼图像中气泡标号分别为k、l，k＝1,2,…,kL，l＝1,2,…,lR，kL为左眼图像中标记气泡的总数，lR为右眼图像中标记气泡的总数；
(4)对等效左、右眼图像中已标记了的气泡区域，进行气泡匹配，取质心距离最短且面积差异最小时的气泡作为左、右眼图像中最为匹配的气泡，具体步骤如下：
1)计算等效左、右眼图像中气泡k、l的(p+q)阶矩Mpq、M′pq，公式为：
其中，气泡k/l在标号为k/l的区域中取1、在其他区域中取0；
2)计算左、右眼图像中气泡k、l的质心坐标(uL,k0,vL,k0)、(uR,l0,vR,l0)，计算公式分别为：
式中M10(k)、M01(k)和M00(k)，M′10(l)、M′01(l)和M′00(l)分别为左、右眼图像中气泡k、l的1阶矩和零阶矩；
3)逐个计算左眼图像中标号为k的气泡质心(uL,k0,vL,k0)与右眼图像中标号为l的气泡质心(uR,l0,vR,l0)间距离Dk0,l0以及气泡k与气泡l间的像素面积差Ak,l，公式为：
Ak,l＝|Ak-A′l| 公式10
其中Ak、A′l分别为气泡k、l的像素面积；
4)取质心距离最短且面积差异最小时的气泡作为左、右眼图像中最为匹配的气泡，记为气泡匹配对与等效左眼图中标号k一一对应，并重新标记在等效右眼图中，此时等效左眼图像中气泡k与等效右眼图像中气泡对应现实三维空间中同一气泡实体；
(5)对气泡匹配对进行局部宏块搜索，取包含单个气泡质心且余弦相似度最大时的宏块作为等效左、右眼图像中最为匹配的气泡宏块，并获得其在x、y方向上的局部偏移量；具体步骤如下：
1)分别计算左右眼图像中气泡匹配对的长、短轴，计算公式为：
其中M(k)、分别为左、右眼图像中气泡k、的极惯性矩，计算公式为：
2)在等效左眼图像中，以标号为k的气泡质心(uL,k0,vL,k0)为中心，取一个大小为m×m的宏块m＝ak+10，按步骤二所述方法，计算其投影向量Pk；
3)在等效右眼图像中，以标号为的气泡质心为中心，取一个与左眼图像中大小相同的宏块将的坐标原点(i＝0,j＝0)分别沿x方向和y方向逐点移动到(i＝i′+dx,j＝j′+dy)，其中dx＝-30,…,-1,0,1,…,30，dy＝-30,…,-1,0,1,…,30，得到坐标原点在(i′＝0,j′＝0)的宏块计算宏块中所有的投影向量
4)应用公式5计算与所有的两宏块间余弦相似度，取余弦相似度最大时对应的宏块，作为与左眼图像中气泡k的宏块最为匹配的宏块，记为记录此时的dxmatch和dymatch，作为气泡在x、y方向上的偏移量；
(6)计算每个实体气泡r的等效左、右摄像机基线距离，计算公式为：
Br＝sx,match+dxmatch 公式13
(7)计算每个实体气泡r质心、边缘点Pri的深度zri,i＝0,1,2,3,4，公式为：
其中，f为摄像机镜头的焦距。
所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法，所述步骤四包括以下子步骤：
(1)由步骤三得到气泡深度，计算气泡的高度和体积；
将二维平面单个气泡近似为椭圆，三维空间中气泡近似为半椭球，可求取三维空间中气泡实体r的高度cr和体积Vr，计算公式为：
其中，和为气泡r的长、短轴；
(2)对步骤三得到的左、右眼图像中的气泡匹配对，获取其在左、右眼图像中的相对红色分量，求其均值用来表征气泡的立体颜色特征；
对步骤三得到的气泡匹配对分别从RGB颜色空间中提取相对红色分量，用来表征三维空间中气泡实体r的颜色特征，公式为：
其中，Rr为气泡实体r的相对红色分量，Rk和分别为左、右眼图像中气泡k和的相对红色分量，(uL,k0,vL,k0)和分别表示同一气泡实体r在等效左、右眼图像中气泡匹配对k和的质心坐标，red(uL,k0,vL,k0)和g(uL,k0,vL,k0)、和分别表示气泡k、质心像素的红色分量和灰度；
(3)求取泡沫的平均流动速度；
对步骤二得到的宏块在x、y方向上的偏移量，可以计算得到相邻两帧间隔时间段τ内泡沫流动速度为避免单帧图像的随机误差，连续计算15帧泡沫图像的泡沫速度，取其均值作为泡沫的平均移动速度计算公式为：
其中，表示第i帧和第i+1帧间隔时间段τ内泡沫流动速度；
(4)求取泡沫的平均破碎率：
在步骤三气泡匹配的过程中，若左眼泡沫图像中的大气泡，在右眼泡沫图像中找不到匹配的气泡，则可认为该气泡破碎，连续记录15帧泡沫图像中气泡破碎的数目，即为泡沫的破碎率，计算公式为：
其中，ni表示第i帧中像素面积大于1000的气泡l在第i+1帧中找不到相匹配的气泡的个数。
有益效果：
考虑到泡沫浮选工业现场的粗选槽、精选槽上方一般只安装一个摄像机，构造了基于单摄像机等效双目成像模型，提取泡沫图像表观的立体特征。根据泡沫的立体特征来识别铜浮选生产工况，对于稳定铜浮选工况，实现铜浮选过程的优化控制有重要的意义。
本发明的基于单摄像机等效双目立体视觉原理提取泡沫立体特征的方法，考虑到泡沫浮选工业现场的粗选槽、精选槽和扫选槽上方一般都只安装一个摄像机的情况，在不增加任何硬件设备和成本的基础上，构建基于单摄像机等效双目成像模型，提取泡沫图像表观的立体特征。实验证明，本发明所提取的泡沫立体特征量具有比二维图像的平面特征更好的模式可分性，可以很好地用于识别浮选生产工况，对于指导浮选生产操作，实现对有色金属浮选过程的优化控制有重要的意义，且这种方法可以直接在计算机上实现，成本低，效率高，易于实施。
本发明的技术构思：
矿物浮选生产过程主要是通过人工肉眼观察浮选槽表面泡沫的特征来判断工况，进行浮选过程操作。目前，尽管国内外研究人员提出了众多的描述泡沫图像表观结构的特征，如颜色、纹理、大小等，但这些特征的提取都是采用基于二维图像的处理方法，因摄像机从三维世界向二维平面投影的过程中，丢失了被摄对象的深度信息，故二维图像不能全面反映出人眼对泡沫结构特征的客观感知。
立体视觉是计算机视觉中一个重要的研究领域，其研究目的就是让计算机通过两幅或者多幅同一场景、不同角度的二维图像，恢复出三维场景，一般基于双目立体视觉原理，需要两个摄像机，而泡沫浮选的工业现场由于场地、成本等原因，粗选槽、精选槽和扫选槽上方一般都只安装一个摄像机。
为此，本发明针对传统基于二维图像的泡沫浮选特征提取方法难以全面表征符合人眼立体视觉特征特点的问题，而工业现场只安装一个摄像机的实际情况，不增加任何硬件设备和成本，在单摄像机获取浮选生产现场泡沫视频的基础上，利用视频中相邻两帧图像因泡沫流动而产生的差异信息，将一台摄像机从一个方位在不同时刻拍摄的流动泡沫的两帧图像，看作两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像，等效构建模拟人眼成像过程的双目立体视觉模型，获得泡沫图像中气泡的深度信息，进而提取气泡的立体特征，以用于有效识别有色金属浮选工况，实现对有色金属浮选过程的优化控制。
附图说明：
图1视频相邻帧图像与双目平行成像原理关系图；
图2泡沫图像分析系统硬件结构图；
图3前后帧图像宏块匹配；
图4图像标号分布图；
图5前后帧图像中气泡匹配；
具体实施方式
以下将结合附图和具体实施例对本发明做进一步详细说明：
实施例1：
第一步，首先通过泡沫图像采集系统获取泡沫视频，其硬件结构如图2所示：
通过一系列硬件设备，如：彩色CCD摄像机1、照明系统2、计算机3和图像采集卡4构建浮选泡沫图像获取平台。摄像机1垂直安装于浮选槽7上方，距离泡沫层6的高度为90-125cm，获取的泡沫层6视频信号经光纤5传至图像采集卡4，随之转换为数字视频信号送往计算机3，再由计算机对采集到的泡沫视频进行处理。
第二步，将步骤一获得泡沫视频中的相邻两帧泡沫图像，看作由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像；采用宏块搜索策略获得相邻两帧泡沫图像中最为匹配的宏块，并获得其在x、y方向上的偏移量；分别获取两帧图像的重叠部分构建可重叠视场，用以构建模拟人眼双目成像过程的等效左右眼图像，如图2所示；
(1)取泡沫视频中的某相邻两帧泡沫图像，前1帧(第i帧)泡沫图像为T800×600(u,v)，后1帧(第i+1帧)泡沫图像为T′800×600(u,v)，将其看作由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像；
(2)对相邻两帧泡沫图像进行宏块搜索，取余弦相似度最大时的宏块作为两帧图像中最为匹配的宏块，并获得其在x、y方向上的偏移量；进而分别获取两帧图像的可重建视场，用以构建模拟人眼双目成像过程的等效左右眼图像；具体步骤如下：
1)以T800×600(u,v)的中心点(uc＝399,vc＝299)为中心，取一个大小为400×300的矩形宏块B400×300(i,j)，其坐标原点(i＝0,j＝0)位于图像T800×600的坐标(u0＝199,v0＝149)处，采用公式1、2，计算行、列投影向量R400、C300，构成其投影向量P＝[R400,C300]；
2)以图像T′800×600(u,v)的中心点为中心，取宏块B′400×300(i,j)，其坐标原点(i＝0,j＝0)位于图像T′800×600(u,v)的坐标(u0＝199,v0＝149)处，在T′800×600(u,v)中将宏块B′400×300的坐标原点(i＝0,j＝0)分别沿x方向和y方向逐点移动到(i＝i′+sx,j＝j′+sy)，其中sx＝-sx,B,…,-1,0,1,…,sx,B，sx,B＝199，sy＝-sy,B,…,-1,0,1,…,sy,B，sy,B＝149，得到4×199×149+1个坐标原点在(i′＝0,j′＝0)的宏块
采用公式3、4，计算T′800×600(u,v)中所有宏块的行、列投影向量R′400、C′300，并构成其投影向量P′＝[R′400,C′300]。
3)采用公式5，计算T800×600(u,v)中心宏块B400×300(i,j)的投影向量P与T′800×600(u,v)中各宏块的投影向量P′之间的余弦相似度。
取余弦相似度最大时对应的作为与前1帧图像T800×600(u,v)中心宏块B400×300(i,j)最为匹配的宏块，记录此时的sx,match和sy,match，作为宏块B4′00×300(i,j)在x、y方向上的偏移量。
4)取前1帧图像T800×600(u,v)的第|min(0,sy,match)|行到第799-|max(0,sy,match)|行、第|min(0,sx,match)|列到第599-|max(0,sx,match)|列的一个大小为(800-|sy,match|)×(600-|sx,match|)的子图，作为可重建视场，记为uR＝0,1,…,M-|sy,match|-1，vR＝0,1,…,N-|sx,match|-1；提取后1帧图像T′M×N(u,v)的第|max(0,sy,match)|行到第799-|min(0,sy,match)|行、第|max(0,sx,match)|列到第599-|min(0,sx,match)|列的一个大小为(M-|sy,match|)×(N-|sx,match|)的子图，作为可重建视场，记为uL＝0,1,…,M-|sy,match|-1，vL＝0,1,…,N-|sx,match|-1。
分别用可重建视场和作为模拟人眼双目成像过程的等效左眼图像和右眼图像，如图3所示。
第三步：分别对步骤二得到的等效左右眼图像进行图像分割；对分割后的像素连通区域进行预处理，去除非气泡的像素连通区域；对气泡区域进行标记；对左右眼图像中标记了的气泡进行匹配。
(1)对步骤二得到的等效左、右眼泡沫图像采用分水岭算法进行分割，得到不同气泡连通区域并计算其像素面积；
(2)对分割后的像素连通区域进行预处理，去除像素面积小于500且灰度方差大于80的非气泡像素连通区域，得到预处理后的气泡区域；
(3)对气泡区域采用四邻域扫描标号方法进行标记，如图4所示；
(4)对标记了的和进行气泡匹配；
应用公式9、10逐个计算左眼图像中标号为k的气泡质心(uL,k0,vL,k0)与右眼图像中标号为l的气泡质心(uR,l0,vR,l0)间距离以及气泡k、l的像素面积差，取质心距离最短且面积差异最小时的气泡作为左、右眼图像中最为匹配的气泡，记为气泡匹配对对应现实三维空间中同一气泡实体r，如图5所示。
(5)对气泡匹配对进行局部宏块匹配；
首先，采用公式11、12计算等效左、右眼泡沫图像中气泡k、的长轴。
其次，在等效左眼图像中，以1号气泡为例，取一个大小为125×125的宏块其中心为气泡1质心(uL,k0,vL,k0)，按步骤二所述方法，计算其投影向量Pk。
然后，在等效右眼图像中，以标号为的气泡质心为中心，取一个与左眼图像中大小相同的宏块将的坐标原点(i＝0,j＝0)分别沿x方向和y方向逐点移动到(i＝i′+dx,j＝j′+dy)，其中dx＝-30,…,-1,0,1,…,30，dy＝-30,…,-1,0,1,…,30，得到坐标原点在(i′＝0,j′＝0)的宏块计算宏块中所有的投影向量
最后，应用公式5计算与所有的两宏块间余弦相似度，取余弦相似度最大时对应的宏块，作为与左眼图像中气泡1的宏块最为匹配的宏块，记录此时的dxmatch和dymatch，作为气泡在x、y方向上的偏移量；
(6)由公式13计算得到气泡r的等效左、右摄像机基线距离；
(7)采用公式14，计算得到气泡r质心和边缘点Pri的深度zri,i＝0,1,2,3,4。
第四步：提取浮选工矿泡沫图像的立体泡沫特征。
(1)采用公式15，计算气泡的高度和体积；
(2)对步骤三得到的左、右眼图像中的气泡匹配对，采用公式16，计算其相对红色分量，取其均值用来表征气泡的立体颜色特征；
(3)对步骤二得到的宏块在x、y方向上的偏移量，采用公式17，计算得到泡沫的平均移动速度；
(4)采用公式18，计算得到泡沫的破碎率。
Claims (5)
1.一种基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法，其特征在于包括以下步骤：
步骤一：获取有色金属浮选工业现场浮选槽内浮选工矿泡沫视频；
步骤二：利用视频中图像因泡沫流动而产生的图像变化，将步骤一视频中相邻两帧泡沫图像，看作由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像；采用宏块搜索策略获得两帧泡沫图像中最为匹配的宏块，并获得宏块在x、y方向上的偏移量；利用所获得的偏移量来分别获取两帧图像的重叠部分并构建可重叠视场，得到模拟人眼双目成像过程的等效左眼和右眼图像；
步骤三：分别对步骤二得到的等效左眼和右眼图像进行图像分割，得到气泡连通区域；对分割后的气泡连通区域进行预处理，去除非气泡连通区域以得到气泡区域；然后对气泡区域进行标记以区分相同或不同气泡；对已完成标记的气泡区域，先进行气泡匹配，通过计算得到各个气泡的质心和面积，然后取质心距离最短且面积差异最小时的气泡作为等效左右眼两幅图像中最为匹配的气泡对；再在最为匹配的气泡对上进行气泡宏块匹配，取包含单个气泡质心且余弦相似度最大时的宏块作为等效左右眼图像中最为匹配的气泡宏块，并获得该气泡在x、y方向上的局部偏移量；进而得到每个气泡的等效左、右摄像机基线距离，并求取相应每个气泡的深度；
步骤四：由步骤三得到气泡深度，计算气泡的高度和体积；再根据步骤三得到的左、右眼图像中的气泡匹配对来获取左、右眼图像中的相对红色分量，通过求相对红色分量的均值用来表征气泡的立体颜色特征，然后根据步骤二中得到的宏块在x、y方向上的偏移量求出泡沫的平均流动速度，最后根据步骤三中气泡匹配结果得出泡沫的平均破碎率，即得到浮选工矿泡沫图像的立体泡沫特征。
2.根据权利要求1所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法，其特征在于，所述步骤一中获取泡沫视频包括以下步骤：
构建浮选泡沫图像获取平台：将一个摄像机垂直安装于有色金属浮选工业现场的浮选槽上方，距离泡沫层的高度为90-125cm，摄像机通过光纤连接图像采集卡，图像采集卡连接计算机，摄像机拍摄泡沫层视频信号并由图像采集卡转换为数字视频信号送往计算机即获得泡沫视频。
3.根据权利要求1所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法，其特征在于，所述步骤二包括以下子步骤：
(1)当一台摄像机从一个固定方位拍摄的流动泡沫视频满足以下条件时：
①摄像机所摄视频中相邻两帧图像间隔时间τ为要求摄像机每秒拍摄视频大于等于15帧，则τ≤0.0667秒；
②在时间τ内，流动的气泡看做是不可压缩的理想流体，也就是说，气泡内部液体的质量不会导致气泡内部的压力变化，即其中为泡沫流动速度向量，为散度算子；
③在时间τ内，气泡流动看做是无旋运动，也就是说，气泡内某点的剪切力为常数，即其中
④在时间τ内，气泡流动的速率恒定且方向不变；
⑤在时间τ内，气泡保持其形状结构不变；
根据运动相对性原理，一台摄像机在间隔时间τ内平移所拍摄的静止泡沫的两幅图像，等同于泡沫静止而这台摄像机向泡沫流动方向相反移动拍摄的相邻两帧图像，也即由两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像，满足了用一台摄像机从一个方位拍摄的相邻两帧流动泡沫图像来构建模拟人的左右眼视觉图像的要求；
(2)对相邻两帧泡沫图像进行宏块搜索，取余弦相似度最大时的宏块作为两帧图像中最为匹配的宏块，并获得其在x、y方向上的偏移量；进而分别获取两帧图像的可重建视场，用以构建模拟人眼双目成像过程的等效左右眼图像；具体步骤如下：
1)取前1帧图像的一个中心矩形宏块，计算投影向量；
在获取的泡沫视频中任取相邻两帧泡沫图像，设前1帧即第i帧泡沫图像为TM×N(u,v)，后1帧即第i+1帧泡沫图像为T′M×N(u,v)，其中M×N为图像的分辨率，u＝0,1,…,M-1，v＝0,1,…,N-1，分别用g(u,v)、g′(u,v)表示图像TM×N(u,v)、T′M×N(u,v)在坐标(u,v)处像素的灰度值，其中M、N取偶数；
以图像TM×N(u,v)的中心点为中心，取一个大小为m×n的矩形宏块Bm×n(i,j)，其坐标原点(i＝0,j＝0)位于图像TM×N的坐标处；将宏块Bm×n(i,j)分别按第i行、第j列投影，即分别求Bm×n(i,j)第i行、第j列所有像素的灰度值之和，得到第i行、第j列的投影分别为：
将m个行投影构成一个行向量Rm＝[R(0),…,R(i)…,R(m-1)]，将n个列投影也构成一个行向量Cn＝[C(0),…,C(j)…,C(n-1)]，将行、列投影一起构成前1帧泡沫图像TM×N(u,v)中宏块Bm×n(i,j)的投影向量P＝[Rm,Cn]，其中m、n取偶数，
2)取后1帧图像中所有矩形宏块，分别计算其投影向量；
以后1帧图像T′M×N(u,v)的中心点为中心，取一个与前1帧Bm×n(i,j)大小相同的矩形宏块B′m×n(i,j)；
在T′M×N(u,v)中将宏块B′m×n(i,j)的坐标原点分别沿x方向和y方向逐点移动到(i＝i′+sx,j＝j′+sy)，其中i＝0,j＝0，sx＝-sx,B,…,-1,0,1,…,sx,B，sy＝-sy,B,…,-1,0,1,…,sy,B，得到4sx,Bsy,B+1个坐标原点在的宏块其中i′＝0,j′＝0；
将T′M×N(u,v)中所有宏块分别按第i′行、第j′列投影，即分别求第i′行、第j′列所有像素的灰度值之和，得到第i′行、第j′列的投影分别为：
将每一个宏块的m个行投影构成一个行向量R′m＝[R′(0),…,R′(i′)…,R′(m-1)]，将n个列投影也构成一个行向量C′n＝[C′(0),…,C′(j′)…,C′(n-1)]，行、列投影一起构成该宏块的投影向量P′＝[R′m,C′n]；
3)搜索T′M×N(u,v)中所有的宏块寻找与TM×N(u,v)中Bm×n(i,j)最为匹配的宏块，并获得其在x、y方向上的偏移量；
计算前1帧图像中心宏块Bm×n(i,j)的投影向量P与后1帧图像各宏块的投影向量P′的内积，得到前后2帧图像的两宏块间余弦相似度，公式为：
其中，“·”表示向量点积， 表示向量的长度；
搜索T′M×N(u,v)中所有的宏块取余弦相似度最大时对应的作为与前1帧图像TM×N(u,v)中Bm×n(i,j)最为匹配的宏块，记为记录此时的sx,match和sy,match，作为宏块B′m×n(i,j)在x、y方向上的偏移量；
4)分别获取相邻两帧图像的可重建视场，用以构建模拟人眼双目成像过程的等效左右眼图像：
提取前1帧图像TM×N(u,v)的第|min(0,sy,match)|行到第M-|max(0,sy,match)|-1行、第|min(0,sx,match)|列到第N-|max(0,sx,match)|-1列的一个大小为(M-|sy,match|)×(N-|sx,match|)的子图，作为可重建视场，记为uR＝0,1,…,M-|sy,match|-1，vR＝0,1,…,N-|sx,match|-1；提取后1帧图像T′M×N(u,v)的第|max(0,sy,match)|行到第M-|min(0,sy,match)|-1行、第|max(0,sx,match)|列到第N-|min(0,sx,match)|-1列的一个大小为(M-|sy,match|)×(N-|sx,match|)的子图，作为可重建视场，记为uL＝0,1,…,M-|sy,match|-1，vL＝0,1,…,N-|sx,match|-1；
分别用可重建视场和作为模拟人眼双目成像过程的等效左眼图像和右眼图像。
4.根据权利要求3所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法，其特征在于，所述步骤三包括以下子步骤：
(1)对步骤二得到的等效左、右眼图像采用分水岭算法分别进行分割，得到不同气泡连通区域并计算各气泡连通区域的像素面积；
(2)对分割后的等效左、右眼图像气泡连通区域分别进行预处理为：去除像素面积小于500且灰度方差大于80的非气泡像素连通区域，得到预处理后的气泡区域；
(3)对预处理后的等效左、右眼图像气泡区域采用四邻域扫描标号方法分别进行标记，即对图像中相互连通的像素赋予同样的标号，表示该连通区域为同一气泡；对图像中不同连通区域内像素赋予不同的标号，表示不同气泡；像素值为0的像素连线表示分割线；记左、右眼图像中气泡标号分别为k、l，k＝1,2,…,kL，l＝1,2,…,lR，kL为左眼图像中标记气泡的总数，lR为右眼图像中标记气泡的总数；
(4)对等效左、右眼图像中已标记了的气泡区域，进行气泡匹配，取质心距离最短且面积差异最小时的气泡作为左、右眼图像中最为匹配的气泡，具体步骤如下：
1)计算等效左、右眼图像中气泡k、l的(p+q)阶矩Mpq、M′pq，公式为：
其中，气泡k/l在标号为k/l的区域中取1、在其他区域中取0；
2)计算等效左、右眼图像中气泡k、l的质心坐标(uL,k0,vL,k0)、(uR,l0,vR,l0)，计算公式分别为：
式中M10(k)、M01(k)和M00(k)，M′10(l)、M′01(l)和M′00(l)分别为左、右眼图像中气泡k、l的1阶矩和零阶矩；
3)逐个计算左眼图像中标号为k的气泡质心(uL,k0,vL,k0)与右眼图像中标号为l的气泡质心(uR,l0,vR,l0)间距离Dk0,l0以及气泡k与气泡l间的像素面积差Ak,l，公式为：
Ak,l＝|Ak-A′l| 公式10
其中Ak、A′l分别为气泡k、l的像素面积；
4)取质心距离最短且面积差异最小时的气泡作为等效左、右眼图像中最为匹配的气泡，记为气泡匹配对 与等效左眼图中标号k一一对应，并重新标记在等效右眼图中，此时等效左眼图像中气泡k与等效右眼图像中气泡对应现实三维空间中同一气泡实体；
(5)对气泡匹配对进行局部宏块搜索，取包含单个气泡质心且余弦相似度最大时的宏块作为等效左、右眼图像中最为匹配的气泡宏块，并获得其在x、y方向上的局部偏移量；具体步骤如下：
1)分别计算等效左、右眼图像中气泡匹配对的长、短轴，计算公式为：
其中M(k)、分别为等效左、右眼图像中气泡k、的极惯性矩，计算公式为：
2)在等效左眼图像中，以标号为k的气泡质心(uL,k0,vL,k0)为中心，取一个大小为m×m的宏块m＝ak+10，按步骤二所述方法，计算其投影向量Pk；
3)在等效右眼图像中，以标号为的气泡质心为中心，取一个与左眼图像中大小相同的宏块将的坐标原点(i＝0,j＝0)分别沿x方向和y方向逐点移动到(i＝i′+dx,j＝j′+dy)，其中dx＝-30,…,-1,0,1,…,30，dy＝-30,…,-1,0,1,…,30，得到坐标原点在(i′＝0,j′＝0)的宏块计算宏块中所有的投影向量
4)应用公式5计算与所有的两宏块间余弦相似度，取余弦相似度最大时对应的宏块，作为与等效左眼图像中气泡k的宏块最为匹配的宏块，记为记录此时的dxmatch和dymatch，作为气泡在x、y方向上的偏移量；
(6)计算每个实体气泡r的等效左、右摄像机基线距离，计算公式为：
Br＝sx,match+dxmatch 公式13
(7)计算每个实体气泡r质心、边缘点Pri的深度zri,i＝0,1,2,3,4，公式为：
其中，f为摄像机镜头的焦距。
5.根据权利要求1所述的基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法，其特征在于，所述步骤四包括以下子步骤：
(1)由步骤三得到气泡深度，计算气泡的高度和体积；
将二维平面单个气泡近似为椭圆，三维空间中气泡近似为半椭球，可求取三维空间中气泡实体r的高度cr和体积Vr，计算公式为：
其中，和为气泡r的长、短轴；
(2)对步骤三得到的左、右眼图像中的气泡匹配对，获取其在左、右眼图像中的相对红色分量，求其均值用来表征气泡的立体颜色特征；
对步骤三得到的气泡匹配对分别从RGB颜色空间中提取相对红色分量，用来表征三维空间中气泡实体r的颜色特征，公式为：
其中，Rr为气泡实体r的相对红色分量，Rk和分别为左、右眼图像中气泡k和的相对红色分量，(uL,k0,vL,k0)和分别表示同一气泡实体r在等效左、右眼图像中气泡匹配对k和的质心坐标，red(uL,k0,vL,k0)和g(uL,k0,vL,k0)、和分别表示气泡k、质心像素的红色分量和灰度；
(3)求取泡沫的平均流动速度；
对步骤二得到的宏块在x、y方向上的偏移量，可以计算得到相邻两帧间隔时间段τ内泡沫流动速度为避免单帧图像的随机误差，连续计算15帧泡沫图像的泡沫速度，取其均值作为泡沫的平均移动速度计算公式为：
其中，表示第i帧和第i+1帧间隔时间段τ内泡沫流动速度；
(4)求取泡沫的平均破碎率：
在步骤三气泡匹配的过程中，若左眼泡沫图像中的大气泡，在右眼泡沫图像中找不到匹配的气泡，则可认为该气泡破碎，连续记录15帧泡沫图像中气泡破碎的数目，即为泡沫的破碎率，计算公式为：
其中，ni表示第i帧中像素面积大于1000的气泡l在第i+1帧中找不到相匹配的气泡的个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410238228.4A CN103971379B (zh) | 2014-05-30 | 2014-05-30 | 基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410238228.4A CN103971379B (zh) | 2014-05-30 | 2014-05-30 | 基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103971379A CN103971379A (zh) | 2014-08-06 |
| CN103971379B true CN103971379B (zh) | 2017-07-28 |
Family
ID=51240828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410238228.4A Active CN103971379B (zh) | 2014-05-30 | 2014-05-30 | 基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103971379B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408724B (zh) * | 2014-11-27 | 2017-12-01 | 中南大学 | 基于深度信息的泡沫浮选液位监测和工况识别方法及系统 |
| CN108629807A (zh) * | 2017-03-22 | 2018-10-09 | 中国人民解放军海军工程大学 | 一种获取空泡的分布特征的方法和装置 |
| CN108120392B (zh) * | 2017-11-30 | 2020-03-31 | 东南大学 | 气液两相流中气泡三维测量系统及方法 |
| CN108174178A (zh) * | 2018-01-09 | 2018-06-15 | 重庆爱奇艺智能科技有限公司 | 一种图像显示方法、装置及虚拟现实设备 |
| CN109598739B (zh) * | 2018-12-14 | 2019-07-26 | 广州海洋地质调查局 | 一种水体中渗漏气泡数目的统计方法及处理终端 |
| CN110245672B (zh) * | 2019-06-22 | 2021-08-31 | 福州大学 | 基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检测方法 |
| US20240121372A1 (en) * | 2022-10-07 | 2024-04-11 | Global Life Sciences Solutions Usa Llc | Apparatus, system and method for foam detection utilizing stereo imaging |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345636A (zh) * | 2013-06-24 | 2013-10-09 | 中南大学 | 基于小波多尺度二值化的铜浮选现场泡沫工况识别方法 |
| CN103559496A (zh) * | 2013-11-15 | 2014-02-05 | 中南大学 | 泡沫图像多尺度多方向纹理特征的提取方法 |
-
2014
- 2014-05-30 CN CN201410238228.4A patent/CN103971379B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345636A (zh) * | 2013-06-24 | 2013-10-09 | 中南大学 | 基于小波多尺度二值化的铜浮选现场泡沫工况识别方法 |
| CN103559496A (zh) * | 2013-11-15 | 2014-02-05 | 中南大学 | 泡沫图像多尺度多方向纹理特征的提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| Intelligent Feature Extration and Tracking for Visualizing Large-Scale 4D Flow Simulations;Fan-Yin Tzeng et al.;《USA(c)2005 ACM》;20051118;第1-11页 * |
| 基于Gabor小波的浮选泡沫图像纹理特征提取;刘金平等;《仪器仪表学报》;20100831;第1769-1775页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103971379A (zh) | 2014-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103971379B (zh) | 基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法 | |
| CN104574375B (zh) | 结合彩色和深度信息的图像显著性检测方法 | |
| CN104504671B (zh) | 一种用于立体显示的虚实融合图像生成方法 | |
| CN104036488B (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
| CN103530619B (zh) | 基于rgb-d数据构成的少量训练样本的手势识别方法 | |
| CN103957397B (zh) | 一种基于图像特征的低分辨率深度图像上采样方法 | |
| CN102902355A (zh) | 移动设备的空间交互方法 | |
| CN102999892A (zh) | 基于区域遮罩的深度图像与rgb图像的智能融合方法 | |
| CN103942843A (zh) | 一种基于视频的航道船舶三维模型动态呈现方法 | |
| KR100560464B1 (ko) | 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법 | |
| CN103354616A (zh) | 在平面显示器上实现立体显示的方法和系统 | |
| CN103248906A (zh) | 一种双目立体视频序列的深度图获取方法与系统 | |
| CN111652900B (zh) | 基于场景流的客流量的计数方法、系统及设备、存储介质 | |
| CN106156714A (zh) | 基于骨骼关节特征和表面特征融合的人体行为识别方法 | |
| CN103873876A (zh) | 基于显著性的多视点彩色加深度视频编码方法 | |
| CN103986905B (zh) | 一种三维环境下基于线路特征的视频空间实时漫游方法 | |
| KR20140074201A (ko) | 추적 장치 | |
| CN103716615B (zh) | 基于样本学习和深度图像传播的2d视频立体化方法 | |
| CN106980369A (zh) | 虚拟现实项目的第三视角视频的合成和输出系统及方法 | |
| KR101125061B1 (ko) | Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법 | |
| CN102761764B (zh) | 一种用于三维立体视频的深度图片的上采样方法 | |
| CN101674418B (zh) | 一种虚拟演播室系统中主持人深度的检测方法 | |
| CN106254850A (zh) | 双视点立体视频的图像匹配方法及装置 | |
| CN106228560B (zh) | 一种复杂场景下的人数统计方法 | |
| CN110149508A (zh) | 一种基于一维集成成像系统的阵列图生成及填补方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |