CN104574404B - 一种立体图像重定位方法 - Google Patents
一种立体图像重定位方法 Download PDFInfo
- Publication number
- CN104574404B CN104574404B CN201510017633.8A CN201510017633A CN104574404B CN 104574404 B CN104574404 B CN 104574404B CN 201510017633 A CN201510017633 A CN 201510017633A CN 104574404 B CN104574404 B CN 104574404B
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- pixel point
- coordinate position
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 230000000873 masking effect Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 22
- 238000013139 quantization Methods 0.000 claims description 15
- 238000006386 neutralization reaction Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 9
- 241000287196 Asthenes Species 0.000 claims description 3
- 229910010888 LiIn Inorganic materials 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 3
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- RMVRSNDYEFQCLF-UHFFFAOYSA-N thiophenol Chemical compound SC1=CC=CC=C1 RMVRSNDYEFQCLF-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种立体图像重定位方法，其首先分别提取左视点图像的立体显著图和显著能量图，并采用动态规划方法找出左视点图像的所有垂直缝隙；然后根据左视点图像中的每个像素点的水平偏移值对左视点图像的所有垂直缝隙进行调整，获取所有最优垂直缝隙；接着根据左视点图像的所有最优垂直缝隙找出右视点图像的所有最优垂直缝隙；再将落于左视点图像的所有最优垂直缝隙和右视点图像的所有最优垂直缝隙内的像素点移除，得到重定位后的立体图像；优点是获得的重定位后的立体图像既保留了重要的显著语义信息，又能保证左视点图像和右视点图像的一致性。
Description
技术领域
本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像重定位方法。
背景技术
随着立体显示技术的快速发展，各种具有不同立体显示功能的终端设备也广泛出现，但由于立体显示终端种类繁多，宽/高比规格不一，因此若将宽/高比一定的图像放在不同的立体显示终端上显示，就必须先对图像尺寸进行调整，以达到立体显示的效果。传统的图像缩放方法是通过裁剪或者是按固定比例进行缩放，这样做可能会出现图像中的内容减少或者导致显著物体变形。
对于立体图像而言，沿水平或垂直方向的拉伸或缩小处理会严重地影响立体效果，导致双目视差的变化，从而引起深度的失真，严重时会导致立体效果的丧失，因此，如何对立体图像的单个视点图像进行缩放以减少图像形变、突出显著内容，如何保证缩放后左视点图像与右视点图像的一致性，从而降低视觉不舒适、增强深度感，都是在对立体图像进行重定位过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种符合显著语义特征，且能够有效地调整立体图像尺寸大小的立体图像重定位方法。
本发明解决上述技术问题所采用的技术方案为：一种立体图像重定位方法，其特征在于包括以下步骤：
①将待处理的立体图像的左视点图像记为{Li(x,y)}，将待处理的立体图像的右视点图像记为{Ri(x,y)}，将待处理的立体图像的左视差图记为{dL(x,y)}，其中，i＝1,2,3，1≤x≤W，1≤y≤H，W表示待处理的立体图像的宽度，H表示待处理的立体图像的高度，Li(x,y)表示{Li(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，Ri(x,y)表示{Ri(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，第1个分量为R分量、第2个分量为G分量、第3个分量为B分量，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值；
②采用超像素分割技术将{Li(x,y)}分割成M个互不重叠的区域；然后将{Li(x,y)}重新表示为M个区域的集合，记为{SPh}；接着通过计算{SPh}中的每个区域的颜色对比度、空间紧密度和深度显著值，获取{SPh}中的每个区域的显著值；再将{SPh}中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到{Li(x,y)}的立体显著图，记为{Sstereo(x,y)}；其中，M≥1，SPh表示{SPh}中的第h个区域，1≤h≤M，Sstereo(x,y)表示{Sstereo(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的显著值；
③利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，提取出{Li(x,y)}的双目最小可察觉变化图像，记为{JL(x,y)}，其中，JL(x,y)表示{JL(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的双目最小可察觉变化值；
④根据{dL(x,y)}获取{Li(x,y)}中的每个像素点的深度能量值，并根据{JL(x,y)}获取{Li(x,y)}中的每个像素点的掩蔽能量值和一致性能量值，然后根据{Li(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值，得到{Li(x,y)}的显著能量图，记为{Estereo(x,y,x*)}，其中，Estereo(x,y,x*)表示{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值，亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的显著能量值，x*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x-1,x,x+1}；
⑤将重定位后的立体图像的宽度记为W'，将{Li(x,y)}和{Ri(x,y)}各自的垂直缝隙的条数记为Ns，Ns＝W-W'，其中，W'<W；
⑥根据{Sstereo(x,y)}和{Estereo(x,y,x*)}，通过动态规划方法找出{Li(x,y)}的Ns条垂直缝隙；然后获取{Li(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值；再根据{Li(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值，对{Li(x,y)}的Ns条垂直缝隙进行调整，得到{Li(x,y)}的Ns条最优垂直缝隙，将{Li(x,y)}的第i'条最优垂直缝隙记为其中，1≤i'≤Ns，表示在纵坐标位置为y时的横坐标位置；
⑦根据{dL(x,y)}和{Li(x,y)}的Ns条最优垂直缝隙，找出{Ri(x,y)}的Ns条最优垂直缝隙，将{Ri(x,y)}的第i'条最优垂直缝隙记为 其中，1≤i'≤Ns，表示在纵坐标位置为y时的横坐标位置，表示{dL(x,y)}中坐标位置为的像素点的像素值；
⑧将{Li(x,y)}中所有落在{Li(x,y)}的Ns条最优垂直缝隙内的像素点删除，得到重定位后的左视点图像并将{Ri(x,y)}中所有落在{Ri(x,y)}的Ns条最优垂直缝隙内的像素点删除，得到重定位后的右视点图像根据重定位后的左视点图像和重定位后的右视点图像得到重定位后的立体图像，其中，1≤x1≤W'，表示中坐标位置为(x1,y)的像素点的第i个分量的颜色值，表示中坐标位置为(x1,y)的像素点的第i个分量的颜色值。
所述的步骤②的具体过程为：
②-1、采用超像素分割技术将{Li(x,y)}分割成M个互不重叠的区域，然后将{Li(x,y)}重新表示为M个区域的集合，记为{SPh}，其中，M≥1，SPh表示{SPh}中的第h个区域，1≤h≤M；
②-2、对{SPh}中的每个区域中的每个像素点的各个分量的颜色值分别进行量化，得到{SPh}中的每个区域的量化区域，将SPh的量化区域记为{Ph,i(xh,yh)}，将{Ph,i(xh,yh)}中坐标位置为(xh,yh)的像素点的第i个分量的颜色值记为Ph,i(xh,yh)，假设{Ph,i(xh,yh)}中坐标位置为(xh,yh)的像素点在{Li(x,y)}中的坐标位置为(x,y)，则其中，1≤xh≤Wh,1≤yh≤Hh，Wh表示SPh的宽度，Hh表示SPh的高度，符号为向下取整符号；
②-3、计算{SPh}中的每个区域的量化区域的颜色直方图，将{Ph,i(xh,yh)}的颜色直方图记为其中，表示{Ph,i(xh,yh)}中属于第k种颜色的所有像素点的个数；
②-4、对{SPh}中的每个区域的量化区域的颜色直方图进行归一化操作，得到对应的归一化后的颜色直方图，将对进行归一化操作后得到的归一化后的颜色直方图记为然后将以向量形式表示为其中，表示{Ph,i(xh,yh)}中属于第k种颜色的像素点的出现概率，表示{SPh}中的第h'个区域SPh'的量化区域{Ph',i(xh',yh')}中属于第k种颜色的所有像素点的个数，1≤xh'≤Wh',1≤yh'≤Hh'，Wh'表示{SPh}中的第h'个区域SPh'的宽度，Hh'表示{SPh}中的第h'个区域SPh'的高度，Ph',i(xh',yh')表示{Ph',i(xh',yh')}中坐标位置为(xh',yh')的像素点的第i个分量的颜色值，的维数为4096；
②-5、计算{SPh}中的每个区域的颜色对比度，将SPh的颜色对比度记为 其中，exp()表示以自然基数e为底的指数函数，符号“‖‖”为求欧式距离符号，表示SPh中的中心像素点的坐标位置，表示{SPh}中的第q个区域中的中心像素点的坐标位置，表示{SPh}中的第q个区域的量化区域的颜色直方图经归一化操作后得到的归一化后的颜色直方图的向量形式，σp表示高斯函数的标准差；
②-6、计算{SPh}中的每个区域的空间紧密度，将SPh的空间紧密度记为 其中，符号“‖‖”为求欧式距离符号，exp()表示以自然基数e为底的指数函数，σc表示高斯函数的标准差；
②-7、计算{SPh}中的每个区域的深度显著值，将SPh的深度显著值记为 其中，exp()表示以自然基数e为底的指数函数，符号“‖‖”为求欧式距离符号，表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值均值，表示{dL(x,y)}中与{SPh}中的第q个区域对应的区域中的所有像素点的像素值均值，dh,max表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值按从大到小的顺序排序后，前1％的像素值对应的所有像素点的像素值均值；dh,min表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值按从大到小的顺序排序后，后1％的像素值对应的所有像素点的像素值均值，α为加权参数；
②-8、计算{SPh}中的每个区域的显著值，将SPh的显著值记为
②-9、将{SPh}中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到{Li(x,y)}的立体显著图，记为{Sstereo(x,y)}，其中，Sstereo(x,y)表示{Sstereo(x,y)}中坐标位置为(x,y)的像素点的像素值。
所述的步骤③的具体过程为：
③-1、计算{Li(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{Tl(x,y)}，将{Li(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值记为Tl(x,y)，
其中，bgl(x,y)表示{Li(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；
③-2、计算{Li(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{Tc(x,y)}，将{Li(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值记为Tc(x,y)，Tc(x,y)＝K(bgl(x,y))+ehl(x,y)，其中，ehl(x,y)表示对{Li(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bgl(x,y))＝-10-6×(0.7×(bgl(x,y))2+32×bgl(x,y))+0.07；
③-3、对{Tl(x,y)}和{Tc(x,y)}进行融合，得到{Li(x,y)}的双目最小可察觉变化图像，记为{JL(x,y)}，将{JL(x,y)}中坐标位置为(x,y)的像素点的像素值记为JL(x,y)，JL(x,y)＝Tl(x,y)+Tc(x,y)。
所述的步骤④的具体过程为：
④-1、计算{Li(x,y)}中的每个像素点的深度能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的深度能量值记为Edg(x,y,x*)，Edg(x,y,x*)＝Ehor(x,y)+Ever(x,y,x*)，其中，x*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x-1,x,x+1}，Ehor(x,y)＝|dL(x-1,y)-dL(x+1,y)|，如果x-1<1，则dL(x-1,y)＝dL(1,y)，如果x+1>W，则dL(x+1,y)＝dL(W,y)，如果y-1<1，则dL(k,y-1)＝dL(k,1)，dL(k-1,y-1)＝dL(k-1,1)，如果k+1>W，则dL(k+1,y)＝dL(W,y)，如果k-1>W，则dL(k-1,y-1)＝dL(W,y-1)，dL(x-1,y)、dL(1,y)、dL(x+1,y)、dL(W,y)、dL(k,y-1)、dL(k,1)、dL(k-1,y-1)、dL(k-1,1)、dL(k+1,y)、dL(W,y-1)对应表示{dL(x,y)}中坐标位置为(x-1,y)、(1,y)、(x+1,y)、(W,y)、(k,y-1)、(k,1)、(k-1,y-1)、(k-1,1)、(k+1,y)、(W,y-1)的像素点的像素值，符号“||”为取绝对值符号；
④-2、计算{Li(x,y)}中的每个像素点的掩蔽能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的掩蔽能量值记为Eig(x,y)，其中，max()为取最大值函数，Il(x,y)表示{Li(x,y)}中坐标位置为(x,y)的像素点的亮度值，bgl(x,y)表示{Li(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值，符号“||”为取绝对值符号，cJ为调节参数；
④-3、计算{Li(x,y)}中的每个像素点的一致性能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的一致性能量值记为Ecg(x,y)，其中，E(x,y)＝|Il(x,y)-Ir(x+dL(x,y),y)|，符号“||”为取绝对值符号，Ir(x+dL(x,y),y)表示{Ri(x,y)}中坐标位置为(x+dL(x,y),y)的像素点的亮度值；
④-4、根据{Li(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值，得到{Li(x,y)}的显著能量图，记为{Estereo(x,y,x*)}，将{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值记为Estereo(x,y,x*)，Estereo(x,y,x*)＝Edg(x,y,x*)+Eig(x,y)+Ecg(x,y)。
所述的步骤⑥的具体过程为：
⑥-1、根据{Sstereo(x,y)}和{Estereo(x,y,x*)}，计算{Li(x,y)}中的每个像素点的累计能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的累计能量值记为M(x,y)，其中，min()为取最小值函数，Estereo(x,y,x*)表示{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值，β为控制参数；
⑥-2、根据{Li(x,y)}中的每个像素点的累计能量值，采用动态规划方法找出{Li(x,y)}中从y＝1到y＝H的Ns条成本最小的路径，将每条成本最小的路径作为{Li(x,y)}的一条垂直缝隙，将{Li(x,y)}的第i'条垂直缝隙记为其中，1≤i'≤Ns，表示在纵坐标位置为y时的横坐标位置；
⑥-3、根据{dL(x,y)}中的每个像素点的像素值，判定{Li(x,y)}中的每个像素点属于遮挡区域还是属于匹配区域；对于{Li(x,y)}中坐标位置为(x,y)的像素点，如果dL(x,y)＝255，则判定该像素点属于遮挡区域，如果dL(x,y)≠255，则判定该像素点属于匹配区域；
⑥-4、计算{Li(x,y)}中的每个像素点的水平偏移值，将{Li(x,y)}中坐标位置为(x,y)的像素点的水平偏移值记为P(x,y)，其中，如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在，及{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在，则令如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在，而{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在，则令a＝xR-x；如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在，而{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在，则令a＝xL-x；如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在，及{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在，则令a＝0，xL<x，xR>x，xL表示{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置且左侧距离最近的属于匹配区域的像素点的横坐标位置，xR表示{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置且右侧距离最近的属于匹配区域的像素点的横坐标位置，M(xL,y)表示{Li(x,y)}中坐标位置为(xL,y)的像素点的累计能量值，M(xR,y)表示{Li(x,y)}中坐标位置为(xR,y)的像素点的累计能量值；
⑥-5、根据{Li(x,y)}中的每个像素点的水平偏移值，对{Li(x,y)}的Ns条垂直缝隙进行调整，得到{Li(x,y)}的Ns条最优垂直缝隙，将{Li(x,y)}的第i'条最优垂直缝隙记为其中，表示在纵坐标位置为y时的横坐标位置，表示{Li(x,y)}中坐标位置为的像素点的水平偏移值。
与现有技术相比，本发明的优点在于：
1)本发明方法通过提取左视点图像的立体显著图和显著能量图，并通过动态规划方法找出左视点图像的所有垂直缝隙，然后根据左视点图像中的每个像素点的水平偏移值对左视点图像的所有垂直缝隙进行调整，获取所有最优垂直缝隙，这样使得获得的重定位图像能够较好地保留重要的显著语义信息。
2)本发明方法对穿过遮挡区域的缝隙进行调整，从而保证保留重定位后的图像保留重要的遮挡信息，同时又保证右视点图像的缝隙与左视点图像的缝隙是匹配的，从而能够增强重定位后的立体图像的深度感。
附图说明
图1为本发明方法的总体实现框图；
图2a为“Image1”的原始图像的“红/绿”图；
图2b为“Image1”重定位到原始图像宽度85％后的“红/绿”图；
图2c为“Image1”重定位到原始图像宽度70％后的“红/绿”图；
图2d为“Image1”重定位到原始图像宽度60％后的“红/绿”图；
图3a为“Image2”的原始图像的“红/绿”图；
图3b为“Image2”重定位到原始图像宽度85％后的“红/绿”图；
图3c为“Image2”重定位到原始图像宽度70％后的“红/绿”图；
图3d为“Image2”重定位到原始图像宽度60％后的“红/绿”图；
图4a为“Image3”的原始图像的“红/绿”图；
图4b为“Image3”重定位到原始图像宽度85％后的“红/绿”图；
图4c为“Image3”重定位到原始图像宽度70％后的“红/绿”图；
图4d为“Image3”重定位到原始图像宽度60％后的“红/绿”图；
图5a为“Image4”的原始图像的“红/绿”图；
图5b为“Image4”重定位到原始图像宽度85％后的“红/绿”图；
图5c为“Image4”重定位到原始图像宽度70％后的“红/绿”图；
图5d为“Image4”重定位到原始图像宽度60％后的“红/绿”图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体图像重定位方法，其总体实现框图如图1所示，其包括以下步骤：
①将待处理的立体图像的左视点图像记为{Li(x,y)}，将待处理的立体图像的右视点图像记为{Ri(x,y)}，将待处理的立体图像的左视差图记为{dL(x,y)}，其中，i＝1,2,3，1≤x≤W，1≤y≤H，W表示待处理的立体图像的宽度，H表示待处理的立体图像的高度，Li(x,y)表示{Li(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，Ri(x,y)表示{Ri(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，第1个分量为R分量、第2个分量为G分量、第3个分量为B分量，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值。
②采用现有的超像素分割技术将{Li(x,y)}分割成M个互不重叠的区域；然后将{Li(x,y)}重新表示为M个区域的集合，记为{SPh}；接着通过计算{SPh}中的每个区域的颜色对比度、空间紧密度和深度显著值，获取{SPh}中的每个区域的显著值；再将{SPh}中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到{Li(x,y)}的立体显著图，记为{Sstereo(x,y)}；其中，M≥1，SPh表示{SPh}中的第h个区域，1≤h≤M，Sstereo(x,y)表示{Sstereo(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的显著值。
在此具体实施例中，步骤②的具体过程为：
②-1、采用现有的超像素分割技术将{Li(x,y)}分割成M个互不重叠的区域，然后将{Li(x,y)}重新表示为M个区域的集合，记为{SPh}，其中，M≥1，在本实施例中可取M＝200，SPh表示{SPh}中的第h个区域，1≤h≤M。
②-2、对{SPh}中的每个区域中的每个像素点的各个分量的颜色值分别进行量化，得到{SPh}中的每个区域的量化区域，将SPh的量化区域记为{Ph,i(xh,yh)}，将{Ph,i(xh,yh)}中坐标位置为(xh,yh)的像素点的第i个分量的颜色值记为Ph,i(xh,yh)，假设{Ph,i(xh,yh)}中坐标位置为(xh,yh)的像素点在{Li(x,y)}中的坐标位置为(x,y)，则其中，1≤xh≤Wh,1≤yh≤Hh，Wh表示SPh的宽度，Hh表示SPh的高度，符号为向下取整符号。
②-3、计算{SPh}中的每个区域的量化区域的颜色直方图，将{Ph,i(xh,yh)}的颜色直方图记为其中，表示{Ph,i(xh,yh)}中属于第k种颜色的所有像素点的个数。
②-4、对{SPh}中的每个区域的量化区域的颜色直方图进行归一化操作，得到对应的归一化后的颜色直方图，将对进行归一化操作后得到的归一化后的颜色直方图记为然后将以向量形式表示为其中，表示{Ph,i(xh,yh)}中属于第k种颜色的像素点的出现概率，HSPh'(k)表示{SPh}中的第h'个区域SPh'的量化区域{Ph',i(xh',yh')}中属于第k种颜色的所有像素点的个数，1≤xh'≤Wh',1≤yh'≤Hh'，Wh'表示{SPh}中的第h'个区域SPh'的宽度，Hh'表示{SPh}中的第h'个区域SPh'的高度，Ph',i(xh',yh')表示{Ph',i(xh',yh')}中坐标位置为(xh',yh')的像素点的第i个分量的颜色值，的维数为4096。
②-5、计算{SPh}中的每个区域的颜色对比度，将SPh的颜色对比度记为 其中，exp()表示以自然基数e为底的指数函数，e＝2.71828183…，符号“‖‖”为求欧式距离符号，表示SPh中的中心像素点的坐标位置，表示{SPh}中的第q个区域中的中心像素点的坐标位置，表示{SPh}中的第q个区域的量化区域的颜色直方图经归一化操作后得到的归一化后的颜色直方图的向量形式，σp表示高斯函数的标准差，在本实施例中取σp＝0.4。
②-6、计算{SPh}中的每个区域的空间紧密度，将SPh的空间紧密度记为SCSPh， 其中，符号“‖‖”为求欧式距离符号，exp()表示以自然基数e为底的指数函数，σc表示高斯函数的标准差，在本实施例中取σc＝0.9。
②-7、计算{SPh}中的每个区域的深度显著值，将SPh的深度显著值记为 其中，exp()表示以自然基数e为底的指数函数，符号“‖‖”为求欧式距离符号，表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值均值，表示{dL(x,y)}中与{SPh}中的第q个区域对应的区域中的所有像素点的像素值均值，dh,max表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值按从大到小的顺序排序后，前1％的像素值对应的所有像素点的像素值均值；dh,min表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值按从大到小的顺序排序后，后1％的像素值对应的所有像素点的像素值均值，α为加权参数，在本实施例中取α＝0.8。
②-8、计算{SPh}中的每个区域的显著值，将SPh的显著值记为
②-9、将{SPh}中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到{Li(x,y)}的立体显著图，记为{Sstereo(x,y)}，其中，Sstereo(x,y)表示{Sstereo(x,y)}中坐标位置为(x,y)的像素点的像素值。
③利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，提取出{Li(x,y)}的双目最小可察觉变化图像，记为{JL(x,y)}，其中，JL(x,y)表示{JL(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的双目最小可察觉变化值。
在此具体实施例中，步骤③的具体过程为：
③-1、计算{Li(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{Tl(x,y)}，将{Li(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值记为Tl(x,y)，其中，bgl(x,y)表示{Li(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值。
③-2、计算{Li(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{Tc(x,y)}，将{Li(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值记为Tc(x,y)，Tc(x,y)＝K(bgl(x,y))+ehl(x,y)，其中，ehl(x,y)表示对{Li(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bgl(x,y))＝-10-6×(0.7×(bgl(x,y))2+32×bgl(x,y))+0.07。
③-3、对{Tl(x,y)}和{Tc(x,y)}进行融合，得到{Li(x,y)}的双目最小可察觉变化图像，记为{JL(x,y)}，将{JL(x,y)}中坐标位置为(x,y)的像素点的像素值记为JL(x,y)，JL(x,y)＝Tl(x,y)+Tc(x,y)。
④根据{dL(x,y)}获取{Li(x,y)}中的每个像素点的深度能量值，并根据{JL(x,y)}获取{Li(x,y)}中的每个像素点的掩蔽能量值和一致性能量值，然后根据{Li(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值，得到{Li(x,y)}的显著能量图，记为{Estereo(x,y,x*)}，其中，Estereo(x,y,x*)表示{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值，亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的显著能量值，x*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x-1,x,x+1}。
在此具体实施例中，步骤④的具体过程为：
④-1、计算{Li(x,y)}中的每个像素点的深度能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的深度能量值记为Edg(x,y,x*)，Edg(x,y,x*)＝Ehor(x,y)+Ever(x,y,x*)，其中，x*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x-1,x,x+1}，Ehor(x,y)＝|dL(x-1,y)-dL(x+1,y)|，根据x*与坐标位置(x,y)的位置关系，Ever(x,y,x*)有3种可能的取值，如果x-1<1，则dL(x-1,y)＝dL(1,y)，如果x+1>W，则dL(x+1,y)＝dL(W,y)，如果y-1<1，则dL(k,y-1)＝dL(k,1)，dL(k-1,y-1)＝dL(k-1,1)，如果k+1>W，则dL(k+1,y)＝dL(W,y)，如果k-1>W，则dL(k-1,y-1)＝dL(W,y-1)，dL(x-1,y)、dL(1,y)、dL(x+1,y)、dL(W,y)、dL(k,y-1)、dL(k,1)、dL(k-1,y-1)、dL(k-1,1)、dL(k+1,y)、dL(W,y-1)对应表示{dL(x,y)}中坐标位置为(x-1,y)、(1,y)、(x+1,y)、(W,y)、(k,y-1)、(k,1)、(k-1,y-1)、(k-1,1)、(k+1,y)、(W,y-1)的像素点的像素值，符号“||”为取绝对值符号。
④-2、计算{Li(x,y)}中的每个像素点的掩蔽能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的掩蔽能量值记为Eig(x,y)，其中，max()为取最大值函数，Il(x,y)表示{Li(x,y)}中坐标位置为(x,y)的像素点的亮度值，bgl(x,y)表示{Li(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值，符号“||”为取绝对值符号，cJ为调节参数，在本实施例中取cJ＝0.5。
④-3、计算{Li(x,y)}中的每个像素点的一致性能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的一致性能量值记为Ecg(x,y)，其中，E(x,y)＝|Il(x,y)-Ir(x+dL(x,y),y)|，符号“||”为取绝对值符号，Ir(x+dL(x,y),y)表示{Ri(x,y)}中坐标位置为(x+dL(x,y),y)的像素点的亮度值。
④-4、根据{Li(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值，得到{Li(x,y)}的显著能量图，记为{Estereo(x,y,x*)}，将{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值记为Estereo(x,y,x*)，Estereo(x,y,x*)＝Edg(x,y,x*)+Eig(x,y)+Ecg(x,y)。
⑤将重定位后的立体图像的宽度记为W'，将{Li(x,y)}和{Ri(x,y)}各自的垂直缝隙的条数记为Ns，Ns＝W-W'，其中，W'<W。
在具体实施时，只在水平方向进行缩放，W'的值选取应当适当，如果W'的值过小，由于需要移除的信息过多，会导致缩放后的图像出现不自然的变形，因此在本实施例中取W×40％≤W'<W。
⑥根据{Sstereo(x,y)}和{Estereo(x,y,x*)}，采用现有的动态规划方法找出{Li(x,y)}的Ns条垂直缝隙；然后获取{Li(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值；再根据{Li(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值，对{Li(x,y)}的Ns条垂直缝隙进行调整，得到{Li(x,y)}的Ns条最优垂直缝隙，将{Li(x,y)}的第i'条最优垂直缝隙记为其中，1≤i'≤Ns，表示在纵坐标位置为y时的横坐标位置。
在此具体实施例中，步骤⑥的具体过程为：
⑥-1、根据{Sstereo(x,y)}和{Estereo(x,y,x*)}，计算{Li(x,y)}中的每个像素点的累计能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的累计能量值记为M(x,y)，其中，min()为取最小值函数，Estereo(x,y,x*)表示{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值，β为控制参数，在本实施例中取β＝0.3。
⑥-2、根据{Li(x,y)}中的每个像素点的累计能量值，采用现有的动态规划方法找出{Li(x,y)}中从y＝1到y＝H的Ns条成本最小的路径，将每条成本最小的路径作为{Li(x,y)}的一条垂直缝隙，将{Li(x,y)}的第i'条垂直缝隙记为其中，1≤i'≤Ns，表示在纵坐标位置为y时的横坐标位置。
⑥-3、根据{dL(x,y)}中的每个像素点的像素值，判定{Li(x,y)}中的每个像素点属于遮挡区域还是属于匹配区域；对于{Li(x,y)}中坐标位置为(x,y)的像素点，如果dL(x,y)＝255，则判定该像素点属于遮挡区域，如果dL(x,y)≠255，则判定该像素点属于匹配区域。
⑥-4、计算{Li(x,y)}中的每个像素点的水平偏移值，将{Li(x,y)}中坐标位置为(x,y)的像素点的水平偏移值记为P(x,y)，其中，如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在，及{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在，则令如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在，而{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在，则令a＝xR-x；如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在，而{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在，则令a＝xL-x；如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在，及{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在，则令a＝0，xL<x，xR>x，xL表示{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置且左侧距离最近的属于匹配区域的像素点的横坐标位置，xR表示{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置且右侧距离最近的属于匹配区域的像素点的横坐标位置，M(xL,y)表示{Li(x,y)}中坐标位置为(xL,y)的像素点的累计能量值，M(xR,y)表示{Li(x,y)}中坐标位置为(xR,y)的像素点的累计能量值。
⑥-5、根据{Li(x,y)}中的每个像素点的水平偏移值，对{Li(x,y)}的Ns条垂直缝隙进行调整，得到{Li(x,y)}的Ns条最优垂直缝隙，将{Li(x,y)}的第i'条最优垂直缝隙记为其中，表示在纵坐标位置为y时的横坐标位置，表示{Li(x,y)}中坐标位置为的像素点的水平偏移值。
⑦根据{dL(x,y)}和{Li(x,y)}的Ns条最优垂直缝隙，找出{Ri(x,y)}的Ns条最优垂直缝隙，将{Ri(x,y)}的第i'条最优垂直缝隙记为 其中，1≤i'≤Ns，表示在纵坐标位置为y时的横坐标位置，表示{dL(x,y)}中坐标位置为的像素点的像素值。
⑧将{Li(x,y)}中所有落在{Li(x,y)}的Ns条最优垂直缝隙内的像素点删除，得到重定位后的左视点图像并将{Ri(x,y)}中所有落在{Ri(x,y)}的Ns条最优垂直缝隙内的像素点删除，得到重定位后的右视点图像根据重定位后的左视点图像和重定位后的右视点图像得到重定位后的立体图像，其中，1≤x1≤W'，表示中坐标位置为(x1,y)的像素点的第i个分量的颜色值，表示中坐标位置为(x1,y)的像素点的第i个分量的颜色值。
以下就利用本发明方法对法国南特大学提供的三维人眼跟踪数据库(3D eye-tracking database)中的Image1、Image2、Image3和Image4四组立体图像进行重定位实验。图2a给出了“Image1”的原始图像的“红/绿”图、图2b给出了“Image1”的重定位到原始图像宽度85％后的“红/绿”图、图2c给出了“Image1”的重定位到原始图像宽度70％后的“红/绿”图、图2d给出了“Image1”的重定位到原始图像宽度60％后的“红/绿”图；图3a给出了“Image2”的原始图像的“红/绿”图、图3b给出了“Image2”的重定位到原始图像宽度85％后的“红/绿”图、图3c给出了“Image2”的重定位到原始图像宽度70％后的“红/绿”图、图3d给出了“Image2”的重定位到原始图像宽度60％后的“红/绿”图；图4a给出了“Image3”的原始图像的“红/绿”图、图4b给出了“Image3”的重定位到原始图像宽度85％后的“红/绿”图、图4c给出了“Image3”的重定位到原始图像宽度70％后的“红/绿”图、图4d给出了“Image3”的重定位到原始图像宽度60％后的“红/绿”图；图5a给出了“Image4”的原始图像的“红/绿”图、图5b给出了“Image4”的重定位到原始图像宽度85％后的“红/绿”图、图5c给出了“Image4”的重定位到原始图像宽度70％后的“红/绿”图、图5d给出了“Image4”的重定位到原始图像宽度60％后的“红/绿”图。从图2a至图5d中可以看出，采用本发明方法得到的重定位图像能够较好地保留重要的显著语义信息，同时又能保证左视点图像与右视点图像的一致性。
Claims (5)
1.一种立体图像重定位方法，其特征在于包括以下步骤：
①将待处理的立体图像的左视点图像记为{Li(x,y)}，将待处理的立体图像的右视点图像记为{Ri(x,y)}，将待处理的立体图像的左视差图记为{dL(x,y)}，其中，i＝1,2,3，1≤x≤W，1≤y≤H，W表示待处理的立体图像的宽度，H表示待处理的立体图像的高度，Li(x,y)表示{Li(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，Ri(x,y)表示{Ri(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值，第1个分量为R分量、第2个分量为G分量、第3个分量为B分量，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值；
②采用超像素分割技术将{Li(x,y)}分割成M个互不重叠的区域；然后将{Li(x,y)}重新表示为M个区域的集合，记为{SPh}；接着通过计算{SPh}中的每个区域的颜色对比度、空间紧密度和深度显著值，获取{SPh}中的每个区域的显著值；再将{SPh}中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到{Li(x,y)}的立体显著图，记为{Sstereo(x,y)}；其中，M≥1，SPh表示{SPh}中的第h个区域，1≤h≤M，Sstereo(x,y)表示{Sstereo(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的显著值；
③利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，提取出{Li(x,y)}的双目最小可察觉变化图像，记为{JL(x,y)}，其中，JL(x,y)表示{JL(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的双目最小可察觉变化值；
④根据{dL(x,y)}获取{Li(x,y)}中的每个像素点的深度能量值，并根据{JL(x,y)}获取{Li(x,y)}中的每个像素点的掩蔽能量值和一致性能量值，然后根据{Li(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值，得到{Li(x,y)}的显著能量图，记为{Estereo(x,y,x*)}，其中，Estereo(x,y,x*)表示{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值，亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的显著能量值，x*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x-1,x,x+1}；
⑤将重定位后的立体图像的宽度记为W'，将{Li(x,y)}和{Ri(x,y)}各自的垂直缝隙的条数记为Ns，Ns＝W-W'，其中，W'<W；
⑥根据{Sstereo(x,y)}和{Estereo(x,y,x*)}，通过动态规划方法找出{Li(x,y)}的Ns条垂直缝隙；然后获取{Li(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值；再根据{Li(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值，对{Li(x,y)}的Ns条垂直缝隙进行调整，得到{Li(x,y)}的Ns条最优垂直缝隙，将{Li(x,y)}的第i'条最优垂直缝隙记为其中，1≤i'≤Ns，表示在纵坐标位置为y时的横坐标位置；
⑦根据{Li(x,y)}的Ns条最优垂直缝隙和{dL(x,y)}，找出{Ri(x,y)}的Ns条最优垂直缝隙，将{Ri(x,y)}的第i'条最优垂直缝隙记为 其中，1≤i'≤Ns，表示在纵坐标位置为y时的横坐标位置，表示{dL(x,y)}中坐标位置为的像素点的像素值；
⑧将{Li(x,y)}中所有落在{Li(x,y)}的Ns条最优垂直缝隙内的像素点删除，得到重定位后的左视点图像并将{Ri(x,y)}中所有落在{Ri(x,y)}的Ns条最优垂直缝隙内的像素点删除，得到重定位后的右视点图像根据重定位后的左视点图像和重定位后的右视点图像得到重定位后的立体图像，其中，1≤x1≤W'，表示中坐标位置为(x1,y)的像素点的第i个分量的颜色值，表示中坐标位置为(x1,y)的像素点的第i个分量的颜色值。
2.根据权利要求1所述的一种立体图像重定位方法，其特征在于所述的步骤②的具体过程为：
②-1、采用超像素分割技术将{Li(x,y)}分割成M个互不重叠的区域，然后将{Li(x,y)}重新表示为M个区域的集合，记为{SPh}，其中，M≥1，SPh表示{SPh}中的第h个区域，1≤h≤M；
②-2、对{SPh}中的每个区域中的每个像素点的各个分量的颜色值分别进行量化，得到{SPh}中的每个区域的量化区域，将SPh的量化区域记为{Ph,i(xh,yh)}，将{Ph,i(xh,yh)}中坐标位置为(xh,yh)的像素点的第i个分量的颜色值记为Ph,i(xh,yh)，假设{Ph,i(xh,yh)}中坐标位置为(xh,yh)的像素点在{Li(x,y)}中的坐标位置为(x,y)，则其中，1≤xh≤Wh,1≤yh≤Hh，Wh表示SPh的宽度，Hh表示SPh的高度，符号为向下取整符号；
②-3、计算{SPh}中的每个区域的量化区域的颜色直方图，将{Ph,i(xh,yh)}的颜色直方图记为其中，表示{Ph,i(xh,yh)}中属于第k种颜色的所有像素点的个数；
②-4、对{SPh}中的每个区域的量化区域的颜色直方图进行归一化操作，得到对应的归一化后的颜色直方图，将对进行归一化操作后得到的归一化后的颜色直方图记为然后将以向量形式表示为其中，表示中属于第k种颜色的像素点的出现概率，表示{SPh}中的第h'个区域SPh'的量化区域{Ph',i(xh',yh')}中属于第k种颜色的所有像素点的个数，1≤xh'≤Wh',1≤yh'≤Hh'，Wh'表示{SPh}中的第h'个区域SPh'的宽度，Hh'表示{SPh}中的第h'个区域SPh'的高度，Ph',i(xh',yh')表示{Ph',i(xh',yh')}中坐标位置为(xh',yh')的像素点的第i个分量的颜色值，的维数为4096；
②-5、计算{SPh}中的每个区域的颜色对比度，将SPh的颜色对比度记为 其中，exp()表示以自然基数e为底的指数函数，符号“|| ||”为求欧式距离符号，表示SPh中的中心像素点的坐标位置，表示{SPh}中的第q个区域中的中心像素点的坐标位置，表示{SPh}中的第q个区域的量化区域的颜色直方图经归一化操作后得到的归一化后的颜色直方图的向量形式，σp表示高斯函数的标准差；
②-6、计算{SPh}中的每个区域的空间紧密度，将SPh的空间紧密度记为 其中，符号“|| ||”为求欧式距离符号，exp()表示以自然基数e为底的指数函数，σc表示高斯函数的标准差；
②-7、计算{SPh}中的每个区域的深度显著值，将SPh的深度显著值记为 其中，exp()表示以自然基数e为底的指数函数，符号“|| ||”为求欧式距离符号，表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值均值，表示{dL(x,y)}中与{SPh}中的第q个区域对应的区域中的所有像素点的像素值均值，dh,max表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值按从大到小的顺序排序后，前1％的像素值对应的所有像素点的像素值均值；dh,min表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值按从大到小的顺序排序后，后1％的像素值对应的所有像素点的像素值均值，α为加权参数；
②-8、计算{SPh}中的每个区域的显著值，将SPh的显著值记为
②-9、将{SPh}中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到{Li(x,y)}的立体显著图，记为{Sstereo(x,y)}，其中，Sstereo(x,y)表示{Sstereo(x,y)}中坐标位置为(x,y)的像素点的像素值。
3.根据权利要求1或2所述的一种立体图像重定位方法，其特征在于所述的步骤③的具体过程为：
③-1、计算{Li(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{Tl(x,y)}，将{Li(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值记为Tl(x,y)，
其中，bgl(x,y)表示{Li(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；
③-2、计算{Li(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{Tc(x,y)}，将{Li(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值记为Tc(x,y)，Tc(x,y)＝K(bgl(x,y))+ehl(x,y)，其中，ehl(x,y)表示对{Li(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bgl(x,y))＝-10-6×(0.7×(bgl(x,y))2+32×bgl(x,y))+0.07；
③-3、对{Tl(x,y)}和{Tc(x,y)}进行融合，得到{Li(x,y)}的双目最小可察觉变化图像，记为{JL(x,y)}，将{JL(x,y)}中坐标位置为(x,y)的像素点的像素值记为JL(x,y)，JL(x,y)＝Tl(x,y)+Tc(x,y)。
4.根据权利要求3所述的一种立体图像重定位方法，其特征在于所述的步骤④的具体过程为：
④-1、计算{Li(x,y)}中的每个像素点的深度能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的深度能量值记为Edg(x,y,x*)，Edg(x,y,x*)＝Ehor(x,y)+Ever(x,y,x*)，其中，x*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x-1,x,x+1}，Ehor(x,y)＝|dL(x-1,y)-dL(x+1,y)|，如果x-1<1，则dL(x-1,y)＝dL(1,y)，如果x+1>W，则dL(x+1,y)＝dL(W,y)，如果y-1<1，则dL(k,y-1)＝dL(k,1)，dL(k-1,y-1)＝dL(k-1,1)，如果k+1>W，则dL(k+1,y)＝dL(W,y)，如果k-1>W，则dL(k-1,y-1)＝dL(W,y-1)，dL(x-1,y)、dL(1,y)、dL(x+1,y)、dL(W,y)、dL(k,y-1)、dL(k,1)、dL(k-1,y-1)、dL(k-1,1)、dL(k+1,y)、dL(W,y-1)对应表示{dL(x,y)}中坐标位置为(x-1,y)、(1,y)、(x+1,y)、(W,y)、(k,y-1)、(k,1)、(k-1,y-1)、(k-1,1)、(k+1,y)、(W,y-1)的像素点的像素值，符号“| |”为取绝对值符号；
④-2、计算{Li(x,y)}中的每个像素点的掩蔽能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的掩蔽能量值记为Eig(x,y)，其中，max()为取最大值函数，Il(x,y)表示{Li(x,y)}中坐标位置为(x,y)的像素点的亮度值，bgl(x,y)表示{Li(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值，符号“| |”为取绝对值符号，cJ为调节参数；
④-3、计算{Li(x,y)}中的每个像素点的一致性能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的一致性能量值记为Ecg(x,y)，其中，E(x,y)＝|Il(x,y)-Ir(x+dL(x,y),y)|，符号“| |”为取绝对值符号，Ir(x+dL(x,y),y)表示{Ri(x,y)}中坐标位置为(x+dL(x,y),y)的像素点的亮度值；
④-4、根据{Li(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值，得到{Li(x,y)}的显著能量图，记为{Estereo(x,y,x*)}，将{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值记为Estereo(x,y,x*)，Estereo(x,y,x*)＝Edg(x,y,x*)+Eig(x,y)+Ecg(x,y)。
5.根据权利要求4所述的一种立体图像重定位方法，其特征在于所述的步骤⑥的具体过程为：
⑥-1、根据{Sstereo(x,y)}和{Estereo(x,y,x*)}，计算{Li(x,y)}中的每个像素点的累计能量值，将{Li(x,y)}中坐标位置为(x,y)的像素点的累计能量值记为M(x,y)，其中，min()为取最小值函数，Estereo(x,y,x*)表示{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值，β为控制参数；
⑥-2、根据{Li(x,y)}中的每个像素点的累计能量值，采用动态规划方法找出{Li(x,y)}中从y＝1到y＝H的Ns条成本最小的路径，将每条成本最小的路径作为{Li(x,y)}的一条垂直缝隙，将{Li(x,y)}的第i'条垂直缝隙记为其中，1≤i'≤Ns，表示在纵坐标位置为y时的横坐标位置；
⑥-3、根据{dL(x,y)}中的每个像素点的像素值，判定{Li(x,y)}中的每个像素点属于遮挡区域还是属于匹配区域；对于{Li(x,y)}中坐标位置为(x,y)的像素点，如果dL(x,y)＝255，则判定该像素点属于遮挡区域，如果dL(x,y)≠255，则判定该像素点属于匹配区域；
⑥-4、计算{Li(x,y)}中的每个像素点的水平偏移值，将{Li(x,y)}中坐标位置为(x,y)的像素点的水平偏移值记为P(x,y)，其中，如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在，及{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在，则令如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在，而{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在，则令a＝xR-x；如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在，而{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在，则令a＝xL-x；如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在，及{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在，则令a＝0，xL<x，xR>x，xL表示{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置且左侧距离最近的属于匹配区域的像素点的横坐标位置，xR表示{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置且右侧距离最近的属于匹配区域的像素点的横坐标位置，M(xL,y)表示{Li(x,y)}中坐标位置为(xL,y)的像素点的累计能量值，M(xR,y)表示{Li(x,y)}中坐标位置为(xR,y)的像素点的累计能量值；
⑥-5、根据{Li(x,y)}中的每个像素点的水平偏移值，对{Li(x,y)}的Ns条垂直缝隙进行调整，得到{Li(x,y)}的Ns条最优垂直缝隙，将{Li(x,y)}的第i'条最优垂直缝隙记为其中，表示在纵坐标位置为y时的横坐标位置，表示{Li(x,y)}中坐标位置为的像素点的水平偏移值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510017633.8A CN104574404B (zh) | 2015-01-14 | 2015-01-14 | 一种立体图像重定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510017633.8A CN104574404B (zh) | 2015-01-14 | 2015-01-14 | 一种立体图像重定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104574404A CN104574404A (zh) | 2015-04-29 |
| CN104574404B true CN104574404B (zh) | 2017-09-19 |
Family
ID=53090376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510017633.8A Active CN104574404B (zh) | 2015-01-14 | 2015-01-14 | 一种立体图像重定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104574404B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106340020A (zh) * | 2015-07-10 | 2017-01-18 | 阿里巴巴集团控股有限公司 | 超像素分割方法和装置 |
| CN105376553B (zh) * | 2015-11-24 | 2017-03-08 | 宁波大学 | 一种三维视频重定位方法 |
| CN105957037B (zh) * | 2016-05-09 | 2018-11-06 | 北京小米移动软件有限公司 | 图像增强方法及装置 |
| CN106228605A (zh) * | 2016-07-29 | 2016-12-14 | 东南大学 | 一种基于动态规划的立体匹配三维重建方法 |
| CN106162162B (zh) * | 2016-08-01 | 2017-10-31 | 宁波大学 | 一种基于稀疏表示的重定位图像质量客观评价方法 |
| CN106447702B (zh) * | 2016-08-31 | 2019-05-31 | 天津大学 | 一种立体图像匹配图计算方法 |
| CN106504186B (zh) * | 2016-09-30 | 2019-12-06 | 天津大学 | 一种立体图像重定向方法 |
| CN106570900B (zh) * | 2016-10-11 | 2019-04-16 | 宁波大学 | 一种立体图像重定位方法 |
| CN108510536B (zh) * | 2017-02-28 | 2021-09-21 | 富士通株式会社 | 多视点图像的深度估计方法和深度估计设备 |
| CN107105214B (zh) * | 2017-03-16 | 2018-11-09 | 宁波大学 | 一种三维视频图像重定位方法 |
| CN108307170B (zh) * | 2017-12-22 | 2019-09-10 | 宁波大学 | 一种立体图像重定位方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102005063A (zh) * | 2005-07-05 | 2011-04-06 | 三洋电机株式会社 | 立体图像处理方法和立体图像处理装置及程序以及存储程序的记录介质 |
| CN102812714A (zh) * | 2010-03-24 | 2012-12-05 | 富士胶片株式会社 | 立体图像获取装置 |
| CN103632365A (zh) * | 2013-11-13 | 2014-03-12 | 华北电力大学（保定） | 一种立体图像视差估计方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101992767B1 (ko) * | 2012-12-14 | 2019-09-30 | 한국전자통신연구원 | 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법 |
-
2015
- 2015-01-14 CN CN201510017633.8A patent/CN104574404B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102005063A (zh) * | 2005-07-05 | 2011-04-06 | 三洋电机株式会社 | 立体图像处理方法和立体图像处理装置及程序以及存储程序的记录介质 |
| CN102812714A (zh) * | 2010-03-24 | 2012-12-05 | 富士胶片株式会社 | 立体图像获取装置 |
| CN103632365A (zh) * | 2013-11-13 | 2014-03-12 | 华北电力大学（保定） | 一种立体图像视差估计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 立体图像视差自适应调整算法;张丞，侯春萍，王晓燕，由磊，宋伟;《光电子·激光》;20140331;第25卷(第3期);第581-587页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104574404A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104574404B (zh) | 一种立体图像重定位方法 | |
| US9483835B2 (en) | Depth value restoration method and system | |
| CN106651853B (zh) | 基于先验知识和深度权重的3d显著性模型的建立方法 | |
| EP2339533B1 (en) | Saliency based video contrast enhancement method | |
| CN108446694B (zh) | 一种目标检测方法及装置 | |
| CN102420985B (zh) | 一种多视点视频对象提取方法 | |
| EP2887314B1 (en) | Video frame conversion method and apparatus | |
| CN106341676B (zh) | 基于超像素的深度图像预处理和深度空洞填充方法 | |
| CN114998320B (zh) | 视觉显著性检测的方法、系统、电子装置和存储介质 | |
| CN106570900B (zh) | 一种立体图像重定位方法 | |
| CN105376553B (zh) | 一种三维视频重定位方法 | |
| CN110719453B (zh) | 一种立体视频裁剪方法 | |
| KR20110108934A (ko) | 참조 이미지를 이용한 카툰 렌더링 장치 및 방법 | |
| US8655054B2 (en) | System and method of correcting a depth map for 3D image | |
| CN104469355A (zh) | 基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法 | |
| CN108307170B (zh) | 一种立体图像重定位方法 | |
| CN108470176B (zh) | 一种基于频域稀疏表示的立体图像视觉显著提取方法 | |
| CN107818579B (zh) | 基于四元数Gabor滤波的彩色纹理特征提取方法 | |
| CN110149509B (zh) | 一种立体视频重定位方法 | |
| CN114881963A (zh) | 一种基于改进AD-Census立体匹配算法的图像处理方法 | |
| CN108833876B (zh) | 一种立体图像内容重组方法 | |
| CN108449588B (zh) | 一种立体图像重定位方法 | |
| CN104601972A (zh) | 一种利用图像修补的自由视点合成方法 | |
| CN109859300B (zh) | 一种基于美学的立体图像内容编辑方法 | |
| EP4246428A1 (en) | Perspective method for physical whiteboard and generation method for virtual whiteboard |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191219 Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000 Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd. Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818 Patentee before: Ningbo University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211210 Address after: 150000 block D, zone a, floor 3, building 1, No. 196 Xuefu Road, Nangang District, Harbin, Heilongjiang Province Patentee after: Harbin Ketu Technology Co.,Ltd. Address before: 510000 room b4560, second and fourth floor, No. 59, Zhuji Road, Tianhe District, Guangzhou City, Guangdong Province (office only) Patentee before: Guangzhou Yujing Technology Service Co.,Ltd. Effective date of registration: 20211210 Address after: 510000 room b4560, second and fourth floor, No. 59, Zhuji Road, Tianhe District, Guangzhou City, Guangdong Province (office only) Patentee after: Guangzhou Yujing Technology Service Co.,Ltd. Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang. Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230403 Address after: 103-2, Building 2, No. 600, Sun Avenue, Songbei District, Harbin, Heilongjiang Province, 150028 Patentee after: Harbin Baishi Pukang Biotechnology Co.,Ltd. Address before: 150000 block D, zone a, floor 3, building 1, No. 196 Xuefu Road, Nangang District, Harbin, Heilongjiang Province Patentee before: Harbin Ketu Technology Co.,Ltd. |