CN106921856A - 立体图像的处理方法、检测分割方法及相关装置和设备 - Google Patents

立体图像的处理方法、检测分割方法及相关装置和设备 Download PDF

Info

Publication number
CN106921856A
CN106921856A CN201510993718.XA CN201510993718A CN106921856A CN 106921856 A CN106921856 A CN 106921856A CN 201510993718 A CN201510993718 A CN 201510993718A CN 106921856 A CN106921856 A CN 106921856A
Authority
CN
China
Prior art keywords
pio
image
stereo
picture
captions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510993718.XA
Other languages
English (en)
Other versions
CN106921856B (zh
Inventor
刘志花
王再冉
赵良鎬
李炜明
周明才
南东暻
洪涛
王海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201510993718.XA priority Critical patent/CN106921856B/zh
Priority to KR1020160107984A priority patent/KR102516358B1/ko
Priority to US15/388,513 priority patent/US10531063B2/en
Publication of CN106921856A publication Critical patent/CN106921856A/zh
Application granted granted Critical
Publication of CN106921856B publication Critical patent/CN106921856B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种立体图像的处理方法、检测分割方法及相关装置和设备，包括：从输入的立体图像中检测后期加入物体(PIO)，并从所述立体图像中分割提取出所述PIO；对所述分割提取出所述PIO的立体图像进行立体校正处理；在所述经过校正处理后的立体图像中重新加入所述分割提取出的PIO。本发明可以纠正含有PIO的立体图像在进行立体校正时的立体误差，提高立体显示质量。

Description

立体图像的处理方法、检测分割方法及相关装置和设备
技术领域
本申请涉及立体图像显示处理技术领域，尤其涉及一种立体图像的处理方法、检测分割方法及相关装置和设备。
背景技术
立体显示技术包括显示内容生成技术和显示设备技术。为了高质量地显示立体图像内容，立体显示设备可以集成对立体图像内容进行处理的技术，通过软件处理的方式，提升三维图像的视觉显示效果。
在现有技术中，一种比较有效的立体图像处理技术是立体图像校正技术。立体图像校正技术的目的是消除立体图像对之间在竖直方向上的视差。这些视差往往是在立体图像拍摄时，所采用的立体摄像机的两台相机之间的参数调整误差造成的。这些参数误差可能包括两台相机之间位置上的错位，成像参数的不一致等等。立体图像校正过程通过估计这些误差，得到对立体图像进行变换的参数，使得变换后的立体图像对在竖直方向上的视差消除，只保留在水平方向上的视差。即，相同物体在立体校正之后的立体图像对的左右两图之间的图像点，位于相同的图像行坐标，其位置差异仅仅出现在列坐标上。
现有的立体显示设备对立体图像内容误差的处理技术，主要集中在对相机拍摄的真实三维世界的二维影像的处理。三维世界中的物体被不同视点的左右两台相机拍摄，得到的立体图像对满足对极线(Epipolar Line)几何约束。因此，按照多视角几何理论，只要通过对两幅图像分别进行全局的二维透视投影变换(或者单应变换)，就可以将两幅图像的对极线对齐。如果考虑到镜头成像误差引起的非线性畸变，由于光学镜头引起的畸变是局部平滑的，可以使用局部平滑变换来进行进一步的校正。
但是，对于后期加入物体(PIO，Post Inserted Object)，它们在立体图像中的左右两幅图像之中通常位于相同的水平位置。当立体图像内容本身存在立体误差时，后期加入物体和场景中真实三维物体的立体几何关系不同，这导致在后期加入物体区域中和周围图像内容的立体几何关系的非平滑不连续变化。
因此，现有技术的主要技术问题是：使用现有技术，对立体图像进行一个全局变换或局部平滑的变换，对于具有后期加入物体的立体图像进行校正时，其中的后期加入物体部分将产生立体误差，即竖直方向上的视差，从而对立体图形的视觉效果产生影响，且后期加入物体通常具有比较明显的视觉特征，在这些位置出现的误差极大地影响着用户对立体图像的观看质量。
下面采用附图进一步介绍现有技术的主要缺陷：
图1为一种立体图像的左图和右图形成的图像对的示意图。其中包括立体图像对的左图11和右图12。其中场景中真实物体在左图中的图像为111和112，场景中真实物体在右图中的图像为121和122。在理想的立体图像对的情况下，真实物体在左右两图之间的图像应该对齐在同一条水平线上。由于含有立体误差，如图1所示，真实物体在左右两图之间的图像没有对齐在同一条水平线上。立体图像对中有在后期编辑时加入的物体，即后期加入物体PIO，如电视台的标志和字幕。电视台标志在左右两图中的图像分别为113和123。字幕在左右两图中的图像分别为114和124。后期加入物体通常符合标准的立体几何关系，即它们的图像在左右两图上位于相同的水平线上，如图1所示。
如图1所示，场景中物体的立体图像包含立体图像误差，需要进行立体图像校正。现有的立体图像校正算法分别对两图进行全局变换或者局部平滑的变换，经过变换得到的立体图像对如图2所示。由图2可见，场景中的真实物体在左右两图中的图像对，如211和221，212和222，对齐到相同的水平线上，符合标准的立体几何关系。与此同时，后期加入物体在左右两图中的图像对，如213和223，214和224，由于随着图像进行了变换，引入了立体图像误差，没有对齐到相同的水平线上。这将导致视觉质量的下降。
值得注意的是，后期加入物体通常具有增强图像内容信息的目的，因此具有比较明显的视觉特征。在这些位置出现的误差极大地影响着用户对立体图像的观看质量。
发明内容
有鉴于此，本发明的主要目的是提供一种立体图像的处理方法、检测分割方法及相关装置和设备，以纠正含有后期加入物体的立体图像在进行立体校正时的立体误差，提高立体显示质量。
本发明的技术方案是这样实现的：
一种立体图像的处理方法，包括：
从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO；
对所述分割提取出所述PIO后的立体图像进行立体校正处理；
在经过校正处理后的立体图像中重新加入所述分割提取出的PIO。
在所述方法的一种优选实施例中，在所述输入立体图像之后，检测PIO之前，进一步包括：
判断所述立体图像是否存在立体视差，在存在立体视差的情况下执行检测PIO及其后续步骤；
或者，判断所述立体图像所属的当前帧是否为视频段边界帧，如果是则进一步判断所述立体图像是否存在立体视差，在存在立体视差的情况下执行检测PIO及其后续步骤；如果所述立体图像所在的当前帧不是视频段边界帧，则采用与上一帧相同的处理方式处理当前帧的立体图像。
在所述方法的一种优选实施例中，所述判断所述立体图像所属的当前帧是否为视频段边界帧，具体包括：
确定当前帧的图像特征向量和上一帧的图像特征向量；
通过比较所述当前帧的图像特征向量和上一帧的图像特征向量，计算当前帧和上一帧之间的图像特征变化分数；
判断所述图像特征变化分数是否超过指定的阈值，如果超过则判定当前帧为视频段边界帧，否则判定当前帧不是视频段边界帧。
在所述方法的一种优选实施例中，所述判断所述立体图像是否存在立体视差，具体包括：
分别从所述立体图像中的左图和右图之中提取图像特征点，分别对所述左图的图像特征点和右图的图像特征点计算特征向量；
根据所述左图和右图的特征向量的相似性，在所述左图和右图的图像特征点之间建立匹配对应关系；
统计所述左图和右图中相互匹配的图像特征点对在竖直方向上的图像坐标距离，计算所述图像坐标距离的分布直方图；
判断所述分布直方图的最大的峰值的位置是否大于指定阈值，如果大于则判定当前处理的立体图像存在立体视差，否则判定当前处理的立体图像不存在立体视差。
在所述方法的一种优选实施例中，该方法进一步在从所述立体图形中分割提取出所述PIO之后，所述重新加入所述分割提取出的PIO之前，进一步包括：对所述立体图像中分割提取出所述PIO的部位进行填充。
在所述方法的一种优选实施例中，所述对所述立体图像中分割提取出所述PIO的部位进行填充，具体包括：
在所述立体图像上的所述PIO的部位上，针对该PIO部位中的像素，在所述立体图像上沿着该像素的列的方向，向上或向下搜索与其距离最近的非PIO像素，将该非PIO像素的颜色值赋予该PIO的像素，通过该方式遍历处理所述PIO部位的像素，直到所述PIO的部位被填满；
或者，在所述立体图像上的所述PIO的部位上，针对该PIO部位中的像素，在所述立体图像上沿着该像素的行的方向，向左或向右搜索与其距离最近的非PIO像素，将该非PIO像素的颜色值赋予该PIO的像素，通过该方式遍历处理所述PIO部位的像素，直到所述PIO的部位被填满；
或者，对所述分割提取出PIO的立体图像进行下采样，再对最底层的图像进行高斯卷积扩大填充至原来图像的大小；
或者，利用所述立体图像中左图和右图之间的互补信息，对所述PIO物体进行填充。
在所述方法的一种优选实施例中，所述在经过校正处理后的立体图像中重新加入所述分割提取出的PIO，具体包括：
在所述经过校正处理后的立体图像中的原分割提取PIO的位置，直接加入所述原分割提取出的PIO；
或者，根据当前三维场景对所述原分割提取PIO进行校正变换，在所述经过校正处理后的立体图像中的原分割提取PIO的位置，重新加入所述经过校正变换后的所述PIO。
在所述方法的一种优选实施例中，该方法进一步包括：
确定PIO模型；
在所述从输入的立体图像中检测PIO之后，针对所述检测出的PIO，进一步利用所述PIO模型去除所检测出的PIO中的非PIO区域。
在所述方法的一种优选实施例中，所述确定PIO模型，具体包括：
采集PIO样本和非PIO样本，提取样本中的特征，针对所述样本特征，通过离线学习算法得到PIO模型。
在所述方法的一种优选实施例中，所述从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO，具体包括：
字幕框的检测过程，包括：从输入的图像中检测文字笔画特征；对检测出的文字笔画特征向图像的X方向和Y方向分别进行投影分析；通过检测超过一定阈值的峰值区域，提取包含文字笔画特征的字幕框；确定所述字幕框的字幕深度；去除所述字幕框中字幕深度不位于场景前方的字幕误检测；
字幕PIO的分割提取过程，包括：在所述检测出的字幕框中，根据颜色分布直方图提取文字的颜色；根据文字颜色对文字像素进行分割，将所述分割的结果作为字幕PIO分割结果并提取分割出的字幕PIO。
在所述方法的一种优选实施例中，该方法在字幕框的检测过程中，在得到所述字幕框之后，进一步包括：
对图像进行边缘检测，并将边缘强度值小于某一特定阈值的边缘强度置0；
对所述检测出的字幕框及其上下指定范围内的区域水平投影，检测超过特定阈值的投影区域，根据检测到的所述投影区域进一步精确定位字幕框。
在所述方法的一种优选实施例中，该方法在字幕框的检测过程中，在得到所述字幕框之后，进一步包括：
计算所述字幕框的截断边缘图像；
计算所述截断边缘图像的水平投影，寻找该水平投影的最大值，搜索所述水平投影最大值上下指定范围内的最小值，得到字幕区域的上下边界；
计算所述截断边缘图像的垂直投影，得到字幕区域的左右边界；
按照所述字幕区域的上下边界和左右边界重新定位字幕框。
在所述方法的一种优选实施例中，该方法进一步包括：
采集字幕样本和非字幕样本，提取样本中的特征，针对所述样本特征，通过离线学习算法得到字幕模型；
在所述字幕框的检测过程之后，针对所述字幕框，进一步利用所述字幕模型去除所述字幕框中的非字幕区域。
在所述方法的一种优选实施例中，所述字幕PIO的分割提取过程，具体包括如下处理：
将所述检测出的字幕框分成R、G、B通道的灰度图，包括R图、G图、B图；
将所述字幕框转换成灰度图；
计算将所述R图、G图、B图、以及所述字幕框转换成的灰度图进行二值化的阈值；
选取上述所述四个阈值中的最大值，如果该最大值大于一指定阈值，则将该字幕框按该指定阈值二值化，得到对应的二值图；否则，对该字幕框按该指定阈值逆二值化，得到对应的二值图；
对所述二值图中值滤波；
将所述二值图中灰度值高于指定阈值的区域判定为字幕PIO，将判定的字幕PIO从图像中分割出来。
在所述方法的一种优选实施例中，所述从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO，具体包括：
离线视频图标建模过程，包括：建立并初始化视频图标图像；按照时间顺序逐步读取输入视频的每一帧图像，根据相邻两帧之间的像素颜色差异更新视频图标图像；将其中趋近于指定值的像素区域提取作为视频图标图像的模型图像；判断所述视频图标图像是否收敛，如果收敛，输出所述视频图标图像，执行在线视频图标PIO检测分割过程；否则，返回上一步继续根据相邻两帧之间的像素颜色差异更新视频图标图像；
在线视频图标PIO检测分割过程，包括：在所述输入的立体图像的左图和右图中，通过与所述视频图标图像的模型图像进行匹配，来检测所述左图和右图中的视频图标图像，并将检测到的视频图标图像作为视频图标PIO分割提取出来。
在所述方法的一种优选实施例中，所述从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO，具体包括以下的图形PIO处理过程：
对所述输入的立体图像中的左图和右图中的任一幅图进行图像分割；
对分割得到的每一个图像区域，在另一幅图像相同的水平线上的每个位置计算匹配分数；
对于所述任一个图像区域，若该图像区域的所述各个位置中的最小匹配分数小于指定的阈值，则判定该图像区域为所要分割出的PIO，将该图像区域从原图像中分割提取出来。
一种立体图像的处理装置，包括：
PIO检测分割模块，用于从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO；
立体校正模块，用于对所述分割提取出所述PIO的立体图像进行立体校正处理；
重新加入模块，用于在所述经过校正处理后的立体图像中重新加入所述分割提取出的PIO。
一种立体图像的显示设备，包括所述的立体图像的处理装置。
一种立体图像的检测分割方法，包括：
字幕框的检测过程，包括：从输入的图像中检测文字笔画特征；对检测出的文字笔画特征向图像的X方向和Y方向分别进行投影分析；通过检测超过一定阈值的峰值区域，提取包含文字笔画特征的字幕框；确定所述字幕框的字幕深度；去除所述字幕框中字幕深度不位于场景前方的字幕误检测；
字幕PIO的分割提取过程，包括：在所述检测出的字幕框中，根据颜色分布直方图提取文字的颜色。根据文字颜色对文字像素进行分割，将所述分割的结果作为字幕PIO分割结果并提取分割出的字幕PIO。
一种立体图像的检测分割方法，包括：
离线视频图标建模过程，包括：建立并初始化视频图标图像；按照时间顺序逐步读取输入视频的每一帧图像，根据相邻两帧之间的像素颜色差异更新视频图标图像；判断所述视频图标图像是否收敛，如果收敛，输出所述视频图标图像，执行在线视频图标检测分割过程；否则将其中趋近于1的像素区域提取作为视频图标图像的模型图像，返回上一步继续根据相邻两帧之间的像素颜色差异更新视频图标图像；
在线视频图标PIO检测分割过程，包括：在所述输入的立体图像的左图和右图中，通过与所述视频图标图像的模型图像进行匹配，来检测所述左图和右图中的视频图标图像，并将检测到的视频图标图像作为视频图标PIO分割提取出来。
一种立体图像的检测分割方法，包括：
对所述输入的立体图像中的左图和右图中的任一幅图进行图像分割；
对分割得到的每一个图像区域，在另一幅图像相同的水平线上的每个位置计算匹配分数；
对于所述任一个图像区域，若该图像区域的所述各个位置中的最小匹配分数小于指定的阈值，则判定该图像区域为所要分割出的PIO，将该图像区域从原图像中分割提取出来。
一种立体图像的检测分割器，包括：
字幕框的检测模块，包括：从输入的图像中检测文字笔画特征；对检测出的文字笔画特征向图像的X方向和Y方向分别进行投影分析；通过检测超过一定阈值的峰值区域，提取包含文字笔画特征的字幕框；确定所述字幕框的字幕深度；去除所述字幕框中字幕深度不位于场景前方的字幕误检测；
字幕PIO的分割提取模块，包括：在所述检测出的字幕框中，根据颜色分布直方图提取文字的颜色。根据文字颜色对文字像素进行分割，将所述分割的结果作为字幕PIO分割结果并提取分割出的字幕PIO。
一种立体图像的检测分割器，包括：
离线视频图标建模模块，用于：建立并初始化视频图标图像；按照时间顺序逐步读取输入视频的每一帧图像，根据相邻两帧之间的像素颜色差异更新视频图标图像；判断所述视频图标图像是否收敛，如果收敛，输出所述视频图标图像，执行在线视频图标检测分割过程；否则将其中趋近于1的像素区域提取作为视频图标图像的模型图像，返回上一步继续根据相邻两帧之间的像素颜色差异更新视频图标图像；
在线视频图标PIO分割提取模块，用于：在所述输入的立体图像的左图和右图中，通过与所述视频图标图像的模型图像进行匹配，来检测所述左图和右图中的视频图标图像，并将检测到的视频图标图像作为视频图标PIO分割提取出来。
一种立体图像的检测分割器，包括：
图像分割模块，用于对所述输入的立体图像中的左图和右图中的任一幅图进行图像分割；
匹配分数计算模块，用于对分割得到的每一个图像区域，在另一幅图像相同的水平线上的每个位置计算匹配分数；
分割提取模块，用于对于所述任一个图像区域，若该图像区域的所述各个位置中的最小匹配分数小于指定的阈值，则判定该图像区域为所要分割出的PIO，将该图像区域从原图像中分割提取出来。
一种立体图像的显示设备，包括上述的任一个立体图像的检测分割器。
与现有技术相比，本发明可以从立体图像中检测并精确定位后期加入物体PIO，对其进行分割并从立体图像中提取该物体，将分割提取出的PIO重新插入到经过立体校正的立体图像中的原PIO位置。经过本发明的处理，场景中的真实物体的立体图像，和后期加入物体的立体图像，都符合标准的立体几何关系，从而可以纠正现有技术对含有后期加入物体的立体图像在进行立体校正时的立体误差，提高立体显示质量。
附图说明
图1为一种立体图像的左图和右图形成的图像对的示意图；
图2为使用现有技术对图1所述的立体图像对进行校正得到的立体图像对的示意图；
图3a为本发明所述立体图像的处理方法的一种流程示意图；
图3b为本发明所述立体图像的处理装置的一种组成示意图；
图3c为本发明所述立体图像的处理方法的又一种流程示意图；
图3d为本发明所述立体图像的处理装置的又一种组成示意图；
图4为本发明所述立体图像的处理方法的再一种详细流程示意图；
图5为本发明所述立体图像的处理方法的再一种详细流程示意图；
图6为图5中所述立体图像视频段边界检测方法的一种流程示意图；
图7为本发明所述立体视差检测方法的具体流程示意图；
图8为本发明所述字幕检测分割器对字幕PIO进行检测分割提取处理的流程示意图；
图9为本发明所述视频图标检测分割器对视频图标PIO的检测分割提取方法的流程示意图；
图10为本发明所述一般图形检测分割器对一般图形PIO进行检测分割提取的流程示意图；
图11为经过本发明所述处理方法或装置进行立体几何校正后的立体图像对的示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图3a为本发明所述立体图像的处理方法的一种流程示意图。参见图3a，本发明所述的立体图像的处理方法，主要可以包括：
步骤301、从输入的立体图像中检测后期加入物体(PIO)，并从所述立体图像中分割提取出所述PIO；
步骤302、对所述分割提取出所述PIO的立体图像进行立体校正处理；
步骤303、在经过校正处理后的立体图像中重新加入所述分割提取出的PIO。
对应的，本发明还公开了对立体图像的处理装置，用于执行本文各实施例所述的对立体图像的处理方法。图3b为本发明所述立体图像的处理装置的一种组成示意图，参见图3b，该处理装置主要包括：
PIO检测分割模块，用于从输入的立体图像中检测后期加入物体(PIO)，并从所述立体图像中分割提取出所述PIO；
立体校正模块，用于对所述分割提取出所述PIO的立体图像进行立体校正处理；
重新加入模块，用于在经过校正处理后的立体图像中重新加入所述分割提取出的PIO。
本发明所述的对立体图像的处理方法和处理装置，即适用于对静态的立体图像的处理，也适用于对动态的立体图像的处理，尤其适用于对立体图像视频的处理。下面的实施例中，主要以对立体图像视频的处理方法和装置为例对本发明做详细描述。在对立体图像视频进行处理时，实质上还是对视频帧画面中的立体图像进行处理。
而且，本发明所述的立体图像处理方法和装置，可以对一立体图像中的左图或右图中的任一个进行处理，也可以对所述立体图像中的左图和右图都进行处理。
在本发明所述立体图像的处理方法的一种优选实施例中，该方法进一步在从所述立体图形中分割提取出所述PIO之后，所述重新加入所述分割提取出的PIO之前，进一步包括：对所述立体图像中分割提取出所述PIO的部位进行填充。如图3c所示，该优选实施例的方法具体包括：
步骤401、从输入的立体图像中检测PIO，并从所述立体图像中分割提取出所述PIO；
步骤402、对所述立体图像中分割提取出所述PIO的部位进行填充；
步骤403、对所述填充后的立体图像进行立体校正处理；
步骤404、在所述经过校正处理后的立体图像中的原分割提取PIO的位置，重新加入所述分割提取出的PIO。
对应的，在本发明所述立体图像的处理装置的一种优选实施例中，如图3d所示，该处理装置还可以进一步包括：填充模块，用于对所述立体图像中分割提取出所述PIO的部位进行填充。
图4为本发明所述立体图像的处理方法的再一种详细流程示意图。参见图4，本发明在对立体图像视频进行立体校正处理之前，还可以对输入的立体图像视频进行是否含有PIO的检测判断：
如果没有检测到所述立体图像视频中存在PIO，按照现有技术对所述立体图像进行立体校正，并输出立体校正后的立体图像；
如果检测到立体图像视频中存在PIO的话，则分割并提取出该PIO，然后填充所述分割提取PIO的部位使得立体图像完整，然后再对立体图像进行立体校正，此处具体的立体校正方法可以采用现有技术的立体矫正方法，之后在原分割提取PIO的位置重新插入所述分割提取出的PIO，最后输出经过前述处理的立体图像视频。其中，检测PIO的实施方式主要包含三部分：检测后期加入的文本(如字幕)，检测后期加入的图标，以及检测后期加入的一般图形。
与上述实施例的方法对应的，在所述立体图像的处理装置的一种实施例中，也可以包括一个PIO的检测判断模块，用于对输入的立体图像视频进行是否含有PIO的检测判断：如果没有检测到所述立体图像视频中存在PIO，按照现有技术对所述立体图像进行立体校正，并输出立体校正后的立体图像；如果检测到立体图像视频中存在PIO的话，则分割并提取出该PIO，然后填充所述分割提取PIO的部位使得立体图像完整，然后再对立体图像进行立体校正，此处具体的立体校正方法可以采用现有技术的立体矫正方法，之后在原分割提取PIO的位置重新插入所述分割提取出的PIO，最后输出经过前述处理的立体图像视频。
当视频图像背景中含有更多的边缘信息的时候，比如树叶，墙等，本发明所述的PIO的检测判断模块，会将这些区域检测成PIO，例如所述PIO可以为字幕、图标、或一般图形等。为了去除这些错误的检测，本发明的一种优选实施例中还进一步在PIO的检测过程之后、在分割提取PIO之前，增加了对所检测出的PIO的确认过程，该确认过程是通过基于数据学习模型的方法实现的，该确认过程包括：
首先，需要确定PIO模型。具体包括：预先采集PIO(正例)样本和非PIO(反例)样本，例如每个样本集中含有1000多个样本，然后提取样本中的特征，针对所述样本特征，通过离线学习算法训练分类器，从而可以得到一个PIO模型；这个PIO模型可以有效的帮助本发明去掉非PIO的检测区域。在这一学习训练的过程中所述，特征可以是尺度不变特征变换(SIFT，Scale-invariant feature transform)特征，也可以是方向梯度直方图(HOG，Histogram of Oriented Gradient)特征，或者它们的组合，或者其他的一些特征。本发明在实现的时候所使用的分类器例如可以是支持向量机(SVM，Support Vector Machine)分类器。
其次，所述确认过程需要在PIO的检测过程之后，针对所述检测出的PIO，进一步利用所述PIO模型去除所检测出的PIO中的非PIO区域。
与上述实施例的方法对应的，在所述立体图像的处理装置的一种实施例中，所述PIO的检测判断模块，还可以进一步用于：预先采集PIO样本和非PIO样本，提取样本中的特征，针对所述样本特征，通过离线学习算法得到PIO模型；在所述从输入的立体图像中检测PIO之后，针对所述检测出的PIO，进一步利用所述PIO模型去除所检测出的PIO中的非PIO区域。
在针对立体图像视频的处理中，本发明的一种进一步的优选实施例中，可以对上述处理方法做一些改变，对一段输入的立体图像视频，本实施例先判断该立体图像视频是否需要校正，即判断该立体图像是否存在立体视差，在存在立体视差的情况下执行所述图3a或图4的处理方法；如果不存在立体视差，则不会对立体图像进行本发明所述的处理。
或者，如图5为本发明所述立体图像的处理方法的再一种详细流程示意图。参见图5所述的实施例，在针对立体图像视频的处理中，在执行图3a或图4所述方法之前，进一步包括：
判断所输入的立体图像所属的当前帧是否为视频段边界帧，如果是则进一步判断所述立体图像是否存在立体视差，在存在立体视差的情况下执行图3a或图4所述的处理方法，进一步判断立体图像中是否含有PIO，如果有PIO则利用本发明所述的处理方式处理，如果没有PIO则直接用现有的立体校正方式处理；如果所述立体图像所在的当前帧不是视频段边界帧，则采用与本视频上一帧相同的处理方式处理当前帧的立体图像。
本实施例这样做的好处是不必对所有视频帧内的立体图像都判断是否存在立体视差，可以节省时间。
与上述方法实施例对应，本发明所述的立体图像的处理装置的一种实施例中，还可以进一步包括立体视差检测模块，用于判断所输入的立体图像是否存在立体视差，在存在立体视差的情况下执行图3a或图4的流程，否则不进行校正。
与上述方法实施例对应，本发明所述的立体图像的处理装置的一种实施例中，还可以进一步包括视频段边界检测模块，用于判断所述立体图像所属的当前帧是否为视频段边界帧，如果是则进一步判断所述立体图像是否存在立体视差，在存在立体视差的情况下执行图3a或图4所述的流程；如果所述立体图像所在的当前帧不是视频段边界帧，则采用与上一帧相同的处理方式处理当前帧的立体图像。
所述判断所述立体图像所属的当前帧是否为视频段边界帧，也就是说，需要检测当前处理的图像帧是否位于两段不同拍摄场景的视频的边界，其原因在于，对于立体几何误差的估计和校正变换的估计，只需要对视频段进行一次，而不需要对视频中的每一帧图像都重复执行。并且，只有在视频段中检测到立体图像误差时，才进行本所述的对其是否含有PIO的检测和处理。
图6为图5中所述立体图像视频段边界检测方法的一种流程示意图。参见图6，所述判断所述立体图像所属的当前帧是否为视频段边界帧，具体包括：
步骤601、确定当前帧的图像特征向量和上一帧的图像特征向量；所述图像特征向量，在一种典型的例子中，就是图像的颜色分布直方图。
步骤602、通过比较所述当前帧的图像特征向量和上一帧的图像特征向量，计算当前帧和上一帧之间的图像特征变化分数；例如，可以通过计算两个图像特征向量之间的欧式距离来计算视频图像特征变化分数。
步骤603、判断所述图像特征变化分数是否超过指定的阈值，如果超过则判定当前帧为视频段边界帧，否则判定当前帧不是视频段边界帧。
图7为本发明所述立体视差检测方法的具体流程示意图。参见图7，所述判断所述立体图像是否存在立体视差，具体包括：
步骤701、分别从所述立体图像中的左图和右图之中提取图像特征点，分别对所述左图的图像特征点和右图的图像特征点计算特征向量；
步骤702、根据所述左图和右图的特征向量的相似性，在所述左图和右图的图像特征点之间建立匹配对应关系；
步骤703、统计所述左图和右图中相互匹配的图像特征点对在竖直方向上的图像坐标距离，计算所述图像坐标距离的分布直方图；
步骤704、判断所述分布直方图的最大的峰值的位置是否大于指定阈值，如果大于则判定当前处理的立体图像存在立体视差，否则判定当前处理的立体图像不存在立体视差。
本发明中，所述PIO可能有多种类型，每种类型的PIO具有不同的图像特征类型。本发明使用多种类型的方法对其分别进行检测和分割提取。对于每种类型的PIO，本发明针对性地提出了对应的PIO检测分割器，所述检测分割器来执行对应的检测分割提取方法对相应类型的PIO进行检测分割提取处理。而且对于视频的每一帧图像，分别使用这些检测分割器对其进行处理。
在典型的实施例中，所述对立体图像中检测分割提取PIO的实施方式主要包含三部分：检测分割提取后期加入的文本(如字幕)，检测分割提取后期加入的图标，以及检测分割提取后期加入的一般图形。下面对这三种类型的PIO的检测分割提取方法分别介绍。
(1)字幕检测分割器。
所述字幕检测分割器的作用是检测分割立体图像对中的字幕PIO。图8为本发明所述字幕检测分割器对字幕PIO进行检测分割提取处理的流程示意图。参见图8，针对字幕PIO，主要包括：字幕框的检测过程801和字幕PIO的分割提取过程802。
所述字幕框的检测过程801包括：从输入的图像中检测文字笔画特征；对检测出的文字笔画特征向图像的X方向和Y方向分别进行投影分析；通过检测超过一定阈值的峰值区域，提取包含文字笔画特征的字幕框；确定所述字幕框的字幕深度；去除所述字幕框中字幕深度不位于场景前方的字幕误检测。
所述字幕PIO的分割提取过程802包括：在所述检测出的字幕框中，根据颜色分布直方图提取文字的颜色。根据文字颜色对文字像素进行分割，将所述分割的结果作为字幕PIO分割结果并提取分割出的字幕PIO。
对应的，所述字幕检测分割器具体包括字幕框检测模块和字幕PIO的分割提取模块，所述字幕框检测模块用于执行所述字幕框的检测过程801，所述字幕PIO的分割提取模块用于执行所述字幕PIO的分割提取过程802。
上述字幕框的检测过程801中，只是对字幕PIO的粗检测过程，粗检测过程的结果有时候不能很精准的定位到真正的字幕PIO区域，比如一部分字幕在字幕框外或者字幕框包含很多背景区域。于是，本发明进一步针对性地提出了字幕PIO精检测方法。
对于第一种情况，即一部分字幕在字幕框外的情况在英文字幕中常常出现。这是由于在粗检测过程中，统计水平方向的投影时，英文字符“p”、“y”等的下部区域投影值很小造成的。这种问题会影响后续的字幕PIO的验证和重新嵌入，造成明显是视觉失真。解决这种问题的一种字幕PIO精检测方法包括：
在上述字幕框的检测过程801中，在得到所述字幕框之后，进一步包括：对图像进行边缘检测，并将边缘强度值小于某一特定阈值的边缘强度置0，以减小噪音的影响；然后，对所述检测出的字幕框及其上下指定范围内的区域水平投影，检测超过特定阈值的投影区域，根据检测到的所述投影区域进一步精确定位字幕框的边界。
对于第二种情况，粗分割的结果是字幕框中包含很多背景区域。这是由于背景区域有很强的纹理特征造成的，比如背景中含网状的东西，房顶的瓦片等。解决这种问题的一种字幕PIO精检测方法包括：
在字幕框的检测过程801中，在得到所述字幕框之后，进一步包括以下步骤811-813：
步骤811、计算所述字幕框的截断边缘图像；
步骤812、计算所述截断边缘图像的水平投影，寻找该水平投影的最大值，搜索所述水平投影最大值上下指定范围内的最小值，得到字幕区域的上下边界；
步骤813、计算所述截断边缘图像的垂直投影，得到字幕区域的左右边界；
步骤814、按照所述字幕区域的上下边界和左右边界重新定位字幕框，这样就可以精确定位字幕框。即该确定了上下左右边界的字幕区域就是精确定位的字幕框。
当视频图像背景中含有更多的边缘信息的时候，比如树叶，墙等，本发明所述字幕检测分割器，会将这些区域检测成字幕。为了去除这些错误的检测，本发明的一种优选实施例中还进一步增加了对字幕PIO的确认过程，该确认过程是通过基于数据学习模型的方法实现的，该确认过程包括：
首先，所述确认过程需要预先采集字幕(正例)样本和非字幕(反例)样本，例如每个样本集中含有1000多个样本，然后提取样本中的特征，针对所述样本特征，通过离线学习算法训练分类器，从而可以得到一个字幕模型；这个字幕模型可以有效的帮助本发明去掉非字幕检测区域。在这一学习训练的过程中所述，特征可以是尺度不变特征变换(SIFT，Scale-invariant feature transform)特征，也可以是方向梯度直方图(HOG，Histogram of Oriented Gradient)特征，或者它们的组合，或者其他的一些特征。本发明在实现的时候所使用的分类器例如可以是支持向量机(SVM，Support Vector Machine)分类器。
其次，所述确认过程需要在所述字幕框的检测过程801之后，针对所述字幕框，进一步利用所述字幕模型去除所述字幕框中的非字幕区域。
在本发明的一种具体的优选实施例中，所述字幕PIO的分割提取过程802，可以具体包括如下步骤821-826：
步骤821、将所述检测出的字幕框分成R、G、B通道的灰度图，包括R图、G图、B图；
步骤822、将所述字幕框转换成灰度图；
步骤823、用自适应OTSU算法计算将所述R图、G图、B图、以及所述字幕框转换成的灰度图进行二值化的阈值；
步骤824、选取上述所述四个阈值中的最大值，如果该最大值大于一指定阈值，则将该字幕框按该指定阈值二值化，得到对应的二值图；否则，对该字幕框按该指定阈值逆二值化，得到对应的二值图；
步骤825、对所述二值图中值滤波；
步骤826、将所述二值图中灰度值高于指定阈值的区域判定为字幕PIO，将判定的字幕PIO从图像中分割出来。
(2)视频图标检测分割器。
视频图标检测分割器的作用是从立体图像视频中检测后期编辑加入的视频图标信息，即检测分割提取视频图标PIO。视频图标PIO是为了辅助或增强视频内容信息而加入的图形，如电视台的图标，视频版权信息等等。这种类型的PIO的特点是具有时域上的稳定性，即以稳定的(或具有周期性变化的)图像特征出现在画面中的固定位置。因此，本发明采用利用时域上的变化检测，对视频图标PIO进行分割和建模，然后对其进行检测。
图9为本发明所述视频图标检测分割器对视频图标PIO的检测分割提取方法的流程示意图。参见图9，在该实现的过程中，可以分为一个离线的视频图标PIO建模过程901，和一个在线的视频图标PIO检测分割过程902。对于建模完成的视频图标PIO，通过在一定的画面区域范围内进行模板检测来提取视频图标PIO。其中：
所述离线视频图标建模过程901，主要包括：
建立并初始化视频图标图像；图标图像的每个像素是取值范围在0和1之间的浮点数，代表了该像素属于图标区域的可能性。当像素值趋近1时，代表该像素可能属于像素图标。
然后，按照时间顺序逐步读取输入视频的每一帧图像，根据相邻两帧之间的像素颜色差异更新视频图标图像，将其中趋近于1的像素区域提取作为视频图标图像的模型图像；例如，可以采用相邻两帧图像之间的颜色插值的指数函数作为一个乘数因子来更新图标图像。具有颜色变化值的图标图像像素随着时间逐渐趋近于0，而属于图标的像素逐渐趋近于1。
判断所述视频图标图像是否收敛，如果收敛，输出所述视频图标图像，执行在线视频图标检测分割过程902；否则返回上一步继续根据相邻两帧之间的像素颜色差异更新视频图标图像。
所述在线视频图标PIO检测分割过程902，具体包括：在所述输入的立体图像的左图和右图中，通过与所述视频图标图像的模型图像进行匹配，来检测所述左图和右图中的视频图标图像，并将检测到的视频图标图像作为视频图标PIO分割提取出来。例如，可以计算互相关函数，提取互相关函数的峰值位置作为视频图标PIO的检测结果。
对应的，所述视频图标检测分割器具体可以包括离线视频图标建模模块和在线视频图标PIO分割提取模块。所述离线视频图标建模模块用于执行所述离线视频图标建模过程901，所述在线视频图标PIO分割提取模块用于执行在线视频图标PIO检测分割过程902。
(3)一般图形检测分割器。
对于不具有典型的图像特征，不具有典型的时域特征的PIO，使用一般图形检测分割器对其进行检测分割。一般图形检测分割器基于图像分割对一般图形PIO进行检测。
图10为本发明所述一般图形检测分割器对一般图形PIO进行检测分割提取的流程示意图。参见图10，该图形PIO处理过程包括：
步骤101、对所述输入的立体图像中的左图和右图中的任一幅图(如左图)进行图像分割；例如，可以利用均值漂移算法对图像进行分割。
步骤102、对分割得到的每一个图像区域，在另一幅图像相同的水平线上的每个位置计算匹配分数；该匹配分数反应了当前处理的左图中的图像区域，在右图的相同水平线上的某个位置上，和具有相同形状的图像区域的图像特征的相似程度。例如，可以统计两个图像区域中相同位置处像素颜色的归一化均方误差来作为匹配分数，其中归一化的目的是为了去除图像区域大小和图像平均亮度的影响。
步骤103、对于所述任一个图像区域，若该图像区域的所述各个位置中的最小匹配分数小于指定的阈值，则判定该图像区域为所要分割出的PIO，将该图像区域从原图像中分割提取出来。
这种方法的根据是，PIO根据标准的立体几何关系加入，因此可以在水平线上找到它的高质量的匹配区域。而非PIO的区域，由于立体图像对包含立体几何误差，因此它对应的图像区域不是严格地位于相同的水平线上，因此沿相同水平线计算得到的匹配分数的数值会大于PIO区域的匹配分数。
对应的，所述一般图形检测分割器具体可以包括：
图像分割模块，用于执行上述步骤101；
匹配分数计算模块，用于执行上述步骤102；
分割提取模块，用于执行上述步骤103。
在所述提取出相应类型的PIO之后，在原立体图像上的原PIO所在的部位，会留出相应的空洞，并发明会利用所述步骤402对所述相应的空洞进行填充，即对所述立体图像中分割提取出所述PIO的部位进行填充。所述填充的主要是利用PIO分割结果，对属于PIO的像素，根据周围图像的信息，对其进行插值填充。
对于所述步骤402，一种具体的实施方法是：在所述立体图像上的所述PIO的部位上，针对该PIO部位中的任一个像素，在所述立体图像上沿着该像素的列的方向，向上或向下搜索与其距离最近的非PIO像素，将该非PIO像素的颜色值赋予该PIO的像素，通过该方式遍历处理所述PIO部位的每个像素，直到所述PIO的部位被填满。
或者，在所述立体图像上的所述PIO的部位上，针对该PIO部位中的像素，在所述立体图像上沿着该像素的行的方向，向左或向右搜索与其距离最近的非PIO像素，将该非PIO像素的颜色值赋予该PIO的像素，通过该方式遍历处理所述PIO部位的像素，直到所述PIO的部位被填满。
或者，对于所述步骤402，又一种具体的实施方法是：采用分层填洞的方法实现剩余区域的填充。分层填洞的方法是一种基于高斯卷积的插值方法，该方法先对有洞的图像(此处为所述分割提取出PIO的立体图像)下采样，然后对最底层的图像高斯卷积扩大填充至原来图像的大小。该方法速度较快，没有明显的填洞痕迹。
此外，本发明还可以对填洞后的图像中值滤波，这样可以去除一些外点。
对于占据较大图像面积的PIO区域，可以采用更加复杂的填充方法。也可以利用立体图像对左右两幅图像之间的互补信息，对PIO进行填充。
在步骤402所述填充完所述提取PIO部位造成的空洞后，在接下来的步骤403就可以对所述填充后的立体图像进行立体校正处理了。对于包含PIO的立体图像对，进行PIO去除和填充后，其立体几何约束关系和一般的立体图像对一致，因此，使用现有的立体图像校正技术对其进行立体校正。
对经过立体图像校正后的原立体图像对，考虑到尊重原视频内容，重新将PIO加入。即需要执行所述步骤404，在所述经过校正处理后的立体图像中的原分割提取PIO的位置，重新加入所述分割提取出的PIO。在一种具体的实施方式中，是不对所述提取出的PIO进行任何处理，在所述经过校正处理后的立体图像中的原分割提取PIO的原位置，直接加入所述原分割提取出的PIO。另一种具体实施方式是根据当前三维场景对所述原分割提取PIO进行校正变换，例如对三维场景进行分析，对所述原分割提取出的PIO进行一定的变换，如调整其大小、位置或深度，然后在所述经过校正处理后的立体图像中的原分割提取PIO的位置，重新加入所述经过校正变换后的所述PIO。
图11为经过本发明所述处理方法或装置进行立体几何校正后的立体图像对的示意图。如图11所示，场景中的真实物体在左右两图中的图像对，如311和321，312和322，对齐到相同的水平线上，符合标准的立体几何关系。与此同时，后期加入物体PIO在左右两图中的图像对，如313和323，314和324，由于经过本发明提出的技术，也对齐到相同的水平线上，符合标准的立体几何关系。
本发明所述的对立体图像的处理方法和处理装置可以应用想立体图像显示设备上。因此本发明还公开了一种立体图像的显示设备，包括所述上述任一种实施例中所述的立体图像的处理装置。
本发明还公开了一种立体图像的显示设备，包括所述上述任一种实施例中所述的立体图像检测分割器，如包括所述字幕检测分割器、视频图标检测分割器、或一般图形检测分割器。
使用本发明所述的立体图像的显示装置和设备，当立体图像中包含立体图像误差，并且包含有后期编辑加入的物体时，可以自动地对立体图像误差进行检测和校正，从而保证三维图像的视觉质量。本发明的处理流程考虑了计算速度，使用效率高的方法步骤以取得实时处理的效果，可以实时地处理输入的立体视频信息。同时，本发明的流程的设计也考虑到最小化视频图像处理结果的误差，如视频间的跳动和立体图像畸变。
本发明可以使用在智能三维电视上，对图像内容进行增强，保证三维图像的视觉效果。也可以应用在手机，电视，大屏幕公共显示器上，对三维图像内容进行增强。本发明还可以应用在戴眼镜和不戴眼镜的立体显示器上。本发明可以应用在包含两个视角的立体显示器上，也可以应用在包含多个视角的立体显示器上。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述各实施例的功能模块可以位于一个终端或网络节点，或者也可以分布到多个终端或网络节点上。
另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本发明还公开了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。
另外，本发明所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌入微控制器等来实现。因此这种可以实现本发明所述方法的硬件也可以构成本发明。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (25)

1.一种立体图像的处理方法，其特征在于，包括：
从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO；
对所述分割提取出所述PIO后的立体图像进行立体校正处理；
在经过校正处理后的立体图像中重新加入所述分割提取出的PIO。
2.根据权利要求1所述的方法，其特征在于，在所述输入立体图像之后，检测PIO之前，进一步包括：
判断所述立体图像是否存在立体视差，在存在立体视差的情况下执行检测PIO及其后续步骤；
或者，判断所述立体图像所属的当前帧是否为视频段边界帧，如果是则进一步判断所述立体图像是否存在立体视差，在存在立体视差的情况下执行检测PIO及其后续步骤；如果所述立体图像所在的当前帧不是视频段边界帧，则采用与上一帧相同的处理方式处理当前帧的立体图像。
3.根据权利要求2所述的方法，其特征在于，所述判断所述立体图像所属的当前帧是否为视频段边界帧，具体包括：
确定当前帧的图像特征向量和上一帧的图像特征向量；
通过比较所述当前帧的图像特征向量和上一帧的图像特征向量，计算当前帧和上一帧之间的图像特征变化分数；
判断所述图像特征变化分数是否超过指定的阈值，如果超过则判定当前帧为视频段边界帧，否则判定当前帧不是视频段边界帧。
4.根据权利要求2所述的方法，其特征在于，所述判断所述立体图像是否存在立体视差，具体包括：
分别从所述立体图像中的左图和右图之中提取图像特征点，分别对所述左图的图像特征点和右图的图像特征点计算特征向量；
根据所述左图和右图的特征向量的相似性，在所述左图和右图的图像特征点之间建立匹配对应关系；
统计所述左图和右图中相互匹配的图像特征点对在竖直方向上的图像坐标距离，计算所述图像坐标距离的分布直方图；
判断所述分布直方图的最大的峰值的位置是否大于指定阈值，如果大于则判定当前处理的立体图像存在立体视差，否则判定当前处理的立体图像不存在立体视差。
5.根据权利要求1所述的方法，其特征在于，该方法进一步在从所述立体图形中分割提取出所述PIO之后，所述重新加入所述分割提取出的PIO之前，进一步包括：对所述立体图像中分割提取出所述PIO的部位进行填充。
6.根据权利要求5所述的方法，其特征在于，所述对所述立体图像中分割提取出所述PIO的部位进行填充，具体包括：
在所述立体图像上的所述PIO的部位上，针对该PIO部位中的像素，在所述立体图像上沿着该像素的列的方向，向上或向下搜索与其距离最近的非PIO像素，将该非PIO像素的颜色值赋予该PIO的像素，通过该方式遍历处理所述PIO部位的像素，直到所述PIO的部位被填满；
或者，在所述立体图像上的所述PIO的部位上，针对该PIO部位中的像素，在所述立体图像上沿着该像素的行的方向，向左或向右搜索与其距离最近的非PIO像素，将该非PIO像素的颜色值赋予该PIO的像素，通过该方式遍历处理所述PIO部位的像素，直到所述PIO的部位被填满；
或者，对所述分割提取出PIO的立体图像进行下采样，再对最底层的图像进行高斯卷积扩大填充至原来图像的大小；
或者，利用所述立体图像中左图和右图之间的互补信息，对所述PIO物体进行填充。
7.根据权利要求1所述的方法，其特征在于，所述在经过校正处理后的立体图像中重新加入所述分割提取出的PIO，具体包括：
在所述经过校正处理后的立体图像中的原分割提取PIO的位置，直接加入所述原分割提取出的PIO；
或者，根据当前三维场景对所述原分割提取PIO进行校正变换，在所述经过校正处理后的立体图像中的原分割提取PIO的位置，重新加入所述经过校正变换后的所述PIO。
8.根据权利要求1所述的方法，其特征在于，该方法进一步包括：
确定PIO模型；
在所述从输入的立体图像中检测PIO之后，针对所述检测出的PIO，进一步利用所述PIO模型去除所检测出的PIO中的非PIO区域。
9.根据权利要求8所述的方法，其特征在于，所述确定PIO模型，具体包括：
采集PIO样本和非PIO样本，提取样本中的特征，针对所述样本特征，通过离线学习算法得到PIO模型。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO，具体包括：
字幕框的检测过程，包括：从输入的图像中检测文字笔画特征；对检测出的文字笔画特征向图像的X方向和Y方向分别进行投影分析；通过检测超过一定阈值的峰值区域，提取包含文字笔画特征的字幕框；确定所述字幕框的字幕深度；去除所述字幕框中字幕深度不位于场景前方的字幕误检测；
字幕PIO的分割提取过程，包括：在所述检测出的字幕框中，根据颜色分布直方图提取文字的颜色；根据文字颜色对文字像素进行分割，将所述分割的结果作为字幕PIO分割结果并提取分割出的字幕PIO。
11.根据权利要求10所述的方法，其特征在于，该方法在字幕框的检测过程中，在得到所述字幕框之后，进一步包括：
对图像进行边缘检测，并将边缘强度值小于某一特定阈值的边缘强度置0；
对所述检测出的字幕框及其上下指定范围内的区域水平投影，检测超过特定阈值的投影区域，根据检测到的所述投影区域进一步精确定位字幕框。
12.根据权利要求10所述的方法，其特征在于，该方法在字幕框的检测过程中，在得到所述字幕框之后，进一步包括：
计算所述字幕框的截断边缘图像；
计算所述截断边缘图像的水平投影，寻找该水平投影的最大值，搜索所述水平投影最大值上下指定范围内的最小值，得到字幕区域的上下边界；
计算所述截断边缘图像的垂直投影，得到字幕区域的左右边界；
按照所述字幕区域的上下边界和左右边界重新定位字幕框。
13.根据权利要求10所述的方法，其特征在于，该方法进一步包括：
采集字幕样本和非字幕样本，提取样本中的特征，针对所述样本特征，通过离线学习算法得到字幕模型；
在所述字幕框的检测过程之后，针对所述字幕框，进一步利用所述字幕模型去除所述字幕框中的非字幕区域。
14.根据权利要求10所述的方法，其特征在于，所述字幕PIO的分割提取过程，具体包括如下处理：
将所述检测出的字幕框分成R、G、B通道的灰度图，包括R图、G图、B图；
将所述字幕框转换成灰度图；
计算将所述R图、G图、B图、以及所述字幕框转换成的灰度图进行二值化的阈值；
选取上述所述四个阈值中的最大值，如果该最大值大于一指定阈值，则将该字幕框按该指定阈值二值化，得到对应的二值图；否则，对该字幕框按该指定阈值逆二值化，得到对应的二值图；
对所述二值图中值滤波；
将所述二值图中灰度值高于指定阈值的区域判定为字幕PIO，将判定的字幕PIO从图像中分割出来。
15.根据权利要求1至9任一项所述的方法，其特征在于，所述从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO，具体包括：
离线视频图标建模过程，包括：建立并初始化视频图标图像；按照时间顺序逐步读取输入视频的每一帧图像，根据相邻两帧之间的像素颜色差异更新视频图标图像；将其中趋近于指定值的像素区域提取作为视频图标图像的模型图像；判断所述视频图标图像是否收敛，如果收敛，输出所述视频图标图像，执行在线视频图标PIO检测分割过程；否则，返回上一步继续根据相邻两帧之间的像素颜色差异更新视频图标图像；
在线视频图标PIO检测分割过程，包括：在所述输入的立体图像的左图和右图中，通过与所述视频图标图像的模型图像进行匹配，来检测所述左图和右图中的视频图标图像，并将检测到的视频图标图像作为视频图标PIO分割提取出来。
16.根据权利要求1至9任一项所述的方法，其特征在于，所述从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO，具体包括以下的图形PIO处理过程：
对所述输入的立体图像中的左图和右图中的任一幅图进行图像分割；
对分割得到的每一个图像区域，在另一幅图像相同的水平线上的每个位置计算匹配分数；
对于所述任一个图像区域，若该图像区域的所述各个位置中的最小匹配分数小于指定的阈值，则判定该图像区域为所要分割出的PIO，将该图像区域从原图像中分割提取出来。
17.一种立体图像的处理装置，其特征在于，包括：
PIO检测分割模块，用于从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO；
立体校正模块，用于对所述分割提取出所述PIO的立体图像进行立体校正处理；
重新加入模块，用于在所述经过校正处理后的立体图像中重新加入所述分割提取出的PIO。
18.一种立体图像的显示设备，其特征在于，包括所述权利要求17所述的立体图像的处理装置。
19.一种立体图像的检测分割方法，其特征在于，包括：
字幕框的检测过程，包括：从输入的图像中检测文字笔画特征；对检测出的文字笔画特征向图像的X方向和Y方向分别进行投影分析；通过检测超过一定阈值的峰值区域，提取包含文字笔画特征的字幕框；确定所述字幕框的字幕深度；去除所述字幕框中字幕深度不位于场景前方的字幕误检测；
字幕PIO的分割提取过程，包括：在所述检测出的字幕框中，根据颜色分布直方图提取文字的颜色,根据文字颜色对文字像素进行分割，将所述分割的结果作为字幕PIO分割结果并提取分割出的字幕PIO。
20.一种立体图像的检测分割方法，其特征在于，包括：
离线视频图标建模过程，包括：建立并初始化视频图标图像；按照时间顺序逐步读取输入视频的每一帧图像，根据相邻两帧之间的像素颜色差异更新视频图标图像；判断所述视频图标图像是否收敛，如果收敛，输出所述视频图标图像，执行在线视频图标PIO检测分割过程；否则将其中趋近于1的像素区域提取作为视频图标图像的模型图像，返回上一步继续根据相邻两帧之间的像素颜色差异更新视频图标图像；
在线视频图标PIO检测分割过程，包括：在所述输入的立体图像的左图和右图中，通过与所述视频图标图像的模型图像进行匹配，来检测所述左图和右图中的视频图标图像，并将检测到的视频图标图像作为视频图标PIO分割提取出来。
21.一种立体图像的检测分割方法，其特征在于，包括：
对输入的立体图像中的左图和右图中的任一幅图进行图像分割；
对分割得到的每一个图像区域，在另一幅图像相同的水平线上的每个位置计算匹配分数；
对于所述任一个图像区域，若该图像区域的所述各个位置中的最小匹配分数小于指定的阈值，则判定该图像区域为所要分割出的PIO，将该图像区域从原图像中分割提取出来。
22.一种立体图像的检测分割器，其特征在于，包括：
字幕框的检测模块，包括：从输入的图像中检测文字笔画特征；对检测出的文字笔画特征向图像的X方向和Y方向分别进行投影分析；通过检测超过一定阈值的峰值区域，提取包含文字笔画特征的字幕框；确定所述字幕框的字幕深度；去除所述字幕框中字幕深度不位于场景前方的字幕误检测；
字幕PIO的分割提取模块，包括：在所述检测出的字幕框中，根据颜色分布直方图提取文字的颜色,根据文字颜色对文字像素进行分割，将所述分割的结果作为字幕PIO分割结果并提取分割出的字幕PIO。
23.一种立体图像的检测分割器，其特征在于，包括：
离线视频图标建模模块，用于：建立并初始化视频图标图像；按照时间顺序逐步读取输入视频的每一帧图像，根据相邻两帧之间的像素颜色差异更新视频图标图像；判断所述视频图标图像是否收敛，如果收敛，输出所述视频图标图像，执行在线视频图标检测分割过程；否则将其中趋近于1的像素区域提取作为视频图标图像的模型图像，返回上一步继续根据相邻两帧之间的像素颜色差异更新视频图标图像；
在线视频图标PIO分割提取模块，用于：在所述输入的立体图像的左图和右图中，通过与所述视频图标图像的模型图像进行匹配，来检测所述左图和右图中的视频图标图像，并将检测到的视频图标图像作为视频图标PIO分割提取出来。
24.一种立体图像的检测分割器，其特征在于，包括：
图像分割模块，用于对输入的立体图像中的左图和右图中的任一幅图进行图像分割；
匹配分数计算模块，用于对分割得到的每一个图像区域，在另一幅图像相同的水平线上的每个位置计算匹配分数；
分割提取模块，用于对于所述任一个图像区域，若该图像区域的所述各个位置中的最小匹配分数小于指定的阈值，则判定该图像区域为所要分割出的PIO，将该图像区域从原图像中分割提取出来。
25.一种立体图像的显示设备，其特征在于，包括如权利要求22至权利要求24任一项所述的立体图像的检测分割器。
CN201510993718.XA 2015-12-25 2015-12-25 立体图像的处理方法、检测分割方法及相关装置和设备 Expired - Fee Related CN106921856B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510993718.XA CN106921856B (zh) 2015-12-25 2015-12-25 立体图像的处理方法、检测分割方法及相关装置和设备
KR1020160107984A KR102516358B1 (ko) 2015-12-25 2016-08-24 영상 처리 방법 및 영상 처리 장치
US15/388,513 US10531063B2 (en) 2015-12-25 2016-12-22 Method and apparatus for processing stereoscopic video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510993718.XA CN106921856B (zh) 2015-12-25 2015-12-25 立体图像的处理方法、检测分割方法及相关装置和设备

Publications (2)

Publication Number Publication Date
CN106921856A true CN106921856A (zh) 2017-07-04
CN106921856B CN106921856B (zh) 2019-07-12

Family

ID=59352237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510993718.XA Expired - Fee Related CN106921856B (zh) 2015-12-25 2015-12-25 立体图像的处理方法、检测分割方法及相关装置和设备

Country Status (2)

Country Link
KR (1) KR102516358B1 (zh)
CN (1) CN106921856B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108015764A (zh) * 2017-11-20 2018-05-11 中国运载火箭技术研究院 一种基于多源视觉信息融合的空间零先验目标捕获方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102419A (zh) * 2007-07-10 2008-01-09 北京大学 一种定位视频字幕区域的方法
US20120250980A1 (en) * 2011-03-29 2012-10-04 Sony Corporation Method, apparatus and system
WO2015025073A1 (en) * 2013-08-19 2015-02-26 Nokia Corporation Method, apparatus and computer program product for object detection and segmentation
CN105791795A (zh) * 2014-12-24 2016-07-20 北京三星通信技术研究有限公司 立体图像处理方法、装置以及立体视频显示设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672539B2 (en) * 2005-12-15 2010-03-02 General Instrument Corporation Method and apparatus for scaling selected areas of a graphics display
FR2982448A1 (fr) * 2011-11-07 2013-05-10 Thomson Licensing Procede de traitement d'image stereoscopique comprenant un objet incruste et dispositif correspondant
KR101858577B1 (ko) * 2012-10-10 2018-05-16 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
WO2016124253A1 (en) * 2015-02-06 2016-08-11 Optotune Ag Optical device for enhancing resolution of an image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102419A (zh) * 2007-07-10 2008-01-09 北京大学 一种定位视频字幕区域的方法
US20120250980A1 (en) * 2011-03-29 2012-10-04 Sony Corporation Method, apparatus and system
WO2015025073A1 (en) * 2013-08-19 2015-02-26 Nokia Corporation Method, apparatus and computer program product for object detection and segmentation
CN105791795A (zh) * 2014-12-24 2016-07-20 北京三星通信技术研究有限公司 立体图像处理方法、装置以及立体视频显示设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108015764A (zh) * 2017-11-20 2018-05-11 中国运载火箭技术研究院 一种基于多源视觉信息融合的空间零先验目标捕获方法

Also Published As

Publication number Publication date
CN106921856B (zh) 2019-07-12
KR102516358B1 (ko) 2023-03-31
KR20170077018A (ko) 2017-07-05

Similar Documents

Publication Publication Date Title
US20240064391A1 (en) Methods for refining rgbd camera poses
JP6496987B2 (ja) 目標検出方法及び目標検出装置
CN103578116B (zh) 用于跟踪对象的设备和方法
TWI485650B (zh) 用於多相機校準之方法及配置
CN105957059B (zh) 电子元件漏件检测方法和系统
CN103077521B (zh) 一种用于视频监控的感兴趣区域提取方法
CN109636732A (zh) 一种深度图像的空洞修复方法以及图像处理装置
Liu et al. Digital image forgery detection using JPEG features and local noise discrepancies
CN105513064A (zh) 一种基于图像分割和自适应权重的立体匹配方法
CN106778730A (zh) 一种用于快速生成ocr训练样本的自适应方法及系统
CN107240084A (zh) 一种单幅图像去雨方法及装置
CN111524100A (zh) 一种缺陷图像样本生成方法、装置及面板缺陷检测方法
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN111340749A (zh) 图像质量的检测方法、装置、设备及存储介质
CN105791795B (zh) 立体图像处理方法、装置以及立体视频显示设备
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN117315210B (zh) 一种基于立体成像的图像虚化方法及相关装置
Camplani et al. Accurate depth-color scene modeling for 3D contents generation with low cost depth cameras
CN106600615A (zh) 一种图像边缘检测算法评价系统及方法
CN109215047B (zh) 基于深海视频的运动目标检测方法和装置
CN109635679B (zh) 一种实时的靶纸定位及环线识别方法
Lee et al. Estimating scene-oriented pseudo depth with pictorial depth cues
CN106921856A (zh) 立体图像的处理方法、检测分割方法及相关装置和设备
Liang et al. Local foreground removal disocclusion filling method for view synthesis
Torres-Gómez et al. Recognition and reconstruction of transparent objects for augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190712