CN1921560A - 一种视频对象外边界提取方法 - Google Patents
一种视频对象外边界提取方法 Download PDFInfo
- Publication number
- CN1921560A CN1921560A CN 200510021541 CN200510021541A CN1921560A CN 1921560 A CN1921560 A CN 1921560A CN 200510021541 CN200510021541 CN 200510021541 CN 200510021541 A CN200510021541 A CN 200510021541A CN 1921560 A CN1921560 A CN 1921560A
- Authority
- CN
- China
- Prior art keywords
- time domain
- variation
- image
- region
- seed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供的是一种视频对象外边界提取方法，它通过对全局运动补偿之后的相继两帧灰度图像进行高斯噪声模型的种子区域增长法生成帧差图像，提取时域变化区域后计算运动矢量，来区分运动模型区域和失效区域，然后提取运动对象并进行修补、检测空域外边界极大值点、连接空域极大值点所在的canny边界等手段得到运动对象外边界。采用本发明方法，不仅可以得到精确的外边界定位信息，而且整体方法具有很高的鲁棒性，同时其运算速度可以适用于实时系统，具有很强的实际应用前景。
Description
技术领域
本发明属于图像处理技术领域，特别涉及视频目标分割图像处理技术。
背景技术
为了支持基于内容的交互性，即支持对内容独立地进行编、解码，MPEG-4视频检验模型引入了视频对象面(VOP：Video Object Plane)的概念。视频对象分割是指把图像序列或视频按一定的标准分割成区域，目的是为了从视频中分离出有一定语义的实体。这种有语义的实体在数字视频中称为视频对象。视频对象的外边界就是视频对象最外的轮廓。所以提取出来视频对象的外边界的信息就可以得到整个视频对象的在图像中的区域特性，从而实现视频对象的分割。相对于单张图片只是具有基于其坐标上的空间的图像信息(即图像的空域信息)而言，视频图像还具有每帧图像相对于前后帧之间的时间相关性的时域信息。所以，视频图像具有空域和时域双方向的信息。
视频对象分割是基于MEPG4视频处理计算的前提，在计算机视觉、交通监控、可视预警、机器导航等诸多民用领域有着广泛的应用，同时在靶场电视测量、飞行器电视制导等军用领域也发挥着重要作用。视频分割是面对对象视频编码、多媒体描述和智能信号处理的一个核心操作。但是有效的分割是在图像分析中的一个非常困难的任务和挑战。(参看文献Haritaoglu，I，Harwood，D.，Davis，L.S.″W4：real-time surveillance of people and theiractivities″，Pattern Analysis and Machine Intelligence，IEEE Transactions on，Volume：22，Issue：8，Aug.2000 Pages：809-830。)
从目前研究者使用的信息以及其方法，视频对象分割可以分成三大类：(1)时域分割；(2)空域分割和时域跟踪；(3)时空结合分割。(参看文献Fuhui Long，Dagan Feng，Hanchuan Peng，Wan-Chi Siu，″Extracting semantic video objects″，Computer Graphics andApplications，IEEE Vol.21；Jan 2001；；pages 48-55)
第一种方法只是使用时域信息，但是由于目前所有此类方法不能解决计算量大和定位不准确的问题，所以此类方法得不到很好的结果。第二种方法是先在空域进行图像分割，然后对分割出来的图像区域进行时域跟踪。但是当面对当前大多数复杂背景的图像序列时候，此类方法通常都是又费时又得不到期望的结果。第三种方法现在由于其充分利用双方面的信息而得到了极大的推广，本发明提出的方法就属于该方案体系。但是因为这种方法中存在的信息量巨大，且同时时域和空域信息一般不一致，也就是说得到的时域结果和此帧图像中的空域信息并不相符。所以当前大部分研究者所使用的方法并不能很好的融合空域和时域信息，从而即造成计算量过大，也不能很好得到视频对象的完整信息。
发明内容
本发明的目的是提供一种利用时域和空域信息的视频对象外边界提取方法，它具有抗噪强、空域时域信息融合合理快捷、运算速度快、鲁棒性强的等特点。
为了方便描述本发明地内容，首先作一个术语定义：
1.全局运动补偿：全局运动就是在视频流的记录过程中，摄像机不可避免做出缩放、水平运动、竖直运动和旋转运动等从而造成的整个图像的全部运动。全局运动补偿就是通过全局运动方法计算出的运动量对一帧图像相对于前一帧的补偿，使两帧图像去除掉摄像机运动做出的影响。(具体方法参看《数字视频处理》崔之枯译)
2.种子区域增长法：种子区域增长是将具有相似性质的像素集合起来构成区域。具体为先对每个需要分割的区域找一个像素作为增长的种子点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素(根据事先确定的增长或相似准则来判断)合并到种于像素所在的区域。将这些新像素当作新的种子像素继续上面的过程，直到没有满足条件的像素被包括进来，这样一个区域就长成了。
区域增长法需要解决三个问题：
A、选择或确定一组能正确代表所需区域的种子像素；
B、确定增长的准则；
C、制定让增长过程停止的条件。(具体方法参看《机器视觉》贾云得编著)
3.背景遮挡区域：在前一帧中未被运动物体遮盖的背景，而随着运动物体的运动在下一帧中被运动物体遮盖的背景区域。(参看《数字视频处理》崔之枯译)
4.背景显露区域：在前一帧中被运动物体遮盖，而随着运动物体的运动在下一帧中出现的背景区域。(参看《数字视频处理》崔之枯译)
5.高斯噪声：其统计特性为高斯分布特性的噪声。一般信号处理中对于干扰的白噪声看成高斯噪声，进而在分析中统计出其均值和方法来便于处理。(参看《数字图像处理》冈萨雷斯)
6.二值化：使用0，1来表示整个区域的二值特性。(参看《数字图像处理》冈萨雷斯)
7.形态学滤波：使用数学形态学的方法来进行滤波。通常使用以形态学膨胀运算和腐蚀运算为基础，组合为开运算和闭运算来分别去除不同的二值化图像的噪声。(具体方法参看《图象处理与分析：数学形态学方法及应用》崔屹编著)
8.结构元：是一个数学形态学的处理其它图像的图像集合。(具体方法参看《图象处理与分析：数学形态学方法及应用》崔屹编著)
9.形态学膨胀运算：为形态学的最基本算子，其意义为：AB＝{c∈En|c＝a+b，a∈A，b∈B}，其中A和B为n维欧氏空间En的两个子集。其中B一般为形态学的结构元。(具体方法参看《图象处理与分析：数学形态学方法及应用》崔屹编著)
10.形态学腐蚀运算：为形态学的最基本算子，其意义为：AB＝{c∈En|c+b∈A，b∈B}，其中A和B为n维欧氏空间En的两个子集。其中B一般为形态学的结构元。(具体方法参看《图象处理与分析：数学形态学方法及应用》崔屹编著)
11.连通：已知象素p，q∈S，如果存在一条从p到q的路径，则路径上的全部象素都包含在S中，则称p与q是连通的。(参看《数字图像处理》冈萨雷斯)
12.canny边界：使用canny原则得到图像边界的二值化图像。(参看《数字图像处理》冈萨雷斯)
13.掩膜：即一个二值化的区域，为1表示目标，为0的为不相关区域。使用掩膜于一幅图像上，就是保留对应掩膜图像为1的该图像的值，掩膜为0的地方改为0。(参看《数字图像处理》冈萨雷斯)
14.区域连通标定方法：就是对整个二值化的图像进行连通标定，为每个连通的区域设置一个标志。(具体方法参看《机器视觉》贾云得编著)
15.相位相关法：利用相对应块的傅立叶变化求的相位关系，而求的光流运动矢量的方法。(具体方法参看《数字视频处理》崔之枯译)
16外轮廓边界提取方法：按照顺时针方向，逐点提取最外轮廓的外边界点。(具体方法参看《机器视觉》贾云得编著)
17.补偿：一个象素按照补偿定义的位移，与当前帧图像移动到下一帧图像的象素的灰度值不变，则这个位移称为运动补偿。象素按照这个位移的移动称为补偿。(具体方法参看《数字视频处理》崔之枯译)
18.匹配：通过计算的两个象素点的灰度值绝对差来表示两个象素的相似度。
19.空域梯度：图像象素点的上下左右位置上的灰度值的平方差。
本发明提供的一种视频对象外边界提取方法，它包含下列步骤(整体流程参看附图1所示)：
步骤1、对视频流中已经进行过全局运动补偿的相继两帧灰度图像，使用以高斯噪声模型为条件的种子区域增长法来进行帧差处理，得到抗噪的二值化时域帧差图像，其中值为1的区域为时域变化区域；
具体方法为：首先计算已经进行过全局运动补偿的相继两帧灰度图像上的绝对差，然后把大于40的绝对差点设置为0，统计剩余绝对差的均值(以M表示)和方差(以A表示)，然后根据上边得到的绝对差图像的均值M和方差A设置一个M+4*A的阈值为种子条件，设置[M+A，M+4*A]区间范围为种子增长条件。在已经进行过全局运动补偿的相继两帧灰度图像的绝对差图像上逐点搜索，把绝对差值大于种子阈值的所有象素点设置为种子象素点。然后在种子象素点的邻域进行搜索，满足种子增长条件的象素点设置为种子象素点。搜索完所有绝对差图像之后，得到种子生长的区域，将该区域上所有象素点设置为1，该区域以外的所有象素点设置为0，则得到二值化时域帧差图像。
步骤2、对步骤1中利用种子区域增长法生成的二值化时域帧差图像，进行形态学滤波处理，得到去噪后的时域变化区域图像；
步骤3、对步骤2得到去噪后的时域变化区域图像，使用区域连通标定方法，得到具有标志的时域变化区域图像；
步骤4、逐个取出步骤3得到的具有标志的变化区域图像上的每一个标志，然后逐象素点扫描具有标志的时域变化区域图像，如果该象素点的标志与取出的标志一样的话，则该象素点设置为1，如果不一样则为0，没有标志的象素点设置为0。扫描之后形成标志的时域单一变化区域二值化图像，每个标志都要逐一的生成该标志的时域单一变化区域二值化图像；
步骤5、以步骤4得到每个标志的时域单一变化区域二值化图像为掩膜图像，对步骤1中视频流中的已经进行过全局运动补偿的相继两帧灰度图像扫描，保留掩膜图像上为1的象素点在相继两帧灰度图像上对应位置的灰度值，设置掩膜图像上为0的象素点在相继两帧灰度图像上对应位置的灰度值为0，扫描完毕之后得到每一个标志所对应的两个只保留相对应的时域变化区域灰度值的时域单一变化区域灰度图像；
步骤6、计算步骤4得到时域单一变化区域二值化图像中值为1的区域的最大外接长方形的四个顶点的坐标值；
步骤7、按照使用步骤6得到的每一个标志的时域单一变化区域二值化图像最大外接长方形的四个顶点的坐标值，从步骤5得到的每一个标志的两个时域单一变化区域灰度图像中，提取出最大外接长方形的内部图像，形成每一个标志所对应的两个局部的时域变化区域灰度图像；
步骤8、对步骤7得到每个标志对应的两个局部的时域变化区域灰度图像，使用相位相关法，计算出产生步骤7中局部的时域变化区域的实际运动物体在两个对应同一标志的局部的时域变化区域灰度图像上的相对运动位移；
步骤9、对步骤7得到的每个标志的两个局部的时域变化区域灰度图像，以步骤8得到的产生该变化区域的运动物体在两个局部的时域变化区域灰度图像上的相对运动位移作为象素匹配条件，使用种子区域增长法，去除背景遮挡区域和背景显露区域，生成时域单一运动对象区域。
具体方法：根据步骤8得到的产生每个标志对应的时域变化区域的运动物体在两个局部的时域变化区域灰度图像上的相对运动位移，设置种子条件为：如果标志的两个局部的时域变化区域灰度图像上的对应象素点按照相对运动位移进行补偿之后的匹配度小于2，并且小于未运动补偿的匹配度，则该象素点为种子象素点。设置种子增长条件为；如果标志的两个局部的时域变化区域灰度图像上的对应象素点按照相对运动位移进行补偿之后的匹配度大于2小于5，并且小于未运动补偿的匹配度，则该象素点为种子增长象素点。逐个扫描步骤7得到相对应标志的两个局部的时域变化区域灰度图像上的象素点，满足种子条件的象素点设置为种子象素点。然后在种子象素点的邻域进行搜索，满足种子增长条件的点设置为种子象素点。搜索完所有局部的时域变化区域灰度图像的象素之后，得到种子生长的时域单一运动对象区域，设置该区域上所有象素设置为1，该区域以外的所有象素点设置为0，则得到二值化时域单一运动对象区域。
步骤10、对步骤9中得到二值化时域单一运动对象区域，使用修补方法，得到完整的时域单一运动对象区域；(以上为时域边界提取处理流程，参看附图2所示)
具体修补方法：对二值化时域单一运动对象区域进行行和列扫描，将不是运动对象的象素点且又位于同行(或者同列)的两个运动对象象素之间的对象象素点设置为运动对象象素点，其它象素点不变，得到完整的时域单一运动对象区域
步骤11、对步骤10中生成的完整的时域单一运动对象区域，使用外轮廓边界提取方法，得到运动对象外边界轮廓点；
步骤12、对步骤11得到的运动对象外边界轮廓点，逐点以空域边界极大值点来替代，得到时域对象空域边界极大值点图像；
具体方法：计算时域边界轮廓点的8邻域进行空域梯度，然后与含有权值W(权值W选择为一个大于1的数字来强化时域结果)的当前时域边界点的空域梯度进行对比，选择具有最大空域梯度的点作为时域对象空域边界极大值点，得到时域对象空域边界极大值点图像；
步骤13、对步骤7得到的标志对应的两个局部的时域变化区域灰度图像使用canny边界提取方法提取边界，得到局部的时域变化区域的空域canny边界图像；
步骤14、在步骤13中局部时域变化区域的空域canny边界图像上，按照步骤12得到的时域对象空域边界极大值点图像，进行连接操作，得到空域时域融合运动对象外边界。(以上为空域边界精化和连接，参看附图2所示)
具体连接操作为：保留含有空域边界极大值点的局部时域变化区域的空域canny边界，去除未含有空域边界极大值点的局部时域变化区域的空域canny边界，形成空域时域融合运动对象外边界，即视频对象外边界。
通过以上步骤，我们就可以得到视频对象的外边界。
需要说明的是：
(1)本发明利用的是视频流中相继两个视频图像中运动对象有一定重叠的情况，同时也使用了相位相关法计算运动对象的光流矢量，所以此发明适用于运动对象速度正常和运动对象为非形变物体的情况。
(2)在本发明中的步骤1中使用的高斯噪声模型是根据对帧差图像具有高斯噪声的理论依据而成，此依据已经是数字图像中常用的噪声标准。所以使用该方法的种子区域增长法可以很好的去除噪声，得到有效的运动变化区域。
(3)步骤4中得到标志之后的变化区域中存在着三种区域：运动物体，被覆盖的背景，显露出的背景。对于这三种区域在步骤五中使用了相继两帧中对应的变化区域来计算出相应的位移，进而三种区域得以区分。其原理为：因为变化区域中大部分为运动物体，其具有同一运动矢量，所以存在公式1的关系，其中(d1，d2)为运动物体的位移矢量，f1(x，y)，f2(x+d1，y+d2)表示两帧图像中的相对应的图像块，
为f1(x，y)，f2(x+d1，y+d2)的傅立叶变化，
为频域因子。这样
的傅立叶变化就存在公式2的关系，它们相位之间存在公式3的关系，因此可以得到一个关于(d1，d2)的脉冲，从而计算出(d1，d2)，其中
和
分别为
的相位，j为复数单位。
其f1(x，y)＝f2(x+d1，y+d2)(公式1)
(4)步骤11中提取出来的时域对象外边界因为位移计算和帧差处理引入的不确定性，会存在不能得到物体边界的精确定位的结果，所以本发明在此通过空域处理得到精确的物体外边界。
本发明的实质：它通过对全局运动补偿之后的相继两帧图像进行高斯噪声模型的种子区域增长法生成帧差图像。然后使用相位相关法对相应变化区域中的实际两帧图像进行运算，得到运动矢量。使用该运动矢量来区分运动模型区域和失效区域，然后在运动区域中根据运动矢量使用种子区域增长法来提取运动对象。对运动对象区域进行修补处理之后，然后检测空域外边界。此刻时域分析完成，然后使用空域信息进行精化。先对时域对象的外边界点用空域梯度极大值点来替代，最后连接空域极大值点所在的canny边界。从而得到运动对象外边界。
本发明的方法具有以下三个特征：一以高斯噪声模型为基础的种子区域增长法来生成很强抗噪的帧差图像，因此适应于各种复杂背景情况；二使用快速的相位相关法得到时域运动对象，可以形成具有单一语义的目标对象区域；三仅使用时域对象边缘的空域边界信息来修正运动对象。所以整体方法具有抗噪方法优秀，空域时域信息融合合理简化，这样使该发明具有运算速度快，鲁棒性强的特性。
本发明的创新之处在于：
1.以高斯噪声模型为基础的种子区域增长法来生成很强抗噪的帧差图像。因为其去噪理论合理，因此适应于各种复杂背景情况，从而提高了该方法的鲁棒性和极大减少了该方法的运算量。
2.使用快速的相位相关法得到时域运动对象，可以形成具有单一语义的目标对象区域，所以在快速实施的同时达到准确性的目的。
3.对得到的时域对象边界实行空域边界极大值替换，最后连接canny边界，从而在充分利用时域信息的基础上，精确定位边界信息。
采用本发明的视频对象外边界提取方法，充分利用图像序列的空、时信息。不仅可以得到精确的外边界定位信息，而且整体方法具有很高的鲁棒性，同时其运算速度可以适用于实时系统，具有很强的实际应用前景。
附图说明
图1本发明流程示意图
图2本发明中时域边界提取处理流程示意图
图3本发明中空域边界精化和连接处理流程示意图
具体实施方式：
下面以给出一个具体的本发明的实现例，本实现例采用的是车辆在复杂背景下的提取，
步骤1对已经进行过全局运动补偿后的视频流中的相继两帧图像，其中当前帧为f(x，y，k)和前一帧为f(x，y，k-1)(公式中x代表图像矩阵中的行坐标，y代表图像矩阵中的列坐标，k代表本帧在整个视频流中的时间相对位置，k-1代表前一帧在整个视频流中的时间相对位置)，去除直接相减绝对差值中的大于阈值40的值，然后对剩下的绝对值进行统计，计算得到该直接差的均值M和方差A；
步骤2以大于M+4×A的象素为种子点，以[M+A，M+4×A]为增长条件，使用种子区域增长法对来|f(x，y，k)-f(x，y，k-1)|的结果进行处理，来得到抗噪的时域变化区域的二值化图像，使用h(x，y，k)表示该图像；
步骤3对h(x，y，k)使用形态学开操作和闭操作进行滤波，得到去噪后的时域变化区域图像，使用以o(x，y，k)表示；
步骤4对o(x，y，k)进行连通标定，得到具有标志的时域变化区域图像，使用l(x，y，k)表示，具体方法为：扫描图像，找到没有标记的1点，给它分配一个新的标记L；递归分配标记L给1点的邻点；不存在没标记的点后则停止；返回最初，再次扫描图像，直到所以1点都存在标记为止。这样就可以得到具有标志的时域变化区域图像；
步骤5对l(x，y，k)中每一个标志的时域变化区域图像，在f(x，y，k)和f(x，y，k-1)中提取出相对应的时域单一变化区域二值化图像，使用ch(x，y，k)和ch(x，y，k-1)表示，此时每一个提取出来的时域单一变化区域二值化图像是对应的为一个单一运动物体在相继两帧图像上的位移所引起的变化。
步骤6以ch(x，y，k)和ch(x，y，k-1)为掩膜图像，保留掩膜图像为1对应在f(x，y，k)和f(x，y，k-1)位置上的灰度值，为0的对应位置在f(x，y，k)和f(x，y，k-1)也设置为0，得到每一个标志所对应的两个只保留相对应的时域变化区域灰度值的时域单一变化区域灰度图像，以gch(x，y，k)和gch(x，y，k-1)来表示；
步骤7对相应于ch(x，y，k)的l(x，y，k)中每一个标志的时域单一变化区域二值化图像，计算其最大外接长方形的四个顶点的坐标值。使用(x0，y0)(x1，y1)(x2，y2)(x3，y3)表示。
步骤8按照(x0，y0)(x1，y1)(x2，y2)(x3，y3)，从ch(x，y，k)和ch(x，y，k-1)中，提取出每一个标志所对应的两个局部的时域变化区域灰度图像；使用och(x，y，k)和och(x，y，k-1)来表示。
步骤9对och(x，y，k)和och(x，y，k-1)作为(公式1)中的f1(x，y)，f2(x+d1，y+d2)，按照(公式2)和(公式3)得到运动矢量(d1，d2)；
步骤10对och(x，y，k)和och(x，y，k-1)，以och(x，y，k)-och(x+d1，y+d2，k-1)＜och(x，y，k)-och(x，y，k-1)和och(x，y，k)-och(x+d1，y+d2，k-1)＜Th1(Th1设置为2)为种子条件，以och(x，y，k)-och(x+d1，y+d2，k-1)＜och(x，y，k)-och(x，y，k-1)和Th1＜och(x，y，k)-och(x+d1，y+d2，k-1)＜Th2(Th2设置为5)为增长条件进行种子区域增长，得到时域的运动对象区域。具体增长方法为：逐个扫描och(x，y，k)和och(x，y，k-1)上的象素点，满足种子条件的象素点设置为种子象素点；然后在种子象素点的邻域进行搜索，满足种子增长条件的点设置为种子象素点；搜索完所有局部的时域变化区域灰度图像的象素之后，得到种子生长的时域单一运动对象区域，设置该区域上所有象素设置为1，该区域以外的所有象素点设置为0，则得到二值化时域单一运动对象区域，使用to(x，y，k)和to(x，y，k-1)来表示；
步骤11对to(x，y，k)和to(x，y，k-1)进行行和列修补，得到完整的时域单一运动对象区域，使用fto(x，y，k)和fto(x，y，k-1)来表示；
步骤12在fto(x，y，k)和fto(x，y，k-1)上提取运动对象外边界轮廓点；具体方法是：(a)从左到右，从上到下扫描fto(x，y，k)和fto(x，y，k-1)，求区域的起始点s(k)＝(x(k)，y(k))，k＝0；(其中k为得到的轮廓点的序列值，x(k)，y(k)为k点的坐标值，s(k)代表轮廓k点)(2)用c表示当前边界上被跟踪的象素点，置c＝s(k)，记c左4邻点为b(b在连通区域内)；(3)按逆时针方向记从b开始的c的8个8邻点分别为n1，n2…，n8；(4)从b开始按逆时针找到第一个ni属于连通区域的点；(5)置c＝s(k)＝ni，b＝ni-1；(6)重复步骤(3)(4)(5)，直到s(k)＝s(0)；
步骤13对上边得到的fto(x，y，k)和fto(x，y，k-1)的运动对象外边界轮廓点，逐点以空域边界极大值点来替代，得到时域对象空域边界极大值点图像，使用mp(x，y，k)和mp(x，y，k-1)来表示；
步骤14对och(x，y，k)和och(x，y，k-1)，以canny边界提取方法提取边界，得到局部的时域变化区域的空域canny边界图像，使用cy(x，y，k)和cy(x，y，k-1)来表示；
步骤15在cy(x，y，k)和cy(x，y，k-1)图上，按照mp(x，y，k)和mp(x，y，k-1)来连接cy(x，y，k)和cy(x，y，k-1)上的边界，得到最终的空域时域融合运动对象外边界，即视频对象外边界，使用tsb(x，y，k)和tsb(x，y，k-1)来表示。
按照以上步骤，采用MATLAB语言编程，通过计算机仿真可以得到最后的结果。与现有的三帧差方法和其它的常规视频对象提取方法对比可知：采用本发明方法可完整提取视频对象，且运算速度快，鲁棒性强，处理信息少，具有高效、应用面广、适应性强的效果。
Claims (1)
1、一种视频对象外边界提取方法，其特征是它包含下列步骤：
步骤1、对视频流中已经进行过全局运动补偿的相继两帧灰度图像，使用以高斯噪声模型为条件的种子区域增长法来进行帧差处理，得到抗噪的二值化时域帧差图像，其中值为1的区域为时域变化区域；
具体方法为：首先计算已经进行过全局运动补偿的相继两帧灰度图像上的绝对差，然后把大于40的绝对差点设置为0，统计剩余绝对差的均值和方差，使用M表示剩余绝对差的均值，A表示方差；然后根据上边得到的绝对差图像的均值M和方差A设置一个M+4*A的阈值为种子条件，设置[M+A，M+4*A]区间范围为种子增长条件；在已经进行过全局运动补偿的相继两帧灰度图像的绝对差图像上逐点搜索，把绝对差值大于种子阈值的所有象素点设置为种子象素点；然后在种子象素点的邻域进行搜索，满足种子增长条件的象素点设置为种子象素点；搜索完所有绝对差图像之后，得到种子生长的区域，将该区域上所有象素点设置为1，该区域以外的所有象素点设置为0，则得到二值化时域帧差图像；
步骤2、对步骤1中利用种子区域增长法生成的二值化时域帧差图像，进行形态学滤波处理，得到去噪后的时域变化区域图像；
步骤3、对步骤2得到去噪后的时域变化区域图像，使用区域连通标定方法，得到具有标志的时域变化区域图像；
步骤4、逐个取出步骤3得到的具有标志的变化区域图像上的每一个标志，然后逐象素点扫描具有标志的时域变化区域图像，如果该象素点的标志与取出的标志一样的话，则该象素点设置为1，如果不一样则为0，没有标志的象素点设置为0；扫描之后形成标志的时域单一变化区域二值化图像，每个标志都要逐一的生成该标志的时域单一变化区域二值化图像；
步骤5、以步骤4得到每个标志的时域单一变化区域二值化图像为掩膜图像，对步骤1中视频流中的已经进行过全局运动补偿的相继两帧灰度图像扫描，保留掩膜图像上为1的象素点在相继两帧灰度图像上对应位置的灰度值，设置掩膜图像上为0的象素点在相继两帧灰度图像上对应位置的灰度值为0，扫描完毕之后得到每一个标志所对应的两个只保留相对应的时域变化区域灰度值的时域单一变化区域灰度图像；
步骤6、计算步骤4得到时域单一变化区域二值化图像中值为1的区域的最大外接长方形的四个顶点的坐标值；
步骤7、按照使用步骤6得到的每一个标志的时域单一变化区域二值化图像最大外接长方形的四个顶点的坐标值，从步骤5得到的每一个标志的两个时域单一变化区域灰度图像中，提取出最大外接长方形的内部图像，形成每一个标志所对应的两个局部的时域变化区域灰度图像；
步骤8、对步骤7得到每个标志对应的两个局部的时域变化区域灰度图像，使用相位相关法，计算出产生步骤7中局部的时域变化区域的实际运动物体在两个对应同一标志的局部的时域变化区域灰度图像上的相对运动位移；
步骤9、对步骤7得到的每个标志的两个局部的时域变化区域灰度图像，以步骤8得到的产生该变化区域的运动物体在两个局部的时域变化区域灰度图像上的相对运动位移作为象素匹配条件，使用种子区域增长法，去除背景遮挡区域和背景显露区域，生成时域单一运动对象区域；
具体方法：根据步骤8得到的产生每个标志对应的时域变化区域的运动物体在两个局部的时域变化区域灰度图像上的相对运动位移，设置种子条件为：如果标志的两个局部的时域变化区域灰度图像上的对应象素点按照相对运动位移进行补偿之后的匹配度小于2，并且小于未运动补偿的匹配度，则该象素点为种子象素点；设置种子增长条件为；如果标志的两个局部的时域变化区域灰度图像上的对应象素点按照相对运动位移进行补偿之后的匹配度大于2小于5，并且小于未运动补偿的匹配度，则该象素点为种子增长象素点；逐个扫描步骤7得到相对应标志的两个局部的时域变化区域灰度图像上的象素点，满足种子条件的象素点设置为种子象素点；然后在种子象素点的邻域进行搜索，满足种子增长条件的点设置为种子象素点；搜索完所有局部的时域变化区域灰度图像的象素之后，得到种子生长的时域单一运动对象区域，设置该区域上所有象素设置为1，该区域以外的所有象素点设置为0，则得到二值化时域单一运动对象区域；
步骤10、对步骤9中得到二值化时域单一运动对象区域，使用修补方法，得到完整的时域单一运动对象区域；
具体修补方法：对二值化时域单一运动对象区域进行行和列扫描，将不是运动对象的象素点且又位于同行或者同列的两个运动对象象素之间的对象象素点设置为运动对象象素点，其它象素点不变，得到完整的时域单一运动对象区域；
步骤11、对步骤10中生成的完整的时域单一运动对象区域，使用外轮廓边界提取方法，得到运动对象外边界轮廓点；
步骤12、对步骤11得到的运动对象外边界轮廓点，逐点以空域边界极大值点来替代，得到时域对象空域边界极大值点图像；
具体方法：计算时域边界轮廓点的8邻域进行空域梯度，然后与含有权值W的当前时域边界点的空域梯度进行对比，所述的权值W选择为一个大于1的数字来强化时域结果，选择具有最大空域梯度的点作为时域对象空域边界极大值点，得到时域对象空域边界极大值点图像；
步骤13、对步骤7得到的标志对应的两个局部的时域变化区域灰度图像使用canny边界提取方法提取边界，得到局部的时域变化区域的空域canny边界图像；
步骤14、在步骤13中局部时域变化区域的空域canny边界图像上，按照步骤12得到的时域对象空域边界极大值点图像，进行连接操作，得到空域时域融合运动对象外边界；
具体连接操作为：保留含有空域边界极大值点的局部时域变化区域的空域canny边界，去除未含有空域边界极大值点的局部时域变化区域的空域canny边界，形成空域时域融合运动对象外边界。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100215413A CN100446544C (zh) | 2005-08-26 | 2005-08-26 | 一种视频对象外边界提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100215413A CN100446544C (zh) | 2005-08-26 | 2005-08-26 | 一种视频对象外边界提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1921560A true CN1921560A (zh) | 2007-02-28 |
| CN100446544C CN100446544C (zh) | 2008-12-24 |
Family
ID=37779104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100215413A Expired - Fee Related CN100446544C (zh) | 2005-08-26 | 2005-08-26 | 一种视频对象外边界提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100446544C (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100495274C (zh) * | 2007-07-19 | 2009-06-03 | 上海港机重工有限公司 | 大型工程车辆自动驾驶控制方法及系统 |
| CN101184235B (zh) * | 2007-06-21 | 2010-07-28 | 腾讯科技（深圳）有限公司 | 一种从运动图像中提取背景图像的实现方法及装置 |
| CN101930593A (zh) * | 2009-06-26 | 2010-12-29 | 鸿富锦精密工业（深圳）有限公司 | 单一物体影像萃取系统及方法 |
| CN102263955A (zh) * | 2011-07-21 | 2011-11-30 | 福建星网视易信息系统有限公司 | 基于运动矢量检测视频遮挡的方法 |
| CN101625849B (zh) * | 2008-07-07 | 2012-04-25 | 索尼株式会社 | 图像处理装置及方法 |
| CN102436650A (zh) * | 2010-09-29 | 2012-05-02 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
| CN102855642A (zh) * | 2011-06-28 | 2013-01-02 | 富泰华工业（深圳）有限公司 | 图像处理装置及其物体轮廓的提取方法 |
| CN102111530B (zh) * | 2009-12-24 | 2013-01-02 | 财团法人工业技术研究院 | 移动物体检测装置与方法 |
| CN103347661A (zh) * | 2010-10-21 | 2013-10-09 | 泽恩机器人技术有限公司 | 用于在机器人系统中的目标物体图像过滤的方法 |
| CN104121852A (zh) * | 2013-04-26 | 2014-10-29 | 株式会社三丰 | 利用鲁棒边缘判别余量的边缘测量视频工具 |
| CN104697998A (zh) * | 2009-11-03 | 2015-06-10 | 德比尔斯百年公司 | 抛光的宝石中的夹杂物检测 |
| CN105103210A (zh) * | 2013-04-03 | 2015-11-25 | 罗伯特·博世有限公司 | 用于引导在对象的周围环境中的车辆的方法和设备 |
| CN105731260A (zh) * | 2016-01-20 | 2016-07-06 | 上海振华重工电气有限公司 | 一种轮胎式集装箱门式起重机自动驾驶系统及方法 |
| CN106091984A (zh) * | 2016-06-06 | 2016-11-09 | 中国人民解放军信息工程大学 | 一种基于线激光的三维点云数据获取方法 |
| CN107067012A (zh) * | 2017-04-25 | 2017-08-18 | 中国科学院深海科学与工程研究所 | 基于图像处理的海底地貌单元边缘智能识别方法 |
| CN107431804A (zh) * | 2015-02-13 | 2017-12-01 | 奈飞公司 | 识别在编码过程中引入的错误的技术 |
| CN110647821A (zh) * | 2019-08-28 | 2020-01-03 | 盛视科技股份有限公司 | 通过图像识别进行物体标识的方法和装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07225847A (ja) * | 1994-02-10 | 1995-08-22 | Fujitsu General Ltd | 画像抽出方法 |
| KR100474760B1 (ko) * | 2001-10-08 | 2005-03-08 | 엘지전자 주식회사 | 영상내의 오브젝트 영역 추출방법 |
| CN100423021C (zh) * | 2002-10-17 | 2008-10-01 | 精工爱普生株式会社 | 用于低景深图像分割的方法和装置 |
| JP4136819B2 (ja) * | 2003-07-18 | 2008-08-20 | 株式会社リコー | 画像処理装置及びプログラム |
-
2005
- 2005-08-26 CN CNB2005100215413A patent/CN100446544C/zh not_active Expired - Fee Related
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101184235B (zh) * | 2007-06-21 | 2010-07-28 | 腾讯科技（深圳）有限公司 | 一种从运动图像中提取背景图像的实现方法及装置 |
| CN100495274C (zh) * | 2007-07-19 | 2009-06-03 | 上海港机重工有限公司 | 大型工程车辆自动驾驶控制方法及系统 |
| CN101625849B (zh) * | 2008-07-07 | 2012-04-25 | 索尼株式会社 | 图像处理装置及方法 |
| CN101930593B (zh) * | 2009-06-26 | 2012-11-21 | 鸿富锦精密工业（深圳）有限公司 | 单一物体影像萃取系统及方法 |
| CN101930593A (zh) * | 2009-06-26 | 2010-12-29 | 鸿富锦精密工业（深圳）有限公司 | 单一物体影像萃取系统及方法 |
| CN104697998A (zh) * | 2009-11-03 | 2015-06-10 | 德比尔斯百年公司 | 抛光的宝石中的夹杂物检测 |
| CN104697998B (zh) * | 2009-11-03 | 2017-07-25 | 戴比尔斯英国有限公司 | 抛光的宝石中的夹杂物检测 |
| CN102111530B (zh) * | 2009-12-24 | 2013-01-02 | 财团法人工业技术研究院 | 移动物体检测装置与方法 |
| CN102436650A (zh) * | 2010-09-29 | 2012-05-02 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
| CN102436650B (zh) * | 2010-09-29 | 2017-09-15 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
| CN103347661B (zh) * | 2010-10-21 | 2016-01-13 | 泽恩机器人技术有限公司 | 用于在机器人系统中的目标物体图像过滤的方法 |
| CN103347661A (zh) * | 2010-10-21 | 2013-10-09 | 泽恩机器人技术有限公司 | 用于在机器人系统中的目标物体图像过滤的方法 |
| CN102855642A (zh) * | 2011-06-28 | 2013-01-02 | 富泰华工业（深圳）有限公司 | 图像处理装置及其物体轮廓的提取方法 |
| CN102263955A (zh) * | 2011-07-21 | 2011-11-30 | 福建星网视易信息系统有限公司 | 基于运动矢量检测视频遮挡的方法 |
| CN102263955B (zh) * | 2011-07-21 | 2013-04-03 | 福建星网视易信息系统有限公司 | 基于运动矢量检测视频遮挡的方法 |
| CN105103210A (zh) * | 2013-04-03 | 2015-11-25 | 罗伯特·博世有限公司 | 用于引导在对象的周围环境中的车辆的方法和设备 |
| US9734719B2 (en) | 2013-04-03 | 2017-08-15 | Robert Bosch Gmbh | Method and apparatus for guiding a vehicle in the surroundings of an object |
| CN104121852B (zh) * | 2013-04-26 | 2018-07-24 | 株式会社三丰 | 利用鲁棒边缘判别余量的边缘测量视频工具 |
| CN104121852A (zh) * | 2013-04-26 | 2014-10-29 | 株式会社三丰 | 利用鲁棒边缘判别余量的边缘测量视频工具 |
| CN107431804A (zh) * | 2015-02-13 | 2017-12-01 | 奈飞公司 | 识别在编码过程中引入的错误的技术 |
| CN105731260A (zh) * | 2016-01-20 | 2016-07-06 | 上海振华重工电气有限公司 | 一种轮胎式集装箱门式起重机自动驾驶系统及方法 |
| CN106091984A (zh) * | 2016-06-06 | 2016-11-09 | 中国人民解放军信息工程大学 | 一种基于线激光的三维点云数据获取方法 |
| CN106091984B (zh) * | 2016-06-06 | 2019-01-25 | 中国人民解放军信息工程大学 | 一种基于线激光的三维点云数据获取方法 |
| CN107067012A (zh) * | 2017-04-25 | 2017-08-18 | 中国科学院深海科学与工程研究所 | 基于图像处理的海底地貌单元边缘智能识别方法 |
| CN107067012B (zh) * | 2017-04-25 | 2018-03-16 | 中国科学院深海科学与工程研究所 | 基于图像处理的海底地貌单元边缘智能识别方法 |
| CN110647821A (zh) * | 2019-08-28 | 2020-01-03 | 盛视科技股份有限公司 | 通过图像识别进行物体标识的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100446544C (zh) | 2008-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1921560A (zh) | 一种视频对象外边界提取方法 | |
| CN109344702B (zh) | 基于深度图像和彩色图像的行人检测方法及装置 | |
| CN112991347B (zh) | 一种基于三维的列车螺栓松动检测方法 | |
| CN110728200A (zh) | 一种基于深度学习的实时行人检测方法及系统 | |
| CN111967313B (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
| CN108827316A (zh) | 基于改进的Apriltag标签的移动机器人视觉定位方法 | |
| CN110070557A (zh) | 一种基于边缘特征检测的目标识别与定位方法 | |
| CN109685827B (zh) | 一种基于dsp的目标检测与跟踪方法 | |
| CN109389617A (zh) | 一种基于片上异构系统的运动目标识别与追踪方法及系统 | |
| Liu et al. | A multiscale deep feature for the instance segmentation of water leakages in tunnel using MLS point cloud intensity images | |
| CN107038423A (zh) | 一种车辆实时检测与跟踪方法 | |
| CN110516639B (zh) | 一种基于视频流自然场景的人物三维位置实时计算方法 | |
| CN105160644A (zh) | 一种ccd图像测量系统中十字像中心定位方法 | |
| CN114120141A (zh) | 一种可全天候遥感监测自动分析方法及其系统 | |
| CN1766928A (zh) | 一种基于动态背景运动视频的运动对象重心轨迹提取方法 | |
| CN102136060A (zh) | 一种群体密度检测方法 | |
| Wu et al. | Study of multiple moving targets’ detection in fisheye video based on the moving blob model | |
| WO2019041447A1 (zh) | 一种3d视频帧特征点提取的方法及系统 | |
| CN106508051B (zh) | 一种地空图像跟踪的fpga实现方法 | |
| CN102129687B (zh) | 动态场景下基于局部背景剪除的自适应目标跟踪方法 | |
| CN100337472C (zh) | 一种具有运动前景的视频合成方法 | |
| CN105741317A (zh) | 基于时空域显著性分析和稀疏表示的红外运动目标检测方法 | |
| CN108665446A (zh) | 一种运用雷达的机场跑道异物检测系统及方法 | |
| Liu et al. | Background priors based saliency object detection | |
| Zhao et al. | A license plate recognition algorithm under low illumination environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20081224 Termination date: 20110826 |