CN110728173A - 基于感兴趣目标显著性检测的视频传输方法和装置 - Google Patents

基于感兴趣目标显著性检测的视频传输方法和装置 Download PDF

Info

Publication number
CN110728173A
CN110728173A CN201910791739.1A CN201910791739A CN110728173A CN 110728173 A CN110728173 A CN 110728173A CN 201910791739 A CN201910791739 A CN 201910791739A CN 110728173 A CN110728173 A CN 110728173A
Authority
CN
China
Prior art keywords
interest
region
image
video
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910791739.1A
Other languages
English (en)
Inventor
王景鑫
何新宇
范晓松
徐辉
刘浩
钟武军
毛炜
泽正
刘东超
王甘霖
王建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING HUATONG XINLIAN TECHNOLOGY Co Ltd
North China Petroleum Communications Co Ltd
Original Assignee
BEIJING HUATONG XINLIAN TECHNOLOGY Co Ltd
North China Petroleum Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING HUATONG XINLIAN TECHNOLOGY Co Ltd, North China Petroleum Communications Co Ltd filed Critical BEIJING HUATONG XINLIAN TECHNOLOGY Co Ltd
Priority to CN201910791739.1A priority Critical patent/CN110728173A/zh
Publication of CN110728173A publication Critical patent/CN110728173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于感兴趣目标显著性检测的视频传输方法和装置，所述方法包括：对视频图像基于分层显著性检测算法进行显著性检测；基于检测出的显著性目标确定感兴趣区域；基于确定的感兴趣区域进行图像数据的传输。应用本发明可以减少视频传输数据量，减少视频数据的传输延时，从而避免网络拥塞。

Description

基于感兴趣目标显著性检测的视频传输方法和装置
技术领域
本发明涉及视频传输领域，特别是指一种基于感兴趣目标显著性检测的视频传输方法和装置。
背景技术
随着互联网的日益发展，视频业务逐渐成为互联网应用中占据主导地位的业务形态，视频数据组成了互联网数据的绝大部分。网络视频监控系统作为视频业务之一，由视频监控前端、视频监控平台和客户端组成。视频监控前端收集视频发送给监控平台，再由监控平台发送视频流给客户端。目前，视频监控领域的智能分析主要集中在客户端，即将视频流传输到客户端后由客户端对数据进行智能分析，在视频流的传输上，主要通过对视频数据压缩、转码以减少其传输数据量，减少视频数据的传输延时，从而避免网络拥塞。然而，随着网络数据的不断增长和视频质量的日益提高，尤其是高清设备的应用对视频数据的实时传输和应用端的数据处理造成了巨大的压力。
发明内容
本发明提出了一种基于感兴趣目标显著性检测的视频传输方法和装置，可以减少视频传输数据量，减少视频数据的传输延时，从而避免网络拥塞。
基于上述目的，本发明提供一种基于感兴趣目标显著性检测的视频传输方法，包括：
对视频图像基于分层显著性检测算法进行显著性检测；
基于检测出的显著性目标确定感兴趣区域；
基于确定的感兴趣区域进行图像数据的传输。
较佳地，在所述对视频图像基于分层显著性检测算法进行显著性检测之前，还包括：
对左、右摄像机拍摄的视频图像进行立体匹配，获取视差图像；以及
所述对视频图像基于分层显著性检测算法进行显著性检测，具体为：
对左摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测；或者
对右摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测。
较佳地，在所述基于确定的感兴趣区域进行图像数据的传输之前，还包括：
针对所述感兴趣区域的每个像素，如果该像素在所述视差图像中的视差值在设定视差范围内，就对该像素在灰度值上进行平滑滤波，弱化其细节；否则，就对该像素在灰度值上进行锐化滤波，强化其细节。
其中，所述基于检测出的显著性目标确定感兴趣区域，具体包括：
提取所述显著性目标的闭合轮廓；
将所述闭合轮廓的外接包围矩形框内的区域确定为所述感兴趣区域。
其中，所述基于确定的感兴趣区域进行图像数据的传输，具体包括：
对所述视频图像进行编码时，压缩所述感兴趣区域之外的其它区域的码率；
根据所述视频图像的编码结果进行图像数据的传输。
本发明还提供一种基于感兴趣目标显著性检测的视频传输装置，包括：
显著性检测模块，用于对视频图像基于分层显著性检测算法进行显著性检测；
感兴趣区域确定模块，用于基于检测出的显著性目标确定感兴趣区域；
数据传输模块，用于基于确定的感兴趣区域进行图像数据的传输。
较佳地，所述装置还包括：
视差图像获取模块，用于对左、右摄像机拍摄的视频图像进行立体匹配，获取视差图像；以及
所述显著性检测模块具体用于对左摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测；或者，用于对右摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测。
较佳地，所述装置还包括：
显著性增强模块，用于针对所述感兴趣区域的每个像素，如果该像素在所述视差图像中的视差值在设定视差范围内，就对该像素在灰度值上进行平滑滤波，弱化其细节；否则，就对该像素在灰度值上进行锐化滤波，强化其细节。
本发明的技术方案中，对待传输的视频图像基于分层显著性检测算法进行显著性检测，并基于检测出的显著性目标确定感兴趣区域；之后，基于确定的感兴趣区域进行图像数据的传输。由于在进行视频数据传输之前先进行显著性检测，基于显著性目标确定感兴趣区域后，基于感兴趣区域的图像数据传输，大大减少了很多冗余的画面数据以及含信息量很少的背景画面数据的传输，从而减少了视频传输数据量，减少视频数据的传输延时，避免了网络拥塞。
更优地，本发明技术方案中，采用分层显著性检测算法进行显著性目标检测，能够均匀突出显著区域，计算速度较快，并且显著区域的亮度与背景的亮度差异较大，有利于二值化过程，最终得到的显著性目标的图效果较好，但对边缘的处理不够细致，导致显著性目标的图显著区域边缘有少量噪点，因此，本发明技术方案中，进而采用形态学运算处理二值化的显著性目标的图，以消除噪声和不连续区域的影响，从而得到显著性目标的更为清晰的边缘轮廓。
更优地，本发明技术方案中，根据视差图像对感兴趣区域中的像素不论是进行平滑滤波还是锐化滤波，一方面，都可以在一定程度上消除图像中的噪声；另一方面，平滑滤波能够弱化或消除图像中的细节、突变，平滑边缘等，从而达到图像模糊的效果；而锐化滤波可以增强图像中的细节，突出轮廓等，达到图像细节增强的效果，通过对不同视差范围内的像素灰度值实行不同的图像滤波操作，达到图像显著性目标增强的效果。
附图说明
图1为本发明实施例提供的一种基于感兴趣目标显著性检测的视频传输方法流程图；
图2a、2b为本发明实施例提供的左、右摄像机拍摄的视频图像的示意图；
图2c为本发明实施例提供的左、右摄像机的视频图像的视差图像的示意图；
图3为本发明实施例提供的对左、右摄像机拍摄的视频图像进行立体匹配的方法流程图；
图4a为本发明实施例提供的待进行分层显著性检测的视频图像的示意图；
图4b为本发明实施例提供的进行分层显著性检测得到的三个尺度的图层；
图4c为本发明实施例提供的获取的每个图层的显著图示意图；
图4d为本发明实施例提供的各图层区域块之间的树形关系示意图；
图4e为本发明实施例提供的重新分层推理各层显著图得到最终显著图的示意图；
图5a为本发明实施例提供的根据显著性检测得到的显著性目标的图像；
图5b为本发明实施例提供的对显著性目标的图像进行二值化后得到的图像；
图5c为本发明实施例提供的经过先腐蚀后膨胀开运算后得到的图像；
图6为本发明实施例提供的平滑滤波或锐化滤波的方法流程图；
图7为本发明实施例提供的基于感兴趣目标显著性检测的视频传输装置内部结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明的发明人考虑到，目前网络视频监控的相关研究方案绝大多数是基于监控前端编码压缩，将完整的视频数据流通过网络发送给客户端进行智能分析。这些研究方案均倾向于传送完整的视频数据流，在客户端对完整的视频数据进行智能分析。但在视频监控领域，传输的视频数据量巨大，而且传输的数据量间存在大量冗余的画面数据以及含信息量很少的背景画面数据，因此传输完整的视频数据流给客户端处理的研究方法不仅造成了网络传输效率问题，同时也造成了客户端的严重负载问题。
因此，本发明的技术方案中，对待传输的视频图像基于分层显著性检测算法进行显著性检测，并基于检测出的显著性目标确定感兴趣区域；之后，基于确定的感兴趣区域进行图像数据的传输。由于在进行视频数据传输之前先进行显著性检测，基于显著性目标确定感兴趣区域后，基于感兴趣区域的图像数据传输，大大减少了很多冗余的画面数据以及含信息量很少的背景画面数据的传输，从而减少了视频传输数据量，减少视频数据的传输延时，避免了网络拥塞。
下面结合附图详细说明本发明实施例的技术方案。
本发明实施例提供的一种基于感兴趣目标显著性检测的视频传输方法，具体流程如图1所示，包括如下步骤：
步骤S101：对左、右摄像机拍摄的视频图像进行立体匹配，获取视差图像。
本步骤中，通过平行光轴的双目摄像机立体系统获取视频流，对左、右摄像机拍摄的视频图像进行立体匹配，从而获取视差图像。例如，图2a、2b分别为左、右摄像机拍摄的视频图像，则图2c为获取的视差图像。
具体地，由双目立体视觉系统获取同一场景的左右两幅图像后，计算左右两幅图像对应匹配点之间位置差别的过程就是立体匹配的过程。立体匹配的目标是从左右两幅图像中找到对应的匹配点，进一步获取对应匹配点之间的视差值。立体匹配算法的步骤可以如图3所示，包括如下子步骤：
子步骤S301:首先进行匹配代价的计算，即在一定的视差范围内，进行不同视差下的灰度相似性测量。
其中，匹配代价计算是立体匹配算法的基础，常见的方法有计算两幅图像对应匹配点灰度差的平方或计算其灰度差的绝对值等。
子步骤S302：然后进行匹配代价的叠加：采用半全局立体匹配算法进行视差图像的求取。
其中，半全局立体匹配算法介于局部匹配算法和全局匹配算法之间,针对部分像素能进行能量评价函数的构建优化。
事实上，半全局立体匹配算法介于局部匹配算法和全局匹配算法之间，没有只计算像素局部区域的匹配代价叠加，也没有对所有的像素进行能量评价函数优化，而是针对部分像素进行能量评价函数的构建优化。因此，本发明采用了半全局立体匹配算法进行视差图像的选取，半全局立体匹配算法比局部匹配算法更复杂，性能更好，与全局匹配算法相比，时间复杂度更小，实时性更高。
步骤S102：对视频图像基于分层显著性检测算法进行显著性检测。
本步骤中，可以对左摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测，确定视频图像中的显著性目标；或者对右摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测，确定视频图像中的显著性目标。
具体地，可以利用分水岭算法对视频图像进行分割，将图像分割为大小不一也不重叠的区域。通过区域尺度计算和区域合并提取底、中、高多层图像。从区域对比度和空间位置因素两方面考虑，计算每层图像的显著性，获得每层像的显著图。运用分层推理优化，对分层图像采用树形结构，得到最优显著图，即显著性目标。实验结果表明，基于分层显著性检测算法更适用于检测背景更加复杂的图像。
例如，对如图4a所示的输入的视频图像利用分水岭算法对视频图像进行分割，对不同尺度的图层设置不同的区域划分尺度，低于尺度的区域依据CIELUV(亮度、色度色彩空间)的颜色距离与最近区域合并并更新新区域大小和颜色，从而得到三个尺度的图层，如图4b所示；其中，任一区域R的尺度的定义为：
Figure BDA0002179733230000071
其中Rt×t是t×t的正方形区域。
进而，依据局部颜色对比C和位置启发H对每一个图层求显著图，如图4c所示。假设区域Ri的局部颜色对比显著性为Ci，
Figure BDA0002179733230000073
其中n为图像的区域总数，ci和cj分别为区域Ri和区域Rj的颜色，w(Rj)为Rj的像素数，
Figure BDA0002179733230000074
项控制区域Ri和区域Rj空间距离的影响，即距离越近的区域之间的颜色对比越强烈，即
Figure BDA0002179733230000075
其中D(Ri，Rj)为区域Ri中心和区域Rj中心的欧氏距离，σ2为邻域的大小。
最后，依据如图4d所示的各图层区域块之间的树形关系，重新分层推理各层显著图得到最终的显著图，如图4e所示。假设第l层区域i的某个节点的显著性变量为
Figure BDA0002179733230000076
集合S包含了各层各区域的所有节点，定义能量函数E(S)为：
Figure BDA0002179733230000077
其中，项聚集了节点各自的显著性，
Figure BDA0002179733230000079
项加强了不同层相对应的区域之间的一致性。通过求E(S)的最小值即可获得最终的显著图。
本发明技术方案采用分层显著性检测算法能够均匀突出显著区域，计算速度较快，并且显著区域的亮度与背景的亮度差异较大，有利于二值化过程，最终得到的显著性目标的图效果较好，但对边缘的处理不够细致，导致显著性目标的图显著区域边缘有少量噪点，因此可通过如下步骤S103对检测出的显著性目标进行去噪。
步骤S103：对检测出的显著性目标进行去噪。
具体地，可以采用形态学运算处理二值化的显著性目标的图，以消除噪声和不连续区域的影响；其中的腐蚀操作能够消除物体的边缘轮廓点，使得剩下的物体比初始物体沿其边界小一个像素的面积；膨胀操作把物体和物体边缘的背景点合并，使得合并后的物体比初始物体沿其边界大一个像素的面积。
例如，图5a为根据显著性检测得到的显著性目标的图，图5b是对显著性目标的图进行二值化后得到的图像，图5c则是经过形态学处理过程的先腐蚀后膨胀开运算后的图像；可以看出经过去噪后，可以得到显著性目标的更为清晰的边缘轮廓。
步骤S104：基于检测出的显著性目标确定感兴趣区域。
具体地，首先提取所述显著性目标的闭合轮廓；每一个闭合轮廓是一个包含了物体所有边界像素点坐标的向量，每幅图像包含一组轮廓向量。进而，对这组轮廓向量求其外接包围矩形框，即能够包含轮廓的最小矩形框，并将其设置为感兴趣区域；也就是说，将所述闭合轮廓的外接包围矩形框内的区域确定为所述感兴趣区域。
步骤S105：基于所述视差图像对感兴趣区域中的显著性目标进行显著性增强处理。
本步骤中，针对所述感兴趣区域的每个像素，如果该像素在所述视差图像中的视差值在设定视差范围内，就对该像素在灰度值上进行平滑滤波，弱化其细节；否则，就对该像素在灰度值上进行锐化滤波，强化其细节；其中，进行平滑滤波或锐化滤波的具体流程，如图6所示，可以包括如下子步骤：
子步骤S601：首先滑动相关核，使其中心位于输入图像的待处理像素点(i,j)处；
其中，如果此处是进行锐化滤波，则采用简单的3×3相关核矩阵h，对待处理像素锐化滤波的过程实际上是计算其和周围点的差别，然后将这个差别加到待处理像素位置上的过程，因此相关核矩阵中间位置元素的权重比所有元素权重和大1，锐化滤波后图像边缘增强，细节强化。
如果此处是进行平滑滤波，则采用7x7的相关核矩阵，矩阵区域内各像素灰度值的平均值去代替待处理像素本身的灰度值，所以平滑滤波的相关核矩阵h的各元素值为1/((n×n))。
子步骤S602：计算该像素点的邻域像素与相关核矩阵中对应像素的乘积。
子步骤S603：最后将所有乘积得到的值加起来作为输出的图像像素点(i,j)处的灰度值。
事实上，一方面，不论是进行平滑滤波还是锐化滤波，都可以在一定程度上消除图像中的噪声；另一方面，平滑滤波能够弱化或消除图像中的细节、突变，平滑边缘等，从而达到图像模糊的效果；而锐化滤波可以增强图像中的细节，突出轮廓等，达到图像细节增强的效果，通过对不同视差范围内的像素灰度值实行不同的图像滤波操作，达到图像显著性目标增强的效果。
步骤S106：基于确定的感兴趣区域进行图像数据的传输。
本步骤中，可以仅将视频图像中感兴趣区域的数据进行传输，而忽略掉其它区域(非感兴趣区域)；
或者，在传输视频图像前，对感兴趣区域和其它区域(非感兴趣区域)进行编码时，压缩所述感兴趣区域之外的其它区域(非感兴趣区域)的码率，之后，再根据所述视频图像的编码结果进行图像数据的传输。
又或者，在传输视频图像前，对感兴趣区域和其它区域(非感兴趣区域)分别进行压缩编码，其中，在对感兴趣区域进行压缩编码时，压缩率较低，保留更多细节；在对其它区域(非感兴趣区域)进行压缩编码时，压缩率较高，以减少数据量。
这样，大大减少了很多冗余的画面数据以及含信息量很少的背景画面数据的传输，从而减少了视频传输数据量，减少视频数据的传输延时，避免了网络拥塞。
基于上述的基于感兴趣目标显著性检测的视频传输方法，本发明实施例提供的一种基于感兴趣目标显著性检测的视频传输装置，内部结构如图7所示，包括：显著性检测模块701、感兴趣区域确定模块702、数据传输模块703。
其中，显著性检测模块701用于对视频图像基于分层显著性检测算法进行显著性检测。
感兴趣区域确定模块702用于基于显著性检测模块701检测出的显著性目标确定感兴趣区域；具体地，感兴趣区域确定模块702用于提取所述显著性目标的闭合轮廓；将所述闭合轮廓的外接包围矩形框内的区域确定为所述感兴趣区域。
数据传输模块703用于基于确定的感兴趣区域进行图像数据的传输；具体地，数据传输模块703可以对仅将视频图像中感兴趣区域的数据进行传输，而忽略掉其它区域(非感兴趣区域)；或者，数据传输模块703在传输视频图像前，对感兴趣区域和其它区域(非感兴趣区域)进行编码时，压缩所述感兴趣区域之外的其它区域(非感兴趣区域)的码率，之后，再根据所述视频图像的编码结果进行图像数据的传输；又或者，数据传输模块703在传输视频图像前，对感兴趣区域和其它区域(非感兴趣区域)分别进行压缩编码，其中，在对感兴趣区域进行压缩编码时，压缩率较低，保留更多细节；在对其它区域(非感兴趣区域)进行压缩编码时，压缩率较高，以便在发送视频图像时减少发送的数据量。
进一步，本发明实施例提供的一种基于感兴趣目标显著性检测的视频传输装置还可包括：视差图像获取模块704。
其中，视差图像获取模块704用于对左、右摄像机拍摄的视频图像进行立体匹配，获取视差图像；
相应地，上述所述显著性检测模块701具体用于对左摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测；或者，用于对右摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测。
进一步，本发明实施例提供的一种基于感兴趣目标显著性检测的视频传输装置还可包括：显著性增强模块705。
显著性增强模块705用于针对所述感兴趣区域的每个像素，如果该像素在所述视差图像中的视差值在设定视差范围内，就对该像素在灰度值上进行平滑滤波，弱化其细节；否则，就对该像素在灰度值上进行锐化滤波，强化其细节。
上述基于感兴趣目标显著性检测的视频传输装置中的各模块的功能的具体实现方法可参考上述图1所示的流程步骤中的方法，此处不再赘述。
本发明的技术方案中，对待传输的视频图像基于分层显著性检测算法进行显著性检测，并基于检测出的显著性目标确定感兴趣区域；之后，基于确定的感兴趣区域进行图像数据的传输。由于在进行视频数据传输之前先进行显著性检测，基于显著性目标确定感兴趣区域后，基于感兴趣区域的图像数据传输，大大减少了很多冗余的画面数据以及含信息量很少的背景画面数据的传输，从而减少了视频传输数据量，减少视频数据的传输延时，避免了网络拥塞。
更优地，本发明技术方案中，采用了半全局立体匹配算法进行视差图像的选取，半全局立体匹配算法比局部匹配算法更复杂，性能更好，与全局匹配算法相比，时间复杂度更小，实时性更高。
更优地，本发明技术方案中，采用分层显著性检测算法进行显著性目标检测，能够均匀突出显著区域，计算速度较快，并且显著区域的亮度与背景的亮度差异较大，有利于二值化过程，最终得到的显著性目标的图效果较好，但对边缘的处理不够细致，导致显著性目标的图显著区域边缘有少量噪点，因此，本发明技术方案中，进而采用形态学运算处理二值化的显著性目标的图，以消除噪声和不连续区域的影响，从而得到显著性目标的更为清晰的边缘轮廓。
更优地，本发明技术方案中，根据视差图像对感兴趣区域中的像素不论是进行平滑滤波还是锐化滤波，一方面，都可以在一定程度上消除图像中的噪声；另一方面，平滑滤波能够弱化或消除图像中的细节、突变，平滑边缘等，从而达到图像模糊的效果；而锐化滤波可以增强图像中的细节，突出轮廓等，达到图像细节增强的效果，通过对不同视差范围内的像素灰度值实行不同的图像滤波操作，达到图像显著性目标增强的效果。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于感兴趣目标显著性检测的视频传输方法，其特征在于，包括：
对视频图像基于分层显著性检测算法进行显著性检测；
基于检测出的显著性目标确定感兴趣区域；
基于确定的感兴趣区域进行图像数据的传输。
2.根据权利要求1所述的方法，其特征在于，在所述对视频图像基于分层显著性检测算法进行显著性检测之前，还包括：
对左、右摄像机拍摄的视频图像进行立体匹配，获取视差图像；以及
所述对视频图像基于分层显著性检测算法进行显著性检测，具体为：
对左摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测；或者
对右摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测。
3.根据权利要求2所述的方法，其特征在于，在所述基于确定的感兴趣区域进行图像数据的传输之前，还包括：
针对所述感兴趣区域的每个像素，如果该像素在所述视差图像中的视差值在设定视差范围内，就对该像素在灰度值上进行平滑滤波，弱化其细节；否则，就对该像素在灰度值上进行锐化滤波，强化其细节。
4.根据权利要求1-3任一所述的方法，其特征在于，所述基于检测出的显著性目标确定感兴趣区域，具体包括：
提取所述显著性目标的闭合轮廓；
将所述闭合轮廓的外接包围矩形框内的区域确定为所述感兴趣区域。
5.根据权利要求1-3任一所述的方法，其特征在于，所述基于确定的感兴趣区域进行图像数据的传输，具体包括：
对所述视频图像进行编码时，压缩所述感兴趣区域之外的其它区域的码率；
根据所述视频图像的编码结果进行图像数据的传输。
6.一种基于感兴趣目标显著性检测的视频传输装置，其特征在于，包括：
显著性检测模块，用于对视频图像基于分层显著性检测算法进行显著性检测；
感兴趣区域确定模块，用于基于检测出的显著性目标确定感兴趣区域；
数据传输模块，用于基于确定的感兴趣区域进行图像数据的传输。
7.根据权利要求6所述的装置，其特征在于，还包括：
视差图像获取模块，用于对左、右摄像机拍摄的视频图像进行立体匹配，获取视差图像；以及
所述显著性检测模块具体用于对左摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测；或者，用于对右摄像机拍摄的视频图像基于分层显著性检测算法进行显著性检测。
8.根据权利要求7所述的装置，其特征在于，还包括：
显著性增强模块，用于针对所述感兴趣区域的每个像素，如果该像素在所述视差图像中的视差值在设定视差范围内，就对该像素在灰度值上进行平滑滤波，弱化其细节；否则，就对该像素在灰度值上进行锐化滤波，强化其细节。
9.根据权利要求6-8任一所述的装置，其特征在于，
所述感兴趣区域确定模块具体用于提取所述显著性目标的闭合轮廓；将所述闭合轮廓的外接包围矩形框内的区域确定为所述感兴趣区域。
10.根据权利要求6-8任一所述的装置，其特征在于，
所述数据传输模块具体用于对所述视频图像进行编码时，压缩所述感兴趣区域之外的其它区域的码率；根据所述视频图像的编码结果进行图像数据的传输。
CN201910791739.1A 2019-08-26 2019-08-26 基于感兴趣目标显著性检测的视频传输方法和装置 Pending CN110728173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910791739.1A CN110728173A (zh) 2019-08-26 2019-08-26 基于感兴趣目标显著性检测的视频传输方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910791739.1A CN110728173A (zh) 2019-08-26 2019-08-26 基于感兴趣目标显著性检测的视频传输方法和装置

Publications (1)

Publication Number Publication Date
CN110728173A true CN110728173A (zh) 2020-01-24

Family

ID=69217165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910791739.1A Pending CN110728173A (zh) 2019-08-26 2019-08-26 基于感兴趣目标显著性检测的视频传输方法和装置

Country Status (1)

Country Link
CN (1) CN110728173A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972798A (zh) * 2022-08-01 2022-08-30 南京航空航天大学 一种基于特征纹理增强的目标检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008132741A2 (en) * 2007-04-30 2008-11-06 Trumedia Technologies Inc. Apparatus and method for tracking human objects and determining attention metrics
CN103077542A (zh) * 2013-02-28 2013-05-01 哈尔滨工业大学 一种深度图的感兴趣区域压缩方法
CN103077521A (zh) * 2013-01-08 2013-05-01 天津大学 一种用于视频监控的感兴趣区域提取方法
CN103297754A (zh) * 2013-05-02 2013-09-11 上海交通大学 一种监控视频自适应感兴趣区域编码系统
CN103873876A (zh) * 2014-03-17 2014-06-18 天津大学 基于显著性的多视点彩色加深度视频编码方法
CN104125405A (zh) * 2014-08-12 2014-10-29 罗天明 基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法
CN104427337A (zh) * 2013-08-21 2015-03-18 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置
CN104539962A (zh) * 2015-01-20 2015-04-22 北京工业大学 一种融合视觉感知特征的可分层视频编码方法
CN105513042A (zh) * 2015-10-30 2016-04-20 河海大学 一种基于多层分析和分层推理的显著性检测方法
CN106162177A (zh) * 2016-07-08 2016-11-23 腾讯科技（深圳）有限公司 视频编码方法和装置
WO2018082130A1 (zh) * 2016-11-02 2018-05-11 华为技术有限公司 一种显著图生成方法及用户终端

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008132741A2 (en) * 2007-04-30 2008-11-06 Trumedia Technologies Inc. Apparatus and method for tracking human objects and determining attention metrics
CN103077521A (zh) * 2013-01-08 2013-05-01 天津大学 一种用于视频监控的感兴趣区域提取方法
CN103077542A (zh) * 2013-02-28 2013-05-01 哈尔滨工业大学 一种深度图的感兴趣区域压缩方法
CN103297754A (zh) * 2013-05-02 2013-09-11 上海交通大学 一种监控视频自适应感兴趣区域编码系统
CN104427337A (zh) * 2013-08-21 2015-03-18 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置
CN103873876A (zh) * 2014-03-17 2014-06-18 天津大学 基于显著性的多视点彩色加深度视频编码方法
CN104125405A (zh) * 2014-08-12 2014-10-29 罗天明 基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法
CN104539962A (zh) * 2015-01-20 2015-04-22 北京工业大学 一种融合视觉感知特征的可分层视频编码方法
CN105513042A (zh) * 2015-10-30 2016-04-20 河海大学 一种基于多层分析和分层推理的显著性检测方法
CN106162177A (zh) * 2016-07-08 2016-11-23 腾讯科技（深圳）有限公司 视频编码方法和装置
WO2018082130A1 (zh) * 2016-11-02 2018-05-11 华为技术有限公司 一种显著图生成方法及用户终端
CN109844806A (zh) * 2016-11-02 2019-06-04 华为技术有限公司 一种显著图生成方法及用户终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯平等: "《PCB自动光学检测数字图像处理技术》", 31 October 2018, 西南交通大学出版社, pages: 151 - 153 *
刘煜等: "《阵列相机成像技术与应用》", 30 April 2018, 提取所述显著性目标的闭合轮廓，其中，所述闭合轮廓包含了物体所有边界像素点坐标的向量, pages: 46 - 50 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972798A (zh) * 2022-08-01 2022-08-30 南京航空航天大学 一种基于特征纹理增强的目标检测方法

Similar Documents

Publication Publication Date Title
CN107480772B (zh) 一种基于深度学习的车牌超分辨率处理方法及系统
WO2021232969A1 (zh) 动作识别方法、装置、设备及存储介质
US7203356B2 (en) Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US11410275B2 (en) Video coding for machine (VCM) based system and method for video super resolution (SR)
Wang et al. Towards analysis-friendly face representation with scalable feature and texture compression
Wang et al. Quaternion representation based visual saliency for stereoscopic image quality assessment
Saha et al. Mutual spectral residual approach for multifocus image fusion
Diana Andrushia et al. Saliency-based image compression using Walsh–Hadamard transform (WHT)
CN112104869B (zh) 一种视频大数据存储及转码优化系统
Liu et al. Fast depth intra coding based on depth edge classification network in 3D-HEVC
WO2021225472A2 (en) Joint objects image signal processing in temporal domain
Wang et al. Semantic-aware video compression for automotive cameras
Yuan et al. Object shape approximation and contour adaptive depth image coding for virtual view synthesis
Ko et al. An energy-quality scalable wireless image sensor node for object-based video surveillance
CN110728173A (zh) 基于感兴趣目标显著性检测的视频传输方法和装置
CN104301722A (zh) 一种基于频域的视频流模糊检测方法
Xia et al. Visual sensitivity-based low-bit-rate image compression algorithm
Soumya et al. Self-organized night video enhancement for surveillance systems
CN107509074B (zh) 基于压缩感知的自适应3d视频压缩编解码方法
CN116468625A (zh) 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
Kavitha et al. A survey of image compression methods for low depth-of-field images and image sequences
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
Yang et al. Depth map reconstruction and rectification through coding parameters for mobile 3D video system
Wu et al. MPCNet: Compressed multi-view video restoration via motion-parallax complementation network
Peng et al. Joint processing and fast encoding algorithm for multi-view depth video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination