CN102883175A - 深度图提取、判断视频场景切换及深度图边缘优化方法 - Google Patents

深度图提取、判断视频场景切换及深度图边缘优化方法 Download PDF

Info

Publication number
CN102883175A
CN102883175A CN2012104057993A CN201210405799A CN102883175A CN 102883175 A CN102883175 A CN 102883175A CN 2012104057993 A CN2012104057993 A CN 2012104057993A CN 201210405799 A CN201210405799 A CN 201210405799A CN 102883175 A CN102883175 A CN 102883175A
Authority
CN
China
Prior art keywords
depth
depth map
pixel
value
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104057993A
Other languages
English (en)
Other versions
CN102883175B (zh
Inventor
马荣敏
邢文峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Qingdao Hisense Xinxin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Xinxin Technology Co Ltd filed Critical Qingdao Hisense Xinxin Technology Co Ltd
Priority to CN201210405799.3A priority Critical patent/CN102883175B/zh
Priority to PCT/CN2012/083689 priority patent/WO2014063373A1/zh
Publication of CN102883175A publication Critical patent/CN102883175A/zh
Application granted granted Critical
Publication of CN102883175B publication Critical patent/CN102883175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种深度图提取方法，步骤为：输入待处理视频帧序列，得到源图像；对源图像进行边缘检测和目标识别，得到目标图像；根据目标图像判断视频场景是否发生切换；依据视频场景是否发生切换、目标图像像素点的亮度值在时间和空间上的变化、以及电视刷新频率计算某一像素点的深度值，根据所得深度值计算并提取深度图；输出深度图结果。本发明公开一种判断视频场景切换的方法，该方法通过判断相同位置像素点亮度值不相关的个数是否超过设定值来判定视频场景是否发生了切换。本发明公开一种深度图边缘优化方法，逐点比较深度图边缘点坐标和目标边界交点的坐标，如果不相同则深度图边缘点坐标赋值为目标边界交点的坐标。

Description

深度图提取、判断视频场景切换及深度图边缘优化方法
技术领域
本发明涉及一种视频图像2D转3D中的深度图提取方法，尤其设计一种包括判断视频场景切换及深度图边缘优化方法的深度图提取方法。
背景技术
深度图是指以物体纵向深度值代替灰度图像的灰度级形成的图像。由于其中的每个像素代表了一个相对的深度信息，反映了景物表面的三维坐标信息，所以深度图包含了可以直接利用的3D信息(即较可靠的深度数据)。在2D转3D算法中，深度图的提取与计算是至为重要的关键环节。
在实现本发明过程中，发明人发现现有的深度图提取算法中没有针对电视机刷新频率进行深度图计算的方法，导致最终计算得到的深度图像对转化2D视频序列的观看效果受到影响。
发明内容
为了克服上述的缺陷，本发明提供一种基于电视刷新频率的深度图提取方法。
为达到上述目的，一方面，本发明提供一种深度图提取方法，所述方法至少包括下述步骤：
输入待处理视频帧序列，得到源图像；对源图像进行边缘检测和目标识别，得到目标图像；
根据目标图像判断视频场景是否发生切换；
依据视频场景是否发生切换、目标图像像素点的亮度值在时间和空间上的变化、以及电视刷新频率计算某一像素点的深度值，根据所得深度值计算并提取深度图；
输出深度图结果；其中，
依据目标图像和电视刷新频率计算某一像素点的深度值de p t h等于某位置处该像素点的亮度值在空间上的变化量与此位置处该像素点的亮度值在时间上的变化相除所得值。
另一方面，本发明提供一种判断视频场景切换的方法，所述方法至少包括下述步骤：
输入待处理视频帧序列，得到源图像；
对源图像进行边缘检测和目标识别，得到目标图像；
根据目标图像得到目标对象的亮度值，在连续两帧画面中，相同位置像素点的亮度值不相关的个数超过设定值时判定视频场景发生了切换，否则判定视频场景未切换。
再一方面，本发明提供一种深度图边缘优化方法，所述方法至少包括下述步骤：
对深度图进行边缘检测，得到边缘图，记录所有边缘点的坐标(xd，yd)；
输入待处理视频帧序列，对源图像分别进行横向和纵向的1/2下采样，对所得结果进行边缘检测和目标识别，得到目标图像；对目标图像进行1/3下采样，记录新得到的边缘图像，位于目标边界交点的坐标记录为(xe，ye)；
对(xd，yd)和(xe，ye)进行逐行逐点比较，如果(xd，yd)与(xe，ye)相同则继续比对下一点；否则，以(xe，ye)为基准，调整(xd，yd)及其邻域的深度值；
对得到的深度图进行平滑滤波，生成最终的深度图。
本发明深度图提取方法将电视刷新频率引入到深度值的计算中，进而再根据所得深度值计算并提取深度图。根据电视不同的刷新频率而采用了不同的像素点跨度来进行深度图的计算，使计算得到的深度图更加准确，让最终渲染出的3D视频图像效果更加理想。
本发明判断视频场景切换的方法利用目标对象的亮度值作判断，有别于现有通过像素值来判断视频场景切换的方法。优点主要为：1.使用目标对象亮度值而非整个源图像的亮度值，减少了计算量；2.计算的是Y分量，而非YUV三个通道的分量和，降低算法复杂程度。令判断更加准确，使用更加方便。
本发明深度图边缘优化方法通过比对深度图和源图像中目标对象的边缘信息来对深度图像的边缘深度值进行修复，对计算得到的与源图像边缘不匹配深度图边缘像素点进行重新校准，并调整其邻域的深度值，使生成的深度图像边缘数据更加准确外，解决了视频图像2D转3D时易出现边缘模糊或重影进而影响观看质量的问题。
附图说明
图1为本发明方法流程示意图。
图2为像素点及其周围像素点的坐标标注示意图。
图3为本发明方法优选实施例流程图。
图4为深度值计算方法优选实施例流程图。
图5为深度图优化方法优选实施例流程图。
具体实施方式
下面结合说明书附图和实施例对本发明做详细描述。
如图1所示，在本发明深度图提取方法中，以输入的待处理视频帧序列为源图像，通过对源图像进行边缘检测和目标识别，得到目标图像。根据目标图像判断视频场景是否发生切换。然后依据视频场景是否发生切换、目标图像像素点的亮度值在时间和空间上的变化、以及电视刷新频率计算某一像素点的深度值，根据所得深度值计算并提取深度图，输出深度图结果。
为了实现本发明深度图提取方法，依据目标图像和电视刷新频率计算某一像素点的深度值depth等于某位置处该像素点的亮度值在空间上的变化量与此位置处该像素点的亮度值在时间上的变化相除所得值。优选的具体公式为： depth = | P Y ( x , y ) - P Y ′ ( x , y ) | | P Y ( x + Width / 2 , y ) - P Y ( x , y ) | + | P Y ( x , y + Height / 2 ) - P Y ( x , y ) | ; 其中，PY(x，y)为目标图像中某一像素点的亮度值，PY′(x，y)为上一帧图像中同一位置像素点的亮度值，PY(x+Width/2，y)为此像素点在水平方向上运动的下一坐标点的亮度值，PY(x，y+Height/2)为此像素点在垂直方向上运动的下一坐标点的亮度值；Width为电视宽度方向上的像素个数除以电视刷新频率后所得值，Height为电视高度方向上的像素个数除以电视刷新频率后所得值；当所得depth值大于255时depth的计数为255，当所得depth值有余数时进行四舍五入。
在计算深度图时，由于运动是连续的，所以其深度值的变化程度是一个累加的过程；而当视频场景切换时，连续的运动终止了，此时需要对累加的深度值进行清零，否则就会发生错误。所以，根据深度值计算并提取深度图时，如果Acountdepth+depth＜255则Acount′depth＝Acountdepth+depth    ；否则 Acount ′ depth = Acount depth × Acount depth - depth 255 + depth , 其中，Acountdepth为之前累加的深度值，Acount′depth新的深度值。
为了简化算法的复杂程度，本发明深度图提取方法还包括步骤：对所得源图像分别进行横向和纵向的第一次下采样，对第一次下采样后的图像进行边缘检测和目标识别，得到目标图像。其中，第一次下采样优选采用1/2下采样。
同样为了简化算法的复杂程度，本发明深度图提取方法还包括步骤：对目标图像分别进行横向和纵向的第二次下采样操作；依据视频场景是否发生切换、第二次下采样后的结果以及电视刷新频率进行深度图的计算与提取；输出深度图。其中，第二次下采样优选采用1/3下采样。
为了使生成的深度图像边缘数据更加准确、3D视频图像效果更好，本发明深度图提取方法还包括步骤：对目标图像提取边缘坐标，依据边缘坐标对计算与提取所得深度图的边缘进行优化校准，然后输出深度图结果。
在本发明深度图提取方法中，边缘检测优选的实现方法是通过计算某一位置的像素点与其四周相邻像素点的相关程度来实现：将中心点像素值与其相邻像素点分别相减，并取其绝对值；当相邻像素差值的绝对值小于设定的相关阈值时判定此两点相关；与四周相邻像素点都相关的像素点位于目标内部，与周围三个像素点相关的像素点位于目标边缘，与周围两个像素点相关的像素点位于目标边界交点。
边缘检测完成后，由目标内部的像素点、目标边缘的像素点和目标边界交点的像素点共同组成目标，实现目标识别。
在本发明深度图提取方法中，判断视频场景是否切换是很重要的一个步骤。现有判断方法依据的是灰度值的变化。为了提高判断的准确性和效果，本发明还公开了一种判断视频场景切换的方法，该方法至少包括下述步骤：输入待处理视频帧序列，得到源图像；对源图像进行边缘检测和目标识别，得到目标图像；根据目标图像得到目标对象的亮度值，在连续两帧画面中，相同位置像素点的亮度值不相关的个数超过设定值时判定视频场景发生了切换，否则判定视频场景未切换。
为了令视频场景切换的判定更加准确，本发明判断视频场景切换方法的优选实现方式包括下述步骤：
设当前帧中目标对象的个数为M，某一目标对象所包含的像素点总个数为N，PY(x，y)为此目标对象中的某一位置像素点的亮度值，PY′(x，y)为上一帧图像中同一坐标处像素点的亮度值，当|PY(x，y)-PY′(x，y)|＜Threshold时计数器的计数值加一；
计算完当前帧中所有目标对象所包含的像素点与上一帧图像相同位置像素点的亮度差后，代入公式
Figure BDA00002291315900051
其中counter为计数器的计数值；
当Scene_chang e的值大于设定值时判定视频场景发生了切换，否则判定当前帧图像与上一帧图像是连续场景。
为了简化算法，本发明判断视频场景切换方法还包括下述步骤：对源图像分别进行横向和纵向的下采样；对下采样后得到的结果进行边缘检测和目标识别，得到目标图像。下采样优选采用1/2下采样。
现有深度图优化方法的一个缺点是没有对目标对象边缘处进行很好的处理，还会存在一些边缘模糊或重影的现象，以及深度图边缘与源图像边缘不能完全匹配的情况。为了解决这一问题，本发明还提供一种深度图边缘优化方法，该方法至少包括下述步骤：
对深度图进行边缘检测，得到边缘图，记录所有边缘点的坐标(xd，yd)；
输入待处理视频帧序列，对源图像分别进行横向和纵向的1/2下采样，对所得结果进行边缘检测和目标识别，得到目标图像；对目标图像进行1/3下采样，记录新得到的边缘图像，位于目标边界交点的坐标记录为(xe，ye)；
对(xd，yd)和(xe，ye)进行逐行逐点比较，如果(xd，yd)与(xe，ye)相同则继续比对下一点；否则，以(xe，ye)为基准，调整(xd，yd)及其邻域的深度值；
对得到的深度图进行平滑滤波，生成最终的深度图。
对深度图进行边缘检测的具体方法不限。为了达到良好的效果，边缘检测优选使用的是Canny算子。
在本发明深度图边缘优化方法中，边缘图中各点的具体表征方法不限，优选方式为：边缘点的值为1，其余点的值为0。
在本发明深度图边缘优化方法中，(xd，yd)及其周围相邻像素点的深度值的具体调整方法如下：
对(xd，yd)和(xe，ye)进行逐行逐点比较，如果(xd，yd)与(xe，ye)相同则继续比对下一点；如果两坐标不相同，说明深度图边缘与源图像边缘不匹配，需要进行校准并对其相邻像素点深度值进行调整。调整分为两部分进行：水平方向的深度值调整和垂直方向的深度值调整，两种调整方法是一样的，在此以水平方向的调整为例进行说明。
在水平方向上，若xd＜xe，说明深度图的边界点(xd，yd)偏移到源图像的边界点(xe，ye)左边，需要将深度图边界点(xd，yd)处的深度值右移至源图像的边界点(xe，ye)的坐标处，同时将深度图中此边界点(xd，yd)至坐标(xd-1，ye)处的深度值赋值为(xd-1，yd)处的深度值。
垂直方向上的不匹配边缘点的相邻像素的深度值调整同上。
优选实施例一：将2D的电视图像作为源图像。假定该2D电视图像的一帧画面中某一中心点P的坐标为(x，y)，如图2所示，其周围相邻像素点的坐标分别为(x-1，y)，(x+1，y)，(x，y-1)，(x，y+1)，计算该像素点与其上下左右相邻像素点的相关程度。
将中心点像素值与其相邻像素点分别相减，并取其绝对值。如果某一方向上相邻像素差值的绝对值小于设定的相关阈值，则认定此两点是相关的，将目标对象表中(x，y)位置的值加0x01；否则，不做处理。依次计算其余的相邻像素点后，此时目标对象表中(x，y)位置的值表征了源视频图像中此坐标的点与其相邻像素点的相关程度。计算结果如表1所示，目标对象表中的值为0x04的代表目标内部，0x03的代表目标边缘，0x02的代表目标边界交点。
图1 目标对象表
  0x02   0x03   0x03   0x03   0x02
  0x03   0x04   0x04   0x04   0x03
  0x03   0x04   0x04   0x04   0x03
  0x03   0x04   0x04   0x04   0x03
  0x02   0x03   0x03   0x03   0x02
完成边缘检测和目标识别后，根据目标图像的亮度变化程度进行判断，发现视频场景未发生切换。
依据目标图像和电视刷新频率来计算该一帧画面中P点的深度值，其中电视刷新频率为60HZ，视频图像源的尺寸为1920×1080。需要处理的图像宽为W，高度为H，则认为连续两帧中相同目标的最大运动幅度在水平和竖直方向上分别不超Width＝W/60＝32，Height＝H/60＝18。
假定P点的亮度值为PY(x，y)，为使深度图的提取更加准确，假定其运动的像素点个数为四舍五入后的Width/2，Height/2。即P点在水平方向上运动的下一坐标点的亮度值为PY(x+Width/2，y)，其垂直方向上运动的下一坐标点的亮度值为PY(x，y+Height/2)，则得到P点在空间上的一个亮度值变化：d_space＝|PY(x+Width/2，y)-PY(x，y)|+|PY(x，y+Height/2)-PY(x，y)|
然后计算P点亮度值PY(x，y)在时间跨度上的变化：计上一帧P点同一坐标处的亮度值为PY′(x，y)，那么P点在时间跨度上的亮度值变化为：d_time＝|PY(x，y)-PY′(x，y)|
由P点在时间空间上经过1/f秒后亮度值的变化计算得到一个灰度级，以此来表示此点的深度值，计算公式如下：
depth = d _ time / d _ space
= | P Y ( x , y ) - P Y ′ ( x , y ) | | P Y ( x + Width / 2 , y ) - P Y ( x , y ) | + | P Y ( x , y + Height / 2 ) - P Y ( x , y ) | .
计算得到dept h的计数为175，根据所得深度值计算并提取深度图，输出深度图结果。
本优选实施例中以电视刷新频率为元素计算并提取深度图，使计算得到的深度图更加准确，让最终渲染出的3D视频图像效果更加理想。
优选实施例二：当优选实施例一中完成边缘检测和目标识别后发现视频场景发生了切换，连续的运动终止了，需要对累加的深度值进行清零，否则就会发生错误。P点经由上一步计算得到的深度值计为depth，之前累加的深度值计为Acountdepth，新的深度值为Acount′depth，即Acount′depth＝Acountdepth+depth。在进行深度值累加的过程中发现Acountdepth+depth≥255，为了避免造成深度值的流失累加公式使用 Acount ′ depth = Acount depth × Acount depth - depth 255 + depth , 得到累加值为235。
本优选实施例中针对视频场景发生切换这一状况给出了后续计算的应对方法，充分地考虑到视频场景切换对深度图计算与提取所造成的影响，令所得深度图更加地准确。
优选实施例三：如图3所示，电视刷新频率为60HZ，视频图像源的尺寸为1920×1080。为了简化计算得复杂程度，对2D电视图像源图像先进行1/2下采样，然后再作边缘检测和目标识别的工作。在深度图的提取过程中对图像，为进一步减少计算量并且减少Width，Height的像素点的跨度、缩小深度图的计算误差，对经过1/2下采样的图像再经过1/3下采样，对得到的320×180图像进行深度图的提取。需要处理的图像宽为W，高度为H，则认为连续两帧中相同目标的最大运动幅度在水平和竖直方向上分别不超Width＝W/60＝5.3，Height＝H/60＝3。
如图4所示，假定P点的亮度值为PY(x，y)，为使深度图的提取更加准确，假定其运动的像素点个数为四舍五入后的Width/2，Height/2。即P点在水平方向上运动的下一坐标点的亮度值为PY(x+Width/2，y)，其垂直方向上运动的下一坐标点的亮度值为PY(x，y+Height/2)，则得到P点在空间上的一个亮度值变化：d_space＝|PY(x+Width/2，y)-PY(x，y)|+|PY(x，y+Height/2)-PY(x，y)|
然后计算P点亮度值PY(x，y)在时间跨度上的变化：计上一帧P点同一坐标处的亮度值为PY′(x，y)，那么P  点在时间跨度上的亮度值变化为：d_time＝|PY(x，y)-PY′(x，y)|
由P点在时间空间上经过1/f秒后亮度值的变化计算得到一个灰度级，以此来表示此点的深度值，计算公式如下：
depth = d _ time / d _ space
= | P Y ( x , y ) - P Y ′ ( x , y ) | | P Y ( x + Width / 2 , y ) - P Y ( x , y ) | + | P Y ( x , y + Height / 2 ) - P Y ( x , y ) | .
计算得到depth的计数为268，此时depth计数255，根据所得深度值计算并提取深度图，输出深度图结果。
优选实施例四：利用对目标对象亮度变化的变化对视频场景是否切换进行判断。设当前帧中目标对象的个数为M，某目标所包含的像素点总个数为N，PY(x，y)为此目标中的某一位置像素点的亮度值，PY′(x，y)为上一帧同一坐标处像素点的像素值。
若|PY(x，y)-PY′(x，y)|＜Threshold，计数器counter就自动加一。计算完当前帧中所有目标对象包含的像素点与下一帧图像相同位置像素点的亮度差后，判别相邻两帧的视频场景是否发生切换，计算公式如下：
Figure BDA00002291315900091
若计算出的Scene_change的值大于30％，表示前后两帧相同位置的像素点的亮度值不相关的个数超过30％，认定视频场景发生了切换。否则，认定当前帧与上一帧是相似的，仍是连续场景。
本发明判断视频场景切换的方法利用目标对象的亮度值作判断，有别于现有通过像素值来判断视频场景切换的方法。优点主要为：1.使用目标对象亮度值而非整个源图像的亮度值，减少了计算量；2.计算的是Y分量，而非YUV三个通道的分量和，降低算法复杂程度。令判断更加准确，使用更加方便。
优选实施例五：通过试验可知，同一目标对象在深度图和源图像中的空间位置是完全相同的，但不匹配的位置主要存在于目标对象的边缘。由于深度图源图像边缘不能够完全匹配，造成了视频图像2D转3D效果上的失真，影响观看质量。可以通过比对深度图和源图像中目标对象的边缘信息来对深度图像的边缘深度值进行修复，如图5所示。
首先，对深度图D_depth使用Canny算子进行边缘检测，得到其边缘图A。边缘图是一个二值图像，边缘点的值为1，其余点的值为0。记录下所有值为1的点的坐标(xd,yd)。
其次，步骤一中计算所用的图像为源图像的1/2下采样图像，对步骤一中计算得到的边缘图像再进行1/3下采样以对应深度图为源图像1/6下采样图像。记录得到的边缘图像即目标对象表中值为0x 02的点的坐标(xe，ye)。
然后，逐行逐点比较。在边缘图像的(xe，ye )处寻找深度图中此坐标处是否存在(xd，yd)：若存在，则边缘匹配，继续比对下一点；否则以(xe，ye)为基准，调整(xd，yd)及其周围相邻像素点的深度值。对(xd，yd)和(xe，ye)进行逐行逐点比较，如果(xd，yd)与(xe，ye)相同则继续比对下一点；如果两坐标不相同，说明深度图边缘与源图像边缘不匹配，需要进行校准并对其相邻像素点深度值进行调整。调整分为两部分进行：水平方向的深度值调整和垂直方向的深度值调整，两种调整方法是一样的，在此以水平方向的调整为例进行说明。
在水平方向上，若xd＜xe，说明深度图的边界点(xd，yd)偏移到源图像的边界点(xe，ye)左边，需要将深度图边界点(xd，yd)处的深度值右移至源图像的边界点(xe，ye)的坐标处，同时将深度图中此边界点(xd，yd)至坐标(xe-1，ye)处的深度值赋值为(xd-1，yd)处的深度值。
垂直方向上的不匹配边缘点的相邻像素的深度值调整同上。
以上，仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (18)

1.一种深度图提取方法，其特征在于，所述方法至少包括下述步骤：
输入待处理视频帧序列，得到源图像；对源图像进行边缘检测和目标识别，得到目标图像；
根据目标图像判断视频场景是否发生切换；
依据视频场景是否发生切换、目标图像像素点的亮度值在时间和空间上的变化、以及电视刷新频率计算某一像素点的深度值，根据所得深度值计算并提取深度图；
输出深度图结果；其中，
依据目标图像和电视刷新频率计算某一像素点的深度值depth等于某位置处该像素点的亮度值在空间上的变化量与此位置处该像素点的亮度值在时间上的变化量相除所得值。
2.根据权利要求1所述的深度图提取方法，其特征在于，依据目标图像和电视刷新频率计算某一像素点的深度值的公式为： depth = | P Y ( x , y ) - P Y ′ ( x , y ) | | P Y ( x + Width / 2 , y ) - P Y ( x , y ) | + | P Y ( x , y + Height / 2 ) - P Y ( x , y ) | ; 其中，PY(x，y)为目标图像中某一像素点的亮度值，PY′(x，y)为上一帧图像中同一位置像素点的亮度值，PY(x+Width/2，y)为此像素点在水平方向上运动的下一坐标点的亮度值，PY(x，y+Height/2)为此像素点在垂直方向上运动的下一坐标点的亮度值；Width为电视宽度方向上的像素个数除以电视刷新频率后所得值，Height为电视高度方向上的像素个数除以电视刷新频率后所得值；当所得depth值大于255时depth的计数为255，当所得depth值有余数时进行四舍五入。
3.根据权利要求1所述的深度图提取方法，其特征在于，根据所得深度值计算并提取深度图时，如果Acountdepth+depth＜255则Acount′depth＝Acountdepth+depth    ；否则 Acount ′ depth = Acount depth × Acount depth - depth 255 + depth , 其中，Acountdepth为之前累加的深度值，Acount′depth为新的深度值。
4.根据权利要求1所述的深度图提取方法，其特征在于，所述方法还包括步骤：对所得源图像分别进行横向和纵向的第一次下采样，对第一次下采样后的图像进行边缘检测和目标识别，得到目标图像。
5.根据权利要求4所述的深度图提取方法，其特征在于，第一次下采样为1/2下采样。
6.根据权利要求1所述的深度图提取方法，其特征在于，所述方法还包括步骤：对目标图像分别进行横向和纵向的第二次下采样操作；依据视频场景是否发生切换、第二次下采样后的结果以及电视刷新频率进行深度图的计算与提取；输出深度图。
7.根据权利要求6所述的深度图提取方法，其特征在于，第二次下采样为1/3下采样。
8.根据权利要求1所述的深度图提取方法，其特征在于，所述方法还包括步骤：
对目标图像提取边缘坐标；
依据边缘坐标对计算与提取所得深度图的边缘进行优化校准；
输出深度图结果。
9.根据权利要求1所述的深度图提取方法，其特征在于，边缘检测是通过计算某一位置的像素点与其四周相邻像素点的相关程度来实现：将中心点像素值与其相邻像素点分别相减，并取其绝对值；当相邻像素差值的绝对值小于设定的相关阈值时判定此两点相关；与四周相邻像素点都相关的像素点位于目标内部，与周围三个像素点相关的像素点位于目标边缘，与周围两个像素点相关的像素点位于目标边界交点。
10.根据权利要求9所述的深度图提取方法，其特征在于：由目标内部的像素点、目标边缘的像素点和目标边界交点的像素点共同组成目标，实现目标识别。
11.一种判断视频场景切换的方法，其特征在于，所述方法至少包括下述步骤：
输入待处理视频帧序列，得到源图像；
对源图像进行边缘检测和目标识别，得到目标图像；
根据目标图像得到目标对象的亮度值，在连续两帧画面中，相同位置像素点的亮度值不相关的个数超过设定值时判定视频场景发生了切换，否则判定视频场景未切换。
12.根据权利要求11所述的判断视频场景切换的方法，其特征在于，根据目标对象的亮度值判定视频场景是否切换至少包括下述步骤：
设当前帧中目标对象的个数为M，某一目标对象所包含的像素点总个数为N，PY(x，y)为此目标对象中的某一位置像素点的亮度值，PY′(x，y)为上一帧图像中同一坐标处像素点的亮度值，当|PY(x，y)-PY′(x，y)|＜Threshold时计数器的计数值加一；
计算完当前帧中所有目标对象所包含的像素点与上一帧图像相同位置像素点的亮度差后，代入公式
Figure FDA00002291315800031
其中counter为计数器的计数值；
当Scene_change的值大于设定值时判定视频场景发生了切换，否则判定当前帧图像与上一帧图像是连续场景。
13.根据权利要求11所述的判断视频场景切换的方法，其特征在于，所述方法还包括下述步骤：对源图像分别进行横向和纵向的下采样；对下采样后得到的结果进行边缘检测和目标识别，得到目标图像。
14.根据权利要求13所述的判断视频场景切换的方法，其特征在于，所述下采样为1/2下采样。
15.一种深度图边缘优化方法，其特征在于，所述方法至少包括下述步骤：
对深度图进行边缘检测，得到边缘图，记录所有边缘点的坐标(xd，yd)；
输入待处理视频帧序列，对源图像分别进行横向和纵向的1/2下采样，对所得结果进行边缘检测和目标识别，得到目标图像；对目标图像进行1/3下采样，记录新得到的边缘图像，位于目标边界交点的坐标记录为(xe，ye)；
对(xd，yd)和(xe，ye)进行逐行逐点比较，如果(xd，yd)与(xe，ye)相同则继续比对下一点；否则，以(xe，ye)为基准，调整(xd，yd)及其邻域的深度值；
对得到的深度图进行平滑滤波，生成最终的深度图。
16.根据权利要求15所述的深度图边缘优化方法，其特征在于：对深度图进行边缘检测使用的是Canny算子。
17.根据权利要求15所述的深度图边缘优化方法，其特征在于：在所述边缘图中，边缘点的值为1，其余点的值为0。
18.根据权利要求15所述的深度图边缘优化方法，其特征在于：当(xd，yd)与(xe，ye)不相同而进行深度值的调整时，分为水平方向的深度值调整和垂直方向的深度值调整。
CN201210405799.3A 2012-10-23 2012-10-23 深度图提取、判断视频场景切换及深度图边缘优化方法 Active CN102883175B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210405799.3A CN102883175B (zh) 2012-10-23 2012-10-23 深度图提取、判断视频场景切换及深度图边缘优化方法
PCT/CN2012/083689 WO2014063373A1 (zh) 2012-10-23 2012-10-29 深度图提取、判断视频场景切换及深度图边缘优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210405799.3A CN102883175B (zh) 2012-10-23 2012-10-23 深度图提取、判断视频场景切换及深度图边缘优化方法

Publications (2)

Publication Number Publication Date
CN102883175A true CN102883175A (zh) 2013-01-16
CN102883175B CN102883175B (zh) 2015-06-17

Family

ID=47484289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210405799.3A Active CN102883175B (zh) 2012-10-23 2012-10-23 深度图提取、判断视频场景切换及深度图边缘优化方法

Country Status (2)

Country Link
CN (1) CN102883175B (zh)
WO (1) WO2014063373A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052985A (zh) * 2014-04-30 2014-09-17 友达光电股份有限公司 三维影像校正装置及三维影像校正方法
CN104506819A (zh) * 2015-01-06 2015-04-08 成都新舟锐视科技有限公司 一种多摄像头实时联动的互反馈跟踪系统及方法
CN104981849A (zh) * 2013-02-12 2015-10-14 汤姆逊许可公司 用于丰富深度图的内容的方法和设备
CN105374039A (zh) * 2015-11-16 2016-03-02 辽宁大学 基于轮廓锐度的单目图像深度信息估计方法
CN106898296A (zh) * 2015-09-30 2017-06-27 乐金显示有限公司 图像处理电路和具有图像处理电路的显示装置
CN108921001A (zh) * 2018-04-18 2018-11-30 特斯联（北京）科技有限公司 一种采用人工智能预测追踪的视频监视云台及其追踪方法
CN109194955A (zh) * 2018-11-16 2019-01-11 深圳市梦网百科信息技术有限公司 一种场景切换检测方法及系统
CN109218728A (zh) * 2018-11-16 2019-01-15 深圳市梦网百科信息技术有限公司 一种场景切换检测方法和系统
CN109241955A (zh) * 2018-11-08 2019-01-18 联想(北京)有限公司 识别方法和电子设备
CN110070573A (zh) * 2019-04-25 2019-07-30 北京卡路里信息技术有限公司 关节图确定方法、装置、设备和存储介质
CN110415287A (zh) * 2019-07-11 2019-11-05 Oppo广东移动通信有限公司 深度图的滤波方法、装置、电子设备和可读存储介质
CN113361463A (zh) * 2021-06-30 2021-09-07 深圳市斯博科技有限公司 最优显著区确定方法、装置、计算机设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753840B (zh) * 2017-11-06 2023-09-01 纵目科技（上海）股份有限公司 一种基于响应值确定车位线角点的方法、系统和存储介质
CN111369611B (zh) * 2018-12-25 2023-06-02 曜科智能科技（上海）有限公司 图像像素深度值优化方法及其装置、设备和存储介质
CN109859249B (zh) * 2019-01-24 2022-09-20 西安理工大学 Rgbd序列中基于自动分层的场景流估计方法
CN113642588B (zh) * 2021-08-11 2023-10-13 深圳福鸽科技有限公司 平面图像物体外边缘爬虫分析方法
CN115861098B (zh) * 2022-11-24 2024-05-28 内蒙古工业大学 花粉深度图像修正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087413A (zh) * 2006-06-07 2007-12-12 中兴通讯股份有限公司 视频序列中运动物体的分割方法
CN101388072A (zh) * 2007-08-03 2009-03-18 哈曼贝克自动系统股份有限公司 用于评测图像的方法和装置
US20090244268A1 (en) * 2008-03-26 2009-10-01 Tomonori Masuda Method, apparatus, and program for processing stereoscopic videos
CN102124745A (zh) * 2008-08-26 2011-07-13 升级芯片技术公司 用于将二维图像信号转换为三维图像信号的装置及方法
US20120007950A1 (en) * 2010-07-09 2012-01-12 Yang Jeonghyu Method and device for converting 3d images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141648A (zh) * 2007-09-20 2008-03-12 上海广电（集团）有限公司中央研究院 基于直方图的加权预测方法
JP5909187B2 (ja) * 2009-10-14 2016-04-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ フィルタ処理およびエッジ符号化
CN102404594B (zh) * 2011-10-31 2014-02-12 庞志勇 基于图像边缘信息的2d转3d的方法
CN102496138B (zh) * 2011-11-15 2014-03-26 中能激光显示技术（上海）有限公司 一种二维图像转换为三维图像的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087413A (zh) * 2006-06-07 2007-12-12 中兴通讯股份有限公司 视频序列中运动物体的分割方法
CN101388072A (zh) * 2007-08-03 2009-03-18 哈曼贝克自动系统股份有限公司 用于评测图像的方法和装置
US20090244268A1 (en) * 2008-03-26 2009-10-01 Tomonori Masuda Method, apparatus, and program for processing stereoscopic videos
CN102124745A (zh) * 2008-08-26 2011-07-13 升级芯片技术公司 用于将二维图像信号转换为三维图像信号的装置及方法
US20120007950A1 (en) * 2010-07-09 2012-01-12 Yang Jeonghyu Method and device for converting 3d images

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104981849A (zh) * 2013-02-12 2015-10-14 汤姆逊许可公司 用于丰富深度图的内容的方法和设备
CN104052985B (zh) * 2014-04-30 2016-08-10 友达光电股份有限公司 三维影像校正装置及三维影像校正方法
CN104052985A (zh) * 2014-04-30 2014-09-17 友达光电股份有限公司 三维影像校正装置及三维影像校正方法
CN104506819A (zh) * 2015-01-06 2015-04-08 成都新舟锐视科技有限公司 一种多摄像头实时联动的互反馈跟踪系统及方法
CN106898296A (zh) * 2015-09-30 2017-06-27 乐金显示有限公司 图像处理电路和具有图像处理电路的显示装置
CN106898296B (zh) * 2015-09-30 2019-01-11 乐金显示有限公司 图像处理电路和具有图像处理电路的显示装置
CN105374039A (zh) * 2015-11-16 2016-03-02 辽宁大学 基于轮廓锐度的单目图像深度信息估计方法
CN105374039B (zh) * 2015-11-16 2018-09-21 辽宁大学 基于轮廓锐度的单目图像深度信息估计方法
CN108921001A (zh) * 2018-04-18 2018-11-30 特斯联（北京）科技有限公司 一种采用人工智能预测追踪的视频监视云台及其追踪方法
CN109241955A (zh) * 2018-11-08 2019-01-18 联想(北京)有限公司 识别方法和电子设备
CN109241955B (zh) * 2018-11-08 2022-04-19 联想(北京)有限公司 识别方法和电子设备
CN109218728A (zh) * 2018-11-16 2019-01-15 深圳市梦网百科信息技术有限公司 一种场景切换检测方法和系统
CN109194955B (zh) * 2018-11-16 2021-04-30 深圳市梦网视讯有限公司 一种场景切换检测方法及系统
CN109218728B (zh) * 2018-11-16 2021-09-10 深圳市梦网视讯有限公司 一种场景切换检测方法和系统
CN109194955A (zh) * 2018-11-16 2019-01-11 深圳市梦网百科信息技术有限公司 一种场景切换检测方法及系统
CN110070573A (zh) * 2019-04-25 2019-07-30 北京卡路里信息技术有限公司 关节图确定方法、装置、设备和存储介质
CN110415287A (zh) * 2019-07-11 2019-11-05 Oppo广东移动通信有限公司 深度图的滤波方法、装置、电子设备和可读存储介质
CN110415287B (zh) * 2019-07-11 2021-08-13 Oppo广东移动通信有限公司 深度图的滤波方法、装置、电子设备和可读存储介质
CN113361463A (zh) * 2021-06-30 2021-09-07 深圳市斯博科技有限公司 最优显著区确定方法、装置、计算机设备及存储介质
CN113361463B (zh) * 2021-06-30 2024-02-02 深圳万兴软件有限公司 最优显著区确定方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN102883175B (zh) 2015-06-17
WO2014063373A1 (zh) 2014-05-01

Similar Documents

Publication Publication Date Title
CN102883175A (zh) 深度图提取、判断视频场景切换及深度图边缘优化方法
US7664315B2 (en) Integrated image processor
CN109741356B (zh) 一种亚像素边缘检测方法及系统
CN102103753B (zh) 使用实时相机运动估计检测和跟踪运动对象的方法和终端
CN102132323B (zh) 用于自动图像矫直的系统和方法
CN111161313B (zh) 一种视频流中的多目标追踪方法及装置
CN106023259B (zh) 一种运动目标频率检测方法及装置
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
CN109034017A (zh) 头部姿态估计方法及机器可读存储介质
CN103841401B (zh) 用于修正三维图像的深度图的装置和方法
CN104252700A (zh) 一种红外图像的直方图均衡化方法
CN110414385A (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN103293168B (zh) 基于视觉显著性的水果表面缺陷检测方法
CN107133922A (zh) 一种基于机器视觉和图像处理的硅片计数方法
CN102131058A (zh) 高清数字视频帧速率变换处理模块及其方法
CN109389165A (zh) 基于巡检机器人的变压器油位计识别方法
CN104599288A (zh) 一种基于肤色模板的特征跟踪方法及装置
CN103942756B (zh) 一种深度图后处理滤波的方法
CN110807406B (zh) 一种雾天检测方法及装置
CN104537632A (zh) 基于边缘提取的红外图像直方图增强方法
CN114187208A (zh) 基于融合代价和自适应惩罚项系数的半全局立体匹配方法
CN105631868A (zh) 一种基于图像分类的深度信息提取方法
CN110728669B (zh) 一种视频马赛克检测方法
CN105005985A (zh) 背光图像微米级边缘检测方法
CN107610070A (zh) 基于三摄像采集的自由立体匹配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160308

Address after: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee after: QINGDAO HISENSE ELECTRONICS Co.,Ltd.

Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee before: HISENSE HIVIEW TECH Co.,Ltd.

CP01 Change in the name or title of a patent holder

Address after: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee after: Hisense Visual Technology Co., Ltd.

Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee before: QINGDAO HISENSE ELECTRONICS Co.,Ltd.

CP01 Change in the name or title of a patent holder