CN107094234A - 一种应用于移动摄像终端的拍摄区域遮挡方法和装置 - Google Patents

一种应用于移动摄像终端的拍摄区域遮挡方法和装置 Download PDF

Info

Publication number
CN107094234A
CN107094234A CN201710199130.6A CN201710199130A CN107094234A CN 107094234 A CN107094234 A CN 107094234A CN 201710199130 A CN201710199130 A CN 201710199130A CN 107094234 A CN107094234 A CN 107094234A
Authority
CN
China
Prior art keywords
shooting image
key point
coordinate
point
next frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710199130.6A
Other languages
English (en)
Other versions
CN107094234B (zh
Inventor
周迪
李玉天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201710199130.6A priority Critical patent/CN107094234B/zh
Publication of CN107094234A publication Critical patent/CN107094234A/zh
Application granted granted Critical
Publication of CN107094234B publication Critical patent/CN107094234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种应用于移动摄像终端的拍摄区域遮挡方法,在获取参考帧拍摄图像中目标遮挡区域所对应的目标关键点的坐标后,根据参考帧拍摄图像的运动矢量预测在预设拍摄间隔后拍摄的下一帧拍摄图像中目标关键点对应的预测关键点的坐标,根据预测关键点的坐标在下一帧拍摄图像中对预测关键点对应的区域进行遮挡。从而解决了由计算精度较差、容易受环境干扰所导致的图像遮挡误差偏大的问题,满足了移动摄像机的高精度要求。

Description

一种应用于移动摄像终端的拍摄区域遮挡方法和装置
技术领域
本发明涉及通信领域,尤其涉及一种应用于移动摄像终端的拍摄区域遮挡方法和装置。
背景技术
目前,出于安保的需要,各种场所一般都设置有摄像机对需要监控的区域进行拍摄,由于摄像机有拍摄范围的限制,监控存在死角,因此推出了移动摄像机,其按照一定的预设轨道和移动速度,进行移动监控,避免监控死角问题,因此得到了广泛的应用。例如在银行等场合,需要对用户取款区域进行监控,但是用户输入银行密码的区域一般是不方便进行监控的,即摄像机的拍摄范围内可能会存在敏感区域,需要对其进行遮挡,而对于移动摄像机,在其移动过程中,由于摄像机由于无法感知自己的位置,导致敏感区域无法再被遮挡。
在现有技术中,为了解决该问题,可以采用wifi或GPS等定位技术,在摄像终端以及拍摄区域中需要遮挡的区域增加一些交互通信模块,此类通信模块通过感知摄像机和需要遮挡的实地位置的相对位移,从而计算出敏感区域位置,进行遮挡。
但本申请发明人在实现本申请实施例中发明技术方案的过程中,发现上述技术至少存在如下技术问题:对于Wifi或GPS定位,由于此类定位技术依赖于交互模块进行位置信息传输,一般计算精度都比较低,通常在1~10米左右,而移动摄像机拍摄区域中的各物体和摄像机之间的相对位移是很小的,导致图像遮挡的误差偏大。
由此可见,对于现有技术中采用wifi或GPS定位计算敏感区域与移动摄像机相对位移的方案,由于现有技术的计算精度较差,容易受环境干扰,无法满足移动摄像机的高精度要求,导致图像遮挡误差偏大。
发明内容
本申请实施例通过提供一种应用于移动摄像终端的拍摄区域遮挡方法和装置,解决了现有技术中由计算精度较差以及易受环境干扰所导致的图像遮挡误差偏大的问题。
一方面,本申请实施例提供了一种应用于移动摄像终端的拍摄区域遮挡方法,所述方法包括:
获取参考帧拍摄图像中目标遮挡区域所对应的目标关键点的坐标;
根据所述参考帧拍摄图像的运动矢量,预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标;
根据所述预测关键点的坐标,在所述下一帧拍摄图像中对所述预测关键点对应的区域进行遮挡。
优选的,所述目标遮挡区域为矩形区域,所述目标关键点为所述目标遮挡区域的四个角点,所述目标关键点间的连线形成第一轮廓,在所述第一轮廓的轮廓线上均匀选取目标参考点;
所述根据所述参考帧拍摄图像的运动矢量,预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标,具体包括:
根据所述参考帧拍摄图像的运动矢量,在预设拍摄间隔后,预测下一帧拍摄图像中所述目标参考点对应的预测参考点的坐标;
根据目标参考点的坐标及对应的预测参考点的坐标,获取所述移动摄像终端的移动矢量值和缩放比例;
根据所述移动矢量值和所述缩放比例,确定所述下一帧拍摄图像中所述预测关键点的坐标。
优选的,所述方法还包括:
所述预测参考点间的连线形成第二轮廓;
针对所述第二轮廓中的每个预测参考点,判断每个预测参考点相对于其他预测参考点的位置关系与该预测参考点对应的目标参考点在所述第一轮廓中相对于其他目标参考点的位置关系是否一致,若不一致,则删除该预测参考点;若一致,则保留该预测参考点。
优选的,当所述预测关键点的坐标对应的区域超过所述下一帧拍摄图像的图像边界时,所述根据所述预测关键点的坐标,在所述下一帧拍摄图像中对所述预测关键点对应的区域进行遮挡,具体包括:
根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述预测关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
优选的,所述方法还包括:
当所述下一帧拍摄图像中不存在所述预测关键点对应的区域时,获取初始拍摄图像中初始遮挡区域的位置信息,所述位置信息包括初始关键点的特征信息;
在所述下一帧拍摄图像的边界搜索关键点,所述关键点的特征信息与所述初始关键点的特征信息匹配;
当所述下一帧拍摄图像的边界存在所述关键点时,根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
第二方面,基于相同的发明构思,本申请还提供了一种应用于移动的摄像终端的拍摄区域遮挡装置,所述装置包括:
获取模块,用于获取参考帧拍摄图像中目标遮挡区域所对应的目标关键点的坐标;
坐标确定模块,用于根据所述参考帧拍摄图像的运动矢量,预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标;
遮挡模块,用于根据所述预测关键点的坐标,在所述下一帧拍摄图像中对所述预测关键点对应的区域进行遮挡。
优选的,所述目标遮挡区域为矩形区域,所述目标关键点为所述目标遮挡区域的四个角点,所述目标关键点间的连线形成第一轮廓,在所述第一轮廓的轮廓线上均匀选取目标参考点;
所述坐标确定模块,具体包括:
坐标预测子模块,用于根据所述参考帧拍摄图像的运动矢量,在预设拍摄间隔后,预测下一帧拍摄图像中所述目标参考点对应的预测参考点的坐标;
移动处理模块,用于根据目标参考点的坐标及对应的预测参考点的坐标,获取所述移动摄像终端的移动矢量值和缩放比例;
坐标确定子模块,用于根据所述移动矢量值和所述缩放比例,确定所述下一帧拍摄图像中所述预测关键点的坐标。
优选的,所述装置还包括:
轮廓确定模块,用于所述预测参考点间的连线形成第二轮廓;
参考点删除模块,用于针对所述第二轮廓中的每个预测参考点,判断每个预测参考点相对于其他预测参考点的位置关系与该预测参考点对应的目标参考点在所述第一轮廓中相对于其他目标参考点的位置关系是否一致,若不一致,则删除该预测参考点;若一致,则保留该预测参考点。
优选的,当所述预测关键点的坐标对应的区域超过所述下一帧拍摄图像的图像边界时,所述遮挡模块还用于根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述预测关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
所述装置还包括:
位置信息确定模块,用于当所述下一帧拍摄图像中不存在所述预测关键点对应的区域时,获取初始拍摄图像中初始遮挡区域的位置信息,所述位置信息包括初始关键点的特征信息;
搜索模块,用于在所述下一帧拍摄图像的边界搜索关键点,所述关键点的特征信息与所述初始关键点的特征信息匹配;
遮挡模块,还用于当所述下一帧拍摄图像的边界存在所述关键点时,根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
由此可见,通过应用本申请的技术方案,通过获取参考帧拍摄图像中目标遮挡区域所对应的目标关键点的坐标,预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标,最后根据预测关键点的坐标,在所述下一帧拍摄图像中对预测关键点对应的区域进行遮挡,相比与现有技术,本方案不容易受到环境干扰,能够实时遮挡敏感区域并预测每个关键点的坐标变化,相匹配地进行平移和缩放后的遮挡,提高了用户的使用体验。
附图说明
图1为本申请实施例中一种应用于移动摄像终端的拍摄区域遮挡方法的流程图;
图2为本申请实施例中建立坐标系确定遮挡区域位置的示意图;
图3为本申请实施例中计算图像缩放比例的示意图;
图4为本申请实施例中移动摄像终端拍摄图像的过程示意图;
图5为本申请实施例中一种应用于移动摄像终端的拍摄区域遮挡装置的模块图。
具体实施方式
本申请实施例通过提供一种应用于移动摄像终端的拍摄区域遮挡方法和装置,解决了现有技术中由于计算精度较差以及易受环境干扰所导致的图像遮挡误差偏大的问题,提高了用户体验。
如图1所示,为本申请所提出的一种应用于移动摄像终端的拍摄区域遮挡方法,所述方法包括:
步骤S101:获取参考帧拍摄图像中目标遮挡区域所对应的目标关键点的坐标;
示例的,可以以初始拍摄的图像帧作为参考帧,也可以以拍摄过程中的任意一帧作为参考帧,例如当前图像帧的前一帧,也可以是前3帧、前5帧等;目标遮挡区域是参考帧拍摄图像中需要遮挡的区域,目标关键点是目标遮挡区域所对应的关键点,基于这些关键点的坐标可以确定目标遮挡区域的位置。
基于用户的需求,如需要遮挡用户取款时使用的密码输入键盘区域,也就是说,需要将密码输入键盘区域定义为需要遮挡的敏感区域,那首先需要在初始拍摄图像上确定敏感区域所在范围(即初始遮挡区域),初始遮挡区域对应的初始关键点可以是初始遮挡区域的4个角点,也可以是其他可以确定初始遮挡区域位置的其他点。;
并进一步的,以预设的坐标原点建立坐标系,获取所述每个关键点相对于预设坐标原点的坐标。
如图2所示,假设初始拍摄图像的中心点坐标(0,0),初始遮挡区域的四个边角a、b、c、d的初始坐标分别为(Xa,Ya)~(Xd,Yd),通过这四个角点,可以确定一个矩形边框,其中,中心点可以作为预设的坐标原点,以所述中心点建立坐标系,在初始帧图像中确定敏感区域的位置信息。
以矩形框为遮挡区域为例,在遮挡区域的四边,可以每边选取若干个参考点,例如每条边上选取5个以上参考点,包含两段、中间等3个点。这些参考点可以是宏块,也可以是特征块。
当然,本领域技术人员应当理解,在正常情况下每条边只要2个点就可以,但图像处理是存在一定误识别的概率,所以需要多选点,用以提升准确率。
步骤S102:根据所述参考帧拍摄图像的运动矢量,预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标;
优选的,所述目标遮挡区域为矩形区域,所述目标关键点为所述目标遮挡区域的四个角点,所述目标关键点间的连线形成第一轮廓,在所述第一轮廓的轮廓线上均匀选取目标参考点;
对于步骤S102来说,所述根据所述参考帧拍摄图像的运动矢量,预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标,具体包括:
步骤S1021,根据所述参考帧拍摄图像的运动矢量,在预设拍摄间隔后,预测下一帧拍摄图像中所述目标参考点对应的预测参考点的坐标;
步骤S1022,根据目标参考点的坐标及对应的预测参考点的坐标,获取所述移动摄像终端的移动矢量值和缩放比例;
步骤S1023,根据所述移动矢量值和所述缩放比例,确定所述下一帧拍摄图像中所述预测关键点的坐标。
对于已确定的遮挡区域,如果摄像终端相对遮挡区域只是简单的前后移动,那么此时摄像终端拍摄的图像中会相应的缩小和放大,也即图像出现缩放。此时,遮挡区域没有移动矢量值,即在坐标系中,水平方向和垂直方向没有位移,那么只要调整拍摄图像中遮挡区域的大小即可。
同理,如果摄像终端相对遮挡区域只是简单的左右移动,这时就必须考虑平移。并且考虑到移动摄像终端运动的复杂性,除了简单的前后左右移动,还可能是往左后方、右后方、或左前方、右前方运动,这时图像就会在缩放的同时,又有平移。如图3所示,因此为了得到a~d四个点的新坐标,我们需要通过计算得到缩放比例f、水平运动矢量ΔX、垂直运动矢量ΔY这三个参数。假设某一条边上的5个参考点原始坐标为(X1,Y1)~(X5,Y5),新坐标为(X1′,Y1′)~(X5′,Y5′)。
通过每两个点,得到求取缩放比例f、水平运动矢量ΔX、垂直运动矢量ΔY的公式如下:
Y1/X1=tanα
Y2/X2=tanβ
(Y1′-ΔY)/(X1′-ΔX)=tanα
(Y2′-ΔY)/(X2′-ΔX)=tanβ
(Y1′-ΔY)/Y1=f
(Y2′-ΔY)/Y2=f
在参考图像帧中,对于每一个目标关键点,其本质映射到图像中,是表征一块区域内的像素,用户在图像中指定的关键点,是覆盖多个像素的一块区域,可以称之为特征块,每个像素都记录有一定的图像信息,因此,在下一帧图像中,可以根据初始图像中每个像素点记录的图像信息,在新的拍摄图像中进行图像识别以及匹配,达到识别特征块的作用。比如可以针对某个当前宏块,在一定的搜索范围内,根据一定的匹配算法找出与当前块最相似的匹配块。匹配块与当前块的相对位移即为运动矢量。由于参考帧拍摄图像的运动矢量(即其水平运动矢量和垂直运动矢量的总和)都是已知且可以计算出来,以其中任意两个点为例,按照如上计算公式可以得到缩放比例f。
为了提高计算的精度,进一步的,对于步骤S1022,所述根据目标参考点的坐标及对应的预测参考点的坐标,获取所述移动摄像终端的移动矢量值和缩放比例,包括:
将每两个参考点得到的移动矢量值和所述缩放比例分别取平均值;
将平均后的移动矢量值和所述缩放比例作为目标矢量值和目标缩放比例。
若每两个点之间的缩放比例f、水平运动矢量ΔX、垂直运动矢量ΔY均相近,则所有累加得到的平均值,即为最终值。
因此遮盖区域四个边角a、b、c、d的新坐标,可通过如下公式得到:
Xa’=Xa*f+ΔX
Ya’=Ya*f+ΔY
依次类推得到其他b,c,d点的新坐标值,也就可以确定在下一帧拍摄图像中所述预测关键点的坐标,进而得到新的敏感区域位置,进行实时遮盖。
但是在一副拍摄的图像中,很多宏块可能本身就比较相似,所以在找匹配块时,有可能会找到其他宏块。从而导致误差或异常。考虑每次计算可能带来误差,为减小误差累加,除了前后两帧拍摄图像的比对外,还考虑与前向多个已拍摄的图像帧进行比对。在具体实现时,可以将预设拍摄时候的图像帧进行保存,已供后续图像帧进行参考。例如取前第3帧、前第5帧、前第10帧的图像,与当前帧的关键点分别进行移动矢量值和缩放比例的计算。具体方法如上所述。若通过多个图像帧计算得到的每个关键点的新坐标接近,则保留所述每个关键点的新坐标值,如其中某个关键点计算的结果相差过大,则去除。并进一步的,将相似坐标值,再次取平均,则得到最终每个关键点对应的新的坐标。
优选的,所述方法还包括:
对于下一帧拍摄图像而言,可以基于预测参考点的坐标,将所述预测参考点间的连线形成第二轮廓;
针对所述第二轮廓中的每个预测参考点,判断每个预测参考点相对于其他预测参考点的位置关系与该预测参考点对应的目标参考点在所述第一轮廓中相对于其他目标参考点的位置关系是否一致,若不一致,则删除该预测参考点;若一致,则保留该预测参考点。
根据本实施例中提供的计算方法,可以找到原始参考点在新图像中的坐标位置,也就是预测参考点的坐标。由于预测参考点理论上,其应该仍然保持原有图形结构和大致轮廓,例如在垂直方向上选取的原始参考点,移动后对应预测参考点仍然应该保持在一个垂直方向,从而可剔除掉异常点。
步骤S103:根据所述预测关键点的坐标,在所述下一帧拍摄图像中对所述预测关键点对应的区域进行遮挡。
进一步的,所述方法包括:
步骤S201,根据每帧拍摄图像相对于参考帧拍摄图像确定的每个关键点的移动矢量值,可以获取参考帧拍摄图像的运动矢量;
步骤S202,根据参考帧拍摄图像的运动矢量确定下一帧图像中每个关键点的坐标,以使得在当前帧中对下一帧图像中由每个关键点的坐标所对应覆盖的待遮挡的区域提前遮挡。
在摄像机移动过程中,可以根据连续多帧拍摄图像中参考关键点确定参考帧拍摄图像的运动矢量,包括水平运动矢量和垂直运动矢量,从而确定摄像终端的动作,比如是在平移,还是在缩放,从而提前进行少量像素范围的遮挡,以避免在运动过程中,遮挡不完全。
进一步的,当所述预测关键点的坐标对应的区域超过所述下一帧拍摄图像的图像边界时,对应步骤S103,所述根据所述预测关键点的坐标,在所述下一帧拍摄图像中对所述预测关键点对应的区域进行遮挡,具体包括:
步骤S1031,根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述预测关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
如图4所示,在初始拍摄位置,遮挡区域(图中以阴影部分为例),此时,遮挡区域在初始拍摄的图像的右侧,随着移动摄像终端的位置调整,在一段时间后,到达中间拍摄位置,此时,遮挡区域移动到拍摄图像的左侧,再经一段时间后,遮挡区域从拍摄图像中消失。
在此过程中,预测关键点的坐标对应的区域会超过下一帧拍摄图像的边界,也即在拍摄图像中预测关键点的坐标对应的区域是随着每一帧拍摄图像逐渐变小的,此时需要根据根据参考帧拍摄图像的运动矢量和当前帧拍摄图像中关键点的坐标预测下一帧拍摄图像的每一个预测参考点在边界附近的坐标,如果预测参考点的坐标超出边界,则认为该预测参考点的区域已经不在拍摄范围内,再查找其他预测参考点的位置,通过剩余预测参考点的坐标确定遮挡区域,直到所有预测参考点都超出边界,此时认为遮挡的区域已经不在拍摄范围内,进而不必再进行遮挡。
进一步的,如图4中的终点拍摄位置,到达终点拍摄位置后,移动摄像终端做往复运动,向初始拍摄位置靠近,此过程每一帧的拍摄图像都是从初始拍摄位置到终点拍摄位置的逆过程。所述方法还包括:
步骤S1032,当所述下一帧拍摄图像中不存在所述预测关键点对应的区域时,获取初始拍摄图像中初始遮挡区域的位置信息,所述位置信息包括初始关键点的特征信息;
步骤S1033,在所述下一帧拍摄图像的边界搜索关键点,所述关键点的特征信息与所述初始关键点的特征信息匹配;
步骤S1034,当所述下一帧拍摄图像的边界存在所述关键点时,根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
在实际计算遮挡区域的位置坐标等信息时,由于移动摄像终端的运动的复杂程度不同,仅预测计算关键点的坐标,可能会存在遮挡区域的误差。
当目标遮挡区域不在拍摄图像中时,由于此时无法通过每张拍摄图像确定出目标遮挡区域在消失后的坐标移动,此时,考虑到目标遮挡区域可能会基于移动摄像终端的位置变化,重新出现在拍摄图像中,结合参考帧拍摄图像的运动矢量,可能会存在坐标计算的误差,因此,需要在后续拍摄的每一帧图像中,确定目标遮挡区域每一个关键点是否重新出现。
对于每帧图像,同样采用运动估算法,在拍摄图像区域中遍历的查找与参考帧图像中目标关键点匹配的关键点。
为了提高识别的效率,需要基于每一帧拍摄的图像,确认关键点的信息,考虑到图像运动的规律,以摄像终端往返循环运动为例,参考图2和图4,若待遮挡区域重新出现在拍摄图像中,在拍摄图像的上方,可以仅搜索ab边上的关键点,如a点或者b点,或者是在a点和b点中间选取的其他关键点;类似的,在图像的右方,仅搜索bc边上的关键点;在图像的下方,仅搜索cd边上的关键点;在图像的最左方,搜索da边上的关键点。当搜索到新的关键点后,参考上述实施例中描述的坐标计算方法,可以得到新的遮挡区域。
若查找到所述匹配的特征块,则确定与目标关键点匹配的关键点重新出现在拍摄图像中。
考虑到当前图像中敏感区域是从无到逐渐出现在后续每一帧拍摄图像中,在计算每一关键点的新的坐标信息时,为了确定每一个关键点的有效性,这时参与匹配的关键点可以适当多设置一些,每个边至少10个关键点,以保证准确度。
对于每一个关键点,其本质映射到图像中,是表征一块区域内的像素,例如图2中a点关键点,用户在图像中确定的关键点,是覆盖多个像素的一块区域,可以称之为特征块,每个像素都记录有一定的图像信息,因此,当关键点重新出现在新的拍摄图像中时,可以根据初始图像中每个像素点记录的图像信息,在新的拍摄图像中进行匹配,已达到识别特征块也就是关键点的作用。
通过采用以上技术方案,通过获取参考帧拍摄图像中目标遮挡区域所对应的目标关键点的坐标,预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标,最后根据预测关键点的坐标,在所述下一帧拍摄图像中对预测关键点对应的区域进行遮挡,相比与现有技术,本方案不容易受到环境干扰,能够能够实时遮挡敏感区域并预测每个关键点的坐标变化,相匹配地进行平移和缩放后的遮挡,提高了用户的使用体验。
基于相同的发明构思,本申请还提供了一种应用于移动的摄像终端的拍摄区域遮挡装置,如图5所示,所述装置200包括:
获取模块210,用于获取参考帧拍摄图像中目标遮挡区域所对应的目标关键点的坐标;
坐标确定模块220,用于根据所述参考帧拍摄图像的运动矢量,预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标;
遮挡模块230,用于根据所述预测关键点的坐标,在所述下一帧拍摄图像中对所述预测关键点对应的区域进行遮挡。
进一步的,所述目标遮挡区域为矩形区域,所述目标关键点为所述目标遮挡区域的四个角点,所述目标关键点间的连线形成第一轮廓,在所述第一轮廓的轮廓线上均匀选取目标参考点;
所述坐标确定模块220,具体包括:
坐标预测子模块,用于根据所述参考帧拍摄图像的运动矢量,在预设拍摄间隔后,预测下一帧拍摄图像中所述目标参考点对应的预测参考点的坐标;
移动处理模块,用于根据目标参考点的坐标及对应的预测参考点的坐标,获取所述移动摄像终端的移动矢量值和缩放比例;
坐标确定子模块,用于根据所述移动矢量值和所述缩放比例,确定所述下一帧拍摄图像中所述预测关键点的坐标。
进一步的,所述装置还包括:
轮廓确定模块,用于所述预测参考点间的连线形成第二轮廓;
参考点删除模块,用于针对所述第二轮廓中的每个预测参考点,判断每个预测参考点相对于其他预测参考点的位置关系与该预测参考点对应的目标参考点在所述第一轮廓中相对于其他目标参考点的位置关系是否一致,若不一致,则删除该预测参考点;若一致,则保留该预测参考点。
进一步的,当所述预测关键点的坐标对应的区域超过所述下一帧拍摄图像的图像边界时,所述遮挡模块230还用于根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述预测关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
进一步的,所述装置还包括:
位置信息确定模块,用于当所述下一帧拍摄图像中不存在所述预测关键点对应的区域时,获取初始拍摄图像中初始遮挡区域的位置信息,所述位置信息包括初始关键点的特征信息;
搜索模块,用于在所述下一帧拍摄图像的边界搜索关键点,所述关键点的特征信息与所述初始关键点的特征信息匹配;
遮挡模块210,还用于当所述下一帧拍摄图像的边界存在所述关键点时,根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
通过应用本申请的技术方案,通过获取参考帧拍摄图像中目标遮挡区域所对应的目标关键点的坐标,预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标,最后根据预测关键点的坐标,在所述下一帧拍摄图像中对预测关键点对应的区域进行遮挡,相比与现有技术,本方案不容易受到环境干扰,能够能够实时遮挡敏感区域并预测每个关键点的坐标变化,相匹配地进行平移和缩放后的遮挡,提高了用户的使用体验。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种应用于移动摄像终端的拍摄区域遮挡方法,其特征在于,所述方法包括:
获取参考帧拍摄图像中目标遮挡区域所对应的目标关键点的坐标;
根据所述参考帧拍摄图像的运动矢量,预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标;
根据所述预测关键点的坐标,在所述下一帧拍摄图像中对所述预测关键点对应的区域进行遮挡。
2.根据权利要求1所述的方法,其特征在于,所述目标遮挡区域为矩形区域,所述目标关键点为所述目标遮挡区域的四个角点,所述目标关键点间的连线形成第一轮廓,在所述第一轮廓的轮廓线上均匀选取目标参考点;
所述根据所述参考帧拍摄图像的运动矢量,预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标,具体包括:
根据所述参考帧拍摄图像的运动矢量,在预设拍摄间隔后,预测下一帧拍摄图像中所述目标参考点对应的预测参考点的坐标;
根据目标参考点的坐标及对应的预测参考点的坐标,获取所述移动摄像终端的移动矢量值和缩放比例;
根据所述移动矢量值和所述缩放比例,确定所述下一帧拍摄图像中所述预测关键点的坐标。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述预测参考点间的连线形成第二轮廓;
针对所述第二轮廓中的每个预测参考点,判断每个预测参考点相对于其他预测参考点的位置关系与该预测参考点对应的目标参考点在所述第一轮廓中相对于其他目标参考点的位置关系是否一致,若不一致,则删除该预测参考点;若一致,则保留该预测参考点。
4.根据权利要求1所述的方法,其特征在于,当所述预测关键点的坐标对应的区域超过所述下一帧拍摄图像的图像边界时,所述根据所述预测关键点的坐标,在所述下一帧拍摄图像中对所述预测关键点对应的区域进行遮挡,具体包括:
根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述预测关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述下一帧拍摄图像中不存在所述预测关键点对应的区域时,获取初始拍摄图像中初始遮挡区域的位置信息,所述位置信息包括初始关键点的特征信息;
在所述下一帧拍摄图像的边界搜索关键点,所述关键点的特征信息与所述初始关键点的特征信息匹配;
当所述下一帧拍摄图像的边界存在所述关键点时,根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
6.一种应用于移动摄像终端的拍摄区域遮挡装置,其特征在于,包括:
获取模块,用于获取参考帧拍摄图像中目标遮挡区域所对应的目标关键点的坐标;
坐标确定模块,用于根据所述参考帧拍摄图像的运动矢量预测在预设拍摄间隔后拍摄的下一帧拍摄图像中所述目标关键点对应的预测关键点的坐标;
遮挡模块,用于根据所述预测关键点的坐标在所述下一帧拍摄图像中对所述预测关键点对应的区域进行遮挡。
7.根据权利要求6所述的装置,其特征在于,所述目标遮挡区域为矩形区域,所述目标关键点为所述目标遮挡区域的四个角点,所述目标关键点间的连线形成第一轮廓,在所述第一轮廓的轮廓线上均匀选取目标参考点;
所述坐标确定模块,具体包括:
坐标预测子模块,用于根据所述参考帧拍摄图像的运动矢量,在预设拍摄间隔后,预测下一帧拍摄图像中所述目标参考点对应的预测参考点的坐标;
移动处理模块,用于根据目标参考点的坐标及对应的预测参考点的坐标,获取所述移动摄像终端的移动矢量值和缩放比例;
坐标确定子模块,用于根据所述移动矢量值和所述缩放比例,确定所述下一帧拍摄图像中所述预测关键点的坐标。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
轮廓确定模块,用于所述预测参考点间的连线形成第二轮廓;
参考点删除模块,用于针对所述第二轮廓中的每个预测参考点,判断每个预测参考点相对于其他预测参考点的位置关系与该预测参考点对应的目标参考点在所述第一轮廓中相对于其他目标参考点的位置关系是否一致,若不一致,则删除该预测参考点;若一致,则保留该预测参考点。
9.根据权利要求6所述的装置,其特征在于,当所述预测关键点的坐标对应的区域超过所述下一帧拍摄图像的图像边界时,所述遮挡模块还用于根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述预测关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
位置信息确定模块,用于当所述下一帧拍摄图像中不存在所述预测关键点对应的区域时,获取初始拍摄图像中初始遮挡区域的位置信息,所述位置信息包括初始关键点的特征信息;
搜索模块,用于在所述下一帧拍摄图像的边界搜索关键点,所述关键点的特征信息与所述初始关键点的特征信息匹配;
遮挡模块,还用于当所述下一帧拍摄图像的边界存在所述关键点时,根据所述参考帧拍摄图像的运动矢量和所述下一帧拍摄图像的边界点坐标,确定所述关键点在所述下一帧拍摄图像中对应的区域,并将所述区域进行遮挡。
CN201710199130.6A 2017-06-29 2017-06-29 一种应用于移动摄像终端的拍摄区域遮挡方法和装置 Active CN107094234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710199130.6A CN107094234B (zh) 2017-06-29 2017-06-29 一种应用于移动摄像终端的拍摄区域遮挡方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710199130.6A CN107094234B (zh) 2017-06-29 2017-06-29 一种应用于移动摄像终端的拍摄区域遮挡方法和装置

Publications (2)

Publication Number Publication Date
CN107094234A true CN107094234A (zh) 2017-08-25
CN107094234B CN107094234B (zh) 2020-01-14

Family

ID=59646565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710199130.6A Active CN107094234B (zh) 2017-06-29 2017-06-29 一种应用于移动摄像终端的拍摄区域遮挡方法和装置

Country Status (1)

Country Link
CN (1) CN107094234B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109996109A (zh) * 2019-03-19 2019-07-09 北京奇艺世纪科技有限公司 一种图像处理方法和装置
CN110322397A (zh) * 2019-06-25 2019-10-11 浙江大华技术股份有限公司 一种图像的遮挡方法、服务器、监控系统以及存储介质
CN110830722A (zh) * 2019-11-29 2020-02-21 青岛网信信息科技有限公司 基于基站隐私保护的安全拍照方法
CN110958388A (zh) * 2019-11-29 2020-04-03 青岛网信信息科技有限公司 基于互联网保护隐私的安全拍照方法
CN114998814A (zh) * 2022-08-04 2022-09-02 广州此声网络科技有限公司 目标视频生成方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179378A (zh) * 2011-12-26 2013-06-26 天津市亚安科技股份有限公司 具有隐私遮挡功能的视频监控装置以及隐私遮挡方法
CN104038740A (zh) * 2014-06-17 2014-09-10 武汉烽火众智数字技术有限责任公司 一种遮蔽ptz监控摄像机隐私区域的方法及装置
CN106375737A (zh) * 2016-11-25 2017-02-01 浙江宇视科技有限公司 一种视频图像局部遮挡的方法及装置
CN106559656A (zh) * 2016-11-30 2017-04-05 浙江宇视科技有限公司 监控画面遮盖方法、装置及网络摄像机

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179378A (zh) * 2011-12-26 2013-06-26 天津市亚安科技股份有限公司 具有隐私遮挡功能的视频监控装置以及隐私遮挡方法
CN104038740A (zh) * 2014-06-17 2014-09-10 武汉烽火众智数字技术有限责任公司 一种遮蔽ptz监控摄像机隐私区域的方法及装置
CN106375737A (zh) * 2016-11-25 2017-02-01 浙江宇视科技有限公司 一种视频图像局部遮挡的方法及装置
CN106559656A (zh) * 2016-11-30 2017-04-05 浙江宇视科技有限公司 监控画面遮盖方法、装置及网络摄像机

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109996109A (zh) * 2019-03-19 2019-07-09 北京奇艺世纪科技有限公司 一种图像处理方法和装置
CN109996109B (zh) * 2019-03-19 2021-12-17 北京奇艺世纪科技有限公司 一种图像处理方法和装置
CN110322397A (zh) * 2019-06-25 2019-10-11 浙江大华技术股份有限公司 一种图像的遮挡方法、服务器、监控系统以及存储介质
CN110322397B (zh) * 2019-06-25 2023-05-12 浙江大华技术股份有限公司 一种图像的遮挡方法、服务器、监控系统以及存储介质
CN110830722A (zh) * 2019-11-29 2020-02-21 青岛网信信息科技有限公司 基于基站隐私保护的安全拍照方法
CN110958388A (zh) * 2019-11-29 2020-04-03 青岛网信信息科技有限公司 基于互联网保护隐私的安全拍照方法
CN114998814A (zh) * 2022-08-04 2022-09-02 广州此声网络科技有限公司 目标视频生成方法、装置、计算机设备和存储介质
CN114998814B (zh) * 2022-08-04 2022-11-15 广州此声网络科技有限公司 目标视频生成方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN107094234B (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN107094234A (zh) 一种应用于移动摄像终端的拍摄区域遮挡方法和装置
CN112019768B (zh) 一种视频生成方法、装置及电子设备
CN108665476B (zh) 一种行人跟踪方法以及电子设备
US20230267623A1 (en) Determining multiple camera positions from multiple videos
JP2018507476A (ja) コンピュータビジョンに関する遮蔽処理
CN111654700B (zh) 一种隐私遮蔽处理方法、装置、电子设备及监控系统
US9934585B2 (en) Apparatus and method for registering images
Liu et al. Localization-oriented coverage in wireless camera sensor networks
Ahmadi et al. Small dim object tracking using frequency and spatial domain information
Xu et al. Dynamic obstacle detection based on panoramic vision in the moving state of agricultural machineries
JP2007006111A (ja) トリミング制御装置及びトリミング制御プログラム
CN113910224A (zh) 机器人跟随的方法、装置及电子设备
CN113808162A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN107977986B (zh) 一种运动轨迹的预测方法及装置
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
JP2010219934A (ja) 目標追尾装置
CN112819889A (zh) 位置信息的确定方法及装置、存储介质、电子装置
Bombrun et al. Algorithm for particle detection and parameterization in high-frame-rate thermal video
JP6154759B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム
Zhang et al. Dim moving infrared target enhancement based on precise trajectory extraction
CN111967403B (zh) 视频移动区域确定方法、装置及电子设备
Kim et al. Study on effective visual surveillance system using dual-mode (Fixed+ Pan/Tilt/Zoom) camera
KR101480824B1 (ko) 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법
Zingoni et al. Real-time moving objects detection and tracking from airborne infrared camera
Ciurapiński et al. Data fusion concept in multispectral system for perimeter protection of stationary and moving objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant