CN108269260B - 动态影像去背方法、系统与计算机可读取存储装置 - Google Patents

动态影像去背方法、系统与计算机可读取存储装置 Download PDF

Info

Publication number
CN108269260B
CN108269260B CN201611262041.3A CN201611262041A CN108269260B CN 108269260 B CN108269260 B CN 108269260B CN 201611262041 A CN201611262041 A CN 201611262041A CN 108269260 B CN108269260 B CN 108269260B
Authority
CN
China
Prior art keywords
image
frame
color
color block
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611262041.3A
Other languages
English (en)
Other versions
CN108269260A (zh
Inventor
李雨暹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanfan Technology Co ltd
Original Assignee
Fanfan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanfan Technology Co ltd filed Critical Fanfan Technology Co ltd
Priority to CN201611262041.3A priority Critical patent/CN108269260B/zh
Publication of CN108269260A publication Critical patent/CN108269260A/zh
Application granted granted Critical
Publication of CN108269260B publication Critical patent/CN108269260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种动态影像去背方法、系统与计算机可读取存储装置,目的之一是将一个动态影片中的某个动态影像对象自影片中取出,主要方法是先自影片中取得多帧影像,通过图像处理后辨识出各帧的影像特征,通过图像处理为色块后,可以比对各色块中各像素值在前后帧的变化量,形成各色块变化量,根据前后帧的各色块变化量可决定一同样也为动态影像的目标物体,并取得目标物体的轮廓,之后设目标物体以外的色块为透明区域后,产生经去背的目标物体。本公开提供的动态影像去背方法可以更快速产生去背的动态影像。

Description

动态影像去背方法、系统与计算机可读取存储装置
技术领域
本发明关于一种图像处理方法与系统,特别涉及处理动态影像使之分离前后景的动态影像去背方法、系统与计算机可读取存储装置。
背景技术
多数讨论影像去背(消除背景)功能时,都是针对静态影像,使用的工具例如图像处理软件中的魔术棒功能,使用者操作魔术棒点选要变成透明的颜色区域,软件程序接着去除此颜色区域的步骤,必要时,经过几次选择后,可以将这个静态影像中目标物体以外的区域变成透明的影像,达到去背的目的。另有一种贝塞尔曲线(path)的工具,让使用者操作鼠标或笔型工具在欲去背的影像边缘上,运用贝塞尔曲线在每隔一段距离描绘出影像轮廓,最后可以将轮廓以外的区域减除,亦实现去背的目的。
若欲对动态影像去背,在现有技术中,当需要拍摄一个背景可以依照需求变化的动态物体时,首先考虑如电影在绿幕或其他单色幕前拍摄某个移动中物体的方式,在此绿幕前拍摄完成后,后制可以方法地取得此移动物体单独的影片,能轻易地加入这个移动物体的背景影像,或说将此移动物体迭合在其他背景影像上。
但是,若非从绿幕前拍摄动态影像,而是要从一个已经完成的影片中取出其中一个移动中的物体时,根据现有技术,需要通过影片处理的软件,将影像(如每秒30帧)获取出每帧(frame)的静态影像,对每帧影像单独执行去背的处理,而留下目标物体,之后再将处理过去背的各帧影像重新组合,形成一个没有背景影像而仅留下选取物体的影片。
发明内容
有鉴于现有技术需要通过后制程序去除一部影片中某个目标物体以外影像的繁复过程,本发明公开公开书提出一种动态影像去背方法、系统与计算机可读取存储装置,主要是通过图像处理,将图像处理成为色块,根据色块的变化分离动态影片中的各帧影像前后景,达到动态影像去背的目的。
根据实施例,公开公开书公开一种动态影像去背方法,方法包括先自内存中取得一影片,自影片取出多帧影像,以分析各帧中相邻像素的关系,以取得各帧的影像特征,再根据各帧影像中的影像特征区分为多个色块,色块分别记载于内存中,各色块赋予一识别数据,各色块包括多个像素值,各像素值还记载关联于所属色块的识别数据。之后,比对各色块中各像素值在前后帧的变化量,形成各色块变化量,接着根据前后帧的各色块变化量决定一目标物体,并取得此目标物体的轮廓或涵盖色块,再设目标物体以外的色块为透明区域。
进一步地,根据再一实施例,公开公开书描述一种动态影像去背系统,系统主要包括一或多个处理单元、取得影片的输入单元、输出经去背后动态影像的输出单元、存储程序集的记忆单元。
进一步地,记忆单元存储执行动态影像去背方法的程序集,程序集经一或多个处理单元执行后,执行以下步骤:自影片取出多帧影像、分析各帧的影像特征,是取得各帧中相邻像素的关系、根据各帧影像中的影像特征区分为多个色块、比对各色块中各像素值在前后帧的变化量,形成各色块变化量、根据前后帧的各色块变化量决定一目标物体,并取得目标物体所涵盖的色块,以及设目标物体以外的色块为透明区域,形成去背的动态影像。
进一步地,根据再一实施例,提供一计算机可读取存储装置,其中存储程序集,程序集经一或多个处理器执行后,执行以下步骤:取得一影片;自影片取出多帧影像;分析各帧的影像特征,是取得各帧中相邻像素的关系;根据各帧影像中的影像特征区分为多个色块,各色块包括多个像素值,各像素值还记载关联于所属色块的一个识别数据;比对各色块中各像素值在前后帧的变化量,形成各色块变化量;根据前后帧的各色块变化量决定一目标物体,并取得目标物体的轮廓或涵盖色块;以及设目标物体以外的色块为透明区域。
附图说明
图1A至图1C显示一动态物体在一影片中向下落而经本发明动态影像去背方法完成去背的情境示意图;
图2A至图2E显示另一种动态物体在一影片中移动而经本发明动态影像去背方法完成去背的情境示意图;
图3示意显示利用本发明动态影像去背方法分辨区域的实施例示意图;
图4示意显示利用本发明动态影像去背方法处理色块间小区域的实施例示意图;
图5显示为本发明动态影像去背系统的电路方块实施例图;
图6显示为本发明动态影像去背方法的实施例流程之一;
图7显示为本发明动态影像去背方法的实施例流程之二;
图8A与图8B示意显示利用软件程序增减目标对象色块的实施例图;
图9显示为本发明动态影像去背方法的实施例流程之三。
具体实施方式
本发明公开公开书提出可以判断动态影片中主要的目标物体与背景,以及分离前后景的一种图像处理方法与系统,发明的主要目的的一个是能够将已经录制完成的动态影像中特定目标动态影像经去背后独立取出,成为一个背景透明的动态影像,使得此动态影像可以迭合其他背景之上。
特别的是,本发明是通过一系列自动程序实现动态影像去背的效果,方法中考虑了各色块在前后帧的变化,由于考虑影片形成时的状况,因此,在特定情况下可以变化量较大者设为欲取出的目标物体,仍可以将变化量较小者设为目标物体。更者,本发明方法适用在移动装置上,还因为方法考虑了前后景都有变动的情况,而适用于以移动装置所拍摄的影片。
先参考图1A至图1C所示的情境参考图,图中显示一动态物体在一影片中向下落而经本发明动态影像去背方法完成去背的情境示意图。
图1A显示影片10为一动态影像,其中有一移动中的物体101,示意为一颗向下落的球,背景示意为一砖墙,砖墙上主要影像为多个方块形状的砖103以及相邻砖103之间的长条隙缝105。
图1B显示影片10中下一段时间的物体101’,此物体101’相对图1A的物体101为已经移动一段距离的球,背景依然为由多个砖103以及相邻砖103之间隙缝105组成的砖墙。
接着图1C显示经去背处理的影片10’,经过本发明动态影像去背方法的图像处理步骤后,可将前述砖墙等背景影像去除,留下一个正在下落的目标物体101”,其背景因为相似度高,隙缝105可以被处理为噪声而被忽略,主要的砖103形成整体影像为一色块的状态,例如处理成透明影像107或其他容易去除的单色影像,目标物体101”为一个动态的影像,可以应用在任何背景影像中,达到类似传统以绿幕录制一去背影片的目的。但不同的是,本发明提出的动态影像去背方法是直接自一部完成录制的影片中取出其中动态目标物体的技术,其中将图像处理成色块与找寻目标物体轮廓的手段与现有技术不同。
图2A至图2D显示另一种动态物体在一影片中移动而经本发明动态影像去背方法完成去背的情境示意图。
图2A显示影片20中有个移动中的物体201,本例示意物体201为一跑步中的人,背景203示意为一风景,当此影片20制作时,摄影机为跟随物体201移动拍摄,因此背景203本身也是一个移动中的影像。
图2B显示以本发明提出的动态影像去背方法处理影片20时,会先经影片20取出为多个帧(frame),取得每一帧的像素信息后,根据像素的信息以及相邻像素的关系,通过色块处理,可以忽略其中小细节,使得每一帧图像处理成较大面积色块,如图中显示的色块211(211a,211b,211c),212,213,214,215与216。
举例来说,图2A示意背景为一个有山、太阳、房子的图案,前景为一个人在跑步,经过动态影像去背步骤后,可以形成如图2B所示忽略细节的色块211(211a,211b,211c),212,213,214,215与216,每个色块的形成与其中像素形成的影像特征有关。藉此可以根据色块的影像变化进一步得到目标物体(如色块211)的轮廓或涵盖色块。
在处理色块的步骤中,还涉及影片20中前后帧的影像变化,如图2C所示。影片20中移动中的各个色块211(211a,211b,211c),212,213,214,215与216在前后帧形成一个位移(以虚线表示位移变化),此为计算色块的变化量参考的一个。在此一提的是,当使用者是通过手持的方式握持移动装置拍摄原始影片,势必会有晃动的问题,因此不论前后帧影像中的前景或背景都会有移动的问题,但在本发明去背的机制下,当考虑色块变化(影像位移)时,这个整体性的位移将被同时考虑,使得手持晃动不会影响去背的效果。
经比对各色块中各像素值在前后帧(前一帧与后一帧)的变化量时,可以计算出各色块在前后帧的变化量,例如计算每个色块中的总体像素值变化的平均值(或是其他统计值),当相邻的色块具有在一个门限范围(随情况不同而变动)内的变化量时,可以视为同一色块,如本例中相邻色块211a,211b与211c初判为三个色块,但经变化量分析后,可以视为一个色块211。
再如图2D所示经去背处理的影片20’,色块212,213,214,215与216因为具有较低动态(变化量),可以视为相对稳定的背景217,而色块211相对于其他色块212,213,214,215与216为一个相对动态(变化量)较大的色块,成为欲获取的目标物体211’。经确定此目标物体所占有的位置后。之后重复以上步骤,可以得到最初影片中20所取得的各帧中的目标物体211’,以得到连续影像中目标物体211’的轮廓或涵盖色块,所以动态的目标物体211’可自背景217分离出来。目标物体211’所涵盖的色块形成一个整体的区域,将此区域涵盖的套用在原本影片20上以得出可以迭合在其他背景影像的经去背的动态影像。
当取得影片中目标物体211’时,系统提供如图2E显示实现本发明动态影像去背方法的软件程序所提供让使用者可执行后续操作的一使用者接口,使用者接口如移动装置的触控显示器或特定装置提供的操作接口,让使用者可以在系统得出经去背的目标物体211’后,还能利用触控手势或是特定操作方式(如悬浮手势,air gesture)在使用者接口上选取回复的背景色块212’,亦可删除已经被判断为目标物体211’的其中色块。所述使用者接口可参考图8A与图8B,范例显示在以上程序中被视为背景一部分的背景色块212’被重新选择后成为被保留下来的对象。
图3示意显示利用本发明动态影像去背方法分辨区域的实施例示意图,此示意图显示一个影片中各帧影像的某个区域,这个区域由数组形式的像素301所组成。
根据动态影像去背方法的实施例的一个,经取得影片中各帧的影像时,将分析取得各帧的影像特征,影像特征也就是指各帧影像中像素的相似度分布。一张影像中相邻像素会有一定相似度,当此相似度在一范围内,可视为同一色块,直到有相邻像素具有较大差异时,则可以区分出色块之间的界线。
根据图示范例,若相邻像素值的差异在设定的范围内,有一定的相似度,可视为同一色块;反之,相邻像素值的差异超过所设定范围的相似度时,则视为非同一色块,因此可以区隔出每个色块,如图示的色块31,32与33之间都可以描绘出色块的界线311与312。若参考前述范例,这些界线311与312配合前后帧色块的变化量计算即可判断出目标物体的轮廓或涵盖色块。
当一个影像定义出色块31,32与33时,在系统内存(如移动装置的内存)中可以赋予各色块一个识别数据(如色块ID),而存储时,色块内各像素的像素值将记载关联于所属色块的识别数据,使得系统取得各帧的色块时,前后帧的像素可以通过识别数据定位,以能计算前后帧像素差异。
接着可参考图4示意显示利用本发明动态影像去背方法处理色块间小区域的实施例示意图。
此示意图显示一个影片中各帧影像经分析影像特征而判断出的色块41,42,43,44,45,46,401,402,403,404,各帧影像经分析后取得各帧中相邻像素的关系,例如像素之间的颜色关系,可将原本各帧影像转换为特定色度空间,实施例如将多帧影像转换为一色相-饱和度-亮度(HSL,Hue-Saturation-Luminosity/Lightness)的色度空间,取得相邻像素之间的色相值(H值);相邻像素之间的关系还如饱和度(S值,颜色纯度)与亮度(L值)关系,或是另一色相-饱和度-明度(HSV,Hue-Saturation-Value)色度空间的关系,这些关系形成各帧的影像特征,于是,运行于系统中的电路与/或软件模块可根据各帧影像中的影像特征,将像素值相近(可参考图7的第一门限)的像素归为一个色块,于是可将各帧影像区分为多个色块。各色块包括多个像素值,各像素值还记载关联于所属色块的一个识别数据。
此图例中,可见有大色块,如色块41,42,43,44,45,46,以及大色块间的小色块,如色块401,402,403,404,根据系统实施例,可在大小色块之间设有一比例门限(如图7的第二门限)。举例来说,于各帧区分色块时,系统可计算各相邻色块占有面积的差异,差异大于一定比例门限时,或是某个面积门限时(如图7的第二门限),也就是当大色块中的小色块相对于邻近大色块的面积或是相对比例为相对小时,此类小色块可视为可忽略的噪声。
之后,系统记忆单元将可标注这些小色块的识别数据(色块ID),运算时忽略这类色块;或是直接将小色块并入大色块中。经此处理后,如图1A所示的具有小细节因为被并入大色块,或是被忽略,使得整块背景可以被视为一整片背景,更易于去背的目的。
如图4所示范例,若其中色块41,42,43,44,45,46同样属于一种色是、饱和度以及/或明亮度的色块,加上忽略了其间色块401,402,403,404,整面背景可被视为一个背景影像。
图5接着显示实现本发明动态影像去背方法的系统电路方块实施例图,系统可为运行在一计算机系统的硬件或是加上软件功能,还可为一种携带式装置,可以随时将拍摄的影片的背景去除而留下重要的动态影像(目标物体),经去背后的影像可作其他用途,包括可移作贴附在其他背景影像上。
此例显示有一存储装置51,如前述计算机系统中的存储装置、内存或是一外部存储器,其中存储拍摄完成的动态影像,由计算机系统50取得,以其中运算电路,或配合软件模块,执行动态影像去背方法,可以输出经去背的动态影像。
计算机系统50中实现去背程序的主要电路包括相互电性连接的记忆单元501、一或多个处理单元503、输入单元505与输出单元507等,计算机系统50经输入单元505自存储装置51取得影片后,经处理单元503处理,包括将影片取出各帧影像,图像文件案将先暂存在记忆单元501,并分析得到影像特征后可以决定区域,每个区域经赋予识别数据后,存储在记忆单元501,记忆单元501还记载每个区域中的像素值,接着利用记忆单元501暂存的影像信息,由处理单元503根据区域在前后帧的变化判断得到影片中目标物体,可经输出单元507输出。
输出的目标物体除了可以记载于特定存储装置外,还可以输出至一影像对象数据库52,其中存储经动态影像去背系统处理后去背的一或多个动态图像文件案,成为将来可提供其他使用者参考使用的图库。由于经本发明动态影像去背方法处理过,每个动态影像没有背景的干扰,因此提供更多应用。
根据实施例的一个,本例中的记忆单元501可电性连接一或多个处理单元503,记忆单元501用以存储执行动态影像去背方法的一程序集,程序集经一或多个处理单元503执行后,可执行如图6与图7的实施例流程。
图6显示本发明动态影像去背方法的实施例流程,方法执行于一计算机系统中,描述此流程时可参考公开公开书图1A至图1C,以及图2A至图2D的去背示意图说明。
一开始,如步骤S601,运行本发明动态影像去背方法的计算机系统自某个存储装置中取得一影片,每个影片每秒一般由多帧影像组成,通过图像处理手段,如步骤S603,可取出多帧影像,先暂存在计算机系统的内存,并接着分析各帧影像特征(步骤S605),其目的是将各帧影像中的像素分类,根据影像特征将影像区分为几个容易处理且能有效得出目标物体范围所涵盖的大区域。
分析各帧的影像特征主要目的是取得各帧中相邻像素的关系,相邻像素的关系如前述实施例所描述,可根据目的先转换影像至特定色度空间,例如原本影像处于红-绿-蓝(Red-Green-Blue)空间中,可以选择性转换到色相-饱和度-亮度(HSL)的色度空间,然而,本发明实施例并非限定在特定色度空间中。所述相邻像素值的影像特征如色相关系、饱和度关系与亮度(明暗度),或色相、饱和度与明度关系等,这些关系形成各帧的影像特征。
接着在步骤S607中,系统可根据影像特征将像素值相近者归为一个色块,以将各帧影像区分为多个色块,每个色块设有一识别数据,如ID,记录在内存中,各色块包括多个像素值,各像素值还记载在内存中,每个像素值记载关联于所属色块的一个识别数据,也就是内存存储了各色块识别数据,以及关联此识别数据的像素数据。再如步骤S609,系统将比对各色块中各像素在前后帧的变化量,也就是至少比对前后两帧,或是多帧,或是选定一定数量连续帧的像素变化,每个色块的多个像素在前后帧的变化量可以运算一统计值,表示为各色块变化量,于是可根据前后帧的各色块变化量决定一目标物体,如步骤S611,并取得该目标物体涵盖的一个色块或多个相连色块,并能取得目标物体的轮廓,其中各帧中目标物体所涵盖的一或多个色块识别数据一并存储至该内存中。
后续步骤还可设此目标物体以外的色块为透明区域,或是设一固定数值,例如将目标物体以外的色块值设为0或一设为去除的固定值,产生并存储经此去背处理的动态影像。在此一提的是,此处所称透明区域定义为由特定软件程序认定为可去除的背景区域,所述产生经去背的动态影像可以在此软件程序下与其他静态或动态背景结合,此软件程序可以识别出经前述程序设为0或特定固定值的背景影像,以能移除对应影像。
上述步骤中,在决定前后帧影像中的色块时,可以利用门限决定属于同一色块的像素;其中可以进一步通过门限过滤掉可忽略的小色块;且当在判断各色块变化时,亦可辅以门限值,可以根据色块的相对变化量同时判断出属于前景与后景的色块,其中属于前景的色块即可视为目标物体的色块,之后套用原本影像,可以顺利产生经去背的影像。
实施例如图7所示的流程。
如步骤S701所述,取出组合影片的各帧影像,分别暂存在系统内存中,接着计算各帧影像中相邻像素的影像差异,影像差异如像素值之间的某个单色值差异、色相差异、饱和度差异,或是明度或亮度的差异,或是这些差异值全部或部分组合形成的综合性差异,再如步骤S703,相邻像素的差异值比对第一门限,此设有差异值范围,差异在此范围门限内的像素表示差异相对小,可以归类为同一色块,如此可以决定各帧影像中的色块。第一门限可以依照不同的影像调整,让系统可以准确地得出适当取出目标物体的色块。
然而,将影像区分为色块后,却可能因为影像复杂度愈高而产生相对复杂的色块,也可能造成图像处理的复杂度,因此可以如步骤S705所述,色块得出后,计算相邻色块面积差异,或是相邻色块的面积比例,如步骤S707,此时可比对第二门限,此第二门限可以检验相邻色块的面积差异或比例是否过大,相对小的色块与相对大的色块差异若大于第二门限,表示相对小的色块决定为可忽视的噪声,可以经标示其中像素后不列为计算对象,或是与邻近色块合并。经此步骤后,可以使得各帧影像区分为较少数量的大色块。
一个动态影像中连续帧的影像也应有一定的变化,如步骤S709所述,系统接着计算各色块在前后帧的像素值变化量的统计值,例如色块变化量为计算各色块中多个像素值在前后帧的变化量的平均值,作为各色块变化量,这个变化量经分析后,如步骤S711,可以得到动态较大的色块以及动态较小的色块。
色块的变化量,或说动态,可以经比对第三门限决定目标物体,如步骤S713,其中各色块变化量比对第三门限时较大者的一或多个相连色块即设为目标物体;并不排除在特定情况下,是将色块变化量较第三门限小者设为目标物体;或是,设有一个范围门限,当相连色块彼此在前后帧(两个以上的帧)变化量在此范围门限内,可设为一个大区域的物体,若与其他色块比对后又大于第三门限,即得出目标物体。在一实施例中,第三门限为一距离门限,前后帧中各色块变化量应计算出前后帧的同一色块位移距离后,可与此距离门限比对,可据以判断目标物体。
举例来说,如图1A至图1C,其中物体(101,101’,101”)为相对背景影像(砖103)为动态较大的影像对象,属于背景的色块也是为动态较为相近的色块,通过步骤S713比对第三门限可决定出动态相对大的一或多个色块,因此在此图1A至图1C范例中,动态相对较大的色块成为系统欲取得的目标物体。
如图2A至图2D,影片(20)为包括有前景(物体201)与背景(203)的动态影像,前景所属色块(201a,201b,201c)在此动态影片中为动态相对大的物体,可以合并而得出目标物体的轮廓或涵盖色块;背景所属色块(212,213,214,215,216)则可能有相近的动态,因此可以明确通过比对决定出应消除的背景影像,以及欲取出的目标物体。
值得一提的是,因为每个影片录制的方式不同,亦可以在特定运镜下产生目标物体有相对小的动态,而背景为相对大但是动态相近的影像,同样可通过第三门限决定得到属于目标物体的一或多个色块。
更者,影片经本发明去背方法中的步骤流程处理过,可顺利得出目标物体,但若是影片为复杂度较高而具有多个明去物体的动态影像,所述流程不排除可以提供使用者通过计算机系统的输入手段(如触控显示器、鼠标、键盘、触控笔等)决定哪一个物体为欲进行去背处理的影像,其余不属于此目标物体的色块可以视为背景影像而去除。
公开公开书所记载的本发明实施例还涉及一计算机可读取存储装置,其中存储一程序集,程序集经一或多个处理器执行后执行如图6或图7所述的动态影像去背方法实施例流程。
当以前述实施例所载发明流程实现动态影像去背的目的,产生了最后的目标物体时,系统可通过软件程序启始的使用者接口让使用者可以选择性地增减色块,以产生经由客制化的目标图案。
可参考图8A示意显示利用软件程序增减目标对象色块的实施例图,此软件程序运行于本发明提出的动态影像去背系统,可以为一具有触控显示器或特定操作接口的计算机系统。
当以本发明动态影像去背方法处理某影片而得到目标物体之后,系统提供的软件程序如图中显示计算机装置80上的使用者接口,如一种触控显示器,或是其他操作接口,提供增加色块或减少色块的功能。如图所示,计算机装置80上显示经去背取得的目标物体,示意为第一色块81与第二色块83,以虚线表示的第三色块85示意表示为被视为背景而被去除的色块。
使用者接口的某处提供增加(”+”)与减少(”-”)色块的互动接口,并提供使用者执行点选与涂抹的手势以增加或减少色块。就计算机系统所执行的软件程序而言,当以上述实施例方法决定目标物体后,能取得通过使用者接口取得一增加色块或减少色块的指令,以形成经增加色块或减少色块的目标物体。
举例来说,若以触控显示器或特定操作接口上操作手势,在增加色块的功能下,可以点选手势增加影像中的特定区域中一色相范围的色块,或者可以涂抹手势增加影像上手势经过区域的另一色相范围的色块;在减少色块的功能下,可以点选手势减少影像中的特定区域中某色相范围的色块,或者可以涂抹手势减少影像上手势经过区域的某色相范围的色块。
值得一提的是,若以触控显示器为例,点选手势在触控显示器上形成一个触碰范围,系统取得触碰范围中心点作为触控点,当点选区域中某个点的影像时,系统决定出该点影像色相值,并决定出与此色相值相关的一色差范围,较佳可以采用较广的色差范围,理由是可以解决点触面积过小选择色相值不够的问题,以增加或减少在此色差范围内的相关色块。涂抹手势如手指在触控显示器上移动一段距离后,系统得到这个移动距离上的影像色相值,较佳可以采用较窄的色差范围,理由是降低抹除手势产生的过多色相值范围问题,藉此抹除手势增加或减少在此色差范围内的相关色块。
接着,如图8B所示,其中显示在减少色块的功能下,以手势选择图8A中第一色块81中线条,形成此图中改变后第一色块81’;在增加色块的功能下,以手势选择图8A中并未成为目标物体的第三色块85,形成此图中新增后第三色块85’。藉此使用者接口与软硬件搭配的作用下,提供更有弹性决定目标物体的功能。
除了以上可以使用者接口增加与减色目标物体色块的方式外,图9还提出可以排除误判目标物体的方法流程。
当利用本发明动态影像去背方法后,若产生有一个以上的目标物体,系统通过以下步骤排除误判为目标物体的色块。
根据实施例,当决定出影片中各帧影像中的色块后,如步骤S901,分析各色块在前后帧的变化量,如步骤S903,经比对第三门限取得一个色块或多个相连色块形成的目标物体,若同时有多个色块形成的区域满足此条件时,也就是同时判断出超过一个目标物体,可以如步骤S905所述,通过检查连续多帧影像排除当中短暂出现的区域,视为误判的目标物体而由系统主动设为欲删除背景的透明区域;或是如步骤S907所述,比对各分离的区域面积,将面积最大者设为目标物体,将其余面积较小者视为误判的目标物体,可设为透明区域。
根据以上公开公开书所揭实施例,可知本发明动态影像去背方法运行于一计算机系统中,通过电路与/或软件模块实现将影片中获取当中动态目标物体,产生经去背的动态影像,去背的方式的一是将影片中各帧的影像细节处理后形成色块,根据色块在前后帧的变化判断出当中目标物体,比如是前后帧比对后动态相对较大的色块的组合,成为系统欲获取的目标物体,如此不同于一般静态影像去背的技术,更不同于现有技术中需要前置通过绿幕,再以后制处理得出单独动态影像的方式,使得本发明动态影像去背方法更快速产生去背的动态影像,亦适合一般计算机系统的应用。
而以上所述仅为本发明的较佳可行实施例,非因此即局限本发明的权利要求,故举凡运用本发明说明书及图示内容所为的等效结构变化,均同理包含于本发明的范围内。

Claims (14)

1.一种动态影像去背方法,其特征在于所述的方法包括:
自一存储装置取得一影片;
自该影片取出多帧影像,每帧影像暂存于一计算机系统的一内存中;
分析各帧的影像特征,取得各帧中相邻像素的关系;
根据各帧影像中的影像特征区分为多个色块,其中将各帧中相邻像素的影像差异在一第一门限内的像素归类为同一色块,各色块设有一识别数据,记载于该内存中,该内存还记载多个像素值,各像素值还记载关联于所属色块的一个识别数据;
比对各色块中各像素值在前后帧的变化量,形成各色块变化量,其中各色块变化量为计算各色块中多个像素值在前后帧的变化量的一统计值;
根据前后帧的各色块变化量比对一第三门限取得一或多个相连色块,以决定一目标物体,当取得该目标物体涵盖的一个色块或多个相连的色块,各帧中该目标物体所涵盖的一或多个色块识别数据一并存储至该内存中;以及
设该目标物体以外的色块为透明区域。
2.如权利要求1所述的动态影像去背方法,其特征在于,于各帧区分色块时,计算各相邻色块占有面积的差异,当一第一色块占有面积大于一第二色块且彼此相邻,又该第一色块和该第二色块占有面积差异大于一第二门限时,该第二色块视为可忽略的噪声。
3.如权利要求1所述的动态影像去背方法,其特征在于所述的该目标物体以外的色块为该影片的背景影像;或者,该前后帧中色块变化量小于该第三门限的一或多个色块设为该影片中的背景影像。
4.如权利要求3所述的动态影像去背方法,其特征在于所述的前后帧中各色块变化量计算前后帧的同一色块位移距离;该第三门限为一距离门限。
5.如权利要求1至4中任一权利要求所述的动态影像去背方法,其特征在于,于分析各帧的影像特征前,将该多帧影像转换为一色相-饱和度-亮度的色度空间。
6.如权利要求5所述的动态影像去背方法,其特征在于所述的各帧的影像特征为各帧中相邻像素的色相、饱和度与亮度其中之一或其组合的影像差异,以取得各帧中像素的色相、饱和度或亮度的分布。
7.如权利要求6所述的动态影像去背方法,其特征在于所述的目标物体以外的色块值设为0或一设为去除的固定值,产生经去背的一动态影像。
8.如权利要求7所述的动态影像去背方法,其特征在于,于决定该目标物体后,提供一使用者接口,取得通过该使用者接口取得一增加色块或减少色块的指令,以形成经增加色块或减少色块的目标物体。
9.如权利要求7所述的动态影像去背方法,其特征在于,若同时有多个色块形成的区域被判断为目标物体时,执行排除该目标物体以外的区域的步骤包括:
检查该影片中连续多帧影像中短暂出现的区域,并主动设为透明区域;或
比对多个区域面积,将面积最大者设为该目标物体,将其余区域设为透明区域。
10.一种动态影像去背系统,其特征在于所述的系统包括:
一或多个处理单元;
一输入单元,电性连接该一或多个处理单元,用以取得一影片;
一输出单元,电性连接该一或多个处理单元,用以输出经该动态影像去背系统处理后去背的一动态影像;
一记忆单元,电性连接该一或多个处理单元,用以存储执行一动态影像去背方法的一程序集,该程序集经该一或多个处理单元执行后,执行以下步骤:
自该影片取出多帧影像;
分析各帧的影像特征,取得各帧中相邻像素的关系;
根据各帧影像中的影像特征区分为多个色块,其中将各帧中相邻像素的影像差异在一第一门限内的像素归类为同一色块,各色块包括多个像素值,各像素值还记载关联于所属色块的一个识别数据;
比对各色块中各像素值在前后帧的变化量,形成各色块变化量,其中各色块变化量为计算各色块中多个像素值在前后帧的变化量的一统计值;
根据前后帧的各色块变化量比对一第三门限取得一或多个相连色块,以决定一目标物体,并取得该目标物体的轮廓或涵盖色块;以及
设该目标物体以外的色块为透明区域,形成该去背的动态影像。
11.如权利要求10所述的动态影像去背系统,其特征在于,还包括一影像对象数据库,其中存储经该动态影像去背系统处理后去背的一或多个动态图像文件案。
12.如权利要求10所述的动态影像去背系统,其特征在于所述的动态影像去背系统为具有一触控显示器的计算机系统,用以接收以手势增加色块或减少色块的指令,以形成经增加色块或减少色块的目标物体。
13.如权利要求12所述的动态影像去背系统,其特征在于,以一点选手势增加或减少各帧影像中一色相范围的色块;或者以一涂抹手势增加或减少各帧影像中经该手势涂抹经过的另一色相范围的色块。
14.一计算机可读取存储装置,存储一程序集,其特征在于所述的程序集经一或多个处理器执行后,执行以下步骤:
取得一影片;
自该影片取出多帧影像;
分析各帧的影像特征,取得各帧中相邻像素的关系;
根据各帧影像中的影像特征区分为多个色块,其中将各帧中相邻像素的影像差异在一第一门限内的像素归类为同一色块,各色块包括多个像素值,各像素值还记载关联于所属色块的一个识别数据;
比对各色块中各像素值在前后帧的变化量,形成各色块变化量,其中各色块变化量为计算各色块中多个像素值在前后帧的变化量的一统计值;
根据前后帧的各色块变化量比对一第三门限取得一或多个相连色块,以决定一目标物体,并取得该目标物体的轮廓或涵盖色块;以及
设该目标物体以外的色块为透明区域。
CN201611262041.3A 2016-12-30 2016-12-30 动态影像去背方法、系统与计算机可读取存储装置 Active CN108269260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611262041.3A CN108269260B (zh) 2016-12-30 2016-12-30 动态影像去背方法、系统与计算机可读取存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611262041.3A CN108269260B (zh) 2016-12-30 2016-12-30 动态影像去背方法、系统与计算机可读取存储装置

Publications (2)

Publication Number Publication Date
CN108269260A CN108269260A (zh) 2018-07-10
CN108269260B true CN108269260B (zh) 2021-08-27

Family

ID=62755157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611262041.3A Active CN108269260B (zh) 2016-12-30 2016-12-30 动态影像去背方法、系统与计算机可读取存储装置

Country Status (1)

Country Link
CN (1) CN108269260B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586363B (zh) * 2020-05-22 2021-06-25 深圳市睿联技术股份有限公司 基于对象的视频文件查看方法及系统
CN111565300B (zh) * 2020-05-22 2020-12-22 深圳市百川安防科技有限公司 基于对象的视频文件处理方法、设备及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6288703B1 (en) * 1996-11-25 2001-09-11 Ultimatte Corporation Method for removing from an image the background surrounding a selected subject by generating candidate mattes
JP3748164B2 (ja) * 1998-02-06 2006-02-22 富士通株式会社 パターン抽出装置
JP2001266158A (ja) * 2000-01-11 2001-09-28 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
CN1312638C (zh) * 2003-09-29 2007-04-25 上海交通大学 基于分水岭算法的视频对象提取方法
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
TW200809696A (en) * 2006-08-08 2008-02-16 yao-sheng Dong Method and system for simple and rapid completion of image background removing
US8280115B2 (en) * 2007-10-30 2012-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN101750017A (zh) * 2010-01-18 2010-06-23 战强 大视场中多移动目标位姿的视觉检测方法
CN102088544B (zh) * 2011-02-16 2012-06-06 天津大学 具有前景目标的动态场景视频快速稳像方法
US20130017894A1 (en) * 2011-07-14 2013-01-17 Hongzhi Li System and Method for Integrating Digital Background with Stage Performance
JP5994493B2 (ja) * 2012-08-31 2016-09-21 カシオ計算機株式会社 動画像前景切抜き装置、方法、およびプログラム
CN102915544B (zh) * 2012-09-20 2015-04-15 武汉大学 基于纹理检测和颜色分割的视频图像运动目标提取方法
AU2013273784B2 (en) * 2013-12-20 2016-06-02 Canon Kabushiki Kaisha Method, system and apparatus for updating a scene model
CN105631455B (zh) * 2014-10-27 2019-07-05 阿里巴巴集团控股有限公司 一种图像主体提取方法及系统
CN105809726B (zh) * 2016-03-04 2018-07-03 大连米乐宏业科技有限公司 一种静态图转成动态图的方法
CN106060533B (zh) * 2016-06-01 2018-03-23 歌尔股份有限公司 一种摄像头色彩调试的方法及装置

Also Published As

Publication number Publication date
CN108269260A (zh) 2018-07-10

Similar Documents

Publication Publication Date Title
JP6553692B2 (ja) 動画像背景除去方法及び動画像背景除去システム
TWI543610B (zh) 電子裝置及其影像選擇方法
KR101468351B1 (ko) 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램
US10043300B2 (en) Image processing apparatus, control method, and record medium for selecting a template for laying out images
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
EP2980755B1 (en) Method for partitioning area, and inspection device
US10204432B2 (en) Methods and systems for color processing of digital images
CN107613202B (zh) 一种拍摄方法及移动终端
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
CN108269260B (zh) 动态影像去背方法、系统与计算机可读取存储装置
JP5914046B2 (ja) 画像処理装置および画像処理方法
US20160267356A1 (en) Image processing apparatus and image processing method of performing image segmentation
US20220283698A1 (en) Method for operating an electronic device in order to browse through photos
US20170372495A1 (en) Methods and systems for color processing of digital images
CN113129227A (zh) 图像处理方法、装置、计算机设备和存储介质
JP2012226403A (ja) 画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム
CN110222207B (zh) 图片的整理方法、装置和智能终端
KR20110091385A (ko) 영상 처리 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant