CN110099209A - 图像处理装置、图像处理方法和存储介质 - Google Patents

图像处理装置、图像处理方法和存储介质 Download PDF

Info

Publication number
CN110099209A
CN110099209A CN201910071434.3A CN201910071434A CN110099209A CN 110099209 A CN110099209 A CN 110099209A CN 201910071434 A CN201910071434 A CN 201910071434A CN 110099209 A CN110099209 A CN 110099209A
Authority
CN
China
Prior art keywords
image
background
background image
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910071434.3A
Other languages
English (en)
Other versions
CN110099209B (zh
Inventor
松井太一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110099209A publication Critical patent/CN110099209A/zh
Application granted granted Critical
Publication of CN110099209B publication Critical patent/CN110099209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19686Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像处理装置、图像处理方法和存储介质。所述图像处理装置包括检测单元配置为关于多个所拍摄图像检测存在前景对象的第一区域,保留单元配置为保留第一背景图像,生成单元配置为基于未被检测为第一区域的所述多个所拍摄图像的每一者的部分生成第二背景图像,以及输出单元配置为基于所述第二背景图像选择所述第一背景图像和所述第二背景图像中的一者,以及基于选择的背景图像和第一区域输出使所述前景对象模糊的图像。

Description

图像处理装置、图像处理方法和存储介质
技术领域
本发明的各个方面一般涉及一种从所拍摄图像隐匿诸如人的特定对象以保护隐私的图像处理装置、图像处理方法和存储介质。
背景技术
近年来,对由监视摄像机拍摄图像的个体的隐私保护的重要性在增加。因此,存在一种使用背景图像来检测要保护隐私的区域的技术。例如,存在一种预先获取在图像中没有显示前景时的定时处拍摄的图像作为背景图像,比较处理目标图像与背景图像,并基于比较结果对处理目标图像的特定区域进行隐藏处理(concealment processing),由此保护隐私的方法。日本专利特开第2016-115214号中所讨论的技术检测所拍摄图像中包括的人体或运动对象并基于检测来更新背景图像的方式进行处理,由此增加隐藏处理的精度。
在获取在图像中没有显示前景时的定时处拍摄的图像作为背景图像并固定地使用所述背景图像的技术中,如果例如在图像拍摄环境的亮度中出现大的变化,则与背景图像比较有时可能会导致区域被过度提取为前景。另一方面,在日本专利特开第2016-115214号中讨论的技术中,虽然将图像拍摄范围中包括的除了人体区域或运动对象区域以外的区域进行组合来顺次更新背景图像,但取决于进行图像拍摄的环境,会出现一直被确定为运动对象区域的区域,使得背景图像可能出现洞状缺陷状态。这里,洞状缺陷状态是从背景图像中移除运动对象区域的状态。使用此洞状缺陷图像作为背景图像来进行前景提取处理或隐私保护处理可能不利。
发明内容
根据本发明的一个方面,提供一种图像处理装置,所述图像处理装置包括:检测单元,配置为关于多个所拍摄图像检测存在前景对象的第一区域;保留单元,配置为保留第一背景图像;生成单元,配置为基于未被检测为第一区域的所述多个所拍摄图像的每一者的部分生成第二背景图像;以及输出单元,配置为基于所述第二背景图像的属性选择所述第一背景图像和所述第二背景图像中的一者,并基于选择的背景图像和所述第一区域输出使所述前景对象模糊的图像。
根据以下参照附图对示例性实施例的描述,本发明的其他特征将变得清楚。
附图说明
图1A是例示图像处理系统的每一个装置的硬件配置的框图,而图1B是例示图像处理系统的示意性配置的框图。
图2是例示每一个装置的功能配置的框图。
图3A、图3B、图3C和图3D是例示背景图像的生成处理的简略示意图。
图4是例示用于背景图像的生成处理的流程图。
图5A是例示隐私保护图像的生成处理的流程图,而图5B是例示用户界面的实例的图。
具体实施方式
下面,将参照附图详细描述本发明的各个示例性实施例、特征和方面。
<系统配置>
图1B的框图例示根据本发明的示例性实施例的图像处理系统的配置实例。所述图像处理系统例如包括摄像装置(图像记录装置)101和显示装置102,两者经由网络103以能够相互通信的方式互连。此外,例如,图像处理系统只需包括具有图像记录装置101和显示装置102的功能的单个图像处理装置,或者可以包括分别具有图像记录装置101或显示装置102的部分功能的三个或更多个装置。
摄像装置(图像记录装置)101和显示装置102中的每一者包括例如硬件配置,诸如图1A中所例示的硬件配置。此外,每一个装置可以包括除了所例示的硬件配置以外的配置,或者不必包括所例示的硬件配置的一部分。此外,在以下描述中,将主要描述包括摄像装置101的系统。
每一个装置包括例如存储单元201、控制单元202、功能单元203、输入单元204、输出单元205和通信单元206。存储单元201配置有只读存储器(ROM)和随机存取存储器存储器(RAM)两者或其中的任何一者,所述存储单元201存储诸如用于进行下面描述的各种操作的程序以及用于通信和各种处理操作的参数的各种信息。此外,除了诸如ROM和RAM的存储器,还可以使用诸如快闪存储器、硬盘驱动器(HDD)、固态驱动器(SSD)或光盘的移动存储介质作为存储单元201。
此外,控制单元202控制功能单元203进行诸如图像拍摄的预定处理操作。功能单元203为用于每一个装置进行预定处理操作的硬件。例如,在摄像装置101的情况下,功能单元203为进行图像拍摄处理的摄像单元。此外,例如,在显示单元102具有打印功能的情况下,功能单元203为在例如纸质介质上打印图像数据的打印单元,而在显示装置102具有投影仪功能的情况下,功能单元203为投影图像数据内容的投影单元。由功能单元203处理的数据可为存储在存储单元201中的数据或者可为通过经由下面描述的通信单元206与另一装置通信而获取的数据。
输入单元204为接收来自用户的各种操作的接口,并且在显示装置102的情况下,输入单元204为例如鼠标、键盘或触控面板显示器。输出单元205向用户进行各种输出操作。此处,由输出单元205进行的输出操作包括例如用于在显示画面上显示的输出操作、由扬声器进行的声音输出操作和向诸如警报灯等外部设备的警报输出操作。此外,可以通过配置为触控面板的单个模块实现输入单元204与输出单元205的组合。
通信单元206例如控制有线通信(或无线通信)和控制符合互联网协议(IP)的通信。每一个装置经由通信单元206与另一装置进行诸如图像数据、文档数据和视频数据等内容的通信。例如,经由相应装置的通信单元206进行图像记录装置101与显示装置102之间的通信。
图2是例示图像处理系统的每一个装置的功能配置的框图。如图2中所例示,摄像装置101包括图像获取单元111、图像存储单元112和图像传输单元113。通过控制单元202执行存储在存储单元201中的程序来控制功能单元(摄像单元)203而实现的图像获取单元111通过使用包括透镜和传感器的摄像单元(功能单元203)以预定间隔获取图像且然后将所获取图像提供到图像存储单元112。
通过例如存储单元201实现的图像存储单元112存储从图像获取单元111获取的图像。因此,图像存储单元112保留由摄像单元203拍摄的图像。通过通信单元206实现的图像传输单元113响应于从显示装置102接收的图像获取请求,从存储在图像存储单元112中的图像中获取所请求的图像并将所请求的图像传输到显示装置102。此外,从显示装置102接收的获取请求为例如包括指定图像拍摄日时的信息的信号,并且图像传输单元113能够基于有关所指定图像拍摄日时的信息,确定要传输到显示装置102的图像。从显示装置102接收的获取请求可为输送由摄像装置101获取的图像的简单请求。
另一方面,显示装置102包括图像接收单元121、检测单元122、图像转换单元123、背景存储单元124、背景更新单元125、剪影(silhouette)图像生成单元126、输出单元127和初始背景存储单元128作为其功能配置。
通过例如通信单元206实现的图像接收单元121将图像获取请求传输到摄像装置101,响应于获取请求从摄像装置101接收并获取图像,并将所获取图像提供到检测单元122、图像转换单元123和背景更新单元125。在以下描述中,将从摄像装置101获取的图像称为“所获取图像”。
通过例如控制单元202执行存储在存储单元201中的程序而实现的检测单元122检测所获取图像中所示的人(人体)区域。通过使用例如图案匹配法(pattern matchingmethod)进行此人区域检测。检测单元122生成表示所获取图像中是否显示人的信息,并且在所获取图像中显示一个或多个人的情况下,生成有关显示每一个人的区域在所获取图像上的坐标的信息。在以下描述中,将因此生成的信息称为“检测结果”。此外,这里,假设区域坐标为包括显示人的区域的矩形区域的坐标,但区域坐标也可为例如用于指定由沿着人的形状延伸的曲线环绕的区域的坐标。此外,显示人的区域可以为显示人的脸部和身体的区域,但也可以为例如仅包括人的脸部的区域。在以下描述中,将显示人的区域称为“人区域”。此外,人体可为整个身体,可为包括躯干(trunk)、头部和手臂的上半身(躯体(torso)),或者可为身体的一部分。在进行图案匹配的情况下,检测单元122将与检测对象的部分对应的特征用作字典并且扫描检测对象的图像以提取匹配区域。
此外,检测单元122能够通过例如使用背景差分法(background differencemethod)进行运动对象检测处理或进行特定对象检测处理,来从所获取图像中提取给定前景对象的区域。例如,检测单元122可确定诸如人或汽车的对象区域的属性(例如,人情况下的性别、年龄、颜色特征和身高以及汽车情况下的颜色特征、尺寸和高度),并且可仅将具有预定属性并且并非背景对象的对象(诸如人)的区域视为检测结果。
此外,检测单元122可将用于运动图像编码的帧之间的运动信息用作表示是否存在对象的信息。此外,可在生成背景图像时生成检测结果,但是并不局限于此。例如,在图像记录装置101中,可在将图像存储在图像存储单元112中时或者在图像获取单元111获取到所拍摄图像时,进行诸如上述的检测处理。此外,检测单元122可配置为将检测结果作为元数据与图像相关联地存储在存储单元201中。此外,检测单元122可配置为检测背景图像与所拍摄图像之间的差异大的区域作为运动对象区域。
此外,在以下描述中,为了便于说明,将描述检测单元122检测矩形人区域的实例。
通过例如控制单元202执行存储在存储单元201中的程序而实现的充当背景图像生成单元的图像转换单元123使用从图像接收单元121提供的所获取图像和从检测单元122提供的检测结果生成背景图像。通过将来自多个所获取图像中除了前景(例如,人区域)部分的区域进行组合来生成背景图像。换句话说,基于多个拍摄图像的部分生成另一背景图像,所述多个拍摄图像的部分未被检测为存在诸如人的前景对象的区域。下面将描述该处理的细节。
通过例如存储单元201实现的背景存储单元124存储由图像转换单元123生成的背景图像和由将在下面描述的背景更新单元125更新的背景图像。
通过例如控制单元202执行存储在存储单元201中的程序而实现的背景更新单元125通过使用分别从图像接收单元121和检测单元122提供的所获取图像和检测结果,来更新从背景存储单元124获取的背景图像。此外,在不使用分别从图像接收单元121和检测单元122提供的所获取图像和检测结果的情况下,背景更新单元125能够获取由图像转换单元123生成的背景图像。在此情况下,背景更新单元125通过使用从图像转换单元123获取的新背景图像,来更新从背景存储单元124获取的之前的背景。背景更新单元125将所更新的背景图像存储在背景存储单元124中。下面也将描述由背景更新单元125进行的处理的细节。
通过例如控制单元202执行存储在存储单元201中的程序而实现的剪影图像生成单元126基于背景图像与所获取图像之间的差异,生成人的剪影图像。此外,剪影图像生成单元126能够生成不仅是人而且是前景对象的剪影图像,但可配置为通过例如图案识别来指定人并且不生成关于除了人以外的剪影图像。分别从例如背景存储单元124和图像接收单元121获取背景图像和所获取图像。此外,剪影图像生成单元126可以不经由背景存储单元124而直接获取由例如图像转换单元123或背景更新单元125生成或更新的背景图像。这里,剪影图像为通过将提取作为前景的对象隐匿化成其轮廓形状为可视程度而获得的图像,并且轮廓内部填充有与背景颜色不同的颜色。
此外,剪影图像生成单元126可进行与隐匿图像生成单元相似的隐匿化处理。例如,剪影图像生成单元126仅需生成表示要进行马赛克处理、模糊处理或掩模处理的区域的二值图像。
通过例如输出单元205实现的输出单元127将由剪影图像生成单元126生成的剪影图像与由背景更新单元125更新的背景图像组合成合成图像,且然后将合成图像输出到显示装置102的显示画面(未例示)中的任何一者。输出单元127可配置为以透明(see-through)方式将剪影图像叠加在背景图像上。此外,在剪影图像生成单元126进行另一类型的隐匿化处理(马赛克处理或模糊处理)的情况下,输出单元127可配置为基于由图像接收单元121获取的所获取图像和二值图像,对由二值图像表示的位置进行马赛克处理或模糊处理。
通过例如存储单元201实现的初始背景存储单元128存储用于检测单元122最初提取前景的背景图像或当由图像转换单元123生成的背景图像的完整度低时用作背景图像的图像。
接下来,将参照图3A、图3B、图3C和图3D描述由图像转换单元123进行的背景图像生成处理。图像转换单元123基于由检测单元122输出的检测结果,从所获取图像中指定不为人的区域,由此生成背景图像。图3A是例示对所获取的在给定日时处拍摄的图像进行的人检测处理的结果的图。
参照图3A,矩形区域301和302中的每一者表示已检测到人的区域(人区域)。图3B例示通过采用除了从用于获得图3A中所例示的检测结果的所获取图像中检测到人的人区域以外的区域的像素值生成的背景图像。参照图3B,在背景图像中,区域303和304为人区域,因此表示为不采用像素值的黑色填充区域。然而,在没有检测到人的图像中,由于不存在不被采用的像素值,因此能够使用一个图像来获得整个图像的像素值。如果仅有检测到人的图像,则不能使用该图像来获得整个图像的像素值,因此保留有未获得像素值的区域。因此,本示例性实施例中的图像转换单元123使用在不同日时处拍摄的其他图像重复相似处理,以便从所拍摄图像中包括的区域中消除未从中检测到像素值的区域。
图3C是例示对所获取的在不同于图3A中所例示结果的日时处拍摄的图像进行检测处理的结果的图。参照图3C,矩形区域305和306为人区域。图3D例示通过将所获取的用于获得图3C中所例示的检测结果的图像中所包括的、在除了人区域305和306以外的区域中获得的像素值应用于在图3B中未获得像素值的区域303和304中而获得的背景图像。换言之,参照图3D,此时在图3A中所例示的检测结果及在图3C中所例示的检测结果两者中都为人区域的区域307和308中仍未获得像素值,但在其他区域中已获得像素值。以此方式,在图3D中所例示的背景图像中,与图3B中所例示的背景图像相比,未获得像素值的区域减小。图像转换单元123对多个图像重复进行此处理,使得未获得像素值的区域逐渐减小。
此外,在一直存在一个或多个人的视频图像中,存在即使增加图像数目但仍不能获得整个图像的像素值的情况。在该情况下,将即使处理预定数目的图像之后仍未获得像素值的区域存储在背景存储单元124中作为不能生成背景图像的背景未生成区域。此外,根据背景未生成区域与整个图像的比例,计算背景图像的完整度。完整度是指由图像转换单元123获得的局部背景图像与理想背景图像的像素数目(所拍摄图像的像素数目)的比例(生成度、生成比率或分数)。例如,在一个所拍摄图像具有10,000,000个像素时,具有100,000个像素的区域为背景未生成区域的情况下,完整度经计算为99%。可以简单地计算完整度的分数为99。此外,可将通过局部背景图像形成的角视场与所拍摄图像的角视场(180度的水平角和90度的倾斜角)之间的面积比(%)设置为完整度。
此外,虽然理想的是将多个所获取图像中的任何一者的像素值用作背景图像相应区域的像素值,但是并不局限于此。例如,多个所获取图像的相邻区域的像素值或者其平均值或最常出现值可用于插入,作为背景未生成区域的像素值。此外,此处所用的平均值为通过将多个所获取图像之中有关一个或多个图像的不为人区域的像素值的总和除以此一个或多个图像的图像数目而获得的结果。
背景更新单元125分别从背景存储单元124、图像接收单元121和检测单元122获取背景图像、所获取图像和检测结果。然后,关于除了检测为人区域的区域以外的区域,背景更新单元125通过使用例如所获取图像的像素值与背景图像的像素值之间的加权平均值作为背景图像的像素值,来更新更新背景图像。例如,关于由不为人区域的检测结果表示的区域,背景更新单元125将从背景存储单元124获取的背景图像的每一个像素值乘以系数α(0<α<1),将从图像接收单元121获取的所获取图像的每一个像素值乘以系数(1-α),且然后将乘得的像素值加在一起。此时,随着系数α变大,从背景存储单元124获取的背景图像的像素值将具有更大的影响,并且随着系数α变小,从图像接收单元121获取的所获取图像的像素值将具有更大的影响。
此外,在由图像转换单元123生成的背景图像中包括背景未生成区域的情况下,背景更新单元125从背景存储单元124获取有关背景未生成区域的信息。然后,在与所获取图像中的背景未生成区域对应的区域之中存在在所获取图像中未被检测为的人区域的区域的情况下,背景更新单元125使用此区域的像素值作为背景图像的像素值。
例如,在由图像转换单元123生成的背景图像为图3B中所例示的图像的情况下,假设区域303和304为背景未生成区域并且图3C中所例示的图像为所获取图像。在该情况下,例如,图3B中所例示的区域304内不与图3C中所例示的区域306重叠的区域309为在图3C中的时间点处与背景图像中的背景未生成区域对应的区域之中、在所获取图像中未被检测为人区域的区域。因此,背景更新单元125能够直接采用图3C中所例示的区域309的像素值,作为图3B中所例示的背景图像的区域304内与图3C中所例示的区域309对应的区域的像素值。背景更新单元125将与区域309对应的区域视为背景生成区域进行处理,由此更新有关背景未生成区域的信息。该处理使得以比背景生成区域的速度更高的速度更新背景未生成区域的像素值。此外,虽然在以上描述中关于背景生成区域通过加权平均值更新像素值,但是并不局限于此。例如,背景更新单元125能够使用给定方法(或给定功能)更新关于背景生成区域的像素值,所述给定方法(或给定函数)通过参照背景图像的像素值和所获取图像的像素值来确定像素值。此外,在已确定诸如人或汽车的对象区域的属性的情况下,可通过使用具有特定属性的对象(诸如人)的区域作为检测结果来进行上述更新。
<处理流程>
接下来,将参照图4、图5A和图5B描述由上述图像处理系统进行的处理的流程的实例。在以下描述中,假设显示装置102独立进行处理。图4是例示用于生成背景图像的处理流程的流程图,而图5A是例示用于生成和显示隐私保护图像的处理流程的流程图。在步骤S401中,显示装置102经由图像接收单元121获取图像,并且在步骤S402中,经由检测单元122检测图像中包括的人区域。接下来,在步骤S403中,显示装置102经由图像转换单元123生成背景图像,并且在步骤S404中,经由图像转换单元123计算背景图像的完整度(所获取背景的像素区域与整个像素区域的比例)并且经由输出单元127在显示装置102的显示画面上显示背景图像。
接下来,在步骤S405中,显示装置102基于背景图像的完整度、进行处理花费的时间长度以及保留图像的数目,经由控制单元202确定是否继续处理,并且如果确定继续处理(在步骤S405中为“是”),则将处理返回到步骤S401。例如,当完整度大于或等于预定阈值,则显示装置102确定结束处理。例如,当从背景图像生成处理开始经过的时间超过预定时间时,显示装置102确定结束处理。此外,当所获取图像为记录图像数据或静止图像数据时,图像数目受限,并且在没有剩余的处理目标图像时,显示装置102确定结束处理。
接下来,在步骤S406中,显示装置102基于背景图像的完整度,经由控制单元202确定是否使用初始背景图像,并且如果确定使用初始背景图像(在步骤S406中为“是”),则在步骤S407中,经由控制单元202将初始背景图像存储在背景存储单元124中。例如,当完整度低于预定阈值时,显示装置102确定使用初始背景图像。鉴于此,在对处理时间有限制并且对图像数目有限制时生成的背景图像的完整度不大于或等于阈值的情况下,显示装置102使用初始背景图像,由此能够在避免背景图像的完整度低的同时使用更合适的背景图像。
另一方面,如果确定不使用初始背景图像(在步骤S406中为“否”),则在步骤S408中,显示装置102经由控制单元202将生成背景图像存储在背景存储单元124中。例如,当完整度大于或等于预定阈值时,显示装置102经由控制单元202确定不使用初始背景图像。这使得通过使用不包括人(前景对象)区域的区域的像素值组合多个图像,由此生成合适的背景图像。
在用于生成并显示隐私保护图像的处理中,在步骤S501中,显示装置102经由图像接收单元121获取图像,并且在步骤S502中,经由检测单元122检测人。接下来,在步骤S503中,显示装置102经由背景更新单元125更新背景图像,并且经由剪影图像生成单元126生成剪影图像以模糊由检测单元122检测到的前景对象(人)。剪影图像可为例如通过使用一种颜色填充由检测单元122检测到的人区域而获得的呈人形状的单色图像。此外,可将作为例如对人区域应用预定过滤处理使得无法识别人的图像处理结果而获得的图像用作剪影图像。
此外,可单独准备可以发现存在人但无法识别个体的图像,并且可将此图像用作剪影图像。换句话说,剪影图像是能够用于使前景对象模糊(或隐藏)到不能再识别前景对象的特定特征或细节的程度的图像。生成剪影图像之后,在步骤S504中,显示装置102经由输出单元127将剪影图像与背景图像组合成合成图像,并且经由输出单元127在显示装置102的显示画面上显示合成图像。然后,在步骤S505中,显示装置102确定是否结束处理,并且如果确定不结束处理(在步骤S505中为“否”),则显示装置102将处理返回到步骤S501。
图5B例示用于用户设置例如用于更新背景的模式的用户界面。在显示装置102的显示画面上显示窗口601。可以使用用于选择背景模式的复选框602来设置继续一直使用固定背景图像(初始背景图像)的固定模式和通过将不包括人区域的多个局部图像进行组合而生成背景图像的更新模式中的任何一者,所述更新模式可将运动图像数据中每一帧的前景以外的部分组合。当选择更新模式时能够选择复选框603,如果背景图像的完整度低于预定完整度,复选框603用于临时设置切换到固定模式直至达到预定完整度为止。当未选择复选框602中的任何一者时,复选框603灰显以此方式不被选择。此外,设置框604是用于设置切换模式条件的框,当未选择复选框603时,设置框604灰显以此方式不允许输入数值。设置框604允许设置1至100的整数,并且如果输入任何其他值,则返回错误。此外,可采用能够设置将目标(人、运动对象、特定对象和具有特定属性的对象)从用于生成背景图像的目标中排除的配置。此外,在使用固定背景的情况下,可在窗口601中显示其缩略图。此外,可关于多个摄像装置101统一设置经由图5B中所例示的用户界面使用固定模式还是更新模式。然而,在统一设置固定模式的情况下,由于要求用于固定模式的背景图像与各自的摄像装置101对应,因此配置为不进行背景图像的反射处理。
如上所述,由于将图像记录装置101拍摄的多个图像组合成不将诸如人的前景的区域用于生成背景图像,因此不仅可适当地生成用于生成隐私保护图像的背景图像,而且在因所需时间或图像数目的限制导致的完整度不大于或等于阈值的情况下,可使用初始背景图像来设置合适的图像。
此外,在上述示例性实施例中,图像转换单元123或背景更新单元125将除了人区域以外的局部区域进行组合,但也可配置为将除了运动对象区域以外的局部图像进行组合以生成或更新背景图像。此外,图像转换单元123或背景更新单元125可配置为将不为人区域或运动对象区域的局部图像进行组合。
此外,虽然在上述示例性实施例中将固定图像用作初始背景图像,但是也可通过完整度因对局部图像进行组合而达到阈值(100%)的背景图像来替换初始背景图像。虽然在上述示例性实施例的描述中基于完整度使用初始背景图像,但是也可基于简单组合的背景图像的像素数确定是否使用初始背景图像。
此外,在上述示例性实施例中,通过显示装置102检测前景、生成背景图像并保留初始背景图像,但也可通过摄像装置101进行上述操作。
本发明还可通过经由网络或存储介质向系统或装置提供用于实现上述示例性实施例的一个或多个功能的程序,并使包括在所述系统或装置的计算机中的一个或多个处理器读出并执行所述程序的处理来实现。此外,本发明还可通过用于实现一个或多个功能的电路(例如,专用集成电路(ASIC))来实现。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已参照示例性实施例描述了本发明,但是应当理解本发明并不局限于所公开的示例性实施例。应给予所附权利要求范围最宽泛的解释以涵盖所有变型及等效结构和功能。

Claims (13)

1.一种图像处理装置,所述图像处理装置包括:
检测单元,配置为关于多个所拍摄图像检测存在前景对象的第一区域;
保留单元,配置为保留第一背景图像;
生成单元,配置为基于未被检测为第一区域的所述多个所拍摄图像的每一者的部分生成第二背景图像;以及
输出单元,配置为基于所述第二背景图像的属性选择所述第一背景图像和所述第二背景图像中的一者,并基于选择的背景图像和所述第一区域输出使所述前景对象模糊的图像。
2.根据权利要求1所述的图像处理装置,其中,所述输出单元用于选择所述第一背景图像和所述第二背景图像中的一者的所述第二背景图像的属性是所述第二背景图像的像素数与所述所拍摄图像的像素数之比。
3.根据权利要求1所述的图像处理装置,其中,所述输出单元用于选择所述第一背景图像和所述第二背景图像中的一者的所述第二背景图像的属性是所述第二背景图像的角视场与所述所拍摄图像的角视场的面积比。
4.根据权利要求1所述的图像处理装置,其中,所述检测单元配置为检测具有预定属性的对象检测作为前景对象。
5.根据权利要求1所述的图像处理装置,其中,所述检测单元配置为基于所述第一背景图像检测所述多个所拍摄图像中包括的前景对象。
6.根据权利要求1所述的图像处理装置,其中,所述第一区域被定义为包括所述前景对象的矩形区域。
7.根据权利要求1所述的图像处理装置,
其中,所述检测单元配置为在第一所拍摄图像和第二所拍摄图像的每一者中检测所述第一区域,并且
其中,所述生成单元配置为关于其中所述第一所拍摄图像的所述第一区域与所述第二所拍摄图像的所述第一区域重叠的第二区域,使用与所述第二所拍摄图像中包括的所述第二区域对应的区域的像素值,生成所述第二背景图像。
8.根据权利要求1所述的图像处理装置,
其中,所述检测单元配置为在第一所拍摄图像和第二所拍摄图像的每一者检测第一区域,并且
其中,所述生成单元配置为关于其中所述第一所拍摄图像的所述第一区域与所述第二所拍摄图像的所述第一区域重叠的第二区域,基于与所述第一所拍摄图像中包括的所述第二区域对应的区域的像素值和与所述第二所拍摄图像中包括的所述第二区域对应的区域的像素值两者,生成所述第二背景图像。
9.根据权利要求1所述的图像处理装置,其中,关于基于所述多个图像生成的所述第二背景图像,所述生成单元配置为基于根据未从所述多个图像获取像素值的区域的比例确定的分数,确定是否将另一所拍摄图像用于所述第二背景图像的合成生成。
10.根据权利要求1所述的图像处理装置,其中,所述生成单元配置为通过使用新拍摄图像更新已生成第二背景图像。
11.根据权利要求1所述的图像处理装置,所述图像处理装置还包括获取单元,所述获取单元配置为获取所述多个所拍摄图像。
12.一种图像处理方法,所述图像处理方法包括:
关于多个所拍摄图像检测存在前景对象的第一区域;
保留第一背景图像;
基于未被检测为第一区域的所述多个所拍摄图像的每一者的部分生成第二背景图像;以及
基于所述第二背景图像的属性选择所述第一背景图像和所述第二背景图像中的一者,并且基于选择的背景图像和检测到的第一区域输出使所述前景对象模糊的图像。
13.一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质存储计算机可执行指令,所述计算机可执行指令在被计算机执行时使所述计算机进行包括以下步骤的方法:
关于多个所拍摄图像检测存在前景对象的第一区域;
保留第一背景图像;
基于未被检测为第一区域的所述多个所拍摄图像的每一者的部分生成第二背景图像;以及
基于所述第二背景图像的属性选择所述第一背景图像和所述第二背景图像中的一者,并且基于选择的背景图像和检测到的第一区域输出使所述前景对象模糊的图像。
CN201910071434.3A 2018-01-30 2019-01-25 图像处理装置、图像处理方法和存储介质 Active CN110099209B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018014188A JP7106282B2 (ja) 2018-01-30 2018-01-30 画像処理装置、画像処理方法およびプログラム
JP2018-014188 2018-01-30

Publications (2)

Publication Number Publication Date
CN110099209A true CN110099209A (zh) 2019-08-06
CN110099209B CN110099209B (zh) 2021-03-23

Family

ID=65228392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910071434.3A Active CN110099209B (zh) 2018-01-30 2019-01-25 图像处理装置、图像处理方法和存储介质

Country Status (5)

Country Link
US (1) US11100655B2 (zh)
EP (1) EP3528206B1 (zh)
JP (1) JP7106282B2 (zh)
KR (1) KR102492670B1 (zh)
CN (1) CN110099209B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827300A (zh) * 2019-11-08 2020-02-21 恒信东方文化股份有限公司 一种图像分割方法及其相应的分隔装置
CN111275800A (zh) * 2020-01-15 2020-06-12 北京字节跳动网络技术有限公司 动画生成方法、装置、电子设备及计算机可读存储介质
CN117227336A (zh) * 2023-08-16 2023-12-15 门杜美昊(廊坊)医药科技有限公司 一种超声诊断报告打印装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3012889A1 (en) * 2016-01-29 2017-08-03 Kiwisecurity Software Gmbh Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
JP7187154B2 (ja) * 2018-02-05 2022-12-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11527265B2 (en) 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
US10885606B2 (en) * 2019-04-08 2021-01-05 Honeywell International Inc. System and method for anonymizing content to protect privacy
JP2021163303A (ja) * 2020-04-01 2021-10-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7475966B2 (ja) 2020-05-27 2024-04-30 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、およびプログラム
JP2023013538A (ja) * 2021-07-16 2023-01-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777180A (zh) * 2009-12-23 2010-07-14 中国科学院自动化研究所 基于背景建模和能量最小化的复杂背景实时替换方法
CN102074016A (zh) * 2009-11-24 2011-05-25 杭州海康威视软件有限公司 运动目标自动跟踪的装置和方法
CN102387303A (zh) * 2010-09-02 2012-03-21 奥林巴斯株式会社 图像处理装置、图像处理方法以及摄像装置
US20120191353A1 (en) * 2007-12-07 2012-07-26 Michael Wilt Model based workflow for interpreting deep-reading electromagnetic data
CN103098093A (zh) * 2010-03-29 2013-05-08 索尼公司 图像处理设备、方法以及程序
KR101290197B1 (ko) * 2012-02-21 2013-07-30 중앙대학교 산학협력단 영상의 깊이 정보 추정 장치 및 방법
CN103533249A (zh) * 2013-10-25 2014-01-22 惠州Tcl移动通信有限公司 一种调整前景和背景的方法及装置
CN103813088A (zh) * 2012-11-13 2014-05-21 联想(北京)有限公司 信息处理的方法及电子设备
CN105205833A (zh) * 2015-09-15 2015-12-30 杭州中威电子股份有限公司 一种基于时空背景模型的运动目标检测方法及装置
CN105701756A (zh) * 2014-12-16 2016-06-22 佳能株式会社 图像处理装置和图像处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7577314B2 (en) * 2006-04-06 2009-08-18 Seiko Epson Corporation Method and apparatus for generating a panorama background from a set of images
TWI389559B (zh) * 2009-08-14 2013-03-11 Ind Tech Res Inst 前景影像分離方法
JP5719141B2 (ja) * 2010-10-28 2015-05-13 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
WO2016002152A1 (ja) * 2014-06-30 2016-01-07 日本電気株式会社 個人情報に配慮した画像処理システム、画像処理方法及びプログラム記憶媒体
JP5938808B2 (ja) * 2014-07-28 2016-06-22 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP6504364B2 (ja) * 2015-11-27 2019-04-24 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
US10970896B2 (en) * 2016-11-02 2021-04-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6931290B2 (ja) * 2017-03-03 2021-09-01 キヤノン株式会社 画像生成装置およびその制御方法
JP7067023B2 (ja) * 2017-11-10 2022-05-16 富士通株式会社 情報処理装置、背景更新方法および背景更新プログラム
JP7030534B2 (ja) * 2018-01-16 2022-03-07 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120191353A1 (en) * 2007-12-07 2012-07-26 Michael Wilt Model based workflow for interpreting deep-reading electromagnetic data
CN102074016A (zh) * 2009-11-24 2011-05-25 杭州海康威视软件有限公司 运动目标自动跟踪的装置和方法
CN101777180A (zh) * 2009-12-23 2010-07-14 中国科学院自动化研究所 基于背景建模和能量最小化的复杂背景实时替换方法
CN103098093A (zh) * 2010-03-29 2013-05-08 索尼公司 图像处理设备、方法以及程序
CN102387303A (zh) * 2010-09-02 2012-03-21 奥林巴斯株式会社 图像处理装置、图像处理方法以及摄像装置
KR101290197B1 (ko) * 2012-02-21 2013-07-30 중앙대학교 산학협력단 영상의 깊이 정보 추정 장치 및 방법
CN103813088A (zh) * 2012-11-13 2014-05-21 联想(北京)有限公司 信息处理的方法及电子设备
CN103533249A (zh) * 2013-10-25 2014-01-22 惠州Tcl移动通信有限公司 一种调整前景和背景的方法及装置
CN105701756A (zh) * 2014-12-16 2016-06-22 佳能株式会社 图像处理装置和图像处理方法
CN105205833A (zh) * 2015-09-15 2015-12-30 杭州中威电子股份有限公司 一种基于时空背景模型的运动目标检测方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827300A (zh) * 2019-11-08 2020-02-21 恒信东方文化股份有限公司 一种图像分割方法及其相应的分隔装置
CN110827300B (zh) * 2019-11-08 2022-08-26 恒信东方文化股份有限公司 一种图像分割方法及其相应的分隔装置
CN111275800A (zh) * 2020-01-15 2020-06-12 北京字节跳动网络技术有限公司 动画生成方法、装置、电子设备及计算机可读存储介质
CN111275800B (zh) * 2020-01-15 2021-09-14 北京字节跳动网络技术有限公司 动画生成方法、装置、电子设备及计算机可读存储介质
US11972517B2 (en) 2020-01-15 2024-04-30 Beijing Bytedance Network Technology Co., Ltd. Animation generation method and apparatus, electronic device, and computer-readable storage medium
CN117227336A (zh) * 2023-08-16 2023-12-15 门杜美昊(廊坊)医药科技有限公司 一种超声诊断报告打印装置
CN117227336B (zh) * 2023-08-16 2024-04-16 门杜美昊(廊坊)医药科技有限公司 一种超声诊断报告打印装置

Also Published As

Publication number Publication date
JP2019134269A (ja) 2019-08-08
US20190236791A1 (en) 2019-08-01
CN110099209B (zh) 2021-03-23
US11100655B2 (en) 2021-08-24
KR20190092279A (ko) 2019-08-07
EP3528206A1 (en) 2019-08-21
JP7106282B2 (ja) 2022-07-26
KR102492670B1 (ko) 2023-01-30
EP3528206B1 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
CN110099209A (zh) 图像处理装置、图像处理方法和存储介质
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR102470680B1 (ko) 동작 인식, 운전 동작 분석 방법 및 장치, 전자 기기
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
JP5480777B2 (ja) オブジェクト表示装置及びオブジェクト表示方法
CN101681424B (zh) 连续图像配准
JP4915655B2 (ja) 自動追尾装置
US7176945B2 (en) Image processor, image processing method, recording medium, computer program and semiconductor device
CN109084746A (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
US20160055330A1 (en) Three-dimensional unlocking device, three-dimensional unlocking method, and program
US20090097704A1 (en) On-chip camera system for multiple object tracking and identification
JP2011505610A (ja) 画像センサデータに距離センサデータをマッピングする方法及び装置
US20160210761A1 (en) 3d reconstruction
JP2018156408A (ja) 画像認識撮像装置
JP2021111273A (ja) 学習モデルの生成方法、プログラム及び情報処理装置
JP4193342B2 (ja) 3次元データ生成装置
JP4821355B2 (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
JP2004295776A (ja) 画像認識装置および画像認識プログラム
JP2008158776A (ja) 特徴検出方法及び装置、プログラム、記憶媒体
JP2005316958A (ja) 赤目検出装置および方法並びにプログラム
JP7040627B2 (ja) 算出装置、情報処理方法およびプログラム
JP2018097707A (ja) 情報処理装置、文字認識方法、コンピュータプログラム、及び記憶媒体
CN107506633B (zh) 基于结构光的解锁方法、装置及移动设备
CN116982093A (zh) 呈现攻击检测
JP2004295775A (ja) 画像認識装置および画像認識プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant