CN104205803A - 图像处理设备，图像处理设备的控制方法和程序 - Google Patents

图像处理设备，图像处理设备的控制方法和程序 Download PDF

Info

Publication number
CN104205803A
CN104205803A CN201380016685.2A CN201380016685A CN104205803A CN 104205803 A CN104205803 A CN 104205803A CN 201380016685 A CN201380016685 A CN 201380016685A CN 104205803 A CN104205803 A CN 104205803A
Authority
CN
China
Prior art keywords
region
moving object
image
motion
background region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380016685.2A
Other languages
English (en)
Inventor
大木光晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104205803A publication Critical patent/CN104205803A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明的目的是产生动态图像。图像处理设备包括运动物体获取单元、运动方向获取单元、后部区域检测单元和平滑处理单元。所述运动物体获取单元获得目标图像中的运动物体的区域，所述目标图像是时间上连续的多个图像之中的至少一个图像。所述运动方向获取单元获得所述运动物体的运动方向。所述后部区域检测单元检测运动物体的区域的相对于运动方向的后方部分作为后部区域。后部区域处理单元，所述后部区域处理单元对后部区域进行预定图像处理。

Description

图像处理设备,图像处理设备的控制方法和程序
技术领域
本发明涉及图像处理设备，图像处理设备的控制方法，和使计算机执行所述方法的程序。具体地，本发明涉及进行平滑处理的图像处理设备，图像处理设备的控制方法，和使计算机执行所述方法的程序。
背景技术
通常，图像处理设备对利用成像设备拍摄的图像进行各种图像处理。例如，提出了其中图像处理设备选择运动图像中的图像，并把所选图像的画风变更成油画感的技术(参见PTL 1和PTL 2)。此外，提出了其中图像处理设备检测到被摄物体的距离，并在取决于所述距离的一定程度上，对图像进行模糊处理(换句话说，平滑处理)的技术(例如，参见PTL 3)。
引文列表
专利文献
PTL 1：未经审查的日本专利申请公开No.2011-170402
PTL 2：未经审查的日本专利申请公开No.2011-182213
PTL 3：未经审查的日本专利申请公开No.2003-037767
发明内容
然而，在上述现有技术中，难以生成动态图像。在运动物体的图像的拍摄期间，摄影者拍摄其中通过调整快门速度等，以使得在图像的一些部分中出现模糊，表现运动物体的速度感和强有力移动的图像。在上面说明的现有技术中，难以不利用这样的成像方法，从拍摄的图像产生动态图像。
鉴于这种情况，产生了本技术，目的是生成动态图像。
为了解决上述问题，产生了本技术，第一方面是一种图像处理设备，图像处理设备的控制方法和使计算机执行所述方法的程序，其中图像处理设备包括运动物体获取单元，所述运动物体获取单元获得目标图像中的运动物体的区域，所述目标图像是时间上连续的多个图像之中的至少一个图像；运动方向获取单元，所述运动方向获取单元获得所述运动物体的运动方向；后部区域检测单元，所述后部区域检测单元检测运动物体的区域中，相对于运动方向的后方部分的区域，作为后部区域；和后部区域处理单元，所述后部区域处理单元对后部区域进行预定图像处理。从而，能够获得沿着运动方向，对运动物体的后部区域进行平滑处理的效果。
此外，在第一方面，运动物体获取单元可检测目标图像中的运动物体的区域。这产生检测目标图像中的后部区域的效果。
此外，在第一方面，目标图像包括多个预定形状的块，运动物体获取单元可利用块匹配算法，对于每个块，获得该块的运动量，并检测由其运动量都超过预定阈值的块构成的区域，作为运动物体的区域。这产生检测由其运动量都超过预定阈值的块构成的区域，作为运动物体的区域的效果。
此外，在第一方面，运动物体获取单元还可获得基准图像中的运动物体的区域，所述基准图像是所述多个图像之中的直接在目标图像之前的图像，运动方向获取单元可检测从所述基准图像中的运动物体的区域内的特定坐标到所述目标图像中的运动物体的区域内的特定坐标的方向，作为运动方向。这产生检测运动物体中，相对于检测的运动方向的后方部分的区域，作为后部区域的效果。
此外，在第一方面，后部区域检测单元可检测被其位置在目标图像内，沿运动方向被变更的后方部分的轮廓线，和所述变更之前的所述轮廓线围绕的区域，作为后部区域。这产生检测被移动之前和之后的轮廓线围绕的区域，作为后部区域的效果。
此外，在第一方面，后部区域检测单元可通过把目标图像内，其位置沿运动方向被变更的运动物体的区域设定为遮蔽区域，检测通过遮蔽变更前的所述运动物体的区域而产生的区域，作为后部区域。这产生通过把其位置沿运动方向被变更的运动物体的区域设定为遮蔽区域，检测通过遮蔽所述运动物体的区域而产生的区域，作为后部区域的效果。
此外，在第一方面，后部区域检测单元可包括移动速度检测单元，所述移动速度检测单元检测运动物体的移动速度，和遮蔽处理单元，所述遮蔽处理单元通过把其位置按照取决于移动速度的变更量而被变更的运动物体的区域设定为遮蔽区域，进行遮蔽。这产生通过把其位置按照取决于移动速度的变更量而被变更的运动物体的区域设定为遮蔽区域，进行遮蔽的效果。
此外，在第一方面，后部区域检测单元还包括沿运动方向，扩大目标图像中的运动物体的区域的扩大单元，遮蔽处理单元可通过把通过沿运动方向，变更扩大区域的位置而获得的区域，设定为遮蔽区域，对变更前的扩大区域进行遮蔽，其中所述扩大区域是利用扩大单元扩大的运动物体的区域。这产生通过把其位置沿运动方向被变更的扩大区域设定为遮蔽区域，检测通过遮蔽扩大区域而产生的区域，作为后部区域的效果。
此外，在第一方面，所述预定图像处理可以是沿运动方向的平滑处理。这产生沿运动方向，进行平滑处理的效果。
此外，在第一方面，可对后部区域沿运动方向进行取决于移动速度的程度的平滑处理。这产生对后部区域进行取决于移动速度的程度的平滑处理的效果。
此外，在第一方面，扩大单元可取决于移动速度，沿运动方向扩大运动物体的区域。这产生取决于移动速度，扩大运动物体的区域的效果。
此外，在第一方面，目标图像可以是多个图像之中的任意一个图像，后部区域检测单元可以检测在运动物体的后方部分中的多个后部区域，平滑处理单元可生成通过对所述多个后部区域进行平滑处理而获得的多个图像。这产生检测多个后部区域，并生成通过对后部区域进行平滑处理而获得的图像的效果。
此外，在第一方面，后部区域处理单元可利用低通滤波器，进行平滑处理，所述低通滤波器具有宽度对应于周期函数的振幅的通带，所述周期函数表示后部区域内的像素值在沿着运动方向的方向上的分布。这产生利用具有宽度对应于周期函数的振幅的通带的低通滤波器，进行平滑处理的效果。
此外，在第一方面，还可包括对齐处理单元，所述对齐处理单元对齐目标图像的位置和基准图像的位置，以致作为直接在目标图像之前的图像的基准图像和目标图像在公共区域中重叠，运动物体检测单元可检测对齐的目标图像中的运动物体。这产生检测经过对齐处理的目标图像中的运动物体的效果。
此外，在第一方面，后部区域处理单元还可沿运动方向，对目标图像中的除运动物体外的区域，进行与后部区域的程度不同的程度的平滑处理。这产生对除运动物体外的区域，进行与后部区域的程度不同的程度的平滑处理的效果。
此外，在第一方面，还包括强调处理单元，所述强调处理单元强调包含在后部区域中的各个线段之中的沿着运动方向延伸的线段。这产生强调沿着运动方向延伸的线段的效果。
此外，在第一方面，所述预定图像处理可以是用预定颜色着色后部区域的处理。这产生用预定颜色着色后部区域的效果。
按照本技术，可获得图像处理设备能够产生动态图像的优异效果。
附图说明
图1是图解说明第一实施例的信息处理设备的结构例子的方框图。
图2是图解说明第一实施例中的图像处理设备的结构例子的方框图。
图3是图解说明第一实施例中的运动物体检测单元的结构例子的方框图。
图4是图解说明第一实施例中的运动向量检测单元的结构例子的方框图。
图5是图解说明第一实施例中的后部区域检测单元的结构例子的方框图。
图6是图解说明第一实施例中的图像处理设备的操作例子的流程图。
图7是图解说明第一实施例中的输入图像数据的例子的示图。
图8是图解说明第一实施例中的像素值的分布例子的示图。
图9是图解说明第一实施例中的运动区域数据的例子的示图。
图10是图解说明第一实施例中的重心和运动向量的例子的示图。
图11是图解说明第一实施例中的运动物体区域数据、扩大区域数据、遮蔽区域数据和后部区域数据的例子的示图。
图12是图解说明第一实施例中的输出图像数据的例子的示图。
图13是图解说明第一实施例的第二变形例中的图像处理设备的结构例子的方框图。
图14是图解说明第一实施例的第二变形例中的输出图像数据的例子的示图。
图15是图解说明第一实施例的第三变形例中的图像处理设备200的结构例子的方框图。
图16是图解说明第一实施例的第四变形例中的图像处理设备200的结构例子的方框图。
图17是图解说明第二实施例中的图像处理设备的结构例子的方框图。
图18是图解说明第二实施例中的后部区域检测单元的结构例子的方框图。
图19是图解说明第二实施例中的后部区域数据的例子的示图。
图20是图解说明第二实施例中的运动物体的后部的例子的示图。
图21是图解说明第二实施例中的输出图像数据的例子的示图。
图22是图解说明第二实施例的第三变形例中的函数S的轨迹的例子的示图。
图23是图解说明第三实施例中的图像处理设备的结构例子的方框图。
图24是说明第三实施例中的运动图像数据的成像方法的示图。
图25是图解说明第三实施例中的对齐处理单元的结构例子的方框图。
图26是图解说明第三实施例中的输入图像数据的例子的示图。
图27是图解说明第三实施例中的通过偏移位置而校正的图像数据的例子的示图。
图28是图解说明第三实施例中的平滑处理单元的结构例子的方框图。
图29是图解说明第三实施例中的输出图像数据的例子的示图。
具体实施方式
下面说明实现本技术的方式(下面称为“实施例”)。另外，将按照以下顺序进行说明。
1.第一实施例(图像处理：对后部区域进行平滑处理的例子)
2.第二实施例(图像处理：对一个运动物体内的多个后部区域进行平滑处理的例子)
3.第三实施例(图像处理：对对齐之后的图像的后部区域进行平滑处理的例子)
<1.第一实施例>
[信息处理设备的结构例子]
图1是图解说明第一实施例中的信息处理设备100的结构例子的方框图。信息处理设备100是进行各种信息处理，比如运动图像数据的图像的拍摄，和对于所述运动图像数据的图像处理的设备。信息处理设备100包括成像单元110、控制单元120、显示单元130、输入和输出接口140、运动图像数据存储单元150、总线160和图像处理设备200。
成像单元110拍摄诸如运动物体之类被摄物体的图像，以便生成运动图像数据。运动图像数据包括时间上连续的多个图像数据。成像单元110把生成的运动图像数据输出给运动图像数据存储单元150。
控制单元120控制整个信息处理设备100。例如，控制单元120进行使成像单元110生成运动图像数据的控制操作，和使图像处理设备200对运动图像数据进行成像处理的控制操作。
显示单元130显示运动图像数据。输入和输出接口140进行到信息处理设备100的外部设备的数据的输出操作，和来自外部设备的数据的输入操作。输入或输出的数据包括运动图像数据等。运动图像数据存储单元150保存运动图像数据。总线160是成像单元110、控制单元120、显示单元130、输入和输出接口140、运动图像数据存储单元150和图像处理设备200传送或接收数据的公共路径。
图像处理设备200对运动图像数据内的图像数据进行预定图像处理。图像处理设备200通过信号线208，从运动图像数据存储单元150读取作为输入图像数据的多个图像数据。图像处理设备200把所述多个输入图像数据中的至少一个图像数据的图像设定为目标图像，并在所述目标图像中检测运动物体。随后，图像处理设备200检测运动物体的运动方向。图像处理设备200检测运动物体中，相对于运动方向的后方部分的区域，作为后部区域。图像处理设备200沿着运动方向，对检测的后部区域进行平滑处理。图像处理设备200通过信号线209，把通过平滑处理而获得的图像数据，作为输出图像数据输出给显示单元130等。
[图像处理设备的结构例子]
图2是图解说明第一实施例中的图像处理设备200的结构例子的方框图。图像处理设备200包括运动物体检测单元220、运动向量检测单元230、后部区域检测单元240和平滑处理单元250。
运动物体检测单元220在输入图像数据中，检测运动物体。运动物体检测单元220分别在n个(n是等于或大于2的整数)输入图像数据I0～In-1中，检测运动物体。运动物体的检测方法的细节将在后面说明。运动物体检测单元220通过信号线229，把指示检测的运动物体的区域的数据，作为运动物体区域数据M0～Mn-1，提供给运动向量检测单元230和后部区域检测单元240。例如，运动物体区域数据是其中在运动物体的区域内的各个像素的像素值被设定为“1”，其它像素值被设定为“0”的图像数据。另外，运动物体检测单元220是在权利要求书中记载的运动物体获取单元的例子。
运动向量检测单元230检测运动物体的运动方向。例如，运动向量检测单元230把直接在目标图像之前的图像，设定为对应于目标图像的基准图像。随后，运动向量检测单元230检测其起点为基准图像中的运动物体内的特定坐标(例如，重心的坐标)，终点为目标图像中的运动物体内的特定坐标的向量，作为运动向量(换句话说，运动方向)。不过，由于不存在与n个输入图像数据之中的时序最早的输入图像数据对应的基准图像，因此运动向量检测单元230分别检测第2个输入图像数据以后的n-1个输入图像数据(包括第2个)的运动向量。运动向量检测单元230通过信号线239，把检测的运动向量V1～Vn-1提供给后部区域检测单元240和平滑处理单元250。
另外，运动向量检测单元230是权利要求书中记载的运动方向获取单元的例子。此外，运动向量检测单元230获得第2个及后续的输入图像数据的运动向量，不过可以获得第1个输入图像数据的运动向量。例如，运动向量检测单元230可把和第2个运动向量V1相同的向量插值为第1个输入图像数据的运动向量V0。
后部区域检测单元240在其运动向量被检测的各个输入图像数据中，检测相对于所述运动向量的后方部分的区域，作为后部区域。后部区域的检测方法的细节将在后面说明。后部区域检测单元240通过信号线249，把指示检测的后部区域的后部区域数据B1～Bn-1提供给平滑处理单元250。后部区域数据是其中例如在后部区域内的像素的像素值被设定为“1”，其它像素值被设定为“0”的图像数据。
平滑处理单元250沿着移动方向，对后部区域进行平滑处理。平滑处理单元250在其后部区域被检测的第2个及后续的输入图像数据的各个后部区域中，沿着运动向量的方向，进行平滑处理。平滑处理单元250利用例如滑动平均滤波器，进行平滑处理。在滑动平均滤波器中，例如，根据式1和式2，获得通过平滑处理获得的像素值。
[式1]
P 0 &prime; = 1 K &Sigma; k = 0 k = K - 1 P k …式1
[式2]
K＝|V|×α…式2
在式1中，P0～PK-1是在进行平滑处理之前的运动物体区域内的像素的像素值。在这些像素值中，像素值P1～PK-1是从对应于P0的像素看，沿着运动方向排列的像素的像素值。例如，当P0是坐标(0,0)的像素值，并且运动方向是X轴方向时，坐标(1,0)～(K-1,0)的像素值作为P1～PK-1被输入式1中。K是平滑度，具体地，是滑动平均滤波器的滤波器阶数。P0'是通过对与P0对应的像素进行平滑处理而获得的像素值。在式2中，|V|是两帧之间的运动向量的大小(换句话说，运动物体的移动速度)。α是预定系数，被设定为实数。平滑处理单元250输出通过平滑处理而获得的图像数据，作为输出图像数据O1～On-1。
另外，平滑处理单元250对全部的第2个及后续的输入图像数据，进行平滑处理，不过可以只对一些的输入图像数据(例如，输入图像数据任意之一)进行平滑处理。此外，平滑处理单元250利用滑动平均滤波器，进行平滑处理，不过可以利用除滑动平均滤波器之外的滤波器(例如，高斯滤波器)，进行平滑处理。此外，平滑处理单元250把平滑度(K)设定为取决于移动速度(|V|)的值，不过可通过不管移动速度地把K设定为一定的值，进行平滑处理。此外，平滑处理单元250是权利要求书中的后部区域处理单元的例子。
图3是图解说明第一实施例中的运动物体检测单元220的结构例子的方框图。运动物体检测单元220包括像素选择单元221、背景基准值计算单元222和运动物体区域提取单元223。
像素选择单元221在n个输入图像数据I0～In-1中，选择对应坐标的n个像素值。例如，当每个输入图像数据由具有坐标(0,0)～(w-1,h-1)的w×h(w和h是等于或大于1的整数)个像素构成时，像素选择单元221从n个输入图像数据中，选择坐标(0,0)的各个像素值。从而，选择n个像素值。随后，像素选择单元221分别对于n个输入图像数据，选择坐标(0,1)的像素值。从而，选择其次的n个像素值。按照这种方式，最后，对于输入图像数据I0～In-1，选择w×h组的n个像素值。选择的像素值被提供给背景基准值计算单元222和运动物体区域提取单元223。
背景基准值计算单元222为每个坐标，计算用于判定输入图像数据的像素是否是背景的像素的基准值。例如，背景基准值计算单元222计算各个w×h组中，最经常出现的值作为基准值。这是因为存在在n个连续图像中，其出现频率高的像素值的像素被估计为背景的可能性。背景基准值计算单元222把计算的基准值V(0,0)～V(w-1,h-1)提供给运动物体区域提取单元223。另外，背景基准值计算单元222可计算n个像素值的平均值，作为基准值。
运动物体区域提取单元223在各个输入图像数据中，提取运动物体的区域。运动物体区域提取单元223为输入图像数据中的每个像素，计算像素的像素值和对应于该像素的基准值之间的差分。当计算的差分等于或小于预定阈值时，运动物体区域提取单元223判定该像素是背景的像素。相反，当计算的差分大于阈值时，运动物体区域提取单元223判定该像素是运动物体的像素。运动物体区域提取单元223根据判定结果，生成运动物体区域数据M0～Mn-1，并输出生成的数据。例如，在运动物体区域数据中，确定为运动物体的像素被设定成像素值“1”，被确定为背景的像素被设定为像素值“0”。
另外，运动物体检测单元220根据像素值的出现频度，检测运动物体，不过可利用其它方法，检测运动物体。例如，运动物体检测单元220可利用计算多个连续图像中的对应像素的像素值之间的差分，并把其差分等于或大于阈值的像素检测为运动物体的像素的帧间差分方法。
图4是图解说明第一实施例中的运动向量检测单元230的结构例子的方框图。运动向量检测单元230包括重心坐标计算单元231和运动向量计算单元232。
重心坐标计算单元231计算运动物体的区域中的重心的坐标。重心坐标计算单元231接收输入图像数据，和与输入图像数据对应的运动物体区域数据。重心坐标计算单元231通过利用输入图像数据中的运动物体的各个像素值，设定密度，计算运动物体中的重心。具体地，重心坐标计算单元231例如利用下式3和式4，计算重心的坐标。
[式3]
g i g j = 1 W p &Sigma; i &Sigma; j P [ i ] [ j ] i j …式3
[式4]
W p = &Sigma; i &Sigma; j P [ i ] [ j ] …式4
在式3中，gi是重心的x坐标，gj是重心的y坐标。此外，在式3和式4中，i是运动物体的区域内的像素的x坐标，j是运动物体的区域内的像素的y坐标。P[i][j]是坐标(i,j)的像素值。重心坐标计算单元231计算n个输入数据的重心坐标G0～Gn-1，并把计算的坐标提供给运动向量计算单元232。
另外，通过把输入图像数据中的运动物体的区域内的所有像素值设定为一定的值(例如“1”)，重心坐标计算单元231可获得重心的坐标。这种情况下，通过把式3和式4中的所有P[i][j]设定为一定的值(例如，“1”)，重心坐标计算单元231仅仅根据运动物体区域数据，计算重心的坐标。
运动向量计算单元232根据重心的坐标，计算运动向量。运动向量计算单元232计算其中直接在目标图像之前的图像(基准图像)内的运动物体的重心的坐标被设定为起点，目标图像内的运动物体的重心的坐标被设定为终点的向量，作为运动向量。例如，计算其中重心G0的坐标被设定为起点，重心G1的坐标被设定为终点的向量，作为第二个输入图像数据I1中的运动物体的运动向量V1。
另外，运动向量检测单元230可把除重心之外的坐标设定为运动向量的起点或终点。例如，运动向量检测单元230可获得各个运动物体中，x坐标的平均值和y坐标的平均值，可把平均值的坐标设定为向量的起点或终点。此外，运动向量检测单元230可计算各个输入图像数据(帧)的运动向量，不过可获得一定时期(例如30帧)内的运动向量的平均值，并输出平均向量作为所述时期内的运动向量。
图5是图解说明第一实施例中的后部区域检测单元240的结构例子的方框图。后部区域检测单元240包括扩大单元241、运动物体位置变更单元242和掩蔽处理单元243。
扩大单元241沿运动方向，扩大运动物体的区域。扩大单元241从运动物体检测单元220和运动向量检测单元230，接收运动物体区域数据M和运动向量V。扩大单元241计算运动向量V的大小|V|。随后，扩大单元241沿运动向量的方向，把对应于运动向量V的运动物体区域M扩大|V|×β(β是实数)。从而，运动物体的运动方向被设定为横向，运动物体的区域的横向宽度被扩大|V|×β。扩大单元241把扩大的运动物体的区域M，作为扩大区域数据W输出给运动物体位置变更单元242和掩蔽处理单元243。
运动物体位置变更单元242沿运动方向，变更扩大的运动物体的区域(W)的位置。运动物体位置变更单元242从扩大单元241和运动向量检测单元230，接收扩大区域数据W和运动向量V。随后，运动物体位置变更单元242沿运动向量的方向，把扩大的区域的位置变更(移动)距离|V|×γ(γ是实数)。运动物体位置变更单元242将关于其位置被变更的扩大区域的数据，作为掩蔽区域数据W'提供给掩蔽处理单元243。
另外，扩大单元241取决于运动物体的移动速度(|V|)地扩大运动物体的区域的大小，不过，可被配置成不管移动速度地把所述区域扩大到一定的大小。
此外，运动物体位置变更单元242把所述位置变更取决于移动速度(|V|)的距离，不过，可被配置成不管移动速度地把所述区域变更一定的距离。
掩蔽处理单元243利用掩蔽区域数据W'，对扩大的区域数据W进行掩蔽处理。通过掩蔽处理，与掩蔽区域数据W'重叠的扩大区域数据W的一些部分被除去，并提取剩余的区域。掩蔽处理单元243把通过掩蔽处理生成的区域(换句话说，除掩蔽区域数据W'之外的区域)设定为后部区域，并输出指示后部区域的后部区域数据B。
[图像处理设备的操作例子]
图6是图解说明第一实施例中的图像处理设备200的操作的例子的流程图。例如当输入图像数据I0～In-1被输入图像处理设备200时，开始所述操作。图像处理设备200在输入图像数据I0～In-1中，检测运动物体，并生成运动物体区域数据M0～Mn-1(步骤S910)。图像处理设备200根据输入图像数据I0～In-1和运动物体区域数据M0～Mn-1，检测运动物体的运动向量V1～Vn-1(步骤S920)。
图像处理设备200根据运动向量V1～Vn-1和运动物体区域数据M0～Mn-1，检测各个运动物体中的后部区域，并生成后部区域数据B1～Bn-1(步骤S930)。随后，图像处理设备200沿运动方向，根据输入图像数据I0～In-1、后部区域数据B1～Bn-1和运动向量V1～Vn-1，对输入图像数据中的后部区域进行平滑处理(步骤S940)。
图7是图解说明第一实施例中的输入图像数据的例子的示图。图7的a是时序上第一的输入图像数据I0，图7的b～d是第二个到第四个输入图像数据I1～I3。在图7的a～d中，拍摄汽车的图像，汽车的位置随着时间的过去在水平方向变化。
图8是图解说明第一实施例中的像素值的分布例子的示图。图8中，纵轴代表像素值，横轴代表时间。此外，P0(0,0)～P10(0,0)是各个输入图像数据I0～I10的坐标(0,0)的像素值。图8中，P0(0,0)～P10(0,0)的像素值的出现频度高，从而所述像素值被用作基准值V(0,0)。由于P0(0,0)～P2(0,0)和P6(0,0)～P10(0,0)的像素值与基准值具有等于或小于阈值的差分，因此对应于P0(0,0)～P2(0,0)和P6(0,0)～P10(0,0)的像素被判定为背景的像素。相反，由于P3(0,0)～P5(0,0)的像素值与基准值具有等于或大于阈值的差分，因此对应于P3(0,0)～P5(0,0)的像素被判定为运动物体的像素。按照相同的方式，对于除(0,0)之外的坐标，根据出现频度，判定它们是否是运动物体的。
图9图解说明第一实施例中的运动区域数据的例子。图9的a～d是根据在图7的a～d中图解所示的输入图像数据I0～I3生成的运动物体区域数据M0～M3。在图7的a～d中，涂白的区域是背景的区域，而涂黑的区域是运动物体的区域。如在图7的a～d中图解所示，汽车的区域被检测为运动物体的区域。
图10是图解说明第一实施例中的重心和运动向量的例子的示图。图10的a～d是图解说明在图7的a～d中图解所示的输入图像数据I0～I3中检测的重心和运动向量的示图。在图10的a～d中，省略了背景。如在图10的a～d中图解所示，在各个运动物体(汽车)中，根据式3和式4，计算重心G0～G3的坐标。随后在图10的b中，检测其起点为G0，终点为G1的运动向量V1。此外，在图10的c和d中，也根据重心G1～G3的坐标，检测运动向量V2和V3。
图11是图解说明第一实施例中的运动物体区域数据、扩大区域数据、掩蔽区域数据和后部区域数据的例子的示图。图11的a是图解说明对应于第二个输入图像数据I1的运动物体区域数据M1的示图。
图11的b图解说明通过在图11的a中的运动物体区域数据M1中，沿运动方向扩大运动物体的区域(涂黑的区域)而获得的扩大区域数据W1。后部区域检测单元240沿运动方向(V1)，把运动物体的区域扩大|V1|×β(例如，β为“2”)。从而，如在图11的b中图解所示，运动物体的区域的横向宽度被扩大。
图11的c图解说明通过沿运动方向，变更图11的b中的扩大区域的位置而获得的掩蔽区域数据W1'。后部区域检测单元240沿运动方向，把扩大区域的位置变更|V1|×γ(例如，γ为“2”)。从而，如在图11的c中图解所示，沿运动方向移动扩大的区域。
图11的d图解说明通过用掩蔽区域数据W1'，掩蔽图11的b中的扩大区域数据W1而生成的后部区域数据B1。如在图11的c中图解所示，后部区域检测单元240在图11的b中，除去图11的b和图11的c之间的重叠区域，把剩余的区域检测为后部区域。
这里，当通过移动未被扩大的运动物体的区域而获得的区域被设定为掩蔽区域时，在掩蔽处理之后，可能留下除运动物体的后部以外的部分(比如汽车的前轮)的区域。如在图11的b中图解所示，通过在扩大运动物体的区域之后，改变位置，防止把诸如汽车的前轮之类的区域检测为后部区域。
另外，当运动物体具有不规则性低的形状，比如类似于椭圆或正方形的形状时，即使在不扩大的情况下(换句话说，就上面说明的β来说，β＝0)，移动运动物体的区域，除后部以外的区域也难以被检测为后部区域。于是，后部区域检测单元240可被配置成移动未被扩大的运动物体的区域。
此外，如果能够检测被其位置沿运动方向变更的后方部分的轮廓线，和变更之前的轮廓线围绕的区域，那么后部区域检测单元240可通过除掩蔽处理以外的处理，检测后部区域。具体地，后部区域检测单元240沿着垂直于运动方向的线条，把运动物体的区域分成两个部分，并检测分割的两个部分之中的相对于运动方向的后方部分的轮廓线。随后，后部区域检测单元240可沿运动方向，变更所述轮廓线的位置，把由在所述位置的变更前后的轮廓线围绕的区域检测为后部区域。
此外，后部区域检测单元240可沿着垂直于运动方向的线条，把运动物体的区域分成两个部分，并原样检测分割的两个部分之中的相对于运动方向的后方部分的区域，作为后部区域。
图12是图解说明第一实施例中的输出图像数据的例子的示图。图12是通过沿着运动方向，对在图7的b中图解所示的输入图像数据I1中的汽车的后方部分的区域，进行平滑处理而生成的输出图像数据O1。从而，生成其中沿运动方向，模糊运动物体的后方部分的图像，从而强调运动物体的速度感。
按照这种方式，按照本技术的第一实施例，通过沿着运动方向，对运动物体的后部区域进行平滑处理，图像处理设备200能够生成其中沿着运动方向，使后部区域平滑的图像。从而，获得其中强调运动物体的速度感的动态图像。
[第一变形例]
在第一实施例中，图像处理设备200对于各个像素，把出现频度高的图像值的像素设定为背景，把除背景以外的像素设定为运动物体，并根据运动物体的重心的时间变化，获得运动向量。不过，图像处理设备200可通过块匹配，获得运动向量。第一变形例和第一实施例的不同之处在于第一变形例的图像处理设备200通过块匹配，获得运动向量。
具体地，第一变形例的运动物体检测单元220把输入图像数据分成多个预定形状的块，并获得输入图像数据的彼此相邻的搜索范围之中，一个搜索范围内的各个块和另一个搜索范围内的各个块之间相关性最高的各个块。这里，搜索范围是用于搜索运动向量的范围。此外，相关性的高度是通过计算像素值的绝对差分值之和的绝对差值和估计(SAD)处理获得的。另外，可通过计数其像素值的绝对差分值等于或小于预定差分阈值的像素的数目的最大匹配像素计数(MPC)处理，获得相关性的高度。
运动物体检测单元220把从搜索范围内，相关性最高的两个块中的一个块指向另一个块的向量检测为运动向量。随后，运动物体检测单元220把由其利用运动向量表示的运动量超过预定阈值的各个块构成的区域，检测为运动物体的区域。
另外，运动物体检测单元220可把获得的运动向量，作为移动向量原样提供给后部区域检测单元240和平滑处理单元250。
[第二变形例]
尽管第一实施例中的图像处理设备200沿着运动方向，平滑后部区域，不过，图像处理设备200可进行强调沿着运动方向的线段的处理。第二变形例和第一实施例的不同之处在于第二变形例的图像处理设备200在后部区域中，强调沿着运动方向的线段。
图13是图解说明第一实施例的第二变形例中的图像处理设备200的结构例子的方框图。第二变形例和第一实施例的不同之处在于第二变形例的图像处理设备200还包括边缘强调处理单元260。
边缘强调处理单元260在后部区域中，强调沿着运动方向的线段。经历平滑处理单元250的平滑处理的图像数据，运动物体区域数据和运动向量被输入边缘强调处理单元260中。边缘强调处理单元260在图像数据内的后部区域中，利用高通滤波器等，进行强调沿着与运动向量垂直的方向的边缘的处理。通过强调相对于运动方向成90°的边缘，相对强调沿着运动方向的线段。边缘强调处理单元260输出其边缘被强调的图像数据，作为输出图像数据。另外，边缘强调处理单元260是在权利要求书中记载的强调处理单元的例子。
图14是图解说明第二变形例中的输出图像数据的例子的示图。图14的a是图解说明在进行平滑处理之前的输入图像数据中的运动物体的一部分的示图。如在图14的a中图解所示，具有黑白方格图案的运动物体被检测。图14中，用虚线围绕的区域是运动物体的后部区域。
图14的b是图解说明在进行平滑处理之后的输入图像数据中的运动物体的一部分的示图。如在图14的b中图解所示，后部区域被平滑。图14的c是图解说明在进行边缘强调之后的输入图像数据中的运动物体的一部分的示图。如在图14的c中图解所示，在后部区域中，沿垂直于运动向量的方向，强调边缘。结果，相对于运动向量，沿平行方向延伸的线段被强调。于是，运动物体可被看作相对于运动方向，被相对地进一步平滑。
[第三变形例]
尽管第一实施例中的图像处理设备200检测运动物体和运动向量，不过，图像处理设备200不需要检测运动物体和运动向量。第四变形例和第一实施例的不同之处在于第四变形例的图像处理设备200本身不检测运动物体和运动向量。
图15是图解说明第一实施例的第三变形例中的图像处理设备200的结构例子的方框图。第三变形例和第一实施例的不同之处在于第三变形例的图像处理设备200包括运动物体获取单元225和运动向量获取单元235，而不是运动物体检测单元220和运动向量检测单元230。
除了输入图像数据之外，运动物体区域数据和运动向量也被输入第三变形例的图像处理设备200中。例如，用户手动获得运动物体的区域和运动向量，并把获得的区域和运动向量输入信息处理设备100中。运动物体获取单元225获得输入的运动物体的区域，并把获得的区域提供给后部区域检测单元240。运动向量获取单元235获得输入的运动向量，并把获得的输入运动向量提供给后部区域检测单元240和平滑处理单元250。另外，其中用户只输入运动物体和运动向量中的一个，而图像处理设备200检测运动物体和运动向量中的另一个的结构也是可能的。
[第四变形例]
尽管第一实施例中的图像处理设备200对后部区域进行平滑处理，不过，图像处理设备200可以进行平滑处理以外的图像处理。例如，可用预定颜色，对后部区域进行着色处理。第四变形例和第一实施例的不同之处在于第四变形例的图像处理设备200用预定颜色填充后部区域。
图16是图解说明第一实施例的第四变形例中的图像处理设备200的结构例子的方框图。第四变形例和第一实施例的不同之处在于第四变形例的图像处理设备200包括后部区域处理单元255，而不是平滑处理单元250。后部区域处理单元255利用代替式1和2的以下式6或式7，获得在进行平滑处理之后的像素值P0'。
P0'＝0…式6
P0'＝255…式7
式6中的0是指示用8比特表示的像素值的最小值的值，式7中的255是指示像素值的最大值的值。
<2.第二实施例>
[图像处理设备的结构例子]
图17是图解说明第二实施例中的图像处理设备200的结构例子的方框图。第二实施例和第一实施例的不同之处在于第二实施例的图像处理设备200在一个输入图像数据中，检测多个不同的后部区域，并平滑各个后部区域。
第二实施例和第一实施例的不同之处在于第二实施例的运动物体检测单元220只生成运动物体区域数据M0～Mn-1中的运动物体区域数据Mt和Mt-1，而不是所有的数据。运动物体检测单元220把运动物体区域数据Mt和Mt-1输出给运动向量检测单元230，并把运动物体区域数据Mt输出给后部区域检测单元240。
该运动向量检测单元230和第一实施例的运动向量检测单元230的不同之处在于该运动向量检测单元230只检测一个运动向量Vt，而不是运动向量M1～Mn-1。
该后部区域检测单元240和第一实施例的后部区域检测单元240的不同之处在于根据运动物体区域数据Mt和运动向量Vt，检测运动物体中的多个后部区域。后部区域检测单元240生成指示后部区域的后部区域数据B0～Bm-1(m是等于或大于2的整数)，并把生成的后部区域数据输出给平滑处理单元250。
该平滑处理单元250和第一实施例的平滑处理单元250的不同之处在于根据输入图像数据It、后部区域数据B0～Bm-1和运动向量Vt，在输入图像数据It中，对多个后部区域进行平滑处理。平滑处理单元250输出作为平滑处理的执行结果的输出图像数据O0～Om-1。这里，在关于m个后部区域的平滑处理中，平滑度K的值被设定成相同的值。另外，平滑处理单元250可对各个后部区域，进行不同程度的平滑。
图18是图解说明第二实施例的后部区域检测单元240的结构例子的方框图。第二实施例的后部区域检测单元240和第一实施例的后部区域检测单元240的不同之处在于还包括后部位置变更单元244。
第二实施例的扩大单元241和第一实施例的扩大单元241的不同之处在于生成一个扩大的区域数据Wt，而不是n-1个扩大的区域数据。第二实施例的运动物体位置变更单元242和第一实施例的运动物体位置变更单元242的不同之处在于生成一个掩蔽区域数据Wt'，而不是n-1个掩蔽区域数据。第二实施例的掩蔽处理单元243和第一实施例的掩蔽处理单元243的不同之处在于生成一个后部区域数据Bt，而不是n-1个后部区域数据。
后部位置变更单元244沿着运动方向，变更后部区域数据Bt的位置。后部位置变更单元244生成沿运动方向彼此不同的多个后部区域的数据，并输出所述数据，作为后部区域数据B0～Bm-1。
图19是图解说明第二实施例中的后部区域数据的例子的示图。图19的a是类似于第一实施例，通过掩蔽处理生成的后部区域数据B0。不过，例如在图19的a中，设定“1”，作为指示扩大区域在运动方向的量的γ。
图19的b是通过后部位置变更单元244把后部区域数据B0中的后部区域的位置沿运动方向，仅仅变更|V1|/2而获得的后部区域数据B1。图19的c是通过后部位置变更单元244把后部区域数据B1中的后部区域的位置沿运动方向，仅仅变更|V1|/2而获得的后部区域数据B2。另外，后部区域检测单元240可以检测多个后部区域中的任意一个，并输出一个后部区域数据。在这种情况下，“1”被设定为m。不过，当m＝1时，如果仅仅输出第一个后部区域数据B0，那么获得和第一实施例中相同的结果。当m＝1时，后部区域检测单元240输出与后部区域数据B0不同的后部区域数据(例如，图19的b中的B1)，以致与第一实施例的情况不同的后部区域被平滑，从而获得不同的结果。
图20是图解说明第二实施例中的运动物体的后方部分的例子的示图。图20的a～c是利用在图19的a～c中图解所示的后部区域数据B0～B3指定的运动物体的后部。在图20的a中，后部区域数据B0～B3中的后部区域之中，位于最后方的区域被检测为后部区域。在图20的b中，位于图20的a的后部区域之前的区域被检测为后部区域。在图20的c中，进一步位于图20的b的后部区域之前的区域被检测为后部区域。这样，后部位置变更单元244沿着运动方向，变更通过掩蔽处理获得的后部区域的位置，以致检测一个运动物体中的彼此不同的多个后部区域。
图21是图解说明第二实施例的输出图像数据的例子的示图。图21的a～c是通过对一个输入图像数据，分别平滑在图19的a～c中图解所示的后部区域而获得的图像数据。由于在图像数据中，平滑的区域彼此不同，因此如果图像数据被不断重放，那么后部看起来向后流动。从而，强调运动物体的速度感。
这样，按照本技术的第二实施例，图像处理设备200能够生成由其中通过分别对多个不同的后部区域进行平滑处理，使不同的后部区域平滑的多个图像构成的运动图像。从而，获得其中后部区域看起来流动的动态图像。
[变形例]
尽管第二实施例中的图像处理设备200利用滑动平均滤波器，进行平滑，不过，图像处理设备200可利用低通滤波器，进行平滑。本变形例和第二实施例的不同之处在于变形例的图像处理设备200利用低通滤波器，进行平滑。
具体地，本变形例的平滑处理单元250利用低通滤波器，进行平滑，所述低通滤波器具有与代表沿着和运动向量Vt相反的方向前进的波的三角函数的值成比例的通带。换句话说，更具体地，进行以下处理。“代表沿着和运动向量Vt相反的方向前进的波的三角函数”被假定为S(t1,x1,y1)。这里，函数S是依据其，在时刻t1和位置(x1,y1)的波的值为S(t1,x1,y1)的函数。例如，函数S用下式表示。
[式5]
S ( t 1 , x 1 , y 1 ) = K sin ( 2 &pi; { t 1 m + ( V t &CenterDot; Q ) } ) , 其中Q＝(x1，y1)…式5
这里，K是比例常数，式中的“·”代表内积。此外，Q是输出图像数据中的(x1,y1)的坐标。另外，作为代表在沿着运动方向的方向的后部区域中的像素的像素值的分布的周期函数，平滑处理单元250可以利用除在式5中举例说明的三角函数以外的函数。
当创建输出图像数据Ot(t等于或大于0，并且等于或小于m-1)时，平滑处理单元250把低通滤波器应用于存在于利用后部区域数据Bt指定的后部区域内的输入图像数据It的各个像素。具体地，通过把It中的各个像素的像素位置设定为(x2,y2)，应用具有与S(t,x2,y2)成比例的通带的低通滤波器。已按照这种方式被平滑的输出图像数据O0～Om-1被不断重放，以致观看者能够在后部区域中，感觉到沿着与运动向量Vt相反的方向前进的波，从而进一步强调速度感。
图22是图解说明第二实施例的变形例中的函数S的轨迹的例子的示图。在图21中，横轴是沿着运动向量的像素的坐标，纵轴是在某个时刻的函数S的轨迹。图22的a是在t＝0时的函数S的轨迹，b是在t＝1时的函数S的轨迹。此外，图21的c是在t＝1时的函数S的轨迹，d是在t＝m-1时的函数S的轨迹。
如图22中图解所示，如果时刻t从0变到m-1，那么用函数S表示的波沿着与运动向量相反的方向前进。此外，如果周期为m，从而时刻从m-1回到0，并重复，那么该函数是不被中断地始终沿着与运动向量相反的方向前进的波。随后，图像处理设备200把具有大小与函数S的振幅对应的通带的低通滤波器应用于输入图像数据It的像素。具体地，当函数S的振幅较大时，图像处理设备200把具有宽通带的低通滤波器应用于输入图像数据It的像素(换句话说，不过度地进行平滑)。相反，当函数S的振幅较小时，把具有窄通带的低通滤波器应用于输入图像数据It的像素(换句话说，进行相当大的平滑)。如果不断地重放被应用低通滤波器的输出图像数据O0～Om-1，那么在与函数S的振幅对应的程度上被平滑的图案沿着向后的方向流动，从而进一步强调速度感。
<3.第三实施例>
[图像处理设备的结构例子]
图23是图解说明第三实施例中的图像处理设备200的结构例子的方框图。在第一实施例中，图像处理设备200在假定在输入图像数据的摄影期间，摄影者不移动成像设备地拍摄图像的情况下，检测运动物体。不过在一些情况下，摄影者在摄影期间，移动成像设备的时候，拍摄图像。例如，如图24中图解所示，在一些情况下，摄影者一边跟随运动物体的移动，一边沿着运动方向移动(摇移)成像设备。取决于成像设备的移动速度，如画面内显而易见，在一些情况下，拍摄其中运动物体不移动，而静止物体移动的运动图像数据。如果对于所述运动图像数据，原样直接应用第一实施例中举例说明的检测运动物体的方法，那么不是运动物体的物体会被错误地检测为运动物体。
为了抑制运动物体的错误检测，第三实施例和第一实施例的不同之处在于第三实施例的图像处理设备200在输入图像数据中，校正由成像设备的移动引起的输入图像数据之间的位置偏离的时候，检测运动物体。具体地，如图23中图解所示，第三实施例和第一实施例的不同之处在于第三实施例的图像处理设备200还包括对齐处理单元210。
对齐处理单元210进行输入图像数据之间的对齐处理。具体地，为了进行输入图像数据的对齐，进行两种处理：计算“位置校正参数C1～Cn-1”的处理，和依据“位置校正参数C1～Cn-1”，向输入图像数据I1～In-1的坐标系加入偏移量的处理。
图25是图解说明第三实施例中的对齐处理单元210的结构例子的方框图。对齐处理单元210包括位置校正参数计算单元211和输入图像位置校正单元212。
位置校正参数计算单元211接收输入图像数据I0和输入图像数据I1～In-1。随后，位置校正参数计算单元211计算用于进行输入图像数据的对齐的“位置校正参数C1～Cn-1”。“位置校正参数C1～Cn-1”是指示输入图像数据It相对于输入图像数据I0，具有哪种位置关系的数据。换句话说，鉴于通过把输入图像数据It的二维坐标偏移由位置校正参数Ct指示的量而获得的坐标系，“被投影到经历所述偏移的坐标系中的某个位置(坐标值)处的输入图像数据It的被摄物体”被投影在和输入图像数据I0相同的位置(坐标值)处。
另外，更具体地，例如，“位置校正参数Ct”是包括两个标量值的数据：X方向的偏移值(标量值)和Y方向的偏移值(标量值)。
通过输入图像数据It和输入图像数据I0的两个图像之间的匹配计算，可获得这样的“位置校正参数Ct”。匹配计算是现有技术中已知的技术，从而省略其详细说明。
换句话说，位置校正参数计算单元211对于t＝1～n-1，进行输入图像数据It和输入图像数据I0的图像的匹配处理，以便获得两个图像之间的偏离量。随后，输出所述偏离量，作为“位置校正参数Ct”。
另外，在匹配计算中，例如，利用相位限定(phase-only)相关方法。在相位限定相关方法中，位置校正参数计算单元211对待比较的图像进行傅里叶变换，根据傅里叶变换的结果，获得两个图像的互功率谱，并对互功率普进行反傅里叶变换。通过反傅里叶变换，获得在x和y的某些值，陡峻的x和y的函数。如果沿x和y方向，把目标图像的位置移动所述函数陡峻的x和y的值，那么目标图像很好地匹配基准图像，从而位置校正参数计算单元211把所述值设定为位置校正参数。相位限定相关方法是常常用在对齐处理中的方法，如在B.Srinivasa Reddy和B.N.Chatterji的“An FF T-Based Technique for Translation,Rotation,andScale-Invariant Image Registration”(IEEE TRANSACTIONS ONIMAGE PROCESSING 1996)中所述。
输入图像位置校正单元212通过向输入图像数据I1～In-1的坐标系，加入偏移量，进行产生新坐标系上的图像的处理。
通过加入偏移量的处理，对于各个输入图像数据I0～In-1，相同的被摄物体被投影在相同的位置(坐标值)。换句话说，认为好像摄影者未移动成像设备似地拍摄图像。换句话说，通过向图25的输入图像加入偏移量，能够获得图26中图解所示的输入图像。
图26是图解说明第三实施例中的输入图像数据的例子的示图。图26的a是时序上第一的输入图像数据I0，图26的b～d是第二个到第四个输入图像数据I1～I3。在图26的b～d中，汽车和背景的物体被拍摄，由于摄影者的摇移操作，背景的物体沿着水平方向移动。相反，由于汽车的运动方向是和摇移方向相同的方向，因此各帧之间的位置可能并不显著变化。
图27是图解说明第三实施例中的通过偏移位置而校正的图像数据的例子的示图。图27的a是时序上第一的输入图像数据I0，被用作基准图像。图27的b是通过利用位置校正参数C1，偏移校正位置，以致基准图像和公共区域重叠而获得的第二个输入图像数据I1。在图27的c和d分别是通过利用位置校正参数C2和C3，偏移校正位置，以致基准图像和公共区域重叠而获得的第三个和第四个输入图像数据I2和I3。通过如图26中图解所示，偏移校正位置，图像处理设备200能够可靠地检测运动物体。
通过对于被偏移的坐标系中的输入图像数据I0～In-1，进行和本发明的第一实施例中的处理相同的处理(在图23的220之后)，获得与本发明的第一实施例的结果类似的“其中强调运动物体的速度感的动态图像”。此外，在第三实施例中，通过增加本发明的第一实施例中没有的处理，获得“其中进一步强调速度感的动态图像”。这将在下面说明。
本发明的第三实施例(图23)和本发明的第一实施例(图2)的不同之处在于增加了对齐处理单元210，并且输入对齐处理单元210的数据不同。具体地，第三实施例和第一实施例的不同之处在于关于在对齐处理单元210中获得的“位置校正参数C1～Cn-1”的信息，和在运动物体检测单元220中提取的运动物体区域数据M0～Mn-1被输入平滑处理单元250中。
图27是图解说明第三实施例中的平滑处理单元250的结构例子的方框图。平滑处理单元250包括后部区域平滑处理单元251和背景区域平滑处理单元252。
后部区域平滑处理单元251对后部区域进行取决于移动速度的平滑处理。后部区域平滑处理单元251把通过进行平滑处理而获得的输入图像数据提供给背景区域平滑处理单元252。
背景区域平滑处理单元252取决于利用位置校正参数指示的校正量，沿着校正方向，对背景的区域进行平滑处理。具体地，背景区域平滑处理单元252在其中后部区域被平滑的输入图像数据中，根据运动物体区域数据，提取除运动物体的区域之外的背景的区域。随后，背景区域平滑处理单元252根据位置校正参数，计算校正向量的大小(校正量)。更具体地，从两个连续的位置校正参数Ct和Ct-1之间的差分，获得在输入图像数据It的拍摄期间的摇移的大小，并把该值作为校正量。另外，C0被设定为0。通过把校正量×α'设定为平滑度K，背景区域平滑处理单元252沿着校正向量的方向，对背景的区域进行平滑处理。这里，理想的是把系数α'的值设定为比在平滑后部区域的情况下设定的系数α(例如，“1”)小的值(例如，“1/10”)。背景区域平滑处理单元252输出通过平滑处理而获得的图像数据，作为输出图像数据。
图29是图解说明第三实施例中的输出图像数据的例子的示图。图29的a是作为通过沿着运动方向，对后部区域进行平滑处理而获得的结果的输入图像数据I1'的例子。图29的b是作为通过沿着校正方向(摇移的方向)，对运动物体的背景进行平滑处理而获得的结果的输出图像数据O1的例子。如在图28的b中图解所示，沿着运动方向，使运动物体的后部区域平滑，沿着摇移的方向，使背景平滑，以致获得其中强调运动物体的运动感的图像。
按照这种方式，按照本技术的第三实施例，在把目标图像的位置对齐在基准图像的位置，以致基准图像和目标图像在公共区域中重叠之后，图像处理设备200能够检测运动物体的区域。从而，即使当成像设备被移动时，也可靠地检测运动物体的区域。随后，能够根据位置校正参数，确定照相机的摇移方向，通过沿着所述方向，对“除运动物体的区域之外的背景的区域”进行轻微的平滑，能够获得所谓的摇摄效果。归因于摇摄效果，获得“其中进一步强调速度感的动态图像”。
另外，上述实施例举例说明实现本技术的例子，实施例中的事项和权利要求书中的主题事项分别具有对应关系。类似地，权利要求书中的主题事项和按照相同方式命名的本技术的实施例中的事项分别具有对应关系。不过，本技术并不局限于实施例，本技术可用对实施例的各种变更来体现，而不脱离本技术的范围和精神。
此外，在上面说明的实施例中说明的处理过程可被视为具有一系列过程的方法，或者可被视为使计算机执行所述一系列过程的程序，或者保存所述程序的记录介质。作为所述记录介质，可以使用例如压缩光盘(CD)、小型光盘(MD)、数字通用光盘(DVD)、存储卡、蓝光光盘(注册商标)等。
此外，本技术可以采取以下结构。
(1)一种图像处理设备，包括：
运动物体获取单元，所述运动物体获取单元获得目标图像中的运动物体的区域，所述目标图像是时间上连续的多个图像之中的至少一个图像；
运动方向获取单元，所述运动方向获取单元获得所述运动物体的运动方向；
后部区域检测单元，所述后部区域检测单元检测运动物体的区域中，相对于运动方向的后方部分的区域，作为后部区域；和
后部区域处理单元，所述后部区域处理单元对后部区域进行预定图像处理。
(2)按照(1)所述的图像处理设备，
其中运动物体获取单元检测目标图像中的运动物体的区域。
(3)按照(2)所述的图像处理设备，
其中目标图像包括多个预定形状的块，
其中运动物体获取单元利用块匹配算法，对于每个块，获得该块的运动量，并检测由其运动量都超过预定阈值的块构成的区域，作为运动物体的区域。
(4)按照(1)-(3)任意之一所述的图像处理设备，
其中运动物体获取单元还获得基准图像中的运动物体的区域，所述基准图像是所述多个图像之中的直接在目标图像之前的图像，
其中运动方向获取单元检测从所述基准图像中的运动物体的区域内的特定坐标到所述目标图像中的运动物体的区域内的特定坐标的方向，作为运动方向。
(5)按照(1)-(4)任意之一所述的图像处理设备，
其中后部区域检测单元检测被其位置在目标图像内，沿运动方向被变更的后方部分的轮廓线，和所述变更之前的所述轮廓线围绕的区域，作为后部区域。
(6)按照(1)-(5)任意之一所述的图像处理设备，
其中后部区域检测单元通过把目标图像内，其位置沿运动方向被变更的运动物体的区域设定为遮蔽区域，检测通过遮蔽变更前的所述运动物体的区域而产生的区域，作为后部区域。
(7)按照(6)所述的图像处理设备
其中后部区域检测单元包括移动速度检测单元，所述移动速度检测单元检测运动物体的移动速度，和遮蔽处理单元，所述遮蔽处理单元通过把其位置按照取决于移动速度的变更量而被变更的运动物体的区域设定为遮蔽区域，进行遮蔽。
(8)按照(7)所述的图像处理设备，
其中后部区域检测单元还包括沿运动方向，扩大目标图像中的运动物体的区域的扩大单元，
其中遮蔽处理单元可通过把通过沿运动方向，变更扩大区域的位置而获得的区域，设定为遮蔽区域，对变更前的扩大区域进行遮蔽，所述扩大区域是利用扩大单元扩大的运动物体的区域。
(9)按照(1)-(8)任意之一所述的图像处理设备，
其中所述预定图像处理可以是沿运动方向的平滑处理。
(10)按照(9)所述的图像处理设备，
其中后部区域处理单元对后部区域沿运动方向进行取决于移动速度的程度的平滑处理。
(11)按照(9)或(10)所述的图像处理设备，
其中扩大单元取决于移动速度，沿运动方向扩大运动物体的区域。
(12)按照(9)-(11)任意之一所述的图像处理设备，
其中后部区域处理单元利用低通滤波器，进行平滑处理，所述低通滤波器具有宽度对应于周期函数的振幅的通带，所述周期函数表示后部区域内的像素值在沿着运动方向的方向上的分布。
(13)按照(1)-(12)任意之一所述的图像处理设备，
其中目标图像是多个图像之中的任意一个图像，
其中后部区域检测单元检测在运动物体的后方部分中的多个后部区域，
其中平滑处理单元生成通过对所述多个后部区域进行平滑处理而获得的多个图像。
(14)按照(1)-(13)任意之一所述的图像处理设备，还包括：
对齐处理单元，所述对齐处理单元对齐目标图像的位置和基准图像的位置，以致作为直接在目标图像之前的图像的基准图像和目标图像在公共区域中重叠，
其中运动物体检测单元检测对齐的目标图像中的运动物体。
(15)按照(1)-(14)任意之一所述的图像处理设备，
其中平滑处理单元还沿运动方向，对目标图像中的除运动物体外的区域，进行与后部区域的程度不同的程度的平滑处理。
(16)按照(1)-(15)任意之一所述的图像处理设备，还包括：
强调处理单元，所述强调处理单元强调包含在后部区域中的各个线段之中的沿着运动方向延伸的线段。
(17)按照(1)-(16)任意之一所述的图像处理设备，
其中所述预定图像处理是用预定颜色着色后部区域的处理。
(18)一种图像处理设备的控制方法，包括：
运动物体获取步骤，所述运动物体获取步骤获得目标图像中的运动物体的区域，所述目标图像是时间上连续的多个图像之中的至少一个图像；
运动方向获取步骤，所述运动方向获取步骤获得所述运动物体的运动方向；
后部区域检测步骤，所述后部区域检测步骤检测运动物体的区域中，相对于运动方向的后方部分的区域，作为后部区域；和
后部区域处理步骤，所述后部区域处理步骤对后部区域进行预定图像处理。
(19)一种程序，所述程序使计算机执行：
运动物体获取步骤，所述运动物体获取步骤获得目标图像中的运动物体的区域，所述目标图像是时间上连续的多个图像之中的至少一个图像；
运动方向获取步骤，所述运动方向获取步骤获得所述运动物体的运动方向；
后部区域检测步骤，所述后部区域检测步骤检测运动物体的区域中，相对于运动方向的后方部分的区域，作为后部区域；和
后部区域处理步骤，所述后部区域处理步骤对后部区域进行预定图像处理。
附图标记列表
100  信息处理设备
110  成像单元
120  控制单元
130  显示单元
140  输入和输出接口
150  运动图像数据存储单元
160  总线
200  图像处理设备
210  对齐处理单元
211  位置校正参数计算单元
212  输入图像位置校正单元
220  运动物体检测单元
221  像素选择单元
222  背景基准值计算单元
223  运动物体区域提取单元
225  运动物体获取单元
230  运动向量检测单元
231  重心坐标计算单元
232  运动向量计算单元
235  运动向量获取单元
240  后部区域检测单元
241  扩大单元
242  运动物体位置变更单元
243  遮蔽处理单元
244  后部位置变更单元
250  平滑处理单元
251  后部区域平滑处理单元
252  背景区域平滑处理单元
255  后部区域处理单元
260  边缘强调处理单元

Claims (19)

1.一种图像处理设备，包括：
运动物体获取单元，所述运动物体获取单元获得目标图像中的运动物体的区域，所述目标图像是时间上连续的多个图像之中的至少一个图像；
运动方向获取单元，所述运动方向获取单元获得所述运动物体的运动方向；
后部区域检测单元，所述后部区域检测单元检测运动物体的区域中的相对于运动方向的后方部分的区域，作为后部区域；以及
后部区域处理单元，所述后部区域处理单元对后部区域进行预定图像处理。
2.按照权利要求1所述的图像处理设备，
其中运动物体获取单元检测目标图像中的运动物体的区域。
3.按照权利要求2所述的图像处理设备，
其中所述目标图像包括多个预定形状的块，并且
其中运动物体获取单元利用块匹配算法，对于每个块，获得该块的运动量，并检测由运动量都超过预定阈值的各个块构成的区域，作为运动物体的区域。
4.按照权利要求1所述的图像处理设备，
其中运动物体获取单元还获得基准图像中的运动物体的区域，所述基准图像是所述多个图像之中的直接在所述目标图像之前的图像，并且
其中运动方向获取单元检测从所述基准图像中的运动物体的区域内的特定坐标到所述目标图像中的运动物体的区域内的特定坐标的方向，作为运动方向。
5.按照权利要求1所述的图像处理设备，
其中后部区域检测单元检测被其位置在目标图像内沿运动方向被变更的后方部分的轮廓线，和所述变更之前的所述轮廓线围绕的区域，作为后部区域。
6.按照权利要求1所述的图像处理设备，
其中后部区域检测单元通过把目标图像内的其位置沿运动方向被变更的运动物体的区域设定为遮蔽区域，检测通过遮蔽变更前的所述运动物体的区域而产生的区域，作为后部区域。
7.按照权利要求6所述的图像处理设备，
其中后部区域检测单元包括：移动速度检测单元，所述移动速度检测单元检测运动物体的移动速度；和遮蔽处理单元，所述遮蔽处理单元通过把其位置按照取决于移动速度的变更量而被变更的运动物体的区域设定为遮蔽区域，进行遮蔽。
8.按照权利要求7所述的图像处理设备，
其中后部区域检测单元还包括沿运动方向扩大目标图像中的运动物体的区域的扩大单元，并且
其中遮蔽处理单元通过把通过沿运动方向变更扩大区域的位置而获得的区域设定为遮蔽区域，对变更前的扩大区域进行遮蔽，所述扩大区域是利用扩大单元扩大的运动物体的区域。
9.按照权利要求8所述的图像处理设备，
其中所述预定图像处理是沿运动方向的平滑处理。
10.按照权利要求9所述的图像处理设备，
其中后部区域处理单元对后部区域沿运动方向进行取决于移动速度的程度的平滑处理。
11.按照权利要求9所述的图像处理设备，
其中扩大单元根据移动速度，沿运动方向扩大运动物体的区域。
12.按照权利要求9所述的图像处理设备，
其中后部区域处理单元利用低通滤波器进行平滑处理，所述低通滤波器具有宽度对应于周期函数的振幅的通带，所述周期函数表示后部区域内的像素值在沿着运动方向的方向上的分布。
13.按照权利要求1所述的图像处理设备，
其中所述目标图像是所述多个图像之中的任意一个图像，
其中后部区域检测单元检测在运动物体的后方部分中的多个后部区域，
其中后部区域处理单元生成通过对多个后部区域进行所述预定图像处理而获得的多个图像。
14.按照权利要求1所述的图像处理设备，还包括：
对齐处理单元，所述对齐处理单元对齐目标图像的位置和基准图像的位置，以致作为直接在目标图像之前的图像的基准图像和目标图像在公共区域中交叠，
其中运动物体检测单元检测对齐的目标图像中的运动物体。
15.按照权利要求1所述的图像处理设备，
其中平滑处理单元还沿运动方向对目标图像中的除运动物体外的区域进行与后部区域的程度不同的程度的平滑处理。
16.按照权利要求1所述的图像处理设备，还包括：
强调处理单元，所述强调处理单元强调包含在后部区域中的线段之中的沿着运动方向延伸的线段。
17.按照权利要求1所述的图像处理设备，
其中所述预定图像处理是用预定颜色着色后部区域的处理。
18.一种图像处理设备的控制方法，包括：
运动物体获取步骤，所述运动物体获取步骤获得目标图像中的运动物体的区域，所述目标图像是时间上连续的多个图像之中的至少一个图像；
运动方向获取步骤，所述运动方向获取步骤获得所述运动物体的运动方向；
后部区域检测步骤，所述后部区域检测步骤检测运动物体的区域中的相对于运动方向的后方部分的区域，作为后部区域；以及
后部区域处理步骤，所述后部区域处理步骤对后部区域进行预定图像处理。
19.一种程序，所述程序使计算机执行：
运动物体获取步骤，所述运动物体获取步骤获得目标图像中的运动物体的区域，所述目标图像是时间上连续的多个图像之中的至少一个图像；
运动方向获取步骤，所述运动方向获取步骤获得所述运动物体的运动方向；
后部区域检测步骤，所述后部区域检测步骤检测运动物体的区域中的相对于运动方向的后方部分的区域，作为后部区域；以及
后部区域处理步骤，所述后部区域处理步骤对后部区域进行预定图像处理。
CN201380016685.2A 2012-04-03 2013-02-22 图像处理设备，图像处理设备的控制方法和程序 Pending CN104205803A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012-084964 2012-04-03
JP2012084964 2012-04-03
JP2013000990 2013-01-08
JP2013-000990 2013-01-08
PCT/JP2013/054557 WO2013150829A1 (ja) 2012-04-03 2013-02-22 画像処理装置、画像処理装置の制御方法およびプログラム

Publications (1)

Publication Number Publication Date
CN104205803A true CN104205803A (zh) 2014-12-10

Family

ID=49300329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380016685.2A Pending CN104205803A (zh) 2012-04-03 2013-02-22 图像处理设备，图像处理设备的控制方法和程序

Country Status (5)

Country Link
US (1) US9361703B2 (zh)
JP (1) JP5983737B2 (zh)
CN (1) CN104205803A (zh)
BR (1) BR112014024049A8 (zh)
WO (1) WO2013150829A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9432575B2 (en) * 2013-06-28 2016-08-30 Canon Kabushiki Kaisha Image processing apparatus
JP6318547B2 (ja) * 2013-10-28 2018-05-09 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
KR102180466B1 (ko) * 2013-12-19 2020-11-18 삼성메디슨 주식회사 대상체의 측정값과 관련된 부가 정보를 디스플레이하기 위한 방법 및 장치
JP6577703B2 (ja) * 2014-08-05 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9390487B2 (en) * 2014-10-20 2016-07-12 Microsoft Technology Licensing, Llc Scene exposure auto-compensation for differential image comparisons
US9704272B2 (en) 2014-11-21 2017-07-11 Microsoft Technology Licensing, Llc Motion blur using cached texture space blur
US10697766B1 (en) * 2014-11-25 2020-06-30 Hunter Engineering Company Method and apparatus for compensating vehicle inspection system measurements for effects of vehicle motion
US9591237B2 (en) * 2015-04-10 2017-03-07 Qualcomm Incorporated Automated generation of panning shots
US9584716B2 (en) * 2015-07-01 2017-02-28 Sony Corporation Method and apparatus for autofocus area selection by detection of moving objects
TWI554108B (zh) * 2015-08-04 2016-10-11 緯創資通股份有限公司 電子裝置及影像處理方法
JP2017049783A (ja) * 2015-09-01 2017-03-09 キヤノン株式会社 画像処理装置及び画像処理方法
KR102474837B1 (ko) * 2015-09-14 2022-12-07 주식회사 한화 전경 추출 방법 및 장치
JP6736916B2 (ja) * 2016-03-02 2020-08-05 株式会社リコー 情報処理装置、情報処理方法、及びプログラム
JP6604908B2 (ja) * 2016-06-10 2019-11-13 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP2018146663A (ja) * 2017-03-02 2018-09-20 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置
JP2019117547A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN109064427A (zh) * 2018-08-01 2018-12-21 京东方科技集团股份有限公司 增强图像对比度的方法、装置、显示设备和存储介质
JP7290961B2 (ja) * 2019-03-11 2023-06-14 セコム株式会社 画像処理装置及び画像処理プログラム
JP2021164087A (ja) * 2020-04-01 2021-10-11 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3603629B2 (ja) * 1998-12-24 2004-12-22 カシオ計算機株式会社 画像処理装置及び画像処理方法
JP3639476B2 (ja) * 1999-10-06 2005-04-20 シャープ株式会社 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
JP2003037767A (ja) 2001-07-24 2003-02-07 Minolta Co Ltd デジタルカメラ
JP2006050070A (ja) * 2004-08-02 2006-02-16 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2006086933A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及び制御方法
JP5326809B2 (ja) 2009-05-22 2013-10-30 株式会社ニコン 撮像装置
WO2011074049A1 (ja) * 2009-12-18 2011-06-23 富士通株式会社 画像選別装置及び画像選別方法
JP4924727B2 (ja) 2010-02-16 2012-04-25 カシオ計算機株式会社 画像処理装置及び画像処理プログラム
JP2011182213A (ja) 2010-03-02 2011-09-15 Casio Computer Co Ltd 撮像装置及び撮像装置の制御プログラム

Also Published As

Publication number Publication date
WO2013150829A1 (ja) 2013-10-10
JP5983737B2 (ja) 2016-09-06
BR112014024049A8 (pt) 2017-07-25
US9361703B2 (en) 2016-06-07
US20150043786A1 (en) 2015-02-12
JPWO2013150829A1 (ja) 2015-12-17
BR112014024049A2 (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN104205803A (zh) 图像处理设备，图像处理设备的控制方法和程序
US11983893B2 (en) Systems and methods for hybrid depth regularization
Dosovitskiy et al. Flownet: Learning optical flow with convolutional networks
Fischer et al. Flownet: Learning optical flow with convolutional networks
Yun et al. Scene conditional background update for moving object detection in a moving camera
CN102216957B (zh) 图像中对象的视觉跟踪以及图像分割
Zhao et al. Segmentation and tracking of multiple humans in complex situations
EP2858008A2 (en) Target detecting method and system
US8929599B2 (en) Articulation region display apparatus, articulation region detecting apparatus, articulation region belongingness calculating apparatus, articulated object region belongingness calculating apparatus, and articulation region display method
EP2061009B1 (en) Iterative motion segmentation
KR101671391B1 (ko) 레이어 블러 모델에 기반한 비디오 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
Chen et al. Background estimation using graph cuts and inpainting
Kurnianggoro et al. Dense optical flow in stabilized scenes for moving object detection from a moving camera
Sappa et al. An edge-based approach to motion detection
CN114494929A (zh) 视频处理方法及装置
Minematsu et al. Evaluation of foreground detection methodology for a moving camera
Li et al. Zoom in to the details of human-centric videos
CN111179281A (zh) 人体图像提取方法及人体动作视频提取方法
Micheli The centroid method for imaging through turbulence
Koochari et al. Exemplar-based video inpainting with large patches
KR102236473B1 (ko) 영상 처리 방법 및 그 장치
US10861166B2 (en) Image restoration method
Fehrman et al. Handling occlusion with an inexpensive array of cameras
KR20220064857A (ko) 세그먼테이션 방법 및 세그먼테이션 장치
Zhen et al. Inertial sensor aided multi-image nonuniform motion blur removal based on motion decomposition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141210