CN101673342A - 对象检测装置,成像设备,对象检测方法和程序 - Google Patents

对象检测装置,成像设备,对象检测方法和程序 Download PDF

Info

Publication number
CN101673342A
CN101673342A CN200910166675A CN200910166675A CN101673342A CN 101673342 A CN101673342 A CN 101673342A CN 200910166675 A CN200910166675 A CN 200910166675A CN 200910166675 A CN200910166675 A CN 200910166675A CN 101673342 A CN101673342 A CN 101673342A
Authority
CN
China
Prior art keywords
image
frequency distribution
value
zone
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910166675A
Other languages
English (en)
Other versions
CN101673342B (zh
Inventor
小川要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101673342A publication Critical patent/CN101673342A/zh
Application granted granted Critical
Publication of CN101673342B publication Critical patent/CN101673342B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种对象检测装置，包括计算单元，所述计算单元被配置成对图像中的多个区域，计算亮度的梯度强度和梯度方向，和对每个区域计算亮度梯度强度相对于计算的亮度梯度方向的频率分布，和确定单元，所述确定单元被配置成通过比较对每个区域计算的多个频率分布，确定识别对象是否包括在图像中。

Description

对象检测装置，成像设备，对象检测方法和程序
技术领域
本发明涉及一种对象检测装置，更具体地说，涉及一种从成像图像中检测诸如人物之类的识别对象的对象检测装置，成像装置及其处理方法，和使计算机执行其方法的程序。
背景技术
迄今为止，提出了被摄体识别技术，其中识别包括在由诸如数字静态照相机或数字摄像机(例如，集成的照相机/录像机等)产生的成像图像中的被摄体是什么。例如，作为被摄体识别技术，提出了借助使用诸如亮度和颜色之类特征量的图像处理，从成像图像中检测人物面部的面部检测技术。可以想到，利用这种检测技术能够检测人物。不过，在检测对象是人物的情况下，衣服等的颜色常常随人物而不同，从而认为难以借助使用诸如亮度和颜色之类特征量的图像处理检测人物。
因此，提出了利用待检测对象的轮廓检测诸如人物或车辆之类对象的对象检测技术。例如，提出了一种利用梯度方向直方图(HOG：有向梯度的直方图)进行对象检测的技术，梯度方向直方图是图像内的多个区域的亮度的一种直方图(频率分布)(例如，参见“Histograms ofOriented Gradients for Human Detection”，Navneet Dalal，2005)。梯度方向直方图是通过把目标图像分成例如多个区域，计算每个区域的亮度的梯度强度和梯度方向，并根据亮度的梯度强度和梯度方向创建的。
发明内容
就上述技术来说，例如，为了避免因对象的明/暗而降低检测精度，创建的梯度方向直方图被归一化，并利用归一化之后的梯度方向直方图进行对象检测。
不过，在对利用数字静态照相机，或诸如数字静态照相机之类成像装置产生的成像图像进行对象检测的情况下，提高对象检测的精度，以及降低与对象检测相关的处理的负担变得重要。从而，在每种情况下，提高对象检测的精度，以及降低与对象检测相关的处理的负担变得重要。
一直存在能恰当检测包括在图像中的被检对象的需求。
按照本发明的一个实施例，提供一种对象检测装置，其处理方法，和使计算机执行所述方法的程序，所述对象检测装置包括：计算单元，用于对图像中的多个区域计算亮度的梯度强度和梯度方向，和对每个区域计算亮度梯度强度相对于计算的亮度梯度方向的频率分布；和确定单元，用于通过比较对每个区域计算的多个频率分布，确定识别对象是否包括在图像中。从而，通过对图像的多个区域计算与亮度的梯度强度和梯度方向相关的频率分布，并比较多个频率分布，产生确定识别对象是否包括在图像中的操作。
计算单元计算在所述图像中预先设定的第一区域和第二区域的所述频率分布中的每个；确定单元可通过比较关于第一区域计算的频率分布的多种级别中的一种预设级别的值和关于第二区域计算的频率分布的多种级别中的一种预设级别的值，确定识别对象是否包括在图像中。从而，通过比较关于第一区域计算的频率分布的多种级别中的一种预设级别的值和关于第二区域计算的频率分布的多种级别中的一种预设级别的值，产生确定识别对象是否包括在图像中的操作。
计算单元可计算与第一区域相关的频率分布和与第二区域相关的频率分布的多个组合；确定单元可通过比较关于第一区域计算的频率分布的多种级别中的一种预设级别的值和关于第二区域计算的频率分布的多种级别中的一种预设级别的值的每个组合，确定识别对象是否包括在图像中。从而，通过对于多种组合中的每种组合，比较关于第一区域计算的频率分布的多种级别中的一种预设级别的值和关于第二区域计算的频率分布的多种级别中的一种预设级别的值，产生确定识别对象是否包括在图像中的操作。
确定单元可通过计算关于第一区域计算的频率分布的多种级别中的一种预设级别的值和关于所述第二区域计算的频率分布的多种级别中的一种预设级别的值之间的差值，并根据该差值确定识别对象是否包括在图像中。从而，通过计算关于第一区域计算的频率分布的多种级别中的一种预设级别的值和关于所述第二区域计算的频率分布的多种级别中的一种预设级别的值之间的差值，产生确定识别对象是否包括在图像中的操作，所述确定基于所述差值。
第一区域和第二区域是图像中不相互重叠的区域。从而，通过使用对不相互重叠的两个区域计算的两个频率分布，产生确定识别对象是否包括在图像中的操作。
对象检测装置还包括：确定信息存储单元，用于保存多个确定信息，所述多个确定信息包括下述信息的组合：第一位置，所述第一位置是图像中区域的位置；第一级别，第一级别是频率分布的多种级别中的一种级别；第二位置，第二位置是图像中区域的位置，并且不同于第一位置；第二级别，第二级别是频率分布的多种级别中的一种级别；阈值；和加权值；其中计算单元可关于每组确定信息，计算第一频率分布和第二频率分布，第一频率分布是与由第一位置识别的区域相关的频率分布，第二频率是与由第二位置识别的区域相关的频率分布；并且其中确定单元根据评估值确定识别对象是否包括在所述图像中，评估值是通过计算第一频率分布的多种级别中的第一级别的值和第二频率分布的多种级别中的第二级别的值之间的差值；比较差值和阈值；和通过根据比较结果进行加权值的计算，计算评估值。从而，通过计算第一频率分布的多种级别中的第一级别的值和第二频率分布的多种级别中的第二级别的值之间的差值，比较差值和阈值，并通过根据关于每组确定信息的比较结果进行加权值的计算，来计算评估值，产生确定识别对象是否包括在图像中的操作。
识别对象可以是人物。从而，通过关于图像中的多个区域计算与亮度的梯度强度和梯度方向相关的频率分布，并比较多个频率分布，产生确定识别对象是否包括在图像中的操作。
另外，按照本发明的一个实施例，提供一种成像设备，其处理方法，和使计算机执行该方法的程序，所述成像设备包括：成像单元，用于对被摄体成像，并产生成像图像；图像提取单元，用于从成像图像中提取充当确定目标的确定目标图像；计算单元，用于对确定目标图像中的多个区域计算亮度的梯度强度和梯度方向，和对每个区域计算亮度梯度强度相对于计算的亮度梯度方向的频率分布；和确定单元，用于通过比较对每个区域计算的多个频率分布，确定识别对象是否包括在确定目标图像中。从而，通过对提取自成像图像的确定目标图像中的多个区域计算与亮度的梯度强度和梯度方向相关的频率分布，并比较其中的多个频率分布，产生确定识别对象是否包括在确定目标图像中的操作。
按照上面的配置，能够获得可适宜地检测包括在图像中的识别对象的优点。
附图说明
图1是按照本发明的一个实施例，例示成像设备的功能配置的例子的框图；
图2是按照本发明的一个实施例，例示照相机控制单元的功能配置的例子的框图；
图3是按照本发明的一个实施例，例示人物检测单元的功能配置的例子的框图；
图4A和4B是按照本发明的一个实施例，简要例示将成为人物确定单元的人物确定处理的目标的图像的示图；
图5A至5C是按照本发明的一个实施例，简要例示在HOG计算单元的HOG计算事件中使用的像素的示图；
图6A至6C是按照本发明的一个实施例，简要例示利用由HOG计算单元计算的亮度梯度角和亮度梯度强度表述的向量、直方图和边缘强度分布的示图；
图7A至7C是简要例示包括人物的确定目标图像，和表示关于该确定目标图像创建的边缘强度分布的多个线段中的一部分的示图；
图8A至8C是例示包括人物的图像、该图像的缩小图像和表示关于该缩小图像创建的边缘强度分布的线段的示图；
图9A至9C是例示包括不同于人物的对象的图像、该图像的缩小图像和表示关于该缩小图像创建的边缘强度分布的线段的示图；
图10A和10B是例示表示图8A至图9C中所示的边缘强度分布的线段的示图；
图11是按照本发明的一个实施例，简要例示保存在人物检测字典存储单元中的人物检测字典的示图；
图12是按照本发明的一个实施例，简要例示提取图像的图像提取方法的示图，所述图像将成为人物确定单元的人物确定处理的目标；
图13是按照本发明的一个实施例，简要例示提取图像的图像提取方法的示图，所述图像将成为人物确定单元的人物确定处理的目标；
图14是按照本发明的一个实施例，例示确定目标图像和用于确定处理的直方图(HOG)的示图；
图15是按照本发明的一个实施例，例示确定目标图像和用于确定处理的直方图(HOG)的示图；
图16是按照本发明的一个实施例，例示成为人物检测单元的人物检测处理的目标的图像，和人物检测单元的人物检测处理的检测结果的示图；
图17是按照本发明的一个实施例，说明成像设备的成像图像记录处理的处理过程的流程图；
图18是按照本发明的一个实施例，说明成像设备的成像图像记录处理的人物检测处理过程的流程图；
图19是按照本发明的一个实施例，说明成像设备的人物检测处理的确定处理过程的流程图。
具体实施方式
下面参考附图，详细说明本发明的实施例。图1是按照本发明的一个实施例，例示成像设备100的功能配置例子的框图。成像设备100具有镜头111、成像单元112、系统控制单元120、存储器单元130、外部接口单元140、记录单元150、操作输入单元160、显示单元170、音频输出单元180和照相机控制单元200。例如，成像设备100可由数字静态照相机实现，所述数字静态照相机能够对被摄体成像，从而产生图像数据，借助图像分析从图像数据中提取各种特征量，并利用各种提取的特征量进行各种图像处理。
镜头111由会聚来自被摄体的光的多个透镜(变焦透镜，聚焦透镜等)构成，从被摄体照射的光经其中的透镜被提供给成像单元112。
成像单元112具有成像元件(未示出)和信号处理单元(未示出)，成像元件具有电子快门功能，信号处理单元处理来自成像元件的输出信号，从而产生成像图像(图像信号)。即，通过在成像元件的成像面上形成经镜头111照射的被摄体的光学图像、成像元件在这种状态下进行成像操作并且信号处理单元对成像信号进行信号处理，在成像单元112产生成像图像。产生的成像图像随后被提供给存储器单元130并被保存。注意由照相机控制单元200顺序地确定用于产生成像图像的照相机参数(成像参数)。
照相机控制单元200根据经存储器单元130从成像单元112供给的成像图像和系统控制单元120的控制，控制成像单元112。注意，后面将参考图2详细说明照相机控制单元200。
系统控制单元120对整个成像设备100进行控制。例如，系统控制单元120按照操作输入单元160从用户接受的操作输入进行控制。另外，系统控制单元120控制显示在显示单元170上的菜单屏幕等的显示、关于记录单元150的成像图像的记录和读取、经外部接口单元140进行的与外部计算机和网络的通信，等等。此外，在成像操作期间进行监视时，系统控制单元120进行把成像单元112产生的成像图像显示在显示单元170上的控制。
存储器单元130是临时把成像图像等保存在成像设备100的系统上的主存储装置，例如由DRAM(动态随机存取存储器)构成。即，成像设备100内各个单元之间的成像图像的交换主要是通过存储器单元130进行的。
外部接口单元140是具有诸如USB(通用串行总线)之类输入/输出端子的外部接口，并且提供与外部计算机和网络连接的接口。
记录单元150根据系统控制单元120的控制，记录成像单元112产生的成像图像。另外，记录单元150根据系统控制单元120的控制，读取记录的成像图像，并将其提供给系统控制单元120。例如，诸如闪速存储器之类的记录介质可被用作记录单元150。另外，记录单元150可被内置到成像设备100中，或者可以可拆卸地安装在成像设备100上。
操作输入单元160是接收来自用户的操作输入的操作输入单元，并且与接收的操作输入相应的信号被输出给系统控制单元120。例如，当快门按钮被按下，指示成像图像的记录时，与按下快门按钮对应的信号被输出给系统控制单元120。
显示单元170是根据系统控制单元120的控制，显示各种图像的显示单元。例如，显示单元170显示由成像单元112产生的成像图像、从记录单元150读取的成像图像、提供给用户的菜单屏幕，等等。
音频输出单元180根据系统控制单元120的控制，输出各种音频信息。例如，音频输出单元180可用扬声器实现。
图2是按照本发明的一个实施例，例示照相机控制单元200的功能配置例子的框图。随同照相机控制单元200的功能配置例子一起，图2中还表示了图1中所示的成像单元112、系统控制单元120和存储器单元130的配置。照相机控制单元200具有顺序控制单元210、照相机参数控制单元220、人物检测单元230和存储器接口240。现在，在存储器单元130和照相机参数控制单元220之间，或者在存储器单元130和人物检测单元230之间进行的成像图像的交换是通过存储器接口240实现的。
顺序控制单元210依据来自系统控制单元120的成像图像记录等待命令被启动，并保持在能够记录成像单元112产生的成像图像的状态。在成像图像记录等待状态下，成像单元112产生的成像图像被顺序保存在存储器单元130中。例如，以1/60秒的间隔顺序更新保存在存储器单元130中的成像图像。另外，顺序控制单元210进行控制，以致照相机参数控制单元220根据保存在存储器单元130中的当前成像图像(借助成像单元112产生的最新的成像图像)确定照相机参数。另外，顺序控制单元210进行对人物检测单元230的控制，以便对保存在存储器单元130中的当前成像图像进行人物检测处理。现在，在从人物检测单元230输出指示已检测到人物的人物检测信息的情况下，顺序控制单元210把大意是已检测到人物的信息输出给系统控制单元120和照相机参数控制单元220。
照相机参数控制单元220确定与成像图像相关的照相机参数，并利用确定的照相机参数对成像单元112进行成像控制。具体地说，照相机参数控制单元220根据来自顺序控制单元210的触发信号，经存储器接口240获得保存在存储器单元130中的当前成像图像。照相机参数控制单元220随后评估当前的成像图像，并确定照相机参数，比如快门速度、曝光、白平衡等等。另外，在当前成像图像中检测到人物的情况下，照相机参数控制单元220根据被检人物和当前成像图像的评估，确定照相机参数，比如快门速度、曝光、白平衡等等。例如，在检测到人物的情况下，根据成像图像中被检人物的位置和大小，对被检人物确定最佳照相机参数。
人物检测单元230对保存在存储器单元130中的当前成像图像进行人物检测处理，在检测到人物的情况下，人物检测信息被输出给顺序控制单元210。具体地说，人物检测单元230根据来自顺序控制单元210的触发信号，经存储器接口240，获得保存在存储器单元130中的当前成像图像，并对当前成像图像进行人物检测处理。现在，人物检测信息是与被检人物相关的信息，例如是包括表示在被检人物的成像图像中该人物的位置、大小和程度的分数的信息。注意下面将参考图3详细说明人物检测单元230。
图3是按照本发明的一个实施例，例示人物检测单元230的功能配置例子的框图。人物检测单元230具有图像采集单元231、图像缩小单元232、图像提取单元233、HOG计算单元234、人物确定单元235、确定结果输出单元236和人物检测字典存储单元300。
图像采集单元231经存储器接口240获得保存在存储器单元130中的成像图像，并把获得的成像图像输出给图像缩小单元232。
图像缩小单元232通过按预定的比例，顺序地缩小从图像采集单元231输出的成像图像，产生不同大小的多个图像，并顺序地把每个产生的图像输出给图像提取单元233。注意，后面将参考图13详细说明此处的成像图像的缩小。
图像提取单元233对从图像缩小单元232输出的每个图像，顺序地提取包括在预定区域中的图像，并把提取的图像(确定目标图像)输出给HOG计算单元234。注意，后面将参考图12和13，详细说明此处的图像的提取。
人物检测字典存储单元300保存人物检测字典以对从图像提取单元233输出的图像进行人物检测处理。例如，人物检测处理进行HOG计算单元234的梯度方向直方图(HOG：有向梯度的直方图)的计算处理，和人物确定单元235的人物确定处理。保存的人物检测字典随后被提供给HOG计算单元234和人物确定单元235。注意后面将参考图11详细说明人物检测字典。人物检测字典存储单元300是在发明内容中提及的确定信息存储单元的一个例子。
HOG计算单元234利用从图像提取单元233输出的确定目标图像中的亮度值来计算多个区域的HOG，并把计算的HOG输出给人物确定单元235。注意根据保存在人物检测字典存储单元300中的人物检测字典的位置信息识别将充当HOG计算单元234的HOG计算目标的确定目标图像的每个区域。注意后面将参考图4A至10B详细说明HOG。另外，后面将参考图14和15详细说明确定目标图像的HOG的计算。HOG计算单元234是在发明内容中提及的计算单元的一个例子。
人物确定单元235进行人物确定处理，以确定人物是否包括在从图像提取单元233输出的确定目标图像中。确定结构随后被输出给确定结果输出单元236。作为此处所述确定的结果，输出成像图像中被检人物的位置和大小，和表示其中所述人物的程度的分数。具体地说，人物确定单元235通过利用保存在人物检测字典存储单元300中的人物检测字典，比较从HOG计算单元234输出的多个HOG，进行人物确定处理。后面将参考图14至图16详细说明人物确定单元235的人物确定处理。人物确定单元235是在发明内容中提及的确定单元的一个例子。
在从人物确定单元235输出确定人物包括在从图像提取单元233输出的确定目标图像中的确定结果的情况下，确定结果输出单元236把表示大意是从成像图像中检测到人物的信息的人物检测信息输出给顺序控制单元210。例如，人物检测信息包括成像图像中被检人物的位置和大小，以及表示其中该人物的程度的分数。
下面，参考附图详细说明在按照本发明的实施例的人物检测处理中使用的梯度方向直方图(HOG)。现在，HOG是一种直方图(频率分布)，例如可以是把确定目标图像分成多个区域，计算每个区域中的亮度的梯度强度和梯度角(梯度方向)，并根据其中的值对每个区域进行计算的直方图。按照本发明的一个实施例，将说明其中通过把为确定目标图像的识别区域而计算的HOG用作确定目标图像的特征量，进行人物检测处理的例子。
图4A和4B是按照本发明的一个实施例，示意表示充当人物确定单元235的人物确定处理的目标的图像的示图。图4A表示充当人物确定单元235的人物确定处理的目标的确定目标图像800，并且图4B表示区域810，区域810是确定目标图像800的一部分的区域。注意在图4A中，被分成200个区域的确定目标图像800中的每个区域被表示成矩形，在图4B中，包括在区域810中的每个像素被表示成矩形。另外，确定目标图像800是由例如50像素×100像素构成的图像，确定目标图像800中的每个区域是由例如5像素×5像素构成的区域，如图4B中所示。
图5A至5C是按照本发明的一个实施例，简要地示出了在HOG计算单元234的HOG计算的情况中使用的像素的示图。图5A表示包括在图4B中所示的区域810中的像素1-25，和在区域810的周围的像素26-49。图5B表示包括在图5A中所示的各个像素的区域811中的9个像素。图5C用向量简要地示出了关于图5B中所示的像素1计算的亮度的梯度角和梯度强度。现在，为了计算区域810的HOG，将示例性地说明其中关于区域810的左上角的像素1来计算亮度的梯度角和梯度强度的情况。亮度的梯度角是表示例如目标像素的亮度的梯度角的值，亮度的梯度强度是指示例如目标像素的亮度的梯度强度的值。下面将详细说明这些值。
在关于像素1计算亮度的梯度角和梯度强度的情况下，在像素1的水平方向(x方向)和垂直方向(y方向)上相邻的四个像素(虚线812内的像素2、6、27和49)，例如，如图5B中所示。首先，提取与像素1相邻的四个像素(像素2、6、27和49)的亮度分量(Y分量)。例如，在像素1的坐标为Z(x，y)的情况下，像素2的亮度分量为P(x+1，y)，像素6的亮度分量为P(x，y+1)，像素27的亮度分量为P(x，y-1)，以及像素49的亮度分量为P(x-1，y)。这种情况下，例如，利用表达式1计算像素1中的亮度的梯度角θ(x，y)。另外，利用表达式2计算像素1中的亮度的梯度强度I(x，y)。
θ ( x , y ) = tan - 1 ( P ( x , y + 1 ) - P ( x , y - 1 ) P ( x + 1 , y ) - P ( x - 1 , y ) ) 表达式1
I ( x , y ) = ( P ( x + 1 , y ) - P ( x - 1 , y ) ) 2 + ( P ( x , y + 1 ) - P ( x , y - 1 ) ) 2
表达式2
从而利用与像素1相邻的四个像素(像素2、6、27和49)的亮度分量的差值，计算与像素1相关的亮度的梯度角θ(x，y)和亮度的梯度强度I(x，y)。亮度的梯度不必考虑方向，因为亮度的梯度角θ(x，y)具有0～180°的范围。通过利用这样计算的亮度的梯度角θ(x，y)和亮度的梯度强度I(x，y)，能够创建表示与像素1相关的亮度的梯度的向量813，如图5C中所示。例如，能够创建向量813，其中亮度的梯度角θ(x，y)是关于水平方向(x轴)的角度，亮度的梯度强度I(x，y)是大小。图5C表示在指示像素1的矩形的中心附近为起点的向量813。另外，对于包括在区域810中的像素2至25，能够类似地计算亮度的梯度角θ(x，y)和亮度的梯度强度I(x，y)。
注意对于存在于确定目标图像的边缘部分的每个像素，不计算亮度的梯度角θ(x，y)和亮度的梯度强度I(x，y)，从而不进行这些计算。例如，在图4A中所示的区域801-804中，矩形的两个侧边适用于确定目标图像800的边缘部分。于是，对于与所述两个侧边接触的每个像素，不进行亮度的梯度角和亮度的梯度强度的计算。另外，对存在于区域801和802之间的每个区域、存在于区域802和803之间的每个区域、存在于区域803和804之间的每个区域和存在于区域804和801之间的每个区域，矩形的一个侧边适用于确定目标图像800本身的边缘部分。于是，对于与其一个侧边接触的每个像素，不进行亮度的梯度角和亮度的梯度强度的计算。
注意说明了其中利用在水平方向和垂直方向上与作为亮度的梯度角和梯度强度的计算目标的像素(目标像素)相邻的四个像素，计算亮度的梯度角和梯度强度的例子。不过，例如，可利用在目标像素的水平方向和垂直方向上相隔一个像素的四个像素来计算亮度的梯度角和梯度强度。另外，例如，可利用在水平方向和垂直方向上存在于目标像素附近的另外四个像素来计算亮度的梯度角和梯度强度。
图6A至6C是按照本发明的一个实施例，简要地示出了利用由HOG计算单元234计算的亮度梯度角和亮度梯度强度表述的向量、直方图和边缘强度分布的示图。
图6A表示与关于包括在图4A中所示的区域810中的每个像素1-25计算的亮度的梯度角θ(x，y)和亮度的梯度强度I(x，y)对应的向量。和图5C中的例子相似，图6A中所示的例子表示以指示每个像素1-25的矩形的中心附近作为起点的向量以亮度的梯度角θ(x，y)作为对应于水平方向(x轴)的角度，以亮度的梯度强度I(x，y)作为其大小。借助其中的向量，能够直观地容易理解区域810的亮度的梯度角和梯度强度。
图6B表示根据关于包括在图4A中所示的区域810中的每个像素1-25计算的亮度的梯度角θ(x，y)和亮度的梯度强度I(x，y)创建的直方图。图6B中所示的直方图是HOG，其中水平轴是表示亮度的梯度角的轴，垂直轴是指示亮度的梯度强度的频率的轴。
在该例子中，对于亮度的梯度角的范围(在0-180°之间的区段)定义8个区段的角度区，一个区段的范围为22.5°。随后，用关于已计算的亮度梯度角θ(x，y)的亮度梯度强度I(x，y)创建直方图。即，计算的亮度的梯度角θ(x，y)被量化成8种级别的区段是水平轴，相对于所述量化的亮度梯度角θ(x，y)的亮度梯度强度I(x，y)的总值是垂直轴，从而计算直方图(频率分布)。从而创建图6B中所示的直方图。即，在计算区域810的直方图的情况下，例如，计算是按照从区域810中左上角的像素1到像素25的光栅顺序进行的。
图6C表示层叠在图4B中所示的区域810上的与图6B中所示直方图对应的边缘强度分布的线段821-828。这里，线段821-828相对水平方向的角度对应于图6B中所示的直方图的级别，线段821-828的粗细(heaviness)对应于图6B中所示的直方图的频率。即，具有更大的亮度梯度(轮廓分量)的部分具有更粗的线段。从而，能够用线段821-828表示与图6B中所示的直方图对应的边缘强度分布。另外，能够容易地了解作为直方图的计算目标的区域810的边缘强度分布。另外，通过对确定目标图像的每个区域表示与线段821-828类似的线段，能够容易地了解整个确定目标图像的边缘强度分布。从而，能够了解包括在确定目标图像中的对象的轮廓。下面将参考附图详细说明表示整个确定目标图像的边缘强度分布的线段。
图7A-7C是示意表示包括人物的确定目标图像830和表示对确定目标图像830创建的边缘强度分布的多个线段中的一部分的示图。图7A表示包括人物831的目标图像830，仅仅绘出了轮廓并且被简化。图7B表示其中表示为确定目标图像830创建的边缘强度分布的多个线段(箭头)的一部分被叠加在确定目标图像830上的情况。图7C示出了表示图7B中所示的边缘强度分布的线段。
为包括人物831的确定目标图像830的每个区域计算HOG，并且示出了表示与其中HOG对应的边缘强度分布的线段，从而能够显露出人物831的轮廓，如图7B和7C中所示。
图8A-8C是表示包括人物的图像840、图像840的缩小图像841和示出为缩小图像841创建的边缘强度分布的线段的示图。图8A表示包括人物的图像840，图8B表示对将成为人物检测处理的目标的图像840进行缩小处理的缩小图像841(例如，分辨率转换到50像素×100像素)。图8C表示图像842，其中绘出了表示关于缩小图像841创建的边缘强度分布的多个线段。如图8C中所示，具有更大的亮度梯度(轮廓分量)的部分具有颜色更深的线段。从而，计算缩小图像841中的每个区域的HOG，表示与其HOG对应的边缘强度分布的线段被显示，从而能够显露出包括在图像840中的人物的轮廓。
图9A-9C是表示包括不同于人物的对象的图像850、图像850的缩小图像851和为缩小图像851创建的表示边缘强度分布的线段的示图。图9A表示包括不同于人物的对象(摩托车的一部分)的图像850，图9B表示对图像850进行缩小处理，从而成为人物检测处理的目标的缩小图像851(例如，分辨率转换到50像素×100像素)。注意是在一部分的文本等被省略的情况表示图像850的。图9C示出了图像852，其中绘出了表示关于缩小图像851创建的边缘强度分布的多个线段。如图9C中所示，具有更大的亮度梯度(轮廓分量)的部分具有颜色更深的线段。从而，计算缩小图像851中的每个区域的HOG，表示与其HOG对应的边缘强度分布的线段被表示出来，从而能够显露出包括在图像850中的对象的轮廓。不过，包括在图像850的对象是不同于人物的对象，因此将不显露出人物的轮廓。
图10A和10B是示出表示图8A至图9C中所示的边缘强度分布的线段的示图。图10A示出了图8C中所示的图像842，图10B示出了图9C中所示的图像852。注意所示图像842和852省略了一部分线段。如图10A和10B中所示，当把从其中包括人物的图像创建的表示边缘强度分布的多个线段与从其中包括不同于人物的对象的图像创建的表示边缘强度分布的多个线段进行比较时，能够了解人物独有的图案。从而，通过收集大量的包括人物的图像和不包括人物的图像，并通过学习人物独有的图案，能够创建用于人物检测处理的人物检测字典。
图11是按照本发明的一个实施例，表示保存在人物检测字典存储单元300中的人物检测字典310的概要示图。人物检测字典310是计算由图像提取单元233提取的确定目标图像的识别区域的HOG的确定信息，并且用于利用此处的HOG进行人物确定处理。注意下面将用把站立人物的身体检测为人物的例子，说明本发明的实施例。
人物检测字典310中保存有位置1(x1，y1)311、级别1(R1)312、位置2(x2，y2)313、级别2(R2)314、阈值(th)315和加权(α)316的t组组合。另外，人物检测字典310是为了检测站立人物的身体的确定信息。
确定目标图像上充当HOG计算目标的区域的位置被保存在位置1(x1，y1)311中。例如，在图像提取单元233提取的确定目标图像是xy坐标(平面坐标)的情况下的坐标(x，y)被保存在位置1(x1，y1)311。例如，在图4A中所示的确定目标图像800中的区域810的位置被保存在位置1(x1，y1)311的情况下，位于区域810(示于图4B中)的左上角的像素1的坐标(x，y)被保存。
在关于位置被保存在位置1(x1，y1)311中的区域计算的HOG级别中，用于人物检测处理的级别被保存在级别1(R1)312中。例如，在类似于图6B，关于由保存在位置1(x1，y1)311中的位置识别的区域计算的HOG级别是8种级别的情况下，某一级别的值(例如，0-7的值)被保存在级别1(R1)312中。
确定目标图像中充当HOG计算目标的区域的位置被保存在位置2(x2，y2)313中。注意，保存在位置2(x2，y2)313中的内容与位置1(x1，y1)311类似，从而这里省略对其的描述。不过，我们假定由保存在相同记录中的位置2(x2，y2)313中的位置识别的区域是与由保存在位置1(x1，y1)311中的位置识别的区域不同的区域。
在关于位置被保存在位置2(x2，y2)313中的区域计算的HOG级别中，用于人物检测处理的级别被保存在级别2(R2)314中。注意，保存在级别2(R2)314中的内容与级别1(R1)312相似，从而这里省略对其的描述。不过，可能存在其中保存在相同记录中的级别2(R2)314中的级别与保存在级别1(R1)312中的级别相同的情况，和可能存在其中所述级别不同的情况。
和与保存在级别1(R1)312中的级别对应的值同与保存在级别2(R2)314中的级别对应的值之间的差值相关的阈值被保存在阈值(th)315中。即，保存在关于由保存在位置1(x1，y1)311中的位置所识别的区域来计算的HOG中的级别1(R1)312中的级别的值被提取。另外，保存在关于由保存在位置2(x2，y2)313中的位置所识别的区域来计算的HOG中的级别2(R2)314中的级别的值被提取。保存在阈值(th)315中的阈值被用作与此处两个提取值的差值相关的阈值。
用于计算供进行人物检测处理之用的分数的加权被保存在加权(α)316中。所述分数是表述人物的程度的评估值。注意后面将参考图14-1详细说明利用所述值进行的表示人物的程度的分数计算。注意与人物检测字典310的相同记录相关的每个值是在发明内容中提及的确定信息的一个例子。
另外，此处所述每个值是利用由诸如AdaBoost之类的机械学习算法学习的那些组合中的500种最有效组合设定的。例如，包括站立人物的身体的图像和不包括站立人物的身体的图像被用作学习目标的图像。另外，用于确定处理的人物检测字典是在决定确定目标图像是否包括人物的情况下，只保持与确定标准相关的数据，而不保持图像本身的确定信息。于是，能够减小存储容量，同时快速进行确定处理。注意SVM(支持向量机)或者Real AdaBoost等可被用作机械学习算法。
下面，参考附图详细说明检测人物的人物检测方法。
图12和13是按照本发明的一个实施例，简要地示出了提取图像(确定目标图像)的图像提取方法的示图，所述图像将充当人物确定单元235的人物确定处理的目标。在图12中，(a)示出了经历图像缩小单元232的缩小处理的图像400，(b)简要地示出了在从图像400提取确定目标图像的情况下的图像提取方法。注意，确定目标图像的提取由图像提取单元233进行。
图12中的(a)中所示的图像400是其中站在地上的人物是其被摄体的成像图像。在从图像400中提取确定目标图像的情况下，如图12中的(b)中所示，提取框401被置于图像400的左上角，包括在提取框401中的图像被提取。随后，提取框向右侧方向(箭头411-416表示的方向)被移动一个像素，包括在提取框中内的图像被提取。类似地，提取框每次沿右侧方向被顺序移动一个像素，并顺序提取包括在提取框中的图像。当提取框被移动到充当图像400的右边缘的提取框402的位置并且包括在提取框402中的图像被提取时，提取框被向下移动一个像素，并移动到图像400的左侧边缘。接下来，当包括在移动到边缘400的左侧边缘之后的提取框中的图像被提取时，提取框每次沿右侧方向被顺序移动一个像素，并且包括在提取框中的图像被顺序提取。之后，类似地顺序提取包括在提取框中的图像。当提取框被移动到充当图像400的右边缘和下边缘的提取框404的位置并且包括在提取框404中的图像被提取时，结束从图像400提取确定目标图像的处理。
图13表示经历图像缩小单元232的顺序缩小处理的图像421-423。另外，在位于(a)-(c)的左侧的图像421-423中，示出了提取框430的第一放置位置，在位于(a)-(c)的右侧的图像421-423中，示出了提取框430的最终放置位置。现在，提取框430从第一放置位置到最终放置位置的移动与在图12中的(b)中所示的移动类似。另外，提取框430的大小恒定，与充当提取目标的图像的大小无关。进行图像提取处理，直到经历图像缩小单元232的缩小处理的图像的大小小于提取框430为止。注意，例如，充当缩小处理目标的源图像是320像素×240像素的图像。另外，例如，图像缩小单元232进行的缩小处理可以是把前一图像缩小0.83倍的缩小处理。
下面，参考附图详细说明利用人物检测字典，对于确定目标图像进行确定处理的例子。
图14和15是表示按照本发明的实施例的确定目标图像，和用于确定处理的直方图(HOG)的示图。在图14中，(a)示出了由图像提取单元233提取的确定目标图像450，图14中的(b)和(c)示出了用于确定处理的两个HOG。另外，图15表示使用在(b)和(c)中所示的两个HOG的计算方法的模型。本例中，将说明利用确定目标图像450的确定目标字典310(示于图11中)进行确定处理的情况，如图14中的(a)中所示，以确定目标图像450的左上角作为原点，水平方向作为x轴，垂直方向作为y轴。
在图14中的(a)中所示的确定目标图像450是由图像提取单元233从源于成像单元112产生的成像图像，并经历图像缩小单元232的缩小处理的图像中提取的图像。我们假定作为图像缩小单元232的缩小处理的目标的源图像是例如320像素×240像素的图像，确定目标图像450是例如50像素×100像素的图像，与图4A和4B中所示的确定目标图像800类似。
首先，HOG计算单元234识别用于确定的两个区域(区域E1(i)和区域E2(i))。所述两个区域由保存在人物检测字典310的位置1(x1，y1)和位置2(x2，y2)中的位置识别。例如，区域E1(i)被识别，以致在区域E1(i)中的矩形的左上角的像素位于保存在人物检测字典310的位置1(x1，y1)中的坐标点的位置。另外，类似地，区域E2(i)由保存在人物检测字典310的位置2(x2，y2)中的位置识别。现在，i是表示人物检测字典310中的每条记录的值，从而1≤i≤t。
随后，HOG计算单元234关于在确定目标图像450中识别的每个区域E1(i)和区域E2(i)计算HOG。这里的HOG计算方法与图4A-6C中所示的方法类似，因此这里省略对其的说明。
随后，人物确定单元235从关于区域E1(i)计算的HOG级别中提取与保存在人物检测字典310的级别1(R1)312中的级别R1(i)的值对应的级别的值A(i)。另外，人物确定单元235从关于区域E2(i)计算的HOG级别中提取与保存在人物检测字典310的级别2(R2)314中的级别R2(i)的值对应的级别的值B(i)。接下来，人物确定单元235计算这两个提取值之间的差值D(i)。差值D(i)＝A(i)-B(i)。
随后，人物确定单元235把保存在人物检测字典310的阈值(th)315中的阈值th(i)与差值D(i)进行比较。接下来，按照阈值是否小于差值D(i)，人物确定单元235计算弱学习机(Weak Learner)h(i)。具体地说，利用下述表达式计算弱学习机h(i)。
如果差值D(i)＞阈值th(i)，那么弱学习机h(i)＝1
如果差值D(i)≤阈值th(i)，那么弱学习机h(i)＝0
随后，人物确定单元235通过把计算的弱学习机h(i)和保存在加权(α)316中的值α(i)相乘，计算h(i)α(i)。人物确定单元235从人物检测字典310的第一行到第t行反复进行该计算处理，并且计算h(i)α(i)的总值作为分数S。具体地说，利用表达式3计算分数S(最终假定)。这里的分数S是在发明内容中提及的评估值的例子。
S = Σ i = 1 t h ( i ) · α ( i ) 表达式3
S > Σ i = 1 t α ( i ) 2 表达式4
随后，人物确定单元235根据依据表达式3计算的分数S，确定人物是否包括在确定目标图像450中。具体地说，在分数S满足表达式4的情况下，确定人物包括在确定目标图像450中。另一方面，在分数S不满足表达式4的情况下，确定人物未包括在确定目标图像450中。注意表达式4右侧的值可被保存在人物检测字典310中，或者可借助每个人物检测处理进行计算得到。另外，可通过利用增益系数等调整差值D(i)。例如，在增益系数为K的情况下，差值D(i)可被调整为K·D(i)。另外，在本例中，作为利用人物检测字典310的确定，说明了根据分数S的值是否满足表达式4做出确定的确定例子，不过可利用除表达式4右侧的值之外的值进行确定。即，能够酌情调整与分数S比较的值。
下面，说明具体的计算方法。在图14中的(a)中，我们假定分别根据在人物检测字典310的第一行中保存的位置1(x1，y1)和位置2(x2，y2)的值识别的区域为区域461和462。另外我们假定分别根据在人物检测字典310的第二行中保存的位置1(x1，y1)和位置2(x2，y2)的值识别的区域为区域463和464。另外我们还假定分别根据在人物检测字典310的第三行中保存的位置1(x1，y1)和位置2(x2，y2)的值识别的区域为区域465和466。
首先，进行确定的分数S的值被设为0，进行利用保存在人物检测字典310的第一行中的每个值的计算。具体地说，根据人物检测字典310的第一行的位置1(x1，y1)311和位置2(x2，y2)313识别两个区域461和462。随后，关于这两个区域461和462分别计算HOG。例如，关于区域461计算出在图14中的(b)中所示的HOG，关于区域462计算出在图14中的(c)中所示的HOG。注意在图14中的(b)中所示的HOG和在图15中的(a)中所示的HOG相同，在图14中的(c)中所示的HOG和在图15中的(b)中所示的HOG相同。
随后，从关于区域461计算的HOG的各个级别中提取与保存在人物检测字典310的第一行中的级别1(R1)312的值对应的级别值。另外，从关于区域462计算的HOG的各个级别中提取与保存在人物检测字典310的第一行中的级别2(R2)314的值对应的级别值。例如，从在图15中的(a)中所示的HOG(区域461)提取级别1(阴影所示)的值。另外，例如，从在图15中的(b)中所示的HOG(区域462)提取级别5(阴影所示)的值。这里，我们假定从关于区域461计算的HOG中提取的值为A(1)，从关于区域462计算的HOG中提取的值为B(1)。利用下面的表达式，计算差值D(1)。
D(1)＝A(1)-B(1)
例如，如图15中的(c)中所示，计算差值D(1)。注意如图15中的(a)和(b)中所示，与保存在人物检测字典310中的级别1(R1)312或级别2(R2)314的值对应的级别的值不一定是最大值。
随后，比较计算的差值D(1)和保存在人物检测字典310的第一行中的阈值(th)315的阈值th(1)。按照差值D(1)是否小于阈值th(1)，计算弱学习机h(1)。注意，弱学习机h(1)是利用上述表达式计算的。
随后，通过使计算的弱学习机h(1)与保存在人物检测字典310的第一行中的加权(α)316的值α(1)相乘，计算h(1)α(1)。计算的h(1)α(1)被加入到分数S中。
随后，利用保存在人物检测字典310的第二行中的每个值，重复上述计算。具体地说，关于由人物检测字典310的第二行的位置1(x1，y1)311和位置2(x2，y2)313识别的区域463和464的每一个，计算HOG。随后，从关于区域463计算的HOG的各个级别中提取与保存在人物检测字典310的第二行中的级别1(R1)312的值对应的级别值A(2)。另外，从关于区域464计算的HOG的各个级别中提取与保存在人物检测字典310的第二行中的级别2(R2)314的值对应的级别值B(2)。随后利用下述表达式计算差值D(2)。
D(2)＝A(2)-B(2)
随后，比较计算的差值D(2)和保存在人物检测字典310的第二行中的阈值(th)315的阈值th(2)。按照差值D(2)是否小于阈值th(2)，计算弱学习机h(2)。
随后，通过把所计算的弱学习机h(2)与保存在人物检测字典310的第二行中的加权(α)316的值α(2)相乘，计算h(2)α(2)。计算的h(2)α(2)被加入到分数S中。
随后，对于人物检测字典310的第三行和之后各行，顺序利用一直保存到第t行的值，重复上面的计算。当使用保存在人物检测字典310的第t行中的每个值的计算结束时，确定分数S的值是否满足表达式4。
例如，我们设想学习的情况，其中在利用上述机械学习算法学习的时候，人物检测成功的学习样本位于肯定方，人物检测失败时的学习样本位于否定方。这种情况下，如果在结束利用保存在人物检测字典310的第一行到第t行中的每个值进行的各个计算之后，分数S的值满足表达式4，那么确定人物包括在确定目标图像中。另一方面，如果在结束各个计算之后，分数S的值不满足表达式4，那么确定人物未包括在确定目标图像中。
图16是表示按照本发明的一个实施例，作为人物检测单元230的人物检测处理的目标的图像400，和人物检测单元230的人物检测处理的检测结果的示图。在图16中的(a)中所示的图像400和在图12中的(a)中所示的图像400相同，并且包括人物405。在图16中，(b)用框架406简要地示出了在检测到包括在图像400中的人物405的情况下的检测结果。框架406是表示人物检测单元230的人物检测处理的检测结果的位置和大小的框架。例如，根据检测结果，照相机参数控制单元220能够确定被检人物的适当照相机参数。另外，例如，在图像400被显示在显示单元170上的情况下，框架406可被叠加在图像400上并被显示。
下面，参考附图说明按照本发明的实施例的成像设备100的操作。
图17是按照本发明的一个实施例，说明成像设备100的成像图像记录处理的处理过程的流程图。在本例中，将关于成像图像记录等待状态说明一个例子，其中产生成像图像，并对所述成像图像进行人物检测处理。
首先，确定成像设备是否处于成像图像记录等待状态(步骤S901)。在成像图像记录等待状态的情况下(步骤S901)，成像单元112产生成像图像(步骤S902)，人物检测单元230对产生的成像图像进行人物检测处理(步骤S920)。后面将参考图18详细说明人物检测处理。可对每一帧进行人物检测处理，或者可每隔恒定间隔对帧进行人物检测处理。另一方面，在成像设备不处于成像图像记录等待状态的情况下(步骤S901)，结束成像图像记录处理的操作。
随后，照相机参数控制单元220确定照相机参数(步骤S903)。例如，在从人物检测单元230输出人物检测信息的情况下，照相机参数控制单元220根据成像图像中被检人物的位置和大小，确定检测到的人物的最佳照相机参数。随后，确定快门按钮是否被按下(步骤S904)，在快门按钮被按下的情况下，产生的成像图像被记录在记录单元150中(步骤S905)。另一方面，在快门按钮未被按下的情况下，结束成像图像记录处理的操作。
图18是按照本发明的一个实施例，表示成像设备100的成像图像记录处理的人物检测处理过程(图17中所示的步骤S920的处理过程)的流程图。
首先，获得保存在存储器单元130中的当前成像图像(步骤S921)。随后，提取框被置于获得的成像图像的左上角(步骤S922)，并且提取框内的图像被提取(步骤S923)。之后，利用保存在人物检测字典存储单元300中的人物检测字典310，对从提取框提取的图像(确定目标图像)执行确定处理(步骤S940)。注意，后面将参考图19详细说明此处所述确定处理。
随后，判定确定目标图像是否小于提取框(步骤S924)。在确定目标图像不小于提取框的情况下(步骤S924)，确定提取框是否位于确定目标图像的右边缘(步骤S925)。在提取框不位于确定目标图像的右边缘的情况下(步骤S925)，在确定目标图像上把提取框向右侧移动一个像素(步骤S926)，流程返回步骤S923。另一方面，在提取框位于确定目标图像的右边缘的情况下(步骤S925)，确定提取框是否位于确定目标图像的下边缘(步骤S927)。在提取框不位于确定目标图像的下边缘的情况下(步骤S927)，提取框在确定目标图像上被向下侧移动一个像素(步骤S928)，同时被置于确定目标图像的左边缘(步骤S928)，并且流程返回步骤S923。在提取框位于确定目标图像的下边缘的情况下(步骤S927)，那么按预定比例对确定目标图像进行缩小处理(步骤S929)，提取框被置于缩小处理后的图像的左上角(步骤S922)。
另一方面，如果确定目标图像小于提取框(步骤S924)，那么决定是否确定人物包括在确定目标图像中(步骤S930)。在确定人物包括在确定目标图像中的情况下(步骤S930)，作为确定结果，输出指示大意是已检测到人物的信息的人物检测信息(步骤S932)。如果确定在确定目标图像中包括多个人物，那么输出与多个人物相关的人物检测信息。另外，对于重叠区域，在多次确定包括人物的情况下，根据其中在步骤S940中的确定处理中计算的分数S为最大的提取框的位置和大小，输出人物检测信息。另外，如果未确定人物包括在确定目标图像中(步骤S930)，那么输出未检测到人物的信息，表示大意是未检测到人物的信息，作为确定结果(步骤S931)。
注意在本例中，说明了即使在已经确定人物包括在确定目标图像中的情况下，仍然反复进行确定处理，直到确定目标图像变得小于提取框为止，并根据其确定结果，确定是否从当前成像图像中检测到人物的例子。不过，如果曾经确定人物包括在确定目标图像中，那么可在不对其它确定目标图像进行确定处理的情况下，输出表示大意是已从当前成像图像中检测到人物的信息的人物检测信息。
图19是按照本发明的一个实施例，表示成像设备100的人物检测处理的确定处理过程(图18中所示的步骤S940中的处理过程)的流程图。
首先，分数S被初始化为“0”(步骤S941)，变量i被初始化为“1”(步骤S942)。随后，根据保存在人物检测字典310的第i行中的位置1(x1，y1)的值，识别确定目标图像中的区域E1(i)，根据位置2(x2，y2)的值识别确定目标图像中的区域E2(i)。之后，分别关于识别的区域E1(i)和E2(i)计算HOG(步骤S944)。注意关于识别的区域计算的HOG被顺序保存，并且能被用于关于其它记录的HOG计算的情况。步骤S944是在发明内容中提及的计算的一个例子。
随后，从关于区域E1(i)计算的HOG的各个级别中，提取与保存在人物检测字典310的第i行中的级别1(R1)312的值对应的级别值A(i)。另外，从关于区域E2(i)计算的HOG的各个级别中，提取与保存在人物检测字典310的第i行中的级别2(R2)314的值对应的级别值B(i)(步骤S945)。随后，计算提取的值A(i)和B(i)之间的差值D(i)(步骤S946)。
随后，比较保存在人物检测字典310的第i行中的阈值(th)315的阈值th(i)和所计算的差值D(i)(步骤S947)。如果计算的差值D(i)大于阈值th(i)(步骤S947)，那么计算弱学习机h(i)＝1成立(步骤S948)。另一方面，如果所计算的差值D(i)小于阈值th(i)(步骤S947)，那么计算弱学习机h(i)＝0成立(步骤S949)。
随后，使保存在人物检测字典310的第i行中的加权(α)316的值α(i)和所计算的弱学习机h(i)相乘，相乘获得的值h(i)α(i)被增加到分数S中(步骤S950)。
随后，“1”被增加到变量i中(步骤S951)，确定变量i是否大于t(步骤S952)。如果变量i不大于t(步骤S952)，那么关于人物检测字典310的每一行的值的确定处理尚未结束，从而流程返回步骤S943，并且重复确定处理(步骤S943-S951)。另一方面，如果变量i大于t(步骤S952)，那么关于人物检测字典310的每一行的值的确定处理已结束，从而流程进入步骤S953，并且确定分数S的值是否满足上述表达式4(步骤S953)。
如果分数S的值满足上述表达式4(步骤S953)，那么判定确定目标图像包括人物(步骤S954)。另一方面，如果分数S的值不满足上述表达式4(步骤S953)，那么判定确定目标图像不包括人物(步骤S955)。注意步骤S945-S955是在发明内容中提及的确定的例子。
在本例中，说明了顺序计算与从人物检测字典310的第一行到第t行的每个值对应的HOG的例子。不过，例如，可做出这样的安排，其中首先对确定目标图像中的所有区域计算和保存HOG，然后利用保存的HOG，与从人物检测字典310的第一行到第t行的每个值对应地计算分数S。
另外，在本例中，说明了在利用从人物检测字典310的第一行到第t行的每个值计算分数S之后进行确定处理的例子。不过，可做出这样的安排，其中例如保存与人物检测字典310的每个记录对应的截止阈值，在步骤S950中获得的分数S低于截止阈值的情况下，中断确定处理。从而可使确定处理更快。
如上所述，按照本发明的一个实施例，利用人物的轮廓进行人物检测，从而即使在人物的衣服等的颜色不同的情况下，也能够恰当地进行人物检测。另外，确定处理是利用关于两个区域计算的HOG级别的差值进行的，从而，例如不必按照被摄体的明/暗进行归一化。另外，确定目标图像中作为HOG计算目标的各个区域不被层叠，从而能够减少诸如HOG计算之类的计算量。从而，可使人物检测处理的处理速度更快。另外，人物检测是利用亮度梯度元素的差，而不是亮度本身进行的，从而，能够提高人物检测处理的精度，而与被摄体的明/暗无关。
另外，检测是利用人物的轮廓进行的，从而，通过利用人物检测字典310，能够恰当地检测面朝前站立的人物的身体和面朝后站立的人物的身体。另外，例如，通过使用人物的侧视轮廓或者面部等的侧视轮廓，能够恰当地检测站立人物的身体，而与双手的位置无关。例如，通过利用人物检测字典310，能够检测举起双臂站立的人物的身体。
另外，按照本发明的一个实施例说明了其中HOG级别为8个级别的例子，不过，HOG级别可以不同于8个级别。另外，按照本发明的一个实施例，说明了其中经历HOG计算的区域是5像素×5像素，不过，所述区域可以是4像素×4像素等等。另外，确定目标图像中经历HOG计算的每个区域的一部分可被设置成重叠的。
另外，按照本发明的一个实施例，说明了其中利用人物检测字典310检测站立人物的身体的例子，不过，可使利用检测字典的检测例如分别对应于躺着的人物和坐着的人物。所述字典是关于受到检测的每个人物而学习的字典。
另外，按照本发明的一个实施例，说明了其中利用人物检测字典310，仅仅检测一个站立人物的身体的例子，不过，通过例如利用多个检测字典，能够检测多个被检对象。例如，多个检测字典可被保存在人物检测字典存储单元300中，通过把每个检测字典用于每个成像图像，能够进行对象检测处理。即，如果每个检测字典的格式相同，并且确定目标图像的分辨率相同，那么能够交换多个检测字典，从而对于多个被检对象能够用相同的算法进行对象检测处理。
另外，按照本发明的一个实施例，说明了其中站立人物的身体被检测为作为对象检测处理的目标的识别对象的例子，不过，本发明的实施例适用于能够依据轮廓识别的不同于人物的对象。例如，本发明的实施例也适用于被检对象是诸如哺乳动物、爬行动物和鱼(例如宠物)之类动物的身体，或者车辆的车身、飞机的机身等的情况。
另外，本发明的实施例可应用于各种成像设备，比如成像静止图像或者运动图像的数字摄像机(例如，集成的照相机/录像机)和具有成像功能的便携式电话机。另外，例如，本发明的实施例可应用于诸如检测其它车辆的车辆对象检测装置之类的对象检测装置。
另外，按照本发明的实施例描述的处理过程可被看作包括过程流程的方法，或者可被看作执行所述过程流程的计算机程序，和记录所述程序的记录介质。记录介质的例子包括CD(光盘)、MD(小型光盘)、DVD(数字多功能光盘)、存储卡和蓝光光盘(注册商标)。
本申请包含涉及于2008年9月12日在日本专利局提交的日本优先权专利申请JP 2008-234085公开的主题的主题内容，该专利申请的整个内容在此引为参考。
本领域的技术人员应明白，根据设计要求和其它因素，可做出各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等等价范围之内。

Claims (10)

1、一种对象检测装置，包括：
计算单元，所述计算单元被配置成
对图像中的多个区域计算亮度的梯度强度和梯度方向，和
对每个所述区域计算亮度梯度强度相对于所述计算的亮度梯度方向的频率分布；和
确定单元，所述确定单元被配置成通过比较对每个所述区域计算的多个频率分布，确定识别对象是否包括在所述图像中。
2、按照权利要求1所述的对象检测装置，其中所述计算单元计算在所述图像中预先设定的第一区域和第二区域的所述频率分布中的每个；
其中所述确定单元通过比较关于所述第一区域计算的频率分布的多种级别中的一种预设级别的值和关于所述第二区域计算的频率分布的多种级别中的一种预设级别的值，确定识别对象是否包括在所述图像中。
3、按照权利要求2所述的对象检测装置，其中所述计算单元计算与所述第一区域相关的所述频率分布和与所述第二区域相关的所述频率分布的多个组合；
其中所述确定单元通过比较关于所述第一区域计算的频率分布的多种级别中的一种预设级别的值，和关于所述第二区域计算的频率分布的多种级别中的一种预设级别的值的每个所述组合，确定识别对象是否包括在所述图像中。
4、按照权利要求2所述的对象检测装置，其中所述确定单元通过计算关于所述第一区域计算的频率分布的多种级别中的一种预设级别的值和关于所述第二区域计算的频率分布的多种级别中的一种预设级别的值之间的差值，并根据所述差值确定识别对象是否包括在所述图像中。
5、按照权利要求2所述的对象检测装置，其中所述第一区域和所述第二区域是所述图像中不相互重叠的区域。
6、按照权利要求1所述的对象检测装置，还包括：
确定信息存储单元，所述确定信息存储单元被配置成保存多组确定信息，包括下述信息的组合
第一位置，所述第一位置是所述图像中区域的位置，
第一级别，所述第一级别是所述频率分布的多种级别中的一种，
第二位置，所述第二位置是所述图像中区域的位置，并且不同于所述第一位置，
第二级别，所述第二级别是所述频率分布的多种级别中的一种，
阈值，和
加权值；
其中所述计算单元关于每组所述确定信息，计算第一频率分布和第二频率分布，第一频率分布是与由所述第一位置识别的区域相关的所述频率分布，第二频率分布是与由所述第二位置识别的区域相关的所述频率分布；
其中所述确定单元根据评估值确定识别对象是否包括在所述图像中，所述评估值是如下计算的：
计算所述第一频率分布的多种级别中的所述第一级别的值和所述第二频率分布的多种级别中的所述第二级别的值之间的差值，
比较所述差值和所述阈值，和
通过根据关于每组所述确定信息的所述比较结果进行所述加权值的计算来计算评估值。
7、按照权利要求1所述的对象检测装置，其中所述识别对象是人物。
8、一种成像设备，包括：
成像单元，所述成像单元被配置成对被摄体成像并产生成像图像；
图像提取单元，所述图像提取单元被配置成从所述成像图像中提取充当确定目标的确定目标图像；
计算单元，所述计算单元被配置成
对所述确定目标图像中的多个区域计算亮度的梯度强度和梯度方向，和
对每个所述区域计算亮度梯度强度相对于所述计算的亮度梯度方向的频率分布；和
确定单元，所述确定单元被配置成通过比较对每个所述区域计算的多个频率分布，确定识别对象是否包括在所述确定目标图像中。
9、一种对象检测方法，包括下述步骤：
对图像中的多个区域计算亮度的梯度强度和梯度方向；
对每个所述区域计算亮度梯度强度相对于所述计算的亮度梯度方向的频率分布；和
通过比较对每个所述区域计算的多个频率分布，确定识别对象是否包括在所述图像中。
10、一种使计算机执行下述步骤的程序：
对图像中的多个区域计算亮度的梯度强度和梯度方向；
对每个所述区域计算亮度梯度强度相对于所述计算的亮度梯度方向的频率分布；和
通过比较对每个所述区域计算的多个频率分布，确定识别对象是否包括在所述图像中。
CN2009101666752A 2008-09-12 2009-08-26 对象检测装置,成像设备,对象检测方法和程序 Expired - Fee Related CN101673342B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008234085 2008-09-12
JP2008-234085 2008-09-12
JP2008234085A JP4626692B2 (ja) 2008-09-12 2008-09-12 物体検出装置、撮像装置、物体検出方法およびプログラム

Publications (2)

Publication Number Publication Date
CN101673342A true CN101673342A (zh) 2010-03-17
CN101673342B CN101673342B (zh) 2012-11-28

Family

ID=41416250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101666752A Expired - Fee Related CN101673342B (zh) 2008-09-12 2009-08-26 对象检测装置,成像设备,对象检测方法和程序

Country Status (6)

Country Link
US (1) US8385645B2 (zh)
EP (1) EP2164027B1 (zh)
JP (1) JP4626692B2 (zh)
KR (1) KR20100031481A (zh)
CN (1) CN101673342B (zh)
AT (1) ATE511153T1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254320A (zh) * 2010-04-30 2011-11-23 奥林巴斯株式会社 图像处理装置及图像处理方法
CN102891964A (zh) * 2012-09-04 2013-01-23 浙江大学 数码相机中的人体自动检测方法及其系统模块
CN103366171A (zh) * 2012-03-30 2013-10-23 佳能株式会社 物体检测方法和物体检测装置
CN105282456A (zh) * 2014-06-11 2016-01-27 佳能株式会社 图像处理方法和图像处理装置
CN105957020A (zh) * 2015-03-09 2016-09-21 欧姆龙株式会社 图像生成装置以及图像生成方法
CN106557727A (zh) * 2015-09-30 2017-04-05 华邦电子股份有限公司 瞳孔中心定位方法及电子装置
CN108780507A (zh) * 2015-12-17 2018-11-09 线性代数技术有限公司 用于提供图像分类器的系统和方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248525A (ja) * 2010-05-25 2011-12-08 Kyushu Institute Of Technology 物体の検出装置及びその検出方法
US8385632B2 (en) * 2010-06-01 2013-02-26 Mitsubishi Electric Research Laboratories, Inc. System and method for adapting generic classifiers for object detection in particular scenes using incremental training
JP2012022518A (ja) * 2010-07-14 2012-02-02 Purex:Kk マーク読み取り装置、および方法
AU2011290557B2 (en) 2010-08-19 2014-04-17 Bae Systems Plc Sensor data processing
JP5658945B2 (ja) * 2010-08-24 2015-01-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5620194B2 (ja) * 2010-08-24 2014-11-05 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
KR101298023B1 (ko) 2010-09-17 2013-08-26 엘지디스플레이 주식회사 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
KR101326230B1 (ko) 2010-09-17 2013-11-20 한국과학기술원 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
KR101298024B1 (ko) * 2010-09-17 2013-08-26 엘지디스플레이 주식회사 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
KR101405410B1 (ko) 2010-10-20 2014-06-24 고려대학교 산학협력단 객체 검출 장치 및 시스템
JP5699566B2 (ja) 2010-11-29 2015-04-15 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2012119738A (ja) 2010-11-29 2012-06-21 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP4784709B1 (ja) * 2011-03-10 2011-10-05 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
JP5594672B2 (ja) * 2011-04-14 2014-09-24 株式会社 日立産業制御ソリューションズ 物体認識装置および物体認識方法
JP2013034167A (ja) 2011-06-28 2013-02-14 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2013110551A (ja) 2011-11-21 2013-06-06 Sony Corp 情報処理装置、撮像装置、情報処理方法およびプログラム
JP5464244B2 (ja) * 2012-08-24 2014-04-09 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP5651659B2 (ja) * 2012-08-31 2015-01-14 株式会社東芝 物体検出システムおよびプログラム
CN103400138A (zh) * 2013-07-29 2013-11-20 沈玉琴 一种人工智能多模式行为识别与描述的视频信号预处理方法
JP6303090B2 (ja) * 2014-03-24 2018-04-04 アルパイン株式会社 画像処理装置および画像処理プログラム
JP6482195B2 (ja) * 2014-07-02 2019-03-13 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
CN105631455B (zh) * 2014-10-27 2019-07-05 阿里巴巴集团控股有限公司 一种图像主体提取方法及系统
CN105763787A (zh) * 2014-12-19 2016-07-13 索尼公司 图像形成方法、装置以及电子设备
KR101723432B1 (ko) * 2015-06-12 2017-04-18 주식회사 골프존 운동하는 볼에 대한 센싱장치 및 센싱방법
JP6332702B2 (ja) * 2016-02-15 2018-05-30 セコム株式会社 空間認識装置
JP6332704B2 (ja) * 2016-02-29 2018-05-30 セコム株式会社 物体検出装置
JP6671648B2 (ja) * 2016-06-02 2020-03-25 コマツ産機株式会社 コントローラ、鍛圧機械、および制御方法
JP6703691B2 (ja) * 2016-06-02 2020-06-03 コマツ産機株式会社 コントローラ、鍛圧機械、および制御方法
US9992467B2 (en) * 2016-06-30 2018-06-05 Apple Inc. Parallel computer vision and image scaling architecture
EP3571674A4 (en) * 2017-01-20 2020-10-28 Robert Johnsen CUSTOMER SERVICE TIME EVALUATION SYSTEM AND PROCESS
JP7120180B2 (ja) * 2019-08-07 2022-08-17 トヨタ自動車株式会社 イメージセンサ
KR102403242B1 (ko) 2021-08-23 2022-05-30 (주)그린아이티코리아 객체 특징 식별을 위한 서비스 제공 장치 및 방법
WO2023248281A1 (ja) * 2022-06-20 2023-12-28 株式会社Fuji 検査装置、実装装置および検査方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005160015A (ja) * 2003-11-07 2005-06-16 Sony Corp 画像処理装置および方法、並びにプログラム
JP4082190B2 (ja) * 2002-11-26 2008-04-30 松下電工株式会社 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置
CN101221623A (zh) * 2008-01-30 2008-07-16 北京中星微电子有限公司 一种物体类型的在线训练和识别方法及其系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853072B2 (en) * 2006-07-20 2010-12-14 Sarnoff Corporation System and method for detecting still objects in images
JP2008072183A (ja) 2006-09-12 2008-03-27 Matsushita Electric Ind Co Ltd 撮像装置および撮像方法
US8165397B2 (en) * 2006-12-04 2012-04-24 Lockheed Martin Company Identifying descriptor for person or object in an image
US8625861B2 (en) * 2008-05-15 2014-01-07 International Business Machines Corporation Fingerprint representation using gradient histograms
JP4997178B2 (ja) * 2008-06-10 2012-08-08 学校法人中部大学 物体検出装置
US8249301B2 (en) * 2008-08-28 2012-08-21 International Business Machines Corporation Video object classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4082190B2 (ja) * 2002-11-26 2008-04-30 松下電工株式会社 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置
JP2005160015A (ja) * 2003-11-07 2005-06-16 Sony Corp 画像処理装置および方法、並びにプログラム
CN101221623A (zh) * 2008-01-30 2008-07-16 北京中星微电子有限公司 一种物体类型的在线训练和识别方法及其系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254320A (zh) * 2010-04-30 2011-11-23 奥林巴斯株式会社 图像处理装置及图像处理方法
CN102254320B (zh) * 2010-04-30 2016-01-20 奥林巴斯株式会社 图像处理装置及图像处理方法
CN103366171A (zh) * 2012-03-30 2013-10-23 佳能株式会社 物体检测方法和物体检测装置
US10395103B2 (en) 2012-03-30 2019-08-27 Canon Kabushiki Kaisha Object detection method, object detection apparatus, and program
CN102891964A (zh) * 2012-09-04 2013-01-23 浙江大学 数码相机中的人体自动检测方法及其系统模块
US10311325B2 (en) 2014-06-11 2019-06-04 Canon Kabushiki Kaisha Image processing method and image processing apparatus
CN105282456A (zh) * 2014-06-11 2016-01-27 佳能株式会社 图像处理方法和图像处理装置
CN105957020B (zh) * 2015-03-09 2019-03-08 欧姆龙株式会社 图像生成装置以及图像生成方法
CN105957020A (zh) * 2015-03-09 2016-09-21 欧姆龙株式会社 图像生成装置以及图像生成方法
CN106557727A (zh) * 2015-09-30 2017-04-05 华邦电子股份有限公司 瞳孔中心定位方法及电子装置
CN106557727B (zh) * 2015-09-30 2019-07-09 华邦电子股份有限公司 瞳孔中心定位方法及电子装置
CN108780507A (zh) * 2015-12-17 2018-11-09 线性代数技术有限公司 用于提供图像分类器的系统和方法
CN108780507B (zh) * 2015-12-17 2022-03-29 莫维迪乌斯有限公司 用于提供图像分类器的系统和方法
US11600059B2 (en) 2015-12-17 2023-03-07 Movidius Limited Systems and methods for providing an image classifier

Also Published As

Publication number Publication date
EP2164027B1 (en) 2011-05-25
US8385645B2 (en) 2013-02-26
CN101673342B (zh) 2012-11-28
KR20100031481A (ko) 2010-03-22
JP4626692B2 (ja) 2011-02-09
US20100067742A1 (en) 2010-03-18
ATE511153T1 (de) 2011-06-15
JP2010067102A (ja) 2010-03-25
EP2164027A1 (en) 2010-03-17

Similar Documents

Publication Publication Date Title
CN101673342B (zh) 对象检测装置,成像设备,对象检测方法和程序
CN109766890B (zh) 信息识别方法、设备和系统
WO2014030378A1 (ja) 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
CN101794392B (zh) 对象检测设备、学习设备、对象检测方法和程序
US20150055824A1 (en) Method of detecting a main subject in an image
CN101426088A (zh) 成像设备及其控制方法以及程序
CN102737226A (zh) 信息处理装置、信息处理方法和程序
CN101527794A (zh) 图像捕获方法、其控制方法及程序
CN102857686A (zh) 图像处理装置，控制图像处理装置的方法和程序
JP4710978B2 (ja) 対象物検出装置、撮像装置、対象物検出方法およびプログラム
US20150146943A1 (en) Method of recognizing contactless fingerprint and electronic device for performing the same
CN111461097A (zh) 识别图像信息的方法、装置、电子设备及介质
US20180184012A1 (en) Image processing apparatus, control method, and storage medium
CN110363087B (zh) 一种长基线双目人脸活体检测方法及系统
CN112102141B (zh) 水印的检测方法、装置、存储介质以及电子设备
CN106469455A (zh) 图像处理方法、图像处理设备以及记录介质
KR20220018467A (ko) 목표 대상 인식 방법, 장치 및 시스템
CN110363111B (zh) 基于镜头失真原理的人脸活体检测方法、装置及存储介质
JP2011002882A (ja) 撮像装置、画像処理プログラム、および撮像方法
CN106778762B (zh) 360度全景图片的特征向量提取方法、识别方法和相应装置
JP6874315B2 (ja) 情報処理装置、情報処理方法およびプログラム
Ishida et al. Generation of training data by degradation models for traffic sign symbol recognition
CN111899615B (zh) 实验的评分方法、装置、设备及存储介质
CN101726963B (zh) 辨识被摄主体的维度形态的方法
JP6859659B2 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121128

Termination date: 20150826

EXPY Termination of patent right or utility model