CN102301693B - 识别用摄像装置以及其控制方法 - Google Patents

识别用摄像装置以及其控制方法 Download PDF

Info

Publication number
CN102301693B
CN102301693B CN201080006206.5A CN201080006206A CN102301693B CN 102301693 B CN102301693 B CN 102301693B CN 201080006206 A CN201080006206 A CN 201080006206A CN 102301693 B CN102301693 B CN 102301693B
Authority
CN
China
Prior art keywords
identification
area
exposure
situation
camera head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080006206.5A
Other languages
English (en)
Other versions
CN102301693A (zh
Inventor
藤井隆志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102301693A publication Critical patent/CN102301693A/zh
Application granted granted Critical
Publication of CN102301693B publication Critical patent/CN102301693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明所涉及的识别用摄像装置(100)具备：摄像部(101)，通过对对象物进行拍摄来依次生成多个图像；脸识别部(105)，针对所述多个图像的每一个图像识别作为在该图像内拍摄有对象物的区域的对象物区域；脸追踪部106)，在多个图像间追踪对象物区域；面积算出部(109)，算出对象物区域的面积；以及曝光控制部102)，在所述面积小于第一阈值的情况下，将摄像部(101)的曝光时间设定为第一曝光时间，在所述面积在第一阈值以上的情况下，将曝光时间设定为比第一曝光时间长的第二曝光时间。

Description

识别用摄像装置以及其控制方法
技术领域
本发明涉及识别图像内的对象物的识别用摄像装置以及其控制方法。
背景技术
近些年，数字相机的高功能化令人惊异。最近，具有识别非特定人物的脸或特定人物的脸的功能的数字相机普及起来。并且，通过在数字相机的直通图像(スル一画像)中，对正在移动的脸进行在时间上连续的识别，从而能够追踪摄影图像中的脸。这样，能够使数字相机更加高功能化。
已知在这样的脸的识别技术中脸的分辨率和SN(Signal/Noise：信/噪)比与识别精确度有很大的关系。例如，在脸的分辨率不足的情况下，或者，脸的SN比差的情况下，脸的特征变得不鲜明，使识别精确度下降。这样的脸的分辨率以及SN比由以相机来拍摄的状况来决定。也就是说，相机的调整参数对识别精确度的影响很大。
作为以往的脸识别技术，被公开了这样一种技术，即：控制相机的调整参数以便容易地识别脸。例如，在专利文献1中介绍了这样一种技术，即：利用对被拍摄的图像数据的品质进行了判定后的结果，来进行相机的对焦调整、曝光调整、照明调整以及变焦调整等。并且，在专利文献2中根据脸的识别结果来控制相机的调整参数。该技术以脸的位置、大小以及方向等来控制相机的光圈。具体而言，该技术中，在脸大的情况下，使光圈开度大，反之，使光圈开放度小。
专利文献1：(日本)特开2007-94535号公报
专利文献2：(日本)特开2008-233470号公报
专利文献3：(日本)特开2006-350645号公报
然而，可考虑到这样一种情况，即：在以数字相机等来识别人物的脸的情况下，输入图像中识别对象即脸在时间上运动，因此适合于脸的识别的景深(焦点对准的区域)在时间上变化。为此，如专利文献1，如果进行适合于紧之前(直前)拍摄的图像数据的合焦位置的调整以及光圈的调整，则脸溢出景深外的可能性变大。这样的脸溢出景深外的情况下，因为模糊(ボケ)的影响而脸的分辨率会降低。据此，变得不能进行时间上连续的识别而使脸的追踪失败的可能性变大。
并且，在识别所需要的光量不足的情况下，并不一定能够如专利文献1那样总是能够进行照明的调整工作。例如，在禁止闪光的场所就不能进行照明的调整。并且，还有这样一种课题，即：如果进行照明的调整工作，则耗电增多。并且，在如专利文献2那样调整了光圈的情况下，因为脸小则使光圈开度小，因此存在照到脸的光量不足而使识别精确度降低这样的课题。
发明内容
本发明的目的在于提供能够稳定地进行在时间上连续的识别的识别用摄像装置以及其控制方法。
为了达到上述目的，本发明的一个实施例所涉及的识别用摄像装置，具有摄像部、对象物识别部以及追踪部，所述摄像部通过对对象物进行拍摄来依次生成多个图像，所述对象物识别部针对所述多个图像的每一个图像识别作为在该图像内拍摄有对象物的区域的对象物区域，所述追踪部在所述多个图像间追踪所述对象物区域，所述识别用摄像装置具备：面积算出部，算出所述对象物区域的面积；以及曝光控制部，在所述面积小于第一阈值的情况下，将所述摄像部的曝光时间设定为第一曝光时间，在所述面积在所述第一阈值以上的情况下，将所述曝光时间设定为比所述第一曝光时间长的第二曝光时间。
根据此构成，本发明的一个实施例所涉及的识别用摄像装置，在对象物区域的面积足够大的情况下，加长曝光时间。据此，能够增加对象物区域的入光量。在此，如果曝光时间加长，则变得在对象物区域容易出现抖动。但是，在对象物区域的面积足够大的情况下，即使抖动增加也能够确保对象物识别处理以及对象物追踪处理所需要的分辨率，因此对对象物识别处理以及对象物追踪处理的不良影响少。另外，入光量增加，对象物区域的SN比增大，因此对象物识别处理以及对象物追踪处理的精确度增加。
而且，本发明的一个实施例所涉及的识别用摄像装置，在对象物区域的面积足够大的情况下，通过增加入光量，即使在入光量在时间上减少的情况下，也能够容易地确保对象物识别处理所需要的入光量。
而且，本发明的一个实施例所涉及的识别用摄像装置，在对象物区域的面积小的情况下，缩短曝光时间。据此，对象物区域的抖动减低，因此会提高对象物识别处理以及对象物追踪处理的精确度。并且，本发明的一个实施例所涉及的识别用摄像装置，可以不进行闪光等照明的调整，因此即使在禁止闪光的场所也能够增加入光量的同时减低耗电。
这样，本发明的一个实施例所涉及的识别用摄像装置能够稳定地进行在时间上连续的识别。
并且，也可以是，所述识别用摄像装置还具备移动速度算出部，该移动速度算出部算出所述对象物区域的移动速度，所述曝光控制部，进一步，在所述移动速度小于第二阈值的情况下，将所述曝光时间设定为第三曝光时间，在所述移动速度在所述第二阈值以上的情况下，将所述曝光时间设定为比所述第三曝光时间短的第四曝光时间。
根据此构成，本发明的一个实施例所涉及的识别用摄像装置，在对象物区域的移动速度快速的情况下，缩短曝光时间。据此，不容易出现对象物区域的抖动，因此会提高对象物区域的分辨率。因此，会提高对象物识别处理以及对象物追踪处理的精确度。
而且，本发明的一个实施例所涉及的识别用摄像装置，在对象物区域的移动速度迟缓的情况下，加长曝光时间。据此，能够使对象物区域的入光量增加。在此，在移动速度迟缓的情况下，即使加长曝光时间也能够确保对象物识别处理所需要的分辨率，因此对对象物识别处理以及对象物追踪处理的不良影响少。另外，增加入光量，能够提高对象物识别处理以及对象物追踪处理的精确度。
并且，也可以是，所述识别用摄像装置还具备入光量算出部，该入光量算出部算出所述对象物区域的入光量，所述曝光控制部，在识别用入光量在第三阈值以上的情况下，将所述摄像部的曝光时间设定为第五曝光时间，在所述识别用入光量小于所述第三阈值的情况下，将所述曝光时间设定为比所述第五曝光时间长的第六曝光时间，所述识别用入光量与所述面积成正比且与所述入光量成正比。
根据此构成，本发明的一个实施例所涉及的识别用摄像装置，在识别用入光量少的情况下，加长曝光时间。据此，能够增加对象区域的入光量。
而且，本发明的一个实施例所涉及的识别用摄像装置，在识别用入光量足够多的情况下，缩短曝光时间。据此，对象物区域的抖动减低，因此会提高对象物识别处理以及对象物追踪处理的精确度。
并且，也可以是，所述曝光控制部，在识别用分辨率小于第四阈值的情况下，将所述曝光时间设定为所述第一曝光时间，在所述识别用分辨率在所述第四阈值以上的情况下，将所述曝光时间设定为所述第二曝光时间，所述识别用分辨率与所述面积成正比且与所述对象物区域的抖动量成反比。
根据此构成，本发明的一个实施例所涉及的识别用摄像装置，通过利用考虑到了抖动量的识别用分辨率，从而能够以良好的精确度控制曝光时间。
并且，也可以是，本发明的一个实施例所涉及的识别用摄像装置，具有摄像部、对象物识别部以及追踪部，所述摄像部通过对对象物进行拍摄来依次生成多个图像，所述对象物识别部针对所述多个图像的每一个图像识别作为在该图像内拍摄有对象物的区域的对象物区域，所述追踪部在所述多个图像间追踪所述对象物区域，所述识别用摄像装置具备：面积算出部，算出所述对象物区域的面积；以及合焦位置控制部，在所述面积小于第一阈值的情况下，将该识别用摄像装置的合焦位置设定为第一位置，在所述面积在所述第一阈值以上的情况下，将所述合焦位置设定为距所述对象物比所述第一位置远的第二位置。
根据此构成，本发明的一个实施例所涉及的识别用摄像装置，在对象物区域的面积足够大的情况下，将合焦位置设定为距对象物识别距离远，从而能够增大可识别的景深。这样，在对象物区域的面积足够大的情况下，通过事先增大景深，从而即使在对象物突然移动的情况下，也能够容易地确保对象物的识别处理所需要的分辨率。
而且，本发明的一个实施例所涉及的识别用摄像装置，在对象物区域的分辨率不足的情况下，将合焦位置设定为对象物识别距离的近处。据此，本发明的一个实施例所涉及的识别用摄像装置，能够提高对象物区域的分辨率。
这样，本发明的一个实施例所涉及的识别用摄像装置，通过按照对象物区域的面积来变更合焦位置，从而能够稳定地进行在时间上连续的识别。
并且，也可以是，所述合焦位置控制部，在识别用分辨率小于第二阈值的情况下，将所述合焦位置设定为所述第一位置，在所述识别用分辨率在所述第二阈值以上的情况下，将所述合焦位置设定为所述第二位置，所述识别用分辨率与所述面积成正比且与所述对象物区域的模糊量成反比。
根据此构成，本发明的一个实施例所涉及的识别用摄像装置，通过利用考虑到了模糊量的识别用分辨率，从而能够以良好的精确度控制合焦位置。
并且，也可以是，本发明的一个实施例所涉及的识别用摄像装置，具有摄像部、对象物识别部以及追踪部，所述摄像部通过对对象物进行拍摄来依次生成多个图像，所述对象物识别部针对所述多个图像的每一个图像识别作为在该图像内拍摄有对象物的区域的对象物区域，所述追踪部在所述多个图像间追踪所述对象物区域，所述识别用摄像装置具备：面积算出部，算出所述对象物区域的面积；以及光圈控制部，在所述面积小于第一阈值的情况下，将光圈值设定为第一光圈值，在所述面积在所述第一阈值以上的情况下，将所述光圈值设定为比所述第一光圈值大的第二光圈值。
根据此构成，本发明的一个实施例所涉及的识别用摄像装置，在对象物区域的面积足够大的情况下，增大光圈值。在此，对象物区域的面积足够大的情况下，各像素的噪声被平均化，因此噪声的影响变少。因此，对象物区域的各像素的信号量相对变大，因此即使增大光圈值也能够确保识别所需要的光量。这样，本发明的一个实施例所涉及的识别用摄像装置，能够确保识别所需要的光量且增大识别范围。并且，通过事先增大景深，从而即使在对象物突然移动的情况下，也能够容易地确保对象物的识别处理所需要的分辨率。
而且，本发明的一个实施例所涉及的识别用摄像装置，在对象物区域的面积小的情况下，缩小光圈值。在此，对象物区域的面积小的情况下，噪声的影响变大。对此，本发明的一个实施例所涉及的识别用摄像装置，在此情况下，通过缩小光圈值，能够确保识别所需要的光量。并且，本发明的一个实施例所涉及的识别用摄像装置，可以不进行闪光等照明的调整，因此即使在禁止闪光的场所也能够确保光量，而且能够减低耗电。
并且，也可以是，所述识别用摄像装置还具备入光量算出部，该入光量算出部算出所述对象物区域的入光量，所述光圈控制部，进一步，在所述入光量小于第二阈值的情况下，将光圈值设定为第三光圈值，在所述入光量在所述第二阈值以上的情况下，将所述光圈值设定为比所述第三光圈值大的第四光圈值。
根据此构成，本发明的一个实施例所涉及的识别用摄像装置，在入光量足够多的情况下，增大光圈值。在此，在入光量足够多的情况下，对象物区域的各像素的信号量变大，因此即使增大光圈值也能够确保识别所需要的光量。这样，本发明的一个实施例所涉及的识别用摄像装置，能够确保识别所需要的光量且增大识别范围。并且，在入光量足够多的情况下，通过事先增大景深，从而即使在对象物突然移动的情况下，也能够容易地确保对象物的识别处理所需要的分辨率。
而且，本发明的一个实施例所涉及的识别用摄像装置，在入光量少的情况下，通过缩小光圈值，能够确保识别所需要的光量。
并且，也可以是，所述光圈控制部，在识别用入光量小于第三阈值的情况下，将所述光圈值设定为所述第一光圈值，在所述识别用入光量在所述第三阈值以上的情况下，将所述光圈值设定为所述第二光圈值，所述识别用入光量与所述面积成正比且与所述入光量成正比。
根据此构成，本发明的一个实施例所涉及的识别用摄像装置，通过利用考虑到了面积的识别用入光量，从而能够以良好的精确度控制光圈值。
另外，本发明不仅能够作为这样的识别用摄像装置来实现，还能够作为将识别用摄像装置中包括的具有特征的单元作为步骤的识别用摄像装置的控制方法来实现，或作为使计算机执行这些具有特征的步骤的程序来实现。并且，不言而喻，这样的程序能够通过CD-ROM等非暂时性的计算机可读取的记录介质以及互联网等传输介质来使其流通。
而且，本发明能够作为实现这样的识别用摄像装置的功能的一部分或全部的LSI(半导体集成电路)来实现，或具备这样的识别用摄像装置的相机来实现。
通过本发明，能够提供能够稳定地进行在时间上连续的识别的识别用摄像装置以及其控制方法。
附图说明
图1是本发明的实施例1所涉及的识别用摄像装置的框图。
图2是本发明的实施例1所涉及的识别用摄像装置的详细的框图。
图3是本发明的实施例1所涉及的脸追踪处理的流程图。
图4是本发明的实施例1所涉及的识别用摄像装置进行的、按照脸区域的面积来进行的快门速度控制处理的流程图。
图5是本发明的实施例1所涉及的识别用摄像装置进行的、按照脸区域的移动速度来进行的快门速度控制处理的流程图。
图6是本发明的实施例1所涉及的识别用摄像装置进行的、按照脸区域的入光量来进行的快门速度控制处理的流程图。
图7是本发明的实施例1所涉及的识别用摄像装置进行的、按照脸区域的面积以及入光量来进行的快门速度控制处理的流程图。
图8是本发明的实施例2所涉及的识别用摄像装置的框图。
图9是本发明的实施例2所涉及的识别用摄像装置的详细的框图。
图10是本发明的实施例2所涉及的识别用摄像装置进行的合焦位置控制处理的流程图。
图11是示出本发明的实施例2所涉及的、超焦距(過焦点距離)与景深之间的关系的图。
图12是本发明的实施例3所涉及的识别用摄像装置的框图。
图13是本发明的实施例3所涉及的识别用摄像装置的详细的框图。
图14是本发明的实施例3所涉及的识别用摄像装置进行的、按照脸区域的面积进行的光圈值控制处理的流程图。
图15是本发明的实施例3所涉及的识别用摄像装置进行的、按照脸区域的入光量进行的光圈值控制处理的流程图。
具体实施方式
(实施例1)
本发明的实施例1所涉及的识别用摄像装置，按照脸区域的面积、移动速度以及入光量，来变更快门速度。具体而言，本发明的实施例1所涉及的识别用摄像装置，在脸区域的面积大的情况下，使快门速度迟缓。
据此，本发明的实施例1所涉及的识别用摄像装置能够稳定地进行脸的识别。以下，参照附图说明本发明的实施例1。
首先，说明本发明的实施例1所涉及的识别用摄像装置100的构成。
图1是本发明的实施例1所涉及的识别用摄像装置100的框图。
在图1示出的识别用摄像装置100例如是数字静像相机、数字摄像机、网络相机或者保安相机。该识别用摄像装置100具备摄像部101、曝光控制部102、脸识别部105、脸追踪部106以及面积算出部109。
摄像部101对来自摄像光学系统的被摄体像进行受光并生成电信号。换而言之，摄像部101对对象物进行拍摄来依次生成多个图像。
脸识别部105相当于本发明的对象物识别部。该脸识别部105，针对由摄像部101生成的多个图像中的每个图像，识别作为该图像内拍摄有对象物的区域的对象物区域。
脸追踪部106相当于本发明的追踪部。该脸追踪部106，在由摄像部101生成的多个图像间追踪对象物区域。
面积算出部109算出对象物区域的面积。
曝光控制部102，在对象物区域的面积小于面积阈值(第一阈值)的情况下，将摄像部101的曝光时间设定为第一曝光时间，在对象物区域的面积在面积阈值以上的情况下，将摄像部101的曝光时间设定为比第一曝光时间长的第二曝光时间。
图2是示出识别用摄像装置100的详细的构成的框图。如图2所示，识别用摄像装置100，还具备脸识别结果记忆部107、移动速度算出部108以及入光量算出部110。
摄像部101具备：透镜112；透镜驱动装置113，变更透镜112的合焦位置等；光圈装置114，调整通过透镜112的光量；快门装置115，调整摄像元件116的曝光时间；摄像元件116，将由透镜112成像的像转换为电信号；AD(模数)转换器117，将由摄像元件116生成的电信号(模拟信号)转换为数字信号。并且，识别用摄像装置100，通过针对由AD转换器117生成的数字信号进行增益校正、伽马校正、色变换以及扩大缩小等信号处理，作成后述的脸识别部105中使用的输入图像120的每个帧。
曝光控制部102，控制摄像部101的快门装置115的快门速度。如果使快门速度迟缓，则光照到摄像元件116的曝光时间变长。据此，得到的被摄体的电信号多，输入图像的入光量变多。并且，如果使快门速度快速，则光照到摄像元件116的曝光时间变短。据此，被摄体的电信号变少，因此输入图像的入光量变少。
脸识别部105，利用由摄像部101生成的输入图像120，来识别输入图像120中存在的脸区域。脸识别部105，按每个帧，将所生成的脸识别结果121记忆在脸识别结果记忆部107中。一般来讲，作为识别对象，可想到非特定人物的脸区域或特定人物的脸区域。非特定人物的脸区域的识别是识别包括一般性的脸的特征的图像区域。详细的识别算法，利用专利文献3等公开的AdaBoost算法，通过构成按照每个脸的方向专用的检测脸的方向的识别器来实现。但是，非特定人物的脸区域的识别方法并不限定于该算法。并且，特定人物的脸区域的识别是通过判定非特定人物的脸区域的详细的脸特征信息与脸识别结果记忆部107中登记的特定人物的脸特征信息123的一致性来确定个人。
一般而言，脸的识别中，针对识别用图像来进行识别，该识别用图像是将输入图像120的大小变更为一定的大小之后的图像。例如，在非特定人物的脸区域的识别中，如专利文献2中的记载，利用将输入图像缩小后的识别用图像来识别脸。并且，在专利文献1中，针对识别出的非特定人物的脸区域，利用检测眼并使两眼的间隔成为规定值这样一种变更大小后的识别用图像来识别特定人物的脸区域。一般而言，特定人物的脸区域的识别，因为利用比非特定人物的脸区域的识别更详细的特征信息，因此比起非特定人物的脸区域的识别，要求更高的分辨率。
脸追踪部106，基于脸识别结果记忆部107保持的过去的脸识别结果121，在连续的输入图像120(帧)间追踪脸。例如，用于脸的追踪的脸识别结果121是输入图像120中的脸区域的中心坐标等。被识别过一次的脸，在下一个帧中，会在在前一个帧中被识别出的位置的近旁被识别出。这样，脸追踪部106利用识别位置的连续性来实现脸追踪处理。图3是由脸追踪部106进行的脸追踪处理的流程图。
图3的脸追踪处理中，首先，脸追踪部106判定在当前帧中识别出脸区域的中心坐标近旁在前一个帧中否存在被赋予了标记的脸区域(S101)。
在前一个帧存在被赋予了标记的脸区域的情况下(S101的“是”)，脸追踪部106，针对当前帧中识别出的脸区域，赋予与前一个帧的脸区域被赋予的标记相同的标记(S102)。
另外，在前一个帧中不存在被赋予了标记的脸区域的情况下(S101的“否”)，脸追踪部106，针对在当前帧中识别出的脸区域赋予与到此为止被识别出的脸的标记不同的固有的标记(S103)。
另外，此处的说明中，记述了利用采用位置的连续性的追踪方法的情况，但是也可以利用采用颜色的追踪方法。并且，在追踪对象的脸有多个的情况下，脸追踪部106，选择用于控制相机的调整参数的脸的标记。作为选择方法，如果脸识别部105识别出被登记的特定人物，则选择该脸的标记。除此之外，也可以是，如专利文献2等公开的那样，根据识别出的脸的大小以及位置等来选择用于控制的脸。并且，脸追踪部106，按照每一个帧，将所生成的脸追踪结果122，记忆在脸识别结果记忆部107中。
脸识别结果记忆部107，按照每一个帧，保持由脸识别部105生成的脸识别结果121以及由脸追踪部106生成的脸追踪结果122。在此，脸识别结果121是输入图像中的脸区域的坐标、脸区域的纵横的像素数以及被登记的特定人物的识别状况等。并且，脸追踪结果122是用于区别脸区域的标记以及相机控制对象的标记等。并且，脸识别结果记忆部107保持由脸识别部105识别特定人物时利用的特定人物的脸的详细信息即脸特征信息123。并且，识别用摄像装置100，在脸识别结果记忆部107中按照每一个帧蓄积数据的结果存储容量达到了极限的情况下，通过从最旧的数据开始删除从而总是能够参照最新的履历。
移动速度算出部108，利用脸识别结果记忆部107保持的脸识别结果121和脸追踪结果122，算出相机控制对象的标记的脸的移动速度。具体而言，移动速度算出部108算出这样一种移动像素数，即：在当前帧和前一个帧中，在持有同一标记的脸中，从前一个帧的脸区域的中心坐标到当前帧的脸区域的中心坐标为止的移动像素数。并且，移动速度算出部108，根据所算出的移动像素数，来算出平面方向的移动速度。并且，移动速度算出部108，针对当前帧和前一个帧中持有同一标记的脸，算出前一个帧的脸区域的纵横的像素数与当前帧的脸区域的纵横的像素数的差分。并且，移动速度算出部108，根据所算出的差分，计算深度方向的移动速度。在此，求出移动速度的方法并不限定于此方法。
面积算出部109，根据脸识别结果记忆部107中保持的脸识别结果121和脸追踪结果122，求出相机控制对象的标记的脸的脸区域的面积。作为面积，可考虑识别用图像的脸的分辨率(以下记述为“识别用分辨率”)或者输入图像120中的脸的像素数。在此，识别用分辨率是指图像中的像素的密度，该值越大则脸的特征越鲜明。例如，该识别用分辨率是与脸区域的面积(像素数)成正比且与脸区域的抖动量(或者模糊量)成反比的值。具体而言，作为识别用分辨率，能够利用识别用图像区域的AF评价值(与对比度(contrast)量对应的值)等。或者，识别分辨率，也可以是，以识别用图像的面积来将输入图像120中的脸区域的AF评价值归一化(正規化)后的值。在此，求出脸区域的面积的方法并不限定于此。
入光量算出部110，根据脸识别结果记忆部107中保持的脸识别结果121和脸追踪结果122，算出相机控制对象的标记的脸区域的入光量。具体而言，入光量算出部110，算出识别用图像的脸区域中包括的多个像素的亮度值的平均值或者输入图像120中的脸区域包括的多个像素的亮度值的平均值，并利用所算出的平均值来算出入光量。并且，入光量算出部110，在输入图像120被实施了增益或伽马校正等亮度校正的情况下，对输入图像120进行这些校正的逆校正，利用逆校正后的图像来算出入光量。在此，求出脸区域的入光量的方法并不限定于此方法。
曝光控制部102，利用由移动速度算出部108、面积算出部109以及入光量算出部110算出的脸区域的面积、移动速度以及入光量，来决定快门速度。
以下，记述由曝光控制部102利用由移动速度算出部108、面积算出部109以及入光量算出部110生成的信息来算出快门速度的方法。并且，作为前提条件，设定处理对象的脸是在进行脸的追踪(存在前一个帧的脸的履历)的相机控制对象的脸。
首先，说明曝光控制部102进行的基于脸区域的面积的快门速度的控制处理。图4是基于脸区域的面积的快门速度的控制处理的流程图。
并且，例如，在图4～图7的每一图示出的一连串的处理是按照每一个帧来进行的。另外，在图4～图7的每一图示出的一连串的处理也可以按照预先规定的多个帧为单位来进行。
首先，面积算出部109算出处理对象的脸区域的面积。在此，设定面积是识别用图像的AF评价值(S201)。
然后，曝光控制部102判定脸区域的面积是否达到面积阈值(对于识别足够的面积)(S202)。另外，因识别方法不同而面积阈值也不同。例如，特定人物的脸的识别中的面积阈值，比非特定人物的脸的识别中的面积阈值高。
在脸区域的面积在面积阈值以上的情况下(S202的“是”)，曝光控制部102将摄像部101的快门速度设定为比当前的快门速度迟缓的快门速度(S203)。换而言之，曝光控制部102，将摄像部101的曝光时间设定为比当前的曝光时间长的曝光时间。在此，曝光控制部102，根据当前的脸区域的面积与当前的快门速度之间的关系，来算出识别用分辨率不低于分辨率阈值的快门速度的上限值。而且，曝光控制部102，将快门速度设定为所算出的上限值以下的值。
这样，在脸区域的面积足够大的情况下，曝光控制部102加长摄像部101的曝光时间。据此，能够增加脸区域的入光量。在此，如果加长曝光时间，则在脸区域容易发生抖动。但是，在脸区域的面积足够大的情况下，即使抖动增加也能够确保脸的识别处理中需要的分辨率，因此对脸的识别处理以及脸的追踪处理的不良影响少。另外，因为入光量增加，脸区域的SN比增大，因此脸识别处理以及脸追踪处理的精确度增加。
并且，在脸区域的面积足够大的情况下，通过事先增加入光量，从而即使在入光量在时间上减少的情况下，也能够容易地确保脸的识别处理所需要的入光量。
另外，在脸区域的面积小于面积阈值的情况下(S202的“否”)，曝光控制部102，将摄像部101的快门速度设定为比当前的快门速度快速的快门速度(S204)。换而言之，曝光控制部102，将摄像部101的曝光时间设定为比当前的曝光时间短的曝光时间。
这样，在脸区域的面积小的情况下，曝光控制部102缩短摄像部101的曝光时间。据此，因为脸区域的振动减低，因此脸的识别处理以及脸的追踪处理的精确度提高。
另外，曝光控制部102，在步骤S203以及S204中，可以使快门速度增加或减少预先规定的固定值部分，也可以按照脸区域的面积来变更快门速度的变化量。也可以是，例如，在步骤203中，脸区域的面积越大，则曝光控制部102将快门速度设定为越迟缓的快门速度。也可以是，同样，在步骤S204中，脸区域的面积越小，则曝光控制部102将快门速度设定为越快速的快门速度。
并且，曝光控制部102，在步骤S204中，至少将快门速度设定为比在步骤S203设定的快门速度快速的快门速度即可。换而言之，曝光控制部102，在步骤S204中，将摄像部101的曝光时间设定为比在步骤S203设定的曝光时间短的曝光时间即可。
并且，在此以利用一个阈值来进行快门速度的变更为例进行了记述，但是也可以利用多个阈值。也可以是，例如，曝光控制部102，在脸区域的面积在第一面积阈值以上的情况下使快门速度迟缓，在脸区域的面积小于比第一面积阈值小的第二面积阈值的情况下使快门速度快速，在脸区域面积在第一面积阈值与第二阈值之间的情况下不变更快门速度。并且，也可以是，曝光控制部102，按照脸区域的面积和多个面积阈值的大小，变更快门速度的变化量。
然后，说明曝光控制部102进行的基于脸区域的移动速度的快门速度的控制处理。图5是基于脸区域的移动速度的快门速度的控制处理的流程图。另外，在以下的记述中有对于同样的处理附加同样的符号并省略其说明的情况。
首先，移动速度算出部108，算出处理对象的脸的平面方向的移动速度(S211)。
然后，曝光控制部102判定脸区域的移动速度是否在速度阈值以上(S212)。
在脸区域的移动速度小于速度阈值的情况下(S212的“否”)，曝光控制部102，将摄像部101的快门速度设定为比当前的快门速度迟缓的快门速度(S203)。
据此，能够使脸区域的入光量增加。在此，在移动速度迟缓的情况下，因为即使使曝光时间变长也能够确保脸识别处理所需要的分辨率，因此对脸识别处理以及脸追踪处理的不良影响少。另外，通过增加入光量，能够提高脸识别处理以及脸追踪处理的精确度。
而在脸区域的移动速度在速度阈值以上的情况下(S212的“是”)，曝光控制部102，将摄像部101的快门速度设定为比当前的快门速度快速的快门速度(S204)。
这样，在脸区域的移动速度大的情况下，曝光控制部102使摄像部101的曝光时间变短。通过使快门速度变快，从而在脸区域不容易出现抖动而提高脸区域的分辨率。据此，提高脸识别处理以及脸追踪处理的精确度。
另外，曝光控制部102，在步骤S203以及步骤S204中，可以使快门速度增加或减少预先规定的固定值部分，也可以按照脸区域的移动速度来变更快门速度的变化量。也可以是，例如，在步骤S203，脸区域的移动速度越迟缓，曝光控制部102将快门速度设定为越迟缓的快门速度。也可以是，同样，在步骤S204，脸区域的移动速度越快速，曝光控制部102将快门速度设定为越快速的快门速度。
并且，曝光控制部102，在步骤S204，至少将快门速度设定为比在步骤S203设定的快门速度快速的快门速度即可。换而言之，曝光控制部102，在步骤S204，将摄像部101的曝光时间设定为比在步骤S203设定的曝光时间短的曝光时间即可。
并且，在此以利用一个阈值来进行快门速度的变更为例进行了记述，但是也可以利用多个阈值。可以是，例如，曝光控制部102，在脸区域的移动速度在第一速度阈值以上的情况下使快门速度快速，在脸区域的移动速度小于比第一速度阈值小的第二速度阈值的情况下使快门速度迟缓，在脸区域的移动速度在第一速度阈值与第二速度阈值之间的情况下不变更快门速度。并且，也可以是，曝光控制部102，按照脸区域的移动速度和多个速度阈值的大小，变更快门速度的变化量。
然后，说明曝光控制部102进行的基于脸区域的入光量的快门速度的控制处理。图6是基于脸区域的入光量的快门速度的控制处理的流程图。
首先，入光量算出部110算出处理对象的脸区域的入光量(S221)。在此，设定入光量是识别用图像的脸区域中包括的多个像素的亮度值的平均值。
然后，曝光控制部102判定脸区域的入光量是否达到入光量阈值(对于识别足够的入光量)(S222)。在此，因识别方法不同而入光量阈值也不同。例如，特定人物的脸的识别中的入光量阈值，比非特定人物的脸的识别中的入光量阈值高。并且，曝光控制部102，作为该判定中利用的入光量，可以利用由入光量算出部110算出的该入光量本身，也可以是，算出与由面积算出部109算出的面积成正比且与由入光量算出部110算出的入光量成正比的识别用入光量，并比较该识别用入光量与入光量阈值。
在脸区域的入光量小于入光量阈值的情况下(S222的“否”)，曝光控制部102，将摄像部101的快门速度设定为比当前的快门速度迟缓的快门速度(S203)。
这样，在脸区域的入光量小于入光量阈值的情况下，曝光控制部102通过使摄像部101的曝光时间迟缓，从而能够增加入光量。据此，因为脸区域的SN比增大，因此脸的识别处理以及脸的追踪处理的精确度提高。
而在脸区域的入光量在入光量以上的情况下(S222的“是”)，曝光控制部102，将摄像部101的快门速度设定为比当前的快门速度快速的快门速度(S204)。在此，曝光控制部102，根据当前的脸的入光量与当前的快门速度之间的关系，来算出不低于入光量阈值的快门速度的下限值。并且，曝光控制部102，将快门速度设定为所算出的下限值以上的值。
这样，在脸区域的入光量足够多的情况下，曝光控制部102缩短摄像部101的曝光时间。据此，能够确保脸识别处理所需要的入光量且减低脸区域的抖动。
并且，在脸区域的入光量足够大的情况下，通过事先加快快门速度，从而即使在对象物的移动速度突然增加的情况下，也能够抑制抖动，因此能够容易地确保脸识别处理所需要的分辨率。
另外，曝光控制部102，在步骤S203以及S204中，可以使快门速度增加或减少预先规定的固定值部分，也可以按照脸区域的入光量来变更快门速度的变化量。也可以是，例如，在步骤203中，脸区域的入光量越少，曝光控制部102将快门速度设定为越迟缓的快门速度。也可以是，同样，在步骤S204中，脸区域的入光量越多，曝光控制部102将快门速度设定为越快速的快门速度。
并且，曝光控制部102，在步骤S204中，至少将快门速度设定为比在步骤S203设定的快门速度快速的快门速度即可。换而言之，曝光控制部102，在步骤S204中，将摄像部101的曝光时间设定为比在步骤S203设定的曝光时间短的曝光时间即可。
并且，在此以利用一个阈值来进行快门速度的变更为例进行了记述，但是也可以利用多个阈值。可以是，例如，曝光控制部102，在脸区域的入光量在第一入光量阈值以上的情况下使快门速度快速，在脸区域的入光量小于比第一入光量阈值小的第二入光量阈值的情况下使快门速度迟缓，在脸区域的入光量在第一入光量阈值与第二入光量阈值之间的情况下不变更快门速度。并且，也可以是，曝光控制部102，按照脸区域的入光量和多个入光量阈值的大小，来变更快门速度的变化量。
并且，在上述说明中，记述了分别按照脸区域的面积、移动速度以及入光量来进行处理的例子，但是也可以将这些进行组合。也就是说，曝光控制部102，按照脸区域的面积、移动速度以及入光量中的至少一个来变更快门速度即可。
图7是曝光控制部102进行的快门速度的控制处理的变形例的流程图。
也可以是，如图7所示，在脸区域的入光量小于入光量阈值且脸区域的面积在面积阈值以上的情况下(S231的“是”)，曝光控制部102将摄像部101的快门速度设定为比当前的快门速度迟缓的快门速度(S203)。
并且，也可以是，在脸区域的入光量在入光量阈值以上且脸区域的面积小于面积阈值的情况下(S232的“是”)，曝光控制部102，将摄像部101的快门速度设定为比当前的快门速度快速的快门速度(S204)。
并且，在上述以外的情况下(S231的“否”且S232的“否”)，曝光控制部102不变更快门速度。
另外，也可以是，在上述图4～图7中的步骤S203以及S204中，曝光控制部102，按照脸区域的面积、移动速度以及入光量中的至少一个值来变更快门速度的变更量。另外，具体的变更量的控制方法与上述的说明同样即可。
这样，本发明的实施例1所涉及的识别用摄像装置100，通过按照脸区域的面积、移动速度以及入光量来增减快门速度，从而能够提高脸识别处理中所需要的脸的分辨率以及SN比。据此，识别用摄像装置100能够稳定地进行在时间上连续的识别。
另外，在上述说明中，曝光控制部102通过变更快门速度来变更曝光时间，但是也可以以除此之外的方法来变更曝光时间。
(实施例2)
本发明的实施例2所涉及的识别用摄像装置，按照脸区域的面积来变更该识别用摄像装置的合焦位置。具体而言，本发明的实施例2所涉及的识别用摄像装置，在脸区域的面积大的情况下，将合焦位置设定为距脸远处。
据此，本发明的实施例2所涉及的识别用摄像装置能够稳定地进行脸的识别。
另外，以下，主要说明与实施例1之间的不同之处，省略重复的说明。并且，在各图中，对于同样的要素附加同一符号。
图8是本发明的实施例2所涉及的识别用摄像装置100A的框图。
在图8示出的识别用摄像装置100A，针对实施例1所涉及的识别用摄像装置100的构成，以具备合焦位置控制部103来代替曝光控制部102。
图9是示出识别用摄像装置100A的详细的构成的框图。
合焦位置控制部103控制摄像部101的透镜驱动装置113的合焦位置。如果合焦位置距对象物近，则成为焦点对准对象物的状态，因此输入图像中的对象物的分辨率提高。而如果合焦位置距对象物远，则成为焦点未对准对象物的状态，因此输入图像中的对象物的分辨率降低。
具体而言，合焦位置控制部103，在脸区域的面积小于面积阈值的情况下，将合焦位置设定为第一位置，在脸区域的面积在面积阈值以上的情况下，将合焦位置设定为距对象物比第一位置远的第二位置。
图10是识别用摄像装置100A进行的合焦位置的控制处理的流程图。并且，设定处理对象的脸是相机控制对象的脸。
并且，例如，在图10示出的一连串的处理是按照每一个帧来进行的。另外，在图10示出的一连串的处理也可以按照预先规定的多个帧为单位来进行。
如图10所示，首先，面积算出部109算出处理对象的脸区域的面积(S201)。在此，设定面积是识别用图像的AF评价值。
然后，合焦位置控制部103判定脸区域的面积是否达到面积阈值(S202)。
在脸区域的面积超出面积阈值的情况下(S202的“是”)，合焦位置控制部103，将合焦位置设定为距脸的位置比当前的合焦位置远的合焦位置(S303)。
而在判定为脸区域的面积未超出面积阈值的情况下(S202的“否”)，合焦位置控制部103，将合焦位置设定为距脸的位置比当前的合焦位置近的合焦位置(S304)。
另外，合焦位置控制部103，在步骤S304中，至少将合焦位置设定为比在步骤S303设定的位置距脸近的位置即可。
并且，在此以利用一个阈值来进行合焦位置的变更为例进行了记述，但是也可以利用多个阈值。可以是，例如，合焦位置控制部103，在脸区域的面积在第一面积阈值以上的情况下使合焦位置距脸远，在脸区域的面积小于比第一面积阈值小的第二面积阈值的情况下使合焦位置接近脸，在脸区域面积在第一面积阈值与第二阈值之间的情况下不变更合焦位置。并且，也可以是，合焦位置控制部103，按照脸区域的面积和多个面积阈值的大小，变更合焦位置的变化量。
利用图11详细地说明步骤S303以及步骤S304的合焦位置的位置算出方法。首先，利用图11(a)说明不考虑脸的面积的一般的合焦位置的控制方法。
首先，详细地说明景深。一般来讲，以下述的(式1)、(式2)以及(式3)来求出景深。在此，DN是景深的前端，DF是景深的后端。并且，整个景深是DF和DN合起来的部分。并且，s是合焦位置，H是超焦距(過焦点距離)(无限远刚刚进入景深的后端的合焦位置)，N是光圈值，c是容许弥散圆的直径(容许模糊的直径)，f是透镜的焦点距离。
H＝f2/(c×N)…(式1)
DN＝{s×(H-f)}/(H+s-2f)…(式2)
DF＝{s×(H-f)}/(H-s)…(式3)
以下，将模糊量纳在1pixel以内的容许弥散圆的直径设定为c，将合焦位置控制在脸被识别出的距离S的情况下的景深设定为W0。
如图11(a)所示，合焦位置S在超焦距H0的前方(手前)的情况下，景深的后端是有限的位置。在此，合焦位置控制部103，考虑到脸区域的面积，求出在合焦位置是S的情况下能够确保可识别出脸的分辨率的景深W1。作为例子，假设识别对象的脸的面积是识别所需要的面积的纵横2倍的情况。此时，即使将识别所需要的容许弥散圆的直径扩大到2c，也能够满足识别所需要的分辨率。
因此，将容许弥散圆的直径设定为2c来重新设定的超焦距设定为H1的情况下，合焦位置控制部103利用式(1)来算出H1＝H0/2。也就是说，超焦距H1在比超焦距H0更前方的位置。具体而言，如图11(b)所示，超焦距H1在比合焦位置S更前方的情况下，景深W1的后端成为无限远。并且，景深W1的前端也在景深W0的更前方。这样，脸区域的面积越大，可识别的景深W1越大。
而且，合焦位置控制部103，在超焦距H1在脸识别距离S的前方的情况下，如图11(c)所示，将合焦位置设定为超焦距H1的位置。据此，能够更加增大可识别的景深W2。这样，合焦位置控制部103，通过按照脸区域的面积来恰当地控制合焦位置，从而能够增大可识别的景深。
也就是说，在脸区域的面积足够大的情况下，合焦位置控制部103，在步骤S303，通过将合焦位置设定为距脸识别距离远，从而增大可识别的景深。这样，在脸区域的面积足够大的情况下，通过事先增大景深，从而即使在对象物突然移动的情况下，也能够容易地确保脸的识别处理所需要的分辨率。
并且，在脸区域的面积不足的情况下，合焦位置控制部103，在步骤S304，将合焦位置设定为脸识别距离的近处。据此，合焦位置控制部103，能够提高脸区域的分辨率。
这样，本发明的实施例2所涉及的识别用摄像装置100A，通过按照脸区域的面积来变更合焦位置，从而能够稳定地进行在时间上连续的识别。
(实施例3)
本发明的实施例3所涉及的识别用摄像装置，按照脸区域的面积以及入光量，来变更光圈值。具体而言，本发明的实施例3所涉及的识别用摄像装置，在脸区域的面积大的情况下，增大光圈值。
据此，本发明的实施例3所涉及的识别用摄像装置能够稳定地进行脸的识别。
另外，以下，主要说明与实施例1以及2的不同之处，省略重复的说明。并且，在各图中，对于同样的要素附加同一符号。
图12是本发明的实施例3所涉及的识别用摄像装置100B的框图。
在图12示出的识别用摄像装置100B，针对实施例1所涉及的识别用摄像装置100的构成，以具备光圈控制部104来代替曝光控制部102。
并且，图13是示出识别用摄像装置100B的详细的构成的框图。
光圈控制部104控制摄像部101的光圈装置114的光圈值。如果使光圈值小，则通过透镜112的光量增多，得到对象物的电信号多。据此，输入图像的入光量变多。并且，景深变浅(焦点对准的区域狭小)。而如果使光圈值大，则通过透镜的光量变少，因此被摄体的点信号变少。据此，输入图像的入光量变少。并且，景深变深(焦点对准的区域宽广)。
具体而言，光圈控制部104，在脸区域的面积小于面积阈值的情况下，将光圈值设定为第一光圈值，在脸区域的面积在面积阈值以上的情况下，将光圈值设定为比第一光圈值大的第二光圈值。
以下，记述由光圈控制部104利用由面积算出部109以及入光量算出部110生成的信息来算出光圈值的方法。并且，设定处理对象的脸是相机控制对象的脸。
首先，说明光圈控制部104进行的基于脸区域的面积的光圈值的控制处理。图14是基于脸区域的面积的光圈值的控制处理的流程图。
并且，例如，在图14以及图15的每一图示出的一连串的处理是按照每一个帧来进行的。另外，在图14以及图15的每一图示出的一连串的处理也可以按照预先规定的多个帧为单位来进行。
如图14所示，首先，面积算出部109算出处理对象的脸区域的面积(S201)。在此，设定面积是输入图像的脸区域的像素数。
然后，光圈控制部104判定脸区域的面积是否达到面积阈值(S202)。
在脸区域的面积超过面积阈值的情况下(S202的“是”)，光圈控制部104设定比当前的光圈值大的光圈值(S403)。
在此，光圈值越大则景深越深，因此能够增大识别范围。
并且，输入图像中的脸区域的像素数多的情况下，在缩小为识别用图像的大小时，对各像素的噪声被平均化，因此噪声的影响变小。因此，脸区域的各像素的信号量相对变大，因此即使增大光圈值也能够确保识别所需要的光量。这样，光圈控制部104能够确保识别所需要的光量且增大识别范围。并且，通过事先增大景深，从而即使在对象物突然移动的情况下，也能够容易地确保脸的识别处理所需要的分辨率。
并且，光圈控制部104，最好将光圈值增大到接近入光量阈值。也就是说，面积越大，光圈控制部104使光圈值越大。
而在脸区域的面积未超出面积阈值的情况下(S202的“否”)，光圈控制部104将光圈值设定为比当前的光圈值小的光圈值(S404)。并且，脸区域的面积越小，光圈控制部104使光圈值越小。
并且，输入图像中的脸区域的像素数少的情况下，在缩小为识别用图像的大小时，噪声不易被平均化，因此噪声的影响变大。对此，光圈控制部104，在此情况下，通过缩小光圈值，从而能够确保识别所需要的光量。
并且，光圈控制部104，在步骤S404中，至少将光圈值设定为比在步骤S403设定的光圈值小的光圈值即可。
并且，在此以利用一个阈值来进行光圈值的变更为例进行了记述，但是也可以利用多个阈值。可以是，例如，光圈控制部104，在脸区域的面积在第一面积阈值以上的情况下增大光圈值，在脸区域的面积小于比第一面积阈值小的第二面积阈值的情况下减小光圈值，在脸区域面积在第一面积阈值与第二阈值之间的情况下不变更光圈值。并且，也可以是，光圈控制部104，按照脸区域的面积和多个面积阈值的大小，来变更光圈值的变化量。
然后，说明光圈控制部104进行的基于脸区域的入光量的光圈值的控制处理。图15是基于脸区域的入光量的光圈值的控制处理的流程图。
如图15所示，首先，入光量算出部110算出处理对象的脸区域的入光量(S221)。在此，设定入光量是输入图像的脸区域中包括的多个像素的亮度值的平均值。
然后，光圈控制部104判定脸区域的入光量是否达到入光量阈值(S222)。
在脸区域的入光量超出入光量阈值的情况下(S222的“是”)，光圈控制部104将光圈值设定为比当前的光圈值大的光圈值(S403)。
在此，光圈值越大则景深越深，因此能够增大识别范围。并且，光圈控制部104，最好将光圈值增大到接近入光量阈值。也就是说，入光量越大，光圈控制部104使光圈值越大。
例如，输入图像中的脸区域的入光量大的情况下，比起在摄像部101中发生的噪声的量，脸区域的各像素的信号量大。因此，即使增大光圈值，也能够确保识别所需要的光量。这样，光圈控制部104能够确保识别所需要的光量且增大识别范围。这样，通过事先增大景深，从而即使在对象物突然移动的情况下，也能够容易地确保脸识别处理所需要的分辨率。
而在脸区域的入光量未超出入光量阈值的情况下(S222的“否”)，光圈控制部104将光圈值设定为比当前的光圈值小的光圈值(S404)。光圈值越小，则识别范围越狭小，因此最好是将光圈值减小到接近入光量阈值。也就是说，入光量越小，光圈控制部104使光圈值越小。
例如，输入图像中的脸区域的入光量小的情况下，比起在摄像部101中发生的噪声的量，脸区域的各像素的信号量小。因此，光圈控制部104，通过缩小光圈值，能够确保识别所需要的光量。
并且，光圈控制部104，在步骤S404中，至少将光圈值设定为比在步骤S403设定的光圈值小的光圈值即可。
并且，在此以利用一个阈值来进行光圈值的变更为例进行了记述，但是也可以利用多个阈值。可以是，例如，光圈控制部104，在脸区域的入光量在第一入光量阈值以上的情况下增大光圈值，在脸区域的入光量小于比第一入光量阈值小的第二入光量阈值的情况下减小光圈值，在脸区域的入光量在第一入光量阈值与第二入光量阈值之间的情况下不变更光圈值。并且，也可以是，光圈控制部104，按照脸区域的入光量和多个入光量阈值的大小，来变更光圈值的变化量。
以上，本发明的实施例3所涉及的识别用摄像装置100B，通过按照脸区域的面积以及入光量来控制光圈值，从而能够确保识别所需要的光量且尽量地加深可进行识别的景深。因此，识别用摄像装置100B能够进行更加稳定的识别。
并且，在上述说明中，记述了分别按照脸区域的面积以及入光量来进行处理的例子，但是也可以将这些进行组合。也就是说，光圈控制部104，按照脸区域的面积以及入光量中的至少一个来变更光圈值即可。
并且，也可以是，在上述图14以及图15中的步骤S403以及S404中，曝光控制部104，按照脸区域的面积以及入光量中的至少一个值来变更光圈的变更量。另外，具体的变更量的控制方法与上述的说明同样即可。
以上，说明了本发明的实施例所涉及的识别用摄像装置，但是，本发明并不限定于这些实施例。
例如，上述实施例中，以识别脸的情况为例进行了说明，但是，本发明也能够适用于识别图像内的任意的对象物的情况。
并且，在上述实施例1～实施例3中，以控制曝光时间、合焦位置以及光圈值为例个别地进行了说明，但是将这些进行了组合的实施例也包括在本发明中。也就是说，也可以是，本发明所涉及的识别用摄像装置，具备上述的曝光控制部102、合焦控制部103以及光圈控制部104中的2个以上。
例如，也可以是，图7所示的处理中，在不变更快门速度的情况下(S231的“否”且S232的“否”)，变更合焦位置或光圈值。
并且，此时，也可以是，用于曝光时间、合焦位置以及光圈值的面积阈值是各自不同的值。同样，也可以是，用于曝光时间、合焦位置以及光圈值的速度阈值也是各自不同值，也可以是，用于曝光时间、合焦位置以及光圈值的入光量阈值也是各自不同的值。
并且，上述实施例所涉及的识别用摄像装置中包括的各处理部典型地以集成电路即LSI来实现。这些可以独立地单片化，也可以包含一部分或全部地单片化。
而且，集成电路化不只限于LSI，也可以以专用电路或者通用处理器来实现。也可以采用在制造LSI后能够编程的FPGA(FieldProgrammable Gate Array：现场可编程门阵列)、或者能够重构LSI内部的电路单元的连接及设定的可重构处理器。
并且，可以将本发明的实施例所涉及的识别用摄像装置的功能的一部分或全部，通过CPU等处理器执行程序来实现。
例如，能够将上述识别用摄像装置100、100A以及100B中包括的处理部中，除摄像部101以外的功能，通过由CPU等处理器来执行程序来实现。
而且，本发明可以是上述程序，也可以是记录有上述程序的非暂时性的计算机可读取的记录介质。并且，不言而喻，上述程序能够通过互联网等传输介质来使其流通。
并且，也可以是，将上述实施例1～3所涉及的识别用摄像装置以及其变形例的功能中的至少一部分进行组合。
并且，上述记述中使用的数字，全部是用于具体地说明本发明的示例，本发明并不限定于这些示例的数字。
并且，执行上述步骤的顺序是用于具体地说明本发明的示例，也可以采用上述记述中的顺序以外的顺序。并且，上述步骤的一部分步骤也可以与其他的步骤同时(并行)进行。
例如，图7所示的处理中，步骤S201以及S221的顺序可以是任意的顺序。并且，步骤S231以及S232的顺序可以是任意的顺序。
而且，只要不超出本发明的宗旨，针对上述实施例实施了同行业人员所能想到的范围内的变更的各种实施例也包括在本发明中。
本发明能够适用于识别用摄像装置以及其控制方法。并且，本发明能够适用于具备识别用摄像装置的数字静像相机、数字摄像机、网络相机以及保安相机等相机。
符号说明
100、100A、100B  识别用撮像装置
101  撮像部
102  曝光控制部
103  合焦位置控制部
104  光圈控制部
105  脸识别部
106  脸追踪部
107  脸识别结果记忆部
108  移动速度算出部
109  面积算出部
110  入光量算出部
112  透镜
113  透镜驱动装置
114  光圈装置
115  快门装置
116  摄像元件
117  AD转换器
120  输入图像
121  脸识别结果
122  脸追踪结果
123  脸特征信息

Claims (15)

1.一种识别用摄像装置，具有摄像部、对象物识别部以及追踪部，所述摄像部通过对对象物进行拍摄来依次生成多个图像，所述对象物识别部针对所述多个图像的每一个图像识别作为在该图像内拍摄有对象物的区域的对象物区域，所述追踪部在所述多个图像间追踪所述对象物区域，所述识别用摄像装置具备：
面积算出部，算出所述对象物区域的面积；以及
曝光控制部，在所述面积小于第一阈值的情况下，将所述摄像部的曝光时间设定为第一曝光时间，在所述面积在所述第一阈值以上的情况下，将所述曝光时间设定为比所述第一曝光时间长的第二曝光时间。
2.如权利要求1所述的识别用摄像装置，
所述识别用摄像装置还具备移动速度算出部，该移动速度算出部算出所述对象物区域的移动速度，
所述曝光控制部，进一步，在所述移动速度小于第二阈值的情况下，将所述曝光时间设定为第三曝光时间，在所述移动速度在所述第二阈值以上的情况下，将所述曝光时间设定为比所述第三曝光时间短的第四曝光时间。
3.如权利要求1所述的识别用摄像装置，
所述识别用摄像装置还具备入光量算出部，该入光量算出部算出所述对象物区域的入光量，
所述曝光控制部，在识别用入光量在第三阈值以上的情况下，将所述摄像部的曝光时间设定为第五曝光时间，在所述识别用入光量小于所述第三阈值的情况下，将所述曝光时间设定为比所述第五曝光时间长的第六曝光时间，所述识别用入光量与所述面积成正比且与所述入光量成正比。
4.如权利要求1所述的识别用摄像装置，
所述曝光控制部，在识别用分辨率小于第四阈值的情况下，将所述曝光时间设定为所述第一曝光时间，在所述识别用分辨率在所述第四阈值以上的情况下，将所述曝光时间设定为所述第二曝光时间，所述识别用分辨率与所述面积成正比且与所述对象物区域的抖动量成反比。
5.一种识别用摄像装置，具有摄像部、对象物识别部以及追踪部，所述摄像部通过对对象物进行拍摄来依次生成多个图像，所述对象物识别部针对所述多个图像的每一个图像识别作为在该图像内拍摄有对象物的区域的对象物区域，所述追踪部在所述多个图像间追踪所述对象物区域，所述识别用摄像装置具备：
面积算出部，算出所述对象物区域的面积；以及
合焦位置控制部，在所述面积小于第一阈值的情况下，将该识别用摄像装置的合焦位置设定为第一位置，在所述面积在所述第一阈值以上的情况下，将所述合焦位置设定为距所述对象物比所述第一位置远的第二位置。
6.如权利要求5所述的识别用摄像装置，
所述合焦位置控制部，在识别用分辨率小于第二阈值的情况下，将所述合焦位置设定为所述第一位置，在所述识别用分辨率在所述第二阈值以上的情况下，将所述合焦位置设定为所述第二位置，所述识别用分辨率与所述面积成正比且与所述对象物区域的模糊量成反比。
7.一种识别用摄像装置，具有摄像部、对象物识别部以及追踪部，所述摄像部通过对对象物进行拍摄来依次生成多个图像，所述对象物识别部针对所述多个图像的每一个图像识别作为在该图像内拍摄有对象物的区域的对象物区域，所述追踪部在所述多个图像间追踪所述对象物区域，所述识别用摄像装置具备：
面积算出部，算出所述对象物区域的面积；以及
光圈控制部，在所述面积小于第一阈值的情况下，将光圈值设定为第一光圈值，在所述面积在所述第一阈值以上的情况下，将所述光圈值设定为比所述第一光圈值大的第二光圈值。
8.如权利要求7所述的识别用摄像装置，
所述识别用摄像装置还具备入光量算出部，该入光量算出部算出所述对象物区域的入光量，
所述光圈控制部，进一步，在所述入光量小于第二阈值的情况下，将光圈值设定为第三光圈值，在所述入光量在所述第二阈值以上的情况下，将所述光圈值设定为比所述第三光圈值大的第四光圈值。
9.如权利要求8所述的识别用摄像装置，
所述光圈控制部，在识别用入光量小于第三阈值的情况下，将所述光圈值设定为所述第一光圈值，在所述识别用入光量在所述第三阈值以上的情况下，将所述光圈值设定为所述第二光圈值，所述识别用入光量与所述面积成正比且与所述入光量成正比。
10.一种识别用摄像装置的控制方法，所述识别用摄像装置具有摄像部，该摄像部通过对对象物进行拍摄来依次生成多个图像，所述识别用摄像装置的控制方法包括：
对象物识别步骤，针对所述多个图像的每一个图像，识别作为在该图像内拍摄有对象物的区域的对象物区域；
追踪步骤，在所述多个图像间追踪所述对象物区域；
面积算出步骤，算出所述对象物区域的面积；以及
曝光控制步骤，在所述面积小于第一阈值的情况下，将所述摄像部的曝光时间设定为第一曝光时间，在所述面积在所述第一阈值以上的情况下，将所述曝光时间设定为比所述第一曝光时间长的第二曝光时间。
11.一种识别用摄像装置的控制方法，所述识别用摄像装置具有摄像部，该摄像部通过对对象物进行拍摄来依次生成多个图像，所述识别用摄像装置的控制方法包括：
对象物识别步骤，针对所述多个图像的每一个图像，识别作为在该图像内拍摄有对象物的区域的对象物区域；
追踪步骤，在所述多个图像间追踪所述对象物区域；
面积算出步骤，算出所述对象物区域的面积；以及
合焦位置控制步骤，在所述面积小于第一阈值的情况下，将该识别用摄像装置的合焦位置设定为第一位置，在所述面积在所述第一阈值以上的情况下，将所述合焦位置设定为距所述对象物比所述第一位置远的第二位置。
12.一种识别用摄像装置的控制方法，所述识别用摄像装置具有摄像部，该摄像部通过对对象物进行拍摄来依次生成多个图像，所述识别用摄像装置的控制方法包括：
对象物识别步骤，针对所述多个图像的每一个图像，识别作为在该图像内拍摄有对象物的区域的对象物区域；
追踪步骤，在所述多个图像间追踪所述对象物区域；
面积算出步骤，算出所述对象物区域的面积；以及
光圈控制步骤，在所述面积小于第一阈值的情况下，将光圈值设定为第一光圈值，在所述面积在所述第一阈值以上的情况下，将所述光圈值设定为比所述第一光圈值大的第二光圈值。
13.一种半导体集成电路，该半导体集成电路具备权利要求1所述的所述摄像部、所述对象物识别部、所述追踪部、所述面积算出部以及所述曝光控制部。
14.一种半导体集成电路，该半导体集成电路具备权利要求5所述的所述摄像部、所述对象物识别部、所述追踪部、所述面积算出部以及所述合焦位置控制部。
15.一种半导体集成电路，该半导体集成电路具备权利要求7所述的所述摄像部、所述对象物识别部、所述追踪部、所述面积算出部以及所述光圈控制部。
CN201080006206.5A 2009-12-01 2010-11-26 识别用摄像装置以及其控制方法 Active CN102301693B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-273070 2009-12-01
JP2009273070 2009-12-01
PCT/JP2010/006900 WO2011067906A1 (ja) 2009-12-01 2010-11-26 認識用撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
CN102301693A CN102301693A (zh) 2011-12-28
CN102301693B true CN102301693B (zh) 2014-09-24

Family

ID=44114769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080006206.5A Active CN102301693B (zh) 2009-12-01 2010-11-26 识别用摄像装置以及其控制方法

Country Status (4)

Country Link
US (1) US8860875B2 (zh)
JP (1) JP5400171B2 (zh)
CN (1) CN102301693B (zh)
WO (1) WO2011067906A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5412953B2 (ja) * 2009-05-20 2014-02-12 リコーイメージング株式会社 撮像装置
US8854397B2 (en) * 2011-12-13 2014-10-07 Facebook, Inc. Photo selection for mobile devices
US9724597B2 (en) * 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
CN103024165B (zh) * 2012-12-04 2015-01-28 华为终端有限公司 一种自动设置拍摄模式的方法和装置
US10306125B2 (en) 2014-10-09 2019-05-28 Belkin International, Inc. Video camera with privacy
US9179105B1 (en) 2014-09-15 2015-11-03 Belkin International, Inc. Control of video camera with privacy feedback
US9628720B2 (en) * 2015-08-12 2017-04-18 Qualcomm Incorporated System and method to control an imaging process
US10713501B2 (en) * 2015-08-13 2020-07-14 Ford Global Technologies, Llc Focus system to enhance vehicle vision performance
US10129477B2 (en) * 2015-08-19 2018-11-13 Google Llc Smart image sensor having integrated memory and processor
JP6800871B2 (ja) * 2015-10-16 2020-12-16 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、および記録媒体
JP6839089B2 (ja) * 2015-10-16 2021-03-03 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、および記録媒体
CN106131518A (zh) * 2016-06-30 2016-11-16 东莞市中控电子技术有限公司 一种图像处理的方法以及图像处理装置
JP6364698B2 (ja) * 2016-09-30 2018-08-01 三菱重工機械システム株式会社 合焦位置調整装置、合焦位置調整システム、プログラム、および合焦位置調整方法
WO2019069905A1 (ja) * 2017-10-04 2019-04-11 Ｎｅｃソリューションイノベータ株式会社 情報処理装置、制御方法、及びプログラム
JP6992947B2 (ja) * 2017-11-28 2022-01-13 株式会社ザクティ 画像処理装置
CN110786001B (zh) * 2018-11-28 2022-06-10 深圳市大疆创新科技有限公司 拍摄方法和拍摄系统
JP7331483B2 (ja) * 2019-06-18 2023-08-23 株式会社アイシン 撮像制御装置
CN117544851A (zh) * 2021-07-31 2024-02-09 华为技术有限公司 拍摄方法及相关装置
CN114596597A (zh) * 2022-04-12 2022-06-07 深圳市汇顶科技股份有限公司 指纹识别的方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
CN1798264A (zh) * 2004-12-27 2006-07-05 佳能株式会社 摄像装置及其控制方法
JP2006208626A (ja) * 2005-01-27 2006-08-10 Sony Corp オートフォーカス制御装置、オートフォーカス制御方法および撮像装置
JP2008233470A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 絞り制御装置及び画像処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
WO2005006072A1 (ja) * 2003-07-15 2005-01-20 Omron Corporation 対象決定装置及び撮像装置
JP4767595B2 (ja) 2005-06-15 2011-09-07 パナソニック株式会社 対象物検出装置及びその学習装置
JP2007094535A (ja) 2005-09-27 2007-04-12 Konica Minolta Photo Imaging Inc 認証システム及び認証方法
JP4172507B2 (ja) * 2006-07-13 2008-10-29 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US20080136958A1 (en) * 2006-12-11 2008-06-12 Pentax Corporation Camera having a focus adjusting system and a face recognition function
JP5053731B2 (ja) * 2007-07-03 2012-10-17 キヤノン株式会社 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
JP4518157B2 (ja) * 2008-01-31 2010-08-04 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4539729B2 (ja) * 2008-02-15 2010-09-08 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US8300117B2 (en) * 2008-03-28 2012-10-30 Fuji Xerox Co., Ltd. System and method for exposing video-taking heuristics at point of capture
JP4582212B2 (ja) * 2008-06-24 2010-11-17 カシオ計算機株式会社 撮像装置及びプログラム
KR101539043B1 (ko) * 2008-10-31 2015-07-24 삼성전자주식회사 인물 구도 제안 영상 촬영 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
CN1798264A (zh) * 2004-12-27 2006-07-05 佳能株式会社 摄像装置及其控制方法
JP2006208626A (ja) * 2005-01-27 2006-08-10 Sony Corp オートフォーカス制御装置、オートフォーカス制御方法および撮像装置
JP2008233470A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 絞り制御装置及び画像処理装置

Also Published As

Publication number Publication date
CN102301693A (zh) 2011-12-28
JP5400171B2 (ja) 2014-01-29
US20110285897A1 (en) 2011-11-24
US8860875B2 (en) 2014-10-14
JPWO2011067906A1 (ja) 2013-04-18
WO2011067906A1 (ja) 2011-06-09

Similar Documents

Publication Publication Date Title
CN102301693B (zh) 识别用摄像装置以及其控制方法
US10666851B2 (en) Imaging device and focus adjustment method using an index representing bokeh state
CN106534676B (zh) 面向变焦摄像系统的自动聚焦调节方法
US7382411B2 (en) Method for focus adjusting and camera
US20090079862A1 (en) Method and apparatus providing imaging auto-focus utilizing absolute blur value
EP1814082A2 (en) Face importance level determining apparatus and method, and image pickup apparatus
CN112203012B (zh) 一种图像清晰度计算方法、自动聚焦方法及系统
US8213784B2 (en) Focus adjusting apparatus and focus adjusting method
US20120105710A1 (en) Imaging device and imaging method
US7957633B2 (en) Focus adjusting apparatus and focus adjusting method
JP2011039454A (ja) 自動合焦装置、自動合焦方法及びプログラム
JP2003167182A (ja) オートフォーカス装置
US20120057034A1 (en) Imaging system and pixel signal readout method
JP2014013368A (ja) 撮像装置及びその制御方法
JP6139960B2 (ja) 撮像装置およびその制御方法
JP2003262783A (ja) オートフォーカス装置および撮像装置
US10747089B2 (en) Imaging apparatus and control method of the same
JP2005189634A (ja) カメラの焦点検出装置
JP3564050B2 (ja) カメラ、焦点調節装置、焦点調節方法、焦点調節プログラムを供給する媒体
JP4536218B2 (ja) 合焦装置及び撮像装置
JP2925172B2 (ja) 自動追尾装置
JP2000184270A (ja) デジタルスチルビデオカメラ
JP5322842B2 (ja) 自動合焦装置、自動合焦方法及びプログラム
JP2004361809A (ja) オートフォーカスカメラ
JP2006330160A (ja) オートフォーカスカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141009

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20141009

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.