CN111107276A - 信息处理设备及其控制方法、存储介质以及摄像系统 - Google Patents

信息处理设备及其控制方法、存储介质以及摄像系统 Download PDF

Info

Publication number
CN111107276A
CN111107276A CN201911022378.0A CN201911022378A CN111107276A CN 111107276 A CN111107276 A CN 111107276A CN 201911022378 A CN201911022378 A CN 201911022378A CN 111107276 A CN111107276 A CN 111107276A
Authority
CN
China
Prior art keywords
detection
image
region
subject
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911022378.0A
Other languages
English (en)
Other versions
CN111107276B (zh
Inventor
大森广崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019151406A external-priority patent/JP7353864B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111107276A publication Critical patent/CN111107276A/zh
Application granted granted Critical
Publication of CN111107276B publication Critical patent/CN111107276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及信息处理设备及其控制方法、存储介质以及摄像系统。包括：图像获取单元，其被配置为获取通过使用摄像单元对被摄体进行摄像而获得的图像；检测方法设置单元，其被配置为针对所述图像设置被摄体的检测方法；被摄体检测单元，其被配置为基于由所述检测方法设置单元确定的检测方法来检测被摄体；以及曝光确定单元，其被配置为基于从所述被摄体检测单元获得的检测结果来确定曝光，并且所述检测方法设置单元可以基于在用于获得所述图像的摄像中使用的预定信息，针对所述图像中的各个不同区域将所述检测方法设置为不同。

Description

信息处理设备及其控制方法、存储介质以及摄像系统
技术领域
本发明具体涉及可以检测图像中的被摄体并且基于所检测到的被摄体确定曝光的信息处理设备、信息处理设备的控制方法、存储介质和摄像系统。
背景技术
近年来，在诸如监视照相机、数字照相机或摄像机等的摄像设备中，已经讨论了从通过对被摄体进行摄像而获得的图像中自动检测与预定被摄体有关的特定区域的技术。然后，基于与检测到的特定区域有关的信息应用预定处理。
预定处理的示例包括适当地控制所检测到的特定区域中包括的被摄体的曝光的曝光控制处理以及适当地使所检测到的特定区域中包括的被摄体聚焦的焦点调节处理等。日本特开2005-86682讨论了当从拍摄图像中检测到多个人的面部时基于面部的位置来确定要进行焦点调节或曝光控制的面部的技术。
发明内容
根据本发明的方面，一种信息处理设备包括：至少一个处理器或电路，其被配置为进行以下单元的操作；图像获取单元，其被配置为获取通过使用摄像单元对被摄体进行摄像而获得的图像；检测方法设置单元，其被配置为针对所述图像设置被摄体的检测方法；被摄体检测单元，其被配置为基于由所述检测方法设置单元所确定的检测方法来检测被摄体；以及曝光确定单元，其被配置为基于从所述被摄体检测单元获得的检测结果来确定曝光，其中，所述检测方法设置单元可以基于在用于获得所述图像的摄像中使用的预定信息，针对所述图像中的各个不同区域将所述检测方法设置为不同。
根据本发明的方面，一种信息处理设备的控制方法包括：获取通过使用摄像单元对被摄体进行摄像而获得的图像；针对所述图像设置被摄体的检测方法并且检测被摄体；以及基于在所述检测中获得的检测结果确定曝光，其中，在所述检测中，基于在用于获得所述图像的摄像中使用的预定信息，针对所述图像中的各个不同区域将所述检测方法设置为不同。
根据本发明的方面，一种非暂时性计算机可读存储介质存储有用于使处理器执行控制信息处理设备的方法的程序，所述控制方法包括：获取通过使用摄像单元对被摄体进行摄像而获得的图像；针对所述图像设置被摄体的检测方法并且检测被摄体；以及基于在所述检测中获得的检测结果确定曝光，其中，在所述检测中，基于在用于获得所述图像的摄像中使用的预定信息，针对所述图像中的各个不同区域将所述检测方法设置为不同。
根据本发明的方面，一种摄像系统包括具有摄像单元的摄像设备和能够与所述摄像设备连接的信息处理设备，其中，所述信息处理设备包括：至少一个处理器或电路，其被配置为进行以下单元的操作；图像获取单元，其被配置为获取通过使用摄像单元对被摄体进行摄像而获得的图像；检测方法设置单元，其被配置为针对所述图像设置被摄体的检测方法；被摄体检测单元，其被配置为基于由所述检测方法设置单元所确定的检测方法来检测被摄体；以及曝光确定单元，其被配置为基于从所述被摄体检测单元获得的检测结果来确定曝光，其中，所述检测方法设置单元可以基于在用于获得所述图像的摄像中使用的预定信息，针对所述图像中的各个不同区域将所述检测方法设置为不同。
根据以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。
附图说明
图1是示例性地示出根据本发明第一典型实施例的摄像控制系统的结构的框图。
图2是示例性地示出根据本发明第一典型实施例的监视照相机的内部结构的框图。
图3是示例性地示出用作根据本发明第一典型实施例的信息处理设备的客户端装置的内部结构的框图。
图4是示例性地示出根据本发明第一典型实施例的客户端装置执行的功能和结构的图。
图5是示例性地示出根据本发明第一典型实施例的检测处理和曝光确定处理的流程图。
图6A至6C是各自示例性地示出根据本发明典型实施例的测光模式和测光区域之间的关系的图。
图7A至7C是各自示例性地示出根据本发明第一典型实施例的测光区域和被摄体的检测区域之间的关系的图。
图8A至8C是示例性地示出根据本发明第一典型实施例的变形示例的设置被摄体的检测区域的方法的图。
图9是示例性地示出根据本发明第二典型实施例的检测处理和曝光确定处理的流程图。
图10是示例性地示出根据本发明第二典型实施例的可由用户手动操作的用户界面(UI)的图。
图11是示例性地示出根据本发明典型实施例的测光区域和面部检测结果之间的关系的图。
图12是示例性地示出根据本发明第三典型实施例的客户端装置执行的功能和结构的图。
图13A至13C是示例性地示出根据本发明第三典型实施例的分数图的计算方法的图。
图14是示例性地示出根据本发明第三典型实施例的检测处理和曝光确定处理的流程图。
具体实施方式
在下文中，将参考图1至11描述根据本发明典型实施例的信息处理设备。另外，下面提到的附图中所示的功能块中的一个或多个功能块可以由诸如专用集成电路(ASIC)或可编程逻辑阵列(PLA)等的硬件来实现，或者可以由执行软件的诸如中央处理单元(CPU)或微处理单元(MPU)等的可编程处理器来实现。可选地，一个或多个功能块可以由软件和硬件的组合来实现。因此，在以下描述中，即使在将不同的功能块描述为操作执行者时，也可以将同一硬件实现为执行者。
(基本结构)
图1是示例性地示出根据本发明第一典型实施例的摄像控制系统(摄像系统)的结构的框图。图1中所示的摄像控制系统包括监视照相机(摄像设备)101、网络102、客户端装置103、输入装置104和显示装置105。另外，监视照相机101是可以对被摄体进行摄像和图像处理以获取运动图像的设备。然后，监视照相机101和客户端装置103经由网络102以可彼此进行通信的状态连接。
图2是示例性地示出根据本发明第一典型实施例的监视照相机101的内部结构的框图。摄像光学系统201包括变焦透镜、调焦透镜、图像稳定透镜、光圈和快门等，并且是用于收集与被摄体有关的光学信息的光学构件组。
图像传感器202是用于将收集至摄像光学系统201的光束转换成电流值(信号值)的电荷累积型固态图像传感器(诸如互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器等)，并且是通过与滤色器等组合来获取颜色信息的摄像单元。另外，图像传感器202是可针对像素设置任意曝光时间的图像传感器。
照相机CPU 203是用于统一控制监视照相机101的操作的控制单元。照相机CPU203读取只读存储器(ROM)204或随机存取存储器(RAM)205中所存储的命令，并根据读取结果执行处理。另外，图像拍摄系统控制单元206进行诸如摄像光学系统201的调焦控制、快门控制或光圈调整等(即，基于来自照相机CPU 203的指示)的监视照相机101的各个组件的控制。通信控制单元207通过与客户端装置103进行的通信，进行用于将与监视照相机101的各个组件有关的控制发送到照相机CPU 203的控制。
模数(A/D)转换器208将由图像传感器202检测到的被摄体的光量转换成数字信号值。图像处理单元209是用于对从图像传感器202输出的数字信号的图像数据进行图像处理的图像处理单元。编码器单元210是用于进行将由图像处理单元209处理过的图像数据转换成诸如Motion Jpeg、H264或H265等的文件格式的处理的转换单元。网络I/F 211是用于经由网络102与诸如客户端装置103等的外部装置进行通信的接口，并且由通信控制单元207控制。
网络102是用于连接监视照相机101和客户端装置103的互联网协议(IP)网络。例如，该网络包括满足诸如以太网(注册商标)等的通信标准的多个路由器、交换机和线缆等。在本典型实施例中，网络102仅需要使得能够在监视照相机101和客户端装置103之间进行通信，并且网络102的通信标准、规模和结构等不受限制。例如，网络102可以包括互联网、有线局域网(LAN)、无线LAN或广域网(WAN)等。
图3是示例性地示出用作根据本发明第一典型实施例的信息处理设备的客户端装置103的内部结构的框图。客户端装置103包括客户端CPU 301、主存储装置302、辅助存储装置303、输入I/F 304、输出I/F 305和网络I/F 306。这些组件经由系统总线连接，使得可以彼此进行通信。
客户端CPU 301是用于统一控制客户端装置103的操作的中央处理单元。另外，客户端CPU 301可以被配置为经由网络102统一控制监视照相机101。主存储装置302是用作客户端CPU 301的数据的临时存储位置的诸如RAM等的存储装置。辅助存储装置303是用于存储各种程序和各种设置数据等的诸如硬盘驱动器(HDD)、ROM或固态驱动器(SSD)等的存储装置。输入I/F 304是用于从输入装置104等接收输入的接口。输出I/F 305是用于向显示装置105等输出信息的接口。网络I/F 306是用于经由网络102与诸如监视照相机101等的外部装置进行通信的接口。
通过客户端CPU 301基于辅助存储装置303中所存储的程序执行处理，实现图4中所示的客户端装置103的功能和处理。以下将详细描述。
如图1所示，输入装置104是包括鼠标和键盘等的输入装置。显示装置105是用于显示由客户端装置103输出的图像的诸如监视器等的显示装置。在本典型实施例中，客户端装置103、输入装置104和显示装置105是彼此分离的独立结构，但是这些装置的结构不限于此。例如，客户端装置103和显示装置105可以是一体的，或者输入装置104和显示装置105可以是一体的。可选地，客户端装置103、输入装置104和显示装置105可以是一体的。
图4是示例性地示出根据本发明第一典型实施例的由客户端装置103执行的功能和结构的图。换句话说，图4中所示的组件是可以由客户端CPU 301执行的功能和配置，并且这些组件各自与客户端CPU 301同义。更具体地，客户端装置103的客户端CPU 301包括输入信息获取单元401、通信控制单元402、输入图像获取单元403、照相机信息获取单元404、检测方法设置单元405、被摄体检测单元406、曝光确定单元407和显示控制单元408。另外，客户端装置103可以包括图4中所示的组件，作为不同于客户端CPU 301的其它结构。
输入信息获取单元401是用于接收用户经由输入装置104进行的输入的输入单元。
通信控制单元402执行用于经由网络102接收从监视照相机101发送的图像的控制。另外，通信控制单元402执行用于经由网络102向监视照相机101发送控制命令的控制。
输入图像获取单元403是用于经由通信控制单元402获取由监视照相机101拍摄的图像作为要进行被摄体的检测处理的图像的图像获取单元。下面将描述检测处理的详情。照相机信息获取单元404是用于经由通信控制单元402获取由监视照相机101在对被摄体进行摄像时使用的照相机信息(摄像信息)的获取单元。照相机信息(摄像信息)是在通过对被摄体进行摄像来获取图像时使用的各种类型的信息，并且下面将描述该信息的详情。
检测方法设置单元405是用于针对输入图像获取单元403所获取的图像，设置包括面部区域的检测(面部检测)和人体区域的检测(人体检测)的各种检测方法(方式)中的预定检测方法的检测方法设置单元。在进行面部检测的情况下，下述的被摄体检测单元406优先检测图像中的面部区域，并且在进行人体检测的情况下，被摄体检测单元406优先检测图像中的人体区域。另外，在本典型实施例中，可以在图像(画面)中的多个区域中设置检测对象区域。
本典型实施例中的检测方法设置单元405被配置为设置面部检测和人体检测中的任意方法，但是检测方法不限于这些。例如，检测诸如人物的上半身或面部的诸如眼、鼻或嘴等的一部分区域等的人物的一部分的特征区域的结构可以是可选择的。另外，在本典型实施例中，将人物描述为检测对象被摄体，但是可以检测与除了人物之外的预定被摄体有关的特定区域。例如，可以检测客户端装置103中预设的诸如动物的面部或汽车等的预定被摄体。
被摄体检测单元406是用于基于由检测方法设置单元405设置的检测方法来检测预定被摄体区域的被摄体检测单元。
曝光确定单元407是用于基于从被摄体检测单元406获得的检测结果确定在通过对被摄体进行摄像获取图像时要设置的曝光的曝光确定单元。另外，要由曝光确定单元407确定的曝光包括根据在客户端装置103中预先记录的用于曝光控制的程序行的曝光值，并且还包括用于校正曝光值的曝光校正值。与由曝光确定单元407确定的曝光有关的信息由通信控制单元402发送到监视照相机101，并且在监视照相机101中执行曝光控制。下面将参考图5所示的流程图来描述与检测方法设置单元405、被摄体检测单元406和曝光确定单元407的操作有关的详细处理。显示控制单元408是根据来自客户端CPU 301的指示，将反映了由曝光确定单元407确定的曝光的图像输出到显示装置105的显示控制单元。
(被摄体的检测处理和曝光确定处理)
在下文中，将参考图5中所示的流程图来描述根据本典型实施例的被摄体的检测处理和曝光确定处理。图5是示例性地示出根据本发明第一典型实施例的检测处理和曝光确定处理的流程图。另外，处理的前提是图1所示的摄像系统处于各个装置的电源接通并且监视照相机101和客户端装置103之间的连接(通信)建立的状态。然后，在该状态下，在摄像系统中以预定更新周期重复被摄体的摄像、图像数据的发送和显示装置上的图像显示。然后，当客户端装置103的客户端CPU 301经由网络102从监视照相机101接收到通过对被摄体进行摄像而获得的图像的输入时，开始图5中所示的流程图。
首先，在步骤S501中，从照相机信息获取单元404获取监视照相机101在通过对被摄体进行摄像来获取图像时使用的照相机信息(摄像信息)。例如，作为照相机信息，获取与监视照相机101中的测光模式等有关的信息。在本典型实施例中，将描述可在监视照相机101中设置包括定制测光模式、中央重点测光模式和评价测光模式的三种模式作为测光模式的结构，但是测光模式不限于这些，并且可以设置诸如点测光模式或部分测光模式等的其它测光模式。另外，可以将用户在客户端装置103侧任意设置的测光模式记录为测光模式，并且可以基于所记录的信息来执行步骤S501中的处理。
图6A至6C是各自示例性地示出根据本发明典型实施例的测光模式和测光区域之间的关系的图。本典型实施例中的定制测光模式是如图6A所示用户可以在图像(画面)中的任意位置指定测光区域601的测光模式。在这种情况下，认为在定制测光模式中，用户所期望的摄像(监视)对象很可能被包括在用户所指定的测光区域(特定区域)中。另外，中央重点测光模式是如图6B所示在图像中央附近设置测光区域601的测光模式。在这种情况下，认为用户所期望的摄像(监视)对象很可能存在于图像的近似中央部分。此外，评价测光模式是如图6C所示在整个图像上设置测光区域601的测光模式。在该评价测光模式中，认为用户不将用户所期望的摄像对象被摄体的区域缩小为任意区域，并且用户所期望的摄像(监视)对象存在于整个图像中的任何区域中。
上述测光模式各自中的测光区域601是在确定曝光时设置了比其它区域的权重大的权重的区域。另外，加权的方式可以包括仅将存在于测光区域601内的被摄体设置为测光对象(即，将测光区域601外部的权重设置为0)的结构。
接着，在步骤S502中，检测方法设置单元405根据测光模式针对各个区域设置被摄体的检测方法(方式)。图7A至7C是各自示例性地示出根据本发明第一典型实施例的测光区域和被摄体的检测区域之间的关系的图。例如，当选择定制测光模式时，如图7A所示，根据用户选择的测光区域601设置优先检测面部区域的面部检测区域701，并且根据测光区域的周边部分设置优先检测人体区域的人体检测区域702。这是因为，在使用人物作为被摄体进行摄像(监视)的情况下，可以预期作为用户所期望的主摄像(监视)对象被摄体的面部区域很可能存在于图像中的被设置为测光区域601的区域中。另外，这是因为，在使用人物作为被摄体进行摄像(监视)的情况下，可以预期，与主被摄体相对应的人体区域或其它人物的人体区域很可能存在于图像中的被设置为测光区域601的区域附近(周边区域)。
另外，要应用于图像的检测方法在面部检测区域和人体检测区域之间变化。例如，在面部检测区域和人体检测区域中，在客户端装置103侧预先存储与面部的特征部分和人体的特征部分相对应的各个模式，并且通过基于这些模式的模式匹配来检测面部区域和人体区域。在检测面部区域的情况下，可以以高精度检测面部，并且清楚地区分面部区域和除面部之外的被摄体。然而，如果面部的朝向、面部的尺寸或面部的亮度等没有落在适合于面部检测的条件下，则不能精确地检测出面部区域。与此相反，在进行人体检测的情况下，无论面部的朝向、面部的尺寸或面部的亮度等如何，都可以检测出人物存在的区域。
在根据本典型实施例的摄像系统中，可以应用对于面部存在概率高的区域和人体存在概率高的区域而言设置了各自的最佳检测方法的检测区域，并且可以在其它区域中省略被摄体检测处理。利用该结构，在根据本典型实施例的摄像系统中，通过针对各个区域设置最佳检测方法，可以在提高被摄体的检测精度的同时，减少与检测有关的处理负荷。
与定制测光模式同样地，在中央重点测光模式中，如图7B所示，同样在画面的中央区域中设置面部检测区域，在面部检测区域周围设置人体检测区域，并且将剩余区域设置为不进行检测。另外，在评价测光模式的情况下，如图7C所示，根据测光区域601在整个画面上设置面部检测区域或人体检测区域、或者与适用于面部和人体两者的检测方法相对应的检测区域。
返回参考图5，在步骤S503中，被摄体检测单元406基于由检测方法设置单元405针对图像的各个区域设置的检测方法来检测被摄体。另外，作为被摄体检测方法，可以使用利用作为上述模式匹配方法的统计学习而创建的模式(分类器)，或者可以进行使用局部区域中的亮度梯度的被摄体检测作为除了模式匹配之外的方法。换句话说，不将这些方法限制为检测方法，并且可以采用诸如基于机器学习的检测或基于距离信息的检测等的各种方法中的任何一种。
接着，在步骤S504中，曝光确定单元407基于从被摄体检测单元406获得的检测结果，计算面部区域的平均亮度值Iface和人体区域的平均亮度值Ibody。具体地，基于从被摄体检测单元406获得的检测结果，曝光确定单元407将与检测到的面部和检测到的人体的数量、检测到面部和人体的位置以及面部和人体的尺寸有关的信息应用于以下表达式(1)和(2)。另外，在本典型实施例中，曝光确定单元407使用照相曝光的附加系统(APEX)中的亮度值(BV)作为亮度值的单位来进行计算。
Figure BDA0002247630710000101
Figure BDA0002247630710000102
在这些表达式中，I(x,y)表示图像中的水平方向(x轴方向)和垂直方向(y轴方向)上的二维坐标位置(x,y)处的亮度值。另外，f和g表示检测到的面部的数量和人体的数量，(v,h)表示检测到面部或人体的中心坐标，并且k和l分别表示被摄体在水平方向和垂直方向上的检测尺寸。另外，如果从表达式(1)和(2)的计算中排除在人体检测区域702中检测到的人体部分中与已经在面部检测区域701中检测到的面部相对应的人体部分，则可以以更高的准确度进行被摄体检测。
在步骤S505中，基于在步骤S504中已经计算出的面部区域的平均亮度值Iface和人体区域的平均亮度值Ibody，计算面部人体混合平均亮度值Iblend。例如，使用表达式(3)和(4)计算面部人体混合平均亮度值Iblend。
Figure BDA0002247630710000111
0.0≤α≤1.0 (4)
在这些表达式中，参数α是用于控制由面部区域的平均亮度值Iface和人体区域的平均亮度值Ibody施加在面部人体混合平均亮度值Iblend上的影响的参数，并且可以根据用户的意图而改变。例如，当用户为了计数整个画面中的人数而对被摄体进行摄像时，期望适当地设置存在于整个画面上的被摄体的曝光。因此，在这种情况下，例如，通过设置α＝0.5，可以将存在于整个画面上的被摄体的平均亮度值用作在步骤S506和后续步骤的处理中要比较和评价的测光值。另外，当用户为了识别特定区域中的面部区域或人物区域而对被摄体进行摄像时，期望适当地设置特定面部区域的曝光。因此，通过设置α＝0.9，可以将特定区域中的面部的平均亮度值用作在步骤S506和后续步骤的处理中要比较和评价的测光值。
接着，在步骤S506中，曝光确定单元407如表达式(5)中那样计算预定的面部和人体区域的目标亮度值Itarget与在步骤S505中计算出的面部人体混合平均亮度值Iblend之间的差值ΔDiff。
Figure BDA0002247630710000121
在该表达式中，面部和人体区域的目标亮度值Itarget可以是用户预设的目标值，或者可以是硬件上预设的固定值。
最后，在步骤S507中，基于在步骤S506中计算出的差值ΔDiff、预定阈值Th和与当前曝光有关的曝光值EVcurrent，确定曝光的校正量EVcorrection。例如，如表达式(6)中那样，确定校正量EVcorrection。EVcurrent表示基于根据上述测光区域601获得的被摄体亮度值(BV)的APEX转换中的曝光值(EV)，并且基于客户端装置103中预先存储的与曝光控制有关的程序行来设置。
Figure BDA0002247630710000122
在该表达式中，参数β是用于对从当前曝光值EVcurrent向曝光不足侧或曝光过度侧校正曝光所用的校正度(速度)施加影响的系数。通过设置大值参数β，达到目标值所需的处理速度(或时间)变高(或变短)，但是当在检测结果中产生错误判断或者被摄体的检测变得不稳定时，整个画面的亮度迅速变化。另一方面，通过设置小值参数β，曝光达到目标值所需的处理速度(或时间)变慢(或长)，但是获得了针对错误检测和摄像条件的鲁棒性。当在步骤S506中计算的差值ΔDiff等于或大于设置的阈值Th时，将参数β设置为针对当前曝光值EVcurrent的曝光校正值。
如上所述，在根据本典型实施例的摄像系统中，基于测光模式来估计用户在摄像中关注的区域(感兴趣区域)，并且针对图像中的各个区域设置最佳被摄体的检测区域(检测方法)。因此，在根据本典型实施例的摄像系统中，可以根据用户的意图确定曝光的校正量以获得容易看见被摄体的面部的亮度，并且提高被摄体的检测精度。另外，在用户关注的感兴趣区域周围的区域中，由于无论被摄体的面部的朝向、构成面部的部分的尺寸或面部的亮度等如何都能够检测出被摄体，因此可以精确地检测出在面部检测区域中难以检测到的人物，并且在检测中不太可能错过人物。此外，在除了用户关注的感兴趣区域之外的区域中，通过避免进行被摄体的检测处理，可以抑制错误检测的发生并且减少与被摄体检测有关的处理负荷。
在本典型实施例中，已经给出了检测方法设置单元405基于摄像中的测光模式作为在使用监视照相机101对被摄体进行摄像时使用的预定信息(摄像信息)，来针对图像中的各个预定区域设置被摄体的检测区域(方法)的结构。然而，本发明的典型实施例不限于此。例如，可以采用与涉及焦点调节的自动调焦(AF)处理有关的模式、与白平衡有关的模式、或者基于诸如关于被摄体的距离信息等的摄像信息来设置被摄体的检测方法(区域)的变形示例。可以采用基于与用户经由输入装置104任意设置的区域有关的信息作为摄像信息来针对图像中的各个预定区域设置检测方法(区域)的结构。
作为上述变形示例，将参考图8A至8C具体描述基于关于被摄体的距离信息来设置检测方法(区域)的情况。图8A至8C是示例性地示出根据本发明第一典型实施例的变形示例设置被摄体的检测区域的方法的图。在如图8A所示的被摄体存在于各种距离位置处的摄像场景中，如图8B所示假设获得关于各个被摄体的距离信息。可以根据基于与由监视照相机101获得的图像有关的对比度信息或相位差信息的聚焦评价值来获取关于被摄体的距离信息，或者可以根据用户进行的手动输入对图像中的任意区域基于被摄体距离进行分组。
在这种情况下，如图8C所示，根据基于被摄体距离估计的被摄体(诸如面部或人体等)的尺寸来设置被摄体的检测区域(方法)。例如，在距监视照相机101的被摄体距离小于5m的相对近的范围(第一范围)内，由于认为所获得的面部尺寸对于执行面部检测处理而言足够大，因此将该区域设置为面部检测区域。在距监视照相机101的被摄体距离为5m至小于20m的范围(第二范围)内，该区域中的被摄体的尺寸对于检测面部而言不足(小)，但是认为可以毫无问题地检测出人体，而将该区域设置为人体检测区域。然后，在剩余区域中，认为不能精确地检测出面部和人体，而在该区域中不设置被摄体的检测区域，并且进行控制使得在该区域中不进行被摄体的检测。
利用上述结构，例如，当使用可以预先指定摄像中的视场角或变焦位置的监视照相机等来监视被摄体时，由于可以针对画面中的各个区域应用最佳的被摄体的检测方法，因此可以在精确地检测出被摄体的同时减少错误检测。以这种方式，通过选择在对被摄体进行摄像时要使用的各种类型的信息，作为用于设置检测被摄体所用的检测区域要参考的照相机信息，使得能够进行适合于用户期望的主摄像对象被摄体的最佳的被摄体检测。
在该变形示例中，由于根据被摄体距离来设置被摄体的检测方法(区域)，因此例如该变形示例在诸如如监视照相机101那样的安全照相机等的涉及在安装之后摄像视场角的改变小的结构中特别有效。例如，在安装了监视照相机101的情况下，通过用户选择显示装置105上显示的图像中的预定范围，并且输入距离信息，之后获取距离信息和重置被摄体的检测区域变得不必要。如果监视照相机101被配置为进行变焦、平摇和倾斜操作，则仅需要根据监视照相机101的摄像视场角的改变来进行距离信息的获取和被摄体的检测区域的设置。
此外，例如，当检测对象被摄体是人物时，和图像中的与道路和路径等相对应的区域不同，人物不太可能穿过与建筑物的外部部分、天空和海洋等相对应的区域。因此，在安装根据本变形示例的监视照相机101时，可以预设将不进行预定的被摄体检测的区域。更具体地，可以使得用户能够预先指定不可设置为被检体的检测区域的区域。利用该结构，由于在图像(或摄像视场角)中预定不用于被摄体检测的区域，因此可以减少与被摄体的检测处理有关的处理负荷。
在第二典型实施例中，将给出基于与用户经由输入装置104手动选择(设置)的区域有关的信息来设置检测被摄体时要使用的检测方法(区域)、并且基于使用该检测方法获得的被摄体的检测结果来确定曝光的结构的描述。由于根据本典型实施例的摄像系统中包括的监视照相机101、网络102、客户端装置103、输入装置104和显示装置105的结构与上述第一典型实施例中的结构相同，因此将省略描述。
在下文中，将参考图9所示的流程图来描述根据本典型实施例的被摄体的检测处理和曝光确定处理。图9是示例性地示出根据本发明第二典型实施例的检测处理和曝光确定处理的流程图。由于处理的开始定时与第一典型实施例中的相同，因此将省略描述。
首先，在步骤S901中，获取与用户经由输入装置104手动设置(选择)的区域有关的信息。图10是示例性地示出根据本发明第二典型实施例的可由用户手动操作的用户界面(UI)的图。例如，基于如图10所示的UI，用户可以使用输入装置104和显示装置105来选择(设置)图像中的面部检测区域和人体检测区域。在该示例中，如图10所示的叠加在各个检测区域的顶点上的矩形部分是用于设置被摄体的检测区域的操纵器。通过选择矩形部分并在(显示在显示装置105上的)图像内移动所选择的矩形部分，用户可以将被摄体的检测区域的形状改变为任意尺寸。可以采用任何结构作为矩形部分的选择方法。例如，在使用如图10所示的鼠标型输入装置104的情况下，可以通过使用输入装置104进行的点击操作来选择矩形部分。在输入装置104和显示装置105为一体的结构(例如，触摸面板型显示装置105等)的情况下，可以由用户直接触摸显示在显示装置105上的图像来选择任意矩形部分。
步骤S902中的处理与上述第一典型实施例中的步骤S502中的处理基本相同，因此将省略描述。接着，在步骤S903中，被摄体检测单元406基于在步骤S901中获取的用户选择的面部区域执行面部检测。由于面部检测的方法与上述第一典型实施例中的方法相同，因此将省略描述。
在步骤S904中，客户端CPU 301判断在步骤S903中执行的面部检测中是否在图像中检测到面部区域。当未检测到面部区域时(步骤S904中为“否”)，处理进入步骤S908中的处理，并且当检测到至少一个面部区域时(步骤S904中为“是”)，处理进入步骤S905中的处理。
在步骤S905中，曝光确定单元407基于在监视照相机101中设置的测光模式和在步骤S903的处理中获取的面部检测的结果，计算图像中的面部区域的平均亮度值。在下文中，将使用附图和表达式来描述详细的计算方法。
图11是示例性地示出根据本发明典型实施例的测光区域和面部检测结果之间的关系的图。如上所述，同样在第一典型实施例中，在对被摄体进行摄像时设置的测光模式和测光区域被认为是摄像时用户关注的区域(感兴趣区域)，并且可以估计为主被摄体很可能存在于该区域中。此外，在本典型实施例中，由于通过用户的手动操作将被摄体的检测区域(面部检测区域等)设置为图像中的任意区域，因此用户所期望的主摄像对象被摄体很可能存在于图像中的由用户通过手动操作已设置的区域中。
因此，在本典型实施例中，如图11所示，基于在摄像中设置的测光区域和根据用户手动设置的被摄体的检测区域检测到的被摄体的检测结果来确定曝光。更具体地，如图11所示，作为摄像(监视)对象，距离更接近测光区域(在图11所示的示例中假设设置了定制测光模式)的中心位置的被摄体的检测结果的重要度被估计为更高。例如，在图11所示的示例中，与面部检测结果1相对应的被摄体被估计为作为摄像对象的重要度高，并且此后，与面部检测结果2和面部检测结果3相对应的被摄体被估计为以该顺序具有高重要度。然后，考虑测光区域的位置和被摄体的检测结果之间的相对位置关系，计算与被摄体的检测区域有关的平均亮度值。例如，像以下表达式(7)至(9)中那样计算平均亮度值。
Figure BDA0002247630710000171
Figure BDA0002247630710000172
Figure BDA0002247630710000173
表达式(7)是用于考虑从测光区域的中心到所检测的被摄体的距离来计算面部平均亮度值的表达式，表达式(8)是用于计算所检测的被摄体(面部区域)的平均亮度值的表达式，表达式(9)是用于计算从测光区域的中心到所检测的被摄体的距离的倒数的表达式。(Xp,Yp)表示图像中的测光区域的中心位置(二维坐标)，(Xs,Ys)表示所检测的各个被摄体在图像中的位置(二维坐标)，并且此外，Zs表示所检测的被摄体的平均亮度值。另外，表达式(7)至(9)中的s表示用于识别所检测的被摄体的编号(s是1或大于1的整数)，并且在本典型实施例中，将编号顺序地分配给距测光区域的中心距离较近的被摄体。例如，在图11所示的示例中，面部检测结果1的位置由(X1,Y1)表示，并且面部检测结果1的面部平均亮度值由Z1表示。其它记号具有与表达式(1)中使用的记号相同的含义。
在上述第一典型实施例的表达式(1)中，当检测到多个面部区域时，针对所有面部区域的平均值使用相等权重来计算面部平均亮度值。与此相反，在本典型实施例中，如表达式(7)所示，设置与距测光区域的距离ws相对应的权重度。利用该结构，位于更接近测光区域的被摄体对在步骤S906至S907中确定的曝光施加更大的影响，这将在下面描述。
在步骤S906中，与上述表达式(5)同样地，计算预定面部区域的目标亮度值和在步骤S905中计算的面部平均亮度值之间的差(差值)。然后，在步骤S907中，与上述表达式(6)同样地，基于在步骤S906中计算出的差、预定阈值和当前曝光来确定曝光校正量。由于除了平均亮度值变为面部平均亮度值之外，基于与上述第一典型实施例中的步骤S506至S507中的处理的运算表达式基本相同的运算表达式来执行步骤S906至S907中的处理，因此将省略详细描述。在本典型实施例中，上述处理是当检测到至少一个面部区域时进行的处理。
接着，将描述根据本典型实施例的在没有检测到面部区域时进行的处理。当在步骤S904的处理中没有检测到面部区域时(步骤S904中为“否”)，在步骤S908中，被摄体检测单元406基于在步骤S901中获取的信息执行用户设置的人体检测区域中的人体检测。
接着，在步骤S909中，基于在步骤S908中执行的人体检测的结果，判断是否在图像中检测到人体区域。当检测到至少一个人体区域时(步骤S909中为“是”)，处理进入步骤S910，并且当没有检测到人体区域时(步骤S909中为“否”)，处理进入步骤S913。当处理进入步骤S913中的处理时(即，面部区域和人体区域都没有检测到)(步骤S909中为“否”)，不进行基于被摄体的检测结果的曝光校正。由于除了计算人体区域的平均亮度值并确定曝光之外，基于与上述在步骤S905至S907中的处理中的运算表达式基本相同的运算表达式来执行步骤S910至S912中的处理，因此将省略详细描述。
如上所述，在根据本典型实施例的摄像系统中，除了从照相机信息获取单元404获得的信息之外，还可以基于与经由输入装置104获得的用户手动设置的被摄体的检测区域有关的信息来确定曝光。利用该结构，可以更有效地针对用户所期望的主摄像对象被摄体设置适当的曝光。
在本典型实施例中，已经给出了除了与用户设置的被摄体的检测区域有关的信息之外，还基于图像中测光区域的位置，在计算所检测的被摄体的亮度值时进行加权并确定曝光的结构的描述，但是结构不限于此。例如，不需要考虑测光区域来进行针对被摄体的加权。在这种情况下，可以在不估计用户的意图的情况下基于由用户任意设置的被摄体的检测区域计算检测到的被摄体的亮度值。
在第三典型实施例中，将给出基于从检测单元计算的检测分数来设置在检测被摄体时要使用的检测方法(区域)，并且基于使用该检测方法获得的被摄体的检测结果来确定曝光的结构的描述。检测分数是表示由检测单元获得的检测结果的可靠度的评价值。随着检测分数的值变大，在所设置的检测方法(区域)中存在检测对象的概率变高，并且随着检测分数的值变小，不存在检测对象(即，错误检测)的概率变高。为了方便起见，将使用在最小值为0并且最大值为100的值范围内归一化的值来描述在本典型实施例中要描述的检测分数，但是检测分数不限于此。
图12是示例性地示出根据本发明第三典型实施例的客户端装置1103执行的功能和结构的图。由于根据本典型实施例的摄像系统中包括的监视照相机101、网络102、输入装置104和显示装置105的结构与上述典型实施例中的结构相同，因此将省略描述。另外，根据本典型实施例的客户端装置1103部分地包括与上述根据第一典型实施例的客户端装置(图4中示出)相同的组件。例如，由于客户端装置1103的输入信息获取单元1201、通信控制单元1202、输入图像获取单元1203、照相机信息获取单元1204、检测方法设置单元1205、被摄体检测单元1206、曝光确定单元1207和显示控制单元1208与上述第一典型实施例中的客户端装置103(图4中所示)中包括的组件相同，因此将省略描述。因此，在下文中将仅关于与第一典型实施例中的客户端装置103不同的结构来描述根据本典型实施例的客户端装置1103。
分数图计算单元1209是用于基于被摄体检测位置和由被摄体检测单元1206计算出的检测分数来计算分数图的计算单元。下面将描述分数图的计算方法的详情。分数图存储单元1210是用于存储由分数图计算单元1209计算的分数图的记录单元。
图13A至13C是示例性地示出根据本发明第三典型实施例的分数图的计算方法的图。图13A是示例性地示出整个视场角(图像)中的被摄体检测结果的图，图13B例示单个分数图，并且图13C例示通过在多个帧上累积各自通过单个分数图获得的分数图而获得的累积分数图。在以下描述中，从面部检测的结果获得的分数将被称为面部检测分数，从人体检测的结果获得的分数将被称为人体检测分数，在单个帧中获得的分数图将被称为单个分数图，并且通过累积多个帧上的分数图获得的分数图将被称为累积分数图。由于面部检测和人体检测的方法与上述典型实施例中的方法相同，因此在本典型实施例中将省略描述。
如图13A所示，例如，假设在深度方向上存在多个被摄体(被摄体A至F)的场景。在所述被摄体中，被摄体A是在视场角中存在于最近距离处的被摄体，并且尽管全身没有落在视场角内，但是具有最大的面部区域。另一方面，被摄体F是在视场角中存在于最远距离处的被摄体，并且尽管面部区域最小，但是全身落在视场角内。在该示例中，被摄体A至F的被摄体距离以字母降序变远。图13A中所示的实线矩形表示基于面部检测结果的面部检测区域，并且虚线椭圆表示基于人体检测结果的人体检测区域。
另外，图13A中所示的表(图13A中的右上)列出了各个被摄体的面部检测分数和人体检测分数的结果。例如，由于被摄体A和B的图像以大的面部区域被拍摄，因此面部检测分数的值变大，但是由于它们的全身没有落在视场角内，因此人体检测分数变小。另一方面，由于被摄体C和D具有小尺寸的面部区域，因此面部检测分数变小，但是由于它们的全身落在视场角内，因此人体检测分数的值变大。另外，由于被摄体E和F具有较远的被摄体距离，并且不仅难以检测面部，而且难以检测全身形状，因此面部区域和人体区域都小，并且面部检测分数和人体检测分数两者都变小。
图13B示出基于上述被摄体检测结果和检测分数中的面部区域的检测结果生成的单个分数图。在本典型实施例中，例如，如图13B所示，通过应用与以检测对象被摄体区域(图13B中的面部区域)为中心的分数相对应的高斯滤波器来计算单个分数图。添加到图13B所示的单个分数图的阴影颜色随着区域的面部检测分数变大而变深(像素值变小)，并且随着区域的面部检测分数变小而变浅(像素值变大)。在视场角中，在被摄体区域上显示与各个被摄体相对应的阴影，并且图13C示出通过对与多个帧相对应的上述单个分数图进行累积而获得的累积分数图。例如，时刻t＞2处的单个分数图和累积分数图由M(v,h,t)和N(v,h,t)表示，并且时刻t-1处的累积分数图由N'(v,h,t-1)表示。在这种情况下，通过由表达式(10)和(11)表示的加权加法来计算时刻t处的累积分数图。(v,h,t)表示面部或人体被检测到的中心坐标和时刻。
N(v，h，t)＝(1.0-γ)×N(v，h，t-1)+γ×M(v，h，t) (10)
0.0≤γ≤1.0 (11)
此时，基于在上述第一和第二典型实施例中描述的照相机信息、距离信息和用户的手动操作，计算不能由表达式(10)和(11)定义的时刻t＝1处的累积分数图。例如，在基于距离信息计算时刻t＝1的累积分数图的情况下，在面部检测分数被估计为大的近距离区域中，将灰度图的阴影颜色设置为深，并且在远距离区域中，将阴影颜色设置为浅。
另外，表达式(10)和(11)中的参数γ是用于控制过去帧的累积分数图和当前帧的单个分数图对当前帧的累积分数图施加的影响的系数，并且可以任意改变。例如，在照明强度改变小、且如在室内商业设施中那样的无论时间的推移如何而持续发生人的进/出的环境下，设置γ＝0.5。在这种情况下，在单个分数图随着时间的推移的转变中，由于对过去结果和当前结果两者都添加了相等的加权，因此可以在具有小的时间变化的环境中计算稳定的累积分数图。另一方面，在如室外体育场的入口那样的照明强度和人的进/出随着时间的推移而急剧改变的环境中，设置γ＝0.8。在这种情况下，在单个分数图随着时间的推移的转变中，可以计算对当前摄像环境具有高适应性的分数图。
另外，在表达式(10)和(11)中，使用具有无限冲激响应(IIR)滤波器的滤波器特性的函数来计算累积分数图，但是计算不限于此。例如，可以使用具有有限冲激响应(FIR)滤波器的滤波器特性的函数或非线性函数来导出累积分数图，并且要参考的帧不限于过去帧。由于还与基于面部检测的累积分数图同样地计算基于人体检测的累积分数图，所以将省略详细描述。已经在上面描述了检测分数图。
(被摄体的检测处理和曝光确定处理)
随后，将参考图14描述根据本典型实施例的被摄体的检测处理和曝光确定处理。图14是示例性地示出根据本发明的第三典型实施例的检测处理和曝光确定处理的流程图。
首先，在步骤S1401中，分数图计算单元1209基于上述方法获取与各个检测被摄体相对应的累积分数图，并将累积分数图存储在分数图存储单元1210中。累积分数图是如图13C所示的反映了检测分数随着时间的推移的转变的图。
接着，在步骤S1402中，检测方法设置单元1205基于在步骤S1401中获取的累积分数图来设置被摄体的检测方法(检测对象)。在根据本典型实施例的累积分数图中，检测可靠性基于图的阴影颜色，并且随着阴影色变深(像素值变小)，检测可靠性变高，并且被摄体变得更可能存在于最近帧中。因此，通过对累积分数图的阴影颜色(像素值)和针对各个像素任意设置的阈值TH进行比较，针对具有深阴影颜色(小像素值)的区域设置被摄体的检测方法。
上述阈值TH可以根据随时间的推移而变化的被摄体的检测频率而动态地设置。例如，当检测到的面部区域的数量或检测到的人体区域的数量随着时间的推移而减少时，设置大的阈值TH。更具体地，将分数图上的低浓度区域设置为被摄体的检测对象，并且扩展整个检测区域。根据该结构，由于能够将更宽的范围设置为检测对象，因此能够设置不易受随着时间的推移而变化的被检体的检测频率的变化影响的检测区域。
另一方面，当被摄体的进/出/随着时间的推移而急剧改变，并且整个系统的处理负荷增加时，设置小的阈值TH。更具体地，将分数图上的低浓度区域设置为从被摄体的检测对象中排除，并且限制检测对象区域。利用该结构，可以仅在被摄体的检测频率最高(被摄体存在的概率最高)的区域中进行被摄体检测。
接着，在步骤S1403中，被摄体检测单元1206基于在步骤S1402中设置的检测方法检测任意被摄体。例如，在面部区域被设置为检测方法的检测对象的区域中执行面部区域的检测。由于检测方法与上述典型实施例中的检测方法相同，因此将省略描述。将与在被摄体检测之后计算的被摄体检测位置和检测分数有关的信息发送到分数图计算单元1209。
接着，在步骤S1404中，分数图计算单元1209基于被摄体检测位置和检测分数来计算单个分数图。已经参考图13B描述了单个分数图的计算方法。
接着，在步骤S1405中，分数图计算单元1209基于在步骤S1404中计算的当前帧的单个分数图和从分数图存储单元1210获取的过去帧的累积分数图，更新累积分数图。已经参考图13C描述了累积分数图的更新方法。
已经给出了根据摄像环境改变上述参数γ的示例的描述，但是结构不限于此。例如，在执行面部识别的情况下，除了面部检测分数之外，还可以获得面部识别分数，并且可以根据这些分数来改变参数γ。识别分数是基于通过将由被摄体检测单元1206检测到的面部数据与由用户预先登记的面部数据进行核对而获得的一致程度的评价值。利用该结构，除了根据时间的推移而变化的各种类型的面部检测信息之外，还可以计算权重被添加到用户关注的被摄体信息的累积分数图。
接着，在步骤S1406中，曝光确定单元1207基于在步骤S1403中计算的检测结果来计算面部的平均亮度值和人体的平均亮度值。在本典型实施例中，基于累积分数图，假设面部区域和人体区域被设置为检测对象。由于计算方法是与上述典型实施例中的步骤S505中使用的方法基本相同的方法，所以将省略详细描述。
接着，在步骤S1407中，基于在步骤S1406中计算出的面部区域的平均亮度值和人体区域的平均亮度值、以及在步骤S1405中更新的累积分数图，计算通过混合面部区域和人体区域而获得的平均亮度值。计算方法是与上述典型实施例中的步骤S506中使用的方法基本相同的方法，并且基于累积分数图来控制表达式(4)中的参数α。例如，与人体检测的累积分数图进行比较，并且如果面部检测的累积分数图的精度较高，则将参数α设置为大的值。以这种方示，通过控制参数α，可以通过针对具有高精度检测分数的检测区域增加权重来进行曝光控制。由于步骤S1408至S1409中的后续处理与上述典型实施例中的步骤S506至S507中的处理基本相同，因此将省略详细描述。
如上所述，在根据本典型实施例的摄像系统中，除了从照相机信息获取单元404获得的信息之外，还可以基于从分数图计算单元1209获得的各个被摄体的分数图来确定曝光。利用该结构，根据摄像环境的改变或被摄体出现频率来设置最佳检测方法(检测对象被摄体)，并且能够实现更精确的曝光设置。
以上已经描述了本发明的典型实施例，但是本发明不限于此，并且在不脱离本发明的范围的情况下可以进行各种变形和改变。例如，作为可变的曝光参数，可以设置与上述光圈的开口直径有关的光圈值(AV)、与图像传感器202的累积时间有关的值(TV)以及与摄像中的感光度(ISO感光度)有关的值(SV)，但是曝光参数不限于此。例如，如果设置了用于减少进入图像传感器202的光量的诸如中性浓度(ND)滤光器等的变暗单元，则可以考虑与ND滤光器的浓度有关的曝光控制值来进行曝光控制。
另外，在上述典型实施例中，已经给出了考虑基于预设测光模式计算的EVcurrent的曝光校正量来计算校正曝光EVcorrection的结构的描述，但是结构不限于此。例如，可以基于作为面部人体混合平均亮度值Iblend而获得的亮度值(BV)来简单地进行曝光控制，并且可以确定曝光。具体地，基于与在监视照相机101或客户端装置103中预设的曝光控制有关的程序行以及面部人体混合平均亮度值Iblend，可以确定各个曝光参数。
另外，在上述典型实施例中，已经给出了在客户端装置103获取从监视照相机101输入的图像时自动开始上述的被摄体的检测处理和曝光确定处理的结构的描述，但是结构不限于此。例如，可以根据用户进行的手动操作输入来执行被摄体的检测处理和曝光确定处理。此外，可以以比曝光控制中的曝光的更新周期长的周期来执行被摄体的检测处理，或者可以根据用户进行的手动操作、摄像(记录)开始、或者由变焦操作、平摇或倾斜等引起的视场角的改变来执行被摄体的检测处理。此外，在如上述第一典型实施例中那样根据测光区域或测光区域的周边区域来设置面部检测区域或人体检测区域的情况下，可以根据测光模式的切换或测光区域的改变来执行被摄体的检测处理。
在上述典型实施例中，假设客户端装置103是诸如个人计算机(PC)等的信息处理设备，并且假设摄像系统中的监视照相机101和客户端装置103以有线或无线方式连接，但是结构不限于此。例如，诸如监视照相机101等的摄像设备可以用作等同于客户端装置103的信息处理设备，并且摄像设备可以包括输入装置104和显示装置105。由客户端装置103执行的上述操作的一部分可以由诸如监视照相机101等的摄像设备执行。
在上述典型实施例中，作为实现本发明典型实施例的摄像设备的示例，已经给出了摄像光学系统201与监视照相机101一体地形成的所谓的镜头一体式摄像设备的描述，但是摄像设备不限于此。例如，单独地设置监视照相机101和包括摄像光学系统201的镜头单元的所谓的可更换镜头式摄像设备可以用作实现本发明典型实施例的摄像设备。
在上述典型实施例中，已经给出了假设监视照相机作为实现本发明典型实施例的摄像设备的示例的描述，但是摄像设备不限于此。例如，可以采用除了监视照相机之外的诸如数字照相机、数字摄像机、诸如智能电话等的便携式装置或可佩戴装置等的摄像设备。在上述典型实施例中，假设诸如PC等的电子装置作为用作实现本发明典型实施例的信息处理设备的客户端装置103的示例，但是客户端装置103不限于此。例如，作为客户端装置103，可以采用诸如智能电话或平板终端等的其它电子装置。
在上述典型实施例中，客户端装置103的客户端CPU 301被配置为执行如图4所示的各个功能，但是各个功能可以作为与客户端CPU 301不同的其它单元而被包括。
(其它典型实施例)
本发明的典型实施例还可以通过经由网络或存储介质向系统或设备提供用于实现上述典型实施例的一个或多个功能的程序、并且系统或设备的计算机中的一个或多个处理器读取该程序并执行该程序的处理来实现。典型实施例还可以由实现一个或多个功能的电路(例如，ASIC)来实现。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (15)

1.一种信息处理设备，包括：
至少一个处理器或电路，其被配置为进行以下单元的操作；
图像获取单元，其被配置为获取通过使用摄像单元对被摄体进行摄像而获得的图像；
检测方法设置单元，其被配置为针对所述图像设置被摄体的检测方法；
被摄体检测单元，其被配置为基于由所述检测方法设置单元所确定的检测方法来检测被摄体；以及
曝光确定单元，其被配置为基于从所述被摄体检测单元获得的检测结果来确定曝光，
其中，所述检测方法设置单元可以基于在用于获得所述图像的摄像中使用的预定信息，针对所述图像中的各个不同区域将所述检测方法设置为不同。
2.根据权利要求1所述的信息处理设备，其中，所述检测方法设置单元基于在被摄体的摄像中要使用的测光区域作为所述预定信息来设置被摄体的检测方法。
3.根据权利要求1所述的信息处理设备，其中，所述检测方法设置单元基于与到被摄体的距离有关的信息作为所述预定信息来设置被摄体的检测方法。
4.根据权利要求1所述的信息处理设备，其中，所述检测方法设置单元基于从所述被摄体检测单元计算出的可靠度作为所述预定信息来设置被摄体的检测方法。
5.根据权利要求4所述的信息处理设备，其中，所述可靠度根据时间的推移而被更新。
6.根据权利要求1所述的信息处理设备，其中，所述检测方法设置单元基于用户预设的被摄体信息作为所述预定信息来设置被摄体的检测方法。
7.根据权利要求1所述的信息处理设备，
其中，至少能够将优先检测所述图像中的面部区域的面部检测和优先检测所述图像中的人体区域的人体检测设置为被摄体的检测方法，以及
其中，所述检测方法设置单元基于通过用户的手动操作已设置的、所述图像中的要进行面部检测的区域以及所述图像中的要进行所述人体检测的区域作为所述预定信息来设置被摄体的检测方法。
8.根据权利要求2所述的信息处理设备，
其中，至少能够将优先检测所述图像中的面部区域的面部检测和优先检测所述图像中的人体区域的人体检测设置为被摄体的检测方法，以及
其中，所述检测方法设置单元根据在被摄体的摄像中要使用的测光区域来设置要进行所述面部检测的区域，并且根据所述测光区域的周边区域来确定要进行所述人体检测的区域。
9.根据权利要求3所述的信息处理设备，其中，所述检测方法设置单元根据所述图像中的与被摄体的距离落在第一范围内的区域来设置所述图像中的要进行优先检测面部区域的面部检测的区域，并且根据所述图像中的与被摄体的距离落在比所述第一范围远的第二范围内的区域来设置所述图像中的要进行优先检测人体区域的人体检测的区域。
10.根据权利要求4所述的信息处理设备，其中，所述检测方法设置单元根据所述图像中的与优先检测面部区域的面部检测有关的可靠度落在预定范围内的区域来设置所述图像中的要进行所述面部检测的区域，并且根据所述图像中的与优先检测人体区域的人体检测有关的可靠度落在预定范围内的区域来设置所述图像中的要进行所述人体检测的区域。
11.根据权利要求7所述的信息处理设备，其中，所述曝光确定单元确定曝光，使得通过所述检测方法设置单元已设置的、要进行所述面部检测的区域和要进行所述人体检测的区域的权重大于所述图像中的其它区域的权重。
12.根据权利要求11所述的信息处理设备，其中，所述曝光确定单元基于作为与通过所述面部检测和所述人体检测所检测到的面部和人体有关的信息的与尺寸、数量和在所述图像中的位置有关的信息其中至少之一，来确定曝光。
13.一种信息处理设备的控制方法，所述控制方法包括：
获取通过使用摄像单元对被摄体进行摄像而获得的图像；
针对所述图像设置被摄体的检测方法并且检测被摄体；以及
基于在所述检测中获得的检测结果确定曝光，
其中，在所述检测中，基于在用于获得所述图像的摄像中使用的预定信息，针对所述图像中的各个不同区域将所述检测方法设置为不同。
14.一种非暂时性计算机可读存储介质，其存储有用于使处理器执行信息处理设备的控制方法的程序，所述控制方法包括：
获取通过使用摄像单元对被摄体进行摄像而获得的图像；
针对所述图像设置被摄体的检测方法并且检测被摄体；以及
基于在所述检测中获得的检测结果确定曝光，
其中，在所述检测中，基于在用于获得所述图像的摄像中使用的预定信息，针对所述图像中的各个不同区域将所述检测方法设置为不同。
15.一种摄像系统，包括具有摄像单元的摄像设备和能够与所述摄像设备连接的信息处理设备，
其中，所述信息处理设备包括：
至少一个处理器或电路，其被配置为进行以下单元的操作；
图像获取单元，其被配置为获取通过使用摄像单元对被摄体进行摄像而获得的图像；
检测方法设置单元，其被配置为针对所述图像设置被摄体的检测方法；
被摄体检测单元，其被配置为基于由所述检测方法设置单元所确定的检测方法来检测被摄体；以及
曝光确定单元，其被配置为基于从所述被摄体检测单元获得的检测结果来确定曝光，
其中，所述检测方法设置单元可以基于在用于获得所述图像的摄像中使用的预定信息，针对所述图像中的各个不同区域将所述检测方法设置为不同。
CN201911022378.0A 2018-10-25 2019-10-25 信息处理设备及其控制方法、存储介质以及摄像系统 Active CN111107276B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-201267 2018-10-25
JP2018201267 2018-10-25
JP2019-151406 2019-08-21
JP2019151406A JP7353864B2 (ja) 2018-10-25 2019-08-21 情報処理装置、情報処理装置の制御方法およびプログラム、撮像システム

Publications (2)

Publication Number Publication Date
CN111107276A true CN111107276A (zh) 2020-05-05
CN111107276B CN111107276B (zh) 2022-04-19

Family

ID=68290179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911022378.0A Active CN111107276B (zh) 2018-10-25 2019-10-25 信息处理设备及其控制方法、存储介质以及摄像系统

Country Status (3)

Country Link
US (1) US11089228B2 (zh)
EP (1) EP3654236A3 (zh)
CN (1) CN111107276B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901522A (zh) * 2020-07-10 2020-11-06 杭州海康威视数字技术股份有限公司 图像处理方法、系统、装置及电子设备
JP2022043633A (ja) 2020-09-04 2022-03-16 キヤノン株式会社 情報処理装置、方法、プログラム及び記憶媒体
JP2022045757A (ja) * 2020-09-09 2022-03-22 キヤノン株式会社 撮像制御装置およびその制御方法
JP2022045567A (ja) * 2020-09-09 2022-03-22 キヤノン株式会社 撮像制御装置、撮像制御方法、及びプログラム
JP7512173B2 (ja) * 2020-11-09 2024-07-08 キヤノン株式会社 情報処理装置、撮像装置、プログラム、記憶媒体及び方法
JP7509245B2 (ja) * 2021-01-21 2024-07-02 日本電気株式会社 パラメータ最適化システム、パラメータ最適化方法、及びコンピュータプログラム
JP2022130038A (ja) * 2021-02-25 2022-09-06 キヤノン株式会社 撮像装置、制御方法、プログラム
CN113891009B (zh) * 2021-06-25 2022-09-30 荣耀终端有限公司 曝光调整方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8125512B2 (en) * 2007-11-16 2012-02-28 Samsung Electronics Co., Ltd. System and method for moving object selection in a handheld image capture device
US20160173759A1 (en) * 2014-12-11 2016-06-16 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium
CN107241558A (zh) * 2017-06-16 2017-10-10 广东欧珀移动通信有限公司 曝光处理方法、装置和终端设备
WO2018150768A1 (ja) * 2017-02-20 2018-08-23 ソニー株式会社 測光装置、測光方法、プログラムおよび撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4461747B2 (ja) 2003-09-10 2010-05-12 オムロン株式会社 対象決定装置
JP5159515B2 (ja) * 2008-08-26 2013-03-06 キヤノン株式会社 画像処理装置およびその制御方法
JP2012103979A (ja) * 2010-11-11 2012-05-31 Sanyo Electric Co Ltd 画像処理装置
JP5814557B2 (ja) * 2011-02-07 2015-11-17 キヤノン株式会社 画像表示制御装置、撮像装置、表示制御方法、及び制御プログラム
JP5873378B2 (ja) * 2012-04-10 2016-03-01 キヤノン株式会社 撮像装置およびその制御方法
US9277111B2 (en) * 2012-05-18 2016-03-01 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
JP6157288B2 (ja) * 2012-12-19 2017-07-05 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置
JP2014126710A (ja) * 2012-12-26 2014-07-07 Canon Inc 自動焦点検出装置およびその制御方法、撮像装置
JP6735583B2 (ja) * 2016-03-17 2020-08-05 キヤノン株式会社 ズーム制御装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体
CN110839129A (zh) * 2018-08-17 2020-02-25 Oppo广东移动通信有限公司 图像处理方法、装置以及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8125512B2 (en) * 2007-11-16 2012-02-28 Samsung Electronics Co., Ltd. System and method for moving object selection in a handheld image capture device
US20160173759A1 (en) * 2014-12-11 2016-06-16 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium
WO2018150768A1 (ja) * 2017-02-20 2018-08-23 ソニー株式会社 測光装置、測光方法、プログラムおよび撮像装置
CN107241558A (zh) * 2017-06-16 2017-10-10 广东欧珀移动通信有限公司 曝光处理方法、装置和终端设备

Also Published As

Publication number Publication date
EP3654236A3 (en) 2020-08-26
US11089228B2 (en) 2021-08-10
US20200137281A1 (en) 2020-04-30
CN111107276B (zh) 2022-04-19
EP3654236A2 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
CN111107276B (zh) 信息处理设备及其控制方法、存储介质以及摄像系统
KR101155406B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
JP4431532B2 (ja) 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム
JP5159515B2 (ja) 画像処理装置およびその制御方法
JP7197981B2 (ja) カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム
KR20100109502A (ko) 화상 선택 장치 및 화상 선택 방법
US7957633B2 (en) Focus adjusting apparatus and focus adjusting method
US11575841B2 (en) Information processing apparatus, imaging apparatus, method, and storage medium
JP2022045567A (ja) 撮像制御装置、撮像制御方法、及びプログラム
JP7150462B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5000699B2 (ja) 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム
US11727716B2 (en) Information processing apparatus, imaging apparatus, which determines exposure amount with respect to face detection and human body detection
JP7353864B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム、撮像システム
JP7414551B2 (ja) 制御装置および制御方法
JP2021022783A (ja) 制御装置、追尾システム、制御方法、及びプログラム
JP2019033470A (ja) 画像処理システム、撮像装置、画像処理装置、制御方法およびプログラム
JP2019193196A (ja) 撮像装置およびその制御方法
JP7512173B2 (ja) 情報処理装置、撮像装置、プログラム、記憶媒体及び方法
JP2022043633A (ja) 情報処理装置、方法、プログラム及び記憶媒体
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法
JP2022045532A (ja) 撮像制御装置、撮像制御方法、及びプログラム
JP2024012828A (ja) 撮像装置およびその制御方法
JP5675326B2 (ja) 画像処理装置、主被写体の選択方法及びプログラム
JP2024015578A (ja) 制御装置、撮像装置、制御方法、及びプログラム
JP6003383B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant