CN112272945A - 摄像控制装置、摄像控制方法以及程序 - Google Patents

摄像控制装置、摄像控制方法以及程序 Download PDF

Info

Publication number
CN112272945A
CN112272945A CN201980038771.0A CN201980038771A CN112272945A CN 112272945 A CN112272945 A CN 112272945A CN 201980038771 A CN201980038771 A CN 201980038771A CN 112272945 A CN112272945 A CN 112272945A
Authority
CN
China
Prior art keywords
camera
quality evaluation
image quality
parameter
parameter group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980038771.0A
Other languages
English (en)
Inventor
前野一树
小仓康伸
加贺屋智之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN112272945A publication Critical patent/CN112272945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本公开提供一种决定与摄像机的设置状况对应的参数的摄像控制装置、摄像控制方法、以及程序。摄像控制装置(1)是决定与摄像机(2)的摄影动作相关的参数组的摄像控制装置，具备输入摄像机生成的摄像数据的输入部(10)和基于摄像数据从参数组的多个候补中选择对摄像机进行设定的参数组的控制部(20)，控制部(20)经由输入部获取被设定为各候补的参数组的摄像机生成的摄像数据，按每个候补从摄像数据提取分别包含提取对象的多个提取对象图像，按每个候补基于多个提取对象图像计算画质评价值，基于画质评价值从参数组的多个候补中选择任一参数组。

Description

摄像控制装置、摄像控制方法以及程序
技术领域
本公开涉及决定与摄像机的摄影动作相关的参数的摄像控制装置、摄像控制方法以及程序。
背景技术
专利文献1公开了以对比度方式进行对焦的摄像装置。该摄像装置在对同一人物的被摄体图像区域和部分图像区域以组合来进行检索的情况下和针对在检测到被摄体图像区域和部分图像区域的组合后所检测到的区域再次判定是否包含检索对象的图像的情况下，使用适合于各自的检索的不同的检索条件。通过对被摄体图像区域和部分图像区域以组合来进行检索，从而抑制人物的漏检，并且通过重新判定来排除在以组合来进行检索时错误地检测到的区域，并使人物、面部的检测率提高。检测率的提高与焦点搜索区域的稳定化相连。由此，使以对比度方式进行对焦的情况下的聚焦控制的稳定性提高。
专利文献2公开了对监视对象进行摄像的摄像装置。该摄像装置具有通过对包含光圈值和至少快门速度以及增益值中的任一个的动作参数的值进行变更，从而使摄像元件的输出信号的亮度等级接近目标值的自动曝光控制单元。自动曝光控制单元在将光圈值设为靠小光圈端的给定值的状态下监视对象的亮度变暗的情况下，与通常监视模式相比被设定为异常监视模式时的情况下，更优先变更光圈值。由此，以高画质来摄影异常状态，并且使耐久性提高。
在先技术文献
专利文献
专利文献1：日本专利第5829679号公报
专利文献2：日本专利第4921204号公报
发明内容
发明要解决的课题
本公开提供一种决定与摄像机的设置状况对应的参数的摄像控制装置、摄像控制方法以及程序。
用于解决课题的技术方案
本公开的摄像控制装置是决定与摄像机的摄影动作相关的参数组的摄像控制装置，具备：输入部，输入摄像机生成的摄像数据；以及控制部，基于摄像数据，从参数组的多个候补中选择对摄像机进行设定的参数组，控制部，经由输入部获取被设定为各候补的参数组的摄像机生成的摄像数据，按每个候补从摄像数据提取分别包含提取对象的多个提取对象图像，按每个候补基于多个提取对象图像计算画质评价值，基于画质评价值，从参数组的多个候补中选择任一参数组。
这些概括性且特定的方式也可以通过系统、方法、以及计算机程序和它们的组合来实现。
发明效果
根据本公开的摄像控制装置、摄像控制方法以及程序，基于画质评价值决定对摄像机进行设定的参数组，其中，该画质评价值基于摄像机的摄像数据而计算出。因而，能够决定与摄像机的设置状况对应的参数。
附图说明
图1是示出第1以及第2实施方式的摄像控制装置的结构的框图。
图2是示出决定第1实施方式中的参数的流程图。
图3是示出计算画质评价值的流程图。
图4是用于说明特征矢量的图。
图5是示出决定第2实施方式中的参数的流程图。
图6是示出基于遗传算法的参数矢量的生成的流程图。
图7是示出下个世代的参数矢量的生成的流程图。
图8是用于说明交叉的流程图。
图9是用于说明突然变异的流程图。
图10是用于说明复制的流程图。
具体实施方式
(成为本公开的基础的见解)
在新设置监视摄像机等摄像机时或因布局变更而变更设置位置时，需要将与摄像机的摄影动作相关的参数组设定为与摄像机的设置状况对应的适当的值。例如，作为摄像机的设置状况，有摄像机的设置位置以及周边环境的照明条件等。
与摄像机的摄影动作相关的参数组包含用于设定曝光时间、焦点、压缩品质等的多个种类的参数。但是，人们难以考虑摄像机的设置位置以及周边环境的照明条件等而决定多个种类的参数的最佳值。例如，若为了减少图像的噪声而延长曝光时间，则变得容易产生由抖动引起的模糊。此外，若为了减少图像的噪声而使光圈开口得大，则景深会变浅，而变得容易产生由距离引起的模糊。此外，摄像机的亮度与模糊容易度之间也存在折衷的关系。因而，人们难以决定应当将哪个参数设为哪个值。
进而，有时在如机场以及购物中心那样的设施或街上设置几百台监视摄像机。对于这样的多个监视摄像机，若根据摄像机的设置位置以及周边环境的照明条件等手动决定每一台摄像机的参数组，则花费时间。此外，在伴随着布局变更而对设置了一次的摄像机的位置进行了变更时，若摄像机的台数多，则不容易手动重新设定参数组。
本公开提供一种(I)将与摄像机的摄影动作相关的多个种类的参数决定为与摄像机的设置位置以及周边环境的照明条件等对应的适当的值的摄像控制装置。
有时使用多个监视摄像机，搜索特定的人物。近年来，在这样的监视摄像机等中，进行利用了深度学习等机械学习的自动面部识别。根据基于人们的主观的评价来决定对该自动面部识别最佳的参数值是困难的。例如，若残留有高频区域的特征，则人们判断为画质优良。但是，在自动面部识别中，固定以上的频率区域对噪声敏感，因此不能利用。进而，参数的好坏也依赖于所利用的自动面部识别的算法。但是，人们例如难以判断模糊但亮的图像和清晰但暗的图像中的哪一个适合自动面部识别。
专利文献1在摄像图像中基于想要对焦的区域的对比度进行聚焦控制。但是，若通过加快快门速度来提高对比度，则亮度等级下降。另一方面，若减慢快门速度而提高亮度等级，则产生由抖动模糊引起的对比度的下降。因而，在仅将对比度作为指标的情况下，不考虑亮度等级，有可能对面部识别造成不良影响。因此，并不限于对比度是适合于面部识别的指标。
专利文献2通过使亮度等级接近目标值的方法来实现摄像图像的亮度调整。但是，亮度等级对面部识别来说未必是适当的指标。此外，未明确地规定如何设定目标值。即，未设定适合于面部识别的目标值。
因而，以往难以将与摄像机的摄影动作相关的多个种类的参数决定为适合于面部识别的值。
本公开提供一种(II)决定适合于面部识别的参数组的摄像控制装置。
在下述实施方式中，对决定如下的参数的摄像控制装置进行说明，即，(I)与摄像机的设置位置以及周边环境的照明条件等对应的适当的值且(II)适合于面部识别的值。具体地，本公开的摄像控制装置根据监视摄像机等摄像机拍摄到的运动图像计算基于面部图像的特征量的画质评价值，并基于画质评价值决定对摄像机进行设定的参数组。由此，能够对摄像机设定与摄像机的设置位置以及周边环境的照明条件等对应且适合于面部识别的参数组。因而，面部识别的性能提高。
(第1实施方式)
以下，参照附图，对第1实施方式进行说明。在本实施方式中，对适合于使用深度学习进行面部识别的摄像机的参数组的设定进行说明。
1.结构
图1示出本公开的摄像控制装置的电气结构。例如，摄像控制装置1是服务器，摄像机2是监视摄像机，摄像机控制装置3是个人计算机。摄像控制装置1例如是云服务器，并通过经由因特网，与一个以上的摄像机控制装置3连接。在图1的例子中，对于一个摄像机控制装置3连接有一台摄像机2。摄像控制装置1例如在机场等新设置多个摄像机2时，决定多个摄像机2的每一个参数组。
摄像控制装置1具备通信部10、控制部20、存储部30、以及总线40。
通信部10包含依照给定的通信标准进行与外部设备的通信的电路。给定的通信标准例如包含LAN、Wi-Fi(注册商标)、Bluetooth(注册商标)、USB、HDMI(注册商标)。
控制部20对摄像控制装置1的动作进行控制。控制部20能够由半导体元件等实现。控制部20例如能够包含微型计算机、CPU、MPU、DSP、FPGA、ASIC。控制部20的功能可以仅由硬件构成，也可以通过使硬件和软件组合而实现。控制部20读取存放在存储部30的数据、程序并进行各种运算处理，实现给定的功能。由控制部20执行的程序可以由通信部10等提供，也可以存放在具有可移动性的记录介质中。
控制部20基于摄像机2生成的摄像数据，决定与摄像机2的摄影动作相关的参数组。摄像机2的参数组包含影响画质的多个种类的参数。例如，参数组包含光圈值、增益、白平衡、快门速度、以及焦距中的一个以上。
存储部30例如能够通过硬盘(HDD)、SSD、RAM、DRAM、强电介质存储器、闪速存储器、磁盘或它们的组合来实现。
总线40是将通信部10、控制部20、以及存储部30电连接的信号线。
摄像控制装置1也可以还包含输入用户所进行的各种操作的用户接口。例如，摄像控制装置1还可以包含键盘、按钮、开关、以及它们的组合。
摄像机2包含CCD图像传感器、CMOS图像传感器或NMOS图像传感器等摄像元件。
摄像机控制装置3基于摄像控制装置1决定的参数组设定摄像机2。
2.动作
2.1参数矢量的决定
图2是示出摄像控制装置1的控制部20所进行的决定参数矢量的动作的流程图。
控制部20生成T个参数矢量pi(i＝1、2、…、T)、即，参数矢量p1、p2、p3、…、pT(S1)。参数矢量pi是包含多个参数的参数组。例如，各参数矢量pi包含作为M个要素的参数pi，1、pi，2、pi，3…pi，M。各参数pi，1、pi，2、pi，3…pi，M与光圈值、增益、白平衡、快门速度、以及焦距等对应。T个参数矢量pi构成T图案的参数矢量pi。即，参数矢量pi包含的要素中的一个以上具有与其他参数矢量pi包含的同一种类的要素不同的值。例如，光圈值、增益、白平衡、快门速度、以及焦距中的至少任一个不同。T个参数矢量pi的生成方法是任意的。例如，也可以通过能够设定的值的全部的组合来生成T个参数矢量pi。在步骤S1中生成的T个参数矢量pi最终成为对摄像机2进行设定的参数组的候补。
控制部20对参数矢量pi计算画质评价值ai(S2)。本实施方式中的画质评价值ai与图像识别有关，具体地，对应于对面部识别的适合度。
控制部20对计算出的画质评价值ai在已经计算的画质评价值中是否最大进行判断(S3)。如果画质评价值ai是最大的，则将该参数矢量pi决定为最佳的参数矢量popt(S4)。如果画质评价值ai不是最大的，则跳过步骤S4。
控制部20对是否对T个参数矢量pi的全部完成了基于画质评价值ai的评价进行判断(S5)。如果存在未进行评价的参数矢量pi，则返回步骤S2。
如果对T个参数矢量pi的评价完成，则将参数矢量popt作为最佳的摄像机参数而输出到摄像机控制装置3(S6)。
2.2画质评价值的计算
图3示出计算画质评价值(S2)的详情。控制部20将参数矢量pi输出到摄像机控制装置3，由此设定摄像机2的各种参数(S201)。
控制部20获取被设定为参数矢量pi所示的值的摄像机2拍摄而生成的摄像数据(S202)。摄像数据例如是包含一枚以上的图像的运动图像。控制部20从摄像数据提取N个面部图像(S203)。面部图像的提取方法是任意的。
控制部20使用N个面部图像，计算画质评价值ai(S204)。例如，基于N个面部图像的特征量计算画质评价值ai。控制部20将参数矢量pi与画质评价值ai建立对应并记录在存储部30。
参照图4，对画质评价值ai的计算(S204)的具体例进行说明。图4示出作为面部图像的特征量的一个例子的特征矢量vi，j的计算例。在本实施方式中，使用学习了面部图像的神经网络生成特征矢量vi，j(j＝1、2、…、N)。神经网络例如将示出许多面部图像的学习数据与示出该面部图像是谁的标签建立对应并事先进行了学习。已结束学习的神经网络存放在存储部30。神经网络具有用于深度学习的多层构造。例如，神经网络包含输入层L1、中间层L2、L3、L4、以及输出层L5。中间层的数目并不限于三层。中间层包含一个以上的层。神经网络例如将输入到输入层L1的示出面部图像是谁的矢量从输出层L5输出。
控制部20将在步骤S203中提取的从第一个到第N个面部图像依次输入到神经网络的输入层L1。在本实施方式中，例如，对第j(j＝1、2、·…、N)个面部图像，从最靠近输出层L5的中间层L4的节点值vi，j，1、vi，j，2、vi，j，3、…、vi，j，D生成特征矢量vi，j＝(vi，j，1、vi，j，2、vi，j，3、…、vi，j，D)。
控制部20根据N个面部图像的各自的特征矢量vi，j(j＝1、2、…、N)，计算对各面部图像的画质评价值ai，j。具体地，控制部20根据式(1)计算特征矢量vi，j的L2范数的值li，j作为N个各自的画质评价值ai，j。L2范数和图像的品质存在相关性(例如，参照作者RajeevRanjan、Carlos D.Castillo、Rama Chellappa的“L2-constrained Softmax Loss forDiseriminative Face Verification”)。因而，在本实施方式中，将L2范数的值li，j作为各面部图像的画质评价值ai，j而利用。
[数式1]
Figure BDA0002828909650000071
如式(2)所示，控制部20计算N个面部图像的画质评价值ai，j的平均值作为参数矢量pi的画质评价值ai。
[数式2]
Figure BDA0002828909650000072
3.效果以及补充
摄像控制装置1决定与摄像机2的摄影动作相关的参数组。摄像控制装置1具备：通信部10，输入摄像机2生成的摄像数据；以及控制部20，基于摄像数据从参数组的多个候补中选择对摄像机进行设定的参数组。控制部20经由输入部获取被设定为各候补的参数组的摄像机生成的摄像数据，按每个候补从摄像数据提取多个面部图像，按每个候补基于多个面部图像计算画质评价值，基于画质评价值从参数组的多个候补中选择任一参数组。
如上那样，基于摄像机2的摄像数据决定参数组，由此能够选择与摄像机2的设置位置以及周边环境的照明条件对应的参数值。因而，例如，像在如机场以及购物中心那样的设施等中设置几百台的监视摄像机那样的情况下，变得不需要人根据摄像机2的设置位置以及周边环境的照明条件来决定各摄像机的参数值，因此能够减轻由参数调整造成的作业成本。
进而，根据本实施方式，基于示出根据摄像机2的摄像数据计算的对面部识别的适合度的画质评价值，决定对摄像机2设定的参数组。因而，面部识别的性能提高。
控制部20选择在每个候补的画质评价值中成为最大的画质评价值的参数组。由此，根据摄像机2的设置位置以及周边环境的照明条件，能够选择最佳的参数组。此外，能够选择对面部识别最佳的参数组。例如，在错误地检测到面部的情况下，画质评价值变低。因而，能够防止选择如错误地检测面部那样的参数组。
控制部20通过计算多个面部图像的特征量的L2范数，从而计算画质评价值。面部图像的特征量的L2范数和图像的品质存在相关性。因而，基于根据面部图像的特征量的L2范数计算出的画质评价值而选择参数组，由此能够选择与摄像机2的设置位置以及周边环境的照明条件对应且适合于面部识别的参数组。
(第2实施方式)
在第1实施方式中，T个参数矢量的生成(S1)的方法是任意的。在本实施方式中，使用遗传算法(GA)生成T个参数矢量。
图5是示出第2实施方式中的由摄像控制装置1的控制部20进行的决定参数矢量的动作的流程图。控制部20根据遗传算法生成T个参数矢量pi(i＝1、2、3、…、T)(S11)。在图5中，除了根据遗传算法生成参数矢量pi以外，与第1实施方式的图2相同。即，图5的步骤S12～S16与图2的步骤S2～S6相同。
图6示出使用了遗传算法的T个参数矢量pi(i＝1、2、3、…、T)的生成(S11)的详情。控制部20生成作为当前世代的第一世代的初始世代的T个参数矢量p1_i(i＝1、2、3、…、T)、即，参数矢量p1_1、p1_2、p1_3、…、p1_T(S111)。
控制部20对当前世代的T个参数矢量pg_i计算画质评价值ag_i(S112)。在紧随步骤S111之后，对初始世代的T个参数矢量p1_i(g＝1)计算画质评价值a1_i(S112)。步骤S112中的画质评价值的计算通过与图2的步骤S2相同的方法进行。即，步骤S112对应于第1实施方式的图3所示的步骤S201～S204。
控制部20针对当前世代的T个参数矢量pg_i判断画质评价值ag_i的计算是否完成(S113)。如果针对当前世代的T个参数矢量pg_i的画质评价值ag_i的计算尚未完成，则返回步骤S112。
如果针对当前世代的T个参数矢量pg_i的画质评价值ag_i的计算完成，则控制部20基于当前世代的T个画质评价值ag_i生成下个世代的T个参数矢量pg+1_i(i＝1、2、…、T)(S114)。控制部20对下个世代的T个参数矢量pg+1_i的生成是否已完成进行判断(S115)。重复步骤S114直到下个世代的参数矢量pg+1_i达到T个为止。
如果下个世代的T个参数矢量pg+1_i的生成完成，则将下个世代的T个参数矢量pg+1_i的各要素的值转移到当前世代的T个参数矢量pg_i(S116)。
控制部20对是否当前世代达到最终世代进行判断(S117)。重复步骤S112～S117直到达到最终世代为止。
若当前世代达到最终世代，则控制部20将通过步骤S116得到的最终世代的T个参数矢量pg_i存放在存储部30(S118)。由此，最终会得到在当前世代中画质评价值最高的T个参数矢量作为遗传算法的解。
图7示出下个世代的T个参数矢量pg+1_i的生成(S114)的详情。控制部20以某个概率从交叉、突然变异、以及复制中决定参数矢量pg+1_i的生成方法(S1141)。
判断所决定的生成方法为交叉、突然变异、以及复制中的哪一个(S1142)，控制部20根据判断结果的交叉(S1143)、突然变异(S1144)、以及复制(S1145)中的某一个，生成一个参数矢量pg+1_i。
图8是示出交叉(S1143)的详情的流程图。控制部20基于在步骤S112中计算出的T个画质评价值ag_i，选择两个参数矢量pg_i(S431)。
参数矢量pg_i的选择例如通过轮盘赌选择来进行。具体地，基于画质评价值ag_i，根据式(3)对选择参数矢量pg_i的概率ri进行计算。基于概率ri选择参数矢量pg_i。
[数式3]
Figure BDA0002828909650000101
参数矢量pg_i的选择也可以通过排名选择来进行。例如，将等级的概率预先决定为若第一则概率为r1，若第二则概率为r2，若第三则概率为r3等。基于T个画质评价值ag_i对T个参数矢量pg_i标注等级，并基于与标注等级对应的概率选择参数矢量pg_i。
控制部20根据两个参数矢量pg_i生成一个新的参数矢量pg+1_i(S432)。例如，独立地以1/2的概率调换两个参数矢量pg_i的各要素，生成参数矢量pg+1_i。
图9是示出突然变异(S1144)的详情的流程图。控制部20基于在步骤S112中计算出的T个画质评价值ag_i，选择一个参数矢量pg_i(S441)。参数矢量pg_i的选择例如通过上述的轮盘赌选择或排名选择来进行。控制部20对所选择的参数矢量pg_i的各要素施加变化而生成一个新的参数矢量pg+1_i(S442)。例如，随机地变更参数矢量pg_i的各要素。具体地，例如，将参数矢量pg_i的各要素独立地以0.1％的概率调换为随机数或事先准备的值，由此生成参数矢量pg+1_i。
图10是示出复制(S1145)的详情的流程图。控制部20基于在步骤S112中计算出的T个画质评价值ag_i，选择一个参数矢量pg_i(S451)。参数矢量pg_i的选择例如通过上述的轮盘赌选择或排名选择来进行。控制部20生成与所选择的参数矢量pg_i相同的新的参数矢量pg+1_i(S452)。
由此，在步骤S11中生成的T个参数矢量p1、p2、p3、…、pT成为画质评价值高的参数矢量。因而，从其中，在步骤S12～S15中，选择一个参数矢量，由此能够选择画质评价值更高的参数矢量。
(其他实施方式)
像以上那样，作为本申请中公开的技术的例示，说明了上述第1以及第2实施方式。然而，本公开中的技术并不限定于此，也能够应用于适当地进行了变更、置换、附加、省略等的实施方式。因此，以下，例示其他实施方式。
上述实施方式在画质评价值的计算(S204)中，作为决定适合于利用了深度学习的面部识别的参数的例子，使用了特征矢量的L2范数。但是，画质评价值的计算方法并不限于上述实施方式。例如，画质评价值也可以通过将特征矢量作为输入值的函数来计算。例如，画质评价值的计算方法还可以根据面部识别的方法改变。作为面部识别的方法，有使用Gabor滤波器的方法(参照“用于面部检测、面部识别的统计方法”，栗田多喜夫，产业技术综合研究所脑神经信息研究部门)。在该情况下，可以基于Gabor特征量计算画质评价值。Gabor特征量是能够使用Gabor滤波器而计算的基于特定的方向上的特定的频率分量的特征量。已知，该Gabor特征量受噪声的影响(例如，参照第22次模糊系统研讨会、札幌、2006年9月6～8日、“关于使用了加柏(Gabor)滤波器的混凝土构造物上的裂纹提取的研究”)。此外，已知Gabor特征量受模糊的影响(参照第21次图像感测研讨会、横浜、2015年6月、“关于使用了加柏(Gabor)滤波器的模糊区域检测的研究”)。因而，可认为，基于面部图像的Gabor特征量的画质评价值和面部识别性能存在关联。在基于Gabor特征量计算画质评价值的情况下，将步骤S204中的第j个(1、2、…、N)面部图像的特征矢量vi，j＝(vi，j，1、vi，j，2、vi，j，3、…、vi，j，D)中的与特定的频率相当的要素的总和设为第j个面部图像的画质评价值ai，j。基于N个面部图像的画质评价值ai，j，根据式(2)计算参数矢量pi的画质评价值ai。
在上述实施方式中，虽然对一台摄像机2连接有一个摄像机控制装置3，但是也可以在一个摄像机控制装置3连接有多个摄像机2。与摄像控制装置1连接的摄像机控制装置3的数目也可以是一个以上。
在上述实施方式中，说明了服务器等摄像控制装置1进行参数的决定且个人计算机等摄像机控制装置3进行向摄像机2的参数的设定的例子，但是摄像控制装置1和摄像机控制装置3的功能也可以通过一个装置来执行。
在上述实施方式中，摄像控制装置1生成了T个参数矢量pi(S1以及S11)，但是人也可以生成T个参数矢量pi。
在上述实施方式中，摄像机控制装置3根据从摄像控制装置1接收到的参数矢量pi设定了摄像机2。但是，人也可以进行对摄像机2的一部分或全部的参数的设定。
在上述实施方式中，对决定适合于面部识别的参数组的例子进行了说明，但是决定的参数组也可以不适合于面部识别。也可以决定与摄像机2的设置位置或摄像数据的使用用途等对应的参数组。在该情况下，在步骤S203中提取的图像并不限于面部图像。此外，特征矢量并不限定于示出面部图像的特征量的矢量。也可以根据想要自动识别的对象，改变进行提取的图像以及特征量。例如，在决定适合于车的自动识别的参数组的情况下，提取的图像是车的图像，也可以使用学习了车的图像的神经网络生成示出车的特征量的特征矢量。
(实施方式的概要)
(1)本公开的摄像控制装置是决定与摄像机的摄影动作相关的参数组的摄像控制装置，具备：输入部，输入摄像机生成的摄像数据；以及控制部，基于摄像数据，从参数组的多个候补中选择对摄像机进行设定的参数组，控制部，经由输入部获取被设定为各候补的参数组的摄像机生成的摄像数据，按每个候补从摄像数据提取分别包含提取对象的多个提取对象图像，按每个候补基于多个提取对象图像计算画质评价值，基于画质评价值，从参数组的多个候补中选择任一参数组。
像这样，基于摄像机2的摄像数据决定参数组，由此能够选择与摄像机2的设置位置以及周边环境的照明条件对应的参数值。此外，变得不需要人调整参数值，因此能够减轻作业成本。
(2)也可以是，在(1)的摄像控制装置中，控制部选择在每个候补的画质评价值中成为最大的画质评价值的参数组。
由此，能够选择更适合于摄像机2的设置位置以及周边环境的照明条件的参数组。
(3)也可以是，在(1)或(2)的摄像控制装置中，提取对象是人的面部，画质评价值对应于对面部识别的适合度。
由此，可选择适合于面部识别的参数组，因此面部识别的性能提高。
(4)也可以是，在(1)至(3)的摄像控制装置中，控制部使用遗传算法生成参数组的多个候补。
由此，能够从画质评价值高的参数组的候补中选择更好的参数组。
(5)也可以是，在(1)至(4)的摄像控制装置中，控制部通过计算多个提取对象图像的特征量的L2范数，从而计算画质评价值。
(6)也可以是，在(1)至(4)的摄像控制装置中，控制部通过计算多个提取对象图像的Gabor特征量，从而计算画质评价值。
(7)也可以是，在(1)至(6)的摄像控制装置中，参数组包含光圈值、增益、白平衡、快门速度、以及焦距中的至少两个。
(8)本公开的摄像控制方法是通过运算部决定与摄像机的摄影动作相关的参数组的摄像控制方法，经由输入部获取被设定为参数组的多个候补的每一个候补的摄像机生成的摄像数据，按每个候补从摄像数据提取分别包含提取对象的多个提取对象图像，按每个候补基于多个提取对象图像计算画质评价值，基于画质评价值，从参数组的多个候补中选择对摄像机进行设定的参数组。
本公开的全部权利要求中记载的摄像控制装置以及摄像控制方法可通过硬件资源例如处理器、存储器、以及程序的协作等而实现。
产业上的可利用性
本公开的摄像控制装置对例如监视摄像机的参数的设定有用。
附图标记说明
1：摄像控制装置；
2：摄像机；
3：摄像机控制装置；
10：通信部；
20：控制部；
30：存储部。

Claims (9)

1.一种摄像控制装置，决定与摄像机的摄影动作相关的参数组，
所述摄像控制装置具备：
输入部，输入所述摄像机生成的摄像数据；以及
控制部，基于所述摄像数据，从所述参数组的多个候补中选择对所述摄像机进行设定的参数组，
所述控制部，
经由所述输入部获取被设定为各候补的参数组的摄像机生成的摄像数据，
按每个候补从所述摄像数据提取分别包含提取对象的多个提取对象图像，
按每个候补基于所述多个提取对象图像计算画质评价值，
基于所述画质评价值，从所述参数组的多个候补中选择任一参数组。
2.根据权利要求1所述的摄像控制装置，其中，
所述控制部选择在每个所述候补的画质评价值中成为最大的画质评价值的参数组。
3.根据权利要求1或权利要求2所述的摄像控制装置，其中，
所述提取对象是人的面部，所述画质评价值对应于对面部识别的适合度。
4.根据权利要求1至权利要求3中的任一项所述的摄像控制装置，其中，
所述控制部使用遗传算法生成所述参数组的多个候补。
5.根据权利要求1至权利要求4中的任一项所述的摄像控制装置，其中，
所述控制部通过计算所述多个提取对象图像的特征量的L2范数，从而计算所述画质评价值。
6.根据权利要求1至权利要求4中的任一项所述的摄像控制装置，其中，
所述控制部通过计算所述多个提取对象图像的Gabor特征量，从而计算所述画质评价值。
7.根据权利要求1至权利要求6中的任一项所述的摄像控制装置，其中，
所述参数组包含光圈值、增益、白平衡、快门速度以及焦距中的至少两个。
8.一种摄像控制方法，通过运算部决定与摄像机的摄影动作相关的参数组，
所述摄像控制方法，
经由输入部获取被设定为参数组的多个候补的每一个候补的摄像机生成的摄像数据，
按每个候补从所述摄像数据提取分别包含提取对象的多个提取对象图像，
按每个候补基于所述多个提取对象图像计算画质评价值，
基于所述画质评价值，从所述参数组的多个候补中选择对所述摄像机进行设定的参数组。
9.一种程序，
用于使计算机执行权利要求8所述的摄像控制方法。
CN201980038771.0A 2018-06-11 2019-05-07 摄像控制装置、摄像控制方法以及程序 Pending CN112272945A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-111389 2018-06-11
JP2018111389 2018-06-11
PCT/JP2019/018270 WO2019239744A1 (ja) 2018-06-11 2019-05-07 撮像制御装置、撮像制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN112272945A true CN112272945A (zh) 2021-01-26

Family

ID=68843180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980038771.0A Pending CN112272945A (zh) 2018-06-11 2019-05-07 摄像控制装置、摄像控制方法以及程序

Country Status (5)

Country Link
US (1) US20210112191A1 (zh)
EP (1) EP3806447A4 (zh)
JP (1) JP7246029B2 (zh)
CN (1) CN112272945A (zh)
WO (1) WO2019239744A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060203107A1 (en) * 2003-06-26 2006-09-14 Eran Steinberg Perfecting of digital image capture parameters within acquisition devices using face detection
CN104270566A (zh) * 2014-09-01 2015-01-07 深圳市思谋科技有限公司 摄像直读抄表装置、系统、提高读数识别率的方法和装置
CN105580051A (zh) * 2013-10-30 2016-05-11 英特尔公司 图像捕捉反馈
JP2017224025A (ja) * 2016-06-13 2017-12-21 株式会社キーエンス 画像処理センサ及び画像処理方法
CN107977674A (zh) * 2017-11-21 2018-05-01 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4921204B1 (zh) 1970-12-22 1974-05-30
JPS5829679B2 (ja) 1977-03-01 1983-06-24 日本電気株式会社 時分割通話路制御方式
JP2007094535A (ja) * 2005-09-27 2007-04-12 Konica Minolta Photo Imaging Inc 認証システム及び認証方法
US8599267B2 (en) * 2006-03-15 2013-12-03 Omron Corporation Tracking device, tracking method, tracking device control program, and computer-readable recording medium
JP2008191816A (ja) 2007-02-02 2008-08-21 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8111942B2 (en) 2008-02-06 2012-02-07 O2Micro, Inc. System and method for optimizing camera settings
JP5424819B2 (ja) * 2009-11-04 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
EP2811736A4 (en) * 2012-01-30 2014-12-10 Panasonic Corp OPTIMUM CAMERA SETUP DEVICE AND OPTIMUM CAMERA SETTING METHOD
KR102001219B1 (ko) 2012-11-26 2019-07-17 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
JP6347589B2 (ja) * 2013-10-30 2018-06-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6789698B2 (ja) * 2016-07-01 2020-11-25 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP6972797B2 (ja) * 2016-11-24 2021-11-24 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060203107A1 (en) * 2003-06-26 2006-09-14 Eran Steinberg Perfecting of digital image capture parameters within acquisition devices using face detection
CN105580051A (zh) * 2013-10-30 2016-05-11 英特尔公司 图像捕捉反馈
CN104270566A (zh) * 2014-09-01 2015-01-07 深圳市思谋科技有限公司 摄像直读抄表装置、系统、提高读数识别率的方法和装置
JP2017224025A (ja) * 2016-06-13 2017-12-21 株式会社キーエンス 画像処理センサ及び画像処理方法
CN107977674A (zh) * 2017-11-21 2018-05-01 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Also Published As

Publication number Publication date
EP3806447A1 (en) 2021-04-14
US20210112191A1 (en) 2021-04-15
EP3806447A4 (en) 2021-07-14
WO2019239744A1 (ja) 2019-12-19
JPWO2019239744A1 (ja) 2021-08-26
JP7246029B2 (ja) 2023-03-27

Similar Documents

Publication Publication Date Title
CN108399628B (zh) 用于跟踪对象的方法和系统
CN109815845B (zh) 人脸识别的方法和装置、存储介质
CN108269254B (zh) 图像质量评估方法和装置
CN106547744B (zh) 一种图像检索方法及系统
KR101423916B1 (ko) 복수의 얼굴 인식 방법 및 장치
US8929611B2 (en) Matching device, digital image processing system, matching device control program, computer-readable recording medium, and matching device control method
CN112529951A (zh) 扩展景深图像的获取方法、装置及电子设备
JP2009271577A (ja) 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
CN107787463B (zh) 优化对焦堆栈的捕获
KR20200081450A (ko) 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체
US9639778B2 (en) Information processing apparatus, control method thereof, and storage medium
JP2019057815A (ja) 監視システム
CN112329679A (zh) 一种人脸识别方法、系统、电子设备及存储介质
Rahman et al. Real-time face-priority auto focus for digital and cell-phone cameras
CN110581950B (zh) 相机、选择相机设置的系统和方法
CN114387548A (zh) 视频及活体检测方法、系统、设备、存储介质及程序产品
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018084861A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN110933304B (zh) 待虚化区域的确定方法、装置、存储介质与终端设备
JP7246029B2 (ja) 撮像制御装置、撮像制御方法、及びプログラム
JP5451364B2 (ja) 被写体追跡装置及びその制御方法
CN105323460B (zh) 图像处理设备及其控制方法
US9049382B2 (en) Image processing apparatus and image processing method
JP2022048077A (ja) 画像処理装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210126

WD01 Invention patent application deemed withdrawn after publication