CN107231519A - 视频处理装置及控制方法 - Google Patents

视频处理装置及控制方法 Download PDF

Info

Publication number
CN107231519A
CN107231519A CN201710173566.8A CN201710173566A CN107231519A CN 107231519 A CN107231519 A CN 107231519A CN 201710173566 A CN201710173566 A CN 201710173566A CN 107231519 A CN107231519 A CN 107231519A
Authority
CN
China
Prior art keywords
video
frequency information
camera device
attribute
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710173566.8A
Other languages
English (en)
Other versions
CN107231519B (zh
Inventor
山本真司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107231519A publication Critical patent/CN107231519A/zh
Application granted granted Critical
Publication of CN107231519B publication Critical patent/CN107231519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及视频处理装置及控制方法。所述视频处理装置获得从多个摄像装置获得的视频，并且从所获得的视频中提取预定属性。所述视频处理装置计算个体属性频率信息和总体属性频率信息，所述个体属性频率信息表示针对由多个摄像装置中的各个摄像装置获得的视频而提取属性的频率，所述总体属性频率信息表示针对由多个摄像装置获得的多个视频而提取属性的频率；并且输出个体属性频率信息和总体属性频率信息。

Description

视频处理装置及控制方法
技术领域
本发明涉及一种用于对用多个照相机拍摄的视频进行处理的视频处理装置及其控制方法。
背景技术
近年来，视频分析技术得到了改进，并且与此同时，提出了用于从来自市区安装的多个照相机的视频中提取对象属性信息并基于属性信息对照相机的视频进行检查和分析的系统。然而，所获得的属性信息通常取决于照相机的视角和安装位置。
同时，为了精确地检查和分析视频，提出了用于调整针对属性提取的参数的方法和用于调整照相机的视角的方法。日本特开2012-252507号公报(专利文献1)提出了一种如下的系统，在该系统中，将使用距从视频获得的属性信息预定距离内的学习数据而生成的参数，用作用于估计图像中的人的属性(年龄和性别)的估计参数。另外，日本特开2014-064083号公报(专利文献2)提出了一种如下的系统，在该系统中，基于从视频获得的检测结果，计算使脸部检测(face detection)更容易的视角，并且自动校正照相机的视角。
然而，专利文献1和专利文献2中描述的构造针对来自单个照相机的图像和单个照相机的视角，并且没有考虑存在多个照相机的情况。因此，如果安装了大量的照相机，则需要检查各个照相机适合于哪种类型的分析，这增加了用户的负担。
发明内容
根据本发明的一方面，公开了一种在使用多个照相机时，减少与摄像装置的设置或分析功能的设置有关的用户负担的视频处理装置、视频处理系统及其控制方法。
根据本发明的一个方面，提供了一种视频处理装置，所述视频处理装置包括：获得单元，其用于获得从多个摄像装置获得的视频；提取单元，其用于从由获得单元获得的视频中提取预定属性；分析单元，其用于计算个体属性频率信息和总体属性频率信息，所述个体属性频率信息表示由提取单元针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示由提取单元针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及输出单元，其用于输出个体属性频率信息和总体属性频率信息。
根据本发明的另一方面，提供了一种视频处理装置，所述视频处理装置包括：获得单元，其用于获得从多个摄像装置获得的视频；提取单元，其用于从由获得单元获得的视频中提取预定属性；分析单元，其用于计算个体属性频率信息和总体属性频率信息中的至少一者，所述个体属性频率信息表示由提取单元针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示由提取单元针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及确定单元，其用于基于个体属性频率信息和总体属性频率信息中的至少一者，从多个视频分析处理当中确定可应用的视频分析处理。
根据本发明的另一方面，提供了一种视频处理装置，所述视频处理装置包括：获得单元，其用于获得从多个摄像装置获得的视频；提取单元，其用于从由获得单元获得的视频中提取预定属性；分析单元，其用于计算个体属性频率信息和总体属性频率信息，所述个体属性频率信息表示由提取单元针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示由提取单元针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及确定单元，其用于确定与对总体属性频率信息的相似度小于预定值的个体属性频率信息相对应的摄像装置，作为不适于执行视频分析处理的摄像装置。
根据本发明的另一方面，提供了一种视频处理装置的控制方法，所述方法包括以下步骤：获得从多个摄像装置获得的视频；从在获得步骤中获得的视频中提取预定属性；计算个体属性频率信息和总体属性频率信息，所述个体属性频率信息表示在提取步骤中针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示在提取步骤中针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及输出个体属性频率信息和总体属性频率信息。
根据本发明的另一方面，提供了一种视频处理装置的控制方法，所述方法包括以下步骤：获得从多个摄像装置获得的视频；从在获得步骤中获得的视频中提取预定属性；计算个体属性频率信息和总体属性频率信息中的至少一者，所述个体属性频率信息表示在提取步骤中针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示在提取步骤中针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及基于个体属性频率信息和总体属性频率信息中的至少一者，从多个视频分析处理当中确定可应用的视频分析处理。
根据本发明的另一方面，提供了一种视频处理装置的控制方法，所述方法包括以下步骤：获得从多个摄像装置获得的视频；从在获得步骤中获得的视频中提取预定属性；计算个体属性频率信息和总体属性频率信息，所述个体属性频率信息表示在提取步骤中针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示在提取步骤中针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及将与对总体属性频率信息的相似度小于预定值的个体属性频率信息相对应的摄像装置，确定为不适于执行视频分析处理的摄像装置。
通过以下(参照附图)对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出第一实施例的视频处理系统中的网络连接的图。
图2是示出第一实施例的功能构造的示例的框图。
图3A和图3B是例示根据第一实施例的对摄像装置进行选择的图。
图3C和图3D是示出在图表上示出属性频率信息的示例的图。
图4A和图4B是示出第一实施例的用户界面的示例的图。
图5是示出第一实施例的处理的流程图。
图6是示出第一实施例的处理的流程图。
图7是示出第一实施例的处理的流程图。
图8是示出第二实施例的功能构造的示例的框图。
图9A是示出第二实施例的用户界面的示例的图。
图9B是示出必要属性数据的构造示例的图。
图10是示出第二实施例的处理的流程图。
图11是示出第三实施例的功能构造的示例的框图。
图12A是示出第三实施例的用户界面的示例的图。
图12B是示出最佳视角数据的数据构造的示例的图。
图12C是例示建议登记数据的图。
图13是示出在所选择的摄像装置间的属性频率信息中存在偏离的示例的图。
图14A至图14C是示出第三实施例的用户界面的示例的图。
图15是示出第三实施例的处理的流程图。
图16是示出视频处理系统的硬件构造的示例的框图。
具体实施例
下面将参照附图基于其优选实施例来详细描述本发明。注意，以下实施例中所示的构造仅仅是示例，并且本发明不限于所例示的构造。
第一实施例
在第一实施例中，将描述下述情况：对从多个摄像装置或视频获得的属性信息进行分析并且输出关于获得属性的频率的信息(在下文中称为属性频率信息)。
图1是示出根据第一实施例的视频处理系统的网络构造的示例的构造图。在图1中，附图标记100表示诸如网络照相机等的摄像装置。在该实施例中，多个摄像装置100连接到网络(LAN 600)。附图标记200表示视频分析装置，视频分析装置收集用安装的多个摄像装置100拍摄的视频数据，并且进行视频分析处理。例如，视频分析处理包括用于通过从人的脸部区域提取特征量并进行匹配来进行用于对脸部进行认证的脸部认证的功能。另外，视频分析装置200可以收集网络存储装置300中记录的先前视频数据和作为对视频进行分析的结果的分析数据，并且进行视频分析处理。
附图标记300表示作为存储装置的网络存储装置，在该存储装置中，经由LAN 600记录用摄像装置100拍摄的视频数据和作为视频分析装置200进行视频分析的结果的分析数据。附图标记400表示显示设备，该显示设备例如通过用户界面来显示分析数据。另外，例如，输出装置400以使分析结果(分析数据)叠加在网络存储装置300中记录的视频数据和/或照相机的布局信息上的方式来显示分析结果(分析数据)。附图标记500表示诸如鼠标、键盘和触摸面板等的输入装置，该输入装置具有用于对分析处理进行操作的功能。
注意，摄像装置100的数量为两个或更多个即可。此外，视频分析装置200、网络存储装置300和连接到LAN 600的输出装置400的数量不限于图1中所示的构造，并且可以存在多个装置，只要使用地址等能够识别即可。此外，在该实施例中，假设输出装置400和输入装置500为诸如个人计算机(PC)或平板终端等的信息处理装置。因此，输出装置400和输入装置500可以一体化。另外，视频分析装置200、输出装置400和输入装置500可以一体化。另外，输出装置400和输入装置500到LAN 600的连接形式例如可以是有线的或无线的。因此，到LAN 600的连接的形式基于协议即可，并且物理形式不受限制。
图16是示出用于实现视频分析装置200、输出装置400和输入装置500的硬件构造的示例的框图。在图16中，视频分析装置200由视频处理装置1600实现。在视频处理装置1600中，CPU 1601通过执行程序来实现稍后将描述的各种类型的处理。ROM 1602是存储由CPU 1601执行的程序和各种类型的数据的只读存储器。RAM 1603是随时可写且可读的存储器，并且用作CPU 1601的工作存储器。二次存储装置1604例如由硬盘构成，并且存储由CPU1601执行的各种程序、来自摄像装置100的视频等。二次存储装置1604中存储的程序根据需要被加载在RAM 1603上，并且由CPU 1601执行。注意，可以使用二次存储装置1604来实现网络存储装置300。网络接口1605是用于连接到LAN 600的接口。上述的构成元件使用总线1606连接，以便能够彼此通信。
在信息处理装置1620中，CPU 1621通过执行程序来实现包括提供稍后将描述的用户界面的各种类型的处理。ROM 1622是存储由CPU1621执行的程序和各种类型的数据的只读存储器。RAM 1623是随时可写且可读的存储器，并且用作CPU 1621的工作存储器。二次存储装置1624例如由硬盘构成，并且存储由CPU 1621执行的各种程序、由摄像装置100获得的视频等。二次存储装置1624中存储的程序根据需要被加载到RAM 1623，并且由CPU 1621执行。注意，可以使用二次存储装置1624来实现网络存储装置300。显示器1625在CPU 1621的控制下显示稍后将描述的用户界面画面。输入设备1626由键盘、指点设备(鼠标)等构成，并且接收用户的指令。网络接口1627是用于连接到LAN 600的接口。在显示器1625的画面上配设的触摸面板可以被用作输入设备1626。上述的构成元件使用总线1628连接，以便能够彼此通信。在该实施例中，输出装置400和输入装置500由信息处理装置1620的显示器1625和输入设备1626实现。
该实施例的视频处理系统主要由经由LAN 600彼此连接的视频处理装置1600和信息处理装置1620构成。注意，信息处理装置1620和视频处理装置1600不需要是分开体。
图2是示出与第一实施例的视频处理系统中的属性信息的分析有关的功能构造的示例的框图。在图2中，图像获得单元210、检测单元211、属性提取单元212和分析单元213是由视频分析装置200实现的功能。此外，输出单元411是由输出装置400实现的功能，并且选择单元511是由输入装置500实现的功能。然而，检测单元211、属性提取单元212和分析单元213可以在摄像装置100上实现，并且实现功能的装置的划分不限于所示的示例。
图像获得单元210以预定的时间间隔经由LAN 600从摄像装置100依次获得图像，并且将图像信息提供给检测单元211。注意，由图像获得单元210对图像的获得不限于来自摄像装置100的拍摄图像的输入。例如，可以通过从网络存储装置300读取视频数据(记录视频)、经由网络的流输入等，来输入图像。
检测单元211进行用于从由图像获得单元210获得的图像中检测目标(对象)的检测处理。检测单元211向属性提取单元212提供统称为检测信息的、与通过进行检测处理而检测到的目标有关的ID、位置坐标和大小信息。注意，能够使用公知技术来实现从图像中检测目标，并且例如，能够使用在“Dalal and Triggs.Histograms of Oriented Gradientsfor Human Detection.Proceedings of the IEEE Conference on Computer Vision andPattern Recognition(2005)”(非专利文献1)中描述的用于检测人的全身的方法。
属性提取单元212使用从图像获得单元210获得的图像和从检测单元211获得的检测信息来提取目标的属性，生成属性信息，并将生成的属性信息提供给分析单元213。属性信息是诸如年龄、性别、眼镜的有无、胡子/胡须的有无、发型、体型、服装、包的有无、头发颜色、服装颜色以及身高等的信息。服装代表衣服的类型，例如外套和T恤。能够利用公知技术来检测这样的信息。
将描述用于提取构成上述属性信息的一部分的年龄、性别、眼镜的有无以及胡子/胡须的有无的方法的示例。首先，使用公知技术(例如，在“X Zhu,D Ramanan.Facedetection,pose estimation,and landmark localization in the wild.ComputerVision and Pattern Recognition(CVPR),2012.”(非专利文献2)中描述的用于检测脸部的方法和用于检测脸部器官的方法)来指定图像中的脸部的一部分的位置。然后，通过将脸部的指定部分的特性量与使用公知技术的机器学习而预先学习的学习数据的特性量进行比较，来获得年龄、性别、眼镜的有无以及胡子/胡须的有无。另外，基于比较时的特性量之间的距离来获得精确度信息。
接下来，将描述用于提取构成属性信息的一部分的体型、服装以及包的有无的方法的示例。例如，通过进行非专利文献1的全身检测处理指定图像中存在的全身的区域，并且用Gabor滤波器对指定的全身的区域进行处理，来计算特性量。然后，使用计算出的特性量和诸如支持向量机等的识别设备来获得体型信息和服装信息。此外，基于对特性量进行比较时的特性量之间的距离来获得精确度信息。
接下来，将描述用于提取构成属性信息的一部分的头发颜色和服装颜色的方法的示例。首先，通过将非专利文献1的处理应用到图像中的身体的各个部分来指定全身的各个部分的区域。然后，针对各个部分获得颜色直方图。头部区域的颜色直方图用作头发颜色，上身区域和下身区域的颜色直方图用作服装的颜色。此时，准备预先确定的代表性颜色数据，并且可以使用具有最高相似度的代表性颜色作为头发颜色和服装颜色。代表性颜色数据是颜色直方图，并且针对诸如红色、蓝色、绿色和黄色等的各个代表性颜色被预先定义。基于计算出的颜色直方图和代表性颜色数据的颜色直方图，使用巴特查里亚(Bhattacharyya)距离方程来获得颜色相似度。另外，基于此时获得的相似度获得精确度信息。注意，计算出的相似度可以按原样用作精确度信息，或者通过相似度越高则精确度越高的方程而计算出的信息可以用作精确度信息。
接下来，将描述用于提取构成属性信息的一部分的身高的方法的示例。首先，通过进行非专利文献1的全身检测处理来指定图像中的全身的区域。然后，从全身区域的身高信息与摄像装置的倍率信息的比率获得身高信息。
在接收到来自用户的输入时，由输入装置500实现的选择单元511选择摄像装置100或在网络存储装置300中存储的记录视频，作为分析目标。将关于由所选择的摄像装置100拍摄的视频或所选择的记录视频的信息提供给分析单元213。下面将描述选择摄像装置100的示例。注意，使用输入装置500进行来自用户的选择的输入。
将描述用于选择要被分析的摄像装置的选择处理的示例。图3A和图3B示出用于选择要被分析的摄像装置的用户界面的示例。首先，用户能够从图3A中所示的摄像装置的列表中选择要被分析的多个摄像装置(在该示例中，显示表示摄像装置的布局的布局图420(布局))。使用鼠标、键盘或触摸面板来选择。例如，使用鼠标光标421一次指定一个期望的摄像装置，由此所指定的摄像装置被选择为分析目标。作为选择，例如，可以选择在使用鼠标光标422通过范围指定操作而指定的范围423中存在的摄像装置，作为分析目标。用户界面以用户可识别的方式而改变所选择的网络照相机的显示形式。在图3B中的示例中，在布局图420中，所选择的摄像装置被显示为空白框，由此获得用户能够立即识别所选择的摄像装置的显示。
关于由选择单元511选择的摄像装置，分析单元213使用由属性提取单元212获得的属性信息计算检测各个属性的频率，并且生成属性频率信息。将生成的属性频率信息提供给输出单元411。下面将描述由分析单元213进行的分析处理的详情(属性频率信息的生成)。
首先，分析单元213仅将提取自选择单元511选择的摄像装置中的属性信息，提取为处理目标。在下文中，Cj表示各个摄像装置，Ai表示各个属性信息，Fk表示连续视频的各个帧。如果所连接的摄像装置100的数量为M，则j为1至M，并且如果属性信息中包括的属性项目的数量为N，则i为1至N。如果连续视频的帧的总数为L，则k为1至L。此外，例如，如果选择了摄像装置C1和摄像装置C2，并且没有选择摄像装置C3，则处理摄像装置C1的属性信息和摄像装置C2的属性信息，但是不处理摄像装置C3的属性信息。此外，通过下式获得由从摄像装置Cj获得的视频提取属性Ai的次数的总和S(Ai,Cj,F)：
S(Ai,Cj,F)＝ΣkS(Ai,Cj,Fk)…(1)。
在式1中，如果从摄像装置Cj的帧Fk获得属性Ai，则S(Ai,Cj,Fk)为1，否则S(Ai,Cj,Fk)为0。
接下来，计算下式作为摄像装置Cj的属性频率信息R(Ai,Cj,F)。
R(Ai,Cj,F)＝S(Ai,Cj,F)/ΣiS(Ai,Cj,F)…(2)
在式2中，分母ΣiS(Ai,Cj,F)表示从摄像装置Cj获得属性A1至属性AN的属性信息的次数的总和。注意，可以使用总帧数L来代替ΣiS(Ai,Cj,F)。针对从摄像装置C1至摄像装置CM中选择的各个摄像装置实施该计算。如上所述，获得针对各个摄像装置的个体属性频率信息。
类似地，根据关于被选择的所有摄像装置的、提取属性Ai的次数的总和S(Ai,C,F)，计算属性频率信息R(Ai,C,F)。用于计算R(Ai,C,F)和S(Ai,C,F)的等式分别如下。
S(Ai,C,F)＝ΣjΣkS(Ai,Cj,Fk)…(3)
R(Ai,C,F)＝S(Ai,C,F)/ΣiS(Ai,C,F)…(4)
分母ΣiS(Ai,C,F)表示关于被选择为分析目标的所有摄像装置的、从各个摄像装置获得属性信息的次数的总和，并且可以由所有摄像装置的总帧数L代替。因此，获得所选择的摄像装置100的总体属性频率信息。
图3C和图3D是将上述分析处理的分析结果的示例示出为图表的图。图3C以条形图340示出了分析结果，在该条形图340中，横轴表示各个属性，纵轴表示各个频率。图3C中的示例表示体型信息是被最频繁地获得的属性，并且获得眼镜信息的次数和获得胡子/胡须信息的次数是少的。图3D以饼图360示出了分析结果。分析结果的数值与图3C中的相同。注意，能够将用于显示如图3C和图3D中显示的分析结果的方法，应用到个体属性频率信息(从式2获得的结果)和总体属性频率信息(从式4获得的结果)二者。
输出单元411通过用户界面向用户输出作为分析单元213的分析结果的摄像装置的个体属性频率信息R(Ai,Cj,F)和总体属性频率信息R(Ai,C,F)。图4A和图4B是将属性频率信息输出为分析结果的用户界面画面430的示例。在用户界面画面430的左侧区域433中，显示布局图420(图3A和图3B)，在该布局图420中，使用选择单元511选择摄像装置，并且示出选择的结果。
在用户界面画面430的右上区域431中显示用于开始分析的分析开始按钮441。此外，在右下区域432中所表示的是作为分析结果的属性频率信息的显示示例，这是显示由邻接对齐的并且已经参照图3C和图3D描述的条形图和饼图所表示的分析结果442的示例。注意，如果由用户从左侧区域433中显示的布局图420中指定了摄像装置，则在右下区域432中显示关于指定的摄像装置的个体属性频率信息作为分析结果442。另一方面，如果没有指定摄像装置，则显示总体属性频率信息作为分析结果442。注意，例如，如图13中的条形图可以用于在布局图420上叠加并显示个体属性频率信息。
图4B是示出用户界面画面430的另一示例的图。在图4B中，在右下区域432中，显示总体属性频率信息作为分析结果442。另外，在左侧区域433的布局图420中，在所选择的摄像装置中的各个附近，对应的个体属性频率信息被叠加并显示为饼图。
注意，由检测单元211进行的检测处理是用于从图像检测预定目标并指定目标的位置的处理即可，并且检测处理不限于使用特定图像特性量或识别设备进行的检测。例如，要提取的特性量不限于非专利文献1中使用的梯度方向直方图特性，并且可以使用类哈尔(Haar-like)特性、LBPH(Local Binary Pattern Histogram，局部二值模式直方图)特性等或其组合。另外，可以使用AdaBoost分类器、随机化树等用于识别，而不限于支持向量机。此外，可以使用如在“Benfold,B.Stable multi-target tracking in real-timesurveillance video.Computer Vision and Pattern Recognition(CVPR),2011.”(非专利文献3)中所描述的用于跟踪人体的方法。跟踪方法是用于在图像中跟踪从图像中检测到的目标的处理即可，并且跟踪方法不限于非专利文献3中描述的方法。例如，可以使用平均位移跟踪(mean-shift tracking)、卡尔曼(Kalman)过滤器、在线提升(on-line boosting)等。
此外，由属性提取单元212进行的提取处理不限于特定图像特性量或由识别设备的提取，并且提取处理是用于指定目标属性信息的处理即可。另外，提取处理可以使用诸如温度和距离的信息、目标的设备的传感器信息等。
此外，由选择单元511进行的处理是用于选择摄像装置或视频作为分析目标的处理，并且不限于通过用户界面选择摄像装置。例如，可以根据来自各个摄像装置的视频的事件信息、检测到的目标的数量等，自动选择要被分析的摄像装置，并且可以基于来自其他系统的输出选择要进行被的摄像装置。
此外，当计算属性频率信息时，分析单元213可以对由关于属性信息计算的精确度信息表示的精确度进行加权，并且计算总和。例如，如果对精确度W(Ai,Cj,Fk)进行加权，则用于计算关于各个摄像装置的个体属性频率信息的表达式如下。
S(Ai,Cj,F)＝Σk{S(Ai,Cj,Fk)×W(Ai,Cj,Fk)}…(5)
R(Ai,Cj,F)＝S(Ai,Cj,F)/Σi{S(Ai,Cj,F)}…(6)
另外，关于所选择的摄像装置的总体属性频率信息如下。
S(Ai,C,F)＝ΣjΣk{S(Ai,Cj,Fk)×W(Ai,Cj,Fk)}…(7)
R(Ai,C,F)＝S(Ai,C,F)/Σi{S(Ai,C,F)}…(8)
此外，由输出单元411进行的处理是用于输出分析单元213的结果的处理，并且不限于通过用户界面显示。可以采用用于将分析结果输出为元数据的方法或用于将数据传送到其他系统的方法。在该实施例中，描述了将分析结果输出为条形图和饼图的示例，但是不限于该形式，只要该方法使得能够将所获得的属性频率信息呈现给用户即可。
图5是示出由第一实施例的视频处理系统进行的处理的流程图。在处理开始之后，视频分析装置200由从各个摄像装置获得的视频提取属性，计算所提取的属性的频率信息，并且获得个体属性频率信息(步骤S100)。在该实施例中，视频分析装置200使用上面的式2或式6获得个体属性频率信息。接下来，视频分析装置200使用上面的式4或式8获得关于所选择的摄像装置的总体属性频率信息(步骤S200)。分别在步骤S100和S200中获得的个体属性频率信息和总体属性频率信息被供给到输出装置400，并且输出装置400基于所供给的属性频率信息，显示如参照图4A和图4B描述的画面(步骤S300)。
下面将参照图6和图7中的流程图，详细描述步骤S100中的用于计算个体属性频率信息的处理和步骤S200中的用于计算总体属性频率信息的处理。首先，将参照图6详细描述用于计算针对各个视频(各个摄像装置)的个体属性频率信息的处理(步骤S100)。
图像获得单元210获得图像，即，要处理的视频的帧(从目标摄像装置获得的视频的帧)(步骤S101)，并且检测单元211从获得的图像检测目标(步骤S102)。接下来，属性提取单元212提取在步骤S102中检测到的各个目标的属性(步骤S103)。接下来，分析单元213将获得各个属性的次数加到各个属性的检测次数的总和(步骤S104)，并且将所有属性的检测次数的总和相加(步骤S105)。之后，图像获得单元210确定是否存在下一帧(步骤S106)，并且如果确定存在下一帧，则过程返回到步骤S101。另一方面，如果确定不存在下一帧，则过程前进到步骤S107。
如上所述，通过针对所有帧重复步骤S102至S105的处理，在步骤S104中获得由式1表示的各个属性项目的检测次数的总和(S(Ai,Cj,F))。另外，通过步骤S105获得用作式2的分母的、所有属性项目的检测次数的总和(ΣiS(Ai,Cj,F))。
当针对要处理的视频的所有帧完成上述的处理时，分析单元213使用在步骤S104中获得的检测次数的总和以及在步骤S105中获得的检测次数的总和，根据式2计算目标摄像装置的属性频率信息(步骤S107)。接下来，图像获得单元210确定是否存在尚未处理的视频(摄像装置)(步骤S108)。如果不存在未处理的视频(摄像装置)，则过程结束，而如果存在未处理的视频(摄像装置)，则改变目标视频(摄像装置)并且过程返回到步骤S101。因此，获得表示针对各个摄像装置(Cj)的各个属性(Ai)的提取频率的个体属性频率信息(R(Ai,Cj,F))。
所获得的个体属性频率信息与对应的摄像装置相关联地保持在网络存储装置300中。在该实施例中，将各个属性的总和S(Ai,Cj,F)和属性频率信息R(Ai,Cj,F)分别与摄像装置相关联地保持。
接下来，将参照图7中的流程图描述用于计算总体属性频率信息的处理(步骤S200)，总体属性频率信息是关于所有选择的摄像装置的属性频率信息。
分析单元213指定属于视频处理系统的多个摄像装置中的一个(步骤S201)，并且确定所指定的摄像装置是否是由选择单元511选择的摄像装置(步骤S202)。如果确定所指定的摄像装置是所选择的摄像装置，则分析单元213从网络存储装置300读取与所指定的摄像装置相对应的属性频率信息(步骤S203)。这里，获得与所指定的摄像装置Cj相关联的各个属性的总和S(Ai,Cj,F)。
接下来，分析单元213对在步骤S203中读取的各个属性的总和进行相加(步骤S204)，并且还对所有属性的总和进行相加(步骤S205)。选择单元511确定是否存在未处理的摄像装置(步骤S206)。如果存在未处理的摄像装置，则过程返回到步骤S201，在步骤S201中分析单元213改变目标摄像装置，并且重复上面的步骤S202至S205。
结果，分析单元213通过进行步骤S204的处理，获得关于所有选择的摄像装置的各个属性的提取次数的总和S(Ai,C,F)(表达式3)。分析单元213还通过进行步骤S205的处理，获得关于所有选择的摄像装置的所有属性的提取次数的总和(ΣiS(Ai,C,F))(表达式4中的分母)。
如果在步骤S206中确定不存在未处理的摄像装置，则分析单元213将在步骤S204中获得的各个属性的总和除以在步骤S205中获得的所有属性的总和(式4)，从而获得归一化的属性频率信息(步骤S207)。因此，获得总体属性频率信息。
注意，描述了当视频结束时集体计算属性频率信息的处理顺序作为示例，但是计算属性频率信息的定时不限于该示例。例如，可以进行计算，使得针对各个帧更新总体属性频率信息。另外，可以并行进行关于多个摄像装置的个体属性频率信息的计算。此外，可以同时进行个体属性频率信息的计算和所有摄像装置的属性频率信息的计算。
如上所述，根据第一实施例，能够输出并且向用户呈现从多个摄像装置或视频获得的属性的频率信息(属性频率信息)。用户能够从呈现的属性频率信息设想可应用的视频分析处理。更具体地，如果所获得的属性包括许多年龄和性别，则能够设想使用主要使用年龄和性别的视频分析处理，例如，通过年龄或性别对人数进行计数的视频分析处理。另外，如果关于胡子/胡须、眼镜的有无和服装的信息的量多，则能够设想使用通过使用这样的信息对人进行识别来搜索人的视频分析处理。如此以来，以这种方式输出所获得的属性频率信息，用户能够有效地选择可应用的视频分析处理。通过统计地计算用多个照相机获得的对象的属性信息并且将该属性信息反馈给用户，能够减轻与分析功能的设置有关的用户负担。
第二实施例
在第二实施例中，将描述用于基于在第一实施例中获得的属性频率信息来显示可应用到多个所选择的摄像装置的视频分析处理的构造。下面将主要描述与第一实施例不同的构造。
图8是示出根据第二实施例的视频处理系统的功能构造的示例的框图。注意，第二实施例的视频处理系统的网络连接的构造类似于第一实施例的构造(图1)。另外，在图8中，对与第一实施例(图2)类似的功能构成元件标注相同的附图标记。除了第一实施例(图2)的功能构成元件以外，第二实施例的视频处理系统的功能构成元件还包括比较单元214(图2)。
比较单元214将分析结果与必要属性数据进行比较，由此获得可应用的视频分析处理。之后，将表示可应用的视频分析处理的信息(在下文中称为分析处理信息)提供给输出单元411。首先，将描述必要属性数据。必要属性数据表示各个视频分析处理所需的属性信息的提取频率的阈值。必要属性数据Th＝{Th1,Th2,…,ThN}集体地定义阈值Thi，并且表示属性信息Ai的必要提取频率R(Ai,C,F)。图9B是示出必要属性数据的数据构造的示例的图。针对诸如“拥堵检测”和“人流分析”等的各个分析功能(视频分析处理)，记录诸如“脸部”和“人种”等的各个属性的必要频率的阈值。必要属性数据可以被存储在视频分析装置200的存储装置(未示出)中，或者可以被存储在网络存储装置300中。
接下来，将描述由比较单元214进行的用于将属性频率信息与必要属性数据进行比较的处理。在比较处理中，将各个属性的提取频率与必要属性数据的阈值信息进行比较，并且如果关于至少一个或更多个属性的总体属性频率信息R(Ai,C,F)大于或等于阈值Thi，则确定能够应用视频分析处理。这是因为，如果提取频率R(Ai,C,F)大于或等于阈值Thi，则已经针对大量的人获得了视频分析处理所需的属性信息。比较单元214针对所有视频分析处理(分析功能)使用对应的必要属性数据来进行比较处理，从而确定各个视频分析处理是否是可应用的。注意，关于视频分析处理不必要的属性，将不可能作为频率信息的特定值(例如，-1)记录为阈值，使得不对不必要属性进行上述的比较。
输出单元411在用户界面上显示由比较单元214获得的可应用的视频分析处理的列表。图9A示出了显示可应用的视频分析处理的列表的用户界面画面430的示例。类似于第一实施例，在左侧区域433中显示摄像装置的布局图420。在该实施例中，在右上区域431中显示确定开始按钮443，并且通过按下确定开始按钮443来开始确定处理(稍后将参照图10中的流程图描述的处理)。然后，在右下区域432中显示确定处理的确定结果。在右下区域432中，显示视频分析处理的列表444，并且由黑阴影线突出可应用的视频分析处理。
注意，在上述描述中，将超过阈值的一个或更多个属性的属性频率信息设置为用于确定能够应用视频分析处理的条件，但是不限于此。例如，可以将超过阈值的两个或更多个属性的属性频率信息设置为确定条件，或者可以将超过阈值的所有必要属性的属性频率信息设置为确定条件。另外，可以设置根据各个视频分析处理而不同的条件。此外，由比较单元214进行的比较不限于用于确定是否超过阈值的比较。例如，比较单元214将阈值Th＝{Th1,Th2,…,ThN}与属性频率R(Ai,C,F)进行比较，并且如果没有达到任何阈值，则获得阈值与属性频率之间的差值的总和。差值可以表示属性频率相对于阈值超过或不足的值，或者可以仅表示属性频率不足的值。如果其总和大于或等于预定值，则比较单元214确定难以应用视频分析处理。此外，可以基于针对各个属性预先确定的重要度来对差值进行加权。重要度表示当使用目标视频分析处理时需要属性的程度。
输出单元411输出由比较单元214进行的确定结果，这不限于如上所述的通过用户界面显示。例如，可以将确定结果输出为元数据，或者可以将数据传送到其他系统。另外，在该实施例中，描述了将确定结果输出为列表的示例，但是不限于该形式，只要该方法使得能够将可应用的视频分析处理呈现给用户即可。
图10是示出第二实施例的处理的流程的流程图。图10中的步骤S100和S200与第一实施例(图5中的步骤S100和S200)中描述的相同。在步骤S400中，比较单元214将必要属性数据与分析结果(属性频率信息)进行比较。在步骤S500中，如图9A中所示，输出单元411基于在步骤S400中获得的比较结果，显示并清楚地表示是否能够应用视频分析处理的列表444。
如上所述，根据第二实施例，能够基于从多个摄像装置或视频获得的属性的频率信息向用户呈现可应用的视频分析处理。用户能够通过检查关于可应用的视频分析处理的信息，有效地选择要使用的视频分析处理。
注意，在上面的实施例中，通过将总体属性频率信息与必要属性数据进行比较来确定是否能够应用视频分析处理，但是不限于此。例如，可以采用如下的构造：将个体属性频率信息与必要属性数据进行比较，对能够执行视频分析处理的摄像装置的数量进行计数，以及基于计数的结果(例如，基于计数值是否超过预定值)确定是否能够执行视频分析处理。注意，能够执行视频分析处理的摄像装置是计算出的个体属性频率信息满足必要属性项目的频率的摄像装置。
第三实施例
在第三实施例中，基于在第一实施例中获得的属性频率信息，从所选择的摄像装置当中指定不适于所指定的视频分析处理的摄像装置，并且对摄像装置的视角进行建议或自动调整该视角。下面将主要描述与第一实施例和第二实施例的不同。
图11是示出本发明应用到的视频处理系统的功能构造的示例的框图。除了第二实施例中描述的功能以外，第三实施例的视频处理系统还具有视角计算单元215。
输入装置500的选择单元511除了具有在第一实施例中描述的用于选择摄像装置或视频的功能以外，输入装置500的选择单元511还具有用于指定期望使用的视频分析处理的功能。选择单元511向分析单元213和比较单元214提供关于所选择的摄像装置或视频的信息以及期望使用的视频分析处理。将描述在用户界面上选择期望使用的视频分析处理的示例。图12A示出了用于选择期望使用的视频分析处理的用户界面画面430的示例。通过选择单元511和输出单元411的协作来提供该用户界面画面430。在用户界面画面430上显示列表446，并且用户能够从列表446中包括的视频分析处理中指定期望的处理。在图12A中的示例中，从右上区域434中显示的列表446中包括的多个视频分析处理当中指定“人搜索处理”，并且以黑色突出并显示该处理，使得能够识别该处理处于被选择状态。
比较单元214，将关于由选择单元511选择的摄像装置的、总体属性频率信息(在步骤S200中所计算出的)与个体属性频率信息(在步骤S100中所计算出的)进行比较，并且指定不适于视频分析的摄像装置。之后，将关于被确定为难以应用所指定的视频分析处理的摄像装置的信息提供给输出单元411和视角计算单元215。注意，可以采用如下的构造：类似于第二实施例，比较单元214具有用于确定可应用的视频分析处理的功能，并且基于确定结果对用户能够从列表446中指定的视频分析处理进行限制。
首先，将描述用于指定不适于视频分析的摄像装置的方法。图13示出了表示针对各个所选择的摄像装置获得的个体属性频率信息的示例。关于在图13中最下方布置的摄像装置100a获得的属性信息与关于周围摄像装置的属性信息偏离。具体地，获得关于脸部的属性信息作为整体，但是从最下方的摄像装置获得关于服装和步态的信息。在这种情况下，如果使用包括用于在摄像装置当中识别目标的处理的视频分析处理，则可能发生未对应(像这样没有识别相同目标的现象)。这是因为识别处理需要比较相同的属性，例如，如果从一个摄像装置获得服装信息，并且没有从另一摄像装置获得服装信息，则不能应用匹配处理。如果不能应用匹配处理，则不能计算目标之间的相似度，并且目标被确定为不同的目标。因此，能够通过获得所获得的个体属性信息与总体属性信息之间的偏离程度，来确定是否难以将视频分析处理应用到各个摄像装置(的视频)。
将描述由比较单元214进行的第三实施例的比较处理。在比较处理中，使用Bhattacharyya距离方程获得通过将总体属性频率信息与个体属性频率信息进行比较而获得的相似度。该相似度表示获得各个属性信息的频率在不同的摄像装置当中的相似程度。如果由选择单元511选择的摄像装置的总体属性频率信息与一个摄像装置的个体属性频率信息之间的相似度小于预定阈值，则确定难以应用视频分析处理。这是因为，这种属性频率信息的相似度小于阈值，与从不同的摄像装置获得的属性频率信息中存在上述偏离是相同的。
视角计算单元215使用由分析单元213获得的属性频率信息，计算被确定为难以应用视频分析处理的摄像装置的最佳视角。然后，将计算出的最佳视角信息提供给输出单元411。下面将描述用于计算视角的方法。
基于作为整体获得的属性频率信息，从视角数据库中的最佳视角数据搜索最佳视角。图12B是示出视角数据库的数据构造的示例的图。关于视角数据库中的各个记录，代表性属性频率信息和最佳视角数据彼此相关联。最佳视角数据是集体地包括摄像装置的摇摄值、倾斜值和变焦值的视角信息。此外，在数据库中，将最佳视角数据与代表性属性频率信息相关联地记录。例如，由于需要放大目标，因此将脸部的属性频率高的属性频率信息定义为与关于变焦值大的视角的信息相关联。另一方面，由于需要采用目标的全身的全拍，因此将服装的属性频率高的属性频率信息定义为与关于变焦值小的视角的信息相关联。
将描述用于获得最佳视角的过程。首先，使用Bhattacharyya距离方程，获得作为整体而获得的属性频率信息、与和视角数据库中的最佳视角数据相关联的属性频率信息(图12B中的代表性属性频率信息)之间的相似度。然后指定该相似度最大的最佳视角的数据，并且获得对应的最佳视角信息。可以通过根据关于检测到目标的位置的信息进行计算，来获得摇摄值和倾斜值。例如，获得从检测单元211获得的目标的检测位置的平均坐标，并且获得当前摇摄值和倾斜值、与平均坐标之间的差作为摇摄值和倾斜值。在这种情况下，根据获得的视频计算摇摄和倾斜，因此不需要包括在最佳视角数据的视角信息中(因此，在这种情况下，在视角信息中仅描述变焦即可)。
输出单元411使用由比较单元214获得的、表示难以应用视频分析处理的摄像装置的信息，来在用户界面上显示难以应用视频分析处理的摄像装置的列表。此外，输出单元411使用从视角计算单元215获得的最佳视角信息，来对视角进行建议并且自动调整摄像装置100的视角。
首先，将描述由输出单元411进行的关于难以应用视频分析处理的摄像装置的信息的显示。图14A示出了显示难以应用视频分析处理的摄像装置的列表的用户界面画面430的示例。输出单元411在用户界面画面的右侧区域460中显示摄像装置的列表461，并且使用标记来突出并显示难以应用视频分析处理的摄像装置。另外，输出单元411在左侧区域433中显示的摄像装置的布局图420中，在难以应用视频分析处理的摄像装置上叠加并显示预定标记。
接下来，将描述关于难以应用视频分析处理的摄像装置的视角建议显示。图14B示出了在用户界面画面430上显示建议显示462以及摄像装置的列表461的显示的示例，在建议显示462中显示最佳视角信息转换成的建议信息。建议信息是关于为了将摄像装置的设置从当前视角改变为最佳视角而要由用户进行的设置的信息，并且该信息已经被放入语句中。建议信息的示例包括诸如“请变焦更多”和“请将照相机向右摇动30度”等的语句。如图12C中所示，将建议信息与关于摇摄、倾斜和变焦的代表性控制值(视角控制值)相关联地保持。
将描述从最佳视角信息到建议信息的转换。首先，计算不适于所指定的分析处理的摄像装置100的当前视角与由视角计算单元215获得的最佳视角之间的差值。该差值被用作控制值，以基于与建议信息相关联的差值来搜索建议信息。图12C是示出建议信息的登记示例的图，并且根据视角(摇摄/倾斜/变焦)控制值，登记建议信息(要在建议显示462上显示的语句)。输出单元411在如图12C中登记的建议信息中搜索与上述差相对应的“视角控制值”，并且获得与视角控制值相关联的建议信息。例如，如果摄像装置的当前视角与最佳视角之间的变焦值差大，则提取表示需要对对象进行进一步变焦操作的建议信息。在图14B中，显示用于获得关于从列表461中选择的照相机8的最佳视角的建议显示462。
接下来，将描述自动调整视角的示例。图14C示出了用于输出单元411使用由视角计算单元215获得的最佳视角，来自动调整摄像装置100的视角的用户界面画面430的示例。关于获得了最佳视角的摄像装置，通过按下画面上的右侧区域460中的自动调整执行按钮463a-463c，将最佳视角信息发送到目标摄像装置，并且自动地调整摄像装置的视角。当按下自动调整执行按钮463a时，执行对照相机5的视角的调整。当按下自动调整执行按钮463b时，执行对照相机8的视角的调整。当按下自动调整执行按钮463c时，执行对照相机5和照相机8的视角的调整。注意，可以在没有来自用户的输入的情况下(在不按下自动调整执行按钮463情况下)通过将所获得的最佳视角信息提供给摄像装置100，来自动调整摄像装置的视角。
由输出单元411进行的处理是用于输出由比较单元214进行的确定的结果的处理，并且不限于在用户界面画面上显示。例如，可以采用用于将结果输出为元数据的方法，以及用于将数据传送到其他系统的方法。此外，在该实施例中，描述了将确定结果输出为列表的示例，但是不限于该形式，只要该方法使得能够将难以应用视频分析的摄像装置的列表呈现给用户即可。
图15是示出根据第三实施例的处理的流程的流程图。图15中的步骤S100和S200的处理类似于第一实施例的处理。比较单元214将在步骤S200中从多个摄像装置获得的总体属性频率信息与在步骤S100中获得的目标摄像装置的个体属性频率信息进行比较，并且指定难以应用视频分析处理的摄像装置(步骤S600)。然后，输出单元411显示难以应用视频分析处理的摄像装置的列表461(步骤S700)。视角计算单元215计算关于在步骤S600中指定的摄像装置的最佳视角(步骤S800)，并且输出单元411显示最佳视角信息作为建议显示462(步骤S900)。作为选择，代替建议信息的显示(或除了建议信息的显示以外)，输出单元411(响应于按下自动调整执行按钮463)基于最佳视角信息，执行在步骤S600中指定的摄像装置的视角的调整。
如上所述，根据第三实施例，能够基于从多个摄像装置或视频获得的属性的频率信息，输出关于难以应用视频分析处理的摄像装置的信息。因为向用户呈现了关于难以应用视频分析处理的摄像装置的信息，所以用户能够容易地注意到需要调整视角的摄像装置。作为选择，将难以应用视频分析处理的摄像装置自动调整为具有适当的视角。因此，能够减轻为了进行视频分析处理而调整各个摄像装置的视角时的负担。
注意，在上面的第一实施例至第三实施例中，如参照图3A和图3B所描述的，分析单元213根据由用户选择的摄像装置计算总体属性频率信息，但是本发明不限于此。例如，分析单元213可以使用在距一个摄像装置一定距离内的、多个周边摄像装置中的一个摄像装置作为比较目标，来计算属性频率信息。在这种情况下，将基于从距摄像装置一定距离内的周边摄像装置获得的视频，来计算总体属性频率信息。另外，在这种情况下，第三实施例的比较单元214将从一个摄像装置获得的个体属性频率信息与由分析单元213获得的比较目标的属性频率信息进行比较。此外，用于确定用作比较目标的摄像装置的方法是基于表示照相机之间的连接的信息的方法即可，并且不限于如上所述的基于距离的方法。例如，可以将预先划分的区域内的摄像装置确定为比较目标。此外，可以基于诸如距离等的信息对与各个摄像装置相对应的属性频率信息进行加权。
此外，由视角计算单元215进行的处理是用于基于比较结果和属性频率信息获得最佳视角的处理即可，并且不限于如上所述的基于与数据库的比较的方法。例如，可以定义并使用用于基于属性频率信息获得视角的数学函数。
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (17)

1.一种视频处理装置，所述视频处理装置包括：
获得单元，其用于获得从多个摄像装置获得的视频；
提取单元，其用于从由获得单元获得的视频中提取预定属性；
分析单元，其用于计算个体属性频率信息和总体属性频率信息，所述个体属性频率信息表示由提取单元针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示由提取单元针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及
输出单元，其用于输出个体属性频率信息和总体属性频率信息。
2.根据权利要求1所述的视频处理装置，
其中，所述输出单元具有用于向用户呈现个体属性频率信息和总体属性频率信息的呈现单元，并且
所述呈现单元：
呈现表示摄像装置的布局的布局图，并且
呈现由分析单元获得的、针对在布局图中指定的摄像装置的个体属性频率信息。
3.根据权利要求1所述的视频处理装置，
其中，所述输出单元具有用于向用户呈现个体属性频率信息和总体属性频率信息的呈现单元，并且
所述呈现单元：
呈现表示摄像装置的布局的布局图，并且
在所述布局图中的各个摄像装置的位置处叠加并显示个体属性频率信息。
4.一种视频处理装置，所述视频处理装置包括：
获得单元，其用于获得从多个摄像装置获得的视频；
提取单元，其用于从由获得单元获得的视频中提取预定属性；
分析单元，其用于计算个体属性频率信息和总体属性频率信息中的至少一者，所述个体属性频率信息表示由提取单元针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示由提取单元针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及
确定单元，其用于基于个体属性频率信息和总体属性频率信息中的至少一者，从多个视频分析处理当中确定可应用的视频分析处理。
5.根据权利要求4所述的视频处理装置，
其中，所述确定单元通过将总体属性频率信息与包括关于所述多个分析处理中的各个视频分析处理的必要属性项目及必要属性项目的频率的必要属性数据进行比较，来确定可应用的视频分析处理。
6.根据权利要求4所述的视频处理装置，
其中，关于所述多个视频分析处理中的各个视频分析处理，所述确定单元对获得了满足必要属性项目的频率的个体属性频率信息的摄像装置的数量进行计数，并且基于计数的结果确定可应用的视频分析处理。
7.根据权利要求4至6中任一项所述的视频处理装置，所述视频处理装置还包括：
呈现单元，其用于向用户呈现由确定单元确定为可应用的视频分析处理。
8.一种视频处理装置，所述视频处理装置包括：
获得单元，其用于获得从多个摄像装置获得的视频；
提取单元，其用于从由获得单元获得的视频中提取预定属性；
分析单元，其用于计算个体属性频率信息和总体属性频率信息，所述个体属性频率信息表示由提取单元针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示由提取单元针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及
确定单元，其用于将与对总体属性频率信息的相似度小于预定值的个体属性频率信息相对应的摄像装置，确定为不适于执行视频分析处理的摄像装置。
9.根据权利要求8所述的视频处理装置，
其中，所述视频处理装置具有视角数据，在视角数据中代表性属性频率信息和视角信息彼此相关联，并且
所述视频处理装置还包括视角获得单元，所述视角获得单元用于基于与对总体属性频率信息具有最大相似度的代表性属性频率信息相关联的视角信息，获得要为被确定为不适于执行视频分析处理的摄像装置设置的视角。
10.根据权利要求9所述的视频处理装置，所述视频处理装置还包括：
呈现单元，其用于基于由视角获得单元获得的视角与被确定为不适于执行视频分析处理的摄像装置的视角之间的差，呈现关于调整摄像装置的视角的建议。
11.根据权利要求9所述的视频处理装置，所述视频处理装置还包括：
调整单元，其用于基于由视角获得单元获得的视角与被确定为不适于执行视频分析处理的摄像装置的视角，对摄像装置的视角进行调整。
12.根据权利要求8至11中的任一项所述的视频处理装置，所述视频处理装置还包括：
指定单元，其用于基于个体属性频率信息或总体属性频率信息，从多个视频分析处理当中确定可应用的视频分析处理，并且提示用户从被确定为可应用的视频分析处理当中指定视频分析处理，
其中，所述确定单元将不适于执行在指定单元中指定的视频分析处理的摄像装置，确定为不适于执行视频分析处理的摄像装置。
13.根据权利要求1至3、权利要求4至6以及权利要求8至11中的任一项所述的视频处理装置，所述视频处理装置还包括：
选择单元，其用于选择要进行分析的摄像装置，
其中，所述多个摄像装置由通过选择单元选择的摄像装置构成。
14.根据权利要求1至3、权利要求4至6以及权利要求8至11中的任一项所述的视频处理装置，
其中，所述分析单元使用当提取单元从视频中提取属性时获得的精确度信息作为权重，来计算个体属性频率信息和总体属性频率信息。
15.一种视频处理装置的控制方法，所述方法包括以下步骤：
获得从多个摄像装置获得的视频；
从在获得步骤中获得的视频中提取预定属性；
计算个体属性频率信息和总体属性频率信息，所述个体属性频率信息表示在提取步骤中针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示在提取步骤中针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及
输出个体属性频率信息和总体属性频率信息。
16.一种视频处理装置的控制方法，所述方法包括以下步骤：
获得从多个摄像装置获得的视频；
从在获得步骤中获得的视频中提取预定属性；
计算个体属性频率信息和总体属性频率信息中的至少一者，所述个体属性频率信息表示在提取步骤中针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示在提取步骤中针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及
基于个体属性频率信息和总体属性频率信息中的至少一者，从多个视频分析处理当中确定可应用的视频分析处理。
17.一种视频处理装置的控制方法，所述方法包括以下步骤：
获得从多个摄像装置获得的视频；
从在获得步骤中获得的视频中提取预定属性；
计算个体属性频率信息和总体属性频率信息，所述个体属性频率信息表示在提取步骤中针对由所述多个摄像装置中的各个摄像装置获得的视频所提取属性的频率，所述总体属性频率信息表示在提取步骤中针对由所述多个摄像装置获得的多个视频所提取属性的频率；以及
将与对总体属性频率信息的相似度小于预定值的个体属性频率信息相对应的摄像装置，确定为不适于执行视频分析处理的摄像装置。
CN201710173566.8A 2016-03-24 2017-03-22 视频处理装置及控制方法 Active CN107231519B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016060901A JP6739200B2 (ja) 2016-03-24 2016-03-24 映像処理装置、映像処理システムおよび制御方法
JP2016-060901 2016-03-24

Publications (2)

Publication Number Publication Date
CN107231519A true CN107231519A (zh) 2017-10-03
CN107231519B CN107231519B (zh) 2021-06-22

Family

ID=58264408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710173566.8A Active CN107231519B (zh) 2016-03-24 2017-03-22 视频处理装置及控制方法

Country Status (4)

Country Link
US (1) US20170278265A1 (zh)
EP (1) EP3223192A3 (zh)
JP (1) JP6739200B2 (zh)
CN (1) CN107231519B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470455A (zh) * 2018-07-31 2021-03-09 索尼半导体解决方案公司 成像设备、电子装置及通知方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7062960B2 (ja) * 2018-01-12 2022-05-09 株式会社リコー 情報処理システム、プログラム、情報処理装置及び情報出力方法
US11495024B2 (en) * 2020-04-01 2022-11-08 Honeywell International Inc. Systems and methods for collecting video clip evidence from a plurality of video streams of a video surveillance system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070271580A1 (en) * 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
CN101401434A (zh) * 2006-03-14 2009-04-01 佳能株式会社 用于改变视频图像序列的时间频率的方法和装置
US20100013931A1 (en) * 2008-07-16 2010-01-21 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects
CN102496024A (zh) * 2011-11-25 2012-06-13 山东大学 智能监控中以特征帧触发的事件检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0715453B1 (en) * 1994-11-28 2014-03-26 Canon Kabushiki Kaisha Camera controller
JP4125634B2 (ja) * 2003-05-26 2008-07-30 Ｎｅｃソフト株式会社 顧客情報収集管理方法及びそのシステム
US7792359B2 (en) * 2006-03-02 2010-09-07 Sharp Laboratories Of America, Inc. Methods and systems for detecting regions in digital images
JP2010033474A (ja) * 2008-07-31 2010-02-12 Omron Corp 属性別人数集計装置、属性別人数集計方法、および属性別人数集計システム
JP5923723B2 (ja) 2011-06-02 2016-05-25 パナソニックＩｐマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
CN102831615A (zh) * 2011-06-13 2012-12-19 索尼公司 对象监控方法和装置,以及监控系统操作方法
JP5971712B2 (ja) 2012-09-20 2016-08-17 株式会社東芝 監視装置及び方法
US9158970B2 (en) * 2012-11-16 2015-10-13 Canon Kabushiki Kaisha Devices, systems, and methods for visual-attribute refinement
JP6098981B2 (ja) * 2015-03-31 2017-03-22 パナソニックＩｐマネジメント株式会社 会計業務支援装置、会計業務支援システムおよび会計業務支援方法
US9838604B2 (en) * 2015-10-15 2017-12-05 Ag International Gmbh Method and system for stabilizing video frames

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101401434A (zh) * 2006-03-14 2009-04-01 佳能株式会社 用于改变视频图像序列的时间频率的方法和装置
US20070271580A1 (en) * 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
US20100013931A1 (en) * 2008-07-16 2010-01-21 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects
CN102496024A (zh) * 2011-11-25 2012-06-13 山东大学 智能监控中以特征帧触发的事件检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470455A (zh) * 2018-07-31 2021-03-09 索尼半导体解决方案公司 成像设备、电子装置及通知方法
CN112470455B (zh) * 2018-07-31 2022-12-20 索尼半导体解决方案公司 成像设备、电子装置及通知方法
US11561458B2 (en) 2018-07-31 2023-01-24 Sony Semiconductor Solutions Corporation Imaging apparatus, electronic device, and method for providing notification of outgoing image-data transmission

Also Published As

Publication number Publication date
CN107231519B (zh) 2021-06-22
JP2017175466A (ja) 2017-09-28
US20170278265A1 (en) 2017-09-28
EP3223192A3 (en) 2017-12-13
EP3223192A2 (en) 2017-09-27
JP6739200B2 (ja) 2020-08-12

Similar Documents

Publication Publication Date Title
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6664163B2 (ja) 画像識別方法、画像識別装置及びプログラム
Han et al. Age estimation from face images: Human vs. machine performance
US9396412B2 (en) Machine-learnt person re-identification
JP6013241B2 (ja) 人物認識装置、及び方法
JP5008269B2 (ja) 情報処理装置、情報処理方法
US8861801B2 (en) Facial image search system and facial image search method
US20200026949A1 (en) Hash-based appearance search
JP6254836B2 (ja) 画像検索装置、画像検索装置の制御方法およびプログラム
US10896319B2 (en) Person identification device
JP6172551B1 (ja) 画像検索装置、画像検索システム及び画像検索方法
CN109214373A (zh) 一种用于考勤的人脸识别系统及方法
WO2016190814A1 (en) Method and system for facial recognition
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN107918773B (zh) 一种人脸活体检测方法、装置及电子设备
CN107231519A (zh) 视频处理装置及控制方法
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN104091173A (zh) 一种基于网络摄像机的性别识别方法及装置
Balazia et al. Learning robust features for gait recognition by maximum margin criterion
JP2019185205A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2012221053A (ja) 画像認識装置、画像認識方法、及びプログラム
JP2002208011A (ja) 画像照合処理システムおよび画像照合方法
JP3988554B2 (ja) 画像照会用情報構築方法および画像照会方法
JP7103443B2 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant