CN106603968A - 信息处理装置及信息处理方法 - Google Patents

信息处理装置及信息处理方法 Download PDF

Info

Publication number
CN106603968A
CN106603968A CN201610880361.9A CN201610880361A CN106603968A CN 106603968 A CN106603968 A CN 106603968A CN 201610880361 A CN201610880361 A CN 201610880361A CN 106603968 A CN106603968 A CN 106603968A
Authority
CN
China
Prior art keywords
information
image
subject
unit
stability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610880361.9A
Other languages
English (en)
Other versions
CN106603968B (zh
Inventor
东条洋
本条智也
山本真司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN106603968A publication Critical patent/CN106603968A/zh
Application granted granted Critical
Publication of CN106603968B publication Critical patent/CN106603968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种信息处理装置及信息处理方法。所述信息处理装置包括：评价单元，其被构造成参照由成像单元拍摄的图像中的被摄体的轨迹，来评价所述成像单元的摄影范围的部分区域是否是适合于要基于所述被摄体的特征量而进行的分析处理的区域；以及输出控制单元，其被构造成控制所述信息处理装置输出反映由所述评价单元获得的评价结果的信息。因此，所述信息处理装置能够支持用户提高要基于所述被摄体的特征量而进行的分析处理的精度。

Description

信息处理装置及信息处理方法
技术领域
本发明涉及一种信息处理装置及信息处理方法。
背景技术
传统上已知如下技术，该技术能够从相机图像中检测人体区域，从检测到的人体区域获取特征量(例如，衣服的颜色或形状)，并且基于所获取的特征量之间的比较来确定多个图像中是否包括目标人体。如日本特开2009-265922号公报中所讨论的，存在如下传统技术，该技术能够初步地进行用于从多个相机获取特征量的处理，并且基于由所述多个相机获取的特征量之间的比较来识别目标人体的存在。根据上述技术，通过整合由各个相机所获得的对目标人体的跟踪结果，能够跟踪跨越由多个相机拍摄的图像的目标人体。
然而，例如，在出于监视目的而将相机固定在预定位置处的情况下，以从目标人体不断获取稳定的特征量的方式连续进行摄像操作是困难的。例如，如果目标人体的移动方向突然地改变，则由于被摄体相对于相机的方向急剧改变而会出现图像模糊。此外，在目标人体改变移动方向时，可能会突然地出现背包的颜色。在这种情况下，不同的特征量将混合在一起，这是不期望的。在这种情形下，很难在要基于目标被摄体的特征量而进行的分析处理中，获取可靠性高的结果。
发明内容
本发明旨在一种能够支持用户提高要基于目标被摄体的特征量而进行的分析处理的精度的技术。例如，信息处理装置具有以下构造。
根据本发明的一方面，所述信息处理装置包括：评价单元，其被构造成参照由成像单元拍摄的图像中的被摄体的轨迹，来评价所述成像单元的摄影范围的部分区域是否是适合于要基于所述被摄体的特征量而进行的分析处理的区域；以及输出控制单元，其被构造成控制所述信息处理装置输出反映由所述评价单元获得的评价结果的信息。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1例示了成像系统的整体布置。
图2例示了信息处理装置的硬件构造。
图3例示了信息处理装置的软件构造。
图4是例示稳定度分布计算处理的流程图。
图5A及图5B例示了稳定度分布计算处理。
图6是例示识别处理的流程图。
图7A及图7B例示了通知信息的显示示例。
图8例示了识别结果的显示示例。
具体实施方式
下面将参照附图来详细地描述本发明的示例性实施例。
图1例示了根据示例性实施例的成像系统10的整体布置。成像系统10包括信息处理装置100及多个成像装置110。尽管图1中所例示的成像系统10包括三个成像装置110，但是成像系统10中所包括的成像装置110的数量并不限于特定的数量。信息处理装置100与成像装置110经由网络120而相互地连接。各个成像装置110包括摄影单元。成像装置110将由摄影单元所拍摄的图像发送给信息处理装置100。在本示例性实施例中，假定拍摄的图像是运动图像(即，视频)。
信息处理装置100从由成像装置110所拍摄的图像提取目标被摄体的特征量。信息处理装置100基于由多个成像装置110所获得的各拍摄图像中的特征量，来识别各被摄体。信息处理装置100要进行的对被摄体的识别处理，是基于特征量对拍摄图像的分析处理的示例。在本示例性实施例中，识别处理仅是分析处理的示例。然而，分析处理并不限于识别处理，而可以是基于特征量而进行的任何其他处理。此外，在本示例性实施例中，识别目标被摄体是人体。然而，识别目标并不限于人体，而可以是车辆或任何其他非人体。
图2例示了信息处理装置100的硬件构造。中央处理单元(CPU)201根据存储在只读存储器(ROM)202或随机存取存储器(RAM)203中的程序的指令来执行处理。ROM 202是非易失性存储器，其存储对于控制信息处理装置100所必需的程序及数据。RAM 203是易失性存储器，其存储临时数据(例如，帧图像数据及图案辨别结果)。二级存储装置204是存储图像信息、图像处理程序及各种设定内容的二级可重写存储装置，例如，硬盘驱动器或闪存。为了实现信息处理装置100的功能及处理，CPU 201从ROM 202或二级存储装置204中读取程序，并且根据各个程序来执行处理。
输入装置205是键盘或鼠标，其使得用户能够输入指令、数据或任何其他信息。显示装置206是阴极射线管(CRT)设备或液晶显示设备，其显示要呈现给用户的处理结果。网络接口(I/F)207是调制解调器或局域网(LAN)终端，其将信息处理装置100连接到适当的网络(例如，互联网或内联网)。总线208连接上述硬件设备201至207，使得能够实现相互的数据输入/输出操作。
图3例示了信息处理装置100的软件构造。被摄体检测单元301从由成像装置110所拍摄、并经由网络I/F 207而接收到的视频中检测被摄体区域。跟踪单元302将处理目标帧图像中的、已由被摄体检测单元301检测到的被摄体区域，与在处理目标帧图像之前的在先帧图像中所检测到的被摄体区域相关联。跟踪单元302通过使多个帧图像中的被摄体区域关联，来跟踪拍摄图像中的所检测到的预定被摄体。因此，跟踪单元302能够获得表示对拍摄图像中所包括的目标被摄体的跟踪结果的跟踪信息。更具体地说，跟踪信息表现被摄体在画面上的移动。在这种情况下，各个用户可以在观看拍摄图像的同时，经由诸如鼠标或触摸屏的操作输入设备等(未例示)来输入跟踪信息。
特征提取单元303从由被摄体检测单元301所检测到的被摄体区域提取特征量。例如，各个被摄体的特征量包括关于颜色/边缘/纹理、衣服的颜色、头发的颜色、面部器官的形状、身高、太阳镜的存在、胡须的存在、以及包或任何其他附属品的存在的信息。元数据生成单元304基于通过跟踪单元302的上述处理而获得的跟踪信息、以及通过特征提取单元303的上述处理而获得的特征量信息，来生成拍摄图像的元数据。元数据存储单元305存储由元数据生成单元304所生成的元数据。在本示例性实施例中，元数据存储单元305是RAM203或二级存储装置204。在元数据存储在元数据存储单元305中时，元数据与拍摄到当前处理的图像的成像装置110的装置标识(ID)(标识信息)相关联。识别单元306基于存储在元数据存储单元305中的特征量信息，来对由各个成像装置110拍摄的多个图像中包括的被摄体进行核对(或比较)，并且识别被摄体。
稳定度计算单元307基于存储在元数据存储单元305中的跟踪信息来计算稳定度，并且将关于所计算出的稳定度的信息存储在稳定度存储单元308中。稳定度计算单元307是RAM 203或二级存储装置204。在本示例性实施例中，稳定度是表示在与由各个成像装置110所拍摄的图像相对应的摄影范围的部分区域中提取被摄体的稳定的特征量的容易程度(easiness)的值。在能够适当地提取特征量的可能性较高的情况下，稳定度较高。另一方面，在能够适当地提取特征量的可能性较低的情况下，稳定度较低。例如，假定成像装置110拍摄正转过拐角的人体(即，被摄体)的图像。在这种情况下，被摄体角度在拐角处改变。因此，一些特征量(例如，眼镜)可能无法被成像装置110连续地拍摄到。在这种情况下，稳定度变低。此外，在被摄体的移动速度很高时，由于图像将包括模糊的被摄体，因此适当地提取特征量会很困难。因此，在特定区域中，如果被摄体的移动速度变高，则稳定度相应地变低。下面将详细地描述稳定度计算处理的示例。
分布计算单元309基于由稳定度计算单元307所计算出的稳定度，按每个预定时间来计算由各个成像装置110拍摄的图像的稳定度分布。此外，分布计算单元309将关于所计算出的稳定度分布的信息存储在分布存储单元310中。在本示例性实施例中，分布存储单元310是RAM 203或二级存储装置204。稳定度分布是表示拍摄图像的各个部分区域的稳定度的信息。下面将详细地描述稳定度分布计算处理的示例。确定单元(即，评价单元)311参照稳定度分布来确定(或评价)拍摄图像的各个部分区域是否是适合于要基于被摄体的特征量而进行的识别处理(分析处理)的区域。
成像控制单元312控制各个成像装置110的成像条件。更具体地说，成像控制单元312确定作为各个成像装置110的成像条件的控制参数，并且经由网络I/F 207而将所确定的控制参数发送给相对应的成像装置110。在本示例性实施例中，控制参数包括参数改变命令、及各个成像装置110的各种成像条件(例如，帧速率、快门速度、曝光及平移/倾斜/变焦等)。各个成像装置110基于从信息处理装置100接收到的控制参数来进行摄像操作。例如，成像装置110能够将成像帧速率从1fps(每秒的帧数)改变成30fps。
图4是例示由信息处理装置100所进行的稳定度分布计算处理的示例的流程图。在步骤S401中，被摄体检测单元301获取由各个成像装置110所拍摄的帧图像(视频)。在本示例性实施例中，假定对各个帧图像分配了帧ID(即，时间信息)。此外，假定对各个帧图像分配了相应成像装置110的装置ID。
在步骤S402中，被摄体检测单元301从各个帧图像检测被摄体。可运用用于检测输入视频与背景模型之间的差异的背景差分法，来作为要在步骤S402中进行的被摄体检测处理的第一示例，根据仅对背景排他地成像的视频来预先生成该背景模型。以下是描述上述处理的详情的参考文献。
Stauffer C,Grimson W.E.L.Adaptive background mixture models forreal―time tracking.In Proceedings.1999IEEE Computer Society Conference onComputer Vision and Pattern Recognition(Cat.No PR00149).IEEE Comput.Soc.PartVol.2,1999
人体检测的第二示例是用于利用预定尺寸的检测窗来扫描输入图像、并且确定利用该检测窗而扫描的图像当中的被切出的图案图像是否是人体的2级辨别方法。根据上述辨别方法，运用AdaBoost以使得构成辨别精度优良的辨别器的方式来有效地组合大量的弱辨别器。此外，上述辨别方法包括以使得构成级联型检测器的方式来串联地连接上述辨别器。弱辨别器由梯度直方图(HOG)特征量构成。首先，级联型检测器通过使用前阶简单辨别器，来将与被摄体明显地不同的许多图案候选去除。然后，级联型检测器通过使用识别能力更高的后阶复杂辨别器，来从剩余的候选中辨别出人体。以下是描述上述处理的详情的参考文献。
美国专利申请公报第2007/0237387号
在本示例性实施例中，被摄体并不限于人体，而可以是任何其他被摄体。例如，如果被摄体是车辆，则创建适用于车辆的上述第二示例性辨别器是有用的。
被摄体检测单元301通过使用围绕人体的矩形的两点(例如，左上角点及右下角点)的x坐标值及y坐标值，来表达被摄体区域，相对于位于帧图像的左上点处的原点来定义x坐标值及y坐标值。被摄体检测单元301可以使用对与人体相对应的像素分配数值1而对与其他部分相对应的像素分配数值0的掩模图像。使用掩模图像使得能够将在被摄体区域被表达为矩形时可能包括的任何非人像素和与人有关的像素相区别。
在步骤S403中，跟踪单元302选择一个帧图像作为处理目标。下文中，将处理目标的帧图像称作“目标帧图像”。此外，将目标帧图像之前的帧图像称作“在先帧图像”。跟踪单元302进行用于从在先帧图像中所检测到的多个被摄体中识别与目标帧图像相对应的被摄体的跟踪处理。然后，跟踪单元302输出跟踪处理结果作为跟踪信息。该跟踪信息是对各个被摄体唯一的信息。更具体地说，跟踪信息包括识别各个被摄体的被摄体ID、识别包括被摄体的帧图像的帧ID、及被摄体在帧图像中的位置。被摄体的位置是表示被摄体区域的中心位置的x坐标及y坐标的信息。
可运用各种方法来实现上述跟踪处理。例如，存在用于将目标帧图像中的被摄体区域的中心位置与在先帧图像中的最近的被摄体区域的中心位置相关联的方法。作为另一种方法，可运用使用在先帧图像的被摄体区域作为核对图案的图案匹配。可运用能够将多个帧中的相对应的被摄体相互关联的任何其他方法。
在步骤S404中，特征提取单元303从目标帧图像的被摄体区域中提取被摄体的特征量。特征提取单元303将所提取的特征量与如下信息相关联，即与目标帧图像相对应的成像装置110的装置ID、被摄体ID及被摄体位置。然后，特征提取单元303将所关联的特征量信息输出到元数据生成单元304。特征量包括从被摄体区域提取的颜色、亮度及边缘。
此外，作为另一示例，特征提取单元303可以提取能够识别人体的存在的任何其他信息(例如，包、太阳镜及胡须)来作为特征量。可以通过使用从0至1的范围内的数值来表达特征量。对于包信息，数值0表示不存在包的状态，而数值1表示确定地存在包的状态。在不能清楚地确定存在的情况下，使用中间值(例如，0.5)会是有用的。在上述提取处理中，可以使用形状特征(例如，局部二值模式(LBP)特征量或HOG特征量)或者能够通过使用Gabor滤波器或Schmid滤波器来提取的纹理特征。例如，在要提取的特征量是包的情况下，可以针对携带包的人和未携带包的人二者都准备大量的正确答案图像。能够生成如下识别器，该识别器能够识别特征量空间中的与正确答案相对应的特征量及其他特征量。在本示例性实施例中，如果要提取的特征量是包，则对各个正确答案图像分配表示人是否携带包的标签。支持矢量机(SVM)是识别器的示例。以下是描述上述处理的详情的参考文献。
R.Layne,T.M.Hospedales,and S.Gong."Towards Person Identification andRe-identification with Attributes."In Proc.ECCV,2012
在步骤S405中，元数据生成单元304基于由跟踪单元302所生成的跟踪信息以及由特征提取单元303所生成的特征量来生成元数据。此外，元数据生成单元304将所生成的元数据存储在元数据存储单元305中。信息处理装置100重复步骤S401至步骤S405中的处理，直到用户经由输入装置205而输入终止指令为止。以这种方式，信息处理装置100连续地生成与由成像装置110所拍摄的图像相对应的各个帧图像的元数据，并且将所生成的元数据接连地存储在元数据存储单元305中。
信息处理装置100进行步骤S406及后续步骤中的处理以计算稳定度分布。信息处理装置100通过针对各个成像装置110而进行步骤S406及后续步骤中的处理，来计算各个成像装置110的稳定度分布。在步骤S406中，稳定度计算单元307从元数据存储单元305中提取关于处理目标成像装置110的轨迹信息，并且基于所提取的轨迹信息来计算稳定度(即，进行计算处理)。如上所述，表示获取特征量的能力的稳定度能够依据视频中被摄体的移动而变化。被摄体的移动方向改变及移动速度是使稳定度改变的因素。
如果被摄体的移动方向大幅改变，则被摄体相对于成像装置110的方向急剧改变，并且不同的特征将混合在一起，这是不期望的。因此，将以使得在移动方向的改变越大时稳定度变得越低的方式来进行公式化。能够参照轨迹信息，并且能够参照关于目标帧图像中的被摄体以及在先帧图像中的分配了相同被摄体ID的被摄体的位置坐标信息，来获得帧图像中的改变角度。更具体地说，稳定度计算单元307使用以下公式来计算稳定度。
1–tan-1((Y2–Y1)/(X2–X1))/360
在该公式中，(X1,Y1)代表在先帧图像中的被摄体的位置，(X2,Y2)代表目标帧图像中的被摄体的位置。此外，稳定度是0与1之间的数值。最大稳定度值是1。
作为另一种方法，可以预先校准成像装置110，使得稳定度计算单元307能够将成像装置110中的坐标值转换成实际空间中的三维坐标值，并且在实际空间中进行计算。能够通过将被摄体的位置转换成地平面(即，地表面)上的坐标值，来获得实际空间中的运动矢量。另外，能够计算将实际空间中的成像装置110与被摄体相连接的矢量。因此，获得两个矢量的总和能够提高角度改变计算的精度。
如果被摄体的移动速度很大，则将获得模糊的图像，并且被摄体的特征将与背景的特征混合在一起，这是不期望的。因此，以使得在移动速度等于或大于预定速度时稳定度变成0的方式来进行公式化是有用的。各个帧的间隔是恒定的。因此，能够利用像素的数量来表达的、不同帧之间被摄体的移动距离，能够被视为画面上的速度。更具体地说，稳定度计算单元307在以下条件得到满足时确定稳定度为0。否则，稳定度被视为1。能够参照速度与被摄体模糊之间的关系来预先获得速度阈值。
(X2–X1)2+(Y2–Y1)2>(速度阈值)2
稳定度计算单元307针对上述两个因素中的各个因素来计算稳定度，并且使用最小稳定度值。在步骤S407中，稳定度计算单元307在将各个数据与装置ID、帧ID及帧图像中的位置(即，目标帧图像中被摄体区域的中心位置坐标)相关联的同时，将上述计算出的稳定度信息存储在存储单元中。
稳定度计算单元307针对与预定时间相对应的各个帧图像，反复进行步骤S406及步骤S407中的处理，使得稳定度存储单元308能够针对帧图像上的各个位置而存储多个稳定度值。因此，可以假定已移动或经过成像装置110的成像范围的被摄体的数量对于稳定度评价是足够的。针对各被摄体，在拍摄图像上的各位置处，对各帧图像而计算出的多个稳定度值进行总计，对于减弱被摄体依赖要素并确定地获得环境(位置)依赖稳定度信息是有效的。
图5A例示了稳定度计算处理(步骤S406中进行)的详情。拍摄图像500包括被摄体(例如，人体)501及障碍物503a和503b。现假定已从在预定时间段期间拍摄的多个图像中获得被摄体的两种类型的轨迹502a和502b。轨迹502a代表被摄体501从远侧径直移动到近侧(从成像装置110看时)的一组轨迹。轨迹502b代表被摄体501由于障碍物503a和503b的存在而从远侧右转(从成像装置110看时)的一组轨迹。在这种情况下，在区域510中能够稳定地提取特征量的可能性较高，这是因为被摄体在移动方向的改变量较小。另一方面，在不考虑被摄体的情况下，在区域511中不能稳定地进行对特征量的提取的可能性较高，这是因为移动方向的改变量在拐角处较大。
返回参照图4，如果在预定时间所获得的稳定度信息已存储在分布存储单元310中，则在步骤S408中，分布计算单元309基于存储在分布存储单元310中的稳定度信息来计算稳定度分布。更具体地说，分布计算单元309读取在预定时间所获得的、与处理目标成像装置110的装置ID相关联的稳定度信息，并且针对拍摄图像中的各个位置对稳定度信息进行总计。示例性总计方法是通过将稳定度信息分割成多个0.1的直条(bin)来获得直方图，并且获得众数(mode)或中位数(median)。大量的被摄体经过同一位置的可能性较低。因此，例如，可以将画面分割成多个块，并且在将各个块中的环境视为相似的情况下，针对各个块而进行总计。
图5B例示了稳定度分布计算处理(步骤S408中进行)的详情。如图5B中所例示的，拍摄图像520被分割成多个块521。分布计算单元309针对各个块来计算稳定度的众数。图5B的各个块521中所例示的数值是所获得的各个块的众数。图5B中所例示的拍摄图像520与图5A中所例示的拍摄图像500相对应。应当理解，与拍摄图像500的区域510相对应的块的众数较高，而与区域511相对应的块的众数较低。此外，对不能观察到被摄体的移动的块分配负值或可与众数(即，从0至1的范围中的值)相区别的任何其他值是有用的，以使得能够识别未观察到被摄体的块。
返回参照图4，在步骤S409中(即，在完成步骤S408中的处理之后)，分布计算单元309将所计算出的稳定度分布存储在分布存储单元310中。如果分布存储单元310中已经存储有任何稳定度分布，则分布计算单元309用当前获得的稳定度分布来覆写(overwrite)先前存储的稳定度分布。换言之，分布计算单元309在每个预定时间来更新稳定度分布。分布存储单元310能够响应于随时间的环境改变，在与处理定时差异不太大的适当的定时来不断地存储稳定度分布。如上所述，信息处理装置100针对所有的成像装置110进行步骤S406至步骤S409中的处理，并且存储所有的成像装置110的稳定度分布。此外，信息处理装置100通过周期性地重复如上所述的稳定度计算处理来更新稳定度分布。
图6是例示识别处理的流程图。用户将各个识别目标成像装置110的装置ID输入到输入装置205。在步骤S601中，响应于用户输入操作，确定单元311接受关于用户所选择的各个目标成像装置110的信息。更具体地说，确定单元311接受用户经由输入装置205而输入的各个成像装置110的装置ID。在步骤S601中可以仅选择一个成像装置110或选择多个成像装置110。在步骤S602中，确定单元311识别存储在分布存储单元310中的、与用户所输入的装置ID相关联的稳定度分布。
在步骤S603中，确定单元311基于稳定度分布来确定各个区域是否适于识别处理。即，确定单元311进行确定处理。更具体地说，确定单元311将稳定度等于或低于阈值的块，确定为不适合于识别处理的区域。在这种情况下，假定阈值为0.4或任一其他任意值，并且预先存储在ROM202中。在步骤S604中，确定单元311根据确定结果来生成要通知的信息。然后，确定单元311控制显示装置206以显示通知信息。例如，如果存在稳定度等于或低于阈值的预定数量的块，则确定单元311使显示装置206显示诸如“包括不适合于识别处理的区域”的消息。用户能够在确认该确定经过之后确定是否进行应对。此外，如果与设定了有效值的所有块相对应的稳定度值等于或低于阈值，则确定单元311使显示装置206显示通知由用户所选择的成像装置110的识别处理不可用的通知信息。如上所述，确定单元311使显示装置206显示表示拍摄图像是否适合于分析处理的信息，作为通知信息。
作为另一示例，确定单元311可以控制显示装置206在拍摄图像(即，视频)上叠加表示稳定度等于或低于阈值的区域的图像(即，通知信息)。在本示例性实施例中，确定单元311将稳定度等于或低于阈值的块的外接矩形区域，识别为稳定度等于或低于阈值的区域。图7A中所例示的拍摄图像700包括表示稳定度等于或低于阈值的矩形区域的叠加矩形图像701，作为通知信息。因此，用户能够在视觉上确认识别处理有可能失败的区域。
此外，作为另一示例，确定单元311可以控制显示装置206在拍摄图像(即，视频)上叠加表示稳定度高于阈值的区域的图像(即，通知信息)。在本示例性实施例中，确定单元311将稳定度高于阈值的块的外接矩形区域，识别为稳定度高于阈值的区域。图7B中所例示的拍摄图像710包括表示稳定度大于阈值的矩形区域的叠加矩形图像711，作为通知信息。因此，用户能够在视觉上确认有可能成功地进行识别处理的区域。
此外，作为另一示例，如果存在预定数量或更多的、稳定度等于或低于阈值的块，则确定单元311能够控制显示装置206显示如下通知信息，该通知信息促使用户以使得稳定度大于阈值的区域与摄影范围相一致的方式，来改变与平移操作、倾斜操作及变焦操作有关的成像条件。稳定度等于或低于阈值的区域，可以是基于稳定度等于或低于阈值的块的位置而确定的区域，并且不限于上述示例。以上同样适用于稳定度大于阈值的区域。
步骤S603中要进行的处理是用于控制信息处理装置输出通知信息的输出控制处理的示例。输出通知信息的方式并不限于显示通知信息。作为另一示例，信息处理装置100可以使用扬声器作为声音通知设备。此外，作为另一示例，信息处理装置100可以被构造成经由网络120而将通知信息发送给外部装置。
如必要，用户根据步骤S604中所显示的通知信息，经由输入装置205来输入关于成像条件的改变指令。在步骤S605中，成像控制单元312确定是否已接收到改变指令。换言之，成像控制单元312进行接受处理。如果成像控制单元312确定已接收到改变指令(步骤S605中的“是”)，则操作进行到步骤S606。如果成像控制单元312确定未接收到改变指令(步骤S605中的“否”)，则操作进行到步骤S607。在步骤S606中，成像控制单元312将与改变指令相对应的控制参数发送给由用户所选择的成像装置110。如果成像装置110接收到控制参数，则成像装置110改变控制参数的设定，并且开始基于改变后的控制参数的摄像操作。
信息处理装置100针对在步骤S601中所选择的所有成像装置110来进行步骤S602至步骤S606中的上述处理。通过上述处理，信息处理装置100以使得实现适合于识别处理的成像条件的方式，来适当地改变成像装置110的控制参数(例如，视角、帧速率及快门速度等)。然后，如果准备完成，则识别单元306进行步骤S607及后续步骤中的识别处理。
在步骤S607中，识别单元306将完成准备之后获得的帧图像指定为处理目标，并且进行用于在参照元数据存储单元305的同时、基于处理目标帧图像的特征量来识别(即，分析)由多个成像装置110拍摄的图像中的目标被摄体的处理。为了将两个被摄体识别为同一被摄体，将它们之间的距离与预定阈值相比较是有用的。如果两个被摄体之间的距离等于或小于阈值，则识别单元306确定这两个被摄体相同。作为示例性方法，预先学习Euclid(欧氏)距离或Mahalanobis(马氏)距离以获得被摄体之间的距离是有用的。识别单元306针对步骤S601中所选择的所有成像装置110的任意组合，进行识别处理。
在步骤S608中，识别单元306控制显示装置206显示识别结果。图8例示了识别结果的显示示例。图8中所例示的识别结果画面800包括由一个成像装置110(装置ID＝1)所拍摄的图像810及由另一成像装置110(装置ID＝2)所拍摄的图像820。沿拍摄图像810的下部而显示的辅助信息是帧图像ID 811。类似地，沿拍摄图像820的下部而显示的辅助信息是帧图像ID 821。此外，叠加在拍摄图像810及拍摄图像820上的信息是装置ID 812及装置ID 822。如图8中所例示，在拍摄图像810中的被摄体813与拍摄图像820中的被摄体823相同的情况下，叠加在拍摄图像810上的被摄体ID 814与叠加在拍摄图像820上的被摄体ID 824相同。相同颜色的矩形图像815及矩形图像825分别叠加在拍摄图像810及拍摄图像820上，并且表示其中所包括的被摄体彼此相同。如果被比较的被摄体彼此不同，则要叠加在各个图像上的信息(被摄体ID、颜色等)被区分开。具体的显示内容并不限于上述示例。识别单元306可以根据任何其他方法来显示图像，只要用户能够辨识各个拍摄图像中所包括的目标被摄体的位置即可。
在步骤S609中，识别单元306确定是否经由输入装置205而从用户接收到终止指令。如果确定未接收到终止指令(步骤S609中的“否”)，则操作返回到步骤S607。识别单元306继续识别处理。如果确定已接收到终止指令(步骤S609中的“是”)，则识别单元306终止图6中所例示的识别处理。
如上所述，在根据本示例性实施例的成像系统10中，信息处理装置100能够将识别处理(即，要基于被摄体的特征量而进行的分析处理)的精度降低通知用户。因此，用户能够预先检查是否已获取适合于分析处理的图像。此外，用户能够适当地调整成像条件，或者能够做任何其他必要的准备。作为结果，信息处理装置100能够支持用户提高要基于目标被摄体的特征量而进行的分析处理的精度。
作为本示例性实施例的第一变型实施例，稳定度计算单元307可以被构造成基于移动速度来计算稳定度。在这种情况下，如果存在预定数量或更多的、稳定度等于或低于阈值的块，则确定单元311可以控制显示装置206显示促使用户增大成像装置110的帧速率的通知。此外，在由成像装置110所拍摄的图像是静止图像的情况下，确定单元311可以控制显示装置206显示促使用户增大快门速度的通知。在成像装置110进行静止图像拍摄操作的情况下，成像装置110周期性地拍摄静止图像，并且将拍摄图像发送给信息处理装置100。然后，信息处理装置100将各个静止图像(替代上述帧图像)指定为处理目标，并且进行参照图4所描述的稳定度分布计算处理以及参照图6所描述的识别处理。
作为第二变型实施例，作为在步骤S604中使显示装置206显示通知信息的替代处理或者附加处理，确定单元311可以指示成像控制单元312自动地改变成像条件。例如，确定单元311可以指示成像控制单元312以使得稳定度大于阈值的区域与摄影范围相一致的方式来改变与平移操作、倾斜操作及变焦操作有关的成像条件。在这种情况下，成像控制单元312将所指示的成像条件(即，控制参数)发送给相对应的成像装置110。上述处理是用于改变成像条件的改变控制处理的示例。如果成像装置110接收到控制参数，则成像装置110开始基于所接收到的控制参数的摄像操作。
作为第三变型实施例，作为在步骤S604中使显示装置206显示通知信息的替代处理或者附加处理，确定单元311可以进行用于将识别处理的目标区域改变成稳定度等于或大于阈值的区域的改变处理。在这种情况下，识别单元306将由确定单元311所确定的区域指定为新的处理目标，并且在该处理目标区域中进行识别处理。
作为第四变型实施例，多个装置可以相互协作以实现根据本示例性实施例的信息处理装置100的处理。例如，第一装置可以在先地进行用于计算稳定度分布的处理。第二装置可以从第一装置接收稳定度分布，以基于所接收到的稳定度分布来进行图6中所例示的识别处理。此外，作为另一示例，成像装置110可以被构造成进行要由信息处理装置100来进行的处理的一部分。例如，成像装置110可以被构造成进行用于生成包括被摄体ID及特征量的元数据的处理。在这种情况下，信息处理装置100可以从成像装置110接收元数据以进行稳定度计算处理。
通过以下方法能够达到本发明的目的。更具体地说，所述方法包括：将存储有能够实现上述示例性实施例的功能的软件程序代码的记录介质(或存储介质)，提供给系统或装置。此外，所述方法包括：使系统或装置的计算机(或CPU或微处理器单元(MPU))从记录介质中读取程序代码并且执行该程序代码。在这种情况下，从记录介质中读取的程序代码能够实现上述示例性实施例的功能。存储程序代码的记录介质可以构成本发明。
此外，本发明并不限于执行程序代码以实现上述示例性实施例的功能的计算机。本发明涵盖在计算机上运行以基于程序代码的指令进行实际处理的一部分或全部的操作系统(OS)。
此外，本发明涵盖能够实现上述示例性实施例的功能的以下方法。所述方法包括：从记录介质读取程序代码，并且将该程序代码写入插在计算机中的功能扩展卡、或者配备在连接到计算机的功能扩展单元中的存储器。所述方法包括：使配设在功能扩展卡或功能扩展单元上的CPU基于程序代码的指令来进行实际处理的一部分或全部。在将本发明应用于上述记录介质的情况下，记录介质存储与上述流程图相对应的程序代码。
尽管参照一些示例性实施例而描述了本发明，但是本发明并不限于这些具体的示例性实施例，而是可以在本发明的范围内以各种方式来改变或变型。
如上所述，根据上述示例性实施例中的各个示例性实施例的信息处理装置，能够支持用户提高要基于目标被摄体的特征量而进行的分析处理的精度。
还可以通过读出并执行记录在存储介质(也可以更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以进行上述实施例中的一个或更多个实施例的功能、并且/或者包括用于进行上述实施例中的一个或更多个实施例的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以进行上述实施例中的一个或更多个实施例的功能、并且/或者控制所述一个或更多个电路以进行上述实施例中的一个或更多个实施例的功能从而进行的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(例如，压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备及存储卡等中的一个或更多个。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (14)

1.一种信息处理装置，所述信息处理装置包括：
评价单元，其被构造成参照由成像单元拍摄的图像中的被摄体的轨迹，来评价所述成像单元的摄影范围的部分区域是否是适合于要基于所述被摄体的特征量而进行的分析处理的区域；以及
输出控制单元，其被构造成控制所述信息处理装置输出反映由所述评价单元获得的评价结果的信息。
2.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
计算单元，其被构造成基于所述轨迹，来计算稳定度，所述稳定度表示在所述成像单元的摄影范围的部分区域中提取所述被摄体的稳定的特征量的容易程度，
其中，所述评价单元基于所计算出的稳定度，来评价所述部分区域是否是适合于要基于所述被摄体的特征量而进行的所述分析处理的区域。
3.根据权利要求2所述的信息处理装置，
其中，所述计算单元计算所述摄影范围的多个部分区域中的稳定度，并且
其中，所述评价单元评价各个部分区域是否是适合于所述分析处理的区域。
4.根据权利要求2或权利要求3所述的信息处理装置，其中，所述评价单元基于稳定度是否大于阈值来进行评价。
5.根据权利要求1所述的信息处理装置，其中，所述输出控制单元控制所述信息处理装置输出表示区域是否适合于所述分析处理的信息，作为反映所述评价结果的信息。
6.根据权利要求1所述的信息处理装置，其中，所述输出控制单元控制所述信息处理装置输出表示适合于所述分析处理的区域的信息，作为反映所述评价结果的信息。
7.根据权利要求1所述的信息处理装置，其中，所述输出控制单元控制所述信息处理装置输出表示不适合于所述分析处理的区域的信息，作为反映所述评价结果的信息。
8.根据权利要求1所述的信息处理装置，其中，所述输出控制单元控制所述信息处理装置输出促使用户根据所述评价结果来改变所述摄影范围的信息，作为反映所述评价结果的信息。
9.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
接受单元，其被构造成接受来自用户的、针对所述成像单元的成像条件的改变指令；以及
分析单元，其被构造成对基于根据所述改变指令改变的所述成像条件而获得的拍摄图像，进行所述分析处理。
10.根据权利要求2所述的信息处理装置，其中，所述计算单元基于所述被摄体的移动方向的改变、和移动速度中的至少一个，来计算稳定度。
11.根据权利要求2所述的信息处理装置，
其中，所述成像单元拍摄多个静止图像作为拍摄图像，
其中，所述计算单元基于所述被摄体的移动速度来计算稳定度，并且
其中，所述输出控制单元控制所述信息处理装置输出促使用户改变所述成像单元的快门速度的信息，作为反映所述评价结果的信息。
12.根据权利要求2所述的信息处理装置，
其中，所述成像单元拍摄运动图像，
其中，所述计算单元基于所述被摄体的移动速度来计算稳定度，并且
其中，所述输出控制单元控制所述信息处理装置输出促使用户改变所述成像单元的帧速率的信息，作为反映所述评价结果的信息。
13.根据权利要求2所述的信息处理装置，所述信息处理装置还包括：
跟踪单元，其被构造成基于所述被摄体的特征量来跟踪所述被摄体，其中，所述计算单元通过使用由所述跟踪单元获得的跟踪结果作为所述轨迹，来计算稳定度。
14.一种用于信息处理装置的信息处理方法，所述信息处理方法包括以下步骤：
参照由成像单元拍摄的图像中的被摄体的轨迹，来评价所述成像单元的摄影范围的部分区域是否是适合于要基于所述被摄体的特征量而进行的分析处理的区域；以及
控制所述信息处理装置输出反映获得的评价结果的信息。
CN201610880361.9A 2015-10-15 2016-10-09 信息处理装置及信息处理方法 Active CN106603968B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-204025 2015-10-15
JP2015204025A JP6624877B2 (ja) 2015-10-15 2015-10-15 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN106603968A true CN106603968A (zh) 2017-04-26
CN106603968B CN106603968B (zh) 2020-11-10

Family

ID=57189764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610880361.9A Active CN106603968B (zh) 2015-10-15 2016-10-09 信息处理装置及信息处理方法

Country Status (4)

Country Link
US (1) US10181075B2 (zh)
EP (1) EP3156940A1 (zh)
JP (1) JP6624877B2 (zh)
CN (1) CN106603968B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112368706A (zh) * 2018-07-10 2021-02-12 索尼公司 信息处理装置、信息处理方法和程序
CN112655196A (zh) * 2018-09-12 2021-04-13 索尼公司 图像处理设备、程序及图像处理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6474396B2 (ja) * 2014-06-03 2019-02-27 住友重機械工業株式会社 人検知システム及びショベル
JP7034690B2 (ja) * 2017-12-05 2022-03-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP3859420A4 (en) 2018-09-28 2021-09-29 NEC Corporation PHOTOGRAPHY CONTROL SYSTEM, PHOTOGRAPHY CONTROL PROCESS, CONTROL DEVICE, CONTROL PROCESS, AND STORAGE MEDIA
JP7242309B2 (ja) * 2019-01-16 2023-03-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7164008B2 (ja) * 2019-03-13 2022-11-01 日本電気株式会社 データ生成方法、データ生成装置及びプログラム
CN110149482B (zh) * 2019-06-28 2021-02-02 Oppo广东移动通信有限公司 对焦方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014080613A1 (ja) * 2012-11-22 2014-05-30 日本電気株式会社 色補正装置、色補正方法および色補正用プログラム
WO2014087621A1 (ja) * 2012-12-06 2014-06-12 日本電気株式会社 画像認識処理適性表示システム、方法およびプログラム
CN104145477A (zh) * 2011-12-20 2014-11-12 派尔高公司 调整颜色的方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3099771B2 (ja) * 1997-05-07 2000-10-16 日本電気株式会社 文字認識方法、装置及び文字認識プログラムを記録した記録媒体
US6711291B1 (en) * 1999-09-17 2004-03-23 Eastman Kodak Company Method for automatic text placement in digital images
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
JP4317465B2 (ja) * 2004-02-13 2009-08-19 本田技研工業株式会社 顔識別装置、顔識別方法及び顔識別プログラム
US20070237387A1 (en) 2006-04-11 2007-10-11 Shmuel Avidan Method for detecting humans in images
JP4585580B2 (ja) 2008-04-24 2010-11-24 東芝テック株式会社 人物動線追跡システム
JP5183392B2 (ja) * 2008-09-25 2013-04-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP5219847B2 (ja) * 2009-01-09 2013-06-26 キヤノン株式会社 画像処理装置及び画像処理方法
PT2880624T (pt) * 2012-03-26 2019-08-26 Koninklijke Philips Nv Aparelhos e métodos baseados em região de brilho para codificação e descodificação de imagens hdr
US9578224B2 (en) * 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
JP6316023B2 (ja) * 2013-05-17 2018-04-25 キヤノン株式会社 カメラシステム及びカメラ制御装置
JP6445775B2 (ja) * 2014-04-01 2018-12-26 キヤノン株式会社 画像処理装置、画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104145477A (zh) * 2011-12-20 2014-11-12 派尔高公司 调整颜色的方法及系统
WO2014080613A1 (ja) * 2012-11-22 2014-05-30 日本電気株式会社 色補正装置、色補正方法および色補正用プログラム
WO2014087621A1 (ja) * 2012-12-06 2014-06-12 日本電気株式会社 画像認識処理適性表示システム、方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112368706A (zh) * 2018-07-10 2021-02-12 索尼公司 信息处理装置、信息处理方法和程序
CN112655196A (zh) * 2018-09-12 2021-04-13 索尼公司 图像处理设备、程序及图像处理方法

Also Published As

Publication number Publication date
JP2017076288A (ja) 2017-04-20
EP3156940A1 (en) 2017-04-19
CN106603968B (zh) 2020-11-10
JP6624877B2 (ja) 2019-12-25
US10181075B2 (en) 2019-01-15
US20170109572A1 (en) 2017-04-20

Similar Documents

Publication Publication Date Title
CN106603968A (zh) 信息处理装置及信息处理方法
JP6986576B2 (ja) 物品識別方法及びシステム、電子機器
CN107358149B (zh) 一种人体姿态检测方法和装置
KR101971866B1 (ko) 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체
US7539327B2 (en) System and process for bootstrap initialization of nonparametric color models
US10984252B2 (en) Apparatus and method for analyzing people flows in image
US9934446B2 (en) Object detecting apparatus and method
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
US20120288198A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
Zhang et al. Segmentation and tracking multiple objects under occlusion from multiview video
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
JP2016099941A (ja) オブジェクト位置推定システム、及びそのプログラム
CN110781733B (zh) 图像去重方法、存储介质、网络设备和智能监控系统
CN105095853A (zh) 图像处理装置及图像处理方法
US20230394792A1 (en) Information processing device, information processing method, and program recording medium
CN111263955A (zh) 一种目标对象的移动轨迹确定方法和装置
US20170053172A1 (en) Image processing apparatus, and image processing method
Janardhana Rao et al. Hybridized cuckoo search with multi-verse optimization-based patch matching and deep learning concept for enhancing video inpainting
CN109889773A (zh) 评标室人员的监控的方法、装置、设备和介质
Villamizar et al. Watchnet: Efficient and depth-based network for people detection in video surveillance systems
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
JP6893812B2 (ja) 物体検出装置
JP6851246B2 (ja) 物体検出装置
CN113469135A (zh) 对象身份信息的确定方法、装置、存储介质及电子装置
JP7099809B2 (ja) 画像監視システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant