CN102162667A

CN102162667A - 图像处理装置、图像处理方法及空调控制装置

Info

Publication number: CN102162667A
Application number: CN2010102778940A
Authority: CN
Inventors: 长田和美; 榎原孝明; 马场贤二; 野田周平; 西村信孝
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-02-24
Filing date: 2010-09-08
Publication date: 2011-08-24
Anticipated expiration: 2030-09-08
Also published as: JP2011174648A; KR101127493B1; JP4852159B2; EP2362351B1; CA2714382A1; EP2362351A1; CN102162667B; US8432445B2; US20110205371A1; KR20110097589A

Abstract

一种图像处理装置，与对处理对象进行摄影的摄像机装置连接，并具备图像信息取得部、累积差分图像信息生成部、特征量信息生成部和行动内容识别部。图像信息取得部为，从摄像机装置依次取得对处理对象进行摄影后的图像信息。累积差分图像信息生成部为，基于由图像信息取得部取得的图像信息的随时间变化，对基于在室者的活动的规定期间的差分信息进行累积，而生成多值的累积差分图像信息。特征量信息生成部为，根据由累积差分图像信息生成部生成的累积差分图像信息的存在浓度梯度的区域，来生成该累积差分图像信息内的特征量信息。行动内容识别部为，根据由特征量信息生成部生成的特征量信息，来识别在室者的行动内容。

Description

图像处理装置、图像处理方法及空调控制装置

技术领域

本发明涉及图像处理装置、图像处理方法及空调控制装置。

背景技术

在建筑物的室内空间中，要求通过空调控制而以尽量少的能量消耗来确保适当的室内环境。在确保适当的室内温热环境时，重要的是考虑人所感觉到的暑热和寒冷的温热感觉。

在人的发热量(基于对流的放射量、基于辐射的散热量、来自人体的蒸发热量、基于呼吸的散热量以及蓄热量的合计)保持热平衡的情况下，可以说人体处于热的中立状态，为温热感觉即不热也不冷的舒适的状态。相反，在热平衡破坏的情况下，人体感觉到暑热或寒冷。

存在一种空调控制系统，作为基于热平衡式的人的温热感觉指标，使用PMV(Predicted Mean Vote：预测平均评价)，并实现空调控制的最佳化。在利用了PMV的空调控制系统中，作为对温热感觉具有影响的变量，输入空气温度值、相对湿度值、平均辐射温度值、气流速度值、活动状态(人体的内部发热量)值以及穿衣状态值这6个值，而计算出PMV值。

这6个输入变量中、能够高精度地计测的变量为空气温度值、相对湿度值以及气流速度值。活动状态值和穿衣量值难以直接进行计测，因此通常使用设定值。但是，对于活动状态值和穿衣量值也希望能够高精度、实时地进行计测。

因此，作为用于对室内的在室者的活动量进行计测的技术，存在专利文献1所记载的人体活动量计算装置。

在专利文献1所记载的人体活动量计算装置中，通过摄像单元对室内的人体进行摄影，通过从该图像信息中检测出人体的头顶部形状(弓形)而检测人体部分，并基于该人体部分的移动速度等来计算该在室者的活动量。因此，不接触人体就能够得到活动量，由此能够进行高精度的空调控制。

专利文献1：日本特开平8-178390号公报

发明内容

本发明的目的在于提供图像处理装置、图像处理方法及空调控制装置，以非接触的方式计算出在室者的活动量，并利用该计算出的活动量来进行高精度的空调控制。

本发明的第一技术方案为一种图像处理装置，与对处理对象进行摄影的摄像机装置连接，其特征在于，具备：图像信息取得部，从上述摄像机装置依次取得对上述处理对象进行摄影后的图像信息；累积差分图像信息生成部，基于由上述图像信息取得部取得的图像信息的随时间变化，对基于在室者的活动的规定期间的差分信息进行累积，生成多值的累积差分图像信息；特征量信息生成部，根据由上述累积差分图像信息生成部生成的累积差分图像信息的存在浓度梯度的区域，生成该累积差分图像信息内的特征量信息；以及行动内容识别部，根据由上述特征量信息生成部生成的特征量信息，识别在室者的行动内容。

本发明的第二技术方案为一种图像处理方法，使用了与对处理对象进行摄影的摄像机装置连接的图像处理装置，其特征在于，包括：从上述摄像机装置依次取得对上述处理对象进行摄影后的图像信息的步骤；基于在上述图像信息取得步骤中取得的图像信息的随时间变化，对基于在室者的活动的规定期间的差分信息进行累积，生成多值的累积差分图像信息的步骤；根据在上述累积差分图像信息生成步骤中生成的累积差分图像信息的存在浓度梯度的区域，生成该累积差分图像信息内的特征量信息的步骤；以及根据在上述特征量信息生成步骤中生成的特征量信息，识别在室者的行动内容的步骤。

本发明的第三技术方案为一种空调控制装置，与设置在作为空调控制对象的室内的摄像机装置和对上述作为空调控制对象的室内进行空调的空调机连接，其特征在于，具备：图像信息取得部，从上述摄像机装置依次取得对上述处理对象进行摄影后的图像信息；累积差分图像信息生成部，基于由上述图像信息取得部取得的图像信息的随时间变化，对基于在室者的活动的规定期间的差分信息进行累积，生成多值的累积差分图像信息；特征量信息生成部，根据由上述累积差分图像信息生成部生成的累积差分图像信息的存在浓度梯度的区域，生成该累积差分图像信息内的特征量信息；行动内容识别部，根据由上述特征量信息生成部生成的特征量信息，识别在室者的行动内容；活动量计算部，根据由上述行动内容识别部识别的行动内容，计算在室者的活动量；当前舒适指数值计算部，基于由上述活动量计算部计算出的活动量，计算上述在室者的当前舒适指数值；控制参数计算部，根据由上述当前舒适指数值计算部计算出的上述在室者的当前舒适指数值，计算与上述空调机的动作相关的控制参数；以及空调机控制部，基于由上述控制参数计算部计算出的控制参数，控制上述空调机的动作。

附图说明

图1是表示利用了实施例的空调控制装置的空调系统的结构的框图。

图2是在实施例的空调控制装置中生成累积差分图像信息时的动作的流程图。

图3A和图3B是通过实施例的空调控制装置生成的累积差分图像的例子。

图4是表示通过实施例的空调控制装置生成累积差分图像信息时的帧之间的关系的说明图。

图5A、图5B以及图5C是通过实施例的空调控制装置生成的、以不同的速度移动的人物的累积差分图像的例子。

图6是表示根据通过实施例的空调控制装置生成的累积差分图像信息的一部分来生成特征量信息时的状态的说明图。

图7A和图7B是由实施例的空调控制装置所取得的图像信息的例子。

具体实施方式

实施方式的图像处理装置为，与对处理对象进行摄影的摄像机装置连接，并具备图像信息取得部、累积差分图像信息生成部、特征量信息生成部和行动内容识别部。图像信息取得部为，从摄像机装置依次取得对处理对象进行摄影后的图像信息。累积差分图像信息生成部为，基于由图像信息取得部取得的图像信息的随时间变化，对基于在室者的活动的规定期间的差分信息进行累积，而生成多值的累积差分图像信息。特征量信息生成部为，根据由累积差分图像信息生成部生成的累积差分图像信息的存在浓度梯度的区域，来生成该累积差分图像信息内的特征量信息。行动内容识别部为，根据由特征量信息生成部生成的特征量信息，来识别在室者的行动内容。

下面，作为实施例对空调控制系统进行说明，该空调控制系统为，利用由摄像机装置对作为控制对象的室内(例如办公室)进行摄影后而得到的图像信息，以非接触的方式计算出在室者的活动量，并利用该计算出的活动量来进行高精度的空调控制。

(利用了实施例的空调控制装置的空调控制系统的结构)

参照图1对使用了实施例的空调控制装置30的空调控制系统1的结构进行说明。

实施例的空调控制系统1具备：摄像机装置10，设置在每个作为空调控制对象的室内，并且对成为对象的室内进行摄影；空调机20，进行该室内的空调；以及空调控制装置30，取得由摄像机装置10进行摄影后而得到的图像信息，并且基于取得的图像信息来控制空调机20的动作。

关于在实施例中利用的摄像机装置10的设置位置和设置方法，能够考虑到各种方式。例如，存在如下方式：设置为如监视摄像机那样从作为控制对象的室内的上端部以俯瞰室内空间的角度进行摄影的方式；或者设置为通过安装鱼眼透镜和超广角透镜而从室内的顶棚中央部对室内空间进行摄影的方式。此外，摄像机装置10不仅可以利用可见光摄像机，还可以使用红外线摄像机等。

空调控制装置30具备识别模型信息存储部31、图像信息取得部32、累积差分图像信息生成部33、特征量信息生成部34、行动内容识别部35、活动量计算部36、作为舒适指数值计算部的PMV值计算部37以及空调控制部38。空调控制装置30中的识别模型信息存储部31、图像信息取得部32、累积差分图像信息生成部33、特征量信息生成部34、行动内容识别部35作为图像处理装置的结构部起作用。

识别模型信息存储部31为，将每个行动内容的图像信息的特征量以及其阈值，作为识别模型预先存储。该识别模型可以预先离线地生成，也可以通过在线地取得由特征量信息生成部34提取的信息并进行解析，由此进行学习而生成。

图像信息取得部32为，依次取得由所连接的摄像机装置10所摄影的图像信息。

累积差分图像信息生成部33为，从由图像信息取得部32按照时间序列取得的规定期间的图像信息中，提取多个帧之间的差分图像信息，并使提取的差分图像信息重合，由此生成累积的多值的累积差分图像信息。

特征量信息生成部34为，将由累积差分图像信息生成部33所生成的累积差分图像信息的存在浓度梯度的区域，作为特征量信息生成对象部分，将该部分的像素或者块的周边区域的亮度变化的特征进行数值化，并且确定该部分的像素或块在该图像上的位置关系。由此，特征量信息生成部34生成该累积差分图像信息内的特征量信息。

行动内容识别部35为，使用识别模型信息存储部31所存储的识别模型，根据由特征量信息生成部34所生成的特征量来识别在室者的行动内容。

活动量计算部36为，对在行动内容识别部35中根据该累积差分图像信息所得到的行动内容的识别结果进行综合，计算出在室者的活动量。

PMV值计算部37为，根据由活动量计算部36计算出的在室者的活动量、以及从外部传感器等取得的作为空调控制对象的室内的温度、湿度、气流速度、辐射温度、在室者的穿衣量，计算出该作为空调控制对象的室内的舒适指数值即PMV值。

空调控制部38为，根据由PMV值计算部37计算出的PMV值，决定对作为空调控制对象的室内进行空调的空调机20的控制值，并发送给空调机20。

(使用了实施例的空调控制装置的空调控制系统的动作)

接着，说明使用了实施例的空调控制装置30的空调控制系统1的动作。

在实施例中，在空调控制装置30的识别模型信息存储部31中，作为识别模型而预先存储有每个行动内容的图像信息的特征量或其阈值。

首先，由空调控制装置的图像信息取得部32取得图像信息，该图像信息是通过用摄像机装置10对作为空调控制对象的室内进行摄影后而生成的时间序列的图像信息。由图像信息取得部32取得的图像信息被送出到累积差分图像信息生成部33。然后，由累积差分图像信息生成部33生成累积差分图像信息。

参照图2的流程图，对在累积差分图像信息生成部33中生成累积差分图像信息时的处理进行说明。

当从图像信息取得部32取得时间序列的图像信息(S1)时，根据需要进行用于除去噪声的滤波处理(S2)。在该滤波处理中例如使用高斯滤波器。

接着，根据进行滤波处理后的规定期间的时间序列的图像信息，在多个帧之间取得差分图像信息(S3)。根据所取得的差分信息是否超过预先设定的阈值，来进行二值化处理(S4)。通过将进行该二值化处理后的差分二值图像信息的每多个进行累积，由此生成累积差分图像信息(S5)。

图3A和图3B表示如此生成的累积差分图像的一个例子。

图3A是根据在过去的图像信息之间所生成的差分二值化图像信息而生成的累积差分图像。此外，图3B是根据在当前(最新)的图像信息和过去的图像信息之间所生成的差分二值化图像信息而生成的累积差分图像。如图3A所示，在根据在过去的图像信息之间所生成的差分二值化图像信息而生成的累积差分图像中，在亮度较高的人物的形状部分的前后由于阶段性的浓度梯度，以出现残像的方式形成亮度分布。如图3B所示，在根据在当前(最新)的图像信息和过去的图像信息之间所生成的差分二值化图像信息而生成的累积差分图像中，在亮度较高的人物的形状部分的后方由于阶段性的浓度梯度，以出现残像的方式形成亮度分布。

作为例子，参照图4来说明在过去的图像信息之间生成差分二值化图像信息、并根据该所生成的二值化图像信息来生成累积差分图像时的处理。在此，作为时间序列的图像信息40而取得了帧41～48。此外，作为用于根据时间序列的多个帧来生成累积差分图像信息的参数，将为了取得差分二值图像信息而进行对比的2个帧的间隔、即差分帧间隔设定为3帧间隔。将生成以该3帧间隔对比的差分图像信息的间隔、即累积帧间隔设定为1帧间隔。将用于生成累积差分图像信息的差分二值图像信息的累积帧数设定为3帧。

通过如此地设定参数，如图4所示，在帧41和帧44之间取得差分信息并进行二值化处理，而生成差分二值化图像51。在帧42和帧45之间取得差分信息并进行二值化处理，而生成差分二值化图像52。在帧43和帧46之间取得差分信息并进行二值化处理，而生成差分二值化图像53。在帧44和帧47之间取得差分信息并进行二值化处理，而生成差分二值化图像54。在帧45和帧48之间取得差分信息并进行二值化处理，而生成差分二值化图像55。

通过如此地进行二值化处理，人物的服装以及背景等的颜色的不同等被吸收，稳定地提取有关人物的活动的部分。此外，为了除去由于该二值化处理而产生的孔或欠缺部分，也可以施加膨胀、收缩处理。

接着，通过将所生成的差分二值化图像51～55在时间轴方向上累积规定的累积帧数，由此生成多值的累积差分图像。在实施例中，累积帧数为3帧。因此，如图4所示，差分二值化图像51～53被累积而生成累积差分图像61。差分二值化图像52～54被累积而生成累积差分图像62。差分二值化图像53～54被累积而生成集差分图像63。

基于如此生成的多值的累积差分图像的阶段性的浓度梯度的残像，在人物的移动速度较慢的情况下如图5A所示那样宽度变窄，而活动越快则如图5B→图5C所示那样宽度变得越宽。

因此，通过使上述差分帧间隔、累积帧间隔以及累积帧数等参数，根据作为活动量的计算对象的环境或行动内容而可变，能够高精度地检测出行动内容。

例如，在办公室那样的人物活动较少的室内，使差分帧间隔或累积帧间隔较大，在百货店那样的人物活动较多的空间，使差分帧间隔或累积帧间隔较小。由此，能够容易识别移动轨迹，并能够高精度地检测出人物的行动内容和移动速度。

该累积差分图像信息也可以按照时间序列依次生成，也可以同时生成每多个的累积差分图像信息。

接着，说明在特征量信息生成部34中，根据由累积差分图像信息生成部38生成的累积差分图像信息，来计算表示人物部分的移动速度的特征量时的处理。

如上所示，在根据在过去的图像信息之间所生成的差分二值化图像信息而生成的累积差分图像中，在亮度较高的人物的形状部分的前后由于阶段性的浓度梯度而出现残像。此外，在根据在当前(最新)的图像信息和过去的图像信息之间所生成的差分二值化图像信息而生成的累积差分图像中，在亮度较高的人物的形状部分的后方由于阶段性的浓度梯度而出现残像。

因此，在特征量信息生成部34中，在该人物的形状部分的周边出现的基于浓度梯度的残像部分中，按照每个规定区域对于规定数方向的列、对某个像素或块周边的进行数值化后的亮度分布信息进行检测，由此生成该累积差分图像信息内的特征量。在该特征量信息中能够包含从中心朝向周边按顺序记述的各列的亮度值、表示各列中的邻接像素的亮度变化的相对值、以及用于与摄像机装置的几何特性相对应的数据。该用于与摄像机装置的几何特性相对应的数据，是该像素或块的x坐标或y坐标、离图像中心的距离等图像上的位置信息。此外，对于特征量信息，能够进行与值的偏差或分布相对应的归一化或加权，还能够根据需要提高对于识别有效的亮度信息的优先度，或进行与图像上的位置有关的信息的加法或乘法等。

图6表示残像部分的作为特征量生成对象的规定区域的一个例子。

作为该特征量生成对象的区域70是纵横为15个像素的正方形区域，表示检测从中心像素起的8个方向(箭头71～78的各方向)的列的亮度分布信息的情况。

在对该区域70生成特征量时，首先作为亮度分布信息，从各列的中心朝向周边按顺序取得亮度值，进而从该中心朝向周边取得表示相邻的像素之间的亮度变化的相对值。

接着，根据亮度分布信息所包含的亮度值计算出各列的亮度值的总和，并以该亮度值的总和最大的列为开头，按照顺时针或逆时针的顺序来排列亮度分布信息。

在图6中，判定为8个方向的列之中、箭头71的方向的列的亮度值的总和最大。然后，以该箭头71的列为开头而在顺时针方向上，按照箭头72、73、……、78顺序的8列量的亮度分布信息，被排列为亮度分布信息81、82、……、88。

亮度分布信息的亮度值的总和较大，意味着该方向是与亮度较高的人物的形状部分接近的方向。即，推测为排列在开头的箭头71的方向(亮度值的总和最大的列的方向)为该人物的移动方向。如此，通过根据亮度值的总和来推测人物的移动方向，能够对于移动方向不保持依赖性，而能够进行对于所有方向的移动的识别。

此外，在想要持有与人物的移动方向相关的依赖性的情况下，也可以不进行上述处理之中、基于亮度值的总和的重新排列，而提取各列的亮度值作为特征量数据。

该像素或块周边的进行数值化后的亮度分布信息，也可以是将与多个像素或块的周边区域有关的信息组合了的亮度分布信息，或者是将根据多个时间范围的累积差分图像信息生成的亮度分布信息组合了的信息。

接着，在行动内容识别部35中，使用识别模型信息存储部31所存储的识别模型，根据由特征量计算部所计算出的特征量，来识别在室者的行动内容(站立中、行走中、跑动中等)。

作为识别模型的一个例子，应用模式识别的代表性方法即SVM(Support Vector Machine：支持向量机)、神经网络、贝叶斯分类(Bayes Classifier)等来生成。SVM(Support Vector Machine：支持向量机)，是从1960年代Vapnik等提案的Optimal Separating Hyperplane(最优分离平面)起源，到1990年代扩展为与核心(kernel)学习法组合了的非线性的识别方法的方法。例如，在应用对SVM导入了参数v的vSVM的情况下，作为参数存在v、γ、核心，通过适当选择这些参数，能够实现高精度的识别；该参数v用于对模型的复杂度和损失的权衡(tradeoff)进行控制。

接着，由活动量计算部36对在行动内容识别部35中按照像素单位或块单位得到的行动内容的识别结果进行综合，并计算出各在室者的活动量或室内的平均活动量。

在此，在计算各在室者的活动量时，也可以在从图像信息中提取了人物部分之后，根据基于其周边区域的特征量而识别的行动内容来计算活动量。并且，也可以不进行从图像信息中提取人物部分，而对根据与室内整体的活动相对的特征量而识别的行动内容的分布进行聚类(clustering)等的处理，推断人物的位置并计算出各自的活动量。并且，考虑到由于摄像机装置与摄影对象之间的位置关系而在图像上的大小不同的情况，也可以预先在图像上设定用于对作为活动量的计算对象的区域进行指定的框，并基于该框内的识别结果而计算出各在室者的活动量。

此外，在计算室内的平均活动量时，也可以通过如下计算：将上述那样计算出的各在室者的活动量进行平均；或者不提取人物部分而根据从图像整体得到的识别结果与摄影区域之间的关系来推断室内的平均活动量。此时，对识别结果、根据图像信息得到的室内的人物分布、人数、以及与摄影区域的空间有关的信息进行综合，而计算出为了在PMV值的计算中使用的最佳的活动量。

接着，在PMV值计算部37中，根据由活动量计算部36计算出的活动量、和从外部的传感器等取得的作为空调控制对象的室内的温度、湿度、气流速度、辐射温度、在室者的穿衣量，来计算作为该空调控制对象的室内的舒适指数值即PMV值。

接着，在空调控制部38中，根据由PMV值计算部37计算出的PMV值，决定对作为空调控制对象的室内进行空调的空调机20的控制值，并发送给空调机20，控制空调机20的动作。

以上，根据实施例的空调系统，能够从对作为空调控制对象的室内进行摄影后而得到的规定期间的图像信息中，提取多个帧之间的差分图像信息而生成将其累积了的累积差分图像信息，通过对在该累积差分图像信息上出现的人物部分的残像部分进行解析，而计算出高精度的活动量，并根据基于该活动量计算出的室内环境的状况来执行高效率的空调。

在上述实施例中，在生成累积差分图像信息时，除了利用帧间差分以外，还可以利用背景差分、光流场(物体速度场)、物体的移动轨迹、仿射不变量、射影不变量等的差分值，或者利用它们的物理量。

此外，也可以考虑如下地处理特征量信息。

在所摄影的室内的图像信息中，作为摄像机装置的几何学特性，摄影对象越远离摄像机装置则在图像信息上的大小越小，越接近摄像机装置则在图像信息上的大小越大。因此，在累积差分图像信息中出现的残像的宽度，不仅根据人物的移动速度而变化，还根据人物与摄像机装置之间的位置关系而变化。

因此，为了不依赖于人物在画面上的位置、而在画面内的任何位置都正确地检测出行动内容，使特征量信息中具有摄像机的几何学特性(画面上的位置)信息。

具体而言，在摄像机装置被设置为从室内的上端部俯瞰室内空间的角度时，如图7A所示，摄像对象越远离摄像机装置则越显示在显示画面的上方，摄像对象越接近摄像机装置则越显示在显示画面的下方。

在通过如此设置的摄像机装置进行摄影时，作为用于与摄像机装置的几何学特性相对应的数据，采用人物的y坐标。

此外，在安装了鱼眼透镜或超广角透镜的摄像机装置被设置为从室内的顶棚中央部对室内空间进行摄影时，如图7B所示，摄影对象越接近画面中央则越大地显示，越接近周边则越小地显示。

在通过如此设置的摄像机装置进行摄影时，作为用于与摄像机装置的几何学特性相对应的数据，采用离画面中心的距离。

此外，利用具有摄像机装置的几何学特性的特征量来生成识别模型信息存储部31所存储的识别模型，并进行行动内容识别。

在室内的上端部设置摄像机装置而以俯瞰室内空间的角度进行摄影时，为了与所有行进方向的活动相对应，例如，在横向3种(远处、中央、近处)、纵向1种(中央)的移动场景中进行特征量的学习，并生成识别模型。

此外，在将安装了鱼眼透镜或超广角透镜的摄像机装置设置在顶棚中央部、从正上方对人物进行摄影时，在摄像机装置正下方附近及远离摄像机装置的位置上的移动场景中进行特征量的学习，并生成识别模型。

这样，通过利用具有亮度信息和摄像机的几何学特性信息的特征量信息来进行行动内容的识别，由此能够不依赖于人物的位置、而在画面内的任何位置都正确地检测出行动内容。

并且，在识别模型制作中的特征量的学习时，例如能够考虑摄像机的几何学特性，根据以摄影对象的大小较大的环境中的行动场景为基础取得的特征量，来推断其他状况下的特征量。并且，能够以摄影对象的大小较大的环境中的行动场景为基础，生成摄影对象的大小较小的环境中的行动场景的影像，并以该影像为基础进行学习。通过利用这些推断的信息，能够减少为了学习而进行摄影的影像的种类，能够减少学习所需的工时数。

在此，在学习时能够适当选择作为特征量的提取对象的像素或块，不需要将图像的所有像素、所有块作为对象。此外，也不必要将所有帧作为学习对象，可以根据移动速度而以某个间隔来选择作为学习对象的帧。

如此，通过学习来更新识别模型，并学习与人物的距离相对应的特征量，由此能够实现摄影的图像信息内的监视范围的大范围化。

此外，也可以考虑如下地处理特征量信息。

如上所述，在累积差分图像信息中出现的残像的宽度，不仅根据人物的移动速度而变化，还根据人物与摄像装之间的位置关系而变化。

因此，考虑摄像机的几何学特性(在画面上的位置)信息，对特征量信息进行归一化处理。

具体而言，在摄像机装置被设置为从室内的上端部俯瞰室内空间的角度时，作为用于与摄像机装置的几何学特性相对应的数据，利用人物的y坐标，进行特征量信息的归一化处理。

此外，在安装了鱼眼透镜或超广角透镜的摄像机装置被设置为从室内的顶棚中央部对室内空间进行摄影时，作为与摄像机装置的几何学特性相对应的数据，利用离画面中心的距离，进行特征量信息的归一化处理。

并且，利用摄像机装置的几何学特性并使用被进行归一化处理后的特征量，来生成存储在识别模型信息存储部31中的识别模型，并进行行动内容的识别。

由此，通过利用被进行基于摄像机的几何学特性信息的归一化处理后的特征量信息，来进行行动内容的识别，由此能够不依赖于人物的位置、而在画面内的任何位置上都能够正确检测出行动内容。此外，在识别模型学习中，也能够通过进行归一化处理来推断特征量。因此，能够减少学习所需的工时数。

在上述实施例中，说明了在识别行动内容时使用识别模型的情况。但是，实施方式不仅限定于此，例如也可以基于用于识别预先设定的各个行动内容(站立中、行走中、跑动中等)的特征量的阈值，来识别行动内容。

Claims

1.一种图像处理装置，与对处理对象进行摄影的摄像机装置连接，其特征在于，具备：

图像信息取得部，从上述摄像机装置依次取得对上述处理对象进行摄影后的图像信息；

累积差分图像信息生成部，基于由上述图像信息取得部取得的图像信息的随时间变化，对基于在室者的活动的规定期间的差分信息进行累积，生成多值的累积差分图像信息；

特征量信息生成部，根据由上述累积差分图像信息生成部生成的累积差分图像信息的存在浓度梯度的区域，生成该累积差分图像信息内的特征量信息；以及

行动内容识别部，根据由上述特征量信息生成部生成的特征量信息，识别在室者的行动内容。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述特征量信息生成部，根据对由上述累积差分图像信息生成部生成的累积差分图像信息的、存在浓度梯度的区域内的像素或块的周边区域的亮度变化进行数值化后的信息，以及上述像素或块在该累积差分图像信息上的位置信息，生成该累积差分图像信息内的特征量信息。

3.根据权利要求2所述的图像处理装置，其特征在于，

用于上述特征量信息生成部生成的特征量信息的、对上述累积差分图像信息的存在浓度梯度的区域内的像素或块的周边区域的亮度变化进行数值化后的信息，是对上述像素或块的周边区域的规定数方向的列的亮度变化进行数值化后的信息。

4.根据权利要求2所述的图像处理装置，其特征在于，

用于上述特征量信息生成部生成的特征量信息的、对上述累积差分图像信息的存在浓度梯度的区域内的像素或块的周边区域的亮度变化进行数值化后的信息，是将对上述像素或块的周边区域的规定数方向的列的亮度变化进行数值化后的信息以亮度值总和最大的列为开头而顺时针或逆时针地排列的信息。

5.根据权利要求3所述的图像处理装置，其特征在于，

用于上述特征量信息生成部生成的特征量信息的、对上述累积差分图像信息的存在浓度梯度的区域内的像素或块的周边区域的亮度变化进行数值化后的信息，是将与多个像素或块的周边区域相关的信息进行组合后的信息，或者是将基于多个时间范围的累积差分图像信息而生成的信息进行组合后的信息。

6.根据权利要求4所述的图像处理装置，其特征在于，

7.根据权利要求1所述的图像处理装置，其特征在于，

还具备识别模型信息存储部，该识别模型信息存储部作为识别模型而预先存储每个行动内容的识别信息；

上述行动内容识别部利用上述识别模型信息存储部所存储的识别模型，根据由上述特征量信息生成部生成的特征量信息，识别在室者的行动内容。

8.根据权利要求7所述的图像处理装置，其特征在于，

上述识别模型信息存储部所存储的识别模型，包含基于根据在规定的摄影环境中所摄影的摄影对象的行动取得的特征量信息而推定的、其他摄影环境中的特征量信息。

9.根据权利要求1所述的图像处理装置，其特征在于，

上述行动内容识别部，基于预先对每个行动内容设定的阈值，根据由上述特征量信息生成部生成的特征量信息，识别在室者的行动内容。

10.根据权利要求1所述的图像处理装置，其特征在于，

利用帧间差分、背景差分、光流场的差分值、物体的移动轨迹的差分值、仿射不变量的差分值、摄影不变量的差分值的任一个，生成上述累积差分图像信息。

11.一种图像处理方法，使用了与对处理对象进行摄影的摄像机装置连接的图像处理装置，其特征在于，包括：

从上述摄像机装置依次取得对上述处理对象进行摄影后的图像信息的步骤；

基于在上述图像信息取得步骤中取得的图像信息的随时间变化，对基于在室者的活动的规定期间的差分信息进行累积，生成多值的累积差分图像信息的步骤；

根据在上述累积差分图像信息生成步骤中生成的累积差分图像信息的存在浓度梯度的区域，生成该累积差分图像信息内的特征量信息的步骤；以及

根据在上述特征量信息生成步骤中生成的特征量信息，识别在室者的行动内容的步骤。

12.一种空调控制装置，与设置在作为空调控制对象的室内的摄像机装置和对作为上述空调控制对象的室内进行空调的空调机连接，其特征在于，具备：

特征量信息生成部，根据由上述累积差分图像信息生成部生成的累积差分图像信息的存在浓度梯度的区域，生成该累积差分图像信息内的特征量信息；

行动内容识别部，根据由上述特征量信息生成部生成的特征量信息，识别在室者的行动内容；

活动量计算部，根据由上述行动内容识别部识别的行动内容，计算在室者的活动量；

当前舒适指数值计算部，基于由上述活动量计算部计算出的活动量，计算上述在室者的当前舒适指数值；

控制参数计算部，根据由上述当前舒适指数值计算部计算出的上述在室者的当前舒适指数值，计算与上述空调机的动作相关的控制参数；以及

空调机控制部，基于由上述控制参数计算部计算出的控制参数，控制上述空调机的动作。