具体实施方式
对于本发明的实施方式,适当参照附图进行详细说明。其中,对于各图中共通的部分附加相同标记,省略重复的说明。
[实施例1]
图1是本实施方式的空调机的室内机、室外机和遥控器的正视图。如图1所示,空调机A具备室内机100、室外机200和遥控器Re。室内机100与室外机200通过制冷剂配管(未图示)连接,通过周知的制冷剂循环,对设置了室内机100的室内进行空气调节。此外,室内机100和室外机200通过通信线缆(未图示)相互发送接收信息。
遥控器Re被用户操作,对室内机100的遥控器接收部Q发送红外线信号。该信号的内容是运转请求、设定温度的变更、定时器、运转模式的变更、停止请求等指令。空调机A基于这些信号,进行制冷模式、制暖模式、除湿模式等空调运转。
此外,在室内机100的前面板106的左右方向中央的下部,设置有摄像单元110。对于摄像单元110的详情在之后叙述。
图2是室内机的侧截面图。框体基体101用于收容热交换器102、送风风扇103、过滤器108等内部结构体。
热交换器102具有多根导热管102a,构成为使通过送风风扇103被导入室内机100内的空气,与在导热管102a中流通的制冷剂进行热交换,对上述空气进行加热或冷却。此外,导热管102a与上述制冷剂配管(未图示)连通,构成周知的制冷剂循环(未图示)的一部分。
左右风向板104根据来自室内机微机(未图示)的指示,以设置在下部的旋转轴(未图示)为支点,在左右风向板用电机(未图示)的作用下旋转。
上下风向板105根据来自室内机微机的指示,以设置在两端部的旋转轴(未图示)为支点,在上下风向板用电机(未图示)的作用下旋转。
前面板106以覆盖室内机100的前面的方式设置,形成为能够在前面板用电机(未图示)的作用下以下端为轴旋转的结构。此外,也可以使前面板106构成为固定在下端。
通过由图2所示的送风风扇103的旋转,经空气吸入口107和过滤器108导入室内空气,在热交换器102中进行热交换后的空气被吹出并被引导至风路109a。进而,引导至吹出风路109a的空气,通过左右风向板104和上下风向板105调整风向,从空气吹出口109b向外部送出,对室内进行空气调节。
图3是表示包括空调机具备的控制单元在内的结构的框图。
摄像单元110例如是CCD(Charge Coupled Device)摄像机,设置在前面板106的左右方向中央的下部(参照图1)。此外,摄像单元110,以透镜的光轴相对于水平线按规定角度朝向下方的方式设置,能够对设置了室内机100的室内适宜地拍摄。此外,摄像单元110对空调室内随着时间的经过进行拍摄,将拍摄到的图像作为图像信息输出到A/D变换器120。
A/D变换器120是将从摄像单元110作为模拟信号输入的图像信息变换为数字信号,输出到控制单元130的人体检测部131和面孔检测部132的电子电路。也可以将A/D变换器120内置在摄像单元110中。
控制单元130,根据从摄像单元110输入的图像信息、从遥控器Re输入的指令信号、以及从各种传感器(未图示)输入的传感器信号等,对空调机A的动作进行综合控制。
存储单元140例如包括ROM(Read Only Memory,只读存储器)、RAM(Random Access Memory,随机访问存储器)等。ROM中存储的程序被控制单元130的CPU(Central Process Unit)读出、展开至RAM中加以执行。
负载150例如包括室内机100具备的室内风扇电机(未图示)、室外机200具备的压缩机电机(未图示)、设置于上下风向板105的上下风向板用电机(未图示)、设置于左右风向板104的左右风向板用电机(未图示)。这些负载150根据从控制单元130的驱动控制部137输入的驱动信号而驱动。
如图3所示,控制单元130具备人体检测部131、面孔检测部132、综合处理部133、移动量计算部134、活动量计算部135、修正值计算部136、驱动控制部137。
人体检测部131基于从摄像单元110输入的图像信息,按每规定时间检测室内人物的包括头部的人体,将关于该人体的信息(以下记作人体信息)保存到存储单元140中。此外,“检测人体”包括检测全身的情况,包含头部(头部区域)、肩部(肩部区域)、以及腿部(腿部区域)。
面孔检测部132基于从摄像单元110输入的图像信息,按每规定时间检测室内人物的面孔,将关于该面孔的信息(以下记作面孔信息)保存到存储单元140中。
人体检测部131的处理,通过检测头部、肩部等的轮廓而识别人体,所以与面孔检测部132的处理相比较能够用较粗糙的像素间隔执行。
而另一方面,面孔检测部132基于眼、鼻、口和面孔轮廓来检测面孔。因此,面孔检测除了面孔轮廓之外,还需要检测眼、鼻、口等详细器官。因此,人体检测和面孔检测中所需要的像素数不同。
于是,在仅进行人体检测的情况下,通过像素数指令,使从摄像单元输出的像素为进行了间隔剔除(提取剔除)后的信息。
该处理中,从摄像单元取得全像素的数据,在A/D变换时进行间隔剔除处理。此外,也可以在A/D变换后进行间隔剔除处理。所谓间隔剔除单元进行处理,包括在从摄像单元输出已经进行了间隔剔除的信息进行处理的情况,从摄像单元取得全像素的数据、在A/D变换时进行间隔剔除处理的情况,和在A/D变换后进行间隔剔除处理的情况。
图4(a)是从摄像单元输出的全像素的信息。图4(b)是对全像素按模式1进行间隔剔除后的间隔剔除信息。图4(c)是用比模式1低的间隔剔除率对全像素按模式2进行间隔剔除后的间隔剔除信息。
本实施例中,面孔检测按模式2进行,位置检测按模式1进行。该模式的使用的区分,与要检测的距离也相关,所以也能够进行与房间的大小相应地切换模式等控制。因此,能够与用户的环境相应地使用遥控器变更控制速度和检测范围的设定。例如,能够与环境相应地使模式2的间隔剔除率为零。
综合处理部133随时间的经过切换执行人体检测部131的处理和面孔检测部132的处理,并且使由人体检测部131检测出的人体与由面孔检测部132检测出的面孔基于人体与面孔的位置关系相对应(关联),保存到存储单元140中。
当在某一个时刻检测出人体,并在该时刻之后的时刻检测出面孔的情况下,需要判定检测出的人体和面孔是否是同一个人物。综合处理部133在判定为检测出的人体与面孔是同一个人物的情况下,使用作为识别信息的标签值使各图像信息相对应。
综合处理部133对通过人体检测部131的处理得到的室内人物的轮廓与通过面孔检测部132的处理得到的室内人物的轮廓进行比较,在处于规定的范围内时,判定为是同一个人物。
基于通过人体检测部131的处理得到的间隔剔除信息,检测室内人物的位置;基于通过面孔检测部132的处理得到的间隔剔除信息,检测室内人物的面孔。
进而,使规定时间内面孔检测部132的处理次数少于人体检测部131的处理次数。
换言之,通过使用处理次数较多的人体检测部131对由面孔检测部132识别出的人物进行追踪,而检测出该人物的位置。这样通过并用人体检测部131和面孔检测部132,能够减轻处理负荷,并同时检测特定人物的位置。
另外,检测室内人物的位置时,也可以不仅使用由人体检测部131检测出的信息,也使用由面孔检测部132检测出的信息。
此外,综合处理部133中,对通过人体检测部131的处理得到的室内人物的轮廓与通过面孔检测部132的处理得到的室内人物的轮廓进行比较的单元,可以通过比较面孔的中心位置来判定是否为同一个人物,也可以通过比较头部(颈部)的位置来判定是否为同一个人物。即,只要比较身体部位的特定位置即可。
接着,一边参照图6,一边用图5说明控制单元130执行的一系列处理的概要。图5是表示控制单元进行的处理的流程的流程图。
图5的步骤S101中,控制单元130将n的值设定为1(n=1),保存到存储单元140。其中,n是用于对计算室内人物的位置的次数进行计数的值。
图5的步骤S102中,控制单元130判定开始处理后(即,从开始的时刻起)是否经过了规定时间Δt1。其中,规定时间Δt1是预先设定的时间,被保存在存储单元140中。
在开始处理后经过了规定时间Δt1的情况下(S102→“是”),控制单元130的处理前进至步骤S103。
步骤S103中,控制单元130接收来自摄像单元110的图像信息的输入,将该图像信息保存到存储单元140。
例如,摄像单元110拍摄如图6(a)所示的与RGB图像对应的图像信息,通过A/D变换部输入至控制单元130的面孔检测部132。
接着,在图5的步骤S104中,控制单元130从存储单元140读出图像信息,按模式2对图像信息进行间隔剔除处理。如上文所述,模式2是以比模式1低的间隔剔除率对全像素进行间隔剔除的模式。
接着,在图5的步骤S105中,控制单元130从存储单元140读出按模式2进行间隔剔除后的信息,执行面孔检测处理。然后,控制单元130使对面孔图像附加特征的信息(即面孔信息)与作为每个面孔的识别标记的面孔标签值相对应(关联),保存到存储单元140。
例如,图6(a)中,面孔被摄像单元110拍摄到的室内人物A、B、D,被面孔检测部132检测为符号A2、B2、D2(参照图6(c))所示的面孔图像。另一方面,对于背对着(摄像单元)的室内人物C(参照图6(a)),没有检测出面孔(参照图6(c)的符号C1)。
接着,在图5的步骤S106中执行位置检测处理。然后,控制单元130使对人体图像附加特征的信息(即人体信息)与作为每个人体的识别标记的人体标签值相对应,保存到存储单元140。
此外,也可以在图5的步骤S105与步骤S106之间执行模式1的间隔剔除处理,基于按模式1进行间隔剔除后的间隔剔除信息,在步骤S106中执行位置检测处理。
图6(a)中大致全身被摄像单元110拍摄到的室内人物A、B、C,被人体检测部131检测为符号A1、B1、C1(参照图6(b))所示的图像。
接着,在图5的步骤S107中,控制单元130对于通过面孔检测处理(S105)取得的面孔信息和通过位置检测处理(S106)取得的人体信息,使用各自的标签值使它们相对应(相关联)。即,在通过面孔检测处理检测出的面孔的中心位置与通过位置检测处理检测出的各个人体的头部的中心位置处于规定距离以内的情况下,使用标签值使该位置与面孔相对应。
由此,能够合适地判断通过位置检测处理检测出的人体和通过面孔检测处理检测出的面孔是否对应于同一个室内人物。
接着,在图5的步骤S107中,控制单元130计算使用标签值对应的每个室内人物的移动量。然后,控制单元130将计算出的移动量与标签值对应着保存到存储单元140。
另一方面,在开始处理后还未经过规定时间Δt1的情况下(S 102→“否”),控制单元130前进至步骤S108。
在图5的步骤S108中,控制单元130判定开始处理后(即,从开始的时刻起)是否经过了规定时间Δt2。其中,规定时间Δt2是比Δt1短的预先设定的时间(例如数msec),被保存在存储单元140中。
在开始处理后经过了规定时间Δt2的情况下(S108→“是”),控制单元130的处理前进至步骤S109。而在开始处理后还未经过规定时间Δt2的情况下(S108→“否”),控制单元130反复步骤S102的处理。
在步骤S109中,控制单元130接收来自摄像单元110的图像信息的输入,将该图像信息保存到存储单元140。
接着,在图5的步骤S110中,控制单元130从存储单元140读出图像信息,对图像信息按模式1进行间隔剔除处理。如上文所述,模式1是以比模式2高的间隔剔除率对全像素进行间隔剔除的模式。
接着,在图5的步骤S111中,控制单元130从存储单元140读出按模式1进行间隔剔除后的信息,执行位置检测处理。然后,控制单元130使对人体图像附加特征的信息(即人体信息)与作为每个人体的识别标记的人体标签值相对应,保存到存储单元140。
其中,进行位置检测处理时,控制单元130以与上述面孔检测处理相比较为粗糙的像素间隔对室内人物的人体进行检测。由此,能够减轻控制单元130进行位置检测处理时的处理负荷。
例如,图6(a)中大致全身被摄像单元110拍摄到的室内人物A、B、C,被人体检测部131检测为符号A1、B1、C1(参照图6(b))所示的较粗糙的二进制图像。另一方面,对于仅有身体的一部分(头部,肩部)被摄像单元110拍摄到的室内人物D(参照图6(a)),没有检测出人体(参照图6(b))。
接着,在图5的步骤S112中,控制单元130对于通过位置检测处理(S111)取得的人体信息,使用标签值进行对应(关联)。即,在通过位置检测处理检测出的人体的头部的中心位置与上次处理中对应的室内人物的位置处于规定距离以内的情况下,对该位置使用标签值进行对应(关联)。
接着,在图5的步骤S 113中,判定n的值是否等于N。其中,N是预先设定的自然数,保存在存储单元140中。在n的值等于N的情况下(S113→“是”),控制单元130的处理前进至步骤S115。另一方面,在n的值不等于N的情况下(S113→“否”),控制单元130的处理前进至S114。
在步骤S114中,控制单元130对n的值加1(即n=n+1)。即,使步骤S 101中设定的n的值“1”加1成为“2”。
这样,控制单元使步骤S102~112的处理反复执行N次。
在图5的步骤S115中,控制单元130计算空调控制的修正值。即,控制单元130基于使用标签值对应的每个室内人物的位置,计算风向等空调控制的修正值。
然后,在图5的步骤S 116中,控制单元130执行空调控制(各参数)的变更处理。
另外,以上说明了检测室内人物的位置的方法,但也可以应用于计算室内人物的活动量。
即,通过移动量计算部134,基于由人体检测部131检测出的人体的位置和大小、或者由面孔检测部132检测出的面孔的位置和大小随时间经过的变化,计算使用标签值对应的室内人物的移动量。然后,移动量计算部134使计算出的移动量与标签值相对应(相关联),输出至活动量计算部135。
其中,“移动量”意即推定在真实世界的空间内室内人物在规定时间内移动的距离。
活动量计算部135基于移动量计算部134算出的移动量计算室内人物的活动量。然后,活动量计算部135使算出的活动量与上述标签值相对应(关联),输出至修正值计算部136。
其中,“活动量”指的是人体每单位表面积的代谢量[W/m2],与上述移动量为正相关。
其中,上述参数包括空调机ON/OFF、空调机A的设定温度、室外机200具备的压缩机电机(未图示)的旋转速度、以及对压缩机电机(未图示)供给的最大电流量中的至少一项。此外,上述参数还包括室内风扇电机(未图示)的旋转速度、上下风向板用电机(未图示)的驱动、以及左右风向板用电机(未图示)的驱动。
驱动控制部137,根据通过遥控器接收部Q从遥控器Re输入的遥控器信号、以及从温度检测器(未图示)等传感器类设备输入的传感器信号,对空调机A的负载150(室内风扇电机、压缩机电机、上下风向板用电机、左右风向板用电机等)的驱动进行控制。此外,除了上述信息之外,驱动控制部137还根据从修正值计算部136输入的修正量变更负载150的控制。
进而,也可以基于按间隔剔除率较低的模式2进行间隔剔除后的信息执行个人认证、推定室内人物的年龄和性别。个人认证通过将按模式2进行间隔剔除后的信息与预先登记的信息加以比较来进行。然后,对具有识别到的个人认证和性别判定的信息的室内人物按间隔剔除率较高的模式1进行追踪,由此能够兼顾个人认证、室内人物的年龄和性别的推定与处理负荷的减轻。
[实施例2]
图7是表示控制单元进行的处理的流程的流程图。图8是将从摄像单元输出的全像素分割为9部分的信息。一边参照图8,一边用图7说明仅使室内人物的面孔所在的图像高像素化的方法。
在图7的步骤S201中,控制单元130将n的值设定为1(n=1),保存到存储单元140。
在图7的步骤S202中,控制单元130判定开始处理后(即,从开始的时刻起)是否经过了规定时间Δt3。其中,规定时间Δt3是预先设定的时间,被保存在存储单元140中。
在开始处理后经过了规定时间Δt3的情况下(S202→“是”),控制单元130的处理前进至步骤S203。另一方面,在开始处理后还未经过规定时间Δt3的情况下(S202→“否”),控制单元130反复步骤S202的处理。
在图7的步骤S203中,控制单元130接收来自摄像单元110的图像信息的输入,将该图像信息保存到存储单元140。
在图7的步骤S204中,控制单元130从存储单元140读出图像信息,对图像信息按模式1进行间隔剔除处理。
接着,在图7的步骤S205中执行位置检测处理。然后,控制单元130使对人体图像附加特征的信息(即人体信息)与作为每个人体的识别标记的人体标签值相对应(关联),保存到存储单元140。
接着,在图7的步骤S206中,如图8所示将全图像信息分割为9部分。
接着,在图7的步骤S207中,检测S206中分割后的分割图像中,与室内人物的面孔的中心位置对应的分割图像。
图8所示的例子中,判断为室内人物的面孔的中心位于中排的第1-3列、下排的第1列。
接着,在图7的步骤S208中,对S207中判断为存在室内人物的面孔的中心的分割图像按模式2再次进行间隔剔除处理。
接着,在图7的步骤S209中,控制单元130从存储单元140读出按模式2进行间隔剔除后的信息,执行面孔检测处理。然后,控制单元130使对面孔图像附加特征的信息(即面孔信息)与作为每个面孔的识别标记的面孔标签值相对应(关联),保存到存储单元140。
这样,通过仅使人体的面孔所在的分割图像高像素化,能够显著地提高对全像素数的处理速度。
此外,除了分割数据的方法以外,也可以对自人体的面孔的位置起规定距离的范围按模式2处理,对其余部分按模式1处理。
另外,关于全像素的数据的分割份数,除了4份和9份以外,也能够与房间的大小等相应地适当选择。
此外,在人体的面孔位于分割部位的边界的情况下,也可以对2个部位的图像按模式1进行处理。
这样,对于用较粗糙像素的模式1检测出的人体,仅对面孔所在的像素用较精细像素的模式2进行处理,由此不需要使检测范围整体高像素化,所以能够显著提高检测速度。
其中,从步骤S211到步骤S214的处理,是与实施例1同样的处理,所以省略说明。
此外,在步骤S206中,也可以不是将全像素信息分割为9部分,而是分割为4部分或16部分等其他的分割份数。
此外,说明了每经过规定时间Δt3,就执行从步骤S203到步骤S210的处理的情况,但也可以应用从步骤S203到步骤S210的处理代替实施例1中的从步骤S103到步骤S 107的处理。
如以上说明,本发明的空调机,包括:对设置了室内机的室内进行拍摄的摄像单元110;对从摄像单元110输出的图像信息进行间隔剔除的间隔剔除单元;和基于由间隔剔除单元间隔剔除而得的间隔剔除信息检测室内人物,并根据检测结果进行空调控制的控制单元130,间隔剔除单元,具有对图像信息进行间隔剔除的模式1,和以比模式1低的间隔剔除率对图像信息进行间隔剔除的模式2,控制单元130具有:基于模式1的间隔剔除信息检测室内人物的位置的人体检测部131;基于模式2的间隔剔除信息检测室内人物的面孔的面孔检测部132;和使由面孔检测部132检测出的室内人物的面孔与由人体检测部131检测出的室内人物的位置相对应的综合处理部133。
此外,本发明的空调机,包括:对设置了室内机的室内进行拍摄的摄像单元110;对从摄像单元110输出的图像信息进行间隔剔除的间隔剔除单元;和基于由间隔剔除单元间隔剔除而得的间隔剔除信息检测室内人物,并根据检测结果进行空调控制的控制单元130,间隔剔除单元具有模式1和间隔剔除率低于模式1的模式2,控制单元130具有:基于使用模式1对图像信息进行间隔剔除而得的间隔剔除信息检测室内人物的面孔的位置的人体检测部131;将图像信息分割为分割图像信息的分割单元;提取分割图像信息中由人体检测部131检测出的室内人物的面孔所在的分割图像信息的分割图像提取单元;基于使用模式2对室内人物的面孔所在的分割图像信息进行间隔剔除而得的间隔剔除信息,检测室内人物的面孔的面孔检测部132;和使由面孔检测部132检测出的室内人物的面孔与由人体检测部131检测出的室内人物的位置相对应的综合处理部133。
另外,本发明的空调机中,综合处理部133,在由面孔检测部132检测出的室内人物的面孔的中心位置与由人体检测部131检测出的室内人物的面孔的中心位置处于规定的范围内时,使由面孔检测部132检测出的室内人物的面孔与由人体检测部131检测出的室内人物的位置相对应。
另外,本发明的空调机中,面孔检测部132,基于模式2的间隔剔除信息中所包括的室内人物的详细器官来检测室内人物的面孔。
另外,本发明的空调机中,人体检测部131,基于模式1的间隔剔除信息中所包括的室内人物的轮廓来检测室内人物的面孔。
另外,本发明的空调机中,具备存储室内人物的当前位置的存储单元140,控制单元130基于模式2的间隔剔除信息执行面孔检测部132和人体检测部131的详细处理,在详细处理之后,基于模式1的间隔剔除信息执行多次人体检测部131的处理,综合处理部133,在由人体检测部131检测出的室内人物的位置与存储单元140中存储的室内人物的当前位置处于规定的范围内时,将由人体检测部131检测出的室内人物的位置作为室内人物的当前位置。
此外,本发明的空调机,使得在规定时间内模式2的处理次数比模式1的处理次数少。
此外,本发明的空调机中,控制单元130对于由面孔检测部132检测出的室内人物的面孔和由人体检测部131检测出的室内人物的位置通过使用作为识别信息的标签值进行标记而使它们对应。