CN113984105A

CN113984105A - 控制系统、控制方法以及计算机可读取的记录介质

Info

Publication number: CN113984105A
Application number: CN202110836184.5A
Authority: CN
Inventors: 加来航; 李海妍; 堀达朗; 渡部生聖
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-07-27
Filing date: 2021-07-23
Publication date: 2022-01-28
Also published as: US20220026529A1; EP3945377A1; JP7334689B2; JP2022023342A

Abstract

本公开实现一种能够在考虑个人隐私的同时高精度地对人和其他物体进行识别的控制系统、控制方法以及计算机可读取的记录介质。本公开的一个方式所涉及的控制系统具备：第一取得部，其取得将预定的环境内作为检测范围的雷达检测信息；第二取得部，其取得将环境内作为检测范围的温度检测信息；识别部，其基于雷达检测信息和温度检测信息，针对环境内的物体而识别是人还是其他物体；控制部，其基于是人还是其他物体的识别结果信息，而对被配置于环境内的电子设备进行控制。

Description

控制系统、控制方法以及计算机可读取的记录介质

技术领域

本公开涉及一种控制系统、控制方法以及控制程序。

背景技术

近年来，实际运用着一种基于预定的环境内的人的存在而对被配置于该环境内的电子设备进行控制的技术。此时，如日本特开2017-16610号公报所公开的那样，使用图像传感器等多个传感器来对环境内的人进行检测。

发明内容

本申请人发现了以下的课题。虽然在日本特开2017-16610号公报中，使用图像传感器等多个传感器来对环境内的人进行检测，但是在由图像传感器等所取得的检测信息中，有可能包含面部信息等能够对个人进行特定的信息，从而从个人隐私保护的观点来看存在担忧。

本公开为鉴于这样的问题点而完成的发明，其实现了能够在考虑个人隐私的同时高精度地对人和其他物体进行识别的控制系统、控制方法以及控制程序。

本公开的一个方式所涉及的控制系统具备：第一取得部，其取得将预定的环境内作为检测范围的雷达检测信息；第二取得部，其取得将所述环境内作为检测范围的温度检测信息；识别部，其基于所述雷达检测信息和所述温度检测信息，针对所述环境内的物体而识别是人还是其他物体；控制部，其基于所述是人还是其他物体的识别结果信息，而对被配置于所述环境内的电子设备进行控制。

如此，使用无法对个人进行特定但能够检测物体的雷达检测信息、和同样无法对个人进行特定但是会根据人和其他物体而产生差异的温度检测信息，来对人和其他物体进行识别。因此，能够在考虑个人隐私的同时高精度地对人和其他物体进行识别。

在上述的控制系统中，优选为，所述识别部基于所述温度检测信息中的、与在所述雷达检测信息中示出所述物体的区域相对应的区域内的温度分布，而对是人还是其他物体进行识别。

在上述的控制系统中，优选为，所述识别部通过将其他物体的温度分布的时间序列的变化信息、人的温度检测信息和人的体型信息作为输入信息、并且将是人还是其他物体的识别结果信息作为输出信息的监督式学习来进行学习，以使是人还是其他物体的识别结果成为正确回答。

在上述的控制系统中，优选为，所述电子设备为话筒，所述控制部对该话筒进行控制以使所述话筒的收音方向朝向所识别出的人。

在上述的控制系统中，优选为，所述电子设备为移动体，所述控制部对所述移动体进行控制以避开所识别出的人。

在上述的控制系统中，优选为，所述电子设备为空调，所述控制部对该空调进行控制以使所述空调的风向朝向所识别出的人。

在上述的控制系统中，优选为，所述控制部在基于所述识别结果信息而判断为所述环境内不存在人的情况下，将所述电子设备的电源设为断开。

本公开的一个方式所涉及的控制方法具备：取得将预定的环境内作为检测范围的雷达检测信息的工序；取得将所述环境内作为检测范围的温度检测信息的工序；基于所述雷达检测信息和所述温度检测信息，针对所述环境内的物体而识别是人还是其他物体的工序；基于所述是人还是其他物体的识别结果信息而对被配置于所述环境内的电子设备进行控制的工序。

本公开的一个方式所涉及的控制程序使计算机执行如下处理，即：取得将预定的环境内作为检测范围的雷达检测信息的处理；取得将所述环境内作为检测范围的温度检测信息的处理；基于所述雷达检测信息和所述温度检测信息，针对所述环境内的物体而识别是人还是其他物体的处理；基于所述是人还是其他物体的识别结果信息而对被配置于所述环境内的电子设备进行控制的处理。

根据本公开，可以实现能够在考虑个人隐私的同时高精度地对人和其他物体进行识别的控制系统、控制方法以及控制程序。

附图说明

图1为表示使用了实施方式1的控制系统的状况的图。

图2为表示实施方式1的控制系统的结构的框图。

图3为例示出由第一取得部所取得的点集信息的图。

图4为例示出由第二取得部所取得的温度检测信息的图。

图5为表示使用实施方式1的控制系统而对话筒进行控制的流程的流程图。

图6为表示在实施方式1的识别部中对是人还是其他物体进行识别的流程的流程图。

图7为表示实施方式2的控制系统的结构的框图。

图8为表示实施方式3的控制系统的结构的框图。

图9为表示实施方式4的控制系统的结构的框图。

图10为表示控制系统中所包含的硬件结构的一个示例的图。

具体实施方式

以下，参照附图而对应用了本公开的具体的实施方式进行详细说明。但是，本公开并未被限定于以下的实施方式。此外，为了明确说明，从而适当地简化了以下的记载以及附图。

＜实施方式1＞

首先，对本实施方式的控制系统的结构进行说明。图1为表示使用了本实施方式的控制系统的情况的图。图2为表示本实施方式的控制系统的结构的框图。

如图1所示，本实施方式的控制系统1例如作为预定的环境而优选为住房的起居室R。但是，控制系统1并不限于在住房中应用，其在人进行活动的设施中都能够进行应用。

如图1及图2所示，控制系统1具备第一取得部2、第二取得部3、识别部4以及控制部5。第一取得部2取得将起居室R的内部作为检测范围的雷达检测信息。图3为例示出由第一取得部所取得的点集信息的图。如图3所示，雷达检测信息为基于来自存在于起居室R的内部的物体的反射波而形成的点集信息。在点集信息中，例如包括起居室R的内部的世界坐标系上的位置信息。

第一取得部2例如具备雷达传感器，如图1所示，其以俯视起居室R的方式而被固定在该起居室R的上部处。并且，第一取得部2的检测范围例如为起居室R的大致整个区域。

但是，第一取得部2的固定位置或检测范围只要为能够对存在于起居室R的内部的人进行检测的固定位置以及检测范围即可。此外，并不限于第一取得部2具备雷达传感器的结构，第一取得部2也可以为从被设置于第一取得部2的外部的雷达传感器取得雷达检测信息的结构。也就是说，也可以使第一取得部2作为雷达检测信息的输入部而发挥功能。

第二取得部3取得将起居室R的内部作为检测范围的温度检测信息。图4为例示出由第二取得部所取得的温度检测信息的图。此处，在图4中，随着颜色变深而示出了温度较高的区域。如图4所示，温度检测信息为存在于起居室R的内部的物体的温度分布信息。在温度分布信息中，例如包含起居室R的内部的位置信息。

第二取得部3例如具备红外线摄像机，并且如图1所示的那样，其以俯视起居室R的方式而被固定在该起居室R的上部处。并且，第二取得部3的检测范围例如为起居室R的大致整个区域。

但是，第二取得部3的固定位置或检测范围只要为能够对存在于起居室R的内部的人进行检测的固定位置以及检测范围即可。此外，并不限于第二取得部3具备红外线摄像机的结构，第二取得部3也可以为从被设置于第二取得部3的外部的红外线摄像机取得温度检测信息的结构。也就是说，也可以使第二取得部3作为温度检测信息的输入部而发挥功能。

识别部4基于雷达检测信息以及温度检测信息，针对起居室R的内部的物体而识别是人还是其他物体。虽然详细内容将在后文中叙述，但是识别部4基于温度检测信息中的、与在雷达检测信息中示出物体的区域相对应的区域内的温度分布，而对是人还是其他物体进行识别。

控制部5基于识别结果而对被配置于起居室R的内部的电子设备进行控制。控制部5例如作为电子设备而对话筒6进行控制。话筒6例如为指向性话筒，并且如图1所示的那样，为了基于从话筒6收音到的语音而使空调等其他的电子设备进行工作，从而被配置在起居室R的内部。此时，话筒6被设为能够使指向发生变化的结构。但是，话筒6只要能够对语音进行收音即可，所收音到的语音的用途并未被限定。

接下来，对使用本实施方式的控制系统1来控制话筒6的流程进行说明。图5为表示使用本实施方式的控制系统而对话筒进行控制的流程的流程图。

首先，识别部4经由第一取得部2而取得起居室R的内部的雷达检测信息，并且经由第二取得部3而取得起居室R的内部的温度检测信息(S1)。此时，雷达检测信息以及温度检测信息具有起居室R的内部的世界坐标系上的物体的位置信息。

接下来，如上文所述，识别部4基于温度检测信息中的、与在雷达检测信息中示出物体的区域相对应的区域内的温度分布，而对是人还是其他物体进行识别(S2)。此处，由于雷达通过水或金属而进行反射，因此所取得的点集信息不是能够高精度地识别人和其他物体的信息，此外，虽然能够取得大致的形状及姿态，但并不是人的面部等能够对个人进行特定的级别。另一方面，在由温度检测信息所示出的温度分布中，会根据人和其他物体而产生差异。

图6为表示在本实施方式的识别部中对是人还是其他物体进行识别的流程的流程图。识别部4例如基于雷达检测信息，将示出存在于起居室R的内部的物体的区域相对于其他的区域而进行识别(S21)。然后，识别部4取得温度检测信息中的、与在雷达检测信息中示出物体的区域相对应的区域内的温度分布(S22)。

此时，识别部4只要基于作为雷达检测信息的点集信息内的位置信息以及作为温度检测信息的温度分布信息内的位置信息，而取得温度检测信息中的、与在雷达检测信息中示出物体的区域相对应的区域内的温度分布即可。此处，在存在多个示出物体的区域的情况下，取得温度检测信息中的与示出各个物体的区域相对应的每个区域的温度分布。

而且，识别部4基于温度检测信息中的示出了雷达检测信息中的物体的区域内的温度分布，而在温度检测信息中的示出了雷达检测信息中的物体的区域内，对被预先设定的温度以上的面积是否相对于示出该物体的区域的面积而在被预先设定的比例以上进行判断(S23)。

然后，在被预先设定的温度以上的面积相对于示出该物体的区域的面积而在被预先设定的比例以上的情况下(S23的“是”)，识别部4判断为在所判断的区域中存在人(S24)。另一方面，在被预先设定的温度以上的面积相对于表示该物体的区域的面积而小于被预先设定的比例的情况下(S23的“否”)，识别部4判断为在所判断的区域中存在其他物体(S25)。如此，识别部4对雷达检测信息的物体是人还是其他物体进行识别。

另外，被预先设定的温度以及比例能够适当地进行设定，例如能够设定为，温度：35℃，比例：70％。此外，也可以通过将人的温度检测信息以及人的体型信息作为输入信息、并且将所设定的温度以及比例作为输出信息的监督学习来进行学习，以使是人还是其他物体的识别结果成为正确回答。

此处，也可以通过将示出人的雷达检测信息以及示出其他物体的雷达检测信息作为输入信息、并且将存在于雷达检测信息的示出物体的区域内的物体是人还是其他物体的识别结果信息作为输出信息的监督学习来进行学习，以使是人还是其他物体的识别结果成为正确回答，并且对在雷达检测信息中明确地示出了其他物体的区域进行过滤。或者，也可以在雷达检测信息中提取示出了人的区域，并基于温度检测信息中的、与雷达检测信息的该提取出的区域相对应的区域内的温度分布，来对是人还是其他物体进行识别。由此，能够对运算量进行抑制。

但是，识别部4也可以通过将其他物体的时间序列的温度分布的变化信息、人的温度检测信息以及人的体型信息作为输入信息、并且将是人还是其他物体的识别结果信息作为输出信息的监督学习来进行学习，以使是人还是其他物体的识别结果成为正确回答，并基于学习结果，而对温度检测信息中的、存在于与在雷达检测信息中示出物体的区域相对应的区域中的物体是人还是其他物体进行识别。此时，由于雷达的反射会根据人和其他物体而有所不同，因此如果将雷达检测信息的雷达强度信息也作为输入信息，则能够提高学习精度。

接下来，控制部5基于表示识别结果的信息、以及作为雷达检测信息的点集信息内的位置信息或者作为温度检测信息的温度分布信息内的位置信息中的至少一方的位置信息而对该话筒6进行控制，以使话筒6的指向(即，话筒6的收音方向)朝向所识别出的人(S3)。

如此，本实施方式的控制系统1以及控制方法使用无法对个人进行特定但能够检测物体的雷达检测信息、和同样无法对个人进行特定但是会根据人和其他物体而产生差异的温度检测信息，来对人和其他物体进行识别。因此，本实施方式的控制系统1以及控制方法能够在考虑个人隐私的同时高精度地对人和其他物体进行识别，其结果为，能够以朝向人的方式而高精度地对话筒6的指向进行控制。另外，只要能够基于雷达检测信息以及温度检测信息而对雷达检测信息中所示出的物体识别出是人还是其他物体即可，并未被限定于上述的方法。

＜实施方式2＞

图7为表示本实施方式的控制系统的结构的框图。由于图7所示的控制系统21被设为与实施方式1的控制系统1大致相同的结构，因此省略重复的说明，但是被设为代替话筒6而对移动体22进行控制的结构。

移动体22例如为在起居室R的内部进行移动的自主移动型的机器人，并且能够与控制系统21的控制部23进行通信。并且，控制系统21的控制部23基于表示识别结果的信息、以及作为雷达检测信息的点集信息内的位置信息或者作为温度检测信息的温度分布信息内的位置信息中的至少一方的位置信息，而对该移动体22进行控制，以使移动体22避开所识别出的人。

由此，能够高精度地对移动体22接触到人的情况进行抑制。另外，移动体22也可以为基于来自外部的指示信息而进行动作的机器人等。

＜实施方式3＞

图8为表示本实施方式的控制系统的结构的框图。由于图8所示的控制系统31被设为与实施方式1的控制系统1大致相同的结构，因此省略重复的说明，但是被设为代替话筒6而对空调32进行控制的结构。

空调32例如为被设置于起居室R中的供冷供暖装置，并能够与控制系统31的控制部33进行通信。并且，控制系统31的控制部33基于表示识别结果的信息、以及作为雷达检测信息的点集信息内的位置信息或者作为温度检测信息的温度分布信息内的位置信息中的一方的位置信息来对该空调32进行控制，以使空调32的风向朝向所识别出的人。

由此，能够在起居室R的内部对存在人的部位选择性地进行供冷或供暖。因此，能够有效地使空调32进行工作，并且能够抑制电力的消耗量。

＜实施方式4＞

图9为表示本实施方式的控制系统的结构的框图。由于图9所示的控制系统41被设为与实施方式1的控制系统1大致相同的结构，因此省略重复的说明，但是被设为对电子设备42进行控制的结构。

电子设备42例如为被配置于起居室R的内部的话筒6、移动体22或者空调32等通过电力而进行工作的装置，并能够与控制系统41的控制部43进行通信。并且，控制系统41的控制部43在基于表示识别结果的信息而判断为在起居室R的内部不存在人的情况下，将电子设备42的电源控制成断开。

由此，在起居室R的内部不存在人的情况下，能够抑制忘记关闭电子设备42的电源的情况，从而能够抑制电子设备42的电力消耗。

＜其他的实施方式＞

虽然在上述实施方式1至4中将本公开作为硬件的结构来进行了说明，但本公开并未被限定于此。本公开也能够通过使CPU(Central Processing Unit：中央处理器)执行计算机程序，从而实现各结构要素的处理。

例如，上述实施方式的控制系统能够具备下述的这种硬件结构。图10为表示控制系统中所包含的硬件结构的一个示例的图。

图10所示的装置51在具备接口52的同时，还具备处理器53以及存储器54。上述实施方式中所说明的控制系统通过处理器53读取并执行被存储于存储器54中的程序从而被实现。也就是说，该程序为用于使处理器53作为上述实施方式的控制系统而发挥功能的程序。

上述的程序能够使用各种类型的非临时性的计算机算机可读介质(non-transitory computer readable medium)而被储存，并通过给计算机(包括信息通知装置的计算机)。非临时性的计算机可读介质包括各种类型的具有实体的记录介质(tangiblestorage medium)。非临时性的计算机可读介质的示例包括磁记录介质(例如软盘、磁带、硬盘驱动器)、磁光记录介质(例如磁光盘)。而且，该示例包括CD-ROM(Read Only Memory)、CD-R、CD-R/W。而且，该示例包括半导体存储器(例如，微型ROM、PROM(Programmable ROM：可编程只读存储器)、EPROM(Erasable Programmable ROM：可擦除可编程只读存储器)、快闪ROM、RAM(Random Access Memory：随机存取存储器))。此外，程序也可以通过各种类型的临时性的计算机可读介质(transitory computer readable medium)而被提供给计算机。临时性的计算机可读介质的示例包括电信号、光信号以及电磁波。临时性的计算机可读介质能够经由电线以及光纤等有限通信线路、或者经由无线通信线路而将程序提供给计算机。

上述实施方式只不过为与根据本案发明人所获得的技术思想的应用有关的示例。即，该技术思想并非仅被限定于上述的实施方式的技术思想，当然能够进行各种各样的变更。

Claims

1.一种控制系统，具备：

第一取得部，其取得将预定的环境内作为检测范围的雷达检测信息；

第二取得部，其取得将所述环境内作为检测范围的温度检测信息；

识别部，其基于所述雷达检测信息和所述温度检测信息，针对所述环境内的物体而识别是人还是其他物体；

控制部，其基于所述是人还是其他物体的识别结果信息，而对被配置于所述环境内的电子设备进行控制。

2.如权利要求1所述的控制系统，其中，

所述识别部基于所述温度检测信息中的、与在所述雷达检测信息中示出所述物体的区域相对应的区域内的温度分布，而对是人还是其他物体进行识别。

3.如权利要求2所述的控制系统，其中，

所述识别部通过将其他物体的温度分布的时间序列的变化信息、人的温度检测信息和人的体型信息作为输入信息、并且将是人还是其他物体的识别结果信息作为输出信息的监督学习来进行学习，以使是人还是其他物体的识别结果成为正确回答。

4.如权利要求1至3中任意一项所述的控制系统，其中，

所述电子设备为话筒，

所述控制部对该话筒进行控制，以使所述话筒的收音方向朝向所识别出的人。

5.如权利要求1至3中任意一项所述的控制系统，其中，

所述电子设备为移动体，

所述控制部对所述移动体进行控制，以避开所识别出的人。

6.如权利要求1至3中任意一项所述的控制系统，其中，

所述电子设备为空调，

所述控制部对该空调进行控制，以使所述空调的风向朝向所识别出的人。

7.如权利要求1至6中任意一项所述的控制系统，其中，

所述控制部在基于所述识别结果信息而判断为所述环境内不存在人的情况下，将所述电子设备的电源设为断开。

8.一种控制方法，具备：

取得将预定的环境内作为检测范围的雷达检测信息的工序；

取得将所述环境内作为检测范围的温度检测信息的工序；

基于所述雷达检测信息和所述温度检测信息，针对所述环境内的物体而识别是人还是其他物体的工序；

基于所述是人还是其他物体的识别结果信息，而对被配置于所述环境内的电子设备进行控制的工序。

9.一种计算机可读取的记录介质，其记录有使计算机执行如下处理的控制程序，所述处理为：

取得将预定的环境内作为检测范围的雷达检测信息的处理；

取得将所述环境内作为检测范围的温度检测信息的处理；

基于所述雷达检测信息和所述温度检测信息，针对所述环境内的物体而识别是人还是其他物体的处理；

基于所述是人还是其他物体的识别结果信息，而对被配置于所述环境内的电子设备进行控制的处理。