CN117916535A

CN117916535A - 空调操作终端、空调操作程序以及空调系统

Info

Publication number: CN117916535A
Application number: CN202180102187.4A
Authority: CN
Inventors: 渡边辅祐太
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2024-04-19
Also published as: JP7378684B2; WO2023042294A1; JPWO2023042294A1

Abstract

物体检测部(212)使用学习完毕模型，检测拍摄到了空调室内机的拍摄图像中的多个叶片。叶片选择部(214)从所述拍摄图像中的所述多个叶片中选择对象叶片。图像显示部(215)显示重叠了对象识别标记和调节界面的重叠图像。指定受理部(216)受理通过所述调节界面的操作而指定的调节内容。空调设定部(217)对所述空调室内机设定所受理的调节内容。

Description

空调操作终端、空调操作程序以及空调系统

技术领域

本公开涉及空调机的操作。

背景技术

存在室内机具有多个叶片的空调机。例如，吊顶盒式的室内机大多具有多个叶片。

在这样的空调机的使用中，如果按照每个叶片来调节风向和风量等，则实现更加舒适的室内环境。

专利文献1公开了用于利用智能手机这样的终端装置来进行变更风向和风量的操作的技术。

在该技术中，与从室内机的叶片吹出的风对应的虚拟空间图像被显示在画面中。然后，利用者通过触碰该画面来进行用于变更风向和风量的操作。

现有技术文献

专利文献

专利文献1：日本特开2014-190686号公报

发明内容

发明要解决的问题

专利文献1的技术将室内机具有1个叶片的空调机的操作作为对象。而且，针对室内机具有多个叶片的空调机，未公开用于确定成为操作对象的叶片并调节来自所确定的叶片的风向和风量等的操作。

本公开的目的在于，针对室内机具有多个叶片的空调机，能够进行用于确定成为操作对象的叶片并调节来自所确定的叶片的风向和风量等的操作。

用于解决问题的手段

本公开的空调操作终端具备：图像取得部，其取得拍摄具有多个叶片的空调室内机而得到的拍摄图像；物体检测部，其使用学习完毕模型来检测所述拍摄图像中的所述多个叶片，该学习完毕模型是针对拍摄到了与所述空调室内机相同种类的空调室内机的训练图像进行机器学习而生成的；叶片选择部，其从所述拍摄图像中的所述多个叶片中选择对象叶片，该对象叶片是要调节吹出风的1个叶片；图像显示部，其将重叠了对象识别标记和调节界面的所述拍摄图像作为重叠图像进行显示，该对象识别标记用于识别所述对象叶片，该调节界面是用于指定来自所述对象叶片的吹出风的调节内容的图形用户界面；指定受理部，其受理通过所述调节界面的操作而指定的调节内容；以及空调设定部，其对所述空调室内机设定所受理的调节内容。

发明的效果

根据本公开，针对室内机具有多个叶片的空调机，能够进行用于确定成为操作对象的叶片并调节来自所确定的叶片的风向和风量等的操作。

附图说明

图1是实施方式1中的空调系统100的结构图。

图2是实施方式1中的空调室内机110的结构图。

图3是实施方式1中的空调操作终端200的结构图。

图4是实施方式1中的存储部290的结构图。

图5是实施方式1中的学习完毕模型291的说明图。

图6是示出实施方式1中的叶片识别数据292的图。

图7是实施方式1中的空调操作方法的流程图。

图8是示出实施方式1中的拍摄图像281的图。

图9是实施方式1中的步骤S120的流程图。

图10是实施方式1中的步骤S130的说明图。

图11是示出实施方式1中的对象叶片113的图。

图12是示出实施方式1中的重叠图像282的图。

图13是示出实施方式1中的空调系统100的结构例的图。

图14是示出实施方式1中的空调控制器120的结构例的图。

图15是实施方式2中的空调操作方法的流程图。

图16是示出实施方式2中的候选叶片组114的图。

图17是示出实施方式2中的重叠图像285的图。

图18是示出实施方式2中的重叠图像282的图。

图19是实施方式3中的空调操作终端200的结构图。

图20是实施方式3中的空调操作方法的流程图。

图21是示出实施方式3中的终端方向的图。

图22是实施方式3中的步骤S350的流程图。

图23是示出实施方式3中的状态界面287的显示步骤的图。

图24是示出实施方式3中的重叠图像282的图。

图25是示出实施方式4中的重叠图像282的图。

图26是实施方式中的空调操作终端200的硬件结构图。

具体实施方式

在实施方式和附图中，针对相同的要素或者对应的要素标注有相同的标号。适当省略或简化标注了与已说明的要素相同的标号的要素的说明。图中的箭头主要表示数据流或者处理的流程。

实施方式1.

基于图1至图14对空调系统100进行说明。

＊＊＊结构的说明＊＊＊

基于图1对空调系统100的结构进行说明。

空调系统100具备空调机101和空调操作终端200。

空调机101具备空调室外机102和空调室内机110。

空调室外机102是空调机101的室外机。

空调室内机110是空调机101的室内机。

空调操作终端200是在用于空气调节的各种操作中使用的终端。例如，智能手机被用作空调操作终端200。

空调操作终端200通过无线而与空调机101进行通信。具体而言，空调操作终端200与空调室内机110进行通信。

基于图2对空调室内机110的结构进行说明。

空调室内机110具有多个叶片111、扩展部件112以及通信装置119。

叶片111是吹出风的口。

扩展部件112是设置于空调室内机110的部件。例如，扩展部件112是搭载了人感传感器和温度传感器等的部件。

通信装置119是接收器和发送器。例如，通信装置119是通信芯片或NIC。使用通信装置119来进行空调室内机110的通信。

NIC是Network Interface Card(网络接口卡)的简称。

空调室内机110能够按照每个叶片111来调节吹出风。具体而言，空调室内机110按照每个叶片111来调节风向和风量等。

将能够进行吹出风的调节的项目(风向和风量等)称为“调节项目”。

将调节的具体内容称为“调节内容”。例如，调节内容表示上下左右这样的风向和风量的强度等。

基于图3对空调操作终端200的结构进行说明。

空调操作终端200是具备处理器201、存储器202、辅助存储装置203、通信装置204、摄像头205以及显示器206这样的硬件的计算机。这些硬件经由信号线相互连接。

处理器201是进行运算处理的IC，对其他硬件进行控制。例如，处理器201是CPU、DSP或GPU。

IC是Integrated Circuit(集成电路)的简称。

CPU是Central Processing Unit(中央处理单元)的简称。

DSP是Digital Signal Processor(数字信号处理器)的简称。

GPU是Graphics Processing Unit(图形处理单元)的简称。

存储器202是易失性或非易失性的存储装置。存储器202也被称为主存储装置或主存储器。例如，存储器202是RAM。存储器202所存储的数据根据需要而保存于辅助存储装置203。

RAM是Random Access Memory(随机存取存储器)的简称。

辅助存储装置203是非易失性的存储装置。例如，辅助存储装置203是ROM、HDD、闪存或者它们的组合。辅助存储装置203所存储的数据根据需要被加载到存储器202。

ROM是Read Only Memory(只读存储器)的简称。

HDD是Hard Disk Drive(硬盘驱动器)的简称。

通信装置204是接收器和发送器。例如，通信装置204是通信芯片或NIC。使用通信装置204来进行空调操作终端200的通信。

摄像头205是拍摄装置。

显示器206是显示装置。例如，显示器206是触摸面板显示器。

空调操作终端200具备图像取得部211、物体检测部212、叶片识别部213、叶片选择部214、图像显示部215、指定受理部216以及空调设定部217这样的要素。这些要素由软件实现。

在辅助存储装置203中，存储有用于使计算机作为图像取得部211、物体检测部212、叶片识别部213、叶片选择部214、图像显示部215、指定受理部216以及空调设定部217发挥功能的空调操作程序。空调操作程序被加载到存储器202，由处理器201执行。

在辅助存储装置203中还存储有OS。OS的至少一部分被加载到存储器202，由处理器201执行。

处理器201一边执行OS一边执行空调操作程序。

OS是Operating System(操作系统)的简称。

空调操作程序的输入输出数据被存储在存储部290中。

存储器202作为存储部290发挥功能。但是，辅助存储装置203、处理器201内的寄存器以及处理器201内的高速缓冲存储器等存储装置也可以代替存储器202或者与存储器202一起作为存储部290发挥功能。

空调操作终端200也可以具备代替处理器201的多个处理器。

空调操作程序能够以计算机可读取的方式记录(存储)于光盘或闪存等非易失性的记录介质。

基于图4对存储部290的结构进行说明。

在存储部290中存储有学习完毕模型291和叶片识别数据292等数据。

基于图5对学习完毕模型291进行说明。

学习完毕模型291是用于从拍摄到了空调室内机110的输入图像中检测各叶片111和扩展部件112的模型。

将多个训练图像作为输入而进行机器学习，从而生成学习完毕模型291。

训练图像是成为训练数据的图像。在训练图像中拍摄到了与空调室内机110相同种类的空调室内机。训练图像中拍摄到的空调室内机可以是空调室内机110，也可以是与空调室内机110不同的机型。

训练图像最好是大量的。为了提高泛化性能，期望考虑室内的照明环境的变化而准备训练图像。具体而言，期望准备附加了噪声的图像和变更了亮度的图像等作为训练图像。

例如，物体检测部212受理1个以上的训练图像，生成变化的训练图像，使用所受理的训练图像和生成的训练图像进行机器学习。

在机器学习中，例如使用卷积神经网络、YOLO、SSD或者Faster R-CNN等学习模型。

YOLO是You Only Look Once的简称。

SSD是Single Shot Multibox Detector(单次多盒探测器)的简称。

Faster R-CNN是Faster Region Convolutional Neural Network(更快的区域卷积神经网络)的简称。

在机器学习中，具体而言学习边界框和类别分类。

边界框是包围叶片111或扩展部件112这样的物体的框，表示物体所处的区域。

类别分类表示叶片111或扩展部件112这样的物体的种类。

基于图6对叶片识别数据292进行说明。

叶片识别数据292是表示各叶片111相对于扩展部件112的位置关系和各叶片111的识别符的数据。

具体而言，叶片识别数据292按照每个叶片111，将位置编号与识别编号相互对应地示出。

位置编号是示出叶片111相对于扩展部件112的位置关系的编号。例如，扩展部件112位于右侧的叶片111的位置编号为“1”。此外，从位置编号为“1”的叶片111按照顺时针的顺序，将各叶片111的位置编号逐一地增大。

识别编号是识别叶片111的编号。

另外，扩展部件112的安装位置在设置空调室内机110时被决定。而且，在存在多个空调室内机110的情况下，扩展部件112的安装位置可能按照每个空调室内机110而不同。因此，按照每个空调室内机110来管理叶片识别数据292。

叶片识别数据292被预先存储在存储部290中。

但是，叶片识别数据292也可以由空调操作终端200自动地生成。

以下，对自动地生成叶片识别数据292的方法进行说明。

例如，空调操作终端200通过通信从空调室内机110取得位置关系数据。位置关系数据示出扩展部件112与各叶片111的位置关系、以及各叶片111的识别符。然后，空调操作终端200基于由学习完毕模型291决定的位置编号和取得的位置关系数据来生成叶片识别数据292。

例如，空调操作终端200将由学习完毕模型291决定的各叶片111的位置编号识别为临时的识别编号。接着，空调操作终端200使用识别出的临时的识别编号对空调室内机110进行操作。然后，空调操作终端200基于响应于操作而实际运转的叶片111与临时的识别编号的偏差，来制作叶片识别数据292。在图6中，临时的识别编号与位置编号相同。因此，实际运转的叶片111与临时的识别编号的偏差相当于编号错开1。另外，关于响应于操作而实际运转的叶片111，可以通过摄像头205拍摄空调室内机110而自动地被检测，也可以通过由用户指定运转了的叶片111而检测。

＊＊＊动作的说明＊＊＊

空调操作终端200的动作的步骤相当于空调操作方法。此外，空调操作终端200的动作的步骤相当于基于空调操作程序的处理的步骤。

基于图7对空调操作方法进行说明。

在步骤S110中，利用者对空调操作终端200的摄像头205进行操作，拍摄空调室内机110。

摄像头205按照利用者的操作来拍摄空调室内机110并输出图像。将通过拍摄得到的图像称为“拍摄图像281”。

图像取得部211从摄像头205取得拍摄图像281，将拍摄图像281存储于存储部290。

基于图8对拍摄图像281的具体例进行说明。

拍摄图像281显示在空调操作终端200的显示器206中。

在拍摄图像281中拍摄到空调室内机110。空调室内机110具有4个叶片(111A～111D)。即，在拍摄图像281中，拍摄到具有4个叶片(111A～111D)的空调室内机110。

返回到图7，从步骤S120继续说明。

在步骤S120中，物体检测部212使用学习完毕模型291，对拍摄图像281中的多个叶片111进行检测。

具体而言，物体检测部212将拍摄图像281作为输入来运算学习完毕模型291。由此，检测多个叶片111和扩展部件112。

基于图9对步骤S120的步骤进行说明。

在步骤S121中，物体检测部212使用学习完毕模型291，来估计叶片111和扩展部件112各自的边界框。

在步骤S122中，物体检测部212基于各边界框，确定叶片111和扩展部件112各自的位置。

例如，物体检测部212计算边界框的中心。所计算的中心是被确定的位置。

返回到图7，从步骤S130继续说明。

在步骤S130中，叶片识别部213判定拍摄图像281中的各叶片111相对于扩展部件112的位置关系，基于判定出的位置关系来识别各叶片111。

具体而言，叶片识别部213使用叶片识别数据292来确定各叶片111的识别符。

基于图10，对步骤S130的细节进行说明。

将以扩展部件112为基点而示出基准方向的向量称为“基准向量”。具体而言，基准方向是扩展部件112位于右上的情况下的右方向。

将从扩展部件112到各叶片111的向量称为“相对位置向量”。

(1)首先，叶片识别部213按照每个叶片111，计算相对位置向量相对于基准向量的相对角度。所计算的相对角度是以扩展部件112为基点使基准向量逆时针旋转至与相对位置向量重叠为止时的旋转角度。

(2)接着，叶片识别部213基于各叶片111的相对角度，来决定各叶片111的位置编号。

具体而言，叶片识别部213选择相对角度最小的叶片111，向选择出的叶片111分配位置编号“1”。进而，叶片识别部213按照相对角度从大到小的顺序选择剩余的各叶片111，针对选择出的各叶片111，从“2”起依次分配位置编号。

(3)然后，叶片识别部213按照每个叶片111，从叶片识别数据292取得与位置编号对应的识别编号。

返回到图7，从步骤S140继续说明。

在步骤S140中，叶片选择部214从拍摄图像281中的多个叶片111中选择1个叶片111。将所选择的叶片111称为“对象叶片113”。

对象叶片113是调节吹出风的叶片111。

基于图11对对象叶片113的具体例进行说明。

认为从最接近利用者的叶片111吹出的风碰到利用者而对利用者造成较强影响。

认为拍摄图像281中位于最上方的叶片111是最接近利用者的叶片111。

于是，叶片选择部214选择拍摄图像281中位于最上方的叶片111作为对象叶片113。

返回到图7，从步骤S150继续说明。

在步骤S150中，图像显示部215使用拍摄图像281生成重叠图像282，将重叠图像282显示于显示器206。

基于图12对重叠图像282进行说明。

重叠图像282是重叠了对象识别标记283和调节界面284的拍摄图像281。

对象识别标记283是用于识别对象叶片113的标记。对象识别标记283与对象叶片113的位置重叠。

调节界面284是用于指定来自对象叶片113的吹出风的调节内容的图形用户界面(GUI)。

调节界面284按照每个调节的种类而包含GUI。调节的种类是上下风向、左右风向、风量以及运转模式等。

在调节界面284使用图标(参照图12)或滑块等GUI。

调节界面284在图12中重叠于重叠图像282的下侧。但是，调节界面284所重叠的位置不限于图12所示的位置。

返回到图7，从步骤S160继续说明。

在步骤S160中，利用者通过对调节界面284进行操作来指定针对对象叶片113的调节内容。

然后，指定受理部216受理针对对象叶片113的调节内容。

在步骤S170中，空调设定部217通过与空调室内机110进行通信，对空调室内机110设定针对对象叶片113的调节内容。

具体而言，空调设定部217将表示对象叶片113的识别符和针对对象叶片113的调节内容的设定请求发送到空调室内机110。空调室内机110接收设定请求。然后，空调室内机110针对通过设定请求所示的识别符而识别的叶片111，进行设定请求所示的调节内容的设定。

之后，空调室内机110按照所设定的调节内容，调节来自对象叶片113的吹出风。

＊＊＊实施例的说明＊＊＊

基于图13和图14对实施例进行说明。

如图13所示，空调机101也可以具备空调控制器120。

空调控制器120是用于控制空调室内机110的遥控器。空调控制器120也可以是有线遥控器和无线遥控器中的任意一方。

空调控制器120通过有线或无线与空调室内机110连接，对空调室内机110进行控制。在空调控制器120通过有线与空调室内机110连接的情况下，不需要空调室内机110的通信装置119。

图14示出空调控制器120的结构。

空调控制器120具备处理电路121、通信装置122以及显示器123这样的硬件。这些硬件经由信号线相互连接。

处理电路121是实现空调控制部124的硬件。

通信装置122是接收器和发送器。例如，通信装置122是通信芯片或者NIC。使用通信装置122来进行空调控制器120的通信。

显示器123是显示装置。例如，显示器123是液晶显示器或者触摸面板显示器。

对处理电路121的细节进行说明。

处理电路121可以是专用的硬件，也可以是执行存储器所存储的程序的处理器。

在处理电路121是专用的硬件的情况下，处理电路121例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC、FPGA或者它们的组合。

ASIC是Application Specific Integrated Circuit(专用集成电路)的简称。

FPGA是Field Programmable Gate Array(现场可编程门阵列)的简称。

空调控制器120也可以具备代替处理电路121的多个处理电路。

在处理电路121中，也可以是，一部分功能由专用的硬件实现，剩余的功能由软件或固件实现。

在空调机101具备空调控制器120的情况下，步骤S170(参照图7)如以下那样执行。

在步骤S170中，空调设定部217向空调控制器120发送表示针对对象叶片113的调节内容的数据。空调控制部124接收所发送的数据。

然后，空调控制部124通过与空调室内机110进行通信，对空调室内机110设定针对对象叶片113的调节内容。

也可以不使用叶片识别数据292而确定各叶片111的识别编号。

例如，空调操作终端200通过通信从空调室内机110取得位置关系数据。位置关系数据示出扩展部件112与各叶片111的位置关系、以及各叶片111的识别符。然后，空调操作终端200基于由学习完毕模型291决定的位置编号和取得的位置关系数据，来确定各叶片111的识别编号。

例如，空调操作终端200将由学习完毕模型291决定的各叶片111的位置编号识别为临时的识别编号。接着，空调操作终端200使用识别出的临时的识别编号对空调室内机110进行操作。然后，空调操作终端200基于响应于操作而实际运转的叶片111与临时的识别编号的偏差，来确定叶片111的识别编号。另外，关于响应于操作而实际运转的叶片111，可以通过摄像头205拍摄空调室内机110而自动地被检测，也可以通过由利用者指定运转的叶片111而被检测。

＊＊＊实施方式1的效果＊＊＊

实施方式1针对室内机具有多个叶片111的空调机101，能够进行用于确定成为操作对象的叶片111并调节风向和风量等的操作。

具体而言，在拍摄了空调室内机110时，在通过拍摄得到的图像中分别识别多个叶片111，确定对象叶片113。由此，针对室内机具有多个叶片111的空调机101，能够进行用于调节对象叶片113的风向和风量等的操作。

实施方式2.

针对提示成为对象叶片113的候选的2个以上的叶片111并将从候选中选择出的1个叶片111作为对象叶片113来处理的方式，主要基于图15至图18来说明与实施方式1的不同点。

＊＊＊结构的说明＊＊＊

空调系统100的结构与实施方式1中的结构相同。

＊＊＊动作的说明＊＊＊

基于图15对空调操作方法进行说明。

步骤S210至步骤S230与实施方式1的步骤S110至步骤S130相同。

在步骤S230之后，处理进入步骤S241。

在步骤S241中，叶片选择部214从拍摄图像281中的多个叶片111中选择2个以上的叶片111。将所选择的叶片111称为“候选叶片组114”。

候选叶片组114是成为对象叶片113的候选的2个以上的叶片111。

基于图16，对候选叶片组114的具体例进行说明。

认为从接近利用者的叶片111吹出的风碰到利用者而对利用者造成较强影响。

认为拍摄图像281中位于越靠上方的位置的叶片111越接近利用者。

于是，叶片选择部214从拍摄图像281的上方依次选择2个叶片111作为候选叶片组114。

返回到图15，从步骤S242继续说明。

在步骤S242中，图像显示部215使用拍摄图像281生成重叠图像285，将重叠图像285显示于显示器206。

基于图17，对重叠图像285进行说明。

重叠图像285是重叠了候选识别标记组的拍摄图像281。

候选识别标记组是与构成候选叶片组114的2个以上的叶片111对应的2个以上的候选识别标记286。

候选识别标记286是用于识别候选叶片组114的各叶片111的标记。候选识别标记286与候选叶片组114的各叶片111的位置重叠。

返回到图15，从步骤S243继续说明。

在步骤S243中，利用者通过选择希望作为对象叶片113的1个叶片111的候选识别标记286，来指定1个叶片111的识别符。

指定受理部216受理1个叶片111的识别符。

叶片选择部214从候选叶片组114选择通过所受理的识别符识别的1个叶片111。所选择的叶片111成为对象叶片113。

在步骤S243之后，处理进入步骤S250。

在步骤S250中，图像显示部215使用拍摄图像281生成重叠图像282，将重叠图像282显示于显示器206。

步骤S250相当于实施方式1的步骤S150。

图18示出重叠图像282的具体例。

在重叠图像282上，也可以重叠没有被选择为对象叶片113的叶片111的候选识别标记286。

返回到图15，从步骤S260继续说明。

步骤S260及步骤S270与实施方式1的步骤S160及步骤S170相同。

＊＊＊实施方式2的效果＊＊＊

在实施方式1中，在拍摄了空调室内机110时，在通过拍摄得到的图像中分别识别多个叶片111，确定候选叶片组114。此外，指定受理部216受理叶片111的指定。

由此，针对室内机具有多个叶片111的空调机101，能够进行用于从候选叶片组114指定对象叶片113并调节对象叶片113的风向和风量等的操作。

实施方式3.

关于显示来自对象叶片113的吹出风的状态的方式，主要基于图19至图24来说明与实施方式1的不同点。

＊＊＊结构的说明＊＊＊

空调系统100的结构与实施方式1中的结构相同。

但是，空调操作终端200的结构与实施方式1中的结构不同。

基于图19对空调操作终端200的结构进行说明。

空调操作终端200还具备方向传感器207这样的硬件。

方向传感器207是用于计测空调操作终端200的方向的传感器。例如，方向传感器207是加速度传感器和陀螺仪传感器等。

空调操作终端200还具备方向取得部218这样的要素。

空调操作程序还使计算机作为方向取得部218发挥功能。

＊＊＊动作的说明＊＊＊

基于图20对空调操作方法进行说明。

在步骤S310中，图像取得部211从摄像头205取得拍摄图像281。该处理与实施方式1的步骤S110相同。

进而，方向取得部218从方向传感器207取得终端方向。

终端方向是表示空调操作终端200的方向的数据。

如图21所示，终端方向由与空调操作终端200的平面垂直的方向相对于铅垂上方向所成的角度表示。

返回到图20，从步骤S320继续说明。

在步骤S320中，物体检测部212使用学习完毕模型291，检测拍摄图像281中的多个叶片111。

步骤S320与实施方式1的步骤S120相同。

在步骤S320中，估计多个叶片111各自的边界框。

步骤S330及步骤S340与实施方式1的步骤S130及步骤S140相同。

在步骤S350中，图像显示部215使用拍摄图像281生成重叠图像282，将重叠图像282显示于显示器206。

重叠图像282是重叠了状态界面287和调节界面284的拍摄图像281。

状态界面287是表示来自对象叶片113的吹出风的状态的图形用户界面(GUI)。

基于图22对步骤S350的步骤进行说明。

在步骤S351中，图像显示部215取得表示来自对象叶片113的吹出风的状态的数据(对象状态)。

对象状态，对象状态由当前值和指令值表示。

当前值是表示来自对象叶片113的吹出风的当前的状态的数据。

指令值是表示来自对象叶片113的吹出风的调节后的状态的数据。

具体而言，图像显示部215通过与空调室内机110(或者空调控制器120)进行通信来取得当前值。

此外，图像显示部215从存储部290取得指令初始值。

指令初始值是初始的指令值。例如，上次的指令值或当前值成为指令初始值。

在步骤S352中，图像显示部215基于对象叶片113的边界框，计算对象倾斜度。

对象倾斜度是拍摄图像281中的对象叶片113的倾斜度。

例如，图像显示部215使用霍夫变换等现有技术来计算对象倾斜度。

在步骤S353中，图像显示部215基于终端方向和对象倾斜度来计算重叠方向。

重叠方向是重叠于拍摄图像281的状态界面287的方向。例如，重叠方向由状态界面287的基准坐标系中的旋转矩阵表现。

在步骤S354中，图像显示部215使状态界面287在重叠方向上重叠于拍摄图像281中的对象叶片113的位置，从而生成重叠图像282，将重叠图像282显示于显示器206。

具体而言，图像显示部215如以下那样进行动作。

首先，图像显示部215基于对象状态(当前值和指令值)，生成表示来自对象叶片113的吹出风的状态的状态界面287。

接着，图像显示部215使状态界面287对应于重叠方向而旋转。

接着，图像显示部215通过使旋转后的状态界面287重叠于拍摄图像281中的对象叶片113的位置，从而生成重叠图像282。

然后，图像显示部215将重叠图像282显示于显示器206。

在步骤S355中，图像显示部215将调节界面284重叠于所显示的重叠图像282。

图23示出状态界面287的显示步骤的概要。

首先，估计多个叶片111的边界框(步骤S320)。

接着，选择对象叶片113的边界框，基于对象叶片113的边界框来计算对象叶片113的倾斜度(步骤S352)。

然后，将状态界面287与对象叶片113的倾斜度相应地重叠于对象叶片113的位置，显示重叠图像282(步骤S354)。

返回到图20，从步骤S360继续说明。

在步骤S360中，利用者通过操作调节界面284来指定针对对象叶片113的调节内容。

然后，指定受理部216受理针对对象叶片113的调节内容。

步骤S360相当于实施方式1的步骤S160。

图24示出重叠图像282的具体例。

在重叠图像282中，重叠有状态界面287和多个调节界面(284A～284C)。

状态界面287以箭头表示来自对象叶片113的吹出风的方向和强度。

调节界面284A是图标。

调节界面(284B和284C)是滑块。利用者移动黑圆部分而进行操作。通过调节界面284B的操作，能够指定水平方向的风向。通过调节界面284C的操作，能够指定上下方向的风向。

图像显示部215也可以在状态界面287和调节界面(284B和284C)中的至少一方记入表示当前值的标记和表示指令值的标记。

返回到图20，对步骤S370进行说明。

在步骤S370中，空调设定部217对空调室内机110设定针对对象叶片113的调节内容。

步骤S370与实施方式1的步骤S170相同。

＊＊＊实施例的说明＊＊＊

实施方式3也可以应用于实施方式2。即，也可以从候选叶片组114选择对象叶片113。

＊＊＊实施方式3的效果＊＊＊

实施方式3显示状态界面287。由此，针对室内机具有多个叶片111的空调机101，能够更加直观地进行用于调节对象叶片113的风向和风量等的操作。

实施方式4.

关于状态界面287兼作调节界面284的方式，主要基于图25来说明与实施方式3的不同点。

＊＊＊结构的说明＊＊＊

空调系统100的结构与实施方式3中的结构相同。

＊＊＊动作的说明＊＊＊

空调操作方法的步骤与实施方式3中的步骤相同。

但是，在以下的方面，步骤S360与实施方式3的处理不同。

状态界面287兼作调节界面284。即，状态界面287是示出来自对象叶片113的吹出风的状态的GUI，并且是用于指定来自对象叶片113的吹出风的调节内容的GUI。

在步骤S360中，利用者通过对状态界面287进行操作来指定针对对象叶片113的调节内容。

然后，指定受理部216受理针对对象叶片113的调节内容。

图25示出重叠图像282的具体例。

利用者使表示希望调节的风向的箭头伸缩来操作状态界面287。通过状态界面287的操作，能够指定各风向中的风。

＊＊＊实施方式4的效果＊＊＊

在实施方式4中，直接对状态界面287进行操作。

由此，针对室内机具有多个叶片111的空调机101，能够更加直观地进行用于调节对象叶片113的风向和风量等的操作。

＊＊＊实施方式的补充＊＊＊

基于图26对空调操作终端200的硬件结构进行说明。

空调操作终端200具备处理电路209。

处理电路209是实现图像取得部211、物体检测部212、叶片识别部213、叶片选择部214、图像显示部215、指定受理部216、空调设定部217以及方向取得部218的硬件。

处理电路209可以是专用的硬件，也可以是执行存储器202所存储的程序的处理器201。

在处理电路209是专用的硬件的情况下，处理电路209例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC、FPGA或者它们的组合。

空调操作终端200也可以具备代替处理电路209的多个处理电路。

在处理电路209中，也可以是，一部分功能由专用的硬件实现，剩余的功能由软件或固件实现。

这样，空调操作终端200的功能能够通过硬件、软件、固件或者它们的组合来实现。

各实施方式是优选方式的例示，并非意图限制本公开的技术范围。各实施方式可以部分地实施，也可以与其他方式组合实施。使用流程图等说明的步骤也可以适当地变更。

作为空调操作终端200的要素的“部”也可以改写为“处理”、“工序”、“电路”或“线路”。

附图标记说明

100空调系统，101空调机，102空调室外机，110空调室内机，111叶片，112扩展部件，113对象叶片，114候选叶片组，119通信装置，120空调控制器，121处理电路，122通信装置，123显示器，124空调控制部，200空调操作终端，201处理器，202存储器，203辅助存储装置，204通信装置，205摄像头，206显示器，207方向传感器，209处理电路，211图像取得部，212物体检测部，213叶片识别部，214叶片选择部，215图像显示部，216指定受理部，217空调设定部，218方向取得部，281拍摄图像，282重叠图像，283对象识别标记，284调节界面，285重叠图像，286候选识别标记，287状态界面，290存储部，291学习完毕模型，292叶片识别数据。

Claims

1.一种空调操作终端，其具备：

图像取得部，其取得拍摄具有多个叶片的空调室内机而得到的拍摄图像；

物体检测部，其使用学习完毕模型来检测所述拍摄图像中的所述多个叶片，该学习完毕模型是针对拍摄到了与所述空调室内机相同种类的空调室内机的训练图像进行机器学习而生成的；

叶片选择部，其从所述拍摄图像中的所述多个叶片中选择对象叶片，该对象叶片是要调节吹出风的1个叶片；

图像显示部，其将重叠了对象识别标记和调节界面的所述拍摄图像作为重叠图像进行显示，该对象识别标记用于识别所述对象叶片，该调节界面是用于指定来自所述对象叶片的吹出风的调节内容的图形用户界面；

指定受理部，其受理通过所述调节界面的操作而指定的调节内容；以及

空调设定部，其对所述空调室内机设定所受理的调节内容。

2.根据权利要求1所述的空调操作终端，其中，

所述空调室内机具有扩展部件，

所述物体检测部检测所述拍摄图像中的所述多个叶片和所述扩展部件，

所述空调操作终端具备叶片识别部，该叶片识别部判定所述拍摄图像中的各叶片相对于所述扩展部件的位置关系，基于判定出的位置关系来识别各叶片。

3.根据权利要求2所述的空调操作终端，其中，

所述叶片识别部使用示出各叶片相对于所述扩展部件的位置关系和各叶片的识别符的叶片识别数据来确定各叶片的识别符。

4.根据权利要求1至3中的任意一项所述的空调操作终端，其中，

所述物体检测部使用所述学习完毕模型来估计各叶片的边界框，基于各叶片的所述边界框来确定各叶片的位置。

5.根据权利要求1至4中的任意一项所述的空调操作终端，其中，

所述叶片选择部从所述拍摄图像中的所述多个叶片中选择2个以上的叶片作为候选叶片组，

所述图像显示部显示重叠了与构成所述候选叶片组的所述2个以上的叶片对应的2个以上的候选识别标记的所述拍摄图像，

所述指定受理部受理通过选择所述2个以上的候选识别标记中的1个候选识别标记而指定的所述1个叶片的识别符，

所述叶片选择部从所述候选叶片组中选择通过所受理的识别符识别的所述1个叶片作为所述对象叶片。

6.根据权利要求1至5中的任意一项所述的空调操作终端，其中，

所述空调操作终端具备方向取得部，

所述方向取得部取得表示所述空调操作终端的方向的终端方向，

所述物体检测部使用所述学习完毕模型来估计所述拍摄图像中的各叶片的边界框，

所述图像显示部基于所述对象叶片的所述边界框来计算所述拍摄图像中的所述对象叶片的倾斜度作为对象倾斜度，基于所述终端方向和所述对象倾斜度来计算重叠方向，使状态界面在所述重叠方向上重叠于所述拍摄图像中的所述对象叶片的位置，从而生成所述重叠图像，其中，该状态界面是表示来自所述对象叶片的吹出风的状态的图形用户界面。

7.根据权利要求6所述的空调操作终端，其中，

所述状态界面被用作所述调节界面，

所述指定受理部受理通过所述状态界面的操作而指定的所述调节内容。

8.一种空调操作程序，所述空调操作程序用于使计算机作为以下各部发挥功能，

空调设定部，其对所述空调室内机设定所受理的调节内容。

9.一种空调系统，其具备具有多个叶片的空调室内机和空调操作终端，

所述空调操作终端具备：

图像取得部，其取得拍摄所述空调室内机而得到的拍摄图像；

空调设定部，其对所述空调室内机设定所受理的调节内容。

10.一种空调操作终端，其具备：

图像取得部，其取得通过拍摄具有多个叶片和扩展部件的空调室内机而得到的拍摄图像；

物体检测部，其检测所述拍摄图像中的所述多个叶片；以及

叶片识别部，其使用示出各叶片相对于所述扩展部件的位置关系和各叶片的识别符的叶片识别数据，并基于所述拍摄图像中的各叶片相对于所述扩展部件的位置关系来识别各叶片。

11.根据权利要求10所述的空调操作终端，其中，

所述叶片识别数据是基于从所述空调室内机取得的位置关系数据而生成的数据，

所述位置关系数据示出所述扩展部件与各叶片的位置关系和各叶片的识别符。

12.根据权利要求10所述的空调操作终端，其中，

所述空调操作终端具备物体检测部，该物体检测部使用学习完毕模型来检测所述拍摄图像中的各叶片的位置编号，该学习完毕模型是针对拍摄到了与所述空调室内机相同种类的空调室内机的训练图像进行机器学习而生成的，

所述叶片识别数据是基于在根据各叶片的位置编号对所述空调室内机进行了操作的情况下实际运转的叶片而生成的数据。