JP2022026452A

JP2022026452A - Air conditioning system

Info

Publication number: JP2022026452A
Application number: JP2020129931A
Authority: JP
Inventors: 譲別當; Yuzuru Betto; 彰小松; Akira Komatsu; 正士齊藤; Masashi Saito; 達希辻河; Tatsuki Tsujikawa; 千遥桶間; Chiharu OKEMA
Original assignee: Daikin Industries Ltd
Current assignee: Daikin Industries Ltd
Priority date: 2020-07-31
Filing date: 2020-07-31
Publication date: 2022-02-10
Anticipated expiration: 2040-07-31
Also published as: JP7208538B2

Abstract

To provide an air conditioning system in which a plurality of air conditioning units can perform air conditioning in an object space under an optimum operation condition.SOLUTION: A reinforcement learning part (60) includes: a reward determination part (63) for determining the reward with respect to the result of determining the operation condition of a plurality of air conditioning units (30) based on a state variable; and an update part (64) for updating the function based on the reward determined by the reward determination part (63). The reinforcement learning part (30) learns the operation condition of the plurality of air conditioning units (30) which acquires the most reward, by repeating the updates of the function by the update part (64). A control part (51) controls an air conditioner (10) so as to satisfy the operation condition of the plurality of air conditioning units(30) learned in the reinforcement learning part (60).SELECTED DRAWING: Figure 3

Description

本開示は、空調システムに関する。 The present disclosure relates to an air conditioning system.

特許文献１には、対象空間を空調する空調システムが開示されている。空調システムは、対象空間を空調する複数の空調ユニットと、複数の温度センサと、コントローラとを備える。コントローラは、複数の温度センサで検出した対象空間の温度に基づいて、各空調ユニットを制御する。 Patent Document 1 discloses an air conditioning system that air-conditions a target space. The air conditioning system includes a plurality of air conditioning units for air conditioning the target space, a plurality of temperature sensors, and a controller. The controller controls each air conditioning unit based on the temperature of the target space detected by a plurality of temperature sensors.

特開２００９－２５７６１７号公報Japanese Unexamined Patent Publication No. 2009-257617

特許文献１に開示のような複数の空調ユニットを備えた空調システムでは、各空調ユニットが必ずしも最適な運転を行っているとは限らない。 In an air conditioning system including a plurality of air conditioning units as disclosed in Patent Document 1, each air conditioning unit does not always perform optimum operation.

本開示の目的は、複数の空調ユニットがより最適な運転条件にて対象空間を空調できる空調システムを提供することである。 An object of the present disclosure is to provide an air conditioning system in which a plurality of air conditioning units can air-condition a target space under more optimum operating conditions.

第１の態様は、対象空間（T）を空調する複数の空調ユニット（30）を有する空気調和装置（10）と、前記空気調和装置（10）を制御する制御部（51）とを備えた空調システムであって、前記複数の空調ユニット（30）の運転条件と、前記対象空間（T）に関する物理量とを含む状態変数に基づいて、前記複数の空調ユニット（30）の運転条件を決定する関数を更新する強化学習部（60）をさらに備え、前記強化学習部（60）は、前記状態変数に基づいて、前記複数の空調ユニット（30）の運転条件を決定した結果に対する報酬を決定する報酬決定部（63）と、前記報酬決定部（63）により決定された報酬に基づいて、前記関数を更新する更新部（64）とを有し、前記更新部（64）による前記関数の更新を繰り返すことにより、前記報酬が最も多く得られる、前記複数の空調ユニット（30）の運転条件を学習するように構成され、前記制御部（51）は、前記強化学習部（60）で学習した前記複数の空調ユニット（30）の運転条件を満たすように、前記空気調和装置（10）を制御する。 The first aspect includes an air conditioner (10) having a plurality of air conditioning units (30) for air-conditioning the target space (T), and a control unit (51) for controlling the air conditioner (10). In the air conditioning system, the operating conditions of the plurality of air conditioning units (30) are determined based on the state variables including the operating conditions of the plurality of air conditioning units (30) and the physical quantity related to the target space (T). Further provided with an enhanced learning unit (60) that updates the function, the enhanced learning unit (60) determines a reward for the result of determining the operating conditions of the plurality of air conditioning units (30) based on the state variable. It has a reward determination unit (63) and an update unit (64) that updates the function based on the reward determined by the reward determination unit (63), and the update unit (64) updates the function. By repeating the above steps, it is configured to learn the operating conditions of the plurality of air conditioning units (30) from which the reward is most obtained, and the control unit (51) has learned in the enhanced learning unit (60). The air conditioner (10) is controlled so as to satisfy the operating conditions of the plurality of air conditioning units (30).

第１の態様では、強化学習部（60）が、複数の空調ユニット（30）の運転条件と、対象空間（T）に関する物理量とを含む状態変数に基づいて強化学習を行う。強化学習部（60）が報酬を最大とするための複数の空調ユニット（30）毎の運転条件を決定する。空調制御部（51）は、各空調ユニット（30）の運転条件が強化学習部（60）で決定した運転条件となるように各空調ユニット（30）を制御する。これにより、所定の報酬を満たすための最適な運転条件にて複数の利用ユニット（30）を運転させることができる。 In the first aspect, the reinforcement learning unit (60) performs reinforcement learning based on a state variable including operating conditions of a plurality of air conditioning units (30) and physical quantities related to a target space (T). The reinforcement learning unit (60) determines the operating conditions for each of the plurality of air conditioning units (30) for maximizing the reward. The air conditioning control unit (51) controls each air conditioning unit (30) so that the operating conditions of each air conditioning unit (30) become the operating conditions determined by the reinforcement learning unit (60). As a result, a plurality of utilization units (30) can be operated under the optimum operating conditions for satisfying a predetermined reward.

第２の態様は、第１の態様において、前記物理量は、前記対象空間（T）の空気の温度分布を含んでいる。 In the second aspect, in the first aspect, the physical quantity includes the temperature distribution of air in the target space (T).

第３の態様は、第２の態様において、前記複数の空調ユニット（30）は、空気を搬送するファン（33）と、該空気と冷媒とを熱交換させる熱交換器（31）とをそれぞれ有するとともに、前記ファン（33）を運転させ且つ前記熱交換器（31）を機能させる第１動作と、前記ファン（33）を運転させ且つ熱交換器（31）の機能を停止させる第２動作とをそれぞれ行うように構成され、前記複数の空調ユニット（30）の運転条件は、該複数の空調ユニット（30）のうちどの空調ユニット（30）が前記第１動作及び第２動作のいずれを行うかの条件を含んでいる。 In the third aspect, in the second aspect, the plurality of air conditioning units (30) have a fan (33) for transporting air and a heat exchanger (31) for heat exchange between the air and the refrigerant, respectively. The first operation of operating the fan (33) and operating the heat exchanger (31), and the second operation of operating the fan (33) and stopping the function of the heat exchanger (31). The operating conditions of the plurality of air conditioning units (30) are such that which of the plurality of air conditioning units (30) the air conditioning unit (30) performs either the first operation or the second operation. Includes conditions for doing.

第３の態様では、対象空間（T）の空気の温度分布と、複数の空調ユニット（30）が第１動作と第２動作のいずれを行うかの運転条件に基づき、強化学習部（60）が強化学習を行う。強化学習部（60）の学習結果に基づき複数の空調ユニット（30）が第１動作、または第２動作を行うことで、対象空間（T）の空気の温度分布を最適に制御できる。 In the third aspect, the reinforcement learning unit (60) is based on the temperature distribution of the air in the target space (T) and the operating conditions of whether the plurality of air conditioning units (30) perform the first operation or the second operation. Performs reinforcement learning. By performing the first operation or the second operation by the plurality of air conditioning units (30) based on the learning result of the reinforcement learning unit (60), the temperature distribution of the air in the target space (T) can be optimally controlled.

第４の態様は、第３の態様において、前記対象空間（T）の空気を搬送する少なくとも１つの送風装置（70）をさらに備えている。 A fourth aspect further comprises, in the third aspect, at least one blower (70) for transporting air in the target space (T).

第４の態様では、送風装置（70）により対象空間（T）の空気を循環させることで、複数の空調ユニット（30）の台数を減らすことができる。複数の空調ユニット（30）の台数を減らしたとしても、強化学習部（60）の学習結果を利用することで、対象空間（T）の空気の温度分布を最適に制御できる。 In the fourth aspect, the number of the plurality of air conditioning units (30) can be reduced by circulating the air in the target space (T) by the blower (70). Even if the number of multiple air conditioning units (30) is reduced, the temperature distribution of the air in the target space (T) can be optimally controlled by using the learning results of the reinforcement learning unit (60).

第５の態様は、前記空気調和装置（10）の運転中に前記対象空間（T）の物理量を計測する計測部（40）をさらに備え、前記強化学習部（60）は、前記空気調和装置（10）の運転中、又は運転後に前記複数の空調ユニット（30）の運転条件を学習する。 A fifth aspect further comprises a measuring unit (40) that measures the physical quantity of the target space (T) while the air conditioner (10) is in operation, and the reinforcement learning unit (60) is the air conditioner. Learn the operating conditions of the plurality of air conditioning units (30) during or after the operation of (10).

第５の態様では、空気調和装置（10）の実際の運転中において、計測部（40）が対象空間（T）の物理量を計測する。強化学習部（60）は、実際の運転中において、計測部（40）で計測した物理量と、この物理量に対応する運転条件とに基づいて強化学習を行う。あるいは、強化学習部（60）は、実際の運転中において計測部（40）で計測した物理量と、この物理量に対応する運転条件とを記憶し、空気調和装置（10）の運転後にこれらのデータに基づいて強化学習を行う。 In the fifth aspect, the measuring unit (40) measures the physical quantity of the target space (T) during the actual operation of the air conditioner (10). The reinforcement learning unit (60) performs reinforcement learning based on the physical quantity measured by the measurement unit (40) and the operating conditions corresponding to this physical quantity during actual operation. Alternatively, the reinforcement learning unit (60) stores the physical quantity measured by the measurement unit (40) during actual operation and the operating conditions corresponding to this physical quantity, and these data are obtained after the operation of the air conditioner (10). Reinforcement learning is performed based on.

図１は、実施形態に係る空調システムの全体構成図である。FIG. 1 is an overall configuration diagram of an air conditioning system according to an embodiment. 図２は、実施形態に係る空調システムの利用ユニットのレイアウトを表した平面図である。FIG. 2 is a plan view showing the layout of the utilization unit of the air conditioning system according to the embodiment. 図３は、実施形態に係る空調システムのブロック図である。FIG. 3 is a block diagram of the air conditioning system according to the embodiment. 図４は、実施形態に係る空調システムの制御動作を示すフローチャートである。FIG. 4 is a flowchart showing a control operation of the air conditioning system according to the embodiment. 図５は、実施形態に係る空調システムの冷却運転を評価したグラフであり、横軸は経過時間を、縦軸は指標Ｘを表している。FIG. 5 is a graph for evaluating the cooling operation of the air conditioning system according to the embodiment, in which the horizontal axis represents the elapsed time and the vertical axis represents the index X. 図６は、比較例に係る空調システムの冷却運転を評価したグラフであり、横軸は経過時間を、縦軸は指標Ｘを表している。FIG. 6 is a graph for evaluating the cooling operation of the air conditioning system according to the comparative example, in which the horizontal axis represents the elapsed time and the vertical axis represents the index X. 図７は、変形例１に係る空調システムの図２に相当する図である。FIG. 7 is a diagram corresponding to FIG. 2 of the air conditioning system according to the modified example 1. 図８は、変形例３に係る空調システムの図３に相当する図である。FIG. 8 is a diagram corresponding to FIG. 3 of the air conditioning system according to the modified example 3.

以下、本開示の実施形態について図面を参照しながら説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. It should be noted that the following embodiments are essentially preferred examples and are not intended to limit the scope of the present invention, its applications, or its uses.

《実施形態》
実施形態に係る空調システム（1）について説明する。空調システム（1）は、空気調和装置（10）と、制御装置（50）とを備える。 << Embodiment >>
The air conditioning system (1) according to the embodiment will be described. The air conditioning system (1) includes an air conditioner (10) and a control device (50).

〈空気調和装置の概要〉
空気調和装置（10）は、対象空間（T）を空調する。本例の対象空間（T）は、冷蔵倉庫（2）内の空間である。空気調和装置（10）は、対象空間（T）の空気を冷却する運転（冷却運転）と、対象空間（T）の空気を加熱する運転（加熱運転）とを切り換えて行う。空気調和装置（10）は、冷却運転のみを行う構成であってもよい。 <Overview of air conditioner>
The air conditioner (10) air-conditions the target space (T). The target space (T) in this example is the space inside the refrigerated warehouse (2). The air conditioner (10) switches between an operation of cooling the air in the target space (T) (cooling operation) and an operation of heating the air in the target space (T) (heating operation). The air conditioner (10) may be configured to perform only cooling operation.

図１に示すように、空気調和装置（10）は、第１空調系統（20A）と第２空調系統（20B）とを有する。以下では、第１空調系統（20A）及び第２空調系統（20B）のそれぞれを、単に空調系統（20）と呼ぶ場合もある。 As shown in FIG. 1, the air conditioner (10) has a first air conditioning system (20A) and a second air conditioning system (20B). Hereinafter, each of the first air conditioning system (20A) and the second air conditioning system (20B) may be simply referred to as an air conditioning system (20).

各空調系統（20）は、１つの熱源ユニット（21）と、４つの利用ユニット（30）とをそれぞれ有する。熱源ユニット（21）及び利用ユニット（30）の数量はこれに限られない。 Each air conditioning system (20) has one heat source unit (21) and four utilization units (30), respectively. The quantity of the heat source unit (21) and the utilization unit (30) is not limited to this.

具体的には、第１空調系統（20A）は、第１熱源ユニット（21A）と、第１利用ユニット（30A）と、第２利用ユニット（30B）と、第３利用ユニット（30C）と、第４利用ユニット（30D）とを有する。第２空調系統（20B）は、第２熱源ユニット（21B）と、第５利用ユニット（30E）と、第６利用ユニット（30F）と、第７利用ユニット（30G）と、第８利用ユニット（30H）とを有する。以下では、第１熱源ユニット（21A）及び第２熱源ユニット（21B）のそれぞれを、単に熱源ユニット（21）と呼ぶ場合もある。以下では、第１利用ユニット（30A）、第２利用ユニット（30B）、第３利用ユニット（30C）、第４利用ユニット（30D）、第５利用ユニット（30E）、第６利用ユニット（30F）、第７利用ユニット（30G）、及び第８利用ユニット（30H）のそれぞれを、単に利用ユニット（30）と呼ぶ場合もある。 Specifically, the first air conditioning system (20A) includes a first heat source unit (21A), a first utilization unit (30A), a second utilization unit (30B), and a third utilization unit (30C). It has a fourth utilization unit (30D). The second air conditioning system (20B) includes a second heat source unit (21B), a fifth utilization unit (30E), a sixth utilization unit (30F), a seventh utilization unit (30G), and an eighth utilization unit (30G). 30H) and. Hereinafter, each of the first heat source unit (21A) and the second heat source unit (21B) may be simply referred to as a heat source unit (21). In the following, the first utilization unit (30A), the second utilization unit (30B), the third utilization unit (30C), the fourth utilization unit (30D), the fifth utilization unit (30E), and the sixth utilization unit (30F). , The 7th utilization unit (30G), and the 8th utilization unit (30H) may be simply referred to as the utilization unit (30).

〈空調系統の概要〉
各空調系統（20）は、熱源ユニット（21）と、利用ユニット（30）と、これらを接続する２本の連絡配管（3,4）とをそれぞれ有する。空調系統（20）では、熱源ユニット（21）と利用ユニット（30）とが連絡配管（3,4）に接続されることで、１つの冷媒回路（C）が構成される。冷媒回路（C）は、冷媒を含む。冷媒回路（C）では、冷媒が循環することで蒸気圧縮式の冷凍サイクルが行われる。２本の連絡配管は、液連絡配管（3）とガス連絡配管（4）とで構成される。 <Overview of air conditioning system>
Each air conditioning system (20) has a heat source unit (21), a utilization unit (30), and two connecting pipes (3, 4) connecting them. In the air conditioning system (20), one refrigerant circuit (C) is configured by connecting the heat source unit (21) and the utilization unit (30) to the connecting pipes (3, 4). The refrigerant circuit (C) includes a refrigerant. In the refrigerant circuit (C), a steam compression type refrigeration cycle is performed by circulating the refrigerant. The two connecting pipes are composed of a liquid connecting pipe (3) and a gas connecting pipe (4).

〈熱源ユニット〉
熱源ユニット（21）は、室外に設置される。熱源ユニット（21）は、冷媒回路（C）に接続される機器として、圧縮機（22）と、熱源熱交換器（23）とを有する。熱源ユニット（21）は、冷媒回路（C）に接続される機器として、四方切換弁（24）と、熱源膨張弁（25）とをさらに有する。熱源ユニット（21）は、熱源ファン（26）を有する。 <Heat source unit>
The heat source unit (21) is installed outdoors. The heat source unit (21) has a compressor (22) and a heat source heat exchanger (23) as devices connected to the refrigerant circuit (C). The heat source unit (21) further includes a four-way switching valve (24) and a heat source expansion valve (25) as equipment connected to the refrigerant circuit (C). The heat source unit (21) has a heat source fan (26).

圧縮機（22）は、吸入した冷媒を圧縮する。圧縮機（22）は、圧縮した冷媒を吐出する。圧縮機（22）は、電動機と、電動機によって回転駆動される圧縮機構とを有する。電動機の回転数は、インバータ装置によって調節される。圧縮機（22）は、その容量が可変に構成される。 The compressor (22) compresses the sucked refrigerant. The compressor (22) discharges the compressed refrigerant. The compressor (22) has an electric motor and a compression mechanism that is rotationally driven by the electric motor. The rotation speed of the motor is adjusted by the inverter device. The capacity of the compressor (22) is variable.

熱源ファン（26）は、室外空気を搬送する。熱源ファン（26）は、その回転数が可変に構成される。熱源熱交換器（23）は、熱源ファン（26）が搬送する室外空気と、冷媒とを熱交換させる。熱源膨張弁（25）は、冷媒を減圧する。熱源膨張弁（25）は、その開度が調節可能な電子膨張弁で構成される。 The heat source fan (26) carries outdoor air. The rotation speed of the heat source fan (26) is variable. The heat source heat exchanger (23) exchanges heat between the outdoor air carried by the heat source fan (26) and the refrigerant. The heat source expansion valve (25) depressurizes the refrigerant. The heat source expansion valve (25) is composed of an electronic expansion valve whose opening degree can be adjusted.

四方切換弁（24）は、図１の実線で示す第１状態と、図１の破線で示す第２状態とに切り換わる。第１状態の四方切換弁（24）は、圧縮機（22）の吐出部と熱源熱交換器（23）のガス端とを連通させ、且つ圧縮機（22）の吸入部と利用熱交換器（31）のガス端とを連通させる。第２状態の四方切換弁（24）は、圧縮機（22）の吐出部と利用熱交換器（31）のガス端とを連通させ、且つ圧縮機（22）の吸入部と熱源熱交換器（23）のガス端とを連通させる。 The four-way switching valve (24) switches between the first state shown by the solid line in FIG. 1 and the second state shown by the broken line in FIG. The four-way switching valve (24) in the first state communicates the discharge part of the compressor (22) with the gas end of the heat source heat exchanger (23), and the suction part of the compressor (22) and the used heat exchanger. Communicate with the gas end of (31). The four-way switching valve (24) in the second state communicates the discharge part of the compressor (22) with the gas end of the heat exchanger (31), and the suction part of the compressor (22) and the heat source heat exchanger. Communicate with the gas end of (23).

〈利用ユニット〉
利用ユニット（30）は、本開示の空調ユニットに対応する。利用ユニット（30）は、対象空間（T）である冷蔵倉庫（2）内の空間に設けられる。利用ユニット（30）は、冷媒回路（C）に接続される機器として、利用熱交換器（31）と、利用膨張弁（32）とを有する。利用ユニット（30）は、利用ファン（33）を有する。 <Usage unit>
The utilization unit (30) corresponds to the air conditioning unit of the present disclosure. The utilization unit (30) is provided in the space inside the refrigerated warehouse (2), which is the target space (T). The utilization unit (30) has a utilization heat exchanger (31) and a utilization expansion valve (32) as equipment connected to the refrigerant circuit (C). The utilization unit (30) has a utilization fan (33).

利用ファン（33）は、本開示のファンに対応する。利用ファン（33）は、庫内空気を搬送する。利用熱交換器（31）は、本開示の熱交換器に対応する。利用熱交換器（31）は、利用ファン（33）が搬送する庫内空気と、冷媒とを熱交換させる。利用膨張弁（32）は、冷媒を減圧する。利用膨張弁（32）は、その開度が調節可能な電子膨張弁で構成される。 The user fan (33) corresponds to the fan of the present disclosure. The fan (33) used carries the air inside the refrigerator. The utilization heat exchanger (31) corresponds to the heat exchanger of the present disclosure. The utilization heat exchanger (31) exchanges heat between the internal air conveyed by the utilization fan (33) and the refrigerant. The utilization expansion valve (32) depressurizes the refrigerant. The utilization expansion valve (32) is composed of an electronic expansion valve whose opening can be adjusted.

〈冷蔵倉庫、及び利用ユニットのレイアウト〉
冷蔵倉庫（2）、及び利用ユニット（30）のレイアウトについて図２を参照しながら説明する。なお、以下の説明において、「前」、「後」、「右」、「左」は、第１側壁（W1）を正面から見た場合を基準とする。 <Layout of refrigerated warehouse and units used>
The layout of the refrigerated warehouse (2) and the utilization unit (30) will be described with reference to FIG. In the following description, "front", "rear", "right", and "left" are based on the case where the first side wall (W1) is viewed from the front.

本例の冷蔵倉庫（2）は、冷却対象である荷物（図示省略）が収容される。冷蔵倉庫（2）は、第１側壁（W1）と、第２側壁（W2）と、第３側壁（W3）と、第４側壁（W4）とを有する。第１側壁（W1）は冷蔵倉庫（2）の前側に、第２側壁（W2）は冷蔵倉庫（2）の後側に、第３側壁（W3）は冷蔵倉庫（2）の左側に、第４側壁（W4）は冷蔵倉庫（2）の右側にそれぞれ位置する。第１側壁（W1）、第２側壁（W2）、第３側壁（W3）、及び第４側壁（W4）は、断熱材料を含む。第１側壁（W1）には、２つの扉（D）が設けられる。扉（D）が開放されると、対象空間（T）の空調負荷が増大する。 The refrigerated warehouse (2) of this example accommodates luggage (not shown) to be cooled. The refrigerated warehouse (2) has a first side wall (W1), a second side wall (W2), a third side wall (W3), and a fourth side wall (W4). The first side wall (W1) is on the front side of the refrigerated warehouse (2), the second side wall (W2) is on the rear side of the refrigerated warehouse (2), and the third side wall (W3) is on the left side of the refrigerated warehouse (2). The four side walls (W4) are located on the right side of the refrigerated warehouse (2). The first side wall (W1), the second side wall (W2), the third side wall (W3), and the fourth side wall (W4) include a heat insulating material. Two doors (D) are provided on the first side wall (W1). When the door (D) is opened, the air conditioning load in the target space (T) increases.

空気調和装置（10）の利用ユニット（30）は、冷蔵倉庫（2）の天井側に配置される。 The utilization unit (30) of the air conditioner (10) is arranged on the ceiling side of the refrigerated warehouse (2).

第１空調系統（20A）の各利用ユニット（30）は、第１側壁（W1）寄りに配置される。第１空調系統（20A）の各利用ユニット（30）は、第１側壁（W1）に沿うように左右に並んで配置される。具体的には、第３側壁（W3）から第４側壁（W4）に向かって、第１利用ユニット（30A）、第２利用ユニット（30B）、第３利用ユニット（30C）、及び第４利用ユニット（30D）が順に配列される。 Each utilization unit (30) of the first air conditioning system (20A) is arranged closer to the first side wall (W1). Each utilization unit (30) of the first air conditioning system (20A) is arranged side by side along the first side wall (W1). Specifically, from the third side wall (W3) to the fourth side wall (W4), the first utilization unit (30A), the second utilization unit (30B), the third utilization unit (30C), and the fourth utilization The units (30D) are arranged in order.

第２空調系統（20B）の各利用ユニット（30）は、第２側壁（W2）寄りに配置される。第２空調系統（20B）の各利用ユニット（30）は、第２側壁（W2）に沿うように左右に並んで配置される。具体的には、第３側壁（W3）から第４側壁（W4）に向かって、第５利用ユニット（30E）、第６利用ユニット（30F）、第７利用ユニット（30G）、及び第８利用ユニット（30H）が順に配列される。 Each utilization unit (30) of the second air conditioning system (20B) is arranged closer to the second side wall (W2). Each utilization unit (30) of the second air conditioning system (20B) is arranged side by side along the second side wall (W2). Specifically, from the third side wall (W3) to the fourth side wall (W4), the fifth utilization unit (30E), the sixth utilization unit (30F), the seventh utilization unit (30G), and the eighth utilization. The units (30H) are arranged in order.

〈温度分布センサ〉
図３に示すように、空調システム（1）は、温度分布センサ（40）を備えている。温度分布センサ（40）は、対象空間（T）の空気の温度分布を物理量として検出する。温度分布センサ（40）は、本開示の計測部に対応する。温度分布センサ（40）は、空気調和装置（10）に組み込まれてもよい。 <Temperature distribution sensor>
As shown in FIG. 3, the air conditioning system (1) includes a temperature distribution sensor (40). The temperature distribution sensor (40) detects the temperature distribution of air in the target space (T) as a physical quantity. The temperature distribution sensor (40) corresponds to the measurement unit of the present disclosure. The temperature distribution sensor (40) may be incorporated into the air conditioner (10).

温度分布センサ（40）は、対象空間（T）を複数の空間（以下、検出空間ともいう）に区分し、検出空間毎の空気の温度をそれぞれ検出する。検出空間の高さ位置は、冷却対象である荷物の高さ位置に対応する。本例の対象空間（T）は複数の検出空間に区分される。温度分布センサ（40）は、例えば接触式、赤外線式、あるいは音波式のセンサである。 The temperature distribution sensor (40) divides the target space (T) into a plurality of spaces (hereinafter, also referred to as detection spaces), and detects the temperature of air in each detection space. The height position of the detection space corresponds to the height position of the cargo to be cooled. The target space (T) in this example is divided into a plurality of detection spaces. The temperature distribution sensor (40) is, for example, a contact type, an infrared type, or a sound wave type sensor.

〈制御装置〉
制御装置（50）について図３を参照しながら詳細に説明する。 <Control device>
The control device (50) will be described in detail with reference to FIG.

制御装置（50）は、マイクロコンピュータ及びメモリディバイスを含む。メモリディバイスは、マイクロコンピュータを動作させるためのソフトウエアを格納する。制御装置（50）は、空気調和装置（10）と有線または無線を介して通信可能に構成される。制御装置（50）には、温度分布センサ（40）が検出した空気の温度分布が検出値として入力される。 The control device (50) includes a microcomputer and a memory device. A memory device stores software for operating a microcomputer. The control device (50) is configured to be able to communicate with the air conditioner (10) via wire or wirelessly. The temperature distribution of air detected by the temperature distribution sensor (40) is input to the control device (50) as a detected value.

制御装置（50）は、空調制御部（51）と強化学習部（60）とを含む。空調制御部（51）は、本開示の制御部に対応する。空調制御部（51）は、強化学習部（60）で学習した複数の利用ユニット（30）の運転条件を満たすように、空気調和装置（10）を制御する。強化学習部（60）は、強化学習により、複数の利用ユニット（30）の最適な運転条件を決定する。 The control device (50) includes an air conditioning control unit (51) and a reinforcement learning unit (60). The air conditioning control unit (51) corresponds to the control unit of the present disclosure. The air conditioning control unit (51) controls the air conditioner (10) so as to satisfy the operating conditions of the plurality of utilization units (30) learned in the reinforcement learning unit (60). The reinforcement learning unit (60) determines the optimum operating conditions of a plurality of utilization units (30) by reinforcement learning.

〈空調制御部の詳細〉
空調制御部（51）は、本開示の制御部に対応する。空調制御部（51）は、圧縮機（22）、熱源膨張弁（25）、利用膨張弁（32）、熱源ファン（26）、および利用ファン（33）を制御する。空調制御部（51）は、温度設定部（52）を有する。温度設定部（52）には、対象空間（T）の設定温度Tsetが入力される。設定温度Tsetは、ユーザなどが操作するリモートコントローラを介して温度設定部（52）に入力される。 <Details of air conditioning control unit>
The air conditioning control unit (51) corresponds to the control unit of the present disclosure. The air conditioning control unit (51) controls the compressor (22), the heat source expansion valve (25), the utilization expansion valve (32), the heat source fan (26), and the utilization fan (33). The air conditioning control unit (51) has a temperature setting unit (52). The set temperature Tset of the target space (T) is input to the temperature setting unit (52). The set temperature Tset is input to the temperature setting unit (52) via a remote controller operated by a user or the like.

冷却運転では、空調制御部（51）は、利用熱交換器（31）の蒸発温度を制御する。空調制御部（51）は、冷却運転中の蒸発温度の目標値（目標蒸発温度）を決定する。空調制御部（51）は、設定温度Tsetと対象空間（T）の空調負荷に応じて、目標蒸発温度を変更する。冷房運転中の蒸発温度の目標値（目標蒸発温度）は、設定温度Tsetよりも低い所定温度となる。空調制御部（51）は、利用熱交換器（31）の蒸発温度が目標蒸発温度に近づくように圧縮機（22）の回転数を制御する。 In the cooling operation, the air conditioning control unit (51) controls the evaporation temperature of the utilization heat exchanger (31). The air conditioning control unit (51) determines a target value (target evaporation temperature) of the evaporation temperature during the cooling operation. The air conditioning control unit (51) changes the target evaporation temperature according to the set temperature Tset and the air conditioning load of the target space (T). The target value (target evaporation temperature) of the evaporation temperature during the cooling operation is a predetermined temperature lower than the set temperature Tset. The air conditioning control unit (51) controls the rotation speed of the compressor (22) so that the evaporation temperature of the utilization heat exchanger (31) approaches the target evaporation temperature.

加熱運転では、空調制御部（51）が、利用熱交換器（31）の凝縮温度を制御する。空調制御部（51）は、暖房運転中の凝縮温度の目標値（目標凝縮温度）を決定する。空調制御部（51）は、設定温度Tsetと対象空間（T）の空調負荷に応じて、目標凝縮温度を変更する。加熱運転中の凝縮温度の目標値（目標凝縮温度）は、設定温度Tsetよりも高い所定温度となる。空調制御部（51）は、利用熱交換器（31）の凝縮温度が目標凝縮温度に近づくように圧縮機（22）の回転数を制御する。 In the heating operation, the air conditioning control unit (51) controls the condensation temperature of the utilization heat exchanger (31). The air conditioning control unit (51) determines a target value (target condensation temperature) of the condensation temperature during the heating operation. The air conditioning control unit (51) changes the target condensation temperature according to the set temperature Tset and the air conditioning load of the target space (T). The target value (target condensation temperature) of the condensation temperature during the heating operation is a predetermined temperature higher than the set temperature Tset. The air conditioning control unit (51) controls the rotation speed of the compressor (22) so that the condensation temperature of the utilization heat exchanger (31) approaches the target condensation temperature.

〈強化学習部の詳細〉
強化学習部（60）は、マイクロコンピュータ及びメモリディバイスを含む。メモリディバイスは、マイクロコンピュータを動作させるためのソフトウエアを格納する。強化学習部（60）は、複数の利用ユニット（30）の運転条件と、対象空間（T）の物理量とを含む状態変数に基づいて、複数の利用ユニット（30）の運転条件を決定する関数を更新する。 <Details of Reinforcement Learning Department>
The Reinforcement Learning Department (60) includes a microcomputer and a memory device. A memory device stores software for operating a microcomputer. The reinforcement learning unit (60) is a function that determines the operating conditions of the plurality of utilization units (30) based on the state variables including the operating conditions of the plurality of utilization units (30) and the physical quantities of the target space (T). To update.

強化学習部（60）は、ＤＱＮ学習またはＱ学習により強化学習を行う。本例の強化学習部（60）は、Ｑ学習により強化学習を行う。強化学習部（60）は、強化学習におけるエージェントに相当する。Ｑ学習では、エージェントが、状態ｓでどのような行動ａをとれば行動価値関数（報酬）が最も大きくなるかを学習する。状態ｓは、対象空間（T）の物理量である。行動ａは、複数の利用ユニット（30）の運転条件である。 The reinforcement learning unit (60) performs reinforcement learning by DQN learning or Q-learning. The reinforcement learning unit (60) of this example performs reinforcement learning by Q-learning. The reinforcement learning department (60) corresponds to an agent in reinforcement learning. In Q-learning, the agent learns what kind of action a should be taken in the state s to maximize the action value function (reward). The state s is a physical quantity of the target space (T). Action a is an operating condition of a plurality of utilization units (30).

強化学習部（60）は、機能的な要素として、状態観測部（61）、報酬条件設定部（62）、報酬決定部（63）、更新部（64）、および意思決定部（65）を含む。強化学習部（60）は、記憶媒体である記憶部（66）を含む。 The reinforcement learning unit (60) has a state observation unit (61), a reward condition setting unit (62), a reward determination unit (63), an update unit (64), and a decision-making unit (65) as functional elements. include. The reinforcement learning unit (60) includes a storage unit (66) which is a storage medium.

状態観測部（61）は、複数の利用ユニット（30）の運転条件と、この運転条件に対応する対象空間（T）の物理量とを受信する。複数の利用ユニット（30）の運転条件は、空調制御部（51）から状態観測部（61）に送られる。複数の利用ユニット（30）の運転条件は、利用ユニット（30）が第１動作及び第２動作のいずれを行うかの条件（以下、動作条件ともいう）を含む。 The state observing unit (61) receives the operating conditions of the plurality of utilization units (30) and the physical quantities of the target space (T) corresponding to the operating conditions. The operating conditions of the plurality of utilization units (30) are sent from the air conditioning control unit (51) to the state observation unit (61). The operating conditions of the plurality of utilization units (30) include a condition (hereinafter, also referred to as an operation condition) as to which of the first operation and the second operation is performed by the utilization unit (30).

対象空間（T）の物理量は、温度分布センサ（40）から空調制御部（51）を介して状態観測部（61）に送られる。対象空間（T）の物理量は、対象空間（T）の空気の温度分布を含む。温度分布センサ（40）の検出値を直に状態観測部（61）に送ってもよい。 The physical quantity of the target space (T) is sent from the temperature distribution sensor (40) to the state observation unit (61) via the air conditioning control unit (51). The physical quantity of the target space (T) includes the temperature distribution of the air in the target space (T). The detection value of the temperature distribution sensor (40) may be sent directly to the state observation unit (61).

報酬条件設定部（62）は、報酬条件を設定する。報酬条件設定部（62）には、例えばユーザ等が操作する操作部を用いることで、任意の報酬条件が設定可能である。本実施形態の報酬条件は、第１報酬条件を含む。 The reward condition setting unit (62) sets the reward condition. Arbitrary reward conditions can be set in the reward condition setting unit (62), for example, by using an operation unit operated by a user or the like. The reward condition of the present embodiment includes the first reward condition.

第１報酬条件は、対象空間（T）の空気の温度分布が許容範囲外であるか否かの条件を含む。具体的には、第１報酬条件は、以下の式で表される指標Ｘを含む条件である。 The first reward condition includes a condition as to whether or not the temperature distribution of air in the target space (T) is out of the permissible range. Specifically, the first reward condition is a condition including the index X represented by the following equation.

指標Ｘ[％]＝（条件Ａが成立する検出空間の数ｎ）／（検出空間の総数Ｎ） Index X [%] = (number of detection spaces where condition A is satisfied n) / (total number of detection spaces N)

検出空間で検出された空気の温度をTrとし、対象空間（T）の空気の設定温度をTsetとする。条件Ａは、Trが、Tsetを含む所定の温度範囲以上及び該温度範囲以下にある条件である。温度範囲の上限値T1は、Tset＋αに設定される。温度範囲の下限値T2は、Tset－βに設定される。冷却運転において、αは例えば１℃に設定される。冷却運転において、βは例えば２℃に設定される。本例では、冷却運転において、βがαより大きい。 Let Tr be the temperature of the air detected in the detection space, and let Tset be the set temperature of the air in the target space (T). Condition A is a condition in which Tr is above and below a predetermined temperature range including Tset and below the temperature range. The upper limit value T1 of the temperature range is set to Tset + α. The lower limit of the temperature range, T2, is set to Tset-β. In the cooling operation, α is set to, for example, 1 ° C. In the cooling operation, β is set to, for example, 2 ° C. In this example, β is larger than α in the cooling operation.

指標Ｘが低ければ対象空間（T）の空気の温度が全体的に設定温度Tsetに近いことを意味し、指標Ｘが高ければ対象空間（T）の温度が全体的に設定温度Tsetから遠いことを意味する。 If the index X is low, it means that the temperature of the air in the target space (T) is generally close to the set temperature Tset, and if the index X is high, the temperature of the target space (T) is generally far from the set temperature Tset. Means.

報酬条件設定部（62）には、報酬を決定するための閾値（上記α、β、及び後述するＰ）が変更可能に設定される。 In the reward condition setting unit (62), threshold values (α, β above, and P described later) for determining the reward are set to be changeable.

報酬決定部（63）は、状態変数に基づいて、複数の利用ユニット（30）の運転条件を決定した結果に対する報酬を決定する。報酬決定部（63）は、状態観測部（61）が受信した物理量と、報酬条件設定部（62）に設定された報酬条件とに基づいて報酬を決定する。 The reward determination unit (63) determines the reward for the result of determining the operating conditions of the plurality of utilization units (30) based on the state variables. The reward determination unit (63) determines the reward based on the physical quantity received by the state observation unit (61) and the reward condition set in the reward condition setting unit (62).

報酬決定部（63）は、第１条件に基づき報酬を決定する。具体的には、報酬決定部（63）は、指標Ｘに応じて報酬を決定する。報酬決定部（63）は、指標Ｘが所定値Ｐより小さい場合に報酬を増やし、指標Ｘが所定値Ｐ以上である場合に報酬を減らす。なお、報酬決定部（63）は、指標Ｘが小さいほど報酬を増大させ、指標Ｘが大きいほど報酬を減らしてもよい。 The remuneration determination unit (63) determines the remuneration based on the first condition. Specifically, the reward determination unit (63) determines the reward according to the index X. The reward determination unit (63) increases the reward when the index X is smaller than the predetermined value P, and decreases the reward when the index X is equal to or larger than the predetermined value P. The reward determination unit (63) may increase the reward as the index X is smaller and decrease the reward as the index X is larger.

更新部（64）は、人工知能である。更新部（64）は、報酬決定部（63）で決定した報酬に基づいて、現在の状態変数から運転条件を決定する関数を更新する。この関数は、行動価値関数であるが、他の関数であってもよい。また、関数は、行動価値テーブルを含む。更新部（64）は、報酬決定部（63）で決定した報酬に基づいて、動作条件を決定する関数を更新する。 The update unit (64) is artificial intelligence. The update unit (64) updates the function of determining the operating condition from the current state variable based on the reward determined by the reward determination unit (63). This function is an action value function, but it may be another function. The function also includes an action value table. The update unit (64) updates the function for determining the operating condition based on the reward determined by the reward determination unit (63).

学習結果記憶部（66）は、更新部（64）が学習した結果を適宜記憶する。 The learning result storage unit (66) appropriately stores the results learned by the update unit (64).

意思決定部（65）は、更新部（64）の学習結果に基づいて、複数の利用ユニット（30）の最適な運転条件（行動ａ）を決定する。具体的には、意思決定部（65）は、更新部（64）が更新した関数に基づいて、最適な動作条件を決定する。意思決定部（65）は、必ずしも強化学習部（60）に設けられてなくてもよく、空調制御部（51）に設けられてもよい。 The decision-making unit (65) determines the optimum operating conditions (behavior a) of the plurality of utilization units (30) based on the learning results of the update unit (64). Specifically, the decision-making unit (65) determines the optimum operating conditions based on the function updated by the update unit (64). The decision-making unit (65) does not necessarily have to be provided in the reinforcement learning unit (60), and may be provided in the air conditioning control unit (51).

以上のようにして、強化学習部（60）は、更新部（64）による関数の更新を繰り返すことにより、報酬が最も多く得られる、複数の空調ユニット（30）の運転条件を学習する。 As described above, the reinforcement learning unit (60) learns the operating conditions of the plurality of air conditioning units (30) from which the reward is most obtained by repeating the update of the function by the update unit (64).

－空気調和装置の運転動作－
空気調和装置（10）の基本的な運転動作について説明する。空気調和装置（10）は、冷却運転と、加熱運転とを行う。各空調系統（20）の運転動作は基本的に同じである。 -Operating operation of air conditioner-
The basic operating operation of the air conditioner (10) will be described. The air conditioner (10) performs a cooling operation and a heating operation. The operating operation of each air conditioning system (20) is basically the same.

〈冷却運転〉
冷却運転では、各空調系統（20）の圧縮機（22）が運転状態となる。各空調系統（20）の熱源ファン（26）及び利用ファン（33）が運転状態となる。各空調系統（20）の四方切換弁（24）が第１状態となる。冷却運転では、熱源熱交換器（23）が放熱器（凝縮器）として機能し、利用熱交換器（31）が蒸発器として機能する冷凍サイクルが行われる。 <Cooling operation>
In the cooling operation, the compressor (22) of each air conditioning system (20) is in the operating state. The heat source fan (26) and the utilization fan (33) of each air conditioning system (20) are put into operation. The four-way switching valve (24) of each air conditioning system (20) is in the first state. In the cooling operation, a refrigeration cycle is performed in which the heat source heat exchanger (23) functions as a radiator (condenser) and the utilization heat exchanger (31) functions as an evaporator.

圧縮機（22）で圧縮された冷媒は、熱源熱交換器（23）で室外空気へ放熱する。放熱した冷媒は、利用膨張弁（32）で減圧された後、利用熱交換器（31）を流れる。利用熱交換器（31）では、冷媒が庫内空気から吸熱して蒸発する。利用熱交換器（31）で冷却された空気は、対象空間（T）へ供給される。利用熱交換器（31）で蒸発した冷媒は、圧縮機（22）に吸入される。 The refrigerant compressed by the compressor (22) dissipates heat to the outdoor air by the heat source heat exchanger (23). The radiated refrigerant is decompressed by the utilization expansion valve (32) and then flows through the utilization heat exchanger (31). In the utilization heat exchanger (31), the refrigerant absorbs heat from the air inside the refrigerator and evaporates. The air cooled by the utilization heat exchanger (31) is supplied to the target space (T). The refrigerant evaporated in the utilization heat exchanger (31) is sucked into the compressor (22).

〈加熱運転〉
加熱運転では、各空調系統（20）の圧縮機（22）が運転状態となる。各空調系統（20）の熱源ファン（26）及び利用ファン（33）が運転状態となる。各空調系統（20）の四方切換弁（24）が第２状態となる。加熱運転では、利用熱交換器（31）が放熱器（凝縮器）として機能し、熱源熱交換器（23）が蒸発器として機能する冷凍サイクルが行われる。 <Heating operation>
In the heating operation, the compressor (22) of each air conditioning system (20) is in the operating state. The heat source fan (26) and the utilization fan (33) of each air conditioning system (20) are put into operation. The four-way switching valve (24) of each air conditioning system (20) is in the second state. In the heating operation, a refrigeration cycle is performed in which the utilization heat exchanger (31) functions as a radiator (condenser) and the heat source heat exchanger (23) functions as an evaporator.

圧縮機（22）で圧縮された冷媒は、利用熱交換器（31）で室外空気へ放熱する。放熱した冷媒は、利用膨張弁（32）で減圧された後、利用熱交換器（31）を流れる。利用熱交換器（31）では、冷媒が庫内空気から吸熱して蒸発する。利用熱交換器（31）で冷却された空気は、対象空間（T）へ供給される。利用熱交換器（31）で蒸発した冷媒は、圧縮機（22）に吸入される。 The refrigerant compressed by the compressor (22) dissipates heat to the outdoor air by the utilization heat exchanger (31). The radiated refrigerant is decompressed by the utilization expansion valve (32) and then flows through the utilization heat exchanger (31). In the utilization heat exchanger (31), the refrigerant absorbs heat from the air inside the refrigerator and evaporates. The air cooled by the utilization heat exchanger (31) is supplied to the target space (T). The refrigerant evaporated in the utilization heat exchanger (31) is sucked into the compressor (22).

〈第１動作および第２動作〉
複数の利用ユニット（30）は、冷却運転及び加熱運転において、それぞれ第１動作と第２動作とを行う。 <First operation and second operation>
The plurality of utilization units (30) perform the first operation and the second operation, respectively, in the cooling operation and the heating operation.

第１動作は、利用ファン（33）を運転させ且つ利用熱交換器（31）を機能させる動作である。冷却運転中の第１動作では、利用ファン（33）が運転状態となり、利用熱交換器（31）が蒸発器として機能する。加熱運転中の第１動作では、利用ファン（33）が運転状態となり、利用熱交換器（31）が放熱器（凝縮器）として機能する。 The first operation is an operation of operating the utilization fan (33) and operating the utilization heat exchanger (31). In the first operation during the cooling operation, the utilization fan (33) is in the operating state, and the utilization heat exchanger (31) functions as an evaporator. In the first operation during the heating operation, the utilization fan (33) is in the operating state, and the utilization heat exchanger (31) functions as a radiator (condenser).

冷却運転中の第２動作では、利用ファン（33）が運転状態となり、利用熱交換器（31）の機能が停止する。加熱運転中の第２動作では、利用ファン（33）が運転状態となり、利用熱交換器（31）の機能が停止する。第２動作では、冷媒が利用熱交換器（31）を実質的に流れない。具体的には、第２動作中の利用ユニット（30）では、対応する利用膨張弁（32）の開度が、全閉又は微小開度となる。 In the second operation during the cooling operation, the used fan (33) is put into the operating state, and the function of the used heat exchanger (31) is stopped. In the second operation during the heating operation, the used fan (33) is put into the operating state, and the function of the used heat exchanger (31) is stopped. In the second operation, the refrigerant substantially does not flow through the utilization heat exchanger (31). Specifically, in the utilization unit (30) during the second operation, the opening degree of the corresponding utilization expansion valve (32) is fully closed or a minute opening degree.

〈強化学習部による学習動作〉
強化学習部（60）による学習動作について、図４を参照しながらさらに説明する。学習動作は、冷却運転と加熱運転とでそれぞれ実行される。 <Learning operation by the reinforcement learning department>
The learning operation by the reinforcement learning unit (60) will be further described with reference to FIG. The learning operation is executed in the cooling operation and the heating operation, respectively.

本実施形態の空気調和装置（10）の学習動作は、空気調和装置（10）の現地の据え付け後に実行される。なお、学習動作は、空気調和装置（10）が現地の据え付け前にシミュレーションによって実行されてもよい。この場合、空気調和装置（10）の据え付け時から、強化学習部（60）の記憶部（66）に行動価値関数が記憶されることになる。 The learning operation of the air conditioner (10) of the present embodiment is performed after the on-site installation of the air conditioner (10). The learning operation may be performed by simulation before the air conditioner (10) is installed in the field. In this case, the action value function is stored in the storage unit (66) of the reinforcement learning unit (60) from the time when the air conditioner (10) is installed.

ステップＳＴ１では、強化学習部（60）において行動価値関数が既に作成されているか否かの判定が行われる。行動価値関数が作成されていない場合（ステップＳＴ１のＮＯ）、ステップＳＴ２へ移行する。 In step ST1, it is determined whether or not the action value function has already been created in the reinforcement learning unit (60). If the action value function has not been created (NO in step ST1), the process proceeds to step ST2.

ステップＳＴ２では、空調制御部（51）が、複数の利用ユニット（30）を所定の運転条件（動作条件）で制御する。所定の運転条件は、例えば予め設定された初期の運転条件であってもよいし、ランダムに決定される運転条件であってもよい。これにより、各利用ユニット（30）は、第１動作及び第２動作のいずれかを行う。 In step ST2, the air conditioning control unit (51) controls a plurality of utilization units (30) under predetermined operating conditions (operating conditions). The predetermined operating condition may be, for example, a preset initial operating condition or a randomly determined operating condition. As a result, each utilization unit (30) performs either the first operation or the second operation.

ステップＳＴ３では、温度分布センサ（40）で検出した温度分布が、現在の各利用ユニット（30）の運転条件とともに状態観測部（61）に入力される。 In step ST3, the temperature distribution detected by the temperature distribution sensor (40) is input to the state observation unit (61) together with the current operating conditions of each utilization unit (30).

ステップＳＴ４では、報酬決定部（63）が報酬の計算を開始する。報酬決定部（63）は、上記（１）式に基づき指標Ｘを算出する。指標Ｘが所定値より小さい場合（ステップＳＴ５のＹＥＳ）、対象空間（T）の全体の温度が設定温度Tsetに近いため、報酬が増大する（ステップＳＴ６）。指標Ｘが所定値以上である場合（ステップＳＴ５のＮＯ）、対象空間（T）の全体の温度が設定温度Tsetから遠いため、報酬が減少する（ステップＳＴ７）。 In step ST4, the reward determination unit (63) starts calculating the reward. The reward determination unit (63) calculates the index X based on the above equation (1). When the index X is smaller than the predetermined value (YES in step ST5), the reward increases because the overall temperature of the target space (T) is close to the set temperature Tset (step ST6). When the index X is equal to or greater than a predetermined value (NO in step ST5), the reward decreases because the entire temperature of the target space (T) is far from the set temperature Tset (step ST7).

ステップＳＴ８では、更新部（64）が報酬決定部（63）で決定した報酬に基づいて、現在の状態変数から運転条件を決定する行動価値関数を作成または更新する。 In step ST8, the update unit (64) creates or updates an action value function that determines the driving condition from the current state variable based on the reward determined by the reward determination unit (63).

ステップＳＴ９では、意思決定部（65）が、行動価値関数に基づいて最適な動作条件を決定する。具体的には、意思決定部（65）は、複数の利用ユニット（30）のうちどの利用ユニット（30）が第１動作及び第２動作のいずれを行えば、報酬が最大となるかを決定する。これにより、対象空間（T）の全体の空気の温度を設定温度Tsetに近づけるための、各利用ユニット（30）の動作条件を決定できる。 In step ST9, the decision-making unit (65) determines the optimum operating conditions based on the action value function. Specifically, the decision-making unit (65) determines which of the plurality of utilization units (30) the utilization unit (30) performs the first operation or the second operation to maximize the reward. do. This makes it possible to determine the operating conditions of each utilization unit (30) for bringing the temperature of the entire air in the target space (T) closer to the set temperature Tset.

ステップＳＴ１０では、強化学習部（60）で決定した動作条件が空調制御部（51）に送られる。空調制御部（51）は、複数の空調ユニット（30）が強化学習部（60）決定した動作条件となるように、各空調ユニット（30）を制御する。 In step ST10, the operating conditions determined by the reinforcement learning unit (60) are sent to the air conditioning control unit (51). The air conditioning control unit (51) controls each air conditioning unit (30) so that the plurality of air conditioning units (30) meet the operating conditions determined by the reinforcement learning unit (60).

次いでステップＳＴ１に戻ると、強化学習部（60）では行動価値関数が既に作成されているため、ステップＳＴ１のＹＥＳが成立し、ステップＳＴ３～ステップＳＴ１０の処理が実行される。その後は、ステップＳＴ３～ステップＳＴ１０の処理が繰り返し実行されることで、強化学習が行われる。これにより、強化学習部（60）は、温度分布センサ（40）で検出した対象空間（T）の空気の温度分布に応じて、各利用ユニット（30）のうちどの空調ユニット（30）が第１動作を行い、どの空調ユニット（30）が第２動作を行うと、対象空間（T）の全体の空気の温度がTsetに近づけるかを適切に判断できる。 Next, when returning to step ST1, since the action value function has already been created in the reinforcement learning unit (60), YES in step ST1 is established, and the processes of steps ST3 to ST10 are executed. After that, reinforcement learning is performed by repeatedly executing the processes of steps ST3 to ST10. As a result, in the reinforcement learning unit (60), which air conditioning unit (30) of each utilization unit (30) is assigned according to the temperature distribution of the air in the target space (T) detected by the temperature distribution sensor (40). When one operation is performed and which air conditioning unit (30) performs the second operation, it is possible to appropriately determine which air temperature of the entire target space (T) approaches Tset.

空気調和装置（10）の総運転時間が長くなるほど、強化学習部（60）の学習時間が長くなる。このため、空気調和装置（10）の総運転時間が長くなるほど、空気調和装置（10）による対象空間（T）の全体の温度調整の精度が向上する傾向にある。 The longer the total operating time of the air conditioner (10), the longer the learning time of the reinforcement learning unit (60). Therefore, as the total operating time of the air conditioner (10) becomes longer, the accuracy of the temperature adjustment of the entire target space (T) by the air conditioner (10) tends to improve.

なお、本例では、空気調和装置（10）の運転中において、強化学習部（60）がリアルタイムで強化学習を行っている。しかし、強化学習部（60）は、空気調和装置（10）の運転中において、検出した物理量、及び運転条件を紐付けて記憶し、空気調和装置（10）の運転後に強化学習を行ってもよい。 In this example, the reinforcement learning unit (60) performs reinforcement learning in real time while the air conditioner (10) is in operation. However, even if the reinforcement learning unit (60) stores the detected physical quantities and operating conditions in association with each other during the operation of the air conditioner (10) and performs reinforcement learning after the operation of the air conditioner (10). good.

〈学習動作の検証結果〉
本実施形態の学習動作の検証結果について、比較例と対比しながら説明する。 <Verification result of learning operation>
The verification result of the learning operation of this embodiment will be described in comparison with the comparative example.

図５は、本実施形態の空気調和装置（10）について、冷却運転を開始し始めた後、指標Ｘがどのように推移したかをシミュレーションにより検証した結果である。シミュレーションでは、図２に示す冷蔵倉庫（2）を対象とし、既に強化学習が実行された後の空気調和装置（10）が冷却運転を行う。利用ユニット（30）は８台である。シミュレーション条件では、対象空間（T）の全体の空気の初期温度を３℃とし、外気温度を１５℃、設定温度Tsetを３℃とした。また、壁（W1,W2,W2,W4）の外部から対象空間（T）へ伝わる熱量、及び対象空間（T）の照明の熱量を考慮した。冷却運転の開始直後には、扉（D）の開放に伴い６０秒間、１５℃の外気が対象空間（T）に流入するものとした。指標Ｘを求めるための温度範囲の上限値T1は４℃、下限値T2は０℃とした。 FIG. 5 is a result of verifying by simulation how the index X changed after the cooling operation was started for the air conditioner (10) of the present embodiment. In the simulation, the refrigerated warehouse (2) shown in FIG. 2 is targeted, and the air conditioner (10) after the reinforcement learning has already been executed performs the cooling operation. There are eight units (30) in use. Under the simulation conditions, the initial temperature of the entire air in the target space (T) was set to 3 ° C, the outside air temperature was set to 15 ° C, and the set temperature Tset was set to 3 ° C. In addition, the amount of heat transferred from the outside of the wall (W1, W2, W2, W4) to the target space (T) and the amount of heat of lighting in the target space (T) were taken into consideration. Immediately after the start of the cooling operation, the outside air at 15 ° C. flows into the target space (T) for 60 seconds with the opening of the door (D). The upper limit value T1 of the temperature range for obtaining the index X was set to 4 ° C., and the lower limit value T2 was set to 0 ° C.

図５に示すように、本実施形態では、運転開始後、時点ａにおいて指標Ｘが増大している。これは、以下の１）及び２）に起因すると推察できる。 As shown in FIG. 5, in the present embodiment, the index X is increased at the time point a after the start of operation. It can be inferred that this is due to the following 1) and 2).

１）冷却運転の運転開始直後に外気が対象空間（T）に流入することに起因して、一部の検出空間における空気温度Trが上限値T1（４℃）以上になった。 1) Due to the outside air flowing into the target space (T) immediately after the start of the cooling operation, the air temperature Tr in some of the detection spaces became the upper limit T1 (4 ° C.) or higher.

２）上記１）に起因していくつかの利用ユニット（30）が第１動作を実行し、一部の検出空間における空気温度Trが下限値T2（０℃）以下になった。 2) Due to the above 1), some utilization units (30) executed the first operation, and the air temperature Tr in a part of the detection space became the lower limit value T2 (0 ° C.) or less.

一方、時点ａの経過後には、速やかに指標Ｘが低下し、その後は０を維持した。このことは、時点ａの経過後、全ての検出空間において空気の温度Trが温度範囲内にあったことを意味する。したがって、本実施形態の空気調和装置（10）では、対象空間（T）の全体の空気の温度を速やかに設定温度Tsetに近づけることができる。 On the other hand, after the lapse of time point a, the index X rapidly decreased and remained 0 thereafter. This means that the temperature Tr of the air was within the temperature range in all the detection spaces after the lapse of the time point a. Therefore, in the air conditioner (10) of the present embodiment, the temperature of the entire air in the target space (T) can be quickly brought close to the set temperature Tset.

図６は、比較例の空気調和装置において、冷却運転を開始し始めた後、指標Ｘがどのように推移したかをシミュレーションにより検証した結果である。空気調和装置の基本的な構成は実施形態と同じであり、利用ユニットは８台である。比較例の利用ユニットは、吸込温度に応じて第１動作と第２動作とを切り換える。具体的には、第１動作中において、吸込温度が設定温度Tr（本例では３℃）に至ると利用ユニットが第２動作を行う。第２動作中において、吸込温度が設定温度Tr＋α℃（本例では４℃）に至ると利用ユニットが第１動作を行う。比較例の空気調和装置のそれ以外のシミュレーション条件は、上述した本実施形態のシミュレーション条件と同じである。比較例では、実施形態と同様、温度範囲の上限値T1を４℃、下限値T2を０℃として指標Ｘを求めた。 FIG. 6 is a result of verifying by simulation how the index X changed after the cooling operation was started in the air conditioner of the comparative example. The basic configuration of the air conditioner is the same as that of the embodiment, and the number of units used is eight. The utilization unit of the comparative example switches between the first operation and the second operation according to the suction temperature. Specifically, during the first operation, when the suction temperature reaches the set temperature Tr (3 ° C. in this example), the utilization unit performs the second operation. During the second operation, when the suction temperature reaches the set temperature Tr + α ° C (4 ° C in this example), the utilization unit performs the first operation. The other simulation conditions of the air conditioner of the comparative example are the same as the simulation conditions of the present embodiment described above. In the comparative example, the index X was obtained by setting the upper limit value T1 of the temperature range to 4 ° C. and the lower limit value T2 to 0 ° C. as in the embodiment.

図６に示すように、比較例では、特に時点ｂ、ｃ、ｄ、及びｅにおいて、指標Ｘが増大している。時点ｂにおいて指標Ｘが増大したことは、冷却運転の開始直後に外気が流入したことに起因すると推察できる。時点ｃ、ｄ、及びｅにおいて指標Ｘが増大したことは、第１動作を実行する利用ユニットの台数が増え、対象空間（T）の空気が過剰に冷却されてしまったことためと推察できる。したがって、比較例では、対象空間（T）の全体の空気の温度を速やかに設定温度Trに近づけることができなかった。 As shown in FIG. 6, in the comparative example, the index X is increased especially at the time points b, c, d, and e. It can be inferred that the increase in the index X at the time point b is due to the inflow of outside air immediately after the start of the cooling operation. It can be inferred that the increase in the index X at the time points c, d, and e is due to the increase in the number of utilization units that execute the first operation and the excessive cooling of the air in the target space (T). Therefore, in the comparative example, the temperature of the entire air in the target space (T) could not be quickly brought close to the set temperature Tr.

以上のことから、本実施形態の空気調和装置（10）は、比較例よりも対象空間（T）の全体の空気を速やかに設定温度Trに近づけることが確認できた。 From the above, it was confirmed that the air conditioner (10) of the present embodiment quickly brings the entire air in the target space (T) closer to the set temperature Tr than in the comparative example.

－実施形態の効果－
実施形態では、強化学習部（60）が複数の利用ユニット（30）の運転条件、及び対象空間（T）の物理量に基づいて強化学習を行う。空調制御部（51）は、強化学習部（60）で決定した運転条件となるように、複数の利用ユニット（30）を制御する。これにより、所定の報酬を満たすための最適な運転条件にて複数の利用ユニット（30）を運転させることができる。 -Effect of embodiment-
In the embodiment, the reinforcement learning unit (60) performs reinforcement learning based on the operating conditions of the plurality of utilization units (30) and the physical quantity of the target space (T). The air conditioning control unit (51) controls a plurality of utilization units (30) so as to have the operating conditions determined by the reinforcement learning unit (60). As a result, a plurality of utilization units (30) can be operated under the optimum operating conditions for satisfying a predetermined reward.

強化学習のための物理量として対象空間（T）の空気の温度分布を用いている。このため、対象空間（T）の空気の温度分布を最適に制御できる。 The temperature distribution of air in the target space (T) is used as a physical quantity for reinforcement learning. Therefore, the temperature distribution of the air in the target space (T) can be optimally controlled.

強化学習のための運転条件として、複数の利用ユニット（30）のいずれが第１動作を行い、いずれが第２動作を行うかの動作条件を用いている。このため、対象空間（T）における複数の利用ユニット（30）の位置を考慮しながら、利用ユニット（30）毎に最適な動作条件を決定できる。 As the operating condition for reinforcement learning, the operating condition of which of the plurality of utilization units (30) performs the first operation and which performs the second operation is used. Therefore, the optimum operating conditions can be determined for each of the utilization units (30) while considering the positions of the plurality of utilization units (30) in the target space (T).

さらに報酬条件は、対象空間（T）の空気の温度分布が許容範囲外であるか否かの条件を含む。対象空間（T）の空気の温度分布が許容範囲外であると報酬が増大し、許容範囲内であると報酬が減少する。この学習結果に基づき複数の利用ユニット（30）の動作条件を決定することで、対象空間（T）の空気の温度分布を許容範囲内に制御できる。 Further, the reward condition includes a condition as to whether or not the temperature distribution of the air in the target space (T) is out of the allowable range. If the temperature distribution of the air in the target space (T) is out of the permissible range, the reward increases, and if it is within the permissible range, the reward decreases. By determining the operating conditions of the plurality of utilization units (30) based on this learning result, the temperature distribution of the air in the target space (T) can be controlled within an allowable range.

より厳密には、報酬条件は、対象空間（T）を複数の検出空間に区分し、検出区間毎の空気温度が目標値に近いかどうかを示す指標Ｘをパラメータとしている。この学習結果に基づき複数の利用ユニット（30）の動作条件を決定することで、対象空間（T）の全体の空気の温度をきめ細かく、且つ早期に目標値に近づけることができる（図５を参照）。 More strictly, the reward condition divides the target space (T) into a plurality of detection spaces, and uses an index X indicating whether the air temperature in each detection section is close to the target value as a parameter. By determining the operating conditions of the plurality of utilization units (30) based on this learning result, the temperature of the entire air in the target space (T) can be finely and quickly approached to the target value (see FIG. 5). ).

－実施形態の変形例－
上記実施形態については、以下のような変形例を採用してもよい。 -Modification example of the embodiment-
The following modifications may be adopted for the above embodiment.

〈変形例１〉
図７に示す変形例１の空気調和装置（10）は、送風装置（70）を備える。送風装置（70）は、対象空間（T）に配置される。送風装置（70）は、対象空間（T）の空気を循環させる、いわゆるサーキュレータである。変形例１の空気調和装置（10）は、２台の送風装置（70）を有する。一方、変形例１の空気調和装置（10）は、実施形態よりも少ない６台の利用ユニット（30）を有する。それ以外の構成は、実施形態と同様である。 <Modification example 1>
The air conditioner (10) of the first modification shown in FIG. 7 includes a blower (70). The blower (70) is arranged in the target space (T). The blower (70) is a so-called circulator that circulates the air in the target space (T). The air conditioner (10) of the first modification has two blowers (70). On the other hand, the air conditioner (10) of the first modification has six utilization units (30), which is smaller than that of the embodiment. Other than that, the configuration is the same as that of the embodiment.

変形例１においても、強化学習部（60）が、複数の利用ユニット（30）の動作条件、及び対象空間（T）の温度分布に基づいて強化学習を行う。空調制御部（51）は、この強化学習結果に基づいて複数の利用ユニット（30）を制御する。このため、対象空間（T）の全体の空気の温度を設定温度Tsetに速やかに近づけることができる。 Also in the first modification, the reinforcement learning unit (60) performs reinforcement learning based on the operating conditions of the plurality of utilization units (30) and the temperature distribution of the target space (T). The air conditioning control unit (51) controls a plurality of utilization units (30) based on the reinforcement learning result. Therefore, the temperature of the entire air in the target space (T) can be quickly brought close to the set temperature Tset.

変形例１では、実施形態と比べて利用ユニット（30）の台数が少ない。しかしながら、強化学習に基づき複数の利用ユニット（30）の動作を制御することで、比較例よりも対象空間（T）の全体の空気の温度を設定温度Tsetに速やかに近づけることができる。 In the first modification, the number of utilization units (30) is smaller than that of the embodiment. However, by controlling the operation of the plurality of utilization units (30) based on reinforcement learning, the temperature of the entire air in the target space (T) can be brought closer to the set temperature Tset more quickly than in the comparative example.

このように変形例１では、利用ユニット（30）の台数を減らしつつ、対象空間（T）の空気の温度をきめ細かく且つ早く目標値に近づけることができる。 As described above, in the first modification, the temperature of the air in the target space (T) can be finely and quickly approached to the target value while reducing the number of the utilization units (30).

〈変形例２〉
変形例２は、変形例１と同様、少なくとも１つの送風装置（70）と、複数の利用ユニット（30）を有する空気調和装置（10）において、強化学習の行動ａとして送風装置（70）の運転条件が含まれる。厳密にいうと、強化学習部（60）は、複数の利用ユニット（30）の運転条件と、送風装置（70）の運転条件と、対象空間（T）に関する物理量を含む状態変数とに基づいて、複数の利用ユニット（30）の運転条件を決定する関数を更新する。 <Modification 2>
In the second modification, as in the first modification, in the air conditioner (10) having at least one blower (70) and a plurality of utilization units (30), the blower (70) is used as the action a of reinforcement learning. Operating conditions are included. Strictly speaking, the reinforcement learning unit (60) is based on the operating conditions of multiple utilization units (30), the operating conditions of the blower (70), and the state variables including the physical quantities related to the target space (T). , Update the function that determines the operating conditions of multiple utilization units (30).

したがって、変形例２の強化学習部（60）は、複数の利用ユニット（30）のうち、どの利用ユニット（30）を第１動作とし、どの利用ユニット（30）を第２動作とし、どの送風装置（70）を運転させ、どの送風装置（70）を停止させると報酬が最大となるかを決定する。 Therefore, in the reinforcement learning unit (60) of the modification 2, which of the plurality of utilization units (30) is the first operation, which utilization unit (30) is the second operation, and which ventilation is used. The device (70) is operated and which blower device (70) is stopped to determine the maximum reward.

変形例２では、利用ユニット（30）の台数を減らしながら、対象空間（T）の空気の温度をよりきめ細かく且つより早く目標値に近づけることができる。 In the second modification, the temperature of the air in the target space (T) can be brought closer to the target value more finely and faster while reducing the number of the utilization units (30).

〈変形例３〉
図８に示す変形例３の空気調和装置（10）は、電力検出部（41）を有する。電力検出部（41）は、空気調和装置（10）の消費電力を検出する。電力検出部（41）の検出値は、空調制御部（51）を介して、または直接的に強化学習部（60）に入力される。 <Modification 3>
The air conditioner (10) of the modification 3 shown in FIG. 8 has a power detection unit (41). The power detection unit (41) detects the power consumption of the air conditioner (10). The detected value of the power detection unit (41) is input to the reinforcement learning unit (60) via the air conditioning control unit (51) or directly.

変形例３の強化学習部（60）は、状態ｓとして、対象空間（T）の物理量（温度分布）に加えて、空気調和装置（10）の消費電力を用いる。厳密にいうと、強化学習部（60）は、複数の利用ユニット（30）の運転条件と、対象空間（T）に関する物理量と、空気調和装置（10）の消費電力を含む状態変数に基づいて、複数の利用ユニット（30）の運転条件を決定する関数を更新する。 The reinforcement learning unit (60) of the modification 3 uses the power consumption of the air conditioner (10) in addition to the physical quantity (temperature distribution) of the target space (T) as the state s. Strictly speaking, the reinforcement learning unit (60) is based on the operating conditions of multiple utilization units (30), the physical quantities related to the target space (T), and the state variables including the power consumption of the air conditioner (10). , Update the function that determines the operating conditions of multiple utilization units (30).

報酬決定部（63）は、この状態変数に基づいて、複数の利用ユニット（30）の運転条件を決定した結果に対する報酬を決定する。具体的には、報酬決定部（63）は、実施形態と同様、指標Ｘに応じて報酬を決定する。加えて、変形例３の報酬決定部（63）は、消費電力が所定値より小さいと報酬を増やし、消費電力が所定値より大きいと報酬を減らす。なお、報酬決定部（63）は、消費電力が小さいほど報酬を増大させ、消費電力が大きいほど報酬を減らしてもよい変形例３のそれ以外の処理は、実施形態と同様である。 The reward determination unit (63) determines the reward for the result of determining the operating conditions of the plurality of utilization units (30) based on this state variable. Specifically, the reward determination unit (63) determines the reward according to the index X, as in the embodiment. In addition, the reward determination unit (63) of the modification 3 increases the reward when the power consumption is smaller than the predetermined value, and decreases the reward when the power consumption is larger than the predetermined value. The reward determination unit (63) may increase the reward as the power consumption is smaller and decrease the reward as the power consumption is larger. The other processing of the modification 3 is the same as that of the embodiment.

変形例３では、指標Ｘ及び消費電力を報酬とし、この報酬が最大となる各利用ユニット（30）の動作条件（第１動作および第２動作のいずれを行うか）を決定している。このため、変形例３では、対象空間（T）の全体の空気を目標値に近づけることができ、且つ消費電力が少ない運転を実現できる。 In the third modification, the index X and the power consumption are used as rewards, and the operating conditions (whether the first operation or the second operation is performed) of each utilization unit (30) having the maximum reward is determined. Therefore, in the modified example 3, the entire air in the target space (T) can be brought close to the target value, and the operation with low power consumption can be realized.

なお、変形例３において、強化学習の行動ａとして送風装置（70）の運転条件を含めるようにしてもよい。 In addition, in the modification 3, the operating condition of the blower (70) may be included as the action a of the reinforcement learning.

《その他の実施形態》
上述した各実施形態、及び各変形例においては、適用可能な範囲において以下の構成としてもよい。 << Other Embodiments >>
In each of the above-described embodiments and modifications, the following configurations may be used as long as they are applicable.

上述した形態では、対象空間（T）が冷蔵庫内の空間である。しかし、対象空間は、一般家屋、店舗、ビルなどの室内空間であってもよい。対象空間（T）は、コンテナ内の空間であってもよい。コンテナは、陸上輸送あるいは海上輸送に用いられる。コンテナの内部に食品などの冷却対象物が収容される。対象空間（T）は、陸上、海上などを移動する移動体の内部の空間であってもよい。移動体としては、車両、電車、船舶などがあげられる。 In the above-described form, the target space (T) is the space inside the refrigerator. However, the target space may be an indoor space such as a general house, a store, or a building. The target space (T) may be the space inside the container. Containers are used for land or sea shipping. Food and other cooling objects are stored inside the container. The target space (T) may be the space inside a moving body that moves on land, at sea, or the like. Examples of moving objects include vehicles, trains, and ships.

以上、実施形態および変形例を説明したが、特許請求の範囲の趣旨および範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。また、以上の実施形態、変形例、その他の実施形態は、本開示の対象の機能を損なわない限り、適宜組み合わせたり、置換したりしてもよい。 Although the embodiments and modifications have been described above, it will be understood that various modifications of the forms and details are possible without departing from the spirit and scope of the claims. Further, the above embodiments, modifications, and other embodiments may be appropriately combined or replaced as long as the functions of the subject of the present disclosure are not impaired.

以上に述べた「第１」、「第２」、「第３」…という記載は、これらの記載が付与された語句を区別するために用いられており、その語句の数や順序までも限定するものではない。 The descriptions "1st", "2nd", "3rd" ... described above are used to distinguish the words and phrases to which these descriptions are given, and the number and order of the words and phrases are also limited. It's not something to do.

本開示は、空調システムについて有用である。 The present disclosure is useful for air conditioning systems.

１０空気調和装置
３０空調ユニット
３１熱交換器
３３ファン
５１制御部
６０強化学習部
６３報酬決定部
６４更新部
７０送風装置 10 Air conditioner
30 Air conditioning unit
31 heat exchanger
33 fan
51 Control unit
60 Reinforcement Learning Department
63 Reward Decision Department
64 Update Department
70 Blower

Claims

An air conditioning system including an air conditioner (10) having a plurality of air conditioning units (30) for air conditioning the target space (T) and a control unit (51) for controlling the air conditioner (10).
Reinforcement learning to update the function that determines the operating conditions of the plurality of air conditioning units (30) based on the state variables including the operating conditions of the plurality of air conditioning units (30) and the physical quantities related to the target space (T). With more parts (60)
The reinforcement learning department (60)
A reward determination unit (63) that determines a reward for the result of determining the operating conditions of the plurality of air conditioning units (30) based on the state variables.
It has an update unit (64) that updates the function based on the reward determined by the reward determination unit (63).
By repeating the update of the function by the update unit (64), it is configured to learn the operating conditions of the plurality of air conditioning units (30) from which the reward is most obtained.
The air conditioning unit (51) controls the air conditioning device (10) so as to satisfy the operating conditions of the plurality of air conditioning units (30) learned by the reinforcement learning unit (60). system.

In claim 1,
An air conditioning system characterized in that the physical quantity includes the temperature distribution of air in the target space (T).

In claim 2,
The plurality of air conditioning units (30)
A fan (33) that conveys air,
It has a heat exchanger (31) for heat exchange between the air and the refrigerant, and also has a heat exchanger (31).
The first operation of operating the fan (33) and operating the heat exchanger (31) and the second operation of operating the fan (33) and stopping the function of the heat exchanger (31) are performed, respectively. Configured to do,
The operating conditions of the plurality of air conditioning units (30) include a condition of which of the plurality of air conditioning units (30) the air conditioning unit (30) performs the first operation or the second operation. An air conditioning system featuring.

In claim 3,
An air conditioning system further comprising at least one blower (70) for transporting air in the target space (T).

In any one of claims 1 to 4,
Further, a measuring unit (40) for measuring a physical quantity of the target space (T) during operation of the air conditioner (10) is provided.
The reinforcement learning unit (60) is an air conditioning system characterized in that it learns the operating conditions of the plurality of air conditioning units (30) during or after the operation of the air conditioning device (10).