JP2022092342A - Display control system and program - Google Patents
Display control system and program Download PDFInfo
- Publication number
- JP2022092342A JP2022092342A JP2020205108A JP2020205108A JP2022092342A JP 2022092342 A JP2022092342 A JP 2022092342A JP 2020205108 A JP2020205108 A JP 2020205108A JP 2020205108 A JP2020205108 A JP 2020205108A JP 2022092342 A JP2022092342 A JP 2022092342A
- Authority
- JP
- Japan
- Prior art keywords
- setting
- information
- unit
- display
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
- Computer And Data Communications (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本開示は、表示技術に関し、特に情報を表示する表示制御システムおよびプログラムに関する。 The present disclosure relates to display techniques, and in particular to display control systems and programs that display information.
住宅等の施設に設置された照明機器、空調機器等の機器を制御装置に接続すると、制御装置からこれらの機器が制御可能になる。また、施設に設置されたスマートメータを制御装置に接続すると、制御装置において消費電量等の情報を管理可能になるとともに、その情報が機器の制御に反映される(例えば、非特許文献1参照)。 When equipment such as lighting equipment and air conditioning equipment installed in a facility such as a house is connected to a control device, these devices can be controlled from the control device. Further, when a smart meter installed in a facility is connected to a control device, information such as power consumption can be managed by the control device, and the information is reflected in the control of the device (see, for example, Non-Patent Document 1). ..
マイクロフォンを備えたスマートスピーカが制御装置に接続され、ユーザによる音声入力によって制御装置に接続された機器が制御されると、ユーザの利便性が向上する。また、ユーザの利便性を向上させるために、ユーザによる音声入力によって制御装置における設定がなされる方が好ましい。しかしながら、ユーザによる音声入力においてユーザの言い間違いが生じると、誤った設定がなされてしまう。そのため、ユーザの利便性を向上しながら、操作の確実性を向上することが求められる。 When a smart speaker equipped with a microphone is connected to the control device and the device connected to the control device is controlled by voice input by the user, the convenience of the user is improved. Further, in order to improve the convenience of the user, it is preferable that the setting in the control device is made by the voice input by the user. However, if the user makes a mistake in voice input, the wrong setting will be made. Therefore, it is required to improve the certainty of operation while improving the convenience of the user.
本開示はこうした状況に鑑みなされたものであり、その目的は、ユーザの利便性を向上しながら、操作の確実性を向上する技術を提供することにある。 The present disclosure has been made in view of such circumstances, and an object thereof is to provide a technique for improving the certainty of operation while improving the convenience of a user.
上記課題を解決するために、本開示のある態様の表示制御システムは、1以上の機器と通信可能な通信部と、音声情報に基づいて特定されたコマンドであって、かつ通信部が通信可能な機器に関する設定を指示する内容が含まれたコマンドを取得する取得部と、取得部において取得したコマンドをもとに特定された設定を実行する前の第1設定情報が示される第1画面を表示部に表示させる表示制御部と、設定を実行する機器制御部とを備える。表示制御部は、機器制御部が設定を実行した後の第2設定情報が示される第2画面を第1画面に続いて表示部に表示させる。 In order to solve the above problems, the display control system of one aspect of the present disclosure is a communication unit capable of communicating with one or more devices, a command specified based on voice information, and the communication unit can communicate with each other. The acquisition unit that acquires commands that include settings that indicate settings related to various devices, and the first screen that shows the first setting information before executing the settings specified based on the commands acquired by the acquisition unit. It includes a display control unit for displaying on the display unit and a device control unit for executing settings. The display control unit causes the display unit to display a second screen on which the second setting information after the device control unit has executed the setting is displayed, following the first screen.
なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。 It should be noted that any combination of the above components and the conversion of the expression of the present disclosure between a method, an apparatus, a system, a computer program, a recording medium on which a computer program is recorded, or the like is also effective as an aspect of the present disclosure. be.
本開示によれば、ユーザの利便性を向上しながら、操作の確実性を向上できる。 According to the present disclosure, it is possible to improve the certainty of operation while improving the convenience of the user.
本開示の実施例を具体的に説明する前に、本実施例の概要を説明する。実施例は、住宅等の施設に設置された複数の機器を制御可能な制御装置を含む制御システムに関する。制御装置は、例えば、電力制御システム(EMS:Energy Management System)のコントローラである。また、機器は、住宅設備機器、家電製品、ビル・店舗設備機器、すなわち照明、空調、冷蔵、電力設備、一般白物家電製品、センサ、アクチュエータ、シャッターなどを含む。機器は、EMSにおける通信プロトコルの1つであるECHONET Lite(登録商標)により、制御装置との通信を実行可能である。 An outline of the present embodiment will be described before the embodiment of the present disclosure is specifically described. The embodiment relates to a control system including a control device capable of controlling a plurality of devices installed in a facility such as a house. The control device is, for example, a controller of a power control system (EMS: Energy Management System). In addition, the equipment includes housing equipment, home appliances, building / store equipment, that is, lighting, air conditioning, refrigeration, electric power equipment, general white goods, sensors, actuators, shutters, and the like. The device can perform communication with the control device by ECHONET Lite (registered trademark), which is one of the communication protocols in EMS.
制御装置を介して機器を制御する際の利便性を向上するために、制御装置には、マイクロフォンが備えられる。ユーザは、機器の制御の指示を音声としてマイクロフォンに発話する。機器の制御の指示には、機器の状態の確認の指示も含まれる。制御装置は、音声を電気信号に変換して、電気信号に変換された音声(以下、「音声情報」という)を音声変換サーバ装置に送信する。音声変換サーバ装置は、制御装置から受信した音声情報に対して音声認識を実行することによって音声情報の内容をテキスト情報に変換し、テキスト情報をコマンド生成サーバ装置に送信する。コマンド生成サーバ装置は、音声変換サーバ装置から受信したテキスト情報の内容に対応したコマンドを生成する。生成されたコマンドは、制御装置に送信される。制御装置は、ECHONET Lite(登録商標)によって機器を接続しており、コマンドにおいて示された指示に応じて機器を制御する。 In order to improve the convenience when controlling the device through the control device, the control device is provided with a microphone. The user speaks a control instruction of the device to the microphone as a voice. The instruction to control the device also includes the instruction to confirm the state of the device. The control device converts the voice into an electric signal, and transmits the voice converted into the electric signal (hereinafter, referred to as “voice information”) to the voice conversion server device. The voice conversion server device converts the content of the voice information into text information by performing voice recognition on the voice information received from the control device, and sends the text information to the command generation server device. The command generation server device generates a command corresponding to the content of the text information received from the voice conversion server device. The generated command is sent to the controller. The control device connects the device by ECHONET Lite (registered trademark), and controls the device according to the instruction indicated by the command.
例えば、ユーザが発生した機器の制御の指示が「エアーコンディショナをオンにして」であれば、エアーコンディショナをオンにするためのコマンドによって、エアコンディショナがオンにされる。例えば、ユーザが発生した機器の制御の指示が「今日の電気代を教えて」であれば、電気の使用量を確認するためのコマンドによって、スマートメータから電気の使用量が取得される。このような機器の動作を直接指示するような制御であれば、ユーザが発生した音声に応じて制御が自動的になされることによって、ユーザの利便性が向上する。 For example, if the user's instruction to control the device is "turn on the air conditioner", the command to turn on the air conditioner turns on the air conditioner. For example, if the user's instruction to control the device is "Tell me about today's electricity bill", the electricity usage is acquired from the smart meter by the command for confirming the electricity usage. If the control is such that the operation of the device is directly instructed, the control is automatically performed according to the voice generated by the user, which improves the convenience of the user.
一方、制御装置に対する操作は、機器の動作を直接指示する場合だけではなく、機器を設定する場合にもなされる。機器の設定とは、例えば、機器に備えられた機能のオン/オフを切りかえること、機器の名称を設定すること等である。このような設定を音声により実行する場合、ユーザの言い間違いが生じると、誤った設定がなされてしまう。そのため、前述のごとく、ユーザの利便性を向上しながら、操作の確実性を向上することが求められる。 On the other hand, the operation on the control device is performed not only when directly instructing the operation of the device but also when setting the device. The device setting is, for example, switching on / off the function provided in the device, setting the name of the device, and the like. When such a setting is executed by voice, if the user makes a mistake, the wrong setting will be made. Therefore, as described above, it is required to improve the certainty of operation while improving the convenience of the user.
本実施例に係る制御装置は、ユーザによる新たな設定が実行される前の設定情報(以下、「第1設定情報」という)が示される画面(以下、「第1画面」という)をまず表示する。これに続いて、制御装置は、ユーザによる新たな設定が実行された後の設定情報(以下、「第2設定情報」という)が示される画面(以下、「第2画面」という)を第1画面に続いて表示する。ユーザは、第1画面から第2画面への変化を見ることによって、自らが発生した設定が反映されていることを確認可能である。 The control device according to the present embodiment first displays a screen (hereinafter referred to as "first screen") showing setting information (hereinafter referred to as "first setting information") before the new setting is executed by the user. do. Following this, the control device first displays a screen (hereinafter referred to as "second screen") showing setting information (hereinafter referred to as "second setting information") after the new setting is executed by the user. Display following the screen. By seeing the change from the first screen to the second screen, the user can confirm that the setting generated by himself / herself is reflected.
図1は、制御システムの構成を示す図である。制御システム1000は、機器200と総称される第1機器200a、第2機器200b、第N機器200n、制御装置300、ルータ400、ネットワーク420、音声変換サーバ装置500、コマンド生成サーバ装置550を含む。機器200、制御装置300、ルータ400は施設100内に設置される。以下では、(1)全体構成、(2)音声による設定、(3)第1例、(4)第2例、(5)第3例、(6)第4例の順に説明する。
FIG. 1 is a diagram showing a configuration of a control system. The
(1)全体構成
施設100は、制御システム1000による制御の対象となる建物であり、例えば戸建て住宅である。施設100は戸建て住宅に限定されず、集合住宅の住戸でもよいし、オフィスビル、商業施設などでもよい。各機器200は、例えば、照明装置、エアーコンディショナ、電動シャッター、電気錠である。各機器200は、HAN(Home Area Network)、特定小電力無線等により制御装置300に接続される。
(1) Overall configuration The
制御装置300は、例えば、HEMS(Home Energy Management System)コントローラとしての機能を有し、機器200の動作を制御する。制御装置300は、1つの装置であってもよいし、複数の装置の接続であってもよい。制御装置300は表示制御システムとも呼ばれる。制御装置300は、第1通信部310、第2通信部312、マイクロフォン320、操作部322、スピーカ324、表示部326、記憶部328、処理部330を含む。処理部330は、生成部340、取得部350、表示制御部352、音声出力部354、機器制御部356を含む。
The
第1通信部310は、有線通信あるいは無線通信により1以上の機器200と通信可能である。例えば、第1通信部310は、HANの通信機能を有する。処理部330は、例えば、プロセッサおよびメモリを有するマイクロコンピュータで構成される。プロセッサが、記憶部328に記録されたプログラムを実行することにより、コンピュータシステムによって処理部330の各種の機能が実現される。
The
各種の機能のうちの1つが機器200の動作を制御する機能であり、制御装置300は、機器200に対する操作を受けつけるための操作画面を表示部326に表示する。操作部322は、ユーザからの操作を受付可能なユーザインターフェースであり、例えば、ボタンである。また、操作部322は、表示部326と一体化されたタッチパネルであってもよい。操作部322は、表示部326に表示した操作画面に対するユーザの指示を受けつける。操作部322は、受けつけた指示を処理部330に出力する。
One of the various functions is a function of controlling the operation of the device 200, and the
処理部330は、操作部322において受けつけた指示をもとに、機器200の動作を指示するための制御情報を生成する。第1通信部310は、機器200に対して制御情報を送信する。機器200は、制御装置300からの制御情報を受信すると、制御情報に応じた動作を実行する。例えば、制御情報に応じて機器200は電源オンされたり、電源オフされたりする。
The
第1通信部310は、スマートメータ(図示せず)に接続され、施設100において消費された電力を示す電力情報を受信してもよい。処理部330は、第1通信部310において受信した電力情報をもとに制御情報を生成する。例えば、電力がしきい値よりも大きくなった場合に、処理部330は、エアーコンディショナにおける冷房時の設定温度を高くするような制御情報を生成する。第1通信部310は、機器200に対して制御情報を送信する。機器200は、制御装置300からの制御情報を受信すると、制御情報に応じた動作、例えば、冷房時の設定温度を高くする動作を実行する。
The
第2通信部312は、第1通信部310とは別に無線通信あるいは有線通信を実行する。無線通信として、例えば、無線LAN(Local Area Network)が使用されるが、これに限定されない。制御装置300の第2通信部312は、ルータ400に接続されるとともに、ルータ400を介してネットワーク420に接続される。ネットワーク420は、例えば、IP(Internet Protocol)ネットワークである。ネットワーク420には、音声変換サーバ装置500とコマンド生成サーバ装置550が接続される。
The
(2)音声による設定
ここでは、ユーザが制御装置300を介して機器200を設定する場合を想定する。制御装置300のマイクロフォン320は、発話者であるユーザが発話した音声を受けつける。音声には、例えば、設定対象となる機器200の名称、機器200に対する設定の内容(以下、「設定内容」という)が含まれる。生成部340は、マイクロフォン320で受けつけた音声を電気信号に変換することによって音声情報を生成する。第2通信部312は、ルータ400、ネットワーク420を介して音声変換サーバ装置500に音声情報を送信する。
(2) Voice setting Here, it is assumed that the user sets the device 200 via the
音声変換サーバ装置500は、制御装置300からの音声情報を受信する。音声変換サーバ装置500は、音声情報に対して音声変換を実行する。音声変換には公知の技術が使用されればよいので、ここでは説明を省略する。音声変換によって、音声変換サーバ装置500は、音声情報の内容に対応したテキスト情報を生成する。音声変換サーバ装置500は、テキスト情報をネットワーク420経由でコマンド生成サーバ装置550に送信する。
The voice
コマンド生成サーバ装置550は、テキスト情報を音声変換サーバ装置500から受信する。コマンド生成サーバ装置550は、テキスト情報に対する認識処理を実行することによって、設定対象となる機器200の名称、設定内容を特定する。認識処理には公知の技術が使用されればよいので、ここでは説明を省略する。また、コマンド生成サーバ装置550は、設定内容とコマンドとの対応関係を予め記憶しており、当該対応関係を参照することによって、テキスト情報に含まれた設定内容から、当該制御内容に対応したコマンドへの変換を実行する。コマンドへの変換は機械学習によりなされてもよい。コマンドは、機器200を設定するために予め定められた命令である。コマンド生成サーバ装置550は、コマンドをネットワーク420、ルータ400を介して制御装置300に送信する。
The command
制御装置300の第2通信部312は、コマンドをコマンド生成サーバ装置550から受信する。取得部350はコマンドを取得する。コマンドは、前述のごとく、音声情報に基づいて特定されており、かつ第1通信部310が通信可能な機器200に関する設定を指示する内容を含む。取得部350は、コマンドをもとに特定された設定内容を表示制御部352に出力する。
The
表示制御部352は、取得部350からの設定内容に応じた設定を実行する前の設定情報(前述のとおり、「第1設定情報」という)が示される画面(前述の通り、「第1画面」という)を表示部326に表示させる。ユーザは、表示部326に表示された第1画面を見ることによって、新たな設定が反映されていない第1設定情報を確認可能である。表示制御部352は、設定内容を機器制御部356に出力する。
The
機器制御部356は、設定内容を受けつけると、設定内容に応じた制御情報を取得する。設定内容から制御情報への変換には公知の技術が使用されればよいので、ここでは説明を省略する。機器制御部356は、第1通信部310を介して機器200に制御情報を送信する。これは、機器200に対する設定を実行することに相当する。機器200が制御情報に応じて設定を実行した場合、機器200は、設定を実行したことを通知するための状態情報を制御装置300に送信する。制御装置300の第1通信部310は、状態情報を機器200から受信する。
When the
表示制御部352は、第1通信部310が状態情報を受信した場合、機器制御部356が設定を実行した後の設定情報(以下、前述の通り、「第2設定情報」という)が示される画面(以下、前述の通り、「第2画面」という)を第1画面に続いて表示部326に表示させる。ユーザは、表示部326に表示された第1画面が第2画面に変化することを見ることによって、新たな設定が反映された第2設定情報を確認可能である。音声出力部354は、表示制御部352が設定内容を取得部350から受けつけた場合、第2設定情報に移行することをユーザに通知するための確認音声をスピーカ324から出力してもよい。
When the
(3)第1例
第1例は、太陽光活用モード設定をオンにする状況である。その際、制御装置300に接続される機器200は、太陽光発電装置、計測ユニットである。また、機器200には、自然冷媒ヒートポンプ給湯機、電気自動車充電設備、創蓄連携システムのいずれか1つが少なくとも含まれる。太陽光活用モードとは、前日に制御装置300が天気予報を確認し、夜間の自然冷媒ヒートポンプ給湯機の沸き上げ量を減らして、その分を翌日の太陽光発電装置で沸き上げる機能である。その際、急に天気が変わっても、蓄電池に貯えられた電気によって、自然冷媒ヒートポンプ給湯機の沸き上げがサポートされる。
(3) First example The first example is a situation in which the solar power utilization mode setting is turned on. At that time, the device 200 connected to the
太陽光活用モード設定がオフにされている状況下においてオンにする場合、ユーザは、制御装置300のマイクロフォン320に対して、「AI(Artificial Intelligence)ソーラーチャージ(登録商標)をオンにして」と発話する。「AIソーラーチャージ」は、前述の機器200を総称する機器200の名称であり、「オン」が設定内容である。生成部340は、「AIソーラーチャージをオンにして」を含む音声情報を生成する。第2通信部312は、音声変換サーバ装置500に音声情報を送信する。
When the solar utilization mode setting is turned off and turned on, the user tells the
音声変換サーバ装置500は、音声情報に対して音声変換を実行することによって、「AIソーラーチャージをオンにして」に対応したテキスト情報を生成してコマンド生成サーバ装置550に送信する。コマンド生成サーバ装置550は、テキスト情報を音声変換サーバ装置500から受信する。コマンド生成サーバ装置550は、テキスト情報に対する認識処理を実行することによって、コマンドへの変換を実行する。コマンド生成サーバ装置550は、コマンドを制御装置300に送信する。
The voice
制御装置300の第2通信部312は、コマンドをコマンド生成サーバ装置550から受信する。取得部350はコマンドを取得する。コマンドは、前述のごとく、音声情報に基づいて特定されており、かつ第1通信部310が通信可能な機器200に関する設定を指示する内容を含む。取得部350は、コマンドをもとに特定された設定内容を表示制御部352に出力する。
The
表示制御部352は、設定内容に応じた画面を表示する。図2(a)-(b)は、表示部326に表示される画面を示す。図2(a)は、第1画面を示す。第1画面には、太陽光活用モードがオフである第1設定情報600が示される。また、第1画面には、通知情報602も示される。通知情報602は、例えば、第2設定情報に移行することに付随するユーザへの注意事項である。つまり、表示制御部352は、第1画面を表示部326に表示させている間に通知情報602を表示させる。音声出力部354は、第2設定情報に移行することをユーザに通知するための確認音声として「AIソーラーチャージ機能を設定します。注意事項に同意しますか。」をスピーカ324から出力する。図2(b)は後述して、図1に戻る。
The
注意事項に同意する場合、ユーザは、制御装置300のマイクロフォン320に対して、「はい。同意します。」と発話する。これに続く制御装置300、音声変換サーバ装置500、コマンド生成サーバ装置550はこれまでと同様の処理を実行し、制御装置300の第2通信部312は、コマンドをコマンド生成サーバ装置550から受信する。取得部350は、コマンドをもとに特定された設定内容を表示制御部352に出力する。機器制御部356は、表示制御部352が受けつけた設定内容に応じて、機器200に対して太陽光活用モード設定をオンに設定する。これは、通知情報に対する同意情報を取得した場合に、設定を実行することに相当する。
If the user agrees to the precautions, the user utters "Yes, I agree." To the
図2(b)は、第2画面を示す。第2画面には、太陽光活用モードがオンである通知情報602が示される。つまり、表示制御部352は、機器制御部356が設定を実行した後の第2設定情報604が示される第2画面を第1画面に続いて表示部326に表示させる。また、音声出力部354は、「AIソーラーチャージ機能を「する」に設定しました。」との音声をスピーカ324から出力する。
FIG. 2B shows a second screen. The second screen shows the
(4)第2例
第2例は、機器200の名称を設定する状況である。制御装置300と音声変換サーバ装置500とコマンド生成サーバ装置550との間における音声情報、テキスト情報、コマンドの通信は実施例1と同様になされればよいので、ここでは、その説明を省略して、制御装置300における処理を中心に説明する。
(4) Second example The second example is a situation in which the name of the device 200 is set. Communication of voice information, text information, and commands between the
機器200がエアコンディショナであり、かつ機器名称が未設定である状況下において機器200の機器名称を設定する場合、ユーザは、制御装置300のマイクロフォン320に対して、「名称設定したい」と発話する。生成部340は、「名称設定したい」を含む音声情報を生成する。第2通信部312は、音声変換サーバ装置500に音声情報を送信する。
When setting the device name of the device 200 in a situation where the device 200 is an air conditioner and the device name has not been set, the user utters "I want to set the name" to the
制御装置300の第2通信部312は、コマンドをコマンド生成サーバ装置550から受信する。取得部350は、コマンドをもとに特定された設定内容を表示制御部352に出力する。表示制御部352は、設定内容に応じた画面を表示する。ユーザが発話した「名称設定」には、複数種類の対象に対する名称設定が存在する。そのため、名称設定したいという音声情報に対応したコマンドでは、情報が不足している。
The
図3(a)-(c)は、表示部326に表示される別の画面を示す。図3(a)は、コマンドの情報が不足している場合に表示される画面を示す。画面には、第1選択肢610、第2選択肢612が示される。選択肢の数は「2」に限定されない。つまり、表示制御部352は、コマンドに不足している情報がある場合に、複数の選択肢を表示部326に表示させる。また、音声出力部354は、「名称設定がいくつかあります。実施したい設定を選択してください。機器名称、回路名称があります。」との音声をスピーカ324から出力する。図3(b)-(c)は後述して、図1に戻る。ユーザは、制御装置300のマイクロフォン320に対して、「機器名称を設定したい」と発話する。生成部340は、「機器名称を設定したい」を含む音声情報を生成する。第2通信部312は、音声変換サーバ装置500に音声情報を送信する。
3A-(c) show another screen displayed on the
制御装置300の第2通信部312は、コマンドをコマンド生成サーバ装置550から受信する。取得部350は、コマンドをもとに特定された設定内容を表示制御部352に出力する。表示制御部352は、設定内容に応じた画面を表示する。図3(b)は、第1画面を示す。第1画面には、機器名称が初期設定の「エアコン01」である第1設定情報600が示される。音声出力部354は、「機器名称を設定画面です。設定したい機器を選択してください。」との音声をスピーカ324から出力する。図3(c)は後述して、図1に戻る。ユーザは、制御装置300のマイクロフォン320に対して、「エアコン01をリビング・エアコンにして」と発話する。生成部340は、「エアコン01をリビング・エアコンにして」を含む音声情報を生成する。第2通信部312は、音声変換サーバ装置500に音声情報を送信する。
The
制御装置300の第2通信部312は、コマンドをコマンド生成サーバ装置550から受信する。取得部350は、コマンドをもとに特定された設定内容を表示制御部352に出力する。機器制御部356は、表示制御部352が受けつけた設定内容に応じて、機器名称「エアコン01」を機器名称「リビング・エアコン」に変更する。これは、選択肢の1つを特定する情報を取得した場合に、設定を実行することに相当する。図3(c)は、第2画面を示す。第2画面には、機器名称が初期設定の「リビング・エアコン」である第2設定情報604が示される。つまり、表示制御部352は、選択肢の1つを特定する情報を取得した場合に、第2画面を表示部326に表示させる。また、音声出力部354は、「エアコン01をリビング・エアコンに変更しました。」との音声をスピーカ324から出力する。
The
(5)第3例
第3例は、シーン制御を設定する状況である。シーン制御とは、1つ以上の条件の組合せによって、1つ以上の機器200を制御することである。シーン制御を設定するためのユーザの発話は、例えば、「夜8時にお風呂いれて」、「涼しくなったらエアコン消して」、「帰宅したら照明つけて」である。「帰宅したら照明つけて」は、電気錠が開くと照明が点灯することに相当する。図4(a)-(b)は、表示部326に表示されるさらに別の画面を示す。図4(a)は第1画面を示す。第1画面には、シーン制御設定前の第1設定情報600が示される。図4(b)は第2画面を示す。第2画面には、シーン制御設定後の第2設定情報604が示される。
(5) Third example The third example is a situation where scene control is set. Scene control is to control one or more devices 200 by a combination of one or more conditions. The user's utterances for setting the scene control are, for example, "take a bath at 8 pm", "turn off the air conditioner when it gets cool", and "turn on the lights when returning home". "Turn on the lights when you get home" is equivalent to turning on the lights when the electric lock is opened. 4 (a)-(b) show still another screen displayed on the
(6)第4例
第4例は、報知モードを設定する状況である。報知モードを設定するためのユーザの発話は、例えば、「報知モードを設定して」である。図5(a)-(b)は、表示部326に表示されるさらに別の画面を示す。図5(a)は第1画面を示す。第1画面には、報知モードがオフである第1設定情報600が示される。図5(b)は第2画面を示す。第2画面には、報知モードがオンである第2設定情報604が示される。
(6) Fourth Example The fourth example is a situation in which a notification mode is set. The user's utterance for setting the notification mode is, for example, "setting the notification mode". 5 (a)-(b) show still another screen displayed on the
本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路(IC)、またはLSI(Large Scale Integration)を含む1つまたは複数の電子回路で構成される。複数の電子回路は、1つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは1つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なROM、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。 The subject of the device, system, or method in the present disclosure comprises a computer. By executing the program by this computer, the function of the subject of the device, system, or method in the present disclosure is realized. A computer has a processor that operates according to a program as a main hardware configuration. The type of processor does not matter as long as the function can be realized by executing the program. The processor is composed of one or more electronic circuits including a semiconductor integrated circuit (IC) or an LSI (Large Scale Integration). A plurality of electronic circuits may be integrated on one chip or may be provided on a plurality of chips. A plurality of chips may be integrated into one device, or may be provided in a plurality of devices. The program is recorded on a non-temporary recording medium such as a computer-readable ROM, optical disc, or hard disk drive. The program may be stored in a recording medium in advance, or may be supplied to the recording medium via a wide area communication network including the Internet or the like.
以上の構成による制御システム1000の動作を説明する。図6は、制御システム1000による表示手順を示すシーケンス図である。制御装置300は、音声の入力を受けつける(S10)と、音声情報を音声変換サーバ装置500に送信する(S12)。音声変換サーバ装置500は、テキスト情報を生成する(S14)と、テキスト情報をコマンド生成サーバ装置550に送信する(S16)。コマンド生成サーバ装置550は、コマンドを生成する(S18)と、コマンドを制御装置300に送信する(S20)。制御装置300は、第1画面を表示部326に表示する(S22)。
The operation of the
制御装置300は、音声の入力を受けつける(S24)と、音声情報を音声変換サーバ装置500に送信する(S26)。音声変換サーバ装置500は、テキスト情報を生成する(S28)と、テキスト情報をコマンド生成サーバ装置550に送信する(S30)。コマンド生成サーバ装置550は、コマンドを生成する(S32)と、コマンドを制御装置300に送信する(S34)。制御装置300は、制御情報を機器200に送信する(S36)。機器200は、制御情報に応じた設定を実行すると、状態情報を制御装置300に送信する(S38)。制御装置300は、第2画面を表示部326に表示する(S40)。
When the
本実施例によれば、コマンドをもとに特定された設定を実行する前の第1設定情報が示される第1画面を表示させてから、設定を実行した後の第2設定情報が示される第2画面を第1画面に続いて表示させるので、音声により機器200を設定する場合でも設定内容を確認できる。また、音声により機器200を設定する場合でも設定内容が確認されるので、ユーザの利便性を向上しながら、操作の確実性を向上できる。また、第2設定情報に移行することをユーザに通知するための確認音声を出力されるので、ユーザの利便性をさらに向上できる。また、第1画面を表示させている間に、第2設定情報に移行することに付随するユーザへの通知情報を表示させ、通知情報に対する同意情報を取得した場合に設定を実行するので、通知情報をユーザに確認させることができる。また、コマンドに不足している情報がある場合に複数の選択肢を表示させ、選択肢の1つを特定する情報を取得した場合に設定を実行して第2画面を表示させるので、ユーザの利便性をさらに向上できる。 According to this embodiment, the first screen showing the first setting information before executing the setting specified based on the command is displayed, and then the second setting information after executing the setting is shown. Since the second screen is displayed following the first screen, the setting contents can be confirmed even when the device 200 is set by voice. Further, since the setting contents are confirmed even when the device 200 is set by voice, the reliability of the operation can be improved while improving the convenience of the user. Further, since the confirmation voice for notifying the user of the transition to the second setting information is output, the convenience of the user can be further improved. In addition, while the first screen is displayed, the notification information to the user accompanying the transition to the second setting information is displayed, and the setting is executed when the consent information for the notification information is obtained. Information can be confirmed by the user. In addition, if there is missing information in the command, multiple options are displayed, and if information that identifies one of the options is acquired, the setting is executed and the second screen is displayed, which is convenient for the user. Can be further improved.
本開示の一態様の概要は、次の通りである。本開示のある態様の表示制御システムは、1以上の機器(200)と通信可能な通信部(310)と、音声情報に基づいて特定されたコマンドであって、かつ通信部(310)が通信可能な機器(200)に関する設定を指示する内容が含まれたコマンドを取得する取得部(350)と、取得部(350)において取得したコマンドをもとに特定された設定を実行する前の第1設定情報が示される第1画面を表示部(326)に表示させる表示制御部(352)と、設定を実行する機器制御部(356)とを備える。表示制御部(352)は、機器制御部(356)が設定を実行した後の第2設定情報が示される第2画面を第1画面に続いて表示部(326)に表示させる。 The outline of one aspect of the present disclosure is as follows. The display control system of one aspect of the present disclosure is a communication unit (310) capable of communicating with one or more devices (200), a command specified based on voice information, and the communication unit (310) communicates with each other. The acquisition unit (350) that acquires a command containing the content instructing the setting related to the possible device (200), and the first before executing the setting specified based on the command acquired by the acquisition unit (350). (1) A display control unit (352) for displaying a first screen on which setting information is displayed on a display unit (326), and a device control unit (356) for executing the setting are provided. The display control unit (352) causes the display unit (326) to display a second screen on which the second setting information after the device control unit (356) has executed the setting is displayed, following the first screen.
音声出力部(354)をさらに備えてもよい。音声出力部(354)は、第2設定情報に移行することをユーザに通知するための確認音声を出力する。 An audio output unit (354) may be further provided. The voice output unit (354) outputs a confirmation voice for notifying the user that the second setting information is to be transferred.
表示制御部(352)は、第1画面を表示部(326)に表示させている間に、第2設定情報に移行することに付随するユーザへの通知情報を表示させ、機器制御部(356)は、通知情報に対する同意情報を取得した場合に、設定を実行する。 While the display control unit (352) is displaying the first screen on the display unit (326), the display control unit (352) displays the notification information to the user accompanying the transition to the second setting information, and the device control unit (356). ) Executes the setting when the consent information for the notification information is acquired.
表示制御部(352)は、コマンドに不足している情報がある場合に、複数の選択肢を表示部(326)に表示させ、機器制御部(356)は、選択肢の1つを特定する情報を取得した場合に、設定を実行し、表示制御部(352)は、選択肢の1つを特定する情報を取得した場合に、第2画面を表示部(326)に表示させる。 The display control unit (352) causes the display unit (326) to display a plurality of options when there is insufficient information in the command, and the device control unit (356) displays information for specifying one of the options. When the information is acquired, the setting is executed, and the display control unit (352) causes the display unit (326) to display the second screen when the information for specifying one of the options is acquired.
以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。 The present disclosure has been described above based on the examples. It will be appreciated by those skilled in the art that this embodiment is exemplary and that various variations of each of these components or combinations of processing processes are possible and that such modifications are also within the scope of the present disclosure. ..
本実施例において、音声変換サーバ装置500とコマンド生成サーバ装置550が別に構成されている。しかしながらこれに限らず例えば、音声変換サーバ装置500とコマンド生成サーバ装置550が一体的に構成されてもよい。また、音声変換サーバ装置500とコマンド生成サーバ装置550との少なくとも1つが制御装置300に含まれてもよい。本変形例によれば、構成の自由度を向上できる。
In this embodiment, the voice
100 施設、 200 機器、 300 制御装置、 310 第1通信部、 312 第2通信部、 320 マイクロフォン、 322 操作部、 324 スピーカ、 326 表示部、 328 記憶部、 330 処理部、 340 生成部、 350 取得部、 352 表示制御部、 354 音声出力部、 356 機器制御部、 400 ルータ、 420 ネットワーク、 500 音声変換サーバ装置、 550 コマンド生成サーバ装置、 1000 制御システム。 100 facilities, 200 equipment, 300 control device, 310 1st communication unit, 312 2nd communication unit, 320 microphone, 322 operation unit, 324 speaker, 326 display unit, 328 storage unit, 330 processing unit, 340 generation unit, 350 acquisition Unit, 352 Display control unit, 354 voice output unit, 356 device control unit, 400 router, 420 network, 500 voice conversion server device, 550 command generation server device, 1000 control system.
Claims (5)
音声情報に基づいて特定されたコマンドであって、かつ前記通信部が通信可能な前記機器に関する設定を指示する内容が含まれたコマンドを取得する取得部と、
前記取得部において取得した前記コマンドをもとに特定された前記設定を実行する前の第1設定情報が示される第1画面を表示部に表示させる表示制御部と、
前記設定を実行する機器制御部とを備え、
前記表示制御部は、前記機器制御部が前記設定を実行した後の第2設定情報が示される第2画面を前記第1画面に続いて前記表示部に表示させる表示制御システム。 A communication unit that can communicate with one or more devices,
An acquisition unit that acquires a command that is a command specified based on voice information and includes a content that indicates a setting related to the device that the communication unit can communicate with.
A display control unit that displays on the display unit a first screen showing the first setting information before executing the setting specified based on the command acquired by the acquisition unit.
It is equipped with a device control unit that executes the above settings.
The display control unit is a display control system that displays a second screen on which the second setting information after the device control unit executes the setting is displayed on the display unit following the first screen.
前記音声出力部は、前記第2設定情報に移行することをユーザに通知するための確認音声を出力する、
請求項1に記載の表示制御システム。 With more audio output
The voice output unit outputs a confirmation voice for notifying the user of the transition to the second setting information.
The display control system according to claim 1.
前記機器制御部は、前記通知情報に対する同意情報を取得した場合に、前記設定を実行する、
請求項1または2に記載の表示制御システム。 While the display control unit is displaying the first screen on the display unit, the display control unit displays notification information to the user accompanying the transition to the second setting information.
The device control unit executes the setting when the consent information for the notification information is acquired.
The display control system according to claim 1 or 2.
前記機器制御部は、前記選択肢の1つを特定する情報を取得した場合に、前記設定を実行し、
前記表示制御部は、前記選択肢の1つを特定する情報を取得した場合に、前記第2画面を前記表示部に表示させる、
請求項1から3のいずれか1項に記載の表示制御システム。 The display control unit causes the display unit to display a plurality of options when there is insufficient information in the command.
When the device control unit acquires the information that identifies one of the options, the device control unit executes the setting.
When the display control unit acquires information that identifies one of the options, the display control unit causes the display unit to display the second screen.
The display control system according to any one of claims 1 to 3.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020205108A JP2022092342A (en) | 2020-12-10 | 2020-12-10 | Display control system and program |
PCT/JP2021/045473 WO2022124389A1 (en) | 2020-12-10 | 2021-12-10 | Display control system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020205108A JP2022092342A (en) | 2020-12-10 | 2020-12-10 | Display control system and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022092342A true JP2022092342A (en) | 2022-06-22 |
Family
ID=81974545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020205108A Pending JP2022092342A (en) | 2020-12-10 | 2020-12-10 | Display control system and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022092342A (en) |
WO (1) | WO2022124389A1 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002170034A (en) * | 2000-11-30 | 2002-06-14 | Seiko Instruments Inc | Contents server and contents delivery method |
JP2003228390A (en) * | 2002-02-01 | 2003-08-15 | Toshiba Corp | Voice controller |
US9390716B2 (en) * | 2013-04-19 | 2016-07-12 | Panasonic Intellectual Property Corporation Of America | Control method for household electrical appliance, household electrical appliance control system, and gateway |
JP6681582B2 (en) * | 2016-03-18 | 2020-04-15 | パナソニックIpマネジメント株式会社 | Information terminal control method and air conditioning control system in air conditioning control system |
JP2019101264A (en) * | 2017-12-04 | 2019-06-24 | シャープ株式会社 | External controller, voice interactive control system, control method, and program |
JP7159608B2 (en) * | 2018-05-14 | 2022-10-25 | コニカミノルタ株式会社 | Operation screen display device, image processing device and program |
JP7193957B2 (en) * | 2018-09-12 | 2022-12-21 | カワサキモータース株式会社 | Vehicle setting change system |
JP7085522B2 (en) * | 2019-09-30 | 2022-06-16 | ダイキン工業株式会社 | Air conditioning system |
-
2020
- 2020-12-10 JP JP2020205108A patent/JP2022092342A/en active Pending
-
2021
- 2021-12-10 WO PCT/JP2021/045473 patent/WO2022124389A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022124389A1 (en) | 2022-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7104357B2 (en) | Equipment control system | |
CN104808499B (en) | A kind of method and control device based on linkage rule control smart home device | |
CN107622767A (en) | The sound control method and appliance control system of appliance system | |
US20070156256A1 (en) | Home automation system and method utilizing outdoor environmental conditions | |
JP2010075015A (en) | Demand control system for household electric appliance | |
JP2005311864A (en) | Household appliances, adapter instrument, and household appliance system | |
KR20160068943A (en) | Smart home scenario switching method and system | |
WO2019202666A1 (en) | Apparatus control system and apparatus control method | |
US20160048115A1 (en) | Control system, control apparatus, information equipment, and control method | |
WO2022124389A1 (en) | Display control system and program | |
WO2014171000A1 (en) | Power management system and terminal device | |
CN113395193A (en) | Equipment control method and device, computer equipment and storage medium | |
JP2019011887A (en) | Air conditioner and method for controlling air conditioner | |
JP7075930B2 (en) | Control system and external linkage device | |
WO2020175293A1 (en) | Apparatus control system, apparatus control method, and program | |
CN212519027U (en) | Intelligent home system based on voice control | |
WO2018158894A1 (en) | Air conditioning control device, air conditioning control method, and program | |
JP6902716B2 (en) | Energy management modules, energy management equipment, energy management systems, and programs | |
WO2019221001A1 (en) | Processing system and program | |
JP2020153642A (en) | Air conditioner, air conditioning control system, control method and program | |
JP7162169B2 (en) | processor, remote control system, program | |
KR20140100808A (en) | Automated power control system | |
WO2021024990A1 (en) | Control system and control method | |
JP2020129183A (en) | Control device, control system, and control method | |
WO2016038563A1 (en) | Automation methods and systems for controlling physical devices |