JP6719434B2 - Device control device, device control method, and device control system - Google Patents
Device control device, device control method, and device control system Download PDFInfo
- Publication number
- JP6719434B2 JP6719434B2 JP2017183400A JP2017183400A JP6719434B2 JP 6719434 B2 JP6719434 B2 JP 6719434B2 JP 2017183400 A JP2017183400 A JP 2017183400A JP 2017183400 A JP2017183400 A JP 2017183400A JP 6719434 B2 JP6719434 B2 JP 6719434B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- detection unit
- detected
- control
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、ユーザの動作に基づいて機器を制御する機器制御装置、機器制御方法及び機器制御システムに関する。 The present invention relates to a device control device, a device control method, and a device control system that control a device based on a user's operation.
ユーザの動作（ジェスチャ）を検知することによって、住宅内に設置された様々な機器への指示を行う機器制御装置が開発されている。ここでユーザの動作とは、機器の操作部に対して直接操作を行うことではなく、機器の操作部から同一又は離れた空間でユーザが行う様々な動作をいう。機器制御装置はユーザが所定の動作を行ったことを検知すると、該動作に基づいて照明、空調機器、ＡＶ（Audio Visual）機器等の機器をオン又はオフにし、あるいは調節することができる。 A device control device has been developed that gives instructions to various devices installed in a house by detecting a user's motion (gesture). Here, the user's operation does not mean that the operation section of the device is directly operated, but various operations performed by the user in the same space or a space apart from the operation section of the device. When the equipment control device detects that the user has performed a predetermined operation, the equipment control device can turn on or off or adjust equipment such as lighting, air conditioning equipment, and AV (Audio Visual) equipment based on the operation.
特許文献１には、ユーザ端末において、ユーザが行った動作を検知し、該動作に関連付けられた相手との通信を開始する技術が記載されている。
しかしながら、ユーザの動作のみによって機器への指示を行う場合には、ユーザは制御対象の機器を指定する動作に加えて、機器のオン、オフ、調節等の各作動に対応する様々な動作を覚える必要がある。特許文献１に記載の技術は、ユーザ端末を保持した手をフリックすることや、ユーザ端末を振ること等を、動作として検出する。このように、動作による機器の制御を実行するためには、ユーザにとって様々な動作を覚えることが必要という難しさがある。
However, when an instruction is given to the device only by the user's action, the user remembers various actions corresponding to each operation such as turning on, off, and adjusting the device, in addition to the action of designating the device to be controlled. There is a need. The technique described in
本発明は上述の点に鑑みてなされたものであり、ユーザが動作に基づく機器の制御を容易に行うことが可能な機器制御装置、機器制御方法及び機器制御システムを提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide a device control apparatus, a device control method, and a device control system that allow a user to easily control a device based on an operation. ..
本発明の第１の態様の機器制御装置は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する動作検出部と、前記ユーザが発した音声を検出する音声検出部と、前記動作検出部が検出した前記動作によって指定された機器に対して、前記音声検出部が検出した前記音声に対応する制御を行う機器制御部と、を有する。 The device control apparatus according to the first aspect of the present invention includes a motion detection unit that detects a motion of the user from an image obtained by capturing an image of the user, and a sound detection unit that detects a voice uttered by the user, A device control unit that performs control corresponding to the voice detected by the voice detection unit with respect to a device designated by the action detected by the action detection unit.
前記機器制御部は、前記動作検出部が検出した前記動作及び前記音声検出部が検出した前記音声によって指定された前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行ってもよい。 The device control unit controls the device corresponding to the voice detected by the voice detection unit, with respect to the device designated by the action detected by the action detection unit and the voice detected by the voice detection unit. You can go.
前記動作検出部が検出した前記動作によって指定された第１の機器と前記音声検出部が検出した前記音声によって指定された第２の機器とが異なる場合に、前記機器制御部は前記第１の機器及び前記第２の機器を間欠的に動作させてもよい。 When the first device designated by the motion detected by the motion detection unit and the second device designated by the sound detected by the voice detection unit are different, the device control unit controls the first device. The device and the second device may be operated intermittently.
前記動作検出部が検出した前記動作によって指定された第１の機器と前記音声検出部が検出した前記音声によって指定された第２の機器とが異なる場合に、前記機器制御部は所定の規則に従って前記第１の機器及び前記第２の機器のどちらか一方に対して前記制御を行ってもよい。 When the first device designated by the action detected by the action detection unit and the second device designated by the voice detected by the voice detection unit are different, the device control unit follows a predetermined rule. The control may be performed on either one of the first device and the second device.
前記機器制御部は、前記ユーザごとに設定された前記所定の規則に従って、前記第１の機器及び前記第２の機器のどちらか一方に対して前記制御を行ってもよい。 The device control unit may perform the control on either one of the first device and the second device according to the predetermined rule set for each user.
前記音声検出部が検出した前記音声と前記制御の対象である前記機器とを関連付けて学習する学習部をさらに備え、前記機器制御部は、前記学習部によって前記音声検出部が検出した前記音声に関連付けられた前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行ってもよい。 It further comprises a learning unit that learns by associating the voice detected by the voice detection unit with the device to be controlled, and the device control unit adds to the voice detected by the voice detection unit by the learning unit. The control corresponding to the voice detected by the voice detection unit may be performed on the associated device.
前記動作検出部が検出した前記動作によって複数の前記機器が指定された場合に、前記機器制御部は複数の前記機器を間欠的に作動させてもよい。 When a plurality of the devices are designated by the operation detected by the operation detection unit, the device control unit may operate the plurality of devices intermittently.
前記動作検出部が検出した前記動作によって複数の前記機器が指定された場合に、前記機器制御部は複数の前記機器を示す音声を出力してもよい。 When a plurality of devices are designated by the operation detected by the operation detection unit, the device control unit may output a sound indicating the plurality of devices.
前記動作検出部が検出した前記動作によって複数の前記機器が指定された場合に、前記機器制御部は、複数の前記機器に予め設定された優先度に従って複数の前記機器のうち少なくとも１つの機器の前記制御を行ってもよい。 When a plurality of the devices are specified by the operation detected by the operation detection unit, the device control unit determines that at least one of the plurality of devices has a priority set in advance for the plurality of the devices. You may perform the said control.
前記機器制御部は、前記動作検出部が検出した前記動作の時間の長さ及び前記音声検出部が検出した前記音声の大きさが所定の閾値以上である場合に、前記制御を行ってもよい。 The device control unit may perform the control when the length of the operation time detected by the operation detection unit and the volume of the voice detected by the voice detection unit are equal to or more than a predetermined threshold. ..
前記機器制御部は、前記動作検出部が検出した前記動作によって指定された範囲内に位置する前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行ってもよい。 The device control unit may perform the control corresponding to the voice detected by the voice detection unit with respect to the device located within a range specified by the action detected by the action detection unit.
前記機器制御部は、前記ユーザが前記範囲から外へ移動することによって指定された前記範囲内に位置する前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行ってもよい。 The device control unit performs the control corresponding to the voice detected by the voice detection unit on the device located in the range specified by the user moving out of the range. Good.
本発明の第２の態様の機器制御方法は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出するステップと、前記ユーザが発した音声を検出するステップと、前記動作を検出するステップで検出された前記動作によって指定された機器に対して、前記音声を検出するステップで検出された前記音声に対応する制御を行うステップと、を有する。 A device control method according to a second aspect of the present invention includes a step of detecting a motion of the user from an image obtained by capturing an image of the user, a step of detecting a voice uttered by the user, and a detection of the motion. Performing a control corresponding to the voice detected in the voice detecting step on the device designated by the operation detected in the step.
本発明の第３の態様の機器制御システムは、機器と、前記機器を制御する機器制御装置とを備え、前記機器制御装置は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する動作検出部と、前記ユーザが発した音声を検出する音声検出部と、前記動作検出部が検出した前記動作によって指定された前記機器に対して、前記音声検出部が検出した前記音声に対応する制御を行う機器制御部と、を有し、前記機器は、前記機器制御部による前記制御に従って動作する。 A device control system according to a third aspect of the present invention includes a device and a device control device that controls the device, and the device control device shows the operation of the user from an image obtained by capturing an image of the user. For the voice detected by the voice detection unit for the device specified by the action detection unit for detecting the voice, the voice detection unit for detecting the voice uttered by the user, and the action detected by the action detection unit. A device control unit that performs corresponding control, and the device operates according to the control by the device control unit.
本発明によれば、ユーザの動作に基づいて機器の制御を行う際に、ユーザはより簡単に動作に基づく機器の制御を行うことが可能になる。 According to the present invention, when the device is controlled based on the operation of the user, the user can more easily control the device based on the operation.
（第１の実施形態）
図１は、本実施形態に係る機器制御システムＳの模式図である。機器制御システムＳは、機器制御装置としての制御サーバ１と、様々な情報を取得する１つ又は複数のセンサ装置２と、制御サーバ１によって制御される１つ又は複数の機器３と、通信を仲介するゲートウェイ４と、を含む。機器制御システムＳは、その他のサーバ、端末等の機器を含んでもよい。
(First embodiment)
FIG. 1 is a schematic diagram of a device control system S according to this embodiment. The device control system S communicates with a
機器３は、制御サーバ１からの制御信号を受けることによって、オン、オフ、調節等の制御がなされる被制御機器である。機器３として、照明、空調機器、ＡＶ機器等、任意の機器を用いることができる。機器３は、制御サーバ１による制御だけでなく、ユーザによる操作によって作動してもよい。機器３は、通信モジュールを有しており、有線通信又は無線通信によってゲートウェイ４を介して制御サーバ１と通信する。
The
センサ装置２は、画像、音声、温度等の情報を測定して取得する。センサ装置２は、情報の取得に必要な各種のセンサを有する。センサ装置２は機器３に内蔵されてもよく、あるいは独立して設置されてもよい。センサ装置２は、通信モジュールを有しており、有線通信又は無線通信によってゲートウェイ４を介して制御サーバ１と通信する。
The
ゲートウェイ４は、センサ装置２、機器３及び制御サーバ１の間で授受される信号に対してプロトコル変換等の処理を行って通信可能にする中継装置である。ゲートウェイ４は、有線接続又は無線接続によってセンサ装置２及び機器３のそれぞれに接続され、またローカルエリアネットワーク、インターネット等の任意のネットワークＮを介して制御サーバ１に接続される。
The gateway 4 is a relay device that performs processing such as protocol conversion on signals exchanged between the
制御サーバ１は、センサ装置２、機器３及びゲートウェイ４が設置されている建物の外部において、有線通信又は無線通信によってネットワークＮに接続される。制御サーバ１は、単一のコンピュータ、又はコンピュータ資源の集合であるクラウドによって構成される。制御サーバ１は、センサ装置２が測定した情報を示す信号を、ゲートウェイ４を介して受信する。次に制御サーバ１は、センサ装置２からの情報に基づいて、制御対象の機器３及び制御内容を判定する。そして制御サーバ１は、制御内容を示す信号を、ゲートウェイ４を介して機器３へ送信する。
The
［ユーザの動作及び音声の説明］
図２は、本実施形態に係る制御サーバ１が検出するユーザの動作及び音声を示す模式図である。ユーザの動作は、制御対象の機器を指定する動作である。図２の例では、ユーザの動作はユーザの手を所定の形状にすることであり、より具体的には制御対象の機器３に向けて指を差す行為である。ユーザの音声は、制御対象の機器３を指定するとともに、機器３の制御内容を指定する音声である。図２の例では、ユーザが発する「あれつけて」という音声である。
[Explanation of user actions and voice]
FIG. 2 is a schematic diagram showing user actions and voices detected by the
制御サーバ１は、同時又は所定時間内に検出された動作及び音声を１つの組として検出する。すなわち、制御サーバ１は、検出された動作と、該動作が検出された前後の所定の時間内に検出された音声とを１つの組として検出する。制御サーバ１は、動作の指差し方向（すなわち指の延長線上）に位置する機器３を制御対象として選択する。また、制御サーバ１は、音声が示す機器３が既に学習されている場合には、動作の代わりに音声に関連付けられた機器３を制御対象として選択する。そして制御サーバ１は、選択された制御対象の機器に対して、音声に対応する制御内容（例えば機器３をオンにすること）を決定する。
The
図２に示したユーザの動作は一例であり、制御サーバ１はユーザを撮像して得られた画像から判定可能な所定の動作を検出するように構成される。ユーザの動作として、１つの動作に限らず、２つ以上の動作を組み合わせて用いてもよい。また、図２に示したユーザの音声は一例であり、制御サーバ１は後述の特定語及び調整語を示す所定の音声を検出するように構成される。
The operation of the user shown in FIG. 2 is an example, and the
［ユーザの音声から抽出される言語の説明］
図３（ａ）、図３（ｂ）は、本実施形態に係る制御サーバ１がユーザの音声から抽出する言語を示す模式図である。制御サーバ１は、センサ装置２によって測定した音声から言語を抽出し、該言語に基づいて制御対象及び制御内容を決定する。本実施形態において、音声は、特定語及び調整語を含む。特定語は、制御対象の機器３を特定する言葉である。調整語は、機器３の制御内容を示す言葉である。
[Explanation of languages extracted from user's voice]
FIG. 3A and FIG. 3B are schematic diagrams showing languages extracted by the
図３（ａ）の例では、ユーザの音声は、「あれ」という特定語、及び「つけて」という調整語を含む。これにより、制御サーバ１は、動作によって指定された方向にある機器３に対して、「つけて」に対応するオンの作動を行わせる。図３（ｂ）の例では、ユーザの音声は、「あのエアコン」という特定語、及び「消して」という調整語を含む。これにより、制御サーバ１は、動作によって指定された方向にあるエアコンである機器３に対して、「消して」に対応するオフの作動を行わせる。
In the example of FIG. 3A, the user's voice includes the specific word “that” and the adjustment word “attach”. As a result, the
このように、制御サーバ１は動作及び音声を組み合わせて制御を実行するため、動作のみによって制御対象及び制御内容の両方を指定することがなく、ユーザは様々な動作を覚える必要がない。
As described above, the
［データベースの説明］
図４（ａ）は、本実施形態に係る制御サーバ１で用いられる制御データベースＤを示す模式図である。制御データベースＤは、ユーザの動作及び音声から制御対象の機器３及び制御内容を決定するための情報である。制御データベースＤは、機器番号Ｄ１、位置情報Ｄ２及び種類Ｄ３を関連付けて記憶する。
[Description of database]
FIG. 4A is a schematic diagram showing the control database D used in the
機器番号Ｄ１は、機器３を識別するための番号である。機器番号Ｄ１は、例えば登録された機器３の通し番号でもよく、機器３に予め付与されたＭＡＣ（Media Access Control）アドレス等でもよい。
The device number D1 is a number for identifying the
位置情報Ｄ２は、機器３の位置を示す情報であり、例えば建物の所定の点を基準とした３次元座標Ｘ、Ｙ、Ｚで表される。機器３の位置は、ユーザによって指差しの動作が行われた際に、指差し方向に位置する機器３を特定するために使用される。機器３の位置は、例えばセンサ装置２によって機器３を撮像して得られた画像から制御サーバ１が推定する。あるいは、ユーザが携帯端末のアプリケーション等を用いて各機器３の位置を制御サーバ１に設定してもよい。この場合には、例えばユーザはアプリケーション上で座標情報を入力する、あるいはアプリケーションに表示された建物内のマップにマークをつけることによって、機器３の位置を制御サーバ１に設定する。本実施形態では３次元座標を用いているが、高さ方向の座標を除いて２次元座標を用いてもよい。この場合には、高さを区別せずに水平方向の位置によって機器３が特定される。
The position information D2 is information indicating the position of the
種類Ｄ３は、機器３の種類を示す情報であり、例えばテレビ、エアコン、ライト等である。機器３の種類は、ユーザの音声で指定された場合に、該種類に機器３の選択を限定するために使用される。機器３の種類は、例えばセンサ装置２によって得られた画像における機器３の外観に基づいて制御サーバ１が推定する。あるいは、ユーザが携帯端末のアプリケーション等を用いて各機器３の種類を制御サーバ１に設定してもよい。この場合には、例えばアプリケーションに複数の機器３の種類が記憶されており、ユーザは機器３ごとに該複数の種類のいずれかを選択することによって、機器３の種類を制御サーバ１に設定する。また、ユーザがアプリケーションに任意の機器３の種類を追加して設定可能にしてもよい。
The type D3 is information indicating the type of the
図４（ｂ）は、本実施形態に係る制御サーバ１で用いられる学習データベースＤＤを示す模式図である。学習データベースＤＤは、特定語と制御対象の機器３とを関連付けるように学習された内容を示す情報である。学習データベースＤＤは、機器番号ＤＤ１、学習位置ＤＤ２及び学習語ＤＤ３を関連付けて記憶する。
FIG. 4B is a schematic diagram showing the learning database DD used in the
機器番号ＤＤ１は、機器３を識別するための番号である。機器番号ＤＤ１は、制御データベースＤの機器番号Ｄ１に対応する。学習位置ＤＤ２は、学習時のユーザの位置を示す情報であり、例えば建物の所定の点を基準とした３次元座標Ｘ、Ｙ、Ｚで表される。学習語ＤＤ３は、学習された特定語を示す情報である。
The device number DD1 is a number for identifying the
制御サーバ１は、ユーザの動作によって指定された制御対象の機器３に対する制御を行った場合に、該機器３（機器番号ＤＤ１）と、該ユーザの位置（学習位置ＤＤ２）と、該音声から抽出された特定語（学習語ＤＤ３）とを関連付けて学習データベースＤＤに記憶する。そして制御サーバ１は、学習位置ＤＤ２の近傍（例えば学習位置ＤＤ２を中心とした所定の範囲内）で学習語ＤＤ３に一致する特定語が検出された場合に、学習位置ＤＤ２及び学習語ＤＤ３に関連付けられた機器番号ＤＤ１の機器３を制御対象として選択する。これにより、あるユーザの位置において特定語が学習済の場合には、ユーザの動作が検出されなくても、該特定語のみによって制御対象の機器３を特定することができる。
The
図４（ａ）、図４（ｂ）に示した制御データベースＤ及び学習データベースＤＤは一例であり、制御データベースＤ及び学習データベースＤＤの内容及び形式は、本実施形態に係る機器制御方法で利用可能である限り任意に設定される。図４（ａ）、図４（ｂ）において、制御データベースＤ及び学習データベースＤＤは視認性のために文字列の表で表されているが、制御サーバ１が解釈可能な任意のデータ形式（ファイル形式）で表されてもよく、例えばバイナリデータ又はテキストデータでよい。制御データベースＤ及び学習データベースＤＤは制御サーバ１の内部に記憶されてもよく、制御サーバ１の外部の記憶装置に記憶されてもよい。
The control database D and the learning database DD shown in FIGS. 4A and 4B are examples, and the contents and formats of the control database D and the learning database DD can be used in the device control method according to the present embodiment. Is set arbitrarily. 4A and 4B, the control database D and the learning database DD are represented by a character string table for visibility, but any data format (file Format), and may be, for example, binary data or text data. The control database D and the learning database DD may be stored inside the
［機器制御システムＳの構成］
図５は、本実施形態に係る機器制御システムＳのブロック図である。図５において、矢印は主なデータの流れを示しており、図５に示したもの以外のデータの流れがあってよい。図５において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図５に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
[Configuration of device control system S]
FIG. 5 is a block diagram of the device control system S according to the present embodiment. In FIG. 5, arrows indicate main data flows, and there may be data flows other than those shown in FIG. In FIG. 5, each block does not have a hardware (device) unit configuration but a functional unit configuration. As such, the blocks shown in FIG. 5 may be implemented within a single device or may be implemented separately within multiple devices. Data transfer between blocks may be performed via any means such as a data bus, a network, and a portable storage medium.
センサ装置２は、画像センサ２１及び音声センサ２２を有する。画像センサ２１は、撮像した画像を示す情報を出力する撮像素子を有するカメラである。画像センサ２１によって撮像された画像は、制御サーバ１がユーザの動作を検出するために用いられる。また制御サーバ１は、複数の画像センサ２１によって複数の方向から撮像された画像から、ユーザの位置を推定する。あるいは、ユーザの位置を検出するために、赤外線や超音波を被写体（ユーザ）に照射することによって距離を測定する距離センサを設けてもよい。
The
音声センサ２２は、周囲から取得した音声を示す情報を出力するマイクロフォンである。音声センサ２２は、例えば複数の指向性マイクロフォンを搭載し、いずれの方向からの音声であるかを特定できるように構成されることが望ましい。
The
制御サーバ１は、制御部１１と、通信部１２と、記憶部１３と、を有する。制御部１１は、動作検出部１１１と、音声検出部１１２と、機器選択部１１３と、機器制御部１１４と、学習部１１５とを有する。
The
通信部１２は、ゲートウェイ４を介してセンサ装置２及び機器３との間で通信をするための通信インターフェースである。通信部１２は、センサ装置２及び機器３から受信した通信信号に所定の処理を行ってデータを取得し、取得したデータを制御部１１に入力する。また、通信部１２は、制御部１１から入力されたデータに所定の処理を行って通信信号を生成し、生成した通信信号をセンサ装置２及び機器３に送信する。
The
記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１３は、制御部１１が実行するプログラムを予め記憶している。
The
制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１３に記憶されたプログラムを実行することにより、動作検出部１１１、音声検出部１１２、機器選択部１１３、機器制御部１１４及び学習部１１５として機能する。制御部１１の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部１１の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。
The
本実施形態に係る機器制御システムＳは、図５に示す具体的な構成に限定されない。例えば制御サーバ１は、１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。
The device control system S according to the present embodiment is not limited to the specific configuration shown in FIG. For example, the
動作検出部１１１は、センサ装置２の画像センサ２１によって撮像された画像から、ユーザの動作及び位置を検出する。具体的には、動作検出部１１１は、取得した画像に対して３次元認識の画像解析技術を適用し、ユーザの動作及び位置を検出する。３次元認識の画像解析技術として、公知の技術を用いることができる。ユーザによる動作が行われない場合には、動作検出部１１１は、ユーザの位置のみを検出する。
The motion detector 111 detects the motion and position of the user from the image captured by the
動作検出部１１１による動作検出と並行して、音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声から、特定語及び調整語を検出する。具体的には、音声検出部１１２は、取得した音声に対して音声認識技術を適用し、該音声から言語を抽出する。音声認識技術として、公知の技術を用いることができる。
In parallel with the motion detection by the motion detection unit 111, the
そして音声検出部１１２は、抽出した言語に含まれる特定語及び調整語を検出する。例えば特定語及び調整語は予めリストとして定義されており、音声検出部１１２は、抽出した言語とリストとを比較することによって、該言語中の特定語及び調整語を検出する。さらに音声検出部１１２は、検出した調整語が指定する内容（オン、オフ、調節等）を制御内容として決定する。
Then, the
ここで音声検出部１１２は、動作検出部１１１が用いる画像が撮像された時間と同時又はその前後の所定の時間内に取得された音声を、検出する対象の音声とする。これにより、動作及び音声を１つの組として検出できる。
Here, the
機器選択部１１３は、学習データベースＤＤにおいて、動作検出部１１１が検出したユーザの位置（学習位置ＤＤ２）及び音声検出部１１２が検出した特定語（学習語ＤＤ３）に対応する学習内容があるか否かを判定する。ここで機器選択部１１３は、動作検出部１１１が検出した位置が、学習内容が示す位置の近傍（例えば学習位置ＤＤ２を中心とした所定の範囲内）である場合に、検出した位置は学習内容が示す位置に対応していると判定する。動作検出部１１１が検出したユーザの位置及び音声検出部１１２が検出した特定語に対応する学習内容がある場合に、機器選択部１１３は、該位置及び特定語に関連付けられた機器３（機器番号ＤＤ１）を示す学習内容を取得する。
In the learning database DD, the
そして機器選択部１１３は、取得した学習内容が示す機器３を制御対象として選択する。このように、動作検出部１１１が検出したユーザの位置において音声検出部１１２が検出した特定語が既に学習されている場合には、機器選択部１１３は、ユーザの動作を用いずに制御対象の機器３を選択できる。
Then, the
学習データベースＤＤにおいて動作検出部１１１が検出したユーザの位置及び音声検出部１１２が検出した特定語に対応する学習内容がない場合に、機器選択部１１３は、動作検出部１１１が検出したユーザの動作に対応する機器３を制御対象として選択する。具体的には、機器選択部１１３は、制御データベースＤにおける各機器３の位置情報Ｄ２から、動作検出部１１１が検出したユーザの位置を起点とした指の延長線上に位置する機器３（すなわち機器番号Ｄ１）を制御対象として決定する。
When there is no learning content corresponding to the position of the user detected by the motion detection unit 111 and the specific word detected by the
さらに、機器選択部１１３は、動作検出部１１１が検出したユーザの動作に対応する機器３を制御対象として選択する際に、音声検出部１１２が検出した特定語を組み合わせて利用してもよい。この場合に、機器選択部１１３は、ユーザの位置を起点とした指の延長線上に位置する複数の機器３のうち、特定語によって限定された１つの機器３を選択する。
Furthermore, the
具体的には、機器選択部１１３は、機器３の種類（例えば「エアコン」）を示す特定語が検出された場合には、動作に対応する複数の機器３のうち、制御データベースＤにおいて特定語が示す種類に一致する種類Ｄ３に関連付けられた機器３を選択する。
Specifically, when the specific word indicating the type of the device 3 (for example, “air conditioner”) is detected, the
さらに、機器選択部１１３は、選択可能な機器３の位置の範囲を限定するために特定語を利用してもよい。この場合に、例えば「あれ」という特定語は遠方を示し、「これ」という特定語は近傍を示すことが制御サーバ１に予め定義される。そして機器選択部１１３は、「あれ」という特定語が検出された場合には動作に対応する複数の機器３のうち最も遠くの機器３を選択し、「これ」という特定語の場合には該複数の機器３のうち最も近くの機器３を選択する。
Furthermore, the
このように制御サーバ１は、動作と音声とを組み合わせて制御対象の機器３を選択することによって、より柔軟に機器３の選択を受け付けることができる。
As described above, the
動作の誤検出を抑制するために、ユーザの動作の長さ及びユーザの音声の大きさに基づいて、制御を行ってもよい。具体的には、動作検出部１１１、音声検出部１１２及び機器選択部１１３は、同一の動作が所定時間継続された場合であって、音声の大きさが所定閾値以上である場合に、動作及び音声に基づいて制御対象及び制御内容を決定する。これにより、機器３への指示を意図していない日常的な動作及び音声を検出して誤って機器３を制御することを抑制することができる。
In order to suppress erroneous detection of motion, control may be performed based on the length of motion of the user and the volume of the user's voice. Specifically, the motion detection unit 111, the
動作検出部１１１、音声検出部１１２及び機器選択部１１３がユーザの動作及び音声に関連付けられた制御対象及び制御内容を決定した場合に、機器制御部１１４は、決定された制御内容に従って制御を行うための制御信号を生成し、決定された制御対象の機器３に通信部１２を介して送信する。機器３は、ゲートウェイ４を介して制御サーバ１から受信した制御信号に従って、オン、オフ、調節等の所定の作動を行う。
When the motion detection unit 111, the
動作検出部１１１が検出したユーザの位置において音声検出部１１２が検出した特定語がまだ学習されていない場合に、学習部１１５は、該位置及び該特定語について選択された機器３を学習する。具体的には、学習部１１５は、機器制御部１１４が制御を実行した際に、動作検出部１１１が検出したユーザの位置と、音声検出部１１２が検出した特定語と、機器選択部１１３が制御対象として選択した機器３とを、学習データベースＤＤに登録する。
When the specific word detected by the
学習部１１５は、初めて制御が実行された機器３、ユーザの位置及び特定語の組み合わせを学習内容として学習データベースＤＤに登録してもよい。あるいは、学習部１１５は、制御が実行された機器３、ユーザの位置及び特定語の組み合わせの回数を計数し、所定の回数になった組み合わせのみを学習内容として学習データベースＤＤに登録してもよい。
The
センサ装置２から制御サーバ１へ画像及び音声を常時送信すると通信負荷が大きいため、センサ装置２は、画像から所定の動作に近い動作を検出した場合にのみ、制御サーバ１への画像及び音声の送信を開始してもよい。この場合には、センサ装置２は動作検知ソフトウェアを実行するコンピュータとして構成され、所定の動作に近い動作を予め登録する。センサ装置２は、該動作検知ソフトウェアを用いて、画像センサ２１が撮像した画像から予め登録された動作を検知した場合に、制御サーバ１への画像及び音声の送信を開始する。これにより、センサ装置２から制御サーバ１へ送信されるデータの通信量を低減することができる。
Since the communication load is large when the image and the sound are constantly transmitted from the
［機器制御方法のフローチャート］
図６は、本実施形態に係る機器制御方法のフローチャートを示す図である。図６のフローチャートは、例えばユーザが制御サーバ１に対して所定の開始操作を行うことによって開始される。
[Flow chart of device control method]
FIG. 6 is a diagram showing a flowchart of the device control method according to the present embodiment. The flowchart of FIG. 6 is started, for example, when the user performs a predetermined start operation on the
まず動作検出部１１１は、センサ装置２の画像センサ２１によって撮像された画像からユーザの動作及び位置を検出するとともに、音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声から、特定語及び調整語を検出する（Ｓ１１）。ステップＳ１１においてユーザによる動作を検出できない場合には、動作検出部１１１は、ユーザの位置のみを検出する。
First, the motion detection unit 111 detects the motion and position of the user from the image captured by the
ステップＳ１１で動作検出部１１１及び音声検出部１１２が位置及び音声を検出しない場合に（Ｓ１２のＮＯ）、制御サーバ１はステップＳ１１に戻って処理を繰り返す。ステップＳ１１で動作検出部１１１及び音声検出部１１２が位置及び音声を検出した場合に（Ｓ１２のＹＥＳ）、機器選択部１１３は、学習データベースＤＤから、ステップＳ１１で動作検出部１１１が検出した位置（学習位置ＤＤ２）及び音声検出部１１２が検出した特定語（学習語ＤＤ３）に対応する学習内容があるか否かを判定する（Ｓ１３）。
When the operation detecting unit 111 and the
検出した位置及び特定語に対応する学習内容がある場合に（Ｓ１４のＹＥＳ）、機器選択部１１３は、該位置及び特定語に関連付けられた機器３（機器番号ＤＤ１）を示す学習内容を取得する。そして機器選択部１１３は、取得した学習内容が示す機器３を制御対象として選択する（Ｓ１５）。
If there is learning content corresponding to the detected position and specific word (YES in S14), the
検出した位置及び特定語に対応する学習内容がない場合に（Ｓ１４のＮＯ）、機器選択部１１３は、ステップＳ１１で動作検出部１１１が検出したユーザの動作に対応する機器３を制御対象として選択する（Ｓ１６）。
When there is no learning content corresponding to the detected position and specific word (NO in S14), the
音声検出部１１２は、ステップＳ１１で音声検出部１１２が検出した調整語が指定する内容（オン、オフ、調節等）を制御内容として決定する（Ｓ１７）。
The
機器制御部１１４は、ステップＳ１７で音声検出部１１２が決定した制御内容に従って制御を行うための制御信号を生成し、ステップＳ１５又はＳ１６で機器選択部１１３が選択した制御対象の機器３に通信部１２を介して送信する（Ｓ１８）。このとき、ステップＳ１１で動作検出部１１１が検出したユーザの位置において音声検出部１１２が検出した特定語がまだ学習されていない場合に、学習部１１５は、該位置及び該特定語についてステップＳ１６で機器選択部１１３が選択した機器３を学習する。
The
所定の終了条件（例えばユーザが制御サーバ１に対して所定の終了操作を行うこと）が満たされない場合に（Ｓ１９のＮＯ）、制御サーバ１はステップＳ１１に戻って処理を繰り返す。所定の終了条件が満たされる場合に（Ｓ１９のＹＥＳ）、制御サーバ１は処理を終了する。
When a predetermined end condition (for example, the user performing a predetermined end operation on the control server 1) is not satisfied (NO in S19), the
［動作及び音声が矛盾した場合の処理］
ユーザの動作が示す内容と、ユーザの音声が示す内容とが矛盾する場合がある。例えば、ユーザの動作（テレビを指さす動作）によって選択される第１の機器３（テレビ）と、特定語（「あのエアコン」という音声）の学習内容から選択される第２の機器３（エアコン）とが異なる場合である。この理由としては、ユーザ自身が誤って矛盾する動作及び音声を発したことや、動作を行ったユーザと音声を発したユーザとが異なっていることが考えられる。
[Processing when operation and voice are inconsistent]
The content indicated by the user's action and the content represented by the user's voice may conflict. For example, the first device 3 (TV) selected by the user's action (pointing to the television) and the second device 3 (air conditioner) selected from the learning content of the specific word (the voice "that air conditioner"). When is different from. This may be because the user himself/herself erroneously made a contradictory action and voice, or the user who performed the action and the user who made a voice were different.
この場合に、制御サーバ１は、ステップＳ１７の後であってステップＳ１８の前に、動作及び音声の矛盾を解消する処理を行う。具体的には、機器制御部１１４は、動作及び音声によって選択された複数の機器３に、それぞれランプの点滅（すなわち間欠的な作動）等の作動を行わせる。そして動作検出部１１１、音声検出部１１２及び機器選択部１１３は、ユーザの動作及び音声を改めて検出することによって制御対象及び制御内容の再選択を受け付ける。これにより、制御サーバ１は、動作及び音声が矛盾したことをユーザに知らせることができ、制御対象の機器３を改めて選択させることができる。選択された機器３を制御対象の機器３として、機器制御部１１４は、ステップＳ１８以降の処理を行う。
In this case, the
別の方法として、制御サーバ１は、動作及び音声が矛盾した場合に、動作及び音声のどちらを優先するかを示す所定の規則に従って、動作及び音声のどちらか一方に基づいて制御対象の機器３を選択してもよい。選択された機器３を制御対象の機器３として、機器制御部１１４は、ステップＳ１８以降の処理を行う。
As another method, the
また、制御サーバ１は、動作及び音声が矛盾した場合に、ユーザごとに動作及び音声のどちらを優先するか判定してもよい。この場合に、制御サーバ１には、ユーザごとに動作及び音声のどちらを優先するかを示す規則が予め設定される。そして機器選択部１１３は、画像又は音声からユーザを識別し、識別したユーザごとの設定に基づいて動作及び音声のどちらか一方に基づいて制御対象の機器３を選択する。ユーザの識別は、画像又は音声に画像認識技術又は音声認識技術を適用することによって行われる。画像認識技術又は音声認識技術として、公知の技術を用いることができる。選択された機器３を制御対象の機器３として、機器制御部１１４は、ステップＳ１８以降の処理を行う。
In addition, the
［第１の実施形態の効果］
本実施形態に係る制御サーバ１は、ユーザの動作及び音声を組み合わせることによって制御対象及び制御内容を決定する。そのため、ユーザは様々な動作を覚える必要がなく、動作を用いる機器制御を容易に行うことができる。
[Effects of First Embodiment]
The
さらに、制御サーバ１はユーザの動作によって指定された機器３と特定語とを関連付けるように学習することによって、次回からは学習された特定語のみによって動作を伴わずに制御対象の機器３を選択可能にする。すなわち、初回には「あれつけて」という言葉と指差し動作とを組み合わせて制御対象の機器３を特定する必要があるが、次回からは「あれつけて」という言葉のみで同一の機器３を特定可能になる。このように、ユーザは「あれ」や「これ」のような特定語が示す機器３を制御サーバ１に自動的に学習させることができるため、ユーザの利便性を向上させることができる。
Furthermore, the
（第２の実施形態）
第１の実施形態において制御サーバ１は建物の外部に配置され、ネットワークＮを介してセンサ装置２及び機器３と通信する。そのため、ネットワークＮの通信状況によっては動作や音声の検出及び機器の制御の実行に時間が掛かるおそれがある。また、センサ装置２から制御サーバ１へ画像及び音声を常時送信すると通信負荷が大きい。それに対して、本実施形態では、建物の外部に配置された制御サーバ１−１に加えて、建物内に制御サーバ１−２を設ける。
(Second embodiment)
In the first embodiment, the
図７は、本実施形態に係る機器制御システムＳの模式図である。機器制御システムＳは、第１の実施形態と同様のセンサ装置２、機器３及びゲートウェイ４に加えて、建物外においてネットワークＮに接続されている制御サーバ１−１、及び建物内においてゲートウェイ４とネットワークＮとの間に接続されている制御サーバ１−２を含む。制御サーバ１−１及び制御サーバ１−２は、それぞれ図５の制御サーバ１と同様の構成を有する。
FIG. 7 is a schematic diagram of the device control system S according to the present embodiment. The device control system S includes a
本実施形態では、建物内の制御サーバ１−２及び建物外の制御サーバ１−１の間で処理やデータを調整することによって、動作及び音声の検出の速度及び精度のバランスをとる。例えば建物内の制御サーバ１−２において計算量の小さい検出処理を行い、建物外の制御サーバ１−１において計算量の大きい検出処理を行う。あるいは例えば建物内の制御サーバ１−２の記憶部１３に少ない量の制御データベースＤ及び学習データベースＤＤを記憶し、建物外の制御サーバ１−１の記憶部１３に多い量の制御データベースＤ及び学習データベースＤＤを記憶する。
In the present embodiment, the speed and accuracy of motion and voice detection are balanced by adjusting processing and data between the control server 1-2 inside the building and the control server 1-1 outside the building. For example, the control server 1-2 inside the building performs a detection process with a small calculation amount, and the control server 1-1 outside the building performs a detection process with a large calculation amount. Alternatively, for example, a small amount of the control database D and the learning database DD are stored in the
まず建物内の制御サーバ１−２は、センサ装置２からの情報に基づいて動作及び音声の検出を行う。そして制御サーバ１−２が動作及び音声を検出できなかった場合に、制御サーバ１−２は建物外の制御サーバ１−１にセンサ装置２からの情報を転送し、制御サーバ１−１は、センサ装置２からの情報に基づいて動作及び音声の検出を行う。制御サーバ１−２及び制御サーバ１−１のどちらか一方は、検出した動作及び音声に基づいて機器３の制御を行う。
First, the control server 1-2 in the building detects an operation and a voice based on the information from the
［第２の実施形態の効果］
一般的に、建物内の制御サーバ１−２はネットワークＮを介さないため通信負荷が掛からないが、設置スペースや設置コストによって機器構成に制約がある。一方、建物外の制御サーバ１−１は高度な機器構成を備えることができるため高速に処理を行えるが、通信負荷が掛かる。そこで本実施形態に係る機器制御システムＳは、建物内の制御サーバ１−２で簡易的な検出を行い、建物外の制御サーバ１−１で複雑な検出を行う。このような構成によって、動作及び音声の検出の精度を維持しつつも検出の速度を向上できる。
[Effects of Second Embodiment]
In general, the control server 1-2 in the building does not have a communication load because it does not pass through the network N, but the device configuration is restricted by the installation space and installation cost. On the other hand, the control server 1-1 outside the building can perform processing at high speed because it can have a high-level device configuration, but a communication load is applied. Therefore, in the device control system S according to the present embodiment, the control server 1-2 inside the building performs a simple detection, and the control server 1-1 outside the building performs a complicated detection. With such a configuration, it is possible to improve the speed of detection while maintaining the accuracy of operation and voice detection.
（第３の実施形態）
本実施形態は、ユーザの動作及び音声によって複数の制御対象の候補が発生した場合に、ユーザに該候補を通知し、ユーザが該候補のうち１つの機器３を改めて選択して制御することを可能にする。
(Third Embodiment)
In the present embodiment, when a plurality of control target candidates are generated due to the user's operation and voice, the user is notified of the candidates, and the user newly selects and controls one
［機器制御方法のフローチャート］
図８は、本実施形態に係る機器制御方法のフローチャートを示す図である。図８のフローチャートでは、図６のフローチャートにおいてステップＳ１５、Ｓ１６の後であってステップＳ１７の前に、ステップＳ２０〜Ｓ２２が行われる。それ以外のステップは図６のフローチャートと同様であるため、以下では説明を省略する。
[Flow chart of device control method]
FIG. 8 is a diagram showing a flowchart of the device control method according to the present embodiment. In the flowchart of FIG. 8, steps S20 to S22 are performed after steps S15 and S16 and before step S17 in the flowchart of FIG. The other steps are the same as those in the flowchart of FIG.
機器選択部１１３がステップＳ１５又はステップＳ１６で複数の機器３を制御対象として選択した場合に、該機器３を複数の制御対象の候補として扱う。複数の制御対象の候補がない場合には（Ｓ２０のＮＯ）、制御サーバ１は図６のフローチャートと同様のステップＳ１７〜Ｓ１９を行う。複数の制御対象の候補がある場合に（Ｓ２０のＹＥＳ）、機器制御部１１４は、所定の方法によって複数の制御対象の候補を通知する（Ｓ２１）。
When the
通知方法として、機器制御部１１４は、複数の制御対象の候補である機器３に、ランプの点滅（すなわち間欠的な作動）等の作動を行わせる。このような方法によれば、ユーザは、機器３の点滅等を見ることによって、複数の制御対象の候補を知ることができる。
As a notification method, the
別の通知方法として、機器選択部１１３は、予め記憶された優先順位に従って、複数の制御対象の候補のうち２つ以上の所定の数（例えば３つ）の機器３を選択する。そして機器制御部１１４は、センサ装置２に設けられたスピーカ（不図示）から、機器選択部１１３が選択した機器３を示す音声を出力する。機器３を示す音声は、制御サーバ１に予め記憶された機器３を識別するための音声でもよく、あるいはユーザが制御サーバ１に設定した音声（例えば録音されたユーザの音声）でもよい。このような方法によれば、ユーザは、音声を聴くことによって、機器３自体を見なくても、複数の制御対象の候補を知ることができる。
As another notification method, the
複数の制御対象の候補の通知を受けたユーザは、１つの制御対象の機器３を指定するように、改めて動作を行うとともに音声を発する。動作検出部１１１、音声検出部１１２及び機器選択部１１３は、ユーザの動作及び音声を改めて検出することによって制御対象及び制御内容の再選択を受け付ける（Ｓ２２）。ステップＳ２２の再選択の受付方法は、ステップＳ１１〜Ｓ１６と同様である。そして制御サーバ１はステップＳ２０に戻って処理を繰り返す。
The user who receives the notification of the plurality of control target candidates performs the operation again and outputs a voice so as to specify one
別の方法として、機器選択部１１３は、制御サーバ１に予め記憶された優先度に従って、複数の制御対象の候補のうち１つの機器３を制御対象として決定してもよい。この場合には、図８のフローチャートにおいてステップＳ２２の再選択の受付は省略される。
As another method, the
［第３の実施形態の効果］
本実施形態に係る制御サーバ１は、第１の実施形態と同様の効果を奏するとともに、ユーザの動作及び音声によって複数の制御対象の候補が発生した場合に、該候補をユーザに通知し、再選択を受け付ける。これにより、例えば機器３の位置や学習内容によって意図せず複数の機器が選択された場合であっても、ユーザは複数の候補が発生したことを知った上で改めて機器３の選択を行うことができるため、意図しない機器３を制御することを抑制できる。
[Effects of Third Embodiment]
The
（第４の実施形態）
本実施形態は、ユーザの動作及び音声によって、機器３が位置する部屋（範囲）に基づいて機器３を制御することを可能にする。
(Fourth Embodiment)
The present embodiment makes it possible to control the
［指差しによる範囲Ｒの指定］
図９は、本実施形態においてユーザの動作及び音声が指定する範囲Ｒを示す模式図である。図９は、建物の内部を上方から見た状態を示す。図９には、ユーザの動作及び音声によって指定された範囲Ｒが破線で表されている。
[Specify range R by pointing]
FIG. 9 is a schematic diagram showing a range R designated by a user's action and voice in the present embodiment. FIG. 9 shows the inside of the building as viewed from above. In FIG. 9, the range R designated by the user's action and voice is represented by a broken line.
制御サーバ１には、建物内を区画する範囲Ｒを示す範囲情報が予め記憶されている。範囲Ｒは、建物の所定の点を基準とした座標範囲として定義される。範囲Ｒは、例えば部屋ごとに設定される。
Range information indicating a range R for partitioning the building is stored in the
動作検出部１１１は、センサ装置２の画像センサ２１によって撮像された画像から、ユーザの動作及び位置を検出する。また、音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声から、特定語及び調整語を検出する。
The motion detector 111 detects the motion and position of the user from the image captured by the
範囲Ｒを指定する語（例えば「あの部屋」）は、予め制御サーバ１に記憶される。音声検出部１１２が検出した特定語が範囲Ｒを指定する語を含む場合に、機器選択部１１３は、動作検出部１１１が検出したユーザの位置を起点とした指の延長線上に位置する範囲Ｒを、範囲情報から特定する。
A word designating the range R (for example, “that room”) is stored in the
そして音声検出部１１２が検出した特定語が機器３の種類（例えば「エアコン」）を含む場合に、機器選択部１１３は、特定された範囲Ｒの中に位置する機器３のうち、制御データベースＤにおいて特定語が示す種類に一致する種類Ｄ３に関連付けられた機器３を選択する。音声検出部１１２が検出した特定語が機器３の種類を含まない場合には、機器選択部１１３は、特定された範囲Ｒの中に位置する全ての機器３を選択する。このような構成において、ユーザは動作及び音声によって部屋を指定することによって、指定した部屋内に位置する機器３を制御することができる。
Then, when the specific word detected by the
［ユーザの移動による範囲Ｒの指定］
さらに、ユーザがある範囲Ｒ（部屋）から外へ移動した後、所定時間内に「消して」のような調整語を含む音声を発した場合に、機器選択部１１３はユーザの移動前の範囲Ｒの中に位置する機器３を選択してもよい。換言すると、機器選択部１１３は、ユーザが範囲Ｒから外へ移動することを、ユーザが範囲Ｒを指定する動作として利用する。
[Specify range R by moving user]
Further, when the user moves out of a certain range R (room) and then outputs a voice including an adjustment word such as “turn off” within a predetermined time, the
また、ユーザがある範囲Ｒ（部屋）から外へ移動した後、所定時間内に「エアコン消して」のように機器３の種類を示す特定語及び調整語を含む音声を発した場合には、機器選択部１１３は、ユーザの移動前の範囲Ｒの中に位置する機器３のうち、制御データベースＤにおいて特定語が示す種類に一致する種類Ｄ３に関連付けられた機器３を選択する。このような構成により、ユーザは部屋に向かって指差しすることなく、ユーザの移動前の部屋内の機器３を制御することができる。
Further, when the user moves out of a certain range R (room) and then outputs a voice including a specific word and an adjustment word indicating the type of the
［第４の実施形態の効果］
本実施形態に係る制御サーバ１は、第１の実施形態と同様の効果を奏するとともに、動作及び音声によって指定された部屋内に位置する機器３を制御する。これにより、ユーザの利便性を向上させることができる。例えばユーザから特定の部屋の中にある機器３を視認できない状態であっても、ユーザは該部屋を指定することによって該部屋の中にある機器３を制御することができる。
[Effects of Fourth Embodiment]
The
（第５の実施形態）
第１の実施形態は常時ユーザの動作及び音声を検出するのに対して、本実施形態はユーザの開始音声が検出された場合にユーザの動作及び音声の検出を開始する。これにより動作及び音声の検出のために制御サーバ１に掛かる負荷を軽減することができる。
(Fifth Embodiment)
While the first embodiment constantly detects the user's action and voice, this embodiment starts detecting the user's action and voice when the user's start voice is detected. As a result, the load on the
［機器制御方法のフローチャート］
図１０は、本実施形態に係る機器制御方法のフローチャートを示す図である。図１０のフローチャートでは、図６のフローチャートにおいてステップＳ１１の前に、ステップＳ２３〜Ｓ２４が行われる。それ以外のステップは図６のフローチャートと同様であるため、以下では説明を省略する。
[Flow chart of device control method]
FIG. 10 is a diagram showing a flowchart of the device control method according to the present embodiment. In the flowchart of FIG. 10, steps S23 to S24 are performed before step S11 in the flowchart of FIG. The other steps are the same as those in the flowchart of FIG.
まず制御サーバ１は、開始音声が検出される前には動作検出部１１１による動作の検出を行わず、音声検出部１１２による開始音声の検出を開始する。音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声から、所定の開始音声を検出する（Ｓ２３）。開始音声は、例えば「ＯＫ」、「Ｈｅｌｌｏ」等の制御サーバ１に記憶された音声である。また、開始音声は、ユーザが制御サーバ１に予め録音した音声でもよい。例えば音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声の周波数スペクトルに、予め録音された開始音声の周波数スペクトルの所定の割合以上が含まれている場合に、開始音声を検出する。所定の割合は、開始音声と一致していると考えられる程度の割合であり、例えば９０％である。音声検出部１１２は、音声センサ２２から取得した音声の周波数スペクトルのパターンと、予め録音された開始音声の周波数スペクトルのパターンとの相関度が所定値以上である場合に、開始音声を検出してもよい。
First, the
開始音声はあくまでユーザの動作及び音声の検出を開始するためのトリガとして用いられ、その後にユーザの動作及び音声が行われることによって初めて機器３の制御が行われる。開始音声の検出は高い精度で行われる必要はないため、例えば音声認識技術を適用して開始音声から言語を抽出するような計算量の大きい処理を行わない。これにより、開始音声が検出されるまでの制御サーバ１の負荷は大幅に軽減される。
The start voice is used only as a trigger for starting the detection of the user's action and voice, and the
ステップＳ２３で音声検出部１１２が開始音声を検出しない場合に（Ｓ２４のＮＯ）、制御サーバ１はステップＳ２３に戻って処理を繰り返す。ステップＳ２３で音声検出部１１２が開始音声を検出した場合に（Ｓ２４のＹＥＳ）、図６のフローチャートと同様のステップＳ１〜Ｓ１９を行う。また、制御サーバ１は、開始音声が検出された時点から所定の時間が経過した場合に、動作の検出を停止し、再びステップＳ２３に戻って開始音声の検出を行ってもよい。このように開始音声を検出した後の所定期間のみ、画像からの動作の検出を行うことによって、制御サーバ１の処理負荷及び通信負荷を軽減することができるため好適である。
When the
音声検出部１１２が検出した開始音声の特徴情報に基づいて、制御サーバ１は制御可能な機器３又は機器３の機能を制限してもよい。音声の特徴情報は、例えば声の高さや声紋である。音声検出部１１２は、センサ装置２の音声センサ２２から取得した音声から、特定語及び調整語を検出するとともに、音声の特徴情報を取得する。そして機器制御部１１４は、音声検出部１１２が検出した音声の特徴情報に基づいて、動作検出部１１１、音声検出部１１２及び機器選択部１１３が決定した制御の可否を判定する。
The
具体的には、例えば機器制御部１１４は音声の高さからユーザの年齢を推定し、推定した年齢が所定の年齢以上である場合に制御を許可し、そうでない場合に制御を拒否する。また、例えば機器制御部１１４は音声の声紋からユーザを識別し、識別したユーザの年齢が所定の年齢以上である場合に制御を許可し、そうでない場合に制御を拒否する。また、機器制御部１１４は、機器３の作動（オン、オフ、調節等）ごとに制御の可否を判定してもよい。開始音声の特徴情報に基づく制限の規則は、制御サーバ１に予め記憶されてもよく、あるいはユーザによって任意に設定されてもよい。
Specifically, for example, the
このような構成により、制御サーバ１は、例えばユーザが子供の場合に、加熱機器（例えば電気コンロ、電気ストーブ等の加熱機器）のような安全に係る機器３の制御を制限することができる。
With such a configuration, the
［第５の実施形態の効果］
本実施形態に係る制御サーバ１は、第１の実施形態と同様の効果を奏するとともに、開始音声が検出された場合にユーザの動作及び音声の検出を開始する。これにより、制御サーバ１は常時ユーザの動作及び音声の監視を行う必要がないため、制御サーバ１の負荷を軽減することができる。さらに制御サーバ１は、ユーザの音声の特徴情報に基づいて制御の可否を判定することによって、特定の機器３の制御を制限し、安全性を向上させることができる。
[Effects of the fifth embodiment]
The
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes are possible within the scope of the gist thereof. is there. For example, the specific embodiment of device distribution/integration is not limited to the above embodiment, and all or part of the device may be functionally or physically distributed/integrated in arbitrary units. You can Further, a new embodiment that occurs due to an arbitrary combination of a plurality of embodiments is also included in the embodiment of the present invention. The effect of the new embodiment produced by the combination also has the effect of the original embodiment.
制御サーバ１の制御部１１（プロセッサ）は、図６、８、１０に示す機器制御方法に含まれる各ステップ（工程）の主体となる。すなわち、制御部１１は、図６、８、１０に示す機器制御方法を実行するための機器制御プログラムを記憶部１３から読み出し、該機器制御プログラムを実行して制御サーバ１の各部を制御することによって、図６、８、１０に示す機器制御方法を実行する。図６、８、１０に示す機器制御方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。
The control unit 11 (processor) of the
Ｓ 機器制御システム
１ 制御サーバ
１１１ 動作検出部
１１２ 音声検出部
１１３ 機器選択部
１１４ 機器制御部
１１５ 学習部
３ 機器
S
Claims (11)
前記ユーザが発した音声を検出する音声検出部と、
前記動作検出部が検出した前記動作によって指定された機器に対して、前記音声検出部が検出した前記音声に対応する制御を行う機器制御部と、
を有し、
前記機器制御部は、前記動作検出部が検出した前記動作及び前記音声検出部が検出した前記音声によって指定された前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行い、
前記動作検出部が検出した前記動作によって指定された第１の機器と前記音声検出部が検出した前記音声によって指定された第２の機器とが異なる場合に、前記機器制御部は所定の規則に従って前記第１の機器及び前記第２の機器のどちらか一方に対して前記制御を行う、機器制御装置。 A motion detection unit that detects the motion of the user from the image obtained by capturing the user,
A voice detection unit for detecting the voice uttered by the user,
For a device designated by the operation detected by the operation detection unit, a device control unit that performs control corresponding to the voice detected by the voice detection unit,
Have a,
The device control unit controls the device corresponding to the voice detected by the voice detection unit, with respect to the device designated by the action detected by the action detection unit and the voice detected by the voice detection unit. Done,
When the first device designated by the action detected by the action detection unit and the second device designated by the voice detected by the voice detection unit are different, the device control unit follows a predetermined rule. A device control device that performs the control on either one of the first device and the second device.
前記ユーザが発した音声を検出する音声検出部と、 A voice detection unit for detecting the voice uttered by the user,
前記動作検出部が検出した前記動作によって指定された機器に対して、前記音声検出部が検出した前記音声に対応する制御を行う機器制御部と、 For a device designated by the operation detected by the operation detection unit, a device control unit that performs control corresponding to the voice detected by the voice detection unit,
を有し、 Have
前記機器制御部は、前記動作検出部が検出した前記動作及び前記音声検出部が検出した前記音声によって指定された前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行い、 The device control unit controls the device corresponding to the voice detected by the voice detection unit, with respect to the device designated by the action detected by the action detection unit and the voice detected by the voice detection unit. Done,
前記動作検出部が検出した前記動作によって指定された第１の機器と前記音声検出部が検出した前記音声によって指定された第２の機器とが異なる場合に、前記機器制御部は前記第１の機器及び前記第２の機器を間欠的に動作させる、機器制御装置。 When the first device designated by the motion detected by the motion detection unit and the second device designated by the sound detected by the voice detection unit are different, the device control unit controls the first device. A device control device for intermittently operating a device and the second device.
前記ユーザが発した音声を検出する音声検出部と、 A voice detection unit for detecting the voice uttered by the user,
前記動作検出部が検出した前記動作によって指定された機器に対して、前記音声検出部が検出した前記音声に対応する制御を行う機器制御部と、 For a device designated by the operation detected by the operation detection unit, a device control unit that performs control corresponding to the voice detected by the voice detection unit,
を有し、 Have
前記機器制御部は、前記動作検出部が検出した、前記ユーザが範囲から外へ移動することを示す前記動作によって指定された前記範囲内に位置する前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行う、機器制御装置。 The device control unit detects, by the voice detection unit, the device located in the range specified by the operation, which is detected by the operation detection unit and indicates that the user moves out of the range. An apparatus control device that performs the control corresponding to the sound that has been performed.
請求項１に記載の機器制御装置。 The device control unit controls the one of the first device and the second device according to the predetermined rule set for each user.
The device control apparatus according to claim 1 .
前記機器制御部は、前記学習部によって前記音声検出部が検出した前記音声に関連付けられた前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行う、
請求項１から４のいずれか一項に記載の機器制御装置。 Further comprising a learning unit for learning by associating the voice detected by the voice detection unit with the device to be controlled,
The device control unit performs the control corresponding to the voice detected by the voice detection unit on the device associated with the voice detected by the voice detection unit by the learning unit,
The device control apparatus according to any one of claims 1 to 4.
請求項１から５のいずれか一項に記載の機器制御装置。 When a plurality of the devices are designated by the operation detected by the operation detection unit, the device control unit operates a plurality of the devices intermittently,
The device control apparatus according to any one of claims 1 to 5.
請求項１から５のいずれか一項に記載の機器制御装置。 When a plurality of devices are designated by the operation detected by the operation detection unit, the device control unit outputs a sound indicating the plurality of devices,
The device control apparatus according to any one of claims 1 to 5.
請求項１から５のいずれか一項に記載の機器制御装置。 When a plurality of the devices are specified by the operation detected by the operation detection unit, the device control unit determines that at least one of the plurality of devices has a priority set in advance for the plurality of the devices. Perform the control,
The device control apparatus according to any one of claims 1 to 5.
請求項１から８のいずれか一項に記載の機器制御装置。 The device control unit performs the control when the length of the operation detected by the operation detection unit and the volume of the sound detected by the sound detection unit is equal to or more than a predetermined threshold value,
The device control apparatus according to any one of claims 1 to 8 .
前記ユーザが発した音声を検出するステップと、
前記動作を検出するステップで検出された前記動作によって指定された機器に対して、前記音声を検出するステップで検出された前記音声に対応する制御を行うステップと、
を有し、
前記制御を行うステップでは、前記動作を検出するステップで検出した前記動作及び前記音声を検出するステップで検出した前記音声によって指定された前記機器に対して、前記音声を検出するステップで検出した前記音声に対応する前記制御を行い、
前記動作を検出するステップで検出した前記動作によって指定された第１の機器と前記音声を検出するステップで検出した前記音声によって指定された第２の機器とが異なる場合に、前記制御を行うステップでは、所定の規則に従って前記第１の機器及び前記第２の機器のどちらか一方に対して前記制御を行う、機器制御方法。 Detecting a motion of the user from an image obtained by capturing the user,
Detecting the voice uttered by the user,
A step of performing control corresponding to the voice detected in the step of detecting the voice, with respect to a device designated by the action detected in the step of detecting the voice,
Have a,
In the step of performing the control, the action detected in the step of detecting the action and the device specified in the voice detected in the step of detecting the voice are detected in the step of detecting the voice. Perform the control corresponding to voice,
Performing the control when the first device designated by the action detected in the step of detecting the action and the second device designated by the voice detected in the step of detecting the voice are different Then, a device control method , wherein the control is performed on one of the first device and the second device according to a predetermined rule .
前記機器制御装置は、
ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する動作検出部と、
前記ユーザが発した音声を検出する音声検出部と、
前記動作検出部が検出した前記動作によって指定された前記機器に対して、前記音声検出部が検出した前記音声に対応する制御を行う機器制御部と、
を有し、
前記機器制御部は、前記動作検出部が検出した前記動作及び前記音声検出部が検出した前記音声によって指定された前記機器に対して、前記音声検出部が検出した前記音声に対応する前記制御を行い、
前記動作検出部が検出した前記動作によって指定された第１の機器と前記音声検出部が検出した前記音声によって指定された第２の機器とが異なる場合に、前記機器制御部は所定の規則に従って前記第１の機器及び前記第２の機器のどちらか一方に対して前記制御を行い、
前記機器は、前記機器制御部による前記制御に従って動作する、機器制御システム。 A device and a device control device for controlling the device,
The device control device is
A motion detection unit that detects the motion of the user from the image obtained by capturing the user,
A voice detection unit for detecting the voice uttered by the user,
For the device specified by the operation detected by the operation detection unit, a device control unit that performs control corresponding to the voice detected by the voice detection unit,
Have
The device control unit controls the device corresponding to the voice detected by the voice detection unit, with respect to the device designated by the action detected by the action detection unit and the voice detected by the voice detection unit. Done,
When the first device designated by the action detected by the action detection unit and the second device designated by the voice detected by the voice detection unit are different, the device control unit follows a predetermined rule. The control is performed on either one of the first device and the second device,
A device control system in which the device operates according to the control by the device control unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017183400A JP6719434B2 (en) | 2017-09-25 | 2017-09-25 | Device control device, device control method, and device control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017183400A JP6719434B2 (en) | 2017-09-25 | 2017-09-25 | Device control device, device control method, and device control system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019061334A JP2019061334A (en) | 2019-04-18 |
| JP6719434B2 true JP6719434B2 (en) | 2020-07-08 |
Family
ID=66176612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017183400A Active JP6719434B2 (en) | 2017-09-25 | 2017-09-25 | Device control device, device control method, and device control system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6719434B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10176349B1 (en) * | 2017-12-07 | 2019-01-08 | Kacchip, LLC | Indoor position and vector tracking system and method |
| WO2020240789A1 (en) * | 2019-05-30 | 2020-12-03 | 三菱電機株式会社 | Speech interaction control device and speech interaction control method |
| CN114863931A (en) * | 2022-03-29 | 2022-08-05 | 青岛海尔空调器有限总公司 | Working mode switching method and device |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000231427A (en) * | 1999-02-08 | 2000-08-22 | Nec Corp | Multi-modal information analyzing device |
| JP2007121576A (en) * | 2005-10-26 | 2007-05-17 | Matsushita Electric Works Ltd | Voice operation device |
| JP4516042B2 (en) * | 2006-03-27 | 2010-08-04 | 株式会社東芝 | Apparatus operating device and apparatus operating method |
| JP5163202B2 (en) * | 2008-03-18 | 2013-03-13 | 株式会社国際電気通信基礎技術研究所 | Article estimation system |
| JP5430382B2 (en) * | 2009-12-16 | 2014-02-26 | キヤノン株式会社 | Input device and method |
| JP5665140B2 (en) * | 2012-08-17 | 2015-02-04 | Ｎｅｃソリューションイノベータ株式会社 | Input device, input method, and program |
-
2017
- 2017-09-25 JP JP2017183400A patent/JP6719434B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019061334A (en) | 2019-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102429260B1 (en) | Apparatus and method for processing control command based on voice agent, agent apparatus | |
| US9390716B2 (en) | Control method for household electrical appliance, household electrical appliance control system, and gateway | |
| US11223497B2 (en) | Method and apparatus for providing notification by interworking plurality of electronic devices | |
| US9984563B2 (en) | Method and device for controlling subordinate electronic device or supporting control of subordinate electronic device by learning IR signal | |
| US20160005404A1 (en) | Device control method and electric device | |
| JP2018190413A (en) | Method and system for processing user command to adjust and provide operation of device and content provision range by grasping presentation method of user speech | |
| US20170199934A1 (en) | Method and apparatus for audio summarization | |
| CN105045122A (en) | Intelligent household natural interaction system based on audios and videos | |
| JP2018194810A (en) | Device controlling method and electronic apparatus | |
| JP6719434B2 (en) | Device control device, device control method, and device control system | |
| JP2020515913A (en) | Voice response method, device and smart device | |
| CN113574846A (en) | Position estimation method of IoT device, server and electronic device supporting the same | |
| CN112740640A (en) | System and method for disambiguation of internet of things devices | |
| KR20190026521A (en) | Method for operating home appliance and voice recognition server system | |
| EP3654170B1 (en) | Electronic apparatus and wifi connecting method thereof | |
| KR102629796B1 (en) | An electronic device supporting improved speech recognition | |
| JP6711799B2 (en) | Device control device, device control method, and device control system | |
| KR20170004497A (en) | Method for controlling various electronic devices or allowing the various electronic devices to be controlled by deep-learning with respect to remocon signal and voice command in use of cloud database | |
| WO2018023523A1 (en) | Motion and emotion recognizing home control system | |
| US20180006869A1 (en) | Control method and system, and electronic apparatus thereof | |
| JP6711800B2 (en) | Device control device, device control method, and device control system | |
| US11818820B2 (en) | Adapting a lighting control interface based on an analysis of conversational input | |
| CN111903194B (en) | System and method for enhancing voice commands using connected lighting systems | |
| JP2020136695A (en) | Equipment control device, equipment control system, and equipment control method | |
| JPWO2019239738A1 (en) | Information processing device, information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200616 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6719434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |