JP7042246B2 - Remote control system for lifting equipment - Google Patents

Remote control system for lifting equipment Download PDF

Info

Publication number
JP7042246B2
JP7042246B2 JP2019212408A JP2019212408A JP7042246B2 JP 7042246 B2 JP7042246 B2 JP 7042246B2 JP 2019212408 A JP2019212408 A JP 2019212408A JP 2019212408 A JP2019212408 A JP 2019212408A JP 7042246 B2 JP7042246 B2 JP 7042246B2
Authority
JP
Japan
Prior art keywords
unit
waveform
waveform data
elevating device
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019212408A
Other languages
Japanese (ja)
Other versions
JP2020023405A (en
Inventor
行宏 宮川
正一 若林
文隆 赤坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitec Co Ltd
Original Assignee
Fujitec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitec Co Ltd filed Critical Fujitec Co Ltd
Priority to JP2019212408A priority Critical patent/JP7042246B2/en
Publication of JP2020023405A publication Critical patent/JP2020023405A/en
Application granted granted Critical
Publication of JP7042246B2 publication Critical patent/JP7042246B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、エレベータやエスカレータ等の昇降装置の操作や確認を遠隔で行う遠隔制御システムに関する。 The present invention relates to a remote control system that remotely operates and confirms an elevating device such as an elevator or an escalator.

従来から、昇降装置には、昇降装置の操作や昇降装置の動作の確認等が可能な操作盤が設けられている(特許文献1参照)。操作盤は、例えば、エレベータのかごや乗場に設置されている。かごに設置された操作盤は、かごの行き先階を登録する行き先釦や、ドアの開閉を指示するドア開閉釦を有する。乗場に設置された操作盤は、かごの呼びを登録する呼び釦を有する。 Conventionally, the elevating device is provided with an operation panel capable of operating the elevating device and confirming the operation of the elevating device (see Patent Document 1). The operation panel is installed in, for example, an elevator car or a landing. The operation panel installed in the car has a destination button for registering the destination floor of the car and a door open / close button for instructing the opening / closing of the door. The operation panel installed at the landing has a call button for registering the call of the car.

ところで、例えば、車椅子に乗った状態の利用者は、高い位置等に配置された操作盤に手が届かないことがある。そのため、このような利用者には、操作盤から離れた位置から操作盤を操作できることが望まれている。また、利用者によっては、操作盤の釦を押下するといった操作が困難な場合がある。 By the way, for example, a user in a wheelchair may not be able to reach the operation panel arranged at a high position or the like. Therefore, it is desired for such a user to be able to operate the operation panel from a position away from the operation panel. Further, depending on the user, it may be difficult to perform an operation such as pressing a button on the operation panel.

特開2005-96982号公報Japanese Unexamined Patent Publication No. 2005-96982

そこで、本発明は、人の表現によって、遠隔で昇降装置に所望の内容を実行させることのできる遠隔制御システムを提供する。 Therefore, the present invention provides a remote control system capable of remotely causing an elevating device to execute a desired content by a human expression.

本発明の昇降装置の遠隔制御システムは、昇降装置を制御する制御マイコンと、前記制御マイコンと通信可能な携帯端末と、を含み、該携帯端末は、人の表現を経時的に取得するセンサ部と、該センサ部によって取得された人の表現を、時間軸を有する第一波形データに変換する波形変換部と、該波形変換部によって変換された前記第一波形データと予め記憶された複数の第二波形データであって、それぞれが前記昇降装置の操作に関連付けられた前記複数の第二波形データとを比較することによって、前記変換された前記第一波形データに対応する前記昇降装置の操作を抽出する抽出部と、該抽出部による抽出結果を前記制御マイコンに送信する送信部と、を備え、前記制御マイコンは、前記送信部から送信された前記抽出結果に基づいて前記昇降装置を制御する、ことを特徴とする。 The remote control system for the elevating device of the present invention includes a control microcomputer for controlling the elevating device and a mobile terminal capable of communicating with the control microcomputer, and the mobile terminal is a sensor unit that acquires a person's expression over time. A waveform conversion unit that converts the human representation acquired by the sensor unit into first waveform data having a time axis, and a plurality of pre-stored first waveform data converted by the waveform conversion unit. The operation of the elevating device corresponding to the converted first waveform data by comparing the second waveform data with the plurality of second waveform data, each of which is associated with the operation of the elevating device. The control microcomputer includes an extraction unit for extracting the data and a transmission unit for transmitting the extraction result by the extraction unit to the control microcomputer, and the control microcomputer controls the elevating device based on the extraction result transmitted from the transmission unit. It is characterized by doing.

上記昇降装置の遠隔制御システムでは、人の表現に対応する操作に基づいて昇降装置が制御される。言い換えると、遠隔で昇降装置に所望の内容を実行させることができる。 In the remote control system for the elevating device, the elevating device is controlled based on an operation corresponding to the expression of a person. In other words, the lifting device can be remotely executed to perform the desired content.

前記昇降装置の遠隔制御システムでは、前記携帯端末は、前記複数の第二波形データを記憶する記憶部を備え、前記記憶部は、前記第二波形データを書き込み可能であってもよい。 In the remote control system of the elevating device, the portable terminal may include a storage unit for storing the plurality of second waveform data, and the storage unit may be writable for writing the second waveform data.

かかる構成によれば、記憶部に第二波形データを追加できるため、昇降装置の操作に関連する第二波形データを書き込むことで、遠隔で昇降装置の新たな操作(記憶部に予め記憶されていない昇降装置の操作)を実行させることができる。 According to this configuration, the second waveform data can be added to the storage unit. Therefore, by writing the second waveform data related to the operation of the elevating device, a new operation of the elevating device (stored in advance in the storage unit) can be performed remotely. No lift device operation) can be performed.

本発明の別の昇降装置の遠隔制御システムは、昇降装置を制御する制御マイコンと、該制御マイコンと通信可能な携帯端末と、を含み、該携帯端末は、人の表現を経時的に取得するセンサ部と、該センサ部によって取得された人の表現を、時間軸を有する第一波形データに変換する波形変換部と、該波形変換部によって変換された前記第一波形データと予め記憶された複数の第三波形データであって、それぞれが前記昇降装置に対する確認事項及び昇降装置に対する要求事項の少なくとも一方に関連づけられた前記複数の第三波形データとを比較することによって、前記変換された前記第一波形データに対応する前記昇降装置に対する確認事項及び前記昇降装置に対する要求事項の少なくとも一方を抽出する抽出部と、該抽出部による抽出結果を前記制御マイコンに送信する送信部と、前記制御マイコンからの情報を出力する出力部と、を備え、前記制御マイコンは、前記送信部から送信された前記抽出結果に基づく前記確認事項及び前記要求事項の少なくとも一方についての情報を前記携帯端末に送信する、ことを特徴とする。 Another remote control system for an elevating device of the present invention includes a control microcomputer for controlling the elevating device and a mobile terminal capable of communicating with the control microcomputer, and the mobile terminal acquires a person's expression over time. The sensor unit, the waveform conversion unit that converts the human expression acquired by the sensor unit into the first waveform data having a time axis, and the first waveform data converted by the waveform conversion unit are stored in advance. The converted said third waveform data by comparing with the plurality of third waveform data, each of which is associated with at least one of the confirmation items for the elevating device and the requirements for the elevating device. An extraction unit that extracts at least one of the confirmation items for the elevating device and the requirements for the elevating device corresponding to the first waveform data, a transmission unit that transmits the extraction result by the extraction unit to the control microcomputer, and the control microcomputer. The control microcomputer includes an output unit for outputting information from the above, and the control microcomputer transmits information about at least one of the confirmation items and the requirements based on the extraction result transmitted from the transmission unit to the mobile terminal. , Characterized by that.

前記昇降装置の遠隔制御システムでは、人の表現に対応する確認事項や要求事項に関する情報が、昇降装置の制御マイコンから携帯端末に送信される。言い換えると、遠隔で昇降装置に所望の内容を実行させることができる。 In the remote control system of the elevating device, information on confirmation items and requirements corresponding to human expressions is transmitted from the control microcomputer of the elevating device to the mobile terminal. In other words, the lifting device can be remotely executed to perform the desired content.

上記昇降装置の遠隔制御システムでは、前記携帯端末は、前記複数の前記第三波形データを記憶する記憶部を備え、前記記憶部は、前記第三波形データを書き込み可能であってもよい。 In the remote control system of the elevating device, the portable terminal may include a storage unit for storing the plurality of the third waveform data, and the storage unit may be able to write the third waveform data.

かかる構成によれば、記憶部に第三波形データを追加できるため、昇降装置の確認事項や要求事項に関連する第三波形データを書き込むことで、遠隔で昇降装置に対する新たな確認事項(記憶部に予め記憶されていない昇降装置の確認事項)や新たな要求事項(記憶部に予め記憶されていない昇降装置の要求事項)についても、携帯端末に送信させることができる。 According to this configuration, the third waveform data can be added to the storage unit. Therefore, by writing the third waveform data related to the confirmation items and requirements of the elevating device, new confirmation items (storage unit) for the elevating device can be remotely performed. It is also possible to have the mobile terminal transmit new requirements (requirements for the elevating device that are not stored in advance in the storage unit) and new requirements (requirements for the elevating device that are not stored in advance).

前記昇降装置の遠隔制御システムでは、前記センサ部は、マイクロフォンを有し、前記第一波形データは、前記マイクロフォンによって取得された音データの特性を表わす軸と、前記音データが取得された時間に対応する時間軸とを有する音波形データを含んでもよい。 In the remote control system of the elevating device, the sensor unit has a microphone, and the first waveform data has an axis representing the characteristics of the sound data acquired by the microphone and the time when the sound data is acquired. Sound wave data having a corresponding time axis may be included.

かかる構成によれば、音を表現することにより、昇降装置に所望の内容を実行させることができる。 According to such a configuration, by expressing the sound, the elevating device can execute the desired content.

前記昇降装置の遠隔制御システムでは、前記センサ部は、加速度センサを有し、前記第一波形データは、前記加速度センサによって取得された加速度データを表す軸と、前記加速度データが取得された時間に対応する時間軸とを有する加速度波形データを含んでもよい。 In the remote control system of the elevating device, the sensor unit has an acceleration sensor, and the first waveform data has an axis representing the acceleration data acquired by the acceleration sensor and a time when the acceleration data is acquired. Accelerometer data with a corresponding time axis may be included.

かかる構成によれば、携帯端末を動かすことで所定の方向に加速度を加える動き(ジェスチャー)により、昇降装置に所望の内容を実行させることができる。 According to such a configuration, it is possible to make the elevating device execute a desired content by a movement (gesture) in which an acceleration is applied in a predetermined direction by moving the mobile terminal.

前記昇降装置の遠隔制御システムでは、前記センサ部は、ジャイロセンサを有し、前記第一波形データは、前記ジャイロセンサによって取得された傾きデータを表す軸と、前記傾きデータが取得された時間に対応する時間軸とを有する傾き波形データを含んでもよい。 In the remote control system of the elevating device, the sensor unit has a gyro sensor, and the first waveform data has an axis representing tilt data acquired by the gyro sensor and a time when the tilt data is acquired. It may include tilt waveform data having a corresponding time axis.

かかる構成によれば、携帯端末を傾ける動き(ジェスチャー)により、昇降装置に所望の内容を実行させることができる。 According to such a configuration, the elevating device can execute a desired content by the movement (gesture) of tilting the mobile terminal.

前記昇降装置の遠隔制御システムでは、前記センサ部は、カメラであり、前記第一波形データは、前記カメラによって取得された画像データの特性を表わす軸と、前記画像データが取得された時間に対応する時間軸とを有する画像波形データを含んでもよい。 In the remote control system of the elevating device, the sensor unit is a camera, and the first waveform data corresponds to an axis representing the characteristics of the image data acquired by the camera and the time when the image data is acquired. It may include image waveform data having a time axis to be used.

かかる構成によれば、人の姿勢(ポーズ)や動作(ジェスチャー)により昇降装置に所望の内容を実行させることができる。 According to such a configuration, it is possible to make the elevating device execute a desired content by a person's posture (pose) or motion (gesture).

前記昇降装置の遠隔制御システムでは、前記制御マイコンは、前記携帯端末から抽出結果を取得した後の前記昇降装置での制御結果を前記携帯端末に送信してもよい。 In the remote control system of the elevating device, the control microcomputer may transmit the control result of the elevating device after acquiring the extraction result from the mobile terminal to the mobile terminal.

かかる構成によれば、昇降装置の遠隔での制御結果を、携帯端末により確認することができる。 According to such a configuration, the remote control result of the elevating device can be confirmed by the mobile terminal.

以上より、本発明によれば、人の表現によって、遠隔で昇降装置に所望の内容を実行させることのできる遠隔制御システムを提供することができる。 From the above, according to the present invention, it is possible to provide a remote control system capable of remotely causing an elevating device to execute a desired content by a human expression.

図1は、本発明の一実施形態に係る昇降装置の遠隔制御システムのブロック図である。FIG. 1 is a block diagram of a remote control system for an elevating device according to an embodiment of the present invention.

以下、本発明に係る昇降装置の遠隔制御システムについて説明する。遠隔制御システムは、エレベータやエスカレータ等の昇降装置を遠隔で制御するシステム、言い換えると、遠隔で昇降装置に所望の内容を実行させるシステムである。所望の内容は、例えば、乗場からの乗場呼び等の操作、インジケータの表示等の確認事項の遠隔での確認、制御マイコンのメモリに記憶された数値等の要求事項の遠隔での確認である。尚、昇降装置にはエレベータ、エスカレータ等があるが、以下では、エレベータの遠隔監視システムを説明する。 Hereinafter, the remote control system for the elevating device according to the present invention will be described. The remote control system is a system that remotely controls an elevating device such as an elevator or an escalator, in other words, a system that causes the elevating device to remotely execute a desired content. The desired contents are, for example, operations such as landing call from the landing, remote confirmation of confirmation items such as indicator display, and remote confirmation of requirements such as numerical values stored in the memory of the control microcomputer. The elevator includes an elevator, an escalator, and the like, but the remote monitoring system for the elevator will be described below.

遠隔制御システムは、図1に示すように、制御マイコン20を有するエレベータ2と、制御マイコン20と通信可能な携帯端末3とを含む。 As shown in FIG. 1, the remote control system includes an elevator 2 having a control microcomputer 20 and a mobile terminal 3 capable of communicating with the control microcomputer 20.

尚、図1では、一台のエレベータ2が示されているが、本実施形態の遠隔制御システム1には、複数台のエレベータ2が含まれている。また、図1では、一台の携帯端末3が示されているが、本実施形態の遠隔制御システム1には、複数台のエレベータ2が含まれている。 Although one elevator 2 is shown in FIG. 1, the remote control system 1 of the present embodiment includes a plurality of elevators 2. Further, although one mobile terminal 3 is shown in FIG. 1, the remote control system 1 of the present embodiment includes a plurality of elevators 2.

携帯端末3は、例えば、PDA(Personal Digital Assistant)やノートパソコン等の持ち運び可能な端末や、ウェアラブル端末等である。具体的に、携帯端末3は、利用者等(エレベータの利用者やエレベータの管理者等)により所持される。 The mobile terminal 3 is, for example, a portable terminal such as a PDA (Personal Digital Assistant) or a notebook computer, a wearable terminal, or the like. Specifically, the mobile terminal 3 is possessed by a user or the like (elevator user, elevator administrator, or the like).

また、携帯端末3は、人の表現を経時的に取得するセンサ部30と、センサ部30により取得された人の表現を第一波形データに変換する波形変換部31と、エレベータ2の操作を抽出する抽出部32と、抽出結果を制御マイコン20に送信する送信部33とを備える。本実施形態の遠隔制御システム1では、携帯端末3は、さらに、各種情報を入力可能な入力部34と、各種情報を出力可能な出力部35と、抽出部32によるエレベータ2の操作の抽出の際に用いられる第二波形データや第三波形データ等を記憶する記憶部36と、第二波形データや第三波形データを記憶部36に書き込み可能な登録部37とを備える。 Further, the mobile terminal 3 operates the sensor unit 30 that acquires the expression of a person over time, the waveform conversion unit 31 that converts the expression of a person acquired by the sensor unit 30 into the first waveform data, and the elevator 2. It includes an extraction unit 32 for extraction and a transmission unit 33 for transmitting the extraction result to the control microcomputer 20. In the remote control system 1 of the present embodiment, the mobile terminal 3 further extracts the operation of the elevator 2 by the input unit 34 capable of inputting various information, the output unit 35 capable of outputting various information, and the extraction unit 32. A storage unit 36 for storing the second waveform data, the third waveform data, and the like used in the case, and a registration unit 37 capable of writing the second waveform data and the third waveform data to the storage unit 36 are provided.

エレベータ2の操作は、例えば、乗場からの上昇するかごの呼び(以下、「上昇乗場呼び」と称する。)、乗場からの下降するかごの呼び(以下、「下降乗場呼び」と称する。)、かごの行き先階を一階に指定、かごの行き先階を二階に指定、ドア(かごドア及び乗場ドア)の開閉等である。エレベータ2に対する確認事項は、例えば、乗場に設けられているインジケータの表示等である。人の表現は、人の音声、人の動作(ジェスチャー)、人の姿勢(ポーズ)等の表現である。 The operation of the elevator 2 is, for example, calling an ascending car from the landing (hereinafter referred to as "ascending landing call"), calling a descending car from the landing (hereinafter referred to as "descending landing call"), and the like. The destination floor of the car is designated as the first floor, the destination floor of the car is designated as the second floor, and the doors (car door and landing door) are opened and closed. Items to be confirmed for the elevator 2 are, for example, display of an indicator provided at the landing. The expression of a person is an expression of a person's voice, a person's movement (gesture), a person's posture (pose), or the like.

入力部34は、例えば、入力キーやキーボード等である。出力部35は、例えば、ディスプレイである。尚、携帯端末3がタッチパネル式ディスプレイを備える場合、このディスプレイが入力部34及び出力部35を兼ねる。 The input unit 34 is, for example, an input key, a keyboard, or the like. The output unit 35 is, for example, a display. When the mobile terminal 3 includes a touch panel type display, this display also serves as an input unit 34 and an output unit 35.

本実施形態の遠隔制御システム1では、出力部35は、利用者等から入力部34を介してエレベータ2を遠隔制御する旨が入力されると、「人の表現でエレベータを操作する操作モード」又は「人の表現をエレベータの新たな操作やエレベータに対する新たな確認事項に関連付けて登録する登録モード」のいずれかを選択するよう要請する表示を行う。入力部34は、操作モード又は登録モードが選択されると、選択されたモードを波形変換部31、出力部35、及び、登録部37等に通知する。 In the remote control system 1 of the present embodiment, when the user or the like inputs that the elevator 2 is remotely controlled via the input unit 34, the output unit 35 is "an operation mode in which the elevator is operated by human expression". Alternatively, a display requesting that one of "registration mode for registering a person's expression in association with a new operation of the elevator or a new confirmation item for the elevator" be displayed is performed. When the operation mode or the registration mode is selected, the input unit 34 notifies the waveform conversion unit 31, the output unit 35, the registration unit 37, and the like of the selected mode.

尚、エレベータ2の遠隔制御は、例えば、エレベータ2の操作盤から離れた位置から乗場呼びを行ったりインジケータの表示を確認したりする制御や、エレベータ2の操作盤を直接的には操作せずに乗場呼び等を行う制御である。 The remote control of the elevator 2 is, for example, a control for calling a landing from a position away from the operation panel of the elevator 2 or checking the display of an indicator, or the operation panel of the elevator 2 is not directly operated. It is a control to call the landing.

出力部35は、操作モードが選択されると、人の表現を行うことを要請する表示等(例えば、「登録済の音を出してください」とのメッセージ表示や、「登録済のジェスチャーを行ってください」とのメッセージ表示)を行う。また、出力部35は、操作モードにおいて、制御マイコン20から後述する「送信部33から送信された抽出結果に基づく確認事項についての情報」が送信されると、この情報の表示を行う。 When the operation mode is selected, the output unit 35 displays a display requesting that a person be expressed (for example, a message "Please make a registered sound" or a "registered gesture" is performed. Please display the message). Further, in the operation mode, when the control microcomputer 20 transmits "information about confirmation items based on the extraction result transmitted from the transmission unit 33", the output unit 35 displays this information.

出力部35は、登録モードが選択されると、人の表現に関連付けて登録するエレベータの新たな操作の入力を要請する表示(例えば、「以下の候補から登録する操作を選択してください」とのメッセージ表示)や人の表現に関連付けて登録するエレベータに対する新たな確認事項の入力を要請する表示(例えば、「以下の候補から登録する確認事項を選択してください」とのメッセージ表示)を行う。入力部34は、登録モードにおいて、これらのエレベータの新たな操作や、これらのエレベータに対する新たな確認事項に関する情報が入力されると、登録部37にこの情報を出力する。 When the registration mode is selected, the output unit 35 displays a display requesting input of a new operation of the elevator to be registered in association with the expression of a person (for example, "Please select an operation to be registered from the following candidates". (Message display of .. When the input unit 34 inputs information regarding a new operation of these elevators or a new confirmation item for these elevators in the registration mode, the input unit 34 outputs this information to the registration unit 37.

センサ部30は、上述のように、人の表現を取得可能であり、操作モード及び登録モードのいずれにおいても、取得した人の表現を波形変換部31に出力する。また、センサ部30は、例えば、マイク(マイクロフォン)300、加速度センサ301、及び、カメラ302を有する。 As described above, the sensor unit 30 can acquire the human expression, and outputs the acquired human expression to the waveform conversion unit 31 in both the operation mode and the registration mode. Further, the sensor unit 30 includes, for example, a microphone (microphone) 300, an acceleration sensor 301, and a camera 302.

マイク300は、経時的に収集した音に応じた音データを取得可能であり、取得した音データを波形変換部31に出力する。具体的に、マイク300が収集する音は、利用者等による音声(意味のある単語(例えば、「一階」等)や意味の無い発声(例えば、「あー」等))、利用者等が手を叩く音、利用者等が所持する笛を鳴らす音等である。 The microphone 300 can acquire sound data according to the sound collected over time, and outputs the acquired sound data to the waveform conversion unit 31. Specifically, the sound collected by the microphone 300 is a voice by a user or the like (meaningful word (for example, "first floor" or the like) or meaningless utterance (for example, "ah" or the like)) or the user or the like. The sound of clapping hands, the sound of whistling possessed by users, etc.

加速度センサ301は、経時的に取得した携帯端末3の加速度に対応する加速度データを取得可能なセンサであり、取得した加速度データを波形変換部31に出力する。具体的に、加速度センサ301は、携帯端末3を動かすことで所定の方向に加速度を加える動き(ジェスチャー、例えば、利用者等が携帯端末を手で複数回振る動き)等に対して、加速度データを取得する。 The acceleration sensor 301 is a sensor capable of acquiring acceleration data corresponding to the acceleration of the mobile terminal 3 acquired over time, and outputs the acquired acceleration data to the waveform conversion unit 31. Specifically, the acceleration sensor 301 performs acceleration data for a movement (gesture, for example, a movement in which a user or the like shakes the mobile terminal a plurality of times by hand) in which acceleration is applied in a predetermined direction by moving the mobile terminal 3. To get.

カメラ302は、周囲を経時的に撮像した画像に応じた画像データを取得可能であり、取得した画像データを波形変換部31に出力する。具体的に、カメラ302が取得する画像データは、利用者等のポーズやジェスチャー等を含む画像データである。より具体的に、利用者等のポーズは、例えば、「人差し指で上方を指すポーズ」等であり、利用者等のジェスチャーは、例えば、「片手を挙げる動作」、「頭の左右上下の動き」、「目(瞳)の左右上下の動き」、「まばたきやウインクをする動作」等である。 The camera 302 can acquire image data according to an image of the surroundings captured over time, and outputs the acquired image data to the waveform conversion unit 31. Specifically, the image data acquired by the camera 302 is image data including poses, gestures, and the like of the user and the like. More specifically, the pose of the user or the like is, for example, "a pose pointing upward with the index finger", and the gesture of the user or the like is, for example, "the movement of raising one hand" or "the movement of the head left, right, up and down". , "Movement of eyes (pupil) left, right, up and down", "Blinking and winking", etc.

波形変換部31は、操作モード及び登録モードのいずれにおいても、センサ部30によって取得された人の表現(例えば、音データ、加速度データ、画像データ)を、時間軸を有する第一波形データに変換する。尚、本実施形態の遠隔制御システム1では、第一波形データは、音データの特性を表す軸と、音データが取得された時間に対応する時間軸とを有する音波形データと、加速度データの特性を表す軸と、加速度データが取得された時間に対応する時間軸とを有する加速度波形データと、画像データの特性を表す軸と、画像データが取得された時間に対応する時間軸とを有する画像波形データとを含む。 The waveform conversion unit 31 converts the human representation (for example, sound data, acceleration data, image data) acquired by the sensor unit 30 into first waveform data having a time axis in both the operation mode and the registration mode. do. In the remote control system 1 of the present embodiment, the first waveform data is a sound wave data having an axis representing the characteristics of the sound data and a time axis corresponding to the time when the sound data is acquired, and acceleration data. It has an acceleration waveform data having an axis representing the characteristics and a time axis corresponding to the time when the acceleration data was acquired, an axis representing the characteristics of the image data, and a time axis corresponding to the time when the image data was acquired. Includes image waveform data.

具体的に、波形変換部31は、マイク300によって取得された音データを、この音データの特性を表す軸と、音データが取得された時間に対応する時間軸とを有する音波形データに変換する。音データの特性を表す軸は、例えば、音の周波数を表す軸であり、この場合、音波形データは、音の周波数の経時変化を示すデータである。 Specifically, the waveform conversion unit 31 converts the sound data acquired by the microphone 300 into sound wave data having an axis representing the characteristics of the sound data and a time axis corresponding to the time when the sound data is acquired. do. The axis representing the characteristics of the sound data is, for example, the axis representing the frequency of the sound, and in this case, the sound wave data is the data showing the time course of the frequency of the sound.

また、波形変換部31は、加速度センサ301によって取得された加速度データを、この加速度データの特性を表す軸と、加速度データが取得された時間に対応する時間軸とを有する加速度波形データに変換する。加速度の特性を表す軸は、例えば、加速度の大きさを表す軸であり、この場合、加速度波形データは、加速度の経時変化を示すデータである。 Further, the waveform conversion unit 31 converts the acceleration data acquired by the acceleration sensor 301 into acceleration waveform data having an axis representing the characteristics of the acceleration data and a time axis corresponding to the time when the acceleration data was acquired. .. The axis representing the characteristics of the acceleration is, for example, an axis representing the magnitude of the acceleration, and in this case, the acceleration waveform data is data showing the change with time of the acceleration.

さらに、波形変換部31は、カメラ302によって取得された画像データを、この画像データの特性を表す軸と、画像データが取得された時間に対応する時間軸とを有する画像波形データに変換する。画像データの特性を表す軸は、例えば、画像の彩度を表す軸、及び、画像の輝度を表す軸であり、この場合、画像波形データは、画像の彩度及び輝度の経時変化を示すデータである。また、画像データの特性を表す軸は、例えば、画像内における特定の部位の位置を示す軸であり、この場合、画像波形データは、画像内における特定の部位の軌跡を示すデータである。 Further, the waveform conversion unit 31 converts the image data acquired by the camera 302 into image waveform data having an axis representing the characteristics of the image data and a time axis corresponding to the time when the image data was acquired. The axes representing the characteristics of the image data are, for example, the axis representing the saturation of the image and the axis representing the brightness of the image. In this case, the image waveform data is data showing the change in saturation and brightness of the image over time. Is. Further, the axis representing the characteristics of the image data is, for example, an axis indicating the position of a specific portion in the image, and in this case, the image waveform data is data indicating the locus of the specific portion in the image.

具体的に、画像波形データが、画像内における特定の部位の軌跡を示す場合、波形変換部31は、画像の輪郭を検出し、各頂点(利用者等の頭や指先等)をポイントとして取得し、このポイントの垂直方向(高さ)の経時変化や、このポイントの水平方向の経時変化を画像波形データとする。 Specifically, when the image waveform data shows the trajectory of a specific part in the image, the waveform conversion unit 31 detects the contour of the image and acquires each vertex (head, fingertip, etc. of the user, etc.) as a point. Then, the change with time in the vertical direction (height) of this point and the change with time in the horizontal direction of this point are used as image waveform data.

本実施形態の遠隔制御システム1では、波形変換部31は、操作モードにおいて、変換された第一波形データを抽出部32に出力する。また、波形変換部31は、登録モードにおいて、変換された第一波形データを登録部37に出力する。 In the remote control system 1 of the present embodiment, the waveform conversion unit 31 outputs the converted first waveform data to the extraction unit 32 in the operation mode. Further, the waveform conversion unit 31 outputs the converted first waveform data to the registration unit 37 in the registration mode.

記憶部36は、例えば、エレベータ2の操作に関連付けられた複数の第二波形データ、及び、エレベータ2に対する確認事項に関連付けられた複数の第三波形データを予め記憶している。記憶部36は、第二波形データを書き込み可能であると共に、第三波形データを書き込み可能である。尚、本実施形態の遠隔制御システム1では、記憶部36は、第二波形データ及び第三波形データの両方を書き換え可能に記憶している。また、記憶部36は、第二波形データ及び第三波形データをまとめて記憶している。 The storage unit 36 stores, for example, a plurality of second waveform data associated with the operation of the elevator 2 and a plurality of third waveform data associated with confirmation items for the elevator 2 in advance. The storage unit 36 can write the second waveform data and can write the third waveform data. In the remote control system 1 of the present embodiment, the storage unit 36 stores both the second waveform data and the third waveform data in a rewritable manner. Further, the storage unit 36 stores the second waveform data and the third waveform data together.

具体的に、記憶部36は、操作「上昇乗場呼び」と、音「のぼり」、ジェスチャー「片手を挙げる動作」、及び、ポーズ「人差し指で上方を指すポーズ」とをそれぞれ関連付けて記憶している。また、記憶部36は、操作「下降乗場呼び」と、音「くだり」、ジェスチャー「片手を下げる動作」、及び、ポーズ「人差し指で下方を指すポーズ」とそれぞれを関連付けて記憶している。さらに、記憶部36は、確認事項「インジケータ」と、音「表示」、ジェスチャー「片手を左右に振る動作」、及び、ポーズ「片手を握ったポーズ」とをそれぞれ関連付けて記憶している。 Specifically, the storage unit 36 stores the operation "climbing landing call", the sound "climbing", the gesture "movement of raising one hand", and the pose "pose pointing upward with the index finger" in association with each other. .. Further, the storage unit 36 stores the operation "descent landing call", the sound "down", the gesture "movement of lowering one hand", and the pose "pose pointing downward with the index finger" in association with each other. Further, the storage unit 36 stores the confirmation item "indicator", the sound "display", the gesture "movement of waving one hand left and right", and the pose "pose holding one hand" in association with each other.

抽出部32は、操作モードにおいて、波形変換部31によって変換された第一波形データと、記憶部36における第二波形データとを比較する。抽出部32は、比較の結果、第一波形データと第二波形データとが一致する場合には、一致した第二波形データに関連付けて記憶部36に記憶されたエレベータの操作やエレベータに対する確認事項を抽出し、この抽出結果(エレベータの操作やエレベータに対する確認事項)を送信部33に出力する。 The extraction unit 32 compares the first waveform data converted by the waveform conversion unit 31 with the second waveform data in the storage unit 36 in the operation mode. As a result of comparison, when the first waveform data and the second waveform data match, the extraction unit 32 associates the matched second waveform data with the elevator operation stored in the storage unit 36 and confirmation items for the elevator. Is extracted, and the extraction result (elevator operation and confirmation items for the elevator) is output to the transmission unit 33.

尚、抽出部32は、比較の結果、第一波形データと第二波形データとが一致した場合には、例えば、出力部35に、操作が認識された旨のメッセージを行わせてもよいし、第一波形データと第二波形データとが一致しない場合には、例えば、出力部35に、人の表現を再度行うことを要請する表示(例えば、「操作に失敗しました。もう一度、登録済の音を出してください。」とのメッセージ表示や、「操作に失敗しました。もう一度、登録済のジェスチャーを行ってください。」とのメッセージ表示)を行わせてもよい。 If the first waveform data and the second waveform data match as a result of comparison, the extraction unit 32 may, for example, cause the output unit 35 to send a message to the effect that the operation has been recognized. If the first waveform data and the second waveform data do not match, for example, a display requesting the output unit 35 to perform the expression of a person again (for example, "Operation failed. Registered again." The message "Please make a sound" or "The operation failed. Please perform the registered gesture again.") May be displayed.

送信部33は、操作モードにおいて、抽出部32の抽出結果を、制御マイコン20に送信する。本実施形態の遠隔制御システム1では、送信部33は、操作モードにおいて、抽出部32の抽出結果を、後述する受信機21を介して制御マイコン20に送信する。尚、本実施形態の遠隔制御システム1では、送信部33は、例えば、赤外線通信により受信機21を介して制御マイコン20に通信可能である。 The transmission unit 33 transmits the extraction result of the extraction unit 32 to the control microcomputer 20 in the operation mode. In the remote control system 1 of the present embodiment, the transmission unit 33 transmits the extraction result of the extraction unit 32 to the control microcomputer 20 via the receiver 21, which will be described later, in the operation mode. In the remote control system 1 of the present embodiment, the transmission unit 33 can communicate with the control microcomputer 20 via the receiver 21 by, for example, infrared communication.

登録部37は、登録モードにおいて、入力部34からエレベータの新たな操作が出力された場合、波形変換部31によって変換された第一波形データを第二波形データとして、このエレベータの操作に関連付けて記憶部36に書き込む。また、登録部37は、登録モードにおいて、入力部34からエレベータの新たな操作が出力された場合、波形変換部31によって変換された第一波形データを第二波形データとして、この新たな操作に関連付けて記憶部36に書き込む。さらに、登録部37は、登録モードにおいて、入力部34からエレベータに対する新たな確認事項が出力された場合、波形変換部31によって変換された第一波形データを第三波形データとして、エレベータ2に対する新たな確認事項に関連付けて記憶部36に書き込む。 When a new operation of the elevator is output from the input unit 34 in the registration mode, the registration unit 37 uses the first waveform data converted by the waveform conversion unit 31 as the second waveform data and associates it with the operation of this elevator. Write to the storage unit 36. Further, when a new operation of the elevator is output from the input unit 34 in the registration mode, the registration unit 37 uses the first waveform data converted by the waveform conversion unit 31 as the second waveform data for this new operation. It is associated and written in the storage unit 36. Further, when a new confirmation item for the elevator is output from the input unit 34 in the registration mode, the registration unit 37 uses the first waveform data converted by the waveform conversion unit 31 as the third waveform data, and newly inputs the first waveform data to the elevator 2. It is written in the storage unit 36 in association with the confirmation items.

エレベータ2は、エレベータ2を制御する制御マイコン20に加えて、制御マイコン20に接続された受信機21と、エレベータ2が設置されている建物内に設けられた昇降路内を昇降するかごを含む動作部(図示なし。)と、を有する。 The elevator 2 includes, in addition to the control microcomputer 20 that controls the elevator 2, a receiver 21 connected to the control microcomputer 20 and a car that moves up and down in a hoistway provided in a building in which the elevator 2 is installed. It has a moving unit (not shown).

エレベータ2において、図1では、一台の受信機21が示されているが、エレベータ2は複数台の受信機21を有する。受信機21は、エレベータ2が複数の階層を有する建物に設置されている場合、例えば、制御マイコン20の周囲、かごの周囲、及び、この建物の各階層にそれぞれ設置されている。 In the elevator 2, although one receiver 21 is shown in FIG. 1, the elevator 2 has a plurality of receivers 21. When the elevator 2 is installed in a building having a plurality of floors, the receiver 21 is installed, for example, around the control microcomputer 20, around the car, and in each floor of the building.

受信機21は、操作モードにおいて、送信部33から出力される抽出結果を受信可能である。また、受信機21は、送信部33から出力される抽出結果を受信すると、受信した抽出結果を制御マイコン20に出力する。 The receiver 21 can receive the extraction result output from the transmission unit 33 in the operation mode. Further, when the receiver 21 receives the extraction result output from the transmission unit 33, the receiver 21 outputs the received extraction result to the control microcomputer 20.

尚、複数の受信機21が抽出結果を受信した場合、各受信機21は、抽出結果に加えて、受信した信号(受信した抽出結果を示す信号)の大きさを制御マイコン20に出力可能であってもよい。この場合、制御マイコン20はこの複数の受信機21のうち最も大きな信号を受信した受信機21により出力された抽出結果を採用してもよい。また、最も大きな信号を受信した受信機21が、階層に設置された受信機21である場合、受信した抽出結果及び受信した信号の大きさに加えて、この階層を示す情報を制御マイコン20に出力してもよい。 When a plurality of receivers 21 receive the extraction result, each receiver 21 can output the magnitude of the received signal (the signal indicating the received extraction result) to the control microcomputer 20 in addition to the extraction result. There may be. In this case, the control microcomputer 20 may adopt the extraction result output by the receiver 21 that has received the largest signal among the plurality of receivers 21. Further, when the receiver 21 that has received the largest signal is the receiver 21 installed in the layer, in addition to the received extraction result and the size of the received signal, the information indicating this layer is transmitted to the control microcomputer 20. It may be output.

制御マイコン20は、送信部33から送信された抽出結果がエレベータ2の操作である場合、この抽出結果に基づいてエレベータ2を制御する。具体的に、制御マイコン20は、操作モードにおいて、送信部33から「上昇乗場呼び」との抽出結果及び階層を示す情報が送信されると、かごを階層(受信機21から送信された情報により示される階層)まで移動させて停止させた後、ドア(かごドア及び乗場ドア)を開閉させ、一定時間の経過後にかごを上昇させる。 When the extraction result transmitted from the transmission unit 33 is the operation of the elevator 2, the control microcomputer 20 controls the elevator 2 based on the extraction result. Specifically, in the operation mode, when the transmission unit 33 transmits the extraction result of "rising landing call" and the information indicating the hierarchy, the control microcomputer 20 sets the car in the hierarchy (based on the information transmitted from the receiver 21). After moving to the indicated level) and stopping, the doors (car door and landing door) are opened and closed, and the car is raised after a certain period of time.

また、制御マイコン20は、送信部33からの抽出結果がエレベータ2に対する確認事項である場合、この抽出結果に基づく確認事項についての情報を携帯端末3に送信する。具体的に、制御マイコン20は、送信部33から「インジケータ」との抽出結果及び階層を示す情報が送信されると、インジケータの表示に関する情報(例えば、「かごは三階で停止中です。」との情報)を携帯端末3に送信する。 Further, when the extraction result from the transmission unit 33 is a confirmation item for the elevator 2, the control microcomputer 20 transmits information about the confirmation item based on the extraction result to the mobile terminal 3. Specifically, when the control microcomputer 20 transmits information indicating the extraction result and the hierarchy with the "indicator" from the transmission unit 33, the information regarding the display of the indicator (for example, "the car is stopped on the third floor". " Information) is transmitted to the mobile terminal 3.

以上の遠隔制御システム1では、制御マイコン20は、人の表現に対応する操作に基づいてエレベータ2を制御したり、人の表現に対応する確認事項に関する情報を、制御マイコン20から携帯端末3に送信したりすることができる。言い換えると、遠隔制御システム1では、遠隔で(例えば、エレベータ2の操作盤から離れた位置から、この操作盤を直接的に操作せずに)、エレベータ2に所望の内容(例えば、乗場呼び等)を実行させることができる。 In the above remote control system 1, the control microcomputer 20 controls the elevator 2 based on the operation corresponding to the human expression, and the information regarding the confirmation items corresponding to the human expression is transmitted from the control microcomputer 20 to the mobile terminal 3. You can send it. In other words, in the remote control system 1, the contents desired for the elevator 2 (for example, a landing call, etc.) are remotely performed (for example, from a position away from the operation panel of the elevator 2 without directly operating the operation panel). ) Can be executed.

本実施形態の遠隔制御システム1では、記憶部36に第二波形データを追加できるため、エレベータの操作に関連する第二波形データを書き込むことで、遠隔でエレベータの新たな操作(記憶部36に予め記憶されていないエレベータの操作)を実行させることができる。また、記憶部36に第三波形データを追加できるため、エレベータの確認事項に関連する第三波形データを書き込むことで、エレベータ2に対する新たな確認事項(記憶部36に予め記憶されていないエレベータに対する確認事項)についても、制御マイコン20から携帯端末3に送信させることができる。 In the remote control system 1 of the present embodiment, since the second waveform data can be added to the storage unit 36, by writing the second waveform data related to the operation of the elevator, a new operation of the elevator (to the storage unit 36) can be performed remotely. Elevator operations that are not stored in advance) can be executed. Further, since the third waveform data can be added to the storage unit 36, by writing the third waveform data related to the confirmation items of the elevator, new confirmation items for the elevator 2 (for the elevator that is not stored in advance in the storage unit 36). (Confirmation items) can also be transmitted from the control microcomputer 20 to the mobile terminal 3.

また、本実施形態の遠隔制御システム1では、人による音の表現や、人の動き(ジェスチャー)や、人の姿勢(ポーズ)により、エレベータ2に所望の内容を実行させることができる。 Further, in the remote control system 1 of the present embodiment, the elevator 2 can execute a desired content by the expression of a sound by a person, the movement (gesture) of the person, and the posture (pose) of the person.

さらに、本実施形態の遠隔制御システム1では、利用者等が、所望の人の表現と、エレベータ2の操作やエレベータ2に対する確認事項とを関連付けることができるため、予め設定された人の表現以外にも、利用者等にとって実施が容易な表現を行った場合にも、エレベータ2に所望の内容を実行させることができる。 Further, in the remote control system 1 of the present embodiment, since the user or the like can associate the expression of a desired person with the operation of the elevator 2 and the confirmation items for the elevator 2, other than the preset expression of the person. In addition, the elevator 2 can execute the desired content even when the expression is easy for the user or the like.

尚、本発明の遠隔制御システムは、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、ある実施形態の構成に他の実施形態の構成を追加することができ、また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることができる。さらに、ある実施形態の構成の一部を削除することができる。 It should be noted that the remote control system of the present invention is not limited to the above-described embodiment, and it is needless to say that various modifications can be made without departing from the gist of the present invention. For example, the configuration of one embodiment can be added to the configuration of another embodiment, and a part of the configuration of one embodiment can be replaced with the configuration of another embodiment. In addition, some of the configurations of certain embodiments can be deleted.

例えば、携帯端末3を、エレベータの保守を担当する技術員が所持してもよい。この場合、記憶部36は、第三波形データを、エレベータに対する確認事項の代わりに、エレベータに対する要求事項に関連付けて記憶していてもよい。エレベータに対する要求事項は、例えば、制御マイコンの各種メモリにおける数値等の情報である。また、この場合、抽出部32は、操作モードにおいて、波形変換部31によって変換された第一波形データと、記憶部36における第三波形データとを比較し、この結果、第一波形データと第三波形データとが一致する場合には、記憶部36において一致した第三波形データに関連付けて記憶されたエレベータに対する要求事項を抽出し、この抽出結果(エレベータに対する要求事項)を送信部33に出力する。さらに、送信部33は、操作モードにおいて、抽出部32の抽出結果を、制御マイコン20に送信すると、制御マイコン20は、送信部33から抽出結果としてエレベータ2に対する要求事項が送信されると、この抽出結果に基づく要求事項についての情報を携帯端末3に送信する。具体的に、制御マイコン20は、送信部33から「特定のアドレスに対応するメモリにおける数値」との抽出結果及び階層を示す情報が送信されると、抽出結果に基づく情報(例えば、「アドレスaに対応するメモリにおける数値が00100」との情報)を携帯端末3に送信する。 For example, the mobile terminal 3 may be possessed by a technician in charge of elevator maintenance. In this case, the storage unit 36 may store the third waveform data in association with the requirements for the elevator instead of the confirmation items for the elevator. The requirements for the elevator are, for example, information such as numerical values in various memories of the control microcomputer. Further, in this case, the extraction unit 32 compares the first waveform data converted by the waveform conversion unit 31 with the third waveform data in the storage unit 36 in the operation mode, and as a result, the first waveform data and the first waveform data are compared. When the three waveform data match, the storage unit 36 extracts the requirements for the elevator stored in association with the matched third waveform data, and outputs the extraction result (requirements for the elevator) to the transmission unit 33. do. Further, when the transmission unit 33 transmits the extraction result of the extraction unit 32 to the control microcomputer 20 in the operation mode, the control microcomputer 20 transmits the requirements to the elevator 2 as the extraction result from the transmission unit 33. Information about the requirements based on the extraction result is transmitted to the mobile terminal 3. Specifically, when the transmission unit 33 transmits information indicating the extraction result and the hierarchy of the “numerical value in the memory corresponding to the specific address”, the control microcomputer 20 receives information based on the extraction result (for example, “address a”). Information that the numerical value in the memory corresponding to is 00100 ") is transmitted to the mobile terminal 3.

以上により、遠隔制御システム1では、人の表現に対応する要求事項に関する情報が、制御マイコン20から携帯端末3に送信される。言い換えると、遠隔でエレベータ2に所望の内容を実行させることができる。具体的に、技術員は、携帯端末3で要求事項を確認することで、エレベータ2の状況を把握することができる。 As described above, in the remote control system 1, information regarding the requirements corresponding to the expression of a person is transmitted from the control microcomputer 20 to the mobile terminal 3. In other words, the elevator 2 can remotely execute the desired content. Specifically, the technician can grasp the situation of the elevator 2 by confirming the requirements on the mobile terminal 3.

また、この場合、登録部37は、登録モードにおいて、入力部34からエレベータに対する新たな要求事項が出力された場合、波形変換部31によって変換された第一波形データを第三波形データとして、このエレベータに対する要求事項に関連付けて記憶部36に書き込んでもよい。これにより、記憶部36に第三波形データを追加できるため、エレベータに対する要求事項に関連する第三波形データを書き込むことで、遠隔でエレベータに対する新たな要求事項(記憶部36に予め記憶されていないエレベータ2に対する要求事項)についての情報を入手することができる。 Further, in this case, when a new requirement for the elevator is output from the input unit 34 in the registration mode, the registration unit 37 uses the first waveform data converted by the waveform conversion unit 31 as the third waveform data. It may be written in the storage unit 36 in association with the requirement for the elevator. As a result, the third waveform data can be added to the storage unit 36. Therefore, by writing the third waveform data related to the requirements for the elevator, new requirements for the elevator (not stored in advance in the storage unit 36) are remotely stored. Information about the requirements for elevator 2) can be obtained.

尚、記憶部36は、第三波形データを、エレベータに対する確認事項、及び、エレベータに対する要求事項の両方に関連付けて記憶していてもよい。 The storage unit 36 may store the third waveform data in association with both the confirmation items for the elevator and the requirements for the elevator.

さらに、制御マイコン20は、携帯端末3からの抽出結果を取得した後に、エレベータ2での制御結果(例えば、「上昇乗場呼びを実行しました。」といった制御結果)を携帯端末3に出力してもよい。携帯端末3は、制御マイコン20から出力された制御結果を、出力部35による文字表示や画像表示により出力してもよい。また、出力部35がスピーカーを含む場合には、制御マイコン20から出力された制御結果を、音声により出力してもよい。この場合、利用者等は、人の表現によるエレベータ2での制御結果を、携帯端末3により確認することができる。 Further, the control microcomputer 20 outputs the control result in the elevator 2 (for example, the control result such as "the ascending landing call was executed") to the mobile terminal 3 after acquiring the extraction result from the mobile terminal 3. May be good. The mobile terminal 3 may output the control result output from the control microcomputer 20 by displaying characters or displaying images by the output unit 35. When the output unit 35 includes a speaker, the control result output from the control microcomputer 20 may be output by voice. In this case, the user or the like can confirm the control result in the elevator 2 expressed by a person on the mobile terminal 3.

記憶部36は、一つのエレベータの操作と、音の表現、ジェスチャー、及び、ポーズの少なくとも一つとを関連付けて記憶していればよい。記憶部36は、一つのエレベータ操作と複数の音の表現とを関連付けたり、一つのエレベータ操作と複数のジェスチャーとを関連付けたり、一つのエレベータ操作と複数のポーズとを関連付けて記憶してもよい。記憶部36は、一つのエレベータの操作と一つの音の表現のみとを関連付けて記憶してもよい。 The storage unit 36 may store one elevator operation in association with at least one of sound expression, gesture, and pose. The storage unit 36 may associate one elevator operation with a plurality of sound expressions, associate one elevator operation with a plurality of gestures, and store one elevator operation with a plurality of poses. .. The storage unit 36 may store the operation of one elevator and the expression of only one sound in association with each other.

さらに、記憶部36は、一つのエレベータの操作と、音、ジェスチャー、及び、ポーズのうち少なくとも二つの組み合わせとを関連付けて記憶してもよい。具体的に、記憶部36は、操作「上昇乗場呼び」と、音「のぼり」及びジェスチャー「片手を挙げる動作」の組み合わせとを関連付けて記憶していてもよい。この場合、利用者等が「のぼり」と発声すると共に、片手を挙げる動作を行うことで、上昇乗場呼びが実行される。 Further, the storage unit 36 may store the operation of one elevator in association with at least two combinations of sounds, gestures, and poses. Specifically, the storage unit 36 may store the combination of the operation "climbing landing call", the sound "climbing", and the gesture "movement of raising one hand" in association with each other. In this case, the user or the like utters "climbing" and raises one hand to execute the ascending landing call.

記憶部36は、複数のエレベータの操作と、音、ジェスチャー、及び、ポーズのうちの一つとを関連付けて記憶してもよい。具体的に、記憶部36は、操作「上昇乗場呼び」及び操作「かごの行き先階を二階に指定」と、音「二階へのぼる」とを関連付けて記憶していてもよい。 The storage unit 36 may store the operation of a plurality of elevators in association with one of a sound, a gesture, and a pose. Specifically, the storage unit 36 may store the operation "calling the ascending platform" and the operation "designating the destination floor of the car as the second floor" in association with the sound "climbing to the second floor".

以上の変形例は、エレベータに対する確認事項や要求事項と、音、ジェスチャー、及び、ポーズとについても同様に採用可能である。 The above modification can be similarly adopted for confirmation items and requirements for the elevator, as well as sounds, gestures, and poses.

記憶部36は、エレベータの操作、エレベータに対する確認事項、及び、エレベータに対する要求事項のうち少なくとも二つの組み合わせと、音、ジェスチャー、及び、ポーズの少なくとも一つとを関連付けて記憶していてもよい。 The storage unit 36 may store at least two combinations of elevator operations, elevator confirmation items, and elevator requirements in association with at least one of sounds, gestures, and poses.

また、携帯端末3は、第二波形データ及び第三波形データを個別に記憶してもよい。具体的に、携帯端末3のある記憶部が、エレベータの操作と第二波形データとを関連付けて記憶すると共に、携帯端末3の別の記憶部がエレベータに対する確認事項やエレベータに対する要求事項と第三波形データとを関連付けて記憶してもよい。尚、記憶部36は、携帯端末3とは異なる別の端末(サーバー等)に設けられていてもよい。このような場合においても、利用者等は、携帯端末3を用いてエレベータ2を遠隔で制御することができる。 Further, the mobile terminal 3 may store the second waveform data and the third waveform data individually. Specifically, a storage unit of the mobile terminal 3 stores the operation of the elevator in association with the second waveform data, and another storage unit of the mobile terminal 3 stores confirmation items for the elevator, requirements for the elevator, and the third. It may be stored in association with the waveform data. The storage unit 36 may be provided in a terminal (server or the like) different from the mobile terminal 3. Even in such a case, the user or the like can remotely control the elevator 2 by using the mobile terminal 3.

センサ部30は、マイク300、加速度センサ301、カメラ302、及び、ジャイロセンサのいずれか一つを有していればよい。ジャイロセンサは、経時的に取得した携帯端末3の傾きに対応する傾斜データを取得可能なセンサであり、取得した傾斜データを波形変換部31に出力する。この場合、第一波形データは、傾斜データの特性を表す軸と、傾斜データが取得された時間に対応する時間軸とを有する傾き波形データを含む。波形変換部31は、ジャイロセンサから傾斜データが出力されると、この傾斜データの特性を表す軸と、傾斜データが取得された時間に対応する時間軸とを有する傾き波形データに変換する。傾きの特性を表す軸は、例えば、傾きの大きさを表す軸であり、この場合、第一波形データは、傾きの経時変化を示すデータである。具体的に、ジャイロセンサが傾斜データを取得する動きは、利用者等が携帯端末3を傾ける動き(例えば、利用者等が手で持った携帯端末3を所定の角度で傾ける動き)等である。 The sensor unit 30 may have any one of the microphone 300, the acceleration sensor 301, the camera 302, and the gyro sensor. The gyro sensor is a sensor capable of acquiring tilt data corresponding to the tilt of the mobile terminal 3 acquired over time, and outputs the acquired tilt data to the waveform conversion unit 31. In this case, the first waveform data includes tilt waveform data having an axis representing the characteristics of the tilt data and a time axis corresponding to the time when the tilt data was acquired. When the tilt data is output from the gyro sensor, the waveform conversion unit 31 converts the tilt data into tilt waveform data having an axis representing the characteristics of the tilt data and a time axis corresponding to the time when the tilt data was acquired. The axis representing the characteristics of the slope is, for example, the axis representing the magnitude of the slope, and in this case, the first waveform data is the data showing the change with time of the slope. Specifically, the movement of the gyro sensor to acquire the tilt data is a movement of the user or the like tilting the mobile terminal 3 (for example, a movement of tilting the mobile terminal 3 held by the user or the like at a predetermined angle). ..

また、第一波形データは、音波形データ、加速度波形データ、画像波形データ、及び、傾き波形データのうち少なくとも一つを含めばよい。 Further, the first waveform data may include at least one of the sound waveform data, the acceleration waveform data, the image waveform data, and the tilt waveform data.

さらに、音波形データは音データの波形自体であってもよいし、加速度波形データは加速度データの波形自体であってもよい。この場合、抽出部32は、センサ部により取得した音データの波形や加速度データの波形と、記憶部36に記憶されている音データの波形や加速度データの波形とを比較することになる。尚、「第一波形データと第二波形データとの一致」は、完全一致に限らず、略一致している場合を含んでもよい。 Further, the sound wave data may be the waveform itself of the sound data, and the acceleration waveform data may be the waveform itself of the acceleration data. In this case, the extraction unit 32 compares the waveform of the sound data and the waveform of the acceleration data acquired by the sensor unit with the waveform of the sound data and the waveform of the acceleration data stored in the storage unit 36. The "match between the first waveform data and the second waveform data" is not limited to an exact match, and may include a case where the first waveform data and the second waveform data are substantially matched.

送信部33は、エレベータ2が設置された建物内のWi-Fi等により、制御マイコン20に通信可能であってもよい。この場合、携帯端末3の位置情報(例えば、携帯端末3がどの階層に位置しているかを示す情報)を受信機21又は制御マイコン20に出力してもよい。 The transmission unit 33 may be able to communicate with the control microcomputer 20 by Wi-Fi or the like in the building where the elevator 2 is installed. In this case, the position information of the mobile terminal 3 (for example, information indicating in which layer the mobile terminal 3 is located) may be output to the receiver 21 or the control microcomputer 20.

上記実施形態の遠隔制御システム1は、昇降装置としてエレベータを対象としていたが、エスカレータを対象としていてもよい。この場合、エスカレータの操作は、例えば、速度の変更であり、エスカレータに対する確認事項は、例えば、エスカレータの昇降方向(昇りエスカレータ又は下りエスカレータ)であり、エスカレータに対する要求事項は、例えば、制御マイコンのメモリに記憶された数値等である。 The remote control system 1 of the above embodiment targets an elevator as an elevating device, but may target an escalator. In this case, the operation of the escalator is, for example, a change in speed, the confirmation item for the escalator is, for example, the ascending / descending direction of the escalator (ascending escalator or descending escalator), and the requirement for the escalator is, for example, the memory of the control microcomputer. It is a numerical value stored in.

1…遠隔制御システム、2…エレベータ、20…制御マイコン、21…受信機、3…携帯端末、30…センサ部、300…マイク、301…加速度センサ、302…カメラ、31…波形変換部、32…抽出部、33…送信部、34…入力部、35…出力部、36…記憶部、37…登録部 1 ... remote control system, 2 ... elevator, 20 ... control microcomputer, 21 ... receiver, 3 ... mobile terminal, 30 ... sensor unit, 300 ... microphone, 301 ... acceleration sensor, 302 ... camera, 31 ... waveform conversion unit, 32 ... Extraction unit, 33 ... Transmission unit, 34 ... Input unit, 35 ... Output unit, 36 ... Storage unit, 37 ... Registration unit

Claims (3)

昇降装置を制御する制御マイコンと、
前記制御マイコンと通信可能な携帯端末と、を含み、
該携帯端末は、
利用者による音を経時的に取得するセンサ部と、
前記利用者による音でエレベータを操作する操作モード又は前記利用者による音を昇降装置の新たな操作に関連付けて登録する登録モードを選択可能で、且つ、前記昇降装置の新たな操作を入力可能な入力部と、
それぞれが前記昇降装置の操作に関連付けられた複数の第二波形データを記憶する記憶部と、
前記センサ部によって取得された前記利用者による音を、前記センサ部によって取得された音の周波数を表わす軸と、音データが取得された時間に対応する時間軸とを有する第一波形データに変換する波形変換部と、
前記操作モードが選択されているときに、前記波形変換部によって変換された前記第一波形データの波形と前記複数の第二波形データの波形とを比較することによって、前記変換された前記第一波形データに対応する前記昇降装置の操作を抽出する抽出部と、
前記制御マイコンからの情報を出力する出力部と、
該抽出部による抽出結果を前記制御マイコンに送信する送信部と、
前記第二波形データを前記記憶部に書き込み可能な登録部と、を備え、
前記制御マイコンは、前記送信部から送信された前記抽出結果に基づいて前記昇降装置を制御し、
前記利用者による音は、意味のない発声、利用者が手をたたく音、及び、利用者が所持する笛を鳴らす音のうち少なくとも一つであり、
前記登録部は、前記登録モードが選択されているときに、前記波形変換部によって変換された第一波形データを前記第二波形データとして、前記入力部から入力された前記新たな操作に関連付けて前記記憶部に書き込み、
前記抽出部は、前記登録部によって前記新たな操作に関連付けられた第二波形データが前記記憶部に書き込まれた後では、前記波形変換部によって変換された前記第一波形データの波形と、前記新たな操作に関連付けられた第二波形データを含む複数の第二波形データの波形とを比較することによって、前記変換された前記第一波形データに対応する前記昇降装置の操作を抽出し、
前記制御マイコンは、前記携帯端末から前記抽出結果を取得した後の前記抽出部により抽出された前記昇降装置の操作の内容を前記携帯端末に送信し、
前記携帯端末は、前記制御マイコンから送信された前記抽出部により抽出された昇降装置の操作の内容を、前記出力部により出力する、ことを特徴とする昇降装置の遠隔制御システム。
A control microcomputer that controls the elevating device and
Including a mobile terminal capable of communicating with the control microcomputer
The mobile terminal is
A sensor unit that acquires the sound of the user over time,
It is possible to select an operation mode in which the elevator is operated by the sound of the user or a registration mode in which the sound by the user is registered in association with a new operation of the elevating device, and a new operation of the elevating device can be input. Input section and
A storage unit, each of which stores a plurality of second waveform data associated with the operation of the elevating device, and
The sound by the user acquired by the sensor unit is converted into first waveform data having an axis representing the frequency of the sound acquired by the sensor unit and a time axis corresponding to the time when the sound data is acquired. Waveform converter and
When the operation mode is selected, the converted first waveform is obtained by comparing the waveform of the first waveform data converted by the waveform conversion unit with the waveform of the plurality of second waveform data. An extraction unit that extracts the operation of the elevating device corresponding to the waveform data,
An output unit that outputs information from the control microcomputer and
A transmission unit that transmits the extraction result by the extraction unit to the control microcomputer, and a transmission unit.
A registration unit capable of writing the second waveform data to the storage unit is provided.
The control microcomputer controls the elevating device based on the extraction result transmitted from the transmission unit.
The user's sound is at least one of meaningless vocalizations, a user's clap sound, and a user's whistle sound.
When the registration mode is selected, the registration unit uses the first waveform data converted by the waveform conversion unit as the second waveform data in association with the new operation input from the input unit. Write to the storage unit,
After the second waveform data associated with the new operation is written to the storage unit by the registration unit, the extraction unit includes the waveform of the first waveform data converted by the waveform conversion unit and the waveform of the first waveform data. By comparing the waveforms of a plurality of second waveform data including the second waveform data associated with the new operation, the operation of the elevating device corresponding to the converted first waveform data is extracted .
The control microcomputer transmits the operation content of the elevating device extracted by the extraction unit after acquiring the extraction result from the mobile terminal to the mobile terminal.
The mobile terminal is a remote control system for an elevating device, characterized in that the content of an operation of the elevating device extracted by the extraction unit transmitted from the control microcomputer is output by the output unit .
昇降装置を制御する制御マイコンと、
該制御マイコンと通信可能な携帯端末と、を含み、
該携帯端末は、
利用者による音を経時的に取得するセンサ部と、
前記利用者による音でエレベータを操作する操作モード又は前記利用者による音を昇降装置に対する新たな確認事項及び昇降装置に対する新たな要求事項の少なくとも一方に関連付けて登録する登録モードを選択可能で、且つ、前記昇降装置に対する新たな確認事項及び昇降装置に対する新たな要求事項の少なくとも一方を入力可能な入力部と、
それぞれが前記昇降装置に対する確認事項及び昇降装置に対する要求事項の少なくとも一方に関連づけられた複数の第三波形データを記憶する記憶部と、
前記センサ部によって取得された前記利用者による音を、前記センサ部によって取得された音の周波数を表わす軸と、音データが取得された時間に対応する時間軸とを有する第一波形データに変換する波形変換部と、
前記操作モードが選択されているときに、前記波形変換部によって変換された前記第一波形データの波形と前記複数の第三波形データの波形とを比較することによって、前記変換された前記第一波形データに対応する前記昇降装置に対する確認事項及び前記昇降装置に対する要求事項の少なくとも一方を抽出する抽出部と、
該抽出部による抽出結果を前記制御マイコンに送信する送信部と、
前記制御マイコンからの情報を出力する出力部と、
前記第三波形データを前記記憶部に書き込み可能な登録部と、を備え、
前記制御マイコンは、前記送信部から送信された前記抽出結果に基づく前記確認事項及び前記要求事項の少なくとも一方についての情報を前記携帯端末に送信し、
前記利用者による音は、意味のない発声、利用者が手をたたく音、及び、利用者が所持する笛を鳴らす音のうち少なくとも一つであり、
前記登録部は、前記登録モードが選択されているときに、前記波形変換部によって変換された第一波形データを前記第三波形データとして、前記入力部から入力された前記新たな確認事項及び前記新たな要求事項の少なくとも一方に関連付けて前記記憶部に書き込み、
前記抽出部は、前記登録部によって前記新たな確認事項及び前記新たな要求事項の少なくとも一方に関連付けて前記記憶部に書き込まれた後では、前記波形変換部によって変換された前記第一波形データの波形と、前記新たな確認事項及び前記新たな要求事項の少なくとも一方に関連付けられた第三波形データを含む複数の第三波形データの波形とを比較することによって、前記変換された前記第一波形データに対応する前記昇降装置に対する確認事項及び昇降装置に対する要求事項の少なくとも一方を抽出し、
前記制御マイコンは、前記携帯端末から前記抽出結果を取得した後の前記抽出部により抽出された前記昇降装置に対する確認事項及び昇降装置に対する要求事項の少なくとも一方の内容を前記携帯端末に送信し、
前記携帯端末は、前記制御マイコンから送信された前記抽出部により抽出された昇降装置に対する確認事項及び昇降装置に対する要求事項の少なくとも一方の内容を、前記出力部により出力する、ことを特徴とする昇降装置の遠隔制御システム。
A control microcomputer that controls the elevating device and
Including a mobile terminal capable of communicating with the control microcomputer.
The mobile terminal is
A sensor unit that acquires the sound of the user over time, and
It is possible to select an operation mode in which the elevator is operated by the sound of the user or a registration mode in which the sound of the user is registered in association with at least one of a new confirmation item for the elevating device and a new requirement for the elevating device. , An input unit capable of inputting at least one of a new confirmation item for the elevator device and a new requirement for the elevator device.
A storage unit that stores a plurality of third waveform data associated with at least one of the confirmation items for the elevating device and the requirements for the elevating device, respectively.
The sound by the user acquired by the sensor unit is converted into first waveform data having an axis representing the frequency of the sound acquired by the sensor unit and a time axis corresponding to the time when the sound data is acquired. Waveform converter and
When the operation mode is selected, the converted first waveform is obtained by comparing the waveform of the first waveform data converted by the waveform conversion unit with the waveform of the plurality of third waveform data. An extraction unit that extracts at least one of the items to be confirmed for the elevating device and the requirements for the elevating device corresponding to the waveform data.
A transmission unit that transmits the extraction result by the extraction unit to the control microcomputer, and a transmission unit.
An output unit that outputs information from the control microcomputer and
A registration unit capable of writing the third waveform data to the storage unit is provided.
The control microcomputer transmits information about at least one of the confirmation items and the requirements based on the extraction result transmitted from the transmission unit to the mobile terminal.
The user's sound is at least one of meaningless vocalizations, a user's clap sound, and a user's whistle sound.
When the registration mode is selected, the registration unit uses the first waveform data converted by the waveform conversion unit as the third waveform data, and the new confirmation items and the new confirmation items input from the input unit. Write to the storage in association with at least one of the new requirements,
After the extraction unit is written in the storage unit in association with at least one of the new confirmation item and the new requirement by the registration unit, the first waveform data converted by the waveform conversion unit is used . The converted first waveform by comparing the waveform with the waveform of a plurality of third waveform data including the third waveform data associated with at least one of the new confirmation items and the new requirements. Extract at least one of the confirmation items for the elevating device and the requirements for the elevating device corresponding to the data.
The control microcomputer transmits to the mobile terminal the contents of at least one of the confirmation items for the elevating device and the requirements for the elevating device extracted by the extraction unit after acquiring the extraction result from the mobile terminal.
The mobile terminal is characterized in that the output unit outputs at least one of the contents of confirmation items for the elevating device and requirements for the elevating device extracted by the extraction unit transmitted from the control microcomputer. Remote control system for the device.
前記センサ部は、マイクロフォンを有し、
前記第一波形データは、前記マイクロフォンによって取得された音の周波数を表わす軸と、前記音データが取得された時間に対応する時間軸とを有する音波形データを含む、請求項1又は2に記載の昇降装置の遠隔制御システム。
The sensor unit has a microphone and has a microphone.
The first waveform data according to claim 1 or 2, wherein the first waveform data includes sound wave data having an axis representing a frequency of sound acquired by the microphone and a time axis corresponding to the time when the sound data is acquired. Remote control system for lifting equipment.
JP2019212408A 2019-11-25 2019-11-25 Remote control system for lifting equipment Active JP7042246B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019212408A JP7042246B2 (en) 2019-11-25 2019-11-25 Remote control system for lifting equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019212408A JP7042246B2 (en) 2019-11-25 2019-11-25 Remote control system for lifting equipment

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017110066A Division JP6646897B2 (en) 2017-06-02 2017-06-02 Remote control system for lifting device

Publications (2)

Publication Number Publication Date
JP2020023405A JP2020023405A (en) 2020-02-13
JP7042246B2 true JP7042246B2 (en) 2022-03-25

Family

ID=69618263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019212408A Active JP7042246B2 (en) 2019-11-25 2019-11-25 Remote control system for lifting equipment

Country Status (1)

Country Link
JP (1) JP7042246B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007186280A (en) 2006-01-11 2007-07-26 Kuma Lift Gijutsu Kenkyusho:Kk Lifting/lowering control device for elevator
JP2008303071A (en) 1997-05-22 2008-12-18 Inventio Ag Input apparatus and method for acoustic command input for elevator installation
JP2009166996A (en) 2008-01-18 2009-07-30 Mitsubishi Electric Building Techno Service Co Ltd Escalator emergency stop device
JP2014236263A (en) 2013-05-31 2014-12-15 京セラドキュメントソリューションズ株式会社 Image formation apparatus and image formation method
WO2016073028A1 (en) 2014-11-07 2016-05-12 Ebay Inc. System and method for linking applications
JP2016150823A (en) 2015-02-17 2016-08-22 三菱電機ビルテクノサービス株式会社 Elevator inspection device
JP2016156996A (en) 2015-02-25 2016-09-01 株式会社東芝 Electronic device, method, and program
JP2016156978A (en) 2015-02-25 2016-09-01 カシオ計算機株式会社 Voice recording device, voice recording method, and program
JP2016184852A (en) 2015-03-26 2016-10-20 株式会社Nttドコモ Relay device, relay method and program
JP6146602B2 (en) 2011-12-22 2017-06-14 株式会社小泉製作所 Rolling element bell

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6146602U (en) * 1984-08-29 1986-03-28 フジテツク株式会社 Elevator voice response device
JPH0373775A (en) * 1989-08-14 1991-03-28 Toshiba Corp Information input device for elevator
JP3497632B2 (en) * 1995-09-20 2004-02-16 セコム株式会社 Detector
JP2004096520A (en) * 2002-09-02 2004-03-25 Hosiden Corp Sound recognition remote controller
JP2012017167A (en) * 2010-07-07 2012-01-26 Nec Embedded Products Ltd Crime prevention system for elevator and elevator control method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008303071A (en) 1997-05-22 2008-12-18 Inventio Ag Input apparatus and method for acoustic command input for elevator installation
JP2007186280A (en) 2006-01-11 2007-07-26 Kuma Lift Gijutsu Kenkyusho:Kk Lifting/lowering control device for elevator
JP2009166996A (en) 2008-01-18 2009-07-30 Mitsubishi Electric Building Techno Service Co Ltd Escalator emergency stop device
JP6146602B2 (en) 2011-12-22 2017-06-14 株式会社小泉製作所 Rolling element bell
JP2014236263A (en) 2013-05-31 2014-12-15 京セラドキュメントソリューションズ株式会社 Image formation apparatus and image formation method
WO2016073028A1 (en) 2014-11-07 2016-05-12 Ebay Inc. System and method for linking applications
JP2016150823A (en) 2015-02-17 2016-08-22 三菱電機ビルテクノサービス株式会社 Elevator inspection device
JP2016156996A (en) 2015-02-25 2016-09-01 株式会社東芝 Electronic device, method, and program
JP2016156978A (en) 2015-02-25 2016-09-01 カシオ計算機株式会社 Voice recording device, voice recording method, and program
JP2016184852A (en) 2015-03-26 2016-10-20 株式会社Nttドコモ Relay device, relay method and program

Also Published As

Publication number Publication date
JP2020023405A (en) 2020-02-13

Similar Documents

Publication Publication Date Title
US9268524B2 (en) Information processing apparatus, information processing method, and computer readable medium
KR100906378B1 (en) User interfacing apparatus and method using head gesture
US11491661B2 (en) Communication robot and control program of communication robot
KR100757500B1 (en) System and method for interfacing between human and service robot based on action
CN109005262B (en) Camera control method, terminal and computer readable storage medium
JP5955889B2 (en) Elevator information provision system
US20140052441A1 (en) Input auxiliary apparatus, input auxiliary method, and program
WO2021129732A1 (en) Display processing method and electronic device
US11376742B2 (en) Robot and method of controlling the same
JP2004214895A (en) Auxiliary communication apparatus
CN109847348A (en) A kind of control method and mobile terminal, storage medium of operation interface
US10720154B2 (en) Information processing device and method for determining whether a state of collected sound data is suitable for speech recognition
JP6646897B2 (en) Remote control system for lifting device
KR102208256B1 (en) Smart doll performing the reading function
JP7042246B2 (en) Remote control system for lifting equipment
CN108133708A (en) A kind of control method of voice assistant, device and mobile terminal
JP2018150123A (en) Elevator control system, terminal, control device, control method for elevator control system, terminal control method, control device control method, terminal program, and control device program
KR102511517B1 (en) Voice input processing method and electronic device supportingthe same
WO2020129421A1 (en) Information processing device, information processing method, and program
US11743574B2 (en) System and method for AI enhanced shutter button user interface
JP2017211430A (en) Information processing device and information processing method
TWI802115B (en) Control device for unmanned aerial vehicle and control method therefor
CN109462703A (en) Screen luminance adjustment method, storage medium and mobile terminal
KR20230164398A (en) Vehicle and control method thereof
US20160316054A1 (en) Communication device, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210423

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210423

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210507

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210514

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210716

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210726

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210726

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220204

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220304

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R150 Certificate of patent or registration of utility model

Ref document number: 7042246

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150