JP6691015B2 - Equipment control device - Google Patents
Equipment control device Download PDFInfo
- Publication number
- JP6691015B2 JP6691015B2 JP2016152681A JP2016152681A JP6691015B2 JP 6691015 B2 JP6691015 B2 JP 6691015B2 JP 2016152681 A JP2016152681 A JP 2016152681A JP 2016152681 A JP2016152681 A JP 2016152681A JP 6691015 B2 JP6691015 B2 JP 6691015B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- device control
- predetermined
- control apparatus
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Selective Calling Equipment (AREA)
Description
本発明は、機器制御装置に関する。 The present invention relates to a device control device.
従来から、機器を制御する機器制御装置が知られている。 Conventionally, a device control device for controlling a device has been known.
これに関し、例えば、特許文献１には、操作ボタンの操作に応じた無線信号を用いて機器を制御する機器制御装置が開示されている。 In this regard, for example, Patent Document 1 discloses a device control device that controls a device using a wireless signal corresponding to the operation of an operation button.
しかしながら、特許文献１に記載の技術では、機器制御装置が手元にないと、操作ボタンを操作することができないため、機器を制御するために、ユーザは、機器制御装置を取りに行く手間が生じるという問題があった。また、機器制御装置が手元にあっても、両手が塞がっていたり、両手が不自由であったり等、両手が使用できない場合には、ユーザは、操作ボタンを操作することができず、機器を制御できないという問題があった。 However, in the technique described in Patent Document 1, the operation button cannot be operated unless the device control device is at hand, so that the user has to take the device control device to control the device. There was a problem. Also, even if the device control device is at hand, if both hands are unusable, such as when both hands are blocked or both hands are inconvenient, the user cannot operate the operation buttons and the device is not operated. There was a problem of being out of control.
本発明は以上説明した事情を鑑みてなされたものであり、機器制御装置を取りに行く手間を抑制するとともに、両手が使用できないときでも機器を制御することができる機器制御装置を提供することを目的の一つとする。 The present invention has been made in view of the circumstances described above, and it is an object of the present invention to provide a device control device that can control the device even when both hands cannot be used while suppressing the trouble of getting the device control device. One of the purposes.
本発明の第一態様における機器制御装置は、所定領域を撮影して前記所定領域の画像を取得する撮影手段と、取得された画像内に顔と認められる領域の存否を判定し、顔と認められる前記領域があると判定した場合、前記画像に基づいて、顔と認められる前記領域の少なくとも一部について予め定められた動きがあるか否かを判定する判定手段と、前記動きがあると判定された場合に物理的な所定の動作を実行する動作手段と、を備える機器制御装置。 The device control apparatus according to the first aspect of the present invention determines the presence of a face by determining the presence or absence of an area recognized as a face in the acquired image and an image capturing unit that captures an image of the predetermined area. If it is determined that there is the region, the determination unit that determines whether or not there is a predetermined motion for at least a part of the region that is recognized as a face based on the image; And an operation unit that executes a physical predetermined operation when the device control apparatus is operated.
この構成によれば、動作手段が、動きがあると判定された場合に物理的な所定の動作を実行するので、例えば物理的な所定の動作で機器制御装置の外部にある機器のスイッチを押したり、機器の操作ボタンを押したりすることで、機器を制御することができる。ここで、機器を制御したい人物（ユーザ）は、機器制御装置が手元になくても、すなわち機器制御装置から離れていても、撮影手段が撮影する所定領域に顔が入るようにすれば、機器を制御可能となる。したがって、機器制御装置を取りに行く手間を抑制することができる。また、撮影手段による画像に基づいて、顔と認められる領域の少なくとも一部について予め定められた動きがあると判定した場合に機器を制御するので、ユーザは、両手が使用できないときでも、顔の少なくとも一部を動かすことで、機器を制御することができる。 According to this configuration, the operation means executes a physical predetermined operation when it is determined that there is a movement, and therefore, for example, a switch of the device outside the device control device is pressed by the physical predetermined operation. Alternatively, the device can be controlled by pressing the operation button of the device. Here, a person (user) who wants to control a device does not have to have the device control device at hand, that is, even if the device control device is away from the device control device, if the face is put in a predetermined area photographed by the photographing means, Can be controlled. Therefore, it is possible to suppress the trouble of going to the equipment control device. In addition, the device is controlled when it is determined that there is a predetermined movement in at least a part of the area recognized as a face based on the image captured by the photographing means. By moving at least a part, the device can be controlled.
本発明によれば、機器制御装置を取りに行く手間を抑制するとともに、両手が使用できないときでも機器を制御することができる。 According to the present invention, it is possible to suppress the trouble of getting the device control device and control the device even when both hands cannot be used.
以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対しては可能な限り同一の符号を付して、重複する説明は省略する。 Embodiments of the present invention will be described below with reference to the accompanying drawings. In order to facilitate understanding of the description, the same components and steps in the drawings are denoted by the same reference symbols as much as possible, and redundant description will be omitted.
図１は、本実施形態に係る機器制御装置１０を機器１１０のスイッチケース１００に取り付けたときの機器制御装置１０の正面図である。 FIG. 1 is a front view of the device control apparatus 10 when the device control apparatus 10 according to the present embodiment is attached to the switch case 100 of the device 110.
まず、スイッチケース１００及び機器１１０について説明する。
スイッチケース１００は、図示しない壁や机等の被取付体に設けられている。スイッチケース１００は、スイッチ（外部スイッチ）１０２を備える。スイッチ１０２には、機器１１０が接続されている。そして、このスイッチ１０２は、押下されることで、機器１１０の状態（オン・オフ）を切り替えることが可能となっている。機器１１０は、照明、テレビ、エアコン、パーソナルコンピュータ、炊飯器、電子レンジ、又はこれらのリモコン等の家電機器の他、電子レジスターやエレベータ、エスカレータ、車両等が挙げられる。
First, the switch case 100 and the device 110 will be described.
The switch case 100 is provided on an attached body such as a wall or a desk (not shown). The switch case 100 includes a switch (external switch) 102. A device 110 is connected to the switch 102. When the switch 102 is pressed, the state (on / off) of the device 110 can be switched. Examples of the device 110 include lighting, televisions, air conditioners, personal computers, rice cookers, microwave ovens, home appliances such as remote controllers, electronic registers, elevators, escalators, vehicles, and the like.
次に、機器制御装置１０について説明する。 Next, the device control apparatus 10 will be described.
機器制御装置１０は、機器１１０を制御するものである。機器制御装置１０の形状は特に限定されないが、本実施形態では、図１に示すような矩形状とされている。この機器制御装置１０は、撮影手段の一つとしてのカメラ１２と、表示手段の一つとしてのディスプレイ１４とを備える。 The device control device 10 controls the device 110. The shape of the device control apparatus 10 is not particularly limited, but in the present embodiment, it has a rectangular shape as shown in FIG. 1. The device control apparatus 10 includes a camera 12 as one of photographing means and a display 14 as one of display means.
カメラ１２は、例えば機器制御装置１０の正面に設けられている。このカメラ１２は、所定領域を撮影して当該所定領域の画像を取得するものである。本実施形態では、カメラ１２は、機器制御装置１０の前方領域を撮影する。撮影による得られる画像は、静止画像に限られず動画像であってもよい。カメラ１２の種類は、特に限定されないが、暗視可能な赤外線カメラが好ましい。 The camera 12 is provided on the front of the device control apparatus 10, for example. The camera 12 captures an image of a predetermined area and acquires an image of the predetermined area. In the present embodiment, the camera 12 photographs the front area of the device control apparatus 10. The image obtained by shooting is not limited to a still image and may be a moving image. The type of the camera 12 is not particularly limited, but an infrared camera capable of night vision is preferable.
ディスプレイ１４は、例えばカメラ１２同様、機器制御装置１０の正面に設けられている。このディスプレイ１４は、各種画像を表示するものである。ディスプレイ１４には、人体の目や動物の目等、予め定められた目を含む画像１４Ａを表示することが可能となっている。本実施形態では、ディスプレイ１４は、目のみの画像１４Ａを表示する。また、本実施形態では、ディスプレイ１４は、タッチパネルディスプレイであり、表示手段としてだけでなく、ユーザの操作を入力する操作手段としても機能する。 The display 14 is provided on the front surface of the device control apparatus 10, like the camera 12, for example. The display 14 displays various images. The display 14 can display an image 14A including predetermined eyes such as human eyes and animal eyes. In the present embodiment, the display 14 displays the image 14A of the eyes only. Further, in the present embodiment, the display 14 is a touch panel display, and functions not only as a display unit but also as an operation unit for inputting a user operation.
図２は、図１に示す機器制御装置１０のＡ−Ａ矢視断面図である。 FIG. 2 is a sectional view of the device control apparatus 10 shown in FIG.
機器制御装置１０の背面１０Ａには、２つの突起部材１６と、押下部材１８とが設けられている。 Two protrusion members 16 and a pressing member 18 are provided on the back surface 10A of the device control apparatus 10.
２つの突起部材１６は、例えば押下部材１８を挟んで背面１０Ａの両端部に配置されている。これらの突起部材１６は背面１０Ａとともに、スイッチケース１００を収容する収容部として機能し、本実施形態では、突起部材１６は、スイッチケース１００を挟持する挟持する挟持手段としても機能する。また、突起部材１６のスイッチケース１００を挟持する箇所、言い換えればスイッチケース１００側の突起部材１６の表面には、弾性体２０が取り付けられている。弾性体２０は、スイッチケース１００の一部と当接する。また、弾性体２０は、ゴムや繊維材料等が挙げられる。 The two projecting members 16 are arranged at both ends of the back surface 10A with the pressing member 18 interposed therebetween, for example. These protruding members 16 function as a housing portion that houses the switch case 100 together with the back surface 10A, and in the present embodiment, the protruding members 16 also function as a holding means that holds the switch case 100. An elastic body 20 is attached to a portion of the protruding member 16 that holds the switch case 100, in other words, on the surface of the protruding member 16 on the switch case 100 side. The elastic body 20 contacts a part of the switch case 100. The elastic body 20 may be made of rubber, fiber material, or the like.
押下部材１８は、例えば背面１０Ａの中央部に配置されている。押下部材１８の形状は特に限定されないが、例えば板状である。この押下部材１８は、図中矢印側にスライド移動或いは回転移動することで、スイッチ１０２を押下する。 The pressing member 18 is arranged, for example, in the center of the back surface 10A. The shape of the pressing member 18 is not particularly limited, but is, for example, a plate shape. The pressing member 18 presses the switch 102 by sliding or rotating in the direction of the arrow in the figure.
図３は、機器制御装置１０のハードウェア構成を示す概略ブロック図である。 FIG. 3 is a schematic block diagram showing the hardware configuration of the device control apparatus 10.
機器制御装置１０は、例えばカメラ１２や、ディスプレイ１４の他、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２、メモリ３４、モータ３６を備えている。また、機器制御装置１０は、例えば通信装置３８、通話装置４０、電源ポート４２、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート４４、イーサネット（登録商標）ポート４６、第１ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート４８、第２ＵＳＢポート５０、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カードスロット５２等を備えてもよい。 The device control apparatus 10 includes, for example, a camera 12, a display 14, a CPU (Central Processing Unit) 30, a GPU (Graphics Processing Unit) 32, a memory 34, and a motor 36. Further, the device control device 10 includes, for example, the communication device 38, the communication device 40, the power supply port 42, the HDMI (registered trademark) (High-Definition Multimedia Interface) port 44, the Ethernet (registered trademark) port 46, and the first USB (Universal Serial Bus). ) A port 48, a second USB port 50, an SD (Secure Digital) card slot 52, and the like may be provided.
ＣＰＵ３０は、カメラ１２やディスプレイ１４等の各種ハードウェアを制御する他、所定のプログラムを実行する中央処理装置である。本実施形態では、この所定のプログラムを実行することで、ＣＰＵ３０は、カメラ１２により取得された画像内に顔と認められる領域の存否を判定し、顔と認められる領域があると判定した場合、当該画像に基づいて、顔と認められる前記領域の少なくとも一部について予め定められた動きがあるか否かを判定する判定手段として機能する。また、ＣＰＵ３０は、動きがあると判定した場合に物理的な所定の動作を実行する動作手段としても機能する。 The CPU 30 is a central processing unit that controls various hardware such as the camera 12 and the display 14 and also executes a predetermined program. In the present embodiment, by executing this predetermined program, the CPU 30 determines whether or not there is a region recognized as a face in the image acquired by the camera 12, and when it is determined that there is a region recognized as a face, Based on the image, it functions as a determination unit that determines whether or not there is a predetermined movement in at least a part of the area recognized as a face. The CPU 30 also functions as an operation unit that executes a predetermined physical operation when it is determined that there is a motion.
上記「顔の少なくとも一部」とは、顔全体の動きの他、目や鼻、口、耳等の顔を構成する要素を含む。また、「予め定められた動き」とは、例えば、所定回数顔全体の左右の振りがあった、所定回数口の開閉があった、所定回数目のまばたきがあった、所定時間目をつぶった等の動きが挙げられる。本実施形態では、「顔の少なくとも一部について予め定められた動き」とは、目について所定時間片目をつぶったという動きである。 The above-mentioned "at least part of the face" includes not only the movement of the entire face but also elements constituting the face such as eyes, nose, mouth, and ears. Further, the "predetermined movement" means, for example, that the face has been swung left and right a predetermined number of times, the mouth has been opened and closed a predetermined number of times, the eye has blinked a predetermined number of times, and the eyes have been closed for a predetermined time. And the like. In the present embodiment, the “predetermined movement of at least a part of the face” is the movement of closing one eye of the eye for a predetermined time.
また、「物理的な所定の動作」とは、機器１１０のスイッチ１０２の押下、操作ボタンの押下等が挙げられる。本実施形態では、ＣＰＵ３０は、モータ３６を制御して押下部材１８を移動することでスイッチ１０２を押下する。言い換えれば、動作手段は、スイッチ１０２を押下可能に構成されている。 Further, the “physical predetermined operation” includes pressing the switch 102 of the device 110, pressing an operation button, and the like. In the present embodiment, the CPU 30 controls the motor 36 to move the pressing member 18 to press the switch 102. In other words, the operating means is configured to be able to press the switch 102.
また、ＣＰＵ３０は、ディスプレイ１４を制御して、カメラ１２により取得された画像に基づき、表示されている画像１４Ａの目を動かすようになっている。言い換えれば、ディスプレイ１４は、表示されている画像１４Ａの目を動かす。ＣＰＵ３０は、目の動きに対応して画像１４Ａの目を動かすと好ましい。ＣＰＵ３０は、例えば、取得された画像内に顔と認められる領域があれば画像１４Ａの目を開閉したり、画像１４Ａ内の目の動きに応じて画像１４Ａの目を動かしたりしてもよい。本実施形態では、ＣＰＵ３０は、取得された画像内に顔と認められる領域があると画像１４Ａの目を開く。 Further, the CPU 30 controls the display 14 to move the eyes of the displayed image 14A based on the image acquired by the camera 12. In other words, the display 14 moves the eyes of the displayed image 14A. It is preferable that the CPU 30 move the eyes of the image 14A in accordance with the movement of the eyes. For example, the CPU 30 may open and close the eyes of the image 14A if there is a region recognized as a face in the acquired image, or move the eyes of the image 14A according to the movement of the eyes in the image 14A. In the present embodiment, the CPU 30 opens the eyes of the image 14A when there is a region recognized as a face in the acquired image.
ＧＰＵ３２は、画像処理を行う半導体チップである。なお、ＧＰＵ３２の処理は、ＣＰＵ３０が担ってもよい。この場合、ＧＰＵ３２は省略することもできる。 The GPU 32 is a semiconductor chip that performs image processing. The CPU 30 may be responsible for the processing of the GPU 32. In this case, the GPU 32 may be omitted.
メモリ３４は、各種データやプログラムを記憶するための記憶手段として機能する。なお、記憶手段としては、ハードディスクや可搬型記録媒体を用いることもできる。 The memory 34 functions as a storage unit for storing various data and programs. A hard disk or a portable recording medium may be used as the storage means.
モータ３６は、押下部材１８に接続されている。このモータ３６は、ＣＰＵ３２の制御により駆動する駆動装置として機能する。本実施形態では、モータ３６は、上記制御により、押下部材１８を、背面１０Ａ側とスイッチ１０２側との間で移動する（図２参照）。このモータ３６と押下部材１８は、スイッチ１０２を押下する押下手段として機能する。 The motor 36 is connected to the pressing member 18. The motor 36 functions as a drive device that is driven by the control of the CPU 32. In the present embodiment, the motor 36 moves the pressing member 18 between the back surface 10A side and the switch 102 side by the above control (see FIG. 2). The motor 36 and the pressing member 18 function as a pressing means for pressing the switch 102.
通信装置３８は、インターネット等の通信ネットワークに接続され、機器１１０等の機器と通信する。 The communication device 38 is connected to a communication network such as the Internet and communicates with devices such as the device 110.
通話装置４０は、機器１１０等の機器と通信する。 The communication device 40 communicates with a device such as the device 110.
電源ポート４２は、図示しない外部電源に接続されるポートである。機器制御装置１０は、電源ポート４２を介して外部電源から電力の供給を受ける。なお、電源ポート４２が無い場合は、機器制御装置１０の内部に電池を設け、機器制御装置１０は、当該電池から電力の供給を受けてもよい。 The power supply port 42 is a port connected to an external power supply (not shown). The device control apparatus 10 receives power supply from an external power supply via the power supply port 42. If the power supply port 42 is not provided, a battery may be provided inside the device control apparatus 10, and the device control apparatus 10 may be supplied with power from the battery.
ＨＤＭＩポート４４は、ＨＤＭＩの規格に準拠したポートであり、映像や音声を入力又は出力する。 The HDMI port 44 is a port based on the HDMI standard, and inputs or outputs video and audio.
イーサネットポート４６は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の一の規格であるイーサネット規格に準拠したポートである。イーサネットポート４６には、ＬＡＮケーブルが接続される。通信装置３８は、このイーサネットポート４６を介して、機器１１０と通信する。 The Ethernet port 46 is a port that conforms to the Ethernet standard, which is a standard of LAN (Local Area Network). A LAN cable is connected to the Ethernet port 46. The communication device 38 communicates with the device 110 via the Ethernet port 46.
第１ＵＳＢポート４８及び第２ＵＳＢポート５０は、ＵＳＢ規格に準拠したポートである。第１ＵＳＢポート４８及び第２ＵＳＢポート５０には、可搬型記憶装置の一つとしてのＵＳＢメモリやプリンタ等の周辺機器が接続される。 The first USB port 48 and the second USB port 50 are ports that comply with the USB standard. Peripheral devices such as a USB memory and a printer as one of portable storage devices are connected to the first USB port 48 and the second USB port 50.
ＳＤカードスロット５２は、可搬型記憶装置の一つとしてのＳＤカードが挿入されるスロットである。 The SD card slot 52 is a slot into which an SD card as one of portable storage devices is inserted.
図４は、所定のプログラムを実行した際のＣＰＵ３０の処理の流れを示すフローチャートである。この処理は、機器制御装置１０の電源がオンになってからオフになるまで繰り返される。また、図５（Ａ）〜（Ｄ）は、図４に示す処理の進行に伴う、機器制御装置１０や機器１１０の状態の遷移図である。 FIG. 4 is a flowchart showing the flow of processing of the CPU 30 when executing a predetermined program. This process is repeated until the device control apparatus 10 is powered on and then turned off. 5A to 5D are transition diagrams of the states of the device control apparatus 10 and the device 110 as the processing shown in FIG. 4 progresses.
（ステップＳＰ１０）
ＣＰＵ３０は、カメラ１２を制御して、機器制御装置１０の前方領域の撮影を開始する。この撮影は、ステップＳＰ１２以降も、所定時間毎或いはランダムに繰り返される。また、ＣＰＵ３０は、撮影により得られた前方領域の画像（データ）をメモリ３４に上書き又は蓄積する。そして、処理は、ステップＳＰ１２の処理に移行する。
(Step SP10)
The CPU 30 controls the camera 12 to start photographing the front area of the device control apparatus 10. This photographing is repeated at predetermined time intervals or randomly even after step SP12. Further, the CPU 30 overwrites or accumulates the image (data) of the front area obtained by photographing in the memory 34. And a process transfers to the process of step SP12.
（ステップＳＰ１２）
ＣＰＵ３０は、図５（Ａ）に示すように、ディスプレイ１４を制御して、当該ディスプレイ１４の画面に、つぶっている（閉じている）状態の目を含む画像１４Ａを表示する。そして、処理は、ステップＳＰ１４の処理に移行する。
(Step SP12)
As shown in FIG. 5A, the CPU 30 controls the display 14 to display an image 14A including the closed (closed) eyes on the screen of the display 14. Then, the process proceeds to the process of step SP14.
（ステップＳＰ１４）
ＣＰＵ３０は、カメラ１２により取得された最新の画像内に人物の顔が有るか否かを判定する。本実施形態では、当該最新の画像内内に目と鼻と口の例えば３つの顔の構成要素があるか否かを判定し、あると判定した場合に、顔と認められる領域がある（顔が正面を向いている）と判定する。そして、肯定判定された場合には処理はステップＳＰ１６の処理に移行し、否定判定された場合にはステップＳＰ１４の処理に戻る。
(Step SP14)
The CPU 30 determines whether or not there is a person's face in the latest image acquired by the camera 12. In the present embodiment, it is determined whether or not there are, for example, three face components such as eyes, nose, and mouth in the latest image, and if it is determined that there is a region recognized as a face (face Is facing the front). Then, if the affirmative determination is made, the processing proceeds to the processing of step SP16, and if the negative determination is made, the processing returns to the processing of step SP14.
（ステップＳＰ１６）
ＣＰＵ３０は、図５（Ｂ）に示すように、ディスプレイ１４を制御して、当該ディスプレイ１４に表示中の目を含む画像１４Ａにおいて、当該目を開く。そして、処理は、ステップＳＰ１８の処理に移行する。
(Step SP16)
As shown in FIG. 5B, the CPU 30 controls the display 14 to open the eyes in the image 14A including the eyes being displayed on the display 14. And a process transfers to the process of step SP18.
（ステップＳＰ１８）
ＣＰＵ３０は、カメラ１２により取得された最新の画像内にある顔の目が、少なくとも片目をつぶっているか否かを判定する。そして、肯定判定された場合には処理はステップＳＰ２０の処理に移行し、否定判定された場合にはステップＳＰ２６の処理に移行する。
(Step SP18)
The CPU 30 determines whether or not the eyes of the face in the latest image acquired by the camera 12 have closed at least one eye. Then, if an affirmative determination is made, the processing proceeds to step SP20, and if a negative determination is made, the processing proceeds to step SP26.
（ステップＳＰ２０）
ＣＰＵ３０は、タイマを起動して計時を開始する、或いは、既に起動されている場合には計時を継続する。そして、処理は、ステップＳＰ２２の処理に移行する。
(Step SP20)
The CPU 30 activates a timer to start time counting, or, if already activated, continues time counting. And a process transfers to the process of step SP22.
（ステップＳＰ２２）
ＣＰＵ３０は、タイマが示す時間が例えば３秒や５秒など所定時間を経過しているか否かを判定する。そして、肯定判定された場合には処理はステップＳＰ２４の処理に移行し、否定判定された場合にはステップＳＰ１８の処理に戻る。
(Step SP22)
The CPU 30 determines whether the time indicated by the timer has passed a predetermined time such as 3 seconds or 5 seconds. Then, if the affirmative determination is made, the processing proceeds to the processing of step SP24, and if the negative determination is made, the processing returns to the processing of step SP18.
（ステップＳＰ２４）
ＣＰＵ３０は、図５（Ｃ）に示すように、モータ３６を制御して、押下部材１８をスイッチ１０２側に移動する。これにより、ＣＰＵ３０は、押下部材１８にスイッチ１０２を押下させ、例えばオフ状態のスイッチ１０２をオン制御することになる。これにより、機器１１０が動作している状態となる。例えば図５（Ｄ）に示すように、機器１１０が照明であれば、当該照明が点灯するようになる。なお、スイッチ１０２がオン状態であれば、ＣＰＵ３０は、オン状態のスイッチ１０２をオフ制御することになる。
(Step SP24)
As shown in FIG. 5C, the CPU 30 controls the motor 36 to move the pressing member 18 to the switch 102 side. As a result, the CPU 30 causes the pressing member 18 to press the switch 102, and for example, turns on the switch 102 in the off state. This brings the device 110 into operation. For example, as shown in FIG. 5D, if the device 110 is a light, the light is turned on. If the switch 102 is in the on state, the CPU 30 controls the switch 102 in the on state to be off.
（ステップＳＰ２６）
ＣＰＵ３０は、図５（Ａ）に示すように、ディスプレイ１４を制御して、当該ディスプレイ１４に表示中の目を含む画像１４Ａにおいて、当該目を閉じる。そして、処理は、ステップＳＰ１４の処理に戻る。
(Step SP26)
As shown in FIG. 5A, the CPU 30 controls the display 14 to close the eyes in the image 14A including the eyes being displayed on the display 14. Then, the process returns to the process of step SP14.
以上、本実施形態によれば、ＣＰＵ３０が、動きがあると判定された場合に物理的な所定の動作を実行するので、例えば物理的な所定の動作で機器１１０のスイッチ１０２を押下することで、機器１１０を制御することができる。ここで、機器１１０を制御したいユーザは、機器制御装置１０が手元になくても、すなわち機器制御装置１０から離れていても、カメラ１２が撮影する所定領域に顔が入るようにすれば、機器１１０を制御可能となる。したがって、ユーザは体を動かさなくても機器１１０を制御することができ、もって機器制御装置１０を取りに行く手間を抑制することができる。また、このような機器制御装置１０を利用することで、ユーザは、機器１１０から離れていても、機器１１０を制御可能となる。また、カメラ１２による画像に基づいて、顔の少なくとも一部について予め定められた動きがあると判定した場合に機器１１０を制御するので、ユーザは、両手が使用できないときでも、顔の少なくとも一部を動かすことで、機器１１０を制御することができる。 As described above, according to the present embodiment, the CPU 30 executes a physical predetermined operation when it is determined that there is a motion, and therefore, for example, by pressing the switch 102 of the device 110 with the physical predetermined operation. , The device 110 can be controlled. Here, even if the user who wants to control the device 110 does not have the device control device 10 at hand, that is, even if the device control device 10 is far from the device control device 10, if the face is put in a predetermined area photographed by the camera 12, 110 can be controlled. Therefore, the user can control the device 110 without moving the body, and thus can reduce the time and effort to get the device control device 10. Further, by using such a device control device 10, the user can control the device 110 even if the user is away from the device 110. In addition, the device 110 is controlled when it is determined that there is a predetermined movement for at least a part of the face based on the image captured by the camera 12, so that the user can use at least a part of the face even when both hands cannot be used. The device 110 can be controlled by moving the.
また、本実施形態によれば、顔と認められる領域の少なくとも一部は目であるので、ユーザは怪我などで顔が動かないときでも、機器１１０を制御することができる。 Further, according to the present embodiment, at least a part of the area recognized as the face is the eye, so that the user can control the device 110 even when the face does not move due to an injury or the like.
また、本実施形態によれば、目を含む画像１４Ａを表示するディスプレイ１４を更に備えるので、単なる制御だけでは無機質となりがちな機器制御装置１０を擬人化することができる。したがって、ユーザに対して機器制御装置１０へ親しみを感じさせることができる。また、顔と認められる領域の少なくとも一部の目の動きによって機器１１０を制御するようにしているので、ユーザは、機器制御装置１０（カメラ１２）側に目を向けるようになる。この際、ユーザの目は、画像１４の目と向き合うようになり、ユーザに対して、ユーザの目と機器制御装置１０に表示される目とが通じ合って制御できる感覚を持たせることができる。このような感覚を持たせることで、ユーザは機器制御装置１０と対話している気分を味わうようになるので、機器制御装置１０に対話性を持たせることができる。 Further, according to the present embodiment, since the display 14 for displaying the image 14A including eyes is further provided, it is possible to personify the device control device 10 that tends to be an inorganic substance by merely controlling. Therefore, it is possible to make the user feel familiar to the device control apparatus 10. Further, since the device 110 is controlled by the movement of at least a part of the eyes recognized as the face, the user turns his / her eyes to the device control device 10 (camera 12) side. At this time, the eyes of the user face the eyes of the image 14, and the user can have a feeling that the eyes of the user and the eyes displayed on the device control device 10 are in communication with each other and can be controlled. . By giving such a feeling, the user feels as if he / she is interacting with the device control apparatus 10, so that the device control apparatus 10 can be made interactive.
また、本実施形態によれば、ディスプレイ１４は、カメラ１２により取得された画像１４Ａに基づき、表示されている目を動かすので、より一層、機器制御装置１０との対話性を向上することができる。 Further, according to the present embodiment, the display 14 moves the displayed eyes based on the image 14A acquired by the camera 12, so that the interactivity with the device control apparatus 10 can be further improved. .
また、本実施形態によれば、動作手段は、ＣＰＵ３０がモータ３６を制御して押下部材１８を移動するという簡単な構成で、スイッチ１０２を押下可能に構成されている。 Further, according to the present embodiment, the operating means is configured to be able to press the switch 102 with a simple configuration in which the CPU 30 controls the motor 36 to move the pressing member 18.
また、本実施形態によれば、スイッチケース１００を挟持する挟持手段（２つの突起部材１６）を更に備えるので、スイッチケース１００において様々な高さの位置に機器制御装置１０を取り付けることができる。 In addition, according to the present embodiment, the device control device 10 can be attached to the switch case 100 at various height positions because the device further includes the sandwiching means (two projecting members 16) for sandwiching the switch case 100.
また、スイッチケース１００の一部と当接する弾性体２０を更に備えるので、様々な幅のスイッチケース１００に機器制御装置１０を取り付けることができる。また、スイッチケース１００を挟持した上で挟持する箇所に弾性体２０を設けることで、弾性体２０の弾性力とスイッチケース１００の反発力によって機器制御装置１０を安定的に取り付けることができる。 Further, since the elastic body 20 that abuts a part of the switch case 100 is further provided, the device control device 10 can be attached to the switch cases 100 having various widths. Further, by sandwiching the switch case 100 and then providing the elastic body 20 at the sandwiched portion, the device control device 10 can be stably attached by the elastic force of the elastic body 20 and the repulsive force of the switch case 100.
以上、具体例を参照しつつ本発明の実施の形態について説明した。しかし、本発明はこれらの具体例に限定されるものではない。すなわち、これら具体例に、当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。 The embodiments of the present invention have been described above with reference to specific examples. However, the present invention is not limited to these specific examples. That is, those obtained by appropriately modifying the design of these specific examples by those skilled in the art are also included in the scope of the present invention as long as they have the features of the present invention. The elements included in the above-described specific examples and the arrangement, conditions, shapes, and the like of the elements are not limited to those illustrated, but can be appropriately changed.
例えば、ディスプレイ１４は、当該ディスプレイ１４等の操作手段への操作に応じて、ＣＰＵ３０が判定するための予め定められた動きを変更するための画像（設定画像）を表示してもよい。この設定画像では、例えば複数の目の動きのうち一つの動きを選択可能となっており、ＣＰＵ３０（例えば判定手段）は、当該設定画面にて選択された一つの動きを、上記「予め定められた動き」に変更（設定）する。この構成によれば、例えば目をつぶることが難しいユーザがいたとすると、そのユーザは操作手段を操作して「予め定められた動き」を目のまばたきを３回にする変更をすることができるなど、ユーザにとって使いやすい機器制御装置１０とすることができる。 For example, the display 14 may display an image (setting image) for changing a predetermined movement for the CPU 30 to make a determination in response to an operation on an operation unit such as the display 14. In this setting image, for example, one movement among a plurality of eye movements can be selected, and the CPU 30 (for example, the determination unit) can select one movement selected on the setting screen as the above-mentioned “predetermined”. Change (set). With this configuration, for example, if there is a user who has difficulty closing his / her eyes, the user can change the “predetermined movement” to blink the eyes three times by operating the operation means. For example, the device control device 10 can be easily used by the user.
また、ＣＰＵ３０は、取得された画像の顔と認められる領域から顔の特徴を抽出する抽出手段としての機能も備えていてもよい。この場合、ＣＰＵ３０（判定手段）は、抽出された顔の特徴に基づき、顔と認められる領域の存否を判定してもよい。なお、顔の特徴は、予めメモリ３４や外部の記憶装置であるマイクロＳＤやＵＳＢメモリに記憶（登録）していてもよい。そして、ＣＰＵ３０は、抽出された顔の特徴と登録していた顔の特徴とを比較し、互いの特徴が一致すれば、顔と認められる領域が存在すると判定する。このようにすれば、例えば、家族の顔の特徴を登録しておけば、家族以外の顔が画像内にあっても、顔と認められる領域が存在しないと判定され、機器１１０が不正に制御されないようにすることができる。また、犬等の動物の目が偶然に動いたときに、機器１１０が誤って制御されないようにすることもできる。また、顔の特徴をＵＳＢメモリに記憶しておけば、機器制御装置１０を取り換えた場合でも、ＵＳＢメモリを取り換えた先のＵＳＢポート４８，５０に装着することで、今まで使用してきた顔の特徴をそのまま使用することができる。 The CPU 30 may also have a function as an extraction unit that extracts facial features from a region of the acquired image that is recognized as a face. In this case, the CPU 30 (determination means) may determine the presence or absence of a region recognized as a face based on the extracted features of the face. The facial features may be stored (registered) in advance in the memory 34 or an external storage device such as a micro SD or a USB memory. Then, the CPU 30 compares the extracted face feature with the registered face feature, and if the features match each other, determines that there is an area recognized as a face. By doing this, for example, if the facial features of the family are registered, it is determined that there is no region recognized as a face even if faces other than the family are present in the image, and the device 110 is illegally controlled. You can prevent it. It is also possible to prevent the device 110 from being accidentally controlled when the eyes of an animal such as a dog accidentally move. In addition, if the facial features are stored in the USB memory, even if the device control device 10 is replaced, by attaching it to the USB ports 48 and 50 after the replacement of the USB memory, the facial features that have been used up to now can be used. Features can be used as is.
また、機器１１０に設けられている電源接続部（例えばオス型電源プラグ）が接続される第１電源接続部（例えばメス型電源プラグ）を機器制御装置１０に設けてもよい。このようにすれば、外部電源の電力を、機器制御装置１０を介して機器１１０に供給することができる。また、機器に設けられている電源接続部が接続される第２電源接続部（例えば図３に示す電源ポート４２）を設け、ＣＰＵ３０が、第２電源接続部から供給される外部電源の電力を第１電源接続部に供給するか否かを切り替えることで、機器１１０を制御するようにしてもよい。また、第２電源接続部が例えばオス型電源プラグとすれば、当該オス型電源プラグを外部電源のメス型電源プラグに差し込むことにより、電源コードを必要とせず、機器制御装置１０をスイッチケース１００に取り付けたときに邪魔とならない。 Further, the device control apparatus 10 may be provided with a first power supply connection unit (for example, a female power supply plug) to which a power supply connection unit (for example, a male power supply plug) provided in the device 110 is connected. With this configuration, the power of the external power supply can be supplied to the device 110 via the device control device 10. Further, a second power supply connection unit (for example, the power supply port 42 shown in FIG. 3) to which the power supply connection unit provided in the device is connected is provided, and the CPU 30 supplies the power of the external power supply supplied from the second power supply connection unit. The device 110 may be controlled by switching whether to supply the power to the first power supply connection unit. If the second power supply connection portion is, for example, a male power supply plug, the male power supply plug is inserted into a female power supply plug of an external power supply, so that the power supply cord is not required and the device control device 10 is connected to the switch case 100. Doesn't get in the way when attached to.
また、ＣＰＵ３０は、機器１１０を制御する判定の材料となる予め定められた動きとは異なる他の予め定められた動きがある場合、通話手段としての通話装置４０を制御して予め定められた通話先に通話を開始するようにしてもよい。この場合、強盗が来たとき等において両手が使用できず且つ声も出せないときに、警察等の関係先に連絡を取ることが可能となる。同様の観点から、ＣＰＵ３０は、機器１１０を制御する判定の材料となる予め定められた動きとは異なる他の予め定められた動きがある場合、通話手段としての通信装置３８を制御して予め定められた宛先と通信を開始するようにしてもよい。 Further, when there is another predetermined movement different from the predetermined movement which is the material for the determination for controlling the device 110, the CPU 30 controls the communication device 40 as the communication means to determine the predetermined communication. The call may be started first. In this case, when both hands cannot be used and a voice cannot be produced when a robbery arrives, it becomes possible to contact the police or other related parties. From the same viewpoint, when there is another predetermined movement different from the predetermined movement which is the material of the determination for controlling the device 110, the CPU 30 controls the communication device 38 as the communication means to determine the predetermined movement. The communication may be started with the designated destination.
また、上記実施形態では、機器制御装置１０は、両手が使用できない場合に利用する場合を想定したが、例えば子供など背が低くて高い場所に取り付けられた機器制御装置１０に手が届かないユーザも、同様に利用することが想定される。 Further, in the above embodiment, the device control apparatus 10 is assumed to be used when both hands cannot be used. However, for example, a user who cannot reach the device control apparatus 10 attached to a short and high place such as a child. Is also expected to be used in the same way.
また、機器制御装置１０は、１つの装置で構成される場合を説明したが、２つ以上の装置で構成されてもよい。例えば、機器制御装置１０は、押下手段（押下部材１８及びモータ３６）を備える装置（親機）と、カメラ１２やＣＰＵ３０等のそれ以外の構成を備える装置（子機）と、で構成されてもよい。この場合、例えば、親機とは別の場所に設置された子機に対してユーザが予め定められた動きを行うことで、子機から親機に対して機器１１０を制御する指示を送信し、親機によって機器１１０の制御を行うことができる。 Further, although the device control apparatus 10 has been described as being configured by one device, it may be configured by two or more devices. For example, the device control device 10 includes a device (parent device) including a pressing unit (pressing member 18 and a motor 36) and a device (child device) including other components such as the camera 12 and the CPU 30. Good. In this case, for example, when the user performs a predetermined movement on the child device installed in a place different from the parent device, the child device transmits an instruction to control the device 110 to the parent device. The device 110 can be controlled by the parent device.
１０…機器制御装置
１２…カメラ（撮影手段）
１４…ディスプレイ（表示手段）
１６…突起部材（収容部）
１８…押下部材（動作手段）
２０…弾性体
３０…ＣＰＵ（判定手段、動作手段）
３４…メモリ（記憶手段）
３６…モータ（動作手段）
３８…通信装置（通信手段）
４０…通話装置（通話手段）
１０２…スイッチ
10 ... Equipment control device 12 ... Camera (imaging means)
14 ... Display (display means)
16 ... Projection member (accommodation part)
18: Depressing member (operating means)
20 ... Elastic body 30 ... CPU (determination means, operation means)
34 ... Memory (storage means)
36 ... Motor (operating means)
38 ... Communication device (communication means)
40 ... Calling device (calling means)
102 ... switch
Claims (8)
取得された画像内に顔と認められる領域の存否を判定し、顔と認められる前記領域があると判定した場合、前記画像に基づいて、顔と認められる前記領域の少なくとも一部について予め定められた顔の動きがあるか否かを判定する判定手段と、
前記動きがあると判定された場合に物理的な所定の動作を実行する動作手段と、
操作手段と、
を備え、
前記判定手段は、前記操作手段への操作に応じて前記予め定められた顔の動きを他の顔の動きに変更し、
前記動作手段は、所定の外部スイッチを押下可能に構成されている、機器制御装置。 A photographing means for photographing a predetermined area to obtain an image of the predetermined area;
When it is determined whether or not there is a region recognized as a face in the acquired image and it is determined that the region recognized as a face is present, at least a part of the region recognized as a face is predetermined based on the image. Determination means for determining whether or not there is a face movement,
An operating unit that executes a physical predetermined operation when it is determined that there is the movement;
Operation means,
Equipped with
Said determination means, the movement of the predetermined face changed to the movement of the other face in response to operation to the operating means,
The device control device is configured such that the operating means can press a predetermined external switch .
請求項１に記載の機器制御装置。 At least a portion of the area recognized as the face is the eye,
The device control apparatus according to claim 1.
請求項２に記載の機器制御装置。 Further comprising display means for displaying an image including the eyes,
The device control apparatus according to claim 2.
請求項３に記載の機器制御装置。 The display means moves the eyes of the image displayed on the display means based on the acquired image,
The device control apparatus according to claim 3.
前記収容部に設けられ、前記外部スイッチの一部と当接する弾性体と、
を更に備える請求項１乃至４の何れか１項に記載の機器制御装置。 A housing portion for housing the external switch,
An elastic body that is provided in the housing portion and contacts a part of the external switch,
The device control apparatus according to any one of claims 1 to 4 , further comprising:
前記判定手段は、抽出された前記特徴に基づき、顔と認められる前記領域の存否を判定する、
請求項１乃至５の何れか１項に記載の機器制御装置。 Further comprising extraction means for extracting facial features from the area recognized as a face,
The determination means determines the presence or absence of the area recognized as a face based on the extracted features.
The device control apparatus according to any one of claims 1 to 5.
顔と認められる前記領域の少なくとも一部について他の予め定められた動きがある場合、前記通話手段を制御して予め定められた宛先に通話を開始する、
請求項１乃至６の何れか１項に記載の機器制御装置。 Further equipped with a communication means,
When there is another predetermined movement in at least a part of the area recognized as a face, the call means is controlled to start a call to a predetermined destination.
The device control apparatus according to any one of claims 1 to 6 .
他の予め定められた動きがある場合、前記通信手段を制御して、予め定められた宛先と通信を開始する、
請求項１乃至７の何れか１項に記載の機器制御装置。 Further comprising communication means,
When there is another predetermined movement, the communication means is controlled to start communication with a predetermined destination,
The device control apparatus according to any one of claims 1 to 7 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016152681A JP6691015B2 (en) | 2016-08-03 | 2016-08-03 | Equipment control device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016152681A JP6691015B2 (en) | 2016-08-03 | 2016-08-03 | Equipment control device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018023001A JP2018023001A (en) | 2018-02-08 |
| JP6691015B2 true JP6691015B2 (en) | 2020-04-28 |
Family
ID=61166110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016152681A Active JP6691015B2 (en) | 2016-08-03 | 2016-08-03 | Equipment control device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6691015B2 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07141971A (en) * | 1993-11-15 | 1995-06-02 | Matsushita Electric Works Ltd | Posteriorly installed noncontact switch |
| JP2005300830A (en) * | 2004-04-09 | 2005-10-27 | Nissan Motor Co Ltd | Device and method for speech interaction |
| JP2006323769A (en) * | 2005-05-20 | 2006-11-30 | Tokai Univ | Facing input device |
| EP2571660B1 (en) * | 2010-05-20 | 2018-08-15 | iRobot Corporation | Mobile human interface robot |
| JP2011243141A (en) * | 2010-05-21 | 2011-12-01 | Nec System Technologies Ltd | Operation information processor, method and program |
| JP6195893B2 (en) * | 2013-02-19 | 2017-09-13 | ミラマ サービス インク | Shape recognition device, shape recognition program, and shape recognition method |
| US20150185858A1 (en) * | 2013-12-26 | 2015-07-02 | Wes A. Nagara | System and method of plane field activation for a gesture-based control system |
-
2016
- 2016-08-03 JP JP2016152681A patent/JP6691015B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018023001A (en) | 2018-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107798733B (en) | Display system, portable information device, wearable terminal, and information display method | |
| US20060139459A1 (en) | Digital camera with a detachable display usable as remote control | |
| US20030117499A1 (en) | Docking station that enables wireless remote control of a digital image capture device docked therein | |
| JP2022504302A (en) | Methods and systems for providing control user interfaces to home appliances | |
| WO2016192324A1 (en) | Key operation processing method and apparatus under single hand mode and electronic device | |
| CN108476301A (en) | Display device and its control method | |
| TW201132048A (en) | Assisted communication system | |
| CN107168076A (en) | A kind of eye control intelligent domestic system and method based on AR or VR | |
| WO2015027574A1 (en) | 3d glasses, 3d display system, and 3d display method | |
| US20180048343A1 (en) | Electronic privacy apparatus and related methods | |
| WO2015179398A1 (en) | Camera housings having tactile camera user interfaces for imaging functions for digital photo-video cameras | |
| JP2012156991A (en) | Stereoscopic image display device and stereoscopic vision glasses | |
| CN113794893A (en) | Display processing method of panoramic video live broadcast microphone, electronic equipment and storage medium | |
| US20160182860A1 (en) | Methods for performing image capture and real-time image display on physically separated or separable devices and apparatus therefor | |
| US20150035723A1 (en) | Display control apparatus and control method therefor | |
| CN106406447B (en) | A kind of user intelligently accompanies terminal device and its application method | |
| US20180367712A1 (en) | Camera housings having tactile camera user interfaces for imaging functions for digital photo-video cameras | |
| JP6691015B2 (en) | Equipment control device | |
| WO2021145878A1 (en) | Mobile application platform projected on a secondary display with intelligent gesture interactions | |
| CN204807810U (en) | Intelligence glasses | |
| CN104656597A (en) | Central control system for remotely controlling exhibition hall | |
| CN109313474A (en) | Power of display equipment mode | |
| JP2022068749A (en) | Electronic apparatus, control method thereof, program, and recording medium | |
| JP2016116174A (en) | Image sensing system | |
| JP5230277B2 (en) | Image providing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170814 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180827 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181001 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181211 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20181218 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20190208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200409 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6691015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |