JP2021071894A - Operation device, operation method, and program - Google Patents

Operation device, operation method, and program Download PDF

Info

Publication number
JP2021071894A
JP2021071894A JP2019197828A JP2019197828A JP2021071894A JP 2021071894 A JP2021071894 A JP 2021071894A JP 2019197828 A JP2019197828 A JP 2019197828A JP 2019197828 A JP2019197828 A JP 2019197828A JP 2021071894 A JP2021071894 A JP 2021071894A
Authority
JP
Japan
Prior art keywords
command
operator
operating
screen
operation target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019197828A
Other languages
Japanese (ja)
Inventor
杏奈 大森
Anna Omori
杏奈 大森
智 赤木
Satoshi Akagi
智 赤木
大西　康之
Yasuyuki Onishi
康之 大西
竹田　淳
Atsushi Takeda
竹田　　淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2019197828A priority Critical patent/JP2021071894A/en
Publication of JP2021071894A publication Critical patent/JP2021071894A/en
Pending legal-status Critical Current

Links

Images

Abstract

To remotely operate an apparatus without an operator carrying a remote controller or a terminal equivalent to the remote controller.SOLUTION: A projection section 102 projects an operation screen for operating an apparatus 200 representing an operation subject, to a projection subject which is a part of the body of an operator. An operation reception section 103 receives operations to the operation screen from the operator. A command determination section 105 determines a command for operating the apparatus 200 representing the operation subject, based on contents of the operation screen and the received operations. A command transmission section 106 transmits the determined command to the apparatus 200 representing the operation subject.SELECTED DRAWING: Figure 3

Description

本発明は、操作装置、操作方法及びプログラムに関する。 The present invention relates to operating devices, operating methods and programs.

エアコン、テレビ、照明等の機器を遠隔操作するためにリモコンが使用されている。また、スマートフォン、タブレット端末等の端末を機器のリモコンとして利用する技術も知られている。例えば、特許文献１には、スマートフォンから機器に対する動作指令を受信し、動作指令に応じたコマンドを機器に送信する機能を有するスマートリモコンについて記載されている。 Remote controls are used to remotely control devices such as air conditioners, televisions, and lighting. Further, a technique of using a terminal such as a smartphone or a tablet terminal as a remote controller for a device is also known. For example, Patent Document 1 describes a smart remote controller having a function of receiving an operation command for a device from a smartphone and transmitting a command corresponding to the operation command to the device.

特開２０１９−２９６７９号公報Japanese Unexamined Patent Publication No. 2019-29679

特許文献１に記載の技術では、操作者は、機器を操作する際に専用のリモコンは不要になるものの、操作用のスマートフォンを携帯しておく必要がある。例えば、操作者が洗濯、料理等をしており、スマートフォンを手で操作することが困難な場面では、スマートフォンをリモコンとして利用することは困難である。また、スマートフォンのような使用者が特定される機器は通常パスコードでロックしていることから、各々のスマートフォンをリモコンとなるようにするとともに個々人が携帯していなければならず、複数人（例えば家族間）で共有することは難しかった。 In the technique described in Patent Document 1, the operator does not need a dedicated remote controller to operate the device, but needs to carry a smartphone for operation. For example, it is difficult to use a smartphone as a remote controller in a situation where the operator is washing, cooking, etc. and it is difficult to operate the smartphone by hand. In addition, since devices such as smartphones that identify users are usually locked with a passcode, each smartphone must be used as a remote controller and must be carried by each individual, and multiple people (for example,). It was difficult to share with (family members).

本発明は上記実情に鑑みてなされたものであり、リモコン若しくはリモコンに相当する端末を操作者が携帯すること無しに、機器を遠隔操作することができる操作装置、操作方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides an operating device, an operating method, and a program capable of remotely controlling a device without the operator carrying a remote controller or a terminal corresponding to the remote controller. With the goal.

上記目的を達成するため、本発明に係る操作装置は、
操作対象機器を操作するための操作画面を操作者の体の一部である投影対象に投影する投影手段と、
前記操作者から前記操作画面に対する操作を受け付ける操作受付手段と、
前記操作画面の内容と受け付けた操作とに基づいて、前記操作対象機器を操作するためのコマンドを判別するコマンド判別手段と、
判別したコマンドを前記操作対象機器に送信するコマンド送信手段と、を備える。 In order to achieve the above object, the operating device according to the present invention is
A projection means that projects an operation screen for operating the operation target device onto a projection target that is a part of the operator's body,
An operation receiving means for receiving an operation on the operation screen from the operator,
A command determination means for determining a command for operating the operation target device based on the contents of the operation screen and the received operation, and
The command transmission means for transmitting the determined command to the operation target device is provided.

本発明によれば、リモコン若しくはリモコンに相当する端末を操作者が携帯すること無しに、機器を遠隔操作することができる。 According to the present invention, the device can be remotely controlled without the operator carrying a remote controller or a terminal corresponding to the remote controller.

実施形態に係る操作装置を含んだシステムの全体構成を示す図The figure which shows the whole structure of the system including the operation apparatus which concerns on embodiment. 実施形態に係る操作装置のハードウェア構成を示すブロック図Block diagram showing the hardware configuration of the operating device according to the embodiment 実施形態に係る操作装置の機能構成を示すブロック図Block diagram showing the functional configuration of the operation device according to the embodiment 実施形態の遠隔操作処理の手順を示すフローチャートFlow chart showing the procedure of remote control processing of the embodiment 操作対象選択画面の例を示す図Diagram showing an example of the operation target selection screen 操作対象選択画面から操作対象機器を選択する操作を説明するための図（その１）Diagram for explaining the operation of selecting the operation target device from the operation target selection screen (Part 1) 操作対象選択画面から操作対象機器を選択する操作を説明するための図（その２）Diagram for explaining the operation of selecting the operation target device from the operation target selection screen (Part 2) メニュー画面の例を示す図Diagram showing an example of a menu screen 操作画面の例を示す図Diagram showing an example of the operation screen （Ａ）は、小さな移動量からコマンドを判別する例を示す図、（Ｂ）は、大きな移動量からコマンドを判別する例を示す図(A) is a diagram showing an example of discriminating a command from a small movement amount, and (B) is a diagram showing an example of discriminating a command from a large movement amount. 処理を終了させる操作の例を示す図The figure which shows the example of the operation which ends the process

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The same or corresponding parts in the figure are designated by the same reference numerals.

図１は、本発明の実施形態に係る操作装置１００を含んだシステムの全体構成を示す図である。操作装置１００は、エアコン２０１とテレビ２０２と照明２０３とが設けられている部屋３００の天井の中央に設置されている。なお、以下の説明では、エアコン２０１とテレビ２０２と照明２０３とを区別しない場合には機器２００とも表記する。操作装置１００は、操作者の手のひらに操作対象とする機器２００の操作画面を投影することにより、機器２００の遠隔操作を可能にする装置である。 FIG. 1 is a diagram showing an overall configuration of a system including an operating device 100 according to an embodiment of the present invention. The operation device 100 is installed in the center of the ceiling of the room 300 in which the air conditioner 201, the television 202, and the lighting 203 are provided. In the following description, when the air conditioner 201, the television 202, and the lighting 203 are not distinguished, they are also referred to as the device 200. The operation device 100 is a device that enables remote control of the device 200 by projecting an operation screen of the device 200 to be operated on the palm of the operator.

（操作装置１００のハードウェア構成）
操作装置１００は、図２に示すように、通信インタフェース１１０と、ＣＰＵ（Central Processing Unit）１２０と、ＲＯＭ（Read Only Memory）１３０と、ＲＡＭ（Random Access Memory）１４０と、二次記憶装置１５０と、プロジェクタ１６０と、カメラ１７０と、マイク１８０とを備える。これらの構成部は、バス１９０を介して相互に接続される。 (Hardware configuration of operating device 100)
As shown in FIG. 2, the operating device 100 includes a communication interface 110, a CPU (Central Processing Unit) 120, a ROM (Read Only Memory) 130, a RAM (Random Access Memory) 140, and a secondary storage device 150. , The projector 160, the camera 170, and the microphone 180. These components are connected to each other via a bus 190.

通信インタフェース１１０は、操作装置１００が機器２００と無線通信するためのインタフェースである。 The communication interface 110 is an interface for the operating device 100 to wirelessly communicate with the device 200.

ＣＰＵ１２０は、操作装置１００を統括的に制御する。ＲＯＭ１３０は、複数のファームウェア及びこれらのファームウェアの実行時に使用されるデータ等を記憶する。ＲＡＭ１４０は、ＣＰＵ１２０の作業領域として使用される。 The CPU 120 controls the operating device 100 in an integrated manner. The ROM 130 stores a plurality of firmwares and data and the like used when executing these firmwares. The RAM 140 is used as a work area of the CPU 120.

二次記憶装置１５０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリを含んで構成される。二次記憶装置１５０は、機器２００の遠隔操作に係るプログラム（以下、遠隔操作プログラム）を含む複数のプログラムと、各プログラムの実行時に使用されるデータとを記憶する。例えば、二次記憶装置１５０には、各機器２００を制御するためのコマンド、後述する操作対象選択画面及び操作画面の画面データ等が記憶されている。 The secondary storage device 150 includes a readable and writable non-volatile semiconductor memory such as an EEPROM (Electrically Erasable Programmable Read Only Memory) and a flash memory. The secondary storage device 150 stores a plurality of programs including a program related to remote control of the device 200 (hereinafter referred to as a remote control program) and data used when executing each program. For example, the secondary storage device 150 stores commands for controlling each device 200, screen data of an operation target selection screen and an operation screen, which will be described later.

プロジェクタ１６０は、ランプユニット、カラーホイール、ＤＭＤ（Digital Mirror Device）、レンズ等を備える。プロジェクタ１６０は、ＣＰＵ１２０から受信した画像を投影面に投影する。 The projector 160 includes a lamp unit, a color wheel, a DMD (Digital Mirror Device), a lens, and the like. The projector 160 projects an image received from the CPU 120 onto a projection surface.

カメラ１７０は、レンズ、ＣＣＤ（Charge-Coupled Device）イメージセンサ等を備える。カメラ１７０は、ＣＰＵ１２０からの指示に応じて撮像動作を行い、撮像した画像の画像データをＣＰＵ１２０に出力する。 The camera 170 includes a lens, a CCD (Charge-Coupled Device) image sensor, and the like. The camera 170 performs an imaging operation in response to an instruction from the CPU 120, and outputs image data of the captured image to the CPU 120.

なお、プロジェクタ１６０とカメラ１７０は、ＣＰＵ１２０からの制御の下、図示せぬ駆動機構により投影方向及び撮像方向を変化させることが可能である。これにより、プロジェクタ１６０とカメラ１７０は、部屋３００内を満遍なく投影及び撮像することができる。 The projector 160 and the camera 170 can change the projection direction and the imaging direction by a drive mechanism (not shown) under the control of the CPU 120. As a result, the projector 160 and the camera 170 can evenly project and image the inside of the room 300.

マイク１８０は、周囲の音声を集音し、集音した音声をデジタルの音声信号に変換し、ＣＰＵ１２０に出力する。 The microphone 180 collects surrounding sounds, converts the collected sounds into digital voice signals, and outputs the collected sounds to the CPU 120.

（操作装置１００の機能構成）
続いて、操作装置１００の各機能について説明する。図３に示すように、操作装置１００は、機能的な構成として、投影位置特定部１０１と、投影部１０２と、操作受付部１０３と、操作対象特定部１０４と、コマンド判別部１０５と、コマンド送信部１０６と、を備える。 (Functional configuration of operating device 100)
Subsequently, each function of the operation device 100 will be described. As shown in FIG. 3, the operation device 100 has, as a functional configuration, a projection position specifying unit 101, a projection unit 102, an operation receiving unit 103, an operation target specifying unit 104, a command discriminating unit 105, and a command. A transmission unit 106 is provided.

投影位置特定部１０１は、本発明に係る投影位置特定手段の一例である。投影位置特定部１０１は、投影部１０２が投影対象とする操作者の手のひらの位置を特定する。投影位置特定部１０１の機能は、ＣＰＵ１２０とカメラ１７０とにより実現される。 The projection position specifying unit 101 is an example of the projection position specifying means according to the present invention. The projection position specifying unit 101 specifies the position of the palm of the operator to be projected by the projection unit 102. The function of the projection position specifying unit 101 is realized by the CPU 120 and the camera 170.

投影部１０２は、本発明に係る投影手段の一例である。投影部１０２は、複数の機器２００（エアコン２０１、テレビ２０２、照明２０３）のなかから操作の対象とする機器２００（以下、操作対象機器とも表記）を操作者が選択するための操作対象選択画面、および操作対象機器を操作するための操作画面を操作者の手のひらに投影する。投影部１０２の機能は、ＣＰＵ１２０とプロジェクタとにより実現される。 The projection unit 102 is an example of the projection means according to the present invention. The projection unit 102 is an operation target selection screen for the operator to select a device 200 (hereinafter, also referred to as an operation target device) to be operated from among a plurality of devices 200 (air conditioner 201, television 202, lighting 203). , And the operation screen for operating the operation target device is projected on the palm of the operator. The function of the projection unit 102 is realized by the CPU 120 and the projector.

操作受付部１０３は、本発明に係る操作受付手段の一例である。操作受付部１０３は、投影部１０２が投影した操作対象選択画面、および操作画面に対する操作者からの操作を受け付ける。操作受付部１０３の機能は、ＣＰＵ１２０とカメラ１７０とにより実現される。 The operation reception unit 103 is an example of the operation reception means according to the present invention. The operation reception unit 103 receives an operation target selection screen projected by the projection unit 102 and an operation from the operator on the operation screen. The function of the operation reception unit 103 is realized by the CPU 120 and the camera 170.

操作対象特定部１０４は、本発明に係る操作対象特定手段の一例である。操作対象特定部１０４は、操作者からの指示に基づいて、操作対象機器を特定する。具体的には、操作対象特定部１０４は、操作者の手のひらに投影されている操作対象選択画面に対してなされた操作に基づいて、操作対象機器を特定する。操作対象特定部１０４の機能は、ＣＰＵ１２０により実現される。 The operation target identification unit 104 is an example of the operation target identification means according to the present invention. The operation target identification unit 104 identifies the operation target device based on the instruction from the operator. Specifically, the operation target identification unit 104 identifies the operation target device based on the operation performed on the operation target selection screen projected on the palm of the operator. The function of the operation target specifying unit 104 is realized by the CPU 120.

コマンド判別部１０５は、本発明に係るコマンド判別手段の一例である。コマンド判別部１０５は、操作者の手のひらに投影されている操作画面の内容と操作受付部１０３が受け付けた操作とに基づいて、操作対象機器を操作するためのコマンドを判別する。コマンド判別部１０５の機能は、ＣＰＵ１２０により実現される。 The command discriminating unit 105 is an example of the command discriminating means according to the present invention. The command determination unit 105 determines a command for operating the operation target device based on the content of the operation screen projected on the palm of the operator and the operation received by the operation reception unit 103. The function of the command determination unit 105 is realized by the CPU 120.

コマンド送信部１０６は、本発明に係るコマンド送信手段の一例である。コマンド送信部１０６は、コマンド判別部１０５が判別したコマンドを制御対象機器に送信する。コマンド送信部の機能は、ＣＰＵ１２０と通信インタフェース１１０とにより実現される。 The command transmission unit 106 is an example of the command transmission means according to the present invention. The command transmission unit 106 transmits the command determined by the command determination unit 105 to the control target device. The function of the command transmission unit is realized by the CPU 120 and the communication interface 110.

（操作装置１００の動作）
続いて、操作装置１００の動作について説明する。操作装置１００を利用して機器２００を遠隔操作したい操作者は、操作装置１００に向けて処理開始のトリガとなる特定の音声を発する。この特定の音声は、「操作スタート」、「操作したい」等の音声である。操作装置１００のＣＰＵ１２０は、マイク１８０を介してこの特定の音声を受信すると、二次記憶装置１５０に記憶されている遠隔操作プログラムを実行して、図４に示す遠隔操作処理を開始する。なお、操作者は、このような特定の音声を発する際に、後述する操作対象選択画面が投影され易くなるように、操作装置１００に向けて自分の手のひらをかざすようにするのが望ましい。なお、マイク１８０を複数設けて、音声が発せられている方向を認識させることで投影対象の方向を認識しやすくしてもよい。また、操作者の発した音声以外に、手をたたいた音、机を叩いた音等を遠隔操作処理の開始のトリガとしてもよい。 (Operation of operating device 100)
Subsequently, the operation of the operating device 100 will be described. An operator who wants to remotely control the device 200 by using the operation device 100 emits a specific voice that triggers the start of processing toward the operation device 100. This specific voice is a voice such as "operation start" or "want to operate". When the CPU 120 of the operation device 100 receives the specific voice via the microphone 180, the CPU 120 executes the remote control program stored in the secondary storage device 150 to start the remote control process shown in FIG. It is desirable that the operator holds his / her palm toward the operation device 100 so that the operation target selection screen described later is easily projected when emitting such a specific voice. It should be noted that a plurality of microphones 180 may be provided to recognize the direction in which the sound is emitted so that the direction of the projection target can be easily recognized. Further, in addition to the voice emitted by the operator, the sound of clapping a hand, the sound of hitting a desk, or the like may be used as a trigger for starting the remote control process.

また、音声、音に替えて、特定のジェスチャーを処理開始のトリガとしてもよい。例えば、カメラ１７０に向かって手を振る、手を上げるなど予め定められたジェスチャーを操作装置１００が認識することで遠隔操作処理を開始してもよい。なお、遠隔操作処理を開始する意思の無い操作者がたまたま同じジェスチャーをすることで遠隔操作処理が開始されてしまう事態も考えられる。そのため、このような事態を防ぐため、例えば、顔認証を組み合わせ、操作者がカメラ１７０のほうを向いて手を振り、カメラ１７０のほうに顔を向いていると顔認証された場合にのみ、操作装置１００がジェスチャーを認識してもよい。もちろん、上述した音声、音、ジェスチャーを組み合わせたものを、遠隔操作処理を開始するためのトリガとしてもよい。また、さらには、特定の操作者の顔の特徴データを予め二次記憶装置１５０に記憶させておき、操作装置１００が、特定の操作者からの特定の音声、音、ジェスチャーのみを遠隔操作処理のトリガとして認識してもよい。 Further, instead of voice and sound, a specific gesture may be used as a trigger for starting processing. For example, the remote control process may be started when the operation device 100 recognizes a predetermined gesture such as waving or raising the hand toward the camera 170. It is also conceivable that an operator who does not intend to start the remote control process happens to start the remote control process by making the same gesture. Therefore, in order to prevent such a situation, for example, in combination with face recognition, only when the operator is face-recognized to face the camera 170 and wave his hand and face the camera 170. The operating device 100 may recognize the gesture. Of course, a combination of the above-mentioned voice, sound, and gesture may be used as a trigger for starting the remote control process. Further, the facial feature data of the specific operator is stored in the secondary storage device 150 in advance, and the operation device 100 remotely controls only the specific voice, sound, and gesture from the specific operator. It may be recognized as a trigger of.

遠隔操作処理が開始されると、まず、ＣＰＵ１２０は、操作者の手のひらの位置を判別する（ステップＳ１０１）。具体的には、ＣＰＵ１２０は、処理開始のトリガとなった特定の音声が発せられた方向を撮像するようにカメラ１７０を制御して画像を撮像する。そして、ＣＰＵ１２０は、撮像された画像を公知の画像解析技術で解析することで、手ひらの位置を判別すればよい。なお、ステップＳ１０１の処理以降、ＣＰＵ１２０により、カメラ１７０は、操作者の手のひらを予め定めたフレームレートで撮像し続けるように制御される。 When the remote control process is started, the CPU 120 first determines the position of the operator's palm (step S101). Specifically, the CPU 120 controls the camera 170 to capture the direction in which the specific voice that triggered the start of processing is emitted, and captures the image. Then, the CPU 120 may determine the position of the palm by analyzing the captured image with a known image analysis technique. After the process of step S101, the CPU 120 controls the camera 170 so as to continuously image the palm of the operator at a predetermined frame rate.

続いて、ＣＰＵ１２０は、プロジェクタ１６０を制御して、操作者の手のひらに図５に示す操作対象選択画面を投影させる（ステップＳ１０２）。操作対象選択画面は、エアコン２０１、テレビ２０２、照明２０３のうちどの機器２００を操作の対象とするかを操作者が選択するための画面である。図５に示すように、操作対象選択画面の右側、左側、下側には、それぞれ、操作対象機器としてエアコン２０１を選択するためのボタンＢ１、テレビ２０２を選択するためのボタンＢ２、及び、照明２０３を選択するためのボタンＢ３を模した画像が投影されている。 Subsequently, the CPU 120 controls the projector 160 to project the operation target selection screen shown in FIG. 5 on the palm of the operator (step S102). The operation target selection screen is a screen for the operator to select which device 200 of the air conditioner 201, the television 202, and the lighting 203 is to be operated. As shown in FIG. 5, on the right side, left side, and lower side of the operation target selection screen, a button B1 for selecting the air conditioner 201 as the operation target device, a button B2 for selecting the television 202, and lighting, respectively. An image imitating the button B3 for selecting 203 is projected.

図４に戻り、操作者は、自分の手のひらに投影された操作対象選択画面から、操作対象機器を選択するための操作を行う。ＣＰＵ１２０は、カメラ１７０によって撮像された手のひらの画像を解析して、操作者からなされた操作を特定し、特定した操作に基づいて操作対象機器を特定する（ステップＳ１０３）。 Returning to FIG. 4, the operator performs an operation for selecting the operation target device from the operation target selection screen projected on the palm of his / her hand. The CPU 120 analyzes the image of the palm captured by the camera 170, identifies the operation performed by the operator, and identifies the operation target device based on the specified operation (step S103).

ここで、操作者が操作態様選択画面から操作対象機器を選択する操作について具体的に説明する。本実施形態では、操作者は、２種類の操作により操作対象機器を選択することができる。 Here, the operation in which the operator selects the operation target device from the operation mode selection screen will be specifically described. In the present embodiment, the operator can select the operation target device by two types of operations.

具体的には、操作者は、図６に示すように、操作対象選択画面から、操作対象としたい機器２００に対応するボタンを指Ｆ１でタッチすることで、操作対象機器を選択することができる。ＣＰＵ１２０は、カメラ１７０によって撮像された画像を解析してタッチされたボタンを判別し、判別したボタンに対応する機器を操作対象機器として特定する。例えば、図６に示す例では、操作者の指によりボタンＢ１がタッチされているため、ＣＰＵ１２０は、操作対象機器としてエアコンを特定する。 Specifically, as shown in FIG. 6, the operator can select the operation target device by touching the button corresponding to the device 200 to be the operation target with the finger F1 from the operation target selection screen. .. The CPU 120 analyzes the image captured by the camera 170 to determine the touched button, and identifies the device corresponding to the determined button as the operation target device. For example, in the example shown in FIG. 6, since the button B1 is touched by the finger of the operator, the CPU 120 specifies the air conditioner as the operation target device.

また、別の操作として、操作者は、操作対象選択画面に対して手のひらを特定の方向に動作させることで、操作対象機器を選択することができる。ＣＰＵ１２０は、カメラ１７０によって撮像された画像を解析して操作対象選択画面に対する手のひらの動き（移動方向）を判別することで、選択された操作対象機器を特定する。例えば、図７に示す例では、点線で示す手のひら全体が、矢印で示すように右に移動しているため、ＣＰＵ１２０は、操作対象機器としてエアコン２０１を特定する。なお、操作対象選択画面に対して手のひらが下に移動した場合は照明２０３、左に移動した場合はテレビ２０２が操作対象機器として特定される。 As another operation, the operator can select the operation target device by moving the palm in a specific direction with respect to the operation target selection screen. The CPU 120 identifies the selected operation target device by analyzing the image captured by the camera 170 and determining the movement (movement direction) of the palm with respect to the operation target selection screen. For example, in the example shown in FIG. 7, since the entire palm indicated by the dotted line is moved to the right as indicated by the arrow, the CPU 120 specifies the air conditioner 201 as the operation target device. When the palm moves downward with respect to the operation target selection screen, the illumination 203 is specified, and when the palm moves to the left, the television 202 is specified as the operation target device.

図４に戻り、ＣＰＵ１２０は、プロジェクタ１６０を制御して、操作対象機器を操作するための操作画面を操作者の手のひらに投影させる（ステップＳ１０４）。 Returning to FIG. 4, the CPU 120 controls the projector 160 to project an operation screen for operating the operation target device on the palm of the operator (step S104).

例えば、操作対象機器がエアコン２０１である場合、ＣＰＵ１２０は、まず、図８に示すようなエアコン２０１のメニュー画面を操作者の手のひらに投影させる。このメニュー画面の右側、左側、下側には、エアコンの操作項目である「温度設定」、「風向」、「運転切替」に対応した各ボタンＢ４〜Ｂ６を模した画像が表示されている。そして、操作者は、前述した操作対象選択画面に対する操作と同様に、メニュー画面から操作項目を選択する操作を行い、ＣＰＵ１２０は、当該操作から選択された操作項目を特定する。そして、ＣＰＵ１２０は、プロジェクタ１６０を制御して、特定した操作項目に対応した操作画面を手のひらに投影する。 For example, when the operation target device is the air conditioner 201, the CPU 120 first projects the menu screen of the air conditioner 201 as shown in FIG. 8 onto the palm of the operator. Images imitating the buttons B4 to B6 corresponding to the air conditioner operation items "temperature setting", "wind direction", and "operation switching" are displayed on the right side, left side, and lower side of this menu screen. Then, the operator performs an operation of selecting an operation item from the menu screen in the same manner as the operation for the operation target selection screen described above, and the CPU 120 specifies the operation item selected from the operation. Then, the CPU 120 controls the projector 160 to project an operation screen corresponding to the specified operation item on the palm of the hand.

例えば、図８に示すメニュー画面から、操作項目「風向」に対応するボタンＢ５がタッチされた操作、若しくは、メニュー画面に対して手のひらが左に移動する操作がなされた場合、ＣＰＵ１２０は、操作項目「風向」を特定する。そして、ＣＰＵ１２０は、プロジェクタ１６０を制御して、エアコン２０１の風向きを操作するための図９に示す操作画面を操作者の手のひらに投影させる。この操作画面の右側、左側、上側、下側には、それぞれ、エアコンの風向を右にするためのボタンＢ７、左にするためのボタンＢ８、上にするためのボタンＢ９、下にするためのボタンＢ１０を模した画像が表示されている。なお、照明２０３のように操作項目が少ない機器２００が操作対象機器である場合、ＣＰＵ１２０は、メニュー画面を経由せずに操作画面を直接手のひらに投影してもよい。 For example, when the button B5 corresponding to the operation item "wind direction" is touched from the menu screen shown in FIG. 8, or the palm is moved to the left with respect to the menu screen, the CPU 120 operates the operation item. Identify the "wind direction". Then, the CPU 120 controls the projector 160 to project the operation screen shown in FIG. 9 for operating the wind direction of the air conditioner 201 onto the palm of the operator. On the right side, left side, upper side, and lower side of this operation screen, a button B7 for turning the wind direction of the air conditioner to the right, a button B8 for turning left, a button B9 for turning up, and a button B9 for lowering, respectively. An image imitating button B10 is displayed. When the device 200 having few operation items such as the lighting 203 is the operation target device, the CPU 120 may directly project the operation screen onto the palm without going through the menu screen.

図４に戻り、操作者は、自分の手のひらに操作画面が投影されると、操作画面から操作対象機器に対する操作を行う。この操作は、前述した操作対象選択画面に対する操作と同様の操作である。ＣＰＵ１２０は、カメラ１７０によって撮像された画像を解析して、操作者からなされた操作を特定する。そして、ＣＰＵ１２０は、特定した操作と投影している操作画面の内容とに基づいて、操作対象機器を制御するためのコマンドを判別する（ステップＳ１０５）。例えば、図９に示すエアコンの風向きを操作するための操作画面から「右」に対応するボタンＢ７がタッチされた操作、若しくは、操作画面に対して手のひらが右に移動する操作がなされた場合、ＣＰＵ１２０は、エアコン２０１の風向きを右に制御するためのコマンドを判別する。 Returning to FIG. 4, when the operation screen is projected on the palm of the operator, the operator operates the operation target device from the operation screen. This operation is the same as the operation for the operation target selection screen described above. The CPU 120 analyzes the image captured by the camera 170 to identify the operation performed by the operator. Then, the CPU 120 determines a command for controlling the operation target device based on the specified operation and the content of the projected operation screen (step S105). For example, when the button B7 corresponding to "right" is touched from the operation screen for operating the wind direction of the air conditioner shown in FIG. 9, or the palm is moved to the right with respect to the operation screen. The CPU 120 determines a command for controlling the wind direction of the air conditioner 201 to the right.

図４に戻り、続いて、ＣＰＵ１２０は、通信インタフェース１１０を制御して操作対象機器に判別したコマンドを送信する（ステップＳ１０６）。操作対象機器は、受信したコマンドに応じた動作を行う。以上で遠隔操作処理は終了する。 Returning to FIG. 4, the CPU 120 subsequently controls the communication interface 110 to transmit the determined command to the operation target device (step S106). The operation target device operates according to the received command. This completes the remote control process.

このように、本実施形態によれば、操作者の手のひらに操作画面が投影され、操作者が当該操作画面に対して操作を行うことで機器２００を遠隔操作することができる。従って、操作者は、リモコン若しくはリモコンに相当する端末を携帯すること無しに、機器を遠隔操作することができる。また、本実施形態では、操作者は投影された操作画面から操作を行うことができるため、リモコンを用いた操作と同等な操作を直感的に行うことが可能となる。 As described above, according to the present embodiment, the operation screen is projected on the palm of the operator, and the operator can remotely control the device 200 by operating the operation screen. Therefore, the operator can remotely control the device without carrying a remote controller or a terminal corresponding to the remote controller. Further, in the present embodiment, since the operator can perform the operation from the projected operation screen, the operation equivalent to the operation using the remote controller can be intuitively performed.

また、本実施形態によれば、遠隔操作処理において、操作者の手のひらに操作対象選択画面が投影され、当該操作対象選択画面に対する操作を行うことで、複数の機器２００の中から操作対象とする機器２００を選択することができる。従って、１台の操作装置１００で複数の機器の遠隔操作に対応することが可能となる。 Further, according to the present embodiment, in the remote control process, the operation target selection screen is projected on the palm of the operator, and by performing the operation on the operation target selection screen, the operation target is set from among the plurality of devices 200. The device 200 can be selected. Therefore, one operating device 100 can support remote control of a plurality of devices.

また、本実施形態によれば、手のひらに投影されている操作画面のボタンをタッチする操作だけでなく、手のひら全体を操作画面に対して特定の方向に移動させることによっても操作対象機器を操作することができる。従って、操作者の片手が塞がっており投影されている操作画面をタッチできないような場面でも、操作対象機器を操作することが可能になる。 Further, according to the present embodiment, the operation target device is operated not only by touching a button on the operation screen projected on the palm but also by moving the entire palm in a specific direction with respect to the operation screen. be able to. Therefore, it is possible to operate the operation target device even in a situation where one hand of the operator is blocked and the projected operation screen cannot be touched.

また、本実施形態によれば、操作者の手のひらの位置が判別され、判別された位置に操作画面が投影される。従って、操作者は、部屋３００内のどの位置からでも、自分の手のひらに投影された操作画面から機器２００を操作することが可能となる。 Further, according to the present embodiment, the position of the palm of the operator is determined, and the operation screen is projected at the determined position. Therefore, the operator can operate the device 200 from the operation screen projected on the palm of his / her hand from any position in the room 300.

（変形例）
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。 (Modification example)
The present invention is not limited to the above embodiments, and various modifications can be made without departing from the gist of the present invention.

例えば、上記実施形態では、操作装置１００は、操作者の手にひらに操作対象選択画面、操作画面を投影したが、操作者の体の他の部分にこれらの画面を投影してもよい。例えば、操作装置１００は、操作者の腕、腹部等に操作対象選択画面、操作画面を投影してもよい。 For example, in the above embodiment, the operation device 100 projects the operation target selection screen and the operation screen on the palm of the operator's hand, but these screens may be projected on other parts of the operator's body. For example, the operation device 100 may project an operation target selection screen and an operation screen on the operator's arm, abdomen, and the like.

また上記実施形態では、操作対象選択画面にて操作対象機器を選択したが、遠隔操作処理を開始するための特定の音声を、例えば「エアコンを操作スタート」、「エアコンを操作したい」などのようにして、音声で操作対象機器を選択してもよい。また、例えば、拍手３回はエアコン２０１の操作開始と予め定めておけば、マイク１８０が拍手の音を連続的に３回受信した際に、操作対象機器をエアコン２０１に特定したうえで遠隔操作処理を開始させることができる。
更にジェスチャーについても同様である。つまり、操作対象機器に対応づけたジェスチャー、例えば、「エアコン２０１→チョキ、照明２０３→グー、テレビ２０２→パー」のような操作対象機器とジェスチャーとを関連付ける情報を予め二次記憶装置１５０に記憶しておく。そして、操作者が、遠隔操作処理の開始のトリガとなるジェスチャー、例えば、手を振るとともに、操作対象機器に関連付けられたジェスチャーをすることで、操作対象機器を特定したうえで遠隔操作処理を開始させることができる。この例では操作者がチョキで手を振ることで、エアコン２０１を操作する遠隔操作処理を開始することができる。
また、このように操作対象機器を特定したうえで遠隔操作処理を開始させることで、操作対象選択画面を省き、操作対象機器の操作から遠隔操作処理を開始することができる。即ち、この場合の遠隔操作処理は、図４のステップＳ１０１〜Ｓ１０３が行われず、ステップＳ１０４から開始される。 Further, in the above embodiment, the operation target device is selected on the operation target selection screen, but a specific voice for starting the remote control process is, for example, "start operating the air conditioner", "want to operate the air conditioner", or the like. Then, the operation target device may be selected by voice. Further, for example, if it is determined in advance that the operation of the air conditioner 201 is started three times, when the microphone 180 continuously receives the sound of the applause three times, the device to be operated is specified as the air conditioner 201 and then remotely controlled. The process can be started.
The same applies to gestures. That is, the gesture associated with the operation target device, for example, information relating the operation target device and the gesture such as "air conditioner 201 → choki, lighting 203 → goo, TV 202 → par" is stored in the secondary storage device 150 in advance. I will do it. Then, the operator identifies the device to be operated and then starts the remote control process by waving a gesture that triggers the start of the remote control process, for example, and making a gesture associated with the device to be operated. Can be made to. In this example, the operator can start the remote control process for operating the air conditioner 201 by waving his hand with a choki.
Further, by specifying the operation target device and starting the remote control process in this way, the operation target selection screen can be omitted and the remote control process can be started from the operation of the operation target device. That is, the remote control process in this case is started from step S104 without performing steps S101 to S103 in FIG.

また、上記実施形態では、遠隔操作処理において、操作者の手のひらの位置を特定し、特定した位置に操作対象選択画面、操作画面を投影した。しかしながら、このような位置の特定をせずに、固定された位置に向けて作対象選択画面、操作画面を投影し、操作者が当該位置の上に手のひらをかざすことでこれらの画面を投影させてもよい。このようにすることで、手のひらを特定する処理が不要となるため、ＣＰＵ１２０にかかる負荷を軽減することができる。 Further, in the above embodiment, in the remote control process, the position of the palm of the operator is specified, and the operation target selection screen and the operation screen are projected on the specified position. However, without specifying such a position, the work target selection screen and the operation screen are projected toward the fixed position, and the operator holds the palm over the position to project these screens. You may. By doing so, the process of identifying the palm becomes unnecessary, so that the load on the CPU 120 can be reduced.

また、上記実施形態では、操作装置１００は、投影されている操作画面に対する手のひらの移動方向に基づいて機器２００を操作するためのコマンドを判別したが、移動量も考慮してコマンドを判別してもよい。例えば、図１０に示すように、エアコン２０１の風向を設定する操作画面に対して手のひらが右に移動した場合、風向を右に制御するコマンドだけでなく、移動量に対応した風量に制御するコマンドを判別してもよい。図１０（Ａ）では、手のひらの移動量は比較的少ないため、風向を「右」に制御するコマンドとともに風量を「小」に制御するコマンドが判別されて、エアコン２０１に送信される。一方、図１０（Ｂ）では、手のひらの移動量は比較的大きいため、風向を「右」に制御するコマンドとともに風量を「大」に制御するコマンドが判別されて、エアコン２０１に送信される。このようにすることで、より直感的な遠隔操作が期待できる。なお、図１１に示すように、移動後の手のひらに操作画面が全く投影されない程度に移動量が大きい場合は、遠隔操作処理を途中で終了させてもよい。 Further, in the above embodiment, the operation device 100 determines the command for operating the device 200 based on the movement direction of the palm with respect to the projected operation screen, but determines the command in consideration of the movement amount. May be good. For example, as shown in FIG. 10, when the palm moves to the right with respect to the operation screen for setting the wind direction of the air conditioner 201, not only the command to control the wind direction to the right but also the command to control the air volume corresponding to the movement amount. May be determined. In FIG. 10A, since the amount of movement of the palm is relatively small, a command for controlling the wind direction to “right” and a command for controlling the air volume to “small” are determined and transmitted to the air conditioner 201. On the other hand, in FIG. 10B, since the amount of movement of the palm is relatively large, a command for controlling the wind direction to "right" and a command for controlling the air volume to "large" are determined and transmitted to the air conditioner 201. By doing so, more intuitive remote control can be expected. As shown in FIG. 11, if the amount of movement is so large that the operation screen is not projected on the palm after movement, the remote operation process may be terminated in the middle.

また、操作装置１００の機能部（図３参照）の全部又は一部が、専用のハードウェアで実現されるようにしてもよい。専用のハードウェアとは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）又はこれらの組み合わせである。 Further, all or a part of the functional parts (see FIG. 3) of the operating device 100 may be realized by dedicated hardware. Dedicated hardware is, for example, a single circuit, a composite circuit, a programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.

また、操作装置１００により実行される遠隔操作プログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、光磁気ディスク（Magneto-Optical Disc）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、ＨＤＤ（Hard Disk Drive）等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。 The remote operation program executed by the operation device 100 includes a CD-ROM (Compact Disc Read Only Memory), a DVD (Digital Versatile Disc), a magneto-optical disc (Magneto-Optical Disc), and a USB (Universal Serial Bus) memory. It can also be stored and distributed in a computer-readable recording medium such as a memory card or HDD (Hard Disk Drive).

また、遠隔操作プログラムをインターネット上の他のサーバが有する記憶装置に格納しておき、当該サーバから操作装置１００に遠隔操作プログラムがダウンロードされるようにしてもよい Further, the remote control program may be stored in a storage device of another server on the Internet so that the remote control program can be downloaded from the server to the operation device 100.

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。 The present invention allows for various embodiments and modifications without departing from the broad spirit and scope of the present invention. Moreover, the above-described embodiment is for explaining the present invention, and does not limit the scope of the present invention. That is, the scope of the present invention is indicated not by the embodiment but by the claims. Then, various modifications made within the scope of the claims and the equivalent meaning of the invention are considered to be within the scope of the present invention.

１００ 操作装置、２００ 機器、２０１ エアコン、２０２ テレビ、２０３ 照明、３００ 部屋、１１０ 通信インタフェース、１２０ ＣＰＵ、１３０ ＲＯＭ、１４０ ＲＡＭ、１５０ 二次記憶装置、１６０ プロジェクタ、１７０ カメラ、１８０ マイク、１９０ バス、１０１ 投影位置特定部、１０２ 投影部、１０３ 操作受付部、１０４ 操作対象特定部、１０５ コマンド判別部、１０６ コマンド送信部、 100 operating devices, 200 devices, 201 air conditioners, 202 TVs, 203 lights, 300 rooms, 110 communication interfaces, 120 CPUs, 130 ROMs, 140 RAMs, 150 secondary storage devices, 160 projectors, 170 cameras, 180 microphones, 190 buses, 101 Projection position identification unit, 102 Projection unit, 103 Operation reception unit, 104 Operation target identification unit, 105 Command discrimination unit, 106 Command transmission unit,

Claims (7)

操作対象機器を操作するための操作画面を操作者の体の一部である投影対象に投影する投影手段と、
前記操作者から前記操作画面に対する操作を受け付ける操作受付手段と、
前記操作画面の内容と受け付けた操作とに基づいて、前記操作対象機器を操作するためのコマンドを判別するコマンド判別手段と、
判別したコマンドを前記操作対象機器に送信するコマンド送信手段と、
を備える操作装置。 A projection means that projects an operation screen for operating the operation target device onto a projection target that is a part of the operator's body,
An operation receiving means for receiving an operation on the operation screen from the operator,
A command determination means for determining a command for operating the operation target device based on the contents of the operation screen and the received operation, and
A command transmission means for transmitting the determined command to the operation target device, and
An operating device equipped with. 複数の機器のなかから前記操作対象機器を特定する操作対象特定手段をさらに備える、
請求項１に記載の操作装置。 An operation target specifying means for specifying the operation target device from a plurality of devices is further provided.
The operating device according to claim 1. 前記操作受付手段は、前記操作画面に対する操作として、前記投影対象全体の動きを受け付け、
前記コマンド判別手段は、受け付けた前記動きの方向に基づいて、コマンドを判別する、
請求項１又は２に記載の操作装置。 The operation receiving means receives the movement of the entire projection target as an operation on the operation screen, and receives the movement of the entire projection target.
The command discriminating means discriminates a command based on the direction of the received movement.
The operating device according to claim 1 or 2. 前記コマンド判別手段は、受け付けた前記動きの量に基づいて、コマンドを判別する、
請求項３に記載の操作装置。 The command discriminating means discriminates a command based on the amount of the received movement.
The operating device according to claim 3. 前記投影対象の位置を特定する投影位置特定手段をさらに備える、
請求項１から４の何れか１項に記載の操作装置。 Further provided with a projection position specifying means for specifying the position of the projection target.
The operating device according to any one of claims 1 to 4. 操作対象機器を操作するための操作画面を操作者の体の一部である投影対象に投影し、
前記操作者から前記操作画面に対する操作を受け付け、
前記操作画面の内容と受け付けた操作とに基づいて、前記操作対象機器を操作するためのコマンドを判別し、
判別したコマンドを前記操作対象機器に送信する、操作方法。 The operation screen for operating the operation target device is projected onto the projection target, which is a part of the operator's body.
Accepting operations on the operation screen from the operator,
Based on the contents of the operation screen and the received operation, the command for operating the operation target device is determined, and the command is determined.
An operation method for transmitting the determined command to the operation target device. コンピュータを、
操作対象機器を操作するための操作画面を操作者の体の一部である投影対象に投影する投影手段、
前記操作者から前記操作画面に対する操作を受け付ける操作受付手段、
前記操作画面の内容と受け付けた操作とに基づいて、前記操作対象機器を操作するためのコマンドを判別するコマンド判別手段、
判別したコマンドを前記操作対象機器に送信するコマンド送信手段、
として機能させるプログラム。 Computer,
A projection means that projects an operation screen for operating an operation target device onto a projection target that is a part of the operator's body.
An operation receiving means for receiving an operation on the operation screen from the operator,
A command determining means for determining a command for operating the operation target device based on the contents of the operation screen and the received operation.
A command transmission means for transmitting the determined command to the operation target device,
A program that functions as.
JP2019197828A 2019-10-30 2019-10-30 Operation device, operation method, and program Pending JP2021071894A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019197828A JP2021071894A (en) 2019-10-30 2019-10-30 Operation device, operation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019197828A JP2021071894A (en) 2019-10-30 2019-10-30 Operation device, operation method, and program

Publications (1)

Publication Number Publication Date
JP2021071894A true JP2021071894A (en) 2021-05-06

Family

ID=75713242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019197828A Pending JP2021071894A (en) 2019-10-30 2019-10-30 Operation device, operation method, and program

Country Status (1)

Country Link
JP (1) JP2021071894A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7336553B2 (en) 2022-02-07 2023-08-31 三菱電機Ｉｔソリューションズ株式会社 Process execution device, process execution method and process execution program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7336553B2 (en) 2022-02-07 2023-08-31 三菱電機Ｉｔソリューションズ株式会社 Process execution device, process execution method and process execution program

Similar Documents

Publication Publication Date Title
CN107102804B (en) Control device, control method, and recording medium
JP6617755B2 (en) Display device and electronic device
WO2016134591A1 (en) Manipulation method and apparatus of intelligent device
JP6307852B2 (en) Image display device and method for controlling image display device
KR102449670B1 (en) Method for creating video data using cameras and server for processing the method
US10530664B2 (en) View sensor, home control system including view sensor, and method of controlling home control system
JP2009223490A (en) Virtual switch, and household electric appliance control system and method using same
KR102655625B1 (en) Method and photographing device for controlling the photographing device according to proximity of a user
EP3892069B1 (en) Determining a control mechanism based on a surrounding of a remote controllable device
KR102333931B1 (en) Video projector and operating method thereof
JP2021071894A (en) Operation device, operation method, and program
US10310676B2 (en) Image projection apparatus and operation method thereof
RU2673464C1 (en) Method for recognition and control of household appliances via mobile phone and mobile phone for its implementation
KR100977443B1 (en) Apparatus and method for controlling home appliances based on gesture
KR102360628B1 (en) Video projector and operating method thereof
TW201419051A (en) Remote control system and method for computer
JP2006222613A (en) Remote controller and controlled device, and control system
EP3809712A1 (en) Information processing device and information processing method
US11221684B2 (en) Information processing device, information processing method, and recording medium
US10063770B2 (en) Communication apparatus and method of controlling same
JP7112627B2 (en) Control device, control method and program
US11457265B2 (en) Display device, display method, projector, and recording medium
JP6668519B1 (en) Remote control function setting program, remote control server, remote control function setting method, mobile terminal
JP6943029B2 (en) Projection device, projection system, control method and program
US20210089674A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231120

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231128

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231222