JP2012124545A - 操作制御装置 - Google Patents

操作制御装置 Download PDF

Info

Publication number
JP2012124545A
JP2012124545A JP2010271027A JP2010271027A JP2012124545A JP 2012124545 A JP2012124545 A JP 2012124545A JP 2010271027 A JP2010271027 A JP 2010271027A JP 2010271027 A JP2010271027 A JP 2010271027A JP 2012124545 A JP2012124545 A JP 2012124545A
Authority
JP
Japan
Prior art keywords
control
unit
projection
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010271027A
Other languages
English (en)
Other versions
JP5439347B2 (ja
Inventor
Mayumi Nakade
真弓 中出
Mayuko Tanaka
真愉子 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Consumer Electronics Co Ltd
Original Assignee
Hitachi Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Consumer Electronics Co Ltd filed Critical Hitachi Consumer Electronics Co Ltd
Priority to JP2010271027A priority Critical patent/JP5439347B2/ja
Priority to US13/299,398 priority patent/US8710951B2/en
Priority to CN201110369212.3A priority patent/CN102566750B/zh
Priority to CN201410643381.5A priority patent/CN104460989B/zh
Publication of JP2012124545A publication Critical patent/JP2012124545A/ja
Priority to US14/186,471 priority patent/US9438843B2/en
Application granted granted Critical
Publication of JP5439347B2 publication Critical patent/JP5439347B2/ja
Priority to US15/231,317 priority patent/US9538115B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4131Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Selective Calling Equipment (AREA)
  • Details Of Television Systems (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】リモート操作において、撮影手段を用いずに、操作性を高める。
【解決手段】操作制御装置101は、制御対象とする機器の制御情報と制御情報に対応した制御用画像とを管理する制御情報管理部108と、制御情報管理部108が指定した制御用画像を含む映像をユーザの上部から投影する映像投影部105と、該映像投影部と投影された映像の投影面までの距離を検出する距離検出部106と、ユーザの動きを検出する動き検出部1201とを有し、制御情報管理部108は距離検出部106および動き検出部1201の検出結果に基づいて所定の処理を行う。
【選択図】図12

Description

本発明は、家庭内の各種機器を操作制御するための操作制御装置に関する。
近年のテレビジョン受像機(以下、テレビと略す)やエアーコンディショナー(以下、エアコンと略す)等の家庭内機器では、離れたところから制御する為のリモートコントロール装置(以下、リモコンと略す)で操作するのが一般的である。
ここで、特許文献1には、リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することを考慮し、撮影手段によって撮影された人の動きをトリガとして、操作途中でも操作が機器に受け入れられているかどうかを認識することができるリモート操作装置が開示されている。(特許文献1[0007][0008]参照)
特開2004−356819号公報
しかしながら、上記特許文献1で開示された発明では、撮影手段に撮影されるように、操作者がリモート操作のための動きを行わなければならず、操作性が悪い。そこで、本発明は、リモート操作において、撮影手段を用いずに、操作性を高めることを目的とし、さらに、家庭内の複数の機器に対するリモート操作を考慮する。
上記目的を達成するために、例えば、特許請求の範囲に記載の構成を採用する。
本発明によれば、家庭内の複数の機器に対して、操作性が高いリモート操作を行うことができる。
実施例1における操作制御装置の構成の一例を示すブロック図である。 実施例1における制御機器接続の一例である。 実施例1における操作制御装置の動作例である。 実施例1における操作制御装置の画像表示領域分割の一例である。 実施例1における操作制御装置の投射映像の一例である。 実施例1における操作制御装置の投射映像の一例である。 実施例1における操作制御装置の処理フローの一例である。 実施例1における操作制御装置の機器管理情報の一例である。 実施例1におけるユーザ動作の一例である。 位置検出部の出力波形の一例である。 実施例1における操作制御装置の処理フローの一例である。 実施例2における操作制御装置の構成の一例を示すブロック図である。 実施例2における操作制御装置の動作例である。 実施例2における操作制御装置の動作例である。 実施例3における操作制御装置の処理フローの一例である。 実施例3における操作制御装置の画像表示領域分割の一例である。 実施例3における操作制御装置の処理フローの一例である。 実施例4における操作制御装置の投影画像の一例である。 実施例4における操作制御装置の処理フローの一例である。 実施例5における操作制御装置の構成の一例を示すブロック図である。 位置検出部の出力波形の一例である。 実施例6における操作制御装置の構成の一例を示すブロック図である。 実施例6における操作制御装置の投影画像の一例である。 実施例6における操作制御装置の処理フローの一例である。
以下、本発明の実施形態を、図面を用いて説明する。
図1は本実施例における操作制御装置の構成の一例を示すブロック図である。101は、テレビ等の機器を制御する操作制御装置であり、102は、操作制御装置101が制御する制御対象機器との機器接続部である。図2に、制御対象機器との接続の一例を示す。121は、例えば、操作制御装置101が接続している家庭内ネットワークであり、家庭内ネットワーク121には、家庭内にある制御対象である制御対象機器、例えば、エアコン122やテレビ123、レコーダー124、インターフォン125等が接続している。操作制御装置101は、機器接続部102および家庭内ネットワーク121を介して、これら制御対象機器を制御する。なお、前記制御対象機器は一例であり、前記制御対象機器以外の機器を制御することも可能である。また、機器接続部102は、無線のネットワーク接続手段でも良いし、家庭内ネットワーク121の代わりに、1個あるいは複数個の機器の制御信号を赤外線あるいは電波で送信可能なリモコンあるいはリモコン接続手段等としてもよい。
103は、機器接続部101に接続されている制御対象機器および制御対象機器の制御情報を管理する機器管理部である。機器管理部103が管理している制御情報の一例を図8に示す。801は制御対象機器の名称であり、802は制御対象機器を一意に管理する為のID、803は制御対象機器と接続する為に必要な情報であり、例えば、IPアドレス、パスワード等である。804は、制御対象機器の操作の選択順であり、例えば、操作者が操作を開始した時には最も小さい番号の制御対象機器が制御可能であり、操作者が次の制御対象機器の操作を指示した場合には、選択順の番号が次に小さい制御対象機器を操作可能にする等の順番を指定している。805は制御対象機器毎の制御項目名であり、806は制御項目を管理する為のID、807は制御項目を実行する為の制御コマンドである。808は、制御項目が操作可能な制御対象機器の状態を示しており、例えば、テレビでは電源オンの状態を001とし、「CHアップ」、「CHダウン」等が操作可能であるが、電源オフ時では「電源オン」のみが操作可能な制御項目となる。なお、機器管理部103は、図8で説明した制御情報以外にも管理してよく、また、説明に使用した番号などは一例であり、管理できれば他の番号や記号等でもかまわない。
110は、投影する画面イメージを生成あるいは設定する表示画面設定部であり、例えば、機器管理部103で管理されている制御対象機器の制御項目に対応した画面イメージを生成し、その中から1個の画面イメージを投影画面として設定する。図5に、テレビを例に、画面イメージの一例を示す。制御項目毎に対応した画面イメージが生成され、例えば、「チャンネルアップ」は画面イメージ501、「チャンネルダウン」は画面イメージ502、「音量アップ」は画面イメージ503、「音量ダウン」は画面イメージ504、「電源オフ」は画面イメージ505が生成される。また、制御項目の操作領域外であることを知らせる為のメッセージ506を表示しても良いし、操作方法や、ロゴマーク等のイメージを表示しても構わない。なお、画面イメージは、表示画面設定部110で生成してもよいし、予め制御項目毎に作成された画面イメージを用いても良い。
104は、表示画面設定部110で設定された画像イメージを映像信号にして投影画面を生成する映像処理部であり、105は映像処理部104の映像を投影する投影部である。
106は、投影部105に投影された映像が表示される投影面と操作制御装置101との距離を検出する距離検出部である。距離検出の方法としては、例えば、赤外線や超音波を使って距離を計測する、あるいは、カメラで撮影した画像を利用して距離を測定する、あるいは、両者を併用する等、距離測定が可能なものであればいずれの方式を使用しても良い。
107は、距離検出部106で検出した距離の変化を解析し、投影面の動きの検出結果に基づいて制御項目の実行等を決定する制御決定部である。
108は、操作制御装置101を制御および管理するシステム制御部であり、距離検出部106で検出した距離と機器管理部103で管理されている制御情報とから制御対象となる機器の制御項目を決定する、さらに、制御決定部107の解析結果と機器管理部103で管理されている制御情報とから制御項目を判断し、機器接続部102を介して制御対象である機器に制御コマンドを通知する等の処理を行う。また、109は投影部105が投影する映像のフォーカス制御を行うフォーカス制御部であり、システム制御部108は、距離検出部106で検出した距離でフォーカスが合うようにフォーカス制御109を設定する。
本実施例の操作制御装置の操作概念図を図3に示す。図1と同じものには同じ番号を付している。201は操作制御装置101を介して制御対象機器を操作する操作者であり、(1)は操作者201が操作制御装置101の投影領域内に手を出していない状態の一例、(2)は操作者201が投影領域内に手を前に出した状態の一例を示す。202は、床や台等の操作制御装置101の投影面であり、203は投影面202に投影された映像、204は操作制御装置101と投影面202までの距離を示している。また、205は操作者201の手のひらであり、206は操作制御装置101が手のひら201に投影した映像、207は操作制御装置101から投影面である操作者201の手のひら205までの距離を示している。操作制御装置101は距離検出部106により操作者201の手のひら205までの距離207を計測し、距離に応じて対応する制御項目を選択し、選択した制御項目に対応した映像を投影する。操作者201は手のひら205に投影された映像を見ながら、手のひら205を上下することにより制御対象機器の制御項目および映像を切り替える。
操作制御装置101から投影面までの距離205と制御項目の対応について説明する。
操作制御装置101が制御項目を選択するために割り当てる表示領域分割の一例を図4に示す。図1および図3と同じものには同じ番号を付している。401は、操作者が手を出したと判断する最大距離を示しており、距離検出部106で検出した距離が、距離401以上である場合、操作制御装置101は床や台等の投影面202に投影する映像と同じ映像を投影する。402は、操作制御装置101に近すぎて投射映像のフォーカスが合わない、あるいは、位置が高すぎて操作者が操作し難い距離であり、制御項目の割り当てからはずす。距離401および402の設定値は、操作制御装置101の投影部の仕様や、操作制御装置101の設置場所により予め決められる。さらに、操作者の身長を考慮して設定しても良い。
距離402から距離401までの間を、操作する機器の制御項目に割当てる。404から408は、5個の項目を制御する場合の、各制御項目に割当てる領域を示しており、409は、操作者が手を出していないと判断する制御項目設定領域以外の領域を示している。操作制御装置101では、投影面が領域404から領域409のどの領域にあるかを検出し、各領域に対応した画面を表示する。操作者201は手のひら205を出す領域を移動することにより、制御項目の選択を行うことができる。
図5のテレビを例に、5個の制御項目が各領域に割り当てられている場合について説明する。操作者201が音量をアップしたい場合は、領域406の高さに手を置く。操作制御装置101は距離検出部106で投影面である手のひら205までの距離を検出し、領域406の位置に投影面があると判断し、制御項目3である「音量アップ」の制御項目に対応した画面イメージ503を投影する。図6に操作者の手のひら205に投影された映像の一例を示す。投影された画面イメージ503は、操作者201のてのひらに205に表示される。操作者が手を上下させて領域を変えることにより、操作制御装置101は各々の領域に対応した画面を投影する。以上説明したように、投影された映像を見ることにより操作者は制御する項目を知ることができる。なお、図3では投影面を操作者の手のひら205としたが、操作者が見て、投影することが可能な体の一部やものであればなんでもよい。
操作制御装置101の制御項目設定における処理フローの一例を図7に示す。
操作制御装置101の処理開始は、例えば、赤外線センサを使った非接触スイッチ等に、手を近づける、あるいは、動かすことにより開始する。
ステップS101は初期設定であり、接続されている機器から制御対象とする機器の選択、選択された機器の制御項目数から領域の分割を行い、初期の領域としては、例えば、制御項目を選択する前なので制御項目設定以外の領域G409を設定する。ステップS102で、初期画面イメージを投影する。ここで投影する初期画面イメージは操作者201が操作制御装置101が操作可能な状態になったことがわかる画像イメージであればよいが、例えば、図5の506に示したようなメッセージを表示することで操作者201の操作方法を知らせることができる。
ステップS103で、図1の距離検出部106を用いて、投影面までの距離の検出を行う。ステップS103で、検出された投影面までの距離と設定されている領域を比較し、異なっていたら制御項目の変更を行い、制御項目に対応した画面イメージの設定、フォーカス制御部109でフォーカスの設定を行う。以降ステップS103からステップS105を繰り返すことにより、操作者が手を上下することに対応して、投影画面および制御項目の切り替えを行う。
次に、選択した制御項目を実行する方法の一例について説明する。
図9に選択した制御項目を実行するための操作者の操作の一例を示す。図6と同じものには同じ番号を付し、説明は省略する。901は操作者201が選択した制御項目を実行するために手のひら205を動かす制御実行方向を示している。操作者201はある領域に手のひら205を置き、制御項目決定後、手のひら205を連続的に制御実行方向901に手を振る。図9の例は制御実行方向901が左右方向である場合を示している。この場合の距離検出部106の出力波形の一例を図10に示す。横軸は時間、縦軸は距離検出部106で検出した距離、111は連続して手を動かした場合の波形を示している。112は制御操作装置101から床や台等までの距離を、113は制御操作装置101から手のひら205までの距離を示している。114は投影面が床や台等である期間で、操作者201が操作していない様子を示す。115は投影面が手のひら205である期間で、操作者201が制御対象機器を操作するために手のひら205を投影領域内に出した様子を示す。116は操作者201が選択項目を実行するために手のひら205を制御実行方向901に動かした期間である。手のひら205が動くことにより距離検出部106で検出した距離が床や台等までの距離と手のひら205までの距離で交互に現れる様子を示している。図10の距離検出部106を用いた動作フローについて以下説明する。
図11は表示された制御項目の実行処理の動作フローの一例を示す。
ステップS200では、図10の111で制御項目が選択されたと判断し、制御項目を設定する。ステップS201では、操作制御装置101の制御決定部107で距離検出部106の出力から、図10の116に示したような距離の連続した変化を検出する。ステップS202では、連続した変化が予め登録している距離変化のパターンと一致すると判断した場合は、操作者が制御項目を実行する動きをしたと認識し、ステップS203で制御項目の実行を行う。予め登録する距離変化パターンに一致する動きとしては、例えば、図9及び図10で説明したような、手を左右や上下に振る動き、あるいは、手のひらの代わりとなるものを動かしても良い。制御項目の実行は、操作制御装置101が、操作対象機器に制御項目に対応した実行コマンド等を送信することにより行う。
以上説明したように、本実施例の操作制御装置により、操作者はリモコン等に触れることなく、手を上下させる、あるいは、手を振る等の簡単な動作で、制御項目の選択や実行が可能になり、容易に機器制御を行うことが可能になる。
図12は本実施例における操作制御装置の構成の一例を示すブロック図である。実施例1との違いは、1つの制御項目から複数の操作が実行可能であることである。図1と同じものには同じ番号を付し、説明は省略する。1201は物体の動きを検出する動き検出部でありる。動き検出部1201は、例えば、焦電型赤外線センサを複数組み合わせた移動方向検出センサとすることで安価な構成とすることが可能である。あるいは、イメージセンサ、カメラ等とすることで、移動方向だけではなく、動き方や動いた位置を使いより多くの操作を行うことが可能である。1202は動き検出部1201の出力から手のひらの動きの方向等を解析し、操作の実行を判断する制御決定部であり、動き検出部1201から出力される波形、あるいは、画像を基に物体の動きを検出する。
図13に、操作者の動作例の一例を示す。図13はテレビのチャンネルダウンの制御項目が投影されている例を示しており、図9と同じものには同じ番号を付し、説明は省略する。231は、テレビのチャンネルダウンの制御項目の投影画像例である。232は制御実行方向を示す画像例であり、例えば、手のひら205を右に動かすと制御項目を実行することを示す。233は機器選択方向を示す画像例であり、例えば、手のひら205を左に動かすと操作対象機器を変更することを示す。234は手のひら205を右方向に移動させた場合の手のひらを、235は手のひら205を左方向に移動させた場合の手のひらを示しており、どちらの場合も投影位置から外れている為、手のひら234および手のひら235には何も投影されていない状態を示している。
図15に操作制御装置の動き検出時の動作フローの一例を示す。図10と同じものには同じ番号を付し、説明は省略する。ステップS301で 動き検出部1201が動きを検出している状態にある時、操作者201が手のひら205を右に移動させると、ステップS301で動きがあることを検出する。ステップS302はステップS301で検出した動きが登録されている動きパターンに一致するものがあるかを判定する。ステップS302で一致するものがあると判断した場合は、ステップ303で制御決定部122が操作者の手のひらが右に動いたことを検出しシステム制御部108に伝える。ステップS203では、システム制御部108で表示している制御項目が、例えば、テレビのチャンネルダウンであれば、テレビにチャンネルダウンの制御コマンドを送信する等、制御項目を実行する。
また、操作者201が手のひら205を左に移動させると、ステップS303では、制御決定部122は操作者の手のひらが左に動いたことをシステム制御部108に伝える。ステップS304で、システム制御部108は制御操作装置101に接続されている制御対象機器から次に表示する機器およびその制御項目を選択し、表示画面設定部110で新たな投影画像を設定する。図14に、投影された画像の一例を示す。図13と同じものには同じ番号を付し、説明は省略する。図14は、操作者201の手のひら205を左に動かした後、操作制御装置101の投影画像の投影位置に手のひらを戻した場合を示している。241は、エアコン122の温度を下げる制御項目の投影画像例であり、制御機器がテレビジョン受像装置からエアコン122に変更され、制御項目もエアコン122の制御項目となる。操作者201はこの状態で図13と同様に手のひらを左右に動かすことにより、エアコン122の制御や制御機器の変更を行うことができる。
以上説明した本実施例の操作制御装置により、操作者は機器に触れることなく機器の操作を行うことができる。なお、本実施例では、手のひらを左右に動かす例について説明したが、同様に上下の動きを検出して機器を制御しても構わない。また、すでに操作者が手のひらを動かす方向が分かっている場合は、動かす方向およびその操作に関する画像を省き、投影した画像をシンプルなものにしても良い。
図16は本実施例における操作制御装置の表示領域分割の一例を示す。本実施例は、実施例1または2の操作制御装置における表示領域分割方法の他の一例である。図4と同じものには同じ番号を付し、説明は省略する。461は、距離401以降の背景とみなす領域Gと距離402より近い領域Aを除いた使用可能領域(領域B)であり、462は操作者201が最初に手のひら205を操作制御装置101の投影面に手を出し、操作制御装置101が最初に距離を検出した基準面であり、463は操作制御装置101から基準面462までの距離を示している。465は、説明の為に461を拡大したものであり、466は基準面462である。467から471は、基準面466を中心制御項目に対応して割り当てられた領域の例であり、5個の制御項目を制御する例を示している。467〜471の領域の高さ及び幅は、制御項目数と基準面466の高さにより設定される。
図17に操作制御装置の処理フローの一例を示す。図7と同じ処理には同じ番号を付し、説明は省略する。ステップS102で画面表示した後、ステップS401で投影面までの距離を検出する。ステップS402では、ステップS401で検出した距離が使用可能領域(領域B)461内にある場合は、ステップS403で検出した距離を基準面462とし、基準面462を中心として設定する制御項目に応じた領域を設定していく。以下、操作者が手のひらを上下させることにより、図7で説明したようにステップS103からステップS105を繰り返し、操作者は所望の制御項目を選択していく。
本実施例により、操作者が決めた基準面を中心に制御領域が設定される為、操作者の身長の高低にかかわらず使いやすい操作制御装置とすることができる。
なお、基準面をすくむ領域に設定される制御項目は、操作者が最も操作しやすいように、最も使用頻度の高い制御項目としても良いし、前回使用した制御項目としても良い。
図18に操作制御装置の投影方法の一例を示す。本実施例は、実施例1または実施例2の操作制御装置における投影方法の他の一例である。183および187は投影画像の高さを示しており、184は操作制御装置101から投影画像の高さ183までの距離、188は101から投影画像の高さ187までの距離を示している。181は高さ183に手のひら205がある場合の投影画像全体を、185は高さ187に手のひら205がある場合の投影画像全体を示している。189および190は投影する前の制御項目に対応した画像イメージ、182および186は投影後の画像イメージを示す。操作制御装置101は投影して画像を表示する為、投影画像はレンズにより操作制御装置101から離れるほど投影される画像は大きくなる為、操作制御装置101から距離が遠い高さ187に投射する画像イメージ190を画像イメージ189より小さくすることで、どの高さにおいても、手のひら内に画像イメージを納めることができる。
図19に操作制御装置の処理フローの一例を示す。図17と同じ処理には同じ番号を付し、説明は省略する。ステップS403で基準面および領域を設定するとともに、各領域に投影する画像イメージをステップS501で設定する。画像サイズは、投影する画像の大きさと、操作制御装置101から投影する領域までの距離と、投影角から決められる。以下、図17と同様に操作する。
本実施例により、操作者は、手のひらの高さに関わらず、制御項目に対応した画像イメージを手のひら上に投影することができ、操作者は投影された画像を見ることにより制御内容の確認が可能である。
図20は本実施例における操作制御装置の構成の一例を示すブロック図である。実施例1または実施例2との違いは、制御項目実行決定を経過時間で判断することにある。
図1と同じものには同じ番号を付し、説明は省略する。2001は、距離検出部106の出力が背景より前である場合の時間を計測し、同じ距離あるいは図4や図16で説明した領域で同じ領域内に予め決められた時間以上ある場合に、システム制御部108に通知する。
図21は、本実施例における距離検出部の出力波形の一例を示す。2101は距離検出部の出力波形の例、2102は、操作制御装置1010から背景までの距離、2103は、手のひら等が挿入された場合の操作制御装置1010から投影面までの距離、2104および2106は投影面が背景である時間、2105は投影面が背景以外の手のひら等である時間、2107は制御項目が実行されるまでの時間を示している。操作者は制御項目を選択した後、その高さあるいは選択した制御項目の領域内にある一定時間である時間2107以上、とどめることにより制御項目を実行する。
本実施例により、操作者は手のひらをある一定以上の時間、一定の高さにおいておくことで機器の制御が可能になる。
図22は本実施例における操作制御装置の構成の一例を示すブロック図である。実施例1または実施例2との違いは、操作制御対象機器からの通知により操作開始する操作開始方法にある。図1および図13と同じものには同じ番号を付し、説明は省略する。2201は、制御対象機器からの通知を受信する受信処理部であり、受信した制御対象機器と制御項目の情報をシステム制御部108に通知する。システム制御部108は通知された制御対象機器と制御項目に対応した画像イメージを投影するよう表示画面設定部に110に通知する。以下、図13と同様な為説明は省略する。
図23に投影画像の一例を示す。例えば、訪問者がインターフォン125を押した場合に、投影される画像イメージである。2301は投影された画像イメージを、2302および2303は動作認識の方向を示している。操作者は、映像が投影されることにより、制御対象機器から通知があることを知り、手のひらを2302あるいは2303の方向に動かすことにより、通知に対する処理方法を決定する。例えば、手のひらを右方向に動かすと「決定」の制御コマンドがインターフォン125に送られる。インターフォン125は、インターフォン125に接続しているスピーカやマイク等をオン状態にすることで、操作者は訪問者と会話ができるようになる。
図24に本実施例における操作制御装置の処理フローの一例を示す。ステップS601で制御対象機器から通知を受信すると、操作制御装置101はステップS602で通知された制御対象機器と制御項目から投影する画像イメージを投影し、ステップS603で投影面まで距離検出を開始する。ステップS604では、投影面が動きを検出する範囲内でない、例えば背面までの距離であれば、ステップS603に戻り、距離検出を繰り返す。ここで、距離検出を画像が投影されたのを見た操作者201が手を投影面に出すと、ステップS604で動作認識範囲内にあると判断し、ステップS605で動き検出を開始する。ステップS606で検出した動きがあらかじめ設定した動きと一致しない場合は、ステップS605の動き検出に戻り、動きが一致した場合はステップS607でどの動きであるかを判断する。例えば、「決定」と「取消」に動きが割り当てられている場合は、「取消」の動きを認識した場合は処理を終了する。また、「決定」動きを認識した場合は、ステップS608に進み、操作対象機器に制御項目に対応した制御コマンドを送信し、制御項目を実行する。
以上説明した制御操作装置により、制御対応機器から通知があった場合にも、同様に操作することが可能である。なお、制御対象機器からの通知としては、テレビからのお勧め番組の開始通知や、エアコンからの節電運転の為の提案等、何でもよい。また、投影する画像イメージとして、制御対象機器からのメッセージを表示するようにしてもよい。
101・・・操作制御装置、102・・・機器接続部、103・・・機器管理部、104・・・映像処理部、105・・・投影部、106・・・距離検出部、107・・・制御決定部、108・・・システム制御部、109・・・フォーカス制御部、110・・・表示画面設定部、121・・・ネットワーク

Claims (8)

  1. 複数の機器と接続して、複数の機器の操作制御を行う操作制御装置であって、
    複数の機器それぞれの複数の制御項目それぞれについて制御コマンドを管理する機器管理部と、
    前記複数の機器それぞれの制御項目についての映像を投影する投影部と、
    前記投影部から当該投影部が映像を投影する投影面までの距離を検出する距離検出部と、
    前記距離検出部で検出された距離に応じて、投影部で投影される制御項目を変えるように投影部を制御し、投影された制御項目の実行が決定された場合に、前記機器管理部で管理される制御コマンドを制御対象の機器に実行させる制御部とを備えることを特徴とする操作制御装置。
  2. 投影された制御項目の実行は、前記距離検出部で検出された距離が繰り返し変わる場合に決定されることを特徴とする請求項1に記載の操作制御装置。
  3. 前記投影部が映像を投影する投影面の動きを検出する動き検出部をさらに備え、
    前記制御部は、前記動き検出部が所定の動きを検出した場合に、制御対象となる機器を変更することを特徴とする請求項1に記載の操作制御装置。
  4. 投影された制御項目の実行は、前記動き検出部が所定の動きを検出した場合に決定されることを特徴とする請求項3に記載の操作制御装置。
  5. 前記距離検出部が検出する距離の基準値は、前記投影部が映像を投影する投影面が動く範囲で定められることを特徴とする請求項1に記載の操作制御装置。
  6. 前記距離検出部が検出する距離に応じて、投影部で投影される映像のサイズを調整することを特徴とする請求項1に記載の操作制御装置。
  7. 前記投影部が映像を投影する投影面が動かない時間を検出する時間検出部をさらに備え、
    投影された制御項目の実行は、前記時間検出部で一定時間の経過が検出された場合に決定されることを特徴とする請求項3に記載の操作制御装置。
  8. 接続される複数の機器からの通知を受信する受信部とさらに備え、
    前記受信部で通知を受信した場合に、前記投影部による投影を開始することを特徴とする請求項1に記載の操作制御装置。
JP2010271027A 2010-12-06 2010-12-06 操作制御装置 Active JP5439347B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010271027A JP5439347B2 (ja) 2010-12-06 2010-12-06 操作制御装置
US13/299,398 US8710951B2 (en) 2010-12-06 2011-11-18 Operation controlling apparatus
CN201110369212.3A CN102566750B (zh) 2010-12-06 2011-11-18 操作控制装置
CN201410643381.5A CN104460989B (zh) 2010-12-06 2011-11-18 操作控制装置
US14/186,471 US9438843B2 (en) 2010-12-06 2014-02-21 Operation controlling apparatus
US15/231,317 US9538115B2 (en) 2010-12-06 2016-08-08 Operation controlling apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010271027A JP5439347B2 (ja) 2010-12-06 2010-12-06 操作制御装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013255582A Division JP5661905B2 (ja) 2013-12-11 2013-12-11 操作制御装置

Publications (2)

Publication Number Publication Date
JP2012124545A true JP2012124545A (ja) 2012-06-28
JP5439347B2 JP5439347B2 (ja) 2014-03-12

Family

ID=46161697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010271027A Active JP5439347B2 (ja) 2010-12-06 2010-12-06 操作制御装置

Country Status (3)

Country Link
US (3) US8710951B2 (ja)
JP (1) JP5439347B2 (ja)
CN (2) CN104460989B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160053595A (ko) * 2014-11-05 2016-05-13 삼성전자주식회사 전자 장치 및 그 제어 방법
CN105959190A (zh) * 2016-06-20 2016-09-21 深圳市欧瑞博电子有限公司 智能红外设备情景控制方法及其系统
WO2018092659A1 (ja) * 2016-11-15 2018-05-24 京セラ株式会社 電子機器、プログラムおよび制御方法
JP2019149825A (ja) * 2019-04-17 2019-09-05 京セラ株式会社 電子機器、プログラムおよび制御方法
JP2020067712A (ja) * 2018-10-22 2020-04-30 パイオニア株式会社 表示制御装置、表示システム、表示制御方法及び表示制御プログラム
JP2021071894A (ja) * 2019-10-30 2021-05-06 三菱電機株式会社 操作装置、操作方法及びプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208439A (ja) * 2011-03-30 2012-10-25 Sony Corp 投影装置、投影方法及び投影プログラム
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
WO2013191888A1 (en) * 2012-06-20 2013-12-27 3M Innovative Properties Company Device allowing tool-free interactivity with a projected image
US9355431B1 (en) * 2012-09-21 2016-05-31 Amazon Technologies, Inc. Image correction for physical projection-surface irregularities
US9477312B2 (en) * 2012-11-05 2016-10-25 University Of South Australia Distance based modelling and manipulation methods for augmented reality systems using ultrasonic gloves
WO2015047242A1 (en) * 2013-09-25 2015-04-02 Schneider Electric Buildings Llc Method and device for adjusting a set point
EP3126932A1 (en) * 2014-04-01 2017-02-08 Sony Corporation Harmonizing a projected user interface
DE102014007172A1 (de) * 2014-05-15 2015-11-19 Diehl Ako Stiftung & Co. Kg Vorrichtung zur Bedienung eines elektronischen Geräts
PT107791A (pt) * 2014-07-21 2016-01-21 Ricardo José Carrondo Paulino Sistema integrado de divulgação multimeios com capacidade de interação em tempo real por comando natural e capacidade de acionamento e controlo de motores e atuadores elétricos e eletrónicos
CN104346040B (zh) * 2014-10-23 2018-08-07 京东方科技集团股份有限公司 一种信息快速查找方法、显示控制系统及输入设备
WO2016125966A1 (ko) * 2015-02-04 2016-08-11 엘지전자 주식회사 영상 투사 장치 및 그의 동작 방법
KR102360628B1 (ko) * 2015-05-21 2022-02-09 엘지전자 주식회사 영상 투사 장치 및 그의 동작 방법
WO2017026962A1 (en) 2015-08-10 2017-02-16 Arcelik Anonim Sirketi A household appliance controlled by using a virtual interface
KR102465643B1 (ko) * 2015-09-30 2022-11-09 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
WO2018107419A1 (zh) * 2016-12-15 2018-06-21 深圳市大疆创新科技有限公司 控制方法、装置、设备及可移动平台
CN106958920A (zh) * 2017-04-06 2017-07-18 绵阳美菱软件技术有限公司 一种空调、对空调进行控制的系统以及空调业务实现方法
CN107390955B (zh) * 2017-07-19 2020-07-28 广东美的制冷设备有限公司 家用电器及其控制系统和方法及红外激光多点触控装置
CN109558000B (zh) * 2017-09-26 2021-01-22 京东方科技集团股份有限公司 一种人机交互方法及电子设备
JP7188176B2 (ja) * 2019-02-25 2022-12-13 セイコーエプソン株式会社 プロジェクター、画像表示システム及び画像表示システムの制御方法
CN110248254A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 显示控制方法及相关产品
JP2022173763A (ja) * 2021-05-10 2022-11-22 セイコーエプソン株式会社 投写方法、及びプロジェクター

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156325A (ja) * 2005-12-08 2007-06-21 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置及び情報提示方法とそのプログラム
JP2009003576A (ja) * 2007-06-19 2009-01-08 Canon Inc 機器制御装置及び制御方法
JP2009258569A (ja) * 2008-04-21 2009-11-05 Ricoh Co Ltd 電子機器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4010708B2 (ja) 1999-06-21 2007-11-21 日本ビクター株式会社 機器制御装置
JP2004356819A (ja) 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP2005018385A (ja) 2003-06-26 2005-01-20 Mitsubishi Electric Corp 作業情報提供装置
US20050259226A1 (en) * 2004-05-20 2005-11-24 Gilg Thomas J Methods and apparatuses for presenting an image
WO2006070708A1 (ja) * 2004-12-28 2006-07-06 Brother Kogyo Kabushiki Kaisha プロジェクタ
CN101369248B (zh) * 2007-08-16 2011-11-02 联想(北京)有限公司 自动控制终端的方法、系统及终端
US7874681B2 (en) * 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
US8542323B2 (en) * 2007-12-21 2013-09-24 Sony Corporation Touch sensitive wireless navigation device for remote control
JP4972013B2 (ja) 2008-02-28 2012-07-11 日本電信電話株式会社 情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体
JP5183398B2 (ja) * 2008-09-29 2013-04-17 株式会社日立製作所 入力装置
JP2010152267A (ja) * 2008-12-26 2010-07-08 Seiko Epson Corp プロジェクタ
JP2010204730A (ja) * 2009-02-27 2010-09-16 Seiko Epson Corp ジェスチャーに応答して機器を制御するシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156325A (ja) * 2005-12-08 2007-06-21 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置及び情報提示方法とそのプログラム
JP2009003576A (ja) * 2007-06-19 2009-01-08 Canon Inc 機器制御装置及び制御方法
JP2009258569A (ja) * 2008-04-21 2009-11-05 Ricoh Co Ltd 電子機器

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160053595A (ko) * 2014-11-05 2016-05-13 삼성전자주식회사 전자 장치 및 그 제어 방법
KR101636460B1 (ko) 2014-11-05 2016-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법
CN105959190A (zh) * 2016-06-20 2016-09-21 深圳市欧瑞博电子有限公司 智能红外设备情景控制方法及其系统
WO2018092659A1 (ja) * 2016-11-15 2018-05-24 京セラ株式会社 電子機器、プログラムおよび制御方法
JP2018082273A (ja) * 2016-11-15 2018-05-24 京セラ株式会社 電子機器、プログラムおよび制御方法
US11269417B2 (en) 2016-11-15 2022-03-08 Kyocera Corporation Electronic device configured to communicate with an intercom, and control method thereof
JP2020067712A (ja) * 2018-10-22 2020-04-30 パイオニア株式会社 表示制御装置、表示システム、表示制御方法及び表示制御プログラム
JP2023052452A (ja) * 2018-10-22 2023-04-11 パイオニア株式会社 表示制御装置、表示システム、表示制御方法及び表示制御プログラム
JP2019149825A (ja) * 2019-04-17 2019-09-05 京セラ株式会社 電子機器、プログラムおよび制御方法
JP2021071894A (ja) * 2019-10-30 2021-05-06 三菱電機株式会社 操作装置、操作方法及びプログラム

Also Published As

Publication number Publication date
US9438843B2 (en) 2016-09-06
CN102566750B (zh) 2014-12-10
US20160353048A1 (en) 2016-12-01
US9538115B2 (en) 2017-01-03
US8710951B2 (en) 2014-04-29
JP5439347B2 (ja) 2014-03-12
CN104460989A (zh) 2015-03-25
US20140168524A1 (en) 2014-06-19
CN104460989B (zh) 2017-07-28
US20120139689A1 (en) 2012-06-07
CN102566750A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
JP5439347B2 (ja) 操作制御装置
EP3125152B1 (en) Method and device for collecting sounds corresponding to surveillance images
KR101684203B1 (ko) 스트림 미디어 데이터를 방송하기 위한 방법 및 장치
JP2009223490A (ja) 仮想スイッチならびにそれを用いた家電制御システムおよび家電制御方法
JP2013055650A (ja) 映像表示装置及び遠隔制御装置並びにその動作方法
US11438648B2 (en) Information processing terminal and system
KR20160024848A (ko) 이미지를 이용한 리모컨 프로그래밍
WO2014155885A1 (ja) 入力装置
JP5661905B2 (ja) 操作制御装置
JP4960270B2 (ja) インターホン装置
JP2005354543A (ja) リモコン装置
CN102779014B (zh) 交互式投影系统以及投影仪调整控制方法
TR201613370A2 (tr) Çok açili ir alicisi üni̇tesi̇ne sahi̇p görüntüleme ci̇hazi
JP2012049781A (ja) 撮像装置の遠隔操作システム、遠隔操作方法、双方向通信システム、および双方向通信方法
JP2008141281A (ja) 監視システム
JP2015099956A (ja) 撮像装置、情報処理装置、撮像システム及びプログラム
JP2006222613A (ja) 遠隔制御装置及び被制御装置並びに制御システム
JP5464290B2 (ja) 制御装置、制御方法、及びカメラシステム
KR20080048597A (ko) 카메라 이동제어 장치 및 그 방법
JP2004356803A (ja) 遠隔機器操作システム,そのシステムにおける操作端末および撮像装置
KR200481796Y1 (ko) Ptz 카메라 컨트롤러
JP2014072614A (ja) テレビシステム
JP2010045604A (ja) 受信装置、受信方法、プログラムおよび送受信システム
JP2004255552A (ja) 移動ロボットのカメラ視線方向制御方法および移動ロボットシステム
JP2014174331A (ja) 表示装置および表示装置を制御するためのプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131216

R150 Certificate of patent or registration of utility model

Ref document number: 5439347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250