JP2010505462A - 物理的表面に仮想的に絵を描くシステム - Google Patents

物理的表面に仮想的に絵を描くシステム Download PDF

Info

Publication number
JP2010505462A
JP2010505462A JP2009529835A JP2009529835A JP2010505462A JP 2010505462 A JP2010505462 A JP 2010505462A JP 2009529835 A JP2009529835 A JP 2009529835A JP 2009529835 A JP2009529835 A JP 2009529835A JP 2010505462 A JP2010505462 A JP 2010505462A
Authority
JP
Japan
Prior art keywords
picture
bucket
physical surface
color
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009529835A
Other languages
English (en)
Other versions
JP5260529B2 (ja
Inventor
マキュラ,マルコ
マルザノ,トーマス
ママ,キリアコス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2010505462A publication Critical patent/JP2010505462A/ja
Application granted granted Critical
Publication of JP5260529B2 publication Critical patent/JP5260529B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Toys (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本発明の物理的表面に仮想的に絵を描くシステム(13,15)は電気回路であって、電気回路は、物理的表面における物理的オブジェクトの動きを検出し、物理的表面における動きに対応する絵(11)を投影する、電気回路を有する。本発明のコンピュータプログラムは、プログラム可能装置が本発明のシステムとして機能することを可能にする。

Description

本発明は、物理的表面に絵を仮想的に描くシステムであって、電子回路を有する、システムに関する。
本発明は、プログラマブル装置が物理的表面に仮想的に絵を描くシステムとして機能することを可能にするコンピュータプログラムプロダクトに更に関する。
子供は、ときどき、実際の絵を描く道具で家の壁に絵を描くことを許容されるが、それらの絵は、しばしば、消すことが困難であり、壁を塗り替えることさえ、必要になる。特定の情報携帯端末(PDA)は、ユーザがペンを用いてタッチスクリーンに絵を描くことを可能にするが、これは、幼い子供を楽しませるには適さない。
本発明の目的は、幼い子供をより楽しくさせる、物理的表面に仮想的に絵を描くシステムを提供することである。
本発明に従って、その目的は、電気回路が、物理的表面における物理的オブジェクトの動きを検出して、物理的表面における動きに対応する、ペインティングとも呼ばれる絵を投影するように動作可能であるように、実現される。例えば、壁に絵を投影することにより、大きい絵の領域が得られ、それ故、例えば、実際の絵筆に似た物理的オブジェクトはまた、相対的に大きくなることが可能である。物理的オブジェクトの動きを、例えば、カメラを用いることにより、検出することが可能である。電気回路は、捕捉される画像において物理的オブジェクトの形状及び/又は色を認識することがまた、可能である。例えば、“消す”色を選択することにより同じ物理的オブジェクトを用いて、又は、例えば、“消去ツール”と呼ばれる専用の物理的オブジェクトを用いて、消去を行うことが可能である
発明のシステムはまた、物理的オブジェクトを入れておくバケットを有する。この物理的オブジェクトは、絵筆に似たものであることが可能であり、バケットは、ペイントバケットに似たものであることが可能である。バケットは、バケット内で物理的オブジェクトにより実行されるかき回しジェスチャを検出する複数のセンサを有し、電気回路は、色が選択された後に実行される動きに対応して、絵を投影する色を選択するように動作可能である。これは、仮想的な絵筆の色を変化させる容易で、娯楽性の高い方法を提供する。その色は、時計方向及び反時計方法にかき回している間に変化することが可能である。バケット及び/又はペイントブラシの色は適宜に変化することが可能である。
バケットは、物理的表面に絵を投影する投影器を有することが可能である。その投影器は、好適には、可搬型である。その投影器をバケットと一体化することにより、機能性及び娯楽性を組み合わせることが可能である。
投影器は、レーザ投影器を有することが可能である。この種の投影器は、急峻な角度で機能することができるものである。
そのシステムは、絵が現在、投影されている物理的表面の位置を決定する手段と、その位置に関連する絵を記憶する及び検出するためのメモリとを有することが可能である。例えば、バケットは、台所で描かれた絵を記憶していることが可能であり、バケットがまた、台所で再び、用いられるときの最後の絵を表す(仮想グラフィティのように)。その位置は、GPS受信器を用いて、決定可能であるが、GPSは家の中ではうまく機能しないために、宅内ビーコンが、好適に用いられる。
電気回路は、絵が動くように、動作可能にする。動画は、システム内に記憶されることが可能であり、絵が所定の形状に十分に似ているとすぐ、トリガされることが可能である。例えば、“ワンド”と呼ばれる専用の物理的オブジェクトは、絵が専用の物理的オブジェクトに接するとき、動画をトリガするように用いられる。
本発明の上記の及び他の特徴については、例示として、図を参照して更に明らかになり、理解することができる。
本発明の方法のフロー図である。 本発明のシステムの実施形態を示す図である。 図2の実施形態のブロック図である。
図1を参照するに、本発明の方法は2つのステップを有する。ステップ1は、物理表面における動きに対応する画像を投影することを有する。
図2は、投影器15を有するバケット13を有する、本発明のシステムの実施形態を示している。投影器15は、壁に画像を投影する。絵を描くことを開始するように、子供は、彼が絵を描きたい壁の前にペイントバケット(道具全てをしまうこともできる)を置く。そうすることにより、バケットに組み込まれているレーザビーマが、壁に画像を投影することができる。子供は、そのとき、バケット及び道具をアクティブにするように、バケットから道具全てを取り出す。バケットの内部は、用いられた最後の色になる。
ブラシを取り出すことにより、そのブラシがアクティブになり、光を発する。そのブラシをバケットに入れることにより、ブラシは、その色を、バケットと同じ色に変化する。子供が壁に絵を描くことを開始するとき、絵を描く色はブラシの色と同じ色になる。
子供が描いた絵が好きでない場合、彼は、取り出したときに白色光を発するイレイサを取り出し、壁上の絵を消し始める。消している間、イレイサは、光の強度を変えることにより、移動速度に達する。子供がイレイサにより消しているとき、イレイサは、ゆっくりと暗くなり、色が白色光に戻るようする。
絵を描く色を変えるように、子供は、ブラシを取り上げ、それをバケットに入れて、かき回す。バケット(及び、ブラシ)の色は、時計回り及び反時計回りにかき回している間に、変化する。一旦、好みの色が見つかると、子供は、壁に新しい色で絵を描き始める。
絵を描く色を変える他の方法は、バケットに色のついた物体を入れることである。バケットの色は、そのとき、その物体の色に変わる。
子供が絵に活気を与えたい場合、彼はワンドを取り上げる。そのワンドは大きくなる。彼が、そのワンドを絵に対して軽く叩くとき、彼は、まさにその絵を描くことを開始し、その絵の選択を示すように僅かに移動させる。軽く叩いた後、彼は、ワンドに音を出すことを可能にし、そのことは、そのワンドが記録していることを示すように、光をパルス化する。子供は、そのとき、絵を再び、軽く叩き、その絵は動き始め、記録されている音を出す。
絵を描き終わったとき、子供は、道具全てをバケットにしまい、そうすることにより、ツール全てが非アクティブになり、その絵はゆっくり消える。
次の物体が、この実施形態において利用可能である(他の実施形態は、異なる物体を有することが可能である)。
● ペイントバケット
このペイントバケットは、内部にLEDを有する無線のディジタルペイントバケットである。“ブラシ”でバケット内をかき回すことにより、LEDの色を変えることができる。バケット内に色付きの物体を入れることにより、LEDの色がまた、変わる。
● ブラシ
このブラシは、内部にLEDを有する小さい無線のディジタルペイントブラシである。そのブラシを取り上げることにより、そのブラシは大きくなり始める。このブラシをバケット内に入れることにより、ブラシは、バケットの色を発する。この道具は、そのとき、壁に絵を描くように用いられる。その“ブラシ”でバケット内をかき回すことにより、LEDの色を変えることができる。
● ワンド
このワンドは、内部にLEDを有する小さい無線マジックワンドである。そのワンドは、“絵に活気を与える”ように用いられる。そのワンドを取り上げることにより、それは大きくなる。絵を軽く叩くことにより、ワンドは、音を記録することができることを示すように、LEDをパルス化し始める。子供は、そのとき、ワンドに対して音声を出すことができ、そして再び絵を軽く叩くことにより、絵は動き始め、記録されている音声を出すことができる。
● イレイサ
このイレイサは、内部にLEDを有する小さい無線ディジタルイレイサである。そのイレイサを取り上げることにより、それは大きくなる。イレイサを壁において移動させることにより、子供は絵を消すことができる。絵を消す速度及び動きは、LEDの強度に影響する。その影響は、絵を消しているときに、フリッカとして現れる。
図3の物理的表面に仮想的に絵を描くシステム13は電気回路21を有する。電気回路21は、物理的表面において物理的オブジェクト31の動きを検出し、その物理的表面における動きに対応する絵を投影する。電気回路は、汎用の又はアプリケーションに専用のプロセッサを有することが可能である。システム13は、壁において4つのセンサ33を有するバケットである。センサ33は、物理的オブジェクト31の時計方向の反時計方向の動きを検出し、検出された動きに基づいて、色を変化させることが可能である。センサ33はホールセンサであり、物理的オブジェクト31は磁石を有することが可能である。
この実施形態においては、モジュール15はバケットのエッジに取り付けられている。モジュール15は電気回路31を有する。電気回路21は、投影器23を制御し、カメラ25から入力を受信する。カメラ25に代えて、他の手段が、物理的オブジェクト31の、即ち、仮想ペイントブラシの動きを検出するように用いられることが可能である。モジュール15は、絵が現在投影されている物理的表面の位置を決定する手段29と、その位置に関連する絵を記憶する及び検出するためのメモリ27と、を有する。この特徴はまた、“仮想グラフィティ”と呼ばれる。
本発明については、好適な実施形態と関連付けて記載されているが、上記の概観した原理の範囲内で本発明の修正が可能であることが明らかであり、それ故、本発明は、それらの実施形態に限定されるものではなく、そのような修正を包含することを意図されていることを当業者は理解することができるであろう。本発明は、各々の及び全ての新規な特徴並びに各々の及び全ての複数の特徴の組み合わせを有する。用語“を有する”及びその派生表現を用いることは、請求項に記載されている要素以外の要素の存在を排除するものではない。要素の単数表現は、その要素の複数の存在を排除するものではない。
‘手段’は、当業者に明らかであるように、動作中に実行される、又は特定の機能を実行する、単独で又は他の機能と関連付けられる、分離して又は他の要素と協働するようにデザインされている何れかのハードウェア(別個の又は一体化された回路又は電気的要素)又はソフトウェアを有するものを意味する。本発明は、複数の別個の要素を有するハードウェアにより、そして適切にプログラムされたコンピュータにより実行されることが可能である。複数の手段を列挙している装置請求項においては、それらの手段の幾つかは、同一のハードウェアにより実施されることが可能である。‘コンピュータプログラム’は、インターネットのようなネットワークを介してダウンロード可能である、又は何れかの他の方法で市場性があるフロッピー(登録商標)ディスクのようなコンピュータ読み取り可能媒体に記憶されている何れかのソフトウェアを意味するとして理解することができる。

Claims (8)

  1. 電気回路を有する物理的表面に仮想的に絵を描くシステムであって、前記電気回路は:
    前記物理的表面における物理的オブジェクトの動きを検出し;
    前記物理的表面における前記動きに対応する絵を投影する;
    ように動作可能である、システム。
  2. 請求項1に記載のシステムであって、物理的オブジェクトを入れておくためのバケットを有する、システム。
  3. 請求項2に記載のシステムであって、前記バケットは、前記物理的表面に前記絵を投影する投影器を有する、システム。
  4. 請求項3に記載のシステムであって、前記投影器はレーザ投影器を有する、システム。
  5. 請求項2に記載のシステムであって、前記バケットは、前記バケット内で物理的オブジェクトにより実行される、かき回すジェスチャを検出する複数のセンサを有し、前記電気回路は、色が選択された後に実行される動きに対応する絵を投影する色を選択するように動作可能である、システム。
  6. 請求項1に記載のシステムであって、前記絵が現在、投影されている物理的表面の位置を決定する手段と、前記位置に関連する絵を記憶する及び検索するためのメモリと、を有する、システム。
  7. 請求項1に記載のシステムであって、前記電気回路は、前記絵が動くように動作可能である、システム。
  8. プログラム可能装置が請求項1に記載のシステムとして機能することを可能にするコンピュータプログラム。
JP2009529835A 2006-10-02 2007-09-27 物理的表面に仮想的に絵を描くシステム Expired - Fee Related JP5260529B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06121615.6 2006-10-02
EP06121615A EP1909162A1 (en) 2006-10-02 2006-10-02 System for virtually drawing on a physical surface
PCT/IB2007/053926 WO2008041159A1 (en) 2006-10-02 2007-09-27 System for virtually drawing on a physical surface

Publications (2)

Publication Number Publication Date
JP2010505462A true JP2010505462A (ja) 2010-02-25
JP5260529B2 JP5260529B2 (ja) 2013-08-14

Family

ID=37806851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009529835A Expired - Fee Related JP5260529B2 (ja) 2006-10-02 2007-09-27 物理的表面に仮想的に絵を描くシステム

Country Status (5)

Country Link
US (1) US8253744B2 (ja)
EP (2) EP1909162A1 (ja)
JP (1) JP5260529B2 (ja)
CN (1) CN101523333B (ja)
WO (1) WO2008041159A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100159434A1 (en) * 2007-10-11 2010-06-24 Samsun Lampotang Mixed Simulator and Uses Thereof
WO2013059488A1 (en) 2011-10-18 2013-04-25 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
US20140038165A1 (en) * 2012-08-06 2014-02-06 SUK S.r.l. Parallelepiped to teach to correlate a distinctive sign of a personage to the related personage
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US10082935B2 (en) * 2013-04-15 2018-09-25 Carnegie Mellon University Virtual tools for use with touch-sensitive surfaces
US20150161822A1 (en) * 2013-12-11 2015-06-11 Adobe Systems Incorporated Location-Specific Digital Artwork Using Augmented Reality
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
WO2020250135A1 (en) * 2019-06-11 2020-12-17 IMAGE STUDIO CONSULTING S.r.l. Interactive painting wall
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315104A (ja) * 1995-05-12 1996-11-29 Sharp Corp 画像編集装置
JP3034382U (ja) * 1996-06-13 1997-02-18 株式会社呉竹精昇堂 彩色用具セット
US5646650A (en) * 1992-09-02 1997-07-08 Miller; Robert F. Electronic paintbrush and color palette
JP2005301693A (ja) * 2004-04-12 2005-10-27 Japan Science & Technology Agency 動画編集システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603463B1 (en) * 2000-11-06 2003-08-05 Sony Corporation Method and an apparatus for electronically creating art
US6801211B2 (en) * 2001-12-21 2004-10-05 Ladd B. Forsline Computer painting system with passive paint brush stylus
US20060028456A1 (en) * 2002-10-10 2006-02-09 Byung-Geun Kang Pen-shaped optical mouse
US7262764B2 (en) * 2002-10-31 2007-08-28 Microsoft Corporation Universal computing device for surface applications
US7142197B2 (en) * 2002-10-31 2006-11-28 Microsoft Corporation Universal computing device
CN100573595C (zh) * 2003-06-20 2009-12-23 日本电信电话株式会社 虚拟视点图像生成方法和三维图像显示方法及装置
US7136054B2 (en) * 2004-01-06 2006-11-14 Microsoft Corporation Camera-pen-tip mapping and calibration
US20060084039A1 (en) * 2004-10-19 2006-04-20 Massachusetts Institute Of Technology Drawing tool for capturing and rendering colors, surface images and movement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5646650A (en) * 1992-09-02 1997-07-08 Miller; Robert F. Electronic paintbrush and color palette
JPH08315104A (ja) * 1995-05-12 1996-11-29 Sharp Corp 画像編集装置
JP3034382U (ja) * 1996-06-13 1997-02-18 株式会社呉竹精昇堂 彩色用具セット
JP2005301693A (ja) * 2004-04-12 2005-10-27 Japan Science & Technology Agency 動画編集システム

Also Published As

Publication number Publication date
EP2074496A1 (en) 2009-07-01
EP1909162A1 (en) 2008-04-09
CN101523333B (zh) 2012-02-15
US8253744B2 (en) 2012-08-28
JP5260529B2 (ja) 2013-08-14
US20100149191A1 (en) 2010-06-17
CN101523333A (zh) 2009-09-02
WO2008041159A1 (en) 2008-04-10

Similar Documents

Publication Publication Date Title
JP5260529B2 (ja) 物理的表面に仮想的に絵を描くシステム
US8872854B1 (en) Methods for real-time navigation and display of virtual worlds
JP7348895B2 (ja) 仮想カメラを制御するシステム及び方法
JP6568902B2 (ja) 対話型ペインティングゲーム及び関連するコントローラ
US9132346B2 (en) Connecting video objects and physical objects for handheld projectors
JP5170771B2 (ja) 描画処理プログラム、情報処理装置、情報処理システムおよび情報処理制御方法
US9330478B2 (en) Augmented reality creation using a real scene
US20140273715A1 (en) Panoramic Coloring Kit
US8970476B2 (en) Motion controlled image creation and/or editing
Jones et al. Build your world and play in it: Interacting with surface particles on complex objects
JP6569726B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN103984406A (zh) 互动游戏方法及系统
JP2001307124A (ja) 画像処理システム、画像処理装置及び撮像装置
JP2020192171A (ja) 掃除支援装置、掃除支援システム、電気掃除機、及び掃除支援方法
CN1487355A (zh) 自动照相装置
JP4328182B2 (ja) 自動写真作成装置および自動写真作成方法
JP2010139893A (ja) 教具
Lee et al. Enhancing interface design using attentive interaction design toolkit
CN110507983A (zh) 互动式投影系统和互动式投影方法
TW200844810A (en) Microphones as contact sensors for device control
CN109040721B (zh) 客制化动态影音场景生成系统
TWI488069B (zh) 光學繪圖方法
JP4336215B2 (ja) 自動写真作成装置および自動写真作成方法
CA2767687E (en) Motion controlled image creation and/or editing
WO2017056642A1 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130116

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees