JP2010524113A - 人−機械インターフェース装置システム及び方法 - Google Patents
人−機械インターフェース装置システム及び方法 Download PDFInfo
- Publication number
- JP2010524113A JP2010524113A JP2010502633A JP2010502633A JP2010524113A JP 2010524113 A JP2010524113 A JP 2010524113A JP 2010502633 A JP2010502633 A JP 2010502633A JP 2010502633 A JP2010502633 A JP 2010502633A JP 2010524113 A JP2010524113 A JP 2010524113A
- Authority
- JP
- Japan
- Prior art keywords
- module
- machine interface
- image
- skeleton
- interface according
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
Abstract
【選択図】図1
Description
・色
・動き
・エッジ検出
・テキスチュア
を具えていても良い。
・色−既知の色パラメータを用いて、要素及び/又は光の変化を検出する。例えば、皮膚の色を用いて手のひらと顔を検出する。
・動き−フレーム中の移動要素を検出する。
・背景の除去。
・エッジ検出−画像のエッジを検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
・色
・動き
・エッジ検出
・テキスチュア
を具えていても良い。
・色−既知の色パラメータを用いて要素及び/又は光の変化を検出する。例えば、皮膚の色を用いて手のひらと顔を検出する。
・動き−フレーム中の移動する要素を検出する。
・背景の除去。
・エッジ検出−画像のエッジを検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
といった方法で処理を行うことができる。
・色
・動き
・エッジ検出
・テキスチュア
を具えていても良い。
・色−既知の色パラメータを用いて要素及び/又は光の変化を検出する。例えば、皮膚の色を用いて手のひらと顔を検出する。
・動き−フレーム中の移動する要素を検出する。
・背景の除去。
・エッジ検出−画像のエッジを検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
といった方法で処理を行うことができる。
・色
・動き
・エッジ検出
・テキスチュア
を具える。
・色−既知の色のパラメータを用いて、要素及び/又は光の変化を検出する。例えば、皮膚の色を用いて手のひら及び顔を検出する。
・動き−フレーム中の移動要素を検出する。
・背景の除去。
・エッジ検出−各器官の輪郭を検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
・色
・動き
・エッジ検出
・テキスチュア
を具える。
・色−既知の色のパラメータを用いて、要素及び/又は光の変化を検出する。例えば、皮膚の色を用いて手のひら及び顔を検出する。
・動き−フレーム中の移動要素を検出する。
・背景の除去。
・エッジ検出−各器官の輪郭を検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
Claims (20)
- 3D人機械インターフェースにおいて:
ユーザの二次元画像セットを取得するように構成した画像取得アッセンブリであって、実質的に、各画像が異なる時間に使用される、画像取得アッセンブリと;
テンプレートボディの三次元データモデルを、前記画像取得アッセンブリによって取得した一又はそれ以上の画像から外挿したデータセットに相関させることによって、一又はそれ以上の予測したユーザボディ座標を取り出すように構成した処理ユニットと;
を具えることを特徴とする3D人機械インターフェース。 - 請求項1に記載の3D人機械インターフェースが更に、起動モジュール、画像分割モジュール、分割データ処理モジュール、スコアリングモジュール、深度抽出モジュール、投影モジュール、適合モジュール、スコアリング及びエラー検出モジュール、回復モジュール、三次元骨格予測モジュール、三次元相関モジュール、及び出力モジュールからなる群から選択された一またはそれ以上のモジュールを具えることを特徴とする3D人機械インターフェース。
- 請求項2に記載の3D人機械インターフェースにおいて、前記画像分割モジュールが、前記画像から分割データを抽出するように構成されていることを特徴とする3D人機械インターフェース。
- 請求項3に記載の3D人機械インターフェースにおいて、前記分割データが、色、動き、サイズ、エッジ検出、及びテキスチュアからなる群から選択されたパラメータからなることを特徴とする3D人機械インターフェース。
- 請求項3に記載の3D人機械インターフェースにおいて、前記分割データ処理モジュールが、前記分割データを処理するように構成されていることを特徴とする3D人機械インターフェース。
- 請求項5に記載の3D人機械インターフェースにおいて、前記スコアリングモジュールが、前記処理を行った分割データの品質を評価するように構成されていることを特徴とする3D人機械インターフェース。
- 請求項2に記載の3D人機械インターフェースにおいて、前記三次元骨格予測モジュールが、前記三次元骨格の位置を予測するように構成されていることを特徴とする3D人機械インターフェース。
- 請求項2に記載の3D人機械インターフェースにおいて、前記投影モジュールが、前記三次元骨格を前記取得画像の上に投影するように構成されていることを特徴とする3D人機械インターフェース。
- 請求項8に記載の3D人機械インターフェースにおいて、前記三次元骨格の投影を二次元平面に適用することを特徴とする3D人機械インターフェース。
- 請求項2に記載の3D人機械インターフェースにおいて、前記適合モジュールが、抽出した分割データの部分を投影した骨格に関連付けるように構成されていることを特徴とする3D人機械インターフェース。
- 請求項2に記載の3D人機械インターフェースにおいて、前記三次元相関モジュールが、三次元骨格の位置を更新するように構成されていることを特徴とする3D人機械インターフェース。
- 請求項1に記載の3D人機械インターフェースにおいて、前記画像取得アッセンブリが、フィルムカメラ、ウェブカメラ、デジタルビデオカメラ、アナログビデオカメラ、及びステレオカメラからなる群から選択されることを特徴とする3D人機械インターフェース。
- 3D人機械インターフェースにおいて:
二次元画像セットから一又はそれ以上の予測したユーザ身体座標を取り出すように構成された処理ユニットと;
二又はそれ以上の光路を用いて一又はそれ以上の二次元画像データセットを取得するように構成された画像取得アッセンブリであって、前記各光路が、レンズ、ミラー、及びダイヤフラム構造体を具え、各光路が共通の投影平面から二次元光画像情報を回収するように構成されている、画像取得アッセンブリと;
を具えることを特徴とする3D人機械インターフェース。 - 請求項13に記載の3D人機械インターフェースが更に、起動モジュール、画像分割モジュール、分割データ処理モジュール、適合モジュール、スコアリング及びエラー検出モジュール、深度抽出モジュール、回復モジュール、三次元相関モジュール、及び出力モジュールからなる群から選択された一またはそれ以上のモジュールを具えることを特徴とする3D人機械インターフェース。
- 請求項14に記載の3D人機械インターフェースにおいて、前記画像分割モジュールが、前記画像から分割データを抽出するように構成されていることを特徴とする3D人機械インターフェース。
- 請求項15に記載の3D人機械インターフェースにおいて、前記分割データが、色、動き、サイズ、エッジ検出、及びテキスチュアからなる群から選択されたパラメータからなることを特徴とする3D人機械インターフェース。
- 請求項15に記載の3D人機械インターフェースにおいて、前記分割データ処理モジュールが、前記分割データを処理するように構成されていることを特徴とする3D人機械インターフェース。
- 請求項14に記載の3D人機械インターフェースにおいて、前記適合モジュールが、抽出した分割データの部分を取得画像に関連付けるように構成されていることを特徴とする3D人機械インターフェース。
- 請求項14に記載の3D人機械インターフェースにおいて、前記三次元相関モジュールが、三次元身体の位置を更新するように構成されていることを特徴とする3D人機械インターフェース。
- 請求項13に記載の3D人機械インターフェースにおいて、前記画像取得アッセンブリが、Zlensアッセンブリであることを特徴とする3D人機械インターフェース。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IL2007/000475 WO2008126069A2 (en) | 2007-04-15 | 2007-04-15 | An apparatus system and method for human-machine-interface |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012218525A Division JP5620449B2 (ja) | 2012-09-28 | 2012-09-28 | 人−機械インターフェース装置システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010524113A true JP2010524113A (ja) | 2010-07-15 |
JP5147933B2 JP5147933B2 (ja) | 2013-02-20 |
Family
ID=39864447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010502633A Expired - Fee Related JP5147933B2 (ja) | 2007-04-15 | 2007-04-15 | 人−機械インターフェース装置システム及び方法 |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP2147393A4 (ja) |
JP (1) | JP5147933B2 (ja) |
KR (1) | KR101379074B1 (ja) |
CA (1) | CA2684020C (ja) |
IL (1) | IL201514A (ja) |
WO (1) | WO2008126069A2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8872899B2 (en) | 2004-07-30 | 2014-10-28 | Extreme Reality Ltd. | Method circuit and system for human to machine interfacing by hand gestures |
JP4904264B2 (ja) | 2004-07-30 | 2012-03-28 | エクストリーム リアリティー エルティーディー. | 3d空間次元に基づく画像処理のためのシステムおよび方法 |
WO2011033519A1 (en) | 2009-09-21 | 2011-03-24 | Extreme Reality Ltd. | Methods circuits apparatus and systems for human machine interfacing with an electronic appliance |
US9046962B2 (en) | 2005-10-31 | 2015-06-02 | Extreme Reality Ltd. | Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region |
US20070285554A1 (en) | 2005-10-31 | 2007-12-13 | Dor Givon | Apparatus method and system for imaging |
US8878779B2 (en) | 2009-09-21 | 2014-11-04 | Extreme Reality Ltd. | Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen |
KR20140030138A (ko) | 2011-01-23 | 2014-03-11 | 익스트림 리얼리티 엘티디. | 입체 화상 및 비디오를 생성하는 방법, 시스템, 장치 및 관련 프로세스 로직 |
US9857868B2 (en) | 2011-03-19 | 2018-01-02 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system for ergonomic touch-free interface |
US8840466B2 (en) | 2011-04-25 | 2014-09-23 | Aquifi, Inc. | Method and system to create three-dimensional mapping in a two-dimensional game |
US8854433B1 (en) | 2012-02-03 | 2014-10-07 | Aquifi, Inc. | Method and system enabling natural user interface gestures with an electronic system |
US9111135B2 (en) | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
US8934675B2 (en) | 2012-06-25 | 2015-01-13 | Aquifi, Inc. | Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints |
US8836768B1 (en) | 2012-09-04 | 2014-09-16 | Aquifi, Inc. | Method and system enabling natural user interface gestures with user wearable glasses |
US9092665B2 (en) | 2013-01-30 | 2015-07-28 | Aquifi, Inc | Systems and methods for initializing motion tracking of human hands |
US9129155B2 (en) | 2013-01-30 | 2015-09-08 | Aquifi, Inc. | Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map |
US9298266B2 (en) | 2013-04-02 | 2016-03-29 | Aquifi, Inc. | Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
US9798388B1 (en) | 2013-07-31 | 2017-10-24 | Aquifi, Inc. | Vibrotactile system to augment 3D input systems |
US9507417B2 (en) | 2014-01-07 | 2016-11-29 | Aquifi, Inc. | Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
US9619105B1 (en) | 2014-01-30 | 2017-04-11 | Aquifi, Inc. | Systems and methods for gesture based interaction with viewpoint dependent user interfaces |
CN108144292A (zh) * | 2018-01-30 | 2018-06-12 | 河南三阳光电有限公司 | 裸眼3d互动游戏制作设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1186004A (ja) * | 1997-09-11 | 1999-03-30 | Fujitsu Ltd | 移動体追跡装置 |
JP2001101419A (ja) * | 1999-07-27 | 2001-04-13 | Matsushita Electric Works Ltd | 画像特徴追跡処理方法、画像特徴追跡処理装置、3次元データ作成方法 |
JP2001236505A (ja) * | 2000-02-22 | 2001-08-31 | Atsushi Kuroda | 座標推定方法、座標推定装置および座標推定システム |
JP2002259474A (ja) * | 2001-03-05 | 2002-09-13 | Oojisu Soken:Kk | 人体モデル生成方法、人体モデル生成装置、コンピュータプログラム及び記録媒体 |
JP2003256850A (ja) * | 2001-12-27 | 2003-09-12 | Sanyo Electric Co Ltd | 動き認識装置および画像処理装置並びにプログラム |
WO2004094943A1 (ja) * | 2003-04-22 | 2004-11-04 | Hiroshi Arisawa | モーションキャプチャ方法、モーションキャプチャ装置、及びモーションキャプチャ用マーカ |
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
WO2006099597A2 (en) * | 2005-03-17 | 2006-09-21 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6833843B2 (en) * | 2001-12-03 | 2004-12-21 | Tempest Microsystems | Panoramic imaging and display system with canonical magnifier |
US9177387B2 (en) * | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
JP4904264B2 (ja) * | 2004-07-30 | 2012-03-28 | エクストリーム リアリティー エルティーディー. | 3d空間次元に基づく画像処理のためのシステムおよび方法 |
-
2007
- 2007-04-15 EP EP07736215A patent/EP2147393A4/en not_active Withdrawn
- 2007-04-15 KR KR1020097023103A patent/KR101379074B1/ko not_active IP Right Cessation
- 2007-04-15 WO PCT/IL2007/000475 patent/WO2008126069A2/en active Application Filing
- 2007-04-15 JP JP2010502633A patent/JP5147933B2/ja not_active Expired - Fee Related
- 2007-04-15 CA CA2684020A patent/CA2684020C/en not_active Expired - Fee Related
-
2009
- 2009-10-14 IL IL201514A patent/IL201514A/en not_active IP Right Cessation
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1186004A (ja) * | 1997-09-11 | 1999-03-30 | Fujitsu Ltd | 移動体追跡装置 |
JP2001101419A (ja) * | 1999-07-27 | 2001-04-13 | Matsushita Electric Works Ltd | 画像特徴追跡処理方法、画像特徴追跡処理装置、3次元データ作成方法 |
JP2001236505A (ja) * | 2000-02-22 | 2001-08-31 | Atsushi Kuroda | 座標推定方法、座標推定装置および座標推定システム |
JP2002259474A (ja) * | 2001-03-05 | 2002-09-13 | Oojisu Soken:Kk | 人体モデル生成方法、人体モデル生成装置、コンピュータプログラム及び記録媒体 |
JP2003256850A (ja) * | 2001-12-27 | 2003-09-12 | Sanyo Electric Co Ltd | 動き認識装置および画像処理装置並びにプログラム |
WO2004094943A1 (ja) * | 2003-04-22 | 2004-11-04 | Hiroshi Arisawa | モーションキャプチャ方法、モーションキャプチャ装置、及びモーションキャプチャ用マーカ |
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
WO2006099597A2 (en) * | 2005-03-17 | 2006-09-21 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
JP2008537815A (ja) * | 2005-03-17 | 2008-09-25 | 本田技研工業株式会社 | クリティカルポイント解析に基づくポーズ推定 |
Also Published As
Publication number | Publication date |
---|---|
IL201514A0 (en) | 2010-05-31 |
JP5147933B2 (ja) | 2013-02-20 |
WO2008126069A3 (en) | 2009-04-23 |
EP2147393A4 (en) | 2012-12-05 |
EP2147393A2 (en) | 2010-01-27 |
KR20100016240A (ko) | 2010-02-12 |
WO2008126069A2 (en) | 2008-10-23 |
IL201514A (en) | 2015-02-26 |
CA2684020C (en) | 2016-08-09 |
CA2684020A1 (en) | 2008-10-23 |
KR101379074B1 (ko) | 2014-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5147933B2 (ja) | 人−機械インターフェース装置システム及び方法 | |
JP5599400B2 (ja) | 画像センサベースのヒューマンマシンインタフェースを提供する方法システムおよびソフトウェア | |
US8432390B2 (en) | Apparatus system and method for human-machine interface | |
EP3639117B1 (en) | Hover-based user-interactions with virtual objects within immersive environments | |
WO2007053116A1 (en) | Virtual interface system | |
JP2014501413A (ja) | ジェスチャ認識のためのユーザ・インタフェース、装置および方法 | |
CN112684970A (zh) | 虚拟场景的适配显示方法、装置、电子设备及存储介质 | |
CN105247463B (zh) | 增强的画布环境 | |
CN111190826A (zh) | 一种虚拟现实沉浸式追踪环境的测试方法、装置、存储介质及设备 | |
JPWO2015170641A1 (ja) | 操作画面表示装置、操作画面表示方法およびプログラム | |
CN106681506A (zh) | 一种终端设备中非vr应用的交互方法及终端设备 | |
JP5620449B2 (ja) | 人−機械インターフェース装置システム及び方法 | |
US8681100B2 (en) | Apparatus system and method for human-machine-interface | |
CN108885556A (zh) | 控制数字输入 | |
CN114167997B (zh) | 一种模型显示方法、装置、设备和存储介质 | |
Liu et al. | COMTIS: Customizable touchless interaction system for large screen visualization | |
CN114327063A (zh) | 目标虚拟对象的交互方法、装置、电子设备及存储介质 | |
CN117193540B (zh) | 虚拟键盘的控制方法和系统 | |
Lee et al. | iSphere: a free-hand 3D modeling interface | |
Lee et al. | iSphere: A proximity-based 3D input interface | |
JP7345387B2 (ja) | 触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラム | |
US20230196725A1 (en) | Image annotation system and method | |
Wesson et al. | Evaluating organic 3D sculpting using natural user interfaces with the Kinect | |
Ihara et al. | AR Object Layout Method Using Miniature Room Generated from Depth Data. | |
CN117170505A (zh) | 虚拟键盘的控制方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110614 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110914 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110922 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111014 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111021 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111114 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111121 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20111209 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111213 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120928 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20121009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121127 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |