JP2008194146A - 視線検出装置及びその方法 - Google Patents
視線検出装置及びその方法 Download PDFInfo
- Publication number
- JP2008194146A JP2008194146A JP2007030670A JP2007030670A JP2008194146A JP 2008194146 A JP2008194146 A JP 2008194146A JP 2007030670 A JP2007030670 A JP 2007030670A JP 2007030670 A JP2007030670 A JP 2007030670A JP 2008194146 A JP2008194146 A JP 2008194146A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- line
- pupil
- gaze
- face model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Abstract
認識対象の非剛体な変形を抑制し、高精度に認識処理を行う。
【解決手段】1つの画像入力部12と、入力された画像から瞳を含む同一平面上に存在しない4点以上の特徴点を抽出する特徴点検出部12と、3次元顔モデルと少なくとも前記特徴点検出部で抽出される特徴点に対応する3次元顔モデル上の基準特徴点座標を記憶しておく3次元顔モデル保持部16と、抽出された特徴点と基準特徴点の間の対応関係に基づいて瞳座標を3次元顔モデルの表面へと変換する変換部18と、変換した瞳座標から視線方向を推定する視線推定部20とを具備する。
【選択図】 図1
Description
以下、本発明に係わる第1の実施形態の視線検出装置10について図1から図3に基づいて述べる。
図1は、本実施形態の視線検出装置10の構成を表す。
次に、視線検出装置10の動作を図1を用いて説明する。
まず、画像入力部12は、処理対象となる瞳を含む顔画像を1枚入力する。画像入力部12より得られた1枚の画像は逐次、特徴点検出部14に送られる。
特徴点検出部14では、瞳を含む画像中の顔部位の座標が検出される。特徴点の検出はどのような方法を用いても構わないが、例えば、文献(福井、山口、「形状抽出とパターン照合の組合せによる特徴点抽出」,信学論(D-II) vol.J80-D-II,No.9,p.2170-2177,1997.)で述べられている方法を用いて検出することができる。
3次元顔モデル保持部16では、顔の3次元空間的な情報である3次元顔モデルと3次元眼球モデルが保持されている。
変換部18では、抽出された特徴点と3次元顔モデル上の基準特徴点を利用して、入力された顔と3次元顔モデルの対応付けを行い、画像上の瞳座標を顔モデル上へ変換する。
(x−a)2+(y−b)2+(z−c)2=r2 (7)
この(6)式、(7)式を解くことにより、顔モデル上の瞳座標(x,y,z)を求めることができる。
視線推定部20では、変換部18で求めた顔モデル上の瞳座標(x,y,z)に基づいて、視線方向を計算する。
第1の方法について説明する。射影行列Mは、実際には、入力された顔を固定しカメラ向きが変化したとみなした場合のカメラの座標軸運動を表す運動行列とみなすことができる。すなわち、射影行列Mの各行ベクトルをノルム1に正規化したベクトルの転置がカメラ座標の3つの基底ベクトルのうち2つの基底ベクトルi,jになっており、i,jの外積から残りの基底ベクトルkが求まる。これらの基底ベクトルから成る行列が回転行列Rとなる。
第2の方法によっても回転行列Rを求めることができる。(4)式を解いて得られる射影行列Mは、回転・拡大による変形だけでなく3次元アフィン変換による変形が表現可能なため、上記基底ベクトルi,jが直交しない(回転行列としての性質を満たさない)場合がある。そのような場合には、(3)式を極力満たしながら、射影行列Mの行ベクトル同士が直交するという拘束条件を加えることにより、回転・拡大成分のみを持つような射影行列Mを求めることができる。この射影行列Mの基底ベクトルから上記方法により回転行列Rを求める。これにより、より高精度な回転行列Rを求めることが可能となる。
このように第1の実施形態に係る視線検出装置10によれば、瞳を含む複数の特徴点と、3次元顔モデル、3次元眼球モデルを用いて、事前にキャリブレーションを行わずに任意の頭部姿勢に対して単眼カメラの画像1枚のみから視線を推定することができる。
次に、第2の実施形態の視線検出装置10について図4と図5に基づいて説明する。
図4は、本実施形態の視線検出装置10の構成を表す。
次に、図4を用いて本実施形態に係わる視線検出装置10の動作について説明する。
本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
変更例1について説明する。
変更例2について説明する。
変更例3について説明する。
12 画像入力部
14 特徴点検出部
16 3次元顔モデル保持部
18 変換部
20 視線推定部
Claims (14)
- 入力された1枚の画像中の顔から瞳を含む同一平面上に存在しない4点以上の画像特徴点を抽出する特徴点検出部と、
少なくとも一つの3次元顔モデル、前記3次元顔モデル上で前記画像特徴点にそれぞれ対応する基準特徴点の座標及び前記3次元顔モデル上の眼球に関する3次元眼球モデルを記憶する3次元顔モデル保持部と、
前記画像特徴点と前記基準特徴点の間の対応関係に基づいて、前記画像特徴点の一つである瞳座標を3次元顔モデルの表面へ変換する変換部と、
前記3次元眼球モデルと、前記変換した瞳座標に基づいて3次元的な視線方向を推定する視線推定部と、
を有する視線検出装置。 - 前記3次元眼球モデルは、前記3次元顔モデルにおける眼球の中心座標を含み、
前記視線推定部は、前記3次元眼球モデルの中心座標と、前記変換した瞳座標に基づいて前記視線方向を推定する、
請求項1記載の視線検出装置。 - 前記視線推定部は、前記眼球の中心座標と、前記変換した瞳座標を結ぶ直線により前記視線方向を推定する、
請求項2記載の視線検出装置。 - 前記3次元眼球モデルは、前記3次元顔モデルの正視状態における瞳座標を含み、
前記視線推定部は、前記正視状態における瞳座標と、前記変換した瞳座標に基づいて前記視線方向を推定する、
請求項1記載の視線検出装置。 - 前記変換部は、前記画像特徴点と前記基準特徴点との間の射影行列を計算し、前記射影行列を用いて前記画像上の瞳座標を前記3次元顔モデルの表面上へ変換する、
請求項2記載の視線検出装置。 - 前記3次元的な視線方向に基づいて、3次元空間内に予め定義された注視候補領域から注視領域を選択する注視領域選択部を有する、
請求項1記載の視線検出装置。 - 前記3次元顔モデル保持部は、複数の3次元顔モデルを保持しており、
前記変換部は、前記変換された画像特徴点と前記基準特徴点との誤差を計算し、前記画像上の顔と前記各3次元顔モデルのそれぞれの対応関係の信頼度を計算し、
前記視線推定部は、前記信頼度が最も高い3次元顔モデルを選択し、前記選択した3次元顔モデルに基づいて前記視線方向を検出する、
請求項1記載の視線検出装置。 - 前記変換部は、前記瞳の画像特徴点以外の前記画像特徴点と前記基準特徴点に基づいて前記対応関係を計算する
請求項1記載の視線検出装置。 - 前記変換部は、瞳以外の前記画像特徴点と対応する前記基準特徴点、及び、前記瞳の画像特徴点の間の重心に基づいて前記対応関係を計算する、
請求項1記載の視線検出装置。 - 入力された1枚の画像中の顔から瞳を含む同一平面上に存在しない4点以上の画像特徴点を抽出する特徴点検出ステップと、
少なくとも一つの3次元顔モデル、前記3次元顔モデル上で前記画像特徴点にそれぞれ対応する基準特徴点の座標及び前記3次元顔モデル上の眼球に関する3次元眼球モデルを記憶する3次元顔モデル保持ステップと、
前記画像特徴点と前記基準特徴点の間の対応関係に基づいて、前記画像特徴点の一つである瞳座標を3次元顔モデルの表面へ変換する変換ステップと、
前記3次元眼球モデルと、前記変換した瞳座標に基づいて3次元的な視線方向を推定する視線推定ステップと、
を有する視線検出方法。 - 前記3次元眼球モデルは、前記3次元顔モデルにおける眼球の中心座標を含み、
前記視線推定ステップにおいて、前記3次元眼球モデルの中心座標と、前記変換した瞳座標に基づいて前記視線方向を推定する、
請求項10記載の視線検出方法。 - 前記視線推定ステップにおいて、前記眼球中心座標と、前記変換した瞳座標を結ぶ直線により前記視線方向を推定する、
請求項11記載の視線検出方法。 - 前記3次元眼球モデルにおいて、前記3次元顔モデルの正視状態における瞳座標を含み、
前記視線推定ステップにおいて、前記正視状態における瞳座標と、前記変換した瞳座標に基づいて前記視線方向を推定する、
請求項10記載の視線検出方法。 - 前記3次元的な視線方向に基づいて、3次元空間内に予め定義された注視候補領域から注視領域を選択する注視領域選択ステップを有する、
請求項10記載の視線検出方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007030670A JP4829141B2 (ja) | 2007-02-09 | 2007-02-09 | 視線検出装置及びその方法 |
US12/019,027 US8107688B2 (en) | 2007-02-09 | 2008-01-24 | Gaze detection apparatus and the method of the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007030670A JP4829141B2 (ja) | 2007-02-09 | 2007-02-09 | 視線検出装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008194146A true JP2008194146A (ja) | 2008-08-28 |
JP4829141B2 JP4829141B2 (ja) | 2011-12-07 |
Family
ID=39685849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007030670A Active JP4829141B2 (ja) | 2007-02-09 | 2007-02-09 | 視線検出装置及びその方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8107688B2 (ja) |
JP (1) | JP4829141B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134489A (ja) * | 2008-12-02 | 2010-06-17 | Omron Corp | 視線検出装置および方法、並びに、プログラム |
JP2010217955A (ja) * | 2009-03-13 | 2010-09-30 | Omron Corp | 検出装置、評価装置および方法、並びに、プログラム |
JP2011115460A (ja) * | 2009-12-04 | 2011-06-16 | Saga Univ | 視線制御装置、視線制御方法、及びそのプログラム |
JP2012210257A (ja) * | 2011-03-30 | 2012-11-01 | Fujitsu Ltd | 視線検出装置、視線検出方法および視線検出プログラム |
US8620066B2 (en) | 2009-03-26 | 2013-12-31 | Kabushiki Kaisha Toshiba | Three-dimensional object determining apparatus, method, and computer program product |
JP2016057906A (ja) * | 2014-09-10 | 2016-04-21 | 国立研究開発法人産業技術総合研究所 | 視点位置の計測方法及び計測システム |
KR20160063040A (ko) * | 2014-11-26 | 2016-06-03 | 현대자동차주식회사 | 시선추적장치 및 그의 추적정확도 측정방법 |
JP2019200456A (ja) * | 2018-05-14 | 2019-11-21 | 富士通株式会社 | プログラム、情報処理装置、及び情報処理方法 |
JP2021502618A (ja) * | 2018-09-28 | 2021-01-28 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1811456B1 (en) * | 2004-11-12 | 2011-09-28 | Omron Corporation | Face feature point detector and feature point detector |
JP4093273B2 (ja) * | 2006-03-13 | 2008-06-04 | オムロン株式会社 | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム |
US7516572B2 (en) * | 2006-12-01 | 2009-04-14 | En-Cheng Yang | Method of preventing and controlling insect pests |
KR20120081127A (ko) * | 2009-09-11 | 2012-07-18 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지 처리 시스템 |
JP2011090466A (ja) * | 2009-10-21 | 2011-05-06 | Sony Corp | 情報処理装置及び方法、並びにプログラム |
CN101815174B (zh) * | 2010-01-11 | 2015-03-04 | 北京中星微电子有限公司 | 摄像控制方法及控制装置 |
US9595127B2 (en) * | 2010-12-22 | 2017-03-14 | Zspace, Inc. | Three-dimensional collaboration |
FR2980681A3 (fr) * | 2011-09-29 | 2013-04-05 | Fittingbox | Procede de determination des mesures oculaires et optiques d'interet pour la fabrication et le montage de verre de lunettes correcteurs, a l'aide d'une camera en contexte non controle |
US8879801B2 (en) | 2011-10-03 | 2014-11-04 | Qualcomm Incorporated | Image-based head position tracking method and system |
US10009579B2 (en) * | 2012-11-21 | 2018-06-26 | Pelco, Inc. | Method and system for counting people using depth sensor |
KR20140090538A (ko) * | 2013-01-09 | 2014-07-17 | 삼성전자주식회사 | 디스플레이 장치 및 제어 방법 |
US9921648B2 (en) * | 2013-02-22 | 2018-03-20 | University Of Seoul Industry Cooperation Foundation | Apparatuses, methods and recording medium for control portable communication terminal and its smart watch |
CN104978548B (zh) * | 2014-04-02 | 2018-09-25 | 汉王科技股份有限公司 | 一种基于三维主动形状模型的视线估计方法与装置 |
KR102212209B1 (ko) | 2014-04-10 | 2021-02-05 | 삼성전자주식회사 | 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체 |
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
JP6822482B2 (ja) | 2016-10-31 | 2021-01-27 | 日本電気株式会社 | 視線推定装置、視線推定方法及びプログラム記録媒体 |
FR3060170B1 (fr) * | 2016-12-14 | 2019-05-24 | Smart Me Up | Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif |
US20180335839A1 (en) * | 2017-05-22 | 2018-11-22 | Htc Corporation | Eye tracking method, electronic device, and non-transitory computer readable storage medium |
US10254832B1 (en) * | 2017-09-28 | 2019-04-09 | Microsoft Technology Licensing, Llc | Multi-item selection using eye gaze |
CN108345848A (zh) * | 2018-01-31 | 2018-07-31 | 广东欧珀移动通信有限公司 | 用户注视方向识别方法及相关产品 |
US11733824B2 (en) * | 2018-06-22 | 2023-08-22 | Apple Inc. | User interaction interpreter |
TWI704473B (zh) * | 2018-11-16 | 2020-09-11 | 財團法人工業技術研究院 | 視線向量偵測方向與裝置 |
CN110458104B (zh) * | 2019-08-12 | 2021-12-07 | 广州小鹏汽车科技有限公司 | 人眼视线检测系统的人眼视线方向确定方法和系统 |
CN111985384A (zh) * | 2020-08-14 | 2020-11-24 | 深圳地平线机器人科技有限公司 | 获取脸部关键点的3d坐标及3d脸部模型的方法和装置 |
CN112288855A (zh) * | 2020-10-29 | 2021-01-29 | 张也弛 | 一种操作者眼睛注视模型的建立方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002274265A (ja) * | 2001-03-22 | 2002-09-25 | Honda Motor Co Ltd | ミラー調整装置 |
JP2004255074A (ja) * | 2003-02-27 | 2004-09-16 | Toyota Motor Corp | 視線方向検出装置および視線方向検出方法 |
JP2005013752A (ja) * | 2000-07-28 | 2005-01-20 | National Institute Of Advanced Industrial & Technology | 視線検出システム |
JP2006343859A (ja) * | 2005-06-07 | 2006-12-21 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
JP2007004767A (ja) * | 2005-05-23 | 2007-01-11 | Toshiba Corp | 画像認識装置、方法およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6992665B2 (en) * | 2000-03-29 | 2006-01-31 | Minolta Co., Ltd. | Method and device for fitting surface to point group, modeling device, and computer program |
JP3790680B2 (ja) | 2001-05-25 | 2006-06-28 | 株式会社東芝 | 画像処理システム及びこれを用いた運転支援システム |
-
2007
- 2007-02-09 JP JP2007030670A patent/JP4829141B2/ja active Active
-
2008
- 2008-01-24 US US12/019,027 patent/US8107688B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005013752A (ja) * | 2000-07-28 | 2005-01-20 | National Institute Of Advanced Industrial & Technology | 視線検出システム |
JP2002274265A (ja) * | 2001-03-22 | 2002-09-25 | Honda Motor Co Ltd | ミラー調整装置 |
JP2004255074A (ja) * | 2003-02-27 | 2004-09-16 | Toyota Motor Corp | 視線方向検出装置および視線方向検出方法 |
JP2007004767A (ja) * | 2005-05-23 | 2007-01-11 | Toshiba Corp | 画像認識装置、方法およびプログラム |
JP2006343859A (ja) * | 2005-06-07 | 2006-12-21 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134489A (ja) * | 2008-12-02 | 2010-06-17 | Omron Corp | 視線検出装置および方法、並びに、プログラム |
JP2010217955A (ja) * | 2009-03-13 | 2010-09-30 | Omron Corp | 検出装置、評価装置および方法、並びに、プログラム |
US8620066B2 (en) | 2009-03-26 | 2013-12-31 | Kabushiki Kaisha Toshiba | Three-dimensional object determining apparatus, method, and computer program product |
JP2011115460A (ja) * | 2009-12-04 | 2011-06-16 | Saga Univ | 視線制御装置、視線制御方法、及びそのプログラム |
JP2012210257A (ja) * | 2011-03-30 | 2012-11-01 | Fujitsu Ltd | 視線検出装置、視線検出方法および視線検出プログラム |
JP2016057906A (ja) * | 2014-09-10 | 2016-04-21 | 国立研究開発法人産業技術総合研究所 | 視点位置の計測方法及び計測システム |
KR20160063040A (ko) * | 2014-11-26 | 2016-06-03 | 현대자동차주식회사 | 시선추적장치 및 그의 추적정확도 측정방법 |
KR101628543B1 (ko) | 2014-11-26 | 2016-06-08 | 현대자동차주식회사 | 시선추적장치 및 그의 추적정확도 측정방법 |
JP2019200456A (ja) * | 2018-05-14 | 2019-11-21 | 富士通株式会社 | プログラム、情報処理装置、及び情報処理方法 |
JP7152651B2 (ja) | 2018-05-14 | 2022-10-13 | 富士通株式会社 | プログラム、情報処理装置、及び情報処理方法 |
JP2021502618A (ja) * | 2018-09-28 | 2021-01-28 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体 |
US11295474B2 (en) | 2018-09-28 | 2022-04-05 | Beijing Sensetime Technology Development Co., Ltd. | Gaze point determination method and apparatus, electronic device, and computer storage medium |
Also Published As
Publication number | Publication date |
---|---|
US20080192990A1 (en) | 2008-08-14 |
US8107688B2 (en) | 2012-01-31 |
JP4829141B2 (ja) | 2011-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4829141B2 (ja) | 視線検出装置及びその方法 | |
JP4950787B2 (ja) | 画像処理装置及びその方法 | |
US11600013B2 (en) | Facial features tracker with advanced training for natural rendering of human faces in real-time | |
JP4653606B2 (ja) | 画像認識装置、方法およびプログラム | |
JP3962803B2 (ja) | 頭部検出装置、頭部検出方法および頭部検出プログラム | |
EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
US10140777B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and storage medium | |
KR101612605B1 (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
JP6207210B2 (ja) | 情報処理装置およびその方法 | |
CN113366491B (zh) | 眼球追踪方法、装置及存储介质 | |
JP5526465B2 (ja) | 爪位置データ検出装置及び爪位置データ検出方法、並びに爪位置データ検出プログラム | |
JPWO2010137157A1 (ja) | 画像処理装置、方法、プログラム | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
JPWO2018189795A1 (ja) | 認識装置、認識方法および認識プログラム | |
US11676362B2 (en) | Training system and analysis system | |
CN114333046A (zh) | 舞蹈动作评分方法、装置、设备和存储介质 | |
US20160191903A1 (en) | Three-dimensional image generation method and apparatus | |
US20210327160A1 (en) | Authoring device, authoring method, and storage medium storing authoring program | |
US11361467B2 (en) | Pose selection and animation of characters using video data and training techniques | |
Wood et al. | A 3d morphable model of the eye region | |
JP5448952B2 (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム | |
KR101844367B1 (ko) | 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치 | |
JP5688514B2 (ja) | 視線計測システム、方法およびプログラム | |
CN113228117B (zh) | 创作装置、创作方法和记录有创作程序的记录介质 | |
CN107705320B (zh) | 跟踪视频中的对象的边界点的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110823 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110915 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4829141 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |