JP2011191899A - 画像処理装置、画像処理方法、ならびに、プログラム - Google Patents
画像処理装置、画像処理方法、ならびに、プログラム Download PDFInfo
- Publication number
- JP2011191899A JP2011191899A JP2010056120A JP2010056120A JP2011191899A JP 2011191899 A JP2011191899 A JP 2011191899A JP 2010056120 A JP2010056120 A JP 2010056120A JP 2010056120 A JP2010056120 A JP 2010056120A JP 2011191899 A JP2011191899 A JP 2011191899A
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- user
- posture
- sight
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】画像処理装置300において、記憶部301には仮想空間に配置されるオブジェクトの位置と姿勢と、仮想視点の位置と、仮想視点の位置から仮想空間を見る仮想視線の向きとが記憶される。検知部302は、現実空間におけるユーザの第1の部位の位置と姿勢と、ユーザの第2の部位の位置と姿勢を検知する。変化部303は、検知された第1の部位の位置と姿勢に基づいてオブジェクトの位置と姿勢を変化させ、検知された第2の部位の第1の部位に対する相対的な位置と姿勢に基づいて仮想視点の位置と仮想視線の向きを変化させる。画像生成部304は、仮想視点の位置から仮想視線の向きにオブジェクトを見た様子を表す画像を生成する。表示部305は、生成された画像を表示する。
【選択図】図3
Description
記憶部には、仮想空間に配置されるオブジェクトの位置と姿勢と、当該仮想空間に配置される仮想視点の位置と、当該仮想視点の位置から当該仮想空間を見る仮想視線の向きと、が記憶される。
検知部は、現実空間におけるユーザの第1の部位の位置と姿勢と、当該ユーザの第2の部位の位置と姿勢と、を検知する。
変化部は、検知された第1の部位の位置と姿勢とに基づいて、記憶されるオブジェクトの位置と姿勢とを変化させ、検知された第2の部位の第1の部位に対する相対的な位置と姿勢とに基づいて、記憶される仮想視点の位置と記憶される仮想視線の向きとを変化させる。
画像生成部は、仮想視点の位置から仮想視線の向きにオブジェクトを見た様子を表す画像を生成する。
表示部は、生成された画像を現実空間におけるモニター画面に表示する。
現実空間には、オブジェクトの様子を表す画像を表示するためのモニターと、ユーザを撮影するカメラと、ユーザの所定の部位の位置と姿勢を検知するセンサーと、が配置される。所定の部位は、例えば、ユーザの手、指、頭、顔、足、胴体などである。
撮影された画像のパターンや特徴点を画像解析することにより、第1の部位と第2の部位のこの画像内における位置と形状が判別される。更に、画像処理装置から発射された照射波(例えば赤外線)の物体による反射波を検知し、照射波の飛行時間や位相差を解析することにより、画像処理装置から第1の部位と第2の部位までの距離(センサーからの“深さ”)が判別される。画像を解析した結果と、検知された深さと、に基づいて、現実空間における第1の部位と第2の部位の位置と姿勢が特定される。
そして、画像生成部は、ユーザ視線の位置又は向きが変化を始めてから所定時間内にユーザ視線がモニター画面と交差した場合、ユーザ視線がモニター画面と交差している間、変化を始める前に記憶部に記憶されていた、オブジェクトの位置と姿勢と、仮想視点の位置と、仮想視線の向きと、に基づいて、オブジェクトを見た様子を表す画像を生成する。
つまり、ユーザがモニター画面を見ていない(その代わりにユーザが第1の部位を見ている)と推測されるときには、仮想空間におけるオブジェクトの動きが、現実空間におけるユーザの第1の部位と第2の部位の動きに連動する。一方、ユーザがモニター画面を見ている(その代わりにユーザが第1の部位を見ていない)と推測されるときには、仮想空間におけるオブジェクトの動きと、現実空間におけるユーザの第1の部位と第2の部位の動きと、の連動が停止し、あたかも直前のリプレイ画像が表示されるかのように、オブジェクトの様子が表示される。
従って、ユーザは、第1の部位の位置と姿勢と、第2の部位の位置と姿勢と、を所望の位置と姿勢にセットした後、すぐにモニター画面に目を転じなくてもよい。また、ユーザは、第1の部位の位置と姿勢と、第2の部位の位置と姿勢と、を所望の位置と姿勢にセットしつつ、横目でモニター画面も見る、といった不自由が生じなくて済む。
そして、画像生成部は、記憶されたオブジェクトの位置と姿勢の履歴と、記憶された仮想視点の位置の履歴と、記憶された仮想視線の向きの履歴と、に基づいて、変化を始める前にオブジェクトを見た様子を表す画像を生成してもよい。
また、検知部は、現実空間におけるユーザの手の位置と姿勢と、ユーザの頭の位置と姿勢と、を検知してもよい。
そして、変化部は、検知された手の位置と姿勢とに基づいて、記憶されるオブジェクトの位置と姿勢とを変化させ、検知された頭の、手に対する相対的な位置と姿勢とに基づいて、記憶される仮想視点の位置と記憶される仮想視線の向きとを変化させてもよい。
記憶部には、仮想空間に配置されるオブジェクトの位置と姿勢と、当該仮想空間に配置される仮想視点の位置と、当該仮想視点の位置から当該仮想空間を見る仮想視線の向きと、が記憶される。
検知ステップでは、検知部が、現実空間におけるユーザの第1の部位の位置と姿勢と、当該ユーザの第2の部位の位置と姿勢と、を検知する。
変化ステップでは、変化部が、検知された第1の部位の位置と姿勢とに基づいて、記憶されるオブジェクトの位置と姿勢とを変化させ、検知された第2の部位の第1の部位に対する相対的な位置と姿勢とに基づいて、記憶される仮想視点の位置と記憶される仮想視線の向きとを変化させる。
画像生成ステップでは、画像生成部が、仮想視点の位置から仮想視線の向きにオブジェクトを見た様子を表す画像を生成する。
表示ステップでは、表示部が、生成された画像を現実空間におけるモニター画面に表示する。
記憶部には、仮想空間に配置されるオブジェクトの位置と姿勢と、当該仮想空間に配置される仮想視点の位置と、当該仮想視点の位置から当該仮想空間を見る仮想視線の向きと、が記憶される。
検知部は、現実空間におけるユーザの第1の部位の位置と姿勢と、当該ユーザの第2の部位の位置と姿勢と、を検知する。
変化部は、検知された第1の部位の位置と姿勢とに基づいて、記憶されるオブジェクトの位置と姿勢とを変化させ、検知された第2の部位の第1の部位に対する相対的な位置と姿勢とに基づいて、記憶される仮想視点の位置と記憶される仮想視線の向きとを変化させる。
画像生成部は、仮想視点の位置から仮想視線の向きにオブジェクトを見た様子を表す画像を生成する。
表示部は、生成された画像を現実空間におけるモニター画面に表示する。
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。
図1は、本発明の画像処理装置の機能を果たす典型的な情報処理装置100の概要構成を示す模式図である。
ただし、Cは倍率を表し、ゼロでない実数である。
ただし、Dは倍率を表し、ゼロでない実数である。
次に、本発明のその他の実施形態について説明する。上記実施形態では、オブジェクト400の位置と姿勢、及び、仮想視点450の位置と仮想視線470の向きが、ユーザの第1の部位510の位置の変化と姿勢の変化、及び、第2の部位520の位置の変化と姿勢の変化に応じて直ちに変化する様子がモニター250に表示される。ところで、現実空間における第1の部位510と第2の部位520とモニター250との位置関係によっては、ユーザは、第1の部位510や第2の部位520を動かしつつモニター250を眺めることが困難になる可能性がある。そこで、本実施形態では、画像処理装置300は、オブジェクト400の位置と姿勢、及び、仮想視点450の位置と仮想視線470の向きを直ちに変化させるのではなく、第1の部位510の位置の変化と姿勢の変化、又は、第2の部位520の位置の変化が発生してから時間差を置いて、オブジェクト400の位置と姿勢、及び、仮想視点450の位置と仮想視線470の向きを変化させることができるようにしている。以下詳述する。
図12(a),(b)は、現実空間におけるユーザの第1の部位510と第2の部位520とモニター250との位置関係を模式的に表す図である。本図は、ユーザの真上から(頭上から)見下ろしたときの様子を表している。
例えば、図13(a)に示すように、ユーザが現実空間で第1の部位510と第2の部位520を配置し、且つ、ユーザの視線方向や矢印YA方向であるときに、オブジェクト400がモニター250の表示領域の中央に配置されたとする。ここで、ユーザがモニター250を正面から眺めようと向き直り、視線方向が矢印YB方向になると、第2の部位520の位置もしくは姿勢が変化するため、仮想視点450もしくは仮想視線470が変化してしまう。すると、モニター250には、図13(b)に示すように、仮想視点450もしくは仮想視線470が変化した後の様子が映ることになり、結果としてユーザはオブジェクト400がモニター250の中央に表示されているときの様子を見られないことになってしまう。この問題を回避するために、モニター250を横目でチラチラと見続けることは、ユーザにとって大きな負担であり、またこのような行為にも限界がある。
そこで、ユーザの視線方向がモニター250の画像表示領域外から画像表示領域内に入ってきた場合には、本実施形態の画像処理装置300は、図13(c)に示すように、ユーザがモニター250の方向へ振り向く直前に表示していた画像を表示することとしている。つまり、ユーザは、視線方向を矢印YB方向に移動した後でも、視線方向が矢印YA方向である場合の映像を見ることができるのである。ユーザは、“少し前の”手と頭の位置と姿勢によって作られる画像を見ることができる。
なお、CPU 101が、ユーザがモニター250を眺めていると判断する場合とは、図13(b)に示すように、「視線方向を示すベクトルの向きが、第2の部位の位置1305から、モニター250の表示領域の4隅の点1301〜1304へ、結ぶ4つの線分によって囲まれる四角柱状の領域内に収まる場合」である。
101 CPU
102 ROM
103 RAM
104 ハードディスク
105 インターフェース
106 外部メモリ
107 入力装置
108 DVD−ROMドライブ
109 画像処理部
110 音声処理部
111 NIC
250 モニター
300 画像処理装置
301 記憶部
302 検知部
303 変化部
304 画像生成部
305 表示部
400 オブジェクト
450 仮想視点
470 仮想視線
510 第1の部位
511 ベクトル(第1の部位の向き)
512 近似平面(第1の部位を表す近似平面)
513 鉛直方向
514 法線ベクトル(第1の部位を表す近似平面の法線ベクトル)
520 第2の部位
521 法線ベクトル(第2の部位を表す近似平面の法線ベクトル)
522 近似平面(第2の部位を表す近似平面)
523 水平方向を表す直線
524 直線
1210 ユーザ視線の位置
1230 中心(モニターの表示領域の中心)
1240 線分
1250 半直線
Claims (9)
- 仮想空間に配置されるオブジェクトの位置と姿勢と、当該仮想空間に配置される仮想視点の位置と、当該仮想視点の位置から当該仮想空間を見る仮想視線の向きと、が記憶される記憶部と、
現実空間におけるユーザの第1の部位の位置と姿勢と、当該ユーザの第2の部位の位置と姿勢と、を検知する検知部と、
前記検知された第1の部位の位置と姿勢とに基づいて、前記記憶されるオブジェクトの位置と姿勢とを変化させ、前記検知された第2の部位の前記第1の部位に対する相対的な位置と姿勢とに基づいて、前記記憶される仮想視点の位置と前記記憶される仮想視線の向きとを変化させる変化部と、
前記仮想視点の位置から前記仮想視線の向きに前記オブジェクトを見た様子を表す画像を生成する画像生成部と、
前記生成された画像を前記現実空間におけるモニター画面に表示する表示部と、
を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記変化部は、前記検知された第2の部位の位置と姿勢とに基づいて、前記ユーザの視点から現実世界を見るときの視線(以下「ユーザ視線」という。)の位置と向きを推定し、
前記画像生成部は、前記ユーザ視線の位置又は向きが変化を始めてから所定時間内に前記ユーザ視線が前記モニター画面と交差した場合、前記ユーザ視線が前記モニター画面と交差している間、前記変化を始める前に前記記憶部に記憶されていた、前記オブジェクトの位置と姿勢と、前記仮想視点の位置と、前記仮想視線の向きと、に基づいて、前記オブジェクトを見た様子を表す画像を生成する、
ことを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記記憶部には、前記オブジェクトの位置と姿勢の履歴と、前記仮想視点の位置の履歴と、前記仮想視線の向きの履歴と、が記憶され、
前記画像生成部は、前記記憶された前記オブジェクトの位置と姿勢の履歴と、前記記憶された前記仮想視点の位置の履歴と、前記記憶された前記仮想視線の向きの履歴と、に基づいて、前記変化を始める前に前記オブジェクトを見た様子を表す画像を生成する、
ことを特徴とする画像処理装置。 - 請求項1又は3に記載の画像処理装置であって、
前記変化部は、前記検知された第1の部位の位置と姿勢の各変化量の所定倍数量だけ、前記記憶される仮想視点の位置と仮想視線の向きとを変化させ、前記検知された第2の部位の位置と姿勢の相対的な各変化量の所定倍数量だけ、前記記憶されるオブジェクトの位置と姿勢とを変化させる、
ことを特徴とする画像処理装置。 - 請求項1乃至4のいずれか1項に記載の画像処理装置であって、
前記変化部は、前記検知された第1の部位の位置と姿勢とに基づいて前記第1の部位の表面の形状を近似する平面を求め、当該求められた平面を用いて前記オブジェクトの位置と姿勢とを決定する、
ことを特徴とする画像処理装置。 - 請求項1乃至5のいずれか1項に記載の画像処理装置であって、
前記変化部は、前記検知された第2の部位の位置と姿勢とに基づいて前記第2の部位の表面の形状を近似する平面を求め、当該求められた平面を用いて前記仮想視点の位置と前記仮想視線の向きとを決定する、
ことを特徴とする画像処理装置。 - 請求項1乃至6のいずれか1項に記載の画像処理装置であって、
前記第1の部位は前記ユーザの手であり、前記第2の部位は前記ユーザの頭であり、
前記検知部は、現実空間における前記ユーザの手の位置と姿勢と、前記ユーザの頭の位置と姿勢と、を検知し、
前記変化部は、前記検知された手の位置と姿勢とに基づいて、前記記憶されるオブジェクトの位置と姿勢とを変化させ、前記検知された頭の、手に対する相対的な位置と姿勢とに基づいて、前記記憶される仮想視点の位置と前記記憶される仮想視線の向きとを変化させる、
ことを特徴とする画像処理装置。 - 記憶部、検知部、変化部、画像生成部、表示部を有する画像処理装置にて実行される画像処理方法であって、
前記記憶部には、仮想空間に配置されるオブジェクトの位置と姿勢と、当該仮想空間に配置される仮想視点の位置と、当該仮想視点の位置から当該仮想空間を見る仮想視線の向きと、が記憶され、
前記検知部が、現実空間におけるユーザの第1の部位の位置と姿勢と、当該ユーザの第2の部位の位置と姿勢と、を検知する検知ステップと、
前記変化部が、前記検知された第1の部位の位置と姿勢とに基づいて、前記記憶されるオブジェクトの位置と姿勢とを変化させ、前記検知された第2の部位の前記第1の部位に対する相対的な位置と姿勢とに基づいて、前記記憶される仮想視点の位置と前記記憶される仮想視線の向きとを変化させる変化ステップと、
前記画像生成部が、前記仮想視点の位置から前記仮想視線の向きに前記オブジェクトを見た様子を表す画像を生成する画像生成ステップと、
前記表示部が、前記生成された画像を前記現実空間におけるモニター画面に表示する表示ステップと、
を備えることを特徴とする画像処理方法。 - コンピュータを、
仮想空間に配置されるオブジェクトの位置と姿勢と、当該仮想空間に配置される仮想視点の位置と、当該仮想視点の位置から当該仮想空間を見る仮想視線の向きと、が記憶される記憶部、
現実空間におけるユーザの第1の部位の位置と姿勢と、当該ユーザの第2の部位の位置と姿勢と、を検知する検知部、
前記検知された第1の部位の位置と姿勢とに基づいて、前記記憶されるオブジェクトの位置と姿勢とを変化させ、前記検知された第2の部位の前記第1の部位に対する相対的な位置と姿勢とに基づいて、前記記憶される仮想視点の位置と前記記憶される仮想視線の向きとを変化させる変化部、
前記仮想視点の位置から前記仮想視線の向きに前記オブジェクトを見た様子を表す画像を生成する画像生成部、
前記生成された画像を前記現実空間におけるモニター画面に表示する表示部、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010056120A JP5307060B2 (ja) | 2010-03-12 | 2010-03-12 | 画像処理装置、画像処理方法、ならびに、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010056120A JP5307060B2 (ja) | 2010-03-12 | 2010-03-12 | 画像処理装置、画像処理方法、ならびに、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011191899A true JP2011191899A (ja) | 2011-09-29 |
JP5307060B2 JP5307060B2 (ja) | 2013-10-02 |
Family
ID=44796769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010056120A Active JP5307060B2 (ja) | 2010-03-12 | 2010-03-12 | 画像処理装置、画像処理方法、ならびに、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5307060B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092346A (zh) * | 2013-01-14 | 2013-05-08 | 哈尔滨工业大学 | 一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台及实现虚拟力觉交互的方法 |
JP7353690B1 (ja) * | 2023-01-16 | 2023-10-02 | 株式会社スペースデータ | 情報処理装置、方法、プログラム、およびシステム |
JP7399503B2 (ja) | 2019-04-26 | 2023-12-18 | 株式会社バーチャルウインドウ | 運動用設備 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09180003A (ja) * | 1995-12-26 | 1997-07-11 | Nec Corp | 3次元形状モデリング方法およびその装置 |
JP2002112286A (ja) * | 2000-09-27 | 2002-04-12 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及びその方法並びに記憶媒体 |
JP2002189545A (ja) * | 2000-09-01 | 2002-07-05 | Sony Computer Entertainment America Inc | 表示画像と相互作用させるためのユーザー入力装置及び方法 |
-
2010
- 2010-03-12 JP JP2010056120A patent/JP5307060B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09180003A (ja) * | 1995-12-26 | 1997-07-11 | Nec Corp | 3次元形状モデリング方法およびその装置 |
JP2002189545A (ja) * | 2000-09-01 | 2002-07-05 | Sony Computer Entertainment America Inc | 表示画像と相互作用させるためのユーザー入力装置及び方法 |
JP2002112286A (ja) * | 2000-09-27 | 2002-04-12 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及びその方法並びに記憶媒体 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092346A (zh) * | 2013-01-14 | 2013-05-08 | 哈尔滨工业大学 | 一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台及实现虚拟力觉交互的方法 |
JP7399503B2 (ja) | 2019-04-26 | 2023-12-18 | 株式会社バーチャルウインドウ | 運動用設備 |
JP7353690B1 (ja) * | 2023-01-16 | 2023-10-02 | 株式会社スペースデータ | 情報処理装置、方法、プログラム、およびシステム |
Also Published As
Publication number | Publication date |
---|---|
JP5307060B2 (ja) | 2013-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI469813B (zh) | 在動作擷取系統中追踪使用者群組 | |
JP5739872B2 (ja) | モーションキャプチャにモデルトラッキングを適用するための方法及びシステム | |
TWI517881B (zh) | 決定附球控制器的位置與移動 | |
TWI470534B (zh) | 藉由使用運動的性質在一顯示器上之三維使用者介面效應 | |
JP5256269B2 (ja) | データ生成装置、データ生成装置の制御方法、及びプログラム | |
US20170352188A1 (en) | Support Based 3D Navigation | |
LaViola et al. | 3D spatial interaction: applications for art, design, and science | |
GB2556347A (en) | Virtual reality | |
US20110304611A1 (en) | Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method | |
WO2009119453A1 (ja) | ゲーム装置、ゲーム処理方法、情報記録媒体、ならびに、プログラム | |
JP5519591B2 (ja) | 情報表示装置、情報表示方法、ならびに、プログラム | |
JP2011524048A (ja) | 画像解析および超音波通信を使用したコントローラの三次元位置の決定 | |
JP2008136694A (ja) | プログラム、情報記憶媒体及びゲーム装置 | |
KR101160851B1 (ko) | 화상생성장치, 화상생성방법 및 정보기록매체 | |
JP2012088782A (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 | |
JP5580156B2 (ja) | ゲーム装置、ゲーム制御方法、ならびに、プログラム | |
US20130005434A1 (en) | Game device, control method for game device, and information recording medium | |
JP5307060B2 (ja) | 画像処理装置、画像処理方法、ならびに、プログラム | |
JP4267646B2 (ja) | 画像生成装置、画像生成方法、ならびに、プログラム | |
JP2011239937A (ja) | ゲーム装置、ゲーム処理方法、ならびに、プログラム | |
Cheok et al. | Combined wireless hardware and real-time computer vision interface for tangible mixed reality | |
JP5124545B2 (ja) | ゲーム装置、ゲーム処理方法、ならびに、プログラム | |
JP2017086542A (ja) | 画像変更システム、方法、及びプログラム | |
JP4575937B2 (ja) | 画像生成装置、画像生成方法、ならびに、プログラム | |
JP5238764B2 (ja) | ゲーム装置、ゲーム処理方法、ならびに、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130626 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5307060 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |