JP2011081848A - 3d環境ラベリング - Google Patents

3d環境ラベリング Download PDF

Info

Publication number
JP2011081848A
JP2011081848A JP2011015065A JP2011015065A JP2011081848A JP 2011081848 A JP2011081848 A JP 2011081848A JP 2011015065 A JP2011015065 A JP 2011015065A JP 2011015065 A JP2011015065 A JP 2011015065A JP 2011081848 A JP2011081848 A JP 2011081848A
Authority
JP
Japan
Prior art keywords
image
image plane
dimensional
label
presented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011015065A
Other languages
English (en)
Inventor
Dale R Heron
アール ヘロン,デイル
Christopher Thorne
トルネ,クリストファー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2011081848A publication Critical patent/JP2011081848A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】
本発明は、仮想環境におけるオブジェクトに対して識別ラベル若しくは同類のものを提供する方法及び装置に係り、特に、そのような表示用ラベルの生成に関する。
【解決手段】
二次元2D画像平面(6)上に表される三次元3D仮想世界のオブジェクト(3,4)が、2D画像平面(6)自体において生成されたラベル(7,8)と共に提供される。ラベルは、2D画像平面上に示される時に、オブジェクトに対して空間的に位置決めされる。2D画像平面におけるラベルの生成は、ラベルが仮想世界自体において提供され、3D仮想世界から提供された場合に起こり得る遠近法及びエイリアシングに関連する問題を回避する。
【選択図】図1

Description

本発明は、仮想環境におけるオブジェクトに対して識別ラベル若しくは同類のものを提供する方法及び装置に係り、特に、そのような表示用ラベルの生成に関する。
ユーザに三次元(3D)仮想環境の探検を可能にする一般的な技術の1つは、ユーザに、該環境への眺めを与える二次元(2D)ディスプレイ「window」を提供することである。
仮想環境が該環境を三次元で表現するデータ形式で記録されると、このデータは、ユーザが特定の視点から見た場合の該三次元仮想環境の表示を見るように、ユーザに二次元ビューを提供するように処理される。ユーザが該環境を探検する時、上記視点は変わる。3D表示を2Dビューへ投影する上記処理は、レンダリングと呼ばれる場合もある。
ユーザがこのような3D環境をナビゲートする時、多様なオブジェクトに遭遇し得る。オブジェクトに遭遇した時、オブジェクトの識別、該オブジェクトに関する補助情報、又は、彼の該オブジェクトとの相互作用の結果としてユーザにフィードバックされる情報などの該オブジェクトに関する情報がユーザに示されることがしばしば望ましい。
このような情報をユーザに提供する既知アプローチの1つは、該情報を、オブジェクトが3D仮想世界に存在する時に該オブジェクトに結合されたラベルの形で表示することである。このアプローチは、ラベルが、それらが関連付けられたオブジェクトに対して空間的に位置決めされるという利点を有する。これは、所定の時刻に1以上のオブジェクトがビュー内に登場した際の混乱を回避し得る。実際、例えば1996年8月4日にISO/IEC WD14772として発行されたVRML規格バージョン2において説明されるようなVirtual Reality Modelling Language(VRML)は、3D環境/データベースにおける上記のようなテキスト・ラベリングを可能にする「テキスト・ノード」を許容する。しかし、これらのラベルは、仮想世界自体に固有のものであるため、それらは多くの理由によって読むのが難しくなることがある。
第一の問題は、ラベルがオブジェクトについて固定されている場合に起こる。オブジェクトが直接的に正面からではない観点から見られる場合、テキスト・ラベルは直接的に視点を向かない。結果として、テキストは、該テキストがテキスト文字の過剰な歪み若しくは一部のテキスト文字が他のテキスト文字によって隠されることを通じて読みづらくなるような角度から見たように、表示され得る。オブジェクトが後ろからも見られるためには、テキストは後ろからも表示されなければならないが、これもテキストを読みづらくする。遭遇し得る第二の問題は、レンダリング処理事態のテキスト・ラベルのテクスチャ・マップの打ち切りに起因する「階段」状の外観を身に付けるテキスト文字の斜めの要望の効果であるエイリアシングに関する。
この効果は文字が直接的に正面から見られる時には我慢できるが、テキストが、不愉快な外観を生成し、該テキストの読みやすさを減少させる角度から見られる場合に、誇張される。第三の問題は、第三の問題は、通常のテレビ・ディスプレイによって用いられるインターレース・モードで動作するディスプレイ上に仮想世界が再現される際に生じ得る。この種の作動は、テキストの頂部及び底部などの表示されたアイテムの水平方向の境界において特に顕著なインターレースちらつきとして知られる効果を引き起こす。
米国特許第5526478号明細書は、3Dポインタで注釈が付けられる3Dモデルを表示する方法を開示している。このモデルが移動又は回転すると、このポインタがこのモデルと共に移動又は回転する。別の表現を用いれば、ポインタは、表示されるモデルの一部である。しかも、このポインタはテキスト・ラベルを含んでいる。
本発明の目的は、三次元仮想環境において定義されたオブジェクトに関連付けられたラベルの供給における性能向上を支援する方法及び装置を提供することである。
本発明の第一の態様によれば、三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより前記2D画像平面上に提示されるオブジェクトに対して、ラベルを提供する方法であって、前記2D画像平面に提示された時のオブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるステップと、該オブジェクト位置参照点に関連して位置し、二次元でそれと共に動き得る二次元(2D)ラベル画像を生成するステップと、前記画像平面に重なる二次元重なり平面に前記二次元ラベル画像を生成するステップと、を有することを特徴とする方法が提供される。
上記ラベルは、3D仮想環境からラベルを投影する処理を通じてではなく、二次元画像として生成されるため、該ラベルは、それが関連付けられたオブジェクトのユーザ視点から認識される時の方向にかかわりなく、常にユーザの方を向いて提示される。このような生成方法は、読みやすいラベルを表示することを困難にし得る前述の遠近問題を克服する。
更に、二次元画像が重なり平面で生成される場合、該処理を単に重なり平面に対して適用することによって、生成されたラベルのみに画像処理を適用し、2D画像平面上に投影されたオブジェクトには適用しないようにすることができる。
本発明の第二の態様によれば、三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより前記2D画像平面上に提示されるオブジェクトに対して、ラベルを提供する方法であって、前記2D画像平面に提示された時のオブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるステップと、該オブジェクト位置参照点に関連づけられ、二次元でそれと共に動き得る二次元(2D)ラベル画像を生成するステップと、3D仮想環境において定義された時の関連付けられたオブジェクトを囲むようなサイズを有する境界ボックスを設けることを通じて前記2D画像平面において提示された時の前記オブジェクトの位置を確立し、該境界ボックスの中心を確立し、前記視点から観測された時の前記オブジェクト位置参照点を表すそこでの位置を生成するために、レンダリング処理において該中心の位置を前記2D画像平面上に投影するステップと、を有することを特徴とする方法が提供される。一旦、この位置が確立されると、追加的なオフセットを提供することが可能となる。例えば、ラベルがオブジェクトの上に存在することを可能とさせる垂直のオフセットである。
この方法は、更に、視点から観察されるときのオブジェクト位置を表す位置のオフセット、すなわち、前記オブジェクト位置参照点を導入するステップと、前記オフセット位置に前記ラベル画像を生成するステップと、を有する。
本発明の第三の態様によれば、三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより前記2D画像平面上に提示されるオブジェクトに対して、ラベルを提供する方法であって、前記2D画像平面に提示された時のオブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるステップと、該オブジェクト位置参照点に関連して位置し、二次元でそれと共に動き得る二次元(2D)ラベル画像を生成するステップと、前記オブジェクトの前記3D仮想環境から前記2D画像平面上への投影中に、オブジェクトに適用されるサイズ・スケーリング・パラメータを採用し、前記2Dの関連づけられたラベル画像を生成するときに、そのサイズを支配するために、前記パラメータを適用するステップと、を有することを特徴とする方法が提供される。
このステップは、2D画像平面にこれらが表示される際、オブジェクトの位置を特定する一貫した方法を提供する。ユーザの介在なしに、自動的に実行される適切な技術を確立する。
本発明の第四の態様によれば、三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより前記2D画像平面上に提示されるオブジェクトに対して、ラベルを提供する方法であって、前記2D画像平面に提示された時のオブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるステップと、該オブジェクト位置参照点に関連する、二次元でそれと共に動き得る二次元(2D)ラベル画像を生成するステップと、仮想環境内で定義された時の関連付けられたオブジェクトの視点からの距離に依存したサイズを有するように、二次元ラベル画像を生成するステップと、を有することを特徴とする方法を提供する。すなわち、視点から離れたオブジェクトにはより小さいサイズを有するように生成された関連ラベルが提供され、視点に近いオブジェクトにはより大きいサイズを有するように生成された関連ラベルが提供される。すべてのケースにおいて、テキスト・ラベルの色のスケーリング若しくはシャドーイングなどのある種の視覚的差異が近いラベル及び遠いラベルに対して提供されてもよい。
オブジェクトの3D仮想環境から2D画像平面上への投影処理においてスケーリング・パラメータが採用されると、該スケーリング・パラメータは、該オブジェクトに関連付けられた、生成されたラベルのサイズを決定するために、採用され得る。
ラベル画像は、テキスト・データを含み得る。
画像データ処理が、生成された二次元ラベル画像に対して適用され得る。このような画像データ処理は、エイリアシング防止及びインターレースちらつきキャンセルなどの標準的な画像処理技術を含み得る。
このような処理の適用は、一般的に、3D仮想環境から投影されたラベルに対する場合よりも、二次元で生成されたラベルに対する場合の方がより効果的である。
本発明の第五の態様によれば、三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより前記2D画像平面上に提示可能となるオブジェクト、と共に表示されるラベルを生成するように構成されたデータ処理装置であって、前記2D画像平面に提示された時のオブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるオブジェクト位置割当手段と、該オブジェクト位置参照点に関連する二次元(2D)ラベル画像を生成し、二次元でそれと共に該ラベル画像を動かす生成手段と、3D仮想環境において定義された時の関連付けられたオブジェクトを囲むようなサイズを有する境界ボックスを設けることを通じて2D画像平面において提示された時の前記オブジェクトの位置を確立する第1の確立手段と、該境界ボックスの中心を確立する第2の確立手段と、前記視点から観測された時の前記オブジェクト位置を表すそこでの位置を生成するために、レンダリング処理において該中心の位置を前記2D画像平面上に投影する投影手段と、を有することを特徴とする装置が提供される。
本発明の第六の態様によれば、三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより前記2D画像平面上に提示可能となるオブジェクト、と共に表示されるラベルを生成するように構成されたデータ処理装置であって、前記2D画像平面に提示された時の前記オブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるオブジェクト位置割当手段と、該オブジェクト位置参照点に関連して位置する二次元(2D)ラベル画像を生成し、二次元でそれと共に該ラベル画像を動かす生成手段と、前記オブジェクトの前記3D仮想環境から前記2D画像平面上への投影中に、オブジェクトに適用されるサイズ・スケーリング・パラメータを採用し、前記2Dの関連づけられたラベル画像を生成するときに、そのサイズを支配するために、前記パラメータを適用する適用手段と、を有することを特徴とする装置が提供される。
本発明の他の態様及び任意的機能は、ここで参照されるべき付属請求項及びここで参考文献として組み込まれる開示において現れる。
ここで、添付図面を参照して、例示目的のみに、本発明を説明する。
その中に配置されたオブジェクトを有する二次元表示用三次元仮想環境の一部及びラベルを示す図である。 二次元で表示された場合のオブジェクトの位置を確立する技術を示す図である。 本発明を実行するのに適したシステムの概略図である。
図1を参照すると、軸x,y,zによって示される方向に広がる三次元(3D)仮想環境が示されている。この3D仮想環境は、複数のオブジェクトを含み得るが、本発明を説明するため、2つの例示的オブジェクト3及び4が図1に示されている。ここで、該3D仮想環境が位置2によって示される視点から観測されるものと仮定する。ビュー円錐5は、視点2から観測された場合の該3D環境を表す画像を生成するためのレンダリング処理において2D画像平面上に投影される3D仮想環境の部分を区切る。ユーザが3D環境をナビゲートする時に彼に該3D環境のビューを提供するのはこの2D画像である。このビュー円錐5自体は、「クリップ平面」として知られる複数の平面を定義する。図1に示す配置において、該平面は、前部クリップ平面5a、後部クリップ平面5b、左クリップ平面5c、右クリップ平面5d、底部クリップ平面5e、及び頂部クリップ平面5fとして示される。3D仮想環境のうちクリップ平面で囲まれた部分のみが2D画像平面上に提供されるが、明確さのために、3D仮想環境はこれらクリップ平面の外へ広がることが述べられる。3D仮想環境のうちクリップ平面内に含まれる部分のみが2D画像平面上で表されるため、3D環境のうちクリップ平面外に落ちる部分についてレンダリング処理を実行する必要性はない。
2D画像平面は、x,y方向のみに広がり、参照番号6によって示される。この特定の例において、前部クリップ平面5aは、2D画像平面6と共通の平面である。すなわち、2つの平面は同じz座標を有する。しかし、これは、当業者には明らかなように、必須要件ではない。
3D仮想環境の2D表示を生成するために該3D仮想環境を2D画像平面上にレンダリングする(投影する)処理は、当業者によって知られており、当業者によって再現されることが可能であり、ここでより詳細に説明する必要は
ない。
ラベル画像は、2D画像平面に現れた各オブジェクトに対して提供され得る。該ラベルは、2D画像平面6に投影された時のオブジェクトの位置を確立し、該確立された位置若しくはその近くに該オブジェクトと共に表示される二次元ラベル画像を生成することによって、提供される。ラベルを関連付けられたオブジェクトに対して空間的に位置決めして提供することによって、2D画像平面に1以上のオブジェクトが現れる場合に誤ったオブジェクトにラベルを関連付けるリスクを最小にすることに役立つ。図1に示すように、オブジェクト3にはラベル7が提供され、オブジェクト4にはラベル8が提供される。該ラベルは、それらが関連付けられたオブジェクトに対してオフセットされた位置に配置され得る。3Dにおいてオブジェクトが配置された位置が変わると、該オブジェクトに関連付けられたラベルの位置も変わるため、該ラベルは該オブジェクトに対する空間的位置登録を維持する。このように、2D画像平面においてオブジェクトが移動すれば、ラベルもそれと共に移動するように見える。2D画像平面で表されたときのオブジェクトの位置は、該オブジェクトが3D仮想環境において移動しているか、又は、視点2が変更された場合に、変わり得る。
ラベル画像は、発端から二次元で生成される。これは、ラベルを有するオブジェクトを提供する前述の既知技術、すなわち、3D仮想環境自体においてラベルを提供し、それらラベルを3D環境から2D画像平面へ残りのオブジェクトと共にレンダリングする技術、とは対照的である。
ラベル画像を二次元で生成し、該ラベル画像を2D画像平面上にマッピングすることによって、該ラベル画像は、該ラベルが関連付けられているオブジェクトが直接的な正面でない視点から見られているという事実にかかわりなく、常に該画像平面に正面を向いて現れる。
上記ラベルは、3D仮想環境自体において提供されないため、該ラベル画像を表すデータは別々に提供される。ラベル画像データを3D仮想世界の個々のオブジェクトと合わせる手段が設けられる。該ラベルは、2Dテクスチャ・マップである可能性が高い。
該生成されたラベルの2D画像平面上にマッピングされた時のサイズは、それらの関連付けられたオブジェクトの視点2からの距離によって支配され得る。例えば、図1において、3D環境内で、オブジェクト3は視点2からより離れた位置にあり、オブジェクト4は視点2からより近い位置にある。オブジェクト3及び4が仮想環境のコンテキストにおいて互いに同じサイズであると仮定すると、オブジェクト4が2D画像平面上に投影されるとオブジェクト3の投影より大きく現れる。この遠近効果を完全にするために、2D画像平面で感知された時のオブジェクトのサイズにとって適切なサイズを有するように、関連付けられたラベルが生成される。図1に示すように、オブジェクト4に関連付けられたラベル8は、オブジェクト3に関連付けられたラベル7よりも大きい。2D画像平面上にレンダリングされた各オブジェクトに対して、2D画像平面におけるそのオブジェクトの位置を示す参照点が提供されるため、該オブジェクトに関連付けられたラベルは、この参照点に対して配置され得る。VRMLのコンテキストにおいてこのような参照点を提供する一方法は、図2を参照して説明される。(VRMLとは、例えば1996年8月4日にISO/IEC WD14772として発行されたVRML規格バージョン2.0において説明されるようないわゆるVirtual Reality Modelling Languageのことである。VRMLは、インターネット/ワールド・ワイド・ウェブ上で経験されるべき双方向三次元世界を示すファイル形式である)。図2に示されるオブジェクト4は、3D仮想環境であるが、それに適用されたいわゆる境界ボックス9を有する。境界ボックスは、オブジェクトを含む最小限の長方形容積である。この境界ボックスの一部(例えばその中心を表す部分10)は、参照点11を提供するために2D画像平面上に投影されるために選択される。実際のラベルは、この参照点11からオフセットされた位置に生成され得る。このオフセットの効果は、該ラベルを配置するために選択された位置12をもたらす。
ラベル画像は、例えば、該ラベルが関連付けられたオブジェクトの識別を示すための名前の形式のテキスト・データ、又は、該オブジェクトの状態を示す動的に変化するテキストの形式のテキスト・データを含み得る。該ラベルは、スクロールするテキスト・データを提示し得る。
生成されたテキスト・ラベルを2D画像平面上にマッピングする別の方法は、テキスト・ラベルがその中に生成される別の重なる二次元平面を設けることである。「重なる」という語は、重なっている平面に生成されたすべての画像は、上記平面に生成されたラベルが重なり領域における下側の画像平面の2D画像部分をわかりにくくするという意味において、支配的であることを示すために用いられる。しかし、図1のモデルにおいて、2D画像平面及び重なり平面は、共通平面としてみなされ得る。
このような重なり平面は、Philips TriMediaマルチメディア・マイクロプロセッサにおけるいわゆる「重なり平面」の形式で提供され得る。
2Dで生成されたラベル画像は、エイリアシング防止及びインターレースちらつきのキャンセルなどの画像処理技術に役立つ。該画像が重なり平面などのそれら自身の平面で生成される場合、2D画像平面にレンダリングされた時の3Dオブジェクトの外観に影響を与えることなく、2Dラベル画像のみに対して選択的に画像処理技術を適用することが可能である。
図3を参照すると、本発明を実行するシステムは、アドレス及びデータ・バス32を通じて、ランダム・アクセス(RAM)及びリード・オンリ(ROM)メモリ装置34、36に接続された中央演算装置(CPU)30を有する。これらメモリ装置の容量は、磁気ディスクなどの形式のストレージへのアクセスを有するシステムを提供することによって、増加され得る。レンダリングされた2D画像平面及び生成されたラベル(該画像平面上にマッピングされた時若しくは個別の重なり平面において生成された時)は、CPU30の制御の下、ディスプレイ・ドライバ段階37によって駆動されるディスプレイ・スクリーン38上に提示される。
本開示を読むことによって、当業者には他の修正が明らかであろう。このような修正は、システム、装置、及びそれらの構成要素の設計、製造、及び、使用において既に知られている他の機能、及び、ここで既に開示されている機能に代えて若しくは加えて用いられ得る他の機能、を含み得る。

Claims (11)

  1. 三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより前記2D画像平面上に提示されるオブジェクトに対して、ラベルを提供する方法であって、
    前記2D画像平面に提示された時のオブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるステップと
    該オブジェクト位置参照点に関連して位置し、二次元でそれと共に動き得る二次元(2D)ラベル画像を生成するステップと
    前記画像平面に重なる二次元重なり平面に前記二次元ラベル画像を生成するステップと、
    を有することを特徴とする方法。
  2. 三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより前記2D画像平面上に提示されるオブジェクトに対して、ラベルを提供する方法であって、
    前記2D画像平面に提示された時のオブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるステップと
    該オブジェクト位置参照点に関連して位置し、二次元でそれと共に動き得る二次元(2D)ラベル画像を生成するステップと
    3D仮想環境において定義された時の関連付けられたオブジェクトを囲むようなサイズを有する境界ボックスを設けることを通じて前記2D画像平面において提示された時の前記オブジェクトの位置を確立し、該境界ボックスの一部を確立し、前記視点から観測された時の前記オブジェクト位置を表すそこでの前記オブジェクト位置参照点を生成するために、レンダリング処理において該一部の位置を前記2D画像平面上に投影するステップと、
    を有することを特徴とする方法。
  3. 請求項記載の方法であって、更に、
    前記オブジェクト位置参照点にオフセットを導入するステップと、前記オフセットに前記ラベル画像を生成するステップと、を有することを特徴とする方法。
  4. 三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより前記2D画像平面上に提示されるオブジェクトに対して、ラベルを提供する方法であって、
    前記2D画像平面に提示された時のオブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるステップと、
    該オブジェクト位置参照点に関連して位置し、二次元でそれと共に動き得る二次元(2D)ラベル画像を生成するステップと、
    前記オブジェクトの前記3D仮想環境から前記2D画像平面上への投影中に、オブジェクトに適用されるサイズ・スケーリング・パラメータを採用し、前記2Dの関連づけられたラベル画像を生成するときに、そのサイズを支配するために、前記パラメータを適用するステップと、
    を有することを特徴とする方法。
  5. 請求項1乃至4のいずれか一項に記載の方法であって、更に、
    前記3D仮想環境内で定義された時の前記関連付けられたオブジェクトの前記視点からの距離に依存したサイズを有するように、前記二次元ラベル画像を生成するステップ、を有することを特徴とする方法。
  6. 請求項1乃至のいずれか一項に記載の方法であって、
    前記ラベル画像は、テキスト・データを含むことを特徴とする方法。
  7. 請求項1乃至のいずれか一項に記載の方法であって、更に、
    成された二次元ラベル画像に対して画像データ処理を適用するステップ、を有することを特徴とする方法。
  8. 請求項7記載の方法であって、
    前記適用された画像データ処理は、エイリアシング防止若しくはインターレースちらつきのキャンセルのための処理、又は、これらの両方を含むことを特徴とする方法。
  9. 三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより2D画像平面上に提示可能となるオブジェクト、と共に表示されるラベルを生成するように構成されたデータ処理装置であって、
    前記2D画像平面に提示された時のオブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるオブジェクト位置割当手段と、
    該オブジェクト位置参照点に関連して位置する二次元(2D)ラベル画像を生成し、二次元でそれと共に該ラベル画像を動かす生成手段と、
    前記画像平面に重なる二次元重なり平面に前記二次元ラベル画像を生成する生成手段と
    を有することを特徴とする装置。
  10. 三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより前記2D画像平面上に提示可能となるオブジェクト、と共に表示されるラベルを生成するように構成されたデータ処理装置であって、
    前記2D画像平面に提示された時のオブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるオブジェクト位置割当手段と、
    該オブジェクト位置参照点に関連して位置する二次元(2D)ラベル画像を生成し、二次元でそれと共に該ラベル画像を動かす生成手段と、
    3D仮想環境において定義された時の関連付けられたオブジェクトを囲むようなサイズを有する境界ボックスを設けることを通じて2D画像平面において提示された時の前記オブジェクトの位置を確立する第1の確立手段と、
    該境界ボックスの一部を確立する第2の確立手段と、
    前記視点から観測された時の前記オブジェクト位置を表すそこでの位置を生成するために、レンダリング処理において該一部の位置を前記2D画像平面上に投影する投影手段と、
    を有することを特徴とする装置。
  11. 三次元(3D)仮想環境において定義されたオブジェクトであって、視点から観測された時の3D環境を表す画像を生成するために、レンダリング処理において二次元(2D)画像平面上に投影されることにより前記2D画像平面上に提示可能となるオブジェクト、と共に表示されるラベルを生成するように構成されたデータ処理装置であって、
    前記2D画像平面に提示された時の前記オブジェクトの位置を確立し、前記2D画像平面の前記オブジェクトの位置を示すオブジェクト位置参照点を割り当てるオブジェクト位置割当手段と、
    該オブジェクト位置参照点に関連して位置する二次元(2D)ラベル画像を生成し、二次元でそれと共に該ラベル画像を動かす生成手段と、
    前記オブジェクトの前記3D仮想環境から前記2D画像平面上への投影中に、オブジェクトに適用されるサイズ・スケーリング・パラメータを採用し、前記2Dの関連づけられたラベル画像を生成するときに、そのサイズを支配するために、前記パラメータを適用する適用手段と、
    を有することを特徴とする装置。
JP2011015065A 1999-12-24 2011-01-27 3d環境ラベリング Pending JP2011081848A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
GBGB9930850.4A GB9930850D0 (en) 1999-12-24 1999-12-24 3D environment labelling

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001548348A Division JP4786849B2 (ja) 1999-12-24 2000-12-12 3d環境ラベリング

Publications (1)

Publication Number Publication Date
JP2011081848A true JP2011081848A (ja) 2011-04-21

Family

ID=10867177

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001548348A Expired - Fee Related JP4786849B2 (ja) 1999-12-24 2000-12-12 3d環境ラベリング
JP2011015065A Pending JP2011081848A (ja) 1999-12-24 2011-01-27 3d環境ラベリング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2001548348A Expired - Fee Related JP4786849B2 (ja) 1999-12-24 2000-12-12 3d環境ラベリング

Country Status (6)

Country Link
US (1) US6690393B2 (ja)
EP (2) EP2267661A1 (ja)
JP (2) JP4786849B2 (ja)
KR (1) KR100798284B1 (ja)
GB (1) GB9930850D0 (ja)
WO (1) WO2001048700A1 (ja)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010030667A1 (en) * 2000-04-10 2001-10-18 Kelts Brett R. Interactive display interface for information objects
WO2001082279A2 (en) * 2000-04-24 2001-11-01 The Trustees Of Columbia University In The City Of New York System and method for dynamic space management of a display space
US20080060009A1 (en) * 2000-12-22 2008-03-06 Hillcrest Laboratories, Inc. Client/server methods and systems for generating a user interface
JP4845289B2 (ja) * 2001-02-20 2011-12-28 キヤノン株式会社 情報処理装置及び方法
WO2002093491A1 (en) * 2001-05-17 2002-11-21 The Trustees Of Columbia University In The City Of New York System and method for view management in three dimensional space
JP2003104688A (ja) * 2001-09-28 2003-04-09 Hitachi Constr Mach Co Ltd 建設機械の表示装置における表示方法及びその表示装置
US6917360B2 (en) * 2002-06-21 2005-07-12 Schlumberger Technology Corporation System and method for adaptively labeling multi-dimensional images
US20040027394A1 (en) * 2002-08-12 2004-02-12 Ford Global Technologies, Inc. Virtual reality method and apparatus with improved navigation
US20060215888A1 (en) * 2003-01-13 2006-09-28 Habets Raymond J E Method and apparatus of displaying of a medical image
US20050044509A1 (en) * 2003-05-07 2005-02-24 Hunleth Frank A. Item selection using helical menus
US20040268393A1 (en) * 2003-05-08 2004-12-30 Hunleth Frank A. Control framework with a zoomable graphical user interface for organizing, selecting and launching media items
US8601396B2 (en) * 2003-05-08 2013-12-03 Hillcrest Laboratories, Inc. Systems and methods for node tracking and notification in a control framework including a zoomable graphical user interface
US8555165B2 (en) * 2003-05-08 2013-10-08 Hillcrest Laboratories, Inc. Methods and systems for generating a zoomable graphical user interface
US7230608B2 (en) * 2004-04-23 2007-06-12 Eastman Kodak Company OLED display and touch screen
US8629836B2 (en) 2004-04-30 2014-01-14 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
JP2007535773A (ja) 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド 自由空間ポインティングデバイスおよびポインティング方法
US8137195B2 (en) 2004-11-23 2012-03-20 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
US20060200662A1 (en) * 2005-02-01 2006-09-07 Microsoft Corporation Referencing objects in a virtual environment
CN101558647A (zh) * 2006-08-29 2009-10-14 希尔克瑞斯特实验室公司 电视控制、播放列表生成和dvr系统和方法
JP2008102467A (ja) * 2006-10-19 2008-05-01 Kokusai Kogyo Co Ltd サインオブジェクト表示システム
US8072448B2 (en) * 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
US8199166B2 (en) * 2008-03-14 2012-06-12 Schlumberger Technology Corporation Visualization techniques for oilfield operations
US8676975B2 (en) * 2008-05-15 2014-03-18 International Business Machines Corporation Virtual universe desktop exploration for resource acquisition
US8671198B2 (en) * 2008-06-02 2014-03-11 International Business Machines Corporation Resource acquisition and manipulation from within a virtual universe
US20090306998A1 (en) * 2008-06-06 2009-12-10 Hamilton Ii Rick A Desktop access from within a virtual universe
US8780131B2 (en) * 2008-12-19 2014-07-15 Xerox Corporation Systems and methods for text-based personalization of images
US8462153B2 (en) * 2009-04-24 2013-06-11 Schlumberger Technology Corporation Presenting textual and graphic information to annotate objects displayed by 3D visualization software
US8363051B2 (en) * 2009-05-07 2013-01-29 International Business Machines Corporation Non-real-time enhanced image snapshot in a virtual world system
US8754884B2 (en) * 2009-09-21 2014-06-17 Xerox Corporation 3D virtual environment for generating variable data images
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
FR2960078A1 (fr) * 2010-05-17 2011-11-18 France Telecom Aide a la navigation a traitement de donnees d'affichage perfectionne
JP5460547B2 (ja) * 2010-09-30 2014-04-02 株式会社東芝 医用画像診断装置、及び医用画像診断装置の制御プログラム
US9547938B2 (en) * 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view
CN104170368B (zh) * 2012-02-22 2018-10-09 索尼爱立信移动通讯有限公司 关于图像内容的方法和设备
CN104781852B (zh) 2012-09-21 2020-09-15 欧克里德私人有限公司 用于渲染三维场景的计算机绘图方法
FR2998080A1 (fr) * 2012-11-13 2014-05-16 France Telecom Procede d'augmentation de la realite
US9836885B1 (en) 2013-10-25 2017-12-05 Appliance Computing III, Inc. Image-based rendering of real spaces
US9530239B2 (en) 2013-11-14 2016-12-27 Microsoft Technology Licensing, Llc Maintaining 3D labels as stable objects in 3D world
JP6835536B2 (ja) 2016-03-09 2021-02-24 株式会社リコー 画像処理方法、表示装置および点検システム
CN107180406B (zh) 2016-03-09 2019-03-15 腾讯科技(深圳)有限公司 图像处理方法和设备
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
KR20230152180A (ko) 2017-12-10 2023-11-02 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
JP7381556B2 (ja) * 2018-03-27 2023-11-15 スペースドラフト・プロプライエタリー・リミテッド メディアコンテンツ計画システム
CN112074331A (zh) * 2018-05-02 2020-12-11 任天堂株式会社 信息处理程序、信息处理装置、信息处理系统以及信息处理方法
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
US10854007B2 (en) * 2018-12-03 2020-12-01 Microsoft Technology Licensing, Llc Space models for mixed reality
EP3963565A4 (en) * 2019-05-01 2022-10-12 Magic Leap, Inc. CONTENT DELIVERY SYSTEM AND PROCEDURES
US11210851B1 (en) 2019-06-14 2021-12-28 State Farm Mutual Automobile Insurance Company Systems and methods for labeling 3D models using virtual reality and augmented reality
JP2021018546A (ja) * 2019-07-18 2021-02-15 トヨタ自動車株式会社 車両用コミュニケーション装置および車両用コミュニケーションシステム
US11743340B2 (en) * 2020-06-10 2023-08-29 Snap Inc. Deep linking to augmented reality components
US11683290B1 (en) * 2020-07-15 2023-06-20 Glossi, Inc. System for producing e-commerce product videos
US11863863B2 (en) * 2020-07-22 2024-01-02 Unity IPR ApS System and method for frustum context aware digital asset suggestions
US11838336B2 (en) * 2020-08-27 2023-12-05 Varty Inc. Virtual events-based social network
MX2023002844A (es) * 2020-09-14 2023-06-08 Interdigital Ce Patent Holdings Sas Formato de representacion de escena haptica.
US11736605B2 (en) 2021-04-19 2023-08-22 Meta Platforms Technologies, Llc Coordinated video streaming and messaging using a wrist-wearable device and a head-worn wearable device, and methods of use thereof
KR20230147312A (ko) * 2022-04-14 2023-10-23 주식회사 피아몬드 가상 공간에서 프라이버시 제공을 위한 방법 및 시스템
CN114758075B (zh) * 2022-04-22 2023-03-24 如你所视(北京)科技有限公司 用于生成三维标签的方法、装置和存储介质
US11995789B2 (en) * 2022-06-15 2024-05-28 VRdirect GmbH System and method of creating, hosting, and accessing virtual reality projects
US11860931B1 (en) * 2022-07-11 2024-01-02 Truist Bank Graphical user interface with insight hub and insight carousel
US20240031530A1 (en) * 2022-07-20 2024-01-25 Katmai Tech Inc. Using zones in a three-dimensional virtual environment for limiting audio and video

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04246690A (ja) * 1990-08-29 1992-09-02 Xerox Corp 高品質のイメージを並みの解像度で表示する方法
JPH0660164A (ja) * 1992-08-06 1994-03-04 Hitachi Ltd 3次元形状処理システム
JPH09138136A (ja) * 1995-09-11 1997-05-27 Matsushita Electric Ind Co Ltd 車載用ナビゲーション装置
JPH09229692A (ja) * 1996-02-26 1997-09-05 Alpine Electron Inc 地図描画方法
JPH09281889A (ja) * 1996-04-16 1997-10-31 Hitachi Ltd 地図表示装置及び地図表示方法
JPH1166349A (ja) * 1997-08-12 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> 移動量予測型景観ラベリング装置およびシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526478A (en) * 1994-06-30 1996-06-11 Silicon Graphics, Inc. Three dimensional model with three dimensional pointers and multimedia functions linked to the pointers
JPH0863326A (ja) * 1994-08-22 1996-03-08 Hitachi Ltd 画像処理装置及び方法
JPH08287288A (ja) * 1995-03-24 1996-11-01 Internatl Business Mach Corp <Ibm> 対話式三次元グラフィックスにおける複数側面アノテーション及びホットリンク
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US6172680B1 (en) * 1997-09-23 2001-01-09 Ati Technologies, Inc. Method and apparatus for a three-dimensional graphics processing system including anti-aliasing
US6362817B1 (en) * 1998-05-18 2002-03-26 In3D Corporation System for creating and viewing 3D environments using symbolic descriptors
US6473751B1 (en) * 1999-12-10 2002-10-29 Koninklijke Philips Electronics N.V. Method and apparatus for defining search queries and user profiles and viewing search results

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04246690A (ja) * 1990-08-29 1992-09-02 Xerox Corp 高品質のイメージを並みの解像度で表示する方法
JPH0660164A (ja) * 1992-08-06 1994-03-04 Hitachi Ltd 3次元形状処理システム
JPH09138136A (ja) * 1995-09-11 1997-05-27 Matsushita Electric Ind Co Ltd 車載用ナビゲーション装置
JPH09229692A (ja) * 1996-02-26 1997-09-05 Alpine Electron Inc 地図描画方法
JPH09281889A (ja) * 1996-04-16 1997-10-31 Hitachi Ltd 地図表示装置及び地図表示方法
JPH1166349A (ja) * 1997-08-12 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> 移動量予測型景観ラベリング装置およびシステム

Also Published As

Publication number Publication date
KR20010103026A (ko) 2001-11-17
JP4786849B2 (ja) 2011-10-05
JP2003518673A (ja) 2003-06-10
EP2267661A1 (en) 2010-12-29
GB9930850D0 (en) 2000-02-16
EP1157361A1 (en) 2001-11-28
US20020054129A1 (en) 2002-05-09
WO2001048700A1 (en) 2001-07-05
US6690393B2 (en) 2004-02-10
KR100798284B1 (ko) 2008-01-28

Similar Documents

Publication Publication Date Title
JP4786849B2 (ja) 3d環境ラベリング
US10902663B2 (en) Method and apparatus for displaying 2D application interface in virtual reality device
US6426757B1 (en) Method and apparatus for providing pseudo-3D rendering for virtual reality computer user interfaces
US5694533A (en) 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism
KR101512988B1 (ko) 그래픽 오브젝트를 중첩하기 위한 이미지 프로세서
JP5295416B1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN107168534B (zh) 一种基于cave系统的渲染优化方法及投影方法
AU6742700A (en) Display method for multiple layered screens
WO2006119077A2 (en) Scene splitting for perspective presentations
JP6553184B2 (ja) デジタルビデオのレンダリング
CN114842151A (zh) 基于数字孪生的可缩放矢量图形标签显示方法
JP2022507502A (ja) 拡張現実(ar)のインプリント方法とシステム
CA2469050A1 (en) A method of rendering a graphics image
WO2022089061A1 (zh) 物体标注信息呈现方法、装置、电子设备及存储介质
KR20200032197A (ko) 3d 물체에 웹 페이지를 오버레이하는 방법, 장치 및 컴퓨터 프로그램
WO2002015110A1 (en) Virtual showcases
JP3602061B2 (ja) 3次元グラフィックス表示装置及びその方法
JP4308367B2 (ja) 3次元画像生成装置および環境マップの生成方法
US6256044B1 (en) Display techniques for three-dimensional virtual reality
CA2242166C (en) Display techniques for three dimensional virtual reality
Godin et al. Projector-based dual-resolution stereoscopic display
Jüttner et al. A standalone Interface for web-based virtual reality of calculated fields
Penner et al. The virtual window simulator
JP2792769B2 (ja) 3次元表示装置
Maass et al. Use of depth cues for the annotation of 3d geo-virtual environments

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110527

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110922

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111025