JP5709440B2 - 情報処理装置、情報処理方法 - Google Patents
情報処理装置、情報処理方法 Download PDFInfo
- Publication number
- JP5709440B2 JP5709440B2 JP2010195073A JP2010195073A JP5709440B2 JP 5709440 B2 JP5709440 B2 JP 5709440B2 JP 2010195073 A JP2010195073 A JP 2010195073A JP 2010195073 A JP2010195073 A JP 2010195073A JP 5709440 B2 JP5709440 B2 JP 5709440B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- virtual
- processing apparatus
- virtual plane
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
前記姿勢取得手段により取得された姿勢に基づいて仮想平面を設定する設定手段と、
前記ユーザが操作する指示具または前記ユーザの規定の部位の位置を取得する第1の取得手段と、
前記第1の取得手段によって取得された位置を前記仮想平面上に投影することにより、前記仮想平面上における投影位置を取得する第2の取得手段と、
前記第2の取得手段によって取得した投影位置に基づいて、仮想物体のデータを生成する生成手段と、
前記生成手段によって生成された仮想物体のデータを出力する出力手段と
を備えることを特徴とする。
先ず、本実施形態に係るシステムについて、図1のブロック図及び図2の外観図を用いて説明する。図2に示す如く、現実空間中の所定の位置には、磁界を発生する磁界発生装置2020が設けられている。この磁界発生装置2020の動作制御はセンサコントローラ2030が行う。
そして基準平面生成部3020は、このようにして求めた仮想平面2000を、仮想空間中に配置(設定)する。
操作部1090の位置姿勢に、何らかの仮想物体を配置しても良いし、その配置の可否を切替可能にしても良い。また、仮想平面2000は、可視状態で配置しても良いし、不可視状態で配置しても良い。
図1に示したHMD1000は、光学シースルー方式のものであるが、HMD1000の代わりにビデオシースルー型のものを用いても良い。本実施形態に係るシステムについて、図8のブロック図及び図9の外観図を用いて説明する。図8,9において、図1,2と同じ構成要素には同じ参照番号を付けており、その説明は省略する。
上記の実施形態において、操作部1090の代わりに、ユーザの指など、ユーザの体の所定部位を用いても良い。その場合、その所定部位の位置姿勢を計測するための構成が必要となる。
仮想平面2000を求めるための方法には様々なものが考えられる。例えば、視点の姿勢ベクトルを法線とし、配置した頂点(図6(C)では頂点6100A〜6100H)のうち1つの位置若しくは複数個の重心位置を含む平面を仮想平面2000として求めても良い。この場合、仮想平面2000の設定よりも頂点の配置処理を先に行うことになる。
仮想平面2000を求めるための方法には様々なものが考えられる。例えば、上記の頂点4040の代わりに3個以上の頂点を指示し、指示したそれらの頂点の位置を含む平面を仮想平面2000として求めても良い。
仮想平面2000を求めるための方法には様々なものが考えられる。例えば、世界座標系のX−Y平面・Y−Z平面・Z−X平面のうち一つの平面に平行で、頂点4040を含む平面を仮想平面2000として設定しても良い。ここで、世界座標系とは、現実空間中の1点を原点とし、この原点で互いに直交する3軸をそれぞれX軸、Y軸、Z軸とする座標系である。なお、頂点4040の代わりに、事前に定められた頂点を用いても良い。
仮想平面2000を求めるための方法には様々なものが考えられる。例えば、第1の実施形態において視点の姿勢ベクトルの代わりに、操作部1090の姿勢ベクトルを用いても良い。
仮想平面2000を求めるための方法には様々なものが考えられる。例えば、操作部1090の姿勢ベクトルを法線ベクトルとし、視点の位置から規定の距離だけ離間した点を含む平面を仮想平面2000として求めても良い。
仮想平面2000を求めるための方法には様々なものが考えられる。例えば、視点の位置と操作部1090の位置とを通るベクトルを法線ベクトルとし、操作部1090の位置を含む平面を仮想平面2000として求めても良い。
上記の実施形態では、何れかの方法を用いて設定された仮想平面2000はそのまま固定されたものである。しかし、この仮想平面2000を新たに他の方法で作成し直すことで、その時々でユーザの要望に応じた仮想平面2000を設定することができる。即ち、上記の実施形態で説明した複数種類の仮想平面2000の作成方法から、任意のタイミングで1つを選択し、現在完成している仮想平面2000を、この新たに選択した作成方法でもって作成した仮想平面2000に置き換える。なお、この作成方法の切替については、キーボードやマウスなどを用いて行っても良いし、音声入力などでもって行っても良い。
第1の実施形態では、非特許文献1の方法を用いて生成対象仮想物体の形状を作成したが、操作部1090の移動距離に応じて生成対象仮想物体を変形させても良い。例えば、図11に示す如く、頂点6100Aを含むように仮想平面2000を作成する。そして、仮想平面2000から最も遠い頂点6100Hを含み、仮想平面2000と平行な仮想平面9000を作成し、その間の距離9100によって、生成対象仮想物体の仮想平面2000の法線方向の幅を決定する。
上記の実施形態では、一人のユーザに対して仮想空間若しくは複合現実空間を提供するシステムについて説明したが、同様の提供を複数人に対して行うようにしても良い。また、仮想平面2000の設定に係る操作や、操作部1090を用いて頂点群を指定する操作などを、複数人のユーザによって行うようにしても良い。
情報処理装置1900(8900)を構成する各部はハードウェアで構成しても良い。しかし、仮想物体形状記憶部1080、画像出力部1130、MR画像出力部8130、撮像画像の取得部1040、記憶部3030、を除く各部はコンピュータプログラムとして実装しても良い。この場合、このコンピュータプログラムをコンピュータにインストールし、このコンピュータがこのコンピュータプログラムを実行することで、対応する機能部の機能を実現することができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (14)
- ユーザの視点の姿勢を取得する姿勢取得手段と、
前記姿勢取得手段により取得された姿勢に基づいて仮想平面を設定する設定手段と、
前記ユーザが操作する指示具または前記ユーザの規定の部位の位置を取得する第1の取得手段と、
前記第1の取得手段によって取得された位置を前記仮想平面上に投影することにより、前記仮想平面上における投影位置を取得する第2の取得手段と、
前記第2の取得手段によって取得した投影位置に基づいて、仮想物体のデータを生成する生成手段と、
前記生成手段によって生成された仮想物体のデータを出力する出力手段と
を備えることを特徴とする情報処理装置。 - 前記生成手段は、
前記第2の取得手段によって取得された投影位置の集合を輪郭とした仮想物体のデータを生成することを特徴とする請求項1に記載の情報処理装置。 - 前記設定手段は、
前記姿勢取得手段によって取得された姿勢のベクトルを法線ベクトルとし、前記第1の取得手段によって取得された位置を含む平面を、前記仮想平面として設定することを特徴とする請求項1又は2に記載の情報処理装置。 - ユーザの視点の位置姿勢を取得し、該取得した位置姿勢を用いて該視点から見える仮想物体の画像を生成し、該生成した仮想物体の画像を出力する情報処理装置であって、
前記ユーザが操作する指示具の位置を取得する取得手段と、
仮想空間中の、前記取得手段が取得した位置に、仮想平面を設定する設定手段と、
前記仮想平面の設定後、前記指示具の移動軌跡を記録する第1の記録手段と、
前記移動軌跡を前記仮想平面上に投影した投影移動軌跡を求め、該求めた投影移動軌跡を、生成対象仮想物体の前記仮想平面上における輪郭を表す輪郭データとして記録する第2の記録手段と
を備え、
前記取得手段は更に前記指示具の姿勢ベクトルを取得し、
前記設定手段は、
前記姿勢ベクトルを法線ベクトルとし、前記視点の位置から規定の距離だけ離間した点を含む平面を、前記仮想平面として設定することを特徴とする情報処理装置。 - ユーザの視点の位置姿勢を取得し、該取得した位置姿勢を用いて該視点から見える仮想物体の画像を生成し、該生成した仮想物体の画像を出力する情報処理装置であって、
前記ユーザが操作する指示具の位置を取得する取得手段と、
仮想空間中の、前記取得手段が取得した位置に、仮想平面を設定する設定手段と、
前記仮想平面の設定後、前記指示具の移動軌跡を記録する第1の記録手段と、
前記移動軌跡を前記仮想平面上に投影した投影移動軌跡を求め、該求めた投影移動軌跡を、生成対象仮想物体の前記仮想平面上における輪郭を表す輪郭データとして記録する第2の記録手段と
を備え、
前記設定手段は、
前記視点の位置と前記指示具の位置とを通るベクトルを法線ベクトルとし、前記指示具の位置を含む平面を、前記仮想平面として設定することを特徴とする情報処理装置。 - ユーザの視点の位置姿勢を取得し、該取得した位置姿勢を用いて該視点から見える仮想物体の画像を生成し、該生成した仮想物体の画像を出力する情報処理装置であって、
前記ユーザが操作する指示具の位置を取得する取得手段と、
仮想空間中の、前記取得手段が取得した位置に、仮想平面を設定する設定手段と、
前記仮想平面の設定後、前記指示具の移動軌跡を記録する第1の記録手段と、
前記移動軌跡を前記仮想平面上に投影した投影移動軌跡を求め、該求めた投影移動軌跡を、生成対象仮想物体の前記仮想平面上における輪郭を表す輪郭データとして記録する第2の記録手段と
を備え、
前記取得手段は更に前記指示具の姿勢ベクトルを取得し、
前記設定手段は、
前記姿勢ベクトルを法線ベクトルとし、前記指示具の位置を含む平面を、前記仮想平面として設定することを特徴とする情報処理装置。 - ユーザの視点の位置姿勢を取得し、該取得した位置姿勢を用いて該視点から見える仮想物体の画像を生成し、該生成した仮想物体の画像を出力する情報処理装置であって、
前記ユーザが操作する指示具の位置を取得する取得手段と、
仮想空間中の、前記取得手段が取得した位置に、仮想平面を設定する設定手段と、
前記仮想平面の設定後、前記指示具の移動軌跡を記録する第1の記録手段と、
前記移動軌跡を前記仮想平面上に投影した投影移動軌跡を求め、該求めた投影移動軌跡を、生成対象仮想物体の前記仮想平面上における輪郭を表す輪郭データとして記録する第2の記録手段と
を備え、
前記取得手段は、前記指示具の複数の位置を取得し、
前記設定手段は、
前記複数の位置を含む平面を、前記仮想平面として設定することを特徴とする情報処理装置。 - 更に、
規定のタイミングごとに前記第1の取得手段が取得した位置の集合を、前記指示具または前記ユーザの規定の部位の移動軌跡として記録する記録手段を備えることを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。 - 前記規定のタイミングは、前記指示具に備わっているボタンが押下されたことで該指示具において発生するイベントを前記情報処理装置が検知したタイミングであることを特徴とする請求項8に記載の情報処理装置。
- 前記規定のタイミングは、予め定められた時間間隔毎のタイミングであることを特徴とする請求項8に記載の情報処理装置。
- 更に、
前記視点の位置姿勢を有する撮像装置が撮像した現実空間の画像を取得する手段と、
前記出力手段によって出力されたデータが表す仮想物体の画像と前記現実空間の画像とを合成する手段と
を備えることを特徴とする請求項1乃至3、8乃至10の何れか1項に記載の情報処理装置。 - 前記指示具は、スタイラスを含むポインティングデバイスを含むことを特徴とする請求項1乃至11の何れか1項に記載の情報処理装置。
- 情報処理装置が行う情報処理方法であって、
前記情報処理装置の姿勢取得手段が、ユーザの視点の姿勢を取得する姿勢取得工程と、
前記情報処理装置の設定手段が、前記姿勢取得工程で取得された姿勢に基づいて仮想平面を設定する設定工程と、
前記情報処理装置の第1の取得手段が、前記ユーザが操作する指示具または前記ユーザの規定の部位の位置を取得する第1の取得工程と、
前記情報処理装置の第2の取得手段が、前記第1の取得工程で取得された位置を前記仮想平面上に投影することにより、前記仮想平面上における投影位置を取得する第2の取得工程と、
前記情報処理装置の生成手段が、前記第2の取得工程で取得した投影位置に基づいて、仮想物体のデータを生成する生成工程と、
前記情報処理装置の出力手段が、前記生成工程で生成された仮想物体のデータを出力する出力工程と
を備えることを特徴とする情報処理方法。 - コンピュータを、請求項1乃至12の何れか1項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010195073A JP5709440B2 (ja) | 2010-08-31 | 2010-08-31 | 情報処理装置、情報処理方法 |
US13/217,689 US9007399B2 (en) | 2010-08-31 | 2011-08-25 | Information processing apparatus and method for generating image of virtual space |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010195073A JP5709440B2 (ja) | 2010-08-31 | 2010-08-31 | 情報処理装置、情報処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012053631A JP2012053631A (ja) | 2012-03-15 |
JP2012053631A5 JP2012053631A5 (ja) | 2013-10-17 |
JP5709440B2 true JP5709440B2 (ja) | 2015-04-30 |
Family
ID=45696563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010195073A Active JP5709440B2 (ja) | 2010-08-31 | 2010-08-31 | 情報処理装置、情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9007399B2 (ja) |
JP (1) | JP5709440B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
JP5845211B2 (ja) * | 2013-06-24 | 2016-01-20 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US10445946B2 (en) | 2013-10-29 | 2019-10-15 | Microsoft Technology Licensing, Llc | Dynamic workplane 3D rendering environment |
JP5824537B2 (ja) | 2014-01-16 | 2015-11-25 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP2016110177A (ja) * | 2014-12-02 | 2016-06-20 | 株式会社トプコン | 3次元入力装置及び入力システム |
JP2016118947A (ja) * | 2014-12-22 | 2016-06-30 | 日本ユニシス株式会社 | 角度調整可能な仮想平面を用いた空間手書き入力システム |
JP6788327B2 (ja) * | 2015-02-27 | 2020-11-25 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御プログラム、表示制御装置、及び表示制御方法 |
US10444506B2 (en) * | 2017-04-03 | 2019-10-15 | Microsoft Technology Licensing, Llc | Mixed reality measurement with peripheral tool |
US10429949B2 (en) * | 2017-06-30 | 2019-10-01 | Htc Corporation | User interaction apparatus and method |
US20190057180A1 (en) * | 2017-08-18 | 2019-02-21 | International Business Machines Corporation | System and method for design optimization using augmented reality |
US10816334B2 (en) | 2017-12-04 | 2020-10-27 | Microsoft Technology Licensing, Llc | Augmented reality measurement and schematic system including tool having relatively movable fiducial markers |
JP7242229B2 (ja) * | 2018-09-27 | 2023-03-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN112035041B (zh) * | 2020-08-31 | 2022-05-31 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
US20220180547A1 (en) * | 2021-06-09 | 2022-06-09 | Yong Bum Kim | Method and apparatus for monitoring a distance between virtual objects and recognizing a contact of virtual objects in a virtual reality environment or in an augmented reality environment |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5293455A (en) * | 1991-02-13 | 1994-03-08 | Hughes Aircraft Company | Spatial-temporal-structure processor for multi-sensor, multi scan data fusion |
US6421048B1 (en) * | 1998-07-17 | 2002-07-16 | Sensable Technologies, Inc. | Systems and methods for interacting with virtual objects in a haptic virtual reality environment |
JP3944019B2 (ja) | 2002-07-31 | 2007-07-11 | キヤノン株式会社 | 情報処理装置および方法 |
JP2005165665A (ja) * | 2003-12-02 | 2005-06-23 | Canon Inc | 仮想物体の操作補助装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
JP4522129B2 (ja) * | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
JP4956456B2 (ja) | 2008-02-05 | 2012-06-20 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5388932B2 (ja) | 2009-04-30 | 2014-01-15 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
-
2010
- 2010-08-31 JP JP2010195073A patent/JP5709440B2/ja active Active
-
2011
- 2011-08-25 US US13/217,689 patent/US9007399B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20120050281A1 (en) | 2012-03-01 |
US9007399B2 (en) | 2015-04-14 |
JP2012053631A (ja) | 2012-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5709440B2 (ja) | 情報処理装置、情報処理方法 | |
JP4533087B2 (ja) | 画像処理方法、画像処理装置 | |
JP5845211B2 (ja) | 画像処理装置、画像処理方法 | |
JP3944019B2 (ja) | 情報処理装置および方法 | |
JP6057396B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作処理方法 | |
JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
JP2005227876A (ja) | 画像処理方法、画像処理装置 | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2019008623A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
JP2007004713A (ja) | 画像処理方法、画像処理装置 | |
JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
JP5597064B2 (ja) | 情報処理装置およびその方法 | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11275434B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7279113B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
JP6357412B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
JP2008217119A (ja) | システム、画像処理装置、画像処理方法 | |
JP2008040913A (ja) | 情報処理方法、情報処理装置 | |
JP2006343954A (ja) | 画像処理方法、画像処理装置 | |
JP7451084B2 (ja) | 情報処理装置および情報処理方法 | |
JP2005165665A (ja) | 仮想物体の操作補助装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 | |
JP2015121892A (ja) | 画像処理装置、画像処理方法 | |
JP2019040356A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP2016038632A (ja) | 画像処理装置、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130830 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150303 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5709440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |