JP2010257081A - Image procession method and image processing system - Google Patents
Image procession method and image processing system Download PDFInfo
- Publication number
- JP2010257081A JP2010257081A JP2009104353A JP2009104353A JP2010257081A JP 2010257081 A JP2010257081 A JP 2010257081A JP 2009104353 A JP2009104353 A JP 2009104353A JP 2009104353 A JP2009104353 A JP 2009104353A JP 2010257081 A JP2010257081 A JP 2010257081A
- Authority
- JP
- Japan
- Prior art keywords
- posture
- image
- operator
- avatar
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は画像処理方法、画像処理装置、プログラム及び記憶媒体に関し、特に、コンピュータマネキンを用いてシミュレーションを行うために用いて好適な技術に関する。 The present invention relates to an image processing method, an image processing apparatus, a program, and a storage medium, and more particularly, to a technique suitable for use in performing a simulation using a computer mannequin.
今日、製品や生活環境、製品製造現場などを設計する際に、安全性や快適性、効率性などを重要視して人間にとってよりよい環境の設計(人間中心の設計)を行うことが期待されている。 Today, when designing products, living environments, product manufacturing sites, etc., it is expected to design a better environment (human-centered design) for human beings with an emphasis on safety, comfort and efficiency. ing.
一方、近年では人間の特性をデジタル化してマネキンとしてコンピュータに取り込むことが可能になっている。このようにコンピュータに取り込まれたマネキンは、一般的にコンピュータマネキンと呼ばれている。 On the other hand, in recent years, it has become possible to digitize human characteristics and incorporate them into computers as mannequins. Such a mannequin taken into the computer is generally called a computer mannequin.
このようなコンピュータマネキンを用いてコンピュータ内で人間特性を再現することにより人間工学的な評価を行うことできる。具体的には、コンピュータ内において、製品や生活環境、製品製造現場などを仮想的に設計した3次元仮想空間内にコンピュータマネキンを取り込み、3次元の仮想空間を人間工学的にシミュレーションすることができる。そして、このシミュレーション結果を用いて、製品や生活環境、製品製造現場などを設計支援するシステムがいくつか提案されている。 An ergonomic evaluation can be performed by reproducing human characteristics in a computer using such a computer mannequin. Specifically, in a computer, a computer mannequin can be incorporated into a three-dimensional virtual space in which products, living environments, product manufacturing sites, etc. are virtually designed, and the three-dimensional virtual space can be ergonomically simulated. . And several systems which support design of a product, a living environment, a product manufacturing site, etc. using this simulation result are proposed.
コンピュータマネキンは、いくつかの評価を行うことができるが、その1つが視野評価である。視野評価を行うと、コンピュータマネキンの視点からどれくらいの領域を観察することができるのかを確認することができる。例えば、視野領域の確認は、コンピュータマネキンの視点から見た3次元の仮想空間の画像を観察することによって行われる。 Computer mannequins can perform several evaluations, one of which is visual field evaluation. When visual field evaluation is performed, it is possible to confirm how much area can be observed from the viewpoint of a computer mannequin. For example, the visual field region is confirmed by observing an image of a three-dimensional virtual space viewed from the viewpoint of the computer mannequin.
また関連技術として、人間の実際の動作を既存のモーションキャプチャ技術を用いてコンピュータに入力することにより、コンピュータマネキンの動作を操作することができる技術がある。この技術を利用すれば、コンピュータマネキンの操作者は自分自身の視点を変えることによってコンピュータマネキンの視点を操作しながら視野領域の確認を行うことができる。 Further, as a related technique, there is a technique capable of operating the operation of a computer mannequin by inputting an actual human motion to a computer using an existing motion capture technology. By using this technique, the operator of the computer mannequin can check the visual field region while operating the viewpoint of the computer mannequin by changing his own viewpoint.
例えば、HMD(Head Mount Display)を用いた複合現実感(Mixed Reality)システム(以後、MRシステム)では、現実空間の映像とCG等の非現実空間(仮想空間)の映像とを合成した複合現実空間を体験できる。なお、複合現実感空間の技術に関しては、例えば、非特許文献1に開示されている。 For example, in a mixed reality system (hereinafter referred to as MR system) using HMD (Head Mount Display), a mixed reality in which a real space image and a non-real space (virtual space) image such as CG are synthesized. You can experience the space. For example, Non-Patent Document 1 discloses the mixed reality space technology.
しかしながら、前述のモーションキャプチャ技術を用いてコンピュータマネキンの視野評価を行うと、コンピュータマネキンが物理的な制約により視点(頭部の位置・姿勢)を変更できなくなることがある。この結果、コンピュータマネキンの操作者の視点とコンピュータマネキンの視点とにずれが生じる場合がある。例えば、コンピュータマネキンの頭部が3次元の仮想空間内の天井にぶつかっているときは、これ以上視点位置を上にすることはできない。このようなとき既存のシステムでは、コンピュータマネキンの操作者による視点操作の入力が無視され、操作者に対しては、コンピュータマネキンによる視点の画像を提示しつづけていた。 However, when visual field evaluation of a computer mannequin is performed using the above-described motion capture technology, the computer mannequin may not be able to change the viewpoint (position / posture of the head) due to physical restrictions. As a result, there may be a difference between the viewpoint of the computer mannequin operator and the viewpoint of the computer mannequin. For example, when the head of the computer mannequin is hitting the ceiling in a three-dimensional virtual space, the viewpoint position cannot be raised any further. In such a case, in the existing system, the input of the viewpoint operation by the operator of the computer mannequin is ignored, and the viewpoint image by the computer mannequin is continuously presented to the operator.
したがって、このような視点画像提示方法では、実際にコンピュータマネキンの操作者の視点から視野評価を行うことができない。例えば、コンピュータマネキンの頭部が天井にぶつかっている場合、あと10cm天井の高さを上げた場合の視点から視野評価を行うことができない。このような評価ができないと、あと何cm天井の高さを上げれば目的としている視野を実現できるかがわからない。 Therefore, in such a viewpoint image presentation method, the visual field cannot be actually evaluated from the viewpoint of the operator of the computer mannequin. For example, when the head of the computer mannequin is hitting the ceiling, the visual field cannot be evaluated from the viewpoint when the height of the ceiling is increased by another 10 cm. If such an evaluation is not possible, it is difficult to know how many centimeters the ceiling height can be raised to achieve the intended field of view.
このような問題に対して既存のシステムでは、コンピュータマネキンに課せられた物理的な制約を解除することにより、コンピュータマネキンの視点を天井よりも上に位置させることができる。しかしながら、このように物理的な制約を解除すると、3次元仮想空間内の物理的な制約を伴って視野評価を行うことができないことになる。例えば天井の高さ以外にも物理的な制約が存在する場合に、適切な視野評価ができなくなる場合がある。 In an existing system for such a problem, the viewpoint of the computer mannequin can be positioned above the ceiling by releasing the physical restrictions imposed on the computer mannequin. However, if the physical restriction is removed in this way, the visual field evaluation cannot be performed with the physical restriction in the three-dimensional virtual space. For example, when there are physical restrictions other than the height of the ceiling, it may be impossible to perform appropriate visual field evaluation.
また、物理的な制約を解除したところで、物理的な制約である天井の位置から視点位置までの距離が分からないので、設計変更すべき高さを直感的にフィードバックすることができない。また、コンピュータマネキンが物理的な制約によってその位置・姿勢が制御される際には、操作者に提示する画像がコンピュータマネキンの視点画像のままで停止しているだけなので、直感的に制約を受ける瞬間を判断することが難しい。 Further, when the physical restriction is released, the distance from the ceiling position to the viewpoint position, which is the physical restriction, is not known, and thus the height to be changed cannot be intuitively fed back. In addition, when the position and orientation of a computer mannequin is controlled by physical restrictions, the image presented to the operator is stopped with the viewpoint image of the computer mannequin, so it is intuitively restricted. It is difficult to judge the moment.
さらに、前述の視点画像提示方法をMRシステムに適応する場合、別の問題が生じる。コンピュータマネキンが物理的な制約により視点位置・姿勢を変更できない状況において、HMDを装着して複合現実空間を体験している操作者に画像を提示すると、現実画像が更新されない。このように、コンピュータマネキンの視点画像のままで停止していると、現実画像が更新されないため、操作者は周囲の状況がわからなくなって安全性が損なわれ、操作者に違和感を与えてしまうなどという問題が生じる。 Furthermore, another problem arises when the above-described viewpoint image presentation method is applied to the MR system. In a situation where the computer mannequin cannot change the viewpoint position / posture due to physical restrictions, if an image is presented to an operator who is wearing the HMD and experiencing the mixed reality space, the real image is not updated. In this way, if the computer mannequin is stopped as it is, the actual image will not be updated, so the operator will not know the surrounding situation, safety will be impaired, and the operator will feel uncomfortable. The problem arises.
本発明は前述の問題点に鑑み、コンピュータマネキンに物理的な制約が課せられた際に、操作者の視点の画像を提示するとともに、コンピュータマネキンに課せられた物理的な制約位置と操作者視点位置とのずれを操作者に提示できるようにすることを目的とする。 In view of the above-described problems, the present invention presents an image of an operator's viewpoint when a physical restriction is imposed on the computer mannequin, and presents the physical restriction position imposed on the computer mannequin and the operator's viewpoint. The purpose is to be able to present to the operator a deviation from the position.
本発明の画像処理方法は、仮想空間又は複合現実空間においてコンピュータマネキンを操作者に提示する画像処理方法であって、前記操作者の位置及び姿勢を検出する検出工程と、前記検出工程において検出された位置及び姿勢情報と、前記仮想空間又は複合現実空間に設定されている物理的な制約情報とを用いて、前記コンピュータマネキンの位置及び姿勢を決定する決定工程と、前記操作者の視点に基づく、前記仮想空間又は複合現実空間の画像を生成する画像生成工程と、前記操作者の位置及び姿勢と前記決定工程において決定された前記コンピュータマネキンの位置及び姿勢との間の差分情報を、前記操作者の位置及び姿勢を基準として前記画像生成工程において生成した画像の上で提示する提示工程とを備えることを特徴とする。 The image processing method of the present invention is an image processing method for presenting a computer mannequin to an operator in a virtual space or a mixed reality space, the detection step detecting the position and posture of the operator, and the detection in the detection step. A determination step of determining the position and orientation of the computer mannequin using the position and orientation information obtained and the physical constraint information set in the virtual space or mixed reality space, and based on the viewpoint of the operator An image generation step of generating an image of the virtual space or mixed reality space, and difference information between the position and posture of the operator and the position and posture of the computer mannequin determined in the determination step, A presentation step of presenting the image generated in the image generation step on the basis of the position and orientation of the person.
本発明によれば、コンピュータマネキンに物理的な制約が課せられた際に、操作者には、操作者視点の画像を提示するとともに、コンピュータマネキンに課せられた物理的な制約位置と操作者視点位置とのずれを操作者に提示することができる。 According to the present invention, when a physical restriction is imposed on the computer mannequin, the operator is presented with an image of the operator viewpoint, and the physical restriction position imposed on the computer mannequin and the operator viewpoint are displayed. The deviation from the position can be presented to the operator.
(第1の実施形態)
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態の説明では、HMD(Head Mount Display)を用いた複合現実感(Mixed Reality)システム(以後、MRシステム)に本発明を適用した複合現実空間の情報提示方法について説明する。
(First embodiment)
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description of the embodiment, a mixed reality space information presentation method in which the present invention is applied to a mixed reality system (hereinafter referred to as MR system) using an HMD (Head Mount Display) will be described.
また、本実施形態においては、ビデオシースルー型のHMDを用いた場合について説明する。ビデオシースルー型HMDとは、HMDに組み込まれているビデオカメラなどで撮像した現実空間映像に、CG等の非現実空間映像を合成して体験者に提示する方式のHMDである。なお、ビデオシースルー型HMDに関しては、例えば、非特許文献2に開示されている。 In this embodiment, a case where a video see-through HMD is used will be described. The video see-through type HMD is an HMD of a system in which a non-real space image such as CG is synthesized with a real space image captured by a video camera or the like incorporated in the HMD and presented to the user. The video see-through HMD is disclosed in Non-Patent Document 2, for example.
なお、以下の説明において実施形態では、ユーザに複合現実空間を提示する表示装置をビデオシースルー型HMDとするが、複合現実空間を提示する表示装置はこれに限るものではない。例えば、光学シースルー型のHMDや、プラズマディスプレイ、手持ちのディスプレイ等を表示装置としてもよく、ユーザ間で複合現実空間を提示できるような表示装置であればどのような表示装置でもよい。 In the following description, in the embodiment, the display device that presents the mixed reality space to the user is a video see-through HMD, but the display device that presents the mixed reality space is not limited thereto. For example, an optical see-through HMD, a plasma display, a handheld display, or the like may be used as a display device, and any display device that can present a mixed reality space between users may be used.
まず、本実施形態では、複合現実空間において、アバターに課せられた仮想空間内の制約を体験者に提示することができる映像提示方法について説明する。ここでアバターとは、複合現実空間内で操作者(体験者)の分身として振舞う仮想人モデルであり、例えば、コンピュータマネキンである。コンピュータマネキンとは、人の動きや形状を模擬した人シミュレーションモデルである。また、アバターに課せられる仮想空間内の制約の詳細については後述する。なお、以下の説明で「モデルデータ」とは、仮想空間にある3次元形状物体を表す。 First, in the present embodiment, a video presentation method capable of presenting an experience person with constraints in a virtual space imposed on an avatar in a mixed reality space will be described. Here, the avatar is a virtual human model that behaves as a substitute for the operator (experiencer) in the mixed reality space, and is, for example, a computer mannequin. A computer mannequin is a human simulation model that simulates the movement and shape of a person. Details of restrictions in the virtual space imposed on the avatar will be described later. In the following description, “model data” represents a three-dimensional object in a virtual space.
図1は、本実施形態において、HMDを装着して生成する複合現実空間の一例を示す図である。なお、図1(a)は、本実施形態のシステムが生成する複合現実空間内を客観的に観察した画像の一例を示す図であり、図1(b)は、HMDを装着して生成する複合現実空間を体験中の操作者に提示する画像の一例を示す図である。図1を参照しながら、本実施形態の概要を説明する。 FIG. 1 is a diagram illustrating an example of a mixed reality space generated by wearing an HMD in the present embodiment. FIG. 1A is a diagram illustrating an example of an image obtained by objectively observing the mixed reality space generated by the system of the present embodiment, and FIG. 1B is generated by mounting the HMD. It is a figure which shows an example of the image shown to the operator who is experiencing the mixed reality space. The outline of the present embodiment will be described with reference to FIG.
図1(a)において、101は体験者であり、HMDを装着することにより複合現実空間を体験している。102はアバターであり、体験者101の上に重畳されている。また、アバター102は体験者101の動きに連動して操作される。103は仮想モデルデータである。図1(a)に示す例では、アバター102の頭部が仮想モデルデータ103と干渉しているため、体験者101と同様な姿勢を取ることができない。つまり、アバター102に課せられている物理的な制約を超えた姿勢で体験者101が複合現実空間を体験していることを示している。
In FIG. 1A,
一方、図1(b)において、104は体験者101に提示される複合現実空間の画像であり、体験者101の視点から図1(a)に示す複合現実空間を観察した画像である。105はマスクモデルであり、アバター102に課せられている物理的な制約を超えている視点から体験者101が観察しているとき表示される領域である。このように本実施形態は、アバターに課せられた仮想空間内の物理的な制約を超えてアバターを操作した際に、体験者にそのことを提示する。
On the other hand, in FIG. 1B, 104 is an image of the mixed reality space presented to the
図2は、本実施形態に係る画像処理装置200の構成例を示すブロック図である。
図2において、201は撮像部であり、例えば、ビデオカメラである。撮像部201は現実空間の画像を撮影し、撮影した映像を画像信号として撮影画像取込部202に出力する。
FIG. 2 is a block diagram illustrating a configuration example of the
In FIG. 2,
202は撮影画像取込部であり、撮像部201から出力された画像信号を画像合成部209に出力するのに適した形式に変換して画像合成部209に出力する。209は画像合成部であり、撮影画像取込部202から出力された撮影画像と仮想画像生成部208から出力される仮想空間画像とを合成して表示部210に出力する。
204は位置・姿勢センサ部であり、例えば、光学反射式のリアルタイム3次元動作解析システムとして機能するものである。ここで、光学反射式のリアルタイム3次元動作解析システムとは、現実空間内にある再帰性反射マーカーの群を複数のカメラから撮影することにより再帰性反射マーカーの群からなるオブジェクトの位置・姿勢を計算するものである。そして、オブジェクトの3次元位置・姿勢情報として出力する。位置・姿勢センサ部204は検出手段として機能し、撮像部201や体験者の体の位置・姿勢の情報を取得して、仮想画像生成部208、アバター姿勢計算部205及びオフセット計算部206に出力する。本実施形態では、複数の再帰性反射マーカーを撮像部201に取り付け、それを体験者の頭部の位置・姿勢データとして取得する。
A position /
205はアバター姿勢計算部であり決定手段として機能し、位置・姿勢センサ部204から出力される位置・姿勢データとアバターに課せられた仮想空間内の物理的な制約情報とからアバターの位置・姿勢データを計算する。そして、計算された位置・姿勢データをオフセット計算部206と仮想画像生成部208とに出力する。なお、アバターの姿勢を計算する際には、外部記憶装置207に記憶されている物理的な制約情報を用いる。この物理的な制約情報の詳細については後述する。
206はオフセット計算部であり算出手段として機能し、位置・姿勢センサ部204において計算された体験者の頭部位置とアバターの頭部位置との姿勢差分データを計算する。そして、計算した姿勢差分データをアバター姿勢計算部205と仮想画像生成部208とに出力する。
An offset
208は仮想画像生成部であり、位置・姿勢センサ部204から体験者の位置・姿勢データを入力し、アバター姿勢計算部205からアバターの位置・姿勢データを入力する。さらに、オフセット計算部206から体験者の頭部位置とアバターの頭部位置との姿勢差分データを入力する。そして、これらのデータを用いて仮想空間画像を生成し、画像合成部209に出力する。なお、仮想空間画像を生成する際には、外部記憶装置207に記憶されているモデルデータを用いる。モデルデータにはコンピュータマネキンデータも含まれており、本実施形態においては、アバターはコンピュータマネキンデータを用いて生成される。なお、仮想画像生成部208及び画像合成部209は、画像合成手段、モデル生成手段及び合成画像生成手段として機能する。
A virtual
210は表示部であり、画像合成部209から出力される合成画像を表示する。本実施形態においては、撮像部201及び表示部210はHMDに内蔵されており、表示部210の光学系と撮像部201の撮像系とが一致するように設置されている。211は制御部であり、画像処理装置200の各部を制御する。
次に、本実施形態における処理全体の流れについて図3を参照しながら説明する。図3は、本実施形態に係る画像処理装置200において行うメインの処理手順の一例を示すフローチャートである。なお、図3に示す処理を行うプログラムは外部記憶装置207に保存されており、必要に応じて画像処理装置200のメモリにロードされ、画像処理装置200の制御部211の制御により実行される。その結果、画像処理装置200は、図3のフローチャートに従った処理を行う。
Next, the overall flow of processing in the present embodiment will be described with reference to FIG. FIG. 3 is a flowchart illustrating an example of a main processing procedure performed in the
図3において処理を開始すると、ステップS301において、アバター姿勢計算部205及び仮想画像生成部208は、処理に必要なデータを外部記憶装置207から読み出す。ステップS301で読み出すデータには、モデルデータの形状データ、世界座標系における位置・姿勢を表す配置データ、世界座標系におけるユーザの頭部の位置・姿勢データ等の仮想空間の構造及び属性が含まれる。また、物理的な制約情報も含まれる。物理的な制約情報の詳細については後述する。
When the process is started in FIG. 3, in step S <b> 301, the avatar
次に、ステップS302において、アバター姿勢計算部205及びオフセット計算部206は、位置・姿勢センサ部204で計測した位置・姿勢データを読み出す。ここで位置・姿勢データは体験者の頭部の位置・姿勢である。また、読み出されるデータは世界座標系における位置・姿勢として表されているとする。そして、取得した位置・姿勢データに基づいて、ステップS301で読み出した仮想空間のデータを更新する。つまり、取得した位置・姿勢データに対応した仮想空間となるようにモデルデータの位置・姿勢を更新する。
In step S <b> 302, the avatar
次に、ステップS303において、アバター姿勢計算部205は、位置・姿勢センサ部204から取得した体験者の頭部の位置・姿勢データとアバターに課せられる物理的な制約とに基づいてアバターの位置・姿勢を決定する。つまり、アバターの位置・姿勢は、課せられている物理的な制約内で体験者の頭部の位置・姿勢データによって決定される。ステップS303の詳細については後述する。
Next, in step S303, the avatar
次に、ステップS304において、仮想画像生成部208は、体験者の視点から見た仮想画像を生成する。ここで仮想画像は、アバターに課せられた物理的な制約から生じる、体験者とアバターとの差分の表現を含んでいる画像である。なお、ステップS304の詳細については後述する。
Next, in step S304, the virtual
次に、ステップS305において、仮想画像生成部208は、ステップS304で生成した仮想画像を画像合成部209に送る。そして、画像合成部209は、仮想画像生成部208から送られてきた仮想画像と撮影画像取込部202から送られてきた現実空間画像とを合成して表示部210に送る。なお、合成された画像は、現実空間の上に仮想空間を重畳した複合現実空間の画像である。本実施形態では、表示部210へ送られる画像を複合現実空間の画像としたが、表示される画像はこれに限るものではなく、仮想空間の画像のみを生成して表示部210に送ってもよい。
Next, in step S305, the virtual
次に、ステップS306において、表示部210は、ステップS305で画像合成部209から送られた合成画像を表示する。最後に、ステップS307において、制御部211は、操作者から処理終了の指令があったか否かを判定する。この判定の結果、終了指令があった場合はそのまま処理を終了する。一方、ステップS307の判定の結果、終了指令が無い場合はステップS302に戻り、ステップS302〜S307を繰り返す。
Next, in step S306, the
次に、ステップS303における、位置・姿勢センサ部204から取得した体験者の頭部の位置・姿勢データとアバターに課せられる物理的な制約とに基づいてアバターの位置・姿勢を決定する処理の詳細について説明する。
Next, details of the process of determining the position / posture of the avatar based on the position / posture data of the head of the experienced person acquired from the position /
図4は、図3のステップS303の処理の詳細を示すフローチャートである。
図4において処理を開始すると、ステップS401において、アバター姿勢計算部205は、位置・姿勢センサ部204から取得した位置・姿勢データを用いてアバターの位置・姿勢を更新する。前述した通り、位置・姿勢データはアバターの位置・姿勢を決定するために必要なデータであり、体験者の頭部の位置・姿勢のデータある。また、位置・姿勢の更新は、アバターに課せられる物理的な制約に基づいて行われる。
FIG. 4 is a flowchart showing details of the process in step S303 of FIG.
When the processing is started in FIG. 4, in step S <b> 401, the avatar
ここで、アバターに課せられた物理的な制約とは、モデルデータとの物理的な干渉、干渉するモデルデータの属性、人間工学的な特性などである。モデルデータとの物理的な干渉とは、例えば、アバターの頭がモデルデータの壁に干渉して物理的に動かすことができない場合の制約である。 Here, the physical restrictions imposed on the avatar include physical interference with model data, attributes of interfering model data, ergonomic characteristics, and the like. The physical interference with the model data is, for example, a restriction when the head of the avatar cannot physically move due to interference with the model data wall.
また、干渉するモデルデータの属性とは、例えば、モデルデータが鉄なのかスポンジなのかという属性の違いによって、アバターが寄りかかることができるか触ることができるのかなどが決まる制約である。部品の安全性やセキュリティの属性により部品を触ることができないという制約もこれに含まれる。 Further, the attribute of the interfering model data is, for example, a constraint that determines whether the avatar can lean on or can be touched by the difference in the attribute of whether the model data is iron or sponge. This includes the restriction that the part cannot be touched due to the safety and security attributes of the part.
さらに、人間工学的な特性とは、コンピュータマネキンが持つキネマティック特性、インバースキネマティック特性などの制約である。例えば、前かがみの姿勢において首を回そうしたら一般的にはどれくらい回すことができるか、また首を回すことにより胴体も連動して動くという制約である。 Furthermore, the ergonomic characteristics are constraints such as kinematic characteristics and inverse kinematic characteristics of the computer mannequin. For example, there are restrictions on how much you can turn if you turn your neck in a leaning posture, and the torso moves in conjunction with turning your neck.
本実施形態において、モデルデータとの物理的な干渉、干渉するモデルデータの属性、人間工学的な特性などの物理的な制約は、既存の物理シミュレーション技術を用いるものとする。このように、外部記憶装置207に記録されている各種の物理的な制約情報を用いて物理シミュレーションを行い、アバターの全身における位置・姿勢データを算出する。なお、本実施形態では、物理的な制約について3つの例を挙げたが、本実施形態に適用される物理的な特性はこれに限るものではない。即ち、現実世界に存在する物理的な制約であればどのようなものを適用してもよい。
In the present embodiment, existing physical simulation technology is used for physical constraints such as physical interference with model data, attributes of interfering model data, and ergonomic characteristics. In this way, physical simulation is performed using various physical constraint information recorded in the
次に、ステップS402において、アバター姿勢計算部205は、位置・姿勢センサ部204から取得した位置・姿勢データがアバターに課せられている物理的な制約内の位置・姿勢データであるか否かを判定する。この判定の結果、位置・姿勢データが物理的な制約外のものである場合は、ステップS403へ進む。一方、ステップS402の判定の結果、物理的な制約内のものである場合は、ステップS404へ進む。
Next, in step S402, the avatar
このステップS402では、入力された体験者の頭部の位置・姿勢データにより決定された姿勢をアバターが物理的に取ることができるか否かを判定する。もし、入力された体験者の頭部の位置・姿勢データがアバターに課せられている物理的な制約外である場合は、アバターの頭部位置は体験者の頭部位置とは離れることとなる。これは、アバターの頭部位置が物理的な制約を優先して姿勢を保つためである。 In this step S402, it is determined whether or not the avatar can physically take the posture determined by the input position / posture data of the head of the experienced user. If the input position / posture data of the user's head is outside the physical constraints imposed on the avatar, the head position of the avatar will be separated from the head position of the user. . This is because the head position of the avatar maintains its posture with priority given to physical constraints.
次に、ステップS403において、オフセット計算部206は、体験者とアバターとの間の位置・姿勢のオフセットデータを算出する。ここでは位置・姿勢センサ部204から取得した体験者の頭部の位置・姿勢データと、ステップS401で算出されたアバターの頭部の位置・姿勢データとの差分をオフセットデータとして算出する。
Next, in step S403, the offset
ここで、体験者とアバターとの間の頭部のオフセットデータを算出するのは、体験者による動作がアバターに課せられた物理的な制約外となったときの表現を実現するためである。この物理的な制約外となったときの表現とは、物理的な制約外となった際に、アバターが物理的な制約内で可能な限りの動作を行うという表現である。例えば、体験者が、アバターの頭部が壁に対して垂直に突き抜けるような動きをした場合は、アバターの頭部は物理的な制約により壁で止まる。ところが、その時に体験者によって壁と並行に沿って動くような動作が行われたとき、アバターの頭部は物理的に壁に沿うことができるので壁に沿って動く。 Here, the offset data of the head between the experience person and the avatar is calculated in order to realize an expression when the action by the experience person falls outside the physical restrictions imposed on the avatar. The expression when the physical constraint is not satisfied is an expression that the avatar performs as much as possible within the physical constraint when the physical constraint is not satisfied. For example, when the experiencer moves such that the head of the avatar penetrates perpendicularly to the wall, the head of the avatar stops at the wall due to physical restrictions. However, when the experiencer moves at the same time as moving along the wall, the avatar's head can move along the wall physically and move along the wall.
このような動きを実現するために本実施形態では、体験者による位置・姿勢データに対して6自由度ごとに制約を設定する。そして、物理的な制約がある成分(方向)に対する入力データはオフセットとして取得しておき、アバターの姿勢は体験者の入力データをオフセット分だけ逆変換して実現するようにする。つまりx成分の移動には物理的な制約があり、アバターの姿勢を変化できない場合、x成分の移動はオフセットとして取得しておく、そしてy成分の移動に制約がなければx成分のオフセット分だけ逆変換させた位置でy成分だけ移動を実現させるようにする。なお、ステップS403の処理の詳細については後述する。 In order to realize such a movement, in this embodiment, a restriction is set for every six degrees of freedom for the position / posture data by the experiencer. Then, input data for a component (direction) with physical restrictions is acquired as an offset, and the avatar posture is realized by inversely converting the input data of the experience person by the offset. In other words, there is a physical restriction on the movement of the x component, and if the avatar's posture cannot be changed, the movement of the x component is acquired as an offset, and if there is no restriction on the movement of the y component, only the offset of the x component Only the y component is moved at the inversely transformed position. Details of the process in step S403 will be described later.
最後に、ステップS404において、画像処理装置200の制御部211は、アバターの姿勢を決定する処理を終了するか否かを判定する。この判定の結果、終了する場合は処理を終了し、終了しない場合はステップS401に戻り、ステップS401〜S404の処理を繰り返す。
Finally, in step S404, the control unit 211 of the
次に、ステップS403における、オフセット計算部206が、体験者とアバターとの間の頭部の位置・姿勢のオフセットデータを算出する処理の詳細について説明する。
Next, details of a process in which the offset
図5は、図4のステップS403の処理の詳細を示すフローチャートである。
まず、ステップS501において、オフセット計算部206は位置・姿勢センサ部204から取得した体験者の頭部の位置・姿勢データと、ステップS401で算出されたアバターの頭部の位置・姿勢データとの差分をオフセットデータとして仮算出する。
FIG. 5 is a flowchart showing details of the process in step S403 of FIG.
First, in step S501, the offset
オフセットデータには距離及び角度の要素がある。距離及び角度は以下の数1に示す式のように、それぞれ世界座標系における6自由度の位置・姿勢ごとに対してベクトル成分を用いて算出する。 There are distance and angle elements in the offset data. The distance and angle are calculated using vector components for each position / posture of 6 degrees of freedom in the world coordinate system, as in the following equation (1).
ここで、UserPos_xは体験者の頭部のx座標位置であり、AvatorPos_xはアバターの頭部のx座標位置であり、Distance_xは世界座標におけるx成分の距離オフセットである。また、UserPos_yは体験者の頭部のy座標位置であり、AvatorPos_yはアバターの頭部のy座標位置であり、Distance_yは世界座標におけるy成分の距離オフセットである。さらに、UserPos_zは体験者の頭部のz座標位置であり、AvatorPos_zはアバターの頭部のz座標位置であり、Distance_zは世界座標におけるz成分の距離オフセットである。 Here, UserPos_x is the x coordinate position of the head of the experiencer, AvatorPos_x is the x coordinate position of the head of the avatar, and Distance_x is the distance offset of the x component in the world coordinates. UserPos_y is the y coordinate position of the head of the experiencer, AvatorPos_y is the y coordinate position of the head of the avatar, and Distance_y is a distance offset of the y component in the world coordinates. Furthermore, UserPos_z is the z coordinate position of the head of the experiencer, AvatorPos_z is the z coordinate position of the head of the avatar, and Distance_z is the distance offset of the z component in world coordinates.
一方、Degree_x、Degree_y、Degree_zは、距離オフセットではなく角度オフセットで求めたものである。すなわち、UserOri_x、UserOri_y、UserOri_zはそれぞれ、体験者の頭部の世界座標系におけるx軸、y軸、z軸に対する原点からの角度である。また、AvatorOri_x、AvatorOri_y、AvatorOri_zはアバターの頭部の世界座標系におけるx軸、y軸、z軸に対する原点からの角度である。 On the other hand, Degree_x, Degree_y, and Degree_z are obtained by angle offset instead of distance offset. That is, UserOri_x, UserOri_y, and UserOri_z are angles from the origin with respect to the x-axis, y-axis, and z-axis in the world coordinate system of the head of the experiencer, respectively. AvatorOri_x, AvatorOri_y, and AvatorOri_z are angles from the origin to the x-axis, y-axis, and z-axis in the world coordinate system of the avatar's head.
次に、ステップS502において、オフセット計算部206は、位置・姿勢センサ部204から取得した位置・姿勢データを解析し、体験者とアバターとの間の相対位置・姿勢関係の短縮が行われたか否かを判定する。この判定の結果、相対位置・姿勢関係の短縮が行われていない場合はステップS504へ進む。一方、ステップS502の判定の結果、相対位置・姿勢関係の短縮が行われた場合は、ステップS503へ進む。
Next, in step S502, the offset
ここで、相対位置・姿勢関係の短縮とは、体験者とアバターとの間で頭部の位置・姿勢の値に差があったときにその差が小さくなるようにする操作を意味する。相対位置・姿勢関係の短縮が行われたか否かを確認するのは、体験者による動きがアバターに課せられた物理的な制約外となったときの表現を、オフセットデータを利用して実現しようとすると1つの問題が生じるためである。 Here, the shortening of the relative position / posture relationship means an operation for reducing the difference in the position / posture value of the head between the experience person and the avatar. To confirm whether the relative position / posture relationship has been shortened, use offset data to represent when the movement by the user is outside the physical constraints imposed on the avatar. This is because one problem occurs.
その問題とは、体験者による動きが物理的な制約外から制約内へと変化する場合に生じる体験者の位置とアバターの位置とのオフセットに関するものである。例えば、前述の例と同様に、体験者がアバターの頭部が壁に対して垂直に突き抜けるような動きをした際に、アバターの頭部は物理的な制約により壁で止まる。この状態においてはアバターの頭部が壁で止まっているのに対して、体験者の頭部が壁にめり込んでいる。 The problem relates to the offset between the position of the experiencer and the position of the avatar that occurs when the motion by the experiencer changes from outside the physical constraints to within the constraints. For example, similarly to the above-described example, when the experience person moves such that the head of the avatar penetrates perpendicularly to the wall, the head of the avatar stops at the wall due to physical restrictions. In this state, the head of the avatar is stopped at the wall, while the head of the experiencer is recessed into the wall.
そこで、この状態から体験者の頭部が壁にめり込まない方向(壁モデルの外部)に動いた場合、単純にオフセットを更新すると体験者の頭部が壁の外側に近づくにつれてアバターの頭部が壁から離れていってしまう。その結果、体験者の頭部が壁から離れた際は、体験者の頭部の位置とアバター頭部の位置とが離れてしまう。つまり物理的な制約外の動きの後に制約内の動きをした場合、オフセットが残ってしまう。これは物理的な制約外から制約内への位置・姿勢変換には物理的な制約がないため、アバターがオフセットデータを保ったまま入力データを更新してしまうことが原因である。 Therefore, if the head of the experiencer moves from this state in a direction that does not sink into the wall (outside the wall model), simply updating the offset will cause the avatar's head to move closer to the outside of the wall when the experiencer's head approaches the outside of the wall The part is away from the wall. As a result, when the experiencer's head is separated from the wall, the position of the experiencer's head is separated from the position of the avatar's head. That is, if the movement within the restriction is performed after the movement outside the physical restriction, the offset remains. This is because the avatar updates the input data while keeping the offset data because there is no physical restriction in the position / posture conversion from the physical restriction to the restriction.
そこで本実施形態では、物理的な制約外から制約内へと動きが変化した場合を判定する。具体的には、物理的な制約外の位置に体験者の頭部があるときに、体験者の頭部の位置・姿勢がアバターの頭部の位置・姿勢に近づいているか否かを判定する。もし、体験者の頭部の位置・姿勢が物理的に制約されているアバターの頭部の位置・姿勢へ近づいているならば、体験者による動きが物理的な制約外から制約内の動きへ変化したときだと判定できる。 Therefore, in the present embodiment, it is determined when the movement changes from outside the physical constraint to within the constraint. Specifically, when the experiencer's head is located outside the physical constraints, it is determined whether or not the experiencer's head position / posture is approaching that of the avatar's head . If the position / posture of the user's head is physically constrained to approach the position / posture of the avatar's head, the movement by the user moves from outside the physical constraints to within the constraints. It can be determined that the time has changed.
そこで、ステップS502における相対位置関係の短縮操作の有無の判定は、1サイクル前の処理時のアバターの頭部の位置・姿勢データを基準とする。そして、1サイクル前の処理時の体験者の頭部の位置・姿勢データと、現処理における体験者の頭部の位置・姿勢データとを比較する。つまり、オフセット計算部206において1サイクル前の処理時にステップS501で算出されたオフセットデータと、仮オフセットデータとを比較する。ここで、仮オフセットデータは、現処理における体験者の頭部の位置・姿勢データから1サイクル前の処理時のアバターの頭部の位置・姿勢データを減算して求められる。オフセットデータ及び仮オフセットデータは以下の数2に示す式により算出される。
Therefore, the determination of the presence or absence of the relative positional relationship shortening operation in step S502 is based on the position / posture data of the avatar's head at the time of processing one cycle before. Then, the position / posture data of the head of the experience person at the time of processing one cycle before is compared with the position / posture data of the head of the experience person in the current processing. That is, the offset
ここで、UserPos_x'は1サイクル前の処理時の体験者の頭部のx座標位置であり、AvatorPos_x'は1サイクル前の処理時のアバターの頭部のx座標位置である。また、Distance_x'は1サイクル前の処理時の世界座標におけるx成分の距離オフセットである。一方、UserPos_xは現処理時の体験者の頭部のx座標位置であり、Distance_x*は世界座標におけるx成分の仮距離オフセットである。 Here, UserPos_x ′ is the x coordinate position of the head of the experience person at the time of processing one cycle before, and AvatorPos_x ′ is the x coordinate position of the head of the avatar at the time of processing one cycle before. Distance_x ′ is a distance offset of the x component in the world coordinates at the time of processing one cycle before. On the other hand, UserPos_x is the x coordinate position of the head of the experiencer at the time of the current processing, and Distance_x * is the temporary distance offset of the x component in world coordinates.
このDistance_x'とDistance_x*とを比較して、Distance_x*の方が小さい値である場合は、x成分において相対位置・姿勢関係の短縮が行われたと判定する。オフセットデータ及び仮オフセットデータは、6自由度の位置・姿勢ごとで算出され、それぞれで比較される。そして6自由度の位置・姿勢のうち1つでも短縮が行われていれば短縮ありと判定する。なお、1サイクル前の処理によって算出された体験者の頭部の位置・姿勢データがない場合は、短縮はなしと判定する。 The distance_x ′ and the distance_x * are compared, and if the distance_x * is smaller, it is determined that the relative position / posture relationship has been shortened in the x component. The offset data and the temporary offset data are calculated for each position / posture with six degrees of freedom and are compared with each other. If one of the 6 degrees of freedom position / posture is shortened, it is determined that there is a shortening. When there is no position / posture data of the head of the experience person calculated by the process one cycle before, it is determined that there is no shortening.
次に、ステップS503において、オフセット計算部206は、オフセットデータを修正する。このとき、ステップS502でオフセットデータの短縮があると判定された6自由度の成分のみ、ステップS502で算出した仮オフセットデータをオフセットデータとして修正する。一方、ステップS502でオフセットデータの短縮なしと判定された6自由度の成分はステップS501で算出されたオフセットデータをそのまま用いる。例えば、オフセットデータの修正は以下の数3に示す式により行われる。
Next, in step S503, the offset
ここで、数2に示した式と同様に、Distance_x'は1サイクル前の処理時の世界座標におけるx成分の距離オフセットであり、Distance_x*は世界座標におけるx成分の仮距離オフセットである。また、Distance_xは現処理時の世界座標におけるx成分の距離オフセットであり、Distance_x_adjは修正された世界座標におけるx成分の距離オフセットである。 Here, similarly to the equation shown in Equation 2, Distance_x ′ is a distance offset of the x component in the world coordinates at the time of processing one cycle before, and Distance_x * is a temporary distance offset of the x component in the world coordinates. Distance_x is the distance offset of the x component in the world coordinates at the time of the current processing, and Distance_x_adj is the distance offset of the x component in the modified world coordinates.
このように短縮操作が行われた6自由度の成分に対しては、オフセットデータを仮オフセットデータに修正することにより、アバターは誤ったオフセットデータによって位置・姿勢変換されることがなくなる。ここで、仮オフセットデータはアバターの位置・姿勢を1サイクル前の位置・姿勢から変化させないようなオフセットデータである。つまり、短縮操作が行われた6自由度の成分に対しては、アバターの位置・姿勢を変化させないようにする。その結果、体験者の頭部の位置・姿勢が物理的に制約されているアバターの頭部の位置・姿勢へ近づいている場合に、アバターの頭部の位置・姿勢を保持する。 For the 6-degree-of-freedom component that has been shortened in this way, the avatar is not subjected to position / posture conversion by incorrect offset data by correcting the offset data to temporary offset data. Here, the temporary offset data is offset data that does not change the position / posture of the avatar from the position / posture of the previous cycle. That is, the position / posture of the avatar is not changed for the 6-degree-of-freedom component on which the shortening operation has been performed. As a result, when the position / posture of the experiencer's head is approaching the position / posture of the avatar's head that is physically restricted, the position / posture of the avatar's head is held.
最後に、ステップS504において、画像処理装置200の制御部211は、処理を終了するか否かを判定する。この判定の結果、終了する場合は処理を終了し、終了しない場合はステップS501に戻り、ステップS501〜S504を繰り返す。
Finally, in step S504, the control unit 211 of the
次に、図3のステップS304における、仮想画像生成部208が、体験者の視点から見た仮想画像を生成する処理の詳細について説明する。
Next, details of a process in which the virtual
図6は、図3のステップS304の処理の詳細を示すフローチャートである。
図6において処理を開始すると、ステップS601において、仮想画像生成部208は、外部記憶装置207に記録されているモデルデータの位置・姿勢を基に仮想空間を生成する。このとき、ステップS304でアバター姿勢計算部205により算出されたアバターの位置・姿勢データに基づいて仮想空間を生成する。そして、位置・姿勢センサ部204から取得した体験者の頭部の位置・姿勢データを用いて体験者の視点から見た仮想画像を生成する。
FIG. 6 is a flowchart showing details of the process in step S304 of FIG.
When the processing is started in FIG. 6, in step S <b> 601, the virtual
次に、ステップS602において、仮想画像生成部208は、ステップS403で算出されたオフセットデータを用いてアバター及び体験者の位置・姿勢の差分表現を合成した画像を生成する。本実施形態では、アバター及び体験者の位置・姿勢の差分をマスクモデルで表現する。
Next, in step S602, the virtual
図7は、本実施形態において、画像合成部209が提示手段として機能し、HMDを装着して複合現実空間を体験中の操作者に対して提示するマスクモデルの例を示す図である。
図7において、701は体験者に提示される複合現実空間の画像である。702は世界座標軸であり、仮想空間はこの世界座標軸702に基づいて生成されている。703はマスクモデルであり、差分情報モデルとして、複合現実空間の画像が観察可能な程度に半透明な赤色で示されている。
FIG. 7 is a diagram illustrating an example of a mask model in which the
In FIG. 7,
このマスクモデル703の生成方法について以下に説明する。
まず、オフセットデータの要素である距離、角度の成分に応じてマスクモデルを生成する位置を設定する。もし、y成分のオフセットデータが存在していて、そのオフセットデータの値が正である場合は、図7に示すように、画像の上部(仮想画像の+y方向)にマスクモデルを位置づける。一方、オフセットデータの値が負である場合は、画像の下部(仮想画像の−y方向)にマスクモデルを位置づける。同様にしてx成分のオフセットデータが存在する場合は、その値の符号に応じて画像の左右にマスクモデルを位置づける。
A method for generating the
First, a position for generating a mask model is set according to the distance and angle components that are elements of the offset data. If the offset data of the y component exists and the value of the offset data is positive, the mask model is positioned at the top of the image (in the + y direction of the virtual image) as shown in FIG. On the other hand, when the value of the offset data is negative, the mask model is positioned below the image (−y direction of the virtual image). Similarly, when there is x component offset data, the mask model is positioned on the left and right of the image in accordance with the sign of the value.
一方、z成分のオフセットが存在するときには、多少異なる表現方法をとる。z成分のオフセットデータが存在する場合は、その値の符号に応じてマスクモデルの表現方法を変える。オフセットデータの値が正である場合は、画像全体を覆うようにマスクモデルを位置づける。一方、オフセットデータの値が負である場合は、画像の上下左右部すべてにマスクモデルを位置づける。 On the other hand, when a z-component offset exists, a slightly different representation method is used. If z-component offset data exists, the mask model representation method is changed according to the sign of the value. When the offset data value is positive, the mask model is positioned so as to cover the entire image. On the other hand, when the value of the offset data is negative, the mask model is positioned on all the upper, lower, left and right parts of the image.
次に、オフセットデータの要素である距離、角度の大きさに応じてマスクモデルの大きさを設定する。もし、y成分のオフセットデータが存在していて、その大きさが|Distance_y|であるならば、図7に示すように、マスクモデル703のy軸方向の幅(画像を覆うy軸方向の画素数)を|Distance_y|と設定する。
Next, the size of the mask model is set according to the distance and the angle that are elements of the offset data. If the offset data of the y component exists and its size is | Distance_y |, as shown in FIG. 7, the width of the
また、オフセットデータの大きさが|Degree_y|である場合は、HMD垂直画角と、画像の垂直方向の解像度との関係を用いてマスクモデルのy軸方向の幅を設定する。具体的には、画像解像度/HMD画角から画角1°あたり画素数を求め、その値と|Degree_y|とを乗算した値をマスクモデルのy軸方向の幅(画像を覆うy軸方向の画素数)として設定する。同様にしてx成分のオフセットデータが存在する場合は、その値の大きさに応じてマスクモデルの大きさを設定する。 When the size of the offset data is | Degree_y |, the width of the mask model in the y-axis direction is set using the relationship between the HMD vertical field angle and the vertical resolution of the image. Specifically, the number of pixels per 1 ° angle of view is obtained from the image resolution / HMD angle of view, and the value obtained by multiplying that value by | Degree_y | is the width in the y-axis direction of the mask model (in the y-axis direction covering the image). Set as the number of pixels). Similarly, when there is x component offset data, the size of the mask model is set according to the size of the value.
一方、z成分のオフセットデータが存在していて、その値が負である場合は、その値の大きさに応じてマスクモデルの大きさを設定する。なお、z成分のオフセットデータが存在していて、その値が正である場合は、画像全体をマスクモデルで覆うように位置づけるため、マスクモデルの大きさを調整できない。そこでz成分のオフセットデータが存在する場合は、オフセットデータの大きさをマスクモデルの色の濃さによって表現する。 On the other hand, if there is z-component offset data and the value is negative, the size of the mask model is set according to the value. If z component offset data exists and the value is positive, the entire image is positioned to be covered with the mask model, and the size of the mask model cannot be adjusted. Therefore, when z component offset data exists, the magnitude of the offset data is expressed by the color density of the mask model.
なお、本実施形態では、マスクモデルの大きさはオフセットデータの距離の絶対値、または角度×画像解像度/HMD画角により設定されるが、本発明はこれに限るものではない。オフセットデータに対して任意の定数を乗算した値などをマスクモデルの大きさと設定してもよく、オフセットデータの大きさに依存するような設定方法であればどのような方法でもよい。なお、複数種類のマスクモデルから操作者に選択させるようにしてもよい。 In the present embodiment, the size of the mask model is set by the absolute value of the offset data distance or angle × image resolution / HMD angle of view, but the present invention is not limited to this. A value obtained by multiplying the offset data by an arbitrary constant or the like may be set as the size of the mask model, and any setting method that depends on the size of the offset data may be used. Note that the operator may select from a plurality of types of mask models.
また、本実施形態では、z成分のオフセットデータが正の場合、オフセットデータの大きさの表現方法は、画像全体を覆うように位置づけられたマスクモデルの色の濃さにより表現したが、本発明はこれに限るものではない。例えば、オフセットデータの値をマスクモデルとともに表示するなど、オフセットデータの大きさを表現できる表現方法であればどのような方法でもよい。 In the present embodiment, when the offset data of the z component is positive, the method for expressing the magnitude of the offset data is expressed by the color density of the mask model positioned so as to cover the entire image. Is not limited to this. For example, any method may be used as long as it can express the size of the offset data, such as displaying the value of the offset data together with the mask model.
さらに、本実施形態では、アバター及び体験者の位置・姿勢の差分をマスクモデルで表現したが、本発明はこれに限るものではない。例えば、アバターと体験者との間にオフセットが生じた瞬間の撮像画像を、オフセットデータの大きさに応じてずらすことにより差分を表現してもよい。このようにアバターと体験者との間の位置・姿勢の差分を表現できる方法であればどのような方法でもよい。 Furthermore, in this embodiment, the difference between the position and orientation of the avatar and the experience person is expressed by a mask model, but the present invention is not limited to this. For example, the difference may be expressed by shifting the captured image at the moment when the offset occurs between the avatar and the experience person according to the size of the offset data. Any method can be used as long as it can express the difference in position / posture between the avatar and the experiencer.
図8は、本実施形態において、アバターと体験者との間の位置・姿勢の差分を、撮像画像をずらすことにより表現した例を示す図である。図8に示す画像は、図7に示す複合現実空間と同じ複合現実空間を体験者の視点から画像にしたものである。
図8において、801は体験者に提示される複合現実空間の画像である。802は撮像画像であり、アバターと体験者との間にオフセットが生じた瞬間に撮像部201によって撮影された撮像画像である。この撮像画像802は体験者の位置・姿勢データがアバターに課せられている物理的な制約を超えている間は更新されない。さらに、撮像画像802は、オフセットデータの大きさに応じて複合現実空間の画像801内でずらして表示される。
FIG. 8 is a diagram illustrating an example in which the position / posture difference between the avatar and the experiencer is expressed by shifting the captured image in the present embodiment. The image shown in FIG. 8 is an image of the same mixed reality space as that shown in FIG. 7 from the viewpoint of the user.
In FIG. 8,
803はモデルデータであり、体験者の位置・姿勢データがアバターに課せられている物理的な制約を超えている間もモデルデータ803の位置・姿勢が更新される。804はブルーバックであり、アバターと体験者との間の位置・姿勢の差分だけ撮像画像がずらされた結果生じたものである。つまり、体験者の位置・姿勢データがアバターに課せられている物理的な制約を超えている場合は、現実画像の更新は止め、仮想画像のみを更新することによってアバターと体験者との間の位置・姿勢の差分を表現する。このようにしてアバターと体験者との間の位置・姿勢の差分を表現することも可能である。
最後に、ステップS603において、画像処理装置200の制御部211は、処理が終了であるか否か判定する。この判定の結果、終了である場合は処理を終了し、終了でない場合はステップS601に戻り、ステップS601〜S603を繰り返す。
Finally, in step S603, the control unit 211 of the
本実施形態においては、アバターの全身姿勢を決定するために入力されるデータを体験者の頭部の位置・姿勢データとしたが、本発明におけるアバターの全身姿勢を決定する方法はこの限りではない。アバターの全身姿勢を決定するために、体験者の頭部の位置・姿勢データのみではなく、体験者の手の位置・姿勢データや、さらには全身の位置・姿勢データを入力してアバターの全身姿勢を決定してもよい。また、キーボードなどの外部入力デバイスにより数値入力することによってアバターの全身姿勢を決定してもよい。このように、アバターの全身姿勢を決定できる方法であればどのような方法でもよい。 In this embodiment, the data input to determine the whole body posture of the avatar is the position / posture data of the head of the experiencer, but the method for determining the whole body posture of the avatar in the present invention is not limited to this. . In order to determine the whole body posture of the avatar, not only the head position / posture data of the experience person but also the position / posture data of the hand of the experience person, and also the position / posture data of the whole body are inputted to input the whole body of the avatar. The posture may be determined. Further, the whole body posture of the avatar may be determined by inputting numerical values with an external input device such as a keyboard. Thus, any method may be used as long as it can determine the whole body posture of the avatar.
また、以上の説明では、体験者に提示する差分表現において、アバターの頭部と体験者の頭部との間の位置・姿勢の差分を表現するものとしたが、本発明の差分表現はこの限りではない。例えば、アバターの手と体験者の手との間の位置・姿勢の差分を差分表現として体験者に提示してもよい。このように、体験者の全身とアバターの全身との間の位置・姿勢のうち、少なくとも1部分の差分を表現するものであればどのようなものでもよい。なお、手の位置・姿勢の差分を表現する際には、例えば、体験者の手とアバターの手との間にラインを表示することによって差分を表現してもよい。 In the above description, in the differential expression presented to the experiencer, the position / posture difference between the head of the avatar and the experiencer's head is expressed. Not as long. For example, the difference in position / posture between the avatar's hand and the experiencer's hand may be presented to the experiencer as a differential expression. As described above, any position / posture between the whole body of the experience person and the whole body of the avatar may be used as long as it expresses a difference of at least one part. In addition, when expressing the difference in the position / posture of the hand, for example, the difference may be expressed by displaying a line between the hands of the experiencer and the hands of the avatar.
以上のように本実施形態によれば、アバターに課せられた仮想空間内の制約を体験者に提示することができる。 As described above, according to the present embodiment, the constraints in the virtual space imposed on the avatar can be presented to the experience person.
(第2の実施形態)
第1の実施形態では、体験者は自分自身の姿勢の変化によってアバターの全身姿勢を常に操作しながらアバターに課せられた仮想空間内の制約の提示を受ける例について説明した。本実施形態では、体験者がアバターの全身姿勢の操作をしないでアバターに課せられた仮想空間内の制約の提示を受けることができる。具体的には、アバターの全身姿勢を主観操作と客観操作とで切り替えることにより、アバターに課せられた仮想空間内の制約を主観と客観とで切り替えて体験することができる。
(Second Embodiment)
In the first embodiment, an example has been described in which the experiencer receives the presentation of constraints in the virtual space imposed on the avatar while constantly manipulating the whole body posture of the avatar according to the change of the posture of himself / herself. In this embodiment, the experience person can receive the presentation of the restrictions in the virtual space imposed on the avatar without operating the whole body posture of the avatar. Specifically, by switching the avatar's whole body posture between the subjective operation and the objective operation, it is possible to experience the restrictions in the virtual space imposed on the avatar by switching between the subjectivity and the objective.
本実施形態は、複合現実空間において、アバターに課せられた仮想空間内の制約を主観的と客観的とで切り替えて体験者に提示することができる映像提示方法について説明する。なお、本実施形態に係る画像処理装置の構成については第1の実施形態と同様であるので説明は省略する。 In the present embodiment, a video presentation method capable of presenting to a user an experience that is switched between subjective and objective restrictions in a virtual space imposed on an avatar in a mixed reality space will be described. Note that the configuration of the image processing apparatus according to the present embodiment is the same as that of the first embodiment, and a description thereof will be omitted.
図9は、本実施形態において生成される複合現実空間の一例を示す図である。なお、図9(a)は、本実施形態のシステムが生成する複合現実空間内を客観的に観察した画像の一例を示す図であり、図9(b)は、HMDを装着して生成する複合現実空間を体験中の体験者に提示する画像の一例を示す図である。図9を参照しながら、本実施形態の概要を説明する。 FIG. 9 is a diagram illustrating an example of the mixed reality space generated in the present embodiment. FIG. 9A is a diagram illustrating an example of an image obtained by objectively observing the mixed reality space generated by the system of the present embodiment, and FIG. 9B is generated by mounting the HMD. It is a figure which shows an example of the image shown to the experiencing person experiencing the mixed reality space. The outline of the present embodiment will be described with reference to FIG.
図9(a)において、901は体験者であり、HMDを装着することにより複合現実空間を体験している。902はアバターであり、体験者901によって全身姿勢が操作されている。903は仮想モデルデータである。904は3次元ポイントデバイスであり、位置・姿勢センサ部204によって3次元位置を取得することができるものである。なお、3次元ポイントデバイス904は、さらにボタンのような入力機能を備えている。体験者901はこの3次元ポイントデバイス904を用いてアバター902の身体の一部をつかんで動かすことにより全身姿勢を操作することができる。
In FIG. 9A,
一方、図9(b)において、905はアバターであり、体験者901によって客観的に観察されている。906は3次元ポイントデバイスであり、アバター905の頭部をフックしてアバター905の全身姿勢を操作するために用いられる。
On the other hand, in FIG. 9B,
本実施形態では、第1の実施形態のように体験者の頭部の位置・姿勢によりアバターの全身姿勢を操作するような主観操作と、前述のように体験者がなんらかの3次元ポイントデバイスを用いてアバターの全身姿勢を操作する客観操作とを切り替えることができる。このように本実施形態では、複合現実空間を操作及び体験することができる。 In this embodiment, as in the first embodiment, the subjective operation of manipulating the whole body posture of the avatar according to the position and posture of the head of the experiencer, and the experiencer uses some 3D point device as described above. It is possible to switch between objective operation for manipulating the whole body posture of the avatar. As described above, in the present embodiment, the mixed reality space can be operated and experienced.
ここで主観操作及び客観操作について明確に定義しておく。主観操作とは、第1の実施形態で示したように体験者の頭部の位置によってアバターの頭部の位置を制御する操作である。すなわち、アバターが体験者に乗り移っているような状態で身体的に対応した部位によって体験者がアバターを操作である。それに対して客観操作とは、体験者とアバターが離れ離れな状態でアバターを客観的に観察しながら、操作者の視点の位置及び姿勢とは独立した制御によりアバターの部位を選択して制御する操作である。 Here, the subjective operation and the objective operation are clearly defined. The subjective operation is an operation for controlling the position of the avatar's head according to the position of the head of the experiencer as shown in the first embodiment. That is, the experiencer is operating the avatar by a part physically corresponding to the avatar being transferred to the experiencer. On the other hand, objective operation is an operation to select and control the avatar part by control independent of the position and posture of the operator's viewpoint while objectively observing the avatar while the experiencer and the avatar are separated from each other It is.
次に、本実施形態における処理全体の流れについて図10を参照しながら説明する。図10は、本実施形態に係る画像処理装置200において行うメインの処理手順の一例を示すフローチャートである。なお、ステップS1001〜S1003は図3のステップS301〜S303と同様であり、ステップS1008〜S1010は、図3のステップS305〜S307と同様である。図10に示す本実施形態の処理のうち、図3に示す第1の実施形態と異なる処理は、ステップS1004〜S1007のみである。したがって、本実施形態ではステップS1004〜S1007の処理についてのみ説明する。また、本実施形態においてアバターは、第1の実施形態で示した体験者による主観的な操作によって全姿勢を決定されるものとする。
Next, the overall processing flow in the present embodiment will be described with reference to FIG. FIG. 10 is a flowchart illustrating an example of a main processing procedure performed in the
ステップS1004において、アバター姿勢計算部205は切り替え手段として機能し、オフセット計算部206で算出されたオフセットデータを用いて操作手段の切り替えを行う。具体的にはオフセット計算部206で算出されたオフセットデータの大きさが閾値内である場合は、アバターに対して引き続き主観操作を行う。一方、オフセットデータの大きさが閾値外である場合は、アバターに対する操作手段を主観操作から客観操作に切り替える。アバターの操作手段が主観操作から客観操作に切り替えられるとアバターは体験者の操作から切り離される。
In step S1004, the avatar
次に、ステップS1005において、アバター姿勢計算部205は、アバターの全身姿勢の操作手段が主観操作であるか否かを判定する。この判定の結果、操作手段が主観操作である場合はステップS1006へ進み、客観操作である場合は、ステップS1007へ進む。
Next, in step S1005, the avatar
ステップS1006においては、第1の実施形態で説明した図3のステップS304と同様に、仮想画像生成部208は、体験者の視点から見た仮想画像を生成する。一方、ステップS1007においても、仮想画像生成部208は、仮想画像を生成するが、仮想画像はアバターに課せられた物理的な制約から生じる体験者とアバターとの間の差分の表現は含んでいない画像である。体験者はアバターに課せられた物理的な制約を客観的に観察することができ、アバターと体験者とが切り離されている状態では体験者とアバターとの差分に意味はないので差分の表現は必要ないといえる。
In step S1006, similarly to step S304 of FIG. 3 described in the first embodiment, the virtual
本実施形態では、アバターの操作手段の切り替えをオフセットデータの閾値を用いて行ったが、本発明はこれに限るものではない。例えば、アバターの操作手段の切り替えは、コンソール画面の切り替えボタンを用いて行ってもよく、アバターの操作手段を切り替えられる方法であればどのような方法でもよい。 In this embodiment, the switching of the avatar operation means is performed using the offset data threshold value, but the present invention is not limited to this. For example, the avatar operation means may be switched using a switching button on the console screen, and any method may be used as long as the avatar operation means can be switched.
また、本実施形態では、アバターの操作手段が主観操作である場合は、体験者の上にアバターが重畳されるが、アバターを客観的に観察しながらもアバターを主観操作するようにしてもよい。この場合、体験者はアバターの遠隔操作を行って、アバターと離れた位置からでも主観的に操作することができる。 In this embodiment, when the avatar operation means is a subjective operation, the avatar is superimposed on the experience person, but the avatar may be subjectively operated while objectively observing the avatar. . In this case, the experience person can operate the avatar remotely and subjectively operate it from a position away from the avatar.
図11は、本実施形態において、体験者がアバターを遠隔位置から主観操作している例を示す図であり、本実施形態のシステムが生成する複合現実空間内を客観的に観察した画像の例である。
図11において、1101は体験者であり、HMDを装着することにより複合現実空間を体験している。1102はアバターであり、遠隔位置にいる体験者1101によって全身姿勢が操作される。1103はモデルデータであり、アバター1102に対して物理的な制約を与えている。1104は現実の机であり、体験者1101がアバター1102の姿勢をできるだけ模擬するために使用されている。図11に示す例のように、アバターの操作手段とアバターを観察する視点とは別々に主観か客観かを設定することも可能である。
FIG. 11 is a diagram illustrating an example in which an experienced person subjectively operates an avatar from a remote position in the present embodiment, and an example of an objectively observed image in the mixed reality space generated by the system of the present embodiment. It is.
In FIG. 11,
以上のように本実施形態の画像処理方法によれば、アバターに課せられた仮想空間内の制約を主観的と客観的とを切り替えて体験者に提示することができる。 As described above, according to the image processing method of the present embodiment, the constraints in the virtual space imposed on the avatar can be presented to the experience person while switching between subjective and objective.
(本発明に係る他の実施形態)
前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
(Other embodiments according to the present invention)
Each means constituting the image processing apparatus and each step of the image processing method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable storage medium storing the program are included in the present invention.
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 In addition, the present invention can be implemented as, for example, a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図3〜図6、図10に示すフローチャートに対応したプログラム)を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 In the present invention, a software program for realizing the functions of the above-described embodiments (in the embodiment, programs corresponding to the flowcharts shown in FIGS. 3 to 6 and 10) is directly or remotely supplied to the system or apparatus. This includes cases where This includes the case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などもある。 Examples of the storage medium for supplying the program include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, there are MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R) and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。 As another program supply method, there is a method of connecting to a homepage on the Internet using a browser of a client computer. It can also be supplied by downloading the computer program itself of the present invention or a compressed file including an automatic installation function from a homepage to a storage medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, the present invention includes a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer.
また、その他の方法として、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 As another method, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and encrypted from a homepage via the Internet to users who have cleared predetermined conditions. Download the key information to be solved. It is also possible to execute the encrypted program by using the key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。 As another method, a program read from a storage medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.
204 位置・姿勢センサ部、205 アバター姿勢計算部、208 仮想画像生成部、209 画像合成部 204 position / posture sensor unit, 205 avatar posture calculation unit, 208 virtual image generation unit, 209 image composition unit
Claims (10)
前記操作者の位置及び姿勢を検出する検出工程と、
前記検出工程において検出された位置及び姿勢情報と、前記仮想空間又は複合現実空間に設定されている物理的な制約情報とを用いて、前記コンピュータマネキンの位置及び姿勢を決定する決定工程と、
前記操作者の視点に基づく、前記仮想空間又は複合現実空間の画像を生成する画像生成工程と、
前記操作者の位置及び姿勢と前記決定工程において決定された前記コンピュータマネキンの位置及び姿勢との間の差分情報を、前記操作者の位置及び姿勢を基準として前記画像生成工程において生成した画像の上で提示する提示工程とを備えることを特徴とする画像処理方法。 An image processing method for presenting a computer mannequin to an operator in a virtual space or a mixed reality space,
A detection step of detecting the position and orientation of the operator;
A determination step of determining the position and orientation of the computer mannequin using the position and orientation information detected in the detection step and the physical constraint information set in the virtual space or mixed reality space;
An image generating step for generating an image of the virtual space or mixed reality space based on the viewpoint of the operator;
The difference information between the position and posture of the operator and the position and posture of the computer mannequin determined in the determination step is calculated on the image generated in the image generation step based on the position and posture of the operator. The image processing method characterized by including the presentation process shown by this.
前記操作者の位置及び姿勢情報と前記コンピュータマネキンの位置及び姿勢情報とを用いて前記差分情報を算出する算出工程と、
前記算出工程において算出された差分情報のベクトル成分を用いて差分情報モデルを生成するモデル生成工程と、
前記モデル生成工程において生成された差分情報モデルと前記仮想空間又は複合現実空間とを合成した画像を生成する合成画像生成工程とを含むことを特徴とする請求項1に記載の画像処理方法。 The presenting step includes
A calculation step of calculating the difference information using the position and orientation information of the operator and the position and orientation information of the computer mannequin;
A model generation step of generating a difference information model using the vector component of the difference information calculated in the calculation step;
The image processing method according to claim 1, further comprising a combined image generation step of generating an image obtained by combining the difference information model generated in the model generation step and the virtual space or the mixed reality space.
前記操作者の位置及び姿勢を検出する検出手段と、
前記検出手段によって検出された位置及び姿勢情報と、前記仮想空間又は複合現実空間に設定されている物理的な制約情報とを用いて、前記コンピュータマネキンの位置及び姿勢を決定する決定手段と、
前記操作者の視点に基づく、前記仮想空間又は複合現実空間の画像を生成する画像生成手段と、
前記操作者の位置及び姿勢と前記決定手段により決定された前記コンピュータマネキンの位置及び姿勢との間の差分情報を、前記操作者の位置及び姿勢を基準として前記画像生成手段によって生成した画像の上で提示する提示手段とを備えることを特徴とする画像処理装置。 An image processing apparatus for presenting a computer mannequin to an operator in a virtual space or a mixed reality space,
Detecting means for detecting the position and posture of the operator;
Determining means for determining the position and orientation of the computer mannequin using the position and orientation information detected by the detecting means and the physical constraint information set in the virtual space or mixed reality space;
Image generating means for generating an image of the virtual space or mixed reality space based on the viewpoint of the operator;
The difference information between the position and posture of the operator and the position and posture of the computer mannequin determined by the determination unit is used to calculate the difference information on the image generated by the image generation unit based on the position and posture of the operator. An image processing apparatus comprising: a presenting means for presenting at the above.
前記操作者の位置及び姿勢を検出する検出工程と、
前記検出工程において検出された位置及び姿勢情報と、前記仮想空間又は複合現実空間に設定されている物理的な制約情報とを用いて、前記コンピュータマネキンの位置及び姿勢を決定する決定工程と、
前記操作者の視点に基づく、前記仮想空間又は複合現実空間の画像を生成する画像生成工程と、
前記操作者の位置及び姿勢と前記決定工程において決定された前記コンピュータマネキンの位置及び姿勢との間の差分情報を、前記操作者の位置及び姿勢を基準として前記画像生成工程において生成した画像の上で提示する提示工程とをコンピュータに実行させることを特徴とするプログラム。 A program for causing a computer to execute each step of an image processing method for presenting a computer mannequin to an operator in a virtual space or a mixed reality space,
A detection step of detecting the position and orientation of the operator;
A determination step of determining the position and orientation of the computer mannequin using the position and orientation information detected in the detection step and the physical constraint information set in the virtual space or mixed reality space;
An image generating step for generating an image of the virtual space or mixed reality space based on the viewpoint of the operator;
The difference information between the position and posture of the operator and the position and posture of the computer mannequin determined in the determination step is calculated on the image generated in the image generation step based on the position and posture of the operator. A program for causing a computer to execute the presenting step presented in the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009104353A JP2010257081A (en) | 2009-04-22 | 2009-04-22 | Image procession method and image processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009104353A JP2010257081A (en) | 2009-04-22 | 2009-04-22 | Image procession method and image processing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010257081A true JP2010257081A (en) | 2010-11-11 |
Family
ID=43317944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009104353A Pending JP2010257081A (en) | 2009-04-22 | 2009-04-22 | Image procession method and image processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010257081A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013161662A1 (en) * | 2012-04-23 | 2013-10-31 | 独立行政法人科学技術振興機構 | Motion guide presentation method and system therefor, and motion guide presentation device |
JP2017126302A (en) * | 2016-01-15 | 2017-07-20 | 株式会社meleap | Image display system, control method thereof, image distribution system, and head-mounted display |
JP6253834B1 (en) * | 2017-04-11 | 2017-12-27 | 大豊精機株式会社 | Virtual work display method, virtual work data creation method, and three-dimensional space marking data creation method |
WO2018155233A1 (en) * | 2017-02-23 | 2018-08-30 | ソニー株式会社 | Image processing device, image processing method, and image system |
JP2020046976A (en) * | 2018-09-19 | 2020-03-26 | 株式会社コロプラ | Program, method, and information processing device |
JP2020154963A (en) * | 2019-03-22 | 2020-09-24 | 日産自動車株式会社 | Information processing apparatus and information processing method |
JP2020177347A (en) * | 2019-04-16 | 2020-10-29 | 日産自動車株式会社 | Information processing apparatus and information processing method |
JP2021002390A (en) * | 2020-09-24 | 2021-01-07 | 株式会社コロプラ | Program, method, and information processing apparatus |
JP6933849B1 (en) * | 2020-09-03 | 2021-09-08 | 株式会社Abal | Experience-based interface system and motion experience system |
JP7016438B1 (en) | 2021-03-29 | 2022-02-18 | グリー株式会社 | Information processing systems, information processing methods and computer programs |
-
2009
- 2009-04-22 JP JP2009104353A patent/JP2010257081A/en active Pending
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013161662A1 (en) * | 2012-04-23 | 2013-10-31 | 独立行政法人科学技術振興機構 | Motion guide presentation method and system therefor, and motion guide presentation device |
JPWO2013161662A1 (en) * | 2012-04-23 | 2015-12-24 | 国立研究開発法人科学技術振興機構 | Motion guide presentation method, system thereof, and motion guide presentation device |
US9910488B2 (en) | 2012-04-23 | 2018-03-06 | Japan Science And Technology Agency | Motion guide presentation method and system therefor, and motion guide presentation device |
JP2017126302A (en) * | 2016-01-15 | 2017-07-20 | 株式会社meleap | Image display system, control method thereof, image distribution system, and head-mounted display |
US10558048B2 (en) | 2016-01-15 | 2020-02-11 | Meleap Inc. | Image display system, method for controlling image display system, image distribution system and head-mounted display |
US10969861B2 (en) | 2017-02-23 | 2021-04-06 | Sony Corporation | Image processing device, image processing method, and image system |
WO2018155233A1 (en) * | 2017-02-23 | 2018-08-30 | ソニー株式会社 | Image processing device, image processing method, and image system |
CN110300994B (en) * | 2017-02-23 | 2023-07-04 | 索尼公司 | Image processing apparatus, image processing method, and image system |
CN110300994A (en) * | 2017-02-23 | 2019-10-01 | 索尼公司 | Image processing apparatus, image processing method and picture system |
US20190384382A1 (en) * | 2017-02-23 | 2019-12-19 | Sony Corporation | Image processing device, image processing method, and image system |
JPWO2018155233A1 (en) * | 2017-02-23 | 2020-01-23 | ソニー株式会社 | Image processing apparatus, image processing method, and image system |
EP3588447A4 (en) * | 2017-02-23 | 2020-02-26 | Sony Corporation | Image processing device, image processing method, and image system |
JP6253834B1 (en) * | 2017-04-11 | 2017-12-27 | 大豊精機株式会社 | Virtual work display method, virtual work data creation method, and three-dimensional space marking data creation method |
JP2018181288A (en) * | 2017-04-11 | 2018-11-15 | 大豊精機株式会社 | Virtual work display method, virtual work data creation method, and three-dimensional space layout data creation method |
JP2020046976A (en) * | 2018-09-19 | 2020-03-26 | 株式会社コロプラ | Program, method, and information processing device |
JP7271251B2 (en) | 2019-03-22 | 2023-05-11 | 日産自動車株式会社 | Information processing device and information processing method |
JP2020154963A (en) * | 2019-03-22 | 2020-09-24 | 日産自動車株式会社 | Information processing apparatus and information processing method |
JP2020177347A (en) * | 2019-04-16 | 2020-10-29 | 日産自動車株式会社 | Information processing apparatus and information processing method |
JP7214548B2 (en) | 2019-04-16 | 2023-01-30 | 日産自動車株式会社 | Information processing device and information processing method |
JP6933849B1 (en) * | 2020-09-03 | 2021-09-08 | 株式会社Abal | Experience-based interface system and motion experience system |
WO2022049707A1 (en) * | 2020-09-03 | 2022-03-10 | 株式会社Abal | Somatosensory interface system, and action somatosensation system |
JP2021002390A (en) * | 2020-09-24 | 2021-01-07 | 株式会社コロプラ | Program, method, and information processing apparatus |
JP7016438B1 (en) | 2021-03-29 | 2022-02-18 | グリー株式会社 | Information processing systems, information processing methods and computer programs |
JP2022152443A (en) * | 2021-03-29 | 2022-10-12 | グリー株式会社 | Information processing system, information processing method and computer program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010257081A (en) | Image procession method and image processing system | |
US8217995B2 (en) | Providing a collaborative immersive environment using a spherical camera and motion capture | |
US8615383B2 (en) | Immersive collaborative environment using motion capture, head mounted display, and cave | |
JP5936155B2 (en) | 3D user interface device and 3D operation method | |
CN107656615B (en) | Massively simultaneous remote digital presentation of the world | |
CA2662318C (en) | Immersive collaborative environment using motion capture, head mounted display, and cave | |
JP2022549853A (en) | Individual visibility in shared space | |
US8994729B2 (en) | Method for simulating operation of object and apparatus for the same | |
CN105374251A (en) | Mine virtual reality training system based on immersion type input and output equipment | |
JP2009276996A (en) | Information processing apparatus, and information processing method | |
WO2019087564A1 (en) | Information processing device, information processing method, and program | |
JP2013037454A (en) | Posture determination method, program, device, and system | |
Zaldívar-Colado et al. | A mixed reality for virtual assembly | |
JP2009087161A (en) | Image processor and image processing method | |
JP7129839B2 (en) | TRAINING APPARATUS, TRAINING SYSTEM, TRAINING METHOD, AND PROGRAM | |
JP2010218533A (en) | Display picture design support device and program | |
JP2009048237A (en) | Image processor, and image processing method | |
JP2006018444A (en) | Image processing system and additional information indicating device | |
KR101519589B1 (en) | Electronic learning apparatus and method for controlling contents by hand avatar | |
JP2011008351A (en) | Image processing method and image processing apparatus | |
JP6933850B1 (en) | Virtual space experience system | |
JP4270088B2 (en) | Product evaluation system using virtual human body model | |
JP7413472B1 (en) | Information processing systems and programs | |
JP7412497B1 (en) | information processing system | |
KR102239957B1 (en) | Virtual joint sphere based motion modeling method and device |