JP2005216248A - Shape deformation display device in response to physical contact - Google Patents

Shape deformation display device in response to physical contact Download PDF

Info

Publication number
JP2005216248A
JP2005216248A JP2004025792A JP2004025792A JP2005216248A JP 2005216248 A JP2005216248 A JP 2005216248A JP 2004025792 A JP2004025792 A JP 2004025792A JP 2004025792 A JP2004025792 A JP 2004025792A JP 2005216248 A JP2005216248 A JP 2005216248A
Authority
JP
Japan
Prior art keywords
physical contact
dimensional model
display
pressure
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004025792A
Other languages
Japanese (ja)
Inventor
Tomoya Suzuki
智也 鈴木
Masayuki Arai
政行 新井
Kiyotaka Kato
清敬 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo University of Science
Original Assignee
Tokyo University of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo University of Science filed Critical Tokyo University of Science
Priority to JP2004025792A priority Critical patent/JP2005216248A/en
Publication of JP2005216248A publication Critical patent/JP2005216248A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a shape deformation display device in response to a physical contact in which an object represented on a virtual space changes its shape naturally like a real object in response to a physical contact. <P>SOLUTION: The shape deformation display device in response to the physical contact includes: a three-dimensional model 3 representing a certain object; a three-dimensional model display means 2 for displaying the three-dimensional model 3 on a display 1; a touch panel 8 which is provided in the display 1 for detecting a physical contact; an estimation means 5 for estimating an ambient pressure state from a result of the detection due to the touch panel 8; and a three-dimensional model deformation means 4 for deforming the three-dimensional model 3 according to a result of the estimation obtained by the estimation means 5. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、仮想空間上に表現された物体が物理的接触により現実の物体のように自然に変化するようにした物理的接触に応じた形状変形表示装置に関するものである。   The present invention relates to a shape-deformation display device according to physical contact in which an object expressed in a virtual space naturally changes like a real object by physical contact.

例えば、人間や動物の形をしたロボットを実現する上で、その頭部は顔や髪の毛があり、人間が見たときに違和感のないようなものである必要性がある。   For example, in realizing a robot in the shape of a human being or an animal, its head needs to have a face or a hair so that it does not feel uncomfortable when viewed by a human.

そこで、特許文献１の「コミュニケーションロボット」では、電磁モータによって機械的にゴム皮膜を駆動し、顔の表情を作り出す技術が開示されている。
しかし、機械的に顔の表情を実現する場合、構造が複雑となり、コストがかかることや故障が起きやすいなどの問題点がある。 Therefore, the “communication robot” of Patent Document 1 discloses a technique for mechanically driving a rubber film by an electromagnetic motor to create a facial expression.
However, when a facial expression is mechanically realized, there are problems such as a complicated structure, high cost, and failure.

一方、電子的な表示装置により顔の表情を実現する試みも成されている。
例えば、特許文献２の「表情を有する知的ロボット」では、複数用意された表情のパターンを電子的な表示装置に描画することにより、種々の表情を有するロボットの顔を実現している。
しかし、この方法の場合、上記した機械式の場合と比較して周辺の環境、例えば光、風、或いは物理的接触などに左右されずに顔等が表現されてしまい、違和感のあるものとなる。 On the other hand, attempts have been made to realize facial expressions using an electronic display device.
For example, in “Intelligent robot having facial expression” of Patent Document 2, a face of a robot having various facial expressions is realized by drawing a plurality of prepared facial expression patterns on an electronic display device.
However, in this method, the face is expressed without being influenced by the surrounding environment, for example, light, wind, or physical contact, as compared with the case of the above-described mechanical type, and there is a sense of incongruity. .

このような課題を解決するため、特許文献３の「ロボット」では、電子的なディスプレイと周囲の光或いは風を検出する検出手段を有し、周囲の状況に連動して違和感なく顔の表情が変化するロボットを実現した技術が開示されている。   In order to solve such a problem, the “robot” of Patent Document 3 has an electronic display and detection means for detecting ambient light or wind, so that facial expressions can be expressed without discomfort in conjunction with the surrounding situation. A technique for realizing a changing robot is disclosed.

特開平６−２６１９８２号公報JP-A-6-261982 特開２００１−２１５９４０号公報JP 2001-215940 A 特開２００３−１８７２６７号公報JP 2003-187267 A

この特許文献３に記載された技術のように、三次元コンピュータグラフィクスの技術と外部環境要因を検出する検出手段を利用すれば、環境に連動した人間や動物の顔をリアルに表現し、ディスプレイ上に表示することが可能である。
そして、これをロボットの顔として利用することは、前述の機械式の場合と比較して、安価に且つ故障がすくなくリアルなロボットの顔を実現できることとなる。 Like the technique described in Patent Document 3, if a 3D computer graphics technique and a detection means for detecting external environmental factors are used, a human or animal face linked to the environment can be realistically represented on the display. Can be displayed.
By using this as a robot face, a realistic robot face can be realized at a lower cost and with less failure compared to the case of the mechanical type described above.

ここで、特許文献３に記載された技術においては、外部環境要因を検出する検出手段として、光と風を検出する検出手段のみしか有しておらず、物理的接触による変化、即ち、人の顔に指が触れると、指先から加えられた圧力が皮膚に伝わり、触れた部分の皮膚が凹むと言った変化を表現することはできないものであった。
しかし、このような変化をディスプレイに表示されたロボットの顔においても表現することができれば、より違和感のないロボットの顔を実現することができると共に、スキンシップによる人とロボットのコミュニケーションの可能性も生じる。 Here, the technique described in Patent Document 3 has only detection means for detecting light and wind as detection means for detecting external environmental factors, and changes due to physical contact, that is, human When the finger touches the face, the pressure applied from the fingertip is transmitted to the skin, and it is impossible to express the change that the skin of the touched part is dented.
However, if such changes can be expressed in the robot's face displayed on the display, the robot's face can be realized without any discomfort, and the possibility of human-robot communication through skinship is also possible. Arise.

そこで、本発明が解決しようとする課題は、仮想空間上に表現された物体が物理的接触により現実の物体のように自然にその形状が変化するようにした、物理的接触に応じた形状変形表示装置を提案することにある。   Therefore, the problem to be solved by the present invention is that the shape of the object expressed in the virtual space changes its shape naturally according to physical contact so that the shape naturally changes like a real object by physical contact. It is to propose a display device.

本発明は、上記した課題を解決するため、ある物体を表現した三次元モデルと、前記三次元モデルをディスプレイに表示する三次元モデル表示手段と、前記ディスプレイに設けられた物理的接触を検出する検出手段と、前記検出手段の検出結果から周囲の圧力状態を推定する推定手段と、前記推定手段の推定結果により前記三次元モデルを変形する三次元モデル変形手段とを有する物理的接触に応じた形状変形表示装置とした。   In order to solve the above-described problem, the present invention detects a three-dimensional model representing a certain object, three-dimensional model display means for displaying the three-dimensional model on a display, and physical contact provided on the display. According to physical contact, comprising: detecting means; estimating means for estimating a surrounding pressure state from the detection result of the detecting means; and three-dimensional model deforming means for deforming the three-dimensional model based on the estimation result of the estimating means. A shape deformation display device was obtained.

上記した本発明によれば、ある物体、例えば人間や動物の頭部を表現した三次元モデルを有し、それをディスプレイに表示する三次元モデル表示手段と、ディスプレイに設けられた物理的接触により加えられた圧力の大きさ、及びその位置等を検出する検出手段、例えばタッチパネルを有し、前記タッチパネルの検出結果から推定手段において周囲の圧力状態、例えば圧力のおよぶ範囲、及びその範囲の圧力の大きさ等を推定し、該推定手段の推定結果により三次元モデル変形手段が前記人間や動物の頭部を表現した三次元モデルを変形するため、ディスプレイに人が触れると、ディスプレイに表示された人間や動物の頭部の形状がその接触により変化することとなり、物理的接触に対して違和感なく変形するロボットの顔等を安価に実現することができることとなる。   According to the present invention described above, a three-dimensional model representing a certain object, for example, the head of a human being or an animal, is displayed on the display, and the physical contact provided on the display. A detecting means for detecting the magnitude of the applied pressure, its position, and the like, for example, a touch panel, and the estimation means from the detection result of the touch panel, the surrounding pressure state, for example, the range of the pressure, The size and the like are estimated, and the 3D model deforming means deforms the 3D model representing the head of the human being or the animal based on the estimation result of the estimating means. The shape of the head of a human being or an animal changes due to the contact, and a robot face that deforms without physical discomfort with physical contact can be realized at low cost. So that the can.

以下、上記した本発明に係る物理的接触に応じた形状変形表示装置の実施の形態を、図面などを示して詳細に説明する。   Hereinafter, embodiments of the shape deformation display device according to the physical contact according to the present invention will be described in detail with reference to the drawings.

図１は、本発明に係る物理的接触に応じた形状変形表示装置のシステム構成の一例を示した図である。
この図に示した装置は、ディスプレイ１と、このディスプレイ１に人間や動物の頭部等の三次元モデルを表示する三次元モデル表示部２と、この三次元モデル表示部２に与えられるデータとしての三次元モデル３を備えている。また、物理的接触を検出するタッチパネル８と、このタッチパネル８により検出された圧力データ６及び位置座標データ７と、この圧力データ６及び位置座標データ７より物理的接触による圧力のおよぶ範囲、及びその範囲の圧力の大きさを推定する推定手段５と、前記推定手段５による推定結果に基づき上記データとしての三次元モデル３に変形を加える三次元モデル変形手段４を更に備えている。
なお、上記三次元モデル表示部２、三次元モデル変形手段４、推定手段５は計算機内部の処理部であり、上記三次元モデル３、圧力データ６、位置座標データ７は計算機内部のデータである。 FIG. 1 is a diagram showing an example of a system configuration of a shape deformation display device according to physical contact according to the present invention.
The apparatus shown in this figure includes a display 1, a three-dimensional model display unit 2 that displays a three-dimensional model such as a human or animal head on the display 1, and data given to the three-dimensional model display unit 2. The three-dimensional model 3 is provided. Further, the touch panel 8 for detecting physical contact, the pressure data 6 and the position coordinate data 7 detected by the touch panel 8, the range of the pressure due to the physical contact from the pressure data 6 and the position coordinate data 7, and its Estimating means 5 for estimating the pressure in the range and three-dimensional model deforming means 4 for deforming the three-dimensional model 3 as the data based on the estimation result by the estimating means 5 are further provided.
The three-dimensional model display unit 2, the three-dimensional model deformation unit 4, and the estimation unit 5 are processing units inside the computer, and the three-dimensional model 3, the pressure data 6, and the position coordinate data 7 are data inside the computer. .

図２は、本発明に係る物理的接触に応じた形状変形表示装置の概観の一例を示したものであって、ディスプレイ１に上記物理的接触の検出手段であるタッチパネル８が配置されたタッチパネル式液晶ディスプレイが使用され、ディスプレイ１に人間の頭部を表現した三次元モデル３が表示されると共に、ディスプレイ１に物理的接触をした際、その物理的接触により加えられた圧力の大きさ、及びその位置をタッチパネル８によって検出できるようになっている。
そして、タッチパネル８によって検出された圧力データ５と位置座標データ６から、推定手段５において物理的接触による圧力のおよぶ範囲、及びその範囲の圧力の大きさが推定され、該推定手段５の推定結果に基づき、上記三次元モデル変形手段４は三次元モデル３を変形させ、そして、変形された三次元モデル３が三次元モデル表示部２によりディスプレイ１に表示され、ディスプレイ１上に表示された人間の頭部が接触により変形したように表示される。
なお、上記ディスプレイ１は、現状では長方形のものしか入手できないが、人間や動物の頭部の形状に近いディスプレイを使用することもできる。 FIG. 2 shows an example of the appearance of the shape deformation display device according to the physical contact according to the present invention, and is a touch panel type in which a touch panel 8 serving as the physical contact detecting means is arranged on the display 1. A liquid crystal display is used, and a three-dimensional model 3 representing a human head is displayed on the display 1, and when the physical contact is made to the display 1, the magnitude of the pressure applied by the physical contact, and The position can be detected by the touch panel 8.
Then, from the pressure data 5 detected by the touch panel 8 and the position coordinate data 6, the estimation unit 5 estimates the range of pressure due to physical contact and the magnitude of the pressure in the range, and the estimation result of the estimation unit 5 The three-dimensional model deforming means 4 deforms the three-dimensional model 3, the deformed three-dimensional model 3 is displayed on the display 1 by the three-dimensional model display unit 2, and the human displayed on the display 1 is displayed. Is displayed as if its head was deformed by contact.
In addition, although the said display 1 can obtain only a rectangular thing at present, the display close | similar to the shape of the head of a human or an animal can also be used.

図３は、本発明に係る物理的接触に応じた形状変形表示装置の動作の一例を示したフローチャートである。
このフローチャートに示したように、まず、初期化を行い、タッチパネル８のセットや仮想空間やその物体の初期値のセットを行う〔Ｐ１〕。
次に、タッチパネル８から圧力の加わった座標値（ｘ，ｙ）と、その圧力の大きさ（ｐ）を得る〔Ｐ２〕。
そして、タッチパネル８から得られた座標値（ｘ，ｙ）と圧力の大きさ（ｐ）から、推定手段５において周囲の圧力状態を推定する〔Ｐ３〕。
続いて、その推定された圧力情報をもとに、三次元モデル変形手段４によって三次元モデル３を変形する〔Ｐ４〕。
最後に、変形後の三次元モデル３を三次元モデル表示部２によりディスプレイ１上に表示する〔Ｐ５〕。
以上の〔Ｐ２〕から〔Ｐ５〕の処理を繰り返すことにより、ディスプレイ１上に表示された物体は物理的接触に応じて変化させることができる。例えば、ディスプレイ１上に表示されたロボットの頬を軽く押せば、ロボットの頬も実際に押されたように凹んで表示され、ディスプレイ１から手を離せば、もとの形状に戻る。 FIG. 3 is a flowchart showing an example of the operation of the shape deformation display device according to physical contact according to the present invention.
As shown in this flowchart, first, initialization is performed, and the touch panel 8 is set, the virtual space, and initial values of the object are set [P1].
Next, the coordinate value (x, y) to which pressure is applied and the magnitude (p) of the pressure are obtained from the touch panel 8 [P2].
And the surrounding pressure state is estimated in the estimation means 5 from the coordinate value (x, y) obtained from the touch panel 8, and the magnitude | size (p) of a pressure [P3].
Subsequently, based on the estimated pressure information, the three-dimensional model deforming means 4 deforms the three-dimensional model 3 [P4].
Finally, the deformed three-dimensional model 3 is displayed on the display 1 by the three-dimensional model display unit 2 [P5].
By repeating the processes [P2] to [P5], the object displayed on the display 1 can be changed according to physical contact. For example, if the cheek of the robot displayed on the display 1 is lightly pressed, the cheek of the robot is displayed as being depressed, and when the hand is released from the display 1, the original shape is restored.

図４は、上記図３の推定部分〔Ｐ３〕の動作、即ち、タッチパネル８から得られた座標値（ｘ，ｙ）と圧力の大きさ（ｐ）から、周囲の圧力状態を推定する動作の一例を詳細に示したフローチャートである。
この実施の形態では、物理的接触の検出手段としてタッチパネル８を使用したため、検出される座標系がワールド座標系である。したがって、まず検出された座標値（ｘ，ｙ）から、以下の式を用いて仮想空間上の座標値（ｘ’，ｙ’，ｚ’）に変換する〔Ｑ１〕。

ｘ’＝ｘ／ｗ ｙ’＝ｙ／ｈ

ここで、図５に示すようにｗは表示される仮想空間の幅であり、ｈは高さである。また、各軸の方向は、図５のとおりである。また本実施の形態では、OpenGLを使用したため、仮想空間上のｚ軸座標値ｚ’は、タッチパネル８から検出された座標値（ｘ，ｙ）より、OpenGLに含まれる関数を使用して求める。
なお、図５は、本実施の形態に用いた仮想空間上の空間幅ｗとその高さｈ、及び三次元モデル３の表示例を示した図である。 4 shows the operation of the estimation part [P3] of FIG. 3, that is, the operation of estimating the surrounding pressure state from the coordinate values (x, y) obtained from the touch panel 8 and the pressure level (p). It is the flowchart which showed an example in detail.
In this embodiment, since the touch panel 8 is used as a means for detecting physical contact, the detected coordinate system is the world coordinate system. Therefore, first, the detected coordinate value (x, y) is converted into the coordinate value (x ′, y ′, z ′) in the virtual space using the following equation [Q1].

x ′ = x / w y ′ = y / h

Here, as shown in FIG. 5, w is the width of the displayed virtual space, and h is the height. The directions of the axes are as shown in FIG. In this embodiment, since OpenGL is used, the z-axis coordinate value z ′ in the virtual space is obtained from the coordinate value (x, y) detected from the touch panel 8 using a function included in OpenGL.
FIG. 5 is a diagram showing a display example of the space width w and its height h in the virtual space and the three-dimensional model 3 used in the present embodiment.

次に、タッチパネル８は、ある一点での圧力しか検出できない。そこで、図６のように検出された圧力の大きさ（ｐ）をもとに、圧力の検出された箇所を中心として圧力の大きさに比例した範囲に力が加わるものとし、圧力のおよぶ範囲を推定する〔Ｑ２〕。
即ち、人差し指の半径を５ｍｍと仮定し、最大で圧力の及ぶ範囲を半径１５ｍｍとし、また、タッチパネル８により検出できる圧力の最大値をｐmax として、力のおよぶ範囲ｒを、
ｒ＝（ｐ／ｐmax ）×１５

のようにして圧力のおよぶ範囲を推定する。 Next, the touch panel 8 can only detect the pressure at a certain point. Therefore, based on the detected pressure level (p) as shown in FIG. 6, a force is applied to a range proportional to the pressure level centered on the detected pressure range. [Q2].
That is, assuming that the radius of the index finger is 5 mm, the maximum pressure range is 15 mm, the maximum pressure that can be detected by the touch panel 8 is p max , and the force range r is
r = (p / p max ) × 15

Estimate the pressure range as follows.

続いて、圧力のおよぶ範囲の三次元モデルを構成している各制御点に対して、検出された圧力の大きさ（ｐ）から、中心からの距離に反比例した圧力が各点に加わるものとし、圧力の大きさを各々制御点について推定することにより決定する〔Ｑ３〕。
ここで、圧力の加わるｉ番目の制御点の座標値を（ｘ' i，ｙ' i，ｚ'i）とすると、この制御点に加わる圧力の大きさ（ｐi）は以下のようにして求める。

ｐi＝［〔（x'i−x'）2＋（y'i−y'）2＋（z'i−z'）2〕1/2／ｒ］×ｐ
Subsequently, for each control point constituting the three-dimensional model of the range of pressure, a pressure inversely proportional to the distance from the center is applied to each point from the detected pressure level (p). The pressure is determined by estimating the magnitude of each control point [Q3].
Here, assuming that the coordinate value of the i-th control point to which pressure is applied is (x ′ i , y ′ i , z ′ i ), the magnitude (p i ) of pressure applied to this control point is as follows. Ask.

p i = [[(x ′ i −x ′) 2 + (y ′ i −y ′) 2 + (z ′ i −z ′) 2 ] 1/2 / r] × p

図６は、本実施の形態に用いた三次元モデル３と、その一部を拡大し、顔表示のためのポリゴン面を示したものである。ここで、三次元モデル３は、すべて三角形のポリゴンで構成され、ポリゴンを描いている三角形の各点を、そのまま形状変化のための制御点とした。タッチパネル８により得られた圧力を、図のようにして三次元モデル３におよぶ範囲を線形的に定めている。なお、本実証システムでは、一般的なバネモデルを使用した。
まず、頂点ｉに対する変数及び定数を、

力：ｆｉ、 加速度：ａｉ、 速度：ｖｉ、 頂点の質量：ｍｉ
頂点のｚ軸方向の位置：ｚｉ、 頂点のｚ軸方向の元の位置：ｚ０ｉ

として定義した。
これらを使用して、頂点ｉについて運動方程式を立てると、

ｆｉ＝ｍｉ×ａｉ

となるので、加速度ａｉ＝ｆｉ／ｍｉが求まる。
また、この時の頂点ｉの速度は、

ｖｉ＝ａｉ×Δｔ

となるので、さらに、Δｔ秒後の頂点の位置は、

ｚｉ＝ｖｉ×Δｔ＋ｚ０ｉ

となるので、これをΔｔごとに繰り返すことによって、形状変形を実現している。 FIG. 6 shows the three-dimensional model 3 used in the present embodiment and a part of the three-dimensional model 3 enlarged to show a polygonal surface for face display. Here, the three-dimensional model 3 is composed entirely of triangular polygons, and each point of the triangle depicting the polygon is used as a control point for shape change. The range over which the pressure obtained by the touch panel 8 reaches the three-dimensional model 3 is linearly determined as shown in the figure. In this demonstration system, a general spring model was used.
First, the variables and constants for vertex i are

Force: f i , acceleration: a i , velocity: v i , mass of apex: m i
Vertex z-axis position: z i , Vertex z-axis original position: z 0i

Defined as
Using these, the equation of motion is established for vertex i,

f i = m i × a i

Therefore, acceleration a i = f i / m i is obtained.
The speed of vertex i at this time is

v i = a i × Δt

Therefore, the position of the vertex after Δt seconds is

z i = v i × Δt + z 0i

Therefore, the shape deformation is realized by repeating this every Δt.

また、ディスプレイ１に表示された三次元モデル３に接触した際、制御点に当たらない
こともある。
この場合は、接触した際の座標からその点を含むポリゴン面を割り出し、その点を制御
点群に一時的に自動で追加し、上記の物理モデルを適用する。
これにより、三次元モデルを構成して制御点が少量でも、変形の際に滑らかに表示でき
、動作が軽くなるメリットがある。 Further, when the 3D model 3 displayed on the display 1 is touched, the control point may not be hit.
In this case, the polygonal surface including the point is determined from the coordinates at the time of contact, the point is automatically added temporarily to the control point group, and the above physical model is applied.
Thus, even if a three-dimensional model is configured and a small number of control points are provided, it is possible to display smoothly during deformation, and there is an advantage that the operation becomes light.

図７は、三次元モデル３に接触した際、制御点に当たらない場合の制御点自働生成の様
子を示した図である。
図のようにして、指が接触した際の周囲４点の制御点をそれぞれ（ｘ”ｉ，ｙ”ｉ，ｚ
”ｉ）〜（ｘ”ｉ＋１，ｙ”ｉ＋１，ｚ”ｉ）とおく。なお、ここでは、説明を簡略化するために奥ゆきであるｚ軸座標はすべて同じとして扱った。
次に、タッチパネル８により検出された座標値（ｘ，ｙ）から、仮想空間にあわせて変
換された座標値（ｘ’，ｙ’，ｚ’）を計算機内部の形状データの配列に、制御点（ｘ”
ｉ，ｙ”ｉ，ｚ”ｉ）〜（ｘ”ｉ＋１，ｙ”ｉ＋１，ｚ”ｉ）の間にくるように格納し、新しい形状データとして更新する。 FIG. 7 is a diagram showing a state of automatic generation of control points when the control points are not hit when contacting the three-dimensional model 3.
As shown in the figure, the control points at the four surrounding points when the finger touches are respectively (x ″ i , y ″ i , z).
" I ) to (x" i + 1 , y " i + 1 , z" i ). Here, in order to simplify the explanation, all the z-axis coordinates that are in the back are treated as the same.
Next, the coordinate values (x ′, y ′, z ′) converted in accordance with the virtual space from the coordinate values (x, y) detected by the touch panel 8 are stored in the shape data array inside the computer as control points. (X "
i , y ″ i , z ″ i ) to (x ″ i + 1 , y ″ i + 1 , z ″ i ) are stored and updated as new shape data.

以上、本発明に係る物理的接触に応じた形状変形表示装置の実施の形態を説明したが、本発明は、何ら既述の実施の形態に限定されるものではなく、特許請求の範囲に記載した本発明の技術的思想の範囲内において、種々の変形及び変更が可能であることは当然である。   As mentioned above, although the embodiment of the shape deformation display device according to the physical contact according to the present invention has been described, the present invention is not limited to the embodiment described above, and is described in the claims. It goes without saying that various modifications and changes are possible within the scope of the technical idea of the present invention.

本発明に係る物理的接触に応じた形状変形表示装置のシステム構成の一例を示した図である。It is the figure which showed an example of the system configuration | structure of the shape deformation display apparatus according to the physical contact which concerns on this invention. 本発明に係る物理的接触に応じた形状変形表示装置の概観の一例を示した図である。It is the figure which showed an example of the general view of the shape deformation display apparatus according to the physical contact which concerns on this invention. 本発明に係る物理的接触に応じた形状変形表示装置の動作の一例を示したフローチャートである。It is the flowchart which showed an example of operation | movement of the shape deformation display apparatus according to the physical contact which concerns on this invention. 本発明に係る物理的接触に応じた形状変形表示装置の推定部分の動作の一例を詳細に示したフローチャートである。It is the flowchart which showed in detail the example of operation | movement of the estimation part of the shape deformation display apparatus according to the physical contact which concerns on this invention. タッチパネルにより得られた座標値から仮想空間上の座標値に変換する際に用いる座標系と、仮想空間の幅ｗと高さｈを説明するための図である。It is a figure for demonstrating the coordinate system used when converting into the coordinate value in virtual space from the coordinate value obtained by the touchscreen, and the width w and height h of virtual space. 三次元モデルの例と、その制御点の拡大図、及び圧力のおよぶ範囲を説明するための図である。It is a figure for demonstrating the example of a three-dimensional model, the enlarged view of the control point, and the range which a pressure reaches. 形状データにおける制御点の間に接触した際の制御点自動生成方法を説明するための図である。It is a figure for demonstrating the control point automatic generation method at the time of contacting between the control points in shape data.

符号の説明Explanation of symbols

１ ディスプレイ
２ 三次元モデル表示部
３ 三次元モデル
４ 三次元モデル変形手段
５ 推定手段
６ 圧力データ
７ 位置座標データ
８ タッチパネル（検出手段）
DESCRIPTION OF SYMBOLS 1 Display 2 3D model display part 3 3D model 4 3D model deformation | transformation means 5 Estimation means 6 Pressure data 7 Position coordinate data 8 Touch panel (detection means)

Claims (5)

ある物体を表現した三次元モデルと、前記三次元モデルをディスプレイに表示する三次元モデル表示手段と、前記ディスプレイに設けられた物理的接触を検出する検出手段と、前記検出手段の検出結果から周囲の圧力状態を推定する推定手段と、前記推定手段の推定結果により前記三次元モデルを変形する三次元モデル変形手段とを有することを特徴とする、物理的接触に応じた形状変形表示装置。   A three-dimensional model representing an object; a three-dimensional model display means for displaying the three-dimensional model on a display; a detection means for detecting physical contact provided on the display; and a detection result from the detection means A shape deformation display device according to physical contact, characterized by comprising estimation means for estimating the pressure state of the first and third three-dimensional model deformation means for deforming the three-dimensional model according to an estimation result of the estimation means. 上記検出手段がタッチパネルであることを特徴とする、請求項１に記載の物理的接触に応じた形状変形表示装置。   The shape deformation display device according to physical contact according to claim 1, wherein the detection means is a touch panel. 上記検出手段が圧力が加わった位置、及びその圧力の大きさを検出することを特徴とする、請求項１又は２に記載の物理的接触に応じた形状変形表示装置。   The shape deformation display device according to physical contact according to claim 1 or 2, wherein the detecting means detects a position where pressure is applied and the magnitude of the pressure. 上記推定手段が上記検出手段の検出結果から圧力のおよぶ範囲、及びその範囲の圧力の大きさを推定することを特徴とする、請求項１〜３のいずれかに記載の物理的接触に応じた形状変形表示装置。   The said estimation means estimates the range which a pressure covers from the detection result of the said detection means, and the magnitude | size of the pressure of the range, According to the physical contact in any one of Claims 1-3 characterized by the above-mentioned. Shape deformation display device. 上記三次元モデルが人間や動物の頭部を表現したものであり、ディスプレイに表示された該人間や動物の頭部の形状が、外界からの物理的接触によって変化することを特徴とする、請求項１〜４のいずれかに記載の物理的接触に応じた形状変形表示装置。
The three-dimensional model represents a human or animal head, and the shape of the human or animal head displayed on the display changes due to physical contact from the outside. Item 5. A shape deformation display device according to physical contact according to any one of items 1 to 4.
JP2004025792A 2004-02-02 2004-02-02 Shape deformation display device in response to physical contact Pending JP2005216248A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004025792A JP2005216248A (en) 2004-02-02 2004-02-02 Shape deformation display device in response to physical contact

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004025792A JP2005216248A (en) 2004-02-02 2004-02-02 Shape deformation display device in response to physical contact

Publications (1)

Publication Number Publication Date
JP2005216248A true JP2005216248A (en) 2005-08-11

Family

ID=34908067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004025792A Pending JP2005216248A (en) 2004-02-02 2004-02-02 Shape deformation display device in response to physical contact

Country Status (1)

Country Link
JP (1) JP2005216248A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013058136A (en) * 2011-09-09 2013-03-28 Kddi Corp User interface device allowing target on screen to be manipulated with pressing force, target manipulation method, and program
DE102014106960A1 (en) * 2014-05-16 2015-11-19 Faindu Gmbh Method for displaying a virtual interaction on at least one screen and input device, system and method for a virtual application by means of a computing unit
JP2019535064A (en) * 2016-09-07 2019-12-05 イ, チョル ウLEE, Chul Woo Multidimensional reaction type image generation apparatus, method and program, and multidimensional reaction type image reproduction method and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013058136A (en) * 2011-09-09 2013-03-28 Kddi Corp User interface device allowing target on screen to be manipulated with pressing force, target manipulation method, and program
DE102014106960A1 (en) * 2014-05-16 2015-11-19 Faindu Gmbh Method for displaying a virtual interaction on at least one screen and input device, system and method for a virtual application by means of a computing unit
JP2019535064A (en) * 2016-09-07 2019-12-05 イ, チョル ウLEE, Chul Woo Multidimensional reaction type image generation apparatus, method and program, and multidimensional reaction type image reproduction method and program
KR20200001574A (en) * 2016-09-07 2020-01-06 이철우 Device, method and program for making multi-dimensional reactive video, and method and program for playing multi-dimensional reactive video

Similar Documents

Publication Publication Date Title
Burdea Haptics issues in virtual environments
KR100682901B1 (en) Apparatus and method for providing fingertip haptics of visual information using electro-active polymer in a image displaying device
US8350843B2 (en) Virtual hand: a new 3-D haptic interface and system for virtual environments
JP2019050003A (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
US9552673B2 (en) Grasping virtual objects in augmented reality
US8502795B2 (en) Physics simulation-based interaction for surface computing
US10976819B2 (en) Haptic feedback for non-touch surface interaction
JP6062621B2 (en) Gesture recognition based on physical model
KR20140095432A (en) Friction modulation for three dimensional relief in a haptic device
JP2009276996A (en) Information processing apparatus, and information processing method
Borst et al. Evaluation of a haptic mixed reality system for interactions with a virtual control panel
JP2019519856A (en) Multimodal haptic effect
KR20090062461A (en) Grasping interaction using 6dof haptic device and method thereof
JP3722994B2 (en) Object contact feeling simulation device
JP2005216248A (en) Shape deformation display device in response to physical contact
Hollerbach et al. The convergence of robotics, vision, and computer graphics for user interaction
WO2014119382A1 (en) Tactile force presentation device, information terminal, tactile force presentation method, and computer-readable recording medium
KR100670792B1 (en) Virtual manufacturing system using hand interface and method thereof
JP3722993B2 (en) Hair texture contact simulation device
JP2000047563A (en) Holding action simulation device for object
JPH11272157A (en) Gripping operation simulation device for body
JP2000047565A (en) Touch simulation device for object
KR101605740B1 (en) Method for recognizing personalized gestures of smartphone users and Game thereof
Rosenberg et al. Virtual hand representations to support natural interaction in immersive environments
JP2021167864A (en) Learning data generation device and simulator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091110