JP2003281672A - 形状情報伝達システム - Google Patents

Abstract

(57)【要約】 【課題】 立体的な物体の形状を異なる場所で三次元画
像で表示して容易に認識可能とし、異なる場所から前記
物体上の任意の点を指し示すことが出来る形状情報伝達
装置を提供することを目的とする。 【解決手段】 作業者側に、第１コンピュータ１０１
と、第１コンピュータ１０１に接続された投光表示装置
１０２、撮影装置１０３、弾力測定装置１０４、温度測
定装置１０５を備え、物体３０３の三次元形状を計測
し、第１コンピュータ１０１を、ネットワークを介して
第2コンピュータ２０１に接続し、指示者側に、第2コン
ピュータ２０１と、第2コンピュータ２０１に接続され
た画像表示装置２０２、操作装置２０３を備え、画像表
示装置２０２に物体の画像３０４を三次元で表示し、操
作装置２０３の操作に応じてポイント指示画像３０６、
ポイント指示軌跡３０８を表示するようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体の三次元形状
を異なる場所に表示し、さらに、表示された三次元形状
に基づき異なる場所にある当該物体の任意の部位を指し
示すことを可能とするシステムに関するものである。

【０００２】

【従来の技術】従来、遠隔地との対話を容易にするた
め、画像情報を相手に送信し、対話者は画像を見ながら
対話することで、意思の疎通を容易にする通信対話シス
テムが知られている。

【０００３】このようなシステムの一例として、画像を
含む患者情報を伝送し、遠隔地から診断、指示などの医
療行為及び医療に関連した行為を行う遠隔医療システム
がある。このような遠隔医療システムは、患者を撮影し
た画像や検査装置の表示等を遠隔地の医師に送り、医師
がその画像等を見ながら患者側にいる検査者等と会話
し、また検査者に音声で診断のための指示を与えること
を可能としている。

【０００４】

【発明が解決しようとする課題】ところで、超音波診断
装置による検査を行う場合等、患者の体の特定の位置に
正確に超音波プローブを接触させる必要がある。そのた
め、医師は、超音波プローブの接触位置を音声で正確に
検査者に伝える必要があるが、患者を撮影した映像が２
次元映像であるため患者の体の凹凸や、超音波プローブ
の接触状態等を確認することが困難であり、また、音声
のみでは検査者に対して超音波プローブの接触位置を、
正確に伝えることができない。

【０００５】このように、従来の通信対話システムで
は、通信を介して遠隔地の相手に物体の三次元形状を認
識容易に提示することが困難であり、さらに、遠隔地か
ら通信を介してその物体の特定の部位を指し示すことも
困難である。

【０００６】本発明は、上記事情に鑑みてなされたもの
で、立体的な物体の形状を異なる場所で三次元画像で表
示して容易に認識可能とし、さらに、前記三次元画像上
の位置を指し示すことによって、異なる場所にある物体
上に、前記指し示めされた位置を表示することが可能な
形状情報伝達システムを提供することを目的とする。

【０００７】

【課題を解決するための手段】請求項１の発明は、所定
の通信路を介して相互に通信可能に接続された第１及び
第２の情報処理装置を備え、前記第１の情報処理装置
は、被測定対象である物体の三次元形状を計測して前記
物体の三次元形状を表わす三次元形状データを取得し、
前記三次元形状データを前記第２の情報処理装置へ送信
する三次元形状取得手段を備え、前記第２の情報処理装
置は、ユーザの操作に応じて三次元方向に移動可能な可
動部を有し、前記可動部の位置を検出する操作手段と、
前記三次元形状データを用いて前記物体の画像を三次元
的に表示するとともに、前記物体上の所定ポイントを指
示するためのポイント入力画像を前記可動部の位置に応
じて前記物体の画像上に表示する三次元画像表示手段
と、前記操作手段により検出された可動部の位置の変化
に応じて前記ポイント入力画像の表示位置を移動させる
とともに、前記ポイント入力画像の指し示す位置を表わ
すポイント位置データを生成し、生成したポイント位置
データを前記第１の情報処理装置へ送信するポイント位
置生成手段とを備え、前記第１の情報処理装置は、前記
ポイント位置データに応じて前記物体上にポイント指示
画像を表示させるポイント指示画像表示手段をさらに備
えることを特徴としている。

【０００８】請求項１に記載の発明によれば、第１及び
第２の情報処理装置が、所定の通信路を介して相互に通
信可能に接続され、前記第１の情報処理装置では、前記
三次元形状取得手段によって、被測定対象である物体の
三次元形状が計測されて前記物体の三次元形状を表わす
三次元形状データが取得される。そして、前記三次元形
状データは、前記第２の情報処理装置へ送信される。

【０００９】また、前記第２の情報処理装置では、前記
三次元画像表示手段によって、前記物体の画像が前記三
次元形状データから三次元的に表示される。また、前記
操作手段によって、ユーザの操作に応じて三次元方向に
移動する前記可動部の位置が検出され、前記ポイント入
力画像が前記可動部の位置に応じて前記物体の画像上に
表示される。この場合、ユーザーは、前記可動部を操作
することにより、前記物体の画像の一点を指し示すこと
が可能になる。

【００１０】また、前記ポイント位置生成手段によっ
て、前記ポイント入力画像の表示位置が、前記操作手段
により検出された可動部の位置の変化に応じて移動され
るとともに、前記ポイント位置データが生成され、前記
ポイント位置データは、前記第１の情報処理装置へ送信
される。また、前記第１の情報処理装置では、ポイント
指示画像表示手段によって、ポイント指示画像が、前記
ポイント位置データに応じて前記物体上に表示される。
この場合、前記可動部を操作するユーザーによって、前
記物体の画像の一点が前記ポイント入力画像によって指
し示されることにより、前記ポイント入力画像によって
指し示された点に対応する前記物体上の位置を指し示す
ように、ポイント指示画像が表示される。

【００１１】請求項２の発明は、請求項１記載の形状情
報伝達システムにおいて、前記三次元画像表示手段は、
前記ポイント入力画像の指し示す位置をトレースしてな
るポイント入力軌跡を前記物体の画像とともに表示さ
せ、前記ポイント指示画像表示手段は、前記ポイント指
示画像の移動軌跡を前記物体上に表示することを特徴と
している。

【００１２】請求項２に記載の発明によれば、前記ポイ
ント入力画像の指し示す位置は、前記三次元画像表示手
段によってトレースされ、ポイント入力軌跡として前記
物体の画像とともに表示される。この場合、ユーザーが
前記可動部を操作すると、前記物体の画像の上に線を描
くように、ポイント入力軌跡が表示される。また、前記
ポイント指示画像の移動軌跡は、前記ポイント指示画像
表示手段によって、前記物体上に表示される。この場
合、ユーザーが前記可動部を操作すると、前記物体の上
に線を描くように、前記ポイント指示画像の移動軌跡が
表示される。

【００１３】請求項３の発明は、請求項１又は２記載の
形状情報伝達システムにおいて、前記第１の情報処理装
置は、前記物体の表面の質感を計測して質感を表す表面
テクスチャデータを生成し、前記表面テクスチャデータ
を前記第２の情報処理装置へ送信する表面テクスチャデ
ータ生成手段をさらに備え、前記三次元画像表示手段
は、前記表面テクスチャデータを用いて前記物体の質感
を表示することを特徴としている。

【００１４】請求項３に記載の発明によれば、前記第１
の情報処理装置では、表面テクスチャデータ生成手段に
よって、前記物体の表面の質感が計測され、前記質感
は、表面テクスチャデータで表わされ、前記表面テクス
チャデータは、前記第２の情報処理装置へ送信される。
また、前記三次元画像表示手段によって、前記物体の質
感は、前記表面テクスチャデータを用いて表示される。
この場合、前記物体の画像には、前記物体表面の質感が
表示される。

【００１５】請求項４の発明は、請求項１〜３のいずれ
かに記載の形状情報伝達システムにおいて、前記第２の
情報処理装置は、前記ポイント入力画像の指し示す位置
が前記物体の表面上に位置する場合、前記可動部の操作
に対して所定の抵抗力を発生させるように前記可動部を
制御する操作部制御手段をさらに備えることを特徴とし
ている。

【００１６】請求項４に記載の発明によれば、前記第２
の情報処理装置では、前記ポイント入力画像の指し示す
位置が前記物体の表面上に位置する場合、前記可動部
は、操作部制御手段によって、前記可動部の操作に対し
て所定の抵抗力を発生させられる。この場合、ユーザー
は前記可動部の操作に抵抗を受けるので、前記物体の画
像を、前記ポイント入力画像で触れたように感じること
ができる。

【００１７】請求項５の発明は、請求項４記載の形状情
報伝達システムにおいて、前記第１の情報処理装置は、
前記物体の少なくとも一点に対応した弾力特性を測定し
て弾力特性データを生成し、前記弾力特性データを前記
第２の情報処理装置へ送信する弾力測定手段をさらに備
え、前記操作部制御手段は、前記弾力特性データに応じ
て前記抵抗力を生じさせるように前記可動部を制御する
ことを特徴としている。

【００１８】請求項５に記載の発明によれば、前記第１
の情報処理装置では、弾力測定手段によって、前記物体
の少なくとも一点に対応した弾力特性が測定され、弾力
特性データが生成され、前記弾力特性データが前記第２
の情報処理装置へ送信される。また、前記操作部制御手
段によって、前記可動部は、前記弾力特性データに応じ
た前記抵抗力を生じさせられる。

【００１９】例えば、前記ポイント入力画像の指し示す
位置が前記物体の表面上に位置する場合、ユーザーは前
記可動部の操作に前記物体の弾力特性に対応した抵抗を
受けるので、前記物体の画像を、前記ポイント入力画像
で触れたように感じることができると共に、前記物体の
弾力を感じることができる。

【００２０】請求項６の発明は、請求項１〜５のいずれ
かに記載の形状情報伝達システムにおいて、前記第１の
情報処理装置は、前記物体の少なくとも一点に対応した
物理的な特性を測定して物理特性データを生成し、前記
物理特性データを前記第２の情報処理装置へ送信する特
性測定手段をさらに備え、前記三次元画像表示手段は、
さらに前記物理特性データを視識可能に表示することを
特徴としている。

【００２１】請求項６に記載の発明によれば、前記第１
の情報処理装置では、特性測定手段によって前記物体の
少なくとも一点に対応した物理的な特性が測定され、物
理特性データが生成され、前記物理特性データが前記第
２の情報処理装置へ送信される。また、前記三次元画像
表示手段によって、前記物理特性データは、視識可能に
表示される。この場合、前記物体の少なくとも一点に対
応した物理的な特性が、前記物体の画像から認識可能に
なる。

【００２２】請求項７の発明は、請求項１〜６のいずれ
かに記載の形状情報伝達システムにおいて、前記第１の
情報処理装置は、所定のパターンで光を前記物体に投光
させる投光手段をさらに備え、前記三次元形状取得手段
は、前記所定のパターンで光が投光された物体を動画で
撮影して動画撮影データを生成する撮影手段と、前記撮
影手段により撮影された前記物体の動画撮影データから
前記三次元形状データを生成する三次元形状データ生成
手段とを含み、前記第１の情報処理装置は、前記動画撮
影データ及び前記三次元形状データを前記第２の情報処
理装置へ送信する動画像送信手段をさらに備え、前記三
次元画像表示手段は、前記動画撮影データを用いて前記
物体を動画で表示することを特徴としている。

【００２３】請求項７に記載の発明によれば、前記第１
の情報処理装置では、投光手段によって、光が所定のパ
ターンで前記物体に投光される。また、前記三次元形状
取得手段では、前記所定のパターンで光が投光された物
体が、撮影手段によって、動画で撮影されて動画撮影デ
ータが生成される。そして、三次元形状データ生成手段
によって、前記撮影手段により撮影された前記動画撮影
データから前記三次元形状データが生成される。

【００２４】また、前記第１の情報処理装置では、動画
像送信手段によって、前記動画撮影データ及び前記三次
元形状データが前記第２の情報処理装置へ送信される。
また、前記三次元画像表示手段によって、前記物体は、
前記動画撮影データを用いて動画で表示される。

【００２５】この場合、前記物体の画像が動画で撮影さ
れ、前記三次元画像表示手段によって動画で表示される
ので、ユーザーは、前記物体の状況を前記三次元画像表
示手段によって表示された動画画像によって知ることが
できる。また、三次元形状データを取得するために使用
される撮影手段は、前記物体を動画で表示する前記動画
撮影データを生成する手段としても使用され、投光手段
は、ポイント指示画像表示手段の一部としても使用され
るので、撮影手段と投光手段を別途備える必要が無い。

【００２６】

【発明の実施の形態】以下、本発明の一実施の形態によ
る形状情報伝達システムについて図面を参照しながら説
明する。図１は、本発明の第１の実施の形態による形状
情報伝達システムの構成を示すブロック図である。

【００２７】図１において、形状情報伝達システムは、
作業者側に配置される第１情報処理装置１００と、指示
者側に配置される第2情報処理装置２００とを備える。
第１情報処理装置１００及び第2情報処理装置２００
は、ネットワーク３００を介して相互に通信可能に接続
される。

【００２８】第１情報処理装置１００は、第１コンピュ
ータ１０１、投光表示装置１０２、撮影装置１０３、弾
力測定装置１０４及び温度測定装置１０５を備える。第
１コンピュータ１０１は、投光表示制御部１０６、三次
元形状計測部１０７、表面テクスチャ生成部１０８、弾
力特性データ生成部１０９、物理特性データ生成部１１
０及び通信部１１１を含む。

【００２９】第２情報処理装置２００は、第2コンピュ
ータ２０１、画像表示装置２０２、操作装置２０３を備
える。第2コンピュータ２０１は、三次元モデル生成部
２０４、三次元画像処理部２０５、操作装置制御部２０
６、物理データ処理部２０７、通信部２０８及びビデオ
合成部２０９を含む。

【００３０】第１コンピュータ１０１は、例えば、画像
処理に適したコンピュータ等から構成され、所定のプロ
グラムをＣＰＵ（中央演算処理装置）等を用いて実行す
ることにより、投光表示制御部１０６、三次元形状計測
部１０７、表面テクスチャ生成部１０８、弾力特性デー
タ生成部１０９及び物理特性データ生成部１１０として
機能する。

【００３１】投光表示制御部１０６は、ポイント指示画
像３０６、ポイント指示軌跡３０８（図２参照）を表わ
す指示画像信号及び、スリット状の直線等の所定のパタ
ーンを表わす投光パターン信号を生成して投光表示装置
１０２に出力する。投光表示装置１０２は、例えば、プ
ロジェクタ等から構成され、前記指示画像信号及び投光
パターン信号に応じて物体３０３（図２参照）にポイン
ト指示画像３０６、ポイント指示軌跡３０８、又は、所
定パターンの光を投光する。

【００３２】撮影装置１０３は、例えば、ビデオカメラ
等から構成され、所定パターンが投光されている物体３
０３を動画で撮影し、その撮影画像データを三次元形状
計測部１０７、表面テクスチャ生成部１０８及び通信部
１１１へ出力する。

【００３３】三次元形状計測部１０７は、前記所定パタ
ーンが投光された物体３０３の撮影画像データから、公
知のスリット光投影法による画像処理を行い、物体３０
３の三次元形状を表わす三次元形状データを生成し、そ
の三次元形状データを通信部１１１へ出力する。ここ
で、三次元形状は、頂点群と、頂点を結んで得られる三
角形あるいは四角形のポリゴンパッチとにより構成され
る面の情報によって表現され、三次元形状データには、
データの総数、頂点番号、頂点座標、辺（頂点の対）、
ポリゴン（辺の組）、実体座標データなどが含まれる。
前記実体座標データは、所定の位置に配置された物体３
０３と、投光表示装置１０２と、撮影装置１０３の位置
関係を三次元の座標である実体座標で特定するデータで
ある。

【００３４】投光表示装置１０２、撮影装置１０３、投
光表示制御部１０６及び三次元形状計測部１０７は、上
記のように動作して三次元形状計測装置を構成し、計測
対象となる物体３０３の三次元形状を公知のスリット光
投影法によって計測する。

【００３５】弾力測定装置１０４は、例えば、圧力セン
サ等から構成され、物体３０３の表面の弾力特性（例え
ば、ヤング率）を測定し、その測定信号を弾力特性デー
タ生成部１０９へ出力する。弾力特性データ生成部１０
９は、前記測定された物体３０３の弾力特性と、前記弾
力特性が測定された位置を表わすデータとが対応付けら
れた弾力特性データを生成し、その弾力特性データを通
信部１１１へ出力する。前記弾力特性が測定された位置
は、例えば撮影装置１０３で、作業者３０１（図２参
照）が弾力測定装置１０４を物体３０３に押し当ててい
る状態の画像を撮影し、この画像から前記弾力特性を測
定した位置と物体３０３との位置関係を取得することに
よって得られる。

【００３６】温度測定装置１０５は、例えば、接触式の
温度計等から構成され、物体３０３の表面の温度（物理
的な特性）を測定し、その測定信号を物理特性データ生
成部１１０へ出力する。物理特性データ生成部１１０
は、前記測定された物体３０３の表面の温度と、前記測
定された物体上の位置を表わすデータが対応付けられた
物理特性データを生成し、その物理特性データを通信部
１１１へ出力する。前記温度が測定された位置は、例え
ば撮影装置１０３で、作業者３０１が温度測定装置１０
５を物体３０３に押し当てている状態の画像を撮影し、
この画像から前記温度を測定した位置と物体３０３との
位置関係を取得することによって得られる。

【００３７】表面テクスチャ生成部１０８は、物体３０
３の画像データから、物体３０３の表面の質感を表す前
記表面テクスチャデータを、グラフィック表示可能な表
現形式により前記三次元形状データに対応させて生成す
る。そして、前記生成された表面テクスチャデータを通
信部１１１へ出力する。

【００３８】通信部１１１は、ネットワーク３００を介
して第２情報処理装置２００とデータ通信を行い、三次
元形状計測部１０７、表面テクスチャ生成部１０８、弾
力特性データ生成部１０９、物理特性データ生成部１１
０及び撮影装置１０３から出力される三次元形状データ
等を第２情報処理装置２００へ送信し、ネットワーク３
００を介して第2情報処理装置から受信したポイント位
置データ等を投光表示制御部１０６へ出力する。

【００３９】第２コンピュータ２０１は、例えば、画像
処理に適したコンピュータ等から構成され、所定のプロ
グラムをＣＰＵ（中央演算処理装置）等を用いて実行す
ることにより、三次元モデル生成部２０４、三次元画像
処理部２０５、操作装置制御部２０６、物理データ処理
部２０７及びビデオ合成部２０９として機能する。

【００４０】通信部２０８は、ネットワーク３００を介
して第１情報処理装置１００とデータ通信を行い、三次
元形状データ等を三次元モデル生成部２０４、操作装置
制御部２０６、物理データ処理部２０７及びビデオ合成
部２０９へ出力し、操作装置制御部２０６から出力され
るポイント位置データ等を第１の情報処理装置１００へ
送信する。

【００４１】三次元モデル生成部２０４は、通信部２０
８から出力された三次元形状データと表面テクスチャデ
ータとから、前記表面テクスチャデータにより特定され
るテクスチャを前記三次元形状データにより表わされる
三次元形状の表面に貼り付ける。そして、物体３０３の
形状及び質感を三次元的に表現した三次元モデルを生成
し、前記三次元モデルを三次元画像処理部２０５へ出力
する。前記三次元モデルは、前記三次元モデルの表面の
位置を、三次元の座標であるモデル座標によって特定す
るモデル座標データを含んで生成される。前記モデル座
標は、前記実体座標と関連付けて生成され、前記モデル
座標データから前記実体座標データに変換可能となる。

【００４２】さらに、三次元モデル生成部２０４は、通
信部２０８から出力された弾力特性データを基に、前記
弾力特性が測定された物体上の位置に対応する前記三次
元モデルの表面上の位置に、前記物体上の位置の弾力特
性を表わすデータを関連付けて付加した内部三次元モデ
ルを生成し、操作装置制御部２０６へ出力する。

【００４３】操作装置２０３は、例えば、公知のハプテ
ィック(haptic)デバイスで構成され、三次元方向に操作
可能なプローブ（可動部）を有し、指示者３０２（図２
参照）がプローブを操作することによるプローブの操作
量及び操作方向を検出する。また、前記検出した操作量
及び操作方向に応じた操作入力信号を操作装置制御部２
０６に出力し、操作装置制御部２０６から出力された操
作装置制御信号に応じた抵抗力を、指示者３０２の操作
に対してフィードバックする。

【００４４】操作装置制御部２０６は、前記内部三次元
モデルの表面上の一点を前記モデル座標で示すポイント
位置データを生成し、前記操作入力信号に応じて前記モ
デル座標で示された位置を移動させるように前記ポイン
ト位置データを変更する。そして、前記変更したポイン
ト位置データを三次元画像処理部２０５と、通信部２０
８へ出力する。

【００４５】また、操作装置制御部２０６は、前記ポイ
ント位置データと前記内部三次元モデルの位置関係を照
合し、前記ポイント位置データで示される位置が前記内
部三次元モデルの表面に触れた状態、すなわち前記ポイ
ント入力画像の指し示す位置が前記物体の表面上に位置
する状態を検出すると、前記内部三次元モデルに対応付
けられた弾力特性に応じた抵抗力を操作装置２０３の操
作に生じさせる操作装置制御信号を操作装置２０３へ出
力する。

【００４６】三次元画像処理部２０５は、公知の画像処
理方法により、前記三次元モデルをある方向から見た時
の物体３０３の向き、陰影、質感を表現すると共に、両
眼ステレオ方式の三次元ディスプレイに画像を立体的に
見せるための右眼用画像及び左眼用画像を表示させる三
次元画像データを生成する。

【００４７】また、三次元画像処理部２０５は、前記ポ
イント入力画像を、前記ポイント位置データによって示
される位置を指し示すように表示すべく、前記ポイント
入力画像を表わすデータを前記三次元画像データに付加
する。

【００４８】また、三次元画像処理部２０５は、前記ポ
イント位置データの位置をトレースし、前記ポイント入
力画像が指し示す点の移動軌跡を表わすポイント入力軌
跡の画像データを前記三次元画像データに付加し、前記
ポイント入力画像、ポイント入力軌跡の画像データが付
加された三次元画像データをビデオ合成部２０９へ出力
する。これにより、例えば、図２のポイント入力画像３
０５が後述の画像表示装置２０２によって物体の画像３
０４上を指し示すように表示される。また、ポイント入
力画像３０５が指し示す点の移動軌跡を表すようにポイ
ント入力軌跡３０７が表示される。

【００４９】物理データ処理部２０７は、前記物理特性
データを、指示者３０２が認識可能な文字、図形等の表
現方法で表示させる特性画像データを生成し、前記特性
画像データをビデオ合成部２０９へ出力する。前記特性
画像データは、例えば、その物理特性データで示される
温度をウィンドウ表示するウインドウ３０９（図２参
照）を表示させるデータ、あるいはその物理特性データ
が関連付けられた物体３０３の位置に対応する物体の画
像３０４の位置を指し示すように温度を表示するデータ
表示ボックス３１０（図２参照）の画像データ等のデー
タである。

【００５０】ビデオ合成部２０９は、三次元画像処理部
２０５および物理データ処理部２０７において生成され
た画像データ、及び通信部２０８において受信された撮
影画像データを合成し、三次元画像表示用の画像信号に
変換して画像表示装置２０２へ出力する。

【００５１】画像表示装置２０２は、例えば、指示者３
０２が装着する偏光メガネ及び物体の画像を立体的に表
示する両眼ステレオ方式の三次元ディスプレイ等から構
成され、物体３０３の形状及び質感を三次元的に表現し
た物体の画像３０４、ポイント入力画像３０５、ポイン
ト入力軌跡３０７、ウインドウ３０９、表示ボックス３
１０、および動画で撮影された物体３０３の画像等を表
示する。

【００５２】図２は、図１に示す形状情報伝達システム
の構成を模式的に示す概略図である。図２に示すよう
に、形状情報伝達システムは、作業者３０１が作業する
作業者側に第１コンピュータ１０１、投光表示装置１０
２、撮影装置１０３、弾力測定装置１０４及び温度測定
装置１０５が配置され、指示者３０２が作業者３０１に
指示を与える指示者側に配置され、作業者側には立体的
な形状を持った物体３０３が置かれている。

【００５３】作業者側において、作業者３０１は、弾力
測定装置１０４を物体３０３に押し当てることにより物
体３０３の弾力特性を測定したり、温度測定装置１０５
を物体３０３に押し当てることにより物体３０３の温度
を測定する。

【００５４】指示者側において、指示者３０２は、偏光
メガネをかけた状態で画像表示装置２０２により表示さ
れる物体の画像３０４を見ながら、操作装置２０３のプ
ローブを三次元方向に操作し、操作された移動量及び移
動方向が検出されるとともに、操作に対して抵抗力を受
ける。なお、図２では、説明を容易にするために、指示
者３０２に見えている三次元画像のイメージとして物体
の画像３０４を仮想的に図示している。

【００５５】図３は、図１に示す形状情報伝達システム
の動作を説明するフローチャートである。まず、第１情
報処理装置１００では、ステップＳ１０１において、第
１コンピュータ１０１は、以下のようにして三次元形状
計測を行う。すなわち、スリット状の直線を示す投光パ
ターン信号が投光表示制御部１０６により生成され、前
記投光パターン信号が投光表示装置１０２へ出力され
る。そして、スリット光が投光表示装置１０２により物
体３０３に投光される。

【００５６】このとき、スリット光を投光された物体３
０３が撮影装置１０３により撮影され、撮影画像データ
が生成され、前記撮影画像データが三次元形状計測部１
０７へ出力される。三次元形状計測部１０７では、前記
撮影画像データに対して公知のスリット光投影法による
画像処理が行われ、物体３０３の三次元形状を表わす前
記三次元形状データが生成される。生成された三次元形
状データは、通信部１１１によりネットワーク３００を
介して第2情報処理装置２００へ送信される。

【００５７】次に、ステップS１０２において、第１コ
ンピュータ１０１は、以下のようにして物体３０３の表
面の質感を計測する。すなわち、撮影装置１０３により
撮影された物体３０３の撮影画像データは、表面テクス
チャ生成部１０８へ出力される。このとき、表面テクス
チャ生成部１０８では、物体３０３の表面の質感が物体
３０３の画像データを基に特定される。そして、グラフ
ィック表示可能な表現形式によって、前記表面テクスチ
ャデータが、ステップＳ１０１において生成された三次
元形状データのポリゴンに対応して生成される。生成さ
れた前記表面テクスチャデータは、通信部１１１を介し
て第2情報処理装置２００へ送信される。

【００５８】一方、第2情報処理装置２００では、ステ
ップＳ２０１において、第2コンピュータ２０１は、以
下のようにして三次元モデルを生成する。すなわち、三
次元形状データ及び表面テクスチャデータが第2コンピ
ュータ２０１の通信部２０８により受信され、三次元モ
デル生成部２０４へ送出される。三次元モデル生成部２
０４では、通信部２０８から出力された前記三次元形状
データと前記表面テクスチャデータから、前記表面テク
スチャデータにより特定されるテクスチャが、前記三次
元形状データにより表わされる三次元形状の表面に貼り
付けられ、物体３０３の形状及び質感を三次元的に表現
した三次元モデルが生成され、前記三次元モデルが三次
元画像処理部２０５へ出力される。前記三次元モデル
は、前記三次元モデルの表面上の位置を、三次元の座標
であるモデル座標によって特定するモデル座標データを
含んで生成される。前記モデル座標は、前記実体座標と
関連付けて生成され、前記モデル座標データから前記実
体座標データに変換可能となる。

【００５９】次に、ステップＳ２０２において、第2コ
ンピュータ２０１は、以下のようにして前記三次元画像
データを生成する。すなわち、三次元画像処理部２０５
により、前記三次元モデルを基に、三次元モデルをある
方向から見た時の物体３０３の向き、陰影、質感が画像
で表現され、さらに両眼ステレオ方式の三次元ディスプ
レイに画像を立体的に見せるための右眼用画像及び左眼
用画像を表示させる三次元画像データが生成される。

【００６０】次に、ステップＳ２０３において、第2コ
ンピュータ２０１は、以下のようにして物体の画像３０
４を表示する。すなわち、生成された前記三次元画像デ
ータがビデオ合成部２０９により三次元画像用の画像信
号に変換され、物体の画像３０４が画像表示装置２０２
により三次元的に且つ質感を伴った状態で表示される。
指示者３０２が偏光メガネを装着して物体の画像３０４
を見た場合、画像表示装置２０２により右眼と左眼とに
視差を生じさせるように物体の画像３０４が表示される
ため、指示者３０２には物体３０３の画像が立体的に見
え、物体３０３が画像表示装置２０２の位置に実際にあ
るかのように指示者３０２は感じることができる。

【００６１】一方、第１情報処理装置１００では、ステ
ップＳ１０３において、第１コンピュータ１０１は、以
下のようにして弾力特性を測定する。すなわち、作業者
３０１が弾力測定装置１０４を物体３０３に押し当てる
と、弾力測定装置１０４によって、物体３０３の弾力特
性が測定され、測定された弾力特性を表わす信号が弾力
特性データ生成部１０９へ出力される。また、弾力特性
データ生成部１０９によって、物体３０３の前記弾力特
性及び前記弾力特性が測定された位置が対応付けられて
弾力特性データが生成され、前記弾力特性データが通信
部１１１を介して第2情報処理装置２００へ送信され
る。前記弾力特性が測定された位置は、例えば撮影装置
１０３で、作業者３０１が弾力測定装置１０４を物体３
０３に押し当てている状態の画像を撮影し、この画像か
ら前記弾力特性を測定した位置と物体３０３との位置関
係を取得することによって得られる。

【００６２】一方、第2情報処理装置２００では、ステ
ップＳ２０４において、第2コンピュータ２０１は、以
下のようにして前記内部三次元モデルを生成する。すな
わち、前記弾力特性データが第2コンピュータ２０１の
通信部２０８により受信され、三次元モデル生成部２０
４へ送出される。三次元モデル生成部２０４では、前記
物体の弾力特性が測定された位置に対応する前記三次元
モデルの表面上の位置に、前記位置の弾力特性を表わす
データが関連付けられて、前記三次元モデルに付加さ
れ、前記内部三次元モデルが生成される。前記内部三次
元モデルは、操作装置制御部２０６へ出力される。

【００６３】次に、ステップＳ２０５において、第2コ
ンピュータ２０１は、以下のようにして指示者３０２の
操作指令を入力する。すなわち、指示者３０２が操作装
置２０３のプローブを操作すると、操作装置２０３で
は、プローブの操作量及び操作方向が検出され、操作量
及び操作方向に応じた操作入力信号が操作装置制御部２
０６へ出力される。

【００６４】次に、ステップＳ２０６において、第2コ
ンピュータ２０１は、以下のようにして前記ポイント位
置データを生成する。すなわち、操作装置制御部２０６
により、前記内部三次元モデルの表面上の一点が前記モ
デル座標で示されたポイント位置データが生成され、前
記操作入力信号に応じて前記モデル座標で示された位置
が移動するようにポイント位置データが変更され、変更
されたポイント位置データは、三次元画像処理部２０５
へ出力されると共に、通信部１１１を介して第2情報処
理装置２００へ送信される。

【００６５】次に、ステップＳ２０７において、第2コ
ンピュータ２０１は、以下のようにしてポイント入力画
像３０５を表示する。すなわち、三次元画像処理部２０
５では、前記ポイント入力画像３０５が前記ポイント位
置データで示される位置を指し示す位置関係になるよう
に、前記三次元画像データにポイント入力画像３０５を
表わすデータが付加される。そして、前記ポイント入力
画像３０５を表わすデータが付加された三次元画像デー
タが、ビデオ合成部２０９へ出力される。ビデオ合成部
２０９では、前記ポイント入力画像３０５を表わすデー
タが付加された三次元画像データが、三次元画像表示用
の画像信号に変換されて画像表示装置２０２へ出力され
る。画像表示装置２０２では、前記物体の画像３０４と
共に、ポイント入力画像３０５が三次元的に表示され
る。

【００６６】この場合、指示者３０２が操作装置２０３
を操作するのに連動してポイント入力画像３０５が物体
の画像３０４の上を動くため、指示者３０２は、物体３
０３を直接指で指し示すのと同様にして、指示位置を第
2コンピュータ２０１に入力することが出来る。なお、
ポイント入力画像３０５は、図２では立体的な矢印の形
をした画像の例を示したが、他の画像であってもよい。

【００６７】次に、ステップＳ２０８において、第2コ
ンピュータ２０１は、以下のようにしてポイント入力軌
跡データを生成する。すなわち、三次元画像処理部２０
５では、前記ポイント位置データがトレースされ、前記
ポイント入力画像３０５が指し示す点の移動軌跡を表わ
すポイント入力軌跡３０７の画像データが前記三次元画
像データに付加される。そして、前記ポイント入力画像
３０５と共にポイント入力軌跡３０７の画像データが付
加された三次元画像データがビデオ合成部２０９へ出力
される。

【００６８】次に、ステップＳ２０９において、第2コ
ンピュータ２０１は、以下のようにしてポイント入力軌
跡３０７を表示する。すなわち、三次元画像処理部２０
５では、前記ポイント位置データがトレースされ、前記
ポイント入力画像３０５が指し示す点の移動軌跡を表わ
すポイント入力軌跡３０７の画像データが前記三次元画
像データに付加され、前記ポイント入力画像３０５と共
にポイント入力軌跡３０７の画像データが付加された三
次元画像データがビデオ合成部２０９へ出力される。ビ
デオ合成部２０９では、前記ポイント入力画像３０５と
共にポイント入力軌跡３０７の画像データが付加された
三次元画像データが、三次元画像表示用の画像信号に変
換されて画像表示装置２０２へ出力される。画像表示装
置２０２では、前記物体の画像３０４と共に、ポイント
入力画像３０５とポイント入力軌跡３０７が三次元的に
表示される。

【００６９】この場合、指示者３０２が操作装置２０３
を操作してポイント入力画像３０５を動かすと、ポイン
ト入力画像３０５が動いた軌跡がポイント入力軌跡３０
７で線状に表示されるため、指示者３０２は、物体の画
像３０４にペンで直接書き込むように、ポイント入力軌
跡３０７を入力することが出来る。なお、ポイント入力
軌跡３０７は、図２では線状の画像の例を示したが、例
えば点線等、他の画像であってもよい。

【００７０】一方、第１情報処理装置１００では、ステ
ップＳ１０４において、第１コンピュータ１０１は、以
下のようにしてポイント指示画像３０６を投光表示させ
る。すなわち、前記ポイント位置データが第１コンピュ
ータ１０１の通信部１１１により受信され、投光表示制
御部１０６へ送出される。投光表示制御部１０６では、
ポイント位置データが前記モデル座標から前記実体座標
へ変換され、前記実体座標へ変換されたポイント位置デ
ータで示される位置を指し示すようにポイント指示画像
３０６を投光表示させる前記指示画像信号が生成され
る。そして、前記指示画像信号は、投光表示装置１０２
へ出力される。投光表示装置１０２では、前記指示画像
信号に応じて物体３０３の前記実体座標へ変換されたポ
イント位置データで示される位置にポイント指示画像３
０６が投光表示される。

【００７１】この場合、指示者３０２が操作装置２０３
を操作し、ポイント入力画像３０５を動かすのに連動し
てポイント指示画像３０６が物体３０３の上を動くた
め、指示者３０２は、物体３０３を直接指で指し示すの
と同様にして、物体３０３上の位置を作業者３０１に指
示することができる。なお、ポイント入力画像３０５
は、図２では矢印の形をした画像の例を示したが、他の
画像であってもよい。また、ポイント指示画像３０６は
立体的な形状を持った物体３０３の表面に直接投光表示
されるため、そのまま投光表示すると、作業者３０１か
らは歪んだ画像に見えてしまう。そこで、投光表示制御
部１０６は、予め物体３０３の形状にあわせてポイント
指示画像３０６の形状を補正することが望ましい。

【００７２】次に、ステップＳ１０５において、第１コ
ンピュータ１０１は、以下のようにしてポイント指示軌
跡３０８を投光表示させる。すなわち、投光表示制御部
１０６では、前記実体座標へ変換されたポイント位置デ
ータがトレースされて前記実体座標へ変換されたポイン
ト位置データが指し示す点の移動軌跡を表わすポイント
指示軌跡３０８をポイント指示画像３０６と共に投光表
示させる前記指示画像信号が生成される。そして、当該
指示画像信号が投光表示装置１０２へ出力される。投光
表示装置１０２では、前記指示画像信号に応じて物体３
０３の前記実体座標へ変換された前記ポイント位置デー
タで示される位置にポイント指示画像３０６が投光表示
され、ポイント指示画像３０６が指し示す点の移動軌跡
にポイント指示軌跡３０８が投光表示される。

【００７３】この場合、指示者３０２が操作装置２０３
を操作することによって、物体の画像３０４にポイント
入力軌跡３０７を表示させると、表示されたポイント入
力軌跡３０７と連動して物体３０３の表面にポイント指
示軌跡３０８が投光表示されるので、指示者３０２は、
物体３０３にペンで直接書き込むように、ポイント指示
軌跡３０８を表示させることが出来る。なお、ポイント
指示軌跡３０８は、図２では線状の画像の例を示した
が、例えば点線等、他の画像であってもよい。また、ポ
イント指示軌跡３０８は、立体的な形状を持った物体３
０３の表面に直接投光表示されるため、そのまま投光表
示すると、作業者３０１からは歪んで見えてしまう。そ
こで、投光表示制御部１０６は、予め物体３０３の形状
にあわせてポイント指示軌跡３０８の画像を補正するこ
とが望ましい。

【００７４】一方、第2情報処理装置２００では、ステ
ップＳ２１０において、第2コンピュータ２０１は、以
下のようにして抵抗力を操作装置２０３の操作に生じさ
せる。すなわち、操作装置制御部２０６では、前記ポイ
ント位置データと前記内部三次元モデルの位置関係が照
合され、前記ポイント位置データで示される位置が前記
内部三次元モデルの表面に触れた状態が検出されると、
前記内部三次元モデルに対応付けられた弾力特性に応じ
た抵抗力を操作装置２０３の操作に生じさせる前記操作
装置制御信号が操作装置２０３へ出力される。操作装置
２０３は、指示者３０２に操作されると、前記操作装置
制御信号に対応した抵抗力を生じさせる。

【００７５】この場合、指示者３０２が操作装置２０３
を操作するのに連動してポイント入力画像３０５が物体
の画像３０４の上を動くと共に、ポイント入力画像３０
５の指し示す位置が物体の画像３０４の表面に触れる
と、指示者３０２による操作装置２０３の操作に、物体
３０３の表面の弾力特性に対応した抵抗力が生じるた
め、指示者３０２は、物体３０３の表面を直接指で触れ
ているように感じることができる。

【００７６】一方、第１情報処理装置１００では、ステ
ップＳ１０６において、第１コンピュータ１０１は、以
下のようにして温度を測定する。すなわち、作業者３０
１が温度測定装置１０５を物体３０３に押し当てると、
温度測定装置１０５によって、物体３０３の表面の温度
が測定され、その測定信号が物理特性データ生成部１１
０へ出力される。物理特性データ生成部１１０では、前
記測定された物体３０３の表面の温度及び前記測定され
た物体上の位置を表わすデータが関連付けられて物理特
性データが生成される。そして、前記物理特性データが
通信部１１１を介して第2情報処理装置２００へ送信さ
れる。

【００７７】前記温度が測定された位置は、例えば撮影
装置１０３で、作業者３０１が温度測定装置１０５を物
体３０３に押し当てている状態の画像を撮影し、この画
像から前記温度を測定した位置と物体３０３との位置関
係を取得することによって得られる。

【００７８】一方、第2情報処理装置２００では、ステ
ップＳ２１１において、第2コンピュータ２０１は、以
下のようにして温度データを表示する。すなわち、前記
物理特性データが第2コンピュータ２０１の通信部２０
８により受信され、物理データ処理部２０７へ送出され
る。物理データ処理部２０７では、前記物理特性データ
を、指示者３０２が認識可能な文字、図形等の表現方法
で表示させる特性画像データが生成され、前記特性画像
データがビデオ合成部２０９へ出力される。

【００７９】前記特性画像データは、例えば、前記物理
特性データが関連付けられた物体３０３上の位置に対応
する物体の画像３０４の位置を指し示すように温度を表
示するデータ表示ボックス３１０の画像データ、あるい
は測定位置情報が不必要である場合には、その物理特性
データで示される温度をウィンドウ表示するウインドウ
３０９を表示させるデータ等である。

【００８０】ビデオ合成部２０９では、前記ポイント入
力画像３０５と共にポイント入力軌跡３０７の画像デー
タが付加された三次元画像データと前記特性画像データ
が合成され、前記合成された画像データが、三次元画像
表示用の画像信号に変換されて画像表示装置２０２へ出
力される。画像表示装置２０２では、前記物体の画像３
０４と共に、ポイント入力画像３０５とポイント入力軌
跡３０７が三次元的に表示され、さらにウインドウ３０
９、データ表示ボックス３１０等が表示される。

【００８１】なお、本実施形態では、温度を画像表示装
置２０２に数値で表示させる例を示したが、グラフ等の
図形として画像表示させても良い。また、物理的な特性
の例として、温度を測定する例を示したが、温度以外の
特性であっても良い。例えば、弾力測定装置１０４で測
定された弾力特性を、数値、図形等で表示させても良
い。また、超音波プローブを用いて物体３０３の少なく
とも１点から見た物体３０３内部の密度分布を測定し、
測定した密度分布を画像表示装置２０２に画像として表
示させても良い。

【００８２】また、前記物理特性データを基にして、前
記測定された物体上の位置に対応する前記三次元モデル
の表面の位置、あるいは前記測定された物体上の位置に
対応する前記内部三次元モデルの表面の位置に、前記温
度等の測定データを関連付けて付加することにより、前
記測定した物理的な特性を表わす情報を含んで前記内部
三次元モデルを生成してもよい。

【００８３】この場合、物理データ処理部２０７は、前
記物理的な特性を表わす情報を含んだ内部三次元モデル
を参照することにより、その物理特性データが関連付け
られた物体３０３上の位置に対応する物体の画像３０４
上の位置を指し示すように温度を表示するデータ表示ボ
ックス３１０等の画像データを生成することが可能とな
る。

【００８４】一方、第１情報処理装置１００では、ステ
ップＳ１０７において、第１コンピュータ１０１は、以
下のようにして物体３０３を動画で撮影する。すなわ
ち、撮影装置１０３では、物体３０３が動画で撮影され
て前記撮影画像データが生成される。そして、前記撮影
画像データが通信部１１１を介して第2情報処理装置２
００へ送信される。

【００８５】一方、第2情報処理装置２００では、ステ
ップＳ２１２において、第2コンピュータ２０１は、以
下のようにして物体３０３の画像を動画で表示する。す
なわち、前記撮影画像データが第2コンピュータ２０１
の通信部２０８により受信され、ビデオ合成部２０９へ
出力される。ビデオ合成部２０９では、前記ポイント入
力画像３０５と共にポイント入力軌跡３０７の画像デー
タが付加された三次元画像データと、前記特性画像デー
タと、前記撮影画像データが合成され、前記合成された
画像データが、三次元画像表示用の画像信号に変換され
て画像表示装置２０２へ出力される。

【００８６】画像表示装置２０２では、前記物体の画像
３０４と共に、ポイント入力画像３０５とポイント入力
軌跡３０７が三次元的に表示され、さらにウインドウ３
０９、データ表示ボックス３１０等が表示されると共
に、物体３０３の画像が動画で、例えばウィンドウに表
示される。

【００８７】この場合、指示者３０２は、作業者３０１
が物体３０３の物理的な特性を測定したり物体３０３を
加工する等の作業をする様子を画像表示装置２０２に表
示された動画画像によって観察することが可能となり、
前記ポイント指示画像３０６、ポイント指示軌跡３０８
を物体３０３に表示させることによって、指示者３０２
が作業者３０１に指示した物体３０３上の位置等の内容
が伝わったかどうかを確認することが出来る。また、公
知の音声会話装置を用いて指示者３０２と作業者３０１
が音声で会話することにより、より的確に、意思の疎通
を図り、指示を与えることが可能となる。

【００８８】次に、第2コンピュータ２０１は、ステッ
プＳ２０５からステップＳ２１２の処理を繰り返し、一
方、第１情報処理装置１００では、第１コンピュータ１
０１は、ステップＳ１０４からステップＳ１０７の処理
を繰り返すことにより、指示者３０２と作業者３０１は
異なった場所に居ながら、指示者３０２は物体３０３の
状況を確認し、さらに物理的な特性を知ることができ、
的確に作業者３０１に指示を与えることができる。

【００８９】なお、本実施形態では、ステップＳ１０１
〜Ｓ１０３、ステップＳ２０１〜Ｓ２０４は、一回しか
行わない例を示したが、例えば常時、あるいは物体３０
３を別の物体に入れ換えた場合等、随時にステップＳ１
０１〜ステップＳ１０７、ステップＳ２０１〜ステップ
Ｓ２１２を実行する構成としてもよい。また、例えば、
ステップＳ１０３〜Ｓ１０７、ステップＳ２０４〜Ｓ２
１２は随時、繰返し実行し、弾力特性の測定時、あるい
は物理的な特性の測定時等に都度、前記測定した弾力特
性を表わすデータあるいは物理的な特性を表わすデータ
を、前記内部三次元モデルに追加する構成としても良
い。

【００９０】また、本実施形態では、投光表示制御部１
０６、三次元形状計測部１０７、表面テクスチャ生成部
１０８、弾力特性データ生成部１０９、物理特性データ
生成部１１０、三次元モデル生成部２０４、三次元画像
処理部２０５、操作装置制御部２０６、物理データ処理
部２０７及びビデオ合成部２０９を、コンピュータ等に
プログラムを実行させることによって構成する例を示し
たが、専用ハードウェアで構成しても良い。

【００９１】また、本実施形態では、投光表示装置１０
２によって物体３０３にスリット光を投光表示し、スリ
ット光が投光表示された物体３０３を、撮影装置１０３
によって撮影し、得られた画像から公知のスリット光投
影法によって三次元形状を計測する構成を示したが、三
次元形状を計測可能な他の計測手段を第１情報処理装置
１００が備える構成であっても良い。

【００９２】また、本実施形態では、第１コンピュータ
１０１が三次元形状計測部１０７を備え、前記スリット
光が投光表示された物体３０３の画像から前記ポリゴン
パッチ等からなる三次元形状データを生成した後、前記
ポリゴンパッチ等からなる三次元形状データを第2情報
処理装置２００に送信する構成を示したが、三次元形状
データは、物体３０３の三次元形状を表わす情報を含ん
だものであれば良く、例えば第２コンピュータ２０１が
三次元形状計測部１０７に相当する計測手段を備え、第
１コンピュータ１０１は前記スリット光が投光表示され
た物体３０３の画像データを第２コンピュータ２０１に
送信し、第２コンピュータ２０１が、前記スリット光が
投光表示された物体３０３の画像データから、三次元モ
デルを生成する構成であっても良い。

【００９３】また、本実施形態では、投光表示装置１０
２をプロジェクタで構成した例を示したが、レーザーポ
インタ等を用いてポイント指示画像３０６を表示し、あ
るいはレーザー光の投光角度を制御することによって、
前記三次元形状を計測するためのスリット光や、ポイン
ト指示軌跡３０８を表示する構成であっても良い。

【００９４】また、本実施形態では、画像表示装置２０
２を、指示者３０２が偏光メガネをかけることによって
物体の画像３０４を立体的に表示する両眼ステレオ方式
の三次元ディスプレイで構成する例を示したが、他の方
式によって画像を立体的に表示するディスプレイであっ
ても良く、また、三次元形状を３Ｄのコンピュータグラ
フィックによって、２次元表示する方式であっても良
い。

【００９５】また、本実施形態では、物体の画像３０
４、ポイント入力画像３０５、ポイント入力軌跡３０
７、ウィンドウ３０９、データ表示ボックス３１０の画
像データを、あらかじめ三次元画像処理部２０５および
ビデオ合成部２０９で合成し、重ね合わせた画像データ
を生成した後に画像表示装置２０２に表示させる構成を
示したが、物体の画像３０４、ポイント入力画像３０
５、ポイント入力軌跡３０７、ウィンドウ３０９、デー
タ表示ボックス３１０の画像を個々に表示させた後に、
ハーフミラー、透過形液晶等によって光学的にこれら画
像を重ね合わせる構成であっても良い。

【００９６】

【発明の効果】本発明によれば、物体の三次元形状を表
わすデータを、通信路を介して異なる場所に送信し、三
次元の画像で表示するので、前記物体と異なる場所にい
るユーザーが、前記物体の三次元形状を容易に認識する
ことが可能になる。また、前記ユーザーが、前記可動部
を操作すると、前記物体の画像の一点が前記ポイント入
力画像によって指し示され、前記ポイント入力画像によ
って指し示された点に対応する前記物体上の位置が、前
記ポイント指示画像によって指し示されるので、前記ユ
ーザーは、前記物体が配置されている場所にいる他のユ
ーザーに、前記物体の特定の部位を正確に指示すること
ができる。

【００９７】また、本発明によれば、前記ユーザーが前
記可動部を操作すると、前記物体の上に線を描くよう
に、ポイント指示画像の移動軌跡が投光表示されるの
で、前記他のユーザーに、さらに認識容易に指示するこ
とができる。

【００９８】また、前記三次元で表示された物体の画像
には、前記物体表面の質感が表示されるので、前記ユー
ザーは、さらに容易に前記物体の形状、外観を認識でき
る。

【００９９】また、本発明によれば、前記ユーザーは、
前記物体の画像を、前記ポイント入力画像で触れたよう
に感じることができるので、前記物体の形状を触覚によ
って認識できる。

【０１００】また、本発明によれば、前記ユーザーは、
前記物体の画像を、前記ポイント入力画像で触れたよう
に感じることができると共に、前記物体の弾力を感じる
ことができるので、前記物体の弾力特性を触覚によって
認識できる。

【０１０１】また、本発明によれば、前記物体の少なく
とも一点に対応した物理的な特性が、前記物体の画像に
認識可能に表示されるので、前記ユーザーは、前記物体
の少なくとも一点に対応した物理的な特性を知ることが
できる。

【０１０２】また、本発明によれば、前記物体が前記三
次元画像表示手段に動画で表示されるので、ユーザー
は、前記物体の状況を動画画像によって知ることができ
る。また、三次元形状データを取得するために使用され
る撮影手段は、前記物体を動画で表示する前記動画撮影
データを生成する手段としても使用され、投光手段は、
ポイント指示画像表示手段の一部としても使用されるの
で、撮影手段と投光手段を別途備える必要が無く、本発
明による形状情報伝達システムのコストを低減できる。

【図面の簡単な説明】

【図１】 本発明の一実施形態に係る構成図である。

【図２】 本発明の一実施形態に係る模式的斜視図であ
る。

【図３】 本発明の一実施形態の動作を説明するための
フローチャートである。

【符号の説明】

１００ 第１情報処理装置 １０１ 第１コンピュータ １０２ 投光表示装置 １０３ 撮影装置 １０４ 弾力測定装置 １０５ 温度測定装置 １０６ 投光表示制御部 １０７ 三次元形状計測部 １０８ 表面テクスチャ生成部 １０９ 弾力特性データ生成部 １１０ 物理特性データ生成部 １１１ 通信部 ２００ 第2情報処理装置 ２０１ 第2コンピュータ ２０２ 画像表示装置 ２０３ 操作装置 ２０４ 三次元モデル生成部 ２０５ 三次元画像処理部 ２０６ 操作装置制御部 ２０７ 物理データ処理部 ２０８ 通信部 ２０９ ビデオ合成部 ３００ ネットワーク ３０１ 作業者 ３０２ 指示者 ３０３ 物体 ３０４ 物体の画像 ３０５ ポイント入力画像 ３０６ ポイント指示画像 ３０７ ポイント入力軌跡 ３０８ ポイント指示軌跡 ３０９ ウィンドウ ３１０ データ表示ボックス

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｃ 19/00 ３０１ Ｇ０８Ｃ 19/00 ３０１Ａ (72)発明者 大城 理 奈良県生駒市高山町8916−５ 大学宿舎Ａ −105 (72)発明者 松崎 大河 兵庫県芦屋市六麓荘町11番15号 Ｆターム(参考） 2F073 AA02 AA19 AA40 AB01 CC01 CC06 CC15 FG11 GG01 GG08 2F076 BA01 BB01 BD05 BD07 BD11 BD12 BE05 BE09 BE10 BE12 BE17 5B050 AA02 AA08 BA08 BA09 CA07 CA08 DA02 EA03 EA06 EA24 EA27 EA28 FA02 FA08 FA09 GA04 5B057 AA07 BA24 BA26 CA08 CA13 CA16 CB08 CB13 CB16 CC01 CE09 CE11 CH18

Claims (7)

【特許請求の範囲】
1. 【請求項１】 所定の通信路を介して相互に通信可能に
   接続された第１及び第２の情報処理装置を備え、 前記第１の情報処理装置は、被測定対象である物体の三
   次元形状を計測して前記物体の三次元形状を表わす三次
   元形状データを取得し、前記三次元形状データを前記第
   ２の情報処理装置へ送信する三次元形状取得手段を備
   え、 前記第２の情報処理装置は、 ユーザの操作に応じて三次元方向に移動可能な可動部を
   有し、前記可動部の位置を検出する操作手段と、 前記三次元形状データを用いて前記物体の画像を三次元
   的に表示するとともに、前記物体上の所定ポイントを指
   示するためのポイント入力画像を前記可動部の位置に応
   じて前記物体の画像上に表示する三次元画像表示手段
   と、 前記操作手段により検出された可動部の位置の変化に応
   じて前記ポイント入力画像の表示位置を移動させるとと
   もに、前記ポイント入力画像の指し示す位置を表わすポ
   イント位置データを生成し、生成したポイント位置デー
   タを前記第１の情報処理装置へ送信するポイント位置生
   成手段とを備え、 前記第１の情報処理装置は、前記ポイント位置データに
   応じて前記物体上にポイント指示画像を表示させるポイ
   ント指示画像表示手段をさらに備えることを特徴とする
   形状情報伝達システム。
2. 【請求項２】 前記三次元画像表示手段は、前記ポイン
   ト入力画像の指し示す位置をトレースしてなるポイント
   入力軌跡を前記物体の画像とともに表示させ、 前記ポイント指示画像表示手段は、前記ポイント指示画
   像の移動軌跡を前記物体上に表示することを特徴とする
   請求項１記載の形状情報伝達システム。
3. 【請求項３】 前記第１の情報処理装置は、前記物体の
   表面の質感を計測して質感を表す表面テクスチャデータ
   を生成し、前記表面テクスチャデータを前記第２の情報
   処理装置へ送信する表面テクスチャデータ生成手段をさ
   らに備え、 前記三次元画像表示手段は、前記表面テクスチャデータ
   を用いて前記物体の質感を表示することを特徴とする請
   求項１又は２記載の形状情報伝達システム。
4. 【請求項４】 前記第２の情報処理装置は、前記ポイン
   ト入力画像の指し示す位置が前記物体の表面上に位置す
   る場合、前記可動部の操作に対して所定の抵抗力を発生
   させるように前記可動部を制御する操作部制御手段をさ
   らに備えることを特徴とする請求項１〜３のいずれかに
   記載の形状情報伝達システム。
5. 【請求項５】 前記第１の情報処理装置は、前記物体の
   少なくとも一点に対応した弾力特性を測定して弾力特性
   データを生成し、前記弾力特性データを前記第２の情報
   処理装置へ送信する弾力測定手段をさらに備え、 前記操作部制御手段は、前記弾力特性データに応じて前
   記抵抗力を生じさせるように前記可動部を制御すること
   を特徴とする請求項４記載の形状情報伝達システム。
6. 【請求項６】 前記第１の情報処理装置は、前記物体の
   少なくとも一点に対応した物理的な特性を測定して物理
   特性データを生成し、前記物理特性データを前記第２の
   情報処理装置へ送信する特性測定手段をさらに備え、 前記三次元画像表示手段は、さらに前記物理特性データ
   を視識可能に表示することを特徴とする請求項１〜５の
   いずれかに記載の形状情報伝達システム。
7. 【請求項７】 前記第１の情報処理装置は、所定のパタ
   ーンで光を前記物体に投光させる投光手段をさらに備
   え、 前記三次元形状取得手段は、 前記所定のパターンで光が投光された物体を動画で撮影
   して動画撮影データを生成する撮影手段と、 前記撮影手段により撮影された前記物体の動画撮影デー
   タから前記三次元形状データを生成する三次元形状デー
   タ生成手段とを含み、 前記第１の情報処理装置は、前記動画撮影データ及び前
   記三次元形状データを前記第２の情報処理装置へ送信す
   る動画像送信手段をさらに備え、 前記三次元画像表示手段は、前記動画撮影データを用い
   て前記物体を動画で表示することを特徴とする請求項１
   〜６のいずれかに記載の形状情報伝達システム。