JP2004021820A

JP2004021820A - 画像・触覚情報入力装置、画像・触覚情報入力方法および画像・触覚情報入力プログラム

Info

Publication number: JP2004021820A
Application number: JP2002178626A
Authority: JP
Inventors: Yasuaki Kitabayashi; 北林　育明
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-06-19
Filing date: 2002-06-19
Publication date: 2004-01-22
Anticipated expiration: 2022-06-19
Also published as: EP1376317A2; EP1376317A3; US20050099503A1; JP4029675B2

Abstract

【課題】対象物の画像情報と触覚情報とを、互いに関連付け、かつ正確に取得し得る画像・触覚情報入力装置、画像・触覚情報入力方法および画像・触覚情報入力プログラムを提供する。
【解決手段】画像・触覚情報入力装置１は、対象物を電子画像として撮像し、その対象物の画像情報を取り込むカメラ２と、対象物の少なくとも一部に接触し、その接触の感覚である触覚情報を取り込む触覚グローブ３とを有している。カメラ２では、撮像された対象物の所定の部位の画像上の位置と、その位置における触覚とが対応するように、画像情報と、触覚情報とを関連付ける関連付け情報を生成し、前記画像情報と、前記触覚情報と、前記関連付け情報とを有する触覚情報付き画像情報を生成する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像・触覚情報入力装置、画像・触覚情報入力方法および画像・触覚情報入力プログラムに関するものである。
【０００２】
【従来の技術】
例えば、特許番号第２９３３０２３号には、画像情報を入力し、画像情報からその画像に対応する触覚情報を求めて出力する装置が開示されている。
【０００３】
しかしながら、前記の装置では、触覚情報を画像情報から求めるので、その触覚情報を正確に求めることができないという欠点がある。
【０００４】
【発明が解決しようとする課題】
本発明の目的は、対象物の画像情報と触覚情報とを、互いに関連付け、かつ正確に取得し得る画像・触覚情報入力装置、画像・触覚情報入力方法および画像・触覚情報入力プログラムを提供することにある。
【０００５】
【課題を解決するための手段】
このような目的は、下記（１）〜（１６）の本発明により達成される。
【０００６】
（１）　対象物を電子画像として撮像し、該対象物の画像情報を取り込む画像情報取込手段と、
前記対象物の少なくとも一部に接触し、該接触の感覚である触覚情報を取り込む触覚情報取込手段と、
前記対象物の所定の部位の画像上の位置と、その位置における触覚とが対応するように、前記画像情報と、前記触覚情報とを関連付ける関連付け情報を生成する関連付け情報生成手段とを備え、
前記画像情報と、前記触覚情報と、前記関連付け情報とを有する触覚情報付き画像情報を生成するよう構成されていることを特徴とする画像・触覚情報入力装置。
【０００７】
（２）　前記触覚情報を取り込む際、前記対象物における前記触覚情報を取り込む部位の位置を求め、
前記求めた位置情報に基づいて、前記関連付け情報を生成するよう構成されている上記（１）に記載の画像・触覚情報入力装置。
【０００８】
（３）　前記触覚情報を取り込む際、前記画像情報取込手段により、前記触覚情報取込手段および前記対象物を電子画像として撮像し、前記触覚情報取込手段および前記対象物の画像情報に基づいて、前記対象物における前記触覚情報を取り込む部位の位置を求め、
前記求めた位置情報に基づいて、前記関連付け情報を生成するよう構成されている上記（１）に記載の画像・触覚情報入力装置。
【０００９】
（４）　前記触覚情報取込手段は、該触覚情報取込手段の所定の位置を示す少なくとも１つの位置マーカを有しており、
前記位置マーカを利用して前記対象物における前記触覚情報を取り込む部位の位置を求めるよう構成されている上記（２）または（３）に記載の画像・触覚情報入力装置。
【００１０】
（５）　前記触覚情報取込手段は、前記対象物に接触したときの圧力を検出する複数の圧力センサを有する上記（１）ないし（４）のいずれかに記載の画像・触覚情報入力装置。
【００１１】
（６）　前記触覚情報取込手段は、前記対象物に接触したときの温度を検出する複数の温度センサを有する上記（５）に記載の画像・触覚情報入力装置。
【００１２】
（７）　前記触覚情報取込手段は、手に装着する手袋状の装着手段を有する上記（１）ないし（６）のいずれかに記載の画像・触覚情報入力装置。
【００１３】
（８）　前記触覚情報には、圧力情報が含まれる上記（１）ないし（７）のいずれかに記載の画像・触覚情報入力装置。
【００１４】
（９）　前記触覚情報には、さらに温度情報が含まれる上記（８）に記載の画像・触覚情報入力装置。
【００１５】
（１０）　前記触覚情報には、さらに摩擦情報が含まれる上記（８）または（９）に記載の画像・触覚情報入力装置。
【００１６】
（１１）　前記画像情報と、前記触覚情報とが別々に取り込まれるよう構成されている上記（１）ないし（１０）のいずれかに記載の画像・触覚情報入力装置。
【００１７】
（１２）　前記触覚情報付き画像情報は、前記画像情報と、前記触覚情報と、前記関連付け情報とが合成されたものである上記（１）ないし（１１）のいずれかに記載の画像・触覚情報入力装置。
【００１８】
（１３）　前記触覚情報付き画像情報には、前記画像情報と、前記触覚情報と、前記関連付け情報とが、別々に含まれている上記（１）ないし（１１）のいずれかに記載の画像・触覚情報入力装置。
【００１９】
（１４）　前記触覚情報付き画像情報を記録する記録手段を有する上記（１）ないし（１３）のいずれかに記載の画像・触覚情報入力装置。
【００２０】
（１５）　対象物を電子画像として撮像し、該対象物の画像情報を取り込む工程と、
前記対象物の少なくとも一部に接触し、該接触の感覚である触覚情報を取り込む工程と、
前記対象物の所定の部位の画像上の位置と、その位置における触覚とが対応するように、前記画像情報と、前記触覚情報とを関連付ける関連付け情報を生成する工程と、
前記画像情報と、前記触覚情報と、前記関連付け情報とを有する触覚情報付き画像情報を生成する工程とを有すことを特徴とする画像・触覚情報入力方法。
【００２１】
（１６）　コンピュータを、
対象物を電子画像として撮像し、該対象物の画像情報を取り込む画像情報取込手段、
前記対象物の少なくとも一部に接触し、該接触の感覚である触覚情報を取り込む触覚情報取込手段、
前記対象物の所定の部位の画像上の位置と、その位置における触覚とが対応するように、前記画像情報と、前記触覚情報とを関連付ける関連付け情報を生成する関連付け情報生成手段、
前記画像情報と、前記触覚情報と、前記関連付け情報とを有する触覚情報付き画像情報を生成する手段、
として機能させるための画像・触覚情報入力プログラム。
【００２２】
【発明の実施の形態】
以下、本発明の画像・触覚情報入力装置、画像・触覚情報入力方法および画像・触覚情報入力プログラムを添付図面に示す好適実施形態に基づいて詳細に説明する。
【００２３】
図１は、本発明の画像・触覚情報入力装置の実施形態を示す斜視図、図２は、図１に示す画像・触覚情報入力装置のカメラの構成例を示す斜視図、図３は、図１に示す画像・触覚情報入力装置のカメラの回路構成例を示すブロック図、図４は、図１に示す画像・触覚情報入力装置の触覚グローブの構成例を示す斜視図、図５は、図１に示す画像・触覚情報入力装置の触覚グローブの回路構成例を示すブロック図、図６は、図１に示す画像・触覚情報入力装置の触覚グローブの手の平側を模式的に示す図、図７は、図１に示す画像・触覚情報入力装置の触覚グローブの各センサおよびその近傍を模式的に示す図である。
【００２４】
これらの図に示す画像・触覚情報入力装置１は、対象物の画像情報（画像データ）と、対象物の少なくとも一部の触覚情報（触覚データ）とを取り込み、前記画像情報と、前記触覚情報と、これら画像情報と触覚情報とを関連付ける関連付け情報（関連付けデータ）とを有する触覚情報付き画像情報（触覚データ付き画像データ）を生成する装置である。
【００２５】
前記関連付け情報は、電子画像として撮像（撮影）された対象物の所定の部位の画像上の位置と、その位置における触覚とが対応するように、前記画像情報と、前記触覚情報とを関連付ける情報（位置情報）である。
【００２６】
また、触覚は、対象物に接触したときの感覚であり、その触覚としては、例えば、質感、形状、圧力（接触強度）の分布、温度の分布、摩擦の分布等が挙げられる。
【００２７】
この画像・触覚情報入力装置１で生成された触覚情報付き画像情報は、例えば、図示しない画像・触覚表示装置に入力され、その画像・触覚表示装置は、前記触覚情報付き画像情報に基づいて、前記対象物の画像と、前記対象物の触覚とを、それぞれ再現する。
【００２８】
前記触覚情報付き画像情報には、画像情報と触覚情報とを関連付ける関連付け情報が含まれているので、対象物の画像と、その対象物の触覚とを、正確かつ確実に対応させることができ、対象物の画像および触覚を正確に再現することができる。
【００２９】
なお、画像・触覚情報入力装置１で生成された触覚情報付き画像情報は、画像・触覚情報入力装置１から前記画像・触覚表示装置へ、例えば、無線または有線で送信されるようになっていてもよく、また、着脱自在の記録媒体を介して入力されるようになっていてもよく、また、前記の両方が可能なようになっていてもよい。
【００３０】
すなわち、画像・触覚情報入力装置１は、例えば、前記画像・触覚表示装置等に対し、無線または有線で信号の送信や受信（通信）を行うことができる通信機能（通信手段）を有していてもよく、また、着脱自在の記録媒体（例えば、メモリカード、光ディスク、光磁気ディスク、磁気ディスク等）に対して情報（データ）の記録（記憶）や再生（読み出し）が可能なように構成されていてもよく（記録手段を有していてもよく）、また、前記の両方であってもよい。
【００３１】
図１に示すように、画像・触覚情報入力装置１は、対象物を電子画像として撮像（撮影）し、その対象物の画像情報を取り込むカメラ（デジタルカメラ）２と、対象物の少なくとも一部に接触し、その接触の感覚（接触した手、指での感覚）である触覚情報を取り込む触覚グローブ（触覚情報取込手段）３とを有している。なお、前記カメラ２により、画像情報取込手段と、画像情報と触覚情報とを関連付ける関連付け情報を生成する関連付け情報生成手段とが構成される。
【００３２】
この画像・触覚情報入力装置１、すなわち、カメラ２および触覚グローブ３は、カメラ２と触覚グローブ３との間で、無線で信号の送信および受信（無線通信）を行うことができる無線通信機能（無線通信手段）を有している。
【００３３】
なお、前記無線に限らず、例えば、カメラ２と触覚グローブ３との間で有線通信を行う構成とされていてもよい。
【００３４】
図１および図２に示すように、カメラ２は、ボディー２０を有し、ボディー２０の前面（正面）には、撮像レンズ（撮像レンズ群）４１が、ボディー２０の背面には、モニタ（表示手段）２８が、ボディー２０の上面には、撮像スイッチ（レリーズスイッチ）４２が、ボディー２０の側面には、メモリスロット（メモリ装填部）４３が、それぞれ設置されている。
【００３５】
メモリスロット４３には、メモリカード（メモリを有するカード状の記録媒体）４４が着脱自在に装填される。メモリスロット４３にメモリカード４４が装填されているときは、そのメモリカード４４に対し、情報（データ）の書き込み（記憶）および読み出しが可能になる。
【００３６】
また、図３に示すように、カメラ２は、ＣＣＤ（撮像素子）２１と、画像取込回路部２２と、画像処理・制御部２３と、メモリ（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ等）２４と、触覚データ受信部２５と、スキャン要求・停止信号発生部２６と、ユーザインタフェース制御部２７と、各部（各回路）へ電力を供給する電源供給回路部２９とを有している。
【００３７】
画像処理・制御部２３は、例えば、マイクロコンピュータ（ＣＰＵ）を有しており、画像処理の他、露出演算、自動露出、自動焦点合わせ（ＡＦ）、シーケンス制御等、カメラ２全体の制御を行う。
【００３８】
なお、前記メモリ２４、メモリスロット４３、メモリカード４４等により、触覚情報付き画像情報を記録する記録手段が構成される。
【００３９】
図４に示すように、触覚グローブ３の全体形状は、手袋状をなしている。すなわち、触覚グローブ３は、その装着者である使用者（操作者）の手（指から手首まで）に装着する手袋状の装着手段として、手袋３８を有している。
【００４０】
使用者は、この手袋３８により、触覚グローブ３の装着および取り外しを容易かつ確実に行うことができる。
【００４１】
また、この触覚グローブ３には、手袋３８の手首に対応する部分に、コントロールユニット３０が設けられている。
【００４２】
図５に示すように、コントロールユニット３０は、スキャン要求・停止信号受信部３１と、センサスキャン制御部３２と、触覚データ送信部３５と、センサデータ処理部３６と、各部（各回路）へ電力を供給する電源供給回路部３７とを有している。
【００４３】
このコントロールユニット３０の配置を前記のようにすることにより、触覚グローブ３の指先側（先端側）の重量を軽く（慣性を小さく）することができ、これにより、使用者は、動作（操作）を容易に行うことができる。
【００４４】
センサスキャン制御部３２は、例えば、マイクロコンピュータ（ＣＰＵ）を有しており、センサスキャン処理の他、触覚グローブ３全体の制御を行う。
【００４５】
また、図５に示すように、触覚グローブ３は、対象物に接触したときの触覚を検出する検出手段として、対象物に接触したときの圧力を検出する複数の圧力センサ３３と、対象物に接触したときの温度を検出する複数の温度センサ３４とを有しており、これら圧力センサ３３のセンサ群（以下、単に「圧力センサ３３」とも言う）および温度センサ３４のセンサ群（以下、単に「温度センサ３４」とも言う）を用いて、触覚情報（触覚データ）として、圧力情報（圧力データ）および温度情報（温度データ）を取り込むようになっている。
【００４６】
図６に示すように、これら圧力センサ３３および温度センサ３４は、それぞれ、手袋３８の手の平側、本実施形態では、各指の指先側の腹側（指腹）に対応する部位にそれぞれ設けられている。
【００４７】
なお、圧力センサ３３および温度センサ３４を設ける部位は、図示の部位に限定されず、例えば、圧力センサ３３および温度センサ３４を、手袋３８の各指の腹側前面に設けてもよく、また、手袋３８の手の平側全面に設けてもよい。
【００４８】
図７に示すように、触覚グローブ３の手袋３８、特に、圧力センサ３３および温度センサ３４が設けられている部分は、例えば、樹脂製のフィルム３８１と、比較的軟らかい高分子ゲルの層３８２と、比較的硬い高分子ゲルの層３８３との積層体で構成することができる。
【００４９】
この場合、対象物に触れる側を外側としたとき、外側から内側に向って、樹脂製のフィルム３８１と、比較的軟らかい高分子ゲルの層３８２と、比較的硬い高分子ゲルの層３８３とをこの順序で配置し、前記圧力センサ３３および温度センサ３４を、それぞれ、前記比較的軟らかい高分子ゲルの層３８２の中、すなわち、前記比較的硬い高分子ゲルの層３８３上に設置する。
【００５０】
各圧力センサ３３および各温度センサ３４は、それぞれ、信号線５１を介して、センサスキャン制御部３２に接続されている。
【００５１】
ここで、圧力センサ３３や温度センサ３４等のセンサの単位面積当りの数（密度）を、人間の皮膚にある温点や冷点、触点等の受容体の単位面積当りの数（密度）と同じか、またはそれより大きくするのが好ましい。
【００５２】
すなわち、圧力センサ３３の単位面積当りの数（密度）を、人間の皮膚にある触点の単位面積当りの数（密度）と同じか、またはそれより大きくするのが好ましく、また、温度センサ３４の単位面積当りの数（密度）を、人間の皮膚にある温点および冷点の単位面積当りの数（密度）と同じか、またはそれより大きくするのが好ましい。
【００５３】
これにより、人間の感覚により近い触覚を検出することができ、適正な触覚情報を取り込むことができる。
【００５４】
なお、図７中では、圧力センサ３３および温度センサ３４が行列状（マトリックス状）に配置されているが、本発明では、圧力センサ３３および温度センサ３４の配置は、これに限定されるものではない。
また、本発明では、例えば、前記温度センサ３４を省略してもよい。
【００５５】
また、本発明では、例えば、前記温度センサ３４に換えて、または、前記圧力センサ３３および温度センサ３４に加えて、触覚グローブ３に、対象物に接触したときの摩擦を検出する複数の摩擦センサを設け、その摩擦センサを用いて、摩擦情報（摩擦データ）を取り込むように構成してもよい。
【００５６】
また、本発明では、用いるセンサは、圧力センサ、温度センサ、摩擦センサには限定されない。すなわち、取り込む触覚情報は、圧力情報、温度情報、摩擦情報には限定されない。
【００５７】
図４に示すように、触覚グローブ３の手袋３８の手の甲側には、位置を示す複数の位置マーカ、本実施形態では、６つの位置マーカ３９１、３９２、３９３、３９４、３９５および３９６が設けられている。
【００５８】
位置マーカ３９１、３９２、３９３、３９４および３９５は、それぞれ、手袋３８の親指、人差し指、中指、薬指および小指の指先に対応する位置に、それぞれ設けられ、位置マーカ３９６は、手袋３８の手の甲の中央部に対応する位置に設けられている。
【００５９】
各位置マーカ３９１〜３９６は、それぞれ、各々を識別（検出）し得るパターンや色を有しており、各位置マーカ３９１〜３９６を検出することにより、それぞれ、各々が設けられている位置を検出することができるようになっている。
【００６０】
一方、各位置マーカ３９１〜３９６が設けられている位置と、各圧力センサ３３および各温度センサ３４が設けられている位置との関係（位置関係）は、予め判っているので、その位置関係と、検出された各位置マーカ３９１〜３９６の位置とに基づいて、各圧力センサ３３および各温度センサ３４の位置をそれぞれ求めることができる。
【００６１】
次に、画像・触覚情報入力装置１の作用（動作）を説明する。
ここでは、使用者（操作者）が、画像・触覚情報入力装置１を使用して、対象物として、赤ちゃんの画像情報およびその赤ちゃんの手や腕の触覚情報を取り込む（入力する）場合を代表的に説明する。
【００６２】
まず、使用者は、例えば、モニタ２８を見つつ、構図を決め、カメラ２で、対象物である赤ちゃん（例えば、赤ちゃんの寝姿）を電子画像として撮像（撮影）する。
【００６３】
これにより、ＣＣＤ２１で撮像がなされ、ＣＣＤ２１から信号が出力され、その信号に対し、画像取込回路２２および画像処理・制御部２３で所定の信号処理や画像処理が施され、メモリ２４に、前記撮像された電子画像のデータ、すなわち、デジタルデータである画像情報（例えば、赤ちゃんの寝姿の画像情報）が記憶される。
【００６４】
次に、使用者は、触覚グローブ３を手に装着し、その触覚グローブ３で赤ちゃんの例えば手や腕に触れる。この場合、触れるだけでなく、なぜてもよい。
【００６５】
そして、使用者は、例えば、モニタ２８を見つつ、構図を決め、カメラ２で、触覚グローブ３で赤ちゃんの手や腕に触れているときの状態（触覚グローブ３および赤ちゃんの手や腕）を電子画像として撮像する。
【００６６】
これにより、ＣＣＤ２１で撮像がなされ、ＣＣＤ２１から信号が出力され、その信号に対し、画像取込回路２２および画像処理・制御部２３で所定の信号処理や画像処理が施され、メモリ２４に、前記撮像された電子画像のデータ、すなわち、触覚グローブ３で赤ちゃんの手や腕に触れているときの状態（触覚グローブ３および赤ちゃんの手や腕）の画像情報が記憶される。
【００６７】
一方、触覚グローブ３では、センサスキャン制御部３２の制御により、各圧力センサ３３および各温度センサ３４で、順次、赤ちゃんの手や腕に触れた（またはなぜた）ときの圧力および温度が検出される。すなわち、圧力情報および温度情報が取り込まれる。この圧力情報および温度情報は、各値（データ）が、それぞれ、いずれの圧力センサ３３、いずれの温度センサ３４からのものであるかが判るようになっている。
【００６８】
なお、前記触覚グローブ３で赤ちゃんの手や腕に触れているときの触覚グローブ３および赤ちゃんの手や腕の撮像は、この圧力情報および温度情報を取り込む際になされる。
【００６９】
前記各圧力センサ３３および各温度センサ３４で検出された圧力の検出値のデータおよび温度の検出値のデータは、センサデータ処理部３６で処理された後、触覚データ送信部３５からカメラ２へ送信される。すなわち、前記圧力情報および温度情報は、触覚グローブ３の触覚データ送信部３５からカメラ２へ送信される。
【００７０】
前記圧力情報および温度情報は、カメラ２の受信部２５で受信され、画像処理部２３を介してメモリ２４に記憶される。
【００７１】
そして、カメラ２の画像処理・制御部２３では、赤ちゃんの所定の部位の画像（電子画像）上の位置と、その位置における圧力および温度（触覚）とが対応するように、赤ちゃんの画像情報と、圧力情報および温度情報（触覚情報）とを関連付ける関連付け情報を生成し、赤ちゃんの画像情報と、圧力情報および温度情報と、関連付け情報とを有する触覚情報付き画像情報を生成する。
【００７２】
この場合、画像処理・制御部２３は、まず、前記触覚グローブ３で赤ちゃんの手や腕に触れているときの触覚グローブ３および赤ちゃんの手や腕の画像情報に基づいて、赤ちゃんの手や腕における圧力情報および温度情報を取り込む部位の位置を求め、前記求めた位置情報に基づいて、関連付け情報を生成する。
【００７３】
前記触覚グローブ３で赤ちゃんの手や腕に触れているときの触覚グローブ３および赤ちゃんの手や腕の画像には、位置マーカ３９１〜３９６の画像があり、前述したように、各位置マーカ３９１〜３９６から各圧力センサ３３および各温度センサ３４の位置をそれぞれ求めることができ、また、圧力情報および温度情報は、各値（データ）が、それぞれ、いずれの圧力センサ３３、いずれの温度センサ３４からのものであるかが判るようになっており、これらから、前記関連付け情報を生成することができる。
【００７４】
そして、画像処理・制御部２３は、赤ちゃんの画像情報と、圧力情報および温度情報と、関連付け情報とを有する触覚情報付き画像情報を、例えば、前記画像情報と、前記圧力情報および温度情報と、前記関連付け情報とを合成（データ上、赤ちゃんの所定の部位の画像上の位置と、その位置における圧力および温度とが対応するように合成）することで、生成し、その触覚情報付き画像情報をメモリ２４およびメモリカード４４に記憶する。
【００７５】
なお、前記触覚情報付き画像情報には、例えば、画像情報と、圧力情報および温度情報（触覚情報）と、関連付け情報とが、別々に含まれていてもよく、また、例えば、画像情報と、圧力情報および温度情報（触覚情報）と、関連付け情報とのうちの任意の２つを合成してもよい。
【００７６】
また、本実施形態では、画像情報の取り込みを行った後、触覚情報の取り込みを行うようになっているが、本発明では、触覚情報の取り込みを行った後、画像情報の取り込みを行うようになっていてもよい。
【００７７】
ここで、本発明では、触覚情報の取り込みにおいて、触覚グローブ３で対象物へ触れる回数や触れ方等は、特に限定されず、例えば、触覚グローブ３で対象物を１回触れ、それをカメラ２で撮像するように構成されていてもよく、また、触覚グローブ３で対象物を複数回触れ、その度にカメラ２で撮像するように構成されていてもよい。
【００７８】
次に、図８に示すフローチャートを参照して、画像・触覚情報入力装置１の動作をさらに詳細に説明する。
【００７９】
ここで、このフローチャートに記述されている各機能を実現するためのプログラムは、コンピュータに読み取り可能なプログラムコードの形態でカメラ２のメモリ（記録媒体）２４や触覚グローブ３の図示しない記録媒体（例えば、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭのような不揮発性メモリ等）に格納（記録）されており、カメラ２（画像処理・制御部２３）や触覚グローブ３（センサスキャン制御部３２）は、このプログラムコードにしたがった動作を逐次実行する。
【００８０】
なお、前記プログラムは、例えば、カメラ２側にのみ格納されていてもよく、また、触覚グローブ３側のみに格納されていてもよく、また、カメラ２側と触覚グローブ３側とに格納されていてもよい。
【００８１】
図８は、画像情報および触覚情報を取り込む際の画像・触覚情報入力装置１の動作の一例を示すフローチャートである。図８中左側は、カメラ２側の処理を示し、図８中右側は、触覚グローブ３側の処理を示す。
【００８２】
まず、使用者は、カメラ２で対象物（例えば、赤ちゃん等）を電子画像として撮像する。この場合、使用者は、例えば、モニタ２８で対象物の電子画像を見つつ、構図を決め、撮像スイッチ４２をオン操作する。
【００８３】
図８に示すように、まず、カメラ２側において、一次画像取り込み要求がなされたか否かを判断し（ステップＳ１０１）、一次画像取り込み要求がなされたと判断した場合には、一次画像の撮像を行う（ステップＳ１０２）。
【００８４】
なお、カメラ２の撮像スイッチ４２がオンすることにより、前記一次画像取り込み要求がなされる。
【００８５】
次いで、撮像した前記一次画像データをメモリ２４に記憶する（ステップＳ１０３）。
【００８６】
次に、使用者は、触覚グローブ３で対象物に接触しつつ、カメラ２でその対象物および触覚グローブ３を電子画像として撮像する。この場合、使用者は、例えば、モニタ２８で対象物および触覚グローブ３の電子画像を見つつ、構図を決め、撮像スイッチ４２をオン操作する。
【００８７】
次いで、カメラ２側において、二次画像取り込み要求がなされたか否かを判断し（ステップＳ１０４）、二次画像取り込み要求がなされたと判断した場合には、センサスキャン開始要求を行う（ステップＳ１０５）。
【００８８】
なお、カメラ２の撮像スイッチ４２がオンすることにより、前記二次画像取り込み要求がなされる。
【００８９】
前記ステップＳ１０５では、ユーザインターフェース制御部２７を介し、スキャン要求・停止信号発生部２６で、スキャン要求信号を発生し、そのスキャン要求信号を、スキャン要求・停止信号発生部２６から触覚グローブ３側へ送信する。
【００９０】
このスキャン要求信号は、触覚グローブ３のスキャン要求・停止信号受信部３１で受信され、センサスキャン制御部３２へ入力される。
【００９１】
センサスキャン制御部３２は、前記スキャン要求信号の入力があると、圧力センサ３３および温度センサ３４のセンサスキャンを開始し（ステップＳ２０１）、接触の検出を行い（ステップＳ２０２）、センサデータの処理を行い（ステップＳ２０３）、触覚データを送信する（ステップＳ２０４）。
【００９２】
前記ステップＳ２０１〜Ｓ２０４では、前述したように、センサスキャン制御部３２の制御により、各圧力センサ３３および各温度センサ３４で、順次、圧力および温度を検出し、検出された圧力の検出値のデータおよび温度の検出値のデータの処理をセンサデータ処理部３６で行い、得られた圧力データおよび温度データで構成される触覚データ（以下、単に「触覚データ」と言う）を触覚データ送信部３５からカメラ２へ送信する。
【００９３】
前記触覚データは、カメラ２の触覚データ受信部２５で受信され（ステップＳ１０６）、画像処理・制御部２３へ入力される。
次いで、二次画像の撮像を行う（ステップＳ１０７）。
【００９４】
次いで、センサスキャン停止要求を行う（ステップＳ１０８）。
前記ステップＳ１０８では、ユーザインターフェース制御部２７を介し、スキャン要求・停止信号発生部２６で、スキャン停止信号を発生し、そのスキャン停止信号を、スキャン要求・停止信号発生部２６から触覚グローブ３側へ送信する。
【００９５】
このスキャン停止信号は、触覚グローブ３のスキャン要求・停止信号受信部３１で受信され、センサスキャン制御部３２へ入力される。
【００９６】
センサスキャン制御部３２は、前記スキャン停止信号の入力があると、センサスキャンを停止する（ステップＳ２０５）。これにより、触覚グローブ３側の処理は、終了する。
【００９７】
一方、カメラ２側では、前記ステップＳ１０８の後、ステップＳ１０９へ進み、位置マーカ３９１〜３９６が含まれている前記二次画像データに基づいて、触覚データを取り込んだ対象物の各位置を求め、前記求めた位置情報に基づいて、関連付け情報を生成する、触覚データ位置算出処理を行う（ステップＳ１０９）。
【００９８】
次いで、一次画像データと、触覚データと、関連付け情報とを合成する処理を行う（ステップＳ１１０）。
【００９９】
これにより、一次画像データと、触覚データと、関連付け情報とを合成してなる触覚データ付き画像データが得られる。
【０１００】
次いで、触覚情報付き画像情報をメモリ２４およびメモリカード４４に記憶する（ステップＳ１１１）。
以上で、このプログラムを終了する。
【０１０１】
以上説明したように、この画像・触覚情報入力装置１、画像・触覚情報入力方法および画像・触覚情報入力プログラムによれば、対象物の画像情報と触覚情報とを、互いに関連付けて、取得することができる。
【０１０２】
また、対象物を電子画像として撮像して対象物の画像情報を取り込むので、画像情報を正確に取得することができる。
【０１０３】
また、対象物に接触して触覚情報を取り込むので、触覚情報を正確に取得することができる。
【０１０４】
また、この画像・触覚情報入力装置１で生成された触覚情報付き画像情報に基づいて、所定の画像・触覚表示装置で、対象物の画像と、対象物の触覚とを、それぞれ再現する場合、前記触覚情報付き画像情報には、画像情報と触覚情報とを関連付ける関連付け情報が含まれているので、対象物の画像と、対象物の触覚とを、正確かつ確実に対応させることができ、対象物の画像および触覚を正確に再現することができる。
【０１０５】
以上、本発明の画像・触覚情報入力装置、画像・触覚情報入力方法および画像・触覚情報入力プログラムを、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。
【０１０６】
なお、前記実施形態では、触覚情報取込手段は、対象物に接触した手、指での感覚（触覚情報）を取り込むようになっているが、本発明では、これに限らず、例えば、対象物に接触した足等、他の部位での感覚（触覚情報）を取り込むようになっていてもよい。
【０１０７】
また、前記実施形態では、対象物は、赤ちゃん（生体）であるが、本発明では、対象物は、生体に限らず、物等、あらゆるものであってよい。
【０１０８】
【発明の効果】
以上説明したように、本発明によれば、対象物の画像情報と触覚情報とを、互いに関連付け、かつ正確に取得することができる。
【０１０９】
そして、得られた触覚情報付き画像情報に基づいて、所定の画像・触覚表示装置で、対象物の画像と、対象物の触覚とを、それぞれ再現する場合、前記触覚情報付き画像情報には、画像情報と触覚情報とを関連付ける関連付け情報が含まれているので、対象物の画像と、対象物の触覚とを、正確かつ確実に対応させることができ、対象物の画像および触覚を正確に再現することができる。
【図面の簡単な説明】
【図１】本発明の画像・触覚情報入力装置の実施形態を示す斜視図である。
【図２】図１に示す画像・触覚情報入力装置のカメラの構成例を示す斜視図である。
【図３】図１に示す画像・触覚情報入力装置のカメラの回路構成例を示すブロック図である。
【図４】図１に示す画像・触覚情報入力装置の触覚グローブの構成例を示す斜視図である。
【図５】図１に示す画像・触覚情報入力装置の触覚グローブの回路構成例を示すブロック図である。
【図６】図１に示す画像・触覚情報入力装置の触覚グローブの手の平側を模式的に示す図である。
【図７】図１に示す画像・触覚情報入力装置の触覚グローブの各センサおよびその近傍を模式的に示す図である。
【図８】画像情報および触覚情報を取り込む際の図１に示す画像・触覚情報入力装置の動作の一例を示すフローチャートである。
【符号の説明】
１・・・画像・触覚情報入力装置、２・・・カメラ、２０・・・ボディー、２１・・・ＣＣＤ、２２・・・画像取込回路部、２３・・・画像処理・制御部、２４・・・メモリ、２５・・・触覚データ受信部、２６・・・スキャン要求・停止信号発生部、２７・・・ユーザインタフェース制御部、２８・・・モニタ、２９・・・電源供給回路部、３・・・触覚グローブ、３０・・・コントロールユニット、３１・・・スキャン要求・停止信号受信部、３２・・・センサスキャン制御部、３３・・・圧力センサ、３４・・・温度センサ、３５・・・触覚データ送信部、３６・・・センサデータ処理部、３７・・・電源供給回路部、３８・・・手袋、３８１・・・フィルム、３８２、３８３・・・層、３９１〜３９６・・・位置マーカ、４１・・・撮像レンズ、４２・・・撮像スイッチ、４３・・・メモリスロット、４４・・・メモリカード、５１・・・信号線、Ｓ１０１〜Ｓ１１１・・・ステップ、Ｓ２０１〜Ｓ２０５・・・ステップ

Claims

対象物を電子画像として撮像し、該対象物の画像情報を取り込む画像情報取込手段と、
前記対象物の少なくとも一部に接触し、該接触の感覚である触覚情報を取り込む触覚情報取込手段と、
前記対象物の所定の部位の画像上の位置と、その位置における触覚とが対応するように、前記画像情報と、前記触覚情報とを関連付ける関連付け情報を生成する関連付け情報生成手段とを備え、
前記画像情報と、前記触覚情報と、前記関連付け情報とを有する触覚情報付き画像情報を生成するよう構成されていることを特徴とする画像・触覚情報入力装置。
前記触覚情報を取り込む際、前記対象物における前記触覚情報を取り込む部位の位置を求め、
前記求めた位置情報に基づいて、前記関連付け情報を生成するよう構成されている請求項１に記載の画像・触覚情報入力装置。
前記触覚情報を取り込む際、前記画像情報取込手段により、前記触覚情報取込手段および前記対象物を電子画像として撮像し、前記触覚情報取込手段および前記対象物の画像情報に基づいて、前記対象物における前記触覚情報を取り込む部位の位置を求め、
前記求めた位置情報に基づいて、前記関連付け情報を生成するよう構成されている請求項１に記載の画像・触覚情報入力装置。
前記触覚情報取込手段は、該触覚情報取込手段の所定の位置を示す少なくとも１つの位置マーカを有しており、
前記位置マーカを利用して前記対象物における前記触覚情報を取り込む部位の位置を求めるよう構成されている請求項２または３に記載の画像・触覚情報入力装置。
前記触覚情報取込手段は、前記対象物に接触したときの圧力を検出する複数の圧力センサを有する請求項１ないし４のいずれかに記載の画像・触覚情報入力装置。
前記触覚情報取込手段は、前記対象物に接触したときの温度を検出する複数の温度センサを有する請求項５に記載の画像・触覚情報入力装置。
前記触覚情報取込手段は、手に装着する手袋状の装着手段を有する請求項１ないし６のいずれかに記載の画像・触覚情報入力装置。
前記触覚情報には、圧力情報が含まれる請求項１ないし７のいずれかに記載の画像・触覚情報入力装置。
前記触覚情報には、さらに温度情報が含まれる請求項８に記載の画像・触覚情報入力装置。
前記触覚情報には、さらに摩擦情報が含まれる請求項８または９に記載の画像・触覚情報入力装置。
前記画像情報と、前記触覚情報とが別々に取り込まれるよう構成されている請求項１ないし１０のいずれかに記載の画像・触覚情報入力装置。
前記触覚情報付き画像情報は、前記画像情報と、前記触覚情報と、前記関連付け情報とが合成されたものである請求項１ないし１１のいずれかに記載の画像・触覚情報入力装置。
前記触覚情報付き画像情報には、前記画像情報と、前記触覚情報と、前記関連付け情報とが、別々に含まれている請求項１ないし１１のいずれかに記載の画像・触覚情報入力装置。
前記触覚情報付き画像情報を記録する記録手段を有する請求項１ないし１３のいずれかに記載の画像・触覚情報入力装置。
対象物を電子画像として撮像し、該対象物の画像情報を取り込む工程と、
前記対象物の少なくとも一部に接触し、該接触の感覚である触覚情報を取り込む工程と、
前記対象物の所定の部位の画像上の位置と、その位置における触覚とが対応するように、前記画像情報と、前記触覚情報とを関連付ける関連付け情報を生成する工程と、
前記画像情報と、前記触覚情報と、前記関連付け情報とを有する触覚情報付き画像情報を生成する工程とを有すことを特徴とする画像・触覚情報入力方法。
コンピュータを、
対象物を電子画像として撮像し、該対象物の画像情報を取り込む画像情報取込手段、
前記対象物の少なくとも一部に接触し、該接触の感覚である触覚情報を取り込む触覚情報取込手段、
前記対象物の所定の部位の画像上の位置と、その位置における触覚とが対応するように、前記画像情報と、前記触覚情報とを関連付ける関連付け情報を生成する関連付け情報生成手段、
前記画像情報と、前記触覚情報と、前記関連付け情報とを有する触覚情報付き画像情報を生成する手段、
として機能させるための画像・触覚情報入力プログラム。