JP3727490B2

JP3727490B2 - Tactile information transmission device

Info

Publication number: JP3727490B2
Application number: JP18977999A
Authority: JP
Inventors: 忠裕坂井; 達哉石原; 崇之伊藤
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1999-07-02
Filing date: 1999-07-02
Publication date: 2005-12-14
Anticipated expiration: 2019-07-02
Also published as: JP2001022267A

Description

【０００１】
【発明の属する技術分野】
本発明は触覚情報伝達装置に関し、特に、ディジタル信号によりサービスを提供する統合ディジタル放送（ＩＳＤＢ；Integrated Service Digital Broadcasting）で使われる見出し画面などの視覚的な選択項目から情報にアクセスする際に、視覚的選択オブジェクトを触覚的選択オブジェクトに変換して手指や他の部位の触覚受容器（皮膚感覚）に伝える触覚情報伝達装置に関する。
【０００２】
【従来の技術】
現在、バーチャル・リアリティ技術の進展とともに触覚受容器への力感覚フィードバックの研究が盛んになりつつある。例えばテレビジョンの衛星放送などにおいて、画面上の２次元画像情報を触覚や視覚、聴覚のマルチ・モーダルに呈示し、画像から得られる情報にアクセスする研究開発事例は少ない。
【０００３】
従来、視覚障害者のための感覚代行として、画像の輪郭情報を抽出し、触覚受容器への２次元または３次元図形情報の伝達を目的とした情報伝達装置の研究が行われている。たとえば「オプタコン」や「ＴＶＳＳ（Tactile Vision Substitution System）」(「視覚障害とその代行技術」、市川他、名古屋大学出版、「生体情報工学」星宮他、共立出版など）などの研究が行われている。
【０００４】
いずれの研究も光電変換して得られた画像情報から２値化した情報を抽出して２次元配列の触覚刺激素子を駆動し、当該素子の振動により手指や背中に刺激を呈示するものである。また３次元触覚ディスプレイでは、「盲人用３次元情報表示装置」（医療福祉機器技術研究開発成果報告書）のように２次元上に配置された触覚刺激素子がコンピュータで作成された物体のデータに対応してステッピング・モータにより上下に駆動され、３次元形状を擬似的に呈示する。
【０００５】
さらに、コンピュータのＧＵＩ（Graphical User Interface）環境を視覚障害者に伝えるため、音声によるＧＵＩ画面読み上げソフトが開発されている（「９５ＲＥＡＤＥＲ（商標）」、「視覚障害者用Ｗｉｎｄｏｗｓ画面読み上げソフトウェアの開発とその評価」、渡辺、岡田、ヒューマン・インタフェース６８−７）。
【０００６】
また上記と同様のＧＵＩ環境伝達を、触覚、聴覚のマルチ・モーダルで達成することを目的とした研究が行われている（「触覚ピン・ディスプレイ付きポインティング・デバイスの提案」）。このデバイスは、タッチパネル付きＬＣＤ画面に触れることにより、その位置に表示された対話部品の情報を音声で出力する。さらに、タッチパネル上に触覚ディスプレイを搭載し、触覚受容器で対話部品に触れることができる。触覚ディスプレイはたとえば８×８本のピンを２次元に配列し、１本のピンを画面の１ドットに対応させる構成とし、現在のポインティグ座標を中心に８×８ドットの範囲の情報を呈示することが可能である。触覚ディスプレイは絶対座標系としてタッチパネル上で動かすことができ、広範囲の画面情報の触知を可能とする。
【０００７】
また、最近のバーチャル・リアティ技術のうち触覚フィードバックでは、たとえば「ＰＨＡＭＴＯＭ」（Sensable Technologies,Inc商標）のような触覚インタフェースを用いて３次元形状やテクスチャの表現が可能である。この装置は、コンピュータ上で作成された３次元図形の空間的情報を、機械的な反力で触覚受容器にフィードバックするものである。「ＰＨＡＭＴＯＭ」を用いたアプリケーションには、仮想的なスイッチを呈示して、これを押下すると画面が切り替わったり、呈示された仮想物体の形状や状態を変えることが可能なものがある。
【０００８】
【発明が解決しようとする課題】
現在、視覚障害者がＧＵＩ環境においてコンピュータを操作できる有効な手段は確立されていない。また、ＩＳＤＢの見出し画面を視覚障害者に伝える技術は知られておらず、如何にして画面情報を伝達するかが大きな研究課題となっている。
【０００９】
前記従来技術のうちで、「９５ＲＥＡＤＥＲ」など音声によるＧＵＩ画面読み上げは視覚障害者に有効な手段である。しかし、音声自体は時系列な情報呈示であり、読み上げによって画面上の選択オブジェクトの迅速な検索を行うことは困難であること、画面全体の選択オブジェクトの把握が困難であること等の問題がある。
【００１０】
一方、ＧＵＩ環境であるＩＳＤＢ見出し項目やコンピュータが表示するアイコンを触覚受容器に呈示することは上記問題解決のために有効であるが、画面中で多くの選択オブジェクトを呈示する必要がある。従来技術で前出した「オプタコン」や「ＴＶＳＳ」、あるいは「盲人用３次元情報表示装置」、「触覚ピン・ディスプレイ付きポインティング・デバイス」の触覚呈示装置は、いずれも触覚を刺激するピン等を剣山のように２次元配置している。この場合、１画素を表すドットの間隔には実装上、大きさおよび実装密度に限界がある。すなわち、ドット間隔が大きくなれば図形形状の正確な呈示が困難であり、小さなディスプレイでは呈示できる選択オブジェクト数が制限される。
【００１１】
これに対して、従来技術の「ＰＨＡＭＴＯＭ」は微細形状の呈示が可能であり、図形形状を正確に呈示する触覚フィードバック・デバイスとして有効である。しかしながら、人間が触覚受容器で認識できる形状には限界が存在するため、呈示される図形が余りに小さくなると使用者の認識限界を超えるという別の問題が生じる。
【００１２】
また、従来技術で、「ＰＨＡＭＴＯＭ」を用いて構成した仮想スイッチを押下することにより次の処理に移行するシーケンスは本発明の利用分野に類似するが、ＩＳＤＢの見出し画面のような視覚的選択オブジェクトを触覚受容器に呈示することで情報にアクセスすることは考慮していない。すなわち、ＩＳＤＢなどの選択オブジェクトの持つ属性や番組のカテゴリによっては選択オブジェクトを短時間で探索するのに問題がある。
【００１３】
さらに、視覚障害者に選択オブジェクトを伝えるには、従来技術の「触覚ピン・ディスプレイ付きポインティング・デバイス」のように触覚刺激とともに音声や点字で出力して使用者に選択させることも可能である。この方式は単にオブジェクトの有無を呈示するもので、選択オブジェクトが持つカテゴリに基づいて短時間で探索する方式ではない。
【００１４】
このように、いずれの従来方式も選択オブジェクトを高速に探索するには困難を伴うという課題がある。
【００１５】
本発明は上記の課題に鑑みてなされたものであって、その主たる目的は、視覚、聴覚、触覚のマルチ・モーダルでＩＳＤＢの見出し画面などの視覚的選択オブジェクトから番組情報等へのアクセスを迅速に行える触覚情報伝達装置を提供することにある。詳細には、本発明は次に列記する各目的を達成することを目指すものである。
【００１６】
本発明の第１の目的は、見出し画面など視覚的選択オブジェクトを触覚的選択オブジェクトに変換して触覚受容器に呈示する際に、少ない呈示範囲に多くの選択オブジェクトを呈示でき、かつ、呈示する立体形状や表面テクスチャ、摩擦、呈示高さなどを呈示パラメータとすることで、認識し易く迅速な探索が可能な呈示方法を実施できる触覚情報伝達装置を提供することである。
【００１７】
本発明の第２の目的は、視覚的選択オブジェクトの情報を触覚的選択オブジェクトに変換して触覚受容器に呈示する際に、選択オブジェクトの持つ属性性質を即座に認知可能な呈示方法を実施できる触覚情報伝達装置を提供することである。
【００１８】
本発明の第３の目的は、見出し画面などの選択オブジェクトに触れることにより項目の内容を音声や点字などのマルチ・モーダルで呈示でき、かつ、選択オブジェクトを押下することにより項目の番組内容にアクセス可能な呈示方法を実施できる触覚情報伝達装置を提供することである。
【００１９】
【課題を解決するための手段】
上記課題を解決するために本発明の一態様は、種々の選択項目を表わす視覚的選択オブジェクトを仮想的な三次元的特徴を有する触覚的選択オブジェクトに変換する変換手段と、使用者が装着する刺激生成手段に当該特徴に応じた触覚刺激を出力する出力手段を備えた触覚情報伝達装置であって、前記変換手段は、前記視覚的選択オブジェクトが表す選択項目のカテゴリ情報に基づき前記視覚的選択オブジェクトをカテゴリ毎に分類する分類手段と、前記分類した前記カテゴリ毎に前記触覚的選択オブジェクトの三次元的特徴のいずれかに応じた第１の触覚呈示パラメータを設定し、さらに、該パラメータが設定された各カテゴリについて前記三次元的特徴の前記いずれか以外のものに応じて第２の触覚呈示パラメータを設定する設定手段とを備え、前記出力手段により、前記第１の触覚呈示パラメータにしたがってカテゴリ毎に異なる触覚刺激を出力し、さらに、前記第２の触覚呈示パラメータにしたがって同一カテゴリ内の選択オブジェクト毎に異なる触覚刺激を出力する。
【００２０】
ここで、前記変換手段は前記視覚的選択オブジェクトを入力する手段を備え、前記分類手段は、前記視覚的選択オブジェクトの特徴と、画面上の表示の特徴と、前記選択項目の前記カテゴリ情報を抽出する手段と、前記カテゴリ情報に基づき前記視覚的選択オブジェクトをカテゴリ毎に分類する手段を備え、前記設定手段により、前記分類された前記視覚的選択オブジェクトについて、前記触覚的選択オブジェクトの前記三次元的特徴に応じた前記触覚刺激を使用者に呈示するための前記第１および第２の触覚呈示パラメータを設定し、前記出力手段は、前記設定したパラメータに応じて触覚呈示データを作成する手段と、前記刺激生成手段の出力を前記触覚呈示データに基づいて制御することで、前記使用者に前記触覚刺激を呈示する刺激手段とを備えるものであってよい。
【００２１】
ここで、前記第１の触覚呈示パラメータは、前記触覚的選択オブジェクトの立体形状、表面粗さ、摩擦特性、呈示高さのいずれかを表し、前記第２の触覚呈示パラメータは、該立体形状、該表面粗さ、該摩擦特性、該呈示高さのうち該いずれか以外のものを表すものであってよい。
【００２２】
ここで、前記視覚的選択オブジェクトはＩＳＤＢデータから得られる見出し画面に表示される見出し項目を含む視覚的設定オブジェクトであり、前記刺激生成手段の位置に応じた画面上の位置にポインタを重畳する重畳手段と、前記ポインタがどの視覚的設定オブジェクトの表示範囲に存在するかを検出するポインタ検出手段と、前記表示範囲に該当する前記見出し項目が押下されたことを検出する押下検出手段と、前記刺激生成手段の移動に同期して、当該移動位置を前記見出し画面に前記ポインタにより表示する表示手段とをさらに有し、前記出力手段は、前記移動にしたがい、前記視覚的選択オブジェクトを変換した前記触覚的選択オブジェクトに応じた触覚刺激をフィードバックし、前記刺激生成手段が前記見出し項目の選択オブジェクト内に存在する時は前記見出し項目のタイトル情報を出力し、前記刺激生成手段で見出し項目の選択オブジェクトを押下したときには見出し項目の階層下の内容を出力するものであってよい。
【００２５】
【作用】
上記構成とした本発明によれば、ＩＳＤＢの見出し画面などの選択オブジェクトの情報から、見出し項目を選択する触覚的な選択オブジェクトを構成することにより、視覚、聴覚、触覚のマルチ・モーダルで情報にアクセスすることを可能とする。
【００２６】
具体的には、視覚的な選択オブジェクトの情報から、選択オブジェクトの属性や性質、機能等の特徴、すなわち、番組のタイトルや番組のジャンル、あるいは画面上に表示する位置のデータなどを抽出して、抽出された選択オブジェクトの属性、性質、機能により選択オブジェクトを分類し、分類したカテゴリに対応して立体形状や表面粗さ、摩擦、呈示高さなどの触覚呈示パラメータを設定して、選択オブジェクトを触覚受容器に機械的な力でフィードバックして、機械的な力などの刺激を受ける使用者の手指など、触覚呈示部の位置を視覚的な位置に対応して画面上に表示して、画面上の選択オブジェクトに触れたことを検出し、見出し項目のタイトルを音声あるいは点字などで表示して、仮想的なスイッチが押下されたことを検出し、見出し項目の内容を表示することを可能とする。
【００２７】
【発明の実施の形態】
以下、添付図面を参照し、本発明の実施形態を詳細に説明する。
【００２８】
まず、図１乃至図２を参照して本発明のＩＳＤＢ見出し画面などの視覚的選択オブジェクトを触覚的選択オブジェクトに変換して呈示する方法を概念的に説明する。
【００２９】
図１はＩＳＤＢでサービスされる見出し画面の項目を模式的に表した例で、それぞれ番組のカテゴリ別に記号で表している。
【００３０】
見出し画面１０には、各種見出し項目の視覚的選択オブジェクトＶ１〜Ｖ８（映像）、Ｔ１（天気）、Ｎ１〜Ｎ６（ニュース）、Ｅ１（番組表）、Ｓ１〜Ｓ４（リソース切替）が表示されている。
【００３１】
図２（ａ）〜（ｄ）は、見出し画面１０中の上記選択オブジェクトを触覚的選択オブジェクトに変換して呈示する方法の例を示す。
【００３２】
図２（ａ）は上記選択オブジェクトを忠実に変換した触覚的選択オブジェクト（触覚情報）を示す。図２（ａ）に開示された２次元形状が正方形、長方形および略長方形の各凸型形状は、図１中のそれぞれの見出し項目の輪郭で囲まれた部分を、仮想的な立体（３次元）形状、すなわち触覚的選択オブジェクトとして呈示した例である。
【００３３】
また図２（ｂ）〜図２（ｄ）は、それぞれの選択オブジェクトを同一サイズで表して空間的な触覚情報密度を低くできるようにした、図２（ａ）の単純な凸型形状を改変してカテゴリを区別できるようにした各種呈示方法の例を示している。
【００３４】
図２（ｂ）〜図２（ｄ）を参照して、前記呈示方法を用いて触覚受容器に視覚的選択オブジェクトを呈示する具体的について説明する。
【００３５】
図２（ｂ）は、サイズが同一で異なる立体形状の触覚的選択オブジェクトに変換して視覚的選択オブジェクトを呈示する方法を示す。
【００３６】
ここに開示した例では、見出し画面の選択オブジェクトの中で、映像Ｖ１〜Ｖ８を立方体の選択オブジェクト２３１〜２３８、ニュースＮ１〜Ｎ６を球体の選択オブジェクト２４１〜２４６、リソース切替Ｓ１〜Ｓ４を直方体の選択オブジェクト２５１〜２５４に変換する。使用者が画面に対応した触／力覚呈示装置で見出し画面に対応した立体形状の選択オブジェクトに触れ、その形状を認識することにより、認識形状に応じて即座に番組のカテゴリを知ることができる。
【００３７】
図２（ｃ）は、形状が同一で、それぞれ異なった表面粗さや摩擦力の触覚的選択オブジェクトに変換して視覚的選択オブジェクトを呈示する方法を示す。
【００３８】
ここに開示した例では、形状は立方体に統一し、そのテクスチャが異なる各触覚的選択オブジェクトに変換している。すなわち、映像Ｖ１〜Ｖ８を表面粗さの大きな選択オブジェクト２６１〜２６８、ニュースＮ１〜Ｎ６を中程度の表面粗さの選択オブジェクト２７１〜２７６、リソース切替Ｓ１〜Ｓ４を小さな表面粗さの選択オブジェクト２８１〜２８４に変換する。この場合は触覚的選択オブジェクトの形状認識が不要であり、単に表面粗さの触感(テクスチャ)のみにより選択オブジェクトのカテゴリの違いを検出することができるため、高速の情報選択を期待できる。
【００３９】
図２（ｄ）は、表面粗さが等しく、立体形状の高さが異なる触覚的選択オブジェクトに変換して視覚的選択オブジェクトを呈示する方法を示す。
【００４０】
ここに開示した例は図２（ｃ）において画面垂直方向の点線部ｄ−ｄ’の断面を表し、リソース切替Ｓ１〜Ｓ４の選択オブジェクト２８１〜２８４の呈示高さ２９１を、天気Ｔ１の選択オブジェクト２８８および番組表Ｅ１の選択オブジェクト２８９の呈示高さ２９２と変えることでカテゴリを区別できるようにしている。当該区別方法は、２次元形状が等しい選択オブジェクトについても３次元の呈示高さを変える方法を示唆するものである。
【００４１】
ここで、図２（ｂ）〜図２（ｄ）における選択オブジェクトの位置は、図２（ａ）の相対的な位置とは異なり如何なる方向に整列、配置させてもよい。
【００４２】
図２（ｂ）〜図２（ｄ）を参照して説明したカテゴリ区別可能な各種呈示方法の組み合わせにより選択オブジェクトのカテゴリ情報を呈示してから、さらに同一のカテゴリ内でそれぞれの選択オブジェクトに序列や種類を指定する方法について、以下に図３〜図６を参照して説明する。
【００４３】
図３〜図５は、第１のパラメータとして既に開示された表面粗さでカテゴリ分類を行い、ここで開示される第２のパラメータでカテゴリ内の序列や種類を指定する例を示す。
【００４４】
図３は同一の大きさを持つ立方体３００の四隅を切欠いて指定する方法を開示している。
【００４５】
表面粗さが同一の立方体３０１〜３０５の四隅をそれぞれ２進数（ＢＣＤコード）に対応させ、切欠きを付与される立方体３０１〜３０５を４ビットの２進数に対応させることにより、最大１６（＝２⁴）の序列の指定が可能である。したがって、使用者はまず表面粗さでカテゴリ１であることを検出し、次に例えば右上隅のみ切欠かれた場合には“０００１”に対応させてカテゴリ１−１であることを検出し、右下隅のみ切欠かれた場合には“００１０”に対応させてカテゴリ１−２であることを検出する等、同一カテゴリ内の序列や種類を検出できる。ここでは、切欠き位置の組み合わせが第２のパラメータである。
【００４６】
また、図４は表面粗さが同一で２次元形状も同一の立方体４０１〜４０５について、その高さの違いにより同一カテゴリ内の序列や種類を指定する例を開示している。
【００４７】
使用者はまず表面粗さでカテゴリ１であることを検出し、次に例えば立方体４０１は高さゼロに対応させてカテゴリ１−１であることを検出し、例えば立方体４０２は高さ４１０（＞０）に対応させてカテゴリ１−２であることを検出する等、同一カテゴリ内の序列や種類を検出できる。ここでは、高さが第２のパラメータである。
【００４８】
同様に、図５は表面粗さが同一の立体５０１〜５０５について、その形状の違いにより同一カテゴリ内の序列や種類を指定する例を開示している。
【００４９】
図５において例えば直方体５０１、横方向の立方体５０２、縦方向の立方体５０３、３角柱５０４、球体５０５の順にプライオリティを持たせておき、使用者はまず表面粗さでカテゴリ１であることを検出し、次にその形状に対応させて例えばカテゴリ１−１〜カテゴリ１−５であることを検出し、同一カテゴリ内の序列や種類を検出できる。ここでは、３次元形状が第２のパラメータである。
【００５０】
一方、図６は第１のパラメータとして既に開示された形状でカテゴリ分類し、既に開示された表面粗さを第２のパラメータとしてカテゴリ内の序列を指定した例を示す。
【００５１】
図６は、例えば同一形状の球体６０１〜６０５について、その表面粗さの違いにより同一カテゴリ内の序列や種類を指定する例を開示している。球体６０１は最も表面粗さが小さく、球体６０５は最も表面粗さが大きく、ハッチングの粗さが表面粗さに対応している。使用者はまず球体であることでカテゴリ１であることを検出し、次にその表面粗さに対応させて例えばカテゴリ１−１〜カテゴリ１−５であることを検出し、同一カテゴリ内の序列や種類を検出できる。
【００５２】
図３〜図６のような方法で同一カテゴリ内の序列を指定することにより、たとえば図１が示す番組のカテゴリ種別において、映像Ｖ１〜Ｖ８に対応したチャンネル指定や天気Ｔ１に対応した地域指定など、同一カテゴリ内での指定を触覚のみで選択的に行うことができる。
【００５３】
以下に、請求項１〜４に記載の本発明装置を利用した具体的な情報伝達方法を図面に従い説明する。
【００５４】
図７はＩＳＤＢの見出し画面などの視覚的選択オブジェクトを触覚的選択オブジェクトに変換して、触／力覚呈示装置を用いて視覚障害者等、使用者の触覚受容器に刺激を呈示する方法の実施を可能とする触覚情報伝達装置の一実施形態のハードウェア構成例を示す。
【００５５】
図７において、視覚的選択オブジェクト・データ部７１は、視覚的選択オブジェクトの属性・性質、機能、内容等の特徴、画面に表示される視覚的選択オブジェクトの位置、形状、色などに関するオブジェクト情報を格納する。選択オブジェクト・パラメータ抽出部７２は、視覚的選択オブジェクト・データ部７１からこれらオブジェクト情報を検出して抽出する。触覚呈示位置設定部７３は、触覚呈示部（図示せず）の３次元空間における位置を設定する機能を有する。
【００５６】
触覚呈示部は使用者が装着可能に、触／力覚呈示装置８０の出力部として設けられ、選択オブジェクトの画面表示位置に対応して使用者の触覚受容器に刺激を呈示する。刺激の呈示はピン振動等の機械的刺激を与える従来方式によって行うことができるが、触／力覚呈示装置８０には、仮想物体の立体形状や表面のテクスチャを触覚受容器に触・圧覚、反力を与えて表現できるタイプを使用することが好ましい。
【００５７】
選択オブジェクト・カテゴリ分類部７４は、選択オブジェクト・パラメータ抽出部７２において、選択オブジェクトの属性・性質、機能、内容などで同一のカテゴリ毎に分類する。触覚呈示パラメータ設定部７５は、カテゴリ分類された選択オブジェクトについて、立体形状、表面粗さ・摩擦などによる触感（テクスチャ）、あるいは呈示高さを第２のパラメータに設定する。
【００５８】
コンピュータ７０はＣＰＵ，ＲＡＭ，ＲＯＭ，補助記憶装置（ハードディスク・ドライブ、ＣＤ−ＲＯＭドライブ等）を備えた一般的な構成であり、コンピュータ７０が処理を司る触覚呈示選択オブジェクト・データ作成部７７は触覚呈示パラメータ設定部７５で設定されたパラメータに従い、選択オブジェクトの空間的な触覚呈示データを作成する。
【００５９】
触覚呈示駆動部７９はコンピュータ７０の制御に従って触／力覚呈示装置８０を駆動し、触／力覚呈示装置８０は触覚呈示部により触覚受容器に触覚情報（触覚刺激）を呈示する。触覚呈示位置検出部８１は、触／力覚呈示装置８０に備え付けられた角度センサを含んで構成され、触覚呈示部の空間位置を検出する。コンピュータ７０が処理を司る触覚呈示出力制御部７８は、触覚呈示位置設定部７３、触覚呈示選択オブジェクト・データ作成部７７、および触覚呈示位置検出部８１から得られる触覚受容器に呈示する触覚呈示データに従い、触／力覚呈示装置８０の出力を制御して使用者の受容器に刺激情報を与える。
【００６０】
以下、本発明に係る触覚情報伝達装置の動作について具体的に説明する。
【００６１】
図７において、視覚的選択オブジェクト・データ部７１が格納する選択オブジェクトの各オブジェクト情報は、その選択オブジェクトが画面上で表示されるべき位置情報や、その属性・性質、機能、内容などの特徴情報を選択オブジェクト・パラメータ抽出部７２によって抽出される。触覚呈示位置設定部７３は、選択オブジェクト・パラメータ抽出部７２から得られた選択オブジェクトの位置情報に基づいて、触／力覚呈示装置８０が呈示可能な適切な３次元空間位置を設定する。
【００６２】
また選択オブジェクト・パラメータ抽出部７２により抽出された選択オブジェクトの属性・性質などに関する情報は、選択オブジェクト・カテゴリ分類部７４においてそれぞれの選択オブジェクトの持つデータが解読され、所望のカテゴリに分類される。
【００６３】
触覚呈示パラメータ設定部７５は、分類されたそれぞれのカテゴリ毎に適切な立体形状、表面粗さ・摩擦力、呈示高さのパラメータを設定する。さらに触覚呈示選択オブジェクト・データ作成部７７では、それぞれの選択オブジェクトについて触覚呈示パラメータ設定部７５で設定された値を基に、触／力覚呈示装置８０が触覚受容器に反力を返すべき３次元位置に対応した触覚呈示データを作成する。
【００６４】
視覚的選択オブジェクト（格納したオブジェクト情報）からこのようなデータ生成によって触覚的選択オブジェクトに変換された選択オブジェクトは、触覚呈示位置情報設定部７３が設定した空間位置に仮想的立体として存在することになる。
【００６５】
仮想的な選択オブジェクトを実際に触覚により探索する動作は、以下のように行うことができる。
【００６６】
まず、触覚受容器が分布した手指を前述した触覚呈示部に装着、固定し、触覚呈示部を移動させる。この移動にしたがい、触覚呈示位置検出部８１が触覚呈示部の空間的な位置を検出し、検出位置は触覚呈示出力制御部７８において触覚呈示選択オブジェクト・データ作成部７７が作成した空間位置の触覚呈示データと比較される。そして、触覚呈示出力制御部７８を用いたフィードバック制御により触覚呈示駆動部７９を駆動して触／力覚呈示装置８０による反力を制御することにより、あたかも選択オブジェクトが存在するような感覚を手指に与え、その立体形状や触感により選択オブジェクトを認識させることができる。後述の仮想スイッチ（選択オブジェクト）を押下させることもできる。
【００６７】
上記したように、視覚的オブジェクトを各種の触覚呈示パラメータで表される触覚的オブジェクトに変換し、手指などの触覚受容器を働かすことにより空間位置の呈示情報に対応した仮想的な選択オブジェクトの触感が得られ、選択オブジェクトを実際に探索、押下することができる。
【００６８】
これにより、見出し画面など視覚的選択オブジェクトを触覚的選択オブジェクトに変換して触覚受容器に呈示する際に、少ない呈示範囲に多くの選択オブジェクトを呈示でき、かつ、呈示する立体形状や表面テクスチャ、摩擦、呈示高さなどを呈示パラメータとすることで、認識し易く迅速な探索を行うことができ、選択オブジェクトの持つ属性性質を即座に認知させることができる。
【００６９】
次に、本発明の一実施形態におけるＩＳＤＢ見出し画面情報の触覚情報伝達および情報アクセス方法について詳細に説明する。
【００７０】
図８は本発明の請求項６に示す、ＩＳＤＢの見出し画面を番組のジャンルで分類し、触覚受容器に呈示するためのハードウェアとそのソフトウェア構成を示すブロック構成図である。図８において、図７中の構成要素と同一構成要素には同一符号を付し、その説明を適宜省略する。
【００７１】
ＩＳＤＢデータ受信部８０１は、外部から見出し画面情報等のＩＳＤＢデータを受信／入力する。見出し画面インデックス情報抽出部８０２は、ＩＳＤＢの見出し画面情報を抽出する。触覚呈示位置設定部７３は、触／力覚呈示装置８０の触覚呈示位置を設定する。番組カテゴリ分類部８０４は、見出し画面インデックス情報抽出部８０２において、番組のカテゴリ情報に従い選択オブジェクトを分類する。触覚呈示パラメータ設定部７５は、番組カテゴリ分類部８０４で分類された選択オブジェクトに適切な立体形状、表面粗さ、摩擦力、呈示高さなどのパラメータを設定する。
【００７２】
触覚呈示選択オブジェクト・データ作成部７７は、触覚呈示パラメータ設定部７５で設定されたパラメータから仮想スイッチ機能を持った立体的な選択オブジェクトを作成し、これにより実際に２／３次元の触覚刺激呈示を行うことができる。触覚呈示出力制御部７８は、触覚呈示位置設定部７３、触覚呈示オブジェクト・データ作成部７７、および触覚呈示位置検出部８１から得られる触覚受容器に呈示する触覚呈示データに従い、触／力覚呈示装置８０の出力を制御する。触覚呈示駆動部７９は、触／力覚呈示装置８０を駆動して移動させる。触覚呈示位置検出部８１は、触／力覚呈装置８０の触覚呈示部の空間位置を検出する。
【００７３】
８１２〜８１４は見出し項目および番組内容のメモリ部を示す。見出し項目メモリ８１２は、見出し項目のタイトル情報を記憶する。番組情報メモリ８１３は、タイトルから選択された番組の内容を記憶する。画面位置情報メモリ８１４は、見出し項目の選択オブジェクトが画面上で表示される位置情報を記憶する。見出し項目情報出力部８１５は、見出し項目メモリ８１２から見出し項目の選択オブジェクトのタイトル情報を読み出し、出力する。番組内容出力部８１６は、番組情報メモリ８１３から番組の内容を読み出し、出力する。
【００７４】
音声合成装置８１７は項目情報出力部８１５の見出し項目内容のテキスト・データの出力装置であり、当該テキスト・データに応じた合成音声を出力する。点字ディスプレイ装置８１８は番組内容出力部８１６の見出し項目内容のテキスト・データの出力装置であり、当該テキスト・データに応じた刺激を所定の点字方式により呈示する。
【００７５】
触覚呈示／画面位置比較検出部８１９は、触覚呈示位置検出部８１が検出した選択オブジェクトの触覚呈示位置と画面位置情報メモリ８１４からの画面表示位置を比較し、誤差信号を出力する。ポインタ重畳位置設定部８２０は、触覚呈示／画面位置比較検出部８１９から出力された誤差信号に基づいて画面上に重畳するポインタの位置設定を行う。選択オブジェクト押下検出部８２３は、触覚呈示オブジェクト・データ作成部７７からの触覚呈示データと触覚呈示位置検出部８１が検出した選択オブジェクトの触覚呈示位置を比較し、これにより、触覚刺激呈示された見出し項目の選択オブジェクトが押下されたことを検出する。
【００７６】
モニタ装置８２２は表示画面を備えている。ポインタ重畳部８２１は、ポインタ重畳位置設定部８２０で設定された表示画面上の位置に、たとえば矢印などのポインタを重畳してＩＳＤＢの見出し画面に表示させる。
【００７７】
コンピュータ８００はＣＰＵ，ＲＡＭ，ＲＯＭ，補助記憶装置（ハードディスク・ドライブ、ＣＤ−ＲＯＭドライブ等）を備えた一般的な構成であり、コンピュータ８００が触覚呈示選択オブジェクトデータ作成部７７、触覚呈示出力制御部７８、各メモリ部８１２〜８１４、項目情報出力部８１５、番組内容出力部８１６、触覚呈示／画面位置比較検出部８１９、ポインタ重畳位置設定部８２０、選択オブジェクト押下検出部８２３の処理を司る。
【００７８】
図９，図１０は図８のハードウェアを動作させるソフトウェアの処理の流れを示すフローチャートである。
【００７９】
以下、本実施の形態の動作例について図８、図９，図１０、および図１を参照して説明する。
【００８０】
ＩＳＤＢデータ受信部８０１で受信されたＩＳＤＢ見出し画面１０などの映像は、モニタ装置２２に常時表示される。
【００８１】
図９において、まず、ＩＳＤＢデータ受信部８０１が受信したＩＳＤＢデータから、見出し画面インデックス情報抽出部８０２により、データ信号をＩＳＤＢ見出し画面１０のインデックス情報として抽出する（ＳＴ１）。抽出されたデータ信号について、次の３つのプロセスが実行される。
【００８２】
一つ目のプロセスはＳＴ２〜ＳＴ４に示す処理である。すなわち、まず番組カテゴリ分類部８０４により、見出し項目の選択オブジェクトを番組内容などのカテゴリ別に分類する。続いて触覚呈示パラメータ設定部７５により、それぞれ分類された見出し項目の選択オブジェクトについてカテゴリ別に触覚刺激呈示時の立体形状、表面粗さ・摩擦力、呈示高さなどのパラメータを設定する。さらに、触覚呈示選択オブジェクト・データ作成部７７により、パラメータを設定された見出し項目の選択オブジェクトを実際に触覚受容器に機械的な反力を与え呈示するための立体的な選択オブジェクトの触覚呈示データを作成し、メモリに格納する。
【００８３】
２つ目のプロセスはＳＴ５〜ＳＴ６に示す処理である。すなわち、まず選択オブジェクトをモニタ装置２２の表示画面に表示する際の見出し項目の位置情報を画面位置情報メモリ８１４に格納する。続いて触覚呈示位置設定部７３により、見出し項目の選択オブジェクトに対応して触覚呈示情報を設定し、触／力覚呈示装置８０が有効な空間領域で触覚刺激を呈示する位置を設定する。
【００８４】
３つ目のプロセスはＳＴ７，ＳＴ８に示す処理である。すなわち、見出し項目の選択オブジェクトのタイトルを表すテキスト・データを番組情報メモリ８１３に格納する。さらに、そのタイトルの階層下の内容も番組情報メモリ８１３に格納する。上記３プロセスの実行順序は、上記順序に限定されない。
【００８５】
以上で、受信ＩＳＤＢデータなどから触覚刺激呈示に関係するデータの設定が終了する。設定に続いて、図１０のステップＳＴ１０〜ＳＴ１３に示すシーケンスにしたがって触／力覚呈示装置８０による触覚刺激呈示動作が行われる。
【００８６】
触／力覚呈示装置８０において、手指の動きに伴い触覚呈示部が変位するとその移動位置を触覚呈示部位置検出部８１１により検出する（ＳＴ１０）。触覚呈示部の位置が移動したかを判断し（ＳＴ１１）、当該移動を検出したときは移動した触覚刺激呈示位置とオブジェクト出力との対応を判断する（ＳＴ１２）。すなわち、その移動位置を、触覚呈示位置設定部７３によりＳＴ６で設定された見出し項目の選択オブジェクトの位置情報、および触覚呈示選択オブジェクト・データ作成部７７によりＳＴ４で作成された見出し項目の選択オブジェクトの触覚情報から得られる触覚呈示データを比較し、対応がとれていれば、触／力覚呈示装置８０の触覚呈示部の位置に対応した反力を与えるように触覚呈示出力制御部７８によるフィードバック制御を行う（ＳＴ１３）。
【００８７】
上記フィードバック制御を行う一方で、触覚呈示部の位置が移動したことに伴い、画面表示側では触覚呈示部が表示画面上の位置と一致するような制御がＳＴ１２，ＳＴ１３と並列的に行われる。すなわち、ステップＳＴ１１において触覚呈示部が移動したときはＳＴ１４でＳＴ５とＳＴ６の処理結果を用い、触覚呈示選択オブジェクト・データ作成部７７で作成された選択オブジェクトの画面上の表示位置と、触／力覚呈示装置８０の触覚呈示部の空間的な触覚呈示位置を比較する。
【００８８】
触覚呈示／画面位置比較検出部８１９において、触覚呈示部の画面上での位置を示すポインタの画面上の位置と、３次元空間内の触覚呈示部の位置との差分を検出し（ＳＴ１５）、差がなければＳＴ２４に進んでＳＴ１４と同様の処理を行う。差があればポインタ重畳位置設定部８２０、ポインタ重畳部８２１にて画面上のポインタ位置を制御してポインタの表示を行って（ＳＴ１６）、ＳＴ２４に進む。
【００８９】
これにより、常に触／力覚呈示装置８０で、触覚呈示部を移動したときに、触覚的には見出し項目の選択オブジェクトに触れることができ、視覚的にはそれに同期した動きにより仮想的に空間上に存在する見出し項目の選択オブジェクトを確認することができる。
【００９０】
続いて、見出し項目からその内容にアクセスするシーケンスを図１０のＳＴ２４〜ＳＴ３６に従い説明する。
【００９１】
ポインタ位置を制御して表示したときの画面上のポインタ位置と触覚刺激呈示の位置から、触覚呈示部位置、すなわちポインタ位置が見出し項目の選択オブジェクトの表示範囲（仮想スイッチ位置）に存在するか否かの判断を行う（ＳＴ２４，２５）。ここで当該範囲内に在るときは見出し項目メモリから該当する見出し項目のテキスト・データを用い、音声合成装置８１７あるいは点字ディスプレイ装置８１８により音声または点字刺激で出力する（ＳＴ２６）。当該範囲内になければＳＴ１０に戻る。
【００９２】
また、触覚呈示部が選択オブジェクトの範囲内に存在し、かつ選択オブジェクト押下検出部８２３により選択オブジェクト（仮想スイッチ）の押下が検出されたときは（ＳＴ３５）、番組情報メモリ８１３に格納した見出し項目の階層下にある内容のテキスト・データを音声合成装置８１７あるいは点字ディスプレイ装置８１８に出力し、当該テキスト・データを用いた出力を行う（ＳＴ３６）。押下が検出されなければＳＴ１０に戻る。
【００９３】
以上、視覚的選択オブジェクトを触覚に伝達する場合の、触覚受容器への情報伝達（刺激呈示）に関する本発明の実施形態を説明した。
【００９４】
本実施形態によれば、選択オブジェクトの属性や性質を表す付加情報から選択オブジェクトの画面上の位置情報や表示形式、あるいは選択オブジェクトのタイトルや番組内容などの分類情報を検出し、番組内容の分類による触覚受容器への呈示には、カテゴリ毎に区別された立体形状や表面粗さ、摩擦、呈示高さなどの特性を有する選択オブジェクトに変換して触覚受容器に呈示するとともに使用者が選択オブジェクトに触れたとき画面上にはその位置を矢印や手などの記号で表示し、見出し項目の内容を音声あるいは点字で出力する。また、選択オブジェクトを押下することにより当該見出し項目が選択され、階層下に蓄えられた番組内容のデータにアクセスすることができる。
【００９５】
これにより、視覚障覚者や盲ろう者が、画面を触れながら統合ディジタル放送の見出し画面などの視覚的選択オブジェクトから情報にアクセスすることを可能とする他、健常者が画面を見ながら視覚と同時に触覚受容器にも情報が与えられるマルチ・モーダル呈示により、選択オブジェクトの高速探索が可能になるなど、障害者・健常者に使い易い情報アクセスのインタフェースを提供することができる。
【００９６】
なお上記実施形態ではＩＳＤＢの見出し画面など視覚的選択オブジェクトから触覚的な仮想スイッチ機能を有するオブジェクトに変換して触覚受容器に呈示し、情報にアクセスする方法を説明したが、コンピュータのアイコンなどの触覚呈示方法として適用することも可能である。
【００９７】
また上記実施形態では、触／力覚呈示装置を用いて視覚的選択オブジェクトを３次元的に触覚呈示する例を実施したが、表面粗さや形状によって視覚的選択オブジェクトを触覚呈示する別の方法として、マイクロマシンやその他微小アクチュエータなどの手段を用いた構成により２次元的に触覚受容器に呈示する方法もあり、当該方法にも本発明を適用できることは自明である。
【００９８】
この２次元の触覚呈示方法は、機械的スイッチまたは導電性スイッチによる押しボタンを備えたリモート・コントロール装置を、例えば図１１に示すように構成することでも実施できる。
【００９９】
図１１において、リモート・コントロール装置１１００はＩＳＤＢを受信して図１の見出し画面を表示可能なテレビジョン受像機のリモコン装置であり、上記スイッチによる押しボタン１１０１〜１１２２を夫々所定位置に備えている。このボタン設置位置は、見出し画面中の見出し項目表示位置と１対１で対応している。
【０１００】
さらに、押しボタン１１０１〜１１０８は図１中の各種見出し項目の視覚的選択オブジェクトＶ１〜Ｖ８（映像）に、押しボタン１１０９〜１１１２は視覚的選択オブジェクトＳ１〜Ｓ４（リソース切替）に、押しボタン１１１３〜１１２０は視覚的選択オブジェクトＮ１〜Ｎ６（ニュース）に、押しボタン１１２１はＥ１（番組表）に、押しボタン１１２２に夫々対応するよう見出し項目ごとに異なる表面粗さに、そのボタン表面の触感を形成されている。図１１中の各種ハッチングは図２（ｃ）中のハッチングと同様の表面粗さを示している。
【０１０１】
このように、複数の見出し項目をもつ見出し画面と対応させて見出し項目ごとに押しボタン１１０１〜１１２２の触感を形成することで、押しボタンを複数備えたリモート・コントロール装置であっても、押しボタン１１０１〜１１２２に触れたときの触感により当該ボタンが示す見出し項目を使用者に知らせて、迅速な選択を可能とすることができる。表面粗さの設定は番組のジャンルごと、またはチャンネル切替などの操作機能別に行うことができる。
【０１０２】
【発明の効果】
以上説明したように本発明によれば、視覚的なオブジェクト情報を探索する場合、視覚的選択オブジェクトを仮想的な三次元的特徴を有する触覚的選択オブジェクトの特徴に応じた触覚情報に変換して使用者の触覚受容器に呈示するので、視覚障覚者等の使用者がＩＳＤＢやコンピュータのＧＵＩ環境において見出し画面あるいはアイコンから所望の情報にアクセスすることを可能とすることができる。
【０１０３】
また、選択オブジェクトの触覚呈示において、選択オブジェクトの有する属性・性質あるいは機能や内容等の特徴をカテゴリで分類し、カテゴリに応じて立体形状や表面粗さ、摩擦などのテクスチャあるいは呈示高さなどを設定することにより短時間に選択オブジェクトのカテゴリが認識され、かつ呈示条件を組み合わせることで同一カテゴリ中で序列を指定することができ、ひいては触覚のみにより選択オブジェクトを認知することを可能とする他、視覚と同期してマルチ・モーダルに呈示することにより、視覚障害者、晴眼者を問わず選択オブジェクトへの迅速な探索を可能とし、使い易い情報アクセスのインタフェースを期待することができる。
【図面の簡単な説明】
【図１】ＩＳＤＢでサービスされる見出し画面の項目を模式的に表す説明図である。
【図２】見出し画面中の選択オブジェクトを触覚的選択オブジェクトに変換して呈示する方法の例を表す説明図である。
【図３】第１のパラメータと第２のパラメータを組み合わせて同一カテゴリ内の序列や種類を指定する例を示す説明図である。
【図４】第１のパラメータと第２のパラメータを組み合わせて同一カテゴリ内の序列や種類を指定する例を示す説明図である。
【図５】第１のパラメータと第２のパラメータを組み合わせて同一カテゴリ内の序列や種類を指定する例を示す説明図である。
【図６】第１のパラメータと第２のパラメータを組み合わせて同一カテゴリ内の序列や種類を指定する例を示す説明図である。
【図７】本発明に係る触覚情報伝達装置の一実施形態のハードウェア構成例を示すブロック図である。
【図８】本発明に係る触覚情報伝達装置の別の実施形態のハードウェア構成例を示すブロック図である。
【図９】上記別の実施形態のハードウェアを動作させるソフトウェアの処理の流れを示すフローチャートである。
【図１０】上記別の実施形態のハードウェアを動作させるソフトウェアの処理の流れを示すフローチャートである。
【図１１】リモート・コントロール装置を備えたテレビジョン装置に本発明を適用した一変形例を示す説明図である。
【符号の説明】
７０，８００コンピュータ
７１視覚的選択オジェクト・データ部
７２選択オブジェクト・パラメータ抽出部
７３触覚呈示位置設定部
７４選択オブジェクト・カテゴリ分類部
７５触覚呈示パラメータ設定部
７７触覚呈示選択オブジェクト・データ作成部
７８触覚呈示出力制御部
７９触覚呈示駆動部
８０触／力覚呈示装置
８１触覚呈示位置検出部
８０１ＩＳＤＢデータ受信部
８０２見出し画面インデックス情報抽出部
８０４番組カテゴリ分類部
８１２見出し項目メモリ
８１３番組情報メモリ
８１４画面位置情報メモリ
８１５見出し項目情報出力部
８１６番組内容出力部
８１７音声合成装置
８１８点字ディスプレイ装置
８１９触覚呈示／画面位置比較検出部
８２０ポインタ重畳位置設定部
８２１ポインタ重畳部
８２２モニタ装置
８２３選択オブジェクト押下検出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a tactile information transmission device, and in particular, when accessing information from a visual selection item such as a heading screen used in ISDB (Integrated Service Digital Broadcasting) that provides a service by a digital signal. The present invention relates to a tactile information transmission device that converts a target selection object into a tactile selection object and transmits it to a tactile receptor (skin sensation) in a finger or other part.
[0002]
[Prior art]
Currently, research on force feedback to tactile receptors is becoming more active with the progress of virtual reality technology. For example, in television satellite broadcasting, there are few examples of research and development in which two-dimensional image information on the screen is presented in a multi-modal manner such as tactile sensation, visual sense, and auditory sense, and information obtained from the image is accessed.
[0003]
2. Description of the Related Art Conventionally, as a sensory substitute for visually impaired persons, research has been conducted on information transmission devices that extract image contour information and transmit two-dimensional or three-dimensional graphic information to a tactile receptor. For example, research such as “Optacone” and “TVSS (Tactile Vision Substitution System)” (“Visual impairment and its substitution technology”, Ichikawa et al., Nagoya University Press, “Bioinformatics” Hoshimiya et al., Kyoritsu Press, etc.) Yes.
[0004]
In both studies, binarized information is extracted from image information obtained by photoelectric conversion to drive a two-dimensional array of tactile stimulation elements, and the stimulation of the fingers and back is presented by the vibration of the elements. . In the 3D tactile display, the tactile stimulation elements arranged in 2D, such as “3D information display device for blind persons” (medical welfare equipment technology research and development report), are used as computer-generated object data. Correspondingly, it is driven up and down by a stepping motor to present a three-dimensional shape in a pseudo manner.
[0005]
Furthermore, in order to convey the GUI (Graphical User Interface) environment of a computer to a visually impaired person, voice-based GUI screen reading software has been developed (“95READER (trademark)”, “Windows Screen Reading Software for Visually Impaired and Its Evaluation ", Watanabe, Okada, Human Interface 68-7).
[0006]
In addition, research aimed at achieving the same GUI environment transmission as above with tactile and auditory multi-modality has been conducted ("Proposal of pointing device with tactile pin display"). By touching the LCD screen with a touch panel, this device outputs information on the interactive component displayed at that position by voice. In addition, a tactile display is mounted on the touch panel, and interactive parts can be touched with a tactile receptor. The tactile display has, for example, a configuration in which 8 × 8 pins are arranged two-dimensionally, and one pin corresponds to one dot on the screen, and presents information in a range of 8 × 8 dots centering on the current pointing coordinates. It is possible. The tactile display can be moved on the touch panel as an absolute coordinate system, enabling a wide range of screen information to be touched.
[0007]
Further, in the recent virtual reality technology, haptic feedback can express a three-dimensional shape and texture using a haptic interface such as “PHAMTOM” (Sensable Technologies, Inc.). This device feeds back spatial information of a three-dimensional figure created on a computer to a tactile receptor by a mechanical reaction force. Some applications using “PHAMTOM” present a virtual switch that can be pressed to change the screen or change the shape or state of the presented virtual object.
[0008]
[Problems to be solved by the invention]
At present, an effective means by which a visually impaired person can operate a computer in a GUI environment has not been established. In addition, there is no known technique for transmitting a headline screen of ISDB to a visually impaired person, and how to transmit screen information is a major research subject.
[0009]
Among the prior arts, reading out the GUI screen by voice such as “95READER” is an effective means for the visually impaired. However, the voice itself is a time-series information presentation, and it is difficult to quickly search for a selected object on the screen by reading, and it is difficult to grasp the selected object on the entire screen. .
[0010]
On the other hand, presenting an ISDB heading item that is a GUI environment or an icon displayed by a computer to a tactile receptor is effective for solving the above problem, but it is necessary to present many selected objects on the screen. The tactile presentation devices such as “Optacon”, “TVSS”, “Three-dimensional information display device for blind people”, and “Pointing device with tactile pin / display” described above in the prior art are all equipped with pins that stimulate tactile sense. It is two-dimensionally arranged like Kenzan. In this case, there is a limit in the size and mounting density of the dot interval representing one pixel in mounting. That is, if the dot interval is large, it is difficult to accurately present a graphic shape, and the number of selected objects that can be presented is limited on a small display.
[0011]
On the other hand, “PHAMTOM” of the prior art is capable of presenting a fine shape and is effective as a tactile feedback device that accurately presents a graphic shape. However, since there is a limit to the shape that humans can recognize with the tactile receptor, another problem arises that if the displayed figure becomes too small, the recognition limit of the user is exceeded.
[0012]
In addition, the sequence of shifting to the next processing by pressing a virtual switch configured using “PHAMTOM” in the prior art is similar to the field of use of the present invention, but a visual selection object such as an ISDB heading screen. It is not considered to access information by presenting to the tactile receptor. That is, there is a problem in searching for the selected object in a short time depending on the attribute of the selected object such as ISDB or the category of the program.
[0013]
Furthermore, in order to convey a selection object to a visually impaired person, it is also possible to output by voice or Braille together with a tactile stimulus as in the prior art “pointing device with a tactile pin display” and allow the user to make a selection. This method merely presents the presence or absence of an object, and is not a method for searching in a short time based on the category of the selected object.
[0014]
Thus, any of the conventional methods has a problem that it is difficult to search for a selected object at high speed.
[0015]
The present invention has been made in view of the above-mentioned problems, and its main purpose is to quickly access program information and the like from a visually selected object such as an ISDB heading screen in multi-modal visual, auditory, and tactile senses. It is an object of the present invention to provide a tactile information transmission device that can be used in the future. Specifically, the present invention aims to achieve each of the objects listed below.
[0016]
A first object of the present invention is to present and present many selection objects in a small presentation range when a visual selection object such as a heading screen is converted into a tactile selection object and presented to a tactile receptor. It is an object of the present invention to provide a tactile information transmission device that can implement a presentation method that is easy to recognize and allows a quick search by using a three-dimensional shape, surface texture, friction, presentation height, and the like as presentation parameters.
[0017]
The second object of the present invention is to implement a presentation method capable of immediately recognizing the attribute property of a selected object when the information of the visually selected object is converted into a tactile selected object and presented to the tactile receptor. It is to provide a tactile information transmission device.
[0018]
A third object of the present invention is to present the contents of an item in multi-modal manner such as voice or Braille by touching a selected object such as a heading screen, and to access the program contents of the item by pressing the selected object. It is an object of the present invention to provide a tactile information transmission device that can implement a possible presentation method.
[0019]
[Means for Solving the Problems]
In order to solve the above problems, according to one aspect of the present invention, a conversion means for converting a visual selection object representing various selection items into a tactile selection object having virtual three-dimensional characteristics, and a user wears the conversion means. A tactile information transmission device comprising an output means for outputting a tactile stimulus corresponding to the feature to a stimulus generation means, wherein the conversion means is based on category information of a selection item represented by the visual selection object. Classifying means for classifying an object for each category, a first tactile presentation parameter corresponding to any one of the three-dimensional features of the tactile selection object is set for each of the classified categories, and the parameter is set Setting means for setting a second tactile sensation presentation parameter in accordance with a category other than the one of the three-dimensional features for each category And the output means outputs different haptic stimuli for each category according to the first haptic presentation parameter, and further outputs different haptic stimuli for each selected object in the same category according to the second haptic presentation parameter. To do.
[0020]
Here, the conversion means includes means for inputting the visual selection object, and the classification means extracts the characteristics of the visual selection object, the display characteristics on the screen, and the category information of the selection items. And means for classifying the visual selection object for each category based on the category information, and the setting means determines the three-dimensional of the tactile selection object for the classified visual selection object. Setting the first and second tactile sensation presentation parameters for presenting the tactile stimulation according to characteristics to a user, and the output means creates tactile sensation presentation data according to the set parameters; Stimulus that presents the tactile stimulus to the user by controlling the output of the stimulus generation means based on the tactile sense presentation data It may be one and a stage.
[0021]
Here, the first tactile sensation presentation parameter represents any one of a three-dimensional shape, a surface roughness, a friction characteristic, and a presentation height of the tactile selection object, and the second tactile presentation parameter represents the three-dimensional shape, Any one of the surface roughness, the friction characteristic, and the display height may be represented.
[0022]
Here, the visual selection object is a visual setting object including a heading item displayed on a heading screen obtained from ISDB data, and a superimposition that superimposes a pointer on a position on the screen according to the position of the stimulus generation means Means, pointer detection means for detecting in which display range of the visual setting object the pointer exists, pressing detection means for detecting that the heading item corresponding to the display range is pressed, and the stimulus Display means for displaying the movement position on the heading screen by the pointer in synchronization with the movement of the generation means, and the output means converts the visual selection object according to the movement. A tactile stimulus corresponding to the target selection object is fed back, and the stimulus generation means selects the heading item selection object. When present in the transfected outputs title information of the title item may be one for outputting the contents of the next lower layer heading fields when pressing the selected object heading entry by said stimulus generating means.
[0025]
[Action]
According to the present invention configured as described above, by constructing a tactile selection object for selecting a heading item from information of a selection object such as an ISDB heading screen, the information can be converted into multi-modal information such as visual, auditory, and tactile information. Allows access.
[0026]
Specifically, from the information of the visual selection object, the characteristics of the selection object such as attributes, properties, functions, etc., that is, the program title, the program genre, or the position data displayed on the screen are extracted. The selected object is classified according to the attribute, nature, and function of the extracted selected object, and the tactile presentation parameters such as solid shape, surface roughness, friction, and presentation height are set according to the classified category, and the selected object is selected. Is fed back to the tactile receptor with mechanical force, and the position of the tactile presentation part, such as the user's finger receiving a stimulus such as mechanical force, is displayed on the screen corresponding to the visual position, Detects that the selected object on the screen has been touched, displays the title of the heading item in voice or Braille, etc., detects that the virtual switch has been pressed, Making it possible to display the contents of the item out.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0028]
First, a method of presenting a visually selected object such as an ISDB heading screen according to the present invention by converting it to a tactile selected object will be conceptually described with reference to FIGS.
[0029]
FIG. 1 is an example schematically showing items of a heading screen serviced by ISDB, and each item is represented by a symbol for each program category.
[0030]
The headline screen 10 displays visually selected objects V1 to V8 (video), T1 (weather), N1 to N6 (news), E1 (program guide), and S1 to S4 (resource switching) for various headline items. Yes.
[0031]
FIGS. 2A to 2D show an example of a method of presenting the selected object in the heading screen 10 after converting it into a tactile selected object.
[0032]
FIG. 2A shows a tactile selection object (haptic information) obtained by faithfully converting the selection object. Each convex shape having a two-dimensional shape disclosed in FIG. 2 (a) is a square, a rectangle, and a substantially rectangular shape. A portion surrounded by the outline of each heading item in FIG. ) An example presented as a shape, that is, a tactile selection object.
[0033]
2 (b) to 2 (d) modify the simple convex shape of FIG. 2 (a) in which each selected object is represented by the same size to reduce the spatial tactile information density. Thus, examples of various presentation methods in which categories can be distinguished are shown.
[0034]
With reference to FIG.2 (b)-FIG.2 (d), the specific which presents a visually selected object to a tactile receptor using the said presentation method is demonstrated.
[0035]
FIG. 2B shows a method of presenting a visually selected object by converting it into a tactile selection object having the same size and different three-dimensional shape.
[0036]
In the example disclosed here, among the selection objects on the headline screen, the images V1 to V8 are cube selection objects 231 to 238, the news N1 to N6 are sphere selection objects 241 to 246, and the resource switching S1 to S4 are cuboids. The selected objects 251 to 254 are converted. The user can immediately know the program category according to the recognized shape by touching the selected object having the three-dimensional shape corresponding to the heading screen with the tactile / force sense presentation device corresponding to the screen and recognizing the shape. .
[0037]
FIG. 2C shows a method of presenting a visually selected object by converting it into a tactile selected object having the same shape and different surface roughness and frictional force.
[0038]
In the example disclosed here, the shape is unified into a cube, and the tactile selection objects having different textures are converted. That is, videos V1 to V8 are selected objects 261 to 268 having a large surface roughness, news N1 to N6 are selected to medium surface roughness selection objects 271 to 276, and resource switching S1 to S4 is selected to a selection object 281 having a small surface roughness. Convert to ~ 284. In this case, it is not necessary to recognize the shape of the tactile selection object, and the difference in the category of the selection object can be detected only by the tactile sensation (texture) of the surface roughness, so that high-speed information selection can be expected.
[0039]
FIG. 2D shows a method of presenting a visually selected object by converting it into a tactile selected object having the same surface roughness and different three-dimensional shape.
[0040]
The example disclosed here represents a cross section of a dotted line part dd ′ in the vertical direction of the screen in FIG. 2C, and the presentation height 291 of the selection objects 281 to 284 of the resource switching S1 to S4 is selected as the selection object of the weather T1. The category can be distinguished by changing the height 292 of the selected object 289 in the program 288 and the program guide E1. The distinction method suggests a method of changing the three-dimensional presentation height for selected objects having the same two-dimensional shape.
[0041]
Here, the position of the selected object in FIGS. 2B to 2D may be aligned and arranged in any direction, unlike the relative position in FIG.
[0042]
The category information of the selected object is presented by a combination of various category distinguishable presentation methods described with reference to FIG. 2B to FIG. 2D, and the selected object is further ranked in the same category. A method for designating and the type will be described below with reference to FIGS.
[0043]
3 to 5 show an example in which category classification is performed with the surface roughness already disclosed as the first parameter, and the order and type within the category are specified with the second parameter disclosed here.
[0044]
FIG. 3 discloses a method for designating a cube 300 having the same size by cutting four corners.
[0045]
By making the four corners of the cubes 301 to 305 having the same surface roughness correspond to binary numbers (BCD code) and the cubes 301 to 305 to which notches are added correspond to 4-bit binary numbers, a maximum of 16 (= 2 ^Four ) Can be specified. Therefore, the user first detects that the surface is category 1, and then, for example, if only the upper right corner is cut out, it detects that it is category 1-1 corresponding to “0001”, and the right When only the lower corner is notched, it is possible to detect the order and type in the same category, such as detecting that the category is 1-2 corresponding to “0010”. Here, the combination of notch positions is the second parameter.
[0046]
FIG. 4 discloses an example in which the ranks and types in the same category are specified for cubes 401 to 405 having the same surface roughness and the same two-dimensional shape according to the height difference.
[0047]
The user first detects that the surface roughness is category 1, then detects, for example, that the cube 401 corresponds to zero height and is category 1-1, and for example, the cube 402 has a height 410 (> 0), it is possible to detect the order and type in the same category, such as detecting that it is category 1-2. Here, height is the second parameter.
[0048]
Similarly, FIG. 5 discloses an example in which the ranks and types in the same category are specified for solids 501 to 505 having the same surface roughness depending on the shape.
[0049]
In FIG. 5, for example, a rectangular parallelepiped 501, a horizontal cube 502, a vertical cube 503, a triangular prism 504, and a sphere 505 are given priority in this order, and the user first detects that the surface roughness is category 1. Next, it is possible to detect the category 1-1 to the category 1-5, for example, corresponding to the shape, and to detect the order and type in the same category. Here, the three-dimensional shape is the second parameter.
[0050]
On the other hand, FIG. 6 shows an example in which category classification is performed with the shape already disclosed as the first parameter, and the rank within the category is specified with the surface roughness already disclosed as the second parameter.
[0051]
FIG. 6 discloses an example in which, for example, spheres 601 to 605 having the same shape are designated in the same category according to the difference in surface roughness. The spherical body 601 has the smallest surface roughness, the spherical body 605 has the largest surface roughness, and the hatching roughness corresponds to the surface roughness. The user first detects the category 1 by being a sphere, and then detects, for example, the category 1-1 to the category 1-5 corresponding to the surface roughness, and ranks within the same category. And can detect the type.
[0052]
By designating the rank within the same category by the method as shown in FIGS. 3 to 6, for example, in the category type of the program shown in FIG. 1, channel designation corresponding to videos V1 to V8, area designation corresponding to weather T1, etc. The designation within the same category can be selectively performed only by tactile sense.
[0053]
Hereinafter, a specific information transmission method using the apparatus of the present invention according to claims 1 to 4 will be described with reference to the drawings.
[0054]
FIG. 7 shows a method of converting a visual selection object such as an ISDB heading screen into a tactile selection object and presenting a stimulus to a tactile receptor of a user such as a visually handicapped person using a tactile / force sense presentation device. The example of a hardware configuration of one Embodiment of the tactile-information transmission apparatus which enables implementation is shown.
[0055]
In FIG. 7, a visual selection object data section 71 displays object information relating to the attributes / properties, functions, contents, etc. of the visual selection object, and the position, shape, color, etc. of the visual selection object displayed on the screen. Store. The selected object / parameter extracting unit 72 detects and extracts the object information from the visually selected object / data unit 71. The tactile sense presentation position setting unit 73 has a function of setting the position of the tactile sense presenting unit (not shown) in the three-dimensional space.
[0056]
The tactile sense presenting unit is provided as an output unit of the tactile / force sense presenting device 80 so that the user can wear it, and presents a stimulus to the tactile receptor of the user corresponding to the screen display position of the selected object. Presenting the stimulus can be performed by a conventional method that gives mechanical stimulation such as pin vibration, but the tactile / force sense presenting device 80 has the three-dimensional shape of the virtual object and the texture of the surface on the tactile receptor. It is preferable to use a type that can be expressed with a reaction force.
[0057]
The selected object / category classifying section 74 classifies the selected object / parameter extracting section 72 into the same category according to the attribute / nature, function, content, etc. of the selected object. The tactile sensation presentation parameter setting unit 75 sets a tactile sensation (texture) or presentation height due to a three-dimensional shape, surface roughness, friction, or the like as the second parameter for the categorized selection object.
[0058]
The computer 70 has a general configuration including a CPU, a RAM, a ROM, and an auxiliary storage device (a hard disk drive, a CD-ROM drive, etc.), and a tactile sensation presentation selected object data creation unit 77 that is responsible for processing by the computer 70 is a tactile sense. In accordance with the parameters set by the presentation parameter setting unit 75, spatial tactile presentation data of the selected object is created.
[0059]
The tactile sense drive unit 79 drives the tactile / force sense presenting device 80 under the control of the computer 70, and the tactile / force sense presenting device 80 presents tactile information (tactile stimulus) to the tactile receptor by the tactile sense presenting unit. The tactile sense presentation position detection unit 81 includes an angle sensor provided in the tactile / force sense presentation device 80 and detects the spatial position of the tactile sense presentation unit. The tactile presentation output control unit 78, which is controlled by the computer 70, has tactile presentation data presented to the tactile receptor obtained from the tactile presentation position setting unit 73, the tactile presentation selection object / data creation unit 77, and the tactile presentation position detection unit 81. Accordingly, the output of the tactile / force sense presentation device 80 is controlled to provide stimulus information to the user's receptor.
[0060]
Hereinafter, the operation of the tactile information transmission device according to the present invention will be described in detail.
[0061]
In FIG. 7, each object information of the selected object stored in the visually selected object / data section 71 includes position information on which the selected object should be displayed on the screen, and feature information such as its attribute / property, function, content, etc. Are extracted by the selected object parameter extraction unit 72. The tactile sense presentation position setting unit 73 sets an appropriate three-dimensional spatial position that can be presented by the tactile / force sense presentation device 80 based on the position information of the selected object obtained from the selected object / parameter extraction unit 72.
[0062]
In addition, the information regarding the attribute / property of the selected object extracted by the selected object / parameter extracting unit 72 is deciphered by the selected object / category classifying unit 74 and is classified into a desired category.
[0063]
The tactile sensation presentation parameter setting unit 75 sets appropriate three-dimensional shape, surface roughness / friction force, and presentation height parameters for each of the classified categories. Further, in the tactile sensation presentation object data creation unit 77, the tactile / force sensation presentation device 80 should return a reaction force to the tactile receptor based on the values set by the tactile presentation parameter setting unit 75 for each selected object. Create tactile presentation data corresponding to the dimensional position.
[0064]
The selected object converted from the visually selected object (stored object information) into the tactile selected object by such data generation exists as a virtual solid at the spatial position set by the tactile presentation position information setting unit 73. Become.
[0065]
The operation of actually searching for a virtual selection object by touch can be performed as follows.
[0066]
First, a finger with distributed tactile receptors is attached and fixed to the above-described tactile presentation unit, and the tactile presentation unit is moved. In accordance with this movement, the tactile presentation position detection unit 81 detects the spatial position of the tactile presentation unit, and the detected position is the tactile sense of the spatial position created by the tactile presentation output control unit 78 by the tactile presentation selection object data creation unit 77. Compared with the presentation data. Then, by controlling the reaction force by the tactile / force sense presentation device 80 by driving the tactile sense drive unit 79 by feedback control using the tactile sense output control unit 78, a finger feels as if the selected object exists. The selected object can be recognized by its three-dimensional shape and tactile sensation. A virtual switch (selected object) to be described later can also be pressed.
[0067]
As described above, the tactile sensation of the virtual selection object corresponding to the presentation information of the spatial position by converting the visual object into a tactile object represented by various tactile presentation parameters and using tactile receptors such as fingers. Can be obtained, and the selected object can be actually searched and pressed.
[0068]
As a result, when a visual selection object such as a heading screen is converted into a tactile selection object and presented to a tactile receptor, a large number of selection objects can be presented in a small presentation range, and a three-dimensional shape or surface texture to be presented, By using friction, presentation height, and the like as presentation parameters, it is possible to perform a quick search that is easy to recognize, and to immediately recognize the attribute properties of the selected object.
[0069]
Next, a tactile information transmission and information access method for ISDB header screen information according to an embodiment of the present invention will be described in detail.
[0070]
FIG. 8 is a block diagram showing the hardware and software configuration for classifying the ISDB header screen according to the program genre and presenting it on the tactile receptor according to claim 6 of the present invention. In FIG. 8, the same components as those in FIG. 7 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
[0071]
The ISDB data receiving unit 801 receives / inputs ISDB data such as heading screen information from the outside. The header screen index information extraction unit 802 extracts ISDB header screen information. The tactile sense presentation position setting unit 73 sets the tactile sense presentation position of the tactile / force sense presentation device 80. The program category classification unit 804 classifies the selected object in accordance with the program category information in the headline screen index information extraction unit 802. The tactile sensation presentation parameter setting unit 75 sets parameters such as a three-dimensional shape, surface roughness, frictional force, and presentation height appropriate for the selected object classified by the program category classification unit 804.
[0072]
The tactile sensation presentation object data creation unit 77 creates a three-dimensional selection object having a virtual switch function from the parameters set by the tactile sensation presentation parameter setting unit 75, thereby actually presenting a 2 / 3-dimensional tactile stimulus presentation It can be performed. The tactile sensation presentation output control unit 78 performs tactile / force sensation presentation according to tactile presentation data presented to the tactile receptor obtained from the tactile presentation position setting unit 73, the tactile presentation object data creation unit 77, and the tactile presentation position detection unit 81. Control the output of the device 80. The tactile sense presentation driving unit 79 drives and moves the tactile / force sense presentation device 80. The tactile sense presentation position detection unit 81 detects a spatial position of the tactile sense presentation unit of the tactile / force sense presentation device 80.
[0073]
Reference numerals 812 to 814 denote memory sections for heading items and program contents. The header item memory 812 stores title information of the header item. The program information memory 813 stores the content of the program selected from the title. The screen position information memory 814 stores position information where the selected item of the heading item is displayed on the screen. The heading item information output unit 815 reads the title information of the selected item of the heading item from the heading item memory 812 and outputs it. The program content output unit 816 reads the content of the program from the program information memory 813 and outputs it.
[0074]
The speech synthesizer 817 is an output device for text data of the heading item contents of the item information output unit 815, and outputs synthesized speech corresponding to the text data. The braille display device 818 is a text data output device of the contents of the heading item of the program content output unit 816, and presents a stimulus corresponding to the text data by a predetermined braille system.
[0075]
The tactile sense presentation / screen position comparison detection unit 819 compares the tactile sense presentation position of the selected object detected by the tactile sense position detection unit 81 with the screen display position from the screen position information memory 814, and outputs an error signal. The pointer superimposition position setting unit 820 sets the position of the pointer superimposed on the screen based on the error signal output from the tactile sensation / screen position comparison detection unit 819. The selected object press detection unit 823 compares the tactile presentation data from the tactile presentation object data creation unit 77 with the tactile presentation position of the selected object detected by the tactile presentation position detection unit 81, and thereby the heading presented by the tactile stimulus presentation. It detects that the selected object of the item has been pressed.
[0076]
The monitor device 822 includes a display screen. The pointer superimposing unit 821 superimposes a pointer such as an arrow on the position on the display screen set by the pointer superimposing position setting unit 820 and displays the pointer on the ISDB heading screen.
[0077]
The computer 800 has a general configuration including a CPU, a RAM, a ROM, and an auxiliary storage device (hard disk drive, CD-ROM drive, etc.). The computer 800 includes a tactile presentation selection object data creation unit 77, a tactile presentation output control unit. 78, each memory unit 812 to 814, item information output unit 815, program content output unit 816, tactile presentation / screen position comparison detection unit 819, pointer superimposed position setting unit 820, and selection object press detection unit 823.
[0078]
9 and 10 are flowcharts showing the flow of software processing for operating the hardware of FIG.
[0079]
Hereinafter, an operation example of the present embodiment will be described with reference to FIG. 8, FIG. 9, FIG. 10, and FIG.
[0080]
Videos such as the ISDB header screen 10 received by the ISDB data receiving unit 801 are always displayed on the monitor device 22.
[0081]
In FIG. 9, first, a data signal is extracted as index information of the ISDB header screen 10 from the ISDB data received by the ISDB data receiver 801 by the header screen index information extractor 802 (ST1). The following three processes are performed on the extracted data signal.
[0082]
The first process is the process shown in ST2 to ST4. That is, first, the program category classification unit 804 classifies the selected item of the headline item by category such as program content. Subsequently, the tactile sensation presentation parameter setting unit 75 sets parameters such as the three-dimensional shape at the time of tactile stimulus presentation, surface roughness / friction force, and presentation height for each category of the selected headline item selection object. Further, the tactile sensation presentation object data creation unit 77 provides the tactile sensation presentation data of the three-dimensional selection object for actually presenting the selection object of the heading item to which the parameter is set by applying a mechanical reaction force to the tactile receptor. Is created and stored in memory.
[0083]
The second process is the process shown in ST5 to ST6. That is, first, the position information of the heading item when the selected object is displayed on the display screen of the monitor device 22 is stored in the screen position information memory 814. Subsequently, the tactile sensation presentation position setting unit 73 sets tactile sensation presentation information corresponding to the selected item of the heading item, and sets a position where the haptic / force sensation presentation device 80 presents the haptic stimulus in an effective space area.
[0084]
The third process is the process shown in ST7 and ST8. That is, text data representing the title of the selected item of the heading item is stored in the program information memory 813. Further, the contents under the title hierarchy are also stored in the program information memory 813. The execution order of the three processes is not limited to the above order.
[0085]
This completes the setting of data related to tactile stimulus presentation from the received ISDB data. Following the setting, a tactile stimulus presentation operation by the tactile / force sense presentation device 80 is performed according to the sequence shown in steps ST10 to ST13 of FIG.
[0086]
In the tactile / force sense presenting device 80, when the tactile presenting portion is displaced with the movement of the finger, the moving position is detected by the tactile sense presenting portion position detecting unit 811 (ST10). It is determined whether or not the position of the tactile sense presenting part has moved (ST11), and when the movement is detected, the correspondence between the moved tactile stimulus presenting position and the object output is determined (ST12). That is, the position of the heading item selection object set in ST6 by the tactile sensation presentation position setting unit 73 and the heading item selection object created in ST4 by the tactile presentation selection object data creation unit 77 are set as the movement position. The tactile presentation data obtained from the tactile information is compared, and if the correspondence is taken, feedback control by the tactile presentation output control unit 78 is performed so as to apply a reaction force corresponding to the position of the tactile presentation unit of the tactile / force presentation unit 80. (ST13).
[0087]
While the above feedback control is performed, a control is performed in parallel with ST12 and ST13 so that the position of the tactile presenting unit coincides with the position on the display screen on the screen display side as the position of the tactile presenting unit is moved. That is, when the tactile sensation presentation unit moves in step ST11, the processing results of ST5 and ST6 are used in ST14, the display position of the selected object created by the haptic presentation selection object data creation unit 77, and the touch / force The spatial tactile presentation positions of the tactile presentation unit of the sensation presentation apparatus 80 are compared.
[0088]
The tactile sensation presentation / screen position comparison detection unit 819 detects a difference between the position on the screen of the pointer indicating the position of the haptic presentation unit on the screen and the position of the tactile presentation unit in the three-dimensional space (ST15), If there is no difference, the process proceeds to ST24 and the same process as ST14 is performed. If there is a difference, the pointer superimposed position setting unit 820 and the pointer superimposed unit 821 control the pointer position on the screen to display the pointer (ST16), and the process proceeds to ST24.
[0089]
Accordingly, when the tactile sensation presentation unit 80 is always moved by the tactile / force sensation presentation device 80, the selected item of the heading item can be touched tactilely, and visually, the virtual space is virtually generated by the movement synchronized therewith. The selected object of the heading item existing above can be confirmed.
[0090]
Next, a sequence for accessing the contents from the heading item will be described according to ST24 to ST36 in FIG.
[0091]
From the pointer position on the screen when the pointer position is controlled and the tactile stimulus presentation position, whether or not the position of the tactile sensation presenting part, that is, the pointer position, is within the display range (virtual switch position) of the selected item of the heading item (ST24, 25). Here, when it is within the range, the text data of the corresponding heading item is used from the heading item memory, and is output by voice or braille stimulation by the speech synthesizer 817 or the braille display device 818 (ST26). If not within the range, the process returns to ST10.
[0092]
When the tactile sense presenting unit is within the range of the selected object and the selection object pressing detection unit 823 detects pressing of the selection object (virtual switch) (ST35), the heading item stored in the program information memory 813 Is output to the speech synthesizer 817 or the braille display device 818 and output using the text data (ST36). If no press is detected, the process returns to ST10.
[0093]
The embodiment of the present invention related to information transmission (stimulus presentation) to the tactile receptor when the visually selected object is transmitted to the tactile sensation has been described above.
[0094]
According to the present embodiment, classification information such as position information and display format of the selected object on the screen, or title and program content of the selected object is detected from the additional information representing the attribute and property of the selected object, and the program content is classified. In the presentation to the tactile receptor, the three-dimensional shape, surface roughness, friction, presentation height, etc., which are distinguished for each category, are converted into a selected object and presented to the tactile receptor and selected by the user. When an object is touched, its position is displayed on the screen by a symbol such as an arrow or a hand, and the contents of the heading item are output by voice or Braille. In addition, by depressing the selection object, the heading item is selected, and the program content data stored under the hierarchy can be accessed.
[0095]
This enables visually impaired people and deafblind people to access information from visually selected objects such as integrated digital broadcasting headline screens while touching the screen. At the same time, it is possible to provide an information access interface that is easy to use for handicapped and healthy persons, such as a high-speed search for selected objects by multi-modal presentation in which information is also given to the tactile receptors.
[0096]
In the above embodiment, a method of accessing information by converting a visually selected object such as an ISDB heading screen into an object having a tactile virtual switch function and presenting it to the tactile receptor has been described. It is also possible to apply as a tactile sense presentation method.
[0097]
In the above embodiment, an example in which a visually selected object is presented in a three-dimensional manner using a tactile / force sense presenting apparatus has been implemented. However, as another method for presenting a visually selected object by surface roughness and shape, There is also a method of presenting the tactile receptor in a two-dimensional manner by a configuration using means such as a micromachine and other microactuators, and it is obvious that the present invention can be applied to this method.
[0098]
This two-dimensional tactile sensation presentation method can also be implemented by configuring a remote control device having a push button by a mechanical switch or a conductive switch as shown in FIG. 11, for example.
[0099]
In FIG. 11, a remote control device 1100 is a remote control device for a television receiver that can receive ISDB and display the heading screen of FIG. 1, and has push buttons 1101 to 1122 by the switches at predetermined positions. . This button installation position has a one-to-one correspondence with the heading item display position on the heading screen.
[0100]
Further, the push buttons 1101 to 1108 are the visual selection objects V1 to V8 (video) of various heading items in FIG. 1, the push buttons 1109 to 1112 are the visual selection objects S1 to S4 (resource switching), and the push button 1113 is. ˜1120 represents visual selection objects N1 to N6 (news), push button 1121 represents E1 (program guide), and push button 1122 has a different surface roughness for each heading item to correspond to the tactile sensation of the button surface. Is formed. Each type of hatching in FIG. 11 shows the same surface roughness as the hatching in FIG.
[0101]
In this way, even if the remote control device includes a plurality of push buttons by forming the tactile sensation of the push buttons 1101 to 1122 for each heading item in correspondence with a heading screen having a plurality of heading items. The heading item indicated by the button is informed to the user by the tactile sensation when touching 1101 to 1122, and a quick selection can be made. The surface roughness can be set for each program genre or for each operation function such as channel switching.
[0102]
【The invention's effect】
As described above, according to the present invention, when searching for visual object information, the visual selection object is converted into tactile information corresponding to the characteristics of the tactile selection object having virtual three-dimensional characteristics. Since it is presented on the tactile receptor of the user, it is possible for a user such as a visually impaired person to access desired information from a headline screen or an icon in the GUI environment of ISDB or a computer.
[0103]
Also, in the tactile presentation of the selected object, the attributes, properties, functions, contents, etc. of the selected object are classified by category, and the three-dimensional shape, surface roughness, friction texture, etc. or presentation height etc. are classified according to the category. By setting, the category of the selected object can be recognized in a short time, and the order can be specified in the same category by combining the presentation conditions, so that the selected object can be recognized only by tactile sense, By presenting in a multi-modal manner in synchronism with the visual sense, it is possible to quickly search for a selected object regardless of a visually impaired person or a sighted person, and an easy-to-use information access interface can be expected.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram schematically showing items on a heading screen serviced by ISDB.
FIG. 2 is an explanatory diagram showing an example of a method of converting a selection object in a heading screen into a tactile selection object and presenting it.
FIG. 3 is an explanatory diagram showing an example of specifying an order or type in the same category by combining the first parameter and the second parameter.
FIG. 4 is an explanatory diagram showing an example of specifying an order or type in the same category by combining the first parameter and the second parameter.
FIG. 5 is an explanatory diagram showing an example of specifying an order or type in the same category by combining the first parameter and the second parameter.
FIG. 6 is an explanatory diagram showing an example of specifying an order or type in the same category by combining the first parameter and the second parameter.
FIG. 7 is a block diagram illustrating a hardware configuration example of an embodiment of a haptic information transmission device according to the present invention.
FIG. 8 is a block diagram illustrating a hardware configuration example of another embodiment of the haptic information transmission apparatus according to the present invention.
FIG. 9 is a flowchart showing a flow of processing of software for operating the hardware of the another embodiment.
FIG. 10 is a flowchart showing a flow of software processing for operating the hardware of another embodiment.
FIG. 11 is an explanatory diagram showing a modified example in which the present invention is applied to a television device provided with a remote control device.
[Explanation of symbols]
70,800 computers
71 Visual selection object data part
72 Selected Object / Parameter Extraction Unit
73 Tactile Presentation Position Setting Unit
74 Selected object category classification part
75 Tactile presentation parameter setting section
77 Tactile presentation selection object data creation part
78 Tactile presentation output controller
79 Tactile presentation drive unit
80 Touch / force display device
81 Tactile sense position detection unit
801 ISDB data receiver
802 Headline screen index information extraction unit
804 Program category classification section
812 Heading item memory
813 Program information memory
814 Screen position information memory
815 Heading item information output section
816 Program content output section
817 Voice Synthesizer
818 Braille display device
819 Tactile display / screen position comparison detection unit
820 Pointer superimposed position setting unit
821 Pointer overlay
822 Monitor device
823 Selection object pressing detection unit

Claims

A conversion means for converting a visual selection object representing various selection items into a tactile selection object having a virtual three-dimensional feature, and a tactile stimulus corresponding to the feature are output to a stimulus generation means worn by the user. A tactile information transmission device comprising an output means,
The converting means includes classification means for classifying the visual selection object for each category based on category information of a selection item represented by the visual selection object, and three-dimensional of the tactile selection object for each of the classified categories. A first tactile sensation presentation parameter corresponding to one of the features is set, and a second tactile sensation presentation parameter is set for each category in which the parameter is set according to one of the three-dimensional features other than the one described above. Setting means for setting,
The output means outputs a different haptic stimulus for each category according to the first tactile presentation parameter, and further outputs a different haptic stimulus for each selected object in the same category according to the second tactile presentation parameter. A tactile information transmission device characterized by the above.

In claim 1,
The converting means comprises means for inputting the visual selection object;
The classifying means classifies the visual selection object for each category based on the category information based on the category information, characteristics of the visual selection object, display characteristics on the screen, and means for extracting the category information of the selection item. Means to
The first and second tactile presentations for presenting the tactile stimulus according to the three-dimensional characteristics of the tactile selection object to the user for the classified visual selection objects by the setting means. Set the parameters,
The output means presents the tactile stimulus to the user by controlling the output of the tactile presentation data based on the tactile presentation data and means for creating tactile sense presentation data according to the set parameters. A tactile information transmission device comprising a stimulation means.

In claim 2,
The first tactile sensation presentation parameter represents any one of a three-dimensional shape, a surface roughness, a friction characteristic, and a presentation height of the tactile selection object, and the second tactile sensation presentation parameter represents the three-dimensional shape, the surface roughness. A tactile information transmission device characterized by expressing any of the friction characteristics and the presentation height other than the above.

In claim 2,
The visual selection object is a visual setting object including a heading item displayed on a heading screen obtained from ISDB data,
Superimposing means for superimposing a pointer on a position on the screen according to the position of the stimulus generating means;
Pointer detection means for detecting in which visual setting object the display range of the pointer exists;
A pressing detection means for detecting that the heading item corresponding to the display range is pressed;
In synchronization with the movement of the stimulus generating means, further comprising a display means for displaying the movement position on the header screen by the pointer,
The output means feeds back a tactile stimulus according to the tactile selection object obtained by converting the visual selection object according to the movement, and when the stimulus generation means exists in the selection object of the heading item, A tactile information transmission device that outputs title information of a heading item, and outputs the contents under the heading item when a selection object of the heading item is pressed by the stimulus generation means.