JP2011146821A - 触覚情報提示装置、触覚情報提示方法、及びプログラム - Google Patents

Abstract

【課題】視覚障害者が撮影を行う際に、撮影対象が構図に収まっているか否かを判断可能な撮像装置の提供。
【解決手段】入力装置１５２により取得された画像から、当該画像内の撮影対象と背景との境界線の位置を示す位置情報を抽出する境界抽出部１５３と、抽出部により抽出された境界線の位置情報を基準に、予め定められた幅を有する境界領域を設定する領域決定部１５４と、境界領域に対応する表示画面へのユーザによる物理的な接触があるか否かを判断し、境界領域に対応する表示画面に物理的な接触があると判断された場合に、境界領域を振動させる触覚情報提示部１５６と、境界領域に対応する表示画面を凹状又は凸状に変形させ、撮影対象の触覚情報として提示する出力装置１５７とを備える触覚情報提示装置１５１を備えた撮像装置。
【選択図】図１

Description

本発明は、撮像範囲内の撮像対象を触覚情報としてユーザに提示する触覚情報提示装置、触覚情報提示方法、及びプログラムに関する。

近年では、タッチスクリーンに振動デバイスを組み込み、タッチを行うと視覚、聴覚情報と同様に触覚情報のフィードバックをユーザに返すことができるスクリーンがある。また、特許文献１では、カメラにより撮影された情報より、特徴的なオブジェクトを抽出してオブジェクトごとに凹凸情報としてユーザへ提示する技術が開示されている。

特開平１０−０６９５３９号公報

視覚障害者がカメラ撮影を行う場合、撮影対象が上手く構図に収まっているかわからないという心理的障害により撮影を思いとどまってしまうことがある。

一方で、晴眼者とペアになり撮影を行うケースも多く、晴眼者から構図のアドバイスを受けながら視覚障害者がシャッターを切るという方法が取られている。しかし、この場合はサポートする晴眼者の好みの構図で撮影することはできるが、撮影者である視覚障害者自身が構図を決めることができない。

特許文献１の例を撮像装置に取り入れた場合、周囲の景色情報を触覚情報として提示するため、視覚障害者が大局的に景色情報を把握して撮影を行うことが可能である。しかし、撮影の対象は、景色などの静止物だけでなく、人物などの動体であるケースも多く、そのようなケースには対応できない。また、実際に撮影を行う場合には、構図に収まっていることだけでなく、フォーカスやアンダーといった情報を把握していなければ上手く撮影することができない。

上記の課題に鑑み、本発明は、撮影範囲内の撮影対象を動体、静止物に関わらず、撮影状態を反映させた触覚情報として撮影対象の情報を提示することで、ファインダ画像が表示されている液晶を見ることなく撮影を行えるようにすることを目的とする。

上記目的を達成する、本発明に係る触覚情報提示装置は、
表示画面を凹状又は凸状に変形させることにより当該表示画面内の撮影対象を触覚情報として提示する触覚情報提示装置であって、
撮像手段の撮影範囲内の画像を取得する第１取得手段と、
前記第１取得手段により取得された画像から、当該画像内の撮影対象と背景との境界線の位置を示す位置情報を抽出する抽出手段と、
前記抽出手段により抽出された境界線の位置情報を基準とした、予め定められた幅を有する境界領域を設定する設定手段と、
前記境界領域に対応する表示画面へのユーザによる物理的な接触があるか否かを判断する判断手段と、
前記判断手段により前記境界領域に対応する表示画面に物理的な接触があると判断された場合に、前記境界領域を振動させる振動手段と、
前記振動手段による振動により前記境界領域に対応する表示画面を凹状又は凸状に変形させ、前記撮影対象の触覚情報として提示する提示手段と、
を備えることを特徴とする。

本発明によれば、撮影範囲内の撮影対象を動体、静止物に関わらず、撮影状態を反映させた触覚情報として撮影対象の情報を提示することで、ファインダ画像が表示されている液晶を見ることなく撮影を行えるようにすることができる。また、指やタッチペンへフィードバックされる触覚を頼りに構図の確認又は変更ができるようになる。

（ａ）第１実施形態に係る触覚情報提示装置のハード構成を示す図、（ｂ）第１実施形態に係る触覚情報提示装置の機能構成図。 第１実施形態に係る触覚情報提示装置の処理の概要を示す図。 第１実施形態に係る触覚情報提示装置の触覚情報提示処理を示すフローチャート。 第１実施形態に係る触覚情報提示装置の振動設定処理を示すフローチャート。 第２実施形態に係る触覚情報提示装置の処理の概要を示す図。 第２実施形態に係る触覚情報提示装置の振動設定処理を示すフローチャート。 第３実施形態に係る触覚提示装置の処理の概要を示す図。 第３実施形態に係る触覚提示装置の触覚情報提示処理を示すフローチャート。

（第１実施形態）
まず、図１（ａ）を参照して、本実施形態に係る触覚提示装置のハードウェア構成の一例を示すブロック図について説明する。バス１０１は、バスであり後述の各構成要素を接続する。ＣＰＵ１０２は、ＣＰＵ（Central Processing Unit）であり、各種処理のための演算や論理判断などを行い、バス１０１に接続された各構成要素を制御する。

触覚提示装置には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵ１０２による制御のためのプログラムを格納する。このメモリはＲＯＭ（Read-Only Memory）１０３であってもよいし、外部記憶装置などからプログラムがロードされるＲＡＭ（Random Access Memory）１０４であってもよい。あるいは、これらの組合せで実現しても構わない。

記憶装置１０５は、本実施形態に係るデータやプログラムを記憶しておくためのハードディスクなどの記憶装置である。また、記憶装置１０５と同様の役割を果たすものとして、外部記憶装置１０６を用いてもよい。ここで、外部記憶装置１０６とは、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。

入力装置１０７は、ユーザからの指示を入力するための入力装置である。ユーザは入力装置１０７を介して、触覚提示装置に指示を行う。出力装置１０８は、本実施形態における振動提示可能な提示手段として機能する出力装置である。出力装置１０８は、例えば、出力のための回路を含むＣＲＴ（Cathode-Ray Tube）や液晶表示器などのディスプレイ装置に振動を出力するアクチュエータを組み込むことにより実現することができる。また、入力装置１０７を兼ねたタッチパネルのような出力装置を用いてもよい。

次に、図１（ｂ）を参照して、本発明を適用できる触覚提示装置の機能構成図の例について説明する。各機能の制御は、図１（ａ）で示したＣＰＵ１０２により行われる。入力装置１５２は、タッチパネル等の指やタッチペンによるタッチ入力が可能なディプレイを想定している。タッチパネルを使用した場合には、入力装置１５２と出力装置１５７は同一の装置となる。本実施形態では、タッチパネルを使用する例について説明する。

境界抽出部１５３では、撮像範囲内のファインダ画像を取得する第１取得手段として機能する処理と、表示画面内の画像内に存在する撮影対象の境界線の位置情報を抽出する処理とを行う。ここで取得されるファインダ画像には、現在どの撮影対象にフォーカスが当っているかを表すフォーカス情報が含まれているものとする。境界抽出の方法は、公知のどのような方法であっても構わない。また、自動ではなく、手動でユーザが境界を指定する方法を用いても良い。

領域決定部１５４では、境界抽出部１５３で取得された撮像範囲内に写っている対象のフォーカス状態を取得し、フォーカス状態に応じてそれぞれの対象ごとに触覚情報の提示領域を決定する。ここで説明する領域とは、境界線を基準として一定の幅を有する境界領域についての情報である。例えば、境界線を基準として左右対称にどの程度の幅を持たせるかという情報である。

提示内容決定部１５５は、境界抽出部１５３で抽出された境界情報や、領域決定部１５４で決定された提示領域の情報に基づいて触覚情報として提示する内容を決定する。本実形態では、領域決定部１５４で決定された領域に指やタッチペンが触れたら振動を返すという提示内容を決定する。すなわち、タッチパネル等の提示領域への物理的な接触の有無を判定することになる。触覚情報提示部１５６では、提示内容決定部１５５で決定された提示内容で出力装置１５７組み込まれているアクチュエータを実際に振動させることで触覚情報の提示を行う。

図２及び図３を参照して、本実施形態の処理の概要及び処理のフローチャートについて説明する。ステップＳ３０１において、撮影範囲内のファインダ画像の取得と、取得したファインダ画像から撮影対象の境界を抽出する処理を行う。図２の例では、太線２０５で示すように、ファインダ画像内の背景とタワーの境界が抽出される。

ステップＳ３０２において、提示する触覚情報を決定する振動設定処理を行う。図４を参照して、この振動設定処理の詳細を示すフローチャートについて説明する。ステップＳ４０１において、取得されたファインダ画像の中から、まだ振動設定を行っていない対象を選択する処理を行う。

ステップＳ４０２では、現在振動設定を行っている撮影対象がフォーカスされている対象か否かを判断する。フォーカスされていれば（ステップＳ４０２；ＹＥＳ）、ステップＳ４０３へ進む。一方、フォーカスされていなければ（ステップＳ４０２；ＮＯ）、ステップＳ４０４へ進む。

ステップＳ４０３において、振動を提示する触覚提示領域を狭く設定する処理を行う。領域を狭く設定することで撮影対象の境界が触覚情報として鋭く提示されるようになる。一方、ステップＳ４０４は、振動を提示する触覚提示領域をステップＳ４０３において設定された場合よりも広く設定する処理を行う。撮影対象がフォーカスされていないため、領域を狭く設定することで撮影対象の境界が触覚情報として鋭く提示せず、区別するためである。

ステップＳ４０３とステップＳ４０４の処理で設定される触覚提示領域は、相対的に狭いか広いかを区別できれば、どのような広さで設定しても良い。図２の２０３で示されるｄ１がステップＳ４０３で設定される領域の幅である。一方、２０４で示されるｄ２がステップＳ４０４で設定される領域の幅である。この場合は、ｄ１＜ｄ２の関係になるように幅を決定し、領域を設定する。

本実施形態では、フォーカスについてのみ述べるが、振動を提示する触覚提示領域を決定するための情報としては、ファインダ画像の明るさ（明度）を用いてもよい。明るければ、領域を狭く設定し、暗ければ領域を広く設定することで、本フローに適用できる。すなわち、例えば、明度が閾値よりも大きい場合は境界領域の幅を、閾値よりも小さい場合における境界領域の幅よりも狭く設定する。その場合、明度を計測する計測手段として機能する計測装置を備える必要がある。

ステップＳ４０５において、全ての撮影対象に対して振動の設定が終わっているか判断する。処理が終わっている場合には（ステップＳ４０５；ＹＥＳ）、振動設定処理を終了する。まだ、処理を行っていない撮影対象がある場合には（ステップＳ４０５；ＮＯ）、ステップＳ４０１に戻る。以上がステップＳ３０２における具体的な処理である。

次に、ステップＳ３０３において、図２の２０２に示されるように、指がステップＳ３０２の振動設定処理で決定されたタッチパネル上の領域に触れているかを判断する。触れていれば（ステップＳ３０３；ＹＥＳ）、ステップＳ３０４へ進む。一方、触れていなければ（ステップＳ３０３；ＮＯ）、ステップＳ３０１へ戻り、ファインダ画像を再び取得して、境界の抽出処理を行う。

ステップＳ３０４において、ステップＳ３０２で決定された振動設定に基づいて、出力装置のタッチパネルに組み込まれているアクチュエータへ振動させる命令を行う。この振動により、境界領域に対応する表示画面を凸状又は凹状に変形させることにより、触覚情報の提示を行う。

ステップＳ３０５では、撮影を終了するか続けるかを選択する。終了するのであれば（ステップＳ３０５；ＹＥＳ）、処理を終了する。一方、撮影を続行するのであれば（ステップＳ３０３；ＮＯ）、ステップＳ３０１に戻り、撮影範囲内のファインダ画像から撮影対象の境界を抽出する処理を行う。

以上のような処理を行うことで、ユーザは撮像範囲内の撮影対象を触覚情報として認識し、構図の確認や変更が可能になる。

（第２実施形態）
第１実施形態では、撮影対象が静止している場合について述べた。第２実施形態では、撮影対象が動体である場合、又は触覚提示装置を備える撮像装置が動く場合について述べる。また、併せて触覚提示装置と撮影対象との距離を考慮に入れた場合についても説明する。本実施形態では、境界抽出部１５３は触覚提示装置と撮影対象との距離を取得する第２取得手段としても機能する。処理の基本的な流れは、第１実施形態で説明した図３の処理フローと同様である。本実施形態では、ステップＳ３０２の振動設定処理についてのみ第１実施形態と異なる。

図５及び図６を参照して、本実施形態の概要及び振動設定処理の流れを表すフローチャートについて説明する。

ステップＳ６０１において、第１実施形態で説明したステップＳ４０１での処理と同様に、取得されたファインダ画像の中からまだ振動設定を行っていない対象を選択する処理を行う。

ステップＳ６０２において、第１実施形態で説明したステップＳ４０２での処理と同様に、現在振動設定を行っている撮影対象がフォーカスされている対象か否か判断する処理を行う。フォーカスされていれば（ステップＳ６０２；ＹＥＳ）、ステップＳ６０３へ進む。一方、フォーカスされていなければ（ステップＳ６０２；ＮＯ）、ステップＳ６０４へ進む。

ステップＳ６０３において、第１実施形態と同様に振動を提示する領域を狭く設定する処理を行う。一方、ステップＳ６０４において、第１実施形態と同様に振動を提示する領域をステップ Ｓ６０３で設定された領域よりも広く設定する処理を行う。

そしてステップＳ６０５において、指とファインダ画像内の撮影対象との相対的な移動が遠い対象から近い対象への移動であるか否かを判断する。相対的な移動が遠い対象から近い対象への移動であれば（ステップＳ６０５；ＹＥＳ）、ステップＳ６０６の処理へ進む。一方、近い対象から遠い対象への移動であれば（ステップＳ６０２；ＮＯ）、ステップＳ６０７へ進む。ここで、指とファインダ画像内の撮影対象との相対的な移動が遠い対象から近い対象への移動とは、例えば、画像内の撮影対象までの距離が移動前と比較して移動後に近づいた場合に対応させてもよい。そして、近い対象から遠い対象への移動とは、画像内の撮影対象までの距離が移動前と比較して移動後に遠ざかる場合に対応させてもよい。

上述の指とファインダ画像内の撮影対象との相対的な移動には３パターンがある。１パターン目は、撮影対象が静止していて、指が動く場合である。２パターン目は、図５の５０１で示されるように、指は静止しているが、撮影対象が動体である場合である。３パターン目は、５０２で示すように指は静止しているが、触覚提示装置を組み込んだ撮像装置自体が動くために、相対的に撮影対象が動くケースである。例としては矢印５０３のように撮像装置を動かす場合である。いずれの場合であっても、指と撮影対象との相対的な移動を監視することにより、振動設定処理のフローを適用することができる。

ステップＳ６０６において、凸状に表現する反力に振動を設定する。その際に、撮影対象との距離に応じて、反力の強弱を調整することで、凹凸の前後関係だけでなく、距離感を表現しても良い。

一方ステップＳ６０７において、凹状に表現する反力に振動を設定する。その際に、撮影対象との距離に応じて、反力の強度を調整する強度決定処理を行うことで、凹凸の前後関係だけでなく、距離感を表現しても良い。

なお、撮影対象との距離に応じて、凹凸の程度を決定してもよい。その場合、撮影対象との距離が近ければ凸の程度を大きく、撮影対象との距離が遠ければ凸の程度を小さく、或いは、凹状に表示画面を変形させてもよい。

ステップＳ６０８において、第１実施形態で説明したステップＳ４０５での処理と同様に、全てのオブジェクトの振動設定が終わったか否かを判断する。処理が終わっていれば（ステップＳ６０８；ＹＥＳ）、振動設定処理を終了する。一方、処理を行っていない撮影対象がある場合には（ステップＳ６０８；ＮＯ）、ステップＳ６０１に戻る。以降は第１実施形態で説明した処理と同様の処理を行う。

以上のような処理を行うことで、ユーザは撮像範囲内の撮影対象が動体であっても触覚情報として認識し、構図の確認や変更が可能になる。

（第３実施形態）
上述の第１及び第２実施形態においては、常に振動の設定を更新する処理を行っていた。しかし、常に第１及び第２実施形態の処理のフローを実施するのでは、適用する撮像装置によっては処理が遅くなる可能性がある。そこで本実施形態では、ユーザが指示した場合のみ振動設定を更新する例について述べる。

図７及び図８を参照して、が本実施形態の処理の概要及び処理の流れを表すフローチャートについて説明する。ステップＳ８０１において、撮影範囲内の撮影対象のいずれかにフォーカスが当っているか否かを判断する。撮影対象のいずれかにフォーカスが当っていれば（ステップＳ８０１；ＹＥＳ）、ステップＳ８０２へ進む。一方、いずれの撮影対象にもフォーカスが当っていなければ（ステップＳ８０１；ＮＯ）、再びステップＳ８０１へ戻る。この判断処理をフローチャートに導入することで、図７の７０１に示されるようにユーザがフォーカスを合わせる操作を行った場合のみ、ステップＳ８０２以降の処理へ進むことになる。

ステップＳ８０２において、第１実施形態と同様に、撮像範囲内のファインダ画像から撮像対象の境界を抽出する処理を行う。ステップＳ８０３において、第１実施形態と同様に、提示する触覚情報を決定する振動設定処理を行う。

ステップＳ８０４において、ステップＳ８０３の振動設定処理で決定された領域に指が触れているか否かを判断する。触れていれば（ステップＳ８０４；ＹＥＳ）、ステップＳ８０５の処理へ進む。一方、触れていなければ（ステップＳ８０４；ＮＯ）、ステップＳ８０４へ戻る。

ステップＳ８０５において、第１実施形態と同様に、ステップＳ８０３で決定された振動設定に基づいて、出力装置のタッチパネルに組み込まれているアクチュエータへ振動の指示を行う。

ステップＳ８０６において、振動設定を更新しないか否かを判断する。更新しないのであれば（ステップＳ８０６；ＹＥＳ）、ステップＳ８０７へ進む。更新するのであれば（ステップＳ８０６；ＮＯ）、ステップＳ８０１へ進む。この処理において、振動設定を更新しない限り、本実施形態では撮像範囲内のファインダ画像の取得も行わない。すなわち図７の７０２で示されるように、この時点で本触覚提示装置を組み込んだ撮像装置をどの方向へ動かしたとしても、ファインダ画像は変化しない。

ステップＳ８０７において、撮影を終了するか否かの判断を行う。終了するのであれば（ステップＳ８０７；ＹＥＳ）、撮影を終了する処理を行う。一方、撮影を継続するのであれば（ステップＳ８０７；ＮＯ）、ステップＳ８０４へ戻る。

一方、ステップＳ８０６において、ステップＳ８０１へ戻る場合には、ユーザが再びフォーカスを合わせるまで待機することになる。図７の７０２で示されるタワー７０４を中心にして写したい場合には、左矢印の方向へ撮像装置を移動させ、その状態で７０３のようにフォーカスを合わせる。するとステップＳ８０２の処理によって、撮影対象の境界の抽出処理がなされてタワー７０４が中心に写るようになる。中心へ移動させたタワーを表現する触覚情報をユーザは提示されるので、その情報を頼りにタワーが中心に写っていることを確認し、シャッターを切ることで撮影を行うことができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 表示画面を凹状又は凸状に変形させることにより当該表示画面内の撮影対象を触覚情報として提示する触覚情報提示装置であって、
   撮像手段の撮影範囲内の画像を取得する第１取得手段と、
   前記第１取得手段により取得された画像から、当該画像内の撮影対象と背景との境界線の位置を示す位置情報を抽出する抽出手段と、
   前記抽出手段により抽出された境界線の位置情報を基準とした、幅を有する境界領域を設定する設定手段と、
   前記境界領域に対応する表示画面へのユーザによる物理的な接触があるか否かを判断する判断手段と、
   前記判断手段により前記境界領域に対応する表示画面に物理的な接触があると判断された場合に、前記表示画面における前記境界領域に対応する領域を振動させる振動手段と、
   前記振動手段による振動により前記境界領域に対応する表示画面を凹状又は凸状に変形させ、前記撮影対象の触覚情報として提示する提示手段と、
   を備えることを特徴とする触覚情報提示装置。
2. 前記撮影対象がフォーカスされているか否かを判定する判定手段をさらに備え、
   前記設定手段は、前記判定手段により前記撮影対象がフォーカスされていると判定された場合における前記境界領域の幅を、前記判定手段により前記撮影対象がフォーカスされていないと判定された場合における前記境界領域の幅よりも狭く設定することを特徴とする請求項１に記載の触覚情報提示装置。
3. 前記撮影対象の明度を計測する計測手段をさらに備え、
   前記設定手段は、前記計測手段により計測された明度が閾値よりも大きい場合における前記境界領域の幅を、前記閾値よりも小さい場合の前記境界領域の幅よりも狭く設定することを特徴とする請求項１に記載の触覚情報提示装置。
4. 前記撮像手段から、前記抽出手段により境界線の位置情報が抽出された撮影対象までの距離を取得する第２取得手段をさらに備え、
   撮影範囲内で前記撮影対象が移動した場合に、
   移動前の撮影対象までの距離が移動後の撮影対象までの距離よりも近ければ、
   前記提示手段は、前記振動手段による振動により前記境界領域を凸状に変形させ、前記撮影対象の触覚情報として提示し、
   移動前の撮影対象までの距離が移動後の撮影対象までの距離よりも遠ければ、
   前記提示手段は、前記振動手段による振動により前記境界領域を凹状に変形させ、前記撮影対象の触覚情報として提示することを特徴とする請求項１乃至３の何れか１項に記載の触覚情報提示装置。
5. 撮影範囲内の画像を更新する指示を与える指示手段をさらに備え、
   前記指示手段により更新の指示がなされた場合に、撮影範囲内の画像を更新することを特徴とする請求項１乃至４の何れか１項に記載の触覚情報提示装置。
6. 表示画面を凹状又は凸状に変形させることにより当該表示画面内の撮影対象を触覚情報として提示する触覚情報提示方法であって、
   第１取得手段が、撮像工程により撮影範囲内の画像を取得する第１取得工程と、
   抽出手段が、前記第１取得工程により取得された画像から、当該画像内の撮影対象と背景との境界線の位置を示す位置情報を抽出する抽出工程と、
   設定手段が、前記抽出工程により抽出された境界線の位置情報を基準とした、予め定められた幅を有する境界領域を設定する設定工程と、
   判断手段が、前記境界領域に対応する表示画面へのユーザによる物理的な接触があるか否かを判断する判断工程と、
   振動手段が、前記判断工程により前記境界領域に対応する表示画面に物理的な接触があると判断された場合に、前記境界領域を振動させる振動工程と、
   提示手段が、前記振動工程による振動により前記境界領域に対応する表示画面を凹状又は凸状に変形させ、前記撮影対象の触覚情報として提示する提示工程と、
   を有することを特徴とする触覚情報提示方法。
7. 請求項６に記載の触覚情報提示方法をコンピュータに実行させるためのプログラム。

Images