JP2003023699A

JP2003023699A - 空間情報聴覚化装置および空間情報聴覚化方法

Info

Publication number: JP2003023699A
Application number: JP2001205088A
Authority: JP
Inventors: Eiji Kawamura; 英二川村; Susumu Nakayama; 進中山; Taichi Kimura; 太一木村
Original assignee: SAIBUAASU KK
Current assignee: SAIBUAASU KK
Priority date: 2001-07-05
Filing date: 2001-07-05
Publication date: 2003-01-24

Abstract

(57)【要約】【課題】対象空間内の環境、状態等をより確実かつ臨場
感良く把握させる空間情報聴覚化装置を提供する。【解決手段】空間情報聴覚化装置は、撮像装置の画像デ
ータに基づいて、少なくとも予め決められた三次元空間
内に存在する物の三次元座標データを取得する空間情報
取込手段１を備える。さらに、空間情報取込手段１から
の三次元座標データに基づいて、物を認識する空間情報
認識手段２と、空間情報認識手段２の認識結果に基づい
て、物に関する立体音響を出力する立体音響出力手段３
とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、空間情報聴覚化装
置及び空間情報聴覚化方法に関し、特に撮像装置により
撮像された画像データに基づき、空間に存在する物に関
する立体音響を出力する空間情報聴覚化装置及び空間情
報聴覚化方法に関する。

【０００２】

【従来の技術】視覚障害者が街等を歩行するとき、杖を
用いて障害物の有無、位置を確認しながら、歩行する。
その者が杖を進行方向に向けて動かすことによって、進
行方向の障害物、段差等の存在を確認することができ
る。

【０００３】最近は、歩道や駅のホームにおいて、誘導
ブロックが設置されている。誘導ブロックは、視覚障害
者が目的地への道順、交差点、信号等を知るのに役立っ
ており、杖との併用により歩行の安全性を高めている。

【０００４】また、地磁気センサー、ＧＰＳ（Ｇｌｏｂ
ａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）等のデ
ータと地図情報を利用して、視覚障害者の現在位置を音
声情報で知らせる装置が開発されている。

【０００５】さらに、超音波センサーをメガネ、ペンダ
ント等に取付け、反射された超音波信号に基づいて障害
物の存在を視覚障害者に知らせる装置も開発されてい
る。メガネ等に取付けるため、視覚障害者は、歩行中に
変化する道路状況等を把握できるので、危険回避及び安
全確保の面で有効である。

【０００６】さらにまた、最近は盲導犬の代わりにな
る、歩行補助のためのロボットも、開発されている。ロ
ボットは、ビデオカメラ、超音波センサー、地磁気セン
サー等を有して、障害物、段差等を認識して、利用者へ
知らせる。地図情報を利用することで、ロボットは道案
内をすることができるものもある。

【０００７】

【発明が解決しようとする課題】杖の場合、利用者は杖
で物体に触れることが条件であり、杖の先を継続的に広
範囲に動かさなければならない。熟練者であっても、障
害物や段差を判断し損ねることがあり、路上の電柱等へ
の激突や、駅ホームからの転落事故が発生している。さ
らに、足元より上に位置する物体に杖で触れることがで
きないので、頭部付近に突き出たトラックのサイドミラ
ーや、住宅地の植木の枝等を避けることは困難であっ
た。

【０００８】誘導ブロックの場合、放置自転車、商店の
看板等の不測の障害物が誘導ブロックの上にあると、衝
突、転倒事故の原因となっていた。

【０００９】ＧＰＳ等のデータと地図情報を利用した装
置の場合、歩行する前に取得された情報であるので、自
転車や看板等の不測の障害物に対しては有効なものとは
いえない。

【００１０】超音波センサー付きのメガネ等の場合、超
音波を吸収してしまう物体がある場所および乱反射する
場所では、誤認識してしまうことがあった。また、発信
した超音波が戻ってこなければならないので、狭い範囲
でしか認識ができなかった。さらに、超音波では他の機
器への影響が大きいため、心臓ペースメーカを使用して
いる人の近く、あるいは飛行機の中では使用できない。
従って、視覚障害者が日常生活の中で使用する場所が限
られていた。

【００１１】ロボットの場合、盲導犬において問題とな
っていた、育成、排泄物処理等の問題はないが、装置の
大きさ及び重量の問題と、階段、エスカレータ等での安
全性確保の問題がある。

【００１２】

【課題を解決するための手段】そこで、本発明は、上記
の課題を解決するためになされたもので、空間に存在す
る物の存在を、より確実かつ臨場感良く把握させること
ができる空間情報聴覚化装置及び空間情報聴覚化方法を
提供することを目的とする。

【００１３】本発明の空間情報聴覚化装置は、撮像装置
の画像データに基づいて、少なくとも予め決められた三
次元空間内に存在する物の三次元座標データを得て、前
記物に関する前記三次元座標データに対応する立体音響
を、生成あるいは予め決められた音源データベースの音
から選択して、出力する。

【００１４】また、本発明の空間情報聴覚化装置は、撮
像装置の画像データに基づいて、少なくとも予め決めら
れた三次元空間内に存在する物の三次元座標データを取
得する空間情報取込手段と、空間情報取込手段からの三
次元座標データに基づいて、物を認識する空間情報認識
手段と、空間情報認識手段の認識結果に基づいて、物に
関する立体音響を出力する立体音響出力手段とを有す
る。

【００１５】さらに、本発明の空間情報聴覚化方法は、
撮像装置の画像データに基づいて、少なくとも予め決め
られた三次元空間内に存在する物の三次元座標データを
得る工程と、前記物に関する前記三次元座標データに対
応する立体音響を、生成あるいは予め決められた音源デ
ータベースの音から選択して、出力する工程を有する。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００１７】図１から図９は、本発明の実施の形態の一
つを示す。図１は、本発明の実施の形態に係る空間情報
聴覚化装置の全体構成を説明するための図である。図２
は、空間情報取込装置の構成を説明するための図であ
る。図３は、撮像された複数の画像データの対応点を説
明するための図である。図４は、空間情報認識手段の構
成を説明するための図である。図５は、立体音響生成装
置の構成を説明するための図である。図６は、音源デー
タベースのデータ例を示す図である。

【００１８】まず図１に基づき、本実施の形態の全体構
成を説明する。

【００１９】図１において、１は、空間情報取込装置で
あり、２は、空間情報認識手段であり、３は立体音響生
成装置である。４はユーザである。空間情報取込装置１
は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭＯＳ）
イメージセンサ、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅ
ｄＤｅｖｉｃｅ）イメージセンサ等の撮像装置により
撮像された、予め決められた三次元空間内の撮像対象空
間５の画像データに基づき、画像データ内の物について
立体情報の一部である座標データ、距離データ等を空間
情報認識装置２及び立体音響生成装置３へ出力する。予
め決められた対象空間５とは、例えば、カメラの前方１
００メートル以内で、水平方向の角度では中心から左右
にそれぞれ３０度、すなわち併せて６０度の範囲内等で
ある。ここで、空間情報とは、三次元空間内に存在する
物に関する情報をいい、立体情報を含む。空間情報は、
物の三次元座標位置データ、物までの距離データ、物の
認識結果データ、物の状態変化データ等についての情報
を含む。立体情報とは、画像データに基づき演算された
物の座標位置データ、物まのでの距離データ、物の立体
形状データ等をいう。

【００２０】空間情報認識手段２は、少なくとも対象物
認識処理あるいは時系列変化認識処理を行い、空間情報
取込装置１からの座標データ、距離データ等に基づい
て、対象物６の認識と対象物の変化状態の認識を行う。
対象物認識処理では、三次元座標データに基づいて認識
された形状、色等から対象物の認識あるいは推定が行わ
れ、認識された対象物の情報（以下、対象物情報ともい
う）が生成される。認識あるいは推定は、データベース
に予めストアしておいた対象物毎の寸法、大きさ、色、
想定存在位置等のデータに基づいて行われる。想定存在
位置のデータは、その物が通常存在する場所あるいは位
置関係に関する知識データである。例えば、机であれば
通常床の上にある、等の知識である。さらに、データに
は存在確率データを含めてもよい。存在確率データは、
その物がその場所に存在する確率あるいは非存在の確率
データである。

【００２１】また、時系列変化認識処理では、認識され
た対象物の時系列における、すなわち時間的な対象物の
変化状態、例えば移動方向等が認識され、その変化状態
の認識結果が変化情報として出力される。

【００２２】なお、上述した説明では、空間情報取込装
置１は予め決められた空間内の空間情報のみを出力する
ようにしているが、三次元空間内の認識すべき対象物の
範囲は、空間情報取込装置１で決定するのではなく、空
間情報認識手段２において空間情報取込装置１からの三
次元空間内の座標データに基づいて選択あるいは決定す
るようにしてもよい。

【００２３】立体音響生成装置３では、空間情報認識手
段２からの認識情報に基き、認識された物体に対応する
音が生成あるいは音源データベースから選択される。さ
らに、立体音響生成装置３は、その生成あるいは選択さ
れた音と、認識情報に含まれる状態変化情報に基づき、
立体音響を生成し、出力する。出力された立体音響は、
ユーザ４が装着するヘッドホンにより再生される。立体
音響とは、あたかもその音を聞くユーザが三次元空間内
の位置データに対応する位置に存在する（例えば立って
いる）ように、ユーザに聴こえる音であり、具体的に
は、人間がヘッドホンにより聴いたとき、３６０度の仮
想的な音像を認識できるものである。聴こえてくる音の
位置の移動、音の位置に応じた残響の生成、ドップラー
効果の生成、反射した間接音の生成等により、距離感、
方向感、移動感等が表現可能である。なお、立体音響に
関する市販の製品としては、ローランド社の「ＳＯＵＮ
ＤＳＰＡＣＥＰＲＯＣＥＳＳＯＲＲＳＳ−１０」があ
る。また、立体音響生成装置３は、空間情報取込装置１
からの立体情報にも基づいて音響を生成する。

【００２４】従って、撮像装置の画像データに基づい
て、少なくとも予め決められた三次元空間内に存在する
物の三次元座標データを得ることによって、その物に関
する三次元座標データに対応する立体音響が、生成ある
いは予め決められた音源データベースの音から選択され
て出力される。

【００２５】次に、上記の構成につき、さらに詳述す
る。

【００２６】図２は、空間情報取込装置の構成を説明す
るための図である。空間情報取込装置１は、主に画像取
込装置１２、特徴点（領域）抽出処理部１３、対応点
（領域）探索処理部１４、距離情報生成処理部１５及び
出力処理部１６を含む。

【００２７】画像取込装置１２には、撮像装置１１から
の画像データが入力される。ここでは、ＣＭＯＳイメー
ジセンサを有する４台のカメラ１１ａ、１１ｂ、１１
ｃ、１１ｄが、認識したい対象空間５に向けて設けられ
ている。画像取込装置１２は、各カメラからの画像デー
タの供給を受けて、図示しないメモリにストアする。

【００２８】特徴点（あるいは特徴領域）抽出処理部１
３では、メモリにストアされた各画像データが、画素単
位、あるいは予め定めた小領域単位（例えば、ｎ×ｍの
画素（ｎ、ｍは整数）の矩形領域単位）でスキャンさ
れ、その画素あるいは小領域の特徴量が演算される。画
像データの全てについて画素単位あるいは小領域単位で
特徴量、例えば、線形状、色、明度、模様（テクスチ
ャ）、エッジ等の特徴量が演算される。例えば、ある小
領域の画像データの各特徴量について予め定めた閾値と
比較し、その閾値以上であれば、その特徴量をその小領
域の特徴量データとしてメモリにストアする。特徴量の
演算（抽出）は、何らかのフィルタ処理であり、入力デ
ータに対して何らかの出力データが得られることをい
う。なお、以下の説明では特徴量が小領域単位で抽出さ
れた場合で説明する。

【００２９】対応点（領域）探索処理部１４では、特徴
点（領域）抽出処理部（以下、特徴量抽出部という）１
３でフィルタ処理されたある画像データの各小領域毎の
特徴量を、他の３つの画像データの各小領域の特徴量と
比較し、対応する小領域を探索する。図３の例で示す
と、１３ａで一つの小領域の特徴量が算出されたとき、
他の３つの画像データの中でその特徴量と同じあるいは
近似する特徴量の小領域を探索し、その一致あるいは近
似する小領域の位置データが関連付けてストアされる。
その結果、車のヘッドライトの部分が一つの小領域であ
れば、画像データ１３ａ、１３ｂ、１３ｃ、１３ｄの４
つの小領域の画像データが関連付けられ、それらの関連
付けデータがストアされる。対応点（領域）探索処理部
１４は、画像データの全てについてその対応点、すなわ
ち対応領域の抽出処理が行われ、各画像データの中から
同じあるいは近似の特徴量を有する小領域を探索する。
対応点（領域）探索処理部１４で画素あるいは小領域が
関連付けられると、次に、距離情報生成処理部１５にお
いて、画素単位で三角測量の原理を用いて、その関連付
けされた領域の座標位置データのずれ量に基づいて、各
画素の三次元座標値が算出される。すなわち、距離情報
生成処理は、１３ａ、１３ｂ、１３ｃ及び１３ｄの内の
少なくとも２つの画像データに基づいて、画素単位で距
離を算出する。なお、４つの画像データがあるので、３
つの組（セット）について求めた距離情報の平均値等を
用いて距離を決定してもよい。

【００３０】このようにして、空間情報取込装置１で
は、画素毎あるいは小領域単位で、三次元座標データ
と、距離データが算出され、メモリ装置（図示せず）に
ストアされる。

【００３１】また、画像取込装置等の各装置あるいは処
理部は、ハードウエア回路で実現してもよく、あるいは
中央処理装置（以下、ＣＰＵという）に実行されるソフ
トウエアで実現してもよい。画像取込装置だけでなく、
後述する空間情報認識手段および立体音響生成装置も、
高速処理可能なハードウエア回路およびソフトウエア処
理を用いることにより、実時間（リアルタイム）で対象
物の認識等をすることができ、その結果等をユーザへ知
らせることができる。

【００３２】次に、空間情報認識手段２について説明す
る。空間情報認識手段２は、図４に示すように、対象物
認識処理部２１と、時系列変化認識処理部２２と、出力
処理部２３とを有する。

【００３３】対象物認識処理部２１では、空間情報取込
装置１において取得された立体情報のデータと、予め作
成しておいた認識すべき対象である物（以下、対象物と
いう）に関するデータベースとのマッチングをとること
によって、対象物の認識を行う。具体的には、立体情報
の三次元座標データに基づき対象物の寸法が演算され
る。さらに、その演算された寸法データと、立体情報中
の形状、模様、色彩等のデータに基づき、対象物の認識
あるいは推定（以下、認識という）が行われる。その結
果、認識された対象物について、例えば、物は「小型自
動車」、車種は「ワンボックス」、三次元座標位置デー
タ（Ｘ，Ｙ，Ｚ）と、認識された対象物の姿勢（向きな
ど）の対象物データが得られる。

【００３４】時系列変化認識処理部２２では、認識され
た対象物の変化状態を認識する。変化状態とは、例え
ば、対象物の移動速度、移動方向、変形形状等である。
時系列変化認識処理部２２は、対象物の変化状態を認識
すると、その状態変化データを出力する。状態変化デー
タとしては、例えば、認識されたのが自動車であれば、
その移動速度データ、移動方向データ、ドアの開閉等の
イベントデータ等である。車の速度データ等は、状態変
化データに含めて出力される。

【００３５】認識情報である対象物データと状態変化デ
ータは、出力処理部２３を介して出力される。

【００３６】従って、空間情報取込装置１で算出された
立体情報に基づいて、空間情報認識手段２では、例え
ば、物は「小型自動車」であり、正面に対し「右斜め４
５度の角度方向から近づいてくる」等の認識をすること
ができる。

【００３７】次に、立体音響生成装置３について図５に
より説明する。立体音響生成装置３は、音源を生成ある
いは選択する音生成・選択処理部３１と、立体音響を生
成する立体音響生成装置３２と、出力処理部３３とを含
む。立体音響生成装置３は、空間情報取込装置１におい
て取得された立体情報と、空間情報認識手段２で認識さ
れた対象物データと状態変化データを含む認識情報が入
力される。

【００３８】まず、空間情報認識手段２からの認識情報
のデータを受信した場合について説明する。音生成・選
択処理部３１は、例えば、「小型自動車で１ボックスタ
イプのもの」が、「右斜め４５度の方向にある距離だけ
離れて存在している」という認識情報のデータを受け取
ると、「小型自動車で１ボックスタイプのもの」に対応
する音を生成、あるいは音源データベース３４から選択
する。

【００３９】立体音響生成装置３２は、音生成・選択処
理部３１で生成された音、あるいは音源データベース３
４から選択された音を、三次元位置情報、状態変化デー
タ等に基づいて立体音響を生成し、その音響信号をアナ
ログ信号で出力する。立体音響生成装置３２は、ディレ
イ、エコー、リバーブ等のディジタルエフェクト変換処
理を組み合わせることで三次元立体音響を生成する。従
って、「右斜め４５度の方向にある距離だけ離れて存在
している」という認識情報のデータに対応した音響信号
が出力される。

【００４０】具体的には、例えば、対象物である「小型
自動車で１ボックスタイプのもの」がある距離離れた位
置に止まっている場合には、その対象物に対応する音
が、その位置（距離と方向）からユーザに聞こえるよう
な音響が生成されて出力される。対象物である「小型自
動車で１ボックスタイプのもの」がある距離離れた位置
で動いている場合には、その対象物に対応する音が、そ
の位置（距離と方向）から移動方向に移動しているよう
にユーザに聞こえるような音響が生成されて出力され
る。

【００４１】なお、立体音響生成装置３２は、単に音源
からの音を距離感等がわかるように生成して出力するだ
けでなく、他の対象物、例えば壁や天井等、の存在情報
に基づき、反射音等も生成して出力するようにしてもよ
い。

【００４２】次に、音生成・選択処理部３１が空間情報
取込装置１からの立体情報を受信した場合について説明
する。対象物の認識はされていないが、予め決められた
距離あるいは範囲内に何かの物が急に現れたような場
合、立体情報中の距離データ等に基づき予め決められた
音が出力される。これにより、物の認識をしなくてもユ
ーザに危険等を知らせ、危険等を回避することができ
る。

【００４３】図６に音源データベース３４のデータ例を
示す。認識された対象物について、その対象物が動いて
いるときの音、及び静止しているときの音を予め定めて
おく。例えば、自動車であっても、軽自動車の場合は、
動いているときは「羊の走る音」で、静止しているとき
は「羊の鳴く音」とする。普通自動車の場合は、動いて
いるときは「馬の走る音」で、静止しているときは「馬
のいななき音」とする。大型自動車の場合は、動いてい
るときは「象の走る音」で、静止しているときは「象の
鳴く音」とする。また、自転車の場合は、動いていると
きは「鳥の羽音」で、静止しているときは「鳥のさえず
り」とする。人間の子供であれば、動いているときは
「ネコのスズ音」で、静止しているときは「ネコの鳴き
声」とする。また、街の中の看板の場合はネズミの鳴き
声で、道路上の横断歩道であればスズムシの鳴き声とな
っている。駅のホーム上における白線の場合は、金属ワ
イヤのはじく音とする。また、ホームなどにおける階段
の場合で、昇り階段であればピアノの「ドレミファソ」
で、下り階段であればピアノの「ドシラソファ」とす
る。このように、対象物に応じた音を予め決めて、音源
データベースにストアしておく。

【００４４】そして、立体音響生成装置３２は、選択あ
るいは生成された音を、対象物の状態変化の有無及びそ
の変化量データに基づいて、ヘッドホンにおいて所定の
空間位置に所定の音が出力されるように立体音響を生成
し、ヘッドホンへ伝える。

【００４５】立体音響生成装置３２へ供給されるデータ
の入力は、認識された対象物データと、状態変化データ
（速度等のデータも含む）である。従って、大型トラッ
クが４５度の方向から近づいてくるときは、「象の走る
音」が認識された速度で４５度の方向から、ドップラー
効果等が加味されて聴こえるように音響が生成される。

【００４６】また、空間情報認識手段２は、路上の白い
線、道路標識、信号等、特別に注意を払う必要のある物
体を検知した場合は、その物体であることを立体音響生
成装置３を通して記号情報、言語情報を含む音声に変え
てユーザに通知する。

【００４７】以上説明したような構成に基づき、具体的
な利用形態を説明する。

【００４８】図７と図８は、ひとつの利用形態を示す。
図７は、本発明に係る空間情報聴覚化装置のひとつの実
施形態を説明するための図である。図８は、図７の装置
を用いた利用形態を説明するための図である。図７に示
すように、ユーザは、前方空間の映像情報を取り込むた
めのカメラ４１，４２，４３，４４，４５，４６が装着
されたメガネ４７をかける。メガネに撮像装置を搭載し
ているので、ほぼユーザの視界方向あるいは認識したい
方向の画像データを取り込むことができる。このメガネ
４７から画像信号は、画像信号伝達ケーブル５０を介し
てウエアラブルコンピュータ、パーソナルコンピュータ
等の携帯型計算機（以下パソコンという）４９へ供給さ
れる。特に、ウエアラブルコンピュータであれば、携帯
性に優れる。パソコン４９には、上述した空間情報取込
装置１、空間情報認識手段２および立体音響生成装置３
のためのハードウエア及びソフトウエアが搭載されてい
る。

【００４９】ＣＭＯＳイメージセンサを含む複数のカメ
ラからの画像信号は、パソコン４９内の空間情報取込装
置１へ入力され、空間情報認識手段２で認識された認識
情報に基づき、立体音響生成装置３で立体音響が生成さ
れ、ユーザのヘッドホン４８により再生される。この場
合も、予め決められた空間、例えば前方２０メートル、
視野角１００度の範囲内の空間情報が聴覚化される。

【００５０】対象物が認識されると、対象物に応じた立
体音響が生成されると共に、記号検出、危険検出、イベ
ント検出、状況検出、人の接近、人の識別を行う。

【００５１】特に、本実施の形態に係る空間情報聴覚化
装置は、危険検出あるいは状況検出等の状態検出手段、
あるいはイベント検出手段を有しても良い。利用者は、
自己の使用目的、すなわち行動目的あるいは過去の経緯
等に応じて、状態あるいはイベントを検出し、立体音響
で知りたい場合がある。行動目的とは、例えば、「本日
は電車に乗って遠くの町へ行く。」、「本日は病院に行
く。」等の目的をいう。過去の経緯とは、例えば、「昨
日は足をケガをしたので、段差の場所では注意した
い。」等の経緯、あるいは本人の状態をいう。このよう
な場合、行動目的あるいは過去の経緯に応じて認識すべ
き状態、イベント等を変更するように、空間情報聴覚化
装置に対して検出対象の内容あるいは条件を設定あるい
は変更を行う。例えば、電車へ乗車することに関わる認
識対象を細かく認識したい、あるいは、歩行先に小さな
段差があっても検出して知らせてもらいたい、等の目的
あるいは経緯に応じた内容あるいは条件を、空間情報聴
覚化装置に設定することができる。その結果、検出され
た状態あるいはイベントに応じた立体音響が生成され
る。

【００５２】このような使用目的に応じた状態あるいは
イベントの判断基準の変更は、上述した対象物のデータ
ベース内のデータ内容を変更したり、または状態あるい
はイベントの判断処理プログラムを変更したりすること
によって行うことができる。

【００５３】また、記号検出は、上述したような道路標
識の認識がされ、「例えば、踏み切りがあります」等の
音声が出力される。危険検出は、予め決められた条件が
一致すると、例えば、多くの車が目前を通過しているこ
とが認識されると、「多くの車が目前を通過していま
す」等の音声が出力されたり、前に段差があれば「目前
に段差があります」等が音声で告知される。また、空間
情報取込装置１からの立体情報に基き、突然目前に現れ
た物があれば、予め決められた危険を知らせる音が出力
される。

【００５４】イベント検出では、それまで閉まっていた
ドアが開くと、「目前のドアが開きました」等が音声で
知らされる。状況検出では、１０メートル先に大勢の人
がいる場合であれば、「１０メートル先に大勢の人がい
ます」等が音声で告知される。人の接近では、正面から
自分に向かって人が近づいてきていることが認識される
と、「前から人が近づいてきています」等が音声で出力
される。人の識別では、顔の輪郭情報等に基いて予め登
録されている人物の顔の輪郭情報とのマッチングの結
果、マッチングされれば、「○○さんです」等が音声で
出力される。

【００５５】出力された立体音響信号は、音伝達用のケ
ーブル５１を通じてユーザ４０が装着しているヘッドホ
ン４８に供給され、ユーザは左右のスピーカから立体音
響を聴くことができる。なお、５０、５１のケーブル通
信に代えて、ブルートウース等の無線通信手段を用いて
もよい。

【００５６】以上の処理によって、ユーザ４０は、前方
空間の環境である空間情報を認識することが可能とな
る。

【００５７】図８は、ユーザが街中を歩行する様子を説
明するための図である。ユーザ６５は、図７で説明した
メガネをつけ、パソコン６６を携帯しながら歩行する。
誘導ブロック６１が施設された歩道６０を歩行している
ときに、２、３メートル先の誘導ブロック６１上に置か
れた２台の放置自転車６２、６３が認識される。放置自
転車６２、６３が認識されると、パソコン６６から立体
音響が出力される。さらに歩いていき、自転車までの距
離が予め決められた距離以内になると、危険検出され、
危険を知らせる予め決められた音響データあるいは「２
台の自転車が２、３メートル先の誘導ブロック６１上に
あります」等が音声データにより、ユーザに知らされ
る。従って、ユーザ６５は、注意して誘導ブロック６１
上を進み、放置自転車６２，６３を避けるように、誘導
ブロック６１の左側を通るルートを選択し安全に歩行す
ることができる。

【００５８】ユーザ６５が放置自転車６２、６３を右に
感じながら歩行していき、再び誘導ブロック６１上に進
路を戻すと、今度は右前方に看板６４が認識される。看
板６４は、誘導ブロック６１の右側に存在するものの、
上部が進路を妨げるように突起形状があることが認識さ
れ、かつ危険検出がされる。その場合、立体音響で知ら
せるときは、予め決められている音がその突起のある三
次元位置方向から聴こえるように立体音響信号が出力さ
れる。音声で知らせる場合は、「２メートル先で頭の高
さ付近に突起がありますので注意して下さい」等の音声
が出力される。従って、ユーザは近くに接近すると、左
に進路をずらすことで、突起との衝突を回避することが
できる。さらに進んで誘導ブロック６１上に戻り、右を
向くと横断歩道６７が認識され、対応する立体音響で告
知される。

【００５９】また、誘導ブロック６１に通信機能を有す
る電子回路が埋め込まれている場合、その電子回路と通
信できる通信機能をパソコン６６に付加し、誘導ブロッ
ク６１からの通信データによって街の種々の情報を取得
し、音声データによりその情報をユーザに告知するよう
にしてもよい。誘導ブロック以外にも各種情報を提供す
る通信機能を有する電子回路が埋め込まれた設備等か
ら、種々の情報を受けるようにすれば、街、施設等の情
報を取得したり、道案内サービス等を受けることができ
る。誘導ブロック６１の通信手段としては、ブルートウ
ース等の無線通信手段を用いてもよい。

【００６０】上述したように、看板等であれば、そこに
書かれた文字を認識して音声出力してもよい。また、道
路標識、鉄道の信号機等を認識したときは、認識した結
果を音声出力してもよいが、一定の決められた立体音響
で告知するようにしてもよい。

【００６１】また、以上の説明では、画像情報を取り込
むカメラをメガネに装着した例であったが、杖に装着し
たり、腰の近くのベルト等に取り付けるようにしてもよ
い。

【００６２】なお、上記の例では、画像取込、認識処
理、音響生成処理を常に実行するようにしてもよいが、
一度認識されると、繰り返し音響生成しなくてもよい。
例えば、予め定めた時間が経過すると音響生成されて音
響出力がされたり、予め決められた装置を振動させる等
所定の動作に応じて、要求があったときにのみ音響出力
がされるようにしてもよい。また、カメラが装着された
頭等が所定角度以上動かされたときのみ音響出力された
り、対象物に所定の閾値以上の動きの変化があったとき
のみ音響出力するようにしてもよい。このようにするこ
とによって、聴覚による状況認識に不慣れな使用者にも
使い勝手がよくなる。

【００６３】次に他の応用例を図９により説明する。図
９は、本発明に係る空間情報聴覚化装置の他の利用形態
を説明するための図であり、本発明に係る空間聴覚化装
置を自動車に設置した例を示す。図９の（ａ）は、自動
車を前方から見た図であり、図９の（ｂ）は、自動車を
側方から見た図である。自動車７１のバンパー部分に複
数のカメラ７７から８４が設けられている。各カメラは
撮像装置を有しており、撮像装置からの画像信号は車載
コンピュータ（図示せず）に供給される。コンピュータ
は、撮像装置からの画像信号に基づいて三次元位置座標
の演算、対象物の認識を行い、立体音響生成装置から立
体音響が出力される。立体音響は、自動車内の複数、例
えば４つのスピーカから出力されて、運転手に聴こえ
る。

【００６４】車の前方のバンパーには、カメラ７７、７
８が、後方のバンパーにはカメラ７９と８０（図示せ
ず）が設けられている。カメラ７７と７８は、ユーザで
ある運転手７２の死角になる範囲７５内の対象物の認識
するためのものである。従って、コンピュータでは、死
角範囲７５内に何らかの物が存在すると、立体音響生成
装置で音響生成が行われる。同様に、カメラ７９と８０
は、車後方の死角の範囲７６の対象物の認識するための
ものである。カメラ８１と８２（図示せず）は、車右側
の死角の範囲７３の対象物の認識するためのものであ
る。カメラ８３と８４は、車左側の死角の範囲７４の対
象物の認識するためのものである。これらの死角範囲７
３、７４、７５、７６が、画像データの出力範囲、ある
いは物の認識すべき範囲である。

【００６５】なお、カメラ７８と８３により、前方左斜
め方向における死角の範囲内の対象物を認識するように
してもよい。同様に、前方右斜め方向における死角範囲
内はカメラ７７と８１で、後方左斜め方向における死角
範囲内はカメラ７９と８４で、後方右斜め方向における
死角範囲はカメラ８０と８２で、各範囲内の対象物、障
害物等を認識するようにしてもよい。

【００６６】従って、車が止まっているときあるいは動
いているときに、何らかの対象物、障害物を認識する
と、立体音響生成装置（図示せず）により生成された立
体音響が、車内のスピーカーから再生される。

【００６７】運転手は、立体音響により塀、壁、縁石、
電柱、他車、人等に接触しそうであることが、立体音響
で警告されるので、運転手の目視、車幅感覚と併用して
より安全な運転操作を実現することができる。

【００６８】さらに、距離が認識されたときは、その情
報を車内に設置されたナビゲーション用の表示装置上に
数字で表示したり、スピーカから音声で知らせる。

【００６９】また、死角範囲だけでなく、運転手から見
える範囲の対象物について、立体音響で知らせるように
してもよい。例えば、道路標識、横断歩道、信号等を認
識した場合、その情報を立体音響で運転手に通知する。
図６の例に従えば、横断歩道が認識されると、その方向
からスズムシの鳴き声が出力される。また、人の肌色な
どの色情報を利用して、人の認識をするようにしてもよ
い。このようにすると、運転手はその物体に注意を払う
ことができ、いわゆる見落としによる交通事故を防ぐこ
とができる。

【００７０】なお、撮像装置であるカメラは、上述した
ようなバンパー部分ではなく、トラック、バス等の形態
や、認識したい空間範囲に応じて設置してもよい。さら
に、自動車だけでなく、船舶、飛行機、車椅子、自転
車、バイクなどの交通手段にも適用することもできる。

【００７１】さらに他の応用例として、ラジオ放送時に
立体音響を加えて放送することも可能である。ラジオ放
送をするときに、放送している状況、あるいは情景を立
体音響で表現する。そのために、報道現場であれば、現
場の様子をカメラで撮像して、上述したように対象物の
認識をして、認識した対象物に応じた空間情報（立体情
報を含む）、認識情報を、ラジオの電波に付加して、あ
るいは別途データ信号として放送する。電波を受信した
ラジオに立体音響再生装置を搭載しておくことにより、
リスナーは、ラジオから流れる音声、音楽に加えて、立
体音響が聴こえる。例えば、レポータの音声だけでな
く、報道現場の状況の様子を立体音響により感じとるこ
とができる。したがって、テレビ放送の同じように、ラ
ジオを聴くときにその情景等を想像することが可能とな
る。

【００７２】なお、立体音響の利用としては、アミュー
ズメント、環境音、リラクゼーション、店舗での販売促
進、テレイグジステンス、バーチャルリアリティなどの
分野においても利用可能である。

【００７３】以上説明したように、撮像装置の画像デー
タに基づいて、少なくとも予め決められた三次元空間内
に存在する物の三次元座標データを得ることによって、
その物に関する三次元座標データに対応する立体音響
が、生成あるいは予め決められた音源データベースの音
から選択されて出力される。

【００７４】従って、空間情報に基き、立体音響が出力
されて、ユーザは臨場感を感じることができる。

【００７５】

【発明の効果】以上説明したように、本発明によれば、
対象空間内の環境、状態等が立体音響で再生出力される
ので、より確実かつ臨場感良く把握させることができ
る。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る空間情報聴覚化装置
の全体構成を説明するための図である。

【図２】空間情報取込装置の構成を説明するための図で
ある。

【図３】撮像された複数の画像データの対応点を説明す
るための図である。

【図４】空間情報認識手段の構成を説明するための図で
ある。

【図５】立体音響生成装置の構成を説明するための図で
ある。

【図６】音源データベースのデータ例を示す図である。

【図７】本発明に係る空間情報聴覚化装置のひとつの実
施形態を説明するための図である。

【図８】図７の装置を用いた利用形態を説明するための
図である。

【図９】本発明に係る空間情報聴覚化装置の他の利用形
態を説明するための図である。

【符号の説明】

１・・・空間情報取込装置２・・・空間情報認識手段３、３２・・・立体音響生成装置４、４０、６５、７２・・・ユーザ５・・・対象空間６・・・対象物１１・・・撮像装置１１ａ、１１ｂ、１１ｃ、１１ｄ、４１〜４６・・・カ
メラ１２・・・画像取込装置１３・・・特徴点（領域）抽出処理部１４・・・対応点（領域）探索処理部１５・・・距離情報生成部１６、２３、３３・・・出力処理部２１・・・対象物認識処理部２２・・・時系列変化認識処理部３１・・・音生成・選択処理部３４・・・音源データベース４７・・・メガネ４８・・・ヘッドホン４９・・・パソコン５０、５１・・・ケーブル６１・・・誘導ブロック６７・・・横断歩道７７〜８４・・・カメラ

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/00 ３００Ｇ０６Ｔ 7/00 ３００Ｆ // Ｈ０４Ｎ 13/00 Ｈ０４Ｎ 13/00 (72)発明者中山進東京都渋谷区松濤１丁目28番４号株式会社サイヴァース内 (72)発明者木村太一東京都目黒区東山２−23−Ａ−410 Ｆターム(参考） 5B057 AA16 BA02 CA12 CA16 DB02 DC36 5C061 AB04 AB08 AB10 AB12 AB24 5D062 AA26 AA72 AA74 CC13 CC14 CC16 5L096 CA02 DA04 HA09 JA11

Claims

【特許請求の範囲】

【請求項１】撮像装置の画像データに基づいて、少なく
とも予め決められた三次元空間内に存在する物の三次元
座標データを得て、前記物に関する前記三次元座標デー
タに対応する立体音響を、生成あるいは予め決められた
音源データベースの音から選択して、出力することを特
徴とする空間情報聴覚化装置。
【請求項２】前記撮像装置は、ユーザのほぼ視界方向に
向けられ、前記画像データは、ユーザのその視界方向に
おける画像データであることを特徴とする請求項１記載
の空間情報聴覚化装置。
【請求項３】前記立体音響は、ユーザに、前記物が前記
三次元空間内の位置データに対応する位置に存在するよ
うに聴こえる音であることを特徴とする請求項２記載の
空間情報聴覚化装置。
【請求項４】撮像装置の画像データに基づいて、少なく
とも予め決められた三次元空間内に存在する物の三次元
座標データを取得する空間情報取込手段と、該空間情報取込手段からの前記三次元座標データに基づ
いて、前記物を認識する空間情報認識手段と、該空間情報認識手段の認識結果に基づいて、前記物に関
する立体音響を出力する立体音響出力手段とを有するこ
とを特徴とする空間情報聴覚化装置。
【請求項５】前記立体音響出力手段は、前記空間情報取
込手段からの前記三次元座標データに応じた音を出力す
ることを特徴とする請求項４記載の空間情報聴覚化装
置。
【請求項６】前記立体音響出力手段は、前記空間情報認
識手段により認識された前記物に対応した音のデータを
含む音源データベースを有し、認識された前記物に対応
する音を出力することを特徴とする請求項４記載の空間
情報聴覚化装置。
【請求項７】前記空間情報認識手段は、認識された前記
物の時系列変化状態を検出し、前記立体音響出力手段
は、前記時系列変化状態に応じた立体音響を出力するこ
とを特徴とする請求項４記載の空間情報聴覚化装置。
【請求項８】さらに、利用者の使用目的に応じた状態あ
るいはイベントを検出する状態／イベント検出手段を有
し、検出された状態あるいはイベントに応じて、立体音
響が出力されることを特徴とする請求項１又は４に記載
の空間情報聴覚化装置。
【請求項９】撮像装置の画像データに基づいて、少なく
とも予め決められた三次元空間内に存在する物の三次元
座標データを得る工程と、前記物に関する前記三次元座標データに対応する立体音
響を、生成あるいは予め決められた音源データベースの
音から選択して、出力する工程とを有することを特徴と
する空間情報聴覚化方法。