JP2004020869A - 画像情報伝達方法，音信号作成方法，音信号作成装置，音発生装置及び画像／音変換方法 - Google Patents

Abstract

【課題】周囲の風景を音信号で表現し、自分がいる場所及び／または自分が向いている方向（方位）を目の不自由な人が容易に認識できるように支援する方法及び装置を提供する。
【解決手段】全方位撮像装置３０にて取得された全方位画像における画像信号が処理チップ５０内にて音信号に変換され、変換された音信号はスピーカ６０へ出力され、スピーカ６０から音が発せられる。スピーカ６０から発せられる音は、目の不自由な人が存在する周囲の風景に対応しており、その音を聞くことにより目の不自由な人は風景を認識して自分が存在する場所を容易に知る。
【選択図】　　　　図１３

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号を音信号に変換する技術に関し、特に、音によって画像情報を伝達する画像情報伝達方法、画像信号を音信号に変換して音信号を作成する音信号作成方法及び装置、作成した音信号に応じた音を発する音発生装置、並びに、周方向の画像を音に変換する画像／音変換方法に関する。
【０００２】
【従来の技術】
歩道，駅のホームにおける点字ブロック、横断歩道での音声誘導、公共施設の点字案内などの視覚障害者用の設備が充実してきたとはいえ、目の不自由な人にとって健常者と同様に社会活動を行うことはまだまだ容易ではない。視覚に障害がある人にとって、社会活動を遂行する上で頼りとなる感覚は、触覚，聴覚であり、これらの感覚は健常者より優れている場合が多い。
【０００３】
触覚については、情報が点字で盛り込まれている掲示板，案内板などの被接触物のところまで目の不自由な人が行ってそれに触れなければ情報を得ることができない。これに対して、聴覚については、空気を媒体とした音信号によって情報が目の不自由な人に伝わる。よって、特に屋外にあっては、そのような被接触物まで到達することも困難であり、音信号による情報の提供が目の不自由な人にとっては好ましい。
【０００４】
【発明が解決しようとする課題】
しかしながら、目の不自由な人に対する音信号での情報提供のシステムとしては、横断歩道で青信号になった際に所定の音楽が流れるシステムが設けられている程度であって、十分であるとは言えない。特に、健常者にとっては、山，川，湖などの自然物または建物，道路，駅などの人工物を視認することにより、自分が存在している場所及び自分がどちらの方向（方位）を向いているかは容易に認識できる。これに対して、目の不自由な人にとっては、視覚による認識が行えず、自分の存在場所または自分が向いている方向（方位）を知ることは容易でない。よって、このような目の不自由な人の不便さを解消できる手段の開発が望まれている。
【０００５】
本発明は斯かる事情に鑑みてなされたものであり、目の不自由な人が場所及び方向（方位）を容易に認識でき、また、目の不自由な人を正確に誘導できる画像情報伝達方法，音信号作成方法及び装置，音発生装置並びに画像／音変換方法を提供することを目的とする。
【０００６】
本発明の他の目的は、場所に応じた音を発することができる画像情報伝達方法，音信号作成方法及び装置，音発生装置並びに画像／音変換方法を提供することにある。
【０００７】
本発明の更に他の目的は、撮影中のカメラの傾きを音で表現して知らせることができる画像情報伝達方法，音信号作成方法及び装置，音発生装置並びに画像／音変換方法を提供することにある。
【０００８】
本発明の更に他の目的は、人，動物などの動きに合わせて音楽を奏でることができる画像情報伝達方法，音信号作成方法及び装置，音発生装置並びに画像／音変換方法を提供することにある。
【０００９】
【課題を解決するための手段】
第１発明に係る画像情報伝達方法は、撮影画像における画像信号を変換して音信号を作成し、作成した音信号に応じた音によって画像情報を伝達することを特徴とする。
【００１０】
第７発明に係る音信号作成装置は、画像信号を取得する手段と、取得した画像信号を音信号に変換する変換手段とを備えることを特徴とする。
【００１１】
第１０発明に係る音発生装置は、全方位画像を取得する手段と、取得した全方位画像における画像信号を音信号に変換する手段と、変換した音信号に応じた音を発する手段とを備えることを特徴とする。
【００１２】
第１発明，第７発明及び第１０発明にあっては、撮影画像における画像信号（例えば輝度信号）を変換して音信号を作成するため、撮影した場所での画像パターン（画像として映されている物体または風景）に基づいた音信号が作成される。よって、画像情報を音信号で表して伝達することができ、このように作成された音信号に応じた音を聞くことにより、目の不自由な人は自分がいる場所及びまたは向いている方向（方位）を認識できる。また、場所が変われば画像信号も変化するので、その画像信号を音信号に変換することにより、場所に応じた音を出力できる。また、撮影中のカメラの向きが変化した場合に取得される画像の画像信号も変わるので、それを変換した音信号の変化に基づいてカメラの傾きを検出できる。人，動物などが動けば取得される画像の画像信号は変化するので、それを変換した音信号も変化して音楽が奏でられる。
【００１３】
第２発明に係る音信号作成方法は、周期的な画像信号を変換して音信号を作成することを特徴とする。
【００１４】
第８発明に係る音信号作成装置は、第７発明において、前記画像信号は周期的な画像信号であることを特徴とする。
【００１５】
第２発明及び第８発明にあっては、周期的な画像信号、例えば全方位画像における画像信号を変換して音信号を作成する。周期的な画像信号にあっては、１周期を考えた場合に両端のレベルが相等しくなるため、特別な窓関数を設けることなく、正しく音信号に変換できる。
【００１６】
第３発明に係る音信号作成方法は、第２発明において、前記画像信号にフーリエ変換処理／逆フーリエ変換処理を順次施し、処理後の信号から音信号を作成することを特徴とする。
【００１７】
第９発明に係る音信号作成装置は、第７または第８発明において、前記変換手段は、取得した画像信号にフーリエ変換処理を施す手段と、フーリエ変換処理後の信号に逆フーリエ変換処理を施す手段と、逆フーリエ変換処理後の信号から音信号を生成する手段とを有することを特徴とする。
【００１８】
第３発明及び第９発明にあっては、画像信号にフーリエ変換処理／逆フーリエ変換処理を順次施して、滑らかな音信号を作成する。
【００１９】
第４発明に係る音信号作成方法は、第３発明において、前記画像信号にフーリエ変換処理を施して得られる信号の所定周波数以上の成分を除去することを特徴とする。
【００２０】
第４発明にあっては、画像信号をフーリエ変換処理した後の信号の所定周波数以上の成分を除去する。フーリエ変換処理後の信号の高周波成分はほとんどがノイズ成分であるので、その高周波成分を除去することにより、ノイズの影響を少なくする。
【００２１】
第５発明に係る音信号作成方法は、第３または第４発明において、前記画像信号にフーリエ変換処理を施して得られる信号の強度分布を変更することを特徴とする。
【００２２】
第５発明にあっては、画像信号にフーリエ変換処理した後の信号の強度分布を変更する。音信号に対する人間の感度を考慮して、フーリエ変換処理後の信号の強度分布を変更することにより、人間の聴覚により合った音信号を作成する。
【００２３】
第６発明に係る音信号作成方法は、第３〜第５発明の何れかにおいて、前記画像信号にフーリエ変換処理を施して得られる信号の位相を取り除くことを特徴とする。
【００２４】
第６発明にあっては、画像信号にフーリエ変換処理した後の信号の位相を取り除く。フーリエ変換処理で得られる位相を全ての周波数で０として逆フーリエ変換処理を行うことにより、画像を取得した方位に依存せず、場所だけに依存する音信号を作成する。
【００２５】
第１１発明に係る画像／音変換方法は、全方位画像を音に変換する方法であって、前記画像の方位情報を音の方位情報に対応させて、前記全方位画像における画像信号から時間差を有する複数の音信号を生成することを特徴とする。
【００２６】
第１１発明にあっては、全方位画像の方位情報を音の方位情報として表現する。左右の耳に到達する音信号の時間的ずれを感じ取って人間は音の方位を判別していることを利用して、画像の方位情報を音で表現できるように、画像信号を時間差を有する複数の音信号に変換する。
【００２７】
第１２発明に係る画像／音変換方法は、パノラマ画像または全方位画像を音に変換する方法であって、前記パノラマ画像または全方位画像を走査して得られる複数の画像信号から、慨複数の画像信号夫々で基本周波数を異ならせて音信号を生成することを特徴とする。
【００２８】
第１２発明にあっては、複数の走査夫々によって得られるパノラマ画像または全方位画像の複数の画像信号夫々に対して、基本周波数を変えて音信号に変換することにより、画像全体を音に変換する。
【００２９】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面を参照して具体的に説明する。
図１は、本発明の音信号作成装置の構成を示す機能ブロック図である。この音信号作成装置１は、フーリエ変換部１１と信号処理部１２と逆フーリエ変換部１３と音信号生成部１４とを有している。
【００３０】
フーリエ変換部１１は、周期的な画像信号、例えば全方位画像における画像信号（輝度信号）を、後述する全方位撮像装置から入力して、その輝度信号にフーリエ変換を施し、フーリエ変換後の２種の信号（強度信号と位相信号）を信号処理部１２へ出力する。信号処理部１２は、入力された２種の信号（強度信号と位相信号）に所定の処理（高周波成分の強度は０とする、強度分布を変更する、全ての周波数における位相を０とするなどの処理）を行い、処理後の２種の信号（強度信号と位相信号）を逆フーリエ変換部１３へ出力する。逆フーリエ変換部１３は、入力される処理後の信号に逆フーリエ変換を施し、変換後の信号を音信号生成部１４へ出力する。音信号生成部１４は、逆フーリエ変換で得られる信号から音信号を生成して出力する。
【００３１】
次に、動作について説明する。図２は、本発明での音による画像情報伝達の動作手順を示すフローチャートである。まず、全方位画像を取得し（ステップＳ１）、その取得した全方位画像を変換する（ステップＳ２）。ここでの画像変換の処理としては、例えば取得した全方位画像が赤，緑，青の３種の信号から構成されている場合、赤の輝度信号のみからなる画像に変換する処理、白黒の画像に変換する処理、または、経時的に連続した入力される画像の差分を求めて動く物体のみが映し出された画像を得る処理などである。このような画像変換の処理によっても、全方位の情報は保存されたままである。
【００３２】
変換後の全方位画像における輝度信号を得る（ステップＳ３）。得られた輝度信号に対してフーリエ変換を施して２種の信号（強度信号と位相信号）を得る（ステップＳ４）。フーリエ変換により得られた２種の信号に対して、作成される音信号の品質を向上するための処理または場所だけに依存する音信号を作成するための処理を実行する（ステップＳ５）。次いで、Ｓ５での処理後の２種の信号に対して逆フーリエ変換を施して信号を得る（ステップＳ６）。逆フーリエ変換後の信号から音信号を生成する（ステップＳ７）。最後に、生成した音信号に応じた音を出力する（ステップＳ８）。
【００３３】
以下、本発明による音信号作成の方法について更に詳細に説明する。音信号作成の方法にあっては、図２のＳ５での処理内容（図１の信号処理部１２での処理内容）の種類に応じて、下記のような３つの実施の形態が存在する。
【００３４】
第１実施の形態は、生成される音信号の品質を向上するために、Ｓ５での処理において、強度信号の高周波成分を除去する例である。また、第２実施の形態は、生成される音信号の品質を向上するために、Ｓ５での処理において、第１実施の形態の処理に加えて強度信号の分布を変更する例である。更に、第３実施の形態は、場所だけに依存する音信号を生成するために、Ｓ５での処理において、位相信号を全ての周波数において０とする例である。
【００３５】
以下、各実施の形態について夫々説明する。図３は全方位画像の一例を示す図、図４〜図６は各種信号の波形図である。
【００３６】
（第１実施の形態）
図３に示されるような全方位画像を取得する（図２のＳ１）。この全方位画像は、図７にその構成を示すような本発明者等が考案した１台の全方位撮像装置にて容易に得られる。図７における全方位撮像装置３０は、凸面鏡３１，カメラ３３，筒体３４などを備えている。
【００３７】
凸面鏡３１は、金属製または樹脂材の表面に金属膜を設けて構成されており、その基部は支持体３２に取り付け支持されている。凸面鏡３１の頂部と対向する位置には、レンズ，ＣＣＤ等を有するカメラ３３が配置されており、カメラ３３は透明な筒体３４を介して凸面鏡３１に連結されている。筒体３４は、一端側が凸面鏡３１の外周の支持体３２に固定されると共に、他端側が光透過用の窓孔３５を有する連結部材３６を介してカメラ３３に接続されている。また、凸面鏡３１の頂部には、先端側が凸面鏡３１の軸線延長上をカメラ３３方向に延出する棒状体３７を設けている。
【００３８】
このような構成により、カメラ３３の光軸を中心とした周方向３６０°の全方位からの光が筒体３４を介して凸面鏡３１に当たり、カメラ３３のレンズでＣＣＤに集光されて周方向全域の全方位画像を取得することができる。筒体３４の内面反射光が凸面鏡３１にてカメラ３３側に導かれないように棒状体３７を設けており、この不要な内面反射光を棒状体３７で遮って、取得画像の精度向上を図っている。
【００３９】
このようにして取得した全方位画像に画像変換を施した後（図２のＳ２）、１水平ライン上の輝度信号を得る（図２のＳ３）。図３の全方位画像に対する輝度信号の例を図４（ａ）に示す。ここで、全方位画像は周方向３６０°の範囲の画像であるので、図３の左端と右端とでつながるようになっており、図４（ａ）に示す輝度信号では１周期分において最初と最後とのレベルが相等しい。
【００４０】
このような輝度信号に対してフーリエ変換を施す（図２のＳ４）。図４（ｂ），（ｃ）は、４（ａ）の輝度信号にフーリエ変換を施して得られる強度信号，位相信号を夫々示している。
【００４１】
フーリエ変換は、重み付けの係数（重み）と角度のずれ（位相）とが異なる複数の正弦波（または余弦波）の重ね合わせによって周期関数を表現できるという事象に基づくものであり、２つの信号（強度信号と位相信号）によって元の周期関数を表せる。但し、このフーリエ変換の対象は周期関数に限られる。よって、通常の画像信号は周期関数とはならないので、フーリエ変換を施すためには、その前処理として所定の窓関数を画像信号にかける必要がある。この窓関数は画像信号に対してノイズ信号となるため、画像信号の特性を正確に反映させたフーリエ変換信号を得られない。これに対して、本例では、フーリエ変換の対象となる画像信号が全方位画像から得られる輝度信号であるため、それ自体が周期信号であるので、窓関数をかける必要はなく、画像信号（輝度信号）の特性を正確に反映させたフーリエ変換信号を得ることができる。このことが、全方位画像における輝度信号を使用することの大きな利点である。
【００４２】
次いで、得られた強度信号に対して、高周波成分を除去する（図２のＳ５）。図４（ｄ）は、図４（ｂ）の強度信号から高周波成分を除去した後の強度信号を示している。具点的には、一例として２０Ｈｚ以上の高周波成分を除去している。全方位画像の輝度信号をフーリエ変換した後の信号における高周波成分のほとんどはノイズ成分である。よって、この段階で高周波成分を除去しておくことにより、最終的に作成される音信号の品質を高くできる。
【００４３】
次いで、高周波成分を除去した後の強度信号と位相信号とに対して逆フーリエ変換を施して信号を得る（図２のＳ６）。図４（ｅ）は、図４（ｄ）の強度信号及び図４（ｃ）の位相信号に対して逆フーリエ変換を施して得られる逆フーリエ変換信号を示している。
【００４４】
最後に、この逆フーリエ変換後の信号の振幅方向の中央部分を取り出し、その振幅の平均値を位置０として音信号を生成する（図２のＳ７）。図４（ｆ）は、図４（ｅ）の逆フーリエ変換信号から生成した音信号の一例を示している。
【００４５】
（第２実施の形態）
第１実施の形態と同様に、図７の全方位撮像装置３０により全方位画像を取得し（図２のＳ１）、取得した全方位画像に画像変換を施し（図２のＳ２）、変換後の全方位画像における１水平ライン上の輝度信号を得（図２のＳ３，図５（ａ））、輝度信号に対してフーリエ変換を施して強度信号，位相信号を得る（図２のＳ４，図５（ｂ），（ｃ））。ここまでの処理は第１実施の形態と同じである。
【００４６】
次いで、得られた強度信号に対して、第１実施の形態と同様に高周波成分を除去すると共に、その強度分布を変更する（図２のＳ５）。図５（ｄ）は、図５（ｂ）の強度信号にこれらの処理を実行した後の強度信号を示している。人間の聴覚特性に合わせて、強度分布を変える。具体的には、フーリエ変換後の強度信号（図５（ｂ））に所望の関数をかけあわせることにより変更後の強度信号（図５（ｄ））を得ている。この第２実施の形態では、強度分布を人間の聴覚特性に合わせるべくフーリエ変換後の信号に処理を施しているため、最終的に作成される音信号の品質を高くできる。
【００４７】
次いで、このような処理を実行した後の強度信号と位相信号とに対して、第１実施の形態と同様に、逆フーリエ変換を施して逆フーリエ変換信号を得る（図２のＳ６，図５（ｅ））。最後に、逆フーリエ変換後の信号から、第１実施の形態と同様に、音信号を生成する（図２のＳ７，図５（ｆ））。
【００４８】
（第３実施の形態）
第１実施の形態と同様に、図７の全方位撮像装置３０により全方位画像を取得し（図２のＳ１）、取得した全方位画像に画像変換を施し（図２のＳ２）、変換後の全方位画像における１水平ライン上の輝度信号を得（図２のＳ３，図６（ａ））、輝度信号に対してフーリエ変換を施して強度信号，位相信号を得る（図２のＳ４，図６（ｂ），（ｃ））。ここまでの処理は第１，第２実施の形態と同じである。
【００４９】
次いで、得られた強度信号に対して、第２実施の形態と同様に高周波成分の除去処理及び強度分布の変更処理を行う（図２のＳ５，図６（ｄ））と共に、位相信号における全ての周波数での位相を０とする（図２のＳ５，図６（ｅ））。
【００５０】
次いで、このような処理を実行した後の強度信号（図６（ｄ））と位相信号（図６（ｅ））とに対して、第１，第２実施の形態と同様に、逆フーリエ変換を施して逆フーリエ変換信号を得る（図２のＳ６，図６（ｆ））。最後に、この逆フーリエ変換後の信号から、第１，第２実施の形態と同様に、音信号を生成する（図２のＳ７，図６（ｇ））。
【００５１】
第３実施の形態にあっては、フーリエ変換処理で得られる位相を全ての周波数で０にして逆フーリエ変換処理を行うようにしているため、図３に示す全方位画像における始端・終端の位置、言い換えると、全方位画像を取得した際の方向に依存することなく、全方位画像のみ、言い換えると、その全方位画像の取得場所のみに依存する音信号を作成することになる。
【００５２】
周方向の画像を音に変換する本発明の他の実施の形態について説明する。
（第４実施の形態）
第４実施の形態は、人間が左右の耳に到達する音の時間差を聞き取って音の方位を判別していることを利用して、全方位画像の方位情報が音の方位情報として表現されるステレオ音を生成するものである。図８は、第４実施の形態の一例を示す模式図である。まず、前述したような全方位撮像装置３０により全方位画像を取得する（図８（ａ））。取得した全方位画像に画像変換を施した後、１水平ライン（図８（ａ）のＡ−Ｂ線）における輝度信号を得る（図８（ｂ））。
【００５３】
得た輝度信号に対して、上述した第１〜第３実施の形態の何れかで述べたような信号変換処理を施して音信号を作成する。更に、この作成した音信号から、図９（ａ）に示すような時間差と図９（ｂ）に示すような上限周波数の差とを有する２種の音信号（右耳用音信号，左耳用音信号）を、時間差発生装置２０により生成する（図８（ｃ））。なお、例えば、図９（ａ）は正弦曲線を表し、図９（ｂ）は余弦曲線を表す。そして、生成した右耳用音信号，左耳用音信号を夫々、複数チャンネルを有するヘッドホン，スピーカ等の音出力装置へ出力し、それらの音信号に応じたステレオ音を合成して出力する（図８（ｄ））。
【００５４】
人間は、約７００μｓの時間差にて左右の耳で同じ音を聞いた場合に、左右の耳を結ぶ直線方向に音源があることを認識する。この現象を利用して、図９（ａ）に示すように最大で７００μｓとなる時間差を有する２種の音信号を画像信号から作成し、画像の方位情報をステレオ音の方位情報として表すようにしている。但し、この時間差だけでは、ヘッドホン等でステレオ音を聞いた場合、左右方向の違いは認識できるが頭の前後方向の違いは認識できない。そこで、図９（ｂ）に示すような上限周波数の差を持たせることにより、音の高さで前後方向を表現できるようにしている。この第４実施の形態では、人間が有する時間差分析能力を最適に利用できるように、全方位画像を音に変換している。
【００５５】
（第５実施の形態）
第５実施の形態は、パノラマ画像または全方位画像を音に変換する際に、画像の位置（走査位置）に応じて基本周波数を変動させて、全体の画像を音に変えるものである。図１０は、第５実施の形態の一例を示す模式図である。まず、取得したパノラマ画像に画像変換を施した後、そのパノラマ画像を複数の水平ライン（本例では５ライン）で走査して（図１０（ａ））、各ラインにおける輝度信号を得る（図１０（ｂ））。
【００５６】
各ラインにおける輝度信号に対して、基本周波数を変えて、上述した第１〜第３実施の形態の何れかで述べたような信号変換処理を施して音信号を生成する（図１０（ｃ））。本例では、最上ラインにおける基本周波数を１００Ｈｚ、最下ラインにおける基本周波数を４００Ｈｚとしており、両ライン間の残りの３ラインにおける基本周波数を上側から順に１７５Ｈｚ，２５０Ｈｚ，３２５Ｈｚとしている。生成したこれらの５種類の音信号をスピーカへ出力する。
【００５７】
なお、パノラマ画像に対する走査を細かくし、その基本周波数を細かく設定する場合に、発生する音の基本周波数は、図１１のようになる。
【００５８】
なお、上述した例では、画像を水平方向に走査することとしたが、円形の全方位画像の場合には、図１２に示すように、同心円状に複数の走査を行うようにしても良い。この場合には、各走査毎にその画素数が異なるので、走査した画素数に応じて異なる基本周波数を設定すれば良い。
【００５９】
なお、上述した例では、フーリエ変換を用いる場合について説明したが、フーリエ変換の変形例であるウェーブレット変換などを利用することも可能である。また、変換対象の画像信号として輝度信号を用いるようにしたが、色信号（Ｒ，Ｇ，Ｂ信号）、色差信号を同様に変換して音信号を作成することも可能である。
【００６０】
以上のように、本発明では、ある場所で得られる全方位画像の画像信号に基づいて音信号を作成するため、場所を音で表現できる。また、この際に、全方位画像の画像信号を用いるので、周囲の風景の情報が欠落しない音信号を作成できて場所を認識する精度は高い。元来人間の耳はフーリエ変換機能，ウェーブレット変換機能を有しているが、本発明では事前にこのような変換処理を施した音信号を出力するので、無駄がない音信号を人間に提供している。
【００６１】
次に、本発明の応用例について説明する。まず、目の不自由な人に場所を音で知らせる場所通知器について説明する。
【００６２】
図１３は、目の不自由な人が外出時に携帯する場所通知器４０の構成を示す図である。場所通知器４０は、前述した全方位撮像装置３０と、上述した音信号の作成処理を実行する処理チップ５０と、音信号に応じた音を発するスピーカ６０と、指示を入力するためにユーザが操作する操作器７０とを備えている。
【００６３】
処理チップ５０は、上述したようなフーリエ変換などの信号処理を行うと共に処理チップ５０の他のハードウェアの動作を制御するＣＰＵ５１と、全方位撮像装置３０から全方位画像における画像信号を入力する画像信号入力部５２と、作成した音信号をスピーカ６０へ出力する音信号出力部５３と、操作器７０からの入力指示を受け付ける指示受付部５４と、ＣＰＵ５１が行う音信号作成処理に必要な種々のソフトウェアのプログラムを予め格納しているＲＯＭ５５と、音信号作成処理の実行時に発生する一時的なデータを記憶するＲＡＭ５６とを有する。
【００６４】
このような構成を有する場所通知器４０を目の不自由な人が携帯して、操作器７０にて処理を指示した場合、全方位撮像装置３０にて取得された全方位画像の画像信号（輝度信号）が画像信号入力部５２へ入力される。ＣＰＵ５１は、図２のＳ４〜Ｓ７の手順に従って、入力された輝度信号から音信号を作成する。作成された音信号は音信号出力部５３を介してスピーカ６０へ出力され、スピーカ６０から音が発せられる。
【００６５】
このスピーカ６０から発せられる音は、目の不自由な人が存在する周囲の風景に対応しており、その音を聞くことにより目の不自由な人は風景を認識してその場所を確認できる。よって、目の不自由な人は自分の存在場所を容易に知ることができる。また、同じ場所でも、目の不自由な人が向いている方向が異なる場合には、スピーカ６０から発せられる音も少しずつ異なるので、その音を聞くことによって、自分が向いている方向（方位）も理解できる。
【００６６】
なお、第３実施の形態のように位相を０とする処理を行う場合には、目の不自由な人が向いている方位に関係なく、つまり、目の不自由な人が回転して体の向きが変わっても同じ場所にいる限り、一定の音がスピーカ６０から発せられる。よって、場所確認を確実に行うためには、体の向きに依存せずに場所だけに依存するこの処理方法が適しているとも言える。
【００６７】
図１４は、目の不自由な人を誘導する誘導システムを示す図である。図１４において、８０は目の不自由な人が移動する経路近傍に固定配置された複数の誘導装置である。各誘導装置８０は、前述した場所通知器４０と同様の構成をなしており、全方位画像を取得してその画像信号（輝度信号）を得る全方位撮像装置、画像信号（輝度信号）に基づく音信号を作成するＣＰＵ、作成された音信号に応じた音を発するスピーカなどを有する。
【００６８】
目の不自由な人が移動するにつれて、その動きが反映されるので、各誘導装置８０から発せられる音は変化し、その人の動きも含めてまわりの風景が音にて知らされる。よって、目の不自由な人は各誘導装置８０からの音により、誘導を受けることができる。
【００６９】
また、他の応用例として、本発明を撮像用のカメラに適用した場合、カメラが傾くとその取得画像が変化するので、発せられる音の変化に応じてカメラの傾きを容易に検出できる。
【００７０】
また、更に他の応用例として、人，動物などに本発明を装着した場合、動きに応じて全方位画像は変化するので、その動きに応じた音楽を奏でることも可能である。
【００７１】
上述したこれらの応用例以外に、場所を音にて表現するような全ての手法またはシステムに対して本発明を適用できることは勿論である。
【００７２】
なお、上述した実施の形態では、全方位撮像装置にて取得された全方位画像における画像信号をリアルタイムで変換して音信号を作成する場合について説明したが、取得した全方位画像での画像信号を予めメモリに格納しておき、任意のタイミングでメモリから読み出した画像信号を変換して音信号を作成するようにしても良い。
【００７３】
また、上述した実施の形態では、全方位画像での画像信号を用いる場合について説明したが、周期的な画像信号であれば、画像を環状に走査して得られる画像信号など、任意の画像信号に対して本発明を有効に適用できることは言うまでもない。
【００７４】
【発明の効果】
以上のように本発明では、場所の風景情報を音情報に正確に変換して、場所に応じた音を正しく出力できるので、目の不自由な人が場所及び方向（方位）を容易に認識できるようなシステムの構築に寄与できるなど、視覚障害者に対する社会的インフラの充実に大いに貢献できる。
【図面の簡単な説明】
【図１】本発明の音信号作成装置の構成を示す機能ブロック図である。
【図２】本発明での音による画像情報伝達の動作手順を示すフローチャートである。
【図３】全方位画像の一例を示す図である。
【図４】第１実施の形態における各種信号の波形図である。
【図５】第２実施の形態における各種信号の波形図である。
【図６】第３実施の形態における各種信号の波形図である。
【図７】全方位画像を取得する全方位撮像装置の構成図である。
【図８】第４実施の形態の一例を示す模式図である。
【図９】右耳用音信号と左耳用音信号とにおける時間差及び上限周波数の差を示す図である。
【図１０】第５実施の形態の一例を示す模式図である。
【図１１】発生する音の基本周波数を示すグラフである。
【図１２】第５実施の形態の他の例における画像走査を示す図である。
【図１３】本発明の応用例である場所通知器の構成を示す図である。
【図１４】本発明の応用例である目の不自由な人を誘導する誘導システムを示す図である。
【符号の説明】
１　音信号作成装置
１１　フーリエ変換部
１２　信号処理部
１３　逆フーリエ変換部
１４　音信号生成部
２０　時間差発生装置
３０　全方位撮像装置
４０　場所通知器
５０　処理チップ
５１　ＣＰＵ
６０　スピーカ
８０　誘導装置

Claims (12)

1. 撮影画像における画像信号を変換して音信号を作成し、作成した音信号に応じた音によって画像情報を伝達することを特徴とする画像情報伝達方法。
2. 周期的な画像信号を変換して音信号を作成することを特徴とする音信号作成方法。
3. 前記画像信号にフーリエ変換処理／逆フーリエ変換処理を順次施し、処理後の信号から音信号を作成することを特徴とする請求項２記載の音信号作成方法。
4. 前記画像信号にフーリエ変換処理を施して得られる信号の所定周波数以上の成分を除去することを特徴とする請求項３記載の音信号作成方法。
5. 前記画像信号にフーリエ変換処理を施して得られる信号の強度分布を変更することを特徴とする請求項３または４記載の音信号作成方法。
6. 前記画像信号にフーリエ変換処理を施して得られる信号の位相を取り除く請求項３〜５の何れかに記載の音信号作成方法。
7. 画像信号を取得する手段と、取得した画像信号を音信号に変換する変換手段とを備えることを特徴とする音信号作成装置。
8. 前記画像信号は周期的な画像信号であることを特徴とする請求項７記載の音信号作成装置。
9. 前記変換手段は、取得した画像信号にフーリエ変換処理を施す手段と、フーリエ変換処理後の信号に逆フーリエ変換処理を施す手段と、逆フーリエ変換処理後の信号から音信号を生成する手段とを有することを特徴とする請求項７または８記載の音信号作成装置。
10. 全方位画像を取得する手段と、取得した全方位画像における画像信号を音信号に変換する手段と、変換した音信号に応じた音を発する手段とを備えることを特徴とする音発生装置。
11. 全方位画像を音に変換する方法であって、前記画像の方位情報を音の方位情報に対応させて、前記全方位画像における画像信号から時間差を有する複数の音信号を生成することを特徴とする画像／音変換方法。
12. パノラマ画像または全方位画像を音に変換する方法であって、前記パノラマ画像または全方位画像を走査して得られる複数の画像信号から、慨複数の画像信号夫々で基本周波数を異ならせて音信号を生成することを特徴とする画像／音変換方法。

Images