JP2001169309A - 情報記録装置および情報再生装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来の情報記録装置および情報再生装置にお
いては、音源や被写体の奥行き等の正確な位置に関する
情報を持たずに音声情報や画像情報等が直線的または平
面的に記録されており、情報の再生時に充分に現実感や
立体感および情報の利便性を得ることができなかった。 【解決手段】 音声情報や画像情報等に音源や被写体の
位置に関する情報を付加して記録し、それら情報の再生
時に、付加した位置に関する情報を有効に利用する。例
えば音声情報の場合、楽器別の録音トラックごとに位置
情報を付加して、再生時に各トラックに異なる伝播特性
を与えて奥行きのある音場を形成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音声情報や画像
情報等のいわゆるマルチメディア情報を記録する情報記
録装置および再生する情報再生装置に関する。

【０００２】

【従来の技術】マイクロプロセッサの情報処理能力の向
上にともない、マルチメディア情報を記録する情報記録
装置および再生する情報再生装置の能力が急速に発展し
つつある。例えば、音声情報の分野では、ＤＳＰ（デジ
タルシグナルプロセッサ）を用いて再生音に遅延処理を
加えたり反響音を生み出す残響処理を施して様々な音場
を創出することが可能なステレオコンポが存在し、画像
情報の分野では画像をデジタル情報として記録して様々
な画像処理を行えるデジタルカメラやパーソナルコンピ
ュータが存在する。

【０００３】

【発明が解決しようとする課題】これら従来の情報記録
装置および情報再生装置においては、その再生手段とし
て少数のスピーカやディスプレイを用いることから、情
報が平面的に記録されており、充分に現実感や立体感を
得ることや情報の利便性を得ることができなかった。こ
こで、情報が平面的に記録される、とは、音源や被写体
の奥行きや上下方向等の正確な位置に関する情報が全く
記録されない、または不十分にしか記録されないことを
指している。

【０００４】例えばステレオ音声情報を記録する場合、
左右のチャネルの音量バランスや時間差等により左右方
向の音像定位が行われる。すなわち、図１８に示すよう
に、右スピーカＳＰＲおよび左スピーカＳＰＬから再生
される音声情報がリスニングポイントＬＰに位置するリ
スナーに届いたときに、音像がスピーカ間の距離ＤＣの
うちのどこかに定位するようステレオ音声情報が記録さ
れる。このことを音場データのイメージとして表したの
が、図１９である。図１９において、リスニングポイン
トＬＰの前に広がっている音場ＳＦ２は、その上に示し
た右チャネルＲｃｈの音場データイメージと左チャネル
Ｌｃｈの音場データイメージとから成り立っている。こ
の音場データイメージにおける丸印ＳＤ１Ｌ〜ＳＤ３
Ｌ，ＳＤ１Ｒ〜ＳＤ３Ｒは、各音源の音量の大小と音場
中の分布とを示したものである。例えば、ある音源に対
応する左右の音量ＳＤ２Ｒ，ＳＤ２Ｌは同程度であるの
で、音場中の定位は中央付近になる。一方、別の音源に
対応する左右の音量ＳＤ３Ｒ，ＳＤ３Ｌは右側が左側よ
りも大きいので、音場中の定位は右側よりとなる。

【０００５】このように左右のスピーカの音量比を制御
する方法では、左右方向の定位については得られるもの
の、奥行き感や上下、前後の感覚は得られない。

【０００６】なお、これを改善するものとして、左右の
スピーカで発音時間をずらす（位相差を設ける）ことで
奥行き感を出したり、また、リスナーの耳介による音源
位置特定作用を考慮に入れて上下や前後の方向感覚を出
すようにした、３Ｄサウンドなどと呼ばれる音声信号の
補正技術が存在する。図２０は、この技術を音場データ
のイメージとして表したものである。各音源の音量の大
小と音場中の分布とを示す丸印ＳＤ１Ｌ〜ＳＤ３Ｌ，Ｓ
Ｄ１Ｒ〜ＳＤ３Ｒには、さらに、位相差等の補正に関す
る付加情報ＡＤ１Ｌ〜ＡＤ３Ｌ，ＡＤ１Ｒ〜ＡＤ３Ｒが
加わっている。これにより、音場ＳＦ３はスピーカの外
側やリスニングポイントの前後左右上下へと広がり、音
場ＳＦ２と比べて大きくなっている。

【０００７】しかし、この技術によれば、各音源からの
音声情報を記録する段階で録音技術者が付加情報を加え
るために、録音技術者の経験や主観が大きな要素を占め
ていた。よって、必ずしも正確な位置に関する情報が記
録されていたわけではない。

【０００８】また、図１８に示したような、スピーカ間
距離ＤＣおよび左右のスピーカとリスニングポイントと
の間の距離ＤＬ，ＤＲとで囲まれる三角形の領域からリ
スナーが踏み出してしまうと、音場がアンバランスとな
り臨場感を得ることが難しくなるという問題もあった。

【０００９】一方、画像情報については、例えば風景の
中に人物などを配置して記録する場合がよくある。この
場合も、平面的に画像が記録されるだけであり被写体の
位置や奥行きに関する情報が記録されるわけではない。
よって、例えば、デジタルカメラでそのような画像情報
を取得し、パソコンにおいて背景から人物だけを切り出
す場合などにおいては、人物と背景との色調の差やピン
トの合い具合などから両者を区別するほかなく、その区
別が難しい場合もあった。

【００１０】本発明は、上記の課題を解決するものであ
り、音声情報や画像情報等に音源や被写体の位置に関す
る情報を付加して記録し、それら情報の再生時に位置に
関する情報を有効に利用する情報記録装置および情報再
生装置を実現するものである。

【００１１】

【課題を解決するための手段】請求項１に記載の発明
は、音源の空間的な位置を規定する位置情報を付加しつ
つ前記音源から発せられる音声情報を録音する情報記録
装置である。

【００１２】請求項２に記載の発明は、音源の空間的な
位置を規定する位置情報が付加された音声情報を、前記
音源の前記位置情報を用いて前記音声情報の伝播特性を
決定する第１処理を行いつつ再生する情報再生装置であ
る。

【００１３】請求項３に記載の発明は、請求項２に記載
の情報再生装置であって、前記第１処理を行う際に聴取
者の位置情報をも用いるものである。

【００１４】請求項４に記載の発明は、請求項３に記載
の情報再生装置であって、前記音源の位置情報または前
記聴取者の位置情報が変化し、前記音源の位置と前記聴
取者の位置との間で生じるドップラー効果を考慮して前
記音声情報の周波数を変更する第２処理をも行いつつ前
記音声情報を再生するものである。

【００１５】請求項５に記載の発明は、請求項３または
請求項４に記載の情報再生装置であって、前記聴取者は
複数であり、複数の前記聴取者の各々に対応する前記位
置情報を用いて前記第１処理または前記第１および第２
処理を行いつつ、複数の前記聴取者の各々に対して前記
音声情報を再生するものである。

【００１６】請求項６に記載の発明は、被写体および背
景までの距離を位置情報として付加しつつ前記被写体お
よび前記背景の画像情報を記録する情報記録装置であっ
て、前記被写体および背景の位置情報が時間的に変化
し、前記被写体の前記情報記録装置からの等距離面が画
面中で揺れるかどうかを検出するものである。

【００１７】請求項７に記載の発明は、被写体および背
景までの距離を位置情報として付加しつつ前記被写体お
よび前記背景の画像情報を記録し、前記被写体の位置情
報が時間的に変化し、前記位置情報の変化により前記被
写体の移動を認識し、音源の空間的な位置を規定する位
置情報を付加しつつ前記音源から発せられる音声情報を
録音し、前記音源の前記位置情報は前記被写体の移動に
伴って更新されるものである。

【００１８】請求項８に記載の発明は、被写体および背
景までの距離を位置情報として付加しつつ前記被写体お
よび前記背景の画像情報を記録し、合焦点を段階的に変
化させつつ前記画像情報を複数枚記録し、前記複数枚の
前記画像情報の中から前記位置情報に基づいてピントの
合っている部分を抜き出して一枚の画像を合成するもの
である。

【００１９】請求項９に記載の発明は、合焦点を段階的
に変化させつつ画像情報を複数枚記録し、前記複数枚の
前記画像情報の中からピントの合っている部分を抜き出
して一枚の画像を合成する情報記録装置である。

【００２０】請求項１０に記載の発明は、被写体および
背景までの距離を位置情報として付加しつつ前記被写体
および前記背景の画像情報を記録する情報記録装置であ
って、前記情報記録装置の位置を測定するための位置測
定装置をさらに備え、前記位置測定装置は、前記位置測
定装置によって測定された前記情報記録装置の位置を仮
の現在地として規定して地図上に前記仮の現在地を表示
し、前記画像情報の中から前記地図に含まれる２つの物
体を決定し、前記位置情報によって前記２つの物体まで
のそれぞれの距離が第１および第２の距離として規定さ
れ、前記地図上において前記２つの物体を中心とし前記
第１および第２の距離を半径とする２つの円を描き、前
記２つの円の交点のうち前記仮の現在地に近い方の交点
を真の現在地と判定するものである。

【００２１】請求項１１に記載の発明は、被写体および
背景までの距離を位置情報として付加された画像情報
を、前記被写体および背景の前記位置情報を用いて画像
処理すべき部分を決定して当該部分に前記画像処理を行
いつつ再生する情報再生装置である。

【００２２】請求項１２に記載の発明は、被写体および
背景までの距離を位置情報として付加された画像情報を
再生し、前記被写体の位置情報が時間的に変化し、前記
位置情報の変化により被写体の移動を認識し、音源の空
間的な位置を規定する位置情報が付加された音声情報
を、前記音源の前記位置情報を用いて前記音声情報の伝
播特性を決定しつつ再生し、前記音源の前記位置情報は
前記被写体の移動に伴って更新される情報再生装置であ
る。

【００２３】請求項１３に記載の発明は、請求項１１に
記載の情報再生装置であって、前記画像情報から、前記
被写体の前記位置情報を用いて、視差の分だけ水平方向
の距離を補正した左目用映像および右目用映像を作り出
すものである。

【００２４】請求項１４に記載の発明は、被写体および
背景までの距離を位置情報として付加しつつ前記被写体
および前記背景の画像情報を記録し、前記画像情報はテ
キスト情報をも含み、前記テキスト情報は、前記被写体
または前記背景に含まれる文字が置換されたものであ
る。

【００２５】請求項１５に記載の発明は、請求項１１に
記載の情報再生装置であって、前記画像情報はテキスト
情報をも含み、前記テキスト情報は、前記被写体または
前記背景に含まれる文字が置換されたものである。

【００２６】

【発明の実施の形態】＜実施の形態１＞この発明の実施
の形態１は、音声情報に対して音源の空間的な位置を規
定する位置情報を付加しつつ録音する情報記録装置と、
位置情報が付加された音声情報を位置情報を利用しつつ
再生する情報再生装置とを示すものである。

【００２７】図１は、本実施の形態に係る情報記録装置
が用いられる場面を示す図である。図１では、ステージ
上でのバンドの演奏を録音する状況が示されている。な
お、録音に際しては一般にマルチトラックレコーディン
グが行われ、各楽器ごとにトラックが割り当てられ演奏
が記録される。ここでは、例としてテナーサックスＴ
ｓ、アルトサックスＡｓ、ソプラノサックスＳｓにマイ
クＭｃ１〜Ｍｃ３が、ピアノｐｆにマイクＭｃ４が、ド
ラムズＤｓにマイクＭｃ５が、トランペットＴｐ１〜Ｔ
ｐ３にマイクＭｃ６〜Ｍｃ８が、トロンボーンＴｂにマ
イクＭｃ９が、ベースＢにマイクＭｃ１０が、それぞれ
割り当てられている。

【００２８】なお、このステージ上での位置は、例とし
て図１に示すように、最前部の向かって左端を原点と
し、奥行き方向をＹ軸、左右方向をＸ軸とした座標成分
で表されるものとする。

【００２９】

【表１】

【００３０】表１は、各マイクＭｃ１〜Ｍｃ１０とその
位置、および録音される音声トラックデータ番号ＳＤ１
〜ＳＤ１０を示したものである。本実施の形態に係る情
報記録装置においては、従来の場合とは異なり、マルチ
トラックのデータをステレオ２チャンネルにミックスダ
ウンするのではなく、記録した音声情報をマルチトラッ
クのまま保持しておく。

【００３１】本実施の形態においては、各トラックの録
音時には、音声情報だけでなく音源の空間的な位置を規
定する位置情報をも記録しておく。音源の位置情報は、
各トラックに位置情報専用のトラックを設け、そこに書
きこむようにしてもよいし、音声情報を書きこむトラッ
クの空き部分に書きこむようにしてもよい。そして、固
定値として一度だけ書きこむ、または、変化する値とし
て定期的に書きこむ、あるいは位置情報に変化のあった
場合にのみ書きこむ、などしておけばよい。

【００３２】なお、音源の位置情報は、マイクの位置に
基づいて決定してもよいし、演奏者あるいは楽器の位置
に基づいて決定してもよい。

【００３３】また、図１や表１においては、表示を簡単
にするためＸ軸、Ｙ軸の２次元の位置情報の場合を示し
ているが、両軸に垂直なＺ軸方向の座標成分を加えて３
次元の位置情報としてもよい。

【００３４】このようにして位置情報が記録された音声
情報の利用について、以下に説明する。音声は上述のＤ
ＳＰ内蔵のステレオコンポのように、遅延処理や残響処
理を施すことで、奥行き感を出すことができる。また、
耳介による音源位置特定作用や位相差等を考慮に入れて
音声信号を補正することで、上下や前後の方向感覚を出
すことができる。このような遅延処理や残響処理、補正
処理は、従来のステレオコンポや３Ｄサウンド技術で用
いられている技術をそのまま適用すればよい。遅延処理
や残響処理、補正処理は、音源およびリスナーの位置関
係に大きく依存するものであり、これらの処理に関する
パラメータは、残響レベルや遅延時間の多少、伝播媒体
や壁の材質等を予め決めておけば、音源およびリスナー
の位置関係が決定されることで自動的に決まる。なお、
これらの処理に関するパラメータのことを本願では「音
声情報の伝播特性」と表現する。音声情報の伝播特性に
は、遅延処理や残響処理、耳介による音源位置特定作用
や位相差等による補正処理の他、音量レベルを時間的に
変化させることで風の影響や壁などの材質の影響を表現
したり、遅延処理や音量レベルの変化を工夫して音速の
変化要素である気温や伝播媒体の種類（水や空気等）や
密度を表現したりすることも含まれる。

【００３５】さて、本実施の形態に係る情報記録装置に
よって記録された音声情報にはそれぞれ音源の位置情報
が付加されているので、音源ごとに音声情報の伝播特性
を決定することができる。すなわち、例えば従来のステ
レオコンポでは、ステレオ音声情報について伝播特性を
決定する場合には、音源ごとではなくミックスダウンさ
れた音声情報に一律に処理がなされてしまい、立体感が
得にくかったが、音源ごとに音声情報の伝播特性を決定
することができれば、より現実感の増した音声情報を再
生することができる。また、３Ｄサウンド技術によれ
ば、録音技術者の経験や主観が大きな要素を占めていた
ため、必ずしも正確な位置に関する情報が記録されてい
たわけではなかったが、音源ごとの位置情報が付加され
ておれば、正確な位置情報を用いつつ音声情報の伝播特
性をより精度よく決定することが可能となる。

【００３６】図２は、音源ごとに音声情報の伝播特性を
決定する、本実施の形態に係る情報再生装置が用いられ
る場面を示す図である。図２では、表１に示された各音
声トラックデータＳＤ１〜ＳＤ１０がスピーカＳＰＬ，
ＳＰＲから再生されたときに形成される音場ＳＦ１の音
場データイメージが示されている。各音声トラックデー
タＳＤ１〜ＳＤ１０の音場データイメージは、図１に示
した実際のステージ上での各楽器の配置と対応してい
る。

【００３７】なお、この音場データイメージは、リスナ
ーがリスニングポイントＬＰ１にいるときに最適となる
ように、音声情報の伝播特性が決定された場合を示して
いる。仮に、リスナーがリスニングポイントＬＰ１から
リスニングポイントＬＰ２へと移動した場合は、そのま
までは音声情報の伝播特性が最適ではなくなってしまう
ので、リスニングポイントＬＰ２を検知した上で、新た
に音声情報の伝播特性を決定するようにすればよい。な
お、リスナーの場所の特定には、リスナーからの位置情
報の入力を待つようにしてもよいし、本実施の形態に係
る情報再生装置にＣＣＤ測距センサや赤外線センサを設
けて自動検知するようにしてもよい。

【００３８】また図２では、例として２本のスピーカで
音場形成する場合を示しているが、もちろんそれ以上の
複数のスピーカが存在する場合には、各スピーカの配置
に応じて出力させる音声情報を変化させるようにしてお
けばよい。また、本実施の形態に係る情報再生装置の音
声情報の処理能力が低く、マルチトラックの全てについ
て独立に再生を行うことが困難である場合には、例え
ば、音源の位置が近いもの同士の音声情報を一つに合成
して、トラック数を減らすようにしてもよい。

【００３９】なお、音源が移動する場合（例えばワイヤ
レスマイク等を用いる場合など）には、音源の位置とリ
スナーの位置との間で生じるドップラー効果を考慮し
て、音声情報の周波数を変更しつつ音声情報を再生する
ようにしておけばよい。ドップラー効果は、移動する音
源から発せられる音声の周波数が静止時のときと比べて
変化する現象のことを指す。この現象は、

【００４０】

【数１】

【００４１】のように定量的に表わされる。なお数１に
おいて、ｆはリスナーが受け取る音声情報の周波数を、
ｆ₀は静止時の音源から発せられる音声の周波数を、ｃ
は音声の速度を、それぞれ表わす。また、その他のパラ
メータについては、図３に示すとおりである。すなわ
ち、ｖ₀はリスナーの現在地点０における移動速度の絶
対値を、ｖ_Sは音源の現在地点Ｓにおける移動速度の絶
対値を、φおよびθはリスナーの現在地点０と音源の現
在地点Ｓとを結ぶ直線からのリスナーの移動速度の角度
および音源の移動速度の角度を、それぞれ示している。

【００４２】よって、移動する音源から発せられる音声
情報については、ｃ，ｖ₀，ｖ_S，φおよびθで決定され
る数１におけるｆ₀の係数を、音声情報の周波数に乗算
する補正処理を施せばよい。音声の速度ｃは、気温や伝
播媒体等のパラメータを決めることで決定され、ｖ₀，
ｖ_S，φおよびθは、音源の位置情報の時間変化および
リスナーの位置情報の時間変化を計算することにより得
ることができるので、数１におけるｆ₀の係数を求める
ことは困難ではない。

【００４３】上記のドップラー効果を再現する機能を備
えた、情報再生装置のブロック図を図４に示す。図４に
おいて、相対関係算出処理ブロックＳＴ１は音源位置情
報ＩＦＳおよびリスナー位置情報ＩＦＬを得て、両者間
の距離等の位置情報を算出し、また、音源およびリスナ
ーの位置情報の時間変化からｖ₀，ｖ_S，φおよびθを算
出する。そしてそれらの情報を、ピッチ変更処理ブロッ
クＳＴ２および伝播特性変更処理ブロックＳＴ３へと送
る。ピッチ変更処理ブロックＳＴ２においては音声情報
および仮想空間における環境情報（伝播媒体の種類や記
音等に関する情報）が与えられてドップラー効果を音声
情報に付加し、伝播特性変更処理ブロックＳＴ３におい
てはピッチ変更処理ブロックＳＴ２からの出力および仮
想空間における環境情報が与えられて音声情報に伝播特
性を付加する。そして、伝播特性変更処理ブロックＳＴ
３の出力は、音声再生処理ブロックＳＴ４に与えられて
リスナーに伝えられる。

【００４４】また、リスナーが複数存在し、それぞれの
リスナーが異なる位置に存在する場合は、情報再生装置
に、図５に示すブロック図のように、リスナーごとに相
対関係算出処理ブロックＳＴ１ａ〜ＳＴ１ｃ、音声再生
加工処理ブロックＳＴ２３ａ〜ＳＴ２３ｃ、リスナー別
音楽再生処理ブロックＳＴ４ａ〜ＳＴ４ｃを設けるよう
にすればよい。相対関係算出処理ブロックＳＴ１ａ〜Ｓ
Ｔ１ｃがリスナーごとに設けられることに伴い、リスナ
ー位置情報ＩＦＬａ〜ＩＦＬｃもリスナーごとに採取さ
れ、対応する相対関係算出処理ブロックにそれぞれ入力
される。なお、音声再生加工処理ブロックＳＴ２３ａ〜
ＳＴ２３ｃは、図４におけるピッチ変更処理ブロックＳ
Ｔ２および伝播特性変更処理ブロックＳＴ３をまとめて
示したものである。また、再生処理ブロックは、他のリ
スナーとの干渉を防ぐためにリスナー別に設けられてい
る。リスナー別音楽再生処理ブロックＳＴ４ａ〜ＳＴ４
ｃの具体例としては、ヘッドフォンや超指向性スピーカ
等がある。

【００４５】この場合、同一の音声情報に対し、リスナ
ーごとに異なった再生プロセスを通すので、各リスナー
に適した音場を形成することが可能となる。このように
すれば、例えばバーチャルリアリティ空間で発音音源と
リスナーとが動き回る状況を形成することや、車内のオ
ーディオ再生装置でドライバーやナビゲーターの座席位
置に応じた音場を個別に設定すること、家庭のオーディ
オ再生装置でコンサートホールの座席配置を考慮した音
場補正を行うこと、コンサートホールで客席の位置によ
る音場の差異の補正を行うこと、が可能となる。

【００４６】本実施の形態に係る情報記録装置を用いれ
ば、音源の位置情報を付加しつつ音源から発せられる音
声情報を録音するので、音声情報の再生時に音源の位置
情報を用いて音声情報に対して加工を行うことができ
る。

【００４７】また、本実施の形態に係る情報再生装置を
用いれば、音源の位置情報を用いて音声情報の伝播特性
を決定しつつ音声情報を再生するので、リスナーに現実
感や立体感のある音声情報を与えることができる。さら
に伝播特性を決定する際にリスナーの位置情報をも用い
れば、リスナーの位置に応じた、より現実感や立体感の
ある音声情報を聴取者に与えることができる。また、音
源の位置とリスナーの位置との間で生じるドップラー効
果を考慮して音声情報の周波数を変更すれば、より現実
感や立体感のある音声情報をリスナーに与えることがで
きる。また、リスナーが複数である場合には、複数のリ
スナーの各々に対応する位置情報を用いて音声情報の伝
播特性を決定しつつ、またはそれに加えて音声情報の周
波数を変更しつつ、複数のリスナーの各々に対して音声
情報を再生することで、複数のリスナーの各々により現
実感や立体感のある音声情報を与えることができる。

【００４８】＜実施の形態２＞この発明の実施の形態２
は、画像情報に対して被写体および背景までの距離を位
置情報として付加しつつ記録する情報記録装置と、位置
情報が付加された画像情報を位置情報を利用しつつ再生
する情報再生装置とを示すものである。

【００４９】図６は本実施の形態に係る情報記録装置の
構成を示す図である。図６では、デジタルカメラ等の撮
像装置ＣＭが捉えた画像情報と、撮像装置ＣＭ近傍に備
えつけられた、赤外線センサやＣＣＤ測距センサ、超音
波センサ、重力・圧力センサ等の距離を測定するセンサ
素子ＳＳが捉えた被写体ＳＢ０および背景ＢＧの位置情
報とをともにデータ化して、位置情報が付加された画像
情報ＧＡを得ている。なお、被写体ＳＢ０および背景Ｂ
Ｇの位置情報とは、撮像装置ＣＭと被写体ＳＢ０との間
の距離および撮像装置ＣＭと背景ＢＧとの間の距離のこ
とを指す。

【００５０】画像情報ＧＡには被写体ＳＢ０および背景
ＢＧが単に映っているだけではなく、撮像装置ＣＭと被
写体ＳＢ０または背景ＢＧとの間の距離の情報が、ある
単位区画ごと（例えば画面を縦または横に数等分したも
のや、究極的には単位ピクセルごと）に記録される。な
お、この被写体ＳＢ０は、三個の物体ＳＢ０ａ，ＳＢ０
ｂ，ＳＢ０ｃとからなっている。図６においては例とし
て、一番手前に存在する右の物体ＳＢ０ｃの正面部分ま
での距離は２．５ｍ、二番目に手前に存在する左の物体
ＳＢ０ａの正面部分までの距離は２．７ｍ、一番奥に存
在する中央の物体ＳＢ０ｂの正面部分までの距離は３．
０ｍと示されている。また、背景ＢＧまでの距離は１
０．０ｍと示されている。

【００５１】また、本実施の形態に係る情報再生装置と
は、このように記録された画像情報ＧＡを、被写体ＳＢ
０および背景ＢＧの位置情報とともにまたは個別に表示
する装置である。このように、画像情報に被写体の位置
情報が付加されておれば、画像情報の再生を行う際に容
易に背景と被写体とを区別することができ、例えば背景
から人物だけを切り出すなどの画像処理が容易となる。

【００５２】また、撮像装置ＣＭが動画撮影可能なビデ
オカメラである場合には、画像情報に付加された位置情
報を、図７に示すように手ブレ補正に利用することも可
能である。すなわち、被写体の撮像装置からの等距離面
が画面中で全体的に小刻みに揺れれば、手ブレであると
検出できる。そして手ブレによる移動分に対し補正を行
えば、手ブレが存在しないかのように動画を記録するこ
とができる。

【００５３】また、本実施の形態に係る情報記録装置
は、実施の形態１における音声情報についての情報記録
装置と組み合わせて用いてもよい。すなわち、画像情報
の記録時に図８に示すように画面ＧＡ内の等距離面によ
り区分されるオブジェクトＯＢ（実施の形態１における
音源に対応するもの）が画像認識等の手法により認識さ
れた場合、その移動に伴って、録音する音源の位置情報
についても更新を行うのである。そうすれば、実施の形
態１における音声情報についての情報記録装置のうち、
音源の位置情報の時間的変化のデータを記録できないも
のであっても、オブジェクトＯＢの動きにあわせて音源
を移動させることができる。

【００５４】また、本実施の形態に係る情報再生装置
は、上記と同様に実施の形態１における音声情報につい
ての情報再生装置と組み合わせて用いてもよい。すなわ
ち、画像情報の再生時に図８に示すように画面ＧＡ内の
等距離面により区分されるオブジェクトＯＢ（音源に対
応するもの）が画像認識等の手法により認識された場
合、その移動に伴って、再生する音源の位置情報につい
ても更新を行うのである。そうすれば、実施の形態１に
おける音声情報についての情報再生装置のうち、音源の
位置情報の時間的変化のデータを有していないものであ
っても、オブジェクトＯＢの動きにあわせて音源を移動
させることができる。

【００５５】本実施の形態に係る情報記録装置を用いれ
ば、被写体および背景の位置情報を付加しつつ被写体お
よび背景の画像情報を記録するので、画像情報の再生時
に被写体および背景の位置情報を用いて画像情報に対し
て加工を行うことができる。また、画面中で等距離面が
全体的に小刻みに動くかどうかを検出することで、手ブ
レを検出することができる。また、音源の位置情報が被
写体の移動に伴って更新されるようにしておくことで、
音源の位置情報の時間的変化のデータを記録できない情
報記録装置であっても、被写体の移動にあわせて音源を
移動させることができる。

【００５６】また、本実施の形態に係る情報再生装置を
用いれば、被写体の位置情報を用いて画像処理すべき部
分を決定して当該部分に画像処理を行いつつ画像情報を
再生するので、遠くに存在する被写体の圧縮率を上げた
り、被写体を背景から分離したりすることができる。ま
た、音源の位置情報が被写体の移動に伴って更新される
ようにしておくことで、音源の位置情報の時間的変化の
データを有していない情報再生装置であっても、被写体
の移動にあわせて音源を移動させることができる。

【００５７】＜実施の形態３＞この発明の実施の形態３
は、被写界深度の大きい画像を得るために実施の形態２
に示した情報記録装置を利用するものである。

【００５８】図９は被写界深度について説明するもので
ある。通常のアナログカメラやデジタルカメラ、ビデオ
カメラ等の撮像装置ＣＭで撮影した画像は通常、合焦点
（ピントの合った位置のこと、また合焦点から撮像装置
までの距離を合焦距離という）および被写界深度（合焦
点の前後でピントの合う範囲のこと）が存在する。

【００５９】被写界深度が大きいほど奥行き方向のピン
トが合う範囲が広くなり、くっきりとした画像を得るこ
とができる。

【００６０】被写界深度が浅く（短く）なる場合とし
て、撮影レンズの焦点距離が長い、撮影レンズの絞
り値が小さい（絞りが開いている）、被写体までの撮
影距離が近い、という３つの条件が挙げられる。例え
ば、長めの焦点距離（３５ｍｍフィルムにおいて、１
００〜２００ｍｍ位）の撮影レンズを用い、花などの
撮影を至近距離（数十ｃｍ）で行い、絞り値（焦点距
離÷有効瞳径）が開放に近いｆ＝２．８かそれ以下の場
合、全体の被写界深度は数ｃｍの範囲しかない。

【００６１】数ｃｍの被写界深度では、花の写真を撮る
際に、例えば花芯にピントを合わせると周囲の花弁はピ
ントがボケてしまう。また、もし、花全体あるいは茎や
葉にもピントを合わせようとすると、の絞り値を大き
くする（絞る）しかなく、必然的に露出光量が低下し
て、シャッター速度を低下させる（シャッターを長時間
（一般的な撮影光量でｆ＝３２程度まで絞ると数分の一
秒から数秒程度）開ける）ことになり、手ブレや風など
によるブレの影響が出て写真として使いものにならな
い。

【００６２】近距離撮影で被写界深度が浅くなる問題を
解決するため、ある種のカメラでは、ｆ＝４５まで絞
り、露光不足をストロボでカバーするような機構を持つ
ものもある。しかし、自然光と人工光との違い（色、入
光角度、光の分布、拡散など）で、写真の仕上がりのイ
メージがかなり異なってしまう。また、ストロボ光が被
写体に反射して写る、ある程度の距離（ストロボ光到達
距離＝ガイドナンバー÷絞り値×フィルム感度補正）以
上にはストロボ光は届かない、など新たな問題が生じ
る。

【００６３】このような被写界深度の問題は、アナログ
のカメラのみならず、光学系を用いたデジタルカメラや
ビデオカメラにおいても同様に発生する。ただし、実際
の撮影においては、意図的に背景をぼかしたりすること
で写真的表現や芸術的表現となることがあるので、被写
界深度が浅いこと自体は光学機器システム全体としては
欠点というわけではない。むしろ、撮影者の意図する被
写界深度を上記〜の３つの条件とその場の光量に合
うように設定し、コントロールすることが、知識と経験
がない限りは至難の技であるという点が問題であった。

【００６４】そこで、実施の形態２に示した情報記録装
置を利用することで、被写界深度の大きい画像を得る。

【００６５】まず、被写体ＳＢ０ａ〜ＳＢ０ｃを上面か
らみた図１０に示すように、被写体ＳＢ０ａ〜ＳＢ０ｃ
に対し、合焦点をＦＰ１から例えばＦＰ７まで段階的に
変化させて撮像装置ＣＭを含む情報記録装置を用いて撮
影を行い、位置情報付きの画像情報を得ておく。各合焦
点ＦＰ１〜ＦＰ７に対応する被写界深度はＤ１〜Ｄ７で
表わされている。なお、各合焦点間の距離は、被写界深
度が断絶することがないように被写界深度を概算で求め
ておいて決定することが望ましいが、３ｃｍや５ｃｍと
いうような固定値を適宜設定するようにしてもよい。

【００６６】さて、上記の例の場合、合焦点をＦＰ１か
らＦＰ７まで段階的に変化させて撮影を行ったので、ピ
ントの具合が異なる画像情報が７枚存在することにな
る。このうち、ピントが合っている部分を７枚の各画像
情報から抜き出して合成すれば、被写界深度の深い画像
を得ることができる。

【００６７】ピントが合っている部分を各画像情報から
抜き出すには、各画像情報に含まれる撮像装置ＣＭと被
写体ＳＢ０ａ〜ＳＢ０ｃとの間の距離についての位置情
報を用いて、合焦点までの距離の値がその被写体の撮像
面の距離の値と近い画像情報の一部分を抜き出すように
すればよい。

【００６８】そして、ピントが合っている部分を各画像
情報から抜き出して合成することについて示したのが、
図１１である。図１１では、被写体ＳＢ０ｃのピントが
合っている部分として、合焦点ＦＰ２、被写界深度Ｄ２
の下で撮影された画像のうち範囲ＷＡが選択されてい
る。なお符号Ａ１は図１０の一部を示し、符号Ａ２は、
被写界深度Ｄ２の下で撮影された画像のうち範囲ＷＡの
みを示した図である。同様にして、被写体ＳＢ０ｂのピ
ントが合っている部分として、合焦点ＦＰ３、被写界深
度Ｄ３の下で撮影された画像のうち範囲ＷＢが選択さ
れ、被写体ＳＢ０ａのピントが合っている部分として、
合焦点ＦＰ５、被写界深度Ｄ５の下で撮影された画像の
うち範囲ＷＣが選択されている。なお、範囲ＷＢとして
選択される部分は、範囲ＷＡを除いた部分から選択し、
範囲ＷＣとして選択される部分は、範囲ＷＡおよびＷＢ
を除いた部分から選択するようにしておけばよい。この
ようにピントの合っている部分を順次、抜き出して合成
すれば、結果として被写界深度の大きい画像を得ること
ができる。

【００６９】また、このようにすれば、図１２に示すよ
うに、被写体ＳＢ１の撮像面に平行でない壁面の全体に
ピントを合わせた画像を得ることもできる。アナログの
カメラにおいては、シフトレンズ等の光軸を傾斜させる
機構を用いて商品や建築物の斜面を撮影していたが、そ
のような機構を用いることなく、撮像面に平行でない壁
面の全体にピントを合わせた画像を得ることができ、非
常に有効となる。

【００７０】本実施の形態に係る情報記録装置を用いれ
ば、ピントの合っている部分を抜き出して合成するの
で、被写界深度の大きい画像を得ることができる。

【００７１】なお、実施の形態２に示した情報記録装置
以外の情報記録装置を用いる場合であっても、すなわ
ち、撮像装置ＣＭと被写体ＳＢ０との間の距離について
の位置情報が各画像情報に含まれない場合であっても、
上記と同様の効果を有する情報記録装置を実現すること
は可能である。つまり、合焦点を段階的に変化させて複
数枚の画像情報を得ておき、ピントが合っている部分を
各画像情報から抜き出して合成すれば、被写界深度の深
い画像を得ることができる。この場合にピントの合って
いる部分を各画像情報から抜き出すには、複数枚の画像
情報のそれぞれに高域成分を抽出する画像処理を施すこ
とにより、ピントが合っている部分を特定すればよい。

【００７２】＜実施の形態４＞この発明の実施の形態４
は、立体映像を得るために実施の形態２に示した情報再
生装置を利用するものである。

【００７３】図１３は、立体視の原理を示す図である。
例えば図１３に示すような三角柱形状の被写体ＳＢ２を
人間が見るとき、左目には被写体ＳＢ２の左側面Ｓ１が
右側面Ｓ２よりも大きく写り、右目には被写体ＳＢ２の
右側面Ｓ２が左側面Ｓ１よりも大きく写る。このように
右目と左目との間で視差が生じることにより、人間は立
体的な奥行きを感じる。

【００７４】そこで、実施の形態２に示した情報記録装
置を用いて、被写体ＳＢ２をその左側面Ｓ１および右側
面Ｓ２の位置情報を付加しつつ一枚の画像情報として記
録しておく。

【００７５】そして、実施の形態２に示した情報再生装
置を変形して、視差を考慮しつつ左目用映像と右目用映
像とをそれぞれ再生する。具体的には、図１４に示すよ
うに、位置情報を用いて、視差の分だけ水平方向を長く
した左側面Ｓ１Ｌと視差の分だけ水平方向を短くした右
側面Ｓ２Ｌとからなる左目用映像ＳＢ２Ｌを作りだし、
視差の分だけ水平方向を長くした右側面Ｓ２Ｒと視差の
分だけ水平方向を短くした左側面Ｓ１Ｒとからなる右目
用映像ＳＢ２Ｒを作りだして、左目用と右目用との両映
像をそれぞれ再生する。

【００７６】なお、左目用映像ＳＢ２Ｌおよび右目用映
像ＳＢ２Ｒには、もちろん被写体だけでなく背景も含ま
れている。この背景に対しても、被写体と同様に水平方
向の補正が行われることがある。ただし、背景に対して
行われる補正と被写体に対して行われる補正とではその
補正量が異なる場合があるため、被写体に対して水平方
向の補正を行うことにより背景と被写体との間に隙間が
生じてしまうことが考えられる。その場合は、生じた隙
間を周囲の画素の色を平均化した色で補填するなどの手
当てを行えばよい。

【００７７】そして、再生された両映像は、立体眼鏡等
を用いて鑑賞されることで立体映像となる。

【００７８】本実施の形態に係る情報再生装置を用いれ
ば、一枚の画像情報から、位置情報を用いて、視差の分
だけ水平方向の距離を補正した左目用映像および右目用
映像を作り出すので、従来の立体映像のように右目用と
左目用の両映像を記録しておく必要がない。

【００７９】＜実施の形態５＞この発明の実施の形態５
は、実施の形態２に示した情報記録装置を利用して、Ｇ
ＰＳやＰＨＳを用いた移動体の位置測定装置の精度向上
に役立てるものである。すなわち、実施の形態２に示し
た情報記録装置が、さらに自身の位置を測定するための
位置測定装置を備え、位置測定装置により測定された位
置を仮の現在地としつつ、画像情報に付加された位置情
報を用いて位置測定の精度を向上させ真の現在地を求め
る、というものである。

【００８０】例えば図１５に示すように、現在地から建
物等の目標点となる２つの物体Ｂ１，Ｂ２までのそれぞ
れの距離を、実施の形態２に示した情報記録装置を用い
て測っておく。この物体Ｂ１，Ｂ２には、位置測定装置
内の地図に記載されているものを選ぶ。次に、図１６に
示すように、ＧＰＳやＰＨＳを用いた移動体の位置測定
装置により特定される現在地の範囲ＡＲ１を地図ＭＰ上
に表示する。仮に範囲ＡＲ１の中心Ｐ１が現在地である
とすれば、Ｐ１と物体Ｂ１との距離ＤＧ１およびＰ１と
物体Ｂ２との距離ＤＧ２が、実施の形態２に示した情報
記録装置により得られた距離の値と一致するはずであ
る。もし一致しなければ、現在地はＰ１ではないことが
判明する。

【００８１】その場合は、実施の形態２に示した情報記
録装置を用いて得られた現在地から物体Ｂ１，Ｂ２まで
の距離の情報を用いて、現在地から物体Ｂ１までの距離
ＤＳ１を半径とする円ＣＬ１を物体Ｂ１を中心として描
き、同様にして、現在地から物体Ｂ２までの距離ＤＳ２
を半径とする円ＣＬ２を物体Ｂ２を中心として描く。そ
して両者の交点Ｐ２，Ｐ３のうち、位置測定装置により
得られた範囲ＡＲ１に近い方の交点を真の現在地として
採用すればよい。

【００８２】本実施の形態に係る情報記録装置を用いれ
ば、位置測定装置をさらに備え、地図上に仮の現在地を
表示し、また、画像情報の中から２つの物体を決定し、
両物体を中心とし両物体までのそれぞれの距離を半径と
する２つの円を描き、それらの円の交点のうち仮の現在
地に近い方の交点を真の現在地と判定するので、位置測
定装置の精度を向上させることができる。

【００８３】＜実施の形態６＞この発明の実施の形態６
は、実施の形態２に示した情報記録装置および情報記録
装置において、被写体または背景に文字が含まれてお
り、その文字を画像認識してテキスト情報に置き換えて
情報が保存されるものである。

【００８４】被写体または背景に文字が含まれている場
合、ビットマップデータとして保存するよりもテキスト
情報としてコード化して情報を保持する方がデータ効率
がよい。さらに、テキスト情報としておくことで、背景
や被写体の位置情報に変化があった場合には、図１７に
示すようにテキスト情報Ｃ１のフォントサイズをＣ２，
Ｃ３のように変更するなどの加工が容易に行える。その
ほかにもテキスト情報の色等を背景や被写体の位置情報
の変化に合わせて変化させるようにしてもよい。

【００８５】

【発明の効果】請求項１に記載の発明によれば、音源の
位置情報を付加しつつ音源から発せられる音声情報を録
音するので、音声情報の再生時に音源の位置情報を用い
て音声情報に対して加工を行うことができる。

【００８６】請求項２に記載の発明によれば、音源の位
置情報を用いて音声情報の伝播特性を決定しつつ音声情
報を再生するので、聴取者に現実感や立体感のある音声
情報を与えることができる。

【００８７】請求項３に記載の発明によれば、伝播特性
を決定する際に聴取者の位置情報をも用いるので、聴取
者の位置に応じた、より現実感や立体感のある音声情報
を聴取者に与えることができる。

【００８８】請求項４に記載の発明によれば、音源の位
置と聴取者の位置との間で生じるドップラー効果を考慮
して音声情報の周波数を変更するので、より現実感や立
体感のある音声情報を聴取者に与えることができる。

【００８９】請求項５に記載の発明によれば、複数の聴
取者の各々に対応する位置情報を用いて音声情報の伝播
特性を決定しつつ、またはそれに加えて音声情報の周波
数を変更しつつ、複数の聴取者の各々に対して音声情報
を再生するので、複数の聴取者の各々に、より現実感や
立体感のある音声情報を与えることができる。

【００９０】請求項６に記載の発明によれば、被写体お
よび背景の位置情報を付加しつつ被写体および背景の画
像情報を記録するので、画像情報の再生時に被写体およ
び背景の位置情報を用いて画像情報に対して加工を行う
ことができる。また、等距離面が画面中で揺れるかどう
かを検出するので、手ブレを検出することができる。

【００９１】請求項７に記載の発明によれば、被写体お
よび背景の位置情報を付加しつつ被写体および背景の画
像情報を記録するので、画像情報の再生時に被写体およ
び背景の位置情報を用いて画像情報に対して加工を行う
ことができる。また、音源の位置情報は被写体の移動に
伴って更新されるので、音源の位置情報の時間的変化の
データを記録できないものであっても、被写体の移動に
あわせて音源を移動させることができる。

【００９２】請求項８に記載の発明によれば、被写体お
よび背景の位置情報を付加しつつ被写体および背景の画
像情報を記録するので、画像情報の再生時に被写体およ
び背景の位置情報を用いて画像情報に対して加工を行う
ことができる。また、複数枚の画像情報の中から位置情
報に基づいてピントの合っている部分を抜き出して合成
するので、被写界深度の大きい画像を得ることができ
る。

【００９３】請求項９に記載の発明によれば、複数枚の
画像情報の中からピントの合っている部分を抜き出して
合成するので、被写界深度の大きい画像を得ることがで
きる。

【００９４】請求項１０に記載の発明によれば、被写体
および背景の位置情報を付加しつつ被写体および背景の
画像情報を記録するので、画像情報の再生時に被写体お
よび背景の位置情報を用いて画像情報に対して加工を行
うことができる。また、位置測定装置をさらに備え、地
図上に仮の現在地を表示し、また、画像情報の中から２
つの物体を決定し、両物体を中心とし両物体までのそれ
ぞれの距離を半径とする２つの円を描き、それらの円の
交点のうち仮の現在地に近い方の交点を真の現在地と判
定するので、位置測定装置の精度を向上させることがで
きる。

【００９５】請求項１１に記載の発明によれば、被写体
の位置情報を用いて画像処理すべき部分を決定して当該
部分に画像処理を行いつつ画像情報を再生するので、遠
くに存在する被写体の圧縮率を上げたり、被写体を背景
から分離したりすることができる。

【００９６】請求項１２に記載の発明によれば、音源の
位置情報は被写体の移動に伴って更新されるので、音源
の位置情報の時間的変化のデータを有していないもので
あっても、被写体の移動にあわせて音源を移動させるこ
とができる。

【００９７】請求項１３に記載の発明によれば、一枚の
画像情報から、位置情報を用いて、視差の分だけ水平方
向の距離を補正した左目用映像および右目用映像を作り
出すので、従来の立体映像のように右目用と左目用の両
映像を記録しておく必要がない。

【００９８】請求項１４に記載の発明によれば、被写体
および背景の位置情報を付加しつつ被写体および背景の
画像情報を記録するので、画像情報の再生時に被写体お
よび背景の位置情報を用いて画像情報に対して加工を行
うことができる。また、画像情報はテキスト情報をも含
むので、画像情報の再生時に被写体または背景の位置情
報を用いてテキスト情報に対して加工を行うことができ
る。

【００９９】請求項１５に記載の発明によれば、画像情
報はテキスト情報をも含むので、被写体または背景の位
置情報に応じてテキスト情報のフォントの大きさや色等
を変化させることができる。

【図面の簡単な説明】

【図１】この発明の実施の形態１に係る情報記録装置が
用いられる場面を示す図である。

【図２】この発明の実施の形態１に係る情報再生装置が
用いられる場面を示す図である。

【図３】ドップラー効果における各パラメータを示す図
である。

【図４】この発明の実施の形態１に係る情報再生装置の
構成を示すブロック図である。

【図５】この発明の実施の形態１に係る情報再生装置の
他の構成を示すブロック図である。

【図６】この発明の実施の形態２に係る情報記録装置の
構成を示すブロック図である。

【図７】この発明の実施の形態２に係る情報記録装置に
おける手ブレ補正を示す図である。

【図８】この発明の実施の形態２に係る情報記録装置ま
たは情報再生装置における被写体の移動を示す図であ
る。

【図９】被写界深度を説明する図である。

【図１０】この発明の実施の形態３に係る情報記録装置
を用いて被写体が撮影される様子を示す図である。

【図１１】この発明の実施の形態３に係る情報記録装置
を用いて画像が合成される様子を示す図である。

【図１２】撮像面に対し平行でない面を有する被写体を
撮影する様子を示す図である。

【図１３】立体視を説明する図である。

【図１４】この発明の実施の形態４に係る情報記録装置
により作り出される映像を示す図である。

【図１５】この発明の実施の形態５に係る情報記録装置
において目標点となる２つの物体を示す図である。

【図１６】この発明の実施の形態５に係る情報記録装置
において現在地を判定する方法を示す図である。

【図１７】この発明の実施の形態６に係る情報記録装置
において文字のサイズが変化する様子を示す図である。

【図１８】従来のステレオ音声情報を示す図である。

【図１９】従来のステレオ音声情報の音場データのイメ
ージを示す図である。

【図２０】従来の３Ｄサウンド技術の音場データのイメ
ージを示す図である。

【符号の説明】

ＳＤ１〜ＳＤ１０ 音声トラックデータ ＩＦＳ 音源位置情報 ＩＦＬ，ＩＦＬａ〜ＩＦＬｃ リスナー位置情報 ＳＴ１，ＳＴ１ａ〜ＳＴ１ｃ 相対関係算出処理ブロッ
ク ＳＴ２ ピッチ変更処理ブロック ＳＴ３ 伝播特性変更処理ブロック ＳＴ２３ａ〜ＳＴ２３ｃ 音声再生加工処理ブロック ＳＴ４ 音声再生処理ブロック ＳＴ４ａ〜ＳＴ４ｃ リスナー別音声再生処理ブロック ＣＭ 撮像装置 ＳＳ センサ素子 ＳＢＯ，ＳＢＯａ〜ＳＢ０ｃ，ＳＢ１，ＳＢ２ 被写体 ＯＢ オブジェクト ＦＰ１〜ＦＰ７ 合焦点 Ｄ１〜Ｄ７ 被写界深度 ＡＲ１ 位置測定装置により特定される範囲 Ｂ１，Ｂ２ 目標点となる物体 Ｃ１〜Ｃ３ 文字フォント

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山本 武邦 大阪市淀川区宮原４丁目５番36号 株式会 社メガチップス内 Ｆターム(参考） 5C053 FA21 GB01 GB05 GB06 GB11 GB40 HA01 HA27 HA40 JA01 JA02 JA07 KA24 LA01 LA06 5C061 AA01 AB08 AB12 AB21 AB24 5D062 AA02 BB13 BB14

Claims (15)

【特許請求の範囲】
1. 【請求項１】 音源の空間的な位置を規定する位置情報
   を付加しつつ前記音源から発せられる音声情報を録音す
   る情報記録装置。
2. 【請求項２】 音源の空間的な位置を規定する位置情報
   が付加された音声情報を、前記音源の前記位置情報を用
   いて前記音声情報の伝播特性を決定する第１処理を行い
   つつ再生する情報再生装置。
3. 【請求項３】 請求項２に記載の情報再生装置であっ
   て、 前記第１処理を行う際に聴取者の位置情報をも用いる情
   報再生装置。
4. 【請求項４】 請求項３に記載の情報再生装置であっ
   て、 前記音源の位置情報または前記聴取者の位置情報が変化
   し、 前記音源の位置と前記聴取者の位置との間で生じるドッ
   プラー効果を考慮して前記音声情報の周波数を変更する
   第２処理をも行いつつ前記音声情報を再生する情報再生
   装置。
5. 【請求項５】 請求項３または請求項４に記載の情報再
   生装置であって、 前記聴取者は複数であり、複数の前記聴取者の各々に対
   応する前記位置情報を用いて前記第１処理または前記第
   １および第２処理を行いつつ、複数の前記聴取者の各々
   に対して前記音声情報を再生する情報再生装置。
6. 【請求項６】 被写体および背景までの距離を位置情報
   として付加しつつ前記被写体および前記背景の画像情報
   を記録する情報記録装置であって、 前記被写体および背景の位置情報が時間的に変化し、 前記被写体の前記情報記録装置からの等距離面が画面中
   で揺れるかどうかを検出する情報記録装置。
7. 【請求項７】 被写体および背景までの距離を位置情報
   として付加しつつ前記被写体および前記背景の画像情報
   を記録し、 前記被写体の位置情報が時間的に変化し、 前記位置情報の変化により前記被写体の移動を認識し、 音源の空間的な位置を規定する位置情報を付加しつつ前
   記音源から発せられる音声情報を録音し、 前記音源の前記位置情報は前記被写体の移動に伴って更
   新される情報記録装置。
8. 【請求項８】 被写体および背景までの距離を位置情報
   として付加しつつ前記被写体および前記背景の画像情報
   を記録し、 合焦点を段階的に変化させつつ前記画像情報を複数枚記
   録し、 前記複数枚の前記画像情報の中から前記位置情報に基づ
   いてピントの合っている部分を抜き出して一枚の画像を
   合成する情報記録装置。
9. 【請求項９】 合焦点を段階的に変化させつつ画像情報
   を複数枚記録し、 前記複数枚の前記画像情報の中からピントの合っている
   部分を抜き出して一枚の画像を合成する情報記録装置。
10. 【請求項１０】 被写体および背景までの距離を位置情
    報として付加しつつ前記被写体および前記背景の画像情
    報を記録する情報記録装置であって、 前記情報記録装置の位置を測定するための位置測定装置
    をさらに備え、 前記位置測定装置は、前記位置測定装置によって測定さ
    れた前記情報記録装置の位置を仮の現在地として規定し
    て地図上に前記仮の現在地を表示し、 前記画像情報の中から前記地図に含まれる２つの物体を
    決定し、 前記位置情報によって前記２つの物体までのそれぞれの
    距離が第１および第２の距離として規定され、 前記地図上において前記２つの物体を中心とし前記第１
    および第２の距離を半径とする２つの円を描き、前記２
    つの円の交点のうち前記仮の現在地に近い方の交点を真
    の現在地と判定する情報記録装置。
11. 【請求項１１】 被写体および背景までの距離を位置情
    報として付加された画像情報を、前記被写体および背景
    の前記位置情報を用いて画像処理すべき部分を決定して
    当該部分に前記画像処理を行いつつ再生する情報再生装
    置。
12. 【請求項１２】 被写体および背景までの距離を位置情
    報として付加された画像情報を再生し、 前記被写体の位置情報が時間的に変化し、 前記位置情報の変化により被写体の移動を認識し、 音源の空間的な位置を規定する位置情報が付加された音
    声情報を、前記音源の前記位置情報を用いて前記音声情
    報の伝播特性を決定しつつ再生し、 前記音源の前記位置情報は前記被写体の移動に伴って更
    新される情報再生装置。
13. 【請求項１３】 請求項１１に記載の情報再生装置であ
    って、 前記画像情報から、前記被写体の前記位置情報を用い
    て、視差の分だけ水平方向の距離を補正した左目用映像
    および右目用映像を作り出す情報再生装置。
14. 【請求項１４】 被写体および背景までの距離を位置情
    報として付加しつつ前記被写体および前記背景の画像情
    報を記録し、 前記画像情報はテキスト情報をも含み、 前記テキスト情報は、前記被写体または前記背景に含ま
    れる文字が置換されたものである情報記録装置。
15. 【請求項１５】 請求項１１に記載の情報再生装置であ
    って、 前記画像情報はテキスト情報をも含み、 前記テキスト情報は、前記被写体または前記背景に含ま
    れる文字が置換されたものである、情報再生装置。