JP2004032726A - Information recording device and information reproducing device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information recording device and an information reproducing device which are capable of giving sufficient reality, feeling of 3-D, and convenience of information during reproduction to audio information or image information which are recorded linearly or two-dimensionally without having information regarding an accurate position such as the depth of a sound source or subject. <P>SOLUTION: The audio information and the image information are recorded after information regarding the position of the sound source and the subject is added, and the added information regarding the position is used effectively when reproducing the information. In the case of the image information, for example, distance information is added to actual image information, and processing such as camera shake correction can be performed to the image information by using the positional information of the subject and background during reproduction. <P>COPYRIGHT: (C)2004,JPO

Description

【００２２】
表１は、各マイクＭｃ１〜Ｍｃ１０とその位置、および録音される音声トラックデータ番号ＳＤ１〜ＳＤ１０を示したものである。本実施の形態に係る情報記録装置においては、従来の場合とは異なり、マルチトラックのデータをステレオ２チャンネルにミックスダウンするのではなく、記録した音声情報をマルチトラックのまま保持しておく。
【００２３】
本実施の形態においては、各トラックの録音時には、音声情報だけでなく音源の空間的な位置を規定する位置情報をも記録しておく。音源の位置情報は、各トラックに位置情報専用のトラックを設け、そこに書きこむようにしてもよいし、音声情報を書きこむトラックの空き部分に書きこむようにしてもよい。そして、固定値として一度だけ書きこむ、または、変化する値として定期的に書きこむ、あるいは位置情報に変化のあった場合にのみ書きこむ、などしておけばよい。
【００２４】
なお、音源の位置情報は、マイクの位置に基づいて決定してもよいし、演奏者あるいは楽器の位置に基づいて決定してもよい。
【００２５】
また、図１や表１においては、表示を簡単にするためＸ軸、Ｙ軸の２次元の位置情報の場合を示しているが、両軸に垂直なＺ軸方向の座標成分を加えて３次元の位置情報としてもよい。
【００２６】
このようにして位置情報が記録された音声情報の利用について、以下に説明する。音声は上述のＤＳＰ内蔵のステレオコンポのように、遅延処理や残響処理を施すことで、奥行き感を出すことができる。また、耳介による音源位置特定作用や位相差等を考慮に入れて音声信号を補正することで、上下や前後の方向感覚を出すことができる。このような遅延処理や残響処理、補正処理は、従来のステレオコンポや３Ｄサウンド技術で用いられている技術をそのまま適用すればよい。遅延処理や残響処理、補正処理は、音源およびリスナーの位置関係に大きく依存するものであり、これらの処理に関するパラメータは、残響レベルや遅延時間の多少、伝播媒体や壁の材質等を予め決めておけば、音源およびリスナーの位置関係が決定されることで自動的に決まる。なお、これらの処理に関するパラメータのことを本願では「音声情報の伝播特性」と表現する。音声情報の伝播特性には、遅延処理や残響処理、耳介による音源位置特定作用や位相差等による補正処理の他、音量レベルを時間的に変化させることで風の影響や壁などの材質の影響を表現したり、遅延処理や音量レベルの変化を工夫して音速の変化要素である気温や伝播媒体の種類（水や空気等）や密度を表現したりすることも含まれる。
【００２７】
さて、本実施の形態に係る情報記録装置によって記録された音声情報にはそれぞれ音源の位置情報が付加されているので、音源ごとに音声情報の伝播特性を決定することができる。すなわち、例えば従来のステレオコンポでは、ステレオ音声情報について伝播特性を決定する場合には、音源ごとではなくミックスダウンされた音声情報に一律に処理がなされてしまい、立体感が得にくかったが、音源ごとに音声情報の伝播特性を決定することができれば、より現実感の増した音声情報を再生することができる。また、３Ｄサウンド技術によれば、録音技術者の経験や主観が大きな要素を占めていたため、必ずしも正確な位置に関する情報が記録されていたわけではなかったが、音源ごとの位置情報が付加されておれば、正確な位置情報を用いつつ音声情報の伝播特性をより精度よく決定することが可能となる。
【００２８】
図２は、音源ごとに音声情報の伝播特性を決定する、本実施の形態に係る情報再生装置が用いられる場面を示す図である。図２では、表１に示された各音声トラックデータＳＤ１〜ＳＤ１０がスピーカＳＰＬ，ＳＰＲから再生されたときに形成される音場ＳＦ１の音場データイメージが示されている。各音声トラックデータＳＤ１〜ＳＤ１０の音場データイメージは、図１に示した実際のステージ上での各楽器の配置と対応している。
【００２９】
なお、この音場データイメージは、リスナーがリスニングポイントＬＰ１にいるときに最適となるように、音声情報の伝播特性が決定された場合を示している。仮に、リスナーがリスニングポイントＬＰ１からリスニングポイントＬＰ２へと移動した場合は、そのままでは音声情報の伝播特性が最適ではなくなってしまうので、リスニングポイントＬＰ２を検知した上で、新たに音声情報の伝播特性を決定するようにすればよい。なお、リスナーの場所の特定には、リスナーからの位置情報の入力を待つようにしてもよいし、本実施の形態に係る情報再生装置にＣＣＤ測距センサや赤外線センサを設けて自動検知するようにしてもよい。
【００３０】
また図２では、例として２本のスピーカで音場形成する場合を示しているが、もちろんそれ以上の複数のスピーカが存在する場合には、各スピーカの配置に応じて出力させる音声情報を変化させるようにしておけばよい。また、本実施の形態に係る情報再生装置の音声情報の処理能力が低く、マルチトラックの全てについて独立に再生を行うことが困難である場合には、例えば、音源の位置が近いもの同士の音声情報を一つに合成して、トラック数を減らすようにしてもよい。
【００３１】
なお、音源が移動する場合（例えばワイヤレスマイク等を用いる場合など）には、音源の位置とリスナーの位置との間で生じるドップラー効果を考慮して、音声情報の周波数を変更しつつ音声情報を再生するようにしておけばよい。ドップラー効果は、移動する音源から発せられる音声の周波数が静止時のときと比べて変化する現象のことを指す。この現象は、
【００３２】
【数１】

【００３３】
のように定量的に表わされる。なお数１において、ｆはリスナーが受け取る音声情報の周波数を、ｆ_０は静止時の音源から発せられる音声の周波数を、ｃは音声の速度を、それぞれ表わす。また、その他のパラメータについては、図３に示すとおりである。すなわち、ｖ_０はリスナーの現在地点０における移動速度の絶対値を、ｖ_Ｓは音源の現在地点Ｓにおける移動速度の絶対値を、φおよびθはリスナーの現在地点０と音源の現在地点Ｓとを結ぶ直線からのリスナーの移動速度の角度および音源の移動速度の角度を、それぞれ示している。
【００３４】
よって、移動する音源から発せられる音声情報については、ｃ，ｖ_０，ｖ_Ｓ，φおよびθで決定される数１におけるｆ_０の係数を、音声情報の周波数に乗算する補正処理を施せばよい。音声の速度ｃは、気温や伝播媒体等のパラメータを決めることで決定され、ｖ_０，ｖ_Ｓ，φおよびθは、音源の位置情報の時間変化およびリスナーの位置情報の時間変化を計算することにより得ることができるので、数１におけるｆ_０の係数を求めることは困難ではない。
【００３５】
上記のドップラー効果を再現する機能を備えた、情報再生装置のブロック図を図４に示す。図４において、相対関係算出処理ブロックＳＴ１は音源位置情報ＩＦＳおよびリスナー位置情報ＩＦＬを得て、両者間の距離等の位置情報を算出し、また、音源およびリスナーの位置情報の時間変化からｖ_０，ｖ_Ｓ，φおよびθを算出する。そしてそれらの情報を、ピッチ変更処理ブロックＳＴ２および伝播特性変更処理ブロックＳＴ３へと送る。ピッチ変更処理ブロックＳＴ２においては音声情報および仮想空間における環境情報（伝播媒体の種類や記音等に関する情報）が与えられてドップラー効果を音声情報に付加し、伝播特性変更処理ブロックＳＴ３においてはピッチ変更処理ブロックＳＴ２からの出力および仮想空間における環境情報が与えられて音声情報に伝播特性を付加する。そして、伝播特性変更処理ブロックＳＴ３の出力は、音声再生処理ブロックＳＴ４に与えられてリスナーに伝えられる。
【００３６】
また、リスナーが複数存在し、それぞれのリスナーが異なる位置に存在する場合は、情報再生装置に、図５に示すブロック図のように、リスナーごとに相対関係算出処理ブロックＳＴ１ａ〜ＳＴ１ｃ、音声再生加工処理ブロックＳＴ２３ａ〜ＳＴ２３ｃ、リスナー別音楽再生処理ブロックＳＴ４ａ〜ＳＴ４ｃを設けるようにすればよい。相対関係算出処理ブロックＳＴ１ａ〜ＳＴ１ｃがリスナーごとに設けられることに伴い、リスナー位置情報ＩＦＬａ〜ＩＦＬｃもリスナーごとに採取され、対応する相対関係算出処理ブロックにそれぞれ入力される。なお、音声再生加工処理ブロックＳＴ２３ａ〜ＳＴ２３ｃは、図４におけるピッチ変更処理ブロックＳＴ２および伝播特性変更処理ブロックＳＴ３をまとめて示したものである。また、再生処理ブロックは、他のリスナーとの干渉を防ぐためにリスナー別に設けられている。リスナー別音楽再生処理ブロックＳＴ４ａ〜ＳＴ４ｃの具体例としては、ヘッドフォンや超指向性スピーカ等がある。
【００３７】
この場合、同一の音声情報に対し、リスナーごとに異なった再生プロセスを通すので、各リスナーに適した音場を形成することが可能となる。このようにすれば、例えばバーチャルリアリティ空間で発音音源とリスナーとが動き回る状況を形成することや、車内のオーディオ再生装置でドライバーやナビゲーターの座席位置に応じた音場を個別に設定すること、家庭のオーディオ再生装置でコンサートホールの座席配置を考慮した音場補正を行うこと、コンサートホールで客席の位置による音場の差異の補正を行うこと、が可能となる。
【００３８】
本実施の形態に係る情報記録装置を用いれば、音源の位置情報を付加しつつ音源から発せられる音声情報を録音するので、音声情報の再生時に音源の位置情報を用いて音声情報に対して加工を行うことができる。
【００３９】
また、本実施の形態に係る情報再生装置を用いれば、音源の位置情報を用いて音声情報の伝播特性を決定しつつ音声情報を再生するので、リスナーに現実感や立体感のある音声情報を与えることができる。さらに伝播特性を決定する際にリスナーの位置情報をも用いれば、リスナーの位置に応じた、より現実感や立体感のある音声情報を聴取者に与えることができる。また、音源の位置とリスナーの位置との間で生じるドップラー効果を考慮して音声情報の周波数を変更すれば、より現実感や立体感のある音声情報をリスナーに与えることができる。また、リスナーが複数である場合には、複数のリスナーの各々に対応する位置情報を用いて音声情報の伝播特性を決定しつつ、またはそれに加えて音声情報の周波数を変更しつつ、複数のリスナーの各々に対して音声情報を再生することで、複数のリスナーの各々により現実感や立体感のある音声情報を与えることができる。
【００４０】
＜実施の形態２＞
この発明の実施の形態２は、画像情報に対して被写体および背景までの距離を位置情報として付加しつつ記録する情報記録装置と、位置情報が付加された画像情報を位置情報を利用しつつ再生する情報再生装置とを示すものである。
【００４１】
図６は本実施の形態に係る情報記録装置の構成を示す図である。図６では、デジタルカメラ等の撮像装置ＣＭが捉えた画像情報と、撮像装置ＣＭ近傍に備えつけられた、赤外線センサやＣＣＤ測距センサ、超音波センサ、重力・圧力センサ等の距離を測定するセンサ素子ＳＳが捉えた被写体ＳＢ０および背景ＢＧの位置情報とをともにデータ化して、位置情報が付加された画像情報ＧＡを得ている。なお、被写体ＳＢ０および背景ＢＧの位置情報とは、撮像装置ＣＭと被写体ＳＢ０との間の距離および撮像装置ＣＭと背景ＢＧとの間の距離のことを指す。
【００４２】
画像情報ＧＡには被写体ＳＢ０および背景ＢＧが単に映っているだけではなく、撮像装置ＣＭと被写体ＳＢ０または背景ＢＧとの間の距離の情報が、ある単位区画ごと（例えば画面を縦または横に数等分したものや、究極的には単位ピクセルごと）に記録される。なお、この被写体ＳＢ０は、三個の物体ＳＢ０ａ，ＳＢ０ｂ，ＳＢ０ｃとからなっている。図６においては例として、一番手前に存在する右の物体ＳＢ０ｃの正面部分までの距離は２．５ｍ、二番目に手前に存在する左の物体ＳＢ０ａの正面部分までの距離は２．７ｍ、一番奥に存在する中央の物体ＳＢ０ｂの正面部分までの距離は３．０ｍと示されている。また、背景ＢＧまでの距離は１０．０ｍと示されている。
【００４３】
また、本実施の形態に係る情報再生装置とは、このように記録された画像情報ＧＡを、被写体ＳＢ０および背景ＢＧの位置情報とともにまたは個別に表示する装置である。このように、画像情報に被写体の位置情報が付加されておれば、画像情報の再生を行う際に容易に背景と被写体とを区別することができ、例えば背景から人物だけを切り出すなどの画像処理が容易となる。
【００４４】
また、撮像装置ＣＭが動画撮影可能なビデオカメラである場合には、画像情報に付加された位置情報を、図７に示すように手ブレ補正に利用することも可能である。すなわち、被写体の撮像装置からの等距離面が画面中で全体的に小刻みに揺れれば、手ブレであると検出できる。そして手ブレによる移動分に対し補正を行えば、手ブレが存在しないかのように動画を記録することができる。
【００４５】
また、本実施の形態に係る情報記録装置は、実施の形態１における音声情報についての情報記録装置と組み合わせて用いてもよい。すなわち、画像情報の記録時に図８に示すように画面ＧＡ内の等距離面により区分されるオブジェクトＯＢ（実施の形態１における音源に対応するもの）が画像認識等の手法により認識された場合、その移動に伴って、録音する音源の位置情報についても更新を行うのである。そうすれば、実施の形態１における音声情報についての情報記録装置のうち、音源の位置情報の時間的変化のデータを記録できないものであっても、オブジェクトＯＢの動きにあわせて音源を移動させることができる。
【００４６】
また、本実施の形態に係る情報再生装置は、上記と同様に実施の形態１における音声情報についての情報再生装置と組み合わせて用いてもよい。すなわち、画像情報の再生時に図８に示すように画面ＧＡ内の等距離面により区分されるオブジェクトＯＢ（音源に対応するもの）が画像認識等の手法により認識された場合、その移動に伴って、再生する音源の位置情報についても更新を行うのである。そうすれば、実施の形態１における音声情報についての情報再生装置のうち、音源の位置情報の時間的変化のデータを有していないものであっても、オブジェクトＯＢの動きにあわせて音源を移動させることができる。
【００４７】
本実施の形態に係る情報記録装置を用いれば、被写体および背景の位置情報を付加しつつ被写体および背景の画像情報を記録するので、画像情報の再生時に被写体および背景の位置情報を用いて画像情報に対して加工を行うことができる。また、画面中で等距離面が全体的に小刻みに動くかどうかを検出することで、手ブレを検出することができる。また、音源の位置情報が被写体の移動に伴って更新されるようにしておくことで、音源の位置情報の時間的変化のデータを記録できない情報記録装置であっても、被写体の移動にあわせて音源を移動させることができる。
【００４８】
また、本実施の形態に係る情報再生装置を用いれば、被写体の位置情報を用いて画像処理すべき部分を決定して当該部分に画像処理を行いつつ画像情報を再生するので、遠くに存在する被写体の圧縮率を上げたり、被写体を背景から分離したりすることができる。また、音源の位置情報が被写体の移動に伴って更新されるようにしておくことで、音源の位置情報の時間的変化のデータを有していない情報再生装置であっても、被写体の移動にあわせて音源を移動させることができる。
【００４９】
＜実施の形態３＞
この発明の実施の形態３は、被写界深度の大きい画像を得るために実施の形態２に示した情報記録装置を利用するものである。
【００５０】
図９は被写界深度について説明するものである。通常のアナログカメラやデジタルカメラ、ビデオカメラ等の撮像装置ＣＭで撮影した画像は通常、合焦点（ピントの合った位置のこと、また合焦点から撮像装置までの距離を合焦距離という）および被写界深度（合焦点の前後でピントの合う範囲のこと）が存在する。
【００５１】
被写界深度が大きいほど奥行き方向のピントが合う範囲が広くなり、くっきりとした画像を得ることができる。
【００５２】
被写界深度が浅く（短く）なる場合として、▲１▼撮影レンズの焦点距離が長い、▲２▼撮影レンズの絞り値が小さい（絞りが開いている）、▲３▼被写体までの撮影距離が近い、という３つの条件が挙げられる。例えば、▲１▼長めの焦点距離（３５ｍｍフィルムにおいて、１００〜２００ｍｍ位）の撮影レンズを用い、▲２▼花などの撮影を至近距離（数十ｃｍ）で行い、▲３▼絞り値（焦点距離÷有効瞳径）が開放に近いｆ＝２．８かそれ以下の場合、全体の被写界深度は数ｃｍの範囲しかない。
【００５３】
数ｃｍの被写界深度では、花の写真を撮る際に、例えば花芯にピントを合わせると周囲の花弁はピントがボケてしまう。また、もし、花全体あるいは茎や葉にもピントを合わせようとすると、▲３▼の絞り値を大きくする（絞る）しかなく、必然的に露出光量が低下して、シャッター速度を低下させる（シャッターを長時間（一般的な撮影光量でｆ＝３２程度まで絞ると数分の一秒から数秒程度）開ける）ことになり、手ブレや風などによるブレの影響が出て写真として使いものにならない。
【００５４】
近距離撮影で被写界深度が浅くなる問題を解決するため、ある種のカメラでは、ｆ＝４５まで絞り、露光不足をストロボでカバーするような機構を持つものもある。しかし、自然光と人工光との違い（色、入光角度、光の分布、拡散など）で、写真の仕上がりのイメージがかなり異なってしまう。また、ストロボ光が被写体に反射して写る、ある程度の距離（ストロボ光到達距離＝ガイドナンバー÷絞り値×フィルム感度補正）以上にはストロボ光は届かない、など新たな問題が生じる。
【００５５】
このような被写界深度の問題は、アナログのカメラのみならず、光学系を用いたデジタルカメラやビデオカメラにおいても同様に発生する。ただし、実際の撮影においては、意図的に背景をぼかしたりすることで写真的表現や芸術的表現となることがあるので、被写界深度が浅いこと自体は光学機器システム全体としては欠点というわけではない。むしろ、撮影者の意図する被写界深度を上記▲１▼〜▲３▼の３つの条件とその場の光量に合うように設定し、コントロールすることが、知識と経験がない限りは至難の技であるという点が問題であった。
【００５６】
そこで、実施の形態２に示した情報記録装置を利用することで、被写界深度の大きい画像を得る。
【００５７】
まず、被写体ＳＢ０ａ〜ＳＢ０ｃを上面からみた図１０に示すように、被写体ＳＢ０ａ〜ＳＢ０ｃに対し、合焦点をＦＰ１から例えばＦＰ７まで段階的に変化させて撮像装置ＣＭを含む情報記録装置を用いて撮影を行い、位置情報付きの画像情報を得ておく。各合焦点ＦＰ１〜ＦＰ７に対応する被写界深度はＤ１〜Ｄ７で表わされている。なお、各合焦点間の距離は、被写界深度が断絶することがないように被写界深度を概算で求めておいて決定することが望ましいが、３ｃｍや５ｃｍというような固定値を適宜設定するようにしてもよい。
【００５８】
さて、上記の例の場合、合焦点をＦＰ１からＦＰ７まで段階的に変化させて撮影を行ったので、ピントの具合が異なる画像情報が７枚存在することになる。このうち、ピントが合っている部分を７枚の各画像情報から抜き出して合成すれば、被写界深度の深い画像を得ることができる。
【００５９】
ピントが合っている部分を各画像情報から抜き出すには、各画像情報に含まれる撮像装置ＣＭと被写体ＳＢ０ａ〜ＳＢ０ｃとの間の距離についての位置情報を用いて、合焦点までの距離の値がその被写体の撮像面の距離の値と近い画像情報の一部分を抜き出すようにすればよい。
【００６０】
そして、ピントが合っている部分を各画像情報から抜き出して合成することについて示したのが、図１１である。図１１では、被写体ＳＢ０ｃのピントが合っている部分として、合焦点ＦＰ２、被写界深度Ｄ２の下で撮影された画像のうち範囲ＷＡが選択されている。なお符号Ａ１は図１０の一部を示し、符号Ａ２は、被写界深度Ｄ２の下で撮影された画像のうち範囲ＷＡのみを示した図である。同様にして、被写体ＳＢ０ｂのピントが合っている部分として、合焦点ＦＰ３、被写界深度Ｄ３の下で撮影された画像のうち範囲ＷＢが選択され、被写体ＳＢ０ａのピントが合っている部分として、合焦点ＦＰ５、被写界深度Ｄ５の下で撮影された画像のうち範囲ＷＣが選択されている。なお、範囲ＷＢとして選択される部分は、範囲ＷＡを除いた部分から選択し、範囲ＷＣとして選択される部分は、範囲ＷＡおよびＷＢを除いた部分から選択するようにしておけばよい。このようにピントの合っている部分を順次、抜き出して合成すれば、結果として被写界深度の大きい画像を得ることができる。
【００６１】
また、このようにすれば、図１２に示すように、被写体ＳＢ１の撮像面に平行でない壁面の全体にピントを合わせた画像を得ることもできる。アナログのカメラにおいては、シフトレンズ等の光軸を傾斜させる機構を用いて商品や建築物の斜面を撮影していたが、そのような機構を用いることなく、撮像面に平行でない壁面の全体にピントを合わせた画像を得ることができ、非常に有効となる。
【００６２】
本実施の形態に係る情報記録装置を用いれば、ピントの合っている部分を抜き出して合成するので、被写界深度の大きい画像を得ることができる。
【００６３】
なお、実施の形態２に示した情報記録装置以外の情報記録装置を用いる場合であっても、すなわち、撮像装置ＣＭと被写体ＳＢ０との間の距離についての位置情報が各画像情報に含まれない場合であっても、上記と同様の効果を有する情報記録装置を実現することは可能である。つまり、合焦点を段階的に変化させて複数枚の画像情報を得ておき、ピントが合っている部分を各画像情報から抜き出して合成すれば、被写界深度の深い画像を得ることができる。この場合にピントの合っている部分を各画像情報から抜き出すには、複数枚の画像情報のそれぞれに高域成分を抽出する画像処理を施すことにより、ピントが合っている部分を特定すればよい。
【００６４】
＜実施の形態４＞
この発明の実施の形態４は、立体映像を得るために実施の形態２に示した情報再生装置を利用するものである。
【００６５】
図１３は、立体視の原理を示す図である。例えば図１３に示すような三角柱形状の被写体ＳＢ２を人間が見るとき、左目には被写体ＳＢ２の左側面Ｓ１が右側面Ｓ２よりも大きく写り、右目には被写体ＳＢ２の右側面Ｓ２が左側面Ｓ１よりも大きく写る。このように右目と左目との間で視差が生じることにより、人間は立体的な奥行きを感じる。
【００６６】
そこで、実施の形態２に示した情報記録装置を用いて、被写体ＳＢ２をその左側面Ｓ１および右側面Ｓ２の位置情報を付加しつつ一枚の画像情報として記録しておく。
【００６７】
そして、実施の形態２に示した情報再生装置を変形して、視差を考慮しつつ左目用映像と右目用映像とをそれぞれ再生する。具体的には、図１４に示すように、位置情報を用いて、視差の分だけ水平方向を長くした左側面Ｓ１Ｌと視差の分だけ水平方向を短くした右側面Ｓ２Ｌとからなる左目用映像ＳＢ２Ｌを作りだし、視差の分だけ水平方向を長くした右側面Ｓ２Ｒと視差の分だけ水平方向を短くした左側面Ｓ１Ｒとからなる右目用映像ＳＢ２Ｒを作りだして、左目用と右目用との両映像をそれぞれ再生する。
【００６８】
なお、左目用映像ＳＢ２Ｌおよび右目用映像ＳＢ２Ｒには、もちろん被写体だけでなく背景も含まれている。この背景に対しても、被写体と同様に水平方向の補正が行われることがある。ただし、背景に対して行われる補正と被写体に対して行われる補正とではその補正量が異なる場合があるため、被写体に対して水平方向の補正を行うことにより背景と被写体との間に隙間が生じてしまうことが考えられる。その場合は、生じた隙間を周囲の画素の色を平均化した色で補填するなどの手当てを行えばよい。
【００６９】
そして、再生された両映像は、立体眼鏡等を用いて鑑賞されることで立体映像となる。
【００７０】
本実施の形態に係る情報再生装置を用いれば、一枚の画像情報から、位置情報を用いて、視差の分だけ水平方向の距離を補正した左目用映像および右目用映像を作り出すので、従来の立体映像のように右目用と左目用の両映像を記録しておく必要がない。
【００７１】
＜実施の形態５＞
この発明の実施の形態５は、実施の形態２に示した情報記録装置を利用して、ＧＰＳやＰＨＳを用いた移動体の位置測定装置の精度向上に役立てるものである。すなわち、実施の形態２に示した情報記録装置が、さらに自身の位置を測定するための位置測定装置を備え、位置測定装置により測定された位置を仮の現在地としつつ、画像情報に付加された位置情報を用いて位置測定の精度を向上させ真の現在地を求める、というものである。
【００７２】
例えば図１５に示すように、現在地から建物等の目標点となる２つの物体Ｂ１，Ｂ２までのそれぞれの距離を、実施の形態２に示した情報記録装置を用いて測っておく。この物体Ｂ１，Ｂ２には、位置測定装置内の地図に記載されているものを選ぶ。次に、図１６に示すように、ＧＰＳやＰＨＳを用いた移動体の位置測定装置により特定される現在地の範囲ＡＲ１を地図ＭＰ上に表示する。仮に範囲ＡＲ１の中心Ｐ１が現在地であるとすれば、Ｐ１と物体Ｂ１との距離ＤＧ１およびＰ１と物体Ｂ２との距離ＤＧ２が、実施の形態２に示した情報記録装置により得られた距離の値と一致するはずである。もし一致しなければ、現在地はＰ１ではないことが判明する。
【００７３】
その場合は、実施の形態２に示した情報記録装置を用いて得られた現在地から物体Ｂ１，Ｂ２までの距離の情報を用いて、現在地から物体Ｂ１までの距離ＤＳ１を半径とする円ＣＬ１を物体Ｂ１を中心として描き、同様にして、現在地から物体Ｂ２までの距離ＤＳ２を半径とする円ＣＬ２を物体Ｂ２を中心として描く。そして両者の交点Ｐ２，Ｐ３のうち、位置測定装置により得られた範囲ＡＲ１に近い方の交点を真の現在地として採用すればよい。
【００７４】
本実施の形態に係る情報記録装置を用いれば、位置測定装置をさらに備え、地図上に仮の現在地を表示し、また、画像情報の中から２つの物体を決定し、両物体を中心とし両物体までのそれぞれの距離を半径とする２つの円を描き、それらの円の交点のうち仮の現在地に近い方の交点を真の現在地と判定するので、位置測定装置の精度を向上させることができる。
【００７５】
＜実施の形態６＞
この発明の実施の形態６は、実施の形態２に示した情報記録装置および情報記録装置において、被写体または背景に文字が含まれており、その文字を画像認識してテキスト情報に置き換えて情報が保存されるものである。
【００７６】
被写体または背景に文字が含まれている場合、ビットマップデータとして保存するよりもテキスト情報としてコード化して情報を保持する方がデータ効率がよい。さらに、テキスト情報としておくことで、背景や被写体の位置情報に変化があった場合には、図１７に示すようにテキスト情報Ｃ１のフォントサイズをＣ２，Ｃ３のように変更するなどの加工が容易に行える。そのほかにもテキスト情報の色等を背景や被写体の位置情報の変化に合わせて変化させるようにしてもよい。
【００７７】
【発明の効果】
請求項１に記載の発明によれば、被写体および背景の位置情報を付加しつつ被写体および背景の画像情報を記録するので、画像情報の再生時に被写体および背景の位置情報を用いて画像情報に対して加工を行うことができる。また、等距離面が画面中で揺れるかどうかを検出するので、手ブレを検出することができる。
【００７８】
請求項２に記載の発明によれば、被写体および背景の位置情報を付加しつつ被写体および背景の画像情報を記録するので、画像情報の再生時に被写体および背景の位置情報を用いて画像情報に対して加工を行うことができる。また、複数枚の画像情報の中から位置情報に基づいてピントの合っている部分を抜き出して合成するので、被写界深度の大きい画像を得ることができる。
【００７９】
請求項３に記載の発明によれば、被写体および背景の位置情報を付加しつつ被写体および背景の画像情報を記録するので、画像情報の再生時に被写体および背景の位置情報を用いて画像情報に対して加工を行うことができる。また、位置測定装置をさらに備え、地図上に仮の現在地を表示し、また、画像情報の中から２つの物体を決定し、両物体を中心とし両物体までのそれぞれの距離を半径とする２つの円を描き、それらの円の交点のうち仮の現在地に近い方の交点を真の現在地と判定するので、位置測定装置の精度を向上させることができる。
【００８０】
請求項４に記載の発明によれば、被写体の位置情報を用いて画像処理すべき部分を決定して当該部分に画像処理を行いつつ画像情報を再生するので、遠くに存在する被写体の圧縮率を上げたり、被写体を背景から分離したりすることができる。
【００８１】
請求項５に記載の発明によれば、一枚の画像情報から、位置情報を用いて、視差の分だけ水平方向の距離を補正した左目用映像および右目用映像を作り出すので、従来の立体映像のように右目用と左目用の両映像を記録しておく必要がない。
【００８２】
請求項６に記載の発明によれば、被写体および背景の位置情報を付加しつつ被写体および背景の画像情報を記録するので、画像情報の再生時に被写体および背景の位置情報を用いて画像情報に対して加工を行うことができる。また、画像情報はテキスト情報をも含むので、画像情報の再生時に被写体または背景の位置情報を用いてテキスト情報に対して加工を行うことができる。
【００８３】
請求項７に記載の発明によれば、画像情報はテキスト情報をも含むので、被写体または背景の位置情報に応じてテキスト情報のフォントの大きさや色等を変化させることができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１に係る情報記録装置が用いられる場面を示す図である。
【図２】この発明の実施の形態１に係る情報再生装置が用いられる場面を示す図である。
【図３】ドップラー効果における各パラメータを示す図である。
【図４】この発明の実施の形態１に係る情報再生装置の構成を示すブロック図である。
【図５】この発明の実施の形態１に係る情報再生装置の他の構成を示すブロック図である。
【図６】この発明の実施の形態２に係る情報記録装置の構成を示すブロック図である。
【図７】この発明の実施の形態２に係る情報記録装置における手ブレ補正を示す図である。
【図８】この発明の実施の形態２に係る情報記録装置または情報再生装置における被写体の移動を示す図である。
【図９】被写界深度を説明する図である。
【図１０】この発明の実施の形態３に係る情報記録装置を用いて被写体が撮影される様子を示す図である。
【図１１】この発明の実施の形態３に係る情報記録装置を用いて画像が合成される様子を示す図である。
【図１２】撮像面に対し平行でない面を有する被写体を撮影する様子を示す図である。
【図１３】立体視を説明する図である。
【図１４】この発明の実施の形態４に係る情報記録装置により作り出される映像を示す図である。
【図１５】この発明の実施の形態５に係る情報記録装置において目標点となる２つの物体を示す図である。
【図１６】この発明の実施の形態５に係る情報記録装置において現在地を判定する方法を示す図である。
【図１７】この発明の実施の形態６に係る情報記録装置において文字のサイズが変化する様子を示す図である。
【図１８】従来のステレオ音声情報を示す図である。
【図１９】従来のステレオ音声情報の音場データのイメージを示す図である。
【図２０】従来の３Ｄサウンド技術の音場データのイメージを示す図である。
【符号の説明】
ＳＤ１〜ＳＤ１０　音声トラックデータ
ＩＦＳ　音源位置情報
ＩＦＬ，ＩＦＬａ〜ＩＦＬｃ　リスナー位置情報
ＳＴ１，ＳＴ１ａ〜ＳＴ１ｃ　相対関係算出処理ブロック
ＳＴ２　ピッチ変更処理ブロック
ＳＴ３　伝播特性変更処理ブロック
ＳＴ２３ａ〜ＳＴ２３ｃ　音声再生加工処理ブロック
ＳＴ４　音声再生処理ブロック
ＳＴ４ａ〜ＳＴ４ｃ　リスナー別音声再生処理ブロック
ＣＭ　撮像装置
ＳＳ　センサ素子
ＳＢＯ，ＳＢＯａ〜ＳＢ０ｃ，ＳＢ１，ＳＢ２　被写体
ＯＢ　オブジェクト
ＦＰ１〜ＦＰ７　合焦点
Ｄ１〜Ｄ７　被写界深度
ＡＲ１　位置測定装置により特定される範囲
Ｂ１，Ｂ２　目標点となる物体
Ｃ１〜Ｃ３　文字フォント[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information recording device that records so-called multimedia information such as audio information and image information, and an information reproducing device that reproduces the information.
[0002]
[Prior art]
With the improvement of the information processing capability of the microprocessor, the capabilities of an information recording device for recording multimedia information and an information reproducing device for reproducing the multimedia information are rapidly developing. For example, in the field of audio information, there is a stereo component capable of creating a variety of sound fields by applying delay processing to reproduced sound or performing reverberation processing to generate reverberation sound using a DSP (digital signal processor). In the field of image information, there are digital cameras and personal computers capable of performing various image processing by recording an image as digital information.
[0003]
[Problems to be solved by the invention]
In these conventional information recording devices and information reproducing devices, since a small number of speakers and displays are used as the reproducing means, the information is recorded in a planar manner. Convenience could not be obtained. Here, the fact that information is recorded two-dimensionally means that information relating to an accurate position of a sound source or a subject, such as the depth and vertical direction, is not recorded at all or is recorded only insufficiently.
[0004]
For example, when recording stereo audio information, sound image localization in the left-right direction is performed based on the volume balance and time difference between the left and right channels. That is, as shown in FIG. 18, when the audio information reproduced from the right speaker SPR and the left speaker SPL reaches the listener located at the listening point LP, the sound image is localized to somewhere in the distance DC between the speakers. Stereo audio information is recorded. FIG. 19 shows this as an image of the sound field data. In FIG. 19, the sound field SF2 extending before the listening point LP is composed of the sound field data image of the right channel Rch and the sound field data image of the left channel Lch shown above. Circles SD1L to SD3L and SD1R to SD3R in this sound field data image indicate the magnitude of the volume of each sound source and the distribution in the sound field. For example, since the left and right sound volumes SD2R and SD2L corresponding to a certain sound source are comparable, the localization in the sound field is near the center. On the other hand, the left and right sound volumes SD3R and SD3L corresponding to different sound sources are higher on the right side than on the left side, so that the localization in the sound field is on the right side.
[0005]
In the method of controlling the volume ratio of the left and right speakers in this manner, although localization in the left and right directions can be obtained, a sense of depth and a sense of up, down, front and back cannot be obtained.
[0006]
In order to improve this, the sound generation time is shifted (provided with a phase difference) between the left and right speakers to give a sense of depth, and the sound source position is identified by the pinna of the listener. There is a technology for correcting an audio signal called 3D sound or the like, which gives a sense of direction. FIG. 20 illustrates this technology as an image of sound field data. Circles SD1L to SD3L and SD1R to SD3R indicating the magnitude of the volume of each sound source and the distribution in the sound field further include additional information AD1L to AD3L and AD1R to AD3R regarding correction of a phase difference and the like. As a result, the sound field SF3 spreads out of the speaker and the front, rear, left, right, and up and down of the listening point, and is larger than the sound field SF2.
[0007]
However, according to this technique, a recording technician adds additional information at the stage of recording audio information from each sound source, so that the experience and subjectivity of the recording technician occupy a large factor. Therefore, the information on the exact position is not always recorded.
[0008]
When the listener steps out of a triangular area surrounded by the inter-speaker distance DC and the distances DL and DR between the left and right speakers and the listening point as shown in FIG. 18, the sound field becomes unbalanced. There was also a problem that it was difficult to obtain a sense of reality.
[0009]
On the other hand, image information is often recorded, for example, by placing a person or the like in a landscape. Also in this case, only an image is recorded in a planar manner, and information about the position and depth of the subject is not recorded. Therefore, for example, when acquiring such image information with a digital camera and cutting out only a person from the background with a personal computer, it is inevitable to distinguish both from the color tone difference between the person and the background and the degree of focus. In some cases, the distinction was difficult.
[0010]
An object of the present invention is to solve the above-described problem, and record information by adding information about the position of a sound source or a subject to audio information, image information, and the like, and effectively use the information about the position when reproducing the information. It implements a device and an information reproducing device.
[0011]
[Means for Solving the Problems]
The invention according to claim 1 is an information recording apparatus that records image information of the subject and the background while adding a distance to the subject and the background as position information, wherein the position information of the subject and the background is temporally different. To detect whether the equidistant plane of the subject from the information recording device swings on the screen.
[0012]
The invention according to claim 2 records the image information of the subject and the background while adding the distance to the subject and the background as position information, and records a plurality of pieces of the image information while changing the focal point stepwise. Then, an in-focus portion is extracted from the plurality of pieces of image information based on the position information to synthesize one image.
[0013]
The invention according to claim 3 is an information recording apparatus for recording image information of the subject and the background while adding a distance to the subject and the background as position information, wherein the position of the information recording apparatus is measured. Further comprising a position measuring device, wherein the position measuring device defines the position of the information recording device measured by the position measuring device as a temporary current position, displays the temporary current position on a map, and displays the image information. Are determined from among the two objects included in the map, the respective distances to the two objects are defined as first and second distances by the position information, and the two objects are centered on the map. Draw two circles having the first and second distances as radii, and determine the intersection of the two circles closer to the temporary current position as the true current position. .
[0014]
According to a fourth aspect of the present invention, the image information in which the distance to the subject and the background is added as the position information is used to determine a portion to be subjected to image processing using the position information of the subject and the background, and the portion to be processed is determined. This is an information reproducing apparatus that performs reproduction while performing image processing.
[0015]
The invention according to claim 5 is the information reproducing apparatus according to claim 4, wherein a horizontal distance is corrected from the image information by a parallax using the position information of the subject. It produces images and images for the right eye.
[0016]
The invention according to claim 6 records the image information of the subject and the background while adding the distance to the subject and the background as position information, the image information also includes text information, and the text information is the text information. The character included in the subject or the background is replaced.
[0017]
The invention according to claim 7 is the information reproducing apparatus according to claim 4, wherein the image information also includes text information, and the text information is replaced with characters included in the subject or the background. Things.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
<Embodiment 1>
Embodiment 1 of the present invention is an information recording apparatus for recording while adding position information defining the spatial position of a sound source to audio information, and utilizing the position information to convert the audio information with the added position information. 1 shows an information reproducing apparatus that reproduces the information while reproducing.
[0019]
FIG. 1 is a diagram showing a scene where the information recording apparatus according to the present embodiment is used. FIG. 1 shows a situation where a performance of a band on a stage is recorded. In general, multi-track recording is performed at the time of recording, and a track is assigned to each instrument and a performance is recorded. Here, as an example, the microphones Mc1 to Mc3 are used for the tenor sax Ts, the alto sax As, and the soprano sax Ss, the microphone Mc4 is used for the piano pf, the microphone Mc5 is used for the drums Ds, the microphones Mc6 to Mc8 are used for the trumpets Tp1 to Tp3, and the trombone is used. The microphone Mc9 is assigned to Tb, and the microphone Mc10 is assigned to the base B.
[0020]
The position on the stage is represented by a coordinate component with the origin at the left end toward the forefront, the Y axis in the depth direction, and the X axis in the horizontal direction, as shown in FIG. 1 as an example. I do.
[0021]
[Table 1]

[0022]
Table 1 shows the microphones Mc1 to Mc10, their positions, and audio track data numbers SD1 to SD10 to be recorded. Unlike the conventional case, the information recording apparatus according to the present embodiment does not mix down multi-track data into two stereo channels, but retains recorded audio information as multi-track.
[0023]
In the present embodiment, at the time of recording each track, not only audio information but also position information defining the spatial position of the sound source is recorded. For the position information of the sound source, a track dedicated to the position information may be provided for each track and may be written there, or may be written to an empty portion of the track where the audio information is to be written. Then, it may be written once as a fixed value, periodically written as a changing value, or written only when there is a change in position information.
[0024]
The position information of the sound source may be determined based on the position of the microphone, or may be determined based on the position of the player or the musical instrument.
[0025]
Although FIG. 1 and Table 1 show the case of two-dimensional position information of the X-axis and the Y-axis for simplicity of display, the coordinate component in the Z-axis direction perpendicular to both axes is added to 3 It may be dimensional position information.
[0026]
The use of the audio information in which the position information is recorded in this manner will be described below. The sound can be given a sense of depth by performing delay processing and reverberation processing like the above-described stereo component with a built-in DSP. Further, by correcting the audio signal in consideration of the sound source position specifying action by the pinna, the phase difference, and the like, it is possible to give a sense of direction in up, down, front and back directions. For such delay processing, reverberation processing, and correction processing, techniques used in conventional stereo components and 3D sound techniques may be applied as they are. The delay processing, reverberation processing, and correction processing largely depend on the positional relationship between the sound source and the listener, and parameters relating to these processing are determined in advance by determining the reverberation level and delay time, the propagation medium, wall material, and the like. Otherwise, it is automatically determined by determining the positional relationship between the sound source and the listener. In the present application, parameters relating to these processes are referred to as “speech information propagation characteristics”. Propagation characteristics of audio information include delay processing, reverberation processing, sound source localization by the pinna, correction processing based on phase differences, and the like. This includes expressing the influence, expressing the temperature, the type (water, air, etc.) and density of the propagation medium, which are the sound speed change factors, by devising the delay processing and the change in the volume level.
[0027]
Now, the sound information recorded by the information recording apparatus according to the present embodiment is added with the position information of the sound source, so that the propagation characteristic of the sound information can be determined for each sound source. That is, for example, in the conventional stereo component, when determining the propagation characteristics of stereo audio information, processing is performed uniformly on the mixed-down audio information instead of each sound source, and it is difficult to obtain a three-dimensional effect. If the propagation characteristics of the audio information can be determined for each case, it is possible to reproduce more realistic audio information. Also, according to the 3D sound technology, the experience and subjectivity of the recording technician occupied a large factor, so information on the exact position was not necessarily recorded, but position information for each sound source was added. For example, it is possible to more accurately determine the propagation characteristics of audio information while using accurate position information.
[0028]
FIG. 2 is a diagram illustrating a scene in which the information reproducing apparatus according to the present embodiment is used to determine the propagation characteristics of audio information for each sound source. FIG. 2 shows a sound field data image of a sound field SF1 formed when each of the audio track data SD1 to SD10 shown in Table 1 is reproduced from the speakers SPL and SPR. The sound field data image of each of the audio track data SD1 to SD10 corresponds to the arrangement of each musical instrument on the actual stage shown in FIG.
[0029]
Note that this sound field data image shows a case where the propagation characteristic of audio information is determined so as to be optimal when the listener is at the listening point LP1. If the listener moves from the listening point LP1 to the listening point LP2, the propagation characteristics of the audio information will not be optimal if the listener moves to the listening point LP2. What is necessary is just to decide. In order to specify the location of the listener, input of positional information from the listener may be waited for, or the information reproducing apparatus according to the present embodiment may be provided with a CCD distance measuring sensor or an infrared sensor to perform automatic detection. It may be.
[0030]
FIG. 2 shows a case where a sound field is formed by two speakers as an example. Of course, when there are a plurality of more speakers, audio information to be output is changed according to the arrangement of each speaker. It is good to make it. Further, if the information reproducing apparatus according to the present embodiment has a low processing capability of audio information and it is difficult to reproduce all of the multi-tracks independently, for example, the sound of a sound source close to the sound source may be used. The information may be combined into one to reduce the number of tracks.
[0031]
When the sound source moves (for example, when using a wireless microphone or the like), the sound information is changed while changing the frequency of the sound information in consideration of the Doppler effect generated between the position of the sound source and the position of the listener. You just have to play it. The Doppler effect refers to a phenomenon in which the frequency of a sound emitted from a moving sound source changes as compared to when the sound is stationary. This phenomenon is
[0032]
(Equation 1)

[0033]
Quantitatively expressed as In Equation 1, f is the frequency of the audio information received by the listener, f ₀ Represents the frequency of the sound emitted from the sound source at rest, and c represents the speed of the sound. Other parameters are as shown in FIG. That is, v ₀ Is the absolute value of the moving speed of the listener at the current position 0, v _S Is the absolute value of the moving speed of the sound source at the current position S, φ and θ are the angle of the moving speed of the listener and the moving speed of the sound source from a straight line connecting the current position 0 of the listener and the current position S of the sound source, Each is shown.
[0034]
Therefore, for the voice information emitted from the moving sound source, c, v ₀ , V _S , Φ and θ in Equation 1 ₀ A correction process of multiplying the frequency of the audio information by the coefficient of the audio information may be performed. The voice speed c is determined by determining parameters such as temperature and propagation medium. ₀ , V _S , Φ and θ can be obtained by calculating the time change of the position information of the sound source and the time change of the position information of the listener. ₀ It is not difficult to find the coefficient of.
[0035]
FIG. 4 shows a block diagram of an information reproducing apparatus having a function of reproducing the above Doppler effect. In FIG. 4, a relative relationship calculation processing block ST1 obtains sound source position information IFS and listener position information IFL, calculates position information such as a distance between the two, and obtains v from a time change of the position information of the sound source and the listener. ₀ , V _S , Φ and θ are calculated. Then, the information is sent to the pitch change processing block ST2 and the propagation characteristic change processing block ST3. In the pitch change processing block ST2, audio information and environmental information in the virtual space (information on the type of propagation medium and sound recording) are given to add the Doppler effect to the audio information, and in the propagation characteristic change processing block ST3, the pitch change is performed. The output from the processing block ST2 and the environment information in the virtual space are given to add propagation characteristics to the audio information. Then, the output of the propagation characteristic change processing block ST3 is given to the audio reproduction processing block ST4 and transmitted to the listener.
[0036]
When there are a plurality of listeners and each of the listeners is located at a different position, the information reproducing apparatus sets the relative relationship calculation processing blocks ST1a to ST1c for each listener as shown in the block diagram of FIG. Processing blocks ST23a to ST23c and music reproduction processing blocks for listeners ST4a to ST4c may be provided. With the relative relationship calculation processing blocks ST1a to ST1c being provided for each listener, listener position information IFLa to IFLc are also collected for each listener and input to the corresponding relative relationship calculation processing blocks. Note that the sound reproduction processing blocks ST23a to ST23c collectively show the pitch change processing block ST2 and the propagation characteristic change processing block ST3 in FIG. Further, the reproduction processing block is provided for each listener in order to prevent interference with other listeners. Specific examples of the listener-specific music reproduction processing blocks ST4a to ST4c include a headphone and a super-directional speaker.
[0037]
In this case, since the same audio information is passed through different reproduction processes for each listener, it is possible to form a sound field suitable for each listener. In this way, for example, it is possible to form a situation in which a sound source and a listener move around in a virtual reality space, or to individually set a sound field according to a seat position of a driver or a navigator with an audio reproducing device in a car, It is possible to correct the sound field in consideration of the seat arrangement of the concert hall with the audio reproducing device of the first embodiment, and to correct the difference in the sound field depending on the position of the seat in the concert hall.
[0038]
If the information recording apparatus according to the present embodiment is used, the sound information emitted from the sound source is recorded while the position information of the sound source is added, so that the sound information is processed using the position information of the sound source when the sound information is reproduced. It can be performed.
[0039]
In addition, if the information reproducing apparatus according to the present embodiment is used, the sound information is reproduced while determining the propagation characteristics of the sound information using the position information of the sound source, so that the listener can obtain the sound information having a sense of reality or a three-dimensional effect. Can be given. Further, if the position information of the listener is also used when determining the propagation characteristics, it is possible to provide the listener with sound information having a more realistic or three-dimensional effect according to the position of the listener. Further, by changing the frequency of the audio information in consideration of the Doppler effect generated between the position of the sound source and the position of the listener, audio information having a more realistic or three-dimensional effect can be given to the listener. When there are a plurality of listeners, the plurality of listeners are determined while determining the propagation characteristics of the sound information using the position information corresponding to each of the plurality of listeners, or changing the frequency of the sound information in addition thereto. By reproducing audio information for each of the listeners, it is possible to give audio information with a sense of reality or a three-dimensional effect to each of the plurality of listeners.
[0040]
<Embodiment 2>
Embodiment 2 of the present invention relates to an information recording apparatus that records while adding distances to a subject and a background to image information as position information, and reproduces image information to which position information has been added using position information. And an information reproducing apparatus.
[0041]
FIG. 6 is a diagram showing a configuration of the information recording apparatus according to the present embodiment. In FIG. 6, image information captured by an imaging device CM such as a digital camera and a sensor provided near the imaging device CM for measuring a distance such as an infrared sensor, a CCD ranging sensor, an ultrasonic sensor, and a gravity / pressure sensor. The position information of the subject SB0 and the background BG captured by the element SS is converted into data to obtain image information GA to which position information is added. Note that the position information of the subject SB0 and the background BG refers to the distance between the imaging device CM and the subject SB0 and the distance between the imaging device CM and the background BG.
[0042]
In the image information GA, not only the subject SB0 and the background BG are simply shown, but also information on the distance between the imaging device CM and the subject SB0 or the background BG is stored for each unit block (for example, the screen is displayed vertically or horizontally). (Equally divided or, ultimately, per unit pixel). The subject SB0 is composed of three objects SB0a, SB0b, and SB0c. In FIG. 6, as an example, the distance to the front of the right object SB0c in the foreground is 2.5 m, the distance to the front of the second left object SB0a in the front is 2.7 m, The distance to the front part of the center object SB0b located at the innermost position is indicated as 3.0 m. The distance to the background BG is indicated as 10.0 m.
[0043]
The information reproducing apparatus according to the present embodiment is an apparatus that displays the image information GA recorded in this way together with the position information of the subject SB0 and the background BG or individually. As described above, if the position information of the subject is added to the image information, the background can be easily distinguished from the subject when reproducing the image information. For example, image processing such as cutting out only a person from the background can be performed. Becomes easier.
[0044]
When the imaging device CM is a video camera capable of shooting a moving image, the position information added to the image information can be used for camera shake correction as shown in FIG. In other words, if the equidistant plane of the subject from the image pickup apparatus shakes little by little on the screen as a whole, it can be detected as a camera shake. Then, by correcting the amount of movement due to camera shake, a moving image can be recorded as if no camera shake exists.
[0045]
Further, the information recording device according to the present embodiment may be used in combination with the information recording device for audio information according to the first embodiment. That is, when an object OB (corresponding to the sound source in the first embodiment) divided by equidistant planes in the screen GA is recognized by a method such as image recognition when recording image information as shown in FIG. With the movement, the position information of the sound source to be recorded is also updated. Then, even if the information recording device for audio information in the first embodiment cannot record the data of the temporal change of the position information of the sound source, the sound source is moved in accordance with the movement of the object OB. Can be.
[0046]
Further, the information reproducing apparatus according to the present embodiment may be used in combination with the information reproducing apparatus for audio information according to the first embodiment as described above. That is, when an object OB (corresponding to a sound source) divided by equidistant planes on the screen GA is recognized by a method such as image recognition when reproducing image information as shown in FIG. The position information of the sound source to be reproduced is also updated. Then, even if the information reproducing apparatus for audio information in the first embodiment does not have the data of the temporal change of the position information of the sound source, the sound source is moved in accordance with the movement of the object OB. Can be done.
[0047]
When the information recording apparatus according to the present embodiment is used, the image information of the subject and the background is recorded while adding the position information of the subject and the background. Therefore, the image information is reproduced using the position information of the subject and the background when the image information is reproduced. Can be processed. In addition, camera shake can be detected by detecting whether or not the equidistant plane moves little by little on the screen. In addition, since the position information of the sound source is updated in accordance with the movement of the subject, even in an information recording device that cannot record data of the temporal change of the position information of the sound source, the information is synchronized with the movement of the subject. The sound source can be moved.
[0048]
In addition, if the information reproducing apparatus according to the present embodiment is used, a part to be subjected to image processing is determined using the position information of the subject, and the image information is reproduced while performing image processing on the part. The compression ratio of the subject can be increased, and the subject can be separated from the background. In addition, since the position information of the sound source is updated in accordance with the movement of the subject, even if the information reproducing apparatus does not have the data of the temporal change of the position information of the sound source, the position of the sound source can be updated. The sound source can be moved at the same time.
[0049]
<Embodiment 3>
The third embodiment of the present invention utilizes the information recording apparatus described in the second embodiment to obtain an image having a large depth of field.
[0050]
FIG. 9 illustrates the depth of field. Images taken by an image pickup device CM such as a normal analog camera, digital camera, video camera, or the like are usually focused on (in-focus position, and the distance from the focal point to the image pickup device is called a focus distance) and the subject There is a depth of field (the area in focus before and after the focal point).
[0051]
As the depth of field increases, the range of focus in the depth direction increases, and a clear image can be obtained.
[0052]
When the depth of field becomes shallow (short), there are (1) a long focal length of the photographing lens, (2) a small aperture value of the photographing lens (open aperture), and (3) a photographing distance to a subject. Are close to each other. For example, (1) using a photographing lens with a longer focal length (about 100 to 200 mm in a 35 mm film), (2) photographing flowers and the like at a close distance (several tens of cm), and (3) aperture value (focus) When the distance (effective pupil diameter) is close to f = 2.8 or less, the overall depth of field is only in the range of several cm.
[0053]
At a depth of field of several centimeters, when taking a picture of a flower, for example, if the flower core is focused, the surrounding petals will be out of focus. Also, if the entire flower or stem or leaf is to be focused, the aperture value of (3) must be increased (stopped), and the amount of exposure light inevitably decreases and the shutter speed decreases ( The shutter is opened for a long time (a few tenths of a second to a few seconds when the aperture is stopped down to about f = 32 with the amount of ordinary shooting light), and the camera is not usable as a photograph due to the effects of camera shake and wind. .
[0054]
In order to solve the problem that the depth of field becomes shallow in close-up photography, some types of cameras have a mechanism that stops down to f = 45 and covers underexposure with a strobe. However, the difference between natural light and artificial light (color, incident light angle, light distribution, diffusion, etc.) causes the finished image of the photograph to be considerably different. Further, a new problem arises in that the strobe light does not reach a certain distance (strobe light reaching distance = guide number / aperture value × film sensitivity correction) beyond a certain distance where the strobe light is reflected on the subject.
[0055]
Such a problem of the depth of field occurs not only in an analog camera but also in a digital camera or a video camera using an optical system. However, in actual shooting, intentional blurring of the background can result in a photographic or artistic expression, so the shallow depth of field itself is a drawback for the optical device system as a whole. is not. Rather, it is extremely difficult to set and control the depth of field intended by the photographer so as to match the above three conditions (1) to (3) and the amount of light at that place, unless there is knowledge and experience. The problem was that it was a trick.
[0056]
Therefore, an image with a large depth of field is obtained by using the information recording device described in Embodiment 2.
[0057]
First, as shown in FIG. 10 when the subjects SB0a to SB0c are viewed from above, shooting is performed on the subjects SB0a to SB0c by changing the focal point from FP1 to, for example, FP7 in a stepwise manner using an information recording device including the imaging device CM. To obtain image information with position information. Depths of field corresponding to the respective focal points FP1 to FP7 are represented by D1 to D7. The distance between the focal points is preferably determined by calculating the depth of field so that the depth of field is not interrupted. However, a fixed value such as 3 cm or 5 cm is appropriately set. You may make it set.
[0058]
By the way, in the case of the above example, since the photographing was performed while changing the focal point stepwise from FP1 to FP7, there are seven pieces of image information having different degrees of focus. If the focused part is extracted from each of the seven pieces of image information and combined, an image with a large depth of field can be obtained.
[0059]
In order to extract a focused portion from each image information, the value of the distance to the focal point is determined by using position information on the distance between the imaging device CM and the subject SB0a to SB0c included in each image information. What is necessary is just to extract a part of the image information that is close to the value of the distance of the imaging surface of the subject.
[0060]
FIG. 11 shows that the in-focus portion is extracted from each piece of image information and combined. In FIG. 11, a range WA is selected as an in-focus portion of the subject SB0c from among images captured under the in-focus point FP2 and the depth of field D2. Note that reference numeral A1 indicates a part of FIG. 10, and reference numeral A2 indicates only the range WA of images captured under the depth of field D2. Similarly, as the portion where the subject SB0b is in focus, the range WB is selected from the images taken under the in-focus point FP3 and the depth of field D3, and as the portion where the subject SB0a is in focus, The range WC is selected from images captured under the focus FP5 and the depth of field D5. The portion selected as the range WB may be selected from portions excluding the range WA, and the portion selected as the range WC may be selected from portions excluding the ranges WA and WB. If the in-focus portions are sequentially extracted and combined as described above, an image with a large depth of field can be obtained as a result.
[0061]
In this way, as shown in FIG. 12, it is also possible to obtain an image in which the entire wall surface not parallel to the imaging surface of the subject SB1 is focused. Analog cameras used a mechanism such as a shift lens to tilt the optical axis to photograph the slope of a product or building, but without using such a mechanism, the entire surface of the wall that was not parallel to the imaging surface was photographed. An in-focus image can be obtained, which is very effective.
[0062]
When the information recording apparatus according to the present embodiment is used, a focused portion is extracted and synthesized, so that an image with a large depth of field can be obtained.
[0063]
Note that even when using an information recording device other than the information recording device described in the second embodiment, that is, position information on the distance between the imaging device CM and the subject SB0 is not included in each image information. Even in this case, it is possible to realize an information recording apparatus having the same effects as described above. That is, if a plurality of pieces of image information are obtained by changing the focal point in a stepwise manner, and a focused portion is extracted from each piece of image information and synthesized, an image with a deep depth of field can be obtained. . In this case, in-focus portions can be extracted from each piece of image information by performing image processing for extracting a high-frequency component on each of the plurality of pieces of image information, thereby identifying the in-focus portions. .
[0064]
<Embodiment 4>
Embodiment 4 of the present invention utilizes the information reproducing apparatus shown in Embodiment 2 to obtain a stereoscopic video.
[0065]
FIG. 13 is a diagram illustrating the principle of stereoscopic vision. For example, when a human looks at a subject SB2 having a triangular prism shape as shown in FIG. 13, the left side S1 of the subject SB2 is larger than the right side S2 for the left eye, and the right side S2 of the subject SB2 is larger than the left side S1 for the right eye. Is also large. As a result of the parallax between the right eye and the left eye, a human feels a three-dimensional depth.
[0066]
Therefore, using the information recording apparatus described in the second embodiment, the subject SB2 is recorded as one piece of image information while adding the position information of the left side surface S1 and the right side surface S2.
[0067]
Then, the information reproducing apparatus described in the second embodiment is modified to reproduce the left-eye video and the right-eye video while taking parallax into account. Specifically, as shown in FIG. 14, using the position information, a left-eye image SB2L including a left side surface S1L whose horizontal direction is lengthened by parallax and a right side surface S2L whose horizontal direction is shortened by parallax. To create a right-eye image SB2R composed of a right side surface S2R whose horizontal direction is lengthened by the amount of parallax and a left side surface S1R whose horizontal direction is shortened by the amount of parallax. Reproduce.
[0068]
The left-eye image SB2L and the right-eye image SB2R include not only the subject but also the background. The background may be corrected in the horizontal direction similarly to the subject. However, since the correction amount may be different between the correction performed on the background and the correction performed on the subject, the gap between the background and the subject is obtained by performing the horizontal correction on the subject. It is possible that this will occur. In such a case, care may be taken, such as supplementing the generated gap with a color obtained by averaging the colors of the surrounding pixels.
[0069]
Then, the two reproduced images are viewed using stereoscopic glasses or the like to become stereoscopic images.
[0070]
If the information reproducing apparatus according to the present embodiment is used, a left-eye image and a right-eye image in which the horizontal distance is corrected by the amount of parallax by using positional information from one piece of image information are created. There is no need to record both right-eye and left-eye images as in stereoscopic images.
[0071]
<Embodiment 5>
The fifth embodiment of the present invention utilizes the information recording device shown in the second embodiment to help improve the accuracy of a moving object position measuring device using GPS or PHS. That is, the information recording apparatus described in Embodiment 2 further includes a position measuring device for measuring its own position, and the position measured by the position measuring device is added to the image information while being set as a temporary current position. In this method, the accuracy of the position measurement is improved using the position information to determine the true current position.
[0072]
For example, as shown in FIG. 15, the respective distances from the current location to two objects B1 and B2 serving as target points such as buildings are measured using the information recording device described in the second embodiment. As the objects B1 and B2, those described on a map in the position measuring device are selected. Next, as shown in FIG. 16, the range AR1 of the current location specified by the position measuring device of the moving object using GPS or PHS is displayed on the map MP. Assuming that the center P1 of the range AR1 is the current position, the distance DG1 between P1 and the object B1 and the distance DG2 between P1 and the object B2 are distance values obtained by the information recording apparatus described in the second embodiment. Should match. If they do not match, it is determined that the current location is not P1.
[0073]
In that case, using the information on the distance from the current position to the objects B1 and B2 obtained using the information recording apparatus described in Embodiment 2, a circle CL1 having a radius of the distance DS1 from the current position to the object B1 is formed. Similarly, a circle CL2 having a radius equal to the distance DS2 from the current position to the object B2 is drawn centering on the object B2. Then, of the intersections P2 and P3 of the two, the intersection closer to the range AR1 obtained by the position measurement device may be adopted as the true current position.
[0074]
If the information recording device according to the present embodiment is used, a position measuring device is further provided, a temporary current position is displayed on a map, and two objects are determined from image information. Since two circles each having a radius corresponding to the distance to the object are drawn, and the intersection of the circles closer to the temporary current location is determined as the true current location, the accuracy of the position measurement device can be improved. it can.
[0075]
<Embodiment 6>
According to the sixth embodiment of the present invention, in the information recording apparatus and the information recording apparatus shown in the second embodiment, a character is included in a subject or a background, and the character is image-recognized and replaced with text information, and the information is replaced. Is what is preserved.
[0076]
When characters are included in the subject or the background, it is more efficient to code and store the information as text information than to store it as bitmap data. Further, by using the text information, if the position information of the background or the subject changes, processing such as changing the font size of the text information C1 to C2 or C3 as shown in FIG. 17 is easy. Can be done. In addition, the color or the like of the text information may be changed according to the change of the background or the position information of the subject.
[0077]
【The invention's effect】
According to the first aspect of the present invention, since the image information of the subject and the background is recorded while adding the position information of the subject and the background, the image information is reproduced using the position information of the subject and the background when the image information is reproduced. Can be processed. Further, since it is detected whether or not the equidistant plane shakes in the screen, it is possible to detect camera shake.
[0078]
According to the second aspect of the present invention, since the image information of the subject and the background is recorded while adding the position information of the subject and the background, the image information is reproduced using the position information of the subject and the background when the image information is reproduced. Can be processed. In addition, since a focused portion is extracted from a plurality of pieces of image information based on the position information and synthesized, an image with a large depth of field can be obtained.
[0079]
According to the third aspect of the present invention, since the image information of the subject and the background is recorded while adding the position information of the subject and the background, the position information of the subject and the background is used to reproduce the image information when the image information is reproduced. Can be processed. Further, a position measuring device is further provided, a temporary current position is displayed on a map, two objects are determined from the image information, and the distance between the two objects is defined as a radius. Since two circles are drawn and the intersection of the circles closer to the temporary current location is determined as the true current location, the accuracy of the position measurement device can be improved.
[0080]
According to the fourth aspect of the present invention, a portion to be subjected to image processing is determined using position information of a subject, and image information is reproduced while performing image processing on the portion. And the subject can be separated from the background.
[0081]
According to the invention described in claim 5, a left-eye image and a right-eye image in which a horizontal distance is corrected by parallax by using position information from one piece of image information are created. It is not necessary to record both images for the right eye and the left eye as in the above.
[0082]
According to the invention of claim 6, since the image information of the subject and the background is recorded while adding the positional information of the subject and the background, the image information is reproduced using the position information of the subject and the background at the time of reproducing the image information. Can be processed. Further, since the image information also includes text information, it is possible to process the text information by using the position information of the subject or the background when the image information is reproduced.
[0083]
According to the invention described in claim 7, since the image information also includes text information, the font size and color of the text information can be changed according to the position information of the subject or the background.
[Brief description of the drawings]
FIG. 1 is a diagram showing a scene where an information recording device according to Embodiment 1 of the present invention is used.
FIG. 2 is a diagram showing a scene in which the information reproducing apparatus according to Embodiment 1 of the present invention is used.
FIG. 3 is a diagram showing parameters in the Doppler effect.
FIG. 4 is a block diagram showing a configuration of an information reproducing apparatus according to Embodiment 1 of the present invention.
FIG. 5 is a block diagram showing another configuration of the information reproducing apparatus according to Embodiment 1 of the present invention.
FIG. 6 is a block diagram showing a configuration of an information recording apparatus according to Embodiment 2 of the present invention.
FIG. 7 is a diagram showing camera shake correction in the information recording apparatus according to Embodiment 2 of the present invention.
FIG. 8 is a diagram showing movement of a subject in an information recording device or an information reproducing device according to Embodiment 2 of the present invention.
FIG. 9 is a diagram illustrating the depth of field.
FIG. 10 is a diagram showing a state where a subject is photographed using the information recording apparatus according to Embodiment 3 of the present invention.
FIG. 11 is a diagram showing how images are combined using the information recording apparatus according to Embodiment 3 of the present invention.
FIG. 12 is a diagram illustrating a state in which a subject having a surface that is not parallel to the imaging surface is imaged.
FIG. 13 is a diagram illustrating stereoscopic vision.
FIG. 14 is a diagram showing a video created by the information recording device according to the fourth embodiment of the present invention.
FIG. 15 is a diagram showing two objects serving as target points in the information recording apparatus according to Embodiment 5 of the present invention.
FIG. 16 is a diagram showing a method of determining a current location in the information recording device according to the fifth embodiment of the present invention.
FIG. 17 is a diagram showing a state in which the size of a character changes in the information recording apparatus according to Embodiment 6 of the present invention.
FIG. 18 is a diagram showing conventional stereo sound information.
FIG. 19 is a diagram showing an image of sound field data of conventional stereo sound information.
FIG. 20 is a diagram showing an image of sound field data of the conventional 3D sound technology.
[Explanation of symbols]
SD1 to SD10 Audio track data
IFS sound source position information
IFL, IFLa to IFLc Listener location information
ST1, ST1a to ST1c Relative relationship calculation processing block
ST2 Pitch change processing block
ST3 Propagation characteristics change processing block
ST23a to ST23c Audio reproduction processing block
ST4 Audio playback processing block
ST4a to ST4c Listener-specific audio playback processing block
CM imaging device
SS sensor element
SBO, SBOa to SB0c, SB1, SB2 Subject
OB object
FP1 to FP7 Focus
D1 to D7 Depth of field
AR1 Range specified by the position measurement device
B1, B2 Target point object
C1-C3 character font

Claims (7)

An information recording apparatus that records image information of the subject and the background while adding a distance to the subject and a background as position information,
The position information of the subject and the background changes with time,
An information recording device for detecting whether an equidistant surface of the subject from the information recording device swings on a screen. Record the image information of the subject and the background while adding the distance to the subject and the background as position information,
Record a plurality of the image information while gradually changing the focal point,
An information recording apparatus that extracts a focused portion from the plurality of pieces of image information based on the position information and synthesizes one image. An information recording apparatus that records image information of the subject and the background while adding a distance to the subject and a background as position information,
Further comprising a position measuring device for measuring the position of the information recording device,
The position measuring device displays the temporary current position on a map by defining the position of the information recording device measured by the position measuring device as a temporary current position,
Determining two objects included in the map from the image information;
The respective distances to the two objects are defined as first and second distances by the position information,
On the map, draw two circles centered on the two objects and radiuses of the first and second distances, and define an intersection of the two circles closer to the temporary current location as a true current location. Information recording device that determines Information reproduction that reproduces image information to which a distance to a subject and a background is added as position information by determining a part to be image-processed using the position information of the subject and the background and performing the image processing on the part. apparatus. The information reproducing apparatus according to claim 4, wherein
An information reproducing apparatus for producing a left-eye video and a right-eye video in which a horizontal distance is corrected by the amount of parallax from the image information using the position information of the subject. Record the image information of the subject and the background while adding the distance to the subject and the background as position information,
The image information also includes text information,
The information recording device, wherein the text information is obtained by replacing characters included in the subject or the background. The information reproducing apparatus according to claim 4, wherein
The image information also includes text information,
The text information is obtained by replacing characters included in the subject or the background.
Information playback device.

Images