JP2000156818A - パノラマ画像作成方法、装置、パノラマ画像作成プログラムを記録した記録媒体、情報提供方法、装置、情報提供プログラムを記録した記録媒体 - Google Patents
パノラマ画像作成方法、装置、パノラマ画像作成プログラムを記録した記録媒体、情報提供方法、装置、情報提供プログラムを記録した記録媒体Info
- Publication number
- JP2000156818A JP2000156818A JP10328410A JP32841098A JP2000156818A JP 2000156818 A JP2000156818 A JP 2000156818A JP 10328410 A JP10328410 A JP 10328410A JP 32841098 A JP32841098 A JP 32841098A JP 2000156818 A JP2000156818 A JP 2000156818A
- Authority
- JP
- Japan
- Prior art keywords
- image
- slit
- moving
- width
- focal length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】 画像演算量が少なく、進行方向に向けた１台
のカメラにより左右どちらのパノラマ画像を生成するこ
とができ、カメラの移動速度が変化しても歪みの少ない
パノラマ画像を生成する。 【解決手段】 各種変数および内部バッファを初期化す
る（ステップ３０１）。次に、検出された各数値（移動
体の位置・速度など）を利用して、現在撮影されたビデ
オフレームからスリット画像を生成する（ステップ３０
２）。作成されたスリット画像が左右どちら側方のもの
かを判定する（ステップ３０３）。前段階で作成された
スリット画像の幅ｗだけ内部バッファに貯えられている
パノラマ画像を右方向または左方向へスクロールする
（ステップ３０４，３０６）。前段階のスクロール処理
により得られた内部バッファの空間に、ステップ３０２
で得られたスリット画像をコピーし、現在のパノラマ画
像を得る（ステップ３０７）。最後にシステムの終了判
定をする（ステップ３０８）。
のカメラにより左右どちらのパノラマ画像を生成するこ
とができ、カメラの移動速度が変化しても歪みの少ない
パノラマ画像を生成する。 【解決手段】 各種変数および内部バッファを初期化す
る（ステップ３０１）。次に、検出された各数値（移動
体の位置・速度など）を利用して、現在撮影されたビデ
オフレームからスリット画像を生成する（ステップ３０
２）。作成されたスリット画像が左右どちら側方のもの
かを判定する（ステップ３０３）。前段階で作成された
スリット画像の幅ｗだけ内部バッファに貯えられている
パノラマ画像を右方向または左方向へスクロールする
（ステップ３０４，３０６）。前段階のスクロール処理
により得られた内部バッファの空間に、ステップ３０２
で得られたスリット画像をコピーし、現在のパノラマ画
像を得る（ステップ３０７）。最後にシステムの終了判
定をする（ステップ３０８）。
Description
【０００１】
【発明の属する技術分野】本発明は、自動車などの移動
体に搭載された、ナビゲーション装置などの情報提供装
置に関する。
体に搭載された、ナビゲーション装置などの情報提供装
置に関する。
【０００２】
【従来の技術】従来、例えば自動車に搭載されたナビゲ
ーション装置においては、運転者による所定操作に基づ
いて装置内蔵の記憶部から地図データを読み出し、運転
席近傍に設置されたディスプレイに地図を表示すること
により運転者に案内している。
ーション装置においては、運転者による所定操作に基づ
いて装置内蔵の記憶部から地図データを読み出し、運転
席近傍に設置されたディスプレイに地図を表示すること
により運転者に案内している。
【０００３】さらに、近年においては、運転者などに対
して現在位置近傍の地図が表示されても、現地での地図
と実物との対応付けが困難である場合が多いため、例え
ば特開平９−３３２７１や特開平１０−１３２５９８の
ように、カメラで撮影した実写映像に案内情報を重畳し
て表示する装置・方法が発明されている。
して現在位置近傍の地図が表示されても、現地での地図
と実物との対応付けが困難である場合が多いため、例え
ば特開平９−３３２７１や特開平１０−１３２５９８の
ように、カメラで撮影した実写映像に案内情報を重畳し
て表示する装置・方法が発明されている。
【０００４】また、従来、パノラマ映像の生成方法とし
て、１．撮影した映像中の特徴点を検出し撮影した映像
を重ね合わせる方法、２．撮影対象に向けたカメラを搭
載した移動体を移動させて撮影した映像を合成する方
法、または、３．ラインセンサーカメラと呼ばれる固定
的なスリット幅で撮影するカメラを等速度で移動させな
がら撮影した映像を繋ぎ合わせる方法があった。
て、１．撮影した映像中の特徴点を検出し撮影した映像
を重ね合わせる方法、２．撮影対象に向けたカメラを搭
載した移動体を移動させて撮影した映像を合成する方
法、または、３．ラインセンサーカメラと呼ばれる固定
的なスリット幅で撮影するカメラを等速度で移動させな
がら撮影した映像を繋ぎ合わせる方法があった。
【０００５】
【発明が解決しようとする課題】特徴点を抽出する方法
は画像演算処理量が多いとの問題があった。
は画像演算処理量が多いとの問題があった。
【０００６】また、特徴点を重ね合わせることによる従
来のパノラマ画像生成方法は、進行方向に向けた１台の
カメラからの画像入力のみの場合には使用できないとい
う問題があった。この問題は、カメラの移動により、カ
メラと対象物の間の距離が変化し、見かけ上の対象物の
大きさが変化し特徴点の同一性を判定するのが困難にな
り重ね合わせができないとの問題に起因する。
来のパノラマ画像生成方法は、進行方向に向けた１台の
カメラからの画像入力のみの場合には使用できないとい
う問題があった。この問題は、カメラの移動により、カ
メラと対象物の間の距離が変化し、見かけ上の対象物の
大きさが変化し特徴点の同一性を判定するのが困難にな
り重ね合わせができないとの問題に起因する。
【０００７】さらに、ラインセンサーカメラによる方法
はカメラの移動速度が等速度でないと生成されるパノラ
マ画像が歪んでしまうという問題があった。
はカメラの移動速度が等速度でないと生成されるパノラ
マ画像が歪んでしまうという問題があった。
【０００８】本発明の目的は、画像演算量が少なく、進
行方向に向けた１台のカメラにより左右どちらのパノラ
マ画像も生成することができ、カメラの移動速度が変化
しても歪みの少ないパノラマ画像が取得可能なパノラマ
画像生成方法、装置、およびパノラマ画像生成プログラ
ムを記録した記録媒体を提供することにある。
行方向に向けた１台のカメラにより左右どちらのパノラ
マ画像も生成することができ、カメラの移動速度が変化
しても歪みの少ないパノラマ画像が取得可能なパノラマ
画像生成方法、装置、およびパノラマ画像生成プログラ
ムを記録した記録媒体を提供することにある。
【０００９】本発明の他の目的は、上記のパノラマ画像
生成方法を用いて、移動体の運転者や同乗車に進路案内
・観光案内・広告などの情報を常時的確に提供可能な情
報提供方法、装置、および情報提供プログラムを記録し
た記録媒体を提供することにある。
生成方法を用いて、移動体の運転者や同乗車に進路案内
・観光案内・広告などの情報を常時的確に提供可能な情
報提供方法、装置、および情報提供プログラムを記録し
た記録媒体を提供することにある。
【００１０】
【課題を解決するための手段】本発明は、任意の位置の
微小幅で長さがフレームの縦サイズと同一の縦長矩形部
分の画像であるスリット画像の幅を、該スリット画像が
抽出される画像信号のフレームを撮影したときの移動速
度に応じて変動させ、またビデオカメラのパン・チルト
・ズームが変化した場合においても、移動体の移動方法
に対して一定の方向を撮影して得られる画像情報を抽出
するように抽出位置を変化させて前記スリット画像を作
成し、真近に作成されたパノラマ画像を今回作成された
スリット画像の幅の画素分スクロールし、今回作成され
たスリット画像をスクロールによってできたパノラマ画
像の幅にペーストすることで移動体側方のパノラマ画像
を実時間で作成するものである。
微小幅で長さがフレームの縦サイズと同一の縦長矩形部
分の画像であるスリット画像の幅を、該スリット画像が
抽出される画像信号のフレームを撮影したときの移動速
度に応じて変動させ、またビデオカメラのパン・チルト
・ズームが変化した場合においても、移動体の移動方法
に対して一定の方向を撮影して得られる画像情報を抽出
するように抽出位置を変化させて前記スリット画像を作
成し、真近に作成されたパノラマ画像を今回作成された
スリット画像の幅の画素分スクロールし、今回作成され
たスリット画像をスクロールによってできたパノラマ画
像の幅にペーストすることで移動体側方のパノラマ画像
を実時間で作成するものである。
【００１１】したがって、特徴点の抽出処理を行わない
ため高速な処理が可能となり、また、カメラの向きが進
行方向横向きであるとの制限がなく進行方向に向けた１
台のカメラにより左右どちら向きのパノラマ映像も生成
することが可能となり、さらに、カメラの移動速度が等
速度に限定されず速度が変化しても歪みの少ないパノラ
マ画像を取得可能になる。
ため高速な処理が可能となり、また、カメラの向きが進
行方向横向きであるとの制限がなく進行方向に向けた１
台のカメラにより左右どちら向きのパノラマ映像も生成
することが可能となり、さらに、カメラの移動速度が等
速度に限定されず速度が変化しても歪みの少ないパノラ
マ画像を取得可能になる。
【００１２】さらに、本発明は、そのパノラマ画像に対
して案内情報を重畳して表示するものである。したがっ
て、比較的低速度でスクロールするため見やすく、かつ
密集した被写体についてもパノラマ画像の特性により分
離性が良いため、見やすい案内情報を運転者もしくは同
乗者に対して提供することが可能となり、案内情報の視
認性が飛躍的に向上する。
して案内情報を重畳して表示するものである。したがっ
て、比較的低速度でスクロールするため見やすく、かつ
密集した被写体についてもパノラマ画像の特性により分
離性が良いため、見やすい案内情報を運転者もしくは同
乗者に対して提供することが可能となり、案内情報の視
認性が飛躍的に向上する。
【００１３】
【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。
図面を参照して説明する。
【００１４】図１を参照すると、本発明の一実施形態の
情報提供装置は、画像獲得部１０１と、移動体位置検出
部１０２と、移動体進行方向検出部１０３と、移動体速
度検出部１０４と、カメラ方向検出部１０５と、カメラ
焦点距離検出部１０６と、パノラマ画像生成部１０７
と、案内情報記憶部１０８と、画像合成処理部１０９
と、ディスプレイ装置１１０と、ユーザ操作入力部１１
１と、カメラ操作部１１２と、通信制御部１１３とで構
成されている。
情報提供装置は、画像獲得部１０１と、移動体位置検出
部１０２と、移動体進行方向検出部１０３と、移動体速
度検出部１０４と、カメラ方向検出部１０５と、カメラ
焦点距離検出部１０６と、パノラマ画像生成部１０７
と、案内情報記憶部１０８と、画像合成処理部１０９
と、ディスプレイ装置１１０と、ユーザ操作入力部１１
１と、カメラ操作部１１２と、通信制御部１１３とで構
成されている。
【００１５】画像獲得部１０１は、一般的なビデオカメ
ラまたは放送用のビデオカメラにより構成され、移動体
から撮影された実写映像信号を画像合成処理部１０９お
よびパノラマ画像生成部１０７に送出する。なお、パノ
ラマ画像生成用に別途ラインセンサカメラを設置し、通
常のビデオカメラ映像を画像合成処理部１０９、ライン
センサカメラ映像をパノラマ画像合成処理部１０７に送
出するようにしてもよい。また、パノラマ画像生成用に
は別途専用のビデオカメラを設けて、各々異なるビデオ
カメラからの映像を送出するようにしてもよい。
ラまたは放送用のビデオカメラにより構成され、移動体
から撮影された実写映像信号を画像合成処理部１０９お
よびパノラマ画像生成部１０７に送出する。なお、パノ
ラマ画像生成用に別途ラインセンサカメラを設置し、通
常のビデオカメラ映像を画像合成処理部１０９、ライン
センサカメラ映像をパノラマ画像合成処理部１０７に送
出するようにしてもよい。また、パノラマ画像生成用に
は別途専用のビデオカメラを設けて、各々異なるビデオ
カメラからの映像を送出するようにしてもよい。
【００１６】移動体位置検出部１０２は、例えばＧＰＳ
装置を用いて移動体の位置を検出し、位置情報（緯度経
度高度など）を画像合成処理部１０９に入力する。ＧＰ
Ｓ以外の方法を用いて位置を検出してもよい。
装置を用いて移動体の位置を検出し、位置情報（緯度経
度高度など）を画像合成処理部１０９に入力する。ＧＰ
Ｓ以外の方法を用いて位置を検出してもよい。
【００１７】移動体進行方向検出部１０３は、例えば電
子コンパスを用いて、移動体の進行方向を検出し、進行
方向情報を画像合成処理部１０９に入力する。ＧＰＳを
用いて真近の過去の位置と現在の位置を計測しそれらの
差分から進行方向を求めたり、Trimble 社のTansVector
（登録商標）のように複数のＧＰＳアンテナを設置しそ
の受信電波の位相差から進行方向を求めたり、それ以外
の方法で進行方向を検出してもよい。
子コンパスを用いて、移動体の進行方向を検出し、進行
方向情報を画像合成処理部１０９に入力する。ＧＰＳを
用いて真近の過去の位置と現在の位置を計測しそれらの
差分から進行方向を求めたり、Trimble 社のTansVector
（登録商標）のように複数のＧＰＳアンテナを設置しそ
の受信電波の位相差から進行方向を求めたり、それ以外
の方法で進行方向を検出してもよい。
【００１８】移動体速度検出部１０４は、例えば自動車
に一般的に装備されている車速パルスをカウントするな
どにより、移動体の移動速度を検出し、速度情報を画像
合成処理部１０９およびパノラマ画像生成部１０７に入
力する。進行方向の検出と同様に、ＧＰＳを用いて真近
の過去の位置と現在の位置を計測しそれらの差分を求
め、その測定時点の時間差と移動した距離から移動速度
を検出したり、それ以外の方法で移動速度を検出しても
よい。
に一般的に装備されている車速パルスをカウントするな
どにより、移動体の移動速度を検出し、速度情報を画像
合成処理部１０９およびパノラマ画像生成部１０７に入
力する。進行方向の検出と同様に、ＧＰＳを用いて真近
の過去の位置と現在の位置を計測しそれらの差分を求
め、その測定時点の時間差と移動した距離から移動速度
を検出したり、それ以外の方法で移動速度を検出しても
よい。
【００１９】カメラ方向検出部１０５は、画像獲得部１
０１のビデオカメラに対して、ロータリーエンコーダな
どを利用して、移動体の進行方向に対して、相対的にど
れだけの角度相違する方向を向いて映像を撮影している
かを検出し、カメラ方向情報として画像合成処理部１０
９に入力する。移動体の進行方向が得られれば、移動体
の進行方向に対するカメラの相対的な角度から、カメラ
の絶対的な方向は容易に得られるし、また逆も同様であ
ることは明らかである。このため当然移動体の進行方向
に対しての相対的な角度を検出する代わりに、ジャイロ
センサを用いたり、Trimble 社のTansVector（登録商
標）のように複数のＧＰＳアンテナを設置しその受信電
波の位相差からカメラの絶対的な方向を検出してもよ
い。また、上記以外の方法でカメラ方向を検出してもよ
い。
０１のビデオカメラに対して、ロータリーエンコーダな
どを利用して、移動体の進行方向に対して、相対的にど
れだけの角度相違する方向を向いて映像を撮影している
かを検出し、カメラ方向情報として画像合成処理部１０
９に入力する。移動体の進行方向が得られれば、移動体
の進行方向に対するカメラの相対的な角度から、カメラ
の絶対的な方向は容易に得られるし、また逆も同様であ
ることは明らかである。このため当然移動体の進行方向
に対しての相対的な角度を検出する代わりに、ジャイロ
センサを用いたり、Trimble 社のTansVector（登録商
標）のように複数のＧＰＳアンテナを設置しその受信電
波の位相差からカメラの絶対的な方向を検出してもよ
い。また、上記以外の方法でカメラ方向を検出してもよ
い。
【００２０】カメラ焦点距離検出部１０６は、画像獲得
部１０１のビデオカメラに装備されているレンズに対し
て、ロータリーエンコーダなどを利用して、レンズの焦
点距離を検出し、焦点距離情報を画像合成処理部１０９
に入力する。ズームレンズを遠隔駆動するためのサーボ
機構を利用して焦点距離を検出したり、またそれ以外の
方法で焦点距離を検出してもよい。
部１０１のビデオカメラに装備されているレンズに対し
て、ロータリーエンコーダなどを利用して、レンズの焦
点距離を検出し、焦点距離情報を画像合成処理部１０９
に入力する。ズームレンズを遠隔駆動するためのサーボ
機構を利用して焦点距離を検出したり、またそれ以外の
方法で焦点距離を検出してもよい。
【００２１】パノラマ画像生成部１０７は、画像獲得部
１０１から得られる映像信号および移動体速度検出部１
０４から得られる速度情報、カメラ方向検出部１０５か
ら得られるカメラ方向情報、カメラ焦点距離検出部１０
６から得られる焦点距離情報を基に実時間でパノラマ画
像を生成し、画像合成処理部１０９へ送る。
１０１から得られる映像信号および移動体速度検出部１
０４から得られる速度情報、カメラ方向検出部１０５か
ら得られるカメラ方向情報、カメラ焦点距離検出部１０
６から得られる焦点距離情報を基に実時間でパノラマ画
像を生成し、画像合成処理部１０９へ送る。
【００２２】ここで言うパノラマ画像とは、一般に用い
られているラインセンサカメラを、図２に示すようにセ
ンシングラインを鉛直方向にとり、かつセンシングライ
ンの中心をほぼ水平とし、進行方向から０および１８０
度をのぞく任意の一定角度ずらした向き（例えば進行方
向と直交する向き）に移動体上で固定し、一定速度で移
動しながら撮影すると得られる映像のことをさす。ある
いは通常のビデオカメラを移動体上に固定し、一定速度
で移動しながら撮影したビデオ映像のうち、図３に示す
ように各映像フレームから任意の位置の微少幅（例えば
幅１画素）で長さがフレームの縦サイズと同一の縦長矩
形部分の画像（以降この画像をスリット画像と呼ぶ）を
抽出し、時間経過に沿って張り合わせて出来上がる帯状
の画像と定義することもできる。実際の自動車などの移
動体に設置された画像獲得部１０１から得られる画像情
報を用いる場合には、撮影時の移動体の速度が一定でな
い、カメラの移動体の進行方向に対する向き（パン・チ
ルトなど）およびズーム（焦点距離）が必ずしも固定で
ない、などの条件から、上記の方法そのままでは正しい
パノラマ画像を得ることができない。
られているラインセンサカメラを、図２に示すようにセ
ンシングラインを鉛直方向にとり、かつセンシングライ
ンの中心をほぼ水平とし、進行方向から０および１８０
度をのぞく任意の一定角度ずらした向き（例えば進行方
向と直交する向き）に移動体上で固定し、一定速度で移
動しながら撮影すると得られる映像のことをさす。ある
いは通常のビデオカメラを移動体上に固定し、一定速度
で移動しながら撮影したビデオ映像のうち、図３に示す
ように各映像フレームから任意の位置の微少幅（例えば
幅１画素）で長さがフレームの縦サイズと同一の縦長矩
形部分の画像（以降この画像をスリット画像と呼ぶ）を
抽出し、時間経過に沿って張り合わせて出来上がる帯状
の画像と定義することもできる。実際の自動車などの移
動体に設置された画像獲得部１０１から得られる画像情
報を用いる場合には、撮影時の移動体の速度が一定でな
い、カメラの移動体の進行方向に対する向き（パン・チ
ルトなど）およびズーム（焦点距離）が必ずしも固定で
ない、などの条件から、上記の方法そのままでは正しい
パノラマ画像を得ることができない。
【００２３】パノラマ画像生成部１０７では、このよう
な条件の下で得られる画像情報から、速度情報・カメラ
方向情報・焦点距離情報を用いて、正しいパノラマ画像
を生成する。ここでは画像獲得部１０１において通常の
ビデオカメラで撮影した映像からパノラマ画像を生成す
る場合について説明する。
な条件の下で得られる画像情報から、速度情報・カメラ
方向情報・焦点距離情報を用いて、正しいパノラマ画像
を生成する。ここでは画像獲得部１０１において通常の
ビデオカメラで撮影した映像からパノラマ画像を生成す
る場合について説明する。
【００２４】正しいパノラマ画像を生成するために、後
述する速度変動補正手段によって、画像獲得部１０１よ
り得られる映像信号フレームから抽出するスリット画像
の幅を、そのフレームが撮影された時点の移動体の速度
に応じて変化させることで速度変動を補正し、またパン
・チルト・ズームが変化した場合おいても、後述するカ
メラ操作補正手段によって、移動体の移動方向に対して
一定の方向を撮影して得られる画像情報を抽出するよう
にスリット画像の抽出位置を変化させて、パン・チルト
・ズームの操作に対する変動を補正する。このように補
正をかけて得られるスリット画像を作成し、真近に作成
されたパノラマ画像を今作成されたスリット画像の幅の
画素数分スクロールし（パノラマ画像の横幅は一定の値
とし、スクロールによってそれを超えた部分は廃棄され
る）、今作成したスリット画像をスクロールによってで
きたパノラマ画像の端の空間にペーストする。このスリ
ット画像の作成からペーストするまでの一連の手順を時
間的に連続して行うことにより、実時間での補正された
正しいパノラマ画像を作成することができる。作成され
たパノラマ画像は、作成され次第逐次画像合成処理部１
０９へ送られる。
述する速度変動補正手段によって、画像獲得部１０１よ
り得られる映像信号フレームから抽出するスリット画像
の幅を、そのフレームが撮影された時点の移動体の速度
に応じて変化させることで速度変動を補正し、またパン
・チルト・ズームが変化した場合おいても、後述するカ
メラ操作補正手段によって、移動体の移動方向に対して
一定の方向を撮影して得られる画像情報を抽出するよう
にスリット画像の抽出位置を変化させて、パン・チルト
・ズームの操作に対する変動を補正する。このように補
正をかけて得られるスリット画像を作成し、真近に作成
されたパノラマ画像を今作成されたスリット画像の幅の
画素数分スクロールし（パノラマ画像の横幅は一定の値
とし、スクロールによってそれを超えた部分は廃棄され
る）、今作成したスリット画像をスクロールによってで
きたパノラマ画像の端の空間にペーストする。このスリ
ット画像の作成からペーストするまでの一連の手順を時
間的に連続して行うことにより、実時間での補正された
正しいパノラマ画像を作成することができる。作成され
たパノラマ画像は、作成され次第逐次画像合成処理部１
０９へ送られる。
【００２５】ここで、速度変動補正手段について説明す
る。移動しながら進行方向に向けたカメラにより撮影さ
れる画像の関係について図４に示す。移動速度が変動す
るため、時刻Ｔi とＴi+1 の時点の位置の間隔Ｒ1 （移
動速度より求められる）が変動する。このときカメラの
水平画角をθh とすれば、移動体真上から見下ろした図
において、撮影される画像に映る範囲は図４に示してあ
る通りである。連続したパノラマ画像を生成するために
は各フレームから抽出したスリット画像に映る部分が連
続している必要があるため、被写体までの距離ｄ，スリ
ット画像を図面の左端から抽出することを仮定すれば、
時刻Ｔi において角度δi に相当するスリット画像の幅
ｗi が必要であることがわかる。角度δi に相当する画
面上の画素数は、水平画角θh および水平方向の画面の
画素数Ｗx から次式により算出できる。こうして算出さ
れたスリット画像幅ｗi によりスリット画像を抽出する
ことにより、速度変動に対する補正を実施することがで
きる。
る。移動しながら進行方向に向けたカメラにより撮影さ
れる画像の関係について図４に示す。移動速度が変動す
るため、時刻Ｔi とＴi+1 の時点の位置の間隔Ｒ1 （移
動速度より求められる）が変動する。このときカメラの
水平画角をθh とすれば、移動体真上から見下ろした図
において、撮影される画像に映る範囲は図４に示してあ
る通りである。連続したパノラマ画像を生成するために
は各フレームから抽出したスリット画像に映る部分が連
続している必要があるため、被写体までの距離ｄ，スリ
ット画像を図面の左端から抽出することを仮定すれば、
時刻Ｔi において角度δi に相当するスリット画像の幅
ｗi が必要であることがわかる。角度δi に相当する画
面上の画素数は、水平画角θh および水平方向の画面の
画素数Ｗx から次式により算出できる。こうして算出さ
れたスリット画像幅ｗi によりスリット画像を抽出する
ことにより、速度変動に対する補正を実施することがで
きる。
【００２６】
【数１】 また、上式から、Ｒi がｄ／（ｔａｎ（θh ／２））に
比して十分小さい、すなわち細かい間隔でスリット画像
を抽出する場合は、Ｒi 《ｄ／ｔａｎ（θh ／２））と
なり、
比して十分小さい、すなわち細かい間隔でスリット画像
を抽出する場合は、Ｒi 《ｄ／ｔａｎ（θh ／２））と
なり、
【００２７】
【数２】 と近似できるので、速度に比例したスリット幅を近似的
に用いることができる。
に用いることができる。
【００２８】次に、カメラ操作補正手段について説明す
る。カメラの基準とする撮影条件と、パン角およびズー
ム（焦点距離）が変更された場合の画像の関係について
図５に示す。基本のスリット画像抽出位置を、進行方向
に正面を向けた水平画角θhのカメラにおいて撮影した
ときの画面左半分の任意の位置と仮定する。この基本の
スリット画像に映っている方向を、スリット画像の基本
とする方向と定義して、進行方向に対する角度をφで表
す。ここで、角度φは画面中央すなわち進行方向を０と
して、時計方向に正とする。画面の左側にφをとれば、
φは負の値を持つことになる。パン角およびズーム（焦
点距離）が変更された場合において、パン角変更量ψお
よび現在の水平画角θhcを得ることができれば、スリッ
ト画像の基本とする方向にあたる部分が、画面上のどの
部分にあたるかを次式により容易に算出することができ
る。ここで画面上のｘ方向の位置ｐｘを、画面中央を０
として右方向を正とする。また、現在の焦点距離をｆc
とする。するとスリット画像の基本とする方向は現在の
画面上では次式で得られるｘ方向の位置ｐｘに投影され
る。
る。カメラの基準とする撮影条件と、パン角およびズー
ム（焦点距離）が変更された場合の画像の関係について
図５に示す。基本のスリット画像抽出位置を、進行方向
に正面を向けた水平画角θhのカメラにおいて撮影した
ときの画面左半分の任意の位置と仮定する。この基本の
スリット画像に映っている方向を、スリット画像の基本
とする方向と定義して、進行方向に対する角度をφで表
す。ここで、角度φは画面中央すなわち進行方向を０と
して、時計方向に正とする。画面の左側にφをとれば、
φは負の値を持つことになる。パン角およびズーム（焦
点距離）が変更された場合において、パン角変更量ψお
よび現在の水平画角θhcを得ることができれば、スリッ
ト画像の基本とする方向にあたる部分が、画面上のどの
部分にあたるかを次式により容易に算出することができ
る。ここで画面上のｘ方向の位置ｐｘを、画面中央を０
として右方向を正とする。また、現在の焦点距離をｆc
とする。するとスリット画像の基本とする方向は現在の
画面上では次式で得られるｘ方向の位置ｐｘに投影され
る。
【００２９】
【数３】 さらにスリット幅に対するズーム変動の影響は次式によ
り補正できる。補正されたスリット幅をｗi’とすれ
ば、
り補正できる。補正されたスリット幅をｗi’とすれ
ば、
【００３０】
【数４】 こうして算出されたｘ方向の位置ｐｘを中心として補正
されたスリット幅ｗi’の縦長矩形部分をスリット画像
として抽出することにより、パン角の変動およびズーム
の変動からのｘ方向への影響に対する補正を実施するこ
とができる。
されたスリット幅ｗi’の縦長矩形部分をスリット画像
として抽出することにより、パン角の変動およびズーム
の変動からのｘ方向への影響に対する補正を実施するこ
とができる。
【００３１】次に、チルト角およびズーム（焦点距離）
が変更された場合の画像の関係について図６に示す。例
として基準のチルト角を水平方向と仮定すれば、チルト
角ηの変更は図６に示す通りの垂直方向の撮影範囲の変
化を及ぼす。ここで基準となる撮影条件での垂直画角を
θv 、現在の垂直画角をθvcとする。このとき、チルト
角が変更されたカメラにより撮影した画像からあたかも
チルト角が変更されていないカメラで撮影したかのよう
な画像を生成するためには、カメラの周囲の一定距離ｒ
に仮想的な球状面を設定し、カメラから得られる画像を
図上の仮想画面に表示し、その画像を仮想的な球状面に
投影し、さらに球状面に投影された画像を、基準チルト
角にカメラがあるとしたときの仮想画面に再度投影す
る。ここでｒは、次式の値を用いる。
が変更された場合の画像の関係について図６に示す。例
として基準のチルト角を水平方向と仮定すれば、チルト
角ηの変更は図６に示す通りの垂直方向の撮影範囲の変
化を及ぼす。ここで基準となる撮影条件での垂直画角を
θv 、現在の垂直画角をθvcとする。このとき、チルト
角が変更されたカメラにより撮影した画像からあたかも
チルト角が変更されていないカメラで撮影したかのよう
な画像を生成するためには、カメラの周囲の一定距離ｒ
に仮想的な球状面を設定し、カメラから得られる画像を
図上の仮想画面に表示し、その画像を仮想的な球状面に
投影し、さらに球状面に投影された画像を、基準チルト
角にカメラがあるとしたときの仮想画面に再度投影す
る。ここでｒは、次式の値を用いる。
【００３２】
【数５】 また、ここで言う仮想画面とは、現在のチルト角および
ズーム（焦点距離）により定まる、可視範囲の上下左右
の四端が、半径ｒの仮想球状面と交差する４点を結んで
できる長方形の平面のことである。
ズーム（焦点距離）により定まる、可視範囲の上下左右
の四端が、半径ｒの仮想球状面と交差する４点を結んで
できる長方形の平面のことである。
【００３３】この手順によりチルト角ηおよびズームの
変動からのｙ方向への影響をキャンセルした画像を得る
ことができる。具体的にこの投影を実現するためには、
コンピュータグラフィックスのテクスチャマッピング
（滑らかな面（曲面など）に対して別に定義されたパタ
ーン（模様など）を付け加える（張り付ける）技術で、
デジタルカメラで撮影した画像パターンをコンピュータ
グラフィックス上の面に張り付ける際などに一般的に用
いられている）と呼ばれる手法を利用することで十分で
ある。この処理の結果得られる画像は、撮影時の焦点距
離が基準の値と異なり、補正スリット幅ｗ’で切り出し
た場合であっても、適正に処理された結果、幅ｗのスリ
ット画像として得られる。
変動からのｙ方向への影響をキャンセルした画像を得る
ことができる。具体的にこの投影を実現するためには、
コンピュータグラフィックスのテクスチャマッピング
（滑らかな面（曲面など）に対して別に定義されたパタ
ーン（模様など）を付け加える（張り付ける）技術で、
デジタルカメラで撮影した画像パターンをコンピュータ
グラフィックス上の面に張り付ける際などに一般的に用
いられている）と呼ばれる手法を利用することで十分で
ある。この処理の結果得られる画像は、撮影時の焦点距
離が基準の値と異なり、補正スリット幅ｗ’で切り出し
た場合であっても、適正に処理された結果、幅ｗのスリ
ット画像として得られる。
【００３４】以上の説明から、パン・チルト・ズームの
操作に対して補正を行い、あたかも各操作がされていな
い基準状態のカメラで撮影したかのようなスリット画像
を得ることができ、さらには正しいパノラマ画像を生成
することができる。
操作に対して補正を行い、あたかも各操作がされていな
い基準状態のカメラで撮影したかのようなスリット画像
を得ることができ、さらには正しいパノラマ画像を生成
することができる。
【００３５】なお、テクスチャマッピングに関する文献
として、「実践コンピュタグラフィックス 基礎手続き
と応用」（Davbid F. Rogers著、山口富士夫監修 セイ
コー電子工業（株）電子機器事業部訳 日刊工業新聞社
刊 ページ４３８〜４５０）がある。
として、「実践コンピュタグラフィックス 基礎手続き
と応用」（Davbid F. Rogers著、山口富士夫監修 セイ
コー電子工業（株）電子機器事業部訳 日刊工業新聞社
刊 ページ４３８〜４５０）がある。
【００３６】また、ほぼ進行方向に向いたカメラにより
撮影された画像に対して、各フレームの右端近傍からス
リット画像を抽出し、パノラマ画像を生成すれば、移動
体の右側方のパノラマ画像を生成できる。同様に、左端
近傍からスリット画像を抽出しパノラマ画像を生成すれ
ば左側方用のパノラマ画像を生成できる。このためビデ
オカメラ１台により、通常画像および左右双方のパノラ
マ画像を得ることができる。明らかであるが、左右それ
ぞれにパノラマ生成専用のビデオカメラを設置して専用
の画像を獲得し、例えばそれぞれの専用画像の中央付近
からスリット画像を抽出してパノラマ画像を生成しても
よい。
撮影された画像に対して、各フレームの右端近傍からス
リット画像を抽出し、パノラマ画像を生成すれば、移動
体の右側方のパノラマ画像を生成できる。同様に、左端
近傍からスリット画像を抽出しパノラマ画像を生成すれ
ば左側方用のパノラマ画像を生成できる。このためビデ
オカメラ１台により、通常画像および左右双方のパノラ
マ画像を得ることができる。明らかであるが、左右それ
ぞれにパノラマ生成専用のビデオカメラを設置して専用
の画像を獲得し、例えばそれぞれの専用画像の中央付近
からスリット画像を抽出してパノラマ画像を生成しても
よい。
【００３７】ここまでの説明においては、スリット画像
の縦方向の長さは、画像獲得部１０１で獲得される画像
の縦方向の画素数としてあるが、コンピュータグラフィ
ックスで一般的な手法を用いて拡大・縮小をしてもよ
い。このとき縦方向のみ拡大・縮小すると、パノラマ画
像上での縦横比が変動してしまうが、同じ割合だけ抽出
するスリット画像の幅も変動させることによりこれを回
避することができる。
の縦方向の長さは、画像獲得部１０１で獲得される画像
の縦方向の画素数としてあるが、コンピュータグラフィ
ックスで一般的な手法を用いて拡大・縮小をしてもよ
い。このとき縦方向のみ拡大・縮小すると、パノラマ画
像上での縦横比が変動してしまうが、同じ割合だけ抽出
するスリット画像の幅も変動させることによりこれを回
避することができる。
【００３８】また、上記では、通常のビデオカメラなど
の透視投影カメラからの映像を基にパノラマ画像を生成
する方法を説明したが、ラインセンサカメラなどを用い
てパノラマ作成用の画像を撮影し、上記の説明と同様に
補正することも実現可能であり、どちらの方法でパノラ
マ画像を作成してもよい。ラインセンサカメラの場合、
通常スキャン速度が一般のビデオカメラのフレームレー
ト（３０フレーム／秒）と比してはるかに高速であるた
め、スリット幅を速度に応じて調節する代わりに、ライ
ンセンスされたデータを間引く比率を速度に応じて調節
する、あるいは速度に比例する間隔でラインセンサカメ
ラにトリガー信号を送出し、ラインセンサカメラはその
トリガー信号を受信したときのみスリット画像を作成す
ることにより実現できる。
の透視投影カメラからの映像を基にパノラマ画像を生成
する方法を説明したが、ラインセンサカメラなどを用い
てパノラマ作成用の画像を撮影し、上記の説明と同様に
補正することも実現可能であり、どちらの方法でパノラ
マ画像を作成してもよい。ラインセンサカメラの場合、
通常スキャン速度が一般のビデオカメラのフレームレー
ト（３０フレーム／秒）と比してはるかに高速であるた
め、スリット幅を速度に応じて調節する代わりに、ライ
ンセンスされたデータを間引く比率を速度に応じて調節
する、あるいは速度に比例する間隔でラインセンサカメ
ラにトリガー信号を送出し、ラインセンサカメラはその
トリガー信号を受信したときのみスリット画像を作成す
ることにより実現できる。
【００３９】このようにして作成されたパノラマ画像
は、その作成方法から明らかなように、移動速度が速け
れば速いほど、速くスクロールしていくが、スクロール
の速度は単位時間当たりのスリット画像の作成頻度とス
リット画像の幅の積となり、１秒当たり１０回スリット
画像を作成し、その間の平均スリット画像幅が５画素だ
とすれば、１秒当たり５０画素のスクロールとなり、通
常のビデオ画面の横方向の画素数が６４０画素であるこ
とを考えると、一画面分スクロールするのに１３秒程度
となる。さらにパーソナルコンピュータ用として通常用
いられているディスプレイ装置はより高解像度で横方向
１２８０画素のものが広く用いられていることを勘案す
れば、ある目標物がパノラマ画面に現れてからスクロー
ルにより消失するまで２０秒以上は表示されることとな
り、視認する上で十分低速なスクロールである。
は、その作成方法から明らかなように、移動速度が速け
れば速いほど、速くスクロールしていくが、スクロール
の速度は単位時間当たりのスリット画像の作成頻度とス
リット画像の幅の積となり、１秒当たり１０回スリット
画像を作成し、その間の平均スリット画像幅が５画素だ
とすれば、１秒当たり５０画素のスクロールとなり、通
常のビデオ画面の横方向の画素数が６４０画素であるこ
とを考えると、一画面分スクロールするのに１３秒程度
となる。さらにパーソナルコンピュータ用として通常用
いられているディスプレイ装置はより高解像度で横方向
１２８０画素のものが広く用いられていることを勘案す
れば、ある目標物がパノラマ画面に現れてからスクロー
ルにより消失するまで２０秒以上は表示されることとな
り、視認する上で十分低速なスクロールである。
【００４０】案内情報記憶部１０８は、案内情報を出す
べき対象について、その地球上の位置（緯度経度高度な
ど）および案内情報の内容を記憶してあり、位置による
検索・抽出が可能なものである。これは広く普及してい
るカーナビなどで用いられている公知の方法で実現可能
である。案内情報については、文字、画像イメージ、Ｈ
ＴＭＬなどの言語を用いて記述された案内情報、ＵＲＬ
などの外部から情報を参照するためのアドレスなどを記
憶しておく。
べき対象について、その地球上の位置（緯度経度高度な
ど）および案内情報の内容を記憶してあり、位置による
検索・抽出が可能なものである。これは広く普及してい
るカーナビなどで用いられている公知の方法で実現可能
である。案内情報については、文字、画像イメージ、Ｈ
ＴＭＬなどの言語を用いて記述された案内情報、ＵＲＬ
などの外部から情報を参照するためのアドレスなどを記
憶しておく。
【００４１】画像合成処理部１０９は、移動体位置検出
部１０２により得られた位置情報、移動体進行方向検出
部１０３により得られた進行方向情報、移動体速度検出
部１０４により得られた速度情報、カメラ方向検出部１
０５により得られたカメラ方向情報、カメラ焦点距離検
出部１０６により得られた焦点距離情報を利用して、画
像獲得部１０１から得られた画像に映し出されている領
域（可視領域）を透視投影変換により算出し、案内情報
記憶部１０８に格納されている案内情報を出すべき対象
のうち、可視領域にあるものを抽出し、さらに抽出され
た案内情報を出すべき対象の地球上の位置から透視投影
変換により、画像上の投影される位置を算出し、算出さ
れた画像上の位置に、例えば文字で案内情報を合成し、
結果をディスプレイ装置１１０に表示する。上記につい
ては、例えば特開平９−３３２７１に記述されているよ
うな公知の方法で実現可能である。また、同時に、パノ
ラマ画像生成部１０７から入力されるパノラマ画像につ
いても、パノラマ画像を構成するスリット画像が撮影さ
れた時点の移動体の位置情報、進行方向情報およびスリ
ット画像を抽出した移動体に対する相対的な方向から、
スリット画像上の可視領域を算出し、その領域にある案
内情報を出すべき対象を案内情報記憶部１０８から抽出
し、対応するスリット画像の部分に、例えば文字で案内
情報を合成し、結果をディスプレイ装置１１０に表示す
る。さらに、ユーザ操作により、表示されている案内情
報に対してさらなる関連情報もしくはより詳細な情報の
要求があった場合は、案内情報記憶部１０８に格納され
ている関連情報もしくはより詳細な情報を合成してディ
スプレイ装置１１０に表示し、あるいは通信制御部１１
３を介して例えばインターネットなどから案内情報を外
部参照し合成してディスプレイ装置１１０に表示する。
部１０２により得られた位置情報、移動体進行方向検出
部１０３により得られた進行方向情報、移動体速度検出
部１０４により得られた速度情報、カメラ方向検出部１
０５により得られたカメラ方向情報、カメラ焦点距離検
出部１０６により得られた焦点距離情報を利用して、画
像獲得部１０１から得られた画像に映し出されている領
域（可視領域）を透視投影変換により算出し、案内情報
記憶部１０８に格納されている案内情報を出すべき対象
のうち、可視領域にあるものを抽出し、さらに抽出され
た案内情報を出すべき対象の地球上の位置から透視投影
変換により、画像上の投影される位置を算出し、算出さ
れた画像上の位置に、例えば文字で案内情報を合成し、
結果をディスプレイ装置１１０に表示する。上記につい
ては、例えば特開平９−３３２７１に記述されているよ
うな公知の方法で実現可能である。また、同時に、パノ
ラマ画像生成部１０７から入力されるパノラマ画像につ
いても、パノラマ画像を構成するスリット画像が撮影さ
れた時点の移動体の位置情報、進行方向情報およびスリ
ット画像を抽出した移動体に対する相対的な方向から、
スリット画像上の可視領域を算出し、その領域にある案
内情報を出すべき対象を案内情報記憶部１０８から抽出
し、対応するスリット画像の部分に、例えば文字で案内
情報を合成し、結果をディスプレイ装置１１０に表示す
る。さらに、ユーザ操作により、表示されている案内情
報に対してさらなる関連情報もしくはより詳細な情報の
要求があった場合は、案内情報記憶部１０８に格納され
ている関連情報もしくはより詳細な情報を合成してディ
スプレイ装置１１０に表示し、あるいは通信制御部１１
３を介して例えばインターネットなどから案内情報を外
部参照し合成してディスプレイ装置１１０に表示する。
【００４２】図７は、ディスプレイ装置１１０に表示さ
れる案内情報の一例を示す模式図である。図７には本発
明の上で重要な、実写画像に案内情報を重畳して表示す
る部分の例のみを示しているが、通常のカーナビなどで
用いられている、現在位置を地図上に表示するなどの機
能を合わせ持たせて組み合わせて使用してもかまわない
ことは言うまでもない。デイスプレイ装置１１０は例え
ば液晶やＣＲＴなどの表示機器により実現される。１台
の表示機器で構成してもよいし、使い勝手や表示面積を
増やすために複数台の表示機器を組み合わせて構成して
もよい。ユーザ操作入力部１１１は、例えば一般的に用
いられるパーソナルコンピュータ用いて、一般的なグラ
フィカルユーザインタフェ−スにより、カメラの操作
（パン・チルト・ズームなど）を入力したり、ディスプ
レイ装置１１０に表示されている案内情報のより詳細の
情報もしくは関連する情報を得たい部分をユーザが指示
することを実現する。具体的にはマウスによりマウスカ
ーソルを移動させてマウスボタンを押下することにより
指定を実現してもよいし、ジョイスティック、タッチパ
ネルなど、他の方式を用いて実現してもよい。
れる案内情報の一例を示す模式図である。図７には本発
明の上で重要な、実写画像に案内情報を重畳して表示す
る部分の例のみを示しているが、通常のカーナビなどで
用いられている、現在位置を地図上に表示するなどの機
能を合わせ持たせて組み合わせて使用してもかまわない
ことは言うまでもない。デイスプレイ装置１１０は例え
ば液晶やＣＲＴなどの表示機器により実現される。１台
の表示機器で構成してもよいし、使い勝手や表示面積を
増やすために複数台の表示機器を組み合わせて構成して
もよい。ユーザ操作入力部１１１は、例えば一般的に用
いられるパーソナルコンピュータ用いて、一般的なグラ
フィカルユーザインタフェ−スにより、カメラの操作
（パン・チルト・ズームなど）を入力したり、ディスプ
レイ装置１１０に表示されている案内情報のより詳細の
情報もしくは関連する情報を得たい部分をユーザが指示
することを実現する。具体的にはマウスによりマウスカ
ーソルを移動させてマウスボタンを押下することにより
指定を実現してもよいし、ジョイスティック、タッチパ
ネルなど、他の方式を用いて実現してもよい。
【００４３】カメラ操作部１１２は、例えばカメラを電
動カメラ雲台に設置しておくことにより、ユーザがユー
ザ操作入力部１１１を介して、カメラの操作（パン・チ
ルト・ズームなど）を指示した際に、所望の動作をカメ
ラに対して行う。
動カメラ雲台に設置しておくことにより、ユーザがユー
ザ操作入力部１１１を介して、カメラの操作（パン・チ
ルト・ズームなど）を指示した際に、所望の動作をカメ
ラに対して行う。
【００４４】通信制御部１１３は、例えば携帯電話など
の通信手段を利用して、遠隔地に設置された情報センタ
ーやアクセスポイントを介してインターネットに接続
し、装置外部（情報センターもしくはインターネットな
ど）に蓄積された案内情報を獲得する。
の通信手段を利用して、遠隔地に設置された情報センタ
ーやアクセスポイントを介してインターネットに接続
し、装置外部（情報センターもしくはインターネットな
ど）に蓄積された案内情報を獲得する。
【００４５】画像情報蓄積部１１４は、例えばデータレ
コーダおよびビデオレコーダを利用して、画像合成処理
部１０９に送られてくる画像データおよびパノラマ画像
と、移動体の位置・進行方向・移動速度・カメラの各種
パラメータを互いに関連づけて蓄積記憶し、後々の利用
を可能にする。広く産業界および民生用として普及して
いる機材を用いることで十分実現できる。
コーダおよびビデオレコーダを利用して、画像合成処理
部１０９に送られてくる画像データおよびパノラマ画像
と、移動体の位置・進行方向・移動速度・カメラの各種
パラメータを互いに関連づけて蓄積記憶し、後々の利用
を可能にする。広く産業界および民生用として普及して
いる機材を用いることで十分実現できる。
【００４６】図１の構成図において、カメラ方向（パン
・チルト）を移動体進行方向と同一もしくは両者が常に
一定の差分を持つように固定的に設定する場合には、カ
メラ方向検出部１０５は省略することができる。同様
に、カメラ焦点距離を固定焦点距離とする場合は、カメ
ラ焦点距離検出部１０６は省略することができる。さら
に上記カメラ方向とカメラ焦点距離をともに固定設置と
する場合は、カメラ操作部１１２を省略することができ
る。また、装置内に記憶されているもの以外の案内情報
を利用する場合に通信制御部１１３が必要であるが、そ
れ以外の場合は通信制御部を省略することができる。さ
らに、画像データなどを利用するサービスをオフライン
で行わない場合、画像情報蓄積部１１４を省略すること
ができる。
・チルト）を移動体進行方向と同一もしくは両者が常に
一定の差分を持つように固定的に設定する場合には、カ
メラ方向検出部１０５は省略することができる。同様
に、カメラ焦点距離を固定焦点距離とする場合は、カメ
ラ焦点距離検出部１０６は省略することができる。さら
に上記カメラ方向とカメラ焦点距離をともに固定設置と
する場合は、カメラ操作部１１２を省略することができ
る。また、装置内に記憶されているもの以外の案内情報
を利用する場合に通信制御部１１３が必要であるが、そ
れ以外の場合は通信制御部を省略することができる。さ
らに、画像データなどを利用するサービスをオフライン
で行わない場合、画像情報蓄積部１１４を省略すること
ができる。
【００４７】次に、本実施形態の情報提供装置の概略動
作を図８のフローチャートにより説明する。画像獲得部
１０１、移動体位置検出部１０２、移動体進行方向検出
部１０３、移動体速度検出部１０４、カメラ方向検出部
１０５、カメラ焦点距離検出部１０６によりそれぞれ実
写映像データ、移動体位置、移動体進行方向、移動体速
度、カメラ方向、カメラ焦点距離が獲得、または取得さ
れる（ステップ２０１〜２０６）。また、ユーザ操作入
力部１１１からユーザによりカメラ操作（パン・チルト
・ズームなど）および所望する案内情報が入力される
（ステップ２０７）。画像獲得部１０１により獲得され
た実写映像データは、画像合成処理部１０９に送られる
とともにパノラマ画像生成部１０７に送られる。移動体
位置検出部１０２により得られた位置情報、移動体進行
方向検出部１０３により得られた進行方向情報、移動体
速度検出部１０４により得られた速度情報、カメラ方向
検出部１０５より得られたカメラ方向情報、カメラ焦点
距離検出部１０６により得られた焦点距離情報はそれぞ
れ画像合成処理部１０９に送られる。また、移動体速度
検出部１０４により得られた速度情報、カメラ方向検出
部１０５により得られたカメラ方向情報、カメラ焦点距
離検出部１０９により得られた焦点距離情報はパノラマ
画像生成部１０７に送られる。パノラマ画像生成部１０
７では送られてきた画像データおよび速度情報、カメラ
方向情報、焦点距離情報を基に実時間でパノラマ画像を
生成し、画像合成処理部１０９へ送る（ステップ２０
８）、また、ユーザ操作入力部１１１により入力された
カメラの操作および案内情報は、各々カメラ操作部１１
２および画像合成処理部１０９に送られ、処理される。
画像合成処理部１０９では、各部より得られた情報を処
理し、必要な案内情報を案内情報記憶部１０８より読み
出し、また必要に応じて通信制御部１１３を介して外部
から案内情報を得て、実写画像およびパノラマ画像に案
内情報を重畳した画像を合成し（ステップ２０９）、得
られた結果の画像をディスプレイ装置１１０により表示
する（ステップ２１１）。画像情報蓄積部１１４は、獲
得した画像および生成されたパノラマ画像を各種検出さ
れた情報とともに受取り蓄積記憶する（ステップ２１
２）。
作を図８のフローチャートにより説明する。画像獲得部
１０１、移動体位置検出部１０２、移動体進行方向検出
部１０３、移動体速度検出部１０４、カメラ方向検出部
１０５、カメラ焦点距離検出部１０６によりそれぞれ実
写映像データ、移動体位置、移動体進行方向、移動体速
度、カメラ方向、カメラ焦点距離が獲得、または取得さ
れる（ステップ２０１〜２０６）。また、ユーザ操作入
力部１１１からユーザによりカメラ操作（パン・チルト
・ズームなど）および所望する案内情報が入力される
（ステップ２０７）。画像獲得部１０１により獲得され
た実写映像データは、画像合成処理部１０９に送られる
とともにパノラマ画像生成部１０７に送られる。移動体
位置検出部１０２により得られた位置情報、移動体進行
方向検出部１０３により得られた進行方向情報、移動体
速度検出部１０４により得られた速度情報、カメラ方向
検出部１０５より得られたカメラ方向情報、カメラ焦点
距離検出部１０６により得られた焦点距離情報はそれぞ
れ画像合成処理部１０９に送られる。また、移動体速度
検出部１０４により得られた速度情報、カメラ方向検出
部１０５により得られたカメラ方向情報、カメラ焦点距
離検出部１０９により得られた焦点距離情報はパノラマ
画像生成部１０７に送られる。パノラマ画像生成部１０
７では送られてきた画像データおよび速度情報、カメラ
方向情報、焦点距離情報を基に実時間でパノラマ画像を
生成し、画像合成処理部１０９へ送る（ステップ２０
８）、また、ユーザ操作入力部１１１により入力された
カメラの操作および案内情報は、各々カメラ操作部１１
２および画像合成処理部１０９に送られ、処理される。
画像合成処理部１０９では、各部より得られた情報を処
理し、必要な案内情報を案内情報記憶部１０８より読み
出し、また必要に応じて通信制御部１１３を介して外部
から案内情報を得て、実写画像およびパノラマ画像に案
内情報を重畳した画像を合成し（ステップ２０９）、得
られた結果の画像をディスプレイ装置１１０により表示
する（ステップ２１１）。画像情報蓄積部１１４は、獲
得した画像および生成されたパノラマ画像を各種検出さ
れた情報とともに受取り蓄積記憶する（ステップ２１
２）。
【００４８】次に、パノラマ画像の作成手順について図
７〜図１１を参照して説明する。
７〜図１１を参照して説明する。
【００４９】まず、初期化処理として、各種変数および
内部バッファを初期化する（ステップ３０１）。次に、
検出された各数値（移動体の位置・速度など）を利用し
て、現在撮影されたビデオフレームからスリット画像を
生成する（ステップ３０２）。次に、作成されたスリッ
ト画像がビデオカメラ正面に対して左右どちら側方のも
のかを判定する（ステップ３０３）。前段階で作成され
たスリット画像の幅ｗだけ、内部バッファに貯えられて
いるパノラマ画像を右方向また左方向へスクロールする
（ステップ３０４，３０６）、前段階のスクロール処理
により得られた内部バッファの空間に、ステップ３０２
で得られたスリット画像をコピーし、現在のパノラマ画
像を得る（ステップ３０７）。最後に、システムの終了
判定をする（ステップ３０８）。
内部バッファを初期化する（ステップ３０１）。次に、
検出された各数値（移動体の位置・速度など）を利用し
て、現在撮影されたビデオフレームからスリット画像を
生成する（ステップ３０２）。次に、作成されたスリッ
ト画像がビデオカメラ正面に対して左右どちら側方のも
のかを判定する（ステップ３０３）。前段階で作成され
たスリット画像の幅ｗだけ、内部バッファに貯えられて
いるパノラマ画像を右方向また左方向へスクロールする
（ステップ３０４，３０６）、前段階のスクロール処理
により得られた内部バッファの空間に、ステップ３０２
で得られたスリット画像をコピーし、現在のパノラマ画
像を得る（ステップ３０７）。最後に、システムの終了
判定をする（ステップ３０８）。
【００５０】次に、スリット画像作成ルーチン（ステッ
プ３０２）の内容について図１０を参照して説明する。
プ３０２）の内容について図１０を参照して説明する。
【００５１】まず、移動体速度検出部１０４より現在の
速度を得る（ステップ４０１）。次に計算式（１）また
は（２）によりスリット幅ｗを算出する（ステップ４０
２）。カメラ焦点距離検出部１０６によりカメラの現在
の焦点距離を得る（ステップ４０３）。カメラ検出部１
０５によりカメラの現在のパン角を得る（ステップ４０
４）。計算式（４）により現在のパン角および焦点距離
から、スリット画像を切り出しする位置を、動画フレー
ム中心を０とした座標系により算出する（ステップ４０
５）。現在の焦点距離を基準の焦点距離と比較し、ずれ
ていれば補正スリット幅ｗ’を計算式（５）により算出
する（ステップ４０６，４０７）。ステップ４０５で得
られた切り出す位置を中心として幅がｗまたはステップ
４０７で補正されたスリット幅ｗ’である矩形の部分を
動画フレームよりスリット画像として切り出す（ステッ
プ４０８）。カメラ方向検出部１０５によりカメラの現
在のチルト角を得る（ステップ４０９）。現在のチルト
角を予め定められた基準のチルト角と比較し（ステップ
４１０）、および現在の焦点距離を予め定められた基準
の焦点距離と比較し（ステップ４１１）、いずれかが異
なっている場合には、テクスチャマッピングによる補正
を行う（ステップ４１２）。これにより、チルト角およ
びズーム角が変更されて撮影された画像から、あたかも
カメラが基準のチルト角、ズーム角に設定されて撮影さ
れたかのような、幅ｗのスリット画像が得られる。
速度を得る（ステップ４０１）。次に計算式（１）また
は（２）によりスリット幅ｗを算出する（ステップ４０
２）。カメラ焦点距離検出部１０６によりカメラの現在
の焦点距離を得る（ステップ４０３）。カメラ検出部１
０５によりカメラの現在のパン角を得る（ステップ４０
４）。計算式（４）により現在のパン角および焦点距離
から、スリット画像を切り出しする位置を、動画フレー
ム中心を０とした座標系により算出する（ステップ４０
５）。現在の焦点距離を基準の焦点距離と比較し、ずれ
ていれば補正スリット幅ｗ’を計算式（５）により算出
する（ステップ４０６，４０７）。ステップ４０５で得
られた切り出す位置を中心として幅がｗまたはステップ
４０７で補正されたスリット幅ｗ’である矩形の部分を
動画フレームよりスリット画像として切り出す（ステッ
プ４０８）。カメラ方向検出部１０５によりカメラの現
在のチルト角を得る（ステップ４０９）。現在のチルト
角を予め定められた基準のチルト角と比較し（ステップ
４１０）、および現在の焦点距離を予め定められた基準
の焦点距離と比較し（ステップ４１１）、いずれかが異
なっている場合には、テクスチャマッピングによる補正
を行う（ステップ４１２）。これにより、チルト角およ
びズーム角が変更されて撮影された画像から、あたかも
カメラが基準のチルト角、ズーム角に設定されて撮影さ
れたかのような、幅ｗのスリット画像が得られる。
【００５２】次に、図９中の「パノラマ画像のスクロー
ル」および「スリット画像をパノラマ画像左端（右端）
へペースト」の処理を図１１により説明する。な
お、（）内は作成されたスリット画像が左側方にある場
合である。
ル」および「スリット画像をパノラマ画像左端（右端）
へペースト」の処理を図１１により説明する。な
お、（）内は作成されたスリット画像が左側方にある場
合である。
【００５３】まず、縦がパノラマ画像の縦サイズと等し
く、横がパノラマ画像の横サイズよりスリット幅ｗだけ
短い画像データを貯える作業用バッファを確保する（ス
テップ５０１）。次に、パノラマ画像の横幅よりスリッ
ト幅ｗ分短く、縦幅はパノラマ画像のそれと等しいサイ
ズの領域を、パノラマ画像用の内部バッファから左寄せ
（右寄せ）で読み出し、作業用バッファにブロックコピ
ーする（ステップ５０２）。作業用バッファの画像イメ
ージをパノラマ画像を貯える内部バッファに右寄せ（左
寄せ）でブロックコピーする（ステップ５０３）。スリ
ット画像（横幅ｗ、縦幅はパノラマ画像のそれと等し
い）を、パノラマ画像を貯える内部バッファに左寄せ
（右寄せ）でブロックコピーする（ステップ５０４）。
最後に、作業用バッファを解放する（ステップ５０
５）。
く、横がパノラマ画像の横サイズよりスリット幅ｗだけ
短い画像データを貯える作業用バッファを確保する（ス
テップ５０１）。次に、パノラマ画像の横幅よりスリッ
ト幅ｗ分短く、縦幅はパノラマ画像のそれと等しいサイ
ズの領域を、パノラマ画像用の内部バッファから左寄せ
（右寄せ）で読み出し、作業用バッファにブロックコピ
ーする（ステップ５０２）。作業用バッファの画像イメ
ージをパノラマ画像を貯える内部バッファに右寄せ（左
寄せ）でブロックコピーする（ステップ５０３）。スリ
ット画像（横幅ｗ、縦幅はパノラマ画像のそれと等し
い）を、パノラマ画像を貯える内部バッファに左寄せ
（右寄せ）でブロックコピーする（ステップ５０４）。
最後に、作業用バッファを解放する（ステップ５０
５）。
【００５４】次に、パノラマ画像の作成例について説明
する。
する。
【００５５】まず、右側方のパノラマ画像作成の例を説
明する。本例における条件を下記のように設定する。
明する。本例における条件を下記のように設定する。
【００５６】 基準の水平画角θh ＝６０度 基準の焦点距離＝５５４．２５６３ ビデオ画面の水平画素数Ｗx ＝６４０ スリット画像作成間隔＝１／３０秒 被写体までの距離ｄ＝６ｍ スリット画像の基本となる角度φ＝２０度 基準のチルト角＝０度 移動体速度検出部１０４により現在の速度＝２０ｋｍ／
ｈが得られる（ステップ４０１）。計算式（１）または
（２）により、スリット幅ｗ＝５．６０２４（約６画
素）が得られる（ステップ４０２）。カメラ焦点距離検
出部１０６により現在の焦点距離＝６８６．２４２、現
在の水平画角＝５０度が得られる（ステップ４０３）。
カメラ方向検出部１０５により現在のパン角ψ＝−３度
が得られる（ステップ４０４）。計算式（４）により、
スリット画像を切り出す位置ｐｘ＝２９１．２９２≒２
９１が得られる（ステップ４０５）。現在の焦点距離は
基準の焦点距離と異なるので、補正スリット幅ｗ’＝
６．９３６５（約７画素）が計算式（５）により算出さ
れる（ステップ４０６，４０７）。ビデオ画像の横サイ
ズは６４０であるので、ｐｘ＝２９１、すなわち中心か
ら２９１画素右方向のＸ座標を中心として、横幅７画素
のスリット画像を切り出す（ステップ４０８）。カメラ
方向検出部１０５によりカメラの現在のチルト角＝０度
を得る（ステップ４０９）。現在のチルト角０度が基準
のチルト角（０度）と同じであり、現在の焦点距離６６
８．２４２は基準の焦点距離（５５４．２５６３）と異
なるので、テクスチャマッピングによる補正を行う（ス
テップ４１０〜４１２）。そしてスリット画像の基本と
する方向の進行方向からの角度φ＞０で、右側方なの
で、スリット画像の幅ｗ＝６画素だけ、内部バッファに
貯えられているパノラマ画像を右方向へスクロールし
（ステップ３０４）、スクロール処理により得られた内
部バッファの空間（左端）に、先に得られたスリット画
像をコピーし、現在のパノラマ画像（図７（３））を得
る。
ｈが得られる（ステップ４０１）。計算式（１）または
（２）により、スリット幅ｗ＝５．６０２４（約６画
素）が得られる（ステップ４０２）。カメラ焦点距離検
出部１０６により現在の焦点距離＝６８６．２４２、現
在の水平画角＝５０度が得られる（ステップ４０３）。
カメラ方向検出部１０５により現在のパン角ψ＝−３度
が得られる（ステップ４０４）。計算式（４）により、
スリット画像を切り出す位置ｐｘ＝２９１．２９２≒２
９１が得られる（ステップ４０５）。現在の焦点距離は
基準の焦点距離と異なるので、補正スリット幅ｗ’＝
６．９３６５（約７画素）が計算式（５）により算出さ
れる（ステップ４０６，４０７）。ビデオ画像の横サイ
ズは６４０であるので、ｐｘ＝２９１、すなわち中心か
ら２９１画素右方向のＸ座標を中心として、横幅７画素
のスリット画像を切り出す（ステップ４０８）。カメラ
方向検出部１０５によりカメラの現在のチルト角＝０度
を得る（ステップ４０９）。現在のチルト角０度が基準
のチルト角（０度）と同じであり、現在の焦点距離６６
８．２４２は基準の焦点距離（５５４．２５６３）と異
なるので、テクスチャマッピングによる補正を行う（ス
テップ４１０〜４１２）。そしてスリット画像の基本と
する方向の進行方向からの角度φ＞０で、右側方なの
で、スリット画像の幅ｗ＝６画素だけ、内部バッファに
貯えられているパノラマ画像を右方向へスクロールし
（ステップ３０４）、スクロール処理により得られた内
部バッファの空間（左端）に、先に得られたスリット画
像をコピーし、現在のパノラマ画像（図７（３））を得
る。
【００５７】次に、左側方のパノラマ画像作成の例を説
明する。本例における条件は、先の右側方のパノラマ画
像作成の例と、スリット画像の基本となる角度φ のみ
異なり、−２０度である。
明する。本例における条件は、先の右側方のパノラマ画
像作成の例と、スリット画像の基本となる角度φ のみ
異なり、−２０度である。
【００５８】スリット画像の作成では、スリット画像を
切り出す位置ｐｘ＝２０９．８２０２≒−２１０であ
り、中心から２１０画素左方向のＸ座標を中心として横
幅７画素のスリット画像を切り出す点が、先の右側方の
パノラマ画像作成の場合と異なる。また、スリット画像
の基本とする方向の進行方向からの角度φ＜０で、左側
方なので、スリット画像作成ル−チンで作成されたスリ
ット画像の幅ｗ：６画素だけ、内部バッファに貯えられ
ているパノラマ画像を左方向へスクロールし、得られた
内部バッファの空間（右端）に、先に得られた画像をコ
ピー、現在のパノラマ画像（図７（２））が得られる。
切り出す位置ｐｘ＝２０９．８２０２≒−２１０であ
り、中心から２１０画素左方向のＸ座標を中心として横
幅７画素のスリット画像を切り出す点が、先の右側方の
パノラマ画像作成の場合と異なる。また、スリット画像
の基本とする方向の進行方向からの角度φ＜０で、左側
方なので、スリット画像作成ル−チンで作成されたスリ
ット画像の幅ｗ：６画素だけ、内部バッファに貯えられ
ているパノラマ画像を左方向へスクロールし、得られた
内部バッファの空間（右端）に、先に得られた画像をコ
ピー、現在のパノラマ画像（図７（２））が得られる。
【００５９】なお、図９〜図１１に示した処理はパノラ
マ画像生成プログラムとして、フロッピィ・ディスク、
ＣＤ−ＲＯＭ、光磁気ディスクなどの記録媒体に記録し
ておき、データ処理装置（ＣＰＵ）によりパノラマ画像
生成プログラムをハードディスクに読み込んで実行する
こともできる。
マ画像生成プログラムとして、フロッピィ・ディスク、
ＣＤ−ＲＯＭ、光磁気ディスクなどの記録媒体に記録し
ておき、データ処理装置（ＣＰＵ）によりパノラマ画像
生成プログラムをハードディスクに読み込んで実行する
こともできる。
【００６０】また、図１に示す情報提供装置も、パノラ
マ画像生成部１０７と画像合成処理部１０９の処理を情
報提供プログラムとして、フロッピィ・ディスク、ＣＤ
−ＲＯＭ、光磁気ディスクなどの記録媒体に記録してお
き、データ処理装置（ＣＰＵ）によりハードディスクに
読み込んで実行することもできる。
マ画像生成部１０７と画像合成処理部１０９の処理を情
報提供プログラムとして、フロッピィ・ディスク、ＣＤ
−ＲＯＭ、光磁気ディスクなどの記録媒体に記録してお
き、データ処理装置（ＣＰＵ）によりハードディスクに
読み込んで実行することもできる。
【００６１】なお、以上の実施形態では、本発明を自動
車に適用した場合を例に挙げたが、自動車に限定される
ものではなく、船舶や航空機、ヘリコプターなどに適用
してもよい。また、携帯型の電子地図などに適用しても
よい。
車に適用した場合を例に挙げたが、自動車に限定される
ものではなく、船舶や航空機、ヘリコプターなどに適用
してもよい。また、携帯型の電子地図などに適用しても
よい。
【００６２】
【発明の効果】以上説明したように、本発明は下記のよ
うな効果がある。
うな効果がある。
【００６３】１）請求項１から６の発明は、画像演算量
が少なく移動体の進行方向に向けた１台のカメラにより
左右どちらの画像も生成することができ、移動体の移動
速度が変化しても歪みの少ないパノラマ画像が得られ
る。
が少なく移動体の進行方向に向けた１台のカメラにより
左右どちらの画像も生成することができ、移動体の移動
速度が変化しても歪みの少ないパノラマ画像が得られ
る。
【００６４】２）請求項７，８，１３，１９の発明は、
ビデオカメラなどにより移動体の側方（左右双方もしく
は一方）のパノラマ映像を実時間で作成し、そのパノラ
マ映像に対して案内情報を重畳して表示することによ
り、比較的低速度でスクロールするため見やすく、かつ
密集した被写体についてもパノラマ画像の特性で分離性
がよいため見やすいパノラマ画面上での案内情報提供が
運転者もしくは同乗者に対して可能となり、案内情報の
視認性を飛躍的に高めることができる。
ビデオカメラなどにより移動体の側方（左右双方もしく
は一方）のパノラマ映像を実時間で作成し、そのパノラ
マ映像に対して案内情報を重畳して表示することによ
り、比較的低速度でスクロールするため見やすく、かつ
密集した被写体についてもパノラマ画像の特性で分離性
がよいため見やすいパノラマ画面上での案内情報提供が
運転者もしくは同乗者に対して可能となり、案内情報の
視認性を飛躍的に高めることができる。
【００６５】３）請求項９の発明は、画像を撮影してい
るカメラのパラメータ（パン・チルト・ズームなど）を
検出し、その検出したパラメータを利用して正しい位置
に案内情報を重畳表示するとともに、この検出したパラ
メータを基に画像として自然な移動体側方のパノラマ画
像を作成し、そのパノラマ画像に案内情報を重畳し表示
することにより、利用者によるカメラ操作を可能とし、
より自由度の高いナビゲーションおよび情報提供が可能
となる。
るカメラのパラメータ（パン・チルト・ズームなど）を
検出し、その検出したパラメータを利用して正しい位置
に案内情報を重畳表示するとともに、この検出したパラ
メータを基に画像として自然な移動体側方のパノラマ画
像を作成し、そのパノラマ画像に案内情報を重畳し表示
することにより、利用者によるカメラ操作を可能とし、
より自由度の高いナビゲーションおよび情報提供が可能
となる。
【００６６】４）請求項１０の発明は、画面に表示され
た案内情報を利用者が指示し予め登録してある関連する
情報もしくはより詳細な情報を表示することにより、建
物名称や建物の属性およびさらなる様々な関連する情報
にアクセスすることが可能となり、利用者が得られる情
報が飛躍的に増大する。
た案内情報を利用者が指示し予め登録してある関連する
情報もしくはより詳細な情報を表示することにより、建
物名称や建物の属性およびさらなる様々な関連する情報
にアクセスすることが可能となり、利用者が得られる情
報が飛躍的に増大する。
【００６７】５）請求項１１，１７の発明は、携帯電話
などの通信手段を利用し、関連する情報もしくはより詳
細な情報を遠隔に設けられた情報センターやインターネ
ットなどから即時に入手し表示することにより、情報セ
ンターに蓄積されている情報やインターネット上に公開
されている情報に、即時にアクセスすることが可能とな
り、利用者が得られる情報の量および質が双方ともさら
に飛躍的に向上する。
などの通信手段を利用し、関連する情報もしくはより詳
細な情報を遠隔に設けられた情報センターやインターネ
ットなどから即時に入手し表示することにより、情報セ
ンターに蓄積されている情報やインターネット上に公開
されている情報に、即時にアクセスすることが可能とな
り、利用者が得られる情報の量および質が双方ともさら
に飛躍的に向上する。
【００６８】６）請求項１２，１８の発明は、撮影され
た映像および生成されたパノラマ画像を検出した移動体
の位置、進行方向、速度とともに関連づけて逐次記録す
ることにより、移動した経路に沿った景観情報を蓄積
し、それを利用した新しい情報提供が可能となる。
た映像および生成されたパノラマ画像を検出した移動体
の位置、進行方向、速度とともに関連づけて逐次記録す
ることにより、移動した経路に沿った景観情報を蓄積
し、それを利用した新しい情報提供が可能となる。
【図１】本発明の一実施形態の情報提供装置の構成図で
ある。
ある。
【図２】ラインセンサカメラの設置方法の説明図であ
る。
る。
【図３】パノラマ画像の作成の説明図である。
【図４】進行方向に向けられたカメラにより撮影される
画像の関係を示す図である。
画像の関係を示す図である。
【図５】パン角と画像の関係を示す図である。
【図６】チルト角と画像の関係を示す図である。
【図７】案内情報表示例を示す図である。
【図８】図１の実施形態の全体の処理のフローチャート
である。
である。
【図９】パノラマ画像の作成手順を示すフローチャート
である。
である。
【図１０】スリット画像作成ルーチンのフローチャート
である。
である。
【図１１】図９中の「パノラマ画像のスクロール」およ
び「スリット画像をパノラマ画像左（右）端へペース
ト」の処理の詳細を示すフローチャートである。
び「スリット画像をパノラマ画像左（右）端へペース
ト」の処理の詳細を示すフローチャートである。
１０１ 画像獲得部 １０２ 移動体位置検出部 １０３ 移動体進行方向検出部 １０４ 移動体速度検出部 １０５ カメラ方向検出部 １０６ カメラ焦点距離検出部 １０７ パノラマ画像生成部 １０８ 案内情報記憶部 １０９ 画像合成処理部 １１０ ディスプレイ装置 １１１ ユーザ操作入力部 １１２ カメラ操作部 １１３ 通信制御部 １１４ 画像情報蓄積部 ２０１〜２１２、３０１〜３０８，４０１〜４１２，５
０１〜５０５ ステップ
０１〜５０５ ステップ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 櫻井 保志 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 池田 武史 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 2H059 AA04 AA18 5B057 BA01 BA15 CA12 CB12 CE10 5C023 AA04 AA10 AA11 AA18 AA21 AA37 AA38 BA01 BA04 BA11 BA13 BA15 CA01 CA08 DA04
Claims (20)
- 【請求項１】 移動体に設置されたビデオカメラで撮像
した映像からパノラマ画像を生成するパノラマ画像生成
方法であって、 任意の位置の微小幅で長さがフレームの縦サイズと同一
の縦長矩形部分の画像であるスリット画像の幅を、該ス
リット画像が抽出される画像信号のフレームを撮影した
ときの移動速度に応じて変動させ、またビデオカメラの
パン・チルト・ズームが変化した場合においても、前記
移動体の移動方向に対して一定の方向を撮影して得られ
る画像情報を抽出するように抽出位置を変化させて前記
スリット画像を作成する段階と、 作成されたスリット画像が、ビデオカメラ正面に対して
左右どちらの側方のものか判定する段階と、 前記スリット画像を時間経過に沿って張り合せて出来上
がる帯状の画像で、真近に作成されたパノラマ画像を、
前記作成されたスリット画像の幅だけ、該スリット画像
が右側方にあれば右方向へ、該スリット画像が左側方に
あれば左方向へスクロールする段階と、 前記作成されたスリット画像を、該スリット画像が右側
方にあれば該パノラマ画像の左端へ、該スリット画像が
左側方にあれば該パノラマ画像の右端へペーストする段
階を含み、 これら段階を終了指示が入力されるまで繰り返すパノラ
マ画像生成方法。 - 【請求項２】 前記スリット画像を作成する段階が、 移動体の現在の移動速度を得る段階と、 前記現在の移動の速度に基づいて前記スリット画像のス
リット幅を算出する段階と、 現在のパン角および焦点距離から、前記スリット画像を
切り出す位置を、動画フレーム中心を０とした座標系に
より算出する段階と、 前記焦点距離が基準の値から変動している場合には、前
記スリット幅を補正する段階と、 前記算出された、切り出す位置を中心として前記スリッ
ト幅の矩形の部分を動画の現在のフレームよりスリット
画像として切り出す段階と、 現在のチルト角が予め定められた基準のチルト角と異な
っているか、および現在の焦点距離が予め定められた基
準の焦点距離と異なっているか判定する段階と、 前段階において現在のチルト角、現在の焦点距離の少な
くとも一方が異なっていた場合、前記スリット画像に対
してテクスチャマッピングによる補正を行う段階を含
む、請求項１記載のパノラマ画像生成方法。 - 【請求項３】 移動体に設置されたビデオカメラで撮影
した映像からパノラマ画像を生成するパノラマ画像生成
装置であって、 前記移動体の現在の速度を得る手段と、 任意の位置の微小幅で長さがフレームの縦サイズと同一
の縦長矩形部分の画像であるスリット画像の幅を、該ス
リット画像が抽出される映像信号フレームを撮影したと
きの移動速度に応じて変動させ、またビデオカメラのパ
ン・チルト・ズームが変化した場合において、前記移動
体の移動方向に対して一定の方向を撮影して得られる画
像情報を抽出するように抽出位置を変化させて前記スリ
ット画像を作成する処理と、作成されたスリット画像
が、ビデオカメラ正面に対して左右どちらの側方のもの
か判定する処理と、前記スリット画像を時間経過に沿っ
て張り合せて出来上がる帯状の画像で、真近に作成され
たパノラマ画像を、前記作成されたスリット画像の幅だ
け、該スリット画像が右側方にあれば右方向へ、該スリ
ット画像が左側方にあれば左方向へスクロールする処理
と、前記作成されたスリット画像を、該スリット画像が
右側方にあれば該パノラマ画像の左端へ、該スリット画
像が左側方にあれば該パノラマ画像の右端へペーストす
る処理を繰り返すことで、パノラマ画像を生成する手段
を有するパノラマ画像生成装置。 - 【請求項４】 前記スリット画像を作成する処理が、 移動体の現在の移動速度を得る処理と、 前記現在の移動速度に基づいて前記スリット画像のスリ
ット幅を算出する処理と、 現在のパン角および焦点距離から、前記スリット画像を
切り出す位置を、動画フレーム中心を０とした座標系に
より算出する処理と、 前記焦点距離が基準の値から変動している場合には、前
記スリット幅を補正する処理と、 前記算出された、切り出す位置を中心として前記スリッ
ト幅の矩形の部分を動画の現在のフレームよりスリット
画像として切り出す処理と、 現在のチルト角が予め定められた基準のチルト角と異な
っているか、および現在の焦点距離が予め定められた基
準の焦点距離と異なっているか判定する処理と、 前段階において現在のチルト角、現在の焦点距離の少な
くとも一方が異なっていた場合、前記スリット画像に対
してテクスチャマッピングによる補正を行う段階を含
む、請求項３記載のパノラマ画像生成装置。 - 【請求項５】 移動体に設置されたビデオカメラで撮像
した映像からパノラマ画像を生成するパノラマ画像生成
プログラムであって、 任意の位置の微小幅で長さがフレームの縦サイズと同一
の縦長矩形部分の画像であるスリット画像の幅を、該ス
リット画像が抽出される画像信号のフレームを撮影した
ときの移動速度に応じて変動させ、またビデオカメラの
パン・チルト・ズームが変化した場合においても、前記
移動体の移動方向に対して一定の方向を撮影して得られ
る画像情報を抽出するように抽出位置を変化させて前記
スリット画像を作成する処理と、 作成されたスリット画像が、ビデオカメラ正面に対して
左右どちらの側方のものか判定する処理と、 前記スリット画像を時間経過に沿って張り合せて出来上
がる帯状の画像で、真近に作成されたパノラマ画像を、
前記作成されたスリット画像の幅だけ、該スリット画像
が右側方にあれば右方向へ、該スリット画像が左側方に
あれば左方向へスクロールする処理と、 前記作成されたスリット画像を、該スリット画像が右側
方にあれば該パノラマ画像の左端へ、該スリット画像が
左側方にあれば該パノラマ画像の右端へペーストする処
理を含み、 これら処理を終了指示が入力されるまで繰り返すことを
コンピュータに実行させるためのパノラマ画像生成プロ
グラムを記録した記録媒体。 - 【請求項６】 前記スリット画像を作成する処理が、 移動体の現在の移動速度を得る処理と、 前記現在の移動速度に基づいて前記スリット画像のスリ
ット幅を算出する処理と、 現在のパン角および焦点距離から、前記スリット画像を
切り出す位置を、動画フレーム中心を０とした座標系に
より算出する処理と、 前記焦点距離が基準の値から変動している場合には、前
記スリット幅を補正する処理と、 前記算出された、切り出す位置を中心として前記スリッ
ト幅の矩形の部分を動画の現在のフレームよりスリット
画像として切り出す処理と、 現在のチルト角が予め定められた基準のチルト角と異な
っているか、および現在の焦点距離が予め定められた基
準の焦点距離と異なっているか判定する処理と、 前段階において現在のチルト角、現在の焦点距離の少な
くとも一方が異なっていた場合、前記スリット画像に対
してテクスチャマッピングによる補正を行う処理を含
む、請求項５記載の記録媒体。 - 【請求項７】 移動体に搭載されたビデオカメラにより
実写画像データを獲得する段階と、 前記移動体の現在位置と進行方向と移動速度を検出する
段階と、 任意の位置の微小幅で長さがフレームの縦サイズと同一
の縦長矩形部分の画像であるスリット画像の幅を、該ス
リット画像が抽出される画像信号フレームを撮影したと
きの移動速度に応じて変動させ、またビデオカメラのパ
ン・チルト・ズームが変化した場合においても、前記移
動体の移動方向に対して一定の方向を撮影して得られる
画像情報を抽出するように抽出位置を変化させて前記ス
リット画像を作成し、真近に作成されたパノラマ画像を
今回作成されたスリット画像の幅の画素分スクロール
し、今回作成されたスリット画像をスクロールによって
できたパノラマ画像の幅にペーストすることでパノラマ
画像を作成する段階と、 移動体側方のパノラマ画像を実時間で作成する段階と、 前記検出された位置、進行方向および移動の速度から前
記パノラマ画像の案内情報を判定し、前記パノラマ画像
に前記案内情報を重畳させる段階と、 重畳された画像を表示する段階を有する情報提供方法。 - 【請求項８】 前記スリット画像を作成することが、 移動体の現在の移動速度を得る段階と、 前記現在の移動速度に基づいて前記スリット画像のスリ
ット幅を算出する段階と、 現在のパン角および焦点距離から、前記スリット画像を
切り出す位置を、動画フレーム中心を０とした座標系に
より算出する段階と、 前記焦点距離が基準の値から変動している場合には、前
記スリット幅を補正する段階と、 前記算出された、切り出す位置を中心として前記スリッ
ト幅の矩形の部分を動画の現在のフレームよりスリット
画像として切り出す段階と、 現在のチルト角が予め定められた基準のチルト角と異な
っているか、および現在の焦点距離が予め定められた基
準の焦点距離と異なっているか判定する段階と、 前段階において現在のチルト角、現在の焦点距離の少な
くとも一方が異なっていた場合、前記スリット画像に対
してテクスチャマッピングによる補正を行う段階を含
む、請求項７に記載の方法。 - 【請求項９】 前記検出されたカメラ方向、焦点距離を
基に画像として自然な移動体側方のパノラマ画像を生成
し、また前記カメラ方向、焦点距離を基に正しい位置に
案内情報を表示する請求項７または８記載の方法。 - 【請求項１０】 予め登録されている関連する情報また
は詳細な情報を、ユーザの指示により前記パノラマ画像
に重畳表示する、請求項７から９のいずれか１項記載の
方法。 - 【請求項１１】 通信手段を利用して案内情報を入手
し、前記パノラマ画像に重畳表示する、請求項７から１
０のいずれか１項記載の方法。 - 【請求項１２】 前記ビデオカメラで得られた画像デー
タおよび前記パノラマ画像を、前記検出された移動体の
位置、進行方向、移動速度と関連つけて逐次記憶する、
請求項７から１１のいずれか１項記載の方法。 - 【請求項１３】 移動体に搭載されたビデオカメラと、 前記移動体の位置を検出する移動体位置検出手段と、 前記移動体の進行方向を検出する移動体進行方向検出手
段と、 前記移動体の速度を検出する移動体速度検出手段と、 案内情報および該案内情報を出すべき位置情報を記憶し
ている案内情報記憶手段と、 ディスプレイ装置と、 任意の位置の微小幅で長さがフレームの縦サイズと同一
の縦長矩形部分の画像であるスリット画像の幅を、該ス
リット画像が抽出される画像信号フレームを撮影したと
きの移動速度に応じて変動させ、またビデオカメラのパ
ン・チルト・ズームが変化した場合においても、前記移
動体の移動方向に対して一定の方向を撮影して得られる
画像情報を抽出するように抽出位置を変化させて前記ス
リット画像を作成し、真近に作成されたパノラマ画像を
今回作成されたスリット画像の幅の画素分スクロール
し、今回作成されたスリット画像をスクロールによって
できたパノラマ画像の幅にペースとすることで、移動体
側方のパノラマ画像を実時間で作成するパノラマ画像作
成手段と、 前記検出された位置、進行方向および移動速度から前記
パノラマ画像の案内情報を判定し、前記パノラマ画像に
前記案内情報を重畳させる画像合成手段と、 重畳された画素を表示するディスプレイ手段を有する情
報提供装置。 - 【請求項１４】 前記パノラマ画像作成手段は、前記検
出されたカメラ方向、焦点距離を基に画像として自然な
移動体側方のパノラマ画像を生成し、前記画像合成手段
は、前記カメラ方向、焦点距離を基に、前記ディスプレ
イ手段の正しい位置に案内情報を表示する、請求項１３
記載の装置。 - 【請求項１５】 案内情報および、それを表示する際の
移動体の位置を記憶している案内情報記憶手段をさらに
有する、請求項１３または１４に記載の装置。 - 【請求項１６】 前記ビデオカメラの操作を入力した
り、前記ディスプレイ手段に表示されている案内情報の
より詳しい情報および／または関連する情報を見たい部
分をユーザが指示するためのユーザ操作入力手段をさら
に有する、請求項１３から１５のいずれか１項記載の装
置。 - 【請求項１７】 装置外部に蓄積された案内情報を獲得
するための通信手段をさらに有する、請求項１３から１
６のいずれか１項記載の装置。 - 【請求項１８】 前記パノラマ画像、前記移動体の位置
・進行方向・移動速度・カメラの各種パラメータを記憶
する画像情報蓄積手段をさらに有する、請求項１３から
１７のいずれか１項記載の装置。 - 【請求項１９】 任意の位置の微小幅で長さがフレーム
の縦サイズと同一の縦長矩形部分の画像であるスリット
画像の幅を、該スリット画像が抽出される画像信号フレ
ームを撮影したときの移動速度に応じて変動させ、また
移動体に設置されたビデオカメラのパン・チルト・ズー
ムが変化した場合においても、前記移動体の移動方向に
対して一定の方向を撮影して得られる画像情報を抽出す
るように抽出位置を変化させて前記スリット画像を作成
し、真近に作成されたパノラマ画像を今回作成されたス
リット画像の幅の画素分スクロールし、今回作成された
スリット画像をスクロールによってできたパノラマ画像
の幅にペースとすることで、移動体側方のパノラマ画像
を実時間で作成するパノラマ画像作成処理と、 前記検出された位置、進行方向および移動の速度から前
記パノラマ画像の案内情報を判定し、前記パノラマ画像
に前記案内情報を重畳させる画像合成処理と、 重畳された画素をディスプレイ手段に表示する処理をコ
ンピュータに実行させるための情報提供プログラムを記
録した記録媒体。 - 【請求項２０】 前記スリット画像を作成する処理が、 移動体の現在の移動速度を得る処理と、 前記現在の移動速度に基づいて前記スリット画像のスリ
ット幅を算出する処理と、 現在のパン角および焦点距離から、前記スリット画像を
切り出す位置を、動画フレーム中心を０とした座標系に
より算出する処理と、 前記焦点距離が基準の値から変動している場合には、前
記スリット幅を補正する処理と、 前記算出された、切り出す位置を中心として前記スリッ
ト幅の矩形の部分を動画の現在のフレームよりスリット
画像として切り出す処理と、 現在のチルト角が予め定められた基準のチルト角と異な
っているか、および現在の焦点距離が予め定められた基
準の焦点距離と異なっているか判定する処理と、 前段階において現在のチルト角、現在の焦点距離の少な
くとも一方が異なっていた場合、前記スリット画像に対
してテクスチャマッピングによる補正を行う処理を含
む、請求項１９記載の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32841098A JP3466493B2 (ja) | 1998-11-18 | 1998-11-18 | パノラマ画像作成方法、装置、パノラマ画像作成プログラムを記録した記録媒体、情報提供方法、装置、情報提供プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32841098A JP3466493B2 (ja) | 1998-11-18 | 1998-11-18 | パノラマ画像作成方法、装置、パノラマ画像作成プログラムを記録した記録媒体、情報提供方法、装置、情報提供プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000156818A true JP2000156818A (ja) | 2000-06-06 |
| JP3466493B2 JP3466493B2 (ja) | 2003-11-10 |
Family
ID=18209960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32841098A Expired - Lifetime JP3466493B2 (ja) | 1998-11-18 | 1998-11-18 | パノラマ画像作成方法、装置、パノラマ画像作成プログラムを記録した記録媒体、情報提供方法、装置、情報提供プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3466493B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006172163A (ja) * | 2004-12-16 | 2006-06-29 | Aisin Aw Co Ltd | 画像データの生成方法、画像データ、画像処理装置、画像処理プログラム及び画像データ生成システム |
| JP2008176430A (ja) * | 2007-01-17 | 2008-07-31 | Casio Comput Co Ltd | 画像合成装置、画像合成プログラム及び画像合成方法 |
| EP2109308A2 (en) | 2008-04-10 | 2009-10-14 | Sony Corporation | Imaging device, captured image recording method, and program |
| JP2010532610A (ja) * | 2007-06-26 | 2010-10-07 | トムソン ライセンシング | 複数の写真の音列を生成する方法及びその音列を生成及び再生する装置 |
| US8068694B2 (en) | 2007-04-13 | 2011-11-29 | Fujifilm Corporation | Imaging apparatus, method and program |
| JP5140889B2 (ja) * | 2006-08-10 | 2013-02-13 | サンリツオートメイション株式会社 | ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントロールシステム |
| WO2018186016A1 (ja) * | 2017-04-05 | 2018-10-11 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5996169B2 (ja) | 2011-07-27 | 2016-09-21 | オリンパス株式会社 | 画像処理システム、情報処理装置及びプログラム |
-
1998
- 1998-11-18 JP JP32841098A patent/JP3466493B2/ja not_active Expired - Lifetime
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006172163A (ja) * | 2004-12-16 | 2006-06-29 | Aisin Aw Co Ltd | 画像データの生成方法、画像データ、画像処理装置、画像処理プログラム及び画像データ生成システム |
| JP5140889B2 (ja) * | 2006-08-10 | 2013-02-13 | サンリツオートメイション株式会社 | ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントロールシステム |
| JP2008176430A (ja) * | 2007-01-17 | 2008-07-31 | Casio Comput Co Ltd | 画像合成装置、画像合成プログラム及び画像合成方法 |
| US8542946B2 (en) | 2007-04-13 | 2013-09-24 | Fujifilm Corporation | Imaging apparatus, method and program |
| US8068694B2 (en) | 2007-04-13 | 2011-11-29 | Fujifilm Corporation | Imaging apparatus, method and program |
| JP2010532610A (ja) * | 2007-06-26 | 2010-10-07 | トムソン ライセンシング | 複数の写真の音列を生成する方法及びその音列を生成及び再生する装置 |
| EP2109308A2 (en) | 2008-04-10 | 2009-10-14 | Sony Corporation | Imaging device, captured image recording method, and program |
| WO2018186016A1 (ja) * | 2017-04-05 | 2018-10-11 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
| CN110476412A (zh) * | 2017-04-05 | 2019-11-19 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| JPWO2018186016A1 (ja) * | 2017-04-05 | 2020-02-13 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
| CN110476412B (zh) * | 2017-04-05 | 2022-04-12 | 索尼公司 | 信息处理装置、信息处理方法和存储介质 |
| US11398060B2 (en) | 2017-04-05 | 2022-07-26 | Sony Group Corporation | Information processing device, information processing method, and program |
| JP7218722B2 (ja) | 2017-04-05 | 2023-02-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3466493B2 (ja) | 2003-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7119831B2 (en) | Information providing apparatus, information providing method, storage medium, and computer program | |
| US6762789B1 (en) | Omnidirectional video output method and apparatus | |
| US7511736B2 (en) | Augmented reality navigation system | |
| CN103907340B (zh) | 图像生成装置和图像生成方法 | |
| US7626596B2 (en) | Image reproducing method and apparatus for displaying annotations on a real image in virtual space | |
| JP4600515B2 (ja) | 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム | |
| US6907345B2 (en) | Multi-scale view navigation system, method and medium embodying the same | |
| US7405746B2 (en) | Image navigation device | |
| US20090262145A1 (en) | Information display device | |
| JP5865388B2 (ja) | 画像生成装置および画像生成方法 | |
| US20110316970A1 (en) | Method for generating and referencing panoramic image and mobile terminal using the same | |
| US7518636B2 (en) | Image processing apparatus and image processing method | |
| WO2013069047A1 (ja) | 画像生成装置および画像生成方法 | |
| JP2007080060A (ja) | 対象物特定装置 | |
| US20170374256A1 (en) | Method and apparatus for rolling shutter compensation | |
| JP3778849B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP3568357B2 (ja) | ナビゲーション装置における地図情報表示装置及び地図情報表示方法並びにナビゲーション装置における地図情報表示制御プログラムが記録されたコンピュータ読み取り可能な記録媒体 | |
| US20110216165A1 (en) | Electronic apparatus, image output method, and program therefor | |
| JPH0933271A (ja) | ナビゲーション装置及び撮像装置 | |
| JP5214355B2 (ja) | 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム | |
| JP3466493B2 (ja) | パノラマ画像作成方法、装置、パノラマ画像作成プログラムを記録した記録媒体、情報提供方法、装置、情報提供プログラムを記録した記録媒体 | |
| JPH09304101A (ja) | ナビゲーション装置 | |
| JP2009002754A (ja) | 停止判断装置、ナビゲーション装置、停止判断方法、停止判断プログラムおよび記録媒体 | |
| JP3796417B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP2000155839A (ja) | 標識領域画像抽出方法、装置、標識領域画像抽出プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080829 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080829 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090829 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090829 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100829 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100829 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 10 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |