JP2007129668A - 四次元画像生成システム、四次元画像生成方法、およびプログラム - Google Patents

Abstract

【課題】ユーザが所望する領域の、様々な日時における画像および様々な方向からの画像を生成する。
【解決手段】本発明に係る四次元画像生成システムは、撮像時刻等に対応づけて、複数の撮像画像を格納する画像格納部と、観察者が観察を希望する観察時刻等を取得する観察条件取得部と、取得された観察時刻等に近似する撮像時刻等に対応づけて画像格納部が格納している少なくとも２つの撮像画像を選択する画像選択部と、選択された少なくとも２つの撮像画像から立体画像を生成する立体画像生成部と、立体画像に基づいて、観察条件取得部が取得した観察位置等から立体画像生成部が生成した立体画像を観察した場合に観察し得る観察画像を生成する観察画像生成部と、観察画像を表示する表示部とを備える。
【選択図】図１

Description

本発明は、四次元画像生成システム、四次元画像生成方法、およびプログラムに関する。特に、本発明は、立体画像から観察画像を生成する四次元画像生成システム、四次元画像生成方法、およびプログラムに関する。

近年、撮像装置を用いた監視システムが様々な場所に配置され、侵入者の検知等に用いられている。通常の監視システムに用いられている撮像装置においては、撮像装置の視野角が限られているので、単独の撮像装置でカバーできる撮像領域には限度があった。したがって、広い範囲の撮像領域をカバーするためには、複数台の撮像装置を設置するか、又は、広い視野角を有する広角レンズを備えた撮像装置を用いることで、撮像領域を広げている。

また、撮像装置の撮像領域内の音声を集音して、撮像領域内における異常を音圧の変化に基づいて検知する。続いて、音圧の変化が検出された場合に、撮像領域から動体の抽出、撮像領域のズーム処理、及び抽出された動体が含まれる画像の圧縮率を変化させる監視装置が提案されている（例えば、特許文献１参照。）。
特開２００４−１２０５９５号公報

監視装置は、撮像領域内で検知された人物の行動を監視することを目的として、広い領域の画像を取得することが要求される。しかしながら、多くの撮像装置を用いる場合には、撮像装置の設置場所の確保、メンテナンスの手間等により、コストがかかる。また、広角レンズを備えた撮像装置で撮像する場合においては、侵入者等の動きを検出することはできるものの、単位監視面積当たりの解像度が低いので、侵入者等の行動を明確に把握するのが困難な場合がある。

また、特許文献１に記載の発明においては、音圧の変化に基づいて撮像領域内における異常を検知することにより画像を撮像する方法が提案されている。係る場合において、侵入者等が忍び込んできた場合における音圧の変化が、予め定められた基準値よりも小さい場合には、撮像画像の圧縮率を変化させて画像を撮像することができない場合がある。したがって、侵入者等の行動を適確に撮像できない場合がある。また、特許文献１に記載の発明においては、予め定められた範囲の領域についてしか撮像できないので、例えば、室内に侵入者がいる場合でも、当該侵入者の行動を的確に把握できない場合がある。

そこで本発明は、上記課題を解決することができる四次元画像生成システム、四次元画像生成方法、およびプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、四次元画像生成システムであって、撮像時刻、撮像位置、及び撮像方向にそれぞれ対応づけて、複数の撮像画像を格納する画像格納部と、観察者が観察を希望する観察時刻、観察位置、及び観察方向を取得する観察条件取得部と、観察条件取得部が取得した観察時刻、観察位置、及び観察方向に近似する撮像時刻、撮像位置、及び撮像方向に対応づけて画像格納部が格納している少なくとも２つの撮像画像を選択する画像選択部と、画像選択部が選択した少なくとも２つの撮像画像から立体画像を生成する立体画像生成部と、立体画像生成部が生成した立体画像に基づいて、観察条件取得部が取得した観察位置及び観察方向から立体画像生成部が生成した立体画像を観察した場合に観察し得る観察画像を生成する観察画像生成部と、観察画像生成部が生成した観察画像を表示する表示部とを備える。

また、画像格納部は、撮像倍率にさらに対応づけて、複数の撮像画像を格納しており、観察条件取得部は、観察者が観察を希望する観察倍率をさらに取得し、画像選択部は、観察条件取得部が取得した観察倍率に近似する撮像倍率に対応づけて画像格納部が格納している少なくとも２つの撮像画像を選択し、観察画像生成部は、立体画像生成部が生成した立体画像に基づいて、観察条件取得部が取得した観察位置及び観察方向から立体画像生成部が生成した立体画像を、観察条件取得部が取得した観察倍率で観察した場合に観察し得る観察画像を生成してもよい。

そして、画像選択部は、観察条件取得部が取得した観察時刻、観察位置、及び観察方向の少なくとも１つにより近い撮像時刻、撮像位置、及び撮像方法に対応づけて画像格納部が格納している少なくとも２つの撮像画像を選択してもよく、また、画像選択部は、画像格納部が格納している複数の撮像画像から、撮像時刻の差がより小さい少なくとも２つの撮像画像を選択してもよい。更に、画像選択部は、画像格納部が格納している複数の撮像画像から、撮像位置及び撮像方向から算出される撮像アングルの差が予め定められたアングル差により近い少なくとも２つの撮像画像を選択してもよい。

また、画像選択部は、観察条件取得部が取得した観察時刻から予め定められた所定時間遡った遡及時刻に近似する撮像時間に対応づけて画像格納部が格納している少なくとも２つの撮像画像を選択し、さらに、観察条件取得部が取得した観察時刻に近似する撮像時間に対応づけて画像格納部が格納している少なくとも２つの撮像画像を選択し、立体画像生成部は、画像選択部が遡及時刻に基づいて選択した少なくとも２つの撮像画像から第１立体画像を生成し、さらに、画像選択部が観察時刻に基づいて選択した少なくとも２つの撮像画像から第２立体画像を生成して、観察画像生成部は、立体画像生成部が生成した第１立体画像及び第２立体画像のそれぞれに基づいて、観察条件取得部が取得した観察位置及び観察方向から立体画像生成部が生成した立体画像を観察した場合に観察し得る第１観察画像及び第２観察画像のそれぞれを生成し、表示部は、観察画像生成部が生成した第１観察画像と第２観察画像を順次表示してもよい。

更に、観察条件取得部は、観察者の指示入力に基づいて、連続する複数の観察時刻を取得し、画像選択部は、観察条件取得部が取得した連続する複数の観察時刻毎に、連続する複数の観察時刻にそれぞれ近似する撮像時刻に対応づけて画像格納部が格納している少なくとも２つの撮像画像をそれぞれ選択し、立体画像生成部は、画像選択部が連続する複数の観察時刻毎にそれぞれ選択した少なくとも２つの撮像画像のそれぞれから、複数の立体画像をそれぞれ生成し、観察画像生成部は、立体画像生成部が生成した複数の立体画像のそれぞれに基づいて、観察条件取得部が取得した観察位置及び観察方向から立体画像生成部が生成した複数の立体画像のそれぞれを観察した場合に観察し得る複数の観察画像をそれぞれ生成し、表示部は、観察画像生成部が生成した複数の観察画像を観察時刻の順に表示してもよい。

また、観察条件取得部は、観察者の指示入力に基づいて、連続する複数の観察位置又は観察方向を取得し、画像選択部は、観察条件取得部が取得した連続する複数の観察位置又は観察方向毎に、連続する複数の観察位置又は観察方向にそれぞれ近似する撮像位置又は撮像方向に対応づけて画像格納部が格納している少なくとも２つの撮像画像をそれぞれ選択し、立体画像生成部は、画像選択部が連続する複数の観察位置又は観察方向毎にそれぞれ選択した少なくとも２つの撮像画像のそれぞれから、複数の立体画像をそれぞれ生成し、観察画像生成部は、立体画像生成部が生成した複数の立体画像のそれぞれに基づいて、観察条件取得部が取得した複数の観察位置又は観察方向のそれぞれから立体画像生成部が生成した複数の立体画像のそれぞれを観察した場合に観察し得る複数の観察画像をそれぞれ生成し、表示部は、観察画像生成部が生成した複数の観察画像を観察位置又は観察方向の順に表示してもよい。

また、本発明の第２の形態においては、四次元画像生成方法であって、撮像時刻、撮像位置、及び撮像方向にそれぞれ対応づけて、複数の撮像画像を画像格納部に格納する画像格納段階と、観察者が観察を希望する観察時刻、観察位置、及び観察方向を取得する観察条件取得段階と、観察条件取得段階が取得した観察時刻、観察位置、及び観察方向に近似する撮像時刻、撮像位置、及び撮像方向に対応づけて画像格納部が格納している少なくとも２つの撮像画像を選択する画像選択段階と、画像選択段階が選択した少なくとも２つの撮像画像から立体画像を生成する立体画像生成段階と、立体画像生成段階が生成した立体画像に基づいて、観察条件取得段階が取得した観察位置及び観察方向から立体画像生成段階が生成した立体画像を観察した場合に観察し得る観察画像を生成する観察画像生成段階と、観察画像生成段階が生成した観察画像を表示部に表示する表示段階とを備える。

また、本発明の第３の形態においては、四次元画像生成システム用のプログラムであって、四次元画像生成システムを、撮像時刻、撮像位置、及び撮像方向にそれぞれ対応づけて、複数の撮像画像を格納する画像格納部と、観察者が観察を希望する観察時刻、観察位置、及び観察方向を取得する観察条件取得部と、観察条件取得部が取得した観察時刻、観察位置、及び観察方向に近似する撮像時刻、撮像位置、及び撮像方向に対応づけて画像格納部が格納している少なくとも２つの撮像画像を選択する画像選択部と、画像選択部が選択した少なくとも２つの撮像画像から立体画像を生成する立体画像生成部と、立体画像生成部が生成した立体画像に基づいて、観察条件取得部が取得した観察位置及び観察方向から立体画像生成部が生成した立体画像を観察した場合に観察し得る観察画像を生成する観察画像生成部と、観察画像生成部が生成した観察画像を表示する表示部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、ユーザが観察を所望する領域の、様々な日時において観察した場合に観察しうる画像および様々な方向から観察した場合に観察しうる画像を生成することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る四次元画像生成システム１０の機能構成の一例を示す。本実施形態に係る四次元画像生成システム１０は、撮像部１００、入力インターフェイス１１０、画像格納部１２０、観察条件取得部１３０、画像選択部１４０、立体画像生成部１５０、観察画像生成部１６０、表示部１７０、および出力インターフェイス１８０を備える。本実施形態に係る四次元画像生成システム１０は、ユーザが観察を所望する領域の、様々な日時において観察した場合に観察しうる画像および様々な方向から観察した場合に観察しうる画像を生成することを目的とする。

撮像部１００は、所定の領域内を様々な視点から所定の時間間隔で撮像する。また、撮像部１００は、所定の領域内を様々な視点から、常時撮像してもよい。撮像部１００は、例えば、部屋に設置された回転カメラであってよく、部屋の全方位画像を常時または所定の時間間隔で撮像する。また、撮像部１００は、所定の場所に単数または複数設置されたカメラ、監視ロボット、および携帯電話等のモバイル端末に備えられたカメラ、並びに自動車、電車、および飛行機等の交通機関等に備えられたカメラであってよい。

撮像部１００は、レンズ、および受光デバイスを含む。更に、受光デバイスは、複数の受光素子を含んでいてよい。撮像部１００は、入射する光を、レンズを通して受光デバイスに入射させる。そして、受光デバイスは、複数の受光素子において光を受光して、撮像領域の撮像画像を取得する。また、撮像部１００が有する受光デバイスは、複数のＣＭＯＳセンサを含んでいてよく、撮像部１００は、複数のＣＭＯＳセンサによって撮像領域の撮像画像を取得してもよい。撮像部１００は入力インターフェイス１１０を介して画像格納部１２０に撮像画像を供給する。更に、撮像部１００は、インターネット等のネットワークおよびメモリ等を介して、入力インターフェイス１１０から画像格納部１２０に撮像画像を供給してもよい。

画像格納部１２０は、撮像時刻、撮像位置、撮像方向、および撮像倍率にそれぞれ対応づけて、複数の撮像画像を格納する。具体的には、画像格納部１２０は、撮像部１００から受け取った複数の撮像画像を、撮像時刻、撮像位置、撮像方向、および撮像倍率にそれぞれ対応付けると共に、複数の撮像画像をそれぞれ一意に識別できる識別子に対応づけて格納する。画像格納部１２０は、撮像画像を画像選択部１４０に供給する。

観察条件取得部１３０は、観察者が観察を希望する観察時刻、観察位置、および観察方向を取得する。観察条件取得部１３０は、観察者が観察を希望する観察倍率を更に取得してもよい。また、観察条件取得部１３０は、観察者の指示入力に基づいて、連続する複数の撮像時刻を取得してもよく、更に、観察者の指示入力に基づいて、連続する複数の観察位置または観察方向を取得してもよい。したがって、観察条件取得部１３０において観察者は、観察者が観察を所望する時刻、位置、方向、観察倍率、連続する複数の撮像時刻等を自由に設定することができる。観察条件取得部１３０は、取得した観察条件を、画像選択部１４０および観察画像生成部１６０に供給する。

画像選択部１４０は、観察条件取得部１３０において取得された観察時刻、観察位置、および観察方向に近似する撮像時刻、撮像位置、および撮像方向に対応づけて画像格納部１２０に格納されている、少なくとも２つの撮像画像を選択する。また、画像選択部１４０は、観察条件取得部１３０において取得された観察倍率に近似する撮像倍率に対応づけて画像格納部１２０に格納されている、少なくとも２つの撮像画像を選択してもよい。そして、画像選択部１４０は、観察条件取得部１３０において取得された観察時刻、観察位置、および観察方向の少なくとも１つにより近い撮像時刻、撮像位置、および撮像方法に対応づけて画像格納部１２０に格納されている少なくとも２つの撮像画像を選択してもよい。更に、画像選択部１４０は、画像格納部１２０に格納されている複数の撮像画像から、撮像時刻の差がより小さい少なくとも２つの撮像画像を選択してもよい。したがって、撮像時刻の差がより大きい場合、例えば、朝に撮像された撮像画像と夜に撮像された撮像画像を画像選択部１４０は選択しなくてもよく、係る場合には、違和感のある立体画像を生成することを防止できる。

また、画像選択部１４０は、画像格納部１２０において格納されている複数の撮像画像から、撮像位置および撮像方向から算出される撮像アングルの差が予め定められたアングル差により近い少なくとも２つの撮像画像を選択してもよい。したがって、画像選択部１４０は、適切なアングル差で撮像された撮像画像を、立体画像の生成に用いることを目的として選択できる。また、画像選択部１４０は、観察条件取得部１３０において取得された観察時刻から予め定められた所定時間遡った遡及時刻に近似する撮像時間に対応づけて画像格納部１２０に格納されている少なくとも２つの撮像画像を選択してもよい。したがって、画像選択部１４０は、所定の場所および方向等における過去の複数の撮像画像を、立体画像の生成に用いることを目的として選択できる。更に、画像選択部１４０は、観察条件取得部１３０において取得された観察時刻に近似する撮像時間に対応づけて画像格納部１２０に格納されている少なくとも２つの撮像画像を選択してもよい。したがって、画像選択部１４０においては、撮像時間の間隔が離れていることにより、立体画像の生成に適さない撮像画像を選択することを防止できる。

また、画像選択部１４０は、観察条件取得部１３０において取得された連続する複数の観察時刻毎に、連続する複数の撮像時刻にそれぞれ近似する撮像時刻に対応づけて画像格納部１２０に格納されている少なくとも２つの撮像画像を選択してもよい。更に、画像選択部１４０は、観察条件取得部１３０において取得された連続する複数の観察位置または観察方向毎に、連続する複数の観察位置または観察方向にそれぞれ近似する撮像位置または撮像方向に対応づけて画像格納部１２０に格納されている少なくとも２つの撮像画像を選択してもよい。画像選択部１４０は、画像選択部１４０において選択された少なくとも２つの撮像画像を、立体画像生成部１５０に供給する。

立体画像生成部１５０は、画像選択部１４０において選択された少なくとも２つの撮像画像から立体画像を生成する。例えば、立体画像生成部１５０は、同一の被写体について異なる視点から撮像された少なくとも２つの撮像画像から、Image Based Modeling等の画像処理により立体画像を生成する。また、立体画像生成部１５０は、画像選択部１４０において遡及時刻に基づいて選択された少なくとも２つの撮像画像から第１立体画像を生成する。そして、立体画像生成部１５０は、画像選択部１４０において観察時刻に基づいて選択された少なくとも２つの撮像画像から第２立体画像を生成してもよい。

更に、立体画像生成部１５０は、画像選択部１４０において、連続する複数の観察時刻毎にそれぞれ選択された少なくとも２つの撮像画像のそれぞれから、複数の立体画像をそれぞれ生成してもよい。また、立体画像生成部１５０は、画像選択部１４０において連続する複数の観察位置または観察方向毎にそれぞれ選択された少なくとも２つの撮像画像のそれぞれから、複数の立体画像をそれぞれ生成してもよい。立体画像生成部１５０は、生成された立体画像を観察画像生成部１６０に供給する。

観察画像生成部１６０は、立体画像生成部１５０において生成された立体画像に基づいて、観察条件取得部１３０において取得された観察位置および観察方向から、立体画像生成部１５０において生成された立体画像を観察した場合に観察し得る観察画像を生成する。例えば、観察画像生成部１６０は、観察者が観察条件取得部１３０に供給した、観察者が観察を所望する観察位置および観察方向から立体画像生成部１５０において生成された立体画像を観察した場合に、観察者が観察し得る観察画像を生成する。

これにより、本実施例に係る四次元画像生成システム１０は、観察者が観察を欲する位置および観察を欲する方向について撮像部１００が撮像画像を撮像していない場合でも、画像選択部１４０において選択された複数の画像から立体画像生成部１５０において生成された立体画像に基づいて観察画像を生成できるので、観察者は、所望の位置および所望の方向から観察した場合に観察者が見ることができる観察画像を、容易に取得できる。

また、観察画像生成部１６０は、立体画像生成部１５０において生成された立体画像に基づいて、観察条件取得部１３０において取得された観察位置及び観察方向から立体画像生成部１５０において生成された立体画像を、観察条件取得部１３０において取得された観察倍率で観察した場合に観察し得る観察画像を生成してもよい。

これにより、本実施例に係る四次元画像生成システム１０は、観察者が観賞を欲する位置および方向についての撮像画像を撮像していない場合でも、観察画像を生成して、所望の大きさに観察画像を拡大・縮小できる。したがって、観察者は、所望の位置および方向の観察画像について、観察者が注意を惹かれる部分について自由に拡大または縮小して画像を観察できる。

また、観察画像生成部１６０は、立体画像生成部１５０から第１立体画像および第２立体画像を受け取った場合には、第１立体画像および第２立体画像のそれぞれに基づいて、観察条件取得部１３０において取得された観察位置および観察方向から、立体画像生成部において生成された立体顔像を観察した場合に観察し得る、第１観察画像および第２観察画像のそれぞれを生成してもよい。

更に、観察画像生成部１６０は、立体画像生成部１５０において生成された複数の立体画像のそれぞれに基づいて、観察条件取得部１３０において取得された観察位置および観察方向から立体画像生成部１５０において生成された複数の立体画像のそれぞれを観察した場合に観察し得る複数の観察画像をそれぞれ生成してもよい。

そして、観察画像生成部１６０は、立体画像生成部１５０において生成された複数の立体画像のそれぞれに基づいて、観察条件取得部１３０において取得された複数の観察位置または観察方向のそれぞれから立体画像生成部１５０において生成された複数の立体画像のそれぞれを観察した場合に観察し得る複数の観察画像をそれぞれ生成してもよい。

表示部１７０は、観察画像生成部１６０において生成された観察画像を表示する。また、表示部１７０は、観察画像生成部１６０において第１観察画像と第２観察画像とが生成された場合には、第１観察画像と第２観察画像を順次表示する。

これにより、観察者は、観察を所望する位置および観察を所望する方向について、自由自在に観察できる。また、観察者は、観察者が観察を望む位置および観察を望む方向について、所望の時間の観察画像を観察できる。すなわち、観察者は、所望の位置および方向についての経時変化を生成された観察画像により観察できる。また、観察者は、観察を望む位置および方向についての観察画像を、時刻および日時を遡って観察できる。

また、観察画像生成部１６０が、立体画像生成部１５０において生成された複数の立体画像のそれぞれに基づいて、観察条件取得部１３０において取得された観察位置および観察方向から立体画像生成部１５０において生成された複数の立体画像のそれぞれを観察した場合に観察し得る複数の観察画像をそれぞれ生成した場合には、表示部１７０は、観察画像生成部１６０において生成された複数の観察画像を観察時刻の順に表示してもよい。

これにより、観察者が観察を望む位置および方向についての観察画像を観察時刻の順に表示できるので、観察者は観察を望む位置および方向について、観察画像を擬似的な動画として観察できる。

更に、観察画像生成部１６０が、立体画像生成部１５０において生成された複数の立体画像のそれぞれに基づいて、観察条件取得部１３０において取得された複数の観察位置または観察方向のそれぞれから立体画像生成部１５０において生成された複数の立体画像のそれぞれを観察した場合に観察し得る複数の観察画像をそれぞれ生成した場合には、表示部１７０は、観察画像生成部１６０において生成された複数の観察画像を、観察位置または観察方向の順に表示してもよい。

これにより、観察者は、観察者が観察を所望する位置または方向について連続して観察画像を観察できる。すなわち、所定の位置または方向に沿って、あたかも観察者が移動している状況において観察者が見る光景を、四次元画像生成システム１０は表示部１７０に表示できる。

出力インターフェイス１８０は、観察画像生成部１６０から受け取った観察画像を、外部の表示装置等に供給する。また、出力インターフェイス１８０は、立体画像生成部１５０において生成された立体画像を、外部の３Ｄディスプレーに供給してもよい。更に、出力インターフェイス１８０は、インターネット等のネットワークおよびメモリ等に観察画像を供給してもよい。

本実施形態に係る四次元画像生成システム１０によれば、様々な場所について様々な視点および様々な時刻で撮像画像を撮像して、撮像された複数の撮像画像から立体画像を生成できる。そして、生成された立体画像から、所望の方向から観察した場合の観察画像を生成できる。これにより、観察を望む場所、観察を望む方向、および観察を望む時刻について、観察者が自由自在に選択して観察した場合の観察画像を、観察者は、容易に観察できる。

図２は、本発明の一実施形態に係る四次元画像生成システム１０の概要の一例を示す。四次元画像生成システム１０は、部屋の中で監視を要する部分を含む領域を様々な視点から撮像する。例えば、撮像部１００は、部屋の天井等または部屋を巡回する警備ロボット等に備えられていてよい。そして、四次元画像生成システム１０は、例えば、所定の監視領域において、机９００と金庫９１０が撮像されている撮像画像のうち、所定の方向６００および方向６１０から机９００および金庫９１０を撮像した撮像画像７００および撮像画像７１０を取得する。そして、四次元画像生成システム１０は、撮像画像７００と撮像画像７１０から、立体画像を生成する。続いて、四次元画像生成システム１０は、観察者から観察者が観察を所望する方向に関する情報を受け取り、観察者が観察を所望する方向６２０から机９００と金庫９１０を観察した場合の観察画像８００を、生成された立体画像から生成する。

また、四次元画像生成システム１０が、方向６００および方向６１０から机９００および金庫９１０を、常時または様々な日時および時刻において撮像していてもよい。係る場合には、四次元画像生成システム１０は、様々な日時および時刻における立体画像を、様々な日時および時刻において方向６００および方向６１０から撮像した撮像画像から生成する。そして、観察者が観察を所望する日時を指定することにより、当該指定日時において観察者が方向６２０から机９００と金庫９１０を観察した場合の観察画像を、四次元画像生成システム１０は立体画像から生成できる。更に、観察者が複数の日時を時系列に沿って指定することにより、四次元画像生成システム１０は、複数の日時における観察画像を時系列に沿って生成できるので、観察者は、方向６２０から机９００および金庫９１０を観察した場合の経時変化を容易に確認できる。

本実施形態に係る四次元画像生成システム１０によれば、観察者が観察を所望する被写体について様々な視点から撮像画像を複数撮像して、撮像された複数の撮像画像から立体画像を生成できる。そして、四次元画像生成システム１０は、生成された立体画像から、観察者が観察を所望する方向から被写体を見た場合の観察画像を生成できる。これにより、観察者は、被写体について所望の方向から撮像された撮像画像がない場合でも、観察者が観察を所望する方向から観察した場合の観察画像を取得できる。

また、本実施形態に係る四次元画像生成システム１０によれば、観察者が観察を所望する被写体について様々な日時において撮像された複数の撮像画像から、様々な日時における立体画像を生成できる。そして、四次元画像生成システム１０は、観察者が観察を所望する方向の、観察者が観察を所望する日時の観察画像を生成できる。これにより、観察者は、観察者が観察を所望する被写体の経時変化を、様々な方向および様々な日時を自由に指定して簡単に確認できる。

図３は、本発明の一実施形態に係る四次元画像生成システム１０の概要の一例を示す。四次元画像生成システム１０における撮像部１００は、自動車に備えられている。また、撮像部１００は、自動車だけでなく、電信柱、街灯、信号機、ビル等の建物、オートバイ等の乗り物、および携帯端末等に備えられていてよい。撮像部１００において撮像された撮像画像は、無線通信または有線通信を介してサーバ２００に供給される。

例えば、自動車５００に備えられた撮像部１００は所定の画角６３０に含まれる範囲の撮像画像を、常時または所定の時間間隔において撮像する。また、自動車５１０に備えられた撮像部１００は所定の画角６４０に含まれる範囲の撮像画像を、常時または所定の時間間隔において撮像する。そして、自動車５００および自動車５１０において撮像された撮像画像は、無線通信によりインターネット等のネットワークを介して、サーバ２００に供給される。また、四次元画像生成システム１０は、ＧＰＳ機能を備えていてよく、撮像部１００において撮像された撮像画像の撮像位置および撮像日時の情報を撮像画像に付加して、無線通信によりインターネット等のネットワークを介して、サーバ２００に撮像画像を供給してもよい。なお、撮像部１００が街灯等の土地定着物に備えられている場合には、有線通信によりインターネット等のネットワークを介して、撮像画像をサーバ２００に供給してもよい。

サーバ２００は、様々な日時における様々な場所で撮像された複数の撮像画像を格納する。そして、四次元画像生成システム１０は、サーバ２００に格納されている複数の撮像画像から立体画像を生成する。例えば、自動車５００において撮像された撮像画像７２０と、自動車５１０において撮像された撮像画像７３０から、家９２０についての立体画像を生成する。そして、四次元画像生成システム１０は、観察者が観察を所望する方向に関する情報を受け取って、当該方向から家９２０を観察した場合の観察画像８１０を生成する。

本実施形態に係る四次元画像生成システム１０によれば、様々な日時における様々な場所の複数の撮像画像を撮像できる。そして、四次元画像生成システム１０は、複数の撮像画像から立体画像を生成でき、観察者が所望する日時および場所の観察画像を当該立体画像から生成できる。これにより、観察者は、観察者自身が実際に行ったことのない場所についての所望の日時における観察画像を自由に取得できる。したがって、観察者は、いわばバーチャル旅行を楽しむことができる。

また、本実施形態に係る四次元画像生成システム１０によれば、様々な日時および様々な場所において撮像された複数の撮像画像から立体画像を生成して、観察者が所望する日時および場所の観察画像を生成できる。これにより、観察者は、例えば、ひったくり等の犯罪が発生した日時および場所を四次元画像生成システム１０に入力することによって、当該日時および当該場所について立体画像を生成することができる。したがって、四次元画像生成システム１０は、観察者が所望する方向からひったくり等の犯罪現場を観察した場合の観察画像を生成できるので、ひったくり等の犯罪の対策に有用な情報を提供することができる。

図４は、本実施形態に係る四次元画像生成システム１０のハードウェア構成の一例を示す。本実施形態に係る四次元画像生成システム１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワーク等を介して他の装置と通信する。ハードディスクドライブ１５４０は、四次元画像生成システム１０内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、四次元画像生成システム１０が起動時に実行するブート・プログラム、四次元画像生成システム１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像出力プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。画像出力プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して四次元画像生成システム１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。四次元画像生成システム１０にインストールされて実行される画像出力プログラムは、ＣＰＵ１５０５等に働きかけて、撮像部１００、入力インターフェイス１１０、画像格納部１２０、観察条件取得部１３０、画像選択部１４０、立体画像生成部１５０、観察画像生成部１６０、表示部１７０、および出力インターフェイス１８０を、図１から図３にかけて説明した四次元画像生成システム１０として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

四次元画像生成システム１０の機能構成を示すブロック図である。 四次元画像生成システム１０の概念図である。 四次元画像生成システム１０の概念図である。 四次元画像生成システム１０のハードウェア構成を示すブロック図である。

符号の説明

１０ 四次元画像生成システム
１００ 撮像部
１１０ 入力インターフェイス
１２０ 画像格納部
１３０ 観察条件取得部
１４０ 画像選択部
１５０ 立体画像生成部
１６０ 観察画像生成部
１７０ 表示部
１８０ 出力インターフェイス
２００ サーバ
５００、５１０ 自動車
６００、６１０、６２０ 方向
６３０、６４０ 画角
７００、７１０、７２０、７３０ 撮像画像
８００、８１０ 観察画像
９００ 机
９１０ 金庫
９２０ 家
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (10)

1. 撮像時刻、撮像位置、及び撮像方向にそれぞれ対応づけて、複数の撮像画像を格納する画像格納部と、
   観察者が観察を希望する観察時刻、観察位置、及び観察方向を取得する観察条件取得部と、
   前記観察条件取得部が取得した観察時刻、観察位置、及び観察方向に近似する撮像時刻、撮像位置、及び撮像方向に対応づけて前記画像格納部が格納している少なくとも２つの撮像画像を選択する画像選択部と、
   前記画像選択部が選択した少なくとも２つの撮像画像から立体画像を生成する立体画像生成部と、
   前記立体画像生成部が生成した立体画像に基づいて、前記観察条件取得部が取得した観察位置及び観察方向から前記立体画像生成部が生成した立体画像を観察した場合に観察し得る観察画像を生成する観察画像生成部と、
   前記観察画像生成部が生成した観察画像を表示する表示部と
   を備える四次元画像生成システム。
2. 前記画像格納部は、撮像倍率にさらに対応づけて、複数の撮像画像を格納しており、
   前記観察条件取得部は、観察者が観察を希望する観察倍率をさらに取得し、
   前記画像選択部は、前記観察条件取得部が取得した観察倍率に近似する撮像倍率に対応づけて前記画像格納部が格納している少なくとも２つの撮像画像を選択し、
   前記観察画像生成部は、前記立体画像生成部が生成した立体画像に基づいて、前記観察条件取得部が取得した観察位置及び観察方向から前記立体画像生成部が生成した立体画像を、前記観察条件取得部が取得した観察倍率で観察した場合に観察し得る観察画像を生成する
   請求項１に記載の四次元画像生成システム。
3. 前記画像選択部は、前記観察条件取得部が取得した観察時刻、観察位置、及び観察方向の少なくとも１つにより近い撮像時刻、撮像位置、及び撮像方法に対応づけて前記画像格納部が格納している少なくとも２つの撮像画像を選択する
   請求項１に記載の四次元画像生成システム。
4. 前記画像選択部は、前記画像格納部が格納している複数の撮像画像から、撮像時刻の差がより小さい少なくとも２つの撮像画像を選択する
   請求項３に記載の四次元画像生成システム。
5. 前記画像選択部は、前記画像格納部が格納している複数の撮像画像から、撮像位置及び撮像方向から算出される撮像アングルの差が予め定められたアングル差により近い少なくとも２つの撮像画像を選択する
   請求項３に記載の四次元画像生成システム。
6. 前記画像選択部は、前記観察条件取得部が取得した観察時刻から予め定められた所定時間遡った遡及時刻に近似する撮像時間に対応づけて前記画像格納部が格納している少なくとも２つの撮像画像を選択し、さらに、前記観察条件取得部が取得した観察時刻に近似する撮像時間に対応づけて前記画像格納部が格納している少なくとも２つの撮像画像を選択し、
   前記立体画像生成部は、前記画像選択部が遡及時刻に基づいて選択した少なくとも２つの撮像画像から第１立体画像を生成し、さらに、前記画像選択部が観察時刻に基づいて選択した少なくとも２つの撮像画像から第２立体画像を生成し、
   前記観察画像生成部は、前記立体画像生成部が生成した第１立体画像及び第２立体画像のそれぞれに基づいて、前記観察条件取得部が取得した観察位置及び観察方向から前記立体画像生成部が生成した立体画像を観察した場合に観察し得る第１観察画像及び第２観察画像のそれぞれを生成し、
   前記表示部は、前記観察画像生成部が生成した前記第１観察画像と前記第２観察画像を順次表示する
   請求項１に記載の四次元画像生成システム。
7. 前記観察条件取得部は、観察者の指示入力に基づいて、連続する複数の観察時刻を取得し、
   前記画像選択部は、前記観察条件取得部が取得した連続する複数の観察時刻毎に、連続する複数の観察時刻にそれぞれ近似する撮像時刻に対応づけて前記画像格納部が格納している少なくとも２つの撮像画像をそれぞれ選択し、
   前記立体画像生成部は、前記画像選択部が連続する複数の観察時刻毎にそれぞれ選択した少なくとも２つの撮像画像のそれぞれから、複数の立体画像をそれぞれ生成し、
   前記観察画像生成部は、前記立体画像生成部が生成した複数の立体画像のそれぞれに基づいて、前記観察条件取得部が取得した観察位置及び観察方向から前記立体画像生成部が生成した複数の立体画像のそれぞれを観察した場合に観察し得る複数の観察画像をそれぞれ生成し、
   前記表示部は、前記観察画像生成部が生成した複数の観察画像を観察時刻の順に表示する
   請求項１に記載の四次元画像生成システム。
8. 前記観察条件取得部は、観察者の指示入力に基づいて、連続する複数の観察位置又は観察方向を取得し、
   前記画像選択部は、前記観察条件取得部が取得した連続する複数の観察位置又は観察方向毎に、連続する複数の観察位置又は観察方向にそれぞれ近似する撮像位置又は撮像方向に対応づけて前記画像格納部が格納している少なくとも２つの撮像画像をそれぞれ選択し、
   前記立体画像生成部は、前記画像選択部が連続する複数の観察位置又は観察方向毎にそれぞれ選択した少なくとも２つの撮像画像のそれぞれから、複数の立体画像をそれぞれ生成し、
   前記観察画像生成部は、前記立体画像生成部が生成した複数の立体画像のそれぞれに基づいて、前記観察条件取得部が取得した複数の観察位置又は観察方向のそれぞれから前記立体画像生成部が生成した複数の立体画像のそれぞれを観察した場合に観察し得る複数の観察画像をそれぞれ生成し、
   前記表示部は、前記観察画像生成部が生成した複数の観察画像を観察位置又は観察方向の順に表示する
   請求項１に記載の四次元画像生成システム。
9. 撮像時刻、撮像位置、及び撮像方向にそれぞれ対応づけて、複数の撮像画像を画像格納部に格納する画像格納段階と、
   観察者が観察を希望する観察時刻、観察位置、及び観察方向を取得する観察条件取得段階と、
   前記観察条件取得段階が取得した観察時刻、観察位置、及び観察方向に近似する撮像時刻、撮像位置、及び撮像方向に対応づけて前記画像格納部が格納している少なくとも２つの撮像画像を選択する画像選択段階と、
   前記画像選択段階が選択した少なくとも２つの撮像画像から立体画像を生成する立体画像生成段階と、
   前記立体画像生成段階が生成した立体画像に基づいて、前記観察条件取得段階が取得した観察位置及び観察方向から前記立体画像生成段階が生成した立体画像を観察した場合に観察し得る観察画像を生成する観察画像生成段階と、
   前記観察画像生成段階が生成した観察画像を表示部に表示する表示段階と
   を備える四次元画像生成方法。
10. 四次元画像生成システム用のプログラムであって、前記四次元画像生成システムを、
    撮像時刻、撮像位置、及び撮像方向にそれぞれ対応づけて、複数の撮像画像を格納する画像格納部と、
    観察者が観察を希望する観察時刻、観察位置、及び観察方向を取得する観察条件取得部と、
    前記観察条件取得部が取得した観察時刻、観察位置、及び観察方向に近似する撮像時刻、撮像位置、及び撮像方向に対応づけて前記画像格納部が格納している少なくとも２つの撮像画像を選択する画像選択部と、
    前記画像選択部が選択した少なくとも２つの撮像画像から立体画像を生成する立体画像生成部と、
    前記立体画像生成部が生成した立体画像に基づいて、前記観察条件取得部が取得した観察位置及び観察方向から前記立体画像生成部が生成した立体画像を観察した場合に観察し得る観察画像を生成する観察画像生成部と、
    前記観察画像生成部が生成した観察画像を表示する表示部
    として機能させるプログラム。
    

Images