JP2012080432A - パノラマ画像生成装置およびパノラマ画像生成方法 - Google Patents

パノラマ画像生成装置およびパノラマ画像生成方法 Download PDF

Info

Publication number
JP2012080432A
JP2012080432A JP2010225366A JP2010225366A JP2012080432A JP 2012080432 A JP2012080432 A JP 2012080432A JP 2010225366 A JP2010225366 A JP 2010225366A JP 2010225366 A JP2010225366 A JP 2010225366A JP 2012080432 A JP2012080432 A JP 2012080432A
Authority
JP
Japan
Prior art keywords
dynamic range
image
divided images
panoramic image
angles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010225366A
Other languages
English (en)
Other versions
JP5409577B2 (ja
Inventor
Kyoko Furumura
京子 古村
Shinichi Hirata
真一 平田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2010225366A priority Critical patent/JP5409577B2/ja
Priority to PCT/JP2011/004326 priority patent/WO2012046372A1/ja
Priority to EP11830311.4A priority patent/EP2627071A4/en
Priority to CN201180047991.3A priority patent/CN103141079B/zh
Publication of JP2012080432A publication Critical patent/JP2012080432A/ja
Priority to US13/796,038 priority patent/US8908055B2/en
Application granted granted Critical
Publication of JP5409577B2 publication Critical patent/JP5409577B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】白とびや黒つぶれのないパノラマ画像を生成する。
【解決手段】LDR画像データ記憶部26は、カメラをパンまたはチルトして撮影された複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する。ハイダイナミックレンジ合成部20は、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成する。パノラマ画像合成部23は、隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成する。
【選択図】図1

Description

この発明は、パノラマ画像を生成する装置および方法に関する。
デジタルスチルカメラやデジタルビデオカメラが普及しており、撮影した静止画や動画をコンピュータに保存して閲覧、加工したり、ゲーム機やテレビジョン(TV)システムの画面に表示する機会が多くなっている。また、撮影した動画をインターネットの投稿サイトにアップロードし、他のユーザと動画を共有することも盛んである。
デジタルカメラの中には、パノラマ画像の撮影が可能なものもあり、手軽に視野角の広いパノラマ画像を撮影することができるようになってきた。また、撮影方向を変えながら、デジタルカメラの撮影した複数の画像を貼り合わせることでパノラマ画像を生成するソフトウエアツールもよく利用されている。
ユーザが撮影したこのようなパノラマ画像の投稿を受け付け、インターネットで公開する360citiesというサイト(http;//www.360cities.net)もあり、世界中のユーザが投稿したパノラマ画像を閲覧することができる。
パノラマ画像は全天球の画像であるため、屋外で撮影すると、太陽が写り込んだり、街灯が写り込むため、明るい部分と暗い部分の差が大きく、ダイナミックレンジが非常に広くなる。そのため、特定の対象物に露出を合わせてパノラマ画像を撮影すると、明るい部分は「白とび」が生じ、暗い部分は「黒つぶれ」が生じることがある。「白とび」とは、強い光が当たった部分が真っ白になることであり、「黒つぶれ」とは、光がほとんど当たっていない暗い部分が真っ黒になることである。
通常の写真撮影では、白とびや黒つぶれが生じないように被写体を適正露出のもとで撮影するか、視野内に強い光が入らないように調整するが、全方位を撮影するパノラマ画像の撮影では、特定の被写体に合わせて適正露出を決めるわけにはいかない。そこで、パノラマ画像を生成する際、たとえば、ハイダイナミックレンジ合成の手法を採用して、露出を変えつつ複数枚の低ダイナミックレンジの写真を撮影し、それらを合成することで白とびや黒つぶれのない高ダイナミックレンジを持つ画像を生成することが必要である。しかし、ハイダイナミックレンジ合成は、高価なカメラが必要であったり、撮影時間や処理時間がかかるという問題があった。
本発明はこうした課題に鑑みてなされたものであり、その目的は、白とびや黒つぶれのないパノラマ画像を効率良く生成することのできる技術を提供することにある。
上記課題を解決するために、本発明のある態様のパノラマ画像生成装置は、パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶部と、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成するハイダイナミックレンジ合成部と、隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成するパノラマ画像合成部とを含む。
本発明の別の態様は、パノラマ画像生成方法である。この方法は、パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶デバイスからプロセッサが複数の低ダイナミックレンジ画像集合を読み出すステップと、プロセッサが、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成するステップと、プロセッサが、隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成するステップとを含む。
本発明のさらに別の態様は、プログラムである。このプログラムは、パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶デバイスから複数の低ダイナミックレンジ画像集合を読み出す機能と、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成する機能と、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像のダイナミックレンジをトーンマッピングにより圧縮することにより、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像を生成する機能と、高ダイナミックレンジのパノラマ画像を生成する場合は、隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成し、低ダイナミックレンジのパノラマ画像を生成する場合は、トーンマッピングにより生成された、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像の内、隣接する分割画像をつなぎ合わせて、低ダイナミックレンジのパノラマ画像を生成する機能とをコンピュータに実現させる。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、白とびや黒つぶれのないパノラマ画像を効率良く生成することができる。
実施の形態に係るパノラマ画像表示装置の構成図である。 図1のパノラマ画像表示装置に接続される入力デバイスの一例であるコントローラの構成図である。 図3(a)〜(d)は、パノラマ画像を撮影するために用いられる全方位撮影システムの機構と撮影方向を説明する図である。 図4(a)はカメラの方位角θ、図4(b)はカメラの仰角φを説明する図である。 図5(a)〜(c)は、カメラの初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。 図6(a)〜(c)は、カメラの仰角φ=60°の場合に撮影されるパノラマ画像を説明する図である。 複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。 複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。 図1のパノラマ画像表示装置によるパノラマ画像生成手順を説明するフローチャートである。 図9(a)、(b)は、2つの隣接する分割画像間で検出されたコントロールポイントを示す図である。 2つの隣接する分割画像をコントロールポイントにもとづいてアライメントして合成する様子を示す図である。 図11(a)、(b)は、パノラマ画像の両端を重複させた拡張パノラマ画像を説明する図である。 低ダイナミックレンジの分割画像から高ダイナミックレンジのパノラマ画像を生成する従来手法を説明する図である。 低ダイナミックレンジの分割画像から高ダイナミックレンジのパノラマ画像を生成する本実施の形態の手法を説明する図である。 低ダイナミックレンジの分割画像から低ダイナミックレンジのパノラマ画像を生成する本実施の形態の手法を説明する図である。
本発明の実施の形態の概要を説明する。本実施の形態では、露出の異なる低ダイナミックレンジの分割画像に対してハイダイナミックレンジ合成を行って、いったん高ダイナミックレンジの分割画像を生成してから、分割画像をつなぎ合わせてパノラマ画像を生成する。
図1は、実施の形態に係るパノラマ画像表示装置100の構成図である。図1に示すパノラマ画像表示装置100の機能構成は、一例として、パーソナルコンピュータ、ゲーム機、携帯機器、携帯端末などにハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。これらの機能構成の一部がサーバに実装され、一部がクライアントに実装され、パノラマ画像表示装置100は、ネットワークを介してサーバ−クライアントシステムとして実現されてもよい。
パノラマ画像表示装置100のHDR合成部20、トーンマッピング部21、コントロールポイント検出部22、パノラマ画像合成部23、画像符号化部25、およびLDR画像データ記憶部26は、実施の形態に係るパノラマ画像生成装置を構成する。パノラマ画像生成装置のこれらの機能構成は、パノラマ画像表示装置100とは別のコンピュータ、ゲーム機、携帯機器、携帯端末に実装され、ネットワークや接続ケーブルなどでパノラマ画像表示装置100と接続されてもよい。また、パノラマ画像生成装置の機能構成は、デジタルカメラのCPUやメモリを用いて実装されてもよい。
LDR画像データ記憶部26は、カメラをパンまたはチルトして撮影された複数の低ダイナミックレンジ(LDR;low dynamic range)の分割画像を含むLDR画像集合を保持する。LDR画像データ記憶部26には、露出の異なる複数のLDR画像集合が保持されている。パン角とチルト角の異なる分割画像をつなぎ合わせるとパノラマ画像が得られるが、隣接する分割画像のつなぎ目に当たる領域は合成しやすいように重複して撮影されている。LDR画像集合は、撮影すべきパン角またはチルト角に対応させた複数のカメラを用いて撮影されたものであってもよい。ここでは、一つのカメラをパンまたはチルトして撮影した分割画像であっても、撮影すべきパン角またはチルト角に対応させた複数のカメラを用いて撮影された分割画像であっても、単に「パン角またはチルト角の異なる分割画像」と呼ぶ。
HDR合成部20は、LDR画像データ記憶部26から露出の異なる複数のLDR画像集合を読み出し、分割画像が撮影されたパン角およびチルト角の組み合わせのそれぞれについて、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジ(HDR;high dynamic range)の分割画像を生成する。
トーンマッピング部21は、低ダイナミックレンジのパノラマ画像を生成する場合に動作する構成であり、高ダイナミックレンジのパノラマ画像を生成する場合は動作しない。
まず、高ダイナミックレンジのパノラマ画像を生成する場合を説明する。
HDR合成部20は、生成されたパン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像をコントロールポイント検出部22に供給する。コントロールポイント検出部22は、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像の内、隣接する分割画像の間で特徴点を抽出することにより、隣接する高ダイナミックレンジの分割画像を対応付けるためのコントロールポイントを検出する。
特徴点抽出処理には画像マッチングで用いられる公知の技術を用いることができる。特徴点抽出処理が終わると、抽出された特徴点の中から、隣接する分割画像を対応づけるのに適したコントロールポイントを選択する。特徴点は多数抽出されるが、コントロールポイントとしては、隣接する分割画像のつなぎ目領域全体に偏りなく分散していることが望ましい。コントロールポイントがつなぎ目領域全体に分散していれば、隣接する分割画像を高い精度でアライメントすることが可能になる。
パノラマ画像合成部23は、検出されたコントロールポイントにもとづいて隣接する高ダイナミックレンジの分割画像のアライメントを調整して合成することにより、高ダイナミックレンジのパノラマ画像を生成する。具体的には隣接する分割画像間で対応するコントロールポイントができるだけ一致するように、言い換えれば、隣接する分割画像間の対応するコントロールポイントのずれの総和が最小になるように、分割画像を回転させて合成する。
次に、低ダイナミックレンジのパノラマ画像を生成する場合を説明する。
低ダイナミックレンジのパノラマ画像を生成する場合は、トーンマッピング部21が動作する。HDR合成部20は、生成されたパン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像をトーンマッピング部21に供給する。トーンマッピング部21は、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像のダイナミックレンジをトーンマッピングにより圧縮することにより、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像を生成する。
コントロールポイント検出部22は、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像の内、隣接する分割画像の間で特徴点を抽出することにより、隣接するダイナミックレンジ圧縮された分割画像を対応付けるためのコントロールポイントを検出する。
パノラマ画像合成部23は、検出されたコントロールポイントにもとづいて隣接するダイナミックレンジ圧縮された分割画像のアライメントを調整して合成することにより、低ダイナミックレンジのパノラマ画像を生成する。
画像符号化部25は、パノラマ画像合成部23により合成された高ダイナミックレンジまたは低ダイナミックレンジのパノラマ画像を符号化する。このとき、パノラマ画像の左端には右端の領域の一部を付加し、右端には左端の領域の一部を付加した拡張パノラマ画像に対して圧縮符号化する。パノラマ画像が動画像である場合は、画像符号化部25は、拡張パノラマ画像に対して、マクロブロック単位で動き補償予測して圧縮符号化する。画像符号化部25は、符号化されたパノラマ画像をパノラマ画像・付加データ記憶部24に記憶する。
パノラマ画像・付加データ記憶部24は、撮影場所に関する情報と撮影方位に関する情報が関連付けられたパノラマ画像を保持する。撮影場所や撮影方位に関する情報などの付加データはパノラマ画像のデータファイルに直接付加されてもよく、付加データはパノラマ画像とは別のファイルとして管理されてもよい。
撮影場所に関する情報は、たとえば、GPS(Global Positioning System)により与えられる緯度・経度情報を含む。撮影方位に関する情報は、たとえば、方位センサなどから得られるパノラマ画像の中心点の方位角の情報を含み、それ以外に撮影時のカメラの仰角やロール角の情報を含んでもよい。
撮影方位に関する情報としてパノラマ画像の中心点の方位角が与えられれば、カメラを左右方向にパンした角度にもとづいて、パノラマ画像の任意の点の方位を計算上、求めることができる。パノラマ画像の中心点の方位角とパン角にもとづいて計算された、パノラマ画像の真北、真南、真東、真西の方位にあるピクセルの座標値を撮影方位に関する情報としてパノラマ画像にもたせてもよい。
パノラマ画像取得部10は、表示対象のパノラマ画像をパノラマ画像・付加データ記憶部24から取得する。表示対象のパノラマ画像は、たとえば、ユーザが地図などで撮影場所を指定することで特定される。
画像復号部12は、パノラマ画像取得部10により取得された拡張パノラマ画像を復号し、拡張パノラマ画像の両端の重複した領域をトリミングし、再生されたパノラマ画像をマッピング処理部14に供給する。パノラマ画像取得部10により取得された拡張パノラマ画像が動き補償予測により符号化された動画像である場合、画像復号部12は、動画像を復号し、両端の重複した領域をトリミングし、再生された動画像のフレームをマッピング処理部14に供給する。
マッピング処理部14は、パノラマ画像をテクスチャとして3次元パノラマ空間にマッピングする処理を行う。
全天球パノラマ画像の場合は、3次元パノラマ空間として球を想定し、球面マッピングにより、パノラマ画像を球面にテクスチャマッピングする。あるいは、3次元パノラマ空間として立方体を想定し、キューブマッピングにより、パノラマ画像を立方体表面にテクスチャマッピングしてもよい。また、パノラマ画像がチルト方向の成分をもたず、パン方向にのみ広がる画像である場合、3次元パノラマ空間として円柱を想定し、パノラマ画像を円柱面にテクスチャマッピングしてもよい。パノラマ画像がパン方向の成分をもたず、チルト方向にのみ広がる画像である場合も同様である。
3次元画像生成部16は、マッピング処理部14によりパノラマ画像がマッピングされた3次元パノラマ空間内を指定された視線方向に見たときの3次元パノラマ画像を生成する。3次元パノラマ空間が球の場合、視点は球の中心に置かれ、立方体の場合、視点は立方体内部の中心に置かれ、円柱の場合、視点は円柱の中心軸上に置かれる。視点は表示対象のパノラマ画像を撮影した場所であり、視線方向は、その撮影場所から周囲を見る方向であり、方位角と仰角で特定される。3次元画像生成部16は、方位角と仰角で特定される視線方向で3次元パノラマ空間を見たときの3次元画像を生成する。
表示制御部18は、生成された3次元パノラマ画像をディスプレイ装置の画面に表示させる。
ユーザインタフェース部40は、ディスプレイの画面に表示されるグラフィックスに対して、ユーザが入力デバイスを用いて操作することを可能にするグラフィカルユーザインタフェースである。ユーザインタフェース部40は、画面に表示された地図や3次元パノラマ画像に対するゲーム機のコントローラ、マウス、キーボードなどの入力デバイスからユーザの指示を受け付ける。図2は、入力デバイスの一例であるコントローラ102を示し、その構成の詳細については後述する。
ユーザインタフェース部40は、指定されたパノラマ画像をパノラマ画像・付加データ記憶部24から取得するように、パノラマ画像取得部10に指示する。
ユーザは、たとえば、コントローラ102のアナログスティック118または方向キー群116などを操作することにより、3次元パノラマ空間を見る視線方向を変更する指示を入力することができる。ユーザインタフェース部40の視線方向設定部32は、ユーザが指示する視線方向を3次元画像生成部16に与える。3次元画像生成部16は、3次元パノラマ空間を指定された視線方向から見た場合の画像を生成する。
画角設定部31は、ユーザが表示されたパノラマ画像に対してズーム操作をしたときの画角を設定し、パノラマ画像取得部10と3次元画像生成部16に設定された画角の情報を与える。画角の異なるパノラマ画像がパノラマ画像・付加データ記憶部24に記憶されている場合、パノラマ画像取得部10は、設定された画角にもっとも近い画角のパノラマ画像を読み出し、表示対象のパノラマ画像を切り替える。3次元画像生成部16は、設定された画角に応じて3次元パノラマ画像を拡大・縮小することで、ズームイン・ズームアウトの視覚効果を実現する。
パノラマ画像には、撮影高度に関する情報も付与されており、パノラマ画像・付加データ記憶部24は、同一の撮影位置に対して異なる高度で撮影されたパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ102の筐体前面の左側にあるL1/L2ボタン161、162を操作することにより、高度を変更する指示を入力することができる。L1ボタン161を押すことにより、高度を上げる指示を、L2ボタン162を押すことにより、高度を下げる指示を与えることができる。
表示制御部18は、現在表示されているパノラマ画像について、同一撮影場所で異なる高度で撮影したパノラマ画像があることを、たとえば、画面の上部、下部に小さな矢印を示すことでユーザに知らせてもよい。画面の上部に上向きの矢印があれば、現在よりも撮影高度の高い画像があることを示し、画面の下部に下向きの矢印があれば、現在よりも撮影高度の低い画像があることを示す。
ユーザインタフェース部40の高度設定部34は、ユーザから高度を変更する指示を受け取ると、同一撮影位置であるが、指定された高度に対応するパノラマ画像をパノラマ画像・付加データ記憶部24から取得するように、パノラマ画像取得部10に指示する。パノラマ画像取得部10は、L1ボタン161が押された場合は、現在表示されているパノラマ画像よりも撮影高度のより高いパノラマ画像を取得し、L2ボタン162が押された場合は、撮影高度のより低いパノラマ画像を取得する。
表示制御部18は、撮影高度の異なるパノラマ画像に切り替えて表示する際、たとえば、ユーザがエレベータで上下しているかのような感覚を与えるために、特別なエフェクトを画像に施してもよい。たとえば、より高度の高いパノラマ画像に切り替える場合、現在表示されているパノラマ画像を下にスクロールさせて、より高度の高いパノラマ画像が上から降りてくるように表示させることで、ユーザはあたかも階上に行ったかのような感覚をもつことができる。
パノラマ画像には、撮影日時に関する情報も付与されており、パノラマ画像・付加データ記憶部24は、同一の撮影位置に対して撮影日時の異なるパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ102の筐体前面の右側にあるR1/R2ボタン151、152を操作することにより、撮影日時を変更する指示を入力することができる。R1ボタン151を押すことにより、遅い日時にシフトする指示を、R2ボタン152を押すことにより、早い日時にシフトする指示を与えることができる。
表示制御部18は、現在表示されているパノラマ画像について、異なる日時に撮影したパノラマ画像があることを、たとえば、時計やカレンダーのアイコンを画面の隅に示すことでユーザに知らせてもよい。朝、昼、夜など時間帯の異なるパノラマ画像が存在するときは時計のアイコンを、春、夏、秋、冬など季節の異なるパノラマ画像が存在するときはカレンダーのアイコンを表示する。
ユーザインタフェース部40の日時設定部36は、ユーザから日時を変更する指示を受け取った場合、同一撮影位置であるが、指定された日時に対応するパノラマ画像をパノラマ画像・付加データ記憶部24から取得するように、パノラマ画像取得部10に指示する。パノラマ画像取得部10は、R1ボタン151が押された場合は、現在表示されているパノラマ画像よりも撮影日時のより遅いパノラマ画像を取得し、R2ボタン152が押された場合は、撮影日時のより早いパノラマ画像を取得する。
これにより、たとえば、同一撮影場所であっても、朝の時間帯に撮影されたパノラマ画像から夜の時間帯にパノラマ画像に切り替えたり、春に撮影されたパノラマ画像から秋に撮影されたパノラマ画像に切り替えるなど、時間帯や季節などが異なるパノラマ画像に切り替えることができる。表示制御部18は、パノラマ画像を切り替えるとき、フェイドイン・フェイドアウトなどのエフェクトを画像に施してもよい。
視点位置設定部30は、パノラマ画像の撮影場所を視点位置に設定し、視点位置を3次元画像生成部16に通知する。視線方向設定部32は、指定された視線方向を3次元画像生成部16に与える。
図2は、図1のパノラマ画像表示装置100に接続される入力デバイスの一例であるコントローラ102の構成図である。パノラマ画像表示装置100は、一例としてゲーム機であってもよい。
コントローラ102は、パノラマ画像表示装置100に対する操作入力を行うための複数のボタンやキーを有する。ユーザがコントローラ102のボタンやキーを操作すると、その操作入力が無線または有線によりパノラマ画像表示装置100に送信される。
コントローラ102の筐体上面122には、方向キー群116、アナログスティック118、操作ボタン群120が設けられている。方向キー群116は、「上」、「下」、「左」、「右」方向指示キーを含む。操作ボタン群120は、○ボタン124、×ボタン126、□ボタン128、および△ボタン130を含む。
ユーザは左手で左側把持部134bを把持し、右手で右側把持部134aを把持して、筐体上面122上の方向キー群116、アナログスティック118、および操作ボタン群120を操作する。
さらに、コントローラ102の筐体前面には、右側操作部150と左側操作部160が設けられている。右側操作部150はR1ボタン151とR2ボタン152を含み、左側操作部160はL1ボタン161とL2ボタン162を含む。
ユーザは、方向キー群116を操作することにより、画面上の表示されたポインタを上下左右の各方向に移動させることができる。たとえば、パノラマ画像内に表示された複数のマーカーのいずれかを選択する際、方向キー群116を操作して画面上で複数のマーカー間を移動することができる。ユーザは所望のマーカー上にポインタが来たときに、○ボタン124を押すことでそのマーカーを選択することができる。
操作ボタン群120の各ボタンには、パノラマ画像表示アプリケーションプログラムによりそれぞれ異なる機能が割り付けられてもよい。たとえば、△ボタン130にはメニューの表示を指定する機能、×ボタン126には、選択した項目の取り消し等を指定する機能、○ボタン124には選択した項目の決定等を指定する機能、□ボタン128には、目次等の表示/非表示を指定する機能がそれぞれ割り付けられる。
アナログスティック118は、ユーザによって傾倒操作されたとき、アナログ値を出力する手段を備える。コントローラ102は、アナログスティック118を傾倒したときの方向と量に応じたアナログ出力信号をパノラマ画像表示装置100に送る。たとえば、ユーザは、アナログスティック118を所望の方向に傾倒することで、ディスプレイに表示された3次元パノラマ画像内で視点を所望の方向に移動させることができる。
筐体上面122には、さらにLED付きボタン136、セレクトボタン140、スタートボタン138が設けられる。LED付きボタン136は、たとえば、ディスプレイにメニュー画面を表示させるためのボタンとして利用される。スタートボタン138は、パノラマ画像表示アプリケーションの起動、パノラマ画像の再生開始、一時停止などをユーザが指示するためのボタンである。セレクトボタン140は、ディスプレイに表示されたメニュー表示の選択等をユーザが指示するためのボタンである。
図3(a)〜(d)は、パノラマ画像を撮影するために用いられる全方位撮影システム230の機構と撮影方向を説明する図である。
図3(d)に示すように、全方位撮影システム230において、カメラ200は操作盤210に固定されており、操作盤210をZ軸周りに回転させることでカメラのパン角を変え、X軸周りに回転させることでカメラのチルト角を変え、Y軸周りに回転させることでカメラのロール角を変えることができる。ここでZ軸は鉛直軸(重力方向軸)である。
図3(a)は、操作盤210に設置されたカメラ200の上面図であり、操作盤の初期位置(Y軸方向)をパン角0°とし、Z軸の周りに−180°〜+180°の範囲でパン角を変えることができる。
図3(b)は、操作盤210に設置されたカメラ200の正面図であり、操作盤210が水平に置かれた状態をロール角0°とし、Y軸の周りに−180°〜+180°の範囲でロール角を変えることができる。
図3(c)は、操作盤210に設置されたカメラ200の側面図であり、操作盤210が水平に置かれた状態をチルト角0°とし、X軸の周りに−90°〜+90°の範囲でチルト角を変えることができる。
図3(d)の全方位撮影システム230により撮影されるパノラマ画像に撮影方位に関する情報を付与するためには、カメラ200が撮影時にどの方位に向いていたかを記録しておく必要がある。そのために、全方位撮影システム230は、方位を測定するための方位センサや傾斜角を測定するための加速度センサなどを備える。さらに、撮影位置や撮影時間を測定するためにGPSセンサなども備える。
図4(a)はカメラ200の方位角θ、図4(b)はカメラ200の仰角φを説明する図である。図4(a)はカメラ200の上面図であり、カメラ200は撮影の初期位置において、真北から東へ方位角θだけずれた方向220を向いており、この方向がパン角0°に相当する。すなわちパン角の基準方向220の方位角はθである。パノラマ画像を撮影するとき、この方位角θの基準方向220に対して−180°〜+180°の範囲でパン角を変えながら、被写体をパノラマ撮影する。
図4(b)はカメラ200の側面図であり、仰角φは、X軸周りにカメラ200を回転させた場合に、チルト0°の方向、すなわちY軸方向に対して上方向を正と定義する角度である。通常、カメラ200を水平ポジションに設定して撮影するので仰角φ=0°であるが、全天球のパノラマ画像を撮影するには、カメラをチルトさせて仰角φを変えて被写体を撮影する必要がある。
図5(a)〜(c)は、カメラ200の初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。
図5(a)の上面図に示すように、初期位置においてカメラ200は方位角θの方向220を向いており、図5(b)の側面図に示すように、カメラ200の仰角φ=0°である。仰角φ=0°に保ちながら、基準方向220に対してカメラ200のパン角を−180°から+180°の範囲で変化させながら、仰角φ=0°における全方位のパノラマ画像を撮影する。図5(c)は、このようにして撮影されたパノラマ画像300を示す。パノラマ画像300の中心はパン角0°であり、パノラマ画像300の左半分はパン角を0°から−180°まで変えて撮影された画像であり、右半分はパン角を0°から180°まで変えて撮影された画像である。
パノラマ画像300のパン角0°の中心位置は、真北から方位角θだけ東にずれているから、北(N)、南(S)、東(E)、西(W)の位置は点線で示す箇所になる。パノラマ画像300は、撮影方位に関する情報として、パン角0°の中心位置の方位角θをもってさえいれば、北(N)、南(S)、東(E)、西(W)のピクセル位置は、方位角θのずれを考慮して計算で求めることができる。あるいは、方位角θの代わりに、北(N)、南(S)、東(E)、西(W)のピクセル位置の座標値を撮影方位に関する情報としてもうようにしてもよい。
全天球のパノラマ画像を得るためには、カメラ200の仰角を変えて撮影する必要がある。たとえば、カメラ200の画角が60°であるとすると、原理的にはカメラ200を上下に±60°チルトさせた上で、パン角を−180°〜180°の範囲で変えながら同様の撮影を行えば、全天球のパノラマ画像を得ることができる。
図6(a)〜(c)は、カメラ200の仰角φ=60°の場合に撮影されるパノラマ画像を説明する図である。図6(a)の上面図に示すように、初期位置においてカメラ200は方位角θの方向220を向いており、図6(b)の側面図に示すように、カメラ200の仰角φ=60°である。仰角φ=60°に保ちながら、基準方向220に対してカメラ200のパン角を−180°から+180°の範囲で変化させながら、図6(c)に示すような、仰角φ=60°におけるパノラマ画像302を撮影する。
同様にして、カメラ200の仰角をφ=−60°に保ちながら、パン角を−180°から+180°の範囲で変化させながら、仰角φ=−60°におけるパノラマ画像を撮影する。仰角φ=0°、60°、−60°のパノラマ画像を組み合わせれば、全天球パノラマ画像が得られる。もっとも、実装上は、画角の境界部分で画像を貼り合わせる際にレンズの歪みから生じる不整合を補正するために、境界付近をだぶらせて撮影する方法を採ることが多い。
このようにして得られた全天球パノラマ画像には、方位角および仰角の情報が付与されており、その情報にもとづいてパノラマ画像の任意のピクセルについて方位と仰角を特定可能である。また、パノラマ画像には撮影場所の位置情報としてGPSにより測定された緯度・経度情報も付与される。パノラマ画像に付与すべき付加情報は、一例として、Exif(Exchangeable Image File Format)と呼ばれる画像ファイルの規格にしたがって記録してもよい。撮影場所の地名はファイル名の一部に記録し、撮影日時、撮影場所の緯度・経度、高度、方位角などをExif形式のデータとして記録することができる。仰角はExif形式では定義されていないが、拡張データとして記録する。
図7Aおよび図7Bは、複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。
図7Aの例では、カメラ200をチルト(またはパン)させながら撮影された7枚の画像341〜347を円筒にマッピングした後、つなぎ合わせて円筒状の画像340を作成する。画像をつなぎ合わせるとき、画像の境界付近をオーバーラップさせる。
図7Bに示すように、カメラ200をパン(またはチルト)させて撮影することで、図7Aで示した円筒状の画像がパン(またはチルト)方向に複数得られる。これらの円筒状の画像340a〜340fを画像の境界付近をオーバーラップさせて合成することで、全方位のパノラマ画像360が最終的に得られる。
図8は、パノラマ画像表示装置100によるパノラマ画像生成手順を説明するフローチャートである。図9(a)、(b)〜図11(a)、(b)を参照しながら、図8のパノラマ画像生成手順の各ステップを説明する。図8に示すフローチャートにおいては、各部の処理手順を、ステップを意味するS(Stepの頭文字)と数字との組み合わせによって表示する。また、Sと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Y(Yesの頭文字)を付加して、例えば、(S14のY)と表示し、逆にその判断結果が否定的であった場合は、N(Noの頭文字)を付加して、(S14のN)と表示する。
露出の異なる複数のLDR画像集合を入力する(S10)。各LDR画像集合は、パン角およびチルト角の少なくとも一方の異なる複数の低ダイナミックレンジの分割画像を含む。
HDR合成部20は、分割画像が撮影されたパン角およびチルト角の組み合わせのそれぞれについて、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を生成する(S12)。ハイダイナミックレンジ合成には、公知の技術を用いる。露出の異なる複数枚のLDR画像から明らかに黒つぶれや白とびのあるセグメントを除いた領域を選択して合成することですべての領域にわたって黒つぶれや白とびのないHDR画像を生成する。
出力画像フォーマットがLDRパノラマ画像である場合(S14のY)、ステップS16のトーンマッピング処理を実行する。トーンマッピング部21は、HDR合成部20が生成した高ダイナミックレンジの分割画像に対してトーンマッピング処理を施してダイナミックレンジを圧縮することで、ダイナミックレンジ圧縮された分割画像に変換する。トーンマッピング処理の手法として、たとえば、画像全体のコントラストを下げる方法や、人間の視覚特性を模倣して非線形に変換する方法がある。ステップS16のトーンマッピング処理が終わると、ステップS18に進む。
出力画像フォーマットがHDRパノラマ画像である場合(S14のN)、ステップS16のトーンマッピング処理をスキップし、ステップS18に進む。
コントロールポイント検出部22は、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像/高ダイナミックレンジの分割画像の内、隣接する分割画像の間で特徴点を抽出することにより、隣接する分割画像を対応付けるためのコントロールポイントを検出する(S18)。
図9(a),(b)は、2つの隣接する分割画像401、402間で検出されたコントロールポイントを示す図である。ここでは、9個のコントロールポイントが検出されている。
パノラマ画像合成部23は、検出されたコントロールポイントにもとづいて隣接するダイナミックレンジ圧縮された分割画像/高ダイナミックレンジの分割画像のアライメントを調整して合成することにより、LDR/HDRのパノラマ画像を生成する(S20)。
図10は、2つの隣接する分割画像401、402をコントロールポイントにもとづいてアライメントして合成する様子を示す図である。隣接する分割画像401、402の重複領域において、両画像のコントロールポイント(同図で丸印で示した)ができるだけ合うように、一方の分割画像401に対して他方の分割画像402を回転させて合成する。
画像符号化部25は、パノラマ画像合成部23により合成されたLDR/HDRのパノラマ画像を符号化する(S22)。このとき、パノラマ画像の左端には右端の領域の一部を付加し、右端には左端の領域の一部を付加した拡張パノラマ画像に対して、圧縮符号化することで、ブロックノイズを軽減する。パノラマ画像が動画像である場合、画像符号化部25は、拡張パノラマ画像に対してマクロブロック単位で動き補償予測して圧縮符号化することで、パノラマ画像の両端の境界線をまたいだ動きがある場合でも、ブロックノイズを抑えた動き補償予測ができる。
図11(a)、(b)は、パノラマ画像の両端を重複させた拡張パノラマ画像を説明する図である。図11(a)は、カメラを360度パンさせて撮影されたパノラマ画像500である。パノラマ画像500が動画像である場合、マクロブロック単位で動きベクトルにより周辺領域の画素を参照して予測符号化されるが、パノラマ画像500の右端/左端はそれよりも右側/左側に周辺画素がないため、ブロックノイズが生じる。そのため、パノラマ画像500を全天球に貼り付けたとき、動画再生中につなぎ目に不自然な境界線が現れる。
そこで、パノラマ画像500の右端領域502、左端領域504をそれぞれパノラマ画像500の左端、右端にコピーしてパノラマ画像500を拡張する。図11(b)は、拡張パノラマ画像510である。右端領域502、左端領域504がそれぞれパン角20度分の領域である場合、拡張パノラマ画像510は、パン角が400度まで拡張された形になる。この拡張パノラマ画像510に対して、マクロブロック単位で動き補償予測符号化すれば、パノラマ画像500の右端および左端で発生するブロックノイズを最小化することができる。
図11(b)の拡張パノラマ画像510に対して動き補償予測符号化が終われば、コピーした右端領域502、左端領域504は削除して、図11(a)のパノラマ画像500に戻す。その後、パノラマ画像500を全天球に貼り付けても、つなぎ目はブロックノイズが最小化されているため、動画再生中でもつなぎ目に境界線は現れなくなる。
次に、図12〜図14を参照して、パン角またはチルト角の異なる複数のLDR分割画像からHDR/LDRパノラマ画像を生成する本実施の形態の手法の利点について詳しく説明する。
図12は、比較のために、LDR分割画像からHDRパノラマ画像を生成する従来手法を説明する図である。
ここでは、パン角またはチルト角の異なる複数のLDR分割画像の集合が露出を変えて3種類用意されている。LDR分割画像集合411、412、413は、それぞれ露出値がEV1、EV2、EV3であり、この順で露出値が低くなる。各LDR分割画像集合411、412、413には、パン角またはチルト角の異なる6枚のLDR分割画像が含まれる。たとえば、パン角を3段階(p1、p2、p3)に変え、チルト角を2段階(t1,t2)に変えて、6枚の分割画像を撮影した場合である。
ここでは、説明の便宜上、露出値を3段階だけ設けたが、実装上は、露出段数Nは、8段階程度以上にする必要がある。また、パン方向の撮影枚数PはP=360/(水平画角×0.8)で与えられ、チルト方向の撮影枚数TはT=180/(垂直画角×0.8)で与えられる。チルト方向には、これ以外に天頂、真下に1枚ずつ撮影することもある。係数0.8を掛けるのは、隣接する分割画像に重複領域をもたせるためである。分割画像の総撮影枚数MはN×P×Tで与えられる。
従来手法では、露出値EV1のLDR分割画像集合411を合成してLDRパノラマ画像421を生成する。同様に、露出値EV2、EV3のLDR分割画像集合412、413を合成してLDRパノラマ画像422、423を生成する。分割画像を合成してパノラマ画像を生成する際、隣接する分割画像の重複領域でコントロールポイントを検出して、マッチングを取る。
このとき、ある露出値のもとで撮影されたLDR分割画像集合内で、一部の分割画像は露出が適正でないために、白とびや黒つぶれが生じている可能性がある。パン角またはチルト角を変えて撮影した分割画像の中には、強い光が写っている部分や極端に暗くなっている部分があるためである。白とびや黒つぶれが生じている分割画像に対しては特徴点抽出が困難になるため、コントロールポイントが設定できないか、設定できてもコントロールポイントの設定場所が偏っていたり、コントロールポイントの数が少なくなる。そのため、隣接する分割画像をうまくつなげることができず、生成されたパノラマ画像は合成の精度が悪く、きれいなものにはならない。
次に、露出値EV1のLDRパノラマ画像421、露出値EV2のLDRパノラマ画像422、露出値EV3のLDRパノラマ画像423をハイダイナミックレンジ合成することで、HDRパノラマ画像430を生成する。しかし、LDRパノラマ画像421、422、423の中には、上述のように白とびや黒つぶれのために合成の精度が悪いものが混ざっている可能性があり、最終的に生成されるHDRパノラマ画像430の精度も悪くなることがある。
図13は、LDR分割画像からHDRパノラマ画像を生成する本実施の形態の手法を説明する図である。
本実施の形態では、露出値の異なるLDR分割画像の集合に対してハイダイナミックレンジ合成を施して、まずHDR分割画像の集合を生成した後、パノラマ画像に合成することでHDRパノラマ画像を生成する。
露出値EV1、EV2、EV3のLDR分割画像集合411、412、413をハイダイナミックレンジ合成することで、HDR分割画像集合440を生成する。HDR分割画像集合440には、パン角またはチルト角の異なる6枚のHDR分割画像が含まれる。次に、HDR分割画像集合440を合成してHDRパノラマ画像450を生成する。
この方法によれば、たとえば、パン角p1、チルト角t1のLDR分割画像についてみれば、3つの露出値EV1、EV2、EV3のLDR分割画像をハイダイナミックレンジ合成することにより、パン角p1、チルト角t1のHDR分割画像を生成している。そのため、HDR分割画像を生成する時点で、LDR分割画像に発生した白とびや黒つぶれの問題を解消することができる。HDR分割画像集合440を合成してHDRパノラマ画像450を生成する際、6枚のHDR分割画像には白とびや黒つぶれがないため、隣接する分割画像の重複領域から確実に特徴点を抽出して、高い精度でコントロールポイントを検出することができ、合成されるHDRパノラマ画像450はきれいなものになる。
図14は、LDR分割画像からLDRパノラマ画像を生成する本実施の形態の手法を説明する図である。図13と異なるのは、露出値EV1、EV2、EV3のLDR分割画像集合411、412、413をハイダイナミックレンジ合成して得られたHDR分割画像集合440に対してトーンマッピング処理を施して、LDR分割画像集合460に変換した上で、LDRパノラマ画像470に合成する点である。この場合も、HDR分割画像集合440を生成する段階で、白とびや黒つぶれの問題がなくなっているため、その後、ダイナミックレンジを下げたLDR分割画像集合460を合成するときに、コントロールポイントが検出できないという問題は発生しない。
このように、図12の従来手法に比べて、図13および図14の本実施の形態の手法では、上述のように合成されるパノラマ画像の精度が著しく改善する。本実施の形態のパノラマ画像生成方法には、処理効率その他の面でも利点がある。
従来手法では、各露出値のLDR分割画像集合に対して、コントロールポイントの検出処理を行ってLDRパノラマ画像を生成するため、処理時間がかかる。それに対して、本実施の形態の手法では、あらかじめHDR分割画像集合を生成してから、コントロールポイントの検出処理を行ってHDRパノラマ画像を生成するため、露出段数をNとすると、従来手法に比べて処理時間は1/Nに削減される。
また、従来手法では、各露出値において複数のLDR分割画像からLDRパノラマ画像を生成するため、総撮影枚数M=露出段数N×パン段数P×チルト段数Tの撮影が必要であり、撮影時間がかかる。さらに、撮影時間が長くなるため、被写体が動いた場合、異なる露出値のLDRパノラマ画像間で被写体の位置がずれてしまい、HDRパノラマ画像に合成したときに被写体がぶれたような画像が生成される。
それに対して、本実施の形態の手法では、白とび、黒つぶれしてしまうような露出値の画像は必要ではないので、その露出値での撮影を省いても、十分な精度のHDR分割画像を生成することができる。全天球をスキャンして各撮影方向における適切な露出値をあらかじめ測定したり、光の方向などにもとづいて各撮影方向における適切な露出値を決定して撮影すればよく、すべての露出値について撮影する必要はない。そのため、撮影時間を短縮し、また、HDR合成の処理時間も短縮することができる。
さらに、本実施の形態の手法では、撮影時間を短縮できるため、高速に移動する鳥や飛行機などの物体が写り込む可能性を減らすことができる。仮にそのような移動物体が写り込んだLDR分割画像があったとしても、その画像は削除しても、他の露出値で同じ領域を撮影したLDR分割画像があるため、十分な精度でHDR分割画像を生成することができる。
以上述べたように、本実施の形態のパノラマ画像表示装置によれば、LDR分割画像から高い精度で効率良くHDR/LDRパノラマ画像を生成することができる。低ダイナミックレンジでパノラマ画像を撮影すると、正面が明るくても、背面が暗い場合には、全方位で適切な露出で撮影できないので、きれいなパノラマ画像を得ることはできなかった。本実施の形態のパノラマ画像生成手法によれば、露出を変えて撮影されたLDR分割画像からいったんHDR分割画像を生成してから、パノラマ画像に合成するため、全方位に対して露出値が適正に調整されたきれいなパノラマ画像を得ることができる。
LDR分割画像に生じた白とびや黒つぶれの問題がハイダイナミックレンジ処理で解決するため、HDR分割画像からパノラマ画像を合成するときにも精度良く合成することができる。また、白とびや黒つぶれするような露出値での撮影は行わないことで、撮影時間を大幅に短縮することができる。さらに、予期しない高速移動物体が写り込んだLDR分割画像があってもその画像は削除してHDR分割画像を生成できるので、ノイズにも強い。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
上記の説明では、パノラマ画像を球面などの3次元パノラマ空間にマッピングし、指定された視線方向から3次元パノラマ空間を見た場合の3次元パノラマ画像を画面に表示したが、パノラマ画像を単に2次元表示するだけでもよい。この場合、マッピング処理部14および3次元画像生成部16の構成は不要であり、パノラマ画像表示装置100を簡素化できる。
パノラマ画像は図3のような全方位撮影システムで撮影されたものに限らず、魚眼レンズを用いて撮影された画像や、撮影方向を変えながら通常のデジタルカメラで撮影された複数の画像を合成した画像であってもよい。
パノラマ画像表示装置100の機能構成の内、主にHDR合成、トーンマッピング処理、コントロールポイント検出、パノラマ画像合成、画像符号化の処理に係る構成をサーバに実装し、主にパノラマ画像を復号して再生する処理に係る構成をクライアントに実装することで、パノラマ画像表示装置100を、ネットワークを介したサーバ−クライアントシステムとして実現することもできる。サーバが、LDR分割画像からHDR/LDRパノラマ画像を生成して符号化し、クライアントが、サーバからパノラマ画像の符号化ストリームを受信し、復号して表示してもよい。
10 パノラマ画像取得部、 12 画像復号部、 14 マッピング処理部、 16 3次元画像生成部、 18 表示制御部、 20 HDR合成部、 21 トーンマッピング部、 22 コントロールポイント検出部、 23 パノラマ画像合成部、 24 パノラマ画像・付加データ記憶部、 25 画像符号化部、 26 LDR画像データ記憶部26、 30 視点位置設定部、 31 画角設定部、 32 視線方向設定部、 34 高度設定部、 36 日時設定部、 40 ユーザインタフェース部、 100 パノラマ画像表示装置、 200 カメラ。

Claims (7)

  1. パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶部と、
    露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成するハイダイナミックレンジ合成部と、
    隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成するパノラマ画像合成部とを含むことを特徴とするパノラマ画像生成装置。
  2. パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像の内、隣接する分割画像の間で特徴点を抽出することにより、隣接する高ダイナミックレンジの分割画像を対応付けるためのコントロールポイントを検出する検出部をさらに含み、
    前記パノラマ画像合成部は、前記コントロールポイントにもとづいて隣接する高ダイナミックレンジの分割画像のアライメントを調整して合成することにより、高ダイナミックレンジのパノラマ画像を生成することを特徴とする請求項1に記載のパノラマ画像生成装置。
  3. パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像のダイナミックレンジをトーンマッピングにより圧縮することにより、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像を生成するトーンマッピング部をさらに含み、
    低ダイナミックレンジのパノラマ画像を生成する場合は、前記パノラマ画像合成部は、前記トーンマッピング部により生成された、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像の内、隣接する分割画像をつなぎ合わせて、低ダイナミックレンジのパノラマ画像を生成することを特徴とする請求項1または2に記載のパノラマ画像生成装置。
  4. 前記パノラマ画像が動画像である場合、前記パノラマ画像合成部により生成されたパノラマ画像の左端には右端の領域の一部を付加し、右端には左端の領域の一部を付加した拡張パノラマ画像に対して、動き補償による画像圧縮符号化を行う画像符号化部をさらに含むことを特徴とする請求項1から3のいずれかに記載のパノラマ画像生成装置。
  5. パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶デバイスからプロセッサが複数の低ダイナミックレンジ画像集合を読み出すステップと、
    プロセッサが、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成するステップと、
    プロセッサが、隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成するステップとを含むことを特徴とするパノラマ画像生成方法。
  6. パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶デバイスから複数の低ダイナミックレンジ画像集合を読み出す機能と、
    露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成する機能と、
    パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像のダイナミックレンジをトーンマッピングにより圧縮することにより、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像を生成する機能と、
    高ダイナミックレンジのパノラマ画像を生成する場合は、隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成し、低ダイナミックレンジのパノラマ画像を生成する場合は、トーンマッピングにより生成された、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像の内、隣接する分割画像をつなぎ合わせて、低ダイナミックレンジのパノラマ画像を生成する機能とをコンピュータに実現させることを特徴とするプログラム。
  7. 請求項6のプログラムを格納したことを特徴とする記録媒体。
JP2010225366A 2010-10-05 2010-10-05 パノラマ画像生成装置およびパノラマ画像生成方法 Active JP5409577B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010225366A JP5409577B2 (ja) 2010-10-05 2010-10-05 パノラマ画像生成装置およびパノラマ画像生成方法
PCT/JP2011/004326 WO2012046372A1 (ja) 2010-10-05 2011-07-29 画像生成装置および画像生成方法
EP11830311.4A EP2627071A4 (en) 2010-10-05 2011-07-29 IMAGE GENERATING DEVICE AND IMAGE GENERATING METHOD
CN201180047991.3A CN103141079B (zh) 2010-10-05 2011-07-29 图像生成装置及图像生成方法
US13/796,038 US8908055B2 (en) 2010-10-05 2013-03-12 Apparatus and method for generating high-dynamic-range (HDR) images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010225366A JP5409577B2 (ja) 2010-10-05 2010-10-05 パノラマ画像生成装置およびパノラマ画像生成方法

Publications (2)

Publication Number Publication Date
JP2012080432A true JP2012080432A (ja) 2012-04-19
JP5409577B2 JP5409577B2 (ja) 2014-02-05

Family

ID=45927382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010225366A Active JP5409577B2 (ja) 2010-10-05 2010-10-05 パノラマ画像生成装置およびパノラマ画像生成方法

Country Status (5)

Country Link
US (1) US8908055B2 (ja)
EP (1) EP2627071A4 (ja)
JP (1) JP5409577B2 (ja)
CN (1) CN103141079B (ja)
WO (1) WO2012046372A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012213105A (ja) * 2011-03-31 2012-11-01 Casio Comput Co Ltd 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
JP2013175826A (ja) * 2012-02-23 2013-09-05 Canon Inc 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN104335569A (zh) * 2012-06-11 2015-02-04 索尼电脑娱乐公司 图像生成设备以及图像生成方法
JP2015233232A (ja) * 2014-06-10 2015-12-24 オリンパス株式会社 画像取得装置
JP2016015705A (ja) * 2014-06-10 2016-01-28 日本電信電話株式会社 映像配信装置及び映像再生装置
WO2016185556A1 (ja) * 2015-05-19 2016-11-24 三菱電機株式会社 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム
JP2017058752A (ja) * 2015-09-14 2017-03-23 富士通株式会社 作業支援方法、作業支援プログラム、及び作業支援システム
JPWO2016199607A1 (ja) * 2015-06-12 2018-03-29 ソニー株式会社 情報処理装置および情報処理方法
JP2019145918A (ja) * 2018-02-16 2019-08-29 キヤノン株式会社 撮像装置、表示制御装置及び表示制御装置の制御方法
JP2020017860A (ja) * 2018-07-25 2020-01-30 キヤノン株式会社 撮像装置、撮像方法およびプログラム
US10742896B2 (en) 2018-05-17 2020-08-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium for panoramic image composition
US10887515B2 (en) 2018-03-07 2021-01-05 Canon Kabushiki Kaisha Image capturing apparatus, image capturing method, and storage medium to generate a panoramic image having a high dynamic range

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5406813B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
US9426430B2 (en) 2012-03-22 2016-08-23 Bounce Imaging, Inc. Remote surveillance sensor apparatus
CN103546673B (zh) * 2012-07-09 2018-02-27 联想(北京)有限公司 在运动场景下生成高动态图像的方法及装置
US9479697B2 (en) * 2012-10-23 2016-10-25 Bounce Imaging, Inc. Systems, methods and media for generating a panoramic view
DE102013212495A1 (de) 2013-06-27 2014-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur Inspektion einer konturierten Fläche,insbesondere des Unterbodens eines Kraftfahrzeugs
CN103973989B (zh) * 2014-04-15 2017-04-05 北京理工大学 获取高动态图像的方法及系统
DE102014207315A1 (de) * 2014-04-16 2015-10-22 Spheronvr Ag Kameraanordnung
US9344638B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Constant bracket high dynamic range (cHDR) operations
US9380218B2 (en) 2014-05-30 2016-06-28 Apple Inc. Highlight exposure metric and its applications
JP2016001809A (ja) * 2014-06-11 2016-01-07 ソニー株式会社 撮像装置、及び、撮像方法
CN107005720B (zh) * 2014-08-08 2020-03-06 皇家飞利浦有限公司 用于编码hdr图像的方法和装置
CN105469375B (zh) * 2014-08-28 2021-09-07 北京三星通信技术研究有限公司 处理高动态范围全景图的方法和装置
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
EP3040835B1 (en) * 2014-12-31 2021-12-01 Nokia Technologies Oy Image navigation
CN104657963A (zh) * 2015-02-03 2015-05-27 长春理工大学 一种高动态范围全景图像的生成方法
CN105282428B (zh) * 2015-05-28 2019-03-01 维沃移动通信有限公司 一种移动终端拍摄的方法及移动终端
BR112018001247A2 (ja) * 2015-09-01 2018-07-24 Nec Corporation An electric power amplifying device and a television signal transmitting system
US10062152B2 (en) 2016-07-27 2018-08-28 Sharp Laboratories Of America, Inc. System for conversion of low dynamic range images to high dynamic range images
CN106210554B (zh) * 2016-07-29 2019-01-25 长春理工大学 一种合成高动态范围图像的方法
JP2018026706A (ja) * 2016-08-10 2018-02-15 パナソニックIpマネジメント株式会社 画像処理装置、画像表示装置、画像処理システム、及び画像処理方法
JP6922215B2 (ja) * 2016-12-27 2021-08-18 富士通株式会社 動画像符号化装置
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
WO2018190649A1 (en) * 2017-04-12 2018-10-18 Samsung Electronics Co., Ltd. Method and apparatus for generating hdr images
CN107277387B (zh) * 2017-07-26 2019-11-05 维沃移动通信有限公司 高动态范围图像拍摄方法、终端及计算机可读存储介质
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN107454330B (zh) * 2017-08-24 2019-01-22 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
US10713811B2 (en) * 2017-09-29 2020-07-14 Sensormatic Electronics, LLC Security camera system with multi-directional mount and method of operation
JP7135299B2 (ja) * 2017-10-27 2022-09-13 株式会社リコー 画像処理装置、表示装置、画像処理方法、プログラム
WO2019118319A1 (en) * 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
JP7246855B2 (ja) 2018-02-16 2023-03-28 キヤノン株式会社 撮像装置、記録装置及び表示制御装置
US10764496B2 (en) * 2018-03-16 2020-09-01 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
JP6980913B2 (ja) * 2018-06-11 2021-12-15 株式会社ソニー・インタラクティブエンタテインメント 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
DE102019206581A1 (de) * 2019-05-08 2020-11-12 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
JP7137544B2 (ja) * 2019-09-26 2022-09-14 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
CN111083390B (zh) * 2019-12-27 2021-07-06 维沃移动通信有限公司 一种图像处理方法及电子设备
US11900521B2 (en) 2020-08-17 2024-02-13 LiquidView Corp Virtual window apparatus and system
US11606498B1 (en) * 2020-09-22 2023-03-14 Apple Inc. Exposure of panoramas
CN112945205B (zh) * 2021-01-27 2022-09-23 西北核技术研究所 一种超快多幅二维图像探测方法及装置
KR20220128800A (ko) * 2021-03-15 2022-09-22 에스케이하이닉스 주식회사 파노라마 이미지 생성 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165004A (ja) * 1997-08-12 1999-03-05 Sony Corp パノラマ撮像システム
JP2000347650A (ja) * 1999-06-07 2000-12-15 Matsushita Joho System Kk 画像表示装置及び方法
JP2009033224A (ja) * 2007-07-24 2009-02-12 Nippon Hoso Kyokai <Nhk> 合成画像生成装置および合成画像生成プログラム
JP2010074535A (ja) * 2008-09-18 2010-04-02 Fujifilm Corp 撮影装置及び撮影方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100565A1 (en) * 2002-11-22 2004-05-27 Eastman Kodak Company Method and system for generating images used in extended range panorama composition
US7239805B2 (en) * 2005-02-01 2007-07-03 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
JP4377932B2 (ja) * 2007-07-26 2009-12-02 株式会社モルフォ パノラマ画像生成装置およびプログラム
US8340453B1 (en) * 2008-08-29 2012-12-25 Adobe Systems Incorporated Metadata-driven method and apparatus for constraining solution space in image processing techniques
JP5445235B2 (ja) * 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165004A (ja) * 1997-08-12 1999-03-05 Sony Corp パノラマ撮像システム
JP2000347650A (ja) * 1999-06-07 2000-12-15 Matsushita Joho System Kk 画像表示装置及び方法
JP2009033224A (ja) * 2007-07-24 2009-02-12 Nippon Hoso Kyokai <Nhk> 合成画像生成装置および合成画像生成プログラム
JP2010074535A (ja) * 2008-09-18 2010-04-02 Fujifilm Corp 撮影装置及び撮影方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9258453B2 (en) 2011-03-31 2016-02-09 Casio Computer Co., Ltd. Image capturing apparatus for enabling generation of data of panoramic image with wide dynamic range
JP2012213105A (ja) * 2011-03-31 2012-11-01 Casio Comput Co Ltd 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
JP2013175826A (ja) * 2012-02-23 2013-09-05 Canon Inc 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US9979884B2 (en) 2012-06-11 2018-05-22 Sony Interactive Entertainment Inc. Image capturing device, and image capturing method
CN104335569A (zh) * 2012-06-11 2015-02-04 索尼电脑娱乐公司 图像生成设备以及图像生成方法
CN104335569B (zh) * 2012-06-11 2017-08-25 索尼电脑娱乐公司 图像生成设备以及图像生成方法
JP2015233232A (ja) * 2014-06-10 2015-12-24 オリンパス株式会社 画像取得装置
JP2016015705A (ja) * 2014-06-10 2016-01-28 日本電信電話株式会社 映像配信装置及び映像再生装置
US10067327B2 (en) 2014-06-10 2018-09-04 Olympus Corporation Image acquisition apparatus
WO2016185556A1 (ja) * 2015-05-19 2016-11-24 三菱電機株式会社 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム
JPWO2016185556A1 (ja) * 2015-05-19 2017-06-01 三菱電機株式会社 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム
JPWO2016199607A1 (ja) * 2015-06-12 2018-03-29 ソニー株式会社 情報処理装置および情報処理方法
US10757463B2 (en) 2015-06-12 2020-08-25 Sony Corporation Information processing apparatus and information processing method
JP2017058752A (ja) * 2015-09-14 2017-03-23 富士通株式会社 作業支援方法、作業支援プログラム、及び作業支援システム
JP2019145918A (ja) * 2018-02-16 2019-08-29 キヤノン株式会社 撮像装置、表示制御装置及び表示制御装置の制御方法
JP7146407B2 (ja) 2018-02-16 2022-10-04 キヤノン株式会社 撮像装置、表示制御装置及び表示制御装置の制御方法
US10887515B2 (en) 2018-03-07 2021-01-05 Canon Kabushiki Kaisha Image capturing apparatus, image capturing method, and storage medium to generate a panoramic image having a high dynamic range
US10742896B2 (en) 2018-05-17 2020-08-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium for panoramic image composition
JP2020017860A (ja) * 2018-07-25 2020-01-30 キヤノン株式会社 撮像装置、撮像方法およびプログラム
JP7086774B2 (ja) 2018-07-25 2022-06-20 キヤノン株式会社 撮像装置、撮像方法およびプログラム

Also Published As

Publication number Publication date
CN103141079A (zh) 2013-06-05
CN103141079B (zh) 2016-05-04
US20130229546A1 (en) 2013-09-05
EP2627071A1 (en) 2013-08-14
EP2627071A4 (en) 2014-05-21
US8908055B2 (en) 2014-12-09
JP5409577B2 (ja) 2014-02-05
WO2012046372A1 (ja) 2012-04-12

Similar Documents

Publication Publication Date Title
JP5409577B2 (ja) パノラマ画像生成装置およびパノラマ画像生成方法
JP5406813B2 (ja) パノラマ画像表示装置およびパノラマ画像表示方法
JP5464955B2 (ja) パノラマ画像表示装置
JP5250598B2 (ja) 画像表示装置および画像表示方法
CN105144229B (zh) 图像处理装置、图像处理方法和程序
JP2018110375A (ja) 表示装置、プログラム、表示方法
JP2019145059A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2004266670A (ja) 撮像装置及び方法、画像情報提供システム並びにプログラム
JP5701967B2 (ja) 画像表示装置および画像表示方法
CN116761009A (zh) 元宇宙全景直播场景下的视频播放方法、装置及直播系统
JP2005175620A (ja) 画像処理方法及び装置
JP5646033B2 (ja) 画像表示装置および画像表示方法
JP7447403B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6122991B2 (ja) 画像表示装置および画像表示方法
JP5920857B2 (ja) 画像表示装置および画像表示方法
JP7352672B2 (ja) 撮像表示方法
Kunkel et al. A web-based virtual museum application
JP2024017224A (ja) 情報処理装置、入出力装置、情報処理システム、情報処理方法、入出力方法、およびプログラム
JP2021048462A (ja) 情報処理方法、情報処理装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131105

R150 Certificate of patent or registration of utility model

Ref document number: 5409577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250