JP2016126209A - 画像表示装置、画像表示方法、およびプログラム - Google Patents

Abstract

【課題】画質を保ちつつ、パノラマ画像の読込・表示に必要な処理時間を軽減させる画像表示装置を提供する。【解決手段】画像表示装置１は、パノラマ画像を予め複数の画像に分割した分割画像の中から設定された表示範囲に基づいて読込む対象とすべき必要最低限の画像を決定し、画像を読込み、そして、読込んだ画像から表示範囲を含む画像を生成した後、表示範囲となる必要な領域を切り出して表示し、パノラマ画像の読込・表示に必要な処理時間を大幅に軽減させる。【選択図】図１

Description

本発明は、パノラマ画像の処理技術に関する。特に、パノラマ画像の読込・表示処理に関するものである。

近年、全方位カメラなどにより撮影したパノラマ画像を動画のように連続的に表示するシステムが多く開発されている。通常、パノラマ画像から所望の表示範囲を表示する場合、入力画像となる全方位画像を読み込み、クリッピングすることで表示範囲に相当する画像を生成する方法が一般的である（例えば、特許文献１など）。

しかしながら、パノラマ画像は一般的にフルＨＤ以上の解像度を持つため、生成した画像をリアルタイムに表示するためには、パノラマ画像全体の解像度を落としたり、圧縮率を上げる必要がある。しかしながら、これらの手法は画像の画質低下を引き起こす。

特許４３２１０２８号公報

本発明は、前述した問題点に鑑みてなされたものであり、その目的とするところは、画質を低下させずに、パノラマ画像の読込・表示に必要な処理時間を軽減させる画像表示装置等を提供することにある。

前述した目的を達成するための第１の発明は、パノラマ画像を分割した分割画像を記憶する記憶手段と、前記パノラマ画像の表示範囲を設定する設定手段と、前記表示範囲を含む前記分割画像を前記記憶手段から読込む読込手段と、読込んだ前記分割画像から結合画像を生成する生成手段と、生成した結合画像に基づいて画像を表示する表示手段と、を備えることを特徴とする画像表示装置である。
第１の発明によれば、パノラマ画像を予め複数の画像に分割した分割画像（画像群）の中から設定された表示範囲に基づいて、読込む対象とすべき必要最低限の分割画像を読込み、読込んだ分割画像を結合し、表示範囲を含む画像を生成し表示する。これにより、画質を低下させずに、パノラマ画像の読込・表示に必要な処理時間を軽減させることができる。

前記表示手段は、前記結合画像から前記表示範囲を切り出して表示することが望ましい。これによって、表示範囲を含む結合画像を生成した後、表示範囲となる必要な領域を結合画像から切り出して表示することができる。

前記分割画像は、圧縮されたデータであり、前記生成手段は、読込んだ前記分割画像をデコードし、デコードした前記分割画像から結合画像を生成することが望ましい。これによって、分割画像が圧縮（コード化）されたデータであっても、第１の発明を適用することができる。

前述した目的を達成するための第２の発明は、パノラマ画像を分割した複数の画像を記憶した記憶手段を備える、画像表示装置による画像表示方法であって、前記パノラマ画像の表示範囲を設定するステップと、前記表示範囲を含む前記分割画像を前記記憶手段から読込むステップと、読込んだ前記分割画像から結合画像を生成するステップと、生成した結合画像に基づいて画像を表示するステップと、を含むことを特徴とする画像表示方法である。
第２の発明によれば、画質を低下させずに、パノラマ画像の読込・表示に必要な処理時間を軽減させることができる。

前述した目的を達成するための第３の発明は、コンピュータを、パノラマ画像を分割した分割画像を記憶する記憶手段、前記パノラマ画像の表示範囲を設定する設定手段、前記表示範囲を含む前記分割画像を前記記憶手段から読込む読込手段、読込んだ前記分割画像から結合画像を生成する生成手段、生成した結合画像に基づいて画像を表示する表示手段、として機能させることを特徴とするプログラムである。
第３の発明のプログラムを汎用のコンピュータにインストールすることによって、第１の発明の画像表示装置を得ることができる。

本発明の画像表示装置等により、画質を低下させずに、パノラマ画像の読込・表示に必要な処理時間を軽減させることができる。

画像表示装置１のハードウェア構成の例を示す図 分割画像３０の時系列データを表す図 １フレームの分割画像３０の例を示す図 画像表示装置１の動作を説明するフローチャート 表示範囲４０の例を示す図 表示範囲４０に基づいて読込む分割画像３０を特定する例を示す図 読込んだ分割画像３０を結合した結合画像５０を表す図 結合画像５０から表示範囲４０を切り出した表示画像６０を表す図 分割画像の画像ＩＤを特定する例を示す図

以下図面に基づいて、本発明の実施形態を詳細に説明する。

＜画像表示装置１のハードウェア構成＞
図１は、画像表示装置１のハードウェア構成図である。なお、図１のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能であり、デスクトップＰＣ（Personal Computer）、ノートＰＣ、タブレットＰＣ、スマートフォン等のいずれであっても良い。

図１に示すように、画像表示装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記憶媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、画像表示装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、揮発性メモリであり、ロードしたプログラムや、データ等を一時的に保持すると共に、制御部１１が各処理を行うために使用するワークエリアを備える。

記憶部１２は、ＨＤＤ（Hard Disk Drive）等であり、制御部１１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納されている。これらのプログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。

メディア入出力部１３は、例えば、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピー（登録商標）ディスクドライブ、等のメディア入出力装置であり、画像等のデータの入出力を行う。
通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他の装置間との通信制御を行う。

入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていても良い。

周辺機器Ｉ／Ｆ（Interface）部１７は、コンピュータと周辺機器とのデータ送受信を行うためのポートやアンテナ等であり、コンピュータは周辺機器Ｉ／Ｆ部１７を介して周辺機器とのデータの送受信を行う。周辺機器との接続形態は、有線（例えば、ＵＳＢ（Universal Serial Bus）等）、無線（例えば、Bluetooth（登録商標）等）を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

（分割画像３０）
画像表示装置１の記憶部１２には、撮影装置（全方位カメラ等）により撮影し取得した複数のパノラマ画像を、それぞれ所定数に分割した分割画像３０が記憶されている。ここで、分割画像３０は、圧縮（コード化）されたデータ（例えば、ＪＰＥＧ等）であってもよい。
図２は、記憶部１２に記憶される分割画像３０を表す概念図である。図２に示すように、フレームごとに分割画像３０（分割画像３０−１、３０−２、・・・、３０−Ｎ）が記憶される。

図３は、あるフレームのパノラマ画像２０に対する分割画像３０の例を表す図である。図３の場合、分割画像３０は、パノラマ画像２０を水平方向に４分割、垂直方向に４分割し、計１６個の画像に均等分割した画像データ（分割画像３０Ａ、３０Ｂ、３０Ｃ、・・・、３０Ｎ、３０Ｏ、３０Ｐ）である。

なお、図３の例に依らず、パノラマ画像２０の分割数は任意である。また、図３の例に依らず、分割画像３０は、パノラマ画像２０を不等分割した画像データであってもよい。また、パノラマ画像２０と分割画像３０のデータ形式の異同は問わない。また、分割画像３０の各画像データのデータ形式が異なっていてもよい。

＜画像表示装置１の動作＞
次に、図４〜図６を参照しながら、画像表示装置１の動作について説明をする。

図４は、本実施形態に係る画像表示装置１の表示処理を説明するフローチャートである。画像表示装置１は、図２のフレームごとに、表示処理を逐次実行していくことで、動画のようにパノラマ画像を連続的に表示することが可能である。ここでは、説明を簡単とするため、図３に例示した１フレームを対象として本処理を説明する。

まず、制御部１１は、パノラマ画像中の表示範囲４０を設定する（ステップＳ１）。表示範囲４０はパノラマ画像全体の任意の範囲で設定される。ここで、表示範囲４０は、制御部１１が自動で設定した表示範囲であってもよいし、入力部１５を介したユーザ操作（キーボード操作、マウス操作、タッチパネル操作等）により設定された表示範囲であってもよい。

図５は、設定された表示範囲４０の例である。図５のように、パノラマ画像全体の画像領域の中の所定の領域が表示範囲４０として設定される。
以降、ステップＳ１において、図５に示した表示範囲４０が設定されたものとする。

制御部１１は、ステップＳ１において設定された表示範囲４０に基づいて、記憶部１２からＲＡＭに読込む分割画像３０を特定する（ステップＳ２）。具体的には、制御部１１は、表示範囲４０の一部又は全部を画像領域として含む分割画像３０を特定する。

図６は、記憶部１２からＲＡＭに読込む分割画像３０を特定する例を概念的に説明する図である。図６の例では、制御部１１は、パノラマ画像を水平方向に４分割、垂直方向に４分割した各分割画像（図３を参照）のうち、表示範囲４０の一部を画像領域に含む分割画像３０Ｋ、３０Ｌ、３０Ｏ、３０Ｐを記憶部１２からＲＡＭに読込む画像データとして特定する。

次に、制御部１１は、ステップＳ２において特定した分割画像３０を記憶部１２からＲＡＭに読込み（ステップＳ３）、読込んだ分割画像３０を結合して結合画像５０を生成する（ステップＳ４）。ここで、分割画像３０が圧縮（コード化）されたデータである場合、制御部１１は、ＲＡＭに読込んだ分割画像３０をデコードし、デコードした分割画像３０を結合して結合画像５０を生成する。

なお、ステップＳ２において特定された分割画像３０が１つの場合（つまり、１つの分割画像３０の画像領域が表示範囲４０の全てを含む場合）、制御部１１は、結合処理を省略する。

図７は分割画像３０から結合画像５０を生成する例を示す図である。制御部１１は、分割画像３０（分割画像３０Ｋ、３０Ｌ、３０Ｏ、３０Ｐ）を記憶部１２からＲＡＭに読込み、１つの画像に結合した結合画像５０を生成する。

そして、制御部１１は、ステップＳ４において生成した結合画像５０から表示範囲４０の画像領域を切り出し、切り出した画像（表示画像６０）を表示する（ステップＳ５）。
図８は、結合画像５０から表示範囲４０の画像領域を切り出した表示画像６０を示す図である。制御部１１は、表示画像６０を表示部１６に表示する。

次に表示するフレームが存在する場合（ステップＳ６の「有」）、ステップＳ１へ戻り、制御部１１は、新たなフレームに対して同様の処理（ステップＳ１〜ステップＳ５）を繰り返し実行する。一方、次に表示するフレームが存在しない場合（ステップＳ６の「無」）、制御部１１は表示処理を終了する。

なお、記憶部１２からＲＡＭに読込む分割画像３０は、現フレームの分割画像３０だけでなく、現フレームの次に表示対象となる可能性が高い周辺フレーム（例えば、現フレームをｎ番目のフレームとした場合、次の時相のｎ＋１番目のフレームなど）の所定の表示範囲を含む分割画像を、現フレームの処理中（ステップＳ１〜Ｓ５）のいずれかのタイミングで、事前に読込むようにしてもよい。

この場合、所定の表示範囲は、現フレームの表示範囲と同一であってもよいし、過去に表示した表示範囲の推移に基づき、制御部１１により推定された表示範囲であってもよい。これにより、次に処理するフレームが当該周辺フレームとなる場合には、事前に読込んだ分割画像の読込処理を省略することができるため、リアルタイム性を一層向上させることができる。

以上、本実施形態によれば、パノラマ画像を予め複数の画像に分割した分割画像の中から設定された表示範囲に基づいて読込む対象とすべき必要最低限の画像を決定し、画像を読込む。そして、読込んだ画像から表示範囲を含む画像を生成した後、表示範囲となる必要な領域を切り出して表示する。これにより、パノラマ画像の読込・表示に必要な処理時間を大幅に軽減させることが可能となる。一方で、パノラマ画像全体を読込む必要がない分、各分割画像については、画質を落とさずに保存しておくことができる。このため、本発明によれば、画質を低下させることなく、読込・表示処理を高速化させることが可能となる。

（分割画像３０の特定について）
ステップＳ２において、記憶部１２からＲＡＭに読込む対象となる分割画像３０を特定する処理について補足をしておく。本実施形態では、制御部１１が、表示範囲４０の頂点の座標から、頂点を含む分割画像３０の画像ＩＤを特定し、当該画像ＩＤに基づいて表示範囲４０を含む全ての分割画像３０の画像ＩＤを自動で特定する。これにより、高速に読込み対象となる分割画像３０を特定することができる。

図９（ａ）は、各分割画像３０に割り当てられる画像ＩＤの例を示す図である。図９（ａ）は、水平方向の画角をθ、垂直方向の画角をφとしたパノラマ画像を水平方向にＭ分割、垂直方向にＮ分割した各分割画像３０に割り当てられる画像ＩＤを示す。例えば、画像左上の分割画像の画像ＩＤを“０”とし、Ｘ方向（パノラマ画像の水平方向）に連番で画像ＩＤを付番していく。右端まで到達すると、Ｙ方向（パノラマ画像の垂直方向）に一段下へ移行し左端から同じように画像ＩＤを付番していく。このように各分割画像の並び順に従って画像ＩＤを付番し、画像ＩＤと分割画像３０が紐づくように記憶部１２に記憶しておく。なお、画像ＩＤの付番の順序は、図９の例に依らず、種々選択できる。

図９（ｂ）は、ステップＳ１において設定される表示範囲４０の各頂点（Ｑ１、Ｑ２、Ｑ３、Ｑ４）の座標を示す図である。制御部１１は、各頂点（Ｑ１、Ｑ２、Ｑ３、Ｑ４）の座標を含む分割画像３０の画像ＩＤ（Ｎ１、Ｎ２、Ｎ３、Ｎ４）を、次のように特定する。
Ｎ１ ＝ （Ｘｍｉｎ×Ｍ）／θ ＋ Ｍ×（（Ｙｍｉｎ×Ｎ）／φ）
Ｎ２ ＝ （Ｘｍａｘ×Ｍ）／θ ＋ Ｍ×（（Ｙｍｉｎ×Ｎ）／φ）
Ｎ３ ＝ （Ｘｍｉｎ×Ｍ）／θ ＋ Ｍ×（（Ｙｍａｘ×Ｎ）／φ）
Ｎ４ ＝ （Ｘｍａｘ×Ｍ）／θ ＋ Ｍ×（（Ｙｍａｘ×Ｎ）／φ）

ここで、“Ａ／Ｂ”の“／”は、ＡをＢで割った「商」を計算する演算オペレータである。そして、制御部１１は、Ｎ１〜Ｎ４で規定される表示範囲４０を含む全ての分割画像３０の画像ＩＤの集合を特定する。

図９（ｃ）は特定された画像ＩＤの集合を表す図である。図９（ｃ）に示すように、表示範囲４０の各頂点に対応する画像ＩＤ（Ｎ１〜Ｎ４）に基づいて、制御部１１は、画像ＩＤの集合{Ｎ１、・・・、Ｎ２}、{Ｎ１＋Ｍ、・・・、Ｎ２＋Ｍ}、・・・、{Ｎ３、Ｎ３＋１、・・・、Ｎ４−１、Ｎ４}を特定する。

以上のように、本実施形態では、制御部１１が、各分割画像３０に割り当てられた画像ＩＤによって表示範囲４０に対応する画像ＩＤの集合を特定することにより、読込み対象となる分割画像３０の検索（特定）を高速に実行している。なお、分割画像３０を高速に特定する観点から、上記したように画像ＩＤによって分割画像３０を特定するのが望ましいが、分割画像３０の特定方法は何れでもよい。すなわち、表示範囲４０の一部又は全部を画像領域として含む分割画像３０を特定できるような方法であれば手段は問わない。

以上、添付図面を参照しながら、本発明に係る画像表示装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………画像表示装置
２０………パノラマ画像
３０（３０Ａ〜３０Ｐ）………分割画像
４０………表示範囲
５０………結合画像
６０………表示画像

Claims (5)

1. パノラマ画像を分割した分割画像を記憶する記憶手段と、
   前記パノラマ画像の表示範囲を設定する設定手段と、
   前記表示範囲を含む前記分割画像を前記記憶手段から読込む読込手段と、
   読込んだ前記分割画像から結合画像を生成する生成手段と、
   生成した結合画像に基づいて画像を表示する表示手段と、
   を備えることを特徴とする画像表示装置。
2. 前記表示手段は、前記結合画像から前記表示範囲を切り出して表示することを特徴とする請求項１に記載の画像表示装置。
3. 前記分割画像は、圧縮されたデータであり、
   前記生成手段は、読込んだ前記分割画像をデコードし、デコードした前記分割画像から結合画像を生成することを特徴とする請求項１又は請求項２に記載の画像表示装置。
4. パノラマ画像を分割した複数の画像を記憶した記憶手段を備える、画像表示装置による画像表示方法であって、
   前記パノラマ画像の表示範囲を設定するステップと、
   前記表示範囲を含む前記分割画像を前記記憶手段から読込むステップと、
   読込んだ前記分割画像から結合画像を生成するステップと、
   生成した結合画像に基づいて画像を表示するステップと、を含むことを特徴とする画像表示方法。
5. コンピュータを、
   パノラマ画像を分割した分割画像を記憶する記憶手段、
   前記パノラマ画像の表示範囲を設定する設定手段、
   前記表示範囲を含む前記分割画像を前記記憶手段から読込む読込手段、
   読込んだ前記分割画像から結合画像を生成する生成手段、
   生成した結合画像に基づいて画像を表示する表示手段、
   として機能させることを特徴とするプログラム。

Images