JP2019133691A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ユーザによる画像の判別が容易なサムネイル画像を容易に生成することができる技術を提供する。【解決手段】本発明の画像処理装置は、元画像の一部の領域を指定するための指定操作を受け付ける第１の受付手段と、元画像のうち指定操作によって指定された領域と対応する部分画像を表示部に表示するよう制御する表示制御手段と、元画像のうち表示部に表示された部分画像の領域を表す画角情報を元画像に対応付けて記憶部に記憶するよう制御する記憶制御手段と、部分画像の表示を終了するための終了操作を受け付ける第２の受付手段とを有し、表示制御手段は、終了操作を受け付けると、部分画像の表示を終了し、部分画像の表示を終了した後、元画像を再度表示する際に、元画像のうち記憶部に最後に記憶された画角情報と対応する部分画像を表示部に表示するよう制御することを特徴とする。【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

近年、撮影者の周囲の全方位を撮影した全方位画像を生成可能なデジタルカメラが登場している。全方位画像は全天球の形状を有しており、全方位画像の画像サイズは大きい。そのため、一般的に、全方位画像の再生においては、全方位画像に幾何変換処理が施され、幾何変換処理後の全方位画像の一部の領域（部分領域）が表示される（特許文献１，２）。部分領域を順次切り替えながら表示することにより、ユーザによる全方位画像の判別が可能となる。しかしながら、このような方法では、ユーザは、順次切り替えながら表示される部分画像を長時間確認しなくては全方位画像を判別することができず、全方位画像を容易に判別することはできない。

ユーザによる画像の判別を容易にするための画像の表示方法として、画像全体を縮小したサムネイル画像を表示する方法がある。しかしながら、全方位画像では、被写体が湾曲しており、被写体の向き（上下左右方向）が全方位画像内の位置に依存している。そのため、全方位画像及びそのサムネイル画像の内容を把握すること、及び、全方位画像のサムネイル画像から全方位画像を判別することは、ユーザにとって困難である。

ここで、幾何変換処理後の全方位画像のサムネイル画像を表示する方法が考えられる。しかしながら、全方位画像の画像サイズは大きいため、全方位画像のサムネイル画像では被写体が非常に細かく表される。そのため、幾何変換処理後の全方位画像のサムネイル画像の内容を把握すること、及び、幾何変換処理後の全方位画像のサムネイル画像から全方位画像を判別することも、ユーザにとって困難である。

特許文献１に開示の技術では、全方位画像の一部の領域のサムネイル画像が生成される。しかしながら、特許文献１に開示の技術では、サムネイル画像のための領域を選択して指定するユーザ操作が必要であり、サムネイル画像を容易に生成することはできない。

特開２０１４−６８８０号公報 特開２０１３−２７０２１号公報

本発明は、ユーザによる画像の判別が容易なサムネイル画像を容易に生成することができる技術を提供することを目的とする。

本発明の第１の態様は、
元画像の一部の領域を指定するための指定操作を受け付ける第１の受付手段と、
前記元画像のうち前記指定操作によって指定された領域と対応する部分画像を表示部に表示するよう制御する表示制御手段と、
前記元画像のうち前記表示部に表示された部分画像の領域を表す画角情報を前記元画像に対応付けて記憶部に記憶するよう制御する記憶制御手段と、
前記部分画像の表示を終了するための終了操作を受け付ける第２の受付手段とを有し、
前記表示制御手段は、前記終了操作を受け付けると、前記部分画像の表示を終了し、前記部分画像の表示を終了した後、前記元画像を再度表示する際に、前記元画像のうち前記記憶部に最後に記憶された画角情報と対応する部分画像を前記表示部に表示するよう制御する
ことを特徴とする画像処理装置である。

本発明の第２の態様は、
元画像の一部の領域を指定するための指定操作を受け付ける工程と、
前記元画像のうち前記指定操作によって指定された領域と対応する部分画像を表示部に表示するよう制御する工程と、
前記元画像のうち前記表示部に表示された部分画像の領域を表す画角情報を前記元画像に対応付けて記憶部に記憶するよう制御する工程と、
前記部分画像の表示を終了するための終了操作を受け付ける工程と、
前記終了操作を受け付けると、前記部分画像の表示を終了する工程と、
前記部分画像の表示を終了した後、前記元画像を再度表示する際に、前記元画像のうち前記記憶部に最後に記憶された画角情報と対応する部分画像を前記表示部に表示するよう制御する工程を有する
ことを特徴とする画像処理方法である。

本発明の第３の態様は、上述した画像処理装置の各手段として機能させるためのプログラムである。

本発明によれば、ユーザによる画像の判別が容易なサムネイル画像を容易に生成することができる。

本実施形態に係るデジタルカメラの機能構成の一例を示すブロック図 本実施形態に係る全方位画像の一例を示す図 本実施形態に係る全方位画像と部分領域の一例を示す図 本実施形態に係る部分画像が表示される様子の一例を示す図 本実施形態に係る全方位画像と部分領域の一例を示す図 本実施形態に係る部分画像が表示される様子の一例を示す図 本実施形態に係るデジタルカメラの動作の一例を示すフローチャート 本実施形態に係る画角情報の一例を示す図

以下、本発明の実施形態に係る画像処理装置及び画像処理方法について説明する。なお、以下では、本実施形態に係る画像処理装置がデジタルカメラに設けられている例を説明するが、これに限らない。本実施形態に係る画像処理装置は、パーソナルコンピュータ、スマートフォン、等に設けられていてもよい。

（構成）
まず、本実施形態に係るデジタルカメラの構成の一例について説明する。図１は、本実施形態に係るデジタルカメラ１００の機能構成の一例を示すブロック図である。

全方位ミラー１０１は、デジタルカメラ１００の周囲の全方位（３６０度）からの光を鏡面反射することにより、当該光を撮像素子１０２に導く。全方位ミラー１０１としては、双曲面ミラー、球面ミラー全周魚眼レンズ、等を用いることができる。

撮像素子１０２は、全方位ミラーからの光を用いた撮像を行う。具体的には、撮像素子１０２は、全方位ミラーからの光を電気信号（画像データ）に変換する。そして、撮像素子１０２は、得られた画像データを画像処理部１０３に出力する。撮像素子１０２としては、ＣＣＤセンサ、ＣＭＯＳセンサ、等を用いることができる。

画像処理部１０３は、撮像素子１０２から出力された画像データに対して画像処理や圧縮処理を施す。そして、画像処理部１０３は、処理が施された後の画像データを出力する。撮像素子１０２と画像処理部１０３から出力される画像データは、デジタルカメラ１００の周囲の全方位を写した全方位画像を表す。本実施形態では、画像処理として、画像の歪みを補正する歪み補正処理が行われる。本実施形態では、歪み補正処理が施された後の画像データが表す画像を「元画像」や「平面画像」と記載する。

なお、画像処理は歪み補正処理に限らない。画像処理として、デジタルカメラ１００の振れによる画像の乱れを補正するブレ補正処理、画像の輝度を補正する輝度補正処理、画像の色を補正する色補正処理、画像のダイナミックレンジを補正するレンジ補正処理、等が行われてもよい。

操作部１０４は、デジタルカメラ１００に対するユーザ操作を受け付ける受付部である。ユーザ操作は、撮影の実行を指示する撮影操作、元画像の一部の領域を指定したり、指定された領域を変更したりする指定操作、等である。本実施形態では、指定操作で指令された領域における元画像である部分画像が表示される。そのため、指定操作で指定された領域は、「表示対象の領域」と言うこともできる。

なお、デジタルカメラ１００に設けられたボタンやタッチパネルを「操作部１０４」として捉えることもできるし、デジタルカメラ１００に対するユーザ操作に応じた電気信号を受信する受信部を「操作部１０４」として捉えることもできる。

表示部１０５は、表示部１０５に入力された画像データに応じた画像を表示する。例えば、表示部１０５は、ライブビュー画像、撮影画像、サムネイル画像、メニュー画像、警告画像、等を表示する。ライブビュー画像は、現在の被写体を表す画像であり、撮影画像は、撮影操作に応じて蓄積された画像であり、サムネイル画像は、撮影画像を示す小サイズの画像である。メニュー画像は、デジタルカメラ１００の各種パラメータを設定したり確認したりするための画像であり、警告画像は、各種警告を表す画像である。

記憶部１０６は、種々の画像や情報を記憶する。例えば、記憶部１０６は、撮影操作に応じて、画像処理部１０３から出力された画像データを、撮影画像を表す画像データとして記憶する。本実施形態では、歪み補正処理が施された後の全方位画像（即ち元画像）が、撮影画像として記憶される。また、記憶部１０６は、表示された部分画像の領域（画角）を表す画角情報を記憶する。記憶部１０６としては、不揮発性メモリ、光ディスク、磁気ディスク、等を用いることができる。

なお、歪み補正処理が施される前の画像が撮影画像として記憶され、撮影画像を表示する際に、歪み補正処理によって元画像が生成されてもよい。また、画像処理部１０３で複数の処理が行われる場合、複数の処理の少なくとも一部の処理は、撮影画像を記憶するタイミングでなく、撮影画像を表示するタイミングで行われてもよい。

サムネイル画像生成部１０７は、記憶部１０６が記憶している撮影画像（全方位画像）のサムネイル画像を生成し、生成したサムネイル画像を撮影画像と対応付けて記憶部１０６に記録する。記憶部１０６が複数の全方位画像を記憶している場合には、複数の全方位画像のそれぞれについて、サムネイル画像の生成と記録が行われる。

表示時間計測部１０８は、部分画像が表示されている時間（表示時間）を計測する。

制御部１０９は、デジタルカメラ１００が有する各機能部を制御する。例えば、制御部１０９は、部分画像などの各種画像を表示部１０５に表示する表示制御を行う。

なお、本実施形態に係る画像処理装置は、少なくとも、操作部１０４、制御部１０９、及び、サムネイル画像生成部１０７を有していればよい。

（表示制御）
次に、本実施形態に係る表示制御の一例について説明する。

図２は、撮像素子１０２で生成された全方位画像（歪み補正処理が施される前の全方位画像）の一例を示す模式図である。撮像素子１０２では、例えば、デジタルカメラ１００の位置を中心としたドーナツ状の画像が、全方位画像として生成される。このような全方位画像が生成されるのは、全方位ミラー１０１表面の曲率によって実像に対する垂直方向の画角が決定されると共に、撮像素子１０２に実像が歪みをもって投射されるためである。

画像処理部１０３では、このような歪みをもった全方位画像に歪み補正処理が施される。それにより、図２に示すような歪んだ全方位画像が、図３に示すような矩形の全方位画像（平面画像）に展開される。図２に示す全方位画像はドーナツ状の画像であるため、歪んだ画像を矩形の画像に展開するには、歪んだ画像をどこかの方位で切断する必要がある。図２に示す全方位画像を位置２０１で切断して歪みを除去することにより、図３に示す全方位画像が得られる。

平面画像の画像サイズは大きいため、一般的に、平面画像を表示する際には、平面画像の一部の領域（部分領域）が切り出されて表示される。図３の一点鎖線３０２は、平面画像の水平方向における中心位置を示し、一点鎖線３０３は、平面画像の垂直方向における中心位置を示す。破線３０１で囲まれた領域は、平面画像の中心に対応する部分領域である。部分領域３０１（破線３０１で囲まれた領域）の中心は平面画像の中心と一致する。部分領域３０１は矩形領域であり、（部分領域３０１の左上隅の座標，部分領域３０１の右上隅の座標，部分領域３０１の左下隅の座標，部分領域３０１の右下隅の座標）は（Ａ０，Ｂ０，Ｃ０，Ｄ０）である。本実施形態では、部分領域３０１が、最初の部分領域（初期部分領域）として使用される。即ち、蓄積された平面画像（撮影画像）を最初に表示する際には、部分領域３０１における平面画像が表示される。図４はその様子を示す図である。なお、部分領域３０１と異なる領域が初期部分領域として使用されてもよい。

ユーザは、指定操作を行うことにより、部分領域３０１から部分領域を変更することができる。例えば、部分領域を移動する指定操作が行われると、指定操作に応じて部分領域が移動し、部分領域の移動に伴って表示部１０５の表示が変化する。具体的には、部分画像（部分領域における平面画像）が表示部１０５に表示されるため、部分領域の移動方向とは反対の方向に画像が移動するように、表示部１０５の表示が変化する。図５は、指定操作によって変更された後の部分領域の一例を示す図である。破線５０１で囲まれた領域は、指定操作によって変更された後の部分領域である。部分領域５０１は矩形領域であり、（部分領域５０１の左上隅の座標，部分領域５０１の右上隅の座標，部分領域５０１の左下隅の座標，部分領域５０１の右下隅の座標）は（Ａ，Ｂ，Ｃ，Ｄ）である。部分領域５０１が指定された場合、部分領域５０１における平面画像が表示される。図６はその様子を示す図である。

（動作）
次に、本実施形態に係るデジタルカメラの動作の一例について、図７を用いて説明する。図７は、デジタルカメラ１００の動作の一例を示すフローチャートである。図７のフローチャートは、例えば、デジタルカメラ１００の動作モードとして、蓄積された撮影画像を表示（再生）する再生モードが設定されている場合に行われる。

まず、Ｓ７０１にて、制御部１０９が、デジタルカメラ１００に対するユーザ操作（選択操作）に応じて、記憶部１０６が記憶している複数の全方位画像のうちの１つを表示対象として選択する。具体的には、選択操作が行われると、選択操作に応じた選択信号が操作部１０４から制御部１０９に出力される。そして、制御部１０９は、選択信号に応じて、表示対象の全方位画像を選択する。選択操作は、例えば、制御部１０９によって表示部１０５に表示された複数のサムネイル画像（複数の全方位画像に対応する複数のサムネイル画像）のうちの１つを選択するユーザ操作である。

なお、本実施形態では、後述するＳ７１３の処理によってサムネイル画像が更新されるが、最初にサムネイル画像（初期サムネイル画像）を生成する方法は特に限定されない。初期サムネイル画像として、全方位画像を縮小した画像が生成されてもよいし、所定の領域（例えば初期部分領域）における全方位画像を縮小した画像が生成されてもよい。

次に、Ｓ７０２にて、制御部１０９が、Ｓ７０１で選択した全方位画像（選択画像）に対応する画角情報を記憶部１０６が記憶しているか否かを判断する。選択画像に対応する画角情報を記憶部１０６が記憶していると判断された場合には、Ｓ７０４にて、制御部１０９が、選択画像に対応する画角情報を記憶部１０６から取得する。選択画像に対応する画角情報を記憶部１０６が記憶していないと判断された場合には、Ｓ７０３にて、制御部１０９が、初期部分領域を表す画角情報である初期画角情報を記憶部１０６から取得する。そして、Ｓ７０３またはＳ７０４からＳ７０５へ処理が進められる。

Ｓ７０５では、制御部１０９が、Ｓ７０３またはＳ７０４の処理によって得られた画角情報に基づいて、選択画像の部分画像を表示部１０５に表示する表示制御を行う。具体的には、得られた画角情報が表す部分領域における選択画像を表示する表示制御が行われる。

次に、Ｓ７０６にて、表示時間計測部１０８が、Ｓ７０５の処理によって表示された部分画像（対象部分画像）の表示時間の計測を開始する。

次に、Ｓ７０７にて、制御部１０９が、選択画像（選択画像の部分画像）の表示を終了するユーザ操作である終了操作が行われたか否かを判断する。Ｓ７０７の処理は、ユーザ操作に応じて操作部１０４から出力される信号を制御部１０９が監視することで実現することができる。終了操作が行われていないと判断された場合には、Ｓ７０８に処理が進められ、終了操作が行われたと判断された場合には、Ｓ７０９に処理が進められる。

Ｓ７０８では、制御部１０９が、部分領域を変更する指定操作が行われたか否かを判断する。Ｓ７０８の処理も、Ｓ７０７の処理と同様に、ユーザ操作に応じて操作部１０４から出力される信号を制御部１０９が監視することで実現することができる。指定操作が行われていないと判断された場合には、Ｓ７０７に処理が戻され、指定操作が行われたと判断された場合には、Ｓ７０９に処理が進められる。

Ｓ７０９では、表示時間計測部１０８が、対象部分画像の表示時間の計測を終了する。それにより、部分表示画像が表示されていた時間が、表示時間の計測値（計測時間）として得られる。

次に、Ｓ７１０にて、制御部１０９が、Ｓ７０９で得られた計測時間が閾値以上であるか否か判断する。計測時間が閾値以上であると判断された場合には、制御部１０９は、対象部分画像が表示された部分画像であるとみなし、Ｓ７１１に処理が進められる。計測時間が閾値よりも短いと判断された場合には、制御部１０９は、対象部分画像が表示されていない部分画像であるとみなし、Ｓ７１２に処理が進められる。なお、閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。

ここで、部分領域の位置をスクロールさせる場合を考える。このような場合には、スクロール中に一部の部分画像が短時間だけ表示されることがある。本実施形態では、後述するＳ７１３の処理により、表示された部分画像のサムネイル画像（部分画像を縮小したサムネイル画像）が、全方位画像のサムネイル画像として生成される。部分画像を縮小したサムネイル画像では、被写体のサイズが全方位画像を縮小したサムネイル画像よりも大きい。そして、表示された部分画像は、ユーザが見ている可能性が高く、ユーザの記憶に残っている可能性も高い。そのため、表示された部分画像を縮小したサムネイル画像では、全方位画像を縮小したサムネイル画像に比べて、画像の内容が把握しやすく且つ全方位画像が判別しやすい。しかしながら、短時間だけ表示された部分画像がユーザの記憶に残る可能性は低いため、ユーザは、短時間だけ表示された部分画像のサムネイル画像から全方位画像を判別できないことがある。そこで、本実施形態では、Ｓ７１０の判断結果に応じて処理フローを変更する。それにより、表示時間が短い部分画像がサムネイル画像の生成に使用されることを防ぐことができ、ユーザによる画像の判別が容易なサムネイル画像をより確実に生成することができる。

Ｓ７１１では、制御部１０９が、対象部分画像の領域（部分領域）を表す画角情報を、選択画像に対応する画角情報として記憶部１０６に記録する。本実施形態では、選択画像に対応する画角情報を記憶部１０６が既に記憶している場合には、記憶部１０６が記憶している画角情報が、対象部分画像の領域を表す画角情報に更新される。そのため、記憶部１０６では、表示された複数の部分画像のうち最後に表示された部分画像を表す画角情報のみが、全方位画像に対応する画角情報として記憶される。その結果、後述するＳ７１３の処理により、表示された複数の部分画像のうち最後に表示された部分画像のサムネイル画像が、全方位画像のサムネイル画像として生成される。最後に表示された部分画像がユーザの記憶に残っている可能性は高い。そのため、最後に表示された部分画像のサムネイル画像を全方位画像のサムネイル画像として生成することにより、ユーザによる画像の判別が容易なサムネイル画像をより確実に生成することができる。Ｓ７１１の次に、Ｓ７１２に処理が進められる。

図８（Ａ）は、記憶部１０６が記憶している画角情報の一例を示す図である。図８（Ａ）は、全方位画像「１２３．ｊｐｇ」の部分画像として、頂点座標（部分領域の左上隅の座標，部分領域の右上隅の座標，部分領域の左下隅の座標，部分領域の右下隅の座標）＝（Ｅ，Ｆ，Ｇ，Ｈ）である部分画像が最後に表示された場合の例を示す。また、図８（Ａ）は、全方位画像「４５６．ｊｐｇ」の部分画像として、頂点座標（Ｍ，Ｎ，Ｏ，Ｐ）の部分画像が最後に表示された場合の例を示す。また、図８（Ａ）は、全方位画像「ｘｙｚ．ｊｐｇ」の部分画像が表示されていない場合の例を示す。そのため、図８（Ａ）では、全方位画像「１２３．ｊｐｇ」の画角情報として「Ｅ，Ｆ，Ｇ，Ｈ」が記憶されており、全方位画像「４５６．ｊｐｇ」の画角情報として「Ｍ，Ｎ，Ｏ，Ｐ」が記憶されている。そして、全方位画像「ｘｙｚ．ｊｐｇ」の画角情報は記憶されていない。

なお、記憶部１０６は、表示されていない全方位画像に対応する画角情報として、初期画角情報を記憶してもよい。例えば、記憶部１０６は、全方位画像を記憶する際に、全方
位画像を初期画角情報に対応付けて記憶してもよい。

Ｓ７１２では、制御部１０９が、選択画像（選択画像の部分画像）の表示を終了するユーザ操作である終了操作が行われたか否かを判断する。終了操作が行われていないと判断された場合には、Ｓ７０５に処理が戻される。このとき、Ｓ７０８の判断結果として「部分領域を変更する指定操作が行われた」という判断結果が得られていた場合には、Ｓ７０５において、変更後の部分領域における選択画像を表示する表示制御が行われる。終了操作が行われたと判断された場合には、Ｓ７１３に処理が進められる。

Ｓ７１３では、サムネイル画像生成部１０７が、選択画像のサムネイル画像の生成及び更新を行う。具体的には、サムネイル画像生成部１０７が、選択画像に対応する画角情報を記憶部１０６から取得し、取得した画角情報に基づいてサムネイル画像を生成する。本実施形態では、取得された画角情報が表す部分領域における選択画像を縮小したサムネイル画像が生成される。そして、サムネイル画像生成部１０７は、記憶部１０６が記憶している複数のサムネイル画像のうち、選択画像に対応するサムネイル画像を、上記生成したサムネイル画像に更新する。このように、本実施形態では、選択画像（選択画像の部分画像）の表示が終了される際に、選択画像のサムネイル画像が更新される。

なお、サムネイル画像の更新のタイミングは、上記タイミングに限らない。例えば、選択画像の部分画像が表示される度に、選択画像のサムネイル画像が更新されてもよい。

Ｓ７１４では、制御部１０９が、再生モードの設定を解除するユーザ操作であるモード解除操作が行われたか否かを判断する。終了するかどうかを判断する。Ｓ７１４の処理は、ユーザ操作に応じて操作部１０４から出力される信号を制御部１０９が監視することで実現することができる。モード解除操作が行われていないと判断された場合には、Ｓ７０１に処理が戻され、モード解除操作が行われたと判断された場合には、本フローチャートが終了される。

サムネイル画像が更新された後のデジタルカメラ１００の動作の具体例について説明する。ここでは、図６に示す部分画像（図５の部分領域５０１における全方位画像）が最後に表示された場合の例を説明する。この場合、Ｓ７１１において、画角情報「Ａ，Ｂ，Ｃ，Ｄ」が記録される。そして、Ｓ７１３において、図６に示す部分画像を縮小したサムネイル画像が生成され、生成されたサムネイル画像が、全方位画像のサムネイル画像として記録される。

全方位画像のサムネイル画像が更新された後、再生モードが設定されると、制御部１０９により、更新後のサムネイル画像（図６に示す部分画像を縮小したサムネイル画像が表示部１０５に表示される。上述したように、最後に表示された部分画像がユーザの記憶に残っている可能性は高い。そのため、ユーザは、最後に表示された部分画像のサムネイル画像と自身の記憶とを結び付け、サムネイル画像に対応する全方位画像を容易に判別することができる。

また、本実施形態では、部分画像のサムネイル画像が生成されてから指定操作が行われるまでの期間における表示制御として、当該部分画像を表示部１０５に表示する表示制御が行われる。具体的には、全方位画像（全方位画像の部分画像）を再度表示する際に、Ｓ７０４において、画角情報「Ａ，Ｂ，Ｃ，Ｄ」が取得される。そして、Ｓ７０５において、頂点座標（Ａ，Ｂ，Ｃ，Ｄ）の部分画像が表示される。それにより、ユーザは、前回の閲覧終了時の状態に表示状態（部分領域）を変更する操作を行うことなく、前回の閲覧終了時の状態から閲覧を再開することができる。例えば、ユーザは、前回の閲覧時と同じ操作を繰り返すことなく、効率的に全方位画像を閲覧することができる。

なお、部分画像のサムネイル画像が生成されてから指定操作が行われるまでの期間における表示制御は、上記表示制御に限らない。例えば、部分画像のサムネイル画像が生成されてから指定操作が行われるまでの期間における表示制御として、初期部分領域における選択画像を表示する表示制御が行われてもよい。

以上述べたように、本実施形態によれば、表示された部分画像のサムネイル画像を自動で生成する、という簡単な処理により、ユーザによる元画像の判別が容易なサムネイル画像を容易に生成することができる。

なお、本実施形態では、元画像が全方位画像である場合の例を説明したが、元画像はこれに限らない。元画像は、どのような画像であってもよい。例えば、元画像は、全方位でない広角な範囲を撮影したパノラマ画像であってもよい。元画像は、撮影画像以外の画像であってもよい。例えば、元画像は、イラストレーション画像であってもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、本実施形態では、最後に表示された部分画像のサムネイル画像を生成する例を説明したが、表示時間（計測時間）が最も長い部分画像のサムネイル画像が生成されてもよい。このような処理の実現方法の一例を説明する。まず、画角情報を記録する際に計測時間も記録する。そして、画角情報と計測時間を再度記録（更新）する際に、記録対象の計測時間と、記録済みの計測時間とを比較する。記録対象の計測時間が記録済みの計測時間よりも長い場合には、画角情報と計測時間の更新を行い、そうでない場合には、画角情報と計測時間の更新を省略する。それにより、計測時間が最も長い部分画像の画角情報に基づいて、計測時間が最も長い部分画像のサムネイル画像を生成することができる。表示時間が最も長い部分画像がユーザの記憶に残っている可能性は高い。そのため、表示時間が最も長い表示された部分画像のサムネイル画像を全方位画像のサムネイル画像として生成することにより、ユーザによる画像の判別が容易なサムネイル画像をより確実に生成することができる。

図８（Ｂ）は、記憶部１０６が記憶している画角情報の一例を示す図である。図８（Ｂ）は、全方位画像「１２３．ｊｐｇ」の部分画像として、頂点座標（Ｅ，Ｆ，Ｇ，Ｈ）の部分画像が最も長く表示された場合の例を示し、頂点座標（Ｅ，Ｆ，Ｇ，Ｈ）の部分画像の表示時間は１．８ｓｅｃである場合の例を示す。また、図８（Ｂ）は、全方位画像「４５６．ｊｐｇ」の部分画像として、頂点座標（Ｍ，Ｎ，Ｏ，Ｐ）の部分画像が最も長く表示された場合の例を示し、頂点座標（Ｍ，Ｎ，Ｏ，Ｐ）の部分画像の表示時間は１５．３ｓｅｃである場合の例を示す。また、図８（Ｂ）は、全方位画像「ｘｙｚ．ｊｐｇ」の部分画像が表示されていない場合の例を示す。そのため、図８（Ｂ）では、全方位画像「１２３．ｊｐｇ」の画角情報として「Ｅ，Ｆ，Ｇ，Ｈ」が記憶されており、全方位画像「１２３．ｊｐｇ」の表示時間として「１．８ｓｅｃ」が記憶されている。全方位画像「４５６．ｊｐｇ」の画角情報として「Ｍ，Ｎ，Ｏ，Ｐ」が記憶されており、全方位画像「４５６．ｊｐｇ」の表示時間として「１５．３ｓｅｃ」が記憶されている。そして、全方位画像「ｘｙｚ．ｊｐｇ」の画角情報は記憶されておらず、全方位画像「ｘｙｚ．ｊｐｇ」の表示時間として「０ｓｅｃ」が記憶されている。

表示された部分画像のサムネイル画像が生成されれば、どのような方法でサムネイル画像が生成されてもよい。例えば、１つの元画像に対して複数の画角情報が記録され、記録された複数の画角情報のうちの１つが選択され、選択された画角情報に基づいてサムネイル画像が生成されてもよい。サムネイル画像の複数の生成方法のうちの１つをユーザが選
択可能であってもよい。

また、本実施形態では、サムネイル画像を生成する際に、表示時間（計測時間）が閾値よりも短い部分画像が、表示されていない部分画像とみなされる例を説明したが、これに限らない。例えば、表示時間に拘らず、表示制御の対象となった全ての部分画像を考慮して、サムネイル画像が生成されてもよい。

また、サムネイル画像を生成する際に、所定の特徴を有していない部分画像が、表示されていない部分画像とみなされてもよい。それにより、ユーザによる画像の判別が容易なサムネイル画像をより確実に生成することができる。

所定の特徴は、例えば、人物の顔である。その場合、人物の顔を含まない部分画像が、表示されていない部分画像とみなされる。図５の部分領域５０１には、人物の顔が２つ含まれている。そのため、部分領域５０１に対応する部分画像は、所定の特徴を含む部分画像であると判断される。このような判断を行うことにより、何も写っていない部分画像のサムネイル画像が生成されることを抑制することができ、ユーザによる画像の判別が容易なサムネイル画像をより確実に生成することができる。所定の特徴としては、顔以外の被写体（自動車、動物、建物、植物、等）を用いることもできる。画像が所定の被写体を含むか否かの判断は、被写体を判別する既存の技術を適宜使用することで実現できる。所定の特徴としては、被写体以外に、閾値より高い輝度、閾値より多い色の数、閾値より大きい明暗差、等を用いることもできる。

なお、表示時間が閾値よりも小さい部分画像と、所定の特徴を有していない部分画像とのいずれかが、表示されていない部分画像とみなされてもよいし、それら両方が、表示されていない部分画像とみなされてもよい。表示時間が閾値よりも小さく且つ所定の特徴を有していない部分画像のみが、表示されていない部分画像とみなされてもよい。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４：操作部 １０７：サムネイル画像生成部 １０９：制御部

Claims (9)

1. 元画像の一部の領域を指定するための指定操作を受け付ける第１の受付手段と、
   前記元画像のうち前記指定操作によって指定された領域と対応する部分画像を表示部に表示するよう制御する表示制御手段と、
   前記元画像のうち前記表示部に表示された部分画像の領域を表す画角情報を前記元画像に対応付けて記憶部に記憶するよう制御する記憶制御手段と、
   前記部分画像の表示を終了するための終了操作を受け付ける第２の受付手段とを有し、
   前記表示制御手段は、前記終了操作を受け付けると、前記部分画像の表示を終了し、前記部分画像の表示を終了した後、前記元画像を再度表示する際に、前記元画像のうち前記記憶部に最後に記憶された画角情報と対応する部分画像を前記表示部に表示するよう制御する
   ことを特徴とする画像処理装置。
2. 前記部分画像が前記表示部に表示されている時間を計測する計測手段をさらに有し、
   前記記憶制御手段は、前記計測された時間が閾値以上のとき、前記表示部に表示されている部分画像の画角情報を前記元画像に対応付けて前記記憶部に記憶するよう制御する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記終了操作を受け付けると、前記元画像のうち前記記憶部に最後に記憶された画角情報と対応する部分画像を縮小したサムネイル画像を生成する生成手段をさらに有する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記記憶制御手段は、前記サムネイル画像を前記元画像と対応付けて前記記憶部に記憶するよう制御する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記表示制御手段は、複数の前記元画像と対応する複数の前記サムネイル画像を前記表示部に表示するよう制御し、
   前記画像処理装置は、ユーザ操作に応答して前記複数のサムネイル画像のうち１つを選択する選択手段をさらに有し、
   前記表示制御手段は、選択されたサムネイル画像と対応する元画像の部分画像を前記表示部に表示するよう制御する
   ことを特徴とする請求項３または４に記載の画像処理装置。
6. 前記元画像は、撮像装置の周囲の被写体に対して撮像が行われることにより得られた全方位画像である
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記元画像は、前記撮像により得られた画像に対して歪み補正処理が行われたものである
   ことを特徴とする請求項６に記載の画像処理装置。
8. 元画像の一部の領域を指定するための指定操作を受け付ける工程と、
   前記元画像のうち前記指定操作によって指定された領域と対応する部分画像を表示部に表示するよう制御する工程と、
   前記元画像のうち前記表示部に表示された部分画像の領域を表す画角情報を前記元画像に対応付けて記憶部に記憶するよう制御する工程と、
   前記部分画像の表示を終了するための終了操作を受け付ける工程と、
   前記終了操作を受け付けると、前記部分画像の表示を終了する工程と、
   前記部分画像の表示を終了した後、前記元画像を再度表示する際に、前記元画像のうち前記記憶部に最後に記憶された画角情報と対応する部分画像を前記表示部に表示するよう制御する工程を有する
   ことを特徴とする画像処理方法。
9. コンピュータを請求項１〜７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images