JP2017107256A - 情報処理装置、その制御方法、及びプログラム - Google Patents

Abstract

【課題】画像データの表示倍率を変更することにより、当該画像データの撮影範囲において撮影された他の画像データを表示することの可能な仕組みを提供すること。【解決手段】撮影された位置及び向きを含む撮影情報を、当該撮影により生成された画像データごとに記憶しておく。そして、記憶された撮影情報を用いて、第１の画像データの撮影範囲において撮影された、当該第１の画像データとは異なる第２の画像データを特定する。第１の画像データの表示倍率を変更する指示を受け付けると、情報処理装置１００の表示部に表示された第１の画像データの表示倍率を変更する。このとき、特定された第２の画像データを、表示倍率が変更された第１の画像データに重畳して表示する。【選択図】図８

Description

本発明は、画像データの表示倍率を変更することにより、当該画像データの撮影範囲において撮影された他の画像データを表示することの可能な情報処理装置、その制御方法、及びプログラムに関する。

従来、撮影装置で撮影することにより生成される画像データを情報処理装置で表示する際には、所望の表示倍率で画像データの拡大や縮小を行っている。画像データはビットマップ画像（ラスターイメージ）であるので、画像データの解像度によっては拡大した際にジャギーが発生してしまう問題がある。

これを解決するために特許文献１には、被写体の全体を示す全体画像と被写体を拡大した一部分を示す拡大画像とを撮影により取得し、全体画像が拡大表示された場合に拡大画像を重畳表示することで、ジャギーの発生を抑止する仕組みが開示されている。

特開２０１１−２１１６４３号公報

特許文献１に記載の仕組みでは、同一の位置から２回撮影することで全体画像と拡大画像とを取得しているが、通常このような撮影を行うことはあまりない。ユーザは、撮影装置を持ち歩きながら、様々な人や風景を撮影していくことが多いためである。

こうして様々な位置・向きで撮影された画像データは、従来、撮影された順に表示されていた。しかしながら、こうした仕組みでは単に他の画像データに表示が切り替わってしまうため、あたかもユーザが移動しているかのように表現することはできなかった。すなわち、画像データ同士の撮影位置の関係がわかりづらく、画像データを用いて道案内を行うような場合にはあまり適していなかった。

また、Ｇｏｏｇｌｅストリートビュー（登録商標）のようにユーザが移動方向を指定することで、その方向で撮影された画像データを表示する仕組みも存在する。この仕組みでは、画像データを切り替える際にはユーザが進んでいるかのようなエフェクトが画像データに施される。しかしながら、拡大・縮小操作のようなスムーズさはないため、没入感が損なわれてしまう問題もある。

本発明は、画像データの表示倍率を変更することにより、当該画像データの撮影範囲において撮影された他の画像データを表示することの可能な仕組みを提供することを目的とする。

上記の目的を達成するために本発明の情報処理装置は、画像データを表示部に表示する情報処理装置であって、撮影された位置及び向きを含む撮影情報を、当該撮影により生成された画像データごとに記憶する記憶手段と、前記記憶手段に記憶された撮影情報を用いて、第１の画像データの撮影範囲において撮影された、当該第１の画像データとは異なる第２の画像データを特定する特定手段と、前記表示部に表示された第１の画像データの表示倍率を変更する指示を受け付ける変更指示受付手段と、前記変更指示受付手段で受け付けた指示に応じて、前記表示部に表示された第１の画像データの表示倍率を変更する表示制御手段と、を備え、前記表示制御手段は、前記特定手段で特定された第２の画像データを、当該表示制御手段で表示倍率が変更された第１の画像データに重畳して表示することを特徴とする。

本発明によれば、画像データの表示倍率を変更することにより、当該画像データの撮影範囲において撮影された他の画像データを表示することが可能となる。

本実施形態における情報処理装置１００のハードウェア構成を示す図である。 情報処理装置１００の機能構成を示す図である。 動作設定を行う一連の処理の流れを示すフローチャートである。 設定画面４００の画面構成を示す図である。 設定情報管理テーブル５００、画像情報管理テーブル５１０、関連情報管理テーブル５２０のテーブル構成を示す図である。 画像同士の関連付けを行う一連の処理の流れを示すフローチャートである。 関連する画像を抽出する説明で用いられる図である。 関連する画像の表示位置に関する説明で用いられる図である。 画像を表示する場合に実行される一連の処理の流れを示すフローチャートである。 画像一覧画面１０００の画面構成と、画像一覧画面１０００で選択された画像を全画面表示した場合を示す図である。 関連画像表示処理の詳細な処理を示すフローチャートである。 表示倍率を変更した場合に実行される処理の実行結果を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、情報処理装置１００のハードウェア構成を示す図である。尚、図１に示すハードウェア構成はあくまで一例である。

情報処理装置１００は、タッチパネルを備える装置である。本実施形態では、いわゆるスマートフォンやタブレット端末のような装置を想定して説明を行うが、特にこれに限らない。タッチパネルを備える装置であれば、パーソナルコンピュータであってもよい。または、タッチパネルを備えていない装置であってもマウスカーソルによってタッチ操作と同様の操作が行える装置であればよい。

ＣＰＵ１０１は、システムバスを介してメモリやコントローラを統括的に制御する。ＲＯＭ１０２あるいはフラッシュメモリ１１４には、ＣＰＵ１０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステム２００が記憶されている。更には、情報処理装置１００が実行する機能を実現するために必要な、後述する各種プログラム等が記憶されている。

ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。ＣＰＵ１０１は、処理の実行に際して必要なプログラム等をＲＡＭ１０３にロードして、プログラムを実行することで各種動作を実現するものである。

ディスプレイコントローラ１０４は、ディスプレイ１１０等の表示装置（表示部）への表示を制御する。ディスプレイ１１０は例えば液晶ディスプレイである。また、ディスプレイ１１０の表面にはタッチパネル１１１が備えられている。タッチパネル１１１に対するタッチ操作の検知をタッチパネルコントローラ１０５が制御する。タッチパネルコントローラ１０５は、タッチパネル１１１に対する複数の箇所に対するタッチ操作（以下、マルチタッチという。）も検知することが可能である。

カメラコントローラ１０６は、カメラ１１２における撮影を制御する。カメラ１１２はデジタルカメラであり、カメラコントローラ１０６からの制御で撮像した画像を撮像素子でデジタルデータに変換する。カメラ１１２は静止画（画像データ。以下、画像と称する。）と動画を撮影することが可能である。

センサコントローラ１０７は、情報処理装置１００が備える各種センサ１１３からの入力を制御する。情報処理装置１００のセンサ１１３には様々なセンサが存在し、例えば方位センサ、加速度センサ等である。

ネットワークコントローラ１０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

フラッシュメモリコントローラ１０９は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するフラッシュメモリ１１４（記憶手段）へのアクセスを制御する。本実施形態においては、フラッシュメモリとして説明を行うが、ハードディスクやフレキシブルディスク、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の記憶媒体であってもよい。

前述したＣＰＵ１０１、各メモリ、各コントローラは、１つのチップ１１５に統合されている。いわゆるＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）の形態で情報処理装置１００の内部に備えられている。

尚、ＣＰＵ１０１は、例えばＲＡＭ１０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ１１０での表示を可能としている。

本発明の情報処理装置１００が後述する各種処理を実行するために用いられる各種プログラム等はフラッシュメモリ１１４に記録されており、必要に応じてＲＡＭ１０３にロードされることによりＣＰＵ１０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルはフラッシュメモリ１１４に格納されている。以上が、本実施形態におけるハードウェア構成である。

図２は、情報処理装置１００の機能構成を示す図である。尚、図２に示す機能構成はあくまで一例であり、用途や目的に応じて様々な構成例があるため、これに限定されない。

情報処理装置１００は機能部として、動作設定部２０１、画像抽出部２０２、画像認識部２０３、関連設定部２０４、表示制御部２０５、表示倍率変更部２０６を備える。

動作設定部２０１は、情報処理装置１００の動作設定を行うための機能部である。動作設定部２０１では、画像抽出部２０２が画像を抽出する際の条件に関する設定や、画像抽出部２０２が抽出した関連する画像を表示するか否かに関する設定を行う。動作設定部２０１により設定が行われると、設定内容をフラッシュメモリ１１４等の記憶部に保存する。

画像抽出部２０２は、フラッシュメモリ１１４に記憶された画像のうち、動作設定部２０１で設定された条件を満たす画像を抽出するための機能部である。画像抽出部２０２は、Ｅｘｉｆ（Ｅｘｃｈａｎｇａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等から取得した画像に関する属性情報と、動作設定部２０１で設定された抽出条件とに基づいて、画像の抽出を行う。

画像認識部２０３は、パターンマッチング等の手法により、処理対象の画像の中に画像抽出部２０２で抽出した他の画像に相当する領域が含まれるか否かを判定するための機能部である。処理対象の画像と画像抽出部２０２で抽出した他の画像とをパターンマッチング等の手法により比較し、処理対象の画像の中に他の画像と類似する領域があるか否かを判定する。このとき、類似度に関する閾値を設け、所定の閾値よりも類似度の高い領域があれば、処理対象の画像の中に画像抽出部２０２で抽出した他の画像に相当する領域が含まれていると判定する。本実施形態では、パターンマッチングにより他の画像に類似する領域があるか否かを判定するが、特にこれに限らない。

関連設定部２０４は、処理対象の画像と、画像認識部２０３で処理対象の画像の中に含まれると判定された他の画像とを関連付けるための機能部である。関連設定部２０４は、これらの画像同士を関連付けると共に、処理対象の画像の中の、他の画像に相当する領域を示す座標を関連付ける。

表示制御部２０５は、ディスプレイ１１０に各種画面や画像を表示するための機能部である。また、表示倍率変更部２０６で画像の表示倍率が変更された場合には、動作設定部２０１で設定された内容に応じて、関連設定部２０４で当該画像と関連付けられた他の画像を、表示する画像に重畳させて表示する。重畳する領域は、関連設定部２０４で関連付けされた領域の座標に基づく。

表示倍率変更部２０６は、表示制御部２０５で表示された画像の表示倍率を変更するための機能部である。表示倍率は全画面表示の状態を１００％とし、画像を拡大する場合には表示倍率を１００％より大きくし、画像を縮小する場合には表示倍率を１００％より小さくする。表示倍率変更部２０６での表示倍率の変更に応じて、表示制御部２０５が画像の表示を拡大または縮小する。以上が、本実施形態における機能構成である。

次に、動作設定を行う一連の処理の流れについて、図３のフローチャートを用いて説明する。尚、図３に示すフローチャートはあくまで一例であり、これに限定されない。

以下説明するステップＳ３０１乃至ステップＳ３０３の各ステップは、情報処理装置１００のＣＰＵ１０１が各機能部を動作することにより実行される処理である。

ステップＳ３０１では、情報処理装置１００の表示制御部２０５は、図４に示すような設定画面４００をディスプレイ１１０に表示する。設定画面４００は、情報処理装置１００の動作設定を受け付けるための画面である。設定画面４００では、画像を表示する際に、当該画像に関連する他の画像も表示するか否かの設定をラジオボタンによって受け付けると共に、その他の画像の抽出条件の入力を受け付ける。抽出条件としては、撮影位置や撮影日時を条件とする。本実施形態では、この２つを抽出条件としたが、Ｅｘｉｆから取得可能な属性情報を条件としてもよい。

ステップＳ３０２では、情報処理装置１００の表示制御部２０５は、設定画面４００の各種入力項目に入力が行われた状態で、設定ボタン４０１の押下を検知したか否かを判定する。設定ボタン４０１の押下を検知したと判定した場合には、ステップＳ３０３に処理を進める。設定ボタン４０１の押下を検知したと判定していない場合には、設定ボタン４０１が押下されるまで待機する。

ステップＳ３０３では、情報処理装置１００の動作設定部２０１は、設定画面４００に入力された設定内容を、図５に示すような設定情報管理テーブル５００に保存する。

設定情報管理テーブル５００は、情報処理装置１００のフラッシュメモリ１１４に記憶され、情報処理装置１００の動作設定を記憶するためのデータテーブルである。設定情報管理テーブル５００は、表示設定５０１、撮影位置条件５０２、撮影日時条件５０３を備える。表示設定５０１は、画像を表示する際に当該画像に関連する他の画像も表示するか否かの設定がフラグにより格納される項目である。“１”が格納されていれば、画像を表示する際に当該画像に関連する他の画像も表示し、“０”が格納されていれば、これを表示しない。撮影位置条件５０２と撮影日時条件５０３は、当該画像に関連する他の画像を抽出するための条件が格納される項目である。ある画像に関連する画像を抽出する際には、当該画像が撮影された位置から撮影位置条件５０２が示す領域内で撮影された画像を抽出すると共に、当該画像が撮影された日時から撮影日時条件５０３が示す日時の範囲で撮影された画像を抽出する。尚、図５に示す設定情報管理テーブル５００のテーブル構成はあくまで一例であり、用途や目的に応じて様々な構成例があるため、これに限定されない。

このようにして、あらかじめユーザは情報処理装置１００の動作設定について入力を行い、情報処理装置１００はこの動作設定を保存しておく。

次に、画像同士の関連付けを行う一連の処理の流れについて、図６のフローチャートを用いて説明する。尚、図６に示すフローチャートはあくまで一例であり、これに限定されない。

以下説明するステップＳ６０１乃至ステップＳ６０５の各ステップは、情報処理装置１００のＣＰＵ１０１が各機能部を動作することにより実行される処理である。

また、画像は、撮影装置で生成され、情報処理装置１００のフラッシュメモリ１１４に取り込まれているものとして説明を行う。撮影装置から情報処理装置１００に画像が取り込まれると、画像のＥｘｉｆを読み出して、図５に示すような画像情報管理テーブル５１０でその情報が管理される。

画像情報管理テーブル５１０（撮影情報）は、情報処理装置１００のフラッシュメモリ１１４に記憶され、撮影装置から取り込んだ画像を管理するためのデータテーブルである。画像情報管理テーブル５１０は、画像ＩＤ５１１、撮影位置５１２、撮影方向５１３、画角５１４、撮影日時５１５、保存場所５１６を備える。

画像ＩＤ５１１は、画像ごとに割り振られる識別情報が格納される項目である。撮影位置５１２は、画像が撮影された位置を示す情報が格納される項目である。撮影方向５１３は、画像が撮影された方向を示す情報が格納される項目である。画角５１４は、画像が撮影された画角を示す情報が格納される項目である。撮影日時５１５は、画像が撮影された日時を示す情報が格納される項目である。保存場所５１６は、画像の保存場所を示す情報が格納される項目である。尚、図５に示す画像情報管理テーブル５１０のテーブル構成はあくまで一例であり、用途や目的に応じて様々な構成例があるため、これに限定されない。

ステップＳ６０１では、情報処理装置１００の関連設定部２０４は、フラッシュメモリ１１４に記憶された画像のうち、ステップＳ６０１乃至ステップＳ６０４の各処理を未実行の画像を参照する。ここでは、いずれか１つの画像を参照すればよい。

ステップＳ６０２では、情報処理装置１００の画像抽出部２０２は、ステップＳ６０１で参照した画像と設定画面４００で受け付けた抽出条件とから、当該画像とは異なる他の画像を抽出する。

具体的に説明する。まず、ステップＳ６０１で参照した画像の撮影日時と撮影位置を当該画像のＥｘｉｆから取得する。そして、当該撮影日時を基準として撮影日時条件５０３が示す日時の範囲に含まれる画像を抽出する。例えば、参照した画像の撮影日時が“２０１５／１１／２７ １１：２６：２５”で、撮影日時条件５０３が“１日”だった場合、“２０１５／１１／２６ １１：２６：２５”から“２０１５／１１／２８ １１：２６：２５”に撮影された画像を抽出する。抽出する際には、各画像の撮影日時５１５を用いる。すなわち、参照中の画像の撮影日時５１５から撮影日時条件５０３が示す日時の範囲内で撮影された他の画像を、他の画像の撮影日時５１５に基づいて抽出するということである。

また、この抽出された画像の中から、撮影位置条件５０２に基づいて更に画像を抽出する。例えば、図７に示すように、参照中の画像を撮影した位置が７０１で、撮影日時条件５０３で抽出された画像の撮影位置が７０３ａ〜７０３ｊの１０枚だった場合を想定する。この場合に、撮影位置条件５０２が“５００ｍ”だとすると、７０１から半径５００ｍの範囲（７０２が７０１を中心とする半径）で撮影された画像を更に抽出する。すると、７０３ａ〜７０３ｇの７枚が抽出される。抽出する際には、各画像の撮影位置５１２を用いる。すなわち、参照中の画像の撮影位置５１２から撮影位置条件５０２が示す距離の範囲内で撮影された他の画像を、他の画像の撮影位置５１２に基づいて抽出するということである。

ステップＳ６０３では、情報処理装置１００の画像抽出部２０２は、ステップＳ６０２で抽出された画像のうち、ステップＳ６０１で参照した画像（第１の画像データ）の撮影範囲に含まれる画像（第２の画像データ）を抽出する（特定手段）。より具体的には、参照中の画像の撮影範囲を、当該画像の撮影方向５１３と画角５１４とから特定する。そして特定した撮影範囲に含まれる撮影位置５１２を有する画像を特定する。例えば、図７に示す一例では、ステップＳ６０２を実行することにより、７０３ａ〜７０３ｇの位置で撮影された画像が抽出されている。この画像のうち、参照中の画像の撮影範囲７０４に含まれる位置で撮影された画像を抽出する。すなわち、７０３ａ〜７０３ｃの３枚が抽出される。

ここで抽出された３つの撮影位置における撮影方向を図７で参照すると、７０３ａと７０３ｂは参照中の画像と同様の方向を撮影しているが、７０３ｃは、参照中の画像とは明らかに異なる方向を撮影している。こうした画像は参照中の画像と関連性の低い画像であると判断できる。そのため、ステップＳ７０３では、更に画像認識部２０３は、参照中の画像と抽出された画像とをパターンマッチングし、参照中の画像に、抽出された画像に相当する領域が含まれているか否かを判定する。図８の８００に示す画像を参照している場合、ステップＳ６０３までに抽出された画像と８００に示す画像とをパターンマッチングする。その結果、８００に示す画像には８１０と８２０に示す画像に相当する（類似する）領域が含まれていることがわかる。つまり、８１０に示す画像は、８００に示す画像を撮影した位置とは異なる位置で８０１を写した画像であり、８２０に示す画像は、８００に示す画像を撮影した位置とは異なる位置で８０２を写した画像であることが特定される。

ステップＳ６０４では、情報処理装置１００の関連設定部２０４は、ステップＳ６０１で参照した画像と、ステップＳ６０３までで抽出した画像とを関連付ける。より具体的には、参照中の画像の画像ＩＤ５１１と抽出した画像の画像ＩＤ５１１との組を、図５に示す関連情報管理テーブル５２０に１組ずつ登録する。抽出した画像が複数あれば、その数だけレコードを作成してそれぞれ登録する。また、参照中の画像に含まれる、抽出された画像に相当する領域を示す座標も関連情報管理テーブル５２０に合わせて登録する。本実施形態では、パターンマッチングにより特定された領域を示す座標を登録するが、Ｅｘｉｆに含まれる撮影位置や撮影方向によって算出した領域の座標を登録する形態であってもよい。

関連情報管理テーブル５２０は、フラッシュメモリ１１４に記憶され、画像同士の関連付けを登録するためのデータテーブルである。関連情報管理テーブル５２０は、画像ＩＤ５２１、関連画像ＩＤ５２２、表示範囲５２３を備える。画像ＩＤ５２１は、ステップＳ６１０で参照している画像の画像ＩＤ５１１、すなわち関連元の画像の画像ＩＤ５１１が格納される項目である。関連画像ＩＤ５２２は、ステップＳ６０２及びステップＳ６０３で抽出された画像の画像ＩＤ５１１、すなわち関連先の画像の画像ＩＤ５１１が格納される項目である。表示範囲５２３は、画像ＩＤ５２１が示す画像に含まれる、関連画像ＩＤ５２２が示す画像に相当する領域を示す座標が格納される項目である。

このように、画像同士を関連付けて、関連情報管理テーブル５２０で管理しておくことにより、画像を表示する際に抽出された画像を合わせて表示することが可能となる。

ステップＳ６０６では、情報処理装置１００の関連設定部２０４は、フラッシュメモリ１１４に記憶された画像のうち、ステップＳ６０１乃至ステップＳ６０４の各処理を未実行の画像があるか否かを判定する。ステップＳ６０１乃至ステップＳ６０４の各処理を未実行の画像があると判定した場合には、ステップＳ６０１に処理を戻す。ステップＳ６０１乃至ステップＳ６０４の各処理を未実行の画像がないと判定した場合には、本一連の処理を終了する。

このように図６に示す処理を実行することで、画像同士が図８に示すような関係になる。すなわち、８００に示す画像には、８１０に示す画像に相当する領域（８０１）と８２０に示す画像に相当する領域（８０２）とが含まれており、更に８１０に示す画像には、８３０に示す画像に相当する領域（８１１）が含まれているという関係になっている。こうして、対象の画像の撮影範囲に含まれる位置で撮影された画像と、当該対象の画像とを関連付ける。

次に、画像を表示する場合に実行される一連の処理の流れについて、図９のフローチャートを用いて説明する。尚、図９に示すフローチャートはあくまで一例であり、これに限定されない。

以下説明するステップＳ９０１乃至ステップＳ９１２の各ステップは、情報処理装置１００のＣＰＵ１０１が各機能部を動作することにより実行される処理である。

ステップＳ９０１では、情報処理装置１００の表示制御部２０５は、図１０（ａ）に示すような画像一覧画面１０００をディスプレイ１１０に表示する。画像一覧画面１０００は、フラッシュメモリ１１４に記憶された画像を一覧表示するための画面である。この画面を表示し、全画面表示する画像に対する選択を受け付ける。

ステップＳ９０２では、情報処理装置１００の表示制御部２０５は、一覧表示された画像の中から選択された画像を、図１０（ｂ）に示すように全画面表示する。

ステップＳ９０３では、情報処理装置１００の表示制御部２０５は、全画面表示された画像、すなわちステップＳ９０１で選択された画像を対象画像として設定する。以下、ステップＳ９０１で選択された画像を対象画像という。

ステップＳ９０４では、情報処理装置１００の表示制御部２０５は、対象画像の表示倍率の変更指示を受け付けたか否かを判定する（変更指示受付手段）。例えば、タッチパネル１１１に対していわゆるピンチアウト・ピンチインの操作を受け付けると、対象画像の表示倍率の変更指示を受け付けたと判定する。対象画像の表示倍率の変更指示を受け付けたと判定した場合には、ステップＳ９０５に処理を進める。そうでない場合には、ステップＳ９０８に処理を進める。

ステップＳ９０５では、情報処理装置１００の表示倍率変更部２０６は、ユーザから指示された表示倍率を特定し、表示制御部２０５はユーザから指示された箇所を中心として、当該表示倍率で対象画像を拡大または縮小する（表示制御手段）。

ステップＳ９０６では、情報処理装置１００の動作設定部２０１は、表示設定５０１が“１”であるか否かを判定する。すなわち、対象画像に関連する画像を合わせて表示するモードであるか否かを判定する。表示設定５０１が“１”であると判定した場合には、ステップＳ９０７に処理を進める。表示設定５０１が“１”でない、つまり表示設定５０１が“０”であると判定した場合には、ステップＳ９０４に処理を戻す。

ステップＳ９０７では、情報処理装置１００は、関連画像表示処理を実行する。関連画像表示処理の詳細は図１１に示す。

図１１は、関連画像表示処理の詳細な処理の流れを示すフローチャートである。尚、図１１に示すフローチャートはあくまで一例であり、これに限定されない。

以下説明するステップＳ１１０１乃至ステップＳ１１１６の各ステップは、情報処理装置１００のＣＰＵ１０１が各機能部を動作することにより実行される処理である。

ステップＳ１１０１では、情報処理装置１００の表示制御部２０５は、ステップＳ９０５で、全画面表示された対象画像が縮小表示されたか否かを判定する。全画面表示された対象画像が縮小表示されたと判定した場合には、ステップＳ１１０４に処理を進める。そうでない場合には、ステップＳ１１０２に処理を進める。まずは、全画面表示された対象画像が縮小表示されていない場合（特に、拡大表示された場合）について説明し、全画面表示された対象画像が縮小表示された場合についてはその後で説明する。

ステップＳ１１０２では、情報処理装置１００の関連設定部２０４は、対象画像に関連先の画像があるか否かを判定する。関連情報管理テーブル５２０の画像ＩＤ５２１から対象画像の画像ＩＤを検索し、これが存在すれば関連先の画像が存在すると判定する。対象画像に関連先の画像があると判定した場合には、ステップＳ１１０３に処理を進める。対象画像に関連先の画像がないと判定した場合には、表示すべき他の画像が存在しないことになるので、関連画像表示処理を終了し、ステップＳ９０４に処理を戻す。

ステップＳ１１０３では、情報処理装置１００の表示制御部２０５は、対象画像の関連先の画像を関連画像として設定する。複数の関連先があれば、これらすべてを関連画像として設定する。以下、対象画像の関連先の画像を関連画像という。

ステップＳ１１０７では、情報処理装置１００の表示制御部２０５は、対象画像の表示倍率が変更されたので、関連画像の表示範囲５２３に格納された座標に基づいて、対象画像上に関連画像の存在を示す枠（以下、画像枠という。）を関連画像ごとに表示する。図８の８１０に示す画像を対象画像として設定し、この対象画像を全画面表示した例が図１２（ａ）である。図８の８１１に示すように、８３０に示す画像に相当する領域が８１０に示す画像に含まれているので、この８１１に示す領域を囲む枠を図１２（ｂ）の１２０１のように表示する。図１２（ｂ）は、拡大表示された対象画像に画像枠が重畳して表示された例である。表示倍率が変更された場合に画像枠を表示することにより、常に画像枠が表示されている場合よりも画像を閲覧しやすくなる。

ステップＳ１１０８では、情報処理装置１００の表示制御部２０５は、関連画像の表示面積を関連画像ごとに算出する。ここでいう表示面積とは、ディスプレイ１１０によって表示される範囲のうち、関連画像の範囲、すなわち画像枠の範囲内にあるドット数である。対象画像が拡大表示されると、それに伴い画像枠も拡大表示される。また、拡大表示された位置によっては画像枠の一部分しかディスプレイ１１０に表示されない場合もある。そのため、画像枠の範囲のうちディスプレイ１１０に表示されている範囲のドット数を算出する。例えば、画像枠が対象画像の拡大によって７００ドット×５００ドットで描画される場合には、関連画像の表示面積（ドット数）は、３５０，０００ドットとなる。

ステップＳ１１０９では、情報処理装置１００の表示制御部２０５は、ディスプレイ１１０の表示範囲の面積、すなわち画面全体の表示面積（ドット数）を取得する。例えばディスプレイ１１０が１０８０ドット×１９２０ドットであれば、２０７，３６００ドットとなる。

ステップＳ１１１０では、情報処理装置１００の表示制御部２０５は、ステップＳ１１０８で算出した関連画像の表示面積と、ステップＳ１１０９で取得した画面全体の表示面積とを用いて、関連画像の画面占有率を関連画像ごとに算出する。ここでいう画面占有率とは、関連画像が画面内を占有している面積の比率を示す。すなわち、「（関連画像の表示面積÷画面全体の表示面積）×１００」によって算出できる。

ステップＳ１１１１では、情報処理装置１００の表示制御部２０５は、ステップＳ１１１０で算出した画面占有率が２５％以上であるか、すなわち画面占有率が第一の閾値を満たすか否かを判定する。本実施形態では、第一の閾値を２５％としているが、０％より大きく１００％より小さければいくつでも構わない。いずれかの関連画像の画面占有率が２５％以上であると判定した場合には、ステップＳ１１１２に処理を進める。そうでない場合、すなわちいずれの関連画像についても表示倍率が２５％未満であると判定された場合には、関連画像表示処理を終了し、ステップＳ９０４に処理を戻す。すなわち、対象画像の表示倍率が２５％未満の場合には、画像枠だけが表示される。つまり、図１２（ｂ）に示すような状態となり、関連画像は表示されない。

ステップＳ１１１２では、情報処理装置１００の表示制御部２０５は、画面占有率が２５％以上の関連画像、すなわち第一の閾値を満たす関連画像を対象画像に重畳させた状態で、対象画像と関連画像とを表示する。関連画像が表示される位置は、関連画像の画像枠が表示されている位置、すなわち当該関連画像の表示範囲５２３の座標が示す位置である。関連画像はこの画像枠と同じ大きさになるように重畳表示される。例えば、８１０に示す画像（対象画像）の関連画像である８３０を表示範囲５２３に従って重畳表示させると、図１２（ｃ）の１２０２に示すような形態となる。図１２（ｃ）に示す通り、対象画像は拡大によりジャギーが発生して不鮮明になっているが、関連画像は拡大されていないので鮮明なままである。そして、ステップＳ１１１１とステップＳ１１１２は関連画像の数だけ繰り返し、実行する。

ステップＳ１１１３では、情報処理装置１００の表示制御部２０５は、ステップＳ１１１０で算出した画面占有率が１００％以上であるか、すなわち画面占有率が第二の閾値を満たすか否かを判定する。いずれかの関連画像の画面占有率が１００％以上であると判定した場合には、ステップＳ１１１４に処理を進める。そうでない場合、すなわちいずれの関連画像についても表示倍率が１００％未満であると判定された場合には、関連画像表示処理を終了し、ステップＳ９０４に処理を戻す。すなわち、対象画像の表示倍率が２５％以上１００％未満の場合には、画像枠と関連画像とが対象画像に重畳表示される。つまり、図１２（ｃ）に示すような状態となる。

ステップＳ１１１４では、情報処理装置１００の表示制御部２０５は、画面占有率が１００％以上であると判定された関連画像の画像枠を非表示にすると共に、対象画像についても非表示にする。

ステップＳ１１１５では、情報処理装置１００の表示制御部２０５は、画面占有率が１００％以上であると判定された関連画像を全画面表示する。すなわち、図１２（ｄ）に示すように関連画像だけを画面いっぱいに表示する。そして、ステップＳ１１１６では、情報処理装置１００の表示制御部２０５は、ステップＳ１１１４で全画面表示された関連画像を対象画像として設定する。そして、関連画像表示処理を終了し、ステップＳ９０４に処理を戻す。

すなわち、ユーザは対象画像に対する拡大操作を繰り返すことで、対象画像の関連画像を全画面表示することができる。また全画面表示された関連画像は対象画像となるので、再度拡大操作を行うと、関連画像の関連画像を全画面表示することができる。図８で言えば、はじめに８００に示す画像が対象画像として全画面表示されている場合に、８０１に示す領域を拡大していくと、８１０に示す画像が８０１の範囲に重畳表示され、更に拡大操作を繰り返すと８１０に示す画像が全画面表示される。そして、８１０に示す画像が対象画像となる。この８１０に示す画像に含まれる８１１に示す領域を拡大していくと、８３０に示す画像が８１１に示す領域に重畳表示される。そして、更に拡大操作を繰り返すと、８３０に示す画像が全画面表示される。

このように、表示倍率を変更することで対象画像の撮影範囲に含まれる画像が関連画像として重畳され、表示倍率の変更を繰り返すことで関連画像の関連先が更に表示できる。この技術を道案内等で用いることにより、ユーザに対してあたかも画像に向かって前進しているかのような感覚を与えることができる。

また、拡大する場合を例として説明したが、縮小する場合も同様である。図８で言えば、８３０に示す画像から８１０に示す画像、８１０に示す画像から８００に示す画像へと後退するイメージで表示することが可能となる。

全画面表示から縮小する場合には、ステップＳ１１０１からステップＳ１１０４に処理を進めることになる。ステップＳ１１０４では、情報処理装置１００の関連設定部２０４は、縮小表示された対象画像に関連元の画像があるか否かを判定する。関連情報管理テーブル５２０の関連画像ＩＤ５２２から対象画像の画像ＩＤを検索し、これが存在すれば関連元の画像が存在すると判定する。対象画像に関連元の画像があると判定した場合には、ステップＳ１１０５に処理を進める。対象画像に関連元の画像がないと判定した場合には、表示すべき他の画像が存在しないことになるので、関連画像表示処理を終了し、ステップＳ９０４に処理を戻す。

ステップＳ１１０５では、情報処理装置１００の表示制御部２０５は、縮小表示された対象画像を関連画像として設定する。更に、ステップＳ１１０６では、情報処理装置１００の表示制御部２０５は、縮小表示された対象画像の関連元の画像を対象画像とする。

全画面表示された状態から縮小表示されると、図１２（ｄ）から図１２（ｃ）に遷移するイメージとなる。つまり、全画面表示されていた対象画像は、縮小表示により関連画像となる。また、その関連画像が重畳する関連元の画像が対象画像となる。このように、対象画像と関連画像の設定を変更した上で、前述したステップＳ１１０７乃至ステップＳ１１１６を実行する。これを繰り返すことにより、ユーザに対してあたかも後退しているかのような感覚を与えることができる。

図９に説明を戻す。ステップＳ９０７の関連画像表示処理が完了したら、ステップＳ９０４に処理を戻す。

ステップＳ９０８では、情報処理装置１００の表示制御部２０５は、表示されている対象画像を他の画像に変更する指示を受け付けたか否かを判定する。例えば、左右に向かってスライド操作を受け付けることで、対象画像を変更する指示を受け付けたと判定する。表示されている対象画像を他の画像に変更する指示を受け付けたと判定した場合には、ステップＳ９０９に処理を進める。そうでない場合には、ステップＳ９１１に処理を進める。

ステップＳ９０９では、情報処理装置１００の表示制御部２０５は、表示中の対象画像の次の画像ＩＤ５１１または前の画像ＩＤ５１１を有する画像を、情報処理装置１００のフラッシュメモリ１１４から取得し、これを表示する。そして、ステップＳ９１０では、情報処理装置１００の表示制御部２０５は、表示された画像を対象画像として設定する。このように、表示倍率を変更することで画像を切り替える手段だけでなく、スライド操作等によって他の画像に切り替えることができる。ステップＳ９１０の処理が完了したら、ステップＳ９０４に処理を戻す。

ステップＳ９１１では、情報処理装置１００の表示制御部２０５は、画像一覧画面１０００の表示を終了する指示を受け付けたか否かを判定する。終了指示を受け付けたと判定した場合には、ステップＳ９１２に処理を進める。そうでない場合には、ステップＳ９０４に処理を戻す。

ステップＳ９１２では、情報処理装置１００の表示制御部２０５は、ステップＳ９０１で表示した画像一覧画面１０００を閉じて、本一連の処理を終了する。

以上説明したように、本実施形態によれば、画像データの表示倍率を変更することにより、当該画像データの撮影範囲において撮影された他の画像データを表示することが可能となる。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現（実行可能と）するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ディスプレイコントローラ
１０５ タッチパネルコントローラ
１０６ カメラコントローラ
１０７ センサコントローラ
１０８ ネットワークコントローラ
１０９ フラッシュメモリコントローラ
１１０ ディスプレイ
１１１ タッチパネル
１１２ カメラ
１１３ センサ
１１４ フラッシュメモリ

Claims (7)

1. 画像データを表示部に表示する情報処理装置であって、
   撮影された位置及び向きを含む撮影情報を、当該撮影により生成された画像データごとに記憶する記憶手段と、
   前記記憶手段に記憶された撮影情報を用いて、第１の画像データの撮影範囲において撮影された、当該第１の画像データとは異なる第２の画像データを特定する特定手段と、
   前記表示部に表示された第１の画像データの表示倍率を変更する指示を受け付ける変更指示受付手段と、
   前記変更指示受付手段で受け付けた指示に応じて、前記表示部に表示された第１の画像データの表示倍率を変更する表示制御手段と、
   を備え、
   前記表示制御手段は、前記特定手段で特定された第２の画像データを、当該表示制御手段で表示倍率が変更された第１の画像データに重畳して表示することを特徴とする情報処理装置。
2. 前記表示制御手段は、当該表示制御手段で表示倍率が変更された第１の画像データの撮影範囲のうち、前記表示部に表示されている範囲で撮影された第２の画像データを当該第１の画像データに重畳して表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記特定手段は、前記第１の画像データと前記第２の画像データとを画像認識することにより、前記第１の画像データにおける前記第２の画像データに相当する領域を更に特定し、
   前記表示制御手段は、前記第２の画像データを前記特定手段で特定した領域に重畳して表示することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記表示制御手段は、当該表示制御手段で表示倍率が変更された結果、前記第２の画像データを全画面表示することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記表示制御手段は、当該表示制御手段で変更された表示倍率が第１の閾値を満たす場合には、前記特定手段で特定された第２の画像データを、当該表示制御手段で表示倍率が変更された第１の画像データに重畳して表示し、当該表示制御手段で変更された表示倍率が第２の閾値を満たす場合には、前記特定手段で特定された第２の画像データを全画面表示することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 撮影された位置及び向きを含む撮影情報を、当該撮影により生成された画像データごとに記憶する記憶手段を備え、画像データを表示部に表示する情報処理装置の制御方法であって、
   前記情報処理装置の特定手段が、前記記憶手段に記憶された撮影情報を用いて、第１の画像データの撮影範囲において撮影された、当該第１の画像データとは異なる第２の画像データを特定する特定ステップと、
   前記情報処理装置の変更指示受付手段が、前記表示部に表示された第１の画像データの表示倍率を変更する指示を受け付ける変更指示受付ステップと、
   前記情報処理装置の表示制御手段が、前記変更指示受付ステップで受け付けた指示に応じて、前記表示部に表示された第１の画像データの表示倍率を変更する表示制御ステップと、
   を備え、
   前記表示制御ステップは、前記特定ステップで特定された第２の画像データを、当該表示制御ステップで表示倍率が変更された第１の画像データに重畳して表示することを特徴とする情報処理装置の制御方法。
7. 撮影された位置及び向きを含む撮影情報を、当該撮影により生成された画像データごとに記憶する記憶手段を備え、画像データを表示部に表示する情報処理装置の制御方法を実行可能なプログラムであって、
   前記情報処理装置を、
   前記記憶手段に記憶された撮影情報を用いて、第１の画像データの撮影範囲において撮影された、当該第１の画像データとは異なる第２の画像データを特定する特定手段と、
   前記表示部に表示された第１の画像データの表示倍率を変更する指示を受け付ける変更指示受付手段と、
   前記変更指示受付手段で受け付けた指示に応じて、前記表示部に表示された第１の画像データの表示倍率を変更する表示制御手段
   として機能させ、
   前記表示制御手段は、前記特定手段で特定された第２の画像データを、当該表示制御手段で表示倍率が変更された第１の画像データに重畳して表示することを特徴とするプログラム。
   
   

Images