JP2017084161A

JP2017084161A - 画像処理装置、表示装置及びその制御方法

Info

Publication number: JP2017084161A
Application number: JP2015212880A
Authority: JP
Inventors: 秀信秋吉; Hidenobu Akiyoshi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-10-29
Filing date: 2015-10-29
Publication date: 2017-05-18

Abstract

【課題】画像の内容をユーザが容易に判断できるサムネイル画像を生成して一覧表示する。【解決手段】画像データを取得する第１取得手段と、画像データに関連付けられた位置情報を取得する第２取得手段と、位置情報に基づき地図データを取得する第３取得手段と、位置情報に基づき画像データの撮影時の移動距離を判定する判定手段と、移動距離の判定結果に基づき画像データに対応するサムネイル画像を生成する第１生成手段と、複数の画像データの各々に対応するサムネイル画像を並べた一覧画像を生成する第２生成手段と、を備え、第１生成手段は、移動距離が閾値より大きいと判定された画像データに対応するサムネイル画像として地図データを用いた地図サムネイル画像を生成し、移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成することを特徴とする画像処理装置。【選択図】図２

Description

本発明は、画像処理装置、表示装置及びその制御方法に関する。

近年、デジタルビデオカメラの再生ユーザインターフェイス（以下ＵＩ）として、画像データをサムネイル画像にして一覧表示したインデックス画像を表示する方法が一般的になっている。ユーザがインデックス画像において所望の画像データのサムネイル画像を選択する操作を行うと、ビデオカメラはその画像データを再生し画面に表示する。
また近年、ビデオカメラに地球上での位置（緯度、経度、高度）を検出するグローバルポジショニングシステム（以下ＧＰＳ）が搭載されるようになってきた。撮影が行われた場所の情報を画像データに関連させて記録しておくことで、例えば再生する画像データを位置情報に基づき検索することができる。またＧＰＳで取得した位置情報とビデオカメラが持つ地図情報とを組み合わせることで移動経路を地図上に表示することも可能である。
特許文献１には、カーナビゲーションシステムにおいて、ドライブ履歴をアルバムという単位で記録し、ドライブにおける移動経路を地図上に示した地図サムネイル画像を表示することで、アルバムの識別を容易にする技術が提案されている。

特開２００６−１８５２６２号公報

特許文献１の技術はカーナビゲーションシステムに関するものであるため、各ドライブ履歴は比較的長距離の位置の移動の情報を持つと考えられる。一方、デジタルビデオカメラで撮影して得られる画像データの場合、例えば静止画像データやホームパーティ等の一定の場所で撮影した動画像データでは、位置の移動距離がゼロか又は短い。しかし、旅行時に撮影した動画像データでは位置の移動距離が長い。つまり撮影の状況によって、画像データに付与される位置情報には、移動距離の点でばらつきがある。特許文献１の技術では、インデックス画像は常に地図サムネイル画像により構成されるが、位置の移動距離が短い画像データの場合には、地図サムネイル画像を表示してもユーザが画像の内容を判断する助けにならない可能性がある。

本発明は、画像の内容をユーザが容易に判断できるサムネイル画像を生成して一覧表示することを目的とする。

本発明は、画像データを取得する第１取得手段と、
前記画像データに関連付けられた位置情報を取得する第２取得手段と、
前記位置情報に基づき地図データを取得する第３取得手段と、
前記位置情報に基づき前記画像データの撮影時の移動距離を判定する判定手段と、
前記移動距離の判定結果に基づき前記画像データに対応するサムネイル画像を生成する第１生成手段と、
複数の画像データの各々に対応するサムネイル画像を並べた一覧画像を生成する第２生成手段と、
を備え、
前記第１生成手段は、前記移動距離が閾値より大きいと判定された画像データに対応す
るサムネイル画像として前記地図データを用いた地図サムネイル画像を生成し、前記移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成することを特徴とする画像処理装置である。

本発明は、画像データを取得する第１取得手段と、
前記画像データに関連付けられた位置情報を取得する第２取得手段と、
前記位置情報に基づき地図データを取得する第３取得手段と、
前記位置情報に基づき前記画像データの撮影時の移動距離を判定する判定手段と、
前記移動距離の判定結果に基づき前記画像データに対応するサムネイル画像を生成する第１生成手段と、
複数の画像データの各々に対応するサムネイル画像を並べた一覧画像を生成する第２生成手段と、
を備え、
前記第１生成手段は、前記移動距離が閾値より大きいと判定された画像データに対応するサムネイル画像として前記地図データを用いた地図サムネイル画像を生成し、前記移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成することを特徴とする画像処理装置と、
前記画像処理装置により生成される一覧画像を表示する表示手段と、
を備える表示装置である。

本発明は、画像データを取得する第１取得工程と、
前記画像データに関連付けられた位置情報を取得する第２取得工程と、
前記位置情報に基づき地図データを取得する第３取得工程と、
前記位置情報に基づき前記画像データの撮影時の移動距離を判定する判定工程と、
前記移動距離の判定結果に基づき前記画像データに対応するサムネイル画像を生成する第１生成工程と、
複数の画像データの各々に対応するサムネイル画像を並べた一覧画像を生成する第２生成工程と、
を有し、
前記第１生成工程では、前記移動距離が閾値より大きいと判定された画像データに対応するサムネイル画像として前記地図データを用いた地図サムネイル画像を生成し、前記移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成することを特徴とする画像処理装置の制御方法である。

本発明は、画像データを取得する第１取得工程と、
前記画像データに関連付けられた位置情報を取得する第２取得工程と、
前記位置情報に基づき地図データを取得する第３取得工程と、
前記位置情報に基づき前記画像データの撮影時の移動距離を判定する判定工程と、
前記移動距離の判定結果に基づき前記画像データに対応するサムネイル画像を生成する第１生成工程と、
複数の画像データの各々に対応するサムネイル画像を並べた一覧画像を生成する第２生成工程と、
の各工程をコンピュータに実行させるプログラムであって、
前記第１生成工程では、前記移動距離が閾値より大きいと判定された画像データに対応するサムネイル画像として前記地図データを用いた地図サムネイル画像を生成し、前記移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成することを特徴とするプログラムである。

本発明は、画像データを取得する第１取得工程と、
前記画像データに関連付けられた位置情報を取得する第２取得工程と、
前記位置情報に基づき地図データを取得する第３取得工程と、
前記位置情報に基づき前記画像データの撮影時の移動距離を判定する判定工程と、
前記移動距離の判定結果に基づき前記画像データに対応するサムネイル画像を生成する第１生成工程と、
複数の画像データの各々に対応するサムネイル画像を並べた一覧画像を生成する第２生成工程と、
の各工程をコンピュータに実行させるプログラムを記録した記録媒体であって、
前記第１生成工程では、前記移動距離が閾値より大きいと判定された画像データに対応するサムネイル画像として前記地図データを用いた地図サムネイル画像を生成し、前記移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成することを特徴とする記録媒体である。

本発明によれば、画像の内容をユーザが容易に判断できるサムネイル画像を生成して一覧表示することができる。

表示装置の機能構成を示すブロック図表示装置を備えたカメラの外観とインデックス画像の一例を示す図画像データの構造の一例を示す図インデックス画像の一例を示す図画像データの再生方法の例を示す図インデックス画像の一例を示す図サムネイル画像生成処理の流れを示すフローチャート

以下、図面を用いて本発明の好ましい実施例を説明する。

（実施例１）
図１は、本発明の実施例１に係る表示装置の機能構成を示すブロック図である。表示装置１は、画像処理装置を備えた表示装置である。画像処理装置は、記録媒体２に記録された画像データの１フレームを縮小したサムネイル画像か、撮影時の位置情報に基づく地図サムネイル画像を生成し、それらサムネイル画像を用いて画像データを一覧表示するインデックス画像を生成する。後述するように、実施例１では、表示装置１はビデオカメラに備わるビューアである。記録媒体２は当該ビデオカメラに備わる記憶装置である。ビデオカメラによっては、メモリカード等の可搬記録媒体を取り付けてデータを読み込むことが可能な構成を有するものがある。そのような構成の場合には、記録媒体２は取り付けられた可搬記録媒体である。また、ビデオカメラによっては、無線又は有線の通信手段により外部装置の記録媒体から画像データを取得することが可能な構成を有するものもある。そのような構成の場合には、記録媒体２は通信手段により接続された外部装置である。

制御部１００は、表示装置１の全体制御を行う。
メモリ１０１は、データを一時的に蓄える。以下に述べる各処理部はこのメモリ１０１を使用し処理を行う。また地図サムネイルの生成に必要な地図データもメモリ１０１に格納される。
復号部１０２は、記録媒体２から取得した動画像データを復号する。
位置情報取得部１０３は、記録媒体２から取得した動画像データから、当該画像データに関連付けられた位置情報を取得する第２取得手段である。
記録媒体アクセス部１０４は、記録媒体２から動画像データを取得する第１取得手段で
ある。

画像合成部１０５は、後述するタッチパネル１０６に表示する画像データを生成する。画像合成部１０５は、復号部１０２で復号した動画像データから１フレームを抽出して縮小しサムネイル画像（縮小サムネイル画像という）を生成する。また、画像合成部１０５は、地図データと位置情報とを合成したサムネイル画像（地図サムネイル画像という）の生成も行う（詳細は後述する）。画像合成部１０５は、縮小サムネイル画像と地図サムネイル画像を並べて配置し、再生対象の画像データを選択することが可能なインデックス画像を生成する。
なお、画像合成部１０５は、各サムネイル画像に外枠のグラフィックスを付加して見栄えを良くする画像処理を行っても良い。また、動画像データに対応するサムネイル画像を動画像にしたり、縮小画像の視認性を高めるために高コントラスト化等の画像処理を行ったりしても良い。

画像合成部１０５は、動画像データを再生表示する場合、動画像データの各フレームを連続的に復号し、１フレームずつメモリ１０１に格納する。そして、再生表示画面を構成するＧＵＩ（Graphical User Interface）部品等と合成し、タッチパネル１０６に出力する。

タッチパネル１０６は、画像を表示する表示手段としての機能と、表示装置１に指示（コマンド）を入力するためのユーザ操作を受け付ける操作手段又は入力手段としての機能とを有する。タッチパネル１０６は、画像合成部１０５で生成された画像データに基づく画像を画面に表示する。また、タッチパネル１０６は、画面の表面に設けられたタッチセンサによりユーザがタッチした画面上の位置を検出し、位置に基づく指示内容を制御部１００に通知する。

地図管理部１０７は、地図データを記憶する記憶手段である。制御部１００は位置情報を地図管理部１０７に送信し、位置情報に対応する地図データを要求する。地図管理部１０７は、制御部１００からの要求に応じた地図データを読み出し、メモリ１０１に格納する。制御部１００はメモリ１０１から当該地図データを読み出して後述する地図サムネイル画像の生成に用いる。

図２（Ａ）は、表示装置１をビューア２０１として備えるビデオカメラ２００の外観を示す図である。ビデオカメラ２００による撮影や、撮影した画像データの再生、コマンド入力は、タッチパネル方式のビューア２０１により行うことができる。
図２（Ｂ）は、撮影した画像データを再生するときにビューア２０１に表示されるインデックス画像２０２を示す。この例では、インデックス画像２０２はサムネイル画像２１０、２１１及び２１２を含む。これらのサムネイル画像はいずれもこのビデオカメラ２００に搭載された記録媒体２に記録されている静止画像又は動画像の画像データから生成されたサムネイル画像である。サムネイル画像の生成は、画像合成部１０５により行われる。

サムネイル画像２１０は静止画像データから生成されたサムネイル画像である。
サムネイル画像２１１はある地点に留まって１０秒程度の連続的な撮影を行って得られた動画像データから生成されたサムネイル画像である。画像合成部１０５は、例えば、当該動画像データの先頭１フレームを縮小してサムネイル画像２１１を生成する。
サムネイル画像２１２はある程度の距離を歩きながら連続的な撮影を行って得られた動画像データから生成されたサムネイル画像である。画像合成部１０５は、この動画像データに対し、先頭１フレームを縮小した画像をサムネイル画像とはせず、後述する手順に従って動画像データの関連付けられた位置情報に基づき地図サムネイル画像を生成する。

図３は、動画像データにおける位置情報について説明する図である。ここでは２つの動画像データのファイル形式について説明する。
図３（Ａ）に示すファイル形式３００では、符号化された動画像データのファイル３０２と、動画像データのフレーム情報を管理する管理ファイル３０１とが分かれている。例えばＡＶＣＨＤ形式がこれに該当する。
図３（Ｂ）に示すファイル形式３５０では、符号化された動画像データ３５３と、動画像データ３５３のフレーム情報を管理する管理データ３５４とが一体となっている。例えばＭＯＶ形式がこれに該当する。

まず、図３（Ａ）のファイル形式３００について説明する。符号化された動画像データのファイル３０２を構成する１フレームのデータ３０３は、例えば３０フレーム／秒で記録された動画像データの場合、１／３０秒間分の動画像の符号化情報が格納されている。さらに、フレームデータ３０３には、この１フレームの期間に対応する位置情報（ＧＰＳ情報）が格納される。動画像データのファイル３０２は、全てのフレームデータ３０３に位置情報を持つことができる。一方、管理ファイル３０１には、動画像データのファイル３０２を構成する各フレームデータを参照するためのアドレス情報やファイルサイズ情報が格納されている。管理ファイル３０１は、位置情報管理データ３０４を含む。位置情報管理データ３０４は、全フレームのうち一部のフレームの位置情報（例えば１０秒毎のフレームの位置情報）を抽出し格納する。このようにして抽出した位置情報により、動画像データにおける位置情報の概略（概略位置情報という）を得ることができる。すなわち、動画像データのファイル３０２の全フレームデータに対し位置情報をサーチしなくても、管理ファイル３０１の位置情報管理データ３０４を参照して、概略位置情報に基づきこの動画像データの撮影時のおおよその位置の移動の様子を判断できる。

次に、図３（Ｂ）のファイル形式３５０について説明する。ファイル形式３５０は、図３（Ａ）のファイル形式３００における管理ファイル３０１に相当するＭＯＯＶと、図３（Ａ）のファイル形式３００における符号化された動画像データのファイル３０２に相当するＭＤＡＴとを結合した構成である。ＭＤＡＴ３５２を構成するフレームデータ３５３は、符号化された動画像データの１フレームのデータと１フレーム期間の位置情報が格納されている。位置情報管理データ３５４は、フレームデータ３５３に格納された位置情報から１０秒毎の位置情報を抽出し格納し、ＭＯＯＶ３５１の一部を構成する。このファイル形式３５０においても、位置情報管理データ３５４を参照して、概略位置情報に基づきこの動画像データの撮影時のおおよその位置の移動を判断できる。

図７は、位置情報を有する動画像データに基づき地図サムネイル画像を生成する処理の流れを示すフローチャートである。この処理は、ユーザがタッチパネル１０６に対しビデオカメラ２００に蓄積された画像データの再生を指示するコマンドを入力する操作を行うと、制御部１００により開始される。

ステップＳ７０１において、制御部１００は、記録媒体アクセス部１０４を介して記録媒体２から静止画像データや動画像データを読み込み、メモリ１０１に格納する。復号部１０２はメモリ１０１に格納された静止画像データや動画像データの先頭フレームの画像データを復号しメモリ１０１に格納する。

ステップＳ７０２において、制御部１００はステップＳ７０１で読み込んだ静止画像データや動画像データに含まれる位置情報の画像データにおける格納場所を特定する。
制御部１００は、記録媒体２から動画像データを読み込んだ場合、図３の位置情報管理データ３０４、３５４のように概略位置情報が格納されている場所を探す。例えば動画像データがＭＯＶ形式の場合、ＵＤＴＡと呼ばれる任意のメタデータを格納できる領域があ
るので、そこを調べることで動画像データにおける位置情報の格納場所を特定できる。
制御部１００は、記録媒体２から静止画像データを読み込んだ場合、静止画像データのヘッダ部分における位置情報が格納されている場所を探す。例えば、ＪＰＥＧ形式の静止画像データの場合、ＥＸＩＦ情報を調べることで静止画像データにおける位置情報の格納場所を特定できる。

ステップＳ７０３において、位置情報取得部１０３は、ステップＳ７０１で読み込んだのが動画像データの場合、メモリ１０１に格納された動画像データの位置情報管理データ３０４、３５４から概略位置情報を抽出する。位置情報取得部１０３は、ステップＳ７０１で読み込んだのが静止画像データの場合、メモリ１０１に格納された静止画像データのヘッダ部分から位置情報を抽出する。

ステップＳ７０４において、制御部１００は、ステップＳ７０３で抽出した位置情報から動画像データや静止画像データの移動判定パラメータを計算する。移動判定パラメータとは、撮影が行われた期間内での撮影位置の変化量（移動距離）を表す指標である。

動画像データの場合、制御部１００は、ステップＳ７０３で抽出した概略位置情報を解析して移動判定パラメータを計算する。実施例１では、概略位置情報には１０秒毎の位置情報が含まれる。制御部１００は、概略位置情報に含まれる位置情報に基づき、撮影開始時の位置（基準位置という）と、撮影時の移動経路上の位置のうち基準位置から最も遠い位置と、の距離を求め、これを移動判定パラメータとする。撮影開始時の位置は、動画像データの先頭フレームに記録された位置情報に基づく位置である。移動判定パラメータの定義はこれに限らず、例えば、基準位置は撮影終了時の位置としても良い。
静止画像データの場合、撮影が行われた期間内での撮影位置の変化量（移動距離）はゼロである。従って、制御部１００は、静止画像データの移動判定パラメータをゼロとする。
なお、ここでは、移動判定パラメータの定義を、動画像データの撮影開始（記録開始）から撮影終了（記録終了）までの間で、撮影開始地点から、当該地点からの距離が最も遠い移動場所までの距離としたが、この例に限らない。

ステップＳ７０５において、制御部１００は、ステップＳ７０４で算出した移動判定パラメータに基づき、画像データの撮影時の移動距離を判定する。具体的には、制御部１００は、画像データが、比較的長距離の移動をしながら撮影された画像データ（移動撮影画像データという）であるか、ほぼ一定箇所に留まって撮影された画像データであるか（静止撮影画像データという）を判定する。ここでは、制御部１００は、移動判定パラメータが閾値より大きい場合に、移動撮影画像データであると判定し、ステップＳ７０６に進む。移動判定パラメータが閾値以下の場合に、静止撮影画像データであると判定し、ステップＳ７０７に進む。

判定の閾値は、例えば５０メートルとする。この場合、例えばホームパーティを撮影した動画像データの移動判定パラメータが２０メートルであったとすると、制御部１００は当該動画像データは静止撮影画像データであると判定する。一方、車窓風景を撮影した動画像データの移動判定パラメータが２５０メートルであったとすると、制御部１００は当該動画像データは移動撮影画像データであると判定する。また、静止画像データの場合、移動判定パラメータはゼロであるから、制御部１００は、移動判定パラメータが閾値以下であると判定し、静止撮影画像データであると判定する。

ステップＳ７０６において、画像合成部１０５は、移動撮影画像データに適したサムネイル画像を生成する。実施例１では、画像合成部１０５は、移動撮影画像データに対し、地図サムネイル画像を生成する。具体的には、まず制御部１００が、ステップＳ７０３で
取得した概略位置情報を地図管理部１０７に送信し、該当概略位置情報に対応する地図データを地図管理部１０７から取得する第３取得手段として機能する。制御部１００は、取得した地図データをメモリ１０１に格納する。概略位置情報に対応する地図データは、例えば、概略位置情報に含まれる１０秒毎の撮影位置の全てが包含する範囲の地図データである。制御部１００は、このようにして取得した地図データと概略位置情報を画像合成部１０５に送る。画像合成部１０５は、メモリ１０１に格納されている地図データに、概略位置情報に含まれる１０秒毎の撮影位置を示す画像をプロットし、地図サムネイル画像を生成し、メモリ１０１に格納する。画像合成部１０５は、位置情報に基づき、画像データの撮影時の移動経路を示す画像を地図データに合成して地図サムネイル画像を生成しても良い。これにより図２（Ｂ）の地図サムネイル画像２１２のように、撮影時の移動経路が地図上に表示され、どのような移動を行いながら撮影された画像であるのかをサムネイル画像から容易に把握できる。

なお、地図データ上に撮影位置をプロットした画像の生成方法は種々の方法が考えられる。例えば撮影位置に円、四角形、三角形のような点画像を配置したり、それらの点画像を結ぶ直線又は曲線の線画像を配置したり、移動方向を示す矢印画像を配置したりしても良い。また、撮影時刻に基づき移動速度を求め、速度に応じて点画像や線画像の色や大きさを異ならせても良い。

ステップＳ７０７において、画像合成部１０５は、静止撮影画像データに適したサムネイル画像を生成する。実施例１では、画像合成部１０５は、静止撮影画像データに対し、当該画像データの内容を示すサムネイル画像を生成する。例えば、画像合成部１０５は、メモリ１０１に格納されている復号した画像データの先頭フレームの画像を縮小して、サムネイル画像を生成し、メモリ１０１に格納する。
なお、画像データの内容を示すサムネイル画像を生成する方法は種々の方法が考えられる。画像データの先頭フレームに限らず、先頭フレームから所定フレーム数又は所定時間経過したフレームを抽出して縮小してサムネイル画像としても良い。また、明るさや画像レベル等やその時間変化に基づき最も画像の内容を代表すると考えられるフレームを抽出して縮小してサムネイル画像としても良い。

制御部１００は、記録媒体２に記憶されている複数の静止画像データ及び動画像データの各々を記録媒体アクセス部１０４を介して読み出し、各画像データに対し上記ステップＳ７０１〜ステップＳ７０７の処理（サムネイル画像生成処理）を行う。このように、サムネイル画像生成処理では、画像合成部１０５は、画像データの撮影時の移動距離の判定結果に基づき、画像データに対応するサムネイル画像として地図サムネイル画像又は縮小サムネイル画像を生成する第１生成手段である。画像合成部１０５は、移動距離が閾値より大きいと判定された画像データに対応するサムネイル画像として地図データを用いた地図サムネイル画像を生成する。一方、画像合成部１０５は、移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成する。

ステップＳ７０８において、制御部１００は、記録媒体２に記憶されている全ての画像データについて上記のサムネイル画像生成処理が完了したか判定する。まだサムネイル画像生成処理を行っていない画像データがある場合、ステップＳ７０１に戻り、未処理の画像データについてサムネイル画像生成処理を実行する。全ての画像データについてサムネイル画像生成処理が完了した場合、ステップＳ７０９に進む。各画像データについて生成したサムネイル画像はメモリ１０１に格納されていく。全ての画像データについてサムネイル画像生成処理が行われると、画像データの数だけサムネイル画像がメモリ１０１に格納されることになる。

ステップＳ７０９において、画像合成部１０５は、各画像データについてステップＳ７０６又はステップＳ７０７で生成されたサムネイル画像を所定のレイアウトで並べた一覧画像であるインデックス画像２０２を生成する第２生成手段として機能する。生成されたインデックス画像２０２はタッチパネル１０６に出力され表示される。

図４は、インデックス画像２０２における地図サムネイル画像の表示態様の一例を示す図である。図２で説明したインデックス画像２０２では、地図サムネイル画像２１２は通常の縮小サムネイル画像２１０と同じサイズで並べる例を説明した。図４のインデックス画像２０２では、地図サムネイル画像４０３を、通常の縮小サムネイル画像４０１、４０２より大きいサイズで表示する。地図サムネイル画像４０３には地名や地図記号、概略位置情報を示す画像が表示されるが、大きいサイズで表示されるため、これらの情報の視認性が高くなる。このように、画像合成部１０５は、ステップＳ７０６で地図サムネイル画像を生成する際に、ステップＳ７０７で生成する縮小サムネイル画像よりも大きいサイズのサムネイル画像を生成するようにしても良い。或いは、ステップＳ７０６及びステップＳ７０７では同じサイズでサムネイル画像を生成し、ステップＳ７０９でサムネイル画像を並べてインデックス画像を生成する際に、地図サムネイル画像が縮小サムネイル画像より大きくなるような画像処理を行っても良い。

（実施例２）
実施例２では、位置情報を持った動画像データを再生する際の表示制御について説明する。実施例２の表示装置の構成は実施例１で説明した図１の構成と同様である。
ユーザがビデオカメラに記録された画像データの再生を行う指示を入力する操作を行うと、タッチパネル２０１にはインデックス画像２０２が表示される。ユーザは、タッチパネル２０１に対し、インデックス画像２０２に表示されるサムネイル画像のうち再生したい画像データのサムネイル画像をタッチする操作を行う。タッチパネル２０１はユーザがタッチした位置の情報を制御部１００に送る。制御部１００は画面上のタッチ位置の情報に基づき、インデックス画像２０２のうちどのサムネイル画像がタッチされたかを判定し、タッチされたサムネイル画像に対応する符号化画像データを記録媒体２から読み出して復号するよう復号部１０２に指示する。復号部１０２は復号して得られた画像データを画像合成部１０５に出力し、画像合成部１０５は所定のＧＵＩ部品と合成してタッチパネル１０６に出力する。以上の処理により画像データの再生が行われる。

図５は、位置情報を持った動画像データを再生する際の表示制御の例を示す図である。
図５（Ａ）では、動画像データの再生を行う際に、位置情報取得部１０３は、動画像データに位置情報が含まれるか否かを判断する。位置情報が含まれる場合、画像合成部１０５は、再生画像表示から地図表示に切り替える指示を入力することが可能なＧＵＩ部品（ボタン５０４）を生成し、再生画像に合成してタッチパネル１０６に出力する第４生成手段として機能する。これにより、ユーザは、動画像データに基づく画像の表示（再生画像表示という）５０１、５０２、５０３に表示されたボタン５０４にタッチすることで、再生画像表示５０１、５０２、５０３から地図表示５０５に切り替えることができる。地図表示５０５に表示する地図画像には、概略位置情報に基づき移動経路を示す画像を合成して表示しても良い。また、ボタン５０４をタッチした時点で再生画像として表示されていたフレームに対応付けられた位置情報に基づき、例えば現在位置を示す画像を地図画像に表示してもよい。制御部１００は、ユーザのタッチ操作に応じて再生画像表示と地図表示とを切り替える処理を行う。

図５（Ｂ）では、動画像データの再生を開始する際に位置情報取得部１０３が位置情報を持つか否かを判断し、位置情報を持つ動画像データである場合、画像データの再生時にまず地図表示５１１を行い、その後、再生画像表示５１２、５１３を行う。制御部１００がこの表示制御を行う。
図５（Ｃ）では、逆に、画像データの再生時にまず再生画像表示５２１、５２２を行い、その後、地図表示５２３を行う。
このように、位置情報を持つ動画像データを再生する場合に、位置情報に基づく地図表示を行うことにより、ユーザは画像データの内容を把握しやすくなる。制御部１００がこの表示制御を行う。

なお、実施例２では位置情報を持つ動画像データを再生する場合の表示制御について説明したが、動画像データに限らず、位置情報を持つ静止画像データを再生する場合にも同様の表示制御を行っても良い。例えば、静止画像データの再生画像表示に、撮影地点を含む地図表示に切り替える指示を入力するためのＧＵＩを表示しても良い。また、位置情報を持つ静止画像データの再生を行う場合に、まず撮影地点を示す地図表示を行い、その後（例えば所定時間経過後、又はユーザの指示に応じて）、再生画像表示を行っても良いし、逆に、まず再生画像表示を行い、その後、地図表示を行っても良い。

（実施例３）
実施例３では、地図画像にサムネイル画像を配置して、サムネイル画像に対応する画像データの撮影が行われた地点を地図上で確認できるような表示（地図表示モードという）を行う例を説明する。実施例３の表示装置の構成は実施例１で説明した図１の構成と同様である。

図６は、地図表示モードによる地図画像とサムネイル画像の表示例を示す図である。地図画像表示モードでは、タッチパネル２０１に地図画像６０１が表示され、この地図画像上に、サムネイル画像６０２，６０３、６０４が表示される。各サムネイル画像が表示される地図画像上の位置は、各サムネイル画像に対応する画像データが持つ位置情報に基づき決定される。
制御部１００は、記録媒体アクセス部１０４を介して記録媒体２から複数の静止画像データや動画像データを読み込む。位置情報取得部１０３は、制御部１００が読み込んだ画像データが位置情報を持つか判定し、位置情報を持つ画像データの場合、位置情報を抽出し、メモリ１０１に格納する。

制御部１００は、各画像データの位置情報から、代表位置を求める。
静止画像データの場合、位置情報取得部１０３が抽出した位置情報には１つの撮影地点の情報が含まれるので、位置情報が示す位置を代表位置とする。

実施例１のステップＳ７０４で説明した移動判定パラメータを求めた場合に閾値以下になるような動画像データ（静止撮影画像データ）の場合、位置情報には複数の位置の情報が含まれる。静止撮影画像データの場合、撮影期間において大きな移動がないため、例えば複数の位置の平均や、複数の位置のいずれか１つの位置を、代表位置とする。

実施例１のステップＳ７０４で説明した移動判定パラメータを求めた場合に閾値より大きくなるような動画像データ（移動撮影画像データ）の場合、位置情報には複数の位置の情報が含まれる。移動撮影画像データの場合、撮影期間において大きな移動があるため、例えば撮影開始時の位置や、撮影終了時の位置を、代表位置とする。なお、代表位置の決め方は上記の例に限らない。

制御部１００は、１つの地図画像にサムネイル画像を合成する対象となる複数の画像データの代表位置を全て包含するような範囲の地図データを地図管理部１０７に要求し、取得する第４取得手段として機能する。

画像合成部１０５は、各画像データに対応するサムネイル画像を、地図画像上の各画像
データの代表位置に対応する位置に配置する第３生成手段として機能する。地図表示モードでは、サムネイル画像は、画像データが静止撮影画像データであるか移動撮影画像データであるかによらず、地図サムネイル画像ではなく縮小サムネイル画像とする。

図６において、サムネイル画像６０２は、静止画像データに対応する。画像合成部１０５は、静止画像データから縮小サムネイル画像を生成し、地図画像６０１における、静止画像データの代表位置に対応する位置に、縮小サムネイル画像を配置する。

サムネイル画像６０３は、動画像データに対応する。サムネイル画像６０３に対応する動画像データは、移動撮影画像データであるとする。実施例１では、画像合成部１０５は、移動撮影画像データに対応するサムネイル画像として地図サムネイル画像を生成してインデックス画像に配置した。しかし図６の地図表示モードの場合には、背景画像がすでに地図画像である。そこで、画像合成部１０５は、移動撮影画像データであっても地図サムネイル画像ではなく縮小サムネイル画像を生成し、地図画像６０１における、動画像データの代表位置に対応する位置に、縮小サムネイル画像を配置する。

サムネイル画像６０４は、動画像データに対応する。サムネイル画像６０４に対応する動画像データは、静止撮影画像データであるとする。実施例１では、画像合成部１０５は、静止撮影画像データに対応するサムネイル画像として縮小サムネイル画像を生成してインデックス画像に配置した。図６の地図表示モードでも同様に、画像合成部１０５は、縮小サムネイル画像を生成し、地図画像６０１における、動画像データの代表位置に対応する位置に、縮小サムネイル画像を配置する。

このように、地図表示モードで表示を行うことにより、ユーザは、各画像データが地図上のどこで撮影されたものか容易に把握することができる。また、画像データの撮影期間内での撮影位置の変化量（移動距離）によらず地図サムネイル画像ではなく縮小サムネイル画像が地図上に配置される。従って、背景の地図画像と、画像データの内容を示す縮小サムネイル画像とにより、ユーザは、画像データが撮影された位置と内容の両方を直感的に容易に把握することができる。

上記の実施例１は、長時間にわたって一定間隔で静止画像データを撮影し続けるインターバル撮影することにより得られる静止画像データのグループ（グループ画像データという）にも適用できる。グループ画像データのサムネイル画像を生成する場合には、位置情報取得部１０３は、グループ画像データに含まれる複数の静止画像データの一部又は全部が持つ位置情報を取得する。制御部１００は、その位置情報に基づき、そのグループ画像データが、移動しながらインターバル撮影したものか、大きく移動せずにインターバル撮影したものかを判定する。前者であれば、画像合成部１０５は、上述した移動撮影画像データの場合と同様に、位置情報と地図画像に基づき地図サムネイル画像を生成する。後者であれば、画像合成部１０５は、上述した静止撮影画像データの場合と同様に、グループ画像データに含まれるいずれかの静止画像データを縮小した縮小サムネイル画像を生成する。画像合成部１０５は、生成した地図サムネイル画像又は縮小サムネイル画像をレイアウトしてインデックス画像を生成する。

実施例２、３についても同様に、グループ画像データに適用できる。例えばグループ画像データを構成する静止画像データが位置情報を持つ場合、再生画像表示に地図表示への切り替え指示を入力可能なＧＵＩを表示したり、地図表示を行ってから再生画像表示を行ったり、その逆の順で表示を行うことができる。地図画像上にサムネイル画像を配置する地図表示モードでは、グループ画像データを構成する静止画像データが位置情報を持っていて、かつ移動撮影画像データに相当する撮影位置の変化量（移動距離）である場合にも、縮小サムネイル画像を生成しても良い。

また上記各実施例はビデオカメラのビューアとして備えられたタッチパネル方式の表示装置に表示させるインデックス画像の生成処理に本発明を適用した例であるが、本発明の適用はこれに限られない。本発明は、複数の画像データから複数のサムネイル画像を生成し、サムネイル画像を並べてインデックス画像を生成する画像処理装置に適用できる。

また本発明は、このような画像処理装置を備え、この画像処理装置により生成されたインデックス画像を表示する表示手段を備えた表示装置に適用できる。表示手段は、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、ＭＥＭＳ（Micro Electro Mechanical Systems）シャッター方式ディスプレイ、ＣＲＴ（cathode-ray tube）等でも良い。
また表示手段は、上記実施例のようにタッチパネル方式の入力装置を備えた構成でも良いし、タッチパネル方式の入力装置を備えない構成でも良い。タッチパネル方式の入力装置を備えない構成の場合、ユーザが表示装置や画像処理装置に指示を入力するための入力手段としては、キーボード、マウス、リモコン、本体に備わるボタン等を例示できる。

また本発明は、このような表示装置を備えたデジタルビデオカメラやデジタルスチルカメラ等の撮像装置、タブレットやスマートホン等の携帯端末、デジタルテレビやゲーム機等のＡＶ（Audio Visual）機器等に適用できる。

サムネイル画像を生成する対象となる画像データは、これら本発明を適用する装置に備わる内蔵記憶装置に記録されている画像データであっても良いし、外部の記憶装置に記憶されている画像データであっても良い。外部記憶装置から画像データを取得するための手段は、例えば有線又は無線接続によるデータ通信手段や、メモリカード等の可搬記憶媒体に対しデータの読み書きをする手段を例示できる。どのような記憶装置から取得するにせよ、画像データに対応付けられた撮影地点を示す位置情報を画像データと関連付けて取得可能な構成であれば本発明を適用できる。

図３（Ａ）のように画像データファイルと位置情報ファイルが別々のファイル形式の場合、位置情報ファイルは画像データの撮影時に撮像装置に備わるＧＰＳシステムによって生成されるファイルでも良いし、別のシステムにより生成されたファイルでも良い。例えば、ＧＰＳロガーによって記録した位置情報ファイルを手動で画像データに関連付けることが可能な構成としても良い。こうすることで位置情報を記録する機能を有しないカメラで撮影した画像データに任意の位置情報ファイルを関連付け、関連付けられた位置情報ファイルに基づき移動撮影画像データか静止撮影画像データかの判定を行ってサムネイル画像を生成することができる。

上記実施例では、動画像データの位置情報としては、全フレームの位置情報を取得するのではなく、全フレームの位置情報を要約した情報（概要の情報）を管理ファイルやヘッダから取得し、この要約情報に基づいて撮影時の移動距離の判定を行った。要約情報のための位置情報を取得するフレームを全フレームのうちのどのフレームから抽出するかは任意である。実施例では１０秒毎のフレームの位置情報を用いて要約情報とする例示したが、フレームを抽出する間隔はこれに限らない。また一定間隔でフレームを抽出するのではなく、例えばシーンチェンジが検出されてフレームを要約情報のために抽出しても良い。動画像データの位置情報として全フレームの位置情報を用いてももちろん良い。

上記実施例で説明した画像処理の各工程からなる制御方法、各工程をコンピュータやスマートホンに実行させるプログラム、アプリケーション、ソフトウェア、及びそれらを記録した記録媒体は本発明の範囲に含まれる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：制御部、１０３：位置情報取得部、１０４：記録媒体アクセス部、１０５：画像合成部、１０７：地図管理部

Claims

画像データを取得する第１取得手段と、
前記画像データに関連付けられた位置情報を取得する第２取得手段と、
前記位置情報に基づき地図データを取得する第３取得手段と、
前記位置情報に基づき前記画像データの撮影時の移動距離を判定する判定手段と、
前記移動距離の判定結果に基づき前記画像データに対応するサムネイル画像を生成する第１生成手段と、
複数の画像データの各々に対応するサムネイル画像を並べた一覧画像を生成する第２生成手段と、
を備え、
前記第１生成手段は、前記移動距離が閾値より大きいと判定された画像データに対応するサムネイル画像として前記地図データを用いた地図サムネイル画像を生成し、前記移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成することを特徴とする画像処理装置。
前記第１生成手段は、前記位置情報に基づき、前記画像データの撮影時の移動経路を示す画像を前記地図データに合成して前記地図サムネイル画像を生成する請求項１に記載の画像処理装置。
前記第３取得手段は、前記位置情報に基づき前記画像データが撮影された位置を包含する範囲の地図データを取得する請求項１又は２に記載の画像処理装置。
前記第１生成手段は、前記地図サムネイル画像のサイズを前記縮小サムネイル画像のサイズより大きくする請求項１〜３のいずれか１項に記載の画像処理装置。
前記画像データを構成する各フレームに位置情報が関連付けられており、
前記判定手段は、前記画像データを構成するフレームのうち一部のフレームの位置情報に基づき前記移動距離を判定する請求項１〜４のいずれか１項に記載の画像処理装置。
前記判定手段は、前記画像データが動画像データの場合、動画像データの撮影開始時又は撮影終了時における基準位置と、前記動画像データの撮影時の移動経路上の位置のうち前記基準位置から最も遠い位置と、の距離に基づき移動距離を判定する請求項１〜５のいずれか１項に記載の画像処理装置。
前記判定手段は、前記画像データが静止画像データの場合、前記移動距離は閾値以下であると判定する請求項１〜６のいずれか１項に記載の画像処理装置。
前記複数の画像データの各々に関連付けられた位置情報に基づき、各画像データが撮影された位置を包含する範囲の地図データを取得する第４取得手段と、
前記複数の画像データの各々に対応するサムネイル画像を前記第４取得手段が取得した地図データに基づく地図画像上に並べた一覧画像を生成する第３生成手段と、
を備え、
前記第１生成手段は、前記第３生成手段が生成する前記一覧画像に並べるためのサムネイル画像を生成する場合には、前記移動距離の判定結果によらず縮小サムネイル画像を生成する請求項１に記載の画像処理装置。
前記第３生成手段は、前記画像データが静止画像データの場合、前記第４取得手段が取得した地図データに基づく地図画像上の当該静止画像データが撮影された位置に対応する位置に当該静止画像データの縮小サムネイル画像を配置し、前記画像データが動画像デー
タの場合、前記第４取得手段が取得した地図データに基づく地図画像上の当該動画像データの撮影時の移動経路上の位置のうちの代表位置に対応する位置に当該動画像データの縮小サムネイル画像を配置する請求項８に記載の画像処理装置。
前記地図データを記憶する記憶手段を備え、
前記第３取得手段は前記記憶手段から前記地図データを取得する請求項１〜７のいずれか１項に記載の画像処理装置。
前記地図データを記憶する記憶手段を備え、
前記第４取得手段は前記記憶手段から前記地図データを取得する請求項８又は９に記載の画像処理装置。
前記画像データに基づく画像表示と、前記第３取得手段により取得した地図データに基づく地図表示と、を切り替える指示を入力するためのＧＵＩ（Graphical User Interface）部品を前記画像データに基づく画像に合成した画像を生成する第４生成手段と、
指示の入力に応じて前記画像データの再生における前記画像表示と前記地図表示との切り替えを行う制御手段と、
を備える請求項１〜１１のいずれか１項に記載の画像処理装置。
画像データの再生時に、まず前記第３取得手段により取得した地図データに基づく地図表示を行った後、前記画像データに基づく画像表示を行うよう制御する制御手段を備える請求項１〜１１のいずれか１項に記載の画像処理装置。
画像データの再生時に、まず前記画像データに基づく画像表示を行った後、前記第３取得手段により取得した地図データに基づく地図表示を行うよう制御する制御手段を備える請求項１〜１１のいずれか１項に記載の画像処理装置。
画像データを取得する第１取得手段と、
前記画像データに関連付けられた位置情報を取得する第２取得手段と、
前記位置情報に基づき地図データを取得する第３取得手段と、
前記位置情報に基づき前記画像データの撮影時の移動距離を判定する判定手段と、
前記移動距離の判定結果に基づき前記画像データに対応するサムネイル画像を生成する第１生成手段と、
複数の画像データの各々に対応するサムネイル画像を並べた一覧画像を生成する第２生成手段と、
を備え、
前記第１生成手段は、前記移動距離が閾値より大きいと判定された画像データに対応するサムネイル画像として前記地図データを用いた地図サムネイル画像を生成し、前記移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成することを特徴とする画像処理装置と、
前記画像処理装置により生成される一覧画像を表示する表示手段と、
を備える表示装置。
画像データを取得する第１取得工程と、
前記画像データに関連付けられた位置情報を取得する第２取得工程と、
前記位置情報に基づき地図データを取得する第３取得工程と、
前記位置情報に基づき前記画像データの撮影時の移動距離を判定する判定工程と、
前記移動距離の判定結果に基づき前記画像データに対応するサムネイル画像を生成する第１生成工程と、
複数の画像データの各々に対応するサムネイル画像を並べた一覧画像を生成する第２生
成工程と、
を有し、
前記第１生成工程では、前記移動距離が閾値より大きいと判定された画像データに対応するサムネイル画像として前記地図データを用いた地図サムネイル画像を生成し、前記移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成することを特徴とする画像処理装置の制御方法。
画像データを取得する第１取得工程と、
前記画像データに関連付けられた位置情報を取得する第２取得工程と、
前記位置情報に基づき地図データを取得する第３取得工程と、
前記位置情報に基づき前記画像データの撮影時の移動距離を判定する判定工程と、
前記移動距離の判定結果に基づき前記画像データに対応するサムネイル画像を生成する第１生成工程と、
複数の画像データの各々に対応するサムネイル画像を並べた一覧画像を生成する第２生成工程と、
の各工程をコンピュータに実行させるプログラムであって、
前記第１生成工程では、前記移動距離が閾値より大きいと判定された画像データに対応するサムネイル画像として前記地図データを用いた地図サムネイル画像を生成し、前記移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成することを特徴とするプログラム。
画像データを取得する第１取得工程と、
前記画像データに関連付けられた位置情報を取得する第２取得工程と、
前記位置情報に基づき地図データを取得する第３取得工程と、
前記位置情報に基づき前記画像データの撮影時の移動距離を判定する判定工程と、
前記移動距離の判定結果に基づき前記画像データに対応するサムネイル画像を生成する第１生成工程と、
複数の画像データの各々に対応するサムネイル画像を並べた一覧画像を生成する第２生成工程と、
の各工程をコンピュータに実行させるプログラムを記録した記録媒体であって、
前記第１生成工程では、前記移動距離が閾値より大きいと判定された画像データに対応するサムネイル画像として前記地図データを用いた地図サムネイル画像を生成し、前記移動距離が閾値以下と判定された画像データに対応するサムネイル画像として当該画像データを縮小した縮小サムネイル画像を生成することを特徴とする記録媒体。