JP2010256940A - 電子機器、表示制御方法およびプログラム - Google Patents

電子機器、表示制御方法およびプログラム Download PDF

Info

Publication number
JP2010256940A
JP2010256940A JP2009102525A JP2009102525A JP2010256940A JP 2010256940 A JP2010256940 A JP 2010256940A JP 2009102525 A JP2009102525 A JP 2009102525A JP 2009102525 A JP2009102525 A JP 2009102525A JP 2010256940 A JP2010256940 A JP 2010256940A
Authority
JP
Japan
Prior art keywords
map
imaging
image
captured image
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009102525A
Other languages
English (en)
Other versions
JP5299054B2 (ja
Inventor
Eisuke Fujimoto
栄介 藤本
Tatsu Kuwahara
立 桑原
Kenichiro Aritome
憲一郎 有留
Yoshio Yamaji
義生 山路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009102525A priority Critical patent/JP5299054B2/ja
Priority to US12/729,420 priority patent/US20100265177A1/en
Priority to TW099111099A priority patent/TW201110056A/zh
Priority to CN201010164066A priority patent/CN101872469A/zh
Priority to EP10159838A priority patent/EP2252044A3/en
Publication of JP2010256940A publication Critical patent/JP2010256940A/ja
Application granted granted Critical
Publication of JP5299054B2 publication Critical patent/JP5299054B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00323Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a measuring, monitoring or signaling apparatus, e.g. for transmitting measured information to a central location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0089Image display device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】地図上における画像の撮像位置および撮像方向を容易に把握する。
【解決手段】撮像部211は、被写体を撮像して撮像画像を生成する。撮像位置情報取得部212は、撮像画像の撮像時における撮像位置を取得する。撮像方向情報取得部213は、その撮像位置を基準とし、撮像画像に含まれる被写体が存在する撮像方向を取得する。地図データ変換部230は、地図データ取得部220により取得された地図データについて、その地図における撮像方向と、表示部260の垂直方向の上側の方向(特定方向)とが一致するように、撮像位置を基準にしてその地図データを回転処理することにより変換する。表示制御部250は、変換された地図を撮像画像に重畳するとともに、撮像時における画角情報および奥行情報に基づいて作成された撮像状態確認画像をその地図に重畳して表示部260に表示させる。
【選択図】図2

Description

本発明は、電子機器に関し、特に、地図を表示させる電子機器および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
従来、地図データベース等に記憶されている地図データを用いて、各地の地図を表示させることが可能な電子機器が存在する。また、地図上における各位置に関連する画像を地図とともに表示させる電子機器が提案されている。
例えば、鳥瞰画像におけるパノラマ画像の撮影地点にそのパノラマ画像の一部を配置し、鳥瞰画像およびパノラマ画像を表示させる画像処理装置が提案されている(例えば、特許文献1参照。)。
特開2007−110675号公報(図32)
上述の従来技術によれば、鳥瞰画像におけるパノラマ画像の撮影地点にそのパノラマ画像を配置することにより、そのパノラマ画像の地理的な位置関係を容易に把握することができる。
ここで、例えば、撮像装置による撮像動作をユーザが行っている場合には、その位置関係とともに、その撮像方向が重要な要素となる。例えば、同じ位置で撮像動作を行っている場合でも、撮像方向によっては被写体が大きく異なるため、撮像時において撮像位置とともに撮像方向を把握することは重要である。また、同じ位置で記録されたコンテンツを再生する場合でも、撮像方向によっては被写体が大きく異なるため、撮像時における撮像位置とともに撮像方向を把握することは重要である。
本発明はこのような状況に鑑みてなされたものであり、地図上における画像の撮像位置および撮像方向を容易に把握することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、撮像画像の撮像時における撮像位置を基準として上記撮像画像に含まれる被写体が存在する方向である撮像方向を取得する撮像方向取得部と、上記撮像位置を含む地図における上記取得された撮像方向と上記地図が表示される表示面における特定方向とが一致するように上記地図を変換する変換部と、上記変換された地図を上記撮像画像に関連付けて表示させる表示制御部とを具備する電子機器およびその表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像方向を取得し、撮像画像の撮像時における撮像位置を含む地図におけるその撮像方向と、特定方向とが一致するように地図を変換し、この変換された地図を撮像画像に関連付けて表示させるという作用をもたらす。
また、この第1の側面において、上記撮像画像により構成されるコンテンツを表す代表画像をコンテンツ毎に記憶する代表画像記憶部と、上記代表画像記憶部に記憶されている代表画像のうちから所望の代表画像を選択する選択操作を受け付ける操作受付部とをさらに具備し、上記変換部は、上記代表画像記憶部に記憶されている代表画像のうち上記選択された代表画像の撮像時における撮像位置を含む地図について上記変換を行い、上記表示制御部は、上記代表画像記憶部に記憶されている代表画像を一覧表示させて当該表示されている代表画像のうち上記選択された代表画像に上記変換された地図を関連付けて表示させるようにしてもよい。これにより、選択された代表画像について地図の変換を行い、一覧表示されている代表画像のうち、その選択された代表画像にその変換された地図を関連付けて表示させるという作用をもたらす。
また、この第1の側面において、上記変換部は、上記選択された代表画像に対応するコンテンツの再生指示がされた場合には当該再生指示がされたコンテンツを構成する撮像画像毎に上記地図の変換を行い、上記表示制御部は、上記再生指示がされたコンテンツを構成する撮像画像毎に当該撮像画像に関連付けて上記変換された地図を表示させるようにしてもよい。これにより、選択された代表画像に対応するコンテンツの再生指示がされた場合には、この再生指示がされたコンテンツを構成する撮像画像毎に地図の変換を行い、その再生指示がされたコンテンツを構成する撮像画像毎に撮像画像に関連付けて、変換された地図を表示させるという作用をもたらす。
また、この第1の側面において、上記撮像画像を生成する撮像部をさらに具備し、上記変換部は、上記撮像画像が生成される毎に当該生成された撮像画像の撮像時における撮像位置を含む地図について上記変換を行い、上記表示制御部は、上記撮像画像が生成される毎に当該生成された撮像画像に関連付けて上記変換された地図を表示させるようにしてもよい。これにより、撮像画像が生成される毎にその生成された撮像画像について地図の変換を行い、撮像画像が生成される毎にその生成された撮像画像に関連付けて、変換された地図を表示させるという作用をもたらす。
また、この第1の側面において、上記撮像画像により構成される動画コンテンツを記憶するコンテンツ記憶部をさらに具備し、上記変換部は、上記動画コンテンツの再生指示がされた場合には当該再生指示がされた動画コンテンツを構成する撮像画像毎に上記地図の変換を行い、上記表示制御部は、上記動画コンテンツを構成する撮像画像毎に当該撮像画像に関連付けて上記変換された地図を表示させるようにしてもよい。これにより、動画コンテンツの再生指示がされた場合には、この再生指示がされた動画コンテンツを構成する撮像画像毎に地図の変換を行い、動画コンテンツを構成する撮像画像毎に、撮像画像に関連付けて、変換された地図を表示させるという作用をもたらす。
また、この第1の側面において、上記変換部は、上記地図における上記取得された撮像方向と上記特定方向とが一致するように上記撮像位置を基準として上記地図を回転させることにより上記地図を変換するようにしてもよい。これにより、地図における撮像方向と特定方向とが一致するように、撮像位置を基準として地図を回転させることにより地図を変換するという作用をもたらす。
また、この第1の側面において、上記地図は、上記撮像位置を含む地図上の三次元空間が平面に投影されて三次元撮像画像とされた三次元地図であり、上記変換部は、上記三次元地図における上記取得された撮像方向と上記三次元地図が表示される表示面における特定方向とが一致するように上記三次元地図を変換し、上記表示制御部は、上記変換された三次元地図を上記撮像画像に関連付けて表示させるようにしてもよい。これにより、三次元地図における撮像方向と、特定方向とが一致するように三次元地図を変換し、この変換された三次元地図を撮像画像に関連付けて表示させるという作用をもたらす。
また、この第1の側面において、上記表示制御部は、上記撮像画像に上記地図を重畳して表示させるようにしてもよい。これにより、撮像画像に地図を重畳して表示させるという作用をもたらす。
また、この第1の側面において、上記撮像方向取得部は、上記撮像位置を基準として上記撮像画像における中心位置に存在する被写体の方向を撮像方向として取得するようにしてもよい。これにより、撮像位置を基準とし、撮像画像における中心位置に存在する被写体の方向を撮像方向として取得するという作用をもたらす。
また、この第1の側面において、上記撮像時における画角情報および奥行情報を取得する画角奥行情報取得部をさらに具備し、上記表示制御部は、上記取得された画角情報および奥行情報により特定される撮像範囲を表す撮像範囲撮像画像を上記地図における上記撮像位置に重畳して表示させるようにしてもよい。これにより、撮像時における画角情報および奥行情報を取得し、この取得された画角情報および奥行情報により特定される撮像範囲を表す撮像範囲撮像画像を、地図における撮像位置に重畳して表示させるという作用をもたらす。
本発明によれば、地図上における画像の撮像位置および撮像方向を容易に把握することができるという優れた効果を奏し得る。
本発明の第1の実施の形態における撮像装置100の内部構成例を示すブロック図である。 本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。 本発明の第1の実施の形態におけるコンテンツ管理情報記憶部300の記憶内容を模式的に示す図である。 本発明の第1の実施の形態における地図データ記憶部200に記憶されている地図データの一部およびその地図データに対応する地域における撮像動作を模式的に示す図である。 本発明の第1の実施の形態における地図データ変換部230による地図データの変換処理に用いられる回転角度の算出方法を概略的に示す図である。 本発明の第1の実施の形態における地図データ記憶部200に記憶されている地図データのうち表示対象領域を模式的に示す図である。 本発明の第1の実施の形態における地図データ変換部230により変換された地図データに対応する地図上に重畳される撮像状態確認画像の作成方法を概略的に示す図である。 本発明の第1の実施の形態における表示部260に表示される撮像画像および地図の表示例を示す図である。 本発明の第1の実施の形態における地図データ記憶部200に記憶されている地図データの一部および表示部260に表示される撮像画像および地図の表示例を示す図である。 本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。 本発明の第1の実施の形態における表示部260に表示されるコンテンツ選択画面の表示例を示す図である。 本発明の第1の実施の形態における表示部260に表示されるコンテンツ選択画面の表示例を示す図である。 本発明の第1の実施の形態における表示部260におけるコンテンツの再生例を示す図である。 本発明の第1の実施の形態における撮像装置100による地図表示制御処理の処理手順を示すフローチャートである。 本発明の第1の実施の形態における撮像装置100による地図表示制御処理の処理手順のうちの地図データ変換処理を示すフローチャートである。 本発明の第1の実施の形態における撮像装置100による地図表示制御処理の処理手順を示すフローチャートである。 本発明の第1の実施の形態における撮像装置100による地図表示制御処理の処理手順を示すフローチャートである。 本発明の第1の実施の形態における撮像装置100による地図表示制御処理の処理手順のうちのコンテンツ再生処理を示すフローチャートである。 本発明の第2の実施の形態における撮像装置700の内部構成例を示すブロック図である。 本発明の第2の実施の形態における撮像装置700の機能構成例を示すブロック図である。 本発明の第2の実施の形態における撮像装置700の撮像動作状態およびその状態に表示される三次元地図を示す図である。 本発明の第2の実施の形態における撮像装置700の撮像動作状態およびその状態に表示される三次元地図を示す図である。
以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(地図表示制御:撮像時における撮像方向と、表示面における特定方向とが一致するように地図を表示する例)
2.第2の実施の形態(地図表示制御:撮像時における撮像方向と、表示面における特定方向とが一致するように三次元地図を表示する例)
<1.第1の実施の形態>
[撮像装置の構成例]
図1は、本発明の第1の実施の形態における撮像装置100の内部構成例を示すブロック図である。撮像装置100は、カメラモジュール110と、GPS(Global Positioning System)モジュール120と、方位センサ130と、システム制御部140とを備える。また、撮像装置100は、操作部150と、記録部160と、表示部170と、音声出力部180とを備える。撮像装置100は、例えば、被写体を撮像して画像データを生成し、この画像データをコンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ(例えば、カメラ一体型レコーダ)等の撮像装置により実現される。
カメラモジュール110は、被写体を撮像して撮像画像(画像データ)を生成するものであり、生成された撮像画像をシステム制御部140に出力する。具体的には、カメラモジュール110は、光学ユニット、撮像素子および信号処理部を備える。このカメラモジュール110において、光学ユニットを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことにより撮像画像が生成される。そして、生成された撮像画像がシステム制御部140に順次出力される。また、カメラモジュール110は、撮像画像が生成された際における画角情報および奥行情報を算出し、この画角情報および奥行情報をシステム制御部140に出力する。ここで、画角情報は、生成された撮像画像の画角を表す値であり、例えば、撮像画像の生成時における撮像素子上の撮像範囲(領域)および焦点距離に基づいて算出される。また、奥行情報は、撮像位置(例えば、撮像素子の位置)から、撮像画像に含まれる被写体までの距離(被写体距離)を表すデータ(いわゆる、デプス・マップ(Depth Map)データ)である。この奥行情報は、例えば、撮像画像を構成する各画素について算出するようにしてもよく、最も焦点が合っている被写体に対応する各画素についてのみ算出するようにしてもよい。この奥行情報の算出方法として、例えば、TOF(Time of flight)方式やボケ量解析(Depth from Defocus)等の方法を用いることができる。ここで、TOF方式は、光源から出射された光が対象物で反射し、センサに到達するまでの光の遅れ時間と光の速度とに基づいて被写体までの距離を算出する方法である。
GPSモジュール120は、GPS信号受信アンテナ(図示せず)により受信されたGPS信号に基づいて撮像位置情報を算出するものであり、算出された撮像位置情報をシステム制御部140に出力する。この算出された撮像位置情報には、緯度、経度、高度等の位置に関する各データが含まれる。なお、本発明の第1の実施の形態では、GPS信号に基づいて算出された撮像位置情報を用いる例を示すが、他の撮像位置情報の取得方法により取得された撮像位置情報を用いるようにしてもよい。例えば、周囲に存在する無線LAN(Local Area Network)によるアクセスポイント情報を用いて撮像位置情報を導き出し、この撮像位置情報を取得して用いるようにしてもよい。
方位センサ130は、地磁気を利用して地球上における方位を計測するセンサであり、計測された方位をシステム制御部140に出力する。例えば、方位センサ130は、互いに直交する2軸(例えば、x軸およびy軸)のコイルと、その中心部に配置されたMR素子(磁気抵抗素子)とにより構成される磁界センサである。このMR素子は、地磁気を感知し、その磁気の強さによって抵抗値が変化する素子であり、MR素子の抵抗変化が、2軸のコイルによって2方向の成分(例えば、x軸およびy軸の成分)に分けられ、その2方向の成分の地磁気の比に基づいて方位が算出される。ここで、本発明の第1の実施の形態では、方位センサ130は、撮像装置100の撮像方向(例えば、図4(b)に示す矢印412の方向)の方位を計測する。この撮像方向は、撮像位置(例えば、撮像装置100が存在する位置)から、カメラモジュール110により生成された撮像画像に含まれる被写体が存在する位置までの方向であり、例えば、被写体側の光軸方向とすることができる。また、例えば、撮像方向は、撮像位置を基準として、撮像画像における中心位置に存在する被写体の方向を撮像方向とすることができる。なお、本発明の第1の実施の形態では、方位センサ130を用いて撮像方向を取得する例を示すが、他の撮像方向の取得方法により取得された撮像方向を用いるようにしてもよい。例えば、GPS信号に基づいて測定された方位を用いるようにしてもよい。
システム制御部140は、撮像装置100全体の制御を行うものである。例えば、システム制御部140は、操作部150により受け付けられたユーザからの操作入力に応じた制御を行う。また、システム制御部140は、表示部170に表示されるコンテンツ選択画面等の表示、記録部160に対する撮像画像の記録や読出し等を制御する。さらに、システム制御部140は、モニタリングモード設定時や動画記録中には、カメラモジュール110により生成された撮像画像およびその撮像位置に関する地図を表示部170に表示させる制御を行う。ここで、モニタリングモードは、例えば、撮像装置100が画像記録待機状態である場合に、カメラモジュール110から供給される撮像画像をリアルタイムで表示部170に表示させる撮像モードである。
操作部150は、ユーザからの操作入力を受ける操作入力部であり、受け付けられた操作入力に応じた信号をシステム制御部140に出力する。
記録部160は、システム制御部140の制御に基づいて、カメラモジュール110により生成された撮像画像を静止画コンテンツまたは動画コンテンツとして記録するものである。また、記録部160は、システム制御部140の制御に基づいて、記録されている静止画コンテンツまたは動画コンテンツをシステム制御部140に供給する。さらに、記録部160には、表示部170に地図を表示させるための地図データが格納されている。また、記録部160には、静止画コンテンツまたは動画コンテンツを管理するためのコンテンツ管理情報が格納されている。なお、記録部160として、例えば、フラッシュメモリ等の記録媒体を用いることができる。また、記録部160は、撮像装置100に内蔵するようにしてもよく、着脱可能に撮像装置100に装着されるようにしてもよい。
表示部170は、システム制御部140の制御に基づいて、各種画像を表示する表示部である。例えば、表示部170は、カメラモジュール110により生成された撮像画像、記録部160から読み出された静止画コンテンツまたは動画コンテンツ、ユーザに提供されるコンテンツ選択画面等を表示する。表示部170は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)を用いることができる。
音声出力部180は、システム制御部140の制御に基づいて、各種の音声情報を出力するものである。音声出力部180は、例えば、スピーカにより実現することができる。
図2は、本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。撮像装置100は、地図データ記憶部200と、撮像部211と、撮像位置情報取得部212と、撮像方向情報取得部213と、カメラ情報取得部214と、地図データ取得部220とを備える。また、撮像装置100は、地図データ変換部230と、撮像範囲算出部240と、表示制御部250と、表示部260と、操作受付部270と、記録制御部280と、コンテンツ記憶部290と、コンテンツ管理情報記憶部300とを備える。
地図データ記憶部200は、表示部260に地図を表示するための地図データを記憶するものであり、記憶されている地図データを地図データ取得部220に供給する。例えば、地図データ記憶部200に記憶されている地図データは、緯度および経度により特定されるデータであり、一定の緯度幅および経度幅を単位として、複数の領域に区切られている。なお、地図データ記憶部200は、図1に示す記録部160に対応する。
撮像部211は、被写体を撮像して撮像画像を生成するものであり、生成された撮像画像を表示制御部250および記録制御部280に出力する。なお、撮像部211は、図1に示すカメラモジュール110に対応する。
撮像位置情報取得部212は、撮像位置に関する撮像位置情報を取得するものであり、取得された撮像位置情報を地図データ取得部220、地図データ変換部230および記録制御部280に出力する。なお、撮像位置情報取得部212は、図1に示すGPSモジュール120に対応する。
撮像方向情報取得部213は、撮像方向に関する撮像方向情報を取得するものであり、取得された撮像方向情報を地図データ変換部230および記録制御部280に出力する。なお、撮像方向情報取得部213は、図1に示す方位センサ130に対応する。また、撮像方向情報取得部213は、特許請求の範囲に記載の撮像方向取得部の一例である。
カメラ情報取得部214は、撮像画像が生成された際における画角情報および奥行情報を取得するものであり、取得された画角情報および奥行情報を撮像範囲算出部240および記録制御部280に出力する。なお、カメラ情報取得部214は、図1に示すカメラモジュール110に対応する。また、カメラ情報取得部214は、特許請求の範囲に記載の画角奥行情報取得部の一例である。
地図データ取得部220は、撮像位置情報取得部212から出力された撮像位置情報に基づいて、地図データ記憶部200から地図データを取得するものであり、取得された地図データを地図データ変換部230に出力する。なお、地図データ取得部220は、図1に示すシステム制御部140に対応する。
地図データ変換部230は、撮像方向情報取得部213から出力された撮像方向情報に基づいて、地図データ取得部220から出力された地図データを変換するものであり、変換後の地図データを表示制御部250に出力する。具体的には、地図データ変換部230は、地図データ取得部220から出力された地図データに対応する地図における撮像方向と、表示部260における特定方向とが一致するように地図データを変換する。例えば、地図データ変換部230は、撮像位置情報取得部212から出力された撮像位置情報により特定される撮像位置を基準位置とし、地図データ取得部220から出力された地図データを回転処理する。この場合に、地図データ変換部230は、撮像方向情報取得部213から出力された撮像方向情報により特定される回転角度だけ、その地図データを回転処理する。ここで、特定方向は、例えば、コンテンツ記憶部290に記憶されているコンテンツに対応する画像を表示する表示面において、その画像の垂直方向のうちの上側となる方向とすることができる。なお、地図データの変換については、図5および図6を参照して詳細に説明する。また、地図データ変換部230は、図1に示すシステム制御部140に対応する。また、地図データ変換部230は、特許請求の範囲に記載の変換部の一例である。
撮像範囲算出部240は、カメラ情報取得部214から出力された画角情報および奥行情報に基づいて、撮像状態確認画像(図7(b)に示す)を作成するための撮像範囲を算出するものであり、算出された撮像範囲を表示制御部250に出力する。この撮像範囲の算出については、図7を参照して詳細に説明する。なお、撮像範囲算出部240は、図1に示すシステム制御部140に対応する。
表示制御部250は、撮像部211から出力された撮像画像と、地図データ変換部230から出力された変換後の地図データに対応する地図とを表示部260に表示させるものである。また、表示制御部250は、撮像範囲算出部240から出力された撮像範囲に対応する撮像状態確認画像を地図上に重畳して表示部260に表示させる。また、表示制御部250は、操作受付部270からの操作入力に応じて、地図の大きさを変更して表示させる。これらの表示例については、図8および図9を参照して詳細に説明する。なお、表示制御部250は、図1に示すシステム制御部140に対応する。
表示部260は、表示制御部250の制御に基づいて、各種画像を表示する表示部である。表示部260は、図1に示す表示部170に対応する。
操作受付部270は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作内容を表示制御部250または記録制御部280に出力する。例えば、操作受付部270は、モニタリングモードを設定する指示操作が受け付けられた場合には、その操作内容を表示制御部250に出力する。また、例えば、操作受付部270は、動画を記録する指示操作が受け付けられた場合には、その操作内容を表示制御部250および記録制御部280に出力する。また、例えば、操作受付部270は、静止画を記録する指示操作(いわゆる、シャッター操作)が受け付けられた場合には、その操作内容を記録制御部280に出力する。なお、操作受付部270は、図1に示す操作部150に対応する。
記録制御部280は、撮像部211から出力された撮像画像を静止画コンテンツまたは動画コンテンツとしてコンテンツ記憶部290に記録させるものである。また、記録制御部280は、撮像位置情報取得部212、撮像方向情報取得部213およびカメラ情報取得部214から出力された各情報を、静止画コンテンツまたは動画コンテンツに関連付けてコンテンツ管理情報記憶部300に記録させる。例えば、記録制御部280は、動画を記録する指示操作が操作受付部270により受け付けられた場合には、撮像部211から出力された撮像画像を動画コンテンツとしてコンテンツ記憶部290に記録させる。この記録とともに、記録制御部280は、その動画コンテンツを構成する各フレームについて各情報(撮像位置情報、撮像方向情報、画角情報および奥行情報)をコンテンツ管理情報記憶部300に記録させる。この動画を記録する場合には、フレーム毎に各情報を記録させるようにしてもよく、一定間隔毎(例えば、GOP(Group Of Picture)毎)に各情報をコンテンツ管理情報記憶部300に記録させるようにしてもよい。また、例えば、記録制御部280は、静止画を記録する指示操作が操作受付部270により受け付けられた場合には、撮像部211から出力された撮像画像を静止画コンテンツとしてコンテンツ記憶部290に記録させる。この記録とともに、記録制御部280は、その静止画コンテンツについて各情報(撮像位置情報、撮像方向情報、画角情報および奥行情報)をコンテンツ管理情報記憶部300に記録させる。なお、記録制御部280は、図1に示すシステム制御部140に対応する。
コンテンツ記憶部290は、記録制御部280の制御に基づいて、撮像部211から出力された撮像画像を静止画コンテンツまたは動画コンテンツとして記録するものである。なお、コンテンツ記憶部290は、図1に示す記録部160に対応する。
コンテンツ管理情報記憶部300は、記録制御部280の制御に基づいて、撮像位置情報取得部212、撮像方向情報取得部213およびカメラ情報取得部214から出力された各情報を撮像画像に関連付けて記録するものである。なお、コンテンツ管理情報記憶部300は、図1に示す記録部160に対応する。また、コンテンツ管理情報記憶部300は、特許請求の範囲に記載の代表画像記憶部の一例である。
図3は、本発明の第1の実施の形態におけるコンテンツ管理情報記憶部300の記憶内容を模式的に示す図である。コンテンツ管理情報記憶部300には、コンテンツの種類(動画コンテンツ、静止画コンテンツ)毎に分類して、メタデータ340が記憶されている。具体的には、コンテンツ種類310「動画コンテンツ」には、コンテンツ識別情報320と、画像識別情報330と、メタデータ340とが関連付けて記憶されている。また、コンテンツ種類310「静止画コンテンツ」には、コンテンツ識別情報320およびメタデータ340が関連付けて記憶されている。
コンテンツ識別情報320は、各コンテンツを識別するための識別情報であり、例えば、動画コンテンツに関するコンテンツ識別情報として「#1」、「#2」が格納される。また、静止画コンテンツに関するコンテンツ識別情報として「#100」、「#200」、「#300」が格納される。
画像識別情報330は、動画コンテンツを構成する各撮像画像(フレーム)を識別するための識別情報であり、例えば、コンテンツ識別情報320「#1」に対応する動画コンテンツを構成する各撮像画像には「#11」、「#12」、「#13」が格納される。なお、画像識別情報330には、メタデータ340に各情報が格納される撮像画像についてのみ識別情報が格納される。
メタデータ340は、各撮像画像に関するメタデータであり、撮像位置情報341と、撮像方向情報342と、奥行情報343と、画角情報344と、インデックス画像345と、代表画像情報346とがメタデータとして格納される。なお、図3では、撮像位置情報341、撮像方向情報342、奥行情報343および画角情報344に格納される情報を省略して示し、インデックス画像345に格納されるインデックス画像を簡略化して矩形で示す。
撮像位置情報341は、対応する撮像画像の撮像時における撮像位置(例えば、緯度および経度)を含む情報であり、撮像位置情報取得部212により取得された撮像位置情報が格納される。
撮像方向情報342は、対応する撮像画像の撮像時における撮像方向(例えば、撮像位置を基準位置とした場合における方位)を含む情報であり、撮像方向情報取得部213により取得された撮像方向情報が格納される。
奥行情報343は、対応する撮像画像について算出された奥行情報であり、カメラ情報取得部214により取得された奥行情報が格納される。
画角情報344は、対応する撮像画像について算出された画角情報であり、カメラ情報取得部214により取得された画角情報が格納される。
インデックス画像345は、対応するコンテンツを選択する際に用いられるインデックス画像(代表画像)であり、例えば、対応する撮像画像のサムネイル画像が格納される。このサムネイル画像は、例えば、記録制御部280により生成される。
代表画像情報346は、対応する動画コンテンツを構成する各撮像画像のうち、代表画像として決定された撮像画像を特定するための情報である。図3では、動画コンテンツを構成する各撮像画像のうち、代表画像として決定された撮像画像の欄に「1」を付し、他の撮像画像の欄には「0」を付す。ここで、動画コンテンツの場合には、代表画像として決定された1または複数の撮像画像についてのみインデックス画像345にインデックス画像が格納される。代表画像の決定方法としては、例えば、動画コンテンツの記録動作の開始後に、最初にGPS信号を受信した際における撮像画像を、代表画像として決定する決定方法を用いることができる。例えば、コンテンツ識別情報320「#1」に対応する動画コンテンツを構成する各撮像画像のうち、画像識別情報330「#11」に対応する撮像画像が代表画像として決定され、この撮像画像についてインデックス画像345にインデックス画像が格納される。なお、上述の代表画像の決定方法は一例であり、動画コンテンツの中で何らかの規則により一の画像を選択して代表画像を決定する決定方法を用いるようにしてもよい。例えば、動画コンテンツの先頭画像を代表画像として決定する決定方法を用いるようにしてもよい。
なお、この例では、メタデータをコンテンツ管理情報記憶部に記憶する例を示すが、例えば、各コンテンツファイル内に記憶させるようにしてもよい。
[地図の表示制御例]
図4は、本発明の第1の実施の形態における地図データ記憶部200に記憶されている地図データの一部およびその地図データに対応する地域における撮像動作を模式的に示す図である。図4(a)に示す地図400は、地図データ記憶部200に記憶されている地図データの一部に対応する地域を表す地図である。なお、図4(a)および(b)では、上側の方位を北とする。また、地図400に対応する地域には、例えば、△△駅、○○駅、××駅、◎◎公園、◇◇大学、□□高校、▽▽ホテルが存在するものとする。
図4(b)には、図4(a)に示す地図400に対応する地域410において撮像装置100を用いてユーザが撮像動作を行う場合を模式的に示す。例えば、地域410における撮像位置411において、ユーザが撮像装置100の撮像方向412を「○○駅」に向けて撮像動作(すなわち、「○○駅」を主要被写体とする撮影)を行っているものとする。
図5は、本発明の第1の実施の形態における地図データ変換部230による地図データの変換処理に用いられる回転角度の算出方法を概略的に示す図である。
図5(a)には、図4(b)に示す地域410において、北方向413と撮像方向412とのなす角θ1を示す。図5(b)には、図5(a)に示す撮像装置100と、撮像位置411と、撮像方向412と、北方向413と、撮像方向412および北方向413のなす角θ1とを点線の円414内に示す。また、円414の外側には、撮像位置411を基準位置とした場合における方位(東西南北)を示す。なお、本発明の第1の実施の形態では、北方向413を0度とした場合における北方向413と撮像方向412とのなす角θ1を回転角度として用いて、地図データ変換部230が地図データの変換処理を行う例を示す。この角θ1の値は、撮像方向情報取得部213により取得された撮像方向情報に基づいて、地図データ変換部230が算出する。
図6は、本発明の第1の実施の形態における地図データ記憶部200に記憶されている地図データのうち表示対象となる領域(表示対象領域)を模式的に示す図である。図6(a)には、地図400において撮像位置411を中心とする矩形420を点線で示す。この矩形420の大きさは、表示対象領域の大きさと同一であるものとする。また、矩形420の中心位置(撮像位置411)を通り南北方向に平行となる線分を線分415とする。
図6(b)には、撮像位置411を中心として矩形420を角θ1回転させた矩形421を太い点線で示す。図4(b)に示す状態で撮像装置100による撮像動作が行われた場合には、地図400において、矩形421に含まれる領域(○○駅、□□高校、▽▽ホテルが存在する領域)が表示対象領域となる。ここで、矩形421の長辺は、撮像方向412と直行する関係となる。また、本発明の第1の実施の形態では、撮像方向412を表す矢印の終端と接する長辺が、表示部260における表示画面の上側に位置するように、矩形421に含まれる領域を表示する。この表示例を図8(b)に示す。
図7は、本発明の第1の実施の形態における地図データ変換部230により変換された地図データに対応する地図上に重畳される撮像状態確認画像の作成方法を概略的に示す図である。図7(a)に示す地域410は、図5(a)に示す地域410と同一である。この例では、図7(a)に示す撮像動作状態で、カメラ情報取得部214により取得された画角情報および奥行情報に基づいて、撮像範囲算出部240が画角θ11および奥行値d11を算出したものとする。なお、画角θ11は、撮像部211により生成される撮像画像の画角に対応し、奥行値d11は、奥行情報により特定される値(被写体距離)に一定値を乗算することにより算出することができる。
図7(b)には、撮像範囲算出部240により算出された画角θ11および奥行値d11に基づいて作成された撮像状態確認画像430を示す。撮像状態確認画像430は、撮像範囲を図形化して表す操作支援画像であり、地図上に重ねて表示される。この撮像状態確認画像430は、撮像位置画像431および撮像範囲画像432により構成される。
撮像位置画像431は、地図上における撮像装置100の撮像位置を表す円形状からなる画像である。
撮像範囲画像432は、地図上における撮像装置100の撮像範囲を表す二等辺三角形の形状からなる画像であり、その頂角が撮像位置画像431に含まれる。また、撮像範囲画像432は、その頂角を画角θ11とし、底辺から撮像位置画像431までの距離を奥行値d11とする。これにより、カメラ情報取得部214により取得された画角情報および奥行情報に対応する撮像範囲の概要を、ユーザが二等辺三角形の形状により容易に確認することができる。なお、撮像状態確認画像430の撮像範囲画像432は、例えば、ユーザ操作により地図が拡大縮小される場合には、地図の拡大縮小に応じて、その大きさを拡大縮小させるようにしてもよい。
図8は、本発明の第1の実施の形態における表示部260に表示される撮像画像および地図の表示例を示す図である。図8(a)には、撮像部211により生成された撮像画像450を示す。この撮像画像450は、図4(b)に示す撮像動作の状態で撮像部211により生成された撮像画像である。すなわち、図4(b)に示す例では、「○○駅」を主要被写体とする撮像動作が行われているため、撮像画像450には、「○○駅」の駅舎が含まれる。
図8(b)には、図8(a)に示す撮像画像450上に地図表示領域460を設けた画像451を示す。地図表示領域460には、例えば、図4(b)に示す撮像動作が行われている場合に特定される表示対象領域(図6(b)に示す矩形421に含まれる領域)に対応する地図が表示される。また、地図表示領域460に表示される地図には、撮像状態確認画像430および地図記号461が重ねて表示される。
撮像状態確認画像430は、図7(b)に示す方法により作成された撮像状態確認画像である。撮像状態確認画像430は、例えば、地図表示領域460における中心位置に撮像位置画像431が配置され、撮像範囲画像432の底辺が表示部260における垂直方向の上側となるように表示される。
地図記号461は、東西南北を表す地図記号であり、地図表示領域460に表示される地図の東西南北に応じて配置される。図8(b)に示す例では、「▽▽ホテル」から「○○駅」の方向が北方向であるため、その方向に応じて配置される。これにより、撮像方向に応じて回転して表示される地図について、その方位を容易に認識することができる。
なお、図8(b)に示す表示例では、画像451の右下部分に地図表示領域460を表示する例を示すが、画像451の他の部分に地図表示領域460を表示するようにしてもよい。また、ユーザの手動操作により地図表示領域460の表示位置を変更するようにしてもよい。
ここで、図8(b)に示す画像451の作成方法について説明する。例えば、図4(b)に示す撮像動作の状態で撮像部211により撮像画像450が生成される。また、その状態で撮像位置情報取得部212から出力された撮像位置情報に基づいて撮像装置100が存在する撮像位置411が特定される。そして、地図データ取得部220が、撮像位置411により特定される緯度および経度に基づいて、地図データ記憶部200から地図データを取得し、地図データ変換部230に出力する。この取得の対象となる地図データは、例えば、矩形の表示対象領域(例えば、図6(b)に示す矩形420および421)の対角線を直径とする円内の領域を少なくとも含む地図データである。
続いて、地図データ変換部230が、撮像位置情報取得部212から出力された撮像位置情報と、撮像方向情報取得部213から出力された撮像方向情報とに基づいて、地図データ取得部220から出力された地図データを変換する。そして、変換後の地図データが表示制御部250に出力される。この地図データ変換方法として、例えば、2次元座標上において、3×3の行列(アフィン行列)を用いて、2点の位置を変換するアフィン変換を用いることができる。具体的には、地図データ変換部230が、撮像位置411により特定される緯度および経度を回転基準とし、地図データ取得部220から出力された地図データの各値をアフィン変換する。このアフィン変換では、地図データ取得部220から出力された地図データに対応する地図をθ1度だけ回転させる変換を行う。このアフィン変換により変換された地図データが表示制御部250に出力される。この例では、地図データ取得部220から出力された地図データを変換し、変換後の地図データに対応する地図を表示対象領域として用いる例について説明する。ただし、例えば、地図データ取得部220から出力された地図データに対応する地図を描画バッファに描画しておき、この描画された地図から表示対象領域を取り出して用いるようにしてもよい。例えば、その描画バッファに描画された地図における取出枠(表示対象領域と同じ大きさの枠)を設定し、この取出枠をθ1度だけ回転させ、この回転後の取出枠内に含まれる地図を表示対象領域として用いることができる。
続いて、表示制御部250が、地図データ変換部230から出力された変換後の地図データに対応する地図を撮像画像450における地図表示領域460に描画し、その地図が描画された画像451を表示部260に表示させる。この場合に、表示制御部250が、撮像位置411により特定される緯度および経度が地図表示領域460の中心位置となるように地図を表示させる。また、表示制御部250が、地図表示領域460に描画された地図上に撮像状態確認画像430および地図記号461を重ねて描画して表示させる。
この地図表示領域が設けられた撮像画像は、例えば、モニタリングモードの設定時や動画記録中に表示される。また、操作受付部270からの指示操作に応じて表示させるようにしてもよい。なお、地図表示領域460に表示される地図は、例えば、操作受付部270からの指示操作に応じて、拡大縮小させることができ、所望の方向に移動させることができる。
このように、撮像装置100の撮像方向の被写体側が表示部260の表示面における上側となるように地図を表示することにより、撮像装置100を用いて撮像動作を行っているユーザが地図上における現在の撮像方向を容易に把握することができる。
以上では、撮像画像における地図表示領域に撮像状態確認画像430および地図記号461を重ねて表示する例を示したが、例えば、表示対象となる地図上に存在するランドマーク等を表す画像を重ねて表示するようにしてもよい。
図9は、本発明の第1の実施の形態における地図データ記憶部200に記憶されている地図データの一部および表示部260に表示される撮像画像および地図の表示例を示す図である。図9(a)には、図4(a)に示す地図400において、ランドマーク471を追加した地図470を示す。なお、ランドマークは、東京タワーや京都タワー等のように目印や象徴となる建造物等である。このランドマークに関する重畳データは、例えば、地図データとともに、その位置に関連付けて地図データ記憶部200に記憶されている。
図9(b)には、地図表示領域481にランドマーク画像482が重ねられた画像480を表示部260に表示する表示例を示す。なお、画像480は、ランドマーク画像482を重ねて表示する点以外は、図8(b)に示す画像451と同一である。このため、共通する部分には同一の符号を付し、ここでの説明を省略する。
ランドマーク画像482は、ランドマークの特徴を図形化した画像であり、例えば、ランドマーク471が、京都タワーのような建物である場合には、図9(b)に示すように、その外観を図形化した画像が表示される。
例えば、表示制御部250が、地図データ変換部230から出力された変換後の地図データに対応する地図上にランドマーク画像482を描画し、ランドマーク画像482が描画された画像480を表示部260に表示させる。なお、撮像範囲算出部240により算出された撮像範囲に含まれるランドマークに関するランドマーク画像のみを地図上に表示させるようにしてもよい。また、その撮像範囲に含まれるランドマークと、その撮像範囲に含まれないランドマークとを異なる表示形態として、それぞれのランドマーク画像を区別することができるように地図上に表示させるようにしてもよい。
このように、画像とともに表示される地図上の対応する位置にランドマーク画像を重ねて表示することにより、現在の撮像範囲内または撮像範囲の近傍にランドマークが存在することをユーザに容易に認識させることができる。これにより、ランドマークが存在する場所において、そのランドマークを被写体とするシャッターチャンスを逃すことを防止することができる。
以上では、モニタリングモードの設定時や動画記録中(すなわち、ユーザが撮像装置100を用いて撮像動作を行っている状態)に、その撮像動作により生成された撮像画像上に地図を重ねて表示する例を示した。以下では、撮像動作により記録されたコンテンツを再生する場合に、コンテンツ管理情報記憶部300に記憶されているメタデータ340(図3に示す)を用いて、そのコンテンツに対応する画像上に地図を重ねて表示する例を示す。
[撮像装置の機能構成例]
図10は、本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。図10に示す例は、撮像装置100の再生に関する機能構成例であり、図2に示す機能構成の変形例である。このため、図2に示す機能構成と共通する部分については、同一の符号を付してこれらの説明を省略し、図2に示す機能構成と異なる部分を中心に説明する。撮像装置100は、地図データ記憶部200と、地図データ取得部220と、地図データ変換部230と、撮像範囲算出部240とを備える。また、撮像装置100は、表示制御部250と、表示部260と、操作受付部270と、コンテンツ記憶部290と、コンテンツ管理情報記憶部300と、データ取得部350とを備える。
地図データ取得部220は、データ取得部350から出力された撮像位置情報に基づいて、地図データ記憶部200から地図データを取得するものであり、取得された地図データを地図データ変換部230に出力する。
地図データ変換部230は、データ取得部350から出力された撮像位置情報および撮像方向情報に基づいて、地図データ取得部220から出力された地図データを変換するものであり、変換後の地図データを表示制御部250に出力する。
撮像範囲算出部240は、データ取得部350から出力された画角情報および奥行情報に基づいて撮像範囲を算出するものであり、算出された撮像範囲を表示制御部250に出力する。
データ取得部350は、操作受付部270により受け付けられた操作入力に応じて、コンテンツ記憶部290またはコンテンツ管理情報記憶部300に記憶されているデータを取得し、取得されたデータを各部に供給するものである。
具体的には、データ取得部350は、コンテンツ選択画面を表示する指示操作が操作受付部270により受け付けられた場合には、コンテンツ管理情報記憶部300のインデックス画像345(図3に示す)を順次取得して表示制御部250に出力する。そして、表示制御部250は、コンテンツを選択するためのインデックス画像の一覧を含むコンテンツ選択画面(図11および図12に示す)を表示部260に表示させる。
また、データ取得部350は、コンテンツ選択画面における選択操作が操作受付部270により受け付けられた場合には、選択されたインデックス画像に関連付けてコンテンツ管理情報記憶部300に記憶されているメタデータ340(図3に示す)を取得する。そして、データ取得部350は、取得されたメタデータのうち撮像位置情報を地図データ取得部220に出力し、撮像位置情報および撮像方向情報を地図データ変換部230に出力し、奥行情報および画角情報を撮像範囲算出部240に出力する。表示制御部250は、地図データ変換部230から出力された地図データと、撮像範囲算出部240から出力された撮像範囲とに基づいて、撮像状態確認画像および地図記号が重畳された地図を、コンテンツ選択画面における地図表示領域に表示させる。
また、データ取得部350は、コンテンツ選択画面において選択されたコンテンツの再生指示操作が操作受付部270により受け付けられた場合には、選択状態のインデックス画像に対応するコンテンツをコンテンツ記憶部290から取得する。また、データ取得部350は、その取得されたコンテンツに関連付けてコンテンツ管理情報記憶部300に記憶されているメタデータ340を取得する。そして、データ取得部350は、取得されたメタデータのうち撮像位置情報を地図データ取得部220に出力し、撮像位置情報および撮像方向情報を地図データ変換部230に出力し、奥行情報および画角情報を撮像範囲算出部240に出力する。また、データ取得部350は、取得されたコンテンツを表示制御部250に出力する。表示制御部250は、データ取得部350から出力されたコンテンツを順次表示させる。また、表示制御部250は、地図データ変換部230から出力された地図データと、撮像範囲算出部240から出力された撮像範囲とに基づいて、それらのコンテンツとともに、撮像状態確認画像および地図記号が重畳された地図を表示させる。なお、これらの表示例については、図11乃至図13を参照して詳細に説明する。なお、データ取得部350は、図1に示すシステム制御部140に対応する。
[地図の表示制御例]
図11および図12は、本発明の第1の実施の形態における表示部260に表示されるコンテンツ選択画面の表示例を示す図である。
図11(a)には、コンテンツ記憶部290に記憶されているコンテンツを再生させる場合に、再生対象となるコンテンツを選択するためのコンテンツ選択画面500を示す。コンテンツ選択画面500には、コンテンツを選択するためのインデックス画像を表示するインデックス画像表示領域510が設けられている。このインデックス画像表示領域510には、コンテンツ管理情報記憶部300のインデックス画像345に記憶されているインデックス画像511乃至513が表示される。また、操作受付部270による操作入力に基づいて、スクロールバー514を上下方向に移動させることにより、インデックス画像表示領域510に表示されるインデックス画像を上下方向に移動させて、他のインデックス画像を表示させることができる。
図11(b)には、図11(a)に示すコンテンツ選択画面500において、インデックス画像511を選択する選択操作が操作受付部270により受け付けられた場合における表示例(コンテンツ選択画面501)を示す。なお、図11(b)に示すコンテンツ選択画面501では、選択状態となっているインデックス画像511を太枠で示す。このように、コンテンツ選択画面501において選択状態となっているインデックス画像511に対応する地図が、地図表示領域520に表示される。この地図表示領域520に表示されている地図と、この地図に重畳されている撮像状態確認画像430および地図記号461は、図8(b)に示すものと同一であるため、ここでの説明を省略する。
このように、コンテンツ選択画面において、選択状態とされたインデックス画像に対応する地図を、撮像時における撮像方向の被写体側を表示部260の表示面における上側に表示することにより、ユーザが撮像時における撮像方向を容易に把握することができる。これにより、コンテンツが記録された位置およびその際の撮像方向を容易に把握することができるため、コンテンツを選択する際の地理的な判断材料をユーザが容易に取得することができる。
図11では、インデックス画像表示領域520にインデックス画像のみを表示する例を示した。しかしながら、例えば、地図を表示するためのメタデータが関連付けて記憶されていないコンテンツが存在する場合も想定される。そこで、以下では、そのメタデータが関連付けて記憶されているコンテンツを容易に把握することができるようにインデックス画像を表示する例を示す。
図12(a)には、地図を表示するためのメタデータが関連付けられているコンテンツに対応するインデックス画像にはその旨を示す「map」の文字を付した表示例を示す。例えば、図12(a)に示すインデックス画像表示領域530において、インデックス画像531および533に対応するコンテンツには、地図を表示するためのメタデータが関連付けて記憶されているものとする。一方、インデックス画像532に対応するコンテンツには、地図を表示するためのメタデータが関連付けて記憶されていないものとする。この場合には、図12(a)に示すように、インデックス画像531および533には「map」の文字が重ねて表示され、インデックス画像532には「map」の文字が表示されない。これにより、地図を表示するためのメタデータが関連付けて記憶されているコンテンツであるか否かを容易に把握することができる。
また、図11(b)では、撮像状態確認画像および地図記号が重畳された地図をコンテンツ選択画面501に表示する例を示した。しかしながら、例えば、撮像状態確認画像および地図記号が重畳された地図とともに、対応するコンテンツを表示するようにしてもよい。
図12(b)には、図11(b)に示す地図表示領域520の位置に、コンテンツ表示領域540を設けた表示例を示す。コンテンツ表示領域540には、コンテンツに対応する画像(拡大したインデックス画像またはコンテンツを構成する画像)を表示するとともに、その画像上に地図表示領域541を設ける。なお、コンテンツ表示領域540に表示されている画像および地図は、図8(b)に示す画像451と大きさが異なる点以外は同一である。このように表示することにより、再生時における表示形態を容易に把握することができる。
図13は、本発明の第1の実施の形態における表示部260におけるコンテンツの再生例を示す図である。図13(a)および(b)には、図4(b)に示す状態で撮像装置100を右側にパンニングした場合において記録された動画コンテンツを再生する場合における画像の遷移を示す。なお、図13(a)に示す画像600は、図8(b)に示す画像451と同一である。
例えば、図4(b)に示す状態で撮像装置100を右側にパンニングした場合には、図13(a)および(b)に示すように、撮像画像に含まれる「○○駅」の駅舎601が、撮像画像内においてパンニング方向とは反対側に移動する。また、このようにパンニング操作が行われた場合でも、その撮像動作状態に対応するメタデータ(撮像位置情報、撮像方向情報、奥行情報、画角情報等)がコンテンツ管理情報記憶部300に順次記録される。このため、例えば、パンニング操作を行いながら記録された動画コンテンツを再生する場合には、その撮像動作状態に対応するメタデータに基づいて地図が表示される。このため、例えば、図13(a)に示す状態から図13(b)に示す状態にパンニング操作を行いながら記録された動画コンテンツを再生する場合には、そのパンニング操作に応じて回転処理された地図が地図表示領域630に表示される。また、地図表示領域630における地図上には、その回転処理に応じて回転された地図記号632が表示されるとともに、撮像状態確認画像631が表示される。このように、再生中のコンテンツに対応する画像の撮像動作状態に応じて、地図表示領域に表示される地図、撮像状態確認画像および地図記号が順次変更して表示される。
ここで、例えば、頻繁に移動しながら動画コンテンツが記録された場合に、地図を表示するためのメタデータ(撮像位置情報、撮像方向情報、奥行情報、画角情報等)が一定間隔でコンテンツ管理情報記憶部300に順次記録された場合を想定する。この動画コンテンツを再生する場合に、そのメタデータに基づいて地図を順次回転処理して表示すると、地図の角度等が頻繁に変更されることも想定される。このように頻繁に地図の角度等が変更されると、ユーザが地図を見難くなることがある。そこで、例えば、そのメタデータに対応する回転角度が閾値を超えていない場合には、地図の回転処理を行わず、その回転角度が閾値を超えた場合にのみ、回転処理を行うようにしてもよい。
また、地図を変換するためのメタデータ(撮像方向情報)が関連付けられていないコンテンツを再生する場合に、他のメタデータ(撮像位置情報、奥行情報、画角情報等)が関連付けられている場合も想定される。このようなコンテンツの再生時においては、例えば、地図上に撮像状態確認画像やランドマーク画像を表示することができる。
[撮像装置の動作例]
次に、本発明の第1の実施の形態における撮像装置100の動作について図面を参照して説明する。
図14は、本発明の第1の実施の形態における撮像装置100による地図表示制御処理の処理手順を示すフローチャートである。この例では、静止画を記録するためのモニタリングモードが設定されている場合に、撮像画像上に地図を重ねて表示させる例について説明する。なお、地図の縮尺は、ユーザ操作により指定されるものとする。
最初に、撮像部211が撮像画像を生成する(ステップS901)。続いて、撮像位置情報取得部212が撮像位置情報を取得し(ステップS902)、撮像方向情報取得部213が撮像方向情報を取得する(ステップS903)。なお、ステップS903は、特許請求の範囲に記載の撮像方向取得手順の一例である。続いて、地図データ変換処理が行われる(ステップS920)。なお、ステップS920は、特許請求の範囲に記載の変換手順の一例である。この地図データ変換処理については、図15を参照して詳細に説明する。続いて、表示制御部250が、地図データ変換処理により変換された地図データに基づいて、その地図データに対応する地図を描画する(ステップS904)。この場合に、地図上には地図記号(例えば、図8(b)に示す地図記号461)が描画される。
続いて、カメラ情報取得部214が画角情報および奥行情報を取得し(ステップS905)、撮像範囲算出部240が、その取得された画角情報および奥行情報に基づいて撮像範囲を算出する(ステップS906)。
続いて、表示制御部250が、算出された撮像範囲に基づいて撮像状態確認画像を地図上に重ねて描画する(ステップS907)。続いて、表示制御部250が、撮像状態確認画像が重畳された地図と、撮像画像とを表示部260に表示させる(ステップS908)。なお、ステップS908は、特許請求の範囲に記載の表示制御手順の一例である。
続いて、シャッターボタンの押下操作が行われたか否かが判断される(ステップS909)。シャッターボタンの押下操作が行われた場合には(ステップS909)、記録制御部280が、生成された撮像画像を静止画コンテンツとしてコンテンツ記憶部290に記録させる(ステップS910)。続いて、記録制御部280が、取得された撮像位置情報、撮像方向情報、画角情報および奥行情報を、その静止画コンテンツのメタデータとしてコンテンツ管理情報記憶部300に記録させる(ステップS911)。一方、シャッターボタンの押下操作が行われていない場合には(ステップS909)、ステップS912に進む。
続いて、動作(モニタリングモード)の終了を指示する指示操作が行われたか否かが判断され(ステップS912)、動作の終了を指示する指示操作が行われた場合には、地図表示制御処理の動作を終了する。一方、動作の終了を指示する指示操作が行われていない場合には(ステップS912)、ステップS901に戻る。
図15は、本発明の第1の実施の形態における撮像装置100による地図表示制御処理の処理手順のうちの地図データ変換処理(図14に示すステップS920の処理手順)を示すフローチャートである。
最初に、地図データ取得部220が、撮像位置情報取得部212により取得された撮像位置情報に基づいて、地図データ記憶部200から地図データを取得する(ステップS921)。続いて、地図データ変換部230が、撮像方向情報取得部213により取得された撮像方向情報に基づいて、北方向と撮像方向との角度を算出する(ステップS922)。続いて、地図データ変換部230が、算出された角度に基づいて、地図データ記憶部200から取得された地図データを回転処理することにより地図データの変換を行う(ステップS923)。
図16は、本発明の第1の実施の形態における撮像装置100による地図表示制御処理の処理手順を示すフローチャートである。この例は、図14に示す地図表示制御処理の変形例であり、動画の記録中において、撮像画像上に地図を重ねて表示させる例である。このため、図14に示す処理手順と同一の部分については、同一の符号を付して説明を省略する。
この処理手順は、動画の記録中の処理手順であるため、記録制御部280が、生成された撮像画像(フレーム)を動画コンテンツとしてコンテンツ記憶部290に順次記録させる(ステップS910)。また、記録制御部280が、取得された撮像位置情報、撮像方向情報、画角情報および奥行情報を、その撮像画像のメタデータとしてコンテンツ管理情報記憶部300に記録させる(ステップS911)。このメタデータの記録は、各フレームについて行うようにしてもよく、所定間隔毎に行うようにしてもよい。
また、動作(動画記録)の終了を指示する指示操作が行われた場合には(ステップS912)、記録制御部280が、その動画記録中にコンテンツ管理情報記憶部300にメタデータが記録された撮像画像のうちから代表画像を決定する(ステップS913)。そして、記録制御部280が、代表画像として決定された撮像画像について、その旨を代表画像情報346(図3に示す)に記録する(ステップS913)。
図17は、本発明の第1の実施の形態における撮像装置100による地図表示制御処理の処理手順を示すフローチャートである。この例は、図14に示す地図表示制御処理の変形例であり、コンテンツ選択画面(図11および図12に示す)において、インデックス画像とともに地図を表示させる例である。このため、図14に示す処理手順と同一の部分については、同一の符号を付して説明を省略する。
最初に、表示制御部250が、コンテンツ管理情報記憶部300に記憶されているインデックス画像を取得し、インデックス画像の一覧をコンテンツ選択画面に表示する(ステップS931)。このコンテンツ選択画面は、例えば、ユーザ操作により表示される。
続いて、コンテンツ選択画面に表示されているインデックス画像を選択する選択操作が受け付けられたか否かが判断される(ステップS932)。インデックス画像を選択する選択操作が受け付けられていない場合には(ステップS932)、ステップS935に進む。一方、インデックス画像を選択する選択操作が受け付けられた場合には(ステップS932)、データ取得部350が、選択されたインデックス画像に関連付けてコンテンツ管理情報記憶部300に記憶されているメタデータを取得する(ステップS933)。なお、ステップS933は、特許請求の範囲に記載の撮像方向取得手順の一例である。
続いて、取得されたメタデータ(撮像位置情報および撮像方向情報)に基づく地図データ変換処理が行われる(ステップS920)。続いて、取得されたメタデータ(画角情報および奥行情報)を用いて、撮像状態確認画像が地図上に重ねて描画される(ステップS904、S906、S907)。続いて、表示制御部250が、撮像状態確認画像が重畳された地図を表示部260に表示させる(ステップS934)。例えば、コンテンツ選択画面の地図表示領域520(図11(b)に示す)に撮像状態確認画像が重畳された地図を表示させる。なお、ステップS934は、特許請求の範囲に記載の表示制御手順の一例である。
続いて、コンテンツの再生指示操作が行われたか否かが判断され(ステップS935)、コンテンツの再生指示操作が行われた場合には、選択状態となっているインデックス画像に対応するコンテンツについてコンテンツ再生処理が行われる(ステップS940)。このコンテンツ再生処理については、図18を参照して詳細に説明する。一方、コンテンツの再生指示操作が行われていない場合には(ステップS935)、コンテンツ選択画面表示の終了指示操作が行われたか否かが判断される(ステップS936)。コンテンツ選択画面表示の終了指示操作が行われた場合には(ステップS936)、地図表示制御処理の動作を終了する。一方、コンテンツ選択画面表示の終了指示操作が行われていない場合には(ステップS936)、ステップS931に戻る。
図18は、本発明の第1の実施の形態における撮像装置100による地図表示制御処理の処理手順のうちのコンテンツ再生処理(図17に示すステップS940の処理手順)を示すフローチャートである。この例は、図14に示す地図表示制御処理の変形例であり、再生が指示されたコンテンツに対応する画像上に地図を重ねて表示させる例である。このため、図14に示す処理手順と同一の部分については、同一の符号を付して説明を省略する。
最初に、データ取得部350が、再生が指示されたコンテンツをコンテンツ記憶部290から取得し(ステップS941)、そのコンテンツに関連付けてコンテンツ管理情報記憶部300に記憶されているメタデータを取得する(ステップS942)。なお、ステップS942は、特許請求の範囲に記載の撮像方向取得手順の一例である。
続いて、取得されたメタデータ(撮像位置情報および撮像方向情報)に基づく地図データ変換処理が行われる(ステップS920)。続いて、取得されたメタデータ(画角情報および奥行情報)を用いて、撮像状態確認画像が地図上に重ねて描画される(ステップS904、S906、S907)。続いて、表示制御部250が、撮像状態確認画像が重畳された地図と、取得されたコンテンツに対応する画像とを表示部260に表示させる(ステップS943)。ここで、再生が指示されたコンテンツが動画コンテンツである場合には、例えば、地図データ変換処理、撮像状態確認画像の地図上への描画処理等が、その動画コンテンツを構成するフレーム毎に順次行われる。また、再生が指示されたコンテンツが静止画コンテンツである場合には、例えば、地図データ変換処理、撮像状態確認画像の地図上への描画処理等が、1つの静止画コンテンツについて一度のみに行われる。なお、ステップS943は、特許請求の範囲に記載の表示制御手順の一例である。
続いて、コンテンツ再生の終了指示操作が行われたか否かが判断され(ステップS944)、コンテンツ再生の終了指示操作が行われた場合には、コンテンツ再生処理の動作を終了する。一方、コンテンツ再生の終了指示操作が行われていない場合には(ステップS944)、ステップS920に戻る。
<2.第2の実施の形態>
本発明の第1の実施の形態では、平面状の地図(二次元地図)を表示する例について説明した。しかしながら、例えば、三次元画像の地図(三次元地図)を表示する場合についても、本発明の第1の実施の形態を適用することができる。この三次元地図は、例えば、地図上の三次元空間が平面上に投影されて表示される地図である。以下では、三次元地図を表示する例について図面を参照して詳細に説明する。
[撮像装置の構成例]
図19は、本発明の第2の実施の形態における撮像装置700の内部構成例を示すブロック図である。ここで、撮像装置700は、図1に示す撮像装置100の変形例であるため、撮像装置100と共通する部分については、同一の符号を付してこれらの説明を省略し、撮像装置100と異なる部分を中心に説明する。撮像装置700は、ジャイロセンサ710を備える。
ジャイロセンサ710は、互いに直交する3軸周りの角速度を検出する角速度センサであり、検出された角速度をシステム制御部140に出力する。
図20は、本発明の第2の実施の形態における撮像装置700の機能構成例を示すブロック図である。ここで、撮像装置700は、図2に示す撮像装置100の変形例であるため、撮像装置100と共通する部分については、同一の符号を付してこれらの説明を省略し、撮像装置100と異なる部分を中心に説明する。撮像装置700は、三次元地図データ記憶部720と、撮像姿勢情報取得部730と、地図データ変換部740と、コンテンツ管理情報記憶部750とを備える。ここで、撮像装置700は、二次元地図を表示する代わりに三次元地図を表示する点と、撮像姿勢情報(例えば、ティルティング操作による垂直方向の移動量)に基づいて三次元地図の垂直方向の表示態様を変更する点とが本発明の第1の実施の形態と異なる。そこで、以下では、本発明の第1の実施の形態と異なる点を中心に説明し、共通する点についての説明を省略する。
三次元地図データ記憶部720は、表示部260に三次元地図を表示させるための三次元地図データを記憶するものであり、記憶されている三次元地図データを地図データ取得部220に供給する。なお、三次元地図データ記憶部720は、図19に示す記録部160に対応する。
撮像姿勢情報取得部730は、撮像装置700の撮像動作状態における姿勢に関する撮像姿勢情報を取得するものであり、取得された撮像姿勢情報を地図データ変換部740および記録制御部280に出力する。この撮像姿勢情報は、ジャイロセンサ710により検出された角速度に基づいて算出される回転角度であり、例えば、撮像装置700を用いて撮像動作を行っているユーザを基準とした場合におけるピッチ(picth)軸の回転角度とする。なお、撮像姿勢情報取得部730は、図19に示すジャイロセンサ710に対応する。
地図データ変換部740は、撮像方向情報取得部213から出力された撮像方向情報と、撮像姿勢情報取得部730から出力された撮像姿勢情報とに基づいて、地図データ取得部220から出力された三次元地図データを変換するものである。そして、変換後の三次元地図データを表示制御部250に出力する。なお、三次元地図データに対応する三次元地図における高度は、撮像位置情報取得部212により取得された撮像位置情報に含まれる高度を用いて特定される。また、三次元地図データの変換については、図21および図22を参照して詳細に説明する。
コンテンツ管理情報記憶部750は、記録制御部280の制御に基づいて、撮像姿勢情報取得部730から出力された撮像姿勢情報を撮像画像に関連付けて記録するものである。なお、撮像位置情報取得部212、撮像方向情報取得部213およびカメラ情報取得部214から出力された各情報についても、本発明の第1の実施の形態と同様に撮像画像に関連付けて記録する。すなわち、図3に示すメタデータ340として撮像姿勢情報が追加して記録される。なお、コンテンツ管理情報記憶部750は、図19に示す記録部160に対応する。
[地図の表示制御例]
図21および図22は、本発明の第2の実施の形態における撮像装置700の撮像動作状態およびその状態に表示される三次元地図を示す図である。図21(a)および図22(a)には、建物群810が存在する地域800において、撮像装置700により建物群810の周辺を撮像している状態を簡略化して示す。ここで、建物群810は、東西方向に一列に並んで存在する3つの建物により構成されているものとする。また、図21(a)では、地域800において、撮像装置700の撮像方向が北東方向となる状態で、かつ、撮像装置700の撮像方向が建物群810の屋上を見上げる方向となる状態で撮像動作が行われているものとする。また、図22(a)では、地域800において、撮像装置700の撮像方向が北東方向となる状態で、かつ、撮像装置700の撮像方向が建物群810の屋上を見下ろす方向となる状態で撮像動作が行われているものとする。
図21(b)には、図21(a)に示す状態で撮像装置700の撮像動作が行われている場合に、表示部260に表示される三次元地図820を示す。図22(b)には、図22(a)に示す状態で撮像装置700の撮像動作が行われている場合に、表示部260に表示される三次元地図830を示す。地図データ変換部740は、地図データ取得部220から出力された三次元地図データに対応する三次元地図における撮像方向と、表示部260における特定方向とが一致するように三次元地図データを変換する。この変換とともに、地図データ変換部740は、撮像位置を基準位置とし、撮像姿勢情報取得部730から出力された撮像姿勢情報により特定される回転角度に応じて三次元地図データを変換する。例えば、図21(a)に示す状態で撮像装置700の撮像動作が行われている場合には、図21(b)に示すように、建物群810の屋上を見上げるように三次元地図が変換されて表示される。また、図22(a)に示す状態で撮像装置700の撮像動作が行われている場合には、図22(b)に示すように、建物群810の屋上を見下ろすように三次元地図が変換されて表示される。なお、本発明の第1の実施の形態と同様に、図21(b)および図22(b)に示す三次元地図とともに、この三次元地図に関連する撮像画像が表示される。
このように、撮像装置700の垂直方向の移動に応じて、三次元地図が変更して表示される。また、本発明の第1の実施の形態と同様に、三次元地図における撮像方向と表示部260における特定方向とが一致するように、撮像画像および三次元地図が表示部260に表示される。また、撮像状態確認画像821および831と、地図記号822および832についても、本発明の第1の実施の形態と同様に、三次元地図上に描画される。なお、この例では、二次元地図と同様の撮像状態確認画像を表示する例を示すが、例えば、立体的な撮像範囲を表す画像を撮像状態確認画像として表示するようにしてもよい。また、この例では、コンテンツを記録する場合における表示制御についてのみ説明したが、記録されたコンテンツを再生する場合についても同様に適用することができる。
以上で示したように、本発明の実施の形態によれば、撮像時においては、撮像画像とともに、撮像時における撮像位置を含む地図を関連付けて表示させることができるため、表示されている撮像画像の地理的な位置関係を容易に把握することができる。この地図の表示の際に、地図の撮像時における撮像方向が、表示部の垂直方向の上側となるように表示することができるため、実際に撮像動作を行っている方向に対して、建物等の位置関係を直感的に把握することができる。例えば、地図の撮像時における北方向が、表示部の垂直方向の上側となるように表示する場合には、その地図上において撮像装置の向きを意識しながら地図を確認する必要があるのに対し、本発明の実施の形態では、撮像装置の向きを意識しなくてもよい。
また、コンテンツの再生時においても同様に、コンテンツまたはインデックス画像とともに、撮像時における撮像位置を含む地図を関連付けて表示させることができるため、表示されている画像の地理的な位置関係を容易に把握することができる。また、地図の撮像時における撮像方向が、表示部の垂直方向の上側となるように表示することができるため、実際に撮像動作を行った方向に対して、建物等の位置関係を直感的に把握しながらコンテンツの再生を行うことができる。
また、地図上に撮像状態確認画像を表示させることができるため、撮像時における撮像範囲を地図上で容易に確認することができる。すなわち、実際に撮像動作を行っている方向に対する建物等の位置関係とともに、撮像範囲についても直感的に把握することができる。
また、画像とともに、この画像に関連する三次元地図を表示させる場合にも同様に、三次元地図の撮像時における撮像方向が、表示部の垂直方向の上側となるように表示することができる。このため、実際に撮像動作を行っている方向に対して、立体的な建物等の位置関係を直感的に把握することができる。
また、撮像機能付き携帯電話機、パーソナルコンピュータ、カーナビゲーションシステム等の地図を表示させることが可能な電子機器に本発明の実施の形態を適用することができる。また、コンテンツおよびこれに関連する地図を他の表示装置に出力し、その表示装置にコンテンツおよびこれに関連する地図を表示させることが可能な電子機器に本発明の実施の形態を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
100、700 撮像装置
110 カメラモジュール
120 GPSモジュール
130 方位センサ
140 システム制御部
150 操作部
160 記録部
170 表示部
180 音声出力部
200 地図データ記憶部
211 撮像部
212 撮像位置情報取得部
213 撮像方向情報取得部
214 カメラ情報取得部
220 地図データ取得部
230、740 地図データ変換部
240 撮像範囲算出部
250 表示制御部
260 表示部
270 操作受付部
280 記録制御部
290 コンテンツ記憶部
300、750 コンテンツ管理情報記憶部
350 データ取得部
710 ジャイロセンサ
720 三次元地図データ記憶部
730 撮像姿勢情報取得部

Claims (12)

  1. 撮像画像の撮像時における撮像位置を基準として前記撮像画像に含まれる被写体が存在する方向である撮像方向を取得する撮像方向取得部と、
    前記撮像位置を含む地図における前記取得された撮像方向と前記地図が表示される表示面における特定方向とが一致するように前記地図を変換する変換部と、
    前記変換された地図を前記撮像画像に関連付けて表示させる表示制御部と
    を具備する電子機器。
  2. 前記撮像画像により構成されるコンテンツを表す代表画像をコンテンツ毎に記憶する代表画像記憶部と、
    前記代表画像記憶部に記憶されている代表画像のうちから所望の代表画像を選択する選択操作を受け付ける操作受付部とをさらに具備し、
    前記変換部は、前記代表画像記憶部に記憶されている代表画像のうち前記選択された代表画像の撮像時における撮像位置を含む地図について前記変換を行い、
    前記表示制御部は、前記代表画像記憶部に記憶されている代表画像を一覧表示させて当該表示されている代表画像のうち前記選択された代表画像に前記変換された地図を関連付けて表示させる
    請求項1記載の電子機器。
  3. 前記変換部は、前記選択された代表画像に対応するコンテンツの再生指示がされた場合には当該再生指示がされたコンテンツを構成する撮像画像毎に前記地図の変換を行い、
    前記表示制御部は、前記再生指示がされたコンテンツを構成する撮像画像毎に当該撮像画像に関連付けて前記変換された地図を表示させる
    請求項2記載の電子機器。
  4. 前記撮像画像を生成する撮像部をさらに具備し、
    前記変換部は、前記撮像画像が生成される毎に当該生成された撮像画像の撮像時における撮像位置を含む地図について前記変換を行い、
    前記表示制御部は、前記撮像画像が生成される毎に当該生成された撮像画像に関連付けて前記変換された地図を表示させる
    請求項1記載の電子機器。
  5. 前記撮像画像により構成される動画コンテンツを記憶するコンテンツ記憶部をさらに具備し、
    前記変換部は、前記動画コンテンツの再生指示がされた場合には当該再生指示がされた動画コンテンツを構成する撮像画像毎に前記地図の変換を行い、
    前記表示制御部は、前記動画コンテンツを構成する撮像画像毎に当該撮像画像に関連付けて前記変換された地図を表示させる
    請求項1記載の電子機器。
  6. 前記変換部は、前記地図における前記取得された撮像方向と前記特定方向とが一致するように前記撮像位置を基準として前記地図を回転させることにより前記地図を変換する請求項1記載の電子機器。
  7. 前記地図は、前記撮像位置を含む地図上の三次元空間が平面に投影されて三次元撮像画像とされた三次元地図であり、
    前記変換部は、前記三次元地図における前記取得された撮像方向と前記三次元地図が表示される表示面における特定方向とが一致するように前記三次元地図を変換し、
    前記表示制御部は、前記変換された三次元地図を前記撮像画像に関連付けて表示させる
    請求項1記載の電子機器。
  8. 前記表示制御部は、前記撮像画像に前記地図を重畳して表示させる請求項1記載の電子機器。
  9. 前記撮像方向取得部は、前記撮像位置を基準として前記撮像画像における中心位置に存在する被写体の方向を撮像方向として取得する請求項1記載の電子機器。
  10. 前記撮像時における画角情報および奥行情報を取得する画角奥行情報取得部をさらに具備し、
    前記表示制御部は、前記取得された画角情報および奥行情報により特定される撮像範囲を表す撮像範囲撮像画像を前記地図における前記撮像位置に重畳して表示させる
    請求項1記載の電子機器。
  11. 撮像画像の撮像時における撮像位置を基準として前記撮像画像に含まれる被写体が存在する方向である撮像方向を取得する撮像方向取得手順と、
    前記撮像位置を含む地図における前記取得された撮像方向と前記地図が表示される表示面における特定方向とが一致するように前記地図を変換する変換手順と、
    前記変換された地図を前記撮像画像に関連付けて表示させる表示制御手順と
    を具備する表示制御方法。
  12. 撮像画像の撮像時における撮像位置を基準として前記撮像画像に含まれる被写体が存在する方向である撮像方向を取得する撮像方向取得手順と、
    前記撮像位置を含む地図における前記取得された撮像方向と前記地図が表示される表示面における特定方向とが一致するように前記地図を変換する変換手順と、
    前記変換された地図を前記撮像画像に関連付けて表示させる表示制御手順と
    をコンピュータに実行させるプログラム。
JP2009102525A 2009-04-21 2009-04-21 電子機器、表示制御方法およびプログラム Expired - Fee Related JP5299054B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009102525A JP5299054B2 (ja) 2009-04-21 2009-04-21 電子機器、表示制御方法およびプログラム
US12/729,420 US20100265177A1 (en) 2009-04-21 2010-03-23 Electronic apparatus, display controlling method and program
TW099111099A TW201110056A (en) 2009-04-21 2010-04-09 Electronic apparatus, display controlling method and program
CN201010164066A CN101872469A (zh) 2009-04-21 2010-04-12 电子设备、显示控制方法和程序
EP10159838A EP2252044A3 (en) 2009-04-21 2010-04-14 Electronic apparatus, display controlling method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009102525A JP5299054B2 (ja) 2009-04-21 2009-04-21 電子機器、表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2010256940A true JP2010256940A (ja) 2010-11-11
JP5299054B2 JP5299054B2 (ja) 2013-09-25

Family

ID=42782080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009102525A Expired - Fee Related JP5299054B2 (ja) 2009-04-21 2009-04-21 電子機器、表示制御方法およびプログラム

Country Status (5)

Country Link
US (1) US20100265177A1 (ja)
EP (1) EP2252044A3 (ja)
JP (1) JP5299054B2 (ja)
CN (1) CN101872469A (ja)
TW (1) TW201110056A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013239815A (ja) * 2012-05-14 2013-11-28 Canvas Mapple Co Ltd 画像表示装置、およびコンピュータプログラム
WO2013179712A1 (ja) * 2012-05-30 2013-12-05 日立コンシューマエレクトロニクス株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2016146186A (ja) * 2016-02-12 2016-08-12 日立マクセル株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7574537B2 (ja) 2020-02-27 2024-10-29 富士フイルムビジネスイノベーション株式会社 情報処理装置、及びコンピュータプログラム
WO2024225082A1 (ja) * 2023-04-26 2024-10-31 ソニーグループ株式会社 情報処理方法、および情報処理装置、並びにプログラム

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611592B2 (en) * 2009-08-26 2013-12-17 Apple Inc. Landmark identification using metadata
JP2011055250A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
KR101631497B1 (ko) * 2009-11-13 2016-06-27 삼성전자주식회사 디스플레이 장치, 사용자 단말 장치 및 그 방법들
JP2012042669A (ja) * 2010-08-18 2012-03-01 Sony Corp 顕微鏡制御装置及び光学的歪み補正方法
KR101293776B1 (ko) * 2010-09-03 2013-08-06 주식회사 팬택 객체 리스트를 이용한 증강 현실 제공 장치 및 방법
JP2012065263A (ja) * 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
JP2012247840A (ja) * 2011-05-25 2012-12-13 Sony Corp 近隣人物特定装置、近隣人物特定方法、近隣人物特定プログラム及び近隣人物特定システム
JP2013042250A (ja) * 2011-08-12 2013-02-28 Sony Corp 撮像装置および撮像方法
US9246543B2 (en) * 2011-12-12 2016-01-26 Futurewei Technologies, Inc. Smart audio and video capture systems for data processing systems
KR101946574B1 (ko) * 2011-12-16 2019-02-11 삼성전자주식회사 영상 재생 장치, 방법, 및 컴퓨터 판독가능 저장매체
KR101905648B1 (ko) * 2012-02-27 2018-10-11 삼성전자 주식회사 카메라 장치의 동영상 촬영방법 및 장치
US9256983B2 (en) 2012-06-28 2016-02-09 Here Global B.V. On demand image overlay
US9256961B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
CN104471616A (zh) * 2012-07-25 2015-03-25 索尼公司 信息处理设备以及程序
US9208538B2 (en) * 2012-11-07 2015-12-08 Google Inc. Rotated rectangle drawing on electronic devices
WO2014103731A1 (ja) * 2012-12-26 2014-07-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20140199050A1 (en) * 2013-01-17 2014-07-17 Spherical, Inc. Systems and methods for compiling and storing video with static panoramic background
CN103268621B (zh) * 2013-05-16 2016-01-20 北京链家房地产经纪有限公司 一种房屋实景图生成方法与装置
WO2015045645A1 (ja) 2013-09-25 2015-04-02 Necカシオモバイルコミュニケーションズ株式会社 撮像装置、撮像方法及びプログラム
JP6254849B2 (ja) * 2014-01-17 2017-12-27 キヤノン株式会社 画像処理装置、画像処理方法
US9851299B2 (en) 2014-10-25 2017-12-26 Isle Management Co. Method of analyzing air quality
US10142533B2 (en) * 2015-03-27 2018-11-27 Intel Corporation Technologies for controlling user access to image sensors of a camera device
US20180160198A1 (en) * 2015-06-16 2018-06-07 Sharp Kabushiki Kaisha Generation device
US20170213383A1 (en) * 2016-01-27 2017-07-27 Microsoft Technology Licensing, Llc Displaying Geographic Data on an Image Taken at an Oblique Angle
KR102360179B1 (ko) 2016-02-02 2022-02-08 삼성전자주식회사 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
US10878545B2 (en) 2016-03-29 2020-12-29 Sony Corporation Information processing device, imaging apparatus, image reproduction apparatus, and method and program
CN108399635A (zh) * 2017-02-08 2018-08-14 青岛安吉云诺光电科技有限公司 一种从二维图像分析空间位置信息的方法及装置
US10360709B2 (en) * 2017-04-05 2019-07-23 Microsoft Technology Licensing, Llc Rendering images on map using orientations
CN110632734B (zh) * 2017-05-24 2021-09-14 Oppo广东移动通信有限公司 对焦方法及相关产品
CN107784624B (zh) * 2017-09-28 2020-12-04 北京华航无线电测量研究所 一种匹配区图像的制作方法
TWI743519B (zh) * 2019-07-18 2021-10-21 萬潤科技股份有限公司 自走式裝置及其建立地圖方法
WO2023223760A1 (ja) * 2022-05-18 2023-11-23 富士フイルム株式会社 制御装置、制御方法、制御プログラム、及びシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369189A (ja) * 2001-06-06 2002-12-20 Ffc:Kk カメラ映像表示装置およびカメラ映像表示方法
JP2004326193A (ja) * 2003-04-21 2004-11-18 Sony Corp 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム
JP2007135069A (ja) * 2005-11-11 2007-05-31 Sony Corp 撮像再生装置
JP2008219390A (ja) * 2007-03-02 2008-09-18 Victor Co Of Japan Ltd 画像閲覧装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3622094B2 (ja) * 1995-10-05 2005-02-23 株式会社日立製作所 地図更新支援装置および地図情報の編集方法
JP4296451B2 (ja) * 1998-06-22 2009-07-15 株式会社日立製作所 画像記録装置
US6882350B2 (en) * 2000-08-07 2005-04-19 Sony Corporation Information processing apparatus, information processing method, program storage medium and program
JP2004297339A (ja) * 2003-03-26 2004-10-21 Fuji Photo Film Co Ltd 画像表示方法及び画像表示プログラム
KR100620957B1 (ko) * 2004-12-13 2006-09-19 삼성전기주식회사 방위각을 측정하는 지자기센서 및 그 방법
US7881862B2 (en) * 2005-03-28 2011-02-01 Sap Ag Incident command post
CA2609686A1 (en) * 2005-08-17 2007-02-22 Tomtom International B.V. Navigation device and method of scrolling map data displayed on a navigation device
JP4853149B2 (ja) 2005-09-14 2012-01-11 ソニー株式会社 画像処理装置、画像表示装置、画像処理方法、プログラムおよび記録媒体
JP4740723B2 (ja) * 2005-11-28 2011-08-03 富士通株式会社 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法
EP1980935A1 (en) * 2006-02-03 2008-10-15 Matsushita Electric Industrial Co., Ltd. Information processing device
US7908083B2 (en) * 2006-02-08 2011-03-15 Leupold & Stevens, Inc. System and method for recording a note with location information derived from rangefinding and/or observer position
EP2088777B1 (en) * 2006-10-04 2013-03-06 Nikon Corporation Electronic apparatus
CN101033978B (zh) * 2007-01-30 2010-10-13 珠海市智汽电子科技有限公司 智能汽车辅助导航和自动兼辅助驾驶系统
JP5036485B2 (ja) 2007-10-24 2012-09-26 日本カーリット株式会社 導電性付与剤及び導電性材料
US7991575B2 (en) * 2009-01-08 2011-08-02 Trimble Navigation Limited Method and system for measuring angles based on 360 degree images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369189A (ja) * 2001-06-06 2002-12-20 Ffc:Kk カメラ映像表示装置およびカメラ映像表示方法
JP2004326193A (ja) * 2003-04-21 2004-11-18 Sony Corp 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム
JP2007135069A (ja) * 2005-11-11 2007-05-31 Sony Corp 撮像再生装置
JP2008219390A (ja) * 2007-03-02 2008-09-18 Victor Co Of Japan Ltd 画像閲覧装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013239815A (ja) * 2012-05-14 2013-11-28 Canvas Mapple Co Ltd 画像表示装置、およびコンピュータプログラム
WO2013179712A1 (ja) * 2012-05-30 2013-12-05 日立コンシューマエレクトロニクス株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2013250589A (ja) * 2012-05-30 2013-12-12 Hitachi Consumer Electronics Co Ltd 情報処理装置、情報処理方法、及び、プログラム
JP2016146186A (ja) * 2016-02-12 2016-08-12 日立マクセル株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7574537B2 (ja) 2020-02-27 2024-10-29 富士フイルムビジネスイノベーション株式会社 情報処理装置、及びコンピュータプログラム
WO2024225082A1 (ja) * 2023-04-26 2024-10-31 ソニーグループ株式会社 情報処理方法、および情報処理装置、並びにプログラム

Also Published As

Publication number Publication date
EP2252044A2 (en) 2010-11-17
CN101872469A (zh) 2010-10-27
EP2252044A3 (en) 2013-01-09
TW201110056A (en) 2011-03-16
JP5299054B2 (ja) 2013-09-25
US20100265177A1 (en) 2010-10-21

Similar Documents

Publication Publication Date Title
JP5299054B2 (ja) 電子機器、表示制御方法およびプログラム
JP5347716B2 (ja) 画像処理装置、情報処理方法およびプログラム
US8994785B2 (en) Method for generating video data and image photographing device thereof
CN103162706A (zh) 用于移动终端中的内容显示的设备和方法
JP2009253921A (ja) 撮像装置、撮像画像記録方法およびプログラム
JP2013074376A (ja) 撮像ガイド装置、撮像装置、撮像ガイド方法、プログラム
JP6620740B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10116862B2 (en) Imaging apparatus
WO2007055205A1 (ja) 撮像再生装置
JP2007135069A (ja) 撮像再生装置
JP5634786B2 (ja) デジタルカメラ
JP6741498B2 (ja) 撮像装置、表示装置、及び撮像表示システム
JP4715661B2 (ja) 画像再生装置、および画像再生プログラム
JP6412400B2 (ja) 画像合成装置および画像合成プログラム
JP5206445B2 (ja) 動画表示装置、プログラムおよび撮像装置
JP2007135068A (ja) 撮像再生装置
JP6447615B2 (ja) 画像表示装置及び方法、画像生成装置及び方法、並びにプログラム
JP5278572B2 (ja) 電子機器、表示制御方法およびプログラム
JP5680358B2 (ja) 撮像装置及び撮像方法
JP2012151873A (ja) 画像処理装置、画像処理装置の制御方法、および、プログラム
JP6318196B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2015092743A (ja) 撮像装置及び撮像方法
JP2014086948A (ja) 撮像装置
JP2011259265A (ja) 映像記録再生装置
JP2011043931A (ja) 情報処理装置、表示制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130425

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130603

LAPS Cancellation because of no payment of annual fees