JP2009271732A - 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム - Google Patents

情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP2009271732A
JP2009271732A JP2008121668A JP2008121668A JP2009271732A JP 2009271732 A JP2009271732 A JP 2009271732A JP 2008121668 A JP2008121668 A JP 2008121668A JP 2008121668 A JP2008121668 A JP 2008121668A JP 2009271732 A JP2009271732 A JP 2009271732A
Authority
JP
Japan
Prior art keywords
information
additional information
image
viewpoint
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008121668A
Other languages
English (en)
Other versions
JP4600515B2 (ja
Inventor
Shunsuke Hayashi
俊輔 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008121668A priority Critical patent/JP4600515B2/ja
Priority to US12/412,980 priority patent/US8103126B2/en
Publication of JP2009271732A publication Critical patent/JP2009271732A/ja
Application granted granted Critical
Publication of JP4600515B2 publication Critical patent/JP4600515B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】撮影画像やスルー画像に対して建物や周辺スポットなどの情報を被写体への距離感を直感的に理解し易く提示す。
【解決手段】スルー画像上で被写体に関連した付加情報を重畳して提示する際に、カメラの現在位置から対応する被写体までの距離に基づいて、画面上での付加情報の表示位置や大きさを決定するので、被写体と付加情報とを直感的な位置関係で見ることができる。例えば2つの奥行き方向に建物が重なっていたときなど、単純に2つの情報が表示されるより、どちらが手前にある物なのかが分かる。しかも、それとは同時に、隠れていて見えないものが存在した場合もそれが分かる。
【選択図】 図4

Description

本発明は、例えばデジタルビデオカメラやデジタルスチルカメラで撮影された画像情報を処理する情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムに係り、特に、撮影画像やスルー画像に対して付加的な情報を重畳して表示する情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムに関する。
さらに詳しくは、本発明は、撮影画像やスルー画像に映る建物や周辺スポットの名称などの情報を提示する情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムに係り、特に、撮影画像やスルー画像に対して建物や周辺スポットなどの情報を被写体への距離感を直感的に理解し易く提示する情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムに関する。
最近、CCD(Charge Coupled Device)やCMOS(Complementary Mental−Oxide Semiconductor)などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラ(スチルカメラ並びにビデオカメラを含むものとする)が広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができる。また、従来のフィルムや感光板を使って撮影する銀塩カメラに対し、メディアの寿命の問題がないという利点もある。
多くのデジタルカメラは、比較的大画面のビュー・ファインダを備えており、スルー画像やメニュー画面を表示したり、記録画像を再生出力したりするために利用することができる。また、デジタルカメラは、他の携帯機器と同様に、デジタル情報の処理能力を備えていることから、内蔵センサの検出出力や外部インターフェース経由で取得したデータを基に、ユーザに有益となるさまざまな情報を、ファインダ画面を介して提示することができる。
例えば、撮影画像や被写体としてファインダに表示されている風景画像に対して、建物や周辺スポットの名称といった情報を重畳して表示することができれば、ナビゲーションなどの機能を実現することができ、便利である。最近のカメラはGPS(Global Positioning System)などの位置センサを搭載する製品モデルもあり、撮影位置や撮影方向、対象位置、対象情報といった、周辺スポット情報を重畳表示するために必要な情報をさまざまな方法で取得することができる。
例えば、レンズを介して観察される対象物の近傍に、その対象物の名称も見えるようにする情報表示装置について提案がなされている(例えば、特許文献1を参照のこと)。
また、カメラの立体位置に基づいて撮影された実画像に含まれる各建物の建物データを取得する。そして、強調したい対象物とその他の周辺の建物を重ねるように表示フレーム上に投影して陰面処理を行ない、強調部分にある画素に対しては輝度を高くする強調フィルタを作成して実画像に適用することによって、位置情報を利用して目標とする建物が分かり易く表示された実画像を提供する情報提供装置について提案がなされている(例えば、特許文献2を参照のこと)。
しかしながら、ファインダ画像に対して複数の情報を重畳表示しようとすると、文字が重なったり、手前の物体の奥に対象物があったりして、見えづらくなることがある。また、情報提示を行なう対象(被写体)が1つであったとしても、現在の撮影位置からその対象への距離などを、撮影画像やスルー画像を見てすぐは分かり難く、画像から得られる距離感が直感的ではない。
特開平11−211993号公報 特開2003−216977号公報
本発明の目的は、例えばデジタルビデオカメラやデジタルスチルカメラで撮影された撮影画像やスルー画像に対して付加的な情報を好適に重畳表示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
本発明のさらなる目的は、撮影画像やスルー画像に映る建物や周辺スポットの名称などの情報を好適に提示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
本発明のさらなる目的は、撮影画像やスルー画像に対して建物や周辺スポットなどの情報を被写体への距離感を直感的に理解し易く提示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
本発明は、上記課題を参酌してなされたものであり、その第1の側面は、地上付近に存在する1以上の対象物を撮影することができるカメラ撮影部で撮影された撮影画像を取得する画像取得部と、
前記撮影画像を表示可能な表示部と、
前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得部と、
前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得部と、
前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得部と、
前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得手段と、
前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定手段と、
前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出手段と、
前記距離情報に基づいて、前記撮影画像内での前記付加情報の表示態様、並びに、前記撮影画像内における前記付加情報の前記基準線に対する表示位置を含む表示属性を決定する表示属性決定手段と、
前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示手段と、
を具備することを特徴とする情報提示装置である。但し、基準線決定手段は、視線情報及び姿勢情報、あるいは、視線情報又は姿勢情報のうち一方を利用して、基準線を決定するものとする(本願の各請求項において「A又はB」と言うときは、基本的に、A及びB、あるいは、A又はBのうち一方、の双方の意味を持つものとする)。
例えば、建物や周辺スポットなどの1以上の対象物が被写体となってファインダに表示されている風景画像に対して、建物や周辺スポットの名称といった付加的な情報を重畳して表示することができれば、ナビゲーションなどの機能を実現することができる。
しかしながら、ファインダ画像に対して複数の付加情報を重畳表示しようとすると、文字が重なったり、手前の物体の奥に対象物があったりして、見えづらくなることがある。また、情報提示を行なう対象が1つであったとしても、カメラで撮影を行なった視点位置から対象物までの距離を、撮影画像やスルー画像を見てすぐは分かり難く、画像から得られる距離感が直感的ではない。
これに対し、本発明に係る情報提示装置では、スルー画像上で被写体として写されている対象物に関連した付加情報を重畳して提示する際に、カメラで撮影を行なった視点位置から対象物までの距離情報、撮影を行なった際のカメラの視線情報並びに姿勢情報に基づいて、画面上での付加情報の表示位置や表示態様(文字の大きさなど)といった表示属性を決定するようになっている。したがって、ユーザは、建物や周辺スポットに関する付加情報の表示属性に基づいて、被写体となる対象物への距離感を直感的に理解し易くなる。
地上の視点位置から地上付近に存在する対象物を眺める際、通常は上からの目線、すなわち下向きであるが、視点位置から対象物が遠のくに従って視線方向は地平線に近づき、スルー画面上での対象物に対応する観察点の位置も上昇していく。すなわち、画面上では、視点位置から近い対象物ほど下に写り、遠い対象物ほど上に写る。
カメラの視線方向が水平位置のときに、地平線位置はスルー画像上の中心付近を通る線になる。また、地平線の位置は、カメラで対象物を撮影する際における視線方向に関する視線情報と、カメラで対象物を撮影する際の姿勢に関する姿勢情報に基づいて、幾何学的計算などを通じて決定することができる。そこで、本発明に係る情報提示装置では、スルー画像内における地平線を計算するとともに、この地平線に基づいてスルー画像における基準線の位置を決定する。そして、スルー画像上における付加情報の基準線に対する表示位置を、カメラの視点位置から当該対象物までの距離情報に応じて決定する。例えば、カメラの視線がほぼ水平を向くときには、カメラで対象物を撮影する際の視点位置から近い対象物ほどスルー画像の画面の下にその付加情報が配置し、遠い対象物ほどスルー画像上の基準線に近くにその付加情報を配置するようにする。これは、地面上に複数の物体がさまざまな距離で配置されている際に、実際に人から見えるような配置となることから、ユーザにとって付加情報が関連付けられた対象物絵の距離を直感的に理解しやすいものとなる。
また、対象物を撮影するカメラ撮影部における姿勢(すなわち、ロール角、ピッチ角、又はヨー角のうち少なくとも1つ)が変化したときには、その撮影対象領域や、スルー画像内における基準線の位置が変化して、これに伴って、付加情報の表示位置も変化する。そこで、情報提示装置は、姿勢の変化したことを検出したときには、その度に、カメラの視点情報、視線情報、姿勢情報などを再取得してから、スルー画像上における地平線の位置を再計算するとともに基準線を再決定して、付加情報の表示位置を更新するようにする。
また、本発明に係る情報提示装置では、カメラが対象物を撮影する視点位置と対象物の位置情報との距離に応じて、付加情報の表示態様を変化させる。具体的には、距離が大きくなるにつれて、付加情報を構成する文字フォントのサイズを変更する。すなわち、カメラの視点位置から近い物体ほどその付加情報の文字を大きく表示し、遠くなるにつれて文字を小さく表示するようにする。
このように、スルー画像に含まれる対象物に関連する付加情報を、カメラで対象物を撮影した視点位置から対象物が近いのか遠いのかという位置関係に基づいて、重畳表示する際の表示位置や文字の大きさを決定するので、ユーザにとって、提示された付加情報に対応する対象物への距離感を直感的に理解し易くなるであろう。
なお、本発明に係る情報提示装置は、建物又はその他の周辺スポットに関する付加情報を対応する建物又はその他の周辺スポットの位置情報と関連付けて提供する地図データ提供手段を利用可能であるとする。かかる地図データ提供手段は、当該装置内で付加情報を蓄積する地図データ記憶部として構成することが狩野であるが、勿論、インターネットなどの高域ネットワーク上で地図データを有償又は無償で提供する地図情報データベース・サーバなどでもよい。いずれの形態で地図データが提供されるにせよ、付加情報取得手段は、前記視点情報及び前記視線情報に基づいて前記カメラ撮影部が撮影する撮影対象領域を推定し、該推定された撮影対象領域に関連する付加情報を、位置情報をキーにして(すなわち、撮影対象領域に位置情報が収容される付加情報を)前記地図データ提供手段を要求することができる。
また、本発明の第2の側面は、画像を通じてユーザに情報を提示するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
地上付近に存在する1以上の対象物を撮影することができるカメラ撮影部で撮影された画像を取得するが画像取得手順と、
前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得手順と、
前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得手順と、
前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得手順と、
前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得手順と、
前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定手順と、
前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出手順と、
前記距離情報に基づいて、前記撮影画像内での前記付加情報の表示態様、並びに、前記撮影画像内における前記付加情報の前記基準線に対する表示位置を含む表示属性を決定する表示属性決定手順と、
前記画像取得ステップで取得した撮影画像を表示するための画面上で、前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示手順と、
を実行させるためのコンピュータ・プログラムである。
本発明の第2の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第2の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第1の側面に係る情報提示装置と同様の作用効果を得ることができる。
本発明によれば、例えばデジタルビデオカメラやデジタルスチルカメラで撮影された撮影画像やスルー画像に対して付加的な情報を好適に重畳表示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。
また、本発明によれば、撮影画像やスルー画像に映る建物や周辺スポットの名称などの情報を好適に提示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。
また、本発明によれば、撮影画像やスルー画像に対して建物や周辺スポットなどの情報を被写体への距離感を直感的に理解し易く提示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。
本発明に係る情報提示装置は、スルー画像上で被写体に関連した付加情報を重畳して提示する際に、カメラの現在位置から対応する被写体までの距離に基づいて、画面上での付加情報の表示位置や大きさを決定するので、ユーザは被写体と付加情報とを直感的な位置関係で見ることができる。例えば2つの奥行き方向に建物が重なっていたときなど、単純に2つの情報が表示されるより、どちらが手前にある物なのかが分かる。しかも、それとは同時に、隠れていて見えないものが存在した場合も、それが分かる。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
以下、図面を参照しながら本発明の実施形態について詳解する。
図1には、本発明の一実施形態に係る情報提示装置10の機能的構成を模式的に示している。図示の情報提示装置10は、例えばデジタルビデオカメラやデジタルスチルカメラを用いて構成され、カメラ撮影部11の他に、カメラ位置検出部12、カメラ姿勢検出部13、公衆無線LAN(Local Area Network)サービスのアクセスポイントなどに接続する無線通信部14、地図データ記憶部15、装置全体の動作を統括的に制御する制御部16、並びに、スルー画像の表示機能なども備えたファインダ17を備えている。
本実施形態に係る情報提示装置10は、カメラ撮影部11で撮影した画像をファインダ17上にスルー画像として画面出力する。さらに、このファインダ17に表示されている風景画像に対して、建物や周辺スポットの名称といった付加情報を重畳して表示する機能を備えている。また、当該機能を実現するために、撮影位置や撮影方向、対象位置、対象情報といった、周辺スポット情報を重畳表示するために必要な情報を取得できる構成となっている。
カメラ撮影部11は、CCDやCMOSなどからなる撮像素子と、撮像素子の撮影面に被写体像を結像するための1以上のレンズの組み合わせからなる光学系と、ホワイトバランス調整など画像信号に対する処理を行なうカメラ信号処理部を備えている。本実施形態では、カメラ撮影部11は、カメラの視野を検出する機能を備えている。なお、通常のデジタルカメラは、画像信号の符号化・復号化を行なうコーデックや画像記録を行なう大容量記憶デバイスを備えているが、本発明の用紙には直接関連しないので、図1中では省略している。
カメラ位置検出部12は、例えばGPS信号や、公衆無線LANサービスのアクセスポイントなどからの受信電波状況を利用して、現在位置の緯度並びに経度などからなる、カメラ撮影部11の視点位置に関する視点情報を取得することができる。
また、カメラ姿勢検出部13は、例えば地磁気センサ、ジャイロ、加速度センサ、重力センサなどいずれかのセンサを用いて構成され、カメラ撮影部11の自己姿勢と向いている方位、すなわちカメラ撮影部の視線方向に関する視線情報を取得することができる。カメラ撮影部11の姿勢が水平位置となる場合のみを想定すると、ピッチ軸回りの姿勢を検出することができれば十分であるが、本実施形態ではロール軸回りの姿勢も検出できるものとする。
地図データ記憶部15は、例えば各地に散在する建物などに関連する周辺スポット情報を、周辺スポット毎の付加情報として蓄積し、地図データとしての付加情報を地図データ提供手段として振る舞うことができる。各付加情報は、対応する周辺スポットの位置情報と関連付けられており、例えば、ある領域内の周辺スポットの付加情報を、周辺スポット名や位置情報をキーとして検索することができる。但し、付加情報を蓄積、管理するためのデータ・フォーマットは任意とする。また、情報提供装置10は、地図データ記憶部15に蓄積された付加情報以外にも、地図データを有償又は無償で提供する地図情報データベース・サーバ(仮称)から周辺スポットの付加情報を取得したり、地図データ記憶部15にダウンロードしたりしてもよいものとする。地図情報データベース・サーバは、例えばインターネットのような広域ネットワーク上に構築されており、情報提供装置10は、無線通信部14によりアクセスされる公衆無線LANサービスを通じて、この種のサーバにアクセスすることができる。
本実施形態に係る情報提示装置10は、撮影画像やスルー画像に対して建物やランドマークなどの周辺スポットからなる対象物が被写体となった再に、これらの対象物に関する付加情報を、対象物までの距離感を直感的に理解し易く提示する点に主な特徴がある。具体的には、スルー画像上に写されている対象物に関連した付加情報を重畳して提示する際に、カメラの現在位置から対応する被写体までの距離に基づいて、画面上での付加情報の表示位置や大きさを決定するので、ユーザは被写体と付加情報とを直感的な位置関係で見ることができる。以下では、関連した付加情報を重畳して提示する方法について詳解する。
まず、被写体についての付加情報を表示する位置について説明する。
図2には、撮影者から近くと遠くの位置にそれぞれ対象物が存在するときに、撮影者の地点(すなわちカメラ撮影部11の視点位置)から見たスルー画像の一例を示している。同図から、画面上では、近い対象物ほど下に写り、逆に遠い対象物ほど上に写ることが分かる。これは、図3に示すように、地上に配設された視点位置から地上に存在する各対象物を眺めるときの視線は基本的に下向きであるが、視点位置からほど近くに設置された被写体1から遠くに設置された対象物2、…、Nに進むにつれ、同じ視点から眺める視線の方向が地平線に近づいていき、視線と表示面との交点すなわちスルー画面上での観察点の位置も上昇していくからである。
例えば、カメラ撮影部11の姿勢が水平位置のときには、この地平線位置はスルー画像上の中心付近を通る線になる。本実施形態では、スルー画像上では地平線を、周辺スポットなどの対象物に関する付加情報を表示する位置を決定する際の基準線として用いることにしている。すなわち、スルー画像上で提示する付加情報の基準線からの表示位置を、カメラ撮影部11の視点位置から対象物までの距離に応じて決定する。そして、カメラ撮影部11の視線がほぼ水平を向くときには、視点位置から近い物体ほどスルー画像の画面の下に、遠い物体ほどスルー画像上の基準線に近くに付加情報を配置するようにする。また、カメラ撮影部11の視点位置と付加情報を表示する物体の位置から、物体までの方向も同時に計算する。これらの情報を併せて、スルー画像上で付加情報をどこに配置するかを計算し、スルー画像上に重畳表示する。
図4には、カメラ撮影部11の視点位置と被写体となる対象物との距離並びに視線方向に応じて決定された位置及び大きさで付加情報が重畳表示されたスルー画像の一例を示している。地平線に相当する基準線はカメラ撮影部11自体の姿勢によって変化するが、カメラ撮影部11の姿勢角を検出することによって、さまざまな姿勢での地平線位置を修正することができる。カメラ撮影部11の姿勢が変化したことを検出したときには、その度にスルー画像上の基準線の位置を再計算し、付加情報の基準線からの表示位置を更新する。これは、地面上に複数の対象物がさまざまな距離で配置されている際において、実際に人から見えるような配置であり、直感的である。
続いて、被写体についての付加情報の表示サイズについて説明する。
付加情報は、例えば建物の名称や周辺スポット情報などを記述した文字情報からなる。文字フォントのサイズで最も大切なことは、近ければ大きく、遠ければ小さい、ということである。基本的には、カメラ撮影部11の視点位置から被写体となる対象物までの距離に応じて、対応する付加情報を構成する文字フォントのサイズを変更する。すなわち、カメラ撮影部11の視点位置から近い対象物ほどその付加情報の文字を大きく表示し、遠くなるにつれて文字を小さく表示するようにする。但し、通常は表示可能な文字フォントのサイズは上限並びに下限があるとともに離散的な値をとることから、距離と単純に比例させて付加情報のサイズを決定する必要はない。
具体的には、以下の手順で文字フォントのサイズを決定する。
(1)まず、最も近い位置と遠い位置はユーザに提示したい対象物によって決定する。
(2)次に、最小並びに最大のフォント・サイズは、画角やディスプレイ解像度(若しくはディスプレイのサイズ)など、カメラ撮影部11がカメラとして持つ性能によって決定する。
かかる決定手順には、スルー画像内に表示される対象物の最も近い距離と最も遠い距離、並びに、表示する対象の最小フォントと最大フォントを決定する必要がある。
付加情報の文字フォント・サイズを、対応する周辺スポットまでの距離に応じて決定することができる。例えば、山などの風景を被写体となる対象物とし、視野内にある最も近い対象物までの距離が5km、最も遠い対象物までの距離が10kmであるとする。他方、ディスプレイの解像度により、フォント・サイズの下限が5ポイント、上限が20ポイントであるとすると、付加情報を表示するフォント・サイズは例えば距離に応じて下表のように割り当てることができる。
被写体となる対象物の最小距離をd、最大距離をDとし、文字の最小フォント・サイズをf、最大フォント・サイズをFとすると、表示フォント・サイズsizeは下式により決定することができる。
また、他の方法として、視野内に複数の対象物が被写体として存在する場合には、カメラ撮影部11の視点位置からの距離の順序に応じて、近い方から順に大きなフォント・サイズを割り当てていくようにしてもよい。例えば、表示すべき情報の最大数が分かっている場合などは、下表に示すように最も近い対象物から順に等幅でフォント・サイズを振り分けていく。これは、距離に比例させるのではなく、互いの距離の順序情報を提供することとなる。
スルー画像内で付加情報を表示すべき対象物の最大数をNとすると、n番目に近い対象物についての付加情報のフォント・サイズsizeは、下式により決定することができる。
図5には、カメラ撮影部11の視点位置から対象物までの距離に応じて、各対象物について表示する付加情報の文字フォントのサイズを調整して提示した様子を示している。
図4並びに図5から分かるように、スルー画像に含まれる各対象物に関連する付加情報を、カメラ撮影部11の視点位置(言い換えればユーザ)から近いのか遠いのかという位置関係に基づいて、重畳表示する付加情報の位置や大きさを決定するので、ユーザは、提示された付加情報に対応する被写体への距離感を直感的に理解し易くなるであろう。
図6には、情報提示装置10において、スルー画像上に対象物の付加情報を重畳表示するための処理手順をフローチャートの形式で示している。かかる処理は、実際には、制御部16が所定のプログラム・コードを実行するという形態で実現される。
まず、カメラ位置検出部12を用いて、GPSや無線LANの受信電波状況などに基づいて、現在のカメラ撮影部11の視点位置すなわち撮影画像の視点情報、並びに、現在のカメラ撮影部11の視線方向すなわち撮影画像の視線情報を取得する(ステップS1)。
次いで、取得したカメラ撮影部11の視点情報並びに視線情報を基に、撮影画像に写されている対象物、すなわち視野内の建物やランドマークといった周辺スポットに関連する付加情報を、各対象物の位置情報と関連付けて取得する(ステップS2)。
具体的には、図7Aに示すような元の地図に対して、図7Bに示すように、カメラ撮影部11の視点位置並びに視線方向を基に、図中のほぼ扇形の斜線領域で示すような、スルー画像がカバーする撮影対象領域を推定する。一方、地図データ記憶部15に蓄積される付加情報は、対象物(建物、周辺スポット)の位置情報と対応付けられている。また、同図中では、付加情報を有する建物をブロック矢印で示している。そして、周辺スポット名や撮影対象領域の位置情報をキーにして検索すれば、スルー画像に含まれている建物などの各周辺スポットに関する付加情報を、地図データ記憶部15(前述)から取得することができる。あるいは、付加情報は、地図データ記憶部15ではなく、無線通信部14を公衆無線LANサービスに接続させて、必要な付加情報をインターネット上の地図情報データベース・サーバから逐次的に取得するようにしてもよい。
次いで、ステップS1で取得したカメラ撮影部11の視点位置と、ステップS2で取得した対象物の位置情報を基に、視点位置から周辺スポットなどの対象物までの距離及び方向、すなわち相対関係を算出する(ステップS3)。
次いで、カメラ姿勢検出部13から、カメラ撮影部11の姿勢(例えば、ピッチ軸回り)の計測結果を取得する(ステップS4)。
カメラの視線が水平位置のときに地平線位置はスルー画像上の中心付近を通る線になる。本実施形態では、ステップS4において取得されたカメラ撮影部11の姿勢に基づいて、幾何学計算などを通じてスルー画像上の地平線の位置を算出する(ステップS5)。そして、この地平線を、付加情報の表示位置を決定する際の基準線として用いる(前述)。
次いで、ステップS3において求められたカメラ撮影部11と対象物との相対関係に基づいて、対象物についての付加情報のスルー画像上での表示態様を決定する(ステップS6)。ここで言う、付加情報の「表示態様」とは、スルー画像内での付加情報の表示位置とフォント・サイズのことである。表示位置の計算に併せて、カメラ撮影部11の視点位置から対象物までの距離に応じて、その付加情報の表示サイズを決定するようにする。
具体的には、カメラ撮影部11の視線がほぼ水平を向く場合には、視点位置から近い周辺スポットほどその付加情報をスルー画像の画面のより下方に配置し、他方、視点位置から遠い物体ほどスルー画像上の基準線に近くに付加情報を配置するようにする。
そして、ステップS6で計算された表示位置及びフォント・サイズにて、それぞれの付加情報をスルー画像上に重畳して表示する(ステップS7)。重畳表示した様子は、図4、図5に示した通りである。
図2を参照しながら既に説明したように、スルー画像上では、カメラ撮影部11の視点位置から近い対象物ほど下に写り、逆に遠い対象物ほど上に写るという性質がある。したがって、上記のような付加情報の配置に従えば、ユーザは、提示された付加情報に対応する被写体への距離感を直感的に理解し易くなる。
このとき、カメラ撮影部11の姿勢が変化したことを検出した場合には、その度に図6に示した処理を起動して、スルー画像上の基準線を引き直し、付加情報の配置を再計算し、スルー画像の付加情報表示を更新する。
図8には、情報提示装置10において、スルー画像上に被写体として写る対象物についての付加情報を重畳表示するための処理手順の変形例をフローチャートの形式で示している。かかる処理は、実際には、制御部16が所定のプログラム・コードを実行するという形態で実現される。
図6に示した処理手順との主な相違点の1つは、付加情報の表示中にカメラ撮影部11の姿勢すなわちピッチ角又はロール角のうち少なくとも一方が変化したときには(ステップS18のYes)、ステップS14に戻って、地平線の再計算を行なって基準線を改めて決定して、付加情報の表示位置を更新したスルー画像の表示を行なうことである。
また、図6に示した処理手順との他の相違点は、カメラ撮影部11の視点位置が変化したときや、カメラ撮影部11の視線方向(若しくはヨー角)が変化したときには(ステップS19のYes)、ステップS11に戻って、カメラ撮影部11の視点位置を再度取得し、視野内の周辺スポットに関連する付加情報を再検索するとともに、基準線となる地平線の計算を経て、付加情報の表示位置を更新したスルー画像の表示を行なうことである。
なお、図1に示した実施形態では、カメラ撮影部11を備えた情報提示装置10上でスルー画像上に対象物の付加情報を重畳表示する、すなわち、画像の撮影と撮影画像のスルー表示を単一の装置上でともに行なうように構成されているが、本発明の要旨はこれに限定されるものではなく、画像の撮影と撮影画像の表示を異なる装置でそれぞれ行なうことも可能である。
例えば、デジタルカメラ用の画像ファイルの規格のフォーマットとしてExif(Exchangeable Image File Format)が知られている。この種のフォーマットで用意されているユーザ領域内に、撮影時におけるカメラ撮影部11の視点位置に関する視点情報及び視線方向に関する視線情報、並びにカメラ撮影部11の姿勢に関する姿勢情報を、画像データとともに記録しておく。そして、画像の撮影を行なったものと同一又は異なる装置上で、記録メディアから画像データ・ファイルを読み出した際には、撮影時におけるカメラ撮影部11の視点情報、視線情報、並びに姿勢情報を併せて取得することで、図6に示したものと同様の処理手順を実施することができ、図4、図5に示したような、ユーザにとって対象物までの距離感を直感的に理解し易い形式で付加価値情報の提示を行なうことができる。
これまでの説明では、カメラ撮影部11の姿勢が水平位置となる場合に限定して説明してきた(図4、図5を参照のこと)。これは、カメラ撮影部11がピッチ軸回りにのみ姿勢がθyだけ変化することに相当する。このような場合、例えば図9A並びに図9Bに示すように、付加情報の表示位置を決める基準線となる地平線は、スルー画像上ではピッチ軸回りの回転量に応じて上下に変動するのみで、地平線の角度が変化することはない。
実際には、ユーザがカメラ撮影部11をマニュアルで操作すると、ロール軸回りにも姿勢がθxだけ変化し、図9Cに示すように地平線はスルー画像上でロール軸回りの回転量に応じて地平線の角度が変化することになる。
カメラ姿勢検出部13は、ピッチ軸、ロール軸双方の軸回りの姿勢を検出するように構成されている(前述)。勿論、ジャイロセンサなどのカメラ姿勢検出部13により、カメラ撮影部11のヨー軸回りの姿勢変化も検出することができる。この場合、図9Dに示すように地平線の位置は変化しないが、ヨー軸回りの回転量θzに応じた分だけ各対象物体が水平方向に移動する。なお、ヨー軸回りの姿勢変化は、カメラ撮影部11の視線方向の変化として扱うことができるので、カメラ姿勢検出部13はヨー軸回りの姿勢を検出する必要はない。
ピッチ、ロール、ヨーの各軸回りの回転量θy、θx、θzは、ジャイロセンサなどのカメラ姿勢検出部13により検出することができる。付加情報をスルー画像に表示する場合、このようなカメラ撮影部11の視線方向の角度変化当たり、付加情報の表示位置が移動するピクセル数を決定する必要がある。
カメラ撮影部11の画角を、図10に示すように横方向αとし、縦方向をβとする。また、その際のスルー画像の画面の縦並びに横のピクセル・サイズを、図11に示すようにそれぞれimageX、imageYとする。この場合、横方向で角度α[deg]でimageX[pixel]だけずれ、縦方向で角度β[deg]でimageY[pixel]だけずれる。このことから、単位角度1[deg]当たりが何ピクセルに相当するのかを導き出すことができる。縦方向に関しては、1deg当たりα/imageX[deg/pixel]、横方向に関しては、1deg当たりβ/imageY[deg/pixel]と言うことができる。
続いて、スルー画像における地平線の表示位置の導出方法について、図12、図13を参照しながら説明する。
図12には、カメラ撮影部11の視線方向若しくはピッチ軸回りの姿勢がピッチ角θyだけ変化したときの様子を示している。地平線は、カメラ撮影部11の自己姿勢に応じて見え方が変化する。カメラ撮影部11の視線方向が水平方向を向くとともに、重力方向が真下を向くときには、スルー画像内の地平線は、水平に画面中心の基準点を通る線となる。ここで、カメラ撮影部11の視線方向若しくはピッチ軸回りの姿勢がピッチ角θyだけ変化したときの地平線のずれ量をdxhとすると、このずれ量dxhは、上述した、縦方向の角度単位当たりのずれ量となる。すなわち、下式のように表される。このときの地平線のずれ量は、元の地平線に対して垂直方向となる。
続いて、カメラ撮影部11のロール軸回りの姿勢がロール角θxだけ変化したときの地平線の変化について、図13を参照しながら説明する。このときの地平線ずれ量も、上述と同様に、地平線に対し垂直となる。地平線は、θxだけ傾きながら、中心線を通ることになる。さらに、ピッチ角θyに応じた地平線ずれ量dxhになるが、このときもdxhは地平線に対して垂直となる。
続いて、スルー画像内に被写体として写されている対象物に対する付加情報の表示位置の決定方法について説明する。
ここで、スルー画像内には、図14に示すように、視線方向に対しγ1の方向にある対象1と、カメラ撮影部11の視線方向に対しγ1の方向にある対象2の2つの被写体が存在することを想定する。また、図15に示すように、スルー画像の地平線の基準点に原点を、横方向にX、縦方向にYとなるよう、座標系を設定する。
まず、横方向成分dXについて説明する。図16に示すように、スルー画像内写されている対象物に対する付加情報の表示位置の横方向成分をdX[pixel]とする。dXは、カメラ撮影部11の視線方向に対する相対角度γに依存する。図14に示した例では、対象1の付加情報を表示するとき、視線方向に対する相対角度はγ1となる。横方向で角度単位当たりのずれ量がα/imageX[deg/pixel]であることから(前述)、X軸方向へのずれ量は、下式のように表される。
よって、その横方向の表示位置xは下式の通りとなる。
続いて、縦方向成分dYについて説明する。図17に示すように、スルー画像内に写されている対象物に対する付加情報の表示位置の縦方向成分をdY[pixel]とする。また、図18に示すように、カメラ撮影部11の高さをh[m]とし、カメラ撮影部11の視点位置から対象物までの距離をd[m]とする。また、カメラ画角βから求まる水平時のスルー画像内の最低撮影距離をD[m]とすると、Dは下式の通りとなる。
以上を用いて、地平線位置から縦差分dY[m]を求めると、下式のように表される。
ここで、imageYは、スルー画像内の縦方向総ピクセル数である。よって、その縦方向の表示位置yは、下式の通りとなる。
以上から、基準線となる地平線からの付加情報の表示位置dX並びにdYを求める。各対象物の付加情報を表示位置に付加情報を表示することによって、ユーザには、複数の対象物の付加情報とその距離感を直感的に理解できるように提示することができる。
図19には、図6に示したフローチャート中のステップS6で実行される、付加情報の表示方法を決定するための詳細な処理手順をフローチャートの形式で示している。かかる処理は、実際には、制御部16が所定のプログラム・コードを実行するという形態で実現される。
まず、カメラ撮影部11における現在のレンズのズーム・レベルを基に、画角の計算を行なう(ステップS21)。
次いで、ステップS21で求められた画角から、スルー画像を表示出力するファインダ17の画面内に入る最も近い距離を求める(ステップS22)。
次いで、近辺の対象物の位置情報を得ると、カメラ撮影部11の現在の視点位置に対する対象物の相対距離並びに相対角度を計算する(ステップS23)。地図データ記憶部15に蓄積される付加情報は、対応する対象物(建物、周辺スポット)の位置情報と対応付けられており、カメラ撮影部11の現在の視点位置(視点位置から撮影されるカバー領域)をキーに付加情報を検索した際に、対象物の位置情報も併せて取得することができるものとする。
次いで、被写体までの相対距離を基に、付加情報を表示するフォント・サイズを計算する(ステップS24)。
次いで、カメラ姿勢検出部13で検出されたカメラ撮影部11の姿勢に基づいて、付加情報の表示位置を決定する際の基準線となる地平線の位置を計算する(ステップS25)。
そして、得られた基準線に従って、スルー画像上における付加情報の表示位置を導き出す(ステップS26)。このようにして得られた表示位置及びフォント・サイズにて、それぞれの付加情報をスルー画像上に重畳して表示する。
以下では、各ステップS21〜S26で実施される計算方法についてそれぞれ説明する。
図20には、ステップS21における画角の計算方法をフローチャートの形式で示している。
画角の計算を行なうために、カメラ撮影部11の光学系の焦点距離xと、スルー画像の横及び縦のピクセル・サイズimageX、imageYを入力として用いる。ここで、焦点距離x(35mm換算)はカメラ本体から検出可能であり、スルー画像のピクセル・サイズimageX、imageYはカメラ機体に依存する定数である。
そして、横方向画角α並びに縦方向画角βを下式から求めることができ、これを画角の計算結果として出力する。
但し、カメラ撮影部11の焦点距離と画角の関係は、上記の式から求めてもよいが、広角よりでは誤差が大きくなることと機体特有で一度求めたら変わらないことから、あらかじめ計算した結果を記述したテーブルをROM(Read Only Memory)に格納しておくようにしてもよい。
図21には、ステップS22における画面内最近距離の計算方法をフローチャートの形式で示している。
画面内最近距離を計算するために、カメラ高さh[m]と、縦横行画角の計算値β[rad]を入力として用いる。ここで、カメラ高さh[m]は、気圧計(図示しない)などから求めることができる。また、縦方向画角βは、先行するステップS21で求められる。
そして、水平方向を向いたときにスルー画像内に写る最近距離D[m]を下式から求めることができ、これを画面内最近距離の計算結果として出力する。
図22には、ステップS23におけるカメラ撮影部11の視点位置と付加情報を表示する対象物との相対関係の計算方法をフローチャートの形式で示している。
付加情報を表示する対象物との相対位置関係を計算するために、カメラ撮影部11の現在位置座標p0と、被写体の位置座標pkを入力として用いる。ここで、カメラ撮影部11の現在位置座標p0は、カメラ位置検出部12が例えばGPS信号や、公衆無線LANサービスのアクセスポイントなどからの受信電波状況を利用して計測することができる。また、被写体の位置座標pkは、例えば地図データ記憶部15で付加情報を検索した際に併せて取得される。
そして、カメラ撮影部11の視点位置から対象物の相対距離distと、相対角度γをそれぞれ下式から求めることができ、これを相対位置関係の計算結果として出力する。
図23には、ステップS24における付加情報を表示するフォント・サイズの計算方法をフローチャートの形式で示している。
付加情報の表示フォント・サイズを計算するために、カメラ撮影部11の視点位置から対象物までの距離distと、最大フォント・サイズFと、最小フォント・サイズfと、表示する最も遠い距離dinfと、スルー画像内の最近距離の計算値Dを入力として用いる。ここで、最大フォント・サイズFと、最小フォント・サイズfと、表示する最も遠い距離dinfは、情報提示装置10に搭載されているディスプレイやアプリケーションによって変化する定数である。また、被写体までの距離dist並びに最近距離Dは、先行するステップS23並びにS22の計算結果をそれぞれ用いることができる。
そして、付加情報の表示フォント・サイズsizeを下式から求めることができ、これを距離に依ったフォント・サイズとして計算結果として出力する。
図24には、ステップS25における付加情報の表示位置を決定する基準線となる地平線の位置の計算方法をフローチャートの形式で示している。
スルー画像内の地平線の位置を計算するために、カメラ姿勢検出部13で計測される、カメラ撮影部11のロール角θx、ピッチ角θy、及びヨー角θzを入力として用いる。
そして、地平線の傾きは、カメラ撮影部11の姿勢のロール角θxに等しくなる。また、地平線位置のずれ量dxhは下式で求められる。ここで、同式中の縦方向画角βと縦方向スルー画像のピクセル・サイズimageYは、先行するステップS21の計算結果を代入すればよい。
図25には、ステップS26における付加情報の表示位置の計算方法をフローチャートの形式で示している。
付加情報の表示位置を計算するために、カメラ撮影部11の地表からの高さの計測値h[m]と、スルー画像の縦及び横の各方向のピクセル・サイズimageX並びにimageYと、付加情報に対応する対象物の相対距離dist並びに相対角度γと、縦方向の画角αと、スルー画像内の最近距離の計算値Dを入力として用いる。ここで、カメラ高さh[m]は、気圧計などのセンサ入力を利用すればよい(前述)。また、スルー画像の縦及び横の各方向のピクセル・サイズimageX並びにimageYは機体の特性値、被写体の相対距離dist並びに相対角度γは先行するステップS23の計算結果、縦方向の画角αは先行するステップS21の計算結果、スルー画像内の最近距離Dは先行するステップS22の計算結果である。
そして、スルー画像内での付加情報の表示位置座標(x,y)を下式から求めることができ、これを計算結果として出力する。また、付加情報の表示の際には、先行するステップS24で求められたフォント・サイズsizeで表示を行なう。
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、デジタルビデオカメラやデジタルスチルカメラのスルー画像上で各被写体に関連する付加情報を重畳表示する実施形態を衷心に説明してきたが、本発明の要旨はこれに限定されるものではなく、1以上の被写体を含んだ画像情報を処理するさまざまなシステムに対して本発明を適用することができる。
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
図1は、本発明の一実施形態に係る情報提示装置10の機能的構成を模式的に示した図である。 図2は、撮影者から近くと遠くの位置にそれぞれ物体があるときに、撮影者の地点から見たスルー画像の一例を示した図である。 図3は、地上に配設された視点位置から地面に設置された物体を眺める視線の方向が視点から物体までの距離に応じて変化し、スルー画面上での観察点も変換する様子を示した図である。 図4は、カメラ撮影部11の視点位置と物体との距離並びに視線方向に応じて決定された位置及び大きさで付加情報が重畳表示されたスルー画像の一例を示した図である。 図5は、カメラ撮影部11の視点位置と物体との距離に応じて、各物体について表示する付加情報のサイズを調整して提示した様子を示した図である。 図6は、情報提示装置10において、スルー画像上に被写体の付加情報を重畳表示するための処理手順を示したフローチャートである。 図7Aは、カメラ撮影部11の視点位置周辺の地図を示した図である。 図7Bは、カメラ撮影部11の視点位置並びに視線方向を基に周辺スポット情報を取得する様子を示した図である。 図8は、情報提示装置10において、スルー画像上に被写体の付加情報を重畳表示するための処理手順の変形例を示したフローチャートである。 図9Aは、カメラ撮影部11の姿勢変化に伴ってスルー画像の水平位置が変化する様子を説明するための図である。 図9Bは、カメラ撮影部11の姿勢変化に伴ってスルー画像の水平位置が変化する様子を説明するための図であり、具体的には、図9Aからカメラ撮影部11がピッチ軸回りに回転したときのスルー画像を示した図である。 図9Cは、カメラ撮影部11の姿勢変化に伴ってスルー画像の水平位置が変化する様子を説明するための図であり、具体的には、図9Aからカメラ撮影部11がロール軸回りに回転したときのスルー画像を示した図である。 図9Dは、カメラ撮影部11の姿勢変化に伴ってスルー画像の水平位置が変化する様子を説明するための図であり、具体的には、図9Aからカメラ撮影部11がロール軸回りに回転したときのスルー画像を示した図である。 図10は、カメラ撮影部11の視線方向の角度変化当たりのピクセル数を決定する方法を説明するための図である。 図11は、スルー画像における地平線の表示位置の導出方法を説明するための図である。 図12は、スルー画像における地平線の表示位置の導出方法を説明するための図である。 図13は、スルー画像における地平線の表示位置の導出方法を説明するための図である。 図14は、スルー画像内に写されている被写体に対する付加情報の表示位置の決定方法を説明するための図である。 図15は、スルー画像内に写されている被写体に対する付加情報の表示位置の決定方法を説明するための図である。 図16は、スルー画像内に写されている被写体に対する付加情報の表示位置の決定方法を説明するための図である。 図17は、スルー画像内に写されている被写体に対する付加情報の表示位置の決定方法を説明するための図である。 図18は、スルー画像内に写されている被写体に対する付加情報の表示位置の決定方法を説明するための図である。 図19は、図6に示したフローチャート中のステップS6で実行される、付加情報の表示位置を計算するための詳細な処理手順を示したフローチャートである。 図20は、ステップS21における画角の計算方法を示したフローチャートである。 図21は、ステップS22における画面内最近距離の計算方法を示したフローチャートである。 図22は、ステップS23におけるカメラ撮影部11の視点位置と付加情報を表示する被写体との相対関係の計算方法を示したフローチャートである。 図23は、ステップS24における付加情報を表示するフォント・サイズの計算方法を示したフローチャートである。 図24は、ステップS25における付加情報の表示位置を決定する基準線となる地平線の位置の計算方法を示したフローチャートである。 図25は、ステップS26における付加情報の表示位置の計算方法を示したフローチャートである。
符号の説明
10…情報提示装置
11…カメラ撮影部
12…カメラ位置検出部
13…カメラ姿勢検出部
14…無線通信部
15…地図データ記憶部
16…制御部
17…ファインダ

Claims (10)

  1. 地上付近に存在する1以上の対象物を含む画像を表示装置上に表示可能な情報提示方法であって、
    前記画像の表示に係る視点情報を取得する視点情報取得工程と、
    前記画像の表示に係る視線情報を取得する視線情報取得工程と、
    前記画像の表示に係る姿勢情報を取得する姿勢情報取得工程と、
    前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得工程と、
    演算手段によって、前記視線情報に基づいて前記画像内の地平線情報を算出する地平線情報算出工程と、
    演算手段によって、前記地平線情報及び前記姿勢情報に基づいて前記画像上の基準線を決定する基準線決定工程と、
    演算手段によって、前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出工程と、
    演算手段によって、前記画像内における前記付加情報の表示態様、並びに、前記画像内における前記付加情報の前記基準線に対する表示位置を含む、前記付加情報の表示属性を決定する表示属性決定工程と、
    前記表示装置上で前記画像を表示する際に、前記付加情報を、前記対象物との関係が分かるように、前記表示態様に基づいて提示する付加情報提示工程と、
    を具備することを特徴とする情報提示方法。
  2. 前記視点情報、前記視線情報、及び前記姿勢情報は、位置・姿勢検出機能及び撮影機能を有し地図データ提供手段を利用可能な可動型情報処理装置において、前記位置・姿勢検出機能に基づき検出されるものであり、
    前記画像は、可動型情報処理装置において、前記撮像機能に基づき取得されるものであり、
    前記付加情報は、可動型情報処理装置において、キー情報に基づき前記地図データ提供手段から提供されるものである、
    ことを特徴とする請求項1に記載の情報提示方法。
  3. 前記可動型情報処理装置は、前記撮像機能の撮影対象領域に関連する不可情報を前記地図データ提供手段に要求し、
    前記撮影対象領域は、前記視点情報及び前記視線情報に基づいて推定されたものである、
    ことを特徴とする請求項2に記載の情報提示方法。
  4. 前記表示態様は、前記画像内で提示する前記付加情報の大きさ又は文字フォントのサイズを含む、
    ことを特徴とする請求項1に記載の情報提示方法。
  5. 地上付近に存在する1以上の対象物を撮影することができるカメラ撮影部で撮影された撮影画像を取得する画像取得部と、
    前記撮影画像を表示可能な表示部と、
    前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得部と、
    前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得部と、
    前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得部と、
    前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得手段と、
    前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定手段と、
    前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出手段と、
    前記距離情報に基づいて、前記撮影画像内での前記付加情報の表示態様、並びに、前記撮影画像内における前記付加情報の前記基準線に対する表示位置を含む表示属性を決定する表示属性決定手段と、
    前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示手段と、
    を具備することを特徴とする情報提示装置。
  6. 前記表示属性決定手段は、前記表示態様として、前記撮影画像内における前記付加情報の表示サイズを前記距離情報に基づいて決定する、
    ことを特徴とする請求項5に記載の情報提示装置。
  7. 建物又はその他の周辺スポットに関する付加情報を対応する建物又はその他の周辺スポットの位置情報と関連付けて提供する地図データ提供手段を利用可能であり、
    前記付加情報取得手段は、前記視点情報及び前記視線情報に基づいて前記カメラ撮影部が撮影する撮影対象領域を推定し、該推定された撮影対象領域に関連する付加情報を、位置情報をキーにして前記地図データ提供手段を要求する、
    ことを特徴とする請求項5に記載の情報提示装置。
  8. 地上付近に存在する1以上の対象物を撮影することができるカメラ撮影部で撮影された画像を取得するが画像取得ステップと、
    前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得部と、
    前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得部と、
    前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得部と、
    前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得手段と、
    前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定手段と、
    前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出手段と、
    前記距離情報に基づいて、前記撮影画像内での前記付加情報の表示態様、並びに、前記撮影画像内における前記付加情報の前記基準線に対する表示位置を含む表示属性を決定する表示属性決定手段と、
    前記画像取得ステップで取得した撮影画像を表示するための画面上で、前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示ステップと、
    を具備することを特徴とする情報提示方法。
  9. 地上付近に存在する1以上の対象物を撮影することができる撮像装置であって、
    カメラ撮影部と、
    前記カメラ撮影部で撮影された撮影画像を表示可能な表示部と、
    前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得部と、
    前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得部と、
    前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得部と、
    前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得手段と、
    前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定手段と、
    前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出手段と、
    前記距離情報に基づいて、前記撮影画像内での前記付加情報の表示態様、並びに、前記撮影画像内における前記付加情報の前記基準線に対する表示位置を含む表示属性を決定する表示属性決定手段と、
    前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示手段と、
    を具備することを特徴とする撮像装置。
  10. 画像を通じてユーザに情報を提示するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
    地上付近に存在する1以上の対象物を撮影することができるカメラ撮影部で撮影された画像を取得するが画像取得手順と、
    前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得手順と、
    前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得手順と、
    前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得手順と、
    前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得手順と、
    前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定手順と、
    前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出手順と、
    前記距離情報に基づいて、前記撮影画像内での前記付加情報の表示態様、並びに、前記撮影画像内における前記付加情報の前記基準線に対する表示位置を含む表示属性を決定する表示属性決定手順と、
    前記画像取得ステップで取得した撮影画像を表示するための画面上で、前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示手順と、
    を実行させるためのコンピュータ・プログラム。
JP2008121668A 2008-05-07 2008-05-07 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム Expired - Fee Related JP4600515B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008121668A JP4600515B2 (ja) 2008-05-07 2008-05-07 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
US12/412,980 US8103126B2 (en) 2008-05-07 2009-03-27 Information presentation apparatus, information presentation method, imaging apparatus, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008121668A JP4600515B2 (ja) 2008-05-07 2008-05-07 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2009271732A true JP2009271732A (ja) 2009-11-19
JP4600515B2 JP4600515B2 (ja) 2010-12-15

Family

ID=41266541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008121668A Expired - Fee Related JP4600515B2 (ja) 2008-05-07 2008-05-07 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム

Country Status (2)

Country Link
US (1) US8103126B2 (ja)
JP (1) JP4600515B2 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221236A (ja) * 2010-04-08 2011-11-04 Sony Corp 頭部装着型ディスプレイにおける画像表示方法
KR20110132031A (ko) * 2010-06-01 2011-12-07 엘지전자 주식회사 이동 단말기 및 이동 단말기의 영상 처리 방법
KR20120021414A (ko) * 2010-07-30 2012-03-09 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2012073397A (ja) * 2010-09-28 2012-04-12 Geo Technical Laboratory Co Ltd 3次元地図表示システム
JP2013211027A (ja) * 2008-12-25 2013-10-10 Panasonic Corp 情報表示装置
JP2013218597A (ja) * 2012-04-11 2013-10-24 Sony Corp 情報処理装置、表示制御方法及びプログラム
JP2013222447A (ja) * 2012-04-19 2013-10-28 Kddi Corp 情報提示システム
JP2013543170A (ja) * 2010-09-23 2013-11-28 ノキア コーポレイション 拡張現実中のコンテンツをグループ化する方法・装置・コンピュータプログラム製品
JP2014011624A (ja) * 2012-06-29 2014-01-20 Nikon Corp 情報入出力装置、及び頭部装着表示装置
JP2014071663A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
JP2014095903A (ja) * 2013-11-20 2014-05-22 Sony Corp 頭部装着型ディスプレイにおける画像表示方法
JP2014131094A (ja) * 2012-12-28 2014-07-10 Seiko Epson Corp 表示装置、および、表示装置の制御方法
JP2015072482A (ja) * 2014-10-29 2015-04-16 ソニー株式会社 頭部装着型ディスプレイにおける画像表示方法
JP2016097921A (ja) * 2014-11-26 2016-05-30 マツダ株式会社 車両用運転支援表示装置
JP2016189205A (ja) * 2016-06-14 2016-11-04 カシオ計算機株式会社 携帯端末及びプログラム
JP2016206447A (ja) * 2015-04-23 2016-12-08 セイコーエプソン株式会社 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016219020A (ja) * 2010-06-30 2016-12-22 ノキア テクノロジーズ オーユー 拡張現実において、一定のレベルの情報を提供する方法・装置・コンピュータプログラム
JP2016219980A (ja) * 2015-05-19 2016-12-22 株式会社パスコ 対象物情報表示装置
WO2017191703A1 (ja) * 2016-05-02 2017-11-09 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置
WO2019021375A1 (ja) * 2017-07-25 2019-01-31 富士通株式会社 映像生成プログラム、映像生成方法および映像生成装置
JP2019045958A (ja) * 2017-08-30 2019-03-22 株式会社神戸デジタル・ラボ スポット情報表示システム
JP2019057059A (ja) * 2017-09-20 2019-04-11 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP2022538057A (ja) * 2019-06-27 2022-08-31 ケーイー.コム (ベイジン) テクノロジー カンパニー リミテッド 現在空間及び媒体内の品目情報を表示する方法及び装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582937B2 (en) * 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US20110137561A1 (en) * 2009-12-04 2011-06-09 Nokia Corporation Method and apparatus for measuring geographic coordinates of a point of interest in an image
KR101657120B1 (ko) * 2010-05-06 2016-09-13 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
KR101606727B1 (ko) 2010-06-25 2016-03-28 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR101429250B1 (ko) * 2010-08-20 2014-09-25 주식회사 팬택 단계별 객체 정보 제공이 가능한 단말 장치 및 방법
KR101669521B1 (ko) 2010-08-23 2016-10-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2012058838A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
US8315674B2 (en) 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
EP2439920B1 (en) * 2010-10-08 2019-07-03 BlackBerry Limited System and Method for Displaying Object Location in Augmented Reality
KR101770262B1 (ko) * 2011-03-16 2017-08-22 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
EP2817958A1 (en) * 2012-02-22 2014-12-31 Sony Ericsson Mobile Communications AB Method and device relating to image content
KR101962134B1 (ko) * 2012-10-24 2019-07-17 엘지전자 주식회사 컨텐츠 제공 방법 및 이를 위한 디지털 디바이스
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
KR102003776B1 (ko) * 2013-08-13 2019-07-26 한화테크윈 주식회사 감시용 카메라의 자세 검출 방법 및 장치
US12008697B2 (en) 2014-06-10 2024-06-11 Ripple, Inc. Of Delaware Dynamic location based digital element
US10930038B2 (en) 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US10026226B1 (en) * 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
JP6432197B2 (ja) * 2014-07-31 2018-12-05 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211993A (ja) * 1998-01-28 1999-08-06 Hitachi Ltd 情報表示装置
JP2003216977A (ja) * 2002-01-17 2003-07-31 Sony Corp 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
JP2004310686A (ja) * 2003-04-10 2004-11-04 Canon Inc 画像処理方法及び装置
JP2005289264A (ja) * 2004-04-01 2005-10-20 Furuno Electric Co Ltd 船舶航行支援装置
JP2006311343A (ja) * 2005-04-28 2006-11-09 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
JP2007026200A (ja) * 2005-07-19 2007-02-01 Sega Corp 画像処理装置、アイコン等描画方法およびアイコン等描画プログラム
JP2007272511A (ja) * 2006-03-31 2007-10-18 Casio Comput Co Ltd 情報伝送システム、撮像装置、情報出力方法、及び、情報出力プログラム
JP2008017223A (ja) * 2006-07-06 2008-01-24 Casio Comput Co Ltd 撮像装置、撮像装置のガイド表示方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000049573A1 (en) * 1999-02-19 2000-08-24 Sony Computer Entertainment Inc. System for and method of implementing refraction mapping
US7098997B2 (en) * 2002-06-26 2006-08-29 Pentax Corporation Surveying system
JP4401727B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
JP4102324B2 (ja) * 2004-03-29 2008-06-18 株式会社トプコン 測量データ処理システム、測量データ処理プログラム及び電子地図表示装置
JP2006055213A (ja) * 2004-08-17 2006-03-02 Konica Minolta Medical & Graphic Inc 画像処理装置、及びプログラム
US20090080803A1 (en) * 2007-09-20 2009-03-26 Mitsugu Hara Image processing program, computer-readable recording medium recording the program, image processing apparatus and image processing method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211993A (ja) * 1998-01-28 1999-08-06 Hitachi Ltd 情報表示装置
JP2003216977A (ja) * 2002-01-17 2003-07-31 Sony Corp 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
JP2004310686A (ja) * 2003-04-10 2004-11-04 Canon Inc 画像処理方法及び装置
JP2005289264A (ja) * 2004-04-01 2005-10-20 Furuno Electric Co Ltd 船舶航行支援装置
JP2006311343A (ja) * 2005-04-28 2006-11-09 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
JP2007026200A (ja) * 2005-07-19 2007-02-01 Sega Corp 画像処理装置、アイコン等描画方法およびアイコン等描画プログラム
JP2007272511A (ja) * 2006-03-31 2007-10-18 Casio Comput Co Ltd 情報伝送システム、撮像装置、情報出力方法、及び、情報出力プログラム
JP2008017223A (ja) * 2006-07-06 2008-01-24 Casio Comput Co Ltd 撮像装置、撮像装置のガイド表示方法及びプログラム

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013211027A (ja) * 2008-12-25 2013-10-10 Panasonic Corp 情報表示装置
JP5328810B2 (ja) * 2008-12-25 2013-10-30 パナソニック株式会社 情報表示装置および情報表示方法
JP2013225311A (ja) * 2008-12-25 2013-10-31 Panasonic Corp 情報表示装置
US9204050B2 (en) 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
US9311752B2 (en) 2010-04-08 2016-04-12 Sony Corporation Image displaying method for a head-mounted type display unit
JP2011221236A (ja) * 2010-04-08 2011-11-04 Sony Corp 頭部装着型ディスプレイにおける画像表示方法
KR20110132031A (ko) * 2010-06-01 2011-12-07 엘지전자 주식회사 이동 단말기 및 이동 단말기의 영상 처리 방법
KR101676800B1 (ko) * 2010-06-01 2016-11-16 엘지전자 주식회사 이동 단말기 및 이동 단말기의 영상 처리 방법
JP2016219020A (ja) * 2010-06-30 2016-12-22 ノキア テクノロジーズ オーユー 拡張現実において、一定のレベルの情報を提供する方法・装置・コンピュータプログラム
KR101685980B1 (ko) * 2010-07-30 2016-12-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20120021414A (ko) * 2010-07-30 2012-03-09 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2013543170A (ja) * 2010-09-23 2013-11-28 ノキア コーポレイション 拡張現実中のコンテンツをグループ化する方法・装置・コンピュータプログラム製品
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
JP2012073397A (ja) * 2010-09-28 2012-04-12 Geo Technical Laboratory Co Ltd 3次元地図表示システム
JP2013218597A (ja) * 2012-04-11 2013-10-24 Sony Corp 情報処理装置、表示制御方法及びプログラム
JP2013222447A (ja) * 2012-04-19 2013-10-28 Kddi Corp 情報提示システム
JP2014011624A (ja) * 2012-06-29 2014-01-20 Nikon Corp 情報入出力装置、及び頭部装着表示装置
JP2014071663A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
JP2014131094A (ja) * 2012-12-28 2014-07-10 Seiko Epson Corp 表示装置、および、表示装置の制御方法
JP2014095903A (ja) * 2013-11-20 2014-05-22 Sony Corp 頭部装着型ディスプレイにおける画像表示方法
JP2015072482A (ja) * 2014-10-29 2015-04-16 ソニー株式会社 頭部装着型ディスプレイにおける画像表示方法
JP2016097921A (ja) * 2014-11-26 2016-05-30 マツダ株式会社 車両用運転支援表示装置
JP2016206447A (ja) * 2015-04-23 2016-12-08 セイコーエプソン株式会社 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016219980A (ja) * 2015-05-19 2016-12-22 株式会社パスコ 対象物情報表示装置
JPWO2017191703A1 (ja) * 2016-05-02 2018-10-04 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置
WO2017191703A1 (ja) * 2016-05-02 2017-11-09 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置
JP2016189205A (ja) * 2016-06-14 2016-11-04 カシオ計算機株式会社 携帯端末及びプログラム
WO2019021375A1 (ja) * 2017-07-25 2019-01-31 富士通株式会社 映像生成プログラム、映像生成方法および映像生成装置
JPWO2019021375A1 (ja) * 2017-07-25 2020-03-26 富士通株式会社 映像生成プログラム、映像生成方法および映像生成装置
US10999535B2 (en) 2017-07-25 2021-05-04 Fujitsu Limited Recording medium, method, and information processing device for generating three-dimensional synthesized video of information related to subjects with background area based on free viewpoint video
JP7010292B2 (ja) 2017-07-25 2022-01-26 富士通株式会社 映像生成プログラム、映像生成方法および映像生成装置
JP2019045958A (ja) * 2017-08-30 2019-03-22 株式会社神戸デジタル・ラボ スポット情報表示システム
JP7065455B2 (ja) 2017-08-30 2022-05-12 株式会社日本ユニスト スポット情報表示システム
JP2019057059A (ja) * 2017-09-20 2019-04-11 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP7013757B2 (ja) 2017-09-20 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP2022538057A (ja) * 2019-06-27 2022-08-31 ケーイー.コム (ベイジン) テクノロジー カンパニー リミテッド 現在空間及び媒体内の品目情報を表示する方法及び装置
JP7287509B2 (ja) 2019-06-27 2023-06-06 ケーイー.コム (ベイジン) テクノロジー カンパニー リミテッド 現在空間及び媒体内の品目情報を表示する方法及び装置

Also Published As

Publication number Publication date
US8103126B2 (en) 2012-01-24
US20090278948A1 (en) 2009-11-12
JP4600515B2 (ja) 2010-12-15

Similar Documents

Publication Publication Date Title
JP4600515B2 (ja) 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
JP5659305B2 (ja) 画像生成装置および画像生成方法
JP5659304B2 (ja) 画像生成装置および画像生成方法
JP5740884B2 (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
JP5769813B2 (ja) 画像生成装置および画像生成方法
JP5865388B2 (ja) 画像生成装置および画像生成方法
US20180286098A1 (en) Annotation Transfer for Panoramic Image
JP5738657B2 (ja) 撮像装置
EP2413104B1 (en) Apparatus and method for providing road view
JP2009239397A (ja) 撮影装置、撮影システム、撮影装置の制御方法および制御プログラム
JP5229791B2 (ja) 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体
EP2348700A1 (en) Mobile communication terminal and method
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
KR101574636B1 (ko) 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
JP2009140402A (ja) 情報表示装置、情報表示方法、情報表示プログラム及び情報表示プログラムを記録した記録媒体
JP2009124254A (ja) 撮影装置
JP2016219980A (ja) 対象物情報表示装置
JP6071670B2 (ja) 撮像画像表示装置、撮像システム、撮像画像表示方法およびプログラム
JP6714819B2 (ja) 画像表示システム、情報処理装置、画像表示方法及び画像表示プログラム
JP2010171664A (ja) 携帯情報端末、情報表示制御方法、及び、情報表示制御プログラム
JP2008154188A (ja) 画像伝送システム及び画像伝送方法
JP2012138759A (ja) 撮像装置、撮像制御方法及びプログラム
JP2011199358A (ja) 測位機能を有する撮像装置
JP6723018B2 (ja) 対象物記録装置及び対象物記録プログラム
JP6318196B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100913

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees