JP2016146186A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents
情報処理装置、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP2016146186A JP2016146186A JP2016024296A JP2016024296A JP2016146186A JP 2016146186 A JP2016146186 A JP 2016146186A JP 2016024296 A JP2016024296 A JP 2016024296A JP 2016024296 A JP2016024296 A JP 2016024296A JP 2016146186 A JP2016146186 A JP 2016146186A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- map
- processing apparatus
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Instructional Devices (AREA)
Abstract
【課題】撮像画像に応じて好適に地図情報を出力する技術を提供する。【解決手段】情報処理装置であって、撮像による画像情報を入力する入力部と、地図情報を出力する出力部と、入力部と出力部とを制御する制御部203と、を備え、制御部203は、画像情報から得た奥行き距離情報に応じて、出力部から出力する地図情報の縮尺率を変化させる制御を行うことを特徴とする。【選択図】図2
Description
本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。
本技術分野の背景技術として、特開2006−33274号公報(特許文献1)がある。この公報には「撮影画像及び当該撮影画像に関連付けられた撮影位置情報を取得する画像取得部と、地図画像を撮影画像とともに所定のプリント媒体にプリントするプリント部と、地図画像の縮尺を撮影位置情報に基づいて決定する縮尺決定部と、決定した縮尺の地図画像を撮影画像とともにプリント部にプリントさせる制御部とを備える構成にした。例えば、撮影位置から所定の基準位置までの距離、撮影位置が特定の国の内外いずれであるか、あるいは、取得した複数の撮影画像間の撮影位置の差に基づいて縮尺を決定する。撮影画像を撮影したときの被写体距離に基づいて縮尺を決定するようにしてもよい。」と記載されている。
特許文献1の技術では、地図画像の縮尺を撮影位置情報に基づいて決定することができるが、撮影画像の奥行き情報について考慮されていない。
そこで本発明は、撮像画像に応じて好適に地図情報を出力する技術を提供する。
そこで本発明は、撮像画像に応じて好適に地図情報を出力する技術を提供する。
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、「情報処理装置であって、ユーザによる操作を受け付けるユーザI/F部と、撮像して取得した画像情報を入力する入力部と、地図情報を表示する表示部と、制御部と、を備え、前記制御部は、前記ユーザI/F部により受け付けたユーザによる操作に応じて前記表示部に表示される地図情報の縮尺が変更されると、前記地図情報の縮尺の変更に基づいて調整されたズーム倍率により撮像して取得した画像情報を前記入力部により入力して前記表示部に表示するように制御する」ことを特徴とする。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、「情報処理装置であって、ユーザによる操作を受け付けるユーザI/F部と、撮像して取得した画像情報を入力する入力部と、地図情報を表示する表示部と、制御部と、を備え、前記制御部は、前記ユーザI/F部により受け付けたユーザによる操作に応じて前記表示部に表示される地図情報の縮尺が変更されると、前記地図情報の縮尺の変更に基づいて調整されたズーム倍率により撮像して取得した画像情報を前記入力部により入力して前記表示部に表示するように制御する」ことを特徴とする。
撮像画像に応じて好適に地図情報を出力することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明の実施形態を、図面を用いて説明する。なお、以下の実施例において、地図の縮尺率を大きくするとより広域の地図となり(より縮小された地図となり)、地図の縮尺率を小さくするとより狭域の地図となる(より拡大された地図となる)ものとする。
本発明の第一の実施例を、図1〜図8を参照して説明する。
図1は、本実施例に係るシステム構成例を示す図である。
携帯端末104、タブレット端末105、及び、車載端末106(カーナビゲーション装置等)は、例えば、表示部、撮像部、GPS(Global Positioning System)受信部、撮像画像から奥行き距離情報を推定する機能等を搭載しており、撮像画像から算出した奥行き距離情報に基づいて、地図縮尺率を求める。なお、車載端末106は自動車(車両)にその機能が内蔵された構成であっても、取り付けられた構成であっても良い。
携帯端末104、タブレット端末105、及び、車載端末106は、地図縮尺率情報と、端末に搭載されたGPS受信部により取得したGPS位置情報とを、無線通信により基地局101を介して、ネットワーク102に接続された地図情報サーバ103に送信し、地図情報サーバ103から地図情報(地図画像や地図のベクトル情報)を取得し、適切な縮尺率での地図を表示する。
携帯端末104、タブレット端末105、及び、車載端末106は、地図縮尺率情報と、端末に搭載されたGPS受信部により取得したGPS位置情報とを、無線通信により基地局101を介して、ネットワーク102に接続された地図情報サーバ103に送信し、地図情報サーバ103から地図情報(地図画像や地図のベクトル情報)を取得し、適切な縮尺率での地図を表示する。
基地局101は、携帯電話通信網のアクセスポイントに限らず、無線LAN(IEEE802.11系通信)、ワイヤレスUSB、802.16規格、Bluetooth(登録商標)などの様々な無線通信方式を利用することができる。また、無線通信でなく、有線通信も利用することができる。
ネットワーク102は、例えばインターネット等、IP(Internet Protocol)ネットワーク上で様々な情報伝達が可能なネットワークである。
地図情報サーバ103は、ネットワーク102と接続している。地図情報サーバ103は最新の地図情報を保有しており、緯度、経度の情報からその周辺の地図情報を探索できる。また、地図情報を、要求された縮尺率での地図画像やベクトル地図情報、文字情報等として送る仕組みを有する。
図2は、本実施例に係る携帯端末104、タブレット端末105、及び、車載端末106の構成例を示すブロック図である。
携帯端末104、タブレット端末105、及び、車載端末106は、GPS受信部200、画像撮像部201、情報保存部202、制御部203、ユーザI/F部204、表示部205、通信部206、奥行き割合算出部207、地図縮尺率算出部208を備えている。
GPS受信部200は、複数のGPS衛星からの電波の到着に要する時間から、距離を計測することで、受信機である端末の位置を測位できる仕組みを有する。位置測位には、ネットワーク内に設置された位置測位を支援するサーバを利用したAGPS(Assisted GPS)を利用しても良い。AGPSは、支援するサーバに接続されるレファレンスアンテナ(基準GPSアンテナ)があり、そのエリア内において、端末が受信する可能性がある全GPS衛星情報や感度向上支援情報を端末に送信し、位置測位の精度を向上させる仕組みを有している。
画像撮像部201は、1または複数のカメラであり、撮像(撮影)により、静止画像や動画像などの情報を生成し、デジタル化して情報保存部202に出力することができる。なお、外部の撮像部により生成された画像情報を入力しても良い。
情報保存部202は、内蔵メモリ(HDD、SRAM、FLASH ROM、SDRAM、SSDなど)や外部メモリ(SDカードやコンパクトフラッシュ(登録商標)メモリなど)で構成される。また、これらのメモリを組み合わせた構成であっても良い。
制御部203は、各機能ブロックからの要求を制御し、各機能ブロックと通信し、本実施例の機能を制御する。
ユーザI/F部204は、例えば、撮像の開始操作や、地図情報サーバ103から受信した地図画像の拡大、回転操作、カメラのズーム操作、画像撮像部201にその時点で写っている(撮像中の)画像の操作や保存した画像の閲覧操作等、ユーザからの様々な要求を受付けるI/F(インタフェース)である。
表示部205は、液晶ディスプレイや有機ELなどを利用して、静止画像や動画像などを表示する。例えば、画像撮像部201にその時点で写っている画像や、地図情報サーバ103から受信した地図画像や、これらを合成した画像、情報保存部202に保存した画像などを表示する。
なお、タッチパネルのように、ユーザI/F部204と表示部205とが一体となった構成であっても良い。
なお、タッチパネルのように、ユーザI/F部204と表示部205とが一体となった構成であっても良い。
なお、以下の実施例においては、画像撮像部201の撮像により生成された、保存済の画像情報や、その時点で画像撮像部201に写っている画像情報を撮像画像という。
通信部206は、通信キャリアが運営する3GPPや3GPP2、GSMAの規格に準じたCDMA、TDMA、W−CDMA、1xEVDO、cdma2000、GSM(登録商標)、EDGEなどの無線通信や、無線LAN(IEEE802.11系通信)、ワイヤレスUSB、802.16規格、Bluetooth(登録商標)などの様々な無線通信方式を利用できる。また、MIMO(Multiple Input Multiple Output)などで高速化された無線通信を利用する場合は複数の無線アンテナで構成しても良い。なお、通信部206は、無線通信のみではなく、光ケーブルやADSLなどの有線通信を行っても良い。
奥行き割合算出部207は、画像撮像部201から取得した複数のステレオ画像を入力として、ステレオマッチング処理などを行い、撮像画像について奥行き距離情報を算出する。なお、奥行き距離情報の算出は、画素毎に行っても良いし、ある範囲のブロック毎に行っても良い。また、所定の領域毎に行っても良い。また、ステレオ画像は、複数台のカメラにより取得した画像でも良いし、1台のカメラ画像によりルールベースを利用して作成しても良い。1つもしくは複数の距離センサで構成や、距離センサとカメラ画像を組合せた構成で周囲の奥行き距離情報を取得しても良い。
そして、奥行き距離情報を距離毎に分類して、その撮像画像内にどの奥行きの画素(または、ブロック、領域。以下、画素を用いて説明する。)がどれだけの割合で存在するかの奥行き割合情報を算出する。そして、算出した奥行き割合情報から、ユーザが遠くの風景等を撮像しているのか、近くに建物が多い場所等で撮像しているのかを地図縮尺率演算部208にて推定する。奥行き距離情報を距離毎に分類する手法については、距離毎のヒストグラムを利用しても良いし、FFTなどを使った周波数分析、エッジ強調技術、パターンマッチング方式、固有空間法、動き領域に基づいて奥行き距離情報毎の対象物を認識して対象物の面積を算出する手法を利用しても良い。
そして、奥行き距離情報を距離毎に分類して、その撮像画像内にどの奥行きの画素(または、ブロック、領域。以下、画素を用いて説明する。)がどれだけの割合で存在するかの奥行き割合情報を算出する。そして、算出した奥行き割合情報から、ユーザが遠くの風景等を撮像しているのか、近くに建物が多い場所等で撮像しているのかを地図縮尺率演算部208にて推定する。奥行き距離情報を距離毎に分類する手法については、距離毎のヒストグラムを利用しても良いし、FFTなどを使った周波数分析、エッジ強調技術、パターンマッチング方式、固有空間法、動き領域に基づいて奥行き距離情報毎の対象物を認識して対象物の面積を算出する手法を利用しても良い。
地図縮尺率演算部208では、奥行き割合算出部207で算出した奥行き割合情報に応じて、ユーザが撮像している対象が遠くの対象であるのか、近くの対象であるのかを推定し、ユーザにとって必要な地図の縮尺率を算出する。
例えば、奥行き割合情報に基づいて、撮像画像中に奥行きが遠い画素やブロック等が多いほど、ユーザがいる場所から遠くの被写体を撮像していると判断して、広い範囲(広域)の地図情報を取得するために、地図情報の縮尺率を大きくする(地図を縮小する)(1:1,000→1:10,000など)。
また、奥行き割合情報に基づいて、撮像画像中に奥行きが遠い画素やブロック等が少ないほど、ユーザがいる場所に近い被写体を撮像していると判断して、広い範囲の地図情報よりも、狭い範囲(狭域)の地図情報を取得するために、地図情報の縮尺率を小さくする(地図を拡大する)(1:5,000→1:1,000など)。
なお、撮像画像中の奥行きが遠い画素やブロック等の数や割合が閾値を超えたときに、地図の縮尺率を変化させても良い。これにより、撮像画像の変化による過度の縮尺率の変化を防ぐことができる。また、撮像画像中の奥行きが遠い画素やブロック等の数や割合が多く(少なく)なる過程で縮尺率を大きく(小さく)する縮尺率切替処理を行っても良い。
例えば、奥行き割合情報に基づいて、撮像画像中に奥行きが遠い画素やブロック等が多いほど、ユーザがいる場所から遠くの被写体を撮像していると判断して、広い範囲(広域)の地図情報を取得するために、地図情報の縮尺率を大きくする(地図を縮小する)(1:1,000→1:10,000など)。
また、奥行き割合情報に基づいて、撮像画像中に奥行きが遠い画素やブロック等が少ないほど、ユーザがいる場所に近い被写体を撮像していると判断して、広い範囲の地図情報よりも、狭い範囲(狭域)の地図情報を取得するために、地図情報の縮尺率を小さくする(地図を拡大する)(1:5,000→1:1,000など)。
なお、撮像画像中の奥行きが遠い画素やブロック等の数や割合が閾値を超えたときに、地図の縮尺率を変化させても良い。これにより、撮像画像の変化による過度の縮尺率の変化を防ぐことができる。また、撮像画像中の奥行きが遠い画素やブロック等の数や割合が多く(少なく)なる過程で縮尺率を大きく(小さく)する縮尺率切替処理を行っても良い。
GPS受信部200で取得したGPS位置情報と、地図縮尺率算出部208で算出した地図縮尺率情報は、通信部206を介して地図情報サーバに送信される。
ここで、奥行き割合算出部207、地図縮尺率算出部208は、端末外の演算サーバに存在しても良い。この場合、無線通信を利用して撮像画像を演算サーバに送信し、演算サーバにて撮像画像から奥行き割合情報と縮尺率情報とを算出して、算出結果に応じた地図情報を演算サーバから端末に送信する分散処理システムとする。これにより、奥行き割合算出部207、及び、地図縮尺率算出部208での処理を算出サーバ側に移せるので、端末の処理負荷を低減し、端末の省電力化に貢献できる効果が得られる。
図3は、本実施例に係る地図情報連動撮像処理の流れの一例を示すフローチャートである。
ユーザI/F部204を介して、ユーザからのカメラ起動要求や地図情報連動の撮像をするかどうかの選択を受ける(S300)。
ユーザが地図情報連動の撮像を選択しない場合には(S301の“No”)、S302に移行し、カメラ撮像処理、及び、撮像した画像等の表示処理を行う。
ユーザが地図情報連動の撮像を選択した場合には(S301の“Yes”)、GPS位置情報を取得する(S303)。S303は、例えばS300の直後であっても、S305の前であっても良く、S306にてGPS位置情報、及び、地図縮尺率情報を地図情報サーバ103に送る前に実施すれば良い。
S304では、奥行き割合情報を算出する。1台のカメラを利用して奥行き割合情報を算出する場合は1台のカメラを起動し、複数台のカメラを利用して奥行き割合情報を算出する場合には複数台のカメラを起動する。なお、複数台のカメラを利用する場合は奥行き割合情報算出のタイミングで複数台のカメラを起動するようにしても良い。これにより、奥行き割合情報を算出しない期間では、1台以外のカメラをスリープ状態にすることができ、カメラに要する電力を削減できる効果が得られる。
そして、カメラから取得したステレオ画像に基づいて、視差による距離推定(奥行き距離情報算出)を行う。算出した画素毎の奥行き距離情報から、撮像画像内に含まれる奥行き毎の画素数の割合を算出(奥行き割合情報算出)する。
そして、カメラから取得したステレオ画像に基づいて、視差による距離推定(奥行き距離情報算出)を行う。算出した画素毎の奥行き距離情報から、撮像画像内に含まれる奥行き毎の画素数の割合を算出(奥行き割合情報算出)する。
S305では、算出した奥行き割合情報に対応した地図縮尺率情報を算出する、または、テーブル値を参照して地図縮尺率情報を求める。
S306では、取得したGPS位置情報と地図縮尺率情報とを、ネットワークを介して地図情報サーバ103に送信する。
S307では、送信したGPS位置情報と地図縮尺率情報とを元に地図情報サーバから送られて来た地図情報を取得する。
S308では、撮像画像と地図情報サーバから取得した地図情報とを合成して表示部205に表示する。これにより、撮像画像に適した縮尺率の地図情報が撮像画像とともに表示部205に表示されることになる。
S309では、前回のGPSサーチ時刻からあるT時間経過したかどうかを算出する。T時間経過していない場合には、GPS位置情報は更新せず、同じ位置の縮尺率更新を行うためにS304に移行し、随時、ステレオ画像からの視差による奥行き割合情報を算出する。奥行き割合情報がある閾値以上に変化した場合には、地図縮尺率を再計算して、地図情報サーバから縮尺率を更新した地図を入手する。一方、前回のGPSサーチ時刻からあるT時間経過した場合には、S303に移行し、GPS位置情報も更新する。
図4は、平行ステレオカメラでの左右画像の視差情報から、奥行き距離情報を算出するモデルを説明する図である。
図4の例では左カメラ、右カメラの2台のカメラがあり、2台のカメラは平行に並べられ、距離bだけ離れた位置にある。カメラの光軸と画像面の交点を原点として、左カメラ画像上の座標を(u、v)、右カメラ画像上の座標を(u’、v’)とし、カメラの焦点距離をfとすると、3次元空間の位置(X、Y、Z)は、次式で計算される。
X = bu / u-u’
Y = bv / u-u’
Z = bf / u-u’
u-u’は、2つの画像上における投射点の横方向のズレ量であり、視差と定義する。空間上の奥行き距離情報Zは、b、fが一定であれば、視差u-u’により決まるため、2つの画像の対応点ペアを求めれば、その視差u-u’を算出することにより、その画素の奥行きの距離が算出できる。
Y = bv / u-u’
Z = bf / u-u’
u-u’は、2つの画像上における投射点の横方向のズレ量であり、視差と定義する。空間上の奥行き距離情報Zは、b、fが一定であれば、視差u-u’により決まるため、2つの画像の対応点ペアを求めれば、その視差u-u’を算出することにより、その画素の奥行きの距離が算出できる。
図5は、平行ステレオカメラで撮像した左右画像から、ステレオマッチング処理を行い、奥行き距離毎にグレースケールで色分けをした例を示す図である。
入力された画像を用いて3次元空間の位置を算出するために、空間上のある点が左右それぞれの画像のどこに投射されているかを特定するStereo correspondence(ステレオ対応点探索)、stereo matching(ステレオマッチング)処理を行う。一般的には、テンプレートマッチングを利用したArea-based matching(領域ベースマッチング)や、各画像のエッジやコーナ点などの特徴点を抽出し、特徴点同士の対応を求めるFeature-based matching(特徴ベースマッチング)などや、複数のカメラを利用するmulti-baseline stereo(マルチベースラインステレオ)などが用いられる。
これら手法を用いてマッチングした画素等毎の視差が求められ、その画素等の奥行き距離情報を算出できる。図5では、奥行き距離情報が小さい領域(カメラから近い領域)を白、奥行き距離情報が大きい領域(カメラから遠い領域)を黒として、奥行き距離毎に階調を付けグレースケールで色分けをした画像の例を示している。
これら手法を用いてマッチングした画素等毎の視差が求められ、その画素等の奥行き距離情報を算出できる。図5では、奥行き距離情報が小さい領域(カメラから近い領域)を白、奥行き距離情報が大きい領域(カメラから遠い領域)を黒として、奥行き距離毎に階調を付けグレースケールで色分けをした画像の例を示している。
図6は、本実施例に係る撮像画像に応じた奥行き割合ヒストグラムの例を示した図である。
シーン1は、遠くにあるビル群を撮像している(または撮像した)例を示すステレオ画像であり、シーン2は、近くにビルがあるような市街地内で撮像している(または撮像した)例を示すステレオ画像である。図6では、それぞれのシーンでのステレオマッチング処理を行い、奥行き距離をグレースケールで色分けした画像と、奥行き距離毎の画素の数のヒストグラムの例を示している。
シーン1は、奥行き距離が遠いと算出された黒寄りに画素の数のピークがあり、シーン2では、奥行き距離が近いと算出された白寄りに画素の数が集まっている。このように、撮像したシーンのステレオ画像から奥行き距離を算出することにより、シーンの推定が可能である。
上記奥行き距離情報算出によるシーン推定を利用して、シーン1のような場合には、図8−1に示すように、例えば左下の1メモリ尺度が400mであるような縮尺率の地図を表示するように、シーン2のような場合には、図8−2に示すように、例えば1メモリ尺度が200mであるような縮尺率の地図を表示するように、適応的に選択する。これにより、ユーザは撮像画像に合った縮尺率の地図で位置を確認することが可能となる。
また、本実施例に記載される技術を用いると、撮像画像を表示部に表示せず、地図情報のみを表示させる場合であっても、端末の撮像部(カメラ)の方向を変えることで、地図の縮尺率が適応的に変化することになる。この場合、撮像画像を表示しない分、端末の処理を軽減できる。また、表示部全体を利用して地図を大きく表示できるメリットもある。さらに、例えば足元の地面を撮像したり、手で画像を遮ることにより、奥行き距離が近くなり、地図の縮尺率が小さくなるため、目的地が近くにある場合などに目的地の情報を取得するのに利用することもできる。
図7は、本実施例に係る、算出した奥行き割合と地図縮尺率をテーブル化した例である。
奥行き距離が遠い画素が画像全体に占める割合が少ないのか多いのかに応じて、地図の縮尺率を設定したテーブルである。図7の例では、例えば奥行き距離が所定の数値範囲に属する画素を奥行き距離が遠い画素とし、奥行き距離毎の画素が画像全体に占める割合と閾値に応じて、奥行き距離毎の画素が画像全体に占める割合を「大」「中」「小」に分類している。
奥行き距離が遠い画素が画像全体に占める割合が少ないのか多いのかに応じて、地図の縮尺率を設定したテーブルである。図7の例では、例えば奥行き距離が所定の数値範囲に属する画素を奥行き距離が遠い画素とし、奥行き距離毎の画素が画像全体に占める割合と閾値に応じて、奥行き距離毎の画素が画像全体に占める割合を「大」「中」「小」に分類している。
例えば、地図縮尺パターン1として、遠方を示す画素が10%、中間の距離を示す画素が10%、近くを示す画素が80%であった場合には、近距離の被写体を撮像していると推定できるので、地図縮尺率を小さくして近くの情報を知ることができる縮尺率の地図を表示する。
このようなテーブルを有することにより、多くの奥行き割合の組合せに応じてその都度縮尺率を演算して決定するよりも、処理の負荷を削減することができる。また、ユーザが、ユーザI/F部204を利用して、ユーザの好みに合わせた縮尺率設定を、図7のパターンを選択することで設定することも可能となるメリットがある。
なお、図7の例では、奥行き割合と地図縮尺率をテーブル化したルールを示したが、奥行き距離ヒストグラムの重心やピークの値から、地図縮尺率を算出しても良い。
また、奥行き割合の組合せに応じてその都度縮尺率を演算して決定しても良い。
また、奥行き割合の組合せに応じてその都度縮尺率を演算して決定しても良い。
図8は、本実施例に係るサービス提供例である。
図8−1におけるシーン1のように、例えば遠くにビルがある風景を撮像している場合には、広域の縮尺率の地図(図8では1メモリ400mの縮尺率)を表示する。また、図8−2におけるシーン2のように、近くにビルがある市街地内で撮像をしている場合には、市街地周辺の詳細な地図(図8では1メモリ200mの縮尺率)を表示して、周辺にどのようなビルがあるか等の情報まで具体的に理解できる縮尺率の地図を表示する。これにより、撮像している対象物の奥行き距離に適した縮尺率の地図を表示し、撮像画像と地図の関係を認識し易くなる。
以上説明した本実施例によれば、撮像画像に応じた縮尺率の地図をユーザに表示することができ、また、ズーム機能等に連動して地図の縮尺率を変化させることができるため、例えば、地図の縮尺率をユーザが手動で変更する手間を省くことができ、ユーザの使い勝手を向上することができる。
つまり、ユーザに、被写体に応じた適切な縮尺率の地図情報を表示することができるようになる。例えば、近くの建物等を被写体として撮像している場合には、被写体の周辺にある建物等の情報が分かる地図を表示し、遠くの風景等を被写体として撮像している場合には、撮像している風景中の遠方の山の情報が分かるような地図を表示することができる。
また、ユーザが、撮像中の被写体の周辺の地図情報を確認することができるようになり、カメラレンズ等に写りこまない周囲の空間を認識でき、目的地までのルート確認などがしやすくなる。また、事前にカメラを向ける方向の風景を推測でき、撮像のシナリオを考えることができ、撮像のミスを減らすこともできる。
つまり、ユーザに、被写体に応じた適切な縮尺率の地図情報を表示することができるようになる。例えば、近くの建物等を被写体として撮像している場合には、被写体の周辺にある建物等の情報が分かる地図を表示し、遠くの風景等を被写体として撮像している場合には、撮像している風景中の遠方の山の情報が分かるような地図を表示することができる。
また、ユーザが、撮像中の被写体の周辺の地図情報を確認することができるようになり、カメラレンズ等に写りこまない周囲の空間を認識でき、目的地までのルート確認などがしやすくなる。また、事前にカメラを向ける方向の風景を推測でき、撮像のシナリオを考えることができ、撮像のミスを減らすこともできる。
本発明の第二の実施例を、図9、10図を参照して説明する。なお、実施例1と同一の機能を有する構成等については同一の符号を付し、説明を省略する。
図9は、本実施例に係る携帯端末104、タブレット端末105、及び、車載端末106の構成例を示すブロック図である。実施例1の図2のブロック図に対して、方位算出部900を追加した構成である。
方位算出部900は、撮像方向の方位を、微弱な地磁気を検知することのできる地磁気センサを利用して算出するものや、GPS測位結果のある時間経過後の移動量を利用して算出するものなどがある。
例えば、地磁気センサを利用する場合は、複数の地磁気センサを直角に組み合わせて、前後方向と左右方向の地磁気を検出して、その地磁気の強さから北の方向を計算できるセンサにより、撮像している向きの方位を測定することができる。方位算出部900では、地磁気センサで測位した北の方位と、端末に設置した地磁気センサの向きから撮像方向の方位を算出する。
GPS測位結果のある時間経過後の移動量を利用する場合には、ある時刻で測位したGPS測位結果を情報保存部202に記憶しておき、ある時間経過後に再度GPS測位を行い、記憶してあるGPS測位結果との差分から、端末がどの方位に移動しているかを算出して、現在端末が向いているであろう方位を予測する。
例えば、地磁気センサを利用する場合は、複数の地磁気センサを直角に組み合わせて、前後方向と左右方向の地磁気を検出して、その地磁気の強さから北の方向を計算できるセンサにより、撮像している向きの方位を測定することができる。方位算出部900では、地磁気センサで測位した北の方位と、端末に設置した地磁気センサの向きから撮像方向の方位を算出する。
GPS測位結果のある時間経過後の移動量を利用する場合には、ある時刻で測位したGPS測位結果を情報保存部202に記憶しておき、ある時間経過後に再度GPS測位を行い、記憶してあるGPS測位結果との差分から、端末がどの方位に移動しているかを算出して、現在端末が向いているであろう方位を予測する。
その他、構成、効果等については実施例1と同様であるため、説明を省略する。
図10は、本実施例に係るサービス提供例である。
図9に示した構成により、地図上での端末の位置と、撮像している方位と、撮像画像の画素毎の奥行き距離情報がわかるので、撮像画像への地図情報の反映が可能となる。例えば、撮像している方向に存在する建物の名称や地名などの文字情報や、その距離情報を地図情報から求めて撮像画像上に表示することができる。
撮像画像に対して、距離情報に基づいて、地図情報から取得した文字情報をマッピングする。撮像画像から算出した奥行き距離情報と地図上の距離との対応付けは、実施例1の図6に示した様に、奥行き割合算出部207で算出した6階調分程度の距離情報にカテゴリ化した情報を元に、地図縮尺率算出部208で算出した縮尺率の地図情報に存在する文字情報等を、撮像位置(GPS取得位置)からの距離で6分割にカテゴリ化し、分類した距離毎の情報を対応付けることにより行う手法などが考えられる。
撮像画像の各方位に存在する対象物に対して、文字情報等の地図情報を合成することにより、図10に示す様なサービスが可能となる。この際、地図縮尺率算出部208で算出した縮尺率の地図情報を利用するため、撮像シーンに応じた範囲の地図情報を利用することができる。
なお、図10−1は、地図情報での撮像位置からの距離が近い場所にある対象物の文字情報を撮像画像下方に配置し、撮像位置からの距離が遠い場所にある対象物の文字情報はを撮像画像上方に配置している例である。これにより、撮像画像の下方が近く、上方が遠い遠近法を利用した表示が可能となり、距離感が掴み易い表示が可能となる。
図10−2は、図10−1と同様に撮像画像に地図情報をマッピングした例であるが、近くにある対象物の地図情報の文字のフォントを大きくして、遠くにある対象物の地図情報の文字フォントを小さくして表示した例である。これにより、マッピングした地図情報の遠近感が感じられる表示が可能となる。文字の大きさのみでなく、文字の太さやフォント、色を距離情報に応じて変化させても良い。また、地図情報に含まれる文字情報のみでなく、地図情報そのものを撮像画像にスーパーインポーズするような表示を行ってもよい。この場合、地図上の現在位置からの距離と、撮像画像の奥行き距離情報をマッチングさせることにより、平面の地図を投射投影する手法等が考えられる。
以上説明した本実施例によれば、実施例1と同様の効果を得ることができる。
また、撮像画像に地図情報の文字情報等を反映して表示することができるため、撮像画像上の対象物の情報をユーザが認識することができる。
さらに、撮像画像に反映する地図情報の文字情報等の位置、大きさ、フォント、色などを距離情報に応じて変化させれば、ユーザにとって距離感が掴み易い表示が可能となる。
また、撮像画像に地図情報の文字情報等を反映して表示することができるため、撮像画像上の対象物の情報をユーザが認識することができる。
さらに、撮像画像に反映する地図情報の文字情報等の位置、大きさ、フォント、色などを距離情報に応じて変化させれば、ユーザにとって距離感が掴み易い表示が可能となる。
本発明の第三の実施例を、図11を参照して説明する。なお、本実施例に係る携帯端末104、タブレット端末105、及び、車載端末106の構成例は実施例1、実施例2の図2、図9と同様であるため、説明を省略する。
図11は、本実施例に係る地図情報連動撮像処理の流れの一例を示すフローチャートである。
ここで、実施例1の図3で説明した地図情報連動撮像処理は、撮像しているシーンが変わることにより、そのシーンに合った縮尺率の地図情報を取得する手法であった。図11は、ユーザI/F部204を介して、ユーザが地図の縮尺率を変更した場合の例である。
例えば、ユーザがタッチパネルなどを利用することにより地図の縮尺率を変更した場合に、画像撮像部201のズーム機能(光学ズーム/デジタルズームなど)を利用して、地図の縮尺率に合わせて撮像画像の倍率(ズーム率)を適切に調整する。
例えば、ユーザがタッチパネルなどを利用することにより地図の縮尺率を変更した場合に、画像撮像部201のズーム機能(光学ズーム/デジタルズームなど)を利用して、地図の縮尺率に合わせて撮像画像の倍率(ズーム率)を適切に調整する。
S1100では、端末に搭載されているGPS受信部200からのGPS位置情報を元に、地図情報サーバ103から地図情報を取得する。
S1101では、ユーザI/F部204を介してユーザが地図の縮尺率を変更した場合に、その変更後の地図縮尺率情報を取得する。
S1102では、図3のS304と同じ処理により、左右の画像の視差解析により、撮像している画像の奥行き割合情報を算出する。
S1103では、実施例1の図7で説明した奥行き割合と地図縮尺率の対応リストなどを利用して、撮像画像に適した地図縮尺率を算出する。そして、算出した地図縮尺率と、S1101においてユーザが変更した地図縮尺率とのズレ量を算出する。
S1104では、S1103で算出したズレ量に従い、画像撮像部201において倍率を変更する。例えば、地図縮尺率が1:5000で広い範囲が表示されている場合に、ユーザが地図を操作して、1:1000の詳細な地図に変更した場合に、画像撮像部201のズーム機能を利用して撮像画像をズームインさせ、奥行き割合において近方の割合が多くなるようにし、奥行き割合から算出される地図縮尺率が1:1000になるように、倍率を調整する。
なお、ユーザ操作により画像撮像部201がズームした場合には、実施例1、及び、実施例2と同様に、ズームに連動して地図の縮尺率は変化することになる。
以上説明した本実施例によれば、実施例1、及び、実施例2と同様の効果を得ることができる。
また、例えばユーザが近くの周辺の地図を確認したい場合に、それに連動して撮像画像もズームインするような操作も可能となる。ユーザが地図の縮尺率を小さい状態から縮尺率を大きくして広域の地図を表示させた場合には、ズームをさせない撮像に戻すことも可能となる。
また、例えばユーザが近くの周辺の地図を確認したい場合に、それに連動して撮像画像もズームインするような操作も可能となる。ユーザが地図の縮尺率を小さい状態から縮尺率を大きくして広域の地図を表示させた場合には、ズームをさせない撮像に戻すことも可能となる。
本発明の第四の実施例を、図12、13を参照して説明する。なお、実施例1乃至実施例3と同一の機能を有する構成等については同一の符号を付し、説明を省略する。
図12は、本実施例に係る携帯端末104、タブレット端末105、及び、車載端末106の構成を示すブロック図である。実施例1等の図2等の構成とは、地図情報データ部1200を有する点において異なる。本実施例は、地図情報が端末内に存在する場合の構成であり、地図情報を端末に内蔵した端末やカーナビゲーションシステムなどへの適用例である。なお、端末が携帯端末104またはタブレット端末105である場合には、通信部206を介して外部のカーナビゲーション装置等の表示部に表示する画像情報を送信しても良い。また、端末が車載端末106、つまり、カーナビゲーション装置等である場合には通信部206を有さなくても良い。さらに、端末の各機能が自動車(車両)に内蔵された構成であっても良い。
図12の構成においては、画像撮像部201(カメラ)を車体の前方を撮像するように搭載し、画像撮像部201の撮像画像から奥行き割合情報を算出して、カーナビゲーション装置等の表示部に表示させる地図の縮尺率を変更する。奥行き割合情報の算出処理や地図縮尺率変更処理については、実施例1乃至実施例3で説明したとおりである。
また、地図情報データ部1200は、最新の地図情報を保有しており、緯度、経度の情報からその周辺の地図情報を探索できる。また、地図情報を、要求された縮尺率での地図画像やベクトル地図情報、文字情報等として出力する仕組みを有する。なお、地図情報は情報保存部202に保存されていても良い。
また、地図情報データ部1200は、最新の地図情報を保有しており、緯度、経度の情報からその周辺の地図情報を探索できる。また、地図情報を、要求された縮尺率での地図画像やベクトル地図情報、文字情報等として出力する仕組みを有する。なお、地図情報は情報保存部202に保存されていても良い。
その他、構成、効果等については実施例1乃至実施例3と同様であるため、説明を省略する。
図13は、本実施例に係るサービス例を示す図である。
図13−1は、市街地等を運転中に、前方に配置した画像撮像部201の撮像画像から算出した縮尺率で、カーナビに地図表示を行う例である。近くに建物等があり、奥行き割合情報は、近い距離にある画素の割合が多くなるので、地図の縮尺率は小さく、詳細表示される(例えば1:3000)。
一方、図13−2のように、高速道路などを運転中は、車道の幅も広く、見通しが良いため、奥行き割合情報は、遠い距離にある画素の割合が多くなるので、地図の縮尺率は大きく、広域表示される(例えば1:10000)。
一方、図13−2のように、高速道路などを運転中は、車道の幅も広く、見通しが良いため、奥行き割合情報は、遠い距離にある画素の割合が多くなるので、地図の縮尺率は大きく、広域表示される(例えば1:10000)。
以上説明した本実施例によれば、実施例1乃至実施例3と同様の効果を得ることができる。
また、撮像画像に応じて自動的に地図の縮尺率が変化することとなり、運転者のカーナビ操作負荷を軽減することができる。
また、撮像画像に応じて自動的に地図の縮尺率が変化することとなり、運転者のカーナビ操作負荷を軽減することができる。
以上、本発明の実施例を説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
例えば、端末は携帯端末104等に限らず、放送撮影用のカメラ機器に上記実施例のGPS位置情報が付加されていた場合には、放送された風景の画像に対して、テレビ装置で奥行き割合情報に合わせた地図情報をテレビ装置に接続されたネットワークからダウンロードして、放送された風景の画像と、その風景の地図情報を並べて視聴することもできる。
また、例えば、実施例1乃至実施例3では、地図情報サーバ103がネットワーク上に存在する例を記載しているが、地図情報を端末自体が所有していても良い。この場合、通信部206がない構成の端末にも本技術が適用でき、利用範囲を広げることができる。
また、例えば、制御部203で動作するプログラムは、通信部206に実装してあっても良いし、記録媒体に記録して提供するようにしても良いし、ネットワークを介してダウンロードして提供するようにしても良い。これら配布形態を限定しないことで、様々な利用形態での提供が可能となり、利用ユーザを増やす効果がある。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100…GPS
101…基地局
102…ネットワーク
103…地図情報サーバ
104…携帯端末
105…タブレット端末
106…車載端末
200…GPS受信部
201…画像撮像部
202…情報保存部
203…制御部
204…ユーザI/F部
205…表示部
206…通信部
207…奥行き割合算出部
208…地図縮尺率算出部
900…方位算出部
1200…地図情報データ部
101…基地局
102…ネットワーク
103…地図情報サーバ
104…携帯端末
105…タブレット端末
106…車載端末
200…GPS受信部
201…画像撮像部
202…情報保存部
203…制御部
204…ユーザI/F部
205…表示部
206…通信部
207…奥行き割合算出部
208…地図縮尺率算出部
900…方位算出部
1200…地図情報データ部
Claims (11)
- 情報処理装置であって、
ユーザによる操作を受け付けるユーザI/F部と、
撮像して取得した画像情報を入力する入力部と、
地図情報を表示する表示部と、
制御部と、
を備え、
前記制御部は、前記ユーザI/F部により受け付けたユーザによる操作に応じて前記表示部に表示される地図情報の縮尺が変更されると、前記地図情報の縮尺の変更に基づいて調整されたズーム倍率により撮像して取得した画像情報を前記入力部により入力して前記表示部に表示するように制御することを特徴とする情報処理装置。 - 請求項1記載の情報処理装置であって、
前記制御部は、前記調整されたズーム倍率により撮像して取得した画像情報を、前記縮尺が変更された地図情報とともに前記表示部に表示するように制御することを特徴とする情報処理装置。 - 請求項1又は2記載の情報処理装置であって、
前記制御部は、前記ユーザI/F部により受け付けたユーザ指示に基づいて前記表示部に表示される画像情報を拡大又は縮小して表示する場合、前記拡大又は縮小して表示される画像情報に対応して縮尺が変更された地図情報を前記表示部に表示するように制御することを特徴とする情報処理装置。 - 請求項3記載の情報処理装置であって、
前記画像情報から得た奥行き距離情報に基づいて縮尺が変更された地図情報を前記表示部に表示するように制御することを特徴とする情報処理装置。 - 請求項3又は4記載の情報処理装置であって、
さらに、撮像して画像情報を取得する撮像部と、
撮像方向の方位を算出する方位算出部と、
撮像位置の位置情報を取得する位置情報取得部と、を備え、
前記制御部は、前記拡大又は縮小して表示される画像情報に対応して縮尺が変更された結果、より狭域の地図情報を前記表示部に表示する場合、前記位置情報に基づく地図上の前記情報処理装置の位置に対して前記方位算出部で算出された撮像方向の方位側を中心に拡大した地図情報を前記表示部で表示するように制御することを特徴とする情報処理装置。 - 請求項5記載の情報処理装置であって、
前記制御部は、前記位置情報及び前記方位算出部により算出された撮像方向の方位に基づき、前記情報処理装置の位置と撮像方向が確認できるようなマークを、前記地図情報に合わせて前記表示部に表示するように制御することを特徴とする情報処理装置。 - 請求項6記載の情報処理装置であって、
前記制御部は、前記位置情報と前記撮像方向の方位と前記奥行き距離情報に基づき、撮像中の画像情報内に存在する対象物に対して、前記対象物に関する文字情報の表示形式を前記情報処理装置からの距離に応じて変化させて、撮像中の画像情報に合わせて前記表示部に表示するように制御することを特徴とする情報処理装置。 - 請求項1乃至4のいずれかに記載の情報処理装置であって、
前記入力部は、外部の撮像部により撮像して取得された画像情報を入力することを特徴とする情報処理装置。 - 請求項8に記載の情報処理装置であって、
前記制御部は、前記ユーザI/F部により受け付けたユーザによる操作に応じて前記表示部に表示される地図情報の縮尺が変更されると、前記外部の撮像部のズーム倍率を調整するように制御することを特徴とする情報処理装置。 - 請求項1乃至9のいずれかに記載の情報処理装置であって、
さらに、前記地図情報を保持する記憶部を備え、
前記地図情報は、前記記憶部から読み出されて前記表示部に表示されることを特徴とする情報処理装置。 - 請求項1乃至9のいずれかに記載の情報処理装置であって、
さらに、前記地図情報を受信する通信部を備え、
前記地図情報は、前記通信部により受信したものであることを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016024296A JP2016146186A (ja) | 2016-02-12 | 2016-02-12 | 情報処理装置、情報処理方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016024296A JP2016146186A (ja) | 2016-02-12 | 2016-02-12 | 情報処理装置、情報処理方法、及び、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012122640A Division JP5886688B2 (ja) | 2012-05-30 | 2012-05-30 | 情報処理装置、情報処理方法、及び、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016146186A true JP2016146186A (ja) | 2016-08-12 |
Family
ID=56685527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016024296A Pending JP2016146186A (ja) | 2016-02-12 | 2016-02-12 | 情報処理装置、情報処理方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016146186A (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06284330A (ja) * | 1993-03-29 | 1994-10-07 | Mitsubishi Electric Corp | 地図情報連動監視カメラ制御装置 |
JP2005123750A (ja) * | 2003-10-14 | 2005-05-12 | Tsukuba Multimedia:Kk | 映像・地図連動システム及びその連動方法 |
JP2005352659A (ja) * | 2004-06-09 | 2005-12-22 | Fuji Photo Film Co Ltd | 画像マッピング方法及び画像マッピングプログラム |
JP2008283345A (ja) * | 2007-05-09 | 2008-11-20 | Nikon Corp | 電子カメラ |
JP2010256940A (ja) * | 2009-04-21 | 2010-11-11 | Sony Corp | 電子機器、表示制御方法およびプログラム |
JP2011052960A (ja) * | 2007-12-28 | 2011-03-17 | Mitsubishi Electric Corp | ナビゲーション装置 |
JP2012027515A (ja) * | 2010-07-20 | 2012-02-09 | Hitachi Consumer Electronics Co Ltd | 入力方法及び入力装置 |
-
2016
- 2016-02-12 JP JP2016024296A patent/JP2016146186A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06284330A (ja) * | 1993-03-29 | 1994-10-07 | Mitsubishi Electric Corp | 地図情報連動監視カメラ制御装置 |
JP2005123750A (ja) * | 2003-10-14 | 2005-05-12 | Tsukuba Multimedia:Kk | 映像・地図連動システム及びその連動方法 |
JP2005352659A (ja) * | 2004-06-09 | 2005-12-22 | Fuji Photo Film Co Ltd | 画像マッピング方法及び画像マッピングプログラム |
JP2008283345A (ja) * | 2007-05-09 | 2008-11-20 | Nikon Corp | 電子カメラ |
JP2011052960A (ja) * | 2007-12-28 | 2011-03-17 | Mitsubishi Electric Corp | ナビゲーション装置 |
JP2010256940A (ja) * | 2009-04-21 | 2010-11-11 | Sony Corp | 電子機器、表示制御方法およびプログラム |
JP2012027515A (ja) * | 2010-07-20 | 2012-02-09 | Hitachi Consumer Electronics Co Ltd | 入力方法及び入力装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5886688B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
KR101509415B1 (ko) | 전자 지도에 기초한 위치 탐색 방법 및 장치 | |
US11776185B2 (en) | Server, user terminal, and service providing method, and control method thereof for displaying photo images within a map | |
US9429438B2 (en) | Updating map data from camera images | |
KR101147748B1 (ko) | 지리정보 제공 기능을 갖는 이동통신 단말기 및 이를이용한 지리 정보 제공 방법 | |
CA2762743C (en) | Updating map data from camera images | |
US7856313B2 (en) | Electronic device, display processing method and program | |
US20090167919A1 (en) | Method, Apparatus and Computer Program Product for Displaying an Indication of an Object Within a Current Field of View | |
KR101259598B1 (ko) | 로드뷰 제공 장치 및 방법 | |
WO2010029671A1 (ja) | 視界情報に仮想情報を付加して表示できるシステム | |
US20220076469A1 (en) | Information display device and information display program | |
KR101413605B1 (ko) | 네비게이션 시스템 및 방법 | |
JP2014164316A (ja) | 車載カメラを用いた情報提供システム | |
CN105387857A (zh) | 导航方法及装置 | |
KR20150088662A (ko) | 증강현실 특이점을 이용한 이동 길 안내 서비스 제공 방법 및 장치 | |
JP2014240754A5 (ja) | ||
JP5247347B2 (ja) | 画像表示システムおよび主装置 | |
KR101440518B1 (ko) | 이동통신 단말기 및 그 제어방법 | |
KR20130052316A (ko) | 실사 이미지 출력이 가능한 내비게이션 장치 및 실사 이미지 출력 방법 | |
JP2016146186A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2016095176A1 (en) | Interacting with a perspective view | |
CN112292876B (zh) | 用于促进对天线的调谐的装置、方法和计算机程序 | |
US20220345680A1 (en) | Information processing apparatus, information processing method, and program | |
JP7082588B2 (ja) | プログラム、ナビゲーションシステム、ナビゲーション装置 | |
KR20120090614A (ko) | 위치 기반 데이터 제공 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170530 |