JP2013250589A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】撮像画像に応じて好適に地図情報を出力する技術を提供する。
【解決手段】
情報処理装置であって、撮像による画像情報を入力する入力部と、地図情報を出力する出力部と、前記入力部と前記出力部とを制御する制御部と、を備え、前記制御部は、前記画像情報から得た奥行き距離情報に応じて、前記出力部から出力する前記地図情報の縮尺率を変化させる制御を行うことを特徴とする。
【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。

本技術分野の背景技術として、特開２００６−３３２７４号公報（特許文献１）がある。この公報には「撮影画像及び当該撮影画像に関連付けられた撮影位置情報を取得する画像取得部と、地図画像を撮影画像とともに所定のプリント媒体にプリントするプリント部と、地図画像の縮尺を撮影位置情報に基づいて決定する縮尺決定部と、決定した縮尺の地図画像を撮影画像とともにプリント部にプリントさせる制御部とを備える構成にした。例えば、撮影位置から所定の基準位置までの距離、撮影位置が特定の国の内外いずれであるか、あるいは、取得した複数の撮影画像間の撮影位置の差に基づいて縮尺を決定する。撮影画像を撮影したときの被写体距離に基づいて縮尺を決定するようにしてもよい。」と記載されている。

特開２００６−３３２７４号公報

特許文献１の技術では、地図画像の縮尺を撮影位置情報に基づいて決定することができるが、撮影画像の奥行き情報について考慮されていない。
そこで本発明は、撮像画像に応じて好適に地図情報を出力する技術を提供する。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、「情報処理装置であって、撮像による画像情報を入力する入力部と、地図情報を出力する出力部と、前記入力部と前記出力部とを制御する制御部と、を備え、前記制御部は、前記画像情報から得た奥行き距離情報に応じて、前記出力部から出力する前記地図情報の縮尺率を変化させる制御を行う」ことを特徴とする。

撮像画像に応じて好適に地図情報を出力することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１に係る装置のシステム構成例を示す図である。 本発明の実施例１に係る端末の構成例を示すブロック図である。 本発明の実施例１に係る地図情報連動撮像処理の流れの一例を示すフローチャートである。 平行ステレオカメラでの左右画像の視差情報から距離を算出するモデルを説明する図である。 平行ステレオカメラで撮像した左右画像から、ステレオマッチング処理を行い、距離毎にグレースケールで色分けをした例を示す図である。 本発明の実施例１に係る撮像画像に応じた奥行き割合ヒストグラムの例を示した図である。 本発明の実施例１に係る算出した奥行き割合と地図縮尺率とをテーブル化した例を示した図である。 本発明の実施例１に係るサービス提供例を示した図である。 本発明の実施例２に係る端末の構成例を示すブロック図である。 本発明の実施例２に係るサービス提供例を示した図である。 本発明の実施例３に係る地図情報連動撮像処理の流れの一例を示すフローチャートである。 本発明の実施例４に係る端末の構成例を示すブロック図である。 本発明の車載時のサービス提供例を示した図である。

以下、本発明の実施形態を、図面を用いて説明する。なお、以下の実施例において、地図の縮尺率を大きくするとより広域の地図となり（より縮小された地図となり）、地図の縮尺率を小さくするとより狭域の地図となる（より拡大された地図となる）ものとする。

本発明の第一の実施例を、図１〜図８を参照して説明する。

図１は、本実施例に係るシステム構成例を示す図である。

携帯端末１０４、タブレット端末１０５、及び、車載端末１０６（カーナビゲーション装置等）は、例えば、表示部、撮像部、ＧＰＳ(Global Positioning System)受信部、撮像画像から奥行き距離情報を推定する機能等を搭載しており、撮像画像から算出した奥行き距離情報に基づいて、地図縮尺率を求める。なお、車載端末１０６は自動車（車両）にその機能が内蔵された構成であっても、取り付けられた構成であっても良い。
携帯端末１０４、タブレット端末１０５、及び、車載端末１０６は、地図縮尺率情報と、端末に搭載されたＧＰＳ受信部により取得したＧＰＳ位置情報とを、無線通信により基地局１０１を介して、ネットワーク１０２に接続された地図情報サーバ１０３に送信し、地図情報サーバ１０３から地図情報（地図画像や地図のベクトル情報）を取得し、適切な縮尺率での地図を表示する。

基地局１０１は、携帯電話通信網のアクセスポイントに限らず、無線ＬＡＮ（ＩＥＥＥ８０２．１１系通信）、ワイヤレスＵＳＢ、８０２．１６規格、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの様々な無線通信方式を利用することができる。また、無線通信でなく、有線通信も利用することができる。

ネットワーク１０２は、例えばインターネット等、ＩＰ（Internet Protocol）ネットワーク上で様々な情報伝達が可能なネットワークである。

地図情報サーバ１０３は、ネットワーク１０２と接続している。地図情報サーバ１０３は最新の地図情報を保有しており、緯度、経度の情報からその周辺の地図情報を探索できる。また、地図情報を、要求された縮尺率での地図画像やベクトル地図情報、文字情報等として送る仕組みを有する。

図２は、本実施例に係る携帯端末１０４、タブレット端末１０５、及び、車載端末１０６の構成例を示すブロック図である。

携帯端末１０４、タブレット端末１０５、及び、車載端末１０６は、ＧＰＳ受信部２００、画像撮像部２０１、情報保存部２０２、制御部２０３、ユーザＩ／Ｆ部２０４、表示部２０５、通信部２０６、奥行き割合算出部２０７、地図縮尺率算出部２０８を備えている。

ＧＰＳ受信部２００は、複数のＧＰＳ衛星からの電波の到着に要する時間から、距離を計測することで、受信機である端末の位置を測位できる仕組みを有する。位置測位には、ネットワーク内に設置された位置測位を支援するサーバを利用したＡＧＰＳ（Assisted GPS）を利用しても良い。ＡＧＰＳは、支援するサーバに接続されるレファレンスアンテナ（基準ＧＰＳアンテナ）があり、そのエリア内において、端末が受信する可能性がある全ＧＰＳ衛星情報や感度向上支援情報を端末に送信し、位置測位の精度を向上させる仕組みを有している。

画像撮像部２０１は、１または複数のカメラであり、撮像（撮影）により、静止画像や動画像などの情報を生成し、デジタル化して情報保存部２０２に出力することができる。なお、外部の撮像部により生成された画像情報を入力しても良い。

情報保存部２０２は、内蔵メモリ(ＨＤＤ、ＳＲＡＭ、ＦＬＡＳＨ ＲＯＭ、ＳＤＲＡＭ、ＳＳＤなど)や外部メモリ（ＳＤカードやコンパクトフラッシュ（登録商標）メモリなど）で構成される。また、これらのメモリを組み合わせた構成であっても良い。

制御部２０３は、各機能ブロックからの要求を制御し、各機能ブロックと通信し、本実施例の機能を制御する。

ユーザＩ／Ｆ部２０４は、例えば、撮像の開始操作や、地図情報サーバ１０３から受信した地図画像の拡大、回転操作、カメラのズーム操作、画像撮像部２０１にその時点で写っている（撮像中の）画像の操作や保存した画像の閲覧操作等、ユーザからの様々な要求を受付けるＩ／Ｆ（インタフェース）である。

表示部２０５は、液晶ディスプレイや有機ＥＬなどを利用して、静止画像や動画像などを表示する。例えば、画像撮像部２０１にその時点で写っている画像や、地図情報サーバ１０３から受信した地図画像や、これらを合成した画像、情報保存部２０２に保存した画像などを表示する。
なお、タッチパネルのように、ユーザＩ／Ｆ部２０４と表示部２０５とが一体となった構成であっても良い。

なお、以下の実施例においては、画像撮像部２０１の撮像により生成された、保存済の画像情報や、その時点で画像撮像部２０１に写っている画像情報を撮像画像という。

通信部２０６は、通信キャリアが運営する３ＧＰＰや３ＧＰＰ２、ＧＳＭＡの規格に準じたＣＤＭＡ、ＴＤＭＡ、Ｗ−ＣＤＭＡ、１ｘＥＶＤＯ、ｃｄｍａ２０００、ＧＳＭ（登録商標）、ＥＤＧＥなどの無線通信や、無線ＬＡＮ（ＩＥＥＥ８０２．１１系通信）、ワイヤレスＵＳＢ、８０２．１６規格、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの様々な無線通信方式を利用できる。また、ＭＩＭＯ（Multiple Input Multiple Output）などで高速化された無線通信を利用する場合は複数の無線アンテナで構成しても良い。なお、通信部２０６は、無線通信のみではなく、光ケーブルやＡＤＳＬなどの有線通信を行っても良い。

奥行き割合算出部２０７は、画像撮像部２０１から取得した複数のステレオ画像を入力として、ステレオマッチング処理などを行い、撮像画像について奥行き距離情報を算出する。なお、奥行き距離情報の算出は、画素毎に行っても良いし、ある範囲のブロック毎に行っても良い。また、所定の領域毎に行っても良い。また、ステレオ画像は、複数台のカメラにより取得した画像でも良いし、１台のカメラ画像によりルールベースを利用して作成しても良い。１つもしくは複数の距離センサで構成や、距離センサとカメラ画像を組合せた構成で周囲の奥行き距離情報を取得しても良い。
そして、奥行き距離情報を距離毎に分類して、その撮像画像内にどの奥行きの画素（または、ブロック、領域。以下、画素を用いて説明する。）がどれだけの割合で存在するかの奥行き割合情報を算出する。そして、算出した奥行き割合情報から、ユーザが遠くの風景等を撮像しているのか、近くに建物が多い場所等で撮像しているのかを地図縮尺率演算部２０８にて推定する。奥行き距離情報を距離毎に分類する手法については、距離毎のヒストグラムを利用しても良いし、ＦＦＴなどを使った周波数分析、エッジ強調技術、パターンマッチング方式、固有空間法、動き領域に基づいて奥行き距離情報毎の対象物を認識して対象物の面積を算出する手法を利用しても良い。

地図縮尺率演算部２０８では、奥行き割合算出部２０７で算出した奥行き割合情報に応じて、ユーザが撮像している対象が遠くの対象であるのか、近くの対象であるのかを推定し、ユーザにとって必要な地図の縮尺率を算出する。
例えば、奥行き割合情報に基づいて、撮像画像中に奥行きが遠い画素やブロック等が多いほど、ユーザがいる場所から遠くの被写体を撮像していると判断して、広い範囲（広域）の地図情報を取得するために、地図情報の縮尺率を大きくする(地図を縮小する)(1：1,000→1：10,000など)。
また、奥行き割合情報に基づいて、撮像画像中に奥行きが遠い画素やブロック等が少ないほど、ユーザがいる場所に近い被写体を撮像していると判断して、広い範囲の地図情報よりも、狭い範囲（狭域）の地図情報を取得するために、地図情報の縮尺率を小さくする(地図を拡大する)(1：5,000→1：1,000など)。
なお、撮像画像中の奥行きが遠い画素やブロック等の数や割合が閾値を超えたときに、地図の縮尺率を変化させても良い。これにより、撮像画像の変化による過度の縮尺率の変化を防ぐことができる。また、撮像画像中の奥行きが遠い画素やブロック等の数や割合が多く（少なく）なる過程で縮尺率を大きく（小さく）する縮尺率切替処理を行っても良い。

ＧＰＳ受信部２００で取得したＧＰＳ位置情報と、地図縮尺率算出部２０８で算出した地図縮尺率情報は、通信部２０６を介して地図情報サーバに送信される。

ここで、奥行き割合算出部２０７、地図縮尺率算出部２０８は、端末外の演算サーバに存在しても良い。この場合、無線通信を利用して撮像画像を演算サーバに送信し、演算サーバにて撮像画像から奥行き割合情報と縮尺率情報とを算出して、算出結果に応じた地図情報を演算サーバから端末に送信する分散処理システムとする。これにより、奥行き割合算出部２０７、及び、地図縮尺率算出部２０８での処理を算出サーバ側に移せるので、端末の処理負荷を低減し、端末の省電力化に貢献できる効果が得られる。

図３は、本実施例に係る地図情報連動撮像処理の流れの一例を示すフローチャートである。

ユーザＩ／Ｆ部２０４を介して、ユーザからのカメラ起動要求や地図情報連動の撮像をするかどうかの選択を受ける（Ｓ３００）。

ユーザが地図情報連動の撮像を選択しない場合には（Ｓ３０１の“Ｎｏ”）、Ｓ３０２に移行し、カメラ撮像処理、及び、撮像した画像等の表示処理を行う。

ユーザが地図情報連動の撮像を選択した場合には（Ｓ３０１の“Ｙｅｓ”）、ＧＰＳ位置情報を取得する（Ｓ３０３）。Ｓ３０３は、例えばＳ３００の直後であっても、Ｓ３０５の前であっても良く、Ｓ３０６にてＧＰＳ位置情報、及び、地図縮尺率情報を地図情報サーバ１０３に送る前に実施すれば良い。

Ｓ３０４では、奥行き割合情報を算出する。１台のカメラを利用して奥行き割合情報を算出する場合は１台のカメラを起動し、複数台のカメラを利用して奥行き割合情報を算出する場合には複数台のカメラを起動する。なお、複数台のカメラを利用する場合は奥行き割合情報算出のタイミングで複数台のカメラを起動するようにしても良い。これにより、奥行き割合情報を算出しない期間では、１台以外のカメラをスリープ状態にすることができ、カメラに要する電力を削減できる効果が得られる。
そして、カメラから取得したステレオ画像に基づいて、視差による距離推定（奥行き距離情報算出）を行う。算出した画素毎の奥行き距離情報から、撮像画像内に含まれる奥行き毎の画素数の割合を算出（奥行き割合情報算出）する。

Ｓ３０５では、算出した奥行き割合情報に対応した地図縮尺率情報を算出する、または、テーブル値を参照して地図縮尺率情報を求める。

Ｓ３０６では、取得したＧＰＳ位置情報と地図縮尺率情報とを、ネットワークを介して地図情報サーバ１０３に送信する。

Ｓ３０７では、送信したＧＰＳ位置情報と地図縮尺率情報とを元に地図情報サーバから送られて来た地図情報を取得する。

Ｓ３０８では、撮像画像と地図情報サーバから取得した地図情報とを合成して表示部２０５に表示する。これにより、撮像画像に適した縮尺率の地図情報が撮像画像とともに表示部２０５に表示されることになる。

Ｓ３０９では、前回のＧＰＳサーチ時刻からあるＴ時間経過したかどうかを算出する。Ｔ時間経過していない場合には、ＧＰＳ位置情報は更新せず、同じ位置の縮尺率更新を行うためにＳ３０４に移行し、随時、ステレオ画像からの視差による奥行き割合情報を算出する。奥行き割合情報がある閾値以上に変化した場合には、地図縮尺率を再計算して、地図情報サーバから縮尺率を更新した地図を入手する。一方、前回のＧＰＳサーチ時刻からあるＴ時間経過した場合には、Ｓ３０３に移行し、ＧＰＳ位置情報も更新する。

図４は、平行ステレオカメラでの左右画像の視差情報から、奥行き距離情報を算出するモデルを説明する図である。

図４の例では左カメラ、右カメラの２台のカメラがあり、２台のカメラは平行に並べられ、距離ｂだけ離れた位置にある。カメラの光軸と画像面の交点を原点として、左カメラ画像上の座標を(u、v)、右カメラ画像上の座標を(u’、v’)とし、カメラの焦点距離をｆとすると、３次元空間の位置（Ｘ、Ｙ、Ｚ）は、次式で計算される。

Ｘ ＝ bu ／ u-u’
Ｙ ＝ bv ／ u-u’
Ｚ ＝ bf ／ u-u’
u-u’は、２つの画像上における投射点の横方向のズレ量であり、視差と定義する。空間上の奥行き距離情報Ｚは、ｂ、ｆが一定であれば、視差u-u’により決まるため、２つの画像の対応点ペアを求めれば、その視差u-u’を算出することにより、その画素の奥行きの距離が算出できる。

図５は、平行ステレオカメラで撮像した左右画像から、ステレオマッチング処理を行い、奥行き距離毎にグレースケールで色分けをした例を示す図である。

入力された画像を用いて３次元空間の位置を算出するために、空間上のある点が左右それぞれの画像のどこに投射されているかを特定するStereo correspondence（ステレオ対応点探索）、stereo matching（ステレオマッチング）処理を行う。一般的には、テンプレートマッチングを利用したArea-based matching（領域ベースマッチング）や、各画像のエッジやコーナ点などの特徴点を抽出し、特徴点同士の対応を求めるFeature-based matching（特徴ベースマッチング）などや、複数のカメラを利用するmulti-baseline stereo（マルチベースラインステレオ）などが用いられる。
これら手法を用いてマッチングした画素等毎の視差が求められ、その画素等の奥行き距離情報を算出できる。図５では、奥行き距離情報が小さい領域（カメラから近い領域）を白、奥行き距離情報が大きい領域（カメラから遠い領域）を黒として、奥行き距離毎に階調を付けグレースケールで色分けをした画像の例を示している。

図６は、本実施例に係る撮像画像に応じた奥行き割合ヒストグラムの例を示した図である。

シーン１は、遠くにあるビル群を撮像している（または撮像した）例を示すステレオ画像であり、シーン２は、近くにビルがあるような市街地内で撮像している（または撮像した）例を示すステレオ画像である。図６では、それぞれのシーンでのステレオマッチング処理を行い、奥行き距離をグレースケールで色分けした画像と、奥行き距離毎の画素の数のヒストグラムの例を示している。

シーン１は、奥行き距離が遠いと算出された黒寄りに画素の数のピークがあり、シーン２では、奥行き距離が近いと算出された白寄りに画素の数が集まっている。このように、撮像したシーンのステレオ画像から奥行き距離を算出することにより、シーンの推定が可能である。

上記奥行き距離情報算出によるシーン推定を利用して、シーン１のような場合には、図８−１に示すように、例えば左下の１メモリ尺度が４００ｍであるような縮尺率の地図を表示するように、シーン２のような場合には、図８−２に示すように、例えば１メモリ尺度が２００ｍであるような縮尺率の地図を表示するように、適応的に選択する。これにより、ユーザは撮像画像に合った縮尺率の地図で位置を確認することが可能となる。

また、本実施例に記載される技術を用いると、撮像画像を表示部に表示せず、地図情報のみを表示させる場合であっても、端末の撮像部（カメラ）の方向を変えることで、地図の縮尺率が適応的に変化することになる。この場合、撮像画像を表示しない分、端末の処理を軽減できる。また、表示部全体を利用して地図を大きく表示できるメリットもある。さらに、例えば足元の地面を撮像したり、手で画像を遮ることにより、奥行き距離が近くなり、地図の縮尺率が小さくなるため、目的地が近くにある場合などに目的地の情報を取得するのに利用することもできる。

図７は、本実施例に係る、算出した奥行き割合と地図縮尺率をテーブル化した例である。
奥行き距離が遠い画素が画像全体に占める割合が少ないのか多いのかに応じて、地図の縮尺率を設定したテーブルである。図７の例では、例えば奥行き距離が所定の数値範囲に属する画素を奥行き距離が遠い画素とし、奥行き距離毎の画素が画像全体に占める割合と閾値に応じて、奥行き距離毎の画素が画像全体に占める割合を「大」「中」「小」に分類している。

例えば、地図縮尺パターン１として、遠方を示す画素が１０％、中間の距離を示す画素が１０％、近くを示す画素が８０％であった場合には、近距離の被写体を撮像していると推定できるので、地図縮尺率を小さくして近くの情報を知ることができる縮尺率の地図を表示する。

このようなテーブルを有することにより、多くの奥行き割合の組合せに応じてその都度縮尺率を演算して決定するよりも、処理の負荷を削減することができる。また、ユーザが、ユーザＩ／Ｆ部２０４を利用して、ユーザの好みに合わせた縮尺率設定を、図７のパターンを選択することで設定することも可能となるメリットがある。

なお、図７の例では、奥行き割合と地図縮尺率をテーブル化したルールを示したが、奥行き距離ヒストグラムの重心やピークの値から、地図縮尺率を算出しても良い。
また、奥行き割合の組合せに応じてその都度縮尺率を演算して決定しても良い。

図８は、本実施例に係るサービス提供例である。

図８−１におけるシーン１のように、例えば遠くにビルがある風景を撮像している場合には、広域の縮尺率の地図(図８では１メモリ４００ｍの縮尺率)を表示する。また、図８−２におけるシーン２のように、近くにビルがある市街地内で撮像をしている場合には、市街地周辺の詳細な地図(図８では１メモリ２００ｍの縮尺率)を表示して、周辺にどのようなビルがあるか等の情報まで具体的に理解できる縮尺率の地図を表示する。これにより、撮像している対象物の奥行き距離に適した縮尺率の地図を表示し、撮像画像と地図の関係を認識し易くなる。

以上説明した本実施例によれば、撮像画像に応じた縮尺率の地図をユーザに表示することができ、また、ズーム機能等に連動して地図の縮尺率を変化させることができるため、例えば、地図の縮尺率をユーザが手動で変更する手間を省くことができ、ユーザの使い勝手を向上することができる。
つまり、ユーザに、被写体に応じた適切な縮尺率の地図情報を表示することができるようになる。例えば、近くの建物等を被写体として撮像している場合には、被写体の周辺にある建物等の情報が分かる地図を表示し、遠くの風景等を被写体として撮像している場合には、撮像している風景中の遠方の山の情報が分かるような地図を表示することができる。
また、ユーザが、撮像中の被写体の周辺の地図情報を確認することができるようになり、カメラレンズ等に写りこまない周囲の空間を認識でき、目的地までのルート確認などがしやすくなる。また、事前にカメラを向ける方向の風景を推測でき、撮像のシナリオを考えることができ、撮像のミスを減らすこともできる。

本発明の第二の実施例を、図９、１０図を参照して説明する。なお、実施例１と同一の機能を有する構成等については同一の符号を付し、説明を省略する。

図９は、本実施例に係る携帯端末１０４、タブレット端末１０５、及び、車載端末１０６の構成例を示すブロック図である。実施例１の図２のブロック図に対して、方位算出部９００を追加した構成である。

方位算出部９００は、撮像方向の方位を、微弱な地磁気を検知することのできる地磁気センサを利用して算出するものや、ＧＰＳ測位結果のある時間経過後の移動量を利用して算出するものなどがある。
例えば、地磁気センサを利用する場合は、複数の地磁気センサを直角に組み合わせて、前後方向と左右方向の地磁気を検出して、その地磁気の強さから北の方向を計算できるセンサにより、撮像している向きの方位を測定することができる。方位算出部９００では、地磁気センサで測位した北の方位と、端末に設置した地磁気センサの向きから撮像方向の方位を算出する。
ＧＰＳ測位結果のある時間経過後の移動量を利用する場合には、ある時刻で測位したＧＰＳ測位結果を情報保存部２０２に記憶しておき、ある時間経過後に再度ＧＰＳ測位を行い、記憶してあるＧＰＳ測位結果との差分から、端末がどの方位に移動しているかを算出して、現在端末が向いているであろう方位を予測する。

その他、構成、効果等については実施例１と同様であるため、説明を省略する。

図１０は、本実施例に係るサービス提供例である。

図９に示した構成により、地図上での端末の位置と、撮像している方位と、撮像画像の画素毎の奥行き距離情報がわかるので、撮像画像への地図情報の反映が可能となる。例えば、撮像している方向に存在する建物の名称や地名などの文字情報や、その距離情報を地図情報から求めて撮像画像上に表示することができる。

撮像画像に対して、距離情報に基づいて、地図情報から取得した文字情報をマッピングする。撮像画像から算出した奥行き距離情報と地図上の距離との対応付けは、実施例１の図６に示した様に、奥行き割合算出部２０７で算出した６階調分程度の距離情報にカテゴリ化した情報を元に、地図縮尺率算出部２０８で算出した縮尺率の地図情報に存在する文字情報等を、撮像位置（ＧＰＳ取得位置）からの距離で６分割にカテゴリ化し、分類した距離毎の情報を対応付けることにより行う手法などが考えられる。

撮像画像の各方位に存在する対象物に対して、文字情報等の地図情報を合成することにより、図１０に示す様なサービスが可能となる。この際、地図縮尺率算出部２０８で算出した縮尺率の地図情報を利用するため、撮像シーンに応じた範囲の地図情報を利用することができる。

なお、図１０−１は、地図情報での撮像位置からの距離が近い場所にある対象物の文字情報を撮像画像下方に配置し、撮像位置からの距離が遠い場所にある対象物の文字情報はを撮像画像上方に配置している例である。これにより、撮像画像の下方が近く、上方が遠い遠近法を利用した表示が可能となり、距離感が掴み易い表示が可能となる。

図１０−２は、図１０−１と同様に撮像画像に地図情報をマッピングした例であるが、近くにある対象物の地図情報の文字のフォントを大きくして、遠くにある対象物の地図情報の文字フォントを小さくして表示した例である。これにより、マッピングした地図情報の遠近感が感じられる表示が可能となる。文字の大きさのみでなく、文字の太さやフォント、色を距離情報に応じて変化させても良い。また、地図情報に含まれる文字情報のみでなく、地図情報そのものを撮像画像にスーパーインポーズするような表示を行ってもよい。この場合、地図上の現在位置からの距離と、撮像画像の奥行き距離情報をマッチングさせることにより、平面の地図を投射投影する手法等が考えられる。

以上説明した本実施例によれば、実施例１と同様の効果を得ることができる。
また、撮像画像に地図情報の文字情報等を反映して表示することができるため、撮像画像上の対象物の情報をユーザが認識することができる。
さらに、撮像画像に反映する地図情報の文字情報等の位置、大きさ、フォント、色などを距離情報に応じて変化させれば、ユーザにとって距離感が掴み易い表示が可能となる。

本発明の第三の実施例を、図１１を参照して説明する。なお、本実施例に係る携帯端末１０４、タブレット端末１０５、及び、車載端末１０６の構成例は実施例１、実施例２の図２、図９と同様であるため、説明を省略する。

図１１は、本実施例に係る地図情報連動撮像処理の流れの一例を示すフローチャートである。

ここで、実施例１の図３で説明した地図情報連動撮像処理は、撮像しているシーンが変わることにより、そのシーンに合った縮尺率の地図情報を取得する手法であった。図１１は、ユーザＩ／Ｆ部２０４を介して、ユーザが地図の縮尺率を変更した場合の例である。
例えば、ユーザがタッチパネルなどを利用することにより地図の縮尺率を変更した場合に、画像撮像部２０１のズーム機能（光学ズーム／デジタルズームなど）を利用して、地図の縮尺率に合わせて撮像画像の倍率（ズーム率）を適切に調整する。

Ｓ１１００では、端末に搭載されているＧＰＳ受信部２００からのＧＰＳ位置情報を元に、地図情報サーバ１０３から地図情報を取得する。

Ｓ１１０１では、ユーザＩ／Ｆ部２０４を介してユーザが地図の縮尺率を変更した場合に、その変更後の地図縮尺率情報を取得する。

Ｓ１１０２では、図３のＳ３０４と同じ処理により、左右の画像の視差解析により、撮像している画像の奥行き割合情報を算出する。

Ｓ１１０３では、実施例１の図７で説明した奥行き割合と地図縮尺率の対応リストなどを利用して、撮像画像に適した地図縮尺率を算出する。そして、算出した地図縮尺率と、Ｓ１１０１においてユーザが変更した地図縮尺率とのズレ量を算出する。

Ｓ１１０４では、Ｓ１１０３で算出したズレ量に従い、画像撮像部２０１において倍率を変更する。例えば、地図縮尺率が１：５０００で広い範囲が表示されている場合に、ユーザが地図を操作して、１：１０００の詳細な地図に変更した場合に、画像撮像部２０１のズーム機能を利用して撮像画像をズームインさせ、奥行き割合において近方の割合が多くなるようにし、奥行き割合から算出される地図縮尺率が１：１０００になるように、倍率を調整する。

なお、ユーザ操作により画像撮像部２０１がズームした場合には、実施例１、及び、実施例２と同様に、ズームに連動して地図の縮尺率は変化することになる。

以上説明した本実施例によれば、実施例１、及び、実施例２と同様の効果を得ることができる。
また、例えばユーザが近くの周辺の地図を確認したい場合に、それに連動して撮像画像もズームインするような操作も可能となる。ユーザが地図の縮尺率を小さい状態から縮尺率を大きくして広域の地図を表示させた場合には、ズームをさせない撮像に戻すことも可能となる。

本発明の第四の実施例を、図１２、１３を参照して説明する。なお、実施例１乃至実施例３と同一の機能を有する構成等については同一の符号を付し、説明を省略する。

図１２は、本実施例に係る携帯端末１０４、タブレット端末１０５、及び、車載端末１０６の構成を示すブロック図である。実施例１等の図２等の構成とは、地図情報データ部１２００を有する点において異なる。本実施例は、地図情報が端末内に存在する場合の構成であり、地図情報を端末に内蔵した端末やカーナビゲーションシステムなどへの適用例である。なお、端末が携帯端末１０４またはタブレット端末１０５である場合には、通信部２０６を介して外部のカーナビゲーション装置等の表示部に表示する画像情報を送信しても良い。また、端末が車載端末１０６、つまり、カーナビゲーション装置等である場合には通信部２０６を有さなくても良い。さらに、端末の各機能が自動車（車両）に内蔵された構成であっても良い。

図１２の構成においては、画像撮像部２０１（カメラ）を車体の前方を撮像するように搭載し、画像撮像部２０１の撮像画像から奥行き割合情報を算出して、カーナビゲーション装置等の表示部に表示させる地図の縮尺率を変更する。奥行き割合情報の算出処理や地図縮尺率変更処理については、実施例１乃至実施例３で説明したとおりである。
また、地図情報データ部１２００は、最新の地図情報を保有しており、緯度、経度の情報からその周辺の地図情報を探索できる。また、地図情報を、要求された縮尺率での地図画像やベクトル地図情報、文字情報等として出力する仕組みを有する。なお、地図情報は情報保存部２０２に保存されていても良い。

その他、構成、効果等については実施例１乃至実施例３と同様であるため、説明を省略する。

図１３は、本実施例に係るサービス例を示す図である。

図１３−１は、市街地等を運転中に、前方に配置した画像撮像部２０１の撮像画像から算出した縮尺率で、カーナビに地図表示を行う例である。近くに建物等があり、奥行き割合情報は、近い距離にある画素の割合が多くなるので、地図の縮尺率は小さく、詳細表示される(例えば１：３０００）。
一方、図１３−２のように、高速道路などを運転中は、車道の幅も広く、見通しが良いため、奥行き割合情報は、遠い距離にある画素の割合が多くなるので、地図の縮尺率は大きく、広域表示される（例えば１：１００００）。

以上説明した本実施例によれば、実施例１乃至実施例３と同様の効果を得ることができる。
また、撮像画像に応じて自動的に地図の縮尺率が変化することとなり、運転者のカーナビ操作負荷を軽減することができる。

以上、本発明の実施例を説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

例えば、端末は携帯端末１０４等に限らず、放送撮影用のカメラ機器に上記実施例のＧＰＳ位置情報が付加されていた場合には、放送された風景の画像に対して、テレビ装置で奥行き割合情報に合わせた地図情報をテレビ装置に接続されたネットワークからダウンロードして、放送された風景の画像と、その風景の地図情報を並べて視聴することもできる。

また、例えば、実施例１乃至実施例３では、地図情報サーバ１０３がネットワーク上に存在する例を記載しているが、地図情報を端末自体が所有していても良い。この場合、通信部２０６がない構成の端末にも本技術が適用でき、利用範囲を広げることができる。

また、例えば、制御部２０３で動作するプログラムは、通信部２０６に実装してあっても良いし、記録媒体に記録して提供するようにしても良いし、ネットワークを介してダウンロードして提供するようにしても良い。これら配布形態を限定しないことで、様々な利用形態での提供が可能となり、利用ユーザを増やす効果がある。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００…ＧＰＳ
１０１…基地局
１０２…ネットワーク
１０３…地図情報サーバ
１０４…携帯端末
１０５…タブレット端末
１０６…車載端末
２００…ＧＰＳ受信部
２０１…画像撮像部
２０２…情報保存部
２０３…制御部
２０４…ユーザＩ／Ｆ部
２０５…表示部
２０６…通信部
２０７…奥行き割合算出部
２０８…地図縮尺率算出部
９００…方位算出部
１２００…地図情報データ部

Claims (14)

1. 情報処理装置であって、
   撮像による画像情報を入力する入力部と、
   地図情報を出力する出力部と、
   前記入力部と前記出力部とを制御する制御部と、を備え、
   前記制御部は、前記画像情報から得た奥行き距離情報に応じて、前記出力部から出力する前記地図情報の縮尺率を変化させる制御を行う
   ことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、
   前記奥行き距離情報が示す値が所定の数値範囲に属する画素またはブロックの割合に応じて、前記出力部から出力する前記地図情報の縮尺率を変化させる制御を行う
   ことを特徴とする情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記制御部による前記地図情報の縮尺率を変化させる制御は、
   前記奥行き距離情報が示す値が所定の数値範囲に属する画素またはブロックの前記割合が多くなる過程で前記地図情報の縮尺率を大きくする縮尺率切替処理を行う制御である
   ことを特徴とする情報処理装置。
4. 請求項２または請求項３に記載の情報処理装置であって、
   前記制御部による前記地図情報の縮尺率を変化させる制御は、
   前記奥行き距離情報が示す値が所定の数値範囲に属する画素またはブロックの前記割合が少なくなる過程で前記地図情報の縮尺率を小さくする縮尺率切替処理を行う制御である
   ことを特徴とする情報処理装置。
5. 請求項１乃至請求項４のうち、いずれか一項に記載の情報処理装置であって、
   前記地図情報を受信する通信部と、
   前記情報処理装置の位置情報を取得するＧＰＳ受信部と、を備え、
   前記制御部は、前記位置情報に応じた地図情報を受信して前記出力部から出力する制御を行う
   ことを特徴とする情報処理装置。
6. 請求項１乃至請求項４のうち、いずれか一項に記載の情報処理装置であって、
   前記地図情報を記録する記録部と、
   前記情報処理装置の位置情報を取得するＧＰＳ受信部と、を備え、
   前記制御部は、前記位置情報に応じた地図情報を前記記録部から読み出して前記出力部から出力する制御を行う
   ことを特徴とする情報処理装置。
7. 請求項１乃至請求項６のうち、いずれか一項に記載の情報処理装置であって、
   前記出力部は、前記画像情報を出力し、
   前記制御部は、方位を計測し、前記地図情報に含まれる情報を前記画像情報に合成して前記画像情報を出力する制御を行う
   ことを特徴とする情報処理装置。
8. 請求項１乃至請求項７のうち、いずれか一項に記載の情報処理装置であって、
   ユーザ入力を入力するユーザ入力部を備え、
   前記制御部は、前記地図情報の縮尺率が前記ユーザ入力により変化した場合には、撮像の撮像倍率を変更する制御を行う
   ことを特徴とする情報処理装置。
9. 情報処理装置における情報処方法であって、
   入力部において、撮像による画像情報を入力する入力ステップと、
   出力部から地図情報を出力する出力ステップと、を有し、
   前記出力ステップにおいて、
   前記画像情報から得た奥行き距離情報に応じて、前記出力部から出力する前記地図情報の縮尺率を変化させる
   ことを特徴とする情報処方法。
10. 請求項９に記載の情報処理方法であって、
    前記出力ステップにおいて、
    前記奥行き距離情報が示す値が所定の数値範囲に属する画素またはブロックの割合に応じて、前記出力部から出力する前記地図情報の縮尺率を変化させる
    ことを特徴とする情報処理方法。
11. 請求項１０に記載の情報処理方法であって、
    前記出力ステップにおいて、
    前記奥行き距離情報が示す値が所定の数値範囲に属する画素またはブロックの前記割合が多くなる過程で前記地図情報の縮尺率を大きくする縮尺率切替処理を行う
    ことを特徴とする情報処理方法。
12. 請求項１０または請求項１１に記載の情報処理方法であって、
    前記出力ステップにおいて、
    前記奥行き距離情報が示す値が所定の数値範囲に属する画素またはブロックの前記割合が少なくなる過程で前記地図情報の縮尺率を小さくする縮尺率切替処理を行う
    ことを特徴とする情報処理方法。
13. 情報処理装置に
    入力部において、撮像による画像情報を入力する入力ステップと、
    出力部から地図情報を出力する出力ステップと、を有し、
    前記出力ステップにおいて、
    前記画像情報から得た奥行き距離情報に応じて、前記出力部から出力する前記地図情報の縮尺率を変化させる
    処理を実行させるためのプログラム。
14. 請求項１３に記載のプログラムであって、
    前記出力ステップにおいて、
    前記奥行き距離情報が示す値が所定の数値範囲に属する画素またはブロックの割合に応じて、前記出力部から出力する前記地図情報の縮尺率を変化させる
    処理を実行させるためのプログラム。

Images