CN104380290A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN104380290A
CN104380290A CN201380028266.0A CN201380028266A CN104380290A CN 104380290 A CN104380290 A CN 104380290A CN 201380028266 A CN201380028266 A CN 201380028266A CN 104380290 A CN104380290 A CN 104380290A
Authority
CN
China
Prior art keywords
information
scaling factor
efferent
image
cartographic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380028266.0A
Other languages
English (en)
Other versions
CN104380290B (zh
Inventor
坂庭秀纪
荻野昌宏
福田伸宏
高野桥健太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Publication of CN104380290A publication Critical patent/CN104380290A/zh
Application granted granted Critical
Publication of CN104380290B publication Critical patent/CN104380290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • G09B29/106Map spot or coordinate position indicators; Map reading aids using electronic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供根据拍摄图像适宜地输出地图信息的技术。本发明的信息处理装置的特征在于,包括:输入拍摄的图像信息的输入部;输出地图信息的输出部;和控制所述输入部和所述输出部的控制部,其中,所述控制部进行根据从所述图像信息获得的纵深距离信息来改变从所述输出部输出的所述地图信息的缩尺比的控制。

Description

信息处理装置、信息处理方法和程序
技术领域
本发明涉及信息处理装置、信息处理方法和程序。
背景技术
作为本技术领域的背景技术,有日本特开2006-33274号公报(专利文献1)。在该公报中记载了这样的内容,“采用如下结构,包括:获取拍摄图像和被关联到该拍摄图像的拍摄位置信息的图像获取部;将地图图像与拍摄图像一起印刷到规定的印刷介质上的印刷部;基于拍摄位置信息决定地图图像的缩尺(即,比例尺)的缩尺决定部;和使印刷部将所决定的缩尺的地图图像与拍摄图像一起印刷的控制部。例如,基于从拍摄位置到规定的基准位置的距离,拍摄位置位于特定国家的境内或境外,或者获得的多张拍摄图像之间的拍摄位置之差,来决定缩尺。也可基于进行图像拍摄时的拍摄对象距离来决定缩尺”。
现有技术文献
专利文献
专利文献1:日本特开2006-33274号公报
发明内容
发明要解决的技术问题
专利文献1的技术基于拍摄位置信息来决定地图图像的缩尺,但对于拍摄图像的深度信息(即,纵深距离信息)未加以考虑。
因此,本发明提供根据拍摄图像适宜地输出地图信息的技术。
解决问题的技术手段
为解决上述技术问题,例如可采用权利要求书中记载的技术方案。
本发明包含多个解决上述问题的技术方案,举一例,“一种信息处理装置,其特征在于,包括:输入拍摄的图像信息的输入部;输出地图信息的输出部;和控制所述输入部和所述输出部的控制部,其中,所述控制部进行控制,根据从所述图像信息获得的纵深距离信息来改变从所述输出部输出的所述地图信息的缩尺比(scaling factor,即缩尺的比例系数)。”
发明效果
由此,能够根据拍摄图像适宜地输出地图信息。
上述之外的技术问题、技术特征和技术效果可通过以下的实施方式的说明而明确。
附图说明
图1是表示本发明实施例1的装置的系统结构例的图。
图2是表示本发明实施例1的终端的结构例的框图。
图3是表示本发明实施例1的地图信息联动拍摄处理的流程之一例的流程图。
图4是说明根据平行立体摄像机的左右图像的视差信息计算距离的模型的图。
图5是表示根据平行立体摄像机拍摄的左右图像进行立体匹配处理并按距离用灰度进行区分的例子的图。
图6表示本发明实施例1中与拍摄图像对应的纵深比例直方图的例子。
图7是表示将本发明实施例1中计算出的纵深比例与地图缩尺比制成表的例子的图。
图8是表示本发明实施例1提供的服务例的图。
图9是表示本发明实施例2的终端的结构例的框图。
图10是表示本发明实施例2提供的服务例的图。
图11是表示本发明实施例3的地图信息联动拍摄处理的流程之一例的流程图。
图12是本发明实施例4的终端的结构例的图。
图13是表示本发明用于车载时提供的服务例的图。
具体实施方式
以下利用附图说明本发明的实施方式。其中,在以下实施例中,增大地图的缩尺比则得到更大区域的地图(得到更为缩小的地图),减小地图的缩尺比则得到更小区域的地图(得到更为放大的地图)。
实施例1
参考图1~图8说明本发明的第一实施例。
图1是表示本实施例的系统结构例的图。
便携终端104、平板电脑终端105和车载终端106(导航装置等)例如搭载有显示部、拍摄部、GPS(Global Positioning System,全球定位系统)接收部、根据拍摄图像推算纵深(进深)距离信息的功能等,基于根据拍摄图像计算出的纵深距离信息来求取地图缩尺比。此外,车载终端106可为其功能内置于汽车(车辆)中的结构,也可为安装到车上的结构。
便携终端104、平板电脑终端105和车载终端106通过无线通信经由基站101将地图缩尺比信息和从搭载在终端上的GPS接收部获得的GPS位置信息发送至连接于网络102上的地图信息服务器103,从地图信息服务器103获取地图信息(地图图像、地图的矢量信息),以合适的缩尺比显示地图。
基站101并不限于移动电话通信网的接入点,可利用无线LAN(局域网,IEEE 802.11系列通信标准)、无线USB、802.16标准、Bluetooth(蓝牙,注册商标)等各种无线通信方式。此外,不仅是无线通信,也可利用有线通信。
网络102例如为互联网等可在IP(Internet Protocol,互联网协议)网络上传递各种信息的网络。
地图信息服务器103与网络102相连接。地图信息服务器103保存了最新的地图信息,能够根据纬度、经度信息检索其附近的地图信息。并且,具有将所请求的缩尺比下的地图图像、矢量地图图像、文字信息等作为地图信息发送的功能。
图2是表示本实施例的便携终端104、平板电脑终端105和车载终端106的结构例的框图。
便携终端104、平板电脑终端105和车载终端106包括GPS接收部200、图像拍摄部201、信息保存部202、控制部203、用户I/F部204、显示部205、通信部206、纵深比例计算部207、地图缩尺比计算部208。
GPS接收部200具有根据多个GPS卫星的电波到达所需的时间来测量距离,从而对作为接收机的终端的位置进行定位的功能。在定位位置时也可利用AGPS(Assisted GPS,辅助GPS),AGPS是一种使用了设置于网络内的用于辅助定位的服务器的技术。AGPS技术使用了连接到辅助定位的服务器的基准天线(基准GPS天线),将其区域内终端可接收的所有GPS卫星的信息和辅助提高灵敏度的信息发送给终端,提高定位精度。
图像拍摄部201为一台或多台摄像机,能够通过拍摄(摄影)而生成静止图像或运动图像等信息,并将它们数字化而输出到信息保存部202。此外,也可输入由外部的拍摄部生成的图像信息。
信息保存部202由内置存储器(HDD、SRAM、FLASH ROM、SDRAM、SSD等)或外部存储器(SD卡或CF(Compact Flash,注册商标)存储器等)构成。此外,也可由这些存储器组合而成。
控制部203控制来自各功能块的请求,与各功能块通信,控制本实施例的功能。
用户I/F部204为接收来自用户的各种请求的I/F(接口),例如接收拍摄开始操作、从地图信息服务器103接收到的地图图像的放大/旋转操作、摄像机的缩放操作、图像拍摄部201在该时刻拍摄中(摄影中)的图像的操作或保存的图像的浏览操作等。
显示部205利用液晶显示器或有机EL(电致发光)显示器等显示静止图像或运动图像等。例如显示图像拍摄部201在该时刻拍摄中的图像、从地图信息服务器103接收到的地图图像、将它们合成而得的图像或保存在信息保存部202中的图像等。
此外,用户I/F部204与显示部205也可以像触摸面板那样形成为一体。
另外,在以下实施例中,将通过图像拍摄部201的拍摄而生成的已保存的图像信息或该时刻图像拍摄部201拍摄中的图像信息称为拍摄图像。
通信部206能够利用通信运营商所运营的3GPP、3GPP2、基于GSMA标准的CDMA、TDMA、W-CDMA、1xEVDO、CDMA2000、GSM(注册商标)、EDGE等无线通信,或者无线LAN(IEEE 802.11系列通信标准)、无线USB、802.16标准、Bluetooth(注册商标)等各种无线通信方式。此外,在利用MIMO(Multiple Input Multiple Output,多输入多输出)等高速化的无线通信的情况下可由多个无线天线构成。并且,通信部206可不仅进行无线通信,也可进行光纤或ADSL等有线通信。
纵深比例计算部207以从图像拍摄部201获得的多个立体图像为输入,进行立体匹配处理等,针对拍摄图像计算纵深距离信息。纵深距离信息的计算可对每个像素进行,也可对每一定范围的区块进行。此外,也可对每个规定区域进行。此外,立体图像可为通过多台摄像机获得的图像,也可利用基于规则(rule-based)的方法根据一台摄像机的图像来生成。还可通过利用一个或多个距离传感器的结构或组合距离传感器和拍摄图像的结构来获取周围的纵深距离信息。
然后,对纵深距离信息按照距离进行分类,计算表示该拍摄图像内何种纵深的像素(或者区块、区域。以下使用像素进行说明)占多大比例的纵深比例信息。然后,根据计算出的纵深比例信息,利用地图缩尺比计算部208推算用户是在拍摄远处的风景等,还是在附近建筑物较多的场所等进行拍摄。关于对纵深距离信息按距离分类的方法,可利用按距离制成的直方图,也可利用使用了FFT等的频率分析、边缘增强技术、模式匹配法、特征空间法和基于运动区域识别每种纵深距离信息的对象物并计算对象物的面积的方法。
地图缩尺比计算部208中,根据纵深比例计算部207计算出的纵深比例信息推算用户拍摄的对象是远处的对象还是近处的对象,计算用户所需的地图缩尺比。
例如,基于纵深比例信息,若拍摄图像中纵深大的像素或区块等越多,则判断为正在拍摄距离用户所在位置越远的被拍摄物,为了获取大范围(大区域)的地图信息,增大地图信息缩尺比(缩小地图)(例如,1:1,000→1:10,000等)。
或者,基于纵深比例信息,若拍摄图像中纵深大的像素或区块等越少,则判断为正在拍摄距离用户所在位置越近的被拍摄物,为了获取小范围(小区域)的地图信息,减小地图信息缩尺比(放大地图)(例如,1:5,000→1:1,000等)。
此外,也可在拍摄图像中纵深大的像素或区块等的数目或比例超过阈值时改变地图的缩尺比。这样,能够防止因拍摄图像的变化导致缩尺比的过度变化。或者,也可以在拍摄图像中纵深大的像素或区块等的数目或比例增大(减小)的过程中进行增大(减小)缩尺比的缩尺比切换处理。
由GPS接收部200获取的GPS位置信息和由地图缩尺比计算部208计算出的地图缩尺比信息通过通信部206被发送到地图信息服务器。
在此,纵深比例计算部207、地图缩尺比计算部208也可存在于终端之外的运算服务器中。这种情况下可采用分布式处理系统,即,利用无线通信将拍摄图像发送到运算服务器,在运算服务器上根据拍摄图像计算纵深比例信息和缩尺比信息,将与计算结果相应的地图信息从运算服务器发送到终端。由此,纵深比例计算部207和地图缩尺比计算部208中的处理转移到运算服务器一侧,因此降低了终端的处理负荷,可获得有助于节省终端的耗电的效果。
图3是表示本实施例的地图信息联动拍摄处理的流程之一例的流程图。
通过用户I/F部204接收来自用户的摄像机启动请求和是否与地图信息联动进行拍摄的选择(S300)。
在用户不选择与地图信息联动进行拍摄的情况下(S301的“否”)转移到S302,进行摄像机拍摄处理和拍摄得到的图像等的显示处理。
在用户选择了与地图信息联动进行拍摄的情况下(S301的“是”),获取GPS位置信息(S303)。S303例如可紧接在S300之后,或可在S305之前,只需在S306中将GPS位置信息和地图缩尺比信息发送到地图信息服务器103之前执行即可。
S304中计算纵深比例信息。在利用一台摄像机计算纵深比例信息的情况下启动一台摄像机,在利用多台摄像机计算纵深比例信息的情况下启动多台摄像机。此外,在利用多台摄像机的情况下,也可在纵深比例信息计算时启动多台摄像机。由此,在不计算纵深比例信息的期间能够使一台以外的摄像机处于休眠状态,可获得减少摄像机所需电力的效果。
然后,基于从摄像机获得的立体图像,根据视差进行距离推算(纵深距离信息计算)。接着根据计算出的每个像素的纵深距离信息,计算拍摄图像内所含的每种纵深的像素数的比例(计算纵深比例信息)。
S305中,计算与算出的纵深比例信息对应的地图缩尺比信息,或者参考表(table)的值求取地图缩尺比信息。
S306中,将获得的GPS位置信息和地图缩尺比信息通过网络发送到地图信息服务器103。
S307中,获取从地图信息服务器基于发送去的GPS位置信息和地图缩尺比信息而发送来的地图信息。
S308中,将拍摄图像与从地图信息服务器获得的地图信息合成而显示在显示部205上。由此,与拍摄图像一起将适合拍摄图像的缩尺比的地图信息显示在显示部205上。
S309中,计算从上次的GPS搜索时刻开始是否经过了一定时间T。在未经过时间T的情况下,不更新GPS位置信息,转移到S304以进行相同位置的缩尺比更新,并随时基于来自立体图像的视差计算纵深比例信息。在纵深比例信息变化至一定阈值以上的情况下,重新计算地图缩尺比,从地图信息服务器获得更新了缩尺比的地图。另一方面,在从上次的GPS搜索时刻开始经过了一定时间T的情况下,转移到S303并更新GPS位置信息。
图4是说明根据平行立体摄像机的左右图像的视差信息计算纵深距离信息的模型的图。
图4的例子中有左摄像机、右摄像机两台摄像机,两台摄像机位于平行排列且分开距离b的位置。以摄像机的光轴与像平面的交点为原点,令左摄像机图像上的坐标为(u,v),右摄像机图像上的坐标为(u’,v’),摄像机的焦距为f,则三维空间的位置(X,Y,Z)可由下式计算。
X=bu/u-u’
Y=bv/u-u’
Z=bf/u-u’
u-u’为两个图像上的投影点的横向偏差量,定义为视差。如果b、f固定,则空间上的纵深距离信息Z由视差u-u’决定,因此只要求出两个图像上的对应点的对(pair),通过计算其视差u-u’就能够计算该像素的纵深距离。
图5是表示根据平行立体摄像机拍摄的左右图像进行立体匹配处理并按纵深距离用灰度进行区分的例子的图。
为了使用输入的图像计算三维空间的位置,进行Stereocorrespondence(立体对应点搜索)、stereo matching(立体匹配)处理来确定空间中的一点分别被投影到左右图像上的何处。通常使用的是利用了模板匹配的Area-based matching(基于区域的匹配),提取各图像的边缘或顶点等特征点并求取特征点彼此的对应的Feature-basedmatching(基于特征的匹配)等,或者利用了多台摄像机的multi-baselinestereo(多基线立体匹配)等。
利用这些方法求出每对匹配的像素等的视差,能够计算出该像素等的纵深距离信息。图5中表示了使纵深距离信息小的区域(离摄像机近的区域)为白、使纵深距离信息大的区域(离摄像机远的区域)为黑,对每种纵深距离赋予灰阶来利用灰度进行了区分的图像的例子。
图6表示本实施例中与拍摄图像对应的纵深比例直方图的例子。
场景1是表示正在拍摄(或已拍摄)位于远处的楼群的例子的立体图像,场景2是表示在附近有大楼的城市街道内进行拍摄(或已拍摄)的例子的立体图像。图6表示对各场景进行立体匹配处理并用灰度区分纵深距离所得的图像和每种纵深距离的像素数的直方图的例子。
场景1在计算为纵深距离大的偏黑的一侧存在像素数目的峰值,场景2的像素数目集中在计算为纵深距离小的偏白的一侧。这样,通过根据拍摄的场景的立体图像计算纵深距离,使得场景推定变得可能。
利用上述基于纵深距离信息计算而进行的场景推测,可适应性地选择,即,在如场景1的情况下,如图8-1所示显示例如左下的一个刻度为400米的缩尺比的地图,在如场景2的情况下,如图8-2所示显示例如左下的一个刻度为200米的缩尺比的地图。由此,用户能够在适合拍摄图像的缩尺比的地图上确认位置。
此外,利用本实施例记载的技术,即使在不将拍摄图像显示在显示部上而仅显示地图信息的情况下,通过改变终端的拍摄部(摄像机)的方向,地图的缩尺比适应性地改变。这种情况下,由于不显示拍摄图像,终端的处理可相应减轻。此外,具有能够利用整个显示部而将地图显示得较大的优点。进一步地,例如通过拍摄脚下的地面或者用手遮住图像,纵深距离变短,地图缩尺比变小,因此可在目的地就在附近的情况下用于获取目的地的信息。
图7是表示将本实施例中计算出的纵深比例与地图缩尺比制成表的例子的图。
该表是根据纵深距离大的像素占图像整体的比例是多还是少而设定地图缩尺比的表。在图7的例子中,例如令纵深距离属于规定的数值范围的像素为纵深距离大的像素,根据每种纵深距离的像素占图像整体的比例和阈值,将每种纵深距离的像素占画面整体的比例分类成“大”、“中”、“小”。
例如,作为地图缩放模式1,在表示远方的像素为10%,表示中间的像素为10%,表示近处的像素为80%的情况下,可推测为正在拍摄近距离的被拍摄物,因此减小地图缩尺比,显示能获知附近的信息的缩尺比的地图。
由于具有这样的表,与根据大量的纵深比例的组合即时计算并决定缩尺比相比能够减轻处理负荷。并且具有用户可利用用户I/F部204通过选择图7的模式来设定适于用户喜好的缩尺比设定的优点。
此外,图7的例子中表示了将纵深比例与地图缩尺比制成表的规则,但也可根据纵深距离直方图的重心或峰值计算地图缩尺比。
此外,也可根据纵深比例的组合即时计算决定缩尺比。
图8是本实施例提供的服务例。
如图8-1的场景1所示,例如在拍摄远处有大楼的风景的情况下,显示大区域的缩尺比的地图(图8中是一个刻度为400m的缩尺比)。此外,如图8-2的场景2所示,在附近有大楼的城市街道上拍摄的情况下,显示城市街道周边的详细地图(图8中是一个刻度为200m的缩尺比),显示可具体了解周边有哪些大楼等信息的缩尺比的地图。由此,显示了适合所拍摄的对象物的纵深距离的缩尺比的地图,易于识别拍摄图像与地图的关系。
通过以上说明的本实施例,能够向用户显示与拍摄图像相应的缩尺比的地图,并且能够与缩放功能联动地改变地图的缩尺比,因此,省去了用户手动变更地图缩尺比的工夫,能够提高用户便利性。
即,能够向用户显示与被拍摄物相应的合适缩尺比的地图信息。例如在将附近的建筑物等作为被拍摄物进行拍摄的情况下,能够显示可了解被拍摄物周边的建筑物等信息的地图,在将远处的风景等作为被拍摄物进行拍摄的情况下,能够显示可了解拍摄中的风景中的远方的山的信息的地图。
此外,用户能够确认拍摄中的被拍摄物的周边的地图信息,能够识别未被收入摄像机镜头等中的周围空间,到目的地的路线确认等变得容易。此外,可事先推测摄像机朝向的方向的风景,能够考虑拍摄的剧本,减少拍摄的失误。
实施例2
参考图9、图10说明本发明的第二实施例。其中,对于具有与实施例1相同功能的结构等赋予相同的标记并省略说明。
图9是表示本实施例的便携终端104、平板电脑终端105和车载终端106的结构例的框图。其为在实施例1的图2的框图中增加了方位计算部900的结构。
方位计算部900利用可检测微弱地磁场的地磁传感器,或者利用GPS定位结果的一定时间经过后的移动量来计算拍摄方向的方位。
例如,在利用地磁传感器的情况下,将多个地磁传感器组合成直角,检测前后方向和左右方向的地磁场,通过可根据该地磁场的强度来计算北的方向的传感器,能够测定正在拍摄的方向的方位。方位计算部900中根据地磁传感器所测定的北的方向和设置在终端的地磁传感器的朝向来计算拍摄朝向的方向。
在利用GPS定位结果的一定时间经过后的移动量的情况下,将某时刻定位的GPS定位结果预先保存到信息保存部202,在经过一定时间后再次进行GPS定位,根据与保存的GPS定位结果的差来计算终端向哪个方位移动,从而预测终端当前朝向的方位。
关于其它结构、效果,由于与实施例1相同,故省略说明。
图10是本实施例提供的服务例。
通过图9所示的结构,由于地图上的终端位置、正在拍摄的方位和拍摄图像的每个像素的纵深距离信息已知,能够将地图信息反映到拍摄图像上。例如,能够根据地图信息求得正在拍摄的方向上存在的建筑物的名称或地名等文字信息及其距离信息,并将它们显示在拍摄图像上。
基于距离信息,将从地图信息获得的文字信息映射到拍摄图像上。关于根据拍摄图像而计算出的纵深距离信息与地图上的距离之间的对应,例如可考虑这样的方法,即,如实施例1的图6所示,按照纵深比例计算部207计算出的6个灰阶左右的距离信息进行分类,基于分类后的信息,将地图缩尺比计算部208计算出的缩尺比的地图信息中存在的文字信息按照与拍摄位置(GPS获取位置)之间的距离分类成6类,与分类后的每个距离的信息相对应。
通过将文字信息等地图信息与拍摄图像的各方位上存在的对象物合成,可实现图10所示的服务。此时,由于使用了地图缩尺比计算部208计算出的缩尺比的地图信息,所以能够利用与拍摄场景相应的范围的地图信息。
此外,图10-1是将地图信息中离拍摄位置的距离较近处的对象物的文字信息配置在拍摄图像下方、将离拍摄位置的距离较远处的对象物的文字信息配置在拍摄图像上方的例子。由此,能够实现利用了拍摄图像的下方近、上方远的透视法的显示,可得到易于掌握距离感的显示。
图10-2是与图10-1同样地将地图信息映射到拍摄图像上的例子,不过其是增大了近处的对象物的地图信息的文字字体、缩小了远处的对象物的地图信息的文字字体来显示的例子。由此,能够实现可感觉到所映射的地图信息的远近感的显示。并且,不仅是文字大小,文字的粗细、字体、或颜色也可根据距离信息而变化。此外,不仅是地图信息中所含的文字信息,也可进行将地图信息本身叠加到拍摄图像上的显示。这种情况下可考虑通过使离地图上当前位置的距离与拍摄图像的纵深距离信息相匹配而投射投影平面地图的方法等。
通过以上说明的本实施例,能够获得与实施例1相同的效果。
此外,由于能够在拍摄图像上反映地图信息的文字信息等而显示拍摄图像,因此用户能够识别拍摄图像上的对象物的信息。
进一步地,通过使反映在拍摄图像上的地图信息的文字信息等的位置、大小、字体、颜色等根据距离信息变化,能够进行使用户易于掌握距离感的显示。
实施例3
参考图11说明本发明的第三实施例。其中,由于本实施例的便携终端104、平板电脑终端105和车载终端106的结构例与实施例1、实施例2的图2、图9相同,故省略说明。
图11是表示本实施例的地图信息联动拍摄处理的流程之一例的流程图。
在此,实施例1的图3所说明的地图信息联动拍摄处理是随所拍摄的场景变化而获取适合该场景的缩尺比的地图信息的方法。而图11是用户通过用户I/F部204变更地图的缩尺比的情况下的例子。
例如,在用户使用触摸面板等变更了地图的缩尺比的情况下,利用图像拍摄部201的缩放功能(光学缩放/数字缩放等),配合地图的缩尺比来适当地调整拍摄图像的倍率(缩放率)。
S1100中,基于来自终端上搭载的GPS接收部200的GPS位置信息,从地图信息服务器103获取地图信息。
S1101中,在用户通过用户I/F部204变更了地图的缩尺比的情况下,获取该变更后的地图缩尺比信息。
S1102中,通过与图3的S304相同的处理,利用左右图像的视差分析来计算拍摄中的图像的纵深比例信息。
S1103中,利用实施例1的图7中说明的纵深比例与地图缩尺比的对应表,计算适合拍摄图像的地图缩尺比。然后,对计算出的地图缩尺比与S1101中用户变更了的地图缩尺比的偏差量进行计算。
S1104中,根据S1103中计算出的偏差量,在图像拍摄部201中改变倍率。例如,在地图缩尺比为1:5000、显示了大范围的情况下,当用户操作地图变更为1:1000的详细地图时,利用图像拍摄部201的缩放功能来缩放拍摄图像,调整倍率使得纵深比例中近处的比例增大,使得根据纵深比例计算出的地图缩尺比为1:1000。
此外,在用户操作而使图像拍摄部201缩放的情况下,与实施例1和实施例2同样地,与缩放联动地改变地图的缩尺比。
通过以上说明的本实施例,能够获得与实施例1和实施例2相同的效果。
此外,例如在用户要确认附近周边的地图的情况下,能够进行与之联动地缩放拍摄图像的操作。而在用户将地图的缩尺比从小的状态增大缩尺比以显示大区域的地图的情况下,能够返回到不进行缩放的拍摄。
实施例4
参考图12、13说明本发明的第四实施例。其中,对于具有与实施例1至实施例3相同功能的结构等,赋予相同的标记并省略说明。
图12是表示本实施例的便携终端104、平板电脑终端105和车载终端106的结构的框图。与实施例1等的图2等结构相比,不同点在于包括地图信息数据部1200。本实施例为地图信息存在于终端内的情况下的结构,是应用于内置地图信息的终端或车载导航系统等的例子。此外,在终端为便携终端104或平板电脑终端105的情况下,也可通过通信部206向外部的车载导航装置等的显示部发送要显示的图像信息。此外,在终端为车载终端106即车载导航装置等的情况下,可不配备通信部206。另外,终端的各功能也可以内置于汽车(车辆)内。
在图12的结构中,图像拍摄部201(摄像机)以拍摄车辆前方的方式安装,根据图像拍摄部201的拍摄图像计算纵深比例信息,改变车载导航装置等的显示部上显示的地图的缩尺比。纵深比例信息的计算处理和地图缩尺比变更处理如实施例1至实施例3所述。
此外,地图信息数据部1200保存了最新的地图信息,能够根据纬度、经度的信息检索其周边的地图信息。并且具有将所请求的缩尺比下的地图图像、矢量地图图像、文字信息等作为地图信息输出的功能。此外,地图信息也可保存在信息保存部202中。
关于其它结构、效果等,由于与实施例1至实施例3相同,故省略说明。
图13是表示本实施例提供的服务例的图。
图13-1是在城市街道等驾驶时按照根据配置在前方的图像拍摄部201的拍摄图像计算出的缩尺比而在车载导航上进行地图显示的例子。由于近处有建筑物等,纵深比例信息中近距离的像素的比例较大,因此减小地图的缩尺比进行详细的显示(例如1:3000)。
另一方面,如图13-2所示,在高度道路等驾驶时由于车道较宽、视野较好,纵深比例信息中远距离的像素的比例较大,因此增大地图的缩尺比,显示大区域(例如1:10000)。
通过以上说明的本实施例,可获得与实施例1至实施例3相同的效果。
此外,地图的缩尺比根据拍摄图像自动地变化,能够减轻驾驶者操作车载导航的负担。
以上对本发明的实施例进行了说明,但本发明并不限定于上述的实施例,而是包含了各种变形例。例如,上述实施例是为了简单易懂地说明本发明而进行的详细说明,并非限定必须具备所说明的全部的结构。
例如,终端并不限定于便携终端104等,在电视摄影用的摄像设备上附加了上述实施例的GPS位置信息的情况下,对于广播的风景的图像,可在电视装置中从与电视装置连接的网络下载与纵深比例信息相应的地图信息,将所广播的风景的图像与该风景的地图信息并排观看。
此外,例如在实施例1至实施例3中记载了地图信息服务器103存在于网络上的例子,但地图信息也可为终端自身所有。这种情况下,本技术可适用于没有通信部206的结构的终端,能够扩大应用范围。
此外,例如控制部203中运行的程序可通过通信部206安装,也可记录在记录介质来提供,或者可通过网络下载来提供。对其分发方式并不限定,能够以多种应用方式提供,有增多使用用户的效果。
此外,可将一个实施例的结构的一部分替换成其它实施例的结构,或者可在一个实施例的结构上添加其它实施例的结构。另外,针对各实施例的结构的一部分,能够进行其它结构的追加、删除、替换。
此外,上述各结构、功能、处理部、处理单元等的一部分或全部,例如可以通过集成电路设计等由硬件实现。此外,上述各结构、功能等,也可以通过由处理器解释、执行实现各功能的程序而用软件实现。实现各功能的程序、表、文件等信息,能够保存在存储器、硬盘、SSD(Solid State Drive)等记录装置,或者IC卡、SD卡、DVD等记录介质中。
此外,控制线和信息线表示了认为说明上必要的,并不一定表示了产品上所有的控制线和信息线。实际上也可以认为几乎所有结构都相互连接。
附图标记说明
100……GPS
101……基站
102……网络
103……地图信息服务器
104……便携终端
105……平板电脑终端
106……车载终端
200……GPS接收部
201……图像拍摄部
202……信息保存部
203……控制部
204……用户I/F部
205……显示部
206……通信部
207……纵深比例计算部
208……地图缩尺比计算部
900……方位计算部
1200……地图信息数据部

Claims (14)

1.一种信息处理装置,其特征在于,包括:
输入拍摄的图像信息的输入部;
输出地图信息的输出部;和
控制所述输入部和所述输出部的控制部,其中,
所述控制部进行根据从所述图像信息获得的纵深距离信息来改变从所述输出部输出的所述地图信息的缩尺比的控制。
2.如权利要求1所述的信息处理装置,其特征在于:
所述控制部进行如下控制:根据所述纵深距离信息表示的值属于规定数值范围的像素或块的比例来改变从所述输出部输出的所述地图信息的缩尺比。
3.如权利要求2所述的信息处理装置,其特征在于:
所述控制部所进行的改变所述地图信息的缩尺比的控制为进行如下缩尺比切换处理的控制:
在所述纵深距离信息表示的值属于规定数值范围的像素或块的所述比例增大的过程中,增大所述地图信息的缩尺比。
4.如权利要求2或3所述的信息处理装置,其特征在于:
所述控制部所进行的改变所述地图信息的缩尺比的控制为进行如下缩尺比切换处理的控制:
在所述纵深距离信息表示的值属于规定数值范围的像素或块的所述比例减小的过程中,减小所述地图信息的缩尺比。
5.如权利要求1至4中任一项所述的信息处理装置,其特征在于,包括:
接收所述地图信息的通信部;和
获取所述信息处理装置的位置信息的GPS接收部,其中,
所述控制部进行接收与所述位置信息相应的地图信息并将其从所述输出部输出的控制。
6.如权利要求1至4中任一项所述的信息处理装置,其特征在于,包括:
记录所述地图信息的记录部;和
获取所述信息处理装置的位置信息的GPS接收部,其中,
所述控制部进行从所述记录部读取与所述位置信息相应的地图信息并将其从所述输出部输出的控制。
7.如权利要求1至6中任一项所述的信息处理装置,其特征在于:
所述输出部输出所述图像信息,
所述控制部进行测量方位并将所述地图信息中所含的信息合成到所述图像信息中而输出所述图像信息的控制。
8.如权利要求1至7中任一项所述的信息处理装置,其特征在于,包括:
接受用户输入的用户输入部,其中,
所述控制部进行在所述地图信息的缩尺比根据所述用户输入而变化了的情况下改变拍摄的拍摄倍率的控制。
9.一种信息处理装置中的信息处理方法,其特征在于,包括:
在输入部输入拍摄的图像信息的输入步骤;和
从输出部输出地图信息的输出步骤,其中,
在所述输出步骤中,根据从所述图像信息获得的纵深距离信息来改变从所述输出部输出的所述地图信息的缩尺比。
10.如权利要求9所述的信息处理方法,其特征在于:
在所述输出步骤中,根据所述纵深距离信息表示的值属于规定数值范围的像素或块的比例来改变从所述输出部输出的所述地图信息的缩尺比。
11.如权利要求10所述的信息处理方法,其特征在于:
在所述输出步骤中进行如下缩尺比切换处理:在所述纵深距离信息表示的值属于规定数值范围的像素或块的所述比例增大的过程中,增大所述地图信息的缩尺比。
12.如权利要求10或11所述的信息处理方法,其特征在于:
在所述输出步骤中进行如下缩尺比切换处理:在所述纵深距离信息表示的值属于规定数值范围的像素或块的所述比例减小的过程中,减小所述地图信息的缩尺比。
13.一种程序,其特征在于:
用于使信息处理装置进行如下处理,该处理包括:
在输入部输入拍摄的图像信息的输入步骤;
从输出部输出地图信息的输出步骤,其中,
在所述输出步骤中,根据从所述图像信息获得的纵深距离信息来改变从所述输出部输出的所述地图信息的缩尺比。
14.如权利要求13所述的程序,其特征在于:
使所述输出步骤中进行以下处理:
根据所述纵深距离信息表示的值属于规定数值范围的像素或块的比例来改变从所述输出部输出的所述地图信息的缩尺比。
CN201380028266.0A 2012-05-30 2013-03-06 信息处理装置、信息处理方法 Active CN104380290B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-122640 2012-05-30
JP2012122640A JP5886688B2 (ja) 2012-05-30 2012-05-30 情報処理装置、情報処理方法、及び、プログラム
PCT/JP2013/056065 WO2013179712A1 (ja) 2012-05-30 2013-03-06 情報処理装置、情報処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN104380290A true CN104380290A (zh) 2015-02-25
CN104380290B CN104380290B (zh) 2017-06-23

Family

ID=49672925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380028266.0A Active CN104380290B (zh) 2012-05-30 2013-03-06 信息处理装置、信息处理方法

Country Status (4)

Country Link
US (1) US20150130848A1 (zh)
JP (1) JP5886688B2 (zh)
CN (1) CN104380290B (zh)
WO (1) WO2013179712A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
JP6705124B2 (ja) * 2015-04-23 2020-06-03 セイコーエプソン株式会社 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6481456B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
KR102463702B1 (ko) * 2016-12-15 2022-11-07 현대자동차주식회사 차량 정밀 위치 추정 장치, 그 방법, 그를 위한 맵 구축 장치, 및 그를 위한 맵 구축 방법
JP7099150B2 (ja) * 2018-08-02 2022-07-12 株式会社タダノ クレーン及び情報共有システム
CN112150527B (zh) * 2020-08-31 2024-05-17 深圳市慧鲤科技有限公司 测量方法及装置、电子设备及存储介质
CN112255869B (zh) * 2020-11-03 2021-09-14 成都景中教育软件有限公司 一种基于参数的三维图形动态投影实现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033274A (ja) * 2004-07-14 2006-02-02 Fuji Photo Film Co Ltd プリント装置、プリント方法及びプログラム
CN101872469A (zh) * 2009-04-21 2010-10-27 索尼公司 电子设备、显示控制方法和程序
US20120044264A1 (en) * 2010-08-18 2012-02-23 Pantech Co., Ltd. Apparatus and method for providing augmented reality
CN102447824A (zh) * 2010-10-05 2012-05-09 卡西欧计算机株式会社 摄影装置及摄影方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4449587B2 (ja) * 2004-06-09 2010-04-14 富士フイルム株式会社 画像マッピング方法及び画像マッピングプログラム
JP4941083B2 (ja) * 2007-05-09 2012-05-30 株式会社ニコン 電子カメラ
JP2012027515A (ja) * 2010-07-20 2012-02-09 Hitachi Consumer Electronics Co Ltd 入力方法及び入力装置
US9188444B2 (en) * 2011-03-07 2015-11-17 Google Inc. 3D object positioning in street view

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033274A (ja) * 2004-07-14 2006-02-02 Fuji Photo Film Co Ltd プリント装置、プリント方法及びプログラム
CN101872469A (zh) * 2009-04-21 2010-10-27 索尼公司 电子设备、显示控制方法和程序
US20120044264A1 (en) * 2010-08-18 2012-02-23 Pantech Co., Ltd. Apparatus and method for providing augmented reality
CN102447824A (zh) * 2010-10-05 2012-05-09 卡西欧计算机株式会社 摄影装置及摄影方法

Also Published As

Publication number Publication date
WO2013179712A1 (ja) 2013-12-05
CN104380290B (zh) 2017-06-23
JP2013250589A (ja) 2013-12-12
JP5886688B2 (ja) 2016-03-16
US20150130848A1 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
CN104380290A (zh) 信息处理装置、信息处理方法和程序
US9651394B2 (en) Information displaying apparatus and method thereof
KR101147748B1 (ko) 지리정보 제공 기능을 갖는 이동통신 단말기 및 이를이용한 지리 정보 제공 방법
US7822545B2 (en) Mobile terminal with navigation function
US8933795B2 (en) Video display apparatus and method
KR101612785B1 (ko) 차량 내비게이션 방법 및 그 장치
EP2837912B1 (en) Method and apparatus for displaying image of mobile communication terminal
EP3355027A1 (en) Map updating method and vehicle-mounted terminal
US20090167919A1 (en) Method, Apparatus and Computer Program Product for Displaying an Indication of an Object Within a Current Field of View
JP2006293378A (ja) データ提供システム及びデータ提供方法
US10757315B2 (en) Vehicle imaging support device, method, and program storage medium
US11557206B2 (en) Information provision system, server, and mobile terminal
CN113269976B (zh) 定位方法和装置
CN103363997A (zh) 实景导航的定位方法、定位系统及计算机可读取储存媒体
US20170103268A1 (en) Misaligned tire detection method and apparatus
JP4085634B2 (ja) 画像表示プログラム
CN111966772A (zh) 一种实景地图生成方法及系统
US10661654B2 (en) Method for setting display of vehicle infotainment system and vehicle infotainment system to which the method is applied
US20200273492A1 (en) System and Method for Automatically Creating a Video of a Journey
KR20090102039A (ko) 도로 영상 중개 장치 및 영상 획득 장치
JP2001005994A (ja) 画像処理装置および画像処理方法
JP2010164402A (ja) 情報収集装置、移動端末、情報センターおよびナビゲーションシステム
JP2019144920A (ja) 処理装置、処理方法及びプログラム
KR100446478B1 (ko) 조감지도표시방법 및 네비게이션 장치
US20220130152A1 (en) Information processing system, program, and information processing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180302

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Osaka Japan

Patentee before: Hitachi Maxell, Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220609

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.

TR01 Transfer of patent right