CN105431708B - 图像处理装置、图像处理方法以及程序 - Google Patents

图像处理装置、图像处理方法以及程序 Download PDF

Info

Publication number
CN105431708B
CN105431708B CN201480032897.4A CN201480032897A CN105431708B CN 105431708 B CN105431708 B CN 105431708B CN 201480032897 A CN201480032897 A CN 201480032897A CN 105431708 B CN105431708 B CN 105431708B
Authority
CN
China
Prior art keywords
destination
terminal
image processing
image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480032897.4A
Other languages
English (en)
Other versions
CN105431708A (zh
Inventor
田原哲雄
盐野崎敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105431708A publication Critical patent/CN105431708A/zh
Application granted granted Critical
Publication of CN105431708B publication Critical patent/CN105431708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

[问题]在难以经由定位模块获取当前位置的情况下向用户提供朝向目的地的导航。[解决方案]一种图像处理装置，该图像处理装置设置有：图像获取单元，其用于获取图像，所获取的图像显示具有视觉识别目标的真实对象；识别单元，其用于通过对识别目标的图像识别来对拍摄图像的终端关于真实对象的布置进行识别；以及控制单元，其用于基于终端的由识别单元识别的相对布置来将指示接近用户的目的地的方向的显示对象显示在终端的屏幕上。

Description

图像处理装置、图像处理方法以及程序
技术领域
本公开涉及图像处理装置、图像处理方法以及程序。
背景技术
到目前为止，已经实现了用于将用户引导至某一目的地的各种导航服务。通常基于与目的地的位置和用户的当前位置有关的知识来执行导航。为了获取用户的当前位置，许多导航服务使用了包括在用户所持终端中的定位模块，例如全球定位系统(GPS)模块或PlaceEngine(注册商标)。
专利文献1提出：在图像中突出与作为目的地(例如建筑物或设施)的地方相对应的特定对象，使得用户能够在终端的屏幕上容易地找到作为目的地的地方。而且，在专利文献1中，通过GPS模块来获取用户的当前位置。
引用列表
专利文献
专利文献1：JP 2012-079129A
发明内容
技术问题
然而，并非所有终端均包括定位模块。再者，即使在终端包括定位模块的情况下，也难以在终端不能接收到用于定位的无线电信号的环境下经由定位模块来获取当前位置。
因此，期望的是实现一种机制，该机制即使在难以经由定位模块来获取当前位置的状态下也能够向用户提供至目的地的导航。
问题的解决方案
根据本公开，提供了一种图像处理装置，该装置包括：图像获取单元，所述图像获取单元被配置成获取图像，在所述图像上投影有包括视觉识别目标的真实对象；识别单元，所述识别单元被配置成通过对所述识别目标执行图像识别来识别已经捕获所述图像的终端关于所述真实对象的相对布置；以及控制单元，所述控制单元被配置成基于所述终端的由所述识别单元识别的所述相对布置来将指示朝向用户的目的地的方向的显示对象显示在所述终端的屏幕上。
根据本公开，提供了一种由图像处理装置执行的图像处理方法，该图像处理方法包括：获取图像，在所述图像上投影有包括视觉识别目标的真实对象；通过对所述识别目标执行图像识别来识别已经捕获所述图像的终端关于所述真实对象的相对布置；以及基于所识别的所述终端的相对布置将指示朝向用户的目的地的方向的显示对象显示在所述终端的屏幕上。
根据本公开，提供了一种程序，该程序使得控制图像处理装置的计算机能够充当以下单元：图像获取单元，所述图像获取单元被配置成获取图像，在所述图像上投影有包括视觉识别目标的真实对象；识别单元，所述识别单元被配置成通过对所述识别目标执行图像识别来识别已经捕获所述图像的终端关于所述真实对象的相对布置；以及控制单元，所述控制单元被配置成基于所述终端的由所述识别单元识别的所述相对布置来将指示朝向用户的目的地的方向的显示对象显示在所述终端的屏幕上。
本发明的有益效果
根据本公开的技术，即使在难以经由定位模块来获取当前位置的情况下也可以向用户提供至目的地的导航。
附图说明
[图1]图1为示出根据实施例的装置的概要的说明图。
[图2]图2为示出包括识别目标的真实对象的示例的说明图。
[图3]图3为示出实施例中的导航原理的说明图。
[图4]图4为示出根据实施例的图像处理装置的硬件配置的示例的框图。
[图5]图5为示出根据实施例的图像处理装置的逻辑功能的配置的示例的框图。
[图6A]图6A为示出识别词典数据的配置的第一示例的说明图。
[图6B]图6B为示出识别词典数据的配置的第二示例的说明图。
[图7]图7为示出图6B中例示的附加编码布置数据的说明图。
[图8A]图8A为示出对象布置数据的配置的第一示例的说明图。
[图8B]图8B为示出对象布置数据的配置的第二示例的说明图。
[图9]图9为示出输出图像的取决于终端姿态的变化的变化的示例的说明图。
[图10]图10为示出如何向用户呈现图9中所例示的输出图像的说明图。
[图11]图11为示出对终端的布置的跟踪的示例的说明图，其中，根据终端的移动来执行跟踪。
[图12A]图12A为示出用于使用户能够选择目的地的窗口的第一示例的说明图。
[图12B]图12B为示出用于使用户能够选择目的地的窗口的第二示例的说明图。
[图12C]图12C为示出用于使用户能够选择目的地的窗口的第三示例的说明图。
[图13A]图13A为示出可以在实施例中显示的显示对象的一些示例的第一说明图。
[图13B]图13B为示出可以在实施例中显示的显示对象的一些示例的第二说明图。
[图13C]图13C为示出可以在实施例中显示的显示对象的一些示例的第三说明图。
[图13D]图13D为示出可以在实施例中显示的显示对象的一些示例的第四说明图。
[图14]图14为示出根据实施例的图像处理的流程的示例的流程图。
[图15A]图15A为示出图14中所示的终端布置确定处理的详细流程的第一示例的流程图。
[图15B]图15B为示出图14中所示的终端布置确定处理的详细流程的第二示例的流程图。
[图15C]图15C为示出图14中所示的终端布置确定处理的详细流程的第三示例的流程图。
[图16A]图16A为示出图14中所示的目的地方向确定处理的详细流程的第一示例的流程图。
[图16B]图16B为示出图14中所示的目的地方向确定处理的详细流程的第二示例的流程图。
[图17]图17为示出可以在盖章竞走的应用示例中进行显示的显示对象的一些示例的说明图。
[图18]图18为示出图像处理装置的修改示例的说明图。
[图19]图19为示出可以在图18的修改示例中进行显示的显示对象的一些示例的说明图。
[图20]图20为示出多个装置之间的链接的说明图。
具体实施方式
在下文中，将参照附图来详细描述本公开的优选实施例。注意，在本说明书及附图中，具有基本相同的功能和结构的结构元件用相同的附图标记进行表示，并且将省去对这些结构元件的重复说明。
此外，将按以下顺序提供描述。
1.概要
2.图像处理装置的配置示例
2-1.硬件配置
2-2.功能配置
2-3.处理流程
3.应用示例
3-1.盖章竞走
3-2.使用HMD
3-3.多个装置之间的链接
4.结论
<1.概要>
将参照图1至图3来描述根据本公开的装置的概要。
图1为示出根据实施例的装置的概要的说明图。图1示出用户Ua所携带的图像处理装置100。图像处理装置100包括显示器110和用于捕获真实空间1的图像的相机102。在图1的示例中，真实对象10存在于真实空间1中。图像处理装置100的相机102通过捕获真实对象10的图像来生成形成视频的一系列图像，在图像上投影有真实对象10。然后，图像处理装置100关于由相机102生成的作为输入图像的捕获图像执行图像处理并且生成输出图像。在该实施例中，通常通过将导航显示对象叠加在输入图像上来生成输出图像。图像处理装置100的显示器110顺序地显示所生成的输出图像。注意，图1中所示的真实空间1仅为示例。图像处理装置100可以对其上投影有任意真实对象的图像进行处理。
在图1中，将智能手机示为图像处理装置100的示例。然而，图像处理装置100不限于该示例。图像处理装置100可以是如下的移动装置：平板个人计算机(PC)、笔记本PC、便携式游戏终端、便携式导航装置(PND)或数字相机。或者，图像处理装置100可以是可穿戴装置，例如头戴式显示器(HMD)终端。
在根据本公开的技术中，获取其上投影有真实对象的视觉识别目标的图像，作为输入图像。本文中的识别目标可以是存在于真实对象的外观中的已知图片、标记、字符串或设计或者其任意组合。识别目标可以包括其中编码有某些信息的视码(例如条形码或CyberCode(注册商标))。图像处理装置100提前存储识别目标的特征数据并且使用特征数据对投影在输入图像上的识别目标的布置(相对于摄像面的布置)进行识别。在本说明书中，术语“布置”包括在两维或三维坐标系中的位置(平移)、姿态(旋转)和尺寸(缩放)中的至少一个。特征数据可以包括例如从识别目标的已知图像提取的一组特征点的数据。此外，特征数据可以包括已知图案的形状和尺寸的数据。
图2为示出包括识别目标的真实对象的示例的说明图。在图2的示例中，真实对象10为置于公共设施例如车站中的指示牌。指示牌10包括可以印在其表面上或者附接至其表面的识别目标11。识别目标11具有类似字母“i”的图形和围绕图形的黑白边框。图像处理装置100可以通过例如将从输入图像提取的多个特征点与提前存储的识别目标11的一组特征点进行匹配来对识别目标11被如何布置在输入图像中进行识别。
指示牌10在其表面上包括目的地列表15。通过阅读目的地列表15，用户可以知道存在于指示牌10被放置的地方的附近的主要场所。然而，目的地列表15并不指示每个场所存在的方向。即使指示牌10具有地图并且在地图上示出了每个场所的位置，也难以在二维地图(二维地图多数情况下被垂直张贴)上直观地表示朝向目的地的方向。因此，用户被迫在他的/她的头脑中执行地图上的方向与真实空间中的方向之间的映射。为了解决这样的不便，一些导航服务经由包括在终端中的定位模块例如GPS模块来获取终端的当前位置并且经由传感器来获取终端的姿态，从而引导用户至目的地。然而，并非所有终端均包括定位模块。再者，即使在终端包括定位模块的情况下，也难以在终端不能接收用于进行定位的无线电信号的环境下(例如建筑物的内部、地下空间或隧道内部)经由定位模块来获取当前位置。同时，在该实施例中，基于关于识别目标11执行的上述图像识别来确定终端的布置，并且提供用于根据其确定结果将用户引导至目的地的导航。因此，不需要依赖于定位模块。
图3是示出实施例中的导航原理的说明图。图3示出包括识别目标的真实对象10、所选目的地50以及用于捕获真实对象10的图像的图像处理装置100。因为真实对象10和目的地50在地理上是固定的，所以已知目的地50关于真实对象10的相对位置RAsd。注意，目的地50的姿态和尺寸不影响导航，因此在此处使用术语“位置”而不是“布置”。基于对真实对象所包括的识别目标的图像识别来确定图像处理装置100关于真实对象10的相对布置RAsu。然后，使用图像处理装置100关于真实对象10的相对布置RAsu和目的地50关于真实对象10的相对位置RAsd，获得目的地50关于图像处理装置100的未知的相对位置RAud。图像处理装置100可以在其屏幕上显示例如与相对位置RAud相对应的导航显示对象。
注意，真实对象不限于图2和图3的示例并且存在于真实空间中的任意真实对象可以包括识别目标。例如，识别目标可以被印在商业建筑的楼层图、广告牌或活动海报等上或者被附接至商业建筑的楼层图、广告牌或活动海报等，或者识别目标可以由数字标牌电子地显示。在下一部分中，将对用于实现上面提及的机制的图像处理装置100的特定配置的示例进行描述。
<2.图像处理装置的配置示例>
[2-1.硬件配置]
图4为示出根据实施例的图像处理装置100的硬件配置的示例的框图。当参照图4时，图像处理装置100包括相机102、定位模块104、输入接口106、存储器108、显示器110、通信接口112、传感器模块114、总线116和处理器118。
(1)相机
相机102为用于捕获图像的摄像模块。相机102使用摄像元件例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)来捕获真实对象的图像并且生成捕获图像。由相机102生成的一系列捕获图像形成视频。
(2)定位模块
定位模块104可以是全球定位系统(GPS)模块或PlaceEngine(注册商标)等。定位模块104在其可以接收用于进行定位的无线电信号的环境下接收无线电信号，从而获取图像处理装置100的地理位置。然后，定位模块104生成指示所获取的地理位置的定位数据。在本说明书中，地理位置指全局坐标系中的绝对位置。注意，可以将定位模块104从图像处理装置100的配置中省去。
(3)输入接口
输入接口106为用于使用户能够操作图像处理装置100或者向图像处理装置100输入信息的输入装置。输入接口106可以包括例如用于检测用户在显示器110的屏幕上的触摸的触摸传感器。输入接口106还可以包括例如键盘、小型键盘、按钮或开关的输入装置。输入接口106还可以包括用于语音输入的麦克风和语音识别模块。
(4)存储器
存储器108为例如半导体存储器或硬盘的存储介质。存储器108存储有程序和用于使用图像处理装置100进行处理的数据。由存储器108存储的数据可以包括例如捕获的图像数据、定位数据、传感器数据以及下面述及的各种数据库(DB)中的数据。注意，在本说明书中描述的程序和数据可以部分地从外部数据源(例如数据服务器、网络存储或外部存储器)获取，而非存储于存储器108中。
(5)显示器
显示器110是包括用于显示图像的屏幕的显示模块。显示器110可以例如为液晶显示器(LCD)、有机发光二极管(OLED)或阴极射线管(CRT)。显示器110显示例如导航显示对象被叠加在其上的输出图像，其中，输出图像由图像处理装置100生成。
(6)通信接口
通信接口112是用于协调图像处理装置100与另一装置之间的通信的通信接口。通信接口112支持任意的无线通信协议或有线通信协议并且建立与另一装置的通信连接。
(7)传感器模块
传感器模块114可以包括传感器组，该传感器组包括陀螺仪传感器、地磁传感器和加速度传感器等。传感器模块114测量例如图像处理装置100的姿态。传感器模块114还测量图像处理装置100的移动。然后，传感器模块114生成指示所测量的姿态和移动的传感器数据。由传感器模块114生成的传感器数据可以用于跟踪图像处理装置100的布置的变化。注意，可以将传感器模块114从图像处理装置100的配置中省去。
(8)总线
总线116将相机102、定位模块104、输入接口106、存储器108、显示器110、通信接口112、传感器模块114和处理器118互相连接。
(9)处理器
处理器118对应于例如中央处理单元(CPU)或数字信号处理器(DSP)的处理器。处理器118执行存储器108或另一存储介质中存储的程序，从而操作图像处理装置100的下述各种功能。
[2-2.功能配置]
图5为示出由图4所示的图像处理装置100的存储器108和处理器118实现的逻辑功能的配置的示例的框图。在参照图5时，图像处理装置100包括图像获取单元140、识别数据库(DB)150、识别单元160、对象布置DB 170和控制单元180。
(1)图像获取单元
图像获取单元140获取由相机102捕获的图像，作为输入图像。输入图像通常是形成移动图像的一系列帧中的每一帧。在该实施例中，输入图像是其上投影有包括视觉识别目标的真实对象的图像。然后，图像获取单元140将所获取的输入图像输出至识别单元160和控制单元180。
(2)识别DB
识别DB 150是用于存储由下述的识别单元160使用的识别词典数据的数据库。识别词典数据包括对一个或更多个识别目标中的每一个的特征进行限定的特征数据。在某些示例中，识别词典数据可以包括对真实对象另外包括的附加编码的布置进行限定的附加编码布置数据。
图6A为示出可以由识别DB 150存储的识别词典数据的配置的第一示例的说明图。在参照图6A时，识别词典数据151a包括编码ID 152和特征数据153。编码ID 152是用于唯一地标识识别目标的标识符。特征数据153定义每个识别目标的已知特征。特征数据153可以对提前从识别目标的已知图像提取的一组特征值进行限定。作为示例，一组特征值可以包括多个特征点在真实对象的局部坐标系中的位置坐标以及每个特征点的亮度。特征数据153还可以对已知图案的形状和尺寸进行限定。
图6B为示出可以由识别DB 150存储的识别词典数据的配置的第二示例的说明图。在参照图6B时，识别词典数据151b包括编码ID 152、特征数据153和附加编码布置数据154。附加编码布置数据154包括编码类型155、位置偏移156、旋转157和尺寸158。编码类型155限定附加编码的类型(例如条形码或CyberCode(注册商标))。位置偏移156限定附加编码的参考位置距离识别目标的参考位置(例如局部坐标系中的原点)的偏移。旋转157限定附加编码绕参考位置的旋转量(例如真实对象在表面上的旋转量)。尺寸158限定附加编码的尺寸。
图7为示出图6B中所例示的附加编码布置数据154的说明图。在图7中，星形标记指示识别目标11的多个特征点(例如特征点FP1)在局部坐标系CLocal中的位置。位置坐标OF1是由位置偏移156限定的矢量值并且等于围绕附加编码的边界框的左上顶点在局部坐标系CLocal中的坐标。在图7的示例中附加编码未被旋转，因此旋转157可以限定0旋转量。尺寸158可以定义围绕附加编码的边界框的宽度W和高度H。
(3)识别单元
识别单元160通过执行针对识别目标的图像识别来对已经捕获了输入图像的终端关于包括识别目标的真实对象的相对布置进行识别。在该实施例中，已经捕获了输入图像的终端为图像处理装置100。识别单元160可以例如通过将从输入图像提取的图像特征值与由识别DB 150存储的一组已知特征值进行匹配来对投影在输入图像上的识别目标进行识别。识别单元160还可以通过将包括在输入图像中的图案与由识别DB 150存储的已知图案进行匹配来对投影在输入图像上的识别目标进行识别。此外，识别单元160基于多个检测到的特征点之间的位置关系或基于所检测的图案的形状与尺寸来对识别目标被如何布置于输入图像中进行识别。
作为图像识别的结果，识别单元160生成表示识别目标关于摄像面的相对布置的参数。作为示例，由识别单元160生成的参数可以是与摄像面和摄像面的深度相对应的三维屏幕坐标系中的齐次变换矩阵。齐次变换矩阵实际表示图像处理装置100关于实际对象的相对布置。识别单元160向控制单元180输出被识别的识别目标的标识符(编码ID)和对应参数(例如齐次变换矩阵)。
此外，在将信息编码在被检测的识别目标中或编码在被添加至真实对象的表面的与识别目标相关联的附加编码中的情况下，识别单元160可以从识别目标或附加编码来解码所编码的信息。由识别单元160解码的信息可以包括识别目标(或真实对象)的可以用于向数据服务器查询的标识信息。此外，由识别单元160解码的信息可以包括如下所述的指示真实对象的地理布置和目的地的位置中的至少一个的对象布置数据。在信息被编码在附加编码中的情况下，识别单元160根据图6B中所例示的附加编码布置数据154来指定附加编码所存在的区域。然后，识别单元160关于所指定的区域的局部图像来执行与附加编码的编码类型相对应的识别处理(例如读取条形码)。作为结果，可以对由附加编码所编码的信息进行解码。注意，可以使用真实对象的标识信息来从外部数据服务器获取对象布置数据，而非从识别目标或附加编码进行解码。
(4)对象布置DB
对象布置DB 170是用于存储对象布置数据的数据库。对象布置数据可以用于由下述的控制单元180来确定朝向目的地的方向。
图8A为示出对象布置数据的配置的第一示例的说明图。在参照图8A时，对象布置数据171a包括对象ID 172a、类型173、名称174、地理位置175和姿态176。对象ID 172a是用于对目的地和包括识别目标的真实对象的每个候选进行标识的标识符。类型173标识每个对象为哪种类型的对象(例如指示牌或目的地的候选)。名称174限定每个对象的显示名称。地理位置175限定每个对象在全局坐标系中的位置(例如纬度、经度和海拔)。姿态176限定每个对象在全局坐标系中的姿态。注意，关于目的地的候选，可以省略姿态176的值。
图8B为示出对象布置数据的配置的第二示例的说明图。在参照图8B时，对象布置数据171b包括编码ID 172b、名称174、目的地ID 177、目的地名称178和相对布置179。编码ID 172b是用于对包括识别目标的每个真实对象(或每个识别目标)进行标识的标识符。目的地ID 177是用于对目的地的每个候选进行标识的标识符。在图8B的示例中，将目的地的一个或更多个候选与单个识别目标相关联。目的地名称178限定目的地的每个候选的显示名称。相对布置179限定目的地的每个候选关于相关联的真实对象的相对布置。相对布置179可以使用坐标值进行严格限定或者可以使用简单的分度值例如东、南、西、北、上和下进行粗略地限定。
上面提及的对象布置数据可以由对象布置DB 170提前存储。此外，可以从外部数据服务器动态获取全部对象布置数据中的一部分。此外，如上所述，可以由识别单元160从识别目标或者与识别目标相关联的附加编码来解码对象布置数据的全部或者一部分。
(5)控制单元
控制单元180基于图像处理装置100关于真实对象的相对布置来将指示朝向用户的目的地的方向的显示对象显示在显示器110的屏幕上，其中，相对布置由识别单元160进行识别。
控制单元180可以基于终端的相对布置以及真实对象的地理布置和目的地的地理位置来确定例如朝向目的地的方向，其中，终端的相对布置由识别单元160进行识别，真实对象的地理布置和目的地的地理位置由对象布置数据进行指示。更具体地，例如，控制单元180基于真实对象的地理布置(例如纬度、经度、海拔和方向)以及终端关于真实对象的相对布置来确定终端的地理布置。此外，在可以获得目的地的地理位置的情况下，控制单元180可以在终端的屏幕坐标系中确定与朝向目的地的方向相对应的矢量。
取而代之，控制单元180可以基于由识别单元160识别的终端的相对布置和目的地关于真实对象的相对位置来确定朝向目的地的方向，其中，相对位置由对象布置数据进行指示。更具体地，例如，控制单元180可以通过将目的地关于真实对象的相对位置添加至真实对象关于终端的相对布置来在终端的屏幕坐标系中确定与朝向目的地的方向相对应的矢量。
通过基于上述的图像识别来动态确定朝向目的地的方向，可以使用显示对象在屏幕上向用户直观地呈现朝向目的地的方向。
图9为示出输出图像的取决于终端姿态的改变的改变的示例的说明图。图9的左上部示出在某一点处指示牌10与图像处理装置100之间的位置关系，并且图像处理装置100的摄像面面向指示牌10。识别单元160执行对指示牌10的表面上的识别目标的图像识别并且生成表示图像处理装置100关于指示牌10的相对布置的参数RASU。图9的左下部示出作为示例的输出图像Im01。指示朝向目的地的方向的导航显示对象N01被叠加在输出图像Im01上。控制单元180根据参数RASU来确定显示对象N01的方向RAud。显示对象H01表示水平面以帮助用户理解显示对象N01的三维方向。图9的右上部示出在之后某点处指示牌10与图像处理装置100之间的位置关系，并且将图像处理装置100倾斜使得摄像面变得更水平。参数RASU′表示在该点处图像处理装置100关于指示牌10的相对布置。图9的右下部示出作为示例的输出图像Im02。具有根据参数RASU′确定的方向RAud′的显示对象N02被叠加在输出图像Im02上。显示对象H02表示水平面。
图10为示出图9中例示的输出图像如何向用户呈现的说明图。在图10的左部，叠加在输出图像Im01上的显示对象N01指示从用户看来的左前方。在图10的右部，叠加在输出图像Im02上的显示对象N02仍指示从用户看来的左前方，而不管终端姿态的变化。因此，即使在终端被移动的情况下，用户也可以直观地知道目的地在真实空间中存在的方向。
在已经被识别的识别目标一旦偏离视角之后，控制单元180可以通过使用来自传感器模块114的传感器数据对终端的相对布置进行跟踪来将导航显示对象连续显示在屏幕上。例如，控制单元180可以通过合计由加速度传感器测量的终端的加速度来跟踪终端的位置的改变。此外，控制单元180可以通过合计由陀螺仪传感器测量的终端的旋转来跟踪终端的姿态的改变。再者，控制单元180可以使用来自地磁传感器的传感器数据来跟踪终端的姿态。更进一步，在定位模块104可用的情况下，控制单元180可以使用来自定位模块的定位数据来校正所跟踪的终端的布置。
图11为示出对终端的布置的跟踪的示例的说明图，其中，根据终端的移动来执行跟踪。图11示出携带图像处理装置100的用户Ua在时间t＝T11、T12、T13和T14进行移动的状态。在时间T11，指示牌10存在于图像处理装置100的视角G11中，因此控制单元180可以基于由识别单元160执行的图像识别的结果来确定图像处理装置100的布置。在时间T12，指示牌10在用户Ua移动时存在于图像处理装置100的视角G12中，因此控制单元180仍可以基于图像识别的结果来确定图像处理装置100的布置。用户Ua继续移动，以及作为结果，在时间T13，识别目标不存在于图像处理装置100的视角G13中。在该情况下，控制单元180通过使用传感器数据对图像处理装置100的布置进行跟踪来继续在屏幕上显示导航显示对象，从而向用户提供导航服务。然而，使用传感器数据进行跟踪的精确度会随着使用传感器数据进行跟踪的持续时间变长而减小。用户Ua从建筑物的内部移至建筑物的外部，并且作为结果，在时间T14，定位模块104变得可用。然后，控制单元180通过经由定位模块104获取图像处理装置100的地理位置来校正所跟踪的图像处理装置100的布置。也可以使用传感器数据来校正图像处理装置100的姿态。这样的跟踪和校正使得可以为用户提供连续的导航服务并且加强可用性。
控制单元180可以通过在屏幕上显示与被识别的真实对象相关联的目的地候选的列表或地图来使得用户能够选择要导航的目的地。取而代之，控制单元180可以使得用户能够提前选择要导航的目的地。此外，在用户未选择单个目的地的情况下，控制单元180可以在屏幕上显示多个显示对象，所述多个显示对象指示朝向与被识别的真实对象相关联的多个目的地候选的相应的方向。
图12A至图12C示出用于使用户能够选择目的地的窗口的相应的示例。在图12A所示的第一示例中，目的地选择窗口W1包括复选框CB11和按钮B12。复选框CB11示出与由识别单元160识别的真实对象相关联的目的地候选(例如存在于指示牌被放置的地方的附近的目的地候选)的列表。用户在复选框CB11中的候选中的任意一个上打勾并且轻击按钮B12。因此，选择了要导航的目的地。
在图12B所示的第二示例中，目的地选择窗口W2包括复选框CB13、按钮B14和按钮B15。复选框CB13示出全部目的地候选中的一些目的地候选的列表。用户可以通过在复选框CB13中的候选中的任意一个上打勾并且然后轻击按钮B14来选择期望的目的地。取而代之，用户可以通过轻击按钮B15来进到下一页，以使得目的地选择窗口W2能够显示列表中的一些其它的目的地候选。注意，在目的地选择窗口W2中，可以针对例如每一最近的车站来对目的地候选进行分组，并且可以通过选择最近的车站来过滤要列出的目的地候选。
在图12C所示的第三示例中，目的地选择窗口W3包括在由识别单元160识别的真实对象的地理位置附近的地图以及标绘在地图上的多个图标。图标IC 16指示当前位置(例如被识别的真实对象的地理位置)。图标IC 17指示目的地候选的位置中的一个位置。用户可以通过轻击与期望的目的地相对应的图标来选择要导航的目的地。
用于导航的输出图像可以包括用于提高可用性的各种显示对象。图13A至图13D示出可以在实施例中显示的显示对象的一些示例。
在图13A的第一示例中，显示对象N11和H11以及辅助显示对象J11、J12、J13、J14和J15被叠加在输出图像Im11上。显示对象N11从当前位置指示朝向目的地的方向。显示对象H11为表示水平面的对象。辅助显示对象J11是表示图像识别的准星的对象。辅助显示对象J12是表示当前位置的图标。辅助显示对象J13是表示目的地的图标。辅助显示对象J14是用于使得用户能够改变用于显示当前位置、目的地及其它地方的比例的滑动条。辅助显示对象J15是表示除了目的地以外的场所(例如指示牌或未被选择的目的地候选)的图标。
在图13B的第二示例中，显示对象N12和辅助显示对象J12、J13和J16被叠加在输出图像Im12上。显示对象N12从当前位置指示朝向目的地的方向。然而，显示对象N12沿朝向目的地的非直线路线(例如用户可以沿其来前行的街道)指示方向，而图13A中所例示的显示对象N11指示朝向目的地的直线方向。辅助显示对象J16指示识别目标11在输入图像中的检测位置。通过视觉地识别辅助显示对象J16，用户可以知道识别目标已经被成功识别并且可以知道应该捕获图像的哪一部分以实现高精确度的导航。
图13C的第三示例示出在继续使用传感器数据进行跟踪时可以显示的输出图像Im13。显示对象N13、辅助显示对象J13、J17和J18以及消息M11被叠加在输出图像Im13上。显示对象N13指示从当前位置朝向目的地的方向。然而，显示对象N13的轮廓细。这向用户指示：可能跟踪的精确度降低。辅助显示对象J17和J18为以下图标：所述图标中的每一个均表示存在于所估计的当前位置的附近的指示牌(指示牌为包括识别目标的真实对象)的位置。消息M11建议用户将相机举着对着附近的指示牌。
图13D的第四示例示出输出图像Im14，输出图像Im14显示多个目的地被导航的情况。显示对象N11a、N11b和N11c以及辅助显示对象J13a、J13b和J13c被叠加在输出图像Im14上。显示对象N11a指示从当前位置朝向第一目的地的方向。辅助显示对象J13a是表示第一目的地的图标。显示对象N11b指示从当前位置朝向第二目的地的方向。辅助显示对象J13b是表示第二目的地的图标。显示对象N11c指示从当前位置朝向第三目的地的方向。辅助显示对象J13c是表示第三目的地的图标。
可以将图13A至图13D中例示的各种显示对象以任意组合的方式显示在屏幕上。
[2-3.处理流程]
(1)总体流程
图14为示出由根据该实施例的图像处理装置100执行的图像处理的流程的示例的流程图。针对由相机102捕获的一系列输入图像中的每一个重复图14所示的处理。
在参照图14时，首先，图像获取单元140从相机102获取输入图像，在输入图像上投影有包括视觉识别目标的真实对象(步骤S100)。然后，图像获取单元140将所获取的输入图像输出至识别单元160和控制单元180。
然后，识别单元160使用由识别DB 150存储的识别词典数据对识别目标执行图像识别(步骤S102)。然后，识别单元160确定在输入图像中是否已经检测到识别目标(步骤S104)。在已经检测到识别目标的情况下，处理进行至步骤S110。相反，在未检测到识别目标的情况下，处理进行至步骤S130。
在已经检测到识别目标的情况下，识别单元160通过执行终端布置确定处理来识别该点处的终端的位置和姿态(步骤S110)。将在下面进一步描述此处执行的终端布置确定处理的详细流程的一些示例。
在未检测到识别目标的情况下，控制单元180确定定位模块104是否可用(步骤S130)。在定位模块104可用的情况下，控制单元180经由定位模块104获取图像处理装置100的地理位置(步骤S132)。此外，控制单元180从传感器模块114获取指示图像处理装置100的姿态的传感器数据(步骤S134)。
在定位模块104不可用的情况下，控制单元180确定对图像处理装置100的布置的跟踪是否被继续(步骤S136)。可以响应于例如以下的各种事件来终止对于布置的跟踪：来自用户的清除指令；从先前检测到识别目标的点开始过去了预定时间段；检测到超过阈值的移动；或者到达目的地。在确定对于布置的跟踪没有被继续的情况下，处理返回至步骤S100，并且关于下一输入图像重复执行上面提及的处理。在确定对于布置的跟踪被继续的情况下，控制单元180通过对从先前检测到识别目标的点开始的图像处理装置100的布置的改变进行合计、使用来自传感器模块114的传感器数据来跟踪图像处理装置100的布置(步骤S138)。
在在步骤S110、步骤S134或步骤S138中确定图像处理装置100在该点的布置的情况下，控制单元180通过执行目的地方向确定处理来在图像处理装置100的屏幕坐标系中确定朝向目的地的方向(步骤S140)。将在下面进一步描述此处执行的目的地方向确定处理的详细流程的一些示例。
接下来，控制单元180生成指示所确定的方向的导航显示对象(步骤S162)。控制单元180可进一步生成可以表示水平面、当前位置、目的地和识别准星等的一个或更多个辅助显示对象。然后，控制单元180通过将所生成的显示对象的图像叠加在输入图像上来生成输出图像并且将所生成的输出图像显示在显示器110的屏幕上(步骤S164)。此后，处理返回至步骤S100，并且关于下一输入图像重复执行上面提及的处理。
(2-1)终端布置确定处理-第一示例
图15A为示出图14所示的终端布置确定处理的详细流程的第一示例的流程图。在第一示例中，从外部数据服务器获取对象布置数据。
在参照图15A时，首先，识别单元160基于从输入图像或从包括在输入图像中的图案提取的图像特征值与包括在识别词典数据中的特征数据的匹配结果来计算图像处理装置100关于被识别的实际对象的相对布置(步骤S112)。
接下来，识别单元160使用被识别的真实对象的标识信息来向外部数据服务器传送数据请求并且因此从数据服务器获取指示真实对象的地理布置的对象布置数据(步骤S116)。然后，识别单元160将所获取的对象布置数据存储于对象布置DB 170中。
接下来，识别单元160基于由所获取的对象布置数据指示的真实对象的地理布置和图像处理装置100关于真实对象的相对布置来确定图像处理装置100的地理布置(步骤S122)。
注意，在不需要图像处理装置100的地理布置——即终端在全局坐标系中的绝对位置和绝对姿态——以用于导航的情况下，可以省略步骤S122的处理。
(2-2)终端布置确定处理-第二示例
图15B为示出图14所示的终端布置确定处理的详细流程的第二示例的流程图。在第二示例中，从所检测到的识别目标来解码对象布置数据。
在参照图15B时，首先，识别单元160基于从输入图像或从包括在输入图像中的图案提取的图像特征值与包括在识别词典数据中的特征数据的匹配结果来计算图像处理装置100关于被识别的真实对象的相对布置(步骤S112)。
接下来，识别单元160对编码在识别目标中的对象布置数据进行解码并且因此获取对包括识别目标的真实对象的地理布置进行指示的对象布置数据(步骤S118)。然后，识别单元160将所获取的对象布置数据存储于对象布置DB 170中。
接下来，识别单元160基于由所获取的对象布置数据指示的真实对象的地理布置和图像处理装置100关于真实对象的相对布置来确定图像处理装置100的地理布置(步骤S122)。
(2-3)终端布置确定处理-第三示例
图15C为示出图14所示的终端布置确定处理的详细流程的第三示例的流程图。在第三示例中，从添加至真实对象的表面的与被检测的识别目标相关联的附加编码来解码出对象布置数据。
在参照图15C时，首先，识别单元160基于从输入图像或从包括在输入图像中的图案提取的图像特征值与包括在识别词典数据中的特征数据的匹配结果来计算图像处理装置100关于被识别的真实对象的相对布置(步骤S112)。
然后，识别单元160使用包括在识别词典数据中的附加编码布置数据来确定附加编码在输入图像中的布置(步骤S114)。
接下来，识别单元160对编码在附加编码中的对象布置数据进行解码并且因此获取指示真实对象的地理布置的对象布置数据(步骤S120)。识别单元160可以例如使输入图像变形以使得附加编码被添加至的表面面向输入图像，并且然后将用于读取附加编码的识别处理应用于包括附加编码的局部图像。然后，识别单元160将所获取的对象布置数据存储于对象布置DB 170中。
接下来，识别单元160基于由所获取的对象布置数据指示的真实对象的地理布置和图像处理装置100关于真实对象的相对布置来确定图像处理装置100的地理布置(步骤S122)。
(3-1)目的地方向确定处理-第一示例
图16A为示出图14所示的目的地方向确定处理的详细流程的第一示例的流程图。在第一示例中，基于目的地的地理位置和终端的地理布置来确定朝向目的地的方向。
在参照图16A时，首先，控制单元180确定要导航的一个或更多个目的地(步骤S142)。例如，控制单元180可以确定由用户经由用户接口——用户接口例如图12A至图12C中任一个所例示的接口——选择作为要导航的目标的目的地。取而代之，控制单元180可以将存在于其附近的一个或更多个场所、根据导航路线选择的场所或者选择用于广告的场所自动确定为要导航的目标。
接下来，控制单元180从存储于对象布置DB 170中的对象布置数据来获取所确定的目的地的地理位置(步骤S144)。
接下来，控制单元180基于所获取的目的地的地理位置和图像处理装置100的地理布置来在图像处理装置100的屏幕坐标系中计算朝向目的地的方向(步骤S148)。
(3-2)目的地方向确定处理-第二示例
图16B为示出图14所示的目的地方向确定处理的详细流程的第二示例的流程图。在第二示例中，基于目的地关于真实对象的相对位置和终端关于真实对象的相对布置来确定朝向目的地的方向。
在参照图16B时，首先，控制单元180以与第一示例相同的方式将一个或更多个目的地确定为要导航的目标(步骤S142)。
接下来，控制单元180从存储于对象布置DB 170中的对象布置数据来获取所确定的目的地关于真实对象的相对位置(步骤S146)。
接下来，控制单元180基于所获取的目的地的相对位置和图像处理装置100的相对布置来在图像处理装置100的屏幕坐标系中计算朝向目的地的方向(步骤S150)。
<3.应用示例>
[3-1.盖章竞走]
根据本公开的技术适用于各种用途。在此将对本技术的针对盖章竞走的用途作为示例进行描述。盖章竞走是以下的活动：在所述活动中，用户通常依次访问共享某主题的多个场所并且将每个场所中提供的图章盖在图章卡上以便享受收集图章的乐趣或者基于收集结果来获益。代替将图章盖在图章卡上，存在以下的方法：用户捕获在每个场所中提供的标记的图像以证明用户已经访问了每个场所。
在这样的盖章竞走中，根据本公开的技术可以用于将用户引导至要访问的下一场所。图17为示出可以在盖章竞走的应用示例中显示的显示对象的一些示例的说明图。显示对象N21和辅助显示对象J21被叠加在图17的左部所示的输出图像Im21上。显示对象N21指示从当前位置朝向盖章竞走中的下一场所的方向。辅助显示对象J21是表示充当目的地的下一场所的图标。
在图17的右部所示的输出图像Im22上投影有真实对象40。真实对象40是张贴在盖章竞走的场所中的海报。即，用户到达该点处的单一场所并且然后前往下一场所。识别目标41被印在海报40的印刷面上。图像处理装置100的识别单元160通过对识别目标41执行图像识别来识别图像处理装置100关于海报40的相对布置。然后，控制单元180使用图像处理装置100的相对布置以及关于海报40所获取的对象布置数据来确定朝向下一场所的方向。显示对象N22和辅助显示对象J21被叠加在输出图像Im22上。使辅助显示对象J21显得突出以通知用户他/她已经到达海报40被张贴的场所。显示对象N22指示朝向基于图像识别所确定的下一场所的方向。
在本技术的针对盖章竞走的用途中，可以准备为多个场所所共有的识别目标以及用于标识各个场所的附加编码。取而代之，可以在多个场所中准备不同的识别目标。
[3-2.使用HMD]
如上所述，可以使用HMD终端来实现根据本公开的技术。图18为示出图像处理装置的修改示例的说明图。在图18的示例中，图像处理装置200为安装在用户的头上的眼镜型HMD终端。图像处理装置200包括壳201、相机202、接触面206以及一对屏幕210a和210b。壳201具有支承屏幕210a和210b的框架以及定位于用户的颞区的所谓镜腿。镜腿包括用于图像处理的一些模块，例如存储器和处理器。这些模块具有与图5所示的图像处理装置100的各种逻辑功能相当的功能。相机202被布置为使得其镜头的光轴与用户的注视基本平行并且相机202被用于捕获图像。接触面206是用于检测用户的触摸的表面并且被用于使得图像处理装置200能够接受来自用户的输入。屏幕210a和210b是布置在用户的左眼和右眼前的透视或非透视屏幕。
图19为示出可以在图18的修改示例中显示的显示对象的一些示例的说明图。在参照图19时，显示对象N31、显示对象H31和辅助显示对象J31被显示在图像处理装置200的屏幕上。显示对象N31是指示从当前位置朝向目的地的方向的导航对象。显示对象H31是表示水平面的对象。辅助显示对象J31是指示识别目标在输入图像中的检测位置的对象。辅助显示对象J31可以是静态图标或动画。在图19的示例中，检测到真实对象10的识别目标11。
在使用HMD时，通过在屏幕的端部显示导航显示对象，如图19的示例所示，可以安全地提供导航服务而不会遮挡用户的可见度。用于例如选择目的地的用户接口可以显示在屏幕210a和210b上，或者可以显示在与图像处理装置200链接的另一装置(例如用户持有的智能手机)的屏幕上。
[3-3.多个装置之间的链接]
根据本公开的技术可以通过将多个装置互相链接来实现。例如,识别单元160和控制单元180的上述功能可以通过与图像处理装置100或图像处理装置200物理地不同的装置部分地进行执行。
图20为示出多个装置之间的链接的说明图。图20示出图像处理装置100和与图像处理装置100通信的服务器装置300。服务器装置300可以被布置于在用户附近构建的个人网络中或被布置于家庭网络中，或者可以被布置于远程网络例如因特网中。图像处理装置100向服务器装置300传送例如输入图像(SIG1)。服务器装置300是具有图5所示的识别单元160和控制单元180的功能的装置。服务器装置300对从图像处理装置100接收的输入图像执行图像识别并且识别包括识别目标的真实对象。然后，服务器装置300向图像处理装置100传送基于图像识别的结果的信息(SIG2)。从服务器装置300传送至图像处理装置100的信息可以是指示图像处理装置100关于真实对象的相对布置的参数、指示朝向用户的目的地的方向的参数或者指示朝向目的地的方向的显示对象的图形数据。图像处理装置100使用从服务器装置300接收的信息将其上叠加有指示朝向目的地的方向的显示对象的输出图像显示在屏幕上。根据这样的配置，即使在图像处理装置100仅包括少量处理资源的情况下，也可以向用户提供导航服务。
<4.结论>
已经参照图1至图20详细描述了根据本公开的技术的实施例。根据上面提及的实施例，通过执行对真实对象所包括的视觉识别目标的图像识别来识别已经捕获图像的终端关于真实对象的相对布置，并且基于所识别的相对布置将指示朝向目的地的方向的显示对象显示在终端的屏幕上。因此，可以在不依赖定位模块的情况下向用户提供朝向目的地的导航。
作为示例，用户可以经由显示了与所捕获的真实对象相关联的目的地候选的列表或地图的屏幕来选择目的地。根据这样的配置，存在于包括识别目标的真实对象的附近的主要场所可以由用户容易地选为目的地。此外，作为应用示例，在用户捕获海报——在海报上印有广告产品的图像——的图像的情况下，附近出售广告产品的商店可以由用户进行选择以引导用户至该商店。取而代之，目的地可以由用户提前选择。此外，可以自动选择一个或更多个目的地。
作为示例，可以基于终端的相对布置、真实对象的地理布置以及目的地的地理位置来确定朝向目的地的方向。因为通常不改变真实对象的地理布置和目的地的地理位置，所以根据这样的配置可以使用终端的被动态识别的布置和提前限定的数据来适当地确定朝向目的地的方向。作为另一示例，可以基于终端的相对布置以及目的地关于真实对象的相对位置来确定朝向目的地的方向。同样在该情况下，可以使用终端的被动态识别的布置和提前限定的数据来适当地确定朝向目的地的方向。
在从数据服务器动态地获取限定真实对象的布置或目的地的位置的数据的情况下，不需要提前向每个终端分发数据，并且因此容易引入上面提及的机制。同时，在将限定真实对象的布置或目的地的位置的数据视觉地编码在真实对象的表面上的情况下，同样不必提前向每个终端分发数据，并且每个终端还不需要与数据服务器进行通信。因此，即使在定位模块和无线通信模块均不可用的状态下，也可以向用户提供导航服务。
此外，根据上面提及的实施例，使用来自终端所包括的传感器的传感器数据来跟踪终端的布置，并且将指示朝向目的地的方向的显示对象连续显示在屏幕上。这使得可以在用户移动时向用户连续提供导航服务。
注意，可以通过软件、硬件以及软件和硬件的组合中的任意一个来实现一系列使用本说明书中所描述的每个装置的控制处理。将对软件进行配置的程序提前存储于例如设置在装置内部或外部的存储介质(非暂态介质)中。例如，每个程序在执行程序时被读入随机访问存储器(RAM)中并且由处理器例如CPU进行执行。
参照本说明书中的流程图描述的处理未必需要按照流程图所示的顺序执行。一些处理步骤可以并行执行。可以采用额外的处理步骤并且可以省略一些处理步骤。
虽然已经参照附图详细描述了本公开的优选实施例，但是本公开并不限于此。本领域技术人员应当理解的是，取决于设计要求和其它因素，各种修改、组合、子组合和变更可以存在，只要它们在所附权利要求或其等价物的范围内即可。
另外，还可以如下对本技术进行配置。
(1)一种图像处理装置，包括：
图像获取单元，所述图像获取单元被配置成获取图像，在所述图像上投影有包括视觉识别目标的真实对象；
识别单元，所述识别单元被配置成通过对所述识别目标执行图像识别来识别已经捕获所述图像的终端关于所述真实对象的相对布置；以及控制单元，所述控制单元被配置成基于所述终端的由所述识别单元识别的所述相对布置来将指示朝向用户的目的地的方向的显示对象显示在所述终端的屏幕上。
(2)根据(1)所述的图像处理装置，
其中，所述控制单元在所述屏幕上显示与所述真实对象相关联的目的地候选的列表或地图以使得所述用户选择所述目的地。
(3)根据(1)所述的图像处理装置，
其中，所述目的地由所述用户提前选择。
(4)根据(1)至(3)中任一项所述的图像处理装置，
其中，在所述用户未选择单个目的地的情况下，所述控制单元在所述屏幕上显示多个显示对象，所述多个显示对象指示朝向与所述真实对象相关联的多个目的地候选的相应方向。
(5)根据(1)至(4)中任一项所述的图像处理装置，
其中，所述控制单元在所述屏幕上显示辅助显示对象，所述辅助显示对象指示所述识别目标在所述图像中的检测位置。
(6)根据(1)至(5)中任一项所述的图像处理装置，
其中，所述显示对象沿朝向所述目的地的直线方向或非直线路线指示所述方向。
(7)根据(1)至(6)中任一项所述的图像处理装置，
其中，所述控制单元基于所述终端的所述相对布置、所述真实对象的地理布置和所述目的地的地理位置来确定要由所述显示对象指示的所述方向。
(8)根据(1)至(6)中任一项所述的图像处理装置，
其中，所述控制单元基于所述终端的所述相对布置以及所述目的地关于所述真实对象的相对位置来确定要由所述显示对象指示的所述方向。
(9)根据(1)至(8)中任一项所述的图像处理装置，
其中，所述控制单元通过使用来自所述终端所包括的传感器的传感器数据对所述终端的布置进行跟踪来将所述显示对象连续地显示在所述屏幕上。
(10)根据(9)所述的图像处理装置，
其中，在被配置成测量所述终端的地理位置的定位模块能够使用的情况下，所述控制单元使用来自所述定位模块的定位数据来校正所跟踪的终端的所述布置。
(11)根据(7)所述的图像处理装置，
其中，所述真实对象的所述地理布置由从数据服务器获取的布置数据指示。
(12)根据(7)所述的图像处理装置，
其中，从所述识别目标或从在所述真实对象的表面上的与所述识别目标相关联的附加编码来解码所述真实对象的所述地理布置。
(13)根据(8)所述的图像处理装置，
其中，所述目的地的所述相对位置由从数据服务器获取的布置数据指示。
(14)根据(8)所述的图像处理装置，
其中，从所述识别目标或从在所述真实对象的表面上的与所述识别目标相关联的附加编码来解码所述目的地的所述相对位置。
(15)根据(1)至(14)中任一项所述的图像处理装置，
其中，所述图像处理装置为所述终端。
(16)根据(1)至(14)中任一项所述的图像处理装置，
其中，所述图像处理装置是与所述终端通信的服务器装置。
(17)一种由图像处理装置执行的图像处理方法，所述图像处理方法包括：
获取图像，在所述图像上投影有包括视觉识别目标的真实对象；
通过对所述识别目标执行图像识别来识别已经捕获所述图像的终端关于所述真实对象的相对布置；以及
基于所识别的所述终端的相对布置将指示朝向用户的目的地的方向的显示对象显示在所述终端的屏幕上。
(18)一种程序，所述程序使得控制图像处理装置的计算机能够充当以下单元：
图像获取单元，所述图像获取单元被配置成获取图像，在所述图像上投影有包括视觉识别目标的真实对象；
识别单元，所述识别单元被配置成通过对所述识别目标执行图像识别来识别已经捕获所述图像的终端关于所述真实对象的相对布置；以及控制单元，所述控制单元被配置成基于所述终端的由所述识别单元识别的所述相对布置来将指示朝向用户的目的地的方向的显示对象显示在所述终端的屏幕上。
附图标记列表
10 真实对象
11 识别目标
100,200 图像处理装置
140 图像获取单元
160 识别单元
180 控制单元
171a,171b 对象布置数据

Claims (18)

1.一种图像处理装置，包括：
图像获取单元，所述图像获取单元被配置成获取图像，在所述图像上捕获有包括视觉识别目标的真实对象；
识别单元，所述识别单元被配置成通过对所述视觉识别目标执行图像识别来识别已经捕获所述图像的终端的地理位置以及所述终端关于所述真实对象的相对布置；以及
控制单元，所述控制单元被配置成确定由用户选择的目的地并且基于所述终端关于所述真实对象的相对布置来将指示朝向所述目的地的方向的显示对象显示在所述终端的屏幕上；
其中，所述控制单元被进一步配置成获取所述目的地关于所述真实对象的相对位置并且基于所述终端关于所述真实对象的相对布置和所述目的地关于所述真实对象的相对位置来获得所述目的地关于所述终端的相对位置。
2.根据权利要求1所述的图像处理装置，
其中，所述控制单元在所述屏幕上显示与所述真实对象相关联的目的地候选的列表或地图以使得所述用户选择所述目的地。
3.根据权利要求1所述的图像处理装置，
其中，所述目的地由所述用户提前选择。
4.根据权利要求1所述的图像处理装置，
其中，在所述用户未选择单个目的地的情况下，所述控制单元在所述屏幕上显示多个显示对象，所述多个显示对象指示朝向与所述真实对象相关联的多个目的地候选的相应方向。
5.根据权利要求1所述的图像处理装置，
其中，所述控制单元在所述屏幕上显示辅助显示对象，所述辅助显示对象指示所述识别目标在所述图像中的检测位置。
6.根据权利要求1所述的图像处理装置，
其中，所述显示对象沿朝向所述目的地的直线方向或非直线路线指示所述方向。
7.根据权利要求1所述的图像处理装置，
其中，所述控制单元基于所述终端的所述相对布置、所述真实对象的地理布置和所述目的地的地理位置来确定要由所述显示对象指示的所述方向。
8.根据权利要求1所述的图像处理装置，
其中，所述控制单元基于所述终端的所述相对布置以及所述目的地关于所述真实对象的相对位置来确定要由所述显示对象指示的所述方向。
9.根据权利要求1所述的图像处理装置，
其中，所述控制单元通过使用来自所述终端所包括的传感器的传感器数据对所述终端的布置进行跟踪来将所述显示对象连续地显示在所述屏幕上。
10.根据权利要求9所述的图像处理装置，
其中，在被配置成测量所述终端的地理位置的定位模块能够使用的情况下，所述控制单元使用来自所述定位模块的定位数据来校正所跟踪的终端的所述布置。
11.根据权利要求7所述的图像处理装置，
其中，所述真实对象的所述地理布置由从数据服务器获取的布置数据指示。
12.根据权利要求7所述的图像处理装置，
其中，从所述识别目标或从在所述真实对象的表面上的与所述识别目标相关联的附加编码来解码所述真实对象的所述地理布置。
13.根据权利要求8所述的图像处理装置，
其中，所述目的地的所述相对位置由从数据服务器获取的布置数据指示。
14.根据权利要求8所述的图像处理装置，
其中，从所述识别目标或从在所述真实对象的表面上的与所述识别目标相关联的附加编码来解码所述目的地的所述相对位置。
15.根据权利要求1所述的图像处理装置，
其中，所述图像处理装置为所述终端。
16.根据权利要求1所述的图像处理装置，
其中，所述图像处理装置是与所述终端通信的服务器装置。
17.一种由图像处理装置执行的图像处理方法，所述图像处理方法包括：
获取图像，在所述图像上捕获有包括视觉识别目标的真实对象；
通过对所述视觉识别目标执行图像识别来识别已经捕获所述图像的终端的地理位置以及所述终端关于所述真实对象的相对布置；
确定由用户选择的目的地并且基于所识别的所述终端关于所述真实对象的相对布置将指示朝向所述目的地的方向的显示对象显示在所述终端的屏幕上；以及
获取所述目的地关于所述真实对象的相对位置并且基于所述终端关于所述真实对象的相对布置和所述目的地关于所述真实对象的相对位置来获得所述目的地关于所述终端的相对位置。
18.一种存储有程序的存储介质，所述程序使得控制图像处理装置的计算机能够充当以下单元：
图像获取单元，所述图像获取单元被配置成获取图像，在所述图像上捕获有包括视觉识别目标的真实对象；
识别单元，所述识别单元被配置成通过对所述视觉识别目标执行图像识别来识别已经捕获所述图像的终端的地理位置以及所述终端关于所述真实对象的相对布置；以及
控制单元，所述控制单元被配置成确定由用户选择的目的地并且基于所述终端关于所述真实对象的相对布置来将指示朝向所述目的地的方向的显示对象显示在所述终端的屏幕上；
其中，所述控制单元被进一步配置成获取所述目的地关于所述真实对象的相对位置并且基于所述终端关于所述真实对象的相对布置和所述目的地关于所述真实对象的相对位置来获得所述目的地关于所述终端的相对位置。
CN201480032897.4A 2013-06-17 2014-04-03 图像处理装置、图像处理方法以及程序 Active CN105431708B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-126617 2013-06-17
JP2013126617 2013-06-17
PCT/JP2014/059809 WO2014203592A1 (ja) 2013-06-17 2014-04-03 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN105431708A CN105431708A (zh) 2016-03-23
CN105431708B true CN105431708B (zh) 2019-06-21

Family

ID=52104336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480032897.4A Active CN105431708B (zh) 2013-06-17 2014-04-03 图像处理装置、图像处理方法以及程序

Country Status (5)

Country Link
US (2) US10175050B2 (zh)
EP (1) EP3012587A4 (zh)
JP (2) JP6296056B2 (zh)
CN (1) CN105431708B (zh)
WO (1) WO2014203592A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160001178A (ko) * 2014-06-26 2016-01-06 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
JP6424100B2 (ja) * 2015-01-29 2018-11-14 株式会社ゼンリンデータコム ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
JP6536810B2 (ja) * 2015-09-01 2019-07-03 パナソニックＩｐマネジメント株式会社 案内表示装置、案内システム及び案内方法
CN107239728B (zh) * 2017-01-04 2021-02-02 赛灵思电子科技(北京)有限公司 基于深度学习姿态估计的无人机交互装置与方法
CN108289327A (zh) * 2017-01-07 2018-07-17 薛明洁 一种基于图像的定位方法及系统
WO2018143360A1 (ja) * 2017-02-03 2018-08-09 良夫 川又 相対位置検出システム及び画像表示システム
JP7124823B2 (ja) * 2017-06-13 2022-08-24 ソニーグループ株式会社 情報処理装置、情報処理方法、及び情報処理システム
CN107607110A (zh) * 2017-07-29 2018-01-19 刘儿兀 一种基于图像和惯导技术的定位方法及系统
US11288510B2 (en) * 2017-09-15 2022-03-29 Kimberly-Clark Worldwide, Inc. Washroom device augmented reality installation system
WO2019123770A1 (ja) * 2017-12-20 2019-06-27 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20220057636A1 (en) 2019-01-24 2022-02-24 Maxell, Ltd. Display terminal, application control system and application control method
WO2021019591A1 (ja) * 2019-07-26 2021-02-04 マクセル株式会社 軌跡表示装置
JP7039535B2 (ja) * 2019-08-30 2022-03-22 ヤフー株式会社 生成装置、生成方法、および生成プログラム
JP6959305B2 (ja) * 2019-08-30 2021-11-02 ヤフー株式会社 生成装置、生成方法、および生成プログラム
DE102019213634A1 (de) * 2019-09-09 2021-03-11 Volkswagen Aktiengesellschaft Verfahren und Assistenzsystem zur Nutzung einer digitalen Karte in einem Fahrzeug
CN112857391A (zh) * 2021-01-19 2021-05-28 支付宝(杭州)信息技术有限公司 基于ar的路线展示处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228413A (zh) * 2005-12-07 2008-07-23 松下电器产业株式会社 路线信息显示装置以及路线信息显示方法
CN102056080A (zh) * 2009-11-03 2011-05-11 三星电子株式会社 用户终端及其提供位置的方法和引导路线的方法
JP2011107740A (ja) * 2009-11-12 2011-06-02 Nomura Research Institute Ltd 標識および標識使用方法
JP2012032339A (ja) * 2010-08-02 2012-02-16 Mega Chips Corp デジタルカメラ
JP2013019967A (ja) * 2011-07-07 2013-01-31 Raytron:Kk 案内システム、電子看板、撮影装置、および制御装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244488A (ja) 2002-02-19 2003-08-29 Sharp Corp 画像情報付加装置及びシステム
JP4447294B2 (ja) * 2003-12-03 2010-04-07 エヌ・ティ・ティ・ソフトウェア株式会社 ナビゲーション装置及びそのプログラム
JP3808865B2 (ja) * 2003-12-04 2006-08-16 株式会社ナビタイムジャパン 経路案内用データ作成装置および経路案内用データを用いた経路案内配信装置
JP4322147B2 (ja) * 2004-03-09 2009-08-26 株式会社ナビタイムジャパン 地図表示機能を有する携帯端末、地図表示システムおよび情報配信サーバならびにプログラム
JP2006170872A (ja) * 2004-12-17 2006-06-29 Seiko Epson Corp 誘導情報システム及び携帯機器
JP4474348B2 (ja) * 2005-10-04 2010-06-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、及び記憶媒体
JP4851969B2 (ja) * 2007-03-13 2012-01-11 日本電信電話株式会社 環状ｉｄマーク読み取り装置、環状ｉｄマーク読み取りシステム、環状ｉｄマーク読み取り方法および環状ｉｄマーク読み取りプログラム
JP2008309530A (ja) * 2007-06-12 2008-12-25 National Institute Of Information & Communication Technology 位置検出装置、それにおける位置の検出をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011094992A (ja) * 2009-10-27 2011-05-12 Jvc Kenwood Holdings Inc ナビゲーション装置、ナビゲーション方法、およびナビゲーションプログラム
JP2011122967A (ja) * 2009-12-11 2011-06-23 Ikutoku Gakuen ナビゲーションシステム
US8855929B2 (en) * 2010-01-18 2014-10-07 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
JP2013519067A (ja) * 2010-02-08 2013-05-23 トムトム ポルスカ エスペー・ゾオ 着目地点の属性を評価する方法および装置
CN102783144B (zh) * 2010-03-01 2016-06-29 本田技研工业株式会社 车辆的周围监测装置
KR101173358B1 (ko) * 2010-05-12 2012-08-10 (주)에코펌 큐알코드를 이용한 숲길 정보제공 시스템 및 방법
JP5255595B2 (ja) * 2010-05-17 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 端末位置特定システム、及び端末位置特定方法
JP5652097B2 (ja) 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
JP5724544B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228413A (zh) * 2005-12-07 2008-07-23 松下电器产业株式会社 路线信息显示装置以及路线信息显示方法
CN102056080A (zh) * 2009-11-03 2011-05-11 三星电子株式会社 用户终端及其提供位置的方法和引导路线的方法
JP2011107740A (ja) * 2009-11-12 2011-06-02 Nomura Research Institute Ltd 標識および標識使用方法
JP2012032339A (ja) * 2010-08-02 2012-02-16 Mega Chips Corp デジタルカメラ
JP2013019967A (ja) * 2011-07-07 2013-01-31 Raytron:Kk 案内システム、電子看板、撮影装置、および制御装置

Also Published As

Publication number Publication date
US10677596B2 (en) 2020-06-09
EP3012587A1 (en) 2016-04-27
US20190086214A1 (en) 2019-03-21
WO2014203592A1 (ja) 2014-12-24
US20160123742A1 (en) 2016-05-05
CN105431708A (zh) 2016-03-23
JP6296056B2 (ja) 2018-03-20
JP2018132528A (ja) 2018-08-23
US10175050B2 (en) 2019-01-08
EP3012587A4 (en) 2017-03-08
JPWO2014203592A1 (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
CN105431708B (zh) 图像处理装置、图像处理方法以及程序
US10929980B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US10839605B2 (en) Sharing links in an augmented reality environment
Rohs et al. Map navigation with mobile devices: virtual versus physical movement with and without visual context
US9704247B2 (en) Information processing method and system
US9383218B2 (en) Augmented reality financial institution branch locator
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US10147399B1 (en) Adaptive fiducials for image match recognition and tracking
Prince et al. Augmented reality camera tracking with homographies
CN112101339B (zh) 地图兴趣点的信息获取方法、装置、电子设备和存储介质
Anagnostopoulos et al. Gaze-Informed location-based services
CN104169965A (zh) 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品
US8941752B2 (en) Determining a location using an image
CN107480173B (zh) Poi信息的展示方法及装置、设备及可读介质
US20180247122A1 (en) Method and system of providing information pertaining to objects within premises
CN111832579B (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
EP3007136B1 (en) Apparatus and method for generating an augmented reality representation of an acquired image
KR102596444B1 (ko) 축척 링 변형
US10878278B1 (en) Geo-localization based on remotely sensed visual features
Ecklbauer A mobile positioning system for android based on visual markers
CN112634469A (zh) 用于处理图像的方法和装置
Qiu et al. Digital map using augmented reality on smart devices: Motivation, design, and implementation
Chen et al. Research on smart navigation system based on AR technology
Erisik et al. An Accurate Tagging Algorithm in Augmented Reality for Mobile Device Screens
Kang Design and Implementation of Digital Map Products Contributing GIS Perspective based on Cloud Computing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant