CN107015724B - 信息处理装置、信息处理方法及存储程序的非临时性计算机可读存储介质 - Google Patents

信息处理装置、信息处理方法及存储程序的非临时性计算机可读存储介质 Download PDF

Info

Publication number
CN107015724B
CN107015724B CN201710024228.8A CN201710024228A CN107015724B CN 107015724 B CN107015724 B CN 107015724B CN 201710024228 A CN201710024228 A CN 201710024228A CN 107015724 B CN107015724 B CN 107015724B
Authority
CN
China
Prior art keywords
information
store
floor
identified
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710024228.8A
Other languages
English (en)
Other versions
CN107015724A (zh
Inventor
山田笃史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gurunavi Inc
Original Assignee
Gurunavi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gurunavi Inc filed Critical Gurunavi Inc
Publication of CN107015724A publication Critical patent/CN107015724A/zh
Application granted granted Critical
Publication of CN107015724B publication Critical patent/CN107015724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G01C21/3874—Structures specially adapted for data searching and retrieval
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3889—Transmission of selected map data, e.g. depending on route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3896—Transmission of map data from central databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及信息处理装置、信息处理方法和非临时性计算机可读存储介质。提供了一种信息处理装置，其包括：存储单元，被配置为存储店铺信息；通信单元，被配置为从用户终端接收由该用户终端所捕获的捕获图像、指示成像的方位的方位信息及指示该用户终端的位置的终端位置信息；以及控制单元，被配置为基于所述所接收的终端位置信息及方位信息与所述所存储的店铺位置信息，识别存在于所述所接收的捕获图像中所包含的建筑物中的至少一个店铺；基于所述层信息识别所述捕获图像中的该被识别的店铺所在的层的位置；生成显示信息；执行控制。

Description

信息处理装置、信息处理方法及存储程序的非临时性计算机 可读存储介质
技术领域
本发明涉及一种可提供有关餐饮店的信息的信息处理装置、信息处理方法及存储程序的非临时性计算机可读存储介质。
背景技术
存在通过在现实空间叠加显示虚拟空间的内容来增强现实的感觉的增强现实（AR）技术。对于该AR技术，例如在智能手机或诸如头戴式显示器（HMD）和或透视眼镜型的佩戴式设备中已得到实现。
例如，在日本特开2011-242816号公报中，记载有如下系统：在该系统中，服务器确定通过用户的便携式终端捕获的现实空间中所包含的对象（诸如建筑物），从数据库中选择并读取与该对象对应的虚拟显示，并将该虚拟显示发送至用户的便携式终端，并且在该用户的便携式终端上，在所捕获的现实空间中叠加显示虚拟显示信息。
发明内容
然而，在日本特开2011-242816号公报中记载的技术中，虽然能够在建筑物的捕获图像上叠加与其对应的虚拟显示信息，但是在具有多个层并在各层存在不同的店铺的建筑物中，无法允许用户容易地确定该虚拟显示信息为存在于该建筑物的哪一层的店铺的信息。
本发明提供一种可在具有多个层的建筑物的捕获图像上AR显示店铺信息时，允许用户容易地确定所叠加显示的店铺信息与哪一层对应的信息处理装置、信息处理方法及存储程序的非临时性计算机可读存储介质。
本发明的第一方面涉及一种信息处理装置。该信息处理装置具有存储单元、通信单元及控制单元。上述存储单元被配置成存储店铺信息，该店铺信息包括：店铺的识别信息；指示该店铺位置的店铺位置信息；及层信息，该层信息指示在该店铺所在的具有多个层的建筑物中该店铺所在的层。上述通信单元被配置为从用户终端接收由该用户终端所捕获的捕获图像、指示成像的方位的方位信息及指示该用户终端位置的终端位置信息。上述控制单元被配置为基于上述所接收的终端位置信息和方位信息及上述所存储的店铺位置信息，识别存在于上述所接收的捕获图像中所包含的建筑物中的至少一个店铺，基于上述层信息识别上述捕获图像中的该被识别的店铺所在的层的位置，并生成用于将上述被识别的店铺的上述识别信息叠加显示于上述捕获图像的上述被识别的层的位置的识别信息。上述控制单元被配置成执行控制使得上述通信单元将上述所生成的显示信息发送至上述用户终端。
根据上述方面的信息处理装置，在将店铺识别信息作为AR叠加显示于具有多个层的建筑物的捕获图像时，能够允许用户容易地确定所叠加显示的店铺识别信息与建筑物的哪一层对应。店铺的识别信息包括用于识别店铺的所有信息，例如，店铺的店铺名、类型、表示外观的图像、广告牌、代表性菜单等，但不限于此。
上述方式中，所述通信单元可以从所述用户终端接收所述用户的身高信息或所述终端位置信息中所包含的标高信息。可以利用所述身高信息或所述标高信息算出在所述捕获图像中映摄有被确定的所述建筑物的范围的实际高度。
上述方式中，在所述捕获图像中没有映摄出所述建筑物的整体时，所述控制单元可以以所述建筑物的地上层部分或顶层部分中的任一层为基准算出映摄有所述建筑物的范围的实际高度。
上述方式中，层信息可以包括地上层信息及地下层信息。控制单元可以以与用于显示根据上述地上层信息确定为存在于地上层的店铺的上述识别信息的显示信息不同的显示形态生成用于显示根据上述地下层信息确定为存在于地下层的店铺的上述识别信息的显示信息。
通过上述方式，信息处理装置能够将存在于地下的店铺与存在于地面的店铺清楚地区分并使用户可视地掌握。
在上述方式中，控制单元可以使上述显示信息包含表示上述店铺的位置或层的信息。
通过上述方式，无论用户的捕获范围如何，信息处理装置都能够使用户容易地掌握用户所关注的店铺的位置或层。
上述方式中，存储单元可以存储上述建筑物的各层中的与分区相关的建筑物分区信息。控制单元可以根据上述所存储的建筑物分区信息，生成分区位置信息而作为上述显示信息，所述分区位置信息将上述被确定的店铺所在的上述层中的该店铺所在的分区的位置与其他分区的位置区分显示。
通过上述方式，信息处理装置能够使用户容易地掌握店铺所在的层中的该店铺的分区的位置。在此，该分区显示信息例如可以作为俯视图而生成。
上述方式中，所述控制单元可以使在所述被确定的店铺所在的层中存在多个店铺时的所述店铺的所述识别信息的显示形态与在所述被确定的店铺所在的层中存在1个店铺时的所述店铺的所述识别信息的显示形态不同。
上述方式中，店铺信息可以包括表示上述店铺的类型的类型信息。该情况下，上述控制单元可以以与上述被确定的店铺的类型对应的颜色生成上述显示信息。
通过上述方式，信息处理装置能够通过显示信息的颜色来容易地掌握用户的店铺的类型。例如，可以以日式餐厅的识别信息为蓝色、意大利式餐厅的识别信息为红色等颜色生成为显示信息。
上述方式中，所述控制单元可以根据来自所述用户终端的要求生成包括所述店铺的类型以外的店铺信息的显示信息。
上述方式中，在所述被确定的店铺所存在层中存在多个店铺时，所述控制单元可以生成包括所有与所述多个店铺的类型的每一个对应的颜色的所述显示信息。
上述方式中，店铺信息可以存储表示上述店铺的营业时间的营业时间信息。控制单元可以根据上述营业时间信息，判断确定上述店铺的时刻是否为该被确定的店铺的非营业时间，以免在判断为上述时刻为非营业时间时生成用于该店铺的识别信息的上述显示信息。
通过上述方式，信息处理装置能够防止与非营业时间的店铺相关的显示信息被用户浏览到而导致用户误妨店铺。
上述方式中，通信单元可以从上述店铺接收显示该店铺的拥挤状况拥挤信息。控制单元可以以与上述被确定的店铺的上述所接收的拥挤状况对应的显示形态生成上述显示信息。
通过上述形态，信息处理装置能够使用户一目了然地掌握建筑物内的店铺的拥挤状况。在此，所谓显示形态为例如颜色、亮度、某种标记等的数量等，但并不限于这些。
本发明的第二方面涉及一种终端装置。终端装置为用户可佩带的终端装置，并且具有：成像单元；方位传感器，被配置为获取指示上述成像单元的成像方向的方位信息；位置获取单元，被配置为获取指示该终端装置的位置的终端位置信息；通信单元，被配置为执行与服务器装置的通信；显示单元及控制单元。上述控制单元被配置成执行控制，使得通信单元将通过上述成像单元捕获的捕获图像、通过上述方位传感器获取的方位信息及通过上述位置获取单元获取的终端位置信息发送至上述服务器装置。控制单元被配置为执行控制，使得通信单元基于上述捕获图像、上述方位信息及上述终端位置信息从上述服务器装置接收显示信息，所述显示信息用于将识别为存在于上述捕获图像中所包含的建筑物中的特定层中的店铺的识别信息叠加显示于上述捕获图像的上述特定层的位置。控制单元被配置为执行控制，使得显示单元将上述所接收的显示信息叠加显示于上述捕获图像。
本发明的第三方面涉及一种信息处理方法。所述信息处理方法包括如下步骤：
存储店铺信息，所述店铺信息包括店铺的识别信息、指示该店铺的位置的店铺位置信息及指示该店铺所在的具有多个层的建筑物中该店铺所在的层的层信息；
从用户终端接收由该用户终端所捕获的捕获图像、指示成像的方位的方位信息及指示该用户终端的位置的终端位置信息；
基于上述所接收的终端位置信息及方位信息与上述所存储的店铺位置信息，识别存在于上述所接收的捕获图像中所包含的建筑物中的至少一个店铺；
基于上述层信息识别上述捕获图像中的该被识别的店铺所在的层的位置；
生成显示信息，该显示信息用于将上述被识别的店铺的上述识别信息叠加显示于上述捕获图像的上述被识别的层的位置；
以及将上述所生成的显示信息发送至上述用户终端。
本发明的第四方面涉及一种存储程序的非临时性计算机可读存储介质。程序使信息处理装置执行如下步骤：
存储店铺信息，该店铺信息包括店铺的识别信息、指示该店铺的位置的店铺位置信息及指示该店铺所在的具有多个层的建筑物中该店铺所在的层的层信息；
从用户终端接收由该用户终端所捕获的捕获图像、指示成像的方位的方位信息及指示该用户终端的位置的终端位置信息；
基于上述所接收的终端位置信息及方位信息与上述所存储的店铺位置信息，识别存在于上述所接收的捕获图像中所包含的建筑物中的至少一个店铺；
基于上述层信息识别上述捕获图像中的该被识别的店铺所在的层的位置；
生成显示信息，该显示信息用于将上述被识别的店铺的上述识别信息叠加显示于上述捕获图像的上述被识别的层的位置；
以及将上述所生成的显示信息发送至上述用户终端。
根据上述各方面，在具有多个层的建筑物的捕获图像上AR显示店铺信息时，能够允许用户容易地确定以叠加显示的店铺信息与哪一层对应。然而，该效果不旨在限制本发明。
附图说明
图1是示出根据本发明的实施例的餐饮店信息提供系统的配置的图。
图2是示出根据本发明的实施例的餐饮店信息提供服务器的硬件配置的图。
图3是示出根据本发明的实施例的用户终端的硬件配置的图。
图4是示出根据本发明的实施例的餐饮店信息提供服务器中的数据库的配置的图。
图5是示出根据本发明的实施例的由餐饮店信息提供服务器进行的餐饮店信息提供处理的流程的流程图。
图6是示出根据本发明的实施例的由用户终端进行的餐饮店信息显示处理的流程的流程图。
图7是示出在本发明的实施例中显示于用户终端的餐饮店信息的例子的图。
图8是示出在本发明的实施例中显示于用户终端的餐饮店详细信息的例子的图。
具体实施方式
以下，将参考附图对本发明的实施例进行描述。
[系统的配置]
图1是示出根据本实施例的餐饮店信息提供系统的配置的图。
如图1所示，该系统包括互联网50上的餐饮店信息提供服务器100和多个用户终端200。
餐饮店信息提供服务器100为运营提供有关餐饮店的信息的门户网站的web服务器。餐饮店信息提供服务器100通过互联网50与多个用户终端200连接。
餐饮店信息提供服务器100在上述门户网站中向每个用户终端200的用户提供餐饮店信息的搜索系统。具体而言，餐饮店信息提供服务器100基于来自用户终端200的搜索要求搜索符合搜索条件的餐饮店信息，且生成提供了搜索结果的网页并将该网页发送至用户终端200。
在本实施例中，餐饮店信息提供服务器100能够从用户终端200接收捕获图像、方位及终端位置信息，能够根据这些种类的信息识别捕获图像中所包含的餐饮店，能够生成用于将有关该餐饮店的信息在用户终端200上叠加显示于捕获图像的AR信息，并能够将该AR信息发送至用户终端200。
尤其，在本实施例中，在上述餐饮店存在于捕获图像中的具有多个层的建筑物中的一层的情况下，餐饮店信息提供服务器100能够生成用于可视地确定该层的AR信息。
每个用户终端200（200A、200B、200C等）是由用户使用的终端，例如便携式设备（诸如智能手机、平板电脑（PC）），或佩戴式终端（头戴式显示器、智能手表等）。每个用户终端200访问餐饮店信息提供服务器100，接收上述网页并通过浏览器等将该网页显示于画面。
每个用户终端200能够从餐饮店信息提供服务器100接收由该用户终端200进行捕获的捕获图像中所包含的餐饮店相关的信息，并能够显示将该餐饮店信息叠加于捕获图像的AR信息。
[餐饮店信息提供服务器的硬件配置]
图2是示出上述餐饮店信息提供服务器100的硬件配置的图。如图2所示，餐饮店信息提供服务器100包括中央处理单元（CPU）11、只读存储器（ROM）12、随机存取存储器（RAM）13、输入/输出接口15及将这些相互连接的总线14。
CPU 11根据需要适当访问RAM 13等，并且在执行各种运算处理同时集中控制餐饮店信息提供服务器100的所有块。ROM 12为非易失性存储器，其固定存储固件（诸如在CPU11上执行的OS和程序）和各种参数。RAM 13用作CPU 11的工作用区域等，并暂时存储OS、执行中的各种应用程序、以及处理中的各种数据。CPU 11对应于本发明的控制单元。
输入/输出接口15连接有显示单元16、操作接收单元17、存储单元18、通信单元19等。
显示单元16为例如使用液晶显示器（LCD）、有机电致发光显示器（OELD）、阴极射线管（CRT）等的显示设备。
操作接收单元17为例如指示设备诸如鼠标、键盘、触控面板或其他输入设备。在操作接收单元17为触控面板的情况下，该触控面板可与显示单元16集成。
存储单元18为例如非易失性存储器诸如硬盘驱动器（HDD）、闪速存储器（固态驱动器（SSD）或其他固态存储器。该存储单元18存储有上述OS、各种应用程序以及各种数据。
在本实施例中，存储单元18具有餐饮店信息数据库、地图信息数据库及建筑物信息数据库。详细内容将在后面描述。
通信单元19为例如Ethernet（注册商标）的网络接口卡（NIC）或无线通信的各种模块诸如无线LAN，并执行与上述用户终端200的通信处理。
[用户终端的硬件配置]
图3是示出上述用户终端200的硬件配置的图。如图3所示，用户终端200包括CPU21、ROM 22、RAM 23、输入/输出接口25及将这些相互连接的总线24。
CPU 21根据需要适当访问RAM 13等，并且在执行各种运算处理同时集中控制用户终端200的所有块。ROM 22为非易失性存储器，其固定存储固件（诸如在CPU 21上执行的OS和程序）和各种参数。RAM 23用作CPU 21的工作用区域等，并暂时存储OS、执行中的各种应用程序、以及处理中的各种数据。
输入/输出接口25连接有显示单元26、操作接收单元27、存储单元28、通信单元29、相机30、方位信息获取单元31、位置信息获取单元32等。
显示单元26为例如使用液晶显示器（LCD）、有机电致发光显示器（OELD）、阴极射线管（CRT）等的显示设备。
操作接收单元27典型地被构造为与显示单元26集成的触控面板，但也可以是诸如其他按钮或键的输入设备。
存储单元28为例如非易失性存储器诸如闪速存储器或其他固态存储器。该存储单元28中存储有上述OS、各种应用程序以及各种数据。尤其，在本实施例中，存储单元28存储有用于将从餐饮店信息提供服务器100接收的AR信息叠加显示于由相机30所捕获的捕获图像上的应用程序及执行该应用程序时所需的数据。
通信单元29为例如无线通信模块，该无线通信模块与移动通信标准（诸如第三代（3G）或长期演进（LTE））或通信标准（诸如包括无线保真（WiFi）的无线局域网（LAN））相对应，并执行与上述餐饮店信息提供服务器100或其他用户终端的通信处理。
相机30例如通过诸如互补金属氧化物半导体（CMOS）或电荷耦合装置（CCD）传感器的成像元件来对静态图像（照片）及动态图像进行捕获。
方位信息获取单元31具有例如磁传感器和加速度传感器。磁传感器能够检测出从用户终端200观察时的磁北方向。加速度传感器能够检测出垂直（重力）方向。根据检测出的磁北方向及垂直方向，计算用户终端200的方位（相机30的角度）。
位置信息获取单元32例如被构造为GPS传感器，捕获来自3个以上卫星的无线电波，基于到每个卫星的距离，计算在地球坐标系中描述的用户终端200所在的位置的坐标，并将该坐标应用于地球椭球体上，从而检测用户终端200的位置信息（纬度/经度/标高信息）。
[餐饮店信息提供服务器的数据库配置]
图4是示出上述餐饮店信息提供服务器100中提供的每个数据库的配置的图。
如图4所示，餐饮店信息提供服务器100具有存储单元18中的餐饮店信息数据库41、地图信息数据库42及建筑物信息数据库43。
对于每个餐饮店，餐饮店信息数据库41除存储该餐饮店的店名以及位置信息（纬度/经度信息或地址信息信息、层信息）以及用于识别该餐饮店的ID（店铺ID）之外，还存储该餐饮店的营业状况/服务类型（类别）信息以及用于介绍该餐饮店的内容，即指示店铺特征的信息诸如店铺的PR广告、有关餐饮店的事件的事件信息、有关餐饮店坐落的区域的区域信息、餐饮店的地址和电话号码、有关餐饮店的（介绍餐饮店）图像数据、与餐饮店的菜单相关的菜单信息、营业时间、有关网站URL的信息。发送至用户终端200的AR信息是通过这些种类的信息中的至少一部分而生成的。
地图信息数据库42存储包括诸如餐饮店所在的建筑物的建筑物的位置（纬度/经度/标高）的地图信息。
关于存在于上述地图信息内的每个建筑物，建筑物信息数据库43存储层信息（每个建筑物的地上层数和地下层数）、与每个建筑物距地面的高度相关的信息、与各层距地面的高度相关的信息以及与各层中的分区相关的建筑物分区信息。在该建筑物分区信息中，还与各分区的位置联合地存储有关位于各分区的店铺（餐饮店等）的信息。
后述的由餐饮店信息提供服务器100进行的餐饮店信息提供处理中，根据需要相互参考并使用这些数据库。
[餐饮店信息提供服务器的操作]
接着，将对如以上那样配置的餐饮店信息提供服务器100的操作进行描述。餐饮店信息提供服务器100的操作通过硬件诸如CPU 11及通信单元19以及存储于存储单元18的软件的协同作用来执行。在以下说明中，为了方便起见，将CPU 11作为操作主体。
图5是示出由餐饮店信息提供服务器100进行的餐饮店信息提供处理的流程的流程图。
如图5所示，餐饮店信息提供服务器100的CPU 11首先判断从用户终端200是否接收到通过用户终端200的相机30进行捕获的捕获图像及成像时在用户终端200获取的方位信息和终端位置信息（步骤51）。
在CPU 11判断为接收到上述捕获图像、方位信息及终端位置信息的情况下（是），CPU 11从捕获图像中识别建筑物（步骤52）。在识别该建筑物时，例如，使用诸如边缘提取、特征点提取以及模式匹配的传统技术。
接着，CPU 11基于上述方位信息及终端位置信息，识别存在于从上述捕获图像中识别出的建筑物中的餐饮店（步骤53）。具体而言，CPU 11基于上述终端位置信息（纬度/经度/标高）及方位信息（相对于磁北的方向及相机角度），识别上述识别的建筑物的位置（纬度/经度），从上述餐饮店信息数据库41中识别具有符合该位置的（无需完全符合，并且只要误差在预定阈值范围内即可）位置信息的餐饮店。
除此之外或代替此，CPU 11可以参考上述地图信息数据库42从上述所识别的建筑物的位置中识别建筑物名，并且可以从上述餐饮店信息数据库41识别将该建筑物名作为一部分地址而具有的餐饮店。
接着，CPU 11从上述餐饮店信息数据库41中的层信息识别上述识别的餐饮店的层（步骤54）。
接着，CPU 11从上述餐饮店信息数据库41提取上述识别的餐饮店的识别信息（步骤55）。虽然识别信息典型地为餐饮店的名称，但除此之外或代替此，店铺类型、店铺所在的层等也可以用作识别信息。识别信息并不限于这些，并且例如，可以使用任何信息，只要信息（诸如表示店铺的外观或广告牌的图像（照片）或代表该店铺的料理的图像）能够直接或间接地识别店铺。
接着，CPU 11生成AR信息，该AR信息用于将上述提取到的识别信息叠加显示于上述捕获图像内的建筑物中的上述被识别的餐饮店的层的位置（步骤56）。
具体而言，CPU 11例如基于上述终端位置信息（纬度/经度/标高）、上述建筑物的位置信息及上述方位信息中的角度信息，也考虑从上述终端位置捕获图像的用户的平均身高（眼睛的高度），并通过三角测量的原理，计算在该捕获图像中映摄有上述被识别的建筑物的范围的实际高度。该情况下，只要用户终端200的用户的身高（眼睛的高度）事先注册在餐饮店信息提供服务器100、用户终端200等，则可以考虑该信息。在捕获图像中没有映摄出建筑物整体的情况下，CPU 11基于建筑物的地上层部分或顶层部分中的任一层计算高度。并且，该情况下，CPU 11也可以考虑上述接收的终端位置信息中所包含的标高信息计算高度。
然后，CPU 11基于该计算的建筑物的捕获部分的高度、上述建筑物信息数据库43中的建筑物的高度、上述被识别的层的高度，识别捕获图像中的建筑物中的上述被识别的层的位置（高度范围），并生成AR信息，该AR信息被设定成使得上述识别信息被三维地叠加显示于存在于其位置的建筑物的表面。
该识别信息例如包含餐饮店的名称、料理类型等，但并不限于这些。
在判断为餐饮店的层在地下分区的情况下，CPU 11计算与上述捕获图像中的建筑物的地下的层相对应的位置，并生成AR信息，该AR信息被设定成使得以上述识别信息叠加显示于其位置。该情况下的AR信息可以以诸如虚线或半透明的不同的显示模式显示的方式生成，以与地上层的AR信息进行区分。
接着，CPU 11将上述所生成的AR信息发送至用户终端200（步骤57）。
接着，CPU 11判断从上述用户终端200是否接收到店铺详细信息的发送请求（步骤58）。
在CPU 11判断为接收到店铺详细信息的发送请求的情况下（是），CPU 11从上述餐饮店信息数据库41提取例如菜单信息、所在地信息、推荐信息等详细信息，且以将该详细信息AR显示于上述捕获图像上的方式设定并发送至用户终端200（步骤59）。
并且，在上述被识别的餐饮店所在的层被分为多个分区的情况下，CPU 11参考上述建筑物信息数据库43，作为上述详细信息，将与其他分区的位置区分指示该层中的该餐饮店所在的分区的位置的分区位置信息生成为AR信息并可以将该分区位置信息发送至用户终端200。在此，分区位置信息例如作为俯视图而生成，但并不限于此。
[用户终端的操作]
接着，将对用户终端200的操作进行描述。用户终端200的操作通过诸如CPU 21及通信单元29的硬件与存储于存储单元28的软件的协同作用来执行。以下说明中，为了方便起见，将CPU 21作为操作主体。另外，CPU 21能够对应于本发明的控制单元。
图6是示出由用户终端200进行的餐饮店信息显示处理的流程的流程图。
如图6所示，用户终端200的CPU 21首先判断通过相机30是否捕获到图像（步骤61）。
在CPU 21判断为捕获到图像的情况下，CPU 21从上述位置信息获取单元32及方位信息获取单元31获取指示此时用户终端200的位置的终端位置信息及用户终端200的方位信息（相对于磁北相机30所朝向的方向及相机30的角度）（步骤62）。
接着，CPU 21将上述捕获图像、终端位置信息以及方位信息发送至餐饮店信息提供服务器100（步骤63）。
接着，CPU 21判断是否接收到上述图5中描述的通过由餐饮店信息提供服务器100进行的处理而发送的AR信息（步骤64）。
在CPU 21判断为接收到AR信息的情况下（是），CPU 21在显示单元26上将AR信息叠加显示于捕获图像（步骤65）。
接着，CPU 21判断关于作为上述AR信息显示的餐饮店信息是否输入了店铺详细信息的请求操作（步骤66）。该请求操作为例如点击或长按显示单元26上的上述叠加显示的AR信息的位置的操作，但并不限于此。
在CPU 21判断为输入了上述店铺详细信息的请求操作的情况下（是），CPU 21将该店铺详细信息请求发送至餐饮店信息提供服务器100（步骤67）。
接着，CPU 21判断响应上述店铺详细信息请求是否接收到从餐饮店信息提供服务器100发送的店铺详细信息（步骤68），并且在接收到店铺详细信息的情况下（是），在显示单元26上将该店铺详细信息叠加显示于上述捕获图像（步骤69）。
图7是示出通过上述餐饮店信息提供服务器100生成并显示于用户终端200的显示单元的捕获图像上的AR信息的例子的图。
如图7所示，在通过用户终端200捕获的捕获图像70中包含建筑物B，并且通过餐饮店信息提供服务器100识别该建筑物B中存在餐饮店。具体而言，设想例如识别该建筑物B的7层、9层及地下1层中分别存在餐饮店的情况。
该情况下，关于存在于地上层的7层及9层的餐饮店，餐饮店信息提供服务器100生成作为各餐饮店的识别信息的AR信息71a、71b，以便将其显示于相对于建筑物B的各层的位置的表面。
作为识别信息，可举出每个餐饮店的名称或料理的类型及该餐饮店所在的层等。代替层或除层以外，识别信息可以包括餐饮店的位置信息（地址）。图7的例子中，存在于7层的餐饮店以“餐厅XYZ”为名且其料理的类型为中式料理，而存在于9层的餐饮店以“餐厅ABC”为名且其料理的类型为日式料理。除这些之外或代替这些，例如可以以缩略图的形式生成例如餐饮店的外观或广告牌的图像（照片）或代表该餐饮店的料理（菜单）的图像（照片）作为识别信息。
在此，上述AR信息71可以以其显示模式（典型地为颜色）按照上述料理的类别等而不同的方式生成。该情况下，也可以配合各颜色与哪一类型的料理对应的信息而提供为AR信息。图7的例子中，属于日式料理的餐饮店的AR信息71a以黑色指示，属于中式料理的餐饮店的AR信息71b以灰色指示。由此，用户能够一目了然地确定该餐饮店的类型。
另一方面，关于存在于地下层的地下1层的餐饮店，餐饮店信息提供服务器100以在捕获图像上对应于该建筑物B的地下1层的位置的表面以虚线或半透明的形式叠加显示的方式生成作为餐饮店识别信息的AR信息71c。
该情况下的识别信息的内容与地上层的情况相同。图7的例子中，存在于地下1层的餐饮店以“餐厅DEF”为名且其料理的类型为日式料理。
在确定了在捕获图像上识别出的多个建筑物中存在餐饮店的情况下，同样地关于各建筑物的餐饮店生成上述AR信息。
关于应叠加显示AR信息的平面及其三维形状，餐饮店信息提供服务器100也通过分析捕获图像来进行识别。典型地，以在识别出的建筑物中在捕获图像上具有最大面积的表面上叠加显示AR信息的方式选择平面，但并不限于这些。
图8是示出作为上述店铺详细信息而显示的分区位置信息的例子的图。
如图8所示，例如上述图7所示的建筑物B中“餐厅ABC”所在的9层被分为多个分区（店铺区域）C1～C6的情况下，餐饮店信息提供服务器100例如以俯视图的方式将9层的多个分区C1～C6中示出该“餐厅ABC”所在的分区C4的分区位置信息作为店铺详细信息而生成并将该分区位置信息显示于用户终端200。
[总结]
如上说明，根据本实施例，餐饮店信息提供服务器100将店铺识别信息作为AR叠加显示于具有多个层的建筑物的捕获图像时，能够允许用户容易地确定所叠加显示的店铺识别信息与建筑物的哪一层对应。并且，通过使用层信息而可以将AR信息集中在相同部位，由此能够降低餐饮店信息提供服务器100或用户终端200的负载。由于用户从餐饮店信息提供服务器100只接收存在于捕获图像的范围内的餐饮店的店铺详细信息，并且不会将用户所在地的周围所有方向作为搜索对象，因此也能够降低餐饮店信息提供服务器100的负载。
[变形例]
本发明不只限定于上述实施例，只要在不脱离本发明的主旨的范围内则可进行各种变更。
上述的实施例中，捕获图像中的建筑物及餐饮店的识别处理是通过餐饮店信息提供服务器100来执行的，但该处理也可以通过用户终端200来执行。该情况下，用户终端200可以从餐饮店信息提供服务器100或其他外部设备事先接收上述诸如餐饮店信息、层信息的上述识别处理所需的信息。并且，该情况下，用户终端200也可以是例如诸如HMD的佩戴式终端。在通过用户终端200识别建筑物等的情况下，可以通过在该处理中使用的立体相机（典型地具备双筒佩戴式终端）、红外激光等的深度传感器来确定三维物体的三维形状。
上述的实施例中，餐饮店信息提供服务器100可以从餐饮店信息数据库41获取识别为存在于在捕获图像70上识别出的建筑物的餐饮店的营业时间信息，并可以判断该被识别的时刻是否为该餐饮店的非营业时间，并且在判断为该时刻为非营业时间的情况下，可以执行控制使得不生成用于该餐饮店的识别信息的AR信息。由此，能够防止与非营业时间的餐饮店相关的AR信息被用户所浏览而用户误访该餐饮店。
上述的实施例中，餐饮店信息提供服务器100可以从上述被识别的餐饮店的终端接收该餐饮店的指示拥挤状况的拥挤信息，并以根据该拥挤状况的显示模式生成上述AR信息。在此，所谓显示模式例如为颜色、亮度或某种标记的数量等，但并不限于这些。由此，用户能够一目了然地确定建筑物内的餐饮店的拥挤状况。
上述的实施例中，已对建筑物的各层中仅存在1个餐饮店的情况进行了描述。然而，可能有相同层中存在多个餐饮店的情况。该情况下，餐饮店信息提供服务器100可以以按每一层显示存在于各层中的餐饮店的一览表的方式生成AR信息来代替如上述图7所示的AR信息。即，使被识别的餐饮店所在的层中存在多个餐饮店的情况下的餐饮店的AR信息与被识别的餐饮店所在的层中存在1个餐饮店的情况下的餐饮店的AR信息不同。并且，虽未图示，但可以将包括多个餐饮店的各类型的颜色的条纹状的餐饮店生成为1个AR信息。该情况下，可以通过以点击等操作来选择该条纹状的餐饮店，从而以显示该条纹状的餐饮店中所包含的多个餐饮店各自的信息的方式生成AR信息。由此，用户可简便地识别综合设施。
上述的实施例中，已描述不在用户的捕获图像上进行操作而显示作为餐饮店的识别信息的AR信息的例子。然而，在1个捕获图像上的建筑物中存在多个餐饮店的情况下，有时若同时显示多条AR信息则对于用户来说是麻烦的。于是，餐饮店信息提供服务器100中，作为AR信息，首先不叠加显示文本信息等，而使只进行如下动作：例如以预定的颜色涂满各建筑物的餐饮店所在的层的表面、或在该位置显示预定的图标等标记，在用户执行点击该位置等操作情况下，可以以叠加显示与该位置对应的餐饮店的识别信息（文本信息等）的方式生成AR信息。
上述实施例中，虽然已描述显示餐饮店信息作为AR信息的例子，但也可以与上述实施例同样地生成除餐饮店以外的店铺（销售店或服务提供设施）的识别信息来作为AR信息并显示。

Claims (14)

1.一种信息处理装置，其包括：
存储单元（18），被配置为存储店铺信息，该店铺信息包括店铺的识别信息、指示该店铺的位置的店铺位置信息及指示该店铺所在的具有多个层的建筑物中该店铺所在的层的层信息；及
通信单元（19），被配置为从用户终端（200）接收由该用户终端所捕获的捕获图像、指示成像的方位的方位信息及指示该用户终端的位置的终端位置信息，并且
所述信息处理装置的特征在于，包括控制单元（11），该控制单元（11）被配置为：
i）基于所接收的终端位置信息及方位信息与所存储的店铺位置信息，识别存在于所接收的捕获图像中所包含的建筑物中的至少一个店铺，
ii）基于所述层信息识别所述捕获图像中的被识别的店铺所在的层的位置，
iii）生成显示信息，该显示信息用于将所述被识别的店铺的所述识别信息叠加显示于所述捕获图像的所述被识别的店铺所在的层的位置，
iv）执行控制，使得所述通信单元将所生成的显示信息发送至所述用户终端，
其中，
所述层信息包括地上层信息及地下层信息，并且
所述控制单元以与用于显示通过所述地上层信息识别为存在于地上层的店铺的所述识别信息的显示信息不同的显示模式生成用于显示通过所述地下层信息识别为存在于地下层的店铺的所述识别信息的显示信息。
2.根据权利要求1所述的信息处理装置，其中，
所述通信单元从所述用户终端接收所述用户的身高信息或所述终端位置信息中所包含的标高信息，并且
使用所述身高信息或所述标高信息计算在所述捕获图像中映摄有被识别的所述建筑物的范围的实际高度。
3.根据权利要求2所述的信息处理装置，其中，
在所述捕获图像中没有映摄出所述建筑物的整体的情况下，所述控制单元基于所述建筑物的地上层部分或顶层部分中的至少一个来计算映摄有所述建筑物的范围的实际高度。
4.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述控制单元使所述显示信息包含指示所述店铺的位置或层的信息。
5.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述存储单元存储与所述建筑物的各层中的分区相关的建筑物分区信息，并且
所述控制单元基于所存储的建筑物分区信息，生成分区位置信息而作为所述显示信息，该分区位置信息将所述被识别的店铺所在的所述层中的该店铺所在的分区的位置与其他分区的位置区分指示。
6.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述控制单元使在所述被识别的店铺所在的层中存在多个店铺的情况下的所述店铺的所述识别信息的显示模式与在所述被识别的店铺所在的层中存在一个店铺的情况下的所述店铺的所述识别信息的显示模式不同。
7.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述店铺信息包括指示所述店铺的类型的类型信息，并且
所述控制单元以根据所述被识别的店铺类型的颜色生成所述显示信息。
8.根据权利要求7所述的信息处理装置，其中，
所述控制单元响应于来自所述用户终端的请求生成包括所述店铺的类型以外的店铺信息的显示信息。
9.根据权利要求7所述的信息处理装置，其中，
在所述被识别的店铺所在的层存在多个店铺的情况下，所述控制单元生成包括所有根据所述多个店铺的相应类型的颜色的所述显示信息。
10.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述店铺信息存储指示所述店铺的营业时间的营业时间信息，并且
所述控制单元基于所述营业时间信息，判断识别了所述店铺的时刻是否为该被识别的店铺的非营业时间，并且当判断为所述时刻为非营业时间的情况下，排除用于该店铺的识别信息的所述显示信息。
11.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述通信单元从所述店铺接收指示该店铺的拥挤状况的拥挤信息，并且
所述控制单元以根据所述被识别的店铺的所接收的拥挤状况的显示方式生成所述显示信息。
12.一种用户可佩带的终端装置（200），其包括：
成像单元（30）；
方位传感器（31），被配置为获取指示所述成像单元的成像方向的方位信息；
位置获取单元（32），被配置为获取指示该终端装置的位置的终端位置信息；
通信单元（29），被配置为执行与服务器装置（100）的通信；
显示单元（26），以及
所述终端装置的特征在于，包括控制单元（21），该控制单元（21）被配置为：
执行控制，使得所述通信单元以将通过所述成像单元进行捕获的捕获图像、通过所述方位传感器获取的方位信息及通过所述位置获取单元获取的终端位置信息发送至所述服务器装置，
执行控制，使得所述通信单元基于所述捕获图像、所述方位信息及所述终端位置信息以从所述服务器装置接收显示信息，该显示信息用于将识别了存在于所述捕获图像中所包含的建筑物的特定的层的店铺的识别信息叠加显示于所述捕获图像的所述特定的层的位置，
执行控制，使得所述显示单元以将所接收的显示信息叠加显示于所述捕获图像，
其中，
所述识别信息包括地上层信息及地下层信息，并且
所述控制单元以与用于显示通过所述地上层信息识别为存在于地上层的店铺的所述识别信息的显示信息不同的显示模式生成用于显示通过所述地下层信息识别为存在于地下层的店铺的所述识别信息的显示信息。
13.一种信息处理方法，其特征在于，包括如下步骤：
存储店铺信息，该店铺信息包括店铺的识别信息、指示该店铺的位置的店铺位置信息及指示在该店铺所在的具有多个层的建筑物中该店铺所在的层的层信息；
从用户终端（200）接收由该用户终端所捕获的捕获图像，指示成像的方位的方位信息及指示该用户终端的位置的终端位置信息；
基于所接收的终端位置信息及方位信息与所存储的店铺位置信息，识别存在于所接收的捕获图像中所包含的建筑物中的至少一个店铺；
基于所述层信息识别所述捕获图像中的被识别的店铺所在层的位置；
生成显示信息，该显示信息用于将所述被识别的店铺的所述识别信息叠加显示于所述捕获图像的所述被识别的店铺所在层的位置；
将所生成的显示信息发送至所述用户终端，
其中，
所述层信息包括地上层信息及地下层信息，并且
控制单元以与用于显示通过所述地上层信息识别为存在于地上层的店铺的所述识别信息的显示信息不同的显示模式生成用于显示通过所述地下层信息识别为存在于地下层的店铺的所述识别信息的显示信息。
14.一种存储程序的非临时性计算机可读存储介质，该程序使信息处理装置执行如下步骤：
存储店铺信息，该店铺信息包括店铺的识别信息、指示该店铺的位置的店铺位置信息及指示在该店铺所在的具有多个层的建筑物中该店铺所在的层的层信息；
从用户终端（200）接收由该用户终端所捕获的捕获图像，指示成像的方位的方位信息及指示该用户终端的位置的终端位置信息；
基于所接收的终端位置信息及方位信息与所存储的店铺位置信息，识别存在于所接收的捕获图像中所包含的建筑物中的至少一个店铺；
基于所述层信息识别所述捕获图像中的被识别的店铺所在层的位置；
生成显示信息，该显示信息用于将所述被识别的店铺的所述识别信息叠加显示于所述捕获图像的所述被识别的店铺所在层的位置；
将所生成的显示信息发送至所述用户终端，
其中，
所述层信息包括地上层信息及地下层信息，并且
控制单元以与用于显示通过所述地上层信息识别为存在于地上层的店铺的所述识别信息的显示信息不同的显示模式生成用于显示通过所述地下层信息识别为存在于地下层的店铺的所述识别信息的显示信息。
CN201710024228.8A 2016-01-13 2017-01-13 信息处理装置、信息处理方法及存储程序的非临时性计算机可读存储介质 Active CN107015724B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-004058 2016-01-13
JP2016004058A JP6496671B2 (ja) 2016-01-13 2016-01-13 情報処理装置、端末装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN107015724A CN107015724A (zh) 2017-08-04
CN107015724B true CN107015724B (zh) 2021-05-11

Family

ID=59274970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710024228.8A Active CN107015724B (zh) 2016-01-13 2017-01-13 信息处理装置、信息处理方法及存储程序的非临时性计算机可读存储介质

Country Status (3)

Country Link
US (1) US10025985B2 (zh)
JP (1) JP6496671B2 (zh)
CN (1) CN107015724B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107101633A (zh) * 2017-04-13 2017-08-29 清华大学 一种可呈现疏散指令的智能穿戴设备及疏散指令呈现方法
CN107509014A (zh) * 2017-09-12 2017-12-22 陈政益 一种基于ar互动技术的新型互动应用方法
JP7013786B2 (ja) * 2017-10-16 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
CN107844547A (zh) * 2017-10-30 2018-03-27 口碑(上海)信息技术有限公司 基于用户定位信息识别店铺的方法及装置
US10921127B2 (en) * 2017-11-02 2021-02-16 Sony Corporation Augmented reality based electronic device to provide location tagging assistance in an indoor or outdoor area
PL3495202T3 (pl) * 2017-12-05 2021-02-08 Guima Palfinger S.A.S. System detekcji montowany na ciężarówce
US10699485B2 (en) * 2018-01-04 2020-06-30 Universal City Studios Llc Systems and methods for textual overlay in an amusement park environment
JP7259211B2 (ja) * 2018-05-07 2023-04-18 トヨタ自動車株式会社 情報処理装置、情報処理方法、及びプログラム
CN110610116A (zh) * 2018-06-15 2019-12-24 北京红马传媒文化发展有限公司 信息显示方法、信息显示装置和电子设备
CN109214280B (zh) * 2018-07-27 2021-10-01 北京三快在线科技有限公司 基于街景的店铺识别方法、装置、电子设备及存储介质
CN109189960A (zh) * 2018-11-12 2019-01-11 平安科技（深圳）有限公司 信息获取方法、信息获取装置及计算机存储介质
CN110175491B (zh) * 2018-11-13 2022-03-01 广东小天才科技有限公司 一种排队编号生成方法及可穿戴设备
WO2021125706A1 (ko) * 2019-12-18 2021-06-24 엘지전자 주식회사 차량 제어 장치 및 그것의 제어 방법
CN112541467A (zh) * 2020-12-21 2021-03-23 杭州光粒科技有限公司 信息显示方法、装置及设备、存储介质
WO2022154299A1 (ko) * 2021-01-12 2022-07-21 엘지전자 주식회사 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템
CN112817547A (zh) * 2021-01-22 2021-05-18 北京小米移动软件有限公司 显示方法及装置、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809637A (zh) * 2007-09-26 2010-08-18 松下电器产业株式会社 地图显示装置
JP2014021802A (ja) * 2012-07-20 2014-02-03 Zenrin Datacom Co Ltd 検索システム、検索サーバ及び携帯型端末用プログラム
CN103703483A (zh) * 2011-06-24 2014-04-02 乐天株式会社 信息提供装置、信息提供方法、信息提供程序、信息显示程序以及存储信息提供程序的计算机可读取的记录介质
CN103927324A (zh) * 2014-03-13 2014-07-16 中国联合网络通信集团有限公司 一种信息推送的方法及装置
CN104657885A (zh) * 2015-03-08 2015-05-27 卢丽花 一种商城定位导购系统
CN104991727A (zh) * 2015-07-20 2015-10-21 无线生活（杭州）信息科技有限公司 一种信息显示方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4025494B2 (ja) * 1999-12-15 2007-12-19 アルパイン株式会社 ナビゲーション装置
JP2002203072A (ja) * 2000-12-28 2002-07-19 Secom Co Ltd 施設情報の提供方法、及び施設情報提供システム
JP3932171B2 (ja) * 2001-11-30 2007-06-20 アルパイン株式会社 地下建築物立体表示装置
JP4153246B2 (ja) * 2002-06-14 2008-09-24 日本信号株式会社 リアルタイム情報を用いた情報提供システム
JP2006059136A (ja) 2004-08-20 2006-03-02 Seiko Epson Corp ビューア装置及びそのプログラム
JP2006091390A (ja) * 2004-09-24 2006-04-06 Mitsubishi Electric Corp 情報表示システム及び情報表示方法及び情報表示方法をコンピュータに実行させるためのプログラム及び情報表示端末装置
JP2011242816A (ja) 2008-09-09 2011-12-01 Tonchidot Corp 視界情報に仮想情報を付加して表示できるシステム
WO2011004608A1 (ja) * 2009-07-09 2011-01-13 頓智ドット株式会社 視界情報に仮想情報を付加して表示できるシステム
KR101295712B1 (ko) * 2010-11-22 2013-08-16 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
JP5728775B2 (ja) * 2011-03-22 2015-06-03 株式会社Ｗｈｅｒｅ 情報処理装置、及び情報処理方法
JP6444655B2 (ja) * 2014-01-14 2018-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法、滞在情報表示システム、表示制御装置、及び表示制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809637A (zh) * 2007-09-26 2010-08-18 松下电器产业株式会社 地图显示装置
CN103703483A (zh) * 2011-06-24 2014-04-02 乐天株式会社 信息提供装置、信息提供方法、信息提供程序、信息显示程序以及存储信息提供程序的计算机可读取的记录介质
JP2014021802A (ja) * 2012-07-20 2014-02-03 Zenrin Datacom Co Ltd 検索システム、検索サーバ及び携帯型端末用プログラム
CN103927324A (zh) * 2014-03-13 2014-07-16 中国联合网络通信集团有限公司 一种信息推送的方法及装置
CN104657885A (zh) * 2015-03-08 2015-05-27 卢丽花 一种商城定位导购系统
CN104991727A (zh) * 2015-07-20 2015-10-21 无线生活（杭州）信息科技有限公司 一种信息显示方法及装置

Also Published As

Publication number Publication date
CN107015724A (zh) 2017-08-04
JP2017126142A (ja) 2017-07-20
JP6496671B2 (ja) 2019-04-03
US10025985B2 (en) 2018-07-17
US20170200048A1 (en) 2017-07-13

Similar Documents

Publication Publication Date Title
CN107015724B (zh) 信息处理装置、信息处理方法及存储程序的非临时性计算机可读存储介质
US11037023B2 (en) Terminal device, information processing device, object identifying method, program, and object identifying system
US10677596B2 (en) Image processing device, image processing method, and program
EP2418621B1 (en) Apparatus and method for providing augmented reality information
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
CN102542905B (zh) 图像处理装置和图像处理方法
US8879784B2 (en) Terminal and method for providing augmented reality
US9823821B2 (en) Information processing apparatus, display control method, and program for superimposing virtual objects on input image and selecting an interested object
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
AU2018230677B2 (en) Target detection and mapping
JP6530794B2 (ja) 空間オブジェクト検索並べ替え方法及びクラウドシステム
KR102009223B1 (ko) 위치기반 공간객체 원격관리 방법 및 시스템
JP5535025B2 (ja) 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
JP2013222447A (ja) 情報提示システム
JP7001711B2 (ja) カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器
US10108882B1 (en) Method to post and access information onto a map through pictures
JP2016133701A (ja) 情報提供システム、及び情報提供方法
WO2013070125A1 (en) Method and system for determining a relation between a first scene and a second scene
JP6208977B2 (ja) 情報処理装置、通信端末およびデータ取得方法
CN110954064A (zh) 一种定位方法以及定位装置
CN115760985A (zh) 一种基于ar应用的室内空间定位方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant