CN109672799A - 信息处理装置、系统以及存储媒体 - Google Patents

信息处理装置、系统以及存储媒体 Download PDF

Info

Publication number
CN109672799A
CN109672799A CN201810922128.1A CN201810922128A CN109672799A CN 109672799 A CN109672799 A CN 109672799A CN 201810922128 A CN201810922128 A CN 201810922128A CN 109672799 A CN109672799 A CN 109672799A
Authority
CN
China
Prior art keywords
information
display
user
display information
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810922128.1A
Other languages
English (en)
Inventor
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN109672799A publication Critical patent/CN109672799A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00042Monitoring, i.e. observation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00Apparatus for electrographic processes using a charge pattern
    • G03G15/50Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5016User-machine interface; Display panels; Control console
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00Apparatus for electrographic processes using a charge pattern
    • G03G15/50Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5075Remote control machines, e.g. by a host
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G21/00Arrangements not provided for by groups G03G13/00 - G03G19/00, e.g. cleaning, elimination of residual charge
    • G03G21/16Mechanical means for facilitating the maintenance of the apparatus, e.g. modular arrangements
    • G03G21/1642Mechanical means for facilitating the maintenance of the apparatus, e.g. modular arrangements for connecting the different parts of the apparatus
    • G03G21/1657Wireless connection means, e.g. RFID
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1207Improving or facilitating administration, e.g. print management resulting in the user being informed about print result after a job submission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1229Printer resources management or printer maintenance, e.g. device status, power levels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1229Printer resources management or printer maintenance, e.g. device status, power levels
    • G06F3/1232Transmitting printer device capabilities, e.g. upon request or periodically
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285Remote printer device, e.g. being remote from client or server
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292Mobile client, e.g. wireless printing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00477Indicating status, e.g. of a job
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00Apparatus for electrographic processes using a charge pattern
    • G03G15/55Self-diagnostics; Malfunction or lifetime display
    • G03G15/553Monitoring or warning means for exhaustion or lifetime end of consumables, e.g. indication of insufficient copy sheet quantity for a job
    • G03G15/556Monitoring or warning means for exhaustion or lifetime end of consumables, e.g. indication of insufficient copy sheet quantity for a job for toner consumption, e.g. pixel counting, toner coverage detection or toner density measurement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0072Detecting the status of a connected apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0074Arrangements for the control of a still picture apparatus by the connected apparatus
    • H04N2201/0075Arrangements for the control of a still picture apparatus by the connected apparatus by a user operated remote control device, e.g. receiving instructions from a user via a computer terminal or mobile telephone handset
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种信息处理装置、系统以及存储媒体。信息处理装置包括控制部件,根据用户的位置来控制与特定位置关联的信息的显示,以提供与用户的位置相应的信息。

Description

信息处理装置、系统以及存储媒体
技术领域
本发明涉及一种信息处理装置、系统及存储媒体。
背景技术
在专利文献1、专利文献2中,揭示了一种摄像机(camera),以与现实背景同样的操作,来拍摄通过计算机图形技术(graphic)而生成的背景。
在专利文献3中,揭示了一种技术,其判断映照在拍摄图像上的被摄物与虚拟对象体(virtual object)在纵深方向上的前后关系,生成在拍摄图像中合成有虚拟对象体的图像。
现有技术文献
专利文献
专利文献1:日本专利特开2012-165447号公报
专利文献2:日本专利特开2008-288922号公报
专利文献3:日本专利特开2012-58968号公报
发明内容
[发明所要解决的问题]
本发明的目的在于提供与用户的位置相应的信息。
[解决问题的技术手段]
技术方案1所述的发明是一种信息处理装置,其包括:控制部件,根据用户的位置,来控制与特定位置关联的信息的显示。
技术方案2所述的发明是根据技术方案1所述的信息处理装置,其中所述特定位置与特定对象物的位置关联。
技术方案3所述的发明是根据技术方案2所述的信息处理装置,通过拍摄所述特定对象物来控制与所述特定位置关联的信息。
技术方案4所述的发明是根据技术方案2或3所述的信息处理装置,所述控制部件根据所述特定位置与所述用户的位置之间的位置关系来控制所述信息的显示。
技术方案5所述的发明是根据技术方案4所述的信息处理装置,所述位置关系包含所述特定位置与所述用户的位置之间的角度关系。
技术方案6所述的发明是根据技术方案4或技术方案5所述的信息处理装置,所述位置关系包含所述特定位置与所述用户的位置之间的距离关系。
技术方案7所述的发明是根据技术方案4至技术方案6中任一技术方案所述的信息处理装置,所述位置关系包含与所述用户相对于所述特定位置的与方向相关的关系。
技术方案8所述的发明是根据技术方案4至技术方案7中任一技术方案所述的信息处理装置,所述位置关系包含所述用户相对于所述特定位置的与高度相关的关系。
技术方案9所述的发明是根据技术方案4至技术方案8中任一技术方案所述的信息处理装置,根据所述位置关系的所述信息的显示控制,是在位置信息获取部件、拍摄部件及陀螺传感器在运转中的场合所进行的控制。
技术方案10所述的发明是一种信息处理装置,其包括:控制部件,根据用户的位置,来控制与特定图像关联的信息的显示。
技术方案11所述的发明是根据技术方案10所述的信息处理装置,所述控制部件根据与所述特定图像关联的对象物跟所述用户之间的位置关系,来控制所述信息的显示。
技术方案12所述的发明是根据技术方案11所述的信息处理装置,所述位置关系包含所述对象物与所述用户之间的角度关系。
技术方案13所述的发明是根据技术方案11或技术方案12所述的信息处理装置,所述位置关系包含所述对象物与所述用户之间的距离关系。
技术方案14所述的发明是根据技术方案11至技术方案13中任一技术方案所述的信息处理装置,所述位置关系包含所述用户相对于所述对象物的与方向相关的信息。
技术方案15所述的发明是根据技术方案11至14中任一技术方案所述的信息处理装置,所述位置关系包含所述用户相对于所述特定位置的与高度相关的关系。
技术方案16所述的发明是根据技术方案11至15中任一技术方案所述的信息处理装置,根据所述位置关系的所述信息的显示控制,是在位置信息获取部件、拍摄部件及陀螺传感器在运转中的场合所进行的控制。
技术方案17所述的发明是根据技术方案11至16中任一技术方案所述的信息处理装置,根据所述用户的移动速度来变更所述信息的显示。
技术方案18所述的发明是根据技术方案1至技术方案17中任一技术方案所述的信息处理装置,所述控制部件根据所述用户的位置来改变所述信息的显示内容,以作为所述信息显示的控制。
技术方案19所述的发明是根据技术方案1至技术方案18中任一技术方案所述的信息处理装置,所述控制部件根据所述用户的位置来改变所述信息的显示形态,以作为所述信息显示的控制。
技术方案20所述的发明是根据技术方案1至技术方案19中任一技术方案所述的信息处理装置,所述控制部件将所述信息附加于拍摄图像而显示。
技术方案21所述的发明是一种信息处理系统,包括:终端,发送与用户的位置有关的信息;及服务器,根据与所述用户的位置有关的信息,发送所述用户与特定对象物关联的位置的位置关系所对应的回应内容。其中根据所述回应内容在所述终端显示的拍摄图像上附加的信息的更新,是在所述终端与所述服务器的通信中同步地进行。
技术方案22所述的发明是一种存储媒体,存储使计算机(computer)作为控制部件发挥功能的程序,所述控制部件根据用户的位置,来控制与特定位置关联的信息的显示。
技术方案23所述的发明是一种存储媒体,其存储使计算机作为控制部件发挥功能的程序,所述控制部件根据用户的位置,来控制与特定图像关联的信息的显示。
[发明的效果]
根据技术方案1、技术方案10、技术方案22、技术方案23所述的发明,提供与用户的位置相应的信息。
根据技术方案4、技术方案11所述的发明,将与位置关系相应的信息提供给用户。
根据技术方案5、技术方案12所述的发明,将与角度关系相应的信息提供给用户。
根据技术方案6、技术方案13所述的发明,将与距离关系相应的信息提供给用户。
根据技术方案7、技术方案14所述的发明,将与跟方向有关的关系相应的信息提供给用户。
根据技术方案18所述的发明,根据用户的位置而将不同的信息提供给用户。
根据技术方案19所述的发明,依照与用户位置相应的显示形态来将信息提供给用户。
根据技术方案20所述的发明,与拍摄图像一同提供信息。
附图说明
图1是表示本发明的第1实施方式的信息处理系统的结构的框图。
图2是表示终端装置的结构的框图。
图3是表示服务器(server)的结构的框图。
图4是表示图像形成装置的外观的示意图。
图5是表示画面的图。
图6是表示画面的图。
图7是表示画面的图。
图8是表示画面的图。
图9是表示图像形成装置与用户的示意图。
图10是表示画面的图。
图11是表示画面的图。
图12是表示画面的图。
图13是表示画面的图。
图14是表示画面的图。
图15是表示画面的图。
图16是表示画面的图。
图17是表示画面的图。
图18是表示画面的图。
图19是表示画面的图。
图20是表示图像形成装置与用户的位置关系的图。
图21是表示画面的图。
图22是表示画面的图。
图23是表示图像形成装置与用户的位置关系的图。
图24是表示用户与目标体之间的位置关系的图。
图25是表示画面的图。
图26是表示画面的图。
图27是表示画面的图。
图28是表示画面的图。
[符号的说明]
10:终端装置
12:服务器
14、26:通信部
16:UI部
18:摄像机
20、28:存储部
22、30:控制部
24、32:确定部
34、78、92:图像形成装置
36:标记
38:画面
40、50、52、58、84、112、114:图像
42、44、46、54、56、60、62、70、72、74、74a、74b、74c、86、88、90:显示信息
48:人
64、66、68:显示信息群
76:相关信息
80、96:第1位置
82、98:第2位置
92a:前面
92b:背面
92c:右侧面
92d:左侧面
94:假想线
100:第3位置
102:第4位置
104:第5位置
106、α:目标体
108:用户
110:用户群
116:箭头
118:记号
120、126:补充信息
122、124:信息(字符串)
N:通信路径
具体实施方式
<第1实施方式>
参照图1来说明本发明的第1实施方式的信息处理系统。图1中表示了第1实施方式的信息处理系统的一例。
作为一例,第1实施方式的信息处理系统包含终端装置10与服务器12。图1所示的示例中,终端装置10与服务器12具备经由网络(network)等通信路径N而彼此通信的功能。信息处理系统中,也可包含多个终端装置10或多个服务器12。
终端装置10为个人计算机(Personal Computer,PC)、平板(tablet)PC、智能电话(smartphone)、移动电话等装置,具有与其他装置之间收发数据的功能。而且,终端装置10也可为可穿戴式(wearable)终端(手表型终端、腕带(wristband)型终端、眼镜型终端、戒指型终端、隐形眼镜(contact lens)型终端、体内植入型终端、可听式(hearable)终端等)。
服务器12是进行数据的管理、用户信息的管理等的装置。
第1实施方式中,作为一例,通过使用增强现实(Augmented Reality,AR)技术(扩展现实技术),从而将各种信息显示于终端装置10。例如,将与拍摄对象关联的信息显示于终端装置10。作为AR技术,使用公知的AR技术。例如,使用利用位置信息的位置AR技术、利用图像分析的图像AR技术等。作为图像AR技术,例如采用利用二维条形码(bar code)等标记(marker)的标记型AR技术、不利用标记而利用图像识别技术的无标记(marker less)型AR技术等。
以下,参照图2来详细说明终端装置10的结构。
通信部14为通信接口,具有向其他装置发送数据的功能、以及从其他装置接收数据的功能。通信部14既可为具有无线通信功能的通信接口,也可为具有有线通信功能的通信接口。通信部14例如也可支持一种或多种通信方式,依照适合于通信对方的通信方式(即,通信对方所支持的通信方式)来与通信对方进行通信。通信方式例如为红外线通信、可见光通信、Wi-Fi(注册商标)通信、接近式无线通信(例如近场通信(Near FieldCommunication,NFC)等)等。作为接近式无线通信,使用Felica(注册商标)、蓝牙(Bluetooth)(注册商标)、射频识别(Radio Frequency Identifier,RFID)等。当然,也可使用其他方式的无线通信作为接近式无线通信。通信部14既可根据通信对方来切换通信方式或频带,也可根据周围环境来切换通信方式或频带。
UI部16为用户接口部,包含显示部与操作部。显示部例如为液晶显示器(display)等显示装置。操作部例如为触控面板(touch panel)或键盘(keyboard)等输入装置。当然,也可为兼作显示部与操作部的用户接口(例如包含触控式显示器、或在显示器上显示电子键盘等的装置等)。而且,UI部16也可包含麦克风(microphone)等拾音部或扬声器(speaker)等发声部。此时,既可通过语音输入来将信息输入至终端装置10,也可通过语音来发出信息。
作为拍摄部件的摄像机18通过对拍摄对象进行拍摄而生成图像数据(例如静态图像数据或动态图像数据)。图像例如被显示于UI部16的显示部。显示于显示部的图像也可由用户进行操作。另外,也可将由外部的摄像机所拍摄的图像数据经由通信路径发送至终端装置10,并将此图像显示于UI部16的显示部。此时,此图像也可由用户进行操作。
存储部20是硬盘(hard disk)或存储器(memory)(例如固态硬盘(Solid StateDrive,SSD)等)等存储装置。在存储部20中,例如存储有显示信息管理信息、各种数据、各种程序(例如操作系统(Operating System,OS)、各种应用程序(application program)(应用软件)等)、表示终端装置10的地址(address)的信息(终端地址信息)、表示服务器12的地址的信息(服务器地址信息)等。在存储部20中,也可存储有与其他用户关联的地址信息、或表示其他机器的地址的信息(设备(device)地址信息)。当然,它们既可存储在不同的存储装置中,也可存储在一个存储装置中。
以下,对显示信息管理信息进行说明。
显示信息管理信息是用于对通过利用AR技术而显示于UI部16的显示部的信息进行管理的信息。作为一例,显示信息管理信息包含被用于位置AR技术的位置AR用管理信息、及被用于图像AR技术的图像AR用管理信息。
作为一例,位置AR用管理信息是表示:表示位置的信息(位置信息)、与关于所述位置而显示于显示部的信息(显示信息、内容物(contents)信息)的对应的信息。即,位置对应有显示信息。一个位置信息对应有一个或多个显示信息。位置信息既可为表示绝对位置的信息,也可为表示相对位置的信息。位置信息例如是表示经度与纬度的信息。位置信息中也可包含表示高度的信息。
作为一例,图像AR用管理信息是表示用于识别对象物的信息(对象物识别信息)、与关于所述对象物而显示于显示部的信息(显示信息)的对应的信息。即,对象物对应有显示信息。一个对象物识别信息对应有一个或多个显示信息。对象物识别信息例如是对象物的名称或ID、表示对象物的种类的信息、与对象物关联的图像(对象物图像)、表示对象物的地址的信息(对象物地址信息)、表示对象物的形状的信息等。也可将表示设置有对象物的位置的信息(位置信息)用作对象物识别信息。此时,位置AR用管理信息与图像AR用管理信息可以说是相同的管理信息。
对象物例如为机器、建筑物(例如店铺、大厦、车站、医院、塔、其他设施等)、其他物体(例如信号机、标识、广告牌、其他建造物或人工建筑等)、道路、动物等。
机器例如为具备图像形成功能的图像形成装置、PC、平板PC、智能电话、移动电话、机器人(robot)(人型机器人、人以外的动物型机器人、除这些以外的机器人等)、投影机(projector)、液晶显示器(display)等显示装置、记录装置、再生装置、摄像机等摄像装置、冰箱、电饭煲、微波炉、咖啡机(coffee maker)、吸尘器、洗衣机、空调机、照明机器、时钟、监控摄像机、汽车、二轮车、飞机(例如无人飞机(所谓的遥控无人驾驶飞机(drone)))、游戏机、各种传感(sensing)机器(例如温度传感器(sensor)、湿度传感器、电压传感器、电流传感器等)等装置。机器既可为对用户输出一输出(output)的机器(例如图像形成装置或PC等),也可为不对用户输出一输出的机器(例如传感机器)。机器的概念范畴也可包含全盘机器。例如,信息机器、影像机器、音响机器、其他机器也可包含在第1实施方式的机器的范畴内。
当对象物为机器时,也可使用所述机器的型号、或用于管理所述机器的信息(例如资产管理编号等)来作为所述机器的对象物识别信息。而且,当对象物为机器时,显示信息例如也可包含表示所述机器所具有的功能的信息、表示所述机器的状态的信息等,以作为与所述机器相关的信息。当对象物为店铺时,显示信息例如也可包含与所述店铺中销售的商品相关的信息等,以作为与所述店铺相关的信息。
对象物图像例如既可为表示对象物的外侧(例如机器的框体或整个建筑物)的图像,也可为对象物的内侧(例如表示打开机器的框体而从外部看到内部的状态的图像、或表示建筑物内部的图像),还可为表示由片材(sheet)等物体覆盖着对象物的状态的图像。
例如,终端装置10获取位置信息、显示信息或对象物识别信息并登记到显示信息管理信息中。这些信息例如既可通过利用互联网(Internet)等来获取,也可由用户或管理者等予以输入。而且,终端装置10也可在任意时机(timing)、定期地或者在由用户或管理者等所指定的时机等,更新显示信息管理信息。当然,终端装置10自身也可不进行显示信息管理信息的生成或更新,而是由服务器12等外部装置进行显示信息管理信息的生成或更新。此时,由外部装置所生成或更新的显示信息管理信息从外部装置发送至终端装置10并存储于存储部20中。
控制部22具有对终端装置10的各部的动作进行控制的功能。控制部22例如进行通信部14的通信控制、UI部16的显示部上的信息显示的控制、对存储部20的数据写入、从存储部20的信息读取等。而且,控制部22包含确定部24。
确定部24具有下述功能,即,通过参照显示信息管理信息,从而确定显示于UI部16的显示部上的显示信息。
例如,当使用位置AR技术时,确定部24通过利用搭载于终端装置10中的全球定位系统(Global Positioning System,GPS)、无线通信、各种传感器等,从而获取表示终端装置10(用户)的当前位置(例如纬度、经度、高度等)的位置信息,进而,通过利用搭载于终端装置10中的地磁传感器(所谓的电子罗盘(compass))、加速度传感器或陀螺(gyro)传感器等,从而获取表示终端装置10的摄像机18(用户)所朝向的方位的方位信息。接下来,确定部24通过参照位置AR用管理信息,从而基于终端装置10(用户)的当前位置(例如纬度、经度、高度等)、与各显示信息对应的位置(例如纬度、经度、高度等)和摄像机18的朝向,来确定显示于显示部的显示信息,并且决定显示信息在显示部上的显示位置。确定部24例如确定与跟终端装置10(用户)之间的距离为预定阈值以下的位置对应的显示信息。
当使用图像AR技术时,确定部24通过图像AR技术来识别对象物,并通过参照图像AR用管理信息,来确定与所述对象物对应的显示信息。当使用标记型AR技术时,确定部24基于对象物上所设的标记来识别对象物,并通过利用所述识别结果来确定与所述对象物对应的显示信息。当使用无标记型AR技术时,确定部24基于对象物的形状(例如外观)来识别对象物,并通过利用所述识别结果,来确定与所述对象物对应的显示信息。与所识别的对象物相关的信息也可存储在存储部20中。
另外,也可不使用AR技术而识别对象物。例如,若是连接于网络的机器,则也可基于网际协议(Internet Protocol,IP)地址来识别机器,还可读出机器ID来识别机器。进而,当机器具有红外线通信、可见光通信、Wi-Fi、蓝牙等各种无线通信功能时,也可通过利用无线通信功能来获取机器的ID,从而识别机器。
控制部22使由确定部24所确定的显示信息显示于UI部16的显示部。此时,控制部22以将多个显示信息中所含的各显示信息的一部分或全部显示于显示部的方式,来控制多个显示信息的显示形态。即,控制部22以将各显示信息至少部分地显示于显示部的方式,来控制多个显示信息的显示形态。而且,控制部22也可将所述显示信息作为语音信息而输出。此时,所述显示信息是从扬声器作为语音而发出。
以下,参照图3来详细说明服务器12的结构。图3中表示了服务器12的结构。
通信部26为通信接口,具有向其他装置发送数据的功能、以及从其他装置接收数据的功能。通信部26既可为具有无线通信功能的通信接口,也可为具有有线通信功能的通信接口。
存储部28为硬盘或存储器(例如SSD等)等存储装置。在存储部28中,例如存储有显示信息管理信息、各种数据、各种程序、终端装置10的终端地址信息、服务器12的服务器地址信息等。在存储部28中,也可存储有与各用户关联的地址信息、机器的设备地址信息、与通过识别处理而识别的对象物相关的信息等。当然,它们既可存储在不同的存储装置中,也可存储在一个存储装置中。
存储于存储部28中的显示信息管理信息是与存储于终端装置10的存储部20中的显示信息管理信息相同的信息。
控制部30具有对服务器12的各部的动作进行控制的功能。控制部30例如进行通信部26的通信控制、对存储部28的数据写入、从存储部28的数据读取等。而且,控制部30包含确定部32。确定部32具有与终端装置10的确定部24相同的功能。
显示信息管理信息既可存储于终端装置10的存储部20中,也可存储在服务器12的存储部28中。当在终端装置10的存储部20中存储有显示信息管理信息时,显示信息管理信息也可不存储于服务器12的存储部28中。当在服务器12的存储部28中存储有显示信息管理信息时,显示信息管理信息也可不存储于终端装置10的存储部20中。
而且,当在终端装置10中设有确定部24时,确定部32也可不设于服务器12中。同样,当在服务器12中设有确定部32时,确定部24也可不设于终端装置10中。
确定部的处理既可由终端装置10来进行,也可由服务器12来进行。例如,在终端装置10中设有确定部24的情况下,若显示信息管理信息并非存储于终端装置10的存储部20中,而是存储于服务器12的存储部28中,则终端装置10的确定部24经由通信路径N来访问(access)服务器12,从而参照服务器12中存储的显示信息管理信息。若显示信息管理信息存储于终端装置10的存储部20与服务器12的存储部28这两者中,则终端装置10的确定部24参照预定的显示信息管理信息。当然,若显示信息管理信息并非存储于服务器12的存储部28中,而是存储于终端装置10的存储部20中,则终端装置10的确定部24参照自身装置的存储部20中存储的显示信息管理信息。服务器12的确定部32执行处理时也同样。
以下,参照图4来说明对象物识别信息的获取处理。图4中,示意性地表示了作为机器的一例的图像形成装置34的外观。图像形成装置34是例如具有打印(print)功能、扫描(scan)功能、复印(copy)功能及传真(facsimile)功能中的至少一个功能的机器。此处,对下述处理进行说明,即,用于通过利用标记型AR技术,来获取图像形成装置34的作为对象物识别信息的设备识别信息。在图像形成装置34的框体上,设有二维条形码等标记36。标记36是对图像形成装置34的设备识别信息进行编码所得的信息。当用户通过终端装置10的摄像机18对标记36进行拍摄时,生成表示标记36的图像数据。终端装置10的确定部24通过对所述图像数据中表示的标记图像适用解码处理而提取设备识别信息。由此来识别图像形成装置34。接下来,确定部24通过参照图像AR用管理信息,从而确定与所提取的设备识别信息(对象物识别信息)对应的显示信息。终端装置10的控制部22使所述显示信息显示于UI部16的显示部。例如,在图像AR用管理信息中,对于图像形成装置34的设备识别信息,作为显示信息的一例而对应有表示图像形成装置34的状态的信息、表示图像形成装置34所具有的功能的信息等,这些信息被显示于UI部16的显示部。
另外,服务器12的确定部32也可通过对表示标记36的图像数据适用解码处理,从而提取设备识别信息。此时,将图像数据从终端装置10发送至服务器12,在服务器12中对所述图像数据适用解码处理。而且,也可由服务器12的确定部32来确定显示信息。此时,将所述显示信息从服务器12发送至终端装置10,并显示于UI部16的显示部。
标记36也可对与图像形成装置34相关的信息(例如表示图像形成装置34所具有的功能的信息等)进行编码而包含。此时,通过对表示标记36的图像数据适用解码处理,从而提取所述图像形成装置34的设备识别信息,并且,也提取表示所述图像形成装置34所具有的功能的信息。
在通过适用无标记型AR技术来获取设备识别信息时,例如用户通过摄像机18,来拍摄对象物(例如图像形成装置34)的外观的全部或一部分。当然,有用的是:可通过拍摄而获得图像形成装置34的名称(例如商品名)、型号或资产管理编号等用于确定对象物的信息。通过拍摄,生成表示图像形成装置34的外观的全部或一部分的外观图像数据。终端装置10的确定部24基于所述外观图像数据来识别图像形成装置34。例如,在终端装置10的存储部20中,针对每个对象物而存储有外观图像对应信息,所述外观图像对应信息表示:表示对象物外观的全部或一部分的外观图像数据、与所述对象物的对象物识别信息的对应。确定部24例如将通过拍摄而生成的外观图像数据、与外观图像对应信息中所含的各外观图像数据进行比较,基于其比较结果来确定图像形成装置34的对象物识别信息。例如,确定部24从通过拍摄而生成的外观图像数据中提取图像形成装置34的外观特征,并在外观图像对应信息中所含的外观图像数据群中,确定表示与此外观的特征相同或类似的特征的外观图像数据,并确定与所述外观图像数据对应的对象物识别信息。由此来识别通过摄像机18所拍摄的图像形成装置34。当拍摄图像形成装置34的名称(例如商品名)或型号,并生成表示名称或型号的外观图像数据时,也可基于所述外观图像数据中所示的名称或型号来识别图像形成装置34。确定部24通过参照图像AR用管理信息,从而确定与对象物识别信息对应的显示信息。当将外观图像数据用作对象物识别信息时,即,当在图像AR用管理信息中,作为对象物识别信息的外观图像数据与显示信息对应时,确定部24也可通过参照图像AR用管理信息,来确定与通过拍摄而生成的外观图像数据对应的显示信息。终端装置10的控制部22使所述显示信息显示于UI部16的显示部。
另外,服务器12的确定部32也可对通过拍摄而生成的外观图像数据、与外观图像对应信息中所含的各外观图像数据进行比较,从而识别对象物,进而,确定与对象物对应的显示信息。此时,所述显示信息从服务器12发送至终端装置10,并显示于UI部16的显示部。
当利用位置AR技术时,终端装置10的确定部24通过利用GPS、无线通信、各种传感器等,来确定终端装置10(用户)的当前位置(例如纬度、经度、高度等),进而,通过利用地磁传感器、加速度传感器或陀螺传感器等,从而确定摄像机18(用户)所朝向的方位。接下来,确定部24通过参照位置AR用信息管理信息,从而基于终端装置10(用户)的当前位置、与各显示信息对应的位置和摄像机18的朝向,来确定显示于显示部的显示信息,并且确定显示信息的显示位置。例如,当终端装置10与图像形成装置34之间的距离为阈值以下,且摄像机18朝向图像形成装置34时,确定部24在位置AR用管理信息中,确定与图像形成装置34的设置位置对应的显示信息。终端装置10的控制部22使所述显示信息显示于UI部16的显示部。
另外,服务器12的确定部32也可基于终端装置10的当前位置、与各显示信息对应的位置和摄像机18的朝向,来确定显示于显示部的显示信息。此时,所述显示信息从服务器12发送至终端装置10,并显示于UI部16的显示部。
也可通过使用多个识别技术来识别对象物,还可确定显示信息。例如,也可通过使用从标记型AR技术、无标记型AR技术、及位置AR技术中选择的多个AR技术来识别对象物,还可确定显示信息。而且,若通过某AR技术无法识别对象物的情况、或无法确定显示信息,则也可使用其他AR技术来进行对象物的识别或显示信息的特定。例如,若通过标记型AR技术或无标记型AR技术无法识别对象物,且无法确定显示信息,则也可通过使用位置AR技术来确定显示信息。
以下,举具体例来详细说明终端装置10的动作。
(具体例1)
参照图5来说明具体例1。图5中表示了显示于终端装置10的画面的一例。终端装置10的控制部22使画面38显示于UI部16的显示部。
在画面38上,显示有通过AR技术而确定的显示信息。例如,当通过摄像机18而拍摄了图像形成装置34时,控制部22使与图像形成装置34关联的图像40显示于画面38。
在使用位置AR技术的情况下,当摄像机18朝向图像形成装置34,且终端装置10与图像形成装置34之间的距离为阈值以下时,终端装置10的确定部24在位置AR用管理信息中,确定与图像形成装置34的设置位置对应的显示信息42、44。
当通过摄像机18来拍摄图像形成装置34上所设的标记36,并适用标记型AR技术时,确定部24在图像AR用管理信息中,确定与图像形成装置34的设备识别信息(对象物识别信息)对应的显示信息42、44。通过摄像机18来拍摄图像形成装置34的一部分或全部,并适用无标记型AR技术时也同样。
控制部22使显示信息42、44显示于画面38。作为一例,显示信息42、44是表示图像形成装置34的状态的信息。具体而言,显示信息42是表示搭载于图像形成装置34中的墨粉(toner)不足的状态的信息,显示信息44是表示收容于图像形成装置34中的纸张不足的状态的信息。当然,也可对于图像形成装置34的设置位置,而对应有表示图像形成装置34的功能的显示信息,并将表示所述功能的显示信息显示于画面38。
图像40既可为通过摄像机18来拍摄图像形成装置34而生成的拍摄图像(例如照片或动态图像中的一帧(frame)等),也可为示意性地表示图像形成装置34的图像(例如图标(icon))。
控制部22以将各显示信息的一部分或全部显示于画面38的方式,来控制各显示信息的显示形态。图5所示的示例中,控制部22以将显示信息42的一部分或全部显示于画面38,并且将显示信息44的一部分或全部显示于画面38的方式,来控制显示信息42、44的显示形态。控制部22既可以显示信息42与显示信息44彼此完全不重合的方式而使显示信息42、44显示于画面38,也可以使显示信息42与显示信息44彼此部分重合的方式而使显示信息42、44显示于画面38。即,终端装置10的控制部22以下述方式来控制多个显示信息的显示形态,即,某个显示信息不会被其他显示信息完全覆盖而成为用户看不到的状态。
例如,显示信息42、44分别显示于预定的显示区域内。即,针对一个显示信息而使用一个显示区域,各显示信息显示于各自的显示区域内。各显示区域的显示形态被控制为,各显示区域的一部分或全部显示于画面38上。
而且,控制部22使显示信息42、44关联于图像40而显示于画面38上。例如,控制部22使显示信息42、44局部地重叠显示于图像40上。图5所示的示例中,显示信息42、44分别显示于与图像40相连且具有弹出框状形状的显示区域内,各显示区域部分重叠地显示于图像40上。另外,所述形状不过是一例,也可使用其他形状。而且,显示区域的边界自身也可不显示,而仅显示所述显示信息所示的字符串。
控制部22通过对显示信息42、44各自的显示位置、各显示区域的形状或大小、显示于各显示区域内的字符串的显示尺寸等进行调整,从而使显示信息42、44各自的一部分或全部显示于画面38。例如,显示信息(例如显示信息42)所示的字符数越多,则控制部22使所述显示信息显示于越大的显示区域内。此时,若其他显示信息(例如显示信息44)全部被比其大的显示区域所覆盖,则终端装置10的控制部22减小显示信息42所表示的字符的显示尺寸,而使显示信息42显示于更小的显示区域内,以使所述其他显示信息(显示信息44)的至少一部分不会被覆盖而得以显示。借此,将各显示信息的至少一部分显示于画面38上。
图5所示的示例中,在显示信息42上,部分重叠地显示有显示信息44。即,显示信息44较显示信息42而显示于前面侧。在此情况下,当用户操作UI部16来指定显示信息42时(例如,在画面38上按下显示信息42时),控制部22使显示信息42较显示信息44而显示于前面侧。借此,用户所指定的显示信息不会被其他显示信息覆盖而得以显示。
而且,当由用户指定了显示信息时,控制部22也可使与所述显示信息相关的更详细的信息显示于画面38。例如,当由用户指定了显示信息44(表示缺纸的信息)时,控制部22例如使表示应补充的纸张的尺寸或托盘(tray)的信息等作为更详细的信息而显示于画面38上。例如,控制部22在由用户指定了显示于最前面的显示信息时,也可使关于所述显示信息的更详细的信息显示于画面38。作为另一例,控制部22也可不论显示信息是否显示于最前面,而在用户对显示信息指定了预定时间以上的情况下(进行了所谓的长按的情况下),使关于所述显示信息的更详细的信息显示于画面38。控制部22从对象物(例如图像形成装置)或服务器12等获取详细信息。
另外,也可使多个显示信息显示于一个显示区域(例如弹出框状的区域)内。在此情况下,对所述显示区域内的字符的大小或配置等进行调整,以显示各显示信息的至少一部分。
图5所示的示例中,显示了与一个对象物(例如图像形成装置34)相关的显示信息,但当识别出多个对象物时,将与所述多个对象物各自相关的显示信息显示于画面38。所述多个对象物既可为彼此相同种类的对象物,也可为彼此不同种类的对象物。例如,当适用标记型AR技术而识别出图像形成装置34与PC作为对象物时,控制部22使与图像形成装置34对应的显示信息(例如显示信息42、44)和与PC对应的显示信息显示于画面38。而且,当通过标记型AR技术而识别出图像形成装置34,从而确定了与图像形成装置34对应的显示信息,进而,通过位置AR技术而确定了与周边的建筑物等对应的显示信息时,控制部22使与图像形成装置34对应的显示信息和与周边的建筑物等对应的显示信息显示于画面38。此种情况下,控制部22也以各显示信息的至少一部分显示于画面38的方式,来控制各显示信息的显示形态。
如上所述,根据具体例1,各显示信息不会被其他显示信息或图像完全覆盖而得以显示,因此可将各显示信息的至少一部分提供给用户。
控制部22也可使显示信息显示于UI部16的显示部,并且将所述显示信息作为语音信息而输出。例如,从扬声器发出基于所述语音信息的语音。
另外,也可针对对象物的每个部分而对应有显示信息。所述对应被登记在显示信息管理信息中。此时,确定部24通过图像AR技术来识别对象物的部分,并确定与所述部分对应的显示信息。控制部22对应于与所述部分关联的图像而使所述显示信息显示于画面38。例如,假设图像形成装置34包含本体、自动原稿送给装置及后处理装置,对于本体,例如对应有表示打印功能的显示信息,对于自动原稿送给装置,对应有表示扫描功能的显示信息,对于后处理装置,对应有表示装订(staple)功能的显示信息。当通过图像AR技术而识别出图像形成装置34的本体时,确定部24确定与本体对应的显示信息(表示打印功能的信息),控制部22使所述显示信息显示于画面38。如此,通过使显示信息对应于每个部分,从而即使在拍摄了相同的对象物的情况下,也能够针对所识别的每个部分而将不同的显示信息提供给用户。
(具体例2)
参照图6来说明具体例2。图6中表示了画面。例如,当显示信息46被显示信息42、44完全覆盖,而显示信息46全部未得到显示的情况下,终端装置10的控制部22通过使显示信息42、44、46各自的显示位置错开,从而使显示信息42、44、46各自的至少一部分显示于画面38。另外,显示信息46是表示图像形成装置34正在传真接收中的信息。
例如,当图像形成装置34未在进行传真接收时,如图5所示,控制部22使显示信息42、44显示于画面38。当在此状态下,图像形成装置34开始传真接收时,终端装置10的确定部24获取表示传真接收的显示信息46,以作为表示图像形成装置34的状态的显示信息,控制部22除了显示信息42、44以外,还使显示信息46显示于画面38。另外,表示图像形成装置34的状态的显示信息46被预先登记在显示信息管理信息中,确定部24从显示信息管理信息中获取显示信息46。控制部22调整显示信息42、44、46的显示位置,以使显示信息42、44、46各自的至少一部分显示于画面38。当然,控制部22也可调整各显示信息所表示的字符的显示尺寸,以使显示信息42、44、46各自的至少一部分显示于画面38。
通过像以上那样使各显示信息的显示位置错开显示,从而各显示信息不会被其他显示信息或图像完全覆盖而得以显示。
在具体例2中,当用户操作UI部16而指定了显示信息时,控制部22也使由用户所指定的显示信息较其他显示信息而显示于前面侧。例如,当显示信息44的一部分被显示信息46覆盖,但用户指定了显示信息44时,显示信息44较其他显示信息而显示于前面侧。即,显示信息44未被其他显示信息覆盖而得以显示。
(具体例3)
参照图7来说明具体例3。图7中表示了画面。图7所示的示例中,终端装置10的控制部22使一个显示信息(例如显示信息42)全部显示于画面38上,且使其他显示信息(例如显示信息44、46)的一部分显示于画面38,以此方式较显示信息42而显示于背面侧。即,控制部22以将显示信息42重叠于显示信息42、44上,并且显示信息44、46各自的一部分显示于画面38的方式,来使各显示信息的显示位置错开地使显示信息42、44、46显示于画面38上。若作进一步详细说明,则以显示所述显示信息46的一部分的方式,将显示信息44重叠显示于显示信息46上,进而,以显示所述显示信息44的一部分的方式,将显示信息42重叠显示于显示信息44上。如此,一面逐渐改变显示位置,一边重叠显示多个显示信息。
例如,当用户操作UI部16而指定了显示于最前面的显示信息(例如显示信息42)时,控制部22使显示在显示信息42下一个的显示信息44显示于最前面,使显示信息42显示于显示信息46之下。同样,当用户指定了显示欲最前面的显示信息44时,控制部22使显示在显示信息44下一个的显示信息46显示于最前面。借此,将各显示信息提供给用户,并且通过简便的操作来将特定的显示信息全部提供给用户。另外,当用户对显示于最前面的显示信息指定了预定时间以上时,控制部22也可使关于所述显示信息的详细信息(细节)显示于画面38。
具体例1至具体例3中,控制部22也可根据各显示信息的优先级来改变显示形态。例如,优先级越高的显示信息,控制部22使其显示于越前面侧。图6所示的示例中,假设显示信息42的优先级最高(第1),显示信息44的优先级为第2,显示信息46的优先级为第3。此时,控制部22使显示信息42显示于最前面,使显示信息44的一部分以被显示信息42覆盖的方式显示于显示信息42之下,且以使显示信息46的一部分被显示信息42、44覆盖的方式,而使显示信息46显示于显示信息44之下。
优先级例如既可由用户而定,也可基于各显示信息的显示历史而定,还可基于紧急度而定。例如,也可对预定期间内的显示次数越多的显示信息,给予越高的优先级。而且,也可对预定期间内由用户指定的次数越多的显示信息,给予越高的优先级。而且,当发生预定的紧急事件(event)时(例如,机器发生了故障时等),表示此意旨的显示信息的优先级也可成为最高。
如上所述,通过将优先级高的显示信息重叠显示于优先级低的显示信息上,从而优先级高的显示信息比起优先级低的显示信息,能以更醒目的显示形态提供给用户。
(具体例4)
参照图8来说明具体例4。图8中表示了画面。图8所示的示例中,终端装置10的控制部22以各显示信息(例如显示信息42、44、46)不会彼此重叠的方式,而使各显示信息(例如显示信息42、44、46)显示于画面38。控制部22通过调整各显示区域的显示位置、各显示信息所表示的字符的显示尺寸、或者显示区域的形状或大小,从而以各显示信息不会彼此重叠的方式而使各显示信息显示于画面38。借此,将各显示信息全部提供给用户。
(具体例5)
参照图9及图10来说明具体例5。图9中示意性地表示了图像形成装置34与人48。图10中表示了画面。终端装置10的控制部22在显示信息的显示过程中,有新图像追加显示于画面38的情况下,使显示信息较所述新图像而显示于前面侧。例如,假设如图9所示,在图像形成装置34与终端装置10之间存在人48(障碍物的一例),通过摄像机18拍摄到图像形成装置34与人48。在此情况下,若与人48对应的显示信息未登记在显示信息管理信息中,则控制部22如图10所示,使与图像形成装置34对应的显示信息42、44、46较与人48关联的图像50而显示于前面侧。即,控制部22使显示信息42、44、46重叠显示于图像50上。
如上所述,通过显示信息较与所述显示信息不相关的其他图像而显示于前面侧,从而即使在显示有其他图像的情况下,显示信息也不会被其他图像遮掩而提供给用户。
另外,在显示信息管理信息中登记有与人48对应的显示信息的情况下,控制部22使所述显示信息显示于画面38。此时,控制部22以所述显示信息与显示信息42、44、46各自的至少一部分显示于画面38的方式,来控制各显示信息的显示形态。
(具体例6)
参照图11及图12来说明具体例6。图11及图12表示了画面。例如,通过摄像机18拍摄了图像形成装置与PC,并通过图像AR技术或位置AR技术,而确定了与图像形成装置(或图像形成装置的设置位置)对应的显示信息和与PC(或PC的设置位置)对应的显示信息。而且,如图11所示,在画面38上显示有与图像形成装置关联的图像40和与PC关联的图像52。另外,图像52既可为通过利用摄像机18来拍摄PC而生成的拍摄图像(例如照片或动态图像中的一帧等),也可为示意性地表示PC的图像(例如图标)。
具体例6中,在UI部16的显示部上显示多个显示信息中的与特定物相关的显示信息。特定物例如既可为由用户所指定的对象物,也可预先决定。此处,假设图像形成装置被指定为特定物。此时,如图12所示,控制部22不使与PC对应的显示信息显示于画面38,而使与图像形成装置对应的显示信息42、44、46显示于画面38。借此,不显示与特定物以外的对象物相关的显示信息,因此与也显示与特定物以外的对象物相关的显示信息的情况相比,可将与特定物相关的显示信息以更显眼的状态提供给用户。
具体例6中,也与所述具体例1至具体例5同样地,终端装置10的控制部22以使与作为特定物的图像形成装置对应的显示信息42、44、46部分重叠地显示于与图像形成装置关联的图像40上,且使显示信息42、44、46各自的一部分或全部显示于画面38上的方式,来控制显示信息42、44、46的显示形态。图12所示的示例中,与图8所示的示例同样地,在画面38上显示有各显示信息的全部。当然,也可与图5至图7所示的示例同样地,通过使各显示信息彼此部分重叠地显示,从而将各显示信息的一部分显示于画面38上。
另外,也可由用户来变更特定物。例如,当在画面38上显示有与图像形成装置相关的显示信息42、44、46时,若用户操作UI部16而指定了与PC关联的图像52,则控制部22将PC识别为特定物,不显示所述显示信息42、44、46,而使与PC对应的显示信息显示于画面38。
而且,也可规定多个特定物。例如,执行用于选择特定物的模式,当用户指定了多个对象物时,将所述多个对象物识别为特定物。例如,当用户指定了图像形成装置与PC时,将图像形成装置与PC识别为特定物,将与图像形成装置对应的显示信息42、44、46和与PC对应的显示信息显示于画面38上。
(具体例7)
具体例7中,终端装置10的控制部22使与摄像机18的焦点所对着的部位(焦点所对准的部位)对应的显示信息显示于UI部16的显示部。例如,在图11所示的示例中,若焦点对着图像形成装置,而焦点未对着PC,则控制部22如图12所示,不使与PC对应的显示信息显示于画面38,而使与图像形成装置对应的显示信息42、44、46显示于画面38。此时,控制部22也以使显示信息42、44、46部分重叠地显示于与图像形成装置关联的图像40上,且将显示信息42、44、46各自的一部分或全部显示于画面38上的方式,来控制显示信息42、44、46的显示形态。另外,与图像形成装置对应的显示信息是通过位置AR技术或图像AR技术来确定。可推测:摄像机18的焦点所对着的部位是用户所关心的部位。因此,不显示与焦点未对着的部位对应的显示信息,而显示与焦点所对着的部位对应的显示信息,由此,将与推测为用户所关心的部位相关的显示信息提供给用户。
(具体例8)
参照图13至图16来说明具体例8。图13至图16中表示了画面。例如,通过摄像机18拍摄了图像形成装置与PC,并通过图像AR技术或位置AR技术而确定了与图像形成装置(或图像形成装置的设置位置)对应的显示信息和与PC(或PC的设置位置)对应的显示信息。而且,如图13所示,在画面38上显示有与图像形成装置关联的图像40和与PC关联的图像52。
具体例8中,终端装置10的控制部22在画面38上显示有多个对象物的情况下,根据与各对象物关联的图像的大小关系来改变各显示信息的显示形态。例如,控制部22使与跟更大的图像关联的对象物相关的显示信息,较与跟更小的图像关联的对象物相关的显示信息而优先显示于画面38。具体而言,控制部22将与跟更大的图像关联的对象物相关的显示信息,较与跟更小的图像关联的对象物相关的显示信息而显示在前面,或者更大地显示。图像的大小例如是基于所述图像在画面38上所占的面积或像素数来决定。另外,图像形成装置相当于第1对象物的一例,PC相当于第2对象物的一例。而且,图像40相当于第1图像的一例,图像52相当于第2图像的一例。
图13所示的示例中,由于图像40大于图像52,因此控制部22使与跟图像40关联的图像形成装置相关的显示信息,比与跟图像52关联的PC相关的显示信息优先显示于画面38。例如,如图14所示,控制部22使与图像形成装置对应的显示信息42、44、46,较与PC对应的显示信息54、56而显示在更前面侧。图14所示的示例中,在与PC对应的显示信息54上,部分重叠地显示有与图像形成装置对应的显示信息44,显示信息54的一部分被显示信息44覆盖。而且,在与PC对应的显示信息56上,部分重叠地显示有与图像形成装置对应的显示信息42、46,显示信息56的一部分被显示信息42、46覆盖。
而且,控制部22也可使显示信息42、44、46所示的字符串的显示尺寸大于显示信息54、56所示的字符串的显示尺寸而显示,还可使显示信息42、44、46的显示区域的尺寸大于显示信息54、56的显示区域的尺寸。
具体例8中,控制部22也以显示各显示信息的至少一部分的方式,来控制各显示信息的显示形态。图14所示的示例中,与图像形成装置对应的显示信息42、44、46各自的全部显示于画面38上,与PC对应的显示信息54、56被显示信息42、44、46部分覆盖地予以显示。当然,显示信息42、44、46也可彼此部分重叠地予以显示。
图15中表示了另一例。图15所示的示例中,由于图像52大于图像40,因此控制部22使与跟图像52关联的PC相关的显示信息,比与跟图像40关联的图像形成装置相关的显示信息优先显示于画面38。例如,如图16所示,控制部22使与PC对应的显示信息54、56,较与图像形成装置对应的显示信息42、44、46而显示在更前面侧。图16所示的示例中,在与图像形成装置对应的显示信息44上,部分重叠地显示有与PC对应的显示信息54,显示信息44的一部分被显示信息54覆盖。而且,在与图像形成装置对应的显示信息42、46上,部分重叠地显示有与PC对应的显示信息56,显示信息42、46各自的一部分被显示信息56覆盖。
而且,控制部22也可使显示信息54、56所示的字符串的显示尺寸大于显示信息42、44、46所示的字符串的显示尺寸而显示,还可使显示信息54、56的显示区域的尺寸大于显示信息42、44、46的显示区域的尺寸。
而且,图16所示的示例中,与PC对应的显示信息54、56各自的全部显示于画面38上,与图像形成装置对应的显示信息42、44、46被显示信息54、56部分覆盖地予以显示。当然,显示信息54、56也可彼此部分重叠地予以显示。
用户也可通过操作UI部16来变更显示于画面38上的图像的大小。此时,根据所述变更来控制显示信息的显示形态。例如,在图15所示的示例中,当用户通过操作UI部16来使与图像形成装置关联的图像40大于与PC关联的图像52时,控制部22使与图像形成装置对应的显示信息较与PC对应的显示信息而优先显示于画面38。借此,通过简便的操作,来使与用户所期望的对象物相关的显示信息优先显示。
另外,也可将具体例6与具体例8加以组合。例如,控制部22也可将与最大的图像关联的对象物识别为特定物,不使与所述特定物以外的对象物对应的显示信息显示于画面38,而使与所述特定物对应的显示信息显示于画面38。
(具体例9)
具体例9中,终端装置10的控制部22根据用户(终端装置10)与各对象物之间的位置关系来改变显示信息的显示形态。例如,控制部22使与更靠近用户的对象物对应的显示信息,比与距离用户更远的对象物对应的显示信息优先显示于画面38。
例如,当用户与图像形成装置之间的距离短于用户与PC之间的距离时,如图14所示,控制部22使与图像形成装置对应的显示信息42、44、46,较与PC对应的显示信息54、56而显示于更前面侧。另一方面,当用户与PC之间的距离短于用户与图像形成装置之间的距离时,如图16所示,控制部22使与PC对应的显示信息54、56,较与图像形成装置对应的显示信息42、44、46而显示于更前面侧。
而且,控制部22也可使与更靠近用户的对象物对应的显示信息所示的字符串的显示尺寸,大于与距离用户更远的对象物对应的显示信息所示的字符串的显示尺寸而显示,还可使与更靠近用户的对象物对应的显示信息的显示区域的尺寸,大于与距离用户更远的对象物对应的显示信息的显示区域的尺寸。
根据具体例9,可将与更靠近用户的对象物对应的显示信息以更醒目的显示形态提供给用户。
(具体例10)
参照图17来说明具体例10。图17中表示了画面。例如,通过图像AR技术或位置AR技术而确定了与店铺(或店铺的位置)对应的显示信息。而且,如图17所示,在画面38上显示有与店铺关联的图像58。
终端装置10的控制部22使与店铺对应的显示信息60、62显示于画面38上。显示信息60是表示店名的信息,显示信息62是表示由所述店铺所提供的菜单(menu)的信息。例如,当用户操作UI部16而指定显示信息60时,控制部22使联络方式或地图等详细信息显示于画面38。而且,当用户操作UI部16而指定显示信息62时,控制部22使菜单的详细信息显示于画面38。图17所示的示例中,与图8所示的示例同样地,在画面38上显示有显示信息60、62各自的全部。
具体例10中,控制部22通过一个或多个应用程序(软件)来获取与对象物(例如店铺)相关的信息(相关信息),并使其相关信息作为显示信息而显示于画面38上。例如,控制部22也可通过利用互联网来获取与对象物相关的信息,还可通过利用社交网络服务(Social Networking Service,SNS)来获取与对象物相关的信息。
图17所示的示例中,控制部22获取关于店铺的相关信息。例如,控制部22也可通过利用网页浏览器(Web browser),来检索互联网上的与所述店铺相关的网站(Web site),从所述网站获取关于所述店铺的相关信息(例如其他用户对店铺的的评论(comment)(评判,所谓的口碑)等)。而且,控制部22也可通过利用SNS应用程序,在SNS中获取与所述店铺相关的相关信息(例如其他用户的评论等)。
控制部22在每个应用程序中获取相关信息,并使相关信息作为显示信息而显示于画面38。显示信息群64是从某网站获取的与店铺相关的相关信息群。显示信息群66是通过利用SNS应用程序A,而从SNS(称作SNS(A))获取的与店铺相关的相关信息群。显示信息群68是通过利用另一SNS应用程序B,从另一SNS(SNS(B))获取的与店铺相关的相关信息群。在显示信息群64、66、68中,分别含有一个或多个显示信息。在一个显示信息中,含有表示一个评论或评判等的信息。控制部22也可使表示显示信息群中所含的显示信息的数量的信息显示于画面38。
控制部22针对每个应用程序而使各相关信息汇总显示于画面38。例如,控制部22使显示信息群64中所含的各显示信息的显示位置错开,并使各显示信息彼此部分重叠地显示于画面38。当用户通过操作UI部16而指定显示于最前面的显示信息时,控制部22使显示于所述显示信息之下的显示信息显示于最前面。原本显示于最前面的显示信息则显示到最背面。对于显示信息群66、68也同样。
而且,控制部22也可仅使显示信息群64中所含的一个显示信息作为代表显示信息而显示于画面38。当用户通过操作UI部16来指定所述代表显示信息时,控制部22使显示信息群64中所含的其他显示信息作为代表显示信息,取代原本的代表显示信息而显示于画面38。
另外,控制部22也可针对每个网站而使相关信息汇总显示于画面38。
根据具体例10,可将与对象物对应的信息以外的相关信息提供给用户。
(具体例11)
参照图18与图19来说明具体例11。图18与图19中表示了画面。例如,通过图像AR技术或位置AR技术而确定了与店铺(或店铺的位置)对应的显示信息。而且,如图18与图19所示,在画面38上显示有与店铺关联的图像58。
在具体例11中,终端装置10的控制部22根据用户(终端装置10)与对象物之间的位置关系,来改变显示信息而使其显示于画面38。例如,控制部22在用户与对象物之间的距离小于阈值的情况下,与用户与对象物之间的距离为阈值以上的情况相比,使更详细的信息作为显示信息而显示于画面38。阈值为预定的值,也可由用户或管理者等进行变更。
当用户与作为对象物的店铺之间的距离为阈值以上时,如图18所示,控制部22使与店铺对应的显示信息70、72、74显示于画面38。显示信息70、72、74是与店铺相关的概况信息。例如,显示信息70为表示店铺名的信息,显示信息72为表示店铺的预约概况的信息,显示信息74为表示由店铺提供的菜单的概况的信息。例如,当用户通过操作UI部16而指定显示信息70时,控制部22使店铺的联络方式或地图等作为详细信息而显示于画面38上。而且,当用户指定显示信息72时,控制部22使预约的详细信息(例如,表示各月的预约状况等的信息)显示于画面38。而且,当用户指定显示信息74时,控制部22使菜单的详细信息(例如,早餐(morning)用的菜单、午餐(lunch)用的菜单、晚餐(dinner)用的菜单)显示于画面38。当用户的位置距离店铺远时,用户有时会通过电话来确认有无空座或者确认预约状况,因此所述概况信息有助于所述确认等。而且,控制部22也可使通过利用互联网或SNS而获取的、与店铺相关的相关信息76显示于画面38。
当用户与店铺之间的距离小于阈值时,如图19所示,控制部22使与店铺对应的显示信息74a、74b、74c显示于画面38。显示信息74a、74b、74c是与店铺相关的详细信息,作为一例,是与菜单相关的详细信息。显示信息74a是表示早餐用的菜单的信息,显示信息74b是表示午餐用的菜单的信息,显示信息74c是表示晚餐用的菜单的信息。用户越靠近店铺,推测为用户利用所述店铺的可能性越高。因此,通过显示更详细的信息(例如菜单的详细信息),从而与显示概况信息的情况相比,可将更有意义的信息提供给用户。
根据具体例11,当用户与对象物之间的距离为阈值以上时,显示概况信息,当所述距离小于阈值时,则显示更详细的信息。借此,可将与用户位置相应的有意义的信息提供给用户。
另外,控制部22在用户通过操作UI部16而给予了切换指示时,控制部22也可根据所述指示来切换概况信息的显示与详细信息的显示。例如,当用户与店铺之间的距离小于阈值时,控制部22使详细信息显示于画面38,但当用户给予了切换指示时,控制部22使概况信息显示于画面38。用户与店铺之间的距离为阈值以上时也同样。
另外,具体例11中举店铺为例进行了说明,但即使对象物为机器,仍进行同样的显示控制。例如,当用户与图像形成装置之间的距离为阈值以上时,控制部22使表示图像形成装置的状态(例如复印中、睡眠(sleep)中等状态)的显示信息显示于画面38。另一方面,当用户与图像形成装置之间的距离小于阈值时,控制部22使表示图像形成装置所具有的功能(例如复印功能或扫描功能)的显示信息显示于画面38。
根据所述第1实施方式,对于特定位置或特定图像,对应有多个显示信息,即使在所述多个显示信息同时显示于画面38的情况下,由于是显示各显示信息的至少一部分,因此可防止完全没有被显示的显示信息(一部分也没有被显示的显示信息)的产生。例如,通过活用AR技术,即使在与特定位置或特定图像对应的显示信息的量增大的情况下,也可防止完全没有被显示的显示信息的产生。而且,不需要为了防止完全没有被显示的显示信息的产生,而限制同时显示的信息量。
<第2实施方式>
以下,对第2实施方式进行说明。第2实施方式中,终端装置10的控制部22根据用户(终端装置10)的位置来控制显示信息的显示。例如,控制部22也可根据用户的位置来改变显示信息的内容,还可改变显示信息的显示形态。
具体而言,当通过使用位置AR技术而确定了与特定位置(例如对象物的位置)关联的显示信息时,控制部22根据用户的位置来改变所述显示信息的内容或显示形态。例如,控制部22根据所述特定位置与用户位置之间的位置关系,来改变显示信息的内容或显示形态。若作进一步详细说明,则控制部22根据特定位置与用户位置之间的角度关系、距离关系、与用户相对于特定位置的方向相关的关系等,来改变显示信息的内容或显示形态。控制部22通过利用GPS等,来探测用户位置与特定位置(例如对象物的位置),并基于所述探测结果,来探测用户位置与特定位置之间的角度关系、距离关系、方向关系等。
而且,当通过使用图像AR技术而确定了与特定图像(例如与对象物关联的图像)关联的显示信息时,控制部22根据用户的位置来改变所述显示信息的内容或显示形态。例如,控制部22根据所述对象物与用户之间的位置关系,来改变显示信息的内容或显示形态。若作进一步详细说明,则控制部22根据对象物与用户之间的角度关系、距离关系、与用户相对于对象物的方向相关的关系等,来改变显示信息的内容或显示形态。控制部22通过利用GPS等,来探测用户的位置与对象物的位置,并基于所述探测结果,来探测用户与对象物之间的角度关系、距离关系、方向关系等。
以下,举具体例来详细说明第2实施方式。
(具体例12)
参照图20至图22来说明具体例12。图20中表示了作为对象物的图像形成装置78与用户(终端装置10)之间的位置关系。图21与图22中表示了画面。与第1实施方式同样,通过图像AR技术或位置AR技术,而确定了与图像形成装置78(或图像形成装置78的设置位置)对应的显示信息。
第1位置80是比第2位置82更靠近图像形成装置78的位置。在显示信息管理信息中,登记有各位置与图像形成装置78的位置之间的每个位置关系的显示信息。例如,在显示信息管理信息中,登记有与图像形成装置78之间的每个距离的显示信息。控制部22根据用户与图像形成装置78之间的距离关系,来改变显示信息的内容或显示形态。例如,控制部22在用户位于第1位置80的情况下和位于第2位置82的情况下,使互不相同的显示信息显示于画面38。
图21中表示了用户位于第1位置80(更靠近图像形成装置78的位置)时所显示的显示信息。如图21所示,控制部22使与图像形成装置78关联的图像84显示于画面38,进而,使与第1位置80和图像形成装置78的位置之间的距离对应的显示信息86、88显示于画面38。控制部22与第1实施方式同样,既可使显示信息86、88部分重叠地显示于图像84上,也可以显示信息86、88各自的一部分或全部显示于画面38的方式,来控制显示信息86、88的显示形态。图21所示的示例中,显示信息86、88各自的全部显示于画面38上。显示信息86、88是表示图像形成装置78的状态的信息。具体而言,显示信息86是表示快要缺墨粉的信息,显示信息88是表示快要缺纸的信息。
图22中表示了用户位于第2位置82(距离图像形成装置78更远的位置)时所显示的显示信息。如图22所示,控制部22使图像84显示于画面38,进而,使与第2位置82和图像形成装置78的位置之间的距离对应的显示信息90显示于画面38。控制部22与第1实施方式同样地,既可使显示信息90部分重叠于图像84上,当显示多个显示信息时,也可以各显示信息的一部分或全部显示于画面38上的方式,来控制各显示信息的显示形态。显示信息90是表示图像形成装置78正在打印中的信息。
根据具体例12,将与用户和对象物之间的距离相应的显示信息提供给用户。例如也可为:在第1位置80时显示更详细的显示信息,而在第2位置82时显示更为概略的显示信息。而且,当对象物为机器时,在第1位置80时,将用于操作机器的菜单画面等作为显示信息予以显示,而在第2位置82时,显示表示机器状态的显示信息。
而且,控制部22也可在第1位置80与第2位置82时改变显示信息的显示形态。具体而言,也可为:控制部22在第1位置80时,将显示信息的显示区域的尺寸加大而使显示信息显示于画面38,而在第2位置82时,将显示信息的显示区域的尺寸减小而使显示信息显示于画面38。而且,也可为:控制部22在第1位置80时,将显示信息所示的字符串的显示尺寸加大而使显示信息显示于画面38,而在第2位置82时,使显示信息所示的字符串的显示尺寸减小而使显示信息显示于画面38。
作为另一例,控制部22也可不论用户所处的位置如何,而使与图像形成装置78之间的各距离对应的各显示信息显示于画面38,并根据用户与图像形成装置78之间的距离来改变各显示信息的显示区域的尺寸,还可改变各显示信息所示的字符串的显示尺寸。例如,控制部22使与第1位置80和图像形成装置78之间的距离对应的显示信息86、88、以及与第2位置82和图像形成装置78之间的距离对应的显示信息90显示于画面38。当用户位于第1位置80时,控制部22使显示信息86、88较显示信息90放大而显示于画面38上。另一方面,当用户位于第2位置82时,控制部22使显示信息90较显示信息86、88放大而显示于画面38上。
(具体例13)
参照图23来说明具体例13。图23表示了作为对象物的图像形成装置92与用户(终端装置10)之间的位置关系。与第1实施方式同样,通过图像AR技术或位置AR技术,而确定与图像形成装置92(或图像形成装置92的设置位置)对应的显示信息。
图像形成装置92例如具有前面92a、背面92b、右侧面92c及左侧面92d。假想线94是贯穿右侧面92c与左侧面92d的线。
与具体例12同样,在显示信息管理信息中,登记有各位置与图像形成装置92的位置之间的每个位置关系的显示信息。例如,在显示信息管理信息中,登记有与图像形成装置92之间的每个距离的显示信息。而且,在显示信息管理信息中,登记有与图像形成装置92之间的每个角度的显示信息。某位置的角度例如是假想线94与所述位置所成的角度。而且,在显示信息管理信息中,登记有相对于图像形成装置92的每个方向的显示信息。方向例如是图像形成装置92的上方或下方等。图像形成装置92的前面、背面、侧面也可被定义为方向。而且,在显示信息管理信息中,也可登记有相对于图像形成装置92的每个高度的显示信息。也可将每个距离、每个角度、每个方向以及每个高度中的至少两者的组合与显示信息相对应地登记在显示信息管理信息中。
例如,尽管第1位置96和图像形成装置92之间的距离,与第3位置100和图像形成装置92之间的距离相同,但第1位置96和图像形成装置92之间的角度,与第3位置100和图像形成装置92之间的角度不同。此时,控制部22在用户位于第1位置96的情况与位于第3位置100的情况下,使互不相同的显示信息显示于画面38上。借此,即便是直至图像形成装置92为止的距离相同的位置,也能够对应于每个角度而将不同的显示信息提供给用户。
而且,尽管第3位置100和图像形成装置92之间的角度,与第5位置104和图像形成装置之间的角度相同,但第3位置100和图像形成装置92之间的距离,与第5位置104和图像形成装置92之间的距离不同。此时,控制部22在用户位于第3位置100的情况与位于第5位置104的情况下,使互不相同的显示信息显示于画面38。例如,控制部22在更靠近图像形成装置92的第3位置100时,使详细的显示信息显示于画面38,而在距离图像形成装置92更远的第5位置104时,使概略的显示信息显示于画面38。借此,即便是与图像形成装置92之间的角度相同的位置,也能够对应于每个距离而将不同的显示信息提供给用户。
而且,第2位置98是图像形成装置92上方的位置。例如,当用户在第2位置98俯视图像形成装置92而通过摄像机18来拍摄图像形成装置92时,控制部22使与第2位置98和图像形成装置92之间的位置关系(距离、高度、角度)对应的显示信息显示于画面38。例如,显示图像形成装置92的概况的显示信息。借此,即便是与图像形成装置92之间的距离相同的位置,也能够对应于每个高度而将不同的显示信息提供给用户。
而且,第4位置102是图像形成装置92背面侧的位置。当用户从第4位置102通过摄像机18来拍摄图像形成装置92的背面时,控制部22使与用户位于图像形成装置92的前面侧位置(例如第1位置、第2位置、第3位置、第5位置)时不同的显示信息显示于画面38。例如,将与图像形成装置92背面侧的结构、零件或功能等相关的显示信息显示于画面38上。
而且,控制部22也可对应于每个距离、每个角度、每个方向或每个高度,来改变显示信息的内容,并且改变显示信息的显示尺寸,或者不改变显示信息的内容,而改变显示信息的显示尺寸。
以下,对具体例13的适用例进行说明。具体例13也可适用于制造现场。此时,控制部22在从机器的前面侧拍摄所述机器的情况下、与从所述机器的背面侧拍摄所述机器的情况下,改变显示信息而使其显示于画面38。当从机器的前面侧拍摄所述机器时,显示与所述机器前面的结构、零件或功能等相关的显示信息,当从所述机器的背面侧拍摄所述机器时,显示与所述机器背面的结构、零件或功能等相关的显示信息。借此,对于在前面侧进行作业的人(例如装配前面侧零件的作业者),提供与前面相关的显示信息,而对于在背面侧进行作业的人(例如装配背面侧零件的作业者),提供与背面相关的显示信息。
作为另一例,具体例13也可适用于活动会场。例如,当从上方拍摄企业等进行展览的活动会场的广范围时(俯瞰活动会场时),控制部22使参加展览的各企业的名称等简易信息显示于画面38。借此,用户容易知晓活动中有怎样的企业参加了展览。而且,当近距离拍摄企业的展览展台(booth)时,控制部22使与所述企业相关的详细信息(例如,展示内容的详细信息等)显示于画面38。借此,当用户移动到展台时,将企业的详细信息提供给用户。
而且,控制部22也可在从上方拍摄活动会场的广范围时,使活动会场中可使用的点(point)的信息显示于画面38,而在近距离拍摄会场内的展台时,使与所述展台相关的详细信息显示于画面38。
<其他实施方式>
以下,对其他实施方式进行说明。此处,对将所述第1实施方式及第2实施方式适用于道路引导的情况进行说明。图24中表示了用户与目的地之间的关系。目的地相当于特定位置的一例,是设置有目标体(object)106(目标体α)的位置。假设用户108通过摄像机18拍摄了目标体106。而且,假设在目标体106的周围存在用户群110,因此在目标体106的周围产生了人群。
与所述第1实施方式同样地,通过使用AR技术而识别出目标体106,并将与目标体106关联的信息显示于终端装置10的UI部16上。
图25与图26中表示了终端装置10的画面38。图25中表示了用户108位于位置A时显示于画面38上的信息。图26中表示了用户位于位置B时显示于画面38上的信息。位置B是较位置A靠近目标体106的位置。
如图25所示,在画面38上,显示有与目标体106关联的图像112(相当于特定图像的一例)和与用户群110关联的图像114。图像112既可为通过拍摄目标体106而生成的图像,也可为示意性地表示目标体106的图像(例如图标)。
终端装置10的控制部22通过使用各种传感器,来运算用户108与目标体106之间的距离、以用户108的位置为基准的目标体106的方向、及预测用户108到达目标体106的时间(到达预定时刻)中的至少一个。距离或方向是通过利用GPS等来运算。到达预定时刻是基于用户108与目标体106之间的距离、以及用户108的移动速度来运算。移动速度例如是所述用户108过去的平均移动速度、从当前时间点算起的预定时间内的平均移动速度(例如10分钟的平均移动速度)、预定的移动速度(例如用户指定的移动速度、默认(default)的移动速度)、与所述用户108具有相同属性(例如性别、年龄、身高、体重等)的人的平均移动速度等。
控制部22使如上述那样获得的各信息作为引导信息而显示于画面38上。引导信息是用于将用户引导至目标体106的信息,也可以说是与目标体106关联的信息。如图25所示,控制部22例如使箭头116、记号118及补充信息120作为引导信息而显示于画面38上。控制部22也可使箭头116、记号118及补充信息120中的至少一个作为引导信息而显示于画面38上。另外,也可由用户来指定目的地,控制部22制作关于用户所指定的目的地的引导信息并使其显示于画面38上。例如,当用户在画面38上将目标体106指定为目的地,或者通过语音来将目标体106指定为目的地时,控制部22制作用于将用户引导至目标体106的引导信息并使其显示于画面38上。
箭头116是表示以用户108的位置A为基准的、目标体106的方向的图像。控制部22使箭头116重叠在作为背景图像(表示目标体106以外的人或物体等的图像)的图像114上而显示于画面38上。即,控制部22使箭头116较图像114而显示于前面侧。借此,即使在画面38上显示有目标体106以外的人或物体的情况下,也可将目标体106的方向展示给用户。
记号118是作为目标体106的记号的图像。控制部22使记号118重叠在与目标体106关联的图像112上而显示于画面38上。而且,当在记号118的显示位置显示有背景图像时,控制部22使记号118重叠在所述背景图像上而显示于画面38。
补充信息120例如是包含目标体106的名称(例如目标体α)、直至目标体106为止的距离(例如200m)、到达预定时间(例如两分钟)等的信息。控制部22也可使名称、距离及到达预定时间中的至少一个信息作为补充信息120而显示于画面38上。
控制部22根据用户108与目标体106之间的位置关系,来改变箭头116、记号118及补充信息120中的至少一个。
例如,当用户从位置A移动到位置B时,伴随所述移动,画面38的显示内容从图25所示的显示内容变更为图26所示的显示内容。
图26中,与图25同样地,在画面38上显示有图像112、图像114、箭头116、记号118及补充信息120。由于用户位于比位置A靠近目标体106的位置B,因此位置B处的图像112、114显示得大于位置A处的图像112、114。此时,控制部22也使箭头116重叠于图像114上,并使记号118重叠于图像112、114上。而且,由于直至目标体106为止的距离和到达预定时间发生了变化,因此控制部22更新补充信息120。
控制部22根据显示于画面38上的各图像(例如图像112、114)、与显示于画面38上的引导信息(例如箭头116、记号118及补充信息120)之间的关系,来改变所述引导信息的显示形态。例如,控制部22改变引导信息的显示位置、显示色、及显示尺寸中的至少一个,以作为显示形态的变更。
例如,在补充信息120的显示位置与其他图像(例如图像112、114)的显示位置重叠的情况、或者在与其他图像(例如图像112、114)的关系上补充信息120的颜色的对比度(contrast)弱的情况(例如,对比度值为阈值以下的情况)下,控制部22改变字符串的显示色,以醒目地显示补充信息120所示的所述字符串。例如,在补充信息120的显示位置不与图像112、114的显示位置重叠的情况下(参照图25),控制部22使用预定的颜色(例如淡蓝色等)来作为字符串的显示色。在补充信息120的显示位置与图像112的显示位置重叠的情况下(参照图26),控制部22使用在与补充信息120所重叠的图像112的颜色的关系上对比度更强的颜色(例如黑色等)来作为字符串的显示色。借此,可消除字符串被其他图像掩盖而用户难以看到的状况得以消除。而且,控制部22也可改变字符的粗度、字符的大小或字体(font)的种类。
图27中表示了用户108位于位置B时的另一显示例。图27所示的示例中,控制部22以补充信息120中所含的各信息不与其他图像(例如图像112、114)重叠的方式,来改变所述各信息的显示位置。例如,控制部22使表示到达预定时间的信息122(字符串)和表示与目的地的距离的信息124(字符串)分开,而使信息122、124显示于不与图像112、114重叠的位置。另外,控制部22也可改变各信息的显示位置,并且改变各信息的显示色或显示尺寸(例如字符的粗度或大小)。
而且,控制部22也可根据用户的指示或者自动地,将补充信息120作为语音信息而输出。例如,在无法既要维持预定的字符大小,又要将补充信息120不重叠于其他图像(例如图像112、114)而显示的情况下,控制部22显示补充信息120,并且将补充信息120作为语音信息而自动输出,或者不显示补充信息120,而将补充信息120作为语音信息而自动输出。另外,控制部22也可将表示目标体106的方向的信息作为语音信息而输出。
图28中表示了用户108位于位置B时的另一显示例。图28所示的示例中,控制部22使补充信息126取代图26所示的补充信息120而显示于画面38。补充信息126所示的内容自身与补充信息120所示的内容相同。补充信息126由框所包围,由此来强调显示补充信息126。而且,显示有补充信息126的区域(由框围着的区域)被全面涂满。借此,不显示补充信息126所重叠的背景部分,补充信息126不会被所述背景部分掩盖。
作为一例,所述终端装置10及服务器12各自是通过硬件与软件的协动来实现。具体而言,终端装置10及服务器12各自具备未图示的中央处理器(Central ProcessingUnit,CPU)等一个或多个处理器(processor)。所述一个或多个处理器通过读出未图示的存储装置中存储的程序来执行,从而实现终端装置10及服务器12各自的各部的功能。所述程序是经由光盘(Compact Disc,CD)或数字通用光盘(Digital Versatile Disk,DVD)等记录介质,或者经由网络(network)等通信路径而存储在存储装置中。作为另一例,终端装置10及服务器12各自的各部例如也可通过处理器、电子电路或专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)等硬件资源而实现。在此实现中,也可利用存储器等元件。作为又一例,终端装置10及服务器12各自的各部也可通过数字信号处理器(DigitalSignal Processor,DSP)或现场可编程门阵列(Field Programmable Gate Array,FPGA)等而实现。

Claims (23)

1.一种信息处理装置,其特征在于包括:
控制部件,根据用户的位置,来控制与特定位置关联的信息的显示。
2.根据权利要求1所述的信息处理装置,其特征在于,
所述特定位置与特定对象物的位置关联。
3.根据权利要求2所述的信息处理装置,其特征在于,
通过拍摄所述特定对象物来控制与所述特定位置关联的信息。
4.根据权利要求2或3所述的信息处理装置,其特征在于,
所述控制部件根据所述特定位置与所述用户的位置之间的位置关系来控制所述信息的显示。
5.根据权利要求4所述的信息处理装置,其特征在于,
所述位置关系包含所述特定位置与所述用户的位置之间的角度关系。
6.根据权利要求4或5所述的信息处理装置,其特征在于,
所述位置关系包含所述特定位置与所述用户的位置之间的距离关系。
7.根据权利要求4至6中任一项所述的信息处理装置,其特征在于,
所述位置关系包含所述用户相对于所述特定位置的与方向相关的关系。
8.根据权利要求4至7中任一项所述的信息处理装置,其特征在于,
所述位置关系包含所述用户相对于所述特定位置的与高度相关的关系。
9.根据权利要求4至8中任一项所述的信息处理装置,其特征在于,
根据所述位置关系的所述信息的显示控制,是在位置信息获取部件、拍摄部件及陀螺传感器在运转中的场合所进行的控制。
10.一种信息处理装置,其特征在于包括:
控制部件,根据用户的位置,来控制与特定图像关联的信息的显示。
11.根据权利要求10所述的信息处理装置,其特征在于,
所述控制部件根据与所述特定图像关联的对象物跟所述用户之间的位置关系,来控制所述信息的显示。
12.根据权利要求11所述的信息处理装置,其特征在于,
所述位置关系包含所述对象物与所述用户之间的角度关系。
13.根据权利要求11或12所述的信息处理装置,其特征在于,
所述位置关系包含所述对象物与所述用户之间的距离关系。
14.根据权利要求11至13中任一项所述的信息处理装置,其特征在于,
所述位置关系包含所述用户相对于所述对象物的与方向相关的信息。
15.根据权利要求11至14中任一项所述的信息处理装置,其特征在于,
所述位置关系包含所述用户相对于所述特定位置的与高度相关的关系。
16.根据权利要求11至15中任一项所述的信息处理装置,其特征在于,
根据所述位置关系的所述信息的显示控制,是在位置信息获取部件、拍摄部件及陀螺传感器在运转中的场合所进行的控制。
17.根据权利要求11至16中任一项所述的信息处理装置,其特征在于,
根据所述用户的移动速度来变更所述信息的显示。
18.根据权利要求1至17中任一项所述的信息处理装置,其特征在于,
所述控制部件根据所述用户的位置来改变所述信息的显示内容,以作为所述信息显示的控制。
19.根据权利要求1至18中任一项所述的信息处理装置,其特征在于,
所述控制部件根据所述用户的位置来改变所述信息的显示形态,以作为所述信息显示的控制。
20.根据权利要求1至19中任一项所述的信息处理装置,其特征在于,
所述控制部件将所述信息附加于拍摄图像而显示。
21.一种信息处理系统,其特征在于包括:
终端,发送与用户的位置有关的信息;及
服务器,根据与所述用户的位置有关的信息,发送所述用户与特定对象物关联的位置的位置关系所对应的回应内容,
其中根据所述回应内容在所述终端显示的拍摄图像上附加的信息的更新,是在所述终端与所述服务器的通信中同步地进行。
22.一种存储媒体,其特征在于,存储使计算机作为控制部件发挥功能的程序,
所述控制部件根据用户的位置,来控制与特定位置关联的信息的显示。
23.一种存储媒体,其特征在于,存储使计算机作为控制部件发挥功能的程序,
所述控制部件根据用户的位置,来控制与特定图像关联的信息的显示。
CN201810922128.1A 2017-10-16 2018-08-14 信息处理装置、系统以及存储媒体 Withdrawn CN109672799A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-200632 2017-10-16
JP2017200632 2017-10-16

Publications (1)

Publication Number Publication Date
CN109672799A true CN109672799A (zh) 2019-04-23

Family

ID=66097404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810922128.1A Withdrawn CN109672799A (zh) 2017-10-16 2018-08-14 信息处理装置、系统以及存储媒体

Country Status (2)

Country Link
US (1) US20190113871A1 (zh)
CN (1) CN109672799A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7490957B2 (ja) * 2019-12-26 2024-05-28 セイコーエプソン株式会社 表示装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201107A1 (en) * 2006-02-28 2007-08-30 Sony Corporation Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program
US20080141167A1 (en) * 2006-10-11 2008-06-12 Naohiko Kubo Image forming apparatus, control method, and computer-readable recording medium storing control program
US20080259048A1 (en) * 2007-04-18 2008-10-23 Kyocera Mita Corporation Operation Device and Image Formation Device
US20100248833A1 (en) * 2009-03-31 2010-09-30 Nintendo Co., Ltd. Game apparatus and game program
CN102446210A (zh) * 2010-09-06 2012-05-09 索尼公司 图像处理装置、程序和图像处理方法
US20120242868A1 (en) * 2009-12-07 2012-09-27 Panasonic Corporation Image capturing device
US20130249926A1 (en) * 2012-03-16 2013-09-26 Sony Corporation Information processing apparatus, information processing method and program
US20150124283A1 (en) * 2013-11-04 2015-05-07 Toshiba Tec Kabushiki Kaisha Information processing apparatus for printing special sheet or special design and method using the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180023723A (ko) * 2016-08-26 2018-03-07 삼성전자주식회사 디스플레이장치 및 그 제어방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201107A1 (en) * 2006-02-28 2007-08-30 Sony Corporation Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program
US20080141167A1 (en) * 2006-10-11 2008-06-12 Naohiko Kubo Image forming apparatus, control method, and computer-readable recording medium storing control program
US20080259048A1 (en) * 2007-04-18 2008-10-23 Kyocera Mita Corporation Operation Device and Image Formation Device
US20100248833A1 (en) * 2009-03-31 2010-09-30 Nintendo Co., Ltd. Game apparatus and game program
US20120242868A1 (en) * 2009-12-07 2012-09-27 Panasonic Corporation Image capturing device
CN102446210A (zh) * 2010-09-06 2012-05-09 索尼公司 图像处理装置、程序和图像处理方法
US20130249926A1 (en) * 2012-03-16 2013-09-26 Sony Corporation Information processing apparatus, information processing method and program
US20150124283A1 (en) * 2013-11-04 2015-05-07 Toshiba Tec Kabushiki Kaisha Information processing apparatus for printing special sheet or special design and method using the same

Also Published As

Publication number Publication date
US20190113871A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
CN104461410B (zh) 移动通信系统、移动终端及其控制方法
US9542778B1 (en) Systems and methods related to an interactive representative reality
US9418481B2 (en) Visual overlay for augmenting reality
CN102884779B (zh) 直觉计算方法和系统
CN107710197A (zh) 在通信网络上共享图像和图像相册
CN110383344A (zh) 虚拟视觉系统
CN103870132B (zh) 基于情境提供信息的方法和系统
CN109863510A (zh) 冗余跟踪系统
JP5850502B2 (ja) データ共有の方法、システム、およびコントローラ
US20140152869A1 (en) Methods and Systems for Social Overlay Visualization
CN103685727B (zh) 信息传输方法和系统、及设备
KR101691985B1 (ko) 개인 정보 통신기
EP4002107A1 (en) Data binding method, apparatus, and device of mini program, and storage medium
JP2017187850A (ja) 画像処理システム、情報処理装置、プログラム
CN103329147A (zh) 基于智能手机的方法和系统
US9607094B2 (en) Information communication method and information communication apparatus
CN105224075A (zh) 基于传感器的移动搜索、相关方法和系统
US20170279867A1 (en) Frame devices for a socially networked artwork ecosystem
CN109492136A (zh) 信息处理装置以及计算器可读取记录媒体
CN105980975A (zh) 信息处理设备、信息处理方法及程序
CN106506792A (zh) 移动终端及其控制方法
KR20160065673A (ko) 디바이스를 제어하는 방법, 시스템 및 그 디바이스
CN109895092A (zh) 信息处理装置、信息处理方法以及计算机可读介质
JP6699709B2 (ja) 情報処理装置及びプログラム
CN109672799A (zh) 信息处理装置、系统以及存储媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
WW01 Invention patent application withdrawn after publication

Application publication date: 20190423

WW01 Invention patent application withdrawn after publication