CN113920221A - 信息处理装置、信息处理方法及计算机可读介质 - Google Patents

Abstract

本发明提供一种信息处理装置、信息处理方法及计算机可读介质，可将对象的过去状况与当前状况同时告知给用户。信息处理装置具有处理器，所述处理器将过去状况下的与对象相关的第二图像重叠于表示当前状况的第一图像上并显示于显示器。

Description

信息处理装置、信息处理方法及计算机可读介质

技术领域

本公开涉及一种信息处理装置、信息处理方法及计算机可读介质。

背景技术

在日本专利特开2013-228311号公报中记载有一种导航系统(navigationsystem)，其使用增强现实技术重叠显示多个信息，来引导路径。

在日本专利特开2013-183333号公报中记载有一种装置，其显示再现影像，并且在拍进根据车辆的行驶历史而求出的显示增强现实(Augmented Reality，AR)数据所显现的坐标的位置上，显示AR数据所显现的AR标签。

发明内容

且说，存在如下情况：在过去的时点设置于空间内的物体或显示器中所显示的图像等对象的状况发生了改变。

本公开的目的在于将对象的过去状况与当前状况同时告知给用户。

根据本公开的第一方案，可提供一种信息处理装置，其具有处理器，所述处理器将过去状况下的与对象相关的第二图像重叠于表示当前状况的第一图像上并显示于显示器。

根据本公开的第二方案，所述处理器在当前的所述对象的状况相对于过去的所述对象的状况发生了改变的情况下，将所述第二图像重叠显示于所述第一图像上。

根据本公开的第三方案，所述第一图像是表示空间内的当前状况的图像，所述对象是物体，所述第二图像是与在过去的时点配置于所述空间内的物体相关的图像。

根据本公开的第四方案，所述处理器在所述第一图像上，在与曾经于所述空间内配置有所述物体的位置相对应的位置显示所述第二图像。

根据本公开的第五方案，所述第二图像是表示所述物体的图像。

根据本公开的第六方案，所述第二图像是引导所述物体的图像。

根据本公开的第七方案，所述第一图像是通过对所述空间内进行拍摄而生成的图像。

根据本公开的第八方案，所述处理器在拍摄了在所述空间内相对于过去的时点未发生变化的基准物的情况下，将所述第二图像重叠显示于所述第一图像上。

根据本公开的第九方案，所述第二图像是自通过在过去的时点对所述空间内进行拍摄而生成的图像所获得的图像。

根据本公开的第十方案，所述处理器在自用户受理显示与所述物体相关的图像的要求的情况下，显示所述第二图像。

根据本公开的第十一方案，所述处理器将过去的第1时点的与所述物体相关的所述第二图像和过去的第2时点的与所述物体相关的所述第二图像重叠显示于所述第一图像上。

根据本公开的第十二方案，所述第一图像是显示器中所显示的当前的图像，所述第二图像是在过去的时点所述显示器中所显示的图像。

根据本公开的第十三方案，所述第二图像是与在过去的时点所述显示器中所显示的与操作相关的图像。

根据本公开的第十四方案，所述第二图像是作为所述对象的图标，所述处理器在所述第一图像上，在过去所显示的位置显示所述第二图像。

根据本公开的第十五方案，可提供一种计算机可读介质，其是保存有使计算机执行处理的程序的计算机可读介质，且所述处理是将过去状况下的与对象相关的第二图像重叠于表示当前状况的第一图像上并显示于显示器。

根据本公开的第十六方案，可提供一种信息处理方法，将过去状况下的与对象相关的第二图像重叠于表示当前状况的第一图像上并显示于显示器。

(效果)

根据所述第一方案、第十五方案或第十六方案，可将对象的过去状况与当前状况同时告知给用户。

根据所述第二方案，在当前的对象的状况相对于过去的对象的状况发生了改变的情况下，可将对象的过去状况与当前状况同时告知给用户。

根据所述第三方案、第四方案、第五方案或第六方案，可将物体的过去状况与当前状况同时告知给用户。

根据所述第七方案，可在通过拍摄而生成的图像中表示物体的过去状况。

根据所述第八方案，在拍摄了基准物的情况下，可将物体的过去状况告知给用户。

根据所述第九方案，可根据通过在过去的时点进行拍摄而生成的图像来将物体的过去状况告知给用户。

根据所述第十方案，可依据用户的要求而将物体的过去状况告知给用户。

根据所述第十一方案，可将过去的多个时点的物体的状况告知给用户。

根据所述第十二方案，可将显示器中所显示的图像的过去状况与当前状况告知给用户。

根据所述第十三方案，可将与操作相关的图像的过去状况与当前状况同时告知给用户。

根据所述第十四方案，可将图标的过去状况与当前状况同时告知给用户。

附图说明

图1是表示本实施方式的信息处理系统的结构的框图。

图2是表示信息处理装置的结构的框图。

图3是表示终端装置的结构的框图。

图4是表示图像数据库的图。

图5是表示过去的图像的图。

图6是表示当前的图像的图。

图7是表示显现当前状况与过去状况的图像的图。

图8是表示显现当前状况与过去状况的图像的图。

图9是表示显现当前状况与过去状况的图像的图。

图10是表示画面的图。

图11是表示画面的图。

图12是表示画面的图。

图13是表示画面的图。

图14是表示画面的图。

具体实施方式

参照图1对本实施方式的信息处理系统进行说明。在图1中示出本实施方式的信息处理系统的结构的一例。

本实施方式的信息处理系统包括信息处理装置10、一个或多个传感器12、及一个或多个终端装置14。

信息处理装置10、传感器12及终端装置14具有与其他装置或其他传感器进行通信的功能。所述通信可为利用线缆(cable)的有线通信，也可为无线通信。即，各装置或各传感器可通过线缆而与其他装置物理性连接，来相互收发信息，也可通过无线通信来相互收发信息。作为无线通信，例如可使用近距离无线通信或Wi-Fi(注册商标)等。也可使用这些以外的标准的无线通信。近距离无线通信例如是蓝牙(Bluetooth)(注册商标)或射频识别符(Radio Frequency Identification，RFID)或近场通信(Near Field Communication，NFC)等。例如，各装置也可经由局域网(Local Area Network，LAN)或因特网等通信路径N而与其他装置进行通信。

在本实施方式的信息处理系统中，将过去状况下的与对象相关的图像(以下称为“第二图像”)重叠于表示当前状况的图像(以下称为“第一图像”)上并显示于显示器。

对象可为有形物，也可为无形物。

有形物例如是配置于现实空间内的物理性物体。有形物并无特别限定，例如是设备、工具、文具、笔记用具、家庭用具、烹饪器具、体育器具、医疗器具、农具、渔具、实验器具或其他物理性物体。设备并无特别限定，例如是个人计算机(personal computer)(以下称为“PC”)、平板PC、智能手机、移动电话、机器人(人型机器人、人以外的动物型机器人、这些以外的机器人等)、打印机、扫描仪、复合机、投影仪、液晶显示器等显示装置、记录装置、再现装置、照相机等摄像装置、冰箱、电饭煲、微波炉、咖啡机、吸尘器、洗衣机、空调机、照明设备、钟表、监视照相机、汽车、二轮车、航空器(例如无人航空器(所谓的无人机(drone)))、游戏机、各种传感(sensing)设备(例如温度传感器、湿度传感器、电压传感器、电流传感器等)等装置。设备也可为信息设备、影像设备或音响设备。

无形物例如是显示器中所显示的图像(例如静止图像或动态图像)或字符串。图像并无特别限定，可为通过利用照相机等拍摄装置进行拍摄而生成的图像，也可为关联有特定的功能的图标，还可为与特定的操作相关的图像。

信息处理装置10是构成为对图像进行管理的装置。例如，通过利用传感器12或终端装置14或其他装置进行拍摄而生成图像，并将所述图像发送至信息处理装置10。信息处理装置10对所述图像进行管理。作为另一例，将显示器中所显示的图像发送至信息处理装置10，信息处理装置10对所述图像进行管理。例如，信息处理装置10沿着时间序列对各图像进行管理。

第二图像可为显现对象本身的图像(例如显现物体的图像或图标等)，也可为引导对象的图像(例如指向物体或图标的箭头的图像等)。例如，可自通过利用传感器12或终端装置14等进行拍摄而生成的图像中提取显现物体本身的图像，并将所述所提取的图像作为第二图像进行管理。另外，也可自显示器中所显示的图像中提取图标，并将所述所提取的图标作为第二图像进行管理。

传感器12是具有侦测空间内所配置的有形物的功能的装置。例如，传感器12是照相机、红外线传感器或超声波传感器等。例如，利用照相机拍摄配置于空间内的有形物，并将通过所述拍摄而生成的静止图像或动态图像自照相机发送至信息处理装置10而由信息处理装置10管理。

再者，供有形物配置的空间可为封闭的空间，也可为开放的空间。例如，空间是厢亭、会议室、共享房间、共享办公室等办公室、教室、店铺、广场或这些以外的被分隔的场所等。

终端装置14例如是PC、平板PC、智能手机或移动电话等。终端装置14可为装配于用户身上的装置(例如可穿戴式器件)。可穿戴式器件可为眼镜型装置，也可为装配于眼睛上的隐形眼镜型装置，也可为头戴式显示器(Head Mounted Display，HMD)，还可为装配于耳朵上的装置(例如可听器件(hearable device))。

以下，参照图2对信息处理装置10的硬件的结构进行说明。在图2中示出信息处理装置10的硬件的结构的一例。

信息处理装置10例如包括通信装置16、用户接口(User Interface，UI)18、存储器20及处理器22。

通信装置16是具有通信芯片或通信电路等的通信接口，且具有向其他装置发送信息的功能及接收自其他装置发送来的信息的功能。通信装置16可具有无线通信功能，也可具有有线通信功能。通信装置16例如可通过利用近距离无线通信而与其他装置进行通信，也可经由LAN或因特网等通信路径而与其他装置进行通信。

UI 18是用户接口，且包括显示器及操作装置中的至少一个。显示器是液晶显示器或电致发光(Electroluminescence，EL)显示器等显示装置。操作装置是键盘(keyboard)或输入键或操作面板等。UI 18也可为兼具显示器与操作装置的触摸面板等UI。再者，信息处理装置10也可不包括UI 18。

存储器20是构成存储各种信息的一个或多个存储区域的装置。存储器20例如是硬盘驱动器(hard disk drive)、各种存储器(例如随机存取存储器(Random Access Memory，RAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)或只读存储器(ReadOnly Memory，ROM)等)、其他存储装置(例如光盘等)或它们的组合。在信息处理装置10中包括一个或多个存储器20。

在存储器20中存储有用于管理图像的图像管理信息。例如，在图像管理信息中包含图像、表示获得所述图像的日期时间的日期时间信息、表示获得所述图像的场所的场所信息、以及用于识别所述图像中所显现的对象的对象识别信息等。

处理器22构成为对信息处理装置10的各部的运行进行控制。处理器22也可具有存储器。

例如，处理器22接收图像而将所述图像存储于存储器20中并加以管理。另外，处理器22执行将第二图像重叠显示于第一图像上的处理。例如，处理器22通过使用增强现实技术(AR(Augmented Reality)技术)或复合现实技术(MR(Mixed Reality)技术)而将过去图像重叠显示于现实图像上。第一图像可通过利用作为传感器12的一例的照相机进行的拍摄而生成，也可通过利用终端装置14进行的拍摄而生成。

以下，参照图3对终端装置14的硬件的结构进行说明。在图3中示出终端装置14的硬件的结构的一例。

终端装置14例如包括通信装置24、UI 26、照相机28、存储器30及处理器32。

通信装置24是具有通信芯片或通信电路等的通信接口，且具有向其他装置发送信息的功能及接收自其他装置发送来的信息的功能。通信装置24可具有无线通信功能，也可具有有线通信功能。通信装置24例如可通过利用近距离无线通信而与其他装置进行通信，也可经由LAN或因特网等通信路径而与其他装置进行通信。

UI 26是用户接口，且包括显示器及操作装置中的至少一个。显示器是液晶显示器或EL显示器等显示装置。操作装置是键盘或输入键或操作面板等。UI 26也可为兼具显示器与操作装置的触摸面板等UI。UI 26也可包括麦克风或扬声器。

照相机28是具有通过拍摄而生成静止图像或动态图像的功能的拍摄装置的一例。

存储器30是构成存储各种信息的一个或多个存储区域的装置。存储器30例如是硬盘驱动器、各种存储器(例如RAM或DRAM或ROM等)、其他存储装置(例如光盘等)或它们的组合。在终端装置14中包括一个或多个存储器30。

处理器32构成为对终端装置14的各部的运行进行控制。处理器32也可具有存储器。

例如，处理器32使图像显示于UI 26的显示器。处理器32使通过利用照相机28或传感器12进行的拍摄而生成的图像显示于显示器，或使第二图像显示于显示器，或使重叠状态的第一图像与第二图像显示于显示器。另外，处理器32也可执行由信息处理装置10的处理器22进行的处理的一部分或全部。例如，处理器32也可执行将第二图像重叠显示于由照相机28拍摄的第一图像上的处理。处理器32也可通过使用AR技术或MR技术而将第二图像重叠显示于第一图像上。

以下，参照图4对存储于信息处理装置中的图像管理信息进行详细说明。在图4中示出图像数据库的一例。所述图像数据库是图像管理信息的一例。

在图像数据库中，针对每一图像，关联有表示获得所述图像的日期时间的日期时间信息、表示获得所述图像的场所的场所信息、用于识别所述图像中所显现的对象的对象识别信息、所述图像以及备注信息。信息处理装置10的处理器22若自传感器12或终端装置14或其他装置受理图像，则将所述图像登记于图像数据库中。

此处，作为一例，对象是存在于现实空间内的有形物(图4中的存在物)。状况管理数据库中所管理的“场所”是配置有作为对象的有形物的场所。状况管理数据库中所管理的“图像”是通过在所述场所利用传感器12或终端装置14或其他装置进行拍摄而生成的图像。“存在物”是存在于所述场所并在所述图像中显现的有形物。状况管理数据库中所管理的“日期时间”是拍摄所述图像的日期时间。再者，在图4所示的示例中，虽管理有有形物的状况，但也可管理无形物的状况。

例如，在2020年5月13日的9时30分00秒，在场所α进行拍摄，生成动态图像X并登记于状况管理数据库中。另外，在与拍摄动态图像X的日期时间不同的日期时间(2021年4月10日的12时00分45秒)，在场所α进行拍摄，生成动态图像Y并登记于状况管理数据库中。在动态图像X、动态图像Y中，作为存在物的一例，分别显现有设备A、设备B、钟表、桌子、椅子及壁纸。如上所述，沿着时间序列来管理显现场所α的状况的动态图像。

此处，作为一例，通过利用终端装置14的照相机28对场所α内进行拍摄而生成显现场所α内的动态图像X、动态图像Y。动态图像X与表示所述拍摄的日期时间的日期时间信息自终端装置14发送至信息处理装置10并登记于状况管理数据库中。关于动态图像Y，也相同。

终端装置14也可通过利用全球定位系统(Global Positioning System，GPS)来获取终端装置14的位置信息。例如，终端装置14获取拍摄动态图像X时的终端装置14的位置信息。所述位置信息作为附带于动态图像X上的信息自终端装置14发送至信息处理装置10，并与动态图像X相关联而登记于状况管理数据库中。例如，所述位置信息包含于表示场所α的场所信息中。再者，通过用户操作终端装置14，也可将表示进行拍摄的场所α的场所信息输入至终端装置14。在所述情况下，由用户输入的场所信息自终端装置14发送至信息处理装置10，并与动态图像X相关联而登记于状况管理数据库中。关于动态图像Y，也相同。

终端装置14具有加速度传感器或角速度传感器或地磁传感器等传感器，可获取终端装置14的表示朝向或方位的方位信息。例如，终端装置14获取拍摄动态图像X时的终端装置14的方位信息。所述方位信息作为附带于动态图像X上的信息自终端装置14发送至信息处理装置10，并与动态图像X相关联而登记于状况管理数据库中。例如，所述方位信息包含于表示场所α的场所信息中。关于动态图像Y，也相同。

存在物可自动态图像X、动态图像Y各个中自动提取，也可由用户指定。例如，信息处理装置10的处理器22通过对动态图像X、动态图像Y分别应用公知的图像识别技术或图像提取技术，来识别动态图像X、动态图像Y各个中所显现的存在物。例如，预先确定作为识别对象的存在物，信息处理装置10的处理器22自动态图像X、动态图像Y各个中识别预先确定的存在物。在将表示存在物的名称的信息或表示存在物所具有的功能的信息等预先登记于数据库等中的情况下，信息处理装置10的处理器22可自所述数据库等中获取表示自动态图像X、动态图像Y各个中识别出的存在物的名称或功能的信息，并登记于状况管理数据库中。再者，终端装置14的处理器32也可自动态图像X、动态图像Y各个中识别存在物。

用户也可指定存在物。例如，在拍摄动态图像X时或拍摄动态图像X之后，用户通过操作终端装置14，而自动态图像X中所显现的一个或多个有形物中指定登记于状况管理数据库中的存在物。具体而言，终端装置14的处理器32使动态图像X显示于终端装置14的显示器，用户在所述所显示的动态图像X上指定登记于状况管理数据库中的存在物。表示由用户指定的存在物的信息自终端装置14发送至信息处理装置10，并登记于状况管理数据库中。关于动态图像Y，也相同。

终端装置14的处理器32也可通过对动态图像X应用图像识别技术或图像提取技术等，来识别动态图像X中所显现的一个或多个有形物。在所述情况下，通过用户操作终端装置14，可自所述所识别的一个或多个有形物中指定登记于状况管理数据库中的存在物。表示由用户指定的存在物的信息自终端装置14发送至信息处理装置10，并登记于状况管理数据库中。关于动态图像Y，也相同。

另外，在状况管理数据库中登记有备注信息。备注信息例如包含表示场所内的存在物的位置的信息等。例如，以预先确定的基准物的位置为基准，表示相对于所述基准位置的相对位置的信息包含于备注信息中。列举具体例进行说明，表示设备B存在于确定为基准物的钟表的左斜上30cm处、设备A存在于所述钟表的深处5米的下方的信息作为备注信息而与动态图像X、动态图像Y分别相关联。基准物例如可由用户指定，也可不取决于用户而预先确定。

例如，信息处理装置10的处理器22或终端装置14的处理器32可通过分析动态图像X来特定各存在物相对于基准物的位置的相对位置。通过用户操作终端装置14，可输入表示各存在物相对于基准物的位置的相对位置的信息。关于动态图像Y，也相同。

另外，可测定拍摄图像时所获得的周围的声音信息或环境信息(例如气温、湿度、气压等信息)，这些信息可包含于备注信息中。

以下，对基于本实施方式的信息处理系统的处理进行详细说明。

(对象是物体时的处理)

以下，对对象是物体时的处理进行说明。

参照图5对过去的图像进行说明。在图5中示出过去的图像的一例。例如，利用终端装置14的照相机28在过去的某时点对作为空间36的场所α内进行拍摄，并生成显现场所α内的图像34。图像34可为静止图像，也可为动态图像。另外，终端装置14获取拍摄图像34时的终端装置14的位置信息及方位信息，并将这些信息与图像34相关联。此处，作为一例，场所α是房间。

例如，照相机38、壁纸40、壁纸42、壁纸44、钟表46、桌子48、椅子50及设备52、设备54配置于场所α内，在图像34中显现有它们。再者，在拍摄图像34的时点，这些物体(例如设备52等)配置成可自外部看到，但在之后的时点，也可通过安装盖罩等而无法自外部看到。

图像34、表示拍摄图像34的日期时间的日期时间信息及表示场所α的场所信息(包含拍摄图像34时的终端装置14的位置信息及方位信息的信息)自终端装置14发送至信息处理装置10，并登记于图像数据库中。例如，在终端装置14处于场所α内的情况下(例如，持有终端装置14的用户处于场所α内的情况下)，基于终端装置14的位置信息，可特定所述用户所处的场所α，表示场所α的名称等的信息也可包含于表示场所α的信息中。例如，位置信息与表示场所α的名称等的信息预先相关联而被信息处理装置10或服务器等管理，基于终端装置14的位置信息，可特定场所α的名称等。例如，由信息处理装置10、终端装置14或服务器等进行所述特定处理。在用户将场所α的名称等输入至终端装置14的情况下，表示场所α的名称等的信息也可包含于表示场所α的信息中。

此处，作为一例，将钟表46确定为基准物。将图像34显示于终端装置14的UI 26的显示器，用户可在所述所显示的图像34上指定钟表46作为基准物。作为另一例，信息处理装置10的处理器22或终端装置14的处理器32也可自图像34中识别作为基准物的钟表46。所指定或识别的钟表46作为基准物而与图像34相关联并登记于图像数据库中。

用户也可指定登记于图像数据库中的存在物。例如，将图像34显示于终端装置14的UI 26的显示器，用户在所述所显示的图像34上指定所登记的存在物。例如，当由用户指定壁纸40、壁纸42、壁纸44、钟表46、桌子48、椅子50及设备52、设备54时，将所指定的这些存在物登记于图像数据库中。作为另一例，信息处理装置10的处理器22或终端装置14的处理器32也可自图像34中提取预先确定为登记于状况管理数据库中的存在物的存在物，并将所述所提取的存在物登记于图像数据库中。

设备52的图像是过去状况下的与所述设备52相关的第二图像的一例，且为与在过去的时点(即拍摄图像34的时点)配置于场所α内的所述设备52相关的第二图像的一例。关于其他存在物的图像，也相同。

例如，信息处理装置10的处理器22或终端装置14的处理器32自图像34中提取设备52的图像。关于其他存在物的图像，也相同。作为图像提取技术，例如可使用公知的技术。例如，预先确定所提取的存在物，可自图像34中提取所述所预先确定的存在物。例如，在将设备52确定为所提取的存在物、不将桌子48及椅子50确定为所提取的存在物的情况下，提取设备52的图像，不提取桌子48及椅子50的图像。关于其他存在物，也相同。

再者，也可将所述表示存在物的名称的信息或表示存在物所具有的功能的信息等与图像34相关联并登记于状况管理数据库中。各存在物的名称或功能可由用户指定，也可基于登记于数据库等中的信息来特定。

在用户操作终端装置14而提供登记图像的指示的情况下，也可将图像34登记于状况管理数据库中。

作为另一例，在图像中所显现的存在物发生了变化的情况下，也可将所述变化后的图像登记于图像数据库中。例如，设为：在较拍摄图像34的时点更早的过去的时点对场所α内进行拍摄，并将通过所述拍摄而生成的另一图像登记于图像数据库中。在所述情况下，信息处理装置10的处理器22通过自终端装置14接收图像34，将通过对相同的场所α内进行拍摄而生成的所述另一图像与图像34加以比较，对所述另一图像与图像34进行分析，由此判断图像34中所显现的存在物是否发生了变化。例如，在以基准物的显示位置为基准，图像34中所显现的存在物的显示位置相对于所述另一图像中所显现的所述存在物的显示位置发生了改变的情况下，处理器22判断为所述存在物发生了变化。另外，在所述另一图像中所显示的存在物于图像34中未显示出的情况下，处理器22判断为所述存在物发生了变化。另外，在所述另一图像中未显示出的存在物于图像34中显示出的情况下，处理器22判断为所述存在物发生了变化。在此种情况下，处理器22将作为变化后的图像的图像34登记于图像数据库中。

以下，参照图6对当前的图像进行说明。在图6中示出当前的图像的一例。例如，利用终端装置14的照相机28在当前的时点对场所α内进行拍摄，并生成显现场所α内的图像56。图像56可为静止图像，也可为动态图像。另外，终端装置14获取拍摄图像56时的终端装置14的位置信息及方位信息，并将这些信息与图像56相关联。图像56是显现当前的场所α内的状况的第一图像的一例。图像56也可与图像34同样地登记于图像数据库中。在所述情况下，对于在未来的时点拍摄的图像(即，所述未来的时点的图像)而言，图像56作为过去的图像来处理。

如上所述，在用户提供登记的指示的情况下，可将图像56登记于图像数据库中，在相对于过去的时点(例如拍摄图像34的时点)图像56中所显现的存在物要发生变化的情况下，可将图像56登记于图像数据库中。

例如，照相机38、壁纸58、壁纸60、壁纸62、钟表46、桌子48、椅子50及设备52、设备54配置于场所α内，在图像56中显现有它们。当与图5所示的图像34加以比较时，相对于拍摄图像34时，壁纸40、壁纸42、壁纸44被替换为壁纸58、壁纸60、壁纸62。

例如，可将图像56显示于终端装置14的UI 26的显示器，用户可识别图像56中所显现的有形物。

另外，终端装置14的处理器32自信息处理装置10获取场所α的过去的图像(例如图像34)，将所述图像34重叠于图像56上并显示于显示器。例如，当用户操作终端装置14而提供重合的指示时，终端装置14的处理器32将图像34重叠于图像56上并显示于显示器。即，处理器32在自用户受理显示图像的要求的情况下，显示图像34。信息处理装置10的处理器22可自终端装置14受理图像56，进行将图像34重叠于所述图像56上的处理，将实施了所述处理的状态的图像56与图像34发送至终端装置14，并显示于终端装置14的显示器。在于图像数据库中登记有与场所α相关的多个过去的图像的情况下，可将由用户选择的过去的图像重叠于图像56上，也可将所有的图像重叠于图像56上，还可将满足预先确定的条件的图像(例如最近的图像或最早的图像)重叠于图像56上。

信息处理装置10的处理器22或终端装置14的处理器32例如基于与图像34、图像56分别相关联的位置信息及方位信息，来特定分别拍摄图像34、图像56时的终端装置14的位置及方位，使这些位置与方位一致，将图像34重叠显示于图像56上。例如，通过使用AR技术或MR技术而将图像34重叠显示于图像56上。

信息处理装置10的处理器22或终端装置14的处理器32可将图像34的全部或一部分重叠于图像56上。例如，也可将自图像34中提取的显现存在物(例如设备52等)的第二图像重叠于图像56上。

在图7中示出第一图像与第二图像重合后的状态。此处，作为一例，将自图像34中提取的显现存在物(例如设备52等)的第二图像重叠显示于当前的图像56上。壁纸40、壁纸42、壁纸44被替换为壁纸58、壁纸60、壁纸62，壁纸40、壁纸42、壁纸44的过去的图像也重叠显示于当前的图像56上。在图7中，壁纸40、壁纸42、壁纸44的过去的图像(即图像34中所显现的壁纸的图像)由虚线表示，壁纸58、壁纸60、壁纸62的当前的图像(即图像56中所显现的壁纸的图像)由实线表示。自图像34中提取的显现其他存在物(例如设备52等)的第二图像也同样地重叠显示于图像56上。

第二图像例如可为半透明的图像，也可为仅显现存在物的轮廓的图像。由此，即使是将第二图像重叠显示于当前的图像56上的情况，用户也可在图像56上视认当前的图像56中所显现的存在物。即，用户可在图像56上视认当前的图像56中所显现的存在物，并且可确认所述存在物的过去状况。

在图5至图7所示的示例中，未变更壁纸以外的存在物。因此，如图7所示，在图像56上显现有当前的设备52，并且自过去的图像34中提取的设备52的图像也重叠显示于图像56上。关于其他存在物，也相同。

处理器32在当前的图像56上，在与曾经于场所α内配置有设备52的位置相对应的位置显示自过去的图像34中提取的设备52的过去的图像。设备52的位置例如可为相对于基准物的相对位置，也可为由GPS等特定的位置。例如，在将钟表46指定为基准物的情况下，处理器32以图像56中所显现的钟表46的位置为基准，来特定显示设备52的过去的图像的位置，并在所述所特定的位置显示设备52的过去的图像。关于其他存在物，也相同。

处理器32例如通过应用AR技术或MR技术而将各存在物的过去的图像重叠于所拍摄的当前的图像56上并显示于显示器。

在拍摄图像56的时点，设备52由壁纸62等覆盖，即使是无法自外部看到的状态，也可将第二图像重叠显示于图像56上。由此，即使是在图像56上未显现设备52的情况，用户也可通过参照图像56而视认过去的设备52。例如，通过改变壁纸、更换花纹、翻修房间，在拍摄图像56的时点，有时不知道存在物的场所等。通过将第二图像重叠显示于图像56上，用户可识别此种存在物。

再者，也可将过去的图像34全部重叠显示于当前的图像56上。在所述情况下，显现存在物以外的背景等的图像也重叠显示于图像56上。即使是所述情况，图像34也可为半透明的图像。

再者，处理器32也可将登记于图像数据库中的备注信息等重叠于当前的图像56上并显示于显示器。例如，也可将“设备52设置于钟表46的深处5m的下方”的内容的字符串或“设备54设置于钟表46的左斜上30cm处”的内容的字符串重叠显示于图像56上。另外，处理器32也可将表示各存在物的功能或性能等的信息重叠于当前的图像56上并显示于显示器。例如，将表示设备52的功能或性能等的信息与设备52的图像相关联地显示。

在图8中示出另一显示例。在图8所示的示例中，第二图像是引导存在物的图像。例如，第二图像是指向存在物的箭头等的图像。

在图8中示出显现场所α的当前状况的图像64。例如，当前的图像64是与所述图像56同样地通过拍摄场所α而生成的图像。

此处，作为一例，在当前的图像64中未显现设备52、设备54。例如，设备52由壁纸62覆盖，设备54由壁纸58覆盖。因此，无法视认设备52、设备54，在图像64中未显现设备52、设备54。当然，也可为：设备52、设备54未由壁纸覆盖，而与图6所示的示例同样地，在当前的图像64中显现有设备52、设备54。

图8中的图像66是指向设备52的箭头的图像，图像68是指向设备54的箭头的图像。图像66、图像68是第二图像的一例。

例如，处理器32通过应用AR技术或MR技术而将箭头的图像66、图像68重叠于所拍摄的当前的图像68上并显示于显示器。例如，处理器32以图像68中所显现的作为基准物的钟表46的位置为基准，来特定图像68上的设备52的位置，并显示指向所述所特定的位置的图像66。关于其他存在物，也相同。

处理器32也可将指向由用户指定的存在物的图像重叠于当前的图像68上并显示于显示器。在图8所示的示例中，设备52、设备54由用户指定，处理器32显示指向设备52的图像66与指向设备54的图像68。例如，将登记于图像数据库中的存在物的一览显示于终端装置14的显示器。当用户自所述一览中指定存在物时，指向所述所指定的存在物的图像重叠显示于当前的图像68上。

再者，在图8所示的示例中，虽显示箭头的图像，但也可与箭头的图像一起显示显现存在物(例如设备52、设备54)本身的过去的图像，或者代替箭头的图像而显示显现存在物(例如设备52、设备54)本身的过去的图像。

处理器32也可将过去的第1时点的与存在物相关的第二图像及过去的第2时点的与所述存在物相关的第二图像重叠于当前的第一图像上并显示于显示器。第2时点是与第1时点不同的时点。即，可将过去的多个时点的与存在物相关的第二图像重叠显示于当前的第一图像上。以下，参照图9对所述显示例进行说明。在图9中示出第一图像与第二图像重合后的状态。

图9所示的图像70是显现场所α的当前状况的图像，且例如为与所述图像56同样地通过拍摄场所α而生成的图像。

在图9所示的示例中，在图像70中显现有设备54的当前的图像。另外，在图像70中显现有图像54A、图像54B。图像54A是显现过去的第1时点的设备54的图像。图像54B是显现过去的第2时点的设备54的图像。当前，在第1时点及第2时点的各个时点，设备54设置于不同的场所。因此，设备54的当前的图像及图像54A、图像54B在图像70上分别显示于不同的位置。如上所述，通过将过去的多个时点的设备54的图像重叠显示于当前的图像70上，用户可识别各时点的设备54的设置场所。

另外，处理器32也可将由用户指定的时点的与存在物相关的第二图像重叠于当前的图像70上并显示于显示器。例如，将与场所α相关而登记于图像数据库中的日期时间的一览显示于终端装置14的显示器，处理器32也可将如下第二图像重叠于当前的图像70上并显示于显示器，所述第二图像是自在根据所述一览并由用户指定的日期时间所获得的图像(例如在所述所指定的日期时间拍摄的图像)中提取。作为另一例，处理器32也可将自最近的图像中获得的第二图像或自最早的图像中获得的第二图像或自满足其他条件的过去的图像中获得的第二图像重叠于当前的图像70上并显示于显示器。

在所述各实施方式中，处理器32在当前的对象的状况相对于过去的对象的状况发生了改变的情况下，也可将第二图像重叠于第一图像上并显示于显示器。

例如，处理器32将当前的图像(即第一图像)与登记于图像数据库中的过去的图像加以比较，在两图像之间具有阈值以上的差异的情况下，将第二图像重叠于第一图像上并显示于显示器。

参照图5及图8对所述处理进行详细说明。如图5所示，在过去的某时点(即拍摄图像34的时点)，设备52、设备54未由壁纸覆盖，可自外部视认。另一方面，如图8所示，在当前(即拍摄图像64的时点)，设备52、设备54由壁纸覆盖，无法自外部视认。

处理器32将当前的图像64与过去的图像34加以比较，在两图像之间有阈值以上的差异的情况下，将第二图像(例如显现设备52、设备54本身的图像或指向设备52、设备54的设置位置的箭头的图像等)重叠于图像64上并显示于显示器。处理器32在两图像之间的差异未满阈值的情况下，不将第二图像重叠于图像64上而使图像64显示于显示器。

处理器32在拍摄相对于过去的时点未发生变化的基准物的情况下，也可将第二图像重叠于当前的第一图像上并显示于显示器。

参照图5及图6对所述处理进行说明。例如，将钟表46确定为基准物。如图5所示，在过去的图像34中显现有钟表46，如图6所示，在当前的图像64中也显现有钟表46。如上所述，在于所拍摄的当前的图像64中显现有钟表46的情况下，处理器32将第二图像(例如显现存在物本身的图像或指向存在物的设置位置的箭头的图像等)重叠于当前的图像64上并显示于显示器。

另外，处理器32可基于当前的图像64中所显现的各存在物的位置来算出钟表46与其他存在物的相对位置关系，并基于过去的图像34中所显现的各存在物的位置来算出钟表46与其他存在物的相对位置关系。处理器32在当前的相对位置关系与过去的相对位置关系的差异为阈值以下的情况下，也可将第二图像重叠于当前的图像64上并显示于显示器。

以下，参照图10对用于提供显示过去的图像的指示的用户接口进行说明。在图10中示出终端装置14中所显示的画面76。用户可通过所述画面76来提供显示过去的图像的指示。

例如，在画面76中设置有输入用户的请求的一栏。例如，在所述栏中输入用户正在搜索的对象的名称等。在图10所示的示例中，由用户输入了作为设备的名称的字符串“设备A”。此处，所输入的信息自终端装置14发送至信息处理装置10。信息处理装置10的处理器22自图像数据库中检索作为存在物的设备A的过去的图像，并将检索到的过去的图像发送至终端装置14。所述过去的图像显示于终端装置14的显示器。例如，在利用终端装置14的照相机28拍摄了当前的图像的情况下，设备A的过去的图像重叠显示于所述当前的图像上。

另外，也可在画面76上由用户指定过去的时点。在图10所示的示例中，指定“去年”作为过去的时点。在所述情况下，信息处理装置10的处理器22自图像数据库中检索去年所拍摄的图像，并将检索到的去年的图像发送至终端装置14。例如，在用户处于场所α内的情况下，检索场所α的去年的图像，并将所述去年的图像显示于终端装置14的显示器。在利用终端装置14的照相机28拍摄了场所α的当前的图像的情况下，去年的图像重叠显示于当前的图像上。例如，设备A的去年的图像重叠显示于当前的图像上。

再者，通过画面76而输入的各信息也可通过声音来输入。在所述情况下，也可不显示画面76。

(对象是图像时的处理)

以下，对对象是图像时的处理进行说明。

在对象是图像的情况下，第一图像是显示器中所显示的当前的图像，第二图像是在过去的时点显示器中所显示的图像。例如，第二图像是与在过去的时点显示器中所显示的操作相关的图像。

第一图像及第二图像例如是操作画面、图标或其他图像等。操作画面例如是PC或智能手机等装置的显示器中所显示的操作画面(例如操作系统(Operating System，OS)的桌面画面或各种应用软件的操作画面等)或其他设备的操作画面等。

例如，第一图像是当前的操作画面，第二图像是所述操作画面中所显示的图标。作为第二图像的图标在当前的操作画面上显示于过去所显示的位置。

以下，参照图11对对象是图像时的处理进行详细说明。在图11中示出终端装置14的显示器中所显示的画面78。画面78例如是OS的当前的桌面画面，且为第一图像的一例。在画面78中显示有图标80。图标80例如可为与特定的应用软件相关联的图像，也可为与特定的数据(例如图像数据或文档数据等)相关联的图像。图标80是当前的桌面画面上所显示的图像。

例如，当用户操作终端装置14来指示将过去的桌面画面重叠显示于当前的桌面画面上时，终端装置14的处理器32将过去的桌面画面重叠于画面78上并显示于显示器。例如，图标82是与当前的图标80相同的图标，且为过去的桌面画面中所显示的第二图像。图标82在当前的画面78上显示于过去的桌面画面中所显示的位置。在过去的时点，图标80显示于图标82的显示位置。处理器32也可使图标82的显示形态与图标80的显示形态不同。例如，处理器32可将过去的图标82的颜色设为与当前的图标80的颜色不同的颜色来显示图标82，也可将过去的图标82设为半透明来显示，还可将过去的图标82的形状设为与当前的图标80的形状不同的形状来显示图标82。

用户通过参照当前的画面78上所显示的过去的图标82，可识别在过去的时点显示当前的图标80的位置。

例如，在终端装置14的存储器30中存储有过去的与桌面画面相关的信息(例如用于识别过去的桌面画面中所显示的图标的信息、表示显示了所述图标的位置的信息等)。例如，可每隔预先确定的时间存储与桌面画面相关的信息，在桌面画面要发生变化的情况下(例如，变更了图标的位置的情况或者删除或追加了图标的情况等)，可存储与所述变化前的桌面画面相关的信息，在用户提供存储的指示的情况下，可存储与此时的桌面画面相关的信息。

在存储有过去的多个时点的与桌面画面相关的信息的情况下，处理器32可将在各时点所显示的图标显示于当前的画面78上，也可将在由用户指定的时点所显示的图标显示于当前的画面78上。

过去的图标82可为用户能操作的图标，也可为用户无法操作的图标。例如，在用户按下过去的图标82的情况下，可启动与所述图标82相关联的应用软件。

另外，在用户操作终端装置14来选择显示过去的设定的情况下，处理器32也可不使图标80显示于当前的显示位置而将图标80显示于过去的显示位置(即图标82的显示位置)。

以下，参照图12至图14对另一画面进行说明。在图12至图14中示出某设备的显示器中所显示的画面84。例如，画面84是复合机的操作面板中所显示的菜单画面。在画面84中显示有分别被分配了功能的按钮A、按钮B、按钮C、按钮D、按钮E、按钮F。列举复合机为例进行说明，对各按钮分配了打印或扫描等功能。用户可变更画面84的设定。例如，用户可变更画面84上所显示的各按钮的显示位置。

在图12中示出过去的时点的画面84，在图13中示出当前的时点的画面84。在当前的时点，各按钮的显示位置相对于过去的时点的显示位置发生了变更。

例如，当用户指示将当前的画面与过去的画面重叠显示时，如图14所示，设备的处理器在画面84上，在当前的显示位置显示各按钮，并且在过去的显示位置显示各按钮。处理器可将各按钮的显示位置错开来显示，以使各按钮不完全重叠，也可使过去的显示位置上所显示的各按钮的显示形态与当前的显示位置上所显示的各按钮的显示形态不同。

在用户选择了过去画面的设定的情况下，处理器可不使各按钮显示于当前的显示位置，而如图12所示，将各按钮显示于过去的显示位置。

图11至图14所示的画面只不过是一例，针对用于进行各种设定的设定画面等，也可应用所述处理。

另外，在OS或应用软件的版本发生了改变时，安装有所述OS或应用软件的设备的处理器可使与当前版本的OS或应用软件相关的画面显示于显示器，并且将与过去版本的OS或应用软件相关的画面重叠于所述当前的画面上并显示于显示器。

在所述各实施方式中，所谓处理器，是指广义的处理器，包括通用的处理器(例如CPU：Central Processing Unit等)、或专用的处理器(例如图形处理器(GraphicsProcessing Unit，GPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑器件等)。另外，所述各实施方式中的处理器的运行不仅可由一个处理器完成，也可为存在于物理上分离的位置的多个处理器协作地完成的运行。另外，处理器的各运行的顺序并不仅限定于所述各实施方式中记载的顺序，也可适当变更。

Claims (16)

1.一种信息处理装置，其特征在于，具有处理器，

所述处理器将过去状况下的与对象相关的第二图像重叠于表示当前状况的第一图像上并显示于显示器。

2.根据权利要求1所述的信息处理装置，其特征在于，

所述处理器在当前的所述对象的状况相对于过去的所述对象的状况发生了改变的情况下，将所述第二图像重叠显示于所述第一图像上。

3.根据权利要求1或2所述的信息处理装置，其特征在于，

所述第一图像是表示空间内的当前状况的图像，

所述对象是物体，

所述第二图像是与在过去的时点配置于所述空间内的物体相关的图像。

4.根据权利要求3所述的信息处理装置，其特征在于，

所述处理器在所述第一图像上，在与曾经于所述空间内配置有所述物体的位置相对应的位置显示所述第二图像。

5.根据权利要求3或4所述的信息处理装置，其特征在于，

所述第二图像是表示所述物体的图像。

6.根据权利要求3或4所述的信息处理装置，其特征在于，

所述第二图像是引导所述物体的图像。

7.根据权利要求3至6中任一项所述的信息处理装置，其特征在于，

所述第一图像是通过对所述空间内进行拍摄而生成的图像。

8.根据权利要求7所述的信息处理装置，其特征在于，

所述处理器在拍摄了在所述空间内相对于过去的时点未发生变化的基准物的情况下，将所述第二图像重叠显示于所述第一图像上。

9.根据权利要求3至8中任一项所述的信息处理装置，其特征在于，

所述第二图像是自通过在过去的时点对所述空间内进行拍摄而生成的图像所获得的图像。

10.根据权利要求3至9中任一项所述的信息处理装置，其特征在于，

所述处理器在自用户受理显示与所述物体相关的图像的要求的情况下，显示所述第二图像。

11.根据权利要求3至10中任一项所述的信息处理装置，其特征在于，

所述处理器将过去的第1时点的与所述物体相关的所述第二图像和过去的第2时点的与所述物体相关的所述第二图像重叠显示于所述第一图像上。

12.根据权利要求1或2所述的信息处理装置，其特征在于，

所述第一图像是显示器中所显示的当前的图像，

所述第二图像是在过去的时点所述显示器中所显示的图像。

13.根据权利要求12所述的信息处理装置，其特征在于，

所述第二图像是与在过去的时点所述显示器中所显示的与操作相关的图像。

14.根据权利要求12所述的信息处理装置，其特征在于，

所述第二图像是作为所述对象的图标，

所述处理器在所述第一图像上，在过去所显示的位置显示所述第二图像。

15.一种计算机可读介质，其是保存有使计算机执行处理的程序的计算机可读介质，且其特征在于，

所述处理是将过去状况下的与对象相关的第二图像重叠于表示当前状况的第一图像上并显示于显示器。

16.一种信息处理方法，其特征在于，将过去状况下的与对象相关的第二图像重叠于表示当前状况的第一图像上并显示于显示器。

Images