CN106463000A

CN106463000A - 信息处理装置、信息重叠图像显示装置、标记显示程序和信息重叠图像显示程序

Info

Publication number: CN106463000A
Application number: CN201480079673.9A
Authority: CN
Inventors: 羽藤淳平
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-06-13
Filing date: 2014-06-13
Publication date: 2017-02-22
Also published as: DE112014006745T5; US20170092010A1; JP6143958B2; US10229543B2; JPWO2015189973A1; WO2015189973A1

Abstract

信息处理装置(200)在显示区域(201)显示作为显示区域的记号的标记(202)。AR装置(100)从映出信息处理装置的摄影图像中检测标记，根据检测到的标记从摄影图像中选择信息处理装置的显示区域。然后，AR装置通过避开信息处理装置的显示区域将信息图(320)重叠在摄影图像中，显示AR图像(194)。AR是增强现实的简称。

Description

信息处理装置、信息重叠图像显示装置、标记显示程序和信息重叠图像显示程序

技术领域

本发明涉及在摄影图像中重叠信息显示的技术。

背景技术

在现实世界或映出现实世界的影像中重叠显示由计算机生成的CG的AR技术已经普及。CG是计算机图形的简称，AR是增强现实的简称。

例如，存在从投射仪向用户面向的方向存在的建造物投射CG的方法。并且，存在在将由智能手机、平板终端或可穿戴终端等信息终端具有的摄像机拍摄到的影像显示在该信息终端的画面中时重叠显示CG的方法。

这些技术能够用于面向观光客显示说明周边建筑物的信息的观光辅助系统或利用CG显示到达目的地的路线的导航系统等用途。

但是，在现实世界中重叠显示CG的情况下，成为无法看到重叠显示的部分存在的现实世界的状况或很难看到重叠显示的部分存在的现实世界的状况。该状况下，在可以不看到重叠了CG的部分的现实世界的情况下不会成为问题，但是，在希望看到现实世界的情况下，在用户角度的观点下成为课题。

并且，在现实世界中，除了通过AR技术重叠显示CG的信息处理终端以外，还存在向用户发布有益信息的显示设备。因此，在显示了显示设备的部分重叠显示CG的情况下，从显示设备发布的信息被遮断，损害了用户的利益。

专利文献1公开了如下技术：通过指定未重叠显示CG的CG去除区域，防止在CG去除区域中重叠显示CG。

但是，用户需要使用CG去除框、电子笔或自己的手明确地指定CG去除区域。

因此，产生对CG去除区域的位置和尺寸进行调整的劳力。并且，由于CG去除区域中未重叠显示CG，因此，应该重叠显示的CG的一部分可能缺失。并且，在CG去除区域大到必要以上的程度的情况下，可能完全不显示CG。因此，预计无法进行有效的信息发布。

另一方面，在CG重叠显示在显示设备中的情况下，用户很难认知显示设备中显示的信息。

现有技术文献

专利文献

专利文献1：日本特开2004-178554号公报

非专利文献

非专利文献1：金泽靖、“基于移动单眼摄像机的道路上的障碍物的计测”、[online]、2012年7月10日、[2014年4月7日检索]、因特网(URL：http：//jstshingi.jp/abst/p/12/1216/toyohashi04.pdf)

发明内容

发明要解决的课题

本发明的目的在于，能够在摄影图像中重叠显示信息而不遮挡摄影图像中映出的显示设备的显示区域。

用于解决课题的手段

本发明的信息处理装置具有标记显示部，该标记显示部将为了使取得了映出具有显示区域的显示设备的摄影图像的计算机从所述摄影图像中选择所述显示区域而决定的标记，显示在所述显示设备的所述显示区域中。

发明效果

根据本发明，能够根据显示区域中显示的标记来选择摄影图像中映出的显示设备的显示区域。

而且，由于能够选择摄影图像中映出的显示设备的显示区域，因此，能够在摄影图像中重叠显示信息而不遮挡摄影图像中映出的显示设备的显示区域。

附图说明

图1是实施方式1中的AR系统109的概要图。

图2是实施方式1中的信息处理装置200的功能结构图。

图3是示出实施方式1中的信息处理装置200的标记显示处理的流程图。

图4是示出实施方式1中的标记图像291的一例的图。

图5是示出实施方式1中的标记图像291的一例的图。

图6是示出实施方式1中的标记图像291的一例的图。

图7是示出实施方式1中的标记图像291的一例的图。

图8是实施方式1中的标记2021的放大图。

图9是实施方式1中的标记2025的放大图。

图10是示出实施方式1中的标记图像291的一例的图。

图11是实施方式1中的标记2021(二维码)的放大图。

图12是实施方式1中的标记2025(二维码)的放大图。

图13是示出实施方式1中的信息处理图像292的一例的图。

图14是示出实施方式1中的标记重叠图像293的一例的图。

图15是实施方式1中的信息处理装置200的硬件结构图。

图16是示出现有技术中的AR图像194的一例的图。

图17是实施方式2中的信息处理装置200的功能结构图。

图18是示出实施方式2中的信息处理装置200的标记显示处理的流程图。

图19是示出实施方式2中的信息处理图像292的一例的图。

图20是示出实施方式2中的标记图像291的一例的图。

图21是示出实施方式2中的标记重叠图像293的一例的图。

图22是实施方式3中的信息处理装置200的功能结构图。

图23是示出实施方式3中的信息处理装置200的标记显示处理的流程图。

图24是示出实施方式3中的信息处理图像292的一例的图。

图25是示出实施方式3中的标记图像291的一例的图。

图26是示出实施方式3中的标记重叠图像293的一例的图。

图27是实施方式4中的信息处理装置200的功能结构图。

图28是示出实施方式4中的信息处理装置200的标记显示处理的流程图。

图29是示出实施方式4中的信息处理图像292的一例的图。

图30是示出实施方式4中的合成区域350的一例的图。

图31是示出实施方式4中的标记图像291的一例的图。

图32是示出实施方式4中的标记重叠图像293的一例的图。

图33是示出实施方式4中的窗口合成处理(S260)的流程图。

图34是示出实施方式4中的合成区域350的一例的图。

图35是实施方式5中的信息处理装置200的功能结构图。

图36是示出实施方式5中的信息处理装置200的标记显示处理的流程图。

图37是实施方式6中的AR装置100的功能结构图。

图38是示出实施方式6中的AR装置100的AR处理的流程图。

图39是示出实施方式6中的摄影图像191的一例的图。

图40是示出实施方式6中的摄影图像191中包含的不可区域390的一例的图。

图41是示出实施方式6中的摄影图像191中包含的不可区域390的一例的图。

图42是示出实施方式6中的不可区域390的一例的图。

图43是示出实施方式6中的AR图像194的一例的图。

图44是实施方式6中的AR装置100的硬件结构图。

图45是实施方式8中的重叠信息取得部120的功能结构图。

图46是示出实施方式8中的AR图像194的一例的图。

图47是实施方式9中的AR图像生成部140的功能结构图。

图48是示出实施方式9中的AR图像生成部140的AR图像生成处理的流程图。

图49是示出实施方式9中的信息部分图322的一例的图。

图50是示出实施方式9中的信息部分图322的变更例的图。

图51是示出实施方式9中的信息图320的一例的图。

图52是示出实施方式9中的信息图像329的一例的图。

图53是实施方式10中的AR装置100的功能结构图。

图54是示出实施方式10中的AR装置100的AR处理的流程图。

图55是示出实施方式10中的除外区域398的位置关系的图。

图56是实施方式11中的AR装置100的功能结构图。

图57是实施方式11中的信息处理装置200的功能结构图。

具体实施方式

实施方式1

对在摄影图像中重叠显示信息而不遮挡摄影图像中映出的显示设备的显示区域的方式进行说明。

图1是实施方式1中的AR系统109的概要图。AR是增强现实的简称。

根据图1对实施方式1中的AR系统109的概要进行说明。

AR系统109(信息重叠图像显示系统的一例)是用于显示AR图像194的系统。AR图像194是在摄影图像中重叠了信息的信息重叠图像。下面，将摄影图像中重叠的信息称作重叠信息。

AR系统109具有AR装置100(信息重叠图像显示装置的一例)和信息处理装置200。

信息处理装置200具有显示设备。显示设备可以经由缆线等而与信息处理装置200连接。平板型计算机、智能手机和桌上型计算机是信息处理装置200的一例。下面，将信息处理装置200具有的显示设备称作显示设备或信息处理显示设备。

由AR装置100具有的摄像机对信息处理显示设备进行拍摄。

信息处理装置200在信息处理显示设备的显示区域201中显示标记202。

标记202是决定为用于使取得了映出信息处理显示设备的摄影图像的AR装置100从摄影图像中选择显示区域201的记号的图。

AR装置100具有生成摄影图像的摄像机和显示AR图像194的显示设备。摄像机和显示设备也可以经由缆线等而与AR装置100连接。平板型计算机、智能手机和桌上型计算机是AR装置100的一例。下面，将AR装置100具有的显示设备称作显示设备或AR显示设备。

AR装置100根据摄影图像中映出的标记202选择不可区域。不可区域是映出信息处理显示设备的显示区域201的图像区域。

AR装置100通过避开信息处理显示设备的显示区域201而在摄影图像中重叠信息图320，生成AR图像194。信息图320是记载有重叠信息的图。与摄影图像中映出的钟表310所示的时刻有关的日程表信息是重叠信息的一例。

AR装置100在AR显示设备具有的显示区域101中显示AR图像194。

AR装置100的详细情况在其它实施方式中进行说明。

图2是实施方式1中的信息处理装置200的功能结构图。

根据图2对实施方式1中的信息处理装置200的功能结构进行说明。但是，信息处理装置200的功能结构也可以是与图2不同的功能结构。

信息处理装置200具有标记图像生成部210(标记生成部的一例)、信息处理图像生成部220、标记重叠图像生成部230、标记重叠图像显示部240(标记显示部的一例)、信息处理存储部290。

标记图像生成部210生成表示显示区域201的记号即标记202的标记图像291。

信息处理图像生成部220生成显示区域201中显示的信息处理图像292。表示信息处理装置200的起动画面、信息处理装置200的菜单画面或应用程序用的窗口的图像是信息处理图像292的一例。

标记重叠图像生成部230生成在信息处理图像292中重叠了标记202的标记重叠图像293。

标记重叠图像显示部240在显示区域201中显示标记重叠图像293。

信息处理存储部290存储信息处理装置200使用、生成或输入输出的数据。

例如，信息处理存储部290存储标记图像291、信息处理图像292和标记重叠图像293等。

AR装置100的功能结构在其它实施方式中进行说明。

根据图3对实施方式1中的信息处理装置200的标记显示处理进行说明。但是，标记显示处理也可以是与图3不同的处理。

在S210中，标记图像生成部210生成表示显示区域201的记号即标记202的标记图像291。

在S210之后，处理进入S220。

图4、图5、图6和图7是示出实施方式1中的标记图像291的一例的图。

在图4中，标记图像生成部210生成四边形的显示区域201中显示的标记图像291。但是，显示区域201的形状不限于四边形，显示区域201的形状也可以是四边形以外的多边形或圆形等。

标记图像291包含配置在显示区域201的角的标记2021～2024(角标记的一例)和配置在显示区域201的边的中间的标记2025～2028(边标记的一例)这8个标记。

通过8个标记2021～2028确定显示区域201。显示区域201是包围8个标记2021～2028且由与8个标记2021～2028相接的矩形框包围的区域。即，显示区域201是由包围8个标记2021～2028的最小的矩形框包围的区域。

但是，标记图像291也可以不是8个标记2021～2028的全部，而是包含8个标记2021～2028中的1个或多个。只要有一个标记，就能够确定显示区域201的中心部分存在的方向。

并且，标记图像291也可以包含9个以上的标记。

例如，标记图像生成部210根据显示区域201的大小决定标记的数量和配置。显示区域201越大，则标记图像291包含越多的标记。根据信息处理显示设备的显示器尺寸和分辨率来决定显示区域201的大小。标记图像生成部210也可以根据显示区域201的形状来决定标记的数量和配置。

并且，标记图像291也可以在比长度阈值长的边的中间具有多个标记。例如，标记图像291也可以各具有2个标记2026和标记2028。

通过增加标记图像291中包含的标记的数量，能够更加准确地从标记图像291中确定显示区域201。

在图5中，标记图像生成部210生成包含配置在显示区域201的角的4个标记2021～2024的标记图像291。

在图6中，标记图像生成部210生成包含配置在显示区域201的边的中间的4个标记2025～2028的标记图像291。

在图7中，标记图像生成部210生成包含配置在左上角的标记2021、配置在右下角的标记2023、配置在左边中间的标记2025、配置在右边中间的标记2027的标记图像291。

在图5～图7中，通过4个标记202确定显示区域201。显示区域201是由包围4个标记202且与4个标记202相接的框包围的区域。即，显示区域201是由包围4个标记202的最小的矩形框包围的区域。

图8是实施方式1中的标记2021的放大图。

根据图8对实施方式1中的标记2021进行说明。

标记2021呈直角三角形。

标记2021具有直角三角形的黑区域203和与形成黑区域203的直角的两边相接的L字形的白区域204。

黑区域203表示显示区域201的中心部分(包含中心的部分)存在的方向。显示区域201的中心部分位于以标记2021的直角的顶点为基点且与黑区域203的斜边垂直的垂线向量205的方向上。垂线向量205是通过黑区域203的直角的顶点和黑区域203的斜边的中心点的向量。

白区域204表示显示区域201的边即显示区域201的边界线。显示区域201的边界线位于以标记2021的直角的顶点为基点且延长白区域204的边的延长线206上。

配置在显示区域201的角的其它3个标记2022～2024是与标记2021相同的结构。

使标记2021逆时针旋转90度而得到的标记是标记2022。

使标记2021顺时针旋转180度而得到的标记是标记2023。

使标记2021顺时针旋转90度而得到的标记是标记2024。

图9是实施方式1中的标记2025的放大图。

根据图9对实施方式1中的标记2025进行说明。

标记2025呈等腰三角形。

标记2025具有等腰三角形的黑区域203和与黑区域203的底边相接的直线状的白区域204。

黑区域203表示显示区域201的中心部分(包含中心的部分)存在的方向。显示区域201的中心部分位于以标记2025的底边的中心为基点且与黑区域203的底边垂直的垂线向量205的方向上。垂线向量205是通过黑区域203的底边的中心点和黑区域203的顶点的向量。

白区域204表示显示区域201的边即显示区域201的边界线。显示区域201的边界线位于延长包含标记2025的底边的白区域204的边的延长线206上。

配置在显示区域201的边的中间的其它3个标记2026～2028是与标记2025相同的结构。

使标记2025逆时针旋转90度而得到的标记是标记2026。

使标记2025顺时针旋转180度而得到的标记是标记2027。

使标记2025顺时针旋转90度而得到的标记是标记2028。

标记2021～2028的形状也可以不是三角形。例如，标记2021～2028的形状也可以是三角形以外的多边形或圆形等。

标记2021～2028的黑区域203也可以是利用黑色以外的颜色着色的区域。标记2021～2028的白区域204也可以是利用白色以外的颜色着色的区域。

标记2021～2028也可以利用形状和颜色以外的形式确定显示区域201。例如，标记2021～2028也可以是包含确定显示区域201的信息的二维码。

图10是示出实施方式1中的标记图像291的一例的图。

如图10所示，标记图像291在显示区域201的角和显示区域201的边的中间包含标记2021～2028。

标记2021～2028是包含确定显示区域201的信息的二维码。

例如，标记2021包含表示配置在显示区域201的左上角的“左上”这样的信息。同样，标记2022～2024包含“左下”、“右下”、“右上”这样的信息。

例如，标记2025包含表示配置在显示区域201的左边中间的“左边”这样的信息。同样，标记2026～2028包含“下边”、“右边”、“上边”这样的信息。

如上所述，标记图像291也可以包含7个以下的标记或9个以上的标记。

图11是实施方式1中的标记2021(二维码)的放大图。

根据图11对实施方式1中的标记2021(二维码)进行说明。

标记2021(角标记的一例)包含表示配置在显示区域201的左上角的“左上”这样的信息。

显示区域201的中心部分位于以标记2021的左上的顶点为基点且通过标记2021的右下的顶点的对角线向量207的方向上。

显示区域201的上侧的边界线位于以标记2021的左上的顶点为基点且延长标记2021的上边的延长线206上。

显示区域201的左侧的边界线位于以标记2021的左上的顶点为基点且延长标记2021的左边的延长线206上。

配置在显示区域201的角的其它3个标记2022～2024与标记2021同样地确定显示区域201。

即，显示区域201的中心部分位于从标记2022的左下的顶点通过标记2022的右上的顶点的对角线向量的方向上。同样，显示区域201的中心部分位于从标记2023的右下的顶点通过标记2023的左上的顶点的对角线向量的方向和从标记2024的右上的顶点通过标记2024的左下的顶点的对角线向量的方向上。

即，显示区域201的左侧的边界线位于从标记2022的左下的顶点延长标记2022的左边的延长线上。显示区域201的下侧的边界线位于从标记2022的左下的顶点延长标记2022的下边的延长线和从标记2023的右下的顶点延长标记2023的下边的延长线上。显示区域201的右侧的边界线位于从标记2023的右下的顶点延长标记2023的左边的延长线和从标记2024的右上的顶点延长标记2024的右边的延长线上。显示区域201的上侧的边界线位于从标记2024的右上的顶点延长标记2024的上边的延长线上。

图12是实施方式1中的标记2025(二维码)的放大图。

根据图12对实施方式1中的标记2025进行说明。

标记2025(边标记的一例)包含表示配置在显示区域201的左边中间的“左边”这样的信息。

显示区域201的中心部分位于以标记2025的左边的中心为基点且与标记2025的右边垂直的垂线向量205的方向上。

显示区域201的左侧的边界线位于延长标记2025的左边的延长线上。

配置在显示区域201的边的中间的其它3个标记2026～2028与标记2025同样地确定显示区域201。

即，显示区域201的中心部分位于以标记2026的下边的中心为基点且与标记2026的上边垂直的垂线向量的方向上。同样，显示区域201的中心部分位于以标记2027的右边的中心为基点且与标记2027的左边垂直的垂线向量的方向和以标记2028的上边的中心为基点且与标记2028的下边垂直的垂线向量的方向上。

即，显示区域201的下侧的边界线位于延长标记2026的下边的延长线上。同样，显示区域201的右侧的边界线位于延长标记2027的右边的延长线上，显示区域201的上侧的边界线位于延长标记2028的上边的延长线上。

返回图3，从S220起继续进行说明。

在S220中，信息处理图像生成部220生成信息处理图像292。

表示信息处理装置200的起动画面、信息处理装置200的菜单画面或应用程序用的窗口的图像是信息处理图像292的一例。

在S220之后，处理进入S230。

图13是示出实施方式1中的信息处理图像292的一例的图。

例如，信息处理图像生成部220生成表示整齐排列有多个图标的菜单画面的信息处理图像292(参照图13)。信息处理图像292中包含的正方形表示图标。

返回图3，从S230起继续进行说明。

在S230中，标记重叠图像生成部230通过在信息处理图像292中重叠标记图像291，生成标记重叠图像293。

在S230之后，处理进入S240。

图14是示出实施方式1中的标记重叠图像293的一例的图。

例如，标记重叠图像生成部230通过在信息处理图像292(参照图13)中重叠标记图像291(参照图4)，生成图14所示的标记重叠图像293。

返回图3，从S240起继续进行说明。

在S240中，标记重叠图像显示部240在信息处理显示设备的显示区域201中显示标记重叠图像293。

例如，如图14所示，标记重叠图像显示部240在显示区域201中显示标记重叠图像293。

在S240之后，标记显示处理结束。

图15是实施方式1中的信息处理装置200的硬件结构图。

根据图15对实施方式1中的信息处理装置200的硬件结构进行说明。但是，信息处理装置200的硬件结构也可以是与图15所示的结构不同的结构。

信息处理装置200是计算机。

信息处理装置200具有总线801、存储器802、贮存器803、通信接口804、CPU805、GPU806。

进而，信息处理装置200具有显示设备807、用户接口设备809、传感器810。

总线801是用于供信息处理装置200的硬件交换数据的数据转送路径。

存储器802是由信息处理装置200的硬件写入数据或读出数据的易失性存储装置。但是，存储器802也可以是非易失性存储装置。存储器802也称作主存储装置。

贮存器803是由信息处理装置200的硬件写入数据或读出数据的非易失性存储装置。贮存器803也称作辅助存储装置。

通信接口804是用于供信息处理装置200与外部的计算机交换数据的通信装置。

CPU805是执行信息处理装置200进行的处理(例如标记显示处理)的运算装置。CPU是Central Processing Unit的简称。

GPU806是执行与计算机图形(CG)有关的处理的运算装置。但是，与CG有关的处理也可以由CPU805执行。标记图像291、信息处理图像292和标记重叠图像293是通过CG的技术生成的数据的一例。GPU是Graphics Processing Unit的简称。

显示设备807是将CG的数据转换成光学输出的装置。即，显示设备807是显示CG的显示装置。

用户接口设备809是用于供利用信息处理装置200的用户操作信息处理装置200的输入装置。桌上型计算机具有的键盘和指示设备是用户接口设备809的一例。鼠标和跟踪球是指示设备的一例。并且，智能手机或平板型计算机具有的触摸面板和麦克风是用户接口设备809的一例。

传感器810是用于检测信息处理装置200或周边的状况的计测装置。计测位置的GPS、计测加速度的加速度传感器、计测角速度的陀螺仪传感器、计测方位的磁传感器、检测有无接近的物体的接近传感器和计测照度的照度传感器是传感器810的一例。

用于实现作为“～部”说明的功能的程序存储在贮存器803中，从贮存器803下载到存储器802中，由CPU805执行。

表示“～的判断”、“～的判定”、“～的提取”、“～的检测”、“～的设定”、“～的登记”、“～的选择”、“～的生成”、“～的输入”、“～的输出”等处理的结果的信息、数据、文件、信号值或变量值存储在存储器802或贮存器803中。

图16是示出现有技术中的AR图像194的一例的图。

在现有技术的情况下，信息图320可能重叠在信息处理装置200的显示区域201中(参照图16)。

该情况下，信息处理装置200的显示区域201中显示的信息处理图像292被信息图320遮挡而无法看到。

因此，在有益信息包含在信息处理图像292中的情况下，用户无法从AR图像194得到该有益信息。在希望看到信息处理图像292的情况下，用户必须使视线从AR图像194的显示设备移动到信息处理装置200的显示设备。

另一方面，在实施方式1中，信息处理装置200在显示区域201中显示标记202，因此，AR装置100能够避开信息处理装置200的显示区域201来显示信息图320(参照图1)。

在图1中，信息图320与信息处理装置200的边框重合，但是，不与显示区域201重合。并且，即使信息图320有时与信息处理装置200的周边设备重合，也不会与显示区域201重合。

因此，用户能够从AR图像194得到信息图320中记载的信息和信息处理图像292中记载的信息双方。

根据实施方式1，信息处理装置200能够在信息处理显示设备的显示区域201中显示作为显示区域201的记号的标记202。

AR装置100能够根据显示区域201中显示的标记202来选择摄影图像191中映出的信息处理显示设备的显示区域201。

而且，由于AR装置100能够选择摄影图像191中映出的信息处理显示设备的显示区域201，因此，能够在摄影图像191中重叠显示信息而不遮挡摄影图像191中映出的信息处理显示设备的显示区域201。

实施方式2

对在显示应用程序用的窗口的窗口区域中显示标记的方式进行说明。

下面，主要对实施方式1中未说明的事项进行说明。省略说明的事项与实施方式1相同。

图17是实施方式2中的信息处理装置200的功能结构图。

根据图17对实施方式2中的信息处理装置200的功能结构进行说明。但是，信息处理装置200的功能结构也可以是与图17不同的功能结构。

信息处理装置200在实施方式1(参照图2)中说明的功能的基础上，具有窗口信息取得部250。

窗口信息取得部250在信息处理图像生成部220(窗口生成部的一例)生成应用程序用的窗口的情况下，从信息处理图像生成部220取得窗口信息294。

窗口信息294包含表示窗口区域的窗口区域信息、窗口的重要度、识别窗口的窗口句柄等。窗口是应用程序的执行画面。窗口区域是显示区域201中的显示窗口的区域。窗口的重要度意味着使用窗口的应用程序的重要度。

标记图像生成部210根据由窗口信息取得部250取得的窗口信息294，生成包含用于确定窗口区域的标记202的标记图像291。

根据图18对实施方式2中的信息处理装置200的标记显示处理进行说明。但是，标记显示处理也可以是与图18不同的处理。

在S2011中，信息处理图像生成部220生成包含窗口340的信息处理图像292。

并且，信息处理图像生成部220生成包含窗口区域信息的窗口信息294。在存在多个窗口340的情况下，信息处理图像生成部220按照每个窗口340生成窗口信息294。

信息处理图像生成部220也可以生成包含窗口340的重要度的窗口信息294。例如，信息处理图像生成部220从重要度表取得与使用窗口340的应用程序的程序标识符对应的重要度。重要度表是信息处理存储部290中存储的数据的一例。

在S2011之后，处理进入S2021。

图19是示出实施方式2中的信息处理图像292的一例的图。

例如，信息处理图像生成部220生成将窗口340配置在中央的信息处理图像292(参照图19)。

返回图18，从S2021起继续进行说明。

在S2021中，窗口信息取得部250从信息处理图像生成部220取得窗口信息294。

在S2021之后，处理进入S2101。

在S2101中，标记图像生成部210从窗口信息取得部250取得窗口信息294。

标记图像生成部210根据窗口信息294中包含的窗口区域信息生成标记图像291。标记图像291是在窗口区域中配置有确定窗口区域的标记202的图像。

标记图像生成部210也可以根据窗口信息294中包含的窗口340的重要度，决定标记202的形状和标记202的颜色中的至少任意一方。

在S2101之后，处理进入S230。

图20是示出实施方式2中的标记图像291的一例的图。

例如，标记图像生成部210生成图20所示的标记图像291。该标记图像291是在显示窗口340(参照图19)的窗口区域中配置有8个标记2021～2028的图像。

标记2021～2028也可以是二维码(参照图11、图12)。

返回图18，从S230起继续进行说明。

在S230之后，处理进入S240。

图21是示出实施方式2中的标记重叠图像293的一例的图。

例如，标记重叠图像生成部230通过在信息处理图像292(参照图19)中重叠标记图像291(参照图20)，生成图21所示的标记重叠图像293。

返回图18，从S240起继续进行说明。

例如，如图21所示，标记重叠图像显示部240在显示区域201中显示标记重叠图像293。

在S240之后，标记显示处理结束。

根据实施方式2，信息处理装置200能够在显示应用程序用的窗口的窗口区域中显示标记。即，信息处理装置200能够将不重叠信息的不可区域限定于窗口区域，从而避免不必要地扩大不可区域的状况。

AR装置100能够在映出未显示窗口的显示区域(例如桌面画面)的图像区域中重叠显示信息。

实施方式3

对在显示多个窗口中的重要窗口的窗口区域中显示标记的方式进行说明。

下面，主要对实施方式1和实施方式2中未说明的事项进行说明。省略说明的事项与实施方式1或实施方式2相同。

图22是实施方式3中的信息处理装置200的功能结构图。

根据图22对实施方式3中的信息处理装置200的功能结构进行说明。但是，信息处理装置200的功能结构也可以是与图22不同的功能结构。

信息处理装置200在实施方式1(参照图2)中说明的功能的基础上，具有重要窗口选择部251和窗口管理部252。

重要窗口选择部251根据重要度表295和不同窗口的窗口信息294选择重要窗口，生成表示重要窗口的重要窗口列表296。重要窗口选择部251也可以生成表示不重要窗口的列表。

重要度表295表示应用程序的重要度。

窗口信息294包含表示窗口区域的窗口区域信息、窗口的重要度、识别窗口的窗口句柄等。窗口的重要度意味着使用窗口的应用程序的重要度。

重要窗口是显示标记202的窗口。不重要窗口是未显示标记202的窗口。

窗口管理部252对窗口进行管理。

例如，窗口管理部252进行窗口句柄的生成、窗口区域的决定、窗口外观的决定、窗口图像的生成等处理。

根据图23对实施方式3中的信息处理装置200的标记显示处理进行说明。但是，标记显示处理也可以是与图23不同的处理。

在S2012中，信息处理图像生成部220通过利用窗口管理部252，生成信息处理图像292和窗口信息294。

信息处理图像292包含多个窗口340。

窗口信息294按照每个窗口340包含窗口句柄、窗口区域和应用程序的重要度等。

例如，信息处理图像生成部220从窗口管理部252取得窗口句柄和窗口区域。

例如，信息处理图像生成部220按照每个窗口340从重要度表295取得与识别使用窗口340的应用程序的程序标识符对应的重要度。

在S2012之后，处理进入S2022。

图24是示出实施方式3中的信息处理图像292的一例的图。

例如，信息处理图像生成部220生成包含应用程序(1)用的窗口3401和应用程序(2)用的窗口3402的信息处理图像292。

返回图23，从S2022起继续进行说明。

在S2022中，重要窗口选择部251从信息处理图像生成部220取得不同窗口340的窗口信息294。

然后，重要窗口选择部251根据不同窗口340的窗口信息294中包含的重要度，生成重要窗口列表296。重要窗口列表296包含重要窗口340的窗口句柄。

例如，重要窗口选择部251通过以下的至少任意一个处理来选择窗口信息294。然后，重要窗口选择部251从选择出的窗口信息294取得窗口句柄，在重要窗口列表296中设定已取得的窗口句柄。

重要窗口选择部251选择包含比重要度阈值高的重要度的窗口信息294。

重要窗口选择部251按照重要度从高到低的顺序选择与窗口选择数量相同数量的窗口信息294。

在新生成重要度较高的窗口340的情况下，重要窗口340可能成为与包含新窗口340的其它窗口340相比不重要的窗口340。并且，在关闭了重要窗口340的情况下，不重要的窗口可能成为重要窗口。

因此，在生成新的窗口340或关闭了现有的窗口340的情况下，重要窗口选择部251对重要窗口列表296进行更新。

在S2022之后，处理进入S2102。

在S2102中，标记图像生成部210从重要窗口选择部251取得窗口信息294和重要窗口列表296。

标记图像生成部210选择包含与重要窗口列表296中包含的窗口句柄相同的窗口句柄的窗口信息294。

然后，标记图像生成部210根据选择出的窗口信息294生成标记图像291。标记图像291是在显示重要窗口340的窗口区域中配置有作为窗口区域的记号的标记202的图像。

在更新了重要窗口列表296的情况下，标记图像生成部210根据更新后的重要窗口列表296对标记图像291进行更新。

在S2102之后，处理进入S230。

图25是示出实施方式3中的标记图像291的一例的图。

在重要窗口列表296表示窗口3401(参照图24)的窗口句柄的情况下，标记图像生成部210生成图25所示的标记图像291。标记图像291是在显示窗口3401的窗口区域中配置有标记2021～2027的图像。标记2021～2027也可以是二维码(参照图11、图12)。

在重要窗口列表296表示窗口3401和窗口3402各自的窗口句柄的情况下，标记图像生成部210生成在窗口3401和窗口3402各自的窗口区域中配置有标记202的标记图像291。

返回图23，从S230起继续进行说明。

在S230之后，处理进入S240。

图26是示出实施方式3中的标记重叠图像293的一例的图。

例如，标记重叠图像生成部230通过在信息处理图像292(参照图24)中重叠标记图像291(参照图25)，生成图26所示的标记重叠图像293。

返回图23，从S240起继续进行说明。

例如，如图26所示，标记重叠图像显示部240在显示区域201中显示标记重叠图像293。

在S240之后，标记显示处理结束。

根据实施方式3，信息处理装置200能够在显示多个窗口中的重要窗口的窗口区域中显示标记。

实施方式4

对在合成一部分重合的多个窗口区域而得到的合成区域中显示标记的方式进行说明。

下面，主要对实施方式1～实施方式3中未说明的事项进行说明。省略说明的事项与实施方式1～实施方式3相同。

图27是实施方式4中的信息处理装置200的功能结构图。

根据图27对实施方式4中的信息处理装置200的功能结构进行说明。但是，信息处理装置200的功能结构也可以是与图27不同的功能结构。

信息处理装置200在实施方式2(参照图17)中说明的功能的基础上，具有窗口合成部260。

窗口合成部260根据不同窗口的窗口信息294计算合成区域，生成包含表示计算出的合成区域的合成区域信息的合成信息297。合成区域是包含一部分重合的多个窗口区域的区域。但是，合成区域也可以是包含不重合的多个窗口区域的区域。

合成信息297包含表示合成区域的合成区域信息和合成区域中包含的窗口340的窗口句柄等。

标记图像生成部210根据合成信息297，生成在合成区域中配置有确定合成区域的标记202的标记图像291。

根据图28对实施方式4中的信息处理装置200的标记显示处理进行说明。但是，标记显示处理也可以是与图28不同的处理。

在S2013中，信息处理图像生成部220生成包含多个窗口340的信息处理图像292，按照生成的每个窗口340..生成窗口信息294。

在S2013之后，处理进入S2023。

图29是示出实施方式4中的信息处理图像292的一例的图。

例如，信息处理图像生成部220生成包含应用程序(1)用的窗口3401和一部分与该窗口3401重合的应用程序(2)用的窗口3402的信息处理图像292(参照图29)。

返回图28，从S2023起继续进行说明。

在S2023中，窗口信息取得部250从信息处理图像生成部220取得不同窗口340的窗口信息294。

在S2023之后，处理进入S260。

在S260中，窗口合成部260从窗口信息取得部250取得不同窗口340的窗口信息294。窗口信息294包含窗口区域信息。

窗口合成部260根据不同窗口340的窗口区域信息计算合成区域350，生成包含表示计算出的合成区域350的合成区域信息的合成信息297。在存在多个合成区域350的情况下，窗口合成部260按照每个合成区域350生成合成信息297。

合成信息297包含表示合成区域350的合成区域信息和合成区域350中包含的窗口340的窗口句柄等。

窗口合成处理(S260)的详细情况将在后面叙述。

在S260之后，处理进入S2103。

图30是示出实施方式4中的合成区域350的一例的图。

例如，窗口合成部260计算包含显示窗口3401的窗口区域和显示窗口3402的窗口区域的最小的矩形区域作为合成区域350(参照图30)。由虚线框包围的区域是合成区域350。

返回图28，从S2103起继续进行说明。

在S2103中，标记图像生成部210从窗口合成部260取得合成信息297。

标记图像生成部210根据合成信息297中包含的合成区域信息生成标记图像291。标记图像291是在合成区域350中配置有确定合成区域350的标记202的图像。

标记图像生成部210也可以从窗口合成部260取得不同窗口的窗口信息294，将确定合成区域350中未显示的窗口340的窗口区域的标记202包含在标记图像291中。

该情况下，标记图像生成部210选择包含与合成信息297中包含的窗口句柄不同的窗口句柄的窗口信息294，从选择出的窗口信息294中取得窗口区域信息。然后，标记图像生成部210生成确定已取得的窗口区域信息所示的窗口区域的标记202，将生成的标记202包含在标记图像291中。

在S2103之后，处理进入S230。

图31是示出实施方式4中的标记图像291的一例的图。

例如，标记图像生成部210生成图31所示的标记图像291。该标记图像291是在合成区域350中配置有4个标记2021～2027的图像。标记2021～2027也可以是二维码(参照图11、图12)。

例如，标记图像生成部210根据合成区域350中显示的窗口3401、3402(参照图30)各自的窗口区域，决定标记202的数量和配置。

例如，标记图像生成部210在合成区域350的4个角中的与窗口3401相接的左上角和与窗口3402相接的右下角这2个角配置标记2021、2023。

例如，标记图像生成部210在合成区域350的4个边中的与窗口3401相接的左边和与窗口3402相接的右边这2个边的中间部分配置标记2025、2027。

标记图像生成部210也可以生成配置有1个～3个标记202或5个以上的标记202的标记图像291。

返回图28，从S230起继续进行说明。

在S230之后，处理进入S240。

图32是示出实施方式4中的标记重叠图像293的一例的图。

例如，标记重叠图像生成部230通过在信息处理图像292(参照图29)中重叠标记图像291(参照图31)，生成图32所示的标记重叠图像293。

返回图28，从S240起继续进行说明。

在S240中，标记重叠图像显示部240在信息处理设备的显示区域201中显示标记重叠图像293。

例如，如图32所示，标记重叠图像显示部240在显示区域201中显示标记重叠图像293。

在S240之后，标记显示处理结束。

图33是示出实施方式4中的窗口合成处理(S260)的流程图。

根据图33对实施方式4中的窗口合成处理(S260)进行说明。但是，窗口合成处理(S260)也可以是与图33不同的处理。

在S261中，窗口合成部260选择一个未作为候选区域的窗口信息294选择的窗口信息294。候选区域意味着合成区域350中包含的窗口区域的候选。

在S261之后，处理进入S262。

在S262中，窗口合成部260根据候选区域的窗口信息294和其它窗口信息294中分别包含的窗口区域信息，判定是否存在重合区域的窗口信息294。重合区域是至少一部分与候选区域重合的窗口区域。

在存在重合区域的窗口信息294的情况下(是)，处理进入S263。

在不存在重合区域的窗口信息294的情况下(否)，处理进入S264。

在S263中，窗口合成部260根据候选区域的窗口信息294和重合区域的窗口信息294生成虚拟的窗口信息294。

虚拟的窗口信息294包含虚拟的窗口区域信息、候选区域的窗口句柄和重合区域的窗口句柄等。

虚拟的窗口区域信息表示合成候选区域和重合区域而得到的暂定的合成区域。窗口合成部260根据候选区域的窗口区域信息和重合区域的窗口区域信息计算暂定的合成区域。例如，窗口合成部260计算包含候选区域和重合区域的最小的矩形区域作为暂定的合成区域。

在窗口合成处理(S260)中，在生成虚拟的窗口信息294后，将候选区域的窗口信息294和重合区域的窗口信息294置换成虚拟的窗口信息294。

在S263之后，处理进入S264。

在S264中，窗口合成部260判定是否存在未作为候选区域的窗口信息294选择的未选择的窗口信息294。在S263中生成的虚拟的窗口信息294是未选择的窗口信息294。

在存在未选择的窗口信息294的情况下(是)，处理返回S261。

在不存在未选择的窗口信息294的情况下(否)，窗口合成处理(S260)结束。

窗口合成处理(S260)后残留的虚拟的窗口信息294成为合成信息297。即，虚拟的窗口区域信息成为合成区域信息。并且，虚拟的窗口信息294中包含的窗口句柄识别合成区域350中包含的窗口340。

图34是示出实施方式4中的合成区域350的一例的图。

在图34的上段，假设窗口3401的窗口区域和窗口3402的窗口区域重合。该情况下，窗口合成部260计算包含窗口3401和窗口3402各自的窗口区域的暂定的合成区域350。暂定的合成区域350意味着虚拟的窗口区域。

在该虚拟的窗口区域(暂定的合成区域350)和窗口3403的窗口区域重合的情况下，窗口合成部260计算包含虚拟的窗口区域和窗口3403的窗口区域的合成区域350(参照图34的下段)。

在窗口3401、窗口3402、窗口3403均不相互重合的情况下，窗口合成部260也可以计算包含窗口3401、窗口3402、窗口3403的合成区域350。

根据实施方式4，信息处理装置200能够在合成一部分重合的多个窗口区域而得到的合成区域中显示标记。

实施方式5

下面，主要对实施方式1～实施方式4中未说明的事项进行说明。省略说明的事项与实施方式1～实施方式4相同。

图35是实施方式5中的信息处理装置200的功能结构图。

根据图35对实施方式5中的信息处理装置200的功能结构进行说明。但是，信息处理装置200的功能结构也可以是与图35不同的功能结构。

信息处理装置200在实施方式3(参照图22)中说明的功能的基础上，具有窗口合成部260。

窗口合成部260与实施方式4(参照图27、图33等)中说明的功能相同。

根据图36对实施方式5中的信息处理装置200的标记显示处理进行说明。但是，标记显示处理也可以是与图36不同的处理。

在S2014中，信息处理图像生成部220通过利用窗口管理部252，生成信息处理图像292和窗口信息294(与图23的S2012相同)。

在S2014之后，处理进入S2024。

在S2024中，重要窗口选择部251根据不同窗口340的窗口信息294中包含的重要度，生成重要窗口列表296(与图23的S2024相同)。

在S2024之后，处理进入S2601。

在S2601中，窗口合成部260选择包含与重要窗口列表296中包含的窗口句柄相同的窗口句柄的窗口信息294。

然后，窗口合成部260根据选择出的窗口信息294中包含的窗口区域计算合成区域350，生成包含表示计算出的合成区域350的合成区域信息的合成信息297。计算合成区域350的方法和生成合成信息297的方法与实施方式4(参照图28的S260)相同。

根据S2601，计算图30所示的合成区域350。

在S2601之后，处理进入S2104。

在S2104中，标记图像生成部210根据合成信息297生成标记图像291(与图28的S2103相同)。

根据S2104，生成图31所示的标记图像291。

在S2104之后，处理进入S230。

根据S230，生成图32所示的标记重叠图像293。

在S230之后，处理进入S240。

根据S240，如图32所示，在显示区域201中显示标记重叠图像293。

在S240之后，标记显示处理结束。

根据实施方式5，能够在合成一部分重合的多个窗口区域而得到的合成区域中显示标记。

实施方式6

对AR装置100的详细情况进行说明。

下面，主要对实施方式1～实施方式5中未说明的事项进行说明。省略说明的事项与实施方式1～实施方式5相同。

图37是实施方式6中的AR装置100的功能结构图。

根据图37对实施方式6中的AR装置100的功能结构进行说明。但是，AR装置100的功能结构也可以是与图37不同的功能结构。

AR装置100(信息重叠图像显示装置的一例)是在AR装置100具有的AR显示设备的显示区域中显示AR图像194的装置。

AR装置100具有摄影图像取得部110、重叠信息取得部120、不可区域选择部130、AR图像生成部140(信息重叠图像生成部的一例)、AR图像显示部150(信息重叠图像显示部的一例)、装置存储部190。

摄影图像取得部110取得由摄像机生成的摄影图像191。摄影图像191映出信息处理显示设备存在的摄影范围。信息处理显示设备在显示区域中显示作为显示区域的记号的标记202。

重叠信息取得部120取得摄影图像191中重叠的重叠信息192。

不可区域选择部130根据摄影图像191中映出的标记202，从摄影图像191中选择映出信息处理显示设备的显示区域的图像区域，生成表示选择出的图像区域作为不可区域的不可区域信息193。

AR图像生成部140根据重叠信息192和不可区域信息193生成AR图像194。AR图像194是在不可区域以外的图像区域中重叠了重叠信息192的摄影图像191。

AR图像显示部150在AR显示设备中显示AR图像194。

装置存储部190存储由AR装置100使用、生成或输入输出的数据。

例如，装置存储部190存储摄影图像191、重叠信息192、不可区域信息193和AR图像194等。

图38是示出实施方式6中的AR装置100的AR处理的流程图。

根据图38对实施方式6中的AR装置100的AR处理进行说明。但是，AR处理也可以是与图38不同的处理。

每当由AR装置100的摄像机生成摄影图像191时，执行图38所示的AR处理。

在S110中，摄影图像取得部110取得由AR装置100的摄像机生成的摄影图像191。

摄影图像191映出在信息处理设备的显示区域中显示有标记202的信息处理设备。

在S110之后，处理进入S120。

图39是示出实施方式6中的摄影图像191的一例的图。

例如，摄影图像取得部110取得图39所示的摄影图像191。

摄影图像191映出包含平板型的信息处理装置200和钟表310的摄影范围。

平板型的信息处理装置200具有显示设备。信息处理装置200的显示设备具有显示标记202的显示区域201。

返回图38，从S120起继续进行说明。

在S120中，重叠信息取得部120取得摄影图像191中重叠的重叠信息192。

例如，重叠信息取得部120从摄影图像191(参照图39)中检测钟表310，取得与钟表310相关的重叠信息192。

重叠信息取得处理(S120)的详细情况在其它实施方式中进行说明。

在S120之后，处理进入S130。但是，也可以在S130之后执行S120。并且，也可以与S130并列地执行S120。

在S130中，不可区域选择部130从摄影图像191中检测标记202。

不可区域选择部130根据检测到的标记202的位置、形状和颜色等，从摄影图像191中选择映出信息处理装置200的显示区域201的图像区域作为不可区域390。

然后，不可区域选择部130生成表示不可区域的不可区域信息193。

在显示有窗口340的窗口区域中显示标记202的情况下(参照图21)，不可区域选择部130选择映出窗口340的图像区域作为不可区域390。

例如，不可区域选择部130从摄影图像191(参照图39)中检测标记2021～2028，根据检测到的标记2021～2028的形状和颜色，选择显示区域201作为不可区域390。

在只能检测到显示区域201中显示的标记2021～2028中的一部分标记的情况下，不可区域选择部130根据检测到的一部分标记选择不可区域390。

在无法利用检测到的一部分标记求出闭合的图像区域的情况下，不可区域选择部130也可以不根据检测到的一部分标记选择不可区域390。

在标记202为二维码的情况下，不可区域选择部130读取二维码中包含的信息，根据读取出的信息选择不可区域390。

信息处理存储部290也可以存储表示用于根据标记202选择不可区域390的选择规则的选择规则文件。

该情况下，不可区域选择部130根据标记202和选择规则文件选择不可区域390。

在S130之后，处理进入S140。

不可区域选择部130根据摄影图像191(参照图39)中映出的标记2021～2028，选择信息处理装置200的显示区域201(网格部分)作为不可区域390。

在只能从摄影图像191中检测到显示于显示区域201左上的标记2021的情况下(参照图41的上段)，不可区域选择部130选择从标记2021到摄影图像191端部的图像区域(网格部分)作为不可区域390(参照图41的下段)。

但是，不可区域选择部130无法仅通过标记2021求出闭合的图像区域，因此，也可以无视标记2021而不选择不可区域390。

图42是示出实施方式6中的不可区域390的一例的图。

在图42中，标记2021A和标记2023A形成闭合区域3941，标记2021B和标记2023B形成闭合区域3942。进而，标记2021A和标记2023B形成闭合区域3943。

这样，在根据标记202求出多个闭合区域394的情况下，不可区域选择部130可以选择较小的各个闭合区域3941、3942作为不可区域390，也可以选择包含各个闭合区域3941、3942的较大的闭合区域3943作为不可区域390。

返回图38，从S140起继续进行说明。

在S140中，AR图像生成部140根据重叠信息192和不可区域信息193生成AR图像194。

AR图像194是避开不可区域重叠了重叠信息192的摄影图像191。

AR图像生成处理(S140)的详细情况在其它实施方式中进行说明。

在S140之后，处理进入S150。

图43是示出实施方式6中的AR图像194的一例的图。

例如，AR图像生成部140生成图43所示的AR图像194。

AR图像194包含气泡形状的信息图320。信息图320将接近钟表310所示的当前时刻的时刻的日程表信息表示为重叠信息192。信息图320是CG(计算机图形)。

返回图38，从S150起继续进行说明。

在S150中，AR图像显示部150在AR装置100的显示设备中显示AR图像194。

例如，如图1所示，AR图像显示部150在AR装置100具有的显示设备的显示区域101中进行显示。

在S150之后，针对一个摄影图像191的AR处理结束。

图44是实施方式6中的AR装置100的硬件结构图。

根据图44对实施方式6中的AR装置100的硬件结构进行说明。但是，AR装置100的硬件结构也可以是与图44所示的结构不同的结构。

AR装置100具有与信息处理装置200(参照图15)具有的硬件相同的硬件。

总线801是用于供AR装置100的硬件交换数据的数据转送路径。

存储器802是由AR装置100的硬件写入数据或读出数据的易失性存储装置。

贮存器803是由AR装置100的硬件写入数据或读出数据的非易失性存储装置。

通信接口804是用于供AR装置100与外部的计算机交换数据的通信装置。

CPU805是执行AR装置100进行的处理(例如AR处理)的运算装置。

GPU806是执行与计算机图形(CG)有关的处理的运算装置。

显示设备807是将CG的数据转换成光学输出的装置。

用户接口设备809是用于供利用AR装置100的用户操作AR装置100的输入装置。

传感器810是用于检测AR装置100或周边的状况的计测装置。

进而，AR装置100具有摄像机808。

摄像机808是将光学输入转换成数据的装置。即，摄像机808是通过拍摄来生成图像的拍摄装置。一个图像称作静态图像。并且，将以时间序列连续的多个静态图像称作动态图像或影像。

根据实施方式6，能够在摄影图像191中显示重叠信息192而不遮挡摄影图像191中映出的信息处理装置200的显示区域201。

实施方式7

对根据标记所示的窗口的重要度来判定是否选择窗口区域作为不可区域的方式进行说明。

下面，主要对实施方式1～实施方式6中未说明的事项进行说明。省略说明的事项与实施方式1～实施方式6相同。

AR装置100的功能结构与实施方式6(参照图37)相同。

但是，重叠信息取得部120与重叠信息192一起取得重叠信息192的重要度。

并且，不可区域选择部130按照每个不可区域390，根据不可区域390中映出的窗口340中重叠的标记202的形状和颜色等，确定窗口340的重要度。

而且，AR图像生成部140按照每个重叠信息192，避开映出比重叠信息192的重要度高的重要度的窗口340的不可区域390，将重叠信息192重叠在摄影图像191中。即，AR图像生成部140也可以将重叠信息192重叠在映出比重叠信息192的重要度低的重要度的窗口340的不可区域390中。

根据实施方式7，与不重要的窗口340所示的信息相比，能够优先显示重要的重叠信息192。例如，能够防止如下事项：避开映出不重要的窗口340的图像区域后，未发现能够显示重要的重叠信息192的图像区域，从而无法显示重要的重叠信息192。

实施方式8

对重叠信息取得部120取得与显示区域中显示的信息处理图像有关的信息作为重叠信息192的方式进行说明。

下面，主要对实施方式1～实施方式7中未说明的事项进行说明。省略说明的事项与实施方式1～实施方式7相同。

图45是实施方式8中的重叠信息取得部120的功能结构图。

根据图45对实施方式8中的重叠信息取得部120的功能结构进行说明。但是，重叠信息取得部120的功能结构也可以是与图45不同的功能结构。

重叠信息取得部120具有物体检测部121、物体确定部122、重叠信息收集部123、不可区域解析部124。

物体检测部121从摄影图像191中检测摄影图像191中映出的物体。换言之，物体检测部121从摄影图像191中检测映出物体的物体区域。

例如，物体检测部121从摄影图像191中检测摄影图像191(参照图39)中映出的钟表310。

例如，物体检测部121通过标记方式或无标记方式从摄影图像191中检测物体。

标记方式是通过从摄影图像191中检测对物体(包含物体的图像)附加的标记来检测附加有标记的物体的方式。标记是条形码这样的特殊图形。根据与物体有关的物体信息生成标记。物体信息包含表示物体类别的类别信息、表示物体位置的坐标值和表示物体大小的尺寸信息等。

无标记方式是从摄影图像191中提取几何学或光学特征量并根据提取出的特征量来检测物体的方式。表示物体的形状、色彩和亮度的量是表示物体特征的特征量的一例。并且，物体上记载的文字和记号是表示物体特征的特征量的一例。

例如，物体检测部121提取表示摄影图像191中映出的物体形状的边缘，检测由提取出的边缘包围的物体区域。即，物体检测部121检测提取出的边缘成为边界线的物体区域。

物体确定部122确定由物体检测部121检测到的物体类别。并且，物体确定部122取得表示由物体检测部121检测到的物体类别的类别信息。

例如，类别信息用JSON形式记述。JSON是JavaScript Object Notation的简称。Java和JavaScript是注册商标。

例如，物体确定部122根据从摄影图像191(参照图39)中检测到的物体的形状、表盘、时针、分针和秒针等，确定检测到的物体是钟表310。

例如，在通过标记方式检测到物体的情况下，物体确定部122从标记中读取物体的类别信息。

例如，在通过无标记方式检测到物体的情况下，物体确定部122使用检测到的物体的特征量，从类别信息数据库中取得物体的类别信息。类别信息数据库是将物体的类别信息与物体的特征量关联起来的数据库。类别信息数据库是通过对物体的特征量进行机械学习而生成的。类别信息数据库可以是其它计算机具有的外部数据库，也可以是AR装置100具有的内部数据库。

重叠信息收集部123根据由物体确定部122确定的物体类别，取得与物体有关的物体信息作为重叠信息192。例如，物体信息用JSON形式记述。

但是，重叠信息收集部123也可以取得物体信息以外的信息作为重叠信息192。例如，重叠信息收集部123也可以取得与当前的日期时间、位置、气候等有关的信息作为重叠信息192。

例如，在通过标记方式检测到物体的情况下，重叠信息收集部123从标记中读取物体信息。

例如，在通过无标记方式检测到物体的情况下，重叠信息收集部123使用物体的类别信息，从物体信息数据库取得物体信息或URI。物体信息数据库是将物体信息或URI与类别信息关联起来的数据库。物体信息数据库可以是外部数据库也可以是内部数据库。URI是Uniform Resource Identifier的简称。URI也可以改写成URL(Uniform ResourceLocator)。

在从物体信息数据库取得了URI的情况下，重叠信息收集部123从URI所示的存储区域中取得物体信息。URI所示的存储区域可以是其它计算机具有的存储装置中设置的存储区域，也可以是AR装置100具有的存储装置中设置的存储区域。

不可区域解析部124根据不可区域信息193对不可区域390中映出的信息处理图像300进行解析。

例如，不可区域解析部124通过对信息处理图像300进行解析，从信息处理图像300中检测图标。

图标被链接到电子文件(包含应用程序)。图标是表示被链接的电子文件的内容的图形，有时在该图形中附加字符串。

重叠信息收集部123根据信息处理图像300的解析结果，收集与信息处理图像300有关的信息作为重叠信息192。

例如，重叠信息收集部123收集与由从信息处理图像300中检测到的图标识别的电子文件有关的信息作为重叠信息192。应用程序是电子文件的一例。

例如，重叠信息收集部123从将应用信息与图标关联起来的应用信息数据库中收集应用信息。应用名和版本编号是应用信息中包含的信息的一例。应用信息数据库可以是信息处理装置200具有的数据库、AR装置100具有的数据库、其它计算机具有的数据库中的任意一方。

图46是示出实施方式8中的AR图像194的一例的图。

在图46中，AR图像194包含将应用信息和更新信息表示为重叠信息192的信息图321。更新信息是表示应用程序有无更新的信息。

例如，不可区域解析部124从信息处理图像300中检测四边形的图标。

然后，重叠信息收集部123从应用信息数据库取得与由检测到的图标识别的应用程序有关的应用信息。进而，重叠信息收集部123使用已取得的应用信息中包含的应用名和版本编号，从应用管理服务器取得更新信息。应用管理服务器是用于管理应用程序的服务器。

根据实施方式8，能够取得与被摄体的显示设备的显示区域中显示的图像有关的重叠信息192。

实施方式9

对AR装置100的AR图像生成部140进行说明。

下面，主要对实施方式1～实施方式8中未说明的事项进行说明。省略说明的事项与实施方式1～实施方式8相同。

图47是实施方式9中的AR图像生成部140的功能结构图。

根据图47对实施方式9中的AR图像生成部140的功能结构进行说明。但是，AR图像生成部140的功能结构也可以是与图47不同的功能结构。

AR图像生成部140具有信息图像生成部141和信息图像重叠部146。

信息图像生成部141生成包含记载有重叠信息192的信息图320的信息图像329。

信息图像重叠部146通过在摄影图像191中重叠信息图像329，生成AR图像194。

信息图像生成部141具有信息部分生成部142、信息部分配置判定部143、引出部分生成部144、信息图配置部145。

信息部分生成部142生成信息图320中的表示重叠信息192的信息部分图322。

信息部分配置判定部143根据不可区域信息193，判定是否能够避开不可区域390而将信息部分图322配置在摄影图像191中。在无法避开不可区域390而将信息部分图322配置在摄影图像191中的情况下，信息部分生成部142重新生成信息部分图322。

引出部分生成部144生成将信息部分图322与映出与重叠信息192相关的物体的物体区域关联起来的图即引出图323。

信息图配置部145生成信息图像329，该信息图像329避开不可区域390来配置包含信息部分图322和引出图323的信息图320。

根据图48对实施方式9中的AR图像生成部140的AR图像生成处理进行说明。但是，AR图像生成处理也可以是与图48不同的处理。

在S141中，信息部分生成部142生成表示重叠信息192的内容的图即信息部分图322。在存在多个重叠信息192的情况下，信息部分生成部142按照每个重叠信息192生成信息部分图322。

在S141之后，处理进入S142。

图49是示出实施方式9中的信息部分图322的一例的图。

例如，信息部分生成部142生成图49所示的信息部分图322。信息部分图322是用框包围表示重叠信息192的内容的字符串而成的。

返回图48，从S142起继续进行说明。

在S142中，信息部分配置判定部143根据不可区域信息193，判定是否能够避开不可区域390而将信息部分图322配置在摄影图像191中。在存在多个信息部分图322的情况下，信息部分配置判定部143按照每个信息部分图322进行判定。

在将信息部分图322配置在摄影图像191的任何位置，信息部分图322都与不可区域390重合的情况下，无法避开不可区域390而将信息部分图322配置在摄影图像191中。

但是，信息部分配置判定部143也可以判定是否能够将映出重要度比重叠信息192的重要度低的窗口340的不可区域390除外而避开其余的不可区域390将信息部分图322配置在摄影图像191中。

在能够避开不可区域390而将信息部分图322配置在摄影图像191中的情况下(是)，处理进入S143。

在无法避开不可区域390而将信息部分图322配置在摄影图像191中的情况下(否)，处理返回S141。

在处理返回S141的情况下，信息部分生成部142重新生成信息部分图322。

例如，信息部分生成部142对信息部分图322进行变形，或者缩小信息部分图322。

图50是示出实施方式9中的信息部分图322的变更例的图。

例如，如图50的(1)～(4)所示，信息部分生成部142重新生成信息部分图322(参照图49)。

在图50的(1)中，信息部分生成部142通过对信息部分图322的纵横的比率进行变更，对信息部分图322进行变形。

在图50的(2)中，信息部分生成部142通过删除字符串周围的空白(信息部分图322中包含的空白)，缩小信息部分图322。

在图50的(3)中，信息部分生成部142通过对字符串的一部分进行变更或删除，缩小信息部分图322。

在图50的(4)中，信息部分生成部142通过减小字符串的字符的尺寸，缩小信息部分图322。

在信息部分图322是三维表现的图的情况下，信息部分生成部142通过将信息部分图322变更成二维的图，也可以缩小信息部分图322。例如，在信息部分图322是带阴影的图的情况下，信息部分生成部142从信息部分图322中删除阴影的部分。

返回图48，从S143起继续进行说明。

在S143中，信息部分配置判定部143生成表示能够配置信息部分图322的配置区域的配置区域信息。在存在多个信息部分图322的情况下，信息部分配置判定部143按照每个信息部分图322生成配置区域信息。

在存在多个能够配置信息部分图322的配置区域的候选的情况下，信息部分配置判定部143根据物体区域信息选择配置区域。

物体区域信息是表示映出与信息部分图322相关的物体的物体区域的信息。能够由重叠信息取得部120的物体检测部121生成物体区域信息。

例如，信息部分配置判定部143选择最接近物体区域信息所示的物体区域的配置区域的候选作为配置区域。

例如，在存在多个信息部分图322的情况下，信息部分配置判定部143按照每个信息部分图322，选择不与其它信息部分图322重合的配置区域的候选作为配置区域。

在S143之后，处理进入S144。

在S144中，引出部分生成部144根据配置区域信息和物体区域信息，生成将信息部分图322与物体区域关联起来的图即引出图323。

由此，生成包含信息部分图322和引出图323的信息图320。

在S144之后，处理进入S145。

图51是示出实施方式9中的信息图320的一例的图。

例如，引出部分生成部144通过生成引出图323，生成图51所示的信息图320。

引出部分生成部144也可以与信息部分图322一体地生成引出图323，使得不区分信息部分图322与引出图323的边界。

引出图323的形状不限于三角形，也可以是箭头或简单的线(直线、曲线)等。

引出部分生成部144在物体区域与配置区域的距离小于引出阈值的情况下，也可以不生成引出图323。即，在配置区域接近物体区域的情况下，引出部分生成部144也可以不生成引出图323。该情况下，信息图320不包含引出图323。

返回图48，从S145起继续进行说明。

在S145中，信息图配置部145生成将信息图320配置在配置区域中的信息图像329。

在S145之后，处理进入S146。

图52是示出实施方式9中的信息图像329的一例的图。

例如，如图52所示，信息图配置部145生成配置有信息图320的信息图像329。

返回图48，从S146起继续进行说明。

在S146中，信息图像重叠部146通过在摄影图像191中重叠信息图像329，生成AR图像194。

例如，信息图像重叠部146通过在摄影图像191(参照图39)中重叠信息图像329(参照图52)，生成AR图像194(参照图43)。

在S146之后，AR图像生成处理结束。

根据实施方式9，能够避开不可区域(例如映出重要窗口的不可区域)而在摄影图像中重叠显示重叠信息。

实施方式10

对将已检测的显示区域201除外而从摄影图像191中选择新的显示区域201的方式进行说明。

下面，主要对实施方式1～实施方式9中未说明的事项进行说明。省略说明的事项与实施方式1～实施方式9相同。

图53是实施方式10中的AR装置100的功能结构图。

根据图53对实施方式10中的AR装置100的功能结构进行说明。但是，AR装置100的功能结构也可以是与图53不同的结构。

AR装置100在实施方式6(参照图37)中说明的功能的基础上，具有除外区域选择部160和显示区域模型生成部170。

显示区域模型生成部170根据摄影信息195和不可区域信息193，生成三维地表示显示区域201的显示区域模型197。显示区域模型197也称作三维模型或三维平面模型。

摄影信息195是包含拍摄摄影图像191时摄像机的位置信息、方位信息和摄影范围信息等的信息。位置信息是表示摄像机的位置的信息。方位信息是表示摄像机的朝向的信息。摄影范围信息是视场角或焦距等表示摄像范围的信息。由摄影图像取得部110与摄影图像191一起取得摄影信息195。

除外区域选择部160根据摄影信息195，从新的摄影图像191中选择显示区域模型197所示的显示区域201。选择出的显示区域201是从不可区域选择部130的处理中除外的除外区域398。

除外区域选择部160生成表示除外区域398的除外区域信息196。

不可区域选择部130根据除外区域信息196，将除外区域398从新的摄影图像191中除外，从其余的图像部分中选择新的不可区域390，生成新的不可区域信息193。

AR图像生成部140根据除外区域信息196和新的不可区域信息193生成AR图像194。

图54是示出实施方式10中的AR装置100的AR处理的流程图。

根据图54对实施方式10中的AR装置100的AR处理进行说明。但是，AR处理也可以是与图54不同的处理。

在S110中，与其它实施方式同样，摄影图像取得部110取得摄影图像191。

但是，摄影图像取得部110与摄影图像191一起取得摄影信息195。

例如，摄影图像取得部110从GPS、磁传感器和摄像机808取得拍摄摄影图像191时摄像机808的位置信息、方位信息和摄影范围信息。GPS和磁传感器是AR装置100具有的传感器810的一例。

在S110之后，处理进入S120。

在S120中，与其它实施方式同样，重叠信息取得部120取得重叠信息192。

在S120之后，处理进入S191。但是，也可以在从执行S191时到执行S140时之间执行S190。

在S190中，除外区域选择部160根据摄影信息195和显示区域模型197生成除外区域信息196。

在S190之后，处理进入S130。

图55是示出实施方式10中的除外区域398的位置关系的图。

在图55中，除外区域选择部160根据摄影信息195所示的摄像机808的位置、朝向和视场角，生成图像平面399。图像平面399是摄像机808的摄影范围中包含的平面。摄影图像191相当于投射物体的图像平面399。

除外区域选择部160根据显示区域模型197，将显示区域201投射到图像平面399中。

然后，除外区域选择部160生成将投射到图像平面399中的显示区域201表示为除外区域398的除外区域信息196。

返回图54，从S130起继续进行说明。

在S130中，与其它实施方式同样，不可区域选择部130生成不可区域信息193。

但是，不可区域选择部130根据除外区域信息196，将除外区域398从摄影图像191中除外，从其余的图像部分中选择不可区域390，生成表示选择出的不可区域390的不可区域信息193。

在S130之后，处理进入S191。

在S191中，显示区域模型生成部170根据摄影信息195和不可区域信息193，生成三维地表示摄影范围内存在的显示区域201的显示区域模型197。

例如，显示区域模型生成部170使用本次的摄影信息195和上次以前的摄影信息195，通过SFM这样的技术生成显示区域模型197。SFM是使用多个图像同时复原图像中映出的物体的三维形状和与摄像机之间的位置关系的技术。SFM是Structure from Motion的简称。

例如，显示区域模型生成部170使用非专利文献1公开的技术生成显示区域模型197。

在S191之后，处理进入S140。

在S140中，与其它实施方式同样，AR图像生成部140根据重叠信息192和不可区域信息193生成AR图像194。

在S140之后，处理进入S150。

在S150中，与其它实施方式同样，AR图像显示部150显示AR图像194。

在S150之后，针对一个摄影图像191的AR处理结束。

根据实施方式10，能够将已检测的显示区域201除外而从摄影图像191中选择新的显示区域201。即，不将已检测的显示区域201作为处理对象，从而能够减轻处理负荷。

实施方式11

对信息处理装置200从显示区域201中删除由AR装置100检测到的标记202的方式进行说明。

下面，主要对实施方式1～实施方式10中未说明的事项进行说明。省略说明的事项与实施方式1～实施方式10相同。

图56是实施方式11中的AR装置100的功能结构图。

根据图56对实施方式11中的AR装置100的功能结构进行说明。但是，AR装置100的功能结构也可以是与图56不同的功能结构。

AR装置100在实施方式10(参照图53)中说明的功能的基础上，具有不要标记通知部180。

在显示区域模型生成部170生成显示区域模型197后，AR装置100不需要显示区域201中显示的标记202。

因此，不要标记通知部180在显示区域模型生成部170生成显示区域模型197后，向信息处理装置200发送不要标记通知。

图57是实施方式11中的信息处理装置200的功能结构图。

根据图57对实施方式11中的信息处理装置200的功能结构进行说明。但是，信息处理装置200的功能结构也可以是与图57不同的功能结构。

信息处理装置200在实施方式1(参照图2)中说明的功能的基础上，具有标记删除部270。

另外，如其它实施方式中说明的那样，信息处理装置200也可以具有窗口信息取得部250(参照图17)、重要窗口选择部251(参照图22)、窗口管理部252(参照图22)、窗口合成部260(参照图27、图35)。

标记删除部270在接收到从AR装置100发送的不要标记通知后，从标记重叠图像293中删除标记202。

即，标记删除部270代替标记重叠图像293而显示信息处理图像292。

但是，在信息处理装置200的周围可能存在显示映出了信息处理装置200的摄影图像的多个AR装置100。

因此，标记删除部270也可以在从信息处理装置200的周围存在的全部AR装置100接收到不要标记通知后，删除标记202。例如，标记删除部270在从无线通信的通信范围内存在的全部AR装置100接收到不要标记通知后，删除标记202。

根据实施方式11，信息处理装置200删除不需要的标记202，从而能够提高显示区域201的视觉辨认性。

各实施方式是信息处理装置200和AR装置100的方式的一例。

即，信息处理装置200和AR装置100也可以不具有各实施方式中说明的结构要素的一部分。并且，信息处理装置200和AR装置100也可以具有各实施方式中未说明的结构要素。进而，信息处理装置200和AR装置100还可以组合各实施方式的结构要素的一部分或全部。

各实施方式中使用流程图等说明的处理顺序是各实施方式的方法和程序的处理顺序的一例。各实施方式的方法和程序也可以通过与各实施方式中说明的处理顺序的一部分不同的处理顺序来实现。

在各实施方式中，“～部”能够改写成“～处理”、“～步骤”、“～程序”、“～装置”。在各实施方式中，图中的箭头主要表示数据或处理的流程。

标号说明

100：AR装置；101：显示区域；109：AR系统；110：摄影图像取得部；120：重叠信息取得部；121：物体检测部；122：物体确定部；123：重叠信息收集部；124：不可区域解析部；130：不可区域选择部；140：AR图像生成部；141：信息图像生成部；142：信息部分生成部；143：信息部分配置判定部；144：引出部分生成部；145：信息图配置部；146：信息图像重叠部；150：AR图像显示部；160：除外区域选择部；170：显示区域模型生成部；180：不要标记通知部；190：装置存储部；191：摄影图像；192：重叠信息；193：不可区域信息；194：AR图像；195：摄影信息；196：除外区域信息；197：显示区域模型；200：信息处理装置；201：显示区域；202：标记；203：黑区域；204：白区域；205：垂线向量；206：延长线；207：对角线向量；210：标记图像生成部；220：信息处理图像生成部；230：标记重叠图像生成部；240：标记重叠图像显示部；250：窗口信息取得部；251：重要窗口选择部；252：窗口管理部；260：窗口合成部；270：标记删除部；290：信息处理存储部；291：标记图像；292：信息处理图像；293：标记重叠图像；294：窗口信息；295：重要度表；296：重要窗口列表；297：合成信息；310：钟表；320：信息图；321：信息图；322：信息部分图；323：引出图；329：信息图像；340：窗口；350：合成区域；390：不可区域；394：闭合区域；398：除外区域；399：图像平面；801：总线；802：存储器；803：贮存器；804：通信接口；805：CPU；806：GPU；807：显示设备；808：摄像机；809：用户接口设备；810：传感器。

Claims

1.一种信息处理装置，其特征在于，

所述信息处理装置具有标记显示部，该标记显示部将为了使取得了映出具有显示区域的显示设备的摄影图像的计算机从所述摄影图像中选择所述显示区域而决定的标记，显示在所述显示设备的所述显示区域中。

2.根据权利要求1所述的信息处理装置，其特征在于，

所述显示区域是多边形的区域，

所述信息处理装置具有标记生成部，该标记生成部生成配置在所述显示区域的角上的标记作为角标记。

3.根据权利要求2所述的信息处理装置，其特征在于，

所述标记生成部生成包含利用第一色着色且与所述显示区域的角相接的L字形的图、和具有与所述L字形的图相接的两条边且利用第二色着色的多边形的图的标记作为所述角标记。

4.根据权利要求2所述的信息处理装置，其特征在于，

所述标记生成部生成配置在所述显示区域具有的任意角上且包含确定所配置的角的信息的二维码作为所述角标记。

5.根据权利要求1所述的信息处理装置，其特征在于，

所述显示区域是多边形的区域，

所述信息处理装置具有标记生成部，该标记生成部生成沿着所述显示区域的边配置的标记作为边标记。

6.根据权利要求5所述的信息处理装置，其特征在于，

所述标记生成部生成包含利用第一色着色且与所述显示区域的边相接的线状的图、和具有与所述线状的图相接的边且利用第二色着色的多边形的图的标记作为所述边标记。

7.根据权利要求5所述的信息处理装置，其特征在于，

所述标记生成部生成与所述显示区域具有的任意边相接且包含确定相接的边的信息的二维码作为所述边标记。

8.根据权利要求1所述的信息处理装置，其特征在于，

所述信息处理装置具有标记生成部，该标记生成部根据所述显示区域的大小决定所述标记的个数和配置所述标记的位置。

9.根据权利要求1所述的信息处理装置，其特征在于，

所述信息处理装置具有生成显示于所述显示区域的窗口的窗口生成部，

所述标记显示部沿着显示由所述窗口生成部生成的所述窗口的窗口区域的边缘，在所述窗口区域显示所述标记。

10.根据权利要求9所述的信息处理装置，其特征在于，

所述信息处理装置具有重要窗口选择部，

所述窗口生成部生成与重要度对应起来的多个窗口，

所述重要窗口选择部从由所述窗口生成部生成的所述多个窗口中，根据所述多个窗口各自的重要度选择至少任意一个窗口作为重要窗口，

所述标记显示部将显示由所述重要窗口选择部选择出的所述重要窗口的区域作为所述窗口区域，在所述窗口区域显示所述标记。

11.根据权利要求9所述的信息处理装置，其特征在于，

所述信息处理装置具有标记生成部，该标记生成部生成表示由所述窗口生成部生成的所述窗口的重要度的图作为所述标记。

12.根据权利要求1所述的信息处理装置，其特征在于，

所述信息处理装置具有：

窗口生成部，其生成显示于所述显示区域的多个窗口；以及

窗口合成部，其计算包含分别显示由所述窗口生成部生成的所述多个窗口的窗口区域的合成区域，

所述标记显示部沿着由所述窗口合成部计算出的所述合成区域的边缘，在所述合成区域显示所述标记。

13.根据权利要求1所述的信息处理装置，其特征在于，

所述信息处理装置具有标记删除部，该标记删除部在接收到从所述计算机发送的不要标记通知的情况下，从所述显示设备的所述显示区域中删除。

14.一种信息重叠图像显示装置，其特征在于，所述信息重叠图像显示装置具有：

摄影图像取得部，其取得映出了信息处理显示设备的摄影图像，所述信息处理显示设备具有显示作为记号的标记的信息处理显示区域；

重叠信息取得部，其取得由所述摄影图像取得部取得的所述摄影图像中重叠的信息作为重叠信息；

不可区域选择部，其根据由所述摄影图像取得部取得的所述摄影图像中映出的所述标记，从所述摄影图像中选择所述信息处理显示区域作为不可区域；

信息重叠图像生成部，其通过避开由所述不可区域选择部选择出的所述不可区域将由所述重叠信息取得部取得的所述重叠信息重叠在所述摄影图像中，生成信息重叠图像；以及

信息重叠图像显示部，其在作为显示区域具有主体显示区域的主体显示设备的所述主体显示区域中，显示由所述信息重叠图像生成部生成的所述信息重叠图像。

15.根据权利要求14所述的信息重叠图像显示装置，其特征在于，

所述信息处理显示设备在所述信息处理显示区域中的显示窗口的窗口区域中显示表示所述窗口的重要度的图作为所述标记，

所述重叠信息取得部取得所述重叠信息的重要度，

所述信息重叠图像生成部根据所述重叠信息的重要度和所述标记所示的所述窗口的重要度，判定是否避开根据所述标记选择出的所述不可区域而重叠所述重叠信息。

16.一种标记显示程序，其用于使计算机执行如下的标记显示处理：为了使取得了映出具有显示区域的显示设备的摄影图像的计算机从所述摄影图像中选择所述显示区域，在所述显示设备的所述显示区域中显示决定为所述显示区域的记号的标记。

17.一种信息重叠图像显示程序，其用于使计算机执行以下处理：

摄影图像取得处理，取得映出了信息处理显示设备的摄影图像，所述信息处理显示设备具有显示作为记号的标记的信息处理显示区域；

重叠信息取得处理，取得通过所述摄影图像取得处理而取得的所述摄影图像中重叠的信息作为重叠信息；

不可区域选择处理，根据通过所述摄影图像取得处理而取得的所述摄影图像中映出的所述标记，从所述摄影图像中选择所述信息处理显示区域作为不可区域；

信息重叠图像生成处理，避开通过所述不可区域选择处理选择出的所述不可区域将通过所述重叠信息取得处理而取得的所述重叠信息重叠在所述摄影图像中，由此，生成信息重叠图像；以及

信息重叠图像显示处理，在作为显示区域具有主体显示区域的主体显示设备的所述主体显示区域中，显示通过所述信息重叠图像生成处理生成的所述信息重叠图像。