CN108012141A - 显示装置、显示系统和显示装置的控制方法 - Google Patents

Abstract

提供显示装置、显示系统和显示装置的控制方法。根据本发明的一个方式，显示装置(100)具有：图像输入部(131)，其进行摄像而取得第1图像；信息取得部(130)，其取得包含与图像输入部(131)的第1摄像范围有关的信息的第1摄像范围信息；通信部(140)，其进行从外部设备取得第2摄像范围信息的通信，其中，该外部设备进行摄像而取得第2图像，该第2摄像范围信息包含与所述外部设备的第2摄像范围有关的信息；控制部(110)，其取得所述第1摄像范围和所述第2摄像范围中包含的区域作为对应范围；显示控制部(111)，其生成表示所述对应范围的显示信息；以及显示部(120)，其显示所述显示信息。

Description

显示装置、显示系统和显示装置的控制方法

技术领域

本发明涉及显示装置、显示系统和显示装置的控制方法。

背景技术

在近年来的ICT(Information and Communications Technology：信息通信技术)运用中，对例如包含可穿戴终端在内的IoT(Internet of Things：物联网)设备的关注提高。这里，“ICT运用”的意思是例如对信息通信的自由度提高至比以往任何时候都高的环境、设备进行运用。此外，“IoT”表示所有的“物”与互联网连接或构成互联网的一部分，“IoT设备”大多数情况下是指具有通信功能，不限于与互联网连接而还与网络连接的设备。可穿戴终端中例如包含眼镜式、腕表式的可穿戴终端。此外，近年来，这样的IoT设备常常搭载照相机。

例如在日本特开2015-224982号公报中公开了如下的路径引导装置的技术：该路径引导装置通过对便携终端装置附带的照相机拍摄到的影像附加被称作空气标签(airtag)的虚拟图像而进行显示的增强现实(AR)技术，能够容易地掌握该空气标签所示的事物、事件的地理上的位置与当前位置之间的位置关系。

发明内容

本发明的目的在于，提供能够确认外部设备的摄像范围的显示装置、显示系统和显示装置的控制方法。

根据本发明的一个方式，显示装置具有：图像输入部，其进行摄像而取得第1图像；信息取得部，其取得包含与所述图像输入部的第1摄像范围有关的信息的第1摄像范围信息；通信部，其进行从外部设备取得第2摄像范围信息的通信，其中，该外部设备进行摄像而取得第2图像，该第2摄像范围信息包含与所述外部设备的第2摄像范围有关的信息；控制部，其取得所述第1摄像范围和所述第2摄像范围中包含的区域作为对应范围；显示控制部，其生成表示所述对应范围的显示信息；以及显示部，其显示所述显示信息。

根据本发明的一个方式，显示系统包括：所述显示装置；以及外部设备，其进行摄像而取得第2图像。

根据本发明的一个方式，显示装置的控制方法包括以下步骤：进行摄像而取得第1图像；取得包含与所述摄像的第1摄像范围有关的信息的第1摄像范围信息；进行从外部设备取得第2摄像范围信息的通信，其中，该外部设备进行摄像而取得第2图像，该第2摄像范围信息包含与所述外部设备的第2摄像范围有关的信息；取得所述第1摄像范围和所述第2摄像范围中包含的区域作为对应范围；生成表示所述对应范围的显示信息；以及显示所述显示信息。

根据本发明，能够提供能够视觉辨认外部设备的摄像范围的显示装置、显示系统和显示装置的控制方法。

附图说明

图1是示出第1实施方式的显示系统的结构例的概略的框图。

图2是示出第1实施方式的显示装置具有的图像输入部及显示部与用户的视野之间的位置关系的一例的示意图。

图3是示出第1实施方式的用户的视野和显示部之间的位置关系的一例的示意图。

图4是示出第1实施方式的显示装置控制处理的一例的流程图。

图5是示出第1实施方式的显示系统的结构的一例的示意图。

图6A是示出取得第1实施方式的对应范围的方法的一例的示意图。

图6B是示出取得第1实施方式的对应范围的方法的一例的示意图。

图7是示出重叠显示第1实施方式的对应范围的显示部中的显示的一例的示意图。

图8是示出第1实施方式的监视照相机控制处理的一例的流程图。

图9是示出第2实施方式的显示系统的结构例的概略的框图。

图10是示出第2实施方式的显示装置的结构例的概略的示意图。

图11是示出第2实施方式的显示装置具有的图像输入部及显示部和用户的视野之间的位置关系的一例的示意图。

图12是示出第2实施方式的用户的视野和显示部之间的位置关系的一例的示意图。

图13是示出第2实施方式的显示系统的结构的一例的示意图。

图14是示出第2实施方式的重叠显示对应范围的显示部中的显示的一例的示意图。

图15是示出第2实施方式的重叠显示无人机的取得图像的显示部中的显示的一例的示意图。

图16是示出第2实施方式的操纵部控制处理的一例的流程图。

图17是示出第2实施方式的显示装置控制处理的一例的流程图。

图18是示出第2实施方式的无人机控制处理的一例的流程图。

具体实施方式

[第1实施方式]

近年的ICT(Information and Communications Technology：信息通信技术)运用中，对例如包含可穿戴终端在内的IoT(Internet of Things)设备的关注提高。这里，“ICT运用”的意思是例如对信息通信的自由度提高至比以往任何时候都高的环境、设备进行运用。此外，“IoT”表示所有的“物”与互联网连接或构成互联网的一部分，“IoT设备”大多数情况下是指具有通信功能，不限于与互联网连接而还与网络连接的设备。可穿戴终端中例如包含眼镜式、腕表式的可穿戴终端。此外，近年来，这样的IoT设备常常搭载照相机。

＜显示系统的结构＞

图1中作为框图而示出本实施方式的显示系统1的结构例的概略，参照图1对包含显示装置100和外部设备中包含的监视照相机200的显示系统1的结构进行说明。另外，根据上述那样的观点，显示装置100、监视照相机200等本实施方式的显示系统1中包含的各个设备能够表现为是IoT设备。

显示装置100具有控制部110、显示部120、信息取得部130、通信部140、操作部150。控制部110控制显示装置100的各部的动作。控制部110具有显示控制部111。显示控制部111生成显示信息，该显示信息例如用于显示经由通信部140而从监视照相机200取得的信息。显示部120根据显示控制部111生成的显示信息进行显示。显示部120例如包含液晶显示器、有机EL显示器、半反射镜。显示器为了显示基于实时的图像的图像并且以可视的方式显示所取得的信息，以用户能够观察的方式显示这些图像和信息的合成图像。另外，该合成可以以电气的(电子的)方式进行，也可以以光学的方式进行。信息取得部130取得与显示装置100有关的信息。

信息取得部130具有图像输入部131、位置输入部132、方位输入部133、距离输入部134。图像输入部131例如包含具有摄像光学系统和摄像元件的第1摄像部，根据经由摄像光学系统而在摄像元件的摄像面上形成的被摄体像取得图像作为第1图像。另外，在以下的说明中，将第1摄像部的摄像记载为第1摄像。位置输入部132例如包含GPS传感器、气压传感器等，取得与显示装置100的位置、高度有关的信息。方位输入部133例如包含电子指南针等传感器，取得第1摄像的方向。距离输入部134取得与显示装置100和监视照相机200之间的距离有关的信息。另外，也可以根据例如图像输入部131具有的摄像元件的像面相位差方式的测距的检测结果来进行测距，从而取得该距离。此外，也可以由控制部110根据位置输入部132的输出和监视照相机200输出的位置信息进行计算，从而取得该距离。关于距离的测定，存在利用光投射式的雷达的测定、三角测距方式、基于镜头的合焦的对比度方式等。在对显示装置100和特定物体之间的距离进行测定的情况下，可以预先决定特定的标识的大小，根据其能够以何种大小进行检测来进行距离测定。此外，分别根据在对象物和显示装置100中取得GPS等信号和信息而得到的对象物与显示装置100之间的位置信息的差异等，也能够进行距离的测定。进而，可以存在通过目视来输入距离的应用例。以下，将信息取得部130或信息取得部130具有的各部所取得的与第1摄像的摄像范围有关的信息称作第1摄像范围信息。

通信部140与监视照相机200之间进行通信。另外，该通信例如可以是Bluetooth(注册商标)Low Energy(BLE)、Wi-Fi(注册商标)等无线通信，也可以是有线的通信。此外，这些通信可以经由互联网等电气通信回线来进行。操作部150例如包含按钮、滑块、旋钮、拨盘等，取得用户的操作结果。另外，操作部150可以是触摸面板，也可以是具有检测用户的动作、视线的传感器来取得作结果的部件。

监视照相机200具有控制部210、信息取得部230、通信部240。控制部210控制监视照相机200的各部的动作。信息取得部230取得与监视照相机200有关的信息。信息取得部230具有图像输入部231、摄像范围输入部232。图像输入部231例如包含具有摄像光学系统和摄像元件的第2摄像部，根据经由摄像光学系统而在摄像元件的摄像面形成的被摄体像取得图像作为第2图像。另外，在以下的说明中，记载为第2摄像部的摄像。此外，将监视照相机200这样的显示系统1包含的外部设备中的具有摄像功能的外部设备记载为摄像设备。摄像范围输入部232例如包含GPS传感器等，取得与监视照相机200的摄像范围有关的信息作为第2摄像范围信息。另外，第2摄像范围信息包含根据该摄像设备(这里为监视照相机200)的位置、摄像时的朝向(这里简单化为朝下)或者摄像元件的尺寸及摄像光学系统的焦距等而决定的与视场角相当的范围等，并且是进行综合的范围。该第2摄像范围信息的一部分或全部可以预先记录在监视照相机200的内部，也可以是由图像输入部231根据当时的状况判定视场角等被如何设定、朝向哪里等来进行取得，例如可以根据设定了视场角等时的信息来进行取得。通信部240与显示装置100具有的通信部140之间进行通信。

图2的示意图示出本实施方式的显示装置100具有的图像输入部131及显示部120与用户U1的视野之间的位置关系的一例。此外，图3的示意图示出本实施方式的用户U1的视野与显示部120之间的位置关系的一例。

在本实施方式中，以显示装置100例如是图2所示的眼镜式的可穿戴终端的情况为例进行说明，但不限于此。显示装置100例如也可以是手表式的可穿戴终端。此外，显示装置100也可以不是可穿戴终端，只要是具有显示、通信和摄像功能的终端即可。这是因为，是否是可穿戴是由该设备(终端)是否是以免提(hands free)状态佩戴在用户身体而决定的，这里，用户也可以手持来进行与佩戴时同样的状态。如果是可穿戴，则可以不用手持，因此，具有双手可以用于其他用途这样的优点。此外，如果是眼镜式的可穿戴设备，则能够假定一般成人的眼睛的高度等，进行假定了在步行时确认显示的场景等的设计。并且，眼镜式的可穿戴设备具有容易进行眼睛可以看到的显示的位置的控制这样的优点。这也能够使眼睛的位置和显示的位置(用眼睛进行观察而能够看到的显示位置)的控制、设计等简化。当然，即使不是可穿戴类型，也能够通过各种方法来实现对显示位置进行控制从而对利用眼睛观察时看到的位置进行控制。在以光学的方式使眼睛的位置和显示的位置一致的情况下，也可以从显示部对眼睛进行摄像来检测显示部和眼睛的位置之间的关系，根据其结果控制显示位置。此外，在以电子的方式进行图像合成的情况下，如果相对于拍摄到的图像的位置调整假想的信息的位置而进行显示，能够能够实现该控制。

另外，如图3所示，本实施方式的显示装置100具有的显示部120被配置成与用户U1的左视野VL和右视野VR分别大致重叠。此外，显示装置100具有的图像输入部131例如如图2所示，被配置成使得用户U1的视线方向和第1摄像的方向成为相同的方向。另外，显示装置100可以是虚像投影式的显示装置，也可以是视网膜投影式的显示装置。

＜显示系统的动作＞

图4的流程图示出本实施方式的显示装置控制处理的一例，参照该图对显示装置100的动作进行说明。此外，图5的示意图示出本实施方式的显示系统1的结构的一例。这里，例如如图5所示，以用户U1在作为保安员佩戴者显示装置100的状态下巡逻的情况为例，对显示系统1的动作进行说明。另外，以下所记载的水平、垂直、平行等的表现不严格要求水平、垂直、平行等，大致视为水平、垂直、平行等即可。此外，以下的说明中，为了简化说明，包含将大致视为水平、垂直、平行等假定为水平、垂直、平行而进行说明的情况。

在步骤S101中，控制部110使图像输入部131进行第1摄像而取得第1图像。此外，控制部110使显示部120显示该第1图像。因此，用户U1能够一边观察基于与自身的视野同样的第1图像的实时取景显示一边进行巡逻。

在步骤S102中，控制部110例如根据与用户U1的操作对应的操作部150的输出，判定是否取得监视照相机200输出的信号。如图5所示，例如用户U1在想要确定位于建筑物O1附近的监视照相机200拍摄到什么时、想要确认监视照相机200正在拍摄哪里等时，进行取得信号的操作。显示装置控制处理在判定为要取得的情况下进入步骤S103，在判定为不取得的情况下返回步骤S101，继续实时取景显示。

例如也可以通过标准化来决定特定的规则，从而进行这样的信息取得。例如，如果通过标准化决定了收发信息时的信号的形式、通信标准等，则与包含显示装置100的可穿戴终端和包含监视照相机200的外部设备之间的组合无关系，能够利用本技术。

另一方面，可以通过基于可穿戴终端的外部设备信号的解释进行判定而进行上述的信息取得。这里，解释是表示，例如即使可穿戴终端和外部设备之间的通信标准等未被标准化，可穿戴终端也对该信号进行解析而判定外部设备的规格。可穿戴终端不需要存储能够组合的全部外部设备的规格，适当根据互联网、服务器等中构建的数据库等云上记录的信息进行判定即可。在从这样的网络上的数据库读取信息时，可穿戴终端可以根据本设备的位置信息来检索信息，也可以根据外部设备发送的信号进行检索。外部设备发送的信号例如包含外部设备的个体识别编号、商品种类、位置信息等。

此外，也可以从可穿戴终端进行独自的信息发送，从而进行上述那样的信息取得。即，在取得来自上述的外部设备的信息、外部设备的规格时，也可以是从可穿戴终端请求各种信息的形式。可穿戴终端请求信息的时机可以是用户对终端进行操作时，也可以是该可穿戴终端位于规定的位置或范围时。此外，外部设备可以定期地或始终发送信息，也可以在可穿戴终端接收到该信号时开始信息的收发。

在步骤S103中，控制部110例如根据与用户的操作对应的操作部150的输出，判定是否取得监视照相机200取得的第2图像并使显示部120进行显示。例如用户U1在想要确认监视照相机200正在拍摄什么等时，为了显示第2图像，对用于进行上述的信息取得和显示的操作按钮等进行操作(即使不进行任何操作，也可以仅通过靠近而始终进行显示)，另一方面，在想要知道监视照相机200的摄像范围等时，进行与用于显示第2图像的操作不同的操作。显示装置控制处理在判定为成为使第2图像显示的状态或者存在操作的情况下进入步骤S108，在判定为不显示的情况下进入步骤S104。

在步骤S104中，控制部110从位置输入部132取得显示装置100的位置信息。在步骤S105中，控制部110经由通信部140取得监视照相机200输出的监视照相机200的位置信息。因此，在步骤S104和步骤S105中，控制部110如图5所示，取得表示佩戴显示装置100的用户U1的位置的点P0的坐标(I0，K0)和表示监视照相机200的位置的点P1的坐标(I1，K1)。这里，控制部110例如根据点P0的坐标和点P1的坐标，计算这2点间的距离D1。

在步骤S106中，控制部110经由通信部140取得由监视照相机200输出的表示监视照相机200的摄像范围的信号，作为第2摄像范围信息。第2摄像范围信息包含例如监视照相机200进行摄像的视场角、监视照相机200取得的与摄像范围有关的GPS测位值(或设置时所输入的纬度、经度信息)等。这里，将朝向(倾斜)简单化而设为朝向铅直方向(与地面大致垂直)。这样的信息是表示从哪里到哪里的范围的信息，因此，也可以是纬度经度信息群，以使得不需要逐一进行换算。因此，这里，例如如图5所示，控制部110在监视照相机200的摄像范围是矩形的情况下，取得表示第2摄像范围A2的顶点的4个坐标(I1±ΔI1，K1±ΔK1)。以下，例如以与由经纬度表示的ΔI1和ΔK1相当的长度均为ΔD1的情况为例来继续进行说明。

在步骤S107中，控制部110对与第1图像中的与第2摄像范围对应的部位进行图像处理。在该图像处理之前，控制部110取得包含显示装置100具有的第1摄像部的视场角在内的第1摄像范围信息。第1摄像范围信息例如包含第1摄像部的位置、高度、方位、倾斜等。关于这些第1摄像范围信息中包含的信息的值，在眼镜式终端这样的可穿戴设备的情况下，假定是站立的人的眼睛的高度、且观察正前方的状态等，以预先决定的值进行替代。也可以设计成当用户U1来到特定位置时能够看见辅助显示，该情况下，也能够使位置信息简单化。当然，在用户U1从该位置确认监视位置(监视照相机200的摄像范围)的情况下，也可以假定方位、倾斜成为特定的值的状况。该情况下，也能够削减信息的种类和信息的量。另外，第1摄像范围信息可以设为与步骤S101中的摄像时的状况对应的值，可以在步骤S104中的显示装置100的位置信息取得时等被取得。此外，控制部110将该图像处理后的图像显示在显示部120中。

这里，对取得第1图像中的实施该图像处理的区域的方法进行说明。以下，将该区域称作对应范围。参照图6A和图6B所示的示意图，对本实施方式的控制部110取得该对应范围的方法的一例进行说明。另外，此时，是已经分别取得了点P0与点P1之间的距离D1、第1摄像范围信息中包含的与水平方向平行的方向的视场角Θ0及垂直视场角Ψ0、以及第2摄像范围信息中包含的长度ΔD1的状态。

此外，这里，如图6A所示，以如下情况为例进行说明：用户U1将显示装置100佩戴在头部上，朝向监视照相机200而与其正对，并且，显示装置100具有的第1摄像部的摄像方向与地面平行。此外，显示装置100和第1摄像部的高度和位置的差异是已知的。以下，设第1摄像部所位于的地上的点的位置是P0、设从点P0朝向点P1的方向为X+方向、设与X方向垂直且与地面平行的方向为Y方向、设点P0为X方向的原点(X＝0)，来进行说明。

控制部110从位置输入部132取得第1摄像部的高度H0。控制部110根据所取得的高度H0和距离D1，计算第1摄像部与点P1之间的距离D11。此外，控制部110计算第1摄像的方向与连结第1摄像部和点P1的直线所成的角即视场角Ψ1。

因此，根据计算出的视场角Ψ1和垂直视场角Ψ0，第1图像中包含的点中的哪个点与点P1对应变得明确。以下，将第1图像中包含的与点P1对应的的点记载为点P1′。

图6B所示的点P11和点P12是如下的点，该点在X方向上是与点P1相同的位置，且与点P1之间的距离均为ΔD1。以下，将连结点P11和点P12的线段称作线段L1。即，线段L1能够表现为包含点P1的Y方向的直线中的对应范围中包含的范围。此外，图6B所示的示意图示出由表示距离D11的直线和线段L1展开的平面。

如图6B所示，控制部110根据距离D11和长度ΔD1，计算与第2摄像范围对应的Y方向的视场角Θ1。

因此，根据计算出的视场角Θ1和视场角Θ0，包含第1图像中包含的点P1′在内的Y方向的直线中的、与线段L1对应的范围变得明确。以下，将第1图像中包含的与线段L1对应的线段记载为线段L1′。

这样，在对应范围中，取得X＝D1的位置处的与Y方向的范围有关的信息。控制部110与上述情况同样地，在D1-ΔD1≦X≦D1+ΔD1的范围内，取得与各个X方向的位置对应的视场角Ψ1和视场角Θ1，判定第1图像所包含的区域中的哪个区域相当于对应范围。

另外，在监视照相机200的第2摄像范围是矩形的情况下，不计算与D1-ΔD1＜X＜D1+ΔD1的位置有关的对应范围，而仅计算第2摄像范围的与4个顶点或X＝D1±ΔD1的位置有关的对应范围，就能够计算同样的对应范围。

另外，可这样取得的对应范围能够表现为是第1摄像范围和第2摄像范围中包含的区域。此外，在第1摄像部进行摄像的方向与用户视野的方向VD是相同方向或能够视为相同方向的情况下，或者通过校正或换算而能够作为相同方向进行处理等的情况下，对应范围也可以表现为能够视觉辨认的图像处理对应范围。

图7的示意图示出本实施方式的显示部120中的图像处理后的图像显示的一例。本实施方式的显示控制部111输出显示信息并使显示部120进行显示，该显示信息用于显示将表示该对应范围的显示信息重叠于第1图像得到的重叠显示图像。如图7所示，将通过图像处理涂画(塗りつぶす)了表示第2摄像范围A2的对应范围得到的图像重叠显示在第1图像上，用户U1能够视觉辨认从而容易地掌握位于建筑物O1附近的监视照相机200正在拍摄哪里。

这里，再次参照图4，继续对显示系统1的动作进行说明。

在步骤S108中，控制部110经由通信部140从监视照相机200取得第2图像。在步骤S109中，控制部110使步骤S108中取得的第2图像显示在显示部120中。然后，显示装置控制处理返回步骤S102。

另外，本实施方式的显示装置100具有的显示部120与用户U1的左视野VL和右视野VR分别大致重叠，存在用户U1观察图像输入部131拍摄的第1图像而进行巡逻的情况。在这样的情况下，在突然使第2图像显示在显示部120中的情况下，用户U1的视野会被突然剥夺。因此，控制部110在对显示部120显示的图像进行切换时，例如可以使第2图像慢慢地降低透明度并重叠显示在第1图像上。此外，控制部110可以在显示部120的一部分上显示第2图像。

图8的流程图示出本实施方式的监视照相机控制处理的一例，参照图8对监视照相机200的动作进行说明。

在步骤S201中，控制部210使监视照相机200具有的图像输入部231进行摄像，取得第2图像。控制部210使通信部240将该第2图像发送到显示装置100。另外，本步骤例如在接收到步骤S108中发送的控制信号时执行。

在步骤S202中，控制部210使通信部240将表示监视照相机200的位置的位置信号发送到显示装置100。另外，监视照相机200的位置可以预先记录在监视照相机的内部，也可以由控制部210取得。另外，本步骤例如与步骤S105对应。

在步骤S203中，控制部210将与监视照相机200的摄像范围有关的信息作为第2摄像范围信息，并使通信部240发送该信息。另外，第2摄像范围信息例如包含监视照相机200的图像输入部231具有的摄像部的视场角、GPS测位值等。本步骤例如与步骤S106对应。然后，监视照相机控制处理返回步骤S201，重复步骤S201至步骤S203的处理。

＜显示系统的变形例＞

另外，在本实施方式中，以显示装置100具有的摄像部与监视照相机200正对、并且在与地面平行的方向上进行第1摄像的情况为例进行了说明，但不限于此。例如信息取得部130可以检测摄像方向的上下左右的倾斜，根据检测结果对方位、距离等进行校正从而进行上述的重叠显示。此外，显示装置100具有的摄像部被配置成使得第1摄像的摄像方向例如如图2所示而与用户U1的视线方向一致，但不限于此。只要各个位置和方向的差异已知或能够取得即可，可以通过图像处理等进行校正来实现重叠显示。

另外，例如在摄像元件能够检测相位差等情况下，可以根据该相位差来计算距离D1。此外，表示监视照相机200的位置的点P1可以预先存储在监视照相机200的内部，也可以由监视照相机200每次取得。

此外，显示装置100的高度H0可以通过手动输入来取得，也可以通过气压传感器、高度传感器、GPS等来取得，例如还可以根据成人的平均身高等将值预先设定为150cm、160cm等。

长度ΔD1的值例如可以根据监视照相机200的视场角Φ和高度H1来计算，也可以预先记录在监视照相机的内部。此外，一次连接的监视照相机200的信息可以记录在显示装置100中。此外，本实施方式的技术也可以应用于摄像范围不是矩形的情况。

此外，在本实施方式中，计算距离D11，并使用该距离D11来计算重叠显示所要求的各个值，但是，例如当点P0和点P1足够远等时、视场角Ψ1足够小等时，为了简便，也可以设为D1≒D11来进行计算。此外，如本实施方式中说明的情况那样，在第1摄像部在水平方向上进行摄像时、且第1摄像部的高度H0为已知的情况下，可以不使用垂直视场角Ψ0。

另外，在本实施方式中，以监视照相机200那样固定设置的外部设备持续发送信息的情况为例进行了说明，但是，监视照相机200可以不始终发送信号和第2摄像范围信息等而是定期地发送，也可以仅在从显示装置100进行了请求时进行发送。并且，监视照相机200可以对第2图像进行解析，在检测到变化的情况下进行发送。

在本实施方式的显示系统1中，监视照相机200的摄像方向、焦距可以改变，本实施方式的技术可以是，用户能够对显示装置100进行操作，控制监视照相机200的动作。

＜显示系统的优点＞

在本实施方式的显示系统1中，将监视照相机200的第2摄像范围信息重叠显示在显示装置100取得的第1图像上。因此，如果使用本实施方式的显示系统1，则用户U1能够一边观察显示装置100具有的显示部120，一边简单地视觉辨认而掌握监视照相机200的摄像范围或取得图像。

此外，如果应用本技术，则显示装置100通过通信标准等标准化、构建于网络的数据库的利用等，能够从任何监视照相机200取得信息。同样地，无论用户使用何种显示装置100，监视照相机200都能够提供信息。

此外，如果利用本实施方式的显示系统1，则用户例如在作为监视员进行巡逻等时，能够简单地视觉辨认而掌握无法监视的范围。并，如果利用本技术，则例如监视照相机200的管理者即使在根据隐身的观点等而不希望公开监视照相机200正在拍摄的图像时，例如也能够仅使监视员等经过特定手续的具有访问权的用户等确认监视照相机200的摄影范围。

[第2实施方式]

对本发明的第2实施方式进行说明。这里，对与第1实施方式的不同点进行说明，对相同部分标注相同标号并省略其说明。

＜第2实施方式的显示系统的结构＞

图9是示出本实施方式的显示系统1的结构例的概略的框图，参照图9对显示系统1的结构进行说明。

在第1实施方式中，对包含显示装置100和固定设置的监视照相机200的显示系统1进行了说明，但是，在本实施方式中，对显示系统1进行说明，该显示系统1包括：显示装置100、能够飞行移动而进行摄像的无人机300、对无人机300进行操纵的操纵部410。另外，无人机300例如包括小型无人机、特定航空用设备、模型航空机、无人航空机。

本实施方式的显示装置100除了不具有第1实施方式的显示装置100具有的距离输入部134以外，具有同样的结构。另外，例如在能够通过像面相位差方式取得与无人机300之间的距离等的情况下，本实施方式的显示装置100也可以具有距离输入部134。

无人机300具有控制部310、移动控制部320、信息取得部330、通信部340、操纵通信部350。

控制部310控制无人机300的各部的动作。信息取得部230取得与无人机300有关的信息。移动控制部320进行与无人机300的移动有关的控制。移动控制部320例如包含移动机构。

信息取得部330具有图像输入部331、位置输入部332、声音输入部333、视场角输入部334。图像输入部331例如包含具有摄像光学系统和摄像元件的第3摄像部，根据经由摄像光学系统而在摄像元件的摄像面上形成的被摄体像取得图像作为第3图像。另外，在以下的说明中，将第3摄像部的摄像记载为第3摄像。位置输入部332例如包含GPS传感器等，取得无人机300的位置信息。位置输入部332例如可以包含高度传感器、方位传感器等，取得无人机300的高度、移动方向等。声音输入部333例如具有包含麦克风的收音部，取得无人机300周围的声音数据。视场角输入部334取得与图像输入部331具有的摄像部进行摄像的视场角有关的信息。以下，例如将信息取得部330取得的无人机300的摄像范围称作第3摄像范围，将与该第3摄像范围有关的位置、高度、方位、视场角等信息称作第3摄像范围信息。

通信部340与显示装置100具有的通信部140之间进行通信。操纵通信部350与操纵部410之间进行通信，取得操纵部410输出的控制信号，并向控制部310输出。

操纵部410例如具有取得用户的操作结果的操作部，根据用户U1的操作，生成并输出用于操作无人机300的控制信号。另外，操纵部410也可以包含于显示装置100。

本实施方式的显示系统1可以包含显示控制部400。显示控制部400例如包含显示装置100具有的控制部110、通信部140、操作部150、无人机300具有的控制部310、通信部340、操纵通信部350、操纵部410。显示控制部400生成向显示系统1的显示装置100具有的显示部120进行显示的显示信息。

图10的示意图示出本实施方式的显示装置100的结构例的概略。在本实施方式中，以显示装置100是图10所示的眼镜佩戴式的可穿戴终端的情况为例进行说明。如图10所示，本实施方式的显示装置100还具有显示面板121、电路收纳部122、导光部123。显示面板121根据显示控制部111输出的显示信息进行显示。电路收纳部122收纳与显示装置100的动作有关的例如电气电路。导光部123将来自显示面板121的光引导到用户U1的眼镜。因此，用户U1能够将经由导光部123而来自显示面板121的光作为显示121a进行视觉辨认。

图11的示意图示出本实施方式的显示装置100具有的图像输入部131和显示部120与用户U1的视野之间的位置关系的一例。此外，图12的示意图示出本实施方式的用户U1的视野与显示部120之间的位置关系的一例。如图11所示，显示装置100具有的图像输入部131例如与图2所示的第1实施方式的显示装置100同样，被配置成使得用户U1的视线方向与第1摄像的方向成为相同的方向。另一方面，该显示部120的大小、形状等与第1实施方式的显示部120不同。第2实施方式的显示部120如图12所示，仅与用户U1的视野的一部分重叠。

这样，本实施方式的显示装置100例如利用瞳孔直径的一半左右宽度的棒状光学系统显示影像，因此，用户U1能够在充分确保外界视野的同时，观察显示部120的显示。并且，由于没有浪费地利用显示面板121输出的光，因此，能够以低消耗电力实现明亮的画面显示。

＜显示系统的概要＞

图13的示意图示出本实施方式的显示系统1的结构的一例。这里，例如如图13所示，以如下情况为例对本实施方式的显示系统1的概要进行说明：用户U1佩戴显示装置100，在手持着操纵部410的状态下操纵无人机300，例如在位于山O2的近前的田地中，正在确认位于树O3附近的农作物的生长状况等。

此外，在以下的说明中，如图13所示，设用户U1的位置为位置P2、无人机300的位置为位置P3、无人机300的摄像范围为第3摄像范围A3，图像输入部331被配置成，能够在无人机300的地面侧对地面方向进行摄像。另外，图像输入部331的配置、摄像方向不限于地面侧，也可以是水平方向，还可以说上空侧。摄像方向可以是可变的。

例如，对本实施方式的显示系统1是这样的结构的情况下的、显示装置100具有的显示部120的显示例进行说明。图14的示意图示出第2实施方式的重叠显示了对应范围的显示部的显示的一例。本实施方式的显示系统1根据显示装置100取得的位置、方位等来取得用户U1的视野。显示系统1根据与该视野有关的信息以及包含无人机300的位置、高度、视场角等在内的第3摄像范围信息，例如与参照图5至图7上述的情况同样地，生成用于在设置于用户U1的视野内的显示面板121上重叠显示的显示信息。该显示信息如图14所示，例如是在由图像输入部131取得的、被显示部120遮挡的部分的实时取景图像上重叠了表示第3摄像范围信息的显示而得到的信息。该实时取景显示例如如图14所示，可以以与用户U1的视野连续的方式进行。因此，如图14所示，用户U1能够一边在视野内捕捉无人机300而进行操纵，一边视觉辨认而容易地确认无人机300的摄像范围。

另外，在图14中，示出了用户U1的视野与在该视野上重叠显示的显示部120的显示之间的边界一致的情况，但不限于此。本实施方式的显示系统1实现的显示是在用户U1的视野上重叠显示能够得知无人机300的摄像范围的显示信息的显示即可。

图15的示意图示出第2实施方式的重叠显示了无人机300的取得图像的显示部的显示的一例。如图15所示，用户U1的视野内重叠显示的可以是无人机300的取得的第3图像，该情况下，用户U1能够一边在视野内捕捉无人机300而进行操纵，一边容易地确认无人机300的摄像图像。通过适当切换图14的显示和图15的显示，用户U1例如能够确认农作物的生长情况等，并且，能够容易地掌握该图像是对哪个区域进行摄像的图像。

＜显示系统的动作＞

图16的流程图示出本实施方式的操纵部控制处理的一例，参照图16对显示系统1的动作进行说明。

在步骤S301中，操纵部410例如维持待机状态，直到取得用户的操作结果。操纵部控制处理在检测到用户的操作的情况下进入步骤S302。

在步骤S302中，操纵部410判定步骤S301中取得的用户操作是否是使无人机300移动的操作。在判定为操纵部410取得的操作结果是与无人机300有关的移动操作的情况下，操纵部控制处理进入步骤S303，在判定为是其他操作的情况下，操纵部控制处理进入步骤S304。在步骤S303中，操纵部410生成与取得的移动操作所相关的用户的操作结果对应的移动控制信号，将其输出到无人机300具有的操纵通信部350。然后，操纵部控制处理返回步骤S301。

在步骤S304中，操纵部410判定步骤S301中取得的用户操作是否是请求实时取景显示的操作。在判定为操纵部410取得的操作结果是实时取景显示的请求的情况下，操纵部控制处理进入步骤S305，在判定为是其他操作的情况下，操纵部控制处理进入步骤S306。在步骤S305中，操纵部410生成用于使无人机300取得第3图像并将该图像发送到显示装置100的控制信号，将该控制信号输出到无人机300具有的操纵通信部350。然后，操纵部控制处理返回步骤S301。

在步骤S306中，操纵部410判定步骤S301中取得的用户操作是否是请求无人机300的位置信息的操作。例如用户在想要知道无人机300当前正在拍摄哪里等时进行请求位置信息的操作。在判定为操纵部410取得的操作结果是表示无人机300的位置信息的位置信号的请求情况下，操纵部控制处理进入步骤S307，在判定为不是位置信号的请求的情况下，操纵部控制处理返回步骤S301，进行待机直到用户进行操作。在步骤S307中，操纵部410生成用于使无人机300取得当前位置并将表示该位置的位置信号发送到显示装置100的控制信号，将该控制信号输出到无人机300具有的操纵通信部350。另外，不限于位置信号，可以请求第3摄像范围信息中包含的信息。然后，操纵部控制处理返回步骤S301。

图17的流程图示出本实施方式的显示装置控制处理的一例，参照图17对显示系统1的动作进行说明。

在步骤S401中，控制部110判定是否通过操纵部410进行了与无人机300之间的通信。在判定为进行了通信的情况下，显示装置控制处理进入步骤S402，在判定为未进行通信的情况下，显示装置控制处理返回步骤S401。本步骤与操纵部控制处理的步骤S301对应。

在步骤S402中，控制部110判定是否通过操纵部410向无人机300进行了实时取景请求。在判定为进行了请求的情况下，显示装置控制处理进入步骤S403，在判定为未进行请求的情况下，显示装置控制处理进入步骤S402。本步骤与操纵部控制处理的步骤S304对应。

在步骤S403中，控制部110判断是否通过操纵部410向无人机300进行了位置信号请求。在判定为进行了请求的情况下，显示装置控制处理进入步骤S404，在判定为未进行请求的情况下，显示装置控制处理进入步骤S411。本步骤与操纵部控制处理的步骤S306对应。

在步骤S404中，控制部110使图像输入部131进行摄像，取得第1图像。此外，控制部110使显示部120显示第1图像。在步骤S405中，控制部110取得显示装置100的位置信息。在步骤S406中，控制部110经由通信部140取得无人机300的位置信息。本步骤与操纵部控制处理的步骤S307对应。

在步骤S407中，控制部110经由通信部140取得无人机300的第3摄像范围信息。如上所述，第3摄像范围信息例如包含无人机300的高度、视场角等信息。本步骤与操纵部控制处理的步骤S307对应。

在步骤S408中，控制部110取得与图像输入部131具有的摄像部的摄像范围有关的信息作为第1摄像范围信息。此外，与参照图5至图7上述的情况同样，控制部110取得第1摄像范围和第3摄像范围中包含的区域作为对应范围，判定第1图像中包含的区域中的哪个区域与第3摄像范围对应。如果存在对应的对应范围，则控制部110对该区域实施图像处理，生成用于在第1图像上重叠显示第3摄像范围或第3图像的显示信息。控制部110将该显示信息输出到显示部120并使其进行显示。然后，显示装置控制处理返回步骤S401。

在步骤S409中，由在步骤S402中判定为用户进行了实时取景请求，因此，控制部110经由通信部140取得无人机300拍摄到的第3图像。本步骤与操纵部控制处理的步骤S305对应。在步骤S410中，控制部110使显示部120显示步骤S409中取得的第3图像。然后，显示装置控制处理返回步骤S401。

在步骤S411中，由于在步骤S402和步骤S403中判定为用户没有进行实时取景显示请求和位置信号请求，因此，控制部110使显示部120的实时取景显示等显示部120的显示结束。本实施方式的显示装置100等可穿戴设备由于其轻量化的要求、免提等理由，期望尽量抑制电池消耗，因此，本步骤这样的处理具有效果。然后，显示装置控制处理返回步骤S401。

图18的流程图示出本实施方式的无人机控制处理的一例，参照图18对显示系统1的动作进行说明。

在步骤S501中，控制部310进行待机，直到接收到来自操纵部410的信号。无人机控制处理在接收到信号的情况下进入步骤S502。

在步骤S502中，控制部310判定从操纵部410接收到的控制信号是否是与无人机300的移动操作有关的控制信号。在进行移动操作通信并接收到移动操作信号的情况下，无人机控制处理进入步骤S503，在判定为是其他信号的情况下，无人机控制处理进入步骤S504。本步骤与操纵部控制处理的步骤S302对应。在步骤S503中，控制部310根据经由操纵通信部350而从操纵部410接收到的移动控制信号，向移动控制部320输出控制信号，根据用户的操作结果使无人机300移动。然后，无人机控制处理返回步骤S501。

在步骤S504中，控制部310判定从操纵部410接收到的控制信号是否是与实时取景请求有关的控制信号。在接收到实时取景请求的情况下，无人机控制处理进入步骤S505，在判定为是其他信号的情况下，进入步骤S506。本步骤与操纵部控制处理的步骤S304对应。在步骤S505中，控制部310将图像输入部331具有的摄像部所取得的第3图像发送到显示装置100。另外，例如根据使无人机300或显示装置100的消耗电力降低的观点，本步骤那样接受实时取景请求而进行实时取景显示的情况以外，还考虑如下形式：控制部310定期地取得第3图像并进行解析，在检测到变化等的情况下向显示装置100进行推送通知，催促实时取景显示的开始。然后，无人机控制处理返回步骤S501。

在步骤S506中，控制部310判定从操纵部410接收到的控制信号是否是与位置信号请求有关的控制信号。在接收到位置信号请求的情况下，无人机控制处理进入步骤S507，在判定为是其他信号的情况下返回步骤S501，进行待机直到出现通信。本步骤与操纵部控制处理的步骤S306对应。在步骤S507中，控制部310将信息取得部330取得的无人机300的位置信息发送到显示装置100。在步骤S508中，控制部310将信息取得部330取得的无人机300的高度信息发送到显示装置100。在步骤S509中，控制部310将信息取得部330取得的无人机300的视场角信息发送到显示装置100。另外，在步骤S507至步骤S509中向显示装置100发送的信息不限于此，可以发送第3摄像范围信息中包含的信息。然后，无人机控制处理返回步骤S501。

另外，在本实施方式中，以用户U1对无人机300进行操纵的情况为例进行了说明，但是，无人机300也可以是自主飞行式的无人机。该情况下，例如无人机300可以在对第3图像进行解析而检测到变化的情况下向显示装置100进行推送通知，也可以定期地发送第3摄像范围信息、第3图像等。

此外，本实施方式的显示系统1可以是，例如取得的第3图像和第3摄像范围信息记录在无人机300内，用户能够在任意的定时掌握任意的图像和其取得该图像的位置。并且，这些已记录的第3图像可以在用户U1靠近取得该图像的位置等时被重叠显示。

＜第2实施方式的优点＞

本实施方式的显示系统1除了第1实施方式中的优点以外，具有以下优点。本实施方式的显示系统1将无人机300的第3摄像范围信息或第3图像重叠显示在第1图像上。此外，本实施方式的显示装置100例如利用瞳孔直径的一半左右宽度的棒状光学系统来显示影像，因此用户能够在充分确保外界视野的同时，通过目视对无人机300进行操纵，并且，能够同时视觉辨认并确认无人机300的第3摄像范围信息或第3图像。

进而，本实施方式的显示装置100能够不浪费地利用显示面板121输出的光，因此，能够以低消耗电力实现明亮的画面显示。此外，本实施方式的显示装置100不会妨碍用户的视野，因此，不需要作为实时取景显示而始终显示第1图像，从可穿戴设备等所要求的低消耗电力、轻量化的观点来看是有用的。

此外，本实施方式的显示装置100也可以与第1实施方式的监视照相机200组合使用。

[变形例]

另外，在与重叠显示有关的图像处理中，例如在第1图像内不包含第2摄像范围或第3摄像范围等外部设备的摄像范围的情况下，即，对应范围不存在的情况下，可以不进行该处理，也可以进行如下图像处理：在第1图像内重叠显示第2摄像范围或第3摄像范围相对于第1图像所示的第1摄像范围而位于哪个方向等的辅助显示。

在第1实施方式和第2实施方式中，示出了例如根据GPS传感器的测位值取得位置信息的例子，但是不限于此。位置信息例如也可以从便携电话等的基站、Wi-Fi等的无线LAN的接入点等取得。此外，也可以是，例如在拍摄一次的区域中与位置信息一起记录图像内的特征物，通过基于该特征物的图像处理取得位置信息。

如图7和图14所示，示出了对第2摄像范围A2或第3摄像范围A3进行涂画而进行重叠显示的情况的例子，但不限于此。重叠显示可以是任何形式，只要能够知道第1图像中包含的区域中的哪个区域是第2摄像范围A2或第3摄像范围A3即可，例如可以通过框线、线段、图形、文字列等表示。进而，也可以在该部位重叠显示第2图像或第3图像。此外，说明了对第1图像进行重叠显示，但是，第1图像可以不是必须是由图像输入部131取得的图像，例如也可以将从图像输入部131以外取得的地图作为第1图像。

此外，在第1实施方式和第2实施方式中，说明了针对显示装置100具有的图像输入部131取得的第1图像，重叠显示监视照相机200的第2摄像范围信息或无人机300取得的第3摄像范围信息的情况的例子，但不限于此。例如，也可以针对监视照相机200取得的第2图像或无人机300取得的第3图像重叠显示装置100取得的第1摄像范围信息。例如，用户U1确认第2图像或第3图像的结果也可能是访问取得该图像的场所的情况。这种情况下，用户U1能够视觉辨认而容易地掌握当前能够视觉辨认的范围中的哪个区域是刚才确认的区域。

在第1实施方式和第2实施方式中，作为显示系统1包含的外部照相机，以监视照相机200和无人机300为例进行了说明，但不限于此。显示系统1可以包含具有摄像功能的自走式机器人。此外，以显示装置100是可穿戴设备的情况为例进行了说明，但不限于此。例如，使用智能手机、平板PC等作为显示装置100也能够得到同样的效果。

第1实施方式和第2实施方式的技术例如还可以使内窥镜、内窥镜胶囊的摄像位置等摄像范围信息显示在显示装置100中。这种情况下，例如可以考虑第1图像是X射线图像、CT图像等。

此外，显示系统1也可以包含显示装置100和多个外部设备。进而，还考虑多个用户分别使用显示装置100的状况。

另外，流程图中示出的各个处理和各个处理内的各步骤的顺序可以改变，此外，还可以追加和删除。通过显示装置100、监视照相机200、无人机300或操纵部410的内部所记录的各个程序来执行这些各个处理。各个程序可以预先记录在显示装置100、监视照相机200、无人机300或操纵部410的内部，也可以记录在另外的记录介质中。这些记录的方法各种各样，可以在商品出厂时记录，也可以利用所发布的记录介质进行记录，还可以利用互联网等通信回线进行记录。

另外，本申请发明不限于上述实施方式，在实施阶段能够在不脱离其主旨的范围内进行各种变形。此外，可以尽可能适当组合各实施方式来进行实施，该情况下能够得到组合的效果。进而，在上述实施方式中包含各种阶段的发明，可以通过所公开的多个结构要件中的适当的组合提取各种发明。

Claims (10)

1.一种显示装置，该显示装置具有：

图像输入部，其进行摄像而取得第1图像；

信息取得部，其取得包含与所述图像输入部的第1摄像范围有关的信息的第1摄像范围信息；

通信部，其进行从外部设备取得第2摄像范围信息的通信，其中，该外部设备进行摄像而取得第2图像，该第2摄像范围信息包含与所述外部设备的第2摄像范围有关的信息；

控制部，其取得所述第1摄像范围和所述第2摄像范围中包含的区域作为对应范围；

显示控制部，其生成表示所述对应范围的显示信息；以及

显示部，其显示所述显示信息。

2.根据权利要求1所述的显示装置，其中，

所述显示控制部还生成在所述第1图像上重叠所述显示信息得到的重叠显示图像。

3.根据权利要求2所述的显示装置，其中，

所述显示控制部生成如下的图像作为所述重叠显示图像，该图像是实施对所述第1图像中包含的区域中的与所述对应范围相当的区域进行涂画的图像处理而得到的。

4.根据权利要求2所述的显示装置，其中，

所述通信部还进行从所述外部设备取得所述第2图像的通信，

所述显示控制部在所述第1图像中包含的所述对应范围上重叠所述第2图像中包含的所述对应范围而生成所述重叠显示图像。

5.根据权利要求2所述的显示装置，其中，

所述显示控制部在不存在所述对应范围的情况下，根据所述第1摄像范围信息和所述第2摄像范围信息，在所述第1图像上重叠表示所述第2摄像范围的辅助显示而生成所述重叠显示图像。

6.根据权利要求1所述的显示装置，其中，

所述通信部还进行从所述外部设备取得所述第2图像的通信，

所述显示控制部还生成在所述第2图像上重叠所述显示信息而得到的重叠显示图像。

7.根据权利要求1所述的显示装置，其中，

所述第1摄像范围信息至少包含取得所述第1图像时的所述显示装置的位置、视场角、摄像方向和摄像高度，

所述第2摄像范围信息至少包含取得所述第2图像时的所述外部设备的位置、视场角、摄像方向和摄像高度。

8.根据权利要求1至7中的任意一项所述的显示装置，其中，

所述图像输入部进行摄像的方向与用户的视野的方向相同。

9.一种显示系统，该显示系统包括：

权利要求1所述的显示装置；以及

外部设备，其进行摄像而取得第2图像。

10.一种显示装置的控制方法，该显示装置的控制方法包括以下步骤：

进行摄像而取得第1图像；

取得包含与所述摄像的第1摄像范围有关的信息的第1摄像范围信息；

进行从外部设备取得第2摄像范围信息的通信，其中，该外部设备进行摄像而取得第2图像，该第2摄像范围信息包含与所述外部设备的第2摄像范围有关的信息；

取得所述第1摄像范围和所述第2摄像范围中包含的区域作为对应范围；

生成表示所述对应范围的显示信息；以及

显示所述显示信息。