CN109983532A - 显示控制装置、头戴式显示器、显示控制装置的控制方法以及控制程序 - Google Patents

显示控制装置、头戴式显示器、显示控制装置的控制方法以及控制程序 Download PDF

Info

Publication number
CN109983532A
CN109983532A CN201780072757.3A CN201780072757A CN109983532A CN 109983532 A CN109983532 A CN 109983532A CN 201780072757 A CN201780072757 A CN 201780072757A CN 109983532 A CN109983532 A CN 109983532A
Authority
CN
China
Prior art keywords
image
overlapping
display
control unit
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780072757.3A
Other languages
English (en)
Inventor
熊井久雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN109983532A publication Critical patent/CN109983532A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请改善重叠显示的显示内容。显示装置(1)具备：全向图像绘制部(12)，特别指定显示对象区域；以及合成部(16)，使通过与拍摄到拍摄图像的拍摄装置不同的拍摄装置拍摄了拍摄对象的至少一部分而获得的重叠图像重叠地显示于部分图像。

Description

显示控制装置、头戴式显示器、显示控制装置的控制方法以及 控制程序
技术领域
本发明的一个方案涉及一种在使图像区域中被指定的显示对象区域的部分图像显示之后，进一步使图像重叠显示于该部分图像的显示控制装置等。
背景技术
在下述的专利文献1中公开了一种与全景影像的传送有关的技术。此外，在下述的专利文献2中公开了一种与全向图像的显示有关的技术。这些文献均涉及如下技术：针对具有无法容纳于显示装置的一个画面中的尺寸的图像区域的全向图像等图像，使被指定的显示对象区域的部分图像显示于显示装置。
现有技术文献
专利文献
专利文献1：日本公开专利公报“日本特开2015-173424号公报(2015年10月1日公开)”
专利文献2：日本公开专利公报“日本特开2015-18296号公报(2015年1月29日公开)”
发明内容
发明要解决的问题
在上述那样的技术中，如果在使图像区域中被指定的显示对象区域的部分图像显示之后，进一步使图像重叠显示于该部分图像，则能使用户了解多方面的信息，故优选。但是，这样的技术有改善的余地。
例如，在上述专利文献2中记载了在视点列表图像的规定的位置显示部分图像的缩略图。但是，缩略图是部分图像的缩小版，不包含部分图像以外的信息，因此用户从其显示画面无法得到部分图像以外的信息。此外，可能也会因重叠的缩略图而妨碍部分图像的阅览。但是，在上述专利文献1、2中没有认识到这样的问题，因此也没有提出解决这样的问题的方案。
本发明的一个方案的目的在于实现一种在使图像区域中被指定的显示对象区域的部分图像显示之后，进一步使图像重叠显示于该部分图像的技术中，能改善显示内容的显示控制装置等。
技术方案
为了解决上述问题，本发明的一个方案的显示控制装置是如下构成，即，使拍摄到拍摄对象的拍摄图像的图像区域中被指定的显示对象区域的部分图像显示于显示装置，上述显示控制装置具备：区域特别指定部，特别指定上述显示对象区域；以及重叠部，使通过与拍摄到上述拍摄图像的拍摄装置不同的拍摄装置拍摄了上述拍摄对象的至少一部分而获得的重叠图像重叠地显示于上述部分图像。
为了解决上述问题，本发明的一个方案的显示控制装置是如下构成，即，使拍摄到拍摄对象的拍摄图像的图像区域中被指定的显示对象区域的部分图像显示于显示装置，上述显示控制装置具备：区域特别指定部，特别指定上述显示对象区域；以及重叠部，使拍摄到上述拍摄对象的至少一部分的图像、即分辨率比上述拍摄图像高的图像重叠地显示于上述部分图像。
为了解决上述问题，本发明的一个方案的显示控制装置是如下构成，即，使拍摄到拍摄对象的拍摄图像的图像区域中被指定的显示对象区域的部分图像显示于显示装置，上述显示控制装置具备：位置确定部，根据上述部分图像的内容来确定重叠地显示于上述部分图像的重叠图像的重叠位置；以及重叠部，使上述重叠图像重叠地显示于上述位置确定部所确定的重叠位置。
为了解决上述问题，本发明的一个方案的显示控制装置的控制方法是如下方法，即，其中，上述显示控制装置使拍摄到拍摄对象的拍摄图像的图像区域中被指定的显示对象区域的部分图像显示于显示装置，上述显示控制装置的控制方法包括：区域特别指定步骤，特别指定上述显示对象区域；以及重叠步骤，使通过与拍摄到上述拍摄图像的拍摄装置不同的拍摄装置拍摄了上述拍摄对象的至少一部分而获得的重叠图像重叠地显示于上述部分图像。
有益效果
根据本发明的一个方案，起到如下效果：在使图像区域中被指定的显示对象区域的部分图像显示之后，进一步使图像重叠显示于该部分图像的技术中，能改善显示内容。
附图说明
[图1]是表示本发明的实施方式1的显示装置的主要部分构成的一个示例的框图。
[图2]是表示全向图像与显示对象区域的关系的图。
[图3]是表示本发明的实施方式1的显示装置所显示的图像的图。
[图4]是表示本发明的实施方式1的显示装置的存储部中所包含的重叠图像管理信息的一个示例的图。
[图5]是表示本发明的实施方式1的显示装置显示图像的处理的一个示例的流程图。
[图6]是表示本发明的实施方式2的显示装置的存储部中所包含的重叠图像管理信息的一个示例的图。
[图7]是表示本发明的实施方式2的表示重叠禁止区域的信息的一个示例的图。
[图8]是表示本发明的实施方式2的显示装置显示图像的处理的一个示例的流程图。
[图9]是表示本发明的实施方式3的显示装置所显示的图像的图。
[图10]是表示本发明的实施方式3的表示重叠禁止区域的信息的一个示例的图。
[图11]是表示本发明的实施方式3的表示检测对象的信息的一个示例的图。
[图12]是表示本发明的实施方式3的显示装置显示图像的处理的一个示例的流程图。
[图13]是表示本发明的实施方式4的显示控制系统的主要部分构成的一个示例的框图。
具体实施方式
〔实施方式1〕
基于图1至图5对本发明的一个实施方式进行说明。
〔装置构成〕
图1是表示本实施方式的显示装置1的主要部分构成的一个示例的框图。显示装置1是使内容显示的装置。在本实施方式中，对显示装置1为装戴于用户的头部而使用的头戴式显示器(HMD)的示例进行说明。需要说明的是，显示装置1不限于HMD，也可以是具备显示器的个人计算机、电视接收机、智能手机、平板终端等。显示装置1具备：控制部10、传感器18、显示部19、输入部20以及存储部21。
控制部10总体地控制显示装置1的各部，包括：全向图像绘制部(区域特别指定部)12、对象检测部(禁止对象检测部、对象检测部)13、重叠图像选择部14、重叠位置确定部(禁止区域特别指定部、位置确定部)15、合成部(重叠部)16以及视线方向特别指定部17。其中，全向图像绘制部12、对象检测部13、重叠图像选择部14、重叠位置确定部15以及合成部16构成显示控制部11。
全向图像绘制部12根据视线方向特别指定部17所特别指定的视线方向，来特别指定全向图像22中的显示对象区域。然后，全向图像绘制部12经由合成部16使全向图像22的图像区域中的、上述特别指定的显示对象区域的部分图像显示于显示部19。就是说，显示装置1所要显示的内容中包含全向图像22。全向图像22既可以是运动图像，也可以是静止图像。
对象检测部13从全向图像22中检测不使重叠对象重叠的重叠禁止对象。重叠对象要重叠地显示于全向图像22。重叠对象的详情在后文阐述。
重叠图像选择部14选择重叠对象。更详细而言，重叠图像选择部14判定是否有要显示于全向图像绘制部12所特别指定的显示对象区域的重叠对象，在判定为有要显示的重叠对象的情况下，将该重叠对象选择为要重叠地显示于全向图像22的重叠对象。
重叠位置确定部15根据部分图像的内容来确定重叠图像选择部14所选择的重叠对象的重叠位置。此外，重叠位置确定部15确定重叠对象的显示形态。
合成部16使全向图像22的显示对象区域显示于显示部19。此外，在重叠图像选择部14选择出重叠对象时，合成部16在重叠位置确定部15所确定的位置，以重叠位置确定部15所确定的形态，使该重叠对象重叠地显示于全向图像22的部分图像。
视线方向特别指定部17根据传感器18的输出值来判定显示装置1的用户的视线方向。传感器18检测显示装置1的朝向、即装戴有显示装置1的用户的面部的朝向(正面方向)。传感器18可以由使三轴陀螺仪传感器、三轴加速度传感器、三轴磁力传感器等中的至少两个组合而成的六轴传感器构成。视线方向特别指定部17将由这些传感器的输出值特别指定的用户的面部的朝向设为用户的视线方向。此外，传感器18也可以检测用户的黑眼珠的位置。在该情况下，视线方向特别指定部17根据用户的黑眼珠的位置来特别指定视线方向。此外，在传感器18中，也可以包括检测用户的面部的朝向的传感器和检测用户的黑眼珠的位置的传感器。需要说明的是，视线方向的特别指定也可以通过上述以外的构成来实现。例如，可以使用设置于显示装置1的外部的摄像机来代替传感器18。在该情况下，可以在显示装置1设置发光装置并使其明灭，通过上述摄像机拍摄该样子，根据其图像来检测显示装置1的位置、朝向。此外，例如也可以根据由显示装置1所具备的受光器接收从外部的发光装置发射的激光等的受光时间、各点受光的角度、时间差，逆推出视线方向。
显示部19是显示图像的装置(显示装置)。显示部19既可以是非透射型，也可以是透射型。在使用了透射型的显示部19的情况下，能对用户提供复合现实空间，该复合现实空间在显示装置1外(现实空间)的视野中重合有显示部19所显示的图像。此外，显示部19可以是外置于显示装置1的显示装置，也可以是普通的平板显示器等。
输入部20接受用户的输入操作，将表示所接受的输入操作的内容的信息输出至控制部10。输入部20可以是从例如未图示的控制器接收表示用户对该控制器的输入操作的内容的信号的接收部。
存储部21存储显示装置1所使用的各种数据。在存储部21中储存有全向图像(拍摄图像)22、重叠图像管理信息23以及重叠图像24。全向图像(omnidirectional image)22是从拍摄地点拍摄到全方位的图像。重叠图像管理信息23是用于重叠对象的显示控制的信息。重叠图像24是要重叠地显示于全向图像22的图像。
〔与视线方向对应的图像的显示〕
基于图2对显示与视线方向对应的图像的方法进行说明。图2是表示全向图像与显示对象区域的关系的图。在图2中，在由相互正交的x、y、z轴规定的三维坐标空间上示出了全向图像A0。全向图像A0构成中心Q、半径r的球体即全向。中心Q与拍摄到全向图像A0的拍摄地点对应。z轴方向与现实空间中的垂直方向一致，y轴方向与现实空间中的用户的正面方向一致，x轴方向与现实空间中的用户的左右方向一致。
视线方向特别指定部17根据传感器18的输出值来判定传感器18朝向哪个方向。传感器18以规定的朝向搭载于显示装置1，因此，如果用户以正确的朝向装戴显示装置1，则能将传感器18的朝向视为用户的视线方向。由此，以下将传感器18的朝向作为用户的视线方向进行说明。视线方向特别指定部17能通过作为绕垂直轴(z轴)的旋转角的方位角(yaw：偏转角)θ(-180°≤θ≤180°)与作为绕水平轴(x轴)的旋转角的仰角(pitch：俯仰角)的组合来表示视线方向。
当视线方向特别指定部17特别指定表示视线方向的方位角和仰角时，全向图像绘制部12求出从作为用户的视点位置的中心Q向上述特别指定的方位角以及仰角所表示的方向延伸的直线与全向图像A0的交点P。然后，在全向图像A0中，将以该交点P为中心的高度h、宽度w的区域特别指定为显示对象区域A1。然后，全向图像绘制部12使全向图像A0中的、作为该显示对象区域A1内的部分的部分图像显示于显示部19。由此，与用户的视线方向联动地，显示对象区域A1发生变化，由此显示于显示部19的图像也发生变化。需要说明的是，在本实施方式中，为了便于说明，全向内的视点位置设为不从Q移动，但也可以与现实空间中的用户的移动联动地，使全向内的视点位置从Q移动。
〔所显示的图像〕
基于图3对显示装置1所显示的图像进行说明。图3是对显示装置1所显示的图像进行说明的图。在图3中，将全向图像A0表示为平面状。如上所述，显示对象区域A1是全向图像A0的显示区域的一部分，其中心位置为P(参照图2)。全向图像A0上的位置能通过方位角θ(-180°≤θ≤180°)与作为绕水平轴(x轴)的旋转角的仰角的组合来表示。在图示的示例中，全向图像A0的左端的方位角为-180°，右端的方位角为180°，上端的仰角为90°，下端的仰角为-90°。
在全向图像A0中重叠显示有重叠图像B1、B2、注释D1、D2。它们是重叠显示于全向图像A0的重叠对象。需要说明的是，在不需要区分重叠图像B1和B2时，仅记载为重叠图像B。对于注释D1、D2也同样。此外，在全向图像A0中设定有重叠禁止区域C1～C3。通过实施方式2对重叠禁止区域C1～C3进行说明。
重叠图像B是拍摄了与全向图像A0的拍摄对象(在本示例中为街道)相同的拍摄对象而获得的图像，但用于拍摄的拍摄装置与拍摄到全向图像A0的拍摄装置不同。此外，重叠图像B的分辨率比全向图像A0高，因此是比全向图像A0更高清的图像。重叠图像B例如既可以是以与全向图像A0相同的角度拍摄到全向图像A0的拍摄对象的图像，也可以是以与全向图像A0不同的角度拍摄到全向图像A0的拍摄对象的图像。此外，重叠图像B可以是将全向图像A0的拍摄对象的一部分放大后的图像。然后，重叠图像B既可以是运动图像，也可以是静止图像。
通过使重叠图像B显示，能向用户提供关于全向图像A0的拍摄对象的多方面的信息。例如，通过将放大了显示对象区域A1内的特别指定的建筑物的高分辨率图像设为重叠图像B，用户能确认街道的整个图像，同时详细确认特别指定的建筑物的一部分。此外，例如，通过将以与全向图像A0不同的角度拍摄到显示对象区域A1内的特别指定的建筑物的图像设为重叠图像B，用户也能确定特别指定的建筑物的、以全向图像A0的拍摄角度无法拍摄的部分。
注释D是作为与全向图像A0或重叠图像B有关的注释而显示的信息，是重叠图像的一种。注释D的内容若为与全向图像A0或重叠图像B有关的内容，则并不特别限定。例如，与全向图像A0有关的信息可以是表示拍摄对象的状态、动作、名称、全向图像A0的应关注的部分等的信息。需要说明的是，在全向图像A0的应关注的部分不包含在显示对象区域A1内的情况下，注释D优选设为以该应关注的部分包含在显示对象区域A1内的方式引导用户的内容。例如，可以显示“请将视线向右方移动并关注三角形的建筑物”这样的消息来做为注释D。此外，也可以显示像“请将视线稍微向左方移动以使圆筒形的矮建筑物位于视野的中央”等这样将用户的视线方向引导至规定的视线方向的消息来做为注释D。此外，作为与重叠图像B有关的信息，可列举出以什么样的角度进行了拍摄、是否是放大图像、是拍摄对象的哪一部分的图像等。此外，例如，也可以显示操作显示装置1的UI(User Interface：用户界面)菜单等来做为注释D。
在图3的示例中，全向图像A0是将街道作为拍摄对象的图像，但拍摄对象是任意的。例如，可以将全向图像A0设为拍摄到进行手术的手术室内的整体的样子的图像。在该情况下，在拍摄对象中可以包括执刀医生、助手、患者、手术器具、各种设备等。通过将全向图像A0设为这样的图像，能将显示装置1用于医疗教育。
例如，通过将重叠图像B设为执刀医生、助手等全向图像A0中的人物的视角的图像，用户能通过全向图像A0来确认手术整体的进展，同时学习各人物在手术中应注意什么。需要说明的是，可以根据学习目的来切换使哪个人物的视角的图像显示。例如，可以在用于执刀医生的教育的情况下使执刀医生的视角的重叠图像B显示，在用于助手的教育的情况下使助手的视角的重叠图像B显示。此外，通过将拍摄到显示患者的重要数据的画面的图像设为重叠图像B，能使用户了解手术中的重要数据的演变与各人物对其的动作的关系。除此之外，例如，也可以将手术区的高分辨率图像设为重叠图像B，由此也能使用户了解执刀医生的细致的操作的内容。而且，也可以显示手术中所需的信息、设备的操作信息(例如人工心肺机的开/关)等来做为注释D。此外，在应关注的部分不包含在显示对象区域A1内的情况下，可以显示“将视线向右方移动并确认仪器的数值”等消息来做为注释D，以促使用户的视线的移动。
〔重叠图像管理信息的示例〕
重叠图像管理信息23例如可以是图4那样的信息。图4是表示重叠图像管理信息23的一个示例的图。图4(a)的重叠图像管理信息23是将“重叠对象”、“方位角的范围”、“仰角的范围”、“显示位置(进深)”、“透视有/无”、“透射率”、以及“重叠装饰方法”的信息建立对应的表格形式的数据。
“重叠对象”是表示重叠对象的信息，在本示例中记述有重叠对象的名称。“方位角的范围”以及“仰角的范围”是表示重叠对象的显示区域的信息。例如，重叠图像B1的方位角的范围为20°～80°，仰角的范围为20°～50°。由此，重叠图像B1显示于左端的方位角为20°、右端的方位角为80°、下端的仰角为20°、上端的仰角为50°的矩形区域。“显示位置(进深)”是表示重叠对象的进深方向的显示位置的信息。在此，将最里侧的显示位置设为r(参照图2)来表示各重叠对象的进深方向的显示位置。
“透视有/无”、“透射率”以及“重叠装饰方法”是表示重叠对象的显示形态的信息。更详细而言，“透视有/无”是表示是否进行透视(perspective)显示、即基于透视投影的显示的信息。有透视的重叠对象通过透视投影进行三维显示，无透视的重叠对象不使用透视投影进行显示。此外，“透射率”是表示重叠对象的透射率的信息。如果重叠对象的透射率大于零，则能视觉确认重叠对象所重叠的部分的全向图像。然后，“重叠装饰方法”是表示是否进行模糊重叠对象的轮廓的图像处理的信息。
另一方面，图4(b)的重叠图像管理信息23是将图4(a)的重叠图像管理信息23中所包含的“方位角的范围”以及“仰角的范围”置换为“宽度”、“高度”、“方位角”以及“仰角”的重叠图像管理信息。就是说，在图4(b)的重叠图像管理信息23中，“宽度”、“高度”、“方位角”以及“仰角”是表示重叠对象的显示区域的信息。更详细而言，“宽度”以及“高度”分别表示重叠对象的宽度以及高度。此外，“方位角”以及“仰角”表示用于特别指定重叠对象的显示区域的基准位置。该基准位置可以设为重叠对象上的任意的位置，但例如在重叠对象为矩形的情况下，可以将其左下角的位置设为基准位置。在该情况下，左下角为由“方位角”以及“仰角”表示的位置，具有由“宽度”以及“高度”表示的宽度以及高度的区域为重叠对象的显示区域。
〔处理的流程〕
基于图5对显示装置1所执行的处理的流程(显示装置的控制方法)的一个示例进行说明。图5是表示显示装置1显示图像的处理的一个示例的流程图。
在S1(区域特别指定步骤)中，视线方向特别指定部17特别指定装戴有显示装置1的用户的视线方向，全向图像绘制部12根据视线方向特别指定部17所特别指定的视线方向，来特别指定全向图像22中的显示对象区域。然后，在S2中，全向图像绘制部12经由合成部16使与上述特别指定的显示对象区域对应的、全向图像22的部分图像绘制(显示)于显示部19。
在S3中，重叠图像选择部14判定是否有要显示于全向图像绘制部12所特别指定的显示对象区域的重叠对象。具体而言，重叠图像选择部14判定重叠图像管理信息23所表示的规定区域(由方位角的范围以及仰角的范围特别指定的区域)的至少一部分是否包含于显示对象区域。如果包含则判定为有重叠对象，如果不包含则判定为无重叠对象。在此，重叠图像选择部14在判定为有重叠对象的情况下(在S3中为是)，将该重叠对象特别指定为与全向图像重叠的对象，处理进入S4。另一方面，在判定为无重叠对象的情况下(在S3中为否)，处理返回S1。
在S4(位置确定步骤)中，重叠位置确定部15从重叠图像管理信息23中获取表示重叠图像选择部14所特别指定的重叠对象的重叠位置、显示形态等的信息。例如，在使用了图2(a)的重叠图像管理信息23的情况下，重叠位置确定部15分别获取表示方位角的范围、仰角的范围、显示位置(进深)、透视的有无、透射率以及重叠装饰方法的信息。然后，重叠位置确定部15使用所获取的这些信息，将重叠对象的重叠位置确定为与部分图像的内容对应的位置。在此，由于由上述方位角的范围以及上述仰角的范围特别指定的规定区域包含于显示对象区域，因此重叠位置确定部15将重叠对象的显示位置确定为该规定区域内。而且，重叠位置确定部15根据上述显示位置(进深)的信息来确定重叠对象的进深方向的显示位置。此外，重叠位置确定部15是使用表示透视的有无、透射率以及重叠装饰方法的信息来确定重叠对象的显示形态。
在S5(重叠步骤)中，合成部16在由S2绘制出的全向图像的显示对象区域部分合成重叠对象并使其显示于显示部19。此时，合成部16将从存储部21中读出的重叠图像24，在S4中重叠位置确定部15所确定的位置，以重叠位置确定部15所确定的形态，合成于全向图像的显示对象区域部分。之后，处理返回S1。
需要说明的是，在因用户的视线方向的移动或者内容的再现的进行等而使应重叠显示的重叠对象消失时，可以结束重叠显示。此外，可以与用户的视线方向的移动或者内容的再现的进行等无关地设定要继续重叠显示的重叠对象。对于这样的重叠对象，例如在重叠图像管理信息23等中将表示要继续重叠显示的属性信息建立对应即可。此外，要继续重叠显示的条件也可以一起建立对应。由此，也能使例如作为运动图像的重叠对象在其再现时间结束之前的期间继续显示于不偏离用户的视线的位置。
〔实施方式2〕
基于图6～图8对本发明的另一实施方式进行说明。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件标注相同的符号，并省略其说明。实施方式3之后也相同。
本实施方式的显示装置1在显示对象区域的规定位置显示重叠对象。不过，在该规定位置包含于重叠禁止区域的情况下，校正重叠对象的显示位置，以使重叠对象显示于重叠禁止区域外。
〔重叠图像管理信息的示例〕
如上所述，本实施方式的显示装置1在显示对象区域的规定位置显示重叠对象，因此本实施方式的重叠图像管理信息23为表示显示对象区域内的基准位置与重叠对象的位置关系的信息。本实施方式的重叠图像管理信息23例如可以是图6那样的信息。
图6是表示显示对象区域内的基准位置与重叠对象的位置关系的重叠图像管理信息23的一个示例的图。图6的重叠图像管理信息23是对图4(a)的重叠图像管理信息23加上了“方位角的偏移”以及“仰角的偏移”的信息。此外，图4(a)的重叠图像管理信息23中的“方位角的范围”以及“仰角的范围”表示重叠对象的显示区域，但图6的重叠图像管理信息23中的“方位角的范围”以及“仰角的范围”表示重叠对象的显示条件。就是说，在本实施方式中，重叠图像选择部14选择显示对象区域的基准位置位于图6的重叠图像管理信息23中的“方位角的范围”内且位于“仰角的范围”内的重叠对象作为进行重叠显示的重叠对象。
“方位角的偏移”以及“仰角的偏移”表示重叠对象的显示位置相对于显示对象区域内的基准位置的偏移。显示对象区域内的基准位置预先设定即可，例如可以将显示对象区域的中心作为基准位置。在该情况下，例如，图6所示的重叠图像B1以从显示对象区域的中心向方位角方向移动-90°、向仰角方向移动+20°的位置为中心(可以是左上角等)被显示。这样，通过以重叠对象与基准位置为规定的位置关系的方式来确定重叠对象的显示位置，能提高重叠对象的阅览性。
〔重叠禁止区域的提取〕
本实施方式的显示装置1在重叠禁止区域不显示重叠对象，因此从显示对象区域中提取重叠禁止区域。基于图7对重叠禁止区域的提取进行说明。图7是表示重叠禁止区域的信息的示例。重叠禁止区域既可以在显示装置1显示图像时(内容再现中)设定，也可以预先设定。在此，首先基于图7(a)对在图像显示中(内容再现中)设定重叠禁止区域的示例进行说明，接着基于图7(b)对预先设定重叠禁止区域的示例进行说明。
在内容再现中设定重叠禁止区域的情况下，对象检测部13从全向图像的部分图像中检测作为不使重叠对象重叠的对象的重叠禁止对象。需要说明的是，可以将全向图像的整个图像区域设为检测对象。此外，将哪种对象设为重叠禁止对象预先设定即可。例如，通过预先设定规定的外观(形状、大小、颜色等)，对象检测部13能自动地将那样的外观的对象检测为重叠禁止对象。此外，可以使用机器学习等来检测应设为重叠禁止对象的对象。
然后，重叠位置确定部15特别指定包含所检测到的重叠禁止对象的重叠禁止区域。特别指定的重叠禁止区域可以表示为例如图7(a)所示的信息。在图7(a)的示例中，对于各“重叠禁止区域”，将其“方位角的范围”以及“仰角的范围”建立对应。“方位角的范围”以及“仰角的范围”设为重叠禁止对象包含于该“方位角的范围”以及“仰角的范围”那样的值。例如，可以将重叠禁止对象的左端的方位角和右端的方位角分别设为“方位角的范围”的下限和上限。同样地，可以将重叠禁止对象的上端的仰角和下端的仰角分别设为“仰角的范围”的下限和上限。
需要说明的是，在因用户的视线方向的移动而使重叠禁止对象处于显示对象区域外、或者因内容的再现的进行而使重叠禁止对象不包含于全向图像时，重叠位置确定部15解除重叠禁止区域的设定。
在预先设定重叠禁止区域的情况下，将表示所设定的重叠禁止区域的禁止区域信息储存于存储部21等即可。该情况下的禁止区域信息可以是例如图7(b)所示的信息。该禁止区域信息是将“再现时刻”进一步与图7(a)的信息建立对应的信息。“再现时刻”是表示设定重叠禁止区域的再现时间段的信息。重叠位置确定部15根据这样的禁止区域信息来特别指定重叠禁止区域。例如，如果内容的再现时刻包含于1分钟～5分钟的时间段，则重叠位置确定部15特别指定重叠禁止区域为重叠禁止区域C1，提取方位角为-90°～-70°、仰角为-10°～30°的区域作为重叠禁止区域。
〔处理的流程〕
基于图8对显示装置1所执行的处理的流程(显示装置的控制方法)的一个示例进行说明。图8是表示显示装置1显示图像的处理的一个示例的流程图。需要说明的是，图8的S11(区域特别指定步骤)、S12、S19(重叠步骤)是分别与图5的S1、S2、S5相同的处理，因此在此省略说明。
在S13中，重叠图像选择部14判定是否有要显示于全向图像绘制部12所特别指定的显示对象区域的重叠对象。具体而言，重叠图像选择部14特别指定显示对象区域的基准位置的方位角以及仰角，参照重叠图像管理信息23来判定是否有这些方位角以及仰角满足显示条件的重叠对象。在此，重叠图像选择部14在判定为有重叠对象的情况下(在S13中为是)，将该重叠对象特别指定为与全向图像重叠的对象，处理进入S14。另一方面，在判定为无重叠对象的情况下(在S13中为否)，处理返回S11。
在S14中，重叠位置确定部15从重叠图像管理信息23中获取表示重叠图像选择部14所特别指定的重叠对象的重叠位置、显示形态等的信息。例如，在使用了图6的重叠图像管理信息23的情况下，重叠位置确定部15分别获取表示方位角的偏移、仰角的偏移、显示位置(进深)、透视的有无、透射率以及重叠装饰方法的信息。
在S15中，重叠位置确定部15提取重叠禁止区域。重叠禁止区域的提取方法基于图7如上所述。需要说明的是，既可以在S14之前进行S15的处理，也可以并行进行S14和S15的处理。
在S16中，重叠位置确定部15使用在S14中获取到的方位角的偏移、仰角的偏移以及显示位置(进深)的信息来确定重叠对象的重叠位置。此外，重叠位置确定部15基于在S14中获取到的表示透视的有无、透射率以及重叠装饰方法的信息来确定重叠对象的显示形态。
在S17中，重叠位置确定部15判定在S16中确定的重叠位置是否与在S15中提取的重叠禁止区域重叠。在此，在判定为重叠的情况下(在S17中为是)，处理进入S18，在判定为不重叠的情况下(在S17中为否)，处理进入S19。
在S18(位置确定步骤)中，重叠位置确定部15以不与在S15中提取的重叠禁止区域重叠的方式来校正上述确定的重叠位置。这样，通过根据部分图像的内容来校正(确定)重叠对象的重叠位置，能使重叠对象显示于与部分图像的内容对应的适当的位置。校正既可以是向仰角方向的校正，也可以是向方位角方向的校正，还可以是它们的组合。例如，如果仰角的偏移为正值，则可以使重叠位置的仰角增加至变成不与在S15中提取的区域重叠的状态。另一方面，如果仰角的偏移为负值，则可以使重叠位置的仰角减少至变成不与在S15中提取的区域重叠的状态。由此，重叠对象的显示位置为重叠禁止区域外。S18之后，处理进入S19。
〔实施方式3〕
基于图9～图12对本发明的又一实施方式进行说明。在本实施方式中，对与全向图像中所包含的规定的检测对象建立关联地使重叠对象显示的示例进行说明。
〔所显示的图像〕
基于图9对本实施方式的显示装置1所显示的图像进行说明。图9是对与全向图像中所包含的规定的检测对象建立关联地使重叠对象显示的示例进行说明的图。
在图9的示例中，在全向图像内设定有E1～E3这三个检测对象。此外，还设定有包含各检测对象的矩形的区域F1～F3。在显示对象区域内包含检测对象E1～E3的情况下，本实施方式的显示装置1与该检测对象E1～E3建立关联地使重叠对象显示。例如，在图9的示例中，由于在显示对象区域A1中包含检测对象E1以及E2，因此，显示装置1与检测对象E1建立关联地显示重叠图像B1以及注释D1，与检测对象E2建立关联地显示重叠图像B2。此外，在显示对象区域A1移动而变成在该区域中包含检测对象E3的状态的情况下，显示装置1与检测对象E3建立关联地显示注释D2。
这样，本实施方式的显示装置1与检测对象建立关联地使重叠对象显示，因此能使用户容易地认识到检测对象与重叠对象的关联性。例如，通过将以与全向图像不同的角度拍摄到检测对象的图像作为重叠图像，并与该检测对象建立关联地使其显示，能使用户容易地认识到该重叠图像是以不同的角度拍摄到检测对象的重叠图像。
〔重叠图像管理信息的示例〕
在本实施方式中使用的重叠图像管理信息23例如可以是图10那样的信息。图10是表示在与检测对象建立关联地使重叠对象显示的情况下使用的重叠图像管理信息23的一个示例的图。
图10的重叠图像管理信息23是将图4(a)的重叠图像管理信息23中所包含的“方位角的范围”以及“仰角的范围”置换为“检测对象”、“方位角的偏移”以及“仰角的偏移”的重叠图像管理信息。
检测对象表示全向图像中所包含的规定的检测对象。在本示例中，举例示出图9的检测对象E1～E3。此外，方位角的偏移以及仰角的偏移表示重叠对象相对于检测对象的位置的相对显示位置。就是说，从检测对象的位置偏移了方位角的偏移以及仰角的偏移的值的位置为重叠对象的显示位置。例如，在本示例中，检测对象E2与重叠图像B2建立对应，方位角的偏移为-10°，仰角的偏移为-10°。由此，重叠图像B2的显示位置将使检测对象E2的基准位置向方位角方向移动-10°、向仰角方向移动-10°的位置确定为基准。需要说明的是，上述基准位置为检测对象E2或包含该检测对象E2的区域F2(参照图9)内的位置即可，例如可以是区域F2的中心位置。在该情况下，可以以从区域F2的中心位置向方位角方向移动-10°、向仰角方向移动-10°的位置为中心位置(可以是左上角等)的方式来使重叠图像B2显示。
〔包含检测对象的区域的提取〕
基于图11对包含检测对象的区域(参照图9的区域F1～F3)的提取进行说明。图11是对表示包含检测对象的区域的信息的示例进行表示的图。包含检测对象的区域既可以在显示装置1显示图像时(内容再现中)设定，也可以预先设定。在此，首先基于图11(a)对在内容再现中设定检测对象所占据的区域的示例进行说明，接着基于图11(b)对预先设定检测对象所占据的区域的示例进行说明。
在内容再现中设定包含检测对象的区域的情况下，对象检测部13从全向图像的部分图像中检测检测对象。需要说明的是，可以将全向图像的整个图像区域设为检测对象。此外，将哪种对象设为检测对象预先设定即可。例如，通过预先设定规定的外观(形状、大小、颜色等)，对象检测部13能自动地将那样的外观的对象检测为检测对象。此外，可以使用机器学习等来检测应设为检测对象的对象。
然后，重叠位置确定部15特别指定包含所检测到的检测对象的区域。特别指定的区域可以表示为例如图11(a)所示的信息。在图11(a)的示例中，对于各“检测对象”，将其“方位角的范围”以及“仰角的范围”、“重叠/非重叠”建立对应。“方位角的范围”以及“仰角的范围”设为检测对象包含于该“方位角的范围”以及“仰角的范围”那样的值。例如，可以将检测对象的左端的方位角和右端的方位角分别设为“方位角的范围”的下限和上限。同样地，可以将检测对象的上端的仰角和下端的仰角分别设为“仰角的范围”的下限和上限。“重叠/非重叠”是表示允许将重叠对象与检测对象重叠、或者不允许将重叠对象与检测对象重叠的信息。
需要说明的是，在因用户的视线方向的移动而使检测对象处于显示对象区域外、或者因内容的再现的进行而使检测对象不包含于全向图像时，重叠位置确定部15解除上述区域的设定。
在预先设定包含检测对象的区域的情况下，将表示所设定的区域的检测对象信息储存于存储部21等即可。检测对象信息可以是例如图11(b)所示的信息。该检测对象信息是将“再现时刻”进一步与图11(a)的信息建立对应的信息。“再现时刻”是表示设定包含检测对象的区域的再现时间段的信息。重叠位置确定部15根据这样的检测对应信息来特别指定包含检测对象的区域。例如，如果内容的再现时刻包含于1分钟～5分钟的时间段，则重叠位置确定部15特别指定检测对象为检测对象E1，提取方位角为-90°～-70°、仰角为-10°～20°的区域作为包含检测对象的区域。
〔处理的流程〕
基于图12对显示装置1所执行的处理的流程(显示装置的控制方法)的一个示例进行说明。图12是表示显示装置1显示图像的处理的一个示例的流程图。需要说明的是，图12的S31(区域特别指定步骤)、S32、S38(重叠步骤)是分别与图5的S1、S2、S5相同的处理，因此在此省略说明。
在S33中，对象检测部13在全向图像的显示对象区域中提取包含检测对象的区域。该区域的提取方法基于图11如上所述。需要说明的是，在显示对象区域中不包含检测对象的情况下，在S33中不进行区域的提取而进入S34的处理。
在S34中，重叠图像选择部14判定是否有与对象检测部13所提取的区域建立关联地显示的重叠对象。具体而言，重叠图像选择部14判定在重叠图像管理信息23中是否有与上述提取的区域(或者该区域中所包含的检测对象)建立对应的重叠对象。在此，重叠图像选择部14在判定为有重叠对象的情况下(在S34中为是)，将该重叠对象特别指定为与全向图像重叠的对象，处理进入S35。另一方面，在判定为无重叠对象的情况下(在S34中为否)，处理返回S31。
在S35中，重叠位置确定部15从重叠图像管理信息23中获取表示重叠图像选择部14所特别指定的重叠对象的重叠位置、显示形态等的信息。例如，在使用了图10的重叠图像管理信息23的情况下，重叠位置确定部15分别获取表示方位角的偏移、仰角的偏移、显示位置(进深)、透视的有无、透射率以及重叠装饰方法的信息。
在S36中，重叠位置确定部15使用上述获取到的方位角的偏移、仰角的偏移以及显示位置(进深)的信息来确定重叠对象的重叠位置。此外，重叠位置确定部15基于在S35中获取到的表示透视的有无、透射率以及重叠装饰方法的信息来确定重叠对象的显示形态。然后，重叠位置确定部15判定所确定的重叠位置是否与在S33中提取的区域重叠。在此，在判定为重叠的情况下(在S36中为是)，处理进入S37，在判定为不重叠的情况下(在S36中为否)，处理进入S38。需要说明的是，在重叠对象具有“重叠”的属性(参照图11)的情况下，省略S36的判定而进入S38的处理。
在S37(位置确定步骤)中，重叠位置确定部15以不与在S33中提取的区域重叠的方式来校正上述确定的重叠位置。这样，通过根据部分图像的内容来校正(确定)重叠对象的重叠位置，能使重叠对象显示于与部分图像的内容对应的适当的位置。该校正可以与图8的S18同样地进行。通过校正，能如图9的示例那样以不与检测对象E2重叠的方式来使重叠图像B2显示。S37之后，处理进入S38。
〔实施方式4〕
上述各实施方式的显示装置1的功能也可以通过包括服务器和显示装置的显示控制系统来实现。图13是表示构成本发明的一个实施方式的显示控制系统3的显示装置30和服务器40的主要部分构成的一个示例的框图。
显示装置30与显示装置1的不同点有：全向图像22、重叠图像管理信息23以及重叠图像24不储存于存储部21；具备通信部31。此外，与显示装置1的不同点还有：在控制部10中包括全向图像请求部32、管理信息请求部33以及重叠图像请求部34。
通信部31用于供显示装置30与其他装置进行通信。全向图像请求部32从其他装置中获取全向图像22，管理信息请求部33从其他装置中获取重叠图像管理信息23，重叠图像请求部34从其他装置中获取重叠图像24。需要说明的是，在本实施方式中，对上述“其他装置”均为服务器40的示例进行了说明，但也可以从服务器40以外的装置中获取全向图像22、重叠图像管理信息23以及重叠图像24中的至少任一种。
服务器40是将显示装置30显示图像所需的信息发送至该显示装置30的装置。服务器40具备：通信部41，用于供服务器40与其他装置(在本实施方式中为显示装置30)进行通信；控制部42，总体地控制服务器40的各部；以及存储部46，存储服务器40所使用的各种数据。
此外，在控制部42中包括：全向图像发送部43，根据来自其他装置的请求来发送全向图像22；管理信息发送部44，根据来自其他装置的请求来发送重叠图像管理信息23；以及重叠图像发送部45，根据来自其他装置的请求来发送重叠图像24。需要说明的是，在本实施方式中，上述“其他装置”均为显示装置30。
在显示控制系统3中，显示装置30的全向图像请求部32通过经由通信部31的通信，从服务器40中获取全向图像22，显示控制部11使该全向图像22显示于显示部19。此外，管理信息请求部33通过经由通信部31的通信，从服务器40中获取重叠图像管理信息23，显示控制部11使用该重叠图像管理信息23来选择要重叠显示于全向图像22的重叠对象，此外，确定其显示位置以及显示形态。然后，重叠图像请求部34通过经由通信部31的通信，从服务器40中获取重叠图像24，显示控制部11将该重叠图像24重叠显示于全向图像22。
需要说明的是，显示控制部11可以设于服务器40。在该情况下，服务器40为控制显示装置30的显示的显示控制装置。然后，服务器40的显示控制部11根据显示装置30的视线方向特别指定部17所特别指定的视线方向来特别指定显示对象区域，与该显示对象区域内的部分图像重叠地使重叠图像显示。此外，服务器40的显示控制部11根据部分图像的内容来确定重叠图像的重叠位置。
[变形例]
在上述各实施方式中，对用户通过将视线朝向所期望的方向来进行显示对象区域的指定的示例进行了说明，但显示对象区域的指定方法并不特别限定。例如，也可以通过用于进行显示对象区域的指定的控制器等来指定显示对象区域。
此外，在上述各实施方式中，对使重叠对象显示于全向图像的部分图像上的示例进行了说明，但重叠对象的重叠目标为图像区域整体中被指定的一部分即显示对象区域的部分图像即可，不限于全向图像的部分图像。例如，既可以是半球形图像(semisphericalimage)的部分图像，也可以是无法容纳于显示装置1或30的一个画面的显示尺寸的平面图像(全景照片等)。此外，例如，在以通常的比例尺进行显示的情况下，即使是容纳于显示装置1或30的一个画面的显示尺寸的图像，在对其进行放大显示时也存在无法容纳于一个画面的情况，因此可以在放大显示图像的状态下使重叠对象显示。
〔基于软件的实现例〕
显示装置1、显示装置30、以及服务器40的控制块(特别是控制部10以及控制部42中所包括的各部)既可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以使用CPU(Central Processing Unit：中央处理器)通过软件来实现。
在后者的情况下，显示装置1、显示装置30以及服务器40具备：执行实现各功能的软件即程序的命令的CPU、计算机(或者CPU)可读取地记录有上述程序以及各种数据的ROM(Read Only Memory：只读存储器)或者存储装置(将它们称为“记录介质”)、扩展上述程序的RAM(Random Access Memory：随机存取存储器)等。然后，通过由计算机(或者CPU)从上述存储介质中读取并执行上述程序，达成本发明的一个方案的目的。作为上述存储介质，可以使用“非暂时的有形介质”，例如磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。此外，上述程序可以经由能传输该程序的任意传输介质(通信网络、广播波等)提供给上述计算机。需要说明的是，本发明的一个方案以上述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。
[总结]
本发明的方案1的显示控制装置(显示装置1、显示装置30、服务器40)是如下构成，即，使拍摄到拍摄对象的拍摄图像(全向图像22)的图像区域中被指定的显示对象区域的部分图像显示于显示装置(显示部19)，上述显示控制装置具备：区域特别指定部(全向图像绘制部12)，特别指定上述显示对象区域；以及重叠部(合成部16)，使通过与拍摄到上述拍摄图像的拍摄装置不同的拍摄装置拍摄了上述拍摄对象的至少一部分而获得的重叠图像(24)重叠地显示于上述部分图像。
根据上述的构成，特别指定显示对象区域，使通过与拍摄到拍摄图像的拍摄装置不同的拍摄装置拍摄了与拍摄图像相同的拍摄对象而获得的图像即重叠图像重叠地显示于部分图像。由此，能通过部分图像向用户显示拍摄对象，并且也能通过重叠图像向用户显示拍摄对象。然后，由于拍摄到重叠图像和部分图像的拍摄装置不同，因此这些图像分别包含不同的信息。由此，关于拍摄对象，能使用户了解多方面的信息。就是说，根据上述的构成，起到如下效果：在使图像重叠显示于图像区域中被指定的显示对象区域的部分图像的技术中能改善显示内容。
本发明的方案2的显示控制装置是如下构成，即，在上述方案1中，具备：位置确定部(重叠位置确定部15)，根据上述部分图像的内容来确定重叠图像的重叠位置。
根据上述的构成，具备根据上述部分图像的内容来确定重叠图像的重叠位置的位置确定部，因此能使重叠图像显示于与部分图像的内容对应的位置。由此，能使重叠图像显示于与显示内容对应的适当的位置。
本发明的方案3的显示控制装置可以是，在上述方案2中，在上述拍摄图像的规定区域包含于上述显示对象区域的情况下，上述位置确定部将上述重叠图像的显示位置确定为该规定区域内。
根据上述的构成，在拍摄图像的规定区域包含于显示对象区域的情况下，在该规定区域显示有重叠图像。由此，在显示装置的用户指定了包含规定区域的显示对象区域时，能使重叠对象显示于该规定区域。
本发明的方案4的显示控制装置可以是，在上述方案2或3中，具备：禁止区域特别指定部(重叠位置确定部15)，在上述显示对象区域内特别指定不使上述重叠图像重叠的重叠禁止区域，上述位置确定部将上述重叠图像的显示位置设为上述禁止区域特别指定部所特别指定的上述重叠禁止区域外。
根据上述的构成，特别指定不使重叠图像重叠的重叠禁止区域，使重叠图像显示于显示对象区域中重叠禁止区域外。由此，能防止重叠禁止区域内的图像因重叠图像而看不到。此外，能通过一个画面使用户看到重叠禁止区域内的图像和重叠图像双方。
本发明的方案5的显示控制装置可以采用如下构成，即，在上述方案4中，具备：禁止对象检测部(对象检测部13)，从上述拍摄图像中检测上述拍摄对象中不使上述重叠图像重叠的重叠禁止对象，在上述禁止对象检测部在上述显示对象区域内检测到上述重叠禁止对象的情况下，上述禁止区域特别指定部特别指定包含该重叠禁止对象的上述重叠禁止区域。
根据上述的构成，在显示对象区域内检测到重叠禁止对象的情况下，特别指定包含该重叠禁止对象的重叠禁止区域。由此，能防止重叠禁止对象的图像因重叠图像而看不到。此外，能通过一个画面使用户看到重叠禁止对象的图像和重叠图像双方。
本发明的方案6的显示控制装置可以采用如下构成，即，在上述方案1中，具备：位置确定部(重叠位置确定部15)，以上述重叠图像与上述显示对象区域内的基准位置为规定的位置关系的方式来确定上述重叠图像的显示位置。
根据上述的构成，以相对于显示对象区域内的基准位置为规定的位置关系的方式显示有重叠图像。由此，无论在用户指定了什么样的显示对象区域的情况下，由于在显示画面中的规定的位置显示有重叠图像，因此都能提高重叠图像的阅览性。
本发明的方案7的显示控制装置可以采用如下构成，即，在上述方案1至5的任一方案中，具备：对象检测部(13)，从上述拍摄图像中检测上述拍摄对象中具有规定的外观的检测对象，在上述对象检测部在上述显示对象区域内检测到上述检测对象的情况下，上述重叠部与该检测对象建立关联地使与该检测对象关联的上述重叠图像显示。
根据上述的构成，在显示对象区域内检测到具有规定的外观的检测对象的情况下，与该检测对象建立关联地使与该检测对象关联的重叠图像显示。由此，在具有规定的外观的检测对象进入显示对象区域时，关于该检测对象，能使用户了解多方面的信息。
本发明的方案8的显示控制装置(显示装置1、显示装置30、服务器40)是如下构成，即，使拍摄到拍摄对象的拍摄图像的图像区域中被指定的显示对象区域的部分图像显示于显示装置(显示部19)，上述显示控制装置具备：区域特别指定部(全向图像绘制部12)，特别指定上述显示对象区域；以及重叠部(合成部16)，使拍摄到上述拍摄对象的至少一部分的图像、即分辨率比上述拍摄图像高的图像重叠地显示于上述部分图像。
根据上述的构成，特别指定显示对象区域，使拍摄到拍摄对象的至少一部分的图像、即分辨率比拍摄图像高的图像重叠地显示于部分图像。由此，能通过部分图像向用户显示拍摄对象，并且也能通过与部分图像重叠的图像向用户显示拍摄对象。然后，由于重叠的图像的分辨率比拍摄图像高，因此，根据重叠的图像，能比部分图像更高清地显示拍摄对象。由此，关于拍摄对象，能使用户了解多方面的信息。就是说，根据上述的构成，起到如下效果：在使图像重叠显示于图像区域中被指定的显示对象区域的部分图像的技术中能改善显示内容。
本发明的方案9的显示控制装置(显示装置1、显示装置30、服务器40)是如下构成，即，使拍摄到拍摄对象的拍摄图像的图像区域中被指定的显示对象区域的部分图像显示于显示装置(显示部19)，上述显示控制装置(显示装置1)具备：位置确定部(重叠位置确定部15)，根据上述部分图像的内容来确定重叠地显示于上述部分图像的重叠图像的重叠位置；以及重叠部(合成部16)，使上述重叠图像重叠地显示于上述位置确定部(重叠位置确定部15)所确定的重叠位置。
根据上述的构成，根据显示对象区域的显示内容来确定重叠图像的重叠位置。由此，能使重叠图像显示于与显示内容对应的适当的位置。就是说，根据上述的构成，起到如下效果：在使图像重叠显示于图像区域中被指定的显示对象区域的部分图像的技术中能改善显示内容。
本发明的方案10的头戴式显示器(显示装置1、显示装置30)是如下构成，即，具备：上述方案1至9中任一项所述的显示控制装置(显示控制部11)；以及显示装置(显示部19)，按照上述显示控制装置的控制来显示图像。由此，起到与上述方案1至9相同的效果。
本发明的方案11的显示控制装置(显示装置1、显示装置30、服务器40)的控制方法是如下方法，即，其中，上述显示控制装置使拍摄到拍摄对象的拍摄图像的图像区域中被指定的显示对象区域的部分图像显示于显示装置(显示部19)，上述显示控制装置的控制方法包括：区域特别指定步骤(S1、S11、S31)，特别指定上述显示对象区域；以及重叠步骤(S5、S19、S38)，使通过与拍摄到上述拍摄图像的拍摄装置不同的拍摄装置拍摄了上述拍摄对象的至少一部分而获得的重叠图像重叠地显示于上述部分图像。由此，起到与上述方案1相同的效果。
本发明的各方案的显示控制装置(显示装置1、显示装置30、服务器40)可以通过计算机来实现，在该情况下，通过使计算机作为上述显示控制装置(显示装置1)所具备的各部(软件元件)进行动作来使上述显示控制装置(显示装置1)通过计算机实现的显示控制装置(显示装置1)的显示控制程序以及对其进行记录的计算机可读取记录介质也在本发明的范围内。
本发明并不限定于上述的各实施方式，在权利要求所示的范围内可进行各种变更，将分别在不同的实施方式中公开的技术方案适当组合而获得的实施方式也包含在本发明的技术范围内。而且，通过将分别在各实施方式中公开的技术方案组合，能形成新的技术特征。
(关联申请的相互参考)
本申请基于2016年11月29日提出申请的日本专利申请：日本特愿2016-231676主张优先权的利益，并通过对其进行参考而将其全部内容包括到本说明书中。
符号说明
1 显示装置(显示控制装置)
12 全向图像绘制部(区域特别指定部)
13 对象检测部(禁止对象检测部、对象检测部)
15 重叠位置确定部(禁止区域特别指定部、位置确定部)
16 合成部(重叠部)
19 显示部(显示装置)
40 服务器(显示控制装置)

Claims (13)

1.一种显示控制装置，
使拍摄到拍摄对象的拍摄图像的图像区域中被指定的显示对象区域的部分图像显示于显示装置，
所述显示控制装置的特征在于，具备：
区域特别指定部，特别指定所述显示对象区域；以及
重叠部，使通过与拍摄到所述拍摄图像的拍摄装置不同的拍摄装置拍摄了所述拍摄对象的至少一部分而获得的重叠图像重叠地显示于所述部分图像。
2.根据权利要求1所述的显示控制装置，其特征在于，
具备：位置确定部，根据所述部分图像的内容来确定所述重叠图像的重叠位置。
3.根据权利要求2所述的显示控制装置，其特征在于，
在所述拍摄图像的规定区域包含于所述显示对象区域的情况下，所述位置确定部将所述重叠图像的显示位置确定为所述规定区域内。
4.根据权利要求2或3所述的显示控制装置，其特征在于，
具备：禁止区域特别指定部，在所述显示对象区域内特别指定不使所述重叠图像重叠的重叠禁止区域，
所述位置确定部将所述重叠图像的显示位置设为所述禁止区域特别指定部所特别指定的所述重叠禁止区域外。
5.根据权利要求4所述的显示控制装置，其特征在于，
具备：禁止对象检测部，从所述拍摄图像中检测所述拍摄对象中不使所述重叠图像重叠的重叠禁止对象，
在所述禁止对象检测部在所述显示对象区域内检测到所述重叠禁止对象的情况下，所述禁止区域特别指定部特别指定包含所述重叠禁止对象的所述重叠禁止区域。
6.根据权利要求1所述的显示控制装置，其特征在于，
具备：位置确定部，以所述重叠图像与所述显示对象区域内的基准位置为规定的位置关系的方式来确定所述重叠图像的显示位置。
7.根据权利要求1至5中任一项所述的显示控制装置，其特征在于，
具备：对象检测部，从所述拍摄图像中检测所述拍摄对象中具有规定的外观的检测对象，
在所述对象检测部在所述显示对象区域内检测到所述检测对象的情况下，所述重叠部与所述检测对象建立关联地使与所述检测对象关联的所述重叠图像显示。
8.一种显示控制装置，
使拍摄到拍摄对象的拍摄图像的图像区域中被指定的显示对象区域的部分图像显示于显示装置，
所述显示控制装置的特征在于，具备：
区域特别指定部，特别指定所述显示对象区域；以及
重叠部，使拍摄到所述拍摄对象的至少一部分的图像、即分辨率比所述拍摄图像高的图像重叠地显示于所述部分图像。
9.一种显示控制装置，
使拍摄到拍摄对象的拍摄图像的图像区域中被指定的显示对象区域的部分图像显示于显示装置，
所述显示控制装置的特征在于，具备：
位置确定部，根据所述部分图像的内容来确定重叠地显示于所述部分图像的重叠图像的重叠位置；以及
重叠部，使所述重叠图像重叠地显示于所述位置确定部所确定的重叠位置。
10.一种头戴式显示器，其特征在于，具备：
权利要求1至9中任一项所述的显示控制装置；以及
显示装置，按照所述显示控制装置的控制来显示图像。
11.一种显示控制装置的控制方法，其中，
所述显示控制装置使拍摄到拍摄对象的拍摄图像的图像区域中被指定的显示对象区域的部分图像显示于显示装置，
所述显示控制装置的控制方法的特征在于，包括：
区域特别指定步骤，特别指定所述显示对象区域；以及
重叠步骤，使通过与拍摄到所述拍摄图像的拍摄装置不同的拍摄装置拍摄了所述拍摄对象的至少一部分而获得的重叠图像重叠地显示于所述部分图像。
12.一种控制程序，
其用于使计算机作为权利要求1或8所述的显示控制装置发挥功能，用于使计算机作为所述区域特别指定部以及所述重叠部发挥功能。
13.一种控制程序，其用于
使计算机作为权利要求9所述的显示控制装置发挥功能，用于使计算机作为所述位置确定部以及所述重叠部发挥功能。
CN201780072757.3A 2016-11-29 2017-11-28 显示控制装置、头戴式显示器、显示控制装置的控制方法以及控制程序 Pending CN109983532A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-231676 2016-11-29
JP2016231676 2016-11-29
PCT/JP2017/042491 WO2018101227A1 (ja) 2016-11-29 2017-11-28 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム

Publications (1)

Publication Number Publication Date
CN109983532A true CN109983532A (zh) 2019-07-05

Family

ID=62242112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780072757.3A Pending CN109983532A (zh) 2016-11-29 2017-11-28 显示控制装置、头戴式显示器、显示控制装置的控制方法以及控制程序

Country Status (4)

Country Link
US (1) US20190335115A1 (zh)
JP (1) JPWO2018101227A1 (zh)
CN (1) CN109983532A (zh)
WO (1) WO2018101227A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6976719B2 (ja) * 2017-05-25 2021-12-08 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
KR102565977B1 (ko) * 2018-02-08 2023-08-11 삼성전자주식회사 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
US10873709B2 (en) * 2018-07-10 2020-12-22 Fuji Xerox Co., Ltd. Systems and methods for automatic detection and insetting of digital streams into a 360-degree video
JP2020042064A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体
JP7287798B2 (ja) * 2019-03-11 2023-06-06 池上通信機株式会社 リモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラム
WO2021131325A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム
KR20210153826A (ko) * 2020-06-11 2021-12-20 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2022025296A1 (ja) * 2020-07-31 2022-02-03 株式会社Ｊｖｃケンウッド 表示装置、表示方法及びプログラム
CN113703704B (zh) * 2021-08-26 2024-01-02 杭州灵伴科技有限公司 界面显示方法、头戴式显示设备和计算机可读介质
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US11792499B2 (en) * 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
CN101165538A (zh) * 2006-10-16 2008-04-23 索尼株式会社 成像显示设备和方法
US20080218149A1 (en) * 2006-10-16 2008-09-11 Yoshinori Aoki Display device
JP4185790B2 (ja) * 2003-03-12 2008-11-26 シャープ株式会社 テレビジョン放送受信機
CN102165787A (zh) * 2008-09-29 2011-08-24 夏普株式会社 动态图像再现装置和动态图像再现方法
CN102846377A (zh) * 2011-06-28 2013-01-02 株式会社东芝 医用图像处理装置
US20130194305A1 (en) * 2010-08-30 2013-08-01 Asukalab Inc. Mixed reality display system, image providing server, display device and display program
CN103995352A (zh) * 2013-02-14 2014-08-20 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104049926A (zh) * 2013-03-15 2014-09-17 索尼公司 图像显示装置和图像显示方法
US20160049013A1 (en) * 2014-08-18 2016-02-18 Martin Tosas Bautista Systems and Methods for Managing Augmented Reality Overlay Pollution
CN105980962A (zh) * 2014-02-17 2016-09-28 索尼公司 信息处理设备、信息处理方法和程序
CN105992986A (zh) * 2014-01-23 2016-10-05 索尼公司 图像显示装置和图像显示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242606A (ja) * 2004-02-26 2005-09-08 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
JP6299067B2 (ja) * 2013-02-14 2018-03-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6126271B1 (ja) * 2016-05-17 2017-05-10 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体
US10539797B2 (en) * 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4185790B2 (ja) * 2003-03-12 2008-11-26 シャープ株式会社 テレビジョン放送受信機
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
CN101165538A (zh) * 2006-10-16 2008-04-23 索尼株式会社 成像显示设备和方法
US20080218149A1 (en) * 2006-10-16 2008-09-11 Yoshinori Aoki Display device
CN102165787A (zh) * 2008-09-29 2011-08-24 夏普株式会社 动态图像再现装置和动态图像再现方法
US20130194305A1 (en) * 2010-08-30 2013-08-01 Asukalab Inc. Mixed reality display system, image providing server, display device and display program
CN102846377A (zh) * 2011-06-28 2013-01-02 株式会社东芝 医用图像处理装置
CN103995352A (zh) * 2013-02-14 2014-08-20 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104049926A (zh) * 2013-03-15 2014-09-17 索尼公司 图像显示装置和图像显示方法
CN105992986A (zh) * 2014-01-23 2016-10-05 索尼公司 图像显示装置和图像显示方法
CN105980962A (zh) * 2014-02-17 2016-09-28 索尼公司 信息处理设备、信息处理方法和程序
US20160049013A1 (en) * 2014-08-18 2016-02-18 Martin Tosas Bautista Systems and Methods for Managing Augmented Reality Overlay Pollution

Also Published As

Publication number Publication date
WO2018101227A1 (ja) 2018-06-07
US20190335115A1 (en) 2019-10-31
JPWO2018101227A1 (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
CN109983532A (zh) 显示控制装置、头戴式显示器、显示控制装置的控制方法以及控制程序
CN106534665B (zh) 图像显示装置、图像显示方法以及存储介质
US9595127B2 (en) Three-dimensional collaboration
US8330793B2 (en) Video conference
CN103582893B (zh) 用于增强现实表示的二维图像获取
US10958890B2 (en) Method and apparatus for rendering timed text and graphics in virtual reality video
CN102483859B (zh) 全景图像显示装置和全景图像显示方法
CN103189827B (zh) 对象显示装置以及对象显示方法
JP5778967B2 (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
CN104870941B (zh) 分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显示
US20120162384A1 (en) Three-Dimensional Collaboration
TWI669635B (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
CN103370732A (zh) 对象显示装置、对象显示方法和对象显示程序
CN107852487A (zh) 用于生成360度三维图像的电子设备及用于该电子设备的方法
CN105247881A (zh) 信息处理设备、显示控制方法以及程序
CN103348387B (zh) 对象显示装置和对象显示方法
US10440307B2 (en) Image processing device, image processing method and medium
US20120075496A1 (en) Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method
WO2012153853A1 (ja) ２眼撮像装置、その制御方法、および、制御プログラムおよびコンピュータ読み取り可能な記録媒体
CN105027553A (zh) 图像处理装置、图像处理方法以及存储图像处理程序的存储介质
JP2012221260A (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
KR20170074742A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
CN107908278A (zh) 一种虚拟现实vr界面生成的方法和装置
EP4141844A1 (en) Surgical skill training system and machine learning-based surgical guide system using three-dimensional imaging
JP2012252440A (ja) 画像表示プログラム、画像表示装置、画像表示方法、画像表示システム、マーカ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705