CN110058759B - 显示装置及图像显示方法 - Google Patents

显示装置及图像显示方法 Download PDF

Info

Publication number
CN110058759B
CN110058759B CN201811501881.XA CN201811501881A CN110058759B CN 110058759 B CN110058759 B CN 110058759B CN 201811501881 A CN201811501881 A CN 201811501881A CN 110058759 B CN110058759 B CN 110058759B
Authority
CN
China
Prior art keywords
region
display
image
augmented reality
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811501881.XA
Other languages
English (en)
Other versions
CN110058759A (zh
Inventor
万田悦子
平沼洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Publication of CN110058759A publication Critical patent/CN110058759A/zh
Application granted granted Critical
Publication of CN110058759B publication Critical patent/CN110058759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Abstract

本发明提供显示装置及图像显示方法。显示装置具备控制部、显示器及显示控制部。控制部基于外部的终端显示装置的屏幕上所显示的图像和屏幕的屏幕区域尺寸，生成与图像对应的增强现实图像。显示器对增强现实图像进行显示，以使用户能够看见。显示控制部对显示器的显示进行控制。在图像的整体区域的尺寸超出屏幕区域尺寸的情况下，控制部生成包含超出区域在内的增强现实图像。超出区域是指整体区域中超出屏幕区域尺寸的部分。显示控制部对显示器进行控制，在屏幕区域的外侧显示超出区域。

Description

显示装置及图像显示方法
技术领域
本发明涉及显示装置及图像显示方法。
背景技术
已知一种图像显示系统，通过移动设备的屏幕查看图像时，显示虚拟图像。这样的图像显示系统例如根据用户的眼睛与移动设备的屏幕之间的距离，在屏幕背后的视距位置显示虚拟图像。该图像显示系统中，使移动设备接近眼睛时，将在更大的范围内显示虚拟图像。
发明内容
然而，该图像形成装置在对所显示的虚拟图像的范围进行变更时，因该控制操作要依赖于移动设备的移动操作而较为繁杂。因此，通过增强现实技术来对移动设备的屏幕上的图像进行显示时的用户体验不好。
本发明鉴于上述技术问题，目的在于提供显示装置及图像显示方法，能够提高通过增强现实技术来对终端显示装置的屏幕上的图像进行显示时的用户体验。
本发明涉及的显示装置具备控制部、显示器及显示控制部。所述控制部基于外部的终端显示装置的屏幕上所显示的图像和所述屏幕的屏幕区域尺寸，生成与所述图像对应的增强现实图像。所述显示器通过增强现实技术来显示所述增强现实图像，以使用户能够看到所述增强现实图像。所述显示控制部对所述显示器的显示进行控制。在所述图像的整体区域的尺寸超过所述屏幕区域尺寸的情况下，所述控制部生成包含超出区域在内的所述增强现实图像。所述超出区域是指所述整体区域中超出所述屏幕区域尺寸的部分。所述显示控制部对所述显示器进行控制，以在所述屏幕区域的外侧显示所述超出区域。
本发明涉及的图像显示方法中，处理器执行增强现实图像的生成、所述增强现实图像的显示以及所述增强显示图像的显示控制。所述增强现实图像的生成中，基于外部的终端显示装置的屏幕上所显示的图像和所述屏幕的屏幕区域尺寸，生成与所述图像对应的所述增强现实图像。所述增强现实图像的显示中，通过增强现实技术来显示所述增强现实图像，以使用户能够看到所述增强现实图像。所述增强现实图像的生成中，在所述图像的整体区域的尺寸超过所述屏幕区域尺寸的情况下，所述处理器生成包含超出区域在内的所述增强现实图像。所述超出区域是指所述整体区域中超出所述屏幕区域尺寸的部分。所述增强现实图像的显示控制中，所述处理器对所述增强现实图像的显示进行控制，以在所述屏幕区域的外侧显示所述超出区域。
本发明能够提高通过增强现实技术来对终端显示装置的屏幕上的图像进行显示时的用户体验。
附图说明
图1(a)表示本发明实施方式涉及的显示系统；图1(b)表示本发明实施方式涉及的显示装置中所显示的图像。
图2表示本发明实施方式涉及的显示装置中所显示的图像。
图3表示本发明实施方式涉及的显示装置。
图4是本发明实施方式涉及的显示装置的结构图。
图5是本发明实施方式涉及的终端显示装置的结构图。
图6(a)～图6(c)表示本发明实施方式涉及的显示装置中所显示的图像。
图7(a)及图7(b)表示本发明实施方式涉及的显示装置中所显示的图像。
图8(a)及图8(b)表示本发明实施方式涉及的显示装置中所显示的图像。
图9表示本发明实施方式涉及的显示装置中所显示的图像。
图10(a)及图10(b)表示本发明实施方式涉及的显示装置中所显示的图像。
图11是本发明实施方式涉及的显示装置所执行的显示处理的流程图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。另外，在图中，对相同或者相应的部分标上相同的附图标记而不再重复说明。
参照图1(a)、图1(b)及图2，说明本实施方式所涉及的显示系统10的整体结构。图1(a)表示显示系统10。图1(b)及图2表示显示装置20中所显示的图像。
如图1(a)及图1(b)所示，显示系统10具备显示装置20及终端显示装置40。显示装置20例如是光学透视式(Optical See-Through)的头戴显示装置或者智能手机。此外，本说明书中，对显示装置20是头戴显示装置的实施方式进行说明。终端显示装置40例如是智能手机或平板终端装置。并且，终端显示装置40可以是图像形成装置(例如，多功能一体机)所具备的显示装置(例如，含操作屏幕的触摸面板装置)。此外，本说明书中，对终端显示装置40是智能手机的实施方式进行说明。终端显示装置40相当于“外部的终端显示装置”。显示装置20与终端显示装置40之间能够进行无线通信。显示系统10中，显示装置20通过增强现实(AR：Augmented Reality)技术来显示终端显示装置40的屏幕41A中的图像G，以使用户能够看到图像G。图像G的整体区域G1中的至少一部分区域显示在图1(a)所示的终端显示装置40的物理屏幕41A的范围内。整体区域G1由若干个子区域构成。若干个子区域可能包含由于物理屏幕41A的屏幕尺寸限制而不能一目了然地看到的子区域。屏幕41A例如为矩形。
显示装置20具备控制部、显示控制部及显示器21。控制部基于图像G及屏幕41A的屏幕区域R1的尺寸，生成与图像G对应的增强现实图像AG。增强现实图像AG包含表示图像G的整体区域G1的图像。增强现实图像AG还可以包含终端图像40G，终端图像40G用来表示终端显示装置40。在图像G的整体区域G1的尺寸超过屏幕区域R1的尺寸的情况下，控制部生成包含超出区域G3的增强现实图像AG。超出区域G3是指整体区域G1中超出屏幕区域R1的尺寸的子区域。并且，下述有时将整体区域G1中屏幕区域R1尺寸内的子区域记载为“非超出区域G2”。
例如，图1(b)表示图像G是下拉菜单图像的实施方式。该实施方式中，显示器21例如能够相对于屏幕区域R1在第一方向D1的下游侧显示超出区域G3。第一方向D1是指穿戴了显示装置20的用户的视野中沿屏幕41A的长边从屏幕41A的上端向下端的方向。
并且，图2例如表示图像G是料理名称与料理照片的组合图像的实施方式。该实施方式中，显示器21例如能够相对于屏幕区域R1在第二方向D2的下游侧显示超出区域G3。第二方向D2是指穿戴了显示装置20的用户的视野中沿屏幕41A的短边从屏幕41A的左端向右端的方向。以下，本说明书中记载的“上下左右”表示用户视野中的上下左右。
如图1(b)和图2所示，显示控制部对显示器21的显示进行控制。在控制部生成了包含超出区域G3在内的增强现实图像AG时，显示控制部对显示器21进行控制，以在屏幕区域R1的外侧显示超出区域G3。显示器21显示增强现实图像AG。由此，显示控制部根据超出区域G3，对显示增强现实图像AG的区域进行扩展。穿戴了显示装置20的用户看到显示器21所显示的增强现实图像AG。因此，即使在终端显示装置40的物理屏幕41A的范围内不能一目了然地看到包含超出区域G3在内的整体区域G1的情况下，用户也能够通过显示器21看到整体区域G1，而无需特殊的操作。从而，能够提高通过增强现实技术来对终端显示装置40的屏幕41A所显示的图像G进行显示时的用户体验。
继续参照图1及图2，并参照图3及图4，对显示装置20的结构进行详细说明。图3表示显示装置20。具体地，图3示出从用户的脸部侧(眼球侧)看到的显示装置20。换言之，图3表示显示装置20的内侧。
如图3所示，本实施方式中的显示装置20是双目式。因此，显示装置20具备2个显示器21(显示部)，分别配置于用户的左右眼(眼球)前方。2个显示器21显示相同的图像。显示器21例如由液晶显示部或有机电致发光(有机EL)显示部之类的显示元件构成。显示器21具有表示用户视野的视野区域。视野区域预先设定于显示器21中。另外，将在后面参照图8(a)～图10(b)对视野区域进行详细说明。
图4是显示装置20的结构图。如图4所示，显示装置20在具备显示器21、显示控制部22及控制部26的基础上，还具备无线通信接口(I/F)23、位置检测部24、朝向检测部25及存储部27。
无线通信接口23用于与终端显示装置40进行无线通信。无线通信方式没有特别限制，例如可以采用Bluetooth(日本注册商标)之类的近距离无线通信方式。无线通信接口23以无线通信的方式与终端显示装置40连接后，向终端显示装置40发送信息请求信号。信息请求信号包含请求终端信息和图像信息的信号。图像信息是图像G的信息。终端信息是终端显示装置40的属性信息(例如，机器的类别、屏幕41A的尺寸)。无线通信接口23从终端显示装置40接收终端信息和图像信息。此外，无线通信接口23接收由终端显示装置40发送的接触位置信息。接触位置信息是指屏幕41A上检测出的接触位置的信息。后面将参照图5～图7(b)，对接触位置进行详细说明。
显示控制部22由控制部26进行控制，显示控制部22使显示器21显示规定的图像。具体地，显示控制部22例如是驱动显示器21的驱动电路。显示控制部22基于由终端显示装置40发送的图像信息和终端信息，对显示器21进行控制，使显示器21在视野区域显示增强现实图像AG。具体地，显示控制部22对显示器21进行控制，使显示器21将图像G的整体区域G1与终端图像40G叠加显示。例如，如图1(b)和图2所示，显示控制部22以配合屏幕41A的形状来布置非超出区域G2的方式，使显示器21将整体区域G1叠加在终端图像40G的前面进行显示。
位置检测部24检测出显示装置20的当前位置。换言之，位置检测部24检测出穿戴了显示装置20的用户的当前位置。位置检测部24例如具有GPS功能。
朝向检测部25检测出显示装置20的朝向。换言之，朝向检测部25检测出穿戴了显示装置20的用户的脸的朝向。朝向检测部25例如包含电子罗盘。
控制部26通过执行存储部27中储存的程序，进行数值计算、信息处理或机器控制之类的各种处理。控制部26可以含有CPU(Central Processing Unit)或MPU(MicroProcessing Unit)之类的处理器。
存储部27储存程序和各种数据。此外，存储部27储存由终端显示装置40发送的图像信息或终端显示装置40的坐标(位置)等信息。存储部27例如可以由HDD(Hard DiskDrive)中的磁盘、RAM(Random Access Memory)及ROM(Read Only Memory)构成。
控制部26基于图像G及屏幕区域R1的尺寸，生成与图像G对应的增强现实图像AG。具体地，当无线通信接口23与终端显示装置40以无线通信方式进行连接后，控制部26对无线通信接口23进行控制，将信息请求信号发送至终端显示装置40。控制部26基于从终端显示装置40接收的图像信息和终端信息，判断图像G的整体区域G1的尺寸是否超出屏幕区域R1的尺寸。图像G的整体区域G1的尺寸超出屏幕区域R1的尺寸的情况下，控制部26生成包含超出区域G3在内的增强现实图像AG。图像G的整体区域G1的尺寸没有超出屏幕区域R1的尺寸的情况下，控制部26生成包含非超出区域G2在内的增强现实图像AG。控制部26对显示控制部22进行控制，使显示器21显示增强现实图像AG。
如上述参照图1(a)～图4所说明的，根据本实施方式，增强现实图像AG可以含有整体区域G1和终端图像40G。显示控制部22将整体区域G1与终端图像40G叠加并作为增强现实图像AG来进行显示。因此，用户不用将显示器21的朝向与终端显示装置40的屏幕41A的位置匹配，就能够通过增强现实技术体验到仿佛在物理屏幕41A上观看整体区域G1。从而，能够降低观看屏幕41A中的图像G时的复杂度。
接着，参照图5～图7，对终端显示装置40的结构及接触位置进行详细说明。图5是终端显示装置40的结构图。图6(a)～图6(c)、图7(a)及图7(b)表示显示装置20中显示的图像(显示器21所显示的图像)。如图5所示，终端显示装置40具备：触摸面板41、终端位置检测部42、运动检测传感器43、终端无线通信接口(I/F)44、终端控制部45及终端存储部46。
触摸面板41包含屏幕41A及触摸传感器41B。用户操作触摸面板41时，终端显示装置40执行与该操作对应的处理。
屏幕41A例如是液晶显示器。并且，屏幕41A也可以是有机EL显示器(OrganicElectroLuminescence display)。屏幕41A具有显示面。屏幕41A显示用于操作终端显示装置40的操作图标等。此外，屏幕41A显示图像G。图像G例如是表示网站的图像，或者是表示文件及/或照片的图像。
触摸传感器41B具有触摸面。触摸面配置在显示面之上。触摸传感器41B检测出接触了触摸面时，生成接触位置信号，该接触位置信号表示所接触的位置。接触位置信号被输出到终端控制部45。触摸传感器41B例如是电阻膜式触摸传感器。此外，触摸传感器41B可以是静电容量式。
终端位置检测部42例如是GPS接收机。终端位置检测部42接收来自GPS卫星的电波，获取表示终端显示装置40的当前位置的信息。终端位置检测部42定期向终端控制部45输出表示所获取的位置(坐标)的终端位置信息。终端位置信息是指终端显示装置40所处的经度及纬度。
运动检测传感器43检测终端显示装置40的运动，向终端控制部45发送表示终端显示装置40的运动的信息(运动信息)。运动检测传感器43包含加速度传感器及陀螺仪。
终端无线通信接口44用于与显示装置20进行无线通信。也就是说，终端无线通信接口44的无线通信方式与显示装置20的无线通信接口23的无线通信方式相同。
终端存储部46储存程序、终端信息及图像信息。例如，终端存储部46储存表示各种图像G的信息。终端存储部46例如可以由HDD中的磁盘、RAM及ROM构成。
终端控制部45通过执行终端存储部46中储存的程序，进行数值计算、信息处理或机器控制之类的各种处理。终端控制部45例如可以含有CPU或MPU之类的处理器。
当终端无线通信接口44从显示装置20接收到信息请求信号时，终端控制部45将终端存储部46中储存的终端信息及/或图像信息经由终端无线通信接口44发送至显示装置20。此外，终端控制部45也可以经由终端无线通信接口44，定期向显示装置20发送图像信息。此外，终端控制部45可以将终端位置检测部42输出的终端位置信息经由终端无线通信接口44发送至显示装置20。此外，终端控制部45根据由触摸传感器41B输出的接触位置信号，将表示接触位置的接触位置信息经由终端无线通信接口44发送至显示装置20。
显示装置20的显示控制部22基于在屏幕41A上检测出的接触位置，对显示器21进行控制来改变增强现实图像AG的显示。例如，显示装置20根据由终端显示装置40发送来的接触位置信息进行显示，使整体区域G1滚动，或者改变整体区域G1的缩放比例。
例如，如图6(a)～6(c)所示，显示装置20将整体区域G1放大显示。具体地，显示装置20例如根据表示2个接触位置的接触位置信息，如图6(a)所示那样对2个接触位置图像CG进行显示。显示装置20显示接触位置图像CG的同时，也可以显示表示手指的手指图像FG。触摸传感器41B检测出与2个接触位置图像CG对应的接触位置在操作方向H1和操作方向H2上移动(捏放操作)时，向终端控制部45输出对应的接触位置信号。终端控制部45将表示捏放操作的接触位置信息经由终端无线通信接口44发送至显示装置20。
显示控制部22对显示器21进行控制，使显示器21基于接触位置信息显示改变了图像G的缩放比例后的缩放后图像SG。例如，显示控制部22根据接收到的接触位置信息，如图6(b)所示，在操作方向H1和操作方向H2上放大整体区域G1，并显示包含超出区域G3在内的增强现实图像AG。用户需要输入对超出区域G3预先规定的指示(例如，点击)的情况下，例如只要向触摸传感器41B输入指示(例如，快速滑动(flick)或滚屏(scroll))来使手指图像FG移动至超出区域G3的位置即可。
并且，如图6(c)所示，显示控制部22也可以根据缩放后图像SG的尺寸对显示器21进行控制，使显示器21显示缩放后框图像41SG。缩放后框图像41SG是改变了框图像41G的缩放比例后的图像。终端图像40G可以含有框图像41G。框图像41G表示屏幕41A的框。
此外，例如，如图7(a)及7(b)所示，显示装置20根据由终端显示装置40发送的接触位置信息，将整体区域G1缩小显示。触摸传感器41B检测出与2个接触位置图像CG对应的接触位置在操作方向H3和操作方向H4上移动(捏合操作)时，向终端控制部45输出对应的接触位置信号。终端控制部45将表示捏合操作的接触位置信息经由终端无线通信接口44发送至显示装置20。显示控制部22根据接收到的接触位置信息，在操作方向H3和操作方向H4上将整体区域G1缩小显示。
如上述参照图5～图7(b)所说明的，根据本实施方式，显示控制部22基于在屏幕41A上检测出的接触位置，对显示器21进行控制来改变增强现实图像AG的显示。由此，用户通过操作触摸传感器41B，就能够操作图像G的整体区域G1。因此，非超出区域G2和超出区域G3中的图像都能够通过简单的结构来改变。
并且，根据本实施方式，优选为显示控制部22根据缩放后图像SG的尺寸来控制显示器21对缩放后框图像41SG的显示。用户通过在视觉上对比缩放后框图像41SG和缩放后图像SG，就能够直观地知道缩放后图像SG的实际缩放程度。
接着，参照图8(a)～图10(b)，对视野区域V进行详细说明。图8(a)～图10(a)表示显示装置20中显示的图像。显示控制部22控制显示器21在视野区域V中对增强现实图像AG进行显示。具体地，如图8(a)所示，视野区域V表示用户能够看到的区域。视野区域V根据显示器21的屏幕尺寸预先设定于显示器21。图像G包含第一区域G1A和第二区域G1B。第二区域G1B是图像G中与第一区域G1A相连(相邻)的区域。第一区域G1A和第二区域G1B构成整体区域G1。
第二区域G1B超出视野区域V的情况下，显示控制部22对第二区域G1B的位置进行变更，将第二区域G1B放置在视野区域V内。具体地，显示控制部22根据屏幕区域R1的端部与视野区域V的端部之间的间隔W，决定第一区域G1A与第二区域G1B之间的界限。也就是说，显示控制部22将第一区域G1A的范围决定为不超过阈值，即，间隔W。例如，如图8(b)所示，显示控制部22使第二区域G1B与第一区域G1A分离，并将第二区域G1B放置在视野区域V中的第一区域G1A的附近。为了使第二区域G1B最小化，显示控制部22可以将终端图像40G配置为靠近视野区域V的任何一个端部。由此，在第二区域G1B超出视野区域V的情况下，显示控制部22对显示器21进行控制，使显示器21不以图像G的原始布局状态显示第二区域G1B，而改变第二区域G1B的位置并将其显示于视野区域V中。因此，显示器21能够使用户在视野区域V一目了然地看到增强现实图像AG。从而，能够进一步提高终端显示装置40的屏幕41A所显示的图像G的可见性。
并且，如图9所示，在第二区域G1B超出视野区域V的情况下，显示控制部22优选为对第二区域G1B的位置进行变更，使复制区域G1B1与第二区域G1B都放置在视野区域V内。具体地，第一区域G1A具有端部区域G1A1，端部区域G1A1与第二区域G1B相邻。复制区域G1B1中所显示的图像与端部区域G1A1的图像相同。用户看到复制区域G1B1时，就能够容易地找到位于视野区域V的边缘附近的端部区域G1A1。因此，能够防止在查看终端显示装置40的屏幕41A上所显示的图像G时遗漏图像G的细节部分。
并且，如图10(a)及图10(b)所示，显示缩放后图像SG之后，在屏幕41A上检测出预先规定的接触位置时，优选为：显示控制部22对显示器21进行控制，使显示器21基于预先规定的接触位置将参考图像TG叠加在缩放后图像SG上进行显示。具体地，参考图像TG表示缩放前的图像G。缩放后图像SG可以是图像G的缩小图像，或者如图10(a)所示，也可以是图像G的放大图像。
显示了缩放后图像SG以后，通过触摸传感器41B检测预先规定的接触位置。预先规定的接触位置例如是参照图7(a)所说明的进行捏合操作的2个接触位置。显示装置20从终端显示装置40接收表示预先规定的接触位置的接触位置信息。
如图10(b)所示，显示对应于接触位置信息的2个接触位置图像CG时，显示控制部22对显示器21进行控制，将参考图像TG叠加在缩放后图像SG上进行显示。显示器21可以显示终端图像40G，并在屏幕区域R1内显示参考图像TG。由此，例如用户在将图像G过度放大并超出视野区域V后，希望将缩放后图像SG缩小时，可以在视觉上参照放大前的图像G的尺寸。因此，对缩放后图像SG的缩放比例再次进行变更时，能够直观地预测要变更的缩放程度。
接着，参照图1(a)～图11，说明显示系统10的动作。图11是显示装置20所执行的一例显示处理的流程图。显示装置20通过执行步骤S101～步骤S121，来执行增强现实图像AG的显示处理。具体如下。
步骤S101中，显示装置20以无线通信方式与终端显示装置40连接。显示装置20向终端显示装置40发送信息请求信号。处理进入步骤S103。
接下来，步骤S103中，显示装置20从终端显示装置40接收终端信息和图像信息。处理进入步骤S105。
接下来，步骤S105中，控制部26判断图像G的整体区域G1是否超出屏幕41A的屏幕区域R1。整体区域G1超出屏幕区域R1的情况(步骤S105中的Yes)下，处理进入步骤S107。而在整体区域G1没有超出屏幕区域R1的情况(步骤S105中的No)下，处理进入步骤S115。
步骤S105中的No的情况下，步骤S115中，控制部26生成包含非超出区域G2在内的增强现实图像AG。处理进入步骤S117。
接下来，步骤S117中，显示控制部22对显示器21进行控制，使显示器21对增强现实图像AG进行显示。处理进入步骤S119。
步骤S105中的Yes的情况下，步骤S107中，控制部26生成包含超出区域G3在内的增强现实图像AG。处理进入步骤S109。
接下来，步骤S109中，显示控制部22对显示器21进行控制，使显示器21对增强现实图像AG进行显示。处理进入步骤S111。
接下来，步骤S111中，控制部26判断第二区域G1B是否超出视野区域V。第二区域G1B超出视野区域V的情况(步骤S111中的Yes)下，处理进入步骤S113。而在第二区域G1B没有超出视野区域V的情况(步骤S111中的No)下，处理进入步骤S119。
步骤S111中的Yes的情况下，步骤S113中，显示控制部22对第二区域G1B的位置进行变更，将第二区域G1B放置在视野区域V内。处理进入步骤S119。
接下来，步骤S119中，控制部26判断是否从终端显示装置40接收到接触位置信息。接收到接触位置信息的情况(步骤S119中的Yes)下，处理进入步骤S121。没有接收到接触位置信息的情况(步骤S119中的No)下，处理结束。
步骤S119中的Yes的情况下，步骤S121中，显示控制部22根据接触位置信息对显示器21进行控制，改变增强现实图像AG的显示。然后，处理结束。
上述参照附图(图1(a)～图11)对本发明的实施方式进行了说明。不过，本发明不限于上述的实施方式，可以在不脱离其要旨的范围内以各种方式进行实施。此外，通过适当组合上述各个实施方式中的若干个构成要素，能够构成各种发明。例如，也可以从实施方式所示的全部结构要素中删除几个结构要素。并且，也可以适当地组合不同实施方式中的构成要素。为了便于理解，附图中主要对各结构要素进行了示意性地表示，为了方便作图，图示的各个构成要素的厚度、长度、个数、间隔等与实际有出入。此外，上述实施方式中所示的各个构成要素的形状、方向等仅为一例，不是特别限定，在实质上不脱离本发明结构的范围内可以进行各种变更。
(1)参照图1(a)和图3所说明的显示装置20是双目式头戴显示装置，但本发明不限于此。显示装置20也可以是能够执行增强现实显示处理的便携式终端装置(例如，智能手机)，增强现实显示处理是指对增强现实图像AG进行显示。显示装置20是便携式终端装置的实施方式中，用户可以通过Google Cardboard(日本注册商标)之类的辅助穿戴工具将作为显示装置20的便携式终端装置戴在头上，也可以直接用手将便携式终端装置放在眼前。
(2)参照图8(a)～图10(b)所说明的视野区域V根据显示器21的屏幕尺寸而预先设定于显示器21，但本发明不限于此。视野区域V可以基于用户的视线方向来设定。这样的实施方式中，显示装置20还具备眼球图像获取部和视线方向检测部。眼球图像获取部例如具有近红外线LED(Light Emitting Diode)及红外线相机。眼球图像获取部配置为能够获得用户的左右眼(眼球)的图像(眼球图像)。视线方向检测部基于所获取的眼球图像，例如通过角膜反射法检测用户的视线方向。显示控制部22基于所检测的视线方向，决定用户的视野区域V的范围的阈值，并对显示器21设定视野区域V。因此，可以根据不同用户的视线方向的差异，来调整视野区域V的范围。由此，能够提高显示装置20的通用性。
(3)参照图1(a)～图11所说明的显示装置20是光学透视式的头戴显示装置，但本发明不限于此。显示装置20例如可以是视频透视式(Video See-Through)的头戴显示装置。视频透视式的显示装置20在具备上述的眼球图像获取部和视线方向检测部的基础上，还可以具备环境图像获取部和对象特定部。环境图像获取部获取用户的周边环境的图像(周边环境图像)。控制部26通过对周边环境图像进行图像解析，通过匹配处理来判断周边环境图像中是否含有终端显示装置40或是否含有用户手臂。对象特定部基于由终端显示装置40发送的终端显示装置40的坐标、位置检测部24所检测的显示装置20的当前位置以及朝向检测部25所检测的显示装置20的朝向，来确定存在于用户视野内(周边环境图像内)的终端显示装置40。并且，对象特定部确定周边环境图像中含有的终端图像40G与用户手臂图像之间的位置关系。例如，在手臂图像位于终端图像40G的中心点左侧的情况(也就是说，用左手手持终端显示装置40的可能性较高的情况)下，显示控制部22优选为将超出区域G3显示在终端图像40G的右侧。由此，能够提高没有拿终端显示装置40的手对超出区域G3进行操作时的用户体验。

Claims (7)

1.一种显示装置，具备：
控制部，基于外部的终端显示装置的屏幕上所显示的图像及所述屏幕的屏幕区域尺寸，生成与所述图像对应的增强现实图像；
显示器，通过增强现实技术来显示所述增强现实图像，以使用户能够看到所述增强现实图像；以及
显示控制部，对所述显示器的显示进行控制，
在所述图像的整体区域的尺寸超出所述屏幕区域尺寸的情况下，所述控制部生成包含超出区域在内的所述增强现实图像，
所述超出区域是指所述整体区域中超出所述屏幕区域尺寸的部分，
所述显示控制部对所述显示器进行控制，以在所述屏幕区域的外侧显示所述超出区域，
所述显示器具有视野区域，所述视野区域表示用户的视野，
所述显示控制部对所述显示器进行控制，使所述显示器在所述视野区域对所述增强现实图像进行显示，
所述图像包含第一区域和第二区域，所述第二区域与所述第一区域相连，
在所述第二区域超出所述视野区域的情况下，所述显示控制部对所述第二区域的位置进行变更，使所述第二区域与所述第一区域分离，将所述第二区域配置在所述视野区域内。
2.根据权利要求1所述的显示装置，其特征在于，
所述增强现实图像包含所述整体区域和表示所述终端显示装置的终端图像，
所述显示控制部对所述显示器进行控制，使所述显示器将所述整体区域与所述终端图像叠加显示。
3.根据权利要求1所述的显示装置，其特征在于，
所述第一区域包含端部区域，所述端部区域与所述第二区域相邻，
在所述第二区域超出所述视野区域的情况下，所述显示控制部对所述第二区域的位置进行变更，将复制区域与所述第二区域一起配置在所述视野区域内，
所述复制区域中所显示的图像与所述端部区域的图像相同。
4.根据权利要求1所述的显示装置，其特征在于，
所述显示控制部基于在所述屏幕上检测出的接触位置对所述显示器进行控制，使所述显示器改变所述增强现实图像的显示。
5.根据权利要求4所述的显示装置，其特征在于，
所述显示控制部对所述显示器进行控制，使所述显示器基于所述接触位置来显示改变了所述图像的缩放比例后的缩放后图像，
显示所述缩放后图像以后，在所述屏幕上检测出预先规定的接触位置时，所述显示控制部对所述显示器进行控制，使所述显示器基于所述预先规定的接触位置将参考图像叠加在所述缩放后图像上进行显示，
所述参考图像用来表示所述缩放比例改变前的所述图像。
6.根据权利要求5所述的显示装置，其特征在于，
所述增强现实图像包含表示所述终端显示装置的终端图像，
所述终端图像包含框图像，所述框图像表示所述屏幕的框，
所述显示控制部对所述显示器进行控制，使所述显示器根据所述缩放后图像的尺寸来显示改变了所述框图像的缩放比例后的缩放后框图像。
7.一种图像显示方法，处理器执行下述步骤：
增强现实图像的生成，基于外部的终端显示装置的屏幕上所显示的图像和所述屏幕的屏幕区域尺寸，生成与所述图像对应的所述增强现实图像；
增强现实图像的显示，通过增强现实技术来显示所述增强现实图像，以使用户能够看到所述增强现实图像；以及
增强现实图像的显示控制，
所述增强现实图像的生成中，在所述图像的整体区域的尺寸超出所述屏幕区域尺寸的情况下，所述处理器生成包含超出区域在内的所述增强现实图像，
所述超出区域是指所述整体区域中超出所述屏幕区域尺寸的部分，
所述增强现实图像的显示控制中，所述处理器对所述增强现实图像的显示进行控制，以在所述屏幕区域的外侧显示所述超出区域，
显示器具有视野区域，所述视野区域表示用户的视野，
显示控制部对所述显示器进行控制，使所述显示器在所述视野区域对所述增强现实图像进行显示，
所述图像包含第一区域和第二区域，所述第二区域与所述第一区域相连，
在所述第二区域超出所述视野区域的情况下，所述显示控制部对所述第二区域的位置进行变更，使所述第二区域与所述第一区域分离，将所述第二区域配置在所述视野区域内。
CN201811501881.XA 2017-12-11 2018-12-10 显示装置及图像显示方法 Active CN110058759B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-236771 2017-12-11
JP2017236771A JP2019105678A (ja) 2017-12-11 2017-12-11 表示装置、及び画像表示方法

Publications (2)

Publication Number Publication Date
CN110058759A CN110058759A (zh) 2019-07-26
CN110058759B true CN110058759B (zh) 2022-05-10

Family

ID=66696802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811501881.XA Active CN110058759B (zh) 2017-12-11 2018-12-10 显示装置及图像显示方法

Country Status (3)

Country Link
US (1) US10642348B2 (zh)
JP (1) JP2019105678A (zh)
CN (1) CN110058759B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3690627A1 (en) * 2019-01-30 2020-08-05 Schneider Electric Industries SAS Graphical user interface for indicating off-screen points of interest
CN111240466B (zh) * 2019-09-02 2023-12-26 北京佳珥医学科技有限公司 辅助听力文字近眼显示适应性调节方法、控制设备和系统
CN113408331A (zh) * 2020-03-17 2021-09-17 株式会社斯巴鲁 注视对象检测装置
KR20210136659A (ko) * 2020-05-08 2021-11-17 삼성전자주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2022091700A1 (ja) * 2020-10-27 2022-05-05 富士フイルム株式会社 表示制御装置、表示制御方法、および表示制御プログラム
CN112601067B (zh) * 2020-12-11 2023-08-15 京东方科技集团股份有限公司 增强现实显示装置及其显示方法
JP2022137622A (ja) * 2021-03-09 2022-09-22 キヤノン株式会社 ウェアラブル端末、その制御方法及びプログラム
US20220326967A1 (en) * 2021-04-12 2022-10-13 Taslim Arefin Khan Devices, methods, systems, and media for an extended screen distributed user interface in augmented reality
GB2620175A (en) * 2022-06-30 2024-01-03 Sony Interactive Entertainment Europe Ltd Representing virtual objects outside of a display screen

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN107272879A (zh) * 2016-04-01 2017-10-20 三星电子株式会社 用于控制外部设备的显示装置、系统和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP2012243007A (ja) * 2011-05-18 2012-12-10 Toshiba Corp 映像表示装置及びそれを用いた映像領域選択方法
US8754831B2 (en) 2011-08-02 2014-06-17 Microsoft Corporation Changing between display device viewing modes
US9110502B2 (en) * 2011-12-16 2015-08-18 Ryan Fink Motion sensing display apparatuses
JP5957875B2 (ja) * 2011-12-26 2016-07-27 ソニー株式会社 ヘッドマウントディスプレイ
JP6209906B2 (ja) * 2013-09-05 2017-10-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
US20150199106A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Augmented Reality Display System
JP5929933B2 (ja) * 2014-01-16 2016-06-08 カシオ計算機株式会社 表示システム、表示端末、表示方法及びプログラム
KR102212030B1 (ko) * 2014-05-26 2021-02-04 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
KR20160048429A (ko) * 2014-10-24 2016-05-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
WO2016194844A1 (ja) * 2015-05-29 2016-12-08 京セラ株式会社 ウェアラブル装置
US20180075657A1 (en) * 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Attribute modification tools for mixed reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN107272879A (zh) * 2016-04-01 2017-10-20 三星电子株式会社 用于控制外部设备的显示装置、系统和方法

Also Published As

Publication number Publication date
CN110058759A (zh) 2019-07-26
US20190179406A1 (en) 2019-06-13
JP2019105678A (ja) 2019-06-27
US10642348B2 (en) 2020-05-05

Similar Documents

Publication Publication Date Title
CN110058759B (zh) 显示装置及图像显示方法
US10495878B2 (en) Mobile terminal and controlling method thereof
US10591729B2 (en) Wearable device
CN109739361B (zh) 基于眼睛跟踪的可见度提高方法和电子装置
CN105988666B (zh) 移动终端及其控制方法
CN112213856B (zh) 可穿戴眼镜和经由可穿戴眼镜显示图像的方法
CN110488974B (zh) 用于提供虚拟输入界面的方法和可穿戴装置
KR20220088660A (ko) 디바이스를 이용한 화면 처리 방법 및 장치
US20020044152A1 (en) Dynamic integration of computer generated and real world images
US20190227694A1 (en) Device for providing augmented reality service, and method of operating the same
KR20170126295A (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US9933853B2 (en) Display control device, display control program, and display control method
KR20150129546A (ko) 안경형 단말기와 그 안경형 단말기의 제어 방법
KR102361025B1 (ko) 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
KR102360176B1 (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
KR20160067622A (ko) 전자 디바이스 및 전자 디바이스를 통하여 글자 입력을 수신하기 위한 방법
US20160026244A1 (en) Gui device
US20220301264A1 (en) Devices, methods, and graphical user interfaces for maps
CN113168820A (zh) 显示终端、显示控制系统以及显示控制方法
US10469673B2 (en) Terminal device, and non-transitory computer readable medium storing program for terminal device
US20190364256A1 (en) Method and System for Dynamically Generating Scene-Based Display Content on a Wearable Heads-Up Display
WO2022208612A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法
JP7031112B1 (ja) 眼鏡型端末
US11972037B2 (en) Head mounted information processing apparatus and head mounted display system
US20240089362A1 (en) Terminal Device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant