CN106468950A - 电子系统、便携式显示装置及导引装置 - Google Patents

电子系统、便携式显示装置及导引装置 Download PDF

Info

Publication number
CN106468950A
CN106468950A CN201610693922.4A CN201610693922A CN106468950A CN 106468950 A CN106468950 A CN 106468950A CN 201610693922 A CN201610693922 A CN 201610693922A CN 106468950 A CN106468950 A CN 106468950A
Authority
CN
China
Prior art keywords
image
guiding
display apparatus
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610693922.4A
Other languages
English (en)
Other versions
CN106468950B (zh
Inventor
杨丰恺
卢世珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN106468950A publication Critical patent/CN106468950A/zh
Application granted granted Critical
Publication of CN106468950B publication Critical patent/CN106468950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G09B5/125—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

电子系统、便携式显示装置及导引装置。本发明提供一种电子系统，其包含有一便携式显示装置以及一导引装置。便携式显示装置包含有一第一显示单元用来根据一视野范围显示多个场景的多个图像，一控制单元用来产生被显示于第一显示单元上的多个图像中的一图像的一目前观看区域的信息，以及一第一通信单元用来输出目前观看区域的信息。导引装置包含有一第二通信单元用来接收来自于便携式显示装置的目前观看区域的信息，以及一处理单元用来根据目前观看区域的信息产生一导引信息。其中第二通信单元传送导引信息至第一通信单元以及控制单元根据导引信息执行一导引任务。

Description

电子系统、便携式显示装置及导引装置
技术领域
本发明涉及一种电子系统、便携式显示装置及导引装置，尤其涉及一种可实现电子装置间的实时互动的电子系统、便携式显示装置及导引装置。
背景技术
头戴式显示装置(head-mounted display，HMD)为一种可被穿戴于使用者头部的显示装置，其可在使用者眼睛附近显示图像。例如，如图1所示，一使用者戴着正播放立体图像(或是非立体图像或是其他的计算机生成内容)的头戴式显示装置，以体验虚拟实境的感受。然而，当使用者在使用头戴式显示装置的当下，旁人并无法得知使用者目前正在看什么，如此一来，其他人便无法与该使用者互动，同时也无法提供任何的指导或是建议给该使用者。因此，现有技术实有改进的必要。
发明内容
因此，本发明的主要目的即在于提供一种电子系统、便携式显示装置及导引装置，以实现电子装置间的实时互动。
本发明提供一种电子系统，包含有︰一便携式显示装置，包含有︰一第一显示单元，用来根据一视野范围显示多个场景的多个图像；一控制单元，用来产生被显示于该第一显示单元上的该多个图像中的一图像的一目前观看区域的信息；以及一第一通信单元，用来输出该目前观看区域的信息；以及一导引装置，包含有︰一第二通信单元，用来接收来自于该便携式显示装置的该目前观看区域的信息；以及一处理单元，用来根据该目前观看区域的信息产生一导引信息；其中，该第二通信单元传送该导引信息至该第一通信单元，以及该控制单元根据该导引信息执行一导引任务。
本发明还提供一种便携式显示装置，包含有︰一第一显示单元，用来根据一视野范围显示多个场景的多个图像；一控制单元，用来产生被显示于该第一显示单元上的该多个图像中的一图像的一目前观看区域的信息；以及一通信单元，用来传送该目前观看区域的信息至一导引装置。
本发明还提供一种导引装置，包含有︰一通信单元，用来接收被显示一便携式显示装置上的多个图像中的一图像的一目前观看区域的信息；以及一处理单元，用来根据该目前观看区域的信息产生相关于一导引任务的一导引信息；其中，该通信单元传送该导引信息至该便携式显示装置，以导引该便携式显示装置执行该导引任务。
附图说明
图1为使用者使用一头戴式显示装置在头部的示意图。
图2为本发明实施例一电子系统的示意图。
图3为本发明实施例一使用者在一便携式显示装置的一显示单元的视野范围的示意图。
图4为本发明实施例一使用者在一导引装置的一显示单元的视野范围的示意图。
图5与图7分别为本发明实施例一使用者在一导引程序中在便携式显示装置的显示单元的视野范围的一变化实施例示意图。
图6为本发明实施例一使用者在一导引程序中在导引装置的显示单元的视野范围的示意图。
图8为本发明实施例一使用者在使用一真实不动产应用软件时所显示画面的示意图。
【符号说明】
2 电子系统
10 便携式显示装置
102、202 通信单元
104、204 显示单元
106 控制单元
108 指示单元
110、208 存储单元
112 相机单元
20 导引装置
206 处理单元
402、602 醒目指示
502 方向箭头指示
604 注解对话框
IMG 图像
P1、P2 位置
具体实施方式
请参考图2，图2为本发明实施例一电子系统2的示意图。如图2所示，电子系统2包含有一便携式显示装置10以及一导引装置20。电子系统2可应用于展览会导览、教育用途、虚拟场景漫游及购物导览，但不以此为限。便携式显示装置10可以是一头戴式显示装置(head-mounted display，HMD)、一穿戴式电子装置或其他具有显示功能的电子装置，但不以此为限。导引装置20可以是一智能手机、一个人数字助理(PDA)、一个人计算机、一笔记型计算机或一平板计算机，但不以此为限。
便携式显示装置10包含有一通信单元102、一显示单元104、一控制单元106、一指示单元108以及一存储单元110。导引装置20包含有一通信单元202、一显示单元204、一处理单元206以及一存储单元208。通信单元102以及通信单元202可藉由有线或无线连结方式相互通信。举例来说，通信单元102可藉由无线通信技术来与通信单元202进行同步和/或配对处理。例如，所述无线连通信技术可以是蓝牙、远场通信(near field communication，NFC)、无线局域网络(Wi-Fi)或是其他任何无线通信技术。显示单元104用来根据一使用者之一视野范围(field of view，FOV)依次显示多个场景的多个图像。控制单元106用来产生该多个场景的多个图像中的一图像的一目前观看区域的信息。例如控制单元106可产生目前正被显示于显示单元104的一图像的一目前观看区域的信息。所述图像的目前观看区域的信息可以涉及正使用便携式显示装置10的使用者的目前视野范围、显示单元104的目前视野范围、依据使用者的目前头部位置的图像可视范围、使用者的专注视野范围的当中的至少其中一种。所述图像的目前观看区域的信息也可以是相关于便携式显示装置10的惯性测量元件(inertial measurement unit，IMU)数据或其他可能的数据(例如速度、方位、重力)。所述图像的目前观看区域的信息可以表示使用者正在显示单元104上所观赏到的图像内容(或图像区域)。所述图像的目前观看区域的信息可由通信单元102传送至通信单元202。通信单元202用来接收由便携式显示装置10所传送出的该图像的目前观看区域的信息。处理单元206用来根据该目前观看区域的信息产生一导引信息。进一步地，导引装置20藉由提供导引信息至便携式显示装置10以导引便携式显示装置10执行一导引任务。
进一步说明电子系统2的运作方式。在一实施例中，使用者A(可称为主驾驶(pilot)使用者)使用便携式显示装置10来体验虚拟实境场景。例如，便携式显示装置10可为一头戴式显示装置。使用者B(可称为副驾驶(co-pilot)使用者)使用导引装置20来体验更大或是更为宽广视野范围的图像观赏而能藉此便于提供导引或是建议给使用者A。便携式显示装置10的存储单元110以及导引装置20的存储单元208可取得并存储相关图像。也就是说，便携式显示装置10的存储单元110及导引装置20的存储单元208皆存储了同样的图像。举例来说，若一图像IMG原先被存储在一云端服务器，则便携式显示装置10与导引装置20可分别从云端服务器取得图像IMG。若图像IMG原先被存储在便携式显示装置10之中，则导引装置20可从便携式显示装置10取得图像IMG。若图像IMG原先被存储在导引装置20之中，则便携式显示装置10可从导引装置20取得图像IMG。换句话说，便携式显示装置10及导引装置20会先存储有相同的图像。
图像IMG可为一广角图像(wide-angle image)、一全景图像(panoramic image)、一相片图像(photograph image)或是一实时计算机产生的显示图像(real-time computergenerated image)。便携式显示装置10可被穿戴于使用者A的头部。显示单元104可以依据使用者A的视野范围(FOV)来显示图像IMG。例如，显示单元104可以在虚拟实境运作期间依据使用者A目前头部的位置来显示出显示图像IMG的一可视区域供使用者观赏。如图3所示，使用者A可以在显示单元104上看到图像IMG中的一特定观看区域(即所述目前观看区域)。所述目前观看区域可对应于使用者A当前的头部位置。因此，便携式显示装置10可以将图像IMG的目前观看区域的信息提供给导引装置20，以通知导引装置20正在使用便携式显示装置10的使用者A目前通过显示单元104所看到的画面内容为何。
由于导引装置20的存储单元208与便携式显示装置10的存储单元110存储了相同的图像，导引装置20的显示单元204将可显示这些场景与图像让使用者B观赏。例如，显示单元204可显示这些图像的一第一观看区给使用者B观赏。因此使用者B可以在显示单元204上看到这些图像的特定观看区域(即第一观看区域)。在一实施例中，被显示于显示单元204上的这些图像的第一观看区域的大小可大于被显示于显示单元104上的图像的目前观看区域的大小。
例如，导引装置20的显示单元204可显示图像IMG的所有区域让使用者B观赏。如图4所示，图像IMG为一广角图像，使用者B可通过显示单元204看到图像IMG的所有区域。也就是说，被显示于显示单元204上的图像IMG的第一观看区域即为图像IMG的所有区域。在此情况下，使用者B可看到全景场景，如此一来，在穿戴着便携式显示装置10的使用者A正在观看如图3所示的图像IMG的时候，使用者B可提供导引或是建议给使用者A，以促使使用者A进行相关操作。更详细而言，通信单元202首先可与通信单元102进行同步与配对处理。处理单元206可通过通信单元202来要求便携式显示装置10回应其目前的状况。接着，通信单元202可自便携式显示装置10的通信单元102接收到图像IMG的目前观看区域的信息。根据所接到的图像IMG的目前观看区域的信息，导引装置20可以知道使用者A目前正在观看什么(即正在观看图像IMG之中的目前观看区域)。藉此，导引装置20可据以产生导引信息，进而引导便携式显示装置10去执行一导引任务。
在一实施例中，请继续参考图4。如图4所示，处理单元206可建立一矩形框形式的醒目指示402来强调显示便携式显示装置10的目前观看区域。也就是说，图4中的醒目指示402所围起来的区域同于图3中的目前观看区域。因此，使用者B将可知道使用者A目前所看到的图像区域。进一步地，若使用者B想要指引使用者A将其头部向右转来观看图像IMG的一目标位置P1，也就是说，导引任务为︰将头部向右转，以看到目标位置图像P1处。处理单元206可产生一导引信息，其中该导引信息包含有与导引任务有关的一导引指令。导引指令可包含有导引其将头部向右转以观看图像IMG的目标位置P1处。接着，通信单元202将导引信息传送至通信单元102。控制单元106可从通信单元102取得导引信息，并根据导引信息执行导引任务。例如，控制单元106可控制显示单元104去显示出一辅助指示，以提醒使用者A将其头部向右转，进而实现相应导引任务。如图5所示，显示单元104显示一方向箭头指示502。当使用者A看见方向箭头指示502时，使用者A即会将其头部朝右边转来看向目标位置P1处。进一步地，方向箭头指示502可以各种闪烁的形式呈现以达到吸引使用者A注意的目的。
此外，控制单元106可控制指示单元108去执行一指示功能来通知使用者A。指示单元108可以是一发光装置、一喇叭或一震动装置，用以发出特定灯号、声音、震动或其他指示信号来通知使用者A。例如，指示单元108输出一语音信号，藉以人声念出“将您的头部往右转”等字。
在一实施例中，当由便携式显示装置10取得图像IMG的目前观看区域的信息之后，导引装置20可以对存储于存储单元208中的图像IMG进行编辑。例如，如图6所示，处理单元206可加入一矩形框形式的一醒目指示602至图像IMG中，来强调显示出便携式显示装置10的目前观看区域。在此情况下，使用者B即可知道使用者A目前所看到的图像区域为何。进一步地，若使用者B想要导引使用者A，让使用者将其头部向右转来观看图像IMG的目标位置P1。也就是说，导引任务为将导引使用者A将头部向右转，以看至目标位置图像P1处。导引装置20可增加一物件至图像IMG中的一坐标位置。例如，导引装置2可增加图示(例如锚点图示、标点图示、符号图示)、符号、文字等至图像IMG中，以产生一编辑后图像IMG’。例如，处理单元206建立一注解对话框604并将注解对话框604置于目标位置P1，其中注解对话框604中包含有“来～看这里”等文字。编辑后图像IMG’和/或与编辑后图像IMG’有关的信息可被包含在传送便携式显示装置10的导引信息中。
进一步地，处理单元206可产生一导引信息。其中该导引信息包含有与编辑后图像IMG’有关的信息及一导引指令，或是该导引信息包含有编辑后图像IMG’及一导引指令。与编辑后图像IMG’有关的信息可包含有增加含有“来～看这里”等文字的注解对话框至目标位置P1的指示。导引指令可包含有导引使用者A将其头部向右转以观看图像IMG的目标位置P1处。接着，通信单元202将导引信息传送至便携式显示装置10。
在一实施例中，当便携式显示装置10收到包含有与编辑后图像IMG’有关的信息与导引指令的导引信息或是收到包含有编辑后图像IMG’与导引指令的导引信息时，控制单元106可根据由导引装置20所传来的导引信息，对原先存储在存储单元110的图像IMG(或是图像IMG之后续图像)进行编辑，以产生一编辑后图像IMG_1。控制单元106可增加一包含有“来～看这里”等文字的一注解对话框至原先存储在存储单元110的图像IMG中的目标位置P1处，以产生一编辑后图像IMG_1。显示单元104可依据使用者A的视野范围显示编辑后图像IMG_1。
进一步地，控制单元106可比对使用者A的目前视野范围(current FOV)与被增加注解对话框的目标位置P1，以产生一比对结果。控制单元106根据比对结果产生一指示信号以导引使用者A转头看向编辑后图像IMG_1中的目标位置P1处。例如，当比对结果表示目标位置P1落于使用者的目前视野范围A右外侧，控制单元106产生指示信号来控制显示单元104，使显示单元104显示出一辅助信息以提醒使用者A将其头部向右转，进而实现相应导引任务。例如，如图7所示，显示单元104可在编辑后图像IMG_1的目前观看区域中显示一方向箭头指示，以提醒使用者A将其头部向右转。当使用者A看见方向箭头指示时，使用者A就会将其头部朝右边转，并看到包含有“来～看这里”等文字的注解对话框(即位于编辑后图像IMG_1中的目标位置P1处的注解对话框)。同样地，控制单元106也可控制指示单元108去执行相应指示功能来通知使用者A将其头部向右转来看注解对话框。换句话说，当使用者A正观看显示在显示单元104的虚拟实境图像时，使用者B可使用导引装置20来对使用者A提供相关导引或是建议指示。如此一来，使用者B可以实时地与使用者A进行互动并提供相关导引或是相关建议指示。
在一实施例中，当便携式显示装置10收到包含有与编辑后图像IMG’有关的信息与导引指令的导引信息或是收到包含有编辑后图像IMG’与导引指令的导引信息后，控制单元106可根据导引信息建立一新图层，以描绘出包含有“来～看这里”等文字的一注解对话框至目标位置P1处。显示单元104可显示多个图层(例如包含有图像IMG(或是图像IMG之后续图像)的原始图层、包含有位于目标位置P1处的“来～看这里”等文字的注解对话框的新增图层)，如此一来，原来存储在存储单元110的图像IMG就不需被修改而不会受损坏。同样地，控制单元106也可控制指示单元108去执行一指示功能，以通知使用者A转头看向图像IMG(或是图像IMG的后续图像)的目标位置图像P1处。
在一实施例中，当便携式显示装置10收到包含有编辑后图像IMG’与导引指令的导引信息时，原先存放于存储单元110的图像IMG(或是图像IMG之后续图像)可被置换成导引装置20所编辑过的编辑后图像IMG’。也就是说，编辑后图像IMG’被用来取代原先存放于存储单元110的图像IMG(或是图像IMG的后续图像)。接着，控制单元106可控制显示单元104显示由导引装置20所取得的编辑后图像IMG’。同样地，控制单元106产生一指示信号来导引使用者A转头看向编辑后图像IMG’中的目标位置P1处。
在一实施例中，若使用者B想要导引使用者A转头看至图像IMG中的一目标位置P1处，也就是说，导引任务为︰转动头部以看至图像IMG中的目标位置P1处。处理单元206从便携式显示装置10取得图像IMG的目前观看区域的信息后，处理单元206会判断目标位置P1是否位于图像IMG的目前观看区域的范围内。若是的话，导引装置20可不需提供导引信息给便携式显示装置10。若否的话，这表示显示单元104目前并无显示出图像IMG中的目标位置P1处，因此使用者A现在便无法在显示单元104上图像IMG中的目标位置P1处。此时，导引装置20可进一步提供导引信息以引导便携式显示装置10执行相应导引任务，来导引使用者A转动头部。
在一实施例中，一顾客(可称为主驾驶使用者)在便携式显示装置10使用一真实不动产应用软件。一销售员(可称为副驾驶使用者)在导引装置20使用相同的真实不动产应用软件。在一非co-pilot模式中，当顾客在便携式显示装置10上执行真实不动产应用软件来观赏某一房屋物件的客厅区域时，销售员并无法得知顾客目前正在看什么，因而也无法提供任何有益的建议或导引给顾客。
在一co-pilot模式中，便携式显示装置10可与导引装置20进行同步与配对处理。便携式显示装置10的存储单元110以及导引装置20的存储单元208也都存储了相同的广角图像。若顾客通过便携式显示装置10的显示单元104正在观赏一广角图像中的一房屋的一客厅时，便携式显示装置10可以提供目前观看区域(有关于房屋的客厅的区域)的信息提供给导引装置20。在接收到目前观看区域的信息，导引装置20可根据所收到的目前观看区域的信息以矩形框形式的醒目标示来强调显示该广角图像中与有关于房屋的客厅的区域。如此一来，销售员便可得知该顾客正在观赏房屋的客厅区域。
若销售员想要指引顾客将其头部向右转来观看房屋的浴室区域时，销售员可经由导引装置20的使用者接口在该广角图像的目标位置P1处设立一手掌状指标，并在该广角图像的目标位置P2处设立一注解对话框(注解对话框中包含有“这是浴室”等文字)，以产生一编辑后广角图像。导引装置20将编辑后广角图像传送给便携式显示装置10。当便携式显示装置10接收到包含有新增指标与注解对话框的编辑后广角图像后，原先存放在便携式显示装置的广角图像可被置换成包含有新增指标与注解对话框的编辑后广角图像。如图7示，当便携式显示装置10的显示单元104显示所收到的编辑后广角图像时，顾客将会看到相应的手掌状指标与包含有“这是浴室”等文字的注解对话框。此时，销售员即成功地导引顾客去看见他/她所选定的目标(即，浴室)。
另一方面，请继续参考图2，便携式显示装置10还包含有一相机单元112。相机单元112用来提取与便携式显示装置10所在环境有关的多个辅助图像，其中辅助图像可以是360度全景图像。这些辅助图像可经由通信单元102被传送至导引装置20。处理单元206可根据图像的目前观看区域的信息以及这些辅助图像产生导引信息。因此，电子系统2也可被应用于扩增实境(augmented reality，AR)应用环境以及混合实境(mixed reality，MR)应用环境。
综上所述，当主驾驶使用者正在观赏被显示在便携式显示装置的显示单元上的图像时，副驾驶使用者可以利用导引装置来提供相关导引及建议给主驾驶使用者以引导主驾驶使用者，进而实现便携式显示装置与导引装置之间的实时互动。
以上所述仅为本发明的优选实施例，凡依本发明权利要求书所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (22)

1.一种电子系统，包含有︰
便携式显示装置，包含有︰
第一显示单元，用来根据视野范围显示多个场景的多个图像；
控制单元，用来产生被显示于该第一显示单元上的该多个图像中的一图像的一目前观看区域的信息；以及
第一通信单元，用来输出该目前观看区域的信息；以及
导引装置，包含有︰
第二通信单元，用来接收来自于该便携式显示装置的该目前观看区域的信息；以及
处理单元，用来根据该目前观看区域的信息产生一导引信息；
其中，该第二通信单元传送该导引信息至该第一通信单元，以及该控制单元根据该导引信息执行一导引任务。
2.如权利要求1所述的电子系统，其中该导引信息包含有相关于该导引任务的指令。
3.如权利要求1所述的电子系统，其中该控制单元控制该第一显示单元显示辅助指示以执行该导引任务。
4.如权利要求1所述的电子系统，其中该便携式显示装置还包含有︰
指示单元，受控于该控制单元，用来执行一指示功能以实现该导引任务。
5.如权利要求4所述的电子系统，其中该指示单元包含有发光装置、喇叭以及震动装置的至少其中之一。
6.如权利要求1所述的电子系统，其中该便携式显示装置还包含有︰
相机单元，用来提取与环境有关的多个辅助图像；
其中，该第一通信单元传送该多个辅助图像至该第二通信单元，以及该处理单元根据该目前观看区域的信息以及该多个辅助图像产生该导引信息。
7.如权利要求1所述的电子系统，其中该处理单元另增加一物件至该图像中以产生编辑后图像，其中该编辑后图像被显示于该导引装置的第二显示单元上。
8.如权利要求7所述的电子系统，其中该物件包含有锚点图示、标点图示、符号图示以及文字的至少其中之一。
9.如权利要求1所述的电子系统，其中该导引装置还包含有︰
第二显示单元，用来显示该多个场景的该多个图像的第一观看区域；
其中，被显示于该第二显示单元的该多个图像的该第一观看区域大于被显示于该第一显示单元的该多个图像的该图像的该目前观看区域。
10.一种便携式显示装置，包含有︰
第一显示单元，用来根据一视野范围显示多个场景的多个图像；
控制单元，用来产生被显示于该第一显示单元上的该多个图像中的一图像的一目前观看区域的信息；以及
通信单元，用来传送该目前观看区域的信息至导引装置。
11.如权利要求10所述的便携式显示装置，其中该通信单元接收来自于该导引装置的相关于一导引任务的导引信息，以及该控制单元根据该导引信息执行该导引任务。
12.如权利要求10所述的便携式显示装置，其中该导引信息包含有相关于该导引任务的指令。
13.如权利要求10所述的便携式显示装置，其中该控制单元控制该第一显示单元显示辅助指示以执行该导引任务。
14.如权利要求10所述的便携式显示装置，其还包含有︰
指示单元，受控于该控制单元，用来执行指示功能以实现该导引任务。
15.如权利要求14所述的便携式显示装置，其中该指示单元包含有发光装置、喇叭以及震动装置的至少其中之一。
16.如权利要求10所述的便携式显示装置，其中还包含有︰
一相机单元，用来提取与环境有关的多个辅助图像；
其中，该通信单元传送该多个辅助图像至该导引装置。
17.一种导引装置，包含有︰
通信单元，用来接收被显示便携式显示装置上的多个图像中的一图像的一目前观看区域的信息；以及
处理单元，用来根据该目前观看区域的信息产生相关于一导引任务的导引信息；
其中，该通信单元传送该导引信息至该便携式显示装置，以导引该便携式显示装置执行该导引任务。
18.如权利要求17所述的导引装置，其中该导引信息包含有相关于该导引任务的指令。
19.如权利要求17所述的导引装置，其中该通信单元从该便携式显示装置接收与该便携式显示装置的环境有关的多个辅助图像，以及该处理单元根据该目前观看区域的信息以及该多个辅助图像产生该导引信息。
20.如权利要求17所述的导引装置，其中该处理单元另增加一物件至该图像中以产生编辑后图像，其中该编辑后图像被显示于该导引装置的第二显示单元上。
21.如权利要求20所述的导引装置，其中该物件包含有锚点图示、标点图示、符号图示以及文字的至少其中之一。
22.如权利要求17所述的导引装置，其还包含有︰
第二显示单元，用来显示该多个图像的第一观看区域；
其中，被显示于该第二显示单元的该多个图像的该第一观看区域大于被显示于该第一显示单元的该多个图像的该图像的该目前观看区域。
CN201610693922.4A 2015-08-19 2016-08-19 电子系统、便携式显示装置及导引装置 Active CN106468950B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562206856P 2015-08-19 2015-08-19
US62/206,856 2015-08-19

Publications (2)

Publication Number Publication Date
CN106468950A true CN106468950A (zh) 2017-03-01
CN106468950B CN106468950B (zh) 2020-09-04

Family

ID=56939867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610693922.4A Active CN106468950B (zh) 2015-08-19 2016-08-19 电子系统、便携式显示装置及导引装置

Country Status (4)

Country Link
US (1) US20170053545A1 (zh)
EP (1) EP3133470B1 (zh)
CN (1) CN106468950B (zh)
TW (1) TWI610097B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067295A (zh) * 2017-03-13 2017-08-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN108628439A (zh) * 2017-03-24 2018-10-09 索尼公司 信息处理设备、信息处理方法及程序

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
JP6087453B1 (ja) * 2016-02-04 2017-03-01 株式会社コロプラ 仮想空間の提供方法、およびプログラム
US11493988B2 (en) * 2016-04-29 2022-11-08 Hewlett-Packard Development Company, L.P. Guidance information relating to a target image
US11071596B2 (en) * 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
GB2557593A (en) * 2016-12-09 2018-06-27 Sony Interactive Entertainment Inc Virtual reality
KR101810671B1 (ko) * 2017-03-07 2018-01-25 링크플로우 주식회사 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
US10602046B2 (en) * 2017-07-11 2020-03-24 Htc Corporation Mobile device and control method
TWI633338B (zh) * 2017-10-06 2018-08-21 宏碁股份有限公司 頭戴式顯示裝置、電子系統以及相關控制方法
US20210102820A1 (en) * 2018-02-23 2021-04-08 Google Llc Transitioning between map view and augmented reality view
TWI707306B (zh) * 2018-03-06 2020-10-11 國立臺灣大學 用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置
JP7385238B2 (ja) * 2019-01-07 2023-11-22 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
JP7391438B1 (ja) * 2023-06-13 2023-12-05 株式会社mediVR 情報処理システム、情報処理方法および情報処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130253824A1 (en) * 2009-05-11 2013-09-26 Acer Incorporated Object guiding method, mobile viewing system and augmented reality system
CN104160369A (zh) * 2012-02-02 2014-11-19 诺基亚公司 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
CN104570354A (zh) * 2015-01-09 2015-04-29 京东方科技集团股份有限公司 交互式眼镜和导览系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246076B (zh) * 2013-04-16 2015-08-05 深圳超多维光电子有限公司 多人观看立体显示装置及立体显示方法
US10173129B2 (en) * 2013-06-09 2019-01-08 Sony Interactive Entertainment Inc. Methods for rendering interactive content to a head mounted display
TW201502581A (zh) * 2013-07-11 2015-01-16 Seiko Epson Corp 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法
TWM472854U (zh) * 2013-11-27 2014-02-21 Chipsip Technology Co Ltd 穿戴式顯示器
TWI635454B (zh) * 2014-01-29 2018-09-11 張漢威 具投影功能之穿戴件
JP6540108B2 (ja) * 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130253824A1 (en) * 2009-05-11 2013-09-26 Acer Incorporated Object guiding method, mobile viewing system and augmented reality system
CN104160369A (zh) * 2012-02-02 2014-11-19 诺基亚公司 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
CN104570354A (zh) * 2015-01-09 2015-04-29 京东方科技集团股份有限公司 交互式眼镜和导览系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEM1, FRANCO TECCHIA, WEIDONG HUANG: "REMOTE TELE-ASSISTANCE SYSTEMS FOR MAINTENANCE OPERATORS IN MINES", 《UNDERGROUND COAL OPERATORS’ CONFERENCE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067295A (zh) * 2017-03-13 2017-08-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN108628439A (zh) * 2017-03-24 2018-10-09 索尼公司 信息处理设备、信息处理方法及程序

Also Published As

Publication number Publication date
CN106468950B (zh) 2020-09-04
US20170053545A1 (en) 2017-02-23
EP3133470A1 (en) 2017-02-22
EP3133470B1 (en) 2019-03-13
TWI610097B (zh) 2018-01-01
TW201708883A (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
CN106468950A (zh) 电子系统、便携式显示装置及导引装置
US11206373B2 (en) Method and system for providing mixed reality service
CN108415705B (zh) 网页生成方法、装置、存储介质及设备
US10249095B2 (en) Context-based discovery of applications
CN110603515A (zh) 利用共享锚点显示的虚拟内容
US11769306B2 (en) User-exhibit distance based collaborative interaction method and system for augmented reality museum
US20180284894A1 (en) Directional haptics for immersive virtual reality
CN107305435A (zh) 在增强现实和虚拟现实环境之间链接和交互的系统和方法
WO2019079806A1 (en) MANAGING CONTENT DISPLAY PROPERTIES
WO2018038485A1 (ko) 가상현실 어트랙션 제어 방법 및 시스템
CN107211226A (zh) 具有远程扬声器的空间音频
JP2022545851A (ja) 仮想対象制御方法及び装置、機器、コンピュータ可読記憶媒体
CN107566793A (zh) 用于远程协助的方法、装置、系统及电子设备
US10950050B2 (en) Information processing device, information processing method, and program for planning and execution of work plan
JP2012128779A (ja) 仮想物体表示装置
US20190259198A1 (en) Systems and methods for generating visual representations of a virtual object for display by user devices
CN106371455B (zh) 一种智能交互方法和系统
WO2017068925A1 (ja) 情報処理装置及び情報処理装置の制御方法、並びにコンピュータ・プログラム
CN108012195A (zh) 一种直播方法、装置及其电子设备
US20230368464A1 (en) Information processing system, information processing method, and information processing program
Go et al. Multi-user drone flight training in mixed reality
US20190378335A1 (en) Viewer position coordination in simulated reality
JP2017010228A (ja) 情報処理装置、情報処理方法、プログラム
CN117010965A (zh) 基于信息流广告的互动方法、装置、设备及介质
US11656576B2 (en) Apparatus and method for providing mapping pseudo-hologram using individual video signal output

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant