CN116224596A - 头戴式显示器、头戴式显示器协作系统及其方法 - Google Patents

头戴式显示器、头戴式显示器协作系统及其方法 Download PDF

Info

Publication number
CN116224596A
CN116224596A CN202310255374.7A CN202310255374A CN116224596A CN 116224596 A CN116224596 A CN 116224596A CN 202310255374 A CN202310255374 A CN 202310255374A CN 116224596 A CN116224596 A CN 116224596A
Authority
CN
China
Prior art keywords
display
information terminal
portable information
head
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310255374.7A
Other languages
English (en)
Inventor
渡边光信
桥本康宣
川前治
益冈信夫
吉泽和彦
清水宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to CN202310255374.7A priority Critical patent/CN116224596A/zh
Publication of CN116224596A publication Critical patent/CN116224596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0161—Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G02B2027/0163—Electric or electronic control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种头戴式显示器、头戴式显示器协作系统及其方法。头戴式显示器具备：佩戴体；显示器；通信模块，在与便携信息终端之间通信连接；视觉辨认区域检测传感器，输出用于判断经由佩戴体的使用者的视觉辨认区域中是否包括便携信息终端的状态数据；以及控制装置，与显示器、通信模块及视觉辨认区域检测传感器的每一个连接，控制装置根据状态数据判断使用者的视觉辨认区域中是否包括便携信息终端，对显示器进行显示控制以使得：在判断为视觉辨认区域中未包括便携信息终端的情况下，在显示器中显示便携信息终端的APP画面；在判断为视觉辨认区域中包括便携信息终端的情况下，在显示器中不显示APP画面。

Description

头戴式显示器、头戴式显示器协作系统及其方法
本申请是分案申请，其母案申请的申请日为2018年06月25日，国际申请号为PCT/JP2018/024066，进入中国国家阶段的申请号为201880091020.0，发明名称为“头戴式显示器、头戴式显示器协作系统及其方法”。
技术领域
本发明涉及头戴式显示器(以下简记为“HMD”)的显示技术。
背景技术
作为本技术领域的背景技术，专利文献1中公开了“根据从头戴式显示器取得的照相机图像、和头戴式显示器的佩戴者对照相机图像的注视点，计算佩戴者的注视点相对一次信息的位置信息，选择与该位置信息关联的二次信息并显示，并且，在佩戴者观察一次信息的情况下和佩戴者未观察一次信息的情况下，变更所显示的二次信息的显示方法(摘要摘录)”的系统。
另外，专利文献2中公开了“使用者能够视觉辨认虚像和外景的头部佩戴型显示装置具备：生成部，生成包括第1图像和头部佩戴型显示装置具有的第2图像的一览图像，该第1图像是与头部佩戴型显示装置连接的外部装置的显示图像；以及图像显示部，形成表示生成的一览图像的虚像(摘要摘录)”的系统。
现有技术文献
专利文献
专利文献1：国际公开第2017/104089号
专利文献2：日本特开2015-222891号公报
发明内容
在专利文献1、2中，在HMD和外部显示装置进行通信连接后，在HMD中共享显示图像。因此，当在具有通信功能的便携信息终端以及HMD中应用上述现有技术的情况下，在确立了HMD和便携信息终端之间的链接时，便携信息终端的显示画面显示于HMD，所以即使在用户不期望时或不需要时，有时便携信息终端的画面也显示于HMD，存在利用上的不便。
本发明是鉴于上述实际情况而完成的，其目的在于提供一种在对于用户有用的定时将便携信息终端的画面显示于HMD、操作性良好的HMD与便携信息终端的协作技术。
为了解决上述课题，本发明具备权利要求书记载的结构。若例举其一个例子，提供一种头戴式显示器，其特征在于，具备：佩戴体，佩戴在使用者的头部；显示器，设置于所述佩戴体的所述使用者的眼睛前的位置；通信模块，在与便携信息终端之间进行通信连接；视觉辨认区域检测传感器，输出状态数据，该状态数据用于判断在经由所述佩戴体的所述使用者的视觉辨认区域中是否包括所述便携信息终端；以及控制装置，与所述显示器、所述通信模块以及所述视觉辨认区域检测传感器的每一个连接，所述控制装置根据所述状态数据判断在所述使用者的视觉辨认区域中是否包括所述便携信息终端，并对所述显示器进行显示控制以使得：在判断为在所述视觉辨认区域中未包括所述便携信息终端的情况下，在所述显示器中显示APP画面，所述APP画面显示由所述便携信息终端执行的实现特定的功能的应用软件的执行状态；在判断为在所述视觉辨认区域中包括所述便携信息终端的情况下，在所述显示器中不显示所述APP画面。
根据本发明，能够提供在对于用户有用的定时将便携信息终端的画面显示于HMD、操作性良好的HMD与便携信息终端的协作技术。此外，通过以下的实施方式的说明进一步明确上述以外的课题、结构以及效果。
附图说明
图1是HMD协作系统的概要结构图。
图2是HMD的硬件结构图。
图3是HMD的软件结构图。
图4是便携信息终端的硬件结构图。
图5是便携信息终端的软件结构图。
图6是示出第1实施方式中的HMD协作系统的序列例子的图。
图7是示出第1实施方式的APP画面显示控制处理的流程的流程图。
图8是示出视觉辨认区域和便携信息终端的位置关系(APP画面不显示)的图。
图9是示出APP画面不显示时的经由显示器的情景的图。
图10是示出视觉辨认区域和便携信息终端的位置关系(APP画面显示)的图。
图11是示出APP画面显示时的经由显示器的情景的图。
图12是示出第2实施方式的APP画面显示开始条件的变化的图。
图13是示出出镜(frame out)后的再显示位置的图。
图14是示出第4实施方式中的HMD协作系统的序列例子的图。
图15是示出HMD的画面迁移的图。
(符号说明)
1：佩戴体；2：显示器；3：外侧照相机；4：内侧照相机；5：HMD控制装置；10：HMD；80：便携信息终端；100：HMD协作系统。
具体实施方式
以下，使用附图说明本发明的实施方式。在全部附图中，对同一结构附加同一符号而省略重复说明。
<第1实施方式>
第1实施方式是如下方式：对HMD和作为便携信息终端的智能手机进行通信连接，在便携信息终端未进入到佩戴HMD的使用者的视觉辨认区域的情况下，将便携信息终端的APP画面显示于HMD。此处所称的“APP画面”是指，显示有在便携信息终端上执行的应用软件的执行状态的画面。
图1是HMD协作系统100的概要结构图。HMD协作系统100构成为对HMD10和便携信息终端80进行无线通信连接。作为便携信息终端80图示出智能手机，也可以是平板终端、智能手表，只要是可便携的图像显示装置，则其种类没有限制。
HMD10主要具备佩戴体1、显示器2、外侧照相机3、内侧照相机4以及HMD控制装置5。
佩戴体1是用于维持在HMD10的使用者M(参照图8、图10)的头部佩戴HMD10的状态、保持其他HMD10的构件的部件。在图1中以眼睛镜形状图示出，但形状不限于此。
显示器2是具有透射性的液晶显示器，配置于佩戴体1的使用者M的眼睛前的位置。
在将佩戴体1的与使用者M的脸相对的一侧定义为内侧、将其相反侧定义为外侧的情况下，外侧照相机3是设置于佩戴体1的前表面外侧的搭载有CCD或CMOS的照相机。外侧照相机3以在视角中包含使用者M的视觉辨认区域的位置以及朝向，设置于佩戴体1。
内侧照相机4是在佩戴体1的内侧以能够拍摄使用者M的眼睛的活动的位置以及朝向设置的搭载有CCD或CMOS的照相机。
HMD控制装置5使用处理器、电路来构成，该处理器、电路进行与便携信息终端80的通信控制以及向显示器2的显示控制。在本实施方式中，以使用通用的计算机来执行用于实现本实施方式的HMD协作方法的功能的软件的结构为例子进行说明。
图2是HMD10的硬件结构图。
如图2所示，HMD10构成为通过系统总线102将HMD控制装置5、拍摄部120、语音部130、操作部140、通信模块150、传感器部160、扩展I/F170、显示部180彼此连接。
HMD控制装置5构成为包括：CPU(Central Processing Unit，中央处理单元)101、ROM(Read Only Memory，只读存储器)103、RAM(Random Access Memory，随机存取存储器)104、由HDD(Hard Disk Drive，硬盘驱动器)或具备闪存存储器等半导体存储器的SSD(Solid State Drive，固态硬盘)构成的存储设备110。
拍摄部120包括：外侧照相机3以及内侧照相机4；以及将各照相机的输出信号变换为图像信号的图像信号处理部121。
语音部130包括：用于输入语音的麦克风131；包括来自麦克风131的语音信号的噪声处理、放大处理的语音信号处理部132；以及播放来电音、语音的扬声器133。
操作部140包括操作按钮、操作开关，由HMD10的主电源的ON/OFF按钮、音量拨盘等操作部件构成。各操作部件是受理使用者的操作而检测有输入操作的部件，具有作为操作检测传感器的功能。
通信模块150包括：用于连接到Wi-Fi(日本注册商标)、红外线通信等无线LAM的无线LAN通信部151；以及使用Bluetooth(日本注册商标)等的近场无线通信部152。
传感器部160包括：GPS(Global Positioning System，全球定位系统)161；用于感测旋转、朝向的变化的陀螺传感器162；用于测量方位的地磁传感器163；用于检测与倾斜或活动、振动或冲击有关的数据的加速度传感器164；用于感测HMD10的周边的明亮度的照度传感器165；接近传感器166；距离传感器167；以及视线检测传感器168。陀螺传感器162、加速度传感器164、视线检测传感器168在各实施方式中被用作检测使用者M的视觉辨认区域的视觉辨认区域检测传感器。
显示部180包括显示器2和显示控制部182，该显示控制部182用于生成向显示器2显示的显示用数据，并进行输出控制。
图3是HMD10的软件结构图。
ROM103包括HMD10的基本动作程序103a和其他程序103b。基本动作程序103a包括HMD10的启动程序、在通常启动处理的中途显示的首页画面(参照图15的首页画面1501)的显示控制程序以及与便携信息终端80的通信程序。
RAM104是CPU101在执行时载入存储于ROM103、存储设备110的程序的区域。在各程序的执行中，在RAM104中生成基本动作执行部104a、信息显示执行部104b以及临时存储区域104c。信息显示执行部104b包括：使便携信息终端80的APP画面在HMD10中显示或者不显示的画面移动中间件(Middleware)104b1；以及操作执行部104b2。
画面移动中间件104b1是在HMD10的显示器2中对APP画面进行显示控制的程序。在本实施方式中构成为中间件，但也可以由在OS(操作系统)上工作的后台(Daemon)程序、驱动程序构成。另外，也可以代替画面移动中间件104b1，由与便携信息终端80的应用分别对应的在HMD10上动作的应用构成。
存储设备110储存各种信息数据存储区域110a、信息显示程序110b以及其他程序110c。后述画面移动标志(参照图7)既可以形成于各种信息数据存储区域110a，也可以形成于RAM104的临时存储区域104c。另外，后述的将显示器2分割为多个小区域而管理的小区域管理数据也被存储于各种信息数据存储区域110a。
图4是便携信息终端80的硬件结构图。与HMD10的硬件结构相同的构成要素用同一名称表示，使用符号201～282进行图示。与HMD10的硬件结构不同的点在于：不具备设置于HMD10的视线检测传感器168的点；和具备用于将终端通信模块250连接到3G、4G线路的电话网通信部253的点。此外，便携信息终端80中的内侧照相机224是指：在便携信息终端80中设置于与设置终端显示器281的面相同的面(前表面)的所谓的可进行自拍的照相机，是设置在外侧照相机223的背面的照相机。
图5是便携信息终端80的软件结构图。与HMD10的软件结构的相同的构成要素用同一名称表示，使用符号201～210c进行图示。与HMD10的软件结构不同的点在于：未设置画面移动中间件104b1的点；和具备作为与HMD10协作而使APP画面显示于HMD10的软件的移动对应APP204d的点。移动对应APP204d是安装于便携信息终端80的各个应用软件内的、具有使APP画面显示于HMD10的功能的应用软件，可以是地图导航APP、电子书APP等，移动对应APP的功能没有限定。在本实施方式中，使用移动对应APP204d进行说明，但各个APP也可以并不对应于画面移动，而是在便携信息终端80上执行画面移动中间件，使显示在便携信息终端80的终端显示器281上的画面显示于HMD10。
另外，移动对应APP204d可以匹配便携信息终端80、HMD10的显示能力、利用场景而准备高分辨率的显示、低分辨率的显示，也可以准备详细显示、简略显示等。
HMD10和便携信息终端80也可以经由近场无线通信、无线LAN连接。另外，既可以点对点地1对1通信，也可以经由云通信。
作为使APP画面从便携信息终端80移动到HMD10的方案，也可以捕捉显示于便携信息终端80的终端显示器281的APP画面并发送。在该情况下，移动静止图像。在捕捉画面的情况下，也可以定期地更新画面。另外，也可以便携信息终端80以及HMD10都预先储存移动对应APP204d，不通过使移动对应APP204d的动作协作来转送画面数据，而是使存储于HMD10的移动对应APP204d和存储于便携信息终端80的移动对应APP204d同步，将与终端显示器281的画面相同的内容的画面显示于HMD10的显示器2。进而，也可以通过流媒体等手段使视频显示从移动对应APP204d移动到HMD10。
参照图6～图11，说明HMD协作系统100的处理的概要。图6是示出HMD协作系统100的处理的流程的流程图。图7是示出第1实施方式所涉及的APP画面显示控制处理的流程的流程图。图8是示出视觉辨认区域和便携信息终端80的位置关系(APP画面不显示)的图。图9示出APP画面不显示时的经由显示器2的情景。图10是示出视觉辨认区域和便携信息终端80的位置关系(APP画面显示)的图。图11示出APP画面显示时的经由显示器2的情景。以下，依照图6的步骤顺序进行说明。
便携信息终端80以及HMD10都启动(S01、S02)。HMD10以及便携信息终端80既可以某一方先启动，也可以同时启动，在图6的说明中，设为便携信息终端80先启动。
从便携信息终端80对HMD10发出连接请求(S03)，链接确立(S04)。
在链接确立后，作为储存于便携信息终端80的应用软件的、便携信息终端80的移动对应APP204d启动(S05)，移动对应APP204d对HMD10发送表示移动对应APP204d已启动的APP启动通知(S06)。
接收到APP启动通知的HMD控制装置5使储存于HMD10的画面移动中间件104b1启动(S07)。
画面移动中间件104b1使HMD10的外侧照相机3开始拍摄，外侧照相机3开始向HMD控制装置5输出图像(S08)。外侧照相机3由于视角包括HMD10的使用者的视觉辨认区域，所以在本说明中，外侧照相机3的拍摄区域虚拟为HMD10的使用者M的视觉辨认区域。
HMD控制装置5执行使显示器2显示APP画面的处理(APP画面显示控制处理)(S09)。在第1实施方式中，将外侧照相机3的图像中是否拍摄有便携信息终端80用作APP画面的显示开始条件(触发)。
如图7所示，画面移动APP104d1取入外侧照相机3的图像(S091)，执行识别图像的被摄体(目标)是否为便携信息终端80的图像识别处理(S092)。图像识别处理的具体的算法有若干种，例如，用外侧照相机3预先拍摄便携信息终端80的前表面，将通过该拍摄得到的前表面图像预先保持为训练数据。然后，可以对来自外侧照相机3的图像进行被摄体提取处理，执行被摄体和训练数据的图案匹配处理，如果一致度为预先决定的阈值以上，则判断为便携信息终端80是被摄体。如果使用前表面图像，则还能够执行处理以使得：当在外侧照相机3的图像中以颠倒的方式拍摄有便携信息终端80、或者便携信息终端80侧倒、被置于隐蔽处而便携信息终端80的部分被遮蔽的情况下，不识别为被摄体是便携信息终端80。
在判断为被摄体是便携信息终端80时(S093/“是”)时，即在判断为如图8所示在视觉辨认区域内有便携信息终端80时，HMD控制装置5将画面移动标志的值设定为“0”(S094)，在显示器2中不显示APP画面。在该情况下，如图9所示，使用者M能够透过HMD10的显示器2视觉辨认便携信息终端80。因此，使用者M并非对显示于显示器2的APP画面进行视觉辨认，而是经由显示器2直接视觉辨认显示于终端显示器281的APP画面。
在判断为被摄体并非便携信息终端80(S093/“否”)时，即在判断为如图10所示在视觉辨认区域内无便携信息终端80时，HMD控制装置5将画面移动标志的值设定为“1”(S095)，在显示器2中显示APP画面。在该情况下，如图11所示，使用者M对显示于显示器2的APP画面进行视觉辨认。
在HMD10的显示器2显示APP画面的过程中，便携信息终端80的终端显示器281的APP画面可以不显示，也可以继续显示APP画面。便携信息终端80使APP画面显示或不显示、或者从显示迁移到休眠动作(设为不显示而使画面变暗的动作)的处理既可以通过便携信息终端80具有的画面控制功能执行，也可以使移动对应APP204d具有画面控制功能。
在满足APP画面控制处理的结束条件时(S096/“是”)，画面移动中间件104b1结束APP画面控制处理。如果不满足APP画面控制处理的结束条件(S096/“否”)，则返回到S091，反复从外侧照相机3取入图像。由此，只要在链接确立中不满足结束条件，则使用者M在佩戴HMD10而观察便携信息终端80时对便携信息终端80的实际的APP画面进行视觉辨认，在将便携信息终端80挪离视觉辨认区域、例如放下把持便携信息终端80的手或者将便携信息终端80放入口袋或包时，在HMD10中显示APP画面。
在满足APP画面控制处理的结束条件时，既可以解除HMD10与便携信息终端80的链接，也可以维持链接而仅使画面移动中间件104b1结束。由此，在再次对HMD10发送移动对应APP204d的启动通知时，能够立即开始APP画面的移动显示。
结束条件例如既可以是检测到使画面移动中间件104b1或者移动对应APP204d结束的操作，也可以是检测到便携信息终端80、HMD10的主电源断开(OFF)的操作。
在图6中，以便携信息终端80的移动对应APP204d为“主”、以画面移动中间件104b1为“从”进行了说明，但也可以以画面移动中间件104b1为“主”、以移动对应APP204d为“从”。或者，也可以使用两者都为“主”的通信控制方式。即，也可以在从画面移动中间件104b1对便携信息终端80发出连接请求而确立链接之后，从便携信息终端80向HMD10发送移动对应APP204d的启动通知。
<第2实施方式>
第2实施方式的APP画面的显示开始条件与第1实施方式不同。在第1实施方式中，作为显示开始条件，将外侧照相机3的图像中是否拍摄有便携信息终端80用作条件，也就是将使用者M的视觉辨认区域中是否包括便携信息终端80用作条件，但显示开始条件不限于此。图12是示出第2实施方式所涉及的APP画面显示开始条件的变化的图。
在第2实施方式中，将以下条件用作APP画面显示开始条件。
设定条件：已设为APP画面自动显示于HMD10的显示器2的设定？(S0911)。如果已设为自动显示的设定，则在视觉辨认区域内未包括APP画面的情况下，可以使APP画面显示于显示器2。
操作条件：检测到进行了设置于HMD10的主体按钮操作、遥控器操作、利用手势等的用户操作？(S0912)。可以在操作检测传感器检测到用户的操作时，使APP画面显示于显示器2。
体动条件：使用来自HMD10的陀螺传感器162和加速度传感器164的输出、从外侧照相机3和内侧照相机4输出的各图像来检测HMD10的活动，并将该活动虚拟为使用者的头部(头)的活动，从而判定是否检测到使用者的头部(头)的活动？(S0913)。关于体动条件，说明为在不显示状态下检测到头部的活动时迁移到显示的显示开始条件，但在显示有APP画面的状态下检测到头部的活动时，由于有时为了观察便携信息终端80也活动头部，所以在这种情况下，也可以用作从显示迁移到不显示的条件。在来自陀螺传感器162的输出中包含的角速度、来自加速度传感器164的输出中包含的加速度是为了判断为活动头部而设定的预定的阈值以上的情况下，HMD控制装置5使APP画面在显示器2中从显示迁移到不显示或者从不显示迁移到显示。另外，在使用图像的情况下，例如，也可以在前后不同的时间拍摄的图像的差分量是预定的阈值以上的情况下，判断为观察的场所发生变化、即为了观察其他场所而活动了头部，使APP画面在显示器2中从显示迁移到不显示或者从不显示迁移到显示。在图12中，以体动检测前是不显示为前提而进行了图示。
视线条件：检测到视线脱离了便携信息终端80？(S0914)。对外侧照相机3的图像执行图像识别处理，检测在图像的哪个区域中显示有便携信息终端80。外侧照相机3、内侧照相机4以及显示器2被固定于佩戴体1，所以在显示器2中预先标定包含于外侧照相机3的图像的各图像内的位置(像素位置)与显示器2的显示位置之间的关系，生成/存储外侧照相机位置匹配数据。
另外，视线检测传感器168从由内侧照相机4拍摄的图像中检测使用者的眼睛并追踪眼睛的位置的变化，从而检测视线的活动。因为还关联对应有内侧照相机4的图像内的位置和显示器2的显示位置的关系，所以预先生成/存储将它们关联起来的内侧照相机对位数据。
而且，通过分别将外侧照相机3的图像(拍摄有便携信息终端80)和内侧照相机4的图像(拍摄有使用者的眼睛)与外侧照相机对位数据和内侧照相机对位数据进行对照，从而检测使用者M的视线脱离便携信息终端80的情况。而且，也可以在便携信息终端80包含于视觉辨认区域并且视线处于终端显示器2上的情况下，使APP画面为不显示，在便携信息终端80未包含于视觉辨认区域并且视线未处于终端显示器2上的情况下，使APP画面显示于显示器2。在该情况下，在原本视觉辨认区域中未包括便携信息终端80的情况下，也可以使APP画面显示于显示器2。
如图12所示，画面移动中间件104b1在判断为满足设定条件(S0911)、操作条件(S0912)、体动条件(S0913)、视线条件(S0914)中的任意一个时(S0911～S0914/任意一个“是”)，将APP画面显示标志的值设定为1(S0916)，结束处理。另一方面，在判断为不满足任何一个显示开始条件(S0911～S0914)时(S0911～S0914/全部“否”)，将APP画面显示标志的值设定为0(S0915)，进入到判断是否满足APP画面控制处理的结束条件的处理(S0917)。上述各显示开始条件是否满足的判定顺序不限定于图12的顺序。另外，在图12中，在满足任意一个的情况下进入到步骤S0916，但也可以构成为在满足至少一个、即满足各条件中的任意一个或者满足多个条件的组合的情况下进入到步骤S0916。
根据本实施方式，能够使用与在第1实施方式中说明的在视觉辨认区域内有无便携信息终端80不同的显示开始条件进行APP画面的显示或者不显示的控制，所以能够提供符合使用目的、使用状况的操作环境，并且通过由使用者M进行条件设定，能够提供符合使用者M的喜好的操作环境。此外，在第2实施方式中，也可以将在视觉辨认区域内有无便携信息终端80组合为显示开始条件。
<第3实施方式>
第3实施方式是表示与APP画面的显示位置有关的变化的实施方式。关于将APP画面显示于HMD10的显示器2的哪个位置，考虑各种方案。以下进行列举。
(1)向设定位置的显示：可以将APP画面显示于显示器2的例如右端这样的预先决定的位置。另外，也可以由HMD控制装置5预先存储在上次结束APP画面显示控制处理(S09)时显示APP画面的位置，在接着再次开始APP画面显示控制处理(S09)时，使APP画面显示于上次的结束位置。
(2)向与APP的种类对应的位置的显示：可以根据移动对应APP204d的种类预先决定显示于显示器2的哪个位置。例如，如果是地图导航APP，则为了确保眼睛前的视野，可以在脱离视线中心的显示器2的右端或者左端显示APP画面。另一方面，如果是电子书APP，则在显示器2的中央显示APP画面等以便于读写，可以根据移动对应APP204d的功能，改变显示位置。
(3)视线追踪：也可以由视线检测传感器168根据内侧照相机4的图像持续监测使用者M的视线，并在显示器2和视线交叉的位置显示APP画面。例如，在移动对应APP204d是地图导航APP的情况下，在佩戴着HMD10进行步行时，在视线上显示地图，容易进行导航表示的道路与实际的道路的辨识，容易理解导航信息。
(4)关于处于HMD10的视场内的便携信息终端80脱离视场后的再显示的位置：图13是示出出镜(frame out)后的再显示位置的图。在如图13所示外侧照相机3生成沿着时间系列的多个帧(frame)而拍摄视频的情况下，将形成构成视频的帧的外边缘的各边、显示器2的各边a、b、c、d以及显示器2的小区域1、2、3、4预先对应起来。小区域1、2、3、4分别是与各边a、b、c、d邻接的区域。画面移动中间件104b1可以取得在第1帧中拍摄到的便携信息终端80在其后拍摄的第2帧中穿过哪个边(外边缘)而出镜，并在与该边对应起来的显示器2的小区域内显示APP画面。
例如如图13所示，在从外侧照相机3所拍摄的帧的上边出镜的情况下，使用者M看起来是从显示器2的边a出镜，所以APP画面显示于小区域1。另外，在从外侧照相机3所拍摄的帧的底边出镜的情况下，使用者M看起来是从显示器2的边c出镜，所以APP画面显示于小区域3。
另外，也可以取得便携信息终端80在即将要移动到显示器2以外之前显示的位置，并在该位置显示APP画面。
(5)APP画面的位置调整：也可以设置用于调整将APP画面移动到HMD10中之后的显示位置的单元。例如，也可以构成为：当在便携信息终端80的终端显示器281上进行滑动操作时，HMD10的显示器2的APP画面与滑动操作连动地改变显示器2内的显示位置。
根据本实施方式，能够根据使用用途、用户的喜好而调整APP画面的显示位置，所以能够提供视觉辨认性更高的HMD协作系统100。
<第4实施方式>
第4实施方式涉及在启动移动对应APP204d之后启动HMD10时的HMD首页画面的显示控制。图14是示出本实施方式中的HMD协作系统100的序列例子的图。图15是示出HMD10的画面迁移的图。
在HMD10进行通常启动的情况下，在显示器2中显示HMD10的首页画面1501，接下来显示与HMD10的处理有关的画面。
但是，在HMD协作系统100中，也可以如图14所示，在便携信息终端80启动后(S11)，移动对应APP204d启动(S12)，在发出连接请求(S13)、发送移动对应APP启动通知(S14)之后，在启动了HMD10的情况下(S15)，不显示首页画面1501，而从协作通知画面1502迁移到APP画面显示中画面1503、或者APP画面非显示中的待机画面1504。
即，在HMD启动(S15)中，在通常启动处理中，显示器2显示首页画面1501，但在收到移动对应APP启动通知而HMD10启动的情况下，之后继续进行HMD10和便携信息终端80的协作处理，所以不显示首页画面1501，而确立链接(S16)，启动画面移动中间件104b1(S17)。画面移动中间件104b1也可以接收链接确立而显示协作通知画面1502，并开始利用外侧照相机3进行拍摄(S18)，并使处理进入到APP画面显示控制处理(S19)。
在本实施方式中，设想如下使用场景：在操作便携信息终端80而开始使用移动对应APP204d之后，由想要在HMD10中进行画面协作的使用者M启动HMD10，但在该情况下，使用者M期望更早地在HMD10中显示APP画面。通过如上所述地不显示首页画面1501而显示协作通知画面1502，不会由于使使用者M看到不想看到的首页画面1501而造成不快感，能够缓和等待APP画面的显示的期间的焦虑感。
进而，作为用于缓和焦虑感的处理，也可以将协作通知画面1502也跳过而显示APP画面显示中画面1503。但是，在不满足APP画面显示开始条件的情况下，将不显示APP画面显示中画面1503，所以使用者M无法确认能否协作。因此，也可以在满足APP画面显示开始条件的情况下，在HMD10的启动后立即显示APP画面显示中画面1503，仅在不满足APP画面显示开始条件的情况下显示协作通知画面1502。在该情况下，画面移动中间件104b1也可以构成为：在步骤S17中不显示协作通知画面1502，在通过APP画面显示控制处理(S19)中的处理判断为在显示器2中不显示APP画面的情况下，显示协作通知画面1502。
根据本实施方式，在HMD协作系统100中，在不需要的情况下不显示HMD10的首页画面，能够缓和使用者M的焦虑感而提高便利性。
上述各实施方式不用于限定本发明，在不脱离本发明的要旨的范围内存在各种变更方案，它们也属于本发明的技术范围。例如，可以任意地组合上述第1～第4实施方式。

Claims (8)

1.一种头戴式显示器，其特征在于，具备：
显示器，设置于使用者的眼前的位置；
通信模块，在与便携信息终端之间进行通信连接；
照相机，设置在与所述使用者的头部相对的内侧；
视觉辨认区域检测传感器，输出状态数据，该状态数据用于判断在所述使用者的视觉辨认区域中是否包括所述便携信息终端；以及
控制装置，
所述控制装置根据所述状态数据判断在所述使用者的视觉辨认区域中是否包括所述便携信息终端，并进行根据利用所述照相机拍摄到的图像检测所述使用者的视线的视线检测处理，
所述控制装置进行控制，以使得在判断为在所述视觉辨认区域中不包括所述便携信息终端的情况下，将所述便携信息终端的显示画面图像显示在所述显示器的所检测出的所述使用者的视线位置。
2.根据权利要求1所述的头戴式显示器，其特征在于，
所述头戴式显示器包括陀螺传感器以及加速度传感器中的至少一个，
所述控制装置进行控制，以使得在来自所述陀螺传感器的输出所包含的角速度或者来自所述加速度传感器的输出所包含的加速度是预定的阈值以上的情况下，使所述显示器从显示所述显示画面图像迁移到不显示、或者从不显示所述显示画面图像迁移到显示。
3.根据权利要求1所述的头戴式显示器，其特征在于，
所述头戴式显示器还具备用于检测使用者的操作的操作检测部，
所述控制装置进行控制，以使得根据所述操作检测部检测出的操作，使所述显示器从显示所述显示画面图像迁移到不显示、或者从不显示所述显示画面图像迁移到显示。
4.根据权利要求1所述的头戴式显示器，其特征在于，
所述照相机设置在能够拍摄所述使用者的眼睛的活动的位置以及朝向上。
5.根据权利要求1所述的头戴式显示器，其特征在于，
所述显示画面图像是显示由所述便携信息终端执行的实现特定的功能的应用程序的执行状态的APP图像。
6.根据权利要求5所述的头戴式显示器，其特征在于，
所述显示器是透射型显示器，
所述应用程序是地图导航APP。
7.一种头戴式显示器协作系统，对头戴式显示器和便携信息终端进行通信连接而构成，其特征在于，
所述头戴式显示器具备：
显示器，设置于使用者的眼前的位置；
通信模块，在与便携信息终端之间进行通信连接；
照相机，设置在与所述使用者的头部相对的内侧；
视觉辨认区域检测传感器，输出状态数据，该状态数据用于判断在所述使用者的视觉辨认区域中是否包括所述便携信息终端；以及
头戴式显示器控制装置，
所述便携信息终端具备：
终端显示器，对显示画面图像进行显示；
终端通信模块，用于与所述头戴式显示器进行通信连接；以及
终端控制装置，
所述头戴式显示器控制装置根据所述状态数据判断在所述使用者的视觉辨认区域中是否包括所述便携信息终端，并进行根据利用所述照相机拍摄到的图像检测所述使用者的视线的视线检测处理，
所述头戴式显示器控制装置进行控制，以使得在判断为在所述视觉辨认区域中不包括所述便携信息终端的情况下，将所述便携信息终端的显示画面图像显示在所述显示器的所检测出的所述使用者的视线位置。
8.一种头戴式显示器协作方法，在与和头戴式显示器通信连接的便携信息终端之间执行，其特征在于，所述头戴式显示器协作方法包括如下步骤：
所述头戴式显示器从视觉辨认区域检测传感器获取状态数据，该状态数据用于判断佩戴所述头戴式显示器的使用者的视觉辨认区域中是否包括所述便携信息终端；
所述头戴式显示器进行视线检测处理，在该视线检测处理中，根据利用设置在与所述使用者的头部相对的内侧的照相机拍摄到的图像检测所述使用者的视线；以及
所述头戴式显示器在判断为在所述视觉辨认区域中不包括所述便携信息终端的情况下，将所述便携信息终端的显示画面图像显示在所述显示器的所检测出的所述使用者的视线位置。
CN202310255374.7A 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法 Pending CN116224596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310255374.7A CN116224596A (zh) 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201880091020.0A CN111837174B (zh) 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法
PCT/JP2018/024066 WO2020003361A1 (ja) 2018-06-25 2018-06-25 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法
CN202310255374.7A CN116224596A (zh) 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880091020.0A Division CN111837174B (zh) 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法

Publications (1)

Publication Number Publication Date
CN116224596A true CN116224596A (zh) 2023-06-06

Family

ID=68984758

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202310225795.5A Pending CN116224593A (zh) 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法
CN201880091020.0A Active CN111837174B (zh) 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法
CN202310249446.7A Pending CN116243486A (zh) 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法
CN202310255374.7A Pending CN116224596A (zh) 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202310225795.5A Pending CN116224593A (zh) 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法
CN201880091020.0A Active CN111837174B (zh) 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法
CN202310249446.7A Pending CN116243486A (zh) 2018-06-25 2018-06-25 头戴式显示器、头戴式显示器协作系统及其方法

Country Status (4)

Country Link
US (4) US11378805B2 (zh)
JP (4) JP6940702B2 (zh)
CN (4) CN116224593A (zh)
WO (1) WO2020003361A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238456B2 (ja) * 2019-02-21 2023-03-14 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
US10890992B2 (en) 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
US11150788B2 (en) * 2019-03-14 2021-10-19 Ebay Inc. Augmented or virtual reality (AR/VR) companion device techniques
WO2021181604A1 (ja) * 2020-03-12 2021-09-16 マクセル株式会社 情報端末装置、及びそのアプリケーション動作モード制御方法
US20230297447A1 (en) * 2020-06-02 2023-09-21 Maxell, Ltd. Information processing system, information processing method, and information processing terminal
JP6892960B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、情報処理システム、制御方法及びプログラム
CN116324740A (zh) * 2020-10-09 2023-06-23 麦克赛尔株式会社 便携终端和头戴式显示器及其协作显示系统
WO2022123723A1 (ja) * 2020-12-10 2022-06-16 マクセル株式会社 携帯端末および電子メガネ
EP4309374A1 (en) * 2021-04-19 2024-01-24 Meta Platforms Technologies, Llc Wrist-wearable device for automatically switching between video and other calling modes based on sensor data at the wrist-wearable device, head-worn wearable devices for use therewith and for coordinated video capturing with the wrist-wearable device, and methods of use thereof
JPWO2023276109A1 (zh) * 2021-07-01 2023-01-05
EP4339873A4 (en) * 2021-11-09 2024-05-01 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE
US20230305788A1 (en) * 2022-03-08 2023-09-28 Google Llc Multi-device awareness for casting and content delivery
US11935201B2 (en) * 2022-04-28 2024-03-19 Dell Products Lp Method and apparatus for using physical devices in extended reality environments
CN115633244B (zh) * 2022-10-17 2023-06-30 元化智能科技(深圳)有限公司 图像数据传输方法和图像数据传输设备
WO2024087088A1 (zh) * 2022-10-27 2024-05-02 京东方科技集团股份有限公司 一种基于抖动算法的图像处理方法及显示设备

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
US20070233759A1 (en) * 2006-03-28 2007-10-04 The Regents Of The University Of California Platform for seamless multi-device interactive digital content
JP2008059511A (ja) * 2006-09-04 2008-03-13 Brother Ind Ltd 携帯端末装置及びヘッドマウントディスプレイを用いた電子メール閲覧システム及び電子メール閲覧方法
JP5681850B2 (ja) * 2010-03-09 2015-03-11 レノボ・イノベーションズ・リミテッド（香港） ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
JP2012002568A (ja) * 2010-06-15 2012-01-05 Brother Ind Ltd ナビゲーションシステム、携帯機器及び携帯機器用プログラム
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5757750B2 (ja) * 2011-02-28 2015-07-29 オリンパス株式会社 頭部装着型表示装置及びクライアント装置
JP2012203128A (ja) 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5834439B2 (ja) 2011-03-24 2015-12-24 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US8823740B1 (en) * 2011-08-15 2014-09-02 Google Inc. Display system
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
KR101861380B1 (ko) * 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
JP6047822B2 (ja) * 2013-03-14 2016-12-21 シャープ株式会社 情報処理装置、情報処理方法及びプログラム
KR102063076B1 (ko) * 2013-07-10 2020-01-07 엘지전자 주식회사 모바일 디바이스, 헤드 마운트 디스플레이 및 제어 방법
US9466266B2 (en) * 2013-08-28 2016-10-11 Qualcomm Incorporated Dynamic display markers
JP6492419B2 (ja) 2014-05-23 2019-04-03 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置
EP2894508A1 (en) * 2013-12-31 2015-07-15 Thomson Licensing Method for displaying a content through either a head mounted display device or a display device, corresponding head mounted display device and computer program product
JP5929933B2 (ja) 2014-01-16 2016-06-08 カシオ計算機株式会社 表示システム、表示端末、表示方法及びプログラム
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
EP3057089A4 (en) 2014-01-20 2017-05-17 Sony Corporation Image display device and image display method, image output device and image output method, and image display system
WO2015189987A1 (ja) * 2014-06-13 2015-12-17 日立マクセル株式会社 ウェアラブル型情報表示入力システム及びそれに用いる携帯型情報入出力装置および情報入力方法
WO2016006070A1 (ja) 2014-07-09 2016-01-14 日立マクセル株式会社 携帯情報端末装置及びそれと連携するヘッドマウントディスプレイ
JP2016119019A (ja) * 2014-12-24 2016-06-30 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP6507827B2 (ja) * 2015-04-28 2019-05-08 京セラドキュメントソリューションズ株式会社 表示システム
US10591729B2 (en) 2015-05-29 2020-03-17 Kyocera Corporation Wearable device
US20160378176A1 (en) * 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
CN105183156B (zh) 2015-08-31 2019-03-12 小米科技有限责任公司 屏幕控制方法及装置
WO2017047178A1 (ja) 2015-09-16 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN112667190A (zh) 2015-12-18 2021-04-16 麦克赛尔株式会社 头戴式显示器装置
JP6724931B2 (ja) * 2016-02-12 2020-07-15 富士通株式会社 画面解像度調整システム、表示制御システム、画面解像度調整方法、及び表示制御方法
JP2017174018A (ja) 2016-03-22 2017-09-28 Ｌｉｎｅ株式会社 表示制御方法、プログラム、及び端末
WO2018112838A1 (zh) * 2016-12-22 2018-06-28 深圳市柔宇科技有限公司 头戴式显示设备及其视觉辅助方法
JP6392945B1 (ja) * 2017-07-19 2018-09-19 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
CN109491496A (zh) * 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
CN108108022B (zh) * 2018-01-02 2021-05-18 联想(北京)有限公司 一种控制方法及辅助成像装置

Also Published As

Publication number Publication date
JP2023052278A (ja) 2023-04-11
JP2024014883A (ja) 2024-02-01
US20230130220A1 (en) 2023-04-27
CN116224593A (zh) 2023-06-06
US11378805B2 (en) 2022-07-05
CN116243486A (zh) 2023-06-09
CN111837174B (zh) 2023-03-28
US11921293B2 (en) 2024-03-05
JP7379734B2 (ja) 2023-11-14
US20220291512A1 (en) 2022-09-15
JP6940702B2 (ja) 2021-09-29
JP2021192116A (ja) 2021-12-16
CN111837174A (zh) 2020-10-27
US20210255461A1 (en) 2021-08-19
JPWO2020003361A1 (ja) 2021-03-11
US20240151976A1 (en) 2024-05-09
WO2020003361A1 (ja) 2020-01-02
JP7209786B2 (ja) 2023-01-20
US11567333B2 (en) 2023-01-31

Similar Documents

Publication Publication Date Title
CN111837174B (zh) 头戴式显示器、头戴式显示器协作系统及其方法
US9332208B2 (en) Imaging apparatus having a projector with automatic photography activation based on superimposition
EP3076659B1 (en) Photographing apparatus, control method thereof, and non-transitory computer-readable recording medium
US8730335B2 (en) Imaging apparatus and imaging system
US11006030B2 (en) Method and electronic device for acquiring image by using camera comprising driving apparatus capable of rotating mirror
US9094597B2 (en) Imaging apparatus and imaging system
US20120307080A1 (en) Imaging apparatus and imaging system
EP3661189A1 (en) Electronic device capable of controlling image display effect, and method for displaying image
EP3076660B1 (en) Method and apparatus for displaying framing information
US20160212318A1 (en) Information processing device, information processing method, and program
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
US11533430B2 (en) Image capturing device with display control, image communication system, and method for display control, and recording medium
KR20200093760A (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
US20210258484A1 (en) Image capturing device, image communication system, and method for display control
EP2819409A1 (en) Terminal device, image capture system, and image capture method
CN116820229A (zh) Xr空间的显示方法、xr设备、电子设备及存储介质
JP2017011710A (ja) 撮像装置及び撮像システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination