CN104781873A - 图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序 - Google Patents

图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序 Download PDF

Info

Publication number
CN104781873A
CN104781873A CN201380058073.XA CN201380058073A CN104781873A CN 104781873 A CN104781873 A CN 104781873A CN 201380058073 A CN201380058073 A CN 201380058073A CN 104781873 A CN104781873 A CN 104781873A
Authority
CN
China
Prior art keywords
image
mobile device
head
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380058073.XA
Other languages
English (en)
Other versions
CN104781873B (zh
Inventor
高桥巨成
楢原立也
佐古曜一郎
高井基行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104781873A publication Critical patent/CN104781873A/zh
Application granted granted Critical
Publication of CN104781873B publication Critical patent/CN104781873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Remote Sensing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本发明的目的是允许在头戴显示器中显示和享受利用安装在无线电控制车辆上的摄影机拍摄的第一人视点图像。当利用头戴显示器(110)显示由安装在移动设备(120)上的摄影机单元(605)拍摄的全天空图像时，CPU(601)通过移动观看的显示区域使得消除由姿势/位置检测单元(604)检测的用户头部的运动，来呈现跟随用户头部的运动的图像。在头戴显示器(110)一侧，执行其中作为虚拟图像信息的AR图像叠加在观看的显示区域内的实际图像上的合成图像的显示。

Description

图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序
技术领域
本说明书中公开的技术涉及安放在用户的头部或脸部并且用于观看图像的图像显示装置、图像显示方法；在移动的同时拍摄待观看的图像的移动装置、图像显示系统、以及计算机程序。更具体地，本技术涉及用于观看通过外部摄影机(camera)拍摄的图像(诸如全天空图像、鱼眼图像、和全景图像)的图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序。
背景技术
安放在头部或脸部上并且用于观看图像的头戴显示器或图像显示装置是熟知的。在头戴显示器中，为右眼和左眼的每一个设置显示单元，并且通过虚拟图像光学系统形成显示图像的放大的虚拟图像，使得用户能够具有真实感地观看图像。如果头戴显示器在安放在用户头部上时被设计成完全阻挡外部世界，则增强在观看期间的沉浸感。头戴显示器也可为右眼和左眼显示不同的图像，并且可通过为右眼和左眼显示具有视差的图像来呈现3D图像。
利用头戴显示器，可观看广视角图像。例如，公开了一种具有附接至用户头部的陀螺仪传感器的头戴显示器，利用其能够享受跟随他/她的头部而运动的全空间360度图像(例如，参见专利文献1和专利文献2)。移动显示区域，从而通过陀螺仪传感器检测头部的偏移运动。以这种方式，能够呈现跟随用户的头部而运动的图像。
同样，具有被开发为使用户能够利用头戴显示器观看通过外部摄影机拍摄的实况图像的应用。例如，公开了一种图像显示系统，其中，通过安装在除了人之外的移动物体(诸如无线电控制模型)上的成像设备实际拍摄的图像显示在用户佩带的显示设备上(例如，参见专利文献3)。
还具有已知为使用户能够在观看通过安装在无线电控制模型上的无线摄影机拍摄的第一人视点(飞行员视点)图像的同时控制直升机的无线电控制模型等的FPV(第一人视角(First Person Viewing))技术。
例如，公开了一种航空成像系统，其中，拍摄周围环境图像的全方位摄影机和测量全方位摄影机至地面的海拔高度的激光测距仪安装在具有通过飞行控制设备控制的飞行海拔高度和飞行速度的小尺寸的直升机上，并且基于通过激光测距仪测量的海拔高度在预定的海拔高度处利用全方位摄影机执行航空成像(例如，参见专利文献4)。通过全方位摄影机拍摄的图像能够经由通信网络传输到外部计算机。
此外，公开了一种网络系统，其中，配备有中和长距离三维立体摄影机和短距离三维立体摄影机的无线电控制模型车辆传输三维结合的图像，并且在控制器的一侧显示三维结合的图像(例如，参见专利文献5)。
同样，公开了一种网络系统，其在控制器的一侧接收通过拍摄前方风景图像的模型装置生成的图像以及关于模型装置的位置和方位的信息，并且根据位置和方位生成并且显示虚拟图像(例如，参见专利文献6)。
现有技术文献
专利文献
专利文献1:JP 9-106322A
专利文献2:JP 2010-256534A
专利文献3:JP 2008-147865A，段落[0024]至[0026]
专利文献4:JP 2011-183824A
专利文献5:JP 2012-151800A
专利文献6:JP 2012-143447A
发明内容
本发明要解决的问题
在本说明书中公开的技术旨在提供优异的并且能够用于观看通过外部摄影机拍摄的图像(诸如全天空的图像、鱼眼图像、和全景图像)的图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序。
在本说明书中公开的技术进一步旨在提供优异的图像显示装置，其能够适当地显示通过安装在移动装置(诸如无线电控制模型)上的摄影机拍摄的第一人视点图像(first-person viewpoint image)；并且还提供图像显示方法、移动装置、图像显示系统、以及计算机程序。
解决问题的技术方案
鉴于以上问题做出本申请，在权利要求1中公开的技术是包括以下部分的图像显示装置：
显示单元，安放在用户头部上；
姿势检测单元，检测头部的姿势；以及
显示控制单元，基于头部的姿势控制在显示单元上图像的显示，该图像通过移动装置拍摄。
根据在本申请的权利要求2中公开的技术，权利要求1的图像显示装置的显示控制单元从通过移动装置拍摄的广角图像裁剪与头部姿势对应的区域，并且在显示单元上显示裁剪的区域。
根据在本申请的权利要求3中公开的技术，当显示通过深焦平行方法在多个视点处拍摄的多个视点图像时，权利要求1的图像显示装置的显示控制单元基于移动物体的移动速度调整视点图像之间的汇聚点。
根据在本申请的权利要求4中公开的技术，权利要求1的图像显示装置的显示控制单元在显示单元上显示具有与缩放操作对应的视点间距离的图像。
根据在本申请的权利要求5中公开的技术，权利要求1的图像显示装置相对于头部的姿势沿平移、倾斜、和转动方向中的至少一个偏置移动装置的摄影机单元的视线方向。
根据在本申请的权利要求6中公开的技术，权利要求1的图像显示装置进一步包括：
操作感觉反馈单元，通过触觉或振动向用户反馈操作感觉，
其中，向用户的反馈基于移动装置移动的同时经受的加速度。
根据在本申请的权利要求7中公开的技术，在显示图像之前，权利要求1的图像显示装置的显示控制单元在通过移动装置拍摄的真实世界图像上叠加AR图像。
根据在本申请的权利要求8中公开的技术，权利要求7的图像显示装置的显示控制单元显示与移动装置当前位置、包括在所拍摄的图像中的物体、和移动装置的状态中的至少一个对应的AR图像。
根据在本申请的权利要求9中公开的技术，权利要求1的图像显示装置的显示控制单元显示关于移动装置和用户的位置信息。
根据在本申请的权利要求10中公开的技术，权利要求1的图像显示装置的显示控制单元进一步显示通过自动追踪器拍摄到的图像，自动追踪器在追踪移动装置的同时拍摄图像。
根据在本申请的权利要求11中公开的技术，权利要求1的图像显示装置进一步包括自视线(self-sight-line)图像获取单元(其获取沿用户视线看到的自视线图像)。显示控制单元在通过移动装置拍摄的移动物体视线图像与自视线图像之间切换显示的图像。
根据在本申请的权利要求12中公开的技术，权利要求1的图像显示装置的显示控制单元根据头部的姿势在从移动装置的多个视点位置拍摄的图像之间切换显示的图像。
根据在本申请的权利要求13中公开的技术，权利要求1的图像显示装置的显示控制单元在显示图像之前校正在通过移动装置拍摄到的移动图像中的晃动。
在本申请的权利要求14中公开的技术是包括以下步骤的图像显示方法：
检测用户头部姿势的姿势检测步骤；以及
基于头部的姿势控制图像显示的显示控制步骤，该图像通过移动装置拍摄。
在本申请的权利要求15中公开的技术是包括以下部分的图像显示系统：
移动装置，在移动的同时拍摄图像；以及
图像显示装置，根据用户头部的姿势显示通过移动装置拍摄的图像。
应当注意，术语“系统”是指设备的逻辑组件(或实现具体功能的功能化模块)，并且相应的设备或功能化模块不一定在单个壳体中。
在本申请的权利要求16中公开的技术是包括以下部分的移动装置：
摄影机单元；
摄影机平台，控制摄影机单元的视线方向；
移动单元，移动该装置；以及
通信单元，传递包括由摄影机单元拍摄的图像的数据，
其中，摄影机单元包括通过深焦平行方法执行成像的多个摄影机，该摄影机具有不同的视点。
根据在本申请的权利要求17中公开的技术，权利要求16的移动装置在改变具有不同视点的摄影机之间的视点间距离的同时拍摄全天空图像。
根据在本申请的权利要求18中公开的技术，权利要求16的移动装置从通过以彼此固定的视点间距离的具有不同的视点的摄影机拍摄的图像外推在摄影机视点外部的图像。
在本申请的权利要求19中公开的技术是以计算机可读格式编写的计算机程序，
计算机程序使计算机作用用作：
姿势检测单元，检测用户头部的姿势；以及
显示控制单元，基于头部的姿势控制图像的显示，该图像通过移动装置拍摄。
根据本申请的权利要求19所述的计算机程序限定以计算机可读格式编写的计算机程序从而实现计算机中的预定处理。换言之，当根据本申请的权利要求19所述的计算机程序安装到计算机时，在计算机中实现协作动作，并且能够实现与根据本申请的权利要求1所述的图像显示装置相同的效果。
发明效果
在本说明书中公开的技术提供了一种优异的图像显示装置，其能够通过在放置在用户眼镜前方的屏幕上显示由安装在移动装置(诸如无线电控制模型)上的摄影机拍摄到的第一人视点图像来呈现具有真实感的图像；并且还提供了图像显示方法、图像显示系统、移动装置、以及计算机程序。
通过参考附图的以下描述的实施方式和具体实施方式，本说明书中公开的其他目的、特征、和优点将变得显而可见。
附图说明
[图1]图1是示意性地示出根据本说明书中公开的技术的实施方式的图像显示系统100的构造的示图。
[图2]图2是佩带头戴显示器110的用户的前视图。
[图3]图3是佩带图2中示出的头戴显示器110的用户的俯视图。
[图4]图4是示出头戴显示器110的实例内部结构的示图。
[图5]图5是示出在通过姿势/位置检测单元404检测的姿势中的坐标系统的示图。
[图6]图6是示出移动装置120的实例内部结构的示图。
[图7]图7是示意性地示出用于利用头戴显示器110显示在移动装置120一侧拍摄的图像的控制单元401的功能结构的示图。
[图8A]图8A是示出安装摄影机单元605使得摄影机平台606能够沿转动、倾斜、和平移的相应方向控制视线的情况的示图。
[图8B]图8B是示出在组成立体摄影机的左眼摄影机和右眼摄影机之间的距离是可变的情况的示图。
[图8C]图8C是示出主摄影机801安装在作为汽车的移动装置120-2的主框架上、并且副摄影机802安装在主摄影机801后面的情况的示图。
[图9]图9是示出在显示面板409上显示的显示区域的位置和姿势根据用户头部的运动而移动的情况的示图。
[图10]图10是示出在头戴显示器110的一侧显示诸如在移动装置120的一侧拍摄的全天空图像的广角图像的实例操作顺序的示图，广角图像被制成为跟随用户头部的姿势。
[图11]图11是示出在头戴显示器110的一侧显示诸如在移动装置120的一侧拍摄的全天空图像的广角图像的操作顺序的变形的示图，广角图像被制成为跟随用户头部的姿势。
[图12A]图12A是用于解释当在头戴显示器110的一侧显示三维拍摄的图像时基于关于移动装置120的速度信息控制汇聚点的方法的示图。
[图12B]图12B是用于解释当在头戴显示器110的一侧显示三维拍摄的图像时基于关于移动装置120的速度信息控制汇聚点的方法的示图。
[图12C]图12C是用于解释当在头戴显示器110的一侧显示三维拍摄的图像时基于关于移动装置120的速度信息控制汇聚点的方法的示图。
[图13A]图13A是用于解释在根据缩放操作改变视点间距离d的同时拍摄三维图像的方法的示图。
[图13B]图13B是用于解释在根据缩放操作改变视点间距离d的同时拍摄三维图像的方法的示图。
[图14]图14是示出头部向上倾斜、并且安装在移动装置120-2上的摄影机单元605也向上倾斜的情况的示图。
[图15]图15是示出安装在移动装置120-2上的摄影机单元605的倾斜轴固定在从用户头部的倾斜轴向上旋转Δθy的位置的情况的示图。
[图16]图16是示出摄影机单元605的坐标系相对于用户头部的坐标系沿平移、倾斜、和旋转的相应方向偏置的情况的示图。
[图17]图17是示出关于用户的位置信息在显示通过移动装置120拍摄的图像的屏幕中显示为小屏幕的情况的示图。
[图18]图18是示出在大屏幕上显示关于用户的位置信息、并且在小屏幕上显示拍摄的图像的情况的示图。
[图19]图19是示出显示关于用户位置信息的实例的示图。
[图20]图20是示出显示关于用户位置信息的实例的示图。
[图21]图21是示出了配备有摄影机2101的自动追踪器2100追踪在上空飞行的移动装置120-1的后方的情况的示图。
[图22]图22是示出通过自动追踪器2100的摄影机2101从后方拍摄的移动装置120-1的图像的实例的示图。
[图23]图23是示出通过作为汽车的移动装置120-2拍摄的车视线图像的实例的示图。
[图24]图24是示出佩带头戴显示器110的用户利用他/她的眼睛跟随运行的移动装置120-3的情况的实例的示图。
[图25]图24是示出利用他/她的眼睛跟随移动装置120-3的用户的自视线图像的实例的示图，该自视线图像通过外部摄影机413拍摄。
[图26]图26是示出在不同的视点位置通过移动装置120拍摄的图像的实例布局的示图。
[图27]图27是示出观察到的图像根据用户头部的向上和向下倾斜具有梯形失真的情况的示图。
[图28]图28是示出在由移动装置120-2拍摄的车视线图像(真实世界)上显示虚拟障碍物2801和禁区2802的AR图像的情况的示图。
具体实施方式
以下参考附图详细说明在本说明书中公开的技术的实施方式。
A.系统构造
图1示意性地示出了根据本说明书中公开的技术的实施方式的图像显示系统100的构造。在附图中示出的图像显示系统100包括图像显示装置(头戴显示器)110，安放在用户的头部或脸部上；移动装置120-1、120-2、120-3等，其是飞机(或直升机或一些其他飞行物体)、汽车、船舶等的移动模型；以及控制器130，无线控制移动装置120。移动装置120-1、120-2、120-3等的每一个配备有无线摄影机(未示出)，并且在移动的同时拍摄风景的图像。控制器130可以是诸如智能电话的多功能信息终端，并且启动用于控制移动装置120的应用。
头戴显示器110和移动装置120、控制器130和移动装置120经由无线网络或红外通信等无线连接。
移动装置120的每一个经由摄影机平台配备有无线摄影机(未示出)，该摄影机平台能够相对于平移、倾斜和摇摆的相应轴改变其姿势。该无线摄影机能够拍摄全天空图像或全天球图像、或诸如半天空图像和较小图像的全景图像。可替换地，无线摄影机能够使用鱼眼镜头执行广角成像。
移动装置120将利用无线摄影机拍摄的图像传输至控制器130和头戴显示器110。然而，在拍摄的图像能够在头戴显示器110和移动装置120之间直接传递的情况下，移动装置120不需要将拍摄的图像转移至控制器130，并且在控制器130和头戴显示器110之间的无线连接不是必要的。在以下描述中，假设在头戴显示器110和移动装置120之间能够直接执行数据通信，将不详细地描述控制器130。
虽然在图1中示出的实例中佩带头戴显示器110的用户利用控制器130控制移动装置120，但是与利用头戴显示器110享受从移动装置120发送的拍摄图像的用户不同的人可利用控制器130控制移动装置120。
图2是佩带头戴显示器110的用户的前视图。在附图中示出的头戴显示器110是具有类似于一对眼镜的形状的结构，并且被设计成直接覆盖佩带头戴显示器110的用户的右眼和左眼。在面向右眼和左眼的头戴显示器110的主框架的内侧的位置处，设置用户观察的显示面板(在图2中未示出)。利用诸如有机EL设备或液晶显示器的微显示器形成显示面板。
几乎在具有类似眼镜形状的头戴显示器110的主框架的前表面的中心处，设置用于输入周围环境图像(用户的视觉)的外部摄影机413。此外，麦克风201和202分别设置在支撑构件的右端和左端附近。当设置两个麦克风201和202时，仅位于中心的语音(用户的语音)被识别并且能够与其他人的语音和外界噪声分开。例如，能够防止在语音输入操作期间的不正确的操作。
图3是佩带在图2中示出的头戴显示器110的用户的俯视图。在附图中示出的头戴显示器110在面向用户脸部的侧表面上具有用于左眼和右眼的显示面板。显示面板形成有诸如有机EL设备或液晶显示器的微显示器。在右和左显示面板上显示的图像利用用户的右眼和左眼被观察为放大的虚拟图像，用户的右眼和左眼穿过相应的虚拟图像光学单元。因为眼睛高度和瞳孔距离在不同的个人之间改变，所以在相应的右和左显示系统与用户眼睛之间需要执行定位。在图3中示出的实施例中，在用于右眼的显示面板和用于左眼的显示面板之间设置瞳距调整机构。
图4示出了头戴显示器110的实例内部结构。以下是相应部件的描述。
控制单元401包括ROM(只读存储器)401A和RAM(随机存取存储器)401B。ROM 401A存储通过控制单元401实行的程序代码、和各种类型的数据。通过实行加载到RAM 401B的程序，控制单元401开始图像显示控制，并且共同控制整个头戴显示器110的操作。存储在ROM 401A中的数据和程序的实例包括图像显示控制程序、用于处理与诸如移动装置120和控制器130的外部设备的通信的程序、以及对该装置110唯一的识别信息。例如，图像显示控制程序用于对从移动装置120接收的拍摄的图像执行显示控制，并且随后将详细地描述。
输入操作单元402包括一个或多个操作块(operation piece)(用户利用其执行输入操作)，诸如按键、按钮、或开关。输入操作单元402经由操作块接收用户指令，并且将用户指令输出至控制单元401。输入操作单元402也接收利用由远程控制接收单元403接收的远程控制命令形成的用户指令，并且将该用户指令也输出至控制单元401。
姿势/位置检测单元404是检测佩带头戴显示器110的用户头部姿势的单元。利用陀螺仪传感器、加速度传感器、GPS(全球定位系统)传感器、或地磁传感器形成姿势/位置检测单元404。可替换地，考虑到相应传感器的优点和缺点，利用那些传感器的两个或更多个的组合形成姿势/位置检测单元404。
图5示出了在通过姿势/位置检测单元404待检测的姿势中的坐标系。显示图像(放大的虚拟图像)的深度方向是z轴，水平方向是y轴，垂直方向是x轴，并且x轴、y轴、和z轴的原点位置是视点位置。因此，转动(roll)θz相当于用户头部绕z轴的运动，倾斜θy相当于用户头部绕y轴的运动，并且平移(pan)θx相当于用户头部绕x轴的运动。姿势/位置检测单元404检测用户头部沿转动、倾斜、和平移的相应方向的运动(θz、θy、和θx)、以及头部的平行运动，并且然后将运动输出至控制单元401。如以后将描述的，当在显示面板409的屏幕上显示通过移动装置120拍摄的图像时，控制单元401能够通过移动显示区域从而偏置通过姿势/位置检测单元404检测的头部运动来呈现跟随用户头部运动的图像。
状态检测单元411获取关于佩带头戴显示器110的用户状态的状态信息，并且将状态信息输出至控制单元401。例如，获得用户的操作状态(用户是否佩带头戴显示器110)、用户的动作状态(诸如休息状态、行走状态、或跑步状态的运动状态、眼皮的睁开/闭合状态、或视线的方向)、精神状态(兴奋水平、清醒、感觉、或情感，诸如用户是否投入或集中注意力观察显示图像)、以及生理状态作为状态信息。为了获取来自用户的状态信息，状态检测单元411可包括各种类型的状态传感器(未示出)，诸如由机械开关等形成的附接传感器、陀螺仪传感器、加速度传感器、速度传感器、压力传感器、身体温度传感器、排汗传感器、肌电电位传感器、眼电位传感器、以及脑电波传感器。
操作感觉反馈(FB)单元412包括振动生成器等，并且通过触觉或振动将操作感觉反馈给佩带头戴显示器110的用户。
外部摄影机413几乎放置在具有类似眼镜形状或类似帽子形状(参见图2)的头戴显示器110的主框架前表面的中心处，并且能够拍摄周围环境的图像。同样，根据通过状态信息检测单元411检测的用户视线的方向执行外部摄影机413的沿平移、倾斜、和转动方向的姿势控制，使得能够利用外部摄影机413拍摄在用户视线水平上的图像。此外，能够利用外部摄影机413测量移动装置120的相对速度。
通信单元405执行与诸如移动装置120和控制器130的外部设备的通信处理，并且也执行对通信信号的编码/解码处理和调制/解调处理。例如，通信单元405从移动装置120接收通过无线摄影机拍摄的图像。通过通信单元405接收、解调、并且解码的图像、或其他接收的数据供应给控制单元401。控制单元401还通过通信单元405发送待传输到外部设备的数据。
通信单元405能够具有任何结构。例如，可根据在与外部设备(与其执行通信)的传输/接收操作中使用的通信标准设计通信单元405。通信标准可以是有线通信或无线通信。在此，例如，通信标准可以是MHL(移动高清链接)、USB(通用串行总线)、HDMI(注册商标)(高清晰度多媒体接口)、Wi-Fi(注册商标)、蓝牙(注册商标)通信、或红外通信。
存储单元406是由SSD(固态驱动)等形成的大容量存储器。存储单元406存储将通过控制单元701执行的应用程序、以及通过移动装置120拍摄的全天空图像、鱼眼图像、全景图像等的数据。
图像处理单元407进一步对从控制单元401输出的图像信号执行诸如图像质量校正的信号处理，并且将图像信号的分辨率转换为与显示面板409的屏幕一致的分辨率。显示驱动单元408逐行顺序地选择显示面板409的像素，并且对像素执行行顺序扫描，以基于经受信号处理的图像信号提供像素信号。
由诸如有机EL(电致发光)设备或液晶显示器的微显示器形成显示面板409。虚拟图像光学单元410放大在显示面板409上显示的图像，并且将图像投影为用于用户观看的放大的虚拟图像。
例如，虚拟图像光学单元410以1000以上的放大倍率放大在显示面板409上显示的图像，并且在视网膜上形成距离用户眼睛20米的接近750英寸的虚拟图像。这相当于沿所显示的像素的水平视角的45.09度。
图6示出了移动装置120的实例内部结构。如图1所示，移动装置120是诸如飞机、直升机、汽车、船舶等的移动物体的模型，并且在移动机构单元603方面基本不同，而在其他功能方面基本上相同。
通过诸如RAM或ROM的存储器设备、和诸如硬盘驱动器或SSD的大容量存储器实现存储单元602。存储单元602用于存储通过CPU(中央处理单元)601执行的程序、和通过摄影机拍摄的图像。CPU 601通过执行存储单元602中存储的程序来控制移动装置120中的相应部件。
移动装置120具有移动机构单元603，其根据诸如飞机、直升机、汽车、或船舶的移动物体类型而改变；并且移动机构单元603根据来自CPU601的移动指令激活，并且移动移动装置120。
位置/姿势/速度检测单元604包括陀螺仪传感器、加速度传感器、GPS传感器、地磁传感器等，并且获取关于移动装置120的当前位置和姿势的信息、和关于通过移动机构单元603引起的移动速度的信息。在作为汽车的移动装置120-2的情况下，例如，位置/姿势/速度检测单元604能够从旋转车轮的电动机的转数、减速器的变速比、和轮胎的直径计算移动速度。如果在装运之前测量这些数值，并且数据存储在存储单元602中，则能够通过在使用时测量电动机的旋转数来简单地计算速度。
例如，摄影机单元605由立体摄影机形成并且能够拍摄三维图像。摄影机单元605经由摄影机平台606安装在移动装置120上。在默认位置处的摄影机单元605相对于移动装置120面向前(或面向通过移动机构单元603的操作引起的移动的方向)，并且主要拍摄第一人视点(FPV)图像。
摄影机平台606能够沿转动、倾斜、和平移的相应方向操作，并且根据来自CPU 601的视线改变指令改变摄影机单元605的视线。因此，摄影机单元605能够拍摄诸如全景图像、和全天空图像的广角图像。图8A示出了摄影机单元605被安装为使得摄影机平台606能够沿转动、倾斜、和平移的相应方向控制视线的情况。
摄影机单元605能够调整形成立体摄影机的两个摄影机之间的视点间的距离d。图8B示出了组成立体摄影机的左眼摄影机和右眼摄影机之间的视点间的距离d是可变的情况。在这个实施方式中，在左眼摄影机和右眼摄影机之间没有汇聚，并且相应的视线几乎是平行的。更优选地，左眼摄影机和右眼摄影机使用深焦，或通过增加物体的深度执行成像。
摄影机单元605可由两个以上的摄影机形成，诸如拍摄第一人视点图像的主摄影机、和从移动装置120的主框架后执行成像的辅助摄影机。图8C示出了主摄影机801安装在作为汽车的移动装置120-2的主框架上、并且辅助摄影机802安装在主摄影机801后方的情况。
通信单元607执行与诸如头戴显示器110和控制器130的外部设备的通信处理，并且也执行对通信信号的编码/解码处理和调制/解调处理。例如，当通信单元607接收到来自控制器130的移动指令时，CPU 601指示移动机构单元603移动。通信单元607还将通过摄影机单元605拍摄的图像、关于通过位置/姿势检测单元604检测的移动装置120的主框架的姿势和位置的信息传输至头戴显示器110和控制器130。
在根据该实施方式的图像显示系统100中，通过安装在移动装置120上的摄影机单元605拍摄的图像经由控制器130传递或直接传递至头戴显示器110。因此，用户能够利用头戴显示器110享受从移动装置120发送的所拍摄的图像。
同样，在根据该实施方式的图像显示系统100中，当利用头戴显示器110再现并且显示诸如通过安装在移动装置120上的摄影机单元605拍摄的诸如全景图像、和全天空图像的广角图像时，CPU 601移动显示区域(display field)，从而偏置通过姿势/位置检测单元604检测到的用户头部的运动。以这种方式，显示跟随用户头部运动的图像。在头戴显示器110的一侧，根据需要显示通过将作为虚拟图像信息的AR(增强现实)图像叠加在显示区域中的实际图像上而生成的组合图像。
图7示意性地示出了用于利用头戴显示器110显示在移动装置120一侧拍摄的图像的控制单元401的功能结构。例如，通过执行预定应用程序的控制单元401实现在附图中示出的功能结构。
显示区域控制单元701根据通过姿势/位置检测单元404检测的用户头部运动移动在显示面板409上显示的显示区域的位置和姿势(参见图5)，并且将确定的显示区域输出至图像裁剪单元702。
图像裁剪单元702从通过移动装置120拍摄并且通过通信单元405接收的图像中裁剪通过显示区域控制单元701确定的显示区域中的图像，并且将裁剪的图像输出至图像组合单元703。
图像组合单元703根据需要通过在显示区域中的实际图像上叠加AR图像生成组合图像，并且在随后的阶段将组合图像输出至图像处理单元407。例如，当从姿势/位置检测单元404获取用户的当前位置时或获取移动装置120的当前位置时，生成对应于位置信息的引导物或障碍物的AR图像(稍后描述)。为了给用户对应于诸如与障碍物碰撞的AR图像的操作感觉的反馈，图像组合单元703指示操作感觉反馈单元412输出反馈。
图像组合单元703还对当从显示区域裁剪的图像被输出并且显示在显示面板409上时出现的失真执行校正处理。
图9示出了在显示面板409上显示的显示区域的位置和姿势根据用户头部运动移动的情况。
当姿势/位置检测单元404检测到用户的头部或视线沿向右平移的方向移动时，显示区域控制单元701沿在附图中由参考标号901表示的箭头的方向移动显示区域910。因此，图像裁剪单元702从广角图像裁剪图像，并且在显示面板409上显示的图像也改变。
当姿势/位置检测单元404检测到用户的头部或视线沿向左平移的方向移动时，显示区域控制单元701沿在附图中由参考标号902表示的箭头的方向移动显示区域910。
当姿势/位置检测单元404检测到用户的头部或视线沿向上倾斜的方向移动时，显示区域控制单元701沿在附图中由参考标号903表示的箭头的方向移动显示区域910。
当姿势/位置检测单元404检测到用户的头部或视线沿向下倾斜的方向移动时，显示区域控制单元701沿在附图中由参考标号904表示的箭头的方向移动显示区域910。
当姿势/位置检测单元404检测到用户的头部或视线沿向右转动的方向移动时，显示区域控制单元701沿在附图中由参考标号905表示的箭头的方向移动显示区域910。
当姿势/位置检测单元404检测到用户的头部或视线沿向左转动的方向移动时，显示区域控制单元701沿在附图中由参考标号906表示的箭头的方向移动显示区域910。
图10示出了在头戴显示器110的一侧显示在移动装置120的一侧拍摄的诸如全天空图像的广角图像的实例操作顺序，广角图像被制成为跟随用户头部的姿势。以在附图中示出的操作顺序，在头戴显示器110和移动装置120之间直接执行数据通信，但是诸如控制器130的一些其他装置可介入头戴显示器110和移动装置120之间。
头戴显示器110向移动装置120发送拍摄图像请求，该移动装置120在通过控制器130远程控制的同时移动(SEQ1001)。
响应于拍摄图像请求，移动装置120在驱动摄影机平台606的同时利用摄影机单元605执行图像拍摄处理(SEQ1002)。在处理拍摄图像、并且生成诸如全天空图像的广角图像之后，图像被传输至头戴显示器110(SEQ1003)。然而，移动装置120可以不响应于来自头戴显示器110的请求执行成像，而是可持续执行成像处理，并且将诸如全天空图像的广角图像以预定时间传输至头戴显示器110。
在图像传输时或一些其他时间处，移动装置120也可传输关于通过位置/姿势/速度检测单元604测量的移动装置120的主框架的位置、姿势、和速度的信息。
在头戴显示器110的一侧，姿势/位置检测单元404检测用户头部的运动、或视线方向(SEQ1004)。根据检测的视线方向，控制将从所接收的拍摄图像裁剪的显示区域的位置，并且在显示面板409上显示所裁剪的图像(SEQ1005)。
图11示出了在头戴显示器110的一侧显示在移动装置120的一侧拍摄的诸如全天空图像的广角图像的操作顺序的变形，广角图像被制成为跟随用户头部的姿势。以在附图中示出的操作顺序，在头戴显示器110和移动装置120之间直接执行数据通信，但是诸如控制器130的一些其他装置可介于头戴显示器110和移动装置120之间。
在头戴显示器110的一侧，姿势/位置检测单元404监控用户头部的运动、或视线方向(SEQ1101)。
头戴显示器110将拍摄图像请求发送至移动装置120，该移动装置120在通过控制器130远程控制的同时移动(SEQ1102)。这样做，头戴显示器110还传输关于用户的视线信息。
响应于拍摄图像请求，移动装置120在驱动摄影机平台606的同时利用摄影机单元605执行图像拍摄处理(SEQ1103)。在处理拍摄图像、并且生成诸如全天空图像的广角图像之后，显示区域中的图像根据用户视线来裁剪(SEQ1104)，并且被传输至头戴显示器110(SEQ1105)。
在图像传输时，移动装置120也可传输关于通过位置/姿势/速度检测单元604测量的移动装置120的主框架的位置、姿势、和速度的信息。在作为汽车的移动装置120-2的情况下，例如，能够从电动机的转数、减速器的变速比、和轮胎的直径计算移动速度。可替换地，在头戴显示器110的一侧，能够利用外部摄影机413测量移动装置120的相对速度。
然后，头戴显示器110在显示面板409上显示所接收的图像(SEQ1106)。
当在移动装置120的一侧拍摄的诸如全天空图像的广角图像被制成为跟随用户头部的姿势并且显示在头戴显示器110的一侧时，可以执行图10中的操作顺序或图11中的操作顺序。为了易于说明，以下描述基于执行图10中示出的操作顺序的假设。
B.图像处理应用
以下是当在头戴显示器110上显示在移动装置120的一侧拍摄到的图像时执行的处理的详细说明。
B-1.显示三维全天空图像的方法
如图8B所示，由立体摄影机形成摄影机单元605。在左眼摄影机和右眼摄影机之间没有汇聚，相应的视线几乎是平行的，并且执行深焦成像。
然而，人类在高速移动时趋于观看远处的物体，而在低速移动时趋于观看附近的物体。
鉴于此，例如，当头戴显示器110显示通过移动装置120拍摄的图像时，在通过图像组合单元703执行的处理中基于关于移动装置120的信息调整汇聚点。
在此，IL和IR表示使用深焦平行方法通过左眼摄影机和右眼摄影机拍摄的图像(参见图12A)，当移动装置120的速度变得更高时，在右和左图像IL和IR之间的重叠部分变得更小，从而增加右眼和左眼的视线交叉的点或汇聚点的距离。以这种方式，用户可以更远的距离观察更清晰的图像(参见图12B)。结合汇聚点的调整，也执行焦点调整(focus pointadjustment)，使得除固定屏幕位置(汇聚点)之外的区域模糊。以这种方式，增加使用户观看远处物体的视觉效应，并且用户能够体验在高速移动物体上的更真实的旅途感觉。
当移动装置120的速度变得更低时，在右和左图像IL和IR之间的重叠部分变得更大，从而缩短到右眼和左眼的视线交叉的点或汇聚点的距离。以这种方式，用户以更短的距离观察更清晰的图像(参见图12C)。结合汇聚点的调整，也执行焦点调整，使得除固定屏幕位置之外的区域模糊。以这种方式，增加使用户观看附近物体的视觉效应，并且用户能够体验在低速移动物体上的更真实的旅途感觉。
简言之，考虑到包括人的焦点的视点的速度衍生运动，人能够享受自然的观看。当移动装置120的速度变得更高时，用户能够通过头戴显示器110看见更远的物体。当移动装置120的速度变得更低时，用户能够看见附近的物体。
B-2.拍摄三维全天空图像的方法
在拍摄用于全天空显示的三维图像的情况下，如果执行部分缩放，则观察到背景般的图像(backdrop-like image)，好像用户正使用望远镜一样。这是因为视点间距离是固定的。因此，在移动装置120的一侧，在能够移动右和左摄影机之间的视点间距离的立体摄影机被制成为根据缩放的放大倍率移动视点间距离的同时执行成像，从而获得自然的三维全天空图像。可替换地，在左眼摄影机和右眼摄影机之间的视点间距离是固定的情况下，移动装置120或头戴显示器110可执行图像处理从而拓宽视点，诸如外推摄影机视点的外部。
具体地，在移动装置120的一侧，立体摄影机被设计成能够移动50至100mm，其是左眼摄影机和右眼摄影机之间的视点间距离d(参见图13A)。视点间距离在放大时增加，而在缩小时降低。在安装立体摄影机时，通过使视点间距离随着缩放是可变的来创建这种情况。图13B示出当执行缩小时左眼摄影机和右眼摄影机之间的视点间的距离d缩短至50mm的情况。在这种情况下，头戴显示器110或控制器130可直接控制摄影机单元605，使得实时地观察三维图像。可替换地，记录以不同视点间距离拍摄的图像，并且在观看时与缩放操作同步地改变再现的图像的视点间距离。同样，在观看时，可通过与缩放同步的图像处理生成具有中间视点间距离的图像。
在立体相机的视点间距离是固定的情况下，通过图像处理组合具有不同视点间的距离的视点图像，并且再现的图像与缩放同步地切换至组合图像。以这种方式，能够执行与视点运动一样自然的缩放。
当利用头戴显示器110观察在移动装置120的一侧拍摄的三维全天空图像时，可通过改变显示的右图像和左图像之间的视点间距离来实现视点运动效果。然而，未实现具有视点运动的三维运动视差效果。为了实现三维运动视差效果，考虑到运动视差，视差需要通过诸如图像处理的其他手段生成。
B-3.用户头部的姿势和拍摄图像之间的交互
在用户头部的平移、倾斜、转动的坐标系(参见图5)与摄影机单元605的平移、倾斜、转动的坐标系(参见图8A)匹配的情况下，当移动装置120移动时，跟随面向前的用户头部运动的显示区域的图像示出了下侧。例如，在作为汽车的移动装置120-2的情况下，仅示出了地表面。因此，为了获得在移动装置120-2之前的风景的图像，用户需要沿向上的方向倾斜他的/她的头部并且也沿向上的方向倾斜安装在移动装置120-2上的摄影机单元605(参见图14)。然而，如果在移动装置120-2移动时用户持续向上看，则用户的脖子可能很累。
为了解决该问题，安装在移动装置120-2上的摄影机单元605的倾斜轴可被固定在从用户头部的倾斜轴向上偏置Δθy的位置。
例如，在用户佩带头戴显示器110并且以希望的角度Δθy向上看时，可通过输入操作单元403请求摄影机单元605的倾斜轴的Δθy偏置。如图15所示，即使用户在请求Δθy偏置之后再次面向前，但是与用户头部交互的摄影机单元605的姿势保持固定在沿向上倾斜的方向偏置Δθy的位置。
可替换地，针对摄影机单元605的倾斜轴的Δθy偏置指令可直接或经由控制器130从头戴显示器110传输至移动装置120。在这种情况下，在移动装置120的一侧，例如，对摄影机平台606执行坐标系偏置处理。随着倾斜轴被偏置，裁剪并且显示跟随用户头部运动的拍摄图像。
可替换地，代替将坐标系偏置指令传输至移动装置120，头戴显示器110中的内部处理能够实现与以上相同的处理。例如，响应于来自用户的针对倾斜轴的Δθy偏置指令，显示区域控制单元701设置显示区域，该显示区域从通过姿势/位置检测单元404检测的用户视线的倾斜轴沿向上倾斜的方向偏置Δθy。
当然，摄影机单元605的倾斜轴不仅能够沿向上的方向而且也能够沿向下的方向偏置Δθy。类似地，能够执行沿平移方向的±Δθx偏置或沿转动方向的±Δθz偏置(参见图16)，使得裁剪并且显示跟随用户头部运动的拍摄图像。
在移动装置120变得不能操作控制器130的情况下，诸如当作为赛车的移动装置120-2在行驶时持续旋转脱离控制时，如果通过也旋转的摄影机单元605拍摄的图像实时地显示在头戴显示器110一侧，则显示的风景迅速地改变，并且使用户的头部旋转，尽管用户未移动他/她的视线。因此，不考虑用户头部的运动，摄影机单元605的坐标系被设计为使得所拍摄的图像不迅速地改变。可替换地，保存在某个点处(例如，紧接旋转开始之后)拍摄的图像，并且这时可基于摄影机单元605的坐标系执行跟随用户视线的运动的显示切换处理。
B-4.对用户的反馈
如上所述，头戴显示器110包括操作感觉反馈单元412，其通过触觉或振动给用户操作感觉反馈。头戴显示器110是由用户佩带的设备，并且能够直接给予用户作为有效反馈的触觉或振动。
同时，每个移动装置120配备有作为位置/姿势/速度检测单元604的加速度传感器，并且能够检测装置在飞行、行驶、或航行时经受的振动和冲击。
鉴于此，当显示在移动装置120的一侧拍摄的图像时，头戴显示器110持续监控通过移动装置120的加速度传感器检测的值，并且根据移动装置120经受的振动和冲击指示操作感觉反馈单元412输出反馈。
当移动装置120与真实世界中不存在但是在通过图像组合单元703的AR中显示的障碍物碰撞时，操作感觉反馈单元412也根据虚拟冲击指示输出反馈。
B-5.AR图像显示
在传统的FPV中，照原样显示通过安装在无线电控制的模型上的摄影机拍摄的图像。在这个实施方式中，另一方面，头戴显示器110在移动装置120的一侧拍摄的图像上叠加非存在的AR图像，并且然后显示叠加的图像。
在作为诸如飞机或直升机的飞行物体的移动装置120-1的情况下，在待显示的拍摄图像上叠加塔座(pylon)等的AR图像等。在诸如汽车(赛车)的在陆地上行进的移动装置120-2的情况下，在待显示的拍摄图像上叠加诸如线路的赛车场的AR图像。在作为诸如游艇的船舶的移动装置120-3的情况下，在待显示的拍摄图像上叠加浮标的AR图像。
在提前记录AR图像位置的情况下，头戴显示器110在显示拍摄图像的同时持续监控移动装置120的当前位置。当移动装置120到达位置(或在所拍摄的图像中示出位置)时，开始AR图像显示处理。在AR图像中不仅能够示出诸如塔座或浮标的移动装置120的移动路标，而且能够示出阻碍移动装置120移动的虚拟障碍物或诸如移动装置120穿过的危险区域的禁区或其他人们的房屋。图28示出了在通过移动装置120-2拍摄的车视线图像(真实世界)上显示虚拟障碍物2801和禁区2802的AR图像的情况。
在提前记录在AR图像中显示的物体的情况下，头戴显示器110识别在从移动装置120发送的拍摄的图像中示出的物体。当发现记录的物体时，开始AR图像显示处理。记录的物体可以是用户寻找的产品、人、宠物、植物、建筑物等。
在强调用户寻找的产品等的情况下、或在从屏幕清除物体(应当从用户隐藏)的情况下显示物体的AR图像。
在提前记录AR图像显示状态的情况下，头戴显示器110监控移动装置120的当前状态。在移动装置120进入预先记录的状态时，开始AR图像显示处理。以上提及的状态的实例是从控制器130接收的无线电波变得较弱的状态，并且不能执行控制。在这类情况下，不能接收无线电波的区域被设置为“禁区”，并且用于防止移动装置120进入禁区的引导物被显示为AR图像。在图像显示系统100的操作中，当然可提供诸如指示禁区的标志牌的实际引导物。
此外，如果移动装置120位于相同的位置、是相同的物体、或处于相同的状态，则可根据相应用户的特性(年龄、国籍、性别、性格等)或操作移动装置120的相应用户的技能显示不同的AR图像。例如，预期成年人用户和儿童用户需要不同的AR图像。同样，优选地，相比高度熟练的人员向初学者更早地显示AR图像。
B-6.用户的相对位置的显示
在根据该实施方式的图像显示系统100中，用户能够在通过操作控制器130移动移动装置120的同时利用头戴显示器110观察拍摄的图像。用户能够享受移动装置120移动至其的更远地方的风景，尽管用户根本未移动。
这样做，用户能够通过监控从移动装置120的位置/姿势/速度检测单元604输出的位置信息识别成像的位置。然而，即使用户希望去这个地方，但是他/她不能简单地通过观察拍摄到的图像立即决定要去的方向。
鉴于此，头戴显示器110能够在从移动装置120发送的拍摄到的图像中显示指示用户和移动装置120之间的位置关系的AR图像。当头戴显示器110显示关于用户的位置信息时，用户能够获得导航功能以及享受FPV。
能够基于关于通过位置/姿势检测单元404检测的用户的位置信息、和关于通过移动装置120的位置/姿势/速度检测单元604检测的移动装置120的位置信息通过图像组合单元703在头戴显示器110中生成位置关系的显示图像。
如图17所示，在显示关于用户的位置信息的情况下，例如，关于用户的位置信息可在显示通过移动装置120拍摄的图像的屏幕中显示为小屏幕。例如，小屏幕示出了地图图像，并且在图像中示出了指示移动装置120当前位置和用户当前位置的相应图标。可替换地，如图18所示，根据通过输入操作单元402的用户操作，可在大屏幕上显示关于用户的位置信息，并且可在小屏幕上显示拍摄的图像。
在显示关于用户的位置信息的情况下，北位于如在图17和图18中示出的上侧(北上)，移动装置120在如在图19中示出的显示器上向上移动，或用户的视线在如在图20中示出的显示器上沿向上的方向。能够通过位置/姿势/速度检测单元604检测移动装置120的移动方向。能够通过姿势/位置检测单元404或状态检测单元411检测用户视线的方向。
在图17至图20中示出的实施例的每一个中，用户和移动装置120放置在地图屏幕上，使得能够显示相应的绝对位置。然而，可不使用地图屏幕，并且可显示用户和移动装置120的相对位置。
在移动装置120是在水下移动的潜水艇等时，可能难以接收GPS信号。因此，可通过诸如水声通信的替代方法获取绝对位置信息。
B-7.移动装置的自动追踪
在上述实施方式中，通过移动装置120拍摄的所谓的FPV(第一人视点图像)显示在头戴显示器110上并且被欣赏。一些用户希望享受包括移动装置120的风景。
鉴于此，可设置追踪移动装置120的后方(或一侧)的自动追踪器，并且可在头戴显示器110上显示通过自动追踪器拍摄的图像。
图21示出了配备有摄影机2101的自动追踪器2100追踪在空中飞行的移动装置120-1或移动装置120-2的后方的情况。图22示出了通过自动追踪器2100的摄影机2101从后方拍摄的移动装置120-1的图像的实例。
如图21所示，自动追踪器2100可以不飞行，并且如图8C所示，通过采用从后面拍摄移动装置120图像的辅助摄影机能够实现较低的成本。
B-8.屏幕切换
在上述实施方式中，通过移动装置120拍摄的远位置风景的图像显示在头戴显示器110上并且被欣赏。
然而，外部摄影机413几乎放置在具有类似眼镜形状或类似帽子形状(参见图2)的头戴显示器110的主框架前表面的中心处，并且能够拍摄周围环境的图像。同样，根据通过状态信息检测单元411检测到的用户视线的方向执行沿外部摄影机413的平移、倾斜、和转动方向的姿势控制，使得能够利用外部摄影机413拍摄在用户视线水平上的图像。
鉴于此，显示面板409的屏幕可根据通过输入操作单元402的用户操作等在通过移动装置120拍摄的图像和通过外部摄影机413拍摄的图像之间切换。图23示出了通过作为汽车的移动装置120-2拍摄到的车视线图像的实例。图24示出了佩带头戴显示器110的用户利用他/她的眼睛跟随行驶的移动装置120-3的情况的实例。图25示出了利用他/她的眼睛跟随移动装置120-3的用户的自视线图像的实例。通过外部摄影机413拍摄自视线图像。
安装在移动装置120上的摄影机单元605至少是单个摄影机，并且基本上从操作者的第一人视点执行成像。然而，摄影机单元605可以进一步包括从其他视点位置执行成像的摄影机。
例如，作为汽车的移动装置120-2配备有摄影机，该摄影机包括沿行进方向前方的车视线拍摄图像的摄影机、拍摄通过右和左侧视镜反射的风景图像的摄影机、拍摄通过后视镜反射的风景图像的摄影机、以及拍摄用户观看仪表(meter)和压力表(gauge)时反射的风景图像的摄影机。可替换地，移动装置120-2可以配备有单个摄影机，而且摄影机平台606可移动摄影机的视点位置。
在这种情况下，例如，如图26所示，布置通过相应视点位置的摄影机拍摄的图像。在附图中示出的实施例中，沿车视线拍摄的图像放置在中心，沿右和左侧视镜视线拍摄的图像放置在车视线图像的右和左侧，沿后视镜视线拍摄的图像放置在车视线图像之上，并且沿在仪表(meter)和压力表(gauge)处观看的眼睛的视线拍摄的图像放置在车视线图像以下。在头戴显示器110的一侧，显示区域不根据用户头部的运动而移动，但是显示在显示面板409上的图像当头转向左时切换至右侧视镜视线图像、当头转向右时切换至右侧视镜视线图像、当头向上倾斜时切换至后视镜视线图像、并且当头向下倾斜时切换至仪表视线图像。当用户头部再次面向前时，显示在显示面板409上的图像返回至车视线图像。
B-9.图像校正
在狭窄的显示区域中观察到诸如全天空图像的广角拍摄的图像的情况下，当用户倾斜他/她的头部时，显示区域控制单元701根据倾斜向上或向下移动显示区域，并且图像裁剪单元702裁剪在移动的显示区域中的显示图像(参见图9)。当用户向上倾斜他/她的头部并且向上移动显示区域时，在显示区域的上部边缘处离投影平面的距离更长。因此，显示图像具有带有比显示面板409的显示框架的上部边缘更短的上部边缘的梯形形状。类似地，当用户向下倾斜他/她的头部并且向上移动显示区域时，在显示区域的下部边缘处离投影平面的距离更长。因此，显示图像具有带有比显示面板409的显示框架的下部边缘更短的下部边缘的梯形形状(参见图27)。梯形图像引起在观看图像的用户中陌生的感觉。
鉴于此，图像组合单元703执行梯形失真校正，使得通过用户观察的图像始终具有矩形形状。
B-10.图像稳定化处理
在作为汽车的移动装置120-2的情况下，例如，拍摄的图像可能由于移动装置120-2行驶的不均匀道路表面的影响而竖直或水平晃动。在作为诸如飞机或直升机的飞行物体的移动装置120-1的情况下，拍摄的图像可能由于气流等的影响而水平晃动。在作为诸如游艇的船舶的移动装置120-3的情况下，拍摄的图像由于在航行时的流或波的影响而晃动。
当人观看晃动的图像时，人感到他/她好像晕船。通常，具有慢波浪和大幅度的不稳定晃动容易使人感觉恶心。
当在通过移动装置120拍摄的图像中存在晃动时，可仅在消除晃动之后在头戴显示器110的一侧显示图像。
例如，当通过监控由在移动装置120一侧的加速度传感器检测的值来检测具有慢波浪和大幅度的不稳定晃动时，在头戴显示器110的一侧开始图像晃动校正处理。
例如，显示区域控制单元701输入通过在移动装置120一侧的加速度传感器检测的值，将检测到的值加入关于用户头部的姿势信息中，确定显示区域的位置和姿势，从而消除在移动装置120中的晃动，并且将位置和姿势输出至图像裁剪单元702。
可替换地，图像裁剪单元702输入通过在移动装置120一侧的加速度传感器检测的值，基于关于用户头部的姿势信息校正通过显示区域控制单元701确定的显示区域的位置和姿势，从而消除在移动装置120中的晃动，并且从拍摄的图像裁剪显示区域中的图像。
图像组合单元703等能够通过将运动图像变为慢运动图像或执行帧间隔抽取来执行晃动校正处理。在运动图像变为慢运动图像的情况下，在帧中仅具有运动的部分可变为慢运动图像部分。
在晃动校正处理中，将注意力放在人容易对大屏幕感到恶心的事实，仅当在移动装置120中检测晃动时，可能不通过执行上述图像处理而是通过减小屏幕尺寸来防止晃动。如上所述，虚拟图像光学单元410形成显示在显示面板409上的图像的放大虚拟图像。虚拟图像光学单元410可调整放大倍率，或显示面板409可减小显示尺寸。
当然可以在移动装置120的一侧设置摄影机单元605的光学系统，或图像处理当然可具有晃动校正功能。
C.概括
在本说明书中公开的技术可体现为以下描述的结构。
(1)一种图像显示装置，包括：
显示单元，安放在用户的头部上；
姿势检测单元，检测头部的姿势；以及
显示控制单元，基于头部的姿势控制在显示单元上图像的显示，该图像通过移动装置拍摄。
(2)根据(1)所述的图像显示装置，其中，显示控制单元从通过移动装置拍摄的广角图像中裁剪与头部姿势对应的区域，并且在显示单元上显示裁剪的区域。
(3)根据(1)所述的图像显示装置，其中，当显示通过深焦平行方法在多个视点处拍摄的多个视点图像时，显示控制单元基于移动物体的移动速度调整视点图像之间的汇聚点。
(4)根据(1)所述的图像显示装置，其中，显示控制单元在显示单元上显示具有与缩放操作对应的视点间距离图像。
(5)根据(1)所述的图像显示装置，其中，移动装置的摄影机单元的视线方向相对于头部的姿势沿平移、倾斜、和转动方向中的至少一个偏置。
(6)根据(1)所述的图像显示装置，进一步包括：
操作感觉反馈单元，通过触觉或振动向用户反馈操作感觉。
其中，向用户的反馈基于移动装置在移动的同时经受的加速度。
(7)根据(1)所述的图像显示装置，其中，显示控制单元在显示图像之前在通过移动装置拍摄的真实世界图像上叠加AR图像。
(8)根据(7)所述的图像显示装置，其中，显示控制单元显示与移动装置的当前位置、包括在所拍摄的图像中的物体、以及移动装置的状态中的至少一个对应的AR图像。
(9)根据(1)所述的图像显示装置，其中，显示控制单元显示关于移动装置和用户的位置信息。
(10)根据(1)所述的图像显示装置，其中，显示控制单元进一步显示通过自动追踪器拍摄的图像，该自动追踪器在追踪移动装置的同时拍摄图像。
(11)根据(1)所述的图像显示装置，进一步包括
自视线图像获取单元，获取沿用户视线看到的自视线图像，
其中，显示控制单元在通过移动装置拍摄的移动物体视线图像和自视线图像之间切换显示的图像。
(12)根据(1)所述的图像显示装置，其中，显示控制单元根据头部的姿势从移动装置的多个视点位置拍摄的图像之间切换显示的图像。
(13)根据(1)所述的图像显示装置，其中，显示控制单元在显示移动图像之前校正通过移动装置拍摄的移动图像的晃动。
(14)一种图像显示方法，包括：
姿势检测步骤，检测用户头部的姿势；以及
显示控制步骤，基于头部的姿势控制图像的显示，该图像通过移动装置拍摄。
(15)一种图像显示系统，包括：
移动装置，在移动的同时拍摄图像；以及
图像显示装置，根据用户头部的姿势显示通过移动装置拍摄的图像。
(16)一种移动装置，包括：
摄影机单元；
摄影机平台，控制摄影机单元的视线方向；
移动单元，移动该装置；以及
通信单元，传递包括由摄影机单元拍摄的图像的数据通信，
其中，摄影机单元包括通过深焦平行方法执行成像的多个摄影机，多个摄影机具有不同的视点。
(17)根据(16)所述的移动装置，其在改变具有不同视点的摄影机之间的视点间距离的同时拍摄全天空图像。
(18)根据(16)所述的移动装置，其从通过具有不同视点摄影机以彼此固定的视点间距离拍摄的图像外推在摄影机视点外部的图像。
(19)一种以计算机可读格式编写的计算机程序，
计算机程序使计算机用作：
姿势检测单元，检测用户头部的姿势；以及
显示控制单元，基于头部的姿势控制图像的显示，该图像通过移动装置拍摄。
工业实用性
已经参考具体实施方式详细地描述了本说明书中公开的技术。然而，明显的是，在不偏离在本说明书中公开的技术的范围的前提下，本领域技术人员能够对实施方式做出修改和替换。
在本说明书中，已经主要描述了其中在本说明书中公开的技术应用于由安装在用户头部或脸部上的头戴显示器和无线电控制移动装置形成的系统的实施方式。然而，在本说明书中公开的技术范围不限于具体图像显示装置的结构。
例如，在本说明书中公开的技术也能够应用于各种类型的显示系统，这些显示系统根据用户视线的方向显示通过安装在各种类型远程控制移动装置上的摄影机或安装在诸如鸟类、哺乳动物、爬行动物、两栖动物、鱼、昆虫的远程引导生物上的摄影机拍摄的广角图像。
移动装置是飞机、直升机、汽车、游艇等的无线电控制模型，而且可以是诸如飞机、直升机、汽车、以及游艇的实际移动装置。尽管能够远程控制安装的摄影机的姿态(平移、倾斜、和转动)，但是可以不远程操作或远程引导移动装置。移动装置可以不是作为机械设备的移动物体，而是可以是诸如人类或动物的活的移动物体。
简言之，已经通过实施例描述了在本说明书中公开的技术，并且在本说明书中的描述不应当以限制的方式解释。在理解本说明书中公开的技术主题时应考虑权利要求。
参考符号列表
100 图像显示系统
110 头戴显示器
120 移动装置
130 控制器
201、202 麦克风
401 控制单元
401A ROM
401B RAM
402 输入操作单元
403 远程控制接收单元
404 姿势/位置检测单元
405 通信单元
406 存储单元
407 图像处理单元
408 显示驱动单元
409 显示面板
410 虚拟图像光学单元
411 状态检测单元
412 操作感觉反馈单元
413 外部摄影机
601 控制单元
602 存储单元
603 移动机构单元
604 位置/姿势/速度检测单元
605 摄影机单元
606 摄影机平台
607 通信单元
701 显示区域控制单元
702 图像裁剪单元
703 图像组合单元

Claims (19)

1.一种图像显示装置，包括：
显示单元，安放在用户的头部上；
姿势检测单元，被配置为检测所述头部的姿势；以及
显示控制单元，被配置为基于所述头部的姿势控制在所述显示单元上的图像的显示，所述图像通过移动装置拍摄。
2.根据权利要求1所述的图像显示装置，其中，所述显示控制单元从由所述移动装置拍摄的广角图像中裁剪出与所述头部的姿势对应的区域，并且在所述显示单元上显示裁剪区域。
3.根据权利要求1所述的图像显示装置，其中，当显示通过深焦平行方法在多个视点处拍摄的多个视点图像时，所述显示控制单元基于所述移动物体的移动速度来调整在所述视点图像之间的汇聚点。
4.根据权利要求1所述的图像显示装置，其中，所述显示控制单元在所述显示单元上显示具有与缩放操作对应的视点间距离的图像。
5.根据权利要求1所述的图像显示装置，其中，所述移动装置的摄影机单元的视线方向相对于所述头部的姿势沿平移、倾斜、和转动方向中的至少一个偏置。
6.根据权利要求1所述的图像显示装置，进一步包括：
操作感觉反馈单元，被配置为通过触觉或振动向所述用户反馈操作感觉，
其中，向所述用户的所述反馈基于所述移动装置在移动时经受的加速度。
7.根据权利要求1所述的图像显示装置，其中，所述显示控制单元在显示所述图像之前，在由所述移动装置拍摄的真实世界图像上叠加AR图像。
8.根据权利要求7所述的图像显示装置，其中，所述显示控制单元显示与所述移动装置的当前位置、包括在所拍摄的图像中的物体、以及所述移动装置的状态中的至少一个对应的所述AR图像。
9.根据权利要求1所述的图像显示装置，其中，所述显示控制单元显示关于所述移动装置和所述用户的位置信息。
10.根据权利要求1所述的图像显示装置，其中，所述显示控制单元进一步显示由自动追踪器拍摄的图像，所述自动追踪器在追踪所述移动装置的同时拍摄所述图像。
11.根据权利要求1所述的图像显示装置，进一步包括：
自视线图像获取单元，被配置为获取沿所述用户的视线看到的自视线图像，
其中，所述显示控制单元在由所述移动装置拍摄的移动物体视线图像与所述自视线图像之间切换所显示的图像。
12.根据权利要求1所述的图像显示装置，其中，所述显示控制单元根据所述头部的姿势在从所述移动装置的多个视点位置拍摄的图像之间切换所显示的图像。
13.根据权利要求1所述的图像显示装置，其中，所述显示控制单元在显示由所述移动装置拍摄的移动图像之前校正所述移动图像中的晃动。
14.一种图像显示方法，包括：
姿势检测步骤，检测用户头部的姿势；以及
显示控制步骤，基于所述头部的姿势控制图像的显示，所述图像通过移动装置拍摄。
15.一种图像显示系统，包括：
移动装置，被配置为在移动的同时拍摄图像；以及
图像显示装置，被配置为根据用户头部的姿势显示由所述移动装置拍摄的所述图像。
16.一种移动装置，包括：
摄影机单元；
摄影机平台，被配置为控制所述摄影机单元的视线方向；
移动单元，被配置为移动所述装置；以及
通信单元，被配置为传递包括由所述摄影机单元拍摄的图像的数据，
其中，所述摄影机单元包括被配置为通过深焦平行方法执行成像的多个摄影机，所述多个摄影机具有不同的视点。
17.根据权利要求16所述的移动装置，所述移动装置在改变具有不同视点的所述多个摄影机之间的视点间距离的同时拍摄全天空图像。
18.根据权利要求16所述的移动装置，所述移动装置从由具有不同视点的所述多个摄影机以彼此固定的视点间距离拍摄的图像外推在所述多个摄影机的视点外部的图像。
19.一种以计算机可读格式编写的计算机程序，
所述计算机程序使计算机用作：
姿势检测单元，被配置为检测用户头部的姿势；以及
显示控制单元，被配置为基于所述头部的姿势控制图像的显示，所述图像通过移动装置拍摄。
CN201380058073.XA 2012-11-13 2013-10-02 图像显示装置、图像显示方法、移动装置、图像显示系统 Active CN104781873B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012249614 2012-11-13
JP2012-249614 2012-11-13
PCT/JP2013/076830 WO2014077046A1 (ja) 2012-11-13 2013-10-02 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム

Publications (2)

Publication Number Publication Date
CN104781873A true CN104781873A (zh) 2015-07-15
CN104781873B CN104781873B (zh) 2017-06-06

Family

ID=50730967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380058073.XA Active CN104781873B (zh) 2012-11-13 2013-10-02 图像显示装置、图像显示方法、移动装置、图像显示系统

Country Status (7)

Country Link
US (1) US10108018B2 (zh)
EP (1) EP2922049A4 (zh)
JP (1) JPWO2014077046A1 (zh)
CN (1) CN104781873B (zh)
BR (1) BR112015010280B1 (zh)
RU (1) RU2646360C2 (zh)
WO (1) WO2014077046A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653032A (zh) * 2015-12-29 2016-06-08 小米科技有限责任公司 显示调整方法及装置
CN106598390A (zh) * 2016-12-12 2017-04-26 联想(北京)有限公司 一种显示方法、电子设备及显示装置
CN106791691A (zh) * 2017-01-04 2017-05-31 北京臻迪科技股份有限公司 一种无人船的控制系统
CN106780757A (zh) * 2016-12-02 2017-05-31 西北大学 一种增强现实的方法
CN106814735A (zh) * 2016-12-06 2017-06-09 北京臻迪科技股份有限公司 一种无人船的控制系统
WO2017107444A1 (zh) * 2015-12-21 2017-06-29 乐视控股（北京）有限公司 虚拟显示设备的影像播放方法和装置
WO2017113307A1 (zh) * 2015-12-31 2017-07-06 深圳市柔宇科技有限公司 头戴式显示设备及其摄像头的调节方法
CN106990848A (zh) * 2017-04-10 2017-07-28 河南中医药大学 一种虚拟现实防眩晕方法和系统
CN107123158A (zh) * 2017-04-06 2017-09-01 北京臻迪科技股份有限公司 一种无人船的成像系统
CN107368192A (zh) * 2017-07-18 2017-11-21 歌尔科技有限公司 Vr眼镜的实景观测方法及vr眼镜
WO2017219288A1 (zh) * 2016-06-22 2017-12-28 华为技术有限公司 头戴式显示设备及其处理方法
CN107851334A (zh) * 2015-08-06 2018-03-27 索尼互动娱乐股份有限公司 信息处理装置
WO2018058693A1 (zh) * 2016-10-01 2018-04-05 北京蚁视科技有限公司 一种防止用户眩晕的视频图像显示方法
CN108055523A (zh) * 2017-12-11 2018-05-18 大连高马艺术设计工程有限公司 一种基于图像传输和姿态感应的模拟主视角控制游乐系统
CN108241476A (zh) * 2016-12-27 2018-07-03 广达电脑股份有限公司 虚拟实境装置以及其画面产生方法
CN108351651A (zh) * 2016-09-27 2018-07-31 深圳市大疆创新科技有限公司 一种基于影像的控制方法、装置及飞行器
CN108604291A (zh) * 2016-01-13 2018-09-28 Fove股份有限公司 表情辨识系统、表情辨识方法及表情辨识程序
CN109040555A (zh) * 2018-08-22 2018-12-18 信利光电股份有限公司 一种fpv图像的显示系统及方法
CN109219789A (zh) * 2016-05-04 2019-01-15 深圳脑穿越科技有限公司 虚拟现实的显示方法、装置及终端
CN109911140A (zh) * 2019-04-09 2019-06-21 上海萃钛智能科技有限公司 一种水域航行信息增强装置、系统及方法
CN110139026A (zh) * 2018-02-02 2019-08-16 丰田自动车株式会社 远程操作系统及其通信方法
JP2020005114A (ja) * 2018-06-27 2020-01-09 学校法人東海大学 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
CN110696712A (zh) * 2018-07-10 2020-01-17 广州汽车集团股份有限公司 汽车后视镜自动调节方法、装置、计算机存储介质与汽车
CN110709920A (zh) * 2017-06-08 2020-01-17 佳能株式会社 图像处理设备及其控制方法
US10823970B2 (en) 2018-08-23 2020-11-03 Apple Inc. Head-mounted electronic display device with lens position sensing
CN111934704A (zh) * 2015-12-24 2020-11-13 索尼互动娱乐股份有限公司 频带确定装置、头戴式显示器和频带确定方法
TWI716418B (zh) * 2015-08-05 2021-01-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、及程式產品
CN112753066A (zh) * 2019-07-25 2021-05-04 Ntt通信公司 影像显示控制装置、方法以及程序
CN113014871A (zh) * 2021-02-20 2021-06-22 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助系统
CN113359807A (zh) * 2016-04-29 2021-09-07 深圳市大疆创新科技有限公司 一种无人机第一视角飞行的控制方法及系统、智能眼镜
CN114364563A (zh) * 2019-09-11 2022-04-15 奥迪股份公司 在交通工具中运行虚拟现实眼镜的方法以及包括虚拟现实眼镜和交通工具的虚拟现实系统
US12061345B2 (en) 2018-08-23 2024-08-13 Apple Inc. Head-mounted electronic display device with lens position sensing

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015115848A (ja) * 2013-12-13 2015-06-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2015183145A1 (en) * 2014-05-27 2015-12-03 Telefonaktiebolaget L M Ericsson (Publ) Remote control of a pivotable stereoscopic camera
CN104065952A (zh) * 2014-07-02 2014-09-24 联想(北京)有限公司 穿戴式电子设备和图像处理方法
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US20160011657A1 (en) * 2014-07-14 2016-01-14 Futurewei Technologies, Inc. System and Method for Display Enhancement
JP2016034091A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP6642432B2 (ja) * 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
WO2016041162A1 (en) 2014-09-17 2016-03-24 SZ DJI Technology Co., Ltd. Automatic white balancing system and method
JP6633269B2 (ja) * 2014-10-21 2020-01-22 ローム株式会社 視覚補助システム
US10426668B2 (en) 2014-09-18 2019-10-01 Rohm Co., Ltd. Binocular display apparatus
CN105607253B (zh) * 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
CN107111928B (zh) * 2014-11-17 2020-07-31 洋马动力科技有限公司 远程控制作业机用显示系统
EP3059658A1 (en) * 2015-02-18 2016-08-24 Nokia Technologies OY Apparatus, methods and computer programs for providing images
US10409464B2 (en) * 2015-03-18 2019-09-10 Microsoft Technology Licensing, Llc Providing a context related view with a wearable apparatus
JP5831893B1 (ja) * 2015-05-07 2015-12-09 立 寺坂 航空機の遠隔操縦システム
US10715735B2 (en) 2015-06-10 2020-07-14 Sony Interactive Entertainment Inc. Head-mounted display, display control method, and program
US10192133B2 (en) 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
JP6605241B2 (ja) * 2015-07-07 2019-11-13 日立建機株式会社 遠隔操縦システム
JP6344723B2 (ja) 2015-07-14 2018-06-20 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
WO2017022296A1 (ja) * 2015-08-03 2017-02-09 ソニー株式会社 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法
JP6352874B2 (ja) * 2015-09-02 2018-07-04 株式会社東芝 ウェアラブル端末、方法及びシステム
JP2017079385A (ja) * 2015-10-20 2017-04-27 株式会社エヌアイデイ 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム
JP6930423B2 (ja) * 2015-11-17 2021-09-01 ソニーグループ株式会社 受信装置、受信方法および送受信システム
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
US10424117B2 (en) 2015-12-02 2019-09-24 Seiko Epson Corporation Controlling a display of a head-mounted display device
JP6411991B2 (ja) * 2015-12-16 2018-10-24 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6668811B2 (ja) * 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
US10455184B2 (en) 2016-03-14 2019-10-22 Sony Corporation Display device and information processing terminal device
JP6540572B2 (ja) * 2016-03-29 2019-07-10 ブラザー工業株式会社 表示装置および表示制御方法
WO2017183319A1 (ja) * 2016-04-20 2017-10-26 株式会社ソニー・インタラクティブエンタテインメント ロボットおよび筐体
CN107462989A (zh) * 2016-06-06 2017-12-12 华硕电脑股份有限公司 影像稳定方法与电子装置
EP3493164B1 (en) * 2016-07-29 2024-03-27 Sony Group Corporation Image processing device and image processing method
JP6732617B2 (ja) 2016-09-21 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
KR20180040451A (ko) * 2016-10-12 2018-04-20 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR102612988B1 (ko) * 2016-10-20 2023-12-12 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
JP6904684B2 (ja) * 2016-11-04 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR20180068411A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 무인 비행 전자 장치의 운행 제어 방법 및 이를 지원하는 전자 장치
JP2018112809A (ja) * 2017-01-10 2018-07-19 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6919206B2 (ja) * 2017-01-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
CN110402420B (zh) * 2017-03-23 2022-05-17 东芝三菱电机产业系统株式会社 钢铁厂的分析支援装置
JP6699944B2 (ja) * 2017-03-27 2020-05-27 東芝情報システム株式会社 表示システム
KR101895482B1 (ko) * 2017-04-13 2018-09-05 박대건 증강현실 원격제어 방법, 프로그램 및 시스템
CN110869980B (zh) 2017-05-18 2024-01-09 交互数字Vc控股公司 将内容分发和呈现为球形视频和3d资产组合
US10139631B1 (en) * 2017-06-05 2018-11-27 Microsoft Technology Licensing, Llc Apparatus and method of 1:1 matching head mounted display view to head movement that controls articulated camera
US10970943B2 (en) * 2017-06-09 2021-04-06 II Timothy Robert Hay Method and apparatus for a vehicle force indicator
US20190124251A1 (en) * 2017-10-23 2019-04-25 Sony Corporation Remotely controllable camera on eyeglass-type mount for the blind
JP6693656B2 (ja) * 2017-11-14 2020-05-13 株式会社Ｂ．ｂ．ｄｅｓｉｇｎＬａｂ 瞳孔間のキャリブレーションプログラム、前記プログラムを用いたＷｅｂサーバ、及び、瞳孔間のキャリブレーション方法
JP6678313B2 (ja) * 2018-05-10 2020-04-08 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
US10762660B2 (en) * 2018-09-28 2020-09-01 Verizon Patent And Licensing, Inc. Methods and systems for detecting and assigning attributes to objects of interest in geospatial imagery
JP2020145612A (ja) * 2019-03-07 2020-09-10 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP7342409B2 (ja) * 2019-04-16 2023-09-12 凸版印刷株式会社 観察状態表示システム、観察状態表示方法及びプログラム
US11890424B2 (en) 2019-07-15 2024-02-06 International Business Machines Corporation Augmented reality enabled motion sickness reduction
JP2019213207A (ja) * 2019-07-24 2019-12-12 株式会社Ｄａｐリアライズ 無人移動体用端末装置、該無人移動体用端末装置によって制御される無人移動体、及び、無人移動体用端末装置用通信ユニット
US12063344B2 (en) 2019-09-13 2024-08-13 Sony Group Corporation Reproduction device, reproduction method, and recording medium
JP6857701B2 (ja) * 2019-10-31 2021-04-14 ヤンマーパワーテクノロジー株式会社 作業機、表示装置および作業機の遠隔操作のための表示システム
JP7496683B2 (ja) * 2019-11-25 2024-06-07 パイオニア株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
WO2023203853A1 (ja) * 2022-04-20 2023-10-26 株式会社サンタ・プレゼンツ 遠隔体験システム
WO2024195562A1 (ja) * 2023-03-17 2024-09-26 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
US5905525A (en) * 1995-07-13 1999-05-18 Minolta Co., Ltd. Image display apparatus having a display controlled by user's head movement
JP2001209426A (ja) * 2000-01-26 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> 移動体制御装置
US6545650B1 (en) * 1998-06-23 2003-04-08 Nec Corporation Apparatus for three-dimensionally displaying object and method of doing the same
JP2005297168A (ja) * 2004-04-16 2005-10-27 Fujinon Corp 遠隔操作ロボット
US20070247457A1 (en) * 2004-06-21 2007-10-25 Torbjorn Gustafsson Device and Method for Presenting an Image of the Surrounding World
US20110140994A1 (en) * 2009-12-15 2011-06-16 Noma Tatsuyoshi Information Presenting Apparatus, Method, and Computer Program Product
CN102270035A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 以非触摸方式来选择和操作对象的设备和方法
CN102456127A (zh) * 2010-10-21 2012-05-16 三星电子株式会社 头部姿态估计设备和方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3916094A (en) * 1974-06-21 1975-10-28 Us Navy Submersible visual simulator for remotely piloted systems
JPH07287761A (ja) 1994-04-19 1995-10-31 Canon Inc 画像処理装置及び画像処理方法
JPH08336128A (ja) * 1995-04-05 1996-12-17 Matsushita Electric Ind Co Ltd 映像視聴装置
JPH08307753A (ja) * 1995-05-09 1996-11-22 Minolta Co Ltd カメラと表示装置から成る映像システム及び表示装置
JPH0937137A (ja) * 1995-07-25 1997-02-07 Minolta Co Ltd 移動型立体カメラ装置
JPH09106322A (ja) 1995-10-09 1997-04-22 Data Tec:Kk ヘッドマウントディスプレイにおける姿勢角検出装置
JPH1070740A (ja) 1996-08-28 1998-03-10 Sony Corp 立体カメラおよびビデオ映像伝送システム
JPH10206789A (ja) * 1997-01-22 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
US7180476B1 (en) * 1999-06-30 2007-02-20 The Boeing Company Exterior aircraft vision system using a helmet-mounted display
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置
JPWO2006038662A1 (ja) * 2004-10-07 2008-05-15 株式会社ウエアビジョン 画像表示装置および電子眼鏡
JP2006197068A (ja) * 2005-01-12 2006-07-27 Yokogawa Electric Corp 画像表示装置および画像表示方法
JP5228307B2 (ja) * 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
US7671887B2 (en) * 2006-11-20 2010-03-02 General Electric Company System and method of navigating a medical instrument
RU2334369C1 (ru) * 2006-11-30 2008-09-20 Борис Иванович Волков Система стереотелевидения
JP4961984B2 (ja) 2006-12-07 2012-06-27 ソニー株式会社 画像表示システム、表示装置、表示方法
JP2009128565A (ja) * 2007-11-22 2009-06-11 Toshiba Corp 表示装置、表示方法及びヘッドアップディスプレイ
JP2009278234A (ja) * 2008-05-13 2009-11-26 Konica Minolta Holdings Inc 表示システム
US8885039B2 (en) * 2008-07-25 2014-11-11 Lg Electronics Inc. Providing vehicle information
JP4863527B2 (ja) * 2009-12-01 2012-01-25 稔 稲葉 立体映像撮像装置
JP2010256534A (ja) 2009-04-23 2010-11-11 Fujifilm Corp 全方位画像表示用ヘッドマウントディスプレイ装置
JP2011075956A (ja) * 2009-09-30 2011-04-14 Brother Industries Ltd ヘッドマウントディスプレイ
JP2011135247A (ja) * 2009-12-24 2011-07-07 Nikon Corp 撮像装置
JP5595074B2 (ja) 2010-03-04 2014-09-24 中国電力株式会社 空中撮影システム
WO2011116332A2 (en) * 2010-03-18 2011-09-22 SPI Surgical, Inc. Surgical cockpit comprising multisensory and multimodal interfaces for robotic surgery and methods related thereto
JP2011205353A (ja) * 2010-03-25 2011-10-13 Yamaha Corp 視聴状況認識装置および視聴状況認識システム
JP5148652B2 (ja) * 2010-03-31 2013-02-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
US9596453B2 (en) * 2010-06-14 2017-03-14 Lg Electronics Inc. Electronic device and control method thereof
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US8487787B2 (en) * 2010-09-30 2013-07-16 Honeywell International Inc. Near-to-eye head tracking ground obstruction system and method
JP2012143447A (ja) 2011-01-13 2012-08-02 Sharp Corp ネットワークシステム、コントロール方法、コントローラ、およびコントロールプログラム
JP2012151800A (ja) 2011-01-21 2012-08-09 Sharp Corp 撮影装置およびネットワークシステム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
US5905525A (en) * 1995-07-13 1999-05-18 Minolta Co., Ltd. Image display apparatus having a display controlled by user's head movement
US6545650B1 (en) * 1998-06-23 2003-04-08 Nec Corporation Apparatus for three-dimensionally displaying object and method of doing the same
JP2001209426A (ja) * 2000-01-26 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> 移動体制御装置
JP2005297168A (ja) * 2004-04-16 2005-10-27 Fujinon Corp 遠隔操作ロボット
US20070247457A1 (en) * 2004-06-21 2007-10-25 Torbjorn Gustafsson Device and Method for Presenting an Image of the Surrounding World
US20110140994A1 (en) * 2009-12-15 2011-06-16 Noma Tatsuyoshi Information Presenting Apparatus, Method, and Computer Program Product
CN102270035A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 以非触摸方式来选择和操作对象的设备和方法
CN102456127A (zh) * 2010-10-21 2012-05-16 三星电子株式会社 头部姿态估计设备和方法

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716418B (zh) * 2015-08-05 2021-01-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、及程式產品
CN107851334A (zh) * 2015-08-06 2018-03-27 索尼互动娱乐股份有限公司 信息处理装置
WO2017107444A1 (zh) * 2015-12-21 2017-06-29 乐视控股（北京）有限公司 虚拟显示设备的影像播放方法和装置
US11881886B2 (en) 2015-12-24 2024-01-23 Sony Interactive Entertainment Inc. Frequency band determination based on image of communication environment for head-mounted display
US11528706B2 (en) 2015-12-24 2022-12-13 Sony Interactive Entertainment Inc. Frequency band determination based on image of communication environment for head-mounted display
CN111934704A (zh) * 2015-12-24 2020-11-13 索尼互动娱乐股份有限公司 频带确定装置、头戴式显示器和频带确定方法
CN105653032A (zh) * 2015-12-29 2016-06-08 小米科技有限责任公司 显示调整方法及装置
CN105653032B (zh) * 2015-12-29 2019-02-19 小米科技有限责任公司 显示调整方法及装置
WO2017113307A1 (zh) * 2015-12-31 2017-07-06 深圳市柔宇科技有限公司 头戴式显示设备及其摄像头的调节方法
CN107250895A (zh) * 2015-12-31 2017-10-13 深圳市柔宇科技有限公司 头戴式显示设备及其摄像头的调节方法
CN108604291A (zh) * 2016-01-13 2018-09-28 Fove股份有限公司 表情辨识系统、表情辨识方法及表情辨识程序
CN113359807A (zh) * 2016-04-29 2021-09-07 深圳市大疆创新科技有限公司 一种无人机第一视角飞行的控制方法及系统、智能眼镜
CN109219789A (zh) * 2016-05-04 2019-01-15 深圳脑穿越科技有限公司 虚拟现实的显示方法、装置及终端
US10672149B2 (en) 2016-06-22 2020-06-02 Huawei Technologies Co., Ltd. Head mounted display device and processing method of head mounted display device
WO2017219288A1 (zh) * 2016-06-22 2017-12-28 华为技术有限公司 头戴式显示设备及其处理方法
CN108351651A (zh) * 2016-09-27 2018-07-31 深圳市大疆创新科技有限公司 一种基于影像的控制方法、装置及飞行器
WO2018058693A1 (zh) * 2016-10-01 2018-04-05 北京蚁视科技有限公司 一种防止用户眩晕的视频图像显示方法
CN106780757A (zh) * 2016-12-02 2017-05-31 西北大学 一种增强现实的方法
CN106780757B (zh) * 2016-12-02 2020-05-12 西北大学 一种增强现实的方法
CN106814735B (zh) * 2016-12-06 2020-08-14 北京臻迪科技股份有限公司 一种无人船的控制系统
CN106814735A (zh) * 2016-12-06 2017-06-09 北京臻迪科技股份有限公司 一种无人船的控制系统
CN106598390A (zh) * 2016-12-12 2017-04-26 联想(北京)有限公司 一种显示方法、电子设备及显示装置
CN108241476A (zh) * 2016-12-27 2018-07-03 广达电脑股份有限公司 虚拟实境装置以及其画面产生方法
US10444863B2 (en) 2016-12-27 2019-10-15 Quanta Computer Inc. Virtual reality devices and display picture generation methods
TWI632395B (zh) * 2016-12-27 2018-08-11 廣達電腦股份有限公司 虛擬實境裝置以及其畫面產生方法
CN106791691B (zh) * 2017-01-04 2021-09-14 北京臻迪科技股份有限公司 一种无人船的控制系统
CN106791691A (zh) * 2017-01-04 2017-05-31 北京臻迪科技股份有限公司 一种无人船的控制系统
CN107123158A (zh) * 2017-04-06 2017-09-01 北京臻迪科技股份有限公司 一种无人船的成像系统
CN106990848A (zh) * 2017-04-10 2017-07-28 河南中医药大学 一种虚拟现实防眩晕方法和系统
CN110709920A (zh) * 2017-06-08 2020-01-17 佳能株式会社 图像处理设备及其控制方法
US11263999B2 (en) 2017-06-08 2022-03-01 Canon Kabushiki Kaisha Image processing device and control method therefor
CN107368192A (zh) * 2017-07-18 2017-11-21 歌尔科技有限公司 Vr眼镜的实景观测方法及vr眼镜
CN108055523A (zh) * 2017-12-11 2018-05-18 大连高马艺术设计工程有限公司 一种基于图像传输和姿态感应的模拟主视角控制游乐系统
CN110139026A (zh) * 2018-02-02 2019-08-16 丰田自动车株式会社 远程操作系统及其通信方法
JP2020005114A (ja) * 2018-06-27 2020-01-09 学校法人東海大学 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
JP7128409B2 (ja) 2018-06-27 2022-08-31 学校法人東海大学 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
CN110696712A (zh) * 2018-07-10 2020-01-17 广州汽车集团股份有限公司 汽车后视镜自动调节方法、装置、计算机存储介质与汽车
CN109040555A (zh) * 2018-08-22 2018-12-18 信利光电股份有限公司 一种fpv图像的显示系统及方法
US11126004B2 (en) 2018-08-23 2021-09-21 Apple Inc. Head-mounted electronic display device with lens position sensing
US11726338B2 (en) 2018-08-23 2023-08-15 Apple Inc. Head-mounted electronic display device with lens position sensing
US10823970B2 (en) 2018-08-23 2020-11-03 Apple Inc. Head-mounted electronic display device with lens position sensing
US12061345B2 (en) 2018-08-23 2024-08-13 Apple Inc. Head-mounted electronic display device with lens position sensing
CN109911140A (zh) * 2019-04-09 2019-06-21 上海萃钛智能科技有限公司 一种水域航行信息增强装置、系统及方法
CN112753066A (zh) * 2019-07-25 2021-05-04 Ntt通信公司 影像显示控制装置、方法以及程序
CN112753066B (zh) * 2019-07-25 2024-03-22 Ntt通信公司 影像显示控制装置、方法以及程序记录介质
CN114364563A (zh) * 2019-09-11 2022-04-15 奥迪股份公司 在交通工具中运行虚拟现实眼镜的方法以及包括虚拟现实眼镜和交通工具的虚拟现实系统
CN113014871A (zh) * 2021-02-20 2021-06-22 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助系统
CN113014871B (zh) * 2021-02-20 2023-11-10 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助系统

Also Published As

Publication number Publication date
WO2014077046A1 (ja) 2014-05-22
EP2922049A4 (en) 2016-07-13
BR112015010280B1 (pt) 2022-06-21
BR112015010280A8 (pt) 2019-10-01
CN104781873B (zh) 2017-06-06
US10108018B2 (en) 2018-10-23
US20150293362A1 (en) 2015-10-15
RU2015116420A (ru) 2016-11-20
EP2922049A1 (en) 2015-09-23
JPWO2014077046A1 (ja) 2017-01-05
RU2646360C2 (ru) 2018-03-02
BR112015010280A2 (pt) 2017-07-11

Similar Documents

Publication Publication Date Title
CN104781873B (zh) 图像显示装置、图像显示方法、移动装置、图像显示系统
US11484790B2 (en) Reality vs virtual reality racing
US9747725B2 (en) Video system for piloting a drone in immersive mode
CN108139799B (zh) 基于用户的兴趣区(roi)处理图像数据的系统和方法
US9738382B2 (en) Drone immersion-piloting system
US9158305B2 (en) Remote control system
JP6642432B2 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
CN111182940B (zh) 在车辆中无晕动症地观看数字式内容
KR20170114458A (ko) 스테레오 카메라를 장착하여 가상현실 3d 영상으로 주변을 탐색하는 드론 및 이와 연동하는 복합 기능의 vr 장치
JP7247371B2 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
JP7024997B2 (ja) 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法
US20240196045A1 (en) Video display system, observation device, information processing method, and recording medium
JP2020145612A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US20210208584A1 (en) Moving body control device, moving body control method, and computer readable recording medium
WO2022149497A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
KR20190069199A (ko) 무인 자동차 가상체험 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant