CN109313342B - 一种模块化mr设备成像方法 - Google Patents

一种模块化mr设备成像方法 Download PDF

Info

Publication number
CN109313342B
CN109313342B CN201880002360.1A CN201880002360A CN109313342B CN 109313342 B CN109313342 B CN 109313342B CN 201880002360 A CN201880002360 A CN 201880002360A CN 109313342 B CN109313342 B CN 109313342B
Authority
CN
China
Prior art keywords
image
smart phone
main
control
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880002360.1A
Other languages
English (en)
Other versions
CN109313342A (zh
Inventor
胡伯涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
That holographic interactive (Shenzhen) Co.,Ltd.
Original Assignee
That Holographic Interactive Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by That Holographic Interactive Shenzhen Co ltd filed Critical That Holographic Interactive Shenzhen Co ltd
Publication of CN109313342A publication Critical patent/CN109313342A/zh
Application granted granted Critical
Publication of CN109313342B publication Critical patent/CN109313342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724097—Worn on the head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

本发明提出一种模块化MR设备成像方法，所述MR设备包括MR计算模块、MR光路模块和MR姿态模块；所述MR计算模块包括显示组件；所述MR计算模块与MR姿态模块相连，并根据MR姿态模块采集的数据对显示内容进行调整；MR光路模块包括虚像光路和混合光路；所述虚像光路与显示组件相接；混合光路处设有半透半反镜；所述半透半反镜一面为实像引入面，另一面为虚像引入面；实像引入面朝向真实环境；虚像引入面朝向虚像光路；显示组件的显示内容经虚像光路处理并传输后形成虚拟像，虚拟像光线经虚像引入面反射至观察端与真实环境的光线经实像引入面透射至观察端并与虚拟像混合形成混合现实图像；本发明能制备价格低廉的MR设备，并能灵活定义丰富的MR互动效果。

Description

一种模块化MR设备成像方法
技术领域
本发明涉及显示设备领域，尤其是一种模块化MR设备成像方法。
背景技术
MR设备是能在真实环境背景上叠加虚拟图像的显示设备，但以往此类设备通常以高性能计算设备和复杂光路配合而成，成本很高且使用不便，而现在的便携式VR眼镜以普及化的手机为显示核心，使得形成虚拟现实图像的成本大幅降低且使用方便。
发明概述
技术问题
如何把便携式VR眼镜的显示原理用于MR设备，以大幅降低MR设备的成本，是本发明需要解决的技术问题。
问题的解决方案
技术解决方案
本发明提出一种模块化MR设备成像方法，能制备价格低廉的MR设备，并能灵活定义丰富的MR互动效果。
本发明采用以下技术方案。
一种模块化MR设备成像方法，所述MR设备包括MR计算模块、MR光路模块和MR姿态模块；所述MR计算模块包括显示组件；所述MR姿态模块包括拍摄组件和IMU组件；所述拍摄组件用于采集显示组件预设角度方向上的图像；所述IMU组件用于采集MR设备的姿态数据；所述MR计算模块与MR姿态模块相连，并根据MR姿态模块采集的图像数据和姿态数据对显示组件的显示内容进行调整。
所述MR光路模块包括虚像光路和混合光路；所述虚像光路与显示组件相接；所述混合光路输入端与虚像光路相接，输出端为观察端；混合光路处设有半透半反镜；所述半透半反镜一面为实像引入面，另一面为虚像引入面；所述实像引入面朝向真实环境；所述虚像引入面朝向虚像光路；所述显示组件的显示内容经虚像光路处理并传输后形成虚拟像，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端并与虚拟像混合形成混合现实图像。
所述MR计算模块为主智能手机；所述显示组件为主智能手机的显示模块；所述IMU组件包括磁力计、陀螺仪、加速度计；所述IMU组件包括主IMU组件和辅助IMU组件；所述主IMU组件采集显示组件的姿态数据；所述主IMU组件设于主智能手机处；所述辅助IMU组件设于一个以上与该主智能手机以无线方式连接的控制设备处；所述辅助IMU组件采集控制设备的姿态数据或位置数据；所述姿态数据包括姿态角、角速率或加速度数据；所述拍摄组件包括主拍摄组件和辅助拍摄组件，所述主拍摄组件为主智能手机的后置摄像头，所述辅助拍摄组件为控制设备处的摄像头。
所述MR光路模块为一无源的MR头戴机构；所述主智能手机固定于MR头戴机构处；所述主拍摄组件为主智能手机的后置摄像头；所述控制设备为游戏手柄，或是可穿戴于手部或脚部处的可穿戴设备，或是固定于MR头戴机构处的传感器及控制装置，或是使用者所手持或缚于肢体处的辅助手机。
所述MR头戴机构的虚像光路包括搁置板、全反射镜和视场透镜；所述视场透镜以两块菲涅尔透镜拼合成型；所述主智能手机横向放置于搁置板上；在MR头戴机构工作时，主智能手机以横向双分屏形式播放VR分屏模式的影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像。
所述主智能手机的后置摄像头的朝向为MR头戴机构的朝向；所述显示组件的姿态数据即为主智能手机的姿态数据；所述主智能手机处的IMU组件采集主智能手机的姿态数据，当MR头戴机构工作时，所述主智能手机的后置摄像头采集MR头戴机构初始朝向处的真实场景处的特征点，并在MR头戴机构工作时持续采集图像作为姿态图；所述MR计算模块根据特征点在姿态图处的变化、以及主智能手机的姿态数据的变化，来调整双分屏上的影像图像。
所述以横向双分屏形式播放的影像内包括虚拟角色和控制标识，所述MR计算模块根据辅助IMU组件上传的控制设备的姿态数据和位置数据生成控制标识，所述控制标识随控制设备的移动而移动；所述虚拟角色可与控制标识进行互动。
所述主智能手机与外部设备通过网络连接，所述以横向双分屏形式播放的影像内包括的虚拟角色和控制标识是混合现实图像的一部分，所述虚拟角色与外部设备对应，当所述虚拟角色可与控制标识进行互动时，外部设备根据互动内容进行相应的作业。
所述成像方法依次包括以下步骤；
A1、使用者把预装有MR应用APP的主智能手机固定于MR头戴机构的搁置板处，手持辅助手机，此辅助手机也是智能手机并预装有MR应用APP；
A2、使用者佩戴MR头戴机构，并使双眼贴近观察端以观察混合现实图像；
A3、启动主智能手机的MR应用APP并设定为显示端，主智能手机以横向双分屏形式播放影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像；
A4、所述主智能手机的后置摄像头采集MR头戴机构初始朝向处的真实场景处的特征点，并在MR头戴机构工作时持续采集图像作为姿态图；所述MR计算模块根据特征点在姿态图处的变化、以及主智能手机的姿态数据的变化，来调整双分屏上的影像图像；
A5、使用者把辅助手机举起至混合现实图像处的特定点位处，启动辅助手机上的MR应用APP并设定为控制端；辅助手机上的辅助IMU组件采集辅助手机的姿态数据和位置数据；控制端与显示端以无线方式连接，控制端向显示端上传辅助手机的姿态数据和控制数据；
A6、所述MR计算模块根据辅助手机的姿态数据和位置数据，在混合现实图像内生成控制标识，所述控制标识随辅助手机的移动而移动；当混合现实图像上的控制标识与虚拟角色接触或相邻时，所述虚拟角色与控制标识进行互动；
A7、所述虚拟角色与外部设备对应，当所述虚拟角色可与控制标识进行互动时，外部设备根据互动内容进行相应的作业。
所述主智能手机、辅助手机通过单目视觉惯性里程计方法来生成并共享统一的空间定位数据，所述单目视觉惯性里程计方法分为以下步骤；
B1、主智能手机、辅助手机经摄像头采集图像生成各自的姿态图，主智能手机、辅助手机经内置的IMU组件采集各自的姿态数据，主智能手机、辅助手机各自把姿态图与姿态数据进行关联，形成各自的空间图像关联数据，主智能手机、辅助手机经网络连接来汇总各自的空间图像关联数据，在主智能手机、辅助手机内生成统一的空间图像关联数据库；
B2、主智能手机、辅助手机在运动过程中继续采集姿态图和姿态数据，并把新采集的姿态图、姿态数据添加入空间图像关联数据库内并进行关联；
B3、主智能手机、辅助手机在运动过程中以当前采集的姿态图、姿态数据在空间图像关联数据库内进行数据比对，以获取手机在当前空间的具体方位，并预判手机的轨迹和姿态变化；
B4、主智能手机、辅助手机在运动过程中，读取空间图像关联数据库，并以当前所采集的姿态图与过去N个时间帧内同坐标、同姿态所采集的姿态图和姿态数据进行比对，当发现差异时对空间图像关联数据库进行更新；
B5、在步骤B3、B4中，主智能手机、辅助手机以预设的公差阈值来比对和校验数据，以提升空间定位的效率和鲁棒性。
所述MR头戴机构由一片材制成，所述片材沿长度方向设有A折叠段、B折叠段和C折叠段；所述A折叠段固定有半透半反镜、视场透镜；所述B折叠段固定有全反射镜；所述C折叠段处设有搁置板；所述搁置板处设有供主智能手机的后置摄像头采集外界图像的摄像孔。
所述MR头戴机构的制备方法依次包括以下步骤；
B1、把A折叠段、B折叠段折合形成一菱形柱；使所述透镜位于菱形顶点连线处；菱形柱四个侧面处，其中一个侧面敞开为影像光线入射面，另三个侧面封闭分别形成为观察孔壁、半透半反镜壁和全反射镜壁；所述影像光线入射面朝向全反射镜壁；全反射镜壁处设有全反射镜；所述观察孔位于观察孔壁；观察孔所朝向的菱形柱侧壁为半透半反镜壁；所述半透半反镜设于半透半反镜壁处；
B2、展开A折叠段处的遮光罩，并使遮光罩插于观察孔壁；
B3、展开C折叠段，在搁置板上放置具有后置摄像头的主智能手机，使后置摄像头对准搁置板的摄像孔，然后把C折叠段折合至菱形柱的影像光线入射面处；所述观察端包括观察孔，当主智能手机以横向双分屏形式播放VR分屏模式的影像时，即可在观察孔处看到手机屏幕图像与外界图像混合形成的混合现实图像。
所述搁置板的底部设置有阻尼件；所述搁置板经魔术贴或卡扣与机壳可拆联接；所述搁置板与机壳固定联接。
所述MR计算模块为主智能手机；所述显示组件为主智能手机的显示模块；所述IMU组件包括磁力计、陀螺仪、加速度计；所述IMU组件包括主IMU组件和零个或以上辅助IMU组件；所述主IMU组件采集显示组件的姿态数据；所述主IMU组件设于主智能手机处；所述辅助IMU组件设于一个以上与该主智能手机以无线方式连接的控制设备处；所述辅助IMU组件采集控制设备的姿态数据或位置数据；所述姿态数据包括姿态角、角速率或加速度数据；所述拍摄组件包括主拍摄组件和辅助拍摄组件，所述主拍摄组件为主智能手机的后置摄像头，所述辅助拍摄组件为控制设备处的摄像头，辅助拍摄组件为可选。
所述MR光路模块为一无源的MR头戴机构；所述主智能手机固定于MR头戴机构处；所述主拍摄组件为主智能手机的后置摄像头；所述控制设备为游戏手柄，或是可穿戴于手部或脚部处的可穿戴设备，或是固定于MR头戴机构处的传感器及控制装置，或是使用者所手持或缚于肢体处的辅助手机。
所述MR头戴机构的虚像光路包括搁置板、全反射镜和视场透镜；所述视场透镜以两块菲涅尔透镜拼合成型；所述主智能手机横向放置于搁置板上；在MR头戴机构工作时，主智能手机以横向双分屏形式播放VR分屏模式的影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像。
所述主智能手机的后置摄像头的朝向为MR头戴机构的朝向；所述显示组件的姿态数据即为主智能手机的姿态数据；所述主智能手机处的IMU组件采集主智能手机的姿态数据，当MR头戴机构工作时，所述主智能手机的后置摄像头采集MR头戴机构朝向处的真实场景的特征点，并在MR头戴机构工作时持续采集图像形成特征点姿态图；所述MR计算模块根据特征点在特征点姿态图处的变化、以及主智能手机的姿态数据的变化，来计算主智能手机的空间位置，来调整双分屏上的影像图像。
所述以横向双分屏形式播放的影像内包括虚拟角色和控制标识，所述MR计算模块根据控制设备上的辅助IMU组件或辅助拍摄组件上传的姿态数据和位置数据生成控制器的空间位置，并形成控制标识，所述控制标识随控制设备的移动而移动；所述虚拟角色可与控制标识进行互动。
所述主智能手机与外部设备通过网络连接，所述以横向双分屏形式播放的影像内包括的虚拟角色和控制标识是混合现实图像的一部分，所述虚拟角色与外部设备对应，当所述虚拟角色可与控制标识进行互动时，外部设备根据互动内容进行相应的作业。
所述成像方法依次包括以下步骤；
A1、使用者把预装有MR应用APP的主智能手机固定于MR头戴机构的搁置板处，手持控制设备，此控制设备可以是智能手机并预装有MR应用APP；
A2、使用者佩戴MR头戴机构，并使双眼贴近观察端以观察混合现实图像；
A3、启动主智能手机的MR应用APP并设定为显示端，主智能手机以横向双分屏形式播放影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像；
A4、所述主智能手机的后置摄像头采集MR头戴机构初始朝向处的真实场景处的特征点，并在MR头戴机构工作时持续采集图像形成特征点姿态图；所述MR计算模块根据特征点在姿态图处的变化、以及主智能手机的姿态数据的变化，来计算主智能手机的空间位置，并用该信息来调整双分屏上的影像图像；
A5、使用者把控制设备举起至混合现实图像处的特定点位处，如控制设备为智能手机，则启动辅助手机上的MR应用APP并设定为控制端；控制设备上的辅助IMU控制设备的姿态数据和位置数据；控制端与显示端以无线方式连接，控制端向显示控制设备的姿态数据和控制数据；
A6、所述MR计算模块根据辅助手机的姿态数据和位置数据，在混合现实图像内生成控制标识，所述控制标识随辅助手机的移动而移动；当混合现实图像上的控制标识与虚拟角色接触或相邻时，所述虚拟角色与控制标识进行互动；
A7、所述虚拟角色与外部设备对应，当所述虚拟角色可与控制标识进行互动时，外部设备根据互动内容进行相应的作业。
所述MR头戴机构由一片材制成，所述片材沿长度方向设有A折叠段、B折叠段和C折叠段；所述A折叠段固定有半透半反镜、视场透镜；所述B折叠段固定有全反射镜；所述C折叠段处设有搁置板；所述搁置板处设有供主智能手机的后置摄像头采集外界图像的摄像孔。
所述MR头戴机构的制备方法依次包括以下步骤；
B1、把A折叠段、B折叠段折合形成一菱形柱；使所述透镜位于菱形顶点连线处；菱形柱四个侧面处，其中一个侧面敞开为影像光线入射面，另三个侧面封闭分别形成为观察孔壁、半透半反镜壁和全反射镜壁；所述影像光线入射面朝向全反射镜壁；全反射镜壁处设有全反射镜；所述观察孔位于观察孔壁；观察孔所朝向的菱形柱侧壁为半透半反镜壁；所述半透半反镜设于半透半反镜壁处；
B2、展开A折叠段处的遮光罩，并使遮光罩插于观察孔壁；
B3、展开C折叠段，在搁置板上放置具有后置摄像头的主智能手机，使后置摄像头对准搁置板的摄像孔，然后把C折叠段折合至菱形柱的影像光线入射面处；所述观察端包括观察孔，当主智能手机以横向双分屏形式播放VR分屏模式的影像时，即可在观察孔处看到手机屏幕图像与外界图像混合形成的混合现实图像。
发明的有益效果
有益效果
本发明采用了模块化设计，MR设备的光路与播放源之间是相互独立的，只要作为播放源的手机显示能力符合MR头戴机构光路的兼容范围，即可用于本设备，MR头戴机构机壳可不设电子设备，或是仅设置少许与智能手机配套的传感器即可，从而大大降低了MR眼镜的制作成本。
本发明中，由于MR设备的虚拟视像源为智能手机，置入MR设备搁置板的智能手机在MR设备使用时即为MR设备的一部分，因此MR设备的互动功能可以随智能手机硬件性能、软件功能的提升而提升，在升级MR设备功能时，只需升级手机硬件，或是仅升级手机内部APP即可实现，无须如传统MR设备那样需与固定设备商绑定，从而让MR设备的升级更为便捷经济，例如当智能手机具备磁力计、陀螺仪、加速度计这些传感器时，如果智能手机用于MR显示的APP能与这些传感器配合工作，则即可实现混合现实图像的定位显示，即混合现实图像上的虚像可与MR设备的朝向和运动进行互动，而当这些IMU组件的功能、采样性能提升时，本MR设备的功能也会得到提升。
本发明中，由于MR设备的光路部分仅以一块薄板简单地折合而成，从而能在光路基板上选用不同的材料，以适合市场对MR眼镜的价格、强度等方面的不同要求。
本发明中，所述搁置板处设有供图像播放器的后置摄像头采集外界图像的摄像孔；所述图像播放器为智能手机；由于在本产品中，智能手机的摄像头指向是与MR设备的现实观察方向一致的，MR设备的现实观察方向即为观察孔的朝向；此设计能使MR设备的虚拟图像与手机摄像头采集的外界图像产生互动，由于智能手机摄像头采集的图像与观察孔所能观察到的现实图像是基本一致的，则当虚拟图像能与现实图像间产生互动关联时，智能手机内用于MR显示的APP即可使虚拟图像产生相应的互动，例如，如果智能手机内用于MR显示的APP显示的虚像为水壶，而MR设备观察孔正对一火源时，智能手机的摄像头采集到火源图像并把图像传给MR显示APP，则此APP自动把虚拟图像内的水壶转为浇开水的水壶状态。
本发明中，由于显示端的智能手机和控制端的智能手机是通过无线连接方式配合的独立设备，因此为本MR设备的控制方式提供了强大的扩展能力，只需在控制端的智能手机上安装相应的MR应用APP，即可在混合现实图像上把控制端的智能手机虚拟显示为各类控制标识，如游戏枪、盾或抓斗、机械手、文件控制图标等。
本发明中，由于显示端的智能手机和控制端的智能手机或游戏手柄是通过无线连接方式配合的独立设备，因此为本MR设备的控制方式提供了强大的扩展能力，只需在控制端的智能手机或游戏手柄上安装相应的MR应用APP，即可在混合现实图像上把控制端的智能手机虚拟显示为各类控制标识，如游戏枪、盾或抓斗、机械手、文件控制图标等。
由于本发明的MR设备的光路模块仅以一块薄板简单地折合而成，成本极期低廉，而作为运算和控制的设备又是软件可独立安装的智能手机，因此使用者能以很低的成本获得MR设备的各个模块，再通过对智能手机上APP的设置，让MR设备能与办公或家用场景充分结合，大大提升了MR设备的实用性；例如使用者带上MR头戴机构之后，以手持的智能手机来虚拟显示为文件控制图标，在混合现实图像中审核完稿件，认为可正式打印后，就可以直接把文件控制图标扔到混合现实图像中的打印机虚拟角色里，由于打印机角色已与真实打印机相关联，文件控制图标与打印机虚拟角色的互动等同于打印命令，所以真实打印机就直接执行文件打印作业。
对附图的简要说明
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1为本发明的示意图；
图2为本发明另一方向上的示意图；
图3为本发明的光路示意图；
图4为本发明透镜的构造示意图；
图5为本发明机壳的折叠过程示意图；
图6为本发明的立体示意图；
图7为本发明的另一立体示意图；
图8为本发明的主智能手机以横向双分屏形式播放VR分屏模式影像的示意图；
图中：1-MR光路模块；2-全反射镜；3-视场透镜；4-半透半反镜；5-搁置板；6-遮光罩；601-观察端；7-阻尼件；a-MR计算模块；
101-菲涅尔透镜；102-观察孔；103-C折叠段；104-A折叠段；105-B折叠段；106-主智能手机；107-控制标识；108-虚拟角色；109-显示组件。
实施该发明的最佳实施例
本发明的最佳实施方式
如图1-8所示，一种模块化MR设备成像方法，所述MR设备包括MR计算模块a、MR光路模块1和MR姿态模块；所述MR计算模块a包括显示组件109；所述MR姿态模块包括拍摄组件和IMU组件；所述拍摄组件用于采集显示组件预设角度方向上的图像；所述IMU组件用于采集MR设备的姿态数据；所述MR计算模块与MR姿态模块相连，并根据MR姿态模块采集的图像数据和姿态数据对显示组件的显示内容进行调整。
所述MR光路模块1包括虚像光路和混合光路；所述虚像光路与显示组件相接；所述混合光路输入端与虚像光路相接，输出端为观察端；混合光路处设有半透半反镜4；所述半透半反镜4一面为实像引入面，另一面为虚像引入面；所述实像引入面朝向真实环境；所述虚像引入面朝向虚像光路；所述显示组件的显示内容经虚像光路处理并传输后形成虚拟像，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端601并与虚拟像混合形成混合现实图像。
所述MR计算模块a为主智能手机106；所述显示组件为主智能手机106的显示模块；所述IMU组件包括磁力计、陀螺仪、加速度计；所述IMU组件包括主IMU组件和辅助IMU组件；所述主IMU组件采集显示组件的姿态数据；所述主IMU组件设于主智能手机处；所述辅助IMU组件设于一个以上与该主智能手机以无线方式连接的控制设备处；所述辅助IMU组件采集控制设备的姿态数据或位置数据；所述姿态数据包括姿态角、角速率或加速度数据；所述拍摄组件包括主拍摄组件和辅助拍摄组件，所述主拍摄组件为主智能手机的后置摄像头，所述辅助拍摄组件为控制设备处的摄像头。
所述MR光路模块1为一无源的MR头戴机构；所述主智能手机106固定于MR头戴机构1处；所述主拍摄组件为主智能手机的后置摄像头；所述控制设备为游戏手柄，或是可穿戴于手部或脚部处的可穿戴设备，或是固定于MR头戴机构处的传感器及控制装置，或是使用者所手持或缚于肢体处的辅助手机。
所述MR头戴机构的虚像光路包括搁置板5、全反射镜2和视场透镜3；所述视场透镜3以两块菲涅尔透镜101拼合成型；所述主智能手机106横向放置于搁置板5上；在MR头戴机构工作时，主智能手机以横向双分屏形式播放VR分屏模式的影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像。
所述主智能手机的后置摄像头的朝向为MR头戴机构的朝向；所述显示组件的姿态数据即为主智能手机106的姿态数据；所述主智能手机处的IMU组件采集主智能手机的姿态数据，当MR头戴机构工作时，所述主智能手机的后置摄像头采集MR头戴机构初始朝向处的真实场景处的特征点，并在MR头戴机构工作时持续采集图像作为姿态图；所述MR计算模块根据特征点在姿态图处的变化、以及主智能手机的姿态数据的变化，来调整双分屏上的影像图像。
所述以横向双分屏形式播放的影像内包括虚拟角色108和控制标识107，所述MR计算模块根据辅助IMU组件上传的控制设备的姿态数据和位置数据生成控制标识，所述控制标识随控制设备的移动而移动；所述虚拟角色可与控制标识进行互动。
所述主智能手机与外部设备通过网络连接，所述以横向双分屏形式播放的影像内包括的虚拟角色和控制标识是混合现实图像的一部分，所述虚拟角色与外部设备对应，当所述虚拟角色可与控制标识进行互动时，外部设备根据互动内容进行相应的作业。
所述成像方法依次包括以下步骤；
A1、使用者把预装有MR应用APP的主智能手机106固定于MR头戴机构的搁置板处，手持辅助手机，此辅助手机也是智能手机并预装有MR应用APP；
A2、使用者佩戴MR头戴机构，并使双眼贴近观察端以观察混合现实图像；
A3、启动主智能手机的MR应用APP并设定为显示端，主智能手机以横向双分屏形式播放影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像；
A4、所述主智能手机的后置摄像头采集MR头戴机构初始朝向处的真实场景处的特征点，并在MR头戴机构工作时持续采集图像作为姿态图；所述MR计算模块根据特征点在姿态图处的变化、以及主智能手机的姿态数据的变化，来调整双分屏上的影像图像；
A5、使用者把辅助手机举起至混合现实图像处的特定点位处，启动辅助手机上的MR应用APP并设定为控制端；辅助手机上的辅助IMU组件采集辅助手机的姿态数据和位置数据；控制端与显示端以无线方式连接，控制端向显示端上传辅助手机的姿态数据和控制数据；
A6、所述MR计算模块根据辅助手机的姿态数据和位置数据，在混合现实图像内生成控制标识，所述控制标识随辅助手机的移动而移动；当混合现实图像上的控制标识与虚拟角色接触或相邻时，所述虚拟角色与控制标识进行互动；
A7、所述虚拟角色与外部设备对应，当所述虚拟角色可与控制标识进行互动时，外部设备根据互动内容进行相应的作业。
所述主智能手机、辅助手机通过单目视觉惯性里程计方法来生成并共享统一的空间定位数据，所述单目视觉惯性里程计方法分为以下步骤；
B1、主智能手机、辅助手机经摄像头采集图像生成各自的姿态图，主智能手机、辅助手机经内置的IMU组件采集各自的姿态数据，主智能手机、辅助手机各自把姿态图与姿态数据进行关联，形成各自的空间图像关联数据，主智能手机、辅助手机经网络连接来汇总各自的空间图像关联数据，在主智能手机、辅助手机内生成统一的空间图像关联数据库；
B2、主智能手机、辅助手机在运动过程中继续采集姿态图和姿态数据，并把新采集的姿态图、姿态数据添加入空间图像关联数据库内并进行关联；
B3、主智能手机、辅助手机在运动过程中以当前采集的姿态图、姿态数据在空间图像关联数据库内进行数据比对，以获取手机在当前空间的具体方位，并预判手机的轨迹和姿态变化；
B4、主智能手机、辅助手机在运动过程中，读取空间图像关联数据库，并以当前所采集的姿态图与过去N个时间帧内同坐标、同姿态所采集的姿态图和姿态数据进行比对，当发现差异时对空间图像关联数据库进行更新；
B5、在步骤B3、B4中，主智能手机、辅助手机以预设的公差阈值来比对和校验数据，以提升空间定位的效率和鲁棒性。
所述MR头戴机构由一片材制成，所述片材沿长度方向设有A折叠段104、B折叠段105和C折叠段106；所述A折叠段104固定有半透半反镜4、视场透镜3；所述B折叠段105固定有全反射镜2；所述C折叠段106处设有搁置板5；所述搁置板5处设有供主智能手机106的后置摄像头采集外界图像的摄像孔。
所述MR头戴机构的制备方法依次包括以下步骤；
B1、把A折叠段、B折叠段折合形成一菱形柱；使所述透镜位于菱形顶点连线处；菱形柱四个侧面处，其中一个侧面敞开为影像光线入射面，另三个侧面封闭分别形成为观察孔壁、半透半反镜壁和全反射镜壁；所述影像光线入射面朝向全反射镜壁；全反射镜壁处设有全反射镜；所述观察孔位于观察孔壁；观察孔所朝向的菱形柱侧壁为半透半反镜壁；所述半透半反镜设于半透半反镜壁处；
B2、展开A折叠段处的遮光罩6，并使遮光罩6插于观察孔壁；
B3、展开C折叠段，在搁置板上放置具有后置摄像头的主智能手机，使后置摄像头对准搁置板的摄像孔，然后把C折叠段折合至菱形柱的影像光线入射面处；所述观察端包括观察孔102，当主智能手机以横向双分屏形式播放VR分屏模式的影像时，即可在观察孔处看到手机屏幕图像与外界图像混合形成的混合现实图像。
所述搁置板5的底部设置有阻尼件7；所述搁置板经魔术贴或卡扣与机壳可拆联接；所述搁置板与机壳固定联接。
在本发明另一方案中，所述MR计算模块为主智能手机；所述显示组件为主智能手机的显示模块；所述IMU组件包括磁力计、陀螺仪、加速度计；所述IMU组件包括主IMU组件和零个或以上辅助IMU组件；所述主IMU组件采集显示组件的姿态数据；所述主IMU组件设于主智能手机处；所述辅助IMU组件设于一个以上与该主智能手机以无线方式连接的控制设备处；所述辅助IMU组件采集控制设备的姿态数据或位置数据；所述姿态数据包括姿态角、角速率或加速度数据；所述拍摄组件包括主拍摄组件和辅助拍摄组件，所述主拍摄组件为主智能手机的后置摄像头，所述辅助拍摄组件为控制设备处的摄像头，辅助拍摄组件为可选。
所述MR光路模块为一无源的MR头戴机构；所述主智能手机固定于MR头戴机构处；所述主拍摄组件为主智能手机的后置摄像头；所述控制设备为游戏手柄，或是可穿戴于手部或脚部处的可穿戴设备，或是固定于MR头戴机构处的传感器及控制装置，或是使用者所手持或缚于肢体处的辅助手机。
所述MR头戴机构的虚像光路包括搁置板、全反射镜和视场透镜；所述视场透镜以两块菲涅尔透镜拼合成型；所述主智能手机横向放置于搁置板上；在MR头戴机构工作时，主智能手机以横向双分屏形式播放VR分屏模式的影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像。
所述主智能手机的后置摄像头的朝向为MR头戴机构的朝向；所述显示组件的姿态数据即为主智能手机的姿态数据；所述主智能手机处的IMU组件采集主智能手机的姿态数据，当MR头戴机构工作时，所述主智能手机的后置摄像头采集MR头戴机构朝向处的真实场景的特征点，并在MR头戴机构工作时持续采集图像形成特征点姿态图；所述MR计算模块根据特征点在特征点姿态图处的变化、以及主智能手机的姿态数据的变化，来计算主智能手机的空间位置，来调整双分屏上的影像图像。
所述以横向双分屏形式播放的影像内包括虚拟角色和控制标识，所述MR计算模块根据控制设备上的辅助IMU组件或辅助拍摄组件上传的姿态数据和位置数据生成控制器的空间位置，并形成控制标识，所述控制标识随控制设备的移动而移动；所述虚拟角色可与控制标识进行互动。
所述主智能手机与外部设备通过网络连接，所述以横向双分屏形式播放的影像内包括的虚拟角色和控制标识是混合现实图像的一部分，所述虚拟角色与外部设备对应，当所述虚拟角色可与控制标识进行互动时，外部设备根据互动内容进行相应的作业。
所述成像方法依次包括以下步骤；
A1、使用者把预装有MR应用APP的主智能手机固定于MR头戴机构的搁置板处，手持控制设备，此控制设备可以是智能手机并预装有MR应用APP；
A2、使用者佩戴MR头戴机构，并使双眼贴近观察端以观察混合现实图像；
A3、启动主智能手机的MR应用APP并设定为显示端，主智能手机以横向双分屏形式播放影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像；
A4、所述主智能手机的后置摄像头采集MR头戴机构初始朝向处的真实场景处的特征点，并在MR头戴机构工作时持续采集图像形成特征点姿态图；所述MR计算模块根据特征点在姿态图处的变化、以及主智能手机的姿态数据的变化，来计算主智能手机的空间位置，并用该信息来调整双分屏上的影像图像；
A5、使用者把控制设备举起至混合现实图像处的特定点位处，如控制设备为智能手机，则启动辅助手机上的MR应用APP并设定为控制端；控制设备上的辅助IMU控制设备的姿态数据和位置数据；控制端与显示端以无线方式连接，控制端向显示控制设备的姿态数据和控制数据；
A6、所述MR计算模块根据辅助手机的姿态数据和位置数据，在混合现实图像内生成控制标识，所述控制标识随辅助手机的移动而移动；当混合现实图像上的控制标识与虚拟角色接触或相邻时，所述虚拟角色与控制标识进行互动；
A7、所述虚拟角色与外部设备对应，当所述虚拟角色可与控制标识进行互动时，外部设备根据互动内容进行相应的作业。
所述MR头戴机构由一片材制成，所述片材沿长度方向设有A折叠段、B折叠段和C折叠段；所述A折叠段固定有半透半反镜、视场透镜；所述B折叠段固定有全反射镜；所述C折叠段处设有搁置板；所述搁置板处设有供主智能手机的后置摄像头采集外界图像的摄像孔。
所述MR头戴机构的制备方法依次包括以下步骤；
B1、把A折叠段、B折叠段折合形成一菱形柱；使所述透镜位于菱形顶点连线处；菱形柱四个侧面处，其中一个侧面敞开为影像光线入射面，另三个侧面封闭分别形成为观察孔壁、半透半反镜壁和全反射镜壁；所述影像光线入射面朝向全反射镜壁；全反射镜壁处设有全反射镜；所述观察孔位于观察孔壁；观察孔所朝向的菱形柱侧壁为半透半反镜壁；所述半透半反镜设于半透半反镜壁处；
B2、展开A折叠段处的遮光罩，并使遮光罩插于观察孔壁；
B3、展开C折叠段，在搁置板上放置具有后置摄像头的主智能手机，使后置摄像头对准搁置板的摄像孔，然后把C折叠段折合至菱形柱的影像光线入射面处；所述观察端包括观察孔，当主智能手机以横向双分屏形式播放VR分屏模式的影像时，即可在观察孔处看到手机屏幕图像与外界图像混合形成的混合现实图像。
在本例使用中，使用者如果需在主智能手机、辅助手机所共享的统一的空间定位数据内设置统一的坐标系原点，可采取的一种方式是在设备初始使用时，让主智能手机、辅助手机以同一姿态对相同目标物进行初始姿态图采集，以识别并标记初始姿态图中的特征点作为坐标系原点。
实施例：
使用者主智能手机、辅助手机上分别安装MR应用APP，在MR头戴机构的搁置板上固定主智能手机，把辅助手机持于手上。
使用者戴上MR头戴机构之后，以手持的辅助手机作为操纵柄，并把辅助手机在混合现实中虚拟显示为文件控制图标。
使用者直接通过观察孔102、半透半反镜4来在混合现实图像中审核真实环境中的纸件稿件，此纸件稿件与文件控制图标关联，文件控制图标代表了与此纸件稿件对应的电脑档案。
当使用者在混合现实图像中审核完稿件，认为可正式打印后，挥动手持的辅助手机，直接把文件控制图标扔入混合现实图像中的打印机虚拟角色里，由于打印机角色已与真实打印机相关联，此时文件控制图标与打印机虚拟角色的互动等同于使用者正式发出打印命令，使得办公环境的真实打印机直接执行文件打印作业。

Claims (12)

1.一种模块化MR设备成像方法，其特征在于：所述MR设备包括MR计算模块、MR光路模块和MR姿态模块；所述MR计算模块包括显示组件；所述MR姿态模块包括拍摄组件和IMU组件；所述拍摄组件用于采集显示组件预设角度方向上的图像；所述IMU组件用于采集MR设备的姿态数据；所述MR计算模块与MR姿态模块相连，并根据MR姿态模块采集的图像数据和姿态数据对显示组件的显示内容进行调整；
所述MR光路模块包括虚像光路和混合光路；所述虚像光路与显示组件相接；所述混合光路输入端与虚像光路相接，输出端为观察端；混合光路处设有半透半反镜；所述半透半反镜一面为实像引入面，另一面为虚像引入面；所述实像引入面朝向真实环境；所述虚像引入面朝向虚像光路；所述显示组件的显示内容经虚像光路处理并传输后形成虚拟像，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端并与虚拟像混合形成混合现实图像；
所述MR计算模块为主智能手机；所述显示组件为主智能手机的显示模块；所述IMU组件包括磁力计、陀螺仪、加速度计；所述IMU组件包括主IMU组件和辅助IMU组件；所述主IMU组件采集显示组件的姿态数据；所述主IMU组件设于主智能手机处；所述辅助IMU组件设于与该主智能手机以无线方式连接的一个以上控制设备处；所述辅助IMU组件采集控制设备的姿态数据或位置数据；所述姿态数据包括姿态角、角速率或加速度数据；所述拍摄组件包括主拍摄组件和辅助拍摄组件，所述主拍摄组件为主智能手机的后置摄像头，所述辅助拍摄组件为控制设备处的摄像头；
所述MR光路模块为一无源的MR头戴机构；所述主智能手机固定于MR头戴机构处；所述主拍摄组件为主智能手机的后置摄像头；所述控制设备为游戏手柄，或是可穿戴于手部或脚部处的可穿戴设备，或是固定于MR头戴机构处的传感器及控制装置，或是使用者所手持或缚于肢体处的辅助手机；
所述MR头戴机构的虚像光路包括搁置板、全反射镜和视场透镜；所述视场透镜以两块菲涅尔透镜拼合成型；所述主智能手机横向放置于搁置板上；在MR头戴机构工作时，主智能手机以横向双分屏形式播放VR分屏模式的影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像；
所述主智能手机的后置摄像头的朝向为MR头戴机构的朝向；所述显示组件的姿态数据即为主智能手机的姿态数据；所述主智能手机处的IMU组件采集主智能手机的姿态数据，当MR头戴机构工作时，所述主智能手机的后置摄像头采集MR头戴机构初始朝向处的真实场景处的特征点，并在MR头戴机构工作时持续采集图像作为姿态图；所述MR计算模块根据特征点在姿态图处的变化、以及主智能手机的姿态数据的变化，来调整双分屏上的影像图像。
2.根据权利要求1所述的一种模块化MR设备成像方法，其特征在于：所述以横向双分屏形式播放的影像内包括虚拟角色和控制标识，所述MR计算模块根据辅助IMU组件上传的控制设备的姿态数据和位置数据生成控制标识，所述控制标识随控制设备的移动而移动；所述虚拟角色可与控制标识进行互动。
3.根据权利要求1所述的一种模块化MR设备成像方法，其特征在于：所述以横向双分屏形式播放的影像内包括虚拟角色和控制标识，所述MR计算模块根据辅助IMU组件上传的控制设备的姿态数据和位置数据生成控制标识，所述控制标识随控制设备的移动而移动；所述虚拟角色可与控制标识进行互动。
4.根据权利要求3所述的一种模块化MR设备成像方法，其特征在于：所述成像方法依次包括以下步骤；
A1、使用者把预装有MR应用APP的主智能手机固定于MR头戴机构的搁置板处，手持辅助手机，此辅助手机也是智能手机并预装有MR应用APP；
A2、使用者佩戴MR头戴机构，并使双眼贴近观察端以观察混合现实图像；
A3、启动主智能手机的MR应用APP并设定为显示端，主智能手机以横向双分屏形式播放影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像；
A4、所述主智能手机的后置摄像头采集MR头戴机构初始朝向处的真实场景处的特征点，并在MR头戴机构工作时持续采集图像作为姿态图；所述MR计算模块根据特征点在姿态图处的变化、以及主智能手机的姿态数据的变化，来调整双分屏上的影像图像；
A5、使用者把辅助手机举起至混合现实图像处的特定点位处，启动辅助手机上的MR应用APP并设定为控制端；辅助手机上的辅助IMU组件采集辅助手机的姿态数据和位置数据；控制端与显示端以无线方式连接，控制端向显示端上传辅助手机的姿态数据和控制数据；
A6、所述MR计算模块根据辅助手机的姿态数据和位置数据，在混合现实图像内生成控制标识，所述控制标识随辅助手机的移动而移动；当混合现实图像上的控制标识与虚拟角色接触或相邻时，所述虚拟角色与控制标识进行互动；
A7、所述虚拟角色与外部设备对应，当所述虚拟角色可与控制标识进行互动时，外部设备根据互动内容进行相应的作业。
5.根据权利要求4所述的一种模块化MR设备成像方法，其特征在于：所述主智能手机、辅助手机通过单目视觉惯性里程计方法来生成并共享统一的空间定位数据，所述单目视觉惯性里程计方法分为以下步骤；
B1、主智能手机、辅助手机经摄像头采集图像生成各自的姿态图，主智能手机、辅助手机经内置的IMU组件采集各自的姿态数据，主智能手机、辅助手机各自把姿态图与姿态数据进行关联，形成各自的空间图像关联数据，主智能手机、辅助手机经网络连接来汇总各自的空间图像关联数据，在主智能手机、辅助手机内生成统一的空间图像关联数据库；
B2、主智能手机、辅助手机在运动过程中继续采集姿态图和姿态数据，并把新采集的姿态图、姿态数据添加入空间图像关联数据库内并进行关联；
B3、主智能手机、辅助手机在运动过程中以当前采集的姿态图、姿态数据在空间图像关联数据库内进行数据比对，以获取手机在当前空间的具体方位，并预判手机的轨迹和姿态变化；
B4、主智能手机、辅助手机在运动过程中，读取空间图像关联数据库，并以当前所采集的姿态图与过去N个时间帧内同坐标、同姿态所采集的姿态图和姿态数据进行比对，当发现差异时对空间图像关联数据库进行更新；
B5、在步骤B3、B4中，主智能手机、辅助手机以预设的公差阈值来比对和校验数据，以提升空间定位的效率和鲁棒性。
6.根据权利要求1所述的一种模块化MR设备成像方法，其特征在于：所述MR头戴机构由一片材制成，所述片材沿长度方向设有A折叠段、B折叠段和C折叠段；所述A折叠段固定有半透半反镜、视场透镜；所述B折叠段固定有全反射镜；所述C折叠段处设有搁置板；所述搁置板处设有供主智能手机的后置摄像头采集外界图像的摄像孔；
所述MR头戴机构的制备方法依次包括以下步骤；
B1、把A折叠段、B折叠段折合形成一菱形柱；使所述透镜位于菱形顶点连线处；菱形柱四个侧面处，其中一个侧面敞开为影像光线入射面，另三个侧面封闭分别形成为观察孔壁、半透半反镜壁和全反射镜壁；所述影像光线入射面朝向全反射镜壁；全反射镜壁处设有全反射镜；所述观察孔位于观察孔壁；观察孔所朝向的菱形柱侧壁为半透半反镜壁；所述半透半反镜设于半透半反镜壁处；
B2、展开A折叠段处的遮光罩，并使遮光罩插于观察孔壁；
B3、展开C折叠段，在搁置板上放置具有后置摄像头的主智能手机，使后置摄像头对准搁置板的摄像孔，然后把C折叠段折合至菱形柱的影像光线入射面处；所述观察端包括观察孔，当主智能手机以横向双分屏形式播放VR分屏模式的影像时，即可在观察孔处看到手机屏幕图像与外界图像混合形成的混合现实图像。
7.一种模块化MR设备成像方法，其特征在于：所述MR设备包括MR计算模块、MR光路模块和MR姿态模块；所述MR计算模块包括显示组件；所述MR姿态模块包括拍摄组件和IMU组件；所述拍摄组件用于采集显示组件预设角度方向上的图像；所述IMU组件用于采集MR设备的姿态数据；所述MR计算模块与MR姿态模块相连，并根据MR姿态模块采集的图像数据和姿态数据对显示组件的显示内容进行调整；
所述MR光路模块包括虚像光路和混合光路；所述虚像光路与显示组件相接；所述混合光路输入端与虚像光路相接，输出端为观察端；混合光路处设有半透半反镜；所述半透半反镜一面为实像引入面，另一面为虚像引入面；所述实像引入面朝向真实环境；所述虚像引入面朝向虚像光路；所述显示组件的显示内容经虚像光路处理并传输后形成虚拟像，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端并与虚拟像混合形成混合现实图像；
所述MR计算模块为主智能手机；所述显示组件为主智能手机的显示模块；所述IMU组件包括磁力计、陀螺仪、加速度计；所述IMU组件包括主IMU组件和辅助IMU组件；所述主IMU组件采集显示组件的姿态数据；所述主IMU组件设于主智能手机处；所述辅助IMU组件设于与该主智能手机以无线方式连接的一个以上控制设备处；所述辅助IMU组件采集控制设备的姿态数据或位置数据；所述姿态数据包括姿态角、角速率或加速度数据；所述拍摄组件包括主拍摄组件和辅助拍摄组件，所述主拍摄组件为主智能手机的后置摄像头，所述辅助拍摄组件为控制设备处的摄像头；
所述MR光路模块为一无源的MR头戴机构；所述主智能手机固定于MR头戴机构处；所述主拍摄组件为主智能手机的后置摄像头；所述控制设备为游戏手柄，或是可穿戴于手部或脚部处的可穿戴设备，或是固定于MR头戴机构处的传感器及控制装置，或是使用者所手持或缚于肢体处的辅助手机；
所述MR头戴机构的虚像光路包括搁置板、全反射镜和视场透镜；所述视场透镜以两块菲涅尔透镜拼合成型；所述主智能手机横向放置于搁置板上；在MR头戴机构工作时，主智能手机以横向双分屏形式播放VR分屏模式的影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像；
所述主智能手机的后置摄像头的朝向为MR头戴机构的朝向；所述显示组件的姿态数据即为主智能手机的姿态数据；所述主智能手机处的IMU组件采集主智能手机的姿态数据，当MR头戴机构工作时，所述主智能手机的后置摄像头采集MR头戴机构朝向处的真实场景的特征点，并在MR头戴机构工作时持续采集图像形成特征点姿态图；所述MR计算模块根据特征点在特征点姿态图处的变化、以及主智能手机的姿态数据的变化，来计算主智能手机的空间位置，来调整双分屏上的影像图像。
8.根据权利要求7所述的一种模块化MR设备成像方法，其特征在于：所述以横向双分屏形式播放的影像内包括虚拟角色和控制标识，所述MR计算模块根据控制设备上的辅助IMU组件或辅助拍摄组件上传的姿态数据和位置数据生成控制器的空间位置，并形成控制标识，所述控制标识随控制设备的移动而移动；所述虚拟角色可与控制标识进行互动。
9.根据权利要求8所述的一种模块化MR设备成像方法，其特征在于：所述主智能手机与外部设备通过网络连接，所述以横向双分屏形式播放的影像内包括的虚拟角色和控制标识是混合现实图像的一部分，所述虚拟角色与外部设备对应，当所述虚拟角色可与控制标识进行互动时，外部设备根据互动内容进行相应的作业。
10.根据权利要求9所述的一种模块化MR设备成像方法，其特征在于：所述成像方法依次包括以下步骤；
A1、使用者把预装有MR应用APP的主智能手机固定于MR头戴机构的搁置板处，手持控制设备，此控制设备可以是智能手机并预装有MR应用APP；
A2、使用者佩戴MR头戴机构，并使双眼贴近观察端以观察混合现实图像；
A3、启动主智能手机的MR应用APP并设定为显示端，主智能手机以横向双分屏形式播放影像，两分屏的影像光线被全反射镜反射至两块菲涅尔透镜处，两块菲涅尔透镜折射两分屏的影像光线，使影像光线形成两路具备预设视场角的虚拟像光线，虚拟像光线经虚像引入面反射至观察端；所述真实环境的光线经实像引入面透射至观察端，真实环境光线与虚拟像光线混合使观察端处形成混合现实图像；
A4、所述主智能手机的后置摄像头采集MR头戴机构初始朝向处的真实场景处的特征点，并在MR头戴机构工作时持续采集图像形成特征点姿态图；所述MR计算模块根据特征点在姿态图处的变化、以及主智能手机的姿态数据的变化，来计算主智能手机的空间位置，来调整双分屏上的影像图像；
A5、使用者把控制设备举起至混合现实图像处的特定点位处，如控制设备为智能手机，则启动辅助手机上的MR应用APP并设定为控制端；控制设备上的辅助IMU控制设备的姿态数据和位置数据；控制端与显示端以无线方式连接，控制端向显示控制设备的姿态数据和控制数据；
A6、所述MR计算模块根据辅助手机的姿态数据和位置数据，在混合现实图像内生成控制标识，所述控制标识随辅助手机的移动而移动；当混合现实图像上的控制标识与虚拟角色接触或相邻时，所述虚拟角色与控制标识进行互动；
A7、所述虚拟角色与外部设备对应，当所述虚拟角色可与控制标识进行互动时，外部设备根据互动内容进行相应的作业。
11.根据权利要求7所述的一种模块化MR设备成像方法，其特征在于：所述MR头戴机构由一片材制成，所述片材沿长度方向设有A折叠段、B折叠段和C折叠段；所述A折叠段固定有半透半反镜、视场透镜；所述B折叠段固定有全反射镜；所述C折叠段处设有搁置板；所述搁置板处设有供主智能手机的后置摄像头采集外界图像的摄像孔。
12.根据权利要求11所述的一种模块化MR设备成像方法，其特征在于：所述MR头戴机构的制备方法依次包括以下步骤；
B1、把A折叠段、B折叠段折合形成一菱形柱；使所述透镜位于菱形顶点连线处；菱形柱四个侧面处，其中一个侧面敞开为影像光线入射面，另三个侧面封闭分别形成为观察孔壁、半透半反镜壁和全反射镜壁；所述影像光线入射面朝向全反射镜壁；全反射镜壁处设有全反射镜；所述观察孔位于观察孔壁；观察孔所朝向的菱形柱侧壁为半透半反镜壁；所述半透半反镜设于半透半反镜壁处；
B2、展开A折叠段处的遮光罩，并使遮光罩插于观察孔壁；
B3、展开C折叠段，在搁置板上放置具有后置摄像头的主智能手机，使后置摄像头对准搁置板的摄像孔，然后把C折叠段折合至菱形柱的影像光线入射面处；所述观察端包括观察孔，当主智能手机以横向双分屏形式播放VR分屏模式的影像时，即可在观察孔处看到手机屏幕图像与外界图像混合形成的混合现实图像。
CN201880002360.1A 2017-06-02 2018-06-01 一种模块化mr设备成像方法 Active CN109313342B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2017104063713 2017-06-02
CN201710406371.3A CN107065195B (zh) 2017-06-02 2017-06-02 一种模块化mr设备成像方法
PCT/CN2018/089434 WO2018219336A1 (zh) 2017-06-02 2018-06-01 一种模块化mr设备成像方法

Publications (2)

Publication Number Publication Date
CN109313342A CN109313342A (zh) 2019-02-05
CN109313342B true CN109313342B (zh) 2021-05-11

Family

ID=59617774

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710406371.3A Active CN107065195B (zh) 2017-06-02 2017-06-02 一种模块化mr设备成像方法
CN201880002360.1A Active CN109313342B (zh) 2017-06-02 2018-06-01 一种模块化mr设备成像方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710406371.3A Active CN107065195B (zh) 2017-06-02 2017-06-02 一种模块化mr设备成像方法

Country Status (4)

Country Link
US (1) US11709360B2 (zh)
JP (1) JP7212819B2 (zh)
CN (2) CN107065195B (zh)
WO (1) WO2018219336A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065195B (zh) 2017-06-02 2023-05-02 那家全息互动(深圳)有限公司 一种模块化mr设备成像方法
CN107390370B (zh) * 2017-09-21 2020-05-01 中新国际电子有限公司 一种vr头显
TWI679555B (zh) * 2017-10-12 2019-12-11 華碩電腦股份有限公司 擴增實境系統以及提供擴增實境之方法
CN108489482B (zh) * 2018-02-13 2019-02-26 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
US11422530B2 (en) * 2018-08-20 2022-08-23 Dell Products, L.P. Systems and methods for prototyping a virtual model
CN109814710B (zh) * 2018-12-27 2022-05-13 青岛小鸟看看科技有限公司 数据处理方法、装置及虚拟现实设备
CN110731882A (zh) * 2019-11-13 2020-01-31 常州大连理工大学智能装备研究院 一种视力恢复训练仪及其工作方法
CN111474723A (zh) * 2020-05-09 2020-07-31 Oppo广东移动通信有限公司 显示光学系统及头戴显示设备
CN112526757B (zh) * 2020-12-15 2023-04-07 闪耀现实(无锡)科技有限公司 头戴式设备及其增强现实光机模组
WO2024010220A1 (ko) * 2022-07-06 2024-01-11 삼성전자 주식회사 거리 센서 활성화 방법 및 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204203553U (zh) * 2014-10-31 2015-03-11 成都理想境界科技有限公司 头戴式显示装置
CN204613516U (zh) * 2015-04-21 2015-09-02 杨振亚 头戴式手机类小屏幕多功能拓展装置
CN104995583A (zh) * 2012-12-13 2015-10-21 微软技术许可有限责任公司 用于混合现实环境的直接交互系统
CN105929958A (zh) * 2016-04-26 2016-09-07 华为技术有限公司 一种手势识别方法，装置和头戴式可视设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US7513668B1 (en) * 2005-08-04 2009-04-07 Rockwell Collins, Inc. Illumination system for a head up display
JP4777182B2 (ja) * 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
JP3183228U (ja) * 2013-02-19 2013-05-09 博史 田原 映像観察装置
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US10330931B2 (en) * 2013-06-28 2019-06-25 Microsoft Technology Licensing, Llc Space carving based on human physical data
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
JP2016081021A (ja) * 2014-10-09 2016-05-16 礼二郎 堀 画像表示装置を着脱できるヘッドマウントディスプレイ
JP6492531B2 (ja) * 2014-10-27 2019-04-03 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
CN104483753A (zh) * 2014-12-04 2015-04-01 上海交通大学 自配准透射式头戴显示设备
US9904054B2 (en) * 2015-01-23 2018-02-27 Oculus Vr, Llc Headset with strain gauge expression recognition system
CN105068659A (zh) * 2015-09-01 2015-11-18 陈科枫 一种增强现实系统
KR20180104056A (ko) * 2016-01-22 2018-09-19 코닝 인코포레이티드 와이드 필드 개인 디스플레이
US10802147B2 (en) * 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
EP3494447B1 (en) * 2016-08-04 2021-05-19 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10402663B1 (en) * 2016-08-29 2019-09-03 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous mapping
CN206115040U (zh) 2016-10-31 2017-04-19 京东方科技集团股份有限公司 显示装置及可穿戴设备
US10859713B2 (en) * 2017-01-04 2020-12-08 Qualcomm Incorporated Position-window extension for GNSS and visual-inertial-odometry (VIO) fusion
CN106610527A (zh) 2017-02-24 2017-05-03 关春东 一种近眼显示光学装置
US10347001B2 (en) * 2017-04-28 2019-07-09 8th Wall Inc. Localizing and mapping platform
CN107065195B (zh) 2017-06-02 2023-05-02 那家全息互动(深圳)有限公司 一种模块化mr设备成像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104995583A (zh) * 2012-12-13 2015-10-21 微软技术许可有限责任公司 用于混合现实环境的直接交互系统
CN204203553U (zh) * 2014-10-31 2015-03-11 成都理想境界科技有限公司 头戴式显示装置
CN204613516U (zh) * 2015-04-21 2015-09-02 杨振亚 头戴式手机类小屏幕多功能拓展装置
CN105929958A (zh) * 2016-04-26 2016-09-07 华为技术有限公司 一种手势识别方法，装置和头戴式可视设备

Also Published As

Publication number Publication date
CN107065195A (zh) 2017-08-18
CN107065195B (zh) 2023-05-02
US11709360B2 (en) 2023-07-25
JP2020521992A (ja) 2020-07-27
CN109313342A (zh) 2019-02-05
US20190361236A1 (en) 2019-11-28
JP7212819B2 (ja) 2023-01-26
WO2018219336A1 (zh) 2018-12-06

Similar Documents

Publication Publication Date Title
CN109313342B (zh) 一种模块化mr设备成像方法
EP3469457B1 (en) Modular extension of inertial controller for six dof mixed reality input
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
US10019849B2 (en) Personal electronic device with a display system
US9101832B2 (en) Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
JP5739674B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5541974B2 (ja) 画像表示プログラム、装置、システムおよび方法
JP4869430B1 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
CN104995583A (zh) 用于混合现实环境的直接交互系统
WO2012011044A1 (en) Interactive reality augmentation for natural interaction
CN103744518B (zh) 立体交互方法及其显示装置和系统
CN109891871A (zh) 信息处理终端
CN105212418A (zh) 基于红外夜视功能的增强现实智能头盔研制
CN108786110B (zh) 虚拟环境中的瞄准镜显示方法、设备及存储介质
JP5514637B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP6396070B2 (ja) 画像融合システム、情報処理装置、情報端末、および情報処理方法
JP2018097160A (ja) 表示システム、表示装置、及び、表示装置の制御方法
KR20130034125A (ko) 증강현실 기능을 구비한 안경형 모니터
CN105866955A (zh) 智能眼镜
CN108744511B (zh) 虚拟环境中的瞄准镜显示方法、设备及存储介质
JP5602702B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP2021015583A (ja) 情報処理システム、情報処理プログラム、情報処理装置および情報処理方法
TW201135583A (en) Telescopic observation method for virtual and augmented reality and apparatus thereof
JP2012018665A (ja) 画像表示プログラム、装置、システムおよび方法
JP5541973B2 (ja) 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190220

Address after: 350002 Unit 501, No. 129 Fenghu Road, Hongshan Town, Gulou District, Fuzhou City, Fujian Province (east side of the former Fenghu Road) No. 9 Building, A1 District, Yuefu Garden South District, Jinjiang

Applicant after: Hu Botao

Address before: 350000 Fujian Province Gulou District Industrial Road Fuda Yishan Cultural Creative Park Building 201 A025

Applicant before: Fuzhou Optical Flow Technology Co Ltd

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210402

Address after: 518067 510, block C, Wanrong building, no.1029 Nanhai Avenue, Yanshan community, zhaoshang street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: That holographic interactive (Shenzhen) Co.,Ltd.

Address before: 350002 Unit 501, No. 129 Fenghu Road, Hongshan Town, Gulou District, Fuzhou City, Fujian Province (east side of the former Fenghu Road) No. 9 Building, A1 District, Yuefu Garden South District, Jinjiang

Applicant before: Hu Botao

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant