CN115174886A - 支持立体虚拟现实与增强现实的手机镜头及显示方法 - Google Patents

支持立体虚拟现实与增强现实的手机镜头及显示方法 Download PDF

Info

Publication number
CN115174886A
CN115174886A CN202211023295.5A CN202211023295A CN115174886A CN 115174886 A CN115174886 A CN 115174886A CN 202211023295 A CN202211023295 A CN 202211023295A CN 115174886 A CN115174886 A CN 115174886A
Authority
CN
China
Prior art keywords
mobile phone
lens
video
eye
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211023295.5A
Other languages
English (en)
Inventor
姚志林
李树秋
屈鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202211023295.5A priority Critical patent/CN115174886A/zh
Publication of CN115174886A publication Critical patent/CN115174886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种支持立体虚拟现实与增强现实的手机镜头及显示方法。手机镜头包括两颗镜头及相应的镜头模块，各镜头间隔人类两眼瞳孔距离安装在手机背部表面，离手机主板最近的镜头模块直接连接在手机主板上，其他镜头模块通过扁平的排线电缆连接到手机主板；手机主板CPU接收各镜头采集的视频或图像，将其按左右双眼并列的方式呈现在手机屏幕上，可结合与手机匹配的头戴VR镜头观看；也可以将手机镜头获取的视频合成立体视频，叠加构架的虚拟景物得到混合现实视频。本发明利用手机实现立体虚拟现实与增强现实，具有成本低廉、携带方便、影像质量高等特点。

Description

支持立体虚拟现实与增强现实的手机镜头及显示方法
技术领域
本发明涉及一种手机镜头及显示方法，特别是涉及一种支持立体虚拟现实与增强现实的手机镜头及显示方法，属于电子产品技术领域。
背景技术
目前手机已经具有了较强的计算能力，利用手机观看虚拟现实的影像也有了一些实际的应用。谷歌眼镜及HOLOLENS等产品在增强现实方面进行了一些探索及尝试，但成本高昂，不利于普及应用。
发明内容
本发明要解决的技术问题是提出一种支持立体虚拟现实与增强现实的手机镜头及显示方法。
为解决上述技术问题，本发明采用的技术方案是：
一种支持立体虚拟现实与增强现实的手机镜头，包括两颗及相应的镜头模块，各镜头间隔人类两眼瞳孔距离安装在手机背部表面，各镜头的拍摄分辨率不低于宽1920，高1080像素；离手机主板最近的镜头模块直接连接在手机主板上，其他镜头模块通过扁平的排线电缆连接到手机主板；手机主板CPU接收各镜头采集的图像/视频，将其按左右双眼并列的方式呈现在手机屏幕上，可结合与手机匹配的头戴VR镜头观看。
进一步，各镜头模块通过扁平的排线电缆连接到手机主板。
进一步，各镜头的拍摄分辨率均为宽3840，高2160像素。
进一步，各镜头均为广角或超广角镜头。
本发明采用的技术方案二是：
一种基于技术方案一所述手机镜头的立体视频显示方法，包括以下步骤：
步骤1：申请手机相机的使用权限，通过枚举的方式获得所述镜头的ID；
步骤2：设置手机相机的工作方式：根据手机相机的工作方式分别设置两颗镜头为左眼镜头及右眼镜头；
步骤3：采用轮询的方式依次获得左眼镜头及右眼镜头采集的图像/视频，作为左眼图像/视频和右眼图像/视频；
步骤4：合成立体图像/视频：水平拼接左眼图像/视频和右眼图像/视频，生成立体图像/视频，存储到到文件系统中；
步骤5：根据镜头的焦距及传感器参数得到显示设备标定的水平视场角HFov以及垂直视场角VFov参数，HFov＝2atan(0.5(传感器宽度)/焦距)，VFov＝2atan(0.5(传感器高度)/焦距)；
步骤6：创建一个用于VR显示的网格，设定媒体参数为左右立体，垂直角度参数为设备标定的VFov，水平角度参数为设备标定的HFov；
步骤7：从文件系统中读取立体图像/视频；将图像转换为适合头戴VR镜头观看的形式，并将左右双眼的图像/视频并排显示在手机屏幕上。
本发明采用的技术方案三是：
一种基于技术方案一所述手机镜头的混合现实视频显示方法，包括以下步骤：
步骤1：申请手机相机的使用权限，通过枚举的方式获得所述镜头的ID；
步骤2：设置手机相机的工作方式：根据手机相机的工作方式分别设置两颗镜头为左眼镜头及右眼镜头；
步骤3：采用轮询的方式依次获得左眼镜头及右眼镜头采集的图像/视频，作为左眼图像/视频和右眼图像/视频；
步骤4：建立一个现实世界相机，将左眼图像/视频和右眼图像/视频渲染到全屏幕大小的四边形上，作为其他增强现实物体的背景；
步骤5：创建一个AR相机，作为现实世界相机的子相机，渲染场景中的虚拟物体，得到合成图像/视频；其渲染深度设置为大于现实世界相机的值，根据镜头的可视角度，处理合成图像/视频畸变，得到适合VR眼镜观看的混合现实图像。
采用上述技术方案，本发明取得的有益效果为：
(1)本发明可以利用手机的各项功能，便捷、快速、低成本、高质量地实现虚拟现实及增强现实的应用。
(2)在现有条件下，也可以利用现有手机的镜头，在手机外部增加一颗具有USB或蓝牙等通讯功能的微型摄像头，令其与手机镜头的距离与本实施例相同，利用本实施例中的手机软件系统，也可在一定程度上实现本实施例的相应功能。
附图说明
图1是本发明实施例1的结构图。
具体实施方式
实施例1：
本实施例中在手机背面，即手机屏幕的对侧面安装两颗或两颗以上镜头，用其中的两颗镜头作为本实施例的功能组件。两颗镜头安装在手机背面中心轴位置上，两颗镜头中心之间的距离与人类两眼瞳孔的距离一致，本实施例中定为66毫米。如图1所示。各镜头的拍摄分辨率均为宽3840，高2160像素。
两颗手机镜头采用广角或超广角镜头，以获得较大的视野。每个镜头的拍摄分辨率应不低于宽1920，高1080像素。较为理想的分辨率为宽3840，高2160像素。离手机主板较近的镜头模块可以直接连接在手机主板上，离手机主板较远的一颗镜头模块可以通过扁平的排线电缆连接到手机主板，也可以都通过扁平的排线电缆连接到手机主板。手机主板CPU接收各镜头采集的视频，将其呈现在头戴式显示设备上。
本发明结合相应的手机程序，可以实现用手机拍摄立体图像及视频。并且可以结合虚拟现实眼镜，将手机作为虚拟现实及增强现实的头戴式显示设备，可以通过手机实时地看到环境的影像，并利用手机程序，将相应的增强现实的影像与环境的影像叠加，从而看到增强现实的画面。
实施例2：
本实施例采集两个手机镜头的影像，将图像保存为双眼立体的静态的图像，或双眼立体动态的视频，并可用与手机配合的VR眼镜观看。
手机程序采用谷歌VR SDK作为开发组件；首先，程序申请手机相机的使用权限，然后通过枚举的方式获得此两颗镜头的ID；设置手机相机的工作方式为水平方式，根据手机的水平角度，分别设置两颗镜头为左眼镜头及右眼镜头；采用轮询的方式依次获得两颗镜头的图像。
将左眼和右眼的图像左右水平拼接，生成立体图片，也可以用安卓的MediaCodecAPI编码形成立体视频，这些立体图片和视频可以以文件的形式存储到持久化媒介上。
当需要观看这些立体的图片和视频时，先将其从文件系统中读取出来；取得设备标定的水平视场角HFov以及垂直视场角VFov参数。可根据镜头的焦距及传感器参数得到，HFov＝2atan(0.5(传感器宽度)/焦距)，VFov＝2atan(0.5(传感器高度)/焦距)。
然后利用谷歌VR SDK创建一个用于VR显示的网格，设定媒体参数为左右立体，垂直角度参数为设备标定的VFov，水平角度参数为设备标定的HFov。这些参数设置完成后，利用谷歌VR SDK的显示接口显示视频及图像。
实施例3：
本实施例采集两个手机镜头的影像，经过图像变换，将图像转换为适合用手机结合虚拟现实眼镜观看的形式，可以实时地通过头戴的方式观看到环境影像，并可通过将一些其他的虚拟现实的影像叠加到环境影像中，实现增强现实的影像画面。程序相应于不同的应用需求不尽相同。程序可基于谷歌的AR foundation SDK，利用Unity平台构建。在Unity平台中可方便地构造增强现实所需要的光照、相机、虚拟物体等对象及场景。
程序先以建立一个现实世界相机，从两个镜头融合的实际相机镜头获取图像；将获取的图像渲染到全屏幕大小的四边形上，作为其他增强现实物体的背景；之后渲染其他的场景中的虚拟物体，这时需要创建另外一个AR相机，作为上述现实世界相机的子相机，将其渲染深度设置为大于现实世界相机的值，从而使得AR相机所渲染的物体都在现实世界的背景之上。根据镜头的可视角度，对上一步骤中的世界背景和虚拟物体前景所合成的图像进行图像畸变处理，得到适合VR眼镜观看的图像。

Claims (6)

1.一种支持立体虚拟现实与增强现实的手机镜头，其特征在于，包括两颗镜头及相应的镜头模块，各镜头间隔人类两眼瞳孔距离安装在手机表面，各镜头的拍摄分辨率不低于宽1920，高1080像素；离手机主板最近的镜头模块直接连接在手机主板上，其他镜头模块通过扁平的排线电缆连接到手机主板；手机主板CPU接收各镜头采集的视频或图像，按左右双眼并列的方式呈现在手机屏幕上，可结合与手机匹配的头戴VR镜头观看。
2.根据权利要求1所述的一种支持立体虚拟现实与增强现实的手机镜头，其特征在于：各镜头模块通过扁平的排线电缆或直接连接到手机主板。
3.根据权利要求1所述的一种支持立体虚拟现实与增强现实的手机镜头，其特征在于：各镜头的拍摄分辨率均为宽3840，高2160像素。
4.根据权利要求1所述的一种支持立体虚拟现实与增强现实的手机镜头，其特征在于：各镜头均为广角或超广角镜头。
5.一种基于权利要求1所述手机镜头的采集的立体视频显示方法，包括以下步骤：
步骤1：申请手机相机的使用权限，通过枚举的方式获得所述镜头的ID；
步骤2：设置手机相机的工作方式：根据手机相机的工作方式分别设置两颗镜头为左眼镜头及右眼镜头；
步骤3：采用轮询的方式依次获得左眼镜头及右眼镜头采集的图像/视频，作为左眼图像/视频和右眼图像/视频；
步骤4：合成立体图像/视频：水平拼接左眼图像/视频和右眼图像/视频，生成立体图像/视频，存储到文件系统中；
步骤5：根据镜头的焦距及传感器参数得到拍摄设备标定的水平视场角HFov以及垂直视场角VFov参数，HFov＝2atan(0.5(传感器宽度)/焦距)，VFov＝2atan(0.5(传感器高度)/焦距)；
步骤6：创建一个用于VR显示的网格，设定媒体参数为左右立体，垂直角度参数为设备标定的VFov，水平角度参数为设备标定的HFov；
步骤7：从文件系统中读取立体图像/视频；将图像转换为适合头戴VR镜头观看的形式，并将左右双眼的图像/视频并排显示在手机屏幕上。
6.一种基于权利要求1所述手机镜头的采集的混合现实视频显示方法，包括以下步骤：
步骤1：申请手机相机的使用权限，通过枚举的方式获得所述镜头的ID；
步骤2：设置手机相机的工作方式：根据手机相机的工作方式分别设置两颗镜头为左眼镜头及右眼镜头；
步骤3：采用轮询的方式依次获得左眼镜头及右眼镜头采集的图像/视频，作为左眼图像/视频和右眼图像/视频；
步骤4：建立一个现实世界相机，将左眼图像/视频和右眼图像/视频渲染到全屏幕大小的四边形上，作为其他增强现实物体的背景；
步骤5：创建一个AR相机，作为现实世界相机的子相机，渲染场景中的虚拟物体，得到合成图像/视频；其渲染深度设置为大于现实世界相机的值，根据镜头的可视角度，处理合成图像/视频畸变，得到适合VR眼镜观看的混合现实图像。
CN202211023295.5A 2022-08-25 2022-08-25 支持立体虚拟现实与增强现实的手机镜头及显示方法 Pending CN115174886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211023295.5A CN115174886A (zh) 2022-08-25 2022-08-25 支持立体虚拟现实与增强现实的手机镜头及显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211023295.5A CN115174886A (zh) 2022-08-25 2022-08-25 支持立体虚拟现实与增强现实的手机镜头及显示方法

Publications (1)

Publication Number Publication Date
CN115174886A true CN115174886A (zh) 2022-10-11

Family

ID=83481832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211023295.5A Pending CN115174886A (zh) 2022-08-25 2022-08-25 支持立体虚拟现实与增强现实的手机镜头及显示方法

Country Status (1)

Country Link
CN (1) CN115174886A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101641963A (zh) * 2007-03-12 2010-02-03 佳能株式会社 头戴式摄像显示设备及合成图像生成装置
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
CN205283744U (zh) * 2015-12-18 2016-06-01 网易（杭州）网络有限公司 显示设备
CN106210701A (zh) * 2016-07-25 2016-12-07 深圳市同盛绿色科技有限公司 一种用于拍摄vr图像的移动终端及其vr图像拍摄系统
CN206149332U (zh) * 2016-08-15 2017-05-03 李文松 Vr手机、基于vr手机的vr视频系统
CN108337497A (zh) * 2018-02-07 2018-07-27 刘智勇 一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置
CN209105344U (zh) * 2018-12-28 2019-07-12 上海北冕信息科技有限公司 增强现实的虚实融合装置
CN110446021A (zh) * 2019-03-23 2019-11-12 杨秀海 一种手机及其双摄像头的实现方法
CN111476873A (zh) * 2020-03-12 2020-07-31 浙江工业大学 一种基于增强现实的手机虚拟涂鸦方法
CN112312111A (zh) * 2020-10-30 2021-02-02 北京字节跳动网络技术有限公司 虚拟图像的显示方法、装置、电子设备及存储介质
CN114007057A (zh) * 2020-07-28 2022-02-01 北京小米移动软件有限公司 终端、拍摄方法、拍摄装置及计算机可读存储介质
CN114513646A (zh) * 2022-01-04 2022-05-17 聚好看科技股份有限公司 一种三维虚拟场景中全景视频的生成方法及设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101641963A (zh) * 2007-03-12 2010-02-03 佳能株式会社 头戴式摄像显示设备及合成图像生成装置
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
CN205283744U (zh) * 2015-12-18 2016-06-01 网易（杭州）网络有限公司 显示设备
CN106210701A (zh) * 2016-07-25 2016-12-07 深圳市同盛绿色科技有限公司 一种用于拍摄vr图像的移动终端及其vr图像拍摄系统
CN206149332U (zh) * 2016-08-15 2017-05-03 李文松 Vr手机、基于vr手机的vr视频系统
CN108337497A (zh) * 2018-02-07 2018-07-27 刘智勇 一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置
CN209105344U (zh) * 2018-12-28 2019-07-12 上海北冕信息科技有限公司 增强现实的虚实融合装置
CN110446021A (zh) * 2019-03-23 2019-11-12 杨秀海 一种手机及其双摄像头的实现方法
CN111476873A (zh) * 2020-03-12 2020-07-31 浙江工业大学 一种基于增强现实的手机虚拟涂鸦方法
CN114007057A (zh) * 2020-07-28 2022-02-01 北京小米移动软件有限公司 终端、拍摄方法、拍摄装置及计算机可读存储介质
CN112312111A (zh) * 2020-10-30 2021-02-02 北京字节跳动网络技术有限公司 虚拟图像的显示方法、装置、电子设备及存储介质
CN114513646A (zh) * 2022-01-04 2022-05-17 聚好看科技股份有限公司 一种三维虚拟场景中全景视频的生成方法及设备

Similar Documents

Publication Publication Date Title
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
CN105704479B (zh) 3d显示系统用的测量人眼瞳距的方法及系统和显示设备
CN101631257A (zh) 一种实现二维视频码流立体播放的方法及装置
CN108093244B (zh) 一种远程随动立体视觉系统
CN108259883B (zh) 图像处理方法、头戴式显示器以及可读存储介质
CN109510975B (zh) 一种视频图像的提取方法、设备及系统
CN107105216B (zh) 一种基于针孔阵列的连续视差、广视角的三维光场显示装置
CN108833877B (zh) 图像处理方法及装置、计算机装置及可读存储介质
CN105611278A (zh) 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备
WO2019076348A1 (zh) 一种虚拟现实vr界面生成的方法和装置
CN104021585A (zh) 基于真实场景的三维展示方法
CN103281507A (zh) 基于真三维显示的可视电话系统及方法
CN101588511A (zh) 一种立体摄像装置及方法
CN111175972A (zh) 一种头戴式显示器及其场景显示方法和存储介质
CN105809729B (zh) 一种虚拟场景的球形全景渲染方法
Kobayashi et al. A 3-D display pipeline: Capture, factorize, and display the light field of a real 3-D scene
US11019323B2 (en) Apparatus and method for 3D like camera system in a handheld mobile wireless device
CN205545426U (zh) 立体全景摄像组手机装置
WO2014119965A1 (ko) 사이드 바이 사이드 스테레오 영상 촬영 방법 및 이를 위한 단안식 카메라
CN206270882U (zh) 一种高沉浸度虚拟现实头部显示器
WO2015115946A1 (en) Methods for encoding and decoding three-dimensional video content
CN116320364B (zh) 一种基于多层显示的虚拟现实拍摄方法及显示方法
CN102521876A (zh) 一种实现3d用户界面立体效果的方法及系统
CN115174886A (zh) 支持立体虚拟现实与增强现实的手机镜头及显示方法
CN113891063B (zh) 一种全息展示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination