CN106713893B - 手机3d立体拍照方法 - Google Patents

手机3d立体拍照方法 Download PDF

Info

Publication number
CN106713893B
CN106713893B CN201611260673.6A CN201611260673A CN106713893B CN 106713893 B CN106713893 B CN 106713893B CN 201611260673 A CN201611260673 A CN 201611260673A CN 106713893 B CN106713893 B CN 106713893B
Authority
CN
China
Prior art keywords
mobile phone
moment
point
posture
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611260673.6A
Other languages
English (en)
Other versions
CN106713893A (zh
Inventor
石岩
张伟香
方勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Evis Display Technology Co Ltd
Original Assignee
Ningbo Evis Display Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Evis Display Technology Co Ltd filed Critical Ningbo Evis Display Technology Co Ltd
Priority to CN201611260673.6A priority Critical patent/CN106713893B/zh
Publication of CN106713893A publication Critical patent/CN106713893A/zh
Application granted granted Critical
Publication of CN106713893B publication Critical patent/CN106713893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)

Abstract

本发明揭示了一种手机3D立体拍照方法，包括：步骤S1、拍照步骤；拍照过程完成后，将得到时刻t0点的预览图P0、原图Img0、在感兴趣区域R中由关键点提取模块获得的关键点K，以及t0时刻点手机的姿态信息；步骤S2、将当前视点与时刻t0时的视点的两个视图，根据视差估计模块输出的当前视差信息，实时3D渲染并在屏幕上显示；用户根据屏幕上显示的实时立体影像效果以及OSD提示信息，调整相机最佳姿态和位置，获得最佳的3D效果照片。本发明提出的手机3D立体拍照方法，利用了现有手机的3D显示功能，将之前时刻拍摄的一个视图与当前视点的实时视图处理后进行3D立体显示，让用户直接看到最终的3D立体效果，从而实现“实显实拍”的用户体验拍摄最佳3D效果照片。

Description

手机3D立体拍照方法
技术领域
本发明属于3D拍照技术领域，涉及一种拍照方法，尤其涉及一种手机3D立体拍照方法。
背景技术
随着3D数字技术的发展，越来越多的具有3D显示功能的手机开始在市场上出现，例如16年新出的中兴天机7MAX、SuperD D1都支持裸眼3D显示；同时越来越多的VR眼镜也可以结合普通手机实现3D内容的3D立体显示，因此3D照片/图片将会被越来越广泛需要。如何采用现有的普通手机(单个后置摄像头)拍摄3D立体照片，将变得越来越重要。
3D立体拍照的基本原理主要是模仿双目观看，从左右两个具有轻微角度差异的视点拍摄同一场景。现有的一些3D拍照手机方案(中兴天机7MAX)在硬件上采用2个后置摄像头来实现3D拍照，这种系统成本较高、结构比较复杂，并未普及开。
另外一种解决方案是针对拍摄3D静态场景，将两个不同时间点、在左右两个视点拍摄的两张照片进行图像处理，校正合成为一个3D立体照片。这种方案对拍摄过程中手机摄像头的视角/姿态有很多前提假设，同时对处理算法有很高的设计要求，拍照效果很难尽如人意。
发明内容
本发明所要解决的技术问题是：提供一种手机3D立体拍照方法，可利用了现有手机的3D显示功能(3D显示功能包括裸眼3D显示和利用VR眼镜的3D显示)，将之前时刻拍摄的一个视图与当前视点的实时视图处理后进行3D立体显示，让用户直接看到最终的3D立体效果，从而实现“实显实拍”的用户体验拍摄最佳3D效果照片。
为解决上述技术问题，本发明采用如下技术方案：
一种手机3D立体拍照方法，所述拍照方法包括：
步骤S1、拍照步骤；拍照过程完成后，将得到时刻t0点的预览图P0、原图Img0、在感兴趣区域R中由关键点提取模块获得的关键点K，以及t0时刻点手机的姿态信息；
步骤S2、将当前视点与时刻t0时的视点的两个视图，根据视差估计模块输出的当前视差信息，实时3D渲染并在屏幕上显示；用户根据屏幕上显示的实时立体影像效果以及OSD提示信息，调整相机最佳姿态和位置，获得最佳的3D效果照片。
作为本发明的一种优选方案，步骤S1中，具体包括：
首先手机3D立体拍摄应用打开后置摄像头，获取预览图像数据并在手机屏幕上进行2D实时预览显示；
选择区域对焦；默认对焦区域为预览图像的中心区域，用户也可以通过主动点击手机屏幕来选择对焦物体或区域；将该对焦区域作为用户感兴趣区R；
时刻t0用户点击拍照按钮，图像数据存储模块存储该时刻的预览图P0和原图Img0，姿态检测模块获得该时刻的手机姿态；姿态检测模块利用智能手机上标配的方向传感器数据；
关键点检测模块对预览图P0在区域R中进行关键点检测；该关键点K将作为最终3D立体照片中的双目注视点，即对应的左右视差为0。
作为本发明的一种优选方案，步骤S2中，具体包括：
步骤S21、视差估计模块获取当前预览图像Pn，计算第一阶段获得的P0与当前图Pn的视差；作为方案的优选实现，还可以利用位移估计模块，获得手机镜头位移的先验信息来作为视差估计模块的先验输入，从而加速视差估计过程；位移估计模块基于智能手机标配的加速度传感器获取的加速度信息进行数据处理来实现；
步骤S22、利用视差估计模块输出的视差信息，将当前图Pn与P0进行3D渲染，然后在手机屏幕上进行3D显示。作为方案的优选实现，还可以利用姿态检测模块，获得手机当前姿态和t0时刻差异，利用OSD引导客户调整手机的最佳姿态和位置；
步骤S23、上述两步循环反复，直至时刻t1用户确定了最佳的姿态和位置进行拍照；
步骤S24、时刻t1用户拍照后，图像数据存储模块保存t1时刻的预览图P1和原图Img1，姿态检测模块获得当前手机姿态；
步骤S25、根据P1和P0的视差估计结果，作为高分辨率原图对Img0和Img1的初始信息，对Img0和Img1进行视差估计，最终生成高分辨率的左右3D格式的3D照片。
作为本发明的一种优选方案，第二阶段完成后，基于时刻t0、t1的原图Img0和Img1的左右3D照片生成完毕，方案又切回到第一阶段开始下一次3D拍照过程。
作为本发明的一种优选方案，步骤S25中，利用姿态检测模块记录的时刻t0和时刻t1的两个手机姿态信息，来消除姿态旋转对3D照片效果的影响。
作为本发明的一种优选方案，所针对的手机为后置单摄像头手机，3D立体拍照的场景也是针对于静态场景。
本发明的有益效果在于：本发明提出的手机3D立体拍照方法，首先利用了现有手机的3D显示功能(3D显示功能包括裸眼3D显示和利用VR眼镜的3D显示)，将之前时刻拍摄的一个视图与当前视点的实时视图处理后进行3D立体显示，让用户直接看到最终的3D立体效果，从而实现“实显实拍”的用户体验拍摄最佳3D效果照片。
同时，利用手机相机预览图和拍照图的关系，即同一场景不同分辨率采样的性质，采用图像处理常用的金字塔算法进行处理，不但可以保证3D照片合成的准确度同时也可以减少计算时间。
另外，利用智能手机标配的传感器信息(加速度传感器、方向传感器)来提供更多的先验信息，进一步提高视差估计的计算速度。
附图说明
图1为本发明方法第一阶段拍照步骤的流程图。
图2为本发明方法第二阶段步骤的流程图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例一
目前智能手机在拍摄照片时，摄像头工作参数涉及到两个分辨率。一个是手机屏幕上实时显示的预览图分辨率，另一个是拍照后存储下来照片(以下称为原图)的拍摄分辨率。预览分辨率都远低于拍摄分辨率，比如一个手机的拍摄分辨率可以到4160x2336像素(10M)，预览分辨率为1280x720像素；并且拍摄分辨率有多种尺寸大小供用户选择。
本发明中所针对的手机为后置单摄像头手机，3D立体拍照的场景也是针对于静态场景。在本发明中，根据3D立体拍照的过程，分为两个阶段。第一阶段跟普通2D拍照过程类似，如图1所示。这个过程完成后，本方法将得到时刻t0点的预览图P0、原图Img0、在区域R中由关键点提取模块获得的关键点K，以及t0时刻点手机的姿态信息。
第一阶段完成后，自动转为第二阶段。方案将工作模式切换到“用户在处理回路中”的3D预览状态。在裸眼3D手机屏幕上，用户将实时看到当前时刻t与时刻t0形成的立体照片影像(t0时预览图P0为一个视点、t时预览图P为另一视点)。用户可以根据屏幕上显示的实时立体影像效果、OSD提示信息，来调整相机的姿态和位置，获得最佳的3D效果从而确定最佳拍照时刻。
请参阅图1，第一阶段的方案细节如下。
步骤S11、首先手机3D立体拍摄应用打开后置摄像头，获取预览图像数据并在手机屏幕上进行2D实时预览显示。
步骤S12、选择区域对焦。默认对焦区域为预览图像的中心区域，用户也可以通过主动点击手机屏幕来选择对焦物体(区域)。将该对焦区域作为用户感兴趣区R。
步骤S13、时刻t0用户点击拍照按钮，图像数据存储模块存储该时刻的预览图P0和原图Img0，姿态检测模块获得该时刻的手机姿态。姿态检测模块利用智能手机上标配的方向传感器数据。
步骤S14、关键点检测模块对预览图P0在区域R中进行关键点检测。关键点可采用图像处理中最常用的角点，或者其他类型的特征点。该关键点K将做为最终3D立体照片中的双目注视点，即对应的左右视差为0。
第一阶段完成后，获得了时刻t0时的手机姿态信息，同时刻的预览图P0、原图Img0，预览图P0中的感兴趣区域R和关键点K。同时，预览图P0可以看做是原图Img0的下采样。
时刻t0拍摄第一个视点的照片后，整个方案立即切换到第二阶段，即将当前视点(实时更新)与时刻t0时的视点的两个视图，根据视差估计模块输出的当前视差信息，实时3D渲染并在屏幕上显示。用户根据屏幕上显示的实时立体影像效果以及OSD提示信息，调整相机最佳姿态和位置，获得最佳的3D效果照片。请参阅图2，具体方案细节如下：
步骤S21、视差估计模块(201)获取当前预览图像Pn，计算第一阶段获得的P0与当前图Pn的视差。作为方案的优选实现，还可以利用位移估计模块(206)，获得手机镜头位移的先验信息来作为视差估计模块的先验输入，从而加速视差估计过程。位移估计模块基于智能手机标配的加速度传感器获取的加速度信息进行数据处理来实现。
步骤S22、利用视差估计模块输出的视差信息，将当前图Pn与P0进行3D渲染，然后在手机屏幕上进行3D显示。作为方案的优选实现，还可以利用姿态检测模块(207)，获得手机当前姿态和t0时刻差异，利用OSD引导客户调整手机的最佳姿态和位置。
步骤S23、上述两步循环反复，直至时刻t1用户确定了最佳的姿态和位置进行拍照。
步骤S24、时刻t1用户拍照后，图像数据存储模块保存t1时刻的预览图P1和原图Img1，姿态检测模块获得当前手机姿态。
步骤S25、根据P1和P0的视差估计结果，作为高分辨率原图对Img0和Img1的初始信息，对Img0和Img1进行视差估计，最终生成高分辨率的左右3D格式的3D照片。作为方案的优选实现，还可以利用姿态检测模块记录的时刻t0(即原图Img0生成时刻点)和时刻t1(即原图Img1生成时刻点)的两个手机姿态信息，来消除姿态旋转对3D照片效果的影响。
第二阶段完成后，基于时刻t0、t1的原图Img0和Img1的左右3D照片生成完毕，方案又切回到第一阶段开始下一次3D拍照过程。
综上所述，本发明提出的手机3D立体拍照方法，首先利用了现有手机的3D显示功能(3D显示功能包括裸眼3D显示和利用VR眼镜的3D显示)，将之前时刻拍摄的一个视图与当前视点的实时视图处理后进行3D立体显示，让用户直接看到最终的3D立体效果，从而实现“实显实拍”的用户体验拍摄最佳3D效果照片。
同时，利用手机相机预览图和拍照图的关系，即同一场景不同分辨率采样的性质，采用图像处理常用的金字塔算法进行处理，不但可以保证3D照片合成的准确度同时也可以减少计算时间。
另外，利用智能手机标配的传感器信息(加速度传感器、方向传感器)来提供更多的先验信息，进一步提高视差估计的计算速度。
这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (5)

1.一种手机3D立体拍照方法，其特征在于，所述拍照方法包括：
步骤S1、拍照步骤；拍照过程完成后，将得到时刻t0点的预览图P0、原图Img0、在感兴趣区域R中由关键点提取模块获得的关键点K，以及t0时刻点手机的姿态信息；
步骤S2、将当前视点与时刻t0时的视点的两个视图，根据视差估计模块输出的当前视差信息，实时3D渲染并在屏幕上显示；用户根据屏幕上显示的实时立体影像效果以及OSD提示信息，调整相机最佳姿态和位置，获得最佳的3D效果照片；
步骤S2中，具体包括：
步骤S21、视差估计模块获取当前预览图像Pn，计算第一阶段获得的P0与当前图Pn的视差；作为方案的优选实现，还可以利用位移估计模块，获得手机镜头位移的先验信息来作为视差估计模块的先验输入，从而加速视差估计过程；位移估计模块基于智能手机标配的加速度传感器获取的加速度信息进行数据处理来实现；
步骤S22、利用视差估计模块输出的视差信息，将当前图Pn与P0进行3D渲染，然后在手机屏幕上进行3D显示；作为方案的优选实现，还可以利用姿态检测模块，获得手机当前姿态和t0时刻差异，利用OSD引导客户调整手机的最佳姿态和位置；
步骤S23、上述两步循环反复，直至时刻t1用户确定了最佳的姿态和位置进行拍照；
步骤S24、时刻t1用户拍照后，图像数据存储模块保存t1时刻的预览图P1和原图Img1，姿态检测模块获得当前手机姿态；
步骤S25、根据P1和P0的视差估计结果，作为高分辨率原图对Img0和Img1的初始信息，对Img0和Img1进行视差估计，最终生成高分辨率的左右3D格式的3D照片。
2.根据权利要求1所述的手机3D立体拍照方法，其特征在于：
步骤S1中，具体包括：
首先手机3D立体拍摄应用打开后置摄像头，获取预览图像数据并在手机屏幕上进行2D实时预览显示；
选择区域对焦；默认对焦区域为预览图像的中心区域，用户也可以通过主动点击手机屏幕来选择对焦物体或区域；将该对焦区域作为用户感兴趣区R；
时刻t0用户点击拍照按钮，图像数据存储模块存储该时刻的预览图P0和原图Img0，姿态检测模块获得该时刻的手机姿态；姿态检测模块利用智能手机上标配的方向传感器数据；
关键点检测模块对预览图P0在区域R中进行关键点检测；该关键点K将作为最终3D立体照片中的双目注视点，即对应的左右视差为0。
3.根据权利要求1所述的手机3D立体拍照方法，其特征在于：
第二阶段完成后，基于时刻t0、t1的原图Img0和Img1的左右3D照片生成完毕，方案又切回到第一阶段开始下一次3D拍照过程。
4.根据权利要求1所述的手机3D立体拍照方法，其特征在于：
步骤S25中，利用姿态检测模块记录的时刻t0和时刻t1的两个手机姿态信息，来消除姿态旋转对3D照片效果的影响。
5.根据权利要求1所述的手机3D立体拍照方法，其特征在于：
所针对的手机为后置单摄像头手机，3D立体拍照的场景也是针对于静态场景。
CN201611260673.6A 2016-12-30 2016-12-30 手机3d立体拍照方法 Active CN106713893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611260673.6A CN106713893B (zh) 2016-12-30 2016-12-30 手机3d立体拍照方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611260673.6A CN106713893B (zh) 2016-12-30 2016-12-30 手机3d立体拍照方法

Publications (2)

Publication Number Publication Date
CN106713893A CN106713893A (zh) 2017-05-24
CN106713893B true CN106713893B (zh) 2018-09-25

Family

ID=58906805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611260673.6A Active CN106713893B (zh) 2016-12-30 2016-12-30 手机3d立体拍照方法

Country Status (1)

Country Link
CN (1) CN106713893B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833796A (zh) * 2018-09-21 2018-11-16 维沃移动通信有限公司 一种图像拍摄方法及终端
CN112912935A (zh) * 2018-10-25 2021-06-04 郑卜元 虚拟现实实时拍摄监看系统及控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917236B (zh) * 2012-09-27 2015-12-02 深圳天珑无线科技有限公司 一种基于单摄像头的立体拍照方法及数码摄像装置
US9967549B2 (en) * 2013-03-20 2018-05-08 Mediatek Inc. 3D image capture method with 3D preview of preview images generated by monocular camera and related electronic device thereof
CN105306921A (zh) * 2014-06-18 2016-02-03 中兴通讯股份有限公司 一种基于移动终端的三维照片拍摄方法及移动终端
CN104735436A (zh) * 2014-12-29 2015-06-24 深圳超多维光电子有限公司 单摄像头立体成像方法及电子设备
CN106210705A (zh) * 2016-09-21 2016-12-07 深圳市大族三维科技有限公司 一种手机拍摄视频处理方法

Also Published As

Publication number Publication date
CN106713893A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
US10650574B2 (en) Generating stereoscopic pairs of images from a single lens camera
US20180192034A1 (en) Stereoscopic 3d camera for virtual reality experience
KR101757930B1 (ko) 데이터 송신 방법 및 시스템
US9159169B2 (en) Image display apparatus, imaging apparatus, image display method, control method for imaging apparatus, and program
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
US10586378B2 (en) Stabilizing image sequences based on camera rotation and focal length parameters
US9654762B2 (en) Apparatus and method for stereoscopic video with motion sensors
CN110636276B (zh) 视频拍摄方法、装置、存储介质及电子设备
CN113574863A (zh) 使用深度信息渲染3d图像的方法和系统
CN109218630B (zh) 一种多媒体信息处理方法及装置、终端、存储介质
US10863210B2 (en) Client-server communication for live filtering in a camera view
WO2015192547A1 (zh) 一种基于移动终端的三维照片拍摄方法及移动终端
US20190208124A1 (en) Methods and apparatus for overcapture storytelling
JP2005092657A (ja) 画像表示装置および画像表示方法
US20150029311A1 (en) Image processing method and image processing apparatus
CN112740261A (zh) 全景光场捕获、处理和显示
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
TW201701051A (zh) 全景立體圖像的合成方法、裝置及其移動終端
JP2014039186A (ja) 画像生成装置
CN106713893B (zh) 手机3d立体拍照方法
US20220206668A1 (en) Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology
CN208724107U (zh) 一种立体场景拍摄装置
FR3052565B1 (fr) Dispositif individuel d'immersion visuelle pour personne en mouvement
WO2021147749A1 (zh) 实现3d显示的方法、装置及3d显示系统
CN109429055B (zh) 图像展示、视频文件处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant