CN112118438B - 摄像系统、移动终端以及三维图像获取方法 - Google Patents

摄像系统、移动终端以及三维图像获取方法 Download PDF

Info

Publication number
CN112118438B
CN112118438B CN202010622551.7A CN202010622551A CN112118438B CN 112118438 B CN112118438 B CN 112118438B CN 202010622551 A CN202010622551 A CN 202010622551A CN 112118438 B CN112118438 B CN 112118438B
Authority
CN
China
Prior art keywords
shot
target
camera
image
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010622551.7A
Other languages
English (en)
Other versions
CN112118438A (zh
Inventor
张永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202010622551.7A priority Critical patent/CN112118438B/zh
Publication of CN112118438A publication Critical patent/CN112118438A/zh
Priority to EP21832147.9A priority patent/EP4156681A4/en
Priority to US18/001,728 priority patent/US20230260190A1/en
Priority to PCT/CN2021/098750 priority patent/WO2022001590A1/zh
Application granted granted Critical
Publication of CN112118438B publication Critical patent/CN112118438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例涉及摄像技术领域，公开了一种摄像系统、移动终端以及三维图像获取方法。本发明提供的摄像系统包括：拍摄辅助装置用于向待拍摄目标发射第一特征光；第一拍摄装置用于采集拍摄辅助装置发射第一特征光后、待拍摄目标反射的第二特征光；第二拍摄装置包括主摄像头和至少一个副摄像头，主摄像头用于采集待拍摄目标的第一图像，副摄像头用于采集待拍摄目标的第二图像；处理器用于根据第二特征光，得到待拍摄目标的深度信息；还用于对第一图像和第二图像进行特征融合，并将特征融合的结果和深度信息进行立体配准，得到待拍摄目标的三维图像。本发明提供的摄像系统、移动终端以及三维图像获取方法能够提高摄像系统的拍摄性能。

Description

摄像系统、移动终端以及三维图像获取方法
技术领域
本发明实施例涉及摄像技术领域，特别涉及一种摄像系统、移动终端以及三维图像获取方法。
背景技术
目前移动终端领域已有应用点阵投影器的单目(单个红外接收摄像头)光栅式结构光和应用TOF(Time of Light，飞时)传感器的脉冲式结构光。根据和显示屏方向即用户常用方向是否一致，分为前向摄像头或后向摄像头，目前市场上前向摄像头以结构光为主，后向摄像头也在推进应用中以TOF为主，多个方向(至少是前向和后向)同时应用结构光或TOF很少见，主要是由于结构光虽适于近距高精度3D，但远距因衍射光强度衰减快且受环境光干扰强烈；TOF虽因脉冲光远距强度有保证可保证一定距离3D识别精度，但近距的精度却难以达到和结构光同样效果。
因此，有必要提高一种新的摄像系统、移动终端以及三维图像获取方法来解决上述问题。
发明内容
本发明实施方式的目的在于提供一种摄像系统、移动终端以及三维图像获取方法，其能够提高摄像系统的拍摄性能。
为解决上述技术问题，本发明的实施例提供了一种摄像系统，包括：
第一拍摄装置、第二拍摄装置、拍摄辅助装置以及处理装置；所述拍摄辅助装置用于向待拍摄目标发射第一特征光；所述第一拍摄装置用于采集所述拍摄辅助装置发射所述第一特征光后、所述待拍摄目标反射的第二特征光；所述第二拍摄装置包括主摄像头和至少一个副摄像头，所述主摄像头用于采集所述待拍摄目标的第一图像，所述副摄像头用于采集所述待拍摄目标的第二图像；所述处理器用于根据所述第二特征光，得到所述待拍摄目标的深度信息；还用于对所述第一图像和所述第二图像进行特征融合，并将所述特征融合的结果和所述深度信息进行立体配准，得到所述待拍摄目标的三维图像。
为实现上述目的，本发明实施例还提供了一种移动终端，包括：终端本体、设置在所述终端本体上的摄像系统。
为实现上述目的，本发明实施例还提供了一种三维图像获取方法，包括：向待拍摄目标发射第一特征光；获取第一拍摄装置采集的所述待拍摄目标反射的第二特征光、主摄像头拍摄的所述待拍摄目标的第一图像、副摄像头拍摄的所述待拍摄目标的第二图像；根据所述第二特征光，得到所述待拍摄目标的深度信息；对所述第一图像和所述第二图像进行特征融合，并将所述特征融合的结果和所述深度信息进行立体配准，得到所述待拍摄目标的三维图像。
本发明的实施例相对于现有技术而言，处理器根据第一拍摄装置采集的第二特征光得到待拍摄目标的深度信息，然后将深度信息和多个彩色摄像头(即主摄像头和至少一个副摄像头)拍摄的图像进行信息融合，可以静止多向(特别是前向和后向)三维识别或重构，也可以连续动态三维识别和重构，使得应用场景多样化、内容更丰富，从而使得图像效果显著增强，提高了摄像系统的拍摄性能。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式提供的摄像系统的结构示意图；
图2是根据本发明第一实施方式提供的摄像系统的另一种结构示意图；
图3是根据本发明第一实施方式提供的摄像系统的又一种结构示意图；
图4是根据本发明第一实施方式提供的摄像系统的再一种结构示意图；
图5是根据本发明第一实施方式提供的摄像系统的信息融合示意图；
图6是根据本发明第一实施方式提供的摄像系统的还一种结构示意图；
图7是根据本发明第二实施方式提供的移动终端的结构示意图；
图8是根据本发明第二实施方式提供的移动终端的另一种结构示意图；
图9是根据本发明第二实施方式提供的移动终端的又一种结构示意图；
图10是根据本发明第二实施方式提供的移动终端的再一种结构示意图；
图11是根据本发明第二实施方式提供的移动终端的还一种结构示意图；
图12是根据本发明第二实施方式提供的移动终端的还一种结构示意图；
图13是根据本发明第二实施方式提供的移动终端的还一种结构示意图；
图14是根据本发明第二实施方式提供的移动终端的还一种结构示意图；
图15是根据本发明第二实施方式提供的移动终端的还一种结构示意图；
图16是根据本发明第二实施方式提供的移动终端的还一种结构示意图；
图17是根据本发明第二实施方式提供的移动终端的还一种结构示意图；
图18是根据本发明第二实施方式提供的移动终端的还一种结构示意图；
图19是根据本发明第二实施方式提供的移动终端的还一种结构示意图；
图20是根据本发明第二实施方式提供的移动终端的还一种结构示意图；
图21是根据本发明第三实施方式提供的三维图像获取方法的流程图；
图22是根据本发明第三实施方式提供的移动终端在无线网络下的交互示意图；
图23是根据本发明第三实施方式提供的移动终端与MEC平台交互示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本发明而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本发明所要求保护的技术方案。
本发明的第一实施例涉及一种摄像系统10，具体结构如图1所示，包括：
第一拍摄装置1、第二拍摄装置2、拍摄辅助装置3以及处理装置(图未示出)；拍摄辅助装置3用于向待拍摄目标发射第一特征光；第一拍摄装置1用于采集拍摄辅助装置3发射所述第一特征光后、所述待拍摄目标反射的第二特征光；第二拍摄装置2包括主摄像头21和至少一个副摄像头22，主摄像头21用于采集所述待拍摄目标的第一图像，副摄像头22用于采集所述待拍摄目标的第二图像；处理器用于根据所述第二特征光，得到所述待拍摄目标的深度信息；还用于对所述第一图像和所述第二图像进行特征融合，并将所述特征融合的结果和所述深度信息进行立体配准，得到所述待拍摄目标的三维图像。
需要说明的是，本实施例中的处理器可以设置在摄像系统10中，也可以设置在具有摄像系统10的移动终端内，本实例并不对处理器的设置位置作具体限定，可以根据实际需求设置。
本发明的实施例相对于现有技术而言，处理器根据第一拍摄装置采集的第二特征光得到待拍摄目标的深度信息，然后将深度信息和多个彩色摄像头(即主摄像头和至少一个副摄像头)拍摄的图像进行信息融合，可以静止多向(特别是前向和后向)三维识别或重构，也可以连续动态三维识别和重构，使得应用场景多样化、内容更丰富，从而使得图像效果显著增强，提高了摄像系统的拍摄性能。
请参见图2，本实施例中的拍摄辅助装置为红外点阵投影器，第一拍摄装置为红外摄像头，第二拍摄装置为两个彩色摄像头，一个彩色摄像头为高清主摄像头，另一个彩色摄像头为潜望式多倍光学变焦摄像头或广角摄像头。可以理解的是，第二拍摄装置可以配置更多个，选配高清、广角、长焦或多倍光学变焦摄像头形成多功能摄像组合，能够使摄像系统10具有多种组合摄像功能。
具体的说，红外点阵投影器用于向所述待拍摄目标投射结构光编码图案；第一拍摄装置用于采集所述红外点阵投影器投射结构光编码图案后、所述待拍摄目标反射的红外结构散斑；处理器用于根据所述红外结构散斑，得到所述深度信息。为了便于理解，下面对本实施例如何得到深度信息进行具体的说明：
红外点阵投影器将通过计算机编程或预设的条纹调制到红外散斑上投影至待拍摄目标，利用红外摄像头拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为全场的高度，最终获得待拍摄目标完整的深度信息。
值得一提的是，图2所示的摄像系统10还具有红外补光灯，红外补光灯用于红外信息采集过程中的暗光补偿。
请参见图3，第一拍摄装置包括红外摄像头1和红外摄像头2，两个红外摄像头(通称为双目摄像头)均用于采集所述待拍摄目标反射的红外结构散斑；所述处理器用于对两个红外摄像头采集的红外结构散斑进行视差融合，得到所述深度信息。为了便于理解，下面对图3所示的摄像系统10如何获取待拍摄目标的三维图像进行具体的说明：
1、红外点阵投影器投射出结构光编码图案，对待拍摄目标进行特征标定。
2、利用同一基线上左右对称放置的两个红外摄像头分别获取结构光源投射到待拍摄目标上产生的畸变信息的左右两幅特殊图像。
3、根据立体标定的信息对左右图像分别进行畸形矫正和极线矫正，使其对齐。
4、搜索左右图像中相同的特征(灰度或其他)，输出视差图。
5、根据三角法和共基线的双目摄像头几何位置，按视差深度计算公式求出深度值，生成高分辨率、高精度的深度信息。
值得一提的是，在上述过程中，结构光参与双目深度计算主要是解决了传统双目算法的特征标定困难的问题。
进一步地，双目结构光组件旋转起来后，典型的有效的视域为180度或360度区间，该区间任意角度旋转停下来以后，由于双目结构光组件使得目标物纹理得以增强且双目定位不依赖于红外投影器，故其在180度或360度区间视域区间均能高精度三维识别，并在静态和动态场景、暗光环境(经由红外摄像头采集视频信息)均能良好适用。这种情况下，双目结构光组件缺省单向布局后通过旋转转向就能很好满足移动终端光学应用需求。
请参见图4，进一步的，第二拍摄装置包括一个主摄像头和两个副摄像头，彩色摄像头1为高清主摄头，彩色摄像头2为潜望式多倍光学变焦摄像头，彩色摄像头3为广角摄像头，仅有彩色摄像头1可以单独工作，彩色摄像头1也可以和彩色摄像头2、彩色摄像头3中的任意一个一起工作。为了便于理解，下面对图4所示的摄像系统10如何获取待拍摄目标的三维图像进行具体的说明：
1、双目结构光部件获取待拍摄目标的深度信息(基于双红外摄像头的双目视差分析和块匹配计算)；同时，多彩色摄像头对目标图像预处理并双摄信息融合(多彩色摄像头同时工作时也仅限于两两同时工作，通常其一固定为高清主摄，通过主副摄双摄标定实现双摄融合)，得到待拍摄目标的彩色信息。
2、对彩色信息和深度信息进行立体配准，即将不同图像采集设备拍摄的两个或多个图像匹配到同一坐标系下的过程，其主要目的是确定不同图像中对应点间的空间坐标关系。
3、形成三维点云。之所以形成三维点云而不是深度图或网格形式，主要是因为点云数据获取便捷，易于存储，具有离散和稀疏特性，方便扩展为高维的特征信息。
4、加载AI(Artificial Intelligence，人工智能)引擎，对三维点云进行分类和分割。三维点云数据是无序的，且多摄像头采集会导致信息噪声倍增，这使得三维点云数据很难直接应用卷积来获取三维点之间的局部相关性信息。同时，采集的点云数据常常是非均匀分布的，不同区域的点云密度不等，造成特征提取时数据点的采样带来困难。因此，在三维点云基础加载AI引擎，采用深度学习的方法，比如根据输入点学习一种交叉变换，然后将其用于同时加权与点关联的输入特征和将它们重新排列成潜在隐含的规范顺序，之后再在元素上应用求积和求和运算，进而对三维点云进行分类和分割。
5、实现三维图像识别或重构。三维识别主要用于用户安全解锁和支付，三维重构主要用于游戏建模、虚拟现实和增强现实领域。
可以理解的是，在图4所示的摄像系统10中，在深度信息上叠加的彩色信息除了来自于彩色摄像头1(高清主摄)，还可以来自于彩色摄像头2(多倍光学变焦，横向虚框为潜望镜头腔体，可以置于小体积的距离传感器和环境光传感器后面)和彩色摄像头3(广角或超广角)，使得摄像系统10具有多向三维识别功能的同时可以有多向组合摄像功能。
图4所示的摄像系统10还可以包括彩色投影器、距离感应器和光线感应器，彩色投影器可选用于AR投影用途，距离感应器和光线感应器是常见的移动终端上接近感应和环境光感应用途的器件。彩色投影器能够配合移动终端进行AR投影，距离感应器和光线感应器可以放置到移动终端本体而不放置到摄像系统10上，由于距离感应器能够起到预判目标的作用，因此优选放置在摄像系统10上。
值得一提的是，三维识别和重构本质是让摄像头拍摄到的画面能够尽可能真实的反映三维空间中物体的实际状态，即利用摄像头拍到的二维画面去还原现实的三维场景。实现这一还原过程，就是上述方法涉及到的双目结构光部件(两个红外摄像头)的双目视差、彩色摄像头间的双摄标定以及双目结构光部件和彩色摄像头之间的立体配准，都存在映射矩阵和畸变校准方面的处理。映射矩阵方面，只要存在两种摄像头或两种图像系统，就必须针对真实世界和成像平面进行坐标变换(涉及世界坐标和摄像头坐标，摄像头坐标和图像坐标，世界坐标和图像坐标之间的变换)，变换矩阵则大致分为内部参数(指摄像头内部几何和光学特性，每个摄像头都对应唯一的内部参数)和外部参数(摄像头在外部世界坐标系(空间三维坐标)中的位置和方向或者说摄像机相对世界坐标系原点的平移和旋转位置)。畸变校准方面，摄像头为提高光通量用透镜代替小孔来成像，以及现在大量使用的透镜为球面镜，而非完全符合理想光学系统的非球面透镜，因而产生了径向畸变和切向畸变，需要校准消除。
请参见图5，彩色摄像头1所拍摄的RGB图像经系统预处理后可以和深度信息立体配准形成RGBD三维点云1，然后通过加载AI引擎，实现三维图像1识别或重构；彩色摄像头2和彩色摄像头1分别预处理后的图像经双摄融合1再和深度信息立体配准生成三维点云2，然后通过加载AI引擎，实现三维图像2识别或重构；彩色摄像头3和彩色摄像头1分别预处理后的图像经双摄融合2再和深度信息立体配准生成三维点云3，然后通过加载AI引擎，实现三维图像3识别或重构。因此就获得了三路不同形态的三维图像识别或重构，如有更多摄像头则可以类推形成更多的三维图像识别或重构，如N个彩色摄像头形成N路不同形态的三维图像识别或重构，可以使得目标在不同维度得以呈现不同的细节识别特征以及不同侧重要素得以差异化重构。
可以理解的是，双目结构光和共基线多彩色摄像头实现信息融合，可以静止多向(特别是前向和后向)三维识别或重构，也可以连续动态三维识别和重构，使得应用场景多样化、内容更丰富，具有更好的用户体验性能。虽然单路形态的三维图像识别或重构也可以借助纯粹数字处理方式实现较多特殊的图像特征，但这种处理器“后期加工”为主的方式受到原始硬件图像采集能力的限制很多特殊图像效果仍然是无法合成或合成后的效果是差强人意的，比如数字变焦无论怎么变都会受到原始摄像头硬件光学变焦性能的限制。这样比较下来，图4中的三路不同形态的三维图像识别或重构因为原始的硬件采集能力优势就会使得图像效果显著增强，后期图像处理的灵活性也就更高。
请参见图6，拍摄辅助装置为红外激光发射器；所述红外激光发射器具体用于向所述待拍摄目标发射脉冲式激光点；所述第一拍摄装置用于采集所述红外激光发射器发射脉冲式激光点后、所述待拍摄目标反射的红外光；所述处理器还用于获取所述红外激光发射器发射脉冲式激光点的第一时间、所述第一拍摄装置接收所述红外光的第二时间，并根据所述第一时间和所述第二时间的时间差得到所述深度信息。为了便于理解，下面对本实施例如何得到深度信息进行具体的说明：
红外激光发射器发射几十万个脉冲式激光点经扩散均匀为面光源到待拍摄目标，然后处理器根据红外光发射到待拍摄目标以及红外摄像头接收目标物反射的红外光两者之间的时间差获取目标物深度信息，并结合彩色摄像头获取的彩色信息，得到待拍摄目标的深度信息。
需要说明的是，红外点阵投影器功耗更小，更适用于静态场景；红外激光发射器在远距离下噪声较低，同时具有更高的帧率，更适用于动态场景。当摄像系统10的朝向静态缺省为单一向前或向后时，前向通常设置红外点阵投影器，后向则通常设置红外激光发射器；缺省单一方向为顶向时，两种结构均可；当摄像系统10同时朝向前和向后时，通常前向设置红外点阵投影器，后向设置红外激光发射器。值得一提的是，在旋转应用情况下，则宜采用红外激光发射器，使摄像系统10的多向深度信息采集性能更均衡(红外点阵投影器投射的点阵光强度衰减快，且易受典型如太阳光等的强光干扰湮没，只适于特定朝向近距离深度信息采集)。
本发明的第二实施例涉及一种移动终端100，具体结构如图7所示，包括：终端本体4、设置在终端本体4上的前述实施例的摄像系统10。
具体的说，摄像系统10包括呈矩形的第一侧面101，第一拍摄装置A、第二拍摄装置B以及拍摄辅助装置C均设置在第一侧面101上，且第一拍摄装置A、第二拍摄装置B以及拍摄辅助装置C的中心均位于所述第一侧面101长边的中线L上。
值得一提的是，摄像系统10与终端本体4转动连接，终端本体4包括设置显示屏的第一面41、与第一面41相对设置的第二面42，终端本体4内还设有控制器(图未示出)；控制器用于控制摄像系统10旋转，其中，第一侧面101至少可至第一面41的同一侧旋转至第二面42的同一侧。通过此种结构的设置，能够满足移动终端100多角度的拍摄需求，从而提高了移动终端100的可靠性。
可以理解的是，终端本体4包括设置摄像系统10的顶部40，顶部40的两侧设有滑轨401，终端本体4还包括潜望机构43，潜望机构43与滑轨401活动连接，且潜望机构43与摄像系统10转动连接；控制器还用于控制潜望机构43在滑轨401上运动，以使摄像系统10在潜望机构43的运动方向上跟随潜望机构43运动。
请参见图8，摄像系统10包括三维识别组件旋转体和固定在三维识别组件旋转体上的三维识别组件(第一拍摄装置、第二拍摄装置以及拍摄辅助装置)，三维识别组件旋转体依托由电动马达1(通常是步进电机)驱动的潜望机构(图7未示出)升降而升降(实质是把电动马达1的旋转运动变为直线运动，此过程中电动马达1经联轴器1传动到丝杠，后者做轴向运动并不做上下移动，丝杠副上的丝杠螺母以及和丝杠螺母固定一体的潜望机构被轴向旋转的丝杠斜向梯形螺纹(加滚珠效果更理想)带动做上下移动)。平时摄像系统10隐藏在显示屏背后，需要时才会由潜望机构升起到移动终端100顶部。进一步地，可以依托电动马达2经联轴器2来驱动三维识别组件旋转体实现多向结构光。总的来说，电动马达1驱动潜望机构升降，电动马达2驱动三维识别组件旋转体旋转。
请参见图9，移动终端100在屏和后壳之间有一个直接外露的凹形空间，潜望机构嵌在该空间内升降，降到底的状态下潜望机构的顶部和屏以及后壳顶端平齐，使得终端顶部形成一个平整顶面；升到顶的状态下摄像系统10全部外露于屏或后壳外且同时其底部从侧面看形成一个涵道空间。
请参见图10，由于涵道空间影响外观且会造成灰尘积滞，在潜望机构两个侧面增加侧面外壳挡体，从而将潜望机构完全就封在移动终端100的内部。
请参见图11，潜望机构的背面对应位置的局部就没有电池壳覆盖，使得潜望机构的背面外露。
请参见图12，潜望机构与移动终端100的侧面外壳挡体间隔设置，使得移动终端100具有更多的内部布局空间。
请参见图13，摄像系统10还可以置于具有滑盖功能的移动终端100的滑盖装置上，在滑盖装置滑出屏上端后，三维识别组件旋转体旋转即可带动三维识别组件旋转改变朝向。
请参见图14，滑盖机构将移动终端100分为显示屏和主体两个部分，主体部分无潜望机构，因此就无需考虑潜望机构升降，只需单电机驱动三维识别组件旋转体旋转。同时，三维识别组件要工作则需要滑盖上滑后把三维识别组件依托的旋转体露出到屏面上方。
请参见图15，对于普通直板形态的移动终端100，不具备潜望机构，其顶部的三维识别组件旋转体使得整体屏正面呈现一种刘海屏的效果。
总的来说，三维识别组件旋转体上的三维识别组件无论是在潜望机构还是在滑盖结构的移动终端上，缺省为单一朝向(朝向前部或后部)或前向后向双面朝向，当旋转后三维识别组件可以朝向顶部上半圆180度范围内任意方向。
请参见图16，在三维识别组件旋转体外部增加外罩，以防止外界的灰尘沉积在三维识别组件旋转体的表面，影响三维识别组件的拍摄性能，也使得移动终端的外观简洁美观。
请参见图17，三维识别组件旋转体的外罩可以和显示屏一体化，即将显示屏向移动终端顶部进行延展形成顶部曲面屏效果(该顶部位置的曲面屏区域包裹住三维识别组件旋转体，可以不必显示图像或在三维识别组件中的光学收发器件显示区域以外显示图像，在显示屏不亮情况下该区域可以和显示屏正面屏面外观效果一致)。甚至，更可以把显示屏一直延展从顶部后移动终端后部，形成纵向环绕屏效果，这样前后两个屏面都可以由于顶部的三维识别组件可以旋转而进行更加灵活的适配应用。
值得一提的是，外罩的材质以和显示屏触摸屏盖板相同或类似的材质为佳，在外罩对应光学收发器件有效旋转范围位置留出透明区以收发光学信号，其余位置以深色或不透明为主遮挡用户视线。当然，也可以只在前后或顶部等几个固定位置留出透明窗口，这种情况就限定只在固定位置才能收发光学信号。外罩的形状以贴近光学收发器件运行轨迹的半圆形为佳，以避免不规则外形引起光学收发信号畸变。
请参见图18，三维识别组件旋转体外罩和显示屏一体化还可以应用于折叠屏移动终端。此时的折叠屏转轴上可以轴向安装马达和三维识别组件旋转体，并由马达驱动旋转体旋转。折叠屏对应区域包裹住三维识别组件旋转体，并在三维识别组件中的光学收发器件显示区域留出透明窗，在显示屏不亮情况下该区域可以和折叠屏其他部分的外观效果一致(图17的透明区位于折叠屏转轴中间位置，即三维识别组件旋转体(含控制马达)的两端是转轴)。同时，在折叠屏的背面，对应三维识别组件中的光学收发器件显示区域也要留出透明窗，保证三维识别组件旋转体有两个工作面，在每个工作面最大都有180度工作区，故此时的三维识别装置可以做到360度范围内任意角度都能工作(仅三维识别装置朝向移动终端本体时因光线受阻会略受影响，但最终效果可以通过软件算法弥补)。
请参见图19，将三维识别组件旋转体安置在折叠屏移动终端转轴两端位置，即转轴在中间两端是三维识别组件旋转体，这样单边的光学器件就少一些，显示屏有效区域就会大一些，用户使用效果也就更好一些。但是由于三维识别组件联合工作有基线要求，转轴双端三维识别组件联合工作算法难度很大，所以单端放置三维识别组件旋转体往往效果更理想，硬件成本也更低。
请参见图20，单端放置三维识别组件旋转体的情况下，转轴另一端可以放置轴向微型投影装置，即投影镜头沿转轴朝向外部，这样放置的投影装置的体积可以较大，可见光亮度可以做较高，相比较图4的可选彩色投影器，能有效提升三维识别组件识别和重构的三维图像播放效果，使得AR投影、全息投影(介质是全息膜，水幕，空气等)等应用场景下的用户体验有效提升。另外，从显示屏显示效果来讲，该投影装置的侧面是可以和三维识别组件旋转体透明窗一样的外观效果，也可以仍然是有效显示区。
在上述的图7至图20中，三维识别组件旋转体的横向光学器件布局很多，从双目结构光旋转各向识别精度都能保证，加上用途多样化的彩色摄像头加持，因此按单一朝向放置就能达到理想的使用效果。这种布局大大强化了具有摄像系统10的移动终端的前向光学感应和识别，因为目前现状普遍是前向弱于后向。另外，所有光学感应和识别器件布局到旋转体上，可以使得机身正后方壳体因无需再开摄像孔而保持完整性；同时，机身内部的电路板因无需再针对摄像头模组进行挖洞也从而形状更加规整，一定程度上有利于电路布局优化提升。
通过双目结构光组件的可旋转应用，可以实现移动终端在顶部上半圆180度(平板或滑盖形态)或360度方向(折叠屏形态)上任意角度能够进行三维识别，就最典型的前后和后向应用来说，前向可以实现安全解锁(高精度人脸识别)和支付(高精度人脸识别基础上的安全支付)以及自拍美颜等功能，后向可以实现AR、VR、MR应用以及游戏、购物等场景的三维目标物重建等。增加多个彩色摄像头后，其应用可以进一步拓展，最典型的是可以实现用户在移动终端上180度或360度范围内连续旋转彩色立体动态实时AR、VR、MR应用环境体验，不再是那种靠移动终端内部预存虚拟现实环境那种低端的用户体验。或者说，之所以要三维识别能够旋转起来，为的是连续宽幅立体场景下更佳用户体验的AR、VR、MR，而三维识别选取双目结构光技术方案因为其多向应用性能均衡。
本发明的第三实施例涉及一种三维图像获取方法，本实施例的具体流程如图21所示，包括以下步骤：
S301：向待拍摄目标发射第一特征光。
具体的说，本实施例的第一特征光可以为红外点阵投影器投射的结构光编码图案，也可以为红外激光发射器发射的脉冲式激光点，本实施例并不对第一特征光的种类作具体限定，可以根据实际需求设置。
S302：获取第一拍摄装置采集的待拍摄目标反射的第二特征光、主摄像头拍摄的待拍摄目标的第一图像、副摄像头拍摄的待拍摄目标的第二图像。
具体的说，当第一特征光为红外点阵投影器投射的结构光编码图案时，第二特征光为待拍摄目标反射的红外结构散斑；当第一特征光为红外激光发射器发射的脉冲式激光点时，第二特征光为待拍摄目标反射的红外光。
本实施例中的主摄像头为高清摄像头，副摄像头为潜望式多倍光学变焦摄像头或广角摄像头，拍摄的第一图像和第二图像均为待拍摄目标的彩色图像。
值得一提的是，本实施例获取第一拍摄装置采集的待拍摄目标反射的第二特征光，具体为：获取第一红外摄像头采集的所述待拍摄目标反射的第一红外结构散斑；获取第二红外摄像头采集的所述待拍摄目标反射的第二红外结构散斑。由于单目结构光是通过单个红外摄像头接收红外点阵投影器投射到目标物上的纹理信息，通过计算纹理畸变获取深度信息。其对红外点阵投影器精度要求非常高，成本也就相应增加，但其衍射光强度衰减快且受环境光干扰严重。本实施例通过采用双目结构光，相当于双目采集待拍摄目标信息时物体加了纹理信息，整个待拍摄目标的识别距离和精度(无论远距离还是近距离)都会显著提升，且双目结构光组件使用一般随机纹理红外线投射器及一般双镜头组装制程，可大幅简化校准流程，提升良率与可量产性，更具成本优势。
S303：根据第二特征光，得到待拍摄目标的深度信息。
具体的说，当第一特征光为红外点阵投影器投射的结构光编码图案时，利用红外摄像头拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为全场的高度，最终获得待拍摄目标完整的深度信息；当第一特征光为红外激光发射器发射的脉冲式激光点时，根据红外光发射到待拍摄目标以及红外摄像头接收目标物反射的红外光两者之间的时间差获取目标物深度信息，并结合彩色摄像头获取的彩色信息，得到待拍摄目标的深度信息。
S304：对第一图像和第二图像进行特征融合，并将特征融合的结果和深度信息进行立体配准，得到待拍摄目标的三维图像。
具体的说，将不同图像采集设备拍摄的两个或多个图像匹配到同一坐标系下形成三维点云，加载AI(Artificial Intelligence，人工智能)引擎，对三维点云进行分类和分割，实现三维图像识别或重构。
可以理解的是，上述这些过程需要移动终端处理器强大的计算性能，并最终以软件形式存储在移动终端存储器中。就移动终端本体的存储计算能力来说，针对有限个方向静态工作模式或有限帧动态工作模式下的流程处理是能力可及的。但如果因应双目结构光和多彩色摄像头连续180度或360度旋转采集的用于立体动态实时AI+XR(涵盖AR、VR、MR)应用环境的数据处理时，仍然将上述的流程全部由移动终端本体来处理就难以为继了，此时就需要借助基于5G无线网络下的云端或MEC(Mobile Edge Computing,边缘计算)平台计算处理。这种情况下，所述移动终端需要在低时延宽带宽的5G移动通信网络eMBB(EnhancedMobile Broadband，增强移动带宽)场景下工作，以确保云平台或MEC平台与本地计算能实时有机融合，进而实现良好的用户体验效果(如图22所示)。
具体的，一般云平台的云计算的服务部都在核心网侧的云数据中心，用户到数据中心的传输网在业务高峰期压力非常大，此时用户体验会极差甚至无法访问。MEC技术将传统的无线基站升级为智能化基站，把云数据中心的计算、网络及存储从核心网下沉到分布式基站，作为网络与业务融合的桥梁，是应对5G大带宽、低时延、本地化垂直行业应用的关键。
如图23所示，MEC平台具有AI引擎和XR(AR、VR、MR)计算能力以及存储和网络服务功能，对来自于移动终端的多彩色摄像头和双目结构光的融合信息以及来自企业网或互联网提供的典型如视频方面的内容进行数据分组分析，提供低延时的本地化业务服务。MEC平台部署在无线接入网或云化的无线接入网，有效减少核心网的网络负载，为用户带来低时延、智能加载、实时互动、可定制化的上佳用户体验。
为了便于理解，下面对本实施例移动终端与与MEC平台交互的应用方式进行具体的举例说明：
1、移动终端和基站建立链接，并向MEC平台建立会话。
2、移动终端的双目结构光和多彩色摄像头持续旋转(180度或360度)获取关于目标的预处理信息或初步融合信息。
3、对持续旋转产生的动态三维图像数据进行压缩(一般先进行图像块分解后通过离散余弦变换和小波变换等实现压缩)。
4、移动终端向基站传输数据(由物理层一直到分组数据汇聚层)。
5、MEC平台通过自身的数据分组能力对移动终端上传的双目结构光和多彩色摄像头预处理或融合信息的压缩数据通过AI+XR分析计算形成三维识别和重构信息(三维识别和重构过程中需要必要的图像恢复以及图像增强)；
6、根据需要确定三维识别和重构信息是否与能力开放渠道关联的企业网/互联网应用关联，如关联则进行进一步的融合处理。
7、三维识别和重构信息或与企业网/互联网应用关联后的信息返回到移动终端，实现低延时本地化业务落地。
本发明的实施例相对于现有技术而言，根据第一拍摄装置采集的第二特征光得到待拍摄目标的深度信息，然后将深度信息和多个彩色摄像头(即主摄像头和至少一个副摄像头)拍摄的图像进行信息融合，可以静止多向(特别是前向和后向)三维识别或重构，也可以连续动态三维识别和重构，使得应用场景多样化、内容更丰富，从而使得图像效果显著增强，提高了摄像系统的拍摄性能。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (14)

1.一种摄像系统，应用于移动终端，其特征在于，包括：第一拍摄装置、第二拍摄装置、拍摄辅助装置以及处理器；
所述拍摄辅助装置用于向待拍摄目标发射第一特征光；所述第一特征光为红外点阵投影器投射的结构光编码图案；
所述第一拍摄装置用于采集所述拍摄辅助装置发射所述第一特征光后、所述待拍摄目标反射的第二特征光；所述第一拍摄装置包括双目结构光组件；所述双目结构光组件可旋转，并能够在旋转角度范围内连续采集；
所述第二拍摄装置包括主摄像头和两个副摄像头，所述主摄像头用于采集所述待拍摄目标的第一图像，所述两个副摄像头分别用于采集所述待拍摄目标的第二图像和第三图像；
所述处理器用于根据所述第二特征光，得到所述待拍摄目标的深度信息；还用于对所述第一图像和所述深度信息进行立体配准，得到所述待拍摄目标的第一三维图像；用于对所述第一图像和所述第二图像进行特征融合，并将所述特征融合的结果和所述深度信息进行立体配准，得到所述待拍摄目标的第二三维图像；用于对所述第一图像和所述第三图像进行特征融合，并将所述特征融合的结果和所述深度信息进行立体配准，得到所述待拍摄目标的第三三维图像；
所述特征融合的结果和所述深度信息进行立体配准，得到所述待拍摄目标的三维图像，具体包括：
将所述特征融合的结果和所述深度信息进行立体配准，得到三维点云；
利用MEC平台对所述三维点云进行分类和分割，得到所述待拍摄目标的三维图像，其中，所述MEC平台具有AI引擎和扩展现实(XR)计算能力以及存储和网络服务功能。
2.根据权利要求1所述的摄像系统，其特征在于，所述拍摄辅助装置为红外点阵投影器；
所述红外点阵投影器用于向所述待拍摄目标投射结构光编码图案；
所述第一拍摄装置用于采集所述红外点阵投影器投射结构光编码图案后、所述待拍摄目标反射的红外结构散斑；
所述处理器用于根据所述红外结构散斑，得到所述深度信息。
3.根据权利要求2所述的摄像系统，其特征在于，所述第一拍摄装置包括至少两个红外摄像头；
两个所述红外摄像头均用于采集所述待拍摄目标反射的红外结构散斑；
所述处理器用于对两个所述红外摄像头采集的红外结构散斑进行视差融合，得到所述深度信息。
4.根据权利要求1所述的摄像系统，其特征在于，所述拍摄辅助装置还可以为红外激光发射器；
所述红外激光发射器具体用于向所述待拍摄目标发射脉冲式激光点；
所述第一拍摄装置用于采集所述红外激光发射器发射脉冲式激光点后、所述待拍摄目标反射的红外光；
所述处理器还用于获取所述红外激光发射器发射脉冲式激光点的第一时间、所述第一拍摄装置接收所述红外光的第二时间，并根据所述第一时间和所述第二时间的时间差得到所述深度信息。
5.一种移动终端，其特征在于，包括：
终端本体、设置在所述终端本体上的如权利要求1至4任一项所述的摄像系统。
6.根据权利要求5所述的移动终端，其特征在于，所述摄像系统包括呈矩形的第一侧面，第一拍摄装置、第二拍摄装置以及拍摄辅助装置均设置在所述第一侧面上，且所述第一拍摄装置、所述第二拍摄装置以及所述拍摄辅助装置的中心均位于所述第一侧面长边的中线上。
7.根据权利要求6所述的移动终端，其特征在于，所述摄像系统与所述终端本体转动连接，所述终端本体包括设置显示屏的第一面、与所述第一面相对设置的第二面，所述终端本体内还设有控制器；
所述控制器用于控制所述摄像系统旋转，其中，所述第一侧面至少可至所述第一面的同一侧旋转至所述第二面的同一侧。
8.根据权利要求7所述的移动终端，其特征在于，所述终端本体包括设置所述摄像系统的顶部，所述顶部的两侧设有滑轨，所述终端本体还包括潜望机构，所述潜望机构与所述滑轨活动连接，且所述潜望机构与所述摄像系统转动连接；
所述控制器还用于控制所述潜望机构在所述滑轨上运动，以使所述摄像系统在所述潜望机构的运动方向上跟随所述潜望机构运动。
9.根据权利要求5所述的移动终端，其特征在于，所述终端本体包括转轴和折叠屏，所述转轴设置在所述折叠屏的中部，所述折叠屏可绕所述转轴折叠；
所述摄像系统安装在所述转轴上，并可绕所述转轴旋转至多360度，所述摄像系统包括光学收发器件，所述光学收发器件安装在所述转轴的至少一端或所述转轴的中间位置，所述光学收发器件正对的所述折叠屏的区域为透明区域。
10.根据权利要求9所述的移动终端，其特征在于，所述转轴包括相对设置的第一端和第二端，所述第一端和所述第二端均设置所述光学收发器件。
11.根据权利要求9所述的移动终端，其特征在于，所述转轴包括相对设置的第一端和第二端，所述光学收发器件设置在所述第一端；
所述移动终端还包括轴向微型投影仪装置，所述轴向微型投影仪装置设置在所述第二端。
12.一种三维图像获取方法，应用于移动终端，其特征在于，包括：
向待拍摄目标发射第一特征光；所述第一特征光为红外点阵投影器投射的结构光编码图案；
获取第一拍摄装置采集的所述待拍摄目标反射的第二特征光、主摄像头拍摄的所述待拍摄目标的第一图像、第一副摄像头拍摄的所述待拍摄目标的第二图像、第二副摄像头拍摄的所述待拍摄目标的第三图像；所述第一拍摄装置可旋转，并能够在旋转角度范围内连续采集；
根据所述第二特征光，得到所述待拍摄目标的深度信息；
对所述第一图像和所述深度信息进行立体配准，得到所述待拍摄目标的第一三维图像；
对所述第一图像和所述第二图像进行特征融合，并将所述特征融合的结果和所述深度信息进行立体配准，得到所述待拍摄目标的第二三维图像；
对所述第一图像和所述第三图像进行特征融合，并将所述特征融合的结果和所述深度信息进行立体配准，得到所述待拍摄目标的第三三维图像。
13.根据权利要求12所述的三维图像获取方法，其特征在于，所述获取第一拍摄装置采集的所述待拍摄目标反射的第二特征光，具体包括：
获取第一红外摄像头采集的所述待拍摄目标反射的第一红外结构散斑；
获取第二红外摄像头采集的所述待拍摄目标反射的第二红外结构散斑；
所述根据所述第二特征光，得到所述待拍摄目标的深度信息，具体包括：
对所述第一红外结构散斑和所述第二红外结构散斑进行视差融合，得到所述深度信息。
14.根据权利要求12所述的三维图像获取方法，其特征在于，所述将所述特征融合的结果和所述深度信息进行立体配准，得到所述待拍摄目标的三维图像，具体包括：
将所述特征融合的结果和所述深度信息进行立体配准，得到三维点云；
利用AI引擎对所述三维点云进行分类和分割，得到所述待拍摄目标的三维图像。
CN202010622551.7A 2020-06-30 2020-06-30 摄像系统、移动终端以及三维图像获取方法 Active CN112118438B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010622551.7A CN112118438B (zh) 2020-06-30 2020-06-30 摄像系统、移动终端以及三维图像获取方法
EP21832147.9A EP4156681A4 (en) 2020-06-30 2021-06-07 CAMERA SYSTEM, MOBILE TERMINAL AND THREE-DIMENSIONAL IMAGE ACQUISITION METHOD
US18/001,728 US20230260190A1 (en) 2020-06-30 2021-06-07 Camera system, mobile terminal, and three-dimensional image acquisition method
PCT/CN2021/098750 WO2022001590A1 (zh) 2020-06-30 2021-06-07 摄像系统、移动终端以及三维图像获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010622551.7A CN112118438B (zh) 2020-06-30 2020-06-30 摄像系统、移动终端以及三维图像获取方法

Publications (2)

Publication Number Publication Date
CN112118438A CN112118438A (zh) 2020-12-22
CN112118438B true CN112118438B (zh) 2022-04-05

Family

ID=73799717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010622551.7A Active CN112118438B (zh) 2020-06-30 2020-06-30 摄像系统、移动终端以及三维图像获取方法

Country Status (4)

Country Link
US (1) US20230260190A1 (zh)
EP (1) EP4156681A4 (zh)
CN (1) CN112118438B (zh)
WO (1) WO2022001590A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118438B (zh) * 2020-06-30 2022-04-05 中兴通讯股份有限公司 摄像系统、移动终端以及三维图像获取方法
CN112822361B (zh) * 2020-12-30 2022-11-18 维沃移动通信有限公司 电子设备
CN113703248B (zh) * 2021-08-11 2022-09-09 深圳市睿识科技有限公司 一种3d结构光模组及基于该模组的深度图点云图获取方法
CN113965679B (zh) * 2021-10-19 2022-09-23 合肥的卢深视科技有限公司 深度图获取方法、结构光相机、电子设备及存储介质
CN114419718B (zh) * 2022-03-10 2022-08-02 荣耀终端有限公司 电子设备及人脸识别方法
CN115252992B (zh) * 2022-07-28 2023-04-07 北京大学第三医院（北京大学第三临床医学院） 基于结构光立体视觉的气管插管导航系统
CN115102036B (zh) * 2022-08-24 2022-11-22 立臻精密智造(昆山)有限公司 点阵激光发射结构、点阵激光系统及深度计算方法
CN115908706B (zh) * 2022-11-15 2023-08-08 中国铁路设计集团有限公司 实景三维模型与影像融合的高速铁路竣工验收方法
TWI833668B (zh) * 2023-07-03 2024-02-21 大陸商宏啟勝精密電子（秦皇島）有限公司 攝像頭模組的製作方法以及攝像頭模組

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105897953A (zh) * 2014-11-21 2016-08-24 周利英 智能手机
CN207968575U (zh) * 2018-02-09 2018-10-12 广东欧珀移动通信有限公司 移动终端
CN108769310A (zh) * 2018-05-28 2018-11-06 Oppo广东移动通信有限公司 电子装置
CN109903328A (zh) * 2017-12-11 2019-06-18 宁波盈芯信息科技有限公司 一种应用于智能手机的物体体积测量的装置及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101288105B (zh) * 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和系统
CN203251342U (zh) * 2013-05-27 2013-10-23 深圳先进技术研究院 一种三维扫描手机
KR20150004989A (ko) * 2013-07-03 2015-01-14 한국전자통신연구원 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법
CN203984539U (zh) * 2014-08-04 2014-12-03 广东欧珀移动通信有限公司 一种可拉伸的摄像头结构
CN207926665U (zh) * 2018-02-09 2018-09-28 广东欧珀移动通信有限公司 移动终端
JP7253323B2 (ja) * 2018-02-14 2023-04-06 オムロン株式会社 ３次元計測システム及び３次元計測方法
US11102459B2 (en) * 2018-08-13 2021-08-24 eBots Inc. 3D machine-vision system
CN109304866A (zh) * 2018-09-11 2019-02-05 魏帅 使用3d摄像头自助拍照打印3d人像的一体设备及方法
CN109615652B (zh) * 2018-10-23 2020-10-27 西安交通大学 一种深度信息获取方法及装置
KR102552923B1 (ko) * 2018-12-03 2023-07-10 삼성전자 주식회사 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
CN109831660B (zh) * 2019-02-18 2021-04-23 Oppo广东移动通信有限公司 深度图像获取方法、深度图像获取模组及电子设备
CN110376602A (zh) * 2019-07-12 2019-10-25 深圳奥比中光科技有限公司 多模式深度计算处理器及3d图像设备
CN111145342B (zh) * 2019-12-27 2024-04-12 山东中科先进技术研究院有限公司 一种双目散斑结构光三维重建方法及系统
CN112118438B (zh) * 2020-06-30 2022-04-05 中兴通讯股份有限公司 摄像系统、移动终端以及三维图像获取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105897953A (zh) * 2014-11-21 2016-08-24 周利英 智能手机
CN109903328A (zh) * 2017-12-11 2019-06-18 宁波盈芯信息科技有限公司 一种应用于智能手机的物体体积测量的装置及方法
CN207968575U (zh) * 2018-02-09 2018-10-12 广东欧珀移动通信有限公司 移动终端
CN108769310A (zh) * 2018-05-28 2018-11-06 Oppo广东移动通信有限公司 电子装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
三维点云数据分割原理及应用;师域轩等;《科技资讯》;20171012;第15卷(第24期);第1-2段 *
双摄手机时代已经来临 深度解析双摄技术为何能带来单反级摄影体验;王昊等;《数码影像时代》;20171231(第12期);第1-8页 *

Also Published As

Publication number Publication date
WO2022001590A1 (zh) 2022-01-06
EP4156681A1 (en) 2023-03-29
EP4156681A4 (en) 2023-11-01
CN112118438A (zh) 2020-12-22
US20230260190A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
CN112118438B (zh) 摄像系统、移动终端以及三维图像获取方法
US11094137B2 (en) Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
Ebner Color constancy
CN110572630B (zh) 三维图像拍摄系统、方法、装置、设备以及存储介质
US20160021355A1 (en) Preprocessor for Full Parallax Light Field Compression
WO2021071992A1 (en) Systems and methods for augmentation of sensor systems and imaging systems with polarization
CN105574525B (zh) 一种复杂场景多模态生物特征图像获取方法及其装置
CN109211103A (zh) 推定系统
JP2020506487A (ja) シーンから深度情報を取得するための装置および方法
Starck et al. The multiple-camera 3-d production studio
CN109618108B (zh) 电子设备和移动平台
CN108616733B (zh) 一种全景视频图像的拼接方法及全景相机
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
CN111083453A (zh) 一种投影装置、方法及计算机可读存储介质
CN206399422U (zh) 多功能视觉传感器及移动机器人
Vernon Cognitive system
CN109688400A (zh) 电子设备和移动平台
CN109660731B (zh) 电子设备和移动平台
CN113052884A (zh) 信息处理方法、信息处理装置、存储介质与电子设备
CN115580766A (zh) 摄像装置、方法、电子设备及存储介质
Kanamaru et al. Acquisition of 3D image representation in multimedia ambiance communication using 3D laser scanner and digital camera
Zhu et al. 3D localization of multiple moving people by a omnidirectional stereo system of cooperative mobile robots
JP7120365B1 (ja) 撮像装置、撮像方法および情報処理装置
CN107730584A (zh) 一种基于航拍技术的全景空间构建系统
Lin Calibration of Radiometric Falloff (Vignetting)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant