CN107124604A - 一种利用双摄像头实现三维图像的方法及装置 - Google Patents

一种利用双摄像头实现三维图像的方法及装置 Download PDF

Info

Publication number
CN107124604A
CN107124604A CN201710516187.4A CN201710516187A CN107124604A CN 107124604 A CN107124604 A CN 107124604A CN 201710516187 A CN201710516187 A CN 201710516187A CN 107124604 A CN107124604 A CN 107124604A
Authority
CN
China
Prior art keywords
image
depth
camera
field data
phase grating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710516187.4A
Other languages
English (en)
Other versions
CN107124604B (zh
Inventor
曾广荣
都斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technology (nanjing) Ltd By Share Ltd
Original Assignee
Technology (nanjing) Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technology (nanjing) Ltd By Share Ltd filed Critical Technology (nanjing) Ltd By Share Ltd
Priority to CN201710516187.4A priority Critical patent/CN107124604B/zh
Publication of CN107124604A publication Critical patent/CN107124604A/zh
Priority to PCT/CN2017/103820 priority patent/WO2019000676A1/zh
Priority to US15/823,493 priority patent/US10523917B2/en
Application granted granted Critical
Publication of CN107124604B publication Critical patent/CN107124604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种利用双摄像头实现三维图像的方法及装置，所述方法包括：利用第一摄像头获取目标物体的图像信息，并发送至图像信号处理器；利用第二摄像头采集相同视角画面空间的发生条纹形变的相位光栅图像，并计算出目标物体的景深数据，发送至图像信号处理器；图像信号处理器于接收到所述图像信息与景深数据后，若判断为景深数据，则将所述景深数据直接传递至3D图像生成模块，若判断出为图像信息，则进行常规的图像信号处理；利用3D图像生成模块对所述景深数据和经图像信号处理处理后的图像信息进行合成，生成3D图像，通过本发明，可实现实时、高保真的3D照片和视频。

Description

一种利用双摄像头实现三维图像的方法及装置
技术领域
本发明涉及一种三维图像的实现方法及装置，尤其涉及一种利用双摄像头实现三维图像的方法及装置。
背景技术
随着智能手机的快速发展，互相之间的差异越来越小，它们具有差不多的配置，相似的外观设计，因此，智能手机需要一些“新功能”来重新吸引用户的注意。通过对用户的使用习惯分析，除了基本的通话、上网功能外，用户使用频率比较高的是相机。前置或后置双摄相头的需求开始受到各大智能手机厂商的追捧和用户的认可。通过双摄相头拍摄出来的照片拥有更高的分辨率，更出色的噪点控制，更好的动态范围，更精确的景深数据，更受用户的青睐。
基于双摄头拍摄3D(Three Dimensions，三维立体)照片和视频将是未来发展趋势，用户直接通过手机的双摄像头即时拍摄3D照片和视频可以实现更多的应用和场景，比如：虚拟现实(VR，Virtual Reality)、增强现实(AR，Augmented Reality)、图像识别和测量等。
目前有部分手机配置同侧双摄像头(如前置或后置双摄像头)，利用第一摄像头和第二摄像头同时拍摄而获得两张照片，其中一张是彩色照片，一张是灰度照片，利用超像素合成算法对灰度照片进行数据重建得到景深数据，然后再根据所述彩色照片和景深数据利用3D算法模拟生成3D照片。
然而，现有技术中由于拍摄的照片本身不携带景深数据，由超像素合成算法模拟得到的景深数据并不精确，导致合成的3D内容存在失真，并非真正的3D图像。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种利用双摄像头实现三维图像的方法及装置，以提高双摄像头拍摄照片和视频的质量。
为达上述目的，本发明提供的技术方案如下：
一种利用双摄像头实现三维图像的方法，包括如下步骤：
利用第一摄像头获取目标物体的图像信息，并发送至图像信号处理器；
利用第二摄像头采集相同视角画面空间的发生条纹形变的相位光栅图像，并计算出目标物体的景深数据，发送至图像信号处理器；
图像信号处理器于接收到所述图像信息与景深数据后，若判断为景深数据，则将所述景深数据直接传递至3D图像生成模块，若判断出为图像信息，则进行常规的图像信号处理；
利用3D图像生成模块对所述景深数据和经图像信号处理处理后的图像信息进行合成，生成3D图像。
进一步地，所述利用第二摄像头采集相同视角画面空间的发生条纹形变的相位光栅图像，并计算出目标物体的景深数据的步骤进一步包括：
利用结构光发射单元对相同视角画面空间投射相位光栅结构光；
利用第二摄像头采集经相位光栅结构光投射后发生条纹形变后的相位光栅图像；
对采集的发生条纹形变后的相位光栅图像进行解调得到包含深度信息的相位变化，再进行类光学三角函数计算出所述目标物体的景深数据。
进一步地，所述利用结构光发射单元对相同视角画面空间投射相位光栅结构光为利用第二摄像头上的激光二极管模块对相同视角画面空间投射相位光栅结构光。
进一步地，所述第二摄像头，为通用彩色摄像头；在所述利用第二摄像头采集经相位光栅结构光投射后发生条纹形变后的相位光栅图像之前进一步包括：
将所述第二摄像头的工作模式设置为IR灰度模式。
进一步地，所述图像信息和景深数据通过两路MIPI接口分别发送给所述图像信号处理器，或者将所述图像信息与景深数据封装后通过一路MIPI接口发送给所述图像信号处理器。
进一步地，所述方法通过利用I2C通讯总线控制拍摄同步、帧同步。
为达到上述目的，本发明还提供一种利用双摄像头实现三维图像的装置，包括：
图像信息采集模块，用于利用第一摄像头获取目标物体的图像信息，并发送至图像信号处理器；
景深数据生成模块，利用第二摄像头采集相同视角画面空间的发生条纹形变的相位光栅图像，并计算出所述目标物体的景深数据，发送至图像信号处理器；
图像信号处理器，用于接收到所述图像信息以及所述景深数据后，若判断为景深数据，则将所述景深数据直接传递至3D图像生成模块，若判断为所述图像信息，则对其进行常规的图像信号处理后送至所述3D图像生成模块；
3D图像生成模块，用于对所述景深数据和所述经图像信号处理后的图像信息进行合成，生成3D图像。
进一步地，所述景深数据生成模块进一步包括：
结构光发射单元，用于对相同视角画面空间投射相位光栅结构光；
相位光栅图像采集单元，利用第二摄像头采集经相位光栅结构光投射后发生条纹形变后的相位光栅图像；
景深数据计算单元，对采集的发生条纹形变后的相位光栅图像进行解调得到包含深度信息的相位变化，再进行类光学三角函数计算出所述目标物体的景深数据。
进一步地，所述结构光发射单元利用第二摄像头上的激光二极管模块对相同视角画面空间投射相位光栅结构光。
进一步地，所述第二摄像头采用通用彩色摄像头，其工作模式设置为IR灰度模式。
进一步地，所述图像信息采集模块获得的图像信息和所述景深数据生成模块获得的景深数据通过两路MIPI接口分别发送给所述图像信号处理器，或者所述图像信息采集模块获得的图像信息和所述景深数据生成模块获得的景深数据封装后通过一路MIPI接口发送给所述图像信号处理器。
进一步地，所述装置利用I2C通讯总线控制拍摄同步、帧同步。
与现有技术相比，本发明一种利用双摄像头实现三维图像的方法及装置的有益效果在于：
本发明一种利用双摄像头实现三维图像的方法及装置通过将获得景深数据旁路图像信号处理器的图像处理功能，将景深数据与另外一路摄像头的图像信息进行3D合成，并通过I2C通讯总线控制拍摄同步、帧同步，实现了实时、高保真的3D照片和视频，本发明适应各种拍摄环境，包括夜景、画面中有移动的物体等，本发明可实现移动终端包括手机、平板、电视、智能汽车、VR、AR、无人机上的基于旁路ISP、双摄帧同步的3D双摄方法。
附图说明
图1为本发明一种利用双摄像头实现三维图像的方法的一个实施例步骤流程图；
图2为图像信号处理器的功能和流程示意图；
图3为本发明一种利用双摄像头实现三维图像的系统的一个实施例系统结构图；
图4为本发明具体实施例中景深数据生成模块的细部结构图；
图5为本发明具体实施例中采用分离MIPI通道的双摄硬件设计框图；
图6为本发明具体实施例中采用MIPI虚拟通道的双摄硬件设计框图；
图7为本发明具体实施例中旁路ISP、透传景深数据的示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
在本发明的一个实施例中，如图1所示，本发明一种利用双摄像头实现三维图像的方法，包括如下步骤：
步骤101，利用第一摄像头获取目标物体的图像信息，并发送至图像信号处理器；
步骤102，利用第二摄像头采集相同视角画面空间的发生条纹形变的相位光栅图像，并计算出目标物体的景深数据，发送至图像信号处理器；
具体地，步骤102进一步包括：
步骤S1，利用结构光发射单元对相同视角画面空间投射相位光栅结构光，即稳定性极高的红外波段的激光，所述光栅在物体表面受深度的调制而发生条纹形变。具体的，所述结构光发射单元可以是相机上的LDM(Laser Diode Module，激光二极管模块)；
步骤S2，利用第二摄像头采集经相位光栅结构光投射后发生条纹形变后的相位光栅图像。在本发明具体实施例中，第二摄像头可重用现有的通用彩色摄像头，但在使用之前需要通过音圈马达微控制器关闭红外滤光片，让全透光谱滤光片开始工作，使摄像头传感器接收到红外光线，即将彩色摄像头的工作模式设置为IR灰度模式，从而让摄像头在工作时采集目标物体表面的变形条纹相位光栅图像。
步骤S3，对采集的发生条纹形变后的相位光栅图像进行解调得到包含深度信息的相位变化，再进行类光学三角函数计算出目标物体的景深数据。
在本发明具体实施例中，通过第一摄像头获得的目标物体的图像信息和所述目标物体的景深数据通过两路MIPI接口分别发送给手机SoC上的图像信号处理器ISP模块，或者将图像信息与景深数据封装后通过一路MIPI接口发送给手机SoC上的图像信号处理器ISP进行处理。
步骤103，图像信号处理器于接收到这两个信号后，若判断出信号为景深数据，则将景深数据直接传递至3D图像生成模块，若判断出信号为第一摄像头拍摄的图像信息，则进行常规的图像信号处理，包括去噪、白平衡等图像处理并发送至3D图像生成模块。
由于目前对于手机常规的硬件设计，都是手机主芯片(SoC，System on Chip)上内置图像信号处理器(ISP，Image Signal Processor)，每个摄像头拍摄的照片都将通过MIPI接口连接到图像信号处理器ISP，图像信号处理器ISP会对原始的图像进行白平衡、去噪、边缘扭曲整形等一系列的处理，然后将处理过的图像数据提供给下一个模块进行预览和录制，其中主芯片内置的ISP功能和流程如图2所示，Pass1 Node负责对图像信号进行画布尺寸调整、格式转换等处理，Pass2 Node负责对图像信息进行白平衡、去噪、曝光调整，以及识别图像内的人脸等信息，但是这样的机制会破坏来自灰度相机的景深数据，导致后端无法与彩色相机的数据合成出3D照片和视频，因此，本步骤将获得的景深数据旁路图像信号处理器的图像处理功能，以避免景深数据被破坏。
步骤104，利用3D图像生成模块根据图像信号处理器处理后的图像信息和景深数据进行合成，生成3D图像。具体的，3D图像生成模块通过景深数据对空间进行3D建模，按画面帧同步序号，将彩色图像渲染到3D模型上，完成3D图像或视频的合成。
在本发明具体实施例中，于步骤104中，图像信号处理器ISP通过两路MIPI接口(MIPI0与MIPI1)分别接收图像信息与景深数据，将判断出的景深数据直接绕过Pass1和Pass2的处理过程，通过回调函数DataCallBack回调将数据直接上传给后端或上层应用程序上的函数AppOnPreviewFrame，实现后端或上层应用程序获取被透传的景深数据目的，这里的透传指的是与传输网络的介质、调制解调方式、传输方式、传输协议无关的一种数据传送方式，但本发明不以此为限；将判断出的图像信息经过Pass1 Node和Pass2 Node的Pass1与Pass2处理，包括对图像信息进行画布尺寸调整、格式转换等处理，对图像信息进行白平衡、去噪、曝光调整等，并通过回调函数DataCallBack回调将数据上传至后端或上层应用程序的函数AppOnPreviewFrame，也就是说，在该实施例中，3D图像生成模块设置于后端或上层应用程序，图像信息和景深数据进行合成是在后端或上层应用程序完成的，但本发明不以此为限。
可见，本发明可通过将获得景深数据旁路图像信号处理器的图像处理功能，将景深数据与彩色相机(第一摄像头)拍摄的图像信息进行合成，或将景深数据透传给后端或上层应用与彩色相机(第一摄像头)拍摄的图像信息进行合成，并通过I2C通讯总线控制拍摄同步、帧同步，以实现3D照片和视频的拍摄，
在本发明的另一个实施例中，如图3所示，本发明一种利用双摄像头实现三维图像的系统，包括：图像信息采集模块301、景深数据生成模块302、图像信号处理器(ISP)303以及3D图像生成模块304。
其中，图像信息采集模块301，用于获取目标物体的图像信息，在本发明具体实施例中，图像信息采集模块301采用第一摄像头实现，该第一摄像头可为普通的彩色相机；景深数据生成模块302，利用第二摄像头采集相同视角画面空间的发生条纹形变的相位光栅图像，并计算出目标物体的景深数据；图像信号处理器303，用于接收到所述图像信息以及所述景深数据后，若判断为景深数据，则将景深数据直接传递至3D图像生成模块305，若判断出获取的信号为所述图像信息，则对其进行常规的图像信号处理，包括去噪、白平衡等图像处理后送至3D图像生成模块304；3D图像生成模块304，用于对所述景深数据和所述经图像信号处理后的图像信息进行合成，生成3D图像。具体的，3D图像生成模块304通过景深数据对空间进行3D建模，按画面帧同步序号，将彩色图像渲染到3D模型上，完成3D图像或视频的合成。
具体地，如图4所示，景深数据生成模块302进一步包括：
结构光发射单元3021，用于对与所述第一摄像头相同视角画面空间投射相位光栅结构光，即稳定性极高的红外波段的激光，所述光栅在物体表面受深度的调制而发生条纹形变。具体的，所述结构光发射单元可以是相机上的LDM(Laser Diode Module，激光二极管模块)；
相位光栅图像采集单元3022，利用第二摄像头采集所述发生条纹形变后的相位光栅图像。在本发明具体实施例中，第二摄像头可重用现有的通用彩色摄像头，但在使用之前需要通过音圈马达微控制器关闭红外滤光片，让全透光谱滤光片开始工作，使摄像头传感器接收到红外光线，即将彩色摄像头的工作模式设置为IR灰度模式，从而让摄像头在工作时采集目标物体表面的变形条纹相位光栅图像。
景深数据计算单元3023，用于对采集的发生条纹形变后的相位光栅图像进行解调得到包含深度信息的相位变化，再进行类光学三角函数计算出目标物体的景深数据。
在本发明具体实施例中，图像信息采集模块301利用彩色相机(RGB Camera)，即第一摄像头，采集到的目标物体的图像信息与景深数据生成模块302根据红外相机(IRCamera)获得的发生条纹形变的相位光栅图像生成的所述物体的景深数据可通过两路MIPI接口(MIPI0和MIPI1)分别发送给SoC上的图像信号处理ISP，如图5所示，或者封装后通过一路MIPI接口发送给SoC上的图像信号处理ISP，如图6所示。
在本发明具体实施例中，图像信号处理器ISP303对于经红外相机获得的景深数据，通过Pass1 Node和Pass2 Node而直接绕过Pass1和Pass2的处理过程，通过回调函数DataCallBack回调将数据直接上传给了上层应用程序APP端的AppOnPreviewFrame函数，实现上层应用程序App端获取被透传的景深数据目的，如图7中的虚线路径，即3D图像生成模块设置于后端或上层应用程序，图像信息和景深数据进行合成是在后端或上层应用程序完成的；对于彩色相机获取的图像信息，则经过Pass1 Node和Pass2 Node的Pass1与Pass2处理，包括对图像信息进行画布尺寸调整、格式转换等处理，对图像信息进行白平衡、去噪、曝光调整等，再通过回调函数DataCallBack回调将数据上传至函数AppOnPreviewFrame，如图7中的实线路径，具体流程如图7所示。
具体的，本发明中图像信号处理器ISP的部分业务逻辑具体代码实现如下：
步骤0，在图像信号处理ISP的第一通路Pass1的第一节点Pass1 Node上初始化一个互斥锁和一个缓冲指针。
步骤1、在第二通路Pass2的第二节点Pass2 Node上初始化一个互斥锁、一个缓冲指针和一个SetIRisAddr函数。
步骤2、在第一节点Pass1 Node中定义SaveIRis函数。
步骤3、通过SaveIRis函数函数接口，把送到第一通路Pass1的数据送到定义在第一通路Pass1结构体中的ptrbuff指针中。
步骤4、在第二节点Pass2 Node中定义ReadIRisAddr函数。
步骤5、通过ReadIRisAddr函数接口，把IRisRead Buff中的数据经过10bit转8bit，并且旋转90度后送到第二通路Pass2的output输出中。
步骤6、调用第二通路Pass2的setIRisAddr函数，将IRisRead指针导向mpIRisBuffer，IRisLock指针导向MIRisLockMtx，实现第一通路Pass1和第二通路Pass2的Buffer地址共享。
步骤7、通过DataCallBack回调将数据直接上传给App的OnPreviewFrame。
步骤8、在App端进行深度/灰度数据与彩色数据合成。
步骤9、由相机客户端App进行合成后的数据预览、录制。
综上所述，本发明一种利用双摄像头实现三维图像的方法及装置通过将获得景深数据旁路图像信号处理器的图像处理功能，将景深数据与另外一路摄像头的图像信息进行3D合成，并通过I2C通讯总线控制拍摄同步、帧同步，实现了实时、高保真的3D照片和视频，本发明适应各种拍摄环境，包括夜景、画面中有移动的物体等，本发明可实现移动终端包括手机、平板、电视、智能汽车、VR、AR、无人机上的基于旁路ISP、双摄帧同步的3D双摄方法。
与现有技术相比，本发明具有如下优点：
1、本发明基于现有主控芯片的单图像信号处理器(ISP)方案，不需要额外的ISP来对接红外摄像头，降低了智能终端的设计成本；
2、本发明采用旁路ISP来获得景深数据的方法具有高度自适应，在不需要3D拍摄的情况下，负责景深数据的第二摄像头可以正常采集彩色图像，提高双摄拍摄照片和视频的分辨率、帧率及质量。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种利用双摄像头实现三维图像的方法，包括如下步骤：
利用第一摄像头获取目标物体的图像信息发送至图像信号处理器；
利用第二摄像头采集相同视角画面空间的发生条纹形变的相位光栅图像，并计算出目标物体的景深数据，发送至图像信号处理器；
图像信号处理器于接收到所述图像信息与景深数据后，若判断为所述景深数据，则将所述景深数据直接传递至3D图像生成模块，若判断出为所述图像信息，则进行常规的图像信号处理后送至所述3D图像生成模块；
利用3D图像生成模块对所述景深数据和经图像信号处理后的图像信息进行合成，生成3D图像。
2.如权利要求1所述的一种利用双摄像头实现三维图像的方法，其特征在于，所述利用第二摄像头采集相同视角画面空间的发生条纹形变的相位光栅图像，并计算出目标物体的景深数据的步骤具体为：
利用结构光发射单元对相同视角画面空间投射相位光栅结构光；
利用第二摄像头采集经相位光栅结构光投射后发生条纹形变后的相位光栅图像；
对采集的发生条纹形变后的相位光栅图像进行解调得到包含深度信息的相位变化，再进行类光学三角函数计算出所述目标物体的景深数据。
3.如权利要求2所述的一种利用双摄像头实现三维图像的方法，其特征在于，所述利用结构光发射单元对相同视角画面空间投射相位光栅结构光为：利用第二摄像头上的激光二极管模块对相同视角画面空间投射相位光栅结构光。
4.如权利要求2所述的一种利用双摄像头实现三维图像的方法，其特征在于：所述第二摄像头，为通用彩色摄像头；在所述利用第二摄像头采集经相位光栅结构光投射后发生条纹形变后的相位光栅图像之前进一步包括：
将所述第二摄像头的工作模式设置为IR灰度模式。
5.如权利要求1至4任一所述的一种利用双摄像头实现三维图像的方法，其特征在于：所述图像信息和景深数据通过两路MIPI接口分别发送给所述图像信号处理器，或者将所述图像信息与景深数据封装后通过一路MIPI接口发送给所述图像信号处理器。
6.如权利要求1至4任一所述的一种利用双摄像头实现三维图像的方法，其特征在于：所述方法通过利用I2C通讯总线控制拍摄同步、帧同步。
7.一种利用双摄像头实现三维图像的装置，包括：
图像信息采集模块，用于利用第一摄像头获取目标物体的图像信息，并发送至图像信号处理器；
景深数据生成模块，用于利用第二摄像头采集相同视角画面空间的发生条纹形变的相位光栅图像，并计算出所述目标物体的景深数据，发送至图像信号处理器；
图像信号处理器，用于接收到所述图像信息以及所述景深数据后，若判断为景深数据，则将所述景深数据直接传递至3D图像生成模块，若判断为所述图像信息，则对其进行常规的图像信号处理后送至所述3D图像生成模块；
3D图像生成模块，用于对所述景深数据和所述经图像信号处理后的图像信息进行合成，生成3D图像。
8.如权利要求7所述的一种利用双摄像头实现三维图像的装置，其特征在于，所述景深数据生成模块进一步包括：
结构光发射单元，用于对相同视角画面空间投射相位光栅结构光；
相位光栅图像采集单元，用于通过利用第二摄像头采集经相位光栅结构光投射后发生条纹形变后的相位光栅图像；
景深数据计算单元，用于对采集的发生条纹形变后的相位光栅图像进行解调得到包含深度信息的相位变化，再进行类光学三角函数计算出所述目标物体的景深数据。
9.如权利要求8所述的一种利用双摄像头实现三维图像的装置，其特征在于：所述结构光发射单元，用于通过利用第二摄像头上的激光二极管模块对相同视角画面空间投射相位光栅结构光。
10.如权利要求8所述的一种利用双摄像头实现三维图像的装置，其特征在于：所述第二摄像头采用通用彩色摄像头，其工作模式设置为IR灰度模式。
CN201710516187.4A 2017-06-29 2017-06-29 一种利用双摄像头实现三维图像的方法及装置 Active CN107124604B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710516187.4A CN107124604B (zh) 2017-06-29 2017-06-29 一种利用双摄像头实现三维图像的方法及装置
PCT/CN2017/103820 WO2019000676A1 (zh) 2017-06-29 2017-09-27 一种利用双摄像头实现三维图像的方法及装置
US15/823,493 US10523917B2 (en) 2017-06-29 2017-11-27 Method and apparatus for acquiring three-dimensional image using two cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710516187.4A CN107124604B (zh) 2017-06-29 2017-06-29 一种利用双摄像头实现三维图像的方法及装置

Publications (2)

Publication Number Publication Date
CN107124604A true CN107124604A (zh) 2017-09-01
CN107124604B CN107124604B (zh) 2019-06-04

Family

ID=59719938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710516187.4A Active CN107124604B (zh) 2017-06-29 2017-06-29 一种利用双摄像头实现三维图像的方法及装置

Country Status (3)

Country Link
US (1) US10523917B2 (zh)
CN (1) CN107124604B (zh)
WO (1) WO2019000676A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513055A (zh) * 2018-06-02 2018-09-07 Oppo广东移动通信有限公司 电子组件和电子装置
CN108965732A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108989606A (zh) * 2018-08-22 2018-12-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
WO2019000676A1 (zh) * 2017-06-29 2019-01-03 诚迈科技（南京）股份有限公司 一种利用双摄像头实现三维图像的方法及装置
CN109151303A (zh) * 2018-08-22 2019-01-04 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109190533A (zh) * 2018-08-22 2019-01-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109582811A (zh) * 2018-12-17 2019-04-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111581415A (zh) * 2020-03-18 2020-08-25 时时同云科技(成都)有限责任公司 确定相似物体的方法、物体相似度的确定方法和设备
TWI707163B (zh) * 2019-05-06 2020-10-11 大陸商三贏科技（深圳）有限公司 相機模組
CN113884022A (zh) * 2021-09-28 2022-01-04 天津朗硕机器人科技有限公司 一种基于结构光的三维检测装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971889A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 一种获取深度图像的方法、摄像装置以及终端
CN111510757A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种共享媒体数据流的方法、装置以及系统
CN212623504U (zh) * 2020-06-08 2021-02-26 三赢科技（深圳）有限公司 结构光投影仪
CN112224146B (zh) * 2020-10-20 2021-11-09 广州柒度科技有限公司 一种具有前端防护结构的计算机用显示设备
DE112022001111T5 (de) * 2021-02-18 2024-02-22 Sony Semiconductor Solutions Corporation Signalverarbeitungseinrichtung, signalverarbeitungsverfahren und programm
CN112926498B (zh) * 2021-03-20 2024-05-24 杭州知存智能科技有限公司 基于多通道融合和深度信息局部动态生成的活体检测方法及装置
CN114025078A (zh) * 2021-09-27 2022-02-08 苏州雷格特智能设备股份有限公司 一种双目三层架构

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796001A (zh) * 2014-01-10 2014-05-14 深圳奥比中光科技有限公司 一种同步获取深度及色彩信息的方法及装置
CN105306924A (zh) * 2015-10-22 2016-02-03 凌云光技术集团有限责任公司 一种用于线阵双目3d成像的主动纹理方法
US20160309140A1 (en) * 2015-04-20 2016-10-20 Yibing Michelle Wang Timestamp calibration of the 3d camera with epipolar line laser point scanning
CN106200249A (zh) * 2016-08-30 2016-12-07 辽宁中蓝电子科技有限公司 结构光和rgb传感器模组整体式集成系统3d相机
CN106254738A (zh) * 2016-08-24 2016-12-21 深圳奥比中光科技有限公司 双图像采集系统及图像采集方法
CN106254854A (zh) * 2016-08-19 2016-12-21 深圳奥比中光科技有限公司 三维图像的获得方法、装置及系统
CN106550228A (zh) * 2015-09-16 2017-03-29 上海图檬信息科技有限公司 获取三维场景的深度图的设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060033992A1 (en) * 2002-12-02 2006-02-16 Solomon Dennis J Advanced integrated scanning focal immersive visual display
GB2378337B (en) * 2001-06-11 2005-04-13 Canon Kk 3D Computer modelling apparatus
US7174033B2 (en) * 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
JP5395507B2 (ja) * 2009-05-21 2014-01-22 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム
US8452081B2 (en) * 2011-01-11 2013-05-28 Eastman Kodak Company Forming 3D models using multiple images
US20120242795A1 (en) * 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination
US8844802B2 (en) * 2011-12-20 2014-09-30 Eastman Kodak Company Encoding information in illumination patterns
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
CN104539928B (zh) * 2015-01-05 2016-08-24 武汉大学 一种光栅立体印刷图像合成方法
US10447999B2 (en) * 2015-10-20 2019-10-15 Hewlett-Packard Development Company, L.P. Alignment of images of a three-dimensional object
CN106210474A (zh) * 2016-08-12 2016-12-07 信利光电股份有限公司 一种图像采集设备、虚拟现实设备
US10353535B2 (en) * 2016-10-21 2019-07-16 Misapplied Sciences, Inc. Multi-view display viewing zone layout and content assignment
CN107124604B (zh) * 2017-06-29 2019-06-04 诚迈科技（南京）股份有限公司 一种利用双摄像头实现三维图像的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796001A (zh) * 2014-01-10 2014-05-14 深圳奥比中光科技有限公司 一种同步获取深度及色彩信息的方法及装置
US20160309140A1 (en) * 2015-04-20 2016-10-20 Yibing Michelle Wang Timestamp calibration of the 3d camera with epipolar line laser point scanning
CN106550228A (zh) * 2015-09-16 2017-03-29 上海图檬信息科技有限公司 获取三维场景的深度图的设备
CN105306924A (zh) * 2015-10-22 2016-02-03 凌云光技术集团有限责任公司 一种用于线阵双目3d成像的主动纹理方法
CN106254854A (zh) * 2016-08-19 2016-12-21 深圳奥比中光科技有限公司 三维图像的获得方法、装置及系统
CN106254738A (zh) * 2016-08-24 2016-12-21 深圳奥比中光科技有限公司 双图像采集系统及图像采集方法
CN106200249A (zh) * 2016-08-30 2016-12-07 辽宁中蓝电子科技有限公司 结构光和rgb传感器模组整体式集成系统3d相机

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019000676A1 (zh) * 2017-06-29 2019-01-03 诚迈科技（南京）股份有限公司 一种利用双摄像头实现三维图像的方法及装置
CN108513055B (zh) * 2018-06-02 2024-05-14 Oppo广东移动通信有限公司 电子组件和电子装置
CN108513055A (zh) * 2018-06-02 2018-09-07 Oppo广东移动通信有限公司 电子组件和电子装置
WO2020038255A1 (en) * 2018-08-22 2020-02-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, electronic apparatus, and computer-readable storage medium
CN108989606B (zh) * 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109190533A (zh) * 2018-08-22 2019-01-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN108965732A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
EP3614659A1 (en) * 2018-08-22 2020-02-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, electronic apparatus, and computer-readable storage medium
CN108989606A (zh) * 2018-08-22 2018-12-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN108965732B (zh) * 2018-08-22 2020-04-14 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
US11196919B2 (en) 2018-08-22 2021-12-07 Shenzhen Heytap Technology Corp., Ltd. Image processing method, electronic apparatus, and computer-readable storage medium
US11145071B2 (en) 2018-08-22 2021-10-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, non-transitory computer-readable storage medium, and electronic apparatus
CN109151303B (zh) * 2018-08-22 2020-12-18 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109151303A (zh) * 2018-08-22 2019-01-04 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109582811B (zh) * 2018-12-17 2021-08-31 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN109582811A (zh) * 2018-12-17 2019-04-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
TWI707163B (zh) * 2019-05-06 2020-10-11 大陸商三贏科技（深圳）有限公司 相機模組
CN111581415A (zh) * 2020-03-18 2020-08-25 时时同云科技(成都)有限责任公司 确定相似物体的方法、物体相似度的确定方法和设备
CN113884022A (zh) * 2021-09-28 2022-01-04 天津朗硕机器人科技有限公司 一种基于结构光的三维检测装置

Also Published As

Publication number Publication date
US10523917B2 (en) 2019-12-31
CN107124604B (zh) 2019-06-04
WO2019000676A1 (zh) 2019-01-03
US20190007675A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
CN107124604A (zh) 一种利用双摄像头实现三维图像的方法及装置
US20220191407A1 (en) Method and system for generating at least one image of a real environment
EP3614171B1 (en) Image processing method, computer-readable storage medium, and electronic apparatus
CN109118581B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107424187A (zh) 深度计算处理器、数据处理方法以及3d图像设备
CN108989606B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107105217A (zh) 多模式深度计算处理器以及3d图像设备
CN109615652A (zh) 一种深度信息获取方法及装置
CN111023970A (zh) 多模式三维扫描方法及系统
JP2014209375A (ja) ３次元マッピング用集積処理装置
EP1313329A3 (en) Multiview image synthesizing apparatus
CN102308590A (zh) 三维图像输出装置和三维图像输出方法
US20120050494A1 (en) Method and system for creating a view-angle dependent 2d and/or 3d image/video utilizing a monoscopic video camera array
CN108712608A (zh) 终端设备拍摄方法和装置
CN109190533B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108024054A (zh) 图像处理方法、装置及设备
CN109769109A (zh) 基于虚拟视点合成绘制三维物体的方法和系统
CN109672827A (zh) 用于组合多个图像的电子装置及其方法
WO2021249401A1 (zh) 模型生成方法、图像透视图确定方法、装置、设备及介质
JP2012186755A (ja) 画像処理装置、画像処理方法、およびプログラム
CN108492381A (zh) 一种将实物颜色转换成3d模型贴图的方法及系统
CN111652933B (zh) 基于单目相机的重定位方法、装置、存储介质与电子设备
JPWO2019225682A1 (ja) 三次元再構成方法および三次元再構成装置
CN206672174U (zh) 深度计算处理器以及3d图像设备
CN107968902A (zh) 基于单图像传感器的全景摄像机及其实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: The invention relates to a method and a device for realizing three-dimensional images by using double cameras

Effective date of registration: 20201230

Granted publication date: 20190604

Pledgee: Bank of Hangzhou Limited by Share Ltd. Nanjing branch

Pledgor: ArcherMind Technology (Nanjing) Co.,Ltd.

Registration number: Y2020980010347

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220124

Granted publication date: 20190604

Pledgee: Bank of Hangzhou Limited by Share Ltd. Nanjing branch

Pledgor: ARCHERMIND TECHNOLOGY (NANJING) Co.,Ltd.

Registration number: Y2020980010347

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and device for realizing three-dimensional image by using double cameras

Effective date of registration: 20220211

Granted publication date: 20190604

Pledgee: Bank of Hangzhou Limited by Share Ltd. Nanjing branch

Pledgor: ARCHERMIND TECHNOLOGY (NANJING) Co.,Ltd.

Registration number: Y2022980001516

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231221

Granted publication date: 20190604

Pledgee: Bank of Hangzhou Limited by Share Ltd. Nanjing branch

Pledgor: ARCHERMIND TECHNOLOGY (NANJING) Co.,Ltd.

Registration number: Y2022980001516