CN112261303A - 三维彩色全景模型生成装置、方法、存储介质和处理器 - Google Patents

三维彩色全景模型生成装置、方法、存储介质和处理器 Download PDF

Info

Publication number
CN112261303A
CN112261303A CN202011301893.5A CN202011301893A CN112261303A CN 112261303 A CN112261303 A CN 112261303A CN 202011301893 A CN202011301893 A CN 202011301893A CN 112261303 A CN112261303 A CN 112261303A
Authority
CN
China
Prior art keywords
camera
color
panoramic
depth
controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011301893.5A
Other languages
English (en)
Other versions
CN112261303B (zh
Inventor
王明远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202011301893.5A priority Critical patent/CN112261303B/zh
Publication of CN112261303A publication Critical patent/CN112261303A/zh
Application granted granted Critical
Publication of CN112261303B publication Critical patent/CN112261303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种三维彩色全景模型生成装置、方法、存储介质和处理器，属于摄影技术领域。该装置包括：深度摄像头、彩色摄像头、控制装置以及处理装置，所述深度摄像头和所述彩色摄像头位于同一个圆的圆周上，且所述深度摄像头所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第一角度，其中，所述控制装置用于控制所述深度摄像头和所述彩色摄像头沿所述圆的圆周以同一方向旋转，并控制所述深度摄像头采集全景深度数据，所述彩色摄像头采集全景彩色图像；所述处理装置用于将所述深度摄像头采集的全景深度数据处理为全景深度模型，并将所述彩色摄像头拍摄的全景彩色图像和所述深度摄像头在同一位置拍摄的全景深度数据对应的全景深度模型贴合，以生成三维彩色全景模型。本发明可以生成最佳效果的三维彩色全景模型。

Description

三维彩色全景模型生成装置、方法、存储介质和处理器
技术领域
本发明涉及摄影技术领域，具体地涉及一种三维彩色全景模型生成装置、方法、存储介质和处理器。
背景技术
当前进行三维彩色全景模型拍摄时，彩色摄像头和深度摄像头同时采集模型和图像，然后进行处理以生产三维彩色全景模型。但是由于二者不可能真正处于同一位置，因此在处理拍摄出的模型和图像时，模型和图像势必出现小量偏移难以完全对齐，形成的三维彩色全景模型具有瑕疵。
发明内容
本发明实施例的目的是提供一种三维彩色全景模型生成装置、方法、存储介质和处理器，该三维彩色全景模型生成装置、方法、存储介质和处理器可以生成最佳效果的三维彩色全景模型。
为了实现上述目的，本发明实施例提供一种三维彩色全景模型生成装置，该装置包括：深度摄像头、彩色摄像头、控制装置以及处理装置，所述深度摄像头和所述彩色摄像头位于同一个圆的圆周上，且所述深度摄像头所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第一角度，其中，所述控制装置用于控制所述深度摄像头和所述彩色摄像头沿所述圆的圆周以同一方向旋转，并控制所述深度摄像头采集全景深度数据，所述彩色摄像头采集全景彩色图像；所述处理装置用于将所述深度摄像头采集的全景深度数据处理为全景深度模型，并将所述彩色摄像头拍摄的全景彩色图像和所述深度摄像头在同一位置拍摄的全景深度数据对应的全景深度模型贴合，以生成三维彩色全景模型。
优选地，该装置还包括：光强度检测装置，位于所述圆的圆周上，并且所述光强度检测装置所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第二角度，所述光强度检测装置是光线传感器或探路摄像头；所述控制装置用于控制所述光强度检测装置沿与所述彩色摄像头同一方向旋转，并检测光强度；所述处理装置用于根据所检测的光强度，控制所述彩色摄像头在检测光强度的同一位置拍摄时的曝光参数和/或HDR拍摄的照片数量。
优选地，该装置还包括：颜色传感器，位于所述圆的圆周上，并且所述颜色传感器所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第三角度；所述控制装置用于控制所述颜色传感器沿与所述彩色摄像头同一方向旋转，并检测色温；所述处理装置用于根据所检测的色温，控制所述彩色摄像头在检测色温的同一位置拍摄时的白平衡参数。
优选地，在该装置包括所述探路摄像头时，该装置还包括：灰度参照装置，其中，所述控制装置用于控制所述探路摄像头与所述灰度参照装置一同旋转，并控制所述探路摄像头拍摄在外部光线照射下所述灰度参照装置的图像；所述处理装置用于根据所述灰度参照装置的图像，控制所述彩色摄像头在拍摄所述灰度参照装置的图像的同一位置拍摄时的白平衡参数。
本发明实施例还提供一种三维彩色全景模型生成方法，该方法基于深度摄像头以及彩色摄像头，所述深度摄像头和所述彩色摄像头位于同一个圆的圆周上，且所述深度摄像头所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第一角度，该方法包括：控制所述深度摄像头和所述彩色摄像头沿所述圆的圆周以同一方向旋转，并控制所述深度摄像头采集全景深度数据，所述彩色摄像头采集全景彩色图像；将所述深度摄像头采集的全景深度数据处理为全景深度模型，并将所述彩色摄像头拍摄的全景彩色图像和所述深度摄像头在同一位置拍摄的全景深度数据对应的全景深度模型贴合，以生成三维彩色全景模型。
优选地，该方法还基于光强度检测装置，位于所述圆的圆周上，并且所述光强度检测装置所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第二角度，所述光强度检测装置是光线传感器或探路摄像头，该方法还包括：控制所述光强度检测装置沿与所述彩色摄像头同一方向旋转，并检测光强度；根据所检测的光强度，控制所述彩色摄像头在检测光强度的同一位置拍摄时的曝光参数和/或HDR拍摄的照片数量。
优选地，该方法还基于颜色传感器，位于所述圆的圆周上，并且所述颜色传感器所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第三角度，该方法还包括：控制所述颜色传感器沿与所述彩色摄像头同一方向旋转，并检测色温；根据所检测的色温，控制所述彩色摄像头在检测色温的同一位置拍摄时的白平衡参数。
优选地，在该装置包括所述探路摄像头时，该方法还基于灰度参照装置，该方法还包括：控制所述探路摄像头与所述灰度参照装置一同旋转，并控制所述探路摄像头拍摄在外部光线照射下所述灰度参照装置的图像；根据所述灰度参照装置的图像，控制所述彩色摄像头在拍摄所述灰度参照装置的图像的同一位置拍摄时的白平衡参数。
本发明实施例还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时实现上文所述的三维彩色全景模型生成方法。
本发明实施例还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上文所述的三维彩色全景模型生成方法。
通过上述技术方案，采用本发明提供的三维彩色全景模型生成装置、方法、存储介质和处理器，该装置包括深度摄像头、彩色摄像头、控制器以及处理器，所述深度摄像头和所述彩色摄像头位于同一个圆的圆周上，且所述深度摄像头所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第一角度，其中，所述控制装置用于控制所述深度摄像头和所述彩色摄像头沿所述圆的圆周以同一方向旋转，并控制所述深度摄像头采集全景深度数据，所述彩色摄像头采集全景彩色图像；所述处理装置用于将所述深度摄像头采集的全景深度数据处理为全景深度模型，并将所述彩色摄像头拍摄的全景彩色图像和所述深度摄像头在同一位置拍摄的全景深度数据对应的全景深度模型贴合，以生成三维彩色全景模型。本发明可以使深度摄像头和彩色摄像头精确的在同一位置采集模型和图像，从而精确的进行模型和图像的贴合处理，生成最佳效果的三维彩色全景模型。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明一实施例提供的三维彩色全景模型生成装置的结构框图；
图2是本发明一实施例提供的三维彩色全景模型生成装置的结构示意图；
图3是本发明另一实施例提供的三维彩色全景模型生成装置的结构示意图；
图4是本发明另一实施例提供的三维彩色全景模型生成装置的结构示意图；
图5是本发明另一实施例提供的三维彩色全景模型生成装置的结构示意图；
图6是本发明一实施例提供的三维彩色全景模型生成方法的流程图；
图7是本发明另一实施例提供的三维彩色全景模型生成方法的流程图；
图8是本发明另一实施例提供的三维彩色全景模型生成方法的流程图；
图9是本发明另一实施例提供的三维彩色全景模型生成方法的流程图。
附图标记说明
1 深度摄像头 2 彩色摄像头
3 控制装置 4 处理装置
5 光强度检测装置 6 颜色传感器
51 探路摄像头
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1是本发明一实施例提供的三维彩色全景模型生成装置的结构框图。如图1所示，该装置包括：深度摄像头1、彩色摄像头2、控制装置3以及处理装置4，所述深度摄像头1和所述彩色摄像头2位于同一个圆的圆周上，且所述深度摄像头1所在半径与所述彩色摄像头2所在半径之间的夹角为不为0的第一角度，其中，所述控制装置3用于控制所述深度摄像头1和所述彩色摄像头2沿所述圆的圆周以同一方向旋转，并控制所述深度摄像头1采集全景深度数据，所述彩色摄像头2采集全景彩色图像；所述处理装置4用于将所述深度摄像头1采集的全景深度数据处理为全景深度模型，并将所述彩色摄像头2拍摄的全景彩色图像和所述深度摄像头1在同一位置拍摄的全景深度数据对应的全景深度模型贴合，以生成三维彩色全景模型。
其中，深度摄像头1所在半径与彩色摄像头2所在半径之间的夹角，即第一角度，可以为60度(但本发明对此不进行限定)，彩色摄像头2可以为鱼眼摄像头，每转过60度拍摄一张彩色图像，而深度摄像头1则是在旋转过程中不断拍摄，以拼合并处理形成全景深度模型。例如，如图2所示，以与水平线垂直的竖直线为0度，则彩色摄像头2例如可以在60度、120度、180度、240度、300度以及360度各拍摄一张彩色图像，这些彩色图像可以构成整个全景彩色图像。然后将这些彩色图像分别贴合到深度摄像头1拍摄并处理形成的深度模型上，具体为对齐贴合在深度摄像头1同样在60度、120度、180度、240度、300度以及360度拍摄的深度数据对应的深度模型上的对应位置，从而生成三维彩色全景模型。对于贴合的方式为现有技术，在此不再赘述。
另外，对于确定深度摄像头1拍摄的深度模型上的对应位置，预先可以设定深度摄像头1旋转的速度，从而计算深度摄像头1在旋转60度、120度、180度、240度、300度以及360度时的时间，从而记录深度摄像头1在60度、120度、180度、240度、300度以及360度拍摄的深度模型上的对应位置。
总之，本发明实施例使用彩色摄像头2和深度摄像头1的其中一者在某一位置先进行拍摄，另一者旋转到同一位置时进行后拍摄，并将二者在同一位置拍摄的模型和图像进行贴合处理，从而可以保证完全对齐、贴合精确，生成最佳效果的三维彩色全景模型。
图3是本发明另一实施例提供的三维彩色全景模型生成装置的结构示意图。如图3所示，该装置还包括：光强度检测装置5，位于所述圆的圆周上，并且所述光强度检测装置5所在半径与所述彩色摄像头2所在半径之间的夹角为不为0的第二角度；所述控制装置3用于控制所述光强度检测装置5沿与所述彩色摄像头2同一方向旋转，并检测光强度；所述处理装置4用于根据所检测的光强度，控制所述彩色摄像头2在检测光强度的同一位置拍摄时的曝光参数和/或HDR拍摄的照片数量。
其中，光强度检测装置5可以是光线传感器或探路摄像头51。第二角度同样可以为60度，也可以为120度等等，本发明对此不进行限定。可以理解的是，如果对于明亮的地方和昏暗的地方使用同一曝光参数进行曝光，则肯定会出现过亮看不清或者过暗看不清的情况。因此，可以提前检测光强度。但是，如果在彩色摄像头2到达拍摄位置时先检测环境光强度，那么彩色摄像头2在拍摄位置的停留时间会较长，拍摄周期也会较长。
本发明实施例使用光线传感器或探路摄像头51提前检测光强度，并在彩色摄像头2旋转到同样位置时，可以根据提前检测的光强度调整曝光参数，使得拍摄效果提升，同时节约拍摄时间，减少拍摄周期。可以理解的是，如果光强度检测装置5是探路摄像头51，则可以使探路摄像头51先拍摄图像，然后处理器根据拍摄到的图像的效果确定光强度。
另外，如果彩色摄像头2需要进行HDR(高动态范围图像，High-Dynamic Range)拍摄，则在得知此处的光强度的情况下，可以将在进行HDR拍摄时使用不同曝光参数拍摄的图像中完全没有意义的图像舍去不拍，例如此处较为明亮，可以将拍摄的最为昏暗的图像舍去不拍，从而显著减少HDR拍摄的图像的数量，同样减少拍摄的时间和周期。
图4是本发明另一实施例提供的三维彩色全景模型生成装置的结构示意图。如图4所示，该装置还包括：颜色传感器6，位于所述圆的圆周上，并且所述颜色传感器6所在半径与所述彩色摄像头2所在半径之间的夹角为不为0的第三角度；所述控制装置3用于控制所述颜色传感器6沿与所述彩色摄像头2同一方向旋转，并检测色温；所述处理装置4用于根据所检测的色温，控制所述彩色摄像头2在检测色温的同一位置拍摄时的白平衡参数。
其中，第三角度同样可以为60度，也可以为120度等等，与第二角度不同即可，本发明对此不进行限定。可以理解的是，在不同的光线条件下，拍摄同一种颜色的物体，得到的图像的颜色偏向不同。例如在黄色灯光条件下，拍摄的物体的图像偏黄色，在蓝色的灯光条件下，拍摄的物体的图像偏蓝色。这样拍摄出的物体将不能完全反应出物体本身的颜色。因此，可以提前检测色温。但是，如果在彩色摄像头2到达拍摄位置时先检测色温，那么彩色摄像头2在拍摄位置的停留时间会较长，拍摄周期也会较长。
对此，本发明实施例使用颜色传感器6提前检测色温，并在彩色摄像头2旋转到同样位置时，可以根据提前检测的色温调整白平衡参数，使得拍摄出的物体的颜色更接近该物体本身的颜色，同时节约拍摄时间，减少拍摄周期。
图5是本发明另一实施例提供的三维彩色全景模型生成装置的结构示意图。如图5所示，在该装置包括所述探路摄像头51时，该装置还包括：灰度参照装置7，其中，所述控制装置3用于控制所述探路摄像头51与所述灰度参照装置7一同旋转，并控制所述探路摄像头51拍摄在外部光线照射下所述灰度参照装置7的图像；所述处理装置4用于根据所述灰度参照装置7的图像，控制所述彩色摄像头2在拍摄所述灰度参照装置7的图像的同一位置拍摄时的白平衡参数。
另外，对于调整白平衡参数，本发明实施例还提供另一种检测校正方式。即，在探路摄像头51的附近设置灰度参照装置7，例如白色、灰色和黑色的参照板，或者灰卡立方蜘蛛。该灰度参照装置7可以与探路摄像头51一同旋转，从而在外部光线照射下，探路摄像头51拍摄灰度参照装置7的图像，处理器可以判断该图像中本身为白色、灰色和黑色的物体在拍摄的图像中是什么颜色，从而得到该位置的色温，以控制彩色摄像头2在拍摄灰度参照装置7的图像的同一位置拍摄时的白平衡参数，同样使彩色摄像头2拍摄出的物体的颜色更接近该物体本身的颜色，同时节约拍摄时间，减少拍摄周期。
图6是本发明一实施例提供的三维彩色全景模型生成方法的流程图。如图6所示，该方法基于深度摄像头以及彩色摄像头，所述深度摄像头和所述彩色摄像头位于同一个圆的圆周上，且所述深度摄像头所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第一角度，该方法包括：
步骤S61，控制所述深度摄像头和所述彩色摄像头沿所述圆的圆周以同一方向旋转，并控制所述深度摄像头采集全景深度数据，所述彩色摄像头采集全景彩色图像；
步骤S62，将所述深度摄像头采集的全景深度数据处理为全景深度模型，并将所述彩色摄像头拍摄的全景彩色图像和所述深度摄像头在同一位置拍摄的全景深度数据对应的全景深度模型贴合，以生成三维彩色全景模型。
图7是本发明另一实施例提供的三维彩色全景模型生成方法的流程图。如图7所示，该方法还基于光强度检测装置，位于所述圆的圆周上，并且所述光强度检测装置所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第二角度，该方法还包括：
步骤S71，控制所述光强度检测装置沿与所述彩色摄像头同一方向旋转，并检测光强度；
步骤S72，根据所检测的光强度，控制所述彩色摄像头在检测光强度的同一位置拍摄时的曝光参数和/或HDR拍摄的照片数量。
优选地，所述光强度检测装置是光线传感器或探路摄像头。
图8是本发明另一实施例提供的三维彩色全景模型生成方法的流程图。如图8所示，该方法还基于颜色传感器，位于所述圆的圆周上，并且所述颜色传感器所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第三角度，该方法还包括：
步骤S81，控制所述颜色传感器沿与所述彩色摄像头同一方向旋转，并检测色温；
步骤S82，根据所检测的色温，控制所述彩色摄像头在检测色温的同一位置拍摄时的白平衡参数。
图9是本发明另一实施例提供的三维彩色全景模型生成方法的流程图。如图9所示，在该装置包括所述探路摄像头时，该方法还基于灰度参照装置，该方法还包括：
步骤S91，控制所述探路摄像头与所述灰度参照装置一同旋转，并控制所述探路摄像头拍摄在外部光线照射下所述灰度参照装置的图像；
步骤S92，根据所述灰度参照装置的图像，控制所述彩色摄像头在拍摄所述灰度参照装置的图像的同一位置拍摄时的白平衡参数。
上文所述的三维彩色全景模型生成方法与上文所述的三维彩色全景模型生成装置的实施例类似，在此不再赘述。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述三维彩色全景模型生成方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述三维彩色全景模型生成方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现如下方法：
该方法基于深度摄像头以及彩色摄像头，所述深度摄像头和所述彩色摄像头位于同一个圆的圆周上，且所述深度摄像头所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第一角度，该方法包括：控制所述深度摄像头和所述彩色摄像头沿所述圆的圆周以同一方向旋转，并控制所述深度摄像头采集全景深度数据，所述彩色摄像头采集全景彩色图像；将所述深度摄像头采集的全景深度数据处理为全景深度模型，并将所述彩色摄像头拍摄的全景彩色图像和所述深度摄像头在同一位置拍摄的全景深度数据对应的全景深度模型贴合，以生成三维彩色全景模型。
优选地，该方法还基于光强度检测装置，位于所述圆的圆周上，并且所述光强度检测装置所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第二角度，该方法还包括：控制所述光强度检测装置沿与所述彩色摄像头同一方向旋转，并检测光强度；根据所检测的光强度，控制所述彩色摄像头在检测光强度的同一位置拍摄时的曝光参数和/或HDR拍摄的照片数量。
优选地，所述光强度检测装置是光线传感器或探路摄像头。
优选地，该方法还基于颜色传感器，位于所述圆的圆周上，并且所述颜色传感器所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第三角度，该方法还包括：控制所述颜色传感器沿与所述彩色摄像头同一方向旋转，并检测色温；根据所检测的色温，控制所述彩色摄像头在检测色温的同一位置拍摄时的白平衡参数。
优选地，在该装置包括所述探路摄像头时，该方法还基于灰度参照装置，该方法还包括：控制所述探路摄像头与所述灰度参照装置一同旋转，并控制所述探路摄像头拍摄在外部光线照射下所述灰度参照装置的图像；根据所述灰度参照装置的图像，控制所述彩色摄像头在拍摄所述灰度参照装置的图像的同一位置拍摄时的白平衡参数。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
该方法基于深度摄像头以及彩色摄像头，所述深度摄像头和所述彩色摄像头位于同一个圆的圆周上，且所述深度摄像头所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第一角度，该方法包括：控制所述深度摄像头和所述彩色摄像头沿所述圆的圆周以同一方向旋转，并控制所述深度摄像头采集全景深度数据，所述彩色摄像头采集全景彩色图像；将所述深度摄像头采集的全景深度数据处理为全景深度模型，并将所述彩色摄像头拍摄的全景彩色图像和所述深度摄像头在同一位置拍摄的全景深度数据对应的全景深度模型贴合，以生成三维彩色全景模型。
优选地，该方法还基于光强度检测装置，位于所述圆的圆周上，并且所述光强度检测装置所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第二角度，该方法还包括：控制所述光强度检测装置沿与所述彩色摄像头同一方向旋转，并检测光强度；根据所检测的光强度，控制所述彩色摄像头在检测光强度的同一位置拍摄时的曝光参数和/或HDR拍摄的照片数量。
优选地，所述光强度检测装置是光线传感器或探路摄像头。
优选地，该方法还基于颜色传感器，位于所述圆的圆周上，并且所述颜色传感器所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第三角度，该方法还包括：控制所述颜色传感器沿与所述彩色摄像头同一方向旋转，并检测色温；根据所检测的色温，控制所述彩色摄像头在检测色温的同一位置拍摄时的白平衡参数。
优选地，在该装置包括所述探路摄像头时，该方法还基于灰度参照装置，该方法还包括：控制所述探路摄像头与所述灰度参照装置一同旋转，并控制所述探路摄像头拍摄在外部光线照射下所述灰度参照装置的图像；根据所述灰度参照装置的图像，控制所述彩色摄像头在拍摄所述灰度参照装置的图像的同一位置拍摄时的白平衡参数。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种三维彩色全景模型生成装置，其特征在于，该装置包括：
深度摄像头、彩色摄像头、控制装置以及处理装置，所述深度摄像头和所述彩色摄像头位于同一个圆的圆周上，且所述深度摄像头所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第一角度，其中，
所述控制装置用于控制所述深度摄像头和所述彩色摄像头沿所述圆的圆周以同一方向旋转，并控制所述深度摄像头采集全景深度数据，所述彩色摄像头采集全景彩色图像；
所述处理装置用于将所述深度摄像头采集的全景深度数据处理为全景深度模型，并将所述彩色摄像头拍摄的全景彩色图像和所述深度摄像头在同一位置拍摄的全景深度数据对应的全景深度模型贴合，以生成三维彩色全景模型。
2.根据权利要求1所述的三维彩色全景模型生成装置，其特征在于，该装置还包括：
光强度检测装置，位于所述圆的圆周上，并且所述光强度检测装置所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第二角度，所述光强度检测装置是光线传感器或探路摄像头；
所述控制装置用于控制所述光强度检测装置沿与所述彩色摄像头同一方向旋转，并检测光强度；
所述处理装置用于根据所检测的光强度，控制所述彩色摄像头在检测光强度的同一位置拍摄时的曝光参数和/或HDR拍摄的照片数量。
3.根据权利要求1所述的三维彩色全景模型生成装置，其特征在于，该装置还包括：
颜色传感器，位于所述圆的圆周上，并且所述颜色传感器所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第三角度；
所述控制装置用于控制所述颜色传感器沿与所述彩色摄像头同一方向旋转，并检测色温；
所述处理装置用于根据所检测的色温，控制所述彩色摄像头在检测色温的同一位置拍摄时的白平衡参数。
4.根据权利要求2所述的三维彩色全景模型生成装置，其特征在于，在该装置包括所述探路摄像头时，该装置还包括：
灰度参照装置，其中，
所述控制装置用于控制所述探路摄像头与所述灰度参照装置一同旋转，并控制所述探路摄像头拍摄在外部光线照射下所述灰度参照装置的图像；
所述处理装置用于根据所述灰度参照装置的图像，控制所述彩色摄像头在拍摄所述灰度参照装置的图像的同一位置拍摄时的白平衡参数。
5.一种三维彩色全景模型生成方法，其特征在于，该方法基于深度摄像头以及彩色摄像头，所述深度摄像头和所述彩色摄像头位于同一个圆的圆周上，且所述深度摄像头所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第一角度，该方法包括：
控制所述深度摄像头和所述彩色摄像头沿所述圆的圆周以同一方向旋转，并控制所述深度摄像头采集全景深度数据，所述彩色摄像头采集全景彩色图像；
将所述深度摄像头采集的全景深度数据处理为全景深度模型，并将所述彩色摄像头拍摄的全景彩色图像和所述深度摄像头在同一位置拍摄的全景深度数据对应的全景深度模型贴合，以生成三维彩色全景模型。
6.根据权利要求5所述的三维彩色全景模型生成方法，其特征在于，该方法还基于光强度检测装置，位于所述圆的圆周上，并且所述光强度检测装置所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第二角度，所述光强度检测装置是光线传感器或探路摄像头，该方法还包括：
控制所述光强度检测装置沿与所述彩色摄像头同一方向旋转，并检测光强度；
根据所检测的光强度，控制所述彩色摄像头在检测光强度的同一位置拍摄时的曝光参数和/或HDR拍摄的照片数量。
7.根据权利要求5所述的三维彩色全景模型生成方法，其特征在于，该方法还基于颜色传感器，位于所述圆的圆周上，并且所述颜色传感器所在半径与所述彩色摄像头所在半径之间的夹角为不为0的第三角度，该方法还包括：
控制所述颜色传感器沿与所述彩色摄像头同一方向旋转，并检测色温；
根据所检测的色温，控制所述彩色摄像头在检测色温的同一位置拍摄时的白平衡参数。
8.根据权利要求6所述的三维彩色全景模型生成方法，其特征在于，在该装置包括所述探路摄像头时，该方法还基于灰度参照装置，该方法还包括：
控制所述探路摄像头与所述灰度参照装置一同旋转，并控制所述探路摄像头拍摄在外部光线照射下所述灰度参照装置的图像；
根据所述灰度参照装置的图像，控制所述彩色摄像头在拍摄所述灰度参照装置的图像的同一位置拍摄时的白平衡参数。
9.一种机器可读存储介质，其上存储有程序，该程序被处理器执行时实现权利要求5-8中任一项权利要求所述的三维彩色全景模型生成方法。
10.一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行权利要求5-8中任一项权利要求所述的三维彩色全景模型生成方法。
CN202011301893.5A 2020-11-19 2020-11-19 三维彩色全景模型生成装置、方法、存储介质和处理器 Active CN112261303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011301893.5A CN112261303B (zh) 2020-11-19 2020-11-19 三维彩色全景模型生成装置、方法、存储介质和处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011301893.5A CN112261303B (zh) 2020-11-19 2020-11-19 三维彩色全景模型生成装置、方法、存储介质和处理器

Publications (2)

Publication Number Publication Date
CN112261303A true CN112261303A (zh) 2021-01-22
CN112261303B CN112261303B (zh) 2021-08-20

Family

ID=74266338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011301893.5A Active CN112261303B (zh) 2020-11-19 2020-11-19 三维彩色全景模型生成装置、方法、存储介质和处理器

Country Status (1)

Country Link
CN (1) CN112261303B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130010079A1 (en) * 2011-07-08 2013-01-10 Microsoft Corporation Calibration between depth and color sensors for depth cameras
CN105744247A (zh) * 2015-05-26 2016-07-06 维沃移动通信有限公司 在移动设备中进行白平衡调整的方法、装置和移动设备
CN107995434A (zh) * 2017-11-30 2018-05-04 广东欧珀移动通信有限公司 图像获取方法、电子装置和计算机可读存储介质
CN110169056A (zh) * 2016-12-12 2019-08-23 华为技术有限公司 一种动态三维图像获取的方法和设备
CN110248078A (zh) * 2019-02-14 2019-09-17 南京泓众电子科技有限公司 一种全景图像的曝光参数获取方法
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
CN111182217A (zh) * 2020-01-07 2020-05-19 徐梦影 一种图像白平衡的处理方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130010079A1 (en) * 2011-07-08 2013-01-10 Microsoft Corporation Calibration between depth and color sensors for depth cameras
CN105744247A (zh) * 2015-05-26 2016-07-06 维沃移动通信有限公司 在移动设备中进行白平衡调整的方法、装置和移动设备
CN110169056A (zh) * 2016-12-12 2019-08-23 华为技术有限公司 一种动态三维图像获取的方法和设备
CN107995434A (zh) * 2017-11-30 2018-05-04 广东欧珀移动通信有限公司 图像获取方法、电子装置和计算机可读存储介质
CN110248078A (zh) * 2019-02-14 2019-09-17 南京泓众电子科技有限公司 一种全景图像的曝光参数获取方法
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
CN111182217A (zh) * 2020-01-07 2020-05-19 徐梦影 一种图像白平衡的处理方法和装置

Also Published As

Publication number Publication date
CN112261303B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN108513059B (zh) 图像处理方法、设备以及自动驾驶车辆
CN111160172B (zh) 泊车位检测方法、装置、计算机设备和存储介质
CN108702437A (zh) 用于3d成像系统的高动态范围深度生成
CN1926851B (zh) 通过深度信息优化捕获装置设置的方法和设备
CN101868967B (zh) 摄像装置以及摄像方法
US9264630B2 (en) Method and apparatus for creating exposure effects using an optical image stabilizing device
US20140063288A1 (en) Imaging apparatus, electronic device and method providing exposure compensation
CN106657805A (zh) 运动中的拍摄方法及移动终端
CN105359502B (zh) 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
CN103731604A (zh) 追踪装置及追踪方法
JP2013198070A (ja) 画像処理装置、画像処理方法及び撮像装置
CN102857690A (zh) 追踪装置、追踪方法、摄像装置以及摄像方法
US9998661B1 (en) Panoramic camera enclosure
CN103118226A (zh) 光源估计装置、光源估计方法、光源估计程序和成像设备
US20140320638A1 (en) Electronic device and method for detecting surface flaw of sample
CN110705532A (zh) 一种识别翻拍图像的方法、装置及设备
CN112261303B (zh) 三维彩色全景模型生成装置、方法、存储介质和处理器
CN105357434A (zh) 一种信息处理方法及电子设备
CN105049704A (zh) 一种拍照的方法和设备
CN116208855B (zh) 一种多塔机云台全景图像抖动协调抑制方法和系统
KR20190089035A (ko) 이미지 프로세싱 방법 및 디바이스, 및 비-일시적 컴퓨터-판독가능 저장 매체(image processing method and device, and non-transitory computer-readable storage medium)
CN110223320B (zh) 物体检测跟踪方法和检测跟踪装置
CN113038012A (zh) 一种智能终端的外观缺陷检测方法及设备
CN108781280A (zh) 一种测试方法、装置及终端
JP2009232325A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant