CN113301321A - 成像方法、系统、装置、电子设备及可读存储介质 - Google Patents
成像方法、系统、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113301321A CN113301321A CN202110356469.9A CN202110356469A CN113301321A CN 113301321 A CN113301321 A CN 113301321A CN 202110356469 A CN202110356469 A CN 202110356469A CN 113301321 A CN113301321 A CN 113301321A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- dimensional
- gray
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 147
- 230000003287 optical effect Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种成像方法、系统、装置、电子设备及可读存储介质,属于拍摄领域。该方法包括:获取基于同一摄像头通过N个光路采集目标对象的不同视角的N个灰度图像,N为大于或者等于2的整数;基于N个灰度图像进行三维成像,生成目标对象的三维灰度图像;基于每个灰度图像的不同色彩通道的通道参数,对三维灰度图像进行色彩还原,生成目标对象的三维图像。
Description
技术领域
本申请实施例涉及拍摄领域,尤其涉及一种成像方法、系统、装置、电子设备及可读存储介质。
背景技术
随着电子设备技术的发展,用户使用电子设备进行拍摄的需求也有了进一步的提高。例如,除了拍摄二维图像外,用户还可以使用手机拍摄三维图像。
在相关技术中,电子设备可以通过双摄像头拍摄不同视角的图像,并对同一拍摄对象的不同视角的图像进行图像合成,进而获得具有立体感的三维图像。
然而,受限于电子设备的内部空间大小,采用双摄像头的设计方案,两个摄像头间的间距较短,导致拍摄的图像视差较小,在拍摄长距离物体时,立体感不足。且通过双摄像头采集图像时,由于成像时间存在误差,无法保证采集的多视角图像完全一致,拍摄动态图像时效果较差。
发明内容
本申请实施例的目的是提供一种成像方法、系统、装置、电子设备及可读存储介质,能够解决电子设备拍摄三维图像时,成像效果较差的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供一种成像方法,该方法包括:获取基于同一摄像头通过N个光路采集目标对象的不同视角的N个灰度图像,N为大于或者等于2的整数;基于N个灰度图像进行三维成像,生成目标对象的三维灰度图像;基于每个灰度图像的不同色彩通道的通道参数,对三维灰度图像进行色彩还原,生成目标对象的三维图像。
第二方面,本申请实施例还提供了一种成像装置,该装置包括:获取模块、图像构建模块和生成模块;获取模块,用于获取基于同一摄像头通过N个光路采集目标对象的不同视角的N个灰度图像,N为大于或者等于2的整数;图像构建模块,用于基于获取模块获取的N个灰度图像进行三维成像,生成目标对象的三维灰度图像;生成模块,用于基于每个灰度图像的不同色彩通道的通道参数,对图像构建模块生成的三维灰度图像进行色彩还原,生成目标对象的三维图像。
第三方面,本申请实施例还提供了一种成像系统,该系统包括:摄像头,N个光路,合光棱镜,N为大于或者等于2的整数;N个光路中的每个光路均设置有滤光片,且能够透过每个光路的滤光片的光线不同;合光棱镜用于将N个光路的光线投射到摄像头的成像单元上。
第四方面,本申请实施例提供了一种电子设备,包括处理器、存储器及存储在该存储器上并可在该处理器上运行的程序或指令,该程序或指令被该处理器执行时实现如第一方面所述的成像方法的步骤。
第五方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第六方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,首先获取单个摄像头通过N个光路采集目标对象的不同视角的N个灰度图像,之后,基于上述N个灰度图像进行三维成像,生成三维灰度图像。最后,再基于上述N个灰度图像中每个灰度图像的不同色彩通道的通道参数,对生成的三维灰度图像进行色彩还原,进而得到具有立体效果的目标对象的三维图像,使得电子设备可以通过单个摄像头拍摄三维图像,相较于多摄像头方案,降低了电子设备的成本,提升了拍摄质量。
附图说明
图1是本申请实施例提供的一种双摄像头方案拍摄三维图像的示意图;
图2是本申请实施例提供的一种成像方法流程示意图;
图3是本申请实施例提供的一种成像方法所涉及的计算方法的示意图;
图4是本申请实施例提供的一种成像系统的示意图;
图5是本申请实施例提供的一种成像装置结构示意图;
图6是本申请实施例提供的一种电子设备的结构示意图之一;
图7是本申请实施例提供的一种电子设备的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的成像方法可以应用于拍摄三维图像的场景中。
示例性的,针对拍摄三维图像的场景,在相关技术中,如图1所示,为一种采用双摄像头方案拍摄三维图像的示意图。其中,包括摄像头a和摄像头b,电子设备采集摄像头a和摄像头b对拍摄对象c从不同角度拍摄的图像,之后,将两个图像进行图像合成,生成拍摄对象c的三维图像。然而,由于电子设备内部空间结构紧凑,两个摄像头距离较近,使得两个摄像头拍摄的图像的时差较小,不利于远距离拍摄。并且,采用双摄像头的方案在采集图像时,需要软硬件相互配合,尤其是两个摄像头需要同时进行图像采集,无法保证两个摄像头采集的图像的一致性,在拍摄动态物体时,拍摄效果较差。
针对这一问题,在本申请实施例提供的技术方案中,采用单摄像头与多个光路相结合的方案,采集拍摄对象的多个视角的灰度图像,之后,根据拍摄对象的每个特征点在每个灰度图像上对应的特征点的坐标,计算得到拍摄对象的每个特征点的实际空间坐标,进而根据每个特征点的实际空间坐标信息,生成拍摄对象的三维灰度图像。之后,再根据拍摄对象的每个特征点在每个灰度图像中对应的特征点的灰度信息,对上述三维灰度图像进行色彩还原,得到拍摄对象的彩色三维图像。使得电子设备可以通过单个摄像头拍摄三维图像,相较于多摄像头方案,降低了电子设备的成本,提升了拍摄质量。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的成像方法进行详细地说明。
如图2所示,本申请实施例提供的一种成像方法,该方法可以包括下述步骤201至步骤203:
步骤201、成像装置获取基于同一摄像头通过N个光路采集目标对象的不同视角的N个灰度图像。
其中,N为大于或者等于2的整数,摄像头通过一个光路采集一个灰度图像。一个灰度图像包括一种色彩通道。
示例性地,本申请实施例中,成像装置获取的N个灰度图像,均为同一摄像头获取的。
示例性地,上述色彩通道可以红绿蓝(red green blue,RGB)色彩通道进行表示,即上述每个灰度图像对应RGB色彩通道中的一种色彩通道。需要说明的是,本申请实施例提供的成像方法中的色彩表示方法可以采用上述RGB进行表示,也可以采用色相、饱和度、亮度(hue,saturation,lightness,HSL)或色调、饱和度、明亮程度(hue,saturation,value,HSV)进行表示,本申请实施例中,为了方便理解,采用RGB表示色彩。
步骤202、成像装置基于上述N个灰度图像进行三维成像,生成目标对象的三维灰度图像。
示例性地,摄像头采集的N个灰度图像为针对拍摄对象不同视角采集的图像,因此,基于上述N个灰度图像,可以得到拍摄对象的每个特征点在每个灰度图像上对应的特征点的位置信息,进而根据该位置信息,计算得到拍摄对象的每个特征点的真实位置信息。该真实位置信息可以以点云(point cloud)的形式进行表示,之后,成像装置可以基于该点云,得到拍摄对象的三维结构。
步骤203、成像装置基于每个灰度图像的不同色彩通道的通道参数,对上述三维灰度图像进行色彩还原,生成目标对象的三维图像。
示例性地,上述N个灰度图像中,每个灰度图像对应一种色彩通道,成像装置可以拍摄目标对象的每个特征点在每个灰度图像中对应像素的灰度值,对生成的三维灰度图像进行色彩还原,进而得到拍摄对象彩色的三维图像。
需要说明的是,本申请实施例采用单摄像头与多个光路相结合的方案,摄像头可以通过不同的光路获取到拍摄对象不同视角的图像。且由于光路的设计结构简单,两个不同的光路之间可以相隔较远的距离,使得摄像头拍摄的不同视角的图像的视差更大,生成的三维图像的空间立体感更强。并且,由于本申请实施例采用单摄像头方案,拍摄的多个视角的图像的均为同一时间拍摄的,不存在时间差,因此,生成的灰度图像的分辨率和成像质量完全一致,从而使拍摄的平面图中携带三维信息更加准确,成像更加逼真。
如此,基于单摄像头和多个光路相结合的拍摄方案,获取单个摄像头通过N个光路采集目标对象的不同视角的N个灰度图像,之后,基于上述N个灰度图像进行三维成像,生成三维灰度图像。最后,再基于上述N个灰度图像中每个灰度图像的不同色彩通道的通道参数,对生成的三维灰度图像进行色彩还原,进而得到具有立体效果的目标对象的三维图像,使得电子设备可以通过单个摄像头拍摄三维图像,相较于多摄像头方案,降低了电子设备的成本,提升了拍摄质量。
可选地,在本申请实施例中,成像装置可以根据拍摄对象的每个特征点在每个灰度图像上对应的特征点的位置信息,确定拍摄对象的每个特征点的实际位置信息,之后,成像装置可以根据每个特征点的实际位置信息,生成拍摄对象的三维图像。
示例性地,上述步骤202,可以包括以下步骤202a和步骤202b:
步骤202a、成像装置根据上述目标对象的每个特征点在每个灰度图像上对应的特征点的位置信息,确定该目标对象的每个特征点的空间位置信息。
示例性地,成像装置可以对上述N个灰度图像进行边缘提取以及图像分割,得到仅包含拍摄对象的灰度图像,之后,利用特征点匹配算法,将拍摄对象的每个特征点在每个灰度图像中找到与之对应的特征点。之后,根据灰度图像中特征点的位置信息,计算得到拍摄对象的特征点的空间位置信息。该空间位置信息可以通过三维坐标进行表示。
步骤202b、成像装置基于上述目标对象的每个特征点的空间位置信息,生成上述三维灰度图像。
示例性地,成像装置在得到拍摄对象的每个特征点的空间位置信息之后,可以根据每个特征点的空间位置信息,生成点云,进而得到拍摄对象的空间立体模型,即上述目标对象的三维图像。
如此,成像装置在获取到上述N个灰度图像之后,可以基于上述N个灰度图像,确定拍摄对象的每个特征点的实际空间坐标,进而根据该实际空间坐标,生成拍摄对象的三维图像。
可选地,在本申请实施例中,成像装置可以将上述N个灰度图像中的任意两个灰度图像作为一组,计算拍摄对象的每个特征点的空间位置信息,并通过多组灰度图像计算得到的特征点的空间位置信息进行纠错,进而得到精度较高的特征点的空间位置信息。
示例性地,上述步骤202之后,本申请实施例提供的成像方法还可以包括以下步骤202c和步骤202d:
步骤202c、成像装置根据上述目标对象的各个特征点在上述N个灰度图像中的两个灰度图像上对应的特征点的位置信息,确定目标对象的每个特征点的空间位置信息。
步骤202d、成像装置根据上述空间位置信息以及目标参数,生成目标对象的三维灰度图像。
其中,上述目标参数包括:目标对象的任一特征点对应的所述两个灰度图像的光路的成像光心间的距离,以及摄像头的焦距。
具体地,上述步骤202c可以包括以下步骤202c1:
步骤202c1、成像装置获取目标对象的目标特征点在第一灰度图像上对应的特征点的第一位置信息,以及所述目标特征点在第二灰度图像上对应的特征点的第二位置信息。
上述步骤202d,可以包括以下步骤202d1:
步骤202d1、成像装置根据上述第一位置信息、第二位置信息以及目标参数,确定上述目标特征点的空间位置信息。
其中,上述第一灰度图像和第二灰度图像为上述N个灰度图像中的任意两个灰度图像。上述目标参数包括:第一灰度图像对应的光路的成像光心与第二灰度图像对应的光路的成像光心之间的距离,摄像头的焦距。
示例性地,成像装置在计算目标特征点的空间位置信息时,可以将上述N个灰度图像中的每两个灰度图像作为一组进行计算,得到N*(N-1)/2组计算结果,并基于上述N*(N-1)/2组计算结果,对目标特征点的空间位置信息进行校对,得到较为精确的结果。
示例性地,成像装置可以使用三维坐标表示上述目标特征点的空间位置信息,即P(x,y,z),使用二维坐标表示上述第一位置信息p1(x1,y1)和第二位置信息p2(x2,y2)。并通过以下公式1计算得到摄像头与拍摄对象之间的距离Z。
公式1:
L/B=Z/(Z+f)
其中,上述L为上述p1与p2之间的距离,B为任意两个灰度图像的成像光心之间的距离,f为成像面到成像光心之间的距离,默认情况下f为摄像头的焦距,p1与p2之间的距离的计算公式为L=B-x1+x2;上述L由上述p1和p2所在灰度图像上的像素点的位置确定。成像装置根据上述公式,得到摄像头与拍摄对象之间的距离Z。之后,成像装置根据以下公式2,计算得到P的坐标。
公式2:
通过上述公式1和公式2,得到目标特征点的空间位置信息,即P(x,y,z),其中,z可以根据上述p1和p2在灰度图像上的z向坐标等比例换算得到。
举例说明,如图3所示,摄像头通过采集拍摄对象30得到三个灰度图像31、图像32和图像33,三个灰度图像的成像光心分别o1、o2和o3。拍摄对象的特征点P在三个灰度图像上对应的特征点分别为p1、p2和p3。图像31和图像32的成像光心之间的距离为B,图像31与图像33的成像光心之间的距离为2B。成像装置可以根据上述公式1和公式2,计算得到P点的实际空间坐标。
如此,成像装置根据基于任意两个灰度图像计算拍摄对象的特征点的空间位置信息,进而根据每个特征点的空间位置信息,生成拍摄对象的三维灰度图像。
进一步可选地,在本申请实施例中,成像装置在生成上述三维灰度图像之后,可以基于生成的三维灰度图像,对生成结果进行反算,并根据反算的结果,调整上述计算过程中的所涉及的参数,进而使得成像装置之后的计算结果更加精确。
示例性地,上述步骤202之后,本申请实施例提供的成像方法,还可以包括以下步骤204和步骤205:
步骤204、成像装置根据上述三维灰度图像,验证上述目标对象的任一特征点的空间位置信息,并生成验证结果。
示例性地,为了增加验证结果的准确性,成像装置还可以验证上述目标对象的多个或者各个特征点的空间位置信息。
步骤205、成像装置基于该验证结果,调整上述目标参数。
示例性地,成像装置对上述三维灰度图像进行反算后,基于上述验证结果,对上述目标参数进行调整。
具体地,成像装置可以根据拍摄对象的目标特征点在上述三维灰度图像中对应的特征点的空间位置信息,计算得到与上述第一位置信息和第二位置信息的误差,进而根据该误差大小,调整上述目标参数,以减小后续计算结果产生的误差。
需要说明的是,上述步骤204和步骤205中,根据成像装置生成的三维灰度图像,验证上述目标对象的任一特征点的空间位置信息,并生成验证结果的具体步骤,既可以在成像装置中执行,也可以由成像装置将上述数据发送到服务器上,由服务器执行。
需要说明的是,上述公式1中f的默认(default)值为摄像头的焦距,通过上述步骤205调整后,可以调整上述f的值。
如此,成像装置可以对生成的结果进行反算,并根据反算结果,调整上述计算过程中所涉及的参数,使得成像装置之后的计算结果更加精确。
可选地,在本申请实施例中,本申请所涉及的N个光路,可以通过设置滤光片,使得每个光路仅能通过一种颜色的光,摄像头采集到上述N个光路的N个灰度图像之后,根据拍摄对象的每个特征点在每个灰度图像中对应像素的灰度值,对生成的三维灰度图像进行色彩还原,进而得到拍摄对象彩色的三维图像。
示例性地,上述步骤203,可以包括以下步骤203a和步骤203b:
步骤203a、成像装置基于上述N个灰度图像,获取目标对象的每个特征点在每个灰度图像上对应的像素的灰度值。
示例性地,成像装置基于每个特征点在每个灰度图像上对应像素的灰度值,确定每个特征点在三维灰度图像上对应的像素的色彩值,并使用该色彩值对像素进行着色。
示例性地,上述步骤N个灰度图像包括三个不同色彩通道的灰度图像。以RGB色彩值进行表示,上述三个色彩通道分别为R通道、G通道和B通道。上述N个灰度图像可以为第一灰度图像、第二灰度图像和第三灰度图像,其中,第一灰度图像为R通道灰度图像,第二灰度图像为G通道灰度图像,第三灰度图像为B通道灰度图像。成像装置可以获取目标对象的每个特征点在上述三个灰度图像上对应的像素点的灰度值,之后,每个特征点的色彩值可以用RGB进行表示。
步骤203b、成像装置根据所述灰度值,对所述三维灰度图像进行色彩还原,生成目标对象的三维图像。
示例性地,成像装置在获取到拍摄对象的每个特征点的RGB色彩值之后,根据每个特征点的RGB色彩值对上述三维灰度图像进行色彩还原,进而得到拍摄对象的彩色三维立体图像。
如此,成像装置可以基于拍摄对象的每个特征点在每个灰度图像上对应的像素的灰度值,确定每个特征点在三维灰度图像上的色彩值,进而根据该色彩值对三维灰度图像进行着色,使得成像装置拍摄的三维图像具有拍摄对象的真实色彩。
本申请实施例提供的成像方法,采用单摄像头与多个光路相结合的方案,采集拍摄对象的多个视角的灰度图像,之后,根据拍摄对象的每个特征点在每个灰度图像上对应的特征点的坐标,计算得到拍摄对象的每个特征点的实际空间坐标,进而根据每个特征点的实际空间坐标信息,生成拍摄对象的三维灰度图像。之后,再根据拍摄对象的每个特征点在每个灰度图像中对应的特征点的灰度信息,对上述三维灰度图像进行色彩还原,得到拍摄对象的彩色三维图像。使得电子设备可以通过单个摄像头拍摄三维图像,相较于多摄像头方案,降低了电子设备的成本,提升了拍摄质量。
需要说明的是,本申请实施例提供的成像方法,执行主体可以为成像装置,或者该成像装置中的用于执行成像方法的控制模块。本申请实施例中以成像装置执行成像方法为例,说明本申请实施例提供的成像装置。
需要说明的是,本申请实施例中,上述各个方法附图所示的。成像方法均是以结合本申请实施例中的一个附图为例示例性的说明的。具体实现时,上述各个方法附图所示的成像方法还可以结合上述实施例中示意的其它可以结合的任意附图实现,此处不再赘述。
图4为实现本申请实施例提供的一种成像系统的可能的结构示意图,如图4所示,成像系统包括:摄像头10,N个光路,合光棱镜14,N为大于或者等于2的整数。
其中,上述N个光路中的每个光路均设置有滤光片,且能够透过每个光路的滤光片的光线不同;所述合光棱镜用于将所述N个光路的光线投射到所述摄像头的成像单元上。
可选地,本申请实施例提供的成像系统,上述N个光路包括第一光路、第二光路和第三光路,不同的光路设置有不同的滤光片。透过第一光路的光线11a、透过第三光路的光线13a,通过合光棱镜14折射到摄像头10的成像单元上,透过第二光路的光线12a,由于可以直接投射到摄像头10的成像单元上,因此,无需合光棱镜14的折射。
示例性地,透过由于第一光路和第三光路的光线并不能直接投射到摄像头10的成像单元上,因此,第一光路和第三光路上还设置有分光棱镜11b和分光棱镜13b,上述两个分光棱镜用于将光线11a和光线13a反射到合光棱镜上。
可选地,本申请实施例提供的成像系统,上述第一光路11a设置有红色滤光片11,第二光路12a设置有绿色滤光片12,第三光路13a设置有蓝色滤光片13。
示例性地,摄像头10获取到经过红色滤光片11的光线11a后,生成R通道灰度图像,摄像头10获取到经过绿色滤光片12的光线12a后,生成G通道灰度图像,摄像头10获取到经过蓝色滤光片13的光线13a后,生成B通道灰度图像。之后,成像装置可以根据上述三种不同色彩通道的灰度图像,生成拍摄对象的彩色三维图像。
本申请实施例提供的成像系统,采用单摄像头与多个光路相结合的方案,采集拍摄对象的多个视角的灰度图像,之后,根据拍摄对象的每个特征点在每个灰度图像上对应的特征点的坐标,计算得到拍摄对象的每个特征点的实际空间坐标,进而根据每个特征点的实际空间坐标信息,生成拍摄对象的三维灰度图像。之后,再根据拍摄对象的每个特征点在每个灰度图像中对应的特征点的灰度信息,对上述三维灰度图像进行色彩还原,得到拍摄对象的彩色三维图像。使得电子设备可以通过单个摄像头拍摄三维图像,相较于多摄像头方案,降低了电子设备的成本,提升了拍摄质量。
图5为实现本申请实施例提供的一种成像装置的可能的结构示意图,如图5所示,成像装置600包括:获取模块601、图像构建模块602和生成模块603,其中:获取模块601,用于获取基于同一摄像头通过N个光路采集目标对象的不同视角的N个灰度图像,N为大于或者等于2的整数,摄像头通过一个光路采集一个灰度图像;图像构建模块602,用于基于获取模块601获取的N个灰度图像进行三维成像,生成目标对象的三维灰度图像;生成模块603,用于基于每个灰度图像的不同色彩通道的通道参数,对图像构建模块602生成的三维灰度图像进行色彩还原,生成目标对象的三维图像。
可选地,图像构建模块602,具体用于根据目标对象的每个特征点在每个灰度图像上对应的特征点的位置信息,确定目标对象的每个特征点的空间位置信息;图像构建模块602,具体还用于基于目标对象的每个特征点的空间位置信息,生成三维灰度图像。
可选地,图像构建模块602,还用于根据目标对象的各个特征点在N个灰度图像中的两个灰度图像上对应的特征点的位置信息,确定目标对象的每个特征点的空间位置信息;图像构建模块602,还用于根据空间位置信息以及目标参数,生成目标对象的三维灰度图像;其中,目标参数包括:目标对象的任一特征点对应的两个灰度图像的光路的成像光心间的距离,以及摄像头的焦距。
可选地,成像装置600还包括:验证模块604和参数调整模块605;验证模块604,用于根据三维灰度图像,验证目标对象的任一特征点的空间位置信息,并生成验证结果;参数调整模块605,用于基于验证模块604生成的验证结果,调整目标参数。
可选地,生成模块603,具体用于基于获取模块601获取的N个灰度图像,获取目标对象的每个特征点在每个灰度图像上对应的像素的灰度值;生成模块603,具体还用于根据灰度值,对三维灰度图像进行色彩还原,生成目标对象的三维图像。
本申请实施例中的成像装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的成像装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的成像装置能够实现图2至图3的方法实施例中成像装置实现的各个过程,为避免重复,这里不再赘述。
本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果,为避免重复,此处不再赘述。
本申请实施例提供的成像装置,采用单摄像头与多个光路相结合的方案,采集拍摄对象的多个视角的灰度图像,之后,根据拍摄对象的每个特征点在每个灰度图像上对应的特征点的坐标,计算得到拍摄对象的每个特征点的实际空间坐标,进而根据每个特征点的实际空间坐标信息,生成拍摄对象的三维灰度图像。之后,再根据拍摄对象的每个特征点在每个灰度图像中对应的特征点的灰度信息,对上述三维灰度图像进行色彩还原,得到拍摄对象的彩色三维图像。使得电子设备可以通过单个摄像头拍摄三维图像,相较于多摄像头方案,降低了电子设备的成本,提升了拍摄质量。
可选地,如图6所示,本申请实施例还提供一种电子设备M00,包括处理器M01,存储器M02,存储在存储器M02上并可在所述处理器M01上运行的程序或指令,该程序或指令被处理器M01执行时实现上述图像生成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图7为实现本申请各个实施例的一种电子设备的硬件结构示意图。
该电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
本领域技术人员可以理解,电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,传感器105,用于获取基于同一摄像头通过N个光路采集目标对象的不同视角的N个灰度图像,N为大于或者等于2的整数,摄像头通过一个光路采集一个灰度图像;处理器110,用于基于传感器105获取的N个灰度图像进行三维成像,生成目标对象的三维灰度图像;处理器110,用于基于每个灰度图像的不同色彩通道的通道参数,对处理器110生成的三维灰度图像进行色彩还原,生成目标对象的三维图像。
如此,基于单摄像头和多个光路相结合的拍摄方案,获取单个摄像头通过N个光路采集目标对象的不同视角的N个灰度图像,之后,基于上述N个灰度图像进行三维成像,生成三维灰度图像。最后,再基于上述N个灰度图像中每个灰度图像的不同色彩通道的通道参数,对生成的三维灰度图像进行色彩还原,进而得到具有立体效果的目标对象的三维图像,使得电子设备可以通过单个摄像头拍摄三维图像,相较于多摄像头方案,降低了电子设备的成本,提升了拍摄质量。
可选地,处理器110,具体用于根据目标对象的每个特征点在每个灰度图像上对应的特征点的位置信息,确定目标对象的每个特征点的空间位置信息;处理器110,具体还用于基于目标对象的每个特征点的空间位置信息,生成三维灰度图像。
如此,成像装置在获取到上述N个灰度图像之后,可以基于上述N个灰度图像,确定拍摄对象的每个特征点的实际空间坐标,进而根据该实际空间坐标,生成拍摄对象的三维图像。
可选地,处理器110,用于根据目标对象的各个特征点在N个灰度图像中的两个灰度图像上对应的特征点的位置信息,确定目标对象的每个特征点的空间位置信息;处理器110,还用于根据空间位置信息以及目标参数,生成目标对象的三维灰度图像;其中,目标参数包括:目标对象的任一特征点对应的两个灰度图像的光路的成像光心间的距离,以及摄像头的焦距。
如此,成像装置根据基于任意两个灰度图像计算拍摄对象的特征点的空间位置信息,进而根据每个特征点的空间位置信息,生成拍摄对象的三维灰度图像。
可选地,处理器110,用于根据三维灰度图像,验证目标对象的任一特征点的空间位置信息,并生成验证结果;输入单元104,用于基于处理器110生成的验证结果,调整目标参数。
如此,成像装置可以对生成的结果进行反算,并根据反算结果,调整上述计算过程中所涉及的参数,使得成像装置之后的计算结果更加精确。
可选地,处理器110,具体用于基于传感器105获取的N个灰度图像,获取目标对象的每个特征点在每个灰度图像上对应的像素的灰度值;处理器110,具体还用于根据灰度值,对三维灰度图像进行色彩还原,生成目标对象的三维图像。
如此,成像装置可以基于拍摄对象的每个特征点在每个灰度图像上对应的像素的灰度值,确定每个特征点在三维灰度图像上的色彩值,进而根据该色彩值对三维灰度图像进行着色,使得成像装置拍摄的三维图像具有拍摄对象的真实色彩。
本申请实施例提供的电子设备,采用单摄像头与多个光路相结合的方案,采集拍摄对象的多个视角的灰度图像,之后,根据拍摄对象的每个特征点在每个灰度图像上对应的特征点的坐标,计算得到拍摄对象的每个特征点的实际空间坐标,进而根据每个特征点的实际空间坐标信息,生成拍摄对象的三维灰度图像。之后,再根据拍摄对象的每个特征点在每个灰度图像中对应的特征点的灰度信息,对上述三维灰度图像进行色彩还原,得到拍摄对象的彩色三维图像。使得电子设备可以通过单个摄像头拍摄三维图像,相较于多摄像头方案,降低了电子设备的成本,提升了拍摄质量。
应理解的是,本申请实施例中,输入单元104可以包括图形处理器(GraphicsProcessing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器109可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述成像方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述成像方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台电子设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (15)
1.一种成像方法,其特征在于,所述方法包括:
获取基于同一摄像头通过N个光路采集目标对象的不同视角的N个灰度图像,N为大于或者等于2的整数;
基于所述N个灰度图像进行三维成像,生成所述目标对象的三维灰度图像;
基于每个灰度图像的不同色彩通道的通道参数,对所述三维灰度图像进行色彩还原,生成所述目标对象的三维图像。
2.根据权利要求1所述的方法,其特征在于,所述基于所述N个灰度图像进行三维成像,生成所述目标对象的三维灰度图像,包括:
根据所述目标对象的每个特征点在每个灰度图像上对应的特征点的位置信息,确定所述目标对象的每个特征点的空间位置信息;
基于所述目标对象的每个特征点的空间位置信息,生成所述三维灰度图像。
3.根据权利要求1所述的方法,其特征在于,所述获取基于同一摄像头通过N个光路采集目标对象的不同视角的N个灰度图像,N为大于或者等于2的整数之后,还包括:
根据所述目标对象的各个特征点在所述N个灰度图像中的两个灰度图像上对应的特征点的位置信息,确定所述目标对象的每个特征点的空间位置信息;
根据所述空间位置信息以及目标参数,生成所述目标对象的三维灰度图像;
其中,所述目标参数包括:所述目标对象的任一特征点对应的所述两个灰度图像的光路的成像光心间的距离,以及所述摄像头的焦距。
4.根据权利要求3所述的方法,其特征在于,所述根据所述空间位置信息以及目标参数,确定生成所述目标对象的三维灰度图像之后,所述方法还包括:
根据所述三维灰度图像,验证所述目标对象的各个特征点的空间位置信息,并生成验证结果;
基于所述验证结果,调整所述目标参数。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述基于每个灰度图像的不同色彩通道的通道参数,对所述三维灰度图像进行色彩还原,生成目标对象的三维图像,包括:
基于所述N个灰度图像,获取所述目标对象的每个特征点在每个灰度图像上对应的像素的灰度值;
根据所述灰度值,对所述三维灰度图像进行色彩还原,生成目标对象的三维图像。
6.一种成像装置,其特征在于,所述装置包括:获取模块、图像构建模块和生成模块;
所述获取模块,用于获取基于同一摄像头通过N个光路采集目标对象的不同视角的N个灰度图像,N为大于或者等于2的整数;
所述图像构建模块,用于基于所述获取模块获取的N个灰度图像进行三维成像,生成所述目标对象的三维灰度图像;
所述生成模块,用于基于每个灰度图像的不同色彩通道的通道参数,对所述图像构建模块生成的三维灰度图像进行色彩还原,生成所述目标对象的三维图像。
7.根据权利要求6所述的装置,其特征在于,
所述图像构建模块,具体用于根据所述目标对象的每个特征点在每个灰度图像上对应的特征点的位置信息,确定所述目标对象的每个特征点的空间位置信息;
所述图像构建模块,具体还用于基于所述目标对象的每个特征点的空间位置信息,生成所述三维灰度图像。
8.根据权利要求6所述的装置,其特征在于,
所述图像构建模块,还用于根据所述目标对象的各个特征点在所述N个灰度图像中的两个灰度图像上对应的特征点的位置信息,确定所述目标对象的每个特征点的空间位置信息;
所述图像构建模块,还用于根据所述空间位置信息以及目标参数,生成所述目标对象的三维灰度图像;
其中,所述目标参数包括:所述目标对象的任一特征点对应的所述两个灰度图像的光路的成像光心间的距离,以及所述摄像头的焦距。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:验证模块和参数调整模块;
所述验证模块,用于根据所述三维灰度图像,验证所述目标对象的各个特征点的空间位置信息,并生成验证结果;
所述参数调整模块,用于基于所述验证模块生成的验证结果,调整所述目标参数。
10.根据权利要求6至9中任一项所述的装置,其特征在于,
所述生成模块,具体用于基于所述获取模块获取的N个灰度图像,获取所述目标对象的每个特征点在每个灰度图像上对应的像素的灰度值;
所述生成模块,具体还用于根据所述灰度值,对所述三维灰度图像进行色彩还原,生成所述目标对象的三维图像。
11.一种成像系统,其特征在于,包括:摄像头,N个光路,合光棱镜,N为大于或者等于2的整数;
所述N个光路中的每个光路均设置有滤光片,且能够透过每个光路的滤光片的光线不同;所述合光棱镜用于将所述N个光路的光线投射到所述摄像头的成像单元上。
12.根据权利要求11所述的成像系统,其特征在于,所述N个光路包括第一光路、第二光路和第三光路,不同的光路设置有不同的滤光片。
13.根据权利要求12所述的成像系统,其特征在于,所述第一光路设置有红色滤光片,所述第二光路设置有绿色滤光片,所述第三光路设置有蓝色滤光片。
14.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的成像方法的步骤。
15.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至5中任一项所述的成像方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110356469.9A CN113301321A (zh) | 2021-04-01 | 2021-04-01 | 成像方法、系统、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110356469.9A CN113301321A (zh) | 2021-04-01 | 2021-04-01 | 成像方法、系统、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113301321A true CN113301321A (zh) | 2021-08-24 |
Family
ID=77319401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110356469.9A Pending CN113301321A (zh) | 2021-04-01 | 2021-04-01 | 成像方法、系统、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113301321A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116596772A (zh) * | 2023-03-31 | 2023-08-15 | 资阳联耀医疗器械有限责任公司 | 一种基于灰度图像传感器生成彩色图像的方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020071177A1 (en) * | 2000-12-12 | 2002-06-13 | Ching-Long Huang | Single lens instantaneous 3D image taking device |
CN101938668A (zh) * | 2010-09-10 | 2011-01-05 | 中国科学院自动化研究所 | 对多级透镜多视角场景的三维重建的方法 |
CN102598682A (zh) * | 2010-09-24 | 2012-07-18 | 松下电器产业株式会社 | 三维摄像装置 |
US20140267622A1 (en) * | 2013-03-14 | 2014-09-18 | Ryosuke Kasahara | Stereo camera |
CN105869157A (zh) * | 2016-03-25 | 2016-08-17 | 厦门大学 | 多镜头立体视觉视差的计算方法 |
CN106949879A (zh) * | 2017-02-27 | 2017-07-14 | 上海建为历保科技股份有限公司 | 基于摄影测量原理的物联网建筑三维实时监测分析方法 |
CN108801209A (zh) * | 2017-04-28 | 2018-11-13 | 松下知识产权经营株式会社 | 拍摄装置、图像处理方法以及程序 |
-
2021
- 2021-04-01 CN CN202110356469.9A patent/CN113301321A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020071177A1 (en) * | 2000-12-12 | 2002-06-13 | Ching-Long Huang | Single lens instantaneous 3D image taking device |
CN101938668A (zh) * | 2010-09-10 | 2011-01-05 | 中国科学院自动化研究所 | 对多级透镜多视角场景的三维重建的方法 |
CN102598682A (zh) * | 2010-09-24 | 2012-07-18 | 松下电器产业株式会社 | 三维摄像装置 |
US20140267622A1 (en) * | 2013-03-14 | 2014-09-18 | Ryosuke Kasahara | Stereo camera |
CN105869157A (zh) * | 2016-03-25 | 2016-08-17 | 厦门大学 | 多镜头立体视觉视差的计算方法 |
CN106949879A (zh) * | 2017-02-27 | 2017-07-14 | 上海建为历保科技股份有限公司 | 基于摄影测量原理的物联网建筑三维实时监测分析方法 |
CN108801209A (zh) * | 2017-04-28 | 2018-11-13 | 松下知识产权经营株式会社 | 拍摄装置、图像处理方法以及程序 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116596772A (zh) * | 2023-03-31 | 2023-08-15 | 资阳联耀医疗器械有限责任公司 | 一种基于灰度图像传感器生成彩色图像的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8111296B2 (en) | Apparatus and method for generating panorama image and computer readable medium stored thereon computer executable instructions for performing the method | |
US9544574B2 (en) | Selecting camera pairs for stereoscopic imaging | |
CN105141841B (zh) | 摄像设备及其方法 | |
CN105049718A (zh) | 一种图像处理方法及终端 | |
CN111385461B (zh) | 全景拍摄方法及装置、相机、移动终端 | |
CN102959942B (zh) | 立体观看用图像拍摄装置及其控制方法 | |
CN113014803A (zh) | 滤镜添加方法、装置及电子设备 | |
TWI637288B (zh) | 用於眼球視線校正的影像處理方法及其系統 | |
CN105791793A (zh) | 图像处理方法及其电子装置 | |
CN108718388B (zh) | 一种拍照方法及移动终端 | |
CN106919246A (zh) | 一种应用界面的显示方法和装置 | |
CN111654624B (zh) | 拍摄提示方法、装置及电子设备 | |
US20160292842A1 (en) | Method and Apparatus for Enhanced Digital Imaging | |
KR20180000696A (ko) | 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치 | |
CN114119701A (zh) | 图像处理方法及其装置 | |
CN113301321A (zh) | 成像方法、系统、装置、电子设备及可读存储介质 | |
GB2585197A (en) | Method and system for obtaining depth data | |
CN114241127A (zh) | 全景图像生成方法、装置、电子设备和介质 | |
CN113838151A (zh) | 相机标定方法、装置、设备及介质 | |
CN113052884A (zh) | 信息处理方法、信息处理装置、存储介质与电子设备 | |
CN117294829A (zh) | 深度补偿方法及其装置 | |
CN109842791B (zh) | 一种图像处理方法及装置 | |
JP2005142765A (ja) | 撮像装置及び方法 | |
CN116261043A (zh) | 对焦距离确定方法、装置、电子设备和可读存储介质 | |
JP2017103695A (ja) | 画像処理装置、画像処理方法、及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210824 |