CN109427086A - 三维图像生成装置及方法 - Google Patents
三维图像生成装置及方法 Download PDFInfo
- Publication number
- CN109427086A CN109427086A CN201710725443.0A CN201710725443A CN109427086A CN 109427086 A CN109427086 A CN 109427086A CN 201710725443 A CN201710725443 A CN 201710725443A CN 109427086 A CN109427086 A CN 109427086A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- dimensional
- module
- light spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000012545 processing Methods 0.000 claims abstract description 66
- 230000005540 biological transmission Effects 0.000 claims abstract description 57
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 29
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 48
- 230000001052 transient effect Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000000691 measurement method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 12
- 238000004040 coloring Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000001788 irregular Effects 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 101100005280 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cat-3 gene Proteins 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
Abstract
本发明提供三维图像生成装置及方法，所述装置包括：红外发射模块，用于发射多个初始光斑，并照射到物体上；红外接收模块，用于接收照射到物体上的光斑图像，所述光斑图像包括多个目标光斑，目标光斑由初始光斑经物体反射得到；深度图像处理模块，用于根据所述光斑图像获取物体的深度图像；摄像头，用于获取物体的第一平面彩色图像；彩色图像处理模块，用于基于所述第一平面彩色图像获取第二平面彩色图像；三维图像合成模块，用于基于所述深度图像和所述第二平面彩色图像生成物体的三维图像。本发明提出三维图像生成装置及方法，生成的三维图像中同时带有深度信息和彩色信息，提高了使用者的体验效果。
Description
技术领域
本发明涉及三维技术领域，更具体地，涉及三维图像生成装置及方法。
背景技术
目前，随着3D(三维，three dimensional)技术不断进步和相关配套资源不断完善，利用3D技术可以给人们带来更多的便利。例如，对物体进行3D拍照并建模，根据建立的模型可以采用3D打印技术打印出物体；对物体进行3D拍照并建模，在网上展示时顾客根据该模型可以更好的认识物体；对人体进行3D拍照并建模，可以在网上进行试穿购物，这些便利将会给人们带来更多的乐趣和体验，从而推动社会不断进步和发展。
对物体进行三维建模，首先要获取物体的三维图像信息，三维图形信息包括物体的彩色信息和深度信息。现有的三维成像技术主要通过传感器获取物体的彩色信息和深度信息，对彩色信息和深度信息进行融合，得到三维图像信息。现有技术中，计算物体深度信息的方法有三种，第一种是结构光法，将结构光投射的特定光信号到物体表面后，由摄像头采集，根据物体造成的光信号的变化来计算物体的位置和深度等信息。第二种是飞行时间法(TOF，Time Of Flight)，通过专用传感器捕捉红外光从发射到接收所用的飞行时间，判断物体距离。第三种是双目测距，利用双摄拍摄物体，再通过三角形原理计算物体的深度信息。
目前都是基于以上三种技术中形成三维图像，物体的三维成像通常一般仅输出带有深度信息的二维彩色图像或者没有颜色的三维图像，体验效果一般。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的三维图像生成装置及方法。
根据本发明的第一个方面，提供一种三维图像生成装置，包括：红外发射模块，用于发射多个初始光斑，并照射到物体上；红外接收模块，用于接收照射到物体上的光斑图像，所述光斑图像包括多个目标光斑，目标光斑由初始光斑经物体反射得到；深度图像处理模块，用于根据所述光斑图像获取物体的深度图像；摄像头，用于获取物体的第一平面彩色图像；彩色图像处理模块，用于基于所述第一平面彩色图像获取第二平面彩色图像；三维图像合成模块，用于基于所述深度图像和所述第二平面彩色图像生成物体的三维图像。
优选地，所述深度图像处理模块包括：光斑深度计算单元，用于基于所述光斑图像获取物体的位置信息和深度信息；深度图像获取单元，用于基于所述位置信息和所述深度信息获取物体的深度图像。
优选地，所述深度图像处理模块还包括：光斑图像修正单元，用于对所述光斑图像进行校正，以使得所述光斑深度计算单元基于校正后的光斑图像获取物体的位置信息和深度信息。
优选地，所述深度图像处理模块还包括：光斑配置单元，用于使所述红外发射模块发射具有一定规律的初始光斑。
优选地，所述光斑深度计算单元通过预设光斑图像与所述光斑图像之间的比对结果或发射初始光斑和接收所述光斑图像之间的时间差来计算物体的位置信息和深度信息。
优选地，所述红外发射模块包括：红外发射器，用于发射多个初始光斑，所述初始光斑为所述红外发射器发射的红外光线经过编码后具有特定图形的红外光线；准直镜头，用于将多个初始光斑转化为相互平行的多个平行光斑；光学衍射元件，用于对每一平行光斑进行衍射，以使得所述红外接收模块接收照射在物体上的光斑图像。
优选地，所述红外发射器与所述准直镜头采用对焦技术装配。
优选地，所述红外发射模块发射初始光斑的大小误差在5nm以内。
优选地，所述红外接收模块为红外接收传感器。
优选地，所述装置还包括：图像输出模块，所述图像输出模块输出物体的彩色图像、物体的深度图像、物体的黑白三维图像和物体的彩色三维图像中的一种或多种。
根据本发明的第二个方面，提供一种三维建模装置，所述三维建模装置还包括：三维建模模块，用于根据所述三维图像和所述三维图像的参数信息输出物体的三维仿真图像。
优选地，所述三维建模模块包括：三维图像计算单元，用于基于所述三维图像和所述三维图像的参数信息获取物体的三维空间模型；三维仿真图像获取单元，用于基于所述三维空间模型获取三维仿真图像。
优选地，所述三维建模装置还包括：模型输出模块，用于输出物体的三维仿真图像。
根据本发明的第三个方面，提供一种物体识别装置，所述物体识别装置还包括：物体识别模块，用于基于所述三维仿真图像获取物体特征；物体识别判定模块，用于将所述物体特征与预存物体特征匹配，并在匹配成功后，对物体进行识别。
优选地，所述物体识别判定模块对物体进行识别的具体步骤为：对物体特征进行编码，根据所述编码与预存物体特征的编码进行匹配，并在匹配成功后，对物体进行识别。
优选地，所述物体识别装置还包括：识别输出模块，用于输出物体的识别信息和/或物体特征的编码。
根据本发明的第四个方面，提供一种三维图像生成方法，所述三维图像生成方法包括：通过所述红外发射模块发射多个初始光斑，并照射到物体上；通过所述红外接收模块接收照射到物体上的光斑图像，所述光斑图像包括多个目标光斑，目标光斑由初始光斑经物体反射到；通过所述深度图像处理模块根据所述光斑图像获取物体的深度图像；通过所述摄像头获取物体的第一平面彩色图像；通过所述彩色图像处理模块根据所述第一平面彩色图像获取第二平面彩色图像；通过所述三维图像合成模块根据所述深度图像和所述第二平面彩色图像生成物体的三维图像。
优选地，所述通过所述深度图像处理模块根据所述光斑图像获取物体的深度图像具体步骤为：通过光斑深度计算单元根据所述光斑图像获取物体的位置信息和深度信息；通过深度图像获取单元根据所述位置信息和所述深度信息获取物体的深度图像。
优选地，所述通过红外发射模块对物体发射多个初始光斑之前还包括：通过光斑图像修正单元对所述光斑图像进行校正，以使得所述光斑深度计算单元基于校正后的光斑图像获取物体的位置信息和深度信息。
优选地，所述通过红外发射模块对物体发射红外光线之前还包括：通过光斑配置单元使所述红外发射模块发射具有一定规律的初始光斑。
优选地，所述通过光斑深度计算单元根据所述光斑图像获取物体的位置信息和深度信息的具体方式为：通过预设光斑图像与接收照射在物体表面的光斑图像之间的比对结果或发射初始光斑和接收所述光斑图像之间的时间差来计算物体的位置信息和深度信息。
优选地，所述通过红外发射模块发射多个初始光斑并照射到物体上的具体步骤为：通过红外发射器发射多个初始光斑，所述初始光斑为所述红外发射器发射的红外光线经过编码后具有特定图形的红外光线；通过准直镜头使多个初始光斑变成相互平行的多个平行光斑；通过光学衍射元件对每一平行光斑进行衍射，以使得所述红外接收模块接收照射在物体上的光斑图像。
优选地，初始光斑的大小误差在5nm以内。
优选地，所述红外接收模块通过红外接收传感器接收照射到物体上的光斑图像。
优选地，所述方法还包括：通过所述图像输出模块输出物体的彩色图像、物体的深度图像、物体的黑白三维图像和物体的彩色三维图像中的一种或多种。
根据本发明的第五个方面，提供一种三维建模方法，所述三维建模方法包括：通过所述三维建模模块根据所述三维图像和所述三维图像的参数信息输出物体的三维仿真图像。
优选地，所述通过三维建模模块根据所述三维图像和所述三维图像的参数信息输出物体的三维仿真图像的具体步骤为：通过三维图像计算单元基于所述三维图像和所述三维图像的参数信息获取物体的三维空间模型；通过三维仿真图像获取单元基于所述三维空间模型获取三维仿真图像。
优选地，所述方法还包括：通过模型输出模块输出物体的三维仿真图像。
根据本发明的第六个方面，提供一种物体识别方法，所述物体识别方法包括：通过所述物体识别模块基于所述三维仿真图像获取物体特征；通过所述物体识别判定模块将所述物体特征与预存物体特征匹配，并在匹配成功后，对物体进行识别。
优选地，所述通过物体识别判定模块将所述物体特征与预存物体特征匹配的具体步骤为：对物体特征进行编码，根据所述编码与预存物体特征的编码进行匹配，并在匹配成功后，对物体进行识别。
优选地，所述方法还包括：通过识别输出模块输出物体的识别信息和/或物体特征编码。
根据本发明的第七个方面，提供一种基于三维图像生成装置的物体深度测量方法，所述深度测量方法通过以下方式对物体进行深度测量：通过结构光方式，由红外发射模块和红外接收模块对物体进行深度测量；或，通过飞行时间方式，由红外发射模块和红外接收模块对物体进行深度测量；或，通过双目成像方式，由红外发射模块、红外接收模块和摄像头共同进行深度测量。
根据本发明的第八个方面，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行三维图像生成方法。
根据本发明的第九个方面，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行三维建模方法。
根据本发明的第十个方面，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行物体识别方法。
根据本发明的第十一个方面，提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行三维图像生成方法。
根据本发明的第十二个方面，提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行三维建模方法。
根据本发明的第十二个方面，提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行物体识别方法。
本发明提出三维图像生成装置及方法，生成的三维图像中同时带有深度信息和彩色信息，提高了使用者的体验效果，同时还能选择性的输出物体的彩色图像、物体的深度图像、物体的黑白三维图像和物体的彩色三维图像，增加了输出的多样性，使得该装置的适用范围更加广泛。
附图说明
图1为本发明实施例一种三维图像生成装置的结构示意图；
图2为本发明实施例一种三维图像生成装置的根据深度图像和彩色图像合成三维图像的原理图；
图3为本发明实施例一种三维图像生成装置的通过光斑图像获取物体深度信息原理示意图；
图4为本发明实施例一种三维图像生成装置的产品示意图；
图5为本发明实施例一种基于三维图像生成装置的三维建模装置的结构示意图；
图6为本发明实施例一种基于三维建模装置的物体识别装置的结构示意图；
图7为本发明一优选实施例一种基于三维建模装置的物体识别装置的结构示意图；
图8为本发明实施例一种基于三维图像生成装置的三维图像生成方法的流程图；
图9为本发明实施例一种使用三维图像生成装置生成三维图像的过程示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例一种三维图像生成装置的结构示意图，如图1所示，所述装置包括：红外发射模块，用于发射多个初始光斑，并照射到物体上；红外接收模块，用于接收照射到物体上的光斑图像，所述光斑图像包括多个目标光斑，目标光斑由初始光斑经物体反射得到；深度图像处理模块，用于根据所述光斑图像获取物体的深度图像；摄像头，用于获取物体的第一平面彩色图像；彩色图像处理模块，用于基于所述第一平面彩色图像获取第二平面彩色图像；三维图像合成模块，用于基于所述深度图像和所述第二平面彩色图像生成物体的三维图像。
红外发射模块向物体发射多个初始光斑，这些初始光斑经过物体反射，由于物体表面不规则或其它原因，经过物体表面反射后的初始光斑会产生形变，产生形变后的初始光斑称作目标光斑，红外接收模块接收这些目标光斑，所有的目标光斑形成光斑图像。把这个光斑图像发送给深度图像处理模块，深度图像处理模块根据这个光斑图像得到物体的深度图像，将物体的深度图像传输给三维图像合成模块。
摄像头拍摄物体的二维彩色图像，这里的摄像头是指彩色摄像头，是指拍摄的物体图像具有颜色信息。将获取物体的第一平面彩色图像发送给彩色图像处理模块，彩色图像处理模块对第一平面彩色图像进行预处理，比如去噪、平滑等，将经过预处理后的第一平面彩色图像称为第二平面彩色图像，将物体的第二平面彩色图像传输给三维图像合成模块。
三维图像合成模块接收到物体的深度图像和第二平面彩色图像进行融合，生成物体的三维图像。
本发明提出三维图像生成装置及方法，生成的三维图像中同时带有深度信息和彩色信息，提高了使用者的体验效果。
在上述实施例的基础上，优选地，所述深度图像处理模块包括：光斑深度计算单元，用于基于所述光斑图像获取物体的位置信息和深度信息；深度图像获取单元，用于基于所述位置信息和所述深度信息获取物体的深度图像。
当红外接收模块接收照射到物体的光斑图像，并把这个光斑图像传送给深度图像处理模块。具体地，是深度图像处理模块中的光斑深度计算单元接收该光斑图像，光斑深度计算单元基于该光斑图像，得到物体的位置信息和深度信息，并且把物体的位置信息和深度信息发送给彩色图像处理模块中的深度图像获取单元，深度图像获取单元接收到物体的位置信息和深度信息，根据物体的位置信息和深度信息计算得到物体的深度图像，并把该深度图像发送给三维图像合成模块。
在上述实施例的基础上，作为一种可选的实施例，所述深度图像处理模块还包括：光斑图像修正单元，用于对所述光斑图像进行校正，以使得所述光斑深度计算单元基于校正后的光斑图像获取物体的位置信息和深度信息。
当红外接收模块接收照射到物体的光斑图像，并把这个光斑图像传送给彩色图像处理模块。具体地，还可以是彩色图像处理模块中的光斑图像修正单元接收该光斑图像，同时光斑图像修正单元对该光斑图像进行校正，得到校正后的光斑图像。把校正后的光斑图像发送给光斑深度计算单元，光斑深度计算单元基于该光斑图像，得到物体的位置信息和深度信息，并且把物体的位置信息和深度信息发送给彩色图像处理模块中的深度图像获取单元，深度图像获取单元接收到物体的位置信息和深度信息，根据物体的位置信息和深度信息计算得到物体的深度图像，并把该深度图像发送给三维图像合成模块。
图2为本发明实施例一种三维图像生成装置的根据深度图像和彩色图像合成三维图像的原理图。如图2所示，图中得到的是一只小猫的彩色三维图像23。小猫的彩色二维图像21是通过对小猫拍照获得，是一个二维的图像，彩色图像中的R、G和B表示小猫的颜色信息，分别代表红、绿、蓝。小猫的深度图像22是根据小猫上每一个点到相机的深度信息获得的，深度图像22中的D1、D2、D3和D4表示小猫不同位置的深度信息。对小猫的彩色图像猫21和小猫的深度图像22进行融合，具体地，把深度图像中的某个像素的深度信息D1和彩色图像中该像素周围的四个颜色信息进行融合，得到三维图像中该像素的三维信息D1·R、D1·G、D1·G和D1·B，同理，得到三维图像中其它三个像素的三维信息：D2·R、D2·G、D2·G和D2·B，D3·R、D3·G、D3·G和D3·B，D4·R、D4·G、D4·G和D4·B。得到小猫的彩色三维图像23，小猫的彩色三维图像23中就包含了小猫的深度信息和彩色信息。
在上述实施例的基础上，作为另一种可选的实施例，所述深度图像处理模块还包括：光斑配置单元，用于使所述红外发射模块发射具有一定规律的初始光斑。
在红外发射模块反射初始光斑之前，通过光斑配置单元，使得红外发射模块发射具有一定规律的初始光斑。接着红外发射模块向物体发射多个初始光斑，这些初始光斑经过物体反射，由于物体表面不规则或其它原因，经过物体表面反射后的初始光斑会产生形变，产生形变后的初始光斑称作目标光斑，红外接收模块接收这些目标光斑，所有的目标光斑形成光斑图像。把这个光斑图像发送给深度图像处理模块，深度图像处理模块根据这个光斑图像得到物体的深度图像，将物体的深度图像传输给三维图像合成模块。
摄像头拍摄物体的二维彩色图像，这里的摄像头是指彩色摄像头，是指拍摄的物体图像具有颜色信息。将获取物体的第一平面彩色图像发送给彩色图像处理模块，彩色图像处理模块对第一平面彩色图像进行预处理，比如去噪、平滑等，将经过预处理后的第一平面彩色图像称为第二平面彩色图像，将物体的第二平面彩色图像传输给三维图像合成模块。
三维图像合成模块接收到物体的深度图像和第二平面彩色图像进行融合，生成物体的三维图像。
在上述实施例的基础上，优选地，所述光斑深度计算单元通过预设光斑图像与所述光斑图像之间的比对结果或发射初始光斑和接收所述光斑图像之间的时间差来计算物体的位置信息和深度信息。
当光斑深度计算单元基于光斑图像计算物体的位置信息和深度信息时，可以通过两种方式来计算物体的位置信息和深度信息。
通过预设光斑图像与所述光斑图像之间的比对结果，例如，假设初始光斑为红外发射模块发射的红外光线经过编码后，形成的初始光斑为A，正常情况下，A投射出去后，应该是正常的A’，只是A’比A的尺寸要大，而当有物体反射时，由于物体表面不规则或其它情况，无法得到正常的A’，得到的只是变形了的A”，那么根据A’和A”之间的比对结果，来计算物体的位置信息和深度信息。
或，通过发射初始光斑和接收所述光斑图像之间的时间差来计算物体的位置信息和深度信息。例如，红外发射模块发射初始光斑A的时刻为t1，而红外接收模块接收到物体反射的光斑图像的时刻为t2，那么，可以根据发射初始光斑和接收所述光斑图像之间的时间差，即t2-t1来计算物体的位置信息和深度信息。
在上述实施例的基础上，图3为本发明实施例一种三维图像生成装置的通过光斑图像获取物体深度信息原理示意图，如图3所示，具体地，所述红外发射模块包括：红外发射器210，用于发射多个初始光斑，所述初始光斑为所述红外发射器发射的红外光线经过编码后具有特定图形的红外光线；准直镜头220，用于将多个初始光斑转化为相互平行的多个平行光斑；光学衍射元件230，用于对每一平行光斑进行衍射，以使得所述红外接收模块接收照射在物体4上的光斑图像。
需要说明的是，红外线发射器210是一种遥控设备，具有遥控功能。它通过红外线发射管在一定范围内向外发射光线，从而达到控制信号的作用，广泛应用于消费电子、工业和通信等红外线接发器、数据传输技术等领域。本发明实施例中，红外发射器210由垂直共振腔的表面发射红外光线的芯片构成，在红外发射器210中植有一定数量且按照一定形状排列的面射型红外光线，对每个红外光线按照一定规则进行编码，获得具有特定形状的初始光斑，通过准直镜头220将每个初始光斑全部平行发射出去，使得每个初始光斑之间彼此相互平行，得到相互平行的多个平行光斑，然后再经过光学衍射元件230用于对每一平行光斑进行衍射，以使得所述红外接收模块接收照射在物体4上的光斑图像。
衍射是指波遇到障碍物时偏离原来直线传播的物理现象。
本发明实施例中，红外接收模块包括红外接收传感器，红外接收传感器用于接收照射到物体上的光斑图像。
参见图3中的(A)，初始光斑n经过准直镜头220和光学衍射元件230后，衍射后的平行光斑照射到物体4上，由于物体4表面的不规则或其它原因，得到照射在物体4上得目标光斑n1、n2和n3。红外接收传感器采集到物体的光斑图像，与预设光斑图像比对，根据预设光斑图像和采集到物体的光斑图像之间的比对结果，就可以计算出物体的深度信息和位置信息。
当物体的光斑图像中包含的目标光斑足够多时，假设为N个，那么通过算法就可以还原出物体的深度信息，从而描述出物体的深度图像。
参见图3中的(B)，假设经过编码后红外光线的初始光斑为五角星形状，一个初始光斑经过准直镜头220后依然是经过光学衍射元件230后会变成多个光斑投射到物体上，得到照射在物体4上得目标光斑n1、n2、n3、n4、n5、n6、n7、n8和n9。参见图3中的(C)，当红外发射器发射初始光斑后，红外接收传感器就会进行捕捉，a、b、c、d、e、n均是发射的初始光斑，a1、b1、c1、d1、e1、n1分别是初始光斑a、b、c、d、e、n照射在物体上的目标光斑，通过算法就可以计算出深度信息。
当红外发射器发射M个初始光斑，经过光学衍射元件230后就会变成n×M个目标光斑，通过所有的目标光斑就可以计算出物体的深度信息。
在上述实施例的基础上，所述红外发射器与所述准直镜头采用对焦技术装配。红外发射器与准直镜头采用对焦技术装配，实现精密装配。
在上述实施例的基础上，所述红外发射模块发射初始光斑的大小误差在5nm以内。
为了保证计算的物体的深度信息和位置信息的准确性，在红外发射模块测试时，需要保证红外发射模块发射初始光斑的大小误差在5nm以内。同时采用光斑配置单元对初始光斑进行配置，设置好初始光斑的形状、大小和亮度的具体信息，使用光斑图像修正单元对初始光斑的形状、大小和亮度进行校正，使得发送的初始光斑的大小误差在5nm以内，初始光斑的形状和亮度在允许的误差内。
在上述实施例的基础上，所述装置还包括：图像输出模块，所述图像输出模块输出物体的彩色图像、物体的深度图像、物体的黑白三维图像和物体的彩色三维图像中的一种或多种。
进一步地，在三维图像合成模块生成物体的三维图像后，可以对物体的三维图像进行输出，具体包括图像输出模块，该图像输出模块输出物体的彩色图像、物体的深度图像、物体的黑白三维图像和物体的彩色三维图像中的一种或多种。物体的彩色图像可以是摄像头拍摄的物体的第一平面彩色图像，也可以是经过预处理后的物体的第二平面彩色图像。物体的深度图像就是深度图像处理模块根据光斑图像获取的物体的深度图像。物体的黑白三维图像是指三维图像中没有物体的颜色信息，物体只有黑色和白色两种颜色。物体的彩色三维图像是指三维图像中具有物体的颜色信息。
图4为本发明实施例一种三维图像生成装置的产品示意图，如图4所示，该三维图像生成装置1在工作过程中，红外发射器20向物体发射多个初始光斑，这些初始光斑经过物体反射，由于物体表面不规则或其它原因，经过物体表面反射后的初始光斑会产生形变，产生形变后的初始光斑称作目标光斑，红外接收模块接收这些目标光斑，所有的目标光斑形成光斑图像。红外接收传感器10接收该光斑图像，把这个光斑图像发送给深度图像处理模块，深度图像处理模块根据这个光斑图像得到物体的深度图像，将物体的深度图像传输给三维图像合成模块。
摄像头30拍摄物体的二维彩色图像，这里的摄像头是指彩色摄像头，是指拍摄的物体图像具有颜色信息。将获取物体的第一平面彩色图像发送给彩色图像处理模块，彩色图像处理模块对第一平面彩色图像进行预处理，将物体的第二平面彩色图像传输给三维图像合成模块。
三维图像合成模块接收到物体的深度图像和第二平面彩色图像进行融合，生成物体的三维图像。
图5为本发明实施例一种基于三维图像生成装置的三维建模装置的结构示意图，如图5所示，所述三维建模模块还包括：三维建模模块，用于根据所述三维图像和所述三维图像的参数信息输出物体的三维仿真图像。
红外发射模块向物体发射多个初始光斑，这些初始光斑经过物体反射，由于物体表面不规则或其它原因，经过物体表面反射后的初始光斑会产生形变，产生形变后的初始光斑称作目标光斑，红外接收模块接收这些目标光斑，所有的目标光斑形成光斑图像。把这个光斑图像发送给深度图像处理模块，深度图像处理模块根据这个光斑图像得到物体的深度图像，将物体的深度图像传输给三维图像合成模块。
摄像头拍摄物体的二维彩色图像，这里的摄像头是指彩色摄像头，是指拍摄的物体图像具有颜色信息。将获取物体的第一平面彩色图像发送给彩色图像处理模块，彩色图像处理模块对第一平面彩色图像进行预处理，比如去噪、平滑等，将经过预处理后的第一平面彩色图像称为第二平面彩色图像，将物体的第二平面彩色图像传输给三维图像合成模块。
三维图像合成模块接收到物体的深度图像和第二平面彩色图像进行融合，生成物体的三维图像。三维图像生成后，发送给三维建模模块，三维建模模块根据三维图像，生成物体的三维仿真图像。
在上述实施例的基础上，具体地，所述三维建模模块包括：三维图像计算单元，用于基于所述三维图像和所述三维图像的参数信息获取物体的三维空间模型；三维仿真图像获取单元，用于基于所述三维空间模型获取三维仿真图像。
三维图像生成后，发送给三维建模模块，具体是三维建模模块中的三维图像计算单元接收到三维图像，根据三维图像和三维图像的参数信息获取物体的三维空间模型，三维图像计算单元得到三维空间模型后，将三维空间模型发送给三维仿真图像获取单元，三维仿真图像获取单元所述三维空间模型获取三维仿真图像。
在上述实施例的基础上，进一步地，所述三维建模装置还包括：模型输出模块，用于输出物体的三维仿真图像。
三维图像生成后，发送给三维建模模块，三维建模模块根据三维图像，生成物体的三维仿真图像。当三维仿真图像生成后，发送给模型输出模块，模型输出模块将生成的三维仿真图像输出。
本发明提出三维图像生成装置及方法，生成的三维图像中同时带有深度信息和彩色信息，提高了使用者的体验效果，同时还能选择性的输出物体的彩色图像、物体的深度图像、物体的黑白三维图像和物体的彩色三维图像，增加了输出的多样性，使得该装置的适用范围更加广泛。
图6为本发明实施例一种基于三维建模装置的物体识别装置的结构示意图，如图6所示，所示物体识别装置包括：物体识别模块，用于基于所述三维仿真图像获取物体特征；物体识别判定模块，用于将所述物体特征与预存物体特征匹配，并在匹配成功后，对物体进行识别。
红外发射模块向物体发射多个初始光斑，这些初始光斑经过物体反射，由于物体表面不规则或其它原因，经过物体表面反射后的初始光斑会产生形变，产生形变后的初始光斑称作目标光斑，红外接收模块接收这些目标光斑，所有的目标光斑形成光斑图像。把这个光斑图像发送给深度图像处理模块，深度图像处理模块根据这个光斑图像得到物体的深度图像，将物体的深度图像传输给三维图像合成模块。
摄像头拍摄物体的二维彩色图像，这里的摄像头是指彩色摄像头，是指拍摄的物体图像具有颜色信息。将获取物体的第一平面彩色图像发送给彩色图像处理模块，彩色图像处理模块对第一平面彩色图像进行预处理，比如去噪、平滑等，将经过预处理后的第一平面彩色图像称为第二平面彩色图像，将物体的第二平面彩色图像传输给三维图像合成模块。
三维图像合成模块接收到物体的深度图像和第二平面彩色图像进行融合，生成物体的三维图像。三维图像生成后，发送给三维建模模块，三维建模模块根据三维图像，生成物体的三维仿真图像。
三维建模模块生成三维仿真图像后，将生成的三维仿真图像发送给物体识别模块，物体识别模块获取三维仿真图像中的物体特征，并将物体特征发送给物体识别判定模块，物体识别判定模块将物体特征与预存物体特征匹配，并在匹配成功后，对物体进行识别。
在上述实施例的基础上，具体地，所述物体识别判定模块对物体进行识别的具体步骤为：对物体特征进行编码，根据所述编码与预存物体特征的编码进行匹配，并在匹配成功后，对物体进行识别。
三维建模模块生成三维仿真图像后，将生成的三维仿真图像发送给物体识别模块，物体识别模块获取三维仿真图像中的物体特征后，对物体特征进行编码，根据物体特征编码与预存物体特征的编码进行匹配，在匹配成功后，对物体进行识别。
在上述实施例的基础上，所述物体识别装置还包括：识别输出模块，用于输出物体的识别信息和/或物体特征的编码。
进一步地，物体识别装置包括识别输出模块，使用识别输出模块输出物体的识别信息或物体特征的编码，也可以是物体识别信息和物体特征编码同时输出。
作为一种优选的实施例，图7为本发明一优选实施例一种基于三维建模装置的物体识别装置的结构示意图，如图7所示，所述物体识别装置包括：摄像头、彩色图像处理模块、红外发射模块、红外接收模块、深度图像处理模块、三维图像合成模块、三维建模模块、物体识别模块、物体识别判定模块和识别输出模块。其中，摄像头主要包括彩色图像传感器，红外发射模块主要包括红外发射器，红外接收模块主要包括红外接收传感器，深度图像处理模块主要包括光斑配置单元、光斑图像修正单元、光斑深度计算单元、深度图像获取单元和深度图像输出单元。三维建模模块包括三维图像计算单元、三维仿真图像获取单元和三维仿真图像输出单元。
在红外发射模块反射初始光斑之前，通过光斑配置单元，使得红外发射模块发射具有一定规律的初始光斑。接着红外发射模块中的红外发射器向物体发射多个具有一定规律的初始光斑，这些初始光斑经过物体反射，由于物体表面不规则或其它原因，经过物体表面反射后的初始光斑会产生形变，产生形变后的初始光斑称作目标光斑，红外接收模块中的红外接收传感器接收这些目标光斑，所有的目标光斑形成光斑图像。
把这个光斑图像发送给光斑图像修正单元，光斑图像修正单元在光斑配置单元的作用下，对接收到的光斑图像进行校正处理，得到校正后的光斑图形。
把校正后的光斑图像发送给光斑深度计算单元，光斑深度计算单元基于该光斑图像，得到物体的位置信息和深度信息，并且把物体的位置信息和深度信息发送给彩色图像处理模块中的深度图像获取单元，深度图像获取单元接收到物体的位置信息和深度信息，根据物体的位置信息和深度信息计算得到物体的深度图像，并把该深度图像发送给三维图像合成模块。
摄像头中的彩色图像传感器拍摄物体的二维彩色图像，这里的摄像头是指彩色摄像头，是指拍摄的物体图像具有颜色信息。将获取物体的第一平面彩色图像发送给彩色图像处理模块，彩色图像处理模块对第一平面彩色图像进行预处理，比如去噪、平滑等，将经过预处理后的第一平面彩色图像称为第二平面彩色图像，将物体的第二平面彩色图像传输给三维图像合成模块。
三维图像合成模块接收到物体的深度图像和第二平面彩色图像进行融合，生成物体的三维图像。
三维图像生成后，发送给三维建模模块，具体是三维建模模块中的三维图像计算单元接收到三维图像，根据三维图像和三维图像的参数信息获取物体的三维空间模型，三维图像计算单元得到三维空间模型后，将三维空间模型发送给三维仿真图像获取单元，三维仿真图像获取单元所述三维空间模型获取三维仿真图像。
三维仿真图像输出单元可以把三维空间模型生成的三维仿真图像输出。
三维建模模块生成三维仿真图像后，将生成的三维仿真图像发送给物体识别模块，物体识别模块获取三维仿真图像中的物体特征，并将物体特征发送给物体识别判定模块，物体识别判定模块将物体特征与预存物体特征匹配，并在匹配成功后，对物体进行识别。
使用识别输出模块输出物体的识别信息或物体特征的编码，也可以是物体识别信息和物体特征编码同时输出。
图8为本发明实施例一种基于三维图像生成装置的三维图像生成方法的流程图，如图8所示，所述三维图像生成方法包括：通过红外发射模块发射多个初始光斑，并照射到物体上；通过红外接收模块接收照射到物体上的光斑图像，所述光斑图像包括多个目标光斑，目标光斑由初始光斑经物体反射得到；通过深度图像处理模块根据所述光斑图像获取物体的深度图像；通过摄像头获取物体的第一平面彩色图像；通过彩色图像处理模块根据所述第一平面彩色图像获取第二平面彩色图像；通过三维图像合成模块根据所述深度图像和所述第二平面彩色图像生成物体的三维图像。
使用红外发射模块发射多个初始光斑并照射到物体上，红外接收模块接收物体反射的光斑图像，深度图像处理模块根据所述光斑图像获取物体的深度图像；摄像头获取物体的第一平面彩色图像，彩色图像处理模块根据所述第一平面彩色图像获取第二平面彩色图像；三维图像合成模块根据所述深度图像和所述第二平面彩色图像生成物体的三维图像。具体过程与三维图像生成装置相同，请参见三维图像生成装置，这里不再赘述。
在上述实施例的基础上，进一步地，所述通过深度图像处理模块根据所述光斑图像获取物体的深度图像具体步骤为：通过光斑深度计算单元根据所述光斑图像获取物体的位置信息和深度信息；通过深度图像获取单元根据所述位置信息和所述深度信息获取物体的深度图像。
具体过程与三维图像生成装置相同，请参见三维图像生成装置，这里不再赘述。
在上述实施例的基础上，进一步地，所述通过红外发射模块对物体发射多个初始光斑之前还包括：通过光斑图像修正单元对所述光斑图像进行校正，以使得所述光斑深度计算单元基于校正后的光斑图像获取物体的位置信息和深度信息。
具体过程与三维图像生成装置相同，请参见三维图像生成装置，这里不再赘述。
在上述实施例的基础上，进一步地，所述通过红外发射模块对物体发射红外光线之前还包括：通过光斑配置单元使所述红外发射模块发射具有一定规律的初始光斑。
具体过程与三维图像生成装置相同，请参见三维图像生成装置，这里不再赘述。
在上述实施例的基础上，进一步地，所述通过光斑深度计算单元根据所述光斑图像获取物体的位置信息和深度信息的具体方式为：通过预设光斑图像与接收照射在物体表面的光斑图像之间的比对结果或发射初始光斑和接收所述光斑图像之间的时间差来计算物体的位置信息和深度信息。
具体过程与三维图像生成装置相同，请参见三维图像生成装置，这里不再赘述。
在上述实施例的基础上，进一步地，所述通过红外发射模块发射多个初始光斑并照射到物体上的具体步骤为：通过红外发射器发射多个初始光斑，所述初始光斑为所述红外发射器发射的红外光线经过编码后具有特定图形的红外光线；通过准直镜头使多个初始光斑变成相互平行的多个平行光斑；通过光学衍射元件对每一平行光斑进行衍射，以使得所述红外接收模块接收照射在物体上的光斑图像。
具体过程与三维图像生成装置相同，请参见三维图像生成装置，这里不再赘述。
在上述实施例的基础上，具体地，初始光斑的大小误差在5nm以内。
具体过程与三维图像生成装置相同，请参见三维图像生成装置，这里不再赘述。
在上述实施例的基础上，具体地，所述红外接收模块通过红外接收传感器接收照射到物体上的光斑图像。
具体过程与三维图像生成装置相同，请参见三维图像生成装置，这里不再赘述。
在上述实施例的基础上，具体地，所述方法还包括：通过所述图像输出模块输出物体的彩色图像、物体的深度图像、物体的黑白三维图像和物体的彩色三维图像中的一种或多种。
具体过程与三维图像生成装置相同，请参见三维图像生成装置，这里不再赘述。
图9为本发明实施例一种使用三维图像生成装置生成三维图像的过程示意图，如图9所示，使用者2通过三维图像生成装置1，向猫3发射初始光斑，使用红外发射模块发射多个初始光斑并照射到物体上，红外接收模块接收物体反射的光斑图像，深度图像处理模块根据所述光斑图像获取物体的深度图像；摄像头获取物体的第一平面彩色图像，彩色图像处理模块根据所述第一平面彩色图像获取第二平面彩色图像；三维图像合成模块根据所述深度图像和所述第二平面彩色图像生成物体的三维图像。就可以生成猫的三维图像3’，并在三维图像生成装置1中的显示器40中显示出来。
本发明实施例一种基于三维建模装置的三维建模方法，所述三维建模方法包括：通过三维建模模块根据所述三维图像和所述三维图像的参数信息输出物体的三维仿真图像。
具体过程与三维建模装置相同，请参见三维图像建模装置，这里不再赘述。
在上述实施例的基础上，进一步地，所述通过三维建模模块根据所述三维图像和所述三维图像的参数信息输出物体的三维仿真图像的具体步骤为：通过三维图像计算单元基于所述三维图像和所述三维图像的参数信息获取物体的三维空间模型；通过三维仿真图像获取单元基于所述三维空间模型获取三维仿真图像。
具体过程与三维建模装置相同，请参见三维图像建模装置，这里不再赘述。
在上述实施例的基础上，进一步地，所述方法还包括：通过模型输出模块输出物体的三维仿真图像。
具体过程与三维建模装置相同，请参见三维图像建模装置，这里不再赘述。
本发明实施例一种基于物体识别装置的物体识别方法，所述物体识别方法包括：通过物体识别模块基于所述三维仿真图像获取物体特征；通过物体识别判定模块将所述物体特征与预存物体特征匹配，并在匹配成功后，对物体进行识别。
具体过程与三维建模装置相同，请参见三维图像建模装置，这里不再赘述。
在上述实施例的基础上，所述通过物体识别判定模块将所述物体特征与预存物体特征匹配的具体步骤为：对物体特征进行编码，根据所述编码与预存物体特征的编码进行匹配，并在匹配成功后，对物体进行识别。
具体过程与三维建模装置相同，请参见三维图像建模装置，这里不再赘述。
在上述实施例的基础上，所述方法还包括：通过识别输出模块输出物体的识别信息和/或物体特征编码。
具体过程与三维建模装置相同，请参见三维图像建模装置，这里不再赘述。
本发明实施例一种基于三维图像生成装置的物体深度测量方法，所述深度测量方法通过以下方式对物体进行深度测量：通过结构光方式，由红外发射模块和红外接收模块对物体进行深度测量；或，通过飞行时间方式，由红外发射模块和红外接收模块对物体进行深度测量；或，通过双目成像方式，由红外发射模块、红外接收模块和摄像头共同进行深度测量。
在使用过程中，还可以使用三维图像生成装置对物体进行深度测量，在测量过程中，具体的方式有以下三种：
通过结构光方式，由红外发射模块和红外接收模块对物体进行深度测量。“结构光”指一些具有特定模式的光，其模式图案可以是点、线、面等。结构光原理是首先用红外发射模块将结构光投射至物体表面，再使用红外接收模块接收该物体表面反射的结构光图案，由于接收图案必会因物体的立体型状而发生变形，故可以试图通过该图案在摄像机上的位置和形变程度来计算物体表面的空间信息。
通过飞行时间方式，由红外发射模块和红外接收模块对物体进行深度测量。它通过测量光脉冲之间的传输延迟时间来计算深度信息。
飞行时间方式，是通过红外发射模块给目标连续发送红外光脉冲，然后用红外接收模块接收从物体反射的光斑图像，通过探测光脉冲的飞行(往返)时间来得到目标物距离。
通过双目成像方式，由红外发射模块、红外接收模块和摄像头共同进行深度测量。双目成像方式测距主要是利用了目标点在左右两幅视图上成像的横向坐标直接存在的差异。
一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行三维图像生成方法。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行三维图像生成方法实施例所提供的方法，例如包括：通过深度图像处理模块根据所述光斑图像获取物体的深度图像；通过三维图像合成模块根据所述深度图像和所述第二平面彩色图像生成物体的三维图像。
一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行三维建模方法。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行三维建模方法实施例所提供的方法，例如包括：通过三维图像计算单元基于所述三维图像和所述三维图像的参数信息获取物体的三维空间模型；通过三维仿真图像获取单元基于所述三维空间模型获取三维仿真图像。
一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行物体识别方法。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行物体识别方法实施例所提供的方法，例如包括：通过物体识别模块基于所述三维仿真图像获取物体特征；通过物体识别判定模块将所述物体特征与预存物体特征匹配，并在匹配成功后，对物体进行识别。
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行三维图像生成方法。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：通过深度图像处理模块根据所述光斑图像获取物体的深度图像；通过三维图像合成模块根据所述深度图像和所述第二平面彩色图像生成物体的三维图像。
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行三维建模方法。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：通过三维图像计算单元基于所述三维图像和所述三维图像的参数信息获取物体的三维空间模型；通过三维仿真图像获取单元基于所述三维空间模型获取三维仿真图像。
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行物体识别方法。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：通过物体识别模块基于所述三维仿真图像获取物体特征；通过物体识别判定模块将所述物体特征与预存物体特征匹配，并在匹配成功后，对物体进行识别。
本发明提出三维图像生成装置及方法，生成的三维图像中同时带有深度信息和彩色信息，提高了使用者的体验效果，同时还能选择性的输出物体的彩色图像、物体的深度图像、物体的黑白三维图像和物体的彩色三维图像，增加了输出的多样性，使得该装置的适用范围更加广泛。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (38)
1.一种三维图像生成装置，其特征在于，包括：
红外发射模块，用于发射多个初始光斑，并照射到物体上；
红外接收模块，用于接收照射到物体上的光斑图像，所述光斑图像包括多个目标光斑，目标光斑由初始光斑经物体反射得到；
深度图像处理模块，用于根据所述光斑图像获取物体的深度图像；
摄像头，用于获取物体的第一平面彩色图像；
彩色图像处理模块，用于基于所述第一平面彩色图像获取第二平面彩色图像；
三维图像合成模块，用于基于所述深度图像和所述第二平面彩色图像生成物体的三维图像。
2.根据权利要求1所述装置，其特征在于，所述深度图像处理模块包括：
光斑深度计算单元，用于基于所述光斑图像获取物体的位置信息和深度信息；
深度图像获取单元，用于基于所述位置信息和所述深度信息获取物体的深度图像。
3.根据权利要求2所述装置，其特征在于，所述深度图像处理模块还包括：
光斑图像修正单元，用于对所述光斑图像进行校正，以使得所述光斑深度计算单元基于校正后的光斑图像获取物体的位置信息和深度信息。
4.根据权利要求1所述装置，其特征在于，所述深度图像处理模块还包括：
光斑配置单元，用于使所述红外发射模块发射具有一定规律的初始光斑。
5.根据权利要求2所述装置，其特征在于，所述光斑深度计算单元通过预设光斑图像与所述光斑图像之间的比对结果或发射初始光斑和接收所述光斑图像之间的时间差来计算物体的位置信息和深度信息。
6.根据权利要求1所述装置，其特征在于，所述红外发射模块包括：
红外发射器，用于发射多个初始光斑，所述初始光斑为所述红外发射器发射的红外光线经过编码后具有特定图形的红外光线；
准直镜头，用于将多个初始光斑转化为相互平行的多个平行光斑；
光学衍射元件，用于对每一平行光斑进行衍射，以使得所述红外接收模块接收照射在物体上的光斑图像。
7.根据权利要求6所述装置，其特征在于，所述红外发射器与所述准直镜头采用对焦技术装配。
8.根据权利要求1所述装置，其特征在于，所述红外发射模块发射初始光斑的大小误差在5nm以内。
9.根据权利要求2所述装置，其特征在于，所述红外接收模块为红外接收传感器。
10.根据权利要求1所述装置，其特征在于，所述装置还包括：图像输出模块，所述图像输出模块输出物体的彩色图像、物体的深度图像、物体的黑白三维图像和物体的彩色三维图像中的一种或多种。
11.一种基于权利要求1到10任一所述三维图像生成装置的三维建模装置，其特征在于，所述三维建模装置还包括：
三维建模模块，用于根据所述三维图像和所述三维图像的参数信息输出物体的三维仿真图像。
12.根据权利要求11所述三维建模装置，其特征在于，所述三维建模模块包括：
三维图像计算单元，用于基于所述三维图像和所述三维图像的参数信息获取物体的三维空间模型；
三维仿真图像获取单元，用于基于所述三维空间模型获取三维仿真图像。
13.根据权利要求12所述三维建模装置，其特征在于，所述三维建模装置还包括：模型输出模块，用于输出物体的三维仿真图像。
14.一种基于权利要求12或13所述三维建模装置的物体识别装置，其特征在于，所述物体识别装置还包括：
物体识别模块，用于基于所述三维仿真图像获取物体特征；
物体识别判定模块，用于将所述物体特征与预存物体特征匹配，并在匹配成功后，对物体进行识别。
15.根据权利要求14所述物体识别装置，其特征在于，所述物体识别判定模块对物体进行识别的具体步骤为：
对物体特征进行编码，根据所述编码与预存物体特征的编码进行匹配，并在匹配成功后，对物体进行识别。
16.根据权利要求15所述物体识别装置，其特征在于，所述物体识别装置还包括：识别输出模块，用于输出物体的识别信息和/或物体特征的编码。
17.一种基于权利要求1至10任一所述三维图像生成装置的三维图像生成方法，其特征在于，所述三维图像生成方法包括：
通过所述红外发射模块发射多个初始光斑，并照射到物体上；
通过所述红外接收模块接收照射到物体上的光斑图像，所述光斑图像包括多个目标光斑，目标光斑由初始光斑经物体反射得到；
通过所述深度图像处理模块根据所述光斑图像获取物体的深度图像；
通过所述摄像头获取物体的第一平面彩色图像；
通过所述彩色图像处理模块根据所述第一平面彩色图像获取第二平面彩色图像；
通过所述三维图像合成模块根据所述深度图像和所述第二平面彩色图像生成物体的三维图像。
18.根据权利要求17所述方法，其特征在于，所述通过所述深度图像处理模块根据所述光斑图像获取物体的深度图像具体步骤为：
通过光斑深度计算单元根据所述光斑图像获取物体的位置信息和深度信息；
通过深度图像获取单元根据所述位置信息和所述深度信息获取物体的深度图像。
19.根据权利要求18所述方法，其特征在于，所述通过所述红外发射模块对发射多个初始光斑之前还包括：
通过光斑图像修正单元对所述光斑图像进行校正，以使得所述光斑深度计算单元基于校正后的光斑图像获取物体的位置信息和深度信息。
20.根据权利要求17所述方法，其特征在于，所述通过所述红外发射模块对发射多个初始光斑之前还包括：
通过光斑配置单元使所述红外发射模块发射具有一定规律的初始光斑。
21.根据权利要求18所述方法，其特征在于，所述通过光斑深度计算单元根据所述光斑图像获取物体的位置信息和深度信息的具体方式为：
通过预设光斑图像与接收照射在物体表面的光斑图像之间的比对结果或发射初始光斑和接收所述光斑图像之间的时间差来计算物体的位置信息和深度信息。
22.根据权利要求17所述方法，其特征在于，所述通过所述红外发射模块发射多个初始光斑并照射到物体上的具体步骤为：
通过红外发射器发射多个初始光斑，所述初始光斑为所述红外发射器发射的红外光线经过编码后具有特定图形的红外光线；
通过准直镜头使多个初始光斑变成相互平行的多个平行光斑；
通过光学衍射元件对每一平行光斑进行衍射，以使得所述红外接收模块接收照射在物体上的光斑图像。
23.根据权利要求17所述方法，其特征在于，初始光斑的大小误差在5nm以内。
24.根据权利要求17所述方法，其特征在于，所述红外接收模块通过红外接收传感器接收照射到物体上的光斑图像。
25.根据权利要求17所述方法，其特征在于，所述方法还包括：
通过图像输出模块输出物体的彩色图像、物体的深度图像、物体的黑白三维图像和物体的彩色三维图像中的一种或多种。
26.一种基于权利要求12或13所述三维建模装置的三维建模方法，其特征在于，所述三维建模方法包括：
通过所述三维建模模块根据所述三维图像和所述三维图像的参数信息输出物体的三维仿真图像。
27.根据权利要求26所述三维建模方法，其特征在于，所述通过三维建模模块根据所述三维图像和所述三维图像的参数信息输出物体的三维仿真图像的具体步骤为：
通过三维图像计算单元基于所述三维图像和所述三维图像的参数信息获取物体的三维空间模型；
通过三维仿真图像获取单元基于所述三维空间模型获取三维仿真图像。
28.根据权利要求26所述三维建模方法，其特征在于，所述方法还包括：
通过模型输出模块输出物体的三维仿真图像。
29.一种基于权利要求15或16所述物体识别装置的物体识别方法，其特征在于，所述物体识别方法包括：
通过所述物体识别模块基于所述三维仿真图像获取物体特征；
通过所述物体识别判定模块将所述物体特征与预存物体特征匹配，并在匹配成功后，对物体进行识别。
30.根据权利要求29所述方法，其特征在于，所述通过物体识别判定模块将所述物体特征与预存物体特征匹配的具体步骤为：
对物体特征进行编码，根据所述编码与预存物体特征的编码进行匹配，并在匹配成功后，对物体进行识别。
31.根据权利要求29所述方法，其特征在于，所述方法还包括：通过识别输出模块输出物体的识别信息和/或物体特征编码。
32.一种基于权利要求1到10任一所述三维图像生成装置的物体深度测量方法，其特征在于，所述深度测量方法通过以下方式对物体进行深度测量：
通过结构光方式，由红外发射模块和红外接收模块对物体进行深度测量；
或，通过飞行时间方式，由红外发射模块和红外接收模块对物体进行深度测量；
或，通过双目成像方式，由红外发射模块、红外接收模块和摄像头共同进行深度测量。
33.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求18至25任一所述的方法。
34.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求27或28所述的方法。
35.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求30或31所述的方法。
36.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求18至25任一所述的方法。
37.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求27或28所述的方法。
38.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求29至31任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710725443.0A CN109427086A (zh) | 2017-08-22 | 2017-08-22 | 三维图像生成装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710725443.0A CN109427086A (zh) | 2017-08-22 | 2017-08-22 | 三维图像生成装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109427086A true CN109427086A (zh) | 2019-03-05 |
Family
ID=65498608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710725443.0A Pending CN109427086A (zh) | 2017-08-22 | 2017-08-22 | 三维图像生成装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109427086A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322498A (zh) * | 2019-06-27 | 2019-10-11 | Oppo广东移动通信有限公司 | 一种图像生成方法及终端、存储介质 |
| CN110335303A (zh) * | 2019-06-24 | 2019-10-15 | Oppo广东移动通信有限公司 | 图像处理方法和装置、及存储介质 |
| CN111685711A (zh) * | 2020-05-25 | 2020-09-22 | 中国科学院苏州生物医学工程技术研究所 | 基于3d摄像头的医用内窥镜三维成像系统 |
| CN111932598A (zh) * | 2019-05-13 | 2020-11-13 | 浙江舜宇光学有限公司 | 深度图像的构建方法 |
| WO2021248427A1 (zh) * | 2020-06-12 | 2021-12-16 | 深圳市汇顶科技股份有限公司 | 深度传感装置以及相关电子装置及深度传感装置的操作方法 |
| CN116723363A (zh) * | 2023-08-11 | 2023-09-08 | 深圳市安思疆科技有限公司 | 一种3d全脸检测设备及其检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855493A (zh) * | 2012-08-02 | 2013-01-02 | 成都众合云盛科技有限公司 | 一种物体识别系统 |
| CN102903144A (zh) * | 2012-08-03 | 2013-01-30 | 樊晓东 | 一种基于云计算的交互式增强现实系统实现方法 |
| CN104776815A (zh) * | 2015-03-23 | 2015-07-15 | 中国科学院上海光学精密机械研究所 | 一种基于达曼光栅的彩色三维轮廓测量装置与方法 |
| CN104918034A (zh) * | 2015-05-29 | 2015-09-16 | 深圳奥比中光科技有限公司 | 一种3d图像捕获装置、捕获方法及3d图像系统 |
| CN105049829A (zh) * | 2015-07-10 | 2015-11-11 | 北京唯创视界科技有限公司 | 滤光片、图像传感器、成像装置以及三维成像系统 |
| KR101614116B1 (ko) * | 2015-01-27 | 2016-04-21 | 호남대학교 산학협력단 | 휴대형 3차원 스캐너 |
| CN106203342A (zh) * | 2016-07-01 | 2016-12-07 | 广东技术师范学院 | 基于多角度局部特征匹配的目标识别方法 |
| CN106228507A (zh) * | 2016-07-11 | 2016-12-14 | 天津中科智能识别产业技术研究院有限公司 | 一种基于光场的深度图像处理方法 |
-
2017
- 2017-08-22 CN CN201710725443.0A patent/CN109427086A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855493A (zh) * | 2012-08-02 | 2013-01-02 | 成都众合云盛科技有限公司 | 一种物体识别系统 |
| CN102903144A (zh) * | 2012-08-03 | 2013-01-30 | 樊晓东 | 一种基于云计算的交互式增强现实系统实现方法 |
| KR101614116B1 (ko) * | 2015-01-27 | 2016-04-21 | 호남대학교 산학협력단 | 휴대형 3차원 스캐너 |
| CN104776815A (zh) * | 2015-03-23 | 2015-07-15 | 中国科学院上海光学精密机械研究所 | 一种基于达曼光栅的彩色三维轮廓测量装置与方法 |
| CN104918034A (zh) * | 2015-05-29 | 2015-09-16 | 深圳奥比中光科技有限公司 | 一种3d图像捕获装置、捕获方法及3d图像系统 |
| CN105049829A (zh) * | 2015-07-10 | 2015-11-11 | 北京唯创视界科技有限公司 | 滤光片、图像传感器、成像装置以及三维成像系统 |
| CN106203342A (zh) * | 2016-07-01 | 2016-12-07 | 广东技术师范学院 | 基于多角度局部特征匹配的目标识别方法 |
| CN106228507A (zh) * | 2016-07-11 | 2016-12-14 | 天津中科智能识别产业技术研究院有限公司 | 一种基于光场的深度图像处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| 程效军，贾东峰，程小龙主编: "《三维可视化城市景观规划 理论、方法与应用》", vol. 1, 哈尔滨工程大学出版社, pages: 485 - 488 * |
| 赵志平等: "基于深度传感器图像分割技术的研究", 《信息技术》, no. 01, 25 January 2014 (2014-01-25), pages 109 - 112 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932598A (zh) * | 2019-05-13 | 2020-11-13 | 浙江舜宇光学有限公司 | 深度图像的构建方法 |
| CN111932598B (zh) * | 2019-05-13 | 2024-03-08 | 浙江舜宇光学有限公司 | 深度图像的构建方法 |
| CN110335303A (zh) * | 2019-06-24 | 2019-10-15 | Oppo广东移动通信有限公司 | 图像处理方法和装置、及存储介质 |
| CN110322498A (zh) * | 2019-06-27 | 2019-10-11 | Oppo广东移动通信有限公司 | 一种图像生成方法及终端、存储介质 |
| CN111685711A (zh) * | 2020-05-25 | 2020-09-22 | 中国科学院苏州生物医学工程技术研究所 | 基于3d摄像头的医用内窥镜三维成像系统 |
| WO2021248427A1 (zh) * | 2020-06-12 | 2021-12-16 | 深圳市汇顶科技股份有限公司 | 深度传感装置以及相关电子装置及深度传感装置的操作方法 |
| US11943551B2 (en) | 2020-06-12 | 2024-03-26 | Shenzhen GOODIX Technology Co., Ltd. | Depth-sensing device and related electronic device and method for operating depth-sensing device |
| CN116723363A (zh) * | 2023-08-11 | 2023-09-08 | 深圳市安思疆科技有限公司 | 一种3d全脸检测设备及其检测方法 |
| CN116723363B (zh) * | 2023-08-11 | 2024-03-05 | 深圳市安思疆科技有限公司 | 一种3d全脸检测设备及其检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109427086A (zh) | 三维图像生成装置及方法 | |
| CN108269279B (zh) | 基于单目三维扫描系统的三维重构方法和装置 | |
| CN102938844B (zh) | 利用立体成像生成自由视点视频 | |
| US9041775B2 (en) | Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use | |
| CN104335005B (zh) | 3d扫描以及定位系统 | |
| CN106780618A (zh) | 基于异构深度摄像机的三维信息获取方法及其装置 | |
| JP7119425B2 (ja) | 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法 | |
| CN102509348B (zh) | 一种共享增强现实场景的真实物体多方位表示方法 | |
| CN106228119A (zh) | 一种表情捕捉及动画自动生成系统和方法 | |
| CN101466998A (zh) | 三维绝对坐标表面成像的方法和装置 | |
| CN105190703A (zh) | 使用光度立体来进行3d环境建模 | |
| KR102502310B1 (ko) | 적외선 이미징을 사용한 색상 식별 | |
| CN109324634A (zh) | 一种飞行器及其定位方法、控制方法及光流模块 | |
| US20130079627A1 (en) | Augmented reality ultrasound system and image forming method | |
| JP2018124939A (ja) | 画像合成装置、画像合成方法、及び画像合成プログラム | |
| CN113884081B (zh) | 测定定位点三维坐标的方法及设备 | |
| CN109299662A (zh) | 深度数据计算设备与方法及人脸识别设备 | |
| CN110383289A (zh) | 人脸识别的装置、方法和电子设备 | |
| CN108139462A (zh) | 测距成像 | |
| CN107469355A (zh) | 游戏人物形象创建方法及装置、终端设备 | |
| KR102229861B1 (ko) | 저채널 라이다와 스테레오 카메라를 이용한 깊이 추정 장치 및 방법 | |
| CN109905691A (zh) | 深度图像采集装置和深度图像采集系统及其图像处理方法 | |
| CN110365887A (zh) | 成像方法、装置、设备及计算机可读存储介质 | |
| CN108460824A (zh) | 立体多媒体信息的确定方法、装置及系统 | |
| CN106604016A (zh) | 立体视频采集系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200102 Address after: 518109 first floor, building 1b, yunantong Industrial Park, langrong Road, Dalang community, Dalang street, Longhua District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Jinghong Technology Co.,Ltd. Address before: 201203 Shanghai City, Pudong New Area free trade zone fanchun Road No. 400 Building 1 layer 3 Applicant before: SHANGHAI JINGHONG ELECTRONIC TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190305 |