CN109961503A - 一种图像处理方法及装置、终端及计算机可读存储介质 - Google Patents
一种图像处理方法及装置、终端及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109961503A CN109961503A CN201810048868.7A CN201810048868A CN109961503A CN 109961503 A CN109961503 A CN 109961503A CN 201810048868 A CN201810048868 A CN 201810048868A CN 109961503 A CN109961503 A CN 109961503A
- Authority
- CN
- China
- Prior art keywords
- feature points
- key feature
- multiple pictures
- image processing
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 17
- 230000008569 process Effects 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种图像处理方法及装置、终端及计算机可读存储介质，该方法使用双目摄像头，对目标物进行拍摄，获取目标物的多张照片，识别目标物在多张照片中的至少两个关键特征点，获取多张照片中各关键特征点与参照物之间的参考距离，根据各关键特征点与参照物之间的参考距离、以及多张照片，构建目标物的立体图像，在这个过程中，仅需要使用双目摄像头就可以获取物体的立体图像，解决了现有技术在获取物体立体图像时需要使用专用扫描设备的问题。
Description
技术领域
本发明涉及立体图像领域，尤其涉及一种图像处理方法及装置、终端及计算机可读存储介质。
背景技术
物体的立体图像比平面图像，更能直观的展示出物体的物理特征，例如将人脸的立体图像作为解锁信息，将比使用人脸平面图像作为解锁信息，更安全。
在现有技术中，为了对物体进行建模，获取物体的立体图像，需要利用三维扫描仪等专用设备对物体进行扫描，根据扫描数据，构建物体的立体图像；这种方式需要使用专用设备，成本高。
发明内容
本发明提供一种图像处理方法及装置、终端及计算机可读存储介质，以解决现有技术在获取物体立体图像时需要使用专用扫描设备的问题。
为解决上述技术问题，本发明采用以下技术方案:
一种图像处理方法，包括：
使用双目摄像头，对目标物进行拍摄，获取目标物的多张照片；
识别目标物在多张照片中的至少两个关键特征点；
获取多张照片中各关键特征点与参照物之间的参考距离；
根据各关键特征点与参照物之间的参考距离、以及多张照片，构建目标物的立体图像。
进一步地，识别目标物在多张照片中的的至少两个关键特征点包括：
获取目标物的物体种类；
在特征点数据库中，查找物体种类对应的关键特征点的提取方式；
根据提取方式，在多张照片中，对目标物的关键特征点进行识别提取，获得目标物的至少两个关键特征点。
进一步地，还包括：
建立初始特征点数据库；
在初始特征点数据库中，添加多种的规则形状物体种类、不规则形状物体种类以及各物体种类对应的关键特征点的提取方式；
使用初始特征点数据库，对机器识别模块的识别参数进行训练；
使用机器识别模块，识别其他物体种类的关键特征点；
将识别结果满足预设要求的其他物体种类及对应的关键特征点的提取方式，增加至初始特征点数据库中，生成特征点数据库。
进一步地，还包括：
获取目标物的立体图像应用场景；
根据应用场景与建模等级的对应关系，确定目标物对应的建模等级；
根据目标物对应的建模等级，对提取方式进行修正；
使用修正后的提取方式，对目标物的关键特征点进行识别提取，获得目标物的至少两个关键特征点。
进一步地，根据各关键特征点与参照物之间的参考距离、以及多张照片，构建目标物的立体图像包括：
根据多张照片的二维图像信息，确定各关键特征点之间的平面图像信息；
根据各关键特征点与参照物之间的参考距离，以及各关键特征点之间的平面图像信息，构建目标物的立体图像。
进一步地，获取目标物的多张照片包括：
根据图像处理需求，选择至少一个双目摄像头；
将目标物作为至少一个双目摄像头的对焦对象；
通过至少一个双目摄像头，对目标物进行拍摄，获得目标物的多张照片。
进一步地，获取多张照片中各关键特征点与参照物之间的参考距离包括：
筛选由同一双目摄像头获取的两张照片；
将双目摄像头作为参照物；
使用双目摄像头对应的双目测距公式，依次计算各关键特征点与参照物之间的参考距离。
一种图像处理装置，其特征在于，包括：
拍照模块，用于使用双目摄像头，对目标物进行拍摄，获取目标物的多张照片；
识别模块，用于识别目标物在多张照片中的至少两个关键特征点；
获取模块，用于获取多张照片中各关键特征点与参照物之间的参考距离；
构建模块，用于根据各关键特征点与参照物之间的参考距离、以及多张照片，构建目标物的立体图像。
一种终端，包括：处理器、存储器及通信总线，其中，
通信总线用于实现处理器和存储器之间的连接通信；
处理器用于执行存储器中存储的一个或者多个程序，以实现本发明提供的图像处理方法的步骤。
一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现本发明提供的图像处理方法的步骤。
有益效果
本发明提供了一种图像处理方法及装置、终端及计算机可读存储介质，该方法使用双目摄像头，对目标物进行拍摄，获取目标物的多张照片，识别目标物在多张照片中的至少两个关键特征点，获取多张照片中各关键特征点与参照物之间的参考距离，根据各关键特征点与参照物之间的参考距离、以及多张照片，构建目标物的立体图像，在这个过程中，仅需要使用双目摄像头就可以获取物体的立体图像，解决了现有技术在获取物体立体图像时需要使用专用扫描设备的问题，增强了用户的使用体验。
附图说明
图1为本发明实施例一提供的图像处理方法的流程图；
图2为本发明实施例二提供的图像处理装置的结构示意图；
图3为本发明实施例三提供的终端的结构示意图；
图4为本发明实施例四提供的图像处理方法的流程图；
图5为本发明实施例四涉及的人脸标记示意图；
图6为本发明实施例五提供的图像处理方法的流程图；
图7为本发明实施例五涉及的物体标记示意图。
具体实施方式
本发明适用于所有具备双目摄像头的终端设备，包括PC、手机、PAD、存款机等。下面通过具体实施方式结合附图对本发明作进一步详细说明。
本发明涉及的照片可以是预览图像等没有在终端内存储的图像，还可以是在终端内存储的照片。
实施例一：
图1为本发明实施例一提供的图像处理方法的流程图，请参考图1，本实施例提供的图像处理方法包括以下步骤：
S101：使用双目摄像头，对目标物进行拍摄，获取目标物的多张照片。
在一些实施例中，本步骤包括：根据图像处理需求，选择至少一个双目摄像头；将目标物作为至少一个双目摄像头的对焦对象；通过至少一个双目摄像头，对目标物进行拍摄，获得目标物的多张照片。
一个终端设备可以包括多个双目摄像头，此时，根据人脸解锁、路障分析等图像处理需求，选择对应的双目摄像头。例如，手机的前后摄像头均为双目摄像头时，若用户需要进行人脸解锁，将前置摄像头作为选中的双目摄像头，将人脸作为对焦对象，然后对人脸进行拍摄，获得两张照片，若用户需要其他对象的立体图像，将后置摄像头作为选中的双目摄像头，然后对其他对象进行拍摄，获得两张照片。
S102：识别目标物在多张照片中的至少两个关键特征点。
在一些实施例中，本步骤包括：获取目标物的物体种类；在特征点数据库中，查找物体种类对应的关键特征点的提取方式；根据提取方式，在多张照片中，对目标物的关键特征点进行识别提取，获得目标物的至少两个关键特征点。
不同物体具备不同的提取方式，例如针对人脸时，其关键特征点就需要很多个才能完成立体图像的构建，而针对球体时，可能就需要2个关键特征点即可完成立体图像的构建；那么在识别目标物的关键特征点时，就需要根据该目标物的物体种类确定对应的提取方式，然后对目标物的关键特征点进行识别提取。
本步骤涉及的特征点数据库可以是服务器提供的大数据分析数据库，也可以是终端设备自身通过机器学习方法完善的数据库。因此，在一些实施例中，本发明还包括：建立初始特征点数据库；在初始特征点数据库中，添加多种的规则形状物体种类、不规则形状物体种类以及各物体种类对应的关键特征点的提取方式；使用初始特征点数据库，对机器识别模块的识别参数进行训练；使用机器识别模块，识别其他物体种类的关键特征点；将识别结果满足预设要求的其他物体种类及对应的关键特征点的提取方式，增加至初始特征点数据库中，生成特征点数据库。本实施例通过机器学习方法完善特征点数据库，这样随着用户的使用时间的累积，关键特征点的提取方式也将日益丰富，对目标物的关键特征点的识别提取结果也将更准确。
在不同应用场景下，针对同一目标物的立体图像的要求也将不同，例如，在车展等场景下，汽车的立体图像越准确越好，此时需要提取的关键特征点越多越好，而在行驶过程中，针对其他车辆进行获取轮廓即可，此时仅需要获取少量的关键特征点即可，甚至可以将车辆虚拟为长方体，获取几个作为关键特征点的顶点即可。因此，在一些实施例中，本步骤还包括：获取目标物的立体图像应用场景；根据应用场景与建模等级的对应关系，确定目标物对应的建模等级；根据目标物对应的建模等级，对提取方式进行修正；使用修正后的提取方式，对目标物的关键特征点进行识别提取，获得目标物的至少两个关键特征点。本实施例兼容不同的应用场景，使得立体图像的获取更理想化。
S103：获取多张照片中各关键特征点与参照物之间的参考距离。
不同规格的双目摄像头对应不同的双目测距公式，本步骤在计算参考距离时，需要考虑摄像头的规格。因此，在一些实施例中，本步骤包括：筛选由同一双目摄像头获取的两张照片；将双目摄像头作为参照物；使用双目摄像头对应的双目测距公式，依次计算各关键特征点与参照物之间的参考距离。
S104：根据各关键特征点与参照物之间的参考距离、以及多张照片，构建目标物的立体图像。
在一些实施例中，本步骤包括：根据多张照片的二维图像信息，确定各关键特征点之间的平面图像信息；根据各关键特征点与参照物之间的参考距离，以及各关键特征点之间的平面图像信息，构建目标物的立体图像。
在一些实施例中，本方法在步骤S104之后，还包括：根据目标物的立体图像，完成后续验证操作。例如，在视频监控等生物认证领域中，可以自动对每一个目标，如人、动物等进行三维建模，从而辨别目标是真正的三维目标还是2维图像，从而提高了生物认证的正确率。还可以搭配其他认证手段，如让目标随机做一个动作等，可以进一步提升生物认证的正确率，对于活体检测、防冒充方面有非常好的提升效果。
本实施例提供了一种图像处理方法及装置，该方法使用双目摄像头，对目标物进行拍摄，获取目标物的多张照片，识别目标物在多张照片中的至少两个关键特征点，获取多张照片中各关键特征点与参照物之间的参考距离，根据各关键特征点与参照物之间的参考距离、以及多张照片，构建目标物的立体图像，在这个过程中，仅需要使用双目摄像头就可以获取物体的立体图像，解决了现有技术在获取物体立体图像时需要使用专用扫描设备的问题，增强了用户的使用体验。
实施例二：
图2为本发明实施例二提供的图像处理装置的结构示意图，请参考图2，本实施例提供的图像处理装置2，包括：
拍照模块21，用于使用双目摄像头，对目标物进行拍摄，获取目标物的多张照片；
识别模块22，用于识别目标物在多张照片中的至少两个关键特征点；
获取模块23，用于获取多张照片中各关键特征点与参照物之间的参考距离；
构建模块24，用于根据各关键特征点与参照物之间的参考距离、以及多张照片，构建目标物的立体图像。
在一些实施例中，拍照模块21用于根据图像处理需求，选择至少一个双目摄像头；将目标物作为至少一个双目摄像头的对焦对象；通过至少一个双目摄像头，对目标物进行拍摄，获得目标物的多张照片。
在一些实施例中，识别模块22用于获取目标物的物体种类；在特征点数据库中，查找物体种类对应的关键特征点的提取方式；根据提取方式，在多张照片中，对目标物的关键特征点进行识别提取，获得目标物的至少两个关键特征点。
在一些实施例中，识别模块22还用于获取目标物的立体图像应用场景；根据应用场景与建模等级的对应关系，确定目标物对应的建模等级；根据目标物对应的建模等级，对提取方式进行修正；使用修正后的提取方式，对目标物的关键特征点进行识别提取，获得目标物的至少两个关键特征点。本实施例兼容不同的应用场景，使得立体图像的获取更理想化。
在一些实施例中，获取模块23用于筛选由同一双目摄像头获取的两张照片；将双目摄像头作为参照物；使用双目摄像头对应的双目测距公式，依次计算各关键特征点与参照物之间的参考距离。
在一些实施例中，构建模块24用于根据多张照片的二维图像信息，确定各关键特征点之间的平面图像信息；根据各关键特征点与参照物之间的参考距离，以及各关键特征点之间的平面图像信息，构建目标物的立体图像。
实施例三：
图3为本发明实施例三提供的终端的结构示意图，请参考图3，本实施例提供的终端包括：处理器31、至少一个双目摄像头32、存储器33及通信总线34，其中，
双目摄像头32用于采集图像数据；
通信总线34用于实现处理器31、至少一个双目摄像头32和存储器33之间的连接通信；
处理器31用于执行存储器33中存储的一个或者多个程序，以实现以上任意实施例提供的方法的步骤。
实施例四：
本实施例以应用场景为人脸为例进行说明。
图4为本发明实施例四提供的图像处理方法的流程图，由图4可知，在本实施例，本发明提供的图像处理方法包括：
S401：使用双目摄像头，拍摄两张人脸照片。
使用前置或者后置的双目摄像头，对用户进行拍照，获取两个照片。
S402：使用人脸对应的提取方式，对人脸照片中的关键特征点进行标记。
对用户进行拍照，对应的物体种类为人脸，在特征点数据库中，查找人脸对应的关键特征点的提取方式；根据提取方式，在多张照片中，对人脸的关键特征点进行识别提取，获得如图5所示的关键特征点。
在一些实施例中，本步骤包括：
接收输入的二维人脸图像，即图5所示的人脸照片，使用预设的人脸关键特征点获取算法获取人脸关键特征点的二维位置坐标，将二维位置坐标输入到预先建立的特征点维度转换模型。在本发明实施例中，首先使用预设的人脸关键特征点获取算法获取人脸关键特征点的二维位置坐标，即人脸关键特征点的初始二维位置坐标，其中，人脸关键特征点获取算法可以是主动形状模型(Active Shape Mode,ASM)，也可以是随机森林分类器等。在本发明实施例中，需要预先建立特征点维度转换模型，以建立二维人脸图像和其对应的三维人脸图像中的人脸关键特征点之间的对应关系，从而利用三维人脸图像中的人脸关键特征点确定二维人脸图像中的人脸关键特征点的定位精度。在建立特征点维度转换模型时，首先采集多个人脸的二维人脸图像和对应的三维人脸图像(训练样本)，并对应标注出二维人脸图像和对应三维人脸图像中的人脸关键特征点，以二维人脸图像和三维人脸图像中的人脸关键特征点的坐标作为输入，构建出一特征点维度转换模型X＝f(U)，其中，U为二维人脸图像中人脸关键特征点的坐标，X为三维人脸图像中人脸关键特征点的坐标。X＝f(U)除了可以是X＝MU线性模型，还可以是其他模型，如支持向量机模型、神经网络模型等。在本发明实施例中，通过转换矩阵M将人脸关键特征点的三维位置坐标和二维位置坐标结合起来，为实现对人脸关键特征点的精确定位提供了基础。
通过特征点维度转换模型计算二维位置坐标对应的人脸关键特征点的三维位置坐标。
将三维位置坐标投影到二维人脸图像上，获取三维位置在二维人脸图像上的估计坐标。
在本发明实施例中，将计算得到的三维位置坐标投影到二维人脸图像，具体地，投影时可采用通用的摄像头成像模型，以简化三维位置坐标到二维人脸图像中二维位置估计坐标的转换，提高定位速度。
通过估计坐标和二维位置坐标计算人脸关键特征点的定位精度。优选地，可通过计算每两个最接近的坐标的距离来计算定位精度，从而简化定位精度计算复杂度，进一步提高定位速度。当然，也可以采用其他方式确定定位精度。
当定位精度小于一预设阂值时，将二维位置坐标在二维人脸图像中对应的像素点设置为二维人脸图像的人脸关键特征点。在本发明实施中，可预设一预设阂值，以根据不同应用情景要求，设置对应的定位精度。当定位精度小于该预设阂值时，将二维位置坐标在二维人脸图像中对应的像素点设置为二维人脸图像的人脸关键特征点，从而完成二维人脸图像的人脸关键特征点的定位。
在本发明实施例中，利用三维位置坐标对人脸关键特征点的二维位置坐标进行的准确度进行判断，当定位精度小于一预设阂值时，将二维位置坐标在二维人脸图像中对应的像素点设置为二维人脸图像的人脸关键特征点，从而结合二维人脸图像和三维人脸图像中的人脸关键特征点确定最终的人脸关键特征点，实现对人脸关键特征点的精确定位。
S403：使用双目测距方法，获取人脸照片中各的关键特征点到摄像头的距离。
针对双目摄像头的双目测距方法，设置其中一个摄像头为参考摄像头(下文为左摄像头为参考摄像头为例)，采用以下公式计算距离：
在上述公式中，Z为关键特征点距离左摄像头的距离，fr为左摄像头的像距，fl为右摄像头的像距，B为两个摄像头的光心距，θ为右摄像头成像平面与左摄像头成像平面的夹角，设夹角值逆时针为正；O′l为左光心Ol在成像面上的投影点的图像坐标的横坐标值，O′r为右光心Or在成像面上的投影点的图像坐标的横坐标值，α为左右摄像头的光心O1和Or连线与参考摄像头成像平面的夹角，设夹角值逆时针为正；xl为关键特征点在参考摄像头中的成像面上成的像的图像坐标的横坐标值，xr为关键特征点在右摄像头中的成像面上成的像的图像坐标的横坐标值；dxr为左摄像头每个像元的实际尺寸，dxr为右摄像头每个像元的实际尺寸。
S404：使用两张照片，确定各关键特征点之间的平面图像信息。
本步骤涉及的关键特征点之间的平面图像信息包括关键特征点之间的平面距离、连接线形状等。
S405：根据各关键特征点与参照物之间的参考距离，以及各关键特征点之间的平面图像信息，构建人脸的立体图像。
因为合成立体图像需要的关键点都已经有距离值，加上照片本身的二维数据，可以得到每个关键点的三维数据，因此可以进行三维建模，构建目标物的立体图像。
实施例五：
本实施例以应用场景为球体为例进行说明。
图6为本发明实施例五提供的图像处理方法的流程图，由图6可知，在本实施例，本发明提供的图像处理方法包括：
S601：使用双目摄像头，拍摄两张球体照片。
使用前置或者后置的双目摄像头，对球体进行拍照，获取两个照片。
S602：使用球体对应的提取方式，对照片中的关键特征点进行标记。
对球体进行拍照，对应的物体种类为球体，在特征点数据库中，查找对应的关键特征点的提取方式；根据提取方式，在多张照片中，对球体的关键特征点进行识别提取，获得如图7所示的关键特征点。在图7中，关键特征点仅包括球体的中心点O和任意一个边缘点Q即可。
S603：使用双目测距方法，获取照片中各的关键特征点到摄像头的距离。
本实施例仅需要获取中心点O和边缘点Q到摄像头的距离即可，具体方式。
S604：使用两张照片，确定各关键特征点之间的平面图像信息。
本步骤涉及的关键特征点之间的平面图像信息包括关键特征点之间的平面距离、连接线形状等；在本实施例中，连接线形状为球形。
S605：根据各关键特征点与参照物之间的参考距离，以及各关键特征点之间的平面图像信息，构建球体的立体图像。
因为合成立体图像需要的关键点都已经有距离值，加上照片本身的二维数据，可以得到每个关键点的三维数据，因此可以进行三维建模，构建目标物的立体图像。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序被执行，以实现本发明所有实施例所提供的方法的步骤。
通过以上实施例的实施可知，本发明具备以下有益效果：
本发明提供了一种图像处理方法及装置、终端及计算机可读存储介质，该方法使用双目摄像头，对目标物进行拍摄，获取目标物的多张照片，识别目标物在多张照片中的至少两个关键特征点，获取多张照片中各关键特征点与参照物之间的参考距离，根据各关键特征点与参照物之间的参考距离、以及多张照片，构建目标物的立体图像，在这个过程中，仅需要使用双目摄像头就可以获取物体的立体图像，解决了现有技术在获取物体立体图像时需要使用专用扫描设备的问题，增强了用户的使用体验。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
使用双目摄像头，对目标物进行拍摄，获取所述目标物的多张照片；
识别所述目标物在所述多张照片中的至少两个关键特征点；
获取所述多张照片中各关键特征点与参照物之间的参考距离；
根据所述各关键特征点与参照物之间的参考距离、以及所述多张照片，构建所述目标物的立体图像。
2.如权利要求1所述的图像处理方法，其特征在于，所述识别所述目标物在所述多张照片中的至少两个关键特征点包括：
获取所述目标物的物体种类；
在特征点数据库中，查找所述物体种类对应的关键特征点的提取方式；
根据所述提取方式，在所述多张照片中，对所述目标物的关键特征点进行识别提取，获得所述目标物的至少两个关键特征点。
3.如权利要求2所述的图像处理方法，其特征在于，还包括：
建立初始特征点数据库；
在所述初始特征点数据库中，添加多种的规则形状物体种类、不规则形状物体种类以及各物体种类对应的关键特征点的提取方式；
使用所述初始特征点数据库，对机器识别模块的识别参数进行训练；
使用所述机器识别模块，识别其他物体种类的关键特征点；
将识别结果满足预设要求的其他物体种类及对应的关键特征点的提取方式，增加至所述初始特征点数据库中，生成所述特征点数据库。
4.如权利要求2所述的图像处理方法，其特征在于，还包括：
获取所述目标物的立体图像应用场景；
根据应用场景与建模等级的对应关系，确定所述目标物对应的建模等级；
根据所述目标物对应的建模等级，对所述提取方式进行修正；
使用修正后的提取方式，对所述目标物的关键特征点进行识别提取，获得所述目标物的至少两个关键特征点。
5.如权利要求1所述的图像处理方法，其特征在于，根据所述各关键特征点与参照物之间的参考距离、以及所述多张照片，构建所述目标物的立体图像包括：
根据所述多张照片的二维图像信息，确定各关键特征点之间的平面图像信息；
根据所述各关键特征点与参照物之间的参考距离，以及所述各关键特征点之间的平面图像信息，构建所述目标物的立体图像。
6.如权利要求1至5任一项所述的图像处理方法，其特征在于，所述获取所述目标物的多张照片包括：
根据图像处理需求，选择至少一个双目摄像头；
将所述目标物作为所述至少一个双目摄像头的对焦对象；
通过所述至少一个双目摄像头，对所述目标物进行拍摄，获得所述目标物的多张照片。
7.如权利要求6所述的图像处理方法，其特征在于，所述获取所述多张照片中各关键特征点与参照物之间的参考距离包括：
筛选由同一双目摄像头获取的两张照片；
将所述双目摄像头作为所述参照物；
使用所述双目摄像头对应的双目测距公式，依次计算各关键特征点与参照物之间的参考距离。
8.一种图像处理装置，其特征在于，包括：
拍照模块，用于使用双目摄像头，对目标物进行拍摄，获取所述目标物的多张照片；
识别模块，用于识别所述目标物在所述多张照片中的至少两个关键特征点；
获取模块，用于获取所述多张照片中各关键特征点与参照物之间的参考距离；
构建模块，用于根据所述各关键特征点与参照物之间的参考距离、以及所述多张照片，构建所述目标物的立体图像。
9.一种终端，其特征在于，包括：处理器、存储器及通信总线，其中，
所述通信总线用于实现所述处理器和所述存储器之间的连接通信；
所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现如权利要求1至7任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7任一项所述的图像处理方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2017114252213 | 2017-12-25 | ||
| CN201711425221 | 2017-12-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109961503A true CN109961503A (zh) | 2019-07-02 |
Family
ID=67023072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810048868.7A Pending CN109961503A (zh) | 2017-12-25 | 2018-01-18 | 一种图像处理方法及装置、终端及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109961503A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555930A (zh) * | 2019-08-30 | 2019-12-10 | 北京市商汤科技开发有限公司 | 门锁控制方法及装置、电子设备和存储介质 |
| CN111882596A (zh) * | 2020-03-27 | 2020-11-03 | 浙江水晶光电科技股份有限公司 | 结构光模组三维成像方法、装置、电子设备以及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6621921B1 (en) * | 1995-12-19 | 2003-09-16 | Canon Kabushiki Kaisha | Image processing apparatus |
| US20110025829A1 (en) * | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images |
| US20120162374A1 (en) * | 2010-07-23 | 2012-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation |
| CN102695064A (zh) * | 2011-03-25 | 2012-09-26 | 中华大学 | 即时立体影像产生装置与方法 |
| CN103973972A (zh) * | 2013-02-05 | 2014-08-06 | 佳能株式会社 | 立体摄像装置 |
| CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
-
2018
- 2018-01-18 CN CN201810048868.7A patent/CN109961503A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6621921B1 (en) * | 1995-12-19 | 2003-09-16 | Canon Kabushiki Kaisha | Image processing apparatus |
| US20110025829A1 (en) * | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images |
| US20120162374A1 (en) * | 2010-07-23 | 2012-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation |
| CN102695064A (zh) * | 2011-03-25 | 2012-09-26 | 中华大学 | 即时立体影像产生装置与方法 |
| CN103973972A (zh) * | 2013-02-05 | 2014-08-06 | 佳能株式会社 | 立体摄像装置 |
| CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
Non-Patent Citations (3)
| Title |
|---|
| 李双全;章国宝;: "基于ORB算法的双目立体视觉测距系统", 工业控制计算机, no. 06, pages 42 - 44 * |
| 李海军;王洪丰;沙焕滨;: "平行双目视觉系统的三维重建研究", 自动化技术与应用, no. 06 * |
| 王建文;王敏;: "基于双目立体视觉的鞋楦三维建模", 计算机技术与发展, no. 04 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555930A (zh) * | 2019-08-30 | 2019-12-10 | 北京市商汤科技开发有限公司 | 门锁控制方法及装置、电子设备和存储介质 |
| CN110555930B (zh) * | 2019-08-30 | 2021-03-26 | 北京市商汤科技开发有限公司 | 门锁控制方法及装置、电子设备和存储介质 |
| CN111882596A (zh) * | 2020-03-27 | 2020-11-03 | 浙江水晶光电科技股份有限公司 | 结构光模组三维成像方法、装置、电子设备以及存储介质 |
| CN111882596B (zh) * | 2020-03-27 | 2024-03-22 | 东莞埃科思科技有限公司 | 结构光模组三维成像方法、装置、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108509848B (zh) | 三维物体的实时检测方法及系统 | |
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN112767538B (zh) | 三维重建及相关交互、测量方法和相关装置、设备 | |
| CN108875524B (zh) | 视线估计方法、装置、系统和存储介质 | |
| US9177381B2 (en) | Depth estimate determination, systems and methods | |
| CN105023010B (zh) | 一种人脸活体检测方法及系统 | |
| CN103155001B (zh) | 用于多用户扩增现实的在线基准生成和跟踪的方法、装置和系统 | |
| CN103839277B (zh) | 一种户外大范围自然场景的移动增强现实注册方法 | |
| CN109816704A (zh) | 物体的三维信息获取方法和装置 | |
| CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
| EP3502621A1 (en) | Visual localisation | |
| CN104899563A (zh) | 一种二维人脸关键特征点定位方法及系统 | |
| CN104246793A (zh) | 移动设备的三维脸部识别 | |
| CN104781849A (zh) | 单眼视觉同时定位与建图(slam)的快速初始化 | |
| CN109559349A (zh) | 一种用于标定的方法和装置 | |
| WO2021136386A1 (zh) | 数据处理方法、终端和服务器 | |
| CN112927363A (zh) | 体素地图构建方法及装置、计算机可读介质和电子设备 | |
| WO2024012333A1 (zh) | 位姿估计方法及相关模型的训练方法、装置、电子设备、计算机可读介质和计算机程序产品 | |
| CN103544492A (zh) | 基于深度图像三维曲面几何特征的目标识别方法和装置 | |
| CN109961503A (zh) | 一种图像处理方法及装置、终端及计算机可读存储介质 | |
| CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
| CN111460937B (zh) | 脸部特征点的定位方法、装置、终端设备及存储介质 | |
| CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
| JP6304815B2 (ja) | 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置 | |
| Price et al. | Augmenting crowd-sourced 3d reconstructions using semantic detections |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |