CN110197228B - 图像校正方法及装置 - Google Patents
图像校正方法及装置 Download PDFInfo
- Publication number
- CN110197228B CN110197228B CN201910467117.3A CN201910467117A CN110197228B CN 110197228 B CN110197228 B CN 110197228B CN 201910467117 A CN201910467117 A CN 201910467117A CN 110197228 B CN110197228 B CN 110197228B
- Authority
- CN
- China
- Prior art keywords
- image
- depth information
- acquisition equipment
- image acquisition
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提出一种图像校正方法及装置。所述方法包括：将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像；第一图像为第一图像采集设备在设定的采集距离拍摄的第一目标物体的图像；获得输出图像的深度信息与第二图像的深度信息；根据输出图像的深度信息、第二图像的深度信息以及深度信息约束条件，对所述待训练模型进行调整，获得深度信息校正模型，所述深度信息校正模型用于对所述第一图像采集设备采集的待处理图像进行校正、以使得校正图像的深度信息与第二图像的深度信息符合所述约束条件。本发明能够在基本上不增加硬件成本的情况下，扩大图像采集设备的工作范围。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像校正方法及装置。
背景技术
目前，在无人驾驶、增强现实(AR，Augmented Reality)、新零售场景，都存在获取场景三维(3D，Three Dimensions)相关信息的需求。为获得这些信息，需要一定的图像采集设备。市场上主要的图像采集设备都有最优的工作范围，例如0.5米到1米之间，超过这个工作范围将会有很大的误差。而且工作范围要求越高，图像采集设备的价钱越高。
现有技术中，没有价格便宜且工作范围广的图像采集设备，不能满足特定场景中获取3D信息的需求。并且，不同的图像采集设备有着自己特定的工作范围，没有能够通用于各个工作范围的图像采集设备。
发明内容
本发明实施例提供一种图像校正方法及装置，以解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种图像校正方法，包括：
将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像；所述第一图像为第一图像采集设备在设定的采集距离拍摄的第一目标物体的图像；
获得所述输出图像的深度信息与第二图像的深度信息；所述第二图像为第二图像采集设备在设定的采集距离拍摄的所述第一目标物体的图像，所述采集距离超过所述第一图像采集设备的工作范围，且不超过所述第二图像采集设备的工作范围；
根据所述输出图像的深度信息、所述第二图像的深度信息以及深度信息约束条件，对所述待训练模型进行调整，获得深度信息校正模型，所述深度信息校正模型用于对所述第一图像采集设备采集的待处理图像进行校正、以使得校正图像的深度信息与第二图像的深度信息符合所述约束条件。
在一种实施方式中，还包括：
将第一图像采集设备采集的第二目标物体的待处理图像输入所述深度信息校正模型，获得所述校正图像，所述校正图像的深度信息超过第一图像采集设备的工作范围，且处于所述第二图像采集设备的工作范围之内。
在一种实施方式中，将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像之前，还包括：
标定所述第一图像采集设备和第二图像采集设备，使得二者的深度坐标系处于同一坐标原点；
利用所述第一图像采集设备获得所述第一图像，利用所述第二图像采集设备获得所述第二图像。
在一种实施方式中，所述深度信息校正模型为卷积神经网络组合；将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像，包括：
获得所述第一图像的第一图像特征；
利用所述卷积神经网络组合计算所述图像特征，得到输出图像特征；
根据所述输出图像特征，获得所述输出图像。
在一种实施方式中，所述深度信息约束条件为本次获得的深度信息差值不小于上一次获得的深度信息差值；
根据所述输出图像的深度信息、所述第二图像的深度信息以及深度信息约束条件，对所述待训练模型进行调整，获得深度信息校正模型，包括：
若本次获得的所述深度信息差值小于上一次获得的所述深度信息差值，则对所述待训练模型进行调整后，将所述第一图像输入调整后的模型，继续训练；
若本次获得的所述深度信息差值不小于上一次获得的所述深度信息差值，则将当前的模型作为所述深度信息校正模型。
第二方面，本发明实施例提供了一种图像校正装置，包括：
输出图像获得模块：用于将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像；所述第一图像为第一图像采集设备在设定的采集距离拍摄的第一目标物体的图像；
深度信息获得模块：用于获得所述输出图像的深度信息与第二图像的深度信息；所述第二图像为第二图像采集设备在设定的采集距离拍摄的所述第一目标物体的图像，所述采集距离超过所述第一图像采集设备的工作范围，且不超过所述第二图像采集设备的工作范围；
训练模块：用于根据所述输出图像的深度信息、所述第二图像的深度信息以及深度信息约束条件，对所述待训练模型进行调整，获得深度信息校正模型，所述深度信息校正模型用于对所述第一图像采集设备采集的待处理图像进行校正、以使得校正图像的深度信息与第二图像的深度信息符合所述约束条件。
在一种实施方式中，还包括：
校正模块：用于将第一图像采集设备采集的第二目标物体的待处理图像输入所述深度信息校正模型，获得所述校正图像，所述校正图像的深度信息超过第一图像采集设备的工作范围，且处于所述第二图像采集设备的工作范围之内。
在一种实施方式中，所述装置还包括：
坐标原点标定模块：用于标定所述第一图像采集设备和第二图像采集设备，使得二者的深度坐标系处于同一坐标原点；
图像获取模块：用于利用所述第一图像采集设备获得所述第一图像，利用所述第二图像采集设备获得所述第二图像。
在一种实施方式中，所述深度信息校正模型为卷积神经网络组合；所述输出图像获得模块包括：
第一图像特征获取单元：用于获得所述第一图像的第一图像特征；
输出图像特征获取单元：用于利用所述卷积神经网络组合计算所述图像特征，得到输出图像特征；
输出图像特征使用单元：用于根据所述输出图像特征，获得所述输出图像。
在一种实施方式中，所述深度信息约束条件为本次获得的深度信息差值不小于上一次获得的深度信息差值；
所述训练模块包括：
第一训练单元：用于若本次获得的所述深度信息差值小于上一次获得的所述深度信息差值，则对所述待训练模型进行调整后，将所述第一图像输入调整后的模型，继续训练；
第二训练单元：用于若本次获得的所述深度信息差值不小于上一次获得的所述深度信息差值，则将当前的模型作为所述深度信息校正模型。
第三方面，本发明实施例提供了一种图像校正装置，所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，所述装置的结构中包括处理器和存储器，所述存储器用于存储支持所述装置执行上述图像校正方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口，用于与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储图像校正装置所用的计算机软件指令，其包括用于执行上述图像校正方法所涉及的程序。
上述技术方案中的一个技术方案具有如下优点或有益效果：能够扩大单个图像采集设备的工作范围，使得一个图像采集设备能够具有与多个不同的图像采集设备等同的图像采集效果。同时，本发明实施例的技术方案能够降低图像采集设备的成本，深度信息校正模型训练完毕之后只需要部署在芯片上，成本远低于部署多个不同工作范围的图像采集设备的价格。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1示出根据本发明实施例的图像校正方法的流程图。
图2示出根据本发明实施例的图像校正方法的流程图。
图3示出根据本发明实施例的图像校正方法的流程图。
图4示出根据本发明实施例的图像校正方法的流程图。
图5示出根据本发明实施例的图像校正装置的结构框图。
图6示出根据本发明实施例的图像校正装置的结构框图。
图7示出根据本发明实施例的图像校正装置的结构框图。
图8示出根据本发明实施例的图像校正装置的结构图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明实施例的图像校正方法的流程图。如图1所示，该图像校正方法包括：
步骤S11：将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像；所述第一图像为第一图像采集设备在设定的采集距离拍摄的第一目标物体的图像。
步骤S12：获得所述输出图像的深度信息与第二图像的深度信息；所述第二图像为第二图像采集设备在设定的采集距离拍摄的所述第一目标物体的图像，所述采集距离超过第一图像采集设备的工作范围，且不超过第二图像采集设备的工作范围。
步骤S13：根据所述输出图像的深度信息、第二图像的深度信息以及深度信息约束条件，对所述待训练模型进行调整，获得深度信息校正模型，所述深度信息校正模型用于对所述第一图像采集设备采集的待处理图像进行校正、以使得校正图像的深度信息与第二图像的深度信息符合所述约束条件。
在本发明实施例中，输出图像的深度信息，为输出图像中关于第一目标物体的深度信息。第二图像的深度信息，为第二图像中关于第一目标物体的深度信息。
在本发明实施例中，第一图像采集设备包括第一摄像头。第二图像采集设备包括第二摄像头。采集距离根据第一图像采集设备的工作范围和第二图像采集设备的工作范围设定。例如，第一图像采集设备的工作范围为5-10cm，第二图像采集设备的工作范围为5-15cm，那么设定采集距离应当大于10cm且不超过15cm。可以得知，第一图像采集设备的工作范围小于第二图像采集设备的工作范围。再如，第一图像采集设备的工作范围为10-15cm，第二图像采集设备的工作范围为5-15cm，那么设定采集距离应当不小于5cm且小于10cm。
在本发明实施例中，第一图像采集设备采集的待处理图像，可以是第一图像采集设备在采集距离超过第一图像采集设备的工作范围、且不超过第二图像采集设备的工作范围的情况下，拍摄某一目标物体所获得的图像。
在本发明实施例中，深度信息校正模型用于对所述第一图像采集设备采集的待处理图像进行校正、以使得校正图像的深度信息与第二图像的深度信息差值符合所述约束条件。也就是说，可以利用深度信息校正模型，对第一设备采集在采集距离超过第一图像采集设备的工作范围、且不超过第二图像采集设备的工作范围的情况下，拍摄的某一目标物体的图像进行校正，获得校正图像。使得校正后的图像的深度信息，与第二图像采集设备在同等采集距离下采集的图像的深度信息接近，从而达到第二图像采集设备的效果。
例如，第一图像采集设备的工作范围为5-10cm，第二图像采集设备的工作范围为5-15cm。若不采用深度信息校正模型，第一图像采集设备在10-15cm的范围内无法获取效果较好的图像。若使用深度信息校正模型，第一图像采集设备在采集距离为10-15cm的范围内获取的待校正图像，经过深度信息校正模型校正，能够与第二图像采集设备在采集距离为10-15cm的范围内获取的图像效果相近似。从而第一图像采集设备不仅能够在5-10cm的范围内工作，而且能够在10-15cm的范围内工作。第一图像采集设备的工作范围得以扩大。
本发明实施例通过对待训练模型进行调整，获得深度信息校正模型，该深度信息校正模型能够对第一图像采集设备采集的图像进行校正，使得第一图像采集设备在采集距离超过第一图像采集设备的工作范围、且不超过第二图像采集设备的工作范围的情况下，也能够获得效果与第二图像采集设备相近的效果。扩大了第一图像采集设备的工作范围。
图2示出根据本发明实施例的图像校正方法流程图。本实施例中的步骤S11-S13可以参见上述实施例中的相关描述，在此不再赘述。
与上述实施例的不同之处在于，如图2所示，该图像校正方法还包括：
步骤S21：将第一图像采集设备采集的第二目标物体的待处理图像输入所述深度信息校正模型，获得所述校正图像，所述校正图像的深度信息超过第一图像采集设备的工作范围，且处于所述第二图像采集设备的工作范围之内。
在本发明实施例中校正图像的深度信息，接近于第二图像采集设备在同等条件下拍摄的第二目标物体的图像的深度信息。将待训练模型训练为深度信息校正模型之后，第一图像采集设备在超过第一图像采集设备的工作范围、且不超过第二图像采集设备的工作范围的情况下，都能够通过深度信息校正模型获得与第二图像采集设备相接近的拍摄效果。
类似的，利用本发明实施例提供的方法，还能够参照第三图像采集设备对深度信息校正模型进行进一步训练，使得第一图像采集设备在拍摄距离超过第二图像采集设备的工作范围、且不超过第三图像采集设备的工作范围的情况下，也能够获得与第三图像采集设备近似的图像。
图3示出根据本发明实施例的图像校正方法流程图。本实施例中的步骤S11-S13可以参见上述实施例中的相关描述，在此不再赘述。
与上述实施例的不同之处在于，如图3所示，将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像之前，还包括：
步骤S31：标定所述第一图像采集设备和第二图像采集设备，使得二者的深度坐标系处于同一坐标原点。
步骤S32：利用所述第一图像采集设备获得所述第一图像，利用所述第二图像采集设备获得所述第二图像。
在本发明一种实施方式中，所述深度信息校正模型为卷积神经网络组合；将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像，包括：
获得所述第一图像的第一图像特征；
利用所述卷积神经网络组合计算所述图像特征，得到输出图像特征；
根据所述输出图像特征，获得所述输出图像。
图像特征主要包括图像的颜色特征、纹理特征、形状特征和空间关系特征等。在本发明实施例中，可以根据图像深度信息调整需求，对第一图像的图像特征进行调整。
在本发明一种实施方式中，所述深度信息约束条件为本次获得的深度信息差值不小于上一次获得的深度信息差值；
根据所述输出图像的深度信息、所述第二图像的深度信息以及深度信息约束条件，对所述待训练模型进行调整，获得深度信息校正模型，包括：
若本次获得的深度信息差值小于上一次获得的深度信息差值，则对所述待训练模型进行调整后，将所述第一图像输入调整后的模型，继续训练；
若本次获得的深度信息差值不小于上一次获得的深度信息差值，则将当前的模型作为所述深度信息校正模型。
在一种实施方式中，深度信息约束条件还可以为，本次获得的深度信息差值小于设定阈值。
在本发明实施例中，深度信息差值为输出图像或校正图像的深度信息，与第二图像的深度信息的差值的绝对值。训练阶段的模型为待训练模型，训练完成后的模型为深度信息校正模型，最后一次训练获得的待训练模型即为深度信息矫正模型。第一图像采集装置采集的原始图像，经过待训练模型校正后的图像为输出图像，经过深度信息校正模型校正后的图像为校正图像。
在本发明一种示例中，参照图4，图像校正方法包括：
步骤S41：标定所述第一图像采集设备和第二图像采集设备，使得二者的深度坐标系处于同一坐标原点。
步骤S42：利用所述第一图像采集设备获得所述第一图像，利用所述第二图像采集设备获得所述第二图像。
步骤S43：获得所述第一图像的深度信息和第二图像的深度信息。
步骤S44：将第一图像用做输入数据，第二图像用作参考，训练待训练模型，获得深度信息校正模型，使得第一图像经过处理之后，能够获得第二图像的效果。
第一图像采集设备可以包括普通的双目摄像头；第二图像采集设备可以包括工作范围较大的深度摄像头。
将待训练模型训练完毕，获得深度信息校正模型后，可以将模型部署在第一图像采集设备的摄像头上，给摄像头加装深度信息校正芯片。还可以将模型部署在GPU(Graphics Processing Unit，图形处理器)服务器上。若将模型部署在第一图像采集设备的摄像头上，则能够获得较快的深度信息校正速度。若将模型部署在服务器上，则图像处理性能更强大。
本发明实施例还提供一种图像校正装置，结构如图5所示，包括：
输出图像获得模块51：用于将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像；所述第一图像为第一图像采集设备在设定的采集距离拍摄的第一目标物体的图像；
深度信息获得模块52：用于获得所述输出图像的深度信息与第二图像的深度信息；所述第二图像为第二图像采集设备采集在设定的采集距离拍摄的所述第一目标物体的图像，所述采集距离超过第一图像采集设备的工作范围，且不超过第二图像采集设备的工作范围；
训练模块53：用于根据所述输出图像的深度信息、第二图像的深度信息以及深度信息约束条件，对所述待训练模型进行调整，获得深度信息校正模型，所述深度信息校正模型用于对所述第一图像采集设备采集的待处理图像进行校正、以使得校正图像的深度信息与第二图像的深度信息差值符合所述约束条件。
在本发明一种实施方式中，所述装置如图6所示，还包括：
校正模块61：用于将第一图像采集设备采集的第二目标物体的待处理图像输入所述深度信息校正模型，获得所述校正图像，所述校正图像的深度信息超过第一图像采集设备的工作范围，且处于所述第二图像采集设备的工作范围之内。
在本发明一种实施方式中，所述装置如图7所示，还包括：
坐标原点标定模块71：用于标定所述第一图像采集设备和第二图像采集设备，使得二者的深度坐标系处于同一坐标原点；
图像获取模块72：用于利用所述第一图像采集设备获得所述第一图像，利用所述第二图像采集设备获得所述第二图像。
在本发明一种实施方式中，所述深度信息校正模型为卷积神经网络组合；所述输出图像获得模块包括：
第一图像特征获取单元：用于获得所述第一图像的第一图像特征；
输出图像特征获取单元：用于利用所述卷积神经网络组合计算所述图像特征，得到输出图像特征；
输出图像特征使用单元：用于根据所述输出图像特征，获得所述输出图像。
在本发明一种实施方式中，所述深度信息约束条件为本次获得的深度信息差值不小于上一次获得的深度信息差值；
所述训练模块包括：
第一训练单元：用于若本次获得的深度信息差值小于上一次获得的深度信息差值，则对所述待训练模型进行调整后，将所述第一图像输入调整后的模型，继续训练；
第二训练单元：用于若本次获得的深度信息差值不小于上一次获得的深度信息差值，则将当前的模型作为所述深度信息校正模型。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
图8示出根据本发明实施例的图像矫正设备的结构框图。如图8所示，该设备包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的图像校正方法。所述存储器910和处理器920的数量可以为一个或多个。
该设备还包括：
通信接口930，用于与外界设备进行通信，进行数据交互传输。
存储器910可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandard Architecture)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种图像校正方法，其特征在于，包括：
将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像；所述第一图像为第一图像采集设备在设定的采集距离拍摄的第一目标物体的图像；
获得所述输出图像的深度信息与第二图像的深度信息；所述第二图像为第二图像采集设备在设定的采集距离拍摄的所述第一目标物体的图像，所述采集距离超过所述第一图像采集设备的工作范围，且不超过所述第二图像采集设备的工作范围；
根据所述输出图像的深度信息、所述第二图像的深度信息以及深度信息约束条件，对所述待训练模型进行调整，获得深度信息校正模型，所述深度信息校正模型用于对所述第一图像采集设备采集的待处理图像进行校正、以使得校正图像的深度信息与第二图像的深度信息符合所述约束条件。
2.根据权利要求1所述的方法，其特征在于，还包括：
将第一图像采集设备采集的第二目标物体的待处理图像输入所述深度信息校正模型，获得所述校正图像，所述校正图像的深度信息超过第一图像采集设备的工作范围，且处于所述第二图像采集设备的工作范围之内。
3.根据权利要求1所述的方法，其特征在于，将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像之前，还包括：
标定所述第一图像采集设备和第二图像采集设备，使得二者的深度坐标系处于同一坐标原点；
利用所述第一图像采集设备获得所述第一图像，利用所述第二图像采集设备获得所述第二图像。
4.根据权利要求1所述的方法，其特征在于，所述深度信息校正模型为卷积神经网络组合；将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像，包括：
获得所述第一图像的第一图像特征；
利用所述卷积神经网络组合计算所述图像特征，得到输出图像特征；
根据所述输出图像特征，获得所述输出图像。
5.根据权利要求1所述方法，其特征在于，所述深度信息约束条件为本次获得的深度信息差值不小于上一次获得的深度信息差值；
根据所述输出图像的深度信息、所述第二图像的深度信息以及深度信息约束条件，对所述待训练模型进行调整，获得深度信息校正模型，包括：
若本次获得的所述深度信息差值小于上一次获得的所述深度信息差值，则对所述待训练模型进行调整后，将所述第一图像输入调整后的模型，继续训练；
若本次获得的所述深度信息差值不小于上一次获得的所述深度信息差值，则将当前的模型作为所述深度信息校正模型。
6.一种图像校正装置，其特征在于，包括：
输出图像获得模块：用于将第一图像采集设备采集的第一图像输入待训练模型，获得输出图像；所述第一图像为第一图像采集设备在设定的采集距离拍摄的第一目标物体的图像；
深度信息获得模块：用于获得所述输出图像的深度信息与第二图像的深度信息；所述第二图像为第二图像采集设备在设定的采集距离拍摄的所述第一目标物体的图像，所述采集距离超过所述第一图像采集设备的工作范围，且不超过所述第二图像采集设备的工作范围；
训练模块：用于根据所述输出图像的深度信息、所述第二图像的深度信息以及深度信息约束条件，对所述待训练模型进行调整，获得深度信息校正模型，所述深度信息校正模型用于对所述第一图像采集设备采集的待处理图像进行校正、以使得校正图像的深度信息与第二图像的深度信息符合所述约束条件。
7.根据权利要求6所述的装置，其特征在于，还包括：
校正模块：用于将第一图像采集设备采集的第二目标物体的待处理图像输入所述深度信息校正模型，获得所述校正图像，所述校正图像的深度信息超过第一图像采集设备的工作范围，且处于所述第二图像采集设备的工作范围之内。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
坐标原点标定模块：用于标定所述第一图像采集设备和第二图像采集设备，使得二者的深度坐标系处于同一坐标原点；
图像获取模块：用于利用所述第一图像采集设备获得所述第一图像，利用所述第二图像采集设备获得所述第二图像。
9.根据权利要求6所述的装置，其特征在于，所述深度信息校正模型为卷积神经网络组合；所述输出图像获得模块包括：
第一图像特征获取单元：用于获得所述第一图像的第一图像特征；
输出图像特征获取单元：用于利用所述卷积神经网络组合计算所述图像特征，得到输出图像特征；
输出图像特征使用单元：用于根据所述输出图像特征，获得所述输出图像。
10.根据权利要求6所述装置，其特征在于，所述深度信息约束条件为本次获得的深度信息差值不小于上一次获得的深度信息差值；
所述训练模块包括：
第一训练单元：用于若本次获得的所述深度信息差值小于上一次获得的所述深度信息差值，则对所述待训练模型进行调整后，将所述第一图像输入调整后的模型，继续训练；
第二训练单元：用于若本次获得的所述深度信息差值不小于上一次获得的所述深度信息差值，则将当前的模型作为所述深度信息校正模型。
11.一种图像校正设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
摄像头，用于采集图像；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的方法。
12.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910467117.3A CN110197228B (zh) | 2019-05-31 | 2019-05-31 | 图像校正方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910467117.3A CN110197228B (zh) | 2019-05-31 | 2019-05-31 | 图像校正方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110197228A CN110197228A (zh) | 2019-09-03 |
| CN110197228B true CN110197228B (zh) | 2020-11-27 |
Family
ID=67753434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910467117.3A Active CN110197228B (zh) | 2019-05-31 | 2019-05-31 | 图像校正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197228B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819878B (zh) * | 2021-01-28 | 2023-01-31 | 北京市商汤科技开发有限公司 | 一种深度检测方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679641A (zh) * | 2012-09-26 | 2014-03-26 | 株式会社理光 | 深度图像增强方法和装置 |
| CN108769649A (zh) * | 2018-06-28 | 2018-11-06 | Oppo广东移动通信有限公司 | 深度处理器和三维图像设备 |
| CN108885701A (zh) * | 2016-03-13 | 2018-11-23 | 微软技术许可有限责任公司 | 使用机器学习的根据飞行时间的深度 |
| CN108961184A (zh) * | 2018-06-28 | 2018-12-07 | 北京邮电大学 | 一种深度图像的校正方法、装置及设备 |
| CN109143252A (zh) * | 2018-08-08 | 2019-01-04 | 合肥泰禾光电科技股份有限公司 | Tof深度相机距离校准的方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9989630B2 (en) * | 2015-05-13 | 2018-06-05 | Infineon Technologies Ag | Structured-light based multipath cancellation in ToF imaging |
-
2019
- 2019-05-31 CN CN201910467117.3A patent/CN110197228B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679641A (zh) * | 2012-09-26 | 2014-03-26 | 株式会社理光 | 深度图像增强方法和装置 |
| CN108885701A (zh) * | 2016-03-13 | 2018-11-23 | 微软技术许可有限责任公司 | 使用机器学习的根据飞行时间的深度 |
| CN108769649A (zh) * | 2018-06-28 | 2018-11-06 | Oppo广东移动通信有限公司 | 深度处理器和三维图像设备 |
| CN108961184A (zh) * | 2018-06-28 | 2018-12-07 | 北京邮电大学 | 一种深度图像的校正方法、装置及设备 |
| CN109143252A (zh) * | 2018-08-08 | 2019-01-04 | 合肥泰禾光电科技股份有限公司 | Tof深度相机距离校准的方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| Learning Depth Calibration of Time-of-Flight Cameras;David Ferstl et.al;《ResearchGate》;20161231;第1-12页 * |
| ToF 深度相机测量误差校正模型;王乐 等;《系统仿真学报》;20171031;第29卷(第10期);第2323-2329页 * |
| 基于双目立体视觉的番茄定位;项荣 等;《农业工程学报》;20120331;第28卷(第5期);第161-167页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110197228A (zh) | 2019-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598993B (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
| US10559095B2 (en) | Image processing apparatus, image processing method, and medium | |
| US8422827B2 (en) | Image correction apparatus and image correction method | |
| JP2019215622A5 (zh) | ||
| CN110619660A (zh) | 一种物体定位方法、装置、计算机可读存储介质及机器人 | |
| US11074742B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| JP2017011328A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN111882655A (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| EP3189493B1 (en) | Depth map based perspective correction in digital photos | |
| US11457158B2 (en) | Location estimation device, location estimation method, and program recording medium | |
| CN108460368B (zh) | 三维图像合成方法、装置及计算机可读存储介质 | |
| CN108550167A (zh) | 深度图像生成方法、装置及电子设备 | |
| CN110197228B (zh) | 图像校正方法及装置 | |
| US11715218B2 (en) | Information processing apparatus and information processing method | |
| CN114494448A (zh) | 标定误差的评估方法、装置、计算机设备及存储介质 | |
| CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 | |
| CN108510538B (zh) | 三维图像合成方法、装置及计算机可读存储介质 | |
| KR101888837B1 (ko) | 스테레오 매칭 시스템의 전처리 장치 | |
| CN110430416B (zh) | 自由视点图像生成方法和装置 | |
| CN114936987B (zh) | 一种镜头畸变校正方法、装置、设备及存储介质 | |
| US11166005B2 (en) | Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters | |
| CN111260781B (zh) | 一种生成图像信息的方法、装置和电子设备 | |
| CN116681745A (zh) | 基于激光深度的三维重建方法、装置、服务器及存储介质 | |
| CN111063001A (zh) | 图片合成方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |