CN110428381B - 图像处理方法、图像处理装置、移动终端及存储介质 - Google Patents

图像处理方法、图像处理装置、移动终端及存储介质 Download PDF

Info

Publication number
CN110428381B
CN110428381B CN201910705858.0A CN201910705858A CN110428381B CN 110428381 B CN110428381 B CN 110428381B CN 201910705858 A CN201910705858 A CN 201910705858A CN 110428381 B CN110428381 B CN 110428381B
Authority
CN
China
Prior art keywords
image
tapb
tapa
value
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910705858.0A
Other languages
English (en)
Other versions
CN110428381A (zh
Inventor
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910705858.0A priority Critical patent/CN110428381B/zh
Publication of CN110428381A publication Critical patent/CN110428381A/zh
Application granted granted Critical
Publication of CN110428381B publication Critical patent/CN110428381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像处理方法。所述图像处理方法包括：获取时间飞行法深度传感器TOF摄像头在预设曝光时间内的多帧图像；获取多帧图像对应的灰度值，并根据多帧图像对应的灰度值之和计算第一置信度值；将所述第一置信度值输出至处理器，以使所述处理器对所述图像进行处理。本发明还公开了一种图像处理装置、存储介质及移动终端。本发明可以缓解通过TOF摄像头曝光时存在过曝的问题。

Description

图像处理方法、图像处理装置、移动终端及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置、移动终端及存储介质。
背景技术
时间飞行(Time of flight，TOF)法深度传感器、结构光作为主动式深度传感器，已经开始出现在手机等移动终端上，以3D结构光进行人脸识别，通过一组3D图像(红外+深度，IR+depth)完成人像解锁和支付功能，体验良好。
当前手机TOF的分辨率已经发展到VGA级别，基本达到做人脸认证FaceID功能对分辨率的要求。且TOF通过一组曝光的原始图可以同时生成1张IR图和1张depth图，使得IR和depth之间具有更好的帧同步性。另外TOF模组的发射器和摄像头之间没有边界(baseline)的要求，对于外形设计有更小的限制。以上是TOF相对结构光技术的优势，因此后续TOF有机会成为完成FaceID功能的主流3D硬件方案。
TOF用于FaceID这个功能，其中confidence置信度图(红外图)有几个作用，第一是用于depth后处理，优化depth的平滑性和边缘准确性；第二是检测图像亮度，支持自动曝光；第三是输出confidence图本身，作为IR图，用于完成人脸识别的功能。
对于FaceID功能来说，IR主要用于完成人脸识别，Depth主要用于完成活体检测。因此需要IR有一定的清晰度和完整性。由于TOF confidence计算原理，对于运动场景会存在一定的运动模糊，同时对于反光或局部场景存在一定程度的过爆。这些问题对于FaceID功能来说是有害的。
发明内容
本发明的主要目的是提供一种图像处理方法、图像处理装置、移动终端及存储介质，旨在解决现有技术中通过TOF摄像头曝光时存在过曝的技术问题。
为实现上述目的，本发明提供一种图像处理方法，所述图像处理方法包括：
获取时间飞行法深度传感器TOF摄像头在预设曝光时间内的多帧图像；
获取多帧图像对应的灰度值，并根据多帧图像对应的灰度值之和计算第一置信度值；
将所述第一置信度值输出至处理器，以使所述处理器对所述图像进行处理。
其中，所述获取TOF摄像头在预设曝光时间内的多帧图像的步骤包括：
获取TOF摄像头在预设曝光时间内的多帧图像，并对所述TOF摄像头进行标定，记录标定时的系统噪声；
所述获取多帧图像对应的灰度值，并根据多帧图像对应的灰度值之和计算第一置信度值的步骤包括：
获取多帧图像对应的灰度值，并根据多帧图像对应的灰度值之和与所述系统噪声计算所述第一置信度值。
其中，通过如下公式计算所述第一置信度值confidence1：
confidence1＝tapAn+tapBn-tapAFPN-tapBFPN
其中，tapAn和tapBn为多帧图像中任一帧图像的两个灰度值，tapAFPN和tapBFPN为与tapAn和tapBn所属帧图像对应的系统噪声。
其中，所述获取多帧图像对应的灰度值之后还包括：
根据多帧图像中每帧图像对应的两个灰度值之差进行计算获得第二置信度值，并根据所述预设曝光时间内连续调制波的脉冲频率和多帧图像对应的灰度值计算获得深度值；
所述将所述第一置信度值输出至处理器，以使所述处理器对所述图像进行处理的步骤包括：
将所述第一置信度值、第二置信度值和所述深度值输出至所述处理器，以使得所述处理器对所述图像进行处理。
其中，通过如下计算公式计算获得所述第二置信度值confidence2：
I＝(tapA0-tapB0)-(tapA180-tapB180)
Q＝(tapA90-tapB90)-(tapA270-tapB270)
confidence2＝|I|+|Q|
其中，tapA0和tapB0为预设曝光时间内多帧图像中第一帧图像的两个灰度值，tapA90和tapB90为预设曝光时间内多帧图像中第二帧图像的两个灰度值，tapA180和tapB180为预设曝光时间内多帧图像中第三帧图像的两个灰度值，tapA270和tapB270为预设曝光时间内多帧图像中第四帧图像的两个灰度值。
其中，通过如下公式计算获得所述深度值D：
Figure BDA0002151317000000031
其中，f为连续调制波的脉冲频率，c为光线传播速度。
其中，所述将第一置信度值、第二置信度值和所述深度值输出至所述处理器，以使得所述处理器对所述图像进行处理的步骤包括：
将第一置信度值、第二置信度值和所述深度值输出至所述处理器，以使得所述处理器根据所述第一置信度值和所述深度值输出对应的红外图和深度图，并根据所述第二置信度值优化所述深度图的平滑度和边缘准确性。
为实现上述目的，本发明还提供一种图像处理装置，所述图像处理装置包括：
获取模块，用于获取时间飞行法深度传感器TOF摄像头在预设曝光时间内的多帧图像；
第一计算模块，用于获取多帧图像对应的灰度值，并根据多帧图像对应的灰度值之和计算第一置信度值；
处理模块，用于将所述第一置信度值输出至处理器，以使所述处理器对所述图像进行处理。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被图像处理器执行时实现如上所述的图像处理方法的步骤。
为实现上述目的，本发明还提供一种移动终端，所述移动终端包括：图像处理器和存储器，所述存储器中存储有图像处理程序，所述图像处理程序被所述图像处理器执行时现如上所述的图像处理方法的步骤。
本发明实施例提出的一种图像处理方法、图像处理装置、移动终端及存储介质，通过将曝光时间内的多帧图像的灰度值之和进行计算置信度值，避免了在高反光或近距离进行曝光场景中，单帧图像局部的灰度值过饱和时通过现有计算方式导致出现的黑点/黑块问题，即出现过曝现象，从而在一定程度上缓解了曝光过程中存在的过曝问题，并不需要改变硬件发光的模式和功率。
附图说明
图1是本申请实施例方案涉及的图像处理装置的结构示意图；
图2为本申请图像处理方法第一实施例的流程示意图；
图3为本申请图像处理方法第二实施例的流程示意图；
图4为本申请图像处理方法第三实施例的流程示意图；
图5为本发明图像处理装置第一实施例的功能模块示意图；
图6为本发明图像处理装置第二实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图。
本发明实施例装置可以是PC，平板电脑、便携计算机、智能手机等具有飞行时间(time of flight，TOF)摄像头的装置。
如图1所示，该装置可以包括：处理器1001，例如CPU，通信总线1002，TOF摄像头1003、网络接口1004及存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。TOF摄像头1003用于根据用户指令或者其他程序指令进行曝光获得拍摄图像。网络接口1004可选的可以包括标准的有线接口及无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及图像处理程序。
在图1所示的装置中，网络接口1004主要用于通过有线或者无线方式连接其他设备，与其他设备进行通信；而处理器1001可以用于调用存储器1005中存储的图像处理程序，并执行以下图像处理方法各实施例的操作。
基于上述图像处理装置，提出本申请中的图像处理方法的各个实施例。
如图2所示的一种图像处理方法的流程图，该方法包括以下步骤：
步骤S100，获取时间飞行法深度传感器TOF摄像头在预设曝光时间内的多帧图像；
为方便理解，首先介绍下具有TOF摄像头的智能终端的拍照原理，在具有TOF摄像的智能终端中，通常采用4相位的方式进行拍照，智能终端通过TOF摄像头进行拍照，会获得对应的一张3D图，该3D图包括一张IR图(红外图)和1张depth图(即深度图)。目前TOF摄像头包括发射端模组和接收端模组，发射端模组包括2个电容，在拍摄时，控制电路根据预设的4段方波脉冲(脉冲周期为Δt)控制发射端模组中电容进行轮流充电，从而实现曝光，两个电容曝光时间均等，接收端模组对应接收光则会有相位延迟，每个相位延迟90°(0°，180°，90°，270°)，每个相位对应会获得一帧图像，因此每帧图像都有2个节拍值(tap值)，节拍值即帧图像的灰度值，业内定义这种方式为四相位法。相位0°对应的灰度值为tapA0和tapB0，相位180°对应的灰度值为tapA180和tapB180，相位90°对应的灰度值为tapA90-tapB90，相位270°对应的灰度值为tapA270-tapB270。
其中获得IR图的计算过程包括：根据在曝光过程中一预设曝光时间内的4张帧图像计算置信度值，然后根据置信度值和多帧图像获得对应的IR图，根据4张帧图像通过如下公式计算获得置信度值confidence：
I＝(tapA0-tapB0)-(tapA180-tapB180)
Q＝(tapA90-tapB90)-(tapA270-tapB270)
confidence＝|I|+|Q|
其中，tapA0和tapB0为预设曝光时间内多帧图像中第一帧图像的灰度值，tapA90和tapB90为预设曝光时间内多帧图像中第二帧图像的灰度值，tapA180和tapB180为预设曝光时间内多帧图像中第三帧图像的灰度值，tapA270和tapB270为预设曝光时间内多帧图像中第四帧图像的灰度值。
在高反光或近距离进行曝光场景中，通过上述方式进行计算，则容易使得tapA0-tapB0，tapA180-tapB180，tapA90-tapB90，tapA270-tapB270的结果为零，从而使得计算获得的置信度值confidence也为零，在图像中显示的结果则为黑点/黑块。
本实施例在实施过程中，先通过TOF摄像头使用四相位法进行曝光，获得预设曝光时间内的多帧图像，本实施例中获得一个预设曝光时间内的4帧图像，具体实施中可以获取多个预设曝光时间内的图像，该获取的多个预设曝光时间内图像用来优化计算参数，使得处理结果更加准确。
步骤S200，获取多帧图像对应的灰度值，并根据多帧图像对应的灰度值之和计算第一置信度值；
根据步骤S100获得的4帧图像，获取4帧图像对应的灰度值，然后根据4帧图像对应的灰度值计算灰度值之和计算新的置信度值，即第一置信度值，具体可以包括选择4帧图像中任一帧图像的灰度值，本实施例中选择的是第一帧图像，然后计算选择帧图像的2个灰度值之和，再根据选择帧图像的2个灰度值之和计算获得新的置信度值，比如根据2个灰度值之和减去一个常值，该常值为根据技术人员经验设置的修正值。
步骤S300，将所述第一置信度值输出至处理器，以使所述处理器对所述图像进行处理。
将计算获得的新的置信度值，即第一置信度值，输出至处理器，以使所述处理器对所述图像进行后续处理。后续处理包括但并不限于根据第一置信度值生成对应的红外图。对图像后续处理与现有技术中基本相同，此处不再赘述。
本发明实施例提出的一种图像处理方法，通过将预设曝光时间内的多帧图像的灰度值之和进行计算置信度值，避免了在高反光或近距离进行曝光场景中，单帧图像局部的灰度值过饱和时通过现有计算方式导致出现的黑点/黑块问题，即出现过曝现象，从而在一定程度上缓解了曝光过程中存在的过曝问题，并不需要改变硬件发光的模式和功率。
进一步的，参照图3，图3为本申请图像处理方法第二实施例的流程示意图，基于上述第一实施例，步骤S100包括：
步骤S110，获取TOF摄像头在预设曝光时间内的多帧图像，并对TOF摄像头进行标定，记录标定时的系统噪声。
为了进一步提高消除过曝的效果，本实施中在每个智能的TOF设备进行标定的时候，会增加一个记录项，记录标定过程中的系统噪声，该系统噪声记录的是TOF摄像头在激光不打光时，两个电容的暗电流的累计值，该值对与图像质量有害。
对应的，所述步骤S200则包括：
步骤S210，获取多帧图像对应的灰度值，并根据多帧图像对应的灰度值之和与系统噪声计算所述第一置信度值。
本实施选择4帧图像中任一帧图像的两个灰度值，计算两个灰度值之和，再减去获得的系统噪声，从而获得第一置信度值。本实施中与第一实施例中的区别在于记录了标定过程中的系统噪声替换技术人员经验设置的修正值(修正值)，由于记录的系统噪声是测得实际两个电容的暗电流，相对技术人员经验设置的修正值会更加准确。进一步地，通过四相位的方式记录的系统噪声是选择计算帧图像对应的系统噪声。
具体地，通过如下公式计算所述第一置信度值confidence1：
confidence1＝tapAn+tapBn-tapAFPN-tapBFPN
其中，tapAn和tapBn为多帧图像中任一帧图像的两个灰度值，tapAFPN和tapBFPN为与tapAn和tapBn所属帧图像对应的系统噪声。
进一步的，请查阅图4，图4为本申请图像处理方法第三实施例的流程示意图。
基于上述实施例，在步骤S100之后，该方法还包括：
步骤S400，根据多帧图像中每帧图像对应的两个灰度值之差进行计算获得第二置信度值，并根据所述预设曝光时间和多帧图像对应的灰度值计算获得深度值；
本实施例中为了方便后续的图像处理，同时采用有现有技术中相同的置信度值的计算方式，计算一次，定义该次计算结果为第二置信度值。具体地，根据在曝光过程中一预设曝光时间内的4张帧图像计算置信度值，然后根据置信度值和多帧图像获得对应的IR图，根据4张帧图像通过如下公式计算获得置信度值confidence：
I＝(tapA0-tapB0)-(tapA180-tapB180)
Q＝(tapA90-tapB90)-(tapA270-tapB270)
confidence＝|I|+|Q|
其中，tapA0和tapB0为预设曝光时间内多帧图像中第一帧图像的两个灰度值，tapA90和tapB90为预设曝光时间内多帧图像中第二帧图像的两个灰度值，tapA180和tapB180为预设曝光时间内多帧图像中第三帧图像的两个灰度值，tapA270和tapB270为预设曝光时间内多帧图像中第四帧图像的两个灰度值。
通过TOF摄像头进行深度成像的原理是通过TOF摄像头中发射端模组发出近红外光，光线遇到物体后反射，TOF摄像头中接收端传感器接收反射的光线，通过计算光线发射和反射时间差或相位差，再将其换算为到被拍摄物体的距离，即计算物体的深度值，从而实现深度成像。具体根据所述预设曝光时间和多帧图像对应的灰度值计算获得深度值，通过如下公式计算获得所述深度值D：
Figure BDA0002151317000000091
其中，f为预设曝光时间内连续调制波的脉冲频率，f等于1/Δt，c为光线传播速度。计算获得的深度值即为拍摄物体的真实距离。
对应地，所述步骤S300可以包括：
步骤S310，将所述第一置信度值、第二置信度值和所述深度值输出至所述处理器，以使得所述处理器对所述图像进行处理。
本实施例中保持了现有的深度计算流程不变，通过四相位法计算深度值和第二置信度值和深度值，具体地，将第一置信度值、第二置信度值和所述深度值输出至所述处理器，以使得所述处理器根据所述第一置信度值和所述深度值输出对应的红外图和深度图，并根据所述第二置信度值优化所述深度图的平滑度和边缘准确性，即不将第二置信度值输出给中央处理器进行处理，应用到FaceID中，中央处理器为如图1所示的处理器，第二置信度值仅用于生产深度图的后续处理，即用于优化深度图的平滑度和边缘准确性。
需要特别说明的是，因为本申请中新的置信度值计算方式值使用了一个帧图像进行计算，曝光的时间更短，从而使得在利用深度值和第一置信度值获得3D图像时，缓解运动模糊的情况。
请参阅图5，图5为本发明图像处理装置第一实施例的功能模块示意图。
本发明还提供了一种图像处理装置，该图像处理装置包括：
获取模块10，用于获取时间飞行法深度传感器TOF摄像头在预设曝光时间内的多帧图像；
第一计算模块20，用于获取多帧图像对应的灰度值，并根据多帧图像对应的灰度值之和计算第一置信度值；
处理模块30，用于将所述第一置信度值输出至处理器，以使所述处理器对所述图像进行处理。
进一步地，获取模块10还用于：
获取TOF摄像头在预设曝光时间内的多帧图像，并对TOF摄像头进行标定，记录标定时的系统噪声；
第一计算模块20还用于：
获取多帧图像对应的灰度值，并根据多帧图像对应的灰度值之和与系统噪声计算所述第一置信度值。
进一步地，第一计算模块20可以通过如下公式计算所述第一置信度值confidence1：
confidence1＝tapAn+tapBn-tapAFPN-tapBFPN
其中，tapAn和tapBn为多帧图像中任一帧图像的两个灰度值，tapAFPN和tapBFPN为与tapAn和tapBn所属帧图像对应的系统噪声。
进一步地，请参阅图6，图6为本发明图像处理装置第二实施例的功能模块示意图，该图像处理装置还还包括：
第二计算模块40，用于根据多帧图像对应的灰度值之差进行计算获得第二置信度值，并根据所述预设曝光时间内连续调制波的脉冲频率和多帧图像对应的灰度值计算获得深度值；
处理模块30还用于：将第一置信度值、第二置信度值和所述深度值输出至所述处理器，以使得所述处理器对所述图像进行处理。
进一步地，第二计算模块40可以通过如下计算公式计算获得所述第二置信度值confidence2：
I＝(tapA0-tapB0)-(tapA180-tapB180)
Q＝(tapA90-tapB90)-(tapA270-tapB270)
confidence2＝|I|+|Q|
其中，tapA0和tapB0为预设曝光时间内多帧图像中第一帧图像的两个灰度值，tapA90和tapB90为预设曝光时间内多帧图像中第二帧图像的两个灰度值，tapA180和tapB180为预设曝光时间内多帧图像中第三帧图像的两个灰度值，tapA270和tapB270为预设曝光时间内多帧图像中第四帧图像的两个灰度值。
进一步地，第二计算模块可以通过如下公式计算获得所述深度值D：
Figure BDA0002151317000000101
其中，f为预设连续调制波的脉冲频率，c为光线传播速度。
进一步地，处理模块30还用于：
将所述第一置信度值、第二置信度值和所述深度值输出至所述处理器，以使得所述处理器根据所述第一置信度值和所述深度值输出对应的红外图和深度图，并根据所述第二置信度值优化所述深度图的平滑度和边缘准确性。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被图像处理器执行时实现如上任一项实施例所述的图像处理方法的步骤。
本发明可读存储介质的具体实施例与上述充电方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：
获取时间飞行法深度传感器TOF摄像头在预设曝光时间内的多帧图像；
获取多帧图像对应的灰度值，并计算第一置信度值，其中，计算所述第一置信度值confidence1：
confidence1＝tapAn+tapBn-tapAFPN-tapBFPN
其中，tapAn和tapBn为多帧图像中任一帧图像的两个灰度值，tapAFPN和tapBFPN为与tapAn和tapBn所属帧图像对应的系统噪声；
根据多帧图像中每帧图像对应的两个灰度值之差进行计算获得第二置信灰度值，并根据所述预设曝光时间和多帧图像对应的灰度值计算获得深度值；
将所述第一置信度值输出至处理器，以使所述处理器对所述图像进行处理，其中，所述将所述第一置信度值输出至处理器，以使所述处理器对所述图像进行处理的步骤包括：将第一置信度值、第二置信度值和所述深度值输出至所述处理器，以使得所述处理器输出对应的深度图。
2.如权利要求1所述的图像处理方法，其特征在于，所述获取时间飞行法深度传感器TOF摄像头在预设曝光时间内的多帧图像包括：
获取TOF摄像头在预设曝光时间内的多帧图像，并对所述TOF摄像头进行标定，记录标定时的系统噪声；
所述获取多帧图像对应的灰度值，并计算第一置信度值包括：
获取多帧图像对应的灰度值，并根据所述系统噪声计算所述第一置信度值。
3.如权利要求1所述的图像处理方法，其特征在于，通过如下计算公式计算获得所述第二置信度值confidence2：
I＝(tapA0-tapB0)-(tapA180-tapB180)
Q＝(tapA90-tapB90)-(tapA270-tapB270)
confidence2＝|I|+|Q|
其中，tapA0和tapB0为预设曝光时间内多帧图像中第一帧图像的两个灰度值，tapA90和tapB90为预设曝光时间内多帧图像中第二帧图像的两个灰度值，tapA180和tapB180为预设曝光时间内多帧图像中第三帧图像的两个灰度值，tapA270和tapB270为预设曝光时间内多帧图像中第四帧图像的两个灰度值。
4.如权利要求3所述的图像处理方法，其特征在于，通过如下公式计算获得所述深度值D：
Figure FDA0003556611720000021
其中，f为连续调制波的脉冲频率，c为光线传播速度。
5.如权利要求1所述的图像处理方法，其特征在于，所述将第一置信度值、第二置信度值和所述深度值输出至所述处理器，以使得所述处理器对所述图像进行处理包括：
将第一置信度值、第二置信度值和所述深度值输出至所述处理器，以使得所述处理器根据所述第一置信度值和所述深度值输出对应的红外图和深度图，并根据所述第二置信度值优化所述深度图的平滑度和边缘准确性。
6.一种图像处理装置，其特征在于，所述图像处理装置包括：
获取模块，用于获取时间飞行法深度传感器TOF摄像头在预设曝光时间内的多帧图像；
第一计算模块，用于获取多帧图像对应的灰度值，并计算第一置信度值，其中，计算所述第一置信度值confidence1：
confidence1＝tapAn+tapBn-tapAFPN-tapBFPN
其中，tapAn和tapBn为多帧图像中任一帧图像的两个灰度值，tapAFPN和tapBFPN为与tapAn和tapBn所属帧图像对应的系统噪声；
根据多帧图像中每帧图像对应的两个灰度值之差进行计算获得第二置信灰度值，并根据所述预设曝光时间和多帧图像对应的灰度值计算获得深度值；
处理模块，用于将所述第一置信度值输出至处理器，以使所述处理器对所述图像进行处理，其中，所述将所述第一置信度值输出至处理器，以使所述处理器对所述图像进行处理的步骤包括：将第一置信度值、第二置信度值和所述深度值输出至所述处理器，以使得所述处理器输出对应的深度图。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被图像处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
8.一种移动终端，其特征在于，所述移动终端包括：图像处理器和存储器，所述存储器中存储有图像处理程序，所述图像处理程序被所述图像处理器执行时现如权利要求1至5中任一项所述的图像处理方法的步骤。
CN201910705858.0A 2019-07-31 2019-07-31 图像处理方法、图像处理装置、移动终端及存储介质 Active CN110428381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910705858.0A CN110428381B (zh) 2019-07-31 2019-07-31 图像处理方法、图像处理装置、移动终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910705858.0A CN110428381B (zh) 2019-07-31 2019-07-31 图像处理方法、图像处理装置、移动终端及存储介质

Publications (2)

Publication Number Publication Date
CN110428381A CN110428381A (zh) 2019-11-08
CN110428381B true CN110428381B (zh) 2022-05-06

Family

ID=68413665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910705858.0A Active CN110428381B (zh) 2019-07-31 2019-07-31 图像处理方法、图像处理装置、移动终端及存储介质

Country Status (1)

Country Link
CN (1) CN110428381B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242861B (zh) * 2020-01-09 2023-09-12 浙江光珀智能科技有限公司 去除tof相机杂散光方法及装置、电子设备及存储介质
CN111798506B (zh) * 2020-06-30 2024-07-23 上海数迹智能科技有限公司 一种图像处理方法、终端及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102595088A (zh) * 2011-01-17 2012-07-18 索尼公司 内插
CN105531762A (zh) * 2013-09-19 2016-04-27 索尼公司 编码装置和方法、解码装置和方法以及程序
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法
WO2017159312A1 (ja) * 2016-03-15 2017-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN108965732A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109398731A (zh) * 2017-08-18 2019-03-01 深圳市道通智能航空技术有限公司 一种提升3d图像深度信息的方法、装置及无人机
CN109741405A (zh) * 2019-01-21 2019-05-10 同济大学 一种基于对偶结构光rgb-d相机的深度信息采集系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019075473A1 (en) * 2017-10-15 2019-04-18 Analog Devices, Inc. METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102595088A (zh) * 2011-01-17 2012-07-18 索尼公司 内插
CN105531762A (zh) * 2013-09-19 2016-04-27 索尼公司 编码装置和方法、解码装置和方法以及程序
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法
WO2017159312A1 (ja) * 2016-03-15 2017-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN109398731A (zh) * 2017-08-18 2019-03-01 深圳市道通智能航空技术有限公司 一种提升3d图像深度信息的方法、装置及无人机
CN108965732A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109741405A (zh) * 2019-01-21 2019-05-10 同济大学 一种基于对偶结构光rgb-d相机的深度信息采集系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Interpolation method for ToF depth sensor with pseudo 4-tap pixel architecture》;Tae-Chan Kim, et.al;《2013 IEEE International Conference on Consumer Electronics (ICCE)》;20130328;全文 *
《基于TOF深度摄像机的深度超分辨率恢复和深度融合研究》;刘力维;《中国博士学位论文全文数据库》;20150515;全文 *

Also Published As

Publication number Publication date
CN110428381A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
US10997696B2 (en) Image processing method, apparatus and device
CN108495050B (zh) 拍照方法、装置、终端及计算机可读存储介质
US9639945B2 (en) Depth-based application of image effects
US9118840B2 (en) Image processing apparatus which calculates motion vectors between images shot under different exposure conditions, image processing method, and computer readable medium
CN109672871B (zh) 白平衡信息同步方法、装置及计算机可读介质
US11107198B2 (en) Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
CN110428381B (zh) 图像处理方法、图像处理装置、移动终端及存储介质
CN110021071B (zh) 一种增强现实应用中的渲染方法、装置及设备
US9332195B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN101309357A (zh) 具有图像抖动检测功能的摄像装置
US9838594B2 (en) Irregular-region based automatic image correction
CN111385461B (zh) 全景拍摄方法及装置、相机、移动终端
CN102223480B (zh) 图像处理装置及图像处理方法
US20220180484A1 (en) Image processing method, electronic device, and computer-readable storage medium
JP2015046678A (ja) 画像処理装置、画像処理方法、および撮像装置
JP2016208075A (ja) 画像出力装置およびその制御方法、撮像装置、プログラム
CN113542600A (zh) 一种图像生成方法、装置、芯片、终端和存储介质
CN116158087A (zh) 一种多相机色彩一致性校正方法和装置
CN110336993A (zh) 深度摄像头控制方法、装置、电子设备和存储介质
JP6423668B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
CN109120846B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111815695B (zh) 深度图像获取方法、装置、移动终端及存储介质
JP7321772B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017229025A (ja) 画像処理装置、画像処理方法、及びプログラム
KR100745289B1 (ko) 휴대 단말기에서의 카메라 렌즈 왜곡 보상 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant