CN109819238A - Tof图像采集模块的工作频率调节方法、装置和电子系统 - Google Patents

Tof图像采集模块的工作频率调节方法、装置和电子系统 Download PDF

Info

Publication number
CN109819238A
CN109819238A CN201910136618.3A CN201910136618A CN109819238A CN 109819238 A CN109819238 A CN 109819238A CN 201910136618 A CN201910136618 A CN 201910136618A CN 109819238 A CN109819238 A CN 109819238A
Authority
CN
China
Prior art keywords
depth
depth value
image capture
capture module
working frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910136618.3A
Other languages
English (en)
Other versions
CN109819238B (zh
Inventor
廖声洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910136618.3A priority Critical patent/CN109819238B/zh
Publication of CN109819238A publication Critical patent/CN109819238A/zh
Application granted granted Critical
Publication of CN109819238B publication Critical patent/CN109819238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种TOF图像采集模块的工作频率调节方法、装置和电子系统;其中,该方法包括:获取成像目标的深度图像;其中,深度图像包含有成像目标中多个位置点的深度值;按照深度值的数值大小,对深度图像中的深度值进行分类,得到深度图像中的深度值的类别数量;其中,同一类别的深度值的数值大小相等;根据深度值的类别数量,调节TOF图像采集模块的工作频率。本发明可以根据成像目标动态调节TOF图像采集模块的工作频率,如果成像目标的深度值种类较少,则可以适当降低工作频率,以节约设备功耗,避免设备发热的问题,从而提高了用户体验度。

Description

TOF图像采集模块的工作频率调节方法、装置和电子系统
技术领域
本发明涉及3D成像技术领域,尤其是涉及一种TOF图像采集模块的工作频率调节方法、装置和电子系统。
背景技术
TOF(Time of flight,飞行时间)法是一种3D成像方法,先给目标连续发生光脉冲,然后用传感器接收目标返回的光脉冲,根据光脉冲的飞行往返时间计算目标的距离。TOF图像采集模块工作时,光脉冲的发射、采集,以及距离计算等过程都具有一定的工作频率,且该工作频率通常为固定值,不可调节,使得TOF图像采集模块功耗较大,尤其是长时间开启TOF图像采集模块时,易导致设备发热且耗电快。
发明内容
有鉴于此,本发明的目的在于提供一种TOF图像采集模块的工作频率调节方法、装置和电子系统,以节约设备功耗,避免设备发热的问题,从而提高用户体验度。
第一方面,本发明实施例提供了一种TOF图像采集模块的工作频率调节方法,该方法包括:获取成像目标的深度图像;其中,深度图像包含有成像目标中多个位置点的深度值;按照深度值的数值大小,对深度图像中的深度值进行分类,得到深度图像中的深度值的类别数量;其中,同一类别的深度值的数值大小相等;根据深度值的类别数量,调节TOF图像采集模块的工作频率。
在本发明较佳的实施例中,上述获取成像目标的深度图像的步骤,包括:在预设的时间段内,通过TOF图像采集模块采集成像目标的深度图像。
在本发明较佳的实施例中,上述按照深度值的数值大小,对深度图像中的深度值进行分类,得到深度图像中的深度值的类别数量的步骤,包括:将深度图像中,数值大小相同的深度值划分为同一类别;根据划分结果生成深度直方图统计数组;深度直方图统计数组中包含有每种数值大小对应的频率;频率等于该数值大小对应的深度值的数量与深度图像中深度值的总数量的比值;获取深度直方图统计数组的宽度;深度直方图统计数组的宽度等于深度直方图统计数组中数值大小的最大值与最小值之差;将宽度作为深度图像中深度值的类别数量。
在本发明较佳的实施例中,上述将深度图像中,数值大小相同的深度值划分为同一类别的步骤,包括:按照深度值的数值大小,对深度图像中的深度值进行排序,得到包含有深度图像中的所有深度值的深度向量;从深度向量中的第一个深度值开始,获取当前深度值的数值大小,并统计与当前深度值的数值大小相同的深度值的数量,直至遍历至深度向量的最后一个深度值。
在本发明较佳的实施例中,上述统计与当前深度值的数值大小相同的深度值的数量的步骤,包括:设置当前深度值对应的数值大小的数量的初始值为一;判断当前深度值的下一个深度值的数值大小是否与当前深度值的数值大小相同;如果相同,当前深度值对应的数值大小的数量加一;如果不相同,将当前深度值的下一个深度值作为新的当前深度值,继续执行获取当前深度值的数值大小的步骤。
在本发明较佳的实施例中,上述对深度图像中的深度值进行排序的步骤之前,方法还包括:将深度图像中的深度值的字符格式转换为整型格式。
在本发明较佳的实施例中,上述根据深度值的类别数量,调节TOF图像采集模块的工作频率的步骤,包括:计算TOF图像采集模块的工作频率的第一调节系数;第一调节系数等于深度值的类别数量与预设的类别总数的比值;将第一调节系数乘以TOF图像采集模块的初始工作频率,得到更新的工作频率;按照更新的工作频率调节TOF图像采集模块的工作频率。
在本发明较佳的实施例中,上述根据深度值的类别数量,调节TOF图像采集模块的工作频率的步骤,包括:计算TOF图像采集模块的工作频率的第二调节系数;第二调节系数等于深度值的类别数量与上一次计算得到的类别数量的比值;将第二调节系数乘以TOF图像采集模块的当前的工作频率,得到更新的工作频率;按照更新的工作频率调节TOF图像采集模块的工作频率。
第二方面,本发明实施例提供了一种TOF图像采集模块的工作频率调节装置,该装置包括:数据获取模块,用于获取成像目标的深度图像;其中,深度图像包含有成像目标中多个位置点的深度值;分类模块,用于按照深度值的数值大小,对深度图像中的深度值进行分类,得到深度图像中的深度值的类别数量;其中,同一类别的深度值的数值大小相等;频率调节模块,用于根据深度值的类别数量,调节TOF图像采集模块的工作频率。
第三方面,本发明实施例提供了一种电子系统,该电子系统包括:TOF图像采集模块、处理设备和存储装置;TOF图像采集模块,用于获取成像目标的深度图像;存储装置上存储有计算机程序,计算机程序在被处理设备运行时执行如上述TOF图像采集模块的工作频率调节方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理设备运行时执行如上述TOF图像采集模块的工作频率调节方法的步骤。
本发明实施例提供的一种TOF图像采集模块的工作频率调节方法、装置和电子系统,获取到成像目标的深度图像后,按照深度值的数值大小,对该深度图像中的深度值进行分类,得到深度图像中的深度值的类别数量;进而根据深度值的类别数量,调节TOF图像采集模块的工作频率。该方式可以根据成像目标动态调节TOF图像采集模块的工作频率,如果成像目标的深度值种类较少,则可以适当降低工作频率,以节约设备功耗,避免设备发热的问题,从而提高了用户体验度。
本发明的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施方式,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子系统的结构示意图;
图2为本发明实施例提供的一种TOF图像采集模块的工作频率调节方法的流程图;
图3为本发明实施例提供的另一种TOF图像采集模块的工作频率调节方法的流程图;
图4为本发明实施例提供的一种基于深度直方图统计数组绘制的深度直方图的示意图;
图5为本发明实施例提供的另一种基于深度直方图统计数组绘制的深度直方图的示意图;
图6为本发明实施例提供的一种TOF图像采集模块的工作频率调节装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到TOF图像采集模块工作时,其工作频率通常为固定值,不可调节,使得TOF图像采集模块功耗较大,易导致设备发热且耗电快,本发明实施例提供了一种TOF图像采集模块的工作频率调节方法、装置和电子系统,该技术可以应用于服务器、计算机、相机、手机、平板电脑、车辆中控设备等多种设备中,该技术可采用相应的软件和硬件实现,以下对本发明实施例进行详细介绍。
实施例一:
首先,参照图1来描述用于实现本发明实施例的TOF图像采集模块的工作频率调节方法、装置和电子系统的示例电子系统100。
如图1所示的一种电子系统的结构示意图,电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110、一个或多个TOF图像采集模块114,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子系统100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子系统也可以具有其他组件和结构。
所述处理设备102可以是网关,也可以为智能终端,或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备,可以对所述电子系统100中的其它组件的数据进行处理,还可以控制所述电子系统100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理设备102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集设备110可以采集预览视频帧或图像数据,并且将采集到的预览视频帧或图像数据存储在所述存储装置104中以供其它组件使用。
所述TOF图像采集模块114可以采集深度图像,并且将采集到的深度图像存储在所述存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的图像矫正方法、文本识别方法、装置和电子系统的示例电子系统中的各器件可以集成设置,也可以分散设置,诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体,而将图像采集设备110设置于可以采集到目标图像的指定位置,TOF图像采集模块114设置于可以采集到目标场景的深度图像的指定位置。当上述电子系统中的各器件集成设置时,该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
实施例二:
本实施例提供了一种TOF图像采集模块的工作频率调节方法,该方法由上述电子系统中的处理设备执行;该处理设备可以是具有数据处理能力的任何设备或芯片。该处理设备与TOF图像采集模块通信连接,可以调节TOF图像采集模块的工作频率。TOF图像采集模块通常包括发射器、接收器、以及分别与发射器和接收器连接的控制芯片;其中,发射器用于发射光脉冲、接收器用于接收返回的光脉冲,控制芯片用于控制发射器的发射频率、接收器的接收频率、控制发射器和接收器的工作时间、根据发射的光脉冲以及返回的光脉冲计算深度距离等。
如图2所示,该TOF图像采集模块的工作频率调节方法包括如下步骤:
步骤S202,获取成像目标的深度图像;其中,该深度图像包含有成像目标中多个位置点的深度值。
当接收到用户发出的拍摄指令、3D图像拍摄指令、或者其他需要获取深度图像的相关指令时,即开启设备中的TOF图像采集模块获取成像目标的深度图像。上述各种指令可以为通过按下拍摄按钮、发出语音指令、手势指令等形式。上述成像目标可以理解为TOF图像采集模块的接收器的接收范围内的场景或对象,该对象可以为人或物体等。
在实际实现时,可以预设曝光时间,TOF图像采集模块在该曝光时间内由发射器不断发射光脉冲,接收器持续接收光脉冲,由控制芯片计算得到各个位置点的深度值,在曝光时间内,各个位置点的深度值可以持续更新;曝光时间结束后,各个位置点的深度值停止更新并保存。通常,一个位置点对应一个深度值,深度图像中包含的深度值的数量通常由TOF图像采集模块的分辨率确定;如果TOF图像采集模块的分辨率低于彩色相机的分辨率,则深度图像中包含的深度值的数量少于彩色图像的像素数量。
步骤S204,按照深度值的数值大小,对深度图像中的深度值进行分类,得到深度图像中的深度值的类别数量;其中,同一类别的深度值的数值大小相等。
可以理解,与TOF图像采集模块的距离相同的位置点通常具有相同的深度值;因此,如果成像目标中存在与TOF图像采集模块平行的平面,则深度图像中可能存在多个深度值具有相同的数值大小;而深度图像中各个深度值的类别数量,可以表征该成像目标中深度的变化范围;如果类别数量越少,成像目标中深度的变化范围越窄,该成像目标大多为室内场景或包含有大型建筑物、遮挡物的场景;如果类别数量越多,成像目标下深度的变化范围越宽,如室外场景、较为空旷的场景等。在上述步骤中,具体可以将同一数值大小的深度值划分为一类,并统计一共划分了多少类数值大小,即深度值的类别数量,基于统计结果建立一个直方图,该直方图的横坐标可以为深度值的数值大小,纵坐标可以为深度值对应的类别数量或类别数量的百分比。上述深度值的类别数量也可以通过直方图的宽度来表征。
步骤S206,根据深度值的类别数量,调节TOF图像采集模块的工作频率。
如果深度值的类别数量较多,则说明成像目标的深度的变化范围较宽,为了快速全面获得场景内各个位置的深度值,则需要增加TOF图像采集模块的工作频率,如增加光脉冲的发射频率、接收频率等;如果深度值的类别数量较少,则说明成像目标的深度的变化范围较窄,则无需较高的工作频率,此时可以适当降低工作频率,如降低光脉冲的发射频率、接收频率等,以节约设备的电能。
本发明实施例提供的一种TOF图像采集模块的工作频率调节方法,获取到成像目标的深度图像后,按照深度值的数值大小,对该深度图像中的深度值进行分类,得到深度图像中的深度值的类别数量;进而根据深度值的类别数量,调节TOF图像采集模块的工作频率。该方式可以根据成像目标动态调节TOF图像采集模块的工作频率,如果成像目标的深度值种类较少,则可以适当降低工作频率,以节约设备功耗,避免设备发热的问题,从而提高了用户体验度。
实施例三:
本实施例提供了另一种TOF图像采集模块的工作频率调节方法,该方法在上述实施例的基础上实现;本实施例中,重点描述获取深度图像中的深度值的类别数量的具体过程。
如上述实施例所述,可以通过直方图的形式统计深度图像中深度值的类别数量。具体而言,可以首先将深度图像中,数值大小相同的深度值划分为同一类别;根据划分结果生成深度直方图统计数组;深度直方图统计数组中包含有每种数值大小对应的频率;该频率等于该数值大小对应的深度值的数量与深度图像中深度值的总数量的比值;再获取深度直方图统计数组的宽度;该深度直方图统计数组的宽度等于深度直方图统计数组中数值大小的最大值与最小值之差;将该宽度作为深度图像中深度值的类别数量。在实际实现时,无需绘制出上述深度直方图,可以通过表格或其他形式呈现上述深度直方图统计数组,下述表1为深度直方图统计数组的一个示例;其中,深度直方图的X轴为深度值的数值大小,Y轴为类别数量,深度直方图统计数组的宽度为250-50=200。
表1
深度值 类别数量
50 10
68 30
110 80
150 180
200 70
250 20
基于上述描述,如图3所示,该方法包括如下步骤:
步骤S302,当图像采集设备启动时,开启TOF图像采集模块。
该图像采集设备可以为摄像头;在拍照或者摄像过程中,用户通常会主动触发图像采集设备的启动,为了获得图像采集设备的视野范围内的深度图像,可以在图像采集设备启动的同时开启TOF图像采集模块,本实施例中以该方式为例进行说明,当然,还可以由用户单独触发TOF图像采集模块启动。该TOF图像采集模块可以为图像采集设备采集的图像提供深度图像,该深度图像与图像可以合成三维图像,该深度图像还可以用于对图像进行立体化编辑和处理。
步骤S304,在预设的时间段内,通过TOF图像采集模块采集成像目标的深度图像。
在TOF图像采集模块启动的同时,还可以启动预设的计时器,在该计时器计时的时间段内,TOF图像采集模块按照当前的工作频率不断发射光脉冲、接收光脉冲并计算各个位置点的深度值;受脉冲误差、设备发生移动等原因,各个位置点的深度距离在不断变化,采集到的各个位置点的深度值也不断变化,因而在上述时间段内,各个位置点的深度值也可能会不断更新。当到达该时间段时,TOF图像采集模块则停止发射光脉冲、接收光脉冲、以及计算各个位置点的深度值等过程,当到达该时间段时各个位置点的深度值作为最终的深度图像。
步骤S306,将深度图像中的深度值的字符格式转换为整型格式。
TOF图像采集模块采集的数据通常为浮点数类型,如1.1、2.35等;为了便于后续的数据处理,可以将浮点数类型的深度值转换为整型格式,具体可以根据浮点数类型数据的小数点后位数,对深度值进行放大,从而得到整型格式的深度值;例如,如果TOF图像采集模块采集的数据的小数点后位数为两位,则可以对每个数据放大100倍,从而得到整型格式的数据。
步骤S308,按照深度值的数值大小,对深度图像中的深度值进行排序,得到包含有深度图像中的所有深度值的深度向量。
具体而言,上述TOF图像采集模块采集的深度图像通常为二维矩阵,为了便于后续统计,经排序后的深度向量为一维矩阵。在该深度向量中,可以对深度图像中的所有深度值按照数值大小从小到大排序,也可以进行从大到小的排序,相同的深度值位置相邻,例如,该深度向量可以为10、10、12、12、12、15、15、16…。
步骤S310,从深度向量中的第一个深度值开始,获取当前深度值的数值大小,并统计与当前深度值的数值大小相同的深度值的数量,直至遍历至深度向量的最后一个深度值。
上述步骤中,深度向量中的各个深度值已经按照数值大小进行排序,因而,如果下一个深度值与当前深度值的数值大小相同,则当前深度值对应的数值大小的数量加一,如果二者不同,则当前深度值对应的数值大小的数量不再变化,继续统计下一个深度值对应的数值大小的数量。基于此,上述步骤S310中的统计与当前深度值的数值大小相同的深度值的数量的过程,具体可以通过下述步骤02-08实现:
步骤02,设置当前深度值对应的数值大小的数量的初始值为一;
步骤04,判断当前深度值的下一个深度值的数值大小是否与当前深度值的数值大小相同;如果相同,执行步骤06;如果不相同,执行步骤08;
步骤06,当前深度值对应的数值大小的数量加一;
步骤08,将当前深度值的下一个深度值作为新的当前深度值,继续执行获取当前深度值的数值大小的步骤。
统计结果可以为表格、矩阵、数组等形式,以深度向量10、10、12、12、12、15、15、16…为例,该统计结果可以如下述表2所示;
表2
步骤S312,计算每种数值大小对应的频率;该频率等于该数值大小对应的深度值的数量与深度图像中深度值的总数量的比值;例如,如果深度图像中深度值的总数量为20,即可得到表2中各个深度值的频率。
步骤S314,将每种数值大小,以及每种数值大小对应的频率确定为深度直方图统计数组。
步骤S316,获取深度直方图统计数组的宽度;该深度直方图统计数组的宽度等于深度直方图统计数组中数值大小的最大值与最小值之差;
步骤S318,将宽度作为深度图像中深度值的类别数量。
图4所示为一种基于深度直方图统计数组绘制的深度直方图,图4中示出了成像目标下各个深度值的类别数量,以及深度直方图的宽度(也即深度直方图统计数组的宽度),该深度直方图的宽度即各个深度值的数值大小的最大值与最小值之差。图5示出了另一种基于深度直方图统计数组绘制的深度直方图,相对于图4,图5中的深度直方图宽度较窄,因而图5对应的场景所需的TOF图像采集模块的工作频率通常低于图4对应的场景所需的TOF图像采集模块的工作频率。
步骤S320,根据深度值的类别数量,调节TOF图像采集模块的工作频率。
上述方式中,获取到成像目标的深度图像后,以直方图的形式统计该深度图像中深度值的类别数量;进而根据统计出的深度值的类别数量,调节TOF图像采集模块的工作频率。该方式可以根据成像目标动态调节TOF图像采集模块的工作频率,如果成像目标的深度值种类较少,则可以适当降低工作频率,以节约设备功耗,避免设备发热的问题,从而提高了用户体验度。
实施例四:
本实施例提供了另一种TOF图像采集模块的工作频率调节方法,该方法在上述实施例的基础上实现;本实施例中,重点描述两种调节TOF图像采集模块的工作频率的具体实现方式。
其中一种方式中,各场景下工作频率的调节均以固定的初始工作频率为基准,具体可以通过下述步骤12-16实现:
步骤12,计算TOF图像采集模块的工作频率的第一调节系数;该第一调节系数等于深度值的类别数量与预设的类别总数的比值;
由上述实施例可知,深度值的类别数量可以为深度直方图统计数组的宽度。预设的类别总数可以为TOF图像采集模块能够采集到的深度值的最大范围,对于某一具体场景,其对应的深度直方图统计数组的宽度通常小于或等于TOF图像采集模块能够采集到的深度值的最大范围,因而上述调节系数的值通常小于或等于一。
步骤14,将第一调节系数乘以TOF图像采集模块的初始工作频率,得到更新的工作频率;
TOF图像采集模块的初始工作频率通常与TOF图像采集模块的硬件相关联,该初始工作频率可以为30次每秒、60次每秒等。如果第一调节系数为0.8,此时则需要基于初始工作频率,降低TOF图像采集模块的当前的工作频率,如果初始工作频率可以为30次每秒,则更新的工作频率为30*0.8=24次每秒。
步骤16,按照更新的工作频率调节TOF图像采集模块的工作频率。
可以理解,只有成像目标的深度值的类别数量与TOF图像采集模块可以采集到的深度值的最大范围相同时,TOF图像采集模块才以初始工作频率进行工作,除此之外,在大多场景下,深度值的类别数量小于TOF图像采集模块可以采集到的深度值的最大范围,因而均可以适当降低TOF图像采集模块的工作频率,以节约功耗。
另一种方式中,各场景下工作频率的调节以上一次调整的工作频率为基准,具体可以通过下述步骤22-26实现:
步骤22,计算TOF图像采集模块的工作频率的第二调节系数;该第二调节系数等于深度值的类别数量与上一次计算得到的类别数量的比值;
与TOF图像采集模块连接的设备主控芯片可以每隔预设的时间间隔计算一次类别数量,该时间间隔可以为图像的采样时间间隔,即图像采集设备每采集一次图像,计算一次深度值的类别数量;在大多情况下,用户通常不会快速更换成像目标,因而工作频率无需每采样一帧图像就进行更换,也可以间隔较长时间计算一次类别数量,并更新TOF图像采集模块的工作频率,如该时间间隔可以为1秒钟等。
步骤24,将第二调节系数乘以TOF图像采集模块的当前的工作频率,得到更新的工作频率;
步骤26,按照更新的工作频率调节TOF图像采集模块的工作频率。
例如,TOF图像采集模块的当前的工作频率为20次每秒,第二调节系数为1.2,此时更新的工作频率为20*1.2=24次每秒,因而需要提高TOF图像采集模块的工作频率至24次每秒。
相对于工作频率的调节以固定的初始工作频率为基准的方式,如果场景对应的深度值的类别数量始终小于TOF图像采集模块可以采集到的深度值的最大范围,该方式可以使TOF图像采集模块的工作频率始终处于较低的工作频率,而无须每次从初始工作频率再进行调节,使得TOF图像采集模块的工作频率更加稳定,进一步节约设备功耗。
实施例五:
本实施例提供了另一种TOF图像采集模块的工作频率调节方法,该方法在上述实施例的基础上实现;本实施例提供一种具体的应用场景,即通过智能终端拍摄三维图像,通过TOF图像采集模块获取场景的深度图像;该方法包括如下步骤:
步骤402,开启三维图像的拍摄模式;
步骤404,加载TOF图像采集模块的默认参数表;该默认参数表包括TOF图像采集模块的初始工作频率(也可以称为默认工作频率)frequency0、深度图像采集的时长T0等;当然,在拍照前或拍照后,用户也可以手动调节上述参数表中的各种参数。
步骤406,通过图像采集设备(如:手机的摄像头)采集预览帧图像,该预览帧图像可以表示为f(x,y);通过TOF图像采集模块获取对应的深度图像帧,该深度图像帧可以表示为Depth(x,y)。
步骤408,启动计时器,记计时器计时的当前时间为T。
步骤410,判断T是否到达T0;如果否,执行步骤412;如果是,执行步骤414;
步骤412,统计深度图像帧Depth(x,y)的深度直方图;该步骤具体可以通过下述子步骤1-4实现:
子步骤1,将深度图像帧中浮点数类型的各个深度值放大100倍,转换为整型类型的深度值;
子步骤2,按照数值大小从小到大的顺序,对深度图像帧中的各个深度值进行排序;
子步骤3,统计每种数值大小的深度值的数量;
子步骤4,统计每种数值大小的深度值的频率;
步骤414,关闭TOF图像采集模块;
步骤416,根据上述深度直方图的统计结果,计算TOF图像采集模块的工作频率;该TOF图像采集模块的工作频率等于深度直方图的宽度与预设的总宽度的比值乘以TOF图像采集模块的初始工作频率,或者,该TOF图像采集模块的工作频率等于深度直方图的宽度与上一次统计的宽度的比值乘以上一次计算的工作频率。
步骤418,将计算得到的新的工作频率存储,并基于该新的工作频率调节TOF图像采集模块的工作频率。
上述方式中,用户拍摄时,可以获取成像目标下的深度图像,并基于该深度图像调节TOF图像采集模块的工作频率,该方式可以根据成像目标适当降低TOF图像采集模块的工作频率,即使TOF图像采集模块长时间处于启动状态,也不会消耗较大的电量,不易导致设备发热,从而提高了用户体验度。
实施例六:
对应于上述方法实施例,参见图6所示的一种TOF图像采集模块的工作频率调节装置的结构示意图;该装置包括:
数据获取模块60,用于获取成像目标的深度图像;其中,深度图像包含有成像目标中多个位置点的深度值;
分类模块61,用于按照深度值的数值大小,对深度图像中的深度值进行分类,得到深度图像中的深度值的类别数量;其中,同一类别的深度值的数值大小相等;
频率调节模块62,用于根据深度值的类别数量,调节TOF图像采集模块的工作频率。
本发明实施例提供的一种TOF图像采集模块的工作频率调节装置,获取到成像目标的深度图像后,按照深度值的数值大小,对该深度图像中的深度值进行分类,得到深度图像中的深度值的类别数量;进而根据深度值的类别数量,调节TOF图像采集模块的工作频率。该方式可以根据成像目标动态调节TOF图像采集模块的工作频率,如果成像目标的深度值种类较少,则可以适当降低工作频率,以节约设备功耗,避免设备发热的问题,从而提高了用户体验度。
进一步地,上述数据获取模块60,用于在预设的时间段内,通过所述TOF图像采集模块采集成像目标的深度图像。
进一步地,上述分类模块61,用于将深度图像中,数值大小相同的深度值划分为同一类别;根据划分结果生成深度直方图统计数组;深度直方图统计数组中包含有每种数值大小对应的频率;频率等于该数值大小对应的深度值的数量与深度图像中深度值的总数量的比值;获取深度直方图统计数组的宽度;深度直方图统计数组的宽度等于深度直方图统计数组中数值大小的最大值与最小值之差;将宽度作为深度图像中深度值的类别数量。
进一步地,上述分类模块61,用于按照深度值的数值大小,对深度图像中的深度值进行排序,得到包含有深度图像中的所有深度值的深度向量;从深度向量中的第一个深度值开始,获取当前深度值的数值大小,并统计与当前深度值的数值大小相同的深度值的数量,直至遍历至深度向量的最后一个深度值。
进一步地,上述分类模块61,用于设置当前深度值对应的数值大小的数量的初始值为一;判断当前深度值的下一个深度值的数值大小是否与当前深度值的数值大小相同;如果相同,当前深度值对应的数值大小的数量加一;如果不相同,将当前深度值的下一个深度值作为新的当前深度值,继续执行获取当前深度值的数值大小的步骤。
进一步地,上述方法还包括格式转换模块,用于将所述各个像素点的深度值的字符格式转换为整型格式。
进一步地,上述频率调节模块62,用于计算所述TOF图像采集模块的工作频率的第一调节系数;所述第一调节系数等于所述深度值的类别数量与预设的类别总数的比值;将所述第一调节系数乘以所述TOF图像采集模块的初始工作频率,得到更新的工作频率;按照所述更新的工作频率调节所述TOF图像采集模块的工作频率。
进一步地,上述频率调节模块62,用于计算所述TOF图像采集模块的工作频率的第二调节系数;所述第二调节系数等于所述深度值的类别数量与上一次计算得到的类别数量的比值;将所述第二调节系数乘以所述TOF图像采集模块的当前的工作频率,得到更新的工作频率;按照所述更新的工作频率调节所述TOF图像采集模块的工作频率。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例七:
本发明实施例提供了一种电子系统,该电子系统包括:图像采集设备、处理设备和存储装置;图像采集设备,用于获取预览视频帧或图像数据;存储装置上存储有计算机程序,计算机程序在被处理设备运行时执行如上述TOF图像采集模块的工作频率调节方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
进一步地,本实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理设备运行时执行如上述TOF图像采集模块的工作频率调节方法的步骤。
本发明实施例所提供的TOF图像采集模块的工作频率调节方法、装置个电子系统的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种TOF图像采集模块的工作频率调节方法,其特征在于,所述方法包括:
获取成像目标的深度图像;其中,所述深度图像包含有所述成像目标中多个位置点的深度值;
按照所述深度值的数值大小,对所述深度图像中的深度值进行分类,得到所述深度图像中的深度值的类别数量;其中,同一类别的深度值的数值大小相等;
根据所述深度值的类别数量,调节所述TOF图像采集模块的工作频率。
2.根据权利要求1所述的方法,其特征在于,获取成像目标的深度图像的步骤,包括:
在预设的时间段内,通过所述TOF图像采集模块采集成像目标的深度图像。
3.根据权利要求1所述的方法,其特征在于,按照所述深度值的数值大小,对所述深度图像中的深度值进行分类,得到所述深度图像中的深度值的类别数量的步骤,包括:
将所述深度图像中,数值大小相同的深度值划分为同一类别;
根据划分结果生成深度直方图统计数组;所述深度直方图统计数组中包含有每种数值大小对应的频率;所述频率等于该数值大小对应的深度值的数量与所述深度图像中深度值的总数量的比值;
获取所述深度直方图统计数组的宽度;所述深度直方图统计数组的宽度等于所述深度直方图统计数组中数值大小的最大值与最小值之差;
将所述宽度作为所述深度图像中深度值的类别数量。
4.根据权利要求3所述的方法,其特征在于,将所述深度图像中,数值大小相同的深度值划分为同一类别的步骤,包括:
按照深度值的数值大小,对所述深度图像中的深度值进行排序,得到包含有所述深度图像中的所有深度值的深度向量;
从所述深度向量中的第一个深度值开始,获取当前深度值的数值大小,并统计与所述当前深度值的数值大小相同的深度值的数量,直至遍历至所述深度向量的最后一个深度值。
5.根据权利要求4所述的方法,其特征在于,统计与所述当前深度值的数值大小相同的深度值的数量的步骤,包括:
设置所述当前深度值对应的数值大小的数量的初始值为一;
判断所述当前深度值的下一个深度值的数值大小是否与所述当前深度值的数值大小相同;
如果相同,所述当前深度值对应的数值大小的数量加一;
如果不相同,将所述当前深度值的下一个深度值作为新的当前深度值,继续执行获取当前深度值的数值大小的步骤。
6.根据权利要求4所述的方法,其特征在于,对所述深度图像中的深度值进行排序的步骤之前,所述方法还包括:将所述深度图像中的深度值的字符格式转换为整型格式。
7.根据权利要求1所述的方法,其特征在于,根据所述深度值的类别数量,调节所述TOF图像采集模块的工作频率的步骤,包括:
计算所述TOF图像采集模块的工作频率的第一调节系数;所述第一调节系数等于所述深度值的类别数量与预设的类别总数的比值;
将所述第一调节系数乘以所述TOF图像采集模块的初始工作频率,得到更新的工作频率;
按照所述更新的工作频率调节所述TOF图像采集模块的工作频率。
8.根据权利要求1所述的方法,其特征在于,根据所述深度值的类别数量,调节所述TOF图像采集模块的工作频率的步骤,包括:
计算所述TOF图像采集模块的工作频率的第二调节系数;所述第二调节系数等于所述深度值的类别数量与上一次计算得到的类别数量的比值;
将所述第二调节系数乘以所述TOF图像采集模块的当前的工作频率,得到更新的工作频率;
按照所述更新的工作频率调节所述TOF图像采集模块的工作频率。
9.一种TOF图像采集模块的工作频率调节装置,其特征在于,所述装置包括:
数据获取模块,用于获取成像目标的深度图像;其中,所述深度图像包含有所述成像目标中多个位置点的深度值;
分类模块,用于按照所述深度值的数值大小,对所述深度图像中的深度值进行分类,得到所述深度图像中的深度值的类别数量;其中,同一类别的深度值的数值大小相等;
频率调节模块,用于根据所述深度值的类别数量,调节所述TOF图像采集模块的工作频率。
10.一种电子系统,其特征在于,所述电子系统包括:TOF图像采集模块、处理设备和存储装置;
所述TOF图像采集模块,用于获取成像目标的深度图像;
所述存储装置上存储有计算机程序,所述计算机程序在被所述处理设备运行时执行如权利要求1至8任一项所述的TOF图像采集模块的工作频率调节方法的步骤。
11.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理设备运行时执行如权利要求1至8任一项所述的TOF图像采集模块的工作频率调节方法的步骤。
CN201910136618.3A 2019-02-22 2019-02-22 Tof图像采集模块的工作频率调节方法、装置和电子系统 Active CN109819238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910136618.3A CN109819238B (zh) 2019-02-22 2019-02-22 Tof图像采集模块的工作频率调节方法、装置和电子系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910136618.3A CN109819238B (zh) 2019-02-22 2019-02-22 Tof图像采集模块的工作频率调节方法、装置和电子系统

Publications (2)

Publication Number Publication Date
CN109819238A true CN109819238A (zh) 2019-05-28
CN109819238B CN109819238B (zh) 2021-06-22

Family

ID=66607359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910136618.3A Active CN109819238B (zh) 2019-02-22 2019-02-22 Tof图像采集模块的工作频率调节方法、装置和电子系统

Country Status (1)

Country Link
CN (1) CN109819238B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378946A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备
CN110400342A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度传感器的参数调整方法、装置以及电子设备
CN112686961A (zh) * 2020-12-31 2021-04-20 杭州海康机器人技术有限公司 一种深度相机标定参数的修正方法、装置
WO2021129776A1 (zh) * 2019-12-26 2021-07-01 维沃移动通信有限公司 成像处理方法和电子设备
CN113096406A (zh) * 2019-12-23 2021-07-09 深圳云天励飞技术有限公司 车辆信息获取方法、装置及电子设备
CN117915117A (zh) * 2024-01-25 2024-04-19 太一云境技术有限公司 一种陪伴交流照看方法、系统、计算机设备及其存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103852067A (zh) * 2012-12-04 2014-06-11 德州仪器公司 调整飞行时间(tof)测量系统的操作参数的方法
US20150062558A1 (en) * 2013-09-05 2015-03-05 Texas Instruments Incorporated Time-of-Flight (TOF) Assisted Structured Light Imaging
US20150204970A1 (en) * 2014-01-22 2015-07-23 Samsung Electronics Co., Ltd. Time of flight camera device and method of driving the same
CN107424186A (zh) * 2016-05-19 2017-12-01 纬创资通股份有限公司 深度信息测量方法及装置
CN207354504U (zh) * 2017-04-25 2018-05-11 湘潭大学 一种频率与曝光可调的飞行时间三维成像装置
CN108833889A (zh) * 2018-08-22 2018-11-16 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103852067A (zh) * 2012-12-04 2014-06-11 德州仪器公司 调整飞行时间(tof)测量系统的操作参数的方法
US20150062558A1 (en) * 2013-09-05 2015-03-05 Texas Instruments Incorporated Time-of-Flight (TOF) Assisted Structured Light Imaging
US20150204970A1 (en) * 2014-01-22 2015-07-23 Samsung Electronics Co., Ltd. Time of flight camera device and method of driving the same
CN107424186A (zh) * 2016-05-19 2017-12-01 纬创资通股份有限公司 深度信息测量方法及装置
CN207354504U (zh) * 2017-04-25 2018-05-11 湘潭大学 一种频率与曝光可调的飞行时间三维成像装置
CN108833889A (zh) * 2018-08-22 2018-11-16 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378946A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备
CN110400342A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度传感器的参数调整方法、装置以及电子设备
WO2021004216A1 (zh) * 2019-07-11 2021-01-14 Oppo广东移动通信有限公司 深度传感器的参数调整方法、装置以及电子设备
CN110400342B (zh) * 2019-07-11 2021-07-06 Oppo广东移动通信有限公司 深度传感器的参数调整方法、装置以及电子设备
CN110378946B (zh) * 2019-07-11 2021-10-01 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备
US11205278B2 (en) 2019-07-11 2021-12-21 Shenzhen Heytap Technology Corp., Ltd. Depth image processing method and apparatus, and electronic device
EP3996041A4 (en) * 2019-07-11 2022-08-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR ADJUSTING THE PARAMETERS OF A DEPTH SENSOR AND ELECTRONIC DEVICE
CN113096406A (zh) * 2019-12-23 2021-07-09 深圳云天励飞技术有限公司 车辆信息获取方法、装置及电子设备
WO2021129776A1 (zh) * 2019-12-26 2021-07-01 维沃移动通信有限公司 成像处理方法和电子设备
CN112686961A (zh) * 2020-12-31 2021-04-20 杭州海康机器人技术有限公司 一种深度相机标定参数的修正方法、装置
CN112686961B (zh) * 2020-12-31 2024-06-04 杭州海康机器人股份有限公司 一种深度相机标定参数的修正方法、装置
CN117915117A (zh) * 2024-01-25 2024-04-19 太一云境技术有限公司 一种陪伴交流照看方法、系统、计算机设备及其存储介质

Also Published As

Publication number Publication date
CN109819238B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN109819238A (zh) Tof图像采集模块的工作频率调节方法、装置和电子系统
CN108364267B (zh) 图像处理方法、装置及设备
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN111340866B (zh) 深度图像生成方法、装置及存储介质
CN109657564A (zh) 一种人员在岗检测方法、装置、存储介质及终端设备
CN108229369A (zh) 图像拍摄方法、装置、存储介质及电子设备
CN105074615A (zh) 虚拟传感器系统和方法
CN107871001B (zh) 音频播放方法、装置、存储介质及电子设备
CN106713734B (zh) 自动对焦方法及装置
CN107995422B (zh) 图像拍摄方法和装置、计算机设备、计算机可读存储介质
CN111092748B (zh) 物联网设备的告警规则设置方法、装置、设备及存储介质
CN106295707B (zh) 图像识别方法和装置
CN107871000B (zh) 音频播放方法、装置、存储介质及电子设备
CN115002441B (zh) 三维视频制作方法、装置、电子设备和计算机存储介质
CN109598250A (zh) 特征提取方法、装置、电子设备和计算机可读介质
CN108924440A (zh) 贴纸显示方法、装置、终端及计算机可读存储介质
CN113596344A (zh) 拍摄处理方法、装置、电子设备和可读存储介质
CN108701355A (zh) Gpu优化和在线基于单高斯的皮肤似然估计
CN105574834B (zh) 图像处理方法及装置
CN109388238A (zh) 一种电子设备的控制方法及装置
US20200090309A1 (en) Method and device for denoising processing, storage medium, and terminal
WO2019062404A1 (zh) 应用程序的处理方法、装置、存储介质及电子设备
CN108762936A (zh) 基于人工智能图像识别的分布式计算系统及方法
CN108154093A (zh) 人脸信息识别方法及装置、电子设备、机器可读存储介质
CN103905837B (zh) 图像处理方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant