CN104700096B - 一种基于图像的用户动作标识区域确定方法及装置 - Google Patents

一种基于图像的用户动作标识区域确定方法及装置 Download PDF

Info

Publication number
CN104700096B
CN104700096B CN201510146258.7A CN201510146258A CN104700096B CN 104700096 B CN104700096 B CN 104700096B CN 201510146258 A CN201510146258 A CN 201510146258A CN 104700096 B CN104700096 B CN 104700096B
Authority
CN
China
Prior art keywords
image
user action
identified areas
gray
gray proces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510146258.7A
Other languages
English (en)
Other versions
CN104700096A (zh
Inventor
潘昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201510146258.7A priority Critical patent/CN104700096B/zh
Publication of CN104700096A publication Critical patent/CN104700096A/zh
Application granted granted Critical
Publication of CN104700096B publication Critical patent/CN104700096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种基于图像的用户动作标识区域确定方法及装置,涉及图像处理技术领域,包括:设置目标灰度处理为预设的灰度处理列表中优先级最高的灰度处理;对目标图像进行目标灰度处理;根据灰度处理后的图像,检测目标图像中是否存在可见光的光源映射区域;若存在,根据检测到的光源映射区域,确定目标图像中的用户动作标识区域;若不存在,按照优先级由高到低的顺序,将目标灰度处理更新为预设的灰度处理列表中当前灰度处理的下一灰度处理,并返回执行对目标图像进行目标灰度变化的步骤,直至检测到目标图像中存在可见光的光源映射区域,或者遍历完预设的灰度处理列表中的所有灰度处理。应用本发明实施例提供的方案,能够提供用户体验。

Description

一种基于图像的用户动作标识区域确定方法及装置
技术领域
本发明涉及图像处理技术领域,特别涉及一种基于图像的用户动作标识区域确定方法及装置。
背景技术
随着人机交互技术的发展,人机交互已经从初期的应用键盘、鼠标、遥控器等的初级人机交互,发展到应用人的声音、动作等的高级人机交互。其中,通过识别用户动作完成人机交互时,具体可以通过触摸屏识别并获得用户动作轨迹,还可以通过识别用户手持设备运动轨迹的方式获得用户动作轨迹。
现有技术中,由于红外激光发射器所发出的不可见光与手电筒等常见光源发出的可见光大大不同,在方向性、单色性、亮度等特性上具有优越的性能,且易于检测,所以,通过识别用户手持设备运动轨迹的方式获得用户动作轨迹时,一般选择红外激光发射器作为用户手持设备,并根据该手持设备的上述特性,通过检测其所发出光的位置确定各个时刻用户动作的标识区域,进而获得用户动作轨迹,这样虽然能够快速、准确的确定出用户动作标识区域。然而,类似红外激光发射器的的手持设备不属于常用设备,且上述的识别用户动作标识区域的方法利用的是红外激光发射器所发出光的特性进行的,所以,当类似红外激光发射器的手持设备出现故障时,在没有修理好或者更换新的手持设备之前,用户通常较难找到可替换使用的手持设备,也无法通过手电筒等常见的可见光光源与终端进行人机交互,影响用户体验。
因此,有必要找到一种能够根据可见光的光源识别用户动作标识区域的方法。
发明内容
本发明实施例公开了一种基于图像的用户动作标识区域确定方法及装置,以使得能够根据可见光的光源识别出用户动作标识区域,提高用户体验。
为达到上述目的,本发明实施例公开了一种基于图像的用户动作标识区域确定方法,所述方法包括:
设置目标灰度处理为预设的灰度处理列表中优先级最高的灰度处理,其中,所述预设的灰度处理列表,用于记录不同级别灰度处理的标识以及不同级别灰度处理的优先级;
对目标图像进行目标灰度处理;
根据灰度处理后的图像,检测所述目标图像中是否存在可见光的光源映射区域;
若存在,根据检测到的光源映射区域,确定所述目标图像中的用户动作标识区域;
若不存在,按照优先级由高到低的顺序,将所述目标灰度处理更新为所述预设的灰度处理列表中当前灰度处理的下一灰度处理,并返回执行所述对目标图像进行目标灰度变化的步骤,直至检测到所述目标图像中存在可见光的光源映射区域,或者遍历完所述预设的灰度处理列表中的所有灰度处理。
在本发明的一种具体实现方式中,所述目标图像,包括:
通过图像采集设备获得的原始图像;或
对所述原始图像进行以下处理中至少一种得到的图像:
图像模糊处理;
图像缩小处理。
在本发明的一种具体实现方式中,在根据灰度处理后的图像,检测到所述目标图像中存在多个可见光的光源映射区域的情况下,
所述根据检测到的光源映射区域,确定所述目标图像中的用户动作标识区域,包括:
获得图像采集时间在[T-Th1,T)范围内的图像中的用户动作标识区域,其中,T用于表示所述目标图像对应的图像采集时间,Th1为第一预设时间阈值;
根据所获得的用户动作标识区域,将检测到的各个光源映射区域中区域运动状态满足预设条件的光源映射区域确定为所述目标图像中的用户动作标识区域。
在本发明的一种具体实现方式中,在所述根据检测到的光源映射区域,确定所述目标图像中的用户动作标识区域之后,还包括:
确定所述目标图像中的用户动作标识区域的中心点坐标;
获得图像采集时间在[T-Th2,T)范围内的图像中的用户动作标识区域的中心点坐标,其中,T用于表示所述目标图像对应的图像采集时间,Th2为第二预设时间阈值;
根据所确定的中心点坐标和所获得的中心点坐标,生成用户动作轨迹;
将所述用户动作轨迹与预定义的动作轨迹集合中的各个动作轨迹进行匹配,确定用户动作对应的交互操作。
在本发明的一种具体实现方式中,所述确定所述目标图像中的用户动作标识区域的中心点坐标,包括:
获得所述目标图像中的各个用户动作标识区域中的像素点个数;
确定像素点个数大于预设阈值的用户动作标识区域的中心点坐标。
在本发明的一种具体实现方式中,所述预设的灰度处理列表中记录有4级灰度处理、8级灰度处理和二值化处理,且上述三者的优先级由高到低依次递减。
为达到上述目的,本发明实施例公开了一种基于图像的用户动作标识区域确定装置,所述装置包括:
灰度处理设置模块,用于设置目标灰度处理为预设的灰度处理列表中优先级最高的灰度处理,其中,所述预设的灰度处理列表,用于记录不同级别灰度处理的标识以及不同级别灰度处理的优先级;
灰度处理模块,用于对目标图像进行目标灰度处理;
光源映射区域检测模块,用于根据灰度处理后的图像,检测所述目标图像中是否存在可见光的光源映射区域;
标识区域确定模块,用于在所述光源映射区域检测模块的检测结果为是的情况下,根据检测到的光源映射区域,确定所述目标图像中的用户动作标识区域;
灰度处理更新模块,用于在所述光源映射区域检测模块的检测结果为否的情况下,按照优先级由高到低的顺序,将所述目标灰度处理更新为所述预设的灰度处理列表中当前灰度处理的下一灰度处理,并触发所述灰度处理模块对目标图像进行灰度处理,直至所述光源映射区域检测模块检测到所述目标图像中存在可见光的光源映射区域,或者遍历完所述预设的灰度处理列表中的所有灰度处理。
在本发明的一种具体实现方式中,所述目标图像,包括:
通过图像采集设备获得的原始图像;或
对所述原始图像进行以下处理中至少一种得到的图像:
图像模糊处理;
图像缩小处理。
在本发明的一种具体实现方式中,所述标识区域确定模块,包括:
光源映射区域获得子模块,用于在根据灰度处理后的图像,检测到所述目标图像中存在多个可见光的光源映射区域的情况下,获得图像采集时间在[T-Th1,T)范围内的图像中的用户动作标识区域,其中,T用于表示所述目标图像对应的图像采集时间,Th1为第一预设时间阈值;
标识区域确定子模块,用于根据所获得的用户动作标识区域,将检测到的各个光源映射区域中区域运动状态满足预设条件的光源映射区域确定为所述目标图像中的用户动作标识区域。
在本发明的一种具体实现方式中,所述基于图像的用户动作标识区域确定装置还包括:
中心点坐标确定模块,用于在所述标识区域确定模块确定用户动作标识区域之后,确定所述目标图像中的用户动作标识区域的中心点坐标;
中心点坐标获得模块,用于获得图像采集时间在[T-Th2,T)范围内的图像中的用户动作标识区域的中心点坐标,其中,T用于表示所述目标图像对应的图像采集时间,Th2为第二预设时间阈值;
用户动作轨迹生成模块,用于根据所确定的中心点坐标和所获得的中心点坐标,生成用户动作轨迹;
交互操作确定模块,用于将所述用户动作轨迹与预定义的动作轨迹集合中的各个动作轨迹进行匹配,确定用户动作对应的交互操作。
在本发明的一种具体实现方式中,所述中心点坐标确定模块,包括:
像素点个数获得子模块,用于获得所述目标图像中的各个用户动作标识区域中的像素点个数;
中心点坐标确定子模块,用于确定像素点个数大于预设阈值的用户动作标识区域的中心点坐标。
在本发明的一种具体实现方式中,所述预设的灰度处理列表中记录有4级灰度处理、8级灰度处理和二值化处理,且上述三者的优先级由高到低依次递减。
由以上可见,本发明实施例提供的方案中,根据对目标图像进行不同级别的灰度处理后的图像数据,检测目标图像中的可见光的光源映射区域,并根据检测到的可见光的光源映射区域,确定目标图像中的用户动作标识区域。利用了可见光的光源映射区域在灰度图像上呈现高亮显示,即可见光的光源映射区域灰度值较高的特性,确定目标图像中的可见光的光源映射区域,又由于某一时刻可见光光源的位置代表了该时刻用户动作的位置,因此,应用本发明实施例提供的方案,能够识别出用户动作标识区域,又由于可见光光源非常常见,所以,即使用户手持设备出现故障也不会影响用户与终端进行人机交互,能够提高用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于图像的用户动作标识区域确定方法的流程示意图;
图2为本发明实施例提供的另一种基于图像的用户动作标识区域确定方法的流程示意图;
图3为本发明实施例提供的一种基于图像的用户动作标识区域确定装置的结构示意图;
图4为本发明实施例提供的另一种基于图像的用户动作标识区域确定装置的结构示意图。
具体实施方式
在进行人机交互时,可以通过用户的动作进行人机交互,而在通过用户的动作进行人机交互的过程中,需获得每一时刻用户的肢体位置,进而确定用户的运动轨迹。基于此以及现有技术中存在的问题,本发明实施例提供了一种基于图像的用户动作标识区域确定方法及装置。
实际应用中,直接检测各个时刻用户的肢体位置时,易受当前环境光线等因素的影响,例如,用户肢体位于阴影区域等,而造成检测误差过大。考虑到这些因素,应用本发明实施例提供的方案确定用户动作标识区域时,需要用户携带可见光的光源,例如,用户手持可见光的光源、在用户的手臂、腿部等身体部位固定可见光光源等,当用户运动时带动可见光光源运动,可见光光源的数量可以是一个,也可以是多个。
本领域内的技术人员可以理解的是,通常情况下,由于可见光的作用,可见光光源所在区域比周围区域的亮度要高,在图像采集设备所采集到的图像上的具体表现是:可见光光源所在区域的颜色为白色或者近似于白色。
鉴于上述的这些特点,具体应用中可以通过可见光光源在某一时刻的位置来表示用户在该时刻的动作位置。
下面首先从总体上对本发明实施例提供的基于图像的用户动作标识区域确定方法进行介绍,该方法包括:
设置目标灰度处理为预设的灰度处理列表中优先级最高的灰度处理;
对目标图像进行目标灰度处理;
根据灰度处理后的图像,检测目标图像中是否存在可见光的光源映射区域;
若存在,根据检测到的光源映射区域,确定目标图像中的用户动作标识区域;
若不存在,按照优先级由高到低的顺序,将目标灰度处理更新为预设的灰度处理列表中当前灰度处理的下一灰度处理,并返回执行上述的对目标图像进行目标灰度变化的步骤,直至检测到目标图像中存在可见光的光源映射区域,或者遍历完预设的灰度处理列表中的所有灰度处理。
本实施例的执行主体为具有图像采集功能的终端,或者能够获得摄像头、摄像机、相机等图像采集设备所采集的图像的终端。上述终端具体可以是:电视、计算机、平板电脑、手机等等,本申请并不对此进行限定。
可见光光源有很多种,其中面光源较常见,在可见光光源为面光源的情况下,上述目标图像中可见光光源所在区域中包含多个像素点,所以,根据可见光的光源映射区域确定的用户动作的位置也对应于目标图像中的相应区域,而非一个点,该区域即可以理解为上述的用户动作标识区域。
上述的可见光光源可以是手电筒、手机摄像头补光灯、具有自发光特性的物体等等,其中,具有自发光特性的物体可以是具有自发光特性的石块、荧光石石块等等。
本申请只是以上述为例对可见光光源进行说明,实际应用中,可见光光源并不仅限于上述几种。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种基于图像的用户动作标识区域确定方法的流程示意图,该方法包括:
S101:设置目标灰度处理为预设的灰度处理列表中优先级最高的灰度处理。
其中,上述预设的灰度处理列表,用于记录不同级别灰度处理的标识以及不同级别灰度处理的优先级。
以8bit表示图像灰度时,图像灰度被划分为256级。实际应用中,受人眼分辨率等因素的限制,看上去颜色均匀的某一图像区域中的各个像素点的灰度值可以是不同的,但是各个像素点的灰度值之间的差值一般较小,鉴于这一特性在图像中进行区域检测时,可以对图像进行不同级别的灰度处理,这一级别具体可以是2、4、6、8、16、32等等。
在以8bit表示图像灰度的情况下,以4级灰度处理为例,灰度处理过程具体为:
将0至255这256个灰度级别划分为4段:[0,63]、[64,127]、[128,191]、[192,255],将图像中灰度值在[0,63]范围之内的像素点的灰度值映射为第一灰度值,灰度值在[64,127]范围之内的像素点的灰度值映射为第二灰度值,灰度值在[128,191]范围之内的像素点的灰度值映射为第三灰度值,灰度值在[192,255]范围之内的像素点的灰度值映射为第四灰度值。
实际应用中,在图像区域检测中为了得到较佳的结果,可以考虑对图像进行多次灰度处理,然后基于多次灰度处理的结果确定检测结果,因此,上述预设的灰度处理列表中可以包含多个不同级别灰度处理的标识。另外,用户可以结合实际情况,在该列表中设置各个级别的灰度处理的优先级。
在本发明的一个较佳实施例中,预设的灰度处理列表中可以记录有4级灰度处理、8级灰度处理和二值化处理,且上述三者的优先级由高到低依次递减。
需要说明的是,上述只是本发明的一个较佳实施例,实际应用中预设的灰度处理列表中所包含的灰度处理并不仅限于上述几种,例如,还可以包含16级灰度处理等等,具体应用中可以根据实际需要确定预设的灰度处理列表所包含的灰度处理,例如,从2级灰度处理(二值化处理)至255级灰度处理中选择若干种作为预设的灰度处理列表中所包含的灰度处理等。
S102:对目标图像进行目标灰度处理。
上述的目标图像可以是通过图像采集设备获得的原始图像。
在图像采集过程中,受图像采集设备的硬件条件、物理环境等因素的影响,所采集到的原始图像中可能会存在噪点,实际应用中,为了防止原始图像中的噪点影响检测结果,在进行检测之前先对原始图像进行图像模糊处理,也就是说目标图像还可以是对原始图像进行图像模糊处理之后得到的图像。图像模糊处理属于比较成熟的技术,例如,根据预设的滤波系数对原始图像进行模糊处理等等,本领域内的技术人员能够容易的得到相关技术知识,这里不再赘述。
另外,一般图像的数据量较大,直接在原始图像上进行检测会比较耗时,实际应用中,为加快检测速度,还可以在检测之前先对原始图像按照预设的比例进行图像缩小处理,也就是说目标图像还可以是对原始图像进行图像缩小处理之后得到的图像。
基于上述描述,在本发明的一个优选实施例中,还可以对原始图像同时考虑图像模糊处理和图像缩小处理,具体的,可以是先对原始图像进行图像模糊处理,再对模糊处理后得到的图像进行图像缩小处理;还可以是先对原始图像进行图像缩小处理,再对缩小处理后得到的图像进行图像模糊处理,本申请并不对此进行限定。
S103:根据灰度处理后的图像,检测目标图像中是否存在可见光的光源映射区域,若存在,执行S104,若不存在,执行S105。
由于通常情况下,可见光的光源映射区域在目标图像中以白色或者近似白色显示,所以对目标图像进行灰度处理后,上述的光源映射区域内各像素点的灰度值一般被映射至相同的灰度值。而由于可见光的光源映射区域的周围区域内各像素点的灰度值与该光源映射区域内各像素点的灰度值一般存在较大的差异,在进行灰度处理后周围区域内像素点的灰度值也很难与上述光源映射区域内的像素点映射至同一个灰度值上,所以,实际应用中,可以根据灰度处理后的图像,检测目标图像中是否存在可见光的光源映射区域。
具体的,检测光源映射区域时,可以认为灰度处理后的图像中像素点灰度值为白色或者接近白色的颜色对应的灰度值,例如:255、254等等,且上述的像素点连续成片出现,即这些像素点构成的区域面积达到一定阈值或者这些像素点的数量达到一定阈值的情况下,认为这些像素点构成的区域为可见光的光源映射区域。
S104:根据检测到的光源映射区域,确定目标图像中的用户动作标识区域。
本步骤中,所确定的用户动作标识区域一般为由多个像素点构成的区域,但是特殊情况下也可以是由一个像素点构成的区域,本申请并不对此进行限定。
S103在根据灰度处理后的图像检测目标图像中是否存在可见光的光源映射区域时,可能检测出一个可见光的光源映射区域,也可能检出出多个可见光的光源映射区域。
由于用户动作具有连贯性,且非静止状态下,各个时刻的用户动作对应的可见光的光源映射区域在相应图像中的位置不同,所以,在存在多个可见光的光源映射区域的情况下,根据检测到的光源映射区域,确定目标图像中的用户动作标识区域时,可以结合采集时间在目标图像的采集时间之前的若干帧中的用户动作标识区域确定。
具体的,获得图像采集时间在[T-Th1,T)范围内的图像中的用户动作标识区域后,根据所获得的用户动作标识区域,将检测到的各个光源映射区域中区域运动状态满足预设条件的光源映射区域确定为目标图像中的用户动作标识区域。
其中,T用于表示目标图像对应的图像采集时间,Th1为第一预设时间阈值,Th1可以根据具体情况进行设定。
上述的区域运动状态可以包括:是否处于运动状态的标识、运动的方向标识等信息。
上述的将检测到的各个光源映射区域中区域运动状态满足预设条件的光源映射区域确定为目标图像中的用户动作标识区域,可以是将检测到的各个光源映射区域中处于运动状态的光源映射区域确定为目标图像中的用户动作标识区域;
还可以是将检测到的各个光源映射区域中相对于前一图像采集时间所采集的图像中用户动作标识区域的移动距离最大的光源映射区域确定为目标图像中的用户动作标识区域。
由前述S102的描述可知,目标图像的大小可能与原始图像的大小一致,也可能比原始图像的大小小。在目标图像的大小比原始图像的大小小的情况下,根据检测到的光源映射区域,确定目标图像中的用户动作标识区域后,还可以根据实际需要将用户动作标识区域在目标图像中的位置映射至原始图像上。
S105:按照优先级由高到低的顺序,将目标灰度处理更新为预设的灰度处理列表中当前灰度处理的下一灰度处理。
S106:检测是否已遍历预设的灰度处理列表中的所有灰度处理,若为否,执行S102,若为是,执行S107。
S107:结束本流程。
由以上可见,本实施例提供的方案中,根据对目标图像进行不同级别的灰度处理后的图像数据,检测目标图像中的可见光的光源映射区域,并根据检测到的可见光的光源映射区域,确定目标图像中的用户动作标识区域。利用了可见光的光源映射区域在灰度图像上呈现高亮显示,即可见光的光源映射区域灰度值较高的特性,确定目标图像中的可见光的光源映射区域,又由于某一时刻可见光光源的位置代表了该时刻用户动作的位置,因此,应用本实施例提供的方案,能够识别出用户动作标识区域,又由于可见光光源非常常见,所以,即使用户手持设备出现故障也不会影响用户与终端进行人机交互,能够提高用户体验。
由于用户动作具有连贯性,确定目标图像中的用户动作标识区域后,还可以结合在目标图像的采集时间之前的采集的相应图像中的用户动作标识区域,确定用户的动作轨迹。
基于此,在本发明的一个具体实施例中,参见图2,提供了另一种基于图像的用户动作标识区域确定方法的流程示意图,在上述实施例的基础上,本实施例中,在根据检测到的光源映射区域,确定目标图像中的用户动作标识区域(S104)之后,还包括:
S108:确定目标图像中的用户动作标识区域的中心点坐标。
在根据检测到的光源映射区域确定目标图像中的用户动作标识区域时,确定得到的用户动作标识区域一般为包含多个像素点的区域。
可以理解的是,确定得到的用户动作标识区域一般形状是不规则的,本发明的一种具体实现方式中,在确定目标图像的用户动作标识区域的中心点坐标之前,可以先将该不规则区域规则化,再将规则化后的区域对应的中心点坐标作为目标图像中的用户动作标识区域的中心点坐标。
例如,根据确定得到的用户动作标识区域中的最上边、最下边、最左边和最右边的像素点确定一个矩形区域等等,然后再根据该矩形区域的宽度、高度、各定点坐标等确定矩形的中心点坐标作为目标图像中的用户动作标识区域的中心点坐标。
需要说明的是,上述实现方式只是确定用户动作标识区域的中心点坐标的一种具体实现方式,实际应用中并不仅限于此,例如,还可以根据该区域中像素点的分布情况确定中心点坐标等等。
另外,本领域内的技术人员可以理解的是,可见光光源的发光面越大,其在图像中的光源映射区域越大,越易于确定用户动作标识区域,所以,实际应用中,可以优先选择发光面大的可见光光源。鉴于上述情况,在本发明的一种较佳实施方式中,确定目标图像中的用户动作标识区域的中心点坐标时,可以先获得目标图像中的各个用户动作标识区域中的像素点个数,再确定像素点个数大于预设阈值的用户动作标识区域的中心点坐标。
S109:获得图像采集时间在[T-Th2,T)范围内的图像中的用户动作标识区域的中心点坐标。
其中,T用于表示目标图像对应的图像采集时间,Th2为第二预设时间阈值。
S110:根据所确定的中心点坐标和所获得的中心点坐标,生成用户动作轨迹。
生成用户动作轨迹时,可以考虑曲线拟合等方式,根据多个点生成运动轨迹的方式属于现有技术中比较成熟的技术,这里不再赘述。
S111:将用户动作轨迹与预定义的动作轨迹集合中的各个动作轨迹进行匹配,确定用户动作对应的交互操作。
由以上可见,本实施例提供的方案中,对目标图像进行灰度处理后,根据灰度处理后的图像确定目标图像中的可见光光源映射区域,进而确定用户动作标识区域,再综合考虑图像采集时间位于目标图像的图像采集时间之前的图像中的用户动作标识区域,生成用户动作轨迹,进而实现人机交互。由于可见光光源非常常见,所以,即使用户手持设备出现故障也不会影响用户与终端进行人机交互,能够提高用户体验。
与上述的基于图像的用户动作标识区域确定方法相对应,本发明实施例还提供了一种基于图像的用户动作标识区域确定装置。
图3为本发明实施例提供的一种基于图像的用户动作标识区域确定装置的结构示意图,该装置包括:灰度处理设置模块301、灰度处理模块302、光源映射区域检测模块303、标识区域确定模块304和灰度处理更新模块305。
其中,灰度处理设置模块301,用于设置目标灰度处理为预设的灰度处理列表中优先级最高的灰度处理,其中,所述预设的灰度处理列表,用于记录不同级别灰度处理的标识以及不同级别灰度处理的优先级;
灰度处理模块302,用于对目标图像进行目标灰度处理;
光源映射区域检测模块303,用于根据灰度处理后的图像,检测所述目标图像中是否存在可见光的光源映射区域;
标识区域确定模块304,用于在所述光源映射区域检测模块303的检测结果为是的情况下,根据检测到的光源映射区域,确定所述目标图像中的用户动作标识区域;
灰度处理更新模块305,用于在所述光源映射区域检测模块303的检测结果为否的情况下,按照优先级由高到低的顺序,将所述目标灰度处理更新为所述预设的灰度处理列表中当前灰度处理的下一灰度处理,并触发所述灰度处理模块302对目标图像进行灰度处理,直至所述光源映射区域检测模块检测到所述目标图像中存在可见光的光源映射区域,或者遍历完所述预设的灰度处理列表中的所有灰度处理。
具体的,目标图像可以包括:
通过图像采集设备获得的原始图像;或
对所述原始图像进行以下处理中至少一种得到的图像:
图像模糊处理;
图像缩小处理。
具体的,标识区域确定模块304可以包括:光源映射区域获得子模块和标识区域确定子模块(图中未示出)。
其中,光源映射区域获得子模块,用于在根据灰度处理后的图像,检测到所述目标图像中存在多个可见光的光源映射区域的情况下,获得图像采集时间在[T-Th1,T)范围内的图像中的用户动作标识区域,其中,T用于表示所述目标图像对应的图像采集时间,Th1为第一预设时间阈值;
标识区域确定子模块,用于根据所获得的用户动作标识区域,将检测到的各个光源映射区域中区域运动状态满足预设条件的光源映射区域确定为所述目标图像中的用户动作标识区域。
较佳的,所述预设的灰度处理列表中记录有4级灰度处理、8级灰度处理和二值化处理,且上述三者的优先级由高到低依次递减。
由以上可见,本实施例提供的方案中,根据对目标图像进行不同级别的灰度处理后的图像数据,检测目标图像中的可见光的光源映射区域,并根据检测到的可见光的光源映射区域,确定目标图像中的用户动作标识区域。利用了可见光的光源映射区域在灰度图像上呈现高亮显示,即可见光的光源映射区域灰度值较高的特性,确定目标图像中的可见光的光源映射区域,又由于某一时刻可见光光源的位置代表了该时刻用户动作的位置,因此,应用本实施例提供的方案,能够识别出用户动作标识区域,又由于可见光光源非常常见,所以,即使用户手持设备出现故障也不会影响用户与终端进行人机交互,能够提高用户体验。
在本发明的另一个具体实施例中,参见图4,提供了基于图像的另一种用户动作标识区域确定装置的结构示意图,与前述实施例相比,本实施例中,上述标识确定装置还包括:中心点坐标确定模块306、中心点坐标获得模块307、用户动作轨迹生成模块308和交互操作确定模块309。
其中,中心点坐标确定模块306,用于在所述标识区域确定模块确定用户动作标识区域之后,确定所述目标图像中的用户动作标识区域的中心点坐标;
中心点坐标获得模块307,用于获得图像采集时间在[T-Th2,T)范围内的图像中的用户动作标识区域的中心点坐标,其中,T用于表示所述目标图像对应的图像采集时间,Th2为第二预设时间阈值;
用户动作轨迹生成模块308,用于根据所确定的中心点坐标和所获得的中心点坐标,生成用户动作轨迹;
交互操作确定模块309,用于将所述用户动作轨迹与预定义的动作轨迹集合中的各个动作轨迹进行匹配,确定用户动作对应的交互操作。
具体的,中心点坐标确定模块306可以包括:像素点个数获得子模块和中心点坐标确定子模块(图中未示出)。
其中,像素点个数获得子模块,用于获得所述目标图像中的各个用户动作标识区域中的像素点个数;
中心点坐标确定子模块,用于确定像素点个数大于预设阈值的用户动作标识区域的中心点坐标。
由以上可见,本实施例提供的方案中,对目标图像进行灰度处理后,根据灰度处理后的图像确定目标图像中的可见光光源映射区域,进而确定用户动作标识区域,再综合考虑图像采集时间位于目标图像的图像采集时间之前的图像中的用户动作标识区域,生成用户动作轨迹,进而实现人机交互。由于可见光光源非常常见,所以,即使用户手持设备出现故障也不会影响用户与终端进行人机交互,能够提高用户体验。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (12)

1.一种基于图像的用户动作标识区域确定方法,其特征在于,所述方法包括:
设置目标灰度处理为预设的灰度处理列表中优先级最高的灰度处理,其中,所述预设的灰度处理列表,用于记录不同级别灰度处理的标识以及不同级别灰度处理的优先级;
对目标图像进行目标灰度处理;
根据灰度处理后的图像,检测所述目标图像中是否存在可见光的光源映射区域;其中,可见光的光源包括:由用户携带的可见光光源,当用户运动时带动可见光光源运动;
若存在,根据检测到的光源映射区域,确定所述目标图像中所述用户的用户动作标识区域;
若不存在,按照优先级由高到低的顺序,将所述目标灰度处理更新为所述预设的灰度处理列表中当前灰度处理的下一灰度处理,并返回执行所述对目标图像进行目标灰度变化的步骤,直至检测到所述目标图像中存在可见光的光源映射区域,或者遍历完所述预设的灰度处理列表中的所有灰度处理。
2.根据权利要求1所述的方法,其特征在于,所述目标图像,包括:
通过图像采集设备获得的原始图像;或
对所述原始图像进行以下处理中至少一种得到的图像:
图像模糊处理;
图像缩小处理。
3.根据权利要求1所述的方法,其特征在于,在根据灰度处理后的图像,检测到所述目标图像中存在多个可见光的光源映射区域的情况下,
所述根据检测到的光源映射区域,确定所述目标图像中的用户动作标识区域,包括:
获得图像采集时间在[T-Th1,T)范围内的图像中的用户动作标识区域,其中,T用于表示所述目标图像对应的图像采集时间,Th1为第一预设时间阈值;
根据所获得的用户动作标识区域,将检测到的各个光源映射区域中区域运动状态满足预设条件的光源映射区域确定为所述目标图像中的用户动作标识区域。
4.根据权利要求1-3中任一项所述的方法,其特征在于,在所述根据检测到的光源映射区域,确定所述目标图像中的用户动作标识区域之后,还包括:
确定所述目标图像中的用户动作标识区域的中心点坐标;
获得图像采集时间在[T-Th2,T)范围内的图像中的用户动作标识区域的中心点坐标,其中,T用于表示所述目标图像对应的图像采集时间,Th2为第二预设时间阈值;
根据所确定的中心点坐标和所获得的中心点坐标,生成用户动作轨迹;
将所述用户动作轨迹与预定义的动作轨迹集合中的各个动作轨迹进行匹配,确定用户动作对应的交互操作。
5.根据权利要求4所述的方法,其特征在于,所述确定所述目标图像中的用户动作标识区域的中心点坐标,包括:
获得所述目标图像中的各个用户动作标识区域中的像素点个数;
确定像素点个数大于预设阈值的用户动作标识区域的中心点坐标。
6.根据权利要求1所述的方法,其特征在于,
所述预设的灰度处理列表中记录有4级灰度处理、8级灰度处理和二值化处理,且上述三者的优先级由高到低依次递减。
7.一种基于图像的用户动作标识区域确定装置,其特征在于,所述装置包括:
灰度处理设置模块,用于设置目标灰度处理为预设的灰度处理列表中优先级最高的灰度处理,其中,所述预设的灰度处理列表,用于记录不同级别灰度处理的标识以及不同级别灰度处理的优先级;
灰度处理模块,用于对目标图像进行目标灰度处理;
光源映射区域检测模块,用于根据灰度处理后的图像,检测所述目标图像中是否存在可见光的光源映射区域;其中,可见光的光源包括:由用户携带的可见光光源,当用户运动时带动可见光光源运动;
标识区域确定模块,用于在所述光源映射区域检测模块的检测结果为是的情况下,根据检测到的光源映射区域,确定所述目标图像中所述用户的用户动作标识区域;
灰度处理更新模块,用于在所述光源映射区域检测模块的检测结果为否的情况下,按照优先级由高到低的顺序,将所述目标灰度处理更新为所述预设的灰度处理列表中当前灰度处理的下一灰度处理,并触发所述灰度处理模块对目标图像进行灰度处理,直至所述光源映射区域检测模块检测到所述目标图像中存在可见光的光源映射区域,或者遍历完所述预设的灰度处理列表中的所有灰度处理。
8.根据权利要求7所述的装置,其特征在于,所述目标图像,包括:
通过图像采集设备获得的原始图像;或
对所述原始图像进行以下处理中至少一种得到的图像:
图像模糊处理;
图像缩小处理。
9.根据权利要求7所述的装置,其特征在于,所述标识区域确定模块,包括:
光源映射区域获得子模块,用于在根据灰度处理后的图像,检测到所述目标图像中存在多个可见光的光源映射区域的情况下,获得图像采集时间在[T-Th1,T)范围内的图像中的用户动作标识区域,其中,T用于表示所述目标图像对应的图像采集时间,Th1为第一预设时间阈值;
标识区域确定子模块,用于根据所获得的用户动作标识区域,将检测到的各个光源映射区域中区域运动状态满足预设条件的光源映射区域确定为所述目标图像中的用户动作标识区域。
10.根据权利要求7-9中任一项所述的装置,其特征在于,所述装置还包括:
中心点坐标确定模块,用于在所述标识区域确定模块确定用户动作标识区域之后,确定所述目标图像中的用户动作标识区域的中心点坐标;
中心点坐标获得模块,用于获得图像采集时间在[T-Th2,T)范围内的图像中的用户动作标识区域的中心点坐标,其中,T用于表示所述目标图像对应的图像采集时间,Th2为第二预设时间阈值;
用户动作轨迹生成模块,用于根据所确定的中心点坐标和所获得的中心点坐标,生成用户动作轨迹;
交互操作确定模块,用于将所述用户动作轨迹与预定义的动作轨迹集合中的各个动作轨迹进行匹配,确定用户动作对应的交互操作。
11.根据权利要求10所述的装置,其特征在于,所述中心点坐标确定模块,包括:
像素点个数获得子模块,用于获得所述目标图像中的各个用户动作标识区域中的像素点个数;
中心点坐标确定子模块,用于确定像素点个数大于预设阈值的用户动作标识区域的中心点坐标。
12.根据权利要求7所述的装置,其特征在于,
所述预设的灰度处理列表中记录有4级灰度处理、8级灰度处理和二值化处理,且上述三者的优先级由高到低依次递减。
CN201510146258.7A 2015-03-30 2015-03-30 一种基于图像的用户动作标识区域确定方法及装置 Active CN104700096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510146258.7A CN104700096B (zh) 2015-03-30 2015-03-30 一种基于图像的用户动作标识区域确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510146258.7A CN104700096B (zh) 2015-03-30 2015-03-30 一种基于图像的用户动作标识区域确定方法及装置

Publications (2)

Publication Number Publication Date
CN104700096A CN104700096A (zh) 2015-06-10
CN104700096B true CN104700096B (zh) 2018-07-13

Family

ID=53347195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510146258.7A Active CN104700096B (zh) 2015-03-30 2015-03-30 一种基于图像的用户动作标识区域确定方法及装置

Country Status (1)

Country Link
CN (1) CN104700096B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914672B (zh) * 2020-07-08 2023-08-04 浙江大华技术股份有限公司 图像标注方法和装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286231A (zh) * 2008-06-04 2008-10-15 四川虹微技术有限公司 一种均匀分布图像亮度的对比度增强方法
CN102073996A (zh) * 2010-12-31 2011-05-25 北京控制工程研究所 基于图像相关性评估的图像分割阈值确定方法
CN102999152A (zh) * 2011-09-09 2013-03-27 康佳集团股份有限公司 一种手势动作识别方法和系统
CN103677246A (zh) * 2012-09-19 2014-03-26 纬创资通股份有限公司 双模式遥控方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4325627B2 (ja) * 2006-02-21 2009-09-02 ソニー株式会社 画像表示方法および画像表示装置並びに撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286231A (zh) * 2008-06-04 2008-10-15 四川虹微技术有限公司 一种均匀分布图像亮度的对比度增强方法
CN102073996A (zh) * 2010-12-31 2011-05-25 北京控制工程研究所 基于图像相关性评估的图像分割阈值确定方法
CN102999152A (zh) * 2011-09-09 2013-03-27 康佳集团股份有限公司 一种手势动作识别方法和系统
CN103677246A (zh) * 2012-09-19 2014-03-26 纬创资通股份有限公司 双模式遥控方法

Also Published As

Publication number Publication date
CN104700096A (zh) 2015-06-10

Similar Documents

Publication Publication Date Title
CN101135949B (zh) 成像和显示设备、信息输入设备、物体检测方法
TWI539384B (zh) 影像元素亮度調整
JP4790653B2 (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
CN107220578A (zh) 一种二维码扫描识别方法、装置、移动终端及存储介质
KR101298024B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
US10228772B2 (en) Remote controller
JP4727614B2 (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
CN100555179C (zh) 一种基于cmos数字图像传感器定位装置及定位方法
EP0837418A2 (en) Method and apparatus for generating information input using reflected light image of target object
JP4727615B2 (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
CN104869306A (zh) 鲁棒的眼睛/视线追踪装置和方法
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
CN105814524A (zh) 光学传感器系统中的对象检测
CN116503388B (zh) 缺陷检测方法、装置及存储介质
CN114047838A (zh) 屏幕刷新定位方法、装置、显示设备和存储介质
CN114047840A (zh) 屏幕刷新定位方法、装置、显示设备和存储介质
CN112528888A (zh) 一种光学指纹采集方法、装置、电子设备及存储介质
CN104700096B (zh) 一种基于图像的用户动作标识区域确定方法及装置
CN114047841A (zh) 屏幕刷新定位方法、装置、显示设备和存储介质
JP4270247B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
CN103376897A (zh) 用于确定在所投影的图像的光锥中执行的手势的方法和设备
KR20150003573A (ko) 영상 패턴 검출 방법 및 그 장치
US20120163674A1 (en) Motion detection module, electronic device applying the motion detection module, and motion detection method
US10943109B2 (en) Electronic apparatus, method for controlling thereof and the computer readable recording medium
CN112513871A (zh) 光学指纹识别的校准方法、装置和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant