CN103327385B - 基于单一图像传感器的距离识别方法及装置 - Google Patents

基于单一图像传感器的距离识别方法及装置 Download PDF

Info

Publication number
CN103327385B
CN103327385B CN201310227183.6A CN201310227183A CN103327385B CN 103327385 B CN103327385 B CN 103327385B CN 201310227183 A CN201310227183 A CN 201310227183A CN 103327385 B CN103327385 B CN 103327385B
Authority
CN
China
Prior art keywords
image sensor
cmos image
angle
measured object
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310227183.6A
Other languages
English (en)
Other versions
CN103327385A (zh
Inventor
李琛
陈嘉胤
方泽姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai IC R&D Center Co Ltd
Original Assignee
Shanghai Integrated Circuit Research and Development Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Integrated Circuit Research and Development Center Co Ltd filed Critical Shanghai Integrated Circuit Research and Development Center Co Ltd
Priority to CN201310227183.6A priority Critical patent/CN103327385B/zh
Publication of CN103327385A publication Critical patent/CN103327385A/zh
Application granted granted Critical
Publication of CN103327385B publication Critical patent/CN103327385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于单一CMOS图像传感器的距离识别方法,包括以下步骤:步骤S1:对所述CMOS图像传感器撷取的被测物自动聚焦并获得聚焦值;步骤S2:获得所述被测物与所述CMOS图像传感器的所成线与所述CMOS图像传感器所在平面之间的角度;以及步骤S3:根据所述角度及所述聚焦值确定所述被测物与所述CMOS图像传感器所在平面的距离。本发明克服了现技术中具有人机交互功能的设备在人机交互时无法有效地识别被测物至设备的距离变化,从而提高用户的操作体验度。

Description

基于单一图像传感器的距离识别方法及装置
技术领域
本发明涉及图像通信技术领域,尤其涉及一种基于单一图像传感器的距离识别方法及装置。
背景技术
智能电视是具有全开放式平台,搭载了操作系统,可以由用户自行安装和卸载软件、游戏等第三方服务商提供的程序,并可以通过网线、无线网络来实现上网冲浪。智能电视顺应了电视机高清化、网络化、智能化的趋势。智能电视除了传统的电视现实屏幕、显示驱动以外,还包括高性能的运算处理器芯片、信道信源解码芯片、图像与数据处理芯片、高速大容量存储媒介、高速数据传输接口等组成。
智能电视已经不仅仅是一台电视机,更是一台集人机交互、通讯、娱乐、上网等功能于一体的智能系统。智能电视首先意味着硬件技术的升级和革命,只有配备了业界领先的高配置、高性能芯片,才能顺畅运行大型3D体感游戏和各种软件程序;其次,智能电视意味着软件内容技术的革命,智能电视必然是一款可定制功能的电视;第三,智能电视必须搭载全开放式平台,只有通过全开放平台,才能广泛发动消费者积极参与彩电的功能制定,才能实现彩电的“需求定制化”、“彩电娱乐化”,才是解决彩电智能化发展的唯一有效途径。
高度智能化是智能电视发展的重要趋势,而人机交互功能是智能电视高度智能化的重要特性。传统的人机交互功能主要通过手柄式传感器来实现,通过使用者操作或者晃动手中的手柄传感器来实现对电视机的各种指令控制,然而,这种方式需要借助外部设备来实现人机交互,对使用者来说增加了操作媒介、降低了操作体验的亲和感。近年来,另一种基于红外传感器的人机交互功能也已经面世,这种通过红外传感器直接捕捉操作者动态信号的方式有效避免了中介媒介的存在,增强了人机交互的亲和力,但是,由于红外传感器的分辨率、精度、光源性能等问题,使得这种方式的操作体验难以达到最佳效果。
另外,现有技术中也存在基于图像传感器进行图像识别的智能电视人机交互方式,通过CMOS图像传感器捕捉操作者动态信号,并通过操作者手势控制、基于专用动态图象分析软件,来实现对智能电视的人机交互远程功能。但是这种方法通常无法识别被测物与电视机的距离,也就无法有效获得操作者手势仅发生在垂直于电视机方向上的轨迹变化。若采用多个图像传感器来分别测量操作者手势在不同方向上的动态轨迹,无疑增加了成本。
发明内容
本发明的主要目的在于克服现有技术的缺陷,提供一种基于单一CMOS图像传感器的识别被测物与CMOS图像传感器所在平面之间距离的方式,以克服现有技术中具有人机交互功能的设备在人机交互时无法有效地识别被测物至图像传感器所在平面的距离。
为达成上述目的,本发明提供一种基于单一CMOS图像传感器的距离识别方法,包括以下步骤:
步骤S1:对所述CMOS图像传感器撷取的被测物自动聚焦并获得聚焦值;
步骤S2:获得所述被测物与所述CMOS图像传感器的所成线与所述CMOS图像传感器所在平面之间的角度;以及
步骤S3:根据所述角度及所述聚焦值确定所述被测物与所述CMOS图像传感器所在平面的距离。
优选的,步骤S1包括:
步骤S11:通过所述CMOS图像传感器撷取所述被测物的图像信息;以及
步骤S12:根据所述图像信息提取所述被测物的一个特征点作为自动聚焦的焦点。
优选的,步骤S2包括:
步骤S21:根据所述特征点所处入射光线的路径将其对应至所述CMOS图像传感器像素阵列中的特定像素位置;
步骤S22:查询预先保存的所述CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系,根据所述特定像素位置及所述对应关系获得所述特征点所处入射光的入射角,所述入射角为所述被测物与所述CMOS图像传感器的所成线与所述CMOS图像传感器所在平面之间的角度。
优选的,以初始焦距开始对所述被测物进行自动聚焦,所述初始焦距为所述CMOS图像传感器广角镜头的最小焦距或最大焦距或前一次使用的焦距。
本发明还提供了一种基于单一CMOS图像传感器的距离识别装置,该装置包括:
CMOS图像传感器,用于撷取被测物;
聚焦值获取单元,与所述CMOS图像传感器相连,控制所述CMOS图像传感器的广角镜头对所述被测物自动聚焦,并获取所述被测物聚焦时的聚焦值;
角度获取单元,与所述聚焦值获取单元相连,获得聚焦时所述被测物与所述CMOS图像传感器的所成线与所述CMOS图像传感器所在平面之间的角度;
距离计算单元,与所述角度获取单元和聚焦值获取单元相连,用以根据所述角度和所述聚焦值确定所述被测物至所述CMOS图像传感器所在平面的距离。
优选的,所述距离识别装置还包括被测物确定单元,其与所述CMOS图像传感器及所述聚焦值获取单元相连,根据所述CMOS图像传感器所撷取的图像信息提取所述被测物的一个特征点作为自动聚焦的焦点。
优选的,所述角度获取单元包括:
定位模块,与所述聚焦值获取单元、特征点确定单元及CMOS图像传感器相连,在聚焦时根据所述特征点所处入射光线的路径将其对应至所述CMOS图像传感器像素阵列中的特定像素位置;
寄存器模块,储存所述CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系;以及
角度确定模块,与所述定位模块和寄存器模块相连,根据所述特定像素位置及所述对应关系确定所述特征点所处入射光的入射角,所述入射角为所述被测物与所述CMOS图像传感器的所成线与所述CMOS图像传感器所在平面之间的角度。
本发明进一步提供一种具有单一CMOS图像传感器的智能电视手势控制的方法,所述CMOS图像传感器与所述智能电视的显示屏幕同平面,所述手势控制方法包括:
步骤S11:在第一时刻对所述CMOS图像传感器撷取的被测手指自动聚焦并获得聚焦值;获得所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度;并根据所述角度及所述聚焦值确定所述被测物与所述显示屏幕的距离;
步骤S12:在第二时刻对所述CMOS图像传感器撷取的被测手指自动聚焦并获得聚焦值;获得所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度;并根据所述角度及所述聚焦值确定所述被测物与所述显示屏幕的距离;
步骤S13:根据第一时刻及第二时刻所述被测手指的轨迹变化识别特定手势,其中所述轨迹变化包括所述被测手指与所述显示屏幕的距离的变化;
步骤S14:根据所述特定手势对所述显示屏幕的操作界面执行相应操作功能。
优选的,步骤S11中对所述CMOS图像传感器撷取的被测手指自动聚焦的步骤包括:通过所述CMOS图像传感器撷取所述被测手指的图像信息;根据所述图像信息提取一个特征点作为自动聚焦的焦点;
步骤S12中对所述CMOS图像传感器撷取的被测手指自动聚焦的步骤包括:通过所述CMOS图像传感器撷取所述被测手指的图像信息;根据所述图像信息提取一个特征点作为自动聚焦的焦点。
优选的,步骤S11中获得所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度的步骤进一步包括:根据所述特征点所处入射光线的路径将其对应至所述CMOS图像传感器像素阵列中的特定像素位置;查询预先保存的所述CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系,根据所述特定像素位置及所述对应关系获得所述特征点所处入射光的入射角,所述入射角为所述被测物与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度;
步骤S12中获得所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度的步骤进一步包括:根据所述特征点所处入射光线的路径将其对应至所述CMOS图像传感器像素阵列中的特定像素位置;查询预先保存的所述CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系,根据所述特定像素位置及所述对应关系获得所述特征点所处入射光的入射角,所述入射角为所述被测物与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度。
优选的,所述轨迹变化包括所述被测手指与所述显示屏幕的距离的变化以及所述被测手指的特征点对应至所述特定像素位置的变化。
本发明进一步提供一种具有手势控制功能的智能电视,其包括:
显示屏幕,显示操作界面;
一个CMOS图像传感器,与所述智能电视的显示屏幕同平面,用以撷取被测手指的图像;
聚焦值获取单元,与所述CMOS图像传感器相连,控制所述CMOS图像传感器的广角镜头对所述被测手指自动聚焦,并获取所述被测手指聚焦时的聚焦值;
角度获取单元,与所述聚焦值获取单元相连,获得聚焦时所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度;
距离计算单元,与所述角度获取单元和聚焦值获取单元相连,用以根据所述角度和所述聚焦值确定所述被测手指至所述显示屏幕的距离;
动态手势识别单元,根据不同时刻被测手指的轨迹变化来识别特定手势,其中所述轨迹变化包括所述被测手指至所述显示屏幕的距离的变化;以及
执行单元,根据所述特定手势在所述操作界面上执行对应的操作功能。
优选的,所述智能电视还包括特征点确定单元,用于根据所述CMOS图像传感器撷取的图像信息提取一个特征点作为自动聚焦的焦点。
优选的,所述角度获取单元包括:定位模块,与所述聚焦值获取单元相连,在聚焦时根据所述特征点所处入射光线的路径将其对应至所述CMOS图像传感器像素阵列中的特定像素位置;寄存器模块,储存所述CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系;以及角度确定模块,与所述定位模块和寄存器模块相连,根据所述特定像素位置及所述对应关系确定所述特征点所处入射光的入射角,所述入射角为所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度。
优选的,所述轨迹变化包括所述被测手指与所述显示屏幕的距离的变化以及所述被测手指的特征点对应至所述特定像素位置的变化。
优选的,所述CMOS图像传感器位于所述显示屏幕的上方中央。
相较于现有技术,本发明的有益效果在于利用通过基于单一CMOS图像传感器的距离识别方法,能够确定被测物与图像传感器所在平面的距离,从而克服了现有技术中具有人机交互功能的设备在人机交互时无法有效地识别被测物在垂直于图像传感器所在平面的方向上的轨迹变化,从而提高用户的操作体验度,增强了人机交互的亲和力,使得操作者的操作体验达到最佳效果。此外,本发明仅需一个CMOS图像传感器即可达成,更降低了成本。
附图说明
图1所示为本发明实施例一种具有单一CMOS图像传感器的智能电视的示意图;
图2所示为本发明实施例的一种基于单一CMOS图像传感器的距离识别方法的流程图;
图3所示为本发明实施例中被测物、智能电视以及CMOS图像传感器三者位置关系的俯视示意图;
图4所示为本发明另一实施例的一种基于单一CMOS图像传感器的距离识别方法的流程图;
图5所示为本发明实施例的一种基于单一CMOS图像传感器的距离识别装置的方块图;
图6所示为本发明实施例智能电视手势控制方法的流程图;
图7所示分别为本发明实施例智能电视的方块图。
具体实施方式
为使本发明的内容更加清楚易懂,以下结合说明书附图,对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例,本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。
需要说明的是,以下主要以基于一个图像传感器实现手势控制的智能电视为例进行说明,但是,本领域普通技术人员可以理解,也可以无须创造性劳动,将本发明的技术方案应用于其他需要非接触式人机交互的终端上。
通常来说,智能电视包括视频流播放部分,主要功能是接收并播放视频电视信号,主要采用的芯片包括:信道信源解码芯片和视频信号应用处理器,其中信道信源解码芯片主要用于接收视频信号并对视频信号进行信道信源解码操作,视频信号应用处理器主要对接收到并解码完成的信号进行视频流处理,使得处理后的信号能直接在电视显示屏幕上显示。关于这一部分并不是本发明的重点,后述实施例不做详细说明。
如图1所示,智能电视包括显示屏幕20以及CMOS图像传感器10,显示屏幕20可显示操作界面供操作者操作,CMOS图像传感器10位于显示屏幕20的上方中央,用以撷取操作者手部图像,智能电视包括动态手势识别单元及执行单元等,可根据CMOS图像传感器撷取的手部图像识别相应手势并执行对应的功能。
CMOS图像传感器10作为核心传感器部件,是捕捉外部操作者手势的重要介面,其分辨率和精度直接决定着手势的识别精度。在本实施例中,CMOS图像传感器10的像素要求为200万像素以上,即包括横向1920个像素、纵向1080个像素的像素阵列。另外,为了使得人机交互具有足够的亲和感,便于以更高精度、更细腻地处理手势动作,并在各种环境光照强度下都能有效识别所捕捉的手势,对CMOS图像传感器10的动态范围和灵敏度也有一定的要求。在本实施例中,CMOS图像传感器10的动态范围要求达到60dB以上;灵敏度要求达到50dB以上,较佳为55dB。整个CMOS图像传感器10可采用先进的55nm CIS前照工艺来加工实现。
以下将对本发明基于单个CMOS图像传感器的距离识别方法加以详细说明。
图2所示为距离识别方法的流程图,其包括以下步骤:
步骤S1:对CMOS图像传感器撷取的被测物自动聚焦以获得聚焦值d。
通常来说,一个200万像素的CMOS图像传感器的分辨率为横向1920个像素、纵向1080个像素的像素阵列。当CMOS图像传感器通过镜头捕捉操作者手指(本实施例中示意性地以操作者的手指作为被测物)以后,将通过自带的广角镜头,以横向1920个像素位置、纵向1080个像素位置的精度以操作者的手指进行聚焦。具体来说,当CMOS图像传感器撷取被测物的图像信息后,将根据图像信息提取出被测物的一个特征点作为聚焦的焦点。以操作者伸出右手食指为例(被测物为右手食指),将会根据右手食指的图像信息撷取食指上的一个特征点,例如食指指尖作为聚焦点,之后CMOS图像传感器通过自带的广角镜头以横向1920个像素位置、纵向1080个像素位置的精度对指尖这一点进行聚焦。再例如以操作者伸出右手全部5个手指为例(即被测物为右手的5个手指),如果要以不同手指进行不同的手势控制时,有必要获取每个手指的运动轨迹(包括手指至电视屏幕距离的变化),因此对于CMOS图像传感器所捕捉到的图像信息,若从图像信息中提取出右手食指指尖作为特征点,则控制CMOS图像传感器的广角镜头自动调整焦距对食指指尖聚焦,当提取右手中指指尖为特征点,则对右手中指指尖自动聚焦。如此,即可获得每个手指至电视屏幕的距离,以便于执行后续手势识别和控制的功能。当然,以指尖作为特征点的提取仅为示例,并不用于限定本发明。此外,在自动聚焦时CMOS图像传感器的广角镜头将从一初始焦距d0开始对操作者的手指进行捕捉和定位。初始焦距可以为最小焦距,最大焦距或前一次使用的焦距,本发明并不限于此。如果以初始焦距d0没有聚焦,广角镜头进一步调整焦距,继续对手指进行捕捉和定位;直至得到清晰的图像信息,则获取此时的聚焦值。其中自动聚焦功能可通过本领域技术人员所熟知的各种技术手段实现,例如对所捕捉的图像进行矩阵运算,直至得到在图像中所占像素最小且最清晰的被测物图像,则锁定此时的聚焦值;或根据图像的高频分量判断当高频分量最大时锁定聚焦值等,在此不作详述。
步骤S2:获得被测物与CMOS图像传感器的所成线与CMOS图像传感器所在平面之间的角度α。
对于CMOS图像传感器,其广角镜头的范围内每一个待测点根据其位于的入射光线路径,都在图像传感器像素阵列中具有对应的一个像素位置。请参照图3,其所示为被测物手指、智能电视以及图像传感器三者位置关系的俯视示意图,位于广角镜头范围内的手指的特征点在图像传感器的横向1920个像素阵列、纵向1080个像素阵列中对应至像素位置即格点P1。
而由于图像传感器的广角镜头是预设的,不同角度的入射光经广角镜头折射后将进入对应的像素位置,因此广角镜头范围内位于同一条入射光线上的待测点都会对应到同一个像素位置,而位于该入射光线上的这些待测点与CMOS图像传感器的所成线与图像传感器所在平面之间都具有一个固定的角度α,这个角度α也即是该入射光线的入射角度。换言之,像素阵列中的像素位置与角度α呈一一对应关系。
由于像素阵列中的像素位置与角度α具有一一对应关系,因此,通过根据被测手指的特征点所处入射光的路径将特征点对应至像素阵列的特定像素位置,并根据特定像素位置与角度α的对应关系,就可获得其对应的角度α。例如,可以以数据表的形式将像素位置与进入该像素位置的入射光线的入射角α的对应关系储存,当广角镜头捕捉到手指时,即可根据该手指的特征点所对应的特定像素位置查表获得手指与CMOS图像传感器所成线与图像传感器平面的角度α。
步骤S3:根据角度α及聚焦值d确定被测物与CMOS图像传感器所在平面的距离h。
图4所示为手指与CMOS图像传感器所成线与CMOS图像传感器平面的角度α,聚焦值d、以及手指与CMOS图像传感器距离h之间的关系示意图。在角度α和聚焦值d确定的情况下,手指与CMOS图像传感器所在平面的距离的计算式为:
h=d*sinα
综上所述,通过上述基于单一CMOS图像传感器的距离识别方法,可以有效识别被测物与电视机屏幕的距离,避免了其他基于摄像头图像识别的智能电视人机交互方式无法进行距离识别的缺陷,大幅提高了手势信号的识别精度。
进一步的,本发明还提供了一种基于单一CMOS图像传感器的距离识别装置。请参考图5,距离识别装置包括CMOS图像传感器50,角度获取单元51,聚焦值获取单元52以及距离计算单元53。
其中,CMOS图像传感器50撷取被测物;聚焦值获取单元52与CMOS图像传感器50相连,控制CMOS图像传感器的广角镜头对被测物自动聚焦并在被测物聚焦时识别聚焦值d。角度获取单元51与聚焦值获取单元52及CMOS图像传感器50相连,获得聚焦时被测物与CMOS图像传感器的所成线与CMOS图像传感器所在平面之间的角度。距离计算单元53与角度获取单元51和聚焦值获取单元52相连,用以根据该角度和聚焦值确定被测物至CMOS图像传感器1所在平面的距离。其中距离识别装置还包括特征点确定单元,其与CMOS图像传感器50及聚焦值获取单元51相连,根据CMOS图像传感器所撷取的图像信息提取被测物的一个特征点作为自动聚焦的焦点,使得聚焦值获取单元52控制CMOS图像传感器1对该特征点自动对焦。由此,如当被测物为操作者手部的多个手指时,可进行每个手指至CMOS图像传感器所在平面距离的识别。角度获取单元51包括定位模块,寄存器模块以及角度确定模块,定位模块与聚焦值获取单元51、特征点确定单元及CMOS图像传感器50相连,在聚焦时根据被测物的特征点所处的入射光线路径将特征点对应至CMOS图像传感器像素阵列中的特定像素位置;寄存器模块储存CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系;角度确定模块与定位模块和寄存器模块相连,根据特定像素位置及所述对应关系确定特征点所处入射光的入射角,该入射角也即是特征点位于该入射光线路径上的被测物与CMOS图像传感器所成线与CMOS图像传感器所在平面之间的角度α。
之后距离计算单元53根据该角度和聚焦值确定被测物至CMOS图像传感器1所在平面的距离h=d*sinα,最终识别被测物至CMOS图像传感器所在平面的距离。
以下将进一步说明利用本发明的距离识别装置进行智能电视的手势控制流程。
在本实施例中,操作者进行该手势控制时,首先将右手食指放在智能电视显示屏幕前,CMOS图像传感器与显示屏幕同平面,接着进行以下步骤:
步骤S11:在第一时刻执行上述距离识别方法,对CMOS图像传感器撷取的右手食指自动聚焦并获得聚焦时的聚焦值d1,获得右手食指与CMOS图像传感器的所成线与显示屏幕之间的角度α1,结合聚焦值d1确定右手食指至即显示屏幕的距离h1。具体来说,先通过CMOS图像传感器撷取右手食指的图像信息;根据图像信息提取一个特征点例如食指指尖作为自动聚焦的焦点;将聚焦时根据食指指尖所处入射光线的路径将其对应至像素阵列中的特定像素位置p1,查询预先保存的CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系,根据特定像素位置p1及所述对应关系获得食指指尖所处入射光的入射角α1,该入射角即为右手食指与CMOS图像传感器的所成线与显示屏幕之间的角度最后根据该角度α1,结合聚焦值d1确定右手食指至即显示屏幕的距离h1=d1*sinα1。
步骤S12:之后在第二时刻同样执行上述距离识别方法,获得第二时刻右手直至至显示屏幕的距离h2。具体方法也包括控制CMOS图像传感器的广角镜头自动调整焦距以对右手食指指尖聚焦,识别聚焦时的聚焦值d2,将聚焦时右手食指指尖对应至像素阵列中的特定像素位置p2。根据该特定像素位置获取与之对应的角度α2,结合聚焦值d2确定手指至显示屏幕的距离h2=d2*sinα2等步骤,在此不作赘述。
步骤S13:识别特定手势,具体来说根据手指至电视机显示屏幕距离h1,h2的变化则可得到其在垂直于显示屏幕的方向的轨迹变化,判定该轨迹变化是否符合预先储存的手势,若符合则识别为特定手势。例如预存的手势信息为在垂直于显示屏幕的方向上向显示屏幕靠近再远离,其对应的特定手势为右手食指在垂直于显示屏幕方向上点击一次,当判定该食指至显示屏幕的距离由初始距离变小之后再次增加,若这一轨迹符合预先储存的手势,则识别该食指的轨迹变化为在垂直方向上点击一次的特定手势。较佳的,还可根据右手食指的特征点对应在像素阵列中的特定像素位置p1,p2的变化得到其在平行于显示屏幕的平面内的位移变化,结合手指在垂直于显示屏幕的方向的位移变化就可获得右手食指在三维空间内的轨迹变化,当判定该轨迹变化符合预先储存的手势时,识别为特定手势。
步骤S14:根据特定手势对显示屏幕的操作界面执行对应的操作功能。例如上述特定手势为右手食指在垂直于显示屏幕方向上点击一次,则执行鼠标左键单击的功能。
在本发明的另一实施例中,当使用者伸出右手全部5个手指时,CMOS图像传感器撷取到操作者手部5个手指的图像后,依次提取右手各个手指的特征点作为焦点,获取每个手指的轨迹变化,进而判定是否符合特定手势并在符合特定手势时执行相应控制功能。
如图7所示,本发明也提供了一种具有手势控制功能的智能电视,其包括显示操作界面的显示屏,一个CMOS图像传感器70,角度获取单元71,聚焦值获取单元72,距离计算单元73,动态手势识别单元74以及执行单元75。
其中CMOS图像传感器70用于撷取被测手指的图像,其与显示屏幕同平面,较佳的位于显示屏幕上方中央位置;
聚焦值获取单元72用于控制CMOS图像传感器的广角镜头对被测手指自动对焦,并获取被测手指聚焦时的聚焦值;较佳的,智能电视还包括特征点确定单元,用于根据CMOS图像传感器撷取的图像提取出被测手指的一个特征点,并使得聚焦值获取单元72控制CMOS图像传感器的广角镜头以该特征点为焦点自动聚焦。特别当被测手指为多个手指时,可依次提取特征点自动聚焦获取该特征点所在的手指至显示屏幕的距离及轨迹变化,从而执行不同的手势控制功能。
角度获取单元71用于获得聚焦时被测手指与CMOS图像传感器的所成线与显示屏幕之间的角度信息。其中角度获取单元71包括定位模块,寄存器模块以及角度确定模块,定位模块在聚焦时根据被测手指的特征点所处的入射光线路径将被测物对应至CMOS图像传感器像素阵列中的特定像素位置;寄存器模块储存CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系;角度确定模块根据特定像素位置及所述对应关系确定被测手指的特征点所处入射光的入射角,该入射角也即是特征点位于该入射光线路径上的被测手指与CMOS图像传感器所成线与显示屏幕之间的角度。
距离计算单元73用以根据该角度和聚焦值确定被测物至显示屏幕的距离。
动态手势识别单元74,根据不同时刻被测手指的轨迹变化,如被测手指至显示屏幕的距离变化,识别特定手势;具体来说,判断被测手指的轨迹变化符合预先储存的手势时,识别为特定手势。其中手指的轨迹变化可以为不同时刻被测手指至所述显示屏幕的距离的变化,也可以为不同时刻被测手指与显示屏幕的距离的变化以及被测手指的特征点对应至特定像素位置的变化所结合形成的三维空间的轨迹变化。
执行单元75,根据特定手势在显示屏幕的操作界面上执行对应的操作功能。
上述实施例可以应用于某些特定游戏,如打乒乓游戏,游戏人员通过挥舞手势从离电视机屏幕较远处向离电视机屏幕较近处推球,基于单一CMOS图像传感器的距离识别装置实时识别游戏人员手势点与电视机屏幕的距离,从而顺利完成游戏动作。其他3D等需要手势点与电视机屏幕距离变化的游戏,如打网球、打拳击、打羽毛球等游戏,也可以借助本发明完成智能电视与操作者进行互动。
综上所述,通过本发明的基于单一CMOS图像传感器的距离识别方法及装置,能够确定被测物与图像传感器所在平面的距离,从而克服了现有技术中具有人机交互功能的设备在人机交互时无法有效地识别被测物在垂直于图像传感器所在平面的方向上的轨迹变化,从而提高用户的操作体验度,增强了人机交互的亲和力,使得操作者的操作体验达到最佳效果。此外,本发明仅需一个CMOS图像传感器即可达成,更降低了成本。
虽然本发明已以较佳实施例揭示如上,然所述诸多实施例仅为了便于说明而举例而已,并非用以限定本发明,本领域的技术人员在不脱离本发明精神和范围的前提下可作若干的更动与润饰,本发明所主张的保护范围应以权利要求书所述为准。

Claims (8)

1.一种基于单一CMOS图像传感器的距离识别方法,其特征在于,包括以下步骤:
步骤S1:对所述CMOS图像传感器撷取的被测物自动聚焦并获得聚焦值;其包括:
步骤S11:通过所述CMOS图像传感器撷取所述被测物的图像信息;以及
步骤S12:根据所述图像信息提取所述被测物的一个特征点作为自动聚焦的焦点;
步骤S2:获得所述被测物与所述CMOS图像传感器的所成线与所述CMOS图像传感器所在平面之间的角度;其包括:
步骤S21:根据所述特征点所处入射光线的路径将其对应至所述CMOS图像传感器像素阵列中的特定像素位置;
步骤S22:查询预先保存的所述CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系,根据所述特定像素位置及所述对应关系获得所述特征点所处入射光的入射角,所述入射角为所述被测物与所述CMOS图像传感器的所成线与所述CMOS图像传感器所在平面之间的角度;以及
步骤S3:根据所述角度及所述聚焦值确定所述被测物与所述CMOS图像传感器所在平面的距离。
2.根据权利要求1所述的距离识别方法,其特征在于,以初始焦距开始对所述被测物进行自动聚焦,所述初始焦距为所述CMOS图像传感器广角镜头的最小焦距或最大焦距或前一次使用的焦距。
3.一种基于单一CMOS图像传感器的距离识别装置,其特征在于,包括:
CMOS图像传感器,用于撷取被测物;
聚焦值获取单元,与所述CMOS图像传感器相连,控制所述CMOS图像传感器的广角镜头对所述被测物自动聚焦,并获取所述被测物聚焦时的聚焦值;
特征点确定单元,其与所述CMOS图像传感器及所述聚焦值获取单元相连,根据所述CMOS图像传感器所撷取的图像信息提取所述被测物的一个特征点作为自动聚焦的焦点;
角度获取单元,与所述聚焦值获取单元相连,获得聚焦时所述被测物与所述CMOS图像传感器的所成线与所述CMOS图像传感器所在平面之间的角度;
距离计算单元,与所述角度获取单元和聚焦值获取单元相连,用以根据所述角度和所述聚焦值确定所述被测物至所述CMOS图像传感器所在平面的距离;
其中所述角度获取单元包括:
定位模块,与所述聚焦值获取单元、特征点确定单元及CMOS图像传感器相连,在聚焦时根据所述特征点所处入射光线的路径将其对应至所述CMOS图像传感器像素阵列中的特定像素位置;
寄存器模块,储存所述CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系;以及
角度确定模块,与所述定位模块和寄存器模块相连,根据所述特定像素位置及所述对应关系确定所述特征点所处入射光的入射角,所述入射角为所述被测物与所述CMOS图像传感器的所成线与所述CMOS图像传感器所在平面之间的角度。
4.一种具有单一CMOS图像传感器的智能电视手势控制的方法,所述CMOS图像传感器与所述智能电视的显示屏幕同平面,其特征在于,所述手势控制方法包括:
步骤S11:在第一时刻通过所述CMOS图像传感器撷取被测手指的图像信息;根据所述图像信息提取一个特征点作为自动聚焦的焦点并获得聚焦值;获得所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度;并根据所述角度及所述聚焦值确定所述被测物与所述显示屏幕的距离;
步骤S12:在第二时刻通过所述CMOS图像传感器撷取所述被测手指的图像信息;根据所述图像信息提取一个特征点作为自动聚焦的焦点并获得聚焦值;获得所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度;并根据所述角度及所述聚焦值确定所述被测物与所述显示屏幕的距离;
步骤S13:根据第一时刻及第二时刻所述被测手指的轨迹变化识别特定手势,其中所述轨迹变化包括所述被测手指与所述显示屏幕的距离的变化;
步骤S14:根据所述特定手势对所述显示屏幕的操作界面执行相应操作功能;
其中步骤S11中获得所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度的步骤进一步包括:
根据所述特征点所处入射光线的路径将其对应至所述CMOS图像传感器像素阵列中的特定像素位置;
查询预先保存的所述CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系,根据所述特定像素位置及所述对应关系获得所述特征点所处入射光的入射角,所述入射角为所述被测物与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度;
步骤S12中获得所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度的步骤进一步包括:
根据所述特征点所处入射光线的路径将其对应至所述CMOS图像传感器像素阵列中的特定像素位置;
查询预先保存的所述CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系,根据所述特定像素位置及所述对应关系获得所述特征点所处入射光的入射角,所述入射角为所述被测物与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度。
5.根据权利要求4所述的智能电视手势控制的方法,其特征在于,所述轨迹变化包括所述被测手指与所述显示屏幕的距离的变化以及所述被测手指的特征点对应至所述特定像素位置的变化。
6.一种智能电视,其特征在于,包括:
显示屏幕,显示操作界面;
一个CMOS图像传感器,与所述智能电视的显示屏幕同平面,用以撷取被测手指的图像;
聚焦值获取单元,与所述CMOS图像传感器相连,控制所述CMOS图像传感器的广角镜头对所述被测手指自动聚焦,并获取所述被测手指聚焦时的聚焦值;
特征点确定单元,用于根据所述CMOS图像传感器撷取的图像信息提取一个特征点作为自动聚焦的焦点;
角度获取单元,与所述聚焦值获取单元相连,获得聚焦时所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度;
距离计算单元,与所述角度获取单元和聚焦值获取单元相连,用以根据所述角度和所述聚焦值确定所述被测手指至所述显示屏幕的距离;
动态手势识别单元,根据不同时刻被测手指的轨迹变化来识别特定手势,其中所述轨迹变化包括所述被测手指至所述显示屏幕的距离的变化;以及
执行单元,根据所述特定手势在所述操作界面上执行对应的操作功能;
其中所述角度获取单元包括:
定位模块,与所述聚焦值获取单元相连,在聚焦时根据所述特征点所处入射光线的路径将其对应至所述CMOS图像传感器像素阵列中的特定像素位置;
寄存器模块,储存所述CMOS图像传感器像素阵列的像素位置与进入该像素位置的入射光线的入射角的对应关系;以及
角度确定模块,与所述定位模块和寄存器模块相连,根据所述特定像素位置及所述对应关系确定所述特征点所处入射光的入射角,所述入射角为所述被测手指与所述CMOS图像传感器的所成线与所述显示屏幕之间的角度。
7.根据权利要求6所述的智能电视,其特征在于,所述轨迹变化包括所述被测手指与所述显示屏幕的距离的变化以及所述被测手指的特征点对应至所述特定像素位置的变化。
8.根据权利要求6所述的智能电视,其特征在于,所述CMOS图像传感器位于所述显示屏幕的上方中央。
CN201310227183.6A 2013-06-08 2013-06-08 基于单一图像传感器的距离识别方法及装置 Active CN103327385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310227183.6A CN103327385B (zh) 2013-06-08 2013-06-08 基于单一图像传感器的距离识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310227183.6A CN103327385B (zh) 2013-06-08 2013-06-08 基于单一图像传感器的距离识别方法及装置

Publications (2)

Publication Number Publication Date
CN103327385A CN103327385A (zh) 2013-09-25
CN103327385B true CN103327385B (zh) 2019-03-19

Family

ID=49195872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310227183.6A Active CN103327385B (zh) 2013-06-08 2013-06-08 基于单一图像传感器的距离识别方法及装置

Country Status (1)

Country Link
CN (1) CN103327385B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI558982B (zh) * 2014-09-24 2016-11-21 原相科技股份有限公司 光學感測器及光學感測系統
CN109528121B (zh) * 2018-11-30 2021-02-26 佛山市顺德区美的洗涤电器制造有限公司 洗碗机和识别操作轨迹的方法、装置、设备及介质
US20240098434A1 (en) * 2020-12-03 2024-03-21 Interdigital Ce Patent Holdings, Sas Method and device for audio steering using gesture recognition
CN112603275B (zh) * 2020-12-28 2022-07-29 中科彭州智慧产业创新中心有限公司 基于超声波传感器的双手寸口脉搏波检测设备及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233745A (zh) * 2005-11-22 2008-07-30 松下电器产业株式会社 摄影装置、便携终端装置、摄影方法及程序
CN101270978A (zh) * 2007-03-21 2008-09-24 鸿富锦精密工业(深圳)有限公司 测距系统、测距方法、电子装置系统以及遥控器
CN101729765A (zh) * 2008-10-21 2010-06-09 华晶科技股份有限公司 提供被摄物gps坐标的摄像装置与侦测被摄物gps坐标的方法
CN101858741A (zh) * 2010-05-26 2010-10-13 沈阳理工大学 一种基于单相机的变焦测距方法
CN102722254A (zh) * 2012-06-20 2012-10-10 清华大学深圳研究生院 一种定位交互方法及系统
CN103017730A (zh) * 2012-11-30 2013-04-03 中兴通讯股份有限公司 一种单摄像头测距的方法和系统
CN103139627A (zh) * 2013-02-07 2013-06-05 上海集成电路研发中心有限公司 智能电视及其手势控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233745A (zh) * 2005-11-22 2008-07-30 松下电器产业株式会社 摄影装置、便携终端装置、摄影方法及程序
CN101270978A (zh) * 2007-03-21 2008-09-24 鸿富锦精密工业(深圳)有限公司 测距系统、测距方法、电子装置系统以及遥控器
CN101729765A (zh) * 2008-10-21 2010-06-09 华晶科技股份有限公司 提供被摄物gps坐标的摄像装置与侦测被摄物gps坐标的方法
CN101858741A (zh) * 2010-05-26 2010-10-13 沈阳理工大学 一种基于单相机的变焦测距方法
CN102722254A (zh) * 2012-06-20 2012-10-10 清华大学深圳研究生院 一种定位交互方法及系统
CN103017730A (zh) * 2012-11-30 2013-04-03 中兴通讯股份有限公司 一种单摄像头测距的方法和系统
CN103139627A (zh) * 2013-02-07 2013-06-05 上海集成电路研发中心有限公司 智能电视及其手势控制方法

Also Published As

Publication number Publication date
CN103327385A (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
CN102801924B (zh) 一种基于Kinect的电视节目主持互动系统
CN101515998B (zh) 图像处理装置、图像处理方法
US8818027B2 (en) Computing device interface
CN102221887B (zh) 互动投影系统及方法
CN102622108B (zh) 一种交互式投影系统及其实现方法
US20090251421A1 (en) Method and apparatus for tactile perception of digital images
US20140037135A1 (en) Context-driven adjustment of camera parameters
US8675136B2 (en) Image display apparatus and detection method
CN103327385B (zh) 基于单一图像传感器的距离识别方法及装置
CN103139627A (zh) 智能电视及其手势控制方法
KR19980033069A (ko) 정보입력장치, 정보입력방법 및 고체촬상장치
CN104813258A (zh) 数据输入装置
CN103150020A (zh) 一种三维指控操作方法及系统
CN101504728A (zh) 一种电子设备的遥控系统及其遥控方法
WO2013078989A1 (zh) 人机交互操作指令的触发控制方法和系统
CN107291221A (zh) 基于自然手势的跨屏幕自适应精度调整方法及装置
CN103514449A (zh) 一种图像采集装置及方法
CN101262557A (zh) 遥控器、视频设备遥控系统及电视机遥控方法
CN106507201A (zh) 一种视频播放控制方法及装置
CN107484013B (zh) 一种利用移动设备进行电视节目互动的方法
CN104914985A (zh) 手势控制方法及系统与视频流处理装置
TWI330099B (zh)
KR100849532B1 (ko) 무접점 마우스 기능을 가지는 장치 및 방법
CN105302283B (zh) 映射投影的控制系统及其控制方法
CN103227962A (zh) 可识别与图像传感器所成线的距离的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant