CN101685363A - 摄像装置、图像分析装置、外部光强度计算方法、图像分析方法 - Google Patents

摄像装置、图像分析装置、外部光强度计算方法、图像分析方法 Download PDF

Info

Publication number
CN101685363A
CN101685363A CN200910166668A CN200910166668A CN101685363A CN 101685363 A CN101685363 A CN 101685363A CN 200910166668 A CN200910166668 A CN 200910166668A CN 200910166668 A CN200910166668 A CN 200910166668A CN 101685363 A CN101685363 A CN 101685363A
Authority
CN
China
Prior art keywords
mentioned
sensitivity
image
external light
light intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910166668A
Other languages
English (en)
Inventor
吉本良治
藤原晶
山下大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN101685363A publication Critical patent/CN101685363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

本发明提供一种摄像装置、图像分析装置、外部光强度计算方法及图像分析法。其中,触碰位置检测装置(10)包括:至少一个外部光传感器(15),被配置在摄像传感器(12)的附近,并且,外部光传感器(15)的光检测灵敏度低于摄像传感器(12)的光检测灵敏度;以及外部光强度计算部(3),根据外部光传感器(15)的受光量来计算指示物体周围的光强度即外部光强度。由此,本发明能够准确计算出对其中包括多个摄像传感器的摄像画面进行指示的指示物体的周围的外部光强度。

Description

摄像装置、图像分析装置、外部光强度计算方法、图像分析方法
技术领域
本发明涉及对指示物体进行图像拍摄的摄像装置、对摄像装置所拍摄到的摄影图像进行分析的图像分析装置、图像分析方法、以及对指示物体周围的光强度进行计算的外部光强度计算方法,其中,上述指示物体用于对其中包括多个摄像传感器的摄像画面进行指示的物体。
背景技术
近年来,人们在研究开发出了通过在LCD(液晶显示器)、有机EL显示器等显示器的各像素中内置光传感器从而能够在进行显示的同时进行摄像的显示器。并且,还利用这种光传感器内置式显示器研究开发出了通过对指示该光传感器内置式显示器表面上任意位置的用户手指或触笔等指示部件进行图像拍摄并根据所拍摄到的图像实现触控式面板(Touch Panel)这样的技术。例如,专利文献1(日本国专利申请公开特开2006-244446号公报,2006年9月14日)记载了一种利用光传感器内置式LCD实现触控式面板的技术。以下,将上述用户手指和指示部件统称为指示物体。
如上所述,人们研究开发出了利用光传感器内置式LCD来实现触控式面板的技术。但是,光传感器所获取的图像将因外部光、即,触碰触控式面板的手指(指示部件)周围的光的光强度以及入射方向而发生较大变化。所以,要根据上述发生较大变化的图像来高精度地区分触碰和非触碰,需要进行其中考虑了外部光影响因素的图像分析。
对此,专利文献2(日本国专利申请公开特开2007-183706号公报,2007年7月19日)所揭示的发明通过下述方式应对外部光的变化,即:由用户的输入或外部光传感器等获取外部光强度,并根据外部光强度是否超过了某个阈值来切换图像处理方法。
另外,专利文献3(日本国专利申请公开特开2004-318819号公报,2004年11月11日)所揭示的发明采用了下述方式,即:通过判断黑图像和白图像各自在图像中所占的比例来判断外部光的强弱,并根据该外部光的强弱来切换图像处理方法。
但是,专利文献2、3所示的结构所存在的缺陷为:均不能对外部光的强弱进行高精度判断。
具体而言,根据专利文献2所示的发明,用于检测外部光的外部光传感器和用于获取图像的图像获取用光传感器各自所处的位置相隔较远,所以,外部光传感器不能准确计算出入射到图像获取用光传感器的外部光的光强度。
另外,专利文献3所示的发明只是通过判断图像所包括的黑图像和白图像各自在该图像中所占的比例对外部光的光强度进行大致的判断,其并不能准确计算出外部光的光强度。
并且,专利文献2、3均未涉及以下的这种技术,即:利用所计算出的外部光强度对指示物体的图像进行处理从而提高对触碰、非触碰的识别精度,其中,上述指示物体用于指示触控式面板上的位置。
发明内容
本发明是鉴于上述问题而进行开发的,其目的在于提供能够准确计算出外部光强度的摄像装置和外部光强度计算方法。本发明的其他目的在于,利用外部光强度对指示物体的图像进行处理从而提高对触碰、非触碰的识别精度。
为了实现上述目的,本发明的摄像装置包括其中具有多个摄像传感器的摄像画面,利用上述摄像传感器对靠近或接触上述摄像画面的指示物体进行图像拍摄,该摄像装置的特征在于,包括:至少一个外部光传感器,被配置在上述摄像传感器的附近,并且,该外部光传感器的光检测灵敏度低于上述摄像传感器的光检测灵敏度;以及外部光强度计算部,根据上述外部光传感器的受光量来计算上述指示物体周围的光强度即外部光强度。
为了实现上述目的,本发明的外部光强度计算方法适用于摄像装置,该摄像装置包括具备多个摄像传感器的摄像画面并利用上述摄像传感器对靠近或接触上述摄像画面的指示物体进行图像拍摄,其特征在于,包括:外部光强度计算步骤,根据外部光传感器的受光量对外部光强度进行计算,其中,上述外部光传感器至少为一个并且被配置在上述摄像传感器的附近,上述外部光传感器的光检测灵敏度低于上述摄像传感器的光检测灵敏度;上述外部光强度是入射上述外部光传感器的、上述指示物体周围的光的强度。
根据上述结构,至少配置有一个外部光传感器并且配置在上述摄像传感器的附近,外部光传感器的光检测灵敏度低于摄像传感器的光检测灵敏度;外部光强度计算部根据外部光传感器的受光量来计算外部光强度、即,指示物体周围的光强度。关于所计算出的外部光强度的用途,例如,可用于调整摄像传感器的灵敏度,或者,用于对摄影图像实施图像处理。
如果利用高灵敏度的摄像传感器来计算外部光强度,很可能频繁发生摄像传感器的输出值(像素值)饱和的现象。根据本发明的上述结构,由于外部光传感器的光检测灵敏度低于摄像传感器的光检测灵敏度,所以,外部光传感器的输出值出现饱和的可能性低,从而能够准确计算出外部光强度。
为了实现上述目的,本发明的图像分析装置分析由摄像传感器对靠近或接触摄像画面的指示物体进行图像拍摄所得到的摄影图像,其中,上述摄像画面设置有多个上述摄像传感器,该图像分析装置的特征在于,包括:获取部,获取上述摄影图像;基准值计算部,根据外部光强度即上述指示物体周围的光强度来计算基准像素值,该基准像素值用于从上述摄影图像中删除被拍摄对象的与上述摄像画面接触的接触部分之外的部分的图像;以及图像处理部,根据上述基准值计算部计算出的基准像素值,对上述摄影图像所包含的像素中的一部分像素的像素值进行变更。
为了实现上述目的,本发明的图像分析方法适用于图像分析装置,该图像分析装置分析由摄像传感器对靠近或接触摄像画面的指示物体进行图像拍摄所得到的摄影图像,上述摄像画面设置有多个上述摄像传感器,该图像分析方法的特征在于,包括:获取步骤,获取上述摄影图像;基准值计算步骤,根据外部光强度即上述指示物体周围的光强度来计算基准像素值,该基准像素值用于从上述摄影图像中删除被拍摄对象的、与上述摄像画面接触的接触部分之外的部分的图像;以及图像处理步骤,根据上述基准值计算步骤中计算出的基准像素值,对上述摄影图像所包含的像素中的一部分像素的像素值进行变更。
根据上述结构,基准值计算部根据外部光强度的推算值来计算用于从摄影图像中删除被拍摄对象的与摄像画面接触的接触部分之外的部分的图像(不能用于识别被拍摄对象的信息、即非识别信息)的基准像素值,图像处理部根据基准值计算部计算出的基准像素值对摄影图像所包含的像素中的一部分像素的像素值进行变更以删除摄影图像中的非识别信息。
所以,根据本发明的上述结构,能够删除摄影图像中的非识别信息从而能够提高对被拍摄对象的识别精度。
为了实现上述目的,本发明的图像分析装置分析由摄像传感器对靠近或接触摄像画面的指示物体进行图像拍摄所得到的摄影图像,其中,上述摄像画面设置有多个上述摄像传感器,该图像分析装置的特征在于,包括:获取部,获取上述摄影图像;特征区域提取部,从上述获取部所获取的摄影图像中提取用于表示上述指示物体的图像特征的特征区域;基准值计算部,根据外部光强度即上述指示物体周围的光强度来计算基准像素值,该基准像素值用于判断上述特征区域是否为上述指示物体的与上述摄像画面接触的接触部分的图像所对应的特征区域;删除部,从上述特征区域提取部所提取的特征区域中删除像素值大于等于上述基准值计算部计算出的基准像素值的像素所对应的特征区域;以及位置计算部,根据未被上述删除部删除的特征区域来计算上述指示物体的与上述摄像画面接触的接触部分的图像的位置。
为了实现上述目的,本发明的图像分析方法适用于图像分析装置,该图像分析装置分析由摄像传感器对靠近或接触摄像画面的指示物体进行图像拍摄所得到的摄影图像,上述摄像画面设置有多个上述摄像传感器,该图像分析方法的特征在于,包括:获取步骤,获取上述摄影图像;特征区域提取步骤,从上述获取步骤所获取的摄影图像中提取用于表示上述指示物体的图像特征的特征区域;基准值计算步骤,根据外部光强度即上述指示物体周围的光强度来计算基准像素值,该基准像素值用于判断上述特征区域是否为上述指示物体的与上述摄像画面接触的接触部分的图像所对应的特征区域;删除步骤,从上述特征区域提取步骤所提取的特征区域中删除像素值大于等于上述基准值计算步骤中计算出的基准像素值的像素所对应的特征区域;以及位置计算步骤,根据未被上述删除部删除的特征区域来计算上述指示物体的与上述摄像画面接触的接触部分的图像的位置。
根据上述结构,特征区域提取部从摄影图像中提取用于表示指示物体的图像特征的特征区域。基准值计算部根据外部光强度来计算基准像素值,该基准像素值用于判断特征区域是否为指示物体的与摄像画面接触的接触部分的图像所对应的特征区域。删除部从特征区域提取部所提取的特征区域中删除其像素值大于等于基准值计算部计算出的基准像素值的像素所对应的特征区域。位置计算部根据未被删除部删除的特征区域来计算指示物体的与摄像画面接触的接触部分的图像的位置。
所以,根据本发明的上述结构,能够从摄影图像中删除指示物体尚未接触摄像画面时的图像所对应的特征区域、即,非识别信息,从而能够提高对指示物体的识别精度。
本发明的其他目的、特征和优点在以下的描述中会变得十分明了。以下,参照附图来明确本发明的优点。
附图说明
图1是表示本发明的一个实施方式中的触碰位置检测装置的结构的框图。
图2(a)是表示摄像传感器和外部光传感器的配置方式的一个示例的图。
图2(b)是表示摄像传感器和外部光传感器的配置方式的另一个示例的图。
图3是表示由外部光强度计算部生成的直方图与外部光强度之间的关系的图。
图4是表示在对指示物体进行拍摄时该指示物体周围的亮度以及所获取的摄影图像的示例的图。
图5是表示触控式面板部的变形例的剖面图。
图6是表示在对指示物体进行图像拍摄时该指示物体周围的亮度以及在设置有弹性膜的情况下所获取的摄影图像的示例的图。
图7是表示触碰、非触碰时的摄影图像的示例的图。
图8(a)是表示环境照度与摄影图像像素值之间的关系的图表。
图8(b)是表示在不同的环境照度下进行图像拍摄时所获取的摄影图像的示例的图。
图9是用于说明表示触碰非触碰间像素值的图表。
图10(a)是表示在触碰时指肚下像素值随环境照度变化而发生变化的情况的示例的图表。
图10(b)是表示在非触碰时指肚下像素值随环境照度变化而发生变化的情况的示例的图表。
图11是用于说明由非识别信息删除部执行的处理的图。
图12是用于说明在外部光强度达到饱和状态时出现的问题的图。
图13是表示通过进行灵敏度切换所获取的摄影图像示例和未进行灵敏度切换所获取的摄影图像示例。
图14(a)是用于说明通过摄像传感器来计算触碰非触碰间像素值时的情况示例的图。
图14(b)是用于说明通过外部光传感器来计算触碰非触碰间像素值时的情况示例的图。
图15是用于说明利用外部光传感器15计算外部光强度时的优点的图。
图16是表示由上述触碰位置检测装置执行的触碰位置检测处理步骤的示例的流程图。
图17是表示本发明的另一实施方式中的触碰位置检测装置的结构的框图。
图18是用于说明由非识别信息删除部执行的处理的图。
图19是表示由上述触碰位置检测装置执行的触碰位置检测处理步骤的示例的流程图。
具体实施方式
(实施方式1)
下面,参照附图1~16说明本发明的一个实施方式。作为本发明的一个实施方式,将对触碰位置检测装置10进行说明。上述触碰位置检测装置10对指示触控式面板上任意位置的用户手指或触笔等指示部件(总称为“指示物体”)进行图像拍摄并根据所拍摄到的图像对上述指示物体所指示的位置进行检测。另外,触碰位置检测装置也可以表述为显示装置、摄像装置、输入装置或电子设备。
[触碰位置检测装置10的结构]
图1是表示本实施方式的触碰位置检测装置10的结构的框图。如图1所示,触碰位置检测装置(图像分析装置、摄像装置)10包括:触控式面板部(摄像部)1、图像分析部(图像分析装置)9和应用程序执行部30。
图像分析部9包括:图像调整部2、外部光强度计算部3、最佳灵敏度计算部(灵敏度设定部)4、触碰非触碰间像素值计算部(基准值计算部)5、非识别信息删除部(图像处理部)6、特征量提取部(特征区域提取部)7和触碰位置检测部(位置计算部)8。
触控式面板部1包括光传感器内置式LCD11、AD(模/数)变换器13和灵敏度调整部14。在上述光传感器内置式LCD11内设置有摄像传感器12和外部光传感器15,其中,摄像传感器12是用于获取图像的摄像元件,外部光传感器15用于对外部光强度进行检测。
由于在光传感器内置式LCD(液晶面板/显示器)11内设置有摄像传感器12,所以,光传感器内置式LCD11不但能够显示图像而且还能够进行图像拍摄。因此,光传感器内置式LCD11可以作为用于拍摄其中包括指示物体触碰光传感器内置式LCD11的表面时的指示物体图像在内的图像(以下,称之为“摄影图像”或“传感器图像”)的摄像画面发挥作用,其中,光传感器内置式LCD11被用作触控式面板。换言之,摄像传感器12对靠近或接触摄像画面即光传感器内置式LCD11的指示物体进行图像拍摄。
对光传感器内置式LCD11的各像素分别设置有一个摄像传感器12。换言之,摄像传感器12在光传感器内置式LCD11的内部呈矩阵状配置。另外,摄像传感器12的配置方式和配置个数并不限于上述,可以进行设定变更。
摄像传感器12所获取的信号由AD变换器13实施数字化处理后,被输出到图像调整部2。
外部光传感器15的光检测灵敏度要低于摄像传感器12的光检测灵敏度。外部光传感器15的灵敏度优选可满足下述条件的灵敏度,即:外部光传感器15的像素值大致等于或者小于等于在某照度环境中摄像传感器12对放置在光传感器内置式LCD11上的手指指肚进行图像拍摄而得到的像素值,其中,光传感器内置式LCD11具备摄像传感器12。
另外,外部光传感15可以是几乎不感应可见光而具备某种程度的红外光感应能力的传感器。换言之,外部光传感器15可以是主要接受作为外部光的红外光的传感器。
以下,说明外部光传感器15采用仅对红外光具备某种程度感应能力的传感器的理由。可见光基本上被指示物体即手指阻断,而某种程度的红外光可以透过手指。因为要预测随着外部光强度变化从手指指肚透过的透过光将会发生多大的变化,所以,如果外部光传感器15主要感应红外光,对手指指肚的透过光的预测就会变得较为容易。
即,外部光传感器15对指示物体即手指的透过光(红外光)的灵敏度要大于其对不能透过手指的光(可见光)的灵敏度。
另外,如图1所示,光传感器内置式LCD11具备一个外部光传感器15即可。如后所述,光传感器内置式LCD11具备两个以上的外部光传感器15就更为理想。
触碰位置检测装置10通过上述光传感器内置式LCD11来获取用于检测触碰位置的摄影图像和用于计算外部光强度的信息(各外部光传感器15的受光量)。
图像调整部2对通过触控式面板部1拍摄到的摄影图像实施标定处理等,在该标定处理中对摄影图像的增益和偏移量进行调整。然后,向非识别信息删除部6输出已经过调整后的摄影图像。在此后的说明中,所输出的灰度图像的精度为8位256灰阶。另外,图像调整部2还作为从触控式面板部1获取摄影图像的获取部发挥作用。图像调整部2可以将所获取的摄影图像或已经过调整后的摄影图像存储在存储部40中。
外部光强度计算部3从外部光传感器15获取用于表示外部光传感器15输出的受光量的输出值并由所获取的输出值计算出外部光强度。外部光强度计算部3将所计算出的外部光强度输出到最佳灵敏度计算部4和触碰非触碰间像素值计算部5。关于外部光强度计算部3所执行的处理,详见后述。另外,外部光强度是指,指示物体(拍摄对象)周围的光强度。
最佳灵敏度计算部4根据外部光强度计算部3计算出的外部光强度或者触碰非触碰间像素值计算部5计算出的触碰非触碰间像素值,来计算出摄像传感器12的用于识别指示物体的最佳灵敏度并将其输出到灵敏度调整部14。关于最佳灵敏度计算部4执行的处理,详见后述。
灵敏度调整部14将各摄像传感器12的灵敏度调整为由最佳灵敏度计算部4输出的最佳灵敏度。
触碰非触碰间像素值计算部5计算出在非识别信息删除部6删除非识别信息时所需的基准像素值(触碰非触碰间像素值),上述非识别信息是指摄影图像中不能用于对指示物体进行识别的信息。换言之,触碰非触碰间像素值计算部5根据外部光强度即指示物体周围的光强度来计算出基准像素值,该基准像素值用于从摄影图像中删除被拍摄对象的与光传感器内置式LCD11接触的接触部分之外的部分的图像。
具体而言,触碰非触碰间像素值计算部5根据外部光强度计算部3计算出的外部光强度来计算出作为基准像素值的触碰非触碰间像素值,该基准像素值是在将指示物体未接触光传感器内置式LCD11时的该指示物体的图像从摄影图像中删除时所使用的基准像素值。换言之,触碰非触碰间像素值计算部5根据外部光强度计算部3计算出的外部光强度来计算出作为基准像素值的触碰非触碰间像素值(判断基准值),该基准像素值用于判断摄影图像所包含的图像是否为指示物体的与光传感器内置式LCD11接触的接触部分的图像。关于触碰非触碰间像素值计算部5执行的处理,详见后述。
非识别信息删除部6根据触碰非触碰间像素值计算部5计算出的触碰非触碰间像素值对摄影图像所包含的像素中的一部分像素的像素值进行变更。具体而言,非识别信息删除部6获取触碰非触碰间像素值计算部5计算出的触碰非触碰间像素值,并将摄影图像所包含的像素中其像素值大于等于触碰非触碰间像素值的像素的像素值置换为触碰非触碰间像素值,从而删除摄影图像中不能用于对指示物体进行识别的信息。
特征量提取部7利用佐贝尔滤波器等对已由非识别信息删除部6处理后的摄影图像实施边缘检测处理,通过这种边缘检测处理对摄影图像的每一个像素提取用于表示指示物体特征的特征量(边缘特征量)。例如,特征量提取部7提取其中包含有8方向向量的特征量作为上述指示物体的特征量,上述8方向向量表示目标像素周围8个方向上的像素值梯度方向。
具体而言,特征量提取部7求出纵向梯度和横向梯度并根据所求出的纵向梯度和横向梯度来确定边缘像素、即亮度发生极具变化的部分,其中,纵向梯度表示纵向相邻的像素的像素值与目标像素的像素值之间的梯度,横向梯度表示横向相邻的像素的像素值与目标像素的像素值之间的梯度。然后,提取用于表示上述边缘像素的像素值的梯度的向量并将其作为特征量。
关于特征量提取部7所执行的特征量提取处理,并不对其进行特别限定,只要能够检测出指示物体的形状(尤其是边缘)即可。特征量提取部7可以通过现有技术中图形匹配等图像处理来对指示物体的图像(特征区域)进行检测。特征量提取部7将所提取的特征量和被提取该特征量的像素相互对应地输出到触碰位置检测部8。使特征量信息与摄影图像的各像素对应,例如,生成特征量表。
触碰位置检测部8对用于表示特征量提取部7所提取的特征量的特征区域实施图形匹配处理从而确定触碰位置。具体而言,触碰位置检测部8将预定标准图形和梯度方向图形进行图形匹配,并将其梯度方向与标准图形的梯度方向一致的像素的个数达到预定像素数的区域作为指示物体图形进行检测,其中,上述预定标准图形表示了像素值的梯度方向并由多个像素构成,上述梯度方向图形表示特征量提取部8提取的特征量所表示的梯度方向图形。关于图形匹配方法,并不对其进行特别限定,只要能够恰当地确定指示物体的图像的位置即可。触碰位置检测部8向应用程序执行部30输出用于表示已确定触碰位置的坐标。
应用程序执行部30利用由触碰位置检测部8输出的坐标执行与该坐标对应的应用程序,或者,在特定应用程序中实施与该坐标对应的处理。应用程序执行部30所执行的应用程序没有任何限定。
[关于摄像传感器12和外部光传感器15的配置]
图2(a)和图2(b)是表示摄像传感器12和外部光传感器15的配置状况的图。如图2(a)所示,在光传感器内置式LCD11中,摄像传感器12(由H表示)的列和外部光传感器15(由L表示)的列可以交替配置。换言之,外部光传感器15可以配置在多个摄像传感器12之间。根据这种结构,虽然照射到光传感器内置式LCD11的外部光能够均匀受光,但是,需要将摄像传感器12的配置个数减少到一半,这将导致降低摄影图像的分辨率。
如图2(b)所示,可以在摄像传感器12的配置区域的周围配置外部光传感器15。换言之,可以将外部光传感器15配置得与摄像传感器12的配置区域的外缘部相邻。根据这种结构,仅在可配置摄像传感器12的区域的周围配置有外部光传感器15,所以,几乎不会导致降低摄影图像的分辨率。另外,在配置有摄像传感器12的矩形区域的四个边均配置有外部光传感器15,由此,能够减小指示物体阻断向外部光传感器15入射的外部光的可能性。
但是,由于外部光传感器15只能配置在摄像传感器12的配置区域的周围,因此,关于外部光强度的信息量减少,并且,可能导致照射到光传感器内置式LCD11的外部光不能均匀受光。所以,在某些条件下,较之于图2(a)所示的配置方式,可能会导致外部光强度的计算精度相对较低。
关于摄像传感器12和外部光传感器15的配置,除上述配置方式之外,还可以采用能够进行外部光强度计算的其他任何配置方式。
在设置有摄像传感器12的光传感器内置式LCD11中配置不同灵敏度的外部光传感器15并非是绝对条件。但是,由于在同一液晶面板中内置摄像传感器12和外部光传感器15能够确保摄像传感器12和外部光传感器15接受的外部光为相同条件的外部光,所以,优选将摄像传感器12和外部光传感器15配置在同一液晶面板内。即,优选将外部光传感器15配置在摄像传感器12的附近。
[外部光强度计算部3执行的详细处理情况]
接着,详细说明外部光强度计算部3执行的处理的具体内容。
外部光强度计算部3从外部光传感器15输出的用于表示受光量的输出值(像素值)中选择至少一部分输出值,将所选择的输出值按照由大到小的位次进行排列并将与预定位次对应的输出值视作外部光强度。
另外,也可以将外部光传感器15输出的多个输出值作为图像的像素值。换言之,外部光传感器15获取用于进行外部光强度计算的外部光强度计算用图像。在这种情况下,外部光强度计算部3从图像调整部2输出的外部光强度计算用图像所包含的多个像素中选择至少一部分像素,将所选择的像素按照其像素值由大到小的位次进行排列并将与预定位次对应的像素的像素值视作外部光强度。
即,外部光强度计算部3就外部光强度计算用图像所包含的多个像素生成用于表示像素值和具有该像素值的像素的个数之间的关系的直方图,其中,上述像素值是按照由大到小的顺序排列的像素值。上述直方图优选由外部光强度计算用图像的所有像素的像素值生成。但是,基于成本及处理速度考虑,也可以从外部光强度计算用图像所包含的像素中隔开某种程度间隔且等间隔地选择一部分像素并由所选择的像素的像素值生成直方图,而非由外部光强度计算用图像的所有像素的像素值(换言之,所有外部光传感器15的输出值)生成上述直方图。
图3是表示由外部光强度计算部3生成的直方图与外部光强度之间的关系的图。在不同外部光强度的环境中,分别对放置在触控式面板部1上的手指进行外部光强度测定,结果如图3所示,所生成的直方图也不相同,并且,外部光强度越大,直方图的分布区域就越是朝像素值大的部分延伸。另外,在图3中,A是拍摄传感器图像(3)时的外部光强度,B是拍摄传感器图像(2)时的外部光强度,C是拍摄传感器图像(1)时的外部光强度。
在由所生成的直方图计算外部光强度的处理中,按照直方图的像素值(输出值)由大到小的位次进行计数,并将计数的数值达到在生成直方图时所使用的像素值(输出值)个数的某一比例时的像素值用作外部光强度值。
下面。说明对直方图中上位百分之几的部分的像素值作为外部光强度进行计算的理由。例如,即使在相同的外部光强度条件下,由于手指或手的放置位置不同,所获取的外部光强度计算用图像将会发生变化。因此,由外部光强度计算用图像生成的直方图也不相同。
在这种情况下,对于外部光强度计算用图像所包含的像素中可更准确地反映外部光强度的像素,其像素值大于其他像素的像素值。这是因为,当外部光被手指或手阻断时,外部光强度计算用图像所包含的像素的像素值变小的缘故。
因此,在根据直方图计算外部光强度时,由具有上位百分之几的像素值的像素的像素值来计算外部光强度,这样能够最大限度地减少因手指或手的放置位置不同而导致的计算得出值所发生的变化。
但是,如果计算所依据的直方图的上位值过小,例如,0.1%等,就会由于外部光强度计算用图像的像素值缺陷等因素造成精度降低。因此,在进行外部光强度计算时优选采用不足10%的上位值。即,优选的是:当选自外部光强度计算用图像所包含的像素中的像素按照像素值由大到小的顺序排列时,具有被采用为外部光强度的像素值的像素的位次相当于比所选择的像素的总数的10%小的数。换言之,所选择的外部光传感器15的输出值按照由大到小的顺序进行排列,与预定位次对应的输出值被外部光强度计算部3作为外部光强度,其中,上述预定位次优选相当于比所选择的输出值的总数的10%小的数。
另外,外部光强度计算部3求取外部光强度的方式并不限于上述直方图。例如,也可以为:在外部光强度计算用图像内限定取样点区域,对各限定区域分别求出像素(取样点)的像素值的平均值,并将平均值最大的值作为外部光强度。
[触碰非触碰间像素值计算部5执行的详细处理情况]
在说明触碰非触碰间像素值计算部5之前,参照图4来说明摄像传感器15获取的触碰、非触碰时的摄影图像会是什么样的图像。图4的(a)、(c)、(e)、(g)是表示在对指示物体进行图像拍摄时该指示物体周围的亮度,图4的(b)、(d)、(f)、(h)表示摄影图像的示例。
根据现有的光传感器面板,当手指触碰到面板时,背光灯所发出的光被手指指肚反射后入射至传感器。如图4(b)所示,如果手指指肚的反射光强于外部光,与周围的背景相比较而言,手指指肚就会形成一个较为明亮的白色的圆形。如图4(d)所示,如果手指指肚的反射光弱于外部光,与周围的背景相比较而言,手指指肚就会形成一个较为暗淡的黑色的圆形。指示物体为触笔时,情况与上述相同。
也可以采用和上述不同的方式,通过改变触碰位置检测装置10的结构,能够使得背景像素值总是亮于形成手指指肚(指示物体)图像的像素值(以下称之为“指肚下像素值”)。图5是表示触控式面板部1的变形例的剖面图。可以如图5所示,在光传感器内置式LCD11的正面设置透明基板16和弹性膜17,在其相反一侧设置背光灯19。
弹性膜17形成有突起部17a。在透明基板16和弹性膜17之间设置有空气层18。在透明基板16的表面未被施加压力时,背光灯19发出的光可在空气层18进行反射。另一方面,在透明基板16的表面被施加压力时,背光灯19发出的光不能在空气层18进行反射,因此,反射率降低。通过这种方法,总能使得背景像素亮度大于被手指触碰的部分的像素亮度(指肚下像素值)。
图6表示在设置有弹性膜17的情况下所获取的摄影图像的示例。由于设置有弹性膜17,即使周围处于黑暗状态,因为被手指触碰的部分比背景部分暗,所以,总能使被手指触碰的部分保持较暗的状态。当外部光的亮度变大时,同样地,也总能使被触碰的部分保持较暗的状态。指示物体为触笔时,情况与上述相同。
以下,说明在具备弹性膜17的触控式面板部1中指肚下像素值小于背景像素值时的情况。
图7表示摄像传感器12获取的触碰、非触碰时的摄影图像的示例。在未放置任何物体例如手指等指示物体的状态下,外部光直接入射摄像传感器12,在这种情况下,就得到图7的条件(1)所示的其中未包括手指图像的图像41(该图像只包括背景图像)。如图7的条件(2)所示,手指靠近但未触碰到光传感器内置式LCD11,在这种情况下,所得到的图像42中包括较淡的手指图像44。如图7的条件(3)所示,手指完全按压在光传感器内置式LCD11上,在这种情况下,所得到的图像43中包括的手指图像45要比手指图像44清晰。
图8(a)表示外部光强度计算部3求得的外部光强度、图7的图像42所示的非触碰时的指肚下像素值、图7的图像43所示的触碰时的指肚下像素值这三者之间的关系。如图8(a)所示,外部光强度(由标号51表示)、非触碰时的指肚下像素值(由标号52表示)和触碰时的指肚下像素值(由标号53表示)随外部光强度的增大而增加。此时的摄影图像分别由图8(b)所示。
如图8(a)所示,非触碰时的指肚下像素值总是大于触碰时的指肚下像素值,所以,在非触碰时的指肚下像素值和触碰时的指肚下像素值之间总是保持像素值差。
在上述关系成立的情况下,如果能够如图9所示那样在非触碰时的指肚下像素值(由标号52表示)和触碰时的指肚下像素值(由标号53表示)之间设定阈值,就能够将阈值以上的像素值作为进行识别时不能使用的信息进行删除,从而能够提高识别精度。
因此,触碰非触碰间像素值计算部5能够根据外部光强度变化而动态地计算出触碰非触碰间像素值、即,非触碰时的指肚下像素值与触碰时的指肚下像素值之间的像素值。
但是,在进行在线式处理时(实际为用户触碰光传感器内置式LCD11时)难以获取非触碰时的指肚下像素值和触碰时的指肚下像素值,所以,可预先设定用于表示外部光强度(可当场获取)与触碰非触碰间像素值的关系的公式,将外部光强度代入该公式从而计算出触碰非触碰间像素值。
该公式为下述公式(1),将外部光强度计算部3计算出的外部光强度(A)代入该公式,从而可计算出触碰非触碰间像素值(T)。
T=AX......(1)
在上述公式(1)中,X是预先求取的常数。在求取常数X时,首先设定可满足下述公式(2)的N的值。
T=(B+C)/N......(2)
在上述公式(2)中,B表示非触碰时的指肚下像素值,C表示触碰时的指肚下像素值。N是用于使T处于B与C之间的任意数值。
然后,根据上述公式(2),计算出可满足下述公式(3)的X的值。
T=AX=(B+C)/N......(3)
在进行在线式处理时,触碰非触碰间像素值计算部5将外部光强度计算部3就每一帧求取的A代入上述公式(1),从而计算出T。
另外,将上述公式(1)存储在触碰非触碰间像素值计算部5可利用的存储部(例如,存储部40)中即可。
图10的(a)是表示在触碰时及非触碰时指肚下像素值随环境照度变化而发生变化的情况的其他示例的图表,图10的(b)是表示在触碰时及非触碰时指肚下像素值随环境照度变化而发生变化的情况的其他示例的图表。
在求取触碰非触碰间像素值时,如果触碰非触碰间像素值的特性表现为图10的(a)、(b)那样以分歧点为界进行变化,也可以对公式进行变更使得以分歧点(外部光强度达到某一像素值时的点)为界计算触碰非触碰间像素值。
即,可以事先在存储部中存储两种不同的用于求取触碰非触碰间像素值的公式,触碰非触碰间像素值计算部5可在外部光强度计算部3计算出的外部光强度达到预定值前、后分别使用两种不同的公式。换言之,触碰非触碰间像素值计算部5可根据外部光强度计算部3计算出的外部光强度分别使用两种不同的公式。
上述两种不同的公式是指,例如,上述公式(1)中常数X的值各异的公式。
另外,触碰非触碰间像素值可以是与碰触时指肚下像素值大致等效的值。在这种情况下,确定上述公式(1)中常数X使得触碰非触碰间像素值与碰触时指肚下像素值等效。
此外,如果外部光传感器15的灵敏度设定为:使得在某照度环境下可输出与碰触时指肚下像素值大致相等的像素值,此时,可直接将外部光强度计算部3的输出值用作为触碰非触碰间像素值。在这种情况下,可无需设置触碰非触碰间像素值计算部5。
[非识别信息删除部6执行的详细处理情况]
上述所求取的触碰非触碰间像素值被输出到非识别信息删除部6。非识别信息删除部6将摄影图像所包含的像素中其像素值大于等于触碰非触碰间像素值计算部5计算出的触碰非触碰间像素值的像素的像素值置换为触碰非触碰间像素值,从而删除摄影图像中不能用于对指示物体进行识别的信息。
图11是用于说明由非识别信息删除部6执行的处理的图。图11中最下面的部分表示背景像素值与指肚下像素值之间的关系。
即,由于像素值比触碰非触碰间像素值大的像素与形成已触碰到光传感器内置式LCD11的指示物体的图像没有关系,所以,可将其像素值大于等于触碰非触碰间像素值的像素的像素值置换为触碰非触碰间像素值,从而删除指示物体的在背景图像中存在的不能用于对指示物体进行识别的图像信息。
[外部光传感器15的优点]
接着,说明触碰非触碰间像素值计算部5利用摄像传感器12的输出值来计算外部光强度时所存在的问题。换言之,说明触碰非触碰间像素值计算部5利用外部光传感器15的输出值计算外部光强度时的优点。
图12是用于说明在利用摄像传感器12计算外部光强度时存在的问题的图。
在利用摄像传感器12计算外部光强度时,如图12(a)所示,在摄像传感器12中入射的外部光的强度大幅度上升,在所计算出的外部光强度(由标号50表示)达到饱和像素值后,即使外部光强度超过了上述饱和像素值,也难以对增加的外部光强度进行计算。
因此,也难以根据外部光强度准确地计算出触碰非触碰间像素值,在情况最差时,即使将手指放置在面板上,所有像素均达到饱和状态从而造成全白的图像。在图12(a)中,标号54表示在外部光强度达到饱和状态时计算出的触碰非触碰间像素值,标号55表示在外部光强度未达到饱和状态时计算出的(实际的)触碰非触碰间像素值。
为了解决上述问题,需要降低摄像传感器12的灵敏度以使得外部光强度如12(b)所示那样不会达到饱和状态。通过实施灵敏度降低的处理,使得外部光强度不会达到饱和状态,因此,能够准确计算出触碰非触碰间像素值。关于摄像传感器12的灵敏度切换的定时,在外部光强度达到饱和状态的时刻(在图12(a)中,由标号56表示的时刻)或者之前进行切换。
图13是表示通过进行灵敏度切换所获取的摄影图像示例和未进行灵敏度切换所获取的摄影图像示例。图13的上段部分表示未进行灵敏度切换时的情况。如果不进行灵敏度切换,那么,由于从手指透过的光的影响,指肚下像素值随着外部光强度增加而与背景像素值同时增大,最后,所有像素均达到饱和状态而造成全白的图像。根据这种图像,难以进行准确的触碰位置检测。
另一方面,根据图13的下段部分所示,可知:在进行灵敏度切换的情况下,即使外部光强度与上述不实施灵敏度切换时的外部光强度相同,由于降低了灵敏度,指肚下像素值和背景像素值不会达到饱和状态,从而能够确保可准确检测触碰位置的图像状态。
但是,在如上所述利用摄像传感器12计算外部光强度的情况下,当外部光强度计算部3计算出的外部光强度达到饱和像素值时,即使指肚下像素值(与触碰非触碰间像素值大致等效)并未达到饱和状态,也将进行灵敏度切换。
如果在外部光强度达到饱和像素值的时刻不进行灵敏度切换,那么,就会错失进行灵敏度切换的时机,难以准确计算触碰非触碰间像素值,将对识别处理造成不利影响。
另外,图14(b)所示,在根据外部光传感器15的输出值来计算外部光强度的情况下,即使利用摄像传感器12计算出的外部光强度如图14(a)所示那样已达到饱和状态,但由于利用外部光传感器15计算出的外部光强度尚未达到饱和状态,所以,无需在指肚下像素值(与触碰非触碰间像素值大致等效)非饱和的状态下调低灵敏度。图14(a)和图14(b)是用于说明利用外部光传感器15来计算触碰非触碰间像素值时的优点的图。
如上所述,利用其灵敏度较摄像传感器12低的外部光传感器15来计算外部光强度,这样,能够确保更大的、可使摄像传感器12保持高灵敏度的外部光强度区域。
另外,进行灵敏度切换需要一定时间,所以,频繁的灵敏度切换将造成时间损失。较之于摄像传感器12,在利用外部光传感器15来计算外部光强度时能够减少摄像传感器12的灵敏度切换频率,从而可减少触碰位置检测装置10进行动作时的时间损失。
[外部光传感器15的优选灵敏度]
外部光传感器15的灵敏度优选可满足下述条件的灵敏度,即:外部光传感器15的像素值大致等于在某照度环境中对放置在光传感器内置式LCD11上的手指指肚进行图像拍摄的摄像传感器12的像素值,其中,光传感器内置式LCD11具备摄像传感器12。换言之,对外部光传感器15进行灵敏度设定,使其能够将下述像素值所对应的强度的光作为外部光进行检测,即:与某照度环境中对放置在光传感器内置式LCD11上的手指指肚进行图像拍摄的摄像传感器12的像素值大致相等的像素值,其中,光传感器内置式LCD11具备摄像传感器12。
根据图14(b)进行说明。假定触碰非触碰间像素值(由标号54表示)和触碰时指肚下像素值大致等效,并且,该触碰非触碰间像素值和外部光强度计算部3计算出的外部光强度(由标号51表示)为相同的值。在这种情况下,当触碰时指肚下像素值达到饱和状态时,外部光强度计算部3计算出的外部光强度也会同时达到饱和状态。所以,外部光强度计算部3计算出的外部光强度可直接用作触碰非触碰间像素值,从而能够很容易计算出触碰非触碰间像素值。
[外部光传感器15可取得技术效果的理由]
如上所述,在利用外部光传感器15的输出值计算外部光强度的情况下,可使得摄像传感器12保持较高的灵敏度。下面,根据图15对其理由进行具体说明。图15是用于说明利用外部光传感器15计算外部光强度时的优点的图。
图15的(1)表示利用摄像传感器12计算外部光强度并对摄像传感器12的灵敏度进行切换的情况的示例。图15的(2)表示利用外部光传感器15计算外部光强度并对摄像传感器12的灵敏度进行切换的情况的示例。在图15中,左侧表示最小的外部光强度,并且,外部光强度由左侧向右侧变大。
图15示意地表示了在与外部光强度相应的灵敏度条件下触碰时指肚下像素值和非触碰时指肚下像素值之间的差。为简化说明,手指指肚透过的光和入射手指指肚的光所带来的影响等均忽略不计,表示不同灵敏度所造成的触碰时指肚下像素值和非触碰时指肚下像素值之间的差。另外,数字“1”表示最高灵敏度,数字越大表示灵敏度越低。
根据图15的(1)所示,外部光强度越大,摄像传感器12的灵敏度越低,所以,触碰时指肚下像素值和非触碰时指肚下像素值之间的差变小。在灵敏度降低到“3”的时刻,触碰时指肚下像素值和非触碰时指肚下像素值之间的差消失。
另一方面,根据图15的(2)所示,由于利用其灵敏度较摄像传感器12低的外部光传感器15计算外部光强度,所以,较之于图15的(1)所示的情况,摄像传感器12的灵敏度降低的定时可向后推移,即,可向图中表示更大的外部光强度的右侧推移。如图15的(1)所示,当灵敏度降低到“3”时,触碰时指肚下像素值和非触碰时指肚下像素值之间的差消失。但是,由于摄像传感器12能够保持较高的灵敏度,所以,在上述(1)所示的触碰时指肚下像素值和非触碰时指肚下像素值之间的差消失的位置所对应的上述(2)中的位置,触碰时指肚下像素值和非触碰时指肚下像素值之间的差仍能得以维持。
由于摄像传感器12的灵敏度降低,所以,触碰时指肚下像素值和非触碰时指肚下像素值之间的差越小,就越难以对触碰和非触碰进行识别。因此,通过使摄像传感器12保持较高的灵敏度,能够直接提高对手指、即指示物体的识别精度。
如上所述,利用其灵敏度较摄像传感器12低的外部光传感器15计算外部光强度,这样能够使摄像传感器12的灵敏度降低的定时向后延迟,从而能够根据高灵敏度的图像进行识别处理,进而能够提高识别精度。
[最佳灵敏度计算部4执行的详细处理情况]
接着,详细说明最佳灵敏度计算部4执行的最佳灵敏度计算处理情况。首先,说明摄像传感器12的灵敏度降低时的处理情况。
下面,根据图14(b)进行说明。在设定为所计算出的外部光强度(由标号51表示)像素值小于指肚下像素值(与触碰非触碰间像素值(由标号54表示)大致等效)的情况下,外部光强度不会先于指肚下像素值达到饱和状态。
所以,如果在计算出的外部光强度达到饱和状态时降低摄像传感器12的灵敏度,那么,由于指肚下像素值已达到饱和状态,因此,摄影图像成为全白图像,难以进行触碰位置检测。
对此,在利用外部光传感器15的输出值来计算外部光强度时,在指肚下像素值达到饱和状态之前(或者,达到饱和状态的时刻)降低摄像传感器12的灵敏度。例如,可以将触碰非触碰间像素值计算部5计算出的触碰非触碰间像素值作为指肚下像素值达到饱和状态的基准,并以触碰非触碰间像素值达到饱和状态为触发进行灵敏度切换。
另外,也可以预先设定能够据以推测指肚下像素值达到饱和状态(或者,将要达到饱和状态前)的外部光强度,当最佳灵敏度计算部4判断出外部光强度计算部3所计算出的外部光强度已达到基准外部光强度时,最佳灵敏度计算部4降低摄像传感器12的灵敏度。
另外,优选的是:最佳灵敏度计算部4分级降低摄像传感器12的灵敏度,例如,按照1/1、1/2、1/4的方式分级降低。这是因为,如果过分降低摄像传感器14的灵敏度,就会导致降低摄影图像的亮度,从而降低对指示物体的识别精度。
接着,说明提高摄像传感器12的灵敏度时的示例。首先,说明最佳灵敏度计算部4根据触碰非触碰间像素值计算部5计算出的触碰非触碰间像素值来设定摄像传感器12的灵敏度的情况。另外,为便于说明,将外部光强度达到饱和状态时外部光强度计算部3计算出的像素值设定为255。
如果摄像传感器12的灵敏度被设定为1/4,并且,触碰非触碰间像素值成为小于等于饱和状态时的像素值255的大约1/4即64时,就通过灵敏度提高处理将摄像传感器12的灵敏度返回到1/2灵敏度。在1/4灵敏度时触碰非触碰间像素值为64,当灵敏度返回到1/2灵敏度时,所计算出的触碰非触碰间像素值为128。如果摄像传感器12的灵敏度被设定为1/2,并且,触碰非触碰间像素值成为小于等于饱和状态时的像素值255的大约1/4即64,就通过灵敏度提高处理将摄像传感器12的灵敏度返回到1/1灵敏度。
由于触碰非触碰间像素值的饱和像素值为255,所以,当触碰非触碰间像素值大于等于255时,就难以计算出触碰非触碰间像素值的增加情况。所以,在降低灵敏度时,优选的是:按照1/1灵敏度、1/2灵敏度、1/4灵敏度的顺序降低摄像传感器12的灵敏度。但是,在提高灵敏度时,由于触碰非触碰间像素值不会达到饱和状态,因此,可将摄像传感器12的灵敏度由1/4灵敏度直接提高到1/1灵敏度。例如,如果在1/4灵敏度时触碰非触碰间像素值突然从128附近降低到32以下,就可将灵敏度由1/4灵敏度直接提高到1/1灵敏度而无需经由1/2灵敏度。
即,最佳灵敏度计算部4根据触碰非触碰间像素值对摄像传感器12的灵敏度进行分级设定,当触碰非触碰间像素值小于等于预定的基准值时,摄像传感器12的灵敏度可一次提高多级。另外,灵敏度设定并不限于上述三级设定,可以进行二级或者四级以上的设定。
另外,最佳灵敏度计算部4也能够以外部光强度计算部3计算出的外部光强度对摄像传感器12的灵敏度进行分级设定,当外部光强度小于等于预定的基准值时,摄像传感器12的灵敏度可一次提高多级。这种情况下的处理和上述根据触碰非触碰间像素值对摄像传感器12的灵敏度进行分级设定时的处理基本相同。
为了避免因外部光强度的轻微变化而频繁切换灵敏度提高处理和灵敏度降低处理,可以使灵敏度的设定存在滞后现象。具体而言,当摄像传感器12的灵敏度被设定为第一灵敏度(例如,1/1灵敏度)、外部光强度计算部3计算出的外部光强度达到第一基准值(例如,255)时,最佳灵敏度计算部4将摄像传感器12的灵敏度由第一灵敏度降低到较该第一灵敏度低的第二灵敏度(例如,1/2灵敏度),当摄像传感器12的灵敏度被设定为第二灵敏度、外部光强度降低第二基准值(例如,64)时,最佳灵敏度计算部4将摄像传感器12的灵敏度由第二灵敏度提高到第一灵敏度。并且,上述第二基准值仅比第一基准值小预定值。该预定值由本领域技术人员进行适当设定即可。
另外,上述第一基准值和上述第二基准值存储在最佳灵敏度计算部4可利用的存储部中即可。
另外,在上述说明中,最佳灵敏度计算部4根据外部光强度使摄像传感器12的灵敏度的设定存在滞后现象。在最佳灵敏度计算部4根据触碰非触碰间像素值对摄像传感器12的灵敏度进行设定时,也可以进行同样的处理。
即,当摄像传感器12的灵敏度被设定为第一灵敏度、且触碰非触碰间像素值达到第一基准值时,最佳灵敏度计算部4将摄像传感器12的灵敏度由第一灵敏度降低到较该第一灵敏度低的第二灵敏度,当摄像传感器12的灵敏度被设定为第二灵敏度、且触碰非触碰间像素值降低至第二基准值时,最佳灵敏度计算部4将摄像传感器12的灵敏度由第二灵敏度提高到第一灵敏度。第二基准值可以比第一基准值小。
如上所述,根据外部光强度提高或降低摄像传感器12的灵敏度,由此,可将图像的动态范围调整为最佳值,从而能够通过最佳的图像对指示物体进行识别处理。
[触碰位置检测装置10执行的处理的步骤]
接着,根据图16,举例说明触碰位置检测装置10执行的触碰位置检测处理的步骤。图16是表示由上述触碰位置检测装置10执行的触碰位置检测处理的步骤示例的流程图。
首先,光传感器内置式LCD11的摄像传感器12对指示物体进行图像拍摄。摄像传感器12所获取的摄影图像通过AD转换器13输出到图像调整部2(S1)。
图像调整部2接收到摄影图像(获取步骤)后,对该摄影图像实施标定处理等,在该标定处理中对摄影图像的增益和偏移量进行调整,然后,向非识别信息删除部6输出已经过调整后的摄影图像(S2)。
另一方面,当摄像传感器12对指示物体进行图像拍摄时,外部光强度计算部3如上所述利用由外部光传感器15在上述图像拍摄时输出的输出值对外部光强度进行计算(外部光强度计算步骤),并将计算出的外部光强度输出到最佳灵敏度计算部4和触碰非触碰间像素值5(S3)。另外,外部光传感器计算部3例如可根据从光传感器内置式LCD11接收的用于表示已经进行了图像拍摄的信息来识别已经进行上述图像拍摄。
最佳灵敏度计算部4根据由外部光强度计算部3计算出的外部光强度,计算出用于识别指示物体的最佳灵敏度,并将其输出到灵敏度调整部14(S4)。灵敏度调整部14对各摄像传感器12的灵敏度进行调整使其与最佳灵敏度计算部4输出的最佳灵敏度相对应。
其中,当指肚下像素值达到饱和状态时,以及,当外部光强度小于预定值时,灵敏度调整部14对摄像传感器12的灵敏度进行调整。所进行的灵敏度调整将反映在下一帧摄影图像中。
接着,触碰非触碰间像素值计算部5如上所述根据外部光强度计算部3计算出的外部光强度,计算出触碰非触碰间像素值并将其输出到非识别信息删除部6(S5)。
非识别信息删除部6获取触碰非触碰间像素值后,将摄影图像所包含的像素中其像素值大于等于触碰非触碰间像素值的像素的像素值置换为触碰非触碰间像素值,从而删除摄影图像中不能用于对指示物体进行识别的信息(即,指示物体的背景信息)(S6)。非识别信息删除部6将处理后的摄影图像输出到特征量提取部7。
特征量提取部7从非识别信息删除部6接收到摄影图像后,通过边缘检测处理对摄影图像的每一个像素提取用于表示指示物体特征的特征量(边缘特征量),并将所提取的特征量以及表示该特征量的特征区域的位置信息(像素的坐标)输出到触碰位置检测部8(S7)。
触碰位置检测部8接收到特征量和特征区域位置信息后对该特征区域实施图形匹配处理从而确定触碰位置(S8)。触碰位置检测部8向应用程序执行部30输出用于表示已确定触碰位置的坐标。
另外,在图像调整部2将调整后的摄影图像存储在存储部40的情况下,非识别信息删除部6从存储部40获取摄影图像即可。
(实施方式2)
下面,参照附图17~19说明本发明的另一个实施方式。对与实施方式1相同的部件赋予同一个标号并省略其说明。
[触碰位置检测装置20的结构]
图17是表示本实施方式的触碰位置检测装置20的结构的框图。如图17所示,与触碰位置检测装置10不同的是,触碰位置检测装置20包括特征量提取部(特征区域提取部)21和非识别信息删除部(删除部)22。
特征量提取部21从图像调整部2输出的摄影图像中提取用于表示指示物体图像的特征量。特征量提取部21和特征量提取部7执行相同的处理,只是处理对象不同而已。
非识别信息删除部22根据外部光强度计算部3计算出的外部光强度来删除用于表示特征量提取部21所提取的特征量的至少一部分。具体而言,非识别信息删除部22删除其像素值大于等于触碰非触碰间像素值计算部5计算出的触碰非触碰间像素值的像素所对应的特征量(特征区域)。如果像素所对应的特征量被删除,那么,就意味着特征区域(表示特征量的像素)被删除,所以,特征量删除和特征区域删除大致同义。
并且,触碰位置检测部8通过对已被非识别信息删除部22除噪的特征量(特征区域)实施图形匹配处理从而确定触碰位置。
图18是用于说明由非识别信息删除部22执行的非识别信息删除处理的图。如图18所示,非触碰时摄影图像中包含的未与光传感器内置式LCD11接触的指示物体的图像(其像素值大于等于触碰非触碰间像素值的像素)的特征量被非识别信息删除部22删除。所以,如图18所示,对于“删除非识别信息之前”一栏所示的图像中存在的特征量(环状区域),非触碰时摄影图像中的上述特征量被删除,而触碰时摄影图像中的上述特征量未删除。
在实施方式1的触碰位置检测装置10中,如图11所示,在使背景像素值和指肚下像素值之间的关系发生变化后(背景像素值和指肚下像素值之间的差缩小后)提取特征量,所以,在从已删除非识别信息的摄影图像中提取特征量时,用于提取边缘特征量的阈值需要发生变化(放宽阈值限制)。
另一方面,根据本实施方式的触碰位置检测装置20,在提取特征量之后删除其像素值大于等于触碰非触碰间像素值的像素所对应的特征量的情况下,无需改变特征量提取时的参数,所以,本实施方式能够取得更好的效果。
基于上述理由,在本实施方式中,在从摄影图像中提取特征量之后,利用触碰非触碰间像素值进行除噪处理。
[触碰位置检测装置20执行的处理的步骤]
接着,根据图19,举例说明触碰位置检测装置20执行的触碰位置检测处理的步骤。图19是表示由上述触碰位置检测装置20执行的触碰位置检测处理的步骤示例的流程图。图19所示的步骤S11至步骤S15与图16所示的步骤S1至步骤S5相同。
在步骤S15中,触碰非触碰间像素值计算部5将所计算出的触碰非触碰间像素值输出到非识别信息删除部22。
在步骤S16中,特征量提取部21从图像调整部2输出的摄影图像中提取用于表示指示物体图像特征的特征量,并将其中包含所提取的特征量以及表示该特征量的特征区域的位置信息的特征区域数据与摄影图像一起输出到非识别信息删除部22。
非识别信息删除部22从触碰非触碰间像素值计算部5接收到触碰非触碰间像素值、并从特征量提取部21接收到摄影图像和特征区域数据后,删除其像素值大于等于触碰非触碰间像素值的像素所对应的特征量(S17)。具体而言,非识别信息删除部22通过参照摄影图像而获取与特征区域数据表示的特征量对应的、摄影图像中的像素(特征区域)的像素值,如果该像素值大于等于触碰非触碰间像素值,就从特征区域数据中删除该像素的特征量。非识别信息删除部22对特征区域数据表示的各特征量实施上述处理。非识别信息删除部22将处理后的特征区域数据输出到触碰位置检测部8。
触碰位置检测部8接收到已由非识别信息删除部22实施处理后的特征区域数据后,对该特征区域数据表示的特征区域实施图形匹配处理从而确定触碰位置(S18)。触碰位置检测部8向应用程序执行部30输出用于表示已计算出的触碰位置的坐标。
(变形例)
本发明并不限于各上述实施方式,可在权利要求范围内作各种变更。即,通过组合在权利要求范围内进行了适当变更的技术手段所得到的实施方式也包含在本发明的技术范围之内。
当本发明是其中包括触碰非触碰间像素值计算部5、非识别信息删除部6(或非识别信息删除部22)和特征量提取部7(或特征量提取部21)的图像分析装置时,不具备外部光强度计算部3而由外部(例如,通过用户输入)获取外部光强度的结构也包含在本发明的技术范围之内。
另外,上述触碰位置检测装置10和触碰位置检测装置20的各功能块、特别是外部光强度计算部3、最佳灵敏度计算部4、触碰非触碰间像素值计算部5、非识别信息删除部6和非识别信息删除部22可由硬件逻辑构成,也可以如下所述地利用CPU并借助于软件来实现。
即,上述触碰位置检测装置10和触碰位置检测装置20具有执行用于实现各功能的控制程序的命令的CPU(central processing unit)、存储了上述程序的ROM(readonly memory)、展开上述程序的RAM(random access memory)、存储上述程序和各种数据的存储器等的存储装置(记录介质)等。此外,在记录介质中可由计算机读取地记录有作为用于实现上述功能的软件的上述触碰位置检测装置10和触碰位置检测装置20的控制程序(图像分析程序)的程序代码(执行形式程序、中间代码程序、源程序),并将该记录介质提供给上述计算机(或CPU、MPU),由其计算机(或CPU、MPU)读出被记录在上述记录介质中的程序代码并执行之,如此,也能够实现本发明的目的。
作为上述记录介质,例如,可以使用下述记录介质,即:磁带、盒式磁带等的磁带类,包括软盘、硬盘等的磁盘、CD-ROM、MO、MD、DVD、CD-R等的光盘的盘类,IC卡(包括存储器卡)、光卡等的卡类,或者,掩模型ROM、EPROM、EEPROM、闪存ROM等的半导体存储器类。
另外,上述触碰位置检测装置10和触碰位置检测装置20可以与通信网络连接,并经由通信网络来供给上述程序代码。作为上述通信网络,并没有特别的限制,例如,可利用互联网(internet)、内联网(intranet)、外联网(extranet)、LAN、ISDN、VAN、CATV通信网、虚拟专用网络(virtual private network)、电话回线网络、移动通信网络、卫星通信网络等。另外,作为构成通信网络的传送介质,并没有特别的限制,例如,可以利用IEEE1394、USB、电力线、电缆电视回线、电话线、ADSL回线等的有线通信,也可以利用诸如IrDA或遥控器等的红外线、Bluetooth(注册商标)、802.11无线通信网络、HDR、便携式电话网络、卫星回线、地面数字广播网络(terrestrial digital net)等的无线通信。另外,即使是通过电子传送而实现了上述程序代码的、载置于载波的计算机数字信号的形态,也可以实现本发明。
如上所述,本发明的摄像装置优选的是:上述外部光传感器对未透过上述指示物体的光的灵敏度低于该外部光传感器对透过上述指示物体的光的灵敏度。
根据上述结构,外部光传感器可对透过指示物体的光进行某种程度的检测,其对未透过指示物体的光的灵敏度较低。在计算外部光强度时,优选:对透过指示物体的光进行选择性检测并根据透过指示物体的光的强度计算出外部光强度。这样,能够根据计算出的外部光强度来对透过指示物体的透过光的影响进行预测。
因此,根据上述结构,能够更准确地计算出外部光强度。
本发明的摄像装置优选的是:包括多个上述外部光传感器;上述外部光传感器被配置在上述多个摄像传感器之间。
根据上述结构,在多个摄像传感器的附近分别设置外部光传感器,从而能够更准确地计算出外部光强度。
本发明的摄像装置优选的是:包括多个上述外部光传感器;上述外部光传感器被配置得与上述摄像传感器的配置区域的外缘部相邻。
根据上述结构,在上述摄像传感器的配置区域的内部不配置外部光传感器,所以能够避免摄像传感器拍摄到的摄影图像的分辨率降低。
本发明的摄像装置优选的是:包括多个上述外部光传感器;上述外部光强度计算部将上述多个外部光传感器输出的表示上述受光量的输出值中的至少一部分输出值按照由大到小的顺序排列,并将与预定位次对应的输出值作为外部光强度。
根据外部光传感器的位置,入射至该外部光传感器的外部光可能被指示物体阻断。
根据上述结构,上述外部光强度计算部选择多个外部光传感器输出的表示受光量的输出值中的至少一部分输出值,将所选择的输出值按照由大到小的顺序排列,并将与预定位次(例如,第10位)对应的输出值作为外部光强度。
因此,通过适当设定上述预定位次,可根据不易受指示物体影响的外部光传感器的输出值适当地对外部光强度进行计算。
本发明的摄像装置优选的是:上述预定位次相当于比所选择的输出值的总数的10%小的数。
根据上述结构,外部光强度计算部将其位次相当于比所选择的输出值的总数的10%小的数的输出值作为外部光强度。例如,如果所选择的像素总数为1000,上述预定位次是相当于所选择的输出值的总数的2%的数,那么,上述预定位次就为第20位次。
因此,可从外部光传感器的输出值中选择适当的输出值来计算外部光强度。
本发明的摄像装置优选的是,还包括:灵敏度设定部,根据上述外部光强度计算部计算出的外部光强度对上述摄像传感器进行灵敏度设定。
根据上述结构,可按照适当灵敏度来获取摄影图像,从而可获取适于进行指示物体识别的摄影图像。
本发明的摄像装置优选的是:上述灵敏度设定部对上述摄像传感器的灵敏度进行分级设定;当上述外部光强度小于等于预定的基准值时,上述灵敏度设定部使得上述摄像传感器的灵敏度一次提高多级。
根据上述结构,当外部光强度小于等于预定的基准值时,可使摄像传感器的灵敏度一次提高多级。因此,较之于逐级提高灵敏度,能够更迅速地进行适当的图像拍摄。
本发明的摄像装置优选的是,还包括:基准值计算部,根据上述外部光强度计算部计算出的外部光强度计算出作为基准像素值的判断基准值,该基准像素值用于判断上述摄影图像所包含的图像是否为指示物体的与上述摄像画面发生接触的接触部分的图像;以及灵敏度设定部,根据基准值计算部计算出的判断基准值对上述摄像传感器进行灵敏度设定。
根据上述结构,基准值计算部计算出用于判断上述摄影图像所包含的图像是否为指示物体的与上述摄像画面发生接触的接触部分的图像的判断基准值,灵敏度设定部根据判断基准值对上述摄像传感器进行灵敏度设定。
因此,能够以适于分析摄影图像所包含的、指示物体的与摄像画面发生接触的接触部分的图像的灵敏度获取摄影图像。
本发明的摄像装置优选的是:上述灵敏度设定部对上述摄像传感器的灵敏度进行分级设定;当上述判断基准值小于等于预定值时,上述灵敏度设定部使得上述摄像传感器的灵敏度一次提高多级。
根据上述结构,当判断基准值小于等于预定值时,使得摄像传感器的灵敏度一次提高多级。因此,较之于逐级提高灵敏度,能够更迅速地进行适当的图像拍摄。
本发明的摄像装置优选的是:上述灵敏度设定部对上述摄像传感器进行灵敏度设定,使得要形成接触部分的图像的像素的像素值不会达到饱和状态,其中,该接触部分是上述指示物体的与上述摄像画面发生接触的接触部分。
当形成指示物体的接触部分的像素的像素值饱和时,识别该指示物体的图像的精度降低。
根据上述结构,能够以形成指示物体的接触部分的图像的像素的像素值不饱和的灵敏度来获取摄影图像,从而可获取适于识别指示物体的摄影图像。
本发明的摄像装置优选的是:当上述摄像传感器的灵敏度被设定为第一灵敏度并且在该第一灵敏度条件下计算出的上述外部光强度达到第一基准值时,上述灵敏度设定部将上述摄像传感器的灵敏度由上述第一灵敏度降低到较该第一灵敏度低的第二灵敏度;当上述摄像传感器的灵敏度被设定为第二灵敏度并且在该第二灵敏度条件下计算出的上述外部光强度降低到第二基准值时,上述灵敏度设定部将上述摄像传感器的灵敏度由上述第二灵敏度提高到上述第一灵敏度;上述第二基准值小于上述第一基准值。
根据上述结构,第二基准值小于第一基准值,其中,第二基准值是在摄像传感器的灵敏度被设定为第二灵敏度的状态下将摄像传感器的灵敏度提高到第一灵敏度的外部光强度(外部光强度计算部计算出的外部光强度)的基准值,第一基准值是在摄像传感器的灵敏度被设定为第一灵敏度的状态下将摄像传感器的灵敏度降低到第二灵敏度的外部光强度(外部光强度计算部计算出的外部光强度)的基准值。
因此,在摄像传感器的灵敏度由第一灵敏度降低到第二灵敏度的情况下,外部光强度计算部计算出的外部光强度立即达到第二基准值,摄像传感器的灵敏度再次切换到第一灵敏度的可能性降低。所以,可防止下述情况的发生,即,在外部光强度仅发生稍微变化时摄像传感器的灵敏度就由第一灵敏度向第二灵敏度或者由第二灵敏度向第一灵敏度进行频繁切换。
本发明的摄像装置优选的是:当上述摄像传感器的灵敏度被设定为第一灵敏度并且在该第一灵敏度条件下上述判断基准值达到第一基准值时,上述灵敏度设定部将上述摄像传感器的灵敏度由上述第一灵敏度降低到较该第一灵敏度低的第二灵敏度;当上述摄像传感器的灵敏度被设定为第二灵敏度并且在该第二灵敏度条件下上述判断基准值降低到第二基准值时,上述灵敏度设定部将上述摄像传感器的灵敏度由上述第二灵敏度提高到上述第一灵敏度;上述第二基准值小于上述第一基准值。
根据上述结构,第二基准值小于第一基准值,其中,第二基准值是在摄像传感器的灵敏度被设定为第二灵敏度的状态下将摄像传感器的灵敏度提高到第一灵敏度的判断基准值(基准值计算部计算出的判断基准值)的基准值,第一基准值是在摄像传感器的灵敏度被设定为第一灵敏度的状态下将摄像传感器的灵敏度降低到第二灵敏度的判断基准值(基准值计算部计算出的判断基准值)的基准值。
因此,在摄像传感器的灵敏度由第一灵敏度降低到第二灵敏度的情况下,基准值计算部计算出的判断基准值立即达到第二基准值,摄像传感器的灵敏度再次切换到第一灵敏度的可能性降低。所以,可防止下述情况的发生,即,在外部光强度发生仅稍微变化时摄像传感器的灵敏度就由第一灵敏度向第二灵敏度或者由第二灵敏度向第一灵敏度进行频繁切换。
另外,用于使上述摄像装置进行动作的摄像程序、即,用于使计算机作为上述各部发挥作用的摄像程序以及其中记录有该摄像程序的计算机可读取记录介质也包含在本发明的技术范围内。
本发明的图像分析装置优选的是:上述基准值计算部通过预定的公式计算出上述基准像素值,并根据上述外部光强度区别使用多个上述预定的公式。
根据上述结构,可根据上述外部光强度计算出适于该外部光强度的基准值。例如,当外部光强度在第一范围内时,基准值计算部通过公式1计算上述基准像素值,当外部光强度在第二范围内时,基准值计算部通过公式2计算上述基准像素值。
如上所述,本发明的图像分析装置分析由摄像传感器对未接触或接触摄像画面的指示物体进行图像拍摄所得到的摄影图像,其中,上述摄像画面设置有多个上述摄像传感器。本发明的图像分析装置的特征在于,包括:获取部,获取上述摄影图像;基准值计算部,根据外部光强度即上述指示物体周围的光强度来计算基准像素值,该基准像素值用于从上述摄影图像中删除未与上述摄像画面接触时的上述指示物体的图像;以及图像处理部,根据上述基准值计算部计算出的基准像素值,将上述获取部所获取的上述摄影图像所包含的像素中的、具有上述基准像素值以上的像素值的像素的像素值置换为上述基准像素值。
另外,如上所述,本发明的图像分析方法适用于图像分析装置,该图像分析装置分析由摄像传感器对未接触或接触摄像画面的指示物体进行图像拍摄所得到的摄影图像,上述摄像画面设置有多个上述摄像传感器。本发明的图像分析方法的特征在于,包括:获取步骤,获取上述摄影图像;基准值计算步骤,根据外部光强度即上述指示物体周围的光强度来计算基准像素值,该基准像素值用于从上述摄影图像中删除未与上述摄像画面接触时的上述指示物体的图像;以及图像处理步骤,根据上述基准值计算部计算出的基准像素值,将上述获取部所获取的上述摄影图像所包含的像素中的、具有上述基准像素值以上的像素值的像素的像素值置换为上述基准像素值。
根据上述结构,基准值计算部根据外部光强度来计算基准像素值,该基准像素值用于从上述摄影图像中删除未与上述摄像画面接触时的上述指示物体的图像。图像处理部将上述摄影图像所包含的像素中的、具有上述基准像素值以上像素值的像素的像素值置换为上述基准像素值。
所以,在指示物体未接触摄像画面时,形成该指示物体的图像的像素的像素值和相当于背景的像素的像素值均下调为基准值,从而形成均匀的背景。由此,在指示物体未接触摄像画面时的该指示物体的图像从摄影图像中得以删除。
其结果,可从摄影图像中删除不能用于进行指示物体识别的、指示物体未接触摄像画面时的图像,从而能够提高指示物体的识别精度。
另外,用于使上述图像分析装置进行动作的图像分析程序、即,用于使计算机作为上述各部发挥作用的图像分析程序以及其中记录有该图像分析程序的计算机可读取记录介质也包含在本发明的技术范围内。
以上,对本发明进行了详细的说明,上述具体实施方式或实施例仅仅是揭示本发明的技术内容的示例,本发明并不限于上述具体示例,不应对本发明进行狭义的解释,可在本发明的精神和权利要求范围内进行各种变更来实施之。

Claims (21)

1.一种摄像装置,包括具备多个摄像传感器的摄像画面,利用上述摄像传感器对靠近或接触上述摄像画面的指示物体进行图像拍摄,该摄像装置的特征在于,包括:
至少一个外部光传感器,被配置在上述摄像传感器的附近,并且,光检测灵敏度低于上述摄像传感器的光检测灵敏度;以及
外部光强度计算部,根据上述外部光传感器的受光量来计算上述指示物体周围的光强度即外部光强度。
2.根据权利要求1所述的摄像装置,其特征在于:
上述外部光传感器对透不过上述指示物体的光的灵敏度低于该外部光传感器对透过上述指示物体的光的灵敏度。
3.根据权利要求1所述的摄像装置,其特征在于:
包括多个上述外部光传感器;
上述外部光传感器被配置在多个上述摄像传感器之间。
4.根据权利要求1所述的摄像装置,其特征在于:
包括多个上述外部光传感器;
上述外部光传感器被配置得与上述摄像传感器的配置区域的外缘部相邻。
5.根据权利要求1所述的摄像装置,其特征在于:
包括多个上述外部光传感器;
上述外部光强度计算部将多个上述外部光传感器输出的表示上述受光量的输出值中的至少一部分的输出值按照由大到小的顺序排列,并将与预定位次对应的输出值作为外部光强度。
6.根据权利要求5所述的摄像装置,其特征在于:
上述预定位次相当于比上述至少一部分的输出值的总数的10%小的数。
7.根据权利要求1所述的摄像装置,其特征在于,还包括:
灵敏度设定部,根据上述外部光强度计算部计算出的外部光强度对上述摄像传感器进行灵敏度设定。
8.根据权利要求7所述的摄像装置,其特征在于:
上述灵敏度设定部对上述摄像传感器的灵敏度进行分级设定;
当上述外部光强度小于等于预定的基准值时,上述灵敏度设定部使得上述摄像传感器的灵敏度一次提高多级。
9.根据权利要求1所述的摄像装置,其特征在于,还包括:
基准值计算部,根据上述外部光强度计算部计算出的外部光强度来计算出作为基准像素值的判断基准值,该基准像素值用于判断上述摄影图像所包含的图像是否为指示物体的与上述摄像画面发生接触的接触部分的图像;以及
灵敏度设定部,根据上述基准值计算部计算出的判断基准值对上述摄像传感器进行灵敏度设定。
10.根据权利要求9所述的摄像装置,其特征在于:
上述灵敏度设定部对上述摄像传感器的灵敏度进行分级设定;
当上述判断基准值小于等于预定值时,上述灵敏度设定部使得上述摄像传感器的灵敏度一次提高多级。
11.根据权利要求7所述的摄像装置,其特征在于:
上述灵敏度设定部对上述摄像传感器进行灵敏度设定,使得要形成接触部分的图像的像素的像素值不会达到饱和状态,其中,该接触部分是上述指示物体的与上述摄像画面发生接触的接触部分。
12.根据权利要求7所述的摄像装置,其特征在于:
当上述外部光强度在上述摄像传感器的灵敏度被设定为第一灵敏度的状态下达到第一基准值时,上述灵敏度设定部将上述摄像传感器的灵敏度由上述第一灵敏度降低到较该第一灵敏度低的第二灵敏度;
当上述外部光强度在上述摄像传感器的灵敏度被设定为第二灵敏度的状态下降低到第二基准值时,上述灵敏度设定部将上述摄像传感器的灵敏度由上述第二灵敏度提高到上述第一灵敏度;
上述第二基准值小于上述第一基准值。
13.根据权利要求9所述的摄像装置,其特征在于:
当上述判断基准值在上述摄像传感器的灵敏度被设定为第一灵敏度的状态下达到第一基准值时,上述灵敏度设定部将上述摄像传感器的灵敏度由上述第一灵敏度降低到较该第一灵敏度低的第二灵敏度;
当上述判断基准值在上述摄像传感器的灵敏度被设定为第二灵敏度的状态下降低到第二基准值时,上述灵敏度设定部将上述摄像传感器的灵敏度由上述第二灵敏度提高到上述第一灵敏度;
上述第二基准值小于上述第一基准值。
14.一种外部光强度计算方法,其适用于摄像装置,该摄像装置包括具备多个摄像传感器的摄像画面并利用上述摄像传感器对靠近或接触上述摄像画面的指示物体进行图像拍摄,其特征在于,包括:
外部光强度计算步骤,根据外部光传感器的受光量对外部光强度进行计算,其中,上述外部光传感器至少为一个并且被配置在上述摄像传感器的附近,上述外部光传感器的光检测灵敏度低于上述摄像传感器的光检测灵敏度;上述外部光强度是入射至上述外部光传感器的、上述指示物体周围的光的强度。
15.一种图像分析装置,分析由摄像传感器对靠近或接触摄像画面的指示物体进行图像拍摄所得到的摄影图像,其中,上述摄像画面设置有多个上述摄像传感器,该图像分析装置的特征在于,包括:
获取部,获取上述摄影图像;
基准值计算部,根据外部光强度即上述指示物体周围的光强度来计算基准像素值,该基准像素值用于从上述摄影图像中删除被拍摄对象的与上述摄像画面接触的接触部分之外的部分的图像;以及
图像处理部,根据上述基准值计算部计算出的基准像素值,对上述摄影图像所包含的像素中的一部分像素的像素值进行变更。
16.根据权利要求15所述的图像分析装置,其特征在于:
上述图像处理部将上述获取部获取的摄影图像所包含的像素中的、像素值大于等于上述基准值计算部计算出的基准像素值的像素的像素值置换为上述基准像素值。
17.根据权利要求15所述的图像分析装置,其特征在于:
上述基准值计算部通过预定的公式来计算上述基准像素值,并根据上述外部光强度区别使用多个上述预定的公式。
18.一种图像分析装置,分析由摄像传感器对靠近或接触摄像画面的指示物体进行图像拍摄所得到的摄影图像,其中,上述摄像画面设置有多个上述摄像传感器,该图像分析装置的特征在于,包括:
获取部,获取上述摄影图像;
特征区域提取部,从上述获取部所获取的摄影图像中提取用于表示上述指示物体的图像特征的特征区域;
基准值计算部,根据外部光强度即上述指示物体周围的光强度来计算基准像素值,该基准像素值用于判断上述特征区域是否为上述指示物体的与上述摄像画面接触的接触部分的图像所对应的特征区域;
删除部,从上述特征区域提取部所提取的特征区域中删除像素值大于等于上述基准值计算部计算出的基准像素值的像素所对应的特征区域;以及
位置计算部,根据未被上述删除部删除的特征区域来计算上述指示物体的与上述摄像画面接触的接触部分的图像的位置。
19.根据权利要求18所述的图像分析装置,其特征在于:
上述基准值计算部通过预定的公式计算上述基准像素值,并根据上述外部光强度区别使用多个上述预定的公式。
20.一种图像分析方法,其适用于图像分析装置,该图像分析装置分析由摄像传感器对靠近或接触摄像画面的指示物体进行图像拍摄所得到的摄影图像,上述摄像画面设置有多个上述摄像传感器,该图像分析方法的特征在于,包括:
获取步骤,获取上述摄影图像;
基准值计算步骤,根据外部光强度即上述指示物体周围的光强度来计算基准像素值,该基准像素值用于从上述摄影图像中删除被拍摄对象的与上述摄像画面接触的接触部分之外的部分的图像;以及
图像处理步骤,根据上述基准值计算步骤中计算出的基准像素值,对上述摄影图像所包含的像素中的一部分像素的像素值进行变更。
21.一种图像分析方法,其适用于图像分析装置,该图像分析装置分析由摄像传感器对靠近或接触摄像画面的指示物体进行图像拍摄所得到的摄影图像,上述摄像画面设置有多个上述摄像传感器,该图像分析方法的特征在于,包括:
获取步骤,获取上述摄影图像;
特征区域提取步骤,从上述获取步骤所获取的摄影图像中提取用于表示上述指示物体的图像特征的特征区域;
基准值计算步骤,根据外部光强度即上述指示物体周围的光强度来计算基准像素值,该基准像素值用于判断上述特征区域是否为上述指示物体的与上述摄像画面接触的接触部分的图像所对应的特征区域;
删除步骤,从上述特征区域提取步骤所提取的特征区域中删除像素值大于等于上述基准值计算步骤中计算出的基准像素值的像素所对应的特征区域;以及
位置计算步骤,根据未被上述删除部删除的特征区域来计算上述指示物体的与上述摄像画面接触的接触部分的图像的位置。
CN200910166668A 2008-08-29 2009-08-26 摄像装置、图像分析装置、外部光强度计算方法、图像分析方法 Pending CN101685363A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008222870 2008-08-29
JP2008222870A JP4796104B2 (ja) 2008-08-29 2008-08-29 撮像装置、画像解析装置、外光強度算出方法、画像解析方法、撮像プログラム、画像解析プログラムおよび記録媒体

Publications (1)

Publication Number Publication Date
CN101685363A true CN101685363A (zh) 2010-03-31

Family

ID=41724796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910166668A Pending CN101685363A (zh) 2008-08-29 2009-08-26 摄像装置、图像分析装置、外部光强度计算方法、图像分析方法

Country Status (3)

Country Link
US (1) US20100053348A1 (zh)
JP (1) JP4796104B2 (zh)
CN (1) CN101685363A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314258A (zh) * 2010-07-01 2012-01-11 原相科技股份有限公司 光学触控系统、物件位置计算装置以及物件位置计算方法
CN102622138A (zh) * 2012-02-29 2012-08-01 广东威创视讯科技股份有限公司 一种光学触控定位方法及光学触控定位系统
CN103020554A (zh) * 2011-09-27 2013-04-03 智慧光科技股份有限公司 利用光感应输入数据的电子卡装置及其方法
CN105190716A (zh) * 2013-03-14 2015-12-23 微软技术许可有限责任公司 相机非触摸开关
CN111078087A (zh) * 2019-11-25 2020-04-28 深圳传音控股股份有限公司 移动终端、控制模式切换方法及计算机可读存储介质
US10750116B2 (en) 2014-05-22 2020-08-18 Microsoft Technology Licensing, Llc Automatically curating video to fit display time

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4964850B2 (ja) * 2008-08-29 2012-07-04 シャープ株式会社 画像解析装置、画像解析方法、撮像装置、画像解析プログラムおよび記録媒体
WO2010084641A1 (ja) * 2009-01-20 2010-07-29 シャープ株式会社 光強度センサ付き液晶表示装置
US8446392B2 (en) * 2009-11-16 2013-05-21 Smart Technologies Ulc Method for determining the location of a pointer in a pointer input region, and interactive input system executing the method
JP5866089B2 (ja) * 2009-11-20 2016-02-17 株式会社半導体エネルギー研究所 電子機器
JP5464583B2 (ja) * 2009-11-27 2014-04-09 株式会社ジャパンディスプレイ センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
WO2011102501A1 (en) * 2010-02-19 2011-08-25 Semiconductor Energy Laboratory Co., Ltd. Display device and method for driving display device
KR101754382B1 (ko) * 2010-03-11 2017-07-05 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치
TWI521410B (zh) 2010-06-14 2016-02-11 原相科技股份有限公司 物件影像擷取裝置以及擷取指示物之物件影像的方法
EP2424201A3 (en) * 2010-08-31 2014-05-14 BlackBerry Limited System and method to integrate ambient light sensor data into infrared proximity detector settings
KR20130000123A (ko) * 2011-06-22 2013-01-02 한국전자통신연구원 조도 센서를 이용한 터치 입력 감지 방법 및 장치
CN103076898A (zh) * 2011-08-29 2013-05-01 日东电工株式会社 输入设备
KR101390090B1 (ko) 2012-09-18 2014-05-27 한국과학기술원 카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법
FR3001064B1 (fr) * 2013-01-15 2015-02-13 Commissariat Energie Atomique Systeme et procede de detection de la position d'un organe d'actionnement sur un ecran d'affichage
EP2954624A1 (en) 2013-02-07 2015-12-16 Interdigital Patent Holdings, Inc. Physical layer (phy) design for a low latencymillimeter wave (mmw) backhaul system
US8979398B2 (en) 2013-04-16 2015-03-17 Microsoft Technology Licensing, Llc Wearable camera
US9066007B2 (en) 2013-04-26 2015-06-23 Skype Camera tap switch
US9710108B2 (en) * 2013-12-11 2017-07-18 Sharp Kabushiki Kaisha Touch sensor control device having a calibration unit for calibrating detection sensitivity of a touch except for a mask region
WO2015145778A1 (ja) 2014-03-28 2015-10-01 パイオニア株式会社 車載用照明装置
US9451178B2 (en) 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
JP6553406B2 (ja) * 2014-05-29 2019-07-31 株式会社半導体エネルギー研究所 プログラム、及び情報処理装置
US9454259B2 (en) * 2016-01-04 2016-09-27 Secugen Corporation Multi-level command sensing apparatus
DK179034B1 (en) 2016-06-12 2017-09-04 Apple Inc Devices, methods, and graphical user interfaces for dynamically adjusting presentation of audio outputs
CN107491283B (zh) * 2016-06-12 2020-03-27 苹果公司 用于动态地调整音频输出的呈现的设备、方法和图形用户界面

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176192A (ja) * 2000-09-12 2002-06-21 Rohm Co Ltd 照度センサチップ、照度センサ、照度測定装置、および照度測定方法
JP2002231993A (ja) * 2001-02-05 2002-08-16 Toshiba Corp 半導体受光装置および半導体受光装置を備えた電気機器
JP4257221B2 (ja) * 2003-03-31 2009-04-22 東芝松下ディスプレイテクノロジー株式会社 表示装置および情報端末装置
JP4703206B2 (ja) * 2004-05-31 2011-06-15 東芝モバイルディスプレイ株式会社 画像取込機能付き表示装置
FR2878657B1 (fr) * 2004-11-30 2007-03-02 Thales Sa Filtre non lineaire d'impulsions femtosecondes a contraste eleve
US7800594B2 (en) * 2005-02-03 2010-09-21 Toshiba Matsushita Display Technology Co., Ltd. Display device including function to input information from screen by light
JP4550619B2 (ja) * 2005-02-24 2010-09-22 東芝モバイルディスプレイ株式会社 平面表示装置とその画像取り込み方法。
JP5016896B2 (ja) * 2006-11-06 2012-09-05 株式会社ジャパンディスプレイセントラル 表示装置
JP5301240B2 (ja) * 2007-12-05 2013-09-25 株式会社ジャパンディスプレイウェスト 表示装置
JP5191226B2 (ja) * 2007-12-19 2013-05-08 株式会社ジャパンディスプレイウェスト 表示装置および電子機器

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314258A (zh) * 2010-07-01 2012-01-11 原相科技股份有限公司 光学触控系统、物件位置计算装置以及物件位置计算方法
CN102314258B (zh) * 2010-07-01 2013-10-23 原相科技股份有限公司 光学触控系统、物件位置计算装置以及物件位置计算方法
CN103020554A (zh) * 2011-09-27 2013-04-03 智慧光科技股份有限公司 利用光感应输入数据的电子卡装置及其方法
CN102622138A (zh) * 2012-02-29 2012-08-01 广东威创视讯科技股份有限公司 一种光学触控定位方法及光学触控定位系统
CN102622138B (zh) * 2012-02-29 2014-12-24 广东威创视讯科技股份有限公司 一种光学触控定位方法及光学触控定位系统
CN105190716A (zh) * 2013-03-14 2015-12-23 微软技术许可有限责任公司 相机非触摸开关
US9516227B2 (en) 2013-03-14 2016-12-06 Microsoft Technology Licensing, Llc Camera non-touch switch
US10750116B2 (en) 2014-05-22 2020-08-18 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
CN111078087A (zh) * 2019-11-25 2020-04-28 深圳传音控股股份有限公司 移动终端、控制模式切换方法及计算机可读存储介质

Also Published As

Publication number Publication date
JP4796104B2 (ja) 2011-10-19
JP2010055573A (ja) 2010-03-11
US20100053348A1 (en) 2010-03-04

Similar Documents

Publication Publication Date Title
CN101685363A (zh) 摄像装置、图像分析装置、外部光强度计算方法、图像分析方法
US11509830B2 (en) Electronic device and method for changing magnification of image using multiple cameras
JP4699536B2 (ja) 位置検出装置、制御方法、制御プログラムおよび記録媒体
RU2639648C1 (ru) Способ и устройство распознавания отпечатков пальцев
EP3453794B1 (en) Foreign matter recognition method and device
US7969410B2 (en) Optically detecting click events
KR101960906B1 (ko) 정보 처리 장치, 방법, 및 비일시적 컴퓨터 판독가능 매체
CN107450817B (zh) 接近检测方法、装置、存储介质及电子设备
WO2020200182A1 (en) Method for fingerprint recognition, electronic device, and non-transitory computer-readable storage medium
JP4690473B2 (ja) 画像解析装置、画像解析方法、撮像装置、画像解析プログラムおよび記録媒体
CN107330859B (zh) 一种图像处理方法、装置、存储介质及终端
CN101641666A (zh) 图像处理装置、控制程序、计算机可读取的记录介质、电子设备以及图像处理装置的控制方法
CN111598070A (zh) 指纹和接近度感测设备以及其感测方法
CN102194254A (zh) 信息处理设备、信息处理方法,和程序
CN109639896A (zh) 遮挡物检测方法、装置、存储介质及移动终端
CN109076159A (zh) 电子设备及其操作方法
KR20180102331A (ko) 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
CN106651777A (zh) 图像处理方法及装置、电子设备
US10885298B2 (en) Method and device for optical fingerprint recognition, and computer-readable storage medium
US7631811B1 (en) Optical headset user interface
JP2006243927A (ja) 表示装置
CN108989638A (zh) 成像装置及其控制方法、电子装置和计算机可读存储介质
CN104699279A (zh) 可悬浮操作的位移检测装置和包含该装置的电脑系统
CN110059627A (zh) 一种显示控制方法及终端
CN110796673B (zh) 图像分割方法及相关产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100331