CN101661353B - 图像识别方法、图像识别装置以及图像输入输出装置 - Google Patents

图像识别方法、图像识别装置以及图像输入输出装置 Download PDF

Info

Publication number
CN101661353B
CN101661353B CN2009101667007A CN200910166700A CN101661353B CN 101661353 B CN101661353 B CN 101661353B CN 2009101667007 A CN2009101667007 A CN 2009101667007A CN 200910166700 A CN200910166700 A CN 200910166700A CN 101661353 B CN101661353 B CN 101661353B
Authority
CN
China
Prior art keywords
light
data
image
differential data
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009101667007A
Other languages
English (en)
Other versions
CN101661353A (zh
Inventor
山口和范
千田满
建内满
原田勉
津崎亮一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Display Inc
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101661353A publication Critical patent/CN101661353A/zh
Application granted granted Critical
Publication of CN101661353B publication Critical patent/CN101661353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals

Abstract

提供一种图像识别方法、图像识别装置以及图像输入输出装置,其不依赖由于外部环境或装置的内部结构所引起的噪声的历时变化,能够高精度地识别与光接收面内接近或者接触的对称物。所述图像识别方法包括:第1步骤(步骤S1),在光接收面上矩阵状地配置的光接收元件中,取得第n次光接收数据;第2步骤(步骤S2),在所述光接收元件中取得第n+1次光接收数据;第3步骤(步骤S3),计算从所述第n+1次取得的光接收数据中减去所述第n次取得的光接收数据的差分数据;以及第4步骤(步骤S4~),基于差分数据进行图像识别。

Description

图像识别方法、图像识别装置以及图像输入输出装置
技术领域
本发明涉及图像识别方法、图像识别装置以及图像输入输出装置,特别涉及用于识别活动图像的方法和用于实施该方法的装置,进而进行这样的图像识别方法的具有图像输入功能和显示功能的图像输入输出装置。
背景技术
作为附带用于识别在显示面附近的图像的图像输入功能的显示装置,例如提出了与显示像素相邻地设置了光接收元件的结构。在这样的结构的显示装置中,由于外部环境的变化或装置的内部结构所引起的噪声对输入的光接收图像的识别精度产生较大影响。
因此,提出了如下方法:作为在光接收图像中固定地产生的噪声,计算使显示面发光的状态下测量的光接收量和不发光的状态下测量的光接收量之差,并将其作为初始值来存储,从之后的光接收图像中减去初始值。在该方法中,在获得光接收图像时,也计算使显示面发光的状态下测量的光接收量和不发光的状态下测量的光接收量之差,并从计算的值减去上述的噪声(初始值)。通过这样的方法,能够良好地进行对于显示面的接触或者接近的判定,而不会被使用环境或内部结构所影响(参照下述专利文献1)。
【专利文献1】(日本)特开2007-25796号公报
但是,在这样的方法中,在设定作为噪声分量的初始值时,需要计划在显示面附近没有设置检测对象物的状态下取得光接收图像。因此,难以应对使用显示装置的环境的变化、历时变化。
此外,在上述专利文献1中,记载了初始值的设定是在产品出厂前的步骤中进行,或者也可以通过用户操作随时更新初始值。随时更新初始值有可能会应对某种程度的环境变化或历时变化,但需要用户操作的方面比较烦杂。
发明内容
因此,本发明的目的在于,提供一种不依赖由于外部环境或装置的内部结构所引起的噪声的历时变化,能够高精度地识别与光接收面内接近或者接触的对称物的图像识别方法,以及提供一种进行该图像识别方法的图像识别装置以及图像输入输出装置。
通过以下的步骤进行用于达成这样的目的的本发明的图像识别方法。首先,在第1步骤中,在光接收面上矩阵状地配置的光接收元件中,取得第n次光接收数据。接着,在第2步骤中,在光接收元件中取得第n+1次光接收数据。之后,在第3步骤中,计算从第n+1次取得的光接收数据中减去第n次取得的光接收数据的差分数据。进而,在第4步骤中,基于算出的差分数据进行图像识别。然后,重复进行以上的第1步骤至第4步骤。
此外,本发明也可以是进行以上所述的图像识别方法的图像识别装置。该图像识别装置包括:光接收面,矩阵状地配置光接收元件;以及驱动单元,重复进行在光接收元件中的光接收数据的取得。此外,包括图像处理单元,其计算从在光接收元件中第n+1次取得的光接收数据中减去第n次取得的光接收数据的差分数据,并基于该差分数据进行图像识别。
此外,在进行如上所述那样的图像识别方法的图像输入输出装置中,本发明是上述的发光元件配置在进行图像显示的显示面的结构。
在如上所述那样的图像识别方法中,计算从最新(第n+1次)的光接收数据中减去其之前(第n次)取得的光接收数据的差分数据。因此,该差分数据成为,由于光接收面的外部环境(亮度或温度等)的变化或设置光接收元件的装置的内部结构所引起而在最新的光接收数据中产生的历时性的噪声被之前的光接收数据除去的数据。因此,通过基于这样的差分数据进行图像识别,能够进行除去了上述的历时性的噪声的图像识别,而无需进行特殊操作。
根据以上说明的本发明,可进行除去了由于光接收面的外部环境的变化或设置光接收元件的装置的内部结构所引起而在光接收数据中产生的历时性的噪声的图像识别,而无需进行特殊操作。其结果,无需对用户要求特殊操作且能够以稳定并高精度地对光接收面接近或者接触的检测对象量进行图像识别。
附图说明
图1是实施方式的图像输入输出装置的概略结构图。
图2是在实施方式的图像输出装置中设置的I/O显示面板的方框图。
图3是表示在I/O显示面板的显示区域内配置的像素电路以及光接收电路的一例的电路图。
图4是表示I/O显示面板的面板结构的图。
图5是表示在图像输入输出装置中进行的图像识别方法的第1例的流程图。
图6是表示在光接收元件中取得的光接收数据和差分数据的图。
图7是表示在差分数据中的阈值的设定的图。
图8是表示距离[d]和峰值信号量的变化率[β]的关系的图。
图9是表示在1帧内的检测对象物R的移动距离[D]和光接收元件中的光接收量之间的关系的图。
图10是将图8和图9统一的数据换算用表的图。
图11是表示在图像输入输出装置中进行的图像识别方法的第2例的流程图。
图12是用于说明将差分数据[DataB-A]中的光接收量差[I]进行放大而作为放大光接收量差[I`]的例子的图。
图13是表示在图像输入输出装置中进行的图像识别方法的第3例的流程图。
图14是表示在图像输入输出装置中进行的图像识别方法的第4例的流程图。
图15是表示在图像输入输出装置中进行的图像识别方法的第5例的流程图。
图16是表示在图像输入输出装置中进行的图像识别方法的第6例的流程图。
图17是表示来自光接收元件的光接收数据的输出的定时的例子的图。
图18是表示用于说明实施方式的变形例1的光接收数据和差分数据的图。
图19是表示在变形例中的来自光接收元件的光接收数据的输出的定时的例子的图。
图20是用于说明实施方式的变形例2的图。
标号说明
1...图像输入输出装置(图像识别装置)、15...光接收驱动单元电路(驱动单元)、19...图像处理单元、32b...光接收元件、[DataA]、[DataB]...光接收数据、[DataB-A]...差分数据、Bt...谷值、[d]...峰值和谷值的距离、h...用于显示的光、H...外部光、P...峰值、S...显示/光接收面
具体实施方式
以下,基于附图详细说明本发明的图像识别方法、图像识别装置以及图像输入输出装置的实施方式。其中,首先说明具有图像识别部件的图像输入输出装置的概略结构,接着说明在该图像输入输出装置中作为特征性结构而在该装置中进行的图像识别方法。
《图像输入输出装置的结构》
图1表示图像输入输出装置1的概略结构图。在该图中所示的图像输入输出装置1例如是具有显示功能和图像输入功能的便携设备。该图像输入输出装置1包括:I/O显示面板11,其具有显示功能和光接收输入功能;显示驱动电路13;光接收驱动电路15;图像处理单元17;设备控制器19,执行应用程序;以及数据的通信单元21。
如在以后详细说明地那样,在I/O显示面板11,进行图像显示的显示面也成为光接收面,对该显示/光接收面S以矩阵状地排列了光接收元件。这样,成为与显示/光接收面S接近或者接触的检测对象物的反射光或者影子作为光接收数据而被检测的结构。
在具有这样的I/O显示面板11的图像输入输出装置1中,若从设备控制器19输出的显示数据输入到显示驱动电路13,则基于输入的显示数据进行在I/O显示面板11中的显示。
另一方面,从I/O显示面板11输入的光接收数据被输出到光接收驱动电路15,并依次存储到光接收驱动电路15,之后输出到图像处理单元17。在图像处理单元17中,基于光接收数据分析与显示/光接收面S接近或者接触的检测对象物的位置信息、面积信息、形状信息等,并输出到便携设备的设备控制器19。在设备控制器19中,进行基于来自I/O显示面板11的输出结果的处理,并反映到I/O显示面板11中的显示图像或者控制与外部进行通信等的设备。
此外,在该图像输入输出装置1中,将光接收驱动单元电路15设为驱动单元,执行在I/O显示面板11中设置的光接收元件中的光接收数据的取得。
本实施方式的特征在于,通过上述的光接收驱动电路(驱动单元)15的光接收元件的驱动、以及在图像处理单元17中的基于光接收数据的图像识别处理的步骤,对于该步骤在以后详细说明。
图2表示I/O显示面板11的方框图。在该图所示的I/O显示面板11由例如在中央的显示区域11a全面以矩阵状地配置多个像素的液晶面板(LiquidCrystal Display:LCD)构成,具有进行线依次动作的同时显示基于显示数据的规定的图形或字符等的图像的功能(显示功能)。在该I/O显示面板11中,作为光源而具有背光灯,且在与I/O显示面板11的动作定时同步的规定定时进行接通/断开动作。此外,如后所述那样,在显示区域11a中,光接收元件以矩阵状地配置,且设有用于检测与I/O显示面板11的显示/光接收面S接近或者接触的物体的光接收功能(拍摄功能)。
此外,在显示区域11a的4个边侧,配置了显示用H驱动器11b、显示用V驱动器11c、传感器用H驱动器11d、传感器用V驱动器11e,分别控制在显示区域11a中的对水平方向(H)以及垂直方向(V)的驱动。其中,对显示用H驱动器11b和显示用V驱动器11c,作为显示数据而提供显示信号和控制时钟,从而进行在显示区域11a以矩阵状地配置的显示像素的驱动。对传感器用H驱动器11d和传感器用V驱动器11e提供读取用的时钟,从而将与该时钟同步地读取的光接收信号作为光接收数据而提供给光接收驱动电路(15)。
图3表示在显示区域11a内配置的显示像素电路31、以及包括光接收元件的光接收电路32的例子。
其中,显示像素电路31例如沿水平方向配置显示选择线31a,沿垂直方向配置显示信号线31b,这些布线31a、31b的各个交叉部分配置有开关元件SW1。对开关元件SW1连接了像素电极31c以及电容元件Cs,开关元件SW1通过经由显示选择线31a所得到的信号而进行接通/断开动作,基于在接通状态时经由显示信号线31b所提供的信号而对像素电极31c施加像素电压,从而液晶层被驱动。
另一方面,光接收电路32配置在显示区域11a内的规定部分,其也可以与各个显示像素电路31对应地设置,也可以对多个显示像素电路31按一个比例来设置。该光接收电路32例如沿水平方向配置电源线32a,在电源线32a连接了光接收元件32b。对各个光接收元件32b连接了重置开关SW2和电容元件Cd,进而经由放大器Amp连接了读取开关SW3。然后,在通过重置开关SW2进行重置之后,在读取开关SW3接通的定时,与通过光接收元件32b进行光电转换的电荷成比例的电压经由放大器Amp而输出到外部。
此外,图4表示I/O显示面板11的面板结构。如该图所示那样,使用液晶面板而构成的I/O显示面板11在两张透明基板11-1、11-2之间夹着液晶层(省略图示),进而在透明基板11-1、11-2的外侧设置了偏光板11-4、11-3。在与显示/光接收面S相反侧的透明基板11-1的面向液晶层的面侧,设置了使用图3说明的显示像素电路31和光接收电路32,在该透明基板11-1的外侧经由偏光板11-3而设置了背光灯11-5。
在这样的I/O显示面板11中,将背光灯11-5接通,从而点亮显示光h的状态下进行图像的显示。此时,在从背光灯11-5放出后通过了偏光板11-3的显示光h中透过了通过在显示电路中设置的像素电极的驱动而成为规定的定向模式的液晶层的显示光h,通过透明基板11-2以及偏光板11-4而从显示/光接收面S放出,从而显示图像。
另一方面,通过在显示/光接收面S接近或者接触的检测对象物R进行反射的显示光h,在光接收电路中设置的光接收元件所检测。进而,从显示/光接收面S侧入射的外部光H被检测对象物R所遮挡的影子,在光接收电路中设置的光接收元件所检测。然后,基于检测出的光接收数据,按照以下的步骤进行检测对象物R的图像识别。
《图像识别方法-1》
图5是表示在上述结构的图像输入输出装置中进行的图像识别方法的第1例的流程图。以下,基于图5的流程图以及之前的图1、图4,并根据需要参照其他图,说明图像识别方法的第1例。此外,在这里,进行以检测与显示/光接收面S接近或者接触的检测对象物R进行反射的显示光h,从而识别检测对象物R的图像的情况为例示的说明。
首先,在步骤S1中,取得第n=1帧(第n=1次)的光接收数据[DataA]。在这里,通过光接收驱动电路(驱动单元)15,将对该显示/光接收面S以矩阵状地配置的光接收元件所光接收的第1帧的光接收信号作为第n=1次光接收数据而取得。此时,在显示/光接收面S的全面扫描来自光接收元件的输出,从而取得一张图像。
并且,设为例如取得了在图6的[DataA]所示的一张图像。为了简单,关注在该图像中的A-A`的一列信号(光接收量)的光接收数据[DataA]。从该光接收量可知,光接收元件的噪声在整体中存在,在检测对象物R所在的位置中进而加上该信号电平从而提高。此时,可知在第n=1帧(第n=1次)的图像中,在左侧中央附近存在检测对象物R。
如上那样取得的光接收数据[DataA]存储在光接收驱动电路(驱动单元)15的存储单元A中。
接着,在步骤S2中,取得第n+1帧(第n+1=2次)的光接收数据[DataB]。在这里,通过光接收驱动电路(驱动单元)15,将对该显示/光接收面S以矩阵状地配置的光接收元件所光接收的第2帧的光接收信号作为第n+1=2次光接收数据而取得。此时,在显示/光接收面S的全面扫描来自光接收元件的输出,从而取得一张图像。
并且,设为例如取得了在图6的[DataB]所示的一张图像。为了简单,关注在该图像中的A-A`的一列信号(光接收量)的光接收数据[DataB]。从该光接收量可知,光接收元件的噪声在整体中存在,在检测对象物R所在的位置中进而加上该信号电平从而提高。此时,可知在第n+1帧(第n+1=2次)的图像中检测对象物R移动到右侧中央附近。
取得的光接收数据[DataB]存储在光接收驱动电路(驱动单元)15的存储单元B中。
接着,在步骤S3中,计算从在第n+1次取得的光接收数据[DataB]减去在第n次取得的光接收数据[DataA]的差分数据[DataB-A]。在图6的[DataB-A]表示该差分数据[DataB-A]。该差分数据[DataB-A]成为连续取得的光接收数据[DataB]、[DataA]的噪声被抵消的数据。此外,在最新的第n+1次取得的光接收数据[DataB]作为峰值P而显现,在其之前的第n次取得的光接收数据[DataB]作为谷值(bottom)Bt而显现。
然后,在接下来的步骤S4之后,基于差分数据[DataB-A]进行图像识别。
其中,在按照步骤S4之后的步骤进行图像识别之前,说明在图像识别时需要的数据换算用表的生成。
<关于数据换算用表的生成>
首先,作为第1现象,在显示/光接收面S内的检测对象物R的移动距离近的范围下,在上述的差分数据[DataB-A]中的峰值P和谷值Bt的绝对值的大小依赖该移动距离而变化。其中,检测对象物R的移动距离是光接收数据[DataA]的峰值位置和光接收数据[DataB]的峰值位置的间隔,相当于峰值P和谷值Bt之间的距离。
即,如图6所示那样,在光接收数据[DataA]、[DataB]中的光接收量的峰值位置在某种程度的范围内充分偏离的情况下,在它们的差分数据[DataB-A]中各个峰值不会互相干扰。因此,在差分数据[DataB-A]中的峰值P和谷值Bt的绝对值不会依赖峰值P和谷值Bt的距离[d],大致等于在光接收数据[DataA]、[DataB]中的峰值。
相对于此,如图7所示那样,在光接收数据[DataA]、[DataB]的峰值位置的间隔小的情况下,在它们的差分数据[DataB-A]中各个峰值会互相干扰。因此,在差分数据[DataB-A]中的峰值P和谷值Bt的绝对值会依赖峰值P和谷值Bt的距离[d],从而会小于在光接收数据[DataA]、[DataB]中的峰值。
然后,如图8所示那样,在差分数据[DataB-A]中的峰值P和谷值Bt的距离[d]在达到某种程度的大小为止的范围内,峰值信号量的变化率[β(d)]依赖该距离[d]而增加。此外,在图8中,将峰值P和谷值Bt的绝对值例如图6所示那样不依赖峰值P和谷值Bt的距离[d](即,光接收数据[DataA]、[DataB]的峰值位置的距离)的区域中的峰值信号量设为100%。
接着,作为第2现象,在显示/光接收面S内检测对象物R高速移动的情况下,检测对象物R在各个光接收元件上滞留的时间短。因此,如图9所示那样,依赖于在1帧内检测对象物R的移动距离[D],各个光接收元件的光接收量减少。此外,该移动距离[D]对应于峰值P和谷值Bt的距离[d]。此外,光接收量对应于光接收量的变化率[β(d)]。
因此,预先生成将上述第1现象和第2现象统一的如图10所示的数据换算用表。该数据换算用表是将在如图8所示的差分数据[DataB-A]中产生的峰值信号量的变化率[β(d)]和如图9所示的依赖检测对象物R的移动距离D的在光接收元件中的光接收量的变化进行统一的表。
并且,在图5的流程图所示的下一个步骤S4中,根据通过步骤S3算出的差分数据[DataB-A]而测量峰值P和谷值Bt之间的距离[d]。例如,在图7的差分数据[DataB-A]的情况下,测量出距离[d]=0.2。
接着,在步骤S5中,基于预先取得的图10的数据换算用表和通过步骤S4测量的距离[d](=0.2),取得在差分数据[DataB-A]中的峰值信号量的变化率[β(d)](=27.5%)。
之后,在步骤S6中,将用于对差分数据[DataB-A]进行二值化的标准阈值T变换为与在步骤S5取得的峰值信号量的变化率[β(d)](=27.5%)匹配的阈值T`=T×β(d)。其中,标准阈值T例如是峰值信号量的变化率[β(d)](=100%)的半值宽度的位置等,且设为标准阈值T=40。这样,变换为阈值T`=T×[β(d)]-1=40×0.275=11(参照图7)。
接着,在步骤S7中,通过设定的阈值T`对差分数据[DataB-A]进行二值化,将阈值T`以上的峰值信号量设为1,将小于阈值T`的峰值信号量设为0。
然后,在步骤S8中,将进行了二值化的数据作为图像信息而输出,检测在显示/光接收面S中的检测对象物R的位置、大小、形状。
之后,在步骤S9中,将第n+1帧(第n+1=2次)的光接收数据[DataB]替换为光接收数据[DataA]而存储到光接收驱动电路15的存储单元A。此外,将n+1替换为n。
之后,返回到步骤S2,依次重复进行步骤S2~步骤S9的处理。在此期间,通过光接收驱动电路(驱动单元)15中的驱动,重复进行在光接收元件中的光接收数据的取得。
以上,步骤S1~步骤S9的处理是在图像处理单元17中进行。
根据以上的第1例的方法中,计算从最新的(第n+1次)的光接收数据[DataB]中减去在其之前(第n次)取得的光接收数据[DataA]的差分数据[DataB-A]。因此,该差分数据[DataB-A]成为,由具有显示/光接收面S的便携用的图像输入输出装置1的外部环境(亮度或温度等)的变化或图像输入输出装置1的内部结构所引起而在最新的光接收数据[DataB]中产生的历时性的噪声被之前的光接收数据[DataA]除去的数据。
因此,通过基于这样的差分数据[DataB-A]进行图像识别,无需进行特殊的操作,就能够进行稳定地除去了上述的历时性的噪声的高精度的图像识别。此外,该方法特别在显示/光接收面S内沿X-Y方向移动的检测对象物R的图像检测中有效。
《图像识别方法-2》
图11是表示通过上述结构的图像输入输出装置进行的图像识别方法的第2例的流程图。该流程图所示的第2例的步骤与使用图5的流程图说明的第1例的步骤的不同点在于,用于对差分数据[DataB-A]进行二值化的步骤S6`、S7`,其他的步骤S1~S5、S8、S9相同。以下,基于图11的流程图,根据需要参照其他图,说明图像识别方法的第2例。此外,对与图5的流程图相同的处理附加相同的步骤标号简化说明。
首先,与上述的第1例相同地进行步骤S1~S5。
即,在步骤S1中,取得第n次的光接收数据[DataA],在步骤S2中,取得第n+1次的光接收数据[DataB],进而在步骤S3中计算差分数据[DataB-A]。接着,在步骤S4中,从差分数据[DataB-A]测量峰值P和谷值Bt的距离[d](=0.2)。
之后,在步骤S5中,基于预先取得的图10的数据换算用表和通过步骤S4测量的距离[d](=0.2),取得在差分数据[DataB-A]中的峰值信号量的变化率[β(d)](=27.5%)。此外,图10的数据换算用表通过与第1例相同地得到。
然后,在下一个步骤S6`中,基于在步骤S5中取得的变化率[β(d)],如图12所示那样将在差分数据[DataB-A]中的光接收量差[I]放大,从而得到放大光接收量差[I`]。此时,例如设为放大光接收量差[I`]=光接收量差[I]×(1÷[β(d)])。
接着,在步骤S7`中,将设为放大光接收量差[I`]的差分数据[DataB-A]进行二值化,将标准阈值T以上的峰值信号量设为1,将小于标准阈值T的峰值信号量设为0。
之后,与第1例相同地进行步骤S8、S9。首先,在步骤S8中,将进行了二值化的数据作为图像信息而输出。此外,在步骤S9中,将第n+1帧(第n+1=2次)的光接收数据[DataB]替换为光接收数据[DataA]而存储到光接收驱动电路15的存储单元A。此外,将n+1替换为n。
之后,返回到步骤S2,依次重复进行步骤S2~步骤S9的处理。在此期间,通过光接收驱动电路(驱动单元)15中的驱动,重复进行在光接收元件中的光接收数据的取得。
以上,步骤S1~步骤S6`、S7`~步骤S9的处理是在图像处理单元17中进行。
在以上的第2例中,也计算从最新(第n+1次)的光接收数据[DataB]减去在其之前(第n次)取得的光接收数据[DataA]的差分数据[DataB-A]。因此,通过与第1例相同地基于这样的差分数据[DataB-A]进行图像识别,从而无需进行特殊的操作,就能够进行稳定地除去了上述的历时性的噪声的高精度的图像识别。此外,该方法特别在显示/光接收面S内沿X-Y方向移动的检测对象物R的图像检测中有效。
《图像识别方法-3》
图13是表示在上述结构的图像输入输出装置中进行的图像识别方法的第3例的流程图。该流程图所示的第3例的步骤与使用图5的流程图说明的第1例的步骤的不同点在于,在步骤S4和步骤S5之间加入关于距离[d]进行判断的步骤S4a之处。以下,基于图13的流程图,根据需要参照其他图,说明图像识别方法的第3例。此外,对与图5的流程图相同的处理附加相同的步骤标号简化说明。
首先,与上述的第1例以及第2例相同地进行步骤S1~S4。
即,在步骤S1中,取得第n次的光接收数据[DataA],在步骤S2中,取得第n+1次的光接收数据[DataB],进而在步骤S3中计算差分数据[DataB-A]。接着,在步骤S4中,根据差分数据[DataB-A]测量峰值P和谷值Bt的距离[d]。
之后,在新加入的步骤S4a中,判断在步骤S4中测量的峰值P和谷值Bt的距离[d]是否大于规定距离[d1]。其中,在显示/光接收面S内的检测对象物R的移动距离,即在差分数据[DataB-A]中的峰值P和谷值Bt的距离[d]极其小的情况下,在差分数据[DataB-A]中的峰值P的输出信号的电平也变小,检测变得困难。
因此,只有在步骤S4a中,判断为峰值P和谷值Bt的距离[d]大于规定距离[d1]的情况下(是),进入步骤S5。之后,与第1例相同地进行步骤S5~步骤S9。
即,首先在步骤S5中,基于预先取得的图10的数据换算用表和通过步骤S4测量的距离[d],取得在差分数据[DataB-A]中的峰值信号量的变化率[β(d)]。此外,图10的数据换算用表通过与第1例相同地得到。
在接下来的步骤S6中,将用于对差分数据[DataB-A]进行二值化的标准阈值T变换为与在步骤S5取得的峰值信号量的变化率[β(d)](=27.5%)匹配的阈值T`=T×β(d)。
接着,在步骤S7中,通过设定的阈值T`对差分数据[DataB-A]进行二值化。
然后,在步骤S8中,将进行了二值化的数据作为图像信息而输出。
之后,在步骤S9中,将光接收数据[DataB]替换为光接收数据[DataA],并将n+1替换为n,返回到步骤S2。
另一方面,在步骤S4a中,判断为峰值P和谷值Bt的距离[d]不大于规定距离[d1]的情况下(否),直接返回到步骤S2,重新取得第n+1次的光接收数据[DataB]。即,直到在步骤S4a中判断为差分数据[DataB-A]中产生的峰值和谷值的距离[d]大于规定值[d1]为止,重新取得第n+1次的光接收数据[DataB]。并且,只有在判断为距离[d]大于规定值[d1]的情况下,为了将此时取得的光接收数据[DataB]作为图像信息来采用,进入之后的步骤S5~S9。
此外,也可以在步骤S4a中判断为峰值P和谷值Bt的距离[d]不大于规定距离[d1]的情况下(否),判断为检测对象物R没有相对于显示/光接收面S进行移动,继续输出之前输出的二值化数据。
以上,步骤S1~步骤S4a~步骤S9的处理是在图像处理单元17中进行。
在以上的第3例的方法中,也计算从在最新(第n+1次)的光接收数据[DataB]减去在其之前(第n次)取得的光接收数据[DataA]的差分数据[DataB-A]。因此,通过与第1例相同地基于这样的差分数据[DataB-A]进行图像识别,从而无需进行特殊的操作,就能够进行稳定地除去了上述的历时性的噪声的高精度的图像识别。此外,该方法特别在显示/光接收面S内沿X-Y方向移动的检测对象物R的图像检测中有效。
此外,根据第3例的方法,新加入步骤S4a而只有在判断为差分数据[DataB-A]中产生的峰值和谷值的距离[d]大于规定值[d1]的情况下,将此时取得的光接收数据[DataB]作为图像信息来采用。这样,在显示/光接收面S内的检测对象物R的移动距离,即在差分数据[DataB-A]中的峰值P和谷值Bt之间的距离[d]极其小,在差分数据[DataB-A]中的峰值P的输出信号的电平不充分的情况下,不使用其光接收数据[DataB]而继续输出之前输出的二值化数据,从而能进行防止了输出的数据消失的图像识别。
《图像识别方法-4》
图14是表示在上述结构的图像输入输出装置中进行的图像识别方法的第4例的流程图。该流程图所示的第4例的步骤是将之前的第3例应用到第2例的步骤,是对使用图11的流程图说明的第2例的步骤加入了在第3例中追加的步骤S4a的步骤。除了步骤S4a以外的其他步骤S1~步骤S6`、S7`~步骤S9与第2例相同。以下,基于图14的流程图,根据需要参照其他图,说明图像识别方法的第4例。此外,对与之前的流程图相同的处理附加相同的步骤标号简化说明。
首先,与上述的第1例~第3例相同地进行步骤S1~S4。
即,在步骤S1中,取得第n次的光接收数据[DataA],在步骤S2中,取得第n+1次的光接收数据[DataB],进而在步骤S3中计算差分数据[DataB-A]。接着,在步骤S4中,根据差分数据[DataB-A]测量峰值P和谷值Bt的距离[d]。
之后,在新加入的步骤S4a中,判断在步骤S4中测量的峰值P和谷值Bt的距离[d]是否大于规定距离[d1]。其中,在显示/光接收面S内的检测对象物R的移动距离,即在差分数据[DataB-A]中的峰值P和谷值Bt的距离[d]极其小的情况下,在差分数据[DataB-A]中的峰值P的输出信号的电平也变小,检测变得困难。
因此,只有在步骤S4a中,判断为峰值P和谷值Bt的距离[d]大于规定距离[d1]的情况下(是),进入步骤S5。
首先,步骤S5与第1例相同地进行即可,基于预先取得的图10的数据换算用表和通过步骤S4测量的距离[d],取得在差分数据[DataB-A]中的峰值信号量的变化率[β(d)]。此外,图10的数据换算用表通过与第1例相同地得到。
在接下来的步骤S6`中,基于在步骤S5中取得的变化率[β(d)],如图12所示那样,将在差分数据[DataB-A]中的光接收量差[I]进行放大而得到放大光接收量差[I`]。放大的步骤与第2例的步骤S6`相同。
接着,在步骤S7`中,将设为放大光接收量差[I`]的差分数据[DataB-A]进行二值化,将标准阈值T以上的峰值信号量设为1,将小于标准阈值T的峰值信号量设为0。
然后,在步骤S8中,将进行了二值化的数据作为图像信息而输出。
之后,在步骤S9中,将光接收数据[DataB]替换为光接收数据[DataA],并将n+1替换为n,返回到步骤S2。
另一方面,在步骤S4a中,判断为峰值P和谷值Bt的距离[d]不大于规定距离[d1]的情况下(否),直接返回到步骤S2,重新取得第n+1次的光接收数据[DataB]。即,直到在步骤S4a中判断为差分数据[DataB-A]中产生的峰值和谷值的距离[d]大于规定值[d1]为止,重新取得第n+1次的光接收数据[DataB]。并且,只有在判断为距离[d]大于规定值[d1]的情况下,为了将此时取得的光接收数据[DataB]作为图像信息来采用,进入之后的步骤S5~S9。
此外,也可以与第3例相同地在步骤S4a中判断为峰值P和谷值Bt的距离[d]不大于规定距离[d1]的情况下(否),判断为检测对象物R没有相对于显示/光接收面S进行移动,继续输出之前输出的二值化数据。
以上,步骤S1~步骤S4a~步骤S9的处理是在图像处理单元17中进行。
在以上的第4例的方法中,也与第3例相同地,无需进行特殊的操作,就能够进行稳定地除去了历时性的噪声的高精度的图像识别,此外,通过加入新的步骤S4a,从而即使在显示/光接收面S内的检测对象物R的移动距离小的情况下,也能进行防止了输出的数据消失的图像识别。
《图像识别方法-5》
图15是表示在上述结构的图像输入输出装置中进行的图像识别方法的第5例的流程图。该流程图所示的第5例的步骤是对使用图13的流程图说明的第3例的步骤进一步加入了步骤S7a、S7b、S8`之处。以下,基于图15的流程图,根据需要参照其他图,说明图像识别方法的第5例。此外,对与之前的流程图相同的处理附加相同的步骤标号简化说明。
首先,与上述的第1例~第4例相同地进行步骤S1~S4。
即,在步骤S1中,取得第n次的光接收数据[DataA],在步骤S2中,取得第n+1次的光接收数据[DataB],进而在步骤S3中计算差分数据[DataB-A]。接着,在步骤S4中,根据差分数据[DataB-A]测量峰值P和谷值Bt的距离[d]。
之后,在步骤S4a中,与第3例相同地,判断在步骤S4中测量的峰值P和谷值Bt的距离[d]是否大于规定距离[d1]。并且,只有在该步骤S4a中,判断为峰值P和谷值Bt的距离[d]大于规定距离[d1]的情况下(是),进入步骤S5。
在步骤S5中,基于预先取得的图10的数据换算用表和通过步骤S4测量的距离[d],取得在差分数据[DataB-A]中的峰值信号量的变化率[β(d)]。此外,图10的数据换算用表通过与第1例相同地得到。
在接下来的步骤S6中,将用于对差分数据[DataB-A]进行二值化的标准阈值T变换为与在步骤S5取得的峰值信号量的变化率[β(d)](=27.5%)匹配的阈值T`=T×β(d)。
接着,在步骤S7中,通过设定的阈值T`对差分数据[DataB-A]进行二值化。
之后,在新加入的步骤S7a中,将在步骤S7中得到的二值化数据作为二值化数据[DataC]来存储。在之前存储有二值化数据[DataC]的情况下,将在步骤S7中得到的二值化数据作为新的二值化数据[DataC]而改写。
之后,在步骤S8中,将在步骤S7a中存储或者改写的新的二值化数据[DataC]作为图像信息而输出。
进而,在步骤S9中,将光接收数据[DataB]替换为光接收数据[DataA],并将n+1替换为n,返回到步骤S2。
另一方面,在步骤S4a中,判断为峰值P和谷值Bt的距离[d]不大于规定距离[d1]的情况下(否),进入新加入的步骤S7b。
在步骤S7b中,读取已经存储的二值化数据[DataC]。
然后,在接下来的步骤S8`中,将在步骤S7b中读取的二值化数据[DataC]作为图像信息而输出。之后,返回到步骤S2,重新取得第n+1次的光接收数据[DataB]。这样,直到在步骤S4a中判断为差分数据[DataB-A]中产生的峰值和谷值的距离[d]大于规定值为止,重新取得第n+1次的光接收数据[DataB]。并且,只有在判断为距离[d]大于规定值的情况下,为了将此时取得的光接收数据[DataB]采用作为图像信息,进入之后的步骤S5之后。
在以上的第5例的方法中,也与第3例相同地,无需进行特殊的操作,就能够进行稳定地除去了历时性的噪声的高精度的图像识别,此外,通过加入新的步骤S4a,从而即使在显示/光接收面S内的检测对象物R的移动距离小的情况下,也能进行防止了输出的数据消失的图像识别。此外,特别在第5例中,通过加入步骤S7b、S8`而读取最新存储的二值化数据[DataC],从而能够进行更加自然的图像识别。
此外,该第5例的步骤还能够适用于之前的第4例。此时,在表示第4例的步骤的图14的流程图的步骤S7`之后,追加上述的步骤S7a。此外,在图14的流程图中的步骤S4a和步骤S2之间,从步骤S4a侧开始依次追加上述的步骤S7b和步骤S8`即可,能够得到与本第5例相同的效果。
《图像识别方法-6》
图16是表示在上述结构的图像输入输出装置中进行的图像识别方法的第6例的流程图。该流程图所示的第6例的步骤是对使用图15的流程图说明的第5例的步骤进一步加入了步骤S4b之处。以下,基于图16的流程图,根据需要参照其他图,说明图像识别方法的第6例。此外,对与之前的流程图相同的处理附加相同的步骤标号简化说明。
首先,与第5例相同地进行步骤S1~S4、以及进而在接下来的步骤S4a中判断为距离峰值P和谷值Bt的距离[d]大于规定距离[d1]的情况下(是)进入的步骤S5~步骤S9。
另一方面,在该步骤S4a中,判断为在步骤S4中测量的峰值P和谷值Bt的距离[d]不大于规定距离[d1]的情况下(否),进入新加入的步骤S4b。
在步骤S4b中,判断二值化数据[DataC]的读取次数是否为k次以上。其中,二值化数据[DataC]的读取次数是指,在接下来的步骤S7b中的二值化数据[DataC]的读取次数,设为连续读取了同一个二值化数据[DataC]的次数。
在该步骤S4b中,判断为二值化数据[DataC]的读取次数不是k次以上的情况下(否),进入接下来的步骤S7b并读取存储着的二值化数据[DataC]。
然后,在接下来的步骤S8`中,将在步骤S7b中读取的二值化数据[DataC]作为图像信息而输出。之后,返回到步骤S2,重新取得第n+1次的光接收数据[DataB]。
另一方面,在步骤S4b中,判断为二值化数据[DataC]的读取次数是k次以上的情况下(是),进入步骤S5。然后,基于在之前的步骤S4中测量的距离[d]而取得峰值信号量的变化率[β(d)],进而与上述相同地进行步骤S6之后。即,在连续使用作为前一次得到的图像信息的二值化数据[DataC]的次数达到规定次数k的情况下,基于其之前取得的光接收数据[DataB]而取得下一个图像信息。
在以上的第6例的方法中,也与第3例相同地,无需进行特殊的操作,就能够进行稳定地除去了历时性的噪声的高精度的图像识别,此外,通过加入新的步骤S4a,从而即使在显示/光接收面S内的检测对象物R的移动距离小的情况下,也能进行防止了输出的数据消失的图像识别。此外,特别在第6例中,与第5例相同地,通过加入步骤S7b、S8`而读取最新存储的二值化数据[DataC],从而能够进行更加自然的图像识别。进而,在第6例中,通过追加步骤S4b,从而在连续使用存储着的二值化数据[DataC]的次数达到规定次数k的情况下,基于其之前取得的光接收数据[DataB]而取得下一个图像信息。这样,能够进行更加自然的图像识别。
此外,该第6例的步骤还能够适用于之前的第4例。此时,在表示第4例的步骤的图14的流程图的步骤S7`之后,追加上述的步骤S7a。此外,在图14的流程图中的步骤S4a和步骤S2之间,从步骤S4a侧开始依次追加上述的步骤S4b、步骤S7b和步骤S8`即可,能够得到与本第6例相同的效果。
此外,在以上说明的第1例~第6例的步骤中,例示了检测与显示/光接收面S接近或者接触的检测对象物R所反射的显示光h,从而识别检测对象物R的图像的情况。即,如图17所示那样,通过在点亮显示光h的状态下,在一个光接收帧内在显示/光接收面S的全面扫描来自光接收元件的输出,从而进行通过检测对象物R反射的显示光h的检测。
因此,在步骤S6中将用于对差分数据[DataB-A]进行二值化的标准阈值T变换为与在步骤S5取得的峰值信号量的变化率[β(d)]匹配的阈值T`。
但是,第1例~第6例的步骤还能够适用于通过检测对象物R遮挡的外部光H来识别检测对象物R的图像的方法中。
《变形例1》
说明将第1例~第6例的步骤适用于通过检测被检测对象物R所遮挡的外部光H来识别检测对象物R的图像的方法的情况的变形例。其中,作为一例,基于图5的流程图以及之前的图1、图4,根据需要参照其他图,说明图像识别方法的第1例的变形例1。
首先,在步骤S1中,取得第n=1帧(第1次)的光接收数据[DataA]。在这里,通过光接收驱动电路(驱动单元)15,将通过对该显示/光接收面S以矩阵状地配置的光接收元件所光接收的第1次的光接收信号作为第n=1次的光接收数据而取得。此时,在显示/光接收面S的全面扫描来自光接收元件的输出,从而取得一张图像。
并且,设为例如取得了在图18的[DataA]所示的一张图像。为了简单,关注在该图像中的A-A`的一列信号(光接收量)的光接收数据[DataA]。从该光接收量可知,光接收元件的噪声在整体中存在,在检测对象物R所在的位置中其信号电平降低。此时,可知在第n=1次的图像中,在左侧中央附近存在检测对象物R。
如上那样取得的光接收数据[DataA]存储在光接收驱动电路(驱动单元)15的存储单元A中。
在接下来的步骤S2中,取得第n+1=2帧(第2次)的光接收数据[DataB]。在这里,通过光接收驱动电路(驱动单元)15,将通过对该显示/光接收面S以矩阵状地配置的光接收元件所光接收的第2帧的光接收信号作为第n+1=2次的光接收数据而取得。此时,在显示/光接收面S的全面扫描来自光接收元件的输出,从而取得一张图像。
并且,设为例如取得了在图18的[DataB]所示的一张图像。为了简单,关注在该图像中的A-A`的一列信号(光接收量)的光接收数据[DataB]。从该光接收量可知,光接收元件的噪声在整体中存在,在检测对象物R所在的位置中其信号电平降低。此时,可知在第n+1=2次的图像中检测对象物R移动到右侧中央附近。
取得的光接收数据[DataB]存储在光接收驱动电路(驱动单元)15的存储单元B中。
接着,在步骤S3中,计算从在第n+1次取得的光接收数据[DataB]减去在第n次取得的光接收数据[DataA]的差分数据[DataB-A]。在图18的[DataB-A]表示该差分数据[DataB-A]。该差分数据[DataB-A]成为连续取得的光接收数据[DataB]、[DataA]的噪声被抵消的数据。此外,在最新的第n+1次取得的光接收数据[DataB]作为谷值Bt而显现,在其之前的最新的第n次取得的光接收数据[DataA]作为峰值P而显现。
然后,在接下来的步骤S4之后,基于差分数据[DataB-A]进行图像识别。
其中,在按照步骤S4之后的步骤进行图像识别之前,与之前的变形例中说明的情况相同地,预先生成在图像识别时需要的数据换算用表。
然后,在图5的流程图所示的下一个步骤S4中,根据通过步骤S3算出的差分数据[DataB-A]而测量峰值P和谷值Bt之间的距离[d]。例如在图18的差分数据[DataB-A]的情况下,测量出距离[d]=1.0。
接着,在步骤S5中,基于预先取得的数据换算用表和通过步骤S4测量的距离[d](=1.0),取得在差分数据[DataB-A]中的峰值信号量的变化率[β(d)]。
之后,在步骤S6中,将用于对差分数据[DataB-A]进行二值化的标准阈值T变换为与在步骤S5取得的峰值光量的变化率[β(d)]匹配的阈值T`=T×β(d)。其中,将标准阈值T设定在负(-)侧,并变换为与在步骤S5取得的谷值光量的变化率[β(d)]匹配的负侧的阈值T`。这样,将在上述的差分数据[DataB-A]中产生的谷值用作图像信息。这一点就是与检测显示光h的反射的第1例的不同之处。
以下,步骤S7之后进行与第1例同样的步骤,从而将基于最新(第n+1次)的光接收数据[DataB]进行了二值化的数据作为图像信息而反复输出。
如上所述那样,通过检测被检测对象物R所遮挡的外部光H,也能够计算从最新的(第n+1次)光接收数据[DataB]中减去了在其之前(第n次)取得的光接收数据[DataA]的差分数据[DataB-A],所以能够得到与第1例相同的效果。
此外,在以上的变形例中,说明了为了将在上述的差分数据[DataB-A]中产生的谷值用作图像信息,而将用于对差分数据[DataB-A]进行二值化的标注阈值T设定在负(-)侧的情况。但是,也可以进行例如将差分数据[DataB-A]的符号(±)相反的处理,使得在最新的第n+1次取得的光接收数据[DataB]作为峰值P而显现,在其之前的第n次取得的光接收数据[DataA]作为谷值Bt而显现。此时,标准阈值T与第1例相同地在正(+)侧即可。
如以上那样的通过检测被检测对象物R所遮挡的外部光H而识别检测对象物R的图像的变形例,不仅适用于第1例,还能够作为第2例~第6例来适用。在各个例子中,将标准阈值T设定在负(-)侧,或者,进行处理使得最新的第n+1次取得的光接收数据[DataB]作为峰值P而显现,在其之前的第n次取得的光接收数据[DataA]作为谷值Bt而显现即可,都能够与各个例子得到相同的效果。
此外,在以上说明的变形例的步骤中,例示了通过检测被与显示/光接收面S接近或者接触的检测对象物R所遮挡的外部光H,从而识别检测对象物R的图像的情况。因此,如图19所示那样,在通过点亮显示光h从而在显示/光接收面S中进行图像显示的期间停止显示光h的点亮。然后,在停止显示光h的点亮的一个光接收帧内,在显示/光接收面S的全面扫描来自光接收元件的输出,从而进行被检测对象物R所遮挡的外部光H的检测。
《变形例2》
接着,作为第1例~第6例的步骤的变形例2,基于图20说明检测检测对象物R所反射的显示光h和通过检测对象物R所遮挡的外部光H的两个光,从而识别检测对象物R的图像的方法。
如该图所示那样,设为在图像输入输出装置中进行使显示光h闪烁的图像显示。
然后,首先在显示光h点亮的状态下,关于检测对象物R所反射的显示光h的光接收数据,作为第n(h)=1帧[第n(h)=1次]的光接收数据[DataA(h)]而取得。此时,在显示/光接收面S的全面扫描来自光接收元件的输出,从而取得一张图像。
然后,设为例如取得了如[DataA(h)]所示的一张图像。为了简单,关注在该图像中的A-A`的一列信号(光接收量)的光接收数据[DataA(h)]。从该光接收量可知,光接收元件的噪声在整体中存在,在检测对象物R所在的位置中其信号电平变高。此时,可知在关于显示光h的第n(h)=1次的图像中,在左侧中央附近存在检测对象物R。
如以上那样取得的光接收数据[DataA(h)]存储在光接收驱动电路(驱动单元)15的存储单元中。
接着,在显示光h熄灭的状态下,关于被检测对象物R所遮挡的外部光H的光接收数据,取得第n(H)=1帧[第n(H)=1次]的光接收数据[DataA(H)]。此时,在显示/光接收面S的全面扫描来自光接收元件的输出,从而取得一张图像。
然后,设为例如取得了如[DataA(H)]所示的一张图像。为了简单,关注在该图像中的A-A`的一列信号(光接收量)的光接收数据[DataA(H)]。从该光接收量可知,光接收元件的噪声在整体中存在,在检测对象物R所在的位置中其信号电平变低。此时,可知在关于外部光H的第n(H)=1次的图像中,检测对象物R移动到画面中央附近。
取得的光接收数据[DataA(H)]存储在光接收驱动电路(驱动单元)15的存储单元中。
并且,计算从在之后取得的有关外部光H的第n(H)=1次的光接收数据[DataA(H)]中减去在之前取得的有关显示光h的第n(h)=1次的光接收数据[DataA(h)]的第n=1次的n差分数据[DataA(H)-A(h)]。并且,将在第n=1次计算的n差分数据[DataA(H)-A(h)]替换为n差分数据[DataA]。
此外,接着在显示光h点亮的状态下,关于检测对象物R所反射的显示光h的光接收数据,作为第n(h)+1=2帧[第n(h)+1=2次]的光接收数据[DataB(h)]而取得。此时,在显示/光接收面S的全面扫描来自光接收元件的输出,从而取得一张图像。
如以上那样取得的光接收数据[DataB(h)]存储在光接收驱动电路(驱动单元)15的存储单元中。
接着,在显示光h熄灭的状态下,关于被检测对象物R所遮挡的外部光H的光接收数据,取得第n(H)+1=2帧[第n(H)+1=2次]的光接收数据[DataB(H)]。此时,在显示/光接收面S的全面扫描来自光接收元件的输出,从而取得一张图像。
取得的光接收数据[DataB(H)]存储在光接收驱动电路(驱动单元)15的存储单元中。
并且,计算从在之后取得的有关外部光H的第n(H)+1=2次的光接收数据[DataB(H)]中减去在之前取得的有关显示光h的第n(h)+1=2次的光接收数据[DataB(h)]的第n+1=2次的n+1差分数据[DataB(H)-B(h)]。并且,将在第n+1=2次计算的n+1差分数据[DataB(H)-B(h)]替换为n+1差分数据[DataB]。
接着,计算从n+1差分数据[DataB(H)-B(h)]减去n差分数据[DataA]的差分数据[DataB-A]。该差分数据[DataB-A]成为关于显示光h以及外部光H分别2次连续取得的光接收数据的噪声被抵消的数据。此外,最新的n+1差分数据[Data B]作为峰值P而显现,在其之前的n差分数据[DataA]作为谷值Bt而显现。
在以上的处理之后,基于差分数据[DataB-A],与在第1例~第6例中的步骤S4以后的步骤相同地进行图像识别。此时,将n+1差分数据[DataB]替换为n差分数据[DataA]。这样,能够将基于最新的光接收数据[DataB]而进行了二值化的数据作为图像信息而反复输出。
如上所述那样,通过检测被检测对象物R所反射的显示光h和被检测对象物R所遮挡的外部光H的两个光,也能够关于显示光h以及外部光H,从各自的最新(第n+1次)的光接收数据[DataB(h)]以及[DataB(H)]减去在其之前(第n次)取得的光接收数据[DataA(h)]以及[DataA(H)],从而计算最新的差分数据[DataB-A]而使用。因此,能够得到与第1例~第6例的各个例子相同的效果。
此外,在以上的变形例2中,还能够适用变形例1。例如,在上述的变形例2中,在n差分数据[DataA(H)-A(h)]以及n+1差分数据[DataB(H)-B(h)]的计算上都使用了显示光h的光接收数据和在接着其检测出的外部光H的光接收数据。但是,与此相反地,也可以在第n次差分数据的计算上使用外部光H的光接收数据和接着其检测出的显示光h的光接收数据。
此时,成为n差分数据[DataA(h)-A(H)],成为n+1差分数据[DataB(h)-B(H)]。然后,如在变形例1中说明那样,将用于进行二值化的标准阈值T设定在负(-)侧,或者,进行处理使得最新的n+1差分数据[DataB]作为峰值P而显现,在其之前的n差分数据[DataA]作为谷值Bt而显现即可。
进而,在该第2变形例中,首先在使用图20说明那样进行了图像识别之后,如上所述那样进行适用了变形例1的图像识别,也可以交替地重复它们。
此时,首先,如使用图20说明那样,进行基于从n差分数据[DataA(H)-A(h)]以及n+1差分数据[DataB(H)-B(h)]算出的差分数据[DataB-A]的图像识别。接着,将用于n差分数据和n+1差分数据的光接收帧偏移一个,适用于变形例1而进行基于从n差分数据[DataA(h)-A(H)]以及n+1差分数据[DataB(h)-B(H)]算出的差分数据[DataB-A]的图像识别。然后,重复进行这些图像识别。这样,重复进行上述的变形例2的处理的图像识别和将变形例1适用于变形例2的图像识别。
这样,与仅适用变形例2的情况相比,能够得到活动灵活的图像识别。

Claims (14)

1.一种图像识别方法,包括:
第1步骤,在光接收面上矩阵状地配置的光接收元件中,取得第n次光接收数据;
第2步骤,在所述光接收元件中取得第n+1次光接收数据;
第3步骤,计算从所述第n+1次取得的光接收数据中减去所述第n次取得的光接收数据的差分数据;以及
第4步骤,基于所述差分数据进行图像识别,
在所述第4步骤中,将在所述差分数据中产生的峰值或者谷值中的任一个设为图像信息,
在所述第4步骤中,根据在所述差分数据中产生的峰值和谷值之间的距离,调整用于对所述图像信息进行二值化的阈值。
2.如权利要求1所述的图像识别方法,
在所述第4步骤中,只有在判断为所述差分数据中产生的峰值和谷值之间的距离比规定值还大的情况下,得到所述图像信息。
3.如权利要求1所述的图像识别方法,
在所述第4步骤中,在没有判断为所述差分数据中产生的峰值和谷值之间的距离比规定值大的情况下,将上一次得到的图像信息用作基于该差分数据的图像信息。
4.如权利要求3所述的图像识别方法,
在连续使用所述上一次得到的图像信息的次数达到规定次数的情况下,基于所述差分数据得到图像信息。
5.如权利要求1至4的任一项所述的图像识别方法,
在所述光接收面中,进行所述光接收数据的取得和将该光接收面设为显示面的显示,
通过接收用于所述显示的光的反射光和入射到所述光接收面的外部光中的至少一个,取得所述光接收数据。
6.一种图像识别方法,包括:
第1步骤,在光接收面上矩阵状地配置的光接收元件中,取得第n次光接收数据;
第2步骤,在所述光接收元件中取得第n+1次光接收数据;
第3步骤,计算从所述第n+1次取得的光接收数据中减去所述第n次取得的光接收数据的差分数据;以及
第4步骤,基于所述差分数据进行图像识别,
在所述第4步骤中,将在所述差分数据中产生的峰值或者谷值中的任一个设为图像信息,
在所述第4步骤中,根据在所述差分数据中产生的峰值和谷值之间的距离,放大所述图像信息。
7.如权利要求6所述的图像识别方法,
在所述第4步骤中,只有在判断为所述差分数据中产生的峰值和谷值之间的距离比规定值还大的情况下,得到所述图像信息。
8.如权利要求6所述的图像识别方法,
在所述第4步骤中,在没有判断为所述差分数据中产生的峰值和谷值之间的距离比规定值大的情况下,将上一次得到的图像信息用作基于该差分数据的图像信息。
9.如权利要求8所述的图像识别方法,
在连续使用所述上一次得到的图像信息的次数达到规定次数的情况下,基于所述差分数据得到图像信息。
10.如权利要求6至9的任一项所述的图像识别方法,
在所述光接收面中,进行所述光接收数据的取得和将该光接收面设为显示面的显示,
通过接收用于所述显示的光的反射光和入射到所述光接收面的外部光中的至少一个,取得所述光接收数据。
11.一种图像识别装置,其特征在于,包括:
光接收面,矩阵状地配置光接收元件;
驱动单元,重复进行在所述光接收元件中的光接收数据的取得;以及
图像处理单元,计算从在所述光接收元件中第n+1次取得的光接收数据中减去第n次取得的光接收数据的差分数据,并基于该差分数据进行图像识别,
在所述图像处理单元中,将在所述差分数据中产生的峰值或者谷值中的任一个设为图像信息,
在所述图像处理单元中,根据在所述差分数据中产生的峰值和谷值之间的距离,调整用于对所述图像信息进行二值化的阈值。
12.一种图像识别装置,其特征在于,包括:
光接收面,矩阵状地配置光接收元件;
驱动单元,重复进行在所述光接收元件中的光接收数据的取得;以及
图像处理单元,计算从在所述光接收元件中第n+1次取得的光接收数据中减去第n次取得的光接收数据的差分数据,并基于该差分数据进行图像识别,
在图像处理单元中,将在所述差分数据中产生的峰值或者谷值中的任一个设为图像信息,
在图像处理单元中,根据在所述差分数据中产生的峰值和谷值之间的距离,放大所述图像信息。
13.一种图像输入输出装置,其特征在于,包括:
显示面,进行图像显示;
光接收元件,矩阵状地配置在所述显示面;
驱动单元,进行在所述显示面中的图像显示,并重复进行在所述光接收元件中的光接收数据的取得;以及
图像处理单元,计算从在所述光接收元件中第n+1次取得的光接收数据中减去第n次取得的光接收数据的差分数据,并基于该差分数据进行图像识别,
在图像处理单元中,将在所述差分数据中产生的峰值或者谷值中的任一个设为图像信息,
在图像处理单元中,根据在所述差分数据中产生的峰值和谷值之间的距离,调整用于对所述图像信息进行二值化的阈值。
14.一种图像输入输出装置,其特征在于,包括:
显示面,进行图像显示;
光接收元件,矩阵状地配置在所述显示面;
驱动单元,进行在所述显示面中的图像显示,并重复进行在所述光接收元件中的光接收数据的取得;以及
图像处理单元,计算从在所述光接收元件中第n+1次取得的光接收数据中减去第n次取得的光接收数据的差分数据,并基于该差分数据进行图像识别,
在图像处理单元中,将在所述差分数据中产生的峰值或者谷值中的任一个设为图像信息,
在图像处理单元中,根据在所述差分数据中产生的峰值和谷值之间的距离,放大所述图像信息。
CN2009101667007A 2008-08-28 2009-08-28 图像识别方法、图像识别装置以及图像输入输出装置 Active CN101661353B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP219198/08 2008-08-28
JP2008219198A JP4849106B2 (ja) 2008-08-28 2008-08-28 画像認識方法、画像認識装置、および画像入出力装置

Publications (2)

Publication Number Publication Date
CN101661353A CN101661353A (zh) 2010-03-03
CN101661353B true CN101661353B (zh) 2012-07-11

Family

ID=41724714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101667007A Active CN101661353B (zh) 2008-08-28 2009-08-28 图像识别方法、图像识别装置以及图像输入输出装置

Country Status (5)

Country Link
US (1) US8558854B2 (zh)
JP (1) JP4849106B2 (zh)
KR (1) KR101613725B1 (zh)
CN (1) CN101661353B (zh)
TW (1) TWI399674B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6748026B2 (ja) * 2017-04-28 2020-08-26 シャープ株式会社 タッチパネル入力装置
US11073947B2 (en) 2017-09-25 2021-07-27 Kddi Corporation Touch panel device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1768322A (zh) * 2003-03-31 2006-05-03 东芝松下显示技术有限公司 显示装置及信息终端装置
CN1896941A (zh) * 2005-07-12 2007-01-17 索尼株式会社 显示设备以及显示方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4707689A (en) * 1985-03-25 1987-11-17 AT&T Information Systems Inc. American Telephone & Telegraph Company Adaptive thresholding scheme for optically-based touch screens
GB2368492B (en) * 2000-10-23 2004-02-18 Nat Air Traffic Services Ltd audio communications system with co-channel transmitters
WO2003073159A1 (en) * 2002-02-20 2003-09-04 Planar Systems, Inc. Light sensitive display
JP4257221B2 (ja) * 2003-03-31 2009-04-22 東芝松下ディスプレイテクノロジー株式会社 表示装置および情報端末装置
JP2006107243A (ja) * 2004-10-07 2006-04-20 Canon Inc 光学式座標入力装置
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
SG159501A1 (en) * 2006-08-31 2010-03-30 Sony Corp Image-processing apparatus, image processing method and image processing program
JP2008097172A (ja) * 2006-10-10 2008-04-24 Sony Corp 表示装置および表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1768322A (zh) * 2003-03-31 2006-05-03 东芝松下显示技术有限公司 显示装置及信息终端装置
CN1896941A (zh) * 2005-07-12 2007-01-17 索尼株式会社 显示设备以及显示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2006-107243A 2006.04.20
JP特开2008-97172A 2008.04.24

Also Published As

Publication number Publication date
JP4849106B2 (ja) 2012-01-11
CN101661353A (zh) 2010-03-03
KR20100027010A (ko) 2010-03-10
TWI399674B (zh) 2013-06-21
TW201023008A (en) 2010-06-16
KR101613725B1 (ko) 2016-04-19
US8558854B2 (en) 2013-10-15
US20100053227A1 (en) 2010-03-04
JP2010055349A (ja) 2010-03-11

Similar Documents

Publication Publication Date Title
KR101222095B1 (ko) 디스플레이 장치 및 디스플레이 방법
CN101713878B (zh) 显示面板、显示装置
JP5014439B2 (ja) 光センサ付き表示装置
CN101251780B (zh) 具有屏幕输入功能的图像显示装置
CN101446876B (zh) 触摸屏设备
US8878816B2 (en) Active pixel sensor and method for making same
CN101675466B (zh) 显示装置、显示控制方法以及电子设备
KR101542397B1 (ko) 접촉 감지 기능이 있는 표시 장치 및 그 구동 방법
CN102687102B (zh) 具备光传感器的显示装置
CN102132238A (zh) 显示装置
CN101842765A (zh) 附带光传感器的显示装置
KR102206332B1 (ko) 지문 인식 소자를 포함한 표시 장치
CN101911159A (zh) 带光传感器的显示装置
CN101971126B (zh) 带光传感器的显示装置及其驱动方法
CN101943977A (zh) 显示萤幕系统及其提供和使用的方法
CN101393500A (zh) 电光装置、电子设备及指示物体的检测方法
KR20120013615A (ko) 표시장치 및 이의 구동 방법
CN101135949A (zh) 成像和显示设备、信息输入设备、物体检测介质及方法
CN101661353B (zh) 图像识别方法、图像识别装置以及图像输入输出装置
CN104865575A (zh) 光电传感器
CN107272938A (zh) 检测装置、显示装置以及检测方法
TW201913340A (zh) 觸控顯示裝置、觸控電路以及觸控感測方法
CN102117596A (zh) 有机发光显示器及外界输入检测方法
CN110415657A (zh) 液晶显示装置
CN102511027A (zh) 显示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NIPPON DISPLAY CO., LTD.

Free format text: FORMER OWNER: SONY CORPORATION

Effective date: 20121115

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20121115

Address after: Aichi

Patentee after: Japan display West Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Sony Corporation

TR01 Transfer of patent right

Effective date of registration: 20211021

Address after: Tokyo, Japan

Patentee after: JAPAN DISPLAY Inc.

Address before: Aichi

Patentee before: Japan display West Co.,Ltd.

TR01 Transfer of patent right