(5)具体实施方式
现在参照附图对本发明进行描述。
在本发明的一个实施例中,按照从传感器电路中读出像素数据的顺序对粗划分的特征进行解释。
(1)获得一个能够对由于在LCD中存在点状瑕疵或线状瑕疵而局部丢失的部分进行补偿的电路。
(2)在这种情况下,抑制了外部集成电路(信号处理部)电路规模的增加以及电路成本的上升。
(3)获得制造成品率高的带有光输入功能的显示器件。
(4)获得一种带有光输入功能、能够无需给光源固定上用来确定接触/非接触状态的开关即正确地确定接触/非接触状态的显示器件。
图1显示了一个带有光输入功能的显示器件10的阵列基片100,以及一个控制阵列基片100的图像感测操作并接收、处理图像感测数据的信号处理部500。
信号处理部500以集成电路的形式形成,其一部分以块形表示。
如图1所示,例如,带有光输入功能(或带有取像功能的显示装置)的显示器件100是一个由形成在玻璃基片上的多晶硅薄膜晶体管驱动的液晶显示器。
信号处理部500是一个为专门用途而制的ASIC、数字信号处理器DSP、中央处理单元CPU或类似装置。该部用来执行各种过程,例如,重新在显示器上显示图像感测中的图像或摄取中的图像、在存储器设备中保留有关图像、或者对摄取中的图像进行处理以输入坐标数据。然而,在本例中,省略了对通过信号处理部500控制显示操作的那一部分的解释。
在阵列基片100的显示区域110中,形成有多条平行排列的扫描线X和多条排列成与这多条扫描线X相交叉的信号线Y。为了便于理解,在图1中显示了一条扫描线X(n)和一条信号线Y(m)作为代表。用作显示装置的像素电路122和用作感光装置的传感器电路124布置在所述多条扫描线X与所述多条信号线Y之间的交叉部分处。图1中,显示了一个像素电路122和一个传感器电路124作为代表。
经由所述多条扫描线X和所述多条信号线Y来驱动像素电路122的驱动电路形成在阵列基片100的显示区域110的周边部位中。该驱动电路包括驱动每一行单元的多个像素电路122的扫描线驱动电路132和向要驱动的像素电路122提供图像信号的信号线驱动电路134。
又,用于控制多个传感器电路124的控制装置设置在阵列基片100的显示区域110的周边部位中。该控制装置包括对传感器电路124进行预充电的预充电电路138、为每个行单元指定传感器电路124的传感器控制电路136、使来自传感器电路124的输出进行模/数转换过程的模/数转换器140、从模/数转换器140接收数字数据输出并将相应数据输出到信号处理部500的输出处理部150。输出处理部150包括模/数转换器140、滤波器152和数据传送部154。传感器控制电路136和预充电电路138形成传感器驱动部。此外,扫描线驱动电路132和信号线驱动电路134形成像素驱动部。
在阵列基片100中,首先,利用设置在交叉部分120处的传感器电路124,入射光强度信息被转换成模拟信号,该模拟信号借助设置在阵列基片100周边部位中的模/数转换器140转换成数字图像数据。数字图像数据利用设置在阵列基片100周边部位中的图像感测数据输出处理部150输出到信号处理部500。输出处理部150包括滤波器152和数据传送部154。从模/数转换器140输出的数据由滤波器152进行过滤过程并顺次经由数据传送部154提供给信号处理部500。
在图2和图3中,显示的是图中所示像素电路122和传感器电路124基本配置的示例。如图2所示,利用光笔700把光学入射到阵列基片100上。透明膜102涂敷在或者连接到阵列基片(玻璃基片)100的外侧表面上,用于保护玻璃。未在图2中示出的多条扫描线X、多条信号线Y、像素电路122及传感器电路124利用印刷技术或蒸汽沉积技术形成在阵列基片100的内侧表面上。
形成在阵列基片100内侧表面上的PIN二极管D1、D2、D3担当传感器电路124中的光敏元件。PIN二极管D1、D2、D3的周边环绕着绝缘层103。此外,在绝缘层103上,对着PIN二极管D1、D2、D3形成有光屏蔽膜SH1、SH2、SH3。
反基片105布置在离开阵列基片100某一距离处。反基片105有一个公共电极(透明电极)并面朝阵列基片100。液晶层104挟持在阵列基片100和反基片105之间。背照光源106布置在反基片105的外侧表面上。从背照光源106发射出的光线的透射状态被控制以便当光线透过反基片105、液晶层104和阵列基片100时在显示屏上形成图像。
图3显示了传感器电路124之一的基本电路配置示例。开关(薄膜晶体管)TR2的源极连接在信号线Y(m)上。开关TR2的漏极连接在光敏二极管PD的阴极以及传感器电容器CP的一端上。光敏二极管PD的阳极及传感器电容器的另一端连接到一个设定为预定电势的地线上。开关TR2的栅极连接在复位控制线CRT(n)上。
在传感器电路124中,传感器电容器CP在某一特定水平空白周期的后半部分中预充电,读出运算在下一周期(一个垂直周期之后)的一个特定水平空白周期的前半部分中完成。预充电运算利用预充电电路138来完成。
如果在预充电后照射在光敏二极管PD上的光量大,传感器电容器CP的放电量变大。另一方面,如果照射在光敏二极管PD上的光量小,传感器电容器CP的放电量变小。在这种情况下,在光敏二极管PD与背照光之间做光屏蔽处理。因此,通过在读出周期内经由放大器输出传感器电容器CP的电压来获得传感器输出。
图4显示的是一种其中多个像素电路122和传感器电路124的配置示例。如图4所示,电压线CS被用来在一个预设循环中向辅助电容器Csk及液晶LC的同一侧的电极提供一预设电势。栅极线Gate(n)是一条用来接通/切断像素电路122的驱动晶体管TR1的栅极线(它是一条由扫描线驱动电路132所驱动的扫描线)。
此外,复位控制线CRT(n)是一条由传感器控制电路136驱动以接通/切断形成传感器电路124的开关TR2的控制信号线。
当开关TR2接通时,传感器电容器CP预充电。GND表示接地线。此外,SFB(n)表示用来在传感器电容器CP的电势被读出时接通薄膜晶体管TR4传感器输出控制线(它是由传感器控制电路136驱动)。
薄膜晶体管起着放大元件元件的作用。光敏二极管PD对光做出反应并产生对应于所感测到的光量的电流。因而,预充在传感器电容器CP上的电荷可以释放出来。
信号线Y(m-1)、Y(m)、Y(m+1)连接在图1所示的信号线驱动电路134及模/数转换器上。此外,电源线Cs和栅极线Gate(n)连接到图1所示扫描线驱动电路132上,而复位控制线CRT(n)、地线GND及传感器控制线SFB(n)连接到传感器控制电路136上。
图5是用于说明以上电路的操作的时续图。在以上电路中,在一个垂直周期(一个帧周期)中的一个特定水平周期设置如下。在像素电路122中,一个水平周期(1H)被划分成一第一空白期、公共反转空白期、写入期和一第二空白期。在传感器电路中,一个水平周期被划分成与以上四个时期相当应的输出期、公共反转时序(common inversion timing)期、空白期和预充电期。在一个垂直周期(一个帧周期)中以上四个时期以外的时期在像素电路122中是显示期,在传感器电路124中是图像感测期。
在像素电路122中,在写入期间,图像信号经由信号线Y(m+1)沿着箭头a1所表示的路径写入到辅助电容器Csk。液晶LC根据出现在电容器Csk上的电压来驱动以提供灰度显示。
在传感器电路124中,在以上的写入期之后,晶体管TR2被接通且电容器CP预充电。此时,电容器CP经由信号线Y(m+1)沿着箭头b1和c1表示的途径预充电。即,写入期和预充电期彼此切换,信号线Y高效利用。如果在图像感测期内在光敏二极管中有电流,预充电电压会改变。
如果晶体管TR4在下一个一帧循环中的输出期内接通,传感器电容器CP的电压由晶体管TR3放大并经由信号线Y(m)(箭头d1、e1表示的途径)取得。相同的操作在下一个水平周期中在下一个水平线的像素部分和传感器部执行。得自传感器电容器CP的电压随时间而变化,在此期间光敏二极管PD在预充电后与光隔绝直到读取操作开始。如果光敏二极管根本不进行光屏蔽,读取电压要设置成足够低,并且如果光屏蔽时间长,会得到高电压。结果,确定出一个信号是否是用光笔700进行的输入。
图6是显示以上对每一帧单元运算的说明性图。在图6中,例如,示出了第N帧和第N+1帧。参照图5解释的信号处理运算是在第N帧的特定水平周期内执行的,在第N+1帧的特定水平周期里的一个周期中,利用像素电路122显示了图像,利用传感器电路124检测了光。
接下来,对用于传感器电路124的输出的过滤过程进行说明。如图1所示,当一个特定的扫描线X(n)被激活后,自传感器电路124输出的一个行的像素模拟信号被输入到模/数转换器140。模/数转换器140的一个输出被作为数字图像数据输入到输出处理部150。
图7图示的过滤操作是本发明的器件操作的一个例子。图7表示了用于相邻的3×3像素的并行级次过滤处理(rank order filtering process),包括位于位置(x,y)的目标像素灰度值F(x,,y)以及在上下左右方向上与目标像素相邻的像素的灰度值F(x-1,y-1)、F(x,y-1)、......在内的总共9个灰度值(图7的左边)按照升序或降序被重新排列,并且,例如,取中间级次(intermediate order)或第r级的灰度值用作目标像素的新灰度值G(x,y)(图7的右边)。实现上述处理的电路将在下面解释。
图8表示处理来自传感器电路124的输出信号的电路配置的一个例子。当某条扫描线X(n)激活,与扫描线X(n)相连的传感器电路124输出检测到的光强模拟信号到模/数转换器140。模/数转换器140包括模/数转换电路ADC和分别对应于信号线的延迟触发器D-FF1。每个模/数转换电路ADC将从传感器电路输入的模拟信号转换成数字信号。延迟触发器D-FF1在每个水平周期按预置的时间取一次模/数转换电路ADC的输出。
例如,本实施例中,每个模/数转换电路ADC应对1比特数据,并且将一行每个像素的1比特像素数据提供给延时触发器D-FF1中相应的一个。
每一个加法器电路SUM3是一个当三个横向相连的像素的1比特输入在那里时输出输入数据项总和的电路。加法器电路SUM3产生一个对应于如图9的真值表所示的输入值的输出。
每个加法器电路SUM3的输出被输入到三个延迟触发器D-FF2的串联电路里。延迟触发器D-FF2为每个一水平周期在预置时间上传送加法器电路SUM3的输出。加法器电路SUM3的三行输出可以由三个延迟触发器D-FF2保留。两个加法器PL1、PL2导出三行数据项的总和,数据项的总和在每个水平周期的预置时间被取入延迟触发器D-FF3中。
从上面的描述,可以明白,三层横向相邻的三个像素的灰度值,即行和列上3×3像素的灰度值总和在每个水平周期被取入延时触发器D-FF3中。
来自延迟触发器D-FF3的输出被输入到比较器COM4中。比较器COM4是一个4比特比较器,它将比较延迟触发器D-FF3的值与指定的级值r做比较,关于它的输入/输出关系在图10中显示。目标像素的灰度值在3×3像素的灰度值总和大于或等于级值r时可以用“1”替代,在总和小于该级值时可以用“0”替代。
结果,例如在滤波器152中,表示在图7中的目标像素灰度值F(x,y)被转换成了在相邻的3×3像素的灰度值重新按升序或降序排列是第r级最大或最小灰度值的灰度值。即,它意味着执行了r级的并行级次滤波处理。当图像数据是1比特,Gx,y表示如下:
因此,在滤波器152中,目标像素的灰度值F(x,y)在相邻像素值的总和大于或等于级值r时可以用“1”替代;在值的总和小于级值r时可以用“0”替代。
比较器COMP4的输出线是连接到数据传送部154。数据传送部154包括多个经由开关HSW与对应滤波器相连的延迟触发器D-FF4。延迟触发器D-FF4构成串行的输出数据到外部的移位寄存器。
首先,当在每个水平周期的预置时间上,开关HSW设置成接通状态,开关TSK设置成切断状态,在上面的周期中传送时钟上升(或下降)一次。因此,一行像素的数据项被保留在延时触发器D-FF4中。在这之后,开关TSK设置成接通状态,开关HSW设置切断状态,这种状态下,响应于传送时钟,数据被依次传送。
图11A到11D表示的是由滤波器152对相邻3×3像素进行滤波处理的结果的一个例子。表示在图11A中的图像是当光笔700之类的光照射到阵列基板100上输入坐标数据时,输出到信号处理部500的二进制图像数据,是没有进行滤波处理时得到的一张图像。图像左边圆形白色部分对应于光笔700指示的部分,图像右边垂直方向延展的白线对应于由于模/数转换电路瑕疵产生的线状瑕疵。
在图11B、11C和11D中,表示的是并行级次滤波器的级值r不同时得到的结果的例子。图11B是级值设置成“5”得到的结果。它表明的是并行级次滤波器是中值滤波器、点状瑕疵和线状瑕疵得以补偿的特殊情形。图11C的是级值r被设置成“9”时得到的结果,这种情况下,光笔700指示的部分和线状瑕疵的白色区域被压缩(压缩处理)了。图11D是当级值r设置成“1”得到的结果,这种情况下,光笔700指示的部分和白色的线状瑕疵区域被扩展(扩展处理)了。
如以上所描述,可以达到的效应是:点瑕疵和线瑕疵的可以通过设置并行级次滤波器电路的级值r得到补偿,白色区域可以被压缩或扩展。
并行级次滤波器电路的级值r可以由信号处理电路500或在阵列基板上的一个电路确定。更进一步地,级值可以设置成固定的、或可通过利用信号处理电路500或阵列基板100上的电路控制并动态地改变。
由于并行级次滤波器电路是形成在阵列基板100上,信号处理部500的成本上升可以得到抑制,而不必增加它的电路规模。更进一步地,选择和使用没有瑕疵的具有图像读取功能的显示设备变得没有必要了,它的制造成品率增加了。由于并行级次滤波器电路是形成在阵列基板100上,图像感测数据可以有效地被取入。
更进一步地,因为并行级次滤波电路是针对每根信号线形成的,使对一行上像素执行并行级次滤波处理成为可能。这种情况下,,可以利用一个水平周期里的时钟完成滤波处理而不需要高速时钟。
接下来,解释本发明的第二个实施方式。图12中所示的电路中,并行级次滤波器电路特殊情况下的中值滤波电路(对相邻3×3像素,并行级次滤波器电路的级值r被设置成“5”的情形)被用作滤波器152。这种情况下,通过改变前面描述的并行级次滤波电路的级值r,可以执行相同的运算,但它可以通过利用简化的电路配置实现。图12表示一个电路配置的例子。
图12中只有滤波器152的线路部分不同于图8中的。每个排序电路SORT3是一个以升序排列三个输入值并将其输出的组合电路,每个排序电路SORT2是一个以升序排列两个输入值并将其输出值的组合电路。排序电路SORT3和排序电路SORT2响应于输入来输出信号,如图13A和图13B中的真值表所示。
由排序电路SORT3或SORT2排序的值的最小值、中值和最大值输出如在节点S、M和L所示。四级延迟触发器D-FF5读取三列相邻像素灰度值中的三行的最小灰度值,并且将三行中最大灰度值输出到最后一级。同样地,延迟触发器D-FF6读取三列像素灰度值中三行中值灰度值,并且将三行中中值灰度值输送到最后一级;更进一步地,延迟触发器D-FF7读取三列相邻像素灰度值中的三行的最大灰度值,并且将三行中最小灰度值输出到最后一级。
最后,延迟触发器D-FF5、D-FF6和D-FF7的最后一级输出被送到排序电路SORT3,中间级的灰度值被送到数据传送部154。结果是,目标像素附近的3×3像素的灰度值中级值r设置成“5”的像素灰度值被传送到数据传送单元154。即,在滤波器152中执行了中值滤波器处理。
展示在图11B中的图像可以通过在中值滤波电路里执行滤波操作得到。更进一步地,像利用了并行级次滤波电路的情形,信号处理部500的电路规模不会增加,其成本增加也会得到抑制。更进一步地,选择没有瑕疵的带有图像读取功能的显示装置变得没有必要了,其制造成品率得以提高。更进一步地,通过在阵列基板上形成中值滤波器可以有效地读取图像检测数据。
由于中值滤波器是为每根信号线制做的,利用一个水平周期里的时钟进行并行处理成为可能,而不需要高速时钟。
接下来,对本发明的第三实施方式进行说明。图14是本实施方式的一个例子,其中滤波过程是以串行方式执行的。
在本具体实施方式中,输出处理部150包括一个数据传送部154,它以串行方式输出三行像素的数据。自传感器电路124输出的模拟信号通过模/数转换器140被转换成数字图像数据,然后被输入到输出处理部150。在输出处理部150中,三行的数据传送部分154传送来的数字图像数据串行地在与输出处理部150末级相连的滤波里进行滤波处理,然后输出到外部。
图15表示的是当利用比如并行级次滤波器作为滤波器152时的电路配置的一个例子。延迟触发器D-FF4构成一个移位寄存器,当开关TSK处于接通状态时它响应于传送时钟向图中右面方向传送数据。更进一步地,延迟触发器D-FF8构成一个移位寄存器,在开关HSW处于接通状态期间,它响应于传送时钟向图中向下方向传送数据。
首先,在每一水平周期里在预置时间,将开关HSW设置成接通状态,开关TSK设置成切断状态,并且在上面的周期时间里,垂直传送时钟上升(下降)一次。结果,一行的象素数据被向下传送并且被延迟触发器D-FF8留持。与此同时,水平传送时钟上升(或下降)一次,一行的像素数据留持在延时触发器D-FF4里。在此之后,开关TSK进入接通状态,开关HSW进入切断状态,因此,数据响应于水平传送时钟沿图中向右传送。
即,三行的数据在一个水平周期中利用延迟触发器D-FF4被顺序地传送。因此,串行的处理是通过把并行级次滤波电路连接到延迟触发器末级而执行的。
如上所述,对于连续地执行滤波操作的电路配置,展示在图11B到11D中的滤波处理后的图象可以通过设置并行级次滤波器的级值r获得。更进一步地,除了如图8所示并行地执行滤波处理得到的相同效果以外,并行级次滤波器电路与进行并行处理的情况相比,其所占据的区域可做得更小,如果电路配置成串行地执行滤波处理。
三行的图像数据可以原样作为三个信号输出给信号处理部500。这种情况下,有必要把并行级次滤波器电路形成在信号处理部500中。然而,因为不需要线路存储器,对电路规模和信号处理部500的成本几乎没有影响。更进一步地,像并行处理的情况一样,并行级次滤波器电路的级值r可以用信号处理电路500或在阵列基板100上的一个电路来确定。级值r可以设置成固定的或可动态改变的。
中值滤波器电路用作滤波电路的情况在图16示出。这种情况下,也可以达到图15所示的相同效果。
本发明不局限于上述具体实施方式,可以以不同方式修改和具体实施而不脱离其技术范围。此外,通过适当组合上述实施例所揭示的众多组件可以做出各种发明。例如,可以省略上述所揭示的具体实施方式中的全部组件中的一些组件。更进一步地,通过不同具体实施方式所揭示的组件可以适当地组合。
图17是解释可以正确地确定光源的光输入/非输入的信号处理部的框图。信号处理部500拥有用作依照本发明的一个具体实施方式的带有光输入功能的显示装置的主要部分的坐标输入和图像输入部分的基本配置。
在图17中,符号10指示前面解释的包含像素和光传感器的液晶显示装置。在阵列基板上可以显示图像和进行光输入。符号500代表以集成电路形式形成的信号处理部分,示出的是本部的部分框图。即,示出的是该部如前面解释的从传感器电路读取输出的部分框图。
垂直同步信号Vsync、水平同步信号Hsync和与同步信号同步的图像数据Data从阵列基板100输出。垂直同步信号Vsync和水平同步信号Hsync被输入到信号处理部500中的定时信号发生电路501中,图像数据Data被输入到线路存储器502中。定时信号发生电路501与同步信号Hsync同步地给线路存储器502提供写入/读出地址。
线路存储器502的输出被提供给中值滤波器503和压缩滤波器504。中值滤波器503利用预置区域(例如3×3像素)数据执行显示屏上非必要部分的消除处理,而白色区域面积计算电路505利用滤波器的输出执行导出剩余区域的处理。即,中值滤波器503基于像素瑕疵和处于预置区域的噪声来消除数据缺失部分,并且它的输出被输入到白色区域面积计算电路505,后者进而导出剩余区域面积W5(t)。
压缩滤波器504利用预置区域数据(如3×3像素)执行压缩处理,而白色区域面积计算电路506导出压缩处理后留下的面积W9(t)。更进一步地,重心坐标计算电路507可以利用中值滤波器输出、面积W5(t)和坐标信息(x,y)导出用光区域的中心坐标(Xg,Yg)。
面积W的计算例如可以通过在来自滤波器的像素的输出值被检验后统计当前区域中像素电平大于或等于白电平的像素数量来进行。
在来自滤波器的像素输出值被检验后,重心坐标Xg可以用面积W除累加值得到,累加值是通过累加器累加X值得到,X的值是通过来自像素输出值为白色电平时的坐标信息得到的。
表示面积W5(t)和W9(t)的信息项被输入到减法器508和接触确定电路509。表示面积W5(t)的信息也被输入到坐标值寄存器510。从减法器508可以得到面积W5(t)和W9(t)的差值L(t)。该差值对应于周边的长度,即光接收区域的周边长度。周边长度L(t)被输入到接触确定电路509。
接触确定电路509确定光笔(光源)是否与显示屏处于正确的输入状态。如果光笔处于正确的状态,它输出和提供给坐标值寄存器一个接触标记。
符号511表示一个留持来自中央处理单元(CPU)600的参数(面积基准值W0、偏差量阈值α、时间变化阈值β和圆度阈值γ)的阈值寄存器。上述参数输入到接触确定电路509。更进一步地,留持在坐标值寄存器510中的紧邻的前一帧的面积信息W5(t-1)也被输入到接触确定电路509。
如后面将要描述的,接触确定电路509利用各参数和输入信息执行操作处理,输出接触标记。
即,接触确定电路509是一个利用对来自LCD部分的图像数据进行运算处理而得到的面积W5(t)、W9(t)和周边长度L(t),以及存储在坐标值寄存器511中的紧邻的前一帧的面积W5(t-1)和阈值寄存器的四个参数来确定光源是否接触显示屏的电路。此外,该结果作为接触标记被写入坐标值寄存器510。
重心坐标(Xg,Yg)也被输入坐标值寄存器510。此外,留持在坐标值寄存器510中紧邻的前一帧的面积信息W5(t-1)被输入到接触确定电路509。
以集成电路形式形成的信号处理部分500是一个诸如数字信号处理器(DSP)或专用集成电路(ASIC)的处理集成电路,它导出面积信息和一个指示光源是否处于接触状态的接触标记,并把接触标记存储进坐标值寄存器511。
CPU 600可以读出坐标值寄存器510的数据以完成各种处理。CPU 600通过对寄存器读出或写入数据来调整接触确定运算。
在这个例子中,假定来自LCD部的图像数据的灰度是设置成1比特的(二级灰度)。对于多灰度数据的情况,面积可以用适当的二进制编码处理或灰度加权处理计算,但计算过程不在这里解释了。周边长度L(t)是通过下面方程式(2)计算的。
L(t)=W5(t)-W9(t) (2)
周边长度L(t)对应于光接收区域的周边的长度。
接下来,参照图18A、18B、18C来解释当光笔700在靠近或离开LCD部的显示区域时所得到的滤波输出和运算输出。如图18C所示,假定光笔700先后与LCD部的显示区域处于状态(1)-(6)。例如,光笔700利用发光二极管(LED)作为光源。
例如,当光笔700处于如图18C中所示的状态(1)-(6),即,当光笔700的尖端首先与显示区域接触,然后离开显示区域,而光笔照射显示区域110,图18B所示图象以图像数据的形式获得。
即,黑色背景下检测到的白色区域从状态(1)到(6)顺序变化。在状态(5)的情况下,白色区域是一个清晰的圆形,其面积一个预设范围中。这时,如果观察前述的面积W5(t)、W9(t)和L(t)的变化,面积的变化如图18A所示。在状态(5)的情况下,全部三个因数变小,得到预设面积W0(=230)。因此,当得到上述值时,将输出一个接触标记。图18A显示的是典型的图像数据Data、面积W5(t)、W9(t)和周边长度L(t)随时间变化的曲线图。
更明确地,附上了数字标号(1)到(6)来指示图像数据项获取的近似时间和笔700所处的大致状态。数字标号(1)到(6)对应于图18B、18C中所示的状态(1)到(6)。在状态(1)到(5)中,笔尖逐渐接近显示屏;在状态(5)到状态(6)中,笔尖逐渐离开显示屏。
在状态(1)时,光传感器开始响应笔所发出的入射光,部分传感器电路对光做出响应而其他传感器电路不响应,取确于传感器元件和读出电路的不同。在状态(2)时,响应区域在中心部分,并示出了因LED角辐射的角分配的周边部分及其复杂的形状。在状态(3)时,响应区域的中央部分和周边部分相互接近并连在一起。在近似于上述状态时,面积W5(t)变得最大。在状态(4)时,来自笔700的光的范围变小,响应区域的面积变小,但笔还没有达到与显示屏的接触状态。在状态(5)时,笔700达到接触状态,面积W5(t)变成最小值。在状态(6)时,笔700略微有些分离,得到了一幅类似于状态(4)的图像。在此之后,与状态(1)到状态(4)相反的过程依次出现。只有在图中状态(5)时才确定光是输入(笔尖末端与显示屏处于接触中)而其他状态不是输入(非接触)的。其结果是,可以用下面三个确定条件:
第一个条件是:表示面积W5(t)与基准值W0的偏差度的偏差量比指定的阈值α小。在图18A的例子中,当笔被置于接触状态时,面积W5(t)保持在约230的常数指。通过(W5(t)-W0)差的绝对值除以基准值W0或周边长度L(t)得到的值用作上述的偏差量。因此第一个条件可以表示成下面的方程式(3)或(4),
有必要通过校准运算预先确定好基准值W0。例如,每次用一根新笔时,用户将笔尖末端保持压在显示屏上几秒钟,测量光接收区域面积的平均值,所测得的值设为W0。作为选择,因为接触时的面积对应于笔的开口,如果可知的话,W0可以从笔的开口的面积导出。同样地,α可以通过在把笔尖末端压在显示屏上时在显示屏上滑动它,在上述滑动时间里测量偏差量最大值的近似值。此外,通过调整阈值α,根据使用者的喜好,甚至能够把笔尖末端稍稍离开显示屏的状态确定为处于接触状态,而不把笔紧压着显示屏的状态确定为处于接触状态。
第二个条件是:面积W5(t)随时间的变化量比一个指定阈值β小。在图18A的例子中,可以明白,当笔保持接触状态时,面积W5(t)基本上不随时间而变化了。用通过面积W5(t)与紧邻的前一图像检测帧的面积W5(t-1)之差的绝对值除以面积W5(t)或周边长度L(t)得到的值作为随时间的变化量。因此,第二个条件可以通过方程式(5)或(6)表示。
通过校准运算预先确定阈值β也是可能的。
例如,随时间变化的变换量的最大值近似值是在当用户用期望的速度完成点击操作时满足第一个条件(充分地接近W0)区域里测量的,且阈值可以利用这些测量来确定。通过调整阈值β,可以根据用户的喜好设置点击速度。
第三个条件是:光接收区域的圆度比指定的阈值γ大。在这种情况中,圆度是一个表达一个区域“似圆形状”的标度。通过用面积W5(t)与4π的乘积除以周边长度L(t)的平方或面积W9(t)与4π的乘积除以周边长度L(t)的平方得到的值作为圆度。当区域接近圆形时,圆度接近“1”;当区域变得复杂时,它变小。
在图18B中的例子中,光接收区域在接触状态几乎变成圆形,而在非接触状态下变得复杂。
因此,第三个条件由下面的方程式(7)和(8)表达
通过校准运算预先确定阈值γ也是可能的。当笔倾斜时,光接收区域从圆形变成椭圆,圆度变小。因此最小圆度值的近似值可以在当笔尖末端保持处于接触状态下用户正常使用范围内倾斜时测量。通过调整阈值γ,根据使用者的喜好,确定在笔倾斜到一定程度时笔处于非接触状态。
图19A、19B和19C是显示图18A到18C的数据与基准值的偏差量的曲线图,数据随时间的偏差量和基于这个数据的圆度。
图19A展示的是相对于基准值W0面积W5的半径的偏差量的绝对值3A1和相对于基准值W0面积W5的偏差率的绝对值3A2。图19B展示的是相对于基准值W0的面积W5的半径的偏差量的绝对值3A1、当面积W5的半径随时间变化时引起的变化半径3B1和面积W5的偏差率3B2。
图19C展示的是经中值滤波器处理后的图象的圆度3C1和经压缩滤波器处理后的图象的圆度3C2。
图20是显示对于图19A到19C的数据项的阈值α、β和γ分别设置成1.8、0.25和0.38并且执行了接触确定处理的情况下,数据满足的确定条件数。方程(4)(对应于分值“1”)、方程(6)(对应于分值“2”)和方程(8)(对应于分值“3”)被用作确定条件。
可以理解,通过同时利用这三个条件,基于笔实际设置成接触状态的时刻,可以正确地作出接触确定。利用这三个条件中的一个或两个条件作出接触确定是可能的,但是,如同从图19A到19C和图20可以清楚了解到的,严格设置阈值未防止错误确定发生是必要的。因此,同时用这三个条件更可取。
图21展示的是一个在三种条件下确定接触/非接触并输出接触标记的接触确定电路509的具体配置的例子。电路509由与场频同步的时钟操作,并且产生一个指示光笔对于每一个预先设定的区域单元是否处于接触状态的确定输出。
方程式(4)、(6)和(8)被用作确定条件,方程式中的项做移项处理以消除除电路。因此,输入4π/γ来替代阈值γ。
在图21中,多个乘法器、差值绝对值电路和比较器被用作组合电路来并行地处理各条件。但是,通过共用组合电路并以流水线方式处理各条件来减小电路规模是可能的。
图21中,乘法器551将面积W9乘以(4π/γ)。相乘的结果保留在延迟触发器(D-FF)552中。D-FF 552的输出被输入比较器553,并与周边长度L(t)的平方作比较,也就是,系统执行方程(8)的过程。
差值绝对值电路554导出W5(t-1)与W5(t)之间的差的绝对值。绝对值锁定在D-FF 555中。D-FF 555的输出被输入到比较器556,并与βL(β与周边长度L相乘)作比较,也就是,系统执行方程(6)的过程。
差值绝对值电路557导出W0与W5(t)之间的差的绝对值。绝对值锁定在D-FF 558中。D-FF 558的输出被输入到比较器559,并与αL(α与周边长度L相乘)作比较,也就是,系统执行方程(4)的处理。
比较器553、556、559的输出被输入一个AND(逻辑与)电路560,导出的逻辑积作为接触标记。
乘法器561和D-FF 562的系统将导出通过将周边长度L(t)的平方值。乘法器563和D-FF 564的系统将导出L(t)与β相乘得到的βL。乘法器565和D-FF 566的系统将导出通过将周边长度L(t)与α相乘得到的αL。值α和β可以存储在图17中的阈值寄存器511里。值α和β可以是可变量的。因此,值α和β可以用作改变敏感指数来获得接触标记的因子。
如上描述,本发明包括一个信号处理部,它处理来自多个光传感装置的光传感信号;在这个例子里是一个运算处理部,其在来自光源装置末端的光照射在显示屏上时利用光检测信号导出显示屏上的光接收区域的面积信息;和一个确定部,其在光接收区域的面积信息是在预确定参数设置范围之内时确定该光是输入。
本发明不限于上述具体实施方式。在对图17的说明中,当导出光接收区域的面积信息时,其面积是用代表黑白的二进制图像数据导出的。可是,使用有更多灰度的图象数据也是可能的。即,当光接收区域的图像数据是取自有灰度的图像数据时,灰度阈值是设置在提取电路中。那么,有交高亮度的图像数据可以用作光接收区域的图像数据。此外,灰度阈值可用作可变参数。
在图22的A和B中说明的是利用如3×3像素作为一个单元来获得灰度图象数据的方法。每个传感器对应于一个像素。每个像素的传感器的灵敏度不相同,将3×3像素作为一个单元,把传感器的灵敏度设置成魔方。导出了用如图22中A所示的3×3像素作为一个单元块的二进制码数据项的平均值。在图22中显示的是九个块。一个块内的平均值设置为目标像素的灰度值。在图22的B中,每个像素的灰度被标识并显示出来。
图23显示的是当来自作为光源的光笔700末端的光射到显示屏上时达到精确光检测信号的方法的一个例子。
如图23的A中所示,现在假定光笔700放置成面向LCD的显示屏,噪光出现。此外,假定光笔700发出的光的形状随时间从纵向上的长椭圆斑点状态转变成了横向上的长椭圆斑点状态,如图23的B和C所示。
图23的D说明的是当时间从T1向T5流逝时,噪光与笔光部分重叠的情况。作为对应于时间T1到T5的摄取(图像感测)图像数据项P1到P5,噪光图像与笔光图像处于重叠状态(时间T1,T3)、和处于成非重叠状态(时间T2,T4)。另外,还提供了一种光笔的光关闭(时间T5)的状态。即,提供了一种椭圆斑点或横向长斑点不出现的状态。因此,在本发明中,作为在图23中的运算符号E表示的降噪装置,除笔光之外的噪光可以通过从在椭圆斑点或横向长椭圆斑点出现的状态下设置的图像数据中减去在椭圆斑点或横向长椭圆斑点未出现的状态下设置的图像数据而得到显著降低。上述过程可以对如图22所示的多灰度数据来执行。
如图24所示,降噪电路装备在LCD 100与线路存储器502之间。由于其他部分与图17的电路相同,相同部分采用相同标号,其说明也省略了。在降噪后获取的数据利用预设阈值进行二进制编码,然后传送到后级处理电路来进行上述的处理。
当本发明应用到小型移动电话上时,可以达到显著的效果。根据本发明,作为外部输入装置,用了包含传感器电路的LCD。传感器电路的控制和读出装置可以简单地通过给传统显示专用电路附加一个小规模电路来实现。因此,本发明可以容易地应用到诸如有较少空白空间来用于安置附加零件的小型移动电话等设备上。移动电话的LCD的信号线驱动电路是由单片IC(下文称作驱动器IC)构成,并且经常随着附加在阵列基板上的电路一起使用。在本发明中,用于存储由光笔输入的数据的小容量存储器(辅助存储装置)和处理光笔输入数据的信号处理部500被集成在驱动器IC中。信号处理部500可以实现为单片IC,并且通过将其作为驱动IC附加到LCD面板上而配置一个基本上与常规液晶显示装置面积相当的零件面积。
更进一步地,视频图像的I/O引脚可以用分时方式使用而不必在信号处理部和LCD之间额外提供专用引脚。从驱动器IC中的信号驱动电路向阵列基板每条信号线提供的视频信号有一个预置的空白周期。可以确定一个协议用来在空白周期期间把光笔输入的数据输出到信号处理部分500。因此,增加驱动器IC I/O引脚数目是不必要的,驱动器IC的成本得到抑制。这样,本发明的装置可以在不对传统液晶显示装置的生产流程进行大改动的基础上实现。更进一步地,本发明可以利用基本上与传统液晶显示器区域相同的面积来实现。
由光笔或类似设备输入的图像位置信息从LCD被输出到外部。但是,图像信息可以直接从辅助存储装置传送到信号处理部500的主存储器装置。其结果是,传送(显示)一幅显示屏上的输入图像(例如,输入在右边区域的图像)到显示侧(例如左边区域)的图像处理操作可以容易地完成。
更进一步地,在本发明中,由光笔或类似设备输入的图像信息可以转变成电压,这样转变来的电压可以与阈值电压比较,可以设置一个识别图像的电平。此外,例如,可以在输入装置(光笔)与中央处理部,例如CPU之间提供一个通信功能。这种情况下,配备了通信功能,通过通信,可以达到灵敏度调整处理。也就是,可以调整前面解释的参数系数,如α、β。这是因为移动电话用在各种环境中(例如亮的地方、暗的地方、室内或室外),需要调整移动电话的输入灵敏度。
上述器件的特征可以描述如下。该器件包括平行排列的多条扫描线X(n)、与这多条扫描线交叉排列的多条信号线Y(m)、安置在这多条扫描线与多条信号线之间的接触部位的多个像素部分122、为这多像素部分122中的预定数目的像素部分中的每一个至少提供一个的光传感器部分124、通过这多条扫描线和多条信号线驱动多个像素部分122的像素驱动部分132、134、以及驱动光传感器部分的传感器驱动部136、138。此外,该器件包括输出处理器136与138,它们每一个都包含一个受供光传感器部分输出、对自光传感器获得的图像的灰度值进行补偿的插值滤波器。
上述器件可以解释如下。器件包括运算处理部501到508,它们在被供以光传感器的输出且来自光源末端的光照射到显示屏上时,利用光检测信号导出显示屏上光接收区域的面积信息,以及一个确定部(509),它在光接收区域的面积在一个预设参数设置范围以内时确定光是输入。
更进一步地,上述器件可以解释如下:该器件包括平行排列的多条扫描线、平行排列的与这多条扫描线交叉的多条信号线、排列在扫描线与信号线之间的多个交叉部位上的多个显示装置、以及排列在这多个交叉部位上的光传感装置。进一步地,用了从其末端不发出照射光的光源。本器件是带有光输入功能的显示器件,器件中,利用这多个显示装置在显示屏上显示图像,由光源装置照射在显示屏上的光通过多个光传感装置检测到,并且基于检测到的信息而输入信息。
更进一步地,本器件包括光接收区域检测装置501到508,它们基于来自多个光传感装置的光检测信号来探测光源末端的光所照射的显示屏上的光接收区域;包括运算装置557、558与559,它们通过比较光接收区域的面积与一个指定的基准面积值来计算光接收区域面积对基准值的偏差量;以及包括接触确定装置565、566、559和560,它们在对基准值的偏差量小于一个指定的偏差量阈值时确定光源装置处于与显示屏接触中。
本发明的器件包括光接收区域检测装置501到508、计算光接收区域随时间的变化量的运算装置554、555和556、及接触确定装置563、564、556和560,其中的接触确定装置在随时间的变化量小于一个指定的随时间的变化量阈值时确定光源装置处于与显示屏接触中。
更进一步地,本发明的器件包括运算装置551、552和553,它们基于光接收区域的面积和周边长度计算光接收区域的圆度;包括接触确定装置561、562、563和560,它们在圆度比指定的圆度阈值大时确定光源装置处于与显示屏接触中。
本发明不只局限于上述具体的实施方式,可以通过修改组件来以不同方式实施,而不脱离本发明的技术范围。更进一步地,提供适当组合上述揭示的实施方式中的多个组件,可以作成各种发明。例如,可以省略上述所示的具体实施方式中的全部组件中一些组件。更进一步地,可以适当组合不同具体实施方式中的的组件。
另外的优点与修改将是本领域技术人员容易想到的。因此,本发明在其更广泛的方面不受这里展示和描述的具体细节和典型具体实施方式的限制。因此,可以进行各种修改,而不背离由所附权利要求书及其等效方案所确定的本发明一般构思的精神或范围。