CN100370509C - 显示装置及摄像方法 - Google Patents

Abstract

本发明有关的显示装置包括在纵横排列设置的信号线与扫描线的各交点附近形成的各像素内部设置显示元件的像素阵列部；与所述显示元件对应设置的、分别包含对拍摄对象的规定范围进行摄像的光传感器的摄像电路；以及在用第1色显示整个所述像素阵列部的状态下用所述摄像电路进行N次(N为2及2以上的整数)摄像、然后在用第2色显示整个所述像素阵列部的状态下用所述摄像电路进行N次(N为2及2以上的整数)摄像、然后在用第3色显示整个所述像素阵列部的状态下用所述摄像电路进行N次(N为2及2以上的整数)摄像、并根据上述这些摄像的结果生成最终的摄像数据的摄像处理手段。

Description

显示装置及摄像方法

技术领域

本发明涉及具有图像摄入功能的显示装置及摄像方法

背景技术

液晶显示装置具有排列设置信号线及扫描线及像素TFT阵列基板、以及驱动信号线及扫描线的驱动电路。随着最近的集成电路技术的进步及发展，在阵列基板上形成一部分驱动电路的工艺技术已经实有化。通过这样，能够使整个液晶显示装置实现轻、薄、短、小，广泛用作手机或笔记本电脑等各种便携式设备的显示装置。

另外，提出了阵列基板上配置了进行图像摄入的光电变换元件的具有图像摄入功能的显示装置(例如参照特开2001-292276号公报及特开2001-339640号公报)。

具有这种图像摄入功能的以往的显示装置是使与光电变换元件连接的电容的电荷量根据光电变换元件的受光量相应变化，通过检测电容的两端电压，来进行图像摄入。

最近，在同一玻璃基板上利用多晶硅工艺形成像素TFT及驱动电路的技术不断发展，上述的光电变换元件也利用多晶硅工艺形成，通过这样在各像素内能够容易形成。

在具有图像摄入功能的显示装置中，作为检测拍摄图像的灰度值的方法有，一面分段切换摄像时间，一面进行摄像，再将多个摄像结果合成，得到最终的拍摄图像。

但是，最终得到的拍摄图像存在的问题是，没有正确进行γ调整，显示质量差。另外，由于光电变换元件的特性等影响，也有可能得到噪声多的拍摄图像。另外，也有摄像用的条件设定麻烦的担忧。

本发明正是鉴于上述问题而提出的，其目的在于提供具有噪声少、显示质量好的图像摄像入功能的显示装置。另外，本发明在于提供能够以简易的条件设定来进行摄像的摄像方法。

发明内容

本发明在于提供具有噪声少、显示质量好的图像摄入功能的显示装置。

本发明一形态有关的显示装置包括

在纵横排列设置的信号线与扫描线的各交点附近形成的各像素内部设置显示元件的像素阵列部；

与所述显示元件对应设置的、分别包含对拍摄对象的规定范围进行摄像的光传感器的摄像电路；

以及将整个所述像素阵列部的显示色改变M种、对每一种显示色一面改变显示色以外的摄像条件一面进行多次摄像并根据摄像的结果生成最终的摄像数据的摄像处理手段。

另外，本发明一形态有关的显示装置包括

具有在纵横排列设置的信号线与扫描线的各交点附近形成的各像素内部设置的显示元件的像素阵列部；

与所述显示元件对应设置的、分别对拍摄对象的规定范围进行摄像的摄像电路；

以及分段切换用所述摄像电路的曝光时间的摄像条件切换手段，

并具有考虑摄像时写入像素的显示数据的极性而进行拍摄图像的不均匀处理的不均匀处理手段。

另外，本发明一形态有关的显示装置包括

具有在纵横排列设置的信号线与扫描线的各交点附近形成的各像素内部设置的显示元件的像素阵列部；

与所述显示元件对应设置的、分别对拍摄对象的规定范围进行摄像的摄像电路；

以及分段切换用所述摄像电路的曝光时间的摄像条件切换手段，

所述摄像条件切换手段在设所述摄像电路的曝光时间为T、读取理想黑色用的曝光时间为To、所述像素阵列部的γ值为γ时，设定用所述摄像电路的曝光时间T，使得(1/T-1/To)^1/γ的值按照近似一定间隔进行变化。

另外，本发明一形态有关的显示装置的摄像方法中，所述显示装置包括

在纵横排列设置的信号线与扫描线的各交点附近形成的各像素内部设置显示元件的像素阵列部；

以及与所述显示元件对应设置的、分别包含对拍摄对象的规定范围进行摄像的光传感器的摄像电路，

在将所述像素阵列部的显示设为中间灰度的状态下，使具有白色面的盖板的该白色面贴紧所述像素阵列部的显示面，利用所述摄像电路进行摄像，根据所述摄像电路的摄像结果取得不均匀减法用的不均匀图像。

另外，本发明一形态有关的显示装置的摄像方法中，所述显示装置包括

在纵横排列设置的信号线与扫描线的各交点附近形成的各像素内部设置显示元件的像素阵列部；

以及与所述显示元件对应设置的、分别包含对拍摄对象的规定范围进行摄像的光传感器的摄像电路，

所述摄像方法是一面在所述像素阵列部的1个画面上同时显示拍摄彩色图像用的多种颜色，一面用所述摄像电路进行摄像，并根据该摄像结果，决定各种颜色的摄像条件。

附图说明

图1所示为本发明有关的显示装置一实施形态的简要构成方框图。

图2所示为阵列基板1的内部构成的一个例子的方框图。

图3所示为像素电路15的内部构成的一个例子的电路图。

图4所示为显示装置的剖面构造的剖面图。

图5所示为名片摄像处理的处理顺序的一个例子的流程图。

图6所示为色校正线性变换处理中的3×3矩阵的具体例子。

图7所示为色校正线性变换处理中的3×3矩阵的其它例子。

图8所示为色校正线性变换处理中的3×3矩阵的其它例子。

图9所示为画面的纵向像素坐标(Y坐标)与各坐标位置的灰度值的关系。

图10所示为横向不均匀处理所用的3×3矩阵的具体例子。

图11所示为进行横向不均匀处理后的图像。

图12为说明骨架化处理的简图。

图13所示为边缘强调处理所用的3×3矩阵的具体例子。

图14所示为显示装置设置盖板的例子。

图15所示为在摄像时同时进行红、绿、蓝显示的例子。

图16所示为在摄像时将显示区域进行细分的例子。

图17所示为表示拍摄对象的摄像结果的辉度值与用辉度计测量拍摄对象得到的辉度的关系。

图18所示为自然画摄像的处理顺序的一个例子的流程图。

具体实施方式

以下参照附图，说明本发明有关的显示装置。图1所示为本发明有关的显示装置一实施形态的简要构成方框图。图1的显示装置具有阵列基板1、图像处理用IC2、主PC3、在主PC3与图像处理用IC2之间进行信号交换的接口部(I/F1)4、以及在阵列基板1与图像处理用IC2之间进行信号交换的接口部(I/F2)5。

图像处理用IC2可以装在阵列基板1上，也可以装在与阵列基板1分开的其它基板上。图像处理用IC2的模块可采用任何器件，例如可采用ASIC(面向特殊用途的LSI)或FPGA(可编程LSI)等。图像处理用IC2具有存储器6及处理电路7。存储器6可以采用SRAM或DRAM。

主PC3对图像处理用IC2发送显示用的视频数据及视频与各种设定重写命令。来自主PC3的显示数据存入存储器6，视频与各种设定重写命令存入处理电路7。存入存储器6的视频数据通过接口部5送往阵列基板1。另外，处理电路7通过接口部5向阵列基板1发送显示/摄像用控制信号。用阵列基板1拍摄的摄像数据通过接口部5送往存储器6。处理电路7对存入存储器6的视频数据及摄像数据，进行多灰度化及重新排列等图像处理运算。

这里的所谓多灰度化，是指将利用多种摄像条件进行摄像而得到的多个摄像数据(2值数据)相加，然后用条件数除它而进行的平均化处理。另外，所谓重新排列，是指将摄像数据的排列、即阵列基板1输出的顺序(由阵列基板1的进行数据输出的电路结构来决定)改变为与传感器配置相适应的顺序。图像处理运算后的处理图像数据(以下称为灰度数据)从存储器6通过接口部4送往主PC3。

摄像数据由于包含噪声等，因此必须进行图像处理。图像处理一部分是利用处理电路7进行，一部分是利用主PC3的软件进行一部分。从显示装置向图像处理用IC2发送大量的摄像数据，但从图像处理用IC2向主PC3仅发送进行了图像处理后的图像数据。与全部摄像数据的数据量相比，灰度数据的数据量少。

由图1可知，由于图像处理用IC2与阵列基板1之间收发的各种控制信号、视频信号及摄像数据都不通过CPU总线，因此与CPU总线的拥挤情况无关。即使CPU总线因其它的处理而被占有，也能够并行进行摄像动作。

通过CPU总线的传送中，与摄像动作有关的部分由于仅仅是进行图像处理后的图像数据的采集及视频与各种设定重写命令，因此CPU总线也可以不是高速总线。由于每拍摄1幅图像，在IC2的内部进行多灰度化及重新排列等图像处理，因此与全部在主PC一侧进行多灰度化及重新排列等图像处理的情况相比，能够大幅度缩短图像处理时间，由于CPU总线的速度也可以较慢，因此能够降低整个系统的成本。

图2所示为阵列基板1的内部构成的一个例子的方框图，表示阵列基板1上的构成。图1的显示装置包括排列设置信号线及扫描线并具有图像摄入功能的像素阵列部11、驱动信号线的信号线驱动电路12、驱动扫描线的栅极线驱动电路13、以及将图像摄入结果以串行输出的串行信号输出电路14。这些电路例如利用多晶硅TFT形成在由玻璃构成的阵列基板1上。

像素阵列部11具有纵横配置的多个像素电路15。图3所示为像素电路15的内部构成一个例子的电路图，每个像素都设置这样的电路。图3的像素电路15具有利用栅极线驱动的、一端与信号线连接的像素TFT16；与像素TFT16的另一端连接的辅助电容Cs及液晶电容LC；图像摄入用的光电二极管PD；存储与利用光电二极管PD摄入的图像相对应的电荷的传感器电容C1；与传感器电容C1的一端连接的放大器AMP；利用控制线SFB驱动的、切换是否将放大器AMP的输出供给信号线的晶体管NT1；以及利用控制线CRT驱动的预充电用晶体管NT2。以下将光电二极管PD、传感器电容C1、放大器AMP及晶体管NT1和NT2称为图像摄入传感器7。

光电二极管PD可以用多晶硅TFT形成，也可以是对多晶硅注入杂质而形成的二极管。

图4所示为显示装置的剖面构成的剖面图。如图所示，阵列基板1具有在玻璃基板1上形成的光电二极管PD、在光电二极管PD上形成的栅极绝缘膜21、在栅极绝缘膜21上延伸的光电二极管PD的Al布线层22、在Al布线层22上形成的钝化膜23、在钝化膜23上形成的遮光层24、以及在遮光层24及钝化膜23上形成的透明树脂25。该阵列基板1如图4所示，使玻璃基板配置在上面，与对置基板26相对配置。夹着对置基板26，在与阵列基板1的相反侧配置背光源。

本实施形态的显示装置既可以进行通常的显示动作，也可以进行与扫描器同样的图像摄入。在进行通常的显示动作时，晶体管Q3被设定为截止状态，有效数据不存入缓冲器13。这时，来自信号线驱动电路12的像素电压供给信号线，进行与该像素电压相对应的显示。

来自背光源27的光通过阵列基板1及对置基板26，照射拍摄对象28。来自拍摄对象28的反射光利用阵列基板1上的光电二极管PD接受，进行图像摄入。

摄入的图像数据如图3所示，存入传感器电容C1后，通过信号线送往图1所示的图像处理用IC2。该图像处理用IC2接受本实施形态的显示装置输出的数字信号，进行数据的重新排列及除去数据中的噪声等运算处理。

如图4所示，通过在阵列基板1内设置遮光层24，来自背光源27的直接光就不入射光电二极管PD，光电二极管PD中不流过因直接光而产生的光泄漏电流，S/N比提高。

图1所示的处理电路7根据拍摄对象，从2种处理中至少选择1种进行处理。更具体来说，有读取名片等文本数据或由线条构成的图像时进行的名片摄像处理、以及读取有浓淡的图像时进行的自然画摄像处理。

图5所示为名片摄像处理的处理顺序一个例子的流程图。首先，使拍摄对象与阵列基板1的表面接触(步骤S1)。然后，在使整个阵列基板1显示红色的状态下，一面分段改变摄像条件，一面用图像摄入传感器7进行摄像(步骤S2)。

图像摄入传感器7的输出是2值数据，通过将这些N次的2值数据合成，生成红色灰度数据(步骤S3)。

同样，在使整个阵列基板1显示绿色的状态下，一面分段改变摄像条件，一面用图像摄入传感器7进行摄像(步骤S4)，根据这些N次的摄像结果，生成绿色灰度数据(步骤S5)。

同样，在使整个阵列基板1显示蓝色的状态下，一面分段N次地改变摄像条件，一面用图像摄入传感器7进行摄像(步骤S6)，根据这些N次的摄像结果，生成蓝色灰度数据(步骤S7)。

这样，通过按照红、绿、蓝的顺序进行摄像，能够得到噪声影响最少的拍摄图像。其理由是由于红色最容易受温度变化的影响，因此希望最先进行摄像。

向多晶硅注入杂质而形成的二极管及多晶硅TFT的光泄漏电流的S/N比，按照蓝、绿、红的顺序从好到坏。红色最差。摄像中，从纸向传感器产生热量的转移。例如，包含传感器的阵列基板及对置基板因背光源而处于32℃左右的温度，纸由于在这之前的状态，不一定与阵列基板等同一温度，有时低至25℃。摄像需要几秒至十几秒。在摄像期间，传感器因纸的影响而冷却。温度变化往往不是整体均匀发生，在芯片内产生大的热电流差异。

根据这样的理由，用红色光栅的拍摄图像有较大的不均匀及噪声。在光传感器用别的材料形成时，研究光泄漏电流的不同颜色的S/N比，希望先拍摄S/N比最差的颜色。

然后，单纯合成步骤S3、S5、S7得到的红绿蓝的灰度数据(步骤S8)。在该状态下，得到有色不均匀的图像。

然后，进行色校正线性变换处理，进行红绿蓝的灰度数据的色校正(步骤S9)。更具体来说，如式(1)所示，用3×3的矩阵进行色校正。

$\left(\begin{array}{c}{R}^{\text{'}}\\ G^{\text{'}}\\ B^{\text{'}}\end{array}\right)=\left(\begin{array}{ccc}{M}_{11}& M_{12}& M_{13}\\ M_{21}& M_{22}& M_{23}\\ M_{31}& M_{32}& M_{33}\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)...\left(1\right)$

该矩阵的各系数预先这样求出，使得彩色图案等的再现色与原色之差尽可能减小。式中，对各系数加上了以下的式(2)～(4)所示的限制条件。通过这样，能够不破坏白平衡，更好进行色再现。

M₁₁+M₁₂+M₁₃＝1                …(2)

M₂₁+M₂₂+M₂₃＝1                …(3)

M₃₁+M₃₂+M₃₃＝1                …(4)

图6所示为3×3矩阵的具体例子。在图6的矩阵中，使对角元素为正值，使非对角元素为零以外的负值。即使使液晶显示装置的全部像素显示红色，但由于视角狭窄，因此在像素的斜方向，有其它颜色成分(绿色成分或蓝色成分)会泄漏。因此，在拍摄图像中会混入绿色成分或蓝色成分。所以，在图6的矩阵中，使非对角元素为负值，使其不受其它颜色成分的影响。

另外，在图5的流程图中，说明的例子是在进行摄像时，将阵列基板1按照红/绿/蓝的顺序进行设定，每种情况进行N次摄像，但也可以将阵列基板1按照蓝绿/紫红/黄的顺序进行设定，每种进行N次摄像。这种情况的3×3矩阵为图7所示。图7的矩阵时，对角元素为负值，非对角元素为正值。另外，将阵列基板1按照白/蓝绿/紫红的顺序进行设定，每种进行N次摄像。这种情况的3×3矩阵为图8所示。图8的矩阵的情况与图6相同，对角元素为正值，非对角元素为负值。

若图5的步骤S9所示的色校正线变换处理结束，则接下来进行不均匀减法处理(步骤S10)。在该不均匀减法处理中，预先拍摄中间灰度的均匀图像，并保持该灰度数据。由于该灰度数据中也包含不均匀成分，因此通过求取该灰度数据与拍摄对象的摄像结果之差分，就能够抵消除去不均匀成分。

这里，显示装置也可以设置图14那样的盖板31。若在盖板31的内侧白色表面贴紧显示面的状态下，而且将液晶显示作为中间灰度，每种颜色各进行N次摄像，使其存入IC2，则容易取得不均匀减法处理用的不均匀图像。在光传感器的特性因温度等环境影响而变化时，往往出厂时存入的不均匀图像就不适合了。在这时，若像图14那样，在就要摄像之前能够容易重新取得不均匀图像，就能够进行高质量的摄像。

接着，进行除去画面横向条纹的横向不均匀处理(步骤S11)，同时进行骨架化处理(步骤S12).

首先，说明横向不均匀处理的概要情况。图9所示为画面纵向的像素坐标(Y坐标)与各坐标位置的灰度值的关系。如图9所示，可知灰度有以纵向的2个像素为周期的变动的倾向。这是根据液晶的驱动方法，有时发生，有时不发生。在对各像素写入像素电压时，在每隔1行一面极性反转一面进行写入时容易发生。横向不均匀处理是在防止对液晶材料若持续加上直流分量则液晶材料不断恶化的通常的液晶显示装置中经常采用的技术。其它还采用每列改变极性的技术、以及每行及每列改变极性的技术。都是组合使用每1帧的极性反转。

因此，在进行横向不均匀处理时，为了除去图9那样的2个像素周期的不均匀，采用由图10所示的3×3矩阵形成的附近值滤波器。该滤波器是仅在纵向对灰度进行平滑化的低通滤波器，仅仅矩阵的中间行元素取零以外的值。若设进行横向不均匀处理前(不均匀减法处理后)的像素(x，y)的灰度数据为F(x，y)，横向不均匀处理后的像素(x，y)的灰度数据为G(x，y)，则式(5)的关系成立。

G(x，y)＝[F(x，y-1)+2F(x，y)+F(x，y+1)]/4…(5)

通过进行这样的横向不均匀处理，如图11所示，能够得到没有横向条纹的拍摄图像。

作为别的方法，也可以将同一摄像条件下对各像素写入像素电压时的每隔1行极性反转反过来，取得2幅拍摄图像，从各图像抽取极性相同行的数据，再组合起来，通过这样生成1幅图像。

具体来说，第1拍摄图像的对各像素写入像素电压时的每隔1行的极性是+/-/+/-/…顺序，第2拍摄图像的对各像素写入像素电压时的每隔1行的极性是作为-/+/-/+，这样取得2幅拍摄图像，从第1拍摄图像选取奇数行的摄像数据，从第2拍摄图像选取偶数行的摄像数据，再组合起来，通过这样能够得到没有横向不均匀的1幅拍摄图像。

在每列极性反转的情况或每行及每列极性反转的情况下也同样，通过从2幅拍摄图像抽取同极性的分量再组合，能够除去纵向不均匀或方格不均匀等。

图12为说明骨架化处理的概要情况的说明图。对于由线条组成的拍摄对象，若将整个阵列基板1显示蓝、绿或红的状态下进行摄像，则分别得到图12(a)、图12(b)、图12(c)那样的摄像结果。如图所示，以显示蓝的状态下摄像时能够得到轮廓最清楚的拍摄图像。这是骨架化处理的步骤S10。

在显示蓝的状态下的拍摄图像模糊最少的理由是，采用对多晶硅注入杂质而形成的二极管或多晶硅TFT的图像摄像摄入传感器7对蓝色的灵敏度与绿色或红色时相比是最好的。

若将图12(a)、图12(b)、图12(c)的各拍摄图像合成，进行上述的横向不均匀处理，则能得到图12(d)那样的拍摄图像。图12(d)图像由于绿及红的拍摄图像的影响，与蓝的拍摄图像相比，形成模糊的图像。这里，通过对图12(d)的图像再合成图12(a)的蓝的拍摄图像，能够得到图12(e)那样轮廓清楚的拍摄图像。

在设单纯合成图像摄入传感器7的输出的单纯合成图像数据为(R1，G1，B1)、横向不均匀处理前的图像数据为(R2，G2，B2)、系数为U时，步骤S13的平均化处理后的灰度数据(R3，G3，B3)用以下的式(6)～(8)表示。

R3＝(R1+U×B2)/(1+U)                …(6)

G3＝(G1+U×B2)/(1+U)                …(7)

B3＝(B1+U×B2)/(1+U)                …(8)

在式(6)～(8)中，系数U表示原图像中混入的蓝色的比例，是负以外的实数。在名片等要求高分辨率(轮廓清晰度)时，U＝0.5～1，在自然图像等重要的是色再现的情况下，U＝0～0.5。即，在自然图像的情况下，不进行强的骨架化处理。另外，在光传感器是用别的材料形成时，只要研究S/N比与颜色的对应关系，将S/N比最好的颜色拍摄的图像用于骨架化处理即可。

若图5的步骤S11所示的横向不均匀处理及步骤S12所示的骨架化处理结束，则接下来进行灰度的平均化处理(步骤S13)，然后进行边缘强调处理(步骤S14)。在该边缘强调处理中，进行从中心像素的灰度值L_ij以规定的比例减去周围相邻像素的灰度值的处理。若设边缘强调处理后的灰度值为L’_ij则进行以下的式(9)的运算。

${L^{\′}}_{\mathrm{ij}}=\underset{\mathrm{ij}}{\mathrm{\Σ}}{a}_{\mathrm{ij}}\·L_{\mathrm{ij}}...\left(9\right)$

系数a_ij用图13(a)或图13(b)那样的3×3矩阵表示，图13(a)及图13(b)的矩阵的正值与负值之差分为1。通过这样，即使进行边缘强调处理，但视在的灰度没有变化。图13(c)表示边缘强调处理的结果。

若图5的步骤S14所示的边缘强调处理结束，则接下来进行γ调整(步骤S15)。该γ调整是采用与阵列基板1的特性相对应的γ系数，调整红绿蓝的灰度值。γ系数是正实数，γ＝1.2左右。

更具体来说，若设γ调整前的灰度值为(R₀，G₀，B₀)，γ调整后的灰度值为(R，G，B)，则利用以下的式(10)进行运算。

R＝R₀ ^γ，G＝G₀ ^γ，B＝B₀ ^γ    …(10)

利用以上的处理，对于名片等线条图像能够得到彩色拍摄图像。另外，即使拍摄对象是黑白图像，也进行同样的处理。

在上述的图5的步骤S2～S7中，是在将阵列基板1例如分别设定为红绿蓝的状态下，一面改变摄像条件，一面各进行N次摄像，这里的所谓摄像条件，指的是曝光时间。即，对于N次的各次，分段切换曝光时间。以下说明考虑γ系数在内的设定曝光时间的方法。

一般，显示装置的再现辉度Y与灰度值多设定为满足式(11)的关系。

Y＝(灰度值)^γ                        …(11)

若改变式(11)的形式，则得到式(12)。

灰度值＝Y^1/γ                         …(12)

这里，为了读取第n级灰度的图像所需要的图像摄像摄入传感器7的曝光时间T满足式(13)的关系。

T∝1/(第n级灰度的灰度泄漏电流)

＝1/(热电流+第n级灰度的灰度的光电流)…(13)

由式(13)可得到以下的式(14)。

1/T＝常数×(热电流+第n级灰度的灰度的光电流)…(14)

这里，读取理想黑色(不产生光电流的状态)用的曝光时间To用式(15)表示。

1/To＝常数×热电流                …(15)

若取式(14)与(15)之差，则得到式(16)。

1/T-1/To＝常数×(第n级灰度的灰度的光电流)

∝第n级灰度的辉度                 …(16)

根据式(16)及式(12)，则式(17)的关系成立。

(1/T-1/To)^1/γ∝Y^1/γ＝拍摄对象的灰度…(17)

因而，为了使拍摄对象的灰度按照一定间隔变化来进行摄像，希望分段切换曝光时间T，使得(1/T-1/To)^1/γ按照近似一定间隔变化。若预先计算这样的曝光时间T，存入图1的存储器6等，则由于能够迅速选择曝光时间T，因此最好这样。

另外，所谓“近似一定间隔”，是指曝光时间Ti(T1，T2…)都不超过利用上述的分割方法划分的相邻Ti的范围。

为了求得To，具体是按照下述那样进行。在将白纸(照片的印相纸或高质量的纸)贴紧显示装置的显示面、而且关掉显示装置的背光源的状态下，一面改变摄像时间，一面进行摄像，将图像摄入传感器7输出的摄像数据的白与黑的比例变为1∶1那样的时间作为To。

用户考虑“将怎样明亮的白色作为最大灰度”来调节最大的T。若将最大的T设定为较大的值，则在读取报纸那样的反射率低的印刷物时，能够将报纸的背景色作为反射率更高的白色再现。

为了求出最小的T，具体是按照下述那样进行。在将白纸(用照片的印相纸或高质量的纸。或者如图14那样设置盖板31，将盖板31的内侧形成白色)的白色面贴紧显示装置的显示面、而且点亮显示装置的背光源的状态下，一面改变摄像时间，一面进行摄像，将图像摄入传感器7输出的摄像数据的白与黑的比例变为1∶1那样的时间作为最小的T(以下称为Tst)。在进行彩色读取时，分别使液晶显示作为红、绿、蓝，对每种情况求出T_{st_R}、T_{st_G}、T_{st_B}。可以分别对每种颜色进行3次求出这些量的动作，也可以如图15所示，将显示作为红、绿、蓝，通过1次动作集中进行。

图16是进一步创新的方案。即使光图像摄入传感器7的特性有较大的面内差异，但若如图16那样求得Tst，则也能够进行均匀性好的摄像。图16不过是一个例子。可以有再进一步将显示区域细分等的各种变形。由于采用在显示像素内装有光图像摄入传感器7的结构，因此能够利用显示导出这样特征性的Tst。

图17所示为分段切换曝光时间T使得(1/T-1/To)^1/γ按照一定间隔变化时、使曝光时间T按照一定间隔变化时、以及使曝光时间T的倒数按时一定间隔变化时的各种情况下表示拍摄对象的摄像结果的辉度值与用辉度计测量拍摄对象得到的辉度的关系。如图所示，可知若分段切换曝光时间T使得(1/T-1/To)^1/γ按照一定间隔变化，则拍摄对象的拍摄图像的辉度值线性变化。另外，在进行彩色图像的拍摄时，必须在全部灰度的白平衡不破坏。对于这一点，分段切换曝光时间T使得(1/T-1/To)^1/γ按照一定间隔变化的情况也是最好。

下面说明拍摄对象是自然画时的处理顺序。图18所示为自然画拍摄的处理顺序一个例子的流程图。步骤S21～S30与图5的步骤S1～S10相同。若步骤S30的不均匀减法处理结束，则进行与步骤S11相同的横向不均匀处理(步骤S31)。但是，不进行骨架化处理。

然后，进行对比度提高处理(步骤S32)。在该对比度提高处理中，将横向不均匀处理后的灰度数据变换为灰度值的最小值至最大值使用的灰度数据。

然后，进行中值滤波处理(步骤S33)。该中值滤波处理是图5的步骤S14的边缘强调处理的一种，使轮廓分别，同时除去噪声，使图像光滑。更具体来说，是将包围中心像素的3×3像素的灰度值按大小顺序排列，将其中间值(中值)作为中心像素的像素值。

若中值滤波处理结束，则进行与图5的步骤S15相同的γ调整(步骤S34)，得到最终的自然画的彩色图像(步骤S35)。

这样，在本实施形态中，由于在使整个阵列基板1为红色的状态下一面改变曝光条件，一面摄像N次，然后在使整个阵列基板1为绿色的状态下一面改变曝光条件，一面摄像N次，然后在使整个阵列基板1为蓝色的状态下一面改变曝光条件，一面摄像N次，因此能够得到无噪声影响的拍摄图像。

另外，由于使色校正线性变换中所用的矩阵的对角元素与非对角元素的正负符号相反，因此能够除去斜方向泄漏的不需要的颜色成分的影响。

另外，在读取名片等线条图像时，由于进行骨架化处理，混入灵敏度高的蓝色成分，因此能够得到轮廓分明的拍摄图像。

在以上的例子中，是作为将置于显示装置表面的文稿或照片等用显示装置内装的光传感器读取的扫描器技术进行说明的，但对于将手指触摸显示装置表面的状态进行摄像分析来检测及计算输入坐标及触摸动作的触摸屏技术，也可以采用各项技术来提高动作精度。另外，对于使具有光源的指示构件(光笔)接触显示面、并将光笔的光照射的状态进行摄像分析来检测及计算输入坐标及触摸动作的笔输入技术，也可以采用各项技术来提高动作精度。

例如用图9说明的除去像素极性反转的影响的技术，由于拍摄图像中所包含的数据质量提高，因此位置检测等的精度提高。另外，与采用有不均匀的图像进行坐标计算相比，采用除去不均匀之后的图像进行坐标计算更为有利。

Claims (10)

1.一种显示装置，其特征在于，包括

在纵横排列设置的信号线与扫描线的各交点附近形成的各像素内部设置显

示元件的像素阵列部；

与所述显示元件对应设置的、分别包含对拍摄对象的规定范围进行摄像的光传感器的摄像电路；

以及将整个所述像素阵列部的显示色改变3种、对每一种显示色一面改变显示色以外的摄像条件一面进行多次摄像并根据摄像的结果生成最终的摄像数据的摄像处理部。

2.如权利要求1所述的显示装置，其特征在于，

对各显示色，所述摄像电路对所述多次摄像的每一次改变曝光条件。

3.如权利要求1所述的显示装置，其特征在于，

包括对所述摄像电路输出的第1色灰度信号、第2色灰度信号及第3色灰度

信号利用对角元素与非对角元素的正负符号互相不同的3行×3列的矩阵进行矩阵运算的色校正线性变换部，

所述摄像处理部根据利用所述色校正线性变换部得到的矩阵运算结果，生成最终的摄像数据。

4.如权利要求1所述的显示装置，其特征在于，

所述3种显示色包含红色、绿色及蓝色。

5.如权利要求1所述的显示装置，其特征在于，

所述3种显示色包含蓝绿、紫红及黄色。

6.如权利要求1所述的显示装置，其特征在于，

将第1次摄像时的显示色作为第1色，将第2次摄像时的显示色作为第2

色，将第3次摄像时的显示色作为第3色，从所述光传感器的S/N比较低的颜色起依次选择所述第1色、第2色及第3色。

7.如权利要求6所述的显示装置，其特征在于，

包括对所述摄像电路输出的第1色灰度信号、第2色灰度信号及第3色灰度

信号的各色灰度信号进行与特定色的灰度值相对应的灰度校正的灰度校正部。

8.如权利要求7所述的显示装置，其特征在于，

包括对所述摄像电路输出的第1色灰度信号、第2色灰度信号及第3色灰度信号进行显示不均匀减法处理的不均匀减法部，

所述特定色的灰度值是进行了显示不均匀减法处理后的特定色的灰度值。

9.如权利要求8所述的显示装置，其特征在于，

所述不均匀减法部通过取得与在将整个所述像素阵列部设定为中间灰度的状态下用所述摄像电路拍摄的均匀图像之差分，来进行显示不均匀减法处理。

10.一种显示装置的摄像方法，其特征在于，

所述显示装置包括

在纵横排列设置的信号线与扫描线的各交点附近形成的各像素内部设置显示元件的像素阵列部；

以及与所述显示元件对应设置的、分别包含对拍摄对象的规定范围进行摄像的光传感器的摄像电路，

所述摄像方法是一面在所述像素阵列部的一个画面上同时显示拍摄彩色图像用的多种颜色，一面用所述摄像电路进行摄像，并根据该摄像结果，决定各色的摄像条件。

Images