CN101266743B - 显示装置及其控制方法 - Google Patents

Abstract

本发明披露了一种显示装置及其控制方法，该显示装置包括：显示面板，具有显示功能和光接收/成像功能；第一图像处理部，被配置为基于对经过所述光接收/成像功能获得的图像所执行的第一图像处理的结果，生成表示是否已检测到待检测物体的检测信号；第二图像处理部，被配置为对通过所述第一图像处理部处理部进行的所述图像执行第二图像处理，所述第二图像处理具有比所述第一图像处理更大的处理载荷；以及控制部，被配置为根据由所述第一图像处理部生成的所述检测信号来控制所述第二图像处理部的操作，以及当确定不需要所述第二图像处理的所述处理时，控制所述第二图像处理部进入休眠状态。

Description

显示装置及其控制方法

相关申请的交叉参考

本发明包含于2007年3月16日向日本专利局提交的日本专利申请第2007-069515号的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种适用于例如液晶显示器、有机电致发光(EL)显示等的显示装置。更具体地，本发明涉及一种显示装置，该显示装置的显示区(面板)具有光接收元件，并且获取诸如接触或接近面板物体的位置的信息，还涉及一种用于控制显示装置的方法。

背景技术

已知一种用于检测接触或接近显示器的显示表面的物体的位置等的技术。具体地，具有触摸面板的显示装置是这种技术的一种典型并被广泛使用的实例。

当存在各种类型的触摸面板时，通常广泛生活用那种检测电容的触摸面板。这种类型的触摸面板用于检测当手指接触触摸面板时屏幕表面的电荷的改变，从而检测物体的位置等。这种触摸面板的使用使用户能够执行直观的操作。

例如，本受让人已通过第2004-127272号日本专利公开(下文中，称作专利文献1)提出了一种具有显示部(显示/成像面板)的显示装置，该显示部具有显示图像的显示功能和成像(或检测)物体的成像(或检测)功能。

发明内容

根据专利文献1所述的显示装置，例如，当诸如手指的物体接触或者接近显示/成像面板时，能够基于通过使用从物体反射的显示光(即，待检测光)拍摄的图像来检测物体的位置等。因此，具有简单结构的显示装置的使用能够检测物体的位置等，而不需要在显示面板上提供诸如触摸面板的组件。

但是，在这种类型的显示装置中，例如，必需光接收(输入)功能的操作才能确定手指等是否接近面板的表面。因此，即使当指尖长时间没有执行操作时，仍然会不断的消耗功率才能进行光接收。这种不必要的功率消耗在通过电池提供电源的便携式设备中尤为不利。

本发明的优势在于提供了一种具有简单结构并且能够检测物体的位置等以及降低不必要的功率消耗的显示装置，以及用于控制该显示装置的方法。

根据本发明的第一实施例，提供了一种显示装置，包括：显示面板，具有显示功能和光接收/成像功能；第一图像处理部，被配置为，基于对通过光接收/成像功能获得的图像执行的第一图像处理的结果生成表示是否已检测到待检测物体的检测信号；第二图像处理部，被配置为对经过第一图像处理部处理的图像执行第二图像处理，第二图像处理具有比第一图像处理更大的处理载荷；以及控制部，被配置为根据由第一图像处理部生成的检测信号控制第二图像处理部的操作，以及当确定不需要由第二图像处理部进行的处理时，控制第二图像处理部进入休眠状态。

根据本发明的第二实施例，提供了一种用于控制显示装置的方法，其中，显示装置包括显示面板，具有显示功能和光接收/成像功能，所述方法包括以下步骤：基于对通过光接收/成像功能获得的图像执行的第一图像处理的结果，生成表示是否已检测到待检测物体的检测信号；对由第一图像处理获得的图像执行第二图像处理，第二图像处理具有比第一图像处理更大的处理载荷；以及根据在生成步骤中生成的检测信号来控制第二图像处理的操作，以及当确定不需要第二图像处理时，控制第二图像处理进入休眠状态。

根据本发明的第三实施例，提供了一种显示装置，包括：显示面板，在显示区内具有多个显示元件和多个光接收传感器；第一图像处理部，被配置为基于多个光接收传感器的输出来执行用于检测接触或接近显示面板的物体的第一图像处理；第二图像处理部，被配置为基于第一图像处理部的输出来执行用于至少获得所检测物体在显示区中的位置的信息的第二图像处理；以及控制部，被配置为当不需要由第二图像处理部的处理时，根据由第一图像处理部检测物体的结果来控制第二图像处理部进入休眠状态。

根据本发明的这些实施例，通过光接收/成像功能获得的图像被提供给第一图像处理部。第一图像处理部基于对所获得图像执行的第一图像处理的结果来确定是否已检测到待检测物体(是待被检测的物体)，生成表示确定结果的检测信号，并将检测信号提供给控制部。控制部根据通过第一图像处理部生成的检测信号来控制第二图像处理部的操作。然后，当确定不需要第二图像处理部的处理时，控制第二图像处理部进入休眠状态。

根据本发明的这些实施例，能够通过简单结构来检测物体的位置等，并降低了不必要的功率消耗。

附图说明

图1是示出了根据本发明的第一实施例的便携式显示装置的整体结构的框图；

图2是示出了通过根据本实施例的第一图像处理部(即，硬件图像处理部)所执行的程序的流程图；

图3是示出了在图2中的手指接近检测处理的程序的流程图；

图4是示出了如图1所示的I/O显示面板的典型结构的框图；

图5是示出了像素的典型结构的电路图；

图6是用于描述像素和传感器读取用H驱动器的连接方式的电路图；

图7是用于描述背光的开/关状态和显示状态之间的关系的时序图；

图8是根据本实施例的节电顺序的状态转换图；

图9是示出了节电控制的脉冲顺序的示图；

图10是示出了根据本发明的第二实施例的便携式显示装置的整体结构的框图；

图11是示出了根据第二实施例的指尖提取处理的流程图；

图12是用于描述图11中的提取处理的时序图；

图13是示出了如图12所示的差分图像(difference-image)指尖提取处理的细节的流程图；

图14示出了用于描述差分图像指尖提取处理的图像；

图15A和图15B示出了用于描述当环境光亮时的差分图像指尖提取处理的示图；

图16A和图16B是用于描述当环境光暗时的差分图像指尖提取处理的示图；

图17A和图17B是用于描述通过差分图像指尖提取处理获得的光接收信号的动态范围的示图；

图18A～图18D示出了用于描述当同时存在多个待检测指尖时的差分图像指尖提取处理的图像；

图19是示出了如图12所示的阴影图像指尖提取处理的细节的流程图；

图20是用于描述阴影图像指尖提取处理的概念的透视图解；

图21是示出了通过阴影图像指尖提取处理获得的图像实例的示意图；

图22示出了用于描述阴影图像指尖提取处理的图像；

图23示出了用于描述通过阴影图像指尖提取处理获得的光接收信号的示图；

图24A、图24B、图25、和图26是用于描述生成移动平均图像的处理过程的示图；

图27是用于描述当比较差分图像指尖提取处理和阴影图像指尖提取处理时的两种处理的表格；

图28A、图28B、图29、图30、和图31是用于描述指尖提取处理的使用结果的应用实例的图解；

图32是示出了根据本发明的第三实施例的指尖提取处理的流程图；

图33是示出了根据本发明的第四实施例的指尖提取处理的流程图；

图34示出了用于描述如图33所示的图像结合处理的图像；

图35A和图35B是用于描述根据本发明的另一个实施例的移动平均图像的生成过程的示图；以及

图36A和图36B是用于描述根据本发明的又一个实施例的移动平均图像的生成过程的示图。

具体实施方式

下文中，将参照附图描述本发明的实施例。

[第一实施例]

图1是示出了根据本发明第一实施例的便携式显示装置1的整体结构的框图。

作为主要组件，便携式显示装置1包括I/O显示系统2和设备驱动器(应用处理部)3。

I/O显示系统2包括I/O显示面板20、背光21、和I/O显示系统集成电路(下文中，称作“显示IC”)22。

当提供显示器时，在根据本实施例的显示装置1中的I/O显示系统2能够通过显示器表面执行成像。I/O显示系统2具有以下功能。

功能1)为基于通过使背光21快速开/关获得的两个光接收图像来消除环境光的影响并通过图像处理生成指尖变亮的图像的功能。指尖是接触或接近显示表面并待被检测的物体的实例。

功能2)为基于当背光21关时获得的光接收图像并有效使用环境光来执行阴影检测处理并通过图像处理生成接触或接近显示表面的手指变亮的图像的功能。功能2)与功能1)被并行执行。

功能3)为同时执行功能1)和2)以通过处理获得指尖变亮的图像的功能。

通过专业硬件图像处理部执行上面的处理1)～3)。根据通过功能3)获得的结果确定指尖是否接触或接近显示表面。

功能4)为基于通过硬件图像处理部执行的处理结果，通过对于当前系统专业的软件图像处理部(微处理单元(MPU))所执行的软件图像处理来计算与待检测指尖数以及指尖的坐标、面积、和区域相关的信息。

在显示装置1中的I/O显示系统2具有下面的功能来实现节电。

功能5)为当在预定时间周期没有检测到指尖时使用于处理的MPU自动进入休眠状态的功能。当在预定时间周期没有检测到指尖时，确定不需要软件图像处理。

功能6)为当MPU处于休眠状态时以比正常时间更长的间隔执行光接收和图像处理以当MPU处于休眠状态时降低功率消耗的功能。

功能7)为当在MPU已进入休眠状态后硬件图像处理部确定指尖已接近显示表面时使MPU返回正常状态以再次以正常间隔执行光接收和图像处理的功能。

功能8)为当实现本系统的设备的应用暂时不需要检测指尖等输入时，为了降低功率消耗而延迟为在本系统中的MPU和光接收功能提提供电源的功能。在这种情况下，I/O显示系统2具有适当执行用于使MPU进入休眠状态的程序的功能。

通过液晶面板(液晶显示器(LCD))形成I/O显示面板20，例如，在整个液晶面板上，像素(显示元件)以矩阵形式配置。I/O显示面板20具有当执行逐行操作时基于显示数据来显示预定图形、字符等的图像的功能(即，显示功能)。另外，如下所述，I/O显示面板20具有成像接触或接近I/O显示面板20的物体的功能(即，成像功能)。背光21用作I/O显示面板20的光源，其中，例如，排列多个发光二极管。如下所述，通过与I/O显示面板20的操作定时同步的预定定时来控制快速开和关背光21。

显示IC22包括显示驱动电路23、光接收设备电路24、硬件图像处理部(即，第一图像处理部)25、软件图像处理部(即，第二图像处理部)26、和节电控制部27。

当执行逐行操作时，显示驱动电路23驱动I/O显示面板20，从而基于显示数据来显示图像(即，以执行显示操作)。

当执行逐行操作时，光接收驱动电路24驱动I/O显示面板20，从而获得光接收数据(即，以成像物体)。注意到，例如，光接收驱动电路24在帧存储器(未示出)中逐帧累积每个像素的光接收数据，并将光接收数据输出至第一图像处理部25，作为所拍摄的图像。

第一图像处理部(即，硬件图像处理部)25执行反射检测处理(暗/亮差分处理)，作为第一处理。反射检测处理为基于通过快速开和关背光21所拍摄的两个光接收图像来消除环境光的影响并且通过图像处理来生成图像(接触或接近I/O显示面板20的表面的指尖变亮)的处理。第一图像处理部25也执行阴影检测处理，作为第二处理。基于当背光21关时有效使用环境光拍摄的光接收图像来执行阴影检测处理，并且通过图像处理生成接触或接近表面的指尖变亮的图像。第一图像处理部25同时执行反射检测处理(即，第一处理)和阴影检测处理(即，第二处理)，从而通过处理获得指尖变亮的图像。然后，第一图像处理部25执行将通过反射检测处理(即，第一处理)获得的图像和通过阴影检测处理(即，第二处理)获得的图像结合的处理(即，第三处理)，此后，执行手指接近检测处理(即，第四处理)，用于检测作为待检的物体的手指已接近I/O显示面板20的表面。第一图像处理部25将图像处理的结果输出至第二图像处理部26，并且将作为手指接触检测处理的结果的手指接触检测信号S25(find_obj)输出至节电控制部27。手指接触检测信号S25可以通过另一个处理部提供给节电控制部27，并且在待从第一图像处理部25输出至节电控制部27的检测信号中还包括手指接近检测信号S25。

图2是示出了通过根据本实施例的第一图像处理部(即，硬件图像处理部)25所执行的处理程序的流程图。图3是示出了图2中的手指接近检测处理的流程图。

如图2所示，在步骤ST1和ST2中，第一图像处理部25同时执行反射检测处理(即，第一处理)和阴影检测处理(即，第二处理)。随后，在步骤ST3中，第一图像处理部25执行将通过反射检测处理(即，第一处理)所获得的图像和通过阴影检测处理(即，第二处理)所获得的图像结合的处理(即，第三处理)。此后，在步骤ST4中，第一图像处理部25执行手指接近检测处理。参照图3，在步骤ST4中的手指接近检测处理中，第一图像处理部25在步骤ST41中对作为两个图像的结合结果所获得的图像执行平滑处理以进行减噪。随后，在步骤ST42中，第一图像处理部25确定是否存在尺寸大于阈值的N×N区域。如果在步骤ST42中第一图像处理部25确定存在这样的区域，则第一图像处理部25将手指接近检测信号S25(find_obj)以高电平输出至节电控制部27，判断作为待检测物体的手指已接近I/O显示面板20的表面，并且已检测到接近。如果在步骤ST42中第一图像处理部25确定不存在这样的区域，则第一图像处理部25将手指接近检测信号S25(find_obj)以低电平输出至节电控制部27，判断作为待被检测的物体的手指没有接近I/O显示面板20的表面。

根据通过第一图像处理部(即，硬件图像处理部)25所执行的处理的结果，第二图像处理部(即，软件图像处理部(MPU))26通过软件图像处理来计算与待被检测的指尖的数目以及指尖的坐标、面积、和区域相关的信息，并且检测和获得与作为接触或接近I/O显示面板20的物体相关的信息(例如，位置坐标数据或与物体的形状或尺寸相关的数据)。通过第二图像处理部26所执行的处理比通过第一图像处理部25所执行的处理具有更大的载荷和更多的功率消耗。因此，在节电模式时，节电控制部27控制第二图像处理部26进入切断状态。通过第二图像处理部26所执行的处理的结果被提供给设备控制器3。稍后将描述第一和第二图像处理部所执行的处理的细节。

节电控制部27从第一图像处理部25接收手指接近检测信号S25(find_obj)，并且执行第二图像处理部26的开/关控制。当节电控制部27接收手指接触检测信号S25(find_obj)并确定在预定时间周期没有检测到指尖时，节电控制部27判断不需要软件图像处理，并且使用于处理的第二图像处理部(MPU)自动进入休眠状态。当MPU处于休眠状态时，节电控制部27以比正常时间更长的间隔来执行光接收和图像处理，因此，降低了功率消耗。当MPU进入休眠状态后确定第一图像处理部(即，硬件图像处理部)25已检测到指尖的接近时，节电控制部27使MPU复位，从而再次以正常间隔执行光接收和图像处理。另外，节电控制部27具有当实现本系统的设备的应用暂时不需要检测指尖等的输入时中止为在本系统中的MPU和光接收功能提提供电源以降低功率消耗的功能。在这种情况下，节电控制部27具有适当执行用于使MPU进入休眠模式的程序的功能。例如，当使MPU进入休眠状态时，节电控制部27控制时钟启动信号MPU_clk_en以使MPU变为停止工作状态。稍后将描述通过节电控制部27的节电控制的细节。

以下将描述在本实施例中执行节电控制的原因。在I/O显示系统2中，光接收(输入)功能的操作需要确定指尖等是否接近I/O显示面板20的表面。因此，如果即使很长时间没有通过指尖执行操作仍经常消耗功率来进行光接收，则I/O显示系统2的使用就不适用于便携式设备。在实际使用中，在很多情况下，不是经常对显示面板执行操作的。例如，假设I/O显示系统2被用于数码像机的显示面板。在这种情况下，当拍照时，不会频繁对显示面板执行操作，然而当再生图片或者执行相机设置等时，几乎还要对显示面板执行操作。

根据本实施例的I/O显示系统2具有用于光接收的信息处理的三个主要功能块：逻辑电路，用作光接收和数字转换部；第一图像处理部(即，硬件图像处理部)25；和第二图像处理部(即，软件图像处理部(MPU))26。从功率消耗的观点来看，这三个块的连续操作对于便携式设备来说不实际。特别地，仅当需要非常精确的计算时才需要第二图像处理部26的操作，并且仅通过用于光接收的逻辑电路、数字转换部、和第一图像处理部(即，硬件图像处理部)25就能确定是否正在对I/O显示面板20执行操作。因此，在本实施例中，为了降低不必要的功率消耗，节能控制部27控制第二图像处理部26的操作。

设备控制器3基于通过第二图像处理部26所生成的检测结果并根据预定应用软件来执行处理。例如，设备控制器3使显示数据包括所检测物体的位置坐标，并且在I/O显示面板20上显示坐标。应注意，通过设备控制器3生成的显示数据被提供给显示设备电路23。

接下来将参照图4描述I/O显示面板20的结构细节的实例。I/O显示面板20包括显示区(传感器区)201、显示用H驱动器202、显示用V驱动器203、传感器用V驱动器204、和传感器读取用H驱动器205。

显示区(传感器区)201是用于调节来自背光21的光以发出显示光的区域，并且另外，成像接触或接近这个区的物体的区域。后述作为显示元件(即，发光元件)的液晶元件和光接收元件(即，成像元件)中的每个均以矩阵形式配置在显示区(传感器区)201中。此处，注意，光接收元件的数目可以与显示元件的数目不同。例如，光接收元件可以比显示元件更少。

基于用于通过显示驱动电路23提供的显示驱动的控制时钟和显示信号，显示用H驱动器202与显示用V驱动器203结合以逐行驱动在显示区201内的像素中的液晶元件。

传感器读取用H驱动器205与传感器用V驱动器204结合以逐行驱动在显示区(传感器区)201内的像素中的光接收元件，从而获得光接收信号。

接下来将参考图5描述在显示区201中的每个像素的结构的细节的实例。图5所示的像素31由作为显示元件的液晶元件和光接收元件构成。

特别地，在显示元件边，通过薄膜晶体管(TFT)形成的切换元件31a配置在沿水平方向延伸的栅极线31h与沿垂直方向延伸的漏极线31i的交点处，并且包括液晶的像素电极31b配置在在切换元件31a和相对电极之间。切换元件31a基于通过栅极线31h提供的驱动信号而开和关，并且当切换元件31a处于开状态时，基于通过漏极线31i提供的显示信号将像素电压施加给像素电极31b，以设置显示状态。

另一方面，在与显示元件相邻的光接收元件侧，例如，配置通过光电二极管等所形成的光接收传感器31c，并且电源电压VDD被提供给传感器31c。另外，复位开关31d和电容器31e连接至光接收传感器31c。对应所接收的光量的电荷被累积在电容器31e中，同时，复位开关31d复位。当读取开关31g开时，所累积的电荷通过缓冲放大器31f提供给信号输出用电极线31j，从而将电荷输出至外部。通过从复位电极线31k提供的信号来控制复位开关31d的开和关操作，并且通过从读取控制电极线31m提供的信号来控制读取开关31g的开和关操作。

接下来将参照图6描述在显示区201和传感器读取用H驱动器205中的每个像素之间的连接。在显示区201中，平行排列用于红色(R)的像素31、用于绿色(G)的像素32、和用于蓝色(B)的像素33。

通过缓冲放大器31f、32f、和33f分别放大在连接至像素中的光接收传感器31c、32c、和33c的多个电容器中所累积的电荷，并且当分别打开读取开关31g、32g、和33g时，通过信号输出用电极线提供给传感器读取用H驱动器205。注意，恒电流源41a、41b、和41c连接至信号输出用电极线，从而能够通过传感器读取用H驱动器205来高灵敏地检测与所接收的光量对应的信号。

接下来将详细描述根据本实施例的显示装置的操作。

首先，将描述显示装置的基本操作，即，图像显示操作和物体成像操作。此后，将描述节电控制部27的节电控制操作。

在这个显示/成像装置中，显示驱动电路23基于从设备控制器3提供的显示数据来生成显示用驱动信号，并且基于这个驱动信号，逐行驱动I/O显示面板20来显示图像。此时，通过显示驱动电路23驱动背光21，从而与I/O显示面板20同步执行光开/关操作。

此处，将参照图7在下面立刻描述背光21的开/关状态和I/O显示面板20的显示状态之间的关系。

例如，假设通过1/60秒的帧周期来执行图像显示。在这种情况下，在每个帧周期的第一个半周期(长度为1/120秒)内，背光21不提供亮度(即，处于关状态)，从而不提供显示。同时，在每个帧周期的第二个半周期期间内，背光21提供亮度(即，处于开状态)，并且显示信号被提供给每个像素，从而显示关于该帧周期的图像。

如上所述，每个帧周期的第一个半周期为暗周期，在此期间内，从I/O显示面板20不发射显示光，而每个帧周期的第二个半周期为亮周期，在此期间内，从I/O显示面板20发射显示光。

此处，当存在接触或接近I/O显示面板20的物体(例如，指尖)时，作为光接收驱动电路24逐行驱动光接收元件的结果，通过在I/O显示面板20内的像素中的光接收元件成像物体，并且从每个光接收元件向光接收驱动电路24提供光接收信号。从对应于一个帧的像素提供的光接收信号被累积在光接收驱动电路24中，并且作为所获得的图像，光接收信号被输出给第一图像处理部25。

随后，第二图像处理部26基于所拍摄的图像来执行稍后详细描述的预定图像处理(计算处理)，从而检测与接触或接近I/O显示面板20的物体相关的信息(例如，位置坐标数据或与物体的形状或尺寸相关的数据)。

接下来将参照图8和图9A～图9H描述节电控制装置27的节电控制操作。图8是根据本实施例的节电顺序的状态转换图。图9A～图9H示出了节电控制的脉冲顺序。图9A示出了手指接近检测信号find_obj。图9B示出了手指检测信号finger_det。图9C示出了传感器中止信号sensor_disable。图9D示出了一种状态。图9E示出了休眠转换信号prepare_sleep。图9F示出了MPU时钟启动信号MPU_clk_en。图9G示出了传感器停止周期sensor_5fps。图9H示出了传感器运行信号sensor_active。

由于在本实施例中需要固定的处理程序使MPU进入休眠状态或者使MPU复原，所以实现了如图8所示满足条件的状态转换被。同时，当MPU处于休眠状态时，需要用于检测指尖等接近的硬件和算法。由于硬件不适用于诸如加标记的高级处理，所以预备了通过MPU所执行的简化的专业算法(参看图3)。在本实施例中，预备用于节电和判断用硬件的状态转换控制和操作模式来作为实现所有上述功能的系统，从而防止了功率消耗的增加。

如图8所示，在本实施例中限定用于实现节电功能和两种转换状态的三种操作模式。

在完全操作模式中，允许光接收传感器经常操作。在完全操作模式下，I/O显示面板20对其上所执行的操作最敏感。通常，每秒60次处理屏幕上的传感器信息。注意，由于当背光处于接通状态和处于切断状态时获得两个图像，所以每秒120次扫描传感器。

同时，在间歇操作模式中，传感器处理每秒仅被处理1～几次，从而用于传感器读取所消耗的功率、用于图像处理所消耗的功率、和通过MPU所消耗的功率都被降低。如果对于预定时间周期在完全操作模式中不对I/O显示系统2执行操作，则内部MPU自动转换至休眠状态，从而导致间歇操作模式。

此外，当设备控制器3判断不需要使用I/O显示功能时，I/O显示系统2转换至传感器切断模式。使用传感器停止信号sensor_disable从设备控制器3明确通知用于转换至传感器切断模式的命令。当接收到这个命令时，I/O显示系统2运行用于使用于图像处理的MPU转换至休眠状态并且随后切断传感器的处理程序，从而I/O显示系统2进入功率消耗被降低至最小的状态。当sensor_disable已被取消时，I/O显示系统2首先转换至间歇操作模式。

第一图像处理部(即，硬件图像处理部)25具有检测手指的接近而无需取决于MPU(即，第二图像处理部)的判断能力。以以下方式实现手指接近的检测。即，如果从硬件图像处理的结果中发现尺寸大于某个阈值的亮区，则第一图像处理部25判断这个区可以对应于手指，并且将此通知给节电控制部27。当接收到这个通知时，如果MPU处于休眠状态，则节电控制部27使MPU转换至操作状态，并且使传感器驱动电路和图像处理硬件从间歇操作模式转换至完全操作模式。

上面的排列能够仅当需要时应用完全操作模式。因此，使得设备功率消耗的降低。

<关于功率消耗和反应速度>

反应速度和功率消耗随着模式是完全操作模式还是间歇操作模式而变化，并且随着当模式为间歇操作模式时的操作间隔而变化。功率消耗在便携式设备中很重要，而在功率消耗不会引起问题的系统情况下，应优先考虑反应速度。作为时限便携式设备的实例，假设将一组传感器处理定义为一帧(当背光开和关时所执行的扫描的两个实例可以被定义为一组)，此处所推荐的标准排列为“完全操作＝60帧/秒，间歇操作＝2帧/秒”。在这种情况下，在间歇操作模式中的功率消耗比完全操作模式中的功率消耗更低，大约为其三十分之一(因为使MPU进入休眠状态，所以进一步降低了功率消耗)。在期望在间歇操作模式中实现更快反应的情况下，例如，可以将间歇操作模式设为10帧/秒。在这种情况下，响应在0.1秒之内，因此，实现了快速转换至完全操作模式，从而几乎没有人能够注意到。但是，在这种情况下，间隙操作模式的功率消耗约为标准配置情况的5倍。

上面已经描述了根据本实施例的基本结构和节电控制。下文中，将更详细地描述根据本实施例的图像处理。

接下来参照图11～27描述接触或接近I/O显示面板20的诸如指尖的物体(相邻物体)的提取处理(即，指尖提取处理)的细节。通过图像处理实现这个处理，并且是本发明的一个重要特征。图11是通过图像处理部执行的指尖提取处理的流程图。图12是示出了指尖提取处理的一部分的时序图。

I/O显示面板20在一个显示帧周期的第一个半周期(即，暗周期)期间内执行邻近物体的成像处理，其中，背光21处于关状态，从而获得图A(阴影图)(图11中的步骤ST11、和图12)。

接下来，I/O显示面板20在一个显示帧周期的第二个半周期(即，亮周期)期间内执行邻近物体的成像处理，其中，背光21处于开状态，从而获得图像B(显示光用图像)(图12)。随后，例如，根据作为图像B和图像A之间的差值的差分图像C，通过第一图像处理部25执行指尖提取处理(即，差分图像指尖提取处理)。

与差分图像指尖提取处理并行地，根据图像A(即，阴影图像)并通过第一图像处理部25执行指尖提取处理(即，阴影图像指尖提取处理)(图11中的步骤ST13)。

接下来，第一图像处理部25确定是否已通过在步骤ST12中的差分图像指尖提取处理提取指尖(即，与诸如指尖的邻近物体的位置、形状、尺寸等相关的信息已经被获得)(步骤ST14)。如果确定指尖已被提取(步骤ST14：Y)，则第二图像处理部26确定采用通过差分图像指尖提取处理的提取结果(步骤ST15)，并将最终结果输出至设备控制器3(步骤ST17)。

同时，如果确定没有提取指尖(步骤ST14：N)，则第二图像处理部26确定采用通过阴影图像指尖提取处理的提取结果(步骤ST16)，并将最终结果输出至设备控制器(步骤ST17)。

如上所述，关于根据本实施例的图像处理(包括硬件和软件处理)，作为主要处理执行差分图像指尖提取处理，并且作为次处理执行阴影图像指尖提取处理。随后，当考虑这两种提取处理时，最终选择通过其中的一种提取处理的提取结果。

接下来将描述差分图像指尖提取处理和阴影图像指尖提取处理的细节。

首先，将参照图13～图18描述差分图像指尖提取处理的细节。图13是示出了差分图像指尖提取处理的细节的流程图。

如上所述，I/O显示面板20在一个显示帧周期的第二个半周期(即，亮周期)期间内执行邻近物体的成像处理，其中，背光21处于开状态，从而获得图像B(即，显示光用图像)(图13中的步骤ST121及图12)。

接下来，第二图像处理部26生成差分图像C，该差分图像为图像B和图像A(即，阴影图像)之间的差值，在背光21处于关状态的周期(即，暗周期)期间内，通过成像获得图像A(步骤ST122)。

随后，第二图像处理部26执行确定所生成的差分图像的重心的计算处理(步骤ST123)，并识别接触(接近)的中心(步骤ST124)。

如上所述，在差分图像指尖提取处理中，根据差分图像C执行指尖的提取处理，差分图像C为图像B(使用显示光获得)和图像A(使用环境光而不使用显示光获得)之间的差值。因此，如通过如图14所示的差分图像C的典型图像所示，检测到邻近物体，从而消除了环境光亮度的影响。

特别地，假设入射的环境光与如图15A的截面图所示的一样强。在这种情况下，如图15B所示，在背光点亮的情况下的光接收输出电压Von1具有在手指没有与面板的显示区201接触的位置处的电压值Va和在手指与面板的显示区201接触的位置处的减小电压值Vb。电压值Va对应于环境光的亮度，同时，电压值Vb对应于与面板的显示区201接触的物体(手指)的反射系数，物体反射来自背光的光。相反，在背光21没有点亮的情况下的光接收输出电压Voff1具有在手指没有与面板的显示区201接触的位置处的电压值Va和在手指与面板的显示区201接触的位置处的电压值Vc。因为在手指与面板的显示区201接触的位置处的环境光被手指挡住，所以电压值Vc非常低。

假设如图16A的截面图所示，输入的环境光非常弱(或者几乎不存在入射的环境光)。在这种情况下，如图16B所示，在背光21点亮的状态下的光接收输出电压Von2具有在手指没有与面板的显示区201接触的位置处的非常低的电压值Vc(因为几乎不存在环境光)和在手指与面板的显示区201接触的位置处的被增大的电压值Vb。电压值Vb对应于与面板的显示区201接触的物体(手指)的反射率，物体反射来自背光的光线。相反，在背光21没有被点亮的情况下的光接收输出电压Voff2整体都具有非常低的电压Vc。

从图15A和图15B及图16A和图16B可以明显看出，在手指没有与面板的显示区201接触的位置处，光接收输出电压依赖于是否存在环境光而显著不同。另一方面，在手指与面板的显示区201接触的位置处，不管是否存在环境光，光接收输出电压都显著一致。即，在存在环境光的情况和不存在环境光的两种情况下，在手指与面板的显示区201接触的位置处，当背光点亮时，光接收输出电压具有电压值Vb，而当背光没有点亮时，具有电压值Vc。

因此，通过检测当背光21点亮时的电压和当背光21没有点亮时的电压之间的差值，能够检测手指接触或接近面板的显示区201的点。例如，电压值Vb和电压值Vc之间的差值非常大。这么大电压差出现的点能够被识别为手指接触或接近面板的显示区201的点。因此，不管入射在面板上的环境光是否很强或者是否几乎不存在环境光，也能够同样很好地检测手指的接触或接近。

如图17A和图17B所示，如下确定光接收输出电压的检测所需的动态范围。图17A示出了面板的显示区201、手指f、和圆形物体m。手指f与面板的表面接触，并且反射率几乎为100％的圆形物体m置于显示区201上。图17B示出了在如图17A所示的状态下手指f和物体m都存在的线上的光接收输出电压。在图17B中，电压Von3表示在背光点亮的状态下的光接收输出电压，并且电压Voff3表示在背光没有点亮的状态下的光接收输出电压。

参照图17B，不需要测量电压值(被表示为Vy)，该电压大于当背光点亮时在反射率几乎为100％的物体m被放置的位置处所检测的电压值Vd。在这些电压值Vy下面的电压值的范围Vx为检测所需的动态范围。因此，可以认为不需要被检测的电压值Vy具有相同值。

从如图18A～18D所示的图像(分别对应于图像A～C和图像C的二值图像(two-level image))显而易见，在差分图像指尖提取处理中，也能够同时获得与I/O显示面板20的显示区201接触或接近的多个物体的位置、形状、尺寸等相关的信息。

接下来，将参照图19～图26描述阴影图像指尖提取处理的细节。图19是示出了阴影图像指尖提取处理的细节的流程图。图20是当阴影图像指尖提取处理被执行时的状态的透视图解。

首先，第一图像处理部25或第二图像处理部26生成先前获得的图像A(即，阴影图像)的逆像(-A)(步骤ST131)。另外，第一图像处理部25或第二图像处理部26生成原始图像A的移动平均图像MA(步骤ST132)。

以以下方式生成移动平均图像MA。如图24A所示，例如，对在图像A中由一个聚焦像素30A及其周围像素构成的像素区30执行平均化像素数据的处理(下文中，适当称作“平均化计算处理”)(在这种情况下，由(2a+1)×(2a+1)个像素构成像素区30)。如图25所示，例如，相对于所获得的整个图像执行平均化计算处理，同时将交点从一个像素移至另一个像素。在对包括下一个被聚焦像素的下一个像素区所执行的平均化计算处理中反映了对一个像素区执行的平均化计算处理的结果。优选地，根据待检测物体的期望尺寸(即，物体尺寸)来设置在其上执行平均化计算处理的像素区30的尺寸(在这种情况下，(2a+1)个像素×(2a+1)个像素)(例如，像素区30的尺寸可以近似设为物体尺寸a)。例如，如对于如图21所示的图像20A(对应于后述图像D或图像E)发生的一样，这是因为以这种方式设置像素区的尺寸防止了第一部分(被表示为参考数字“60A”)被检测。稍后将给出详细的描述。注意，如图26所示，例如，对于在区域50之外的区域51的像素数据(需要平均化计算处理)，例如，可以应用区域50的外围像素数据的拷贝。

接下来，第一图像处理部25或第二图像处理部26基于移动平均图像MA计算将在后面使用(步骤ST136)的阈值TH(步骤ST133)。特别地，第一图像处理部25或第二图像处理部26基于在移动平均图像MA中最亮像素的像素数据(即，具有最大尺寸的像素数据)和在原始图像A中最暗像素的像素数据(即，具有最小尺寸的像素数据)来计算阈值TH。例如，第一图像处理部25或第二图像处理部26通过获得上面两段像素数据的平均值来计算阈值TH。注意，由于邻近物体不可能同时配置在显示区201的四个角中，所以在显示区201的四角中像素的像素数据的平均值可以用作最亮像素的像素数据(即，具有最大尺寸的像素数据)。

接下来，第二图像处理部26生成所生成的移动平均图像MA的逆像(-MA)(步骤ST134)，并生成作为在原始图像A的逆像(-A)和移动平均图像MA的逆像(-MA)之间的差值的差分图像D(步骤ST135)。差分图像D是移动平均图像MA和原始图像A之间的差值：D＝(-A)-(-MA)＝MA-A。随后，第二图像处理部26通过从图像D中的每段像素数据中减去在步骤ST133中所计算的阈值TH来生成图像E(＝D-TH)(步骤ST136)。

此处，如在图22中所示的图像D和E及在如图23所示的图像D和E中的典型的光接收输出电压波形Gd和Ge一样，当没有检测到大于指尖的第一部分时，检测尺寸与物体尺寸a非常一致的指尖部分。注意，如图23所示的典型的光接收输出电压波形Ga、G(-A)、Gma、和G(-MA)分别对应于在原始图像A、其逆像(-A)、移动平均图像MA、和其逆像(-MA)中的光接收输出电压波形的实例。

接下来，以与上述差分图像指尖提取处理中类似的方式，根据图E，第二图像处理部26执行重心计算处理(步骤ST137)和识别接触(接近)中心点的处理(步骤ST138)。

如上所述，在阴影图像指尖提取处理中，根据作为图像A(使用环境光所获得的)的移动平均图像MA和原始图像A之间的差值的差分图像D执行指尖的提取处理。因此，如上所述，检测到尺寸与物体尺寸非常一致的物体，并且即使当没有发出显示光时(例如，当像在作为显示元件的液晶元件为半透明液晶元件并且在户外使用I/O显示面板20的情况下背光21经常处于关状态时，或者当I/O显示面板20上正在显示黑色图像时)也能够检测到邻近物体。

注意，在这种阴影图像指尖提取处理中以及在差分图像指尖提取处理中，能够获得关于与I/O显示面板20的显示区201同时接触或接近的多个物体的位置、形状、尺寸等的信息。

在根据实施例的显示装置中，当同时考虑上述的差分图像指尖提取处理和阴影图像指尖提取处理时，通过两种处理的其中一个所获得的邻近物体的检测结果被作为第二图像处理部26的最终结果输出至设备控制器3。

图27示出了差分图像指尖提取处理和阴影图像指尖提取处理的特性。在图27中，“excellent”表示在相应条件下，相应的指尖提取处理为极佳的指尖提取，“conditional”表示在相应条件下，相应的指尖提取处理取决于环境，在指尖提取中有时优，有时差，并且“poor”表示在相应条件下，响应的指尖提取处理在指尖提取中总体很差。从图27中明显看出，当周围亮时，差分图像指尖提取处理在指尖提取中更优，因此，估计可能采用通过差分图像指尖提取处理所获得的提取结果。当背光21没有点亮并且没有发出显示光时，或者当显示面板处于黑色状态时，差分图像指尖提取处理有时不能进行指尖提取，在这种情况下，估计可能采用通过阴影图像指尖提取处理所获得的提取结果。

接下来，参照图28A～图31描述设备控制器3如何使用与通过如上所述的指尖提取处理所检测的物体的位置等相关的信息来执行应用程序的几个实例。

在图28A所示的实例中，用户通过指尖61触摸I/O显示面板20的表面，并且在屏幕上作为所画出的线611来显示指尖在I/O显示面板20的表面上的轨迹。

如图28B所示的实例为识别手的形状的手势的实例。特别地，识别与I/O显示面板20接触(或接近)的手62的形状，显示表示所识别手的形状的图像，并且根据所显示的那个物体的移动621来执行某些处理。

如图29所示的实例为处于合拢状态的手63A改变为处于伸开状态的手63B、通过图像识别I/O显示面板20来识别处于各个状态的手的接触或接近、并且根据图像识别的结果来执行处理的实例，例如，通过根据这种识别的处理来发布用于进行缩放的命令。另外，因为能够以这种方式发布这种命令，所以例如，通过这种图像识别能够以更自然的方式进入在被连接至I/O显示面板20的个人计算机上用于切换命令的操作。

此外，如图30所示，例如，可以预备多个I/O显示面板20，并且通过彼此连接传输介质，通过检测物体的接触或接近而在一个I/O显示面板上获得的图像可以被传输至其它I/O显示面板，并且在其它I/O显示面板上被显示，从而使得操作各个显示面板的用户能够彼此通信。即，如图30所示，可以预备两个I/O显示面板，通过图像识别其中一个面板所识别的手的形状65可以被传输至其它面板，从而在其它面板上显示手的形状642。而且，例如，在后者的面板上被显示的手的形状642可以被传输并在前者的面板上被显示。如上所述，表示绘画行为的视频可以从一个面板被传输至另一个面板，从而手写字符、图像等能够被发送给其它人。这可以导致新通信工具的实现。例如，当I/O显示面板20被应用到手机终端中的显示面板时，这个实例是可以想象到的。

此外，如图31所示，例如，字符可以通过毛笔66写在I/O显示面板20的表面上，并且可以在I/O显示面板20上作为图像661显示在I/O显示面板20的表面上的毛笔66的轨迹。通过这种方式，使用毛笔实现了手写字符的键入。在这种情况下，能够识别和再生哪怕是毛笔的很微弱的触碰。在常用的手写识别中，诸如在某些数字转换器中，通过电场检测识别专用钢笔的倾斜。但是，在这个实例中，检测了真实毛笔的触碰，因此，能够以更真实的感觉执行信息输入。

如上所述，在本实施例中，作为通过使用显示光成像邻近物体所获得的图像B(即，显示光用图像)和通过成像邻近物体的阴影所获得的图像A(即，阴影图像)之间的差值的差分图像C被生成，并且当考虑图像A(即，阴影图像)和差分图像C时，检测到与邻近物体的位置、形状、和尺寸中至少一个相关的信息。因此，能够检测物体，而不管此时的使用环境(诸如周围的环境、显示光的亮度等)如何。

此外，根据图像A生成移动平均图像MA，并且使用作为移动平均图像MA和原始图像A之间的差值的差分图像D以及通过从在差分图像D中的每段像素数据中减去阈值TH所获得的图像E来检测物体。另外，在平均化计算处理时的像素区30的尺寸近似设为待检测物体的期望尺寸(即，物体尺寸)。因此，例如，当没有检测到大于指尖的第一部分时，能够检测尺寸与物体尺寸非常一致的指尖部分。因此，提高了检测处理的精度。

此外，在一个操作周期(即，一个显示帧周期)内，比图像B(即，显示光用图像)更早地获得图像A(即，阴影图像)。因此，例如，如图12所示，在执行差分图像指尖提取处理前，能够保证计算移动平均图像MA的时间(计算花费很长时间)。因此，相比于比图像A更早地获得图像B的情况，减小了整个处理所需的时间。

注意，在本实施例中，差分图像指尖提取处理为主处理，而阴影图像指尖提取处理为次处理。但是，在本发明的另一个实施例中，可以分别执行差分图像指尖提取处理和阴影图像指尖提取处理作为次处理和主处理。

[第二实施例]

图10是示出了根据本发明第二实施例的便携式显示装置的整体结构的框图。

在如图1所示的显示装置1中的I/O显示系统2中，用于面板的系统包括基于图像(通过硬件处理使指尖变亮)计算坐标和面积的MPU和软件。设备控制器3基于坐标和面积的信息来执行操作。在这种情况下，控制器的负载相对较轻。

另一方面，在如图10所示的显示装置1A中的I/O显示系统2A中，用于面板的系统不包括计算坐标和面积的MPU或软件，同时，系统还包括判断电路，其根据通过硬件处理使指尖变亮的图像来判断指尖与面板接近。通过设备控制器3执行随后的坐标和面积的计算。在这种情况下，通过改变在面板中的传感器的操作间隔来实现功率消耗的降低。指尖是否与面板接近的信息和图像处理的结果被从面板系统提供给设备控制器3。

如上所述，能够根据应用本发明实施例的设备来稍微改变硬件结构。此外，能够选择是以降低功率消耗为主还是以加快反应速度为主。

[第三实施例]

接下来将描述本发明的第三实施例。在根据本实施例的显示/成像装置中，根据预定标准选择差分图像指尖提取处理和阴影图像指尖提取处理中之一，并且根据所选择的图像来执行指尖提取处理。第三实施例在其它方面和操作上类似于第一实施例，因此，将适当省略对其的描述。

图32是示出了根据本实施例的指尖提取处理的流程图。如图32所示，在以与上述实施例相同的方式获得了图像A(即，阴影图像)(步骤ST21)后，第二图像处理部26根据环境选择性执行两种处理中之一(步骤ST22～ST26，见图27的对比表)，确保指尖提取处理的可靠性。

特别地，当背光经常处于关状态时、当黑色图像正在被显示时、或当周围不暗时，选择性执行阴影图像指尖提取处理(步骤ST26)，并且输出最终结果(步骤ST27)。基于图像A(即，阴影图像)中的像素数据的尺寸来确定周围是否暗。当像素数据的尺寸小时，确定周围很暗。

同时，当背光没有经常处于关状态、黑色图像没有正在被显示、和周围很暗时，选择性执行差分图像指尖提取处理(步骤ST25)，并且输出最终结果(步骤ST27)。

如上所述，在本实施例中，基于预定标准选择差分图像指尖提取处理和阴影图像指尖提取处理中之一，并且基于所选择的图像执行指尖提取处理。因此，在变化很大的使用环境中，适当应用两种指尖提取处理中之一来确保提取处理的可靠性。

[第四实施例]

接下来将描述本发明的第四实施例。在根据本实施例的显示/成像装置中，如图2和3所示，在任何情况下，第一图像处理部25执行差分图像指尖提取处理和阴影图像指尖提取处理，并且使用图像A(即，阴影图像)和差分图像C的组合图像来执行指尖提取处理。第四实施例在其它方面和操作上类似于第一实施例，因此，将适当省略对其的描述。

图33是示出了根据本实施例的指尖提取处理的流程图。如图33所示，在以与第一实施例相同的方式获得图像A(即使，阴影图像)(步骤ST31)后，当执行重心计算处理或执行识别接触(接近)的中心点的处理时，运行差分图像指尖提取处理和阴影图像指尖提取处理这两个处理(步骤ST32和ST33)。

接下来，如图34所示，例如，生成通过差分图像指尖提取处理生成的差分图像C和通过阴影图像指尖提取处理生成的图像E的组合图像F(＝α×C+E)(步骤ST34)。注意，α为预定加权系数。

随后，与在上述实施例中一样，第二图像处理部26执行重心计算处理(步骤ST35)、识别接触(接近)的中心点的处理(步骤ST36)、和输出最终结果的处理(步骤ST37)。

如上所述，在本实施例中，在任意情况下都执行差分图像指尖提取处理和阴影图像指尖提取处理，并且生成通过差分图像指尖提取处理所生成的差分图像C和通过阴影图像指尖提取处理所生成的图像E的组合图像F(＝α×C+E)，并且根据组合图像F执行指尖提取处理。因此，如图34所示，例如，能够检测指尖等的更清晰的图像，并且能够更可靠地执行提取处理。

上面已经描述了本发明的第一～第四实施例。但是，注意，本发明并不限于这些实施例，并且能够进行各种变化。

例如，在本发明的一个实施例中生成移动平均图像的处理中，当选择性减小物体像素时，可以执行平均化计算处理，从而降低处理量。例如，如图35A和图35B所示，当焦点首先从一个像素转换到在像素方向上聚焦像素邻近的另一个像素时，可以对在这个方向上的像素执行平均化计算处理，此后，当交点从一个像素转换到在其它像素方向上聚焦像素邻近的另一个像素时，可以对在这个其它方向上的像素执行平均化计算处理。而且，例如，可以使用如图36A和图36B所示的操作电路70～73执行在预定方向上的点加和处理。

在上述实施例中，通过根据原始图像A生成移动平均图像MA，并基于待检测物体的期望尺寸(即，物体尺寸)设置像素区30在这个移动平均计算处理时的尺寸，在移动平均图像MA中消除大于像素区30的像素数据(即，具有比像素区30更高的空间频率的像素数据(在这种情况下为指尖图像))，并且通过获得这个移动平均图像MA和原始图像A之间的差值，最终消除具有比像素区30更低的空间频率的像素数据(在这种情况下，为阴影图像)，从而提取具有高空间频率的像素数据(在这种情况下，为指尖图像)。即，在上述实施例中，作为这种高通滤波器的实例和实现更简单更快速处理的方法，已经描述了获得移动平均图像MA和原始图像A之间的差值的方法。本发明并不限于使用上述方法。可选地，可以使用另一个高通滤波器来同时执行低通滤波处理和差分处理。

在上述实施例中，I/O显示面板20中的显示元件为液晶元件，并且单独提供显示元件的光接收元件。但是，注意，可以为I/O显示面板提供诸如能够单独执行光发射操作和光接收操作的有机电致发光(EL)元件的光发射/光接收元件(显示/成像元件)。而且，在这种情况下，同样能够实现通过上述实施例实现的类似效果。注意，在这种情况下，不发出显示光的周期对应于显示/成像元件并不正在执行光发射操作的周期。

本领域的技术人员应理解，根据设计要求和其他因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。

Claims (15)

1.一种显示装置，包括：

显示面板，具有显示功能和光接收/成像功能；

第一图像处理部，被配置为基于对通过所述光接收/成像功能获得的图像执行的第一图像处理的结果来生成表示是否已检测到待检测物体的检测信号；

第二图像处理部，被配置为对经过所述第一图像处理部处理的所述图像执行第二图像处理，所述第二图像处理具有比所述第一图像处理更大的处理负荷；以及

控制部，被配置为根据由所述第一图像处理部生成的所述检测信号来控制所述第二图像处理部的操作，以及当确定不需要由所述第二图像处理部进行的处理时，控制所述第二图像处理部进入休眠状态。

2.根据权利要求1所述的显示装置，其中，所述显示面板在所述显示面板的显示区内具有所述显示功能和所述光接收/成像功能，并且所述待检测物体是接触或接近所述显示面板的物体。

3.根据权利要求1所述的显示装置，其中，当所述第二图像处理部处于所述休眠状态时，所述控制部控制以比当所述第二图像处理部不处于所述休眠状态的时间更长的间隔来由所述显示面板执行所述光接收/成像功能以及执行由所述第一图像处理部进行的所述图像处理。

4.根据权利要求1所述的显示装置，其中，在使所述第二图像处理部进入所述休眠状态后，如果所述控制部基于由所述第一图像处理部生成的所述检测信号确定已检测到所述待检测物体，则所述控制部使由所述第二图像处理部进行的所述处理复位。

5.根据权利要求3所述的显示装置，其中，在使所述第二图像处理部进入所述休眠状态后，如果所述控制部基于由所述第一图像处理部生成的所述检测信号确定已检测到所述待检测物体，则所述控制部使由所述第二图像处理部进行的所述处理复位，并且使由所述显示面板执行所述光接收/成像功能和执行由所述第一图像处理部进行的所述图像处理的间隔返回到当所述第二图像处理部不处于所述休眠状态时的原始间隔。

6.根据权利要求1所述的显示装置，其中，如果所述控制部确定在预定时期没有检测到所述待检测物体，则所述控制部判断不需要由所述第二图像处理部进行的所述图像处理，并控制所述第二图像处理部进入所述休眠状态。

7.根据权利要求1所述的显示装置，其中，当设备的应用暂时不需要检测所述待检测物体的输入时，所述控制部中止为所述第二图像处理部和所述光接收/成像功能提供电源。

8.根据权利要求1所述的显示装置，其中，所述第一图像处理部具有：

第一功能，基于通过使自发光部开和关获得的两个光接收图像来消除环境光的影响，并通过图像处理生成所述待检测物体比周围更亮的图像；

第二功能，基于当所述自发光部关时所获得的光接收图像来执行阴影检测处理，并通过图像处理生成待检测物体变亮的图像；以及

第三功能，同时执行所述第一和第二功能以通过处理获得所述待检测物体变亮的图像。

9.根据权利要求7所述的显示装置，其中，当考虑阴影图像和差分图像时，所述第二图像处理部具有获得与所述待检测物体的位置、形状、和尺寸中至少之一相关的信息的功能。

10.一种显示装置，包括：

显示面板，在显示区内具有多个显示元件和多个光接收传感器；

第一图像处理部，被配置为基于所述多个光接收传感器的输出来执行用于检测接触或接近所述显示面板的物体的第一图像处理；

第二图像处理部，被配置为基于所述第一图像处理部的输出来执行用于至少获得所检测物体在所述显示区中的位置的信息的第二图像处理；以及

控制部，被配置为当不需要由所述第二图像处理部进行的所述处理时，根据由所述第一图像处理部检测所述物体的结果，控制所述第二图像处理部进入休眠状态。

11.根据权利要求10所述的显示装置，其中，所述多个显示元件和所述多个光接收传感器均以矩阵形式配置。

12.根据权利要求10所述的显示装置，其中，当所述第一图像处理部未检测到所述物体时，所述控制部控制所述第二图像处理部进入所述休眠状态。

13.根据权利要求10所述的显示装置，还包括

设备控制器，被配置为根据预定应用软件来执行处理，其中

当所述设备控制器不要求检测所述物体时，所述控制部控制所述第二图像处理部进入所述休眠状态。

14.根据权利要求13所述的显示装置，其中，当所述设备控制器不要求检测所述物体时，在使所述第二图像处理部进入所述休眠状态后，所述控制部中止为所述第二图像处理部提供电源。

15.一种用于控制包括显示面板的显示装置的方法，所述显示面板具有显示功能和光接收/成像功能，所述方法包括以下步骤：

基于对通过所述光接收/成像功能拍摄的图像执行的第一图像处理的结果，生成表示是否已检测到待检测物体的检测信号；

对由所述第一图像处理获得的图像执行第二图像处理，所述第二图像处理具有比所述第一图像处理更大的处理负荷；以及

根据在所述生成步骤中生成的所述检测信号来控制所述第二图像处理的操作，以及当确定不需要所述第二图像处理时，控制所述第二图像处理进入休眠状态。

Images