CN101796540A - 图像输入装置及图像输入方法 - Google Patents

图像输入装置及图像输入方法 Download PDF

Info

Publication number
CN101796540A
CN101796540A CN200880105162A CN200880105162A CN101796540A CN 101796540 A CN101796540 A CN 101796540A CN 200880105162 A CN200880105162 A CN 200880105162A CN 200880105162 A CN200880105162 A CN 200880105162A CN 101796540 A CN101796540 A CN 101796540A
Authority
CN
China
Prior art keywords
image
mentioned
contact
original copy
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880105162A
Other languages
English (en)
Other versions
CN101796540B (zh
Inventor
名古和行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN101796540A publication Critical patent/CN101796540A/zh
Application granted granted Critical
Publication of CN101796540B publication Critical patent/CN101796540B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1696Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a printing or scanning device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00129Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00411Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024Details of scanning heads ; Means for illuminating the original
    • H04N1/028Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/03Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array
    • H04N1/031Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array the photodetectors having a one-to-one and optically positive correspondence with the scanned picture elements, e.g. linear contact sensors
    • H04N1/0315Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array the photodetectors having a one-to-one and optically positive correspondence with the scanned picture elements, e.g. linear contact sensors using photodetectors and illumination means mounted on separate supports or substrates or mounted in different planes
    • H04N1/0316Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array the photodetectors having a one-to-one and optically positive correspondence with the scanned picture elements, e.g. linear contact sensors using photodetectors and illumination means mounted on separate supports or substrates or mounted in different planes illuminating the scanned image elements through the plane of the photodetector, e.g. back-light illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0081Image reader

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Input (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Holders For Sensitive Materials And Originals (AREA)
  • Control Or Security For Electrophotography (AREA)

Abstract

本发明提供一种图像输入装置和图像输入方法。图像输入装置具有:显示部(2),其用于显示图像,含有透明的平板;摄像部(3),对放置在平板上的原稿的、与平板接触的接触面进行摄像;接触检测部(61),检测原稿对显示部(2)的接触;和显示控制部(63),通过接触检测部检测到原稿的接触时,进行显示均匀的特定色的图像的控制。

Description

图像输入装置及图像输入方法
技术领域
本发明涉及一种图像输入装置及图像输入方法,尤其涉及一种与显示功能一体化的图像输入装置及图像输入方法。
背景技术
作为小型信息终端等的显示及操作部,广泛应用组合了液晶和触摸面板的装置。用户可用笔、手指接触液晶上显示的按键,从而进行终端的操作。触摸面板可考虑感压式或静电电容式等,但需要配置在液晶面上,因此存在画质降低的问题。并且,因配件个数增加,配件、组装的成本增加也是问题。
根据专利文献1(JP特开2004-318819号公报),提出了一种在玻璃基板上设置驱动液晶的电路的同时形成光传感器的技术。根据该技术,不仅显示图像,而且可象普通的扫描仪一样进行图像的输入。并且,通过处理输入的图像,也可作为触摸面板使用。可不另外使用感压式或静电电容式的触摸面板部件,以和通常的液晶显示装置同样的工艺制造,因此可抑制成本。
专利文献1:JP特开2004-318819号公报
发明内容
发明要解决的问题
但在使用了专利文献1的技术的同时具有图像显示和图像输入两种功能的装置中,对用户而言难于兼顾操作性良好和高精度地输入原稿图像。
本发明为了解决以上问题而出现,其目的在于提供一种图像输入装置及图像输入方法,在同时具有图像显示和图像输入两种功能的图像输入装置中,对用户而言操作性良好,且可高精度地输入原稿图像。
用于解决问题的手段
本发明的一个方面涉及的图像输入装置具有:显示部,其用于显示图像并含有透明的平板;摄像部,用于对放置在平板上的原稿的、与平板接触的接触面进行摄像;接触检测部,用于检测原稿对平板的接触;显示控制部,在通过接触检测部检测到原稿的接触时,进行显示均匀的特定色的图像的控制。
优选具有:摄像指示部,当显示了特定色的图像时,向摄像部输出接触面的图像的摄像指示;和图像输入部,用于输入根据摄像指示由摄像部拍摄的图像。
优选还具有静止检测部,在通过接触检测部检测到原稿的接触时,检测原稿的静止,摄像指示部在显示了特定色的图像时且通过静止检测部检测到原稿的静止时,指示接触面的图像的拍摄。
优选:显示控制部在用户指示图像输入时,显示使原稿放置到平板上的消息,将消息切换为特定色的图像。
优选还具有静止检测部,在通过接触检测部检测到原稿的接触时,检测原稿的静止,显示控制部在通过静止检测部检测到原稿的静止时,将消息切换为特定色的图像。
优选特定色是白色。
或者,特定色包括第1、第2及第3色,显示控制部在通过原稿检测部检测到原稿的接触时,将显示部上显示的图像切换为第1、第2、第3色的图像。
优选还具有:摄像指示部,每当切换为第1、第2、第3色的各色图像时,输出接触面的图像的摄像指示;图像输入部,用于输入根据摄像指示由摄像部拍摄的第1、第2及第3色的各自的颜色成分的图像;和合成部,用于合成由图像输入部输入的第1、第2及第3色的各自的颜色成分的图像。
优选:第1、第2及第3色分别是红、绿、蓝的任意一种。
优选:接触检测部以一定周期指示摄像部拍摄接触面的图像,并根据拍摄的图像的边沿特征,检测原稿的接触。
优选:接触检测部根据来自压力传感器的输出检测原稿的接触,压力传感器用于检测从外部对显示部的压力。
本发明的另一方面涉及的图像输入装置具有:显示部,其用于显示图像并含有透明的平板;摄像部,用于对与平板接触的原稿的、与平板接触的接触面进行摄像;静止检测部,用于检测与平板接触的原稿的静止;摄像指示部,在通过静止检测部检测到原稿的静止时,向摄像部输出接触面的图像的摄像指示;和图像输入部,用于输入根据摄像指示由摄像部拍摄的图像。
优选:静止检测部以一定周期指示摄像部拍摄接触面的图像,并根据拍摄的图像的边沿特征及时间差分,检测原稿的静止。
本发明的又一方面涉及的图像输入装置具有:显示部,其用于显示图像并含有透明的平板;摄像部,用于对与平板接触的原稿的、与平板接触的接触面进行摄像;图像输入部,用于输入由摄像部拍摄的接触面的图像;解除检测部,用于检测原稿对平板的接触的解除;显示控制部,在显示部上显示用于接受来自用户的指示的按键区域;和判断部,判断物体对按键区域的接触/非接触,在解除检测部进行检测处理的期间,使判断部的判断无效化。
优选:解除检测部以一定周期指示摄像部拍摄接触面的图像,并根据拍摄的图像的边沿特征,检测原稿的接触的解除。
优选:解除检测部根据来自压力传感器的输出检测原稿的接触的解除,压力传感器用于检测从外部对显示部的压力。
本发明的另一方面涉及的图像输入方法具有以下步骤:检测原稿与显示部具有的透明的平板的接触的步骤;在检测到原稿的接触时显示均匀的特定色的图像的步骤;在显示了特定色的图像时,通过拍摄与平板接触的接触面的图像,而输入接触面的图像的步骤。
发明效果
根据本发明,在同时具有图像显示和图像输入两种功能的图像输入装置中,可高精度地输入原稿图像。并且可消除用户操作的不适感。
附图说明
图1是本发明的各实施方式涉及的图像输入装置的硬件框图。
图2是本发明的各实施方式涉及的图像输入装置的外观图。
图3是表示本发明的各实施方式涉及的显示摄像装置的概要构成的框图。
图4是图3所示的像素阵列部的1个像素中、设置了传感器的子像素的详细电路图。
图5是用于说明本发明的各实施方式涉及的显示摄像装置的LCD的示意图。
图6是本发明的第1实施方式涉及的图像输入装置的功能框图。
图7是表示本发明的第1实施方式涉及的图像输入装置中的图像输入的处理步骤的流程图。
图8(a)~(d)是表示本发明的各实施方式中的画面转换例的图。
图9是表示本发明的各实施方式中的接触检测处理的流程图。
图10是表示本发明的各实施方式中的静止检测处理的流程图。
图11是表示本发明的各实施方式中的接触解除检测处理的流程图。
图12(a)、(b)分别是表示原稿的接触、静止的检测中使用的评价值S及时间差分D的变化的例子的图。
图13是本发明的第2实施方式涉及的图像输入装置的功能框图。
图14是表示本发明的第2实施方式涉及的图像输入装置中的图像输入的处理步骤的流程图。
图15(a)、(b)是用于说明一般的图像输入装置的问题点的图。
图16是表示本发明的各实施方式的变形例中的显示摄像装置的硬件构成的一例的图。
图17是表示本发明的各实施方式的变形例中的内置光传感器的液晶面板的构成的该液晶面板的周边电路的图。
图18是本发明的各实施方式的变形例中的内置光传感器的液晶面板和背光源的截面图。
标号说明
1图像输入装置,2显示部,3摄像部,4RAM,5ROM,6、6A控制部,7闪存,8计时器,20显示摄像装置,30光传感器,31像素TFT,32显示控制TFT,33图像取入传感器,34静态存储元件,35初始化用TFT,36数据保持用TFT,61接触检测部,62静止检测部,63、63A显示控制部,64摄像指示部,65图像输入部,66解除检测部,68图像合成部,631、631A画面切换部,201像素阵列部,202信号线驱动电路,203扫描线驱动电路,204信号处理输出电路,205同步信号发生电路,130驱动器,131扫描信号线驱动电路,132数据信号线驱动电路,133光传感器驱动电路,134开关,135放大器,140液晶面板,141像素电路,141b、141g、141r子像素电路,143电极对,143a像素电极,143b相对电极,144光传感器电路,145光电二极管,146电容,151A有效矩阵基板,151B相对基板,152液晶层,153b滤色器,153g滤色器,153r滤色器,157数据信号线,161偏振滤光片,162玻璃基板,163遮光膜,164定向膜,179背光源,180图像处理引擎,181驱动器控制装置,182计时器,183信号处理装置,178内部IF
具体实施方式
参照附图说明本发明的实施方式。以下说明中,对相同的部分标示相同的标号。其名称及功能相同。因此不重复对它们的详细说明。
(第1实施方式)
图1是本实施方式涉及的图像输入装置1的硬件框图。图像输入装置1例如假设是PDA(personal digital assistant:个人数码助理)、移动电话等小型信息终端。
参照图1,图像输入装置1具有:用于显示图像的显示部2、用于拍摄图像的摄像部3、ROM(Read Only Memory:只读存储器)4、RAM(Random Access Memory:随机存取存储器)5、控制部6、非易失性存储器例如闪存7、进行计时动作的计时器8。
控制部6由CPU(Central Processing Unit:中央处理单元)及在CPU上执行的程序实现,控制图像输入装置1整体的功能。ROM4、RAM5中存储程序、作业数据等。显示部2进行菜单、给用户的消息及图像等的显示。显示部2的上表面包括透明的平板,摄像部3进行放置在该平板的原稿图像的摄像。摄像部3还检测用户对显示部2上显示的菜单、按键的触摸操作。并且在本实施方式中,说明了为检测出用户的触摸操作使用摄像部3的情况,但另外也可使用具有感压式或静电电容式的接触检测功能的触摸面板。
本实施方式的图像输入装置1是PDA、移动电话时,图像输入装置1还具有与因特网连接的通信I/F(未图示)、声音输出部(未图示)、声音输入部(未图示)等作为PDA、移动电话发挥作用的硬件。
图2是本实施方式涉及的图像输入装置1的外观图。
在图像输入装置1的表面配置以LCD(Liquid Crystal Display:液晶显示器)实现的显示摄像装置20,显示摄像装置20实现显示部2及摄像部3的功能。
以下进一步说明显示摄像装置20的硬件构成。虽无特别限定,但显示摄像装置20的硬件构成可采用上述专利文献1公开的构成,以下说明其概要。
即,图1所示的图像输入装置1中的显示摄像装置20在各像素上配置有用于进行图像取入的传感器。相对于LCD基板,以预定间隔配置利用ITO(Indium Tin Oxide:氧化铟锡)等透明电极材料形成有通用电极的相对基板。在LCD基板和相对基板之间注入液晶材料并密封,进一步在两个基板的外侧粘贴偏振板。
图3是表示显示摄像装置20的概要构成的框图。
显示摄像装置20具有:像素阵列部201,配置了信号线及扫描线;信号线驱动电路202,驱动信号线;扫描线驱动电路203,驱动扫描线;信号处理输出电路204,串行输出来自传感器的摄像数据;和同步信号发生电路205。控制部也进行摄像数据的处理。
像素阵列部201如下形成,在LCD基板上,作为开关元件使用低温多晶硅TFT(Thin Film Transistor:薄膜晶体管)形成。并且,信号线驱动电路202、扫描线驱动电路203、信号处理输出电路204的至少一部分也通过低温多晶硅TFT在LCD基板上形成。在该LCD基板上也形成受光用传感器。该LCD基板可以是显示摄像装置20的上表面侧、下表面侧的任意一侧,但从传感器的受光灵敏度的角度出发,优选上表面一侧。
在像素阵列部201中,例如在各像素的子像素上设置对应颜色的滤色器。作为提供来自LCD基板的背面的背光的光源(未图示),例如设置白色LED(Light Emitting Diode:发光二极管)。
可以根据写入到子像素的辅助电容Cs的电压,改变液晶的透过率,进行灰度显示。
在信号线驱动电路202的内部设有数字模拟转换器DAC(未图示),将从外部电路以预定周期输入的数字像素数据变换为适于液晶驱动的模拟像素电压,驱动信号线Lsig。
扫描线驱动电路203依次选择扫描线Lg,并对选择的扫描线所对应的行的像素,从信号线驱动电路202提供信号。
信号处理输出电路204与来自同步信号发生电路205的时钟同步,放大从选择的像素逐次出现的摄像数据,并送出到外部。
图4是像素阵列部201的1个像素中,设置了传感器的子像素的详细电路图。
如图4所示,1个像素具有:像素TFT31;显示控制TFT32,控制是否在辅助电容Cs中存储电荷;图像取入传感器33,分别拍摄预定范围的入射光;存储传感器33的拍摄结果的电容器C1(以下称为传感器电容);静态存储元件34,存储和电容器C1的存储电荷对应的2值数据;初始化用TFT35,在电容器C1中存储初始电荷。静态存储元件34由从属连接的二个逆变器构成,具有和普通的SRAM(StaticRandom Access Memory:静态随机存取存储器)的存储元件同样的结构。静态存储元件34使电容器C1的电位2值化,在TFT35和TFT36同时接通时环状连接,可保持2值化的数据。
进行电容器C1的初始化时,接通像素TFT31和初始化用TFT35。将用于设定显示元件的亮度的模拟像素电压(模拟像素数据)写入到辅助电容Cs时,接通像素TFT31和显示控制TFT32。进行静态存储元件34的数据保持(更新)时,同时接通初始化用TFT35和静态存储元件34内的数据保持用TFT36。将静态存储元件34中存储的摄像数据提供到信号线时,同时接通像素TFT31和数据保持用TFT36。
因此,显示摄像装置20可进行通常的显示动作,并且可进行和扫描仪同样的图像取入。
进行通常的显示动作时,TFT35、36设定为断开状态,静态存储元件34中不存储有效的数据。这种情况下,向信号线提供来自信号线驱动电路202的信号线电压,进行和该信号线电压对应的显示。
另一方面,进行图像取入时,在LCD的上表面一侧配置图像取入对象物(例如原稿等纸面),通过LCD的玻璃基板将来自背光源的光照射到纸面。纸面反射的光由LCD基板上的传感器33受光,进行图像取入。
此外,对未设置传感器的子像素,设置从图4的结构中去除了传感器33和静态存储元件34相关的电路部分而成的、液晶LC及辅助电容Cs和开关晶体管(像素TFT31和显示控制TFT32)。
图5是用于说明显示摄像装置20的LCD的示意图。
显示摄像装置20的各像素由具有用于显示颜色图像的R(红)、G(绿)、B(蓝)的滤色器的三个子像素构成,栅格状配置。并且,在各像素中配置光传感器31,整体来实现摄像部3。在图5中,将光传感器31配置在B(蓝)的子像素中,但也可配置在其他颜色的子像素中。并且,为了消除颜色的灵敏度依赖性,可在光传感器31的上部的滤色器上开窗。或者,不在滤色器上开窗,而进一步将光传感器配置在R(红)、G(绿)、B(蓝)所有的子像素中,从而可通过一次摄像拍摄彩色图像。
而在图像输入装置1这样的具有图像显示和图像输入两种功能的装置中,在显示某些图像的情况下输入原稿图像时,存在显示的图像被写入到输入图像的情况。因此,显示区域需要以白色等涂满。但显示区域也是用户用于操作小型信息终端的接口,因此涂满显示区域整个面时,对用户而言不清楚应该怎样操作。
并且,将进行图像取入指示的按键显示到显示区域时,显示区域被原稿覆盖,因此在除了显示按键的区域以外的较小区域内输入图像。例如如图15(a)所示,在显示摄像装置20’中显示按钮BT1时,因按键BT1的部分,图像对装置的取入面积变小,存在无法有效利用图像整体的问题。并且在图15中,为了与本实施方式的图像输入装置1的显示摄像装置20进行区分,而记作显示摄像装置20’。
或者如图15(b)所示,可设置另外的硬件性质的按键BT2,但这种情况下,不仅产生准备按键BT2的成本问题,而且小型信息终端本身变大,从而存在问题。
如上所述,在具有图像显示和图像输入两种功能的装置中输入原稿图像时,存在无法有效利用画面整体、或必须另行设置指示图像输入的按键的问题。并且,在将原稿放置到图像取入面、即显示部2(显示摄像装置20)的平板(以下简称为“显示部2”)前,需要用白色等去除画面,因此无法显示对用户的消息,产生用户不明操作的问题。进一步,处理输入的图像信息并实现触摸面板时,在图像取入面上放置原稿的状态下,存在原稿的图像信息用手指等误识别、产生误动作的问题。
根据本实施方式的图像输入装置1,可解决上述问题。对此在以下详细说明。
图6是本实施方式涉及的图像输入装置1的功能框图。
参照图6,控制部6包括接触检测部61、静止检测部62、显示控制部63、摄像指示部64、图像输入部65及解除检测部66。此外,各个功能块的动作可通过执行ROM5中存储的软件来实现,它们中的至少一个也可由硬件实现。
接触检测部61检测原稿与显示部2的接触。静止检测部62在通过接触检测部61检测到原稿的接触时,检测(判断)原稿是否静止。
显示控制部63至少通过接触检测部61检测到原稿的接触时,进行显示均匀的特定色、例如白色的图像的控制。显示控制部63如下所述,在用户指示图像输入(图像取入)时,在显示部2上显示放置原稿的消息。之后(消息仍显示)至少在通过接触检测部61检测到原稿的接触时,显示控制部63的画面切换部631将该消息切换为白色的图像。并且,显示控制部63在显示部2的预定区域中显示用于接收来自用户的指示的按键。
摄像指示部64在显示了白色图像时,向摄像部3输出原稿图像的摄像指示。图像输入部65输入由摄像部3拍摄的原稿图像。输入的原稿图像被存储到RAM5。
解除检测部66在由图像输入部65输入了图像时,根据接触检测部61的检测结果,检测(判断)原稿对显示部2的接触是否解除。
控制部6除了上述功能块的功能外,还具有判断物体(例如用户的手指等)对显示部2中显示的按键的接触/非接触的功能。在图像输入处理中,通过解除检测部66判断解除了原稿的接触时,使接触/非接触的判断有效化。即,当输入了图像后,通过解除检测部66判断为原稿的接触被解除,首次接受和输入的图像有关的来自用户的指示。换言之,进行解除检测部66的检测处理的期间,将接触/非接触的判断无效化。
在本实施方式中,说明例如输入名片的图像的例子。这种情况下,输入的名片的图像也可进一步在控制部6中进行姓名、邮件地址等的识别。该识别的结果,可以将名片的信息自动登录到闪存7的地址薄内,或自动进行邮件发送、电话等。
此外,拍摄的原稿图像不限定为名片等含有文字信息的图像。例如也可是二维条码(QR-Code(注册商标))。这种情况下,图像输入装置1读取拍摄到的QR-Code,可经由通信I/F(未图示)进行Web访问。因此,和通常情况下的起动照相机、对焦并按下快门的操作相比,通过图像输入装置1,仅将显示部2覆盖到杂志的QR-Code的部分,就可识别QR-Code,进行Web访问。
该QR-Code中含有错误检测符号。因此,读取QR-Code时,在白色画面显示到显示部2的时刻,只要反复进行QR-Code识别即可,因此无需静止检测部62的处理(反复识别,若检测不到错误就输出解码结果)。
图7是表示本实施方式涉及的图像输入装置1中的图像输入的处理步骤的流程图。图7的流程图所示的处理预先作为程序存储到ROM4,控制部6读出该程序并执行,从而实现图像输入处理的功能。
参照图7,用户要求图像输入时,显示控制部63将催促原稿设置的消息显示在显示部2(步骤S(以下简称为S)2)。此时,显示部2中未显示接受来自用户的指示的按键。
接着,接触检测部61进行用于检测原稿接触的接触检测处理(S4)。对接触检测处理稍后参照图9的子流程详细说明。
接触检测部61在接触检测处理结束时,判断是否检测到原稿的接触(S6)。检测到原稿的接触时(S6中“是”),将显示部2中显示的消息切换为白色图像(S8)。这样一来,显示部2中显示的图像(消息)被纯白色消除。在S6中,未检测到原稿接触时(S6中“否”),结束该图像输入处理。
在S8中,切换了画面时,接着由静止检测部62进行静止检测处理(S10)。对静止检测处理稍后参照图10的子流程详细说明。
静止检测部62在静止检测处理结束时,判断是否检测到原稿的静止(S12)。当判断为检测到原稿的静止时(S12中“是”),摄像指示部64对摄像部3输出摄像指示。这样一来,通过摄像部3拍摄与放置在显示部2(的平板)上的原稿的显示部2接触的面(的图像)。这样一来,图像输入部65输入拍摄的图像,并写入到RAM5(S14)。并且在本实施方式中,检测到原稿的静止时,再次拍摄图像,但也可不再次摄像,而将S10的静止检测处理中使用的最终图像、即在原稿静止的状态下拍摄的图像作为输入图像。
在S12中,未检测到原稿的静止时(S12中“否”),结束该图像输入处理。
当输入图像时,显示控制部63在显示部2上显示确认画面(S16)。在该确认画面中,为了使用户可确认输入图像,显示在S14中输入的图像。此外,确认画面也可是在控制部6中进行输入图像的文字识别的结果所显示的画面。此时,为了防止因显示部2中放置的原稿引起的错误动作,使显示部2中显示的操作按键保持无效。或者在该阶段中,也可不显示操作按键。无论怎样,使物体与显示操作按键的区域的接触/非接触的判断处理不发挥作用。显示部2的画面从白色图像切换为确认画面后,原稿放置到显示部2上,这样一来,可防止因原稿的接触而错误判断为来自用户的指示。
接着,解除检测部66进行接触解除检测处理(S18)。对接触解除检测处理稍后参照图11的子流程详细说明。
接触解除检测处理结束时,解除检测部66判断显示部2上原稿是否消失(原稿对显示部2的接触被解除)(S20)。当判断原稿消失时(S20中“是”),控制部6使显示部2中显示的操作按键有效(S22)。此外,S16中原稿还设置在显示部2上,用户无法识别确认画面,因此可交换S16的处理和S18、20的处理。
在S20中,未检测到原稿的非接触时(S20中“否”),该图像的输入处理结束。
最后检测出对确认画面上显示的操作按键(例如“OK”按键和“RETRY(重试)”按键)的来自用户的指示。当来自用户的指示是“OK”时(S24中“是”),该图像输入处理结束。此时,输入的图像进一步可进行上述文字识别等的处理,也可在闪存7中作为图像存储。
另一方面,来自用户的指示是“RETRY”时(S24中“否”),返回到S2,再次进行上述一系列的处理。
其中,在上述本实施方式的图像输入处理中,参照图8说明显示部2中显示的画面的转换示例。图8(a)~(d)是表示本实施方式中的画面转换示例的图。图8(a)和S2对应,图8(b)和S8对应,图8(c)和S16对应,图8(d)和S22对应。
在图8(a)中,为了使用户不对操作方法迷惑,在显示部2的整个画面上显示消息。之后检测到原稿的接触时,如图8(b)所示,显示部2的画面用白色涂满。图8(b)的画面时,原稿覆盖显示部2,因此实际上用户无法识别该画面。
检测到原稿的静止、进行原稿(名片)的摄像时,如图8(c)所示,显示确认画面。此时,在显示部2的预定区域E1上,将拍摄到的图像缩小为预定的比率来显示。并且,在显示部2的另一预定区域E2中,显示用于接受来自用户的指示的二个按键。此外,在该阶段中,原稿覆盖显示部2,因此实际上用户无法识别画面。因此为了防止上述原稿与按键的接触引起的错误判断,显示的二个按键被无效化。即,在图7的S18及S20中检测原稿接触是否解除的期间内,按键无效。
之后,当判断原稿被取下时,如图8(d)所示,图8(c)中也显示的二个按键有效。
因此,在图8(a)中用户将原稿放置到显示部2后,通过检测原稿的接触、静止状态,可自动输入高画质的图像。因此,无需另行设置用于取入图像的硬件按键,或在显示部2的画面上显示取入按键。因此根据本实施方式,操作方法上不会使用户迷惑,可简单地进行高画质的图像输入。并且,可使图像输入装置小型化。
并且如图8(d)所示,检测到原稿从显示部2取下后,接受对输入的图像的指示。目前为止(图8(c)的阶段内)在显示有按键的区域E2中即使有物体(例如原稿)的接触,控制部6也不进行判断,因此可防止错误动作。
接着详细说明本实施方式中的接触检测处理、静止检测处理及接触解除处理。在本实施方式中,根据由摄像部3拍摄的图像进行各自的处理。但不限于该处理,例如也可另行设置感压式的触摸面板,通过由触摸面板检测出的压力的大小检测原稿的接触、静止。即,图像输入装置1进一步具有压力传感器(未图示),其检测外部对显示部2的压力,接触检测部61、静止检测部62及解除检测部66可根据压力传感器的输出进行检测处理。
图9是表示本实施方式中的接触检测处理的流程图。
参照图9,接触检测部61对摄像部3输出摄像指示(S41)。拍摄的图像被输出到RAM5中确保的临时区域(S42)。之后接触检测部61从输出到临时区域的图像提取边沿信息(S43)。
具体而言,设坐标(x,y)中的像素(亮度)值为p(x,y)、边沿信息为g(x,y)时,可如数式1一样求出。
(数式1)
g(x,y)=|∑fx(i,j)p(x+i,y+j)|+|∑fy(i,j)p(x+i,y+j)|
其中,fx、fy是索贝尔(Sobel)算子,具有数式2的系数。
(数式2)
f x = - 1 0 1 - 2 0 2 - 1 0 1 f y = - 1 - 2 - 1 0 0 0 1 2 1
在本实施方式中,为了求出边沿信息使用索贝尔算子,也可使用其它算子。
接着,接触检测部61如数式3所示,根据各像素的边沿信息计算评价值S(S44)。
(数式3)
S=∑g(x,y)|
在数式3中,将g(x,y)的总和作为评价值S。但也可将以预定的阈值使g(x,y)2值化后,除去总和的值作为评价值S。这样一来,可减少噪声的影响。
如果求出评价值S,则通过评价值S是否在预定阈值T1以上来判断有无原稿接触(S45)。如果评价值S在阈值T1以上(S45中“是”),则接触检测部61将表示有无原稿接触的标志(称为“接触标志”)设定为1(S47)。即,判断为检测到了原稿的接触。S47的处理结束后,返回到主流程。
若评价值S小于阈值T1(S45中“否”),则接触检测部61判断是否经过了预定时间(S46)。在判断为经过了预定时间之前(S46中“否”),重复上述处理。在本实施方式中,以一定周期(例如30Hz)进行摄像指示(S41)。
在S46中判断为经过了预定时间时(S46中“是”),接触检测部61将接触标志设定为0(S48)。即,判断未检测到原稿的接触。S48的处理结束后,返回到主流程。
在本实施方式中,如上所述检测有无原稿的接触,因此图7的S6的处理具体通过判断接触标志是0还是1来进行。即,若接触标志是1,则前进到S8,若接触标志是0则结束。
此外,图7的S2中显示的消息(图8(a))优选是亮度变化大的图像。这样一来,在设置原稿时写入消息,因此具有易于进行接触检测的效果。例如,当消息以蓝底白字表示时,难于检测出白纸部分多的名片的接触。作为解决方法,对白字加黑影特意写入到拍摄图像中,从而使白纸部分多的名片也易于进行接触检测。具体而言,即使前者的评价值S为6左右,通过如后者那样,评价值S可上升到140左右。
并且在本实施方式中,在显示着消息的状态下进行接触检测,因此要以S2的消息是文字、记号等静止图像为前提。因此,检测到原稿的静止后,可将画面切换为均匀的特定色。即,在图7中,也可在S12和S 14之间进行S8的处理。
图10是表示本实施方式中的静止检测处理的流程图。并且,图10的S101~S104的处理分别和图9的S41~S44的处理相同。因此在此不重复其说明。
参照图10,在S105中,静止检测部62计算出图像的时间差分D。在本实施方式中,使用时间差分D判断原稿的静止状态。时间差分D通过数式4求出。
(数式4)
D=∑|g(x,y)-g′(x,y)|
其中,g’是前帧的边沿信息。此外,和数式3一样,也可将边沿信息用预定的阈值2值化后,求出时间差分D。或者不使用边沿信息而使用亮度值来求出时间差分。
接着,静止检测部62判断评价值S是否为阈值T1以上(S106)。评价值S若为阈值T1以上(S106中“是”),则进一步判断时间差分D是否为预定的阈值T2以下(S107)。若时间差分D为阈值T2以下(S107中“是”),则前进到S108。另一方面,若评价值S小于阈值T1或时间差分D大于阈值T2(S106中“否”,S107中“否”),则前进到S113。
在S108中,静止检测部62判断用于表示静止时间Tc是否被计数的标志(以下称为“计数标志”)是否被设定为1。若计数标志不是1(S108中“否”),则将计数标志设定为1(S109),并前进到S110。若计数标志是1(S108中“是”),则跳过109的处理前进到S110。
在S110中,静止检测部62计数检测到原稿静止后的时间Tc。接着判断时间Tc是否为预定时间T3以上(S111)。若时间Tc为预定时间T3以上(S111中“是”),则静止检测部62将表示原稿静止有无的标志(称为“静止标志”)设定为1(S116)。即,判断为原稿静止。S116的处理结束后,处理返回到主流程。
在S113中,静止检测部62将计数标志及作为计时器的计数值的时间Tc设定为0。之后判断该静止检测处理开始后是否经过了预定时间(S114)。在判断为经过了预定时间之前(S114中“否”),返回到S101,持续静止检测处理。在该静止检测处理中,也能以一定的周期(例如30Hz)进行摄像指示。
在S114中当判断为经过了预定时间时(S114中“是”),静止检测部62将静止标志设定为0(S115)。即,判断为未检测到原稿的静止。S115的处理结束时,返回到主流程。
在本实施方式中,如上所述检测有无原稿的静止,因此图7的S12的处理具体通过判断静止标志是0还是1来进行。即,若静止标志是1则前进到S14,若静止标志是0则结束。
图11是表示本实施方式中的接触解除检测处理的流程图。图11的S181~S185的处理分别和图9的S41~S45的处理相同。因此在此不重复其说明。
在S185中,若评价值S为阈值T1以上(S185中“是”),则解除检测部66判断是否经过了预定时间(S186)。在判断为经过了预定时间之前(S186中“否”),重复上述处理。
若评价值S小于阈值T1(S185中“否”),则解除检测部66将接触标志设定为0(S187)。即,判断为原稿的接触被解除。S187的处理结束时,返回到主流程。
在S186中,判断为经过了预定时间时(S186中“是”),解除检测部66将接触标志设定为1(S188)。即,判断为原稿仍接触(原稿未取下)。S188的处理结束后,返回到主流程。
在本实施方式中,如上所述检测原稿是否从显示部2取下,因此图7的S20的处理具体通过判断接触标志是0还是1来进行。即,若接触标志是0则前进到S22,若接触标志是1则结束。
此外,上述各处理中的预定的中止时间可以是同一值,也可是不同的值。
图12(a)、(b)分别是表示原稿的接触/静止的检测中使用的评价值S及时间差分D的变化的例子的图。
参照图12(a),当评价值S为阈值T1以上时(ta),检测原稿的接触。之后随着原稿的接触面积的增加,评价值S增大,完全设置到显示部2时(tb),评价值S稳定。
参照图12(b),即使原稿设置在显示部2时,在用户为了定位而移动原稿的期间内时间差分D依旧很大,而在用户使原稿静止后,时间差分D变小。因此,时间差分D变为阈值T2以下后经过了预定时间T3的时刻(tc),检测出原稿的静止。预定时间T3优选500ms~1000ms左右。此外,阈值T1、T2可根据由摄像部3拍摄的画质在出厂时决定。
再次参照图12(a),在取下原稿时(td),评价值S逐渐减少。在评价值S低于阈值T1的时刻(te),检测为无原稿。
此外,用户用手取下原稿时,不一定均匀地取下原稿,假定会拿起一部分的同时来取下。因此存在以下情况,即使评价值S下降,实际上周边部分仍有原稿图像写入的情况。因此,可以在检测到评价值S低于阈值T1后经过了一定时间(例如500ms)的时刻判断无原稿。
如上所述,根据本实施方式,在向用户显示消息的状态下等待原稿的接触,检测到接触后自动用均匀的白色涂满画面。这样一来,可不使用户对操作迷惑,且可输入没有显示写入的图像。并且,通过自动检测原稿静止后取入图像,用户无需下压取入开始按键,可输入不模糊的图像。进一步,在检测出原稿接触的期间使按键无效,从而可防止原稿与显示部2的接触造成的错误动作。
此外如上所述,在本实施方式中,检测到原稿的接触时,显示的消息切换为均匀的特定色的图像。但不限于该方法,例如也可在显示消息后经过了预定时间(例如3秒)的时刻,将画面切换为均匀的特定色。
此外,上述数式1、3、4也可是对应于计算中使用的比特(bit)数而乘以预定系数的值。例如数式1可以是数式5的公式。
(数式5)
g(x,y)=(|∑fx(i,j)p(x+i,y+j)|+|∑fy(i,j)p(x+i,y+j)|)/4
并且,此时g(x,y)能够以阈值40左右来2值化进行处理。这里的阈值依赖于可拍摄的图像的模糊程度确定。
进一步,数式3也可如数式6所示,除以像素数并乘以1000来正规化,以不受图像大小的影响,且值为整数。
(数式6)
在上述条件中,作为上述阈值T1可设定70左右。
并且数式4也可如数式7所示,除以像素数并乘以1000以正规化。
(数式7)
Figure GPA00001038120000222
此时,作为上述阈值T2可设定5左右。
(第2实施方式)
接着说明第2实施方式涉及的图像输入装置。
在第1实施方式中,拍摄用于输入的图像时,显示在显示部2的均匀的特定色是单色(例如白色)。因此当判断原稿静止时,可通过一次摄像而输入图像。但当摄像部3是只能拍摄黑白(灰)图像的装置时,在第1实施实施方式所示的控制方法下无法输入彩色图像。在实施方式2中,说明即使是只能拍摄黑白图像的装置也可输入彩色图像的图像输入装置。
此外,本实施方式涉及的图像输入装置也具有和第1实施方式涉及的图像输入装置1相同的硬件构成、外观,它们的基本动作也相同。因此在此也作为图1~3所示的图像输入装置1来说明。
以下说明和第1实施方式不同的部分。
在本实施方式中,为了输入彩色图像,均匀的特定色包括均匀的三个颜色。具体而言,特定色包括红、绿、蓝三色。此外,三色不限于这三色,例如也可是品红、青、黄三色。
图13是本实施方式涉及的图像输入装置1的功能框图。和图6所示的功能框图相比,控制部6的功能不同,因此在本实施方式中,记作控制部6A。
控制部6A除了包括接触检测部61、静止检测部62、显示控制部63A、摄像指示部64、图像输入部65及解除检测部66外,还包括图像合成部68。此外,显示控制部63及其含有的画面切换部631为了区别于第1实施方式也标记为显示控制部63A、画面切换部631A。
对上述功能块的各动作参照下述流程图进行说明。
图14是表示本实施方式涉及的图像输入装置1中的图像输入的处理步骤的流程图。图14的流程图所示的处理预先作为程序存储到ROM4中,控制部6通过读出并执行该程序,实现图像输入处理的功能。此外,对和图7的流程图所示的处理相同的处理用相同的步骤编号表示。因此在此不重复其说明。
参照图14,在第2实施方式中,图7所示的第1实施方式中的图像输入处理的S8(将画面切换为白色)和S14(拍摄/输入图像)的处理不同。取代这些处理,在S12(原稿静止的有无判断)和S16(确认画面显示)之间,进行S201~207的处理。
在S201中,显示控制部63A的画面切换部631A将显示部2中显示的消息切换为均匀的红色图像。这样一来,显示部2中显示的图像(消息)涂满红色。之后,摄像指示部64对摄像部3输出摄像指示。这样一来,与显示部2上放置的原稿的显示部2接触的面的红色成分的图像被拍摄(S202)。拍摄的图像通过图像输入部65暂时记录到RAM5的预定区域。
接着,画面切换部631A将显示部2中显示的红色图像切换为均匀的绿色图像(S203)。这样一来,显示部2中显示的图像(红色图像)涂满绿色。之后,摄像指示部64对摄像部3输出摄像指示。从而使与显示部2上放置的原稿的显示部2接触的面的绿色成分的图像被拍摄(S204)。拍摄的图像通过图像输入部65暂时记录到RAM5的预定区域。
接着画面切换部631A将显示部2中显示的绿色图像切换为均匀的蓝色图像(S205)。这样一来,显示部2中显示的图像(绿色图像)涂满蓝色。之后,摄像指示部64对摄像部3输出摄像指示。从而使与显示部2上放置的原稿的显示部2接触的面的蓝色成分的图像被拍摄(S206)。拍摄的图像通过图像输入部65暂时记录到RAM5的预定区域。
之后,图像合成部68合成拍摄的(输入的)红、绿及蓝成分的图像(S207)。从而获得彩色图像。
如上所述,根据本实施方式,通过将显示部2中显示的图像切换为红、绿、蓝,输入各自的图像并合成,即使不在三个子像素中配置光传感器31,通过仅在一个子像素中配置光传感器31也可输入彩色图像。
此外,在图14的流程图中,在检测到原稿接触的时刻不将画面切换为均匀的特定色,而继续进行原稿静止检测处理。但也可和实施方式1一样,在检测到原稿接触的时刻将将画面切换为全是红色,在该状态下进行原稿静止检测处理。这种情况下,在S6和S10之间插入S201的处理。
并且,在本实施方式中,按照红、绿、蓝的顺序切换画面,也可不限为这一顺序。
(变形例)
此外,显示摄像装置20的构成不限于图3、图4所示的结构。例如,也可是论文“画像入力機能付き2.6ィンチVGA液晶パネル(附带图像输入功能的2.6英时VGA液晶面板)”(作者:加藤浩巳、克里斯布郎、本哈德温,夏普技报第96号2007年11月)中所述的结构。或者也可是如下结构。
图16是表示显示摄像装置20的硬件构成的一例的图。
参照图16,显示摄像装置20具体例如包括:驱动器130、内置光传感器的液晶面板(以下称为“液晶面板”)140、内部IF178、背光源179、和图像处理引擎180。
驱动器130是用于驱动液晶面板140及背光源179的驱动电路。对驱动器130中含有的各种驱动电路稍后论述。
液晶面板140是具有液晶显示器的功能和光传感器的功能的装置。即,液晶面板140可进行利用了液晶的图像的显示、及利用了光传感器的传感。
内部IF(接)178在与显示摄像装置20以外的各部之间进行数据的交换。
背光源179是配置在液晶面板140的背面的光源。背光源179向该背面照射均匀的光。
图像处理引擎180经由驱动器130控制液晶面板140的动作。其中,该控制根据经内部IF178从控制部6传送的各种数据而进行。并且,图像处理引擎180处理从液晶面板140输出的数据,将处理的数据通过内部IF178传送到控制部6。进一步,图像处理引擎180例如包括驱动器控制装置181、计时器182、信号处理装置183。
驱动器控制装置181通过向驱动器130发送控制信号而控制驱动器130的动作。计时器182生成时刻信息,向信号处理装置183发送时刻信息。信号处理装置183接收从上述光传感器输出的数据。其中,从上述光传感器输出的数据是模拟数据,因此信号处理装置183首先将该模拟数据变换为数字数据。进一步,信号处理装置183对该数字数据进行与控制部6传送的命令的内容对应的数据处理。并且,信号处理装置183将进行上述数据处理后的数据及含有从计时器182取得的时刻信息的数据发送到控制部6。并且,信号处理装置183可具有RAM(未图示),该RAM可连续存储多个扫描数据。
在本例中,显示摄像装置20使用系统液晶构成。此外,系统液晶是将液晶面板140的外围设备一体形成在液晶面板的玻璃基板上而获得的装置。在本实施方式中,驱动器130(除了驱动背光源179的电路以外)、内部IF178、图像处理引擎180一体形成在液晶面板140的玻璃基板上。此外,显示摄像装置20不一定使用系统液晶构成,驱动器130(除了驱动背光源179的电路以外)、内部IF178、图像处理引擎180也可构成在上述玻璃基板以外的基板上。
图17是表示液晶面板140的构成及该液晶面板140的周边电路的图。
参照图17,液晶面板140包括像素电路141、光传感器电路144、扫描信号线Gi、数据信号线SRj、数据信号线SGj、数据信号线SBj、传感器信号线SSj、传感器信号线SDj、读出信号线Rwi、复位信号线Rsi。此外,i是满足1≤i≤m的自然数,j是满足1≤j≤n的自然数。
并且,驱动器130作为液晶面板140的周边电路包括:扫描信号线驱动电路131、数据信号线驱动电路132、光传感器驱动电路133、开关134、放大器135。
扫描信号线驱动电路131从驱动器控制装置181接收控制信号TC1。并且,扫描信号线驱动电路131根据控制信号TC1向各扫描信号线(G1~Gm)从扫描信号线G1开始依次施加预定的电压。具体而言,扫描信号线驱动电路131按照单位时间从扫描信号线(G1~Gm)中依次选择一个扫描信号线,向该选择的扫描信号线施加可使下述TFT(Thin Film Transistor:薄膜晶体管)142的栅极接通的电压(以下称为高电平电压)。此外,对未选择的扫描信号线不施加高电平电压,仍施加低电平电压。
数据信号线驱动电路132从驱动器控制装置181接收图像数据(DR,DG,DB)。并且,数据信号线驱动电路132向3n个数据信号线(SR1~SRn、SG1~SGn、SB1~SBn)按照上述单位时间依次施加1行的图像数据所对应的电压。
此外,在此使用称为线依次方式的驱动方式进行了说明,但不限于此。
像素电路141是用于设定一个像素的亮度(透过率)的电路。并且,像素电路141矩阵状地配置m×n个。具体而言,像素电路141在图16的纵向上配置m个,横向上配置n个。
像素电路141由R子像素电路141r、G子像素电路141g、B子像素电路141b构成。这三个电路(141r,141g,141b)分别包括TFT142、由像素电极和相对电极构成的一组电极对143、未图示的电容。
此外,由于能够实现制作n型晶体管和p型晶体管的CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)、及载体(电子或空穴)的移动速度比非晶硅薄膜晶体管(a-Si TFT)快数百倍等,因此在显示摄像装置20中,作为TFT142使用多晶硅薄膜晶体管(p-Si TFT)。此外,TFT142以n型沟道的场效应晶体管来说明。但TFT142也可是p型沟道的场效应晶体管。
R子像素电路141r内的TFT142的源极连接到数据信号线SRj。并且,该TFT142的栅极连接到扫描信号线Gi。进一步,该TFT142的漏极连接到电极对143的像素电极。并且,在像素电极和相对电极之间配置液晶。并且,关于G子像素电路141g及B子像素电路141b,除了各TFT142的源极连接的数据信号线不同外,均与像素电极141r的结构相同。因此,不重复这两个电路(141g、141b)的说明。
在此说明像素电路141中的亮度设定。首先,向扫描信号线Gi施加上述高电平电压。通过该高电平电压的施加,TFT142的栅极接通。这样在TFT142的栅极接通的状态下,对各数据信号线(SRj,SGj,SBj)分别施加指定的电压(与1像素的图像数据对应的电压)。这样一来,基于该指定电压的电压被施加到像素电极。其结果是,在像素电极和相对电极之间产生电位差。根据该电位差,液晶进行响应,像素亮度被设定为预定的亮度。此外,该电位差通过上述未图示的电容(辅助电容)保持到在下一帧期间内选择扫描信号Gi为止。
光传感器驱动电路133从驱动器控制装置181接收控制信号TC2。
并且,光传感器驱动电路133根据控制信号TC2按照单位时间从复位信号线(RS1~RSm)中依次选择一个信号线,对该选择的信号线以预定的时序施加比平常高电平的电压VDDR。此外,对未选择的复位信号线,施加比施加到选择的复位信号线的电压低的电压VSSR。例如可将电压VDDR设定为0V,将电压VSSR设定为-5V。
并且,光传感器驱动电路133根据控制信号TC2按照单位时间从读出信号线(RW1~RWm)中依次选择一个信号线,对该选择的信号线以预定的时序施加比平常高电平的电压VDD。此外,对未选择的读出信号线,施加上述电压VSSR。例如可将VDD的值设定为8V。
此外,对施加电压VDDR的时序、及施加电压VDD的时序稍后论述。
光传感器电路144包括光电二极管145、电容146、TFT147。以下以TFT147是n型沟道的场效应晶体管为例进行说明。但TFT147也可是p型沟道的场效应晶体管。
光电二极管145的阳极连接到复位信号线RSi。而光电二极管145的阴极连接到电容146的一个电极。并且电容146的另一电极连接到读出信号线RWi。此外,以下将光电二极管145和电容146的连接点称为节点N。
TFT147的栅极连接到节点N。并且,TFT147的漏极连接到传感器信号线SDj。进一步,TFT147的源极连接到传感器信号线SSj。
开关134是为了切换向传感器信号线(SD1~SDn)是否施加预定电压而设置的开关。开关134的切换动作由光传感器驱动电路133进行。
放大器135放大从各传感器信号线(SS1~SSn)输出的电压。放大的电压传送到信号处理装置183。
此外,使用像素电路141将图像显示到液晶面板140的时序、及使用光传感器电路144进行传感的时序由图像处理引擎180控制。
图18是液晶面板140和背光源179的截面图。参照图18,液晶面板140包括有效矩阵基板151A、相对基板151B、液晶层152。相对基板151B与有效矩阵基板151A相对配置。液晶层152被有效矩阵基板151A和相对基板151B夹持。背光源179相对有效矩阵基板151A配置在液晶层152的相反一侧。
有效矩阵基板151A包括:透明平板的偏振滤光片161、玻璃基板162、构成电极对143的像素电极143a、光电二极管145、数据信号线157、定向膜164。进一步,图18中虽未图示,但有效矩阵基板151A包括图17所示的电容146、TFT147、TFT142、扫描信号线Gi。
并且,在有效矩阵基板151A中,从背光源179一侧开始依次配置:偏振滤光片161、玻璃基板162、像素电极143a、定向膜164。光电二极管145和数据信号线157形成在玻璃基板162的液晶层152一侧。
相对基板151B包括:偏振滤光片161、玻璃基板162、遮光膜163、滤色器(153r,153g,153b)、构成电极对143的相对电极143b、定向膜164。
并且,在相对基板151B中,从液晶层152一侧开始依次配置:定向膜164、相对电极143b、滤色器(153r,153g,153b)、玻璃基板162、偏振滤光片161。遮光膜163和滤色器(153r,153g,153b)形成在同一层上。
滤色器153r是使红色波长的光透过的滤波器。滤色器153g是使绿色波长的光透过的滤波器。滤色器153b是使蓝色波长的光透过的滤波器。其中,光电二极管145配置在和滤色器153b相对的位置。
液晶面板140通过屏蔽从外部光源、背光源179等光源发出的光、或使该光透过,进行图像的显示。具体而言,液晶面板140通过向像素电极143a和相对电极143b之间施加电压,改变液晶层152的液晶分子的朝向,屏蔽上述光,或使之透过。但在本例中,仅通过液晶无法完全屏蔽光线,因此配置偏振滤光片161,其仅使特定的偏振方向的光透过。
此次公开的实施方式从各方面而言仅是示例,不是限制性的。本发明的范围不是上述说明,而是如权利要求范围所示,包括和权利要求范围均等的意义及范围内的所有变更。

Claims (17)

1.一种图像输入装置,具有:
显示部(2),其用于显示图像,并含有透明的平板;
摄像部(3),用于对放置在上述平板上的原稿的、与上述平板接触的接触面进行摄像;
接触检测部(61),用于检测上述原稿对上述平板的接触;和
显示控制部(63,63A),在通过上述接触检测部检测到上述原稿的接触时,进行显示均匀的特定色的图像的控制。
2.根据权利要求1所述的图像输入装置,其中,还具有:
摄像指示部(64),当显示了上述特定色的图像时,向上述摄像部输出上述接触面的图像的摄像指示;和
图像输入部(65),用于输入根据上述摄像指示由上述摄像部拍摄的图像。
3.根据权利要求2所述的图像输入装置,其中,
还具有静止检测部(62),在通过上述接触检测部检测到上述原稿的接触时,检测上述原稿的静止,
上述摄像指示部在显示了上述特定色的图像时且通过上述静止检测部检测到上述原稿的静止时,指示上述接触面的图像的拍摄。
4.根据权利要求1所述的图像输入装置,其中,
上述显示控制部,
在用户指示图像输入时,显示使上述原稿放置到上述平板上的消息,
将上述消息切换为上述特定色的图像。
5.根据权利要求4所述的图像输入装置,其中,
还具有静止检测部(62),在通过上述接触检测部检测到上述原稿的接触时,检测上述原稿的静止,
上述显示控制部在通过上述静止检测部检测到上述原稿的静止时,将上述消息切换为上述特定色的图像。
6.根据权利要求1所述的图像输入装置,其中,上述特定色是白色。
7.根据权利要求1所述的图像输入装置,其中,
上述特定色包括第1、第2及第3色,
上述显示控制部在通过上述原稿检测部检测到上述原稿的接触时,将上述显示部上显示的图像切换为上述第1、第2、第3色的图像。
8.根据权利要求7所述的图像输入装置,其中,还具有:
摄像指示部(64),每当切换为上述第1、第2、第3色的各色图像时,输出上述接触面的图像的摄像指示;
图像输入部(65),用于输入根据上述摄像指示由上述摄像部拍摄的上述第1、第2及第3色的各自的颜色成分的图像;和
合成部(68),用于合成由上述图像输入部输入的上述第1、第2及第3色的各自的颜色成分的图像。
9.根据权利要求7所述的图像输入装置,其中,上述第1、第2及第3色分别是红、绿、蓝的任意一种。
10.根据权利要求1所述的图像输入装置,其中,上述接触检测部以一定周期指示上述摄像部拍摄上述接触面的图像,并根据拍摄的图像的边沿特征,检测上述原稿的接触。
11.根据权利要求1所述的图像输入装置,其中,上述接触检测部根据来自压力传感器的输出检测上述原稿的接触,上述压力传感器用于检测从外部对上述显示部的压力。
12.一种图像输入装置,具有:
显示部(2),其用于显示图像,并含有透明的平板;
摄像部(3),用于对与上述平板接触的原稿的、与上述平板接触的接触面进行摄像;
静止检测部(62),用于检测与上述平板接触的上述原稿的静止;
摄像指示部(64),在通过上述静止检测部检测到上述原稿的静止时,向上述摄像部输出上述接触面的图像的摄像指示;和
图像输入部(65),用于输入根据上述摄像指示由上述摄像部拍摄的图像。
13.根据权利要求12所述的图像输入装置,其中,上述静止检测部以一定周期指示上述摄像部拍摄上述接触面的图像,并根据拍摄的图像的边沿特征及时间差分,检测上述原稿的静止。
14.一种图像输入装置,具有:
显示部(2),其用于显示图像,并含有透明的平板;
摄像部(3),用于对与上述平板接触的原稿的、与上述平板接触的接触面进行摄像;
图像输入部(65),用于输入由上述摄像部拍摄的上述接触面的图像;
解除检测部(66),用于检测上述原稿对上述平板的接触的解除;
显示控制部(63),在上述显示部上显示用于接受来自用户的指示的按键区域;和
判断部(60,S24),判断物体对上述按键区域的接触/非接触,
在上述解除检测部进行检测处理的期间,使上述判断部的判断无效化。
15.根据权利要求14所述的图像输入装置,其中,上述解除检测部以一定周期指示上述摄像部拍摄上述接触面的图像,并根据拍摄的图像的边沿特征,检测上述原稿的接触的解除。
16.根据权利要求14所述的图像输入装置,其中,上述解除检测部根据来自压力传感器的输出检测上述原稿的接触的解除,上述压力传感器用于检测从外部对上述显示部的压力。
17.一种图像输入方法,具有以下步骤:
检测原稿与显示部(2)具有的透明的平板的接触的步骤(S4);
在检测到上述原稿的接触时显示均匀的特定色的图像的步骤(S8);和
在显示了上述特定色的图像时,通过拍摄与上述平板接触的接触面的图像,而输入上述接触面的图像的步骤(S14)。
CN2008801051624A 2007-08-30 2008-08-29 图像输入装置及图像输入方法 Expired - Fee Related CN101796540B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-224327 2007-08-30
JP2007224327 2007-08-30
PCT/JP2008/065509 WO2009028652A1 (ja) 2007-08-30 2008-08-29 画像入力装置および画像入力方法

Publications (2)

Publication Number Publication Date
CN101796540A true CN101796540A (zh) 2010-08-04
CN101796540B CN101796540B (zh) 2013-12-04

Family

ID=40387363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801051624A Expired - Fee Related CN101796540B (zh) 2007-08-30 2008-08-29 图像输入装置及图像输入方法

Country Status (4)

Country Link
US (1) US8487902B2 (zh)
JP (1) JP4963322B2 (zh)
CN (1) CN101796540B (zh)
WO (1) WO2009028652A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5202395B2 (ja) * 2009-03-09 2013-06-05 株式会社半導体エネルギー研究所 タッチパネル、電子機器
WO2011024349A1 (ja) * 2009-08-27 2011-03-03 シャープ株式会社 表示装置
CN101833741A (zh) * 2010-03-16 2010-09-15 浙江大学 基于弧线骨骼的网格序列的拓扑修补方法
FI123008B (fi) * 2010-06-22 2012-09-28 Janne Pitkaenen Laitteisto ja menetelmä käytettävyystestausta varten
CN103201752B (zh) * 2010-11-10 2017-02-08 数据逻辑Adc公司 自适应数据读取器和操作方法
US8590792B2 (en) * 2011-09-14 2013-11-26 Symbol Technologies, Inc. Apparatus for and method of reading printed and electronic codes
US9766754B2 (en) * 2013-08-27 2017-09-19 Samsung Display Co., Ltd. Optical sensing array embedded in a display and method for operating the array
KR20150031629A (ko) * 2013-09-16 2015-03-25 삼성전자주식회사 터치 입력이 가능한 디스플레이 장치 및 그 터치 입력 방법
US9594936B1 (en) 2015-11-04 2017-03-14 Datalogic Usa, Inc. System and method for improved reading of data from reflective surfaces of electronic devices
WO2018200685A2 (en) 2017-04-27 2018-11-01 Ecosense Lighting Inc. Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations
FR3088160B1 (fr) * 2018-11-06 2021-04-02 Teledyne E2V Semiconductors Sas Capteur d'image pour la reconnaissance optique de code(s)
JP6891913B2 (ja) * 2019-03-25 2021-06-18 カシオ計算機株式会社 電子表示装置及び表示制御方法
CN113674623A (zh) * 2021-08-13 2021-11-19 Tcl华星光电技术有限公司 背光灯板、背光模组及显示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1577416A (zh) * 2003-06-27 2005-02-09 株式会社半导体能源研究所 显示装置与电子装置
JP2005167934A (ja) * 2003-12-05 2005-06-23 Canon Inc 画像読取装置
CN1768322A (zh) * 2003-03-31 2006-05-03 东芝松下显示技术有限公司 显示装置及信息终端装置
JP2006186947A (ja) * 2004-12-28 2006-07-13 Casio Electronics Co Ltd 原稿画像読取装置、書画複写装置、及び読取画像のデータ保管システム
JP2006333162A (ja) * 2005-05-27 2006-12-07 Nikon Corp イメージスキャナ
JP2007173946A (ja) * 2005-12-19 2007-07-05 Canon Inc 画像読取装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747290B2 (en) * 2000-12-12 2004-06-08 Semiconductor Energy Laboratory Co., Ltd. Information device
JP4257221B2 (ja) 2003-03-31 2009-04-22 東芝松下ディスプレイテクノロジー株式会社 表示装置および情報端末装置
JP4656872B2 (ja) * 2003-06-27 2011-03-23 株式会社半導体エネルギー研究所 表示装置及び電子機器
JP2005115661A (ja) 2003-10-08 2005-04-28 Matsushita Electric Ind Co Ltd 画像読取表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1768322A (zh) * 2003-03-31 2006-05-03 东芝松下显示技术有限公司 显示装置及信息终端装置
CN1577416A (zh) * 2003-06-27 2005-02-09 株式会社半导体能源研究所 显示装置与电子装置
JP2005167934A (ja) * 2003-12-05 2005-06-23 Canon Inc 画像読取装置
JP2006186947A (ja) * 2004-12-28 2006-07-13 Casio Electronics Co Ltd 原稿画像読取装置、書画複写装置、及び読取画像のデータ保管システム
JP2006333162A (ja) * 2005-05-27 2006-12-07 Nikon Corp イメージスキャナ
JP2007173946A (ja) * 2005-12-19 2007-07-05 Canon Inc 画像読取装置

Also Published As

Publication number Publication date
WO2009028652A1 (ja) 2009-03-05
JP4963322B2 (ja) 2012-06-27
JPWO2009028652A1 (ja) 2010-12-02
US8487902B2 (en) 2013-07-16
US20100245270A1 (en) 2010-09-30
CN101796540B (zh) 2013-12-04

Similar Documents

Publication Publication Date Title
CN101796540B (zh) 图像输入装置及图像输入方法
EP2221659B1 (en) Display device having optical sensor
CN105393261B (zh) 具有外围配置的超声波生物计量传感器的显示器
US20100283765A1 (en) Display device having optical sensors
US7663608B2 (en) Handwriting input apparatus
EP2244120A1 (en) Display device provided with optical sensor
CN103680385B (zh) 触控电路及其驱动方法、阵列基板、触控显示装置
CN101996005B (zh) 触摸屏的驱动方法
CN101825791A (zh) 显示设备
JP5224973B2 (ja) 情報入出力装置および情報入出力方法
US20100271335A1 (en) Display device having optical sensors
WO2005029394A2 (en) Light guide touch screen
JPH07261932A (ja) センサ内蔵型液晶表示装置及びこれを用いた情報処理システム
CN1938854A (zh) 摄像功能一体式显示装置
CN101281445A (zh) 显示装置
US20190018564A1 (en) Display device and touch sensing method using the same
JP5303785B2 (ja) 表示装置、表示方法、および表示プログラム
JP2010152671A (ja) 表示装置
WO2010150572A1 (ja) 光センサ付き表示装置
JP2009063803A (ja) 表示装置
JP2009037464A (ja) 画像表示装置及びコンピュータプログラム
JP5254753B2 (ja) 数値入力装置、数値入力方法、数値入力プログラム、およびコンピュータ読み取り可能な記録媒体
CN102017595A (zh) 图像显示/像检测设备及其控制方法、控制程序,以及记录该控制程序的计算机可读记录媒体
JP5567776B2 (ja) 色検出/色出力装置、色検出/色出力プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出/色出力方法
JP2012083592A (ja) 光センサ内蔵表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131204

Termination date: 20150829

EXPY Termination of patent right or utility model