CN110955367A - 显示装置及其控制方法 - Google Patents

显示装置及其控制方法 Download PDF

Info

Publication number
CN110955367A
CN110955367A CN201910896806.6A CN201910896806A CN110955367A CN 110955367 A CN110955367 A CN 110955367A CN 201910896806 A CN201910896806 A CN 201910896806A CN 110955367 A CN110955367 A CN 110955367A
Authority
CN
China
Prior art keywords
touch
display
processor
color
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910896806.6A
Other languages
English (en)
Inventor
河智慧
金官炯
金相镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110955367A publication Critical patent/CN110955367A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

公开了一种显示装置。该显示装置包括触摸显示器、相机和处理器，处理器配置用于：控制相机以捕获包括触摸显示器的图像，基于从通过相机捕获的图像中识别的对象，基于该图像获取该对象在触摸显示器上的第一位置，基于在触摸显示器上感测到对对象的触摸输入，识别第一位置是否在距离感测到该触摸输入的第二位置的预定距离内，以及基于第一位置在距离第二位置的预定距离内，基于所识别的对象来控制触摸显示器显示与触摸输入相对应的触摸轨迹。

Description

显示装置及其控制方法
相关申请的交叉引用
本申请基于2018年9月21日向韩国知识产权局提交的韩国专利申请No.10-2018-0113627并要求其优先权，其公开通过引用整体包含于此。
技术领域
本公开涉及显示装置及其控制方法，例如涉及可用作电子黑板的显示装置及其控制方法。
背景技术
随着电子技术的发展，各种类型的电子产品也随之发展起来，一种包括触摸显示器且可用作电子黑板的显示装置已经普及。
传统的电子黑板提供一个单独的用户界面(UI)，用于改变触摸轨迹的颜色、尺寸、厚度和形状中的至少一种。然而，设置必须通过单独的UI进行更改，随着设置菜单的多样化，设置变得更加复杂和困难。
最近开发了一种电子黑板，它可以通过相机等、根据用户使用的触摸笔的颜色来改变触摸轨迹的颜色。
然而，一个问题在于：由于包括了多个相机，制造成本增大，或者即使当使用一个相机时，在功能上存在很多限制。例如，当使用多个触摸笔同时进行触摸时，传统的电子黑板可能无法识别每个触摸笔对应的触点。因此，当第一触摸笔为红色，第二触摸笔为黄色时，传统的电子黑板可能无法区分将第一触摸轨迹显示成红色还是黄色。此外，针对第二触摸轨迹也存在相同的问题。
一个问题在于，由于触摸笔的颜色等只有在触摸输入完成后才会通过相机感测到，因此在触摸轨迹显示之前会发生延迟。
另一个问题在于，相机是与电子黑板的前表面分开形成的，因此，电子黑板的尺寸变大，或者用户必须位于相机和电子黑板之间时，无法很好地识别触摸笔。
因此，有必要开发一种制造成本更低、尺寸更小、触摸轨迹显示延迟最小化、并且根据多个触摸输入显示多个触摸轨迹的电子黑板。
发明内容
本公开的各种示例实施例解决了上述缺陷以及上面未描述的其他缺陷。
本公开提供了一种能够节省制造成本并最小化和/或减小触摸轨迹显示延迟的显示装置及其控制方法。
根据一个示例实施例，显示装置包括触摸显示器、相机和处理器，处理器配置用于：控制相机以捕获包括触摸显示器的图像，基于从通过相机捕获的图像中识别的对象，基于该图像获取对象在触摸显示器上的第一位置，基于在触摸显示器上感测到对对象的触摸输入，识别第一位置是否在距离感测到该触摸输入的第二位置的预定距离内，以及基于第一位置在距离第二位置的预定距离内，基于所识别的对象控制触摸显示器显示与触摸输入相对应的触摸轨迹。
处理器可以配置用于：从图像中识别关于对象的颜色、尺寸或形状中的至少一个的信息，以及基于所识别的信息来确定触摸轨迹的颜色、尺寸或形状中的至少一个。
处理器可以配置用于：从通过相机捕获的多个连续图像中识别存在动作的区域，以及将在从存在动作的区域中移除与预定形状或预定颜色中至少一个相对应的区域之后的剩余区域识别为所述对象。
显示装置还可以包括存储器，配置用于存储按照色温的颜色信息，并且处理器可以配置用于：基于包括在图像中的触摸显示器的底色来识别图像的色温，基于与所识别的色温相对应的颜色信息来过滤存在动作的区域，以及基于过滤结果来识别所述对象的颜色、尺寸或形状中的至少一个。
处理器可以配置用于：从图像中识别对应于触摸显示器的第一区域以及对应于所述对象的第二区域，转换第一区域以对应于触摸显示器的形状，以及改变第二区域的位置以对应于转换后的第一区域，以及基于第二区域相对于转换后的第一区域的改变后的位置来识别第一位置。
显示装置还可以包括存储器，并且处理器可以配置用于：基于从图像中识别的对象，将关于该对象的颜色、尺寸或形状中的至少一个的信息存储在存储器中，以及基于通过触摸显示器感测到对对象的触摸输入，基于存储在存储器中的信息来控制触摸显示器显示与触摸输入相对应的触摸轨迹。
处理器可以配置用于：基于对象的颜色、尺寸或形状中的至少一个来识别对象的功能，以及基于所识别的功能来控制触摸显示器显示触摸轨迹。
处理器可以配置用于：控制触摸显示器显示与对象的形状和触摸输入相对应的触摸轨迹。
处理器可以配置用于：基于第一位置距离第二位置超过预定距离，控制触摸显示器不显示触摸轨迹。
相机可以布置在触摸显示器的一侧，并且可以捕获触摸显示器的屏幕。
根据示例实施例，控制显示装置的方法包括：捕获包括设置在显示装置中的触摸显示器的图像；基于从所捕获的图像中识别的对象，基于该图像获取对象在触摸显示器上的第一位置；基于在触摸显示器上感测到对对象的触摸输入，识别第一位置是否在距离感测到该触摸输入的第二位置的预定距离内，以及基于第一位置在距离第二位置的预定距离内，基于所识别的对象来显示与触摸输入相对应的触摸轨迹。
显示可以包括从图像中识别关于对象的颜色、尺寸或形状中的至少一个的信息，以及基于所识别的信息来确定触摸轨迹的颜色、尺寸或形状中的至少一个。
获取可以包括：从通过相机捕获的多个连续图像中识别存在动作的区域，以及将在从存在动作的区域中移除与预定形状或预定颜色中至少一个相对应的区域之后的剩余区域识别为所述对象。
识别为所述对象可以包括：基于包括在图像中的触摸显示器的底色来识别图像的色温；基于与所识别的色温相对应的颜色信息来过滤存在动作的区域；以及基于过滤结果来识别所述对象的颜色、尺寸或形状中的至少一个。
获取可以包括：从图像中识别对应于触摸显示器的第一区域以及对应于所述对象的第二区域；转换第一区域以对应于触摸显示器的形状，以及改变第二区域的位置以对应于转换后的第一区域；以及基于第二区域相对于转换后的第一区域的改变后的位置来识别第一位置。
该方法还可以包括：基于从图像中识别的对象，将关于该对象的颜色、尺寸或形状中的至少一个的信息存储在存储器中，并且显示可以包括：基于所存储的信息，显示与触摸输入相对应的触摸轨迹。
显示可以包括：基于对象的颜色、尺寸或形状中的至少一个来识别对象的功能，以及基于所识别的功能来显示触摸轨迹。
显示可以包括：显示与对象的形状和触摸输入相对应的触摸轨迹。
显示可以包括：基于第一位置距离第二位置超过预定距离，不显示触摸轨迹。
捕获可以包括：通过形成在触摸显示器一侧的相机来捕获触摸显示器的屏幕。
根据各种示例实施例，通过提前使用相机识别触摸笔以及基于感测到的触摸，基于所识别的触摸笔来显示触摸轨迹，显示装置可以最小化和/或减小延迟并节省制造成本。
附图说明
从下文结合附图的详细描述中，本公开一些实施例的上述和/或其他方面、特征和优势将变得更加明显，附图中：
图1A是示出根据实施例的显示装置的示例配置的框图；
图1B是示出根据实施例的显示装置的示例配置的框图；
图2是示出根据实施例的显示装置的示例形状的图示；
图3A是示出根据实施例的用于从图像中识别对象的示例方法的图示；
图3B是示出根据施例的用于从图像中识别对象的示例方法的图示；
图3C是是示出根据实施例的用于从图像中识别对象的示例方法的图示；
图3D是示出根据实施例的用于从图像中识别对象的示例方法的图示；
图4是示出根据另一实施例的用于从图像中识别对象的示例方法的图示；
图5是示出根据实施例的用于获取在触摸显示器上的对象的第一位置的示例方法的图示；
图6A和图6B是示出根据各种实施例的根据触摸输入的示例操作的图示；
图7是示出根据实施例的对象的示例功能的图示；
图8是示出根据实施例的对象的形状影响触摸轨迹的示例操作的图示；以及
图9是示出根据实施例的控制显示装置的示例方法的流程图。
具体实施方式
本公开的各种示例实施例可以进行各种各样的修改。相应地，在附图中图示示例实施例并在具体实施方式中更详细地描述。然而，应当理解，本公开不限于任何特定示例实施例，而是在不偏离本公开范围和精神的情况下包括所有修改、等效物和替代物。此外，未详细描述公知的功能或结构，因为它们可能用一些不必要的细节模糊本公开。
此后，将参考附图详细描述本公开的各种示例实施例。
图1A是示出根据实施例的显示装置100的示例配置的框图。
根据图1A，显示装置100包括触摸屏110、相机120和处理器(例如，包括处理电路)130。
显示装置100可以是用于接收触摸输入并显示与该触摸输入相对应的触摸轨迹的装置。例如，显示装置例如可以是但不限于智能手机、平板PC等等，并且可以是能够接收触摸输入并显示与该触摸输入相对应的触摸轨迹的任何装置。
触摸显示器110可以在处理器130的控制下显示与触摸输入相对应的触摸轨迹。
触摸显示器110可以实现为各种类型的显示器，例如但不限于液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子显示面板(PDP)等等。在触摸显示器110中，也可以包括驱动电路和背光单元，其可以实现为a-si TFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)的形式。
触摸显示器110可以与触摸传感器组合，并实现为触摸屏。例如，触摸传感器可以包括触摸面板。触摸面板可以感测用户的手指手势输入并输出与感测到的触摸信号相对应的触摸事件值。触摸面板可以安装在触摸显示器110的下方。
通过触摸面板来感测用户的手指手势输入的方法例如可以包括但不限于电容式、压敏式，等等。电容式例如可以指用于通过感测被用户身体激励的细微电力来计算触摸坐标的方法。压敏式例如可以包括在触摸面板内设置的两个电极板，当触点的上下板相互接触时，压敏式传感器感测电流流动并计算触摸坐标。
触摸显示器110可以使用红外传感器代替触摸面板来计算触摸坐标。例如，多个红外发射器可以设置在显示装置100的左边框和上边框处，对应于该多个红外发射器的多个红外接收器可以设置在显示装置的右边框和下边框处。设置在显示装置的左边框中的红外发射器可以在显示装置的右边框方向上发射红外线，并且设置在显示装置的右边框中的红外接收器可以接收该红外线。设置在显示装置的上边框中的红外发射器可以在显示装置的下边框方向上发射红外线，并且设置在显示装置的下边框中的红外接收器可以接收该红外线。
当物体位于显示装置的表面上时，部分红外接收器可能接收不到红外线，则根据未接收到红外线的红外接收器在边框上的位置，可以确定该物体的x和y坐标。
触摸显示器110还可以包括笔识别面板。笔识别面板可以根据用户的触摸笔(例如，手写笔、数字笔等等)的操作来感测用户的笔手势输入并输出笔接近事件值或笔触摸事件值。笔识别面板可以安装在触摸显示器110的下方。
笔识别面板可以利用例如电磁共振(EMR)来实现，并且可以根据笔的接近或触摸引起的电磁场强度变化来感测触摸或接近输入。例如，笔识别面板可以包括电磁感应线圈传感器(未示出)和电信号处理器(未示出)，用于连续地向电磁感应线圈传感器的每个线圈提供具有预定频率的AC信号。当在笔中谐振电路嵌入在笔识别面板的线圈附近时，从对应的线圈发射的磁场基于该笔中谐振电路中的电磁感应产生电流。基于此电流，从该笔中谐振电路的线圈产生感应磁场，并且笔识别面板可以在信号接收状态中从线圈检测到该感应磁场，从而可以感测到笔的访问位置或触摸位置。
处理器130可以包括各种处理电路并根据笔识别面板是否识别到笔来改变相机120和触摸面板的操作模式。例如，如果在笔识别面板上未识别到笔，则处理器130可以去激活相机120和触摸面板以降低功耗。当在笔识别面板上识别到笔时，处理器130可以激活相机120和触摸面板。处理器130可以通过激活相机120来控制相机120以捕获触摸显示器110，以及激活触摸面板以通过触摸面板感测在触摸显示器110上的触摸输入。
此外，当相机120被激活时，处理器130可以去激活笔识别面板。当在相机120所捕获的图像中未识别到对象时，处理器130可以去激活笔识别面板。
处理器130可以基于通过笔识别面板感测到触摸输入的位置来显示触摸轨迹。这将在后文详细描述。
相机120例如可以指用于根据用户的控制来捕获静态图像或动态图像的配置。相机120可以捕获特定时间点的静态图像，或者可以连续捕获静态图像。相机120可以布置在触摸显示器110的一侧上并捕获触摸显示器110的屏幕。
相机120例如可以包括但不限于镜头、快门、光圈、固态成像器件、模拟前端(AFE)、定时发生器(TG)等等。快门可以调整从物体反射的光进入相机120的持续时间，光圈可以通过机械式增大或减小光线进入所通过的孔径大小来调整入射到镜头上的光线数量。当从物体反射的光在光电管上累积时，固态成像器件可以将图像作为电信号输出。TG可以输出用于读出固态成像器件的像素数据的定时信号，AFE可以对从固态成像器件输出的电信号进行采样和数字化。
处理器130可以通过控制显示装置100的配置来控制显示装置100的全部操作。
根据实施例，处理器130可以包括各种处理电路，例如但不限于数字信号处理器(DSP)、微处理器、时间控制器(TCON)等等，但是不限于此。处理器130例如可以包括但不限于以下中的一个或多个：中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)、高级简化指令集计算(RISC)机器(ARM)处理器，等等，或者可以定义为对应的术语。处理器130可以实现为片上系统(SoC)类型或内建有处理算法的大规模集成(LSI)类型，或者实现为现场可编程门阵列(FPGA)类型。
处理器130可以控制相机120以捕获触摸显示器110并识别通过相机120捕获的图像中的对象。例如，处理器130可以识别图像中的触摸笔。例如，处理器130可以识别具有特定模式的触摸笔。处理器130可以识别用户的手臂以及识别位于用户手臂一侧的触摸笔。这里，可以安装相机120以捕获触摸显示器110的屏幕。
处理器130可以从通过相机120捕获的多个连续图像中识别存在动作的区域(动作区域)，以及将在从动作区域中移除与预定形状和预定颜色中至少一个相对应的区域之后得到的剩余区域识别为对象。
例如，当用户使用触摸笔来触摸触摸显示器110时，处理器130可以通过相机120捕获有触摸输入的场景作为多个连续图像。处理器130可以从多个连续图像中识别用户手臂移动的区域，以及通过在所识别的区域中移除皮肤颜色来识别触摸笔。处理器130可以移除所识别区域的厚实部分，从而识别相对薄的触摸笔。
显示装置100还可以包括存储器(未示出)，其中存储按照色温的颜色信息，并且处理器130可以基于包括在图像中的触摸显示器110的底色来识别图像的色温，基于与所识别的色温相对应的颜色信息来过滤动作区域，以及基于过滤结果来识别对象的颜色、尺寸和形状中的至少一项。
例如，显示装置100可以存储关于底色的信息，并且处理器130可以基于包括在所捕获图像中的触摸显示器110的底色以及所存储的信息来识别图像的色温。处理器130接着可以基于与所识别的色温相对应的颜色信息来过滤动作区域。例如，处理器130可以仅过滤与所识别的色温相对应的颜色信息的红色范围以识别在所过滤的区域中是否包括对象。如果对象是红色的触摸笔，则过滤区域可以包括触摸笔形式的图像。处理器130可以仅过滤与所识别的色温相对应的颜色信息中的红色范围以识别在所过滤的区域中是否包括对象。如果对象是黄色触摸笔，过滤区域可能无法识别特定形状。处理器130可以以预定类型的颜色范围重复此操作以识别对象。在上述示例中，如果过滤区域包括红色触摸笔形状，则处理器130可以识别所识别对象的颜色、尺寸和形状中的至少一项。
识别图像的色温的操作是为了解决在相机120的白平衡功能的操作过程中可能出现的问题。通常，相机120可以基于捕获范围中的颜色信息来调整白平衡。例如，如果大部分捕获范围是蓝色、绿色等等，则所捕获图像的颜色可能由于白平衡功能的错误操作而失真。例如，所捕获图像中的触摸显示器110的底色和对象的颜色都有可能失真。因此，处理器130可以使用以同样方式失真的触摸显示器110的底色来从对象的失真颜色中获取接近实际对象颜色的颜色。
当在图像中识别到对象时，处理器130可以基于该图像获取对象在触摸显示器110上的第一位置。
例如，处理器130可以从图像中识别对应于触摸显示器110的第一区域以及对应于该对象的第二区域，转换第一区域以对应于触摸显示器110的形状，改变第二区域的位置以对应于转换后的第一区域，以及基于第二区域相对于转换后的第一区域的改变后的位置来识别第一位置。
相机120所捕获的图像可以包括具有失真矩形的触摸显示器110，而不是矩形的触摸显示器110。例如，矩形触摸显示器110可以以另一种形式被捕获。相应地，对象在包括在图像中的触摸显示器110上的相对位置可以不同于对象在实际触摸显示器110上的相对位置。上述操作旨在于修正此失真。
当在触摸显示器110上感测到对对象的触摸输入时，处理器130可以识别第一位置是否在距离感测到该触摸输入的第二位置的预定距离内，以及如果第一位置在距离第二位置的预定距离内，则处理器130可以基于所识别的对象，控制触摸显示器110显示与该触摸输入相对应的触摸轨迹。
例如，处理器130可以从图像中识别出关于对象的颜色、尺寸和形状中的至少一个的信息，以及基于所识别的信息来确定触摸轨迹的颜色、尺寸和形状中的至少一项。
例如，处理器130可以从图像中识别出红色触摸笔，并控制触摸显示器110显示红色触摸轨迹。
如果第一位置距离第二位置超过预定距离，则处理器130可以控制触摸显示器110不显示触摸轨迹。
本公开不限于上述示例实施例，如果第一位置距离第二位置超过预定距离，处理器130可以基于第一位置来修正第二位置。例如，处理器130可以控制触摸显示器110将触摸轨迹显示为通过将第一位置的坐标值和第二位置的坐标值进行平均得到的坐标值。
当第一位置距离第二位置超过预定距离时，处理器130可以控制触摸显示器110忽略第一位置并基于第二位置来显示触摸轨迹。
如果触摸显示器110包括笔识别面板，当第一位置距离第二位置超过预定距离时，处理器130可以通过进一步考虑通过笔识别面板感测的第三位置来控制触摸显示器110显示触摸轨迹。
例如，处理器130可以基于更靠近第一位置与第二位置之间的第三位置的位置，控制触摸显示器110显示触摸轨迹。处理器130可以控制触摸显示器110将触摸轨迹显示为通过将第一位置的坐标值、第二位置的坐标值和第三位置的坐标值进行平均得到的坐标值。
当第一位置距离第二位置超过预定距离时，处理器130可以修改用于获取第一位置的算法。例如，如果第一位置距离第二位置超过预定距离，处理器130可以修改用于获取第一位置的算法，使得从对象在包括在图像中的触摸显示器110上的相对位置来获取第二位置。
显示装置100还可以包括存储器(未示出)。当从图像中识别出对象时，处理器130可以将关于该对象的颜色、尺寸和形状中的至少一个的信息存储在存储器中，以及当通过触摸显示器110感测到对对象的触摸输入时，处理器130可以基于存储在存储器中的信息来控制触摸显示器110显示与触摸输入相对应的触摸轨迹。
例如，处理器130可以通过所捕获的图像预先存储与对象有关的信息，当有触摸输入到触摸显示器110时，处理器130可以基于与该对象有关的信息来控制触摸显示器110立即显示触摸轨迹。通过上述操作，处理器130可以最小化和/或减小显示触摸轨迹之前的延迟。
处理器130可以基于对象的颜色、尺寸和形状中的至少一个来识别对象的功能，以及基于所识别的功能来控制触摸显示器110显示触摸轨迹。
例如，当对象是圆柱形时，处理器130可以显示触摸轨迹以与该触摸输入相对应，当对象是长方体形时，处理器130可以删除预先显示的内容元素以对应于该触摸输入。
处理器130可以控制触摸显示器110显示与对象的形状和该触摸输入相对应的触摸轨迹。
例如，当对象是星形时，处理器130可以控制触摸显示器110沿着与该触摸输入相对应的触摸轨迹连续地显示星形的内容元素。
图1B是示出显示装置100的示例配置的框图。显示装置100可以包括触摸显示器110、相机120和处理器130。根据图1B，显示装置100还可以包括存储器140、通信器(例如，包括通信电路)150、扬声器160、按钮170和麦克风180。在图1B的配置中，在此不再重复与图1A的配置重叠的配置的描述。
处理器130可以包括各种处理电路并使用存储在存储器140中的各种程序来控制显示装置100的全部操作。
处理器130例如可以包括但不限于随机访问存储器(RAM)131、只读存储器(ROM)132、主中央处理单元(CPU)133、第一到第n接口134-1到134-n、以及总线135。
RAM 131、ROM 132和主CPU 133以及第一到第n接口134-1到134-n等等可以通过总线135互连。
第一到第n接口134-1到134-n连接到上面描述的各种元件。一个接口可以是通过网络连接到外部设备的网络接口。
主CPU 133访问存储器140并使用存储在存储器140中的操作系统(OS)来执行启动。此外，CPU 133使用存储在存储器140中的各种程序等来执行各种操作。
ROM 132存储用于启动系统等的命令集。当输入开机命令并且电源供电时，CPU133根据存储在ROM 132中的命令，将存储在存储器140中的OS复制到RAM 131，并执行该OS以启动系统。当启动完成时，CPU 133将存储在存储器140中的各种程序复制到RAM 131，执行复制到RAM 131的程序，以及执行各种操作。
主CPU 133可以生成包括各种对象(诸如图标、图像、文本等等)的屏幕。主CPU 133可以基于所接收的控制命令，根据屏幕的布局来获取属性，诸如将要显示的每个对象的坐标值、形状、尺寸、颜色等等。主CPU 133可以基于所获取的属性值，生成包括对象的各种布局的屏幕。所生成的屏幕显示在触摸显示器110的显示区域内。
处理器130可以执行对音频数据的处理。处理器130可以对音频数据执行各种图像处理，诸如解码、放大、噪声滤除等等。
处理器130可以执行对视频数据的处理。处理器130可以执行针对视频数据的各种图像处理，诸如解码、缩放、噪声滤除、帧率转换、分辨率转换等等。
处理器130的操作可以通过存储在存储器140中的程序来执行。
存储器140存储各种数据，例如但不限于用于驱动电子装置100的操作系统(OS)软件模块、对象识别模块、对象信息模块、颜色信息模块，等等。
通信器150可以包括各种通信电路(包括含有各种通信电路的芯片)并且可以根据各种类型的通信方法与各种类型的外部设备执行通信。通信器150可以包括具有各种通信电路的各种芯片，例如但不限于Wi-Fi芯片151、蓝牙芯片152、无线通信芯片153、近场通信(NFC)芯片154，等等。
Wi-Fi芯片151和蓝牙芯片152分别使用Wi-Fi方法和蓝牙方法来执行通信。当使用Wi-Fi芯片151或蓝牙芯片152时，可以首先发射和接收各种连接信息，诸如服务集标识符(SSID)和会话密钥，并且可以使用通信信息来发射和接收各种信息。无线通信芯片153是指根据各种通信标准执行通信的芯片，通信标准诸如IEEE、ZigBee、第三代(3G)、第三代合作伙伴项目(3GPP)、长期演进(LTE)等等。NFC芯片154是指在诸如135kHz、13.56MHz、433MHz、860到960MHz、2.45GHz等的各种射频标识(RF-ID)频带中使用13.56MHz、以NFC模式操作的芯片。
通信器150还可以包括有线通信接口，例如但不限于高清多媒体接口(HDMI)、移动高清链路(MHL)、通用串行总线(USB)、显示端口(DP)、雷电接口、RGB端口、d-超小型(D-SUB)、数字视觉接口(DVI)等等。处理器130可以通过通信器150的有线通信接口连接到外部设备。处理器130可以通过有线通信接口从外部设备接收数据。
扬声器160不仅可以输出处理器130所处理的各种音频数据，还可以输出各种通知声音、语音消息等等。
按钮170可以是各种类型的按钮，例如但不限于机械按钮、触摸板、滚轮等等，其可以形成在任意区域，诸如显示装置100的主体外部的前部分、侧部分、背部分等等。
麦克风180可以接收例如用户语音和/或其他声音的输入，并将语音或声音转换成音频数据。
通过上述方法，处理器130可以最小化和/或减小触摸输入之后显示触摸轨迹之前的延迟。
下面，将参考附图更详细地描述显示装置100的操作。
图2是示出根据实施例的显示装置100的示例形状的图示。
如图2所示，显示装置100可以包括触摸显示器110。此外，显示装置100还可以包括位于触摸显示器110一侧的相机120。
相机120被示出为位于或布置在触摸显示器110的左上侧，不过这仅仅是示例。例如，相机120可以位于触摸显示器110的右上侧，或者在任何其他位置，只要可以捕获到触摸显示器的屏幕。
而且，相机120可以位于可以最小化和/或减小触摸显示器的屏幕被用户遮挡或阻挡的量的位置处。例如，当相机120突出到触摸显示器110的前表面时，当存在用户的触摸输入时，用户的头部、颈部等可能被捕获。例如，触摸显示器的屏幕比相机120位于触摸显示器110的左上侧的情况下更多地被遮挡或阻挡，因此，这可能不适合作为相机120的安装位置。
相机120可以设置在不阻碍用户的触摸输入的位置。
此后，为了方便描述，将相机120描述为形成在触摸显示器110的左上处。
图3A、3B、3C和3D是示出根据实施例的用于从图像中识别对象的示例方法的图示。
如图3A所示，处理器130可以控制相机120捕获包括触摸显示器110的图像。
特别地，处理器130可以通过多次捕获来获取多个连续图像。另一方面，处理器130可以控制相机120执行动态图像捕获。
处理器130可以从多个连续图像中识别存在动作的区域，以及移除除了存在动作的区域之外的剩余背景区域。处理器130可以将存在动作的区域中除了与预定形状和预定颜色中至少一个相对应的区域之外的剩余区域识别为对象。
如图3B所示，处理器130可以从多个连续图像中识别存在两个手臂的动作的区域，以及从每个区域中识别手臂和手。处理器130可以从手的一侧，将预定区域识别为感兴趣区域(ROI)310和320。手的另一侧可以连接到手臂，手的一侧可以是手的另一侧的相反方向。例如，处理器130可以从多个连续图像的最近图像中识别出ROI 310和320。
处理器130可以通过过滤每个ROI 310和320来识别出对象。如图3C所示，处理器130可以使用蓝色滤光器来过滤每个ROI 310和320。在这种情况下，当ROI 310和320内的对象是蓝色时，对象可以显示成与图3C的中心图像一样黑，并且其他区域可以是白色。当从过滤后的ROI 310和320中识别出预定形状的区域时，处理器130可以获取用于过滤的滤光器的颜色，作为该对象的颜色，以及基于过滤后的ROI 310和320中具有预定形状的区域来获取对象的尺寸和形状。预定形状可以由显示装置100预先存储。例如，显示装置100可以存储矩形、圆柱形等等作为预定形状。
如果使用红色对每个ROI 310和320进行过滤，但是从每个ROI 310和320中未识别出预定形状的区域，则处理器130可以利用不同颜色的滤光器对每个ROI 310和320重复过滤。
通过此方法，处理器130可以识别各种颜色的对象。例如，处理器130可以从第一ROI 310中识别蓝色对象，从第二ROI 320中识别红色对象。
处理器130可以在触摸输入到触摸显示器110之前识别对象。也即，处理器130可以在存储器140中存储从图像识别的关于对象的颜色、尺寸和形状中的至少一个的信息。此外，处理器130可以基于该图像获取对象在触摸显示器110上的第一位置。
处理器130可以连续获取对象的第一位置直到在触摸显示器110上检测到对对象的触摸输入。例如，如果假设需要十幅图像来检测对象，则处理器130可以使用十幅图像来获取对象的颜色、尺寸、形状和第一位置。在获取了关于对象的信息之后，处理器130可以控制相机120捕获触摸显示器110。处理器130可以从该十幅图像之后捕获的图像中仅获取对象的第一位置。
处理器130可以通过进一步考虑图像的色温来识别对象。例如，显示装置100可以存储按照色温的底色，如图3D所示。处理器130继而可以基于包括在图像中的触摸显示器110的底色来识别图像的色温，基于与所识别的色温相对应的颜色信息来过滤ROI 310和320，以及基于过滤结果来识别对象的颜色、尺寸和形状中的至少一项。
当色温改变时，用于过滤的滤光器也可以改变。例如，用于3180K色温的红色滤光器可以稍微不同于用于3450K色温的红色滤光器。
以上描述了用于使用多个图像来识别对象的方法，但是不限于此。例如，处理器130可以从一个图像中识别对象，这将在图4中描述。
图4是示出根据另一实施例的用于从图像中识别对象的示例方法的图示。
显示装置100可以存储预定图案，当识别到预定图案时，处理器130可以根据所识别图案将预定范围的区域设置成ROI。
例如，如图4所示，显示装置100可以存储与触摸笔的三条线相对应的图案，当从图像中识别到三条线时，处理器130可以根据所识别的线将预定范围的区域设置成ROI。此时，处理器130可以基于三条线是否平行、三条线的颜色等等来识别这三条线是否具有预定图案。
处理器130可以从ROI获取对象的颜色、尺寸、形状和第一位置中的至少一项。
通过上述方法，处理器130可以例如从一幅图像中识别对象。
图5是示出根据实施例的用于获取对象在触摸显示器110上的第一位置的示例方法的图示。
如图2所示，相机120可以形成在触摸显示器110的一侧，相机120所捕获的图像可以如图3A所示。例如，触摸显示器110可以是矩形，但是图像中的触摸显示器110可能不是矩形。
如图5的上部所示，处理器130可以从图像中识别对应于触摸显示器110的第一区域ACBD以及对应于对象的第二区域510-1。为了方便描述，将第二区域510-1描述为图5上部中的一个点。
如图5的下部所示，处理器130可以转换第一区域ACBD以对应于触摸显示器110的形状，改变第二区域510-1的位置以对应于转换后的第一区域A′C′B′D′，以及基于第二区域510-1相对于转换后的第一区域A′C′B′D′的改变后的位置510-2来识别第一位置。
通过上述操作，处理器130可以识别对象位于实际触摸显示器110的哪个点上。
图6A和6B是示出根据各种实施例的根据触摸输入的示例操作的图示。
如图6A所示，当在触摸显示器110上检测到对对象的触摸输入时，处理器130可以识别第一位置610-2是否在距离检测到该触摸输入的第二位置620的预定距离内。这里，第一位置610-2可以是从相机120捕获的图像中的对象的位置610-1获取的位置，如图5所描述的。
当第一位置610-2在距离第二位置620的预定距离内时，处理器130可以基于所识别的对象，控制触摸显示器110显示与该触摸输入相对应的触摸轨迹。
当第一位置610-2距离第二位置620超过预定距离时，处理器130可以控制触摸显示器110不显示触摸轨迹。
通过上述操作，处理器130可以确定哪个触摸轨迹可以使用与对象有关的预先存储的信息。
例如，如图6B所示，当识别出第一对象和第二对象时，处理器130可以在检测到触摸输入之前，在存储器140中存储与第一对象和第二对象有关的信息。这里，与第一对象有关的信息和与第二对象有关的信息中的每个可以包括第一对象的第一位置和第二对象的第一位置。
当检测到多个触摸输入时，处理器130可以将第一对象的第一位置和第二对象的第一位置与检测到该多个触摸输入的第二位置进行比较，以及识别与该多个触摸输入中的每个相对应的对象。
当第一对象对应于第一触摸输入并且第二对象对应于第二触摸输入时，处理器130可以控制触摸显示器110基于与第一对象有关的信息来显示与第一触摸输入相对应的第一触摸轨迹630，以及基于与第二对象有关的信息来显示与第二触摸输入相对应的第二触摸轨迹640。
图7是示出根据实施例的对象的示例功能的图示。
处理器130可以基于对象的颜色、尺寸和形状中的至少一项来识别对象的功能，以及基于所识别的功能来控制触摸显示器110显示触摸轨迹。
例如，如图7所示，如果对象对应于橡皮擦功能，则处理器130可以删除之前显示的内容元素720以与触摸轨迹710相对应。
当对象对应于锐化功能时，处理器130可以校正包括在之前显示的内容元素中的线条以与锐化的触摸轨迹相对应。
当对象对应于模糊功能时，处理器130可以校正之前显示的内容以与待模糊的触摸轨迹相对应。
对象的功能可以仅对做出触摸输入的区域有影响。
具有橡皮擦功能的对象例如可以是像橡皮擦的长方体形式，具有锐化功能的对象例如可以是锥子形式，具有模糊功能的对象例如可以是一端部为圆顶形状的形式。然而，实施例不限于此，可以以任何其他形式来区分对象的功能。可以基于颜色、尺寸和形状中的至少一个来区分对象的功能。
显示装置100可以预先存储根据对象的形状等的功能。
除上述功能外，可能还有对象具有多种多样的功能。
图8是示出根据实施例的对象的形状影响触摸轨迹的示例操作的图示。
处理器130可以控制触摸显示器110显示与对象的形状和触摸输入相对应的触摸轨迹。
例如，如图8所示，当检测到圆形对象的触摸输入时，尽管触摸轨迹是线形810，可以根据线形810的触摸轨迹连续地显示星形。
例如，触摸显示器110可以检测到线形810的触摸输入，但是可以在未检测到触摸输入的区域中显示星形。
实施例不限于此，并且对象的形状以及根据对象形状的显示形状可以各种各种。
图9是示出根据实施例的控制显示装置的示例方法的流程图。
在步骤S910中捕获包括设置在显示装置中的触摸显示器的图像。在步骤S920中，当在所捕获的图像中识别出对象时，基于该图像获取对象在触摸显示器上的第一位置。如果在触摸显示器上感测到对对象的触摸输入，在步骤S930中，识别第一位置是否在距离感测到该触摸输入的第二位置的预定距离内。如果第一位置在距离第二位置的预定距离内，在步骤S940中，基于所识别的对象来显示与触摸输入相对应的触摸轨迹。
显示步骤S940可以包括从图像中识别关于对象的颜色、尺寸和形状中的至少一个的信息，以及基于所识别的信息来确定触摸轨迹的颜色、尺寸和形状中的至少一个。
获取步骤S920可以包括从多个连续捕获的图像中识别存在动作的区域，以及将在从存在动作的区域中移除与预定形状或预定颜色中至少一个相对应的区域之后的剩余区域识别为对象。
识别为对象可以包括基于包括在图像中的触摸显示器的底色来识别图像的色温，基于与所识别的色温相对应的颜色信息来过滤动作区域，以及基于过滤步骤和过滤结果来识别对象的颜色、尺寸和形状中的至少一项。
获取步骤S920可以包括从图像中识别对应于触摸显示器的第一区域以及对应于对象的第二区域，转换第一区域以对应于触摸显示器的形状，以及改变第二区域的位置以对应于转换后的第一区域，以及基于第二区域相对于转换后的第一区域的改变后的位置来识别第一位置。
当从图像中识别出对象时，可以存储关于对象的颜色、尺寸和形状中的至少一个的信息，并且显示步骤S940可以包括基于所存储的信息，显示与触摸输入相对应的触摸轨迹。
显示步骤S940可以包括基于对象的颜色、尺寸和形状中的至少一个来识别对象的功能，以及基于所识别的功能来显示触摸轨迹。
显示步骤S940可以包括显示与对象的形状和触摸输入相对应的触摸轨迹。
当第一位置距离第二位置超过预定距离时，显示步骤S940可以不显示触摸轨迹。
捕获步骤S910可以包括通过形成在触摸显示器一侧的相机来捕获触摸显示器的屏幕。
根据上述各种实施例，显示装置可以提前使用相机识别触摸笔，当检测到触摸时，通过基于所识别的触摸笔来显示触摸轨迹，可以最小化和/或减小延迟并节省制造成本。
根据实施例，上述各种示例实施例可以利用包括存储在机器(例如，计算机)可读的机器可读存储介质中的指令的软件来实现。装置可以是可以从存储介质调用指令并根据所调用的指令进行操作的装置，并且可以包括根据所公开实施例的电子装置(例如电子装置A)。当由处理器执行指令时，处理器可以直接地或在处理器的控制下使用其他组件来执行对应于指令的功能。指令可以包括汇编器生成的或解译器执行的代码。机器可读存储介质可以以非瞬态存储介质的形式提供。
根据实施例，根据本文公开的各种实施例的方法可以在计算机程序产品中提供。计算机程序产品可以作为商品在销售者和购买者之间交换。计算机程序产品可以以机器可读存储介质(例如，紧致盘只读存储器(CD-ROM))的形式分发或者通过应用商店(例如，PlayStoreTM)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以临时存储或者至少临时存储在存储介质中，诸如制造商的服务器、应用商店的服务器或中继服务器的存储器。
此外，根据示例实施例，上述各种实施例可以使用软件、硬件或其组合实现在计算机可读介质(诸如计算机或类似设备)中。在一些情况下，本文描述的实施例可以通过处理器本身来实现。根据一种软件实现，诸如本文描述的过程和功能的实施例可以利用单独的软件模块来实现。每个软件模块可以执行本文描述的功能和操作中的一个或多个。
根据上述各种实施例执行该装置的处理操作的计算机指令可以存储在非瞬态计算机可读介质中。存储在非瞬态计算机可读介质中的计算机指令在由特定装置的处理器执行时，使得该特定装置根据上述各种实施例在该装置上执行处理操作。非瞬态计算机可读介质是一种半永久性存储数据并可由装置读取的介质。非瞬态计算机可读介质的示例包括CD、DVD、硬盘、蓝光盘、USB、存储卡、ROM等等。
根据各种实施例的每个元素(例如模块或程序)可以由单个实体或多个实体组成，并且上述子元素中的某些子元素可以省略。这些元素可以进一步包含在各种实施例中。备选地或附加地，一些元素(例如模块或程序)可以集成到一个实体中，以执行每个元素在集成之前执行的相同或类似的功能。由模块、程序或其他元素根据各种实施例执行的操作，可以顺序地、并行地、重复地、或启发式执行，或者至少一些操作可以以不同顺序执行。
尽管参考一些实施例图示并描述了各种示例实施例，但是本公开不限于特定实施例，并且本领域普通技术人员将会理解，可以做出形式和细节上的各种变化而不偏离例如由所附权利要求及其等效物所限定的精神和范围。

Claims (15)

1.一种显示装置，包括：
触摸显示器；
相机；以及
处理器，配置用于：
控制所述相机捕获包括所述触摸显示器的图像，
基于从通过所述相机捕获的图像中识别的对象，基于所述图像获取所述对象在所述触摸显示器上的第一位置，
基于在所述触摸显示器上感测到对所述对象的触摸输入，识别所述第一位置是否在距离感测到所述触摸输入的第二位置的预定距离内，以及
基于所述第一位置在距离所述第二位置的预定距离内，基于所识别的对象控制所述触摸显示器显示与所述触摸输入相对应的触摸轨迹。
2.根据权利要求1所述的显示装置，
其中所述处理器配置用于：
从所述图像中识别关于所述对象的颜色、尺寸或形状中的至少一个的信息，以及基于所识别的信息来确定所述触摸轨迹的颜色、尺寸或形状中的至少一个。
3.根据权利要求1所述的显示装置，
其中所述处理器配置用于：
从通过所述相机捕获的多个连续图像中识别存在动作的区域，以及
将在从存在动作的所述区域中移除与预定形状或预定颜色中至少一个相对应的区域之后的剩余区域识别为所述对象。
4.根据权利要求3所述的显示装置，还包括：
配置用于存储按照色温的颜色信息的存储器，并且
其中所述处理器配置用于：
基于包括在所述图像中的所述触摸显示器的底色来识别所述图像的色温，
基于与所识别的色温相对应的颜色信息来过滤存在动作的区域，以及
基于所述过滤来识别所述对象的颜色、尺寸或形状中的至少一个。
5.根据权利要求1所述的显示装置，
其中所述处理器配置用于：
从所述图像中识别对应于所述触摸显示器的第一区域以及对应于所述对象的第二区域，
转换所述第一区域以对应于所述触摸显示器的形状，以及改变所述第二区域的位置以对应于转换后的第一区域，以及
基于所述第二区域相对于转换后的第一区域的改变后的位置来识别所述第一位置。
6.根据权利要求1所述的显示装置，还包括：
存储器，
其中所述处理器配置用于：
基于从所述图像中识别的所述对象，将关于所述对象的颜色、尺寸或形状中的至少一个的信息存储在所述存储器中，以及
基于通过所述触摸显示器感测到对所述对象的触摸输入，基于存储在所述存储器中的信息来控制所述触摸显示器显示与所述触摸输入相对应的触摸轨迹。
7.根据权利要求1所述的显示装置，
其中所述处理器配置用于：
基于所述对象的颜色、尺寸或形状中的至少一个来识别所述对象的功能，以及基于所识别的功能来控制所述触摸显示器显示所述触摸轨迹。
8.根据权利要求1所述的显示装置，
其中所述处理器配置用于控制所述触摸显示器显示与所述对象的形状和所述触摸输入相对应的触摸轨迹。
9.根据权利要求1所述的显示装置，
其中所述处理器配置用于基于所述第一位置距离所述第二位置超过预定距离，控制所述触摸显示器不显示所述触摸轨迹。
10.根据权利要求1所述的显示装置，
其中所述相机布置在所述触摸显示器的一侧，并且配置用于捕获所述触摸显示器的屏幕。
11.一种控制显示装置的方法，所述方法包括：
捕获包括设置在所述显示装置中的触摸显示器的图像；
基于从捕获的图像中识别的对象，基于所述图像获取所述对象在所述触摸显示器上的第一位置；
基于在所述触摸显示器上感测到对所述对象的触摸输入，识别所述第一位置是否在距离感测到所述触摸输入的第二位置的预定距离内；以及
基于所述第一位置在距离所述第二位置的预定距离内，基于所识别的对象来显示与所述触摸输入相对应的触摸轨迹。
12.根据权利要求11所述的方法，
其中所述显示包括：从所述图像中识别关于对象的颜色、尺寸或形状中的至少一个的信息，以及基于所识别的信息来确定所述触摸轨迹的颜色、尺寸或形状中的至少一个。
13.根据权利要求11所述的方法，
其中所述获取包括：
从通过所述相机捕获的多个连续图像中识别存在动作的区域；以及
将在从存在动作的所述区域中移除与预定形状或预定颜色中至少一个相对应的区域之后的剩余区域识别为所述对象。
14.根据权利要求13所述的方法，
其中所述识别为所述对象包括：
基于包括在所述图像中的所述触摸显示器的底色来识别所述图像的色温；
基于与所识别的色温相对应的颜色信息来过滤存在动作的区域；以及
基于所述过滤来识别所述对象的颜色、尺寸或形状中的至少一个。
15.根据权利要求11所述的方法，
其中所述获取包括：
从所述图像中识别对应于所述触摸显示器的第一区域以及对应于所述对象的第二区域；
转换所述第一区域以对应于所述触摸显示器的形状，以及改变所述第二区域的位置以对应于转换后的第一区域；以及
基于所述第二区域相对于转换后的第一区域的改变后的位置来识别所述第一位置。
CN201910896806.6A 2018-09-21 2019-09-20 显示装置及其控制方法 Pending CN110955367A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0113627 2018-09-21
KR1020180113627A KR102469722B1 (ko) 2018-09-21 2018-09-21 디스플레이 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
CN110955367A true CN110955367A (zh) 2020-04-03

Family

ID=69884947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910896806.6A Pending CN110955367A (zh) 2018-09-21 2019-09-20 显示装置及其控制方法

Country Status (3)

Country Link
US (1) US10872444B2 (zh)
KR (1) KR102469722B1 (zh)
CN (1) CN110955367A (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3250993B1 (en) 2015-01-28 2019-09-04 FlatFrog Laboratories AB Dynamic touch quarantine frames
WO2016130074A1 (en) 2015-02-09 2016-08-18 Flatfrog Laboratories Ab Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
EP4075246A1 (en) 2015-12-09 2022-10-19 FlatFrog Laboratories AB Stylus for optical touch system
HUE059960T2 (hu) 2016-12-07 2023-01-28 Flatfrog Lab Ab Ívelt érintésérzékelõ eszköz
EP3458946B1 (en) 2017-02-06 2020-10-21 FlatFrog Laboratories AB Optical coupling in touch-sensing systems
WO2018174788A1 (en) 2017-03-22 2018-09-27 Flatfrog Laboratories Object characterisation for touch displays
EP3602259A4 (en) 2017-03-28 2021-01-20 FlatFrog Laboratories AB TOUCH DETECTION DEVICE AND ITS ASSEMBLY PROCESS
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
CN110400548B (zh) * 2019-07-05 2021-02-02 深圳市华星光电技术有限公司 显示器的白平衡调整系统及其调整方法
EP4104042A1 (en) 2020-02-10 2022-12-21 FlatFrog Laboratories AB Improved touch-sensing apparatus
US11611719B2 (en) * 2020-12-04 2023-03-21 Dragonfruit Ai, Inc. Management of video playback speed based on objects of interest in the video data
KR102433373B1 (ko) * 2022-03-29 2022-08-18 유환아이텍(주) 전자 칠판의 터치 입력에 대한 id 생성 장치 및 방법
CN115061588A (zh) * 2022-07-08 2022-09-16 深圳市学之友科技有限公司 一种点阵数码笔及其制造方法

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5042437Y2 (zh) 1972-02-01 1975-12-02
JP2001209487A (ja) * 2000-01-25 2001-08-03 Uw:Kk 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置
ES2435248T3 (es) 2000-07-05 2013-12-17 Smart Technologies Ulc Sistema y método táctil basado en cámaras
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
JP4111897B2 (ja) * 2003-09-16 2008-07-02 日立ソフトウエアエンジニアリング株式会社 ウインドウの制御方法
KR100753597B1 (ko) 2005-11-22 2007-08-30 (주)유비콤기술 전자칠판 시스템
WO2008093394A1 (ja) * 2007-01-30 2008-08-07 Pioneer Corporation 入力システム及び方法、並びにコンピュータプログラム
JP5371626B2 (ja) * 2009-08-18 2013-12-18 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体
KR20110138975A (ko) * 2010-06-22 2011-12-28 삼성전기주식회사 좌표 인식 장치 및 이를 포함하는 디스플레이 장치, 시큐리티 장치 및 전자 칠판
JP5680976B2 (ja) * 2010-08-25 2015-03-04 株式会社日立ソリューションズ 電子黒板システム及びプログラム
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
WO2012111227A1 (ja) * 2011-02-16 2012-08-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 タッチ式入力装置、電子機器および入力方法
JP5754216B2 (ja) * 2011-04-04 2015-07-29 セイコーエプソン株式会社 入力システム及びペン型入力機器
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
US9097739B2 (en) * 2011-06-27 2015-08-04 The Johns Hopkins University System for lightweight image processing
KR20130075849A (ko) * 2011-12-28 2013-07-08 삼성전자주식회사 디스플레이 장치 및 이를 이용한 영상 표시 방법
US20130257825A1 (en) * 2012-03-31 2013-10-03 Smart Technologies Ulc Interactive input system and pen tool therefor
US9551922B1 (en) * 2012-07-06 2017-01-24 Amazon Technologies, Inc. Foreground analysis on parametric background surfaces
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
US9904414B2 (en) * 2012-12-10 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
KR102146244B1 (ko) * 2013-02-22 2020-08-21 삼성전자주식회사 휴대 단말에 대한 동작 관련 입력에 따라 복수개의 객체들의 표시를 제어하는 방법 및 이를 위한 휴대 단말
US10289203B1 (en) * 2013-03-04 2019-05-14 Amazon Technologies, Inc. Detection of an input object on or near a surface
US20140267089A1 (en) * 2013-03-18 2014-09-18 Sharp Laboratories Of America, Inc. Geometric Shape Generation using Multi-Stage Gesture Recognition
TWI557646B (zh) * 2013-03-25 2016-11-11 鴻海精密工業股份有限公司 電子白板系統、電子書寫筆及電子書寫方法
CN105378616A (zh) * 2013-04-12 2016-03-02 爱康尼克斯公司 虚拟触摸屏
JP6202942B2 (ja) * 2013-08-26 2017-09-27 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体
US10324563B2 (en) * 2013-09-24 2019-06-18 Hewlett-Packard Development Company, L.P. Identifying a target touch region of a touch-sensitive surface based on an image
TWI511006B (zh) * 2014-02-07 2015-12-01 Wistron Corp 光學影像式觸控系統與觸控影像處理方法
US10664090B2 (en) * 2014-07-31 2020-05-26 Hewlett-Packard Development Company, L.P. Touch region projection onto touch-sensitive surface
KR20160107684A (ko) 2015-03-05 2016-09-19 인포뱅크 주식회사 전자 칠판 시스템
JP6617417B2 (ja) * 2015-03-05 2019-12-11 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
US9804709B2 (en) * 2015-04-28 2017-10-31 Samsung Display Co., Ltd. Vector fill segment method and apparatus to reduce display latency of touch events
JP6618276B2 (ja) * 2015-05-29 2019-12-11 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US10048842B2 (en) * 2015-06-15 2018-08-14 Google Llc Selection biasing
KR20170000196A (ko) * 2015-06-23 2017-01-02 삼성전자주식회사 객체의 속성 기반의 상태 변화 효과를 출력하기 위한 방법 및 그 전자 장치
KR20170004702A (ko) * 2015-07-03 2017-01-11 엘지전자 주식회사 디스플레이 장치 및 제어 방법
WO2017022966A1 (en) * 2015-08-05 2017-02-09 Samsung Electronics Co., Ltd. Electric white board and control method thereof
US9658702B2 (en) * 2015-08-12 2017-05-23 Smart Technologies Ulc System and method of object recognition for an interactive input system
WO2017029749A1 (ja) * 2015-08-20 2017-02-23 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US9933901B2 (en) * 2015-08-24 2018-04-03 Apple Inc. Reduction of media application response time through prediction of remote controller input data
US9710314B2 (en) * 2015-08-24 2017-07-18 Apple Inc. Dynamic throttling of remote controller components based on media application requirements
US10114499B2 (en) * 2015-08-24 2018-10-30 Apple Inc. Enhanced handling of remote controller touchpad input data
US20170083201A1 (en) * 2015-09-22 2017-03-23 Samsung Electronics Co., Ltd. Method and system for navigation and selection in electronic device
US10228771B2 (en) * 2015-09-25 2019-03-12 Smart Technologies Ulc System and method of pointer detection for interactive input
JP6493546B2 (ja) * 2015-09-30 2019-04-10 株式会社リコー 電子黒板、記憶媒体、及び情報表示方法
WO2017082457A1 (ko) * 2015-11-11 2017-05-18 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
KR101765202B1 (ko) 2016-04-15 2017-08-04 (주)컴버스테크 화면 밖의 부분이 터칭되면 미리 설정된 기능이 실행되는 전자칠판
JP2018013873A (ja) * 2016-07-19 2018-01-25 株式会社リコー 情報処理装置、情報表示システム、電子黒板システム、情報処理方法
KR101859713B1 (ko) * 2017-01-10 2018-05-21 주식회사 하이딥 사용자 인터페이스 제공을 위한 터치 입력 장치 및 방법
CN106843737B (zh) * 2017-02-13 2020-05-08 北京新美互通科技有限公司 文本输入方法、装置及终端设备
KR101949493B1 (ko) * 2017-02-20 2019-02-19 네이버 주식회사 멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템
KR20190035341A (ko) 2017-09-26 2019-04-03 삼성전자주식회사 전자칠판 및 그 제어방법
US10572072B2 (en) * 2017-09-29 2020-02-25 Apple Inc. Depth-based touch detection

Also Published As

Publication number Publication date
US20200098147A1 (en) 2020-03-26
KR20200034183A (ko) 2020-03-31
KR102469722B1 (ko) 2022-11-22
US10872444B2 (en) 2020-12-22

Similar Documents

Publication Publication Date Title
US10872444B2 (en) Display apparatus and control method thereof
US10021294B2 (en) Mobile terminal for providing partial attribute changes of camera preview image and method for controlling the same
EP2808781B1 (en) Method, storage medium, and electronic device for mirroring screen data
US10067562B2 (en) Display apparatus and image correction method thereof
US9319632B2 (en) Display apparatus and method for video calling thereof
KR102271285B1 (ko) 영상처리장치 및 영상처리방법
CN111095350B (zh) 图像处理设备、用于处理图像的方法和计算机可读记录介质
US20200160025A1 (en) Electronic Device
WO2019100407A1 (zh) 基于图样中标志图形点坐标的转换关系定位终端屏幕
CN113723136A (zh) 条码矫正方法、装置、设备及存储介质
CN107507128A (zh) 图像处理方法及设备
KR102315334B1 (ko) 디스플레이 장치 및 그 제어 방법
KR102384234B1 (ko) 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
CN106775548B (zh) 页面处理方法及装置
EP3313054B1 (en) System with an electronic device having auxiliary device
US10606413B2 (en) Apparatus, method, and program product for determining the location of a portable electronic device on a display
JP2015032261A (ja) 表示装置および制御方法
US11284003B2 (en) User terminal apparatus and control method thereof
US11353992B2 (en) Method and device for processing user input on basis of time during which user input is maintained
US20150015510A1 (en) Electronic device and method for drawing pictures
US20160171333A1 (en) User terminal device and method for controlling the same
KR102180820B1 (ko) 디스플레이 장치 및 그 제어 방법
US20180239486A1 (en) Control method, electronic blackboard system, display device, and program
CN204517950U (zh) 一种交互式自适应投影摄像嵌入式控制器
CN112764565B (zh) 电子装置及其利用触控数据的物件信息识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination