CN103729055A - 多显示设备、输入笔、多显示控制方法和多显示系统 - Google Patents

多显示设备、输入笔、多显示控制方法和多显示系统 Download PDF

Info

Publication number
CN103729055A
CN103729055A CN201310467024.3A CN201310467024A CN103729055A CN 103729055 A CN103729055 A CN 103729055A CN 201310467024 A CN201310467024 A CN 201310467024A CN 103729055 A CN103729055 A CN 103729055A
Authority
CN
China
Prior art keywords
display
input pen
display equipment
sensor
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310467024.3A
Other languages
English (en)
Other versions
CN103729055B (zh
Inventor
金大明
郭知妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103729055A publication Critical patent/CN103729055A/zh
Application granted granted Critical
Publication of CN103729055B publication Critical patent/CN103729055B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/1618Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position the display being foldable up to the back of the other housing with a single degree of freedom, e.g. by 360° rotation over the axis defined by the rear edge of the base enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/54Extraction of image or video features relating to texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0208Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
    • H04M1/0214Foldable telephones, i.e. with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • H04M1/0216Foldable in one direction, i.e. using a one degree of freedom hinge
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/16Details of telephonic subscriber devices including more than one display unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/20Details of telephonic subscriber devices including a rotatable camera

Abstract

一种多显示设备,包括:第一显示器;第二显示器;铰链,将第一显示器和第二显示器彼此连接;以及控制器,根据包括传感器的输入笔的感测信息,控制第一和第二显示器的操作。

Description

多显示设备、输入笔、多显示控制方法和多显示系统
相关申请的交叉参考
本申请基于35U.S.C.§119要求2012年10月10日在韩国知识产权局递交的韩国专利申请No.10-2012-0112652的优先权,其全部公开内容通过引用合并于此。
技术领域
根据本发明总构思的示例实施例的方法和设备涉及多显示设备,更具体地,涉及根据输入笔感测的信息来显示图像的多显示设备、输入笔、多显示设备控制方法以及多显示系统。
背景技术
随着便携式电子设备中安装的中央处理单元(CPU)的性能得以改进,建立了可以同时执行多个应用的多任务环境。因此,仅配备有单个显示器的单显示设备遭遇如下问题:难以同时执行多个应用。
此外,由于电池技术和热处理系统的发展,常规便携式电子设备不再限于单显示器。
此外,由于触摸屏和以用户体验为中心的接口环境的广泛应用,提出了应该在便携式电子设备中引入更多用户体验。
因此,包括两个或更多个显示器的便携式电子设备,即多显示设备,已经常见。
由于多显示设备基于强大的硬件性能在多个显示器上显示执行多个应用的结果,所以多显示设备在应用于多任务环境时方便使用,并且也通过多个显示器向用户提供多种信息,从而提供了新的用户体验。因此,多显示设备已成为“下一代”显示设备。
此外,由于多显示设备可以通过多个显示器不仅执行输出也执行输入,所以应该考虑多种输入装置。因此,提出了应该进行对包括触控笔等多种输入装置及其使用方法的研究。
发明内容
本发明总体构思提出了使用输入笔执行多种不同类型输入和通过多显示设备输出输入结果的多显示设备、输入笔、多显示控制方法以及多显示系统。
本发明总体构思的其他特征和用途将部分地在以下描述中给出,并部分地从描述中显而易见或可以通过本发明总体构思的实践来了解。
提供如下多显示设备来实现本发明总体构思的前述和/或其他特征和用途,多显示设备包括:第一显示器;第二显示器;铰链,将第一显示器和第二显示器彼此连接;以及控制器,根据包括传感器的输入笔的感测信息,控制第一和第二显示器的操作。
多显示设备还可以包括与输入笔通信的通信器,并且控制器可以通过通信器接收由传感器感测的感测信号,并可以根据感测信号控制第一和第二显示器的操作。
多显示设备还可以包括存储器,传感器可以是摄像机,控制器可以通过通信器接收摄像机所拍摄的图像,并可以检测所拍摄图像的颜色和在存储器中存储颜色。
传感器可以是摄像机,控制器可以分析摄像机所拍摄的图像,并检测所拍摄图像中存在的至少一个对象,当输入笔或用户对象触摸第一和第二显示器中至少一个时,控制器可以在触摸区域上显示检测到的至少一个对象以及对应信息。
当输入笔或用户对象触摸第一和第二显示器中至少一个时,控制器可以控制在触摸点处显示存储器中存储的颜色。
传感器可以是摄像机,控制器可以通过通信器接收摄像机所拍摄的图像,并可以控制在第一和第二显示器中至少一个上显示所拍摄图像。
多显示设备还可以包括存储器,传感器可以是摄像机,控制器可以分析摄像机所拍摄的图像,检测所拍摄图像中存在的字符,并在存储器中存储检测到的字符。
控制器可以从输入笔接收与输入笔上设置的按钮的操纵状态对应的控制信号,并可以执行对应于控制信号的操作。
传感器可以是摄像机,控制器可以从输入笔接收由摄像机根据按钮的第一操纵而拍摄的实时图像,并可以显示实时图像。控制器可以从输入笔接收由摄像机根据按钮的第二操纵而拍摄的瞬时图像,并可以显示瞬时图像。
控制器可以根据按钮的操纵来改变内容的显示时间,并可以控制在第一和第二显示器中至少一个上显示内容。
当执行按钮的第一操纵时,控制器可以显示与多显示设备中执行的应用有关的菜单,当执行按钮的第二操纵时,控制器可以控制改变所显示菜单的项目并显示该项目。
传感器可以包括感测输入笔的运动的运动传感器,当从输入笔接收到运动传感器感测的感测信号时,控制器可以执行对应于输入笔的运动的操作。
当输入笔接触第一和第二显示器中至少一个时,控制器可以根据输入笔相对于触摸表面的倾斜来执行不同操作。
控制器可以控制进一步考虑到输入笔的倾斜方向来执行对应操作。
传感器可以包括多个不同传感器,控制器可以控制将多个传感器的感测结果组合,并执行对应操作。
当输入笔接近多显示设备时,控制器可以操作在笔输入模式中,当输入笔之外的用户对象接近多显示设备时,控制器可以操作在键盘输入模式中,在键盘输入模式中,软键盘显示在第一和第二显示器之一中。
多显示设备还可以包括其中安装输入笔的连接器,通信器可以包括有线通信器和无线通信器,当输入笔安装在连接器中时,有线通信器以有线方式与输入笔通信,当输入笔与连接器断开时,无线通信器无线地与输入笔通信。
也提供如下输入笔来实现本发明总体构思的前述和/或其他特征和用途,输入笔对包括经由铰链彼此连接的第一和第二显示器在内的多显示设备的操作进行控制,输入笔包括:传感器;通信器,与多显示设备通信;以及控制器,向多显示设备发送传感器的感测结果。
传感器可以包括如下中的至少一个:摄像机、陀螺仪传感器、加速度传感器、地磁传感器、IR传感器和压力传感器。
输入笔还可以包括在输入笔的一端形成的触摸部,传感器可以包括在输入笔的另一端放置的拍摄器、以及感测输入笔的运动的运动传感器。当输入笔放置在预定方向上时,控制器可以控制运动传感器(拍摄器)具有与输入笔的放置方向对应的拍摄模式。
也提供如下控制多显示设备的方法来实现本发明总体构思的前述和/或其他特征和用途,多显示设备包括经由铰链彼此连接的第一和第二显示器,所述方法包括:从包括传感器的输入笔接收传感器的感测结果;以及使用感测结果来控制第一和第二显示器的操作。
传感器可以是摄像机,控制操作可以包括检测摄像机所拍摄的图像的颜色并存储颜色。
该方法还可以包括:当输入笔或用户对象触摸第一和第二显示器中至少一个时,在触摸点处显示所存储的颜色。
传感器可以是摄像机,控制操作可以包括:分析摄像机所拍摄的图像,检测所拍摄图像中存在的对象,并存储检测到的对象。
传感器可以是摄像机,控制操作可以包括:分析摄像机所拍摄的图像,检测所拍摄图像中存在的至少一个字符。当输入笔或用户对象触摸第一和第二显示器中至少一个时,控制操作可以包括:在触摸区上显示所检测的至少一个字符和对应信息。
传感器可以是摄像机,控制操作可以包括:从输入笔接收由摄像机根据按钮的第一操纵而拍摄的实时图像,并显示实时图像;以及从输入笔接收由摄像机根据按钮的第二操纵而拍摄的瞬时图像,并显示瞬时图像。
控制操作可以包括:根据按钮的操纵来改变内容的显示时间,并控制在第一和第二显示器中至少一个上显示内容。
控制操作可以包括:当执行按钮的第一操纵时,控制器可以显示与多显示设备中执行的应用有关的菜单,当执行按钮的第二操纵时,控制改变所显示菜单的项目并显示该项目。
所述方法还可以包括:从输入笔接收与输入笔上设置的按钮的操纵状态对应的控制信号,并执行对应于控制信号的操作。
传感器可以包括感测输入笔的运动的运动传感器,当从输入笔接收到运动传感器感测的感测信号时,控制操作可以包括执行对应于输入笔的运动的操作。
控制操作可以包括进一步考虑到输入笔的倾斜方向来控制执行对应操作。
传感器可以包括多个不同传感器,控制操作可以包括控制将多个传感器的感测结果组合,并执行对应操作。
当输入笔触摸第一和第二显示器中至少一个时,控制操作可以包括根据输入笔相对于触摸屏的倾斜来执行不同操作。
所述方法还可以包括,当输入笔接近多显示设备时,操作在笔输入模式中,当输入笔之外的用户对象接近多显示设备时,控制器可以操作在键盘输入模式中,在键盘输入模式中,软键盘显示在第一和第二显示器之一中。
也提供如下多显示系统来实现本发明总体构思的前述和/或其他特征和用途,多显示系统包括:多显示设备,包括经由铰链彼此连接的第一和第二显示器;以及输入笔,可安装到多显示设备并可从多显示设备拆卸,其中输入笔包括触摸第一和第二显示器的表面的触摸部、传感器和通信器,通信器向多显示设备发送传感器的感测结果,其中多显示设备执行与第一和第二显示器的表面上的输入笔触摸以及感测结果中的至少一个对应的操作。
还提供如下多显示设备来实现本发明总体构思的前述和/或其他特征和用途,多显示设备包括:第一主体,包括第一显示器;第二主体,包括第二显示器;铰链,将第一和第二主体连接;通信器,与外部设备通信,外部设备提供对第一显示器和第二显示器中至少一个进行操纵的输入;以及控制器,在外部设备的输入和用户的另一输入之间进行区分,并根据该区分改变多显示设备的多个操作模式。
多显示设备还可以包括:至少一个传感器,感测如下中至少一个:相对于第一显示器和第二显示器中至少一个,外部设备的输入的位置;相对于第一显示器和第二显示器中至少一个,用户的另一输入的另一位置。
外部设备的输入可以包括如下中至少一个:外部设备在第一显示器和第二显示器中至少一个上的触摸;以及相对于第一显示器和第二显示器中至少一个,所感测的外部设备的输入的位置。
多个操作模式可以包括:笔输入模式,如果多显示设备感测到外部设备,则允许用户使用笔来操纵第一显示器和第二显示器中至少一个;以及键盘操作模式,如果多显示设备感测到用户的另一输入,则允许用户使用键盘来操纵第一显示器和第二显示器中至少一个。
外部设备可以包括笔,所述笔包括:传感器,感测笔相对于第一主体和第二主体的运动;以及通信器,向多显示设备的通信器发送感测的运动的结果。
笔可以基于运动执行操纵。
多个操作模式以及外部设备的功能中的至少一个可以基于外部设备相对于第一显示器和第二显示器中至少一个的接近的角度而改变。
附图说明
结合附图,根据以下实施例的描述,本发明总体构思的上述和/或其他特征和用途将更清楚和容易理解,附图中:
图1是示出了根据本发明总体构思的示例实施例的多显示系统的视图;
图2是示出了根据本发明总体构思的示例实施例的多显示设备的示意配置的框图;
图3是示出了根据本发明总体构思的多个示例实施例的多显示设备的配置的框图;
图4是示出了根据本发明总体构思的示例实施例的控制器的硬件配置的框图;
图5是示出了根据本发明总体构思的示例实施例的多显示设备的系统分级的视图;
图6是示出了根据本发明总体构思的示例实施例的第一显示器或第二显示器的图像输出器的电路配置的视图;
图7是示出了根据本发明总体构思的示例实施例,包括图6的显示面板的R,G和B像素的电路配置的视图;
图8是示出了根据本发明总体构思的示例实施例,包括触摸屏的第一显示器或第二显示器的截面图;
图9是示出了根据本发明总体构思的示例实施例的多显示设备的显示驱动器的框图;
图10是示出了根据本发明总体构思的另一示例实施例,显示驱动器的配置的框图;
图11是示出了根据本发明总体构思的示例实施例的感测悬停的方法示例的视图;
图12是示出了根据本发明总体构思的示例实施例,在输入笔的悬停与输入笔之外的用户对象的悬停之间区分的方法的视图;
图13是示出了根据本发明总体构思的示例实施例的多显示设备的透视图;
图14是示出了根据本发明总体构思的示例实施例,相对于铰链而变形的多显示设备的透视图;
图15是示出了根据本发明总体构思的示例实施例,多显示设备的展开模式的透视图;
图16是示出了根据本发明总体构思的示例实施例,多显示设备的站立模式的透视图;
图17是示出了根据本发明总体构思的示例实施例,多显示设备的纵向观看模式的透视图;
图18和19是示出了根据本发明总体构思的示例实施例,多显示设备的两个摄像机的放置的视图;
图20是示出了根据本发明总体构思的示例实施例的输入笔的配置的框图;
图21是示出了根据本发明总体构思的示例实施例的输入笔的配置的框图;
图22是示出了根据本发明总体构思的示例实施例,彼此正在连接的输入笔和多显示设备的视图;
图23是示出了根据本发明总体构思的示例实施例,彼此完全连接的输入笔和多显示设备的视图;
图24是示出了根据本发明总体构思的示例实施例的输入笔的外观示例的视图;
图25是示出了根据本发明总体构思的示例实施例的输入笔的配置的框图;
图26是示出了根据本发明总体构思的示例实施例,图25的输入笔与多显示设备之间数据交换的视图;
图27和28是示出了根据本发明总体构思的示例实施例,使用输入笔拍摄图像以及处理图像的方法的视图;
图29和30是示出了根据本发明总体构思的多个示例实施例,使用输入笔拍摄的图像的方法的视图;
图31是示出了根据本发明总体构思的示例实施例,使用输入笔的拍摄功能的应用示例的视图;
图32和33是示出了根据本发明总体构思的多个示例实施例,执行光学字符识别(OCR)的输入笔和多显示设备的配置框图;
图34是示出了根据本发明总体构思的示例实施例,通过输入笔和多显示设备执行光学字符识别(OCR)功能的情况的视图;
图35是示出了根据本发明总体构思的另一示例实施例,通过输入笔和多显示设备执行OCR功能的情况的视图;
图36是示出了根据本发明总体构思的再一示例实施例,通过图32或33的输入笔和多显示设备执行OCR功能的情况的视图;
图37是示出了根据本发明总体构思的再一示例实施例,通过图32或33的输入笔和多显示设备执行OCR功能的情况的视图;
图38和39是示出了根据本发明总体构思的示例实施例,显示通过输入笔拍摄的图像的多显示设备的视图;
图40是示出了根据本发明总体构思的示例实施例的多显示设备的相册的视图;
图41和42是示出了根据本发明总体构思的多个示例实施例的输入笔的外观示例的视图;
图43是示出了根据本发明总体构思的示例实施例,使用图42的输入笔和多显示设备的呈现执行控制的示例的视图;
图44是示出了根据本发明总体构思的示例实施例,使用图42的输入笔和多显示设备的输入工具执行的示例的视图;
图45和46是示出了根据本发明总体构思的多个示例实施例,包括运动感测功能的输入笔的配置框图;
图47是示出了根据本发明总体构思的示例实施例,通过根据输入笔的倾斜改变输入笔的设置来向多显示设备进行输入的视图;
图48是示出了根据本发明总体构思的另一示例实施例,通过根据输入笔的倾斜改变输入笔的设置来向多显示设备进行输入的视图;
图49是示出了根据本发明总体构思的示例实施例,配备有运动传感器的输入笔的扩展实施例的视图;
图50是示出了根据本发明总体构思的再一示例实施例,使用输入笔和多显示设备的视图;
图51是示出了根据本发明总体构思的示例实施例,当输入笔包括陀螺仪传感器时区分输入笔的运动的表格的视图;
图52是示出了根据本发明总体构思的再一示例实施例的输入笔和多显示设备的视图;
图53是示出了根据本发明总体构思的再一示例实施例的输入笔和多显示设备的视图;
图54是示出了根据本发明总体构思的示例实施例,包括拍摄器和运动传感器的输入笔的配置框图;
图55是示出了根据本发明总体构思的示例实施例,使用输入笔和多显示设备的控制操作的视图;
图56是示出了根据本发明总体构思的示例实施例,在输入笔接近与用户的手接近之间区分的多显示设备的操作的视图;
图57是示出了根据本发明总体构思的另一示例实施例,多显示设备感测输入笔接近的视图;
图58是示出了根据本发明总体构思的另一示例实施例,多显示设备感测输入笔接近的视图;
图59到65是示出了根据本发明总体构思的多个示例实施例,控制多显示设备的方法流程图;
图66是示出了根据本发明总体构思的多个示例实施例,笔支架的外观的概念视图;以及
图67是示出了根据本发明总体构思的多个示例实施例,笔支架的配置框图。
具体实施方式
详细地描述本发明总体构思的实施例,附图中示出了其示例,在所有附图中类似附图标记表示类似部件。下面参照附图描述实施例以说明本发明总体构思。
在以下描述中,在不同附图中相同附图标记也用于相同部件。提供了描述中限定的内容(例如具体的结构和部件)来帮助全面理解本发明总体构思。因此,明显的是在没有这些具体限定的内容的情况下,也可以实施本发明总体构思的示例实施例。此外,不详细描述熟知的功能或结构,因为不必要的细节可能会使本发明不清楚。
在以下描述中,“多显示设备”是指包括由一个或多个触摸屏组成的显示器、能够执行应用或显示内容的设备。例如,多显示设备可以包括平板个人计算机(PC)、便携式多媒体播放器(PMP)、个人数字助理(PDA)、智能电话、移动电话或数字相册。虽然下面将说明根据示例实施例的包括蜂窝电话或智能电话的多显示设备,但是示例实施例不应视为仅限于该配置。
图1是示出了根据本发明总体构思的示例实施例的多显示系统1000的视图,多显示系统1000包括多显示设备100和输入笔500。
参照图1,多显示系统1000包括多显示设备100和输入笔500。多显示设备100和输入笔500使用如图1所示的短距离通信装置彼此交换数据。输入笔500可以包括传感器510,如图20所示。传感器510可以包括多种模块中的至少一种,例如摄像机、旋转传感器、地磁传感器和触摸传感器,但不限于此。因此,输入笔500可以执行多种感测操作。
输入笔500可以向多显示设备100发送传感器510的感测结果。多显示设备100可以根据从输入笔500提供的感测结果或输入笔500的触摸,执行多种操作。
下面,首先介绍多显示设备100的配置和操作,然后说明输入笔500的配置和操作。此后,说明根据本发明总体构思的多个示例实施例的显示设备100与输入笔500之间的交互。
图2是根据本发明总体构思的示例实施例的多显示设备的示意配置的框图。
参照图2,根据本发明总体构思的示例实施例的多显示设备包括控制器130、铰链185、第一显示器190a和第二显示器190b。
铰链185物理地连接第一显示器190a和第二显示器190b。铰链185形成在第一显示器190a和第二显示器190b之间的接触部分上,并作为转轴以允许第一显示器190a和第二显示器190b分离地相对于彼此旋转。如图3所示,铰链185还可以包括铰链传感器154,用于感测第一显示器190a和第二显示器190b之间的折叠程度。此外,可以使用柔性连接器或柔性触摸屏的一部分来实现铰链185,但不限于此。
第一显示器190a和第二显示器190b围绕铰链185旋转。因此,第一显示器190a和第二显示器190b可以闭合使得它们彼此接触,或者可以沿相反方向向后弯折使得它们的背面彼此接触。此外,根据铰链185的配置,第一显示器190a和第二显示器190b可以打开成180度展开状态。下面具体说明根据本发明总体构思的多个示例实施例,第一显示器190a和第二显示器190b相对于铰链185折叠和展开的方式。
第一显示器190a和第二显示器190b可以在控制器130的控制下显示多种屏幕,例如包括多个图标的桌面、web浏览屏幕、应用执行屏幕、例如运动图像和照片等内容再现屏幕、以及用户界面屏幕。具体地,如下所述,控制器130根据输入笔500的传感器510感测的信息执行所需操作,并控制器第一显示器190a和第二显示器190b显示操作执行的结果。这在下面将详细说明。
第一显示器190a和第二显示器190b可以使用触摸屏来实现以感测用户的触摸。具体地,第一显示器190a和第二显示器190b各自可以包括分别与第一显示器190a和第二显示器190b分层的触摸传感器151。触摸传感器151可以感测用户触摸,接近传感器155可以感测用户触摸的接近。于是,第一显示器190a和第二显示器190b可以包括液晶显示器(LCD)、等离子体屏或发光二极管(LED)显示器,但是不限于此。
控制器130根据用户的选择来控制第一显示器190a和第二显示器190b以执行多种操作。因此,控制器130根据操作环境选择性地控制第一显示器190a和第二显示器190b,并在其上显示具体类型的屏幕。
例如,当用户执行多显示设备100中存储的应用时,控制器130在第一显示器190a和第二显示器190b之一是第一显示器190a上显示该应用的执行屏幕(称为第一屏幕)。因此,当用户执行新的应用或触摸第一屏幕上显示的对象时,控制器130根据在第二显示器190b上的操纵来显示新的第二屏幕。
这样,当用户执行另一新应用或触摸第二屏幕上显示的对象时,控制器130根据操纵结果在第一显示器190a上显示新的第三屏幕。如上所述,控制器130选择性地使用第一显示器190a和第二显示器190b,从而允许用户有效地使用多显示功能。
此外,如下所述,控制器130从输入笔500接收感测结果,产生对应事件,并控制在第一显示器190a或第二显示器190b上显示该事件。
例如,如果输入笔500的传感器包括拍摄器511,如图25所示,并且通过通信器110接收到输入笔500拍摄的图像,则控制器130可以检测所拍摄图像的颜色或纹理并可以存储在存储器170中。
这样,当输入笔500或用户对象触摸第一显示器190a和第二显示器190b中至少一个时,控制器130可以控制在第一显示器190a和第二显示器190b中至少一个的触摸点处显示存储的颜色或纹理。
例如,控制器可以通过分析所拍摄图像来检测所拍摄图像中存在的字符,并可以控制将所检测字符存储在存储器170中。
此外,输入笔500还可以包括按钮560,如图25所示。当按压按钮560,并从输入笔500接收到与输入笔500的按钮560的操纵对应的控制信号时,控制器130可以执行对应于控制信号的操作。
此外,输入笔500可以包括运动传感器514。当从输入笔500接收到输入笔500的运动传感器514感测的感测信号时,控制器130可以相对于第一显示器190a和第二显示器190b中至少一个,控制执行对应于输入笔500的运动的操作。
此时,当输入笔500触摸第一显示器190a和第二显示器190b中至少一个时,控制器130可以根据输入笔500相对于第一显示器190a和第二显示器190b中至少一个的触摸表面的倾斜,来控制执行不同操作。
此外,当输入笔500接近多显示设备100时,控制器130操作在笔输入模式中,当用户对象而不是输入笔500接近多显示设备100时,控制器130操作在键盘输入模式中,以在第一显示器190a和第二显示器190b之一上显示软键盘。
下面详细描述根据输入笔500和多显示设备100的多个示例实施例的控制器130的操作。
下文中,说明根据本发明总体构思的上述示例实施例操作的多显示设备100的配置。
图3是示出了根据本发明总体构思的示例实施例的多显示设备的配置的框图。
参照图3,根据本发明总体构思的示例实施例的多显示设备100分别包括通信器110、多媒体单元120、控制器130、拍摄器140、传感器150、输入器/输出器160、存储器170、电源180以及第一显示器190a和第二显示器190b。
通信器110可以配置为使用各种有线/无线通信方法与外部设备交换信息。外部设备可以包括另一设备、移动电话、智能电话、平板PC、计算机服务器和数字电视中的至少一个。这些设备可以通过通信网络与多显示设备100相连。
通信器110可以包括无线通信模块和包括有线无线通信模块中的至少一个的连接器114,无线通信模块例如是蜂窝通信模块112、无线LAN模块112、短距离通信模块113、GPS通信模块115、广播通信模块116,有线通信模块例如是高清多媒体接口(HDMI)、通用串行总线(USB)、和电气和电子工程师协会(IEEE)1394,但不限于此。
蜂窝通信模块111在控制器130的控制下使用根据蜂窝通信协议的无线接入技术,并且允许多显示设备100通过至少一个天线或多个天线(未示出)与外部设备(具体地,蜂窝系统的基站)相连。
此外,蜂窝通信模块111与另一设备交换无线电信号,无线电信号包含语音、视频、短消息服务(SMS)消息或多媒体消息收发服务(MMS)消息,另一设备例如是具有输入到多显示设备100的电话号码的移动电话、智能电话和平板PC。
无线LAN模块112在控制器130的控制下接入预定范围内存在的无线接入点(AP)(未示出),并且与互联网连接。无线LAN模块112可以支持IEEE的无线LAN标准,并不限于此。
短距离通信模块113配置为在控制器130的控制下允许多显示设备100执行与外部设备的短距离通信。短距离通信模块113可以包括以下中的至少一个:蓝牙模块、与IrDA数据1.4标准相关联的红外数据关联(IrDA)模块、近场通信(NFC)模块、Wi-Fi模块和Zigbee模块,但不限于此。
蓝牙模块使用2402~2480MHz(除了工业科学和医疗(ISM)的2400MHz和3.5MHz之后、2483.5MHz之前的2MHz以外,即,总共79个信道)以数据分组的形式发送数据流。当跳频方法用于在根据特定图案快速地跳过多个频道的同时逐渐地发送分组(数据)时,79个信道可以每1秒跳1600次。
IrDA模块使用红外线来发送数据。红外线具有比可见性射线更长的波长,并因此平滑地穿过在空气中漂浮的微小微粒。具体地,红外线与电磁波相比可以容易地确保宽带宽,并且具有以高速发送数据的度量。根据IrDA数据1.4标准,多显示设备100能够在1M距离内以高达16Mbps的速率与外部设备无线通信。
NFC模块使用13.56Mz的频带按照非接触短距离无线通信方法与外部设备通信。当使用NFC技术的多个终端在短距离(例如,大约10cm)内彼此接近时,终端彼此交换数据。在这种情况下,外部设备可以包括包括NFC标签在内的模块,并且多显示设备100可以包括NFC读取器。当执行加标签时,从外部设备向多显示设备100发送数据。为了交换信息,外部设备和多显示设备100可以分别包括NFC标签和NFC读取器。
Wi-Fi模块根据IEEE802.11标准执行短距离通信。根据IEEE802.11n,可以以高达150Mbps的速率发送数据。如果应用使用多个天线的增加输出的多输入和多输出(MIMO)技术,则可以以高达600Mbps的速率发送数据。具体地,Wi-Fi direct方法保证设备以上速率并且还实现设备之间的直接通信,而无需分离的AP。
通信器110可以包括Zigbee模块。Zigbee模块是根据IEEE802.15.4技术标准的短距离通信方法,并且具有250Kbps、20Kbps和40Kbps的传送速率。该方法适合于相对简单的数据传送。
如上所述,通信器110可以以上述多种短距离通信方法来实现,但不限于此。
连接器114配置为提供与多种设备(例如,USB2.0、USB3.0、HDMI和IEEE1394,但不限于此)的接口。
连接器114可以用作将多显示设备100与外部设备或电源相连的接口。连接器114可以在控制器130的控制下,向外部设备发送多显示设备100的存储器170中存储的数据,或者通过与连接器114连接的线缆从外部设备接收数据。可以通过与连接器114相连的线缆从电源输入电力,或者可以通过线缆对电池(未示出)充电。
GPS模块115从多个绕地GPS卫星(未示出)接收电磁波,并且使用从GPS卫星(未示出)到多显示设备100的达到时间和GPS参数来计算多显示设备100的位置。
广播通信模块116可以在控制器130的控制下,通过广播通信天线(未示出)从广播站接收广播信号(例如,电视广播信号、无线电广播信号或数据广播信号)和附加广播信息(例如电子节目指南(EPG)或电子服务指南(ESG))。
包括多媒体单元120来再现移动图像内容、音频内容和其他多种多媒体内容。多媒体单元120使用解析其或编解码器来处理多媒体内容,并且再现内容。多媒体单元120包括音频再现模块121和视频再现模块122。
音频再现模块121可以在控制器130的控制下再现存储或接收的数字音频文件(例如,具有mp3、wma、ogg或wav的扩展名的文件)。
视频再现模块122可以在控制器130的控制下再现存储或接收的数字移动图像文件(例如,具有mpeg、mpg、mp4、avi、mov或mkv的扩展名的文件)。
视频再现模块122可以支持多种编解码器,以能够再现数字视频文件。即,视频再现模块122使用与要再现的视频文件的编码方法相对应的编解码器来解码视频数据。多媒体模块120的音频再现模块121或视频再现模块122可以包括在控制器130中。
OCR处理模块123分析图像并检测字符。OCR处理模块123可以按照用户可执行的用户应用的形式存储在存储器170中并由控制器130执行,或者备选地,可以按照独立芯片组的形式包括在多显示设备100中。OCR包括识别图像中包括的多种字符的多种技术。例如,如果除了字符、数字和符号之外,图像还表示具体数学式,则OCR处理模块123可以检测数学式中包括的数学符号和数字。然而,为了处理数学式,OCR处理模块123可以包括分离的数学式处理模块(未示出)。在这种情况下,数学式处理模块(未示出)分析图像,提取数学式,并执行计算或搜索。OCR处理模块123使用多种OCR算法从图像检测字符。OCR算法是本领域普通技术人员熟知的,并且不是本发明总体构思的示例实施例的技术特征,因此这里不详细描述。
控制器130分别对通信器110、多媒体单元120、拍摄器140、传感器150、输入器/输出器160、存储器170、电源180以及第一显示器190a和第二显示器190b进行控制。
控制器130向硬件提供时钟,并且包括发送控制信号的CPU、暂时或半永久存储进程的存储器、处理图形的GPU、以及在存储器与CPU和GPU之间传输数据的系统总线。此外,控制器130包括运行硬件配置的操作系统(OS)、以及提供至OS的用户接口并传送至框架接口的应用。以下详细说明控制器130的每个元件。
拍摄器140可以包括如图3所示的第一摄像机141和第二摄像机142中的至少一个。尽管在图3中示出了第一摄像机141和第二摄像机142,但是根据本发明总构思的省略实施例可以包括附加摄像机。
第一摄像机141和第二摄像机142中的每一个包括快门(未示出)、图23的镜头5110、光圈(未示出)和电荷耦合器件(CCD)图像传感器(未示出),以及模拟/数字转换器(ADC)。快门是连同光圈一起调整曝光量的构件。镜头从外部光源接收光并且对图像进行处理。此时,光圈根据器打开或闭合的程度来调整入射光的量。CCD图像传感器累积通过镜头输入的光,并且根据累积的光量与垂直同步信号同步地输出镜头拍摄的图像。由将从物体反射的光转换成电信号的CCD图像传感器获得图像。为了使用CCD图像传感器获得彩色图像,需要滤色器。可以采用诸如滤色器阵列(CFA)等滤波器。CFA允许每个像素仅传递表示一个颜色的光,并且具有规则排列的配置,并且根据其排列配置具有各种形式。ADC将从CCD图像传感器输出的模拟图像信号转换成数字信号。以上配置仅是示例,并且每个摄像机的配置可以以不同方式修改。例如,每个摄像机可以使用互补金属氧化物半导体(CMOS)图像传感器而不是CCD图像传感器来拍摄图像。
第一摄像机141和第二摄像机142可以设置在多显示设备100的外壳中,或者可以使用分离的连接装置与多显示设备100相连。第一摄像机141和第二摄像机142中的至少一个可以包括辅助光源(例如,闪光灯(未示出))来提供执行拍摄所需的光。
根据本发明总构思的示例实施例,第一摄像机140可以置于多显示设备100的前表面上,并且第二摄像机142可以置于多显示设备100的后表面上。根据本发明总构思的另一示例实施例,第一摄像机141和第二摄像机142可以彼此邻近(例如,第一摄像机141和第二摄像机142之间的间隙大于1cm并小于8cm)以拍摄3D静止图像或3D移动图像。根据本发明总构思的另一示例实施例,第一摄像机141可以置于第一面板上,并且第二摄像机142可以置于第二面板上。
拍摄器140可以通过第一摄像机141和第二摄像机142中的至少一个检测用户的运动或形状,并且可以向控制器130发送用户的运动或形状作为输入来执行或控制应用。例如,用户的运动可以指第一或第二摄像机感测的用户手部运动。用户的形状可以指第一或第二摄像机感测的用户的脸部形状。
根据本发明总构思的又一示例实施例,多显示设备100可以使用诸如红外线传感器等其他传感器来检测用户的运动,并且可以响应于运动来执行或控制应用。
传感器150应感测多种状态改变,例如,多显示设备100上的用户触摸、用户运动和多显示设备100的运动。在本发明总构思的上述示例实施例中,描述了触摸传感器或接近传感器作为传感器150的示例。在本发明总构思的另一示例实施例中,传感器150可以包括触摸传感器151、地磁传感器152、加速度传感器153、铰链传感器154和接近传感器155中的至少一个。
触摸传感器151是可以感测用户对象在多显示设备100的显示器上触摸的传感器。即,触摸传感器151感测通过使用能够感测的主体(例如,手指或输入装置)触摸第一或第二显示器190a或190b来选择显示屏上显示的对象的输入。根据如何感测用户的触摸将触摸传感器151分成电容性触摸传感器和压电触摸传感器。可以根据示例实施例以不同方式来确定触摸传感器151。触摸传感器151可以与显示面板235一起分别包括在第一显示器190a和第二显示器190b中,如图6所示。
地磁传感器152是通过检测磁场流动来感测方位角的传感器。地磁传感器152检测多显示设备100的方位角坐标,并且基于方位角坐标检测多显示设备100所处的方向。将多显示设备100所处的方向识别为控制输入,并且控制器130执行对应的输出。
加速度传感器153是感测多显示设备100的加速度的传感器,在多显示设备100上设定x、y和z轴,并且感测根据每个轴的倾斜而改变的重力加速度的值。加速度传感器153可以用于检测运动对象的加速度(即,动态加速度),但是可以主要用于检测重力加速度。
铰链传感器156可以感测铰链185的角度或运动。接近传感器155可以感测对象是否接近用户的多显示设备100。以下将详细说明接近传感器。
尽管图3中未示出,多显示设备100的传感器150还可以包括重力传感器、陀螺传感器、方位传感器、照度传感器、高度传感器、RGB传感器、距离传感器和霍尔传感器中的至少一个,重力传感器感测重力施加的方向,陀螺传感器通过向现有的加速度传感器添加旋转来识别总共六个轴,方位传感器自动感测内容(例如,图像)的水平和垂直帧,并且自动旋转和布置内容,照度传感器感测多显示设备100周围的环境光量,高度传感器测量大气压,RGB传感器感测对象的颜色,距离传感器使用超声波或红外线来测量距离,霍尔传感器使用根据磁场幅度的电压变化。
传感器150检测每个传感器的状态,产生与检测相对应的信号,并且向控制器130发送信号。可以根据多显示设备100的性能来添加或去除传感器150的传感器。
输入器/输出器160是使用屏幕或其他外部连接端口执行输入/输出的元件。具体地,输入器/输出器160从与多显示设备100相连的输入装置(例如,鼠标、键盘、操纵杆)或无线输入装置(例如,遥控器)发送的输入信号,并且向控制器130发送输入信号。同样,输入器/输出器160可以向外部设备输出控制器130产生的多种信号或数据。输入器/输出器160包括按钮161、麦克风162、扬声器163、振动电机164。
至少一个按钮161可以以按压型或触摸型的形式在多显示设备100的外壳的前表面、侧表面或后表面上形成,并且可以包括电源/锁定按钮、音量控制按钮、菜单按钮、主页按钮、后退按钮和搜索按钮中的至少一个。当按压按钮161时,产生对应的控制命令并向控制器130发送。控制器130根据控制命令来控制多显示设备100的操作。
麦克风162在控制器130的控制下接收语音或声音,并且产生电信号。
扬声器163可以向多显示设备100的外部输出与蜂窝通信模块111、无线LAN模块112、短距离通信模块113、多媒体部件120或拍摄器的多种信号(例如,无线电信号、广播信号、数字音频文件、数字运动图像文件或拍照)相对应的声音。
扬声器163可以输出与多显示设备100的功能相对应的声音(例如,按钮声音或与呼叫相对应的铃声)。单个扬声器163或多个扬声器163可以在适当位置或多显示设备100的外壳的位置上形成。例如,扬声器163可以包括内部扬声器模块和外部扬声器模块,内部扬声器模块形成在用户打电话时与用户耳朵接近的位置上,外部扬声器模块具有适合于再现音频/视频文件或允许用户观看广播的较高输出,并且置于多显示设备100的外壳的适当位置上。
振动电机164在控制器130的控制下将电信号转换成机械振动。例如,当从另一设备(未示出)接收到语音乎叫时,在振动模式下的多显示设备100驱动振动电机164。单个振动电机164或多个振动电机164可以置于多显示设备100的外壳中。振动电机164可以响应于在第一显示器190a或第二显示器190b上感测到的用户触摸手势来操作,以及在第一显示器190a或第二显示器190b上感测到的连续触摸运动。
存储器170配置为存储诸如操作系统(OS)或应用等多种程序和数据。
存储器170可以存储操作系统(OS)程序来控制多显示设备100的操作。当多显示设备100开启时,存储的OS从存储器中读出、编译,并且运行多显示设备100的每个部件。
存储器170还可以存储由OS管理的应用程序,使用OS的资源来执行多显示设备100的操作,并且提供用户接口。根据用户的执行命令由OS从存储器中读出应用程序,并且应用程序转换成可执行格式并且执行多种操作。
此外,存储器170可以存储经控制器130处理的多种多媒体数据、内容数据、以及从外部源接收的数据。即,存储器170可以在控制器130的控制下存储分别根据蜂窝通信模块111、无线LAN模块112、短距离通信模块113、连接器114、GPS模块115、多媒体单元120、拍摄器140、传感器150、输入器/输出器160以及第一显示器190a和第二显示器190b输入/输出的信号、信息或数据。
例如,存储器170可以存储根据输入笔500的感测结果发送的信息,或者可以存储通过控制器130分析信息的结果。
存储器170可以使用以下中的至少一个来实现:在只读存储器(ROM)、随机存取存储器(ROM)或多显示设备100中可安装或者可分离的存储卡(例如,SD卡或记忆棒)、非易失性存储器、易失性存储器、硬盘驱动器(HDD)、或固态驱动器(SSD)。
电源180供应要在多显示设备100中使用的电力。电源180可以由充电电池来实现,并且还可以包括对外部电力进行转换并且将其供应给充电电池的电压转换器。
电源180可以在控制器130的功率控制下,以多种模式(例如,最大性能模式、普通模式、省电模式和待机模式)向多显示设备100供电。
第一显示器190a和第二显示器190b分别包括在如上所述的传感器150中,并且输出帧缓冲器中存储的图像。第一显示器190a和第二显示器190b在控制器130的控制下可以分别显示多媒体内容、图像、运动图像和文本。
第一显示器190a和第二显示器190b彼此物理上分离。可以单独控制第一显示器190a和第二显示器190b上显示的显示屏幕。例如,单独设定第一显示器190a的分辨率和第二显示器190b的分辨率。同样,可以单独执行第一显示器190a和第二显示器190b的屏幕放大、屏幕旋转、屏幕移动和屏幕拆分。
第一显示器190a和第二显示器190b可以使用虚拟的集成帧缓冲器来显示单个显示屏幕。
第一显示器190a和第二显示器190b分别是显示控制器130可执行的多种应用(例如,呼叫、数据传送、广播和摄像机)的执行屏幕并且提供与应用相对应的用户界面的显示设备。第一显示器190a和第二显示器190b可以分别包括上述触摸传感器151。在这种情况下,第一显示器190a和第二显示器190b分别可以接收通过用户身体(例如,包括拇指的手指)的至少一个触摸手势或能够感测到的输入装置(例如触控笔)的输入。
这样的用户界面可以包括预定的触摸区域、软键和软菜单。可以通过LCD控制器(未示出)分别向第一显示器190a和第二显示器190b发送与通过用户界面输入的至少一个触摸手势相对应的电信号。同样,第一显示器190a和第二显示器190b分别可以感测连续触摸运城并且可以向LCD控制器(未示出)发送与连续或间断触摸运动相对应的电信号。如上所述,触摸传感器151可以由电阻性方法、电容性方法、红外线方法或声波方法来实现。
第一显示器190a和第二显示器190b分别将与通过触摸传感器感测到的用户操作有关的感测信号转换成数字信号(例如,x和y坐标),并且向控制器130发送数字信号。控制器130可以使用接收到的数字信号执行与分别通过第一显示器190a和第二显示器190b输入的用户操作相对应的控制操作。例如,控制器130可以选择分别在第一显示器190a和第二显示器190b上显示的软键,或者可以响应于用户操作执行与软键相对应的应用。
上述用户手势不限于用户身体或触摸输入装置分别与第一显示器190a和第二显示器190b的直接接触,并且可以以非接触方法进行。第一显示器190a和第二显示器190b分别可检测用户操作的灵敏度可以根据多显示设备100的性能或配置来改变。
多显示设备100是执行应用、窗口小部件和功能的设备,应用、窗口小部件和功能全部存储在存储器170中并通过触摸屏由控制器130可执行。常规触摸屏可以通过主页屏幕或应用菜单提供应用、窗口小部件、功能、以及与它们对应的图形对象(即,软件或快键图标),多显示设备100响应于对每个图形对象的用户触摸手势的检测,执行对应的应用、窗口小部件、功能。
本文所述窗口小部件是指用户下载和使用的微型应用,或者由用户产生的微型应用。例如,窗口小部件包括天气窗口小部件、股市窗口小部件、计算器窗口小部件、闹钟窗口小部件和词典窗口小部件。执行窗口小部件的快捷图标可以通过对应的窗口小部件应用来提供简要的进展信息。例如,天气窗口小部件的图标简要提供当前温度和天气符号,并且通过触摸图像执行的窗口小部件应用提供更多信息,例如每个地区或时段的天气。这里所述的应用包括基于窗口小部件的应用和不基于窗口小部件的应用。
包括第一显示器190a的传感器150和包括第二显示器190b的第二主体4可以通过连接器彼此连接,如上所述,传感器150和第二主体4可以按照相对于铰链185的预定角度向内折叠或向外折叠。
然而,可以使用柔性连接器或柔性传感器的一部分,而不是铰链185来实施连接器。
下面,参照图4详细描述上述控制器130的硬件配置。
图4是示出了根据本发明总构思示例实施例的控制器130的硬件配置的框图。
参照图4,在硬件上,多显示设备100的控制器130包括中央处理单元(CPU)131、图形处理单元(GPU)133、随机存取存储器(RAM)135、只读存储器(ROM)137和系统总线139。在软件上,控制器130包括用于驱动硬件配置的OS、以及提供OS上用户接口并将用户接口发送给框架的应用。OS、框架和应用将在下面说明。
CPU131通过系统总线130与每个块执行数据通信,并控制每个块的功能。CPU131收集控制结果,基于控制结果向连接至控制器130的多个外围部件发送控制信号,并控制外围部件。此外,CPU131从RAM中读取与每个进程对应的命令(指令)和数据(自变量),并控制运算器来执行运算。
CPU131可以使用ROM137中预先存储的引导信息来执行引导。即,当系统开启时,CPU131从ROM137中读取用于操作每个硬件配置的命令,并根据命令向每个硬件部件发送控制信号。此外,CPU131从RAM135中读取存储装置(未示出)中存储的数据,并向GPU133发送RAM135中存储的数据之中应该进行图形处理的数据。CPU131接收经GPU133图形处理的数据,并将数据发送给连接至系统总线139的LCD控制器(未示出),在第一和第二显示器190a和190b中至少一个上分别显示图像。
此时,CPU131将GPU133处理过的图像数据临时存储在虚拟帧缓冲区中,该虚拟帧缓冲区分配到RAM135的预定区域。CPU131分配虚拟帧缓冲区以支持第一和第二显示器190a和190b中至少一个的最大分辨率(例如,1024*600)。如果提供第一和第二显示器190a、190b两者时,CPU131可以分配尺度为1024*1200的虚拟帧缓冲区。
CPU131将虚拟帧缓冲区临时存储的数据输入至GPU133并进行数字信号处理。
GPU133在CPU131的控制下对输入数据执行图形处理。具体地,GPU133可以使用运算器(未示出)和呈现器(未示出),产生包括多种对象(例如包括图标、图像或文本)的屏幕。运算器可以根据屏幕的布局,针对要显示的各个对象计算属性值,例如坐标值、形状、大小和颜色。呈现器可以基于运算器计算的属性值,产生其中包括对象的多种布局的屏幕。可以经由总线139将呈现器处产生的屏幕发送给第一和第二显示器190a、190b以便显示在显示区上或存储在存储器170中。
CPU131可以控制使得通过第一和第二显示器190a、190b中的至少一个显示GPU133图形处理过的数据,或者将该数据存储在存储器170中。此外,CPU131可以将处理后的数据输入至显示控制器(未示出)。
GPU133可以包括解码器、呈现器或缩放器。因此,在显示控制器(未示出)的控制下,GPU133可以解码所存内容,呈现解码的内容和形成帧,以及根据显示器大小对形成的帧的大小进行缩放。如果在第一和第二显示器190a、190b之一上显示帧,则可以根据一个显示器的大小来缩放帧。如果要在两个显示器上显示图像,则根据整体显示器大小来缩放帧。GPU133可以向显示器提供经处理的帧以进行显示。
控制器130还可以包括音频处理器和接口。接口是用于与周围元件执行接口连接的元件。
音频处理器(未示出)是通过音频接口(未示出)与多媒体单元120接口连接,处理音频数据并将音频数据提供给例如扬声器等声音输出装置的元件。音频处理器可以执行音频信号处理,例如对存储器170中存储的音频数据或通过通信器110接收的音频数据进行解码、滤除噪声并将数据放大到适当分贝。在以上示例中,如果再现的内容是运动图像内容,则音频处理器处理从运动图像内容解复用而得到的音频数据,将音频数据与GPU133同步,并将音频数据提供给扬声器以输出。
ROM137存储用于引导系统的命令集。当输入开启命令并且供电时,CPU131根据ROM137中存储的命令将存储器170中存储的OS拷贝到RAM135中,执行OS,并且引导系统。当完成引导时,CPU131将存储器170中存储的多种应用程序拷贝到RAM135中,并且通过执行拷贝到RAM135中的应用程序来执行多种操作。如上所述,CPU131可以通过执行存储器170中存储的应用程序来执行各种操作。
如上所述,当在多显示设备100上感测到触摸和其他用户操控时,控制器130确定该用户操控是否是希望的。当确定用户操控是希望的,则控制器130从存储器170读出与对应于用户操控的操作有关的信息,并且执行与该信息相对应的操作。控制器130的上述操作可以通过执行存储器170中存储的多种程序来执行。可以在多显示设备100中提供多个拍摄器140。例如,可以在提供了第一显示器190a的传感器150中提供第一拍摄器,并可以在提供了第二显示器190b的第二主体4中提供第二拍摄器。控制器130可以存储由拍摄器140拍摄的图像,或者将图像附加至邮件、信使或消息,并将图像发送至外部。此外,控制器130可以通过分离拍摄器140拍摄的图像来识别运动手势,并可以执行对应于该运动手势的控制操作。
CPU131可以使用单核处理器、多核处理器、三核处理器和四核处理器中的至少一个来实现,但不限于此。如果CPU131是多核处理器,则多核处理器中包括的每个处理器可以独立地控制第一显示器190a和第二显示器190b。
在下文中,说明控制器130的软件分层结构图。
图5示出了根据本发明总构思示例实施例的多显示设备100的系统分层结构的视图。
参照图5,多显示设备100包括硬件410、驱动硬件的OS420、包括作为过程由OS管理并且使用资源提供用户服务的应用层441至446的应用层440、以及在OS与应用中间介入的框架层430。
OS420控制硬件410的总体操作,并且管理硬件410以及与每个应用相对应的过程。即,OS420是管理硬件并且执行诸如存储和安全等基本功能的层。OS420包括模块,例如,驱动多显示器的显示驱动器、交换数据的通信驱动器、驱动摄像机的摄像机驱动器、驱动音频单元的音频驱动器、以及电源管理器。此外,OS420可以包括开发者可访问的API库和运行时间。OS420处理应用的调用并且根据处理结果操作硬件。
框架层430存在作为OS420的上层。框架430将应用层440与OS层420连接。即,框架层430包括位置管理器、通知管理器和用于在触摸屏上显示图像的帧缓冲器。
应用层440存在作为框架层430的上层,以执行多显示设备100的多种功能。例如,应用层440可以包括呼叫应用441、多媒体应用442、摄像机应用443、浏览器应用444、手势应用445和OCR处理应用446。
应用441至446提供用户界面,并且通过框架从用户接收命令并向OS420发送命令,或者请求OS420的资源。OS420处理系统调用并且管理许多应用的任务。OS420根据处理系统调用的结果来操作包括第一显示器190a和第二显示器190b的许多硬件配置。
在下文中,说明显示器的硬件配置。
图6示出了根据第一显示器190a(或者备选地,图2的第二显示器190b)的图像输出器的电路配置的视图。在下文中,主要描述了第一显示器190a,但是第二显示器190b具有与第一显示器190a相同的配置,因此以相同方式操作。
显示器可以包括如上所述的第一显示器190a和第二显示器190b。此外,显示器还可以包括触摸屏。
参照图6,第一显示器190a的图像输出器可以包括定时控制器231、门驱动器232、数据驱动器233、电压驱动器234和显示面板235。
定时控制器231从外部源接收适于与触摸屏的分辨率对应的时钟信号(DCLK)、水平同步信号(Hsync)和垂直同步信号(Vsync),产生栅极控制信号(扫描控制信号)和数据控制信号(数据信号),对输入的R、G和B数据进行重排,并将R、G和B数据提供给数据驱动器233。
定时控制器231可以产生与栅极控制信号有关栅极移位时钟(GSC)、栅极输出使能(GOE)和栅极起始脉冲(GSP)。GSC确定连接至发光元件(例如R、G和B有机发光二极管(OLED))的薄膜晶体管(TFT)的导通/截止时间,GOE是控制栅极驱动器232的输出的信号,GSP是指示一个垂直同步信号之中屏幕的第一驱动行的信号。
此外,定时控制器231可以产生与数据控制信号有关源极采样时钟(SSC)、源极输出使能(SOE)或源极起始脉冲(SSP)。SSC用作在数据驱动器233中对数据进行锁存的采样时钟,并且确定数据驱动IC的操作频率。SOE将SSC锁存的数据发送给显示面板235。SSP是用于通知与一个水平同步期间对应的数据锁存或采样开始的信号。
栅极驱动器232产生扫描信号,并经由扫描线(S1,S2,S3…Sn)连接至显示面板235。栅极驱动器232根据定时控制器231产生的栅极控制信号,将从电压驱动器234提供的栅极导通/截止电压(Vgh/Vgl)施加至显示面板235。栅极导通电压(Vgh)按顺序发送给栅极线1(GL1)到栅极线N(GLn),以在显示面板235上实现单位帧图像。
数据驱动器233产生数据信号,并经由数据线(D1,D2,D3…Dn)连接至显示面板235。数据驱动器233根据定时控制器231产生的数据控制信号来完成缩放,并将图像帧的RGB数据输入至显示面板235。数据驱动器233将从定时控制器231提供的串行RGB图像数据转换为并行数据,将数字信号转换为模拟电压,并将对应于一个水平行的图像数据提供给显示面板235。该过程相对于各个水平行按顺序执行。
电压驱动器234产生驱动电压,并将驱动电压传送给栅极驱动器232、数据驱动器233或显示面板235。例如,可以从外部源接收商用电力(例如,110V或220V的交流(AC)),可以产生驱动显示面板235所需的电源电压(VDD)并提供该电源电压,或者可以提供接地电压(VSS)。此外,电压驱动器234可以产生栅极导通电压(Vgh)并提供给栅极驱动器232。为此,电压驱动器234可以包括彼此单独操作的多个电压驱动模块(未示出)。多个电压驱动模块(未示出)可以在控制器130的控制下操作以提供彼此不同的电压,或者根据预设信息,控制器130可以控制电压驱动器234,使得多个电压驱动模块提供彼此不同的驱动电压。例如,在控制器130的控制下,根据预设信息,多个电压驱动模块中每一个可以提供不同的第一电压、以及设置为缺省的第二电压。
根据本发明总体构思的示例实施例,电压驱动器234可以包括与从显示面板235划分的多个区域对应的多个电压驱动模块。在这种情况下,控制器130可以依据多个区域的屏幕信息(或输入图像信息),控制多个电压驱动模块提供不同的第一电压,即,ELVDD电压。即,可以使用输入至数据驱动器233的图像信号来控制ELVDD电压电平。屏幕信息可以包括输入图像的亮度和灰度级信息中的至少一个。
显示面板235包括多条栅极线(GL1到GLn)以及多条数据线(DL1到DLn),栅极线与数据线交叉以定义像素区。在栅极线与数据线交叉的像素区236上可以形成例如OLED等R、G和B发光元件,此外,在像素区236的某个区域上,具体地,角落上,形成开关元件,即,TFT。当TFT导通时,从数据驱动器233向R、G和B发光元件提供灰度电压。此时R、G和B发光元件可以提供与基于灰度电压而提供的电量对应的光。即,如果提供的电力较多,R、G和B发光元件提供的光量较大。
图7是示出了包括图6的显示面板的R、G和B像素的电路的视图。
参照图7,显示面板235包括R、G和B三个像素区236。R、G和B像素区236包括:开关元件M11、M21、M31,按照扫描信号(S1)和栅极导通电压(Vgh)操作;开关元件M12、M22、M32,基于提供给数据线(D1到Dn)的包括变化高灰度值的像素值而输出电力;以及开关元件M13、M23、M33,根据定时控制器231提供的控制信号,调整从开关元件M12、M22、M32向R、G、B发光元件传输的电量。开关元件M13、M23、M33可以连接至OLED并向OLED供电。这里所述OLED是指如下显示器:当电流流入荧光或磷光有机物质薄膜时,使用电场发射原理而自身发射光。OLED的阳极电极连接至像素电路,阴极电极连接至ELVSS。这种OLED响应于从像素电路提供的电流,产生预定亮度的光。开关元件M11、M21、M31的栅电极连接至扫描线(S1),而源电极和漏电极之一连接至数据线(D1)。如上所述,显示面板235可以使用有源矩阵OLED(AM-OLED)来实现。然而,本发明总体构思的上述示例实施例仅仅是示例,不排除可以使用无源矩阵OLED(PM-OLED),其通过一行的同时发光来操作。
当多显示设备100的显示器190a或190b使用上述OLED实现时,不需要分离的发光装置(例如背光单元),从而可以减小多显示设备的厚度,也可以减小多显示设备的重量。此外,可以简化结构。
然而,虽然在上述示例实施例中描述了OLED,但是也可以使用多种显示器来实现上述显示器,例如液晶显示(LCD)面板、等离子体显示面板(PDP)、真空荧光显示器(VFD)、场致发射显示器(FED)和电致发光显示器(ELD)。此外,可以使用柔性显示器或透明显示器来实现上述显示器。
图8示出了根据本发明总构思示例实施例的包括触摸屏的第一显示器190a或第二显示器190b的截面图。
参照图8,第一显示器190a包括图像输出器191和触摸屏192。
图像输出器191包括显示面板360、上偏振片300以及下电极310,在显示面板360中,上基板362和下基板361彼此紧密接触地形成,在显示面板360的上基板362上形成上偏振片300,在偏振片300的边缘上形成下电极310。图像输出器191还包括在下基板361上形成的下偏振片301。
液晶层363可以在上基板362和下基板361之间形成。上基板362和下基板361包括对图像加以显示的显示区域以及沿着显示区域的边缘形成的边界区域。尽管未示出,但是下基板361的显示区域包括多条栅极线和多条数据线、在多条栅极线与多条数据线交叉的区域上形成的薄膜晶体管、以及与薄膜晶体管相连的像素电极。可以提供与像素电极部分交叠的支撑(sustain)电极。可以在要与栅极线和数据线连接的下基板361的边界区域上形成多个垫(pad)。
上基板362和下基板361可以由诸如密封剂等密封件364来密封。密封件364可以沿着上基板362和下基板361的边界区域形成。
触摸屏192包括下透明电极330、触摸板(touch pad)340、和突出物350,下透明电极330与下电极310连接并且在上偏振片300上形成,在触摸板340中提供上透明电极342并且触控板342附着至上基板362,在上透明电极342和下透明电极330之间提供突出物350。
触摸板340包括带基薄膜341、带基薄膜上形成的上透明电极342、以及上透明电极342上形成的上电极343。
当通过预定外部力按压触摸板340时,被施加了力的区域的突出物350与下透明电极330紧密接触,并且相应地,下透明电极330和上透明电极342彼此电连接。上透明电极342和/或下透明电极330中流动电流由该电连接而改变,并且通过分离的感测装置(未示出)来感测这种改变。感测装置向分离提供的控制器130发送感测到的信号。控制器130使用感测到的信号产生其中电流流动改变的区域的坐标,并且向预定的驱动器(未示出)发送坐标。驱动器可以响应于输入坐标,执行与使用诸如鼠标等输入工具来操控显示面板360上显示的图像等操作相同的操作。
相反,多显示设备100可以包括由于其具体特性而具有多种配置的图像帧缓冲器。在下文中,描述具有多种可能配置的图像帧。
图9是示出了根据本发明总构思的示例实施例的多显示设备100的显示驱动器175的框图,并且图10是示出了根据本发明总构思的另一示例实施例的显示驱动器175’的框图。
参照图9,显示驱动器175包括第一帧缓冲器175a-1、第一显示驱动器175a-2、第二帧缓冲器175b-1以及第二显示驱动器175b-2。即,第一显示器190a和第二显示器190b分别可以包括相应的帧缓冲器175a-1和175b-1和相应地显示驱动器175a-2和175b-2。
第一帧缓冲器175a-1配置为对要在第一显示器190a上显示的图像帧进行缓冲,并且第二帧缓冲器175b-1配置为对要在第二显示器190b上显示的图像帧进行缓冲。
例如,可以将经GPU133数字信号处理的图像帧以位图格式存储在第一和第二帧缓冲器175a-1和175b-1。在这种情况下,分别根据第一显示器190a和第二显示器190b中的每一个可支持的最大像素尺寸来分配每个帧缓冲器175a-1和175b-1的缓冲区域。第一显示驱动器175a-2对第一帧缓冲器175a-1中存储的图像帧进行分析,并且将图像帧转换成第一图像源信号。第一显示驱动器175a-2向第一显示器190a提供第一图像源信号,并且驱动第一显示器190a显示图像帧。
类似地,第二显示驱动器175b-2对第二帧缓冲器175b-1中存储的图像帧进行分析,将图像帧转换成第二图像源信号,向第二显示器190b提供第二图像源信号,并且显示图像帧。
这两个帧缓冲器可以适合于并行地处理分别与第一显示器190a和第二显示器190b中的每一个相对应的图像帧。当并行处理器输出分别与第一显示器190a和第二显示器190b中的每一个相对应的图像信号时,可以提高图像输出效率。
然而,第一显示器190a和第二显示器190b可以分别使用单个集成帧缓冲器175-1而不使用分开提供的第一帧缓冲器175a-1和第二帧缓冲器175b-1,如图9所示。
图10是示出了使用集成帧缓冲器175-1分别控制第一显示器190a和第二显示器190b的操作的多显示设备100的配置的框图。当通过使用集成帧缓冲器175-1来实现帧缓冲器时,可以向集成帧缓冲器175-1分配比第一显示器190a和第二显示器190b的最大分辨率大的尺寸。
例如当第一显示器190a和第二显示器190b中的每一个分别以最大分辨率1024*800显示时,可以向集成帧缓冲器175-1分配与能够显示分辨率1024*1600的帧缓冲器尺寸相对应的存储区域。集成帧缓冲器175-1的第一区域存储要在第一显示器190a上显示的第一图像帧,并且第二区域存储要在第二显示器190b上显示的第二图像帧。
显示驱动器175-2使用集成帧缓冲器175-1中存储的第一图像帧和第二图像帧的地址,向第一显示器190a或第二显示器190b提供第一或第二图像帧,并且驱动第一显示器190a和第二显示器190b中的每一个。
如上所述,多显示设备100的传感器150可以包括接近传感器155。在下文中,说明接近传感器155的配置和操作。
图11是示出了对悬停进行感测的方法的示例的视图。
用户可以仅通过将他/她的手指或其他用户对象移动接近触摸屏来向对显示设备100输入控制命令,而无需直接触摸触摸屏。在这种情况下,多显示设备100可以使用接近传感器155感测悬停。当用户没有直接接触触摸屏并且在空间上的预定有效识别范围内识别到运动时,悬停可以识别为单触摸手势。
参照图11,红外线(IR)源291放置在显示器90的上部来识别悬停,IR传感器292放置在显示器90的下部。IR源291向显示器290的表面发射红外线。具体地,IR源291置于显示器290的对图像加以显示的下部,并且向显示器290的表面发射红外线。存在在显示器290的表面上识别用户对象50的接近的预定区域。该区域是识别到悬停的有效识别区域5。
用户对象是指向多显示设备100输入命令的装置,并且可以是用户身体的部位,例如,手或手指,或者可以是输入笔500。
当用户对象50接近有效识别区域5时,IR传感器292感测从接近的用户对象50反射的红外线,并且产生IR扫描图像。具体地,IR传感器292可以使用多个IR感测元件产生与从接近的用户对象50反射的红外线相对应的IR扫描图像,多个IR感测元件以矩阵的形式布置。多显示设备100可以使用产生的IR扫描图像来感测悬停输入。
如以下说明的,有必要在输入笔500的悬停与输入笔500以外的其他对象的悬停之间进行区分。
图12是示出了根据本发明总构思示例实施例的对使用输入笔500的悬停进行感测的方法示例的视图。
如下说明的,输入笔500中可以包括磁场线圈。多显示设备100还可以包括根据磁场线圈接近于显示器290来感测磁场的改变的磁场传感器295,显示器290包括红外线(IR)源291和IR传感器292来识别输入笔500的悬停。由于上方悬停有输入笔500的点具有由于输入笔500的磁场线圈而改变的磁场,因此磁场传感器295可以感测对应点处输入笔500的悬停。可以存在通过显示器290的表面识别输入笔500的接近的预定区域。该区域是其中识别输入笔500的悬停的有效识别区域5a。此时,接近传感器155的IR传感器292感测到悬停输入,但是当接近传感器155的IR传感器292和磁场传感器295两者都感测到用户对象的悬停时,忽略接近传感器155的感测结果。相应地,当磁场传感器295感测到输入笔500的悬停时,多显示设备100被视为处在笔输入模式中,并且显示对应的菜单项或屏幕。
相反,当磁场传感器295没有感测到输入笔500的悬停而接近传感器155感测到悬停时,可以确定不是包括磁场线圈(未示出)的输入笔500的其他用户对象接近多显示设备100。在这种情况下,控制器130进入由非输入笔500的对象控制的状态。例如,控制器130可以在键盘输入模式中操作,以在第一显示器190a和第二显示器190b中的至少一个上显示用户手指可触摸的软键盘。
在下文中,参照所附透视图说明本发明总构思示例实施例的多显示设备100的外观。
图13是示出了根据本发明总构思示例实施例的多显示设备100的详细透视图。在图13中,多显示设备100包括通过铰链185彼此连接的第一显示器190a和第二显示器190b。
参照图13,多显示设备100包括通过铰链185彼此连接的第一主体2和第二主体4,并且相对于彼此可移动。第一显示器190a可以设置在第一主体2的一个表面上,并且至少一个物理按钮(未示出)可以设置在第一显示器190a的一个侧表面。第二显示器190b可以设置在第二主体4的一个表面上,并且至少一个物理按钮(未示出)可以设置在第二显示器190b的一个侧表面上。物理按钮(未示出)包括推动按钮和触摸按钮中的至少一个。在本发明总构思的示例实施例中,第一主体2上设置的包括扬声器(未示出)和麦克风(未示出)的第一显示器190a作为主屏幕操作,并且第二主体4上设置的不包括上述元件的第二显示器190b作为副屏幕操作。在本发明总构思的示例实施例中,第一主体2包括第一摄像机141,第二主体4包括第二摄像机142。
当如图13所示放置多显示设备100时,第一显示器190a和第二显示器190b分别在横向模式下显示屏幕。
如果多显示设备100配置为使得第一主体2和第二主体4通过铰链185彼此连接并且相对于彼此移动时,多显示设备100可以是任何设备,例如,移动电话、膝上型计算机、平板PC和便携式多媒体播放器(PMP)。尽管分别在第一主体2和第二主体4上分别设置第一显示器190a和第二显示器190b,但是以下说明也可以应用于在两个面板中的仅一个面板上设置触摸屏显示器的设备。此外,可以省略分别在第一显示器190a和第二显示器190b的侧表面上的至少一个功能按钮161。此外,尽管第一主体2和第二主体4通过铰链185彼此连接,但是如果第一主体2和第二主体4仅相对于彼此折叠,则第一主体2和第二主体4可以通过其他元件彼此连接。
如图13所示,铰链185包括两个铰链,两个铰链在第一主体2和第二主体4之间的连接部分的相对边缘处形成。此外,铰链185可以是置于第一主体2和第二主体4的整个连接部分上的单个铰链。
其上放置第一显示器190a的第一主体2和其上放置第二显示器190b的第二主体4可以相对于铰链185旋转。多显示设备100可以根据第一和第二主体2、4间的角度,相应地执行多种操作。可以根据主体间角度将多显示设备100的模式划分为多种模式。
相对角度(θ)是第二主体4相对于第一主体2沿预定方向(例如,逆时针方向)旋转的旋转角度。
具体地,可以使用铰链185中嵌入的铰链传感器来检测相对角度(θ)。铰链传感器154可以包括霍尔传感器、压力传感器、电感传感器、电接触传感器和光传感器中至少一个,并且可以通过检测铰链的移动和相对位置,来识别相对角度(θ)。
此外,可以通过检测第一主体2和第二主体4的位置的地磁传感器或加速度传感器153来识别相对角度(θ)。
图14至17是示出了根据本发明总构思示例实施例的根据主体间相对角区分的多种模式的示例视图。
图14是示出了多显示设备100关于铰链185折叠时的透视图。如图14所示,第一主体2和第二主体4彼此接触,其中第一主体2和第二主体4上的第一和第二显示器190a、190b沿彼此面对。即,第二显示器190b放置在第一显示器190a的相对侧。当用户观看第一显示器190a时,用户无法直接观看第二显示器190b,因为第二显示器190b放置在相对侧。这样,用户只能观看一个显示器。
此时,相对角度(θ)定义为0°。例如,第一主体2和第二主体4间的相对角度可以在0°与60°之间。这种状态可以称为单模式。在多显示设备100不在用以及在锁定状态下或在呼叫应用中使用时,使用单模式是有利的。在单模式下,在正面的第一显示器190a可以显示至少一个应用的执行屏幕,而在背面的第二显示器190b可以关闭或去激活。
某些应用可以使用选项菜单并可以开启背面的第二显示器190b。由于在单模式用户仅观看一个显示屏幕,所以控制器130仅控制第一和第二显示器190a、190b之一。即,控制器130向用户当前观看的显示器传送控制信号。通过不向控制器130未控制的第一和第二显示器190a、190b之一传送分离的控制信号和分离的数据信号,降低了功耗。
此时,不接收控制信号和数据信号的第一和第二显示器190a、190b之一操作在睡眠模式,并且当从控制器130施加禁用睡眠模式的信号时,或者当用户旋转多显示设备100的方向并观看在睡眠模式下的第一和第二显示器190a、190b之一时,该第一和第二显示器190a、190b之一可以从睡眠模式中释放。
图15示出了彼此平行(展开)时的第一主体2和第二主体4。在这种状态下,相对角度(θ)是180°度或在预定范围内近似180°。这种状态被称作展开状态。例如,当第一主体2和第二主体4间的相对角度在175°到185°范围中时,多显示设备100确定第一主体2和第二主体4是展开的。在展开模式下,可以分别在第一显示器190a和第二显示器190b上显示两个应用的两个任务屏幕,在第一显示器190a和第二显示器190b上显示一个应用的一个屏幕,或者在第一显示器190a和第二显示器190b上分别显示一个应用的两个任务屏幕。第一显示器190a和第二显示器190b之一上可以没有应用显示,或者可以在第一显示器190a和第二显示器190b之一上显示缺省的主页屏幕。在电子书或运动图像播放器应用中使用展开模式是有利的。
相反,图13示出了第二主体4相对于第一主体2的相对角度(θ)超过180°,即,示出第一显示器190a和第二显示器190b彼此略微地向内折叠。在以下描述中,这种状态被称作工具箱包模式。例如,当第一主体2和第二主体4间的相对角度在185°和265°之间时,识别为工具箱包模式。因此,工具箱包模式是指第一显示器190a和第二显示器190b彼此略微面向内折叠的状态,并且在多显示设备100类似于膝上计算机来使用时有利。例如,可以在一个显示器190a上显示任务屏幕,而可以在另一显示器190b上提供诸如键盘工具等各种任务环境。
图16示出了第二主体4相对于第一主体2的相对角度(θ)小于180°的状态,即,第一显示器190a和第二显示器190b几乎向外面向相反方向折叠。该状态被称作站立模式。例如,第一主体2和第二主体4间的相对角度在30°和90°之间。在以下描述中,这种状态称为站立模式。
在站立模式下,两个显示器190a和190b折叠而面向外,并且多显示设备100可以以三角形形状放置在底部上。站立模式在多显示设备100充电或用作数字时钟或相册时,或者当用户长时间观看私人广播、电影或运动图像时是有用的。
根据本发明总构思的另一示例实施例,站立模式可以用于需要两个或更多个使用或交互的协作的应用,例如,电话会议,联合游戏等。在站立模式下,某些应用可以仅在正面的第一显示器190a上显示任务屏幕,并且可以关闭背面的第二显示器190b。某些应用可以使用选项菜单并可以关闭背面的第二显示器190b。
图17示出了图16的站立模式的本发明总构思的另一示例实施例,并且示出了多显示设备100直立放置,其中铰链部分接触底部。该状态可以被称作纵向观看模式。在纵向观看模式中,第一主体2和第二主体4间的相对角度在30°和90°之间,当通过加速度传感器153确定多显示设备100是直立放置时,识别到纵向观看模式。
具体地,加速度传感器153感测多显示设备100的旋转。加速度传感器153感测纵向观看模式与横向观看模式之间的切换,在纵向观看模式中,多显示设备100的第一显示器190a和第二显示器190b分别布置在多显示设备100的左右侧,在横向观看模式中,第一显示器190a和第二显示器190b分别放置在多显示设备100的上下侧。
可以在例如视频会议或多运动图像播放器等有必要向两个或更多个用户提供不同图像的应用中执行纵向观看模式。
图18和19是示出了根据本发明总构思示例实施例的多显示设备的两个摄像机的放置的视图。图18和19示出了从正面观看的多显示设备100。图18和19示出了摄像机的放置,并因此省略了摄像机以外的其他部件。
参照图18,多显示设备100包括第一主体2和第二主体4,第一主体2包括第一显示器190a,第二主体4包括第二显示器190b。第一主体2和第二主体4通过铰链185彼此连接,并且相对于彼此可移动。第一摄像机141可以置于第一主体2的边界区域之中与铰链185相对的边界区域的中心上。第二摄像机142可以置于第二主体4的边界区域之中与铰链185相对的边界区域的中心上。
参照图19说明摄像机的放置。为了便于理解,参照用户面对多显示设备100的方向进行说明。第一摄像机141'可以置于第一主体2的左边界区域的中心表面上,第二摄像机142’可以置于第二主体4的左边界区域的中心表面上。在另一示例实施例中,第一和第二摄像机可以分别置于第一主体2和第二主体4的右边界区域的中心表面上。在本发明总构思的又一示例实施例中,第一和第二摄像机可以置于角落区域上,或者分别置于第一主体2和第二主体4的其他区域上。如上所述,多显示设备100可以在水平方向上使用,以及可以在垂直方向上显示。
用户通过上述多显示设备100执行多种输入,并且多显示设备100执行与输入相对应的输出。
下面说明使用多种用户对象对上述多显示设备100的输入。
使用用户对象的输入可以包括触摸、悬停和运动。用户对象可以是用户身体的一部分,例如手指或手掌,或者可以是其他对象,例如输入笔500。输入笔500可以由导电材料制成,例如金属或其他材料。例如,输入笔500可以包括磁场线圈,多显示设备100可以包括磁场传感器。
如上所述,包括磁场线圈的输入笔500可以是用户对象。即,用户对象包括在接触多显示设备100或存在于预定范围内时能够被多显示设备100识别的所有类型的对象或物体。用户对象可以独立或互换地使用。
触摸是在用户对象接触多显示设备100时被识别为触摸的一种类型的输入。例如,触摸是使用用户右手或左手的手指(具体地,食指,拇指)或触摸屏可感测的用户对象(例如触控板)在触摸屏上接触一个位置或多个连续位置的用户操作。下面将说明识别触摸的技术手段。
悬停是当用户对象置于多显示设备100的预定范围内而未直接接触多显示设备100或未按压按钮时被识别的一种类型的输入。在假设悬停和触摸是彼此区分的情况下,提供本发明总构思的多个示例实施例。下面将说明识别悬停的技术手段。
运动是当在多显示设备100的邻近存在预定的可识别运动时被识别的一种类型的输入。在广义上讲,运动包括在悬停中并由此省略对其说明。
下文中,参照下表1到3说明本发明总体构思示例实施例中使用的多种类型的输入。下文中,将主要说明触摸输入,但是悬停输入可以包括根据相同标准的多种类型的输入。此外,如上所述,用户对象可以是用户身体的一部分或输入笔500。
[表1]
Figure BDA0000392831350000381
表1说明了用单根手指做出的各种手势类型。
参照表1,使用单根手指做出的手势类型可以包括敲击、触摸和保持、双击、拖动、拖动和释放、以及轻拂,但不限于此。敲击是轻柔地触摸触摸屏并然后抬起用户手指的用户操作。触摸和保持是用用户对象触摸触摸屏并在比预定时间长的时间内保持触摸的用户操作。双击是指在预定时间内敲击两次的用户操作。拖动是触摸并在触摸的同时沿预定方向拖动用户对象的用户运动,以及拖动和释放是触摸屏幕上对象并将该对象拖动到预定位置并然后抬起用户对象的用户操作。轻拂是快速拖动的用户操作。
[表2]
Figure BDA0000392831350000391
表2说明了用两根手指做出的多种手势类型。然而,手指作为用户对象的示例,当使用其他用户对象时也可以定义相同操作。
参照表2,使用两根手指做出的手势类型包括双手指敲击、触摸和展开、分开、合拢、双手指拖动、双手指交叉、以及触摸和旋转,但不限于此。双手指敲击是同时用两根手指敲击的用户操作,触摸和展开是同时用两根手指按压触摸屏,并且仅一根手指直线移动而另一根手指不动的用户操作。分开是同时用两根手指触摸触摸屏,然后移动两根手指以分开的用户操作,合拢是同时用两根手指触摸触摸屏,然后两个手指移动以靠拢的用户操作。双手指拖动是沿相同方向用两根手指拖动的用户操作,而双手指交叉是用两根手指靠拢拖动、两根手指交叉并且然后分开拖动的用户操作。最后,触摸和旋转是用一根手指触摸触摸屏并保持触摸(触摸和保持)并且用另一根手指触摸触摸屏并保持触摸,并且用另一根手指触摸并在保持触摸的同时围绕固定的一根手指旋转的用户操作。
[表3]
Figure BDA0000392831350000401
表3说明了用两根或更多手指做出的多种手势类型,以及使用用户手掌做出的手势类型。
参照表3,用两根或更多手指做出的手势类型包括三手指触摸、四手指触摸或五手指触摸。此外,可以使用两根或更多手指做出例如表1和2中示出的敲击、拖动或旋转等手势。
如上所述,用户对象可以包括输入笔、以及用户身体的一部分,例如手指。具体地,当输入笔通过向多显示设备100发送预定命令或感测信息时,可以提供多种用户体验。
下文中,说明根据本发明总构思的多个示例实施例的输入笔500以及包括输入笔500的多显示设备100的配置。根据本发明总构思的多个示例实施例的输入笔500、500-1、500-1’、500-2、500-2’、500-2”、500-3、500-4、500-5、500-5’、500-5”、500-6和500-7、可以不仅结合多显示设备100使用,还可以结合通过使用单个显示器实现的单显示设备使用。即,输入笔500、500-1、500-1’、500-2、500-2’、500-2”、500-3、500-4、500-5、500-5’、500-5”、500-6和500-7感测或产生多种信息,并使用通信装置向单显示设备或其他设备发送该信息,来执行多种输入。下面将描述的笔支架600可以与输入笔500、500-1、500-1’、500-2、500-2’、500-2”、500-3、500-4、500-5、500-5’、500-5”、500-6和500-7执行相同操作。
首先,说明输入笔500的基本配置。
图20是根据本发明总构思的示例实施例的输入笔500的配置框图。
参照图20,输入笔500包括传感器510、控制器520、以及通信器530。
传感器510感测预定范围内存在的至少一个物理量。例如,传感器510可以包括如下中至少一个:拍摄图像的摄像机;加速度传感器,检测与施加至运动对象的力对应的加速度或静止对象的重力加速度;地磁传感器,通过检测磁场流来感测方位角;陀螺仪传感器,用于通过检测旋转速度来检测运动;IR传感器,检测从对象发射的IR;以及压力传感器,检测所施加压力的幅度。下面详细说明包括上述传感器的传感器510。
控制器520控制输入笔500的总体操作。具体地,控制器520接收传感器510的感测结果,并控制通信器530将对应于感测结果的信息发送给多显示设备100。控制器520包括微处理器单元(MPU)或中央处理单元(CPU)、以及用于操作MPU或CPU的操作系统(OS)。
通信器530与多显示设备100通信。具体地,通信器530向多显示设备100发送与通过传感器510获得传感结果有关的信息。此外,如果需要,通信器530可以从多显示设备100接收控制信号。
通信器530可以使用多种短距离无线通信装置来实现。例如,通信器530可以使用蓝牙、IR通信、近场通信(NFC)、Wi-Fi以及Zigbee实现,但是不限于此。
例如,如果输入笔500的通信器530包括蓝牙模块,则输入笔500可以按照蓝牙方法向多显示设备100发送数据流。蓝牙是如下方法:使用工业科学和医疗(ISM)的2402~2480MHz(即,总共79个信道)以数据分组的形式发送数据流。当跳频方法用于在根据特定图案快速地跳过多个频道的同时逐渐地发送分组(数据)时,79个信道可以每1秒跳1600次。
此外,输入笔500的通信器530可以使用IR通信方法来发送数据。IR通信方法使用IR来发送数据。IR具有比可见光的波长更长的波长,并因此平滑地穿过在空气中漂浮的微小微粒。具体地,IR与电磁波相比可以容易地确保宽带宽,并且因此具有以高速发送数据的优点。如果采用红外数据协会(IrDA)数据1.4标准,则输入笔500和多显示设备100能够在1M距离内以高达16Mbps的速率彼此无线地交换数据。
输入笔500可以采用NFC方法。NFC是使用13.56Mz的频带的非接触短距离无线通信方法。当使用NFC技术的多个终端在短距离(例如,大约10cm)内彼此接近时,终端可以彼此交换数据。在这种情况下,输入笔500可以包括NFC标签在内的模块,并且多显示设备100可以包括NFC读取器。当执行加标签(tagging)时,从输入笔500向多显示设备100发送数据。为了彼此交换信息,输入笔500和多显示设备100可以分别包括NFC标签和NFC读取器。
除了上述,输入笔500的通信器530可以使用Wi-Fi或Zigbee与多显示设备100通信。上面已经描述了这些通信方法,由此省略了累述。
输入笔500的通信器530可以使用上述多种短距离通信方法来实现,或者如果需要,可以使用本说明书中未提及的其他通信技术来实现。
如上所述,输入笔500使用传感器510感测多种信息,并通过通信器530向多显示设备100发送感测到的信息。当产生指示了接收到感测信息的事件时,多显示设备100基于感测信息执行多种控制操作。即,多显示设备100的控制器130通过通信器110接收由感测部件510感测的感测信号,并根据感测信号控制第一显示器190a和第二显示器190b的操作。
下文中,将说明可以与多显示设备100连接和断开的输入笔500-1的配置。
图21是示出了根据本发明总体构思的示例实施例的输入笔500-1的配置的框图,图22是示出了图21的输入笔500-1正在与多显示设备100连接的状态的视图,图23是示出了图21的输入笔500-1与多显示设备100连接的状态的视图,以及图24是示出了图21的输入笔500-1的外观的视图。
参照图21,输入笔500-1包括摄像机511、图像处理器512、充电器580、电源590、通信器530、存储器540和控制器520。
拍摄器511拍摄对象。拍摄器511包括快门(未示出)、镜头(图22的5110)、光圈(未示出)、电荷耦合器件(CCD)图像传感器(未示出),以及模拟/数字转换器(ADC)。以上描述多显示设备100时已经描述了拍摄器511的具体配置和操作,并且省略冗余说明。
在控制器520的控制下,图像处理器512将已经进行了数字转换的RAW(未处理)数据进行信号处理成可显示数据。
具体地,图像处理器512去除由于对于温度变化灵敏的CCD图像传感器和滤色器阵列(CFA)滤波器中产生的暗电流而发生的黑电平。图像处理器512根据人类视觉的非线性度执行伽马校正来编码信息。图像处理器512执行CFA插值,以将由经伽马校正的数据的RGRG行和GBGB行实现的Bayer图案插值为RGB行。图像处理器512将插值的RGB信号转换为YUV信号,使用高通滤波器执行边缘补偿以对Y信号滤波并清楚地处理图像,使用标准颜色坐标执行颜色校正以校正U和V信号的颜色值,并去除噪声。
图像处理器512对已去除了噪声的Y、U和V信号进行压缩和信号处理来产生JPEG文件,并在存储器540中存储产生的JPEG文件。ADC可以包括在图像处理器512中。
此外,图像处理器512可以不包括在输入笔500-1中,可以包括多显示设备100中。在这种情况下,通过通信器530向多显示设备100发送经过拍摄器511预处理的图像信息,并且多显示设备100的图像处理器112执行图像处理。
上述图像处理器512的图像处理操作仅仅是示例,可以按照其他方法执行图像处理。
充电器580从多显示设备100接收DC电力,对输入笔500-1中嵌入的二次电池进行充电,并向电源590提供所充电力。充电器580包括接触端子581和充电电路582。
当输入笔500-1经由在多显示设备100中设置的用于安装输入笔500-1的连接器(未示出),安装在多显示设备100上时,接触端子581将输入笔500-1与多显示设备100的电源连接。如图24所示,接触端子581可以从输入笔500-1的侧表面突出,并可以由导电金属材料(例如铜)制成。
充电电路582用通过接触端子581提供的DC电力对输入笔500-1充电。充电电路582包括二次电池,并用通过接触端子581提供的电力对二次电池充电。二次电池可以是镍电池、镉电池和镍镉电池之一,但不限于此。当二次电池充满电时,即使输入DC电力,充电电路582也可以不对二次电池充电。
电源590向输入笔500-1供电。电源590接收来自充电的二次电池的电力并向每个元件传送电力。在假设输入笔500-1的每个元件需要电力供应的情况下,电源590设置最大功耗。当多显示设备100的部件不操作时,电源590传送最小电流。然而,由于例如附着至输入笔500-1的摄像机就操作,需要大功耗时,根据电源电流使能信号提供必要电流。
如上所述,通信器530与多显示设备100通信。具体地,通信器530向多显示设备100发送由拍摄器511拍摄的图像信息。
通信器530包括有线通信器531和无线通信器532。无线通信器532可以包括如上所述的短距离无线通信模块,将省略对其具体描述。
有线通信器531通过线路连接至多显示设备100,并与多显示设备100通信。有线通信器531可以包括通信端子531’,如图24所示。通信端子531’与多显示设备100的通信模块接触并与多显示设备交换数据。通信端子531从输入笔500-1的一个侧表面突出,并且当输入笔500-1安装在多显示设备100中时与通信模块接触。
存储器540存储从图像处理器512输出的图像数据,或者当图像处理器512存在多显示设备100中时存储从拍摄器511输出的图像数据。存储器540可以用作临时存储图像的缓冲器,并将图像传送给多显示设备100。在本发明总构思的另一示例实施例中,输入笔500-1可以不包括存储器540。在这种情况下,输入笔500-1实时地向多显示设备100发送拍摄的图像数据。
控制器520控制输入笔500-1的操作。具体地,控制器520控制拍摄器511拍摄图像,并控制图像处理器512处理拍摄的图像。此外。控制器520可以控制通信器530向多显示设备100发送数据,或者可以控制存储器540存储图像数据。控制器520可以包括MPU或CPU、以及操作MPU或CPU的OS。
上述输入笔500-1的配置可以包括外壳551、连接臂552、笔尖556,如图22到24所示。
外壳551在内部空间中包括输入笔500-1的配置。在本发明总构思的示例实施例中,外壳551可以在圆柱形内部空间中包含与上述图像处理器512、电源590、存储器540、充电器580、控制器520、和通信器530对应的电路部分。外壳551的一端与笔尖556连接,另一端与连接臂552连接并由此与上述拍摄器511连接。充电器580的接触端子可以从外壳551的一个侧表面突出,并且上述有线连接器531的通信端子531’可以从另一个侧表面突出。
连接臂552与外壳551的一端连接并将外壳551连接至拍摄器511。可以在外壳551的一端处与外壳551平行地形成两个相对的连接臂552,并且可以通过转轴(未示出)将连接臂552与拍摄器511的外壳5112的相对侧连接。因此,拍摄器511关于转轴(未示出)是可旋转的。因此,拍摄器511可以拍摄位于其前面的对象,也可以转向并拍摄位于其上方或后方的对象。
包括笔尖556以接触(触摸-敲击)多显示设备100的显示器190a和190b。在本发明总构思的示例实施例中,笔尖556从外壳551沿拍摄器511的相反方向延伸,并以圆锥形状突出。
此外,虽然未示出,但是其中拍摄器511与连接臂552相连的部分(下文中,称为笔头)可以可旋转地连接至外壳552。由于上述配置,拍摄器511不仅可以拍摄位于其前方的对象,也可以拍摄位于其侧面或后方的对象。此外,在执行360°拍摄时拍摄器511可以拍摄全景图像。
当如图23所示,上述输入笔500-1与多显示设备100连接时,输入笔500-1可以用作多显示设备100内的摄像机。由于如上所述拍摄器511关于转轴(未示出)可旋转,所以拍摄器511可以调整为面向第一和第二显示器190a和190b的正面或面向背面。当拍摄器511放置为面向第一和第二显示器190a和190b的正面时,拍摄器511拍摄第一和第二显示器190a和190b前方的对象,通过有线通信器531将拍摄的图像传送给多显示设备100,并在第一和第二显示器190a和190b上显示图像。另一方面,当拍摄器511放置为面向第一和第二显示器190a和190b的背面时,拍摄器511拍摄第一和第二显示器190a和190b后方的对象,通过有线通信器531将拍摄的图像传送给多显示设备100,并在第一和第二显示器190a和190b上显示图像。
当输入笔500-1与多显示设备100断开时,输入笔500-1通过拍摄器511拍摄图像并通过无线通信器532向多显示设备100发送拍摄的图像。下面将说明本发明总构思的多种示例实施例。
下文中,说明根据本发明总构思的示例实施例的包括拍摄功能的输入笔500-2以及多显示设备100。
图25是示出了根据本发明总构思的示例实施例的输入笔500-2的配置框图,图26是示出了图25的输入笔500-2与多显示设备100之间的数据交换的视图。
参照图25,根据本发明总构思的多个示例实施例的输入笔500-2包括拍摄器511、图像处理器512、按钮560、控制器520、通信器530和存储器540。
由于拍摄器511、图像处理器512、控制器520、通信器530和存储器540与上述输入笔500-1的那些相同,所有仅附加地说明按钮560。然而,如上所述,图像处理器512可以不包括在输入笔500-2中,并可以包括在多显示设备100中,可以相对于从输入笔500-2接收的图像执行图像处理。
按钮560接收用户输入。按钮560可以包括由用户触摸(敲击)或由压力按压的按钮561。按钮561可以使用如下所有配置来实施:通过这些配置,用户通过用用户手指触摸例如触摸面板、触摸屏和机械按钮等来输入输入笔500-2的预定控制命令。
在本发明总构思的示例实施例中,按钮561可以从输入笔500-2的外表面突出,并可以如图27所示被机械地按压。按钮可以是转轮按钮、推动按钮和开关按钮中的至少一个。
通过按压输入笔500-2的按钮561,或通过按压按钮561并然后释放按钮561,用户通过输入笔500-2向多显示设备100发送预定命令。按钮561形成为穿透过外壳551的侧表面并由外壳551中的弹簧支撑。因此,当被按压时按钮561插入到外壳551中,并且当被释放时,由于弹簧的复原力,按钮561恢复到其原始状态。
当按压按钮561时,控制器520控制拍摄器511开始拍摄,并控制通信器530将拍摄的图像数据发送给多显示设备100。
多显示设备100可以通过第一和第二显示器190a和190b显示从输入笔接收的图像数据。用户可以在被允许观看所显示图像数据的同时,执行多种操控,例如存储、删除、编辑、转发和附加。
图27和28是示出了根据本发明总体构思的示例实施例,当输入笔500-2拍摄图像并向多显示设备100发送所拍摄图像时的拍摄方法的视图。
例如,如图27所示,当按压输入笔500-2的按钮561时,拍摄器511拍摄对象2710,例如,小鸟。当再次按压按钮561时,向多显示设备100发送所拍摄的图像数据。然而,即使在已拍摄了对象之后不按压按钮561时,也可以自动向多显示设备100发送所拍摄的图像。多显示设备100的左显示器,即第一显示器190a,显示所拍摄的小鸟的图像2720。
在图28中,用于执行拍摄的拍摄按钮2830设置在多显示设备100上。输入笔500可以向多显示设备100发送对象2810的实况视图。控制器130可以在第一和第二显示器190a和190b中至少一个上显示该实况视图。在图28中,对象2810的实况视图仅在左显示器,即第一显示器190a上显示为图像2820。用户可以在观看实况视图的同时,在他/她想要拍摄对象2810时触摸实况图像。
为此,多显示设备100包括触摸屏。这样,当在作为触摸屏的第一和第二显示器190a和190b中至少一个上显示拍摄按钮2830时,用户通过触摸按钮2830来拍摄对象2810,从而捕获图像2820。然而,拍摄按钮2830可以不显示。在这种情况下,用户可以通过触摸第一和第二显示器190a和190b中至少一个的预定区域来拍摄图像。
下文中,说明使用输入笔500-2的拍摄功能时的多种场景。
图29是根据本发明总构思示例实施例,使用具有上述拍摄功能的输入笔500-2来再现自然色的方法的视图。
在图29中,对象2920是小鸟,用户通过将输入笔500-2的拍摄器511放置在小鸟翅膀邻近来拍摄小鸟。如图27所示,用户可以通过按压输入笔500-2的按钮561来拍摄小鸟。可以通过通信器530向多显示设备100发送所拍摄的图像2930,并且多显示设备100可以在第一和第二显示器190a和190b中至少一个上显示发送来的图像。多显示设备100可以在第一和第二显示器190a和190b中的另一个上显示所拍摄图像可适用的多种工具或菜单。
例如,如图29所示,可以在多显示设备100的左显示器,即第一显示器190a的上端上显示调色板2910,调色板2910检测所拍摄图像的颜色并显示颜色坐标上该颜色的位置。用户可以识别调色板2910上的颜色2911,并可以根据他/她自己的品味来改变颜色2911。此外,可以在左显示器,即第一显示器190a的下端显示工具箱2912。工具箱2912指示了输入笔600-2当前设定并利用的笔工具类型。例如,存在多种类型的笔工具,例如细彩色铅笔、粗彩色铅笔、细油画刷、圆珠笔、粗油画刷、细水彩画刷和粗水彩画刷。用户可以根据用户偏好来选择输入笔500-2要利用的笔工具类型。例如,用户可以用细彩色铅笔在素描时上色。在这种情况下,用户通过用用户的手或输入笔500-2触摸(敲击)细彩色铅笔的图标,从工具箱2912中选择细彩色铅笔。在图29中,选择细彩色铅笔以由输入笔500-2使用,并且当用户通过输入笔500-2的笔尖触摸(敲击)右显示器(即第二显示器190b)的图片时,在触摸点处再现所检测的颜色或纹理并显示。
然而,上述示例仅仅是本发明总构思的示例实施例。当通过输入笔500-2检测到所拍摄图像2930的颜色2911时,多显示设备100的第一和第二显示器190a和190b可以显示与上述所拍摄图像2930不同的图像。例如,虽然未示出,但是可以在左显示器(即,第一显示器190a)上显示所检测颜色的名称,并可以显示指示了颜色2911的框。这样,用户可以直观地识别所检测颜色的名称和颜色。
除了颜色,还可以从所拍摄图像检测纹理,并且当用户通过输入笔500-2触摸(敲击)显示器上的图片时,可以在触摸点处再现纹理。
图30是示出了根据本发明总构思示例实施例的利用具有上述拍摄功能的输入笔500-2来编辑图像的方法的视图。
参照图30,用户可以按照与上述本发明总构思示例实施例中相同的方式,使用输入笔500-2来拍摄对象3020(图30的视图(1))。所拍摄图像发送至多显示设备100。
另一方面,用户可以使用用户的手指或输入笔500-2,在第一和第二显示器190a和190b中至少一个上指定要向其插入所拍摄图像的区域3040。在图30中,用户可以通过画圈来指定区域3040。
当指定了区域时(图30的视图(2)),多显示设备100的控制器130控制第一和第二显示器190a和190b中至少一个在指定区域3040中显示所拍摄图像3060(图30的视图(3))。因此,可以调整所拍摄图像3060具有根据指定区域3040的大小或形状的大小或形状。例如,当用户对显示器以圆形方式执行拖动输入时,将所拍摄图像3060编辑为圆形并显示在圆形的指定区域3040中。
可以通过多种应用来使用由输入笔500-2拍摄的图像360。
图31是示出了根据本发明总构思另一示例实施例,在美发沙龙中使用的理发应用的情况的视图。
当用户在美发沙龙中理发时,用户难以看到他/她的轮廓或他/她头后部的头发。虽然用户可以通过观看从镜子反射的图像来检查他/她的头发,但是用户使用反射图像难以准确地检查他/她的头发。这样,本发明总构思允许使用输入笔500-2拍摄顾客的轮廓或顾客头后部,从而将所拍摄图像发送给多显示设备100以在第一和第二显示器190a和190b中至少一个上显示。
如图31所示,通过左显示器(即,第一显示器190a)识别当前所拍摄图像3120,并可以在右显示器(即,第二显示器190b)上显示叠加图像3130到3160,这些图像是在用户的头发式样改变时产生的。即,可以在第一和第二显示器190a和190b中至少一个上显示用户头发的当前状态的图像3130,也可以在第一和第二显示器190a和190b中的该至少一个上显示:图像3140,示出了直发的改变;图像3150,示出了时髦式样的改变;以及图像3160,示出了短发的改变。顾客可以通过第一和第二显示器190a和190b直接检查他/她的轮廓或头后部,而无需查看从镜子反射的图像。本发明总构思的上述示例实施例不限于美发沙龙中使用的理发应用,可以用在本发明总构思的多种示例实施例中。
下文中,说明根据本发明总构思示例实施例,输入笔500-2和可以从所拍摄图像中检测对象的多显示设备100的配置和操作。
图32和33是示出了根据本发明总构思多个示例实施例,执行光学字符识别(OCR)的输入笔500-2’、输入笔500-2”、以及多显示设备100的配置框图。图34是示出了通过图32或33的输入笔500-2’、输入笔500-2”、以及多显示设备100来执行OCR功能的情况的视图。
可以使用具有上述拍摄功能的输入笔来执行OCR。即,输入笔可以分析所拍摄的图像并提取字符。
参照图32,输入笔500-2’向多显示设备100发送所拍摄图像,多显示设备100执行OCR。在这种情况下,输入笔500-2’包括与上述输入笔500-2的配置相同的配置。
然而,虽然图中未示出,但是输入笔500-2’可以用于解译数学式。输入笔500-2’向多显示设备100发送所拍摄图像,多显示设备100分析所拍摄图像,检测数学式,执行关于数学式的搜索或识别所检测的数学式,并使用预定算法计算数字式。可以在第一和第二显示器190a和190b上显示计算结果。
多显示设备100可以包括短距离通信模块113、OCR处理模块123、控制器130、第一和第二显示器190a和190b、以及搜索器127。
除了下述内容,每个元件具有上述相同配置。
短距离通信模块113使用短距离通信技术从输入笔500-2’接收所拍摄图像。如果接收的图像尚未处理,则将图像发送给图像处理器(未示出)。当接收到经过了处理的图像数据时,向OCR处理模块123发送图像数据。
OCR处理模块123是分析图像并检测字符的模块。OCR处理模块123可以按照用户可执行的用户应用形式存储在存储器170中,并可以由控制器130执行,或者可以按照独立芯片组的形式包括作为多显示设备100的元件。OCR包括检测图像中包括的多种字符的多种技术。例如,如果除了字符、数字和符号之外,图像还表示具体数学式,则OCR处理模块123可以检测数学式中包括的数学符号和数字。然而,在数学式的情况下,分离的数学式处理模块(未示出)可以从图像中提取数学式,计算数字式并将搜索结果发送给控制器130。OCR处理模块123使用多种OCR算法从图像中检测字符。OCR算法是本领域普通技术人员熟知的,并且不是本发明总体构思的示例实施例的技术特征,因此这里不详细描述。
控制器130控制OCR处理模块123从通过短距离通信模块113接收的图像中检测字符数据,并在检测到字符时,通过搜索器127搜索字符,并在第一和第二显示器190a和190b中至少一个上显示字符。此外,如果需要,控制器130在存储器170中存储检测到的字符。
搜索器127执行对检测到的字符的搜索。搜索引擎不限,搜索器127可以通过互联网或在存储器170中存储的数据之中执行搜索。搜索器127向控制器130发送搜索结果。
图33是示出了包括OCR处理模块的输入笔500-2”的框图。
参照图33,输入笔500-2”包括拍摄器511、图像处理器512、OCR处理模块515、控制器520、存储器540和通信器530。
存储器540存储从OCR处理模块515输出的字符的有关信息。
由于上述元件具有与如上所述的输入笔500-2’和多显示设备100的那些元件相同的名称和功能,所以省略重复说明。
多显示设备100从输入笔500-2”接收指示了从所拍摄图像检测字符的结果的TEXT(文本)信息,存储TEXT信息或通过搜索器127执行搜索,并在显示器190上显示搜索结果。
参照图34,当读书3410时,用户通过输入笔500-2’或500-2”的拍摄器511拍摄用户想要查阅的部分。通过通信器530将所拍摄图像发送给多显示设备100。如果OCR处理模块515包括在输入笔500-2’或500-2”中,向多显示设备100发送根据OCR结果的文本信息。多显示设备100通过搜索器127执行搜索。在左显示器(即第一显示器190a)上显示搜索结果3420。用户通过用输入笔500-2的笔尖556触摸(敲击)右显示器(即,第二显示器190b),激活记事簿3430,进行记录,并存储搜索结果或编辑搜索结果。
图35是示出了根据本发明总构思另一示例实施例的执行OCR功能的图32或33的输入笔500-2’或500-2”的视图。
用户可以在读书或看街道上的标牌时无意发现他/她不知道的词语。用户希望知道餐馆标牌上书写的词语“grool”的意思。用户可以在按压输入笔500-2’或500-2”的按钮561的同时将拍摄器511放置在对应词语附近,通过在该词语上拖动输入笔500-2’或500-2”来扫描词语,并且将输入笔500-2’或500-2”放置在背面(图35的视图(1))。拍摄器511扫描词语“grool”,并且向多显示设备100发送对通过OCR处理模块515从扫描图像检测到的字符“g”、“r”、“o”、“o”和“l”加以指示的文本数据,或者“grool”图像本身。多显示设备100向搜索器127发送接收到的对通过OCR处理模块515从“grool”图像检测到的字符“g”、“r”、“o”、“o”和“l”加以指示的文本数据。搜索器127执行搜索,并且控制器在左显示器(第一显示器190a)上显示搜索结果,“great&cool”。右显示器(第二显示器190b)显示用户可以使用的应用图标3530。用户可以期望将搜索结果更新到社交网络服务(SNS)。当用户利用输入笔500-2’或500-2”选择SNS图标3531时,右显示器,第二显示器190b执行SNS(图35的视图(2))。左显示器(第一显示器190a)显示“移动”按钮3540,并且通过利用输入笔500-2’或500-2”触摸“移动”按钮3540(图35的视图(3)),在右显示器(第二显示器190b)上显示书写检测到的文本数据和搜索结果的SNS屏幕。当用户利用输入笔500-2’或500-2”触摸(敲击)“完成书写”按钮3550时,在SNS账户上书写句子“Grool:great&cool”(图35的视图(4))。
图36是示出了根据本发明总构思另一实施例,执行OCR功能的图32或33的输入笔500-2’或500-2”以及多显示设备100的视图。
用户可以通过输入笔500-2’或500-2”的拍摄器511拍摄在从别人接收到的名片上书写的地址。按照与上述示例实施例相同的方式,用户将拍摄器511放置在要扫描的名片的部分上,当用户在按压按钮561的同时拖动输入笔500-2’或500-2”,然后释放按钮561时,扫描与拍摄器511移动的位置对应的名片区域。OCR处理模块515从所拍摄图像检测字符。向多显示设备100发送根据检测结果的文本信息。多显示设备100的左显示器(即,第一显示器190a)显示在名片上书写的地址3610,即,扫描的文本(图36的视图(1))。如果需要,用户可以通过用输入笔500-2’或500-2”的笔尖556触摸(敲击)“复制”或“编辑”按钮3620,来复制或编辑地址3610。按照与上述示例实施例相同的方式,右显示器(即,第二显示器190b)显示可用应用的图标(图36的视图(2))。用户选择地图应用3630(图36的视图(3))。于是,地图应用3630显示在右显示器(即,第二显示器190b)上。用户通过触摸(敲击)导航按钮3640来执行导航。该导航进行搜索以找到包括作为OCR识别结果的文本在内的地址3610,并运行导航系统。
图37是示出了根据本发明总构思另一示例实施例,执行OCR功能的图32或33的输入笔500-2’或500-2”和多显示设备100的视图。
如图37所示,用户可以阅读书中的语句“the happy moment...”,通过OCR识别该语句,并可以将其上载到他/她自己的SNS。类似于上述本发明总构思示例实施例,用户将输入笔500-2’或500-2”的拍摄器511放置在书中要拍摄的语句附近,并在按压按钮561的同时扫描语句。用户在扫描结束时释放按钮561。当释放按钮561时,扫描完成,将拍摄的图像发送给多显示设备100,并且多显示设备100的左显示器(即,第一显示器170a)显示扫描的图像3710“the happymoment”(图37的视图(1))。如上所述,输入笔500-2’或500-2”的OCR模块可以检测字符,或者可以只发送图像而不检测字符。用户使用输入笔500-2’或500-2”将扫描的图像3710拖到右显示器(即,第二显示器190b)(图37的视图(2))。在右显示器(即,第二显示器190b)上激活SNS3720(图37的视图(2)),并且直接在SNS3720上书写用户拖动的图像,在SNS3720上显示“the happy moment”(图37的视图(4))。
图38和39是示出了当输入笔500-2拍摄对象时,多显示设备100显示所拍摄图像的视图。
参照图38,用户通过按压输入笔500-2的按钮561来激活输入笔500-2的摄像机模式。当按压按钮561时,输入笔500-2的通信器530向多显示设备100发送通知了当前模式是摄像机模式的信号,多显示设备100通过通信器110从输入笔500-2接收该通知了当前模式是摄像机模式的信号,并实时地在左显示器(即,第一显示器190a)上显示拍摄的图像。在这种情况下,向多显示设备100发送以预定间隔拍摄的静止图像,并且多显示设备100一接收到静止图像就在左显示器(即,第一显示器190a)上显示静止图像,使得实际上以运动图像3820的形式来显示拍摄的图像。即,如图38所示,输入笔500-2要拍摄的真实小鸟3810实质上与多显示设备100的左显示器(即,第一显示器190a)上显示的小鸟图像3820相同,除了稍微的时延之外。在这种情况下,右显示器(即,第二显示器190b)以缩略图形式3830显示先前拍摄的图像。
参照图39,通过再次按压输入笔500-2的按钮561,用户确定在按压按钮561的时刻捕获的静止图像为最终图像。在这种情况下,将最终确定的静止图像发送给多显示设备100,并且多显示设备100的左显示器(即,第一显示器190a)显示最终确定和拍摄的静止图像3920。相应地,在此之后的小鸟的运动3910实质上不同于在多显示设备100上显示的静止图像3920(其为小鸟图像)。此外,在多显示设备100的右显示器(即,第二显示器190b)上,向缩略图3930添加该最终确定和拍摄的静止图像的缩略图3931。
然而,上述多显示设备100的显示仅仅是示例,只要包括本发明总构思的示例实施例的配置,则其他任何修改都是可以的。
图40是示出了根据本发明总构思的示例实施例,多显示设备100的相册的视图。
按照上述方法拍摄或按照其他方法接收的图像可以按照相册形式来显示。控制器130可以控制读出存储器170中存储的图像,并按照缩略图形式在显示器190a和190b之一上显示图像。在这种情况下,当用户用输入笔500或用户的手触摸(敲击)显示的缩略图4020之一时,可以在没有显示缩略图的另一显示器上按照全尺寸来显示对应图像。当以全尺寸显示一个图像,并且用户触摸(敲击)缩略图之中的另一图像时,用另一图像替换全尺寸显示的一个图像。即,当全尺寸图像4010显示在左显示器(即,第一显示器190a)上(如图40的视图(1)所示),并且从右显示器(即,第二显示器190b)的缩略图之中触摸(敲击)猫图像的缩略图4021时,用猫图像4022的全尺寸图像替换全尺寸图像4010,并且在左显示器(即,第一显示器190a)上显示猫图像4022,如图40的视图(2)所示。
图41是示出了根据本发明总构思多个示例实施例的输入笔500-3的外观的视图。
如图41所示,根据多个示例实施例的输入笔500-3的上述按钮560可以包括按钮561和562。这两个按钮可以用作用于将输入笔500-3的输入多样化的装置。例如,当输入笔500-3向上述输入笔500-2那样包括拍摄功能,并且下按钮561被按压时,可以拍摄静止图像,当下按钮561被按压时,可以拍摄运动图像。此外,当用户在比预定时间更长的时间上触摸(触摸&保持)上按钮562时,可以拍摄连续的静止图像。输入笔500-3包括与上述输入笔500-2的配置相同的配置,并省略重复描述。
图42是示出了根据本发明总构思多个示例实施例的输入笔500-4的外观的视图。
如图42所示,根据多个示例实施例的输入笔500-4的上述按钮560可以包括按钮561和562,并且还包括可旋转的转轮563。转轮563可以用于执行滚动功能。即,当沿一个方向旋转转轮563时,产生向上滚动信号并通过通信器530发送给多显示设备100,当沿另一方向旋转转轮563时,产生向下滚动信号并通过通信器530发送给多显示设备100。多显示设备100执行对应于向上滚动信号或向下滚动信号的事件。
图43是示出了使用图42的输入笔500-4和多显示设备100来控制呈现执行的方法的示例视图。
在图43中,输入笔500-4可以用作遥控器,用于控制多显示设备100中执行的呈现。
即,当在多显示设备100中执行呈现时,用户控制通过按压输入笔500-4的下按钮561一次来控制显示呈现的下一页。即,当按压输入笔500-4的下按钮561时,产生对应信号并通过通信器530发送给多显示设备100,并且多显示设备100的控制器130产生控制命令以显示正在执行的呈现的下一页,并控制显示该呈现的下一页(图43的视图(1)、(2)和(3))。
用户也可以通过按压输入笔500-4的上按钮562,使用输入笔500-4来控制多显示设备100显示呈现的前一页。即,当按压输入笔500-4的上按钮562时,产生对应信号并通过通信器530发送给多显示设备100,并且多显示设备100的控制器130产生控制命令以显示正在执行的呈现的前一页,并控制显示该呈现的前一页(图43的视图(4))。
用户可能想要回到呈现的第一页。这是因为呈现的第一页可能包括与呈现的内容目录有关的信息,在执行呈现时用户需要查看内容目录。为了返回第一页,用户可以在比预定持续时间长的时间上按压(触摸&保持)输入笔500-4的下按钮561。即,当在比预定时间更长的时间上触摸(触摸&保持)上按压输入笔500-4的下按钮561时,产生对应信号并通过通信器530发送给多显示设备100,并且多显示设备100的控制器130产生控制命令以显示正在执行的呈现的第一页,并控制显示该呈现的第一页(图43的视图(5))。此外,当在比预定时间更长的时间上触摸(触摸&保持)上按压输入笔500-4的上按钮562时,产生对应信号并通过通信器530发送给多显示设备100,并且多显示设备100的控制器130产生控制命令以显示正在执行的呈现的最末页,并控制显示该呈现的最末页(未示出)。
用户可以通过自然地滚动来翻页,以有效地提供更平滑的呈现或发送连续信息。在这种情况下,用户可以通过滚动输入笔500-4的转轮563来自然滚动到下一页。即,用户可以通过向上滚动来自然滚动到下一页,或者可以通过向下滚动来自然滚动到前一页。然而,上述向上和向下滚动方向仅仅是示例,可以实施相反的方向。当沿预定方向旋转输入笔500-4的转轮563时,产生对应信号并通过通信器530发送到多显示设备100,多显示设备100的控制器130显示示出了呈现自然地滚动下一页的图像,产生最终显示下一页的控制命令,并控制滚动和显示呈现的页面(图42的视图(6))。
图44是示出了使用图42的输入笔500-4和多显示设备100来执行输入工具的方法的示例的视图。
参照图44,用户可以通过双击输入笔500-4的上按钮562,在右显示器(即,第二显示器190b)上显示工具条4410(图44的视图(1))。此时,将其上显示了工具条的屏幕调暗。然后,当用户旋转转轮563时,按顺序激活工具条4410上的菜单项4411。例如,当在输入笔500-4的笔尖朝下的情况下沿顺时针方向旋转转轮563时,按顺序激活显示器上的上游菜单项,当沿逆时针方向旋转转轮563时,按顺序激活显示器上的下游菜单项(图44的视图(2))。此时,当按压输入笔500-4的下按钮561时,选择激活的菜单项。可以按照图44所示的分级结构形成工具条中包括的菜单项。即,当选择第一层的某个菜单项时,显示与所选菜单项有关的第二层菜单,并且当选择第二层的某个菜单项时,显示与所选菜单项有关的第三层菜单(图44的视图(3))。当完成最下层菜单项的选择时,工具条4410自动消失。然而,用户可以通过双击输入笔500-4的上按钮562来使工具条4410自动消失。当工具条4410消失时,显示器退出调暗屏幕并恢复到其原始屏幕(图44的视图(4))。
下面,说明根据本发明总构思多个示例实施例,具有运动感测功能的输入笔500-5的配置。
图45和46是根据本发明总构思示例实施例的,具有运动感测功能的输入笔的配置框图。
参照图45和46,根据本发明总构思多个示例实施例的输入笔500-5和500-5’包括运动传感器514、控制器520、存储器540和通信器530。
除了下面新说明的特征之外,输入笔500-5的每个元件的特征和功能与具有相同名称的元件的特征和功能相同。
参照图45和46,运动传感器514感测输入笔500-5的运动并向控制器520发送感测结果。
参照图45,控制器520控制通过通信器530将运动传感器514感测的输入笔500-5的运动发送给多显示设备100,并且在存储器540中存储关于输入笔500-5的运动的信息。
图46是示出了与图45的输入笔类似的输入笔500-5’的本发明总构思的另一示例实施例。如图45所示,运动传感器514可以包括陀螺仪传感器5140、地磁传感器5141、以及加速度传感器5142,但不限于此。此外,本发明总构思的示例实施例,运动传感器514可以不必包括这些传感器的全部,可以包括这些传感器中的至少一个。
陀螺仪传感器5140可以用于通过检测旋转速度来确定运动或位置。加速度传感器5142可以用于感测运动对象的加速度,但是可以主要用于感测重力加速度。此外,地磁传感器5141是通过检测磁场流来感测方位角的传感器,并可以用于感测方向。除了这些,还可以包括用于感测对象的IR的IR传感器、以及用于感测所施加压力的幅度的压力传感器。
不同于图45的输入笔500-5,图46的输入笔500-5’还包括信号处理器516。信号处理器526根据感测结果执行必要的信号处理。例如,当陀螺仪传感器5140感测到旋转速度时,信号处理器516可以校正误差,或者可以根据某一目的,通过乘以权值来归一化感测值。信号处理器516可以作为硬件配置包括在多显示设备100中,并可以在应用终端上执行相同功能。
下文中,参照附图描述根据本发明总构思多个示例实施例的包括运动传感器514的输入笔500-5、以及多显示设备。此外,可以输入笔500-5可以与输入笔500-5’可互换地使用。
图47是示出了根据本发明总构思示例实施例,通过根据输入笔500-5的倾斜改变输入笔500-5的设置,来执行多显示设备100上的输入的方法的视图。
考虑绘制图画的用户体验,用户可以根据使用工具的目的来改变工具和表面间的角度。例如,当用户用铅笔素描时,用户与表面几乎成直角地拿着铅笔以绘制精确线条。这是因为只有当铅笔芯与表面接触的面积窄时,才能绘制精确线条。相反,为了用铅笔绘制粗线条,可以减小铅笔与表面间的角度。由于铅笔芯通常具有圆锥形状,越往下截面逐渐变小,所以用户倾斜铅笔以增大铅笔芯与表面彼此接触的面积。此外,当除了绘制粗线条之外,用户还想用铅笔对图画上色时,例如,当用户在绘制设计图时向用铅笔在图画中加阴影时,可以最小化铅笔芯与表面间的角度。即,由于铅笔芯的侧表面应该与表面紧密接触,所以可以按照几乎平放的位置来使用铅笔。
这种用户体验可以用作输入笔500-5的本发明总构思示例实施例。即,当输入笔500-5触摸(敲击)第一显示器190a和第二显示器190b中至少一个时,多显示设备100的控制器130可以根据输入笔500-5相对于第一显示器190a和第二显示器190b中至少一个的触摸表面倾斜的方向,来控制执行不同操作。
输入笔500-5(即,输入笔500-5’)相对于触摸表面的倾斜度可以由输入笔500-5的加速度传感器5142感测。加速度传感器5142可以用于感测输入笔500-5的倾斜度。
加速度传感器5142可以使用2轴或3轴实现。例如,如果使用2轴加速度传感器来实现加速度传感器5142,则加速度传感器5142包括彼此相交的X轴加速度传感器和Y轴加速度传感器(未示出)。如果使用3轴加速度传感器来实现加速度传感器5142,则加速度传感器5142包括X轴加速度传感器、Y轴加速度传感器和Z轴加速度传感器,这些加速度传感器沿不同方向放置并彼此相交。
加速度传感器5142将X、Y和Z轴加速度传感器中每一个的输出值转换为数字值,并将数字值提供给预处理器(未示出)。预处理器(未示出)可以包括斩波电路、放大电路、滤波器和A/D转换器。因此,对从3轴加速度传感器输出的电信号进行斩波、放大、滤波,然后转换为数字电压值。
控制器520执行归一化以将每个轴的预处理过的输出信号映射到预定范围内,并使用归一化值来计算螺旋角(pitch angle)和横摇角(rollangle)。
例如,如果提供2轴加速度传感器,则控制器520使用下式执行归一化:
[式1]
X t norm = ( Xt - X t offset ) X t Scale
Y t norm = ( Yt - Y t offset ) Y t Scale
t offset = X t max + X t min 2 , X t Scale = X t max - X t min 2
Y t offset = Y t max + Y t min 2 , Y t Scale = Y t max - Y t min 2
在式1中,Xt和Yt分别是X轴和Y轴加速度传感器的输出值,Xtnorm和Ytnorm分别是X轴和Y轴加速度传感器中的归一化值,Xtmax和Xtmin分别是Xt的最大值和最小值,Ytmax和Ytmin分别是Yt的最大值和最小值,Xtoffset和Ytoffset是X轴和Y轴加速度传感器的偏移值,以及XtScale和YtScale是X轴和Y轴加速度传感器的传感器标度值。可以通过将其中安装了加速度传感器5142的输入笔500-5旋转多次,来提前计算Xtoffset和Ytoffset、以及XtScale和YtScale,并且可以将这些值存储在加速度传感器5142中提供的存储器540中。
控制器520可以通过将式1的每个轴加速度传感器的归一化值代入式2来计算螺旋角和横摇角:
[式2]
θ=sin-1(Xtnorm)
φ = sin - 1 ( Y t norm cos θ )
其中θ是螺旋角,以及φ是横摇角。
控制器520通过比较螺旋角和横摇角的有关信息与存储器540中预存的信息,来确定输入笔500-5的倾斜度。
此外,如果使用3轴加速度传感器来实现加速度传感器5142,则控制器520可以执行归一化以将接收到的通过预处理器的X、Y和Z轴加速度传感器的输出值映射到预定范围的值,并可以使用归一化值来计算螺旋角和横摇角。
控制器520通过比较螺旋角和横摇角的有关信息与存储器540中预存的信息,来确定输入笔500-5的倾斜度。
上述方法计算的倾斜值指示了输入笔500-5相对于表面的倾斜,并且输入笔500-5通过通信器530将计算的倾斜值发送给多显示设备100。
如上所述,多显示设备100包括加速度传感器153,并按照上述方法的类似方法,通过加速度传感器153来计算多显示设备100的倾斜度。
多显示设备100通过通信器110接收输入笔500-5的倾斜值,控制器130使用接收的倾斜值以及通过多显示设备100的加速度传感器153获得的倾斜值,计算输入笔500-5相对于多显示设备100的第一显示器190a和第二显示器190b中至少一个的触摸表面的相对倾斜。因此,获得输入笔500-5朝着多显示设备100的触摸表面的倾斜。
如图47所示,左显示器(即,第一显示器190a)包括尚未编辑或改变的原始图像。即使当编辑右显示器(即,第二显示器190b)上的图像时,第一显示器190a上显示的原始图像也可以保持不变。
当输入笔500-5相对于多显示设备100的触摸表面具有最大倾斜时,即,当输入笔500-5具有大于或等于预定的第一值的倾斜时,确定用户几乎与表面成直角地拿着输入笔500-5,以绘制精确线条4720,并且控制器130可以将输入笔500-5的触摸输入设定为具有从工具箱4730中选择的细线铅笔4731的粗度,以绘制精确线条。因此,当用户用输入笔500-5在第一显示器190a和第二显示器190b中至少一个上绘制线条时,在第一显示器190a和第二显示器190b中至少一个上显示最细线条(即,精确线条4720),如图47的视图(1)所示。
相反,当输入笔500-5相对于触摸表面具有中等倾斜时,即,当输入笔500-5具有小于预定第一值且大于或等于预定第二值的倾斜时,确定用户以与表面成中等角度地拿着输入笔500-5,以绘制粗线条,并且控制器130可以将输入笔500-5的触摸输入设定为具有粗线铅笔4732的粗度,以绘制粗线条。因此,当用户用输入笔500-5在显示器或190b上绘制线条时,在第一显示器190a和第二显示器190b中至少一个上显示粗线条4740,如图47的视图(2)所示。
当输入笔500-5相对于触摸表面具有最小倾斜时,即,当输入笔500-5具有小于预定的第二值的倾斜时,考虑到用户体验,确定用户几乎与表面平行地倾斜输入笔500-5,以进行上色,并且控制器130可以将输入笔500-5的触摸输入设定为显示彩色铅笔4733的上色效果。因此,当用户用输入笔500-5在显示器190a或190b上绘制线条时,在显示器190a或190b上显示最粗线条4750,如图47的视图(3)所示。
此外,如图47所示,可以在工具箱4730上加亮并显示与输入笔500-5的粗度对应的工具类型或关于铅笔粗度的信息。
图48是示出了根据本发明总构思另一示例实施例,通过根据输入笔500-5的倾斜改变输入笔500-5的没置,来执行多显示设备100上的输入的方法的视图。
考虑使用具有笔尖的笔时的用户体验,不像用户使用笔来正常书写的情况一样,用户用力压他/她的笔以写清楚。此时,当用户的手握紧时,用户更有力地拿住笔,并且笔自然而然沿与表面垂直的方向向上推挤,使得笔与表面间的角度增大。
可以在输入笔500-5中利用这种用户体验。如上所述,当输入笔500-5触摸(敲击)第一显示器190a和第二显示器190b中至少一个时,多显示设备100的控制器130可以根据输入笔500-5相对于触摸表面的倾斜度,来控制执行不同操作。可以通过输入笔500-5的加速度传感器5142来感测输入笔500-5相对于触摸表面的倾斜度。
当输入笔500-5相对于触摸表面具有最大倾斜时,即,当输入笔500-5具有大于或等于预定第一值的倾斜时,鉴于上述用户体验,认为用户用力压他/她的笔以写清楚。因此,确定用户几乎与表面成直角地拿着输入笔500-5,以绘制清晰线条,并且控制器130可以将输入笔500-5的触摸输入设定为具有铅笔的粗度,以绘制清晰线条。因此,当用户用输入笔500-5在显示器190a或190b上绘制线条时,在显示器190a或190b上显示粗和清晰线条4810,如图48的视图(1)所示。具体地,当用户用输入笔500-5拖动画出曲线时,可以显示粗的直线。即,将用户的曲线线条输入校正成直线形式。
另一方面,当输入笔500-5相对于触摸表面具有较小倾斜时,即,当输入笔500-5具有小于预定第一值的倾斜时,鉴于上述用户体验,认为用户放松他/她的手并使用笔。因此,确定用户以与表面成中等角度地拿着输入笔500-5,以绘制柔和线条,并且控制器130可以将输入笔500-5的触摸输入设定为具有铅笔的粗度和绘制柔和线条的表示。因此,当用户用输入笔500-5在显示器190a或190b上绘制线条时,在显示器190a或190b上显示细线条4820,如图48的视图(2)所示。在这种情况下,在显示器190a或190b上显示输入笔500-5的轨迹,而不校正。
相应地,如图48的视图(3)所示,所显示的线条的粗度根据输入笔500-5相对于触摸表面的倾斜而改变,并且,可以将输入线条校正为直线形式。
图49是示出了包括运动传感器514的输入笔500-5的本发明总构思扩展示例实施例的视图。
如上所述,运动传感器514可以感测输入笔500-5的运动。例如,当输入笔500-5的笔尖560面向上时,运动传感器514识别输入笔500-5倒置。这种情况可能对应于使用具有橡皮擦的铅笔的用户体验。即,当输入笔500-5倒置并且向多显示设备100输入触摸时,多显示设备100的控制器130识别橡皮擦模式并删除在显示器190a或190b上显示的输入。
图49示出了输入笔500-5的本发明总构思示例实施例,使得用户可以草草地书写和/或意外地删除了输入,但是可以召回原始输入以显示在第一显示器190a和第二显示器190b中至少一个上。
在图49的本发明总构思示例实施例中,用户用输入笔500-5的笔尖560在显示器190a或190b上书写“Go Home”(图49的视图(1))。当输入笔500-5倒置时,多显示设备100识别输入笔500-5的橡皮擦模式,并在以橡皮擦模式通过输入笔500-5的后端570执行触摸输入的点处擦除所显示的单词(图49的视图(2))。下面将说明橡皮擦模式及其功能。然后,用户用输入笔500-5书写“Work”(图49的视图(3))。然后,用户在橡皮擦模式下擦除所显示的单词,并可以书写“Alchol”(图49的视图(4))。此外,用户将输入笔500-5倒置并用输入笔500-5的后端570双击第一显示器190a和第二显示器190b中至少一个,以再次显示多种方案。多显示设备100识别后端570的双击为用于按时间顺序召回在预定时间上已经执行的先前的输入笔500-5的输入,并按时间顺序召回先前执行的输入。即,显示器190a或190b按时间顺序显示书写“Go Home”->擦除->书写“Work”->擦除->书写“Alchol”的一系列过程。
上述加速度传感器5142识别输入笔500-5倒置(笔尖面向上),并向多显示设备100发送与输入笔500-5的位置有关的信息。此时,输入触摸(敲击),多显示设备100的控制器130在触摸点处擦除自从输入笔500-5先前已经执行输入开始所显示的点或线。当执行触摸和拖动时,控制器130擦除自从输入笔500-5先前已经执行输入开始所显示的点或线(图49的视图(5))。
相反,当执行双击时,即,当在预定时间内执行两次触摸时,控制器130控制显示器190a或190b按时间顺序,从预定时间之前召回的输入笔500-5先前已经执行的输入(图49的视图(6))。
下文中,说明根据本发明总构思另一示例实施例,考虑到另一用户体验的输入笔500-5和多显示设备100。
图50是示出了根据本发明总构思另一示例实施例的输入笔500-5和多显示设备100的视图。
许多产品没有考虑到惯用左手的人群。已知10%的人惯用左手,该比率在不同国家有所不同。因此,产品设计考虑到惯用左手的人和惯用右手的人。因此,图50示出了输入笔500-5和多显示设备100的根据本发明总构思示例实施例,其考虑到惯用左手的人和惯用右手的人。
当惯用右手的人在呼叫时用输入笔500-5进行记录时,如图50的视图(1)所示,左显示器(即,第一显示器190a)显示呼叫屏幕5010,右显示器(即,第二显示器190b)显示备忘录屏幕5020。惯用右手的人对于呼叫和进行必要记录没有任何问题。然而,由于惯用左手的人要用他/她的左手在右显示器(即,第二显示器190b)上进行记录,惯用左手的人可能会在呼叫时不经意地用左手触摸到呼叫屏幕上的图标,从而中断呼叫。为避免发生这种情况,惯用左手的人可以尝试在左手与左显示器(即,第一显示器190a)分开的状态下进行记录。然而,在这种情况下,可能难以顺利地进行呼叫。具体地,在视频呼叫的情况下,考虑到摄像机的位置,问题更加严重。
在这种情况下,如果在右显示器(即,第二显示器190b)上显示呼叫屏幕5010,并在左显示器(即,第一显示器190a)上显示备忘录屏幕5020,如图50的视图(2)所示,则惯用左手的人可以容易、毫无问题地进行呼叫并同时进行必要记录。
可以通过在惯用右手的人用他/她的右手拿着输入笔500-5的情况与惯用左手的人用他/她的左手拿着输入笔500-5的情况之间进行区分,并在每种情况下从输入笔500-5向多显示设备100发送不同信号,来实现上述本发明总构思示例实施例。按照下述方法将惯用左手的人和惯用右手的人彼此区分。
首先,可以使用输入笔500-5的地磁传感器5142。地磁传感器5142是通过检测磁场流来检测方位角的传感器。地磁传感器5142检测输入笔500-5的方位角坐标,并基于方位角坐标来检测输入笔500-5放置的方向。此外,可以通过上述加速度传感器51541来检测输入笔500-5的倾斜。向多显示设备100发送感测结果,并在输入笔500-5沿左方向倾斜时(图50的视图(1)),多显示设备100识别惯用左手模式,并且控制器130控制在左显示器(即,第一显示器190a)上显示备忘录屏幕5020,并在右显示器(即,第二显示器190b)上显示呼叫屏幕5010。另一方面,在输入笔500-5沿右方向倾斜时(图50的视图(2)),多显示设备100识别惯用右手模式,并且控制器130控制在右显示器(即,第二显示器190b)上显示备忘录屏幕5020,并在左显示器(即,第一显示器190a)上显示呼叫屏幕5010。
其次,多显示设备100的接近传感器155可以区分惯用左手的人和惯用右手的人。即,当接近传感器155识别到输入笔500-5从左显示器(即,第一显示器190a)的左下端向右上端顺序地靠近时,产生对应信号并发送给控制器130,控制器130识别用户为惯用左手的人,并配置对应显示屏幕。相反,当接近传感器155识别到输入笔500-5从右显示器(即,第二显示器190b)的右下端向左上端顺序地靠近时,产生对应信号并发送给控制器130,控制器130识别用户为惯用右手的人,并配置对应显示屏幕。
然而,如果输入笔500-5的加速度传感器5141感测到加速度改变以将上述情况与用户仅仅用他/她的手触摸左显示器(即,第一显示器190a)或右显示器(即,第二显示器190b)的情况相区分,则可以提高感测精确度。
这样,可以考虑3轴加速度传感器。当加速度传感器是3轴加速度传感器时,控制器130可以执行归一化以将接收到的通过预处理器的X、Y和Z轴加速度传感器的输出值映射到预定范围的值,并可以使用归一化值来计算螺旋角和横摇角。
控制器130通过比较螺旋角和横摇角的有关信息与存储器170中存储的弯曲形状信息和控制器130提供的信息,来确定多显示设备100的倾斜度和倾斜方向。
由于上述陀螺仪传感器5140可以用于感测旋转速度,所以可以感测输入笔500-5的更多运动,因此可以执行多种输入。
图51是示出了根据本发明总构思示例实施例,当输入笔500-5包括陀螺仪传感器时用于区分输入笔500-5的运动的表格的视图。
类型A指示滚动输入笔500-5的操作。类型B是握住输入笔500-5的中心点并向风车那样转动输入笔500-5的输入操作。类型C是像杠杆那样围绕中心点来回半转输入笔500-5的输入操作。类型D是握住输入笔500-5的笔尖556的相反端并半转输入笔500-5的输入操作。类型E是握住输入笔500-5的笔尖556端并半转输入笔500-5的输入操作。类型F是沿长度方向竖向地晃动输入笔500-5的输入操作。
输入笔500-5可以根据每种类型的输入发送不同的输入信号,多显示设备100可以执行对应于每个输入信号的输出。
此外,不同类型输入的组合可以包括一个输入信号。例如,当输入类型A,然后在预定时间内输入类型D时,将输入识别为用于激活多个应用并选择所需应用的输入。
此外,除了图51所示的输入类型之外,还可以执行移动输入笔500-5的多种手势输入。
图52是示出了根据本发明总构思的另一示例实施例的输入笔500-5和多显示设备100的视图。
用户可以通过按压输入笔500-5的按钮560来重放运动图像或暂停运动图像。当重放运动图像5210,并且用户按压输入笔500-5的按钮560时(图52的视图(1)),产生暂停运动图像的暂停信号并将其通过通信器530发送给多显示设备100。多显示设备100的控制器130根据接收到的暂停信号,暂停运动图像5220的重放(图52的视图(2))。此时,当用户再次按压输入笔500-5的按钮560时,产生运动图像的重放信号并将其通过通信器530发送给多显示设备100。多显示设备100的控制器130根据接收到的再现信号,再次重放运动图像5220(图52的视图(3))。此时,用户可以通过沿长度方向竖向地晃动输入笔500-5来执行类型F的输入。在这种情况下,产生类型F输入信号并将其通过通信器530发送给多显示设备100。多显示设备100的控制器130根据接收到的类型F输入信号,快进地重放运动图像5240(图52的视图(4))。
图53是示出了根据本发明总构思的另一示例实施例的输入笔500-5和多显示设备100的视图。
用户可以通过按压输入笔500-5的按钮560来显示运动图像的菜单并可以从菜单中选择图标。当重放运动图像5310(图53的视图(1)),并且用户连续按压输入笔500-5的按钮560两次时(当用户在预定的双击输入内按压按钮560两次时),产生控制运动图像的菜单窗口信号并将其通过通信器530发送给多显示设备100。多显示设备100的控制器130根据接收到的菜单窗口信号,控制显示包括运动图像的可选项目的菜单窗口5230(图53的视图(2))。
此时,用户可以通过握住输入笔500-5的笔尖556的相反端并半转输入笔500-5,来执行类型D输入。此时,当用户执行将输入笔500-5朝上移动的输入操作时,产生用于沿向上方向切换当前菜单窗口的项目并加亮该项目的信号,并将其通过通信器530发送给多显示设备100。多显示设备100的控制器130根据接收到的信号,沿向上方向切换当前菜单窗口的项目并加亮该项目的信号。当切换到菜单窗口的顶部项目,并且沿向上方向执行类型D输入时,切换到菜单窗口的底部项目并将其加亮。
相反,当用户执行将输入笔500-5朝下移动的输入操作时,产生用于沿向下方向切换当前菜单窗口的项目并加亮该项目的信号,并将其通过通信器530发送给多显示设备100。多显示设备100的控制器130根据接收到的信号,沿向下方向切换当前菜单窗口的项目并加亮该项目的信号。当切换到菜单窗口的底部项目,并且沿向下方向执行类型D输入时,切换到菜单窗口的顶部项目并将其加亮。
当用户再次按压输入笔500-5的按钮560时,产生项目选择信号并将其通过通信器530发送给多显示设备100。多显示设备100的控制器130根据接收到的选择信号,选择当前切换到的项目,并根据与所选项目对应的控制命令来显示屏幕。参照图53的视图(3),由于用户在切换到显示另一图像的项目时按压输入笔500-5的按钮560,所以重放另一图像(图53的视图(4))。
可以考虑包括拍摄器511和运动传感器510二者的输入笔500-6。
图54是示出了包括拍摄器511和运动传感器510二者的输入笔500-6的配置的框图,图55是示出了根据本发明总构思示例实施例的输入笔500-6和多显示设备100的视图。
参照图54,输入笔500-6包括运动传感部514、拍摄器511、信号处理器516、图像处理器512、控制器520、存储器540以及通信器530。
每个元件已在上面描述了并省略对其详细描述。
图55是示出了根据本发明总构思示例实施例,使用输入笔500-6和多显示设备100的控制操作的视图。
当读书时用户可能遇到他/她想要搜索的单词(图55的视图(1)),并可以用输入笔500-6拍摄该单词。此时,当输入笔500-6倒置时,运动传感器514识别输入笔500-6的运动,产生对应信号,并经由信号处理器516将该信号发送给控制器520(图55的视图(2))。控制器520将拍摄器511的模式改变到拍摄模式。拍摄器511拍摄图像并将拍摄的图像发送给控制器520(图55的视图(3))。控制器520控制通信器530将拍摄的图像发送给多显示设备100。多显示设备100可以显示拍摄的图像,或者可以识别拍摄的图像中包括的内容,并且执行搜索。以上已经描述的具体操作,这里省略具体说明。
如上所述,输入笔500-6包括拍摄功能和运动感测功能,从而可以执行更多操作。
多显示设备100可以根据输入笔对于多显示设备100的接近来执行不同操作。
图56是示出了根据本发明总构思示例实施例,在输入笔500-7的接近与用户手的接近之间区分的多显示设备100的操作的视图。
参照图56,当输入笔5007接近多显示设备100时,多显示设备100的控制器130操作在笔输入模式,当输入笔500-7之外的用户对象5510接近多显示设备100时,控制器130操作在键盘输入模式,在该模式中,在第一和第二显示器190a、190b之一上显示软键盘。
此时,输入笔500-7可以包括磁场线圈(未示出),并且多显示设备100还可以包括磁场传感器(未示出),以感测根据磁场线圈的磁场改变。由于位于输入笔500-7附近的点的磁场因为输入笔500的磁场线圈而改变,因此可以识别输入笔500-7放置在该对应点附近。此外,上述接近传感器155感测到接近,但是忽略接近传感器155的感测结果。因此,当磁场传感器(未示出)感测到输入笔500-7的接近时,认为模式是笔输入模式,并且显示对应的菜单、项目或屏幕。
相反,当磁场传感器(未示出)没有感测到输入笔500-7的接近而接近传感器155感测到接近时,可以确定不是包括磁场线圈(未示出)的输入笔500-7之外的其他用户对象5510接近多显示设备100,因此,多显示设备100操作在键盘输入模式中,其中在第一显示器190a和第二显示器190b之一上显示软键盘。
在本发明总构思的上述示例实施例中,可以通过输入笔500-7区分手的接近与输入笔500-7的接近。即,当利用输入笔500-7的加速度改变来感测到输入笔500-7的运动,并且通过接近传感器155感测到接近时,可以确定输入笔500-7接近,从而控制器130控制操作在笔输入模式。相反,当没有感测到输入笔500-7的加速度改变,并且通过接近传感器155感测到接近时,可以确定输入笔500-7之外的其他对象接近多显示设备100,由此控制器130控制操作在键盘输入模式,其中在第一显示器190a和第二显示器190b之一上显示软键盘。
由此,使用上述方法,多显示设备100有效地区分手的输入与输入笔的输入,并显示对应菜单或屏幕。
图57是根据本发明总构思示例实施例,感测输入笔500-7的接近的多显示设备100的视图。
参照图57,当用户接收呼叫时(图57的视图(1)),用户可以将输入笔500-7放置在显示屏幕5720附近而不是电话屏幕5710附近(图57的视图(2))。在这种情况下,在输入笔500-7接近的位置上显示备忘录5730,并且用户使用输入笔进行记录(图57的视图(3))。当通过用输入笔500-7触摸备忘录5730的一端并将其拖动到右显示器(即第二显示器190b),完成记录时(图57的视图(4)),可以将记录5740发送给当前正在进行呼叫的用户(图57的视图(5))。当完成消息的发送时,恢复原始呼叫屏幕(图57的视图(6))。
图58是示出了根据本发明总构思另一示例实施例,感测输入笔500-7的接近的多显示设备100的视图。
参照图58,当用户将输入笔500-7放置在多显示设备100附近时,控制器130在右显示器(即第二显示器190b)上显示工具条5810,该工具条5810显示了菜单项。类似于图44的示例实施例,将其上显示了工具条5810的屏幕调暗。类似于图44的示例实施例,可以按照分级结构形成工具条中包括的菜单项。当首先将输入笔500-7放置在多显示设备100附近时,在显示器上显示第一层和第二层的菜单,并且按照不透明UI形式将第二层的菜单项显示得比第一层菜单项更暗(图58的视图(1))。当用户用输入笔500-7触摸其上显示第一层菜单项之一的区域时,选择该区域的菜单项,并且将第二层菜单项从不透明UI中释放并激活(图58的视图(2))。当选择最下层的菜单项5820时,最终完成控制命令。此时,菜单项可以自动从工具条5810中释放。菜单项从工具条5810中释放时,显示器退出调暗屏幕并恢复到原始屏幕(图58的视图(3))。
下文中,说明根据本发明总构思的多个示例实施例的控制多显示设备100的操作的方法。
图59到65是说明根据本发明总构思的多个示例实施例的控制多显示设备的操作的方法的流程图。
参照图59,根据本发明总构思的多个示例实施例的控制多显示设备的操作的方法包括从包括传感器的输入笔接收传感器的感测结果(S5910),并使用感测结果控制第一和第二显示器的操作(S5920)。每个操作已在上文描述了,省略对其详细描述。
参照图60,根据本发明总构思的多个示例实施例的控制多显示设备的操作的方法包括从包括摄像机的输入笔接收输入笔的拍摄结果(S6010),以及检测摄像机拍摄的图像的颜色并存储该颜色(S6020)。
参照图61,根据本发明总构思的多个示例实施例的控制多显示设备的操作的方法还可以包括当输入笔或用户对象触摸第一和第二显示器中至少一个时(S6130-是),在触摸点处显示所存储的颜色(S6140)。
参照图62,根据本发明总构思的多个示例实施例的控制多显示设备的操作的方法可以包括从包括摄像机的输入笔接收输入笔的拍摄结果(S6210),分析摄像机所拍摄的图像和将所拍摄图像中存在的字符(S6220),以及存储检测到的字符(S6230)。
参照图63,根据本发明总构思的多个示例实施例的控制多显示设备的操作的方法还可以包括从输入笔接收与对输入笔上提供的按钮的操纵状态对应的控制信号(S6330),以及执行对应于控制信号的操作(S6340)。
参照图64,根据本发明总构思的多个示例实施例的控制多显示设备的操作的方法可以包括从包括运动传感器的输入笔接收输入笔的感测结果(S6410),以及当从输入笔接收到运动传感器感测的感测信号时,执行对应于输入笔的运动的操作。
控制操作可以包括,当输入笔触摸第一和第二显示器中至少一个时(S6420-是),根据输入笔相对于触摸屏的倾斜来执行不同操作(S6430)。
参照图65,根据本发明总构思的多个示例实施例的控制多显示设备的操作的方法还可以包括当输入笔接近多显示设备时(S6530-是),操作在笔输入模式中(S6550),以及当输入笔之外的用户对象接近多显示设备时(S6540-是),操作在键盘输入模式中,在键盘输入模式下在第一和第二显示器之一上显示软键盘(S6560)。
本发明总体构思也可以实现为计算机可读介质上的计算机可读代码。计算机可读介质可以包括计算机可读记录介质和计算机可读传输介质。计算机可读记录介质是可以存储数据为程序并随后由计算机系统可读取的任何数据存储设备。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、-软盘和光学数据存储设备。计算机可读记录介质也可以分布在网络耦合计算机系统上,使得可以以分布的形式来存储和执行计算机可读代码。计算机可读传输介质可以传输载波或信号(例如,经过互联网的有线或无线数据传输介质)。此外,本发明总体构思所属领域的程序员可以容易想到用于实现本发明总体构思的功能程序、代码和代码段。
下面说明根据本发明总构思的多个示例实施例的笔支架600。
图66示出了与常规输入笔(即触控笔)700连接并提供根据上述示例实施例的功能的笔支架600的配置的示例。
不同于上述输入笔500,常规触控笔700不包括用于感测信息并向多显示设备100传送信息的装置。然而,当触控笔700连接至笔支架600时,触控笔700执行与根据本发明总构思的上述多个示例实施例的触控笔500、500-1、500-1’、500-2、500-2’、500-2”、500-3、500-4、500-5、500-5’、500-5”、500-6和500-7的功能相同的功能。因此,笔支架600可以包括与根据本发明总构思的上述多个示例实施例的触控笔500、500-1、500-1’、500-2、500-2’、500-2”、500-3、500-4、500-5、500-5’、500-5”、500-6和500-7的配置相同的配置。此外,笔支架600不仅可以与多显示设备100一起使用,还可以与单显示设备(未示出)一起使用。
下面,说明笔支架600的外观。
如图66所示,笔支架600的外观包括笔尖610、主体620、和凹部630。笔尖610可以触摸图1的多显示设备100,或者可以执行接近输入,并且可以形成为圆锥形状。主体620包括与笔尖610连接的一端、以及与凹部630连接的另一端,并且配置为将触控笔700容纳在凹部630内。主体620可以包括电路配置,在电路配置中产生信号并将产生的信号发送给显示设备。
在图66中,示出了笔支架600形成为适合罩住触控笔700的前部。然而,笔支架600也可以形成为适合罩住触控笔700的后部。
下文中,说明笔支架600的执行功能的元件。
图67是示出了根据本发明总构思多个示例实施例的笔支架600的配置的框图。
参照图1和67,笔支架600包括传感器640、控制器650和通信器660。每个部件的操作方式与上述输入笔600的相同名称元件的操作方式相同。相应地,笔支架600感测预定信息并通过通信器660向多显示设备100发送信息。控制器650控制笔支架600的操作。笔支架600可以执行与上述触控笔500、500-1、500-1’、500-2、500-2’、500-2”、500-3、500-4、500-5、500-5’、500-5”、500-6和500-7的功能相同的功能。相应地,笔支架600拍摄图像,向多显示设备100发送拍摄信息,感测运动并向多显示设备100发送感测结果。上述多种场景可以等同地应用于笔支架600。
笔支架600的传感器640可以包括拍摄对象的拍摄器。在这种情况下,笔支架600可以执行与上述输入笔500-1的功能相同的功能。此外,笔支架600可以向打印机或其他设备发送拍摄的图像。当向打印机发送信息时,打印机可以输出拍摄的图像。
此外,根据本发明总构思另一示例实施例的笔支架600还可以包括按钮560。在这种情况下,笔支架600可以执行与上述输入笔500-2的功能相同的功能。即,用户可以通过操纵按钮560来拍摄图像,并且可以向多显示设备100发送拍摄信息。
此外,根据本发明总构思另一示例实施例的笔支架600还可以包括OCR模块。在这种情况下,可以通过OCR模块从拍摄的图像中提取文本,并且可以向多显示设备100发送提取的文本。这样,笔支架600可以执行与上述输入笔500-2”的功能相同的功能。
此外,根据另一示例实施例的笔支架600可以包括多个按钮,并可以执行与上述输入笔500-3的功能相同的功能。然而,笔支架600还可以包括转轮并可以执行与上述输入笔500-4的功能相同的功能。这种配置允许多种无线控制输入。
此外,根据另一示例实施例的笔支架600可以包括运动传感器。在这种情况下,笔支架600感测笔支架600的运动信息并将其发送给多显示设备100。笔支架600可以执行与上述输入笔500-5和500-5’的功能相同的功能。
最后,根据另一示例实施例的笔支架600可以包括看上述拍摄器和运动传感器二者。在这种情况下,笔支架600可以执行与上述输入笔500-6的功能相同的功能。
除了上述配置,笔支架还包括LCD并显示多显示设备100的控制状况,或者可以显示针对多显示设备100的界面。用户可以通过LCD来产生控制多显示设备100的命令,并可以识别多显示设备100的操作状态。
除了上述配置,笔支架600还包括GPS模块。当笔支架600包括GPS模块时,笔支架600可以检测笔支架600的位置,并将位置发送给多显示设备100。如果笔支架丢失了,多显示设备100可以根据从笔支架600接收的位置信息,在地图上显示笔支架的当前位置。
另一方面,当笔支架600包括上述拍摄器,并且笔支架600丢失时,笔支架600可以拍摄图像并可以发送给多显示设备100。在这种情况下,可以接收关于笔支架600的更多具体信息。
尽管示出和描述了本发明总体构思的一些实施例,然而本领域技术人员将理解,在不脱离由所附权利要求及其等价物限定范围的本发明总体构思的原理和精神的前提下,可以对这些实施例进行改变。

Claims (15)

1.一种多显示设备,包括:
第一显示器;
第二显示器;
铰链,将第一显示器和第二显示器彼此连接;以及
控制器,根据包括传感器在内的输入笔的感测信息,控制第一和第二显示器的操作。
2.根据权利要求1所述的多显示设备,还包括:与输入笔通信的通信器,
其中控制器通过通信器接收由传感器感测的感测信号,并根据感测信号控制第一和第二显示器的操作。
3.根据权利要求2所述的多显示设备,还包括:存储器,
其中,传感器是摄像机,
其中,控制器通过通信器接收摄像机所拍摄的图像,并检测所拍摄图像的颜色或纹理,并在存储器中存储颜色或纹理。
4.根据权利要求3所述的多显示设备,其中,当输入笔或用户对象触摸第一和第二显示器中至少一个时,控制器控制在触摸点处显示存储器中存储的颜色或纹理。
5.根据权利要求2所述的多显示设备,其中传感器是摄像机,
其中控制器通过通信器接收摄像机所拍摄的图像,并控制在第一和第二显示器中至少一个上显示所拍摄图像。
6.根据权利要求2所述的多显示设备,还包括:存储器,
其中传感器是摄像机,
其中控制器分析摄像机所拍摄的图像,检测所拍摄图像中存在的对象,并在存储器中存储检测到的对象。
7.根据权利要求2所述的多显示设备,其中传感器是摄像机,
其中控制器分析摄像机所拍摄的图像并且检测所拍摄图像中存在的至少一个字符,以及当输入笔或用户对象触摸第一和第二显示器中至少一个时,控制器在触摸区上显示检测到的至少一个字符和对应信息。
8.根据权利要求2所述的多显示设备,其中控制器从输入笔接收与输入笔上设置的按钮的操纵状态对应的控制信号,并执行对应于控制信号的操作。
9.根据权利要求8所述的多显示设备,其中传感器是摄像机,
其中控制器从输入笔接收由摄像机根据按钮的第一操纵而拍摄的实时图像,并显示实时图像,
其中控制器从输入笔接收由摄像机根据按钮的第二操纵而拍摄的瞬时图像,并显示瞬时图像。
10.根据权利要求8所述的多显示设备,其中控制器根据按钮的操纵来改变内容的显示时间,并控制在第一和第二显示器中至少一个上显示内容。
11.根据权利要求8所述的多显示设备,其中当执行按钮的第一操纵时,控制器显示与多显示设备中执行的应用有关的菜单,
其中当执行按钮的第二操纵时,控制器控制改变所显示菜单的项目并显示该项目。
12.根据权利要求8所述的多显示设备,其中按钮是转轮按钮、推动按钮和开关按钮中的至少一个。
13.根据权利要求2所述的多显示设备,还包括:其中安装输入笔的连接器,
其中通信器包括:
有线通信器,当输入笔安装在连接器中时,以有线方式与输入笔通信,以及
无线通信器,当输入笔与连接器断开时,无线地与输入笔通信。
14.一种输入笔,对包括经由铰链彼此连接的第一和第二显示器在内的多显示设备的操作进行控制,输入笔包括:
传感器;
通信器,与多显示设备通信;以及
控制器,向多显示设备发送传感器的感测结果。
15.根据权利要求14所述的输入笔,其中传感器包括如下中的至少一个:摄像机、陀螺仪传感器、加速度传感器、地磁传感器、IR传感器和压力传感器。
CN201310467024.3A 2012-10-10 2013-10-09 多显示设备、输入笔、多显示控制方法和多显示系统 Expired - Fee Related CN103729055B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0112652 2012-10-10
KR20120112652A KR20140046327A (ko) 2012-10-10 2012-10-10 멀티 디스플레이 장치, 입력 펜, 멀티 디스플레이 장치의 제어 방법 및 멀티 디스플레이 시스템

Publications (2)

Publication Number Publication Date
CN103729055A true CN103729055A (zh) 2014-04-16
CN103729055B CN103729055B (zh) 2018-08-03

Family

ID=49474205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310467024.3A Expired - Fee Related CN103729055B (zh) 2012-10-10 2013-10-09 多显示设备、输入笔、多显示控制方法和多显示系统

Country Status (4)

Country Link
US (2) US20160282964A9 (zh)
EP (1) EP2720140A1 (zh)
KR (1) KR20140046327A (zh)
CN (1) CN103729055B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820567A (zh) * 2015-04-30 2015-08-05 三星电子(中国)研发中心 一种使用手写笔控制拍照的方法、设备与系统
CN105094290A (zh) * 2014-05-04 2015-11-25 联想(北京)有限公司 电子设备和该电子设备中的控制方法
CN105430154A (zh) * 2014-09-15 2016-03-23 Lg电子株式会社 移动终端及其控制方法
CN106095137A (zh) * 2014-12-31 2016-11-09 辛纳普蒂克斯公司 双水平面盆体的顶装型点击板模块
CN106257923A (zh) * 2015-06-22 2016-12-28 精工爱普生株式会社 图像显示系统以及图像显示方法
CN106470273A (zh) * 2015-08-20 2017-03-01 Lg电子株式会社 移动终端以及控制该移动终端的方法
CN106476480A (zh) * 2016-10-29 2017-03-08 合肥职业技术学院 一种促进亲子沟通的智能安全学习笔
CN107422877A (zh) * 2016-03-08 2017-12-01 禾瑞亚科技股份有限公司 提供倾斜角与笔身轴向的触控笔与其控制方法
CN107850951A (zh) * 2015-08-19 2018-03-27 株式会社和冠 触控笔检测传感器控制器的方法、触控笔及传感器控制器
CN108605261A (zh) * 2016-01-05 2018-09-28 三星电子株式会社 电子设备及其操作方法
CN109189245A (zh) * 2018-11-05 2019-01-11 深圳腾千里科技有限公司 一种智能笔及该智能笔实现鼠标功能的方法
CN109407948A (zh) * 2018-10-16 2019-03-01 维沃移动通信有限公司 一种界面显示方法及移动终端
CN109564446A (zh) * 2016-05-31 2019-04-02 圭多音乐股份有限公司 电子设备用铰链及电子设备
CN109979324A (zh) * 2017-12-27 2019-07-05 乐金显示有限公司 可折叠显示装置和框架装置
CN110147789A (zh) * 2018-05-25 2019-08-20 深圳信息职业技术学院 一种文献信息采集用笔
CN110286865A (zh) * 2019-06-20 2019-09-27 上海摩软通讯技术有限公司 一种触摸屏的显示方法及电子设备
CN110445901A (zh) * 2018-05-04 2019-11-12 Oppo广东移动通信有限公司 移动终端
WO2020056729A1 (zh) * 2018-09-21 2020-03-26 深圳市柔宇科技有限公司 铰链装置、壳体及电子装置
CN111273793A (zh) * 2020-01-19 2020-06-12 维沃移动通信有限公司 一种显示方法和电子设备
CN111385382A (zh) * 2018-12-27 2020-07-07 中兴通讯股份有限公司 多屏终端
CN112712770A (zh) * 2019-10-24 2021-04-27 华为终端有限公司 一种电子设备及其显示模组
CN112882643A (zh) * 2021-01-28 2021-06-01 维沃移动通信有限公司 触控笔的控制方法、电子设备的控制方法和触控笔

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101569776B1 (ko) * 2009-01-09 2015-11-19 삼성전자주식회사 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법
KR101515629B1 (ko) 2012-01-07 2015-04-27 삼성전자주식회사 플렉서블 표시부를 갖는 휴대단말의 이벤트 제공 방법 및 장치
US9891729B2 (en) 2012-07-10 2018-02-13 Sony Corporation Operation processing device and method for user interface
KR20140115836A (ko) * 2013-03-22 2014-10-01 삼성전자주식회사 햅틱 효과를 제공하는 휴대 단말 및 방법
KR20150007910A (ko) 2013-07-11 2015-01-21 삼성전자주식회사 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
CN105379420B (zh) 2013-07-12 2018-05-22 株式会社半导体能源研究所 发光装置
TWI630595B (zh) 2013-07-19 2018-07-21 半導體能源研究所股份有限公司 資料處理裝置
KR102392429B1 (ko) 2013-08-02 2022-05-02 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치
US20150241978A1 (en) * 2014-02-27 2015-08-27 Motorola Mobility Llc Electronic Device Having Multiple Sides with Gesture Sensors
US11030778B2 (en) * 2014-03-31 2021-06-08 Healthy.Io Ltd. Methods and apparatus for enhancing color vision and quantifying color interpretation
USD752615S1 (en) * 2014-04-17 2016-03-29 Huawei Device Co., Ltd. Display screen or portion thereof with a graphical user interface
USD761860S1 (en) * 2014-06-20 2016-07-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
KR101589280B1 (ko) * 2014-06-24 2016-01-27 한국알프스 주식회사 자기력 감지 센서를 이용한 디스플레이 좌표 출력 장치 및 방법
US9791892B2 (en) * 2014-06-27 2017-10-17 Samsung Electronics Co., Ltd. Foldable device
KR101776262B1 (ko) 2014-06-27 2017-09-11 삼성전자주식회사 접철식 기기
CN105278704A (zh) * 2014-07-17 2016-01-27 致伸科技股份有限公司 触控笔
USD762726S1 (en) * 2014-09-02 2016-08-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR200476796Y1 (ko) * 2014-10-16 2015-04-08 박효원 셀프 촬영을 위한 카메라를 구비하는 단말 케이스
KR20210068636A (ko) 2014-10-28 2021-06-09 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 장치
USD789925S1 (en) * 2015-06-26 2017-06-20 Intel Corporation Electronic device with foldable display panels
US11284003B2 (en) * 2015-07-29 2022-03-22 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US10346681B2 (en) * 2015-09-26 2019-07-09 Wolfram Research, Inc. Method and computing device for optically recognizing mathematical expressions
KR102386480B1 (ko) * 2015-10-05 2022-04-15 삼성전자주식회사 전자 기기의 입력 식별 방법 및 장치
KR102471672B1 (ko) * 2015-11-13 2022-11-29 삼성전자주식회사 표시 제어 방법, 이를 구현한 디스플레이 패널, 디스플레이 장치 및 전자 장치
KR102366904B1 (ko) * 2015-12-04 2022-02-23 안범주 인체공학적 드로잉 장치
KR102396992B1 (ko) * 2015-12-07 2022-05-12 삼성전자 주식회사 안테나를 포함하는 전자 장치
KR20170077670A (ko) * 2015-12-28 2017-07-06 삼성전자주식회사 컨텐츠를 제어하기 위한 방법 및 그 전자 장치
US11335302B2 (en) * 2016-01-15 2022-05-17 Google Llc Adaptable user interface with dual screen device
US10474358B2 (en) * 2016-02-29 2019-11-12 Google Llc Computing devices having dynamically configurable user input devices, and methods of operating the same
US11558538B2 (en) 2016-03-18 2023-01-17 Opkix, Inc. Portable camera system
US9952627B2 (en) * 2016-04-27 2018-04-24 Dell Products, Lp Folding computing device with bending display
CN105933024B (zh) * 2016-04-29 2018-10-16 维沃移动通信有限公司 一种智能辅助设备、移动终端及其控制方法
US9851797B1 (en) * 2016-08-18 2017-12-26 Microsoft Technology Licensing, Llc Haptic arrangement of a multiple part electronic device
KR102491564B1 (ko) * 2016-09-12 2023-01-26 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 접을 수 있는 전자 장치
US10812713B2 (en) 2016-10-25 2020-10-20 Hewlett-Packard Development Company, L.P. Selecting camera modes for electronic devices having multiple display panels
KR20180048158A (ko) * 2016-11-02 2018-05-10 삼성전자주식회사 디스플레이 운용 방법 및 이를 지원하는 전자 장치
CN108319422A (zh) * 2017-01-18 2018-07-24 中兴通讯股份有限公司 一种多屏互动触控显示方法、装置、存储介质和终端
WO2018136057A1 (en) 2017-01-19 2018-07-26 Hewlett-Packard Development Company, L.P. Input pen gesture-based display control
DE102017201042A1 (de) * 2017-01-23 2018-07-26 Interactive Scape Gmbh Eingabeelement für einen berührungsempfindlichen Bildschirm
GB2560029A (en) * 2017-02-28 2018-08-29 Nicholas Mcardell Roger A system and a method for switching focus and a connector
KR102291757B1 (ko) * 2017-03-28 2021-08-24 한국전자기술연구원 두루마리형 전자필통
US20180329521A1 (en) * 2017-05-15 2018-11-15 Microsoft Technology Licensing, Llc Application program mode based on device orientation
CN112162656A (zh) * 2017-06-29 2021-01-01 上海耕岩智能科技有限公司 一种生物特征识别方法和装置
US10264186B2 (en) * 2017-06-30 2019-04-16 Microsoft Technology Licensing, Llc Dynamic control of camera resources in a device with multiple displays
US10825419B2 (en) 2017-07-20 2020-11-03 Apple Inc. Collision avoidance schemes for displays
US10664069B1 (en) 2017-08-30 2020-05-26 Apple Inc. Stylus with input adapter
US11079995B1 (en) * 2017-09-30 2021-08-03 Apple Inc. User interfaces for devices with multiple displays
KR102390038B1 (ko) * 2017-10-31 2022-04-25 엘지전자 주식회사 더블힌지 모듈 및 이동 단말기
WO2019152825A1 (en) * 2018-02-01 2019-08-08 Opkix, Inc. Device for operating a touchscreen and taking self-portraits
KR102494101B1 (ko) * 2018-02-14 2023-02-01 삼성전자주식회사 터치 입력 처리 방법 및 이를 지원하는 전자 장치
EP3748476A4 (en) * 2018-02-22 2022-02-09 Kyocera Corporation ELECTRONIC DEVICE, CONTROL METHOD AND PROGRAM
US10725510B2 (en) * 2018-03-16 2020-07-28 Microsoft Technology Licensing, Llc Device configuration-based thermal management control
CN108572766A (zh) * 2018-04-24 2018-09-25 京东方科技集团股份有限公司 一种触控显示装置及触控检测方法
PT3565224T (pt) * 2018-05-04 2020-07-31 Guangdong Oppo Mobile Telecommunications Corp Ltd Terminal móvel
KR102435650B1 (ko) 2018-05-04 2022-08-24 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이동 단말기
EP3565225B1 (en) * 2018-05-04 2021-06-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Mobile terminal
TWI707253B (zh) * 2018-05-24 2020-10-11 仁寶電腦工業股份有限公司 具第二螢幕之電子裝置及其控制方法
US11422765B2 (en) 2018-07-10 2022-08-23 Apple Inc. Cross device interactions
KR102459727B1 (ko) * 2018-07-27 2022-10-27 삼성전자주식회사 전자 펜을 이용하여 동작 모드를 제어하기 위한 방법 및 그 전자 장치
KR102506158B1 (ko) * 2018-07-30 2023-03-07 삼성전자주식회사 디지털 펜을 포함하는 전자 장치
US10852773B2 (en) 2018-07-31 2020-12-01 Dell Products, L.P. Multi-form factor information handling system (IHS) with an accessory backpack
US10296052B1 (en) 2018-07-31 2019-05-21 Dell Products, L.P. Multi-form factor information handling system (IHS) with removable keyboard
US10296053B1 (en) * 2018-07-31 2019-05-21 Dell Products, L.P. Multi-form factor information handling system (IHS) with attachable keyboard
US10254803B1 (en) * 2018-07-31 2019-04-09 Dell Products, L.P. Multi-form factor information handling system (IHS) with layered, foldable, bendable, flippable, rotatable, removable, displaceable, and/or slideable component(s)
US10802549B2 (en) 2018-07-31 2020-10-13 Dell Products, L.P. Multi-form factor information handling system (IHS) with multi-layered hinge
US10725506B2 (en) 2018-08-21 2020-07-28 Dell Products, L.P. Context-aware user interface (UI) for multi-form factor information handling systems (IHSs)
CN109388190A (zh) * 2018-09-30 2019-02-26 联想(北京)有限公司 一种处理设备和处理系统
US10852769B2 (en) 2018-10-29 2020-12-01 Dell Products, L.P. Display management for multi-form factor information handling system (IHS)
US10831307B2 (en) 2018-10-29 2020-11-10 Dell Products, L.P. Multi-form factor information handling system (IHS) with automatically reconfigurable palm rejection
US10592051B1 (en) 2018-10-31 2020-03-17 Dell Products, L.P. Touch input correction for multi-form factor information handling system (IHS)
WO2020102237A1 (en) 2018-11-13 2020-05-22 Opkix, Inc. Wearable mounts for portable camera
US10860065B2 (en) 2018-11-15 2020-12-08 Dell Products, L.P. Multi-form factor information handling system (IHS) with automatically reconfigurable hardware keys
US11237598B2 (en) 2018-11-15 2022-02-01 Dell Products, L.P. Application management for multi-form factor information handling system (IHS)
US11157047B2 (en) 2018-11-15 2021-10-26 Dell Products, L.P. Multi-form factor information handling system (IHS) with touch continuity across displays
US10712832B2 (en) 2018-11-15 2020-07-14 Dell Products, L.P. On-screen keyboard detection for multi-form factor information handling systems (IHSs)
US10503207B1 (en) 2018-12-12 2019-12-10 Dell Products, L.P. Dock for a multi-form factor information handling system (IHS)
US11157094B2 (en) * 2018-12-12 2021-10-26 Dell Products, L.P. Touch input switching for multi-form factor information handling system (IHS)
CN109656439A (zh) * 2018-12-17 2019-04-19 北京小米移动软件有限公司 快捷操作面板的显示方法、装置及存储介质
US10928855B2 (en) 2018-12-20 2021-02-23 Dell Products, L.P. Dock with actively controlled heatsink for a multi-form factor Information Handling System (IHS)
US10649713B1 (en) * 2019-01-11 2020-05-12 Dell Products L.P. Calibrating multiple displays of a computing device to have a similar perceived appearance
CN109782976B (zh) * 2019-01-15 2020-12-22 Oppo广东移动通信有限公司 文件处理方法、装置、终端及存储介质
TWI688930B (zh) 2019-02-11 2020-03-21 友達光電股份有限公司 電子裝置與驅動方法
KR20200115889A (ko) * 2019-03-28 2020-10-08 삼성전자주식회사 전자 펜을 통한 사용자 입력에 기초하여 동작을 실행하는 전자 디바이스 및 그 동작 방법
US10747264B1 (en) 2019-04-03 2020-08-18 Dell Products, L.P. Hinge actions and virtual extended display modes for multi-form factor information handling system (IHS)
US10739826B1 (en) 2019-04-03 2020-08-11 Dell Products, L.P. Keyboard deployment for multi-form factor information handling systems (IHSs)
US10996718B2 (en) 2019-04-03 2021-05-04 Dell Products, L.P. Foldable case for a multi-form factor information handling system (IHS) with a detachable keyboard
US11099605B2 (en) 2019-04-03 2021-08-24 Dell Products, L.P. Charger stand for multi-form factor information handling systems (IHSs)
US10747272B1 (en) 2019-04-03 2020-08-18 Dell Products, L.P. Systems and methods for detecting the position of a keyboard with respect to a display of a multi-form factor information handling system (IHS)
US11520418B2 (en) * 2019-04-16 2022-12-06 Hewlett-Packard Development Company, L.P. Active stylus power management design
TWI749323B (zh) * 2019-04-30 2021-12-11 先進光電科技股份有限公司 行動載具輔助系統
USD923620S1 (en) * 2019-05-17 2021-06-29 Huawei Technologies Co., Ltd. Electronic writing device
US11334174B2 (en) * 2019-07-18 2022-05-17 Eyal Shlomot Universal pointing and interacting device
KR20210016900A (ko) 2019-08-06 2021-02-17 삼성전자주식회사 스타일러스 펜 및 스타일러스 펜을 인식하는 전자 장치 및 그 동작 방법
KR20210045668A (ko) 2019-10-17 2021-04-27 삼성전자주식회사 전자 펜을 포함하는 멀티 폴더블 전자 장치
US11042230B2 (en) * 2019-11-06 2021-06-22 International Business Machines Corporation Cognitive stylus with sensors
USD913326S1 (en) * 2019-11-12 2021-03-16 Thales Avs France Sas Display screen or portion thereof with animated graphical user interface
CN112987957A (zh) * 2019-12-17 2021-06-18 群创光电股份有限公司 电子装置
CN111142674B (zh) * 2019-12-31 2021-09-14 联想(北京)有限公司 一种控制方法及电子设备
CN111228793B (zh) * 2020-01-21 2021-11-19 腾讯科技(深圳)有限公司 交互界面的显示方法和装置、存储介质及电子装置
KR20210112932A (ko) * 2020-03-06 2021-09-15 삼성전자주식회사 분리형 카메라를 포함하는 휴대용 단말기
WO2021251531A1 (ko) * 2020-06-12 2021-12-16 엘지전자 주식회사 이동 단말기
US11429203B2 (en) * 2020-06-19 2022-08-30 Microsoft Technology Licensing, Llc Tilt-responsive techniques for digital drawing boards
US11281419B2 (en) * 2020-06-29 2022-03-22 Microsoft Technology Licensing, Llc Instruction color book painting for dual-screen devices
US11054943B1 (en) * 2020-08-17 2021-07-06 Microsoft Technology Licensing, Llc Touch restriction region for touch-sensitive display
CN112235561B (zh) * 2020-10-16 2022-07-22 深圳市时代华影科技股份有限公司 Led显示屏、显示方法及装置、计算机可读存储介质
CN112674722B (zh) * 2020-12-24 2022-08-30 中科彭州智慧产业创新中心有限公司 一种基于脉诊仪的脉象快速区分检测装置
US11513631B1 (en) 2021-05-12 2022-11-29 Microsoft Technology Licensing, Llc Electrical noise estimation for touch-sensitive electrodes
US11635874B2 (en) * 2021-06-11 2023-04-25 Microsoft Technology Licensing, Llc Pen-specific user interface controls
KR20220169757A (ko) * 2021-06-21 2022-12-28 삼성전자주식회사 하나의 카메라를 통해 다방향으로 촬영을 수행하는 방법 및 그 전자 장치
US11550408B1 (en) 2021-06-28 2023-01-10 Apple Inc. Electronic device with optical sensor for sampling surfaces
US11714473B2 (en) * 2021-06-30 2023-08-01 Synaptics Incorporated Closure detection for foldable devices
US11573664B1 (en) * 2022-04-21 2023-02-07 Microsoft Technology Licensing, Llc Plural touch-screen sensor to pen synchronization

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581783A (en) * 1991-09-09 1996-12-03 Fujitsu Limited System for capturing multimedia information using a hand writing stylus pen which performs signal-to-data conversion inside the pen and stores data in the memory inside the pen
CN1323427A (zh) * 1998-08-31 2001-11-21 株式会社日立制作所 带摄象机的笔型输入装置
CN1761264A (zh) * 2004-10-13 2006-04-19 乐金电子(中国)研究开发中心有限公司 具有多个屏幕的便携式终端及其控制方法
CN1929538A (zh) * 2005-09-09 2007-03-14 Lg电子株式会社 图像捕捉及显示方法和系统
US20070279711A1 (en) * 2004-12-03 2007-12-06 King Martin T Portable scanning and memory device
US20090115725A1 (en) * 2007-11-05 2009-05-07 Eldad Shemesh Input device and method of operation thereof
CN101669165A (zh) * 2006-12-18 2010-03-10 亚伯·戴维斯 用于在多显示器环境中展现图像的装置、系统和方法
US20100141681A1 (en) * 2008-12-04 2010-06-10 Nintendo Co., Ltd. Information processing device that can be held at least in two directions for use
CN102221974A (zh) * 2010-06-22 2011-10-19 微软公司 指示笔设置
CN102362248A (zh) * 2009-03-24 2012-02-22 微软公司 双屏幕便携式触敏计算系统
KR20120092034A (ko) * 2011-02-10 2012-08-20 삼성전자주식회사 터치 스크린 디스플레이를 구비한 휴대 기기 및 그 제어 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7847789B2 (en) * 2004-11-23 2010-12-07 Microsoft Corporation Reducing accidental touch-sensitive device activation
CN1991723A (zh) * 2005-12-28 2007-07-04 中兴通讯股份有限公司 一种自动实现手写输入的方法
KR100936816B1 (ko) * 2007-05-26 2010-01-14 이문기 카메라와 마크 출력에의한 포인팅 장치
US20110304577A1 (en) * 2010-06-11 2011-12-15 Sp Controls, Inc. Capacitive touch screen stylus
CN102253746B (zh) * 2011-06-23 2017-05-03 中兴通讯股份有限公司 用于具有触控屏的电子设备的信息处理方法及设备
US20130198658A1 (en) * 2012-01-20 2013-08-01 Vistaprint Limited Designing website user controls
US20130201162A1 (en) * 2012-02-05 2013-08-08 Ian Daniel Cavilia Multi-purpose pen input device for use with mobile computers
US9754357B2 (en) * 2012-03-23 2017-09-05 Panasonic Intellectual Property Corporation Of America Image processing device, stereoscoopic device, integrated circuit, and program for determining depth of object in real space generating histogram from image obtained by filming real space and performing smoothing of histogram
US20140022218A1 (en) * 2012-07-20 2014-01-23 Research In Motion Limited Orientation sensing stylus
US10217253B2 (en) * 2012-09-14 2019-02-26 Adobe Inc. Methods and apparatus for simulation of a stateful brush tip in a natural media drawing and/or painting simulation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581783A (en) * 1991-09-09 1996-12-03 Fujitsu Limited System for capturing multimedia information using a hand writing stylus pen which performs signal-to-data conversion inside the pen and stores data in the memory inside the pen
CN1323427A (zh) * 1998-08-31 2001-11-21 株式会社日立制作所 带摄象机的笔型输入装置
CN1761264A (zh) * 2004-10-13 2006-04-19 乐金电子(中国)研究开发中心有限公司 具有多个屏幕的便携式终端及其控制方法
US20070279711A1 (en) * 2004-12-03 2007-12-06 King Martin T Portable scanning and memory device
CN1929538A (zh) * 2005-09-09 2007-03-14 Lg电子株式会社 图像捕捉及显示方法和系统
CN101669165A (zh) * 2006-12-18 2010-03-10 亚伯·戴维斯 用于在多显示器环境中展现图像的装置、系统和方法
US20090115725A1 (en) * 2007-11-05 2009-05-07 Eldad Shemesh Input device and method of operation thereof
US20100141681A1 (en) * 2008-12-04 2010-06-10 Nintendo Co., Ltd. Information processing device that can be held at least in two directions for use
CN102362248A (zh) * 2009-03-24 2012-02-22 微软公司 双屏幕便携式触敏计算系统
CN102221974A (zh) * 2010-06-22 2011-10-19 微软公司 指示笔设置
KR20120092034A (ko) * 2011-02-10 2012-08-20 삼성전자주식회사 터치 스크린 디스플레이를 구비한 휴대 기기 및 그 제어 방법

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094290A (zh) * 2014-05-04 2015-11-25 联想(北京)有限公司 电子设备和该电子设备中的控制方法
CN105430154A (zh) * 2014-09-15 2016-03-23 Lg电子株式会社 移动终端及其控制方法
CN106095137A (zh) * 2014-12-31 2016-11-09 辛纳普蒂克斯公司 双水平面盆体的顶装型点击板模块
CN106095137B (zh) * 2014-12-31 2020-08-14 辛纳普蒂克斯公司 双水平面盆体的顶装型点击板模块
CN104820567A (zh) * 2015-04-30 2015-08-05 三星电子(中国)研发中心 一种使用手写笔控制拍照的方法、设备与系统
CN106257923B (zh) * 2015-06-22 2020-04-14 精工爱普生株式会社 图像显示系统以及图像显示方法
CN106257923A (zh) * 2015-06-22 2016-12-28 精工爱普生株式会社 图像显示系统以及图像显示方法
CN107850951B (zh) * 2015-08-19 2020-12-18 株式会社和冠 触控笔检测传感器控制器的方法、触控笔及传感器控制器
CN107850951A (zh) * 2015-08-19 2018-03-27 株式会社和冠 触控笔检测传感器控制器的方法、触控笔及传感器控制器
CN106470273A (zh) * 2015-08-20 2017-03-01 Lg电子株式会社 移动终端以及控制该移动终端的方法
US10979867B2 (en) 2016-01-05 2021-04-13 Samsung Electronics Co., Ltd. Electronic device and method for operating same
CN108605261B (zh) * 2016-01-05 2022-03-15 三星电子株式会社 电子设备及其操作方法
CN108605261A (zh) * 2016-01-05 2018-09-28 三星电子株式会社 电子设备及其操作方法
CN107422877B (zh) * 2016-03-08 2020-07-17 禾瑞亚科技股份有限公司 提供倾斜角与笔身轴向的触控笔与其控制方法
CN107422877A (zh) * 2016-03-08 2017-12-01 禾瑞亚科技股份有限公司 提供倾斜角与笔身轴向的触控笔与其控制方法
CN109564446A (zh) * 2016-05-31 2019-04-02 圭多音乐股份有限公司 电子设备用铰链及电子设备
CN106476480A (zh) * 2016-10-29 2017-03-08 合肥职业技术学院 一种促进亲子沟通的智能安全学习笔
CN109979324A (zh) * 2017-12-27 2019-07-05 乐金显示有限公司 可折叠显示装置和框架装置
CN110445901A (zh) * 2018-05-04 2019-11-12 Oppo广东移动通信有限公司 移动终端
CN110147789A (zh) * 2018-05-25 2019-08-20 深圳信息职业技术学院 一种文献信息采集用笔
CN110147789B (zh) * 2018-05-25 2023-05-16 深圳信息职业技术学院 一种文献信息采集用笔
WO2020056729A1 (zh) * 2018-09-21 2020-03-26 深圳市柔宇科技有限公司 铰链装置、壳体及电子装置
CN109407948A (zh) * 2018-10-16 2019-03-01 维沃移动通信有限公司 一种界面显示方法及移动终端
CN109189245A (zh) * 2018-11-05 2019-01-11 深圳腾千里科技有限公司 一种智能笔及该智能笔实现鼠标功能的方法
CN111385382A (zh) * 2018-12-27 2020-07-07 中兴通讯股份有限公司 多屏终端
CN110286865B (zh) * 2019-06-20 2022-09-09 上海摩软通讯技术有限公司 一种触摸屏的显示方法及电子设备
CN110286865A (zh) * 2019-06-20 2019-09-27 上海摩软通讯技术有限公司 一种触摸屏的显示方法及电子设备
CN112712770A (zh) * 2019-10-24 2021-04-27 华为终端有限公司 一种电子设备及其显示模组
US11763749B2 (en) 2019-10-24 2023-09-19 Huawei Technologies Co., Ltd. Electronic device having display areas coupled with different positive and negative power supplies
CN111273793A (zh) * 2020-01-19 2020-06-12 维沃移动通信有限公司 一种显示方法和电子设备
CN111273793B (zh) * 2020-01-19 2024-03-26 维沃移动通信有限公司 一种显示方法和电子设备
CN112882643A (zh) * 2021-01-28 2021-06-01 维沃移动通信有限公司 触控笔的控制方法、电子设备的控制方法和触控笔

Also Published As

Publication number Publication date
CN103729055B (zh) 2018-08-03
US20140152576A1 (en) 2014-06-05
US20150103014A1 (en) 2015-04-16
US20160282964A9 (en) 2016-09-29
KR20140046327A (ko) 2014-04-18
EP2720140A1 (en) 2014-04-16

Similar Documents

Publication Publication Date Title
CN103729055B (zh) 多显示设备、输入笔、多显示控制方法和多显示系统
US11360728B2 (en) Head mounted display apparatus and method for displaying a content
CN103729108B (zh) 多显示设备及其提供工具的方法
CN103729160B (zh) 多显示设备和多显示方法
EP2720139B1 (en) Display apparatus and method of controlling display operation
KR101984683B1 (ko) 멀티 디스플레이 장치 및 그 제어 방법
CN103729158B (zh) 多显示设备及其控制显示的方法
JP6031635B2 (ja) ユーザインタフェースオブジェクトを移動させるための機器、方法、及びグラフィカルユーザインタフェース
CN103729157B (zh) 多显示设备及其控制方法
US20140285453A1 (en) Portable terminal and method for providing haptic effect
CN104471513A (zh) 柔性显示设备及其操作方法
CN105229590A (zh) 具有笔的用户终端装置和用户终端装置的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180803

Termination date: 20191009