CN111771183A - 信任区图形渲染方法和使用该方法的显示设备 - Google Patents

信任区图形渲染方法和使用该方法的显示设备 Download PDF

Info

Publication number
CN111771183A
CN111771183A CN201980015312.0A CN201980015312A CN111771183A CN 111771183 A CN111771183 A CN 111771183A CN 201980015312 A CN201980015312 A CN 201980015312A CN 111771183 A CN111771183 A CN 111771183A
Authority
CN
China
Prior art keywords
trust zone
swd
image
nwd
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980015312.0A
Other languages
English (en)
Inventor
郑东和
李成圭
诸义真
朴贤哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111771183A publication Critical patent/CN111771183A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Abstract

一种在分为普通世界(NWD)和与信任区相对应的安全世界(SWD)的操作系统(OS)中的信任区图形渲染方法。信任区图形渲染方法包括：在NWD中生成用于生成信任区用户界面(UI)的图像资源；将图像资源从NWD传输给SWD；以及在SWD中通过分离并编辑包括多个对象的图像资源来生成信任区UI，其中，以对象为单位执行分离和编辑。

Description

信任区图形渲染方法和使用该方法的显示设备
技术领域
本公开涉及一种信任区图形渲染方法和使用该方法的显示设备。
例如，本公开涉及图形渲染方法和使用该方法的显示设备，以在与信任区相对应的安全世界中生成信任区用户界面(UI)屏幕。
背景技术
诸如计算机、智能手机、平板个人计算机(PC)、个人数字助理(PDA)等的电子设备已被用户紧密使用。随着用于个人使用的电子设备变得越来越普遍，输入到或存储在电子设备中的用户的个人信息或与用户有关的信息也正在增加。
用户使用电子设备或服务器设备执行各种任务，并且用户的个人信息或与用户有关的信息越来越多地被输入到电子设备或服务器设备。
在下文中，将执行特定任务或操作的电子设备或服务器设备称为‘计算设备’。当用户的个人信息或与用户有关的信息被输入或存储在计算设备中时，必须保护用户的个人信息或与用户有关的信息免受黑客攻击。
为此，已经开发了用于保护用户的个人信息或与用户有关的信息免遭黑客攻击的安全技术。
安全技术中的一种可以是例如使用信任区的安全方法。
信任区是硬件安全技术中的一种，其中将诸如存储器等的硬件分为普通世界(NWD)和与信任区相对应的安全世界(SWD)，并且无法从NWD访问SWD的资源以便保护通过SWD输入并存储在SWD中的数据。
SWD的存储器容量远小于NWD的存储器容量。因此，当与NWD相比时，SWD在可以存储在其中的资源的量以及可以处理任务的数量和速度方面都有限制。此外，当在SWD中执行特定操作时，由于缺少对执行SWD中的操作有用的程序、工具和/或资源，因此处理速度低于NWD中的操作的处理速度。
因此，需要一种方法和设备，用于通过克服上述问题在分为SWD和NWD的操作系统(OS)中容易且快速地执行需要维持安全性的操作，例如，在信任区中的图形渲染操作等。
发明内容
技术问题
如上所述，需要一种方法和设备，用于通过克服上述问题在分为SWD和NWD的操作系统(OS)中容易且快速地执行需要维持安全性的操作，例如，在信任区中的图形渲染操作等。
问题的解决方案
本公开的示例实施例提供一种信任区图形渲染方法和使用该方法的显示设备，以在提高安全性能的同时容易且快速地生成信任区用户界面(UI)。
例如，提供了一种信任区图形渲染方法和使用该方法的显示设备，以解决与信任区相对应的安全世界的存储器容量限制，并减少生成或改变信任区UI的时间延迟。
用于执行本发明的最佳模式
附加方面部分地将在下面的描述中进行阐述，部分地将根据该描述而变得清楚。
根据本公开的实施例，信任区图形渲染方法可以是分为普通世界(NWD)和与信任区相对应的安全世界(SWD)的操作系统(OS)中的信任区图形渲染方法。
信任区图形渲染方法包括：在NWD中生成用于生成信任区用户界面(UI)的图像资源；将图像资源从NWD传输给SWD；以及在SWD中通过分离并编辑包括多个对象在内的图像资源来生成信任区UI，其中，以对象为单位执行分离和编辑。
生成图像资源可以包括在NWD中使用NWD中存在的至少一个图形工具包生成图像资源。
信任区UI可以包括以下至少一项：UI屏幕，与UI屏幕相对应的图像数据，和/或用于生成UI屏幕的图像资源，其中，可以基于与用户的交互通过UI屏幕来输入和/或输出数据。
信任区UI可以包括安全小键盘和/或安全键盘中的至少一项。
图像资源可以包括与通过屏幕输出的图像的至少一部分相对应的图像数据。
信任区图形渲染方法还可以包括：当在SWD中接收到图像资源时，将图像资源存储在SWD的存储器中，SWD的存储器无法由NWD访问并且无法从OS外部访问。
生成信任区UI可以包括：加载存储在SWD的存储器中的图像资源；以及通过在包括在加载的图像资源中的多个对象中分离要编辑的至少一个对象并编辑所分离的至少一个对象，来生成信任区UI。
生成信任区UI可以包括通过执行以下至少一种操作来生成信任区UI：删除所分离的至少一个对象，改变所分离的至少一个对象，和/或将至少一个对象添加到所分离的至少一个对象。
生成图像资源可以包括使用在NWD中执行的字体引擎来生成与语言相对应的图像资源。
信任区图形渲染方法还可以包括：将信任区UI存储在SWD中包括的帧缓冲器中，并在显示器上显示从帧缓冲器加载的信任区UI。
可以在SWD中访问和存储信任区UI。
根据本公开的另一示例实施例，一种显示设备包括：显示器；存储器，被配置为存储一个或多个指令；以及控制器，包括至少一个处理器，该至少一个处理器被配置为执行一个或多个指令以执行分为NWD和与信任区相对应的SWD的OS。该至少一个处理器还可以被配置为：在NWD中生成用于生成信任区用户界面(UI)的图像资源，将图像资源从NWD传输给SWD，以及在SWD中通过分离并编辑包括多个对象的图像资源来生成信任区UI，其中，以对象为单位执行分离和编辑。
至少一个处理器还可以被配置为在NWD中使用NWD中存在的至少一个图形工具包生成图像资源。
信任区UI可以包括以下至少一项：UI屏幕，与UI屏幕相对应的图像数据，和/或用于生成UI屏幕的图像资源，其中，可以基于与用户的交互通过UI屏幕来输入和/或输出数据。
至少一个处理器还可以被配置为：当在SWD中接收到图像资源之后，将图像资源存储在SWD的存储器中，SWD的存储器无法由NWD访问并且无法从OS外部访问。
至少一个处理器还可以被配置为：加载存储在SWD的存储器中的图像资源，以及通过在包括在加载的图像资源中的多个对象中分离要编辑的至少一个对象并且编辑分离的至少一个对象，来生成信任区UI。
至少一个处理器还可以被配置为：通过删除或改变所分离的至少一个对象和/或将至少一个对象添加到所分离的至少一个对象，来生成信任区UI。
至少一个处理器还可以被配置为：将信任区UI存储在SWD中包括的帧缓冲器中，以及在显示器上显示从帧缓冲器加载的信任区UI。
至少一个处理器还可以被配置为：使用在NWD中执行的字体引擎来生成与语言相对应的图像资源。
信任UI可以包括安全小键盘和/或安全键盘中的至少一项。
本发明的有利效果
本公开的示例实施例可以提供一种信任区图形渲染方法和使用该方法的显示设备，以在提高安全性能的同时容易且快速地生成信任区用户界面(UI)。
本公开的示例实施例可以提供一种信任区图形渲染方法和使用该方法的显示设备，以解决与信任区相对应的安全世界的存储器容量限制，并减少生成或改变信任区UI的时间延迟。
附图说明
通过以下结合附图的详细描述，本公开的某些实施例的上述和其它方面、特征和优点将更清楚，在附图中：
图1是示出根据本公开的示例实施例的分为普通世界(NWD)和安全世界(SWD)的示例操作系统(OS)的框图；
图2a是示出根据本公开的示例实施例的被输出以用于安全输入信息的示例安全键盘的图；
图2b是示出根据本公开的示例实施例的被输出以用于安全输入信息的示例安全键盘的另一图；
图3是示出根据本公开的示例实施例的被输出以用于安全输入数字的示例安全小键盘的图；
图4是示出根据本公开的示例实施例的示例显示设备的框图；
图5是示出根据本公开的另一示例实施例的示例显示设备的框图；
图6是示出根据本公开的示例实施例的显示设备的控制器的示例操作的图；
图7是示出根据本公开的示例实施例的生成信任区用户界面(UI)的示例操作的流程图；
图8a是示出根据本公开的示例实施例的与安全小键盘相对应的示例图像资源的图；
图8b是示出根据本公开的示例实施例的与安全键盘相对应的示例图像资源的图；
图9a是示出根据本公开的示例实施例的在编辑安全键盘之前安全键盘的示例编辑操作的图；
图9b是示出根据本公开的示例实施例的在编辑安全键盘之后安全键盘的示例编辑操作的图；以及
图10是示出根据本公开的示例实施例的示例信任区图形渲染方法的流程图。
具体实施方式
本申请基于并要求于2018年2月27日在韩国知识产权局提交的韩国专利申请No.10-2018-0023897的优先权，其公开内容通过引用整体并入本文中。
现在将更详细地参考本公开的各种示例实施例，其示例在附图中示出，其中贯穿附图，类似的附图标记指代类似的元件。这点上，本公开的示例实施例可以具有不同的形式，并且不应被理解为受限于本文阐述的描述。因此，下面仅通过参考附图描述本公开的实施例以解释各个方面。如本文所使用，术语“和/或”包括相关联的列出项中的一个或多个的任意和所有组合。贯穿本公开，表述“a、b或c中的至少一个”表示仅a，仅b，仅c，a和b两者，a和c两者，b和c两者，a、b和c的全部，或其任意和所有变体。
本公开的一些实施例可以由块组件和各种处理操作来表示。所有或一些这类功能块可以由执行特定功能的各种数量的硬件和/或软件组件或其任何组合来实现。例如，本公开的功能块可以用用于特定功能的一个或多个微处理器或电路元件来实现。本公开的功能块也可以用各种编程或脚本语言来实现。功能块可以被实现为在一个或多个处理器中执行的算法。此外，本公开可以采用任何数量的相关技术来进行电子配置、信号处理和/或控制、数据处理等。
附图中所示的元件之间的连接线和/或连接构件仅旨在示出功能连接和/或物理或电路连接。在实际的设备中，元件之间的连接可以通过可替换或添加的各种功能连接、物理连接或电路连接来表示。
在本公开的实施例中使用的术语，包括“单元”、“模块”、装置等的术语可以指代例如用于处理至少一个功能或操作的单元，并且可以以硬件、软件或硬件和软件的任何组合实现。术语“单元”或“模块”可以由存储在可寻址存储介质中并且可由处理器执行的程序来实现。
例如，术语“单元”、“模块”或装置可以包括软件组件、面向对象的软件组件、类组件和任务组件、过程、功能、属性、程序、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、阵列和变量等，但是本公开不限于此。
如前所述，诸如但不限于计算机、智能电话、平板个人计算机(PC)、个人数字助理(PDA)等电子设备已经被用户紧密地使用。随着用户个人使用的电子设备的广泛普及和使用，输入到和/或存储在电子设备中的用户个人信息和/或与用户有关的信息也不断增加。用户的个人信息和/或与用户有关的信息可以包括必须进行安全维护的信息，例如但不限于诸如用户的居民注册号等个人唯一标识信息、用户设置的密码、用户的信用卡号等。
电子设备可以输入、处理和/或存储用户的个人信息和/或与用户有关的信息以执行任务和/或操作。在电子设备中输入、处理和/或存储的用户的个人信息和/或与用户有关的信息可以包括需要被保护以免受黑客攻击的信息。
例如，当用户使用在电子设备中执行的互联网银行应用时，用户必须通过向互联网银行应用输入用户标识(ID)和用户密码来进行用户授权。在该示例中，用户ID和用户密码是必须被保护以免受黑客攻击的信息。在下文中，诸如用户的个人信息或与用户有关的信息之类的需要安全性的信息可以被统称为‘用户信息’。
因此，在输入、处理和/或存储用户信息的整个过程中都需要安全性，并且在输入、处理和/或存储用户信息的过程中，需要保护用户信息以防止由于外部有害因素(例如，恶意软件等)而泄漏。
如上所述，作为通过保护信息(例如，用户信息)来提高安全性能的方法中的一种，可以以设置使用的信任区的方法为例。
设置信任区的方法(例如可以称为用于安装在处理器上的硬件的安全性的技术)将执行处理器的操作系统(OS)分为普通世界(NWD)和与信任区相对应的安全世界(SWD)。例如，设置信任区的方法可以将OS所在的硬件(例如，存储设备等)分为NWD和SWD，并且使NWD无法访问SWD。根据设置信任区的示例方法，可以保护输入到SWD、在SWD中处理和/或存储在SWD中的数据和/或资源。
下面将参考图1更详细地描述作为提高安全性能的方法之一的设置信任区的方法。
图1是示出根据本公开的示例实施例的分为NWD和SWD的示例OS的框图。
参考图1，OS 100可以被分为NWD 110和与信任区相对应的SWD 130。NWD 110可以对应于富执行环境(REE)区域，而SWD 130可以对应于可信执行环境(TEE)区域。当与TEE区域相比时，REE区域具有安全漏洞。
例如，假设一个示例，其中用于接收和处理用户信息的用户界面(UI)应用在REE区域中操作。在该示例中，诸如恶意软件等的外部攻击者可能通过UI屏幕捕获等强取输入到应用的用户信息。为了解决可能在REE区域中发生的安全漏洞，可以使用一种使用与TEE区域对应的SWD设置信任区的方法。
根据设置信任区的方法，NWD 110可能无法访问在SWD 130中存在的资源。该资源可以指例如i)作为OS输入的数据和/或ii)在OS中生成、处理和/或存储的各种形式的数据。例如，为了解决由执行OS的处理器在输入、处理和/或存储用户信息的过程中可能发生的安全性问题(诸如用户信息的泄漏等)，可以在SWD 130中执行用于输入、处理和/或存储用户信息的至少一个操作。
例如，当通过UI屏幕输入用户信息时，可以在SWD 130中执行用于生成UI屏幕的UI应用。
参考图1，接收用户信息作为输入的UI屏幕的示例可以包括例如但不限于包括安全键盘160的安全键盘UI屏幕。
例如，对于在电子设备(例如，用户的移动电话)上执行的互联网银行应用，用户首先需要将用于用户授权的信息输入到互联网银行应用。互联网银行应用可以在显示器150上输出包括安全键盘160的UI屏幕，以接收用于用户授权的信息。用于用户授权的信息可以包括需要维护安全性的用户ID、与该用户ID相对应的密码等。
参考图1，为了显示包括安全键盘160的UI屏幕，将存储在NWD 110的存储器(未示出)中的图像资源加载到图形客户端应用(CA)111中，图形CA 111然后将加载的图像资源传输给SWD 130。例如，图形CA 111可以将加载的图像资源传输给图形可信应用(TA)131。
图形TA 131可以通过使用图形设备133在帧缓冲器135上直接绘制与接收到的图像资源相对应的图像来进行操作。可以仅在与信任区相对应的SWD 130中访问帧缓冲器135，而无法在NWD 110中访问帧缓冲器135。
为了显示包括安全键盘160的UI屏幕，SWD 130的图形TA 131可以直接生成所需的图像。例如，图形TA 131可以通过使用图形设备133在帧缓冲器135上直接绘制所需图像来进行操作。
然而，为了在SWD 130中生成信任区UI，可能存在以下描述的问题。
与NWD 110相比，与信任区相对应的SWD 130在例如用于生成和/或渲染图形的应用、设备、程序和/或工具中的存储器使用量方面可能有限制。例如，信任区可以具有比NWD110小的存储器容量，并且可以使用作为轻量级OS的安全OS。因此，SWD 130可能不接收对在NWD 110中使用的图形渲染技术或工具(例如，故障引擎等)的支持，或者可能在执行时间和存储器容量方面难以使用图形渲染技术或工具。
例如，在SWD 130中生成的图像可能不提供多语言支持。对于必须提供多语言支持的信任区UI，必须事先生成与对应于多种语言的国家一样多的图像。例如，为了输出与对应于所支持的20个国家的语言中的任何一种语言相对应的UI屏幕，SWD 130的图形设备133必须预先生成分别与20种语言相对应的20个UI屏幕。因此，在生成和存储20个图像时消耗了存储器资源。在支持的语言发生改变后，必须修改与对应于所改变的支持的语言的国家一样多的图像。因此，在用于多语言改变的维护和修复中消耗了成本和时间。
此外，为了预先存储多个图像，必须将生成的多个图像事先加载并存储在SWD 130中的存储器(未示出)(例如，闪存)中。因此，SWD 130中的存储器使用量增加。SWD 130可以具有比NWD 110小的存储器容量，使得当生成的多个图像被存储在SWD 130中的存储器(未示出)中时，剩余的存储器容量被减小。因此，减小了SWD 130中的可用存储器容量，使得后续操作的执行可能减慢或甚至变得不可能。
此外，当改变信任区UI时，修复信任区UI可能出现问题。例如，由于所有所需图像都是在SWD 130中事先生成的，因此即使当仅改变UI屏幕的一部分并且维持其它部分时，也必须新生成与UI屏幕相对应的图像。因此，当在UI屏幕中需要部分改变时，先前的图像可能不被使用并且新的图像必须被再生，从而导致新图像再生的时间延迟。
在本公开的实施例中，为了解决前述问题，公开了一种信任区图形渲染方法和使用该方法的显示设备，以在提高安全性能的同时容易且快速地生成信任区UI。下面将参考图2a至图10更详细地描述信任区图形渲染方法和使用该方法的显示设备。
在本公开的实施例中生成的信任区UI与使得能够通过与用户的交互来输入和/或输出数据的UI相对应，并且可以包括图像、数据和/或资源的各种形式中的至少一种。
例如，信任区UI可以包括UI屏幕、与UI屏幕相对应的图像数据和/或用于生成UI屏幕的图像资源中的至少一项。信任区UI可以包括与需要维持安全性的UI有关的屏幕、图像数据和/或资源的各种形式中的至少一种。
例如，信任区UI可以是图2a和图2b中所示的安全键盘。另外，信任区UI可以是图3中所示的安全小键盘。
图2a是示出根据本公开的示例实施例的被输出以用于安全输入信息的示例安全键盘的图。
图2b是示出根据本公开的示例实施例的被输出以用于安全输入信息的示例安全键盘的另一图。
参考图2a，安全键盘210可以包括布置有用于输入密码的键的区域205和用于输入和显示密码的区域211。在区域205中，可以布置与用于输入信息的字符、数字、符号和/或图形中的至少一项相对应的多个键。布置在区域205中的键可以随着安全键盘210所支持的语言而变化。图2a和图2b示出了安全键盘210支持的语言是英语的示例。例如，示出了示例，其中与字母字符相对应的键被布置在安全键盘210的区域205中，并且包括诸如‘安全键盘’、‘输入你的密码’、‘显示密码’等的指示。
为了防止和/或减少诸如恶意软件等外部攻击者通过例如屏幕捕获等强取输入信息的可能性，安全键盘可以通过在每个输出时间改变键的布置来输出键。
例如，需要根据输出定时、执行定时和/或生成定时中的至少一个来改变与安全键盘相对应的信任区UI。
图2a示出了在定时t1输出的安全键盘210，图2b示出了在定时t1之后的定时t2输出的安全键盘250。
参考图2a和图2b，当安全键盘210的输出定时被改变时，安全键盘210的区域220中的键布置可以被改变。
参考图2a，在定时t1处输出的安全键盘210的区域220中，例如，键‘y’221、‘u’222、空223、‘h’226、‘g’225和空224可以按顺时针方向顺序地布置。
参考图2a和图2b，图2a的区域220对应于图2b的区域260。在图2b的安全键盘250中，除了区域260之外的其它部分与图2a的键盘210中的相同，因此这里将不重复其描述。
参考图2b，在定时t2处输出的安全键盘250的区域260中，例如，键‘y’261、空262、‘u’263、空266、‘h’265和‘g’264可以按顺时针方向顺序地布置。
随着安全键盘的输出定时从t1变为t2，区域220的键‘u’222变为区域260的空键262。区域220的空键223变为区域260的键‘u’263。区域220的键‘h’226和‘g’225以及空键224变为区域260的空键266和键‘h’265以及‘g’264。
安全小键盘可以是用于在保持安全性的同时需要输入、处理和/或存储数据的UI的示例。
图3是示出根据本公开的示例实施例的被输出以用于数字的安全输入的示例安全小键盘的图。
参考图3，安全小键盘310可以包括指示安全小键盘的‘安全数字键盘’311、输入并显示密码的区域312以及布置有用于输入数字的键的区域313。
在安全小键盘310中，与图2a和图2b中描述的安全键盘一样或类似，布置在区域313中的键的位置可以根据输出定时而改变。
一旦选择了包括在安全小键盘310中的键，就可以与非选择键相区分地显示所选择的键。例如，当选择了与数字‘5’相对应的键320时，所选择的键320可以如图3所示被放大显示，因此可以以与其它未选择键不同的形式进行显示。
本公开的实施例公开了一种用于在与信任区相对应的SWD中渲染和输出需要安全性的UI屏幕的方法和装置，如在包括图2a和图2b所示的安全键盘和/或图3所示的安全小键盘的UI屏幕中。例如，本公开的实施例公开了一种用于当需要连续地改变UI屏幕的配置时快速且容易地生成与变化相对应的信任区UI的方法和装置。
在下文中，例如，在需要保持安全性能的数据的输入中使用的并且在与信任区相对应的SWD中渲染的UI可以被称为‘信任区UI’。根据本公开的实施例的信任区UI可以包括参考图2a和图2b描述的安全键盘和/或参考图3所描述的安全小键盘。
在本文中，‘信任区UI’可以例如但不限于包括与UI屏幕相对应的图像，与UI屏幕相对应的图像所对应的资源，和/或与UI屏幕相对应的图像所对应的数据。
根据本公开的实施例的电子设备可以是能够通过执行图形渲染来生成信任区UI的任何设备，并且可以具有各种形式。
例如，根据本公开的实施例的电子设备可以包括例如但不限于至少一个处理器，该至少一个处理器执行用于执行分为NWD和与信任区相对应的SWD的OS的一个或多个指令，并且该电子设备可以是能够在与信任区相对应的区域中执行UI生成和/或编辑所需的渲染的任何设备。
例如，根据本公开的实施例的电子设备可以包括显示设备，诸如例如但不限于电视(TV)、计算机、智能电话、蜂窝电话、平板个人计算机(PC)、数码相机、便携式摄像机、膝上型计算机、台式机、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、MP3播放器、可穿戴设备等。
根据本公开的实施例的电子设备还可以包括能够执行UI渲染的服务器设备。在该示例中，服务器设备可以通过有线或无线网络与外部显示设备连接，并且可以将所生成的信任区UI传输给外部显示设备。外部显示设备可以显示信任区UI，以允许通过与用户的交互来输入信息。
在下文中，将描述其中根据本公开的实施例的电子设备是包括输出信任区UI的显示器在内的显示设备的示例。因此，图4和图5中所示的显示设备400和500(虽然被称为‘显示设备’)可以具有电子设备或服务器设备的上述各种形式。
图4是示出根据本公开的示例实施例的示例显示设备的框图。
参考图4，根据本公开的实施例的显示设备400可以包括控制器(例如，包括处理电路)410、存储器420和显示器430，并且可以执行信任区UI生成所需的图形渲染。
例如，显示设备400可以包括显示器430、包括一个或多个指令的存储器420，以及包括用于执行存储在存储器420中的一个或多个指令的至少一个处理器(未示出)的控制器410。
控制器410可以包括用于执行一个或多个指令以执行分为NWD和与信任区相对应的SWD的OS的各种处理电路，诸如例如但不限于至少一个处理器(未示出)。例如，控制器410可以通过执行存储在存储器420中的一个或多个指令来执行OS。
控制器410可以控制显示设备400的整体操作以及显示设备400的内部元件之间的信号流，并处理数据。
根据本公开的实施例，控制器410可以执行用于渲染信任区UI的操作。例如，控制器410可以执行用于使用图像资源来生成和/或编辑信任区UI的操作。
在本公开的实施例中，包括在控制器410中的至少一个处理器可以分为NWD和与信任区相对应的SWD，如参考图1所描述。
控制器410的硬件(未示出)可以分为NWD和与信任区相对应的SWD。本文中，硬件(未示出)可以包括例如但不限于形成包括在控制器410中的至少一个处理器的图形处理单元(GPU，未示出)、中央处理单元(CPU)等。处理器(未示出)可以被实现为其中集成了至少一个核(未示出)和GPU(未示出)的片上系统(SoC)。例如，控制器410的硬件(例如，SoC)可以分为NWD和与信任区相对应的SWD。
控制器410的软件(未示出，例如，OS等)可以分为NWD和与信任区相对应的SWD。
例如，包括在控制器410中的至少一个处理器可以操作以：在NWD中生成在信任区UI的生成中使用的图像资源，将该图像资源从NWD传输给SWD，并在SWD中通过以对象为单位分离并编辑包括多个对象在内的图像资源来生成信任区UI。
在本文中，编辑可以指例如改变包括在图像资源中的每个对象的位置、大小、形状、颜色、形式、布置和/或应用语言中的至少一项。基于对象的分离并编辑的示例可以包括如下情况：当图像资源包括多个对象时，改变包括在多个对象中的至少两个对象的位置以重新布置对象的位置。
在本文中，信任区UI可以与使得能够通过与用户的交互来输入和/或输出数据的UI相对应，并且可以包括图像、数据和资源的各种形式中的至少一种。
例如，信任区UI可以是参考图2a和图2b描述的安全键盘。在另一示例中，信任区UI可以是参考图3描述的安全小键盘。在另一示例中，信任区UI可以与使得能够输入和/或输出数据以使用户执行在维持安全性的同时必须执行的环境设置、系统设置、操作设置、方法设置等的UI相对应。在另一示例中，信任区UI可以与使得能够输入和/或输出需要维持安全性的数据的UI相对应。
例如，当控制器410在NWD中生成在信任区UI的生成中使用的图像资源时，该图像资源可以包括与作为屏幕输出的图像的至少一部分相对应的图像数据。例如，当信任区UI是与安全小键盘相对应的UI时，在控制器410的NWD中生成的图像资源可以包括与UI屏幕的安全小键盘部分相对应的图像数据。
由控制器410生成的图像资源可以包括多个图像和/或与其相对应的数据，以及单个图像和/或与其相对应的数据。例如，由控制器410在NWD中生成的图像资源可以包括与安全小键盘相对应的图像和与安全键盘相对应的图像。
控制器410可以在NWD中使用例如在NWD中存在的至少一个图形工具包来生成图像资源。
控制器410可以使用在NWD中执行的字体引擎来生成与特定语言相对应的图像资源。例如，当信任区UI是英语支持的安全键盘时，控制器410可以通过凭借字体引擎将应用于图像资源的语言设置为英语来生成与应用了英语的安全键盘相对应的图像资源。
通常，向NWD分配的存储器容量要大于向SWD分配的存储器容量。因此，在控制器410中，当与SWD相比时，NWD在存储器容量上没有限制。另一方面，当与NWD相比时，由于存储器容量小，SWD在存储用于图形渲染等的工具时可能受到限制。
在NWD中，可能存在各种形式的图形工具包。例如，用于图形渲染的图形工具包的示例可以包括例如但不限于启蒙基金会库(Enlightenment Foundation Library)(ELF)、GNU图像操纵程序(GIMP)工具包(GTK)、QT工具包等。在NWD中，可能存在用于图形渲染的字体引擎。因此，在需要多语言支持的信任区UI中，可以使用字体引擎来快速且方便地设置和/或改变在信任区UI中支持和应用的语言。当不使用字体引擎时，要将应用于信任区UI的语言从例如英语改变为韩语，则必须将信任区UI中存在的每个字符从英语改变为韩语。然而，使用字体引擎，可以一次快速改变信任区UI中存在的字符的语言类型。
NWD可以是支持所有用于图形渲染的技术、工具等的环境。由于上述存储器容量限制，所以SWD在支持用于图形渲染的技术、工具等方面可能有限制，并且可能不支持SWD支持的技术、工具等。例如，在SWD中，由于存储器容量的限制，可能不存在图形工具包和字体引擎。
在本公开的实施例中，可以在NWD中生成可以是用于生成信任区UI的模板的图像资源。因此，可以使用NWD中存在的用于图形渲染的技术和/或工具、支持多语言系统的字体引擎等来快速且容易地生成图像资源。
控制器410可以以对象为单位来分离并编辑包括在通过SWD接收到的图像资源中的多个对象中的至少一个，以生成信任区UI。
对象例如可以是与要通过信任区UI输入的信息的最小语义单元相对应的键。对象可以例如但不限于是用于识别包括在信任区UI中的字符、数字、图形和符号的最小单元。对象还可以是包括在信任区UI中的每个操作执行键。对象还可以是包括在信任区UI中的一个有意义的单词或句子。
控制器410可以在SWD中以对象为单位来分离并编辑包括多个对象的图像资源。
如参考图2a和图2b所述，用于安全输入的安全键盘等需要在每次输出时间改变安全键盘的形式之后输出UI。在该示例中，控制器410可以通过仅修改与包括在图像资源中的模板图像中的与改变的部分相对应的至少一个对象，而不是新生成作为整体的与改变的信任区相对应的图像，来生成与改变的信任区UI相对应的图像。
例如，控制器410可以以对象为单位分离并编辑包括在接收并存储于SWD中的图像资源中的多个对象中的需要进行改变的至少一个对象。基于对象的编辑可以指例如包括在图片资源中的至少一个对象中的位置、大小、颜色、形式、布置、形状和/或所应用的语言中的至少一项发生变化的任何情况。
例如，基于对象的编辑可以例如包括：i)通过改变至少两个对象的位置来重新布置包括在UI中的多个对象中的至少两个对象，ii)删除和/或改变所分离的至少一个对象，iii)将至少一个对象添加到分离的至少一个对象中，iv)生成至少一个对象并将其添加到现有的至少一个对象中等。
控制器410可以包括：存储器，该存储器中存储有用于执行上述操作和以下将要描述的操作的至少一个程序；以及至少一个处理器，执行存储的至少一个程序。
例如，控制器410可以包括：RAM(未示出)，其存储从显示设备400的外部输入的信号或数据和/或用作与由显示设备400执行的各种任务相对应的存储区域；ROM(未示出)，其中存储有用于控制显示设备400的控制程序；以及至少一个处理器(未示出)。由于ROM(未示出)是包括在控制器410中的非易失性存储器设备，可以包括闪存。
处理器(未示出)可以包括用于处理与视频相对应的图形的图形处理单元(GPU，未示出)。处理器(未示出)可以被实现为其中集成了核(未示出)和GPU(未示出)的片上系统(SoC)。处理器(未示出)可以包括单核、双核、三核、四核以及其任何倍数的核。
存储器420可以包括一个或多个指令。例如，存储器420可以包括由包括在控制器410中的至少一个处理器(未示出)实施或执行的一个或多个指令。包括在控制器410中的处理器(未示出)可以控制存储在存储器420中的至少一个指令，该至少一个指令被执行使得用于渲染信任区UI的操作被执行。
在本公开的实施例中，存储器420可以在其中存储有至少一个程序，该至少一个程序包括用于执行上述操作的指令。
存储器420可以被实现为包括在控制器410中。在这种情况下，控制器410可以包括存储器420和用于控制在显示设备400中执行的操作的至少一个处理器(未示出)，并且可以控制包括在显示设备400中的其它组件以执行特定操作。
存储器420可以包括特定数据和至少一个程序，该至少一个程序包括用于执行特定操作的指令。
存储器420可以包括例如但不限于以下至少一种类型的存储介质：闪存类型、硬盘类型、多媒体卡微型类型、卡类型存储器(例如，安全数字(SD)或极限数字(XD)存储器等)质、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。
显示器430可以通过内部包括的显示面板来输出与视频数据相对应的图像，以允许用户在视觉上识别视频数据。
在本公开的实施例中，显示器430可以显示与由包括在控制器410中的至少一个处理器(未示出)渲染的信任区UI相对应的图像。
下面将参考图6至图10更详细地描述由包括在控制器410中的至少一个处理器执行的操作。
图5是示出根据本公开的另一示例实施例的另一示例显示设备的框图。
图5所示的显示设备500、包括至少一个处理器的控制器(例如，包括处理电路)501、存储器570和显示器530可以与图4中所示的显示设备400、包括至少一个处理器的控制器10、存储器420和显示器430相对应。因此，当描述显示设备500时，将不会提供与参考图1至图4进行的描述相冗余的描述。
如图5中所示，显示设备500还可以包括用户输入单元(例如，包括输入电路)520、输出单元(例如，包括输出电路)525、感测单元(例如，包括感测电路和/或传感器)540、通信单元(例如，包括通信电路)550、音频/视频(A/V)输入单元(例如，包括A/V输入电路)560和相机564以及包括至少一个处理器的控制器501、存储器570和显示器530。
用户输入单元520可以包括各种输入电路，用户通过该输入电路输入用于控制显示设备500的数据。例如，用户输入单元520可以包括但不限于小键盘、圆顶开关、触摸板(电容覆盖类型、电阻覆盖类型、红外光束类型、表面声波类型、积分应变仪类型、压电效应类型等)、滚轮、点动开关等。
根据本公开的实施例的用户输入单元520可以通过信任区UI接收特定信息的输入。例如，输入可以包括但不限于触摸显示器530上输出的信任区UI的区域的输入。例如，布置了特定键的区域。一旦触摸布置了特定键的区域，则用户输入单元520可以感测触摸并且接收与特定键相对应的数据的输入。
输出单元525可以包括各种输出电路并且输出音频信号、视频信号和/或振动信号，并且可以包括显示器530、音频输出单元(例如，包括音频输出电路)531和振动马达532。
显示器530可以显示在显示设备500中处理的信息。例如，根据本公开的实施例的显示器530可以输出信任区UI。
音频输出单元531可以包括各种音频输出电路，并且输出从通信单元550接收或存储在存储器570中的音频数据。音频输出单元531输出与在显示设备500中执行的功能有关的音频信号(例如，呼叫信号接收声音、消息接收声音、警报声音等)。
控制器501可以包括各种处理电路，并且控制显示设备500的整体操作以及显示设备500的内部元件之间的信号流，并处理数据。当输入用户输入和/或满足预设并存储的条件时，控制器501可以执行存储在存储器570或包括在控制器501内部中的存储器(未示出)中的操作系统(OS)和各种应用。
根据本公开的实施例的控制器501可以执行存储在存储器570中的一个或多个指令，以在NWD中生成在信任区UI的生成中使用的图像资源，将图像资源从NWD传输给SWD，以及在SWD中通过以对象为单位分离并编辑包括多个对象的图像资源来生成信任区UI。
感测单元540可以包括各种感测电路和/或传感器，并且感测显示设备500的状态和/或在显示设备500附近的状态，并且可以将感测到的信息传递给控制器501。
感测单元540可以包括但不限于以下至少一项：地磁传感器541、加速度传感器542、温度/湿度传感器543、红外传感器544、陀螺仪传感器545、定位传感器(例如，全球定位系统(GPS))546、压力传感器547、接近传感器548和/或RGB传感器549。本领域普通技术人员可以从每个传感器的名称直观地理解每个传感器的功能，因此将不再详细描述。
通信单元550可以包括使显示设备500能够与另一设备(未示出)通信的一个或多个元件。另一设备可以是但不限于诸如显示设备500或感测设备的计算设备。例如，通信单元550可以包括各种通信电路，诸如例如但不限于短距离通信单元510、移动通信单元552和广播接收单元553。
短距离通信单元510可以包括但不限于蓝牙通信单元、蓝牙低能量(BLE)通信单元、近场通信/射频识别(NFC/RFID)单元、无线局域网(WLAN)(Wi-Fi)通信单元、ZigBee通信单元、红外数据协会(IrDA)通信单元(未示出)、Wi-Fi直连(WFD)通信单元、超宽带(UWB)通信单元和Ant+通信单元。
移动通信单元552可以包括各种通信电路，该通信电路通过移动通信网络向基站、外部终端和/或服务器中的至少一个发送无线电信号和/或从其接收无线电信号。在本文中，无线电信号可以包括与语音呼叫信号、视频通信呼叫信号和/或文本/多媒体消息的发送/接收相对应的各种形式的数据。
广播接收单元553可以包括各种通信电路，并且通过广播信道从外部源接收广播信号和/或与广播相关的信息。广播信道可以包括卫星信道和地面信道。根据实现示例，显示设备500可以不包括广播接收单元553。
A/V输入单元560可以包括输入音频信号或视频信号的各种输入电路，并且可以包括例如但不限于相机564、麦克风562等。相机564通过图像传感器以视频通信模式或拍摄模式获得诸如静止图像或运动图像等的图像帧。由图像传感器捕获的图像由控制器501或单独的图像处理器(未示出)处理。
麦克风562接收外部音频信号，并将接收到的信号处理为电语音数据。例如，麦克风562可以从外部设备或用户接收音频信号。麦克风562可以接收用户的语音输入。麦克风562可以使用各种噪声消除算法来消除在接收外部音频信号期间生成的噪声。
可以将存储在存储器570中的程序根据其功能分类为多个模块，例如，用户界面(UI)模块571、触摸屏模块572、通知模块573等。
UI模块571可以针对每个应用提供与显示设备500进行交互工作的专用UI或图形UI(GUI)。触摸屏模块572可以感测用户在触摸屏上的触摸手势，并且将关于该触摸手势的信息传递给控制器501。根据本公开的实施例的触摸屏模块572可以识别并分析触摸代码。触摸屏模块572可以配置有包括控制器的单独的硬件。
在本公开的实施例中，UI模块571可以包括用于执行特定操作以生成或编辑UI的程序。例如，UI模块571可以包括处理器(未示出)，该处理器包括用于执行特定操作以生成或编辑UI的程序。
通知模块573可以生成用于通知显示设备500的事件的发生的信号。在显示设备500中发生的事件的示例可以包括例如但不限于呼叫信号接收、消息接收、键信号输入、时间表通知等。通知模块573可以通过显示器230以视频信号的形式，通过音频输出单元522以音频信号的形式，和/或通过振动马达523以振动信号的形式输出通知信号。
在下文中，参考图6至图9b，将对由显示设备400的控制器410执行以生成信任区UI的操作进行更详细的描述。
图6是示出根据本公开的示例性实施例的显示设备的控制器的示例操作的图。
图7是示出根据本公开的示例实施例的生成信任区UI的示例操作的流程图。
图8a是示出根据本公开的示例实施例的与安全小键盘相对应的示例图像资源的图。
图8b是示出根据本公开的示例实施例的与安全键盘相对应的示例图像资源的图。
图9a是示出根据本公开的示例实施例的在编辑安全键盘之前安全键盘的示例编辑操作的图。图9b是示出根据本公开的示例实施例的在编辑安全键盘之后安全键盘的示例编辑操作的图。
图6中所示的控制器610和显示器690可以与图4中所示的控制器410和显示器430相对应。图6中所示的控制器610和显示器690还可以与图5中所示的控制器501和显示器530相对应。在图6中示出的NWD 620和与信任区相对应的SWD 650可以与以上参考图1描述的NWD 110和SWD 130相对应。因此，当描述控制器610时，将不会提供与参考图1至图5进行的描述相冗余的描述。
在图6和图7中，相同的元件将被称为相同的附图标记。例如，在图6和图7中，NWD由附图标记‘620’指示，而SWD由附图标记‘650’指示。
参考图6，控制器610可以分为NWD 620和与信任区相对应的SWD 650，如参考图1所描述。例如，包括在控制器610中的至少一个处理器可以分为NWD 620和与信任区相对应的SWD 650，如参考图1所描述。在本文中，控制器610(例如，至少一个处理器(未示出))可以在其中安装有OS。因此，安装在控制器610中的OS可以形成为分为NWD和与信任区相对应的SWD。
参考图6，图形客户端应用(CA)621和缓冲器625可以存在于NWD 620中。图形可信应用(TA)655、缓冲器(未示出)、图形设备681和帧缓冲器683可以存在于SWD 650中。虽然缓冲器625将被示出和描述为图6中的NWD 620中存在的存储器的示例，但还可以包括各种形式的存储器。将缓冲器(未示出)和帧缓冲器683示出和描述为图6中的SWD 650中存在的存储器的示例，但可以包括各种形式的存储器。
参考图6和图7，在本公开的实施例中，在操作S711中，生成信任区UI所需的图像资源在NWD 620中被生成。在本文中，在NWD 620中生成的图像资源可以指例如与信任区UI相对应的模板图像。
信任区UI可以包括例如但不限于UI屏幕、与UI屏幕相对应的图像数据、和/或用于生成UI屏幕的图像资源等中的至少一种，其中可以基于与用户的交互通过UI屏幕来输入或输出数据。例如，信任区UI可以是参考图2a和图2b描述的安全键盘。在另一示例中，信任区UI可以是参考图3描述的安全小键盘。
以下描述将以示例为例，其中在本公开的实施例中生成和/或编辑的信任区UI是与安全键盘相对应的UI。
参考图6和图7，包括在控制器610中的至少一个处理器(未示出)可以通过使用NWD620中存在的图形CA621来生成用于信任区UI生成的图像资源。
在本文中，图形CA 630例如可以与图形TA 655成对存在，并且图形CA 621可以将图像资源传输给图形TA 655。
例如，控制器610可以使用NWD 620中存在的用于图形渲染的工具来生成用于信任区UI生成的图像，例如，图像资源生成器(未示出)可以通过使用NWD 620中存在和/或支持的图形工具包来生成图像资源。
下面将参考图8a和图8b更详细地描述在控制器610的NWD 620中生成的图像资源。
图像资源可以例如是用于信任区UI生成的资源，并且可以是与信任区UI相对应的图像。
例如，当信任区UI是用于安全输入数字的安全小键盘时，图像资源可以包括指示安全小键盘810的模板图像，如图8a中所示。
图像资源可以是信任区UI的模板，并且可以被生成为不显示图3中如与数字‘5’相对应的键320那样突出显示的所选择的键与未选择的键之间的区别。例如，比较图3中所示的安全小键盘310与图8a所示的安全小键盘810，不显示包括在安全小键盘810中的键的选择或突出显示。
当信任区UI是用于安全输入包括字符、数字、图形或符号中的至少一种的信息的安全键盘时，图像资源可以包括指示安全键盘的模板图像850，如图8b中所示。
在控制器610中生成的图像资源可以包括多个对象。在本文中，对象可以是与要通过信任区UI输入的信息的最小语义单元相对应的密钥。对象可以是用于识别包括在信任区UI中的字符、数字、图形和符号的最小单元。对象还可以是包括在信任区UI中的每个操作执行键。对象还可以是包括在信任区UI中的一个有意义的单词或句子。
例如，在图8a所示的安全小键盘810中，数字‘0’至‘9’中的每一个可以是一个对象，并且操作执行键‘取消’、‘完成’、‘返回’等中的每一个可以是一个对象。一个有意义的句子‘安全数据键盘’也可以是一个对象。
与安全小键盘和安全键盘相对应的模板图像可以具有各种形式，以及在图8a和图8b中所示的形式。
在操作S712中，可以将所生成的图像资源存储在NWD 620中存在的存储器(例如，缓冲器625)中。
例如，缓冲器625可以是二维(2D)画布缓冲器。控制器610可以通过使用NWD 620中存在的图像资源生成器(未示出)在2D画布缓冲器上绘制与信任区UI相对应的模板来生成图像资源。
例如，在NWD 620中生成的图像资源可以包括安全键盘623的图像，用于生成与安全键盘623相对应的图像的数据，与安全键盘623相对应的图像数据等等。生成为图像资源的安全键盘623的图像可以是与信任区UI相对应的模板图像。
如上所述，在NWD中，可能存在各种形式的图形工具包。例如，用于图形渲染的图形工具包的示例可以包括但不限于ELF、GTK、QT工具包等。
NWD可以是支持所有用于图形渲染的技术、工具等的环境。由于上述存储器容量限制，SWD在支持用于图形渲染的技术、工具等方面可能有限制，并且可能不支持SWD支持的技术、工具等。
在本公开的实施例中，可以在NWD中生成可以是用于生成信任区UI的模板的图像资源。因此，可以使用NWD中存在的用于图形渲染等的技术或工具来快速且容易地生成图像资源。
一旦生成了图像资源，在操作S713中，控制器610可以将图像资源传输给SWD 650中的SWD 650。例如，图形CA 630可以加载存储在缓冲器625中的图像资源，并且将加载的图像资源传输给图形TA 655。图形CA 630和图形TA 655中的每一个可以包括共享存储器(未示出)，并且可以通过使用其内部包括的共享存储器(未示出)来传输和接收图像资源。
控制器610可以将由SWD 650接收的图像资源存储在作为SWD 650中的存储器的缓冲器(未示出)中。在本文中，存储在缓冲器(未示出)中的图像资源可以是与安全键盘623相对应的数据，并且可以表示为图6中所示的安全键盘670。例如，与安全键盘670相对应的数据可以是与从图形CA 621传输的与安全键盘623相对应的图像资源。因此，安全键盘670可以与安全键盘623相对应。
例如，当从SWD 650接收图像资源时，控制器610可以将图像资源存储在SWD 650的存储器中，无法从NWD 620并且从安装在控制器610中的OS外部访问该SWD 650的存储器。存储在SWD 650的存储器(例如，缓冲器(未示出))中的图像资源可以是与安全键盘670相对应的数据。
在操作S714中，控制器610可以在SWD 650中以对象为单位分离并编辑包括多个对象在内的图像资源。例如，包括在SWD 650中的图形设备681可以执行图形渲染。图形设备681可以通过使用图像资源以对象为单位执行分离并编辑操作来生成与信任区UI相对应的图像或数据。与所生成的信任区UI相对应的图像或数据可以存储在帧缓冲器683中。
例如，控制器610可以通过在SWD 650中编辑作为图像资源的安全键盘670来生成与安全键盘691相对应的信任区UI。例如，安全键盘在被编辑之前可以是安全键盘670，并且安全键盘在被编辑之后可以是安全键盘691。例如，通过重新布置安全键盘670中的包括在特定区域671中的对象，可以生成安全键盘691。因此，布置在安全键盘691的特定区域692中的对象的布置可以与安全键盘670中的包括在特定区域671中的对象的布置不同。
将在下面参考图9a和图9b更详细地描述基于对象的分离和编辑。
如参考图2a和图2b所示，用于安全输入的安全键盘等需要在每次输出时间改变安全键盘的形式之后输出UI。在这种情况下，控制器610可以通过仅修改与包括在图像资源中的模板图像中的改变部分相对应的至少一个对象，而不是新生成与改变的信任区UI相对应的作为整体的图像，来生成与改变的信任区UI相对应的图像。
例如，控制器610可以以对象为单位分离并编辑包括在接收并存储于SWD 650中的图像资源中的多个对象中的需要进行改变的至少一个对象。
图9a中所示的安全键盘910可以与指示图8b所示的安全键盘的模板图像850相对应。例如，安全键盘910可以与包括在图像资源中的模板相对应。安全键盘910可以与参考图6描述的安全键盘670相对应。
在图9a示出的安全键盘910中，为了通过改变包括在特定区域911中的键的布置来生成信任区UI，在操作S715中，控制器610可以仅分离与改变的部分相对应的至少一个对象并且修改所分离的对象，从而生成具有预期形式的信任区UI。在本文中，特定区域911可以与参考图6描述的特定区域671相对应。
在下文中，将描述在控制器610中执行的用于将图9a中所示的键盘910的区域911改变为图9b中所示的安全键盘950的区域951的操作。
作为参考，在图9a中所示的区域911可以与图9b中所示的区域951相对应。图9b中所示的安全键盘950包括可以与参考图6描述的安全键盘670相对应。在本文中，特定区域951可以与参考图6描述的特定区域692相对应。
参考图9a和图9b，控制器610可以以对象为单位分离要改变的对象。例如，控制器610可以从作为图像资源的安全键盘910分离要改变的对象‘r’921、‘t’922、‘y’923、‘u’924、空925、空928、‘g’929和‘h’930。可以根据要改变的事项(matter)来改变每个分离的对象。
例如，安全键盘910的‘r’921、‘t’922、‘y’923、‘u’924、空925、空928、‘g’929和‘h’930可以分别改变为空961、‘r’962、‘t’963、‘y’964、‘u’965、‘g’968、‘h’969和空970。也就是说，为了改变包括在安全键盘910(‘r’921、‘t’922、‘y’923、‘u’924、空925、空928、‘g’929、和‘h’930)中的至少一个对象的布置位置，可以执行基于对象的编辑。因此，可以生成与信任区UI相对应的安全键盘950。
通过前述基于对象的分离和编辑而生成的安全键盘950可以是与信任区UI相对应的图像。
在图9a和图9b中，已经描述了改变对象的布置位置的情况作为基于对象的分离和编辑的示例。然而，基于对象的编辑可以意味着包括在图像资源中的至少一个对象中的颜色、形式、布置、形状或所应用的语言中的至少一种发生改变的任何情况。
例如，基于对象的编辑可以包括但不限于以下情况：i)删除或改变所分离的至少一个对象，ii)将至少一个对象添加到所分离的至少一个对象中，iii)生成至少一个对象并将其添加到现有的至少一个对象中等。
在操作S716中，控制器610可以将通过上述基于对象的分离和编辑而生成的信任区UI存储在包括在SWD 650中的帧缓冲器683中。从帧缓冲器683加载的信任区UI可以通过显示器690显示。显示器690可以与图4中所示的显示器430相对应。
根据OS，控制器610可以被分为用户空区(user null)611和内核空区(kernelnull)613。在用户空区611中执行的操作可以被称为用户模式，并且在内核空区613中执行的操作可以被称为内核模式。
例如，用户模式可以指例如其中无法访问除对应区域中的给定存储区域之外的进程或存储区域的模式。例如，当在SWD 650的用户空区612中执行图形渲染操作时，图形TA655可以访问SWD 650的用户空区612中存在的存储器(未示出)并执行图形渲染操作。然而，无法访问除了用户空区612以外的空间，例如，NWD 620中存在的缓冲器625。
内核模式可以指例如其中可访问除了对应区域以外的进程或存储器区域的模式。例如，图形设备681可以访问用户空区612中存在的存储器(未示出)以检索和编辑图像资源。
如上所述，在本公开的实施例中，在获得与信任区UI的模板相对应的图像资源的SWD 650中，包括在图像资源中的至少一个对象被分离并编辑，从而快速生成预期的信任区UI而无需新生成每次当改变信任区UI时与要改变的信任区UI相对应的图像。
为了生成信任区UI，将多个对象图像存储在SWD 650中，并渲染先前存储的对象图像以生成预期的信任区UI。在该示例中，必须将所有多个对象图像存储在SWD 650中，从而可以增加包括在SWD 650中的存储器(例如，闪存)的使用量。此外，随着闪存的使用量增加，处理其它任务所需的存储器容量减小。此外，为了生成支持多种语言的信任区UI，必须存储与支持的多种语言的语言类型一样多的对象图像的集合。因此，上述闪存使用量的增加变得更糟。
此外，每次当改变信任区UI时，都必须执行渲染以使用对象图像生成完整图像，从而增加了操作执行时间。
如上所述，在本公开的实施例中，与信任区UI相对应的模板作为图像资源从NWD620传输到SWD 650，并且使用在SWD 650中接收到的图像资源来执行基于对象的分离和编辑，从而生成信任区UI。因此，每次当改变信任区UI时，对要改变的对象进行编辑而无需针对完整的新图像生成执行渲染，从而减少了维护和修复信任区UI所花费的时间和存储器容量。因此，可以快速且方便地生成预期的信任区UI。
图10是示出根据本公开的示例实施例的示例信任区图形渲染方法的流程图。在图10中所示的信任区图形渲染方法中执行的操作可以与根据参考图1至图9b描述的本公开的实施例的在显示设备400或500中执行的操作相对应。因此，当描述图10中所示的信任区图形渲染方法1000时，将不会提供与参考图1至图9a进行的描述相冗余的描述。
为了描述信任区图形渲染方法1000，将参考图4中所示的显示设备400和图6中所示的控制器610。
参考图10，信任区图形渲染方法1000可以是分为NWD和与信任区相对应的SWD的OS中的信任区图形渲染方法。
信任区图形渲染方法1000可以包括在NWD 620中生成用于生成信任区UI的图像资源的操作S1010。操作S1010可以由包括在控制器610中的至少一个处理器执行。操作S1010可以与图7的操作S711相对应。
在操作S1020中，将在操作S1010中生成的图像资源从NWD 620传输给SWD 650。操作S1020可以由包括在控制器610中的至少一个处理器执行。操作S1020可以与图7的操作S713相对应。
在操作S1030中，在SWD 650中，以对象为单位分离并编辑包括多个对象在内的图像资源以生成信任区UI。操作S1030可以由包括在控制器610中的至少一个处理器执行。操作S1030可以与图7的操作S714和S715相对应。
在本公开的实施例中，将与信任区UI相对应的模板作为图像资源从NWD传输给SWD，并且使用在SWD中接收到的图像资源来执行基于对象的分离和编辑，从而生成信任区UI。因此，每次当改变信任区UI时，对要改变的对象进行编辑而无需针对完整的新图像生成执行渲染，从而减少了维护和修复信任区UI所花费的时间和存储器容量。因此，可以快速且方便地生成预期的信任区UI。
本公开的一些实施例可以用包括诸如计算机可执行编程模块之类的计算机可执行指令的记录介质来实现。计算机可读记录介质可以是计算机可访问的可用介质，并且包括例如但不限于易失性介质、非易失性介质、单独的介质和非单独的介质中的所有介质。计算机可读记录介质还可以包括计算机存储介质和通信介质。计算机存储介质包括例如但不限于易失性介质、非易失性介质、单独的介质和非单独的介质中的所有介质，其通过用于存储诸如计算机可读指令、数据结构、编程模块或其它数据等的信息的方法或技术来实现。通信介质包括计算机可读指令、数据结构、编程模块或如载波之类的已调制数据信号的其它数据或其它传输机制，并且包括信息传递介质。本公开的一些实施例可以由包括诸如由计算机执行的计算机程序之类的计算机可执行指令在内的计算机程序、或计算机程序产品来实现。
本公开中描述的特定示例实施例是说明性示例，并且无意以任何方式另外限制本发明的范围。为了简洁起见，可以不详细描述常规电子器件、控制系统、软件开发和系统的其它功能方面。
应该理解，本文中描述的本公开的各种示例实施例应当被认为仅是描述意义的，而不是出于限制的目的。本公开的每个实施例内的特征或方面的描述通常应被看作可用于本公开的其它实施例中的其它类似特征或方面。
虽然已经参考附图描述了本公开的各种示例实施例，但是本领域普通技术人员将理解，在不脱离例如由所附权利要求书所定义的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (15)

1.一种在分为普通世界NWD和安全世界SWD的操作系统OS中的信任区图形渲染方法，所述SWD与信任区相对应，所述信任区图形渲染方法包括：
在所述NWD中生成用于生成信任区用户界面UI的图像资源；
将所述图像资源从所述NWD传输给所述SWD；以及
在所述SWD中通过分离并编辑包括多个对象在内的所述图像资源来生成所述信任区UI，其中，以对象为单位执行所述分离和所述编辑。
2.根据权利要求1所述的信任区图形渲染方法，其中，生成所述图像资源包括：在所述NWD中使用所述NWD中存在的至少一个图形工具包生成所述图像资源。
3.根据权利要求1所述的信任区图形渲染方法，其中，所述信任区UI包括以下至少一项：UI屏幕，与所述UI屏幕相对应的图像数据，和/或用于生成所述UI屏幕的图像资源，其中，基于与用户的交互通过所述UI屏幕来输入和/或输出数据。
4.根据权利要求3所述的信任区图形渲染方法，其中，所述信任区UI包括以下至少一项：安全小键盘和安全键盘。
5.根据权利要求1所述的信任区图形渲染方法，其中，所述图像资源包括与通过屏幕输出的图像的至少一部分相对应的图像数据。
6.根据权利要求1所述的信任区图形渲染方法，还包括：当在所述SWD中接收到所述图像资源时，将所述图像资源存储在所述SWD的存储器中，所述SWD的存储器无法由所述NWD访问并且无法从所述OS外部访问。
7.根据权利要求6所述的信任区图形渲染方法，其中，生成所述信任区UI包括：
加载存储在所述SWD的存储器中的所述图像资源；以及
通过从包括在所加载的图像资源中的所述多个对象中分离要编辑的至少一个对象并编辑所分离的至少一个对象，来生成所述信任区UI。
8.根据权利要求7所述的信任区图形渲染方法，其中，生成所述信任区UI包括通过执行以下至少一种操作来生成所述信任区UI：删除所分离的至少一个对象，改变所分离的至少一个对象，和/或将至少一个对象添加到所分离的至少一个对象。
9.根据权利要求1所述的信任区图形渲染方法，其中生成所述图像资源包括：使用在所述NWD中执行的字体引擎来生成与语言相对应的所述图像资源。
10.根据权利要求1所述的信任区图形渲染方法，还包括：
将所述信任区UI存储在所述SWD中包括的帧缓冲器中；以及
显示从所述帧缓冲器加载的所述信任区UI。
11.根据权利要求1所述的信任区图形渲染方法，其中在所述SWD中访问和存储所述信任区UI。
12.一种显示设备，包括：
显示器；
存储器，被配置为存储一个或多个指令；以及
控制器，包括至少一个处理器，所述至少一个处理器被配置为执行所述一个或多个指令以执行操作系统OS，所述OS被分为普通世界NWD和与信任区相对应的安全世界SWD，
其中，所述至少一个处理器还被配置为：
在所述NWD中生成用于生成信任区用户界面UI的图像资源；
将所述图像资源从所述NWD传输给所述SWD；以及
在所述SWD中通过分离并编辑包括多个对象的所述图像资源来生成所述信任区UI，其中，以对象为单位执行所述分离和所述编辑。
13.根据权利要求12所述的显示设备，其中，所述至少一个处理器还被配置为：在所述NWD中使用所述NWD中存在的至少一个图形工具包生成所述图像资源。
14.根据权利要求12所述的显示设备，其中，所述信任区UI包括以下至少一项：UI屏幕，与所述UI屏幕相对应的图像数据，和/或用于生成所述UI屏幕的图像资源，其中，所述显示设备被配置为基于与用户的交互通过所述UI屏幕来输入和/或输出数据。
15.根据权利要求12所述的显示设备，其中，所述至少一个处理器还被配置为：当在所述SWD中接收到所述图像资源时，将所述图像资源存储在所述SWD的存储器中，所述SWD的存储器无法由所述NWD访问并且无法从所述OS外部访问。
CN201980015312.0A 2018-02-27 2019-02-26 信任区图形渲染方法和使用该方法的显示设备 Pending CN111771183A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180023897A KR102514062B1 (ko) 2018-02-27 2018-02-27 트러스트존 그래픽 렌더링 방법 및 그에 따른 디스플레이 장치
KR10-2018-0023897 2018-02-27
PCT/KR2019/002299 WO2019168315A1 (en) 2018-02-27 2019-02-26 Trustzone graphic rendering method and display device using the same

Publications (1)

Publication Number Publication Date
CN111771183A true CN111771183A (zh) 2020-10-13

Family

ID=67685108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980015312.0A Pending CN111771183A (zh) 2018-02-27 2019-02-26 信任区图形渲染方法和使用该方法的显示设备

Country Status (5)

Country Link
US (1) US10867069B2 (zh)
EP (1) EP3732559B1 (zh)
KR (1) KR102514062B1 (zh)
CN (1) CN111771183A (zh)
WO (1) WO2019168315A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107835185B (zh) * 2017-11-21 2020-10-02 广州大学 一种基于ARM TrustZone的移动终端安全服务方法及装置
CN108614968B (zh) * 2018-05-04 2020-11-24 飞天诚信科技股份有限公司 一种在通用平台下安全交互的方法及智能终端
CN110618847A (zh) * 2018-06-20 2019-12-27 华为技术有限公司 一种用户界面的显示方法和终端设备
CN112711452B (zh) 2019-10-24 2023-11-03 华为技术有限公司 一种图像显示方法与电子设备
US20210166227A1 (en) * 2019-11-28 2021-06-03 Qualcomm Incorporated Secure User Interface With Improved User Experience
CN113791898B (zh) * 2021-08-24 2022-07-26 电子科技大学 一种基于TrustZone的可信微内核操作系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120005592A1 (en) * 2010-06-30 2012-01-05 Joshi Shrinivas B Method and Apparatus for Providing Metadata-Based User Interfaces
CN103136488A (zh) * 2011-12-02 2013-06-05 三星电子株式会社 保护触摸输入的方法和装置
EP2648129A1 (en) * 2011-12-02 2013-10-09 Samsung Electronics Co., Ltd Method and apparatus for securing touch input
US20150199507A1 (en) * 2012-08-03 2015-07-16 North Carolina State University Methods, systems, and computer readable medium for active monitoring, memory protection and integrity verification of target devices
KR20160008012A (ko) * 2014-07-11 2016-01-21 (주)케이스마텍 휴대단말기에서의 사용자 인증방법
CN105574924A (zh) * 2014-10-31 2016-05-11 三星电子株式会社 渲染方法、渲染设备和电子设备
US20160328602A1 (en) * 2015-05-08 2016-11-10 Alibaba Group Holding Limited Method, device, and system for displaying user interface
KR20170012957A (ko) * 2015-07-27 2017-02-06 삼성전자주식회사 보안 네트워크 시스템 및 그 데이터 처리 방법
WO2017115174A1 (en) * 2015-12-28 2017-07-06 Mobeewave, Inc. System for and method of authenticating a user on a device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011018431A1 (de) 2011-04-21 2012-10-25 Giesecke & Devrient Gmbh Verfahren zur Anzeige von Informationen auf einer Anzeigeeinrichtung eines Endgeräts
US9768959B2 (en) * 2014-10-27 2017-09-19 Acxiom Corporation Computer security system and method to protect against keystroke logging

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120005592A1 (en) * 2010-06-30 2012-01-05 Joshi Shrinivas B Method and Apparatus for Providing Metadata-Based User Interfaces
CN103136488A (zh) * 2011-12-02 2013-06-05 三星电子株式会社 保护触摸输入的方法和装置
EP2648129A1 (en) * 2011-12-02 2013-10-09 Samsung Electronics Co., Ltd Method and apparatus for securing touch input
US20150199507A1 (en) * 2012-08-03 2015-07-16 North Carolina State University Methods, systems, and computer readable medium for active monitoring, memory protection and integrity verification of target devices
KR20160008012A (ko) * 2014-07-11 2016-01-21 (주)케이스마텍 휴대단말기에서의 사용자 인증방법
CN105574924A (zh) * 2014-10-31 2016-05-11 三星电子株式会社 渲染方法、渲染设备和电子设备
US20160328602A1 (en) * 2015-05-08 2016-11-10 Alibaba Group Holding Limited Method, device, and system for displaying user interface
KR20170012957A (ko) * 2015-07-27 2017-02-06 삼성전자주식회사 보안 네트워크 시스템 및 그 데이터 처리 방법
WO2017115174A1 (en) * 2015-12-28 2017-07-06 Mobeewave, Inc. System for and method of authenticating a user on a device

Also Published As

Publication number Publication date
KR102514062B1 (ko) 2023-03-24
EP3732559B1 (en) 2024-03-27
EP3732559A1 (en) 2020-11-04
WO2019168315A1 (en) 2019-09-06
US20190266345A1 (en) 2019-08-29
EP3732559A4 (en) 2021-02-24
US10867069B2 (en) 2020-12-15
KR20190102869A (ko) 2019-09-04

Similar Documents

Publication Publication Date Title
US10867069B2 (en) Trustzone graphic rendering method and display device using the same
US11281360B2 (en) Display management for native user experiences
EP2735133B1 (en) Method and apparatus for providing data entry content to a remote environment
US10564791B2 (en) Method and apparatus for triggering a remote data entry interface
US20140059493A1 (en) Execution method and mobile terminal
US20140068478A1 (en) Data display method and apparatus
US20200057541A1 (en) Dynamically generated task shortcuts for user interactions with operating system user interface elements
US20140359533A1 (en) Display apparatus and control method thereof
CN108780400B (zh) 数据处理方法及电子设备
US11790344B2 (en) Method and apparatus for displaying identification code of application
US10452256B2 (en) Non-interfering multi-application display method and an electronic device thereof
US20150325254A1 (en) Method and apparatus for displaying speech recognition information
KR20140099832A (ko) 휴대 장치에서 플로팅 키들을 생성하는 방법 및 장치
JP2018147237A (ja) 電子機器、制御方法、及び制御プログラム
US20150029114A1 (en) Electronic device and human-computer interaction method for same
JP6618942B2 (ja) 電子機器、制御方法及び制御プログラム
CN110891120B (zh) 界面内容展示方法、装置及存储介质
KR20140032851A (ko) 터치 입력 처리 방법 및 휴대 단말
EP4224895A1 (en) Font library synchronization method and apparatus, and storage medium
US20160210007A1 (en) Textbox associated with device native feautures
CN105827644A (zh) 一种实现密码信息处理的方法及终端
US20150007110A1 (en) Method for Controlling Electronic Apparatus and Electronic Apparatus Thereof
CN117440073A (zh) 显示方法、装置、电子设备和可读存储介质
JP2020024755A (ja) 電子機器、制御方法及び制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination