CN111651159A - 提供原型设计工具的方法及非暂时性计算机可解读的媒介 - Google Patents

提供原型设计工具的方法及非暂时性计算机可解读的媒介 Download PDF

Info

Publication number
CN111651159A
CN111651159A CN202010463253.8A CN202010463253A CN111651159A CN 111651159 A CN111651159 A CN 111651159A CN 202010463253 A CN202010463253 A CN 202010463253A CN 111651159 A CN111651159 A CN 111651159A
Authority
CN
China
Prior art keywords
providing
graphical element
trigger
design tool
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010463253.8A
Other languages
English (en)
Inventor
金�洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xizhizhi Interactive Software Development Co
Studio XID Korea Inc
Original Assignee
Xizhizhi Interactive Software Development Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xizhizhi Interactive Software Development Co filed Critical Xizhizhi Interactive Software Development Co
Publication of CN111651159A publication Critical patent/CN111651159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming

Abstract

本发明提供一种作为用于提供原型设计工具的方法，包括：在提供原型设计工具的设备上从用户获取输入数据的步骤；将基于上述输入数据的姿势定义为触发器的步骤；提供使用户选择第1图形元素、第2图形元素及至少一个第3图形元素的图形用户界面的步骤，其中，上述第1图形元素对应于上述触发器，上述第2图形元素对应于对象，上述至少一个第3图形元素对应于动作；通过上述图形用户界面，接收用于选择上述第1图形元素的第1用户输入、用于选择上述第2图形元素的第2用户输入以及用于选择上述至少一个第3图形元素的第3用户输入的步骤；以及定义上述触发器和响应于上述触发器而对于上述对象执行的至少一个动作之间的相互作用的步骤。

Description

提供原型设计工具的方法及非暂时性计算机可解读的媒介
技术领域
本发明涉及一种为提供原型设计工具(Prototyping Tool)的方法、系统及可进行非暂时性的计算机解读的记录媒介。
背景技术
近来，随着智能设备、可穿戴设备、物联网(Internet of Things，IoT)设备的广泛应用，正在积极地开发有关控制上述设备的相互作用(Interaction)的技术。有关以往介绍的相互作用的技术，大部分是基于通过触摸板输入的触摸手势(例如，轻敲、滑动等)或通过加速度传感器或陀螺仪传感器输入的动作姿势(例如，晃动、旋转等)等普遍而典型的姿势执行控制。
但，如果是可穿戴设备或IoT设备等不易具备触摸板的设备或因形状或者费用的限制而难以设置加速度传感器或陀螺仪传感器的设备，难以适用基于以往的普遍而典型的姿势的相互作用技术。
从而，需要一种符合控制的对象设备所具有的特性或使用的状况地定义新的姿势进行支援，或将两种以上的姿势进行组合而能够对于设备进行更加详细的控制地进行支援的技术。
并且，对于开发上述的相互作用技术所需的原型设计工具(Prototyping Tool)(即，原型化工具)的关注度也在日益提高。以往也介绍了支援开发应用程序等计算机程序或能够适用于该计算机程序的相互作用技术的各种原型设计工具。但，以往介绍的原型设计工具大部分存在无有关计算机程序的背景知识的普通用户(例如，程序设计者等)不易使用的问题，或者，虽然普通用户容易使用，但其功能有限而难以体现用户需要的精巧复杂的相互作用。
从而，需要一种提供有助于将构成相互作用的要素容易地定义并组合，并且，自由度和扩张性也较高的功能，而能够体现精巧、复杂的相互作用的原型设计工具。
发明内容
本发明要解决的技术问题
本发明的目的为解决上述的所有问题点。
并且，本发明的另一个目的为提供一种原型设计工具，利用至少一个传感器获得第1输入数据及第2输入数据，获得特定第1输入数据及第2输入数据之间的组合的组合数据，将第1输入数据及第2输入数据根据组合数据而组合的姿势定义为触发器(Trigger)，提供与触发器对应的第1图形元素，与对象(Object)对应的第2图形元素及与动作(Action)对应的第3图形元素，并且，通过用户选择及组合至少一个第1图形元素、至少一个第2图形元素及至少一个第3图形元素时，如果发生对应于上述的至少一个第1图形元素的至少一个触发器，对于与上述的至少一个第2图形元素对应的至少一个对象执行与上述的至少一个第3图形元素对应的至少一个动作地定义相互作用(Interaction)，从而，有助于容易地定义并组合构成相互作用的要素，并且，能够体现精巧而复杂的相互作用。
技术方案
为了实现上述目的，本发明的代表性的构成如下。
根据本发明的一实施例，提供一种方法，作为用于提供原型设计工具(Prototyping Tool)的方法，包括：利用至少一个传感器获得第1输入数据及第2输入数据，获得特定所述第1输入数据及所述第2输入数据之间的组合的组合数据的步骤；将根据所述组合数据而组合所述第1输入数据及所述第2输入数据的姿势定义为触发器(Trigger)的步骤；提供与触发器对应的第1图形元素、与对象(Object)对应的第2图形元素与及动作(Action)对应的第3图形元素的步骤；及定义如下的相互作用(Interaction)的步骤，即通过用户选择及组合至少一个第1图形元素、至少一个第2图形元素及至少一个第3图形元素时，发生与所述至少一个第1图形元素对应的至少一个触发器的情况下，对于与所述至少一个第2图形元素对应的至少一个对象执行与所述至少一个第3图形元素对应的至少一个动作。
根据本发明的另一实施例，提供一种系统，作为用于提供原型设计工具(Prototyping Tool)的系统，包括：触发器管理部，利用至少一个传感器获得第1输入数据及第2输入数据，并获得特定所述第1输入数据及所述第2输入数据之间的组合的组合数据，并且，将根据所述组合数据组合所述第1输入数据及所述第2输入数据的姿势定义为触发器(Trigger)；及相互作用管理部，定义如下的相互作用(Interaction)，即提供与触发器对应的第1图形元素、与对象(Object)对应的第2图形元素及与动作(Action)对应的第3图形元素，通过用户选择及组合至少一个第1图形元素、至少一个第2图形元素及至少一个第3图形元素时，在发生与所述至少一个第1图形元素对应的至少一个触发器的情况下，对于与所述至少一个第2图形元素对应的至少一个对象执行与所述至少一个第3图形元素对应的至少一个动作。
此外，还提供为体现本发明的其他方法、设备、系统及为记录执行所述方法的计算机程序的非暂时性的计算机可解读的记录媒介。
有益效果
根据本发明具有如下效果，即使得用户能够容易而多样地生成以适用于智能设备、可穿戴设备、IoT设备等的相互作用(Interaction)的触发器(Trigger)运用的姿势(Gesture)。
并且，根据本发明具有如下效果，即使没有为体现相互作用所必需的技术性背景知识的用户也能容易地原型设计(Prototyping)各种相互作用。
附图说明
图1为表示根据本发明的一实施例的为提供原型设计工具的整体系统的概略性的构成的附图。
图2为示例性地表示根据本发明的一实施例的原型设计工具提供系统的内部构成的附图。
图3为示例性地表示根据本发明的一实施例的将输入数据根据组合数据进行组合的构成的附图。
图4为示例性地表示根据本发明的一实施例的定义触发器的过程的附图。
图5为示例性地表示根据本发明的一实施例的图形元素的构成的附图。
图6及图7为示例性地表示根据本发明的一实施例的定义当发生与既定对象有关的触发器时执行与既定对象有关的动作的相互作用的构成的附图。
图8及图9为示例性地表示根据本发明的一实施例的图形元素的组合状态和其相互作用之间的关系的附图。
图10至图16为示例性地表示根据本发明的一实施例的被原型设计的相互作用的构成的附图。
附图标记的说明
100：通信网
200：原型设计工具提供系统
210：触发器管理部
220：相互作用管理部
230：数据库
240：通信部
250：控制部
300、310、320：设备。
具体实施方式
后述的对于本发明的详细的说明将参照示例图示能够实施本发明的特定实施例的附图。这些实施例将进行详细说明以便能够使得本发明的技术领域的技术人员能够充分地实施本发明。虽然本发明的各种实施例相互不同，但，无需相互排他性。例如，在此记载的特征形状、结构及特性与一实施例有关地不脱离本发明的精神及范围的前提下可以其他实施例体现。并且，各个公开的实施例内的个别构成要素的位置或配置在不脱离本发明的精神及范围的前期下可进行变更。从而，后述的详细说明并非以限定性的意义解释，确切地说，本发明的范围只根据与权利要求提出的均等的所有范围的权利要求书而被定义。附图中类似的参照符号在各个侧面指称相同或类似的功能。
以下，为了本发明的技术领域的普通技术人员容易地实施本发明，参照附图详细说明本发明的优选实施例。
在本说明书中，相互作用(Interaction)是统称在用户与设备300之间可发生的相互作用的概念，可由指设备中执行的行为的动作(Action)、执行作为发动既定动作的触发事件的作用的触发器(Trigger)和指称上述的动作或触发器的对象的客体的对象(Object)而构成。
整体系统的构成
图1为表示根据本发明的一实施例的为提供原型设计工具(Prototyping Tool)的整体系统的概略性的构成的附图。
如图1所示，根据本发明的一实施例的整体系统包括通信网100、原型设计工具提供系统200及设备310、320而构成。
首先，根据本发明的一实施例的通信网100由有线通信或无线通信等无通信样态的限制而构成，可由近距离通信网(LAN；Local Area Network)、城域通信网(MAN；Metropolitan Area Network)，广域通信网(WAN；Wide Area Network)等各种通信网而构成。优选地，本说明书中所指的通信网100可为公知的网络或万维网(WWW；World WideWeb)。但，通信网100无需局限于此，还可包括公知的有线无线数据通信网、公知的电话网或公知的有线无线电视通信网的至少一部分。
其次，根据本发明的一实施例的原型设计工具提供系统200可为具备存储部件，搭载微处理器而具有运算功能的数码装置。上述的原型设计工具提供系统200可为服务器系统。
为此，原型设计工具提供系统200如同在下面详细地说明，执行如下功能，即提供一种原型设计工具，利用至少一个传感器获得第1输入数据及第2输入数据，获得特定第1输入数据及第2输入数据之间的组合的组合数据，将第1输入数据及第2输入数据根据组合数据而组合的姿势定义为触发器(Trigger)，提供与触发器对应的第1图形元素，与对象(Object)对应的第2图形元素及与动作(Action)对应的第3图形元素，并且，通过用户选择及组合至少一个第1图形元素、至少一个第2图形元素及至少一个第3图形元素时，如果发生对应于上述的至少一个第1图形元素的至少一个触发器，对于与上述的至少一个第2图形元素对应的至少一个对象执行与上述的至少一个第3图形元素对应的至少一个动作地定义相互作用(Interaction)，从而，有助于容易地定义并组合构成相互作用的要素，并且，能够体现精巧而复杂的相互作用。
下面更详细地说明原型设计工具提供系统200的功能。并且，如上述地说明了原型设计工具提供系统200，但，上述说明只是示例性的，本发明的技术领域的技术人员应当理解原型设计工具提供系统200所要求的功能或构成要素的至少一部分可根据需要在作为相互作用原型设计的对象的设备310、320中实现或包括。
其次，优选地，根据本发明的一实施例的设备310、320为包括与原型设计工具提供系统200或设备310、320中的对象(优选地，设备310、320可相互分离或外部化(externalization))连接后进行通信的功能的数码设备，如果是具备存储部件并搭载微处理器而具有运算功能的数码设备，均可采纳为根据本发明的设备310、320。设备310、320可为智能手机、智能触摸板等智能设备或智能玻璃、智能手表、智能手环、智能环等可穿戴(wearable)设备或IoT(Internetof Things)设备。并且，设备310、320可为台式电脑、笔记本电脑、工作站、PDA、无线上网机、移动电话、按键、鼠标、键盘、电子笔等传统性的设备。
尤其，根据本发明的一实施例，设备310、320中包括至少一个能够获得通过用户的操作的输入数据或组合数据的技术部件(即传感器)。作为如上述的技术部件的示例，可举例公知的构成要素，即触摸板、指示工具(例如，鼠标、指示笔、电子笔等)、用户可进行操作的图形客体，键盘、转换开关、生命体征信息(指纹等)识别传感器、距离传感器、动作传感器、加速度传感、陀螺仪传感器、磁传感器、定位传感器(GPS模块、基于信标的定位(确认)模块等)、气压传感器、距离传感器、影像识别传感器(摄像头等)、音响识别传感器、音响识别传感器、光识别传感器等。
并且，设备310、320还可包括支援在设备上执行通过原型设计工具提供系统200原型设计的相互作用或支援其原型设计自身的应用程序。上述的应用程序在相应设备310、320内以程序模块的形态存在。上述的程序模块的特性在整体上类似于上述的原型设计工具提供系统200的内部构成要素。在此，应用程序的至少一部分可根据需要以能够执行与其实质上相同或均等的功能的硬件装置或固件替换。
并且，根据本发明的一实施例，如果识别为第1设备310与第2设备320具有既定关联性(例如，属于相同的用户的关联性，或为相同的用户发生作用的关联性，或配置于相互实质上相近的位置的关联性，或其中一个适宜认证或允许其他一个的关联性)时，在第1设备310与第2设备320之间可形成既定连接，此类识别或连接可通过原型设计工具提供系统200而执行，或通过第1设备310及第2设备320直接执行。
原型设计工具提供系统的构成
以下，详细说明为体现本发明而执行重要的功能的原型设计工具提供系统的内部构成及各个构成要素的功能。
图2为示例性地表示根据本发明的一实施例的原型设计工具提供系统的内部构成的附图。
参照图2，根据本发明的一实施例的原型设计工具提供系统200，包括：触发器管理部210、相互作用管理部220、数据库230、通信部240及控制部250。根据本发明的一实施例，触发器管理部210、相互作用管理部220、数据库230、通信部240及控制部250中的至少一部分为与外部系统(未图示)通信的程序模块。上述的程序模块可以运营系统、应用程序模块及其他程序模块的形态包含于原型设计工具提供系统200，并且，物理性方面可存储在各种公知的记忆装置。并且，上述的程序模块也可存储在能够与原型设计工具提供系统200进行通信的远程记忆装置。并且，上述的程序模块包括执行根据本发明后述的特定业务或特定虚拟数据类型的例程、子程序、程序、对象、组件，数据结构等，但，并非限定于此。
首先，根据本发明的一实施例，触发器管理部210执行利用至少一个传感器获得第1输入数据及第2输入数据，获得特定第1输入数据及第2输入数据之间的组合的组合数据的功能。并且，根据本发明的一实施例，触发器管理部210执行将上述的获得的第1输入数据及第2输入数据根据上述的获得的组合数据进行组合的姿势(Gesture)定义为触发器的功能。
详细地，根据本发明的一实施例，触发器管理部210隔着既定时间间隔顺次地获得第1输入数据和第2输入数据。
并且，根据本发明的一实施例，触发器管理部210在获取第1输入数据或第2输入数据时，接收用户选择的输入数据的类型后，利用至少一个传感器感知由用户进行的试演，而特定第1输入数据或第2输入数据。只是，根据本发明的输入数据获取方法并非限定于上述列举的，也可在未接收从用户输入数据的类型的状态下，只通过利用至少一个传感器感知由用户执行的试演能够特定输入数据。
并且，根据本发明的一实施例，触发器管理部210感知通过多个设备执行的试演，而特定第1输入数据或第2输入数据。
并且，根据本发明的一实施例，触发器管理部210基于从经过多次感知的试演提取的图案，特定第1输入数据或第2输入数据。
并且，根据本发明的一实施例，通过触发器管理部210而获取的组合数据可包括逻辑算子(Boolean Operator)。例如，组合数据包括与(AND)运算子、或(OR)运算子、非(NOT)运算子、异或(XOR)运算子等。
图3为示例性地表示根据本发明的一实施例通过组合数据组合输入数据的构成的附图。
参照图3的a，假设第1输入数据和第2输入数据根据AND运算子的组合数据而组合的情况，此时，可将第1输入数据和第2输入数据全部输入的姿势定义为触发器。参照图3的b，假设第1输入数据和第2输入数据根据OR运算子的组合数据而被组合的情况，此时，第1输入数据和第2输入数据中的任何一个输入的姿势可被定义为触发器。
图4为示例性地表示根据本发明的一实施例定义触发器的过程的附图。
参照图4，首先，用户选择第1输入数据的种类(例如，设备倾斜(Tilt))后S410，对设备300进行与上述的选择的种类相应的试演，而特定第1输入数据的范围(例如，设备倾斜的角度的范围)S420。然后，用户选择特定已经获得的第1输入数据和后面要获取的第2输入数据之间的组合的组合数据S430。然后，用户选择第2输入数据的种类(例如，设备晃动(Shake))后S440，对设备300进行相当于上述的选择的种类的试演，而特定第2输入数据的范围(例如，设备晃动的加速度及距离)S450。然后，将已经获得的第1输入数据及第2输入数据根据组合数据进行组合的结果生成的姿势定义为触发器S460。
并且，根据本发明的一实施例，触发器管理部210在上述的获取的输入数据中只将通过用户认可的输入数据决定为有效的输入数据。并且，根据本发明的一实施例，触发器管理部210在上述的组合的姿势中只将通过用户认可的姿势决定为有效的触发器。即，根据本发明的一实施例，上述的获得的第1输入数据或第2输入数据因用户的试演失误等错误地输入或上述的第1输入数据或第2输入数据被组合的结果生成的姿势不符合用户的意图时，用户取消相应输入数据或相应姿势，而只将自己所需的输入数据或姿势包含于触发器。
然后，根据本发明的一实施例，相互作用管理部220执行如下功能：即提供与触发器对应的第1图形元素，与对象对应的第2图形元素及与动作对应的第3图形元素。并且，根据本发明的一实施例，相互作用管理部220执行如下功能上述的选择的第3图形元素对应的至少一个动作的相互作用。
在此，根据本发明的一实施例，对象可包括文本、形象、视频、音频、角色、阿凡达、画面的整体区域、画面的一部分区域等在设备上能够控制或成为相互作用的对象的所有种类的客体。
并且，根据本发明的一实施例，动作可包括移动、旋转、调节大小、调节透明度、调节颜色、执行、取消、复制、粘贴、删除、滚动调节等要在设备上对于对象执行的所有种类的动作。
详细地，根据本发明的一实施例，相互作用管理部220执行如下功能：提供支援用户能够选择及组合与触发器对应的至少一个第1图形元素，与对象对应当的至少一个第2图形元素及与动作对应的至少一个第3图形元素的图形用户界面(GUI)。
图5为示例性地表示根据本发明的一实施例图形元素的构成的附图。
参照图5，分别与触发器、对象及动作对应的第1图形元素、第2图形元素或第3图形元素可由构成拼图(Jigsaw Puzzle)的片状形成，上述的图形元素可借助于在警界部分形成的接头由上下左右方向结合。
例如，相当于触发器的第1图形元素形成为只能由下侧拼接其他图形元素的形状，从而，第1图形元素在定义相互作用的图形元素的集合内配置于最上侧(参照图5的a)。并且，相当于动作的第3图形元素形成为从上侧和下侧均可拼接其他图形元素的形状，从而，第2图形元素在定义相互作用的图形元素的集合内配置于第1图形元素的下侧或其他第2图形元素的上侧或下侧(参照图5的b)。并且，相当于对象的第2图形元素形成为与第1图形元素或第3图形元素重叠至少一部分的形状，从而，能够从视觉上表现与对象与触发器或动作关联。
图6及图7为示例性地表示根据本发明的一实施例的定义当发生与既定对象有关的触发器时执行与既定对象有关的动作的相互作用的构成的附图；
参照图6，用户可通过图形用户界面选择分别与触发器、对象或动作对应的第1图形元素、第2图形元素或第3图形元素，并将如上述选择的图形元素拖放(Drag and Drop)在既定层次(layer)，而能够组合至少一个图形元素，由此，能够按照自己的意图原型设计相互作用。
参照图7，能够确认由第1图形客体710、第2图形客体721及722及第3图形客体731至736组合的状态表示的图形元素集合，上述的图形元素集合是指“在发生拖动710照片对象721的触发器时，对于照片对象721执行旋转(Rotate)731、透明度调节(Opacity)732及大小调节(Scale)733的动作，对于文本框对象722执行移动(Move)734、颜色调节(Color)735及三维旋转(3DRotate)736的动作”的相互作用。
图8及图9为示例性地表示根据本发明的一实施例的图形元素的组合状态和其相互作用之间的关系的附图。
参照图8，可按照与触发器对应的第1图形元素，与对象对应的第2图形元素及与动作对应的第3图形元素在二维平面上动作(或作用)的顺序被组合。图8的实施例中，以上下方向的轴(即Y轴)为基准时，由从上到下的顺序决定动作顺序，可假设位于在Y轴上相等的高度的图形元素同时动作的情况，此时，在图8的a中图示的图形元素集合是指“当发生触发器1时，首先同时执行动作1及动作2，然后同时执行动作3，动作4及动作5，然后执行动作6”的相互作用(参照图8的b)。
参照图9，如同图8，与触发器对应的第1图形元素，与对象对应的第2图形元素及与动作对应的第3图形元素在二维平面上根据动作的顺序被组合。图9的实施例中，假设以上下方向的轴(即，Y轴)为基准时，从上到下的顺序决定动作顺序，在Y轴上由高度方向(即，Z轴方向)层积的图形元素同时动作的情况，此时图9的a中图示的图形元素集合是指“发生触发器1时，首先同时执行动作1及动作2，然后，同时执行动作3，动作4及动作5，然后，执行动作6”的相互作用(参照图9的b)。
然后，根据本发明的一实施例，数据库230执行如下功能：存储有关前面定义的触发器或相互作用的信息，使得其被相应用户或其他用户再利用。上述的数据库230是包括计算机可解读的记录媒介的概念，不仅为狭义的数据库，也可为包括基于文件系统的数据记录等的广义的数据库。
然后，根据本发明的一实施例，通信部240执行如下功能：使得原型设计工具提供系统200能够与外部装置通信。
最后，根据本发明的一实施例的控制部250执行如下功能：即控制触发器管理部210、相互作用管理部220、数据库230及通信部240之间的数据的流动。即，控制部250控制从外部的或表情识别系统200的各个构成要素之间的数据的流动，从而，控制使得触发器管理部210、相互作用管理部220、数据库230及通信部240执行各自固有功能。
实施例
下面，详细说明能够根据本发明而原型设计的相互作用的详细的示例。
图10至图16为示例性地表示根据本发明的一实施例原型设计的相互作用的构成的附图。
首先，参照图10，根据图10的a中图示的图形元素集合，能够原型设计“当发生对于在设备的画面中表示的为旋转图像(carousel Image)1021的对象执行轻敲(Tap)1011操作的触发器时，执行相应旋转图像1021的对象的大小变大而填满画面的(Scale)1031动作”的相互作用(参照图10的b及c)。
然后，参照图11，根据图11的a中图示的图形元素集合，能够原型设计“当发生对于在设备的画面中表示的类别图像(category Image)1121的对象执行滑动(Swipe)1111操作的触发器时，使得称为相应类别图像1121的对象移动(Move)1131，并执行也使得在画面中表示的称为旋转图像(1122)的对象移动(Move)1132的动作”的相互作用(参照图11的b及c)。
然后，参照图12，根据图12的a中图示的图形元素集合，能够原型设计“当发生执行倾斜设备(即，Accelerometer)1211的操作的触发器时，执行使得在画面中表示的称为照片(photo)1221的对象发生移动(Move)1231的动作”的相互作用(参照图12的b)。
然后，参照图13及图14，根据在图13中图示的图形元素集合，能够原型设计“当发生执行对运动卡(cardSport)区域1321的对象由上侧方向拖动(Drag)1311的操作的触发器时，首先，使得称为标志颜色(logoColor)区域1322、盖亚(gaia)区域1323、cardSport区域1321，天气卡(cardWeather)区域1324及搜索框(searchBox)区域1325的对象由上侧方向移动(Move)1331至1335，并执行调节(Opacity)1336称为bg标头(bgHeader)区域1326的对象的透明度的同时，展开表示称为cardSport区域1321的对象的动作，然后，执行调节(Opacity)1337及1338称为logoColor区域1322及gaia区域1323的对象的透明度的动作，然后，执行调节(Opacity)1339称为白色标志(logoWhite)区域1327的对象的透明度的动作，然后，执行调节(Opacity)1340称为状态栏(statusBar)区域1328的对象的透明度的动作”的相互作用(参照图14)。
然后，参照图15，根据在图15的a中图示的图形元素集合，能够原型设计“当发生对于地图瓦片(mapTile)1521的对象执行拖动(Drag)1511操作的触发器时，执行使得称为mapTile 1521的对象发生移动(Move)1531的动作”的相互作用(参照图15的b)。
然后，参照图16，根据在图16的a中图示的图形元素集合，能够原型设计“当发生对于称为地图瓦片(mapTile)1621的对象执行挤压(Pinch)1611操作的触发器时，执行扩大(Scale)1631称为mapTile 1621的对象的动作”的相互作用(参照图16的b)。
以上说明的根据本发明的实施例，以能够通过各种计算机构成要素执行的程序指令的形态体现，而存储在非暂时性的计算机可解读的记录媒介。所述非暂时性的计算机可解读的记录媒介包含单独或组合程序指令、数据文件、数据结构等。存储于所述非暂时性的计算机可解读的记录媒介的程序指令是为了本发明而特别设计并构成的，或是计算机软件领域的技术人员熟知而可使用的。非暂时性的计算机可解读的记录媒介的示例为，包括硬盘、软盘、及磁盘等磁介质、CD-ROM、DVD等光记录媒介、软式光盘(floptical disk)等磁光介质(magneto-optical media)及ROM、RAM、闪存等存储执行程序指令的特别构成的硬件装置。程序指令的示例，包括：通过编译器制作的机械语言代码及使用解释器等通过计算机执行的高级语言代码。所述硬件装置为了执行根据本发明的处理，以一个以上的软件模块运转，其域也同样。
以上通过详细的构成要素等特定事项和限定的实施例及附图说明了本发明，但其只是为了有助于更加全面地理解本发明而提供的，本发明并非限定于所述实施例，本发明的技术领域的普通技术人员可由上述的记载进行各种修订及变形。
从而，本发明的思想不能局限于上述说明的实施例，权利要求书范围及该权利要求范围均等地或等价地变形的所有将属于本发明的思想范畴。

Claims (17)

1.一种提供原型设计工具的方法，其特征在于，包括：
在提供原型设计工具的设备上从用户获取输入数据的步骤；
将基于所述输入数据的姿势定义为触发器的步骤；
提供使用户选择第1图形元素、第2图形元素及至少一个第3图形元素的图形用户界面的步骤，其中，所述第1图形元素对应于所述触发器，所述第2图形元素对应于对象，所述至少一个第3图形元素对应于动作；
通过所述图形用户界面，接收用于选择所述第1图形元素的第1用户输入、用于选择所述第2图形元素的第2用户输入以及用于选择所述至少一个第3图形元素的第3用户输入的步骤；以及
定义所述触发器和响应于所述触发器而对于所述对象执行的至少一个动作之间的相互作用的步骤。
2.根据权利要求1中所述的提供原型设计工具的方法，其特征在于，所述获取输入数据的步骤包括：
利用所述设备的至少一个传感器，感知由用户在设备上执行的试演的步骤；以及
从所述至少一个传感器获得数据的步骤。
3.根据权利要求2中所述的提供原型设计工具的方法，其特征在于，感知所述试演的步骤包括：感知所述设备的倾斜的步骤。
4.根据权利要求2中所述的提供原型设计工具的方法，其特征在于，
感知所述试演的步骤包括：感知所述设备的晃动的步骤。
5.根据权利要求2中所述的提供原型设计工具的方法，其特征在于，
感知所述试演的步骤包括：感知所述设备上的轻敲的步骤。
6.根据权利要求2中所述的提供原型设计工具的方法，其特征在于，
感知所述试演的步骤包括：感知所述设备上的挤压的步骤。
7.根据权利要求2中所述的提供原型设计工具的方法，其特征在于，
感知所述试演的步骤包括：感知所述设备上的滑动的步骤。
8.根据权利要求2中所述的提供原型设计工具的方法，其特征在于，
感知所述试演的步骤包括：感知所述设备上的拖动的步骤。
9.根据权利要求1中所述的提供原型设计工具的方法，其特征在于，
所述第1图形元素、所述第2图形元素及所述至少一个第3图形元素中的每一个形成为一片构成拼图，
所述方法还包括：
接收用于将每片所述构成拼图放在一起的第4用户输入的步骤。
10.根据权利要求9中所述的提供原型设计工具的方法，其特征在于，
所述第1图形元素形成为只能从下侧拼接到其他图形元素的形状，
接收所述第4用户输入的步骤包括：
接收用于将所述第1图形元素配置于图形元素的集合内最上侧的用户输入。
11.根据权利要求9中所述的提供原型设计工具的方法，其特征在于，
所述第2图形元素形成为与所述第1图形元素重叠至少一部分的形状，
接收所述第4用户输入的步骤包括：
接收用于将所述第2图形元素配置成部分重叠于所述第1图形元素上的用户输入。
12.根据权利要求9中所述的提供原型设计工具的方法，其特征在于，
第2图形元素形成为与至少一个第3图形元素重叠至少一部分的形状，
接收所述第4用户输入的步骤包括：
接收用于将所述第2图形元素配置成部分重叠于所述至少一个第3图形元素上的用户输入。
13.根据权利要求1中所述的提供原型设计工具的方法，其特征在于，
定义所述相互作用的步骤包括：
以所述至少一个第3图形元素的上下方向轴为基准，以从上到下的顺序定义执行对应于所述至少一个第3图形元素的动作的所述相互作用。
14.根据权利要求1中所述的提供原型设计工具的方法，其特征在于，
定义所述相互作用的步骤包括：
定义同时执行与在Y轴上沿高度方向层积的图形元素相对应的动作的所述相互作用。
15.一种非暂时性计算机可解读的媒介，其存储使计算机提供原型设计工具的计算机程序，所述计算机程序包括：
在提供所述原型设计工具的设备上从用户获取输入数据的指令；
将基于所述输入数据生成的姿势定义为触发器的指令；
提供使用户选择第1图形元素、第2图形元素及至少一个第3图形元素的图形用户界面的指令，其中，所述第1图形元素对应于所述触发器，所述第2图形元素对应于对象，所述至少一个第3图形元素对应于动作；
通过所述图形用户界面，接收用于选择所述第1图形元素的第1用户输入、用于选择所述第2图形元素的第2用户输入以及用于选择所述至少一个第3图形元素的第3用户输入的指令；
定义所述触发器和响应于所述触发器而对于所述对象执行的至少一个动作之间的相互作用的指令。
16.根据权利要求15中所述的非暂时性计算机可解读的媒介，其特征在于，
所述获取输入数据的指令包括：
利用所述设备的至少一个传感器，感知由用户在设备上执行的试演的指令；以及
从所述至少一个传感器获得数据的指令。
17.根据权利要求15中所述的非暂时性计算机可解读的媒介，其特征在于，
所述第1图形元素、所述第2图形元素及所述至少一个第3图形元素中的每一个形成为一片构成拼图，
所述计算机程序还包括：
接收用于将每片所述构成拼图放在一起的第4用户输入的指令。
CN202010463253.8A 2014-11-21 2015-02-26 提供原型设计工具的方法及非暂时性计算机可解读的媒介 Pending CN111651159A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20140163827 2014-11-21
KR20140163810 2014-11-21
KR10-2014-0163810 2014-11-21
KR10-2014-0163827 2014-11-21
CN201580063397.1A CN107003804B (zh) 2014-11-21 2015-02-26 为提供原型设计工具的方法、系统及可进行非暂时性的计算机解读的记录媒介

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580063397.1A Division CN107003804B (zh) 2014-11-21 2015-02-26 为提供原型设计工具的方法、系统及可进行非暂时性的计算机解读的记录媒介

Publications (1)

Publication Number Publication Date
CN111651159A true CN111651159A (zh) 2020-09-11

Family

ID=55457802

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010463253.8A Pending CN111651159A (zh) 2014-11-21 2015-02-26 提供原型设计工具的方法及非暂时性计算机可解读的媒介
CN201580063397.1A Active CN107003804B (zh) 2014-11-21 2015-02-26 为提供原型设计工具的方法、系统及可进行非暂时性的计算机解读的记录媒介

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580063397.1A Active CN107003804B (zh) 2014-11-21 2015-02-26 为提供原型设计工具的方法、系统及可进行非暂时性的计算机解读的记录媒介

Country Status (4)

Country Link
US (2) US10067664B2 (zh)
KR (1) KR101594946B1 (zh)
CN (2) CN111651159A (zh)
WO (1) WO2016080596A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127216B2 (en) 2016-12-30 2018-11-13 Studio Xid Korea, Inc. Method for adding a comment to interactive content by reproducing the interactive content in accordance with a breached comment scenario
KR102005288B1 (ko) 2017-09-14 2019-07-31 스튜디오씨드코리아 주식회사 기존의 어플리케이션에 연동되는 프로토타입의 테스트 방법
US11126258B2 (en) * 2017-10-14 2021-09-21 Qualcomm Incorporated Managing and mapping multi-sided touch
KR102175964B1 (ko) 2018-12-11 2020-11-09 런치팩 주식회사 프로토타이핑 디자인 툴을 이용한 서비스 생성 장치 및 방법
KR102049805B1 (ko) 2019-07-24 2019-11-28 스튜디오씨드코리아 주식회사 기존의 어플리케이션에 연동되는 프로토타입의 테스트 방법
US11320954B2 (en) 2019-12-24 2022-05-03 Studio Xid Korea, Inc. Method and apparatus for providing prototype of graphical user interface
KR102576664B1 (ko) 2023-03-08 2023-09-13 스튜디오씨드코리아 주식회사 그래픽 사용자 인터페이스의 프로토타입 제작 방법 및 그 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1421014A (zh) * 2000-02-28 2003-05-28 卡登斯设计系统公司 选择并获取用于电路及芯片设计的电子元件的自动化方法及系统
US20050011873A1 (en) * 2003-05-22 2005-01-20 Withford Michael J. Microstructures and methods of fabricating
CN102844760A (zh) * 2010-04-09 2012-12-26 微软公司 用于快速设备开发的集成开发环境

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050054381A1 (en) * 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
US8448083B1 (en) * 2004-04-16 2013-05-21 Apple Inc. Gesture control of multimedia editing applications
EP2053523A1 (en) * 2007-10-16 2009-04-29 Sony France S.A. Method and apparatus for updating of prototypes
US8645827B2 (en) * 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8416196B2 (en) * 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
KR20100127252A (ko) * 2008-04-01 2010-12-03 교세라 가부시키가이샤 유저인터페이스생성장치
US9813782B2 (en) * 2008-04-11 2017-11-07 Adobe Systems Incorporated Systems and methods for developing objects and actions in media content
US20100207950A1 (en) * 2009-02-17 2010-08-19 Microsoft Corporation Defining simple and complex animations
US8566045B2 (en) * 2009-03-16 2013-10-22 Apple Inc. Event recognition
EP2473909A4 (en) * 2009-09-04 2014-03-19 Rpo Pty Ltd METHODS OF MAPPING GESTURES TO USER GRAPHIC INTERFACE INSTRUCTIONS
US8957918B2 (en) * 2009-11-03 2015-02-17 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
KR20120024247A (ko) * 2010-09-06 2012-03-14 삼성전자주식회사 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치
KR101287054B1 (ko) * 2010-12-27 2013-07-22 전덕규 매크로 기능을 구비한 휴대단말기 및 그것을 이용한 매크로 실행방법
KR20120106608A (ko) * 2011-03-17 2012-09-26 한국전자통신연구원 향상된 사용자 상호작용 인터페이스 방법 및 장치
JP5941541B2 (ja) * 2011-04-11 2016-06-29 ラケシュ、シャールマＲａｋｅｓｈ Ｓｈａｒｒｍａ モバイル・アプリケーション開発のためのシステムおよび方法
TWI467463B (zh) * 2011-05-27 2015-01-01 Asustek Comp Inc 具觸控式螢幕的電腦系統及其手勢的處理方法
US9582187B2 (en) * 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
US9292112B2 (en) * 2011-07-28 2016-03-22 Hewlett-Packard Development Company, L.P. Multimodal interface
US8935629B2 (en) * 2011-10-28 2015-01-13 Flipboard Inc. Systems and methods for flipping through content
US10082950B2 (en) * 2011-11-09 2018-09-25 Joseph T. LAPP Finger-mapped character entry systems
US8902181B2 (en) * 2012-02-07 2014-12-02 Microsoft Corporation Multi-touch-movement gestures for tablet computing devices
US9411423B2 (en) * 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
KR102084041B1 (ko) * 2012-08-24 2020-03-04 삼성전자 주식회사 펜 기능 운용 방법 및 시스템
US9733716B2 (en) * 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9380453B2 (en) * 2013-06-10 2016-06-28 Lg Electronics Inc. Mobile terminal and method of controlling the same
JP6059114B2 (ja) * 2013-08-28 2017-01-11 京セラ株式会社 携帯端末、結合制御プログラムおよび結合制御方法
US20150339033A1 (en) * 2014-05-21 2015-11-26 Facebook, Inc. Asynchronous Execution of Tasks for a GUI
US9430142B2 (en) * 2014-07-17 2016-08-30 Facebook, Inc. Touch-based gesture recognition and application navigation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1421014A (zh) * 2000-02-28 2003-05-28 卡登斯设计系统公司 选择并获取用于电路及芯片设计的电子元件的自动化方法及系统
US20050011873A1 (en) * 2003-05-22 2005-01-20 Withford Michael J. Microstructures and methods of fabricating
CN102844760A (zh) * 2010-04-09 2012-12-26 微软公司 用于快速设备开发的集成开发环境

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李宏汀 等: "《产品可用性研究方法》", 31 December 2013 *

Also Published As

Publication number Publication date
US10572134B2 (en) 2020-02-25
US20180349013A1 (en) 2018-12-06
KR101594946B1 (ko) 2016-02-17
CN107003804B (zh) 2020-06-12
WO2016080596A1 (ko) 2016-05-26
CN107003804A (zh) 2017-08-01
US20170255375A1 (en) 2017-09-07
US10067664B2 (en) 2018-09-04

Similar Documents

Publication Publication Date Title
CN107003804B (zh) 为提供原型设计工具的方法、系统及可进行非暂时性的计算机解读的记录媒介
JP6054892B2 (ja) 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム
KR102059913B1 (ko) 태그 정보 저장 방법 및 장치와 태그 정보를 이용한 이미지 검색 방법 및 장치
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
Au et al. Multitouch gestures for constrained transformation of 3d objects
CN104243749B (zh) 图像形成装置及图像形成装置的控制方法
KR20140034612A (ko) 멀티 유저를 위한 디스플레이 장치 및 그 제어 방법
WO2007030310A2 (en) System for and method of emulating electronic input devices
CN108700957A (zh) 用于虚拟环境中文本输入的电子系统和方法
JP6265451B2 (ja) オブジェクト管理装置、思考支援装置、オブジェクト管理方法、及びプログラム
CN108885615A (zh) 针对浏览器导航的墨水输入
US20190025921A1 (en) Method, Device, and System for Providing User Interface, and Non-Temporary Computer-Readable Recording Medium
JP2011128962A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
KR102381051B1 (ko) 키패드를 표시하는 전자장치 및 그의 키패드 표시 방법
CN105103112A (zh) 用于操纵显示装置上的对象的取向的设备和方法
Medeiros et al. A tablet-based 3d interaction tool for virtual engineering environments
US9971490B2 (en) Device control
US10073612B1 (en) Fixed cursor input interface for a computer aided design application executing on a touch screen device
CN106598422A (zh) 基于指向型的操控、混合操控方法及操控系统和电子设备
CN108885556A (zh) 控制数字输入
US20130159935A1 (en) Gesture inputs for navigating in a 3d scene via a gui
CN110537164A (zh) 用于内容创建应用的增强的上墨能力
KR101710042B1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP5055156B2 (ja) 制御装置および方法
Lee et al. Mouse operation on monitor by interactive analysis of intuitive hand motions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200911