KR20040041979A - Graphic user interface - Google Patents
Graphic user interface Download PDFInfo
- Publication number
- KR20040041979A KR20040041979A KR1020020070092A KR20020070092A KR20040041979A KR 20040041979 A KR20040041979 A KR 20040041979A KR 1020020070092 A KR1020020070092 A KR 1020020070092A KR 20020070092 A KR20020070092 A KR 20020070092A KR 20040041979 A KR20040041979 A KR 20040041979A
- Authority
- KR
- South Korea
- Prior art keywords
- editing
- interface
- data structure
- internal data
- time
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42212—Specific keyboard arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
Abstract
Description
본 발명은 객체 기반의 AV(audio-visual) 편집 저작 도구에 관한 것으로, 특히 객체 기반의 AV 편집 저작 도구에 사용되는 그래픽 사용자 인터페이스에 관한 것이다.The present invention relates to an object-based audio-visual editing tool, and more particularly to a graphical user interface for use in an object-based AV editing tool.
디지털 방송은 영상/음성 신호의 처리, 제작 과정의 디지털화뿐만 아니라전송 방식을 포함한 모든 단계가 디지털화되는 것으로, 디지털 방송은 시청자가 능동적으로 방송에 참여할 수 있도록 하는 대화형 기능(interactivity)을 포함한다.Digital broadcasting is the digitalization of all stages, including transmission and processing, as well as the digitization of the video and audio signals, the digital broadcast includes an interactivity that allows the viewer to actively participate in the broadcast.
이러한 대화형 방송 환경에서 시청자는 컨텐츠 제공자로부터 제공받은 방송 프로그램을 시청함과 동시에 컨텐츠 제공자에게 자신의 요구를 전달할 수 있을 뿐만 아니라, 추가 정보를 얻거나 방송 프로그램을 검색할 수도 있다.In such an interactive broadcasting environment, a viewer may not only transmit a request to a content provider while watching a broadcast program provided by the content provider, but also obtain additional information or search for a broadcast program.
한편, 일반적으로 동영상, 오디오 및 정지영상을 편집 저작하는 도구들은 동영상, 오디오 및 정지영상을 각각 하나의 독립적인 객체로 간주하여, 이 독립적인 객체들을 임의의 위치에서 자르기, 붙여 넣기 등 비선형으로 편집하거나, 페이드 인/페이드 아웃 등 특수효과를 내는 기능을 제공한다. 또한, 이러한 저작도구는 사용자가 저작도구를 쉽게 사용할 수 있도록 하기 위한 그래픽 사용자 인터페이스(Graphic User Interface, 이하 GUI라고 함)를 제공한다.On the other hand, tools that edit and author video, audio, and still images generally regard video, audio, and still images as one independent object, and edit these independent objects in a non-linear fashion, such as cutting and pasting at arbitrary positions. It also provides special effects such as fade in / fade out. In addition, such an authoring tool provides a Graphical User Interface (hereinafter referred to as GUI) for enabling a user to easily use the authoring tool.
이러한 종래의 동영상, 오디오 및 정지영상을 편집 저작하는 도구에 관한 기술로는, 미국 특허 US5729570, US5577190, 국내특허 10-1999-7001013 등을 들 수 있다. 그러나, 이러한 종래의 동영상, 오디오 및 정지영상 편집 저작도구에 사용되는 GUI는 프레임을 기반으로 하고 있기 때문에, 이러한 GUI를 대화형 기능을 갖는 객체 기반(objects-based)의 컨텐츠를 편집 저작하는 도구에 그대로 적용하게 되면, 다양하고 유연한 컨텐츠를 편집 저작하기 위하여 필요한 동영상, 오디오 및 정지영상 내에 존재하는 각각의 물체를 하나의 객체(object)로 간주하여 편집 저작할 수 있는 기능과, 편집 저작된 결과 컨텐츠를 객체 단위로 재편집하기 위하여 GUI에 요구되는 사항을 만족시킬 수 없다. 또한, 컨텐츠 내에 존재하는 각각의 객체에 대한 다양한 형태의 조작성 및 사용자 대화성을 편집하기 위한 GUI를 제공하는 것도 불가능하다.As a technique related to such a tool for editing and editing a moving picture, audio, and still image, there is mentioned US Patent US5729570, US5577190, and Domestic Patent 10-1999-7001013. However, since GUIs used in such conventional video, audio, and still image editing authoring tools are frame-based, such GUIs are used for editing and authoring objects-based content with interactive functions. If it is applied as it is, the ability to edit and author each object existing in the video, audio and still images necessary for editing and authoring a variety of flexible content as an object, and the edited result content Cannot satisfy the requirements of the GUI for reediting on a per-object basis. It is also impossible to provide a GUI for editing various forms of operability and user interaction for each object present in the content.
그러므로 본 발명은 이러한 문제점을 해결하기 위한 것으로, 동영상, 오디오 및 정지영상 내에 존재하는 각각의 물체를 하나의 객체로 간주하여 편집 저작할 수 있고, 편집 저작한 결과물을 재편집 할 수 있으며, 사용자의 요구에 따라 객체를 대화적으로 조작할 수 있는 저작 도구를 위한 GUI를 제공하는 것을 목적으로 한다.Therefore, the present invention is to solve this problem, each object existing in the video, audio and still images can be edited by considering the object as one object, re-editing the edited work, the user's Its purpose is to provide a GUI for authoring tools that can interactively manipulate objects on demand.
도 1은 본 발명의 실시예에 따른 GUI를 포함하는 객체 기반 AV(audio-visual) 편집/저작 도구를 나타낸 도이다.1 is a diagram illustrating an object-based audio-visual (AV) editing / authoring tool including a GUI according to an embodiment of the present invention.
도 2는 본 발명의 실시예에 따른 GUI의 구성을 나타낸 도이다.2 is a diagram illustrating a configuration of a GUI according to an embodiment of the present invention.
***도면의 주요 부분에 대한 부호의 설명****** Description of the symbols for the main parts of the drawings ***
100 : GUI 111 : 삽입 객체 선택 아이콘100: GUI 111: Insert Object Selection Icon
112 : 객체 속성 편집 툴바121 : 객체 공간 배치 편집창112: object property editing toolbar 121: object space layout editing window
122 : 객체 시간 배치 편집창130 : 사용자 대화성 편집창122: object time layout edit window 130: user interactive edit window
141 : 노드의 논리적 구조 편집창142 : 노드의 필드값 편집창141: logical structure edit window of the node 142: field value edit window of the node
200 : 내부 자료 구조200: internal data structure
이러한 기술적 과제를 달성하기 위한, 본 발명의 특징에 따른 그래픽 사용자 인터페이스는, 사용자 대화성을 갖는 객체 기반(objects-based)의 AV(audio-visual) 편집/저작 도구를 위한 그래픽 사용자 인터페이스에서, 상기 각 객체를 삽입할 수 있고, 상기 각 객체의 속성을 보여주고 편집하도록 하는 제1 인터페이스; 상기 각 객체의 시공간적인 배치를 보여주고 편집하도록 하는 제2 인터페이스; 상기 사용자 대화성을 보여주고 편집하도록 하는 제3 인터페이스; 상기 객체 중 현재 저작/편집중인 객체를 구성하는 노드의 논리적인 구조와 필드값을 보여주고 편집하도록 하는 제4 인터페이스; 및 상기 객체의 편집/저작 정보가 저장된 내부 자료 구조와 상기 제1 내지 제4 인터페이스간에 저작 정보를 교환하도록 하는 데이터 접근 인터페이스(data access application program interface)를 포함한다.In order to achieve the above technical problem, a graphical user interface according to an aspect of the present invention, in the graphical user interface for an object-based audio-visual (AV) editing tool with user interaction, A first interface capable of inserting each object and displaying and editing the properties of each object; A second interface for displaying and editing the spatiotemporal placement of each object; A third interface for displaying and editing the user interactivity; A fourth interface for displaying and editing a logical structure and a field value of a node constituting an object currently being created / edited among the objects; And a data access application program interface for exchanging authoring information between the internal data structure storing the editing / authoring information of the object and the first to fourth interfaces.
상기 제1 인터페이스는,The first interface,
상기 객체를 선택하여 삽입하도록 하는 삽입 객체 선택부; 및 상기 객체의속성을 보여주고 편집하도록 하는 객체 속성 편집부를 포함하며,An insertion object selecting unit for selecting and inserting the object; And an object property editing unit configured to display and edit the property of the object.
상기 삽입 객체 선택부는 복수개의 아이콘으로 구성되고, 상기 객체 속성 편집부는 복수개의 툴바로 구성된다.The insertion object selection unit includes a plurality of icons, and the object property editing unit includes a plurality of toolbars.
또한, 상기 데이터 접근 인터페이스는,In addition, the data access interface,
상기 삽입 객체 선택를 통하여 객체를 삽입할 때, 상기 객체를 구성하는 데 필요한 노드 및 필드를 자동으로 생성하여 상기 내부 자료 구조에 저장하고, 상기 객체 속성 편집를 통하여 객체의 기본적인 속성을 편집할 때, 상기 내부 자료 구조에 저장되어 있는 객체 속성 정보를 읽어들이고, 편집한 결과물의 속성 정보를 상기 내부 자료 구조에 저장한다.When inserting an object through the insertion object selection, automatically generate the nodes and fields necessary to construct the object in the internal data structure, and when editing the basic properties of the object through the object property editing, the internal The object attribute information stored in the data structure is read, and the attribute information of the edited result is stored in the internal data structure.
상기 제2 인터페이스는,The second interface,
상기 각 객체가 화면 내에서 어떤 위치에 존재하는 지를 보여주고 편집하도록 하는 객체 공간 배치 편집부; 및 상기 각 객체가 언제 화면에 나타나서 언제 사라지는지를 보여주고 편집하도록 하는 객체 시간 배치 편집부를 포함하며, 상기 객체 공간 배치 편집부와 상기 객체 시간 배치 편집부는 서로 연동되어 상기 각 객체의 시간에 따른 공간적 배치의 변화 및 시간에 따른 동작을 편집할 수 있도록 한다.An object space layout editing unit for displaying and editing at which position each object exists in a screen; And an object time layout editing unit configured to show and edit when each object appears on the screen and when it disappears, wherein the object space layout editing unit and the object time layout editing unit are interlocked with each other to determine the spatial arrangement according to time of each object. Allows you to edit changes and actions over time.
이때, 상기 객체 시간 배치 편집부는 타임 라인 형태로 상기 각 객체의 시간적인 배치를 보여주고 편집할 수 있도록 하며,In this case, the object time layout editing unit may display and edit the temporal layout of each object in the form of a timeline.
상기 타임라인은,The timeline,
상기 객체의 타임 스케일을 변화시킬 수 있도록 하고, 상기 각 객체의 공간적 배치를 편집하고자 하는 시간을 선택할 수 있도록 하며, 상기 각 객체의 시간에 따른 동작이 정의되어 있는 각 시간을 표시하고, 원하는 시간으로 이동 가능하도록 한다.It is possible to change the time scale of the object, to select a time to edit the spatial arrangement of each object, to display each time the operation according to the time of each object is defined, to the desired time Make it mobile.
또한, 상기 데이터 접근 인터페이스는,In addition, the data access interface,
상기 객체의 시공간적 배치, 시간에 따른 객체의 공간적인 배치 및 시간에 따른 객체들의 동작을 편집할 때, 상기 내부 자료 구조에 저장되어 있는 상기 객체의 시공간적 배치 정보, 시간에 따른 공간적인 배치 및 시간에 따른 동작 정보를 읽어들이고, 편집한 결과물의 정보를 상기 내부 자료 구조에 저장한다.When editing the spatiotemporal layout of the object, the spatial placement of the object over time and the behavior of the objects over time, the spatiotemporal layout information of the object stored in the internal data structure, spatial placement and time over time According to the operation information is read, the edited result information is stored in the internal data structure.
상기 제2 인터페이스는 특정 객체를 삭제하도록 하는 객체 삭제부를 더 포함할 수 있으며, 이때, 상기 데이터 접근 인터페이스는, 상기 특정 객체를 삭제할 때, 상기 내부 자료 구조에 저장되어 있는 특정 객체를 구성하고 있는 노드들을 삭제하여 상기 특정 객체와 관련되어 있는 사용자 대화성을 삭제한다.The second interface may further include an object deleting unit for deleting a specific object, wherein the data access interface is a node constituting a specific object stored in the internal data structure when deleting the specific object. Deleting them deletes the user interactivity associated with the particular object.
상기 제3 인터페이스는,The third interface,
현재 편집/저작중인 각 객체에 대한 사용자 입력의 종류 및 상기 사용자 입력에 따른 각 객체의 동작을 보여주고 편집할 수 있도록 하며,The type of user input for each object currently being edited / written and the operation of each object according to the user input can be displayed and edited.
이때, 상기 데이터 접근 인터페이스는,In this case, the data access interface,
생성하고자 하는 사용자 대화성을 구성하기 위하여 필요한 노드를 자동으로 생성하여 상기 내부 자료 구조로 저장하고, 상기 내부 자료 구조에 저장되어 있는 특정 사용자 대화성에 대한 정보를 읽어들이고, 편집한 결과물의 사용자 대화성을 상기 내부 자료 구조로 저장한다.Automatically generate and store the necessary nodes in order to configure the user dialogues to be created as the internal data structure, read information on the specific user dialogues stored in the internal data structure, and the user dialogues of the edited result. To the internal data structure.
상기 제4 인터페이스는,The fourth interface is,
현재 편집/저작중인 컨텐츠의 각 객체 및 사용자 대화성을 구성하고 있는 노드들을 트리 형태로 보여주는 노드의 논리적 구조 편집부; 및 상기 각 노드를 삽입/삭제/이동시키고, 상기 각 노드들의 필드값을 보여주고 수정할 수 있도록 하는 노드의 필드값 편집부를 포함하며,A logical structure editing unit of a node showing each object of the content currently being edited / written and nodes constituting the user interactivity in a tree form; And a field value editing unit of a node for inserting / deleting / moving each node and displaying and modifying field values of each node.
이때, 상기 데이터 접근 인터페이스는,In this case, the data access interface,
상기 노드 및 필드를 편집할 때, 상기 내부 자료 구조에 저장되어 있는 현재 편집/저작중인 컨텐츠를 구성하는 노드들 및 필드들에 대한 정보를 읽어들이고, 편집한 결과물을 상기 내부 자료 구조로 저장한다.When editing the node and field, information about the nodes and fields constituting the content currently being edited / created stored in the internal data structure is read, and the edited result is stored in the internal data structure.
또한, 본 발명의 특징에 따른 그래픽 사용자 인터페이스는, 상기 사용자가 명령 입력 수단을 선택할 수 있도록 하는 메뉴부를 더 포함할 수 있으며, 현재 편집/저작중인 컨텐츠에 대한 미리 보기가 가능하다.In addition, the graphical user interface according to an aspect of the present invention may further include a menu to allow the user to select a command input means, and it is possible to preview the content currently being edited / written.
또한, 상기 제1 내지 제4 인터페이스는 서로 연동되어 동작하며, 상기 제1 내지 제4 인터페이스는 마우스 및/또는 키보드를 이용하여 조작이 가능하다.In addition, the first to fourth interfaces operate in conjunction with each other, and the first to fourth interfaces may be operated using a mouse and / or a keyboard.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명하면 다음과 같다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings the most preferred embodiment that can be easily carried out by those of ordinary skill in the art as follows.
도 1은 본 발명의 실시예에 따른 GUI를 포함하는 객체 기반 AV(audio-visual) 편집/저작 도구를 나타낸 것이다.1 illustrates an object based audio-visual (AV) editing / writing tool including a GUI in accordance with an embodiment of the present invention.
도 1에 도시되어 있듯이, 객체 기반 AV(audio-visual) 편집/저작 도구는GUI(100), 내부 자료 구조(200), 제너레이터/파서(300), 미디어 부/복호화기(400) 및 텍스트/바이너리 상호 변환기(500)를 포함한다.As shown in FIG. 1, object-based audio-visual editing / authoring tools include a GUI 100, an internal data structure 200, a generator / parser 300, a media encoder / decoder 400 and a text / A binary interconverter 500.
GUI(100)는 사용자가 저작도구를 쉽게 사용할 수 있도록 인터페이스를 제공하고, 내부 자료 구조(200)에는 현재 편집/저작 중인 컨텐츠에 대한 편집/저작 정보가 저장되어 있다.The GUI 100 provides an interface for a user to easily use the authoring tool, and the internal data structure 200 stores edit / author information on content currently being edited / written.
제너레이터/파서(300)는 내부 자료 구조(200)에 저장되어 있는 편집/저작 정보로 텍스트 형태의 출력 파일을 생성하거나, 텍스트 형태의 파일로 저장되어 있는 컨텐츠를 내부 자료 구조로 읽어들인다.The generator / parser 300 generates an output file in text form with the edit / author information stored in the internal data structure 200 or reads the content stored in the text file into the internal data structure.
미디어 부/복호화기(400)는 부호화되지 않은 동영상, 오디오, 정지영상과 같은 미디어 데이터를 읽어들여서 MPEG, H.263, JPEG와 같은 표준 규격을 따르는 미디어 스트림으로 부호화하거나, GUI(100)를 통하여 부호화되어 있는 미디어 스트림을 사용자에게 보여주기 위하여 복호화를 수행한다.The media encoder / decoder 400 reads media data such as uncoded video, audio, and still images and encodes them into a media stream conforming to standard standards such as MPEG, H.263, and JPEG, or through the GUI 100. Decoding is performed to show the encoded media stream to the user.
또한, 텍스트/바이너리 상호 변환기(500)는 텍스트 형태로 저장되어 있는 컨텐츠 편집/저작의 결과물 파일과, 바이너리 형태로 저장되어 있는 컨텐츠 편집/저작의 결과물 파일을 상호 변환해주는 기능을 한다.In addition, the text / binary mutual converter 500 functions to convert the result file of the content editing / authoring stored in the text form and the result file of the content editing / authoring stored in the binary form.
도 2는 본 발명의 실시예에 따른 GUI의 구성을 나타낸 것이다.2 illustrates a configuration of a GUI according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 GUI(100)는, 제1 내지 제4 인터페이스(110~140), GUI의 전체적인 동작 메뉴를 보여주는 메뉴바(150) 및 데이터 접근 인터페이스(data access application program interface, 이하 DA API라고 칭함)를 포함한다.As shown in FIG. 2, the GUI 100 according to an embodiment of the present invention includes a first to fourth interfaces 110 to 140, a menu bar 150 showing an overall operation menu of the GUI, and a data access interface ( data access application program interface, hereinafter referred to as DA API).
제1 인터페이스(110)는 각 객체를 삽입하거나, 그래픽 객체 및 텍스트 객체의 일반적인 속성을 보여주거나, 편집하는 역할을 한다. 여기서, 그래픽 객체의 일반적인 속성은, 배경색, 채우기 색, 선 색, 선 모양, 선 굵기 등 그래픽 객체들이 공통적으로 가지는 속성을 의미하고, 텍스트 객체의 일반적인 속성은, 글꼴의 종류, 글꼴 스타일, 글꼴 색, 글꼴 크기 등 텍스트 객체들이 공통적으로 가지는 속성을 말한다.The first interface 110 serves to insert each object, to show or edit general properties of graphic objects and text objects. Here, general properties of graphic objects mean properties that graphic objects have in common, such as background color, fill color, line color, line shape, and line thickness, and general properties of text object include font type, font style, and font color. It is a property that text objects have in common, such as font size and font size.
또한, 제1 인터페이스(110)는 삽입 객체 선택 아이콘(111)과 객체 속성 편집 툴바(112)를 포함한다. 삽입 객체 선택 아이콘(111)은 마우스나 키보드를 이용하여 원하는 객체를 현재 편집/저작중인 컨텐츠에 간편하게 삽입할 수 있도록 하고, 객체 속성 편집 툴바(112)는 기하학적인 객체의 일반적인 속성과 텍스트 객체의 기본적인 속성을 보여주고, 간편하게 편집할 수 있도록 하는 기능을 수행한다.In addition, the first interface 110 includes an insertion object selection icon 111 and an object property editing toolbar 112. The insert object selection icon 111 makes it easy to insert a desired object into the content currently being edited / created using a mouse or a keyboard, and the object property editing toolbar 112 displays the general properties of geometric objects and basic text objects. Shows properties and makes it easy to edit.
한편, 제2 인터페이스(120)는 객체의 시공간적 배치를 보여주고 편집할 수 있도록 하는 것으로, 객체의 공간 배치 편집창(121)과 객체의 시간 배치 편집창(122)을 포함한다. 여기서, 객체의 시공간적 배치는 각 객체가 하나의 화면 내에서 어떤 위치에 존재하는 지를 나타내는 공간적 배치와, 각 객체가 언제 나타나서 언제 사라지는지를 나타내는 시간적 배치를 말한다.On the other hand, the second interface 120 is to display and edit the spatiotemporal arrangement of the object, and includes a space layout editing window 121 of the object and a time layout editing window 122 of the object. Here, the spatiotemporal arrangement of objects refers to a spatial arrangement indicating where each object exists in one screen and a temporal arrangement indicating when each object appears and disappears.
또한, 객체의 공간 배치 편집창(121)은 현재 편집/저작중인 컨텐츠에 포함되어 있는 각 객체의 공간적인 배치를 보여주거나, 편집할 수 있도록 하며, 객체의 시간 배치 편집창(122)은 타임라인 형태로 각 객체의 시간적인 배치를 보여주거나, 편집할 수 있도록 한다. 또한, 객체의 시간 배치 편집창(122)의 타임라인은 타임스케일을 변화시킬 수 있도록 함과 동시에, 각 객체의 공간적인 배치를 편집하고자 하는 시간을 선택할 수 있도록 하는 기능과, 각 객체의 시간에 따른 동작이 정의되어 있는 각 시간을 표시하고, 그 표시된 시간으로 쉽게 이동할 수 있도록 하는 기능도 포함한다. 이때, 객체의 공간배치 편집창(121)과 시간배치 편집창(122)은 서로 연동되므로, 각 객체의 시간에 따른 공간적인 배치의 변화와 시간에 따른 객체들의 동작을 편집할 수 있다.In addition, the spatial layout editing window 121 of the object may display or edit the spatial layout of each object included in the content currently being edited / created, and the time layout editing window 122 of the object may be a timeline. Allows you to show or edit the temporal layout of each object in the form. In addition, the timeline of the object's time layout editing window 122 allows the user to change the time scale and to select a time for editing the spatial layout of each object. It also includes a function that displays each time a corresponding action is defined and makes it easy to move to the indicated time. In this case, since the space arrangement edit window 121 and the time arrangement edit window 122 of the object are interlocked with each other, the spatial arrangement of each object may change and the operations of the objects according to time may be edited.
한편, 제3 인터페이스(130)는 사용자 대화성을 보여주고 편집하는 기능을 수행한다. 이때, 사용자 대화성이란, 편집/저작된 대화형 멀티미디어 컨텐츠를 플레이하는 동안에 미디어 객체의 위치, 플레이의 시작/끝 지점 등과 같은 각 미디어 객체의 동작과 속성을 사용자가 마음대로 조작할 수 있고, 사용자가 원하는 컨텐츠만을 선택하여 보거나 들을 수 있으며, 사용자의 요구에 따라 장면 전체 또는 일부가 새로운 장면으로 바뀌거나(scene change, scene update), 현재 장면의 일부에 다른 장면이 추가되거나(insert scene), 현재 장면의 일부가 제거(remove scene)될 수 있는 것을 의미한다.Meanwhile, the third interface 130 performs a function of showing and editing user interactivity. In this case, the user interactivity means that the user can freely manipulate the motion and properties of each media object such as the position of the media object, the start / end point of the play, etc. while playing the edited / written interactive multimedia content. You can select and view only the content you want, and change all or part of the scene to a new scene (scene change, scene update), add another scene to part of the current scene (insert scene), or It means that part of can be removed (remove scene).
이러한 제3 인터페이스(130)는, 현재 편집/저작하고 있는 컨텐츠에 포함되어 있는 각 객체에 대하여, 사용자 입력의 종류 및 사용자 입력에 따른 각 객체의 동작을 보여주거나, 편집할 수 있도록 하는 사용자 대화성 편집창(131)을 포함한다.The third interface 130, for each object included in the content currently being edited / authored, the user interaction to show or edit the type of user input and the operation of each object according to the user input The edit window 131 is included.
또한, 제4 인터페이스(140)는 현재 저작/편집중인 컨텐츠를 구성하는 노드들의 논리적인 구조와 필드값을 보여주거나, 편집할 수 있도록 한다. 노드들의 논리적 구조란, 객체기반 멀티미디어 컨텐츠를 구성하는 각 객체의 시공간적 배치, 사용자 대화성 및 각 객체의 속성을 표현하기 위하여 필요한 노드들 간의 종속관계, 노드의 삽입/삭제를 위한 명령문, 노드의 필드들 간의 값을 주고받기 위한 노드들의 연결 상태들이 어떤 구조를 가지는지를 의미한다. 이를 위하여, 제4 인터페이스(140)는 현재 편집/저작중인 컨텐츠의 각 객체 및 사용자 대화성을 구성하고 있는 노드들을 트리 형태로 보여주는 노드의 논리적 구조 편집창(141)과, 각 노드를 삽입/삭제/이동시키는 기능 및 각 노드들의 필드값을 보여주고, 그 값을 수정할 수 있도록 하는 기능을 수행하는 노드의 필드값 편집창(142)을 포함한다.In addition, the fourth interface 140 may display or edit the logical structure and field values of nodes constituting the content currently being authored / edited. The logical structure of nodes is the spatio-temporal layout of each object constituting object-based multimedia content, user interactivity and dependencies among nodes necessary to express the properties of each object, statements for inserting / deleting nodes, and fields of nodes. The structure of the connection states of nodes for exchanging values between them. To this end, the fourth interface 140 is a logical structure edit window 141 of nodes showing each object of the content currently being edited / written and the nodes constituting the user interactivity in a tree form, and inserting / deleting each node. A field value edit window 142 of a node that performs a function of displaying / moving and displaying a field value of each node and allowing a value to be modified.
이러한 제4 인터페이스(140)는 트리 형태의 인터페이스를 통하여 원하는 사용자 대화성을 구성하고 있는 노드들을 직접 삽입하거나, 사용자 대화성을 위하여 필요한 객체들의 필드값을 편집함으로써 원하는 사용자 대화성을 삽입할 수 있도록 하며, 트리 형태의 인터페이스를 통하여 각 사용자 대화성을 구성하고 있는 노드들을 삭제함으로써 특정 사용자 대화성을 삭제할 수 있도록 한다.The fourth interface 140 can directly insert nodes constituting desired user interactivity through a tree-type interface, or insert desired user interactivity by editing field values of objects necessary for user interactivity. In addition, a specific user dialog can be deleted by deleting nodes constituting each user dialog through a tree-type interface.
앞서 설명한 제1 내지 제4 인터페이스(110~140)들은 서로 연동되어 동작하며, 마우스 또는 키보드를 이용하여 간편하게 객체를 편집할 수 있도록 한다.The first to fourth interfaces 110 to 140 described above operate in conjunction with each other and allow an object to be easily edited using a mouse or a keyboard.
한편, DA API(도시하지 않음)는 컨텐츠의 편집/저작 정보를 저장하고 있는 내부 자료 구조와 그래픽 사용자 인터페이스간의 저작 정보를 주고받을 수 있도록 하는 기능을 수행하며, 따라서 외부에서 내부 자료 구조로 접근하기 위해서는 반드시 DA API를 통과해야 한다.On the other hand, DA API (not shown) performs a function for exchanging authoring information between an internal data structure that stores content editing / authoring information and a graphical user interface, and thus accessing the internal data structure from the outside. You must pass the DA API.
즉, 제1 인터페이스(110)의 삽입 객체 선택 아이콘(111)을 이용하여 객체를 삽입할 때, DA API는 객체를 구성하는 데 필요한 노드 및 필드를 자동으로 생성하여 내부 자료 구조에 저장하는 역할을 한다. 또한, 객체 속성 편집 툴바(112)를 이용하여 객체의 기본적인 속성을 편집할 때, 내부 자료 구조에 저장되어 있는 객체 속성 정보를 GUI로 읽어들이고, GUI를 이용하여 편집한 결과물의 속성 정보를 다시 내부 자료 구조에 저장한다.That is, when inserting an object using the insertion object selection icon 111 of the first interface 110, the DA API automatically generates nodes and fields necessary for constructing the object and stores them in an internal data structure. do. In addition, when editing the basic properties of an object using the object property editing toolbar 112, the object property information stored in the internal data structure is read into the GUI, and the property information of the edited result is re-introduced using the GUI. Store in a data structure.
또한, DA API는 제2 인터페이스(120)를 이용하여 객체의 시공간적 배치, 시간에 따른 객체의 공간적인 배치 및 시간에 따른 객체들의 동작을 편집할 때, 내부 자료 구조에 저장되어 있는 시공간적 배치 정보, 시간에 따른 객체의 공간적인 배치 및 시간에 따른 객체들의 동작 정보를 GUI로 읽어들이고, GUI를 이용하여 편집한 결과물을 내부 자료 구조에 저장한다.In addition, the DA API uses the second interface 120 to edit the spatio-temporal arrangement of the object, the spatial arrangement of the object over time, and the motion of the objects over time, and the spatio-temporal arrangement information stored in the internal data structure, Spatial layout of objects over time and operation information of objects over time are read into the GUI, and the edited results are saved in the internal data structure using the GUI.
또한, 제3 인터페이스(130)를 이용하여 사용자 대화성을 생성하는 경우에, DA API는 생성하고자 하는 사용자 대화성을 구성하기 위하여 필요한 노드를 자동으로 생성하여 내부 자료 구조로 저장하고, 내부 자료 구조에 저장되어 있는 특정 사용자 대화성에 대한 정보를 GUI로 읽어들이고, GUI를 이용하여 편집한 결과물의 사용자 대화성을 내부 자료 구조로 저장한다. 게다가, 특정 객체를 삭제할 때에도 내부 자료 구조에 저장되어 있는 특정 객체를 구성하고 있는 노드들을 모두 삭제하여, 특정 객체와 관련되어 있는 사용자 대화성을 모두 삭제하는 기능을 수행한다.In addition, in the case of generating user interactivity using the third interface 130, the DA API automatically generates and stores a node necessary for configuring user interactivity to be generated as an internal data structure, and internal data structure. It reads the information about a specific user dialogue stored in the GUI and saves the user dialogue of the edited result using the GUI as an internal data structure. In addition, when deleting a specific object, all nodes constituting the specific object stored in the internal data structure are deleted to delete all user interaction associated with the specific object.
또한, DA API는 제4 인터페이스(140)를 이용하여 노드 및 필드들을 편집하는 경우에, 내부 자료 구조에 저장되어 있는 현재 편집/저작중인 컨텐츠를 구성하는 노드들 및 필드들에 대한 정보를 GUI로 읽어들이고, GUI를 이용하여 편집한 결과물을 내부 자료 구조로 저장한다.In addition, when the node and fields are edited using the fourth interface 140, the DA API uses GUI as information on nodes and fields constituting the content currently being edited / written, which are stored in the internal data structure. Read in and save the edited results as an internal data structure using the GUI.
또한, 본 발명의 실시예에 따른 GUI는 현재 편집/저작중인 컨텐츠에 대한 미리 보기 기능을 제공한다.In addition, the GUI according to an embodiment of the present invention provides a preview function for the content currently being edited / written.
이러한 구성을 가지는 본 발명의 실시예에 따른 GUI의 동작을, 사각형 그래픽 객체를 삽입하는 경우를 예로 들어 설명하면 다음과 같다.The operation of the GUI according to the embodiment of the present invention having such a configuration will be described below with an example of inserting a rectangular graphic object.
우선, 삽입 객체 선택 아이콘(111)에서 사각형 그래픽 객체 아이콘을 마우스로 선택한 뒤, 객체의 공간 배치 편집창(121)에서 원하는 위치에 마우스 드래그를 이용하여 사각형을 그리면 사각형 객체가 생성된다. 이와 동시에, 사각형 객체를 구성하는 데 필요한 노드들이 자동으로 생성되어 노드의 논리적 구조 편집창(141)에 논리적 구조에 맞게 트리 형태로 보여지고, 노드의 논리적 구조 편집창(141)에 나타나 있는 노드의 필드 및 필드값은 노드의 필드값 편집창(142)에 나타난다. 또한, 객체의 시간 배치 편집창(122)에서 마우스를 이용하여 타임라인을 편집함으로써 사각형 객체의 시간적인 배치를 편집할 수 있고, 이렇게 편집된 결과는 노드의 필드값 편집창(142)에 반영되어 나타난다.First, a rectangular object is created by selecting a rectangular graphic object icon from the insertion object selection icon 111 with a mouse, and then drawing a rectangle using a mouse drag to a desired position in the object's space layout edit window 121. At the same time, the nodes needed to construct the rectangular object are automatically created and shown in the tree form in the logical structure edit window 141 of the node according to the logical structure, and the nodes shown in the logical structure edit window 141 of the node are displayed. Fields and field values appear in the field value edit window 142 of the node. In addition, the temporal layout of the rectangular object may be edited by editing the timeline using the mouse in the time layout edit window 122 of the object, and the edited result is reflected in the field value edit window 142 of the node. appear.
사각형 객체를 삽입하기 위한 또 다른 방법으로, 노드의 논리적 구조 편집창(141)에서 사각형 객체를 구성하기 위한 노드들을 삽입한 뒤, 노드의 필드값 편집창(142)에서 키보드를 이용하여 객체의 공간 배치를 나타내는 필드값과 시간 배치를 나타내는 필드값을 직접 편집함으로써 원하는 공간 및 시간에 사각형 객체를 삽입할 수 있다. 이렇게 삽입된 객체는 객체의 공간 배치 편집창(121)과 시간 배치 편집창(122) 및 객체 속성 편집 툴바(112)에 나타난다.As another method for inserting a rectangular object, after inserting nodes for composing the rectangular object in the logical structure edit window 141 of the node, the space of the object using the keyboard in the field value edit window 142 of the node is inserted. By directly editing the field values representing the layout and the field values representing the layout, you can insert a rectangular object in the desired space and time. The inserted object is displayed on the space layout edit window 121, the time layout edit window 122, and the object property editing toolbar 112 of the object.
상기 도면과 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.The drawings and detailed description of the invention are merely exemplary of the invention, which are used for the purpose of illustrating the invention only and are not intended to limit the scope of the invention as defined in the claims or in the claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
이상에서와 같이 본 발명의 실시예에 따른 GUI는, 각 미디어 객체 단위로 사용자의 요구에 따라 원하는 정보를 제공할 수 있도록 하는 사용자 대화성을 쉽게 편집/저작할 수 있도록 하고, 객체 기반 대화형 멀티미디어 컨텐츠 저작에 있어서, 기존의 편집/저작 도구들이 지원하지 않는 동영상, 오디오 및 정지영상 내에 존재하는 물체를 하나의 객체로 간주하여 편집/저작하는 기능과, 객체 단위의 조작성 및 사용자 대화성을 편집/저작하는 기능을 사용자가 그래픽 사용자 인터페이스를 이용하여 간편하게 사용할 수 있도록 한다.As described above, the GUI according to an embodiment of the present invention enables easy editing / creation of user interactivity that provides desired information according to a user's request for each media object, and object-based interactive multimedia. In content authoring, the functions of editing / creating objects existing in video, audio, and still images which are not supported by existing editing / authoring tools as one object, editing / creating object-level operability and user interactivity The authoring function can be easily used by the user through the graphical user interface.
또한, 방송용 AV 컨텐츠를 쉽게 저작할 수 있을 뿐만 아니라, 인터넷을 이용한 전자 상거래 등 멀티미디어 정보통신 전 분야에서 필요로 하는 객체 기반의 컨텐츠를 쉽게 편집/저작하여 사용할 수 있도록 하고, 객체 기반 멀티미디어 컨텐츠 편집/저작 기술을 발전시키며, 다양한 형태의 디지털 방송의 서비스를 확산시킬 수 있다.In addition, it is not only easy to author AV contents for broadcasting, but also to easily edit / create and use object-based contents required in all fields of multimedia information communication such as electronic commerce using the Internet. It can develop authoring technology and spread the service of various forms of digital broadcasting.
Claims (17)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020070092A KR20040041979A (en) | 2002-11-12 | 2002-11-12 | Graphic user interface |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020070092A KR20040041979A (en) | 2002-11-12 | 2002-11-12 | Graphic user interface |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20040041979A true KR20040041979A (en) | 2004-05-20 |
Family
ID=37338821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020020070092A KR20040041979A (en) | 2002-11-12 | 2002-11-12 | Graphic user interface |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20040041979A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101027529B1 (en) * | 2009-04-27 | 2011-04-06 | 쏠스펙트럼(주) | Apparatus for editing multi-picture and apparatus for displaying multi-picture |
| KR101053732B1 (en) * | 2005-05-16 | 2011-08-02 | 엘지전자 주식회사 | Digital TV User Control Interface Device |
| US8134575B2 (en) | 2004-09-30 | 2012-03-13 | Microsoft Corporation | Maintaining graphical presentations based on user customizations |
| KR101433936B1 (en) * | 2004-09-30 | 2014-08-27 | 마이크로소프트 코포레이션 | Method, system, and computer-readable medium for creating and laying out a graphic within an application program |
| US9489359B2 (en) | 2004-09-30 | 2016-11-08 | Microsoft Technology Licensing, Llc | Editing the text of an arbitrary graphic via a hierarchical list |
| US9514105B2 (en) | 2010-03-12 | 2016-12-06 | Microsoft Technology Licensing, Llc | Reordering nodes in a hierarchical structure |
| US9529786B2 (en) | 2006-02-09 | 2016-12-27 | Microsoft Technology Licensing, Llc | Automatically converting text to business graphics |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0678077A (en) * | 1992-08-25 | 1994-03-18 | Sharp Corp | Multimedia communication system |
| KR19980048461A (en) * | 1996-12-17 | 1998-09-15 | 양승택 | MHEG-5 Object Graphic Editor for Developing Multimedia Application Services |
| JPH1196734A (en) * | 1997-09-22 | 1999-04-09 | Sony Corp | Editing system, display device and computer device |
| KR20000037596A (en) * | 1998-12-01 | 2000-07-05 | 정선종 | Method for processing logical information and graphic information by object-oriented modeling instrument |
| JP2001306310A (en) * | 2000-04-19 | 2001-11-02 | Fuji Photo Film Co Ltd | Method and device for assisting creation of gui part and application developing method |
| KR20020080594A (en) * | 2001-04-16 | 2002-10-26 | 한국전자통신연구원 | Apparatus and method for authoring of multi-media contents with object-based interactivity |
-
2002
- 2002-11-12 KR KR1020020070092A patent/KR20040041979A/en not_active Application Discontinuation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0678077A (en) * | 1992-08-25 | 1994-03-18 | Sharp Corp | Multimedia communication system |
| KR19980048461A (en) * | 1996-12-17 | 1998-09-15 | 양승택 | MHEG-5 Object Graphic Editor for Developing Multimedia Application Services |
| JPH1196734A (en) * | 1997-09-22 | 1999-04-09 | Sony Corp | Editing system, display device and computer device |
| KR20000037596A (en) * | 1998-12-01 | 2000-07-05 | 정선종 | Method for processing logical information and graphic information by object-oriented modeling instrument |
| JP2001306310A (en) * | 2000-04-19 | 2001-11-02 | Fuji Photo Film Co Ltd | Method and device for assisting creation of gui part and application developing method |
| KR20020080594A (en) * | 2001-04-16 | 2002-10-26 | 한국전자통신연구원 | Apparatus and method for authoring of multi-media contents with object-based interactivity |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10297061B2 (en) | 2004-09-30 | 2019-05-21 | Microsoft Technology Licensing, Llc | Maintaining graphical presentations based on user customizations |
| US8134575B2 (en) | 2004-09-30 | 2012-03-13 | Microsoft Corporation | Maintaining graphical presentations based on user customizations |
| KR101433936B1 (en) * | 2004-09-30 | 2014-08-27 | 마이크로소프트 코포레이션 | Method, system, and computer-readable medium for creating and laying out a graphic within an application program |
| US9489359B2 (en) | 2004-09-30 | 2016-11-08 | Microsoft Technology Licensing, Llc | Editing the text of an arbitrary graphic via a hierarchical list |
| US9619910B2 (en) | 2004-09-30 | 2017-04-11 | Microsoft Technology Licensing, Llc | Maintaining graphical presentations based on user customizations |
| US9747710B2 (en) | 2004-09-30 | 2017-08-29 | Microsoft Technology Licensing, Llc | Method, system, and computer-readable medium for creating and laying out a graphic within an application program |
| US10319125B2 (en) | 2004-09-30 | 2019-06-11 | Microsoft Technology Licensing, Llc | Method, system, and computer-readable medium for creating and laying out a graphic within an application program |
| US10573038B2 (en) | 2004-09-30 | 2020-02-25 | Microsoft Technology Licensing, Llc | Editing the text of an arbitrary graphic via a hierarchical list |
| KR101053732B1 (en) * | 2005-05-16 | 2011-08-02 | 엘지전자 주식회사 | Digital TV User Control Interface Device |
| US9529786B2 (en) | 2006-02-09 | 2016-12-27 | Microsoft Technology Licensing, Llc | Automatically converting text to business graphics |
| US10956660B2 (en) | 2006-02-09 | 2021-03-23 | Microsoft Technology Licensing, Llc | Automatically converting text to business graphics |
| KR101027529B1 (en) * | 2009-04-27 | 2011-04-06 | 쏠스펙트럼(주) | Apparatus for editing multi-picture and apparatus for displaying multi-picture |
| US9514105B2 (en) | 2010-03-12 | 2016-12-06 | Microsoft Technology Licensing, Llc | Reordering nodes in a hierarchical structure |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100321839B1 (en) | Method and apparatus for integrating hyperlinks in video | |
| Hamakawa et al. | Object composition and playback models for handling multimedia data | |
| US20060184980A1 (en) | Method of enabling an application program running on an electronic device to provide media manipulation capabilities | |
| KR100426982B1 (en) | Apparatus and methods for creating interactive application environments | |
| KR101076974B1 (en) | Method for generating an interactive menu | |
| JP2004287595A (en) | Device and method for converting composite media contents and its program | |
| KR20080047847A (en) | Apparatus and method for playing moving image | |
| US7483619B2 (en) | System for authoring and viewing detail on demand video | |
| US7509582B2 (en) | User interface system, scene description generating device and method, scene description converting device and method, recording medium, and sending medium | |
| KR20040041979A (en) | Graphic user interface | |
| KR100640219B1 (en) | Method and system for providing a collaborative authoring for multimedia presentation using a 3-dimensional spatio-temporal space | |
| CN113711575A (en) | System and method for instantly assembling video clips based on presentation | |
| KR100491956B1 (en) | MPEG-4 contents generating method and apparatus | |
| KR100620897B1 (en) | method and the system for producting BIFSBInary Format for Scenes language for MPEG-4 contents | |
| JP2004128570A (en) | Contents creation and demonstration system, and contents creation and demonstration method | |
| JP3919163B2 (en) | Video object editing apparatus and video object editing program | |
| KR100377966B1 (en) | Authoring system for contents of digital television and its method | |
| JP3211563B2 (en) | Data editing device and data editing method | |
| JP2001195604A (en) | Method for editing moving picture information | |
| Boughoufalah et al. | A Template-guided authoring environment to produce MPEG-4 content for the web | |
| US20140289606A1 (en) | Systems and Methods For Attribute Indication and Accessibility in Electronics Documents | |
| Soo | Implementation of temporal typography system | |
| JP2006086745A (en) | Scene descriptive information preparation device, scene descriptive information preparation method and program | |
| CN113110834A (en) | Editable digital virtual exhibition hall system | |
| JP2000082278A (en) | Moving image editing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |