KR20210150260A - Method for generating multi depth image - Google Patents

Method for generating multi depth image Download PDF

Info

Publication number
KR20210150260A
KR20210150260A KR1020200180958A KR20200180958A KR20210150260A KR 20210150260 A KR20210150260 A KR 20210150260A KR 1020200180958 A KR1020200180958 A KR 1020200180958A KR 20200180958 A KR20200180958 A KR 20200180958A KR 20210150260 A KR20210150260 A KR 20210150260A
Authority
KR
South Korea
Prior art keywords
image
images
mode
target
group
Prior art date
Application number
KR1020200180958A
Other languages
Korean (ko)
Inventor
박정환
Original Assignee
주식회사 피제이팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피제이팩토리 filed Critical 주식회사 피제이팩토리
Priority to US18/008,072 priority Critical patent/US20230252701A1/en
Priority to JP2022574382A priority patent/JP2023529346A/en
Priority to PCT/KR2021/006907 priority patent/WO2021246793A1/en
Publication of KR20210150260A publication Critical patent/KR20210150260A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Disclosed is a method for generating a multi-depth image. According to one embodiment of the present invention, a method for generating a multi-depth image capable of a smooth transition between images comprises the steps of: determining an image group comprising a plurality of images according to a user input; generating the multi-depth image for each of one or more target images according to the user input of inserting one or more other images into each of the one or more target images included in the image group; and setting each target image for which the multi-depth image is generated as a stop position at which reproduction is stopped when the images in the image group are reproduced.

Description

멀티 뎁스 이미지를 생성하는 방법{METHOD FOR GENERATING MULTI DEPTH IMAGE}How to create a multi-depth image {METHOD FOR GENERATING MULTI DEPTH IMAGE}

본 발명은 부드러운 천이(smooth transition)가 가능한 트리 구조의 멀티 뎁스 이미지를 생성하는 방법 및 생성된 멀티 뎁스 이미지를 뷰잉(viewing)하는 방법에 관한 것이다.The present invention relates to a method of generating a multi-depth image having a tree structure in which a smooth transition is possible, and a method of viewing the generated multi-depth image.

이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information on the present invention and does not constitute the prior art.

정보 통신 및 반도체 기술의 발전으로 사용자들은 인터넷을 통해 다양한 콘텐츠에 접근하거나 다양한 콘텐츠들을 자신의 전자 장치(예컨대, 스마트폰이나 PC)에 저장하고 사용할 수 있다. With the development of information communication and semiconductor technology, users can access various contents through the Internet or store and use various contents in their electronic devices (eg, smartphones or PCs).

다만, 콘텐츠의 양은 방대한 반면, 방대한 양의 콘텐츠들이 산발적으로 흩어져 있어 서로 관련성이 높은 콘텐츠를 일괄적으로 손쉽게 찾고 확인하기는 어렵다.However, while the amount of content is vast, it is difficult to easily find and confirm highly related content at once because the vast amount of content is scattered sporadically.

하나의 예시로서, 전자 장치를 이용하여 이미지 파일을 열었을 때 이미지 파일의 특정 부분에 대한 자세한 정보 또는 확대된 이미지가 요구될 수 있다. 예를 들어 자동차 이미지의 경우, 헤드라이트, 바퀴 등과 같은 특정 부분에 대한 보다 자세한 이미지가 요구될 수 있다. 이 경우, 사용자는 관련 이미지들을 새로이 찾아야 하는 번거로움이 있다.As an example, when an image file is opened using an electronic device, detailed information or an enlarged image of a specific part of the image file may be requested. For example, in the case of an image of a car, a more detailed image of a specific part, such as a headlight and a wheel, may be requested. In this case, the user has trouble finding new related images.

이러한 문제를 해결하기 위하여, 본 출원인은 기본이 되는 하나의 이미지(이하, '메인 이미지')에 추가적인 정보를 제공하는 다른 이미지(이하, '삽입 이미지')의 삽입이 가능한 새로운 포맷의 이미지(이하, '멀티 뎁스 이미지') 및 그 생성 방법에 대한 발명을 한국 특허 제10-1501028호(2015.03.04 등록)로 등록 받은 바 있다.In order to solve this problem, the present applicant has proposed a new format image (hereinafter referred to as 'insert image') that allows the insertion of another image (hereinafter, 'inserted image') that provides additional information to one basic image (hereinafter, 'main image'). , 'multi-depth image') and a method for generating the same have been registered as Korean Patent No. 10-1501028 (registered on March 4, 2015).

동 문헌은 멀티 뎁스 이미지의 정의와, 멀티 뎁스 이미지의 생성 및 편집을 위한 사용자 인터페이스를 개시하고 있다. 본 발명은 동 발명의 후속 발명으로서, 개선된 이미지 또는 개체들의 속성 및 개체들 간의 관계에 따라 다양한 방법으로 멀티 뎁스 이미지를 생성하고, 나아가 사용자가 보다 직관적으로 멀티 뎁스 이미지 내의 각 이미지들을 뷰잉할 수 있는 방법을 제공하고자 한다.The document discloses a definition of a multi-depth image and a user interface for creating and editing a multi-depth image. The present invention is a subsequent invention of the present invention, which generates a multi-depth image in various ways according to the improved image or properties of objects and relationships between objects, and further allows a user to view each image in the multi-depth image more intuitively. We want to provide a way.

본 발명의 일 실시예는, 사용자가 부드러운 천이가 가능한 멀티 뎁스 이미지를 보다 직관적으로 생성하고, 멀티 뎁스 이미지 내 각 이미지들을 뷰잉할 수 있는 방법을 제공하는 데 주된 목적이 있다.An exemplary embodiment of the present invention has a main purpose to provide a method by which a user can more intuitively create a multi-depth image capable of a smooth transition and view each image in the multi-depth image.

본 발명의 일 실시예에 의하면, 이미지(image)들 간의 부드러운 천이(smooth transition)가 가능한 멀티 뎁스 이미지를 생성하는 방법으로서, 사용자 입력에 따라, 복수의 이미지들을 포함하는 이미지 그룹을 결정하는 단계; 상기 이미지 그룹에 포함된 하나 이상의 대상 이미지 각각에 하나 이상의 다른 이미지를 삽입하는 사용자 입력에 따라, 상기 대상 이미지 각각에 대한 멀티 뎁스 이미지를 생성하는 단계; 및 상기 멀티 뎁스 이미지가 생성된 대상 이미지 각각을, 상기 이미지 그룹 내 이미지들이 재생될 때 재생이 정지되는 스톱 위치로 설정하는 단계를 포함하는 것을 특징으로 하는 방법을 제공한다.According to an embodiment of the present invention, there is provided a method of generating a multi-depth image capable of smooth transition between images, the method comprising: determining an image group including a plurality of images according to a user input; generating a multi-depth image for each of the target images according to a user input of inserting one or more other images into each of the one or more target images included in the image group; and setting each target image from which the multi-depth image is generated as a stop position at which reproduction is stopped when images in the image group are reproduced.

이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 부드러운 천이가 가능한 멀티 뎁스 이미지를 보다 직관적이며 편리하게 생성할 수 있다.As described above, according to an embodiment of the present invention, it is possible to more intuitively and conveniently create a multi-depth image capable of a smooth transition.

또한, 본 발명의 다른 일 실시예에 의하면, 멀티 뎁스 이미지 내 스톱 위치와 트랜지션 이미지를 보다 용이하게 변경 또는 편집할 수 있다.In addition, according to another embodiment of the present invention, it is possible to more easily change or edit a stop position and a transition image in a multi-depth image.

도 1은 멀티 뎁스 이미지의 트리 구조를 설명하기 위한 예시도이다.
도 2는 제1모드로 이미지를 삽입하는 예를 설명하기 위한 예시도이다.
도 3은 제2모드로 이미지를 삽입하는 예를 설명하기 위한 예시도이다.
도 4는 본 실시예를 구현하기 위한 전자 장치의 구성을 나타내는 예시도이다.
도 5는 전자 장치의 동작을 설명하기 위한 순서도이다.
도 6은 사용자 조작에 따른 멀티 뎁스 이미지 생성을 설명하기 위한 예시도이다.
도 7은 멀티 뎁스 이미지에서의 개체 간 전환을 설명하기 위한 일 예시도이다.
도 8은 멀티 뎁스 이미지에서의 개체 간 전환을 설명하기 위한 또 다른 예시도이다.
도 9는 부드러운 천이가 가능한 멀티 뎁스 이미지를 생성하는 방법의 일 예를 설명하기 위한 순서도이다.
도 10은 부드러운 천이가 가능한 멀티 뎁스 이미지를 생성하는 방법의 일 예를 설명하기 위한 예시도이다.
도 11은 부드러운 천이가 가능한 멀티 뎁스 이미지를 생성하는 방법의 다른 일 예를 설명하기 위한 순서도이다.
도 12는 부드러운 천이가 가능한 멀티 뎁스 이미지를 생성하는 방법의 다른 일 예를 설명하기 위한 예시도이다.
도 13a 및 도 13b는 부드러운 천이가 가능한 멀티 뎁스 이미지를 생성하는 방법의 또 다른 일 예를 설명하기 위한 순서도이다.
도 14는 부드러운 천이가 가능한 멀티 뎁스 이미지를 생성하는 방법의 또 다른 일 예를 설명하기 위한 예시도이다.
도 15는 부드러운 천이가 가능한 멀티 뎁스 이미지를 생성하는 방법의 또 다른 일 예를 설명하기 위한 순서도이다.
도 16은 본 개시의 확장된 응용을 구현하기 위한 유저 인터페이스를 나타내는 예시도이다.1 is an exemplary diagram for explaining a tree structure of a multi-depth image.
2 is an exemplary diagram for explaining an example of inserting an image in the first mode.
3 is an exemplary diagram for explaining an example of inserting an image in the second mode.
4 is an exemplary diagram illustrating the configuration of an electronic device for implementing the present embodiment.
5 is a flowchart for describing an operation of an electronic device.
6 is an exemplary diagram for explaining generation of a multi-depth image according to a user manipulation.
7 is an exemplary diagram for explaining a transition between objects in a multi-depth image.
8 is another exemplary diagram for explaining a transition between objects in a multi-depth image.
9 is a flowchart illustrating an example of a method of generating a multi-depth image capable of a smooth transition.
10 is an exemplary diagram for explaining an example of a method of generating a multi-depth image capable of a smooth transition.
11 is a flowchart illustrating another example of a method of generating a multi-depth image capable of smooth transition.
12 is an exemplary diagram for explaining another example of a method of generating a multi-depth image capable of a smooth transition.
13A and 13B are flowcharts for explaining another example of a method of generating a multi-depth image capable of a smooth transition.
14 is an exemplary diagram for explaining another example of a method of generating a multi-depth image capable of a smooth transition.
15 is a flowchart illustrating another example of a method of generating a multi-depth image capable of a smooth transition.
16 is an exemplary diagram illustrating a user interface for implementing an extended application of the present disclosure.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. Throughout the specification, when a part 'includes' or 'includes' a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. . In addition, the '... Terms such as 'unit' and 'module' mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들에 대해서 보다 상세하게 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings.

멀티 뎁스 이미지는 어느 하나의 이미지에 다른 이미지를 삽입하는 과정을 계층적으로 반복함으로써 복수의 이미지가 트리 구조로 형성된 이미지를 의미한다. 멀티 뎁스 이미지는 하나의 메인 이미지와 복수 개의 서브 이미지들로 구성될 수 있다. 멀티 뎁스 이미지의 복수 개의 이미지들은 세부 주제(specific subject)나 문맥(context) 등을 고려하여 계층화된 후 노드들을 구성함으로써 하나의 트리 구조를 형성할 수 있다. 이 때, 메인 이미지는 트리 구조의 루트 노드를 형성하고, 서브 이미지들은 하위 노드들을 형성한다.The multi-depth image refers to an image in which a plurality of images are formed in a tree structure by hierarchically repeating a process of inserting another image into one image. The multi-depth image may include one main image and a plurality of sub images. A plurality of images of the multi-depth image may be layered in consideration of a specific subject or context, and then form a single tree structure by configuring nodes. In this case, the main image forms the root node of the tree structure, and the sub images form lower nodes.

도 1은 자동차를 주제로 하는 멀티 뎁스 이미지의 트리 구조를 예시적으로 나타낸다. 1 exemplarily shows a tree structure of a multi-depth image having a car as a subject.

자동차의 전체 외관을 나타내는 메인 이미지는 루트 노드(깊이(심도, depth) 0)에 해당한다. 메인 이미지에 자동차의 구성 부품인 헤드라이트 및 바퀴에 관한 이미지가 서브 이미지로서 삽입되어 깊이 1의 노드들을 구성한다. 헤드라이트의 구성 부품인 전구 및 반사경에 관한 이미지들은 헤드라이트 이미지에 서브 이미지로서 삽입되어 깊이 2의 노드들을 구성한다. 또한, 바퀴의 구성 부품인 타이어 및 타이어 휠에 관한 이미지들은 바퀴 이미지에 서브 이미지로서 삽입되어 깊이 2의 노드들을 구성한다. The main image representing the overall exterior of the car corresponds to the root node (depth (depth) 0). An image of a headlight and wheels, which are components of a vehicle, is inserted into the main image as a sub image to constitute nodes of depth 1. Images related to the light bulb and reflector, which are constituent parts of the headlight, are inserted as sub-images in the headlight image to constitute nodes of depth 2. In addition, the tire, which is a component of the wheel, and images related to the tire wheel are inserted as sub-images in the wheel image to constitute nodes of depth 2 .

결과적으로, 자동차 노드 아래에 헤드라이트 노드 및 바퀴 노드가 위치하고, 헤드라이트 노드 아래에 전구 노드 및 반사경 노드가 위치하며, 바퀴 노드 아래에 타이어 노드 및 타이어휠 노드가 위치한다. 그리고, 이와 같은 방식으로, 본 실시예에서 복수의 서브 이미지들은 서로 트리 구조로 연결되어 부모 노드의 이미지에 자식 노드의 이미지가 삽입된다. Consequently, a headlight node and a wheel node are located under the car node, a bulb node and a reflector node are located under the headlight node, and a tire node and a tirewheel node are located under the wheel node. And, in this way, in the present embodiment, the plurality of sub-images are connected to each other in a tree structure, and the image of the child node is inserted into the image of the parent node.

멀티 뎁스 이미지는 도 1에 예시된 부모 노드의 개체에 자식 노드의 개체가 트리 구조에서 삽입된 형태의 이미지 포맷이다. 즉, 트리 구조로 연결된 복수의 이미지들이 단일의 이미지 파일을 형성한다. 부모 노드의 개체에 자식 노드의 개체가 삽입될 때, 삽입되는 개체는 일반적으로 이미지이며, 그 이미지는 2차원 또는 3차원일 수 있다. 그러나, 이미지 외에도 동영상, 텍스트, 음성, 다른 파일에 대한 링크, 인터넷 주소 링크, 북마크, 360 영상, 3D 오브젝트 등 다양한 개체가 자식 노드의 개체로서 부모 노드의 개체에 삽입될 수 있다. 이하, 멀티 뎁스 이미지의 각 노드에 삽입되는 개체가 이미지인 것을 전제로 본 실시예를 설명하기로 한다. 다만, 이는 설명의 편의를 위한 것일 뿐, 본 발명을 한정하는 것은 아니라는 점에 유의하여야 한다.The multi-depth image is an image format in which an object of a child node is inserted into an object of a parent node illustrated in FIG. 1 in a tree structure. That is, a plurality of images connected in a tree structure form a single image file. When an object of a child node is inserted into an object of a parent node, the object to be inserted is generally an image, and the image may be two-dimensional or three-dimensional. However, in addition to images, various objects such as moving pictures, text, audio, links to other files, Internet address links, bookmarks, 360 images, 3D objects, etc. may be inserted into objects of parent nodes as objects of child nodes. Hereinafter, the present embodiment will be described on the assumption that the object inserted into each node of the multi-depth image is an image. However, it should be noted that this is only for convenience of description and does not limit the present invention.

한편, 멀티 뎁스 이미지의 트리 구조에서, 각 노드에는 멀티미디어 콘텐츠가 추가적으로 매핑될 수 있다. 여기서, 멀티미디어 콘텐츠는 각 노드에 삽입된 이미지와 관련된 디지털 콘텐츠로서, 텍스트, 비디오, 오디오 등 다양한 유형의 개체들을 포함할 수 있다. 예컨대, 도 1의 트리 구조에서, 헤드라이트 노드에는 제조사, 휘도, 수명 등의 스펙 정보를 나타내는 텍스트가 매핑될 수 있다. 타이어 휠 노드에는 재질, 제조방식 등의 스펙 정보를 나타내는 텍스트가 매핑될 수 있다. 또한, 타이어 휠 노드에는 자동차 주행 중 타이어 휠의 모습을 나타내는 동영상이 추가 매핑될 수 있다.Meanwhile, in the tree structure of the multi-depth image, multimedia content may be additionally mapped to each node. Here, the multimedia content is digital content related to an image inserted into each node, and may include various types of objects such as text, video, and audio. For example, in the tree structure of FIG. 1 , text representing specification information such as a manufacturer, luminance, and lifespan may be mapped to a headlight node. Text representing specification information such as a material and a manufacturing method may be mapped to the tire wheel node. Also, a video representing the appearance of a tire wheel while driving a vehicle may be additionally mapped to the tire wheel node.

본 실시예는 멀티 뎁스 이미지를 생성하는 방법으로서 두 가지 모드를 포함한다. This embodiment includes two modes as a method of generating a multi-depth image.

제1모드는 부모 노드 이미지 내의 특정 위치에 자식 노드 이미지를 삽입하는 모드이다. 제1모드에서는, 부모 노드 이미지와 자식 노드 이미지 간의 연결 관계를 나타내는 노드 속성, 및 부모 노드 이미지 내에서 자식 노드 이미지가 삽입되는 위치를 나타내는 좌표 속성을 포함하는 속성 정보가 정의된다. 속성 정보는 부모 노드 이미지 및 자식 노드 이미지와 함께 저장된다.The first mode is a mode in which the child node image is inserted at a specific position in the parent node image. In the first mode, attribute information including a node attribute indicating a connection relationship between a parent node image and a child node image, and a coordinate attribute indicating a position at which a child node image is inserted within the parent node image is defined. Attribute information is stored together with the parent node image and the child node image.

도 2는 제1모드로 이미지를 삽입하는 일 예를 나타내는 예시도이다. 도 2를 참조하면, 자동차에 대한 멀티 뎁스 이미지(200)는 자동차 이미지(210), 헤드라이트 이미지(220), 전구 이미지(221), 반사경 이미지(222), 바퀴 이미지(230), 타이어휠 이미지(231) 및 타이어 이미지(232)를 포함할 수 있다.2 is an exemplary diagram illustrating an example of inserting an image in the first mode. Referring to FIG. 2 , a multi-depth image 200 of a car includes a car image 210 , a headlight image 220 , a light bulb image 221 , a reflector image 222 , a wheel image 230 , and a tire wheel image. 231 and a tire image 232 .

사용자는 전자 장치의 디스플레이부에 표시된 자동차 이미지(210) 내의 헤드라이트 위치에 헤드라이트 이미지(220, 헤드라이트의 디테일 이미지)를 삽입할 수 있다. 예를 들어, 사용자는 터치 또는 클릭 등의 방식으로 헤드라이트 이미지(220)를 선택하고, 선택한 헤드라이트 이미지(220)를 자동차 이미지(210) 내의 삽입하고자 하는 위치에 드래그하여 헤드라이트 이미지(220)를 해당 위치에 삽입할 수 있다. The user may insert the headlight image 220 (a detail image of the headlight) at a headlight position in the vehicle image 210 displayed on the display unit of the electronic device. For example, the user selects the headlight image 220 by a method such as touch or click, and drags the selected headlight image 220 to a position to be inserted in the car image 210 to obtain the headlight image 220 . can be inserted at that location.

헤드라이트 이미지(220)가 삽입되면, 자동차 이미지(210)에는 헤드라이트 위치에 다른 이미지가 삽입되어 있음을 나타내기 위한 제1마커(예컨대, 도 2에서 '⊙')가 표시된다. 사용자는 자동차 이미지(210)에 표시된 제1마커(⊙)를 선택하여 그 위치에 삽입된 헤드라이트 이미지(220)를 전자 장치의 디스플레이부를 통해 볼 수 있다.When the headlight image 220 is inserted, a first marker (eg, '⊙' in FIG. 2 ) for indicating that another image is inserted at the position of the headlight is displayed on the car image 210 . The user may select the first marker ⊙ displayed on the car image 210 and view the headlight image 220 inserted therein through the display unit of the electronic device.

한편, 사용자는 헤드라이트 이미지(220)가 디스플레이부에 표시된 상태에서 헤드라이트 이미지(220)의 전구 위치에 전구에 대한 디테일 이미지(전구 이미지, 221)을 삽입할 수 있다. 헤드라이트 이미지(220) 내에서 전구 이미지(221)가 삽입된 위치에는 이미지가 삽입되어 있음을 나타내기 위한 제1마커('⊙')가 표시된다.Meanwhile, the user may insert a detail image (bulb image, 221 ) of the light bulb at the position of the light bulb in the headlight image 220 while the headlight image 220 is displayed on the display unit. A first marker ('⊙') for indicating that the image is inserted is displayed at a position where the light bulb image 221 is inserted in the headlight image 220 .

이러한 방식으로, 전자 장치는 사용자의 조작에 따라 부모 노드 이미지의 특정 위치에 자식 노드 이미지를 삽입하여 트리 구조 형태의 멀티 뎁스 이미지를 생성할 수 있으며, 부모 노드 이미지 내에 표시된 마커('⊙')를 클릭 또는 터치하는 입력이 수신되면 마커가 표시된 위치에 삽입된 자식 노드 이미지를 표시한다. In this way, the electronic device can generate a tree-structured multi-depth image by inserting a child node image at a specific position of the parent node image according to a user's manipulation, and insert a marker ('⊙') displayed in the parent node image. When a click or touch input is received, the inserted child node image is displayed at the marked position.

이상에서 설명한 제1모드는 자동차와 헤드라이트와 같이 종속 관계에 있는 두 이미지 또는 상위 개념과 하위 개념의 관계에 있는 두 이미지 간의 삽입 관계를 정의할 때 유용하다. 그러나, 두 이미지 간에 이러한 종속 관계가 성립하지 않을 수도 있다. 예컨대, 시간에 따른 변화를 나타내는 사진, before/after 비교 사진, 내부/외부 비교 사진 등과 같이, 종속 관계보다 대등한 관계로 연관된 두 개의 이미지는 어느 한 이미지의 특정 위치에 다른 이미지를 삽입하는 것이 자연스럽지 않다. The first mode described above is useful when defining an insertion relationship between two images in a subordinate relationship, such as a car and a headlight, or two images in a relationship between a higher concept and a lower concept. However, this dependency relationship may not be established between the two images. For example, for two images that are related in an equal relationship rather than a dependent relationship, such as a photograph showing changes over time, a before/after comparison photograph, and an interior/external comparison photograph, it is natural to insert the other image at a specific position in one image. it's not like

예를 들어, 도 2에서 헤드라이트 이미지(220)가 헤드라이트가 꺼진 상태의 사진이라면, 사용자는 헤드라이트가 켜진 상태의 사진을 헤드라이트가 꺼진 상태의 사진과 추가로 더 연관시키고자 할 수 있다. 헤드라이트가 켜진 상태의 사진을 꺼진 상태의 이미지 내의 특정 위치에 삽입하는 것은 부자연스럽다. For example, if the headlight image 220 in FIG. 2 is a photo in a state in which the headlight is off, the user may want to further associate the photo in a state in which the headlight is on with the photo in a state in which the headlight is turned off. . It is unnatural to insert a picture with the headlights on at a specific location within the image with the headlights on.

본 개시가 기술하는 또 다른 모드인 제2모드는 부모 노드 이미지 내의 특정 위치를 지정함이 없이 자식 노드 이미지를 부모 노드 이미지에 삽입하는 모드이다. 즉, 자식 노드 이미지는 부모 노드 이미지와 대등한 관계로 부모 노드 이미지에 삽입된다. 제2모드에서는 부모 노드 이미지와 자식 노드 이미지 간의 연결 관계를 나타내는 노드 속성만이 정의되며, 부모 노드 이미지 내에서 자식 노드 이미지가 삽입되는 위치를 나타내는 좌표 속성은 정의되지 않는다. 노드 속성은 부모 노드 이미지 및 자식 노드 이미지와 함께 저장된다. The second mode, which is another mode described by the present disclosure, is a mode in which a child node image is inserted into a parent node image without designating a specific position in the parent node image. That is, the child node image is inserted into the parent node image in an equal relationship with the parent node image. In the second mode, only the node property indicating the connection relationship between the parent node image and the child node image is defined, and the coordinate property indicating the position where the child node image is inserted within the parent node image is not defined. Node properties are stored along with parent node images and child node images.

부모 노드 이미지에는 개체가 제2모드로 삽입되었음을 나타내는 제2마커가 표시된다. 제2마커는, 부모 노드 이미지 내의 특정 위치에 제1모드로 개체를 삽입하는 데에 방해되지 않도록, 제1개체의 가장자리 부분에 표시될 수 있다. 예컨대, 도 3에서 보는 바와 같이, 제2마커는 부모 노드 이미지의 일측 모서리에 페이지가 접힌 형태의 마커(310)일 수 있다.A second marker is displayed on the parent node image indicating that the object has been inserted in the second mode. The second marker may be displayed on the edge of the first object so as not to interfere with inserting the object in the first mode at a specific position in the parent node image. For example, as shown in FIG. 3 , the second marker may be a marker 310 in which a page is folded at one corner of the parent node image.

이상에서 설명한 제1모드와 제2모드를 사용하여 멀티 뎁스 이미지를 구성하는 방법은 프로그램으로 구현되고 그 프로그램을 판독할 수 있는 전자 장치에 의해 실행될 수 있다. The method of constructing a multi-depth image using the first mode and the second mode described above may be implemented as a program and executed by an electronic device capable of reading the program.

전자 장치는 프로그램을 실행시켜 일부 노드에서는 제1모드로 이미지를 삽입하고 다른 노드에서는 제2모드로 이미지를 삽입함으로써 트리 구조의 멀티 뎁스 이미지를 생성할 수 있다. 또는, 전자 장치는 하나의 노드에 해당하는 이미지에 제1모드와 제2모드를 이용하여 복수 개의 이미지를 삽입할 수도 있다. The electronic device may generate a tree-structured multi-depth image by executing a program and inserting an image in the first mode in some nodes and inserting the image in the second mode in other nodes. Alternatively, the electronic device may insert a plurality of images using the first mode and the second mode into an image corresponding to one node.

제1모드 또는 제2모드 중 적어도 하나 이상의 모드로 계층적으로 삽입된 복수의 이미지들은 이미지들 간의 관계를 정의하는 속성 정보와 함께 하나의 파일로 생성되어, 트리 구조로 이루어진 멀티 뎁스 이미지가 생성된다. A plurality of images hierarchically inserted in at least one of the first mode or the second mode are generated as one file together with attribute information defining a relationship between the images, and a multi-depth image having a tree structure is generated. .

제1모드로 연관된 부모 노드와 자식 노드 간을 정의하는 속성 정보는 부모 노드와 자식 노드를 정의하는 노드 속성과 부모 노드 이미지 내의 특정 위치를 지시하는 좌표 속성을 포함한다. 반면, 제2모드로 연관된 부모 노드와 자식 노드 간을 정의하는 속성 정보는 좌표 속성 없이 노드 속성만을 포함한다.The attribute information defining between a parent node and a child node associated in the first mode includes a node attribute defining a parent node and a child node and a coordinate attribute indicating a specific location in the parent node image. On the other hand, the attribute information defining between the parent node and the child node related in the second mode includes only the node attribute without the coordinate attribute.

도 4는 본 개시의 기술을 구현하기 위한 전자 장치의 예시도이다. 전자 장치는 메모리(410), 입력부(420), 프로세서(430) 및 디스플레이부(440)을 포함할 수 있다.4 is an exemplary diagram of an electronic device for implementing the technology of the present disclosure. The electronic device may include a memory 410 , an input unit 420 , a processor 430 , and a display unit 440 .

메모리(410)는 제1모드 및 제2모드로 멀티 뎁스 이미지를 생성하거나 뷰잉(viewing)하기 위한 프로그램을 저장한다. 입력부(420)는 사용자의 입력을 수신하기 위한 수단으로서, 키패드, 마우스 등일 수 있다. 입력부(420)는 디스플레이부(440)와 일체로 구현되는 터치 스크린일 수도 있다. 프로세서(430)는 입력부(420)로부터 입력되는 사용자 입력을 수신하고 메모리(410)에 저장된 프로그램의 실행 코드들을 판독하여 멀티 뎁스 이미지를 생성하는 기능 또는 뷰잉하는 기능을 실행한다. 디스플레이부(440)는 프로세서(430)에 의한 실행 결과를 사용자가 확인할 수 있도록 표시한다. 또는, 입력부(430)가 터치 스크린으로 구현되는 경우, 디스플레이부(440)는 사용자 입력을 입력하기 위한 소프트 버튼을 표시할 수 있다.The memory 410 stores a program for generating or viewing a multi-depth image in the first mode and the second mode. The input unit 420 is a means for receiving a user's input, and may be a keypad, a mouse, or the like. The input unit 420 may be a touch screen integrated with the display unit 440 . The processor 430 receives a user input from the input unit 420 , reads execution codes of a program stored in the memory 410 , and executes a function of generating a multi-depth image or a function of viewing. The display unit 440 displays the execution result by the processor 430 so that the user can check it. Alternatively, when the input unit 430 is implemented as a touch screen, the display unit 440 may display a soft button for inputting a user input.

상기의 프로그램이 실행될 때의 프로세서의 동작을 도 5를 참조하여 설명한다. An operation of the processor when the above program is executed will be described with reference to FIG. 5 .

프로세서(430)는 입력부(420)를 통해 입력된 사용자 조작에 따라 부모 노드에 해당하는 제1개체와 자식 노드에 해당하는 제2개체를 결정한다(S502). 여기서, 제1개체는 좌표 정보를 가지는 2차원 또는 3차원 이미지이다. 제2개체는 이미지일 수도 있고, 또는 오디오 또는 비디오 등의 멀티미디어 데이터일 수도 있다. The processor 430 determines a first object corresponding to a parent node and a second object corresponding to a child node according to a user operation input through the input unit 420 (S502). Here, the first object is a 2D or 3D image having coordinate information. The second object may be an image or multimedia data such as audio or video.

사용자는 전자 장치의 메모리(410)에 저장된 이미지들 또는 전자 장치에 구비된 카메라로 촬영한 사진들을 이용하여 부모 노드와 자식 노드에 해당하는 제1개체 및 제2개체를 선택할 수 있다. 하나의 예시로서, 사용자는 입력부(420)를 조작하여 개체들을 층(layer) 단위로 구분하여 쌓을 수 있다. 프로세서(430)는 상위 층의 개체를 자식 노드로, 그 상위 층 바로 아래의 층의 개체를 부모 노드로 결정할 수 있다. 가장 아래에 놓인 층은 루트 노드에 해당하는 메인 이미지로 사용된다. The user may select the first object and the second object corresponding to the parent node and the child node using images stored in the memory 410 of the electronic device or pictures taken with a camera provided in the electronic device. As an example, the user may manipulate the input unit 420 to classify and stack objects in units of layers. The processor 430 may determine an object of an upper layer as a child node and an object of a layer immediately below the upper layer as a parent node. The lowest layer is used as the main image corresponding to the root node.

프로세서(430)는 제1개체 내에 제2개체를 삽입하기 위한 사용자 명령(사용자 입력)이 수신되면(S504), 사용자 입력이 제1 사용자 입력인지, 아니면 제2 사용자 입력인지 여부를 판단한다(S506). 제1 사용자 입력은 제1개체와 제2개체를 연결하는 노드 속성 및 제2개체의 제1개체 내 위치를 나타내는 좌표 속성을 포함한다. 제2 사용자 입력은 좌표 속성 없이 노드 속성을 포함한다(S506).When a user command (user input) for inserting a second object into the first object is received (S504), the processor 430 determines whether the user input is a first user input or a second user input (S506) ). The first user input includes a node property connecting the first object and the second object and a coordinate property indicating a location of the second object in the first object. The second user input includes a node attribute without a coordinate attribute (S506).

수신한 입력이 제1 사용자 입력이면, 프로세서(430)는 제1모드를 실행한다(S508). 즉, 제1개체 내에서 좌표 속성에 의해 지시되는 위치에 제2개체를 삽입한다. 제1 사용자 입력은 제1개체 내에 특정 위치를 할당하는 사용자 조작으로부터 생성된다. 예컨대, 사용자가 제2개체를 드래그하여 디스플레이부(440)에 표시된 제1개체 내의 특정 위치에 할당하면 프로세서(430)는 제1개체 내의 특정 위치에 제2개체를 삽입한다. If the received input is the first user input, the processor 430 executes the first mode (S508). That is, the second object is inserted at the position indicated by the coordinate attribute within the first object. The first user input is generated from a user manipulation that assigns a specific location within the first object. For example, when the user drags the second object and assigns it to a specific location within the first object displayed on the display unit 440 , the processor 430 inserts the second object at the specific location within the first object.

도 6을 참조하여 보다 구체적으로 설명한다. 사용자에 의해 제1개체(A)와 제2개체(B)가 선택된 후, 제2개체(B)가 화면에 표시된 상태에서 사용자가 제2개체(B)를 일정 시간 이상 누르면(도 6의 (a)), 제2개체(B)가 포인터화되고 화면에는 제1개체(A)가 표시된다(도 6의 (b)). It will be described in more detail with reference to FIG. 6 . After the first object (A) and the second object (B) are selected by the user, if the user presses the second object (B) for a certain period of time while the second object (B) is displayed on the screen ( a)), the second object (B) is turned into a pointer, and the first object (A) is displayed on the screen (Fig. 6 (b)).

사용자는 포인터화된 제2개체(B)를 제1개체(A) 상에서 이동시키면서 제2개체(B)를 삽입할 위치를 선택할 수 있다. 제2개체(B)를 이동시키는 사용자 조작에 따라, 프로세서(430)는 제2개체(B)의 이동 방향의 역방향으로 제1개체(A)를 이동시킨다. 도 6의 (c)를 참조하면, 사용자가 제2개체(B)를 좌상단 방향으로 이동시키는 조작에 반응하여 프로세서(430)는 제1개체(A)를 우하단 방향으로 이동시킨다. 이는 제1개체(A) 상에서 제2개체(B)의 빠른 이동을 가능하게 한다. 또한, 제1개체(A)의 가장자리 부분에 제2개체(B)을 위치시키는 것이 가능하게 함으로써, 제2개체(B)를 제1개체(A)의 가장자리 부분에 삽입하는 것을 용이하게 한다. The user can select a position to insert the second object (B) while moving the pointer-ized second object (B) on the first object (A). In response to a user manipulation of moving the second object B, the processor 430 moves the first object A in a direction opposite to the movement direction of the second object B. Referring to FIG. 6C , in response to a user's manipulation of moving the second object B in the upper left direction, the processor 430 moves the first object A in the lower right direction. This enables the fast movement of the second object (B) on the first object (A). Also, by making it possible to position the second object B at the edge of the first object A, it is easy to insert the second object B into the edge portion of the first object A.

사용자가 제2개체(B)를 제1개체(A) 내의 특정 위치에 할당하면 프로세서(430)는 그 특정 위치에 제2 개체(B)를 삽입한다. 제1모드에 의해 제2개체가 제1개체의 특정 위치에 삽입되면, 프로세서(430)는 제1개체와 제2개체 간의 노드 연결 관계를 정의하는 노드 속성 및 제1개체 내에서 그 특정 위치를 지시하는 좌표 속성을 제1개체 및 제2개체와 함께 메모리(410)에 저장한다. 다른 개체가 삽입되었다는 것을 사용자가 식별할 수 있도록, 제1개체 내에서 제2개체가 삽입된 위치에는 제1마커(예컨대, 도 2의 '⊙')가 표시된다. 사용자가 디스플레이부(440)에 표시된 제1개체 상의 제1마커를 선택하면, 프로세서(430)는 제1마커의 위치에 삽입된 제2개체를 디스플레이부(440)에 표시한다. When the user assigns the second object B to a specific location within the first object A, the processor 430 inserts the second object B at the specific location. When the second object is inserted at a specific location of the first object by the first mode, the processor 430 determines the node attribute defining the node connection relationship between the first object and the second object and the specific location within the first object. The indicated coordinate property is stored in the memory 410 together with the first object and the second object. A first marker (eg, '⊙' in FIG. 2 ) is displayed at a position where the second object is inserted within the first object so that the user can identify that another object has been inserted. When the user selects the first marker on the first object displayed on the display unit 440 , the processor 430 displays the second object inserted at the position of the first marker on the display unit 440 .

한편, 수신한 입력이 제2 사용자 입력이면, 프로세서(430)는 제2모드를 실행한다(S510). 즉, 제1개체 내의 위치를 지정함 없이 제2개체를 제1개체에 삽입한다. 제2 사용자 입력은 제1개체 내에 위치를 할당하지 않는 사용자 조작으로부터 생성된다. 예컨대, 제2사용자 입력은 디스플레이부(440)에 표시된 제1개체의 외부 영역에 제2개체를 할당하는 사용자 조작으로부터 생성될 수 있다. 도 6을 참조하면, 사용자는 제2개체(B)를 드래그하여 제1개체의 외부 영역에 제2개체를 위치시킬 수 있다(도 6의 (d)). 제1개체의 외부 영역에 제2개체가 할당되면, 프로세서(430)는 제2 사용자 입력을 생성하고 제2 사용자 입력에 따라 제1개체 내의 특정 위치를 지정함 없이 제2개체를 제1개체에 제2모드로 삽입한다. Meanwhile, if the received input is the second user input, the processor 430 executes the second mode ( S510 ). That is, the second object is inserted into the first object without designating a location within the first object. The second user input is generated from a user operation that does not assign a location within the first object. For example, the second user input may be generated from a user manipulation of allocating the second object to an area outside of the first object displayed on the display unit 440 . Referring to FIG. 6 , the user may drag the second object B to position the second object in an area outside the first object (FIG. 6(d)). When the second object is allocated to the area outside the first object, the processor 430 generates a second user input and assigns the second object to the first object without designating a specific location within the first object according to the second user input. Insert in 2nd mode.

대안적으로, 제2 사용자 입력은 전자 장치에 구비된 물리적 버튼으로서 제2모드에 할당된 버튼을 누르는 조작을 통해 생성될 수도 있다. 또는, 제2 사용자 입력은 전자 장치의 디스플레이부(440)에 표시되는 소프트 버튼(soft button) 또는 영역을 선택하는 사용자 조작에 의해 생성될 수도 있다. 그 소프트 버튼 또는 영역은 제1개체의 외부에 표시될 수도 있고 제1개체의 내부에 표시될 수도 있다. 소프트 버튼 또는 영역이 제1개체의 내부에 표시되도록 구현되는 경우, 소프트 버튼 또는 영역을 선택하는 사용자 조작은 제1개체의 좌표 속성을 할당하지 않아야 한다.Alternatively, the second user input may be generated through a manipulation of pressing a button assigned to the second mode as a physical button provided in the electronic device. Alternatively, the second user input may be generated by a user manipulation of selecting a soft button or region displayed on the display unit 440 of the electronic device. The soft button or area may be displayed outside the first object or inside the first object. When the soft button or region is implemented to be displayed inside the first object, a user operation to select the soft button or region should not assign the coordinate property of the first object.

제2 사용자 입력에 포함된 노드 속성은 제1개체 및 제2개체와 함께 메모리(410)에 저장된다. 제1개체의 일측 모서리에는 제2개체가 제2모드로 삽입되었음을 나타내는 제2마커(예컨대, 도 3의 310)가 표시될 수 있다. 사용자가 디스플레이부(440)에 표시된 제1개체 상의 제2마커를 선택하면, 프로세서(430)는 제2개체를 디스플레이부(440)에 표시한다.The node attribute included in the second user input is stored in the memory 410 together with the first object and the second object. A second marker (eg, 310 in FIG. 3 ) indicating that the second object has been inserted in the second mode may be displayed on one corner of the first object. When the user selects the second marker on the first object displayed on the display unit 440 , the processor 430 displays the second object on the display unit 440 .

제1개체에 제2모드로 삽입할 제2개체는 복수 개 선택될 수도 있다. 예컨대, 사용자가 A 개체, B 개체, C 개체, D 개체 순서로 복수 개의 제2개체를 선택한 이후에 선택한 제2개체들을 일괄적으로 제1개체에 제2모드로 삽입하기 위한 제2 사용자 입력을 입력하면, 프로세서(430)는 제2모드로 제2개체들을 순차적이고 계층적으로 삽입한다. 여기서, '제2모드로 순차적/계층적으로 삽입한다' 함은 제1개체, A 개체, B 개체, C 개체, D 개체의 순서로 각 개체가 바로 직전 개체에 제2모드로 삽입됨을 의미한다. 즉, 제2개체들 중 첫 번째 A 개체는 제1개체에 제2모드로 삽입되고, 제2개체들 중 두 번째 B 개체는 첫 번째 A 개체에 제2모드로 삽입되며, 세 번째 C 개체는 두 번째 B 개체에 제2모드로 삽입된다. 그리고 네 번째 D 개체는 C 개체에 제2 모드로 삽입된다.A plurality of second objects to be inserted into the first object in the second mode may be selected. For example, after the user selects a plurality of second objects in the order of object A, object B, object C, and object D, a second user input for collectively inserting the selected second objects into the first object in the second mode Upon input, the processor 430 sequentially and hierarchically inserts the second objects in the second mode. Here, 'inserting sequentially/hierarchically in the second mode' means that each object is inserted into the immediately preceding object in the second mode in the order of object 1, object A, object B, object C, and object D. . That is, the first object A among the second objects is inserted into the first object in the second mode, the second object B among the second objects is inserted into the first object A in the second mode, and the third object C It is inserted in the second mode in the second object B. And the fourth object D is inserted into object C in the second mode.

한편, 메모리(410)에 저장된 프로그램은 제1개체 내에 제2모드로 삽입된 제2개체를 사용자에게 보여주기 위한 사용자 직관적인 기능을 포함한다. 전술한 바와 같이, 제2모드는 시간에 따른 변화를 나타내는 사진, before/after 비교 사진, 내부/외부 비교 사진들 간을 연관시키는 경우에 특히 유용한다. 이에 본 실시예는 제1개체와 제2개체 간을 서로 비교하면서 볼 수 있는 뷰잉 기능을 제공한다.On the other hand, the program stored in the memory 410 includes a user-intuitive function for showing the user the second object inserted into the first object in the second mode. As described above, the second mode is particularly useful when associating photos showing changes over time, before/after comparison photos, and internal/external comparison photos. Accordingly, the present embodiment provides a viewing function for comparing the first object and the second object with each other.

제2모드로 연관된 제1개체와 제2개체 중 어느 하나가 디스플레이부(440)에 표시되어 있다. 이 상태에서 사용자가 방향성을 가지는 제스처를 입력하면, 프로세서(440)는 입력된 제스처의 방향 및 이동 길이에 따라 제1개체와 제2개체 간을 전환(transition)시켜 표시하되, 제스처의 이동 길이에 따라 제1개체와 제2개체 간의 전환을 점진적으로 수행한다. 다시 말해, 제1개체와 제2개체 간의 전환의 정도가 제스처의 이동 길이에 따라 다르다.Any one of the first object and the second object related in the second mode is displayed on the display unit 440 . In this state, when the user inputs a gesture having directionality, the processor 440 displays a transition between the first object and the second object according to the direction and movement length of the input gesture, but is displayed according to the movement length of the gesture. Accordingly, the transition between the first object and the second object is gradually performed. In other words, the degree of transition between the first object and the second object varies according to the movement length of the gesture.

방향성을 가지는 제스처를 입력하는 방법은 다양할 수 있다. 제1개체가 표시된 상태에서 좌에서 우로 터치를 이동시키는 제스처를 입력 받으면 디스플레이부(440)에 표시된 제1개체가 점진적으로 제2개체로 전환된다. 그리고, 제2개체가 표시된 상태에서 우에서 좌로 터치를 이동하는 제스처를 입력 받으면 디스플레이부(440)에 표시된 제2개체가 점진적으로 제1개체로 전환된다. 대안적으로, 전자 장치의 소프트 버튼 또는 물리적 버튼이 눌리는 시간 또는 횟수에 비례하여 방향성을 가지는 제스처가 입력될 수도 있다. 예컨대, 방향키의 종류에 따라 제스처의 방향이 결정되고 방향키를 지속적으로 누르는 시간에 따라 제스처의 이동 길이가 결정될 수 있다. 제1개체가 표시된 상태에서 사용자가 “-->” 방향키를 누르는 경우 “-->” 방향키를 지속적으로 누르는 시간에 비례하여 디스플레이부(440)에 표시된 제1개체가 점진적으로 제2개체로 전환될 수 있다.There may be various methods for inputting a gesture having directionality. When a gesture for moving a touch from left to right is input while the first object is displayed, the first object displayed on the display unit 440 is gradually converted into a second object. Then, when a gesture of moving a touch from right to left is input while the second object is displayed, the second object displayed on the display unit 440 is gradually converted into the first object. Alternatively, a gesture having directionality may be input in proportion to the time or number of times the soft button or physical button of the electronic device is pressed. For example, the direction of the gesture may be determined according to the type of the direction key, and the movement length of the gesture may be determined according to the time the direction key is continuously pressed. When the user presses the “-->” direction key while the first object is displayed, the first object displayed on the display unit 440 is gradually converted to the second object in proportion to the time the “-->” direction key is continuously pressed. can be

전환의 정도는 투명도일 수 있다. 도 7을 참조하면, 프로세서(430)는 제스처의 이동 길이에 따라 제1개체와 제2개체의 투명도를 점진적으로 조절하고 제1개체와 제2개체를 중첩하여 디스플레이부(440)에 표시할 수 있다. 제스처 입력이 중단되면(예컨대, 터치 해제), 디스플레이부(440)에 중첩되어 표시된 제1개체와 제2개체 중에서 투명도가 낮은 개체를 선택하여 디스플레이부(440)에 표시한다. 대안적으로, 제스처가 중단된 시점에서 투명도로 제1개체와 제2개체를 서로 중첩해서 표시할 수도 있다.The degree of conversion may be transparency. Referring to FIG. 7 , the processor 430 may gradually adjust the transparency of the first object and the second object according to the movement length of the gesture, overlap the first object and the second object, and display it on the display unit 440 . have. When the gesture input is stopped (eg, touch release), an object having low transparency is selected from among the first and second objects overlapped and displayed on the display unit 440 and displayed on the display unit 440 . Alternatively, the first object and the second object may be displayed by overlapping each other with transparency when the gesture is stopped.

또 다른 예시로서, 전환의 정도는 제1개체 대비 제2개체가 디스플레이부(440)의 화면에 표시되는 비율일 수 있다. 제1개체가 표시된 상태에서 제스처가 입력되면, 제스처의 이동 길이에 비례하는 비율만큼 제1개체의 일부 영역이 화면에서 사라진다. 그리고 그 비율에 해당하는 제2개체의 일부 영역이 제1개체가 사라진 화면 내의 영역에 표시된다. 예컨대, 도 8의 (a)를 참조하면, 터치를 좌에서 우로 드래그하면 드래그하는 길이에 따라 제1개체가 우측으로 점진적으로 밀리고, 제1개체가 밀린 화면의 영역에 제2개체가 점진적으로 나타난다. 또는, 도 8의 (b)에서 보는 바와 같이, 터치를 좌에서 우로 드래그하는 길이에 비례하는 비율만큼 제1개체의 왼쪽 부분이 접히고 그 비율에 해당하는 제2개체의 왼쪽 일부 영역이 제1개체가 접힌 화면의 영역에 나타날 수도 있다.As another example, the degree of conversion may be a ratio in which the second object to the first object is displayed on the screen of the display unit 440 . When a gesture is input while the first object is displayed, a partial area of the first object disappears from the screen by a proportion proportional to the movement length of the gesture. And a partial area of the second object corresponding to the ratio is displayed in the area within the screen where the first object has disappeared. For example, referring to (a) of FIG. 8 , when a touch is dragged from left to right, the first object is gradually pushed to the right according to the dragging length, and the second object is gradually displayed in the area of the screen where the first object is pushed. . Alternatively, as shown in (b) of FIG. 8, the left part of the first object is folded by a ratio proportional to the length of dragging the touch from left to right, and the left partial area of the second object corresponding to the ratio is the first Objects may appear in areas of the folded screen.

본 실시예의 응용으로서 복수의 이미지로 구성된 이미지 그룹을 제2개체로서 제1개체에 삽입할 수도 있다. 앞에서 설명한 제2개체를 복수 개로 선택하여 복수 개의 제2개체를 제2모드로 제1개체에 순차적/계층적으로 삽입하는 예시는 선택된 개체 각각이 하나의 개체로서 인식되는 경우이다. 즉, 그 예시는 복수의 개체를 한번에 제2모드로 제1개체에 삽입하는 것이다. 반면, 여기서 설명하는 본 실시예의 응용은 복수의 이미지로 구성된 이미지 그룹이 하나의 개체로서 취급된다. 연사 모드로 촬영된 사진들이나 동영상과 같이 일정 시간 간격으로 촬영된 이미지들의 그룹이 이에 해당한다. 또는, 사용자가 복수의 이미지들을 선택한 이후에 이를 하나의 이미지 그룹으로 묶어 단일의 개체로 설정한 경우도 본 실시예의 응용에 해당한다.As an application of this embodiment, an image group composed of a plurality of images may be inserted into the first object as the second object. An example of sequentially/hierarchically inserting a plurality of second objects into a first object in a second mode by selecting a plurality of second objects described above is a case in which each of the selected objects is recognized as a single object. That is, the example is to insert a plurality of objects into the first object in the second mode at once. On the other hand, in the application of the present embodiment described herein, an image group composed of a plurality of images is treated as one object. This corresponds to a group of images taken at regular time intervals, such as pictures or videos taken in burst mode. Alternatively, a case in which the user selects a plurality of images and sets them as a single object by grouping them into one image group also corresponds to the application of the present embodiment.

제2개체가 복수의 이미지로 구성된 이미지 그룹인 경우, 하나의 예시로서, 제2개체는 제1개체에 제1모드로 삽입될 수 있다. 사용자가 제2개체를 선택하고 선택한 제2개체를 디스플레이부(440)에 표시된 제1개체 내의 특정 위치에 할당하는 방식 등으로 제1 사용자 입력을 입력하면, 프로세서(430)는 제2개체에 포함된 복수의 이미지 중 하나의 이미지(예: 첫 번째 이미지)를 제1개체의 특정 위치에 삽입한다. 그리고 복수의 이미지들 중 나머지 이미지들을 제2모드로 그 하나의 이미지(첫 번째 이미지)에 삽입한다. When the second object is an image group composed of a plurality of images, as an example, the second object may be inserted into the first object in the first mode. When the user selects a second object and inputs the first user input in a manner such as allocating the selected second object to a specific location within the first object displayed on the display unit 440, the processor 430 is included in the second object One image (eg, the first image) among the plurality of images is inserted at a specific position of the first object. Then, the remaining images among the plurality of images are inserted into the single image (the first image) in the second mode.

제1개체의 특정 위치에 제2개체가 삽입되었으므로 제1개체의 특정 위치에는 제1마커(예컨대, 도 2의 '⊙')가 표시된다. 사용자가 제1마커를 선택하면, 프로세서(430)는 제1개체의 그 특정 위치에 삽입된 제2개체 중 첫 번째 이미지를 디스플레이부(440)에 표시한다. 디스플레이부(440)에 표시된 첫 번째 이미지에는 그 복수의 이미지 중 나머지 이미지들이 제2모드로 삽입되어 있으므로, 그 첫 번째 이미지의 일측 모서리에는 제2마커(예컨대, 도 2의 310)가 표시되어 있다. 사용자가 제2마커를 선택하면, 프로세서(430)는 그 복수의 이미지들을 재생한다. 즉, 그 복수의 이미지들 중 나머지 이미지들을 순차적으로 디스플레이부(440)에 표시함으로써, 복수의 이미지들을 재생한다.Since the second object is inserted at a specific location of the first object, a first marker (eg, '⊙' in FIG. 2 ) is displayed at the specific location of the first object. When the user selects the first marker, the processor 430 displays the first image among the second objects inserted at the specific position of the first object on the display unit 440 . Since the remaining images among the plurality of images are inserted in the second mode in the first image displayed on the display unit 440, a second marker (eg, 310 in FIG. 2) is displayed on one corner of the first image. . When the user selects the second marker, the processor 430 reproduces the plurality of images. That is, the plurality of images are reproduced by sequentially displaying the remaining images among the plurality of images on the display unit 440 .

다른 예시로서, 복수의 이미지로 구성된 이미지 그룹인 제2개체는 제2모드로 제1개체에 삽입될 수 있다. 사용자는 제2개체를 제2모드로 제1개체에 삽입하기 위한 제2 사용자 입력을 입력한다. 예컨대, 제2 사용자 입력은, 전술한 바와 같이, 사용자가 제2개체를 제1개체의 외부 영역에 할당하는 방식 등을 통해 입력될 수 있다. 프로세서(430)는 제1개체 내의 특정 위치를 지정함 없이 제2개체를 제1 개체에 삽입한다. As another example, the second object, which is an image group consisting of a plurality of images, may be inserted into the first object in the second mode. The user inputs a second user input for inserting the second object into the first object in the second mode. For example, as described above, the second user input may be input through a method in which the user allocates the second object to an area outside of the first object. The processor 430 inserts the second object into the first object without designating a specific location within the first object.

제1개체에 제2개체가 제2모드로 삽입되었으므로, 제1개체의 일측 모서리에는 제2마커가 표시된다. 사용자가 제2마커를 선택하면, 프로세서(430)는 제2개체에 포함된 복수의 이미지들을 순차적으로 디스플레이부(440)에 표시한다.Since the second object is inserted into the first object in the second mode, a second marker is displayed on one corner of the first object. When the user selects the second marker, the processor 430 sequentially displays a plurality of images included in the second object on the display 440 .

한편, 사용자는 방향성을 가지는 제스처 입력을 통해 제1개체에 제1모드 또는 제2모드로 삽입된 제2개체를 재생할 수 있다. 제2개체에 포함된 복수의 이미지들 중 어느 하나가 디스플레이부(440)에 표시된 상태에서, 사용자로부터 방향성을 가지는 제스처를 수신하면, 프로세서(440)는 그 제스처의 방향에 따라 현재 표시된 이미지를 기준으로 순방향 또는 역방향으로 순차적으로 이미지들을 재생한다. 재생되는 속도는 제스처의 속도에 의해 결정된다. 제스처가 중단되면, 프로세서(440)는 복수의 이미지들 중 제스처 중단 시점에 표시된 이미지를 디스플레이부(440)에 표시한다. 사용자는 제스처 중단 시점에 표시된 이미지에 다른 개체를 제1모드 또는 제2모드로 삽입할 수 있다. 즉, 제스처 입력을 통한 제2개체 재생 방식은 하나의 이미지 그룹으로 묶인 복수의 이미지 중 임의의 이미지를 선택하여 그 선택한 이미지에 다른 개체를 제1모드 또는 제2모드로 삽입하는 기능을 제공한다.Meanwhile, the user may reproduce the second object inserted into the first object in the first mode or the second mode through a gesture input having directionality. When any one of a plurality of images included in the second object is displayed on the display unit 440 and a gesture having a directionality is received from the user, the processor 440 refers to the currently displayed image according to the direction of the gesture. Images are sequentially reproduced in the forward or reverse direction. The playback speed is determined by the speed of the gesture. When the gesture is stopped, the processor 440 displays, on the display unit 440 , an image displayed at the time when the gesture is stopped among a plurality of images. The user may insert another object in the first mode or the second mode into the image displayed when the gesture is stopped. That is, the second object reproduction method through the gesture input provides a function of selecting an arbitrary image among a plurality of images grouped into one image group and inserting another object into the selected image in the first mode or the second mode.

확장된 응용으로서, 본 개시는 제1개체로부터 제2개체로 천이하는 중에 중간 단계의 이미지(이하, '트랜지션(transition) 이미지')들을 재생할 수 있는 방법을 제공한다. 즉, 이하에서 기술하는 확장된 응용은 트리 구조의 멀티 뎁스 이미지들에서 어느 하나의 이미지(노드)로부터 다른 이미지(노드)로 이동하는 중에 트랜지션 이미지들이 재생 가능하도록 한다.As an extended application, the present disclosure provides a method for reproducing images of an intermediate stage (hereinafter, 'transition images') during transition from a first entity to a second entity. That is, the extended application described below enables transition images to be reproduced while moving from one image (node) to another image (node) in tree-structured multi-depth images.

도 9 및 도 10을 참조하여 설명하면, 사용자의 입력에 따라 프로세서(430)는 복수의 이미지들로 구성된(복수의 이미지들을 포함하는) 이미지 그룹(P0~Pn)을 설정 또는 결정한다(S902). 9 and 10 , according to a user input, the processor 430 sets or determines an image group P 0 to P n composed of a plurality of images (including a plurality of images) ( S902).

이미지 그룹은 연사 모드로 촬영된 사진들일 수 있고, 또는 사용자에 의해 선택된 복수의 이미지들을 하나의 그룹으로 묶은 것일 수도 있다. 또는, 이미지 그룹은 동영상일 수도 있다. 다만, 연사 모드로 촬영된 사진들이나 정지 이미지(still image)들을 묶어 생성한 이미지 그룹을 이용하는 것이 동영상을 이용하는 것보다 이미지의 추가, 삭제, 스톱 포지션의 변경 등 같은 편집이 용이할 수 있다. 이미지 그룹 내의 이미지들은 일정 시간 간격에 따라 순차적으로 재생 가능하도록 설정된다. The image group may be pictures taken in a burst mode, or a plurality of images selected by a user may be grouped into one group. Alternatively, the image group may be a moving picture. However, it may be easier to edit, such as adding, deleting, or changing a stop position, of images by using an image group created by bundling still images or photos taken in the burst mode, than using a moving picture. The images in the image group are set to be reproduced sequentially according to a predetermined time interval.

프로세서(430)는 사용자 입력에 따라 이미지 그룹 내 하나 이상의 이미지(대상 이미지)에 다른 이미지들을 삽입하여, 대상 이미지 각각에 대한 멀티 뎁스 이미지를 생성한다(S904). 사용자 입력은 대상 이미지에 다른 이미지를 삽입하는 제1 사용자 입력 또는 제2 사용자 입력일 수 있으며, 다른 이미지가 대상 이미지에 삽입되는 모드는 사용자 입력에 따라(제1 사용자 입력인지 아니면, 제2 사용자 입력인지 여부에 따라) 제1모드 또는 제2모드일 수 있다.The processor 430 inserts other images into one or more images (target images) in an image group according to a user input to generate a multi-depth image for each target image (S904). The user input may be a first user input or a second user input for inserting another image into the target image, and the mode in which another image is inserted into the target image is determined according to the user input (whether the first user input or the second user input). depending on whether) the first mode or the second mode.

예컨대, 프로세서(430)는 이미지 P4의 특정 위치에 제1모드로 하나 이상의 이미지를 삽입할 수 있다. 또는, 프로세서(430)는 이미지 Pk에서 보는 바와 같이, 이미지 Pk에 하나 이상의 이미지들을 제1모드로 삽입하고 또 다른 이미지를 제2모드로 삽입할 수도 있다. 이미지 그룹 내의 이미지에 이미지 그룹 내의 다른 이미지를 삽입하는 것도 가능하다. For example, the processor 430 may insert one or more images in the first mode at a specific position of the image P 4 . Alternatively, as shown in the image P k , the processor 430 may insert one or more images into the image P k in the first mode and insert another image in the second mode. It is also possible to insert another image in an image group into an image in the image group.

프로세서(430)는 이미지 그룹 내의 이미지들 중에서 다른 이미지가 삽입된 이미지(P4, Pk, Pm) 즉, 대상 이미지를 스톱(stop) 포지션(스톱 위치)으로 설정한다(S906). 프로세서(430)는 이미지 그룹에 대한 재생 입력(재상 명령)이 입력되면, 이미지 그룹 내의 이미지들을 P0부터 순차적으로 재생한다. P4에 도달했을 때, P4는 스톱 포지션으로 설정되어 있으므로 프로세서(430)는 P4에서 재생을 정지시킨다. 따라서, 사용자는 P4 내의 제1마커(1010, '⊙') 위치에 삽입되어 있는 다른 이미지들을 확인해 볼 수 있다. The processor 430 sets the image (P 4 , P k , P m ), that is, the target image, into which another image is inserted among the images in the image group, as a stop position (stop position) ( S906 ). When a reproduction input (replay command) for an image group is input, the processor 430 sequentially reproduces images in the image group from P 0 . When P 4 is reached, since P 4 is set to the stop position, processor 430 stops playback at P 4 . Accordingly, the user can check the other images inserted in the position of the first marker (1010, '⊙') in P 4 .

다시 이미지 그룹 내의 이미지들을 재생시키는 사용자 입력이 수신되면, 프로세스(430)는 P5부터 이미지들을 순차적으로 재생하다가 다음 번 스톱 포지션으로 설정된 Pk에서 재생을 정지한다. 사용자는 Pk 내에 제1마커(1010, '⊙') 또는 제2마커(1020)를 선택하여 Pk 내에 제1모드 또는 제2모드로 삽입된 이미지들을 확인해 볼 수 있다. 다시, 이미지 그룹을 재생시키기는 사용자 입력이 수신되면, 프로세서(430)는 Pk+1부터 재생을 시작하다가 다음 번 스톱 포지션을 설정된 Pm에서 재생을 멈춘다. When a user input for reproducing images in the image group is received again, the process 430 sequentially reproduces images from P 5 and then stops reproduction at P k set as the next stop position. The user can check the first marker (1010, '⊙') or the first mode or the image inserted into the second mode in the P k by selecting a second marker 1020 in the P k. Again, when a user input for reproducing an image group is received, the processor 430 starts reproducing from P k+1 and then stops reproducing at P m where the next stop position is set.

이와 같이, 이미지 그룹의 첫 번째 이미지로부터 첫 번째 스톱 포지션 사이의 이미지들, 스톱 포지션들 사이의 이미지들, 마지막 스톱 포지션으로부터 이미지 그룹의 마지막 이미지 사이의 이미지들은 재생이 중단되지 않는 트랜지션 이미지들이 된다. In this way, the images between the first image group and the first stop position, the images between the stop positions, and the images between the last stop position and the last image of the image group become transition images in which playback is not interrupted.

한편, 사용자는 이미지 그룹 내에서 스톱 포지션에 해당하는 이미지에 삽입된 이미지들을 제거할 수 있다. 이 경우, 프로세서(430)는 해당 이미지의 스톱 포지션 설정을 해제한다. 사용자가 이미지 그룹 내의 다른 이미지에 새로이 이미지들을 삽입하는 경우, 프로세서(430)는 새로운 이미지가 삽입된 이미지 그룹 내의 다른 이미지를 스톱 포지션으로 설정한다. Meanwhile, the user may remove images inserted into the image corresponding to the stop position in the image group. In this case, the processor 430 releases the stop position setting of the corresponding image. When the user newly inserts images into other images in the image group, the processor 430 sets another image in the image group into which the new image is inserted as a stop position.

이와 같이 하나 이상의 스톱 포지션이 설정된 하나의 이미지 그룹은 제1모드 또는 제2모드로 다른 이미지에 삽입될 수도 있다.In this way, one image group in which one or more stop positions are set may be inserted into another image in the first mode or the second mode.

전술한 응용은, 도 11에 나타낸 바와 같이, 이미지 그룹을 스톱 포지션을 기준으로 복수의 서브그룹으로 구분 또는 분할하고(S1102), 이전 서브그룹 내의 마지막 이미지 내에 다음 번 서브그룹이 제2모드로 삽입(S1104)되는 방식으로 구현될 수도 있다.11, the image group is divided or divided into a plurality of subgroups based on the stop position (S1102), and the next subgroup is inserted in the last image in the previous subgroup in the second mode, as shown in FIG. (S1104) may be implemented in such a way.

도 10의 예시를 참조하면, P4, Pk 및 Pm이 스톱 포지션으로 설정될 때, 프로세서(430)는 P0 ~ P4를 제1서브그룹, P5 ~ Pk를 제2서브그룹, Pk+1 ~ Pm을 제3서브그룹, Pm+1 ~ Pn을 제4서브그룹으로 설정 또는 분할한다. 즉, 복수 개의 서브 그룹들은 스톱 포지션으로 설정된 대상 이미지들 각각을 기준으로 분할된다. 서브 그룹들 각각은 대상 이미지들 중에서 서로 인접한 두 개의 대상 이미지들 사이에 위치하는 하나 이상의 이미지와, 서로 인접한 두 개의 대상 이미지들 중에서 재생 순서가 늦은 이미지(서브그룹 내 마지막 이미지)로 구성된다. Referring to the example of FIG. 10 , when P 4 , P k and P m are set to the stop positions, the processor 430 sets P 0 to P 4 to the first subgroup, and P 5 to P k to the second subgroup. , P k+1 to P m are set or divided into a third subgroup and P m+1 to P n into a fourth subgroup. That is, the plurality of subgroups are divided based on each of the target images set as the stop position. Each of the subgroups includes one or more images positioned between two adjacent target images among target images, and an image having a later reproduction order among the two adjacent target images (the last image in the subgroup).

프로세서(430)는 제1서브그룹의 마지막 이미지로서 스톱 포지션에 해당하는 P4에 제2서브그룹을 제2모드로 삽입한다. 이 경우, 도 12에서 보는 바와 같이, P4에는 제2모드로 삽입된 이미지가 있음을 나타내는 제2마커(1220)가 표시된다. 또한, 프로세서(430)는 제2서브그룹의 마지막 이미지로서 스톱 포지션에 해당하는 Pk에 제3서브그룹을 제2모드로 삽입한다. 나아가, 프로세서(430)는 제3서브그룹의 마지막 이미지로서 스톱 포지션에 해당하는 Pm에 제4서브그룹을 제2모드로 삽입한다.The processor 430 inserts the second subgroup in the second mode in P 4 corresponding to the stop position as the last image of the first subgroup. In this case, as shown in FIG. 12 , a second marker 1220 indicating that there is an image inserted in the second mode is displayed on P 4 . Also, the processor 430 inserts the third subgroup into the P k corresponding to the stop position as the last image of the second subgroup in the second mode. Furthermore, the processor 430 inserts the fourth subgroup in the second mode in P m corresponding to the stop position as the last image of the third subgroup.

한편, 이전 서브 그룹의 대상 이미지에 제2모드로 기삽입되어 있는 이미지(기삽입된 이미지)가 존재할 수 있다. 이러한 경우, 프로세서(430)는, 도 13a에 나타낸 바와 같이, 이전 서브 그룹의 대상 이미지에 제2모드로 기삽입된 이미지가 존재하는지 여부를 판단 또는 식별하고(S1302), 기삽입된 이미지가 하나 이상 존재하면 기삽입된 이미지 중에서 어느 하나에 다음 번 서브 그룹을 제2모드로 삽입할 수 있다(S1304). Meanwhile, an image (pre-inserted image) previously inserted in the second mode may exist in the target image of the previous sub-group. In this case, the processor 430 determines or identifies whether an image previously inserted in the second mode exists in the target image of the previous subgroup as shown in FIG. 13A ( S1302 ), and the previously inserted image is one If there is an abnormality, the next subgroup may be inserted into any one of the previously inserted images in the second mode (S1304).

예를 들어, 도 14에서 보는 바와 같이, Pk에는 제2마커(1020)가 표시되어 있다. 이는, Pk에 이미 다른 이미지(Pk', 기삽입된 이미지)가 제2모드로 삽입되어 있음을 나타낸다. 이러한 경우에, 제3서브그룹은 Pk 대신에, Pk에 제2모드로 기삽입되어 있는 이미지(Pk')에 제2모드로 삽입될 수도 있다. Pk에 기삽입되어 있는 다른 이미지(Pk')를 위한 제2마커(1020)와 제3서브그룹을 위한 제2마커(1220)는 구분되어야 할 것이다.For example, as shown in FIG. 14 , a second marker 1020 is indicated on P k . Which, already in the other image P k (P k ', a group inserted image) indicates that it is inserted in the second mode. In this case, the third subgroup instead of P k, The image (P k ') in the P k is inserter device in a second mode may be inserted in the second mode. A second marker (1020) and the third second marker 1220 for the sub-group for P k different image (P k ') that is inserted in the group will be separated.

만약, 기삽입된 이미지가 존재하지 않는다면, 프로세서(430)는 앞서 설명된 바와 같이 이전 서브 그룹의 대상 이미지에 다음 번 서브 그룹을 제2모드로 삽입한다(S1306).If there is no pre-inserted image, the processor 430 inserts the next sub-group into the target image of the previous sub-group in the second mode as described above (S1306).

한편, 기삽입된 이미지는 복수 개일 수 있다. 프로세서(430)는 기삽입된 이미지가 복수 개인 경우에, 도 13b에 나타낸 바와 같이, 기삽입된 이미지들 중에서 사용자에 의해 선택된 어느 하나에 다음 번 서브 그룹을 제2모드로 삽입할 수 있다(S1308 내지 S1312). 구체적으로, 프로세서(430)는 기삽입된 이미지가 복수 개인지 여부를 판단하고(S1308), 기삽입된 이미지가 복수 개라면 사용자 입력에 의해 선택된 (기삽입된) 이미지에 다음 번 서브 그룹을 제2모드로 삽입한다(S1310). 만약, 기삽입된 이미지가 하나라면, 프로세서(430)는 하나의 기삽입된 이미지에 다음 번 서브 그룹을 제2모드로 삽입한다(S1312).Meanwhile, there may be a plurality of pre-inserted images. When there are a plurality of pre-inserted images, the processor 430 may insert the next sub-group into any one selected by the user from among the pre-inserted images in the second mode, as shown in FIG. 13B ( S1308 ). to S1312). Specifically, the processor 430 determines whether there are a plurality of pre-inserted images (S1308), and if there are a plurality of pre-inserted images, the next sub-group is added to the (pre-inserted) image selected by the user input. It is inserted in mode 2 (S1310). If there is one pre-inserted image, the processor 430 inserts the next sub-group into one pre-inserted image in the second mode (S1312).

사용자로부터 재생 입력이 수신되면, 프로세서(430)는 제1서브그룹 내의 이미지들을 순차적으로 재생하다가 P4에서 재생을 멈춘다. P4에는 제2모드로 제2서브그룹이 삽입되었으므로, P4에는 제2마커(1220)가 표시된다. 사용자가 제2마커(1220)를 선택하는 경우, 프로세서(430)는 P4에 삽입되어 있는 제2서브그룹의 이미지들을 순차적으로 재생하고 Pk에서 재생을 멈춘다. 사용자가 Pk에 삽입되거나 또는 Pk에 기삽입되어 있던 Pk'에 삽입된 제3서브그룹에 대응하는 제2마커(1220)를 선택하면 제3서브그룹의 이미지들이 순차적으로 재생된다.When a reproduction input is received from the user, the processor 430 sequentially reproduces the images in the first subgroup, and then stops the reproduction at P 4 . Since the second subgroup is inserted in P 4 in the second mode, the second marker 1220 is displayed in P 4 . When the user selects the second marker 1220 , the processor 430 sequentially reproduces images of the second subgroup inserted in P 4 and stops reproduction at P k . When the user selects a second marker 1220 corresponding to the third sub-group into the P k 'that has been inserted into the inserter to P k P k, or the third image of the sub-groups are reproduced sequentially.

한편, '이미지 그룹 내에 존재하는 이미지'를 대상 이미지에 삽입하여 스톱 포지션을 설정하거나, '이미지 그룹 내에 존재하지 않는 이미지'를 대상 이미지에 삽입하여 스톱 포지션을 설정할 수도 있다. 즉, 스톱 포지션 설정을 위해 삽입되는 다른 이미지는 이미지 그룹 내에 존재하거나 존재하지 않을 수 있다.Meanwhile, the stop position may be set by inserting an 'image existing in the image group' into the target image, or the stop position may be set by inserting an 'image that does not exist in the image group' into the target image. That is, other images inserted for setting the stop position may or may not exist in the image group.

이를 위해, 도 15에 나타낸 바와 같이, 프로세서(430)는 제1 사용자 입력 또는 제2 사용자 입력이 입력되면 다른 이미지가 이미지 그룹 내에 존재하는지 여부를 판단한다(S1502). 다른 이미지가 이미지 그룹 내에 존재하면, 프로세서(430)는 다른 이미지의 이미지 그룹 내 위치와 이 다른 이미지가 삽입된 대상 이미지의 이미지 그룹 내 위치 각각을 스톱 포지션으로 설정한다(S1504). 또한, 프로세서(430)는 다른 이미지와 대상 이미지 사이에 존재하는 이미지 그룹 내 하나 이상의 이미지를 트랜지션 이미지로 설정한다(S1506).To this end, as shown in FIG. 15 , when a first user input or a second user input is input, the processor 430 determines whether another image exists in the image group ( S1502 ). If another image exists in the image group, the processor 430 sets the position of the other image in the image group and the position of the target image into which the other image is inserted as the stop position, respectively (S1504). Also, the processor 430 sets one or more images in an image group existing between another image and the target image as a transition image (S1506).

도 10의 예시를 참조하면, 이미지 그룹 내의 제2이미지(예컨대, P4)가 이미지 그룹 내의 제1이미지(예컨대, P0)에 제1모드 또는 제2모드로 삽입되는 경우, 제1이미지(P0)와 제2이미지(P4) 각각이 스톱 포지션으로 설정된다. 제1이미지(P0)와 제2이미지(P4) 사이의 이미지들(P1~P3)은 트랜지션 이미지들로 설정된다. 따라서, 제1이미지(P0) 내에 삽입된 제2이미지(P4)에 대응하는 제1마커(제1모드로 삽입된 경우) 또는 제2마커(제2모드로 삽입된 경우)를 선택하는 사용자 입력이 수신되면, P1부터 시작하여 P4가 순차적으로 재생된다. 즉, P1~P3는 제1이미지(P0)로부터 제2이미지(P4)로 천이되는 과정에서 출력되는 트랜지션 이미지들이 된다.Referring to the example of FIG. 10 , when the second image (eg, P 4 ) in the image group is inserted into the first image (eg, P 0 ) in the image group in the first mode or the second mode, the first image ( Each of the P 0 ) and the second image P 4 is set as a stop position. The images P 1 to P 3 between the first image P 0 and the second image P 4 are set as transition images. Therefore, selecting the first marker (when inserted in the first mode) or the second marker (when inserted in the second mode) corresponding to the second image (P 4 ) inserted in the first image (P 0 ) When a user input is received, starting from P 1 , P 4 is sequentially reproduced. That is, P 1 to P 3 are transition images output during the transition from the first image P 0 to the second image P 4 .

다른 이미지가 이미지 그룹 내에 존재하지 않으면, 프로세서(430)는 대상 이미지의 이미지 그룹 내 위치만을 스톱 포지션으로 설정한다(S1508). 또한, 프로세서(430)는 대상 이미지들 사이에 존재하는 이미지 그룹 내 하나 이상의 이미지(이전 서브 그룹의 대상 이미지 ~ 다음 번 서브 그룹의 대상 이미지 사이에 존재하는 하나 이상의 이미지)를 트랜지션 이미지로 설정한다(S1510).If no other image exists in the image group, the processor 430 sets only the position of the target image in the image group as the stop position (S1508). In addition, the processor 430 sets one or more images in the image group existing between the target images (one or more images existing between the target image of the previous subgroup and the target image of the next subgroup) as the transition image ( S1510).

도 16은 본 개시의 확장된 응용을 구현하기 위한 유저 인터페이스를 나타내는 예시도이다.16 is an exemplary diagram illustrating a user interface for implementing an extended application of the present disclosure.

프로세서(430)는 디스플레이부(440)에 서로 구분된 제1영역과 제2영역을 디스플레이한다. 제1영역은 이미지 그룹 내의 이미지들이 재생 순서에 따라 표시되거나 임의의 순서로 표시될 수 있다. 제1영역에 표시된 이미지들을 위치를 바꿈으로서 재생 순서는 변경될 수 있다.The processor 430 displays the first area and the second area separated from each other on the display unit 440 . In the first area, images in the image group may be displayed according to a reproduction order or may be displayed in an arbitrary order. By changing the positions of the images displayed in the first area, the playback order may be changed.

제1영역에 표시된 이미지들 중 다른 이미지를 삽입할 이미지를 선택하면, 선택된 이미지는 제2영역에 표시된다. 제2영역에 표시된 이미지에 기 저장된 다른 이미지를 제1모드 또는 제2모드로 삽입하면 제2영역에 표시된 이미지는 스톱 포지션으로 설정된다. 한편, 제1영역에 표시된 이미지를 제2영역에 표시된 이미지에 삽입할 수도 있다. 이 때, 삽입된 제1영역의 이미지는 이미지 그룹에서 제거될 수 있다.When an image into which another image is to be inserted is selected from among the images displayed in the first area, the selected image is displayed in the second area. When another image previously stored in the image displayed in the second area is inserted in the first mode or the second mode, the image displayed in the second area is set as a stop position. Meanwhile, the image displayed on the first region may be inserted into the image displayed on the second region. In this case, the image of the inserted first region may be removed from the image group.

도 5, 도 9, 도 11, 도 13 및 도 15에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5, 도 9, 도 11, 도 13 및 도 15에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5, 도 9, 도 11, 도 13 및 도 15은 시계열적인 순서로 한정되는 것은 아니다.5, 9, 11, 13 and 15 describe that each process is sequentially executed, but this is merely illustrative of the technical idea of an embodiment of the present invention. In other words, those of ordinary skill in the art to which an embodiment of the present invention pertain to the sequence described in FIGS. 5, 9, 11, 13 and 15 within a range that does not depart from the essential characteristics of an embodiment of the present invention 5, 9, 11, 13 and 15 are limited in a time-series order, since it will be applicable by variously modifying and transforming it by changing and executing or executing one or more of the processes in parallel. it is not

한편, 도 5, 도 9, 도 11, 도 13 및 도 15에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는　기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 비일시적인(non-transitory) 매체일 수 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송) 및 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한 컴퓨터가 읽을 수 있는　기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.Meanwhile, the processes shown in FIGS. 5, 9, 11, 13 and 15 can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. That is, the computer-readable recording medium may be a non-transitory medium such as ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device, and also carrier wave (eg, It may further include transitory media such as transmission over the Internet) and data transmission medium. In addition, the computer-readable recording medium is distributed in network-connected computer systems, and computer-readable codes may be stored and executed in a distributed manner.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and a person skilled in the art to which this embodiment belongs may make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present embodiment.

200: 자동차에 대한 멀티 뎁스 이미지
210: 자동차 전체 이미지 220: 헤드라이트 이미지
221: 전구 이미지 222: 반사경 이미지
230: 바퀴 이미지 231: 타이어휠 이미지
232: 타이어 이미지 310: 마커
1010: 제1마커 1020, 1220: 제2마커200: multi-depth image of car
210: whole car image 220: headlight image
221: light bulb image 222: reflector image
230: wheel image 231: tire wheel image
232: tire image 310: marker
1010: first marker 1020, 1220: second marker

Claims (7)

이미지(image)들 간의 부드러운 천이(smooth transition)가 가능한 멀티 뎁스 이미지를 생성하는 방법으로서,
사용자 입력에 따라, 복수의 이미지들을 포함하는 이미지 그룹을 결정하는 단계;
상기 이미지 그룹에 포함된 하나 이상의 대상 이미지 각각에 하나 이상의 다른 이미지를 삽입하는 사용자 입력에 따라, 상기 대상 이미지 각각에 대한 멀티 뎁스 이미지를 생성하는 단계; 및
상기 멀티 뎁스 이미지가 생성된 대상 이미지 각각을, 상기 이미지 그룹 내 이미지들이 재생될 때 재생이 정지되는 스톱 위치로 설정하는 단계를 포함하는 것을 특징으로 하는 방법.As a method of generating a multi-depth image capable of smooth transition between images,
determining an image group including a plurality of images according to a user input;
generating a multi-depth image for each of the target images according to a user input of inserting one or more other images into each of the one or more target images included in the image group; and
and setting each of the target images from which the multi-depth image is generated as a stop position at which reproduction is stopped when images in the image group are reproduced. 제1항에 있어서,
상기 스톱 위치로 설정된 대상 이미지들 각각을 기준으로, 상기 이미지 그룹을 복수의 서브 그룹들로 분할하는 단계 - 상기 복수의 서브 그룹들 각각은 상기 대상 이미지들 중에서 서로 인접한 두 개의 대상 이미지들 사이에 위치하는 하나 이상의 이미지 및, 상기 서로 인접한 두 개의 대상 이미지들 중에서 재생 순서가 늦은 대상 이미지로 구성됨-; 및
상기 복수의 서브 그룹들 중에서, 이전 서브 그룹의 대상 이미지에 다음 번 서브 그룹을 제2모드로 삽입하는 단계를 더 포함하고,
상기 제2모드는,
삽입 위치에 대한 좌표 속성 없이 두 이미지 간의 연결 관계를 정의하는 노드 속성에 의해, 상기 두 이미지 중에서 어느 한 이미지에 다른 이미지가 삽입되는 모드인 것을 특징으로 하는 방법.According to claim 1,
dividing the image group into a plurality of sub-groups based on each of the target images set as the stop position, wherein each of the plurality of sub-groups is located between two adjacent target images among the target images composed of one or more images to be played, and a target image having a later reproduction order among the two adjacent target images; and
Among the plurality of subgroups, the method further comprising: inserting a next subgroup into a target image of a previous subgroup in a second mode;
The second mode is
Method characterized in that it is a mode in which another image is inserted into one of the two images by a node attribute defining a connection relationship between two images without a coordinate attribute for the insertion position. 제2항에 있어서,
상기 제2모드로 삽입하는 단계는,
상기 이전 서브 그룹의 대상 이미지에 상기 제2모드로 기삽입된 이미지가 존재하는지 여부를 식별하는 단계; 및
상기 기삽입된 이미지가 하나 이상 존재하는 경우, 상기 기삽입된 이미지 중에서 어느 하나에 상기 다음 번 서브 그룹을 상기 제2모드로 삽입하는 단계를 포함하는 것을 특징으로 하는 방법.3. The method of claim 2,
The step of inserting into the second mode is
identifying whether the image previously inserted in the second mode exists in the target image of the previous subgroup; and
and inserting the next sub-group into any one of the previously inserted images in the second mode when one or more previously inserted images exist. 제3항에 있어서,
상기 다음 번 서브 그룹은,
상기 기삽입된 이미지가 복수 개인 경우에, 상기 복수 개의 기삽입된 이미지들 중에서 사용자 입력에 의해 선택된 이미지에 상기 제2모드로 삽입되는 것을 특징으로 하는 방법.4. The method of claim 3,
The next subgroup is
When there are a plurality of pre-inserted images, the method is characterized in that the inserted images are inserted into an image selected by a user input from among the plurality of pre-inserted images in the second mode. 제1항에 있어서,
상기 설정하는 단계는,
상기 다른 이미지가 상기 이미지 그룹에 포함된 경우에, 상기 다른 이미지의 상기 이미지 그룹 내 위치 및 상기 대상 이미지의 상기 이미지 그룹 내 위치를 상기 스톱 위치로 설정하는 것을 특징으로 하는 방법.According to claim 1,
The setting step is
and setting a position in the image group of the other image and a position in the image group of the target image as the stop position when the other image is included in the image group. 제5항에 있어서,
상기 설정하는 단계는,
상기 이미지 그룹 내에서 상기 다른 이미지와 상기 대상 이미지 사이에 위치하는 하나 이상의 이미지를 재생이 정지되지 않는 트랜지션 이미지로 더 설정하는 것을 특징으로 하는 방법.6. The method of claim 5,
The setting step is
The method of claim 1, further comprising setting one or more images positioned between the other image and the target image in the image group as a transition image in which reproduction is not stopped. 제1항 내지 제6항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체.A computer-readable recording medium recording a program for executing the method of any one of claims 1 to 6 in a computer.
KR1020200180958A 2020-06-03 2020-12-22 Method for generating multi depth image KR20210150260A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/008,072 US20230252701A1 (en) 2020-06-03 2021-06-03 Method for generating multi-depth image
JP2022574382A JP2023529346A (en) 2020-06-03 2021-06-03 How to generate multi-depth images
PCT/KR2021/006907 WO2021246793A1 (en) 2020-06-03 2021-06-03 Method for generating multi-depth image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200066896 2020-06-03
KR1020200066896 2020-06-03

Publications (1)

Publication Number Publication Date
KR20210150260A true KR20210150260A (en) 2021-12-10

Family

ID=78865512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200180958A KR20210150260A (en) 2020-06-03 2020-12-22 Method for generating multi depth image

Country Status (1)

Country Link
KR (1) KR20210150260A (en)

Similar Documents

Publication Publication Date Title
US9052818B2 (en) Method for providing graphical user interface (GUI) using divided screen and multimedia device using the same
JP4698385B2 (en) Special effects such as titles, transitions, and / or effects that change depending on the position
US8091039B2 (en) Authoring interface which distributes composited elements about the display
CN104380380B (en) Video editing method and digital device therefor
US8205159B2 (en) System, method and medium organizing templates for generating moving images
US20100031152A1 (en) Creation and Navigation of Infinite Canvas Presentation
US20130097552A1 (en) Constructing an animation timeline via direct manipulation
JP7481044B2 (en) Multi-depth image creation and viewing
JP2005267390A (en) Display control device, display control method, and storage medium
US11715275B2 (en) User interface and functions for virtual reality and augmented reality
JP2008141746A (en) System and method for playing moving images
US20130318453A1 (en) Apparatus and method for producing 3d graphical user interface
US10606455B2 (en) Method for processing information
CN102982571A (en) Combining and dividing drawing object
KR20210150260A (en) Method for generating multi depth image
US20230252701A1 (en) Method for generating multi-depth image
JP7278645B2 (en) Multi-depth image display device and method
JP4674726B2 (en) File management method and information processing apparatus
KR20220090103A (en) Method and apparatus for image labeling and image annotation using meuti-depth image