KR20220090103A - 멀티 뎁스 이미지를 이용하여 이미지를 레이블링하고 어노테이션하는 방법 및 장치 - Google Patents

Abstract

멀티 뎁스 이미지를 이용한 이미지 레이블링 및 이미지 어노테이션 방법을 개시한다.
본 발명의 일 실시예에 의하면, 메인 이미지 내에 하나 이상의 이미지들이 트리 구조로 삽입된 멀티 뎁스(multi depth) 이미지를 이용한 이미지 어노테이션(annotation) 방법으로서, 상기 멀티 뎁스 이미지를 구성하는 제1이미지들에 부여된 태그들을 이용하여, 상기 제1이미지들을 레이블링(labeling)하는 단계 - 상기 제1이미지들은 상기 트리 구조에서 같은 경로에 위치하는 하나 이상의 다른 이미지들 및 대상 이미지를 포함함 -; 상기 대상 이미지의 레이블에 대응되는 하나 이상의 이미지들을 이미지 데이터 베이스로부터 수집하는 단계; 상기 수집된 이미지들에 기반하여, 상기 대상 이미지 내 하나 이상의 대상 객체를 상기 대상 이미지에 어노테이션하는 단계; 및 상기 어노테이션된 대상 객체에 대한 정보 및 상기 대상 이미지의 상위 노드 이미지 내에서 상기 대상 이미지가 삽입된 위치를 이용하여, 상기 상위 노드 이미지를 어노테이션하는 단계를 포함하는 것을 특징으로 하는 방법을 제공한다.

Description

멀티 뎁스 이미지를 이용하여 이미지를 레이블링하고 어노테이션하는 방법 및 장치{METHOD AND APPARATUS FOR IMAGE LABELING AND IMAGE ANNOTATION USING MEUTI-DEPTH IMAGE}

본 발명은 멀티 뎁스 이미지를 활용하는 방법에 관한 것으로서, 더욱 구체적으로는 멀티 뎁스 이미지에 포함된 이미지들 간의 연관 관계를 이용하여 이미지들을 레이블링하고 어노테이션하는 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

정보 통신 및 반도체 기술의 발전으로 사용자들은 인터넷을 통해 다양한 콘텐츠에 접근하거나 다양한 콘텐츠들을 자신의 전자 장치(예컨대, 스마트폰이나 PC)에 저장하고 사용할 수 있다.

다만, 콘텐츠의 양은 방대한 반면, 방대한 양의 콘텐츠들이 산발적으로 흩어져 있어 서로 관련성이 높은 콘텐츠를 일괄적으로 손쉽게 찾고 확인하기는 어렵다.

하나의 예시로서, 전자 장치를 이용하여 이미지 파일을 열었을 때 이미지 파일의 특정 부분에 대한 자세한 정보 또는 확대된 이미지가 요구될 수 있다. 예를 들어 자동차 이미지의 경우, 헤드라이트, 바퀴 등과 같은 특정 부분에 대한 보다 자세한 이미지가 요구될 수 있다. 이 경우, 사용자는 관련 이미지들을 새로이 찾아야 하는 번거로움이 있다.

이러한 문제를 해결하기 위하여, 본 출원인은 기본이 되는 하나의 이미지(이하, '메인 이미지')에 추가적인 정보를 제공하는 다른 이미지(이하, '삽입 이미지')의 삽입이 가능한 새로운 포맷의 이미지(이하, '멀티 뎁스 이미지') 및 그 생성 방법에 대한 발명을 한국 특허 제10-1501028호(2015.03.04 등록)로 등록 받은 바 있다.

동 문헌은 멀티 뎁스 이미지의 정의와, 멀티 뎁스 이미지의 생성 및 편집을 위한 사용자 인터페이스를 개시하고 있다. 본 발명은 동 발명의 후속 발명으로서, 멀티 뎁스 이미지에 포함된 이미지들 간의 연관 관계를 이용하여 계층형 이미지 데이터 베이스를 구축하기 위한 다양한 방법들을 제공하고자 한다.

본 발명의 일 실시예는, 멀티 뎁스 이미지에 포함된 이미지들 간의 연관 관계를 이용하여 이미지들을 레이블링하고 어노테이션하는 방법 및 장치를 제공하는 데 주된 목적이 있다.

본 발명의 일 실시예에 의하면, 메인 이미지 내에 하나 이상의 이미지들이 트리 구조로 삽입된 멀티 뎁스(multi depth) 이미지를 이용한 이미지 어노테이션(annotation) 방법으로서, 상기 멀티 뎁스 이미지를 구성하는 제1이미지들에 부여된 태그들을 이용하여, 상기 제1이미지들을 레이블링(labeling)하는 단계 - 상기 제1이미지들은 상기 트리 구조에서 같은 경로에 위치하는 하나 이상의 다른 이미지들 및 대상 이미지를 포함함 -; 상기 대상 이미지의 레이블에 대응되는 하나 이상의 이미지들을 이미지 데이터 베이스로부터 수집하는 단계; 상기 수집된 이미지들에 기반하여, 상기 대상 이미지 내 하나 이상의 대상 객체를 상기 대상 이미지에 어노테이션하는 단계; 및 상기 어노테이션된 대상 객체에 대한 정보 및 상기 대상 이미지의 상위 노드 이미지 내에서 상기 대상 이미지가 삽입된 위치를 이용하여, 상기 상위 노드 이미지를 어노테이션하는 단계를 포함하는 것을 특징으로 하는 방법을 제공한다.

본 발명의 다른 일 실시예에 의하면, 메인 이미지 내에 하나 이상의 이미지들이 트리 구조로 삽입된 멀티 뎁스(multi depth) 이미지를 획득하는 단계; 및 상기 멀티 뎁스 이미지를 구성하는 제1이미지들에 부여된 태그들을 이용하여, 상기 제1이미지들을 레이블링(labeling)하는 단계를 포함하고 - 상기 제1이미지들은 상기 트리 구조에서 같은 경로에 위치하는 하나 이상의 다른 이미지들 및 대상 이미지를 포함함 -, 상기 레이블링하는 단계는,

상기 다른 이미지들 및 상기 대상 이미지가 위치하는 상기 트리 구조 내 레이어에 따라, 상기 다른 이미지들의 레이블을 상기 대상 이미지에 더 레이블링하는 것을 특징으로 하는 방법을 제공한다.

이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 멀티 뎁스 이미지를 구성하는 이미지들 간의 연관관계가 이미지들에 레이블링되므로, 더욱 확장된 범위의 이미지 검색을 제공할 수 있으며 계층형 이미지 데이터베이스를 구축할 수 있다.

또한, 본 발명의 다른 일 실시예에 의하면, 멀티 뎁스 이미지를 구성하는 이미지들 간의 연관관계에 따라 이미지 어노테이션이 수행되므로, 더욱 정확한 이미지 어노테이션이 구현될 수 있다.

도 1은 멀티 뎁스 이미지의 트리 구조를 설명하기 위한 예시도이다.
도 2는 제1모드로 이미지를 삽입하는 예를 설명하기 위한 예시도이다.
도 3은 제2모드로 이미지를 삽입하는 예를 설명하기 위한 예시도이다.
도 4는 본 실시예를 구현하기 위한 전자 장치의 구성을 나타내는 예시도이다.
도 5는 전자 장치의 동작을 설명하기 위한 순서도이다.
도 6은 사용자 조작에 따른 멀티 뎁스 이미지 생성을 설명하기 위한 예시도이다.
도 7은 멀티 뎁스 이미지에서의 개체 간 전환을 설명하기 위한 일 예시도이다.
도 8은 멀티 뎁스 이미지에서의 개체 간 전환을 설명하기 위한 또 다른 예시도이다.
도 9는 멀티 뎁스 이미지 내 이미지들을 레이블링하는 방법의 일 예를 설명하기 위한 순서도이다.
도 10a 내지 도 10c는 멀티 뎁스 이미지 내 이미지들을 레이블링하는 방법의 일 예를 설명하기 위한 예시도이다.
도 11은 멀티 뎁스 이미지 내 이미지들을 어노테이션하는 방법의 일 예를 설명하기 위한 순서도이다.
도 12a 및 도 12b는 멀티 뎁스 이미지 내 이미지들의 레이블링 방법에 따라 이미지 데이터 베이스로부터 관련된 이미지들을 선별하는 방법의 예들을 설명하기 위한 순서도이다.
도 13a 및 도 13b는 멀티 뎁스 이미지 내 이미지들을 어노테이션하는 방법의 일 예를 설명하기 위한 예시도이다.
도 14는 대상 객체가 중복되는 이미지들을 어노테이션하는 방법의 일 예를 설명하기 위한 순서도이다.
도 15a 및 도 15b는 대상 객체가 중복되는 이미지들을 어노테이션하는 방법의 일 예를 설명하기 위한 예시도이다.
도 16은 멀티 뎁스 이미지 내 이미지들을 어노테이션하는 방법의 다른 예를 설명하기 위한 예시도이다.
도 17은 멀티 뎁스 이미지 내 이미지들을 어노테이션하는 방법의 또 다른 예를 설명하기 위한 예시도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

멀티 뎁스 이미지는 어느 하나의 이미지에 다른 이미지를 삽입하는 과정을 계층적으로 반복함으로써 복수의 이미지가 트리 구조로 형성된 이미지를 의미한다. 멀티 뎁스 이미지는 하나의 메인 이미지와 복수 개의 서브 이미지들로 구성될 수 있다. 멀티 뎁스 이미지의 복수 개의 이미지들은 세부 주제(specific subject)나 문맥(context) 등을 고려하여 계층화된 후 노드들을 구성함으로써 하나의 트리 구조를 형성할 수 있다. 이 때, 메인 이미지는 트리 구조의 루트 노드를 형성하고, 서브 이미지들은 하위 노드들을 형성한다.

도 1은 자동차를 주제로 하는 멀티 뎁스 이미지의 트리 구조를 예시적으로 나타낸다.

자동차의 전체 외관을 나타내는 메인 이미지는 루트 노드(깊이(심도, depth) 0)에 해당한다. 메인 이미지에 자동차의 구성 부품인 헤드라이트 및 바퀴에 관한 이미지가 서브 이미지로서 삽입되어 깊이 1의 노드들을 구성한다. 헤드라이트의 구성 부품인 전구 및 반사경에 관한 이미지들은 헤드라이트 이미지에 서브 이미지로서 삽입되어 깊이 2의 노드들을 구성한다. 또한, 바퀴의 구성 부품인 타이어 및 타이어 휠에 관한 이미지들은 바퀴 이미지에 서브 이미지로서 삽입되어 깊이 2의 노드들을 구성한다.

결과적으로, 자동차 노드 아래에 헤드라이트 노드 및 바퀴 노드가 위치하고, 헤드라이트 노드 아래에 전구 노드 및 반사경 노드가 위치하며, 바퀴 노드 아래에 타이어 노드 및 타이어휠 노드가 위치한다. 그리고, 이와 같은 방식으로, 본 실시예에서 복수의 서브 이미지들은 서로 트리 구조로 연결되어 부모 노드의 이미지에 자식 노드의 이미지가 삽입된다.

멀티 뎁스 이미지는 도 1에 예시된 부모 노드의 개체에 자식 노드의 개체가 트리 구조에서 삽입된 형태의 이미지 포맷이다. 즉, 트리 구조로 연결된 복수의 이미지들이 단일의 이미지 파일을 형성한다. 부모 노드의 개체에 자식 노드의 개체가 삽입될 때, 삽입되는 개체는 일반적으로 이미지이며, 그 이미지는 2차원 또는 3차원일 수 있다. 그러나, 이미지 외에도 동영상, 텍스트, 음성, 다른 파일에 대한 링크, 인터넷 주소 링크, 북마크, 360 영상, 3D 오브젝트 등 다양한 개체가 자식 노드의 개체로서 부모 노드의 개체에 삽입될 수 있다. 이하, 멀티 뎁스 이미지의 각 노드에 삽입되는 개체가 이미지인 것을 전제로 본 실시예를 설명하기로 한다. 다만, 이는 설명의 편의를 위한 것일 뿐, 본 발명을 한정하는 것은 아니라는 점에 유의하여야 한다.

한편, 멀티 뎁스 이미지의 트리 구조에서, 각 노드에는 멀티미디어 콘텐츠가 추가적으로 매핑될 수 있다. 여기서, 멀티미디어 콘텐츠는 각 노드에 삽입된 이미지와 관련된 디지털 콘텐츠로서, 텍스트, 비디오, 오디오 등 다양한 유형의 개체들을 포함할 수 있다. 예컨대, 도 1의 트리 구조에서, 헤드라이트 노드에는 제조사, 휘도, 수명 등의 스펙 정보를 나타내는 텍스트가 매핑될 수 있다. 타이어 휠 노드에는 재질, 제조방식 등의 스펙 정보를 나타내는 텍스트가 매핑될 수 있다. 또한, 타이어 휠 노드에는 자동차 주행 중 타이어 휠의 모습을 나타내는 동영상이 추가 매핑될 수 있다.

본 실시예는 멀티 뎁스 이미지를 생성하는 방법으로서 두 가지 모드를 포함한다.

제1모드는 부모 노드 이미지 내의 특정 위치에 자식 노드 이미지를 삽입하는 모드이다. 제1모드에서는, 부모 노드 이미지와 자식 노드 이미지 간의 연결 관계를 나타내는 노드 속성, 및 부모 노드 이미지 내에서 자식 노드 이미지가 삽입되는 위치를 나타내는 좌표 속성을 포함하는 속성 정보가 정의된다. 속성 정보는 부모 노드 이미지 및 자식 노드 이미지와 함께 저장된다.

도 2는 제1모드로 이미지를 삽입하는 일 예를 나타내는 예시도이다. 도 2를 참조하면, 자동차에 대한 멀티 뎁스 이미지(200)는 자동차 이미지(210), 헤드라이트 이미지(220), 전구 이미지(221), 반사경 이미지(222), 바퀴 이미지(230), 타이어휠 이미지(231) 및 타이어 이미지(232)를 포함할 수 있다.

사용자는 전자 장치의 디스플레이부에 표시된 자동차 이미지(210) 내의 헤드라이트 위치에 헤드라이트 이미지(220, 헤드라이트의 디테일 이미지)를 삽입할 수 있다. 예를 들어, 사용자는 터치 또는 클릭 등의 방식으로 헤드라이트 이미지(220)를 선택하고, 선택한 헤드라이트 이미지(220)를 자동차 이미지(210) 내의 삽입하고자 하는 위치에 드래그하여 헤드라이트 이미지(220)를 해당 위치에 삽입할 수 있다.

헤드라이트 이미지(220)가 삽입되면, 자동차 이미지(210)에는 헤드라이트 위치에 다른 이미지가 삽입되어 있음을 나타내기 위한 제1마커(예컨대, 도 2에서 '⊙')가 표시된다. 사용자는 자동차 이미지(210)에 표시된 제1마커(⊙)를 선택하여 그 위치에 삽입된 헤드라이트 이미지(220)를 전자 장치의 디스플레이부를 통해 볼 수 있다.

한편, 사용자는 헤드라이트 이미지(220)가 디스플레이부에 표시된 상태에서 헤드라이트 이미지(220)의 전구 위치에 전구에 대한 디테일 이미지(전구 이미지, 221)을 삽입할 수 있다. 헤드라이트 이미지(220) 내에서 전구 이미지(221)가 삽입된 위치에는 이미지가 삽입되어 있음을 나타내기 위한 제1마커('⊙')가 표시된다.

이러한 방식으로, 전자 장치는 사용자의 조작에 따라 부모 노드 이미지의 특정 위치에 자식 노드 이미지를 삽입하여 트리 구조 형태의 멀티 뎁스 이미지를 생성할 수 있다. 또한, 전자 장치는 부모 노드 이미지 내에 표시된 마커('⊙')를 클릭 또는 터치하는 입력이 수신되면 마커가 표시된 위치에 삽입된 자식 노드 이미지를 표시한다.

이상에서 설명한 제1모드는 자동차와 헤드라이트와 같이 종속 관계에 있는 두 이미지 또는 상위 개념과 하위 개념의 관계에 있는 두 이미지 간의 삽입 관계를 정의할 때 유용하다. 그러나, 두 이미지 간에 이러한 종속 관계가 성립하지 않을 수도 있다. 예컨대, 시간에 따른 변화를 나타내는 사진, before/after 비교 사진, 내부/외부 비교 사진 등과 같이, 종속 관계보다 대등한 관계로 연관된 두 개의 이미지는 어느 한 이미지의 특정 위치에 다른 이미지를 삽입하는 것이 자연스럽지 않다.

예를 들어, 도 2에서 헤드라이트 이미지(220)가 헤드라이트가 꺼진 상태의 사진이라면, 사용자는 헤드라이트가 켜진 상태의 사진을 헤드라이트가 꺼진 상태의 사진과 추가로 더 연관시키고자 할 수 있다. 헤드라이트가 켜진 상태의 사진을 꺼진 상태의 이미지 내의 특정 위치에 삽입하는 것은 부자연스럽다.

본 개시가 기술하는 또 다른 모드인 제2모드는 부모 노드 이미지 내의 특정 위치를 지정함이 없이 자식 노드 이미지를 부모 노드 이미지에 삽입하는 모드이다. 즉, 자식 노드 이미지는 부모 노드 이미지와 대등한 관계로 부모 노드 이미지에 삽입된다. 제2모드에서는 부모 노드 이미지와 자식 노드 이미지 간의 연결 관계를 나타내는 노드 속성만이 정의되며, 부모 노드 이미지 내에서 자식 노드 이미지가 삽입되는 위치를 나타내는 좌표 속성은 정의되지 않는다. 노드 속성은 부모 노드 이미지 및 자식 노드 이미지와 함께 저장된다.

부모 노드 이미지에는 개체가 제2모드로 삽입되었음을 나타내는 제2마커가 표시된다. 제2마커는, 부모 노드 이미지 내의 특정 위치에 제1모드로 개체를 삽입하는 데에 방해되지 않도록, 제1개체의 가장자리 부분에 표시될 수 있다. 예컨대, 도 3에서 보는 바와 같이, 제2마커는 부모 노드 이미지의 일측 모서리에 페이지가 접힌 형태의 마커(310)일 수 있다.

이상에서 설명한 제1모드와 제2모드를 사용하여 멀티 뎁스 이미지를 구성하는 방법은 프로그램으로 구현되고 그 프로그램을 판독할 수 있는 전자 장치에 의해 실행될 수 있다.

전자 장치는 프로그램을 실행시켜 일부 노드에서는 제1모드로 이미지를 삽입하고 다른 노드에서는 제2모드로 이미지를 삽입함으로써 트리 구조의 멀티 뎁스 이미지를 생성할 수 있다. 또는, 전자 장치는 하나의 노드에 해당하는 이미지에 제1모드와 제2모드를 이용하여 복수 개의 이미지를 삽입할 수도 있다.

제1모드 또는 제2모드 중 적어도 하나 이상의 모드로 계층적으로 삽입된 복수의 이미지들은 이미지들 간의 관계를 정의하는 속성 정보와 함께 하나의 파일로 생성되어, 트리 구조로 이루어진 멀티 뎁스 이미지가 생성된다.

제1모드로 연관된 부모 노드와 자식 노드 간을 정의하는 속성 정보는 부모 노드와 자식 노드를 정의하는 노드 속성과 부모 노드 이미지 내의 특정 위치를 지시하는 좌표 속성을 포함한다. 반면, 제2모드로 연관된 부모 노드와 자식 노드 간을 정의하는 속성 정보는 좌표 속성 없이 노드 속성만을 포함한다.

도 4는 본 개시의 기술을 구현하기 위한 전자 장치의 예시도이다. 전자 장치는 메모리(410), 입력부(420), 프로세서(430), 디스플레이부(440), 이미지 데이터베이스(450) 및 통신부(460)를 포함할 수 있다.

메모리(410)는 제1모드 및 제2모드로 멀티 뎁스 이미지를 생성하거나 뷰잉(viewing)하기 위한 프로그램을 저장한다. 또한, 메모리(410)는 이미지 어노테이션(annotation)을 위한 하나 이상의 프로그램과 이미지 레이블링(labeling)을 위한 하나 이상의 프로그램을 저장한다.

입력부(420)는 사용자의 입력을 수신하기 위한 수단으로서, 키패드, 마우스 등일 수 있다. 입력부(420)는 디스플레이부(440)와 일체로 구현되는 터치 스크린일 수도 있다.

프로세서(430)는 입력부(420)로부터 입력되는 사용자 입력을 수신하고 메모리(410)에 저장된 프로그램의 실행 코드들을 판독하여 멀티 뎁스 이미지를 생성하는 기능 또는 뷰잉하는 기능을 실행한다. 또한, 프로세서(430)는 메모리(410)에 저장된 프로그램의 실행 코드들을 판독하여 멀티 뎁스 이미지를 구성하는 이미지들에 대한 이미지 어노테이션 기능을 실행한다. 나아가, 프로세서(430)는 메모리(410)에 저장된 프로그램의 실행 코드들을 판독하여 멀티 뎁스 이미지를 구성하는 이미지들에 대한 이미지 레이블링 기능을 실행한다.

디스플레이부(440)는 프로세서(430)에 의한 실행 결과를 사용자가 확인할 수 있도록 표시한다. 또는, 입력부(430)가 터치 스크린으로 구현되는 경우, 디스플레이부(440)는 사용자 입력을 입력하기 위한 소프트 버튼을 표시할 수 있다.

이미지 데이터베이스(450)는 생성된 멀티 뎁스 이미지를 저장한다. 또한, 이미지 데이터베이스(450)는 이미지 레이블링 기능이 적용된 이미지들을 저장하고, 이미지 어노테이션 기능이 적용된 이미지들을 저장한다. 이미지 레이블링 기능과 이미지 어노테이션 기능은 멀티 뎁스 이미지를 구성하는 이미지들 간의 연관 관계에 따라 구현되므로, 이미지 레이블링 기능이 적용된 이미지들 및 이미지 어노테이션 기능이 적용된 이미지들이 저장되는 이미지 데이터베이스(450)는 계층형 구조의 이미지 데이터베이스일 수 있다. 이미지 데이터베이스(450)는 도 4에 표현된 바와 같이 메모리(410)와 구분되는 구성으로 구현되거나, 메모리(410)와 같은 구성으로 구현될 수도 있다.

통신부(460)는 외부와의 유무선 통신을 수행하기 위한 수단으로서, 통신부(460)를 통해 멀티 뎁스 이미지가 획득될 수 있다.

상기의 프로그램이 실행될 때의 프로세서의 동작을 도 5를 참조하여 설명한다.

프로세서(430)는 입력부(420)를 통해 입력된 사용자 조작에 따라 부모 노드에 해당하는 제1개체와 자식 노드에 해당하는 제2개체를 결정한다(S502). 여기서, 제1개체는 좌표 정보를 가지는 2차원 또는 3차원 이미지이다. 제2개체는 이미지일 수도 있고, 또는 오디오 또는 비디오 등의 멀티미디어 데이터일 수도 있다.

사용자는 전자 장치의 메모리(410)에 저장된 이미지들 또는 전자 장치에 구비된 카메라로 촬영한 사진들을 이용하여 부모 노드와 자식 노드에 해당하는 제1개체 및 제2개체를 선택할 수 있다. 하나의 예시로서, 사용자는 입력부(420)를 조작하여 개체들을 층(layer) 단위로 구분하여 쌓을 수 있다. 프로세서(430)는 상위 층의 개체를 자식 노드로 결정하고, 그 상위 층 바로 아래의 층의 개체를 부모 노드로 결정할 수 있다. 가장 아래에 놓인 층은 루트 노드에 해당하는 메인 이미지로 사용된다.

프로세서(430)는 제1개체 내에 제2개체를 삽입하기 위한 사용자 명령(사용자 입력)이 수신되면(S504), 사용자 입력이 제1 사용자 입력인지, 아니면 제2 사용자 입력인지 여부를 판단한다(S506). 제1 사용자 입력은 제1개체와 제2개체를 연결하는 노드 속성 및 제2개체의 제1개체 내 위치를 나타내는 좌표 속성을 포함한다. 제2 사용자 입력은 좌표 속성 없이 노드 속성을 포함한다(S506).

수신한 입력이 제1 사용자 입력이면, 프로세서(430)는 제1모드를 실행한다(S508). 즉, 제1개체 내에서 좌표 속성에 의해 지시되는 위치에 제2개체를 삽입한다. 제1 사용자 입력은 제1개체 내에 특정 위치를 할당하는 사용자 조작으로부터 생성된다. 예컨대, 사용자가 제2개체를 드래그하여 디스플레이부(440)에 표시된 제1개체 내의 특정 위치에 할당하면 프로세서(430)는 제1개체 내의 특정 위치에 제2개체를 삽입한다.

도 6을 참조하여 보다 구체적으로 설명한다. 사용자에 의해 제1개체(A)와 제2개체(B)가 선택된 후, 제2개체(B)가 화면에 표시된 상태에서 사용자가 제2개체(B)를 일정 시간 이상 누르면(도 6의 (a)), 제2개체(B)가 포인터화되고 화면에는 제1개체(A)가 표시된다(도 6의 (b)).

사용자는 포인터화된 제2개체(B)를 제1개체(A) 상에서 이동시키면서 제2개체(B)를 삽입할 위치를 선택할 수 있다. 제2개체(B)를 이동시키는 사용자 조작에 따라, 프로세서(430)는 제2개체(B)의 이동 방향의 역방향으로 제1개체(A)를 이동시킨다. 도 6의 (c)를 참조하면, 사용자가 제2개체(B)를 좌상단 방향으로 이동시키는 조작에 반응하여 프로세서(430)는 제1개체(A)를 우하단 방향으로 이동시킨다. 이는 제1개체(A) 상에서 제2개체(B)의 빠른 이동을 가능하게 한다. 또한, 제1개체(A)의 가장자리 부분에 제2개체(B)을 위치시키는 것이 가능하게 함으로써, 제2개체(B)를 제1개체(A)의 가장자리 부분에 삽입하는 것을 용이하게 한다.

사용자가 제2개체(B)를 제1개체(A) 내의 특정 위치에 할당하면 프로세서(430)는 그 특정 위치에 제2 개체(B)를 삽입한다. 제1모드에 의해 제2개체가 제1개체의 특정 위치에 삽입되면, 프로세서(430)는 제1개체와 제2개체 간의 노드 연결 관계를 정의하는 노드 속성 및 제1개체 내에서 그 특정 위치를 지시하는 좌표 속성을 제1개체 및 제2개체와 함께 메모리(410)에 저장한다. 다른 개체가 삽입되었다는 것을 사용자가 식별할 수 있도록, 제1개체 내에서 제2개체가 삽입된 위치에는 제1마커(예컨대, 도 2의 '⊙')가 표시된다. 사용자가 디스플레이부(440)에 표시된 제1개체 상의 제1마커를 선택하면, 프로세서(430)는 제1마커의 위치에 삽입된 제2개체를 디스플레이부(440)에 표시한다.

한편, 수신한 입력이 제2 사용자 입력이면, 프로세서(430)는 제2모드를 실행한다(S510). 즉, 제1개체 내의 위치를 지정함 없이 제2개체를 제1개체에 삽입한다. 제2 사용자 입력은 제1개체 내에 위치를 할당하지 않는 사용자 조작으로부터 생성된다. 예컨대, 제2사용자 입력은 디스플레이부(440)에 표시된 제1개체의 외부 영역에 제2개체를 할당하는 사용자 조작으로부터 생성될 수 있다. 도 6을 참조하면, 사용자는 제2개체(B)를 드래그하여 제1개체의 외부 영역에 제2개체를 위치시킬 수 있다(도 6의 (d)). 제1개체의 외부 영역에 제2개체가 할당되면, 프로세서(430)는 제2 사용자 입력을 생성하고 제2 사용자 입력에 따라 제1개체 내의 특정 위치를 지정함 없이 제2개체를 제1개체에 제2모드로 삽입한다.

대안적으로, 제2 사용자 입력은 전자 장치에 구비된 물리적 버튼으로서 제2모드에 할당된 버튼을 누르는 조작을 통해 생성될 수도 있다. 또는, 제2 사용자 입력은 전자 장치의 디스플레이부(440)에 표시되는 소프트 버튼(soft button) 또는 영역을 선택하는 사용자 조작에 의해 생성될 수도 있다. 그 소프트 버튼 또는 영역은 제1개체의 외부에 표시될 수도 있고 제1개체의 내부에 표시될 수도 있다. 소프트 버튼 또는 영역이 제1개체의 내부에 표시되도록 구현되는 경우, 소프트 버튼 또는 영역을 선택하는 사용자 조작은 제1개체의 좌표 속성을 할당하지 않아야 한다.

제2 사용자 입력에 포함된 노드 속성은 제1개체 및 제2개체와 함께 메모리(410)에 저장된다. 제1개체의 일측 모서리에는 제2개체가 제2모드로 삽입되었음을 나타내는 제2마커(예컨대, 도 3의 310)가 표시될 수 있다. 사용자가 디스플레이부(440)에 표시된 제1개체 상의 제2마커를 선택하면, 프로세서(430)는 제2개체를 디스플레이부(440)에 표시한다.

제1개체에 제2모드로 삽입할 제2개체는 복수 개 선택될 수도 있다. 예컨대, 사용자가 A 개체, B 개체, C 개체, D 개체 순서로 복수 개의 제2개체를 선택한 이후에 선택한 제2개체들을 일괄적으로 제1개체에 제2모드로 삽입하기 위한 제2 사용자 입력을 입력하면, 프로세서(430)는 제2모드로 제2개체들을 순차적이고 계층적으로 삽입한다. 여기서, '제2모드로 순차적/계층적으로 삽입한다' 함은 제1개체, A 개체, B 개체, C 개체, D 개체의 순서로 각 개체가 바로 직전 개체에 제2모드로 삽입됨을 의미한다. 즉, 제2개체들 중 첫 번째 A 개체는 제1개체에 제2모드로 삽입되고, 제2개체들 중 두 번째 B 개체는 첫 번째 A 개체에 제2모드로 삽입되며, 세 번째 C 개체는 두 번째 B 개체에 제2모드로 삽입된다. 그리고 네 번째 D 개체는 C 개체에 제2 모드로 삽입된다.

한편, 메모리(410)에 저장된 프로그램은 제1개체 내에 제2모드로 삽입된 제2개체를 사용자에게 보여주기 위한 사용자 직관적인 기능을 포함한다. 전술한 바와 같이, 제2모드는 시간에 따른 변화를 나타내는 사진, before/after 비교 사진, 내부/외부 비교 사진들 간을 연관시키는 경우에 특히 유용한다. 이에 본 실시예는 제1개체와 제2개체 간을 서로 비교하면서 볼 수 있는 뷰잉 기능을 제공한다.

제2모드로 연관된 제1개체와 제2개체 중 어느 하나가 디스플레이부(440)에 표시되어 있다. 이 상태에서 사용자가 방향성을 가지는 제스처를 입력하면, 프로세서(440)는 입력된 제스처의 방향 및 이동 길이에 따라 제1개체와 제2개체 간을 전환(transition)시켜 표시하되, 제스처의 이동 길이에 따라 제1개체와 제2개체 간의 전환을 점진적으로 수행한다. 다시 말해, 제1개체와 제2개체 간의 전환의 정도가 제스처의 이동 길이에 따라 다르다.

방향성을 가지는 제스처를 입력하는 방법은 다양할 수 있다. 제1개체가 표시된 상태에서 좌에서 우로 터치를 이동시키는 제스처를 입력 받으면 디스플레이부(440)에 표시된 제1개체가 점진적으로 제2개체로 전환된다. 그리고, 제2개체가 표시된 상태에서 우에서 좌로 터치를 이동하는 제스처를 입력 받으면 디스플레이부(440)에 표시된 제2개체가 점진적으로 제1개체로 전환된다. 대안적으로, 전자 장치의 소프트 버튼 또는 물리적 버튼이 눌리는 시간 또는 횟수에 비례하여 방향성을 가지는 제스처가 입력될 수도 있다. 예컨대, 방향키의 종류에 따라 제스처의 방향이 결정되고 방향키를 지속적으로 누르는 시간에 따라 제스처의 이동 길이가 결정될 수 있다. 제1개체가 표시된 상태에서 사용자가 “-->” 방향키를 누르는 경우 “-->” 방향키를 지속적으로 누르는 시간에 비례하여 디스플레이부(440)에 표시된 제1개체가 점진적으로 제2개체로 전환될 수 있다.

전환의 정도는 투명도일 수 있다. 도 7을 참조하면, 프로세서(430)는 제스처의 이동 길이에 따라 제1개체와 제2개체의 투명도를 점진적으로 조절하고 제1개체와 제2개체를 중첩하여 디스플레이부(440)에 표시할 수 있다. 제스처 입력이 중단되면(예컨대, 터치 해제), 디스플레이부(440)에 중첩되어 표시된 제1개체와 제2개체 중에서 투명도가 낮은 개체를 선택하여 디스플레이부(440)에 표시한다. 대안적으로, 제스처가 중단된 시점에서 투명도로 제1개체와 제2개체를 서로 중첩해서 표시할 수도 있다.

또 다른 예시로서, 전환의 정도는 제1개체 대비 제2개체가 디스플레이부(440)의 화면에 표시되는 비율일 수 있다. 제1개체가 표시된 상태에서 제스처가 입력되면, 제스처의 이동 길이에 비례하는 비율만큼 제1개체의 일부 영역이 화면에서 사라진다. 그리고 그 비율에 해당하는 제2개체의 일부 영역이 제1개체가 사라진 화면 내의 영역에 표시된다. 예컨대, 도 8의 (a)를 참조하면, 터치를 좌에서 우로 드래그하면 드래그하는 길이에 따라 제1개체가 우측으로 점진적으로 밀리고, 제1개체가 밀린 화면의 영역에 제2개체가 점진적으로 나타난다. 또는, 도 8의 (b)에서 보는 바와 같이, 터치를 좌에서 우로 드래그하는 길이에 비례하는 비율만큼 제1개체의 왼쪽 부분이 접히고 그 비율에 해당하는 제2개체의 왼쪽 일부 영역이 제1개체가 접힌 화면의 영역에 나타날 수도 있다.

본 실시예의 응용으로서 복수의 이미지로 구성된 이미지 그룹을 제2개체로서 제1개체에 삽입할 수도 있다. 앞에서 설명한 제2개체를 복수 개로 선택하여 복수 개의 제2개체를 제2모드로 제1개체에 순차적/계층적으로 삽입하는 예시는 선택된 개체 각각이 하나의 개체로서 인식되는 경우이다. 즉, 그 예시는 복수의 개체를 한번에 제2모드로 제1개체에 삽입하는 것이다. 반면, 여기서 설명하는 본 실시예의 응용은 복수의 이미지로 구성된 이미지 그룹이 하나의 개체로서 취급된다. 연사 모드로 촬영된 사진들이나 동영상과 같이 일정 시간 간격으로 촬영된 이미지들의 그룹이 이에 해당한다. 또는, 사용자가 복수의 이미지들을 선택한 이후에 이를 하나의 이미지 그룹으로 묶어 단일의 개체로 설정한 경우도 본 실시예의 응용에 해당한다.

제2개체가 복수의 이미지로 구성된 이미지 그룹인 경우, 하나의 예시로서, 제2개체는 제1개체에 제1모드로 삽입될 수 있다. 사용자가 제2개체를 선택하고 선택한 제2개체를 디스플레이부(440)에 표시된 제1개체 내의 특정 위치에 할당하는 방식 등으로 제1 사용자 입력을 입력하면, 프로세서(430)는 제2개체에 포함된 복수의 이미지 중 하나의 이미지(예: 첫 번째 이미지)를 제1개체의 특정 위치에 삽입한다. 그리고 복수의 이미지들 중 나머지 이미지들을 제2모드로 그 하나의 이미지(첫 번째 이미지)에 삽입한다.

제1개체의 특정 위치에 제2개체가 삽입되었으므로 제1개체의 특정 위치에는 제1마커(예컨대, 도 2의 '⊙')가 표시된다. 사용자가 제1마커를 선택하면, 프로세서(430)는 제1개체의 그 특정 위치에 삽입된 제2개체 중 첫 번째 이미지를 디스플레이부(440)에 표시한다. 디스플레이부(440)에 표시된 첫 번째 이미지에는 그 복수의 이미지 중 나머지 이미지들이 제2모드로 삽입되어 있으므로, 그 첫 번째 이미지의 일측 모서리에는 제2마커(예컨대, 도 2의 310)가 표시되어 있다. 사용자가 제2마커를 선택하면, 프로세서(430)는 그 복수의 이미지들을 재생한다. 즉, 그 복수의 이미지들 중 나머지 이미지들을 순차적으로 디스플레이부(440)에 표시함으로써, 복수의 이미지들을 재생한다.

다른 예시로서, 복수의 이미지로 구성된 이미지 그룹인 제2개체는 제2모드로 제1개체에 삽입될 수 있다. 사용자는 제2개체를 제2모드로 제1개체에 삽입하기 위한 제2 사용자 입력을 입력한다. 예컨대, 제2 사용자 입력은, 전술한 바와 같이, 사용자가 제2개체를 제1개체의 외부 영역에 할당하는 방식 등을 통해 입력될 수 있다. 프로세서(430)는 제1개체 내의 특정 위치를 지정함 없이 제2개체를 제1 개체에 삽입한다.

제1개체에 제2개체가 제2모드로 삽입되었으므로, 제1개체의 일측 모서리에는 제2마커가 표시된다. 사용자가 제2마커를 선택하면, 프로세서(430)는 제2개체에 포함된 복수의 이미지들을 순차적으로 디스플레이부(440)에 표시한다.

한편, 사용자는 방향성을 가지는 제스처 입력을 통해 제1개체에 제1모드 또는 제2모드로 삽입된 제2개체를 재생할 수 있다. 제2개체에 포함된 복수의 이미지들 중 어느 하나가 디스플레이부(440)에 표시된 상태에서, 사용자로부터 방향성을 가지는 제스처를 수신하면, 프로세서(440)는 그 제스처의 방향에 따라 현재 표시된 이미지를 기준으로 순방향 또는 역방향으로 순차적으로 이미지들을 재생한다. 재생되는 속도는 제스처의 속도에 의해 결정된다. 제스처가 중단되면, 프로세서(440)는 복수의 이미지들 중 제스처 중단 시점에 표시된 이미지를 디스플레이부(440)에 표시한다. 사용자는 제스처 중단 시점에 표시된 이미지에 다른 개체를 제1모드 또는 제2모드로 삽입할 수 있다. 즉, 제스처 입력을 통한 제2개체 재생 방식은 하나의 이미지 그룹으로 묶인 복수의 이미지 중 임의의 이미지를 선택하여 그 선택한 이미지에 다른 개체를 제1모드 또는 제2모드로 삽입하는 기능을 제공한다.

이하에서는 이미지 레이블링 방법에 대해 설명한다. 도 9는 이미지 레이블링 방법의 일 예를 설명하기 위한 순서도이며, 도 10a 내지 도 10c는 이미지 레이블링 방법의 일 예를 설명하기 위한 예시도이다.

프로세서(430)는 메인 이미지 내에 하나 이상의 이미지들이 트리 구조로 삽입된 멀티 뎁스 이미지를 획득한다(S902).

메모리(410) 또는 이미지 데이터베이스(450)에 미리 저장된 멀티 뎁스 이미지에 대해 이미지 레이블링 기능을 적용하는 경우에는 멀티 뎁스 이미지가 메모리(410) 또는 이미지 데이터베이스(450)로부터 획득될 수 있다. 외부로부터 수신되는 멀티 뎁스 이미지에 대해 이미지 레이블링 기능을 적용하는 경우에는 외부로부터 수신되는 멀티 뎁스 이미지가 통신부(460)를 통해 획득될 수 있다.

멀티 뎁스 이미지를 구성하는 이미지들(제1이미지들)에는 하나 이상의 태그들이 부여될 수 있다. 태그는 제1이미지들 각각을 설명하기 위한 텍스트 형태를 가질 수 있으며, 제1이미지들 각각에 제1모드 또는 제2모드로 삽입될 수 있다. 실시형태에 따라, 태그는 제1이미지들 각각에 매핑될 수도 있다.

프로세서(430)는 제1이미지들 각각에 부여된 태그들을 이용하여 제1이미지들을 레이블링한다(S904).

도 10a의 예를 참조하면, 멀티 뎁스 이미지(1000)는 메인 이미지에 해당하는 저녁 산 이미지(1010), 메인 이미지에 삽입된 서브 이미지에 해당하는 하늘 이미지(1020), 나무 이미지(1030) 및 부엉이 이미지(1032)를 포함할 수 있다. 저녁 산 이미지(1010)는 깊이 0(레이어 0)에 해당하고, 하늘 이미지(1020)와 나무 이미지(1030)는 깊이 1(레이어 1)에 해당하며, 부엉이 이미지(1032)는 깊이 2(레이어 2)에 해당한다.

저녁 산 이미지(1010)에는 “저녁 산” 태그가 부여되어 있으며, 하늘 이미지(1020)에는 “하늘” 태그가 부여되어 있다. 또한, 나무 이미지(1030)에는 “나무” 태그가 부여되어 있으며, 부엉이 이미지(1032)에는 “부엉이” 태그가 부여되어 있다.

이와 같은 예에서, 프로세서(430)는 저녁 산 이미지(1010)에 “저녁 산” 태그를 레이블링하고(# 저녁 산), 하늘 이미지(1020)에 “하늘” 태그를 레이블링(# 하늘)할 수 있다. 또한, 프로세서(430)는 나무 이미지(1030)에 “나무” 태그를 레이블링(# 나무)하고, 부엉이 이미지(1032)에 “부엉이” 태그를 레이블링(# 부엉이)할 수 있다.

실시형태에 따라, 프로세서(430)는 하나 이상의 다른 이미지들 및 대상 이미지가 위치하는 트리 구조 내 레이어에 따라, 다른 이미지들의 레이블을 대상 이미지에 더 레이블링할 수도 있다(S905).

대상 이미지는 제1이미지들 중에서 레이블링의 대상에 해당하는 어느 하나의 이미지를 의미한다. 다른 이미지는 멀티 뎁스 이미지의 트리 구조에서 대상 이미지와 같은 경로(줄기)에 위치하는 하나 이상의 이미지들을 의미한다. 따라서, 다른 이미지와 대상 이미지는 부모 이미지와 자식 이미지 간의 관계를 가질 수 있다. 도 10a의 예에서, 하늘 이미지(1020)가 대상 이미지인 경우, 부모 이미지에 해당하는 저녁 산 이미지(1010)가 다른 이미지가 된다. 부엉이 이미지(1032)가 대상 이미지인 경우, 부모 이미지에 해당하는 저녁 산 이미지(1010) 및 나무 이미지(1030)가 다른 이미지가 된다.

프로세서(430)는 대상 이미지보다 상위 레이어에 위치하는 다른 이미지의 레이블을 대상 이미지에 더 레이블링할 수 있다.

도 10b의 예에서, 부엉이 이미지(1032)가 대상 이미지라고 가정하면, 상위 레이어에 위치하는 나무 이미지(1030)의 레이블인 “# 나무”와, 상위 레이어에 위치하는 저녁 산 이미지(1010)의 레이블인 “# 저녁 산”이 부엉이 이미지(1032)에 더 레이블링될 수 있다. 하늘 이미지(1020)가 대상 이미지라고 가정하면, 상위 레이어에 위치하는 저녁 산 이미지(1010)의 레이블인 “# 저녁 산”이 하늘 이미지(1020)에 더 레이블링될 수 있다.

이 경우, 대상 이미지에 더 레이블링되는 다른 이미지의 레이블들 각각은 트리 구조에서 위치하는 레이어에 따라 대상 이미지에 순차적으로 레이블링될 수 있다. 예를 들어, 저녁 산 이미지(1010)가 가장 상위 레이어에 위치하므로 “저녁 산” 레이블이 부엉이 이미지(1032)에 가장 상위로(첫 번째로) 레이블링되고, “나무” 레이블이 그 다음 순위로 부엉이 이미지(1032) 레이블링되며, “부엉이” 레이블이 가장 낮은 순위(마지막)에 위치하게 된다. 다른 예로, 저녁 산 이미지(1010)가 가장 상위 레이어에 위치하므로 “저녁 산” 레이블이 하늘 이미지(1020)에 가장 상위로 레이블링되고, “하늘” 레이블이 가장 낮은 순위에 위치하게 된다.

프로세서(430)는 대상 이미지보다 하위 레이어에 위치하는 다른 이미지의 레이블을 대상 이미지에 더 레이블링할 수 있다.

도 10c의 예에서, 나무 이미지(1030)가 대상 이미지인 경우에는 하위 레이어에 위치하는 부엉이 이미지(1032)의 레이블인 “# 부엉이”가 나무 이미지(1030)에 더 레이블링되고, 저녁 산 이미지(1010)가 대상 이미지인 경우에는 하위 레이어에 위치하는 나무 이미지(1030) 및 부엉이 이미지(1032) 각각의 레이블인 “# 나무” 및 “# 부엉이”가 저녁 산 이미지(1010)에 더 레이블링된다. 또한, 저녁 산 이미지(1010)와 하늘 이미지(1020)가 구성하는 경로에서는, 하위 레이어에 위치하는 하늘 이미지(1020)의 레이어인 “# 하늘”이 저녁 산 이미지(1010)에 더 레이블링된다.

이 경우에도, 앞서 설명된 바와 같이, 대상 이미지에 더 레이블링되는 다른 이미지의 레이블들 각각은 트리 구조에서 위치하는 레이어에 따라 대상 이미지에 순차적으로 레이블링될 수 있다.

대상 이미지보다 상위 레이어 또는 하위 레이어에 위치하는 다른 이미지의 레이블을 대상 이미지에 더 레이블링하는 과정은, “다른 이미지의 레이블 또는 태그를 대상 이미지에 계승하는 과정”일 수 있다. 계승되는 레이블은 제1이미지들 간의 연관 관계를 나타낼 수 있다. 예를 들어, 부엉이 이미지(1032)에 “나무” 레이블이 계승된 경우, 해당 부엉이 이미지(1032)는 “부엉이”를 표현하는 이미지로 해석될 수 있을 뿐만 아니라, “나무에 자리하는 부엉이”로 해석될 수 있다. 또한, 부엉이 이미지(1032)에 “저녁 산” 레이블이 더 계승된 경우에, 해당 부엉이 이미지(1032)는 “저녁 산에 존재하는 나무에 자리하는 부엉이”로 그 의미가 확장될 수 있다.

프로세서(430)는 레이블링된 제1이미지들을 이미지 데이터베이스(450)에 저장할 수 있다(S906). 레이블링된 제1이미지들이 이미지 데이터베이스(450)에 저장되는 경우, 이미지 데이터베이스(450)는 제1이미지들 간에 연관 관계가 레이블을 이용하여 표현된 계층형 이미지 데이터베이스가 될 수 있다.

계층형 이미지 데이터베이스는 제1이미지들 간의 연관 관계를 이용하여 더욱 확장된 범위의 실용적인 검색 데이터베이스로 활용될 수 있다. 예를 들어, 이용자가 “나무에 자리하는 부엉이”를 검색하고자 하는 경우, 이미지들 간의 연관 관계를 고려하지 않는 종래 데이터베이스는 이용자가 원하는 검색 결과를 제공할 수 없으나, 계층형 이미지 데이터베이스는 부엉이 이미지(1032), 나무 이미지(1030) 및 저녁 산 이미지(1010)에 레이블링된 레이블들을 이용하여 이용자가 원하는 검색 결과를 제공할 수 있다.

또한, 계층형 이미지 데이터베이스는 제1이미지들 간의 연관 관계를 이용하여 더욱 정확한 이미지 어노테이션 기능을 구현하기 위해 활용될 수도 있다.

이하에서는 제1이미지들 간의 연관 관계를 이용한 이미지 어노테이션 방법에 대해 설명한다. 도 11은 이미지 어노테이션 방법의 일 예를 설명하기 위한 순서도이며, 도 12a 및 도 12b는 이미지 어노테이션을 위해 이미지 데이터 베이스로부터 관련된 이미지들을 선별하는 방법의 예들을 설명하기 위한 순서도이다. 도 13a 및 도 13b는 이미지 어노테이션 방법의 일 예를 설명하기 위한 예시도이다.

프로세서(430)는 제1이미지들 각각에 부여된 태그들을 이용하여 제1이미지들을 레이블링한다(S1102).

도 12a에 나타낸 바와 같이, 프로세서(430)는 하나 이상의 다른 이미지들 및 대상 이미지가 위치하는 트리 구조 내 레이어에 따라, 다른 이미지들의 레이블을 대상 이미지에 더 레이블링할 수도 있다(S1202). 즉, 프로세서(430)는 대상 이미지보다 하위 레이어에 위치하는 다른 이미지의 레이블을 대상 이미지에 더 레이블링하거나, 대상 이미지보다 상위 레이어에 위치하는 다른 이미지의 레이블을 대상 이미지에 더 레이블링할 수 있다.

프로세서(430)는 대상 이미지의 레이블에 대응되는 하나 이상의 이미지들을 이미지 데이터베이스(460)로부터 수집한다(S1104).

다른 이미지들의 레이블이 대상 이미지에 더 레이블링된 경우에, 대상 이미지에 레이블링된 레이블들 중에는 다른 이미지로부터 계승된 레이블과 대상 이미지의 태그에 해당하는 레이블이 존재할 수 있다. 이 경우, 프로세서(430)는 대상 이미지에 레이블링된 레이블들 중에서, 대상 객체의 레이블을 선별할 수 있다(S1204).

대상 객체는 대상 이미지에 표현된 객체들 중에서 검색의 대상이 되는 객체를 의미할 수 있다. 도 10b의 예를 참조하면, 부엉이 이미지(1032)에는 부엉이들이 표현되어 있으며, 이 부엉이들이 대상 객체에 해당한다. 이 경우, 부엉이 이미지(1032)에 레이블링된 “# 저녁 산” 레이블, “# 나무” 레이블 및 “# 부엉이” 레이블 중에서 “# 부엉이” 레이블이 대상 객체의 레이블로 선별된다. 도 10c의 예를 참조하면, 나무 이미지(1030)에는 나무들이 표현되어 있으며, 이 나무들이 대상 객체에 해당한다. 이 경우, 나무 이미지(1030)에 레이블링된 “# 나무” 레이블 및 “# 부엉이” 레이블 중에서 “# 나무” 레이블이 대상 객체의 레이블로 선별된다.

대상 이미지에는 레이블들이 트리 구조 내 레이어의 위치에 따라 순차적으로 레이블링되므로, 다른 이미지들이 대상 이미지보다 상위 레이어에 위치하는 경우(S1208)에는 최하위로 레이블링된 레이블이 대상 이미지(대상 객체)의 고유한 레이블에 해당한다. 이 경우, 프로세서(430)는 대상 이미지(도 10b의 부엉이 이미지)에 레이블링된 레이블들(“# 저녁 산” 레이블, “# 나무” 레이블 및 “# 부엉이” 레이블) 중에서 최하위로 레이블링된 레이블(“# 부엉이” 레이블)을 대상 객체의 레이블로 선별한다(S1212).

이와 달리, 다른 이미지들이 대상 이미지보다 하위 레이어에 위치하는 경우(S1208)에는 최상위로 레이블링된 레이블이 대상 이미지(대상 객체)의 고유한 레이블에 해당한다. 이 경우, 프로세서(430)는 대상 이미지(도 10c의 나무 이미지)에 레이블링된 레이블들(“# 나무” 레이블 및 “# 부엉이” 레이블) 중에서 최상위로 레이블링된 레이블(“# 나무” 레이블)을 대상 객체의 레이블로 선별한다(S1210).

프로세서(430)는 선별된 레이블에 대응되는 하나 이상의 이미지들(수집된 이미지들)을 이미지 데이터베이스(460)로부터 수집할 수 있다(S1208).

예를 들어, 대상 이미지가 부엉이 이미지(1032)인 경우에, “# 부엉이” 레이블이 대상 객체의 레이블로 선별되며, “# 부엉이” 레이블에 대응되는 이미지들(부엉이가 표현된 이미지들)(도 13a의 1310)이 이미지 데이터베이스(460)로부터 수집될 수 있다.

프로세서(430)는 수집된 이미지들(1310)에 기반하여 대상 이미지에 표현된 대상 객체를 대상 이미지에 어노테이션한다(S1106).

대상 객체를 대상 이미지에 어노테이션하는 과정은 대상 이미지로부터 대상 객체를 추출하는 것에 해당할 수 있다. 즉, 대상 객체를 대상 이미지에 어노테이션하는 과정은 객체 인식 알고리즘 또는 객체 추출 알고리즘을 이용하여 대상 이미지로부터 대상 객체를 추출하는 것에 해당할 수 있다. 이하에서는, 대상 객체를 대상 이미지에 어노테이션하는 과정을 “1차 어노테이션 과정”으로 지칭하도록 한다.

도 13a를 참조하면, 대상 이미지가 부엉이 이미지(1032)인 경우에(도 13a의 (b)), 부엉이가 표현된 이미지들(1310)이 이미지 데이터베이스(460)로부터 수집되며(도 13a의 (a)), 대상 객체인 부엉이(1320)가 부엉이 이미지(1032)로부터 어노테이션될 수 있다.

프로세서(430)는 상위 노드 이미지를 어노테이션한다(S1108). 상위 노드 이미지를 어노테이션하는 과정은 1차 어노테이션을 통해 추출된 대상 객체 대상 객체(1320)의 상위 노드 이미지 내 위치를 이 상위 노드 이미지에 표시 또는 표현하는 것이다. 이하에서는, 상위 노드 이미지를 어노테이션하는 과정을 “2차 어노테이션 과정”으로 지칭하도록 한다.

2차 어노테이션에는 대상 객체에 대한 정보 및, 대상 이미지가 상위 노드 이미지에 삽입된 위치가 이용된다.

대상 객체에 대한 정보는 1차 어노테이션된 대상 객체 또는 1차 어노테이션된 대상 객체의 레이블일 수 있다. 예를 들어, 도 13a에서 대상 이미지인 부엉이 이미지(1032)에 대한 1차 어노테이션 과정을 통해 부엉이 이미지(1032)로부터 추출된 부엉이(1320) 또는 “# 부엉이”가 대상 객체에 대한 정보에 해당할 수 있다.

대상 이미지가 상위 노드 이미지에 삽입된 위치는 대상 이미지와 상위 노드 이미지 간의 좌표 속성에 해당한다. 예를 들어, 도 10a에서, 대상 이미지인 부엉이 이미지(1032)가 상위 이미지인 나무 이미지(1030)에 삽입된 위치(좌표 속성)가 좌표 속성에 해당한다. 이 경우, 도 13b의 예시와 같이, 프로세서(430)는 상위 노드 이미지인 나무 이미지(1030) 내 대상 이미지인 부엉이 이미지(1032)가 삽입된 위치에 대상 객체인 부엉이(1320)를 어노테이션하여, 2차 어노테이션 과정을 수행할 수 있다.

한편, 대상 이미지를 1차 어노테이션한 결과, 1차 어노테이션된 대상 객체가 복수 개이며, 복수 개의 대상 객체들 중에서 일부가 상위 이미지에 표현된 객체와 중복될 수 있다.

예를 들어, 도 15a의 예시와 같이, 상위 노드 이미지인 나무 이미지(1030)는 1차 어노테이션 과정을 통해 나무가 객체로 어노테이션되며, 대상 이미지(1032)는 1차 어노테이션 과정을 통해 나무 및 부엉이가 대상 객체로 어노테이션될 수 있다.

이와 같은 경우, 프로세서(430)는 대상 이미지의 대상 객체들(나무 및 부엉이) 중에서 중복되지 않는 대상 객체(부엉이)만을 상위 이미지인 나무 이미지(1030)에 2차 어노테이션할 수도 있고(도 15b의 (a)), 대상 객체들 모두(나무 및 부엉이)를 상위 이미지인 나무 이미지(1030)에 2차 어노테이션할 수도 있다(도 15b의 (b)).

이하에서는 도 15b의 (a)에서 예시된 방법인 대상 객체들 중에서 상위 노드 이미지의 객체와 중복되지 않는 대상 객체만을 상위 이미지에 2차 어노테이션하는 방법에 대해 설명한다.

프로세서(430)는 대상 이미지에 1차 어노테이션된 대상 객체가 복수 개인지 여부를 판단한다(S1402).

대상 이미지에 1차 어노테이션된 대상 객체가 하나인 경우, 프로세서(430)는 앞서 설명된 바와 같이 해당 대상 객체를 상위 노드 이미지에 어노테이션 한다(S1408). 이와 달리, 대상 이미지에 1차 어노테이션된 대상 객체가 복수 개인 경우에는 아래의 과정들이 수행될 수 있다.

프로세서(430)는 복수 개의 대상 객체들과 상위 노드 이미지에 1차 어노테이션된 객체를 서로 비교하여, 중복되는 대상 객체 또는 중복되지 않는(대상 이미지에만 어노테이션된 대상 객체)를 선별한다(S1404). 또한, 프로세서(430)는 대상 이미지에만 어노테이션된 대상 객체를 상위 노드에 어노테이션하여 2차 어노테이션 과정을 수행할 수 있다(S1406).

만약, 복수 개의 대상 객체들 모두가 상위 노드 이미지의 객체와 중복되지 않는 경우에는 복수 개의 대상 객체들 모두가 상위 노드 이미지에 2차 어노테이션될 수 있다.

1차 어노테이션과 관련하여, 대상 객체뿐만 아니라 하나 이상의 다른 객체들이 대상 이미지에 표현되어 있는 경우에, 이 다른 객체들이 대상 객체를 인식하는 과정(1차 어노테이션 과정)의 노이즈로 작용할 수 있다. 예를 들어, 대상 이미지에 나무(다른 객체)와 부엉이(대상 객체)가 표현되어 있고 나무와 부엉이 간의 거리가 매우 짧거나 나무의 형상이 부엉이 형상의 일부를 가리는 경우에는, 나무가 부엉이를 인식하는 과정의 노이즈로 작용할 수 있다. 이와 같은 경우에는, 1차 어노테이션 과정에서 대상 객체에 해당하는 부엉이가 정확하게 인식되지 않을 수 있다.

본 발명은 대상 객체가 정확하게 인식되지 않는 문제를 해결하기 위해 1) 대상 이미지 내에 대상 객체가 위치할 가능성이 높은 위치를 미리 결정하고, 해당 위치를 중심으로 대상 객체를 인식하는 방법과, 2) 대상 이미지의 하위 노드 이미지 또는 상위 노드 이미지에서 인식된(1차 어노테이션된) 객체들을 이용하여 노이즈에 해당하는 다른 객체들을 제거 또는 삭제(clean out)하는 방법을 제안한다.

방법 1)에서, 프로세서(430)는 대상 객체가 대상 이미지에 어노테이션되었는지 여부(대상 객체가 정확하게 인식되었는지 여부)를 판단한다. 대상 객체가 정확하게 인식된 경우에는 2차 어노테이션 과정이 바로 수행되지만, 대상 객체가 정확하게 인식되지 않은 경우에는 아래의 과정들이 수행된 후에 2차 어노테이션 과정이 수행된다.

프로세서(430)는 대상 객체가 대상 이미지 내에서 위치할 가능성이 높은 위치(대상 객체의 위치)를 중심으로 다시 1차 어노테이션 과정을 수행할 수 있다. 여기서, 대상 객체의 위치는 미리 설정될 수 있다. 예를 들어, i) 대상 객체의 위치는 상위 노드 이미지의 대상 객체(상위 객체)가 상위 노드 이미지 내에 자리하는 위치에 따라 미리 설정될 수 있다. 다른 예로, ii) 대상 객체의 위치는 하위 노드 이미지의 대상 객체(하위 객체)가 하위 노드 이미지 내에 자리하는 위치에 따라 미리 설정될 수 있다. i)과 ii)는 멀티 뎁스 이미지를 생성한 유저의 촬영에 대한 습관을 고려하여 대상 객체의 위치를 추정하는 방법이라 할 수 있다. 다른 예로, iii) 대상 객체의 위치는 대상 이미지의 중심 위치로 설정될 수도 있다.

방법 2)에 대한 일 예가 도 16에 나타나 있다. 방법 2)에서, 프로세서(430)는 대상 객체가 대상 이미지에 어노테이션되었는지 여부(대상 객체가 정확하게 인식되었는지 여부)를 판단한다(S1602). 대상 객체가 정확하게 인식된 경우에는 2차 어노테이션 과정(S1608)이 바로 수행되지만, 대상 객체가 정확하게 인식되지 않은 경우에는 아래의 과정들이 수행된 후에 2차 어노테이션 과정(S1608)이 수행된다.

프로세서(430)는 상위 객체 및/또는 하위 객체를 이용하여 대상 이미지 내 하나 이상의 다른 객체들(대상 이미지에 표현된 객체들 중에서 대상 객체 제외)을 제거 또는 삭제할 수 있다(S1604). 구체적으로, 프로세서(430)는 상위 객체 또는 하위 객체의 형상 또는 특징에 대응되는 객체를 대상 이미지 내에 표현된 다른 객체들로부터 검색하고, 검색된 다른 객체(상위 객체 또는 하위 객체의 형상 또는 특징에 대응되는 다른 객체)를 대상 이미지로부터 제외할 수 있다. 이와 같이, 노이즈에 해당하는 다른 객체들을 대상 이미지로부터 제거함으로써, 대상 객체 인식에 대한 정확성이 향상될 수 있다.

S1604 과정이 수행된 후에, 프로세서(430)는 대상 객체를 다른 객체들이 제거된 대상 이미지에 다시 1차 어노테이션할 수 있다(S1606).

한편, 대상 이미지에는 태그가 부여되지 않거나, 태그가 부여되어 있다고 하더라도 대상 객체를 정확하게 표현하지는 못하는 태그들만이 부여될 수도 있다. 즉, 대상 이미지에는 대상 객체에 대한 태그가 부여되지 않을 수도 있다. 이러한 경우, 레이블링 과정에서, 대상 객체를 정확하게 표현하는 레이블이 대상 이미지에 레이블링되지 않을 수 있다. 즉, 대상 이미지의 하나 이상의 레이블들 중에서 대상 객체에 대한 레이블이 존재하지 않을 수 있다.

본 발명은 대상 이미지의 레이블들 중에서 대상 객체에 대한 레이블이 존재하지 않을 수 있는 문제점을 해결하기 위해, 1차 어노테이션된 결과를 기반으로 추가적인 레이블링을 수행하는 방법을 제안한다.

도 17을 참조하면, 프로세서(430)는 대상 객체에 대한 레이블이 대상 이미지에 레이블링된 레이블에 포함되는지 여부를 판단한다(S1702). 대상 객체에 대한 레이블이 대상 이미지의 레이블에 포함된 경우에는 2차 어노테이션 과정(S1706)이 바로 수행되지만, 대상 객체에 대한 레이블이 대상 이미지의 레이블에 포함되지 않은 경우에는 아래의 과정이 수행된 후에 2차 어노테이션 과정(S1706)이 수행된다.

프로세서(430)는 대상 객체에 대한 레이블을 대상 이미지에 (더) 레이블링한다(S1704). 대상 객체에 대한 레이블은 1) 이미지 데이터베이스(450)로부터 수집된 이미지들의 레이블 또는 태그에 기반하여 획득되거나, 2) 상위 노드 이미지 또는 하위 노드 이미지의 레이블에 기반하여 획득될 수 있다.

도 5, 도 9, 도 11, 도 12a, 도 12b, 도 14, 도 16 및 도 17에서는 각 과정들이 순차적으로 실행되는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5, 도 9, 도 11, 도 12a, 도 12b, 도 14, 도 16 및 도 17에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다. 따라서, 도 5, 도 9, 도 11, 도 12a, 도 12b, 도 14, 도 16 및 도 17은 시계열적인 순서로 한정되는 것은 아니다.

한편, 도 5, 도 9, 도 11, 도 12a, 도 12b, 도 14, 도 16 및 도 17에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는　기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 비일시적인(non-transitory) 매체일 수 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송) 및 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한 컴퓨터가 읽을 수 있는　기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

200, 1000: 멀티 뎁스 이미지 210: 자동차 전체 이미지
220: 헤드라이트 이미지 221: 전구 이미지
222: 반사경 이미지 230: 바퀴 이미지
231: 타이어휠 이미지 232: 타이어 이미지
310: 마커 1010: 저녁 산 이미지
1020: 하늘 이미지 1030: 나무 이미지
1032: 부엉이 이미지 1310: 수집된 이미지들

Claims (14)

1. 메인 이미지 내에 하나 이상의 이미지들이 트리 구조로 삽입된 멀티 뎁스(multi depth) 이미지를 이용한 이미지 어노테이션(annotation) 방법으로서,
   상기 멀티 뎁스 이미지를 구성하는 제1이미지들에 부여된 태그들을 이용하여, 상기 제1이미지들을 레이블링(labeling)하는 단계 - 상기 제1이미지들은 상기 트리 구조에서 같은 경로에 위치하는 하나 이상의 다른 이미지들 및 대상 이미지를 포함함 -;
   상기 대상 이미지의 레이블에 대응되는 하나 이상의 이미지들을 이미지 데이터 베이스로부터 수집하는 단계;
   상기 수집된 이미지들에 기반하여, 상기 대상 이미지 내 하나 이상의 대상 객체를 상기 대상 이미지에 어노테이션하는 단계; 및
   상기 어노테이션된 대상 객체에 대한 정보 및 상기 대상 이미지의 상위 노드 이미지 내에서 상기 대상 이미지가 삽입된 위치를 이용하여, 상기 상위 노드 이미지를 어노테이션하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 레이블링하는 단계는,
   상기 다른 이미지들 및 상기 대상 이미지가 위치하는 상기 트리 구조 내 레이어에 따라, 상기 다른 이미지들의 레이블을 상기 대상 이미지에 더 레이블링하고,
   상기 수집하는 단계는,
   상기 대상 이미지에 레이블링된 레이블들 중에서 상기 대상 객체의 레이블을 선별하는 단계; 및
   상기 선별된 대상 객체의 레이블에 대응되는 하나 이상의 이미지들을 상기 이미지 데이터 베이스로부터 수집하는 단계를 포함하는 것을 특징으로 하는 방법.
3. 제2항에 있어서,
   상기 다른 이미지들은,
   상기 트리 구조에서 상기 대상 이미지보다 상위 레이어에 위치하며,
   상기 선별하는 단계는,
   상기 대상 이미지에 레이블링된 레이블들 중에서 최하위로 레이블링된 레이블을 상기 대상 객체의 레이블로 선별하는 것을 특징으로 하는 방법.
4. 제2항에 있어서,
   상기 다른 이미지들은,
   상기 트리 구조에서 상기 대상 이미지보다 하위 레이어에 위치하며,
   상기 선별하는 단계는,
   상기 대상 이미지에 레이블링된 레이블들 중에서 최상위로 레이블링된 레이블을 상기 대상 객체의 레이블로 선별하는 것을 특징으로 하는 방법.
5. 제1항에 있어서,
   상기 상위 노드 이미지를 어노테이션하는 단계는,
   상기 대상 이미지에 어노테이션된 대상 객체가 복수 개인 경우에, 상기 상위 노드 이미지에 어노테이션된 객체와 상기 대상 이미지에 어노테이션된 대상 객체를 비교하는 단계; 및
   상기 대상 이미지에 어노테이션된 대상 객체 중에서 상기 대상 이미지에만 어노테이션된 대상 객체에 대한 정보 및 상기 대상 이미지가 삽입된 상기 상위 노드 이미지 내 위치를 이용하여, 상기 상위 노드 이미지를 어노테이션하는 단계를 포함하는 것을 특징으로 하는 방법.
6. 제1항에 있어서,
   상기 대상 이미지에 어노테이션하는 단계는,
   상기 대상 객체가 어노테이션되지 않는 경우에 상기 대상 이미지의 하위 노드 이미지에 어노테이션된 하나 이상의 하위 객체 또는 상기 상위 노드 이미지에 어노테이션된 하나 이상의 상위 객체를 이용하여, 상기 대상 이미지에 표현된 객체들 중에서 상기 대상 객체를 제외한 다른 객체들을 제거하는 단계; 및
   상기 대상 객체를 상기 다른 객체들이 제거된 대상 이미지에 어노테이션하는 단계를 포함하는 것을 특징으로 하는 방법.
7. 제1항에 있어서,
   상기 대상 이미지에 어노테이션하는 단계 후, 상기 대상 객체에 대한 레이블이 상기 대상 이미지의 레이블에 포함되지 않는 경우에 상기 대상 객체에 대한 레이블을 상기 대상 이미지에 레이블링하는 단계를 더 포함하는 것을 특징으로 하는 방법.
8. 제1항 내지 제7항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체.
9. 메인 이미지 내에 하나 이상의 이미지들이 트리 구조로 삽입된 멀티 뎁스(multi depth) 이미지를 이용한 이미지 어노테이션(annotation)을 위한 하나 이상의 프로그램이 기록된 메모리; 및
   상기 메모리에 기록된 프로그램을 실행하는 프로세서를 포함하고,
   상기 프로세서는,
   상기 멀티 뎁스 이미지를 구성하는 제1이미지들에 부여된 태그들을 이용하여, 상기 제1이미지들을 레이블링(labeling)하고 - 상기 제1이미지들은 상기 트리 구조에서 같은 경로에 위치하는 하나 이상의 다른 이미지들 및 대상 이미지를 포함함 -,
   상기 대상 이미지의 레이블에 대응되는 하나 이상의 이미지들을 이미지 데이터 베이스로부터 수집하며,
   상기 수집된 이미지들에 기반하여, 상기 대상 이미지 내 하나 이상의 대상 객체를 상기 대상 이미지에 어노테이션하고,
   상기 어노테이션된 대상 객체에 대한 정보 및 상기 대상 이미지의 상위 노드 이미지 내에서 상기 대상 이미지가 삽입된 위치를 이용하여, 상기 상위 노드 이미지를 어노테이션하는 것을 특징으로 하는 장치.
10. 메인 이미지 내에 하나 이상의 이미지들이 트리 구조로 삽입된 멀티 뎁스(multi depth) 이미지를 획득하는 단계; 및
    상기 멀티 뎁스 이미지를 구성하는 제1이미지들에 부여된 태그들을 이용하여, 상기 제1이미지들을 레이블링(labeling)하는 단계를 포함하고 - 상기 제1이미지들은 상기 트리 구조에서 같은 경로에 위치하는 하나 이상의 다른 이미지들 및 대상 이미지를 포함함 -,
    상기 레이블링하는 단계는,
    상기 다른 이미지들 및 상기 대상 이미지가 위치하는 상기 트리 구조 내 레이어에 따라, 상기 다른 이미지들의 레이블을 상기 대상 이미지에 더 레이블링하는 것을 특징으로 하는 방법.
11. 제10항에 있어서,
    상기 다른 이미지들은,
    상기 트리 구조에서 상기 대상 이미지보다 상위 레이어에 위치하는 것을 특징으로 하는 방법.
12. 제10항에 있어서,
    상기 다른 이미지들은,
    상기 트리 구조에서 상기 대상 이미지보다 하위 레이어에 위치하는 것을 특징으로 하는 방법.
13. 제10항 내지 제12항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체.
14. 메인 이미지 내에 하나 이상의 이미지들이 트리 구조로 삽입된 멀티 뎁스(multi depth) 이미지를 이용한 이미지 레이블링(labeling)을 위한 하나 이상의 프로그램이 기록된 메모리; 및
    상기 메모리에 기록된 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 멀티 뎁스 이미지를 획득하고,
    상기 멀티 뎁스 이미지를 구성하는 제1이미지들에 부여된 태그들을 이용하여, 상기 제1이미지들을 레이블링(labeling)하되 - 상기 제1이미지들은 상기 트리 구조에서 같은 경로에 위치하는 하나 이상의 다른 이미지들 및 대상 이미지를 포함함,
    상기 다른 이미지들 및 상기 대상 이미지가 위치하는 상기 트리 구조 내 레이어에 따라, 상기 다른 이미지들의 레이블을 상기 대상 이미지에 더 레이블링하는 것을 특징으로 하는 장치.

Images