KR100422805B1 - 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법 - Google Patents

자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법 Download PDF

Info

Publication number
KR100422805B1
KR100422805B1 KR10-2000-0082179A KR20000082179A KR100422805B1 KR 100422805 B1 KR100422805 B1 KR 100422805B1 KR 20000082179 A KR20000082179 A KR 20000082179A KR 100422805 B1 KR100422805 B1 KR 100422805B1
Authority
KR
South Korea
Prior art keywords
color
shape
natural language
image data
word
Prior art date
Application number
KR10-2000-0082179A
Other languages
English (en)
Other versions
KR20020053968A (ko
Inventor
박성희
김현진
박수준
장명길
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2000-0082179A priority Critical patent/KR100422805B1/ko
Priority to US10/025,912 priority patent/US20020081024A1/en
Publication of KR20020053968A publication Critical patent/KR20020053968A/ko
Application granted granted Critical
Publication of KR100422805B1 publication Critical patent/KR100422805B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 사람들이 가지고 있는 색상과 형태에 대한 퍼지(fuzzy)한 대표값을 자연어와 함께 등록하여, 사용자가 친숙한 자연어로 입력하면 질의어를 분석하여 검색하여 주는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 언어 처리용 사전 정보를 저장하고 있는 언어 처리용 사전 저장 수단; 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하고 있는 색상/형태 임계치 저장 수단; 사용자로부터 색상과 형태를 기술한 자연어 질의 문장을 입력받기 위한 질의문 입력 수단; 상기 질의문 입력 수단을 통하여 입력된 자연어 문장을 상기 언어 처리용 사전 저장 수단에 저장되어 있는 사전 정보를 이용하여 분석하기 위한 자연어 처리 수단; 상기 자연어 처리 수단에서 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하기 위한 색상/형태 단어 인식 수단; 색상과 관련된 단어와 색상 히스토그램값을 매핑하여 상기 색상/형태 임계치 저장 수단에 저장하고, 형태와 관련된 단어에 상당하는 에지 정보를 상기 색상/형태 임계치 저장 수단에 저장하기 위한 색상/형태 임계치 데이터베이스 구축 수단; 상기 색상/형태 단어 인식 수단에서 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 색상/형태 임계치 저장 수단에서 검색하기 위한 색상/형태 임계치 검색 수단; 및 상기 색상/형태 임계치 검색 수단에서 검색한 이미지 데이터를 상기 사용자에게 제공하기 위한 검색 결과 출력 수단을 포함한다.
4. 발명의 중요한 용도
본 발명은 이미지 데이터의 검색 등에 이용됨.

Description

자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법{Color and shape search method and apparatus of image data based on natural language with fuzzy concept}
본 발명은 기존의 이미지 데이터의 검색 방식인 색상과 형태 정보 검색 방식과 자연어 질의 방식을 혼합한 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로서, 더욱 상세하게는 사람들이 가지고 있는 색상과 형태에 대한 퍼지(fuzzy)한 대표값을 자연어와 함께 등록하여, 사용자가 친숙한 자연어로 입력하면 질의어를 분석하여 검색하여 주는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
현재 이미지 데이터를 검색하는 질의 방식에서는 색상과 형태 정보를 직접 입력하는 방식을 따르고 있다. 그래서, 사용자가 직접 검색을 원하는 색상에 대한 RGB(Red, Green, Blue)값을 숫자 형식으로 직접 입력하던지, 색상이 있는 팔레트에서 비슷한 색상을 고르는 질의 방식을 취하도록 하고 있다. 또한, 형태 정보(비슷한 에지 정보를 가진 이미지를 검색하는 방식)를 직접 이미지로 그리거나, 아니면 원하는 정보와 유사한 형태를 가진 그림을 직접 입력하는 질의 방식으로 검색하도록 하고 있다.
그러나, 상기와 같은 종래의 방법은, 데이터베이스로 확보해야 하는 어휘 정보(사전 정보)가 적다는 장점이 있으나, 이미지 데이터 검색 시스템의 입력으로 들어오는 질의문의 경우에 색상과 형태로 제한되어 있어서, 색상과 형태에 대한 각각의 수치들을 미리 대응시켜 두어야 하는 절차가 필요하다.
한편, 물론 몇몇 이미지 검색 시스템에서는 이러한 자연어 처리 기법을 응용하여 색상을 나타내는 어휘들을 이용한 질의 검색을 시도하고 있으나, 이는 시스템에서 지정한 한정된 어휘에 한해서만 가능하도록 하고 있다.
즉, 자연어로 검색하는 기술은 기존 정보검색에 많이 적용되어서 보편화되었지만, 이미지 정보검색은 주석정보(contents)를 바탕으로 한 검색에만 자연어 처리 기술을 적용하기 때문에 실제 칼라 검색이나 형태 검색의 경우에는 사용자가 친숙한 자연어로 된 검색이 불가능한 문제점이 있었다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 사람들이 가지고 있는 색상과 형태에 대한 퍼지(fuzzy)한 대표값을 자연어와 함께 등록하여, 사용자가 친숙한 자연어로 입력하면 질의어를 분석하여 검색하여 주는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치의 일실시예 구성도.
도 2 는 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 방법에 대한 일실시예 흐름도.
도 3 은 본 발명에 따른 데이터 흐름에 대한 일예시도.
* 도면의 주요 부분에 대한 부호의 설명
11 : 질의문 입력부 12 : 언어 처리용 사전 저장부
13 : 자연어 처리부 14 : 색상/형태 단어 인식부
15 : 색상/형태 임계치 데이터베이스
16 : 색상/형태 임계치 데이터베이스 구축부
17 : 색상/형태 임계치 데이터베이스 검색부
18 : 검색 결과 출력부
상기 목적을 달성하기 위한 본 발명의 장치는, 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치에 있어서, 언어 처리용 사전 정보를 저장하고 있는 언어 처리용 사전 저장 수단; 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하고 있는 색상/형태 임계치 저장 수단; 사용자로부터 색상과 형태를 기술한 자연어 질의 문장을 입력받기 위한 질의문 입력 수단; 상기 질의문 입력 수단을 통하여 입력된 자연어 문장을 상기 언어 처리용 사전 저장 수단에 저장되어 있는 사전 정보를 이용하여 분석하기 위한 자연어 처리 수단; 상기 자연어 처리 수단에서 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하기 위한 색상/형태 단어 인식 수단; 색상과 관련된 단어와 색상 히스토그램값을 매핑하여 상기 색상/형태 임계치 저장 수단에 저장하고, 형태와 관련된 단어에 상당하는 에지 정보를 상기 색상/형태 임계치 저장 수단에 저장하기 위한 색상/형태 임계치 데이터베이스 구축 수단; 상기 색상/형태 단어 인식 수단에서 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 색상/형태 임계치 저장 수단에서 검색하기 위한 색상/형태 임계치 검색 수단; 및 상기 색상/형태 임계치 검색 수단에서 검색한 이미지 데이터를 상기 사용자에게 제공하기 위한 검색 결과 출력 수단을 포함하는 것을 특징으로 한다.
한편, 본 발명의 방법은, 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치에 적용되는 이미지 데이터 색상 및 형태 검색 방법에 있어서, 언어 처리용 사전 정보를 저장하고, 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하는 제 1 단계; 사용자로부터 입력된 색상과 형태를 기술한 자연어 질의 문장을 상기 사전 정보를 이용하여 분석하는 제 2 단계; 상기 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하는 제 3 단계; 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 저장된 색상 히스토그램(histogram)값과 에지 정보에서 검색하는 제 4 단계; 및 상기 검색한 이미지 데이터를 상기 사용자에게 제공하는 제 5 단계를 포함하는 것을 특징으로 한다.
또한, 상기 본 발명의 방법은, 상기 검색시 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터가 없을 경우에, 상기 사용자로부터 상기 인식된 색상과 형태에 대한 임계치를 입력받아 저장하는 제 6 단계를 더 포함하는 것을 특징으로 한다.
한편, 본 발명은, 자연어를 이용하여 이미지 데이터 색상 및 형태를 검색하기 위하여, 프로세서를 구비한 이미지 데이터 색상 및 형태 검색 장치에, 언어 처리용 사전 정보를 저장하고, 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하는 제 1 기능; 사용자로부터 입력된 색상과 형태를 기술한 자연어 질의 문장을 상기 사전 정보를 이용하여 분석하는 제 2 기능; 상기 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하는 제 3 기능; 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 저장된 색상 히스토그램(histogram)값과 에지 정보에서 검색하는 제 4 기능; 및 상기 검색한 이미지 데이터를 상기 사용자에게 제공하는 제 5 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 상기 본 발명은, 상기 검색시 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터가 없을 경우에, 상기 사용자로부터 상기 인식된 색상과 형태에 대한 임계치를 입력받아 저장하는 제 6 기능을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이처럼 본 발명에서는, 사람들이 가지고 있는 색상과 형태에 대한 퍼지(fuzzy)한 대표값을 자연어와 함께 등록하여, 사용자가 친숙한 자연어로 질의어를 입력하면 그것을 분석한 후에, 검색하여 검색 결과를 제공한다. 즉, 종래의 색상과 형태를 직접 질의 방식으로 처리하던 방법에서 자연어 처리부를 한 번 더 거치게 함으로써, 사용자에게 더 친숙한 이미지 검색 인터페이스를 제공한다.
또한, 본 발명에서는 자연어로 입력되는 단순한 명사 형태의 질의어 뿐만 아니라, 색상과 형태를 복합으로 처리할 수 있도록 하기 위해, 수식문을 포함한 단문 형태로 확장할 수 있도록 한다.
예를 들어, "붉은 색의 산"이라는 문장을 처리하기 위해서는 "붉다"라는 단어에 대해서 먼저 수식어라는 단어의 구문적인 정보 추출과 색상을 나타내는 단어라는 것을 인식하는 자연어 처리와 함께 붉은 색을 나타내는 RGB값의 임계치를 데이터베이스로부터 가져와야 한다. 또한, "산"이라는 단어에 대해서는 형태 정보로 인식하고, "산"에 대한 에지 임계치를 색상과 같이 데이터베이스로부터 가져와서 검색을 원하는 색상과 형태를 가진 이미지 데이터를 검색한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치의 일실시예 구성도이다.
도 1 에 도시된 바와 같이, 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치는, 사용자가 검색하기를 원하는 색상과 형태를 기술한 자연어 질의 문장을 입력받기 위한 질의문 입력부(11), 언어 처리용 사전 정보를 저장하고 있는 언어 처리용 사전 저장부(12), 상기 질의문 입력부(11)를 통하여 입력된 자연어를 상기 언어 처리용 사전 저장부(12)에 저장되어 있는 사전 정보를 이용하여 분석하기 위한 자연어 처리부(13), 상기 자연어 처리부(13)에서 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하고 각각의 조건을 인식하는 색상/형태 단어 인식부(14), 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하고 있는 색상/형태 임계치 데이터베이스(15), 색상과 관련된 단어와 색상 히스토그램(histogram)값을 매핑(mapping)하여 상기 색상/형태 임계치 데이터베이스(15)에 저장하고, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 상기 색상/형태 임계치 데이터베이스(15)에 저장하기 위한 색상/형태 임계치 데이터베이스 구축부(16), 상기 색상/형태 단어 인식부(14)에서 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 색상/형태 임계치 데이터베이스(15)에서 검색하기 위한 색상/형태 임계치 데이터베이스 검색부(17) 및 색상/형태 임계치 데이터베이스 검색부(17)에서 검색한 이미지 데이터를 상기 사용자에게 제공하기 위한 검색 결과 출력부(18)를 포함한다.
이제, 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치의 중요 구성요소에 대하여 좀 더 상세히 살펴보면 다음과 같다.
먼저, 자연어 처리부(13)는 사용자가 검색하기를 원하는 색상과 형태를 기술한 질의 문장을 질의문 입력부(11)를 통하여 입력받아 자연어 분석을 하는 모듈로서, 입력 문장에 대하여 단어를 분리 분석하는 부분이다. 따라서, 자연어 처리부(13)는 크게 입력문을 어절 단위로 분리하는 어절 분리기(Tokenizer)와 어절 분리기에서 나온 출력 데이터에서 각 단어의 사전 정보를 검색하고 형태소적 정보를 찾아 내는 사전 검색기와 구문 형식을 파악하는 구문 분석기(Parser)를 포함한다.
그리고, 색상/형태 단어 인식부(14)는 상기 자연어 처리부(13)에서 나온 결과리스트를 입력받아 각 결과리스트 중에서 색상을 나타내는 단어와 형태를 나타내는 단어로 구별하여 인식하는 기능을 한다. 또한, 상기 구문 분석기에서 분석한 수식관계 및 기타 패턴을 활용하여 각각의 조건 등을 자동으로 인식하도록 한다.
그리고, 색상/형태 임계치 데이터베이스 구축 및 검색부(16,17)는 색상/형태 단어 인식부(14)에서 인식된 결과로 나온 색상과 형태에 대한 요구를 만족하는 데이터에 대해서 검색하고, 미리 이러한 색상과 형태에 대한 데이터를 저장하는 기능을 수행한다. 즉, 미리 사용자가 요구할 만한 정보에 대해서 각각의 임계치값을 저장하여 데이터베이스를 구축하고, 검색부를 통해서 검색한다.
이때, 색상(color) 질의에서는 기존 색상을 나타내는 단어와 색상 히스토그램(histogram)값을 매핑(mapping)하여 데이터베이스화하는 방식(예 : 초록, 푸른색, 붉은색 등)과 색상을 나타내지는 않더라도 개념적으로 색을 표현할 수 있는 어휘 또는 개념과 그 단어에 맞는 색상 히스토그램(histogram)값을 함께 저장하는 방식(예 : 단풍, 바다, 노을 등)을 사용한다. 또한, 형태(shape) 질의에서는 객관화될 수 있는 형체를 가진 어휘에 상당하는 에지 정보를 데이터베이스화하여 저장하는 방식을 사용한다.
그리고, 상기 색상 정보의 경우에는 기존 팔레트와 사용자 정의 팔레트 정보로 구별하여 기존 팔레트 정보를 이용하는 경우에는 256가지 색상에 대해서 각각의 어휘와 임계치를 매핑(Mapping)하여 데이터베이스로 구축하고, 사용자 팔레트 정보를 사용하는 경우에는 사용자가 직접 팔레트 판을 이용하여 색상을 지정한 후 거기에 해당하는 어휘를 입력받아 저장하여, 이후에는 그 어휘에 대해서도 검색이 자동으로 계속되도록 하는 기능을 제공한다.
그리고, 형태 정보의 경우에도 기존 유형과 사용자 정의 유형으로 구별하여 기존 유형에서는 일반적으로 이미지 검색 시스템에서 유형별 검색에 자주 등장하는 모형을 일반화하여 각각의 어휘와 에지 정보를 함께 데이터베이스화하고, 사용자 정의 유형에서는 사용자가 검색하기를 원하는 에지 정보를 직접 입력(그리기 또는 파일 로딩)하도록 하여 어휘와 함께 저장한다.이를 좀 더 상세히 살펴보면 다음과 같다.일반적으로 형태 정보를 어휘(용어)와 매칭하는 것은 색상 정보의 경우만큼 용이하지는 않다. 그 이유는 형태가 형체를 가진 객체의 자세(Pose)와, 영상 내에서의 위치(Position)와 크기에 따라 다르기 때문이다. 즉, 예를 들어 자동차라는 어휘를 형태로 매칭할 때, 어느 위치에서 보는 자동차를 "자동자" 어휘와 매칭시킬 것인가하는 문제가 생긴다. 앞면에서 보는 자동차를 대표 자동차로 볼 것인가? 옆면에서 보는 자동차를 대표 자동차로 볼 것인가? 또한, 이러한 자동차가 디지털 영상에서 어느 한 모서리에 작은 크기로 표현되었는가 또는 영상 전체에 큰 크기로 표현되었는가에 따라 형태를 표현한 에지 임계치에 대한 데이터베이스의 저장 값이 다를 것이다.이러한 문제를 해결하여 형태를 표현한 어휘와 형태 자체를 매칭시키는 방법은 다음과 같다. 객체를 보는 각도에 따른 형태의 변화에 대해서는 객체의 다양한 각도에서의 에지 분포를 하나의 객체에 해당하는 여러 개의 에지 성분의 임계치로 잡으면 해결이 가능하다. 예를 들어, 자동차의 경우에 자동차의 대표적인 위치에 따라 앞면, 측면, 후면 등에서 바라본 에지 성분들을 임계치 데이터베이스로 구축한 다음에 자동차라는 질의어가 들어왔을 때 자동차의 에지 임계치에서 앞면과 측면 및 후면 모두를 검색하여 어느 하나라도 검색 값이 높으면 앞면과 측면 및 후면 모두에 의해서 검색하여 그 결과를 출력하여 준다. 그리고, 자동차 종류에 따라서 다를 수도 있지만, 이 때는 승용차, 트럭, 버스 등과 같이 비슷한 종류의 자동차들끼리 모아 학습에 의한 방식으로 에지 성분을 저장한다.그리고, 이미지 내에서의 위치와 크기에 따른 어휘와의 매칭은 물체가 중앙에 와야 한다는 조건으로 한정하면 쉽게 구현할 수 있다. 그러나, 이러한 방식은 조건을 벗어나는 데이터를 검색할 수 없어 검색 정확도가 떨어지기 때문에, 객체 위치 파악(object detection) 기술을 이용하여 객체 위치를 파악하여 객체 부분을 추출한 후에, 그 객체 부분에 해당하는 에지 성분으로 데이터베이스를 구축한다.상기와 같은 형태 정보 매칭 기술에 대해서는 클립아트 프로토타입 시스템을 직접 구현하여 그 효용성을 확인하였다. 이러한 클립아트는 색상특징 표현보다는 형태특징 표현을 강조한 영상세트로서, 형태를 표현한 어휘를 통한 검색이 용이하다.그리고, 검색 결과 출력부(18)는 입력받은 질의문을 분석하여 검색한 결과인 이미지 데이터를 사용자에게 출력하여 준다.
도 2 는 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 방법에 대한 일실시예 흐름도로서, 사용자가 "아주 붉은 색"이라는 질의문을 입력한 경우를 예로 들어 설명하기로 한다.
먼저, 사용자가 "아주 붉은 색"과 같이 자연어로 된 질의문을 입력하면, 자연어 처리부(13)의 어휘 분석기에서는 [아주] [붉은] [색]의 세 어휘로 분리한다(21). 그러면, 사전 검색기가 언어 처리용 사전 저장부(12)를 통해서 [아주-(부사)] [붉-(형용사)+은-(관형형 어미)] [색-(색상을 통칭하는 명사)]을 검색하여 n개(n은 자연수)의 어절 후보 리스트를 생성한다(22). 이후, 상기 n개의 어절 후보에 대하여 색상/형태 정보를 검색하고 구문 관계를 설정하는 과정을 반복 수행한다(23 내지 27). 이때, 사전 검색기로부터 어절 후보 리스트를 입력으로 받은 구문 분석기에서는 상기 입력 문장에서 [아주]라는 부사가 [붉은]을 수식하고 [아주 붉은]이 [색]을 수식하는 상관 관계가 있음을 분석해 낸다.
상기와 같이 분석된 결과를 입력받은 색상/형태 단어 인식부(14)에서는 형용사와 명사 정보를 위주로 상기 단어들 중에 색상 또는 형태를 나타내는 단어를 인식한다(28).
이처럼, 형용사로 분석된 [붉다]의 경우와 [색]이라는 명사를 사전 정보를 통해서 색상을 나타내는 형용사와 색상을 일컫는 통칭이라는 정보로 인식해 내고, [아주]라는 부사는 색상의 경우에는 바로 뒤의 피수식어구를 강조하는 의미가 있음을 인식한다.
다음으로, 색상/형태 임계치 데이터베이스 검색부(17)에서는 [붉다]의 임계치 정보(색상 히스토그램 데이터)를 미리 구축해 둔 색상/형태 데이터베이스(15)를 검색하여, [아주]라는 수식어구를 처리하기 위해 앞에서 찾은 붉은 색상의 임계치에서 명도와 채도를 높인 수치로 전환해 준다(29).
이후, 검색 결과 출력부(18)에서는 검색한 이미지 데이터를 사용자에게 출력한다(30).
한편, 색상/형태 데이터베이스(15)를 검색한 결과, 찾고자 하는 색상 임계치 정보(색상 히스토그램 데이터)가 없으면 색상/형태 데이터를 사용자가 등록한 후에(31) 검색하도록 한다.
도 3 은 본 발명에 따른 데이터 흐름에 대한 일예시도이다.
도 3 에 도시된 바와 같이, "초록색 배경에 붉은 색 자동차가 있는 그림"이라는 문장이 입력되면, 어절 후보 리스트로는 {초록색}, {배경+에}, {붉+은}, {색}, {자동차+가}, {있+는}, {그림}이 생성된다.
그리고, 어절별 색상/형태 정보 검색 과정에서는 {초록색} : 초록(green)(색상(color)), {배경+에} : 배경(background)(팩터(factor)), {붉+은}{색} : 레드(red)(색상(color)), {자동차+가} : 자동차(car)(형태(shape)), {있+는} : 없음(none), {그림} : 그림(image)(팩터(factor)) 등으로 검색된다.
그리고, 구문 관계 설정 과정에서는 "초록색"이 "배경에"를 수식하고, "붉은"이 "색"을 수식하고, "붉은 색"이 "자동차가"를 수식하고, "초록색 배경에"와 "붉은 색 자동차가"가 "있는"을 수식하고, "초록색 배경에 붉은 색 자동차가 있는"이 "그림"을 수식한다.
그리고, 색상/형태 데이터베이스 검색 과정에서는 "초록색"과 "배경"을 색상 데이터베이스에서 검색하고, "붉은색"과 "자동차"를 색상 데이터베이스와 형태 데이터베이스에서 검색한다.
이후, 검색 결과를 사용자에게 제시한다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은, 사람들이 가지고 있는 색상과 형태에 대한 퍼지(fuzzy)한 대표값을 자연어와 함께 등록하여, 사용자가 친숙한 자연어로 질의어를 입력하면 질의어를 분석하여 검색하여 줌으로써, 기존의 색상 배합과 단순한 형태 정보만을 이용한 질의 방식을 개선시킬 수 있는 효과가 있다.
이처럼, 본 발명은 색상(color)과 형태(shape) 검색에 자연어 처리 기능을 부가함으로써, 사용자에게 친숙한 검색 인터페이스를 제공하여 사용자의 편리성을 크게 향상시킬 수 있는 효과가 있다.

Claims (8)

  1. 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치에 있어서,
    언어 처리용 사전 정보를 저장하고 있는 언어 처리용 사전 저장 수단;
    색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하고 있는 색상/형태 임계치 저장 수단;
    사용자로부터 색상과 형태를 기술한 자연어 질의 문장을 입력받기 위한 질의문 입력 수단;
    상기 질의문 입력 수단을 통하여 입력된 자연어 문장을 상기 언어 처리용 사전 저장 수단에 저장되어 있는 사전 정보를 이용하여 분석하기 위한 자연어 처리 수단;
    상기 자연어 처리 수단에서 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하기 위한 색상/형태 단어 인식 수단;
    색상과 관련된 단어와 색상 히스토그램값을 매핑하여 상기 색상/형태 임계치 저장 수단에 저장하고, 형태와 관련된 단어에 상당하는 에지 정보를 상기 색상/형태 임계치 저장 수단에 저장하기 위한 색상/형태 임계치 데이터베이스 구축 수단;
    상기 색상/형태 단어 인식 수단에서 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 색상/형태 임계치 저장 수단에서 검색하기 위한 색상/형태 임계치 검색 수단; 및
    상기 색상/형태 임계치 검색 수단에서 검색한 이미지 데이터를 상기 사용자에게 제공하기 위한 검색 결과 출력 수단
    을 포함하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치.
  2. 제 1 항에 있어서,
    상기 색상/형태 임계치 검색 수단에서 검색시 상기 색상/형태 단어 인식 수단에서 인식된 색상과 형태에 대한 요구를 만족하는 데이터가 없을 경우에, 상기 색상/형태 임계치 데이터베이스 구축 수단이 상기 사용자로부터 상기 인식된 색상과 형태에 대한 임계치를 입력받아 상기 색상/형태 임계치 저장 수단에 저장하는 것을 특징으로 하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 색상/형태 임계치 데이터베이스 구축 수단은,
    색상(color) 질의어에 대하여 기존 색상을 나타내는 단어와 색상 히스토그램(histogram)값을 매핑(mapping)하여 데이터베이스화하고, 색상을 나타내지는 않더라도 개념적으로 색을 표현할 수 있는 어휘 또는 개념과 그 단어에 맞는 색상 히스토그램(histogram)값을 함께 저장하며, 형태(shape) 질의어에 대하여 객관화될 수 있는 형태를 가진 어휘에 상당하는 에지 정보를 데이터베이스화하여 저장하는 것을 특징으로 하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치.
  4. 제 3 항에 있어서,
    상기 색상/형태 단어 인식 수단은,
    상기 자연어 처리 수단에서 분석한 수식관계 및 기타 패턴을 활용하여 각각의 조건을 자동으로 인식하는 것을 특징으로 하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치.
  5. 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치에 적용되는 이미지 데이터 색상 및 형태 검색 방법에 있어서,
    언어 처리용 사전 정보를 저장하고, 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하는 제 1 단계;
    사용자로부터 입력된 색상과 형태를 기술한 자연어 질의 문장을 상기 사전 정보를 이용하여 분석하는 제 2 단계;
    상기 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하는 제 3 단계;
    상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 저장된 색상 히스토그램(histogram)값과 에지 정보에서 검색하는 제 4 단계; 및
    상기 검색한 이미지 데이터를 상기 사용자에게 제공하는 제 5 단계
    를 포함하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 방법.
  6. 제 5 항에 있어서,
    상기 검색시 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터가 없을 경우에, 상기 사용자로부터 상기 인식된 색상과 형태에 대한 임계치를 입력받아 저장하는 제 6 단계
    를 더 포함하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 방법.
  7. 자연어를 이용하여 이미지 데이터 색상 및 형태를 검색하기 위하여, 프로세서를 구비한 이미지 데이터 색상 및 형태 검색 장치에,
    언어 처리용 사전 정보를 저장하고, 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하는 제 1 기능;
    사용자로부터 입력된 색상과 형태를 기술한 자연어 질의 문장을 상기 사전 정보를 이용하여 분석하는 제 2 기능;
    상기 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하는 제 3 기능;
    상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 저장된 색상 히스토그램(histogram)값과 에지 정보에서 검색하는 제 4 기능; 및
    상기 검색한 이미지 데이터를 상기 사용자에게 제공하는 제 5 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  8. 제 7 항에 있어서,
    상기 검색시 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터가 없을 경우에, 상기 사용자로부터 상기 인식된 색상과 형태에 대한 임계치를 입력받아 저장하는 제 6 기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2000-0082179A 2000-12-26 2000-12-26 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법 KR100422805B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2000-0082179A KR100422805B1 (ko) 2000-12-26 2000-12-26 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법
US10/025,912 US20020081024A1 (en) 2000-12-26 2001-12-26 Apparatus and method for retrieving color and shape of image based on natural language

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0082179A KR100422805B1 (ko) 2000-12-26 2000-12-26 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법

Publications (2)

Publication Number Publication Date
KR20020053968A KR20020053968A (ko) 2002-07-06
KR100422805B1 true KR100422805B1 (ko) 2004-03-12

Family

ID=19703616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0082179A KR100422805B1 (ko) 2000-12-26 2000-12-26 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법

Country Status (2)

Country Link
US (1) US20020081024A1 (ko)
KR (1) KR100422805B1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10200704A1 (de) * 2001-08-24 2003-03-20 Jong Won Park Elektronisches Wörterbuchsystem mit Baumstruktur und dessen Ausgabe
GB2391666B (en) * 2001-11-06 2004-08-18 Nec Corp Method of searching for electronic mail in an electronic device and electronic mail searching program for an electronic device
JP2003141044A (ja) * 2001-11-06 2003-05-16 Nec Corp 携帯電話のメール検索方法ならびに携帯電話のメール検索プログラム
KR100748401B1 (ko) * 2002-04-03 2007-08-10 (주)케이테크 전자상거래를 위한 퍼지 지식 기반 지능형 에이전트 시스템
KR100510404B1 (ko) * 2002-10-08 2005-08-31 정보통신연구진흥원 전자 앨범 및 전자 앨범의 이미지 데이터 검색방법
KR100818983B1 (ko) * 2005-12-09 2008-04-03 삼성전자주식회사 후보 이미지와 자연어를 이용한 최적 선호색 재현 장치 및 방법, 선호색에 대한 특정 정보 생성 장치 및 방법, 및 상기 방법을 이용한 기록매체
US7755646B2 (en) * 2006-10-17 2010-07-13 Hewlett-Packard Development Company, L.P. Image management through lexical representations
KR100955181B1 (ko) * 2008-04-15 2010-04-29 엔에이치엔(주) 이미지 검색방법 및 검색 시스템
JP5724430B2 (ja) * 2011-02-15 2015-05-27 カシオ計算機株式会社 情報検索装置およびプログラム
CN103718212B (zh) * 2011-08-05 2016-10-12 乐天株式会社 颜色确定装置、颜色确定系统和颜色确定方法
WO2013021889A1 (ja) * 2011-08-05 2013-02-14 楽天株式会社 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム
CN103186538A (zh) * 2011-12-27 2013-07-03 阿里巴巴集团控股有限公司 一种图像分类方法和装置、图像检索方法和装置
EP3008632A4 (en) 2013-06-14 2016-06-01 Microsoft Technology Licensing Llc SEARCH FOR PICTURES OF SKETCH IN COLOR
CN104915400B (zh) * 2015-05-29 2017-12-29 山西大学 基于彩色直方图和nsct的模糊相关同步图像检索方法
CN104899280B (zh) * 2015-05-29 2017-12-29 山西大学 基于彩色直方图和nsct的模糊相关异步图像检索方法
CN110502650A (zh) * 2019-08-12 2019-11-26 深圳智能思创科技有限公司 一种基于自然语言描述的图像检索系统及方法
CN111046202A (zh) * 2019-12-16 2020-04-21 广西师范大学 基于hsv颜色空间特有属性的图像检索方法
KR20210097347A (ko) 2020-01-30 2021-08-09 한국전자통신연구원 인공지능 기반 이미지 검색 방법 및 장치
US11403339B2 (en) * 2020-05-04 2022-08-02 Adobe Inc. Techniques for identifying color profiles for textual queries
US11934452B1 (en) 2022-10-31 2024-03-19 Adobe Inc. Text-based color palette searches utilizing text-to-color models

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317508A (en) * 1991-10-24 1994-05-31 Matsushita Electric Industrial Co., Ltd. Image editing apparatus
US5493677A (en) * 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface
US5664227A (en) * 1994-10-14 1997-09-02 Carnegie Mellon University System and method for skimming digital audio/video data
US5835667A (en) * 1994-10-14 1998-11-10 Carnegie Mellon University Method and apparatus for creating a searchable digital video library and a system and method of using such a library
US5983237A (en) * 1996-03-29 1999-11-09 Virage, Inc. Visual dictionary
US5930783A (en) * 1997-02-21 1999-07-27 Nec Usa, Inc. Semantic and cognition based image retrieval
US5895464A (en) * 1997-04-30 1999-04-20 Eastman Kodak Company Computer program product and a method for using natural language for the description, search and retrieval of multi-media objects
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
US6970860B1 (en) * 2000-10-30 2005-11-29 Microsoft Corporation Semi-automatic annotation of multimedia objects

Also Published As

Publication number Publication date
US20020081024A1 (en) 2002-06-27
KR20020053968A (ko) 2002-07-06

Similar Documents

Publication Publication Date Title
KR100422805B1 (ko) 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법
US10445359B2 (en) Method and system for classifying media content
US7043094B2 (en) Process for the automatic creation of a database of images accessible by semantic features
Srihari Use of multimedia input in automated image annotation and content-based retrieval
US20050138018A1 (en) Information retrieval system, search result processing system, information retrieval method, and computer program product therefor
KR940022316A (ko) 일문 문서용 키 워드 추출장치
WO1997004405A9 (en) Method and apparatus for automated search and retrieval processing
JPH05242138A (ja) 単語ディスアンビギュエーション装置及び方法
KR102376201B1 (ko) 멀티미디어 지식 베이스 구축 시스템 및 방법
US10572528B2 (en) System and method for automatic detection and clustering of articles using multimedia information
CN111078943A (zh) 一种视频文本摘要生成方法及装置
US20230214600A1 (en) Methods and systems for generating a semantic computation graph for understanding and grounding referring expressions
JP2007328311A (ja) マルチメディアデータ管理方法とその装置
CN111104437A (zh) 基于对象模型的试验数据统一检索方法和系统
US20070112839A1 (en) Method and system for expansion of structured keyword vocabulary
KR102147582B1 (ko) 속성 지식 확장 시스템 및 속성 지식 확장 방법
Ide et al. Automatic video indexing based on shot classification
CN114357206A (zh) 基于语义分析的教育类视频彩色字幕生成方法及系统
CN116501875B (zh) 一种基于自然语言和知识图谱的文档处理方法和系统
CN116090450A (zh) 一种文本处理方法及计算设备
CN116644228A (zh) 多模态全文信息检索方法、系统及存储介质
US20230137774A1 (en) Embedding-based color-object retrieval
Ide et al. An automatic video indexing method based on shot classification
JPH06215184A (ja) 抽出領域のラベリング装置
JPS61248160A (ja) 文書情報登録方式

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20091228

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee