KR100451649B1

KR100451649B1 - 이미지 검색방법과 장치

Info

Publication number: KR100451649B1
Application number: KR10-2001-0015692A
Authority: KR
Inventors: 이진수; 김현준
Original assignee: 엘지전자 주식회사
Priority date: 2001-03-26
Filing date: 2001-03-26
Publication date: 2004-10-08
Also published as: KR20020075600A; CN1378159A; JP3781696B2; EP1258816A3; EP1258816A2; US20020168117A1; JP2002366575A; CN101814087A

Abstract

본 발명은 이미지 검색 시스템에서 질의 이미지, 사용자가 제작한 질의 이미지, 텍스트(키워드)를 2개 이상의 순서의 조합으로 사용해서 이미지를 검색하는 방법과 그 장치에 관한 것이다.

본 발명은 사용자가 제작한 질의 이미지를 사용해서 초벌 검색을 수행한 결과로부터 질의 이미지를 하나 이상 선택하여 재검색을 수행하거나, 키워드를 사용해서 초벌 검색을 수행한 결과로부터 질의 이미지를 하나 이상 선택하여 재검색을 수행하거나, 키워드를 사용해서 검색된 초벌 검색 결과에 대하여 사용자 제작 질의 이미지를 사용해서 검색을 수행하고 그 검색 결과로부터 질의 이미지를 하나 이상 선택하여 재검색을 수행하거나, 사용자 제작 질의 이미지를 사용해서 검색된 초벌 검색 결과에 대하여 키워드를 사용해서 검색을 수행하고 그 검색 결과로부터 질의 이미지를 하나 이상 선택하여 재검색을 수행하거나, 사용자가 제작한 질의 이미지 및 키워드를 함께 사용해서 초벌 검색을 수행한 결과로부터 질의 이미지를 하나 이상 선택하여 재검색을 수행하는 방법으로 이미지 검색을 수행한다.

Description

이미지 검색방법과 장치{IMAGE SEARCH SYSTEM AND METHOD}

본 발명은 내용 기반 멀티미디어 검색 시스템에 관한 것으로서, 특히 내용 기반 이미지 검색 시스템에서 서로 다른 종류의 질의 방법을 순차적으로 적용함으로써 효율적인 이미지 검색을 구현하기 위한 멀티미디어 검색방법과 그 장치에 관한 것이다.

더욱 상세하게는 본 발명은 사용자가 선택하는 질의 이미지, 사용자가 제작한 질의 이미지, 텍스트 정보(예를 들면 키워드)와 같이 서로 다른 종류의 질의 방법을 순차적으로 적용하여 이미지 검색을 수행함으로써 보다 효율적으로 내용 기반 이미지 검색을 가능하게 하는 이미지 검색 방법과 그 장치에 관한 것이다.

특히 본 발명은 사용자가 제작한 질의 이미지를 이용해서 초벌 검색을 수행하고 초벌 검색 결과로부터 사용자가 피드백을 준 적어도 하나 이상의 유사 이미지를 새로운 질의 이미지로 하여 재검색을 수행하는 이미지 검색 시스템에 관한 것이다.

또한, 본 발명은 키워드를 사용해서 초벌 검색을 수행하고 초벌 검색을 수행한 결과로부터 사용자가 피드백을 준 적어도 하나 이상의 유사 이미지를 새로운 질의 이미지로 하여 재검색을 수행하는 이미지 검색 시스템에 관한 것이다.

또한, 본 발명은 키워드를 사용해서 초벌 검색을 수행하고, 상기 키워드를 이용한 초벌 검색 결과에 한해서 사용자 제작 질의 이미지를 사용해서 검색을 수행하고 그 검색 결과로부터 사용자가 질의 이미지를 하나 이상 선택하여 피드백을 줌으로써 재검색을 수행하는 이미지 검색 시스템에 관한 것이다.

또한, 본 발명은 사용자 제작 질의 이미지를 사용해서 초벌 검색을 수행하고, 상기 사용자 제작 질의 이미지를 이용한 초벌 검색 결과에 한해서 키워드를 사용해서 검색을 수행하고 그 검색 결과로부터 사용자가 질의 이미지를 하나 이상 선택하여 피드백을 줌으로써 재검색을 수행하는 이미지 검색 시스템에 관한 것이다.

또한, 본 발명은 사용자가 제작한 질의 이미지 및 키워드를 함께 사용해서 초벌 검색을 수행하고, 사용자 제작 질의 이미지 및 키워드를 함께 사용한 초벌 검색 결과로부터 질의 이미지를 하나 이상 선택하여 재검색을 수행하는 이미지 검색 시스템에 관한 것이다.

내용 기반 멀티미디어 검색은 최근 들어 키워드 검색의 제한성을 극복하고 사람에게 자연스러운 검색방법을 제공한다는 측면에서 매우 중요시되고 많은 연구가 보고되고 있다. 특히, 이미지 검색은 인터넷 사용이 증가하면서 매우 중요해졌으며, 디지털 라이브러리 등에서 매우 유용하게 사용되고 있다. 내용 기반 이미지 검색이란 칼라(color)나 텍스쳐(texture) 등과 같은 이미지 특징정보를 분석하여 사람의 눈으로 멀티미디어 내용을 보았을 때 비슷한 이미지들을 찾아 주는 것을 의미하는 것으로서, 보다 좋은 성능을 위해 다양한 특징정보들이 연구 및 보고되고 있다. 이러한 이유로 내용 기반 이미지 검색 기능을 갖춘 상용 소프트웨어 패키지들이 개발되어 판매되고 있다.

대부분 이러한 이미지 검색기들은 이미지를 검색하기 위해서 질의 이미지를사용자가 먼저 선택하게 되는데, 검색기는 사용자가 선택한 질의 이미지를 찾고자 하는 이미지가 포함된 이미지 데이터 베이스에 속한 이미지들과 이미지 특징정보를 사용하여 서로 비교함으로써 가장 비슷한 이미지들을 사용자에게 검색 결과로 보여준다.

그렇지만 이미지들마다 비슷하게 보이기 위한 중요한 특징정보들이 모두 다를 수 있기 때문에 검색 결과가 사용자가 만족할 만큼 높지는 않은 것이 현실이다.

이러한 제한점을 극복하기 위해서 사용자가 1차 검색 결과를 사용하여 찾고자 하는 이미지와 비슷한 이미지들에 대한 정보를 시스템에 피드백(Relevance Feedback) 줌으로써 검색 시스템이 해당 이미지를 검색하는데 보다 중요한 특징정보가 무엇인지를 자동으로 계산할 수 있도록 하는 방법이 있다. 이 방법에 따른 결과 이미지 검색 성능은 상당히 개선되었음을 보고를 통해 알 수 있다.

상기 설명한 기술들은 모두 특정 이미지를 검색하기 위해 해당 이미지와 비슷한 질의 이미지를 먼저 사용자가 선택해야만 한다. 질의 이미지를 선택하게 하는 방법으로는 일반적으로 이미지를 무작위로 나열하고 그 나열된 이미지들 중에서 사용자가 질의 이미지를 선택하도록 하는 방법에 따른다. 이 경우 무작위로 나오는 이미지 중에서 적절한 질의 이미지를 찾기란 쉽지 않기 때문에 오히려 적절한 질의 이미지를 선택하기 위해서 여러 번의 검색을 행하여야 한다.

이러한 문제점을 해결하기 위해서 질의 이미지를 선택하는 대신 질의 이미지를 사용자가 직접 제작하여 검색을 하는 방법들이 소개되고 있다. 즉, 사용자가 간단한 이미지 제작 도구를 사용해서 찾고자 하는 이미지의 특징정보를 반영하는 이미지를 제작한 후 이 사용자 제작 이미지를 질의 이미지로 하여 검색을 수행하는 것이다.

그렇지만 이 경우 사용자가 찾고자 하는 이미지 특징정보를 충분하게 반영할만큼 상세한 질의 이미지를 제작하기가 쉽지 않기 때문에 간단한 질의 이미지를 제작할 수밖에 없고, 이러한 질의 이미지를 검색하기 위해 사용될 수 있는 이미지 특징정보 또한 한정될 수밖에 없다. 예를 들어 텍스쳐 정보 등은 사용자가 제작하여 표현하기 어렵기 때문에 이러한 특징정보는 사용자 제작 질의 이미지에 반영하기도 어렵고 사용되기도 어렵다. 따라서 이러한 경우에는 결국 제한된 특징정보만을 사용한 검색이 이루어지게 되기 때문에 검색 성능이 그리 높지 못하다는 단점이 있다.

한편, 사용자가 이미지를 찾기 위한 손쉬운 질의 방법 중에는 키워드를 이용한 방법이 있다. 키워드를 이용한 검색 방법은 이미지들마다 그 이미지의 특징을 텍스트(키워드)로 묘사해 두고, 사용자가 찾고자 하는 이미지를 연상 혹은 표현하는 키워드를 입력하면 그 키워드에 매칭되는 키워드를 갖는 이미지들을 찾아서 검색 결과로 보여주는 방법이다.

그렇지만 키워드 검색의 경우에는 사용자가 생각하는 키워드가 찾고자 하는 이미지의 키워드로 기입되어 있을 때에만 적절한 검색 성능을 기대할 수 있으므로 키워드만으로 원하는 이미지를 찾기는 매우 어렵다. 즉, 같은 내용의 멀티미디어 데이터를 찾는다고 해도 사람마다 그 멀티미디어 데이터를 연상 혹은 표현하는 단어, 문장, 묘사방법 등이 모두 다를 수 있기 때문에 키워드만으로 원하는 이미지를찾기는 매우 어려울 뿐만 아니라, 더구나 각 국가별로 키워드를 표현하는 언어가 다르므로 다중 언어를 지원하지 않는다면 키워드 검색은 그 제한이 매우 커서 특정 응용 범위를 제외한다면 그 실용성이 떨어진다.

본 발명은 내용 기반 멀티미디어 검색에 있어 서로 다른 종류의 질의 방법들을 계층적, 순서적으로 조합하여 이미지 검색에 적용함으로써 상기한 기존의 내용 기반 이미지 검색 방법의 문제점을 개선하고, 사용자가 보다 손쉬운 검색을 행할 수 있도록 한 이미지 검색 방법과 그 장치를 제안한다.

본 발명은 내용 기반 멀티미디어 검색에 있어서 특히, 인터넷 기반 비디오 검색 시스템에서 서로 다른 질의-검색모듈을 통합할 수 있는 기반을 제공할 수 있도록 한 이미지 검색방법과 그 장치를 제안한다.

이를 위하여 본 발명의 이미지 검색 시스템은 질의 이미지를 이용한 검색방법, 사용자 제작 이미지를 질의로 하는 이미지 검색방법, 키워드를 이용한 이미지 검색방법들을 특정 순서로 조합하여 이미지 검색을 수행하는 것을 특징으로 하는 이미지 검색 방법과 그 장치를 제안한다.

도1은 본 발명의 이미지 검색 시스템에 적용되는 질의 이미지 제작 도구의 예를 나타낸 도면

도2는 본 발명의 이미지 검색 시스템에 적용되는 질의 이미지 제작 도구의 다른 예를 나타낸 도면

도3은 본 발명의 이미지 검색방법 제1실시예의 플로우차트

도4는 본 발명의 이미지 검색방법 제2실시예의 플로우차트

도5는 본 발명의 이미지 검색방법 제3실시예의 플로우차트

도6은 본 발명의 이미지 검색방법 제4실시예의 플로우차트

도7은 본 발명의 이미지 검색방법 제5실시예의 플로우차트

도8은 본 발명의 이미지 검색방법 제6실시예의 플로우차트

도9는 본 발명의 이미지 검색방법 제7실시예의 플로우차트

도10은 본 발명의 이미지 검색방법 제8실시예의 플로우차트

도11은 본 발명의 이미지 검색방법 제9실시예의 플로우차트

도12는 본 발명의 이미지 검색장치 제1실시예의구성도

도13은 본 발명의 이미지 검색장치 제2실시예의구성도

도14는 본 발명의 이미지 검색장치 제3실시예의구성도

본 발명의 이미지 검색 시스템은 이종 질의를 계층적이고 순서적으로 사용해서 이미지 검색을 수행하는 것을 특징으로 한다.

본 발명의 이미지 검색 시스템은 질의 이미지, 사용자 제작 질의 이미지, 키워드의 이종 질의를 계층적이고 순서적으로 조합하여 적용함으로써 이미지 검색을수행하는 것을 특징으로 한다.

본 발명의 이미지 검색 시스템은 사용자가 질의 이미지를 제작하고 이 제작된 이미지를 질의 이미지로 하여 초벌검색을 수행하고, 사용자 제작 질의 이미지를 이용한 초벌검색 결과로부터 적어도 하나 이상의 질의 이미지를 선택하여 재검색을 수행하는 것을 특징으로 한다.

본 발명의 이미지 검색 시스템은 키워드를 이용해서 초벌검색을 수행하고, 키워드를 이용한 초벌검색 결과로부터 사용자가 적어도 하나 이상의 질의 이미지를 선택하여 재검색을 수행하는 것을 특징으로 한다.

본 발명의 이미지 검색 시스템은 키워드를 이용해서 초벌검색을 수행하고, 상기 키워드를 이용한 초벌검색 결과에 한해서 사용자 제작 질의 이미지를 사용하여 중간검색을 수행하고, 상기 중간검색 결과로부터 사용자가 적어도 하나 이상의 질의 이미지를 선택하여 재검색을 수행하는 것을 특징으로 한다.

본 발명의 이미지 검색 시스템은 사용자가 제작한 질의 이미지를 이용해서 초벌검색을 수행하고, 상기 사용자 제작 질의 이미지를 이용한 초벌검색 결과에 한해서 키워드를 사용하여 중간검색을 수행하고, 상기 중간검색 결과로부터 사용자가적어도 하나 이상의 질의 이미지를 선택하여 재검색을 수행하는 것을 특징으로 한다.

본 발명의 이미지 검색 시스템은 사용자가 제작한 질의 이미지와, 찾고자 하는 이미지를 기술하는 텍스트 정보(예; 키워드)를 사용하여 초벌검색을 수행하고, 상기 초벌검색 결과로부터 사용자가 적어도 하나 이상의 질의 이미지를 선택하여재검색을 수행하는 것을 특징으로 한다.

상기한 바와 같이 이루어진 본 발명의 이미지 검색 시스템을 첨부된 도면을 참조하여 실시예로서 더욱 상세하게 설명한다.

본 발명의 특징에서 설명한 바와 같이 서로 다른 종류의 정보를 사용하는 서로 다른 방식의 질의 및 검색을 조합하기 위해서는 어떠한 순서로, 어떠한 방법으로 검색 결과를 조합하여 사용해야 하는지가 매우 중요하다. 즉, 이러한 조합 방법이 효율적이지 못할 경우 원하는 성능을 얻지 못할 수도 있기 때문이다.

본 발명에서 제안하는 이미지 검색방법은 질의의 순서에 따라 크게 3가지로 분류하였다. 첫 번째 경우는 우선 스케치를 사용한 사용자 제작 이미지를 이용해서 검색을 한 후 일반적인 질의 이미지를 이용한 검색을 행하는 방법이고, 두 번째는 텍스트 정보(예; 키워드)를 이용해서 검색을 한 후 질의 이미지에 따른 검색을 행하는 방법이고, 세 번째는 상기 사용자가 제작한 질의 이미지를 사용하여 초벌검색을 행하는 것과, 키워드와 같은 텍스트 정보를 사용하여 초벌검색을 행하는 것을 조합하여 검색한 후 질의 이미지에 따른 검색을 행하는 방법이다.

이와 같은 본 발명의 이미지 검색 방법을 각 경우별로 더욱 상세하게 설명하면 다음과 같다.

1). 스케치를 이용한 질의 후, 질의 이미지를 이용한 질의에 따른 검색

이 방법은 사용자가 제작한 질의 이미지를 이용하여 검색을 수행하는 단계, 상기 사용자 제작 질의 이미지를 이용한 검색 결과로부터 사용자가 유사한 이미지를 하나 이상 선택하는 단계, 상기 선택된 하나 이상의 이미지를 질의 이미지로 지정하여 재검색을 수행하는 단계;로 이루어지는 것을 특징으로 하며, 다음과 같이 이미지 검색을 수행하게 된다.

사용자가 질의 이미지를 먼저 제작한 후, 이 제작된 이미지를 질의 이미지로 하여 1차 검색(초벌 검색)을 수행한다. 사용자가 질의 이미지를 제작할 수 있는 사용자 인터페이스의 예를 도1에 나타내었다. 즉, 이미지 판(1)을 N*M개의 블록(2)으로 분할하고 각 블록을 선택된 칼라로 채움으로써 칼라를 특징정보로 하는 질의 이미지를 제작할 수 있다.

도2는 질의 이미지 제작을 위한 또 다른 예를 보여준다. 사용자는 사용자가 지정한 굵기와 칼라를 갖는 펜을 이용해서 이미지 판(3)에 도형(4)등과 같은 이미지를 스케치를 할 수 있다. 또는 미리 지정된 원이나, 사각형과 같은 기본 도형을 그림으로써 보다 스케치를 쉽게 할 수 있다.

이와 같은 도구를 사용하여 제작된 질의 이미지를 이용해서 검색을 수행한 다음에는, 상기 1차 검색(초벌검색) 결과(검색 시스템에서 상기 사용자 제작 질의 이미지를 이용해서 이미지를 검색하여 매칭되는 찾은 이미지를 인터페이스 창에 검색 결과로 표시해 준 것)에서 사용자가 찾고자 하는 이미지와 비슷하다고 생각되는 이미지를 선택하여 피드백을 주면 이 선택된 이미지를 질의 이미지로 하는 2차 검색을 수행한다. 즉, 2차 검색부터는 사용자가 피드백 준 질의 이미지를 이용한 질의를 행한다. 사용자는 이와 같이 찾고자 하는 이미지가 검색될 때까지 질의 이미지를 이용한 질의를 통해 검색을 하게 되는데, 경우에 따라서 사용자는 상기 초벌검색 결과로부터 복수개의 질의 이미지를 선택할 수도 있다. 이와 같이 복수개의질의 이미지가 선택되었을 경우에는 다음과 같은 검색 방법을 사용할 수 있다.

1.1) 특징정보 가중치를 사용하고 하나의 질의 이미지를 사용하는 검색

이 방법은 사용자가 피드백을 준 이미지들 중에서 하나의 이미지를 질의 이미지로 사용해서 재검색하는 방법이다.

사용자 제작 이미지를 질의 이미지로 하여 초벌 검색한 결과로부터 사용자가 유사하다고 선택한 이미지들 즉, 복수개의 선택된 이미지들은 사용자가 판단했을 때 사용자가 찾고자 하는 이미지와 유사한 이미지라고 할 수 있다. 이러한 정보를 사용하여 검색 시스템은 자동으로 검색에 사용되는 특징정보들 간의 가중치를 설정할 수가 있다. 여기서 특징정보란 이미지를 묘사하는 정보들 중에서 칼라 히스토그램과 같이 하위 레벨 특징정보들만을 의미한다고 정의한다. 다시 말해서, 키워드와 같은 상위 레벨 정보는 본 발명에 언급하는 특징정보에 속하지 않으며, 텍스트 정보라는 별도의 이름으로 지정하여 사용한다.

예를 들어 칼라 히스토그램과 텍스쳐 히스토그램, 2개의 특징정보를 사용한다고 가정하자. 선택된 이미지들 간의 유사도를 각각의 특징정보만을 사용해서 계산했을 때 유사도가 크게 나오는 특징정보에 상대적으로 높은 가중치를 줄 수 있다. 상대적으로 높은 가중치를 준다는 것은 검색 시 해당 특징정보를 사용하여 나온 결과에 그 만큼 많은 비중을 두어 전체 유사도를 계산함을 의미한다. 식1에 상기 가중치를 계산하는 예를 보였다.

(여기서, n은 참조 대상 수, m은 유사도 측정에 사용된 특징소 수, Weight(k)는 k번째 특징소의 가중치, Sim(i,j,k)는 k번째 특징소를 사용했을 때 i번째 참조대상과 j번째 참조대상의 유사도, Cont(k)는 k번째 특징소의 기여도)

상기 유사도 Sim(i,j,k)의 계산은 두 대상 객체간에 이루어진다. 따라서 이미지 검색의 경우 질의로 사용된 이미지와 검색 대상 이미지들을 차례로 선택하여 질의 이미지와 대상 이미지 간의 유사도를 계산함으로써 유사한 이미지를 찾게 된다. 여기서 i번째 참조 대상과 j번째 참조 대상의 유사도로 함은 이와 같이 두 이미지 i,j 간의 유사도를 의미한다.

일반적으로 유사도는 두 이미지가 포함하고 있는 특징소 값들을 비교하여 그 차를 구함으로써 이루어진다. 특징소란 칼라 히스토그램과 같은 정보들을 말하는데 하나의 이미지가 포함하고 있는 특징소는 복수개일 수 있다. 예를 들어 칼라 히스토그램과 텍스쳐 히스토그램을 동시에 포함하고 있어서 이들을 각각 이용하여 유사도를 계산한 후 그 합으로 전체 유사도를 구하게 된다. 이와 같이 하나의 이미지가 N개의 특징소를 포함하고 있을 경우 각각의 특징소만을 이용하여 유사도를 차례로 계산한 후 이를 합하여 최종적인 유사도를 계산하게 된다. k번째 특징소를 사용하여 유사도를 계산한다는 의미는 이와 같이 N개의 특징소들 중 하나인 k번째 특징소를 사용하여 이미지 i와 j의 유사도를 구한다는 의미이다.

하나의 특징소를 사용하여 유사도를 계산하는 방법은 특징소의 종류에 따라 다를 수 있다. 하지만 일반적인 실시의 예로 유사도는 (최대거리 - 측정된 거리)로 구해지며 측정된 거리는 두 특징소 값(들)의 절대값의 차이의 합으로 구할 수 있다. 예를 들어 칼라 히스토그램은 이미지에 존재하는픽셀들의칼라 분포를 나타내는데 이러한 분포는 일정 개수의 수치들로 표현된다. 두 히스토그램 간의 거리는 같은 위치에 있는 수치값의 차에 절대값을 취한 후 이들의 합으로 표현될 수 있다. 최대 거리란 주어진 특징소의 성격상 가능한 가장 큰 거리 값을 의미하는데 일반적으로 히스토그램은 최대 거리가 '1'이다.

상기 식1과 같이 가중치가 계산되면 이 가중치를 적용하여 실제 검색을 행하는데, 검색을 하기 위한 질의 이미지는 선택된 복수개의 이미지들 중에서 하나로 지정하여 행한다. 복수개의 이미지들 중에서 하나의 질의 이미지를 선택하는 방법은, 선택된 이미지들 중에서 가장 먼저 선택된 이미지로 지정하거나, 사용자가 초기 제작한 질의 이미지와 유사도를 비교하여 가장 높은 유사도를 갖는 이미지를 지정하는 방법을 사용할 수 있다. 가중치를 반영한 두 이미지 간의 유사도 계산은 식2를 사용한다.

(여기서, n은 특징정보 수, w_i는 특징정보 i의 가중치, Sim_i는 특징정보 i를 사용했을 때의 유사도)

1.2) 특징정보 가중치를 사용하고 복수개의 질의 이미지를 사용하는 검색

이 방법은 사용자가 피드백을 준 질의 이미지들 중에서 복수개의 이미지를 질의 이미지로 하여 재검색하는 방법이다.

앞에서 설명하였듯이 사용자가 복수개의 이미지를 선택했을 경우, 앞서 설명한 가중치 설정방법과 동일한 방법으로 특징정보들의 가중치를 설정한다. 이 때 설정된 가중치를 사용하여 이미지를 검색하기 위해 복수개의 선택된 이미지들을 모두 질의 이미지로 사용하는 것이다. 앞서 설명한 하나의 질의 이미지를 사용하는 검색에서는 대상 이미지와 질의 이미지 간의 유사도를 계산함으로써 검색이 이루어지는 반면, 이와 같이 복수개의 선택된 이미지들을 모두 질의 이미지로 사용하는 검색의 경우에는 대상 이미지와 선택된 복수개의 이미지들을 차례로 하나씩 비교하여 유사도를 계산한 후, 계산된 유사도를 모두 합한 값을 최종적인 유사도로 결정한다. 이 경우에서 유사도의 계산은 식3과 같다.

(여기서, n은 질의 이미지 수, m은 유사도 측정에 사용된 특징소 수, Sim(j,k)는 k번째 특징소를 사용했을 때 참조대상과 j번째 질의 이미지간의 유사도)

이와 같이 사용자 제작 질의 이미지를 이용한 초벌 검색 결과로부터 하나 또는 하나 이상의 질의 이미지를 선택하여 특징정보 가중치를 사용해서 재검색을 수행하는 방법(1.1, 1.2)을 도3에 플로우차트로 나타내었다.

도3에 나타낸 바와 같이, 질의 이미지를 사용자가 도1이나 도2 등과 같은 이미지 제작 도구를 이용해서 제작하고, 이 제작된 질의 이미지로 검색을 수행하여 그 검색 결과에서 사용자가 유사하다고 생각되는 이미지를 하나 이상 선택하여 피드백을 준다. 그러면 선택된 이미지(들)를 사용해서 그 특징정보 가중치를 추출하고, 선택된 이미지들에서 다음 질의에 사용할 이미지(들)를 지정하여 지정된 질의 이미지와 추출된 가중치를 사용해서 재검색을 수행함으로써 찾고자 하는 이미지를 구하는 것이다.

1.3) 텍스트 정보와 특징정보를 선택적으로 사용하는 검색

앞에서 설명한 2가지 방법(1.1, 1.2)은 모두 재검색 시에 칼라 히스토그램과 같은 특징정보만을 사용하여 검색을 수행하는 예이다. 그렇지만 일반적으로 이미지를 기술(description)하는 정보에는 키워드와 같은 텍스트 정보와, 칼라 히스토그램과 같은 특징정보를 같이 포함하고 있다. 이 경우 특징정보만을 사용하기보다는 각 질의 때마다 텍스트 정보가 더 검색에 적절한지, 또는 특징정보를 사용하는 것이 더 적절한지를 결정하여 검색하는 것이 더 효율적일 것이다. 현재 질의에서 이 같은 결정을 하기 위해 키워드 포함 조건(IncludingRate)을 이용할 수 있다.

도4는 텍스트 정보와 특징 정보를 선택적으로 사용하는 검색의 한 가지 예를보여준다.

먼저, 질의 이미지를 사용자가 제작하여 이 제작된 질의 이미지로 초벌 검색을 수행한 후, 검색 결과에서 사용자가 찾고자 하는 이미지와 유사한 이미지를 하나 이상 선택한다. 이후에는 키워드를 사용한 재검색이나 특징정보를 사용한 재검색 중에서 어느 하나를 선택적으로 사용한다. 즉, 선택된 유사 이미지들 간에 공통적으로 기술된 텍스트 정보, 즉 키워드가 있을 경우 해당 질의는 공통적으로 기술된 키워드를 사용해서 검색하도록 한다. 이는 사용자의 검색 관점이 해당 키워드에 해당하는 것임을 의미한다. 예를 들어 특정 키워드가 선택된 이미지들 중에서 특정 임계치(Th) 70% 이상 공통적으로 포함되었을 경우 해당 키워드를 사용하여 재검색을 하도록 지정할 수 있다.

여기서 70%는 특정 키워드가 공통적으로 포함된 정도를 나타내는 것으로서 키워드 K가 공통적으로 포함된 정도, IncludingRate(K) = n/m * 100(%) 에 의해서 계산되었다. 여기서 n은 사용자에 의해서 선택된 이미지 중에서 키워드 K를 포함하는 이미지의 수, m은 사용자에 의해서 선택된 이미지의 수이다.

따라서, 공통적으로 포함된 키워드가 복수일 경우에는 복수개의 키워드를 사용하여 검색을 할 수 있다. 만약 70% 이상 공통적으로 포함된 키워드가 없을 경우에는 특징정보들만을 사용하여 재검색을 수행하는데, 이 경우 앞에서 설명한 방법(식1 및 식2 참조)으로 가중치를 계산하고, 선택된 이미지들 중에서 하나 또는 모두를 질의 이미지로 지정하여 검색을 수행하게 된다. 즉, Including(K) > Th의 조건을 만족하는 키워드 K가 하나 이상 존재하지 않는다면 선택된 이미지들을 사용하여특징정보에 대한 가중치를 추출하고, 상기 선택된 이미지들에서 다음 질의 이미지(들)를 지정하여 그 지정된 이미지와 상기 추출된 가중치를 사용하여 재검색을 수행함으로써 찾고자 하는 이미지를 구하는 것이다.

상기한 바와 같이 사용자가 선택한 유사 이미지들의 분석 결과에 따라 키워드 또는 특징정보 중에서 하나를 선택적으로 사용하여 재검색하는 예를 설명하였는데, 이 개념을 확장해 보면, 키워드와 특징정보를 조합하여 재검색을 행할 수 있다. 이와 같이 키워드와 특징정보를 조합하여 검색하는 경우는 다음과 같이 3가지 경우를 고려할 수 있다.

1.3.1). 키워드-특징정보 검색

상기 키워드 공통적으로 포함된 정도, IncludingRate가 지정된 임계치(Th1) 보다 큰 값을 갖는 키워드가 존재할 경우 다음과 같은 방법으로 키워드와 특징정보를 조합하는 검색을 행한다.

즉, 해당 키워드만을 사용하여 검색한 후 매칭 점수가 일정 임계치(T1) 이상이 되는 이미지들만 결과 후보로 결정하고, 상기 결정된 후보들을 대상으로, 제작된 질의 이미지와의 유사도를 특징정보를 사용하여 계산하여, 상기 계산된 유사도가 높은 순서로 검색 결과를 추출하는 것이다.

1.3.2). 특징정보-키워드 검색

상기 키워드가 공통적으로 포함된 정도, IncludingRate가 지정된 임계치(Th1) 보다 큰 값을 갖는 키워드가 없을 경우에는 다음과 같은 방법으로 키워드와 특징정보를 조합하는 검색을 행한다.

즉, 지정된 질의 이미지와의 유사도를 특징정보를 이용해서 계산하고, 상기 계산된 유사도가 일정 값 이상이 되는 이미지들만 결과 후보로 결정하고, 상기 결정된 후보들을 대상으로 하여, IncludingRate가 임계치(Th1)를 넘지는 않지만 그 보다 낮은 임계치(Th2)(Th2 < Th1)보다 높은 IncludingRate를 갖는 키워드가 존재할 경우 해당 키워드를 사용해서 검색하여 매칭 점수가 높은 순서로 검색 결과를 추출하는 것이다.

이와 같이 IncludingRate에 따라 키워드-특징정보 또는 특징정보-키워드 검색의 순서로 재검색하는 방법을 도5에 나타내었다.

도5를 참조하여 상기 검색방법(1.3.1, 1.3.2)을 좀 더 상세히 설명한다.

먼저, 사용자가 질의 이미지를 제작하여 제작된 이미지를 질의 이미지로 검색하고, 검색 결과에서 사용자가 유사하다고 생각하는 이미지(들)를 하나 이상 선택한다. 그러면 사용자가 선택한 이미지들 중에 포함된 키워드들 중에서 IncludingRate(K) > Th1의 조건을 만족하는 키워드가 있는지를 검사하고 선택된 이미지들 중에서 질의 이미지(들)를 지정한다. 그리고 상기 IncludingRate(K)>Th1의 조건을 만족하는 키워드 K가 하나 이상 존재하는지를 판단한다.

상기 판단 결과 상기 조건을 만족하는 키워드 K가 하나 이상 존재하는 경우에는 선택된 이미지들을 사용해서 특징정보에 대한 가중치를 추출하고 키워드 K를 사용해서 재검색을 수행하여 매칭 점수가 임계치(T1) 이상인 이미지를 결과 후보로 지정한 다음, 그 결과 후보를 대상으로 상기 지정된 질의 이미지와의 유사도를 계산하여 유사도가 높은 순서로 결과를 추출함으로써 찾고자 하는 이미지를 구한다.그러나, 상기 판단 결과 상기 조건을 만족하는 키워드 K가 없는 경우에는 선택된 이미지들을 사용해서 특징정보에 대한 가중치를 추출하고 지정된 질의 이미지와 상기 추출된 가중치를 사용해서 유사도를 계산한 다음 그 유사도가 임계치 이상인 이미지를 결과 후보로 지정하여, IncludingRate(K)>Th2 (Th2<Th1)를 만족하는 키워드 K를 사용해서 상기 지정된 결과 후보를 대상으로 매칭점수를 계산하고 그 매칭점수가 높은 순서로 결과를 추출함으로써 찾고자 하는 이미지를 구한다.

1.3.3). 특징정보/키워드 조합 검색

이 방법은 특징정보와 키워드를 조합하여 검색하는 방법으로서, 선택된 복수개의 유사 이미지를 사용해서 특징정보의 가중치를 추출하고, 또한 키워드의 가중치를 상기 IncludingRate * α로 지정하고, 전체 유사도를 가중치를 반영한 특징정보를 사용했을 때의 유사도 + 키워드 가중치 * 키워드 매칭점수로 계산한 다음, 이 계산된 전체 유사도 값을 이용해서 검색 결과를 추출하는 방법이다.

이와 같이 특징정보와 키워드를 항상 가중치를 사용해서 조합하여 재검색하는 방법을 도6에 나타내었다.

도6을 참조하여 이 검색방법(1.3.3)을 좀 더 상세하게 설명한다.

먼저, 사용자 제작 질의 이미지로 검색을 수행하고 그 검색 결과에서 사용자가 유사 이미지(들)를 하나 이상 선택한다. 그러면 선택된 이미지들을 사용해서 가중치를 추출하고 또 그 선택된 이미지들을 사용해서 IncludingRate(K)>Th1을 만족하는 키워드를 추출하며, 이 추출된 IncludingRate(K)를 사용해서 키워드 K의 가중치를 추출한다. 그리고 상기 선택된 이미지들에서 다음 질의 이미지(들)를 지정하고 이 지정된 질의 이미지와 상기 추출된 가중치를 사용해서 유사도를 계산하며, 키워드 K의 매칭점수를 계산한다. 다음에는 상기 유사도와 매칭점수를 키워드 K의 가중치를 반영하여 합산함으로써 전체 유사도를 구한다.

즉, 전체 유사도 = 가중치를 반영한 특징정보를 사용했을 때의 유사도 + 키워드 가중치 * 키워드 매칭점수로 전체 유사도를 계산한다. 이렇게 계산된 전체 유사도 값을 이용해서 검색을 수행하여 전체 유사도가 높은 순서로 결과를 추출함으로써 찾고자 하는 이미지를 구한다.

지금까지 설명한 것과 같이 사용자가 선택한 유사 이미지를 사용해서 텍스트 정보와 하위 레벨의 특징정보를 자동으로 선택하여 검색하거나 또는 조합하여 검색하는 방법(1.3, 1.3.1, 1.3.2, 1.3.3)은 스케치를 사용한 이미지 검색이 아닌 기존 이미지 검색에 확장하여 적용할 수도 있다.

예를 들어 기존에 특징 이미지를 질의 이미지로 선택하여 유사 이미지를 검색하는 방법에 적용한다.

이 방법에 적용할 경우, 찾고자 하는 이미지를 사용자가 찾을 때까지, 중간 검색 결과에서 사용자가 유사한 이미지들을 선택하고, 검색 시스템은 선택된 유사 이미지들을 앞서 설명한 방법과 동일한 방법(IncludingRate(K) 조건 등을 이용한 검색 순서와 질의 요소 등의 선택방법)을 사용하여, 다음 검색에는 하위 레벨 특징정보를 사용할 것인지, 또는 텍스트 정보를 사용할 것인지를 결정할 수 있다.

이러한 확장된 사용 예를 도7에 플로우차트로 예시하였다. 도7은 상기 도4의 개념(1.3)을 확장한 것이다.

즉, 사용자가 질의 이미지(제작한 것이 아니다)를, 존재하는 이미지들 중에서 선택하여 그 선택된 질의 이미지로 검색을 한 결과에서 유사 이미지들을 하나 이상 선택하여 피드백을 주면, 검색 시스템에서는 사용자가 유사하다고 선택한 이미지들 중에 포함된 키워드 K 중에서 IncludingRate(K)>Th1을 만족하는 키워드가 있는지를 검사한다. 위 조건을 만족하는 키워드 K가 하나 이상 존재한다면 그 키워드 K를 사용한 재검색을 수행하고, 그렇지 않은 경우에는 사용자가 유사하다고 선택한 이미지들을 사용해서 특징정보에 대한 가중치 추출, 선택된 이미지들에서 다음 질의 이미지(들) 지정(지정 방법에 앞서 설명한 것처럼 예를 들어 맨 처음 선택한 이미지를 질의 이미지로 하는 방법 등이 있을 수 있다), 지정된 질의 이미지와 추출된 가중치를 사용한 재검색의 수순으로 찾고자 하는 이미지를 구하는 것이다.

한편, 텍스트 정보와 특징정보 중에서 어느 하나를 선택하지 않고 조합하여 재검색하는 방법(1.3.1, 1.3.2, 1.3.3)도 마찬가지로 기존 이미지 검색방법에 확장하여 적용될 수 있다.

2). 텍스트 정보를 이용한 질의 후, 질의 이미지를 이용한 질의, 검색

앞의 1)절에서는 초기 사용자가 적절한 질의 이미지를 찾기 위해서 사용자가 제작한 질의 이미지를 먼저 사용해서 질의 이미지들을 찾은 후 재검색하는 방법에 대해서 설명하였다. 여기서는 사용자가 제작한 질의 이미지를 사용하는 대신 키워드와 같은 텍스트 정보를 사용하는 방법에 대해서 설명한다. 도8에 텍스트 정보(예: 키워드)를 이용한 질의에 대한 초벌검색 결과로부터 질의 이미지를 선택하여 재검색을 수행하는 방법에 대해서 보여준다.

우선, 사용자는 키워드를 사용하여 초벌 검색 결과를 얻는다. 즉, 키워드 입력에 따라 키워드를 사용한 이미지 검색을 행하고 그 검색 결과를 얻는다. 그리고 이 초벌 검색 결과에서 사용자가 유사한 이미지를 하나 이상 선택한다. 이와 같이 복수개의 유사 이미지들이 선택된 이후에는 상기한 '특징정보 가중치를 사용하고 하나의 질의 이미지를 사용하는 검색방법'이나, '특징정보 가중치를 사용하고 복수개의 질의 이미지를 사용한 검색방법'을 적용하여 재검색을 수행할 수 있다. 즉, 사용자에 의해 선택된 복수개의 유사 이미지들의 가중치를 추출하고, 선택된 이미지들에서 다음 질의 이미지(들)를 지정하여 그 지정된 질의 이미지와 상기 추출된 가중치를 적용하여 특징정보를 사용한 재검색을 수행함으로써, 찾고자 하는 이미지를 구하는 것이다.

3). 스케치/텍스트 정보를 이용한 질의-질의 이미지를 이용한 질의, 검색

여기서는 사용자가 제작한 질의 이미지를 사용하여 초벌 검색을 수행하는 방법과, 키워드와 같은 텍스트 정보를 사용해서 초벌 검색을 수행하는 방법을 조합하여 초벌 검색을 수행하는 방법에 대해서 설명한다.

이 방법에서는 텍스트 정보로서 키워드를 사용하는 것을 예로 들어 설명하기로 한다. 먼저, 사용자는 질의 이미지를 제작하고, 동시에 적절한 키워드를 입력한 후 이들을 이용하여 초벌 검색을 수행한다. 이와 같이 상이한 2개의 질의 요소(본 실시예에서는 제작된 질의 이미지와, 키워드)들을 조합하여 검색하는 방법은 다음과 같이 3가지를 고려할 수 있다.

3.1) 키워드-스케치 검색.

키워드-스케치 검색은 키워드만을 사용하여 검색한 후, 매칭 점수가 일정 임계치 이상이 되는 이미지들만 결과 후보로 결정하고, 이 결정된 후보들을 대상으로, 제작된 질의 이미지와의 유사도를 특징정보를 사용해서 계산하고, 상기 계산된 유사도가 높은 순서로 검색 결과를 추출하는 방법이다.

도9에 이 방법을 나타내었다.

질의 이미지가 제작된다. 그리고 사용자가 입력한 키워드를 사용해서 이미지 검색을 수행하여 매칭 점수가 임계치 이상인 이미지들을 결과 후보로 추출한 다음, 상기 추출된 결과 후보와 상기 사용자 제작 질의 이미지와의 유사도를 계산하여 유사도가 높은 순서로 검색결과를 추출한다. 이 검색 결과 이미지들 중에서 사용자가 유사하다고 생각하는 이미지들을 하나 이상 선택하고 그 선택된 이미지들을 사용해서 가중치를 추출한 다음, 사용자 선택 이미지들에서 질의 이미지(들)를 지정한다.

이와 같이 질의 이미지가 지정되면 지정된 질의 이미지와 상기 추출된 가중치를 사용해서 재검색을 수행함으로써 찾고자 하는 이미지를 구하는 것이다.

3.2) 스케치-키워드 검색.

스케치-키워드 검색은 제작된 질의 이미지와의 유사도를 특징정보를 사용해서 계산하고, 이 계산된 유사도가 일정 값 이상이 되는 이미지들만 결과 후보로 결정해서, 상기 결정된 후보들 중에서 질의에 사용된 키워드를 사용해서 검색하여 매칭 점수가 높은 순서로 검색 결과를 추출하는 방법으로서, 도10에 이 방법을 나타내었다.

질의 이미지가 제작된다. 그리고 사용자가 제작한 질의 이미지를 사용해서이미지 검색을 수행하여 결과 후보를 추출한 다음, 상기 추출된 결과 후보를 대상으로 상기 사용자 제작 질의 이미지와의 유사도를 계산하여 유사도가 높은 순서로 검색결과 후보를 추출한다. 그리고 상기 유사도에 따른 검색결과 후보를 대상으로 하여 입력 키워드와의 매칭 점수를 계산해서 매칭 점수가 높은 순서로 검색 결과를 추출한다. 다음에는 상기 키워드 매칭 점수에 따른 검색 결과 이미지들 중에서 사용자가 유사하다고 생각하는 이미지들을 하나 이상 선택하고 그 선택된 이미지들을 사용해서 가중치를 추출한 다음, 사용자 선택 이미지들에서 질의 이미지(들)를 지정한다.

3.3) 스케치/키워드의 조합검색.

스케치/키워드의 조합 검색은 제작된 질의 이미지와의 유사도 값을 특징정보를 사용해서 계산하고 질의에 사용된 키워드를 사용하여 키워드 매칭점수를 계산한 다음, 상기 계산된 유사도 값과 키워드 매칭점수를 조합하여 전체 유사도 값을 계산하고 이를 이용해서 검색결과를 추출하는 방법이다. 이 때 두 유사도 값과 매칭 점수와의 합을 구함에 있어 일정한 가중치를 실험에 의해 부여할 수도 있다.

도11에 스케치/키워드의 조합 검색 방법을 나타내었다.

입력된 키워드를 사용한 이미지 검색 결과와, 사용자 제작 질의 이미지를 사용한 검색 결과에 대해서 함께 고려한다. 즉, 키워드 매칭 점수와 질의 이미지와의 유사도를 조합하여 최종 유사도를 계산하고, 이 계산된 전체 유사도 값을 이용해서검색 결과를 추출한 다음, 상기 전체 유사도에 따른 검색 결과 이미지들 중에서 사용자가 유사하다고 생각하는 이미지들을 하나 이상 선택하고 그 선택된 이미지들을 사용해서 가중치를 추출한 다음, 사용자 선택 이미지들에서 질의 이미지(들)를 지정한다.

지금까지 3가지 방법의 질의-검색 방법을 설명하였다.

다음에는 상기 도3 내지 도11에서 설명되고 있는 본 발명의 이미지 검색방법에 따른 이미지 검색 시스템에 대해서 설명한다.

4. 이미지 검색 시스템 실시예1

도12는 본 발명에 따른 이미지 검색 시스템의 제1실시예를 보여준다.

앞에서 설명한 바와 같이 질의 이미지(사용자 제작 질의 이미지, 사용자 선택 질의 이미지)와 특징정보/가중치를 이용한 이미지 검색 방법을 적용하기 위해서, 사용자 인터페이스(5)와, 특징정보를 이용한 검색부(6), 가중치를 적용하여 검색할 수 있는 가중치 적용 검색부(7)와, 가중치를 학습하고 적용하기 위하여 사용자가 선택한 유사 이미지들을 사용해서 가중치를 계산하는 가중치 추출부(8)를 포함하고 있다. 사용자 인터페이스(5)는 사용자가 질의 이미지를 제작할 수 있는 질의 이미지 제작부(5a)와, 사용자가 유사하다고 생각하는 이미지를 질의 이미지로 선택하기 위한 질의 이미지 선택부(5b), 그리고 검색 결과를 보여주는 검색 결과창(5c)을 포함한다.

도12에 나타낸 이미지 검색 시스템은 앞서 설명한 바와 같이, 사용자가 제작한 질의 이미지와, 사용자가 선택하는 질의 이미지, 그리고 특징정보와 가중치에 따른 검색을 수행하는 방법에 따를 수 있다.

즉, 질의 이미지 제작부(5a)는 사용자가 질의 이미지를 제작하여 초벌검색을 위한 질의 요소로 사용할 수 있도록 해주며, 질의 이미지 선택부(5b)는 초벌 혹은 재검색 질의 요소로 하나 이상의 질의 이미지를 선택하여 사용할 수 있도록 해주고, 검색 결과창(5c)은 검색 결과를 보여준다. 특징정보를 이용한 검색부(6)는 이미지 검색시에 특징정보를 고려하는 이미지 검색이 이루어질 수 있도록 해주며, 가중치 적용 검색부(7)는 가중치 추출부(8)에서 계산된 가중치를 적용하여 검색이 이루어질 수 있게 한다. 그리고 가중치 추출부(8)는 가중치를 학습하고 적용하기 위하여 사용자가 선택한 유사 이미지들을 사용해서 가중치를 계산해 준다.

5. 이미지 검색 시스템 실시예2

도13은 본 발명에 따른 이미지 검색 시스템의 제2실시예를 보여준다.

도13은 도12에 나타낸 시스템과 유사하지만, 제작된 질의 이미지를 사용하는 대신 키워드를 사용하는 방법을 제공하기 위한 시스템을 보여주는 것으로서, 사용자 인터페이스(9)가 키워드 질의부(9a)를 포함하고 있고, 키워드를 이용한 검색부(10)를 포함한 예를 보여준다.

질의 이미지 선택부(9b)와 검색 결과창(9c), 가중치 적용 검색부(11) 및 가중치 추출부(12)는 도12와 같다.

따라서, 도13의 이미지 검색 시스템에서는 키워드를 질의 요소로 하는 본 발명의 이미지 검색방법이 수행될 수 있다.

6. 이미지 검색 시스템 실시예3

도14는 본 발명에 따른 이미지 검색 시스템의 제3실시예를 보여준다.

즉, 앞에서 설명한 3번째 방법(3, 3.1, 3.2, 3.3)과 같이 사용자가 제작한 질의 이미지를 사용한 검색과 사용자가 입력한 키워드를 사용한 검색을 동시에 사용하여 초벌 검색을 하기 위한 이미지 검색 시스템 구성을 보여준다.

도14의 이미지 검색 시스템은 사용자 인터페이스(13)가 질의 이미지 제작부와(13a) 키워드 질의부(13b), 질의 이미지 선택부(13c), 검색 결과창(13d)을 모두 포함하고 있다. 이 경우 검색부(14)는 질의 이미지와의 유사도를 계산하여 검색을 행하는 특징정보를 이용한 검색부(14a)와, 입력된 키워드를 사용하여 검색을 행하는 키워드를 이용한 검색부(14b)가 동시에 존재해야 하며, 또한 이들을 조합하여 최종적으로 유사도를 계산하여 결과를 내주는 검색부(14c)가 포함되고 있어서, 상기한 바와 같이 사용자 제작 질의 이미지를 사용한 검색과 키워드를 사용한 검색을 동시에 사용해서 이미지 검색을 수행할 수 있다.

여기서 가중치 적용 검색부(15)와 가중치 추출부(16)는 앞서 설명한 바와 같다.

본 발명은 사용자가 손쉽게 질의 이미지를 찾을 수 있도록 초기에는 제작된 질의 이미지나 키워드를 사용한 검색을 수행하고, 이후에 복수개의 질의 이미지를 통해 검색을 행하는 이미지 검색방법을 제공함으로써, 실제로 이미지 검색을 적용하는 관점에서, 기존의 방법에 비해 현실적인 유용성을 제공한다.

즉, 기존에는 높은 성능을 위해 질의 이미지를 사용하여 검색을 행하였으나, 이는 초기 적절한 질의 이미지를 찾기가 어렵다는 단점이 있고, 초기 검색을 손쉽게 하기 위해 키워드나 제작된 질의 이미지를 사용할 경우 원하는 이미지를 찾기가 어렵다는 단점이 있었는데, 이러한 단점들을 해결하였다.

특히 이들 질의 방법들을 순차적으로 조합하여 효과적으로 사용하기 위해, 초기에는 제작된 이미지나 키워드를 사용하여 검색하고, 이후에는 질의 이미지를 검색 결과로부터 선택하여 재검색을 하되, 복수개의 질의 이미지를 선택하고 이를 사용하여 현재 질의에 적합한 가중치를 자동으로 계산한 후, 최적이 검색이 이루어지도록 하는 본 발명의 이미지 검색방법은, 편의성과 높은 성능 모두를 가능하게 할 수 있다.

특히 본 발명은 인터넷을 이용한 웹 이미지 검색에서 실용적으로 사용될 수 있고, 최근에 많이 연구되고 있는 멀티 데이터 베이스를 대상으로 하는, 즉 복수개의 서버를 대상으로 이미지를 검색하는데 매우 효과적으로 사용될 수 있다.

Claims

요청되는 질의 내용에 따라 이미지 검색을 수행하고, 검색된 이미지 결과를 제공하는 내용 기반 멀티미디어 검색 시스템에 있어서,

(a).상기 검색 시스템에 이미지 검색을 요청함에 있어, 사용자가 제작한 질의 이미지를 제공하고 상기 사용자 제작 질의 이미지와 유사한 이미지 검색을 요청하는 단계,

(b).상기 검색 시스템으로부터 검색된 유사 이미지 결과를 제공받고, 상기 검색된 유사 이미지 결과 중에서 새로운 질의 이미지로서 하나 이상의 유사 이미지를 선택하고, 상기 선택된 유사 이미지를 상기 검색 시스템에 제공하여 새로운 질의 이미지에 대해 유사한 이미지 검색을 재요청하는 단계,

(c).상기 검색 시스템은 상기 제공된 유사 이미지를 질의 이미지로 재지정하여 재검색을 수행하는 단계; 로 이루어진 것을 특징으로 하는 이미지 검색방법.
제1항에 있어서, 상기 재검색을 위한 질의 이미지는 선택된 유사 이미지들 중에서 이전 검색에서 질의 이미지로 사용한 이미지와의 유사도를 기준으로 하여 지정하는 것을 특징으로 하는 이미지 검색방법.
제1항에 있어서,상기 검색된 유사 이미지 결과 중에서 새로운 질의 이미지를 선택함에 있어, 상기 검색된 유사 이미지들을 묘사하는 각각의 특징정보를 사용하여 계산된 상기 유사 이미지들간의 유사도를 반영하여 특징정보 가중치를 계산하는 단계를더 포함하는 것을 특징으로 하는 이미지 검색방법.
제 3 항에 있어서, 상기 계산된 특징정보 가중치를 적용하여 재검색을 수행하는 것을 특징으로 하는 이미지 검색방법.
제1항에 있어서, 상기 재지정되는 질의 이미지는 하나 또는 복수개인 것을 특징으로 하는 이미지 검색방법.
제5항에 있어서, 상기 지정되는 질의 이미지는 사용자 선택 순서, 또는 사용자 선택 유사 이미지들과 사용자 제작 이미지와의 유사도를 기준으로 지정하는 것을 특징으로 하는 이미지 검색방법.
제1항에 있어서, 상기 재검색이 텍스트 정보와 하위레벨의 특징정보 중의 선택이나 조합, 순서의 조합에 따라 이루어지는 것을 특징으로 하는 이미지 검색방법.
제7항에 있어서, 상기 텍스트 정보와 하위레벨의 특징정보 중의 선택이나 조합, 순서의 조합에 따라재검색이 수행됨에 있어, 상기 선택된 유사 이미지들 중에 키워드가 공통적으로 얼마만큼 포함되었는지를 의미하는 포함 비율의 계산에 의해 구해지는텍스트 정보의 유용도를 이용해서 이루어지는 것을 특징으로 하는 이미지 검색방법.
제8항에 있어서, 상기 사용자 선택 유사 이미지들 중에 공통적으로 포함된 텍스트 정보의 유용도가 소정 임계치 이상이면 텍스트 정보에 의한 재검색, 그렇지 않으면 하위레벨 특징정보에 의한 재검색을 수행하는 것을 특징으로 하는 이미지 검색방법.
삭제
제8항에 있어서, 상기 계산된 텍스트 정보의 유용도가 소정 임계치 이상인 경우, 텍스트 정보를 사용하여 검색 후 매칭 점수가 소정 임계치 이상인 이미지들을 결과 후보로 지정하고, 상기 결과 후보로 지정된 이미지들을 대상으로 하위레벨의 특징정보를 사용하여 유사도가 높은 순서로 검색 결과를 출력하는 것을 특징으로 하는 이미지 검색방법.
제8항에 있어서, 상기 계산된 텍스트 정보의 유용도가 소정 임계치 이하인 경우, 하위레벨의 특징정보를 사용하여 유사도가 소정 임계치 이상인 이미지들을 결과 후보로 지정하고, 상기 결과 후보로 지정된 이미지들을 대상으로 텍스트 정보를 사용해서 검색 후 매칭 점수가 높은 순서로 검색 결과를 출력하는 것을 특징으로 하는 이미지 검색방법.
제8항에 있어서, 상기 텍스트 정보와 하위레벨의 특징정보의 순서의 조합에 따라 이루어지는 재검색이, 텍스트 정보의 유용도를 계산하는 단계, 특징정보의 가중치를 계산하는 단계, 텍스트 정보의 가중치를 텍스트 정보 유용도에 비례하여 계산하는 단계, 계산된 특징정보의 가중치와 텍스트 정보의 가중치를 반영하여 특징정보를 사용했을 때의 유사도와 텍스트 매칭 점수를 합산한 것을 최종 유사도로 계산하는 단계, 상기 계산된 최종 유사도가 높은 순서로 검색 결과를 출력하는 단계로 이루어지는 것을 특징으로 하는 이미지 검색방법.
(a). 사용자 질의에 응답하여 유사 이미지 후보를 출력하는 단계,

(b). 상기 유사 이미지 후보 중에서 사용자가 유사하다고 생각하는 이미지를 선택하는 단계,

(c).상기 선택된 유사 이미지들 중에 키워드가 공통적으로 얼마만큼 포함되었는지를 의미하는 포함 비율의 계산에 의해 구해지는텍스트 정보의 유용도를 계산하여 그 결과에 따라 다음 질의 요소를 결정하여 재검색을 수행하는 단계로 이루어진 것을 특징으로 하는 이미지 검색방법.
제14항에 있어서, 상기 텍스트 정보의 유용도에 따라 선택되는 다음 질의 요소는 텍스트 정보나 하위레벨의 특징정보 중의 하나를 질의 요소로 하는 재검색이나, 둘의 조합을 질의 요소로 하는 재검색, 순서의 조합에 따른 재검색인 것을 특징으로 하는 이미지 검색방법.
삭제
요청되는 질의 내용에 따라 이미지 검색을 수행하고, 검색된 이미지 결과를 제공하는 내용 기반 멀티미디어 검색 시스템에 있어서,

(a).상기 검색 시스템에 이미지 검색을 요청함에 있어, 키워드를 질의 내용으로 제공하고, 상기 키워드가 해당 이미지의 특징으로 묘사되어 있는 이미지 검색을 요청하는 단계,

(b).상기 검색 시스템으로부터 검색된 이미지 결과를 제공받고, 상기 키워드에 의한 이미지 검색 결과 중에서 질의 이미지로서 유사 이미지를 선택하고, 상기 선택된 유사 이미지를 상기 검색 시스템에 제공하여 질의 이미지에 대해 유사한 이미지 검색을 재요청하는 단계,

(c).상기 검색 시스템은 상기 제공된 유사 이미지를 질의 이미지로지정하여 재검색을 수행하는 단계로 이루어진 것을 특징으로 하는 이미지 검색방법.
제17항에 있어서, 재검색을 위한 질의 이미지는 선택된 유사 이미지들 중에서 이전 검색에서 질의 이미지로 사용한 이미지와의 유사도를 기준으로 하여 지정하는 것을 특징으로 하는 이미지 검색방법.
제17항에 있어서,상기 검색된 이미지 결과 중에서 질의 이미지를 선택함에 있어, 상기 검색된 이미지들을 묘사하는 각각의 특징정보를 사용하여 계산된 상기 이미지들간의 유사도를 반영하여 특징정보 가중치를 계산하는 단계를더 포함하는 것을 특징으로 하는 이미지 검색방법.
제 19 항에 있어서, 상기 계산된 특징정보 가중치를 적용하여 재검색을 수행하는 것을 특징으로 하는 이미지 검색방법.
제17항에 있어서, 상기 지정되는 질의 이미지는 하나 또는 복수개인 것을 특징으로 하는 이미지 검색방법.
제21항에 있어서, 상기 지정되는 질의 이미지는 사용자 선택 순서, 또는 사용자 선택 유사 이미지들과 사용자 제작 이미지와의 유사도를 기준으로 지정하는것을 특징으로 하는 이미지 검색방법.
요청되는 질의 내용에 따라 이미지 검색을 수행하고, 검색된 이미지 결과를 제공하는 내용 기반 멀티미디어 검색 시스템에 있어서,

(a).상기 검색 시스템에 이미지 검색을 요청함에 있어, 사용자가 제작한 질의 이미지 및 키워드를 질의 내용으로 제공하는 단계,

(b).상기 검색 시스템은 제공된 상기 사용자 제작 질의 이미지 및 키워드를 이용하여초벌검색을 수행하는 단계,

(c).상기 검색 시스템으로부터 초벌검색된 이미지 결과를 제공받고, 상기 초벌검색된 이미지 결과 중에서 새로운 질의 이미지로서 유사 이미지를 선택하고, 상기 선택된 유사 이미지를 상기 검색 시스템에 제공하여 새로운 질의 이미지에 대해 유사한 이미지 검색을 재요청하는 단계,

(d).상기 검색 시스템은 상기 제공된 유사 이미지를 질의 이미지로 재지정하여 재검색을 수행하는 단계로 이루어진 것을 특징으로 하는 이미지 검색방법.
제23항에 있어서,상기 초벌검색을 수행하는 단계는,

상기 제공된 키워드가 해당 이미지의 특징으로 묘사되어 있는 이미지를 검색하는 단계와, 상기 검색된 이미지 결과에 대하여 상기 제공된 사용자 제작 질의 이미지를 이용하여 유사 이미지 검색을 다시 수행하는 단계로 이루어지는 것을 특징으로 하는 이미지 검색방법.
제23항에 있어서,상기 초벌검색을 수행하는 단계는,

상기 제공된 사용자 제작 질의 이미지를 이용하여 유사 이미지 검색을 수행하는 단계와, 상기 검색된 이미지 결과에 대하여 상기 제공된 키워드가 해당 이미지의 특징으로 묘사되어 있는 이미지를 검색하는 단계로 이루어지는 것을 특징으로 하는 이미지 검색방법.
제23항에 있어서, 상기 초벌검색이, 사용자 제작 질의 이미지에 따른 이미지 검색과 사용자 입력 키워드에 의한 이미지 검색을 함께 수행하는 것을 특징으로 하는 이미지 검색방법.
제26항에 있어서, 상기 초벌검색이, 상기 제작된 이미지를 사용해서 계산된 유사도와 키워드 정보를 비교해서 구해진 키워드 정보 매칭 점수를 조합하여 이루어지는 것을 특징으로 하는 이미지 검색방법.
제24항 또는 제25항 또는 제26항 중의 어느 한 항에 있어서, 상기 재검색을 위한 질의 이미지는 선택된 유사 이미지들 중에서 이전 검색에서 질의 이미지로 사용한 이미지와의 유사도를 기준으로 하여 지정하는 것을 특징으로 하는 이미지 검색방법.
제24항 또는 제25항 또는 제26항 중의 어느 한 항에 있어서, 상기 사용자 선택 유사 이미지를 사용해서 특징정보 가중치를 계산하는 단계를 더 포함하는 것을 특징으로 하는 이미지 검색방법.
제29항에 있어서, 상기 계산된 특징정보 가중치를 적용하여 재검색을 수행하는 것을 특징으로 하는 이미지 검색방법.
제24항 또는 제25항 또는 제26항 중의 어느 한 항에 있어서, 상기 지정되는 질의 이미지는 하나 또는 복수개인 것을 특징으로 하는 이미지 검색방법.
제31항에 있어서, 상기 지정되는 질의 이미지는 사용자 선택 순서, 또는 사용자 선택 유사 이미지들과 사용자 제작 이미지와의 유사도를 기준으로 지정하는 것을 특징으로 하는 이미지 검색방법.
요청되는 질의 요소에 따라 이미지 검색을 수행하고, 검색된 이미지 결과를 제공하는 이미지 검색 장치에 있어서,

(a). 복수개의 서로 다른 질의 요소를 사용한 이미지 검색을 위하여 이종 질의 요소를 순서적, 계층적인 조합으로 입력하기 위한 사용자 인터페이스 수단,

(b). 상기 사용자 인터페이스를 통해서입력된 질의 요소에 대해, 해당 질의 요소에 의하여 요청되는 이미지 검색을 수행하여상기 질의 요소의 순서적, 계층적인 조합에 대응하는 검색 결과를 출력하는 검색수단을 포함하여 구성됨을 특징으로 하는 이미지 검색장치.
제33항에 있어서, 상기 이종 질의 요소가 사용자 제작 질의 이미지, 사용자 질의 이미지, 이미지를 기술하는 텍스트 중의 2종류 이상인 것을 특징으로 하는 이미지 검색장치.
제34항에 있어서, 상기 사용자 인터페이스 수단이 질의 요소에 따라 질의 이미지 제작부, 질의 이미지 선택부, 키워드 질의부를 포함하는 것을 특징으로 하는 이미지 검색장치.
제33항 또는 제34항에 있어서, 상기 사용자 인터페이스 수단에 의해서 선택된 복수개의 유사 이미지를 사용하여 특징정보 간의 가중치 값을 계산하는 가중치 추출수단과, 상기 가중치 값을 적용하여 검색을 수행하는 가중치 적용 검색수단을 더 포함하여 구성됨을 특징으로 하는 이미지 검색장치.
제34항에 있어서, 상기 사용자 인터페이스 수단에 의해서 선택된 복수개의 유사 이미지를 사용하여 다음 순번의 검색을 위한 질의 요소로 텍스트 정보를 사용할 것인지, 하위레벨 특징정보를 사용할 것인지를 결정하는 검색정보 결정수단을 더 포함하여 구성됨을 특징으로 하는 이미지 검색장치.
제37항에 있어서, 상기 검색정보 결정수단은 상기 선택된 복수개의 유사 이미지들 중에 공통적으로 포함된 키워드가 일정 비율 이상 포함되어 있을 경우 해당 키워드를 이용해서 재검색을 수행하고, 그렇지 않을 경우 하위레벨 특징정보를 사용하여 재검색을 수행하는 것을 특징으로 하는 이미지 검색장치.