KR100471927B1 - 웹 기반 영상 데이터 검색 시스템 및 그 방법 - Google Patents

웹 기반 영상 데이터 검색 시스템 및 그 방법 Download PDF

Info

Publication number
KR100471927B1
KR100471927B1 KR20010061901A KR20010061901A KR100471927B1 KR 100471927 B1 KR100471927 B1 KR 100471927B1 KR 20010061901 A KR20010061901 A KR 20010061901A KR 20010061901 A KR20010061901 A KR 20010061901A KR 100471927 B1 KR100471927 B1 KR 100471927B1
Authority
KR
South Korea
Prior art keywords
image
web
database
query
texture
Prior art date
Application number
KR20010061901A
Other languages
English (en)
Other versions
KR20030029410A (ko
Inventor
김영태
강경옥
김진웅
임재형
이희경
노용만
Original Assignee
학교법인 한국정보통신학원
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 한국정보통신학원, 한국전자통신연구원 filed Critical 학교법인 한국정보통신학원
Priority to KR20010061901A priority Critical patent/KR100471927B1/ko
Publication of KR20030029410A publication Critical patent/KR20030029410A/ko
Application granted granted Critical
Publication of KR100471927B1 publication Critical patent/KR100471927B1/ko

Links

Abstract

본 발명에 따른 웹 기반 영상 데이터 검색 시스템은, 메타 검색 엔진 모듈을 통해 웹을 대상으로 영상을 수집하고 수집된 영상 중에서 사용자가 선택한 영상에 대해 메타데이터 추출 모듈에서 MPEG-7 국제 표준 모델 중 영상에 대한 색 및 질감 기술자를 추출하여 선택된 영상 및 영상의 부가 정보와 함께 데이터베이스에 저장한다. 그리고 사용자 인터페이스 모듈을 통해 사용자가 데이터베이스를 대상으로 하는 내용 기반 검색을 위해 인터넷을 통해 질의 영상을 입력하고, 질의 영상 입력 시에는 색 및 질감 기술자에 부여할 가중치를 입력하면, 메타데이터 추출 모듈에서 사용자가 입력된 질의 영상에 대한 색 및 질감 기술자를 추출한 후, 가중치를 적용하여 데이터베이스에 저장된 색 및 질감 기술자들과 유사도를 측정하여 검색 결과를 검색결과 출력 모듈을 통해 출력한다. 이와 같이 본 발명에 따르면, 방대한 웹을 대상으로 영상을 검색할 수 있는 동시에 이를 데이터베이스에 저장함으로써 데이터베이스를 수시로 확장할 수 있으며, 이 데이터베이스를 이용하여 내용기반 검색도 수행할 수 있다. 또한 간접적으로는 사용자가 직접 웹을 대상으로 내용기반 검색이 가능한 효과가 있다.

Description

웹 기반 영상 데이터 검색 시스템 및 그 방법{ System for searching image data being based on web and method thereof }
본 발명은 웹 기반 영상 검색 엔진에 관한 것으로, 보다 상세하게는 MPEG-7 국제 표준 모델 중 영상에 대한 질감 및 색 기술자를 기반으로 하는 통합 검색을 가능하게 하는 웹 기반 영상 데이터 검색 시스템 및 그 방법에 관한 것이다.
요즘, 컴퓨터와 인터넷 활용 기술의 발달로 멀티미디어 데이터는 기하급수적으로 증가하고 있다. 전 세계 누구나 접근이 가능한 인터넷상의 멀티미디어 데이터는 그 수를 다 헤아릴 수 없을 정도로 방대하다.
이러한 방대한 양의 멀티미디어 데이터의 검색은 사용자가 특정 영상을 검색하기 위해 질의어를 입력하면 몇몇 상용 검색 엔진들이 문자 기반 검색을 수행하는데, 영상 자체의 내용을 기반으로 하는 검색이 아니므로 검색 결과에 있어 질의어에 전혀 상관없는 영상이 찾아지는 경우가 많다.
위와 같은 문자 기반 멀티미디어 데이터의 검색의 문제점과 데이터의 효율적 관리, 검색 및 인식의 필요성으로 인해 MPEG-7 표준화 과정에서는 영상의 내용 특징을 기반으로 하는 다양한 검색 알고리즘들이 개발되고 있다.
여기서, MPEG-7은 1998년 초부터 ISO/IEC에서 표준화가 진행되고 있는 국제 표준으로서, 공식적으로 멀티미디어 내용 기술 인터페이스(Multimedia Content Description Interface)라 불린다.
MPEG-7은 시청각 데이터의 압축을 그 목표로 하는 MPEG-1/2/4와는 달리 다양한 종류의 멀티미디어 데이터를 기술하는 방법에 관한 표준이며, 각 기술자들은 멀티미디어 데이터가 갖는 내용에 기반을 두고 만들어지고, 원 멀티미디어 데이터의 내용 특성을 작은 양으로 자세히 표현하기 때문에 지각인지 특성으로 매우 적합하다.
MPEG-7에서, 기술자(Description)는 특징을 어떤 값에 연결시켜 주는 도구이며, 기술구조(Description Schemes)는 기술자들간의 관계를 표현하고, 기술 정의 언어(Description Definition Language)는 기술 구조를 표현한다.
최근에, MPEG-7 표준화에 발맞추어 영상 및 비디오에 대한 내용 기반 검색에 관한 연구가 활발히 이루어지고 있다. 그러나, MPEG-7 국제 표준 기술자를 이용한 영상의 내용 기반 검색 엔진 연구는 시작 단계에 불과하다.
그 밖에, 종래 기술에 따른 영상 검색 시스템은 영상 색인과 검색을 위해 '색 특징 벡터(Color correlogram)'라는 새로운 영상 특징을 정의하였으며, 이러한 정보는 색의 공간적인 상관성을 잘 나타내주기 때문에 내용 기반 영상 검색을 위한 매우 효과적인 특징 정보라 할 수 있다.
상기한 영상 검색 시스템은 색 특징벡터 추출기, 유사도 측정기 등으로 구성되어 색 기반 영상 검색 기능을 제공함으로써 사용자가 영상을 질의로 사용하여 이것과 유사한 색을 가진 영상을 검색하여 그 검색 결과를 제공한다.
그런데, 종래 영상 검색 시스템은 색을 표현하는 특징벡터를 정의하여 색 기반 영상 검색을 제공하고 고정된 데이터베이스를 사용하므로, 웹을 대상으로 영상을 검색 및 수집할 수 없으며 데이터베이스를 확장시킬 수 없고, 텍스트 질의에 의한 영상 검색 기능을 제공할 수 없다는 문제점이 있다.
그 외에도, 종래 영상 검색 시스템에는 압축 영역에서 다해상도(multi-resolution) 처리가 가능하고 웨이블렛 변환을 통해 주파수 영역에서의 상관성을 측정하여 내용 기반 영상 검색을 수행하는 방식이 있다.
위의 방식은 영상의 압축 영역에서 고정된 데이터베이스를 사용하고, 주파수 영역에서의 상관성을 측정하므로 압축되지 않은 영역에서는 처리가 불가능하고, 중심어(keyword) 질의에 의한 영상 검색이 불가능하며, 데이터 베이스를 계속해서 확장시킬 수 없는 문제점이 있다.
한편, 종래 영상 검색 시스템에서 색을 이용하여 영상 데이터베이스를 대상으로 원하는 영상의 고화질 탐색을 수행하는 방식은 컨트롤 유닛, 샘플 영상 입력 유닛, 영상 색 정보 추출 유닛, 공헌 팩터 결정 유닛, 후보 영상 결정 유닛 등으로 구성되어 색을 기반으로 한 영상 검색 기능을 제공한다.
이러한, 색 기반 영상 검색 시스템은 색 특징 값만을 이용해서 영상을 검색하므로 검색의 정확도가 떨어지며, 고정된 데이터베이스를 사용하므로 데이터베이스를 확장시킬 수 없는 문제점이 있다.
본 발명은 위의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 영상 검색시 질의어 뿐만 아니라 질의 영상을 이용한 내용 기반 검색이 가능하고, 질감과 색 기술자를 통합적으로 사용하여 검색 성능을 높일 수 있고, 메타 검색 엔진을 이용해 웹에서 수집한 영상을 대상으로 하는 검색을 수행하여 웹 상에 존재하는 방대한 데이터에 대한 효율적인 내용 기반 검색이 가능한 웹 기반 영상 데이터 검색 시스템 및 방법을 제공하는 것이다.
상기한 바와 같은 목적을 실현하기 위한 본 발명의 한 특징에 따르면, 사용자의 로컬 호스트와 인터넷망을 통해 연결되는 웹기반 영상 데이터 검색 시스템이 제공된다. 이 검색 시스템은, 사용자로부터 질의어 또는 질의 영상을 입력받고, 질의 영상 입력 시 사용자로부터 질감 및 색 기술자에 부여할 가중치를 입력받는 사용자 인터페이스 모듈; 관리자가 입력한 질의어를 토대로 웹에 산재해 있는 영상들을 수집하고, 상기 수집된 영상들 중에서 특정 영상을 선택하는 메타 검색 엔진 모듈; 상기 메타 검색 엔진 모듈을 통해 선택된 영상 또는 상기 사용자 인터페이스 모듈을 통해 입력된 질의 영상에서 질감 및 색 기술자를 추출하는 메타데이터 추출 모듈; 상기 메타 검색 엔진 모듈에서 선택된 영상과 상기 영상에 대한 부가 정보 및 상기 추출된 질감 및 색 기술자를 저장하는 데이터베이스; 및 상기 데이터베이스 내의 영상과 상기 사용자가 검색하고자 하는 질의어 또는 질의 영상과의 유사도를 측정하고, 그 측정 결과에 따라 유사한 순서대로 검색 결과를 출력하는 검색결과 출력 모듈을 포함한다.
이 때, 상기 검색결과 출력 모듈은, 상기 데이터베이스 내 영상들의 질감 및 색 기술자와 질의 영상의 질감 및 색 기술자간의 기하학적 거리를 산출하고, 상기 기하학적 거리에 상기 가중치를 적용하여 유사도를 측정할 수 있다.
또한 상기 사용자 인터페이스 모듈은, 질의 영상 입력시 사용자의 로컬 호스트에 있는 질의 영상을 시스템으로 업로드하는 업로드부를 더 포함할 수 있다.
삭제
삭제
한편, 본 발명의 다른 한 특징에 따르면, 웹에 구현된 사용자 인터페이스, 상기 웹 상에 존재하는 영상을 수집하는 검색 엔진, 상기 수집된 영상으로부터 특정 정보를 추출하는 추출 모듈, 추출된 정보 및 영상을 저장하는 데이터베이스 및 상기 데이터베이스를 대상으로 하여 영상을 검색하여 출력하는 출력 모듈을 포함하는 웹 기반 영상 데이터 검색 시스템에서의 웹 기반 영상 검색 방법이 제공된다. 이 검색 방법은, 상기 검색 엔진이 상기 웹을 대상으로 영상을 수집하는 제1 단계; 상기 추출 모듈이 상기 수집된 영상 중에서 사용자가 선택한 영상에 대한 색 및 질감 기술자를 추출하여 상기 선택된 영상 및 상기 영상의 부가 정보와 함께 상기 데이터베이스에 저장하는 제2 단계; 상기 사용자 인터페이스가 상기 데이터베이스를 대상으로 한 내용기반 영상 검색을 위해 사용자로부터 인터넷을 통해 질의어 또는 질의 영상을 입력받는 제3 단계; 상기 질의 영상이 입력된 경우, 상기 사용자 인터페이스가 사용자로부터 질감 및 색 기술자에 대한 가중치를 입력받는 제4 단계; 상기 추출 모듈이 상기 입력된 영상의 질감 및 색 기술자를 추출하는 제5 단계; 상기 출력 모듈이 상기 입력받은 가중치를 적용하여 상기 데이터베이스에 저장된 질감 및 색 기술자들과 유사도를 측정한 후, 유사도 측정 결과에 따라 유사한 순서대로 검색 결과를 출력하는 제6 단계를 포함한다. 이 때, 상기 제2 단계를 통해 상기 데이터베이스가 원격으로 확장될 수 있다.
상기 부가 정보는, 상기 선택된 영상의 카테고리, 중심어, 파일명, 파일경로, URL 중 적어도 하나를 포함할 수 있다.
그리고 상기 제4 단계는, 상기 데이터베이스 저장된 영상들의 질감 및 색 기술자와, 사용자가 검색하고자 하는 질의 영상의 질감 및 색 기술자간의 기하학적 거리를 산출하고, 상기 기하학적 거리에 상기 가중치를 적용하여 유사도를 측정할 수 있다.
또한 상기 제6 단계는 검색 결과로 영상을 출력한 후 사용자가 재 검색을 요구할 경우에, 상기 검색 엔진을 이용하여 직접 웹을 대상으로 검색 가능하도록 되어 있을 수 있다.
삭제
삭제
삭제
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명하면 다음과 같다.
도 1은 본 발명에 따른 실시예의 웹 기반 영상 데이터 검색 시스템의 구성을 도시한 것이다.
웹 상에 존재하는 자료들을 수집하는 검색 엔진과 이러한 검색 엔진을 사용하는 사용자의 로컬 호스트와 인터넷망을 통해 연결되는 본 발명에 따른 실시예의 시스템은, 도 1에 도시된 바와 같이, 웹에 구현된 사용자 인터페이스를 통해 질의어 또는 질의 영상이 입력되고 사용자의 로컬 호스트에서 질의 영상을 업로드하는 사용자 인터페이스 모듈(10),
관리자가 입력한 질의어를 토대로 웹에 산재해 있는 영상들을 수집하고, 상기 수집된 영상을 출력하면서 여러 메타데이터를 선택 저장하는 메타 검색 엔진 모듈(20),
메타 검색 엔진 모듈(20) 또는 사용자 인터페이스 모듈(10)을 통해 저장된 데이터에서 질감 및 색 기술자를 추출하는 메타데이터 추출 모듈(30),
메타 검색 엔진 모듈(20) 또는 메타데이터 추출 모듈(30)에서 추출된 기술자들과 다른 메타 데이터들이 저장되는 데이터베이스(40), 및
데이터베이스(40) 내의 데이터와 검색하고자 하는 질의어 또는 질의 영상과의 유사도를 측정하고 그 측정 결과에 따라 일정한 순서대로 검색 결과 데이터를 출력하는 검색결과 출력 모듈(50)로 구성된다.
특히, 메타데이터는 카테고리, 중심어, 파일명, 파일경로, URL 등을 나타낸다.
사용자 인터페이스 모듈(10)은 웹에서 구현된 사용자 인터페이스를 통해 사용자가 질의어 필드에 질의어를 입력하거나 질의 영상 필드에 질의 영상을 입력하는 사용자 입력부(11)와, 질의 영상 입력시 사용자의 로컬 호스트에 있는 영상을 업로드 하는 업로드부(13)를 포함한다.
이때, 사용자 입력부(11)에서는 질의 영상이 입력된 경우에 질감 및 색 기술자 중에서 어느 것에 더 중요도를 부여할 것인지 가중치를 선택한다.
메타 검색 엔진 모듈(20)은 관리자가 입력한 질의어 또는 질의 영상을 기존의 상용 웹 검색 엔진에 전달하여 웹에 산재해 있는 영상들을 수집하고 이를 관리자가 선택할 수 있도록 웹 페이지에 출력하는 데이터 수집부(21)와, 데이터 수집부(21)에서 수집된 영상 중에서 데이터베이스(40)에 저장하고자 하는 영상을 선택하고 그 선택된 영상을 특정 디렉토리에 저장하는 데이터 저장부(23)를 포함한다.
검색결과 출력 모듈(50)은 유사도 측정부(51)에서 데이터베이스(40)에 저장되어 있는 영상들의 질감 및 색 기술자들과의 유사도를 측정하고, 데이터 출력부(53)에서 유사도가 높은 영상에서부터 순서대로 검색결과를 웹페이지에 출력한다.
이때, 유사도 측정부(51)에서는 MPEG-7 표준 기술자 중에서 질감과 색 기술자를 모두 사용하므로 두 기술자를 각각 사용했을 때의 유사도 측정 방법인 L1 차분치를 가중합하여 그 값이 가장 작은 영상에서부터 유사 영상들을 출력한다.
상기와 같이 구성되는 본 발명의 웹 기반 영상 데이터 검색 시스템의 동작을 첨부된 웹 기반 영상 데이터 검색 방법의 순서도를 참고하여 설명하면 다음과 같다.
도 2는 본 발명에 따른 실시예의 웹 기반 영상 데이터 검색 방법이 도시된 순서도이다.
도 2에 나타나 있듯이, 메타 검색 엔진 모듈(20)의 데이터 수집부(21)에서는 관리자가 입력한 질의어를 토대로 웹에 산재해 있는 영상들을 수집하고, 그 수집된 영상들 중에서 관리자가 필요한 영상들만을 선택할 수 있도록 웹페이지에 출력한다.(S1) 그리고, 데이터 저장부(23)에서는 관리자가 웹 페이지를 보고 선택한 영상들을 데이터베이스(40)에 저장한다.(S2)
도 3에는 관리자가 '일출'이라는 질의어를 입력한 경우에 메타 검색 엔진의 검색 결과 화면이 도시되어 있다.
먼저, 관리자가 메타 검색 엔진에 '일출'이라는 질의어를 입력하면 도 3에 도시된 (a) 및 (b)과 같은 결과 화면이 출력된다. 여기서, 도 3의 (a)는 '일출'이라는 질의어에 대한 결과 화면의 상측 부분이고, (b)는 결과화면의 하측 부분이다. 질의어에 대한 결과 화면의 상측 부분에서 하측 부분으로 갈수록 질의어와 관련되지 않는 영상들이 출력됨을 알 수 있다.
따라서, 관리자는 (a)의 왼쪽 체크 버튼을 이용하여 관리자가 원하는 영상만을 선택하여 데이터베이스(40)에 저장할 수 있고, (b)의 결과 화면 끝에서 카테고리를 입력할 수 있다.
메타 검색 엔진 모듈(20)을 통해 저장되는 영상은 JPEG나 GIF 파일 형태의 영상이고 그 크기도 다양하다. 따라서, 메타데이터 추출 모듈(30)은 메타 검색 엔진 모듈(20)을 통해 주어진 영상을 RGB(Red, Green, and Blue) 또는 HSV(Hue Saturation Value) 등의 포맷으로 전환하고 크기를 정규화한 후 샘플링하여 MPEG-7 질감과 색 기술자(1)를 비롯해 여러 메타데이터를 추출하고 데이터베이스(40)에 저장한다.(S3)
여기서, MPEG-7 질감 및 색 기술자는 아래 수학식 1과 수학식 2와 같은 M, N개의 구성 요소를 갖는 벡터 형태로 표현될 수 있다.
이때, TD는 MPEG-7의 표준 기술자 중에서 질감 기술자(Texture Descriptor, TD)의 벡터 형태이다. 질감 기술자의 구성은 주어진 영상의 밝기 평균 및 표준 편차인 fDC, fSD와, 라돈 영역에서 지름 방향과 각 방향으로 각각 5개 및 6개씩으로 주파수 영역을 분할하여 만들어진 전체 30개 채널의 에너지 특성을 나타내는 에너지 평균 e1, e2,...,e30 및 표준편자 d1,d2,...,d30 이다.
CD는 MPEG-7 표준 기술자 중에서 색 기술자(Color Descriptor, CD)의 벡터 형태이다. 색 기술자의 구성은 fi로서, fi는 선형 양자화된 64개 빈 중 I번째 빈의 빈 수이다.
다음, 사용자 인터페이스 모듈(10)의 사용자 입력부(11)는 웹 구현된 사용자 인터페이스를 이용해 사용자가 웹 영상에 대한 검색을 희망하는 질의어 또는 질의 영상을 입력한다.(S4)
위에서, 사용자가 질의어를 입력한 경우에, 시스템의 영상 검색 방식은 데이터베이스(40)의 질의어 필드와 단순 스트링 비교로 검색이 이루어진다.
그런데, 사용자가 질의 영상을 입력한 경우에, 사용자는 질감 및 색 기술자에 부여할 가중치(w)를 선택한 후에 업로드부(13)에서 사용자가 선택한 질의 영상을 로컬 호스트에서 업로드 한다.(S5)
그리고, 메타데이터 추출 모듈(30)은 업로드된 질의 영상에서 MPEG-7 질감과 색 기술자(2)를 추출한다.(S6) MPEG-7 질감과 색 기술자(2)는 질감과 색 기술자(1)와 같이 수학식 1 및 수학식 2와 같은 벡터 형태로 표현된다.
이렇게, 메타 검색 엔진 모듈(20)을 통해 선택된 영상의 MPEG-7 질감과 색 기술자(1)와 질의 영상의 질감과 색 기술자(2)를 모두 추출한 후에, 검색결과 출력 모듈(50)은 검색하고자 하는 질의 영상과 데이터베이스(40) 내의 모든 영상들과의 유사도를 측정하여 유사도가 높은 영상부터 차례대로 영상을 출력한다.(S7, S8)
이때, 도 4는 질감 및 색 기술자를 이용한 영상들간의 유사도 측정 과정이 도시된 순서도이다.
도 4를 참고하면, 메타데이터 추출 모듈(30)이 질의 영상에서 MPEG-7 질감 기술자와 색 기술자를 추출한다.(S11) 그리고, 유사도 측정부(51)는 아래 수학식 3 및 수학식 4와 같이 질의 영상과 데이터베이스(40) 내의 영상들의 질감 및 색 기술자의 기하학적 거리를 이용하여 유사도를 측정한다.
여기서, 질감 및 색 기술자의 기하학적 거리는 데이터베이스(40)의 k번째 특징 값을 이용한 질감 차분치와 색 차분치이다.(S12)
수학식 3에서 d는 질감 기술자들간의 기하학적 거리이다. 또한, alpha (k)는 전체 데이터베이스(40)에 대한 k번째 특징 값의 평균으로 특징 값의 정규화 과정에서 사용된다. 그러므로, k는 1부터 62까지의 값을 갖는다.
수학식 4에서 d는 색 기술자들간의 기하학적 거리이다. 여기서, k는 k번째 특징 값을 나타내며, 1부터 64까지의 값을 갖는다.
수학식 5에서 merged distance는 수학식 4의 색 기술자의 기하학적 거리에 사용자가 선택한 가중치(w)를 곱하고 이를 수학식 3의 질감 기술자의 기하학적 거리에 더한 것이다. 이렇게, 질감 기술자와 색 기술자의 각 기하학적 거리를 가중합하고(S13), 위의 수학식 3과 수학식 4에 의해 구해진 질감 및 색 기술자의 기하학적 거리는 아래 수학식 5에 의해 최종적인 유사도를 측정한다.(S14)
상기에서, 수학식 3, 수학식 4, 그리고 수학식 5는 본 발명을 설명하기 위한 유사도 측정의 한 예로서, 본 발명은 위와 같은 기하학적 거리에 한정되지 않고 일반적인 두 벡터의 유사도 측정 방법 및 거리 측정 방법을 포함한 여러 유사도 측정 방법이 사용될 수 있다.
도 5는 사용자 인터페이스 및 영상 검색 결과의 화면들이 도시된 도면이다.
도 5에 나타나 있듯이, 도 5의 (a)는 사용자 인터페이스 화면으로서, 사용자는 중심어(keyword) 필드에 질의어를 입력하여 검색할 수도 있고, 질의 영상(query image) 필드에 로컬 호스트에 있는 영상을 입력하고 가중치를 선택하여 검색할 수도 있다.
도 5의 (b)는 질의 영상에 의한 검색 결과 화면으로서, 화면 왼쪽 상단에 위치한 질의 영상과 가장 유사한 순서로 영상들이 출력된다. 도 5의 (c)는 질의어에 의한 검색 결과 화면으로서, 질의어와 데이터베이스에 있는 질의어 필드와의 단순 스트링 비교에 의해 얻어진 영상들이다.
도 5의 (b)와 (c)의 화면들을 비교해 보면, MPEG-7 표준 기술자인 질감 및 색 기술자를 사용하여 내용 기반 검색을 한 (b)의 출력 영상들과 중심어 질의에 의한 (c)의 출력 영상들이 상호간 높은 유사도를 나타냄을 알 수 있다.
한편, 도 5의 (d)는 데이터베이스에 저장되어 있는 영상들 중에서 16개의 영상을 보여주는 임의의 검색 결과 화면이다. 이러한, 임의의 검색 결과 화면은 데이터베이스에 저장되어 있는 영상들을 미리 사용자에게 보여줌으로써 사용자가 검색하고자 하는 영상과 가장 유사한 영상을 질의 영상으로 선택할 수 있도록 하기 위한 것이다.
유사도 측정부(51)에서 유사도 측정이 완료되면, 데이터 출력부(53)는 유사도가 높은 영상부터 차례로 영상들을 출력하고, 사용자가 검색 결과에 만족하는지를 판단한다.(S9)
사용자가 검색 결과에 만족하는 경우에는 바로 영상 검색 과정을 종료하지만, 사용자가 검색 결과에 만족하지 않을 경우에는 리스트 컨트롤을 두어 영상 검색 결과로 출력되는 영상 중의 하나를 이용하여 보다 정밀한 검색을 하기 위해 S4 단계로 되돌아간다.
일례로, 도 5의 (b), (c), (d) 화면의 오른쪽에는 사용자가 검색 결과 영상들 중에서 하나를 선택하여 질의 영상으로 사용할 수 있도록 하기 위해 리스트 컨트롤을 두고 있다.
또는, 사용자가 검색 결과에 만족하지 않을 경우에는 사용자가 직접 메타 검색 엔진을 이용하여 웹을 대상으로 데이터베이스(40)에 저장되지 않은 영상에 대한 검색을 수행할 수도 있다.
상기 도면과 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의한 웹 기반 영상 검색 시스템 및 방법은 영상 검색시 멀티미디어 데이터의 내용 특징 기술자의 국제 표준인 MPEG-7 기술자를 영상 검색에 이용함으로써 영상의 질감 및 색에 대한 내용을 토대로 사용자가 입력한 질의 영상에 의한 영상 검색을 수행할 수 있는 효과가 있다.
또한, 본 발명은 MPEG-7 표준기술자 중에서 질감 및 색 기술자를 함께 사용함으로써 검색의 정확도를 향상시키고 사용자 중심의 검색이 가능해질 수 있고, 웹 상의 영상들을 메타 검색 엔진을 이용하여 수집 및 저장할 수 있어 웹을 대상으로 한 영상 검색에 활용할 수 있는 효과가 있다.
또한, 본 발명은 사용자가 입력한 질의어 또는 질의 영상에 대한 검색 결과에 만족하지 못할 경우에 이미 출력된 검색 결과의 영상 중에 하나를 이용하여 보다 정밀한 검색을 수행할 수도 있고, 사용자가 직접 메타 검색 엔진을 이용하여 데이터베이스에 저장되지 않은 영상에 대한 임의 검색도 가능하므로 데이터베이스를 계속해서 확장시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 실시예의 웹 기반 영상 데이터 검색 시스템의 구성이 도시된 블록도이다.
도 2는 본 발명에 따른 실시예의 웹 기반 영상 데이터 검색 방법이 도시된 순서도이다.
도 3은 관리자가 '일출'이라는 질의어를 입력한 경우에 메타 검색 엔진의 검색 결과 화면이 도시된 도면이다.
도 4는 질감 및 색 기술자를 이용한 영상들간의 유사도 측정 과정이 도시된 순서도이다.
도 5는 사용자 인터페이스 및 영상 검색 결과의 화면들이 도시된 도면이다.

Claims (12)

  1. 사용자의 로컬 호스트와 인터넷망을 통해 연결되는 웹기반 영상 데이터 검색 시스템에 있어서,
    사용자로부터 질의어 또는 질의 영상을 입력받고, 질의 영상 입력 시 사용자로부터 질감 및 색 기술자에 부여할 가중치를 입력받는 사용자 인터페이스 모듈;
    관리자가 입력한 질의어를 토대로 웹에 산재해 있는 영상들을 수집하고, 상기 수집된 영상들 중에서 특정 영상을 선택하는 메타 검색 엔진 모듈;
    상기 메타 검색 엔진 모듈을 통해 선택된 영상 또는 상기 사용자 인터페이스 모듈을 통해 입력된 질의 영상에서 질감 및 색 기술자를 추출하는 메타데이터 추출 모듈;
    상기 메타 검색 엔진 모듈에서 선택된 영상과 상기 영상에 대한 부가 정보 및 상기 추출된 질감 및 색 기술자를 저장하는 데이터베이스; 및
    상기 데이터베이스 내의 영상과 상기 사용자가 검색하고자 하는 질의어 또는 질의 영상과의 유사도를 측정하고, 그 측정 결과에 따라 유사한 순서대로 검색 결과를 출력하는 검색결과 출력 모듈
    을 포함하는 웹 기반 영상 데이터 검색 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 검색결과 출력 모듈은,
    상기 데이터베이스 내 영상들의 질감 및 색 기술자와 질의 영상의 질감 및 색 기술자간의 기하학적 거리를 산출하고, 상기 기하학적 거리에 상기 가중치를 적용하여 유사도를 측정하는 것을 특징으로 하는 웹 기반 영상 데이터 검색 시스템.
  4. 제 1 항에 있어서,
    상기 사용자 인터페이스 모듈은,
    질의 영상 입력시 사용자의 로컬 호스트에 있는 질의 영상을 시스템으로 업로드하는 업로드부를 더 포함하는 웹 기반 영상 데이터 검색 시스템.
  5. 삭제
  6. 웹에 구현된 사용자 인터페이스, 상기 웹 상에 존재하는 영상을 수집하는 검색 엔진, 상기 수집된 영상으로부터 특정 정보를 추출하는 추출 모듈, 추출된 정보 및 영상을 저장하는 데이터베이스 및 상기 데이터베이스를 대상으로 하여 영상을 검색하여 출력하는 출력 모듈을 포함하는 웹 기반 영상 데이터 검색 시스템에서의 웹 기반 영상 검색 방법에 있어서,
    상기 검색 엔진이 상기 웹을 대상으로 영상을 수집하는 제1 단계;
    상기 추출 모듈이 상기 수집된 영상 중에서 사용자가 선택한 영상에 대한 색 및 질감 기술자를 추출하여 상기 선택된 영상 및 상기 영상의 부가 정보와 함께 상기 데이터베이스에 저장하는 제2 단계;
    상기 사용자 인터페이스가 상기 데이터베이스를 대상으로 한 내용기반 영상 검색을 위해 사용자로부터 인터넷을 통해 질의어 또는 질의 영상을 입력받는 제3 단계;
    상기 질의 영상이 입력된 경우, 상기 사용자 인터페이스가 사용자로부터 질감 및 색 기술자에 대한 가중치를 입력받는 제4 단계;
    상기 추출 모듈이 상기 입력된 영상의 질감 및 색 기술자를 추출하는 제5 단계;
    상기 출력 모듈이 상기 입력받은 가중치를 적용하여 상기 데이터베이스에 저장된 질감 및 색 기술자들과 유사도를 측정한 후, 유사도 측정 결과에 따라 유사한 순서대로 검색 결과를 출력하는 제6 단계
    를 포함하는 웹 기반 영상 데이터 검색 방법.
  7. 제 6 항에 있어서,
    상기 제2 단계를 통해 상기 데이터베이스가 원격으로 확장되는 것을 특징으로 하는 웹 기반 영상 데이터 검색 방법.
  8. 삭제
  9. 제 6 항에 있어서,
    상기 부가 정보는, 상기 선택된 영상의 카테고리, 중심어, 파일명, 파일경로, URL 중 적어도 하나를 포함하는 것을 특징으로 하는 웹 기반 영상 데이터 검색 방법.
  10. 제 6 에 있어서,
    상기 제4 단계는,
    상기 데이터베이스 저장된 영상들의 질감 및 색 기술자와, 사용자가 검색하고자 하는 질의 영상의 질감 및 색 기술자간의 기하학적 거리를 산출하고, 상기 기하학적 거리에 상기 가중치를 적용하여 유사도를 측정하는 것을 특징으로 하는 웹 기반 영상 데이터 검색 방법.
  11. 삭제
  12. 제 6 항에 있어서,
    상기 제6 단계는 검색 결과로 영상을 출력한 후 사용자가 재 검색을 요구할 경우에, 상기 검색 엔진을 이용하여 직접 웹을 대상으로 검색 가능한 것을 특징으로 하는 웹 기반 영상 데이터 검색 방법.
KR20010061901A 2001-10-08 2001-10-08 웹 기반 영상 데이터 검색 시스템 및 그 방법 KR100471927B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20010061901A KR100471927B1 (ko) 2001-10-08 2001-10-08 웹 기반 영상 데이터 검색 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20010061901A KR100471927B1 (ko) 2001-10-08 2001-10-08 웹 기반 영상 데이터 검색 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20030029410A KR20030029410A (ko) 2003-04-14
KR100471927B1 true KR100471927B1 (ko) 2005-03-08

Family

ID=29563702

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20010061901A KR100471927B1 (ko) 2001-10-08 2001-10-08 웹 기반 영상 데이터 검색 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100471927B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11449544B2 (en) 2016-11-23 2022-09-20 Hanwha Techwin Co., Ltd. Video search device, data storage method and data storage device

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
KR20160042161A (ko) 2000-10-11 2016-04-18 로비 가이드스, 인크. 매체 콘텐츠 배달 시스템 및 방법
US7493646B2 (en) 2003-01-30 2009-02-17 United Video Properties, Inc. Interactive television systems with digital video recording and adjustable reminders
KR100612852B1 (ko) * 2003-07-18 2006-08-14 삼성전자주식회사 ＧｏＦ/ＧｏＰ의 질감 표현 방법과, 이를 이용한ＧｏＦ/ＧｏＰ 검색 방법 및 장치
US7698262B2 (en) 2006-03-29 2010-04-13 Electronics And Telecommunications Research Institute Apparatus and method for searching multimedia data based on metadata
KR100869946B1 (ko) * 2006-04-06 2008-11-24 삼성전자주식회사 컨텐츠 관리 서버 및 그의 컨텐츠 관리방법
BRPI0720348A2 (pt) * 2006-10-06 2020-08-18 United Video Properties, Inc. sistemas e métodos para adquirir, categorizar e distribuir mídias em aplicativos de orientação de mídia interativos
US8832742B2 (en) 2006-10-06 2014-09-09 United Video Properties, Inc. Systems and methods for acquiring, categorizing and delivering media in interactive media guidance applications
JP2008146602A (ja) 2006-12-13 2008-06-26 Canon Inc 文書検索装置、文書検索方法、プログラム及び記憶媒体
KR100898757B1 (ko) * 2007-07-16 2009-05-25 이용환 위치정보를 기반으로 한 이미지 검색 방법 및 시스템.
US8160923B2 (en) 2007-11-05 2012-04-17 Google Inc. Video advertisements
US8402025B2 (en) * 2007-12-19 2013-03-19 Google Inc. Video quality measures
US8872940B2 (en) * 2008-03-03 2014-10-28 Videoiq, Inc. Content aware storage of video data
JP2010531010A (ja) * 2008-05-09 2010-09-16 韓国外国語大学校 研究産学協力団 画像と形状記述子とのマッチング
WO2010041785A1 (en) * 2008-10-07 2010-04-15 Kogooryeo Media Solution Method and apparatus for recognizing object in image
US8171043B2 (en) * 2008-10-24 2012-05-01 Yahoo! Inc. Methods for improving the diversity of image search results
US8209715B2 (en) 2008-11-14 2012-06-26 Google Inc. Video play through rates
US10063934B2 (en) 2008-11-25 2018-08-28 Rovi Technologies Corporation Reducing unicast session duration with restart TV
KR101189609B1 (ko) * 2011-03-03 2012-10-10 (주)엔써즈 이미지에 기반한 동영상 관련 서비스 제공 시스템 및 방법
US8805418B2 (en) 2011-12-23 2014-08-12 United Video Properties, Inc. Methods and systems for performing actions based on location-based rules
KR102156440B1 (ko) * 2013-12-10 2020-09-17 한국전자통신연구원 시각언어 기반의 영상주석 자동 생성 장치 및 방법
KR102639278B1 (ko) * 2018-07-02 2024-02-22 주식회사 넥슨코리아 게임 제공 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11449544B2 (en) 2016-11-23 2022-09-20 Hanwha Techwin Co., Ltd. Video search device, data storage method and data storage device

Also Published As

Publication number Publication date
KR20030029410A (ko) 2003-04-14

Similar Documents

Publication Publication Date Title
KR100471927B1 (ko) 웹 기반 영상 데이터 검색 시스템 및 그 방법
JP4981221B2 (ja) メディア・セグメント化システムおよび関連する方法
US6594386B1 (en) Method for computerized indexing and retrieval of digital images based on spatial color distribution
Liu et al. A survey of content-based image retrieval with high-level semantics
KR100451649B1 (ko) 이미지 검색방법과 장치
JP4937578B2 (ja) 情報処理方法
KR20010053788A (ko) 내용기반 이미지 검색 시스템 및 그 방법
JP2006277169A (ja) 画像データの管理
Singh et al. Image retrieval based on the combination of color histogram and color moment
KR20070009338A (ko) 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치
Zachary et al. Content based image retrieval systems
CN101589387B (zh) 信息处理
KR20090037704A (ko) 직관적 이미지 검색을 위한 이미지의 메타 데이터 생성방법
Barros et al. Indexing multispectral images for content-based retrieval
Khokher et al. Image retrieval: A state of the art approach for CBIR
CN107609104A (zh) 根据视频图像素材查找相关视频的方法和系统
Khodaskar et al. Content based image retrieval with semantic features using object ontology
Sebastine et al. Semantic web for content based video retrieval
Mejdoub et al. Fast algorithm for image database indexing based on lattice
Mandavi et al. Content based image retrieval and classification using principal component analysis
Khokher et al. Evaluation of a content-based image retrieval system using features based on colour means
KR20030009674A (ko) 내용 기반 영상 검색 장치 및 방법
Athanasakos et al. A signature tree content-based image retrieval system
Kumari et al. A Study and usage of Visual Features in Content Based Image Retrieval Systems.
JP2005505081A (ja) マルチメディア文書のインデックスおよび比較方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090202

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee