KR101912794B1

KR101912794B1 - 영상 검색 시스템 및 영상 검색 방법

Info

Publication number: KR101912794B1
Application number: KR1020130145460A
Authority: KR
Inventors: 박동준; 유연걸; 신학철
Original assignee: 한화테크윈 주식회사
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2018-10-29
Also published as: US11347786B2; KR20150061390A; US20160239521A1; WO2015080371A1

Abstract

본 발명은 영상 검색 시스템 및 영상 검색 방법을 개시한다.
본 발명의 실시예에 따른 영상 검색 시스템은, 질의 영상에 입력된 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 쿼리 엔진; 상기 검색 질의에 매칭하는 영상 데이터를 추출하는 검색 엔진; 및 상기 추출된 영상 데이터를 표시하는 디스플레이 장치;를 포함할 수 있다.

Description

영상 검색 시스템 및 영상 검색 방법{Video Search System and Video Search method}

본 발명은 영상 검색 시스템 및 영상 검색 방법에 관한 것이다.

이미지, 비디오 등 멀티미디어 서비스의 수요가 증가하고 휴대용 멀티미디어 기기가 보편적으로 보급되면서 방대한 양의 멀티미디어 데이터를 관리하고 소비자가 원하는 컨텐츠를 빠르고 정확하게 찾아내 제공하는 효율적인 멀티미디어 검색 시스템의 필요성도 커지고 있다.

텍스트 기반 검색은 시각적 정보를 담고 있는 이미지를 텍스트만으로 표현하는 것이 어렵다는 점 때문에 사용자의 요구를 완전히 충족시키기 어렵다.

한국공개특허 2013-0059040호

본 발명은 사용자가 편리하게 검색할 수 있는 검색 시스템 및 검색 방법을 제공하고자 한다.

본 발명의 실시예에 따른 영상 검색 시스템은, 질의 영상에 입력된 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 쿼리 엔진; 상기 검색 질의에 매칭하는 영상 데이터를 추출하는 검색 엔진; 및 상기 추출된 영상 데이터를 표시하는 디스플레이 장치;를 포함할 수 있다.

상기 쿼리 엔진은, 복수의 스케치 질의들 간의 색상 일치 여부에 따라 상기 복수의 스케치 질의들에 대해 논리연산을 수행할 수 있다.

상기 쿼리 엔진은, 동일한 색상의 스케치 질의들에 대해 AND 논리연산을 수행하여 검색 질의를 재구성하고, 서로 다른 색상의 스케치 질의들에 대해 OR 논리연산을 수행하여 검색 질의를 재구성할 수 있다.

원(Circle)으로 표현되는 스케치 질의는 원의 종류에 따라 상기 원에 의해 선택된 물체의 카테고리 또는 속성을 의미할 수 있다.

삼각형(Triangle)으로 표현되는 스케치 질의는 상기 삼각형의 밑변을 크로싱하며 꼭지각 방향으로 이동하는 물체 검출을 의미할 수 있다.

화살표(Arrow)로 표현되는 스케치 질의는 상기 화살표의 크기에 따라 단일 또는 복수 물체의 모션 방향을 의미할 수 있다.

선(Line)으로 표현되는 스케치 질의는 상기 선의 굵기에 따라 단일 또는 복수 물체의 동선을 의미할 수 있다.

사각형 또는 다각형으로 표현되는 스케치 질의는 상기 사각형 또는 다각형이 위치한 영역에서 단일 물체의 모션 여부 또는 복수 물체들 간의 상호작용을 의미할 수 있다.

임의의 형상으로 표현되는 스케치 질의는 상기 임의의 형상 내 선의 종류에 따라 상기 임의의 형상에 의해 선택된 물체의 속성을 의미할 수 있다.

상기 영상 검색 시스템은, 상기 스케치 질의를 입력하는 입력 툴을 제공하는 스케치 입력부;를 더 포함할 수 있다.

상기 스케치 입력부는, 상기 입력 툴에서 특정 스케치 질의가 선택되고, 상기 질의 영상 내에서 상기 스케치 질의가 위치할 특정 영역이 선택되면, 상기 위치에서 선택이 유지되는 시간에 따라 상기 질의 영상에 입력되는 스케치 질의의 크기를 제어할 수 있다.

본 발명의 실시예에 따른 영상 검색 방법은, 질의 영상에 입력된 스케치 질의를 추출하는 단계; 상기 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 단계; 상기 검색 질의에 매칭하는 영상 데이터를 추출하는 단계; 및 상기 추출된 영상 데이터를 표시하는 단계;를 포함할 수 있다.

상기 검색 질의 재구성 단계는, 복수의 스케치 질의들 간의 색상 일치 여부에 따라 상기 복수의 스케치 질의들에 대해 논리연산을 수행하는 단계;를 포함할 수 있다.

상기 검색 질의 재구성 단계는, 동일한 색상의 스케치 질의들에 대해 AND 논리연산을 수행하여 검색 질의를 재구성하는 단계;를 및/또는 동일한 색상의 스케치 질의들에 대해 OR 논리연산을 수행하여 검색 질의를 재구성하는 단계;를 포함할 수 있다.

상기 영상 검색 방법은, 상기 스케치 질의를 입력하는 입력 툴을 제공하는 단계;를 더 포함할 수 있다.

상기 영상 검색 방법에서, 상기 입력 툴에서 특정 스케치 질의가 선택되고, 상기 질의 영상 내에서 상기 스케치 질의가 위치할 특정 영역이 선택되면, 상기 위치에서 선택이 유지되는 시간에 따라 상기 질의 영상에 입력되는 스케치 질의의 크기가 제어될 수 있다.

본 발명은 사용자가 편리하게 검색 조건을 입력하고, 검색 결과로부터 쉽게 내용파악을 할 수 있다.

도 1은 본 발명의 실시 예에 따른 영상 검색 시스템의 구성을 보이는 블록도 이다.
도 2는 본 발명의 실시예에 따른 쿼리 엔진의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 스케치 질의 입력을 설명하기 위한 예시도이다.
도 4 내지 도 6b는 본 발명의 일 실시예에 따른 스케치 질의의 예를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 검색 시스템의 영상 분석 방법을 설명하는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 검색 시스템의 영상 검색 방법을 설명하는 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

도 1은 본 발명의 실시 예에 따른 영상 검색 시스템의 구성을 보이는 블록도 이다. 도 1을 참조하면, 영상 검색 시스템(1)은 분석부(100), 데이터베이스부(300) 및 검색부(500)를 포함한다.

분석부(100)는 입력되는 영상을 온톨로지에 기반하여 분석하고, 분석 결과를 메타데이터 형태로 저장한다. 분석부(100)는 영상 분석 엔진(101) 및 인덱싱 엔진(105)을 포함할 수 있다.

영상 분석 엔진(101)은 영상을 분석하고, 기 정의된 카테고리에 따라 영상을 분류하고, 영상에서 검출되는 물체의 속성, 예를 들어, 종류, 색상, 크기, 형태, 움직임, 궤적(trajectory) 등을 추출한다. 카테고리라 함은, 사용자가 결과로 제공받고자 입력하는 검색 조건일 수 있다. 각 카테고리는 관계 및 의미가 기 정의되어있다. 관계 정의는 사용자의 검색 필요성을 분석한 후, 각 카테고리의 연관성을 고려하여 정의할 수 있다.

영상 분석 엔진(101)은 영상 내에서 물체의 등장, 사라짐, 물체의 움직임 감지, 영상 꺼짐 등과 같은 영상 분석을 수행할 수 있다. 또한 영상 분석 엔진(101)은 배경 영역 검출, 전경 및 물체 검출, 물체 카운팅, 카메라 탬퍼링(camera tampering) 검출, 얼굴 검출 등을 수행할 수 있다. 또한 영상 분석 엔진(101)은 영상의 밝기(brightness), 색상(color), 질감(texture) 및 윤곽선(shape) 정보도 산출할 수 있다.

더 나아가 영상 분석 엔진(101)은 영상 분석을 수행하여 설정된 이벤트 발생 조건에 만족하는 경우 이벤트를 발생시킨다. 여기서 이벤트라 함은, 네트워크 에러가 발생한 경우, 새로운 카메라(미도시)가 설정된 경우 등과 같이 시스템 내부에 설정된 시스템 이벤트를 포함할 수 있다. 또한 입력 영상의 경우에 물체의 출현, 사용자가 특정한 이미지(예를 들어 얼굴 인식이 불가능한 얼굴 등장) 발생, 화면 색깔이 바뀌는 경우, 설정된 영역에서 움직임 발생한 경우, 음원의 경우에 비정상적인 음원(예를 들어, 자동차 타이어 마찰음(스키드), 유리 깨지는 소리, 경보음, 충돌음 등) 발생, 사용자가 특정한 음원(예를 들어, 고함, 비명, 울음 소리 등) 발생, 임계값 이상의 음성이 발생한 경우 등과 같이 사용자에 의해 설정된 사용자 이벤트를 포함할 수 있다.

영상 분석 결과는 메타데이터 형태로 메타데이터 데이터베이스(303)에 저장된다. 이때 텍스트 기반 메타데이터 외에 움직임 영역의 블랍 이미지, 배경 모델과 같은 이미지 기반 메타데이터가 함께 메타데이터 데이터베이스(303)에 저장될 수 있다. 배경 모델은 스케치가 입력될 질의 영상으로 사용될 수 있다.

인덱싱 엔진(105)은 검색이 용이하도록 메타데이터를 구조화 및 정리하여 인덱스 데이터베이스(305)에 저장한다.

검색부(500)는 사용자로부터 입력된 검색 조건과 일치하는 정보를 포함하는 영상 데이터를 추출하여 제공한다. 검색부(500)는 쿼리 엔진(501), 검색 엔진(503), 및 브라우징 엔진(505)을 포함할 수 있다.

쿼리 엔진(501)은 사용자로부터 입력 장치(600)를 통해 검색 조건을 입력받고, 검색 조건으로부터 사용자의 요구 사항을 분석하여 기 정의된 형태로 재구성한다. 예를 들어, 사용자는 입력 장치(600)를 통해 시간 구간, 카메라 채널 수, 물체의 종류(사람, 차량 등), 색상, 화면 상의 특정 구역(관심 영역: ROI), 화면 상의 특정 라인 및 특정 방향 등을 검색 조건으로 입력할 수 있다.

또한 쿼리 엔진(501)은 질의 영상에 직관적이고 간단한 선, 사각형, 원 등의 도형 및 기호를 하나 이상 포함하는 스케치 질의를 입력할 수 있는 스케치 입력 툴을 제공할 수 있다. 사용자는 입력 장치(600)를 이용하여 제공된 스케치 입력 툴을 통해 질의 영상에 스케치 질의를 검색 조건으로 입력할 수 있다. 스케치 질의를 구성하는 도형 및 기호는 검색어의 기능을 한다. 각 스케치 질의에는 정의(description) 및 속성(attribute)이 부여되어, 검색 조건의 확장이 가능하다. 쿼리 엔진(501)은 질의 영상에 입력된 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성할 수 있다.

본 발명의 실시예에 따른 스케치 질의에 의한 영상 검색은, 영상을 분류하여 의미 정보를 얻고, 검색 시 검색 공간을 줄여 빠른 검색이 가능하며, 스케치 질의를 통해 사용자가 원하는 영상을 편리하게 적극적으로 표현할 수 있다.

검색 엔진(503)은 검색 조건에 따라 기 저장된 데이터베이스로 접근하여 필요한 정보를 찾는다. 검색 엔진(503)은 검색 질의에 매칭하는 또는 유사한 인덱스 데이터를 인덱스 데이터베이스(305)로부터 추출하고, 영상 데이터베이스(301)로부터 추출된 인덱스 데이터에 대응하는 영상 데이터를 추출한다. 검색 엔진(503)은 검색 질의를 이용한 내용기반 영상 검색을 수행함으로써 검색 질의에 매칭하는 하나 이상의 영상 데이터를 추출할 수 있다.

브라우징 엔진(505)은 검색 결과, 즉 추출된 인덱스 데이터 및 영상 데이터를 기초로 기 정의된 형태의 결과 영상을 생성하여 디스플레이 장치(700)에 실시간 렌더링할 수 있다. 브라우징 엔진(505)은 시간 정보(물체 등장 시간, 이벤트 발생 시간 등)를 결과 영상에 표시시킬 수 있다. 브라우징 엔진(505)은 배경 모델을 렌더링하고, 배경 모델에 중첩하여 검색 결과에 대응하는 하나 이상의 움직이는 물체를 렌더링할 수 있다. 또한 브라우징 엔진(505)은 검색 질의에 매칭하는 하나 이상의 결과 영상 리스트를 제공하고, 결과 영상 리스트 중 선택된 결과 영상을 실시간 렌더링할 수 있다.

결과 영상은 요약 영상일 수 있다. 영상을 짧게 구성하여 축약하는 것을 영상 요약(Video summary)이라 한다. 즉, 영상 요약은 원본 영상의 재생 길이보다 짧게 구성하는 것이다. 검색 결과가 여러 개의 영상 구간으로 이루어져 있을 경우, 사용자는 각 영상을 재생하여야 원본 영상의 내용을 파악할 수 있다. 이러한 개별 재생은 사용자에게 불편하며, 시간이 많이 걸린다. 이에 반해 영상 요약은 검색 결과를 모두 하나의 영상으로 축약하여 재생토록 함으로써 사용자에게 편리한 내용 파악 기능을 제공할 수 있다.

데이터베이스부(300)는 입력 영상 및 영상 분석 결과 등을 저장한다. 데이터베이스부(300)는 영상 데이터베이스(301), 메타데이터 데이터베이스(303) 및 인덱스 데이터베이스(305)를 포함할 수 있다.

입력 영상은 영상 검색 시스템(1)에 연결된 영상 센서인 카메라(미도시)로부터 직접 전송된 영상일 수 있고, 영상 검색 시스템(1)에 연결된 디지털 비디오 레코더(DVR: digital video recorder) 또는 네트워크 비디오 레코더(NVR: network video recorder)에 저장된 영상일 수 있고, 또는 네트워크(미도시)를 통하여 다양한 경로로 입력되는 영상일 수 있다.

영상 검색 시스템(1)으로 입력된 영상은 영상 데이터베이스(301)에 저장된다.

영상의 분석 결과는 텍스트(text) 기반의 메타데이터 형식으로 메타데이터 데이터베이스(303)에 저장된다. 또한 메타데이터 데이터베이스(303)에는 영상의 일부인 이미지(image) 기반의 메타데이터, 예를 들어, 움직임이 감지된 물체의 블랍 이미지 및 배경 모델이 저장될 수 있다.

사용자 단말(800)은 영상 검색 시스템(1)을 관리하는 사용자 또는 보안 관계자가 사용하는 단말로서, PC 또는 이동 단말기일 수 있다. 사용자는 사용자 단말(800)을 통해 영상 검색 시스템(1)을 제어할 수 있다. 사용자 단말(800)은 영상 검색 시스템(1)에 질의(검색 조건)를 입력할 수 있는 사용자 인터페이스인 입력 장치(600)를 구비한다.

입력 장치(600)는 영상 검색 시스템(1)과 유선 또는 무선으로 연결되어 사용자가 영상 검색 시스템(1)의 동작 제어를 위한 입력 데이터를 발생시킨다. 입력 장치(600)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 마우스, 리모컨, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 사용자 단말(800)은 입력 장치(600)를 사용하여 검색 조건을 수정, 추가, 또는 삭제를 수행하여, 결과 영상의 표시 조건을 설정할 수 있다. 사용자는 입력 장치(600)를 이용하여 제공된 스케치 입력 툴을 통해 질의 영상에 스케치 질의를 입력할 수 있다.

사용자 단말(800)은 스케치 질의를 재구성한 검색 질의에 매칭하는 결과 영상을 디스플레이 장치(700)에 표시할 수 있다.

디스플레이 장치(700)는 브라우징 엔진(505)으로부터 출력되는 결과 영상을 사용자에게 제공함으로써, 사용자가 표시되는 영상을 모니터링할 수 있도록 한다. 또한 디스플레이 장치(700)는 스케치 질의를 입력, 수정, 추가 또는 삭제할 수 있도록 질의 영상 및 스케치 입력 툴을 표시할 수 있다. 디스플레이 장치(700)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 디스플레이 장치(700)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이 장치(700)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 입력 인터페이스로서 동작할 수 있다.

도 2는 본 발명의 실시예에 따른 쿼리 엔진의 구성을 개략적으로 도시한 블록도이다.

도 2를 참조하면, 쿼리 엔진(501)은 스케치 정의부(510), 스케치 입력부(530), 스케치 추출부(550) 및 질의 재구성부(570)를 포함할 수 있다.

스케치 정의부(510)는 검색을 위한 스케치 질의를 규정할 수 있다. 라인을 그려서 찾고자 하는 물체의 모션의 검색 조건을 지정하는 행위는 매우 직관적이다. 본 발명의 실시예는 이러한 직관성을 증가시키기 위하여 일관된 사용성과 확장성의 스케치 쿼리 프레임워크(Sketch Query Framework)를 제시한다. 본 발명의 실시예에 따른 프레임워크는 자연어와 유사한 구조를 가진다. 자연어는 개별적인 단어가 정의되어 있으며, 단어를 조합하여 의미를 확장한 문장으로 구성할 수 있다. 이를 위해 본 발명의 실시예는 미리 대표적인 기본단어를 정의하여 사용자에게 제공한다. 또한 본 발명의 실시예는 기본 단어에 대해 속성을 부여함으로써 검색어로 사용할 수 있는 검색 조건을 기본 단어에서 확장하여 정의할 수 있다.

스케치 정의부(510)는 직관적이고 간단한 도형이나 기호를 검색을 위한 기본 단어(vocabulary)로 하고, 각 단어에 정의(Description) 및 속성(attribute)을 부여할 수 있다. 스케치 정의부(510)는 단어마다 정의-속성 관계 정보를 생성하여 메모리에 저장할 수 있다. 하기 표 1은 스케치 질의를 구성하는 각 단어에 부여된 정의-속성 관계 정보를 나타낸 예이다. 스케치 질의의 색상은 사용자가 임의로 선택할 수 있다.

Vocabulary	Description	Attribute
화살표(Arrow)	물체 모션의 방향	크기 - Single Object (Small) - Multiple Object, Crowd (Large)
라인(Line)	물체의 진행 동선	굵기 - Single Object (Thin) - Multiple Objects, Crowd (Thick)
사각형(Rectangle)/다각형(Polygon)	구역선택 - 단독사용 (Motion 여부) - 동선과 혼합 (물체간 상호작용)
채워진 원 (Solid Circle)	물체 분류 (Object Classification)
고리형 원 (Ring Circle)	물체 속성 (Attribute)	Lines - Color (Vertical) - Shape (Horizontal) - Both (No Lines)
임의 형상 (Free Shape)	물체 속성 (Attribute)	Lines - Color (Vertical) - Shape (Horizontal) - Both (No Lines)
삼각형(Triangle)	Virtual Line 과 동일 (Line Crossing + Motion Direction)

화살표(Arrow)는 물체 모션의 방향으로 정의되는 스케치 질의이다. 화살표에는 화살표의 크기에 따라 속성이 부여될 수 있다. 예를 들어, 화살표가 작으면 단일 물체의 모션 방향으로 정의되고, 화살표가 크면 복수 물체 또는 집단의 모션 방향으로 정의될 수 있다. 화살표의 크기는 화살표의 크기 및/또는 굵기를 포함할 수 있다.

선(Line)은 물체의 진행 동선으로 정의되는 스케치 질의이다. 선에는 선의 굵기에 따라 속성이 부여될 수 있다. 예를 들어, 선이 얇으면 단일 물체의 진행 동선으로 정의되고, 선이 굵으면 복수 물체 또는 집단의 진행 동선으로 정의될 수 있다.

사각형(Rectangle) 또는 다각형(Polygon)은 사각형 또는 다각형이 위치한 영역의 선택으로 정의되는 스케치 질의이다. 이때, 사각형 또는 다각형이 단독으로 사용되면, 사각형 또는 다각형이 위치한 영역에서 모션 여부로 정의되고, 라인(Line) 또는 화살표(arrow)와 함께 사용되면 물체들 간의 상호작용으로 정의될 수 있다.

채워진 원(Solid Circle)은 물체 분류로 정의되는 스케치 질의이다. 즉, 원이 선택한 물체가 속하는 카테고리를 나타낸다.

고리형 원(Ring Circle)은 물체 속성으로 정의되는 스케치 질의이다. 고리형 원에는 원 내부의 선에 따라 속성이 정의될 수 있다. 예를 들어, 원 내부에 수직선(Vertical line)이 그려진 경우 원이 커버하는 물체의 색상으로 정의되고, 수평선(Horizontal line)이 그려진 경우 원이 커버하는 물체의 모양으로 정의되고, 선이 그려지지 않은 경우 원이 커버하는 물체의 색상 및 모양으로 정의될 수 있다. 여기서 물체는 질의 영상의 배경 또는 움직이는 물체 등을 모두 포함할 수 있다.

물체는 분류와 특징의 두 가지 검색 사항이 존재한다. 분류는 물체의 정의이며, 사람/차/동물 등의 카테고리 기준을 말한다. 특징은 물체가 가지고 있는 속성이며, 속성에는 크기/모양/색상 등이 있다. 본 발명의 실시예에서는 분류와 속성을 원의 종류로 표시한다. 즉, 채워진 원(Solid Circle)은 물체의 분류 정보를 나타내고, 고리형 원(Ring Circle)은 속성을 나타낸다. 이러한, 사용자 인터페이스(UI) 구조를 통해서 사용자는 화면상의 임의의 물체를 선택할 수 있으며, 물체의 카테고리를 원하는지 속성을 원하는지 표현할 수 있다. 물체 속성의 선택은 고차원 의미 특징(High-level semantic feature)을 표현하기 위해 유용한 기능이다. 고차원 의미 특징(High-level semantic feature)이라 함은 복잡한 사항 등을 모델링 하기 위하여 특정부분이나 특정의미(Semantic)를 특징(Feature)으로서 사용하는 개념이다. 본 발명의 실시예에서는 물체가 가진 속성을 선택할 수 있도록 함으로써 물체의 전체 행동이나 물체의 부분 특징을 정의할 수 있다.

임의 형상(Free Shape)은 물체 속성으로 정의되는 스케치 질의이다. 임의 형상은 내부의 선에 따라 속성이 정의될 수 있다. 예를 들어, 형상 내부에 수직선(Vertical line)이 그려진 경우 형상이 커버하는 물체의 색상으로 정의되고, 수평선(Horizontal line)이 그려진 경우 형상이 커버하는 물체의 모양으로 정의되고, 선이 그려지지 않은 경우 형상이 커버하는 물체의 색상 및 모양으로 정의될 수 있다. 여기서 물체는 질의 영상의 배경 또는 움직이는 물체 등을 모두 포함할 수 있다.

삼각형(Triangle)은 밑변을 크로싱하며 꼭지각 방향으로 이동하는 물체 검출로 정의될 수 있다.

본 발명의 실시예에 따른 영상 검색 시스템(1)은 개별 스케치 질의에 의한 단일 검색 또는 복수의 스케치 질의 조합에 의한 검색이 가능하다.

스케치 입력부(530)는 디스플레이 장치(700)에 스케치 입력 툴을 제공할 수 있다. 스케치 입력 툴은 질의 영상 및 질의 영상에 입력할 수 있는 간단한 도형 및 기호를 제공하는 메뉴를 제공할 수 있다. 또한 스케치 입력 툴은 사용자가 임의로 도형 및 기호를 그릴 수 있는 메뉴를 제공할 수 있다. 사용자는 마우스를 사용하여 포인터를 물체 상에 위치하게 한 후 선택영역을 키워서 물체를 선택할 수 있다. 이는 터치스크린에서도 동일하게 작용할 수 있다.

예를 들어, 사용자는 스케치 입력 툴을 이용하여 채워진 원(Solid Circle) 또는 고리형 원(Ring Circle)을 스케치 질의로서 입력할 수 있다. 이 경우, 사용자는 화면의 질의 영상 내 타겟 위치에서 마우스, 손가락 또는 터치 펜 등을 유지 또는 터치하는 시간을 조절함으로써 원의 크기를 조절할 수 있다. 또한 사용자는 스케치 입력 툴을 이용하여 임의 형상(Free Shape)을 스케치 질의로서 입력할 수 있다. 이 경우, 사용자는 화면의 질의 영상 내 타겟 위치에서 마우스, 손가락 또는 터치 펜 등을 이용하여 원하는 모양을 스케치할 수 있다.

스케치 추출부(550)는 질의 영상에 스케치 질의가 입력되면, 스케치 질의의 특징을 추출하고, 스케치 특징을 기초로 스케치 질의를 인식함으로써 스케치 질의에 부여된 정의 및 속성을 판단할 수 있다.

질의 재구성부(570)는 각 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성할 수 있다. 질의 재구성부(570)는 복수의 스케치 질의들 간의 색상 일치 여부에 따라 복수의 스케치 질의들에 대해 논리연산을 수행할 수 있다. 질의 재구성부(570)는 동일한 색상의 스케치 질의들에 대해 AND 논리연산을 수행하여 검색 질의를 재구성할 수 있다. 질의 재구성부(570)는 서로 다른 색상의 스케치 질의들에 대해 OR 논리연산을 수행하여 검색 질의를 재구성할 수 있다.

AND 조건은 논리곱(Logical Conjunction)으로 조건이 모두 참(true)일 때 결과가 참(true)이다. OR 조건은 논리합(Logical Disjunction)으로 조건이 하나라도 참(true)이면 결과가 참(true)이다. 복수의 스케치 질의들이 모두 동일한 컬러이면 검색 엔진(503)은 모든 스케치 질의를 만족하는 영상 데이터를 추출하고, 모두 다른 컬러이면 검색 엔진(503)은 하나의 스케치 질의라도 만족하는 영상 데이터를 추출할 수 있다.

도 3은 본 발명의 실시예에 따른 스케치 질의 입력을 설명하기 위한 예시도이다.

도 3을 참조하면, 스케치 입력부(530)는 디스플레이 장치(700)에 질의 영상(A) 및 스케치 입력 툴(T)을 제공할 수 있다. 스케치 입력 툴(T)은 복수의 스케치 질의 단어들을 선택할 수 있는 메뉴를 제공할 수 있다. 사용자는 손가락 또는 마우스 포인터(M) 등을 이용하여 스케치 입력 툴(T)에서 입력하고자 하는 스케치 질의를 선택하고, 질의 영상(A)에서 스케치 질의를 입력할 위치를 선택할 수 있다. 이때 사용자는 질의 영상(A)에서 스케치 질의의 크기가 원하는 크기가 될 때까지 마우스 포인터(M)를 그 위치에서 일정 시간 동안 유지할 수 있다.

도 4 내지 도 6b는 본 발명의 일 실시예에 따른 스케치 질의의 예를 나타낸 도면이다.

도 4를 참조하면, 질의 영상(A1)에 세 개의 스케치 질의(B1, B2, C)가 입력되어 있다. B1, B2는 작은 화살표로 표시된 스케치 질의이다. B1은 오른쪽에서 왼쪽으로 물체의 모션 방향을 정의하고, B2는 왼쪽에서 오른쪽으로 물체의 모션 방향을 정의한다. C는 사각형으로 표시된 스케치 질의이다. C는 B1 및 B2와 혼합하여 물체 간 상호작용을 정의한다.

쿼리 엔진(501)은 입력된 스케치 질의들(B1, B2, C)의 특징을 추출하여 스케치 질의를 인식한다. 쿼리 엔진(501)은 인식된 각 스케치 질의(B1, B2, C)에 부여된 정의 및 속성을 파악하고, 스케치 질의들(B1, B2, C)에 대해 논리연산(AND 연산)을 수행하여, B1의 동선을 갖는 물체와 B2의 동선을 갖는 물체가 C의 위치에서 상호작용하는 이벤트의 검색을 요청하는 검색 질의를 재구성할 수 있다.

도 5a를 참조하면, 질의 영상(A2)에 스케치 질의(D)가 입력되어 있다. D는 채워진 원(Solid Circle)으로 표시된 스케치 질의이다. D는 원이 커버하는 물체의 분류를 정의한다. D가 커버하는 물체는 차량(Vehicle)이라는 카테고리로 분류될 수 있다.

쿼리 엔진(501)은 입력된 스케치 질의(D)의 특징을 추출하여 스케치 질의를 인식한다. 쿼리 엔진(501)은 인식된 스케치 질의(D)에 부여된 정의 및 속성을 파악한다. 즉, 쿼리 엔진(501)은 선택된 물체의 분류 카테고리가 무엇인지 파악하여, 검색 엔진(503)이 유사한 분류의 물체 등장 영상을 검색하도록 한다. 도 4a의 경우, 쿼리 엔진(501)은 차량이 선택되었음을 파악하고, 차량 또는 차량과 유사한 물체가 등장하는 이벤트의 검색을 요청하는 검색 질의를 재구성할 수 있다.

도 5b를 참조하면, 질의 영상(A2)에 스케치 질의(E1)가 입력되어 있다. E는 내부에 선이 없는 고리형 원(Solid Circle)으로 표시된 스케치 질의이다. E는 원이 커버하는 물체의 색상과 모양을 정의한다.

쿼리 엔진(501)은 입력된 스케치 질의(E1)의 특징을 추출하여 스케치 질의를 인식한다. 쿼리 엔진(501)은 인식된 스케치 질의(E1)에 부여된 정의 및 속성을 파악하여, 원이 커버하는 차량의 컬러 및 모양과 동일한 물체가 등장하는 이벤트의 검색을 요청하는 검색 질의를 재구성할 수 있다. 이때 검색 대상은 설정에 따라 차량으로 한정될 수도 있고, 차량 외에 유사한 컬러 및 모양을 갖는 임의의 물체까지 확장될 수도 있다.

도 5c를 참조하면, 질의 영상(A2)에 두 개의 스케치 질의(D, E2)가 입력되어 있다. D는 채워진 원(Solid Circle)으로 표시된 스케치 질의이다. D는 원이 커버하는 물체의 분류를 정의한다. D가 커버하는 물체는 차량(Vehicle)으로 분류될 수 있다. E2는 내부에 수직선이 있는 고리형 원(Solid Circle)으로 표시된 스케치 질의이다. E2는 원이 커버하는 물체의 색상을 정의한다. E2는 흰색 선을 커버하고 있다. 스케치 질의(D, E2)는 동일한 색상의 스케치 질의이다.

쿼리 엔진(501)은 입력된 스케치 질의(D, E2)의 특징을 추출하여 스케치 질의를 인식한다. 쿼리 엔진(501)은 인식된 스케치 질의(D, E2)에 부여된 정의 및 속성을 파악하고, 두 개의 스케치 질의(D, E2)를 AND 연산함으로써, 흰색 또는 흰색과 유사한 색상을 가진 차량 또는 차량과 유사한 물체가 등장하는 이벤트의 검색을 요청하는 검색 질의를 재구성할 수 있다.

도 6a를 참조하면, 질의 영상(A3)에 세 개의 스케치 질의(F1, F2, F3)가 입력되어 있다. F1, F2 및 F3는 삼각형(Triangle)으로 표시된 스케치 질의이다. F1, F2 및 F3는 밑변을 크로싱하며 꼭지각 방향으로 이동하는 물체의 검출을 정의한다. 세 개의 스케치 질의(F1, F2, F3)는 동일한 색상의 스케치 질의이다.

쿼리 엔진(501)은 입력된 스케치 질의(F1, F2, F3)의 특징을 추출하여 스케치 질의를 인식한다. 쿼리 엔진(501)은 인식된 스케치 질의(F1, F2, F3)에 부여된 정의 및 속성을 파악하고, 세 개의 스케치 질의(F1, F2, F3)를 AND 연산함으로써, 세 개의 삼각형을 모두 통과하는 동선을 갖는 물체 이동 이벤트의 검색을 요청하는 검색 질의를 재구성할 수 있다.

도 6b를 참조하면, 질의 영상(A3)에 세 개의 스케치 질의(F1, F2, F3)가 입력되어 있다. F1, F2 및 F3는 삼각형(Triangle)으로 표시된 스케치 질의이다. F1, F2 및 F3는 밑변을 크로싱하며 꼭지각 방향으로 이동하는 물체의 검출을 정의한다. 세 개의 스케치 질의(F1, F2, F3)는 각각 서로 다른 색상의 스케치 질의이다.

쿼리 엔진(501)은 입력된 스케치 질의(F1, F2, F3)의 특징을 추출하여 스케치 질의를 인식한다. 쿼리 엔진(501)은 인식된 스케치 질의(F1, F2, F3)에 부여된 정의 및 속성을 파악하고, 세 개의 스케치 질의(F1, F2, F3)를 OR 연산함으로써, 세 개의 삼각형 중 적어도 하나를 통과하는 동선을 갖는 물체 이동 이벤트의 검색을 요청하는 검색 질의를 재구성할 수 있다.

도 7은 본 발명의 일 실시예에 따른 영상 검색 시스템의 영상 분석 방법을 설명하는 흐름도이다.

도 7을 참조하면, 영상 검색 시스템은 영상이 입력되면(S11), 분류 및 분석 모듈을 이용하여 영상을 분석한다(S13). 영상 검색 시스템은 기 정의된 카테고리에 따라 영상을 분석할 수 있다.

영상 검색 시스템은 영상의 분석 결과인 메타데이터를 생성하여 저장한다(S15). 메타데이터는 텍스트 기반 메타데이터 외에 움직임 영역의 블랍 이미지, 배경 모델과 같은 이미지 기반 메타데이터를 포함할 수 있다. 배경 모델은 질의 영상으로서 사용될 수 있다.

영상 검색 시스템은 검색이 용이하도록 메타데이터를 구조화 및 정리한 인덱스 데이터를 생성하여 저장한다(S17). 영상 검색 시스템은 스케치 질의가 입력되면, 스케치 질의를 재구성한 검색 질의에 대응하는 하나 이상의 인덱스 데이터를 추출하고, 인덱스 데이터에 대응하는 영상 데이터를 추출할 수 있다.

도 8은 본 발명의 일 실시예에 따른 영상 검색 시스템의 영상 검색 방법을 설명하는 흐름도이다.

도 8을 참조하면, 사용자로부터 검색 조건인 스케치 질의가 입력되면(S31), 영상 검색 시스템은 질의 영상으로부터 스케치 질의를 추출할 수 있다(S33).

영상 검색 시스템은 스케치 질의를 입력할 수 있는 스케치 입력 툴을 제공하고, 스케치 입력 툴을 이용하여 사용자가 입력하는 스케치 질의를 수신할 수 있다. 영상 검색 시스템은 스케치 질의의 정의-속성 관계를 미리 정의하고 있다. 영상 검색 시스템은 스케치 질의가 입력되면, 스케치 질의의 특징을 추출하여 스케치 질의를 인식할 수 있다. 영상 검색 시스템은 기 정의된 스케치 질의의 정의-속성 관계를 기초로 스케치 질의에 부여된 정의 및 속성을 판단할 수 있다.

영상 검색 시스템은 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성할 수 있다(S35). 영상 검색 시스템은 복수의 스케치 질의들 간의 색상 일치 여부에 따라 복수의 스케치 질의들에 대해 논리연산을 수행할 수 있다. 영상 검색 시스템은 동일한 색상의 스케치 질의들에 대해 AND 논리연산을 수행하여 검색 질의를 재구성할 수 있다. 영상 검색 시스템은 서로 다른 색상의 스케치 질의들에 대해 OR 논리연산을 수행하여 검색 질의를 재구성할 수 있다.

영상 검색 시스템은 검색 질의에 매칭하는 영상 데이터를 추출한다(S37). 영상 검색 시스템은 검색 질의에 매칭하는 인덱스 데이터를 추출하고, 저장된 영상으로부터 인덱스 데이터에 대응하는 영상 데이터를 추출한다.

그리고, 영상 검색 시스템은 추출된 영상 데이터를 제공할 수 있다(S39). 영상 검색 시스템은 추출된 영상 데이터가 복수인 경우 영상 데이터 리스트를 제공할 수 있다. 영상 검색 시스템은 시간별, 카테고리별 등 정해진 기준에 따라 복수의 영상 데이터를 정렬하여 제공할 수 있다. 영상 검색 시스템은 리스트에서 사용자가 선택한 영상 데이터를 실시간 렌더링할 수 있다. 또한 영상 검색 시스템은 복수의 영상 데이터를 요약 영상으로 생성하여 제공할 수 있다. 영상 검색 시스템은 배경 모델에 복수의 물체들을 등장 순서에 따라 렌더링할 수 있다.

본 발명의 영상 검색 방법은 스토리가 있는 검색 조건을 정의-속성 관계를 갖는 스케치를 이용함으로써 손쉽게 검색할 수 있다.

본 발명의 영상 검색 방법은 인터넷상의 정지 화상 및 동영상 검색, 방송 제작에 사용될 VOD(Video On Demand) 서비스, 감시 시스템, 전자 도서관, 의료 분야(예를 들어, 원격 진료, 의료 영상 검색) 등에 응용될 수 있다.

본 발명에 따른 영상 검색 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

Claims

질의 영상에 입력된 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 쿼리 엔진;
상기 검색 질의에 매칭하는 영상 데이터를 추출하는 검색 엔진;
상기 추출된 영상 데이터를 표시하는 디스플레이 장치; 및
상기 스케치 질의를 입력하는 입력 툴을 제공하는 스케치 입력부;를 포함하고,
상기 쿼리 엔진은, 복수의 스케치 질의들 각각의 색상에 따라 상기 복수의 스케치 질의들의 조합을 위한 논리연산 방법을 달리하여 상기 복수의 스케치 질의들에 대한 검색 질의를 재구성하고,
상기 스케치 입력부는, 상기 입력 툴에서 특정 스케치 질의가 선택되고, 상기 질의 영상 내에서 상기 스케치 질의가 위치할 특정 영역이 선택되면, 상기 위치에서 선택이 유지되는 시간에 따라 상기 질의 영상에 입력되는 스케치 질의의 크기를 제어하는, 영상 검색 시스템.
삭제
제1항에 있어서, 상기 쿼리 엔진은,
동일한 색상의 스케치 질의들에 대해 AND 논리연산을 수행하여 검색 질의를 재구성하는, 영상 검색 시스템.
제1항에 있어서, 상기 쿼리 엔진은,
서로 다른 색상의 스케치 질의들에 대해 OR 논리연산을 수행하여 검색 질의를 재구성하는, 영상 검색 시스템.
질의 영상에 입력된 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 쿼리 엔진;
상기 검색 질의에 매칭하는 영상 데이터를 추출하는 검색 엔진; 및
상기 추출된 영상 데이터를 표시하는 디스플레이 장치;를 포함하고,
상기 쿼리 엔진은, 복수의 스케치 질의들 각각의 색상에 따라 상기 복수의 스케치 질의들의 조합을 위한 논리연산 방법을 달리하여 상기 복수의 스케치 질의들에 대한 검색 질의를 재구성하고,
원(Circle)으로 표현되는 스케치 질의는 원의 종류에 따라 상기 원에 의해 선택된 물체의 카테고리 또는 속성을 의미하는, 영상 검색 시스템.
질의 영상에 입력된 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 쿼리 엔진;
상기 검색 질의에 매칭하는 영상 데이터를 추출하는 검색 엔진; 및
상기 추출된 영상 데이터를 표시하는 디스플레이 장치;를 포함하고,
상기 쿼리 엔진은, 복수의 스케치 질의들 각각의 색상에 따라 상기 복수의 스케치 질의들의 조합을 위한 논리연산 방법을 달리하여 상기 복수의 스케치 질의들에 대한 검색 질의를 재구성하고,
삼각형(Triangle)으로 표현되는 스케치 질의는 상기 삼각형의 밑변을 크로싱하며 꼭지각 방향으로 이동하는 물체 검출을 의미하는, 영상 검색 시스템.
제1항에 있어서,
화살표(Arrow)로 표현되는 스케치 질의는 상기 화살표의 크기에 따라 단일 또는 복수 물체의 모션 방향을 의미하는, 영상 검색 시스템.
질의 영상에 입력된 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 쿼리 엔진;
상기 검색 질의에 매칭하는 영상 데이터를 추출하는 검색 엔진; 및
상기 추출된 영상 데이터를 표시하는 디스플레이 장치;를 포함하고,
상기 쿼리 엔진은, 복수의 스케치 질의들 각각의 색상에 따라 상기 복수의 스케치 질의들의 조합을 위한 논리연산 방법을 달리하여 상기 복수의 스케치 질의들에 대한 검색 질의를 재구성하고,
선(Line)으로 표현되는 스케치 질의는 상기 선의 굵기에 따라 단일 또는 복수 물체의 동선을 의미하는, 영상 검색 시스템.
질의 영상에 입력된 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 쿼리 엔진;
상기 검색 질의에 매칭하는 영상 데이터를 추출하는 검색 엔진; 및
상기 추출된 영상 데이터를 표시하는 디스플레이 장치;를 포함하고,
상기 쿼리 엔진은, 복수의 스케치 질의들 각각의 색상에 따라 상기 복수의 스케치 질의들의 조합을 위한 논리연산 방법을 달리하여 상기 복수의 스케치 질의들에 대한 검색 질의를 재구성하고,
사각형 또는 다각형으로 표현되는 스케치 질의는 상기 사각형 또는 다각형이 위치한 영역에서 단일 물체의 모션 여부 또는 복수 물체들 간의 상호작용을 의미하는, 영상 검색 시스템.
질의 영상에 입력된 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 쿼리 엔진;
상기 검색 질의에 매칭하는 영상 데이터를 추출하는 검색 엔진; 및
상기 추출된 영상 데이터를 표시하는 디스플레이 장치;를 포함하고,
상기 쿼리 엔진은, 복수의 스케치 질의들 각각의 색상에 따라 상기 복수의 스케치 질의들의 조합을 위한 논리연산 방법을 달리하여 상기 복수의 스케치 질의들에 대한 검색 질의를 재구성하고,
임의의 형상으로 표현되는 스케치 질의는 상기 임의의 형상 내 선의 종류에 따라 상기 임의의 형상에 의해 선택된 물체의 속성을 의미하는, 영상 검색 시스템.
삭제
삭제
스케치 질의를 입력하는 입력 툴을 제공하는 단계;
질의 영상에 입력된 상기 스케치 질의를 추출하는 단계;
상기 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 단계;
상기 검색 질의에 매칭하는 영상 데이터를 추출하는 단계; 및
상기 추출된 영상 데이터를 표시하는 단계;를 포함하고,
상기 검색 질의 재구성 단계는,
복수의 스케치 질의들 각각의 색상에 따라 상기 복수의 스케치 질의들의 조합을 위한 논리연산 방법을 달리하여 상기 복수의 스케치 질의들에 대한 검색 질의를 재구성하는 단계;를 포함하고,
상기 입력 툴에서 특정 스케치 질의가 선택되고, 상기 질의 영상 내에서 상기 스케치 질의가 위치할 특정 영역이 선택되면, 상기 위치에서 선택이 유지되는 시간에 따라 상기 질의 영상에 입력되는 스케치 질의의 크기가 제어되는, 영상 검색 장치의 영상 검색 방법.
삭제
제13항에 있어서, 상기 검색 질의 재구성 단계는,
동일한 색상의 스케치 질의들에 대해 AND 논리연산을 수행하여 검색 질의를 재구성하는 단계;를 포함하는, 영상 검색 장치의 영상 검색 방법.
제13항에 있어서, 상기 검색 질의 재구성 단계는,
동일한 색상의 스케치 질의들에 대해 OR 논리연산을 수행하여 검색 질의를 재구성하는 단계;를 포함하는, 영상 검색 장치의 영상 검색 방법.
질의 영상에 입력된 스케치 질의를 추출하는 단계;
상기 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 단계;
상기 검색 질의에 매칭하는 영상 데이터를 추출하는 단계; 및
상기 추출된 영상 데이터를 표시하는 단계;를 포함하고,
상기 검색 질의 재구성 단계는,
복수의 스케치 질의들 각각의 색상에 따라 상기 복수의 스케치 질의들의 조합을 위한 논리연산 방법을 달리하여 상기 복수의 스케치 질의들에 대한 검색 질의를 재구성하는 단계;를 포함하고,
원(Circle)으로 표현되는 스케치 질의는 원의 종류에 따라 상기 원에 의해 선택된 물체의 카테고리 또는 속성을 의미하는, 영상 검색 장치의 영상 검색 방법.
질의 영상에 입력된 스케치 질의를 추출하는 단계;
상기 스케치 질의의 정의 및 속성을 기초로 검색 질의를 재구성하는 단계;
상기 검색 질의에 매칭하는 영상 데이터를 추출하는 단계; 및
상기 추출된 영상 데이터를 표시하는 단계;를 포함하고,
상기 검색 질의 재구성 단계는,
복수의 스케치 질의들 각각의 색상에 따라 상기 복수의 스케치 질의들의 조합을 위한 논리연산 방법을 달리하여 상기 복수의 스케치 질의들에 대한 검색 질의를 재구성하는 단계;를 포함하고,
삼각형(Triangle)으로 표현되는 스케치 질의는 상기 삼각형의 밑변을 크로싱하며 꼭지각 방향으로 이동하는 물체 검출을 의미하는, 영상 검색 장치의 영상 검색 방법.
삭제
삭제