KR20010053788A - 내용기반 이미지 검색 시스템 및 그 방법 - Google Patents

내용기반 이미지 검색 시스템 및 그 방법 Download PDF

Info

Publication number
KR20010053788A
KR20010053788A KR1019990054300A KR19990054300A KR20010053788A KR 20010053788 A KR20010053788 A KR 20010053788A KR 1019990054300 A KR1019990054300 A KR 1019990054300A KR 19990054300 A KR19990054300 A KR 19990054300A KR 20010053788 A KR20010053788 A KR 20010053788A
Authority
KR
South Korea
Prior art keywords
image
descriptor
query
input
content
Prior art date
Application number
KR1019990054300A
Other languages
English (en)
Other versions
KR100353798B1 (ko
Inventor
김영섬
김용성
Original Assignee
송문섭
주식회사 현대큐리텔
김회율
김영섬
주식회사 코난테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1019990054300A priority Critical patent/KR100353798B1/ko
Application filed by 송문섭, 주식회사 현대큐리텔, 김회율, 김영섬, 주식회사 코난테크놀로지 filed Critical 송문섭
Priority to PT00310716T priority patent/PT1107136E/pt
Priority to ES00310716T priority patent/ES2281326T3/es
Priority to JP2000367732A priority patent/JP3635368B2/ja
Priority to AT00310716T priority patent/ATE352817T1/de
Priority to EP00310716A priority patent/EP1107136B1/en
Priority to US09/728,450 priority patent/US6754667B2/en
Priority to DE60033118T priority patent/DE60033118T2/de
Priority to DK00310716T priority patent/DK1107136T3/da
Publication of KR20010053788A publication Critical patent/KR20010053788A/ko
Application granted granted Critical
Publication of KR100353798B1 publication Critical patent/KR100353798B1/ko
Priority to US10/831,005 priority patent/US20040199531A1/en
Priority to CY20071100547T priority patent/CY1106537T1/el

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99932—Access augmentation or optimizing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99934—Query formulation, input preparation, or translation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99935—Query augmenting and refining, e.g. inexact access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99943—Generating database or data structure, e.g. via user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 내용기반 이미지 검색 시스템 및 그 방법과, 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 내용기반 이미지 검색을 위한 이미지 기술자로서 ART(Angular Radial Transform) 기술자를 사용하고, 사용자가 입력한 질의 이미지 또는 검색결과로 출력된 이미지를 질의 이미지로 재사용하므로써, 이미지 검색을 신속하게 할 수 있는 내용기반 이미지 검색 시스템 및 그 방법과, 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 내용기반 이미지 검색을 위하여 데이터베이스를 구축하는 제 1단계; 이미지 입력수단을 이용하여 검색할 질의 이미지를 입력하는 제 2단계; 이미지 기술자 추출수단에서 입력된 질의 이미지로부터 ART 이미지 기술자를 추출하여 상기 데이터베이스에 저장되어 있는 이미지와 이미지 기술자의 비유사도를 측정하고, 유사한 이미지를 획득하는 제 3단계; 및 상기 데이터베이스에서 검색된 이미지를 사용자가 확인할 수 있도록 출력하는 제 4단계를 포함한다.
4. 발명의 중요한 용도
본 발명은 내용기반 이미지 검색에 이용됨.

Description

내용기반 이미지 검색 시스템 및 그 방법{SYSTEM FOR CONTENT-BASED IMAGE RETRIEVAL AND METHOD USING FOR SAME}
본 발명은 멀티미디어 데이터에서 자동으로 추출될 수 있는 특성들을 이용하여 데이터를 검색하는 내용기반 검색 시스템에 관한 것으로, 특히 인터넷을 포함한 네트워크 환경에서 정지영상 및 동영상에 포함되어 있는 객체 모양의 유사도를 ART(Angular Radial Transform) 계수를 사용하여 자동으로 판단하므로써, 사용자가 질의한 이미지와 위치, 크기 및 회전각도에 무관하게 유사한 모양을 갖는 이미지를 검색할 수 있는 내용기반 이미지 검색 시스템 및 그 방법과, 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
최근 인터넷의 발달과 디지털(digital) 이미지(image)의 사용이 급증함에 따라, 종래의 텍스트를 이용한 이미지 검색은 신뢰성 있는 검색결과를 보장하지 못하게 되었다.
이에 따라, 최근에는 이미지의 직접 입력을 통하여 이미지를 검색하는 방법이 각광을 받게 되었다.
이미지를 이용한 이미지 검색이란, 이미지로부터 해당 이미지의 특징을 기술하는 이미지 기술자(image descriptor)를 추출한 뒤, 사용자가 입력한 질의 이미지와 데이터베이스에 저장되어 있는 이미지의 이미지 기술자의 유사도를 비교함으로써 유사한 이미지를 검색하는 방법을 일컫는다. 여기서, 이미지 기술자는 이미지의 색상을 기술하는 색상 기술자(color descriptor), 질감을 기술하는 질감기술자(texture descriptor) 및 모양을 기술하는 모양 기술자(shape descriptor)등 여러 가지가 있는데, 이미지를 이용한 이미지 검색 시스템의 효율은 이미지 기술자가 이미지의 특징을 얼마나 효율적으로 나타내느냐에 좌우된다.
종래의 모양 기술자로는 회전불변 모멘트 기술자(invariant moment descriptor)가 주로 사용되고 있으며, 회전불변 모멘트 기술자는 이미지의 크기 변환, 이동 및 회전에 대하여 불변한 값을 갖는 특성을 가지고 있다.
입력된 이미지로부터 모멘트 기술자를 획득하기 위하여 먼저, 이미지의 공간적인 특징을 이용하여 배경과 객체를 분리하기 위한 에지(edge)검출과 이진화 과정을 수행하고, 상기 분리된 배경으로부터 객체의 외곽 경계선 검출과 분리된 객체로부터 객체의 형태 벡터(vector)를 획득한다.
다음으로, 입력된 이미지와 데이터베이스에 저장된 이미지간의 유사성 측정을 위해 아래의 「수학식1」과 같은 유클리디안(Euclidean) 거리 측정방법이 사용된다.
여기서, q는 입력 이미지, t는 데이터베이스에 저장된 이미지이고, Hp는 입력 이미지 q의 모멘트 값, Ht는 데이터베이스 이미지 t의 모멘트 값을 의미하고, M은 0~6 사이 값을 갖는다.
그러나, 상기한 바와 같은 종래의 모멘트 기술자를 이용한 내용기반 이미지 검색시스템은, 기저함수로 사용되는 다항함수가 서로 직교하지 않아, 추출된 모멘트 값 사이에 정보의 중복성이 존재하여 이미지를 표현하는 기술자로써 효율을 떨어지며, 사용자의 인지적 특성을 제대로 반영하지 못해 사용자가 느끼는 유사한 모양의 이미지를 제대로 검색하지 못하는 문제가 있다.
따라서, 상기와 같은 문제점을 해결하기 위해 안출된 본 발명은, 내용기반 이미지 검색을 위한 이미지 기술자로서 ART(Angular Radial Transform) 계수의 절대값을 사용하고, 사용자가 입력한 질의 이미지 또는 검색의 결과로 출력된 이미지를 편집 및 변형하여 다시 질의에 사용하므로써, 원하는 이미지를 신속하게 검색할 수 있는 내용기반 이미지 검색 시스템 및 그 방법과, 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도1은 본 발명에 따른 내용기반 이미지 검색 시스템의 개략적인 구성을 나타낸 블록다이어그램.
도2는 본 발명에 따른 내용기반 이미지 검색방법을 수행하기 위한 일실시예 처리흐름도.
도3은 상기 도2에서 이미지 데이터베이스 구축과정의 일실시예 상세 처리흐름도.
도4는 본 발명에 따른 이미지 함수 집합의 예시도.
도5는 본 발명에 따른 이미지 데이터베이스의 이미지 분류 예시도.
* 도면의 주요 부분에 대한 부호의 설명
100 : 이미지 입력부 101 : 이미지 기술자 추출부
102 : 이미지 데이터베이스 103 : 이미지 기술자 데이터베이스
104 : 이미지 질의부 105 : 질의 이미지 기술자 추출부
106 : 이미지 기술자 유사도 비교부 107 : 이미지 출력부
상기 목적을 달성하기 위한 본 발명에 따른 내용기반 이미지 검색 시스템은, 데이터베이스를 구축용 이미지를 입력하기 위한 이미지 입력수단; 상기 이미지 입력수단에 입력된 이미지의 ART(Angular Radial Transform) 이미지 기술자를 추출하는 이미지 기술자 추출수단; 상기 이미지 입력수단에서 입력된 이미지를 저장하는이미지 저장수단; 상기 이미지 기술자 추출수단에서 추출된 이미지 기술자를 저장하는 이미지 기술자 저장수단; 사용자가 검색할 이미지를 입력하는 이미지 질의수단; 입력된 질의 이미지에서 이미지 기술자를 추출하는 질의 이미지 기술자 추출수단; 상기 질의 이미지 기술자 추출수단에서 질의 이미지에 대한 이미지 기술자를 수신하여 상기 이미지 기술자 저장수단에 기록된 기준 이미지의 이미지 기술자와의 비유사도를 측정하는 이미지 기술자 비유사도 측정수단; 및 상기 이미지 기술자 비유사도 측정수단에서 질의 이미지와 유사한 이미지를 상기 데이터베이스 서버의 이미지 데이터베이스에서 수신하여 사용자가 확인할 수 있도록 출력하는 이미지 출력수단을 구비한다.
본 발명에 따른 내용기반 이미지 검색 방법은, 내용기반 이미지 검색을 위하여 데이터베이스를 구축하는 제 1단계; 이미지 입력수단을 이용하여 검색할 질의 이미지를 입력하는 제 2단계; 이미지 기술자 추출수단에서 입력된 질의 이미지로부터 ART 이미지 기술자를 추출하여 상기 데이터베이스에 저장되어 있는 이미지와 이미지 기술자의 비유사도를 측정하고, 유사한 이미지를 획득하는 제 3단계; 및 상기 데이터베이스에서 검색된 이미지를 사용자가 확인할 수 있도록 출력하는 제 4단계를 포함한다.
또한 본 발명은, 마이크로 프로세서를 구비한, 내용기반 이미지 검색 시스템에, 내용기반 이미지 검색을 위하여 데이터베이스를 구축하는 제 1기능; 이미지 입력수단을 이용하여 검색할 질의 이미지를 입력하는 제 2기능; 이미지 기술자 추출수단에서 입력된 질의 이미지로부터 ART 이미지 기술자를 추출하여 상기 데이터베이스에 저장되어 있는 이미지와 이미지 기술자의 비유사도를 측정하고, 유사한 이미지를 획득하는 제 3기능; 및 상기 데이터베이스에서 검색된 이미지를 사용자가 확인할 수 있도록 출력하는 제 4기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도1은 본 발명에 따른 내용기반 이미지 검색 시스템의 개략적인 구성을 나타낸 블록다이어그램이다.
도1에 도시된 바와 같이, 이미지 및 이미지 기술자 데이터베이스를 구축하기 위한 이미지를 입력받는 이미지 입력부(100)와, 상기 이미지 입력부(100)에 입력된 이미지의 ART 이미지 기술자를 추출하는 이미지 기술자 추출부(101)와, 상기 이미지 입력부(100)에서 입력된 이미지를 저장하는 이미지 데이터베이스(102)와, 상기 이미지 기술자 추출부(101)에서 추출된 이미지 기술자를 저장하는 이미지 기술자 데이터베이스(103)와, 사용자가 원격 사용자 웹 브라우저에서 검색할 이미지를 입력하는 이미지 질의부(104)와, 상기 원격 사용자 웹 브라우저에서 입력된 질의 이미지에서 이미지 기술자를 추출하는 질의 이미지 기술자 추출부(105)와, 상기 질의 이미지 기술자 추출부(105)에서 질의 이미지에 대한 이미지 기술자를 수신하여 상기 이미지 기술자 데이터베이스(103)에 기록된 데이터베이스 이미지의 이미지 기술자와 유사도를 판별하는 이미지 기술자 유사도 비교부(106)와, 상기 이미지 기술자유사도 비교부(106)에서 검색된 질의 이미지와 유사한 이미지를 상기 데이터베이스 서버의 이미지 데이터베이스(102)에서 수신하여 사용자가 확인할 수 있도록 출력하는 이미지 출력부(107)를 구비한다.
본 발명에서는, 내용기반 이미지 검색을 위한 이미지 기술자로서 모양 기술자(shape descriptor)를 사용하며, 그 중에서도 ART(Angular Radial Transform) 계수의 절대값을 사용한다.
ART(Angular Radial Transform)는 이미지 검색에 있어서 필수요소인 회전불변성을 가진다. 여기서 회전불변성이란, 이미지가 회전되어도 ART에 의해 추출된 이미지 기술자가 변하지 않음을 의미한다.
첫째로, ART 이미지 기술자를 얻기 위한 ART정의식은 다음의 「수학식 2」로 표현된다.
(단, n 및 m은 ART기저함수의 차수를 결정하는 정수이고, Fnm은 ART계수이며, Vnm(ρ,θ)는 극 좌표계(ρ,θ)에서 표현된 ART 기저함수이고, f(ρ,θ)는 이미지, 윗첨자 '*'는 공액 복소수를 의미함)
상기 ART 정의식(「수학식 2」참조)의 ART 기저함수 Vnm(ρ,θ)는 아래의 「수학식 3」으로 정의된다.
(단, Am(θ) 는 ART 기저함수를 구성하는 편각함수(Angular function)이며, Rn(ρ)는 ART 기저함수를 구성하는 방사함수(Radial Function)임)
그리고, 상기 「수학식 3」의 편각함수 Am(θ)는 다시 아래의 「수학식 4」로 정의된다.
상기 ART 정의식(「수학식 2」참조)은 회전불변성을 얻기 위하여 (x, y) 직각좌표계를 사용하지 않고, (ρ,θ) 극 좌표계를 사용한다. 극 좌표계는 원점으로부터 이격된 거리 ρ와 x축과 이루는 각도 θ로 좌표를 표현하는 방법이다.
상기 「수학식 3」의 Rn(θ)는 여러 가지 타입을 가질 수 있으며, 그 타입에따라 예를 들면, 다음 「수학식 5」와 같은 ART-C로 표시할 수 있다.
또한, 첨부된 도4는 ART-C 타입의 ART 기저함수 집합의 예시도이다.
상기 「수학식 2」에서 얻어지는 값 Fnm은 일련의 복소수 값이며, 본 발명에서는 하기 「수학식 6」과 같이, 상기 Fnm의 값에 절대값을 취한 벡터를 모양 기술자(Shape Descriptor : 이하 간단히 "SD"라 함)로 정의한다.
(단, n = 0,1,2,,,,k이고, m = 0,1,2,,,,l 임)
이미지로부터 추출된 ART계수는 원 이미지에 ART 기저함수의 성분이 얼마나 포함되어 있는지를 나타내는 것이므로, ART 계수와 ART 기저함수의 곱을 조합하면 원 이미지를 복원해 낼 수 있다. 이론적으로는 무한히 많은 ART 계수와 기저함수의 곱을 조합해야 원 이미지와 완전히 동일한 이미지를 획득할 수 있으나, 실제로는 20개 내지 30개 정보만 조합해도 원 이미지와 오차가 거의 없는 이미지를 획득할수 있다(도5 참조). 즉, 이미지가 20개 내지 30개의 숫자로 표현 가능하다는 것이며, 이는 ART 계수가 이미지에 대한 효율적인 기술자가 될 수 있음을 의미하는 것이다.
한편, 상기 ART는 아래의 「수학식7」이 의미하는 바와 같은 직교성(Orthonormality)을 갖는다.
(단, δ는 Kroneker delta함수로써, n=n', m=m'이면 0이고, 그 외의 경우에는 1의 값을 갖는다.)
그리고, 상기 ART 계수의 절대값은 아래의 「수학식8」이 의미하는 바와 같은 회전 불변성(Rotation Invariance)을 가진다.
이는 원본 이미지f(ρ,θ)가 각도 α만큼 회전된 이미지f α (ρ,θ)에서ART계수를 추출해 보면 쉽게 알 수 있다. 즉, 두 이미지f(ρ,θ)와f α (ρ,θ)가 t상기 「수학식8」과 같은 관계가 있을 때, 이미지f α (ρ,θ)로부터 추출된 ART계수는 하기 「수학식9」와 같이 주어지며, 원본 이미지f(ρ,θ)와 각도 α만큼 회전된 이미지f α (ρ,θ)로부터 추출된 ART계수들 사이의 관계는 하기 「수학식10」과 같다.
(단, Fαnm는f(ρ,θ)가 각도 α만큼 회전된 이미지f α (ρ,θ)로부터 추출된 ART계수)
(단, Fnm와 Fαnm는 각각f(ρ,θ)와f α (ρ,θ)로부터 추출된 ART계수)
그런데, 회전된 이미지의 Fαnm값에 절대값을 취하면 하기 「수학식11」과 같이, 원본 이미지의 Fnm값과 동일해지므로, 결국, ART의 크기는 회전불변의 특성을 가짐을 알 수 있다.
아래의 「수학식12」는 질의 이미지와 데이터베이스 이미지간의 비유사(Dissimilarity)정도를 나타내는 수학식이다. 즉, 비슷한 모양의 이미지에서 추출된 기술자들은 유사한 값을 갖고, 다른 모양의 이미지에서 추출된 기술자들은 완전히 다른 값을 갖기 때문에, 아래의 「수학식12」와 같이 두 이미지에서 추출된 기술자의 차이를 비교해보면 두 이미지가 어느 정도 비슷한 모양을 가지고 있는지 판단할 수 있게 된다.
(단, D는 질의 이미지와 데이터베이스 이미지간의 비유사도, Wi는 상수계수, Si q는 질의 이미지의 i번째 이미지 기술자이고, Si r은 데이터베이스 이미지의 i번째이미지 기술자를 의미함)
이제, ART 이미지 기술자를 이용한 내용기반 이미지 검색 방법에 대해 상세히 설명한다.
첨부된 도2는 본 발명에 따른 내용기반 이미지 검색 방법의 일실시예 처리흐름도이다.
우선, 이미지 검색을 위한 이미지 데이터베이스를 구축하는 과정으로, 데이터베이스 서버용 이미지 입력기(100) 및 이미지 기술자 추출부(101)를 이용하여 이미지 기술자 데이터베이스(103) 및 이미지 데이터베이스(102)를 구축하고(S200), 사용자는 원격 사용자 웹 브라우저에서 검색하고자 하는 이미지를 이미지 질의부(104)에 입력한다(S202). 이때, 이미지 질의부(104)는 마우스 또는 디지타이저(digitizer)를 이용하여 사용자가 직접 검색할 이미지를 작성하는 기능, 웹서버에서 제공하는 프로토타입 이미지(prototype image)중에서 이미지를 선택하는 기능 및 사용자의 하드디스크(hard disk)에 저장되어 있는 이미지를 불러들일 수 있는 기능을 가지며, 사용자가 기존의 이미지를 판독하여 변경할 수 있는 기능을 가진다.
상기 사용자가 질의 이미지를 입력하면, 질의 이미지 기술자 추출부(104)는 입력된 질의 이미지의 이미지 기술자를 추출하고(S204), 그 이미지 기술자를 이미지 기술자 유사도 비교부(106)로 전달한다.
상기 질의 이미지 기술자 추출부(104)로부터 질의 이미지의 이미지 기술자를 수신한 상기 이미지 기술자 유사도 비교부(106)는 상기 이미지 기술자 데이터베이스(103)에 저장되어 있는 이미지 기술자와 유사도를 비교하여, 질의 이미지와 유사한 이미지를 판별하고(S206), 상기 판별된 이미지 기술자에 해당되는 이미지를 이미지 데이터베이스(102)에서 획득하여 유사도 순으로 정렬한 후, 이미지 출력부(107)로 전송하면(S208), 상기 이미지 출력부(107)는 사용자가 검색된 이미지를 확인할 수 있도록 웹 브라우저에 디스플레이한다(S210). 여기서, 검색된 이미지는 웹서버에서 제공하는 프로토타입 이미지로 재사용되며, 사용자는 웹서버가 원격 사용자 웹 브라우저에 제공하는 프로토타입 이미지를 변형하여 재 검색할 수 있다. 또한, 상기 이미지 출력부(107)는 사용자의 초기 접속시 대표 이미지들을 프로토타입 이미지로 사용자에게 제공하며, 사용자가 이들 중 하나를 선택하면 선택된 프로토타입 이미지를 상기 이미지 질의부(104)로 전송한다.
첨부된 도3은 상기 도2에서 데이터베이스 서버용 이미지 입력기(100) 및 이미지 기술자 추출부(101)를 이용하여 이미지 기술자 데이터베이스(103) 및 이미지 데이터베이스(102)를 구축하는 과정(S200)의 상세흐름도로서, 상기 이미지 입력기(100)를 이용하여 데이터베이스에 저장할 이미지를 입력하고(S300), 상기 이미지 기술자 추출부(101)는 입력된 이미지에서 이미지 기술자를 추출하여(S302), 이미지 기술자 데이터베이스(103)에 기록한다(S304).
또한, 상기 이미지 입력부(100)를 이용하여 이미지는 이미지 데이터베이스(102)에 기록된다(S306).
도4는 본 발명에 따른 이미지 함수 집합의 예시도로서, 상기 「수학식5」에 기술된 ART-C 타입의 ART 기저함수 집합의 예시도이다. 도면에서 n은 원점에서의거리를 나타내고, m은 x축으로부터의 각도를 나타낸다.
도5는 본 발명에 따른 이미지 함수 개수에 따른 내용기반 이미지 검색 결과 예시도로서, ART 정의식의 조합을 이용하여 질의 이미지와 유사한 이미지를 합성해내는 예를 보인 것이고, 도면에서 숫자로 표기된 부분은 조합된 ART 정의식의 개수를 나타내는 것이다.
도면에 도시된 바와 같이, 조합된 ART 정의식의 개수가 많아질수록 질의 이미지와 유사한 이미지가 합성되는 것을 알 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
상기와 같은 본 발명은, 내용기반 이미지 검색을 위한 이미지 기술자로서 직교 기저함수를 이용한 변환계수이기 때문에 정보의 중복성이 없고, 회전불면의 특성을 가지며, 인간의 시각적 특성을 잘 반영하는 효율적인 이미지 기술자인 ART(Angular Radial Transform) 기술자를 사용하여, 이미지를 데이터베이스 상에서 사용자가 입력한 질의 이미지와 유사한 모양의 이미지를 신속, 정확하게 검색할 수 있으며, 사용자가 입력한 질의 이미지 또는 검색된 결과이미지를 프로토타입(prototype) 이미지로 재사용하므로써, 보다 세밀한 이미지 검색을 수행할 수 있는 우수한 효과가 있다.

Claims (22)

  1. 데이터베이스를 구축용 이미지를 입력하기 위한 이미지 입력수단;
    상기 이미지 입력수단에 입력된 이미지의 ART(Angular Radial Transform) 이미지 기술자를 추출하는 이미지 기술자 추출수단;
    상기 이미지 입력수단에서 입력된 이미지를 저장하는 이미지 저장수단;
    상기 이미지 기술자 추출수단에서 추출된 이미지 기술자를 저장하는 이미지 기술자 저장수단;
    사용자가 검색할 이미지를 입력하는 이미지 질의수단;
    입력된 질의 이미지에서 이미지 기술자를 추출하는 질의 이미지 기술자 추출수단;
    상기 질의 이미지 기술자 추출수단에서 질의 이미지에 대한 이미지 기술자를 수신하여 상기 이미지 기술자 저장수단에 기록된 기준 이미지의 이미지 기술자와의 비유사도를 측정하는 이미지 기술자 비유사도 측정수단; 및
    상기 이미지 기술자 비유사도 측정수단에서 질의 이미지와 유사한 이미지를 상기 데이터베이스 서버의 이미지 데이터베이스에서 수신하여 사용자가 확인할 수 있도록 출력하는 이미지 출력수단
    을 포함하는 내용기반 이미지 검색 시스템.
  2. 제 1항에 있어서,
    상기 이미지 기술자 추출수단은,
    하기 「수학식」으로 표현되는 ART 변환식에 의거하여 입력된 이미지로부터 ART 계수를 추출하는 것을 특징으로 하는 내용기반 이미지 검색 시스템.
    (수학식)
  3. 제 1항에 있어서,
    상기 질의 이미지 기술자 추출수단은,
    하기 「수학식 」으로 표현되는 ART 변환식에 의거하여 입력된 질의 이미지로부터 ART 계수를 추출하는 것을 특징으로 하는 내용기반 이미지 검색 시스템.
    (수학식)
  4. 제 2항 또는 제 3항에 있어서,
    상기 ART 변환식은,
    하기 「수학식」으로 표현되는 ART 기저함수를 포함하는 것을 특징으로 하는 내용기반 이미지 검색 시스템.
    (수학식)
  5. 제 4항에 있어서,
    상기 ART 기저함수는,
    하기 「수학식」으로 표현되는 회전불변성을 갖는 지수함수로 정의되는 편각함수 Am(θ)를 포함하는 것을 특징으로 하는 내용기반 이미지 검색 시스템.
    (수학식)
  6. 제 4항에 있어서,
    상기 ART 기저함수에서,
    방사함수 Rn(ρ)는 하기 「수학식」으로 표현되는 삼각우함수로 정의되는 것을 특징으로 하는 내용기반 이미지 검색 시스템.
    (수학식)
  7. 제 1항에 있어서,
    상기 이미지 기술자 비유사도 측정수단은,
    하기 「수학식」으로 표현되는 비유사 정도를 나타내는 측정식에 의거하여 입력된 질의 이미지와 상기 이미지 기술자 저장수단에 기록된 기준 이미지의 이미지 기술자와의 비유사도를 측정하는 것을 특징으로 하는 내용기반 이미지 검색 시스템.
    (수학식)
  8. 제 1항에 있어서,
    상기 이미지 기술자는,
    하기 「수학식」으로 표현되는 ART계수의 절대값을 사용하는 것을 특징으로하는 내용기반 이미지 검색 시스템.
    (수학식)
  9. 제 1항에 있어서,
    상기 검색할 이미지는 원격 사용자 웹 브라우저로부터 입력되는 것을 특징으로 하는 내용기반 이미지 검색 시스템.
  10. 제 1항에 있어서,
    상기 이미지 질의수단은, 사용자가 직접 검색할 이미지를 작성하여 입력하는 것을 특징으로 하는 내용기반 이미지 검색 시스템.
  11. 제 1항에 있어서,
    상기 이미지 질의수단은, 웹 서버에서 제공하는 프로토타입 이미지 중에서 검색할 이미지를 선택하여 입력하는 것을 특징으로 하는 내용기반 이미지 검색 시스템.
  12. 제 1항에 있어서,
    상기 이미지 질의수단은, 기록매체에 저장되어 있는 이미지 중에서 검색할 이미지를 입력하는 것을 특징으로 하는 내용기반 이미지 검색 시스템.
  13. 제 1항에 있어서,
    상기 이미지 질의수단은, 사용자가 기존의 이미지를 판독한 후, 변경하여 검색할 이미지로 입력하는 것을 특징으로 하는 내용기반 이미지 검색 시스템.
  14. 내용기반 이미지 검색을 위하여 데이터베이스를 구축하는 제 1단계;
    이미지 입력수단을 이용하여 검색할 질의 이미지를 입력하는 제 2단계;
    이미지 기술자 추출수단에서 입력된 질의 이미지로부터 ART 이미지 기술자를 추출하여 상기 데이터베이스에 저장되어 있는 이미지와 이미지 기술자의 비유사도를 측정하고, 유사한 이미지를 획득하는 제 3단계; 및
    상기 데이터베이스에서 검색된 이미지를 사용자가 확인할 수 있도록 출력하는 제 4단계
    를 포함하는 내용기반 이미지 검색 방법.
  15. 제 14항에 있어서,
    상기 제 1단계는,
    상기 이미지 입력수단을 이용하여 데이터베이스에 저장할 이미지를 입력하는 제 5단계;
    상기 이미지 기술자 추출수단이 이미지 입력수단에 입력된 이미지에서 이미지 기술자를 추출하는 제 6단계;
    상기 이미지 기술자 추출수단에서 획득된 이미지 기술자를 이미지 기술자 저장수단에 기록하는 제 7단계; 및
    상기 이미지 입력수단을 이용하여 입력된 이미지를 소정의 기준으로 분류하여 이미지 저장수단에 기록하는 제 8단계를 포함하는 내용기반 이미지 검색 시스템.
  16. 제 15항에 있어서,
    상기 제 6단계는,
    하기 「수학식」으로 표현되는 ART 정의식에 의거하여 입력된 이미지로부터 ART 이미지 기술자를 추출하는 것을 특징으로 하는 내용기반 이미지 검색방법.
    (수학식)
  17. 제 14항 또는 제 15항에 있어서,
    상기 제 3단계는,
    상기 질의 이미지 기술자 추출수단이 이미지 입력부에 입력된 질의 이미지에서 이미지 기술자를 추출하는 제 9단계;
    상기 질의 이미지 기술자 추출수단이 추출한 이미지 기술자를 상기 이미지 기술자 비유사도 측정수단으로 전달하는 제 10단계;
    상기 질의 이미지 기술자 추출수단으로부터 질의 이미지의 이미지 기술자를 수신한 상기 이미지 기술자 비유사도 측정수단이 이미지 기술자 저장수단에 저장되어 있는 이미지 기술자와의 비유사도를 측정하여, 질의 이미지와 유사한 이미지를 판별하는 제 11단계; 및
    상기 이미지 기술자 비유사도 측정수단에서 판별된 이미지 기술자에 해당되는 이미지를 이미지 저장수단에서 획득하여 유사도 순으로 정렬한 후, 이미지 출력수단으로 전송하는 제 12단계를 포함하는 내용기반 이미지 검색방법.
  18. 제 17항에 있어서,
    상기 제 9단계는,
    하기 「수학식」으로 표현되는 ART 정의식에 의거하여 입력된 질의 이미지로부터 ART 이미지 기술자를 추출하는 것을 특징으로 하는 내용기반 이미지 검색 방법.
    (수학식)
  19. 제 17항에 있어서,
    상기 제 11단계는,
    하기 「수학식」으로 표현되는 비유사 정도를 나타내는 측정식에 의거하여 입력된 질의 이미지와 상기 이미지 기술자 저장수단에 기록된 기준 이미지의 이미지 기술자와의 비유사도를 측정하는 것을 특징으로 하는 내용기반 이미지 검색방법.
    (수학식)
  20. 제 17항에 있어서,
    상기 제 12단계는,
    상기 이미지 기술자 비유사도 측정수단이 검색한 이미지가 웹 서버에서 제공하는 프로토타입 이미지로 재사용되며, 웹 서버가 제공하는 프로토타입 이미지를 변형하여 재검색할 수 있는 것을 특징으로 하는 내용기반 이미지 검색방법.
  21. 제 14항에 있어서,
    상기 제 4단계는,
    상기 이미지 출력수단이 검색된 이미지를 사용자의 재접속시 프로토타입 이미지로 제공하며, 입력 이미지로 선택된 프로토타입 이미지를 상기 이미지 질의수단으로 전송하는 제 13단계를 더 포함하는 내용기반 이미지 검색방법.
  22. 마이크로 프로세서를 구비한, 내용기반 이미지 검색 시스템에,
    내용기반 이미지 검색을 위하여 데이터베이스를 구축하는 제 1기능;
    이미지 입력수단을 이용하여 검색할 질의 이미지를 입력하는 제 2기능;
    이미지 기술자 추출수단에서 입력된 질의 이미지로부터 ART 이미지 기술자를 추출하여 상기 데이터베이스에 저장되어 있는 이미지와 이미지 기술자의 비유사도를 측정하고, 유사한 이미지를 획득하는 제 3기능; 및
    상기 데이터베이스에서 검색된 이미지를 사용자가 확인할 수 있도록 출력하는 제 4기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1019990054300A 1999-12-01 1999-12-01 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법 KR100353798B1 (ko)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1019990054300A KR100353798B1 (ko) 1999-12-01 1999-12-01 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법
ES00310716T ES2281326T3 (es) 1999-12-01 2000-12-01 Sistema y metodo de extraccion de contenido de imagenes.
JP2000367732A JP3635368B2 (ja) 1999-12-01 2000-12-01 内容基盤イメージ検索システム及びその検索方法
AT00310716T ATE352817T1 (de) 1999-12-01 2000-12-01 System und methode zum inhaltsbasierten wiederauffinden von bildern
PT00310716T PT1107136E (pt) 1999-12-01 2000-12-01 Sistema para recuperação de imagem baseado no seu conteúdo e método para recuperar imagens que utiliza tal sistema.
EP00310716A EP1107136B1 (en) 1999-12-01 2000-12-01 Content-based image retrieval system and method
US09/728,450 US6754667B2 (en) 1999-12-01 2000-12-01 Content-based image retrieval system and method for retrieving image using the same
DE60033118T DE60033118T2 (de) 1999-12-01 2000-12-01 System und Methode zum inhaltsbasierten Wiederauffinden von Bildern
DK00310716T DK1107136T3 (da) 1999-12-01 2000-12-01 System og fremgangsmåde til indholdsbaseret billedsögning
US10/831,005 US20040199531A1 (en) 1999-12-01 2004-04-23 Content-based image retrieval system and method for retrieving image using the same
CY20071100547T CY1106537T1 (el) 1999-12-01 2007-04-23 Συστημα και μεθοδος ανακτησεως εικονος επι τη βασει περιεχομενου

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990054300A KR100353798B1 (ko) 1999-12-01 1999-12-01 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20010053788A true KR20010053788A (ko) 2001-07-02
KR100353798B1 KR100353798B1 (ko) 2002-09-26

Family

ID=19623064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990054300A KR100353798B1 (ko) 1999-12-01 1999-12-01 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법

Country Status (10)

Country Link
US (2) US6754667B2 (ko)
EP (1) EP1107136B1 (ko)
JP (1) JP3635368B2 (ko)
KR (1) KR100353798B1 (ko)
AT (1) ATE352817T1 (ko)
CY (1) CY1106537T1 (ko)
DE (1) DE60033118T2 (ko)
DK (1) DK1107136T3 (ko)
ES (1) ES2281326T3 (ko)
PT (1) PT1107136E (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100681245B1 (ko) * 2006-03-29 2007-02-09 햄펙스 주식회사 이미지 기반의 컨텐츠 제공 시스템 및 그 방법
KR100782047B1 (ko) * 2006-04-27 2007-12-04 인하대학교 산학협력단 모바일 웹 기반의 이미지검색을 위한 초기질의 집합의자동생성방법
KR20110007179A (ko) * 2008-04-14 2011-01-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치
KR101103671B1 (ko) * 2009-11-17 2012-01-11 엔에이치엔(주) 사용자의 요청에 대응하여 동적으로 가장 적합한 이미지를 추출하고 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094492A (en) * 1999-05-10 2000-07-25 Boesen; Peter V. Bone conduction voice transmission apparatus and system
KR100406508B1 (ko) * 2000-06-23 2003-11-20 주식회사 코난테크놀로지 컬러영상 처리 시스템 및 그 방법
JP4063486B2 (ja) * 2000-09-06 2008-03-19 日本電気株式会社 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体
KR100442126B1 (ko) * 2001-01-12 2004-07-30 주식회사 코어트러스트 아이템간의 연관성을 이용한 비디오 추천 시스템 및 방법
US20030012441A1 (en) * 2001-07-02 2003-01-16 Jasc Software, Inc. Detection of lines in images
US7353224B2 (en) * 2001-12-04 2008-04-01 Hewlett-Packard Development Company, L.P. System and method for efficiently finding near-similar images in massive databases
US20040190793A1 (en) * 2002-03-01 2004-09-30 Rorvig Mark E. Method for retrieving images by content measure metadata encoding
US7076093B2 (en) * 2002-09-16 2006-07-11 Lee Shih-Jong J Structure-guided image inspection
US7274365B1 (en) 2003-01-31 2007-09-25 Microsoft Corporation Graphical processing of object perimeter information
US7202867B1 (en) 2003-01-31 2007-04-10 Microsoft Corporation Generation of glow effect
US20050033719A1 (en) * 2003-08-04 2005-02-10 Tirpak Thomas M. Method and apparatus for managing data
EP1530156B1 (en) * 2003-11-07 2012-03-14 Mitsubishi Electric Information Technology Centre Europe B.V. Visual object detection
FR2865050B1 (fr) * 2004-01-12 2006-04-07 Canon Res Ct France S A S Procede et dispositif de recherche rapide d'entites multimedia.
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US7970171B2 (en) 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US7812986B2 (en) * 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8510283B2 (en) * 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US8335789B2 (en) 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8144921B2 (en) 2007-07-11 2012-03-27 Ricoh Co., Ltd. Information retrieval using invisible junctions and geometric constraints
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US8086038B2 (en) 2007-07-11 2011-12-27 Ricoh Co., Ltd. Invisible junction features for patch recognition
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8195659B2 (en) 2005-08-23 2012-06-05 Ricoh Co. Ltd. Integration and use of mixed media documents
US8276088B2 (en) 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US8005831B2 (en) 2005-08-23 2011-08-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment with geographic location information
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US8332401B2 (en) 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US7991778B2 (en) 2005-08-23 2011-08-02 Ricoh Co., Ltd. Triggering actions with captured input in a mixed media environment
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8156115B1 (en) 2007-07-11 2012-04-10 Ricoh Co. Ltd. Document-based networking with mixed media reality
US8156427B2 (en) 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US8184155B2 (en) 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US20070030523A1 (en) * 2005-08-02 2007-02-08 Kabushiki Kaisha Toshiba System and method for identifying a submitter of a printed or scanned document
US20070061429A1 (en) * 2005-09-12 2007-03-15 Microsoft Corporation Optimizing utilization of application resources
JP5009577B2 (ja) * 2005-09-30 2012-08-22 富士フイルム株式会社 画像検索装置および方法並びにプログラム
AU2006320692A1 (en) * 2005-11-29 2007-06-07 Google Inc. Detecting repeating content in broadcast media
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9020966B2 (en) * 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US8073263B2 (en) 2006-07-31 2011-12-06 Ricoh Co., Ltd. Multi-classifier selection and monitoring for MMR-based image recognition
US8411977B1 (en) 2006-08-29 2013-04-02 Google Inc. Audio identification using wavelet-based signatures
JP5096776B2 (ja) * 2007-04-04 2012-12-12 キヤノン株式会社 画像処理装置及び画像検索方法
US8050503B2 (en) * 2007-07-05 2011-11-01 General Electric Company Systems and methods for computer vision using curvelets
WO2009136673A1 (en) * 2008-05-09 2009-11-12 Hankuk University Of Foreign Studies Research And Industry-University Cooperation Foundation Matching images with shape descriptors
US8538941B2 (en) * 2008-07-31 2013-09-17 Adobe Systems Incorporated Visual information search tool
US8254678B2 (en) 2008-08-27 2012-08-28 Hankuk University Of Foreign Studies Research And Industry-University Cooperation Foundation Image segmentation
GB0820273D0 (en) 2008-11-05 2008-12-10 Imp Innovations Ltd Improvements in relation to image processing
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
US8478053B2 (en) * 2009-07-15 2013-07-02 Nikon Corporation Image sorting apparatus
US9367523B2 (en) 2009-09-25 2016-06-14 Adobe Systems Incorporated System and method for using design features to search for page layout designs
US8391611B2 (en) * 2009-10-21 2013-03-05 Sony Ericsson Mobile Communications Ab Methods, systems and computer program products for identifying descriptors for an image
WO2012176317A1 (ja) * 2011-06-23 2012-12-27 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
WO2015155628A1 (en) * 2014-04-07 2015-10-15 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
CN105809087B (zh) * 2014-12-30 2020-03-27 清华大学 辐射检查系统及车型模板检索方法
US20170263031A1 (en) * 2016-03-09 2017-09-14 Trendage, Inc. Body visualization system
US9591047B1 (en) * 2016-04-11 2017-03-07 Level 3 Communications, Llc Invalidation in a content delivery network (CDN)
KR102058393B1 (ko) 2017-11-30 2019-12-23 국민대학교산학협력단 스케치 기반의 영상표절 검사 방법 및 장치
US10832083B1 (en) 2019-04-23 2020-11-10 International Business Machines Corporation Advanced image recognition for threat disposition scoring

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4747147A (en) * 1985-09-03 1988-05-24 Sparrow Malcolm K Fingerprint recognition and retrieval system
JPS6320579A (ja) * 1986-07-14 1988-01-28 Hitachi Ltd 画像の特徴量抽出処理方式
JP3067966B2 (ja) * 1993-12-06 2000-07-24 松下電器産業株式会社 画像部品を検索する装置及びその方法
US5465353A (en) * 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing
JP3118174B2 (ja) * 1995-12-11 2000-12-18 インターナショナル・ビジネス・マシーンズ・コーポレ−ション グリフ・イメージの検索方法と検索装置及びグリフ・イメージ管理システム
US5893095A (en) 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US6016487A (en) * 1997-03-26 2000-01-18 National Research Council Of Canada Method of searching three-dimensional images
JPH1131153A (ja) * 1997-07-11 1999-02-02 Hitachi Ltd 画像類似度計算方法
JPH11167634A (ja) * 1997-12-03 1999-06-22 Omron Corp 画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラムを記録した記録媒体、画像検索方法、画像検索装置および画像検索プログラムを記録した記録媒体
KR19990051743A (ko) 1997-12-19 1999-07-05 정선종 내용 기반 영상 정보를 이용한 등록 상표 자동 검색 방법
KR100319150B1 (ko) * 1999-02-01 2002-01-04 구자홍 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100681245B1 (ko) * 2006-03-29 2007-02-09 햄펙스 주식회사 이미지 기반의 컨텐츠 제공 시스템 및 그 방법
KR100782047B1 (ko) * 2006-04-27 2007-12-04 인하대학교 산학협력단 모바일 웹 기반의 이미지검색을 위한 초기질의 집합의자동생성방법
KR20110007179A (ko) * 2008-04-14 2011-01-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치
KR101103671B1 (ko) * 2009-11-17 2012-01-11 엔에이치엔(주) 사용자의 요청에 대응하여 동적으로 가장 적합한 이미지를 추출하고 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
US20040199531A1 (en) 2004-10-07
US20020010704A1 (en) 2002-01-24
US6754667B2 (en) 2004-06-22
EP1107136A1 (en) 2001-06-13
PT1107136E (pt) 2007-05-31
DE60033118T2 (de) 2007-11-22
CY1106537T1 (el) 2012-01-25
DK1107136T3 (da) 2007-05-29
EP1107136B1 (en) 2007-01-24
ES2281326T3 (es) 2007-10-01
ATE352817T1 (de) 2007-02-15
JP3635368B2 (ja) 2005-04-06
KR100353798B1 (ko) 2002-09-26
JP2001209803A (ja) 2001-08-03
DE60033118D1 (de) 2007-03-15

Similar Documents

Publication Publication Date Title
KR20010053788A (ko) 내용기반 이미지 검색 시스템 및 그 방법
CN107256262B (zh) 一种基于物体检测的图像检索方法
US8805116B2 (en) Methods and apparatus for visual search
US8787680B2 (en) Scalable near duplicate image search with geometric constraints
CN105027162B (zh) 图像解析装置、图像解析系统、图像解析方法
JP4540970B2 (ja) 情報検索装置及びその方法
US9092458B1 (en) System and method for managing search results including graphics
US20130282712A1 (en) Combined semantic description and visual attribute search
US20100092093A1 (en) Feature matching method
EP2106599A2 (en) Feature matching method
US8243988B1 (en) Clustering images using an image region graph
JP2014029732A (ja) 画像の検索および読み出しに関する基準を用いて画像内容の描写を生成する方法
JP6211407B2 (ja) 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
KR100471927B1 (ko) 웹 기반 영상 데이터 검색 시스템 및 그 방법
CN101866366A (zh) 一种基于内容的图像格式中文文档检索方法
JP5094830B2 (ja) 画像検索装置、画像検索方法及びプログラム
CN111914921A (zh) 一种基于多特征融合的相似性图像检索方法及系统
CN112445926B (zh) 一种图像检索方法以及装置
WO2010071617A1 (en) Method and apparatus for performing image processing
CN112527971A (zh) 一种相似文章的检索方法和系统
JPH11250106A (ja) 内容基盤の映像情報を利用した登録商標の自動検索方法
CN103092935A (zh) 一种基于sift量化的近似拷贝图像检测方法
KR101910825B1 (ko) 이미지 검색 모델을 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램
Wu et al. Similar image retrieval in large-scale trademark databases based on regional and boundary fusion feature
JP7091055B2 (ja) 検索装置、検索方法および検索プログラム

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120831

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20130830

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20140917

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20150901

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20160901

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20170918

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20180717

Year of fee payment: 17

FPAY Annual fee payment

Payment date: 20190604

Year of fee payment: 18