KR20080031695A - 이미지 쿼리를 통한 데이터베이스 탐색 방법 및 이미지검색 시스템 - Google Patents

이미지 쿼리를 통한 데이터베이스 탐색 방법 및 이미지검색 시스템 Download PDF

Info

Publication number
KR20080031695A
KR20080031695A KR1020077030733A KR20077030733A KR20080031695A KR 20080031695 A KR20080031695 A KR 20080031695A KR 1020077030733 A KR1020077030733 A KR 1020077030733A KR 20077030733 A KR20077030733 A KR 20077030733A KR 20080031695 A KR20080031695 A KR 20080031695A
Authority
KR
South Korea
Prior art keywords
image
data
query
implicit
database
Prior art date
Application number
KR1020077030733A
Other languages
English (en)
Inventor
브레트 디. 브루어
에릭 비. 왓슨
랜달 제이. 맥베스
니콜라스 에이. 와이트
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20080031695A publication Critical patent/KR20080031695A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/912—Applications of a database
    • Y10S707/944—Business related

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

이미지 기반 쿼링을 향상시키고 가속시키는 이미지 쿼리 시스템, 관련 방법 및 컴퓨터 프로그램 제품이 개시된다. 이를 위해, 본 발명은 암시적 및 명시적 관련 메타데이터를 갖는 디지털 이미지 쿼리 및 로컬, 네트워킹된, 또는 웹-링크된 리포지토리 상에 저장된 이미지들의 대규모 집합체로부터 시각적으로 유사한 이미지 또는 다른 관련 정보에 대한 검색을 제공한다.
이미지 기반 쿼리, 암시적 및 명시적 관련 메타데이터, 디지털 이미지 쿼리

Description

이미지 쿼리를 통한 데이터베이스 탐색 방법 및 이미지 검색 시스템{QUERY-BY-IMAGE SEARCH AND RETRIEVAL SYSTEM}
본 발명은 일반적으로 이미지에 의한 쿼리 탐색이 가능한 방법, 시스템 및 컴퓨터 프로그램 제품에 관한 것으로, 특히 연관된 암시적 또는 명시적 메타데이터를 사용하여 쿼리 기준을 만족하는 유사한 객체 집합 및 객체들의 식별자를 네비게이팅(navigate)하는 이미지에 의한 쿼리 탐색이 가능한 방법, 시스템 및 컴퓨터 프로그램 제품에 관한 것이다.
월드 와이드 웹(WWW)은 서로 연결된 광대한 컴퓨터 네트워크로 이루어져 있고, 이 컴퓨터 네트워크에 의해 전 세계 도처에 있는 사업체, 정부, 집단 및 개개인들은 웹 페이지로서 알려진 상호 링크된 컴퓨터 파일들을 유지시킨다. 사용자들은 이들 페이지를 일반적으로 인터넷 브라우저로 알려진 컴퓨터 소프트웨어 프로그램에 의해 네비게이팅한다. 비구조화된 WWW의 방대함으로 인해, 사용자들은 정보를 검색하거나 사업체의 위치를 파악하기 위해 우선적으로 인터넷 탐색 엔진들에 의존한다. 이들 탐색 엔진은 각종 수단을 이용하여 검색된 정보에 대한 사용자-정의된 탐색의 관련성을 결정한다.
전형적으로, 탐색 엔진에 의해 렌더링되는 각각의 탐색 결과는 사용자의 탐 색 표현식(search expresssion)을 만족하는 것으로서 탐색 엔진에 의해 식별된 개별 항목(entry)의 목록(list)을 포함한다. 각 항목 또는 "히트(hit)"는 URL(Uniform Resource Locator) 위치 또는 웹 페이지를 지시하는 하이퍼링크를 포함한다. 소정의 탐색 결과는 하이퍼링크 외에도 웹 페이지의 내용을 기술하는 짧은 요약 또는 초록을 포함한다.
인터넷 상의 텍스트 자료에 접근하기 위한 일반적인 기술은 사용자가 영숫자 탐색 표현식 또는 키워드로 이루어진 쿼리를 입력하는 경우, 단어(word)들과 항(term)들 간에 일반적으로 부울 연산자를 갖는 "키워드" 결합체에 의한다. 쿼리에 응답하여, 탐색 엔진은 요청받은 정보를 찾아내기 위해, 탐색 쿼리의 단어를 메타데이터 리포지토리 내의 단어에 매칭시키기 위해 유용가능한 웹 사이트를 엄밀히 조사한다.
이런 단어-매칭 기반의 탐색 엔진은 메타데이터 리포지토리를 구문 분석하여 쿼리의 단어와 메타데이터 리포지토리 내의 문서의 인덱싱된 단어를 비교함에 의해 매치를 찾아낸다. 쿼리와 하나 이상의 문서의 단어 간에 단어 매치가 존재할 경우, 탐색 엔진은 이들 문서를 식별하여 탐색 결과를 HTML 페이지의 형태로 반환한다.
또한, WWW 자료의 양이 증가할 뿐 아니라, 디지털화된 자료의 유형도 증가한다. 예를 들어, 디지털화된 데이터의 각종 유형으로서 영숫자 텍스트, 데이터, 오디오 기록물, 영상, 사진, 그림, 이미지, 비디오 및 인쇄물을 저장할 수 있다. 그러나, 이런 대량의 자료는 원하는 정보를 용이하게 쿼리가능하고, 찾기 가능하고, 검색가능하지 않는 한, 거의 가치가 없다. 특정 유형의 텍스트 자료에 접근하기 위한 소정의 기술이 개발되어 있지만, 이들 기술은 기껏해야 그래픽 또는 다른 특수화된 자료에 접근하는 데 적당히 적합하다. 따라서, 여전히 충분히 활용되지 않는 채로 상당히 남아 있는 대량의 게시된 자료들이 존재한다.
그 결과, 사용자들이 텍스트 탐색에 제한되지 않고 내용(content) 및 상황(context)에 의한 탐색이 가능해지도록 하는 것이 점점 중요해지고 있다.
본 발명은 이미지-기반 쿼링을 향상시키고 가속시키는 이미지 쿼리 시스템 및 연관된 방법 및 컴퓨터 프로그램 제품(본원에서는 총칭하여 "본 시스템"이라 칭함)에 관한 것이다. 이러한 목적을 위해, 본 발명은 암시적 또는 명시적 연관 메타데이터를 갖는 디지털 이미지 쿼리, 및 로컬(local), 네트워킹된, 또는 웹-링크된 리포지토리 상에 저장된 대량의 이미지 집합체(collection)로부터 시각적으로 유사한 이미지 또는 다른 관련 정보의 검색을 제공한다.
본 시스템은 개개인이 디지털 영상을 촬영하거나 이용하고, 이미지에 암시적 또는 명시적 데이터를 첨부하여 쿼리 내의 영상에 그 데이터가 수반되도록 할 수 있다. 이것을 인터넷 또는 임의 다른 매체를 통해 전송하게 되면, 수반되는 텍스트, 또는 부가적으로 오디오 파일이 항상 디지털 영상에 연관된다.
영상에 첨부되는 주석이 달린 자료는, 데이터베이스에 이미지가 포함되면, 관련 이미지 또는 정보를 찾는 데 암시적 또는 명시적 데이터가 유용하게 될 것과 같이, 쿼리가능하고, 찾기 가능하고, 검색가능하게 될 것이다. 예를 들어, 사진의 위치 등의 텍스트 자료가 디지털 사진에 첨부되면, 동일 위치에서의 소정의 객체에대한 이미지에 의한 쿼리는 탐색에 필적하게 될 것이다. 또한, 특정 이벤트, 예컨대, 뉴스 이벤트에 관련된 데이터베이스에 의해 다수의 이미지를 획득하면, 사용자들은 소정의 이벤트 동안, 또는 소정의 주제에 대해, 또는 위치에 의해, 또는 영상의 날짜에 의해 제출된 모든 사진에 대해 이미지 쿼리 또는 텍스트 탐색을 행할 수 있다. 탐색될 수 있는 조합은 파일에 저장된 자료의 유형에 따라 달라질 것이다.
이제는, 본 발명에 의하면 각각의 영상을 해당 영상에 관한 속성을 기술하는 데이터의 독립된 데이터베이스 서포지토리(suppository)로 만들 수 있고, 다수의 다른 사진이 달린 영상과 함께 결합되면, 각각의 영상이 해당 영상의 내용을 기술하는 정보를 갖는 영상들의 데이터베이스를 구축할 수 있다. 따라서, 다수의 다른 영상들과 결합하게 되면, 그룹으로서 또는 개별 영상으로서 탐색 및 처리될 수 있는 영상들의 데이터베이스를 형성하게 될 것이다.
도 1은 본 발명의 이미지에 의한 쿼리 시스템을 구현할 수 있는 컴퓨터 워크스테이션 환경의 고수준의 블록도.
도 2는 도 1의 워크스테이션 및 쿼리 시스템을 사용할 수 있는 예시적인 네트워킹된 컴퓨팅 환경을 도시한 도면.
도 3은 본 발명의 이미지에 의한 쿼리 탐색 시스템을 구현할 수 있는 카메라 또는 카메라 폰 환경의 고수준의 블록도.
도 4는 도 1의 쿼리 시스템의 동작을 나타내는 프로세스 흐름도.
이하의 설명에서는 첨부된 도면을 참조하여 본 발명의 여러 특징들 및 이들을 얻는 방법에 대해 기술하기로 하며, 첨부된 도면의 참조부호들은 필요에 따라 참조된 용어들 간의 대응관계를 나타내도록 반복사용되었다.
도 1은 본 발명의 이미지에 의한 쿼리 시스템(10)이 실행될 수 있는 대표적인 컴퓨터 워크스테이션(110)을 도시한다. 쿼리용으로 디지털 이미지를 선택하여 셀룰러 폰, 디지털 카메라, 스캐너에 의해 컴퓨터 워크스테이션(110)에 입력하거나, 또는 인터넷이나 다른 컴퓨터로부터 다운로드한다. 컴퓨터 워크스테이션(110)은 예를 들어, 복수의 주변 장치에 연결되는 퍼스널 컴퓨터(PC)일 수 있다. 게다가, 웨크스테이션(110)이 카메라 또는 모바일 폰일 수 있도 있다는 점에 주목한다. 전형적으로, 컴퓨터 워크스테이션(110)은 중앙 처리 장치(CPU)(112) 및 컴퓨터 워크스테이션(110)의 중앙 처리 장치(112)와 다른 컴포넌트들 사이를 연결하여 이들 간에 통신을 가능하게 하는 데 사용되는 버스(114)를 포함한다.
컴퓨터 워크스테이션(110)은 또한 버스(14)를 통해 중앙 처리 장치(112)를 키보드(118), 마우스(120) 등의 하나 이상의 인터페이스 장치 및/또는 터치 스크린, 디지털화된 패드 등의 기타 인터페이스 장치(122, 123)에 연결하는 사용자 인터페이스 어댑터(116)를 포함할 수 있다. 버스(114)는 또한 모니터나 액정 디스플레이(LCD) 스크린 등의 디스플레이 장치(124)를 디스플레이 어댑터(126)를 통해 중앙 처리 장치(112)에 연결한다. 버스(114)는 또한 중앙 처리 장치(112)를 메모리(128) 및 하드 드라이브, 디스켓 드라이브 테이프 드라이브 등의 저장 장치(130) 에 연결한다.
디지털 영상은 디스크를 하드 드라이브 내로 물리적으로 로딩하는 등의 임의 통상의 수단에 의해 또는 카메라와 메모리 간의 유선이나 무선 통신에 의해 제1 워크스테이션(110)의 메모리(128)에 전송된다.
시스템(10)은 디스켓, 하드 드라이브 또는 CD-ROM 등의 데이터 처리 시스템에 사용하도록 공지된 여러 매체 중 임의의 것 상에 포함될 수 있는 소프트웨어 프로그래밍 코드 또는 컴퓨터 프로그램 제품을 포함한다.
프로그램 코드는 그러한 매체를 통해 배포될 수 있거나, 사용자들에게는 어떤 한 컴퓨터 시스템의 메모리 또는 저장 장치로부터 임의 형태의 네트워크를 통해 다른 컴퓨터 시스템에 배포되어 그러한 다른 시스템의 사용자들이 사용할 수 있다. 또는, 프로그래밍 코드는 메모리에 포함될 수 있고, 중앙 처리 장치에 의해 액세스될 수 있다. 소프트웨어 프로그래밍 코드를 메모리에, 물리적 매체 상에 포함하고/하거나 소프트웨어 코드를 네트워크를 통해 배포하기 위한 기술 및 방법들은 잘 알려져 있으므로, 더 이상의 설명은 하지 않기로 한다.
다른 실시예에서, 시스템(10)은, 모듈러이고 컴퓨터 워크스테이션(110) 또는 호스트 서버(247)(도 2) 내에 포함될 수 있거나, 또는 그 상에 설치될 수 있는 소프트웨어 또는 컴퓨터 프로그램 제품을 포함한다.
컴퓨터 워크스테이션(110)은 다른 컴퓨터 또는 컴퓨터 네트워크(115)와 예를 들어 통신 채널 또는 모뎀(132)을 통해 통신할 수 있다. 또는, 워크스테이션(110)은 셀룰러 디지털 패킷 데이터(CDPD) 카드 등의 무선 인터페이스를 이용하여 통신 할 수 있다. 워크스테이션(110)은 LAN(근거리 통신망) 또는 WAN(광역 통신망) 내의 그러한 다른 컴퓨터에 연관될 수 있다. 워크스테이션(110)은 또한 또 다른 컴퓨터와 클라리언트/서버 구성에서의 클라이언트일 수 있다.
시스템(10)은 또한 후보 이미지들 및 이들 이미지에 속한 관련 정보의 잠재적으로 대규모인 집합체를 갖는 데이터베이스를 포함한다. 시스템의 목적은 집합체로부터 하나 이상의 이미지 및 이미지 쿼리에 매칭되는 관련 정보를 검색하기 위한 것이다. 시스템은 탐색으로 사용되는 이미지의 내용과 그 이미지에 주석으로서 첨부된 암시적 및 명시적 메타데이터의 논거(basis) 모두에 기초하여 이미지들의 집합체에서의 탐색을 수행한다. 시스템은 가장 관련성 있는 결과들을 디스플레이할 순위 기준을 갖는다.
지금부터 도 2를 참조해 보면, 본 발명의 시각적 쿼리 시스템(10)을 실행할 수 있는 데이터 처리 네트워크(240)를 도시한다. 네트워크(240)는 예를 들어, 무선 네트워크(242) 및 인터넷(244) 등의 복수의 네트워크를 포함하며, 이들 각각은 워크스테이션(110, 150, 160, 170, 180) 등의 복수의 개별 워크스테이션에 연결될 수 있다. 추가로, 하나 이상의 LAN을 포함할 수 있으며, 여기서 LAN은 호스트 프로세서에 연결된 복수의 지능형 워크스테이션을 포함할 수 있다.
네트워크(242 및 244)는 또한 전송 제어 프로토콜/인터넷 프로토콜(TCP/IP) 연결을 이용하여 데이터 리포지토리(248)에 액세스하는 게이트웨이(246) 또는 애플리케이션 서버(247) 등의 메인프레임 컴퓨터 또는 서버를 포함할 수 있다. 게이트웨이(246)는 각 네트워크(244) 내로의 진입점으로서 작용한다. 게이트웨이(246)는 통신 링크(250A)에 의해 또 다른 네트워크(242)에 연결될 수 있다. 게이트웨이(246)는 또한 통신 링크(250B, 250C) 각각을 사용하여 하나 이상의 워크스테이션(110, 150)에 직접 연결될 수 있다.
게이트웨이(246)는 네트워크(242)와 떨어져 있을 수 있으며, 마찬가지로, 워크스테이션(110, 150, 160, 170, 180)은 네트워크(242 및 244)로부터 원격 위치될 수 있다. 워크스테이션(110)은 TCP/IP 등의 네트워킹 프로토콜을 이용하여 무선 네트워크(242)에 셀룰러 폰 네트워크, 무선 주파수 네트워크, 위성 네트워크 등의 다수의 대체 연결 매체를 통해 연결될 수 있다.
무선 네트워크(242)는 인터넷 프로토콜 상의 TCP 또는 사용자 데이터그램 프로토콜(UDP), X.25, 프레임 릴레이(Frame Relay), ISDN(Integrated Services Digital Network), PSTN(Public Switched Telephone Network) 등의 네트워크 연결(250A)을 이용하여 게이트웨이(246)에 연결된다. 또는, 워크스테이션(110)은 다이얼-업(dial up) 연결을 이용하여 게이트웨이(246)에 직접 연결될 수 있다. 또한, 네트워크(242 및 244)는 도 2에 도시된 것과 유사한 방법으로 하나 이상의 다른 네트워크(도시 안됨)에 연결될 수 있다.
사용자 컴퓨터(즉 160)는 사용 중에, 유선 연결 또는 무선 연결을 이용하여 이미지에 의한 쿼리 시스템(10)을 사용한 서버(게이트웨이)(246)에 연결될 수 있다. 유선 연결은 케이블 및 전화선 등의 물리적 매체를 사용하는 것인 반면, 무선 연결은 위성 링크, 무선 주파수 전파 및 적외선 전파 등의 매체를 사용할 수 있다. 이들 각종 매체에서 다양한 연결 기술을 사용할 수 있는 데, 예를 들어, 컴퓨터의 모뎀을 이용하여 전화선을 통한 연결을 확립하는 것, 토큰 링(Token Ring) 또는 이더넷(Ethernet) 등의 LAN 카드를 이용하는 것, 셀룰러 모뎀을 이용하여 무선 연결을 확립하는 것 등이 있다. 사용자 컴퓨터(160)는 랩톱, 핸드헬드형 또는 이동형 컴퓨터, 차량 장착용 장치, 데스크톱 컴퓨터, 메인프레임 컴퓨터 등을 포함하고, 처리 및 통신 능력을 갖춘 임의 유형의 컴퓨터 프로세서일 수 있다. 원격 서버(246)는 마찬가지로 처리 및 통신 능력을 갖춘 여러 유형의 컴퓨터 중 하나일 수 있다.
도 3은 표준형 디지털 카메라(300)(또는 디지털 카메라 폰)의 동작 특징을 나타낸 것이다. 이들 특징은 이미지를 캡처하는 이미지 캡처링 장치(302) 뿐 아니라, 하나 이상의 이미지를 디지털 포맷으로 저장하는 저장 장치(304)를 포함한다. CPU(306)는 메모리(308)와 협력하여 디지털 카메라의 동작을 제어한다. 인터넷 또는 임의 다른 유형의 유선 또는 무선 통신 등의 통신 네트워크(312)에 디지털 이미지 또는 이미지들을 전송할 목적으로 저장 장치(304)에 포함된 정보가 네트워크 인터페이스(310)에 도입된다.
카메라(300)는 이미지에 날짜 및 시각 날인(stamp) 등의 암시적 데이터를 첨부할 수 있다. 또한, 카메라(300)는 자동 이미지 지오코딩(automatic image geocoding)을 포함하여 그 이미지에 GPS 지역화(localization) 또는 카메라 폰인 경우에는 GSM 지역화를 첨부한다. 자동 이미지 지오코딩은 GPS 수신기 플러그-인(314)을 통해 행해질 수 있다. 날짜, 시각 및 GPS/GSM 날인은 디지털 영상에 픽셀로서 첨부되는 영구적이며, 수정 불가한 고유 정보이다.
이미지에 텍스트 속성을 주석으로 첨부함으로써 데이터베이스로부터 이미지들의 위치 파악 및 구성이 가능하다. 또한, 이미지에 앵커 텍스트 또는 다른 텍스트를 통해 추가의 정보가 관련될 수 있다. 공지의 정보 추출 기술을 통해, 이 데이터는 주석이 달린 텍스트 또는 앵커 텍스트로부터 추출될 수 있어, 이미지 데이터베이스(248) 내의 각종 아이템들을 탐색하는 데 사용될 수 있다. 중요한 것은, 이런 데이터는 텍스트 데이터에 제한되는 것이 아니라, 음성(sound) 데이터를 포함할 수도 있다는 것에 주목해야 한다. 음성 인식 장치 등과 같은 본 발명에 관련된 각종 입력 장치들은 이런 탐색 프로세스에 사용될 수 있다.
카메라, 카메라 폰 또는 임의 다른 메모리 장치 등의 워크스테이션(110)의 메모리에 이미지 데이터 태그 애플리케이션이 탑재되어 있다. 이러한 데이터 애플리케이션에 의해, 사용자는 이미지에 관련 정보를 첨부할 수 있는 것과 같은 이미지-관련 데이터를 입력할 수 있다. 이런 주석이 달린 데이터는 시스템(10)에 의해 쉽게 액세스됨으로써 주석이 달린 자료는 관련 문서의 위치 파악 및 장래 탐색을 위한 이미지 분류 모두에 이용될 수 있다.
이로써, 본 시스템(10)은 데이터 및 사진 모두가 하나의 파일로 저장하는 방식으로 암시적 및/또는 명시적 메타데이터가 주석으로 첨부되어 있는 이미지에 의한 쿼리 탐색이 가능해진다. 따라서, 파일 전체를 제1 워크스테이션(110) 등의 하나의 메모리 장치로부터 서버(246) 등의 제2 메모리 장치로 전송할 수 있다.
도 4의 흐름도는 도 1 및 도 3의 시각적 쿼리 시스템의 구현을 위한 방법(400)을 나타낸 것이다. 단계(410)에서, 사용자는 카메라 또는 카메라 폰을 통 해 이미지를 획득하거나 이미지를 선택하여 워크스테이션(110)의 메모리에 그 이미지를 저장한다. 단계(412)에서, 쿼리 시스템은 사용자가 이미지에 텍스트 또는 오디오 데이터를 주석으로 첨부할 수 있게 함으로써 탐색을 더 향상시키고 관련 정보의 찾기 및 검색을 위한 애플리케이션 서버에 탐색을 제출할 수 있다. 일례로서, 이미지 쿼리는 에펠 탑의 영상일 수 있다. 명시적 메타데이터, 즉 주석이 달린 텍스트는 다음 것, 즉 에펠 탑, 파리, 프랑스 및 설날을 기술한다. 암시적 데이터는 영상을 촬영했을 때의 카메라의 일시 날인 및 GPS 좌표를 포함한다.
단계(414)에서, 쿼리 시스템은 포토매칭 기술을 이용하여 이미지 쿼리를 분석하고 또한 메타데이터 유사성에 대해 메타데이터를 구문 분석한다. 시스템(10)은 연합된(federated) 데이터베이스 시스템을 포함할 수 있다. 구성요소의 데이터베이스는 컴퓨터 네트워크를 통해 상호연결되며, 지리적으로 분산될 수 있다. 예를 들어, 시스템(10)은 구문 분석된 메타데이터를 사용하여 온라인 백과사전 또는 지도 제작 서비스 등의 다른 데이터베이스용 서브쿼리를 생성할 수 있거나, 또는 서브쿼리를 이용하여 이미지 쿼리에 사용되는 위치 및 아이템에 관한 스폰서 광고를 식별할 수 있다. 이런 목적을 위해, 시스템(10)은 단계(416)에서 쿼리를 서브쿼리로 분해하여, 단계(418)에서 관련 구성요소의 데이터베이스 관리 시스템에 제출한다. 시스템(10)은 단계(420)에서 리포지토리(248) 및 연합된 다른 데이터베이스로부터의 쿼리들의 결과 집합들(result set)을 합성하여, 단계(422)에서 사용자에게 탐색 집합을 제공한다. 이와 같이 시스템은 균일한 프론트-엔드 사용자 인터페이스를 가져, 설사 구성요소의 데이터베이스가 이종이더라도 사용자가 단 하나의 쿼리에 의해 다수의 데이터베이스에서 데이터를 저장 및 검색할 수 있다.
시스템(10)은 단계(412)에서 데이터를 분류할 암시적 및 명시적 메타데이터를 사용하여 데이터베이스(248)에 쿼리 이미지의 이미지를 저장하기로 결정할 수 있다. 또한, 영상에 첨부되는 주석이 달린 자료는, 데이터베이스에 이미지가 포함되면 관련성 쿼리에 대해 이 이미지를 찾는 데 암시적 및 명시적 데이터가 유용하게 되는 바와 같이, 쿼리가능하고, 찾기 가능하고, 검색가능할 것이다. 예를 들어, 디지털 사진에 사진의 GPS 위치 등의 주석이 달린 자료가 첨부되면, 동일한 지오코드 위치에서 객체에 대한 이미지에 의한 쿼리는 탐색에 필적하게 될 것이다.
시스템(10)의 일례로, 다수의 촬영자가 이벤트에 관한 캡션된 이미지를 전송하면, 시스템은 특정 이벤트에 대해 제출된 모든 사진들을 탐색하여 그 탐색에 대한 이미지 집합체를 반환한다.
본원에서 기술된 본 발명의 특정 실시예는 단지 본 발명의 원리의 일부 응용에 대해 예시한 것임에 주목해야 한다. 본 발명의 예시적인 실시예가 예시를 목적으로 기술 및 도시되었지만, 본 발명의 사상 및 범주를 벗어나지 않는 한 여러 변형 실시예가 가능하다는 것을 알 수 있다. 따라서, 본 발명은 첨부된 청구범위에 기재된 사항을 제외하고는 기술된 사항에 의해 제한되지 않는다.

Claims (12)

  1. 이미지 쿼리를 통한 데이터베이스 탐색 방법으로서,
    데이터 입력(entry) 장치를 갖는 제1 워크스테이션에 이미지를 입력하는 단계,
    상기 이미지에 대해 상기 데이터 입력 장치를 사용하여 연관된 데이터로 명시적으로 주석을 달아 주석이 달린 이미지를 형성하는 단계,
    상기 주석이 달린 이미지에 의해 후보 이미지들의 데이터베이스를 탐색하는 단계 및
    하나 이상의 레코드(record)를 포함하는 결과 집합(result set)을 생성하는 단계
    를 포함하는 이미지 쿼리를 통한 데이터베이스 탐색 방법.
  2. 제1항에 있어서,
    이미지를 카메라에 의해 캡처링하는 단계 및 상기 이미지에 암시적 데이터를 관련시키는 단계를 더 포함하는 이미지 쿼리를 통한 데이터베이스 탐색 방법.
  3. 제2항에 있어서,
    상기 암시적 데이터는 상기 이미지에 대한 시각, 날짜 및 지오코드 위치(geocode location) 중 적어도 하나를 포함하는 이미지 쿼리를 통한 데이터베이 스 탐색 방법.
  4. 제2항에 있어서,
    상기 이미지에 대해 연관된 데이터로 명시적으로 주석을 다는 단계는 상기 이미지에 대해 텍스트 또는 오디오 데이터 중 적어도 하나로 주석을 다는 단계를 포함하는 이미지 쿼리를 통한 데이터베이스 탐색 방법.
  5. 제4항에 있어서,
    상기 주석이 달린 이미지에 의해 데이터베이스를 탐색하는 단계는 이미지 인식을 통해 상기 이미지를 분석하는 단계 및 상기 연관된 데이터를 구문 분석하는 단계를 포함하는 이미지 쿼리를 통한 데이터베이스 탐색 방법.
  6. 이미지 검색 시스템으로서,
    이미지가 저장된 워크스테이션,
    상기 이미지에 대해 명시적 데이터로 주석을 달아 쿼리 이미지를 생성하기 위한 입력 수단,
    연관된 데이터를 갖는 후보 이미지들의 데이터베이스,
    상기 쿼리 이미지와 상기 후보 이미지들을 비교하여 상기 쿼리 이미지와 각각의 후보 이미지 간의 각각의 이미지 유사성을 확립하기 위한 이미지 비교 수단,
    상기 쿼리 이미지의 상기 명시적 데이터와 상기 후보 이미지들의 데이터를 비교하기 위한 메타데이터 비교 수단 및
    적어도 최대의 이미지 및 데이터 유사성을 갖는 상기 후보 이미지를 제시하기 위한 제시(presentation) 수단
    을 포함하는 이미지 검색 시스템.
  7. 제7항에 있어서,
    상기 입력 수단은 데이터 태그 애플리케이션인 이미지 검색 시스템.
  8. 제7항에 있어서,
    상기 워크스테이션에 저장된 이미지는 암시적 메타데이터를 더 포함하는 이미지 검색 시스템.
  9. 제9항에 있어서,
    상기 암시적 메타데이터는 일시 날인(time and date stamp) 및 지오코드 위치(geocode location) 중 하나 이상을 포함하는 이미지 검색 시스템.
  10. 제10항에 있어서,
    상기 메타데이터 비교 수단은 상기 쿼리 이미지의 상기 명시적 및 암시적 데이터와 상기 후보 이미지들에 대한 데이터를 비교하는 것을 포함하는 이미지 검색 시스템.
  11. 내용(content) 및 메타데이터 기반의 이미지 쿼리를 구현하기 위한 명령어 코드를 갖는 컴퓨터 프로그램 제품으로서,
    이미지에 대해 연관된 데이터로 주석을 달기 위한 제1 명령어 코드 집합 및
    상기 이미지의 내용 및 상기 주석이 달린 데이터를 이용하여 후보 이미지들의 데이터베이스로부터 후보 이미지의 관련성을 결정하기 위한 제2 명령어 코드 집합
    을 포함하는 컴퓨터 프로그램 제품.
  12. 제11항에 있어서,
    상기 이미지는 암시적 메타데이터를 갖는 이미지를 포함하고, 상기 제2 명령어 코드 집합은 상기 암시적 및 주석이 달린 데이터를 구문 분석하는 컴퓨터 프로그램 제품.
KR1020077030733A 2005-06-29 2006-05-12 이미지 쿼리를 통한 데이터베이스 탐색 방법 및 이미지검색 시스템 KR20080031695A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/170,267 US7702681B2 (en) 2005-06-29 2005-06-29 Query-by-image search and retrieval system
US11/170,267 2005-06-29

Publications (1)

Publication Number Publication Date
KR20080031695A true KR20080031695A (ko) 2008-04-10

Family

ID=37590938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077030733A KR20080031695A (ko) 2005-06-29 2006-05-12 이미지 쿼리를 통한 데이터베이스 탐색 방법 및 이미지검색 시스템

Country Status (7)

Country Link
US (1) US7702681B2 (ko)
EP (1) EP1896998A2 (ko)
JP (1) JP2009500719A (ko)
KR (1) KR20080031695A (ko)
CN (1) CN101535986A (ko)
RU (1) RU2007147635A (ko)
WO (1) WO2007005118A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100925278B1 (ko) * 2009-04-29 2009-11-05 (주)지오투정보기술 수치지도를 이용한 지오코딩 시스템 및 그 방법
US8559724B2 (en) 2009-03-27 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for generating additional information about moving picture content
KR20180035253A (ko) 2016-09-28 2018-04-06 서강대학교산학협력단 내용 기반 이미지 검색을 위한 질의 이미지 생성 방법 및 시스템

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7159116B2 (en) 1999-12-07 2007-01-02 Blue Spike, Inc. Systems, methods and devices for trusted transactions
US7177429B2 (en) 2000-12-07 2007-02-13 Blue Spike, Inc. System and methods for permitting open access to data objects and for securing data within the data objects
US8953908B2 (en) 2004-06-22 2015-02-10 Digimarc Corporation Metadata management and generation using perceptual features
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8385589B2 (en) * 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US8332401B2 (en) * 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US8510283B2 (en) 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8868555B2 (en) * 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US7812986B2 (en) 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8335789B2 (en) * 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US8156115B1 (en) * 2007-07-11 2012-04-10 Ricoh Co. Ltd. Document-based networking with mixed media reality
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US7925995B2 (en) 2005-06-30 2011-04-12 Microsoft Corporation Integration of location logs, GPS signals, and spatial resources for identifying user activities, goals, and context
US20070244925A1 (en) * 2006-04-12 2007-10-18 Jean-Francois Albouze Intelligent image searching
US8341112B2 (en) * 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US9020966B2 (en) * 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US8599251B2 (en) * 2006-09-14 2013-12-03 Olympus Imaging Corp. Camera
KR100773441B1 (ko) * 2006-12-19 2007-11-05 삼성전자주식회사 휴대단말의 콘텐츠파일 검색방법 및 장치
JP2008165424A (ja) * 2006-12-27 2008-07-17 Sony Corp 画像検索装置および方法、撮像装置、並びにプログラム
US20080189591A1 (en) * 2007-01-31 2008-08-07 Lection David B Method and system for generating a media presentation
US8055271B2 (en) * 2007-02-05 2011-11-08 Yahoo! Inc. Intelligent location-to-cell mapping using annotated media
US20080244373A1 (en) * 2007-03-26 2008-10-02 Morris Robert P Methods, systems, and computer program products for automatically creating a media presentation entity using media objects from a plurality of devices
FI20070247A (fi) * 2007-03-27 2008-09-28 Eija Lehmuskallio Menetelmä ja järjestelmä kohteiden tunnistamiseksi
US8626789B2 (en) * 2007-06-01 2014-01-07 Microsoft Corporation Geocoding using information retrieval
US8108408B2 (en) * 2007-06-14 2012-01-31 Panasonic Corporation Image recognition device and image recognition method
US8121902B1 (en) 2007-07-24 2012-02-21 Amazon Technologies, Inc. Customer-annotated catalog pages
US9361941B2 (en) 2007-08-02 2016-06-07 Scenera Technologies, Llc Method and systems for arranging a media object in a media timeline
US8457416B2 (en) * 2007-09-13 2013-06-04 Microsoft Corporation Estimating word correlations from images
US8571850B2 (en) * 2007-09-13 2013-10-29 Microsoft Corporation Dual cross-media relevance model for image annotation
US7627502B2 (en) * 2007-10-08 2009-12-01 Microsoft Corporation System, method, and medium for determining items to insert into a wishlist by analyzing images provided by a user
US8572112B2 (en) * 2007-11-02 2013-10-29 Microsoft Corporation Syndicating search queries using web advertising
US8296291B1 (en) * 2007-12-12 2012-10-23 Amazon Technologies, Inc. Surfacing related user-provided content
JP5112901B2 (ja) * 2008-02-08 2013-01-09 オリンパスイメージング株式会社 画像再生装置、画像再生方法、画像再生用サーバー、および画像再生システム
WO2009129658A1 (en) * 2008-04-24 2009-10-29 Lonsou (Beijing) Technologies Co., Ltd. System and method for knowledge-based input in a browser
US8180788B2 (en) * 2008-06-05 2012-05-15 Enpulz, L.L.C. Image search engine employing image correlation
US20090297045A1 (en) * 2008-05-29 2009-12-03 Poetker Robert B Evaluating subject interests from digital image records
US20090313239A1 (en) * 2008-06-16 2009-12-17 Microsoft Corporation Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking
WO2010016281A1 (ja) * 2008-08-08 2010-02-11 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US9715701B2 (en) * 2008-11-24 2017-07-25 Ebay Inc. Image-based listing using image of multiple items
US20100131533A1 (en) * 2008-11-25 2010-05-27 Ortiz Joseph L System for automatic organization and communication of visual data based on domain knowledge
US8452794B2 (en) * 2009-02-11 2013-05-28 Microsoft Corporation Visual and textual query suggestion
US8520909B2 (en) 2009-03-11 2013-08-27 Hong Kong Baptist University Automatic and semi-automatic image classification, annotation and tagging through the use of image acquisition parameters and metadata
US8719104B1 (en) 2009-03-31 2014-05-06 Amazon Technologies, Inc. Acquiring multiple items in an image
KR101594293B1 (ko) * 2009-04-06 2016-02-16 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
US20110022635A1 (en) * 2009-07-26 2011-01-27 Moris Michael Method and System to Formulate Queries With Minivisuals
US9135277B2 (en) * 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
KR101660271B1 (ko) * 2009-08-21 2016-10-11 삼성전자주식회사 메타데이터 태깅 시스템, 이미지 검색 방법, 디바이스 및 이에 적용되는 제스처 태깅방법
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US20110165917A1 (en) 2009-12-31 2011-07-07 Mary Elizabeth Taylor Methods and arrangements employing sensor-equipped smart phones
CN102129430A (zh) * 2010-01-13 2011-07-20 三星电子（中国）研发中心 用于浏览图像的设备和方法
US9792638B2 (en) * 2010-03-29 2017-10-17 Ebay Inc. Using silhouette images to reduce product selection error in an e-commerce environment
US20110238534A1 (en) * 2010-03-29 2011-09-29 Ramanjaneyulu Yakkala Methods and systems for improving the categorization of items for which item listings are made by a user of an ecommerce system
KR101116434B1 (ko) * 2010-04-14 2012-03-07 엔에이치엔(주) 이미지를 이용한 쿼리 제공 방법 및 시스템
WO2011136766A1 (en) * 2010-04-28 2011-11-03 Hewlett-Packard Development Company, L.P. System and method for automatically providing a graphical layout based on an example graphic layout
US20110270947A1 (en) * 2010-04-29 2011-11-03 Cok Ronald S Digital imaging method employing user personalization and image utilization profiles
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates
KR101722687B1 (ko) 2010-08-10 2017-04-04 삼성전자주식회사 객체간 또는 객체와 유저간에 정보 제공 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
US8412594B2 (en) 2010-08-28 2013-04-02 Ebay Inc. Multilevel silhouettes in an online shopping environment
EP2431890A1 (en) * 2010-09-15 2012-03-21 Research In Motion Limited Systems and methods for generating a search
US8645359B2 (en) * 2010-09-30 2014-02-04 Microsoft Corporation Providing associations between objects and individuals associated with relevant media items
US8788434B2 (en) 2010-10-28 2014-07-22 Google Inc. Search with joint image-audio queries
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
CN102063472B (zh) * 2010-12-10 2012-08-22 北京大学 图片搜索方法、图片搜索系统、客户端和服务器
US9037600B1 (en) * 2011-01-28 2015-05-19 Yahoo! Inc. Any-image labeling engine
US9218364B1 (en) * 2011-01-28 2015-12-22 Yahoo! Inc. Monitoring an any-image labeling engine
US8831352B2 (en) * 2011-04-04 2014-09-09 Microsoft Corporation Event determination from photos
US9678992B2 (en) 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US9055276B2 (en) 2011-07-29 2015-06-09 Apple Inc. Camera having processing customized for identified persons
US8433338B1 (en) 2011-08-30 2013-04-30 Google Inc. Method to efficiently index extracted image features from geographically located images
CN102999531A (zh) * 2011-09-16 2013-03-27 英业达股份有限公司 对图像内容进行翻译、查询与注解的系统及其方法
TWI451347B (zh) * 2011-11-17 2014-09-01 Univ Nat Chiao Tung 物品資料查詢系統及方法
US9411830B2 (en) * 2011-11-24 2016-08-09 Microsoft Technology Licensing, Llc Interactive multi-modal image search
US9063936B2 (en) 2011-12-30 2015-06-23 Verisign, Inc. Image, audio, and metadata inputs for keyword resource navigation links
US8965971B2 (en) 2011-12-30 2015-02-24 Verisign, Inc. Image, audio, and metadata inputs for name suggestion
US9239848B2 (en) 2012-02-06 2016-01-19 Microsoft Technology Licensing, Llc System and method for semantically annotating images
US9031326B2 (en) 2012-02-16 2015-05-12 Sony Corporation System and method for effectively performing an image categorization procedure
CN102750385B (zh) * 2012-06-29 2014-05-07 南京邮电大学 基于标签检索的相关性—质量排序图像检索方法
US9684719B2 (en) * 2012-12-10 2017-06-20 Verint Systems Ltd. Object search by description
US9633272B2 (en) 2013-02-15 2017-04-25 Yahoo! Inc. Real time object scanning using a mobile phone and cloud-based visual search engine
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US20150019519A1 (en) * 2013-07-12 2015-01-15 Conductor, Inc. Location based search engine position
JP2015041340A (ja) 2013-08-23 2015-03-02 株式会社東芝 方法、電子機器およびプログラム
US20150106403A1 (en) * 2013-10-15 2015-04-16 Indooratlas Oy Generating search database based on sensor measurements
US20150106373A1 (en) * 2013-10-15 2015-04-16 Indooratlas Oy Generating search database based on earth's magnetic field measurements
US9552375B2 (en) 2013-12-20 2017-01-24 Google Inc. Geocoding of images based on search queries
CA2885858A1 (en) * 2014-04-04 2015-10-04 Bradford A. Folkens Image tagging system
US10747762B2 (en) * 2014-06-30 2020-08-18 Micro Focus Llc Automatic generation of sub-queries
CN105138681A (zh) * 2015-09-15 2015-12-09 成都品果科技有限公司 基于空间坐标定位的图片搜索方法及系统
US10984373B2 (en) 2016-03-07 2021-04-20 Sony Corporation System and method for information processing
JP2019531547A (ja) * 2016-09-08 2019-10-31 エイアイキュー ピーティーイー．リミテッド 視覚検索クエリによるオブジェクト検出
US10586263B2 (en) 2016-11-28 2020-03-10 International Business Machines Corporation Touch and pressure-based apparel image searching
US10929462B2 (en) 2017-02-02 2021-02-23 Futurewei Technologies, Inc. Object recognition in autonomous vehicles
US20220188547A1 (en) * 2020-12-16 2022-06-16 Here Global B.V. Method, apparatus, and computer program product for identifying objects of interest within an image captured by a relocatable image capture device
US11900662B2 (en) 2020-12-16 2024-02-13 Here Global B.V. Method, apparatus, and computer program product for training a signature encoding module and a query processing module to identify objects of interest within an image utilizing digital signatures
US11587253B2 (en) 2020-12-23 2023-02-21 Here Global B.V. Method, apparatus, and computer program product for displaying virtual graphical data based on digital signatures
US11829192B2 (en) 2020-12-23 2023-11-28 Here Global B.V. Method, apparatus, and computer program product for change detection based on digital signatures
US11830103B2 (en) 2020-12-23 2023-11-28 Here Global B.V. Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data
US11991295B2 (en) 2021-12-07 2024-05-21 Here Global B.V. Method, apparatus, and computer program product for identifying an object of interest within an image from a digital signature generated by a signature encoding module including a hypernetwork
WO2023203964A1 (ja) * 2022-04-18 2023-10-26 富士フイルム株式会社 情報処理装置、情報処理方法及びプログラム
WO2023203965A1 (ja) * 2022-04-18 2023-10-26 富士フイルム株式会社 情報処理装置、情報処理方法及びプログラム
WO2024035441A1 (en) * 2022-08-11 2024-02-15 Innopeak Technology, Inc. Methods and systems for image classification

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4143956A (en) * 1976-02-26 1979-03-13 Ricoh Company, Ltd. Camera with date entry
JP3826598B2 (ja) * 1999-01-29 2006-09-27 株式会社日立製作所 画像監視装置及び記録媒体
US7028253B1 (en) * 2000-10-10 2006-04-11 Eastman Kodak Company Agent for integrated annotation and retrieval of images
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
US6950519B2 (en) * 2001-03-05 2005-09-27 Digimarc Corporation Geographically watermarked imagery and methods
US20030039410A1 (en) * 2001-08-23 2003-02-27 Beeman Edward S. System and method for facilitating image retrieval
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US7920716B2 (en) * 2003-12-25 2011-04-05 Fujitsu Limited Vehicle search system and vehicle search method
US7272498B2 (en) * 2004-09-30 2007-09-18 Scenera Technologies, Llc Method for incorporating images with a user perspective in navigation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8559724B2 (en) 2009-03-27 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for generating additional information about moving picture content
KR100925278B1 (ko) * 2009-04-29 2009-11-05 (주)지오투정보기술 수치지도를 이용한 지오코딩 시스템 및 그 방법
KR20180035253A (ko) 2016-09-28 2018-04-06 서강대학교산학협력단 내용 기반 이미지 검색을 위한 질의 이미지 생성 방법 및 시스템

Also Published As

Publication number Publication date
EP1896998A2 (en) 2008-03-12
JP2009500719A (ja) 2009-01-08
RU2007147635A (ru) 2009-06-27
WO2007005118A2 (en) 2007-01-11
US7702681B2 (en) 2010-04-20
CN101535986A (zh) 2009-09-16
US20070005571A1 (en) 2007-01-04
WO2007005118A3 (en) 2009-04-23

Similar Documents

Publication Publication Date Title
US7702681B2 (en) Query-by-image search and retrieval system
US11954157B2 (en) Method of and system for conducting personalized federated search and presentation of results therefrom
US7725451B2 (en) Generating clusters of images for search results
US10185770B2 (en) System and method for presenting multiple sets of search results for a single query
US8972371B2 (en) Search engine and indexing technique
JP5727512B2 (ja) 検索提案のクラスタ化及び提示
US8495049B2 (en) System and method for extracting content for submission to a search engine
US9367637B2 (en) System and method for searching a bookmark and tag database for relevant bookmarks
US6883001B2 (en) Document information search apparatus and method and recording medium storing document information search program therein
US8788529B2 (en) Information sharing between images
US20090112830A1 (en) System and methods for searching images in presentations
US20110218018A1 (en) Techniques for Retrieving Documents Using an Image Capture Device
US8180751B2 (en) Using an encyclopedia to build user profiles
US20100011025A1 (en) Transfer learning methods and apparatuses for establishing additive models for related-task ranking
US20070239692A1 (en) Logo or image based search engine for presenting search results
US20060116992A1 (en) Internet search environment number system
JP2006236221A (ja) ウエブページ検索のための管理サーバ装置
JP2006529044A (ja) 定義付けシステムおよび方法
US20110208718A1 (en) Method and system for adding anchor identifiers to search results
JP2003173351A (ja) 情報解析、収集、検索方法、装置、プログラム、および記録媒体
Hicks et al. Environmental Digital Library Systems
Kherfi et al. What is Behind Image Retrieval from the World Wide Web?
Charilas et al. PIDALION: Implementation issues of a Java-based Multimedia Search Engine over the web
JP2007148625A (ja) 情報提示装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid