KR100813170B1 - 사진 의미 인덱싱 방법 및 그 시스템 - Google Patents

사진 의미 인덱싱 방법 및 그 시스템 Download PDF

Info

Publication number
KR100813170B1
KR100813170B1 KR1020060094323A KR20060094323A KR100813170B1 KR 100813170 B1 KR100813170 B1 KR 100813170B1 KR 1020060094323 A KR1020060094323 A KR 1020060094323A KR 20060094323 A KR20060094323 A KR 20060094323A KR 100813170 B1 KR100813170 B1 KR 100813170B1
Authority
KR
South Korea
Prior art keywords
change
picture
photo
situation
photos
Prior art date
Application number
KR1020060094323A
Other languages
English (en)
Inventor
정용주
이재원
김지연
김상균
한익상
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060094323A priority Critical patent/KR100813170B1/ko
Priority to US11/698,203 priority patent/US20090123021A1/en
Application granted granted Critical
Publication of KR100813170B1 publication Critical patent/KR100813170B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 복수 개 사진 및 사용자 주석을 입력받는 단계와, 상기 사용자 주석을 분석하여 공유 색인어를 추출하는 단계와, 상기 복수 개 사진을 분석하여 상황 변화를 검출하는 단계 및 상기 공유 색인어를 기초하여 상기 상황 변화에 따라 상기 복수 개 사진을 인덱싱하는 단계를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법을 제공한다.
주석, 색인어, 검색, 의미, 인덱싱

Description

사진 의미 인덱싱 방법 및 그 시스템{Method and system for semantic event indexing by analyzing user annotation of digital photos}
도 1은 본 발명의 일실시예에 따른 사진 의미 인덱싱 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명에 따른 의미적 주석 분석과 색인어 공유를 통한 의미 인덱싱의 개념을 나타내는 도면이다.
도 3은 본 발명에 따른 공유 색인어 추출의 일례를 나타내는 도면이다.
도 4는 본 발명에 따른 계층적 그룹핑에 의한 의미 인덱싱의 일례를 나타내는 도면이다.
도 5는 본 발명에 따른 상황 변화 검출부의 구체적인 일례를 나타내는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 사진 의미 인덱싱 방법의 흐름을 나타내는 도면이다.
도 7은 본 발명에 따른 주석을 이용한 사진 파일명 생성의 일례를 나타내는 도면이다.
도 8은 본 발명에 따른 계층적 그룹핑에 의한 의미 인덱싱의 일례를 나타내는 도면이다.
도 9는 본 발명에 따른 계층적 그룹핑의 판단 기준으로서 사회적 이벤트와 연관된 상관 단어의 일례를 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 사진 의미 인덱싱 시스템
110: 입력부 111: 사용자 주석 입력부
120: 사진 입력부 130: 사진 인코딩부
140: 데이터베이스 150: 공유 색인어 추출부
160: 상황 변화 검출부 170: 개별 상황 추론부
180: 인덱싱부
본 발명은 디지털 사진의 의미 인덱싱 방법 및 그 시스템에 관한 것으로, 더욱 상세하게는 복수 개 디지털 사진 중 일부 사진의 주석을 사용자로부터 입력받고, 주석 및 복수 개 사진을 분석하여 상황 변화에 따라 사진의 의미를 인덱싱하는 방법 및 그 시스템에 관한 것이다.
일반적으로 디지털 카메라는 사진을 촬영하는 경우 촬영된 사진의 이미지 파일명을 기본적으로 일련번호로 부여하기 때문에 사용자가 자신이 촬영한 사진을 검색하고자 하는 경우 이미지 파일을 일일이 확인해봐야 하는 번거로움이 있다.
또한, 종래 디지털 카메라에서 촬영된 사진을 사용자가 보다 손쉽게 검색하 기 위해 자신이 촬영한 사진을 저장할 때마다 사진의 제목을 저장하거나 사진을 저장한 후 저장된 사진의 이미지를 하나씩 확인하면서 파일명을 부여하는 것은 사진의 분량이 많은 경우 상당히 귀찮은 작업이 될 수 밖에 없다.
따라서, 디지털 카메라로 촬영된 사진의 이미지를 보다 손쉽게 인덱싱할 수 있는 방안이 연구되어 오고 있다.
종래 사진 인덱싱 방법의 일례로는 새로운 이미지에 대해 데이터베이스에 존재하는 이미지와 CBIR(Content Based Image Retrieval) 기법의 유사도 매칭(Similarity matching)을 통해 가장 근접한 것을 주석으로 추론해서 피드백받는 것이다.
또한, 종래 사진 인덱싱 방법의 다른 일례로는 비슷한 사진들이 속하는 한 그룹들에 대해 주석을 다는 방법도 있다.
또한, 종래 사진 인덱싱 방법의 또 다른 일례로는 카메라폰에서 사진을 찍으면서 캡쳐된 정보들을 서버로 보내 매칭 알고리즘을 통해 가장 비슷한 주석을 추론하여 사용자에게 검증을 받아 주석을 다는 방법이 제시되기는 하였으나 구체적인 매칭 알고리즘이 전혀 제시되지 않았다.
이와 같이, 종래 사진 인덱싱 방법은 사진 집합 내에서 단순히 시간, 장소, 영상 특징과 같은 낮은 레벨(low-level) 특성이 비슷한 사진들끼리 그룹핑하고, 형성된 그룹에 대해 주석을 달고 공유하는 방법을 제시하고 있으나 보다 정확한 인덱싱을 원하는 사용자를 만족시키지 못하는 실정이다.
따라서, 디지털 카메라로 촬영된 사진의 이미지를 보다 정확하게 인덱싱하는 방안이 절실하게 요청되어 오고 있다.
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 사용자 주석과 사진의 이미지를 분석하여 보다 정확하게 사진의 의미를 인덱싱하는 방법 및 그 시스템을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 사용자로부터 주석을 색인어로 공유하고, 복수 개 사진을 비교 분석하여 상황 변화에 따른 사진의 의미를 인덱싱하는 방법 및 그 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 사용자 주석만으로 의미 인덱싱을 수행하고, 추론된 자동 주석으로 이미지 색인어를 생성에 의한 의미 인덱싱하고, 상황 변화에 따른 색인어 공유와 세그먼트간 관계 추론에 의한 의미 인덱싱을 수행하는 방법 및 그 시스템을 제공하는 것이다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 복수 개 사진 및 사용자 주석을 입력받는 단계와, 상기 사용자 주석을 분석하여 공유 색인어를 추출하는 단계와, 상기 복수 개 사진을 분석하여 상황 변화를 검출하는 단계 및 상기 공유 색인어를 기초하여 상기 상황 변화에 따라 상기 복수 개 사진을 인덱싱하는 단계를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법을 제공한다.
본 발명의 다른 일측에 따르는 사진 의미 인덱싱 시스템은 복수 개 사진 및 사용자 주석을 입력받는 입력부와, 상기 사용자 주석을 분석하여 공유 색인어를 추출하는 공유 색인어 추출부와, 상기 복수 개 사진을 분석하여 상황 변화를 검출하는 상황 변화 검출부와, 상기 공유 색인어를 기초하여 상기 상황 변화에 따라 상기 복수 개 사진을 인덱싱하는 인덱싱부 및 상기 주석, 상기 사진 또는 상기 색인어를 기록하고 유지하는 데이터베이스를 포함한다.
본 발명에서 사용되는 주석(annotation)은 키워드(keyword), 프리 텍스트(free text) 또는 음성(voice)에 의한 사진의 설명을 의미하며, 사용자 주석은 사용자가 수동으로 단 주석으로 주로 프리 텍스트 형식이다.
본 발명에서 사용되는 색인어(Index term)는 의미 태그(semantic tag) 또는 의미 키워드로서 사진을 대표할 수 있는 단어이며, 공유 색인어는 통합적인 상황을 공유하는 사진들을 묶는 공통 의미 색인어인 상위 레벨 색인어(High level index)이며, 이미지 색인어는 해당 사진 한 장을 나타낼 수 있는 키워드인 하위 레벨 색인어(low level index)로서 주로 키워드 형식으로 시스템에 의해 자동으로 추론된 주석을 자동 주석이라고도 한다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 사진 의미 인덱싱 방법 및 그 시스템을 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 사진 의미 인덱싱 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 사진 의미 인덱싱 시스템(100)은 입력부(110), 데이터베이스(140), 사용자 주석 추출부(150), 상황 변화 검출부 (160), 개별 상황 추출부(170) 및 인덱싱부(180)를 포함한다.
입력부(110)는 사용자 주석 입력부(111) 및 사진 입력부(120)를 포함하며, 사용자 주석 입력부(111)를 통해 사용자로부터 사진의 주석을 입력받고, 사진 입력부(120)를 통해 사용자로부터 사진을 입력받을 수 있다. 사용자 주석 입력부(111)는 사용자가 사진 입력부(120)를 통해 입력된 사진 또는 데이터베이스(140)에 저장된 사진 중 하나를 선택하고, 선택된 사진의 주석을 입력할 수 있다. 상기 주석은 상기 사진의 내용을 쉽도록 파악할 수 있도록 상기 사진을 촬영한 장소, 사진을 촬영한 시간 또는 사진을 함께 촬영한 인물 정보 등과 같이 사진과 관련된 각종 정보들을 포함할 수 있다.
도 2는 본 발명에 따른 의미적 주석 분석과 색인어 공유를 통한 의미 인덱싱의 개념을 나타내는 도면이다.
도 2를 참조하면, 사용자 주석 입력부(111)는 상기 사용자로부터 도 2에 도시된 것과 같은 사진들(P0 ~ Pn) 중 어느 하나의 사진(P3)를 선택받고, 선택된 사진(P3)를 확인한 상기 사용자로부터 예를 들어 "2005년 친구들과 동해 여름 휴가에서"와 같은 사용자 주석을 입력받을 수 있다. 제1 사진 내지 제n 사진(P1 ~ Pn)은 상기 사용자에 의해 입력된 주석과 같이 동일한 장소에서 동일한 날짜에 동일한 인물들과 찍은 사진인 경우이므로 예를 들어 '동해 여름 휴가'와 같은 색인어를 공유하는 최소 세그먼트(segment)를 이룰 수 있다. 제0 사진(P0)은 제1 사진 내지 제n 사진(P1 ~ Pn)과 달리 사진을 찍은 장소, 시간 또는 인물이 달라져서 상기 최소 세그먼트와 상황 변화가 발생한 경우로서 다른 세그먼트로 분류될 수 있다.
사진 입력부(120)는 사진 촬영 센서(121), 위치 측정 센서(122) 및 사진 인코딩부(130)를 포함한다.
사진 촬영 센서(121)는 사진을 촬영하기 위해 상기 사용자에 의해 선택된 배경, 사물 또는 사람을 포함하는 이미지를 센싱한다. 위치 측정 센서(122)는 사진 촬영 센서(121)에 의해 상기 사진이 촬영되는 경우, 상기 사진이 촬영된 위치를 측정하기 위한 센싱 동작을 수행한다. 위치 측정 센서(122)는 일례로 GPS(Global Positioning System) 수신기로 구현될 수 있다. 즉, 위치 측정 센서(122)가 상기 GPS 수신기인 경우, GPS 위성으로부터 GPS 정보를 수신함으로써 상기 GPS 정보를 기초로 하여 사진 촬영 센서(121)에 의해 사진 촬영이 이루어지는 위치를 파악할 수 있다.
사진 인코딩부(130)는 이미지 인코더(131) 및 사진 정보 인코더(132)를 포함하며, 촬영된 사진의 이미지 및 사진 정보를 인코딩한다. 이미지 인코더(131)는 사진 촬영 센서(121)를 통해 촬영된 사진의 이미지를 인코딩하고, 사진 정보 인코더(132)는 위치 측정 센서(122)를 통해 측정된 상기 사진의 촬영 위치 정보 및 상기 사진의 촬영 시간 정보 등을 포함하는 사진 정보를 인코딩한다. 또한, 상기 사진 정보는 상기 사진을 촬영하는 당시의 조도, 플래시, 접사 등 상기 사진과 관련된 각종 정보를 포함한다. 사진 정보 인코더(132)는 EXIF(Exchangeable Image File format) 인코더로서 예를 들어 상기 사진의 이미지를 일정한 포맷으로 저장할 때 상기 사진과 연관된 각종 정보를 인코딩할 수 있다. 이처럼 사진 인코딩부(130)는 상기 촬영된 사진 이미지, 상기 사진의 촬영 시간 정보 및 상기 사진의 촬 영 위치 정보를 포함하는 사진을 예를 들어 JPG 형식으로 이미지 파일로 인코딩할 수 있다.
데이터베이스(140)는 주석 DB(Data Base)(141), 사진 DB(142) 및 색인어 DB(143)를 포함하며, 상기 사용자에 의해 입력된 사용자 주석, 촬영된 사진 및 색인어를 기록하고 유지한다. 즉, 주석 DB(141)는 사용자 주석 입력부(111)를 통해 입력된 상기 사용자 주석을 기록하고 유지하고, 사진 DB(142)는 사진 인코딩부(130)에 의해 인코딩된 사진 파일을 기록하여 유지하고, 색인어 DB(143)는 인덱싱부(180)에 의해 인덱싱된 색인어들을 기록하고 유지한다.
공유 색인어 추출부(150)는 사용자 주석 분석기(151) 및 공유 색인어 추출기(152)를 포함하며, 상기 사용자 주석을 분석하고 그 결과에 따라 상기 사용자 주석으로부터 공유 색인어를 추출한다. 즉, 사용자 주석 분석기(151)는 사용자 주석 입력부(111)를 통해 입력된 상기 사용자 주석이 상기 사용자 주석을 분석하고, 공유 색인어 추출기(152)는 상기 사용자 주석의 분석 결과에 따라 상기 사용자 주석으로부터 상기 공유 색인어를 추출할 수 있다.
도 3은 본 발명에 따른 공유 색인어 추출의 일례를 나타내는 도면이다.
도 3을 참조하여 상기 사용자가 제1 세그먼트(Segment #1)에 포함된 사진 중 어느 하나의 사진에 상기 사용자 주석으로 '결혼식'을 입력하고, 제2 세그먼트(Segment #2)에 포함된 사진 중 어느 하나의 사진에 상기 사용자 주석으로 '폐백'을 입력한 경우를 예로 들어 설명한다. 사용자 주석 분석기(151)는 상기 사용자 주석으로 입력된 '결혼식' 및 '폐백'으로부터 동일 이벤트 및 상하위 상관 관계를 분석할 수 있다. 공유 색인어 추출기(152)는 상기 사용자 주석의 분석 결과에 따라 예를 들어 '결혼식' 및 '폐백'의 동일 이벤트인 '결혼/결혼식'을 상기 공유 색인어로 추출할 수 있다. 즉, 공유 색인어 추출부(150)는 사용자 주석 분석기(151)를 통해 상기 사용자 주석으로부터 동일 이벤트 및 상하위 상관 관계를 분석하고, 공유 색인어 추출기(152)를 통해 상기 사용자 주석의 분석 결과에 기초하여 상기 공유 색인어를 추출할 수 있다.
상황 변화 검출부(160)는 상기 복수 개 사진을 분석하여 상황 변화를 검출한다. 즉, 상황 변화 검출부(160)는 사진 DB(142)에 저장된 복수 개 사진의 비주얼 변화, 인물 변화, 장소 변화 또는 시간 변화를 검출하고, 상기 검출된 비주얼 변화, 인물 변화, 장소 변화 또는 시간 변화에 따라 상기 복수 개 사진의 상황 변화를 판단한다. 이하 도 5를 참조하여 상황 변화 검출부(160)의 구성 및 동작을 보다 상세하게 설명하기로 한다.
도 5는 본 발명에 따른 상황 변화 검출부의 구체적인 일례를 나타내는 도면이다.
도 5를 참조하면, 상황 변화 검출부(160)는 비주얼 유사도 계산부(510), 비주얼 변화 판단부(515), 인물 비교부(520), 인물 변화 판단부(525), 위치 근접성 계산부(530), 장소 변화 판단부(535), 시간 근접성 계산부(540), 시간 변화 판단부(545) 및 최종 상황 변화 판단부(550)를 포함한다.
비주얼 유사도 계산부(510)는 사진 DB(142)에 저장된 상기 복수 개 사진의 비주얼 유사도(visual similarity)를 계산하고, 비주얼 변화 판단부(515)는 상기 계산된 비주얼 유사도에 따라 기준 사진과 비교 대상 사진의 비주얼 차이(Visual_Diff)가 비주얼 차이 기준치 이상인 경우, 상기 비주얼 변화로 판단한다. 즉, 상황 변화 판단부(160)는 비주얼 유사도 계산부(510)를 통해 계산된 복수 개 사진의 비주얼 유사도에 기초하여 상기 기준 사진의 비주얼과 상기 비교 대상 사진의 비주얼을 비교하고, 비주얼 변화 판단부(515)에서 그 결과에 따라 상기 비주얼 차이(Visual_Diff)가 상기 비주얼 차이 기준치 이상이면, 상기 기준 사진과 상기 비교 대상 사진의 비주얼 차이가 많이 나므로 비주얼 차이로 인한 상기 상황 변화를 비주얼 변화(v)로 판단할 수 있다.
인물 비교부(520)는 사진 DB(142)에 저장된 상기 복수 개 사진의 인물을 비교하고, 인물 변화 판단부(525)는 상기 비교 결과에 따라 기준 사진과 비교 대상 사진의 인물 차이(Face_Diff)가 인물 차이 기준치 이상인 경우, 상기 인물 변화로 판단한다. 상황 변화 판단부(160)는 인물 비교부(520)를 통해 비교된 복수 개 사진의 인물 비교 결과에 기초하여 상기 기준 사진의 인물과 상기 비교 대상 사진의 인물을 비교하고, 인물 변화 판단부(525)에서 그 결과에 따라 상기 인물 차이(Face_Diff)가 상기 인물 차이 기준치 이상이면, 상기 기준 사진과 상기 비교 대상 사진의 인물 차이가 많이 나므로 상기 인물 변화(f)로 판단한다. 즉, 상황 변화 판단부(160)는 상기 기준 사진의 인물과 상기 비교 대상 사진의 인물을 비교하여 그 차이가 많이 나는 경우, 상기 기준 사진의 인물과 상기 비교 대상 사진의 인물이 서로 다른 인물로 간주하여 상기 기준 사진과 상기 비교 대상 사진의 상황이 변화되었음을 판단할 수 있다. 따라서, 상황 변화 검출부(160)는 예를 들어, 상기 기준 사진의 인물이 'AAA'이고, 상기 비교 대상 사진의 인물이 'BBB'인 경우, 상기 기준 사진과 상기 비교 대상 사진이 각기 다른 인물의 사진이므로 상기 상황 변화를 상기 기준 사진과 상기 비교 대상 사진간 인물 변화로 검출할 수 있다.
위치 근접성 계산부(530)는 상기 복수 개 사진 중 기준 사진의 위치 정보와 비교 대상 사진의 위치 정보를 비교하여 상기 기준 사진과 상기 비교 대상의 위치 근접성(location proximity)를 계산한다. 장소 변화 판단부(535)는 상기 계산된 위치 근접성에 기초하여 상기 기준 사진과 상기 비교 대상 사진의 위치 차이(Location_Diff)가 위치 기준치 이상인 경우, 상기 장소 변화(l)로 판단한다. 즉, 상황 변화 검출부(160)는 예를 들어 상기 기준 사진의 위치가 '서울'이고, 상기 비교 대상 사진의 위치가 '부산'이고, 상기 위치 차이 기준치가 '10km'인 경우, 상기 기준 사진과 상기 비교 대상 사진의 위치 차이(Location_Diff)에 의해 계산된 위치 근접성이 약 400km이기 때문에 상기 위치 차이 기준치 이상이므로 상기 상황 변화를 상기 기준 사진과 상기 비교 대상 사진간 상기 장소 변화로 검출할 수 있다.
시간 근접성 계산부(540)는 상기 복수 개 사진 중 기준 사진과 비교 대상 사진간의 시간 근접성(time proximity)를 계산한다. 시간 변화 판단부(545)는 상기 계산된 시간 근접성에 기초하여 상기 기준 사진과 상기 비교 대상 사진의 시간 차이(Time_Diff)가 시간 기준치 이상인 경우, 상기 상황 변화를 시간 변화(t)로 판단한다. 즉, 상황 변화 검출부(160)는 상기 기준 사진의 시간 정보가 '7월 1일'이고, 상기 비교 대상 사진의 시간 정보가 '9월 1일'이고, 상기 시간 기준치가 '1일'인 경우, 상기 기준 사진과 상기 비교 대상 사진의 시간 차이(Time_Diff)가 '62일' 이므로 상기 기준 시간치인 '1'일보다 크므로 상기 상황 변화를 상기 기준 사진과 상기 비교 대상 사진간 상기 시간 변화로 검출할 수 있다.
최종 상황 변화 판단부(550)는 상기 비주얼 변화, 상기 인물 변화, 상기 장소 변화 또는 상기 시간 변화를 기초로 하여 최종 상황 변화를 판단한다. 또한, 최종 상황 변화 판단부(550)는 상기 최종 상황 변화의 판단 결과를 상황 변화 검수로 출력한다. 즉, 최종 상황 변화 판단부(550)는 하기 수학식 1과 같이 상기 비주얼 변화의 가중치(wv), 상기 인물 변화의 가중치(wf), 상기 장소 변화의 가중치(wl), 및 상기 시간 변화의 가중치(wt) 합으로 상기 상황 변화 검수를 판단할 수 있다.
Figure 112006070501812-pat00001
의미 관계 추론부(165)는 상기 사용자 주석 분석 결과 및 상기 상황 변화 검수를 기초로 하여 상기 복수 개 사진간 의미 관계를 추론한다. 즉, 의미 관계 추론부(165)는 존재론(ontology)를 이용하여 비슷한 의미를 갖는 최소 세그먼트들을 병합(merge)하여 계층적으로 그룹핑한다. 의미 관계 추론부(165)는 의미 네트워크를 이용한 지식 기반 분석을 통해서 상기 사용자 주석에 사용된 어휘간의 관계를 분석하여 인접한 세그먼트가 동일한 이벤트이거나 상하위 관계(예를 들어 결혼식, 폐백)에 있을 경우 병합한다. 이때, 상기 그룹핑 및 상기 병합의 조건은 상기 복 수 개 사진들이 연속된 시간 라인(time-line)상에 있어야 한다.
도 4는 본 발명에 따른 계층적 그룹핑에 의한 의미 인덱싱의 일례를 나타내는 도면이다.
도 4를 참조하면, 참조번호(410)는 예를 들어 '결혼식'으로 연관된 사진들이 그룹핑되며, 참조번호(420)는 상위 계층인 상기 결혼식으로 그룹핑된 사진을 보다 자세하게 분류한 하위 계층인 '결혼식장'과 연관된 사진들이 그룹핑되고, '야외촬영'과 연관된 사진들이 그룹핑되고, '폐백'과 연관된 사진들이 각각 그룹핑된다. 이와 같이, 본 발명에서는 의미 인덱싱을 수행할 때 상위 레벨(high level)로 크게 분류된 색인어로 그룹핑하고, 상기 상위 레벨로 분류된 색인어를 다시 보다 자세하게 분류한 하위 레벨(low level)의 색인어로 그룹핑할 수 있다. 다른 일례로 상위 레벨의 색인어가 '지리산'인 경우, '노고단', '화엄사'와 같이 지리산내에 위치한 지명 또는 사찰을 하위 레벨의 색인어로 그룹핑할 수 있다. 또 다른 일례로 상위 레벨의 색인어가 '졸업식'인 경우, 졸업식과 관계가 있는 '학사모', 선생님' 등을 하위 레벨의 색인어로 그룹핑할 수 있다.
개별 상황 추론부(170)는 상기 입력된 사진의 시간, 위치, 인물, 상황(occasion), 객체, 행동 또는 카테고리를 추론한다. 즉, 개별 상황 추론부(170)는 사진 DB(142)에 저장된 복수 개 사진을 분석하여 각 사진별로 언제(When), 어디서(Where), 누가(Who), 무엇을 가지고(With Which thing), 어떤 상황(What occasion), 어떤 행동(Which action) 또는 어떤 카테고리(Which category)인지를 추론한다. 또한, 개별 상황 추론부(170)는 상기 복수 개 사진을 분석할 때 이전 사진과 변화가 없는 부분에 대해 중복 추출을 방지하기 위해 상황 변화 검출부(160)에서 변화되지 않은 부분을 판단하여 변화된 부분에 대해서만 상기 개별 상황에 따른 시간, 위치, 인물, 상황, 객체, 행동 또는 카테고리를 추론할 수 있다.
일례로 상기 개별 상황이 언제인 경우, 개별 상황 추론부(170)는 상기 복수 개 사진에 포함된 사진 정보로서 날짜(date) 및 시간(time) 정보를 분석하여 상기 복수 개 사진의 촬영 시간과 연관된 주석을 자동으로 추론할 수 있다.
다른 일례로 상기 개별 상황이 상기 어디인 경우, 개별 상황 추론부(170)는 상기 복수 개 사진에 포함된 사진 정보로서 위치 정보(예를 들어 GPS 정보)를 분석함으로써 상기 복수 개 사진의 촬영 장소와 연관된 주석을 자동으로 추론할 수 있다.
또 다른 일례로 상기 개별 상황이 누구인 경우, 개별 상황 추론부(170)는 상기 복수 개 사진의 이미지를 분석하여 사전에 등록된 인물에 대한 얼굴을 검출하고, 검출된 얼굴과 연관된 주석을 자동으로 추론할 수 있다. 사진 DB(142)는 상기 복수 개 사진에서 인덱싱을 위해 사진을 촬영한 인물의 얼굴 정보를 기록하고 유지할 수 있다.
또 다른 일례로 상기 개별 상황이 어떤 물건(객체)인 경우, 개별 상황 추론부(170)는 상기 복수 개 사진의 객체를 인식하고, 인식된 객체와 연관된 주석을 자동으로 추론하거나 제한적으로 추론할 수 있다.
또 다른 일례로 상기 개별 상황이 어떤 상황(이벤트) 또는 어떤 행동인 경우, 개별 상황 추론부(170)는 상기 입력된 사진에 포함된 사용자 주석을 이용하여 어떤 경우인지 또는 어떤 행동인지를 추론한다.
또 다른 일례로 상기 개별 상황이 어떤 카테고리인 경우, 개별 상황 추론부(170)는 상기 복수 개 사진의 이미지를 분석하여 자동으로 사진 카테고리를 추론한다. 상기 복수 개 사진의 이미지를 분석하여 자동으로 사진 카테고리를 분류하는 경우, 하나의 카테고리만 선택하는 경우 결과에 오류가 포함될 확률이 높기 때문에 소프트 주석(soft annotation) 기법을 사용한다. 예를 들어, 개별 상황 추론부(170)는 건물은 0.7%, 풍경 0.2%, 물가 0.1%와 같이 각기 다른 비율로 부여하여 여러 가지 카테고리로 추론할 수 있다. 한편, 개별 상황 추론부(170)는 상기 개별 상황이 자동으로 추론된 경우 상기 사용자 주석보다 우선 순위를 후순위로 배정한다.
사용자 피드백부(175)는 개별 상황 추론부(170)에 의해 추론된 개별 상황이 적합한지 상기 사용자로부터 적합 여부를 확인하기 위해 상기 사용자에게 상기 추론된 개별 상황을 피드백한다. 즉, 사용자 피드백부(175)는 상기 추론된 개별 상황과 상기 사진을 상기 사용자에게 피드백한 후 상기 사용자로부터 상기 개별 상황과 상기 사진이 적합한지 여부를 확인받을 수 있다. 따라서, 본 발명에 따른 사진 의미 인덱싱 시스템(100)은 사용자 피드백부(175)를 구비함으로써 상기 사용자로부터 적합 여부를 피드백받을 수 있기 때문에 상기 사진의 개별 상황 추론의 정확도를 높일 수 있다.
인덱싱부(180)는 사용자 주석 검출부(150)에 의해 검출된 사용자 주석, 의미 관계 추론부(165)에 의해 추론된 의미 관계 및 개별 상황 추론부(170)에 의해 추론 된 개별 상황에 기초하여 상기 복수 개 사진의 이미지를 인덱싱한다. 또한, 인덱싱부(180)는 상기 복수 개 사진의 이미지를 인덱싱한 결과에 따라 색인어와 상기 복수 개 사진의 관계를 색인어 DB(143)에 저장한다. 또한, 인덱싱부(180)는 상기 복수 개 사진의 이미지를 인덱싱한 결과에 따라 상기 복수 개 사진 중 상기 사용자에 의해 상기 사용자 주석이 입력되지 않은 사진의 경우 각 사진별로 파일명을 생성한다. 인덱싱부(180)는 일반적으로 사진의 특성상 시간 흐름상으로 정렬해서 보는 습성이 있으므로 일례로 "When_Where_Who_Event_일련번호.JPG"로 상기 사진의 파일명을 생성할 수 있다. 즉, 인덱싱부(180)는 상기 사진이 촬영된 시간 정보를 가장 먼저 부여하고, 다음으로 상기 사진이 촬영된 장소 정보를 부여하고, 그 다음으로 상기 사진에 포함된 인물 정보를 부여하고, 상기 사진에서 발생된 이벤트 등과 같이 상기 사진에서 추출된 부가 문맥(context) 정보들을 붙여서 상기 사진의 파일명을 자동으로 생성할 수 있다. 상기 사진의 파일명이 부여되는 순서는 상기 사용자에 의해 설정된 중요도에 따라 변경될 수 있다. 일례로 상기 사용자가 인물 사진을 위주로 촬영하는 경우는 촬영한 인물 정보가 가장 중요하기 때문에 상기 사진의 파일명에서 상기 인물 정보가 가장 먼저 부여될 수 있다. 다른 일례로 상기 사용자가 주로 촬영 장소 정보를 가장 중요하게 여기는 경우는 상기 사진의 파일명에서 상기 장소 정보가 가장 먼저 부여될 수 있다.
도 7은 본 발명에 따른 주석을 이용한 사진 파일명 생성의 일례를 나타내는 도면이다.
인덱싱부(180)는 상기 복수 개 사진의 이미지를 인덱싱한 결과에 따라 예를 들어 도 7에 도시된 것과 같은 사진이 사용자 주석 검출부(150)에 의해 상기 사용자 주석이 '홍길동, 여행'이고, 상황 변화 검출부(160) 또는 개별 상황 추론부(170)에 의해 검출 또는 추론된 상기 사진이 촬영된 시간 정보가 '2006년 1월 18일'이고, 상기 사진이 촬영된 장소 정보가 '그리스'이고, 상기 사진의 객체 정보가 '건물'인 경우 '20060118_그리스_홍길동_여행_건물_0001.JPG'와 같이 상기 사진의 파일명을 생성할 수 있다.
이와 같이, 본 발명에 따른 사진 의미 인덱싱 시스템(100)은 상기 사용자가 필요에 따라 일부 사진에만 주석을 입력하더라도 복수 개 사진을 분석하여 각 사진별로 의미가 있는 주석을 자동으로 부여하는 인덱싱을 수행한다. 따라서, 본 발명에 따른 사진 의미 인덱싱 시스템(100)은 복수 개 사진의 의미를 부여하여 인덱싱한 결과를 저장함에 따라 상기 사용자가 저장된 사진을 보다 용이하게 검색할 수 있다. 또한, 본 발명에 따른 사진 의미 인덱싱 시스템(100)은 종래와 달리 사진을 촬영한 시간 정보만을 단순하게 제공하는 것이 아니라 상기 사진을 촬영한 장소 정보뿐만 아니라 상기 사진과 연관된 사용자 주석을 분석하여 상기 사진의 파일명을 생성함으로써 상기 사진의 정보를 보다 구체적으로 제공할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 사진 의미 인덱싱 방법의 흐름을 나타내는 도면이다.
도 6을 참조하면, 단계(S611)에서 사진 의미 인덱싱 시스템은 복수 개 사진 및 사용자 주석을 입력받는다. 상기 사진은 촬영 위치 정보 및 촬영 시간 정보를 포함한다. 즉, 단계(S611)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개의 사진을 입력받고, 사용자로부터 상기 복수 개 사진 중 일부 사진의 주석을 입력받는다. 상기 사진 의미 인덱싱 시스템은 상기 촬영 시간 정보 및 상기 촬영 위치 정보를 포함된 복수 개 사진을 입력받는다. 또한, 상기 사진 의미 인덱싱 시스템은 예를 들어 여름 휴가 중에 100장의 사진을 찍는 경우 동해에서 친구들과 찍은 사진 중 대표적인 사진에 대해 상기 사용자로부터 도 2에 도시된 것과 같이 "2005년 친구들과 동해 여름 휴가에서"와 같은 주석을 입력받을 수 있다.
단계(S612)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진을 분석하고, 상기 분석된 사진에 대응되는 상기 사용자 주석이 있는가를 판단한다. 즉, 상기 입력된 복수 개 사진 중 상기 일부 사진 중에만 상기 사용자 주석이 입력되기 때문에 단계(S612)에서 상기 사진 의미 인덱싱 시스템은 상기 입력된 복수 개 사진을 분석함으로써 상기 복수 개 사진 중 상기 사용자 주석이 입력된 일부 사진을 검색할 수 있다.
상기 복수 개 사진 중 상기 사용자 주석이 있는 경우, 단계(S613)에서 상기 사진 의미 인덱싱 시스템은 상기 사용자 주석을 분석하여 공유 색인어를 추출한다.
단계(S614)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진을 분석하여 상기 복수 개 사진간의 상황 변화를 검출한다. 즉, 단계(S614)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진의 비주얼 변화, 인물 변화, 장소 변화 또는 시간 변화를 검출한다.
상기 상황 변화의 일례로 상기 비주얼 변화를 검출하는 경우, 단계(S614)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진의 비주얼 유사도(visual similarity)를 계산하고, 상기 계산된 비주얼 유사도에 따라 기준 사진과 비교 대상 사진간 비주얼 차이가 비주얼 차이 기준치 이상이면, 상기 기준 사진과 상기 비교 대상간 상기 비주얼 변화를 검출한다. 예를 들어 상기 기준 사진이 실내 사진이고, 상기 비교 대상 사진이 실외 사진인 경우, 상기 사진 의미 인덱싱 시스템은 상기 기준 사진과 상기 비교 대상 사진의 이미지를 비교하면, 상기 비주얼 차이가 상기 비주얼 차이 기준이 이상이기 때문에 상기 기준 대상 사진과 상기 비교 대상 사진간 상기 비주얼 변화를 검출할 수 있다.
상기 상황 변화의 다른 일례로 상기 인물 변화를 검출하는 경우, 단계(S614)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진 중 상기 기준 사진과 상기 비교 대상 사진간 인물을 비교하고, 비교 결과에 따라 상기 기준 사진과 상기 비교 대상 사진간 인물의 차이가 인물 차이 기준치 이상이면, 상기 인물 변화를 검출한다. 예를 들어 상기 기준 사진이 'AAA'라는 인물의 사진이고, 상기 비교 대상 사진이 'BBB'라는 인물의 사진인 경우, 상기 사진 의미 인덱싱 시스템은 상기 기준 사진과 상기 비교 대상 시간간 인물을 비교하면, 서로 상이하기 때문에 상기 기준 사진과 상기 비교 대상 사진간 인물의 차이가 상기 인물 차이 기준치 이상이므로 상기 기준 사진과 상기 비교 대상 사진간의 인물 변화를 검출할 수 있다.
상기 상황 변화의 또 다른 일례로 상기 장소 변화를 검출하는 경우, 단계(S614)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진 중 상기 기준 사진과 상기 비교 대상 사진간의 위치 근접성(location proximity)를 계산하고, 상기 계산된 위치 근접성에 따라 상기 기준 사진과 상기 비교 대상 사진의 위치 차이가 위치 차이 기준치 이상이면, 상기 기준 사진과 상기 비교 대상간 장소 변화를 검출한다. 예를 들어 상기 기준 사진의 위치 정보가 '서울'이고, 상기 비교 대상 사진의 위치 정보가 '부산'이고, 상기 위치 차이 기준치가 '100m'인 경우, 상기 사진 의미 인덱싱 시스템은 상기 기준 사진의 위치와 상기 비교 대상 사진의 위치가 '400km'이상이므로 상기 위치 차이 기준치 이상이기 때문에 상기 기준 사진과 상기 비교 대상 사진간 위치 변화를 검출할 수 있다.
상기 상황 변화의 또 다른 일례로 상기 시간 변화를 검출하는 경우, 단계(S614)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진 중 기준 사진과 비교 대상 사진간의 시간 근접성(time proximity)를 계산하고, 상기 계산된 시간 근접성에 따라 상기 기준 사진과 상기 비교 대상 사진의 시간 차이가 시간 차이 기준치 이상이면, 상기 시간 변화를 검출한다. 예를 들어 상기 기준 사진의 촬영 시간 정보가 '2005년 5월 10일'이고, 상기 비교 대상 사진의 촬영 시간 정보가 '2006년 5월 10일'이고, 상기 시간 차이 기준치가 '30일'인 경우, 상기 사진 의미 인덱싱 시스템은 상기 기준 사진과 상기 비교 대상 사진의 시간 차이가 '365일'이므로 상기 시간 차이 기준치보다 크기 때문에 상기 기준 사진과 상기 비교 대상 사진간 시간 변화를 검출할 수 있다.
단계(615)에서 상기 사진 의미 인덱싱 시스템은 상기 검출된 비주얼 변화, 인물 변화, 장소 변화 또는 시간 변화에 따라 상기 복수 개 사진의 상황 변화가 검출되었는지를 판단한다.
상기 상황 변화가 검출되지 않은 경우, 단계(S616)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진을 분석하여 개별 상황 변화에 따른 7W(When, Where, Who, With Which thing, What occasion, Which action, Which category)를 추출한다. 즉, 단계(616)에서 상기 사진 의미 인덱싱 시스템은 복수 개 사진을 분석하여 각 사진별로 언제(When), 어디서(Where), 누가(Who), 어떤 물건을 가지고(With Which thing), 어떤 상황(What occasion), 어떤 행동(Which action) 또는 어떤 카테고리(Which category)인지를 추론할 수 있다. 또한, 단계(S616)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진을 분석할 때 이전 사진과 변화가 없는 부분에 대해 중복 추출을 방지하기 위해 변화되지 않은 부분을 판단하여 변화된 부분에 대해서만 상기 개별 상황에 따른 시간, 위치, 인물, 상황, 객체, 행동 또는 카테고리를 추론할 수 있다.
일례로 상기 개별 상황이 언제인 경우, 단계(616)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진에 포함된 사진 정보로서 날짜(date) 및 시간(time) 정보를 분석하여 상기 복수 개 사진의 촬영 시간과 연관된 주석을 자동으로 추론할 수 있다.
다른 일례로 상기 개별 상황이 상기 어디서인 경우, 단계(616)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진에 포함된 사진 정보로서 위치 정보(예를 들어 GPS 정보)를 분석함으로써 상기 복수 개 사진의 촬영 장소와 연관된 주석을 자동으로 추론할 수 있다.
또 다른 일례로 상기 개별 상황이 누구인 경우, 단계(616)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진의 이미지를 분석하여 사전에 등록된 인물에 대한 얼굴을 검출하고, 검출된 얼굴과 연관된 주석을 자동으로 추론할 수 있다.
또 다른 일례로 상기 개별 상황이 어떤 물건(객체)인 경우, 단계(616)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진의 객체를 인식하고, 인식된 객체와 연관된 주석을 자동으로 추론하거나 제한적으로 추론할 수 있다.
또 다른 일례로 상기 개별 상황이 어떤 상황(이벤트) 또는 어떤 행동인 경우, 단계(616)에서 상기 사진 의미 인덱싱 시스템은 상기 입력된 사진에 포함된 사용자 주석을 이용하여 어떤 상황인지 또는 어떤 행동인지를 추론할 수 있다.
또 다른 일례로 상기 개별 상황이 어떤 카테고리인 경우, 단계(616)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진의 이미지를 분석하여 자동으로 사진 카테고리를 추론할 수 있다. 상기 복수 개 사진의 이미지를 분석하여 자동으로 사진 카테고리를 분류하는 경우는 하나의 카테고리만 선택하는 경우 결과에 오류가 포함될 확률이 높기 때문에 소프트 주석(soft annotation) 기법을 사용한다. 예를 들어, 건물은 0.7%, 풍경 0.2%, 물가 0.1%와 같이 각기 다른 비율로 부여하여 여러 가지 카테고리로 추론할 수 있다.
한편, 단계(616)에서 상기 사진 의미 인덱싱 시스템은 상기 개별 상황이 자동으로 추론된 경우 상기 사용자 주석보다 우선 순위를 후순위로 배정한다.
단계(S617)에서 상기 사진 의미 인덱싱 시스템은 상기 추론된 개별 상황이 적합한지 상기 사용자로부터 적합 여부를 확인받기 위해 상기 사용자에게 상기 추론된 개별 상황을 피드백한다. 즉, 단계(S617)에서 상기 사진 의미 인덱싱 시스템은 상기 추론된 개별 상황과 상기 사진을 상기 사용자에게 피드백한 후 상기 사용 자로부터 상기 개별 상황과 상기 사진이 적합한지 여부를 확인받을 수 있다. 따라서, 본 발명에 따른 사진 의미 인덱싱 방법은 상기 사용자로부터 적합 여부를 피드백받을 수 있기 때문에 상기 사진의 개별 상황 추론의 정확도를 높일 수 있다.
단계(S618)에서 상기 사진 의미 인덱싱 시스템은 상기 검출된 상황 변화가 통합적인 상황 변화인지 여부를 판단한다.
상기 검출된 상황 변화가 통합적인 상황 변화가 아닌 부분적인 상황 변화인 경우, 단계(S619)에서 상기 사진 의미 인덱싱 시스템은 상기 공유 색인어를 공유한다.
상기 검출된 상황 변화가 통합적인 상황 변화인 경우, 단계(S620)에서 상기 사진 의미 인덱싱 시스템은 상기 통합적인 상황 변화에 따른 상황 세그먼트간 의미 관계를 추론한다.
단계(S621)에서 상기 사진 의미 인덱싱 시스템은 상기 공유 색인어 또는 상기 상황 변화에 따라 상기 복수 개 사진을 인덱싱하여 상기 공유 색인어 및 상기 세그멘트(segment) 관계를 저장하고, 상기 복수 개 사진의 파일명을 생성하여 저장한다. 즉, 단계(S621)에서 상기 사진 의미 인덱싱 시스템은 인덱싱부(180)는 상기 검출된 사용자 주석, 상기 추론된 의미 관계 및 상기 추론된 개별 상황에 기초하여 상기 복수 개 사진의 이미지를 인덱싱한다. 단계(S621)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진의 이미지를 인덱싱한 결과에 따라 색인어와 상기 복수 개 사진의 관계를 데이터베이스에 저장한다. 그리고, 단계(S621)에서 상기 사진 의미 인덱싱 시스템은 상기 복수 개 사진의 이미지를 인덱싱한 결과에 따라 상기 복수 개 사진 중 상기 사용자에 의해 상기 사용자 주석이 입력되지 않은 사진의 경우 각 사진별로 파일명을 생성한다.
일반적으로 사진의 특성상 시간 흐름상으로 정렬해서 보는 습성이 있으므로 단계(S621)에서 상기 사진 의미 인덱싱 시스템은 일례로 "When_Where_Who_Event_일련번호.JPG" 형식으로 상기 사진의 파일명을 생성할 수 있다. 즉, 상기 사진 의미 인덱싱 시스템은 상기 사진이 촬영된 시간 정보를 가장 먼저 부여하고, 다음으로 상기 사진이 촬영된 장소 정보를 부여하고, 그 다음으로 상기 사진에 포함된 인물 정보를 부여하고, 상기 사진에서 발생된 이벤트 등과 같이 상기 사진에서 추출된 부가 문맥(context) 정보들을 붙여서 상기 사진의 파일명을 자동으로 생성할 수 있다. 상기 사진의 파일명이 부여되는 순서는 상기 사용자에 의해 설정된 중요도에 따라 변경될 수 있다.
일례로 상기 사용자가 인물 사진을 위주로 촬영하는 경우 촬영한 인물 정보가 가장 중요하기 때문에 단계(S621)에서 상기 사진 의미 인덱싱 시스템은 상기 사진의 파일명에서 상기 인물 정보를 가장 먼저 부여할 수 있다.
다른 일례로 상기 사용자가 주로 촬영 장소 정보를 가장 중요하게 여기는 경우, 단계(S621)에서 상기 사진 의미 인덱싱 시스템은 상기 사진의 파일명에서 상기 장소 정보를 가장 먼저 부여할 수도 있다.
도 8은 본 발명에 따른 계층적 그룹핑에 의한 의미 인덱싱의 일례를 나타내는 도면이다.
도 8을 참조하면, 참조번호(810)은 복수 개 사진을 시간 차이를 기준으로 하 여 그룹핑한 일례를 나타낸다. 참조번호(811~817)은 상기 복수 개 사진을 촬영한 시간이 경과함에 따라 각 사진간의 시간 차이를 나타낸다. 여기서, 상기 각 사진간의 시간 차이는 상기 각 사진의 촬영된 시간의 차이를 말한다. 상기 사진간의 시간 차이가 상기 시간 차이 기준치보다 작은 경우 상기 사진들이 촬영된 장소, 상황 또는 인물이 동일할 확률이 상대적으로 높기 때문에 상기 사진들이 같은 그룹으로 그룹핑될 수 있다. 한편, 상기 사진간의 시간 차이가 상기 시간 차이 기준치보다 큰 경우, 상기 사진들이 촬영된 장소, 상황 또는 인물이 동일하지 않을 확률이 상대적으로 높기 때문에 상기 사진들을 각기 다른 그룹으로 그룹핑될 수 있다.
일례로 제1 사진과 제2 사진의 시간 차이(812)가 시간 차이 기준치보다 작은 경우로서 상기 제1 사진 및 상기 제2 사진은 동일한 그룹으로 그룹핑될 수 있다.
다른 일례로 제2 사진과 제3 사진의 시간 차이(813)가 상기 시간 차이 기준치보다 큰 경우로서 상기 제2 사진과 상기 제3 사진 사이에서 상황 변화가 발생한 것으로 판단하여 상기 제2 사진과 상기 제3 사진은 각기 다른 그룹으로 나누어진다.
또 다른 일례로 제3 사진과 제4 사진의 시간 차이(814)는 상기 시간 차이 기준치보다 작기 때문에 상기 제3 사진과 상기 제4 사진은 동일한 그룹으로 그룹핑될 수 있다.
또 다른 일례로 제4 사진과 제5 사진의 시간 차이(815)는 상기 시간 차이 기준치보다 크기 때문에 상기 제4 사진과 상기 제5 사진 사이에서 상황 변화가 발생한 것으로 판단하여 상기 제4 사진과 상기 제5 사진은 각기 다른 그룹으로 그룹핑 될 수 있다.
또 다른 일례로 제5 사진과 제6사진의 시간 차이(816)는 상기 시간 차이 기준치보다 작은 경우로서 상기 제5 사진과 상기 제6 사진은 동일한 그룹으로 그룹핑될 수 있다.
또 다른 일례로 제6 사진과 제7 사진의 시간 차이(817)는 상기 시간 차이 기준치보다 큰 경우로서 상기 제6 사진과 상기 제7 사진 사이에서 상황 변화가 발생한 것으로 판단하여 상기 제6 사진과 상기 제7 사진은 각기 다른 그룹으로 그룹핑될 수 있다.
참조번호(820)은 복수 개 사진을 시간 차이, 비주얼 차이, 위치 차이를 기준으로 하여 그룹핑한 일례를 나타낸다. 참조번호(821~827)은 상기 복수 개 사진을 촬영한 시간이 경과함에 따라 각 사진간의 시간 차이, 비주얼 차이, 위치 차이를 각각 나타낸다. 여기서, 상기 시간 차이는 비교 대상 사진들간 촬영된 시간의 차이를 말하며, 상기 비주얼 차이는 상기 비교 대상 사진들간 이미지의 차이를 말하며, 상기 위치 차이는 상기 비교 대상 사진들간 촬영된 위치의 차이를 말한다. 상기 비교 대상 사진들간 시간의 시간 차이, 비주얼 차이, 위치 차이가 기준치보다 작은 경우 상기 비교 대상 사진들이 촬영된 장소, 상황 또는 인물이 동일할 확률이 상대적으로 높기 때문에 상기 비교 대상 사진들이 같은 그룹으로 그룹핑될 수 있다. 한편, 상기 비교 대상 사진들간 시간 차이, 비주얼 차이, 위치 차이가 상기 기준치보다 큰 경우, 상기 비교 대상 사진들이 촬영된 장소, 상황 또는 인물이 동일하지 않을 확률이 상대적으로 높기 때문에 상기 비교 대상 사진들이 각기 다른 그룹으로 그룹핑될 수 있다.
일례로 제1 사진과 제2 사진의 시간 차이, 비주얼 차이, 위치 차이(822)가 상기 기준치보다 작은 경우로서 상기 제1 사진 및 상기 제2 사진은 동일한 그룹으로 그룹핑될 수 있다.
다른 일례로 제2 사진과 제3 사진의 시간 차이, 비주얼 차이, 위치 차이(823)가 상기 기준치보다 큰 경우로서 상기 제2 사진과 상기 제3 사진 사이에서 상황 변화가 발생한 것으로 판단하여 상기 제2 사진과 상기 제3 사진이 각기 다른 그룹으로 나누어진다.
또 다른 일례로 제3 사진과 제4 사진의 시간 차이, 비주얼 차이, 위치 차이(824)는 상기 기준치보다 작기 때문에 상기 제3 사진과 상기 제4 사진은 동일한 그룹으로 그룹핑될 수 있다.
또 다른 일례로 제4 사진과 제5 사진의 시간 차이, 비주얼 차이, 위치 차이(825)는 상기 기준치보다 크기 때문에 상기 제4 사진과 상기 제5 사진 사이에서 상황 변화가 발생한 것으로 판단하여 상기 제4 사진과 상기 제5 사진은 각기 다른 그룹으로 그룹핑될 수 있다.
또 다른 일례로 제5 사진과 제6사진의 시간 차이, 비주얼 차이, 위치 차이(826)는 상기 기준치보다 작은 경우로서 상기 제5 사진과 상기 제6 사진은 동일한 그룹으로 그룹핑될 수 있다.
또 다른 일례로 제6 사진과 제7 사진의 시간 차이, 비주얼 차이, 위치 차이(827)는 상기 기준치보다 큰 경우로서 상기 제6 사진과 상기 제7 사진 사이에서 상 황 변화가 발생한 것으로 판단하여 상기 제6 사진과 상기 제7 사진은 각기 다른 그룹으로 그룹핑될 수 있다.
참조번호(830)은 상기 복수 개 사진을 비교 분석하여 그 결과에 따라 분류된 사진의 일례를 나타낸다. 일례로 상기 복수 개 사진을 상황에 따라 분류한 경우로서 상기 각 사진은 등산, 돌잔치, 휴가, 나들이, 회식, 기타 등으로 분류될 수 있다. 다른 일례로 상기 복수 개 사진을 장소에 따라 분류한 경우로서 상기 각 사진은 속리산, 강남, 니스, 에버랜드, 기타, 수목원 등으로 분류될 수 있다.
도 9는 본 발명에 따른 계층적 그룹핑을 위한 판단 기준으로서 사회적 이벤트와 연관된 상관 단어의 일례를 나타내는 도면이다.
도 9를 참조하여 일례를 들어 설명하면, 상기 이벤트가 '설'인 경우 상기 이벤트와 연관된 상관 단어는 '연휴, 명절, 선물, 이벤트, 대목, 차례상, 음식, 떡국, 재래시장'이다. 따라서, '연휴, 명절, 선물, 이벤트, 대목, 차례상, 음식, 떡국, 재래시장'이 하위 레벨 색인어로 그룹핑된다면, 상기 하위 레벨 색인어에 대응되는 상위 레벨 색인어는 '설'이 될 수 있다.
다른 일례로 상기 이벤트가 '결혼식'인 경우 상기 이벤트와 연관된 상관 단어는 '신부, 커플, 부부, 축의금, 사회, 성당, 축가, 신랑, 야회결혼식'이다. 그러므로, 상기 상위 레벨 색인어가 '결혼식'인 경우 상기 상위 베렐 색인어에 대응되는 하위 레벨 색인어는 '신부, 커플, 부부, 축의금, 사회, 성당, 축가, 신랑, 야회결혼식'이 그룹핑될 수 있다.
본 발명에 따른 사진 의미 인덱싱 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
본 발명에 따르면, 사용자 주석과 사진의 이미지를 분석하여 보다 정확하게 사진의 의미를 인덱싱하는 방법 및 그 시스템을 제공할 수 있다.
또한 본 발명에 따르면, 사용자로부터 주석을 색인어로 공유하고, 복수 개 사진을 비교 분석하여 상황 변화에 따른 사진의 의미를 인덱싱하는 방법 및 그 시스템을 제공할 수 있다.
또한 본 발명에 따르면, 사용자 주석만으로 의미 인덱싱을 수행하고, 추론된 자동 주석으로 이미지 색인어를 생성에 의한 의미 인덱싱하고, 상황 변화에 따른 색인어 공유와 세그먼트간 관계 추론에 의한 의미 인덱싱을 수행하는 방법 및 그 시스템을 제공할 수 있다.

Claims (23)

  1. 사진 의미 인덱싱 방법에 있어서,
    복수 개 사진 및 사용자 주석을 입력받는 단계;
    상기 사용자 주석을 분석하여 공유 색인어를 추출하는 단계;
    상기 복수 개 사진을 분석하여 상황 변화를 검출하는 단계; 및
    상기 공유 색인어를 기초하여 상기 상황 변화에 따라 상기 복수 개 사진을 인덱싱하는 단계
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법.
  2. 제1항에 있어서,
    상기 복수 개 사진 및 상기 사용자 주석을 입력받는 단계는,
    상기 복수 개 사진을 입력받는 단계; 및
    사용자로부터 상기 복수 개 사진 중 일부 사진의 주석을 입력받는 단계
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법.
  3. 제1항에 있어서,
    상기 사진은 촬영 위치 정보 및 촬영 시간 정보를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법.
  4. 제1항에 있어서,
    상기 복수 개 사진을 분석하여 상황 변화를 검출하는 단계는,
    상기 복수 개 사진의 비주얼 변화, 인물 변화, 장소 변화 또는 시간 변화를 검출하고, 상기 검출된 비주얼 변화, 인물 변화, 장소 변화 또는 시간 변화에 따라 상기 복수 개 사진의 상황 변화를 판단하는 단계를 더 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법.
  5. 제4항에 있어서,
    상기 비주얼 변화를 검출하는 단계는,
    상기 복수 개 사진의 비주얼 유사도(visual similarity)를 계산하는 단계; 및
    상기 계산된 비주얼 유사도에 따라 기준 사진과 비교 대상 사진의 비주얼 차이가 기준치 이상인 경우, 상기 기준 사진과 상기 비교 대상 사진간 상기 비주얼 변화로 검출하는 단계
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법.
  6. 제4항에 있어서,
    상기 인물 변화를 검출하는 단계는,
    상기 복수 개 사진 중 기준 사진과 비교 대상 사진간 인물을 비교하는 단계; 및
    비교 결과에 따라 상기 기준 사진과 상기 비교 대상 사진간 인물의 차이가 기준치 이상인 경우, 상기 기준 사진과 상기 비교 대상 사진간 상기 인물 변화로 검출하는 단계
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법.
  7. 제4항에 있어서,
    상기 장소 변화를 검출하는 단계는,
    상기 복수 개 사진 중 기준 사진과 비교 대상 사진간의 위치 근접성(location proximity)를 계산하는 단계; 및
    상기 계산된 위치 근접성에 따라 상기 기준 사진과 상기 비교 대상 사진의 위치 차이가 기준치 이상인 경우, 상기 기준 사진과 상기 비교 대상 사진간 상기 장소 변화로 검출하는 단계
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법.
  8. 제4항에 있어서,
    상기 장소 변화를 검출하는 단계는,
    상기 복수 개 사진 중 기준 사진과 비교 대상 사진간의 시간 근접성(time proximity)를 계산하는 단계; 및
    상기 계산된 시간 근접성에 따라 상기 기준 사진과 상기 비교 대상 사진의 시간 차이가 기준치 이상인 경우, 상기 시간 변화로 판단하는 단계
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법.
  9. 제1항에 있어서,
    상기 상황 변화에 따른 상기 사진의 시간, 위치, 인물, 상황, 물체, 행동 또는 카테고리를 추론하는 단계를 더 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법.
  10. 제1항에 있어서,
    상기 인덱싱 결과에 따라 상기 복수 개 사진의 파일명을 자동으로 생성하는 단계를 더 포함하는 것을 특징으로 하는 사진 의미 인덱싱 방법.
  11. 제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
  12. 복수 개 사진 및 사용자 주석을 입력받는 입력부;
    상기 사용자 주석을 분석하여 공유 색인어를 추출하는 공유 색인어 추출부;
    상기 복수 개 사진을 분석하여 상황 변화를 검출하는 상황 변화 검출부;
    상기 공유 색인어를 기초하여 상기 상황 변화에 따라 상기 복수 개 사진을 인덱싱하는 인덱싱부; 및
    상기 주석, 상기 사진 또는 상기 색인어를 기록하고 유지하는 데이터베이스
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
  13. 제12항에 있어서,
    상기 입력부는,
    상기 복수 개 사진을 입력받는 사진 입력부; 및
    사용자로부터 상기 복수 개 사진 중 일부 사진의 주석을 입력 받는 사용자 주석 입력부
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
  14. 제13항에 있어서,
    상기 사진 입력부는,
    상기 복수 개 사진을 촬영하는 사진 촬영 센서;
    상기 복수 개 사진을 촬영하는 위치를 측정하는 위치 측정 센서; 및
    상기 촬영된 사진을 인코딩하는 사진 인코딩부
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
  15. 제14항에 있어서,
    상기 사진 인코딩부는,
    상기 촬영된 사진의 이미지를 인코딩하는 이미지 인코더; 및
    상기 사진의 촬영 위치 정보 및 상기 사진의 촬영 시간 정보를 포함하는 사진 정보를 인코딩하는 사진 정보 인코더
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
  16. 제13항에 있어서,
    상기 공유 색인어 추출부는,
    상기 사용자 주석을 분석하는 사용자 주석 분석기; 및
    분석 결과에 따라 공유 색인어를 추출하는 공유 색인어 추출기
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
  17. 제13항에 있어서,
    상기 상황 변화 검출부는,
    상기 복수 개 사진의 비주얼 변화, 인물 변화, 장소 변화 또는 시간 변화를 검출하고, 상기 검출된 비주얼 변화, 인물 변화, 장소 변화 또는 시간 변화에 따라 상기 복수 개 사진의 상황 변화를 판단하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
  18. 제17항에 있어서,
    상기 상황 변화 검출부는,
    상기 복수 개 사진의 비주얼 유사도(visual similarity)를 계산하는 비주얼 유사도 계산부; 및
    상기 계산된 비주얼 유사도에 기초하여 기준 사진과 비교 대상 사진의 비주 얼 차이가 비주얼 기준치 이상인 경우, 상기 상황 변화를 상기 비주얼 변화로 판단하는 비주얼 변화 판단부
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
  19. 제17항에 있어서,
    상기 상황 변화 검출부는,
    상기 복수 개 사진 중 기준 사진과 비교 대상 사진간 인물을 비교하는 인물 비교부; 및
    상기 인물 비교 결과에 기초하여 상기 기준 사진과 상기 비교 대상 사진간 인물의 차이가 인물 기준치 이상인 경우, 상기 상황 변화를 상기 인물 변화로 판단하는 인물 변화 판단부
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
  20. 제17항에 있어서,
    상기 상황 변화 검출부는,
    상기 복수 개 사진 중 기준 사진의 위치 정보와 비교 대상 사진의 위치 정보를 비교하여 상기 기준 사진과 상기 비교 대상의 위치 근접성(location proximity)를 계산하는 위치 근접성 계산부; 및
    상기 계산된 위치 근접성에 기초하여 상기 기준 사진과 상기 비교 대상 사진의 위치 차이가 위치 기준치 이상인 경우, 상기 상황 변화를 장소 변화로 판단하는 장소 변화 판단부
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
  21. 제17항에 있어서,
    상기 상황 변화 검출부는,
    상기 복수 개 사진 중 기준 사진과 비교 대상 사진간의 시간 근접성(time proximity)를 계산하는 시간 근접성 계산부; 및
    상기 계산된 시간 근접성에 기초하여 상기 기준 사진과 상기 비교 대상 사진의 시간 차이가 시간 기준치 이상인 경우, 상기 상황 변화를 시간 변화로 판단하는 시간 변화 판단부
    를 포함하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
  22. 제17항에 있어서,
    상기 입력된 사진을 분석하여 시간, 위치, 인물, 상황, 물체, 행동 또는 카테고리를 포함하는 이미지 색인어를 자동으로 추론하는 개별 상황 추론부를 더 포함하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
  23. 제13항에 있어서,
    상기 인덱싱 결과에 따라 상기 복수 개 사진의 파일명을 자동으로 생성하는 인덱싱부를 더 포함하는 것을 특징으로 하는 사진 의미 인덱싱 시스템.
KR1020060094323A 2006-09-27 2006-09-27 사진 의미 인덱싱 방법 및 그 시스템 KR100813170B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060094323A KR100813170B1 (ko) 2006-09-27 2006-09-27 사진 의미 인덱싱 방법 및 그 시스템
US11/698,203 US20090123021A1 (en) 2006-09-27 2007-01-26 System, method, and medium indexing photos semantically

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060094323A KR100813170B1 (ko) 2006-09-27 2006-09-27 사진 의미 인덱싱 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR100813170B1 true KR100813170B1 (ko) 2008-03-17

Family

ID=39410594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060094323A KR100813170B1 (ko) 2006-09-27 2006-09-27 사진 의미 인덱싱 방법 및 그 시스템

Country Status (2)

Country Link
US (1) US20090123021A1 (ko)
KR (1) KR100813170B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190017606A (ko) * 2017-08-10 2019-02-20 한국과학기술원 온라인 소셜 네트워크 서비스 데이터로부터 공간 기반 사회적 행위를 추출하는 방법 및 시스템
KR102052315B1 (ko) * 2018-05-28 2019-12-04 주식회사 에이브레인 실시간으로 색인어 연관도가 업데이트되는 자동 문서 분류 시스템

Families Citing this family (208)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7490092B2 (en) 2000-07-06 2009-02-10 Streamsage, Inc. Method and system for indexing and searching timed media information based upon relevance intervals
US8042132B2 (en) 2002-03-15 2011-10-18 Tvworks, Llc System and method for construction, delivery and display of iTV content
US8365230B2 (en) 2001-09-19 2013-01-29 Tvworks, Llc Interactive user interface for television applications
US7703116B1 (en) 2003-07-11 2010-04-20 Tvworks, Llc System and method for construction, delivery and display of iTV applications that blend programming information of on-demand and broadcast service offerings
US8220018B2 (en) 2002-09-19 2012-07-10 Tvworks, Llc System and method for preferred placement programming of iTV content
US11381875B2 (en) 2003-03-14 2022-07-05 Comcast Cable Communications Management, Llc Causing display of user-selectable content types
US8578411B1 (en) 2003-03-14 2013-11-05 Tvworks, Llc System and method for controlling iTV application behaviors through the use of application profile filters
US8819734B2 (en) 2003-09-16 2014-08-26 Tvworks, Llc Contextual navigational control for digital television
US7818667B2 (en) 2005-05-03 2010-10-19 Tv Works Llc Verification of semantic constraints in multimedia data and in its announcement, signaling and interchange
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8639028B2 (en) * 2006-03-30 2014-01-28 Adobe Systems Incorporated Automatic stacking based on time proximity and visual similarity
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8045800B2 (en) * 2007-06-11 2011-10-25 Microsoft Corporation Active segmentation for groups of images
US8321424B2 (en) * 2007-08-30 2012-11-27 Microsoft Corporation Bipartite graph reinforcement modeling to annotate web images
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20090204885A1 (en) * 2008-02-13 2009-08-13 Ellsworth Thomas N Automated management and publication of electronic content from mobile nodes
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11832024B2 (en) 2008-11-20 2023-11-28 Comcast Cable Communications, Llc Method and apparatus for delivering video and video-related content at sub-asset level
US8296305B2 (en) * 2008-12-09 2012-10-23 Yahoo! Inc. Rules and method for improving image search relevance through games
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US9442933B2 (en) 2008-12-24 2016-09-13 Comcast Interactive Media, Llc Identification of segments within audio, video, and multimedia items
US20100161441A1 (en) * 2008-12-24 2010-06-24 Comcast Interactive Media, Llc Method and apparatus for advertising at the sub-asset level
US8713016B2 (en) 2008-12-24 2014-04-29 Comcast Interactive Media, Llc Method and apparatus for organizing segments of media assets and determining relevance of segments to a query
US11531668B2 (en) 2008-12-29 2022-12-20 Comcast Interactive Media, Llc Merging of multiple data sets
US8477994B1 (en) * 2009-02-26 2013-07-02 Google Inc. Creating a narrative description of media content and applications thereof
US8176043B2 (en) 2009-03-12 2012-05-08 Comcast Interactive Media, Llc Ranking search results
US8533223B2 (en) 2009-05-12 2013-09-10 Comcast Interactive Media, LLC. Disambiguation and tagging of entities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US20100312609A1 (en) * 2009-06-09 2010-12-09 Microsoft Corporation Personalizing Selection of Advertisements Utilizing Digital Image Analysis
US9892730B2 (en) 2009-07-01 2018-02-13 Comcast Interactive Media, Llc Generating topic-specific language models
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
JP5879697B2 (ja) * 2011-02-25 2016-03-08 ソニー株式会社 プログラム、情報処理装置および情報処理方法
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8983150B2 (en) 2012-12-17 2015-03-17 Adobe Systems Incorporated Photo importance determination
US8897556B2 (en) 2012-12-17 2014-11-25 Adobe Systems Incorporated Photo chapters organization
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10880609B2 (en) 2013-03-14 2020-12-29 Comcast Cable Communications, Llc Content event messaging
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
JP2016521948A (ja) 2013-06-13 2016-07-25 アップル インコーポレイテッド 音声コマンドによって開始される緊急電話のためのシステム及び方法
AU2014306221B2 (en) 2013-08-06 2017-04-06 Apple Inc. Auto-activating smart responses based on activities from remote devices
US11250203B2 (en) 2013-08-12 2022-02-15 Microsoft Technology Licensing, Llc Browsing images via mined hyperlinked text snippets
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US20160239491A1 (en) * 2014-01-27 2016-08-18 Empire Technology Development Llc Data exchange between multiple sourcing devices
US9477908B2 (en) * 2014-04-10 2016-10-25 Disney Enterprises, Inc. Multi-level framework for object detection
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US11783382B2 (en) 2014-10-22 2023-10-10 Comcast Cable Communications, Llc Systems and methods for curating content metadata
CN104536964B (zh) * 2014-11-17 2019-03-26 北京国双科技有限公司 网络数据展示方法及装置
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US10311329B2 (en) 2015-01-30 2019-06-04 International Business Machines Corporation Social connection via real-time image comparison
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10108806B2 (en) * 2015-04-17 2018-10-23 Dropbox, Inc. Collection folder for collecting file submissions and scanning for malicious content
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US20170017696A1 (en) * 2015-07-14 2017-01-19 Microsoft Technology Licensing, Llc Semantic object tagging through name annotation
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10713966B2 (en) 2015-12-31 2020-07-14 Dropbox, Inc. Assignments for classrooms
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US20230062307A1 (en) * 2021-08-17 2023-03-02 Sap Se Smart document management

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010002386A (ko) * 1999-06-15 2001-01-15 정선종 이미지 데이터베이스 구축 및 검색 방법
JP2001282813A (ja) 2000-03-29 2001-10-12 Toshiba Corp マルチメディアデータ検索方法、インデックス情報提供方法、マルチメディアデータ検索装置、インデックスサーバ及びマルチメディアデータ検索サーバ
JP2005354134A (ja) 2004-06-08 2005-12-22 Sony Corp 画像管理方法および装置、記録媒体、並びにプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5500904A (en) * 1992-04-22 1996-03-19 Texas Instruments Incorporated System and method for indicating a change between images
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5537491A (en) * 1993-11-24 1996-07-16 Xerox Corporation Analyzing an image or other data to obtain a stable number of groups
US5493677A (en) * 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface
US6463444B1 (en) * 1997-08-14 2002-10-08 Virage, Inc. Video cataloger system with extensibility
US6606411B1 (en) * 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US20020078066A1 (en) * 2000-12-18 2002-06-20 David Robinson Data storage system including a file system for managing multiple volumes
US7007243B2 (en) * 2000-12-20 2006-02-28 Eastman Kodak Company Method and apparatus for producing digital images with embedded image capture location icons
US7032182B2 (en) * 2000-12-20 2006-04-18 Eastman Kodak Company Graphical user interface adapted to allow scene content annotation of groups of pictures in a picture database to promote efficient database browsing
US7340676B2 (en) * 2000-12-29 2008-03-04 Eastman Kodak Company System and method for automatic layout of images in digital albums
US7478243B2 (en) * 2001-03-21 2009-01-13 Microsoft Corporation On-disk file format for serverless distributed file system with signed manifest of file modifications
US6915011B2 (en) * 2001-03-28 2005-07-05 Eastman Kodak Company Event clustering of images using foreground/background segmentation
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
US6993180B2 (en) * 2001-09-04 2006-01-31 Eastman Kodak Company Method and system for automated grouping of images
US7444354B2 (en) * 2001-09-14 2008-10-28 Fujifilm Corporation Method and apparatus for storing images, method and apparatus for instructing image filing, image storing system, method and apparatus for image evaluation, and programs therefor
US7289132B1 (en) * 2003-12-19 2007-10-30 Apple Inc. Method and apparatus for image acquisition, organization, manipulation, and publication
US7298895B2 (en) * 2003-04-15 2007-11-20 Eastman Kodak Company Method for automatically classifying images into events
JP2005018734A (ja) * 2003-04-30 2005-01-20 Seiko Epson Corp ファイル管理方法及びその装置、並びにアノテーション情報生成方法及びその装置
US7039873B2 (en) * 2003-05-12 2006-05-02 Flashpoint Technology, Inc. User-defined templates for automatic image naming
US7293227B2 (en) * 2003-07-18 2007-11-06 Microsoft Corporation Associating image files with media content
JP2005143014A (ja) * 2003-11-10 2005-06-02 Konica Minolta Photo Imaging Inc 画像処理装置、画像処理方法および画像処理プログラム
WO2005055138A2 (en) * 2003-11-26 2005-06-16 Yesvideo, Inc. Statical modeling of a visual image for use in determining similarity between visual images
US7663671B2 (en) * 2005-11-22 2010-02-16 Eastman Kodak Company Location based image classification with map segmentation
US8645488B2 (en) * 2006-02-10 2014-02-04 Microsoft Corporation Extensible file and path renaming during multimedia acquisition
US20070294273A1 (en) * 2006-06-16 2007-12-20 Motorola, Inc. Method and system for cataloging media files

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010002386A (ko) * 1999-06-15 2001-01-15 정선종 이미지 데이터베이스 구축 및 검색 방법
JP2001282813A (ja) 2000-03-29 2001-10-12 Toshiba Corp マルチメディアデータ検索方法、インデックス情報提供方法、マルチメディアデータ検索装置、インデックスサーバ及びマルチメディアデータ検索サーバ
JP2005354134A (ja) 2004-06-08 2005-12-22 Sony Corp 画像管理方法および装置、記録媒体、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190017606A (ko) * 2017-08-10 2019-02-20 한국과학기술원 온라인 소셜 네트워크 서비스 데이터로부터 공간 기반 사회적 행위를 추출하는 방법 및 시스템
KR102095622B1 (ko) * 2017-08-10 2020-03-31 한국과학기술원 온라인 소셜 네트워크 서비스 데이터로부터 공간 기반 사회적 행위를 추출하는 방법 및 시스템
KR102052315B1 (ko) * 2018-05-28 2019-12-04 주식회사 에이브레인 실시간으로 색인어 연관도가 업데이트되는 자동 문서 분류 시스템

Also Published As

Publication number Publication date
US20090123021A1 (en) 2009-05-14

Similar Documents

Publication Publication Date Title
KR100813170B1 (ko) 사진 의미 인덱싱 방법 및 그 시스템
US20220004573A1 (en) Method for creating view-based representations from multimedia collections
JP5537557B2 (ja) 事象毎に意味論的に分類する方法
US9805060B2 (en) System and method for predicting a geographic origin of content and accuracy of geotags related to content obtained from social media and other content providers
US9524349B2 (en) Identifying particular images from a collection
US10303756B2 (en) Creating a narrative description of media content and applications thereof
TWI420329B (zh) 用於媒體註解的上下文為基之社群驅動建議之方法及其裝置、電腦可讀取儲存媒體
KR101672570B1 (ko) 디지털 이미지들 내의 랜드마크들 검출 및 주석 달기
CN102202173B (zh) 照片自动命名方法及其装置
JP5801395B2 (ja) シャッタクリックを介する自動的メディア共有
US20180357211A1 (en) Constructing a Narrative Based on a Collection of Images
US9009163B2 (en) Lazy evaluation of semantic indexing
US9030502B2 (en) System and method for organizing documents
JP2007011637A (ja) 画像管理装置
TWI528197B (zh) 相片分群系統及相片分群方法與電腦可讀取記錄媒體
US20060026127A1 (en) Method and apparatus for classification of a data object in a database
US9286340B2 (en) Systems and methods for collecting information from digital media files
EP2354969A1 (en) Methods and systems for determining extended metadata
CN112199546A (zh) 照片存储管理系统及方法
Paniagua Laconich Event-centric management of personal photos
Tankoyeu Event Based Media Indexing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee