KR20160115932A - 알려진 타겟 오브젝트에 대응하는 피처들을 포함하는 피처 데이터베이스의 동적 업데이트 - Google Patents

알려진 타겟 오브젝트에 대응하는 피처들을 포함하는 피처 데이터베이스의 동적 업데이트 Download PDF

Info

Publication number
KR20160115932A
KR20160115932A KR1020167021554A KR20167021554A KR20160115932A KR 20160115932 A KR20160115932 A KR 20160115932A KR 1020167021554 A KR1020167021554 A KR 1020167021554A KR 20167021554 A KR20167021554 A KR 20167021554A KR 20160115932 A KR20160115932 A KR 20160115932A
Authority
KR
South Korea
Prior art keywords
feature
features
extracted
feature database
database
Prior art date
Application number
KR1020167021554A
Other languages
English (en)
Inventor
라구라만 크리쉬나모르티
보얀 브르첼리
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160115932A publication Critical patent/KR20160115932A/ko

Links

Images

Classifications

    • G06K9/6211—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G06F17/30256—
    • G06F17/30268—
    • G06F17/30277—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G06K9/4671—
    • G06K9/6255—
    • G06K9/6262—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Abstract

알려진 타겟 오브젝트에 대응하는 피처들을 포함하는 피처 데이터베이스를 동적으로 업데이트하는 방법은, 이미지를 제공하는 단계, 캡쳐된 이미지 내에서부터 피처들의 제 1 세트를 추출하는 단계, 및 피처들의 제 1 세트를 피처 데이터베이스에 저장된 피처들과 비교하는 단계를 포함한다. 타겟 오브젝트가 이미지에 존재하는 것으로 결정되면, 제 1 세트의 추출된 피처들 중, 피처 데이터베이스에 이미 포함되지 않은 적어도 하나의 추출된 피처가 피처 데이터베이스에 추가된다.

Description

알려진 타겟 오브젝트에 대응하는 피처들을 포함하는 피처 데이터베이스의 동적 업데이트{DYNAMICALLY UPDATING A FEATURE DATABASE THAT CONTAINS FEATURES CORRESPONDING TO A KNOWN TARGET OBJECT}
본 개시물은 일반적으로 컴퓨터 비전 기반 오브젝트 인식 애플리케이션들에 관한 것이고, 보다 구체적이기는 하지만 비배타적으로, 피처 데이터베이스 관리에 관한 것이다.
모바일 폰들 또는 다른 모바일 플랫폼들 상에서 증강 현실 (Augmented Reality; AR) 을 실행하는데 있어서 도전과제는 실시간으로 오브젝트들을 검출하고 추적하는 문제이다. AR 애플리케이션들에 대한 오브젝트 검출은 매우 힘든 요건들이고, 이는 완전한 6 개의 자유도들을 전달해야 하고, 주어진 좌표 시스템에 대하여 절대 측정값들을 제공해야 하며, 매우 견고해야 하고 실시간으로 구동해야 한다. 카메라 뷰 내에서 오브젝트들을 먼저 검출하고 후속하여 추적하는 것에 의존하는 컴퓨터 비전 (computer vision; CV) 기반 접근 방식들을 이용하여 카메라 포즈를 계산하는 방법이 관심 대상이다. 일 양태에서, 검출 동작은 이들 피처들이 실시간 오브젝트들에 대응하여 알려진 피처들의 데이터베이스에 대해 비교되기 위하여, 디지털 이미지 내에 포함된 피처들의 세트를 검출하는 것을 포함한다. 피처는 그 구역을 둘러싸는 영역들에 비교되어, 특성들, 이를 테면, 휘도 또는 컬러에서 상이한 디지털 이미지 내의 구역을 지칭할 수도 있다. 일 양태에서, 피처는 일부 특성들이 일정하거나 또는 값들의 규정된 범위 내에서 변하는 디지털 이미지의 영역이다.
그 후, 추출된 피처들은, 실세계 오브젝트가 이미지에 존재하는지의 여부를 결정하기 위하여 피처 데이터베이스에 포함된 알려진 피처들과 비교된다. 따라서, 비전-기반 AR 시스템에서의 중요한 요소는 피처 데이터베이스의 작성이다. 많은 시스템들에서, 피처 데이터베이스는 여러 알려진 뷰포인트들로부터 알려진 타겟 오브젝트들의 다수의 샘플 이미지들을 추적하는 것에 의해 사전 실시간으로 구축된다. 그 후, 피처들은 이들 샘플 이미지들로부터 추출되고 피처 데이터베이스에 추가된다. 그러나, 피처 데이터베이스가 생성되면, 데이터베이스에 포함된 피처들은 정적으로 유지되고 따라서, 이러한 데이터베이스를 이용한 시스템들의 검출 성능이 정적으로 유지된다.
본 개시물의 일 양태에서 따르면, 알려진 타겟 오브젝트에 대응하는 피처들을 포함하는 피처 데이터베이스를 동적으로 업데이트하는 방법은, 이미지를 제공하는 단계, 제공된 이미지 내에서부터 피처들의 제 1 세트를 추출하는 단계, 및 피처들의 제 1 세트를 피처 데이터베이스에 저장된 피처들과 비교하는 단계를 포함한다. 타겟 오브젝트가 이미지에 존재하는 것으로 결정되면, 제 1 세트의 추출된 피처들 중, 피처 데이터베이스에 이미 포함되지 않은 적어도 하나의 추출된 피처가 피처 데이터베이스에 포함된다.
본 개시물의 상기 및 다른 양태들, 오브젝트들 및 피처들은 첨부한 도면과 연계하여 주어진 여러 실시형태들의 다음 설명으로부터 명백해질 것이다.
첨부한 도면을 참조하여 비제한적이고 비배타적인 실시형태들이 설명되며, 달리 특정되지 않는 한 여러 도면에 걸쳐 유사한 도면 부호들은 유사한 부분들을 나타낸다.
도 1 은 피처 데이터베이스를 동적으로 업데이트하는 프로세스를 예시하는 플로우차트이다.
도 2 는 피처 데이터베이스에 추가될 후보 피처에 기초하여 피처 데이터베이스를 통합하는 프로세스를 예시하는 플로우차트이다.
도 3 은 본원에 설명된 프로세스들을 수행할 수 있는 모바일 플랫폼의 기능블록도이다.
도 4 는 오브젝트 인식 시스템의 기능 블록도이다.
명세서 전반에 걸쳐, "하나의 실시형태", "일 실시형태", "하나의 예" 또는 "일 예" 에 대한 언급은 실시형태 또는 예와 연계하여 설명되는 특정 피처, 구조, 또는 특징이 본 발명의 적어도 일 실시형태에 포함되는 것임을 의미한다. 따라서, 명세서 전반에 걸쳐 여러 위치들에서의 어구 "하나의 실시형태에서" 또는 "일 실시형태에서" 의 출현은 반드시 모두 동일한 실시형태를 지칭하는 것은 아니다. 또한, 특정 피처들, 구조들 또는 특징들은 하나 이상의 실시형태들에서 임의의 적절한 방식으로 결합될 수도 있다. 본원에 설명된 임의의 예 또는 실시형태는 다른 예들 또는 실시형태들에 비해 선호되거나 유리한 것으로 간주되지 않는다.
도 1 은 오브젝트 인식 시스템에 포함된 피처 데이터베이스를 동적으로 업데이트하는 프로세스 (100) 를 예시하는 플로우차트이다. 먼저, 프로세싱 블록 (105) 에서, 이미지가 제공된다. 예를 들어, 카메라 (이를 테면, 도 3 의 카메라 (302)) 를 포함하는 모바일 플랫폼과 같은 디바이스는 오브젝트의 디지털 이미지를 캡쳐하고 그 캡쳐된 이미지를 제공한다. 다른 실시형태들에서, 누가 또는 어떻게 이미지가 캡쳐되었는지의 언급없이 이미지가 제공된다. 그 후, 프로세스 블록 (110) 은 제공된 디지털 이미지 내에서부터 피처들의 제 1 세트를 추출하는 것을 포함한다. 일 예에서, 피처 추출은 피처들의 제 1 세트를 추출하기 위하여 LoG (Laplacian of Gaussian) 또는 DoG (Difference of Gaussians) 기반 피처 검출기, 이를 테면, SIFT (Scale Invariant Feature Transform) 알고리즘을 이미지에 적용하는 것을 포함한다. 피처는 관심 대상의 포인트 또는 "키포인트" 및 관심 대상의 포인트를 둘러싸는 영역의 서술 (description) 을 포함할 수도 있다.
다음으로 프로세스 블록 (115) 에서, 피처 데이터베이스가 추출된 피처들의 제 1 세트를 이용하여 쿼리된다. 데이터베이스에 저장된 피처들은 알려진 타겟 오브젝트들의 단순 이미지(들)을 취하는 것에 의해 사전 실시간으로 구축된다. 피처 데이터베이스를 쿼리하는 것은 피처 데이터베이스에 저장된 피처들과, 추출된 피처들을 비교하여, 적어도 제 1 세트의 추출된 피처들의 일부가 데이터베이스에 저장된 피처들과 매칭하는지를 결정하는 것을 포함할 수도 있다. 결정 블록 (120) 은 타겟 오브젝트가 제공된 이미지에서 성공적으로 검출되었는지의 여부를 결정하는 것을 포함한다. 타겟 오브젝트의 성공적인 검출은, 사후-지오메트리 내층들의 수가 제 1 임계값 위에 있는지, 또는 이들 내층들 중 최대 리프로젝션 에러가 제 2 임계값 미만인지를 결정할 수도 있다. 물론, 다른 공지된 피처 기반 검출 방법들이 본 개시물의 교시들에 따라 구현될 수도 있다. 검출이 성공적이지 못하면, 프로세스 (100) 는 블록 (160) 에서 종료한다. 그러나, 결정 블록 (120) 에서, 타겟 오브젝트의 성공적인 검출이 식별되었다면, 프로세스 (100) 는 프로세스 블록 (125) 으로 진행하고, 이 블록에서 피처 데이터베이스를 업데이트하는 프로세스가 시작된다. 일 실시형태에서, 카메라 포즈는 오브젝트의 성공적인 검출시 업데이트될 수도 있다.
다음, 프로세스 블록 (125) 에서, 피처들의 제 2 세트가 형성된다. 피처들의 제 2 세트는 피처 데이터베이스에 이미 포함되지 않은 제 1 세트의 추출된 피처들을 포함한다. 일 실시형태에서, 피처들의 제 2 세트는, 제 1 세트의 피처들 중에서, 피처 데이터베이스가 프로세스 블록 (115) 에서 쿼리되지 않았을 때 대응관계들이 발견되지 않았던 피처들을 포함한다. 어떠한 피처들도 제 2 세트에 포함되지 않으면 (즉, 대응관계들이 제 1 세트의 모든 피처들에 대하여 발견되었다면), 프로세스 (100) 는 블록 (160) 으로 진행할 수도 있으며, 이 블록에서 프로세스 (100) 가 종료한다. 대안의 실시형태에서, 피처들의 제 2 세트는 관심 대상의 오브젝트에 속하는 것으로 알려진 모든 추출된 피처들을 포함하여, 이들이 아래 보다 자세하게 설명될 바와 같이, 후속하는 프루닝 프로세스 (pruning process) 에 이용되도록 한다. 그 후, 프로세스 블록 (130) 은 피처 데이터베이스에 그 피처를 추가할지의 여부를 결정하도록 제 2 세트로부터 피처들 중 하나를 선택하는 것을 포함한다. 그러나, 피처 데이터베이스에 모든 추출된 피처들을 단순히 추가하기 보다는, 프로세스 (100) 는, 피처 데이터베이스에 추가할 피처들이 데이터베이스의 사이즈를 제한하고, 추가된 이들 피처가 연속하는 검출 시도들을 보조하는 것을 보장하는 것에서 선택적일 수도 있다.
따라서, 결정 블록 (135) 은 선택된 피처에 스코어를 할당하고 그 스코어를 스코어 임계값과 비교하는 것을 포함할 수도 있다. 스코어가 충분히 높지 않으면, 선택된 피처는 피처 데이터베이스에 추가되지 않고 프로세스 (100) 는 결정 블록 (155) 앞으로 스킵한다. 일 실시형태에서, 선택된 피처의 스코어는 피처들의 양태, 이를 테면, 곡률의 국부적 치수 및/또는 코너 강도의 치수에 기초한다. 다른 실시형태에서, 선택된 피처의 스코어는 피처의 "블랍성 (blobness)" 즉, 피처가 보다 블랍형 (blob-like) 인지 또는 보다 에지형 (edge-like) 인지의 여부에 대한 치수이다. 블랍형 피처는 보다 원형인 것인 한편, 에지형 피처는 보다 타원형인 것으로 간주될 수도 있다. 이 예에 계속하여, Hessian 매트릭스의 고유값들이 선택된 피처에 대하여 연산된다. 최소 고유값에 대한 최대 고유값의 비는 피처의 블랍화의 치수 (즉, 스코어) 로서 이용될 수도 있다. 예를 들어, 고유값 (E_RATIO) 은 다음과 같이 식 1 에 따라 연산될 수도 있다.
Figure pct00001
식 1.
결정 블록 (135) 에서, 선택된 피처의 스코어가 충분히 높다고 결정되면, 결정 블록 (140) 은 선택된 피처가 타겟 오브젝트에 속하는지의 여부를 결정한다. 추출된 피처가 타겟 오브젝트에 속하는지의 여부를 결정하는 것은 오브젝트 좌표들에서 이들 추출된 피처들의 로케이션 (타겟 오브젝트의 다른 알려진 피처들에 대한 피처들의 로케이션) 을 결정하는 것을 포함할 수도 있다. 추출된 피처의 로케이션을 결정하는 것은 이미지 좌표들에서의 피처의 알려진 로케이션, 알려진 오브젝트 모델 (즉 피처 데이터베이스) 및 연산된 카메라 포즈 (즉, 타겟 오브젝트에 대한 카메라의 로케이션 및 배향) 에 기초할 수도 있다. 오브젝트 좌표들에서의 그 로케이션이 타겟 오브젝트 상에 놓이면, 추출된 피처가 타겟 오브젝트에 "속하는" 것이다. 추출된 피처들의 측정된 깊이 및 알려진 카메라 포즈, 또는 알려진 배경 특성들에 기초한 대안의 오브젝트 세그먼테이션 기술들을 포함한 대안의 솔루션들이 가능하다.
결정 블록 (140) 에서, 선택된 피처가 타겟 오브젝트에 속하지 않는다고 결정되면, 선택된 피처는 피처 데이터베이스에 추가되지 않고 프로세스 (100) 는 결정 블록 (155) 으로 진행한다. 다음으로, 결정 블록 (145) 은 선택된 피처가 피처 데이터베이스에 이미 포함된 피처들과 상당히 다른지의 여부를 결정하는 것을 포함한다. 일 실시형태에서, 선택된 피처의 키포인트 로케이션이 피처 데이터베이스에서의 기존의 키포인트와 임계 로케이션 양만큼 상이하다면, 선택된 피처는 피처 데이터베이스에서의 피처들과 다르다. 선택된 피처의 디스크립터가 피처 데이터베이스의 기존의 디스크립터들과 임계 디스크립터 양만큼 상이하면, 선택된 피처는 또한 피처 데이터베이스에서의 피처들과 다를 수도 있다. 일 실시형태에서, 임계 로케이션 양, 임계 디스크립터 양, 또는 이 양방은 제로로 설정될 수도 있어, 타겟 오브젝트에서의 모든 피처들이 피처 데이터베이스에 추가하기 위한 것으로서 고려되게 된다. 선택된 피처가 피처 데이터베이스에 이미 포함된 피처들과 상당히 다르다면, 프로세스 블록 (150) 은 피처 데이터베이스에 그 선택된 피처를 추가한다. 도 1 이 선택된 피처를 피처 데이터베이스에 추가하기 위한 3 개의 기준들 (즉, 피처 스코어에 기초하는 것, 선택된 피처가 타겟 오브젝트에 속하는지의 여부에 기초하는 것, 및 선택된 피처가 피처 데이터베이스에서의 피처들과 상당히 다른지의 여부를 결정하는 것에 기초하는 것) 을 예시하고 있지만, 프로세스 (100) 의 각각의 구현에 있어서 모든 3 개의 기준들이 구현될 필요가 있는 것은 아니다. 예를 들어, 일 실시형태에서, 프로세스 (100) 는 선택된 피처를 피처 데이터베이스에 추가할지의 여부를 결정하기 위하여, 선택된 피처의 스코어가 스코어 임계값보다 더 큰지의 여부를 결정하는 것만을 포함할 수도 있다. 다른 예에서, 프로세스 (100) 는 결정 블록들 (140 및 145) 을 포함하고 결정 블록 (135) 을 포함하지 않을 수도 있다.
선택된 피처가 피처 데이터베이스에 추가되면, 프로세스 (100) 는 결정 블록 (155) 으로 진행하여 피처 데이터베이스의 업데이트가 완료하는지의 여부를 결정한다. 일 실시형태에서, 피처들의 제 2 세트에서의 피처들 각각이 피처 데이터베이스에 추가하기 위한 것으로 고려되었다면, 피처 데이터베이스의 업데이트는 완료한다. 그렇지 않으면, 프로세스 (100) 는 프로세스 블록 (130) 으로 리턴하여, 제 2 세트로부터 다음 피처를 선택하고 그 피처를 피처 데이터베이스에 추가할지의 여부를 결정한다. 프로세스 (100) 는 블록 160 에서 완료한다.
따라서, 본 개시물의 실시형태들은 동일한 타겟 오브젝트의 연속하는 검출들에 의해 오브젝트 검출 성능을 동적으로 개선하는 것을 포함한다. 제안된 프로세스는 깊이있는 학습이나 신경망 방법들을 수반하지 않으며 따라서, 프로세싱 과부하를 감소시킨다. 따라서, 본원에 설명된 프로세스는 이미 포함되지 않았던 피처 데이터베이스에 추출된 피처들을 추가하는 것에 의해 타겟 오브젝트가 성공적으로 검출될 때마다 타겟 오브젝트를 보다 검출가능하게 만들 수도 있다. 일 실시형태에서, 피처 데이터베이스가 클라우드기반이고 다수의 사용자들 간에 공유되는 경우, 피처 데이터베이스의 성공적인 검출 및 업데이트는 사용자들을 대신할 추가적인 노력없이도 모든 사용자들에게 유리함을 줄 수도 있다.
위에 설명된 바와 같이, 피처 데이터베이스를 동적으로 업데이트하는 실시형태들은 추가로, 피처 데이터베이스의 사이즈를 감소시키기 위해 (또는 유지하기 위해) 피처 통합의 프로세스와 결합될 수도 있다. 본원에 설명된 실시형태들은 알려진 오브젝트의 멀티-뷰 샘플 이미지들로부터 추출되는 유사한 피처들을 프루닝하는 것에 의해 발생된 오브젝트 인식/검출을 위한 피처 데이터베이스를 제공한다. 일반적으로, 후보 피처들은 피처 데이터베이스에 포함된 피처들에 비교되고, 그 후, 이것으로부터 유사한 피처들의 그룹을 표현하는 유도된 피처가 생성되어 데이터베이스에 저장된다. 그 후, 유사한 피처들의 그룹이 폐기될 수도 있다 (즉, 프루닝될 수도 있다). 따라서, 데이터베이스는 관리불가능한 데이터베이스 사이즈를 갖는 유사한 피처들을 포함하는 문제를 회피한다. 예를 들어, 도 2 는 피처 데이터베이스에 추가될 후보 피처에 기초하여 피처 데이터베이스를 통합하는 프로세스 (200) 를 예시하는 플로우차트이다.
도시된 바와 같이, 프로세스 블록 (205) 은 먼저 피처 데이터베이스에 추가되어질 후보 피처를 선택하는 것을 포함한다. 일 실시형태에서, 후보 피처는 프로세스 (100) 의 프로세스 블록 (150) 에서 피처 데이터베이스에 추가될 피처들의 제 2 세트로부터 추출된 피처이다. 다음으로, 프로세스 블록 (210) 에서, 피처들의 제 3 세트가 이 후보 피처에 기초하여 결정된다. 예를 들어, 프로세스 블록 (210) 은 후보 피처의 것에 유사한 디스크립터와, 후보 피처의 것에 근접하는 키포인트 로케이션 양방을 포함하는 피처들을 찾기 위해 피처 데이터베이스를 조사하는 것을 포함한다. 이들 매칭된 피처들은 피처들의 제 3 세트에 추가된다.
일 실시형태에서, 디스크립터는 한 시점 (이미지) 로부터의 키포인트의 발생을 기술하는 L-차원의 벡터이다. 따라서, 2 개의 디스크립터들은 이들 차이 (이 자체가 L-차원 벡터임) 가 기준 (norm)/크기에 있어서 작다면 유사한 것이다. 따라서, 프로세스 블록 (210) 은 한 디스크립터를 다른 한 디스크립터로부터 감산하여 그 결과를 디스크립터 거리 임계값과 비교하는 것 (예를 들어, |f1-fi| < descth, 여기에서 desc th 는 디스크립터 거리 임계값임) 에 의해 2 개의 디스크립터들이 유사한지의 여부를 결정하는 것을 포함할 수도 있다. 키포인트 로케이션들이 근방인지 여부를 결정하는 것은, 키포인트 로케이션들이 미리 정의된 (또는 설정된) 좌표 시스템에 따라 (x,y,z) 좌표들의 3 차원 벡터인 것을 제외하고는, 위에 설명된 것과 유사하다 (|k1-ki| < dkptth, 여기에서, dkpt th 는 키포인트 거리 임계값임).
따라서, 피처들의 제 3 세트는 그 디스크립터가 후보 피처의 것과 유사하고 그 키포인트 로케이션들이 후보 피처의 것에 대해 근방인 피처들의 세트이다. 일 실시형태에서, 피처들의 제 3 세트는 후보 피처를 포함한다. 피처들의 이 제 3 세트가 결정되면, 결정 블록들 (215 및 220) 은 후보 피처가 반복가능하고 구별가능한지의 여부를 결정한다. 피처의 반복가능성은 동일한 (또는 유사한) 피처가 관측되는 시점들의 수를 지칭하며, 일 예에서, 단순히, 피처들의 제 3 세트에 포함된 피처들의 수일 수도 있다. 일 실시형태에서, 후보 피처들의 반복가능성을 결정하는 것은 후보 피처의 키포인트 로케이션이 다수의 별개의 시점들로부터 관측가능한지의 여부를 결정하는 것, 및 만약 그렇다면, 후보 피처의 키포인트 로케이션이 후보 피처의 디스크립터와 유사한 디스크립터에 의해 서술되는 시점들의 수를 결정하는 것을 포함한다. 시점들의 수의 이 결정은 후보 피처들의 키포인트 로케이션 뿐만 아니라 (예를 들어, 키포인트 거리 임계값 (dkptth) 내에서의) 근접하게 위치된 키포인트들의 분석을 포함한다. 따라서, 반복가능성은 동일하게 또는 근접하게 위치된 키포인트의 유사한 관측 횟수를 카운트하는 것에 의해 결정될 수도 있다. 즉, 동일한 키포인트의 2 개의 관측들로서 별개이지만 본질적으로 공동 위치된 카운트인 키포인트들에 유사한 디스크립터들이 첨부된다. 정량화되면, 그 후, 후보 피처의 반복가능성은 고정된 반복가능성 임계값에 대해 비교될 수도 있다 (ri > rth ?).
피처들의 구별가능성은 데이터베이스에 이미 포함된 다른 피처들과 후보 피처 사이를 구별하는 능력을 지칭한다. 일 예에서, 구별가능성은 유사한 디스크립터들을 갖는 데이터베이스에서의 모든 피처들의 수에 대한, 제 3 세트에서의 피처들의 수의 비로서 정량화될 수도 있다. 후보 피처의 구별가능성은 후보 피처 (또는 근접하게 위치된 키포인트들) 의 키포인트 로케이션이 후보 피처의 디스크립터와 유사한 디스크립터에 의해 서술되는 뷰포인트의 제 1 수를 결정하는 것을 포함할 수도 있다. 그 후, 키포인트의 로케이션과 무관하게, 후보 피처의 디스크립터와 유사한 디스크립터들을 갖는 피처 데이터베이스에서의 모든 피처들의 제 2 수가 결정된다. 그 후, 구별가능성은 제 2 수에 대한 제 1 수 사이의 비로서 표현될 수도 있다. 일 실시형태에서, 구별가능성은 후보 피처의 구별가능성이 충분히 높은지의 여부를 결정하기 위해 고정된 구별가능성 임계값에 대해 비교된다 (di > dth ?).
결정 블록 (220) 에서, 선택된 피처가 구별가능하지 않다고 결정되면 (예를 들어, di < dth), 이는 후보 피처가 낮은 구별가능성으로 인하여 피처 데이터베이스에 추가되지 않을 것임을 나타낸다. 결정 블록 (215) 에서, 선택된 피처가 반복가능하지 않다고 결정되면 (예를 들어, ri < rth), 이는 후보 피처가 낮은 반복가능성으로 인하여 피처 데이터베이스에 추가되지 않을 것임을 나타낸다. 일 실시형태에서, 반복가능성 및/또는 구별가능성이 너무 낮으면, 피처 데이터베이스에 이미 존재하는 유사한 피처들이 제거될 수도 있다.
그러나, 후보 피처가 반복가능하고 구별가능하다고 결정되면, 프로세스 (200) 는 프로세스 블록 (225) 으로 진행하고, 이 블록에서 적어도 하나의 유도된 피처가 생성되어 피처 데이터베이스에 추가된다. 유도된 피처는 피처들의 제 3 세트로 표현되고, 일 예에서, 제 3 세트에 포함된 디스크립터들의 평균인 디스크립터를 포함할 수도 있다.
일 예에서, 유도된 피처는 제 3 세트에 포함된 모든 피처들을 표현하는 단일 피처이다. 다른 예에서, 프로세스 블록 (225) 은 후보 피처에 대하여 M 개의 유도된 피처들을 생성하는 것을 포함하고, 여기에서 M 개의 유도된 피처들은 제 3 세트의 피처들을 함께 M 개의 클러스터들로 클러스터링한 후 클러스터 센터들을 취하는 것에 의해 생성된다.
유도된 피처(들)이 데이터베이스에 추가되면, 제 3 세트의 피처들은 폐기될 수도 있다 (즉, 프로세스 블록 (230)). 일 실시형태에서, 피처들을 폐기하는 것은 피처 데이터베이스로부터 이들을 제거하는 것을 포함한다.
도 3 은 본원에 설명된 프로세스들을 수행할 수 있는 모바일 플랫폼 (300) 의 기능블록도이다. 일 실시형태에서, 모바일 플랫폼 (300) 은 도 1 의 프로세스 (100) 와 같은 프로세스를 이용하여 피처 데이터베이스 업데이트 및 오브젝트 인식이 가능한 컴퓨터이다. 예를 들어, 모바일 플랫폼 (300) 은 도 1 의 프로세스 블록 (105) 을 참조하여 설명된 바와 같이 이미지를 캡쳐하고 제공하는 카메라 (302) 를 선택적으로 포함할 수도 있다. 모바일 플랫폼 (300) 은 또한 카메라 (302) 에 의해 캡쳐된 이미지들을 디스플레이가능한 디스플레이 (322) 를 포함하는 선택적 사용자 인터페이스 (306) 를 포함할 수도 있다. 사용자 인터페이스 (306) 는 또한 키패드 (324) 또는 다른 입력 디바이스를 포함할 수도 있으며, 이를 통해 사용자는 정보를 모바일 플랫폼 (300) 에 입력할 수 있다. 원하는 경우, 키패드 (324) 는 터치 센서를 이용하여 가상 키패드를 디스플레이 (322) 에 통합함으로써 제거될 수도 있다. 사용자 인터페이스 (306) 는 또한 마이크로폰 (326) 및 스피커 (328) 를 포함할 수도 있다.
모바일 플랫폼 (300) 은 또한 카메라 (302) 및 사용자 인터페이스 (306) 에 접속되고 이들과 통신하는 제어 유닛 (304) 을 포함한다. 제어 유닛 (304) 은 카메라 (302) 로부터 및/또는 네트워크 어댑터 (316) 로부터 수신된 이미지들을 수용하여 프로세싱한다. 제어 유닛 (304) 은 프로세싱 유닛 (308) 및 연관된 메모리 (314), 하드웨어 (310), 소프트웨어 (315), 및 펌웨어 (312) 에 의해 제공될 수도 있다.
제어 유닛 (304) 은 원한다면, 디스플레이 (322) 에서 원하는 데이터를 렌더링하기 위해 예를 들어, 게이밍 엔진일 수도 있는 그래픽 엔진 (320) 을 더 포함할 수도 있다. 프로세싱 유닛 (308) 및 그래픽 엔진 (320) 은 명료화를 위하여 개별적으로 예시되어 있지만 단일 유닛일 수도 있고/있거나 프로세싱 유닛 (308) 에서 구동되는 소프트웨어 (315) 에서의 명령들에 기초하여 프로세싱 유닛 (308) 에서 구현될 수도 있다. 프로세싱 유닛 (308) 뿐만 아니라 그래픽 엔진 (320) 은 반드시 그러한 것은 아니지만, 하나 이상의 마이크로프로세서들, 내장형 프로세서들, 제어기들, ASIC (application specific integrated circuit) 들, DSP (digital signal processor) 들 등을 포함할 수도 있다. 용어 프로세서 및 프로세싱 유닛은 특정 하드웨어이기 보다는 시스템에 의해 구현되는 기능들을 기술한다. 또한, 본원에 이용된 바와 같은 용어 "메모리" 는 장기, 단기를 포함하는 임의의 유형의 컴퓨터 저장 매체, 또는 모바일 플랫폼 (300) 과 연관된 다른 메모리를 지칭하고, 임의의 특정 유형의 메모리나 다수의 메모리들, 또는 메모리가 저장되는 유형의 매체로 제한되지 않는다.
프로세스들 (100 및 200) 을 포함하는 본원에 설명된 프로세스들은 애플리케이션에 의존하여 여러 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 프로세스들은 하드웨어 (310), 펌웨어 (312), 소프트웨어 (315), 또는 그 조합으로 구현될 수도 있다. 하드웨어 구현에서, 프로세싱 유닛들은 하나 이상의 ASIC (application specific integrated circuit) 들, DSP (digital signal processing device) 들, DSPD (digital signal processing device) 들, PLD (programmable logic device) 들, FPGA (field programmable gate array) 들, 프로세서들, 제어기들, 마이크로 제어기들, 마이크로프로세서들, 전자 디바이스들, 본원에서 설명된 기능들을 수행하도록 디자인된 다른 디바이스 유닛들, 또는 이들의 조합 내에서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현을 위해, 프로세스들은 본원에서 설명된 기능들을 수행하는 모듈들 (예를 들면, 프로시져들, 기능들 등등) 로 구현될 수도 있다. 명령들을 유형적으로 구체화하는 임의의 컴퓨터 판독가능한 매체가 본원에서 설명된 프로세스들을 구현하는데 사용될 수도 있다. 예를 들어, 프로그램 코드는 메모리 (315) 에 저장되어 프로세싱 유닛 (308) 에 의해 실행될 수도 있다. 메모리는 프로세싱 유닛 (308) 내에서 또는 외부에서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어로 구현되면, 상기 기능들은 컴퓨터 판독 가능한 매체 상의 코드 또는 하나 이상의 명령들로서 저장될 수도 있다. 예들은 데이터 구조로 인코딩된 컴퓨터 판독 가능 매체 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터 판독 가능 매체는 물리적인 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, 플래시 메모리, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있고; 본원에서 사용된 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크(CD), 레이저 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 디스크 (disk) 는 통상 데이터를 자기적으로 재생하고 디스크 (disc) 는 통상 데이터를 레이저를 이용하여 광학적으로 재생한다. 위의 조합들도 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
도 4 는 오브젝트 인식 시스템 (400) 의 기능 블록도이다. 도시된 바와 같이, 오브젝트 인식 시스템 (400) 은 피처 데이터베이스 (412) 에 대한 비교에 의해 식별되는 오브젝트 (414) 의 이미지들을 캡처가능한 카메라 (현재 뷰에서는 도시되지 않음) 를 포함하는 예시적인 모바일 플랫폼 (402) 을 포함한다.
모바일 플랫폼 (402) 은 카메라에 의해 캡쳐된 이미지들을 보여주기 위해 디스플레이를 포함할 수도 있다. 모바일 플랫폼 (402) 은 또한 예를 들어, 인공위성(들)(406) 을 포함하는 위성 측위 시스템 (SPS), 또는 셀룰라 타워(들)(404) 또는 무선 통신 액세스 포인트들 (405) 을 포함한 포지션을 결정하기 위한 임의의 다른 적절한 소스로부터의 신호들을 이용하여 그 위도 및 경도를 결정하는 것에 기초하여 네비게이션에 이용될 수도 있다. 모바일 플랫폼 (402) 은 또한, 모바일 플랫폼 (402) 의 배향을 결정하는데 이용될 수 있는 배향 센서들, 이를 테면, 디지털 나침판, 가속도계, 또는 자이로스코프들을 포함할 수도 있다.
본원에 이용되는 바와 같이 모바일 플랫폼은 셀룰라 또는 다른 무선 통신 디바이스, PCS (personal communication system) 디바이스, PND (personal navigation device), PIM (Personal Information Manager), PDA (Personal Digital Assistant), 랩탑, 또는 무선 통신 및/또는 내비게이션 신호들, 이를 테면 내비게이션 포지셔닝 신호들을 수신가능한 다른 적절한 모바일 디바이스와 같은 디바이스를 지칭한다. 용어 "모바일 플랫폼" 은, 위성 신호 수신, 보조 데이터 수신, 및/또는 포지션 관련 프로세싱이 디바이스에서 발생하든지 또는 PND (personal navigation device) 에서 발생하든지에 무관하게, 이를 테면대 단거리 무선, 적외선, 유선 접속, 또는 다른 접속에 의해 PND 와 통신하는 디바이스들을 포함하도록 의도된다. 또한, "모바일 플랫폼" 은, 위성 신호 수신, 보조 데이터 수신, 및/또는 포지션 관련 프로세싱이 디바이스에서 발생하든지, 서버에서 발생하든지, 또는 네트워크와 관련된 다른 디바이스에서 발생하든지에 무관하게, 이를 테면 인터넷, WiFi, 또는 다른 네트워크를 통해 서버와 통신할 수 있는 무선 통신 디바이스들, 컴퓨터들, 랩탑들 등을 포함하는 모든 디바이스들을 포함하도록 의도된다. 추가로, "모바일 플랫폼" 은 또한 증강 현실 (AR), 가상 현실 (VR) 및/또는 믹싱 현실 (MR) 애플리케이션들이 가능한 모든 전자 디바이스들을 포함할 수도 있다. 또한, 상기의 임의의 동작가능한 조합이 "모바일 플랫폼" 으로서 간주된다.
일반적으로, 위성 포지셔닝 시스템 (satellite positioning system; SPS) 은 통상적으로, 송신기들로부터 수신된 신호들에 적어도 부분적으로 기초하여, 지구 상에서 또는 지구 위에서 엔티티들이 그들의 위치를 결정하는 것을 가능하게 하도록 포지셔닝된 송신기들의 시스템을 포함한다. 이러한 송신기들은 통상적으로, 한 세트의 다수의 칩들의 반복하는 의사 랜덤 노이즈 (pseudo-random noise; PN) 코드로 마킹된 신호를 송신하고 지상 기반 제어국들, 사용자 기기 (user equipment) 및/또는 우주선들 (space vehicles) 상에 로케이팅될 수도 있다. 특정 예에서, 이러한 송신기들은 지구 궤도를 도는 인공 위성들 (SV들) (406) 상에 로케이팅될 수도 있다. 예를 들면, 갈릴레오 (Galileo), GLONASS, 콤파스 (Compass) 또는 GPS (Global Positioning System) 와 같은 GNSS (Global Navigation Satellite System) 의 배치 (constellation) 에서의 SV 는, (예를 들면, GPS에서와 같이 각각의 위성에 대해 상이한 PN 코드들을 사용하여 또는 GLONASS에서와 같이 동일한 코드를 상이한 주파수들 상에서 사용하여) 그 배치에서의 다른 SV들에 의해 송신된 PN 코드들과는 구별될 수 있는 PN 코드로 마킹된 신호를 송신할 수도 있다.
특정 양태들에 따르면, 본원에서 제공된 기술들은 SPS에 대한 글로벌 시스템들 (예를 들면, GNSS) 에 제한되지 않는다. 예를 들면, 본원에서 제공된 기법들은, 일본 상공의 QZSS (Quasi-Zenith Satellite System), 인도 상공의 IRNSS (Indian Regional Navigational Satellite System), 중국 상공의 Beidou 등과 같은 다양한 지역적 시스템들 및/또는 하나 이상의 글로벌 및/또는 지역적 내비게이션 위성 시스템들과 관련되거나 또는 다르게는 이들에서 사용가능하게 될 수도 있는 다양한 증강 시스템들 (예를 들면, 위성 기반 증강 시스템 (Satellite Based Augmentation System; SBAS)) 에 적용되거나 또는 다르게는 이들에서 사용 가능하게 될 수도 있다. 비제한적인 예로서, SBAS는 통합 정보, 차동 보정들 등을 제공하는 증강 시스템(들), 예컨대, 예를 들면, WAAS (Wide Area Augmentation System), EGNOS (European Geostationary Navigation Overlay Service), MSAS (Multi-functional Satellite Augmentation System), GAGAN (GPS Aided Geo Augmented Navigation 또는 GPS and Geo Augmented Navigation system) 등을 포함할 수도 있다. 따라서, 본원에서 사용된 바와 같이, SPS 는 하나 이상의 글로벌 및/또는 지역적 내비게이션 위성 시스템들 및/또는 증강 시스템들의 임의의 조합을 포함할 수도 있고, SPS 신호들은 SPS 신호들, SPS와 같은 신호들, 및/또는 이러한 하나 이상의 SPS와 관련된 다른 신호들을 포함할 수도 있다.
포지션 결정 기술이, 셀룰라 타워들 (404) 을 포함한 여러 무선 통신 네트워크들과 연계하여 그리고 무선 통신 액세스 포인트들 (405), 이를 테면, WWAN (wireless wide area network), WLAN (wireless local area network), WPAN (wireless personal area network) 로부터 구현될 수도 있기 때문에, 모바일 플랫폼 (402) 은 포지션 결정을 위하여 SPS 에 사용하는 것으로 제한되지 않는다. 또한, 모바일 플랫폼 (402) 은 하나 이상의 서버들 (408) 에 액세스하여, 여러 무선 통신 네트워크들을 이용하여 셀룰라 타워들 (404) 을 통하여 그리고 무선 통신 액세스 포인트들 (405) 로부터 또는 원한다면 인공위성들 (406) 을 이용하여 데이터, 이를 테면, 데이터베이스 (412) 로부터의 참조 이미지들, 및 참조 피처들을 획득할 수도 있다. 용어 "네트워크" 및 "시스템"은 종종 상호 교환적으로 사용된다. WWAN은 CDMA (Code Division Multiple Access) 네트워크, TDMA (Time Division Multiple Access) 네트워크, FDMA (Frequency Division Multiple Access) 네트워크, OFDMA (Orthogonal Frequency Division Multiple Access) 네트워크, SC-FDMA (Single-Carrier Frequency Division Multiple Access) 네트워크, LTE (Long Term Evolution) 등일 수도 있다. CDMA 네트워크는 하나 이상의 무선 액세스 기술들 (radio access technologies; RAT들) 예컨대 cdma2000, Wideband-CDMA (W-CDMA) 등을 구현할 수도 있다. Cdma2000은 IS-95, IS-2000 및 IS-856 표준들을 포함한다. TDMA 네트워크는 GSM (Global System for Mobile Communications), D-AMPS (Digital Advanced Mobile Phone System), 또는 몇몇 다른 RAT를 구현할 수도 있다. GSM과 W-CDMA는 "3rd Generation Partnership Project(3GPP)"로 명명된 컨소시엄으로부터의 문서들에서 설명된다. Cdma2000 은 "3rd Generation Partnership Project 2(3GPP2)"로 명명된 컨소시엄으로부터의 문서들에서 설명된다. 3GPP와 3GPP2 문서들은 공개적으로 이용 가능하다. WLAN은 IEEE 802.11x 네트워크일 수도 있고, WPAN은 블루투스 네트워크, IEEE 802.15x, 또는 일부 다른 유형의 네트워크일 수도 있다. 또한, 기술들은 WWAN, WLAN 및/또는 WPAN의 임의의 조합과 연계하여 구현될 수도 있다.
도 4 에 도시된 바와 같이, 시스템 (400) 은 피처 데이터베이스 (412) 에의 비교에 의해 식별될 오브젝트 (414) 의 이미지를 캡쳐하는 모바일 플랫폼 (402) 을 포함한다. 예시된 바와 같이, 모바일 플랫폼 (402) 은 네트워크 (410), 이를 테면, WWAN (wireless wide area network) 에, 예를 들어, 타겟 오브젝트들 및 이들의 이미지들에 관련된 정보를 저장하는 데이터베이스 (412) 에 접속된 서버 (408) 에 커플링된 셀룰라 타워 (404) 또는 무선 통신 액세스 포인트 (405) 를 통하여 액세스할 수도 있다. 일 실시형태에서, 모바일 플랫폼 (402) 은 네트워크 (410) 에 액세스하기 위한 네트워크 어댑터 (예를 들어, 도 3 의 네트워크 어댑터 (316)) 를 포함한다. 도 4 는 하나의 서버 (408) 만을 도시하고 있지만, 다수의 서버들이 이용될 수도 있고 다수의 데이터베이스들 (412) 이 이용될 수도 있음을 알아야 한다. 모바일 플랫폼 (402) 은 적어도 서버 (408) 로부터 데이터베이스 (412) 의 부분을 획득하고 모바일 플랫폼 (402) 내부의 로컬 데이터베이스 (예를 들어, 도 3 에 있어서 메모리 (314) 및/또는 펌웨어 (312)) 에 다운로딩된 데이터를 저장하는 것에 의해 도 4 에 예시되는 바와 같이 오브젝트 검출 자체를 수행할 수도 있다. 서버 (408) 로부터 획득된 데이터베이스의 부분은 모바일 플랫폼 포지셔닝 시스템에 의해 결정되는 모바일 플랫폼의 지오그래픽 로케이션에 기초할 수도 있다. 또한, 서버 (408) 로부터 획득된 데이터베이스의 부분은 모바일 플랫폼 (402) 상에서 데이터베이스를 요청하는 특정 애플리케이션에 의존할 수도 있다. 모바일 플랫폼 (402) 은 프로세스 (100) 에 대하여 위에 설명된 바와 같이, 캡처된 쿼리 이미지로부터 피처들을 추출하고, 피처 데이터베이스에 저장된 이들 피처들에 피처드을 매칭시키고, 피처 데이터베이스에서의 기존 추출된 피처를 갖는 피처 데이터베이스를 업데이트할 수도 있다. 쿼리 이미지는 비디오 시퀀스로부터 추출되는 프레임 또는 카메라에 의해 캡쳐되는 이미지 또는 카메라로부터의 프리뷰 프레임에서 이미지일 수도 있다. 오브젝트 검출은 이후에 외부층 제거에 이용될 수 있는 각각의 쿼리 피처에 대한 결정되어진 신뢰도 레벨들에 적어도 부분적으로 기초할 수도 있다. 모바일 플랫폼의 지오그래픽 로케이션에 기초하여 데이터베이스 (412) 의 작은 부분을 다운로딩하고 모바일 플랫폼 (402) 상에서 오브젝트 검출을 수행하는 것에 의해, 네트워크 레이턴시 문제는 회피될 수도 있고 OTA (over the air) 대역폭 사용이 클라이언트 (즉, 모바일 플랫폼) 측에 대한 메모리 요건들과 함께 감소된다. 그러나, 원한다면, 오브젝트 검출은 서버 (408)(또는 다른 서버) 에 의해 수행될 수도 있으며, 여기에서 쿼리 이미지 자체 또는 쿼리 이미지로부터 추출된 피처들은 모바일 플랫폼 (402) 에 의해 서버 (408) 에 제공된다.
프로세싱 블록들의 일부 또는 모두가 위에 설명된 각각의 프로세스에 나타나는 순서는 제한적인 것으로 간주되어서는 안된다. 다만, 본 개시물의 이익을 갖는 당해 기술 분야의 당업자는 예시되지 않은 여러 순서들로 프로세스 블록들의 일부가 실행될 수도 있음을 이해할 것이다.
본원에서 개시된 실시예들과 연계하여 설명된 다양한 예증적인 논리 블록들, 모듈들, 회로들, 엔진들, 회로들 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자 모두의 조합들로서 구현될 수도 있다는 것을 당업자들은 또한 알 수 있을 것이다. 하드웨어 및 소프트웨어의 이러한 상호 교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 엔진들, 회로들, 및 단계들을 그들의 기능적 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자라면 전술된 기능성을 각각의 특정 어플리케이션에 대해 다양한 방식으로 구현할 수도 있지만, 이러한 구현 결정들이 본 발명의 범주를 벗어나게 하는 것으로 이해되어서는 안된다.
이러한 실시형태들에 대한 다양한 수정예들이 당업자에게는 자명할 것이고, 본원에서 정의된 일반적인 원리들은 본 발명의 취지와 범위를 벗어나지 않으면서 다른 실시형태들에 적용될 수도 있다. 따라서, 본 발명은 본원에서 보여진 예시적인 실시예들로 제한되도록 의도된 것은 아니며 본원에 개시된 원리들과 신규의 특징들과 일치하는 가장 넓은 범위에 따르고자 한다.

Claims (25)

  1. 알려진 타겟 오브젝트에 대응하는 피처들을 포함하는 피처 데이터베이스를 동적으로 업데이트하는 컴퓨터 구현 방법으로서,
    이미지를 제공하는 단계;
    제공된 상기 이미지로부터 피처들의 제 1 세트를 추출하는 단계;
    상기 피처 데이터베이스에 저장된 상기 피처들과, 상기 피처들의 제 1 세트를 비교하는 단계;
    상기 피처들의 제 1 세트에 포함된 상기 피처들 중 적어도 일부가 상기 피처 데이터베이스에 포함된 상기 피처들 중 적어도 일부와 상관하는지의 여부에 기초하여 상기 타겟 오브젝트가 상기 이미지에 존재하는지의 여부를 결정하는 단계; 및 만약 존재한다면,
    상기 제 1 세트의 추출된 피처들 중, 상기 피처 데이터베이스에 이미 포함되지 않은 적어도 하나의 추출된 피처를 식별하고, 상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하는 단계를 포함하는, 피처 데이터베이스를 동적으로 업데이트하는 컴퓨터 구현 방법.
  2. 제 1 항에 있어서,
    제공된 이미지 내에서부터 상기 피처들의 제 1 세트를 추출하는 단계는, 상기 제공된 이미지에 SIFT (Scale-Invariant Feature Transform) 알고리즘을 적용하는 단계를 포함하는, 피처 데이터베이스를 동적으로 업데이트하는 컴퓨터 구현 방법.
  3. 제 1 항에 있어서,
    상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하는 단계는, 상기 적어도 하나의 피처의 스코어가 스코어 임계값을 초과하면 오직 상기 적어도 하나의 추출된 피처를 추가하는 단계를 포함하는, 피처 데이터베이스를 동적으로 업데이트하는 컴퓨터 구현 방법.
  4. 제 3 항에 있어서,
    상기 스코어는 곡률 (curvature) 의 국부적 치수 (measure) 및 코너 강도의 치수로 이루어진 그룹으로부터 선택되는 상기 추출된 피처의 양태에 기초하는, 피처 데이터베이스를 동적으로 업데이트하는 컴퓨터 구현 방법.
  5. 제 1 항에 있어서,
    상기 타겟 오브젝트가 상기 이미지에 존재한다고 결정되면 추출된 피처가 상기 타겟 오브젝트에 속하는지의 여부를 결정하는 단계를 더 포함하고, 상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하는 단계는, 상기 추출된 피처가 상기 타겟 오브젝트에 속하면 오직 상기 적어도 하나의 추출된 피처를 추가하는 단계를 포함하는, 피처 데이터베이스를 동적으로 업데이트하는 컴퓨터 구현 방법.
  6. 제 1 항에 있어서,
    상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하는 단계는, 상기 적어도 하나의 추출된 피처가 상기 피처 데이터베이스에 이미 포함된 피처들과 다르면 오직 상기 적어도 하나의 추출된 피처를 추가하는 단계를 포함하는, 피처 데이터베이스를 동적으로 업데이트하는 컴퓨터 구현 방법.
  7. 제 6 항에 있어서,
    상기 적어도 하나의 추출된 피처의 키포인트 로케이션이 상기 피처 데이터베이스에서의 키포인트 로케이션들과 제 1 임계량 초과 정도로 상이하면 상기 적어도 하나의 추출된 피처는 상기 피처 데이터베이스에 이미 포함된 피처들과는 다른, 피처 데이터베이스를 동적으로 업데이트하는 컴퓨터 구현 방법.
  8. 제 6 항에 있어서,
    상기 적어도 하나의 추출된 피처의 키포인트 디스크립터가 상기 피처 데이터베이스에서의 키포인트 디스크립터들과 제 2 임계량 초과 정도로 상이하면 상기 적어도 하나의 추출된 피처는 상기 피처 데이터베이스에 이미 포함된 피처들과는 다른, 피처 데이터베이스를 동적으로 업데이트하는 컴퓨터 구현 방법.
  9. 알려진 타겟 오브젝트에 대응하는 피처들을 포함하는 피처 데이터베이스를 업데이트하는 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는:
    제공된 이미지로부터 피처들의 제 1 세트를 추출하고;
    상기 피처 데이터베이스에 저장된 상기 피처들과, 상기 피처들의 제 1 세트를 비교하고;
    상기 피처들의 제 1 세트에 포함된 상기 피처들 중 적어도 일부가 상기 피처 데이터베이스에 포함된 상기 피처들 중 적어도 일부와 상관하는지의 여부에 기초하여 상기 타겟 오브젝트가 상기 이미지에 존재하는지의 여부를 결정하고; 그리고 만약 존재한다면,
    상기 제 1 세트의 추출된 피처들 중, 상기 피처 데이터베이스에 이미 포함되지 않은 적어도 하나의 추출된 피처를 식별하고, 상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하는 명령들을 포함하는, 피처 데이터베이스를 동적으로 업데이트하는 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
  10. 제 9 항에 있어서,
    상기 제공된 이미지로부터 상기 피처들의 제 1 세트를 추출하는 명령은, 상기 제공된 이미지에 SIFT (Scale-Invariant Feature Transform) 알고리즘을 적용하는 명령들을 포함하는, 피처 데이터베이스를 동적으로 업데이트하는 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
  11. 제 9 항에 있어서,
    상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하는 명령들은, 상기 적어도 하나의 피처의 스코어가 스코어 임계값을 초과하면 오직 상기 적어도 하나의 추출된 피처를 추가하는 명령들을 포함하는, 피처 데이터베이스를 동적으로 업데이트하는 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
  12. 제 11 항에 있어서,
    상기 스코어는 곡률의 국부적 치수 및 코너 강도의 치수로 이루어진 그룹으로부터 선택되는 상기 추출된 피처의 양태에 기초하는, 피처 데이터베이스를 동적으로 업데이트하는 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
  13. 제 9 항에 있어서,
    상기 타겟 오브젝트가 상기 이미지에 존재한다고 결정되면 추출된 피처가 상기 타겟 오브젝트에 속하는지의 여부를 결정하는 명령들을 더 포함하고, 상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하는 명령들은, 상기 추출된 피처가 상기 타겟 오브젝트에 속하면 오직 상기 적어도 하나의 추출된 피처를 추가하는 명령들을 포함하는, 피처 데이터베이스를 동적으로 업데이트하는 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
  14. 제 9 항에 있어서,
    상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하는 명령들은, 상기 적어도 하나의 추출된 피처가 상기 피처 데이터베이스에 이미 포함된 피처들과 다르면 오직 상기 적어도 하나의 추출된 피처를 추가하는 명령들을 포함하는, 피처 데이터베이스를 동적으로 업데이트하는 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
  15. 제 14 항에 있어서,
    상기 적어도 하나의 추출된 피처의 키포인트 로케이션이 상기 피처 데이터베이스에서의 키포인트 로케이션들과 제 1 임계량 초과 정도로 상이하면 상기 적어도 하나의 추출된 피처는 상기 피처 데이터베이스에 이미 포함된 피처들과는 다른, 피처 데이터베이스를 동적으로 업데이트하는 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
  16. 제 14 항에 있어서,
    상기 적어도 하나의 추출된 피처의 키포인트 디스크립터가 상기 피처 데이터베이스에서의 키포인트 디스크립터들과 제 2 임계량 초과 정도로 상이하면 상기 적어도 하나의 추출된 피처는 상기 피처 데이터베이스에 이미 포함된 피처들과는 다른, 피처 데이터베이스를 동적으로 업데이트하는 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
  17. 장치로서,
    알려진 타겟 오브젝트에 대응하는 피처들을 포함하는 피처 데이터베이스를 업데이트하는 프로그램 코드를 저장하도록 구성된 메모리;
    상기 프로그램 코드에 포함된 명령들에 액세스하여 실행하도록 구성된 프로세싱 유닛을 포함하고,
    상기 명령들이 상기 프로세싱 유닛에 의해 실행될 때, 상기 프로세싱 유닛이 상기 장치에,
    카메라로 이미지를 캡쳐하고;
    캡처된 상기 이미지 내에서부터 피처들의 제 1 세트를 추출하고;
    상기 피처 데이터베이스에 저장된 상기 피처들과, 상기 피처들의 제 1 세트를 비교하고;
    상기 피처들의 제 1 세트에 포함된 상기 피처들 중 적어도 일부가 상기 피처 데이터베이스에 포함된 상기 피처들 중 적어도 일부와 상관하는지의 여부에 기초하여 상기 타겟 오브젝트가 상기 이미지에 존재하는지의 여부를 결정하고; 그리고 만약 존재한다면,
    상기 제 1 세트의 추출된 피처들 중, 상기 피처 데이터베이스에 이미 포함되지 않은 적어도 하나의 추출된 피처를 식별하고, 상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하도록 지시하는, 장치.
  18. 제 17 항에 있어서,
    상기 캡처된 이미지 내에서부터 상기 피처들의 제 1 세트를 추출하는 명령들은, 상기 캡처된 이미지에 SIFT (Scale-Invariant Feature Transform) 알고리즘을 적용하는 명령들을 포함하는, 장치.
  19. 제 17 항에 있어서,
    상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하는 명령들은, 상기 적어도 하나의 피처의 스코어가 스코어 임계값을 초과하면 오직 상기 적어도 하나의 추출된 피처를 추가하는 명령들을 포함하는, 장치.
  20. 제 19 항에 있어서,
    상기 스코어는 곡률의 국부적 치수 및 코너 강도의 치수로 이루어진 그룹으로부터 선택되는 상기 추출된 피처의 양태에 기초하는, 장치.
  21. 제 17 항에 있어서,
    상기 타겟 오브젝트가 상기 이미지에 존재한다고 결정되면 추출된 피처가 상기 타겟 오브젝트에 속하는지의 여부를 결정하도록 상기 장치에 지시하는 명령들을 더 포함하고, 상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하는 명령들은, 상기 추출된 피처가 상기 타겟 오브젝트에 속하면 오직 상기 적어도 하나의 추출된 피처를 추가하는 명령들을 포함하는, 장치.
  22. 제 17 항에 있어서,
    상기 피처 데이터베이스에 상기 적어도 하나의 추출된 피처를 추가하는 명령들은, 상기 적어도 하나의 추출된 피처가 상기 피처 데이터베이스에 이미 포함된 피처들과 다르면 오직 상기 적어도 하나의 추출된 피처를 추가하는 명령들을 포함하는, 장치.
  23. 제 17 항에 있어서,
    상기 적어도 하나의 추출된 피처의 키포인트 로케이션이 상기 피처 데이터베이스에서의 키포인트 로케이션들과 제 1 임계량 초과 정도로 상이하면 상기 적어도 하나의 추출된 피처는 상기 피처 데이터베이스에 이미 포함된 피처들과는 다른, 장치.
  24. 제 17 항에 있어서,
    상기 적어도 하나의 추출된 피처의 키포인트 디스크립터가 상기 피처 데이터베이스에서의 키포인트 디스크립터들과 제 2 임계량 초과 정도로 상이하면 상기 적어도 하나의 추출된 피처는 상기 피처 데이터베이스에 이미 포함된 피처들과는 다른, 장치.
  25. 제 17 항에 있어서,
    상기 캡처된 이미지를 획득하는 카메라를 더 포함하는, 장치.
KR1020167021554A 2014-01-28 2015-01-26 알려진 타겟 오브젝트에 대응하는 피처들을 포함하는 피처 데이터베이스의 동적 업데이트 KR20160115932A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/166,620 2014-01-28
US14/166,620 US10083368B2 (en) 2014-01-28 2014-01-28 Incremental learning for dynamic feature database management in an object recognition system
PCT/US2015/012953 WO2015116545A1 (en) 2014-01-28 2015-01-26 Dynamically updating a feature database that contains features corresponding to a known target object

Publications (1)

Publication Number Publication Date
KR20160115932A true KR20160115932A (ko) 2016-10-06

Family

ID=52469327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167021554A KR20160115932A (ko) 2014-01-28 2015-01-26 알려진 타겟 오브젝트에 대응하는 피처들을 포함하는 피처 데이터베이스의 동적 업데이트

Country Status (6)

Country Link
US (2) US10083368B2 (ko)
EP (1) EP3100210B1 (ko)
JP (1) JP2017508197A (ko)
KR (1) KR20160115932A (ko)
CN (1) CN105917361B (ko)
WO (1) WO2015116545A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021182689A1 (en) * 2020-03-09 2021-09-16 Samsung Electronics Co., Ltd. Automatic detection and association of new attributes with entities in knowledge bases

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965564B2 (en) 2011-07-26 2018-05-08 Schneider Electric It Corporation Apparatus and method of displaying hardware status using augmented reality
US20150095360A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Multiview pruning of feature database for object recognition system
US10083368B2 (en) 2014-01-28 2018-09-25 Qualcomm Incorporated Incremental learning for dynamic feature database management in an object recognition system
US9977955B2 (en) * 2014-06-19 2018-05-22 Rakuten Kobo, Inc. Method and system for identifying books on a bookshelf
US20160071319A1 (en) * 2014-09-09 2016-03-10 Schneider Electric It Corporation Method to use augumented reality to function as hmi display
US9965841B2 (en) 2016-02-29 2018-05-08 Schneider Electric USA, Inc. Monitoring system based on image analysis of photos
US10496694B2 (en) * 2016-03-21 2019-12-03 Hong Kong Applied Science and Technology Research Institute Company Limited Rating and advising for selection of augmented reality markers
WO2018005413A1 (en) 2016-06-30 2018-01-04 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell annotation with adaptive incremental learning
US10083369B2 (en) 2016-07-01 2018-09-25 Ricoh Company, Ltd. Active view planning by deep learning
CN106295660A (zh) * 2016-08-15 2017-01-04 厦门迈信物联科技股份有限公司 一种植物叶片精准特征数据提取方法
CN108228871A (zh) * 2017-07-21 2018-06-29 北京市商汤科技开发有限公司 人脸图像动态入库方法和装置、电子设备、介质、程序
US11222081B2 (en) 2017-11-27 2022-01-11 Evoqua Water Technologies Llc Off-line electronic documentation solutions
US20200175384A1 (en) * 2018-11-30 2020-06-04 Samsung Electronics Co., Ltd. System and method for incremental learning
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11080558B2 (en) 2019-03-21 2021-08-03 International Business Machines Corporation System and method of incremental learning for object detection
CN110363150A (zh) * 2019-07-16 2019-10-22 深圳市商汤科技有限公司 数据更新方法及装置、电子设备和存储介质
EP4184446A1 (en) * 2021-11-23 2023-05-24 Virnect Inc. Method and system for improving target detection performance through dynamic learning

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
JP2002334338A (ja) 2001-05-09 2002-11-22 National Institute Of Advanced Industrial & Technology 物体追跡装置及び物体追跡方法並びに記録媒体
US8705808B2 (en) 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
JP4613617B2 (ja) 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
KR100951890B1 (ko) 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
JP2010027035A (ja) * 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
JP5261312B2 (ja) * 2009-07-30 2013-08-14 富士フイルム株式会社 画像解析装置、画像解析方法およびプログラム
EP2521092A1 (en) * 2009-12-28 2012-11-07 Cyber Ai Entertainment Inc. Image recognition system
TWI447658B (zh) 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
US20110286628A1 (en) 2010-05-14 2011-11-24 Goncalves Luis F Systems and methods for object recognition using a large database
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
US20120011119A1 (en) 2010-07-08 2012-01-12 Qualcomm Incorporated Object recognition system with database pruning and querying
US20120011142A1 (en) 2010-07-08 2012-01-12 Qualcomm Incorporated Feedback to improve object recognition
US9036925B2 (en) * 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
JP5719230B2 (ja) 2011-05-10 2015-05-13 キヤノン株式会社 物体認識装置、物体認識装置の制御方法、およびプログラム
US9424255B2 (en) 2011-11-04 2016-08-23 Microsoft Technology Licensing, Llc Server-assisted object recognition and tracking for mobile devices
US20150029222A1 (en) 2011-11-29 2015-01-29 Layar B.V. Dynamically configuring an image processing function
WO2014015889A1 (en) 2012-07-23 2014-01-30 Metaio Gmbh Method of providing image feature descriptors
US10083368B2 (en) 2014-01-28 2018-09-25 Qualcomm Incorporated Incremental learning for dynamic feature database management in an object recognition system
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021182689A1 (en) * 2020-03-09 2021-09-16 Samsung Electronics Co., Ltd. Automatic detection and association of new attributes with entities in knowledge bases

Also Published As

Publication number Publication date
US10083368B2 (en) 2018-09-25
US11263475B2 (en) 2022-03-01
JP2017508197A (ja) 2017-03-23
CN105917361A (zh) 2016-08-31
EP3100210B1 (en) 2019-09-18
US20180357510A1 (en) 2018-12-13
US20150213325A1 (en) 2015-07-30
CN105917361B (zh) 2020-01-24
EP3100210A1 (en) 2016-12-07
WO2015116545A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
US11263475B2 (en) Incremental learning for dynamic feature database management in an object recognition system
KR101812158B1 (ko) 동적으로 구축된 환경 맵 데이터에 기초한 오브젝트 추적
US20150095360A1 (en) Multiview pruning of feature database for object recognition system
EP3053100B1 (en) Dynamic extension of map data for object detection and tracking
US20120011119A1 (en) Object recognition system with database pruning and querying
US20120011142A1 (en) Feedback to improve object recognition
US9077890B2 (en) Auto-focus tracking
JP2013541096A (ja) クラウド支援型拡張現実のための適応可能なフレームワーク
US9984301B2 (en) Non-matching feature-based visual motion estimation for pose determination
WO2011063282A2 (en) Orientation determination of a mobile station using side and top view images
WO2015183490A1 (en) Methods and apparatus for position estimation
KR101863647B1 (ko) 3d 맵들에 대한 가설 라인 맵핑 및 검증
JP6306274B1 (ja) オブジェクト検出中の適応的なエッジ状の特徴の選択
CN116704037B (zh) 一种基于图像处理技术的卫星失锁重定位方法及系统

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid