KR20150101488A - 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체 - Google Patents

Abstract

본 발명은 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체를 개시한다. 즉, 본 발명은 사용자 장치로부터 전송된 사용자 이미지 및 광고에 포함된 광고 이미지를 분석하여 서로 매칭되는 정보가 존재하는지 여부를 판단할 수 있다. 이러한 방법을 사용함으로써 사용자의 관심사에 맞는 광고를 사용자 장치로 전송할 수 있어, 효과적인 광고를 수행할 수 있다.

Description

사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체{service device providing advertisement based on object recognition, user equipment receiving advertisement based on object recognition, system and method for providing advertisement based on object recognition and computer readable medium having computer program recorded therefor}

본 발명은 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로, 특히 이미지에 포함된 사물의 특징 정보를 기반으로 사물을 인식하여 생성된 광고를 송신 및 수신하는 서비스 장치, 사용자 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.

근래에 들어 이동 통신 기술의 급격한 발전과 스마트폰 가입자 수의 폭발적인 증가로 인하여 스마트폰을 겨냥한 새로운 모바일 광고 방법들이 사용되고 있다.

모바일 광고란 스마트폰과 같은 이동 통신 단말기로 전송되는 멀티미디어 정보(예를 들어, 텍스트, 이미지, 동영상, 음원 등)를 기반으로 한 광고일 수 있다. 무선 인터넷을 기반으로 하는 모바일 광고는 개인화, 위치 기반, 상호 작용이라는 장점을 가지고 있으며, 고객 정보에 바탕을 두고 있어 고객 관리의 효율성을 극대화할 수 있다. 이러한 모바일 광고는 아래와 같은 특징을 가질 수 있다.

우선, 모바일 광고는 광고 메시지를 개인화된 타겟에 정확하게 전달할 수 있는 특징이 있다. 기존의 광고 매체인 TV, 라디오, 신문, 잡지, 팜플렛 등의 광고는 불특정 다수를 대상으로 하는 일방적인 내용만을 전달하였다. 하지만, 모바일 광고는 각각의 스마트폰과 같은 사용자 장치가 개별 소비자를 의미하므로, 광고 업체는 개별 소비자에 대한 정보 데이터 베이스를 구축하고 개별 소비자의 특성에 맞는 차별화된 개인화 광고를 수행할 수 있다.

또한, 모바일 광고는 양방향 상호 작용이 가능하다. 모바일 광고는 미리 소비자들이 원하는 광고에 대한 정보를 제공함과 더불어 전화번호나 URL(uniform resource locator)을 함께 제공할 수 있으며, 이를 통해 소비자는 추가적인 상품 정보를 획득할 수 있다.

이뿐만 아니라 모바일 광고는 소비자의 위치 정보를 기반으로 광고 타겟팅을 할 수 있다는 점, 소비자로부터 즉각적인 반응을 얻을 수 있다는 점 등 다양한 점에서 기존의 광고와는 차별점을 가질 수 있다.

한국공개특허 제10-2009-0031541 [명칭: 상품정보 제공 방법]

본 발명의 목적은 사용자 장치에 저장된 이미지 정보를 기반으로 사용자 장치의 사용자의 관심분야를 판단함으로써, 사용자의 관심사에 맞는 광고를 제공하기 위한 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공함에 있다.

본 발명의 다른 목적은 사용자 장치에 저장된 이미지 정보 중 사용자가 관심 있어하는 광고 대상 물품을 포함하는 이미지만을 선별하여 해당 이미지로부터만 사용자의 관심분야에 대한 분석을 수행하기 위한 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공함에 있다.

본 발명의 다른 목적은 사용자 장치에 저장된 이미지를 기반으로 사용자의 관심 물품의 우선 순위를 결정하여 관심도가 높은 물건에 대한 광고를 가장 높은 빈도로 노출되게 하기 위한 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공함에 있다.

본 발명의 실시예에 따른 사물 인식에 기반한 광고를 제공하는 서비스 장치는 사용자 장치로부터 사용자 이미지를 수집하는 이미지 수집부, 사용자 이미지에 포함된 제1 사물의 특징 정보를 추출하고 특징 정보를 기반으로 제1 사물에 대한 사물 인식을 수행하는 사물 인식부, 사용자 장치의 장치 식별자 정보와 제1 사물의 사물 식별자 정보를 매칭한 제1 매칭 정보 및 광고의 광고 식별자 정보와 광고 이미지에서 사물 인식된 제2 사물의 사물 식별자 정보를 매칭한 제2 매칭 정보를 생성하고, 제1 매칭 정보 및 제2 매칭 정보를 기반으로 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색하는 검색부와 사용자 장치의 요청에 따라 검색부로 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보에 대한 검색을 요청하고, 검색된 광고 식별자에 대응되는 광고를 사용자 장치로 전송하는 광고 정보 처리부를 포함할 수 있다.

본 발명과 관련된 일 예로서 사물 인식부는 광고 이미지에 포함된 제2 사물의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 제2 사물에 대한 사물 인식을 수행할 수 있다.

본 발명과 관련된 일 예로서 사물 인식을 기반한 광고를 제공하는 서비스 장치는 제1 사물의 특징 정보를 기반으로 제1 사물에 대한 사물 인식을 하기 위한 복수의 사물에 대한 식별자 정보와 복수의 사물에 대한 특징 정보가 매칭되어 저장된 사물 특징 정보 데이터 베이스와 제1 매칭 정보와 제2 매칭 정보를 저장되는 검색 색인 데이터 베이스를 더 포함할 수 있다.

본 발명과 관련된 일 예로서 광고 정보 처리부는, 새로운 광고가 등록되는 경우, 등록된 새로운 광고를 사물 인식부로 전송하여 새로운 광고에 포함된 광고 이미지를 기반으로 사물 인식을 수행하도록 요청할 수 있다.

본 발명과 관련된 일 예로서 이미지 수집부는 사용자 이미지에 포함된 제1 사물이 광고 대상 객체인지 여부를 판단하고, 제1 사물이 광고 대상 객체인 경우에만, 사물 인식부로 제1 사물에 대한 사물 인식을 요청할 수 있다.

본 발명과 관련된 일 예로서 광고 정보 처리부는 제1 사물이 포함된 사용자 이미지의 개수를 고려하여 사용자 장치로 전송될 광고의 전송 빈도를 결정할 수 있다.

본 발명과 관련된 일 예로서 광고 정보 처리부는 사용자 이미지가 촬영된 촬영 시기를 더 고려하여 사용자 장치로 전송될 광고의 전송 빈도를 결정할 수 있다.

본 발명과 관련된 일 예로서 광고 정보 처리부는 사용자 장치에서 삭제된 이미지 정보를 더 고려하여 사용자 장치로 전송될 광고의 전송 빈도를 결정할 수 있다.

본 발명의 실시예에 따른 사물 인식에 기반한 광고를 수신하는 사용자 장치는 사용자 장치에서 촬영된 이미지의 저장 경로를 판단하고, 촬영된 이미지 중 사물 인식에 기반한 광고 서비스를 수행하는 서비스 장치로부터 수신할 광고 결정을 위해 사용될 사용자 이미지를 결정하는 전송 이미지 결정부, 사용자 이미지를 사물 인식에 기반한 광고 서비스를 수행하는 서비스 장치로 전송하는 통신부와 사용자 이미지 기반의 광고를 서비스 장치로 요청하고, 서비스 장치로부터 광고를 수신하여 출력하는 광고 출력부를 포함할 수 있다.

본 발명과 관련된 일 예로서 전송 이미지 결정부는, 촬영된 이미지에 포함된 사물이 광고 대상 객체인지 여부를 판단하여 사물이 광고 대상 객체인 경우에만, 촬영된 이미지를 사용자 이미지로 결정할 수 있다.

본 발명의 실시예에 따른 사물 인식에 기반한 광고를 제공하는 방법은 사용자 장치로부터 사용자 이미지를 수신하는 단계, 사용자 이미지에 포함된 제1 사물의 특징 정보를 추출하고 특징 정보를 기반으로 제1 사물에 대한 사물 인식을 수행하는 단계, 사용자 장치의 장치 식별자 정보와 제1 사물의 사물 식별자 정보를 매칭한 제1 매칭 정보 및 광고의 광고 식별자 정보와 광고 이미지에서 사물 인식된 제2 사물의 사물 식별자 정보를 매칭한 제2 매칭 정보를 생성하는 단계, 제1 매칭 정보 및 제2 매칭 정보를 기반으로 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색하는 단계와 사용자 장치의 요청에 따라 검색부로 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색을 요청하고, 검색된 광고 식별자에 대응되는 광고를 사용자 장치로 전송하는 단계를 포함할 수 있다.

본 발명과 관련된 일 예로서 제1 사물의 특징 정보는 사용자 이미지에서 배경과 객체를 분리하고, 객체의 에지 정보를 기반으로 추출될 수 있다.

본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.

본 발명의 실시예에 따른 사물 인식에 기반한 광고를 제공하는 시스템은 멀티미디어 정보를 생성하고, 생성된 멀티미디어 정보 중 서비스 장치로 전송될 사용자 이미지를 결정하여 전송하고, 서비스 장치로 광고 정보를 요청하고, 서비스 장치로부터 수신한 광고 정보를 출력하는 사용자 장치; 및 사용자 장치로부터 수신된 사용자 이미지를 저장하고, 사용자 이미지에 포함된 객체의 특징 정보를 추출하고, 추출된 객체의 특징 정보를 기반으로 사물 인식을 수행하고, 인식된 사물 정보를 기반으로 광고 정보를 검색하고, 사용자 장치의 광고 요청에 응답하여 검색된 광고 정보를 사용자 장치로 전송하는 서비스 장치를 포함할 수 있다.

본 발명은 사용자 장치에 저장된 이미지 정보를 기반으로 사용자 장치의 사용자의 관심분야를 판단하여 사용자의 관심분야에 맞는 광고를 제공함으로써 필요한 물품 정보에 대한 광고 정보를 사용자가 수신할 수 있다. 마켓팅 입장에서도 광고 타겟팅 대상을 한정하여 효과적으로 마케팅을 할 수 있다.

사용자의 관심사를 분석하기 위해 사용자 이미지를 분석하여 사물 인식을 수행함에 있어서 사용자의 이미지 중 광고 대상 객체가 포함되어 있는 이미지만을 선별하여 분석함으로써 불필요한 분석 로딩을 줄일 수 있다.

또한, 사용자 이미지를 분석하여 사용자가 현재 관심있는 상품에 대한 정보를 판단하여 그 우선 순위에 따라 사용자에게 광고를 노출하는 빈도를 조절함으로써 효과적으로 광고를 사용자에게 전달할 수 있다.

도 1은 본 발명의 실시예에 따른 사진 내 사물 인식을 통한 광고 추천 시스템을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 사진 내 사물 인식을 통한 광고 추천 시스템을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 장치 정보에 매칭되는 광고 정보를 찾기 위한 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 사용자 장치로부터 전송된 이미지 정보를 기반으로 검색 색인 DB부를 구성하는 방법을 나타낸 흐름도이다.
도 5는 본 발명의 실시예에 따른 광고의 이미지 정보를 기반으로 검색 색인 DB부를 구성하는 방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따른 사용자 장치에서 광고를 요청하고 광고를 수신하는 방법을 나타낸 흐름도이다.
도 7은 본 발명의 실시예에 따른 사용자 장치로 광고를 제공하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 사용자 장치로 광고를 제공하는 방법을 나타낸 개념도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

사용자 장치(user equipment, 예를 들어, 모바일 장치)의 사용자는 본인이 관심이 있는 사물(또는 객체)들을 빈번하게 촬영할 수 있다. 즉, 사용자가 촬영한 이미지에 많이 등장한 사물일수록 사용자의 관심도가 높은 사물일 수 있다. 예를 들면, 사용자는 스마트폰과 같은 사용자 장치를 사용하여 책, 애완 동물, 사람, 옷과 같은 주변의 관심있는 사물을 촬영할 수 있다.

본 발명의 실시예에서는 사용자 장치를 기반으로 촬영된 이미지 정보를 기반으로 사용자 장치의 사용자에게 특정한 광고 정보를 타겟팅하여 전송하는 방법에 대해 개시한다. 각각의 사용자 장치에서 촬상된 이미지를 기반으로 개별 사용자에게 적응적으로 특정한 광고를 타겟팅하는 경우, 광고의 CTR(click through rate) 및 eCPM(effective cost per mille)을 높일 수 있다. CTR은 노출당 클릭율, eCPM은 유효 노출당 클릭율이다.

이하, 본 발명의 실시예에서는 설명의 편의상 사용자 장치를 기반으로 촬영된 이미지 정보를 기반으로 설명하나, 사용자 장치에 저장된 동영상 정보, 멀티미디어 컨텐츠 정보 등 다양한 정보가 개별 사용자에게 적응적으로 특정한 광고를 타겟팅하기 위한 정보로 활용될 수 있다.

도 1은 본 발명의 실시예에 따른 사진 내 사물 인식에 기반한 광고를 제공하는 시스템을 나타낸 개념도이다.

도 1에서는 사용자 장치에서 촬상된 이미지 정보를 기반으로 사용자 장치로 특정한 광고 정보를 타겟팅하여 전송하는 방법에 대해 개략적으로 개시한다.

도 1을 참조하면, 사진 내 사물 인식에 기반한 광고를 제공하는 시스템은 사용자 장치, 서비스 장치를 포함할 수 있다.

사용자 장치는 멀티미디어 정보 생성부(100), 전송 이미지 결정부(110), 광고 출력부(120), 통신부(130) 및 프로세서(140)를 포함할 수 있다.

서비스 장치는 이미지 수집부(150), 사물 인식부(160), 검색부(170), 광고 정보 처리부(180), 통신부(190) 및 프로세서(190)를 포함할 수 있다.

사용자 장치 및 서비스 장치의 구성부는 각 장치의 기능을 설명하기 위해 기능상으로 분류한 것으로써 복수의 구성부가 하나의 구성부로 구현되거나 하나의 구성부가 복수의 구성부로 구현될 수 있다.

사용자 장치를 참조하면, 멀티미디어 정보 생성부(100)는 멀티미디어 정보를 생성하기 위해 구현될 수 있다. 멀티미디어 정보는 이미지 정보, 동영상 정보, 소리 정보 등 다양한 정보를 포함할 수 있다. 예를 들어, 멀티미디어 정보 생성부(100)는 사용자 장치에 설치된 카메라 어플리케이션일 수 있다. 전술한 바와 같이 본 발명의 실시예에서는 설명의 편의상 멀티미디어 정보 중 이미지 정보에 대해 개시한다.

전송 이미지 결정부(110)는 멀티미디어 정보 생성부(100)에 의해 생성된 이미지 정보 중 서비스 장치로 전송될 정보를 결정하기 위해 구현될 수 있다. 서비스 장치에서는 전송 이미지 결정부(110)에서 결정된 이미지 정보를 기반으로 사용자 장치로 전송할 광고를 결정할 수 있다. 전송 이미지 결정부(110)는 SDK(software development kit)를 기반으로 구현될 수 있고, 사용자 장치에서 이미지 정보를 생성하는 어플리케이션의 이미지 저장 경로를 파악하여 서비스 장치로 전송될 이미지를 결정할 수 있다. 이하, 본 발명의 실시예에서는 사용자 장치로부터 전송된 이미지를 사용자 이미지라고 한다.

광고 출력부(120)는 서비스 장치로 광고 정보를 요청하고 서비스 장치로부터 수신한 광고 정보를 출력하기 위해 구현될 수 있다. 광고 출력부(120)도 SDK를 기반으로 구현될 수 있다.

통신부(130)는 서비스 장치와 데이터를 송신 및 수신하기 위해 구현될 수 있다.

프로세서(140)는 멀티미디어 정보 생성부(100), 전송 이미지 결정부(110), 광고 출력부(120) 및 통신부(130)를 제어하기 위해 구현될 수 있다.

서비스 장치는 이미지 수집부(150), 사물 인식부(160), 검색부(170), 광고 정보 처리부(180), 통신부(190) 및 프로세서(195)를 포함할 수 있다.

이미지 수집부(150)는 사용자 장치로부터 수신한 사용자 이미지를 저장하기 위해 구현될 수 있다. 이미지 수집부(150)는 사용자 장치의 전송 이미지 결정부(110)로부터 결정되어 사용자 장치로부터 전송된 사용자 이미지를 파일로 저장할 수 있다.

사물 인식부(160)는 이미지 수집부(150)에 저장된 사용자 이미지의 객체를 인식하기 위해 구현될 수 있다. 예를 들어, 사물 인식부(160)에서는 사용자 이미지에 포함된 객체의 특징 정보 추출할 수 있다. 또한 사물 인식부(160)는 추출된 객체의 특징 정보를 기반으로 객체가 어떠한 사물에 해당하는지에 대해 인식할 수 있다. 예를 들어 객체의 특징 정보가 차가 가진 특징 정보와 일치되는 경우, 사물 인식부(160)는 객체를 차라고 인식할 수 있다. 사물 인식부(160)에서는 사용자 이미지에 포함된 객체에 사물의 식별자(identifier, id)(이하 사물 식별자라고 함)를 할당할 수 있다. 사용자 이미지에 포함된 객체의 사물 식별자와 객체를 촬상한 사용자 장치의 식별자를 매핑하여 사용자 장치의 식별자와 사물 식별자를 매핑한 테이블을 생성할 수 있다.

또한, 사물 인식부(160)는 광고에 포함된 광고 이미지 정보를 기반으로 사물 인식을 수행하여 광고 이미지에 포함된 객체에 사물 식별자를 할당할 수 있다. 사물 인식부(160)에서는 광고 이미지에 포함된 객체의 사물 식별자와 광고의 식별자 정보는 매핑할 수 있다. 사물 식별자와 광고 식별자를 매핑한 테이블을 생성할 수 있다.

검색부(170)는 사물 인식부(160)에서 인식을 수행한 사물에 대한 정보를 기반으로 사용자 장치에 대한 광고 정보를 검색할 수 있다. 검색부(170)에서는 사용자 장치의 식별자 정보(예를 들어, device_id 또는 mdn(mobile directory number))와 사물 식별자 정보를 매핑한 테이블, 사물 식별자 정보와 광고 식별자 정보를 매핑한 테이블을 기반으로 사용자 장치로 전송할 광고에 대한 검색을 수행할 수 있다.

광고 정보 처리부(180)는 사용자 단말로부터 광고 요청이 있는 경우, 사용자 단말의 식별자 정보 등을 기반으로 검색된 광고 정보를 사용자 단말로 전송하기 위해 구현될 수 있다.

통신부(190)는 사용자 장치와 서비스 장치 간의 데이터를 송신 및 수신하기 위해 구현될 수 있다.

프로세서(195)는 이미지 수집부(150), 사물 인식부(160), 검색부(170), 광고 정보 처리부(180) 및 통신부(190)의 동작을 제어하기 위해 구현될 수 있다.

이하, 본 발명의 실시예에서는 사용자 장치와 서비스 장치의 동작에 대해 구체적으로 개시한다.

도 2는 본 발명의 실시예에 따른 사진 내 사물 인식에 기반한 광고 제공 시스템을 나타낸 개념도이다.

도 2에서는 사용자 장치에서 촬상된 이미지 정보를 기반으로 사용자 장치가 광고 정보를 수신하는 방법에 대해 구체적으로 개시한다. 도 2에서 개시하는 각 구성부의 동작은 도 1에서 개시한 사용자 장치 및 서비스 장치에 포함된 각 구성부의 동작과 대응될 수 있다. 각 구성부의 구체적인 연결 관계는 미도시하였으나, 이하 본 발명의 실시예에 따라 각 구성부 간의 구체적인 연결 관계를 가질 수 있다.

또한, 설명의 편의상 서비스 장치에 각 구성부가 포함되는 것으로 게시하나, 각각의 구성부는 별도의 장치로 구현될 수 있다. 이뿐만 아니라 각각의 구성부는 기능적으로 분리한 것으로 하나의 구성부가 복수의 구성부로 구현되거나 복수의 구성부가 하나의 구성부로 구현될 수도 있다.

도 2를 참조하면, 사용자 장치의 이미지 정보 처리부(200)는 촬상된 사용자 이미지를 이미지 수집부(205)로 전송할 수 있다.

예를 들어, 이미지 정보 처리부(200)는 사용자 장치에 구비된 영상 촬상 어플리케이션을 통해 사용자 이미지를 생성할 수 있다. 또한, 이미지 정보 처리부(200)는 영상 촬상 애플리케이션의 이미지 저장 경로를 파악하여 이미지 수집부(205)로 사용자 이미지를 전송할 수 있다.

이미지 수집부(205)는 사용자 장치의 이미지 정보 처리부(200)로부터 수신한 사용자 이미지를 파일 형태로 저장할 수 있다.

입력 정보 특징 추출부(210)는 사용자 이미지를 읽고 특징 정보를 추출할 수 있다. 입력 정보 특징 추출부(210)는 이미지 수집부(205)에 저장된 사용자 이미지를 읽고 특징 정보를 추출할 수 있다. 예를 들어, 입력 정보 특징 추출부(210)는 사용자 이미지의 객체(예를 들어, 차)에 대한 특징들(예를 들어, 색, 모양 등의 세부 정보)을 추출할 수 있다.

이뿐만 아니라 입력 정보 특징 추출부(210)는 추후 등록된 광고의 소재를 분석하고, 특징 정보를 분석하여 사물 식별자와 광고에 대한 관계를 설정하기 위해 구현될 수도 있다.

입력 정보 특징 추출부(210)에서 객체의 특징 정보를 추출하기 위해서는 다양한 방법이 사용될 수 있다. 예를 들어, 영상의 경계선(edge) 정보를 특징으로 이용하여 특징점을 추출하고, 특징점 간의 관계 정보를 설정하여 객체별 특징 정보를 추출할 수 있다. 또는 색체 정보를 고려하여 배경과 객체를 분리하고 분리된 객체 별로 특징점을 추출하여 객체의 특징 정보를 결정할 수도 있다.

사물 인식부(215)는 입력 정보 특징 추출부(210)에 의해 추출된 객체의 특징 정보를 기반으로 사물 인식을 위한 사물 특징 정보 DB부(220)에 저장된 특징 정보와 비교하여 사물 인식을 수행할 수 있다.

예를 들어, 사물 특징 정보 DB부(220)에는 다양한 객체들의 특징 정보가 포함될 수 있다. 사물 인식부(215)는 사물 특징 정보 DB부(220)에 포함된 객체들의 특징 정보와 사용자 이미지에서 추출된 객체의 특징 정보 사이의 유사도 판단을 수행할 수 있다. 유사도 판단을 수행한 결과, 사물 특징 정보 DB부(220)에 포함된 객체 중 사용자 이미지의 객체와 가장 유사도가 높은 객체를 최종 인식 사물로 결정할 수 있다.

사물 인식부(215)는 사용자 이미지의 객체에 최종 인식 사물로 결정된 사물의 식별자를 매칭시킬 수 있다. 사물 인식부(215)는 사용자 이미지의 객체에 대응되는 사물 식별자에 대한 정보를 검색 색인 구성부(225)로 리턴할 수 있다.

이뿐만 아니라 사물 인식부(215)는 등록된 광고 이미지에 포함된 객체 특징 정보를 기반으로 광고 이미지에 포함된 객체에 대응되는 사물 식별자 정보를 획득할 수 있다.

사용자 이미지의 객체에 대응되는 사물 식별자에 대한 정보 및 광고 이미지에 포함된 객체에 대응되는 사물 식별자에 대한 정보는 장치-사물 관계 테이블 및 사물-광고 관계 테이블을 생성하기 위해 사용될 수 있다.

검색 색인 구성부(225) 및 검색 색인 DB부(230)는 사물 인식부에서 인식한 사물에 대해 관계 정보를 형성하기 위해 구현될 수 있다.

도 3은 본 발명의 실시예에 따른 장치 정보에 매칭되는 광고 정보를 찾기 위한 방법을 나타낸 개념도이다.

도 3에서는 설명의 편의상 테이블을 기반으로 정보 간의 매핑 관계에 대해 개시하나, 다른 다양한 방법으로 매핑 관계를 표현할 수 있다.

도 3의 (a)를 참조하면, 검색 색인 구성부(225)는 예를 들어, 장치-사물 관계 테이블을 구성할 수 있다. 장치-사물 관계 테이블은 제1 필드로 장치 식별자 정보(device id 또는 mdn(mobile device number))를 정의하고 제2 필드로 사물 식별자 정보를 정의하여 장치 식별자 정보와 사물 식별자 정보에 대한 관계에 대한 정보를 정의할 수 있다.

도 3의 (b)를 참조하면, 검색 색인 구성부(225)는, 예를 들어, 사물-광고 관계 테이블을 구성할 수 있다. 사물-광고 관계 테이블은 제1 필드로 광고 식별자 정보를 정의하고, 제2 필드는 사물 식별자 정보를 정의하여 사물 식별자 정보와 광고 식별자 정보 사이의 관계에 대한 정보를 정의할 수 있다.

장치-사물 관계 테이블을 기반으로 특정한 사용자 장치의 장치 식별자 정보에 대한 사물 식별자 정보를 찾을 수 있고, 사물-광고 관계 테이블을 기반으로 특정한 사물 식별자에 대한 광고 식별자를 찾을 수 있다. 구체적인 예로, 사용자 장치가 차에 대한 이미지를 촬상하여 사용자 장치에 차라는 객체가 매핑된 장치 사물 관계 테이블이 형성될 수 있다. 또한, 차량 광고에서 차와 차량 광고라는 식별자가 매핑된 사물-광고 관계 테이블이 형성될 수 있다. 이러한 경우, 사용자 장치로 차량 광고가 제공될 수 있다.

즉, 두 개의 테이블을 기반으로 사용자 장치에 대응되는 광고 정보를 찾을 수 있다.

장치-사물 관계 테이블 및 사물-광고 관계 테이블의 관계는 0...n 관계(relationship)로 매칭될 수 있다. 예를 들어, 테이블 각각 서로 개별적으로 데이터가 관리될 수 있고, 실제 검색 시 두 테이블(장치-사물 관계 테이블 및 사물-광고 관계 테이블) 사이의 연관 관계에 대해 확인할 수 있다. 장치-사물 관계 테이블은 사용자 장치로부터 전송된 이미지를 기반으로 업데이트될 수 있다. 사물-광고 관계 테이블은 사물 식별자와 매핑되는 광고 소재 등록 시 소재 분석을 통해서 업데이트될 수 있다.

검색 색인 DB부(230)는 장치-사물 관계 테이블 및 사물-광고 관계 테이블에 대한 정보를 저장할 수 있다. 또한, 검색부(235)의 요청에 따라 검색부(235)가 입력한 장치 식별자 정보에 대응되는 광고 식별자 정보를 검색부(235)로 전송할 수 있다.

검색 색인 DB부(230)는 검색의 용이성을 위해 사물 식별자에 별도의 인덱스를 매핑하여 관리 할 수 있다. 또한, 장치 식별자 정보에 인덱스를 매핑할 수 있다. 또한, 검색 색인 DB부(230)는 종료된 광고의 광고 식별자 정보에 대한 매핑 정보는 삭제할 수 있다.

검색부(235)는 검색 색인 DB부(230)를 기반으로 장치 식별자에 대응되는 광고 식별자 정보를 검색하기 위해 구현될 수 있다. 검색부(235)는 장치 식별자 정보에 매칭되는 광고 식별자 정보를 검색하여 광고 송출부(240)로 전송할 수 있다.

광고 등록부(250)는 광고를 등록하기 위해 구현될 수 있다. 전술한 바와 같이 광고 등록 시 입력 정보 특징 추출부(210)에서 등록될 광고의 소재에 대한 특징 정보를 추출할 수 있다. 예를 들어, 입력 정보 특징 추출부(210)는 입력된 광고의 이미지에 포함된 객체에서 특징 정보를 추출할 수 있다.

추출된 광고 이미지의 특징 정보는 사물 인식부(215)를 통해 대응되는 사물의 사물 식별자 정보로 매핑될 수 있다. 인식된 사물 식별자 및 광고 식별자 간의 관계를 기반으로 사물-광고 테이블이 생성될 수 있고, 이는 검색 색인 DB부에 저장될 수 있다.

광고 송출부(240)는 광고 송출을 담당하며 검색부(235)를 기반으로 검색된 광고를 송출할 수 있다. 구체적으로 사용자 장치가 SDK를 기반으로 광고 요청을 수행할 수 있다. 사용자 장치로부터 광고가 요청된 경우, 사용자 장치로부터 수신한 장치 식별자를 기반으로 검색부(235)를 이용하여 사용자 장치의 장치 식별자에 대응되는 광고 식별자에 대한 검색을 수행할 수 있다. 예를 들어, 검색부(235)는 장치-사물 관계 테이블 정보를 기반으로 장치 식별자에 매핑되는 사물 식별자를 획득할 수 있다. 또한, 검색부(235)는 사물-광고 관계 테이블을 기반으로 사물 식별자에 매핑되는 광고 식별자를 획득할 수 있다. 검색부(235)는 검색된 결과를 광고 송출부(240)로 전송할 수 있다.

검색부(235)를 기반으로 검색된 광고가 있다면, 광고 송출부(240)는 광고를 사용자 장치로 전송할 수 있다. 반대로 검색부(235)를 기반으로 검색된 광고가 없다면, 광고 송출부(240)는 다른 스케줄링 광고를 검색하여 사용자 장치로 전송할 광고를 조회하고, 스케쥴링된 광고를 사용자 장치로 전송할 수 있다.

광고 스케줄링부(245)는 사용자 장치로 전송이 스케쥴링된 광고 정보를 결정하기 위해 구현될 수 있다.

광고 컨텐츠부(255)는 광고 컨텐츠를 광고 등록부(250)에 등록하거나, 사용자 장치로 전송될 광고 컨텐츠를 결정하기 위해 구현될 수 있다.

광고 DB부(260)는 광고 스케줄링부(245)와 연결되어 광고 스케쥴링을 수행하고, 광고 등록부(250)와 연결되어 광고 등록을 수행할 수 있다.

이하, 본 발명의 실시예에서는 사용자 장치에 대응되는 광고 정보를 전송하는 방법에 대해 흐름도를 기반으로 게시한다.

도 4는 본 발명의 실시예에 따른 사용자 장치로부터 전송된 이미지 정보를 기반으로 검색 색인 DB부를 구성하는 방법을 나타낸 흐름도이다.

도 4에서는 사용자 장치로부터 전송된 이미지 정보를 기반으로 특징 정보 추출 및 사물 인식을 수행하여 검색 색인 DB부에 장치-사물 관계 테이블을 생성하여 저장하는 방법에 대해 개시한다.

도 4를 참조하면, 사용자 장치는 SDK를 기반으로 촬상된 이미지를 이미지 수집부로 전송할 수 있다(단계 S400).

사용자 장치에는 영상 촬상 어플리케이션이 구비될 수 있다. 영상 촬상 어플리케이션을 통해 이미지를 촬상할 수 있다. 해당 SDK는 영상 촬상 어플리케이션의 이미지 저장 경로를 파악하여 이미지 수집부로 사용자 이미지를 전송할 수 있다.

이미지 수집부에서 입력 정보 특징 추출부로 이미지 정보를 전송한다(단계 S410).

이미지 수집부는 사용자 장치의 SDK를 기반으로 사용자 장치로부터 수신한 이미지를 파일 형태로 저장할 수 있다. 이미지 수집부는 입력 정보 특징 추출부의 요청에 따라 이미지 정보를 입력 정보 특징 추출부로 전송할 수 있다.

입력 정보 특징 추출부는 이미지를 읽고 이미지에 포함된 객체의 특징 정보를 추출할 수 있다. 또한, 입력 정보 특징 추출부는 사물 인식부로 객체의 특징 정보를 전송할 수 있다(단계 S420).

사물 인식부는 입력 정보 특징 추출부에 의해 추출된 객체의 특징 정보를 기반으로 사물 인식을 위한 사물 특징 정보 DB부에 저장된 특징 정보와 비교하여 사물 인식을 수행할 수 있다(단계 S430).

사물 인식부는 객체의 특징 정보와 매칭되는 사물을 인식할 수 있다. 객체의 특징 정보와 매칭되는 사물은 사물 식별자 정보를 기반으로 특정될 수 있다.

검색 색인 구성부는 인식된 사물에 대한 색인 정보를 구성할 수 있다(단계 S440).

검색 색인 구성부는 객체를 포함하는 이미지를 전송한 사용자 장치의 식별자 정보와 사물 식별자 정보를 매핑하는 장치-사물 관계 테이블을 생성할 수 있다. 검색 색인 구성부에서는 검색의 용이성을 위해 사물 식별자 및 장치 식별자에 인덱스를 부여하여 관리할 수 있다.

장치-사물 관계 테이블은 검색 색인 DB부에 저장될 수 있다(단계 S450).

검색 색인 DB부에서는 인덱스 정보를 기반으로 한 장치-사물 관계 테이블이 저장될 수 있다. 추후 사용자 장치로부터 광고 정보가 요청될 경우, 장치-사물 관계 테이블을 사용하여 사용자 장치의 장치 식별자 정보에 대응되는 사물 식별자를 탐색할 수 있다.

도 5는 본 발명의 실시예에 따른 광고의 이미지 정보를 기반으로 검색 색인 DB부를 구성하는 방법을 나타낸 흐름도이다.

도 5에서는 광고 등록 DB부, 광고 컨텐츠부로부터 광고 정보를 수신하고 광고 이미지 정보에 대한 특징 정보 추출 및 사물 인식을 수행하여 검색 색인 DB부에 사물-광고 관계 테이블을 생성하여 저장하는 방법에 대해 게시한다.

도 5를 참조하면, 광고 등록 DB부, 광고 컨텐츠부는 광고 등록부로부터 등록된 광고를 수신하여 저장하고 광고의 소재 파일을 저장할 수 있다(단계 S500).

광고 등록부는 입력 정보 특징 추출부로 광고 이미지를 전송할 수 있다(단계 S510).

예를 들어, 광고 등록부는 전송하는 광고에 포함된 이미지 정보를 입력 정보 특징 추출부로 전송할 수 있다. 광고를 구성하는 이미지 정보에는 광고의 소재를 이루는 객체들이 포함될 수 있다. 본 발명의 실시예에 따르면, 광고를 구성하는 이미지에 포함되는 객체의 정보와 전술한 사용자 장치로부터 전송된 이미지에 포함되는 객체의 정보를 매칭하여 각각의 사용자 장치에 매칭되는 광고 정보를 개별 사용자 장치로 전송할 수 있다.

입력 정보 특징 추출부는 이미지를 읽고 이미지에 포함된 객체의 특징 정보를 추출할 수 있다. 또한, 입력 정보 특징 추출부는 사물 인식부로 객체의 특징 정보를 전송할 수 있다(단계 S520).

입력 정보 특징 추출부는 광고 관련 정보가 포함하는 이미지를 기반으로 이미지에 포함된 객체의 특징 정보를 추출할 수 있다. 추출된 객체의 특징 정보는 사물 인식부로 전송될 수 있다.

사물 인식부는 입력 정보 특징 추출부에 의해 추출된 객체의 특징 정보를 기반으로 사물 인식을 위한 사물 특징 정보 DB부에 저장된 특징 정보와 비교하여 사물 인식을 수행할 수 있다(단계 S530).

사물 인식부는 광고 이미지에 포함되는 객체의 특징 정보와 매칭되는 사물을 인식할 수 있다. 광고 이미지에 포함되는 객체의 특징 정보와 매칭되는 사물은 사물 식별자 정보를 기반으로 특정될 수 있다.

검색 색인 구성부는 인식된 사물에 대한 색인 정보를 구성할 수 있다(단계 S540).

검색 색인 구성부는 객체를 포함하는 이미지를 전송한 광고의 식별자 정보와 사물 식별자 정보를 매핑하는 사물-광고 관계 테이블을 생성할 수 있다. 검색 색인 구성부에서는 검색의 용이성을 위해 사물 식별자 및 광고 식별자에 인덱스를 부여하여 관리할 수 있다.

사물-광고 관계 테이블은 검색 색인 DB부에 저장될 수 있다(단계 S550).

검색 색인 DB부에서는 인덱스 정보를 기반으로 한 사물-광고 관계 테이블이 저장될 수 있다. 추후 사용자 장치로부터 광고 정보가 요청될 경우, 장치-사물 관계 테이블을 사용하여 사용자 장치의 장치 식별자 정보에 대응되는 사물 식별자를 탐색한 후, 사물-광고 관계 테이블을 통해 사물 식별자에 대응되는 광고 식별자를 탐색할 수 있다.

광고 등록 절차를 완료한다(단계 S560).

도 6은 본 발명의 실시예에 따른 사용자 장치에서 광고를 요청하고 광고를 수신하는 방법을 나타낸 흐름도이다.

도 6에서는 사용자 장치의 요청에 따라 사용자 장치에 대응되는 광고 정보를 전송하는 방법에 대해 게시한다.

도 6을 참조하면, 광고 등록 DB부는 광고 스케줄링부로 광고 스케쥴링 정보를 전송할 수 있다(단계 S600).

광고 스케줄링부는 광고 송출부로 스케줄링 데이터를 전달할 수 있다(단계 S610).

광고 송출부는 사용자 장치로부터 광고 정보에 대한 요청을 받을 수 있다(단계 S620).

광고 송출부는 사용자 장치의 식별자 정보를 기반으로 사용자 장치에 타게팅되는 광고 정보에 대한 검색을 요청할 수 있다(단계 S630).

광고 송출부는 광고 정보에 대한 요청을 수행한 사용자 장치의 식별자 정보(device_id, mdn)를 기반으로 검색부로 사용자 장치에 매칭되는 타게팅 광고가 존재하는지 여부를 검색해줄 것을 요청할 수 있다.

검색부가 검색 색인 DB부를 통해 사용자 식별자 정보에 대응되는 타게팅 광고가 존재하는지 여부를 검색할 수 있다(단계 S640).

검색 색인 DB부가 광고 송출부로 검색 결과를 전송한다(단계 S650).

검색 색인 DB부를 기반으로 검색된 결과가 존재하는 경우, 검색부는 광고 송출부로 검색 결과를 전달할 수 있다.

광고 송출부는 검색부의 검색 결과를 기반으로 검색된 광고를 단말로 전송할 수 있다(단계 S660).

사용자 장치는 광고 컨텐츠부로부터 광고 소재를 수신할 수도 있다(단계 S670).

사용자 장치로 광고가 노출된다(단계 S680).

도 7은 본 발명의 실시예에 따른 사용자 장치로 광고를 제공하는 방법을 나타낸 개념도이다.

도 7에서는 사용자 장치로 광고를 제공함에 있어서 사용자 장치에서 촬상된 이미지에서 광고 대상 이미지를 탐색하는 방법에 대해 개시한다.

도 7을 참조하면, 우선 사용자 장치에서 촬상된 이미지 중 광고 정보를 생성하기 위한 이미지가 아닌 경우, 광고 정보를 생성하기 위한 이미지에서 제외하여 특징 정보 추출 절차 및 사물 인식 절차를 수행하지 않을 수 있다.

즉, 광고 정보 생성 이미지 판단 절차(단계 S700)를 거쳐 특징 정보 추출 절차(단계 S720), 사물 인식 절차(단계 S740)를 수행할 수 있다.

광고 정보를 생성하기 위한 이미지(이하, 광고 정보 생성 이미지)는 다양한 방법으로 판단될 수 있다. 예를 들어, 사용자 장치에서 촬상된 이미지에 포함된 객체 중 중심 객체를 판단하여 중심 객체가 광고 대상 객체에 해당하는 경우에만 해당 이미지를 광고 정보 생성 이미지로 판단할 수 있다. 중심 객체는 이미지의 중심에 위치한 객체 또는 이미지에서 포커싱된 객체 등을 의미할 수 있다.

예를 들어, 사용자 장치에서 촬상된 이미지의 중심 객체가 신발, 책, 음식과 같은 광고 대상 객체인 경우, 해당 이미지를 광고 정보 생성 이미지라고 판단할 수 있다. 반대로, 예를 들어, 사용자 장치에서 촬상된 이미지의 중심 객체가 건물, 사람 등과 같은 광고 대상인 객체가 아닌 경우, 해당 이미지를 광고 정보 생성 이미지가 아닌 것으로 판단할 수 있다. 이러한 광고 대상 객체인지 여부는 미리 저장된 광고 대상 객체 제외 정보에 의해 판단될 수 있다. 광고 대상 객체 제외 정보는 사람, 건물, 풍경과 같은 광고 대상 객체가 아닌 정보로써 미리 설정되어 있을 수 있다.

이러한 광고 정보 생성 이미지를 판단하는 절차는 사용자 장치 또는 이미지 수집부에서 수행될 수 있다. 사용자 장치에서 광고 정보 생성 이미지를 판단하는 절차가 수행되는 경우, 사용자 장치에서 광고 정보 생성 이미지만을 이미지 수집부로 전송할 수 있다. 이미지 수집부에서 광고 정보 생성 이미지를 판단하는 절차가 수행되는 경우, 이미지 수집부에서 광고 정보 생성 이미지만을 입력 정보 특징 추출부로 전송할 수 있다.

이러한 절차는 광고 등록시 광고 이미지 정보에서 광고 정보 생성 이미지를 판단하기 위해 사용될 수 있다. 즉, 등록된 광고 중 광고 정보 생성 이미지만을 추출하여 입력 정보 특징 추출 및 사물 인식을 수행할 수 있다.

도 8은 본 발명의 실시예에 따른 사용자 장치로 광고를 제공하는 방법을 나타낸 개념도이다.

도 8에서는 사용자 장치로 광고를 제공함에 있어서 사용자 장치에서 촬상된 이미지의 빈도 및/또는 이미지의 촬영 시기를 고려하는 방법에 대해 개시한다.

도 8을 참조하면, 사용자 장치에서 촬영된 이미지의 빈도를 기록하여 사용자 장치로 전송될 광고의 우선 순위를 결정할 수 있다

예를 들어, 사용자 장치에서 신발에 대한 이미지가 10회, 스마트폰에 대한 이미지가 5회, 바지에 대한 이미지가 2회 존재하는 경우를 가정할 수 있다. 이러한 경우, 본 발명의 실시예에 따르면, 이미지의 빈도 수에 따라 광고 노출 빈도를 다르게 조정할 수 있다.

예를 들어, 위와 같은 경우, 신발에 대한 광고를 가장 높은 빈도로 사용자에게 노출하고, 스마트폰 및 바지에 대한 광고를 그 다음 순서로 사용자에게 노출할 수 있다.

또한, 본 발명의 실시에에 따르면, 추가적으로 사용자가 촬영한 시기를 고려하여 광고의 노출 빈도를 조절할 수도 있다. 예를 들어, 최근에 사용자 장치에 저장된 이미지일수록 높은 가중치를 부여하여 광고 노출 빈도를 조절할 수 있다. 바지에 대한 이미지가 2회가 존재하는 경우에도 바지에 대한 이미지가 가장 최근에 저장된 이미지인 경우를 가정할 수 있다. 이러한 경우, 바지 광고에 대해 가중치를 부여하여 바지에 대해 광고의 노출 빈도를 높일 수 있다.

또한, 본 발명의 추가적인 실시예에 따르면, 사용자 장치에서 삭제된 이미지를 분석하여 삭제된 이미지와 관련된 광고의 경우, 광고 노출 빈도가 낮아지도록 제어할 수 있다.

본 발명의 실시예에 따른 사물 인식을 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반하여 광고를 제공하는 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 서비스 장치, 사용자 장치 등에 의하여 읽혀지고 실행됨으로써 상품 제공 서비스를 구현할 수 있다.

정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 사물 인식을 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반하여 광고를 제공하는 방법을 구현하는 컴퓨터 프로그램은 사용자 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 사물 인식을 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반하여 광고를 제공하는 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 사용자 장치 등에 장착될 수도 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 사용자 장치에 저장된 이미지 정보를 기반으로 사용자 장치의 사용자의 관심분야를 판단함으로써, 사용자의 관심사에 맞는 광고를 제공할 수 있다. 사용자 장치에 저장된 이미지 정보 중 사용자가 관심이 있어하는 광고 대상 물품을 포함하는 이미지만을 선별하고, 사용자 장치에 저장된 이미지를 기반으로 사용자의 관심 물품의 우선 순위를 결정하여 관심도가 높은 물건에 대한 광고를 가장 높은 빈도로 노출되게 함으로써 효과적으로 광고를 사용자 장치의 사용자에게 타게팅할 수 있다. 이러한 방법을 사용함으로써 사용자에게 불필요한 광고를 최소화하고 광고의 CTR(click through rate) 및 eCPM(effective cost per mille)을 높일 수 있다.

100: 멀티미디어 정보 생성부 110: 전송 이미지 결정부
120: 광고 출력부 130: 통신부
140: 프로세서 150: 이미지 수집부
160: 사물 인식부 170: 검색부
180: 광고 정보 처리부 190: 통신부
195: 프로세서 200: SDK
205: 이미지 수집부 210: 입력정보 특징 추출부
215: 사물 인식부 220: 사물 특징 정보 DB부
225: 검색 색인 구성부 230: 검색 색인 DB부
235: 검색부 240: 광고 송출부
245: 광고 스케줄링부 250: 광고 등록부
255: 광고 컨텐츠부 260: 광고 DB부

Claims (14)

1. 사용자 장치로부터 사용자 이미지를 수집하는 이미지 수집부;
   상기 사용자 이미지에 포함된 제1 사물의 특징 정보를 추출하고 상기 특징 정보를 기반으로 상기 제1 사물에 대한 사물 인식을 수행하는 사물 인식부;
   상기 사용자 장치의 장치 식별자 정보와 상기 제1 사물의 사물 식별자 정보를 매칭한 제1 매칭 정보 및 광고의 광고 식별자 정보와 광고 이미지에서 사물 인식된 제2 사물의 사물 식별자 정보를 매칭한 제2 매칭 정보를 생성하고, 상기 제1 매칭 정보 및 상기 제2 매칭 정보를 기반으로 상기 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색하는 검색부; 및
   상기 사용자 장치의 요청에 따라 상기 검색부로 상기 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보에 대한 검색을 요청하고, 검색된 광고 식별자에 대응되는 광고를 상기 사용자 장치로 전송하는 광고 정보 처리부를 포함하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
2. 제 1항에 있어서,
   상기 사물 인식부는 상기 광고 이미지에 포함된 상기 제2 사물의 특징 정보를 추출하고, 상기 특징 정보를 기반으로 상기 제2 사물에 대한 사물 인식을 수행하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
3. 제 1항에 있어서,
   상기 제1 사물의 특징 정보를 기반으로 상기 제1 사물에 대한 사물 인식을 하기 위한 복수의 사물에 대한 식별자 정보와 상기 복수의 사물에 대한 특징 정보가 매칭되어 저장된 사물 특징 정보 데이터 베이스; 및
   상기 제1 매칭 정보와 상기 제2 매칭 정보를 저장되는 검색 색인 데이터 베이스를 더 포함하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
4. 제 1항에 있어서,
   상기 광고 정보 처리부는, 새로운 광고가 등록되는 경우, 상기 등록된 새로운 광고를 상기 사물 인식부로 전송하여 상기 새로운 광고에 포함된 광고 이미지를 기반으로 사물 인식을 수행하도록 요청하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
5. 제 1항에 있어서,
   상기 이미지 수집부는 상기 사용자 이미지에 포함된 상기 제1 사물이 광고 대상 객체인지 여부를 판단하고, 상기 제1 사물이 상기 광고 대상 객체인 경우에만, 상기 사물 인식부로 상기 제1 사물에 대한 사물 인식을 요청하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
6. 제 1항에 있어서,
   상기 광고 정보 처리부는 상기 제1 사물이 포함된 사용자 이미지의 개수를 고려하여 상기 사용자 장치로 전송될 상기 광고의 전송 빈도를 결정하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
7. 제 6항에 있어서,
   상기 광고 정보 처리부는 상기 사용자 이미지가 촬영된 촬영 시기를 더 고려하여 상기 사용자 장치로 전송될 상기 광고의 상기 전송 빈도를 결정하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
8. 제 7항에 있어서,
   상기 광고 정보 처리부는 상기 사용자 장치에서 삭제된 이미지 정보를 더 고려하여 상기 사용자 장치로 전송될 상기 광고의 상기 전송 빈도를 결정하는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 서비스 장치.
9. 촬영된 이미지의 저장 경로를 판단하고, 상기 촬영된 이미지 중 사물 인식에 기반한 광고 서비스를 수행하는 서비스 장치로부터 수신할 광고 결정을 위해 사용될 사용자 이미지를 결정하는 전송 이미지 결정부;
   상기 사용자 이미지를 상기 서비스 장치로 전송하는 통신부; 및
   상기 사용자 이미지 기반의 광고를 상기 서비스 장치에 요청하고, 상기 서비스 장치로부터 상기 광고를 수신하여 출력하는 광고 출력부를 포함하는 사물 인식에 기반한 광고를 수신하는 사용자 장치.
10. 제 9항에 있어서,
    상기 전송 이미지 결정부는 상기 촬영된 이미지에 포함된 사물이 광고 대상 객체인지 여부를 판단하고, 상기 사물이 상기 광고 대상 객체인 경우에만, 상기 촬영된 이미지를 상기 사용자 이미지로 결정하는 것을 특징으로 하는 사물 인식에 기반한 광고를 수신하는 사용자 장치.
11. 사용자 장치로부터 사용자 이미지를 수신하는 단계;
    상기 사용자 이미지에 포함된 제1 사물의 특징 정보를 추출하고 상기 특징 정보를 기반으로 상기 제1 사물에 대한 사물 인식을 수행하는 단계;
    상기 사용자 장치의 장치 식별자 정보와 상기 제1 사물의 사물 식별자 정보를 매칭한 제1 매칭 정보 및 광고의 광고 식별자 정보와 광고 이미지에서 사물 인식된 제2 사물의 사물 식별자 정보를 매칭한 제2 매칭 정보를 생성하는 단계;
    상기 제1 매칭 정보 및 상기 제2 매칭 정보를 기반으로 상기 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색하는 단계; 및
    상기 사용자 장치의 요청에 따라 상기 검색부로 상기 사용자 장치의 식별자 정보에 매칭되는 광고 식별자 정보를 검색을 요청하고, 검색된 광고 식별자에 대응되는 광고를 상기 사용자 장치로 전송하는 단계를 포함하는 사물 인식에 기반한 광고를 제공하는 방법.
12. 제 11항에 있어서,
    상기 제1 사물의 특징 정보는 상기 사용자 이미지에서 배경과 객체를 분리하고, 상기 객체의 에지 정보를 기반으로 추출되는 것을 특징으로 하는 사물 인식에 기반한 광고를 제공하는 방법.
13. 제 11항 내지 제 12항 중 어느 한 항에 따른 방법을 수행하는 컴퓨터 프로그램이 기록된 기록매체.
14. 멀티미디어 정보를 생성하고, 생성된 멀티미디어 정보 중 서비스 장치로 전송될 사용자 이미지를 결정하여 전송하고, 상기 서비스 장치로 광고 정보를 요청하고, 상기 서비스 장치로부터 수신한 광고 정보를 출력하는 사용자 장치; 및
    상기 사용자 장치로부터 수신된 상기 사용자 이미지를 저장하고, 상기 사용자 이미지에 포함된 객체의 특징 정보를 추출하고, 추출된 상기 객체의 특징 정보를 기반으로 사물 인식을 수행하고, 인식된 상기 사물 정보를 기반으로 광고 정보를 검색하고, 상기 사용자 장치의 광고 요청에 응답하여 검색된 상기 광고 정보를 상기 사용자 장치로 전송하는 서비스 장치를 포함하는 사물 인식에 기반한 광고를 제공하는 시스템.

Images