KR101463974B1 - 마케팅을 위한 빅데이터 분석 시스템 및 방법 - Google Patents

Abstract

본 발명은 내부 정보 만으로는 충분한 정보를 수집하기 어려운 중소업체들이 마케팅에 최적화된 모델을 통해 원하는 마케팅 정보를 제공할 수 있는 정보를 효과적으로 수집하고 수집된 방대한 정보를 체계적 방법으로 분석할 수 있도록 한 마케팅을 위한 빅데이터 분석 시스템 및 방법에 관한 것으로, 내부 고객 정보와 키워드를 기반으로 선택된 네트워크 상의 소스들(웹사이트)로부터의 정보를 탐색하여 그 결과를 정보 수집부에서 수집하고, 복수의 정보 수집부 특성을 고려하여 수집된 정보를 분산 저장하며, 분산 저장된 정보를 항목 연관 분석을 통한 가치 분석을 포함하는 분석 방식으로 분석하여 그 결과를 제공하되, 분석 결과와 제공 결과를 다시 데이터로서 저장한 후 신규 축적되어 분석되는 데이터와의 연관성을 분석하는 반복적 프로세스를 통해 시계열적으로 변화되는 고객의 정보 확산 상태를 효과적으로 분석함으로써 자체 보유 분석 정보가 한정적이라 하더라도 마케팅 지원 정보나 경영 지원 정보를 효과적으로 제공할 수 있는 효과가 있는 것은 물론이고, 이러한 구성을 개별 업체가 아닌 분석 전문 업체가 구성하고 수집되는 정보를 범용적으로 활용하여 개별 고객사에서 요구하는 분석 방식을 통해 개별 고객사가 원하는 마케팅 지원 정보를 제공하는 방식도 가능하며 이 경우 개별 고객사는 빅데이터 분석을 통한 마케팅 지원 정보나 경영 지원 정보를 낮은 비용으로 확보할 수 있는 효과가 있다.

Description

마케팅을 위한 빅데이터 분석 시스템 및 방법{Big data analysis system for marketing and method thereof}

본 발명은 마케팅을 위한 빅데이터 분석 시스템 및 방법에 관한 것으로, 특히 내부 정보 만으로는 충분한 정보를 수집하기 어려운 중소업체들이 마케팅에 최적화된 모델을 통해 원하는 마케팅 정보를 제공할 수 있는 정보를 효과적으로 수집하고 수집된 방대한 정보를 체계적 방법으로 분석할 수 있도록 한 마케팅을 위한 빅데이터 분석 시스템 및 방법에 관한 것이다.

빅데이터에 대한 수집과 분석에 대한 관심이 높아지면서 포털이나 대형 유통사 혹은 제조사와 같이 많은 회원을 보유하고 회원의 방대한 사용 로그 정보를 수집할 수 있는 업체들이 회원의 사용 로그를 분석하는 것으로 특정한 트랜드 정보를 산출하거나 타겟 그룹을 구분하는 등의 빅데이터 활용을 고려하고 있다.

기본적으로 빅데이터에 대한 처리는 방대한 정보를 효과적으로 처리하기 위한 분산 저장 및 분산 처리에 대한 기술, 다양한 정형 및 비정형 데이터를 수집 및 연관 분석하는 기술, 목적 없이 얻어지는 정보들로부터 유의미한 정보를 산출하는 기술 등이 복합적으로 적용되고 있으며, 아직 이러한 빅데이터 분석에 따른 효과가 가시적으로 입증되고 있지 않기 때문에 방대한 연산과 수많은 데이터의 분석을 위한 시스템 구축 비용과 분석할 수많은 데이터의 확보가 가능한 대형 업체위주로 빅데이터 분석을 마케팅에 활용하고자 하는 연구와 시도가 이루어지고 있는 실정이다.

이 중에서 웹 컨텐츠의 급증이나 회원 사용 로그의 급증에 대응하기 위한 대용량 데이터의 분산 저장과 분산 처리에 관해서는 상당한 기술적 진보와 활용이 이루어지고 있으나 아직 빅데이터로부터 유의미한 정보를 산출하는 것에 관해서는 많은 연구가 필요한 실정이다.

특히, 이러한 빅데이터 분석에 대해서는 그 실질적인 활용을 위한 다양한 분석 방법이 연구중이기 때문에 현재 빅데이터 분석을 경영 활동에 활용하는 경우는 주로 자사 이용고객이 제공한 내부의 데이터를 분석하여 통계나 트랜드 분석 등에 일부 활용하고 있는 정도이며, 아직까지 이러한 빅데이터 분석 결과를 전적으로 신뢰하고 있지는 못한 실정이다. 하지만, 다양한 모바일 기기의 방대한 활용, 다양한 소셜 네트워크의 활용, 다양한 네트워크 인프라의 확장에 의해서 추적 및 수집 가능한 다양한 사용자 이용 로그 정보들이 기하급수적으로 쌓이고 있는 실정이므로 이를 활용한 빅데이터 분석이 향후 산업 전반에 걸쳐 필수적인 마케팅 지원이나 경영 지원 정보가 될 것임은 누구도 부인하지 못하고 있다.

결국, 정형화되어 수집 및 활용이 용이한 자사 이용고객의 정보를 충분히 보유하지 못하거나 빅데이터 분석을 위한 시스템 비용을 감당하기 어려운 중소기업은 대형 포털이나 금융사, 대기업 등과 같이 빅데이터 분석을 통해 시장에 접근하는 업체들과의 경쟁에서 도태되거나 종속되는 상황으로 발전할 가능성이 높다.

일반적으로 업체가 제품이나 서비스의 개발을 통해 사업화에는 성공했지만 이후 자금 부족 등에 의해 도산하는 소위 '죽음의 계곡(Death valley)'을 통과하는 것은 상당히 어려워 일반적으로 수백 혹은 수천 분의 일이라는 확률로 이야기된다. 이러한 죽음의 계곡을 지나 제품이나 서비스를 시장에 출시했다 하더라도 초기시장과 주류시장으로 진입하기까지의 사이에는 일시적으로 수요가 정체되거나 후퇴하는 단절현상을 거치게 되는데 이를 캐즘(chasm)이라 하며, 이 단계를 넘어서야 기술범용화를 거쳐 일반대중에게 확산되고 시장 전체에 대한 파급효과가 나타난다. 이러한 죽음의 계곡이나 캐즘은 일반적인 중소기업의 2대 위기 상황으로 구분되며 이를 극복하기 위해서는 시장의 트랜드나 제품 혹은 서비스의 확산을 위한 마케팅의 효과를 효율적으로 검증하여 마케팅 방향을 설정하는 적절한 경영 지원 정보가 필수적이다.

앞서 언급했던 바와 같이 대형 포털이나 대기업 등은 자본이나 축적된 자사 이용고객들의 정보를 활용한 빅데이터 분석으로 이러한 경영 정보를 활용할 수 있거나 곧 활용할 수 있게 되겠지만 중소기업이나 벤처기업 등은 이러한 빅데이터 분석을 통한 경영 정보 활용이 어려운 일일 수밖에 없다.

한편, 대형 포털의 경우 자사가 보유하는 방대한 정보들을 활용할 수 있는 빅데이터 분석 도구를 무료로 제공하여 플랫폼 시장에 대한 선점을 원하는 경우가 있어 이를 통해서 자신이 보유한 여러 정보들을 분석해 볼 수 있는 기회가 있기는 하지만 아직 대용량 데이터에 대한 분산 저장과 알려져 있는 분석 방식을 통한 정적인 분석 정도가 일반적일 뿐 중소기업이나 벤처기업이 이러한 시스템을 자사에 맞추어 커스터마이징하거나 시간에 따라 가변되는 시장 상황을 효과적으로 분석하기 위한 방법론 및 분석 프로세스를 직접 개발하여 적용하기는 여전히 어려운 상황이다. 따라서, 빅데이터 분석을 통한 경영 정보 확보를 포기하고 전통적인 마케팅 방법론을 따르거나 빅데이터 분석을 실시하더라도 신뢰성이 없는 단순 보조 자료 정도로만 활용하고 있다.

도 1은 종래의 일반적인 빅데이터 분석 과정을 보인 개념도이다.

도시된 바와 같이 내부 정보인 정형화된 자사 회원의 사용 로그를 수집하는 회원 사용 로그 획득부(1)와, 회원의 방대한 사용 로그들을 분산 저장하는 분산 저장부(2)와, 분산 저장된 정보들을 분산 처리 방식으로 분석하는 분석부(3)와, 이렇게 분석된 정보를 정리하여 사용자에게 결과로 제공하는 결과 제공부(4)로 이루어진다.

이러한 구성을 이용하여 수많은 회원이 발생시키는 사용 로그 정보들을 분석하는 것으로 사용자들의 연령별 취향, 사용 시간, 사용 위치, 선호 관심 등에 대한 정보를 분석하여 트랜드 확인이나 마케팅의 타겟을 설정하는 등의 마케팅 혹은 경영 정보로 활용하고 있다.

하지만, 회원의 수가 적거나, 사용 로그로 수집할 수 있는 정보가 제한적일 경우 분석의 신뢰성이 낮고 분석할 수 있는 대상 자체가 한정적일 수밖에 없다. 특히, 트랜드나 마케팅 타겟을 설정하는 거시적 경영 방향을 설정하는 정보 외에 당장 어떻게 광고를 제공하고 어떠한 채널을 통해 마케팅을 실시하면 좋을 것인지, 실시한 마케팅의 효과는 어떠한지, 온라인 마케팅에서 영향력이 큰 바이럴 마케팅의 전파 상황은 어떠한 지 등에 대한 좀 더 직접적인 단기 경영 지원 정보나 단기 마케팅 지원 정보는 기존 시스템의 구성을 통해서는 중소기업이 효과적으로 확보하기는 어렵다.

결국, 자사 회원의 수가 적거나 회원이 제공하는 이용 정보로서는 원하는 분석 결과를 얻을 수 없는 중소기업이나 벤처기업의 경우도 자사의 실정에 맞는 최적화된 경영이나 마케팅 지원 정보를 효과적으로 획득할 수 있으면서, 바이럴 마케팅과 같이 정보가 분산되어 수집이 어렵고 시계열적 연관 분석이 요구되는 경우에도 적절한 데이터를 수집하여 원하는 분석 결과를 제공할 수 있는 새로운 형태의 빅데이터 분석 시스템 및 방법이 요구되고 있는 실정이다.

한국 공개특허 제10-2013-0009754호[통합형 광고 시스템] 한국 공개특허 제10-2013-0119209호[시장규모 예측장치, 시장규모 예측방법 및 시장규모를 예측하는 프로그램을 저장하는 저장매체] 힌국 등록특허 제10-1365990호[데이터 처리방법, 데이터 처리 장치, 데이터 수집방법, 및 정보제공방법]

전술한 문제점을 개선하기 위한 본 발명 실시예들의 목적은 내부 고객 정보와 키워드를 기반으로 선택된 네트워크 상의 소스들(웹사이트)로부터의 정보를 탐색하여 그 결과를 정보 수집부에서 수집하고, 복수의 정보 수집부 특성을 고려하여 수집된 정보를 분산 저장하며, 분산 저장된 정보를 항목 연관 분석을 통한 가치 분석을 포함하는 분석 방식으로 분석하여 그 결과를 제공하되, 분석 결과와 제공 결과를 다시 데이터로서 저장한 후 신규 축적되어 분석되는 데이터와의 연관성을 분석하는 반복적 프로세스를 통해 시계열적으로 변화되는 고객의 정보 확산 상태를 효과적으로 분석함으로써 자체 보유 분석 정보가 한정적이라 하더라도 마케팅 지원 정보나 경영 지원 정보를 효과적으로 제공할 수 있도록 한 마케팅을 위한 빅데이터 분석 시스템 및 방법을 제공하는 것이다.

본 발명 실시예들의 다른 목적은 자사 고객의 한정된 정보가 아닌 필요로 하는 정보를 웹상에서 능동적으로 수집하되 수집 대상에 따른 다양한 비정형 정보를 효과적으로 분석하기 위해서 수집 대상에 따라 다양한 비정형 항목들로 수집되는 수집 정보를 처리 가능한 수준으로 정형화하는 정보 수집부를 구성하는 것으로 다양하게 수집되는 웹상 정보들을 항목을 기준으로 가치 분석이 가능하도록 하며, 분석된 정보를 신규 분석 정보와 항목을 기반으로 재분석하도록 하는 과정을 반복하도록 함으로써 항목을 기준으로 하는 1:N 관계의 연관 분석이 가능하도록 하여 시계열 분석과 바이럴 마케팅에 대한 분석이 가능하도록 한 마케팅을 위한 빅데이터 분석 시스템 및 방법을 제공하는 것이다.

본 발명 실시예들의 또 다른 목적은 분석된 정보를 활용 데이터베이스에 저장한 후 사용자의 요구나 결과 제공 어플리케이션에 의해 활용 데이터베이스의 내용을 처리하여 사용자에게 결과로서 제공하며, 이러한 결과 제공을 위한 분석 과정에서 산출된 이벤트를 분석하여 이들 중 일부를 다시 분산 저장하거나 재활용 가능하도록 활용 데이터베이스에 저장하도록 함으로써 결과 제공을 위한 실제 업무 처리자의 경험에 따라 산출되는 정보들을 분석에 추가 반영하고 다른 사용자들이 재활용할 수 있도록 한 마케팅을 위한 빅데이터 분석 시스템 및 방법을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 마케팅을 위한 빅데이터 분석 시스템은 기 설정된 종류의 웹사이트로부터 설정된 탐색 기준에 따라 정보를 탐색한 후 탐색된 정보를 파싱하여 미리 마련된 계층적 공통 코드와 항목을 기준으로 하는 포맷으로 변환하는, 웹사이트 종류별로 마련된 정보 수집부와; 상기 정보 수집부가 변환한 정보를 공통 코드와 크기를 참조하여 분산 저장하는 분산 저장부와; 상기 분산 저장부가 분산 저장한 정보에 분산 처리 방식으로 접근하여 항목 기준 가치 분석을 포함하는 분석 프로세스들에 따라 분석한 후 그 결과를 활용 데이터베이스에 저장하고, 활용 데이터베이스에 기 저장된 이전 가치 분석 결과와 신규 분석된 가치 분석 결과를 항목을 기준으로 재분석하여 그 결과를 활용 데이터베이스에 더 저장하는 분석부와; 활용 데이터베이스의 분석 결과를 원하는 프로세스로 재분석하거나 요청된 쿼리에 따라 검색하여 그 결과를 출력하며 출력 내용을 분석하여 데이터 포맷에 따라 상기 분산 저장부에 데이터로 제공하거나 재사용을 위해 활용 데이터 베이스에 저장하는 결과 제공부를 포함한다.

또한, 정보 수집부의 탐색 기준을 제공하고, 분석부의 분석 프로세스를 갱신하며, 결과 제공부에 재분석 프로세스나 쿼리를 제공하고 그 결과를 사용자에게 제공하는 사용자 지원부를 포함할 수 있다.

정보 수집부는 탐색 기준으로 기 설정된 회원 정보를 포함하며, 해당 회원에 관련된 정보를 탐색할 수 있다.

한편, 정보 수집부는 탐색 기준으로 키워드를 포함하며, 범용 사용자를 위한 기초 정보로 복수의 웹사이트로부터 상기 키워드에 따른 정보를 탐색하고 탐색 결과를 분류하기 위해 마련된 계층적 공통 키워드로 구분하며, 정보를 파싱하여 관련성 정보가 설정된 항목들을 포함하는 포맷으로 변환할 수 있다.

정보 수집부는 수집되는 개인정보는 익명 처리하고 식별 정보는 암호화하거나 삭제할 수 있다.

또한, 정보 수집부는 항목을 기준으로 포맷을 변환하되, 비정형 데이터를 포함할 수도 있다.

정보 수집부는 검색 포털 사이트, 소셜 네트워크 사이트, 클라우드 사이트를 포함하는 개방형 웹사이트 별로 각 웹사이트에 접속하여 검색이나 공개된 오픈 API를 통해 탐색 기준에 따른 정보를 수집할 수 있다. 여기서, 정보 수집부는 웹사이트 종류별로 구분되어 구성되며, 각 정보 수집부는 웹사이트 종류에 따라 탐색 결과를 공통 코드로 구분하기 위한 기준이나 탐색 결과를 항목을 기준으로 파싱하기 위한 기준이 다른 것이 바람직하다.

분석부는 분석 결과를 분산 저장부에 데이터로서 다시 제공할 수 있다.

분석부는 항목을 기준으로 수행되는 가치 분석 결과를 활용 데이터베이스에 저장하여 1:N의 연관 분석을 위한 데이터를 반복적으로 수집하는 것이 바람직하다.

결과 제공부는 외부 분석 솔루션 혹은 외부 분석 솔루션과의 연계를 위한 인터페이스이거나 외부 사용자 사이트에 커스터마이징될 수 있는 분석 구성을 포함할 수 있다.

본 발명의 다른 실시예에 따른 마케팅을 위한 빅데이터 분석 방법은 기 설정된 종류의 웹사이트에 따라 구분되는 정보 수집부가 설정된 탐색 기준에 따라 정보를 탐색하여 그 탐색 내용을 미리 마련된 계층적 공통 코드와 항목을 기준으로 하는 포맷으로 변환하는 정보 수집 단계와; 상기 정보 수집 단계에서 수집된 변환된 정보를 수신한 분산 저장부가 공통 코드와 크기를 기준으로 수신 정보를 분산 저장하는 분산 저장 단계와; 상기 분산 저장 단계에서 분산 저장된 정보를 이용하여 요구되는 분석을 수행하는 분석부가 상기 분산 저장된 정보에 분산 처리 방식으로 접근하여 항목 기준 가치 분석을 포함하는 분석 프로세스들에 따라 분석을 실시한 후 그 결과를 활용 데이터베이스에 저장하고, 활용 데이터베이스에 기 저장된 이전 가치 분석 결과와 신규 분석된 가치 분석 결과를 항목을 기준으로 재분석하여 그 결과를 활용 데이터베이스에 다시 저장하는 분석 단계와; 사용자에게 결과를 제공하는 결과 제공부가 활용 데이터베이스의 분석 결과를 원하는 프로세스로 재분석하거나 요청된 쿼리에 따라 검색하여 그 결과를 출력하며 출력 내용을 분석하여 데이터 포맷에 따라 상기 분산 저장부에 데이터로 제공하거나 재사용을 위해 활용 데이터 베이스에 저장하는 결과 제공 단계를 포함한다.

정보 수집부에 탐색 기준을 제공하고, 분석부의 분석 프로세스를 갱신하며, 결과 제공부에 재분석 프로세스나 쿼리를 제공하고 그 결과를 사용자에게 제공하는 사용자 지원부를 통해 사용자의 요구를 수신하여 처리하는 단계를 포함할 수 있다.

정보 수집 단계에서, 정보 수집부는 탐색 기준으로 기 설정된 회원 정보를 포함하며, 해당 회원에 관련된 정보를 탐색할 수 있다.

정보 수집단계에서, 정보 수집부는 탐색 기준으로 키워드를 포함하며, 범용 사용자를 위한 기초 정보로 복수의 웹사이트로부터 상기 키워드에 따른 정보를 탐색하고 탐색 결과를 분류하기 위해 마련된 계층적 공통 키워드로 구분하며, 정보를 파싱하여 관련성 정보가 설정된 항목들을 포함하는 포맷으로 변환할 수 있다.

상기 정보 수집 단계에서, 정보 수집부는 검색 포털 사이트, 소셜 네트워크 사이트, 클라우드 사이트를 포함하는 개방형 웹사이트 별로 각 웹사이트에 접속하여 검색이나 공개된 오픈 API를 통해 탐색 기준에 따른 정보를 수집할 수 있다. 또한, 이러한 정보 수집부는 웹사이트 종류별로 구분되어 구성되며, 각 정보 수집부는 웹사이트 종류에 따라 탐색 결과를 공통 코드로 구분하기 위한 기준이나 탐색 결과를 항목을 기준으로 파싱하기 위한 기준이 다를 수 있다.

분석 단계에서, 분석부는 분석 결과를 분산 저장부에 데이터로서 다시 제공할 수 있다.

분석 단계에서, 분석부는 항목을 기준으로 수행되는 가치 분석 결과를 활용 데이터베이스에 저장하여 1:N의 연관 분석을 위한 데이터를 반복적으로 수집할 수 있다.

본 발명 실시예에 따른 마케팅을 위한 빅데이터 분석 시스템 및 방법은 내부 고객 정보와 키워드를 기반으로 선택된 네트워크 상의 소스들(웹사이트)로부터의 정보를 탐색하여 그 결과를 정보 수집부에서 수집하고, 복수의 정보 수집부 특성을 고려하여 수집된 정보를 분산 저장하며, 분산 저장된 정보를 항목 연관 분석을 통한 가치 분석을 포함하는 분석 방식으로 분석하여 그 결과를 제공하되, 분석 결과와 제공 결과를 다시 데이터로서 저장한 후 신규 축적되어 분석되는 데이터와의 연관성을 분석하는 반복적 프로세스를 통해 시계열적으로 변화되는 고객의 정보 확산 상태를 효과적으로 분석함으로써 자체 보유 분석 정보가 한정적이라 하더라도 마케팅 지원 정보나 경영 지원 정보를 효과적으로 제공할 수 있는 효과가 있는 것은 물론이고, 이러한 구성을 개별 업체가 아닌 분석 전문 업체가 구성하고 수집되는 정보를 범용적으로 활용하여 개별 고객사에서 요구하는 분석 방식을 통해 개별 고객사가 원하는 마케팅 지원 정보를 제공하는 방식도 가능하며 이 경우 개별 고객사는 빅데이터 분석을 통한 마케팅 지원 정보나 경영 지원 정보를 낮은 비용으로 확보할 수 있는 효과가 있다.

본 발명 실시예에 따른 마케팅을 위한 빅데이터 분석 시스템 및 방법은 자사 고객의 한정된 정보가 아닌 필요로 하는 정보를 웹상에서 능동적으로 수집하되 수집 대상에 따른 다양한 비정형 정보를 효과적으로 분석하기 위해서 수집 대상에 따라 다양한 비정형 항목들로 수집되는 수집 정보를 처리 가능한 수준으로 정형화하여 분산 저장하는 정보 수집부를 구성하는 것으로 다양하게 수집되는 웹상 정보들을 항목을 기준으로 가치 분석이 가능하도록 하며, 분석된 정보를 신규 분석 정보와 항목을 기반으로 재분석하도록 하는 과정을 반복하도록 함으로써 항목을 기준으로 하는 1:N 관계의 연관 분석이 가능하도록 하여 시계열 분석과 바이럴 마케팅에 대한 신속하여 신뢰성 있는 분석 결과를 경제적으로 제공할 수 있는 효과가 있다.

본 발명 실시예에 따른 마케팅을 위한 빅데이터 분석 시스템 및 방법은 분석된 정보를 활용 데이터베이스에 저장한 후 사용자의 요구나 결과 제공 어플리케이션에 의해 활용 데이터베이스의 내용을 처리하여 사용자에게 결과로서 제공하며, 이러한 결과 제공을 위한 분석 과정에서 산출된 이벤트를 분석하여 이들 중 일부를 다시 분산 저장하거나 재활용 가능하도록 활용 데이터베이스에 저장하도록 함으로써 결과 제공을 위한 실제 업무 처리자의 경험에 따라 산출되는 정보들을 분석에 추가 반영하고 다른 사용자들이 재활용할 수 있도록 하여 제공되는 마케팅 정보의 품질을 높이고 사용에 따라 신뢰성과 만족도가 높아지는 효과가 있다.

도 1은 종래 빅데이터 분석 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 빅데이터 분석 시스템의 개념도.
도 3은 본 발명의 실시예에 따른 빅데이터 분석 시스템의 구성도.
도 4는 본 발명의 실시예에 따른 정보 수집부 구성도.
도 5는 본 발명의 실시예에 따른 분산 저장부 구성도.
도 6은 본 발명의 실시예에 따른 분석부 구성도.
도 7은 본 발명의 실시예에 따른 결과 제공부 구성도.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 2는 본 발명의 실시예에 따른 빅데이터 분석 시스템의 개념도를 보인 것으로, 도시된 바와 같이 보유한 내부 정보만을 이용하는 것이 아니라 능동적으로 웹상에서 생성되는 수많은 이용자 정보들을 수집하는 정보탐색 수집 시스템(10)과, 이렇게 수집된 방대한 정보를 분산 저장하는 분산 저장 시스템(20)과, 분산 저장된 정보에 분산 처리 방식으로 접근하여 분석을 수행하고 분석 결과 중 재활용이 가능한 정보를 다시 분산 저장하도록 하는 분석 시스템(30)과, 분석 시스템(30)을 통해 분석된 결과를 수신하여 제공하거나, 분석 시스템(30)이 분석한 결과들을 기준으로 필요한 분석을 재실시하도록 하거나, 혹은 쿼리에 따라 분석 결과를 검색하여 결과를 제공하며, 재활용할 수 있는 검색 결과 정보는 그 종류에 따라 분산 저장 시스템(20)에 데이터로 제공하고 분석된 자체로서 활용할 수 있다면 이를 분석 시스템(30)에서 재활용하도록 제공하는 결과 제공 시스템(40)과, 정보탐색 수집 시스템(10)이 수집할 정보에 대한 탐색 기준을 제공하고, 분석 시스템(30)에 분석할 내용(스크립트, 분석 알고리즘, 설정 등의 프로세스)을 제공하거나 분석할 내용을 갱신하며, 결과 제공 시스템(40)에 재분석을 위한 내용(스크립트, 분석 알고리즘, 설정 등의 프로세스)이나 쿼리를 제공하고 그 결과를 사용자에게 제공하는 사용자 지원 시스템(50)을 포함한다. 여기서, 사용자 지원 시스템(50)은 상기 각 시스템들에 접근하도록 하는 사용자 인터페이스일 수 있으나 각 시스템의 일부 기능들을 구비한 시스템일 수 있으므로 구체적인 구성은 다양할 수 있다.

결국, 도시된 구성은 정형화된 내부 정보를 수집하여 이를 분석하는 기존 방식이 아니라 모바일 서비스, 포털, 소셜 네트워크 서비스, 클라우드 서비스 등을 포함하는 다양한 서비스를 제공하는 웹사이트에서 발생되는 다양한 정보들 중에서 원하는 분석 대상에 적합한 정보들을 수집하여 이들로부터 원하는 마케팅이나 경영 지원을 위한 정보 분석을 실시하는 방식이다.

만일 회원에 대한 정보를 일부 구비하고 있는 경우, 해당 회원에 대한 내부 정보는 물론이고 해당 다양한 웹사이트에서 해당 회원에 관련된 정보들을 더 수집하는 방식으로 다양한 관련 정보들을 수집할 수도 있다.

정보를 수집하는 웹사이트는 예를 들어 구글, 네이버, 다음, 빙, 네이트, 야후, 바이두 등의 다양한 포털일 수 있고 이로부터 특정한 검색 결과나 회원 식별자를 이용한 정보들을 수집할 수 있고, 각 포털에서 결과로 제공하는 웹페이지, 뉴스, 블로그, 문서 등을 정보 수집 대상으로 할 수 있다. 이러한 포털에서는 검색 뿐만 아니라 해당 포털에서 제공하는 각종 서비스에 대한 검색과 정보 수집이 가능하도록 하는 오픈 API(Application Program Interface)를 제공하기도 한다. 이러한 정보를 수집하는 웹사이트는 예를 들어 페이스북, 트위터, 유튜브, 핀터레스트, 싸이월드, 라인, 인스타그램, 미투데이, 텀블러, 리슨미, 라스트 에프엠 등의 다양한 소셜 네트워크일 수 있다. 이러한 소셜 네트워크는 대부분 외부에서 해당 소셜 네트워크의 내부 정보를 검색하거나 수집할 수 있도록 하는 오픈 API를 제공하는 경우가 많다.

그 외에도 다양한 클라우드 서비스 사이트, 모바일 서비스 사이트 등 다양한 웹사이트들로부터 정보를 수집할 수 있으며 이러한 사이트들 역시 오픈 API를 제공하는 경우가 많다.

따라서, 로봇을 이용한 정보의 수집이 가능하므로 원하는 기준(키워드, 시간, 인기도, 필터링 조건 등)에 따른 방대한 정보를 수집할 수 있다.

그러나 이렇게 다양한 웹상의 정보를 단순하게 수집한다고 하여 이를 직접 빅데이터 분석에 활용할 수 있는 것은 아니며, 이렇게 수집된 데이터를 분산 처리 방식을 통한 분석 스크립트로 분석한다고 하여 마케팅에 적합한 정보를 생성할 수 있는 것은 아니다.

따라서, 본 발명의 실시예에서는 기본적으로 두 가지 새로운 방식을 도입한다. 우선 수집 정보를 어느 정도 정형화하도록 웹사이트의 종류에 대응되는 정보 수집부들을 구성하는 방식과, 시계열적 분석이나 온라인 마케팅에서 중요도가 높아지는 바이럴 마케팅 분석을 위해서 항목을 기준으로 가치분석을 실시한 후 이를 저장하고 새로 수집되어 분석된 데이터와의 연관성을 분석하는 반복적 프로세스를 통해 항목을 기준으로 1:N 관계의 연관 분석이 가능하도록 함으로써 마케팅 지원을 위한 잠재적 가치 분석이 가능하도록 하는 방식을 도입한다.

그 외에도 실제 마케팅 전문가들의 분석 요청(원하는 분석을 위한 스크립트, 알고리즘, 설정 등)이나 검색 쿼리 등에 따른 결과 정보를 생성하여 사용자에게 제공함과 아울러 생성된 결과 정보 중 실무적으로 의미가 있는 분석 정보들이 재활용할 수 있도록 하는 방식도 적용함으로써 단순한 대용량 데이터 분석이 아닌 실질적으로 의미가 있는 마케팅 지원이나 경영 지원을 위한 분석 정보가 제공될 수 있도록 한다. 또한, 이러한 본 발명의 실시예에 따른 시스템을 특정한 업체를 위한 종속적 시스템이 아닌 범용 사용자를 대상으로 하는 전문 서비스로 특화시킬 경우 범용적으로 수집되는 정보들을 각 서비스 이용 업체들의 분석 요구에 맞추어 분석한 후 그 결과를 제공할 수 있다. 이 경우 시스템 활용도가 높아지므로 서비스 이용 업체의 부담을 줄일 수 있고, 각 서비스 이용 업체의 마케팅 담당자가 분석한 결과들을 재활용 가능하게 수집하므로 이러한 다양한 서비스 이용 업체들이 원하는 결과를 빠르고 다양하게 획득할 수 있게 된다. 또한, 분석 결과를 신규 수집되는 정보들과 통합하여 재분석하는 것으로 시계열적 분석이나 항목을 기준으로 하는 연관 분석등의 효율을 높일 수 있다.

이러한 구성을 적용한 좀 더 구체적인 예를 도 3을 통해 살펴보도록 한다.

도 3은 본 발명의 실시예에 따른 빅데이터 분석 시스템의 구성도로서, 도시된 바와 같이, 기 설정된 종류의 웹사이트로부터 설정된 탐색 기준에 따라 정보를 탐색한 후 탐색된 정보를 파싱하여 미리 마련된 계층적 공통 코드와 항목을 기준으로 하는 포맷으로 변환하는, 웹사이트 종류별로 마련된 정보 수집부(100)와, 정보 수집부(100)가 변환한 정보를 공통 코드와 크기를 참조하여 분산 저장소(300)에 분산 저장하는 분산 저장부(200)와, 분산 저장부(200)가 분산 저장한 정보에 분산 처리 방식으로 접근하여 항목 기준 가치 분석을 포함하는 분석 프로세스들에 따라 분석한 후 그 결과를 데이터베이스부(400)에 저장하고, 데이터베이스부(400)에 기 저장된 이전 가치 분석 결과와 신규 분석된 가치 분석 결과를 항목을 기준으로 재분석하여 그 결과를 데이터베이스부(400)에 더 저장하는 분석부(500)와, 데이터베이스부(400)의 분석 결과를 원하는 프로세스로 재분석하거나 요청된 쿼리에 따라 검색하여 그 결과를 출력하며 출력 내용을 분석하여 데이터 포맷에 따라 상기 분산 저장부에 데이터로 제공하거나 재사용을 위해 데이터베이스부(400)에 저장하는 결과 제공부(600)와, 정보 수집부(100)의 탐색 기준을 제공하고, 분석부(500)의 분석 프로세스를 갱신하며, 결과 제공부(600)에 재분석 프로세스나 쿼리를 제공하고 그 결과를 사용자에게 제공하는 사용자 지원부(700)를 포함한다.

여기서, 사용자 지원부(700)는 통합적인 사용자 인터페이스를 의미하는 것으로 단순한 인터페이스뿐만 아니라 연관되는 각 기능부(정보 수집부(100), 분석부(500), 결과 제공부(600))에 대한 확장 기능을 제공할 수도 있으며, 경우에 따라서는 상기 각 기능부의 일부 기능으로서 해당 기능부에 포함될 수도 있다. 따라서, 사용자 지원부(700)는 다양하게 구성되거나 다양한 기능을 가질 수 있으므로 본 발명의 실시예에 따른 구성으로 한정되지 않는다.

한편, 도시된 분산 저장부(200)와 분산 저장소(300)는 데이터를 크기에 따라 구분하여 여러 곳의 저장 장소에 데이터를 저장하는 다양한 분산 저장 방식을 이용할 수 있는데, 본 실시예에서는 널리 알려져 있는 하둡 파일 시스템(HDFS)을 분산 저장의 기본으로 한다. 이 경우 분석부(500)는 하둡 파일 시스템을 이용하는 맵 리듀스를 분산 처리의 기본으로 활용할 수 있다.

도시된 데이터베이스부(400)는 분산 저장되는 파일의 정보나 정보 수집부(100)의 탐색을 위한 탐색 기준을 저장하는 메타데이터베이스(410)와, 분류를 위한 계층적 통합 코드에 대한 정보를 구비한 코드 데이터베이스(420)와, 분석부(500)와 결과 제공부(600)가 분석을 위해 분석 결과를 저장하고 항목 기반 가치 분석 결과를 누적하며 검색 결과 중 재활용을 위한 결과를 저장하는 활용 데이터베이스(420)를 포함한다.

즉, 앞서 설명된 도 3의 설명에서 실질적으로 설명된 데이터베이스부(400)는 활용 데이터베이스(420)를 의미한다. 그 외의 데이터베이스(410, 430)는 이후 추가로 설명한다.

한편, 도시된 구성에서 정보 수집부(100)는 회원 정보 획득부(110)와 정보 탐색 수집부(120)를 포함하는데, 이 중에서 회원 정보 획득부(110)는 선택적으로 적용될 수 있다. 도시된 회원 정보 획득부(110)는 정보 수집 시 내부 회원 정보나 내부 회원의 이용 정보를 수집하며 필요에 따라 정보 탐색 수집부(120)에서 다양한 웹사이트로부터 정보를 수집할 때 회원 정보에 관련된 정보를 수집할 수 있도록 하는 정보를 제공해 줄 수 있다.

물론, 정보 수집부(100)는 사용자 지원부(700)를 통해 사용자가 설정하는 키워드를 기준으로 설정되는 웹사이트들에서 정보를 수집하는 정보 탐색 수집부(120) 만을 구성할 수도 있다.

앞서 설명했던 바와 같이 본 발명의 실시예에서는 다양한 웹사이트들로부터 원하는 정보를 탐색하여 수집하면서 이들을 파싱하여 적절한 분류 코드와 항목을 가지는 포맷으로 변환하는 정보 수집부를 웹사이트의 종류별로 구성한다.

이를 도 4를 참조하여 좀 더 상세히 설명한다.

도 4는 본 발명의 실시예에 따른 정보 탐색 수집부(120)의 구성과, 이러한 정보 탐색 수집부(120)의 정보 탐색을 위한 탐색 기준이 설정된 메타데이터 데이터베이스(410) 및 해당 탐색 기준을 메타데이터 데이터베이스(410)에 제공하는 사용자 지원부(700)의 구성이 도시된다.

본 발명의 실시예에서는 도시된 정보탐색 수집부(120)가 빅데이터 분석이 가능하도록 다양한 정보를 수집하는 방식을 채택하는데, 이를 좀 더 구체적으로 살펴본다.

우선 정형화된 내부 정보가 아닌 다양한 결과 제공 포맷이나 제공 결과들(웹페이지, 문서, 게시판, 덧글 등)을 통합적으로 분석할 수 있도록 항목을 기준으로 규격화하고 검색된 내용을 종류별로 구분하기 위해서 분류 기준을 계층적 통합 코드로 구분하도록 한다. 이를 위에서 각 웹사이트 종류에 따라 각각 달리 제공되는 탐색 결과들을 파싱 방식으로 분석하여 통합 코드와 항목을 기준으로 하는 포맷으로 변환하도록 하는 정보 검색부를 웹사이트 종류에 맞추어 구성하도록 한다. 이를 통해서 웹사이트 자체의 규정이 변경되거나 탐색 결과의 상태가 변화되더라도 해당 정보 검색부만 갱신하면 되도록 하고, 신규 웹사이트를 추가할 경우에도 대응되는 정보 검색부를 추가하면 되도록 하여 정보 탐색을 위한 관리가 용이하도록 함과 아울러 다양한 웹사이트에 따라 수집 정보가 다양하더라도 수집 정보들을 통합적으로 분석 가능한 데이터로 변환할 수 있게 된다. 물론 이렇게 포맷을 맞춘다 하더라도 유사성을 가지는 항목들 중 하나를 선택하여 항목을 결정하는 정도까지 탐색 결과를 구분하는 것은 가능하지만 그 항목의 데이터 종류까지도 일치시키는 것은 대단히 어렵다. 따라서 관련 항목으로 수집되는 데이터라 하더라도 그 데이터는 정형 혹은 비정형 데이터일 수 있고, 이는 분석부에서 정형 데이터와 비정형 데이터를 연동하여 처리하는 여러 알려져 있는 방식들 중 하나를 선택하여 처리하도록 한다.

이를 위하여 도시된 정보탐색 수집부(120)는 메타데이터(410)에 설정된 탐색 기준(키워드, 탐색 대상 정보의 생성 시간, 대상 웹사이트, 탐색 주기, 탐색 정도, 회원 정보 등)에 따라 정보를 탐색하도록 하는 수집 관리 모듈(122)과, 수집 관리 모듈(122)의 요청에 따라 설정된 웹사이트(800)에 접속하여 정보를 탐색하는 정보 탐색 모듈(121)과, 정보 탐색 모듈(121)에 의해 탐색된 정보를 해당 웹사이트의 특성을 고려하여 파싱한 후 관계성이 정의된 항목들을 기준으로 포맷을 변환하는 데이터 생성 모듈(123)과, 데이터 생성 모듈(123)이 생성한 정보를 분산 저장부(200)에 제공하는 데이터 제공 모듈(124)을 포함한다.

여기서, 데이터 생성 모듈(123)은 탐색된 정보를 파싱하여 규격화된 포맷으로 변환하면서 해당 정보가 속하는 분류를 계층적 공통 코드 정보로 추가할 수 있다. 예를 들어, 해당 정보가 최근 사용했던 립스틱에 관한 정보라면 여성용품-화장품-립스틱에 해당하는 공통 코드 정보일 수 있다.

또한, 필요한 경우 데이터 생성 모듈(123)은 수집되는 개인정보를 익명 처리하고 식별 정보는 암호화하거나 삭제하는 보안 관련 처리를 수행할 수도 있다.

한편, 탐색된 정보는 임의의 웹사이트로부터 얻은 정보이기 때문에 특정 웹사이트에서는 제공되는 항목을 다른 웹사이트에서는 제공하지 않을 수 있고, 특정 웹페이지에서는 확인되는 항목이 다른 웹페이지에서는 확인되지 않을 수도 있으므로 빅데이터 분석을 위해서 관계성을 설정한 항목들을 마련하고 그로부터 해당 웹사이트에 적합한 항목을 선택하여 마련된 포맷으로 정리할 수 있도록 한다. 예를 들어, 사용자의 성별, 나이, 위치와 같은 항목들은 관련 항목에 대응되는 정보가 수집될 수도 있고 수집되지 않을 수도 있다. 따라서, 이러한 경우 수집 대상 기본 정보로서 성별, 나이, 위치 등을 관계성이 있는 항목으로 마련하고 이들 중에서 해당 웹사이트에서 얻어지는 정보를 대응되는 항목으로 설정할 수 있다. 다른 예로서, 사용자의 위치 정보가 소정 웹사이트에서는 사용자 IP 정보로서 대략적 사용자 위치를 확인할 수 있는 정보로 수집되고, 다른 웹사이트에서는 주소 정보로 수집되며, 또 다른 웹사이트에서는 GPS 정보로 수집될 수 있는데, 이들은 모두 위치 항목으로 관계성을 가질 수 있다. 하지만 이들은 각각 데이터 구조가 상이하다. 따라서, 이들을 특정한 정보(주소나 GPS 위치)로 변환하여 포맷에 맞출 수도 있고 관계성을 가지는 위치 항목들 중 적절한 세부 항목들로 분류하여 포맷을 구성할 수도 있다.

이러한 항목 정보는 이후 분석 시 항목들 간 관계성에 따른 가치 분석이나 항목을 기준으로 하는 1:N 정보 생성에 따른 연관 분석 등에서 활용될 수 있으므로 그 포맷 설정은 중요한 부분이라 할 수 있으며, 본 발명의 실시예에서는 이러한 포맷 설정을 웹사이트의 특성을 반영하여 파싱할 수 있도록 함으로서 수집 대상의 특성에 최적화된 변환이 가능하게 된다.

도 5는 본 발명의 실시예에 따른 분산 저장부(200)의 구성 예를 보인 것으로 도시된 바와 같이 분산 저장부(200)는 웹사이트 종류별로 별도로 마련된 복수의 정보 수집부들에 대응되는 복수의 단위 분산 저장부(210)를 구비하는데, 이러한 단위 분산 저장부(210)는 정보 수집부가 자신의 변환 규칙에 맞추어 제공하는 포맷의 탐색 정보를 수집하고 그에 대한 통합 코드를 코드 데이터베이스(430)에서 확인하여 분류 식별자를 부가하고 그 크기를 구분하여 분산 저장소(300)에 분산하여 저장한다.

각 단위 분산 저장부(210)는 수집된 정보를 분산 저장소(300)에 분산 저장하면서 분산 저장한 위치, 파일명, 그룹 코드, 입력 날짜 등에 대한 정보를 메타데이터 데이터베이스(410)에 제공하는 수집 에이전트 모듈(211)과, 수집되는 데이터의 크기에 따라 분할하여 저장하도록 하는 데이터 흐름 제어 모듈(212)을 포함한다.

도 6은 본 발명의 실시예에 따른 분석부(500) 구성을 보인 것으로, 도시된 바와 같이 분산 저장부(200)에 의해 분산 저장소(300)에 분산 저장된 데이터를 쿼리하거나 맵리듀스 방식 등으로 분산 처리하고 필요한 경우 그 분석 결과 중 데이터와 같은 포맷을 재활용을 위해 다시 분산 저장소(300)에 데이터로 저장하도록 하는 분산 처리 모듈(510)과, 항목 기반 가치 분석을 포함하는 다양한 분석 프로세스(분석 스크립트, 알고리즘, 설정 등)를 관리하는 분석 프로세스 모듈(530)과, 분석 프로세스 모듈(530)의 각 분석 프로세스에 따라 분석을 자동적으로 수행하여 그 결과를 산출하는 데이터 분석 모듈(520)과, 데이터 프로세스 모듈(530)의 개별 분석 프로세스들을 등록, 갱신, 제거하고, 필요한 경우 코드 데이터베이스(430)로부터 통합 코드 정보를 확인하여 데이터 분석 모듈(520)에 제공하며, 데이터 분석 모듈(520)이 분석한 결과를 수집하여 활용 데이터베이스(420)에 기록하는 분석 제어 모듈(540)을 포함한다. 사용자 지원부(700)는 분석부(500)에 원하는 분석을 위한 분석 프로세스를 제공하거나 기존 프로세스를 갱신하거나 혹은 기존 프로세스를 삭제하는 등에 대한 정보를 제공할 수 있다.

상기 분석 제어 모듈(540)은 효과적인 바이럴 마케팅 분석을 위해서 항목 기준 연관성 분석에 의한 가치 분석을 포함하는 분석 프로세스들(조회, 정형.비정형 연계분석, 통계분석, 텍스트 분석, 기계학습, 배치 분석, 데이터 연관 관계 파악, 패턴 추출, 랭킹, 이슈 분석, 시기 분석, 연관어 분석, 상관 분석, 회귀 분석 등)을 이용하여 수집된 데이터를 분석한 후 그 결과를 활용 데이터베이스(420)에 저장하고, 활용 데이터베이스에 기 저장된 이전 가치 분석 결과와 신규 분석된 가치 분석 결과를 항목을 기준으로 재분석하여 그 결과를 활용 데이터베이스(420)에 더 저장한다. 이러한 과정이 반복되면 항목에 대해 1:N 분석 정보를 누적할 수 있고 이를 통해 연관 분석이 가능하게 되므로 분석 결과들의 변화에 대해서 다양한 정보를 확인할 수 있게 된다. 예를 들어 특정 립스틱에 대한 사용 정보들이 시간에 따라 어떻게 확산되거나 어떠한 방향(나이, 지역, 특정 소속, 웹사이트 기준 방향)으로 변화되는지 확인할 수 있으며 이를 광고의 실시와 관련하여 분석하는 것으로 바이럴 마케팅 효과를 확인할 수 있다.

한편, 데이터 분석 모듈(520)이나 분석 제어 모듈(540)은 분석된 결과를 다시 데이터로서 분산 저장소(300)에 저장하도록 할 수 있다.

여기서, 활용 데이터베이스(420)는 하둡 분산 처리를 효과적으로 수행하기 위해 고속 데이터베이스 분석을 지원하는 데이터베이스로서, 로(Row)의 길이가 수조개에 이르는 빅데이터 분산 처리를 위한 NoSQL 기반 데이터베이스인 HBase를 이용할 수 있다. 이는 인메모리 기반으로 구성되어 빅데이터 분석 속도를 높일 수 있으며, 분석부(500)를 통해 분석된 결과를 저장하여 저장 내용을 다양한 서비스에 빠르게 활용할 수 있도록 한다. 물론 활용 데이터베이스(420)는 이러한 HBase외에도 다양한 다른 종류의 데이터베이스와의 호환성을 제공하기 위해 메모리 스토어 및 인터페이스의 형태를 가질 수도 있다. 따라서 다양한 종류의 메모리 기반 데이터베이스로 동작할 수 있다.

도 7은 본 발명의 실시예에 따른 결과 제공부(600)의 구성을 보인 것으로, 도시된 바와 같이 활용 데이터베이스(420)의 분석 결과를 원하는 프로세스로 재분석하거나 요청된 쿼리에 따라 검색하여 그 결과를 출력하도록 하는 정보 유통 모듈(610)과 활용 데이터베이스(420)를 활용할 프로세스나 쿼리를 제공하는 서비스 어플리케이션 모듈(620)과, 결과 출력 내용을 분석하여 데이터 포맷에 따라 로그와 분석이 가능한 이벤트는 분산 저장부를 통해 분산 저장소에 데이터로 제공하고 즉시 활용 및 서비스가 가능한 결과 이벤트는 재사용을 위해 활용 데이터베이스(420)에 저장하는 이벤트 분석 모듈(630)을 포함할 수 있다.

여기서, 서비스 어플리케이션 모듈(620)은 사용자와 연동하는 시스템으로서 실질적으로 사용자 지원부(700)에 연동되는 인터페이스일 수 있고, 실질적인 분석 프로세스나 쿼리는 사용자 지원부(700)를 통해서 제공되는 것일 수 있다.

한편, 사용자 지원부(700)의 일부 기능은 결과 제공부(600)와 통합될 수 있는데, 이 경우 상기 정보 유통 모듈(610)은 활용 데이터베이스(420)에 저장된 분석 결과들을 활용하는 기능 외에도 필요한 경우 분석부(500)에 새로운 분석 프로세스를 제공하여 그에 따른 분석 결과를 수집하여 사용자에게 출력하도록 하는 일종의 디스패처 기능을 제공할 수도 있다. 이 경우 결과 제공부(600)는 외부 분석 솔루션 혹은 외부 분석 솔루션과의 연계를 위한 인터페이스이거나 외부 사용자 사이트에 커스터마이징될 수 있는 분석 구성을 포함할 수도 있고, 서비스 어플리케이션 모듈은 분산 처리를 위한 분석 엔진(예를 들어 분산 처리 데이터베이스의 분석을 위한 도구인 알스튜디오(R-studio)를 통해 구성된 분석 엔진)일 수도 있다.

한편, 사용자인 마케터, 관리자, 광고주 등은 자신이 필요한 분석을 위해 키워드 등의 탐색 기준을 제공하여 정보를 수집하도록 하면 본 발명의 실시예에 따른 빅데이터 분석 시스템은 해당 탐색 기준에 따라 정보들을 주기적으로 수집한다. 이렇게 수집되는 정보들을 분산 저장하고, 분산 처리 방식으로 접근하여 분석하되 분석 정보들을 연관 분석이 가능하도록 반복적으로 분석하여 정보들을 누적한다. 이렇게 누적되는 분석 정보들을 필요에 따라 원하는 기준으로 쿼리하여 결과를 산출하거나 새로운 분석 프로세스를 제시하여 그 분석 결과를 활용할 수 있으며, 이는 실무적인 노하우에 따른 것으로 분석 시스템 설계자가 모두 지원할 수 없는 부분이다. 이러한 실무적인 분석 프로세스나 쿼리에 따른 결과들을 활용 데이터베이스에 저장하는 것으로 관련된 분석 데이터에 대한 분석 결과를 요청하는 경우 즉시 재활용할 수 있고, 이러한 분석에 따른 지속적인 사용자의 사용 기록들은 분석부에서 기계학습 방식으로 학습되어 관련 분석의 신뢰성을 높일 수 있다.

이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.

10: 정보탐색 수집 시스템 20: 분산 저장 시스템
30: 분석 시스템 40: 결과 제공 시스템
50: 사용자 지원 시스템 100: 정보 수집부
200: 분산 저장부 300: 분산 저장소
400: 데이터베이스부 500: 분석부
600: 결과 제공부 700: 사용자 지원부

Claims (19)

1. 기 설정된 종류의 웹사이트로부터 설정된 탐색 기준에 따라 정보를 탐색한 후 탐색된 정보를 파싱하여 미리 마련된 계층적 공통 코드와 항목을 기준으로 하는 포맷으로 변환하는, 웹사이트 종류별로 마련된 정보 수집부와;
   상기 정보 수집부가 변환한 정보를 공통 코드와 크기를 참조하여 분산 저장하는 분산 저장부와;
   상기 분산 저장부가 분산 저장한 정보에 분산 처리 방식으로 접근하여 항목 기준 가치 분석을 포함하는 분석 프로세스들에 따라 분석한 후 그 결과를 활용 데이터베이스에 저장하고, 상기 활용 데이터베이스에 기 저장된 이전 가치 분석 결과와 신규 분석된 가치 분석 결과를 항목을 기준으로 재분석하여 그 결과를 상기 활용 데이터베이스에 더 저장하는 분석부와;
   상기 활용 데이터베이스의 분석 결과를 원하는 프로세스로 재분석하거나 요청된 쿼리에 따라 검색하여 그 결과를 출력하며 출력 내용을 분석하여 데이터 포맷에 따라 상기 분산 저장부에 데이터로 제공하거나 재사용을 위해 상기 활용 데이터 베이스에 저장하는 결과 제공부를 포함하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 시스템.
   
2. 청구항 1에 있어서, 상기 정보 수집부의 탐색 기준을 제공하고, 상기 분석부의 분석 프로세스를 갱신하며, 상기 결과 제공부에 재분석 프로세스나 쿼리를 제공하고 그 결과를 사용자에게 제공하는 사용자 지원부를 포함하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 시스템.
   
3. 청구항 1에 있어서, 상기 정보 수집부는 탐색 기준으로 기 설정된 회원 정보를 포함하며, 해당 회원에 관련된 정보를 탐색하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 시스템.
   
4. 청구항 1에 있어서, 상기 정보 수집부는 탐색 기준으로 키워드를 포함하며, 범용 사용자를 위한 기초 정보로 복수의 웹사이트로부터 상기 키워드에 따른 정보를 탐색하고 탐색 결과를 분류하기 위해 마련된 계층적 공통 키워드로 구분하며, 정보를 파싱하여 관련성 정보가 설정된 항목들을 포함하는 포맷으로 변환하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 시스템.
   
5. 청구항 1에 있어서, 상기 정보 수집부는 수집되는 개인정보는 익명 처리하고 식별 정보는 암호화하거나 삭제하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 시스템.
   
6. 청구항 1에 있어서, 상기 정보 수집부는 항목을 기준으로 포맷을 변환하되, 비정형 데이터를 포함하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 시스템.
   
7. 청구항 1에 있어서, 상기 정보 수집부는 검색 포털 사이트, 소셜 네트워크 사이트, 클라우드 사이트를 포함하는 개방형 웹사이트 별로 각 웹사이트에 접속하여 검색이나 공개된 오픈 API를 통해 탐색 기준에 따른 정보를 수집하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 시스템.
   
8. 청구항 7에 있어서, 상기 정보 수집부는 웹사이트 종류별로 구분되어 구성되며, 각 정보 수집부는 웹사이트 종류에 따라 탐색 결과를 공통 코드로 구분하기 위한 기준이나 탐색 결과를 항목을 기준으로 파싱하기 위한 기준이 다른 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 시스템.
   
9. 청구항 1에 있어서, 상기 분석부는 분석 결과를 상기 분산 저장부에 데이터로서 다시 제공하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 시스템.
   
10. 청구항 1에 있어서, 상기 분석부는 항목을 기준으로 수행되는 가치 분석 결과를 상기 활용 데이터베이스에 저장하여 1:N의 연관 분석을 위한 데이터를 반복적으로 수집하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 시스템.
    
11. 청구항 1에 있어서, 상기 결과 제공부는 외부 분석 솔루션 혹은 외부 분석 솔루션과의 연계를 위한 인터페이스이거나 외부 사용자 사이트에 커스터마이징될 수 있는 분석 구성을 포함하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 시스템.
    
12. 기 설정된 종류의 웹사이트에 따라 구분되는 정보 수집부가 설정된 탐색 기준에 따라 정보를 탐색하여 그 탐색 내용을 미리 마련된 계층적 공통 코드와 항목을 기준으로 하는 포맷으로 변환하는 정보 수집 단계와;
    상기 정보 수집 단계에서 수집된 변환된 정보를 수신한 분산 저장부가 공통 코드와 크기를 기준으로 수신 정보를 분산 저장하는 분산 저장 단계와;
    상기 분산 저장 단계에서 분산 저장된 정보를 이용하여 요구되는 분석을 수행하는 분석부가 상기 분산 저장된 정보에 분산 처리 방식으로 접근하여 항목 기준 가치 분석을 포함하는 분석 프로세스들에 따라 분석을 실시한 후 그 결과를 활용 데이터베이스에 저장하고, 활용 데이터베이스에 기 저장된 이전 가치 분석 결과와 신규 분석된 가치 분석 결과를 항목을 기준으로 재분석하여 그 결과를 활용 데이터베이스에 다시 저장하는 분석 단계와;
    사용자에게 결과를 제공하는 결과 제공부가 활용 데이터베이스의 분석 결과를 원하는 프로세스로 재분석하거나 요청된 쿼리에 따라 검색하여 그 결과를 출력하며 출력 내용을 분석하여 데이터 포맷에 따라 상기 분산 저장부에 데이터로 제공하거나 재사용을 위해 활용 데이터 베이스에 저장하는 결과 제공 단계를 포함하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 방법.
    
13. 청구항 12에 있어서, 상기 정보 수집부에 탐색 기준을 제공하고, 상기 분석부의 분석 프로세스를 갱신하며, 상기 결과 제공부에 재분석 프로세스나 쿼리를 제공하고 그 결과를 사용자에게 제공하는 사용자 지원부를 통해 사용자의 요구를 수신하여 처리하는 단계를 포함하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 방법.
    
14. 청구항 12에 있어서, 상기 정보 수집 단계에서, 상기 정보 수집부는 탐색 기준으로 기 설정된 회원 정보를 포함하며, 해당 회원에 관련된 정보를 탐색하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 방법.
    
15. 청구항 12에 있어서, 상기 정보 수집단계에서, 상기 정보 수집부는 탐색 기준으로 키워드를 포함하며, 범용 사용자를 위한 기초 정보로 복수의 웹사이트로부터 상기 키워드에 따른 정보를 탐색하고 탐색 결과를 분류하기 위해 마련된 계층적 공통 키워드로 구분하며, 정보를 파싱하여 관련성 정보가 설정된 항목들을 포함하는 포맷으로 변환하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 방법.
    
16. 청구항 12에 있어서, 상기 정보 수집 단계에서, 상기 정보 수집부는 검색 포털 사이트, 소셜 네트워크 사이트, 클라우드 사이트를 포함하는 개방형 웹사이트 별로 각 웹사이트에 접속하여 검색이나 공개된 오픈 API를 통해 탐색 기준에 따른 정보를 수집하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 방법.
    
17. 청구항 16에 있어서, 상기 정보 수집부는 웹사이트 종류별로 구분되어 구성되며, 각 정보 수집부는 웹사이트 종류에 따라 탐색 결과를 공통 코드로 구분하기 위한 기준이나 탐색 결과를 항목을 기준으로 파싱하기 위한 기준이 다른 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 방법.
    
18. 청구항 12에 있어서, 상기 분석 단계에서, 상기 분석부는 분석 결과를 다시 분산 저장부에 데이터로서 다시 제공하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 방법.
    
19. 청구항 12에 있어서, 상기 분석 단계에서, 상기 분석부는 항목을 기준으로 수행되는 가치 분석 결과를 활용 데이터베이스에 저장하여 1:N의 연관 분석을 위한 데이터를 반복적으로 수집하는 것을 특징으로 하는 마케팅을 위한 빅데이터 분석 방법.

Images