KR20080086454A - 관련성 검증 평가를 용이하게 하는 시스템 및 방법, 및이를 채택한 장치, 및 온라인 인터넷 경매 방법 및 광고키워드 경매 평가 방법 - Google Patents

Abstract

사람의 결정 프로세스에 대한 주어진 관련성 검증 프로세스를 평가하기 위한 측정 가능한 수단이 제공된다. 예를 들어, 테스트 중인 관련성 검증 알고리즘을 훈련시키기 위해 채택된 테스트 데이터의 관련성 품질과 무관한 관련성 검증 평가를 제공하기 위해 CCR 시스템이 활용될 수 있다. 이것은, 수동으로 테스트 데이터에 레이블을 다시 붙이거나 및/또는 알고리즘 관련성을 다시 측정할 필요가 없이, 예를 들어, 상이한 관련성 표준들 및/또는 시간이 경과함에 따른 관련성 표준들의 변화와 함께 어떤 수의 비즈니스 애플리케이션들을 위한 키워드/아이템 쌍들의 관련성 검증이든 평가하기 위한 수단을 제공한다.

키워드, 검색, 광고, 관련, 인식, 개념, 관계, 평가, 측정, 검증

Description

관련성 검증 평가를 용이하게 하는 시스템 및 방법, 및 이를 채택한 장치, 및 온라인 인터넷 경매 방법 및 광고 키워드 경매 평가 방법{DATA INDEPENDENT RELEVANCE EVALUATION UTILIZING COGNITIVE CONCEPT RELATIONSHIP}

네트워킹 및 컴퓨팅 기술의 발전은 컴퓨터들을 기본적인 워드 프로세싱을 수행하고 낮은 수준의 수학적 계산을 컴퓨팅할 수 있는 저성능/고비용 장치로부터 무수한 다른 종류의 기능들을 할 수 있는 고성능/저비용 머신으로 변화시킬 수 있게 되었다. 예를 들어, 사용자가 청구서에 대해 지불하고, 비용을 추적하며, 장거리에서 전자메일로 친구 또는 가족들과 거의 즉각적으로 통신하고, 네트워크된 데이터 리포지토리로부터 정보를 얻으며, 수많은 기타의 기능/활동을 함에 있어서 도움을 주기 위해 소비자용 컴퓨팅 장치(consumer level computing device)가 채택될 수 있다. 그래서, 컴퓨터 및 거기에 관련된 주변장치들은 개인 및 사업 활동 모두를 위해 활용되는 현대 사회의 중요 제품이 되었다.

특히 인터넷은 사용자에게 어떤 적당한 주제에 관한 정보를 얻기 위한 메커니즘을 제공하였다. 예를 들어, 다양한 웹 사이트들이 세계, 국내, 및/또는 지역 뉴스들에 관한 텍스트, 이미지 및 비디오를 널리 알리는 것에 종사하고 있다. 그러한 웹 사이트들 중 하나에 관한 URL(Uniform Resource Locator)을 알고 있는 사용자는 단순히 URL을 웹 브라우저에 입력하여 웹 사이트를 제공받고 콘텐츠에 액세 스할 수 있다. 인터넷으로부터 원하는 정보를 찾는 다른 한 보편적인 방식은 검색 엔진을 활용하는 것이다. 일례로, 사용자는 한 단어 또는 연속적인 단어들을 검색 필드에 입력하고(예를 들어, 버튼 누르기, 한 번 이상의 키스트로크, 음성 명령 등을 통해) 검색 엔진을 시작할 수 있다. 그러면, 검색 엔진은 검색 알고리즘을 활용하여 사용자가 검색 필드에 입력한 단어 또는 연속적인 단어들에 관련된 웹사이트를 찾으며, 사용자는 검색 엔진에 의해 반환된 웹 사이트들 중 하나를 선택하여 관련 콘텐츠를 검토할 수 있다.

점점 더 많은 사람이 인터넷을 활용하기 시작함에 따라, 소득 기회가 소기업 및 대기업을 위해 동일하게 존재함이 명백해졌다. 일례로, 많은 소매업자는 온라인으로 상품을 판매하기 위해 인터넷을 활용하고, 그럼으로써 상점을 관리하고 유지하는 것과 관련된 비용을 줄이고, 재고관리를 집중할 수 있게 되며, 소비자들에게 이전되는 비용을 줄이는 다양한 기타의 유사 이익을 얻을 수 있게 되었다. 비즈니스 및/또는 소득을 발생시키기 위한 이와 같은 인터넷 이용의 증가를 감안하면, 인터넷이 광고 메커니즘으로서 활용될 수 있음도 명백해졌다. 한 예에서는, "꽃(flower)"이라는 용어를 검색 엔진에 입력하는 개인은 꽃을 구매하는 것에 관심이 있을 수 있을 것이고, 따라서, 꽃을 판매하는 회사는 사용자가 관련 용어에 대해 검색하고 있는 시점에 사용자에게 광고하는 것이 유리하다. 정보를 검색하고 있는 사용자들은 흔히 관련 광고를 보고 꽃을 구매하기 위해 그러한 광고들을 클릭할 것이며, 그럼으로써 꽃 소매업자를 위한 비즈니스를 생성한다. 또한, 검색 엔진에게는 예를 들어, "꽃"이라는 용어 등과 같은 관련 용어가 검색 용어로서 활용 될 때 소매업자에게 특정한 시간 동안 광고 공간을 판매함으로써 추가적 소득이 제공된다.

종래, 검색 엔진에게 제공된 검색 용어들과 관련된 광고 공간이 경매 방식으로 구매 또는 판매되고 있다. 더 자세하게는, 검색 엔진은 다수의 구매자들에게 관심이 있는 하나 이상의 검색 용어를 포함하는 쿼리를 (사용자로부터)수신할 수 있다. 구매자들은 검색 용어들 중 적어도 하나에 대해 입찰을 할 수 있고, 최고 입찰에 해당하는 구매자는 자신들의 광고를 결과 페이지 뷰 상에 디스플레이시킬 것이다. 입찰 및 입찰의 선정은 불과 수 밀리초 내에 일어날 수 있으며, 그럼으로써 검색 엔진의 사용 편의성에 악영향을 미치지 않는다. 그래서, 둘 이상의 경쟁 입찰자들은 수신된 쿼리에 있는 하나 이상의 검색 용어와 관련된 광고 공간의 판매가가 결정되기까지 제한된 시간 프레임 내에서 서로 경합할 수 있다. 이 입찰은 흔히 특정한 검색 용어에 대한 수요 곡선을 갖게 프로그램된 프록시(예를 들어, 컴퓨터 구성요소)들에 의해 수행된다. 앞서 언급했듯이, 검색 용어들과 관련된 광고 공간을 경매하는 것은 검색 엔진들에게 중요한 소득원이며, 광고주들에게도 소득원이 될 수 있다.

검색 용어들에 의한 광고로부터의 상당한 소득 증가의 잠재력으로 인해, 아마 기업들은 검색 용어 자체와 아무런 관련이 없을지라도 가능한 한 많은 검색 용어들을 자신들의 광고에 결합시키고자 시도할 것이다. 이것은 통상적으로 두가지 이유, 즉, 첫째, 광고의 노출을 증가시키기 위해, 그리고, 둘째, 경쟁자가 광고할 가능성을 차단하기 위해 시도된다. 그러나, 광고와 무관한 검색 용어들과 결합하 는 것을 허용함으로써, 사용자들은 통상적으로 그 검색 엔진에 곧 실망하게 되고 다른 한 검색 엔진으로 전환하거나 또는 그들이 검색할 때마다 무관한 광고들을 끊임없이 디스플레이하는 특정한 광고주에 대해 적대적으로 된다. 이러한 문제를 회피하기 위해, 특정한 광고 및/또는 비즈니스와 결합되게 하기에 충분히 유관한지를 판정하기 위해 흔히 "관련성 표준(relevancy standard)"들이 활용된다. 관련성을 결정하기 위한 현재의 기술은 매우 둔중하고, 훈련되고 데이터가 변화함에 따라 다시 훈련되어야 할 모델을 통상적으로 요구하며, 특정한 비즈니스 관련성 표준을 위해서만 구현될 수 있다. 관련성은 시간 경과에 따라 변할 수 있으므로(예를 들어, 새로운 분야의 비즈니스들이 추가되고, 소비자 경향이 변화되며, 단어들이 새로운 의미를 갖는 등), 관련성을 평가하기 위한 현재의 시도들은 변화에 대해 매우 부담스럽고 시간 소모적이다.

다음은 본 발명의 실시예들의 일부의 양태들의 기본적인 이해를 제공하기 위해 본 발명의 간략한 개요를 제공한다. 이 개요는 본 발명의 광범위한 개요가 아니다. 실시예들의 주요한/중요한 구성요소들을 식별하고 본 발명의 범위를 정확하게 서술하고자 하는 것이 아니다. 아래에 제공되는 더 상세한 기술에 대한 서두로서 본 발명의 개념들을 단순한 형태로 제공하려는 것이 유일한 목적이다.

본 발명은 일반적으로 데이터 검증(data verification)에 관한 것이며, 더 자세하게는 예를 들어, 키워드 광고 경매에서 활용되는 관련성 검증 프로세스들을 평가하기 위한 시스템 및 방법에 관한 것이다. 본 발명은 주어진 관련성 검증 프로세스를 사람의 결정 프로세스와 비교하기 위한 측정 가능한 수단을 제공한다. 일례로, 테스트 중인 관련성 검증 알고리즘을 훈련시키기 위해 채택되는 테스트 데이터의 관련성 품질과 무관한 관련성 검증 평가를 제공하기 위해 CCR(cognitive concept relationship)(인지 개념 관계) 시스템이 활용될 수 있다. 이것은, 테스트 데이터에 수동으로 다시 레이블을 붙이거나 및/또는 알고리즘 관련성(algorithmic relevancy)을 다시 측정할 필요가 없이, 상이한 관련성 표준들 및/또는 시간이 경과함에 따른 관련성 표준들의 변화와 함께, 어떤 수의 비즈니스 애플리케이션들을 위해서든, 예를 들어, 한 키워드/아이템 쌍들의 관련성 검증을 평가하기 위한 수단을 제공한다. 그래서, 현재의 관련성 검증 기법들을 위해 요구되는 통상적 자원을 요구함이 없이, 시간과 자원을 다른 용도를 위해 자유롭게 두고, 관련성 검증을 평가하기 위한 지극히 유연한 수단이 얻어질 수 있다.

상기 및 관련 목적을 달성하기 위해, 다음의 기술 및 첨부 도면들과 관련하여 실시예들의 특정한 예시적 양태들이 여기에 기술된다. 그러나, 이러한 양태들은 본 발명의 원리들이 채택될 수 있는 다양한 방식들의 단지 소수만을 나타내며, 본 발명은 모든 그러한 양태들 및 그 동등물들을 포함하고자 한다. 본 발명의 기타의 장점 및 신규한 특징들은 아래의 상세한 기술을 도면과 관련하여 살펴보면 명백해질 것이다.

도 1은 실시예의 한 양태에 따른 적응 가능한 RV 평가 시스템의 블록 다이어그램.

도 2는 실시예의 한 양태에 따른 적응 가능한 RV 평가 시스템의 다른 한 블록 다이어그램.

도 3은 실시예의 한 양태에 따른 적응 가능한 키워드 RV 평가 시스템의 블록 다이어그램.

도 4는 실시예의 한 양태에 따른 적응 가능한 키워드 광고 평가 시스템의 블록 다이어그램.

도 5는 실시예의 한 양태에 따른 CCR의 한 예.

도 6은 실시예의 한 양태에 따른 CCR 유형에 의한 여러 세트의 테스트 데이터의 예시적 분포의 그래프.

도 7은 실시예의 한 양태에 따른 CCR에 의한 RV 머신 시스템의 정확도의 예시적 출력의 그래프.

도 8은 실시예의 한 양태에 따른 RV 평가를 용이하게 하는 하는 방법의 플로우 다이어그램.

도 9는 실시예의 한 양태에 따른 비즈니스 관련성 결정 행위를 적응 가능하게 용이하게 하는 한 방법의 플로우 다이어그램.

도 10은 실시예의 한 양태에 따른 RV 평가를 용이하게 하는 방법의 다른 한 플로우 다이어그램.

도 11은 실시예가 작동할 수 있는 예시적 운영 환경의 한 예.

도 12는 실시예가 작동할 수 있는 예시적 운영 환경의 다른 한 예.

이제, 도면을 참조하여 본 발명이 기술되며, 도면에서 유사한 인용 번호들은 유사한 구성요소들을 지칭하기 위해 이용된다. 다음의 기술에서는, 설명의 목적상, 본 발명을 철저하게 이해하도록 수많은 특정한 상세사항들이 설명된다. 그러나, 본 발명의 실시예들은 이러한 특정한 상세사항들이 없이 실시될 수도 있음이 명백할 것이다. 다른 예로, 실시예들의 기술을 편리하게 하기 위해 잘 알려진 구조 및 장치들은 블록 다이어그램으로 도시된다.

이 출원에서 이용되는 "구성요소"라는 용어는 하드웨어, 하드웨어와 소프트웨어의 결합, 소프트웨어, 또는 실행 중인 소프트웨어든 컴퓨터 관련 엔티티를 지칭하려는 것이다. 예를 들어, 구성요소는 프로세서 상에서 실행하는 프로세스, 프로세서, 개체, 실행 파일, 실행의 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이에 제한되는 것은 아니다. 예컨대, 서버 상에서 실행되는 애플리케이션과 서버는 모두 컴퓨터 구성요소일 수 있다. 하나 이상의 구성요소들이 프로세스 및/또는 실행의 스레드 내에 상주할 수 있을 것이고, 구성요소는 한 컴퓨터 상에 로컬로 되거나 및/또는 둘 이상의 컴퓨터 사이에 분산될 수 있을 것이다. "스레드"는 운영 시스템 커널이 실행을 위한 스케줄을 만드는 프로세스 내의 엔티티이다. 당 기술분야에서 잘 알려진 바와 같이, 각각의 스레드는 스레드의 실행과 관련된 휘발성 데이터인 관련 "콘텍스트"를 갖는다. 스레드의 콘텍스트는 스레드의 프로세스에 속하는 가상 주소 및 시스템 레지스터들의 콘텐츠를 포함한다. 그래서, 스레드의 콘텍스트를 포함하는 실제 데이터는 그것이 실행함에 따라 변한다.

RV(relevancy verification)(관련성 검증)는 우선 모델을 형성하기 위해 테 스트 데이터로부터 학습하고, 그것이 테스트 데이터로부터 학습한 것(모델에 저장된 지식)에 기반하여 어떤 입력 쌍들에 대해서든 알고리즘 결정들을 하는 ML(machine learning) 알고리즘들의 클래스를 기술한다. 불행히, 테스트 데이터를 수집하고 RV 모델을 형성하는 것(이른바 모델 훈련)은 시간과 자원을 사용하고, 동일한 입력 데이터에 적용될 필요가 있는 다수의 비즈니스 관련성 표준(business relevancy standard)들이 있을 수 있다. 본원에서의 시스템 및 방법의 예들은 테스트 데이터와 무관한 관련성 평가를 위한 기초로서 CCR 시스템을 이용하는 RV 평가 솔루션을 제공할 수 있다. 알고리즘 관련성은 각각의 데이터 세트에 의해 알고리즘 관련성을 측정하는(수직 평가) 대신에 각각의 CCR 유형으로 측정된다(수평 평가). 그렇게 함에 있어서, 알고리즘 관련성은 사람의 인지에 기반하고 있고, 그러므로, 테스트 데이터의 관련성 품질과 무관하다. 그래서, 본원의 시스템 및 방법의 예들은, 데이터에 수동으로 레이블을 다시 붙이거나 및/또는 알고리즘 관련성을 다시 측정할 필요 없이, 어떤 수의 비즈니스 애플리케이션들이든 상이한 관련성 표준들과 함께 지원하거나 및/또는 시간이 경과함에 따른 비즈니스 관련성 표준의 변화를 지원할 수 있다.

본원의 시스템 및 방법의 예들은 광고주들이 그들의 광고들과 관련이 있는 키워드들에 관해 입찰하는 키워드 경매에 특히 유용하다. 이 연관 유형에서는, 이러한 키워드들을 검색 엔진에서의 검색 용어로서 이용하는 것에 기반하여 사용자들에게 광고들이 소개될 수 있다. 광고가 키워드에 대해 더 많은 관련이 있을수록, 사용자는 웹 등을 검색하기 위해 그 키워드가 이용될 때 그들에게 소개되는 아이템 및/또는 서비스를 아마 더 많이 구매할 것이다. 그래서, 키워드와 광고 사이에 큰 관련성을 갖는다는 것은 광고주(예를 들어, 판매 가능성이 더 큰 더 적절한 고객들에게 도달하는 등)와 사용자(예를 들어, 한 묶음의 무관하고 짜증스러운 광고들이 소개되지 않는 등) 모두에게 유리하다

도 1에는, 실시예의 한 양태에 따른 적응 가능한 RV 평가 시스템(100)의 블록 다이어그램이 도시되어 있다. 적응 가능한 RV 평가 시스템(100)은 입력(104)을 얻고 출력(106)을 제공하는 적응 가능한 RV 평가 구성요소(102)로 이루어진다. 입력(104)은 통상적으로 관련성에 관해 검사될 필요가 있는 아이템들의 입력 쌍이다. 한 예에서, 입력(104)은 광고 키워드 및 광고 대상(예를 들어, 광고 웹페이지, 웹페이지 광고, 배너 등에 의해 판촉되는 특정한 제품 및/또는 제품 라인 등) 및/또는 엔티티(예를 들어, 특정한 광고 대상이라기 보다는 기업 등)로 이루어진다. 적응 가능한 RV 평가 구성요소(102)는 입력(104)을 수신하고 입력(104)에 있는 아이템들의 관련성을 결정하며, 출력(106)을 제공한다. 한 예에서는, 출력(106)이 적응 가능한 RV 평가 구성요소(102)에 의해 활용되는 CCR 시스템에 의해 제공된 CCR 유형들로 이루어진다. CCR 유형들은 적응 가능한 비즈니스 관련성 모델들을 제공하기 위한 비즈니스 관련성 모델들에 대한 입력(아래에서 기술됨)으로서 활용될 수 있다. CCR 유형들이 비즈니스 관련성 모델에서 활용되는 방법을 적응시킴으로써 모델 자체가 다수의 유형의 관련성 기준 및/또는 시간이 경과함에 따른 관련성 기준의 변화에 적응될 수 있다. 그러나, 적응 가능한 RV 평가 구성요소(102)에 의해 제공된 CCR 유형들은 이 적응성을 얻기 위해 변화할 것이 요구되지 않는다.

적응 가능한 RV 평가 구성요소(102)는 관련성 검증 알고리즘들의 품질을 평가하는 데이터와 무관한 접근방식을 제공한다. 이것은 테스트 데이터 세트들에 관한 통상적인 종속이 없는 평가를 허용한다. 그것은 통상적 관련성 모델들과 사람의 상호작용으로부터 일어나는 주관적인 경향들을 줄일 수도 있다. CCR 시스템은 선택하기 위한 통상적으로 5개의 관계 유형들을 가지며, 통상적인 기술들에 의해 이용되는 관련성에서 주관적인 관련/비관련 "스태브(stab)"들을 효과적으로 제거한다. 이것은 관련성의 궁극적인 결정에 대해서라기 보다는 CCR 유형들에 대한 사람의 주관성을 줄인다. 비즈니스 관련성 모델 내에서 CCR 유형들이 활용되고/등급이 정해지는 방법은 시간이 경과함에 따라 변할 수 있거나 및/또는 상이한 비즈니스 모델 내에서 변할 수 있다. 이것은 기업들이, 적응 가능한 RV 평가 구성요소(102)가 변화되는 관련성 모델에 기반하여 입력(104)을 다시 검증할 것을 요구함이 없이, 시간 경과 등에 따른 관련성에 관한 자신들의 인식을 변경하게 한다.

도 2를 보면, 실시예의 한 양태에 따른 적응 가능한 RV 평가 시스템(200)의 다른 한 블록 다이어그램이 도시되어 있다. 적응 가능한 RV 평가 시스템(200)은 입력 쌍(204)을 얻고 입력 쌍 CCR 유형(206)을 제공하는 적응 가능한 RV 평가 구성요소(202)로 이루어진다. 적응 가능한 RV 평가 구성요소(202)는 수신 구성요소(208) 및 CCR 평가 구성요소(210)로 이루어진다. 입력 쌍(204)은 통상적으로 키워드 및 광고 대상/엔티티로 이루어진다. 수신 구성요소(208)는 예를 들어, 광고 키워드 경매 엔트리 등으로부터 관련성 결정을 위한 입력 쌍(204)을 얻는다. CCR 평가 구성요소(210)는 수신 구성요소(208)로부터 입력 쌍(204)을 수신하고 5개의 CCR 유형을 갖는 CCR 시스템을 활용함으로써 입력 쌍(204)을 분류한다. CCR 유형 분류는 CCR 평가 구성요소(210)에 의해 입력 쌍 CCR 유형(206)으로서 출력된다. 분류 자체는 프로세스를 용이하게 하기 위해 사람의 상호작용 및/또는 머신 학습을 활용할 수 있다. 어떤 사람의 상호작용이든 CCR 시스템에 기반한 타이핑에 제한되므로, 사람인 상대방에 의해 부여되는 관련성에 관한 주관적인 영향은 충분히 감소된다.

도 3을 보면, 실시예의 한 양태에 따른 적응 가능한 키워드 RV 평가 시스템(300)의 블록 다이어그램이 예시되어 있다. 적응 가능한 키워드 RV 평가 시스템(300)은 키워드(304) 및 광고 대상/엔티티(306)를 얻고 키워드 비즈니스 관련성(308)을 제공하는 적응 가능한 키워드 RV 평가 구성요소(302)로 이루어진다. 적응 가능한 키워드 RV 평가 구성요소(302)는 적응 가능한 RV 평가 구성요소(310) 및 비즈니스 관련성 모델 구성요소(312)로 이루어진다. 적응 가능한 키워드 RV 평가 구성요소(302)는 다수의 키워드 비즈니스 관련성들의 평가를 제공하기 위해 다수의 비즈니스 관련성 모델 구성요소들을 활용할 수도 있다. 적응 가능한 RV 평가 구성요소(310)는 키워드(304) 및 광고 대상/엔티티(306)를 얻고 입력 쌍을 위한 CCR 유형을 결정한다.

비즈니스 관련성 모델 구성요소(312)는 CCR 유형을 수신하고 키워드 비즈니스 관련성(308)을 결정하는 것을 용이하게 하기 위한 적절한 비즈니스 관련성 모델을 적용한다. 비즈니스 관련성 모델 구성요소(312)에 의해 채택되는 비즈니스 관련성 모델은 시간이 경과함에 따라 변할 수 있고, 그래서, 적응 가능한 RV 평가 구 성요소(310)에 의해 제공되는 동일한 CCR 유형을 가정하면 키워드(304) 및 광고 대상/엔티티(306)를 위한 키워드 비즈니스 관련성(308)이 시간이 경과함에 따라 변할 수도 있음을 알아야 한다. 다른 한 예로, 제각기 상이한 비즈니스 관련성 모델들을 가질 수 있는 다수의 비즈니스 관련성 모델 구성요소들이 채택될 수 있다. 그래서, 적응 가능한 RV 평가 구성요소(310)에 의해 제공되는 CCR 유형은, 적응 가능한 RV 평가 구성요소(310)가 CCR 유형을 다시 결정/검증할 것을 요구함이 없이, 상이한 키워드 비즈니스 관련성들을 제공하기 위한 다수의 모델에 의해 활용될 수 있다(동시적으로도). 그래서, 적응 가능한 키워드 RV 평가 시스템(300)은 알고리즘적으로 파생되는 키워드 비즈니스 관련성들에 대한 사람의 인지에 의해 파생되는 키워드 비즈니스 관련성 등의 평가를 제공하기 위해 채택될 수 있다.

도 4를 보면, 실시예의 한 양태에 따른 적응 가능한 키워드 광고 평가 시스템(400)의 블록 다이어그램이 도시되어 있다. 적응 가능한 키워드 광고 평가 시스템(400)은 키워드(404) 및 광고 대상/엔티티(406)를 얻고 키워드 비즈니스 결정(408)을 제공하는 적응 가능한 키워드 광고 평가 구성요소(402)로 이루어진다. 적응 가능한 키워드 광고 평가 구성요소(402)는 적응 가능한 키워드 RV 평가 구성요소(410) 및 키워드 광고 평가 구성요소(412)로 이루어진다. 적응 가능한 키워드 RV 평가 구성요소(410)는 키워드(404) 및 광고 대상/엔티티(406)를 얻는다. 적응 가능한 키워드 RV 평가 구성요소(410)는 입력 쌍(404/406)을 위한 CCR 유형을 결정하고 입력 쌍(404/406)을 위한 비즈니스 관련성을 결정하기 위해 적절한 비즈니스 관련성 모델을 적용한다. 비즈니스 관련성 모델은 기업에 의해 공급될 수 있거나 및/또는 적응 가능한 키워드 광고 평가 구성요소(402)에 의해 제공된다. 그래서, 예를 들어, 광고 경매 설정에서, 기업은 키워드를 선택하고 비즈니스 관련성 모델을 제공하거나 및/또는 단지 키워드를 선택하고 경매 엔티티가 적절한 비즈니스 관련성 모델을 제공하게 할 수 있다.

키워드 광고 평가 구성요소(412)는 적응 가능한 키워드 RV 평가 구성요소(410)로부터 키워드 비즈니스 관련성을 얻고 키워드 비즈니스 결정(408)을 제공한다. 키워드 광고 평가 구성요소(412)는 키워드(404)의 비즈니스 관련성이 그 비즈니스가 그 키워드(404)에 관해 입찰하는 것을 허용하기에 충분한지를 사실상 결정한다. 키워드 광고 평가 구성요소(412)에 의해 활용되는 기준은 원한다면 동적으로 변화될 수 있다. 키워드 광고 평가 구성요소(412)가 경매 엔티티에 의해 제어될 수 있거나 및/또는 키워드 비즈니스 결정을 하기 위해 활용되는 파라미터들이 광고 엔티티/기업들에게 유포되어 그들이 특정한 키워드에 관해 자신들이 입찰하기에 적절한지를 결정하기 위한 자신들의 시스템을 평가할 수 있게 한다. 적응 가능한 관련성 검증, 적응 가능한 비즈니스 모델 및/또는 적응 가능한 키워드 비즈니스 결정 모델들을 활용함으로써 얻어지는 충분한 유연성은 데이터에 다시 레이블을 붙이거나, 관련성 알고리즘을 다시 평가하거나, 및/또는 다수의 관련성 알고리즘들을 개발할 것을 요구함이 없이 경매에서 키워드 관련성들을 평가하는 매우 효율적인 방식을 제공한다.

RV( relevancy verification )

RV는 통상적으로 모델을 형성하기 위해 테스트 데이터로부터 훈련되는 머신 학습 알고리즘들을 활용한다. 알고리즘들은 테스트 데이터로부터 얻어지는 모델에서 학습된 지식에 기반하여 입력 쌍들에 관한 관련성 결정들을 제공한다. 예를 들어, RV는 중요한 비즈니스 효과를 갖는 키워드 경매 기반 유료 검색 플랫폼에서 활용된다. 경매 시스템에서의 RV의 역할은 광고주가 입찰한 키워드가 그들이 제출하는 광고 페이지와 관련이 있는지를 자동으로(사람인 편집자의 검토 없이) 답변하려는 것이다. 이 경매 시스템에서, 각각의 키워드/광고 페이지 쌍은 RV 검사를 통과해야 한다. 그러므로, RV는 유료 검색 시스템의 중요한 경로에 있다. 그래서, RV는 사람이 검토하는 접근방식보다 훨씬 더 스케일러블하고 비용 절감적인 전문적 솔루션이다. 그러나, 사람인 편집자들을 대신할 수 있기 위해, RV는 사람인 편집자와 충분히 유사한 정확한 관련성 판정을 해야만 한다. 문제는, 한 RV 알고리즘이 주어진다고 하면, 어떻게 사람의 인지 시스템에 의해 기술될 수 있는 측정 가능한 방식으로 관련성을 평가하고 알고리즘 결정들을 사람의 결정들에 대해 비교하느냐는 것이다.

또한, 테스트 데이터를 수집하고 RV 모델을 형성하는 것(이른바 "모델 훈련")은 시간과 자원을 사용한다. 비즈니스 환경은 항상 변하고 있고 관련성에 관한 비즈니스 표준들은 시간이 경과함에 따라 변할 수 있으며, 그래서, 동일한 데이터 입력에 적용될 필요가 있는 다수의 비즈니스 관련성 표준들이 있을 수 있다. 그러므로, 솔루션이 다시 훈련될 필요 없이 단일의 RV 알고리즘으로부터의 변화하는 다수의 관련성 표준들을 지원한다면 가장 효과적이다. 본원의 시스템 및 방법의 예들은 테스트 데이터와 무관한 사람의 인식 개념 관계(human cognitive concept relationship)에 기반한 RV 평가 솔루션을 제공한다. 다른 예로, 평가 솔루션은 또한 그러한 개념 관계에 의해 알고리즘 결정들을 비즈니스 관련성 표준들로 매핑하기도 하며, 그럼으로써 모델 재훈련 및/또는 다수의 모델들에 대한 요구를 제거한다.

통상적인 RV 평가 접근방식

RV 알고리즘을 평가하기 위한 통상적인 방법은 통상적으로 다음의 단계로 이루어진다. 1) 일반적으로 다수의 데이터 세트들을 갖는 테스트 데이터에 사람이 레이블을 붙이는 단계. 각각의 사례에 "관련" 또는 "비관련"의 레이블이 붙여진다. 2) RV 알고리즘 결정들을 사람에 의한 레이블에 대해 비교하는 단계. 3) 모든 데이터 사례들에 걸쳐 각각의 데이터에 관한 정확도 행렬들로 귀착하는 보고단계. 정확도 행렬들의 예가 두개의 테스트 데이터 세트들을 보여주는 표 1에 예시되어 있다.

표 1: 통상적인 정확도 행렬
데이터 세트 1	사례 합계	사람에 의한 레이블
	1000	관련	비관련
알고리즘 결정	관련	70%	10%
	비관련	4%	16%
데이터 세트 2	사례 합계	사람에 의한 레이블
	100	관련	비관련
알고리즘 결정	관련	40%	10%
	비관련	20%	30%
총계	사례 합계	사람에 의한 레이블
	1100	관련	비관련
알고리즘 결정	관련	67%	10%
	비관련	5%	17%

표 1에서 이용된 값들은 단지 예시를 위한 것임을 알아야 한다.

본원의 시스템 및 방법의 예들이 이진 출력(관련 및 비관련)으로 예시되어 있지만, 본원의 시스템 및 방법들은 출력들의 수 및/또는 출력 값들과 관련하여 제한되지 않는다. 이러한 두 개의 데이터 세트들은 데이터 크기 및 고유의 데이터 관련성 차이들에 관해 상당한 변화를 가짐을 알 수 있다. 데이터 세트들에 걸친 관련성 디스패리티를 처리하기 위해, 사람들은 보통 각각의 데이터 세트(예를 들어, 데이터 세트 1, 데이터 세트 2)에 대해 사람에 의한 레이블과 머신 결정들 사이의 일치(정확) 및 불일치(오류)를 보고할 것이고, 이어서 결합된 모든 테스트 사례(예를 들어, 총계)에 관한 정확도 행렬을 계산한다.

통상적인 접근방식의 문제

이러한 기존의 접근방식은 다음과 같은 문제들을 포함한다.

1) 보편적이고 비즈니스에 정통한 평가 근거가 결핍된다 - 그러한 근거 없이는, 관련성에 관한 테스트 데이터 품질이 양적으로 기술될 수 없고, 그러므로 사람에 의한 레이블의 정확도를 제어하기가 곤란하다. 한 데이터 사례에 어떤 결정(관련 또는 비관련)에 의한 레이블이 붙여질 때, 사람의 어떤 결정에 기반해서 왜 그것이 이루어지는지 알지 못한다. 그래서, 두 명의 편집자가 동일한 사례에 대해 상이한 관련성 레이블을 붙이는 것이 흔하다.

2) 머신 관련성 평가가 테스트 데이터의 관련성 품질과 연관되어 있고 그래서 무관하지 않다 - 통상적인 접근방식은 각각의 개별적 테스트 세트마다 사람에 의한 출력에 비교함으로써 알고리즘 출력 품질을 보고하려는 것(각각의 데이터 세트가 정확히 무엇을 표시하는지에 관해서만)이며, 결합된 모든 사례들에 대해서도 그와 동일한 것만 개요로서 보고하려는 것이다. 이 방식으로는 알고리즘 정확도를 객관적으로 독립적으로 평가하기가 곤란하다.

3) 변화하는 또는 다수의 비즈니스 요구들에 의해 비즈니스 관련성 결정을 변화시키기 곤란하다 - 예를 들어, 상이한 관련성 요구들을 갖는 두개의 비즈니스 애플리케이션들이 있다. 제1 애플리케이션은 동일한 것에 관한 두 개의 입력이 말해지고 있을 때까지 관련 결정을 하지 않을 것이다. 그러나, 제2 애플리케이션은 그러한 엄격한 관련성 표준을 요구하지 않는다. 그것은 두 개의 입력이 서로 함께 할 아무런 것도 갖지 않는 것이 아닌 한 관련 결정을 출력할 것이다. 또는 동일한 비즈니스 애플리케이션은 시간이 경과함에 따라 변화하는 관련성 표준을 가질 것이다. 이러한 모든 요건들은 데이터 세트 자체와 연관된 관련성 평가의 통상적인 접근 방식에 의해 충족될 수 없다. 비즈니스 관련성 표준이 변화할 때는 그것이 다시 레이블을 붙일 것 및 유동적인 재훈련을 요구하거나, 또는 제각기 상이한 비즈니스 관련성 표준을 위해 작용하는 다수의 모델을 형성할 것을 요구할 것이다.

적응 가능한 접근방식

본원의 시스템 및 방법의 예들은 CCR 시스템을 관련성 평가를 위한 기초로서 선택하는 것을 허용한다. 이것은 양적이고 기술할 수 있는 비즈니스에 정통한 근거이다. 예시들은 사람이 테스트 사례들을 CCR 시스템으로 분류하는 단계를 제공할 수도 있다. 이 단계는 데이터의 세트 경계들을 무시하고 테스트 사례들을 CCR 유형에 의해 분류한다. 이렇게 함으로써, 테스트 데이터에 무관한 관련성 평가가 가능해진다. 또한 알고리즘 정확도의 측정이 CCR 시스템에 의해 수행된다. 그래서, 각각의 데이터 세트에 의해 알고리즘 관련성을 측정(수직 평가)하는 대신에, 사람의 인식에 기반하고 테스트 데이터의 관련성 품질과 무관한 각각의 CCR 유형에서 그것이 측정(수평 평가)된다. 이것은 적응 가능한 비즈니스 관련성 결정 행위를 제공한다. 비즈니스 관련성 결정 표준은 동일한 CCR 시스템에 관해 기술되며, 그러므로, 알고리즘 출력들이 비즈니스 표준으로 직접 매핑될 수 있다. 본원의 시스템 및 방법의 예들은 당연히, 사람에 의해 데이터에 다시 레이블을 붙이거나 또는 알고리즘 관련성을 다시 측정할 것을 요구할 필요가 없이, 어떤 수의 비즈니스 애플리케이션들이든 상이한 관련성 표준들과 함께 지원할 수 있고 시간이 경과함에 따른 비즈니스 관련성 표준의 변화를 지원할 수 있다.

적응 가능한 방법

본원에 기술된 예시들은 다음의 단계들의 일부 또는 전부를 채택할 수 있다(아래에서 상세하게 기술됨).

1. CCR 시스템을 관련성 평가 근거로서 이용

2. 사람이 테스트 데이터를 CCR로 분류

3. CCR 시스템에 의해 알고리즘 관련성을 양적으로 측정

4. CCR 시스템에 의해 알고리즘 출력을 비즈니스 관련성 결정으로 매핑

CCR 유형을 관련성 평가 근거로서 이용

표 2에 나타낸 바와 같이 모두 5개의 입력 쌍 사이의 CCR 유형들이 있다.

표 2: CCR(Cognitive Concept Relationship)
유형	입력(a,b) 관계	예
0	a와 b가 동일	a=personal computer b=PC
1	a는 b의 초집합(superset)	a=electronics b=TV
2	a는 b의 부분집합	a=TV b=electronics
3	a와 b가 중첩	a=HP printer (including cartridge) b=printer cartridges for all brands
4	a와 b는 따로따로 떨어진 개념 범주	a=software b=apparel

일반적으로 말해서, 유형 번호가 증가함에 따라 두 입력들의 관련성은 감소된다. 도 5의 예시(500)에 도시된 바와 같이 이러한 CCR 유형들은 그래프로 가시화될 수 있다. CCR 시스템은 어떤 두 입력의 관련성이든 양적으로 기술한다.

테스트 데이터의 사람에 의한 CCR 분류

데이터에 레이블을 붙이는 것은 사람에 의한 분류 연습이 되고, 각각의 데이터 사례(두 입력을 가짐)를 5개의 유형들 중 하나로 분류한다. 이 단계에서는, 데이터 세트 경계가 무시되고 사람에 의한 CCR에 의해 테스트 데이터의 5개의 유형들이 발생된다. CCR 유형들에 의해 데이터에 라벨이 붙여지면, 세트들에 걸친 관련성 및 크기 디스패리티 등과 같은 주어진 데이터에서의 다양성들은 RV 평가에 무관하다. 도 6은 CCR 유형에 의한 다수의 세트들을 갖는 테스트 데이터의 예시적 분포를 도시하는 그래프(600)이다.

사람에 의한 레이블이 개별적 테스트 사례 기초에 관해 단순하게 관련 또는 비관련을 출력하는 통상적인 접근방식은 정량화하고 설명하며 품질을 제어하기가 곤란하다. 또한, 관련성 결정이 이루어지면, 비즈니스 관련성 결정 표준이 업데이트될 때 그것이 변화될 수 없다. 그 경우에, 비즈니스 관련성 표준이 변화할 때, 테스트 데이터에 다시 라벨이 붙여져야 한다. 또한, CCR 등과 같은 범주 시스템(category system)이 없이 무엇이 관련이고 무엇이 비관련인지를 사람인 검토자에게 양적으로 설명하기가 곤란하다. 본원의 시스템 및 방법의 예들에서는, 사람인 편집자들은 단순히 테스트 데이터의 입력 쌍들을 CCR 시스템으로 분류하라고 요청되며, 그것은 매우 수월하고 레이블 품질의 제어를 더 용이하게 한다. 관련성 결정 행위는 솔루션의 최종 단계로 지연되고, 변화하는 비즈니스 관련성 표준들이 지원될 수 있다.

CCR 에서의 알고리즘 정확도 측정

데이터 세트를 활용하는 대신에, 이제 머신 정확도가 각각의 유형을 위한 앞서의 단계로부터 분류된 데이터를 이용하여 CCR 유형에 의해 측정된다. 그러므로, 평가는 양적으로 기술할 수 있고 주어진 테스트 데이터 품질과 무관하다. 도 7의 그래프(700)는 CCR에 의한 RV 머신 시스템의 정확도의 예시적 출력을 도시한다. 이 그래프(700)는 유형 0(두 입력이 사람에 의한 레이블로부터 동일한 개념에 관한 것임)(702)의 경우에, RV 알고리즘이 96% 정확함, 즉, 100개의 유형 0 사례들에서 RV가 96회 정확함을 나타낸다. 이 단계에서는, RV 알고리즘의 정확도가 각각의 CCR 유형에서 양적으로 측정된다. 결과들은 개별적 데이터 세트들에 의하는 것 대신에 CCR에 의해 기술된다. 다시 말하자면, 비즈니스 관련성 결정 행위가 후속 단계로 지연된다.

알고리즘 출력을 CCR 에 의해 비즈니스 관련성 결정으로 매핑

CCR에 의해 기술된 알고리즘 결과들에 의해, 알고리즘 출력이 CCR 시스템에서의 비즈니스 관련성 결정으로 직접 매핑될 수 있다. 표 3은 상이한 관련성 표준을 갖는 두 개의 비즈니스 애플리케이션들을 가정하여 그러한 매핑을 예시한다.

표 3: 알고리즘 출력 매핑
		비즈니스 결정에 대한 CCR 유형		비즈니스 관련성에 관한 알고리즘 정확도
애플리케이션	비즈니스 관련성 요구	관련	비관련	관련	비관련
애플리케이션 1	엄밀한(Strict)	0	1,2,3,4	96%	13%
애플리케이션 2	엄밀하지 못한(Loose)	0,1,2,3	4	92%	47%

우선, 비즈니스 관련성 요구들이 CCR로 정량화된다. 예를 들어, 애플리케이션 1로부터의 "엄밀한(Strict)"은 다음과 같이 전환된다.

1. 관련은 CCR 유형 0을 포함하고,

2. 비관련은 CCR 유형 1 내지 4를 포함한다.

다음에, CCR 매핑에 대한 비즈니스 관련성 및 각각의 CCR 유형에서의 알고리즘 관련성 정확도에 기반하여 알고리즘 관련성이 정량화된다.

알고리즘의 평가된 BRA(Business Relevant accuracy)는 다음과 같다.

예로서, 애플리케이션 #1을 위한 BRA는 아래와 같다.

알고리즘의 평가된 BNRA(Business Non-Relevant accuracy)는 아래와 같이 계 산된다.

예로서, 애플리케이션 #1을 위한 BNRA는 아래와 같이 계산된다.

BRA 및 BNRA는 각각 주어진 비즈니스 표준에 의해 관련 및 비관련이 얼마나 정확한지(사람들에 의한 동의 가능성)를 표시한다. 본원에 제공된 평가 솔루션은 비즈니스 관련 및 비즈니스 비관련 범주들에 관한 오류율을 보고할 수도 있으며, 그것은 각각 단순히 1-BRA 및 1-BNRA이다. 이로부터, 데이터에 레이블을 다시 붙이거나, 알고리즘을 다시 훈련시키거나, 및/또는 다시 평가할 필요가 없이, 단일의 RV 알고리즘이 상이한 관련성 표준을 갖는 다수의 비즈니스 애플리케이션 및/또는 시간이 경과함에 따라 변화하는 관련성 표준을 갖는 동일한 비즈니스 애플리케이션을 직접 지원할 수 있음이 보여지고 있다. 이것은 비즈니스 관련성 표준을 주어진 CCR 유형 시스템에 매핑하고, 사람의 인지에서의 따로따로 떨어진 상이한 관련성 관계의 모든 이점을 취함으로써 이루어진다. 그리고, NRA 및 BNRA는 비즈니스 관련 및 비즈니스 비관련 범주들에 대한 각각의 CCR 유형에서의 알고리즘 정확도 크기로부터 계산된다. 키워드 비즈니스 관련성 모델 및/또는 키워드 광고 모델들의 정확도를 더 평가하기 위해 유사한 평가 알고리즘들이 채택될 수도 있다.

앞서 도시되고 기술된 예시적 시스템들에 비추어, 실시예들에 따라 구현될 수 있는 방법들은 도 8 내지 10의 플로우 차트들을 참조하면 더 잘 알 수 있을 것이다. 설명의 단순함을 위해 방법이 일련의 블록들로서 도시되고 기술되지만, 일부의 블록들은 실시예에 따라 본원에 도시 및 기술된 것과 상이한 순서 및/또는 다른 블록들과 동시에 일어날 수 있으므로, 실시예들은 블록들의 순서에 의해 제한되지 않음을 이해하고 알아야 한다. 더욱이, 실시예들에 따른 방법들을 구현하기 위해 모든 예시된 블록들이 요구되지 않을 수도 있을 것이다.

실시예들은 하나 이상의 구성요소들에 의해 실행되는 프로그램 모듈 등과 같은 컴퓨터 실행 가능 명령어의 일반적 콘텍스트로 기술될 수 있을 것이다. 일반적으로, 프로그램 모듈들은 특정한 작업들을 수행하거나 또는 특정한 추상 데이터 유형을 구현하는 루틴, 프로그램, 개체, 데이터 구조 등을 포함한다. 통상적으로, 프로그램 모듈들의 기능은 실시예들의 다양한 예에서 기술된 바와 같이 원하는 대로 결합 또는 분산될 수 있을 것이다.

도 8에, 실시예의 한 양태에 따른 RV 평가를 용이하게 하는 방법(800)의 플로우 다이어그램이 도시되어 있다. 방법(800)은 입력 쌍을 얻음으로써(804) 시작된다(802). 입력 쌍은 광고 키워드 및 광고 대상(예를 들어, 광고 웹페이지, 웹페이지 광고, 배너 등에 의해 판촉되는 특정한 제품 및/또는 제품 라인) 및/또는 엔티티(예를 들어, 특정한 광고 대상 등이라기 보다는 기업)로 이루어질 수 있다. 그리고, 데이터와 무관한 입력 쌍의 관련성(Data independent relevancy of the input pair)이 적어도 부분적으로, CCR 유형들에 기반하여 결정되고(806), 플로우 를 종료한다(808). CCR 유형들은 적응 가능한 비즈니스 관련성 모델들을 제공하기 위한 비즈니스 관련성 모델들에 대한 입력으로서 활용될 수 있다. CCR 유형들이 비즈니스 관련성 모델에서 활용되는 방법을 적응시킴으로써 모델 자체가 관련성 기준의 다수의 유형 및/또는 시간이 경과함에 따른 관련성 기준의 변화들에 적응될 수 있다. 그러나, CCR 유형들은 이러한 적응 가능성을 얻기 위해 변화할 필요가 없다.

도 9를 보면, 실시예의 한 양태에 따른 비즈니스 관련성 결정 행위를 적응 가능하게 용이하게 하는 방법(900)의 플로우 다이어그램이 도시되어 있다. 방법(900)은 비즈니스에 의해 요구되는 광고 키워드를 얻음으로써(904) 시작된다(902). 그리고, 적응 가능한 비즈니스 관련성 결정 행위 프로세스의 채택에 의해 키워드의 광고 관련성이 결정되고(906), 플로우를 종료한다(908). 이것은 CCR 시스템을 채택할 수 있는 적응 가능한 비즈니스 관련성 결정 행위 프로세스를 활용하는 광고 관련성의 평가를 허용한다. 그래서, 알고리즘과 사람의 인지 접근방식들 사이의 비교가 용이하게 이루어질 수 있다.

도 10을 보면, 실시예의 한 양태에 따른 RV 평가를 용이하게 하는 방법(1000)의 다른 한 플로우 다이어그램이 예시되어 있다. 방법(1000)은 CCR 시스템을 관련성 평가 근거로서 채택함으로써(1004) 시작된다(1002). CCR 시스템은 앞서 표 2에서 나타낸 바와 같이 5개의 관계 유형들을 포함한다. 유형 번호가 증가함에 따라 관련성은 통상적으로 감소된다. 그래프 예시(500)에 대해서는 도 5를 보라. CCR 시스템은 관련성이 양적으로 기술되게 한다. 그리고, 테스트 데이터는 사람에 의해 CCR 시스템으로 분류된다(1006). 이것은 데이터 세트 경계를 무시하고 테스트 데이터의 5개 유형들이 사람의 CCR에 의해 발생된다. CCR 유형들에 의해 데이터에 레이블이 붙여지면, 세트들에 걸친 관련성 및 크기 디스패리티 등과 같은 주어진 데이터에서의 다양성은 RV 평가와 무관하다. 예를 들어, 사람인 편집자들은 단순히 테스트 데이터의 입력 쌍들을 CCR 시스템으로 분류하라고만 요청될 수 있고, 그것은 수월하고 레이블 품질의 제어를 더 용이하게 한다. 이것은 변화하는 비즈니스 관련성 표준들이 지원되게 하여 관련성 결정 행위를 지연시킨다.

그리고, 알고리즘 관련성이 CCR 시스템에 의해 양적으로 측정된다(1008). 통상적인 접근방식에서처럼 데이터 세트를 활용하는 대신에, 각각의 유형에 대한 분류된 데이터를 활용하여 CCR 유형에 의해 머신 정확도가 측정된다. 그러므로, 평가는 양적으로 기술할 수 있고 주어진 테스트 데이터 품질에 무관하다. 그리고, 알고리즘 출력이 CCR 시스템에 의해 비즈니스 관련성 결정으로 매핑되고(1010), 플로우를 종료한다(1012). CCR에 의해 기술된 알고리즘 결과에 의해, 알고리즘 출력이 CCR 시스템에서의 비즈니스 관련성 결정으로 직접 매핑될 수 있다. 우선, 비즈니스 관련성 요구들이 CCR로 정량화된다. 다음에, 각각의 CCR 유형에서의 CCR 매핑 및 알고리즘 관련성 정확도에 대한 비즈니스 관련성에 기반하여 알고리즘 관련성이 정량화된다. 그래서, 데이터에 다시 레이블이 붙여지거나, 알고리즘을 다시 훈련시키거나 및/또는 다시 평가할 것을 요구함이 없이, 단일의 RV 프로세스가 상이한 관련성 표준들을 갖는 다수의 비즈니스 애플리케이션 및/또는 시간이 경과함에 따라 변화하는 관련성 표준을 갖는 동일한 비즈니스 애플리케이션을 직접 지원 할 수 있다. 이것은 따로따로 떨어져 있고 상이한 사람의 인식에서의 관련성 관계의 모든 장점을 취하여 비즈니스 관련성 표준들을 주어진 CCR 유형 시스템으로 매핑함으로써 이루어진다. 그리고, 비즈니스 관련 및 비즈니스 비관련 범주들에 대한 각각의 CCR 유형에서의 알고리즘 정확도 크기로부터, NRA 및 BNRA가 계산된다. 키워드 비즈니스 관련성 모델 및/또는 키워드 광고 모델들의 정확도들을 더 평가하기 위해 유사한 평가 알고리즘들이 채택될 수 있다.

실시예들의 다양한 양태들을 구현하기 위한 추가적 콘텍스트를 제공하기 위해, 도 11 및 다음의 설명은 실시예들의 다양한 양태들이 수행될 수 있는 적당한 컴퓨팅 환경(1100)의 간략하고 일반적인 기술을 제공하고자 한다. 위에서는 실시예들이 로컬 컴퓨터 및/또는 원격 컴퓨터상에서 실행하는 컴퓨터 프로그램의 컴퓨터 실행 가능 명령어의 일반적 콘텍스트로 기술되었지만, 당 기술분야에서 숙련된 자들은 실시예들이 기타의 프로그램 모듈들과 결합하여 수행될 수도 있음을 알 것이다. 일반적으로, 프로그램 모듈들은 특정한 작업들을 수행하거나 및/또는 특정한 추상 데이터 유형들을 구현하는 루틴, 프로그램, 구성요소, 데이터 구조 등을 포함한다. 더욱이, 당 기술분야에서 숙련된 자들은 본 발명의 방법이 단일 프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터뿐만 아니라, PC(personal computer), 핸드헬드 컴퓨팅 장치, 마이크로프로세서 기반 및/또는 프로그래머블 가전 기기 등을 포함하는 기타의 컴퓨터 시스템 구성들에 의해 실시될 수도 있음을 알 것이며, 그 각각은 하나 이상의 관련 장치들과 작동상 통신할 수 있다. 실시예들의 예시된 양태들은 통신 네트워크를 통해 링크된 원격 처리 장치 들에 의해 특정한 작업이 수행되는 분산 컴퓨팅 환경에서 실시될 수도 있다. 그러나, 실시예들의 양태들의 전부는 아니라도 일부는 독립적 컴퓨터 상에서 실시될 수도 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 로컬 및/또는 원격 메모리 저장 장치에 배치될 수 있다.

도 11을 보면, 실시예들의 다양한 양태들을 수행하기 위한 예시적 시스템 환경(1100)이 처리 장치(1104), 시스템 메모리(1106) 및 시스템 메모리를 포함하는 다양한 시스템 구성요소들을 처리 장치(1104)에 연결하는 시스템 버스(1108)를 포함하는 통상적인 컴퓨터(1102)를 포함한다. 처리 장치(1104)는 상업적으로 구매 가능하거나 또는 사유의 어떤 프로세서든 될 수 있다. 또한, 처리 장치는 병렬로 연결될 수 있는 것 등과 같이 하나를 초과하는 프로세서로 이루어진 멀티프로세서로서 구현될 수 있다.

시스템 버스(1108)는 메모리 버스 또는 메모리 컨트롤러, 주변장치 버스, 및 몇 개만 거명하여 PCI, VESA, 마이크로채널, ISA 및 EISA 등과 같은 다양한 통상적인 버스 아키텍처들 중 어떤 것이든 이용하는 로컬 버스를 포함하는 몇몇 유형의 버스 구조들 중 어떤 것이든 될 수 있다. 시스템 메모리(1106)는 ROM(read only memory)(1110) 및 RAM(random access memory)(1112)을 포함한다. 시동시 등과 같은 때에 컴퓨터(1102) 내의 구성요소들 사이의 정보 전송을 돕는 기본적인 루틴을 갖는 BIOS(basic input/output system)(1114)가 ROM(1110)에 저장된다.

컴퓨터(1102)는 또한 예를 들어, 하드 디스크 드라이브(1116), 예를 들어, 이동식 디스크(1120)로부터 판독 또는 기입하기 위한 자기 디스크 드라이브(1118), 및 예를 들어, CD-ROM 디스크(1124) 또는 기타의 광 매체로부터 판독 또는 기입하기 위한 광 디스크 드라이브(1122)를 포함할 수 있다. 하드 디스크 드라이브(1116), 자기 디스크 드라이브(1118), 및 광 디스크 드라이브(1122)는 하드 디스크 드라이브 인터페이스(1126), 자기 디스크 드라이브 인터페이스(1128), 및 광 드라이브 인터페이스(1130)에 의해 시스템 버스(1108)에 각각 연결된다. 드라이브(1116-1122) 및 그와 관련된 컴퓨터 판독 가능 매체는 컴퓨터(1102)를 위한 데이터, 데이터 구조, 컴퓨터 실행 가능 명령어 등의 비휘발성 저장을 제공한다. 앞서의 컴퓨터 판독 가능 매체의 기술이 하드 디스크, 이동식 자기 디스크 및 CD를 지칭할지라도, 자기 카세트, 플래시 메모리, 디지털 비디오 디스크, 베르눌리 카트리지(Bernoulli cartridge) 등과 같은 컴퓨터에 의해 판독 가능한 기타 유형의 매체가 예시적 운영 환경(1100)에서 이용될 수도 있고, 어떤 그러한 매체든 실시예들의 방법을 수행하기 위한 컴퓨터 실행 가능 명령어를 가질 수 있음을 당 기술분야에서 숙련된 자들은 알 것이다.

운영 체제(1132), 하나 이상의 애플리케이션 프로그램(1134), 기타의 프로그램 모듈(1136) 및 프로그램 데이터(1138)를 포함하는 다수의 프로그램 모듈들이 드라이브(1116-1122) 및 RAM(1112)에 저장될 수 있다. 운영 체제(1132)는 어떤 적당한 운영 체제 또는 운영 체제들의 결합이든 될 수 있다. 예로서, 애플리케이션 프로그램(1134) 및 프로그램 모듈(1136)들은 실시예의 한 양태에 따른 관련성 검증 평가 방식을 포함할 수 있다.

사용자는 키보드(1140) 및 포인팅 장치(예를 들어, 마우스(1142)) 등과 같은 하나 이상의 사용자 입력 장치들을 통해 명령 및 정보를 컴퓨터(1102)에 입력할 수 있다. 기타의 입력 장치(도시 안됨)는 마이크, 조이스틱, 게임 패드, 위성 안테나, 무선 리모트, 스캐너 등을 포함할 수 있다. 상기 및 기타의 입력 장치들은 흔히 시스템 버스(1108)에 연결된 직렬 포트 인터페이스(1144)를 통해 처리 장치(1104)에 연결되지만, 병렬 포트, 게임 포트 또는 USB(universal serial bus) 등과 같은 기타의 인터페이스들에 의해 연결될 수도 있다. 모니터(1146) 또는 기타 유형의 디스플레이 장치는 비디오 어댑터(1148) 등과 같은 인터페이스에 의해 시스템 버스(1108)에 연결되기도 한다. 모니터(1146) 외에, 컴퓨터(1102)는 스피커, 프린터 등과 같은 기타의 주변 출력 장치(도시 안됨)를 포함할 수 있다.

컴퓨터(1102)는 하나 이상의 원격 컴퓨터(1160)에 대한 로직 연결을 이용하여 네트워크 환경에서 작동할 수 있음을 알아야 한다. 원격 컴퓨터(1160)는 워크스테이션, 서버 컴퓨터, 라우터, 피어 장치 또는 기타의 보편적인 네트워크 노드일 수 있으며, 통상적으로 컴퓨터(1102)와 관련하여 기술된 구성요소들의 다수 또는 전부를 포함하지만, 간결함을 위해, 메모리 저장 장치(1162)만 도 11에 예시되어 있다. 도 11에 도시된 로직 연결들은 LAN(local area network)(1164) 및 WAN(wide area network)(1166)을 포함할 수 있다. 그러한 네트워킹 환경들은 사무실, 전사적 컴퓨터 네트워크, 인트라넷 및 인터넷에서 보편적이다.

예를 들어, LAN 네트워킹 환경에서 이용될 때, 컴퓨터(1102)는 네트워크 인터페이스 또는 어댑터(1168)를 통해 로컬 네트워크(1164)에 연결된다. WAN 네트워킹 환경에서 이용될 때, 컴퓨터(1102)는 통상적으로 모뎀(예를 들어, 전화, DSL, 케이블 등)(1170)을 포함하거나, 또는 LAN 상에서 통신 서버에 연결되거나, 또는 인터넷 등과 같은 WAN(1166)을 통해 통신을 설정하기 위한 기타의 수단을 갖는다. 컴퓨터(1102)에 대해 내장 또는 외장일 수 있는 모뎀(1170)은 직렬 포트 인터페이스(1144)에 의해 시스템 버스(1108)에 연결된다. 네트워크 환경에서, 프로그램 모듈(애플리케이션 프로그램(1134)들을 포함) 및/또는 프로그램 데이터(1138)는 원격 메모리 저장 장치(1162)에 저장될 수 있다. 도시된 네트워크 연결은 예시적인 것이고, 실시예의 한 양태를 수행할 때는 컴퓨터(1102 및 1160)들 사이에서 통신 링크를 형성하는 기타의 수단(예를 들어, 유선 또는 무선)이 이용될 수 있음을 알 것이다.

컴퓨터 프로그래밍 분야에서 숙련된 자들의 관행에 따라, 달리 표시되지 않는 한, 컴퓨터(1102) 또는 원격 컴퓨터(1160) 등과 같은 컴퓨터에 의해 수행되는 행위 및 작동의 기호적 표현을 참조하여 실시예들이 기술된다. 그러한 행위 및 작동들은 종종 컴퓨터 실행되는 것으로 지칭된다. 행위 및 기호로 표현된 작동들은, 전기적 신호 표현을 최종 변환 또는 변형하고, 메모리 시스템(시스템 메모리(1106), 하드 드라이브(1116), 플로피 디스크(1120), CD-ROM(1124), 및 원격 메모리(1162))의 메모리 위치에서 데이터 비트들을 유지하여, 컴퓨터 시스템의 작동의 재구성 또는 다른 방식의 변경뿐만 아니라, 기타의 신호 처리를 하는, 데이터 비트들을 나타내는 전기적 신호들의 처리 장치(1104)에 의한 조작을 포함함을 알 것이다. 그러한 데이터 비트들이 유지되는 메모리 위치들은 데이터 비트들에 대응하는 특정한 전기, 자기, 또는 광 속성들을 갖는 물리적 위치이다.

도 12는 실시예들이 상호작용할 수 있는 샘플 컴퓨팅 환경(1200)의 다른 한 블록 다이어그램이다. 시스템(1200)은 하나 이상의 클라이언트(1202)들을 포함하는 시스템을 더 예시한다. 클라이언트(1202)들은 하드웨어 및/또는 소프트웨어(예를 들어, 스레드, 프로세스, 컴퓨팅 장치)일 수 있다. 시스템(1200)은 하나 이상의 서버(1204)들을 포함하기도 한다. 서버(1204)들은 하드웨어 및/또는 소프트웨어(예를 들어, 스레드, 프로세스, 컴퓨팅 장치)일 수도 있다. 클라이언트(1202)와 서버(1204) 사이의 한 가능한 통신은 둘 이상의 컴퓨터 프로세스들 사이에서 전송되도록 적응된 데이터 패킷의 형태일 수 있다. 시스템(1200)은 클라이언트(1202)와 서버(1204) 사이의 통신을 편리하게 하기 위해 채택될 수 있는 통신 프레임워크(1208)를 포함한다. 클라이언트(1202)들은 클라이언트(1202)에 대해 로컬로 정보를 저장하기 위해 채택될 수 있는 하나 이상의 클라이언트 데이터 저장소(1210)에 연결된다. 마찬가지로, 서버(1204)는 서버(1204)에 대해 로컬로 정보를 저장하기 위해 채택될 수 있는 하나 이상의 서버 데이터 저장소(1206)에 연결된다.

실시예들의 시스템 및/또는 방법들은 관련성 검증 평가를 용이하게 하는 컴퓨터 구성요소 및 컴퓨터가 아닌 구성요소들에서 동일하게 활용될 수 있음을 알아야 한다. 또한, 당 기술분야에서 숙련된 자들은 실시예들의 시스템 및/또는 방법들이 컴퓨터, 서버 및/또는 핸드헬드 전자 기기 등을 포함하지만 이에 제한되는 것은 아닌 전자 관련 기술들의 거대한 어레이에서 채택될 수 있음을 알 것이다.

앞서 기술된 것은 실시예들의 예를 포함한다. 물론, 실시예들을 기술하기 위한 목적상 구성요소 또는 방법들의 모든 생각할 수 있는 결합들을 기술하는 것은 불가능하지만, 당 기술분야에서 통상의 지식을 가진 자는 실시예들의 또다른 많은 결합 및 치환이 가능함을 알 것이다. 따라서, 본 발명은 첨부된 특허청구의 범위의 정신 및 범위 내에 있는 그러한 모든 개조, 변경 및 변화들을 포함하고자 한다. 또한, "갖는다"라는 용어가 상세한 기술 또는 특허청구의 범위에서 사용되는 한, 그러한 용어는, "포함"이 특허청구의 범위에서 통상적인 단어로서 채택될 때 해석되듯이, "포함"이라는 용어와 유사한 방식으로 포괄적일 것을 의도하는 것이다.

Claims (20)

1. 데이터 아이템 쌍들의 관련성 검증 평가를 용이하게 하는 시스템에 있어서,

   관련성 평가를 위한 입력 데이터 아이템 쌍을 얻는 수신 구성요소, 및

   관련성 검증 프로세스의 평가 및 상기 관련성 검증 프로세스를 훈련시키기 위해 활용되는 테스트 데이터와 무관한 상기 입력 데이터 아이템 쌍의 관련성의 결정을 용이하게 하기 위한 평가 시스템을 채택하는 평가 구성요소를 포함하는 관련성 검증 평가를 용이하게 하는 시스템.
2. 제1항에 있어서,

   상기 입력 데이터 아이템 쌍은 광고 키워드 및 광고 대상 및/또는 엔티티에 관련된 관련성 검증 평가를 용이하게 하는 시스템.
3. 제1항에 있어서,

   상기 평가 구성요소는 상기 관련성 검증 프로세스의 평가를 용이하게 하기 위해 CCR(cognitive concept relationship) 시스템을 활용하는 관련성 검증 평가를 용이하게 하는 시스템.
4. 제3항에 있어서,

   상기 CCR 시스템은 테스트 사례들의 사람에 의한 분류를 채택하는 관련성 검 증 평가를 용이하게 하는 시스템.
5. 제3항에 있어서,

   상기 평가 구성요소는 알고리즘 관련성 정확도의 측정치를 제공하는 관련성 검증 평가를 용이하게 하는 시스템.
6. 제1항에 있어서,

   비즈니스 모델과 관련된 키워드의 관련성을 적응 가능하게 결정하기 위해 관련성 결정을 활용하는 비즈니스 모델 구성요소를 더 포함하는 관련성 검증 평가를 용이하게 하는 시스템.
7. 제6항에 있어서,

   비즈니스 모델 관련성에 기반하여 키워드를 위한 비즈니스 광고 결정을 하는 광고 구성요소를 더 포함하는 관련성 검증 평가를 용이하게 하는 시스템.
8. 제1항에 있어서,

   상기 평가 구성요소는 다수의 비즈니스 관련성 표준들을 동시에 지원하거나 및/또는 상기 평가 모델을 다시 훈련시킴이 없이 시간이 경과함에 따라 변화하는 비즈니스 관련성 표준들을 지원하는 관련성 검증 평가를 용이하게 하는 시스템.
9. 제1항의 관련성 검증 평가를 용이하게 하는 시스템을 적어도 부분적으로 채택하는 광고 키워드 경매 시스템.
10. 데이터 아이템 쌍의 관련성 검증 평가를 용이하게 하기 위한 방법에 있어서,

    관련성이 평가될 입력 데이터 아이템 쌍을 얻는 단계, 및

    CCR(cognitive concept relationship) 시스템을 활용하는 평가 모델을 채택함으로써 알고리즘 관련성 검증 훈련 데이터와 무관한 상기 입력 데이터 아이템 쌍의 관련성을 평가하는 단계를 포함하는 관련성 검증 평가를 용이하게 하기 위한 방법.
11. 제10항에 있어서,

    상기 입력 데이터 아이템 쌍은 광고 키워드 및 광고 엔티티 및/또는 대상과 관련된 관련성 검증 평가를 용이하게 하는 방법.
12. 제10항에 있어서,

    사람들에 의해 분류되는 상기 CCR 시스템을 위한 테스트 사례들을 채택하는 단계, 상기 테스트 사례들에서의 설정된 데이터 경계들을 무시하는 단계, 및 테스트 데이터에 무관한 관련성 평가를 사용 가능하게 하는 단계를 더 포함하는 관련성 검증 평가를 용이하게 하는 방법.
13. 제10항에 있어서,

    관련성에 대한 알고리즘 정확도를 측정하기 위해 상기 CCR 시스템을 활용하는 단계를 더 포함하는 관련성 검증 평가를 용이하게 하는 방법.
14. 제10항에 있어서,

    상이한 비즈니스 관련성 표준들을 갖는 비즈니스 애플리케이션, 시간이 경과함에 따른 비즈니스 관련성 표준의 변화, 및/또는 동시 발생하는 다수의 비즈니스 관련성 표준들을 지원하기 위해 알고리즘 출력들을 비즈니스 표준으로 직접 매핑하는 단계를 더 포함하는 관련성 검증 평가를 용이하게 하는 방법.
15. 키워드를 자동으로 경매하는 것을 용이하게 하기 위해 제10항의 관련성 검증 평가를 용이하게 하는 방법을 적어도 부분적으로 채택하는 온라인 인터넷 경매 방법.
16. 광고 키워드 경매를 평가하기 위한 방법에 있어서,

    비즈니스 엔티티가 자신들의 광고와 연관되기를 원하는 키워드를 얻는 단계, 및

    상기 키워드가 비즈니스와 관련이 있는지를 평가하기 위해 적응 가능한 비즈니스 관련성 결정 행위 프로세스를 활용하는 단계를 포함하는 광고 키워드 경매 평가 방법.
17. 제16항에 있어서,

    비즈니스에 의한 입찰의 수락을 상기 비즈니스에 대한 상기 키워드의 관련성에 기반하여 결정하는 단계를 더 포함하는 광고 키워드 경매 평가 방법.
18. 제16항에 있어서,

    상기 적응 가능한 비즈니스 관련성 결정 행위 프로세스가 적어도 부분적으로 CCR(cognitive concept relationship) 기법에 기반하고 있는 광고 키워드 경매 평가 방법.
19. 컴퓨터, 서버 및 핸드헬드 전자 기기로 이루어진 그룹으로부터 선택된 적어도 하나를 포함하는 제10항의 관련성 검증 평가를 용이하게 하는 방법을 채택하는 장치.
20. 컴퓨터, 서버 및 핸드헬드 전자 기기로 이루어진 그룹으로부터 선택된 적어도 하나를 포함하는 제1항의 관련성 검증 평가 용이하게 하는 시스템을 채택하는 장치.

Images