KR20140105478A - 사진을 이용하여 동작을 개시 및 수행하는 기법 - Google Patents

사진을 이용하여 동작을 개시 및 수행하는 기법 Download PDF

Info

Publication number
KR20140105478A
KR20140105478A KR1020147016684A KR20147016684A KR20140105478A KR 20140105478 A KR20140105478 A KR 20140105478A KR 1020147016684 A KR1020147016684 A KR 1020147016684A KR 20147016684 A KR20147016684 A KR 20147016684A KR 20140105478 A KR20140105478 A KR 20140105478A
Authority
KR
South Korea
Prior art keywords
user
candidates
face
person
social
Prior art date
Application number
KR1020147016684A
Other languages
English (en)
Inventor
다니엘 부크뮤엘러
아미르 아크바자데
마이클 크로에플
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140105478A publication Critical patent/KR20140105478A/ko

Links

Images

Classifications

    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

새로운 연결관계를 소셜 그래프에 추가하는 것과 같은 동작은 사진 촬영을 통해 수행될 수 있다. 일 예로, 사용자는 하나 이상의 사람의 사진을 촬영한다. 사진에 있는 얼굴은 식별을 위해 소셜 네트워크로 전송될 수 있다. 소셜 네트워크는 소셜 네트워크의 사진 데이터베이스 및 그의 소셜 그래프를 비롯하여, 얼굴을 식별하기 위해 다양한 리소스를 사용할 수 있다. 사진에 있는 사람이 식별된 경우, 사용자는 식별된 사람에 대해 소정의 동작(예를 들어, 소셜 네트워크에 "친구로 추가")이 수행되도록 나타낼 수 있다. 사용자에 의해 요청된 동작은 식별된 사람에 대해 수행될 수 있다.

Description

사진을 이용하여 동작을 개시 및 수행하는 기법{USING PHOTOGRAPH TO INITIATE AND PERFORM ACTION}
소셜 네트워크는 일반적으로 페이스북에서의 친구 관계 또는 트위터에서의 "추종(following)" 관계의 경우에서와 같이, 사용자가 자신과 다른 사람과의 관계를 식별할 수 있도록 해준다. 이러한 관계를 파악하기 위해, 사용자는 전형적으로 자신이 관계를 형성하고 싶어하는 사람을 이름으로 검색하거나 또는 이름이 사용자에게 표시될 때 그 이름을 인식함으로써 그 사람을 식별한다. 그러나, 사용자는 자신이 알지 못하는 이름의 사람들을 만날 수 있다. 예를 들어, 사용자는 사람의 이름을 찾는 일 없이 파티나 다른 행사에서 그 사람을 만날 수 있다.
또한, 소셜 네트워크는 일반적으로 태그된(tagged) 사진의 큰 데이터베이스를 갖는다. 얼굴 검출을 사용하여, 이 얼굴의 이미지를 수신하고 태그된 사진에 얼굴을 비교함으로써, 이미지에 표시된 사람의 가능한 아이덴티티를 결정할 수 있다. 그러나, 소셜 네트워크는 일반적으로 이러한 얼굴 매칭 기법을, 새로운 사진에 얼굴에 대해 가능한 태그를 제안하거나, 또는 사진에 자동 태그하는데 주로 사용한다.
사람은 사진을 사용하여 친구 요청, 메시지, 초대 등과 같은 동작의 대상을 식별함으로써 소셜 네트워크에 참여할 수 있다. 사람은 사람의 사진을 찍기 위해카메라를 구비한 무선 전화기와 같은 장치를 사용한다. 사진은 그 사진에서 얼굴을 식별하기 위해 분석될 수 있다. 장치는 사용자가 사진에 보여진 사람에 대해 소정의 동작을 취할 수 있게 해주는 인터페이스를 사용자에게 제시할 수 있다. 예를 들어, 인터페이스는 사용자가 사진에 보여진 사람을 "친구"로 지정할 수 있게 해준다.
사진에 표시된 사람에 대하여 동작을 수행하기 위한 사용자 요청 이전에, 얼굴(혹은 얼굴의 표현)을 포함하는 사진은 소셜 네트워크 서버(또는 하나 이상의 소셜 네트워크 서비스에 쿼리하는 중개 서비스)로 업로드된다. 이 서버는 소셜 그래프 (예를 들어, 페이스북 서비스에서의 사용자의 그래프(이 그래프에서의 가장자리는 친구 관계를 나타냄))를 유지하고, 또한 소셜 그래프에 있는 사용자의 사진을 가질 수 있다. 소셜 네트워크 서버는 또한 다양한 형태의 추론(reasoning)을 사용하여, 소셜 그래프 내의 사람의 하나 이상의 후보 아이덴티티를 선택하는 소프트웨어를 가질 수 있다. 예를 들어, 소프트웨어는 사진에서의 얼굴과 후보들 간의 유사성, 사진을 업로드하는 사람과 후보(들) 간의 사회적 거리, 사진이 촬영된 시간 및 장소, 후보의 직장 및 나이, 사진에 등장하는 다른 사람의 아이덴티티, 소셜 네트워크에서 가입한 동일한 이벤트에 참여하는 사람의 아이덴티티, 또는 임의의 다른 적절한 요소에 기초하여 후보 아이덴티티를 선택할 수 있다. 이런 추론에 기초하여, 소프트웨어는 하나 이상의 후보 얼굴을 식별할 수 있다. 하나의 후보 얼굴이 충분히 높은 신뢰로 식별되는 경우, 사용자의 요청이 수행될 수 있다. 예를 들면, 친구 요청은 사용자로부터의 후보로 행해질 수 있다. 두 개 이상의 후보의 얼굴이 존재하는 경우, 사용자는 후보의 이름을 통해, 또는 후보의 공개 프로필 사진(이 경우, 후보의 프라이버시 설정은 그들의 이름이 아닌 그들의 공개 프로필 사진이 사용되도록 한다)을 통해 후보 중에서 선택하도록 요구받을 수 있다. 사용자는 식별된 사용자에 대해 수행될 동작을 선택할 수 있고, 또는 수행되는 동작의 메뉴에서 선택할 수 있다. 요청된 동작은 선택된 후보에 대해 수행될 수 있다.
본 요약은 이하 발명의 상세한 설명에서 보다 자세히 기술될 개념들 중 선택된 것들을 단순화된 형식으로 소개하기 위해 제공되는 것이다. 본 요약은 청구대상의 주된 사항 또는 핵심 사항을 밝히기 위한 것이 아니며, 청구대상의 범위를 한정하기 위한 것도 아니다.
도 1은 사용자가 작업을 수행하기 위해 사진을 사용하는 예시적인 시나리오의 블록도이다.
도 2는 예시적인 소셜 네트워크 서버의 상세 블록도이다.
도 3은 사용자가 사람에 대하여 동작을 개시 및/또는 수행하기 위해 그 사람의 사진을 사용할 수 있는 예시적인 프로세스의 흐름도이다.
도 4는 본원에 기술된 주제의 구현과 관련하여 사용될 수 있는 예시적인 컴포넌트들의 블록도이다.
소셜 네트워크는 사용자가 다른 사용자와의 관계를 지정할 수 있도록 해준다. 예를 들어, 페이스북의 "친구" 관계는 사람 사이의 양방향 관계의 일 예이다. 또 다른 예로서, 트위터의 "추종" 관계는 사람 사이의 단방향 관계의 예이다. 사람 사이의 관계에 대한 보다 풍부한 정보도 수집될 수 있다. 예를 들어, 페이스북에서, 두 사용자 사이의 기본적인 관계는 "친구" 관계이지만, 사람들은 그들이 서로의 친척인 것으로 지정할 수 있다. 또한, 페이스북은 비 사용자 엔티티(예를 들면, 정당, TV 쇼, 음악 그룹 등)를 가질 수 있으며, 이 비 사용자 엔티티는 "친구가능(friendable)"하지 않지만, 사용자가 이러한 엔티티를 "좋아요"를 통해 그들의 선호도를 나타낼 수 있다. 누가 누구와 친구인지, 누가 어떤 엔티티를 좋아하는지, 누가 누구와 친척인지, 누가 누구를 추종하는지 등에 대한 정보는 세상에서 사람과 엔티티들 간의 관계에 대한 자세한 정보를 제공하는 복잡한 소셜 그래프를 형성한다.
소셜 네트워크 서비스가 일반적으로 수집하는 정보의 한 종류는 사진이다. 사람들은 사진을 공유하는 방법으로서 그 사진을 소셜 네트워크에 업로드할 것을 선택하고, 또한 사진에 있는 사람들을 태그할 수 있다. 태그된 사진은 특정 사람들이 어떻게 생겼는지에 대한 많은 양의 정보를 제공한다. 이 정보는 이전에 태그 된 사진에서 알려진 얼굴과 새로운 사진에서의 얼굴을 비교하여, 태그없는 사진에서 얼굴을 식별하는 얼굴 검출 알고리즘과 함께 사용될 수 있다.
소셜 네트워킹 사이트는 얼굴 인식을 기반으로 하는 소정 유형의 태그 서비스를 제공할 수 있다. 예를 들어, 사용자가 새로운 태그없는 사진을 제출 또는 업로드하는 경우, 사이트는 그 사진을 검사하여 사진에 있는 얼굴이 사용자의 사진 또는 사용자의 친구의 사진 등에서 태그된 얼굴에 얼마나 유사한지를 결정한다. 사이트는 사진에서 얼굴을 확인했을 때 충분한 신뢰 레벨을 새로운 사진이 가지고 있는 경우 자동으로 그 새로운 사진을 태그할 수 있다. 또는, 사이트가 하나 이상의 후보들을 식별했지만 어떠한 특정 후보에서도 충분히 높은 신뢰 레벨을 가지지 않은 경우, 사이트 사진에 표시된 사람의 하나 이상의 가능한 아이덴티티를 제안하고 후보들 사이에서 아이덴티티를 확인 또는 선택할 것을 사용자에게 요구할 수 있다. 그러나, 이러한 사이트는 적어도 두 가지 결함을 가지고 있다. 첫째, 사이트는 종종 얼굴 검출의 사용을 사용자 태그 사진을 돕는 것에 제한한다. 둘째, 사이트는 새로운 사진이 이미 사용자의 사진에 등장한 사람들을 포함하는 경우 도움이 되는 경향이 있지만 사용자에게 알려지지 않은 사람들을 식별하는 데에는 도움이 덜 된다.
본 명세서에서 설명된 주제는 동작의 대상을 식벼하는 방법으로서 사진을 사용한다. 사용자는 사람들을 포함하는 사진을 촬영하거나 또는 업로드함으로써 프로세스를 시작할 수 있다. 사진은 사진에서의 얼굴을 식별하기 위해 분석될 수 있다. 사진의 각 얼굴에 대해, 사용자는 그 사용자에 대하여 몇몇 동작을 수행할 수있는 기회를 제공받을 수 있다. 예를 들어, 사용자는 사진 속의 사람을 친구로 추가하거나 그 사람에게 메시지를 보내거나 (적절한 권한이 요청하는 사용자로 하여금 프로필을 볼 수 있도록 한다면) 그 사람의 프로필을 보거나, 또는 그 사람에게 초대장을 보내거나 사용자에게 페이스북 유형 "포크(poke)"를 보내거나 임의의 다른 적절한 동작을 수행할 수 있는 기회를 제공받을 수 있다.
전술한 것이 일어날 수 있도록 하기 위해, 사진(또는 얼굴을 포함하는 사진의 영역들과 같은 사진의 일부, 또는 얼굴의 특징을 나타내는 클라이언트 장치에서 계산된 메타데이터)이 소셜 네트워킹에 업로드될 수 있다(여기서, "소셜 네트워킹 서비스로의 업로딩"은 하나 이상의 소셜 네트워크에 정보를 전달하거나 하나 이상의 소셜 네트워크의 소셜 그래프를 노출함으로써 하나 이상의 소셜 네트워크에 대한 중개자로서 역할을 하는 서비스로 업로드하는 동작을 포함함). 소셜 네트워킹 서버는 요청에 대해 사용자를 지원할 수 있도록 해주는 특정 유형의 정보를 유지할 수 있다. 예를 들면, 소셜 네트워킹 서버는 사용자들 사이의 관계를 나타내는 그 사용자의 소셜 그래프를 유지할 수 있다. 또한, 소셜 네트워킹 사이트는 얼굴 매칭 과정에 대한 모범으로서 역할을 할 수 있는 식별된 얼굴들의 집합을 제공하는 태그된 사진들의 세트를 유지할 수 있다. (사용자의 이해관계를 비밀로 유지하기 위해, 사용자는 사용자가 얼굴 매칭 목적을 위해서 자신의 얼굴의 사진이 사용되도록 허용할지 여부를 결정할 기회를 부여받을 수 있다.) 사진에 등장하는 사람의 아이덴티티로 사진을 태그하는 것 외에, 사진은 사진이 촬영된 시간 및/또는 장소와 같은 정보로 태그될 수 있다. 또한, 소셜 네트워킹 사이트는 사용자의 나이, 거주 도시, 직장, 소속, 이해관계, 또는 기타 임의의 적절한 정보와 같은 사용자에 대한 정보를 유지할 수 있다. (상기 정보의 일부는 사용자에게 개인적인 것으로 간주될 수 있기 때문에, 소셜 네트워킹 사이트는 사용자로부터 획득한 적절한 권한에 따라 이 정보를 유지할 수 있다. 또한, 사용자의 프라이버시를 보호하기 위해, 이러한 정보가 어떻게 사용될 수 있는지에 대한 컨트롤이 존재할 수 있다.) 소셜 네트워킹 사이트는 요청의 대상을 식별하기 위해 소셜 그래프 및 사진 데이터베이스에 포함된 정보를 사용하는 컴포넌트를 가질 수 있다. 컴포넌트는 도 2와 연계하여, 아래에서 상세히 설명되는 다양한 방법으로 소셜 그래프 및 사진 데이터베이스의 정보를 사용할 수 있다.
사람이 식별되면, 소셜 네트워크 서버는 사용자의 장치에 하나 이상의 후보 아이덴티티를 반환할 수 있다. 각 얼굴에 대해 충분히 높은 신뢰 레벨로 식별 된 단일 후보 아이덴티티만이 있다면, 사용자의 컴퓨터 또는 기타 장치 상의 소프트웨어는 단순히 그 아이덴티티를 수락하고 그 사람에 대해 소정의 동작을 수행할 기회를 사용자에게 제공할 수 있다. 한편, 소셜 네트워크 서버가 충분히 높은 신뢰 레벨을 가진 사람을 식별할 수 없는 경우에, 소셜 네트워크 서버는 사용자의 장치에 하나 이상의 후보의 리스트를 반환할 수 있고 사용자의 장치는 선택을 확인하거나 또는 가능한 선택 중에서 선택하도록 사용자에게 요구할 수 있다. 사용자가 확인 또는 선택을 하면, 그 사람은 요청의 대상이 될 수 있다. 그 후, 사용자는 요청된 동작을 입력하는 것이 허용될 수 있고, 또는 메뉴에서 가능한 동작들의 세트를 제공받을 수 있다. 사용자가 소정의 동작을 나타내면, 요청된 동작이 대상자에 대하여 수행된다. 사용자의 아이덴티티가 전술한 프로세스에 사용되는 방식은 사람의 프라이버시 설정에 따라 제한될 수 있다. 예를 들어, 사람은 자신이 사진에 의해 사람을 식별하는 요청의 대상이 될 수 있는 것을 거부하거나, 그와 친구가 아닌 사람에게 자신의 이름이나 프로필 사진이 알려지는 것을 허용하지 않거나, 또는 단지 자신의 공개 프로필 사진만(이름은 제외)이 사용되는 것을 허용할 수 있다. 예를 들어, 사람은 이름을 제외한 자신의 공개 프로파일 사진만이 사용되는 것을 허용하는 경우, 프로필 사진(이름은 제외)은 구별 요청(disambiguation request)에서 그 사람을 식별하는 데 사용될 수 있다. 또한, 사람에 대하여 수행될 수 있는 동작들의 세트는 사진에서 누가 사람으로 식별되는 지에 기초하여 제한될 수 있다. 예를 들어, 사진에 있는 사람에 대한 가능한 아이덴티티일 수 있는 두 명의 호보, 즉, A 및 B가 존재할 수 있다. A는 식별된 사진에 기초하여 자신을 친구이도록 허용할 수 있지만, B는 그렇지 않을 수 있다. 사용자가 A를 선택함으로써 선택을 명확히 하는 경우, 친구 요청이 옵션으로서 제공될 수 있는 한편, 사용자가 B를 선택함으로써 선택을 명확히 하는 경우에는 친구 요청은 옵션으로 제공되지 않을 수 있다.
사진에 대해 태그(또는 제안된 태그)를 자동으로 제공하는 시스템은, 사진에 의해 식별된 대상과 사람 사이에서 소셜 그래프에서의 연결관계를 구성하는 시스템과 다르고 또한 그 시스템으로부터 자명하지도 않다. 전자의 경우는 단지 얼굴 검출인 반면, 후자의 경우는 소셜 그래프를 확장하기 위해 얼굴의 아이덴티티를 사용한다. 또한, 사용자가 텍스트의 형태로 대상의 이름을 입력함으로써 친구 요청의 대상을 지정할 수 있도록 해주는 시스템은, 사용자가 대상의 사진을 사용함으로써 그 대상을 지정할 수 있도록 해주는 시스템과는 동일하지 않고, 또한 그로부터 자명하지도 않다.
이제 도면들을 참조하면, 도 1은 사용자가 소정의 동작을 수행하기 위해 사진을 사용하는 예시적인 시나리오를 도시한다. 도시된 예에서, 사용자(102)는 장치(104)를 갖는다. 장치(104)는 무선 전화기, 핸드헬드 컴퓨터, 뮤직 플레이어, 태블릿, 또는 임의의 다른 유형의 장치일 수 있다. 장치(104)는 사용자(102)가 장치(104)를 이용하여 사진을 찍을 수 있도록 해주는 카메라(106)를 구비할 수 있다. (일 예에서, 장치(104)는 독립형 카메라 수 있다.) 사용자(102)는 사람들의 사진을 촬영한다. 사용자(102)는 사람(108) 중 하나 일 수 있거나, 또는, 이와 달리, 사람(108)은 사용자(102)를 포함하지 않는 사람들의 그룹일 수 있다. 촬영되는 사진(110)은 장치(104)의 스크린(112)에 나타날 수 있다. 장치(104)의 컴포넌트(예를 들어, 소프트웨어 컴포넌트)는 사진(110)에 나타나는 얼굴(14)을 검출할 수 있다. (소프트웨어가 이미지의 어떤 부분이 얼굴인지를 분석하고 이미지화하며 결정하도록 하는 기술들이 일반적으로 알려져 있다.)
장치(104)는 사진(110)(또는 얼굴을 포함하는 추출된 직사각형과 같이 사진(110)을 나타내는 데이터, 또는 얼굴 인식을 용이하게 하기 위한 얼굴 특징을 정량화 및 나타내는 데이터)을 소셜 네트워크 서버(118)에 업로드할 수 있다. (위에서 언급한 바와 같이, "소셜 네트워크 서버에 업로드"하는 동작은 일 예로, 소셜 네트워크 서버에 정보를 전송하거나, 또는 소셜 네트워크 서버에 의해 유지되는 소셜 그래프를 노출시키는 중개 서버에 업로딩하는 동작을 포함한다.) 업로드된 정보는 사진(110), 하나 이상의 얼굴 이미지(120) (또는 얼굴 이미지를 나타내는 메타데이터)를 모두 포함할 수 있고, 또한, 사용자(102)의 아이덴티티(121)도 포함할 수 있다.
소셜 네트워크 서버(118)는 소셜 네트워킹 시스템을 구현하는 소프트웨어 및/또는 하드웨어를 포함할 수 있다. 예를 들어, 페이스북의 소셜 네트워킹 서버를 운영하는 머신 및 소프트웨어의 집합은 소셜 네트워크 서버(118)의 예다. ("소셜 네트워크 서버"라는 용어는 단수이지만, 그 용어는 복수의 서버, 또는 복수의 컴포넌트의 조합을 통해 구현하는 시스템들을 지칭할 수 있다.) 소셜 네트워크 서버 (118)는 예를 들어 누가 누구와 친구인지, 누가 누구를 추종하는지 등과 같이 사람들 간의 관계를 나타내는 소셜 그래프(122)를 유지할 수 있다. 또한, 소셜 네트워크 서버는 소셜 네트워크의 사용자에 의해 업로드된 사진(126)을 포함하는 사진 데이터베이스(124)를 유지할 수 있다. 또한, 사진 데이터베이스(124)는 사진에 대한 다양한 메타데이터를 포함할 수 있다. 메타데이터는 (누구 또는 무엇이 사진에 있는지를 나타내는) 사진에 적용된 태그(127), 사진이 언제 및 어디서 촬영되었는지를 나타내는 날짜/시간/장소 정보(128), 또는 사진에 대한 임의의 다른 정보를 포함할 수 있다. 소셜 네트워크 서버(118)는 또한 사용자(102)의 요청의 대상이 될 수 있는 하나 이상의 후보를 식별하는 소프트웨어 및/또는 하드웨어를 포함하는 선택 컴포넌트(130)를 가질 수 있다. 선택 컴포넌트(130)는 다양한 방법으로, 예를 들어, 요청 대상과 유사하게 보이는 알려진 사용자의 사진을 찾거나, 요청하는 사용자(102)에 대해 낮은 사회적 거리를 가진 사람들을 찾거나, 요청하는 사용자 (102)와 나이가 비슷한 사람을 찾거나, 사용자(102)와 같은 곳에서 일하는 사람을 찾거나, 사진이 찍힌 시간에 요청하는 사용자의 사진이 찍힌 장소에 있었던 것으로 알려져 있는 사람을 찾거나, 또는 임의의 다른 적절한 메카니즘에 따라 식별을 수행할 수 있다.
선택 컴포넌트가 하나 이상의 후보 아이덴티티를 식별한 경우, 사진에 나타나는 사람의 하나 이상에 대한 후보 리스트(132)가 장치(104)에 제공된다. 사용자(102)는 자신이 사람에 대해 소정의 동작을 수행하고자 함을 나타낼 수 있다. 예를 들어, 스크린(112)은 터치 스크린일 수 있고, 사용자는 자신이 해당 얼굴이 속하는 사람에 대하여 소정의 동작을 수행하고 싶다는 것을 나타내기 위해 얼굴을 탭(tap)할 수 있다. 해당 얼굴에 대해 하나의 후보 아이덴티티만이 존재하는 경우, 사용자(102)는 해당 사용자에 대해 수행될 동작을 입력할 수 있거나, 또는 가능한 동작의 메뉴가 사용자(102)에게 표시될 수 있다. (위에서 언급한 바와 같이, 메뉴의 동작들은 대상 사용자의 프라버시 설정에 의해 영향을 받을 수 있는데, 예를 들어, 사용자는 얼굴 인식에 기초하여 특정 동작만을 허용할 수 있다.) 하나의 얼굴에 대해 두 개 이상의 후보가 있는 경우, 사용자(102)는 이들 후보 중에서 선택하도록 요구받을 수 있다(또 다시 대상자의 프라이버시 설정에 따라, 후보는 그들의 이름 및/또는 공공의 프로필 사진으로 표시될 수 있다). 일 변형예에서, 선택 컴포넌트(130)는 선택들 중 한 번의 선택에서 두 개 이상의 후보들을 식별하지만, 이들에 대해 높은 신뢰 레벨을 가지는데, 이 경우, 보다 높은 신뢰의 후보가 "사전 선택"되는 선택권이 사용자(102)에게 제시되지만, 사용자는 사전 선택을 확인하거나, 또는 다른 후보들 중 하나로 선택을 변경할 것을 요구받는다. 장치(104)는 상호작용 컴포넌트(134)를 구비할 수 있는데, 이 상호작용 컴포넌트(134)는 사용자가 사진 내의 얼굴들 중 하나에 대해 요청을 행하기를 원한다는 표시로서의 사용자의 제스처 또는 다른 동작을 해석하고, 관련 정보를 소셜 네트워크 서버(118)로 전송하고, 적용가능한 몇몇 가능 후보들 중에서 선택하도록 사용자에게 요구할 수 있으며, 소정의 동작을 개시 및/또는 수행하기 위한 사진의 용도와 관련된 임의의 다른 동작을 장치(104) 상에서 수행하는 소프트웨어 및/또는 하드웨어를 포함할 수 있다. 예를 들어, 사용자가 스크린(112)에 표시된 얼굴들 중 하나를 탭하면, 그것은 도 1에 도시된 "친구로 추가" 메시지를 디스플레이하는 상호작용 컴포넌트(134)일 수 있다. 어떤 동작(136)이던 간에, 사용자 요청은 소셜 네트워크 서버(118)로 전송될 수 있다(이는 전술한 바와 같이, 중개자를 통해 수행될 수 있다).
도 2는 예시적인 소셜 네트워크 서버(118)의 세부사항을 도시한다. 도 1과 관련하여 상술한 바와 같이, 소셜 네트워크 서버(118)는 소셜 그래프(122), 사진 데이터베이스(124) 및 선택 컴포넌트(130)를 보유할 수 있다. 선택 컴포넌트(130)는 대상 요청에 대한 하나 이상의 후보를 식별할 수 있고, 다양한 요인에 기초하여 그렇게 할 수 있다. 이러한 요인의 적용은 소셜 그래프(122) 및/또는 사진 데이터베이스(124)에 포함된 정보에 기초하여 이루어질 수 있다. 사진 데이터베이스(124)는 전술한 바와 같이 사진 및 메타데이터를 포함할 수 있다.
소셜 그래프(122)는 사람들 간의 관계를 보여주는 데이터를 포함할 수 있다. 간단한 예를 들어, 도 2는 5명의 사람(251, 252, 253, 254, 255)을 갖는 소셜 그래프(122)를 도시하는데, 이들 5명은 그래프에서 노드로서 도시되어 있다. (동그라미를 연결하는 화살표로 표시된) 노드들 사이의 에지는 노드들 사이의 관계를 나타낸다. 각 화살표는 "친구" 관계, "추종" 관계, "친척" 관계, 공통으로 "좋아하는" 관계 (예를 들어, 페이스북에서 같은 페이지를 "좋아한" 두 사람), 또는 인식될 수 있는 임의의 다른 종류의 관계로 해석될 수 있다. 이러한 그래프가 주어지면, 두 사람 사이의 사회적 근접성 및/또는 거리를 정의할 수 있다. 예를 들어, (사람(251)을 지나) 2개의 에지를 거쳐 사람(255)으로부터 사람(252)에 도달할 수 있기 때문에, 사람(255)은 사람(252)으로부터 2의 거리를 가지고 있다. 이 사실은 사람(252)이 사람(255)의 "친구의 친구"(또는, 에지가 어떻게 해석되는지에 따라 "추종자의 추종자")임을 나타낼 수 있다. 관계의 거리 및/또는 존재를 결정할 때, 에지의 방향은 고려될 수도 있고, 또는 무시될 수도 있다. 예를 들어, 사람(252)이 사람(255)으로부터 2의 거리를 가지고 있지만, 에지의 방향이 고려되는 경우, 사람(252)은 사람(255)과는 관계를 가지고 있지 않는데, 그 이유는 사람(252)으로부터 사람(255)에 도달할 수 없기 때문이다. (다시 말해, 방향이 고려되는 경우, B가 A와 관계를 가지고 있지 않더라도 A는 B와 관계를 가질 수 있다.) 에지의 방향이 무시되는 경우, 사람(255) 및 사람(252)은 서로 2의 거리를 갖는다.
선택 컴포넌트(130)에 의해 고려될 수 있는 요인들의 예는 도 2에서 선택 컴포넌트(130) 내의 박스에 도시되어 있다.
고려될 수 있는 하나의 예시적인 요인은 사진 데이터베이스(124)의 사람과 요청의 대상인 사람 간의 시각적 유사성(블록 202)이다. 사용자가 대상에 대하여 소정의 요청을 수행할 것을 요청하는 경우, 대상의 얼굴의 이미지가 선택 컴포넌트(130)에 제공될 수 있다. (얼굴은 얼굴을 포함하는 원본 사진을 제공함으로써, 얼굴을 포함하는 영역을 추출하여 그 영역을 제공함으로써, 또는 얼굴 특징을 정량화하는 데이터를 추출함으로써 선택 컴포넌트(130)에 제공될 수 있다.) 얼굴 매칭 알고리즘은 얼굴이 사진 데이터베이스(124)에 나타나는 사람과 요청 대상의 얼굴을 비교하기 위해 사용될 수 있다. 사진 데이터베이스(124)에 있는 사람들의 실제 아아덴티티는 이전에 이들에 적용되어있는 태그를 통해 알려질 수도 있다. 두 얼굴 사이의 시각적 유사성은 얼굴들이 같은 사람의 것이라는 비교적 강한 표시일 수 있다.
고려될 수 있는 다른 예시적인 요인은 소셜 그래프에서의 근접성일 수 있다(블록 204). 예를 들어, 요청을 제출하는 사용자는 소셜 그래프에서 자신에게 가까운 사람, 예를 들어, 기존 친구, 친구의 친구, 친구의 친구의 친구, 동일한 페이지를 좋아하는 사람 등을 알고 있을 가능성이 더 높다. 사용자에 대해 관계가 없는, 또는 단지 먼 관계를 갖는 사람은 사용자에게 가까운 사람보다 요구의 대상이 될 가능성이 적다. 전술한 예는 요청하는 사용자에게 대한 사회적 근접성을 고려하지만, 다른 기준점으로부터의 사회적 근접성이 고려될 수 있다. 예를 들어, 사람 A는 사진을 찍을 수 있으며, 사람 B는 사람 B가 행하는 요청의 대상을 식별하기 위해 그 사진을 사용할 수 있다. 이 경우, 사회적 거리는 사진을 찍은 사람이나 요청을 행하는 사람으로부터 측정될 수 있다. 사람은 사진 작가에 대해 낮은 사회적 거리를 가지고 있는 사람의 사진을 찍을 가능성이 있고, 따라서 후보에 대한 검색은 요청자에 대해 낮은 사회적 거리를 갖는 사람, 또는 사진 작가에 대해 낮은 사회적 거리를 가진 사람에 초점을 둘 수 있다. (용어 "요청자"는 사용자가 사진을 통해 식별한 사람에 대하여 동작을 수행하도록 요청하는 사용자, 예를 들어, 도 1에 도시되어 있는 바와 같이 "친구로 추가" 요청을 행하기 위해 얼굴을 탭하는 사람을 지칭하는데 사용될 것이다.)
고려될 수 있는 또 다른 요인은 사진 작가 또는 요청에 대한 물리적 근접성이다(블록 206). 요청자는 요청자 근처에 사는 사람들에게 특정 유형의 요청(예를 들어, 친구 요청, 초대장 등)을 제출할 가능성이 있다. 또한, 사진 작가는 사진 작가 근처에 살고 있는 사람의 사진을 찍을 가능성이 있다. 요청자 또는 사진 작가에 대한 후보의 물리적 근접성이 그 후보의 선호에 따라 가중치를 부여하는 경향이 있지만, 그에 대한 상쇄 고려사항(countervailing considerations)이 존재한다. 예를 들어, 요청자 및/또는 사진 작가는 휴가 중일 수 있다. 또한, 다수의 동작(예를 들어, 광범위한 소셜 네트워크에 친구를 추가하는 것, 이메일 메시지를 전송하는 것 등)은 지리적으로 제한된 활동이 아닐 수 있다. 특정 후보가 사진에서 보이는 사람이라고 얼굴 매칭이 매우 강력하게 제안하면, 후보가 요청자 또는 사진 작가로부터 멀리 떨어져 살고 있다는 사실은 얼굴 매칭에 기초하여 찾은 결과를 무시하기에 충분하지 않을 수 있다. 따라서, 본 명세서에 기술된 모든 요소와 같이, 물리적 근접성은 다른 고려사항에 의해 대체될 수 있는 단지 하나의 고려사항이다.
고려될 수 있는 또 다른 요인은 같은 사진에 있는 다른 사람이다(블록 208). 동작을 수행하기 위한 요청을 시작하는 데 사용되는 그림은 여러 사람을 가질 수 있다. 사람들 중 하나는 동작의 대상이 될 수 있지만, 다른 사람은 그렇지 않을 수 있다. 사람들은 그들이 알고 있는 다른 사람들과 사진에 나타날 가능성이 있다. 따라서, 얼굴 매칭이 요청 대상인 특정 사용자를 식별하지만, 그 사람이 (소셜 그래프(122)에 따르면) 사진에 있는 어느 누구와도 알려져 있는 관계를 가지고 있지 않으면, 그 사실은 얼굴 매칭이 사람을 잘못 확인한 것으로 제안할 수 있다. 그러나, 사람은 자신이 알지 못하는 다른 사람들과 사진에 등장할 수 있고, 따라서, 본 명세서에서 기술된 다른 요인과 마찬가지로, 동일한 사진에 있는 다른 사람들과의 연결관계(또는 이의 부족)는 단지 후보를 식별하는데 사용될 하나의 고려사항에 불과하다. 또한, 블록(202-216)에서 언급된 임의의 정보, 예를 들어 소셜 그래프에서의 사람들의 위치, 그들의 이해관계, 그들의 직장 등이 사진에 있는 다른 사람을 위해 고려될 수 있지만, 사람에 대한 정보는 그 사람이 식별될 사람으로부터 얼마나 멀리에 떨어져 있는지에 따라 식별 과정에 덜 영향을 미칠 수 있다. 예를 들면, 식별될 수 있는 사람의 직장 관계는 그 사람을 식별하는데 큰 영향을 미칠 수 있고, 그 사람과 함께 사진에 등장하는 사람의 직장 관계는 소정의 영향력을 가지고 있지만, 대상자의 직장 관계보다 덜 영향력을 갖는다.
고려될 수는 있는 또 다른 요인은 사진이 촬영된 시간 및 장소(블록 210)와 사람이 있었던 것으로 알려진 시간 및 장소이다. 사람이 사진이 찍힌 위치가 아닌 다른 위치에 있는 것으로 알려져 있다면, 이 사실은 사진이 촬영된 시간에 그 사람이 실제로 사진에 등장함을 의미하지는 않을 것이다. 따라서, 얼굴 매칭에 의해 사진 내의 사람이 식별되지만, 사람이 사진이 찍힌 시간에 사진의 위치에 없었던 것으로 판정되는 경우, 사람은 후보로서 제거될 수 있다. 사람이 있었던 위치 및 그 사람이 있었던 시간에 대한 정보는 소셜 그래프(122) 및/또는 사진 데이터베이스(124)에 포함된 정보로부터 결정될 수 있다. 예를 들어, 사진은 그 사진이 언제 및 어디서 찍히었는지를 나타내는 메타데이터를 가질 수 있다. 주어진 사람의 행방은 각종 정보, 예를 들어 자기 보고(self-reporting)(예를 들면, 복수의 사용자들이 동일한 이벤트에 참석할 것을 사전에 나타내는 경우), 그 사람의 포스트와 연관된 시간 및 장소, 그 사람이 찍은 사진과 연관된 메타데이터 등으로부터 결정될 수 있다. (사람의 이해관계를 비밀로 유지하기 위해, 사용자의 행방에 대한 정보는 그 사람으로부터 얻은 적절한 권한에 따라 사용될 수 있다.)
고려될 수 있는 다른 요인은 직장(블록 212), 이해관계(블록 214) 및 나이(블록 216)이다. 같은 장소에서 일하고, 비슷한 이해관계를 가지거나, 또는 나이가 비슷한 사람은 서로의 요구의 대상이 될 가능성이 있다. 본 명세서에서 기술된 다른 요인과 마찬가지로, 이러한 고려사항은 상쇄 이해관계를 가질 수 있다. 예를 들어, 사용자는 비즈니스 컨퍼런스에서 나이가 많은 사람을 만날 수도 있고, 그 사람에게 친구 요청 또는 이메일 메시지를 보내기를 여전히 원할 수 있다. 그러나, 직장, 공통 이해관계 및 나이는 사진에서 요청의 대상이 누구인지를 결정하는데 있어서 고려될 수 있는 요소이다. 직장, 이해관계 및 나이에 대한 정보는 소셜 그래프(122)에서 입수가능할 수 있다. 나이와 관련하여, 나이는 미성년자의 경우 성인과는 다르게 처리될 수 있다. 예를 들어, 가능한 얼굴 매칭 결과로서 미성년자를 사용하는 것은 전적으로 허용되지 않을 수도 있고, 다른 미성년자에 의해 개시되는 얼굴 매칭으로 제한될 수 있다. 아니면, 또 다른 예에서, 미성년자는 모르는 사람을 식별하기 위해 얼굴 매칭을 사용하는 것으로부터 제한될 수 있다.
위에서 언급한 고려사항 외에도, 임의의 다른 적절한 정보가 고려 사항으로 사용될 수 있는데, 예를 들어 사용자들이 동일한 음악적 취향을 가지고 있는지, 동일한 음식을 좋아하는지, 또는 소셜 그래프 내의 사람들 사이의 임의의 다른 제안하는 공통성(또는 차이)이 사용될 수 있다. 일반적으로, 모든 다른 요인들이 동일하다면, 서로 공통의 항목을 갖는 사용자들은 사진에 함께 나타날 가능성이 높은 것으로 고려될 수 있다. 또한, 다른 모든 것들이 동일하다면, 사용자가 사용자와 공통점이 없는 사람보다 사용자와 공통점을 가지고 있는 사람의 사진을 찍거나 업로드 할 가능성이 높은 것으로 고려될 수 있다.
도 3은 사용자가 사람의 사진을 사용하여 그 사람에 대하여 동작을 개시 및/또는 수행할 수 있는 예시적인 프로세스를 도시한다. 도 3의 설명을 참조하기 전에, 도 3의 흐름도는 도 1 및 도 2에 도시된 컴포넌트를 참조하여 예시로서 설명되지만, 도 3의 프로세스는 도 1 및 도 2에 도시되어 있는 시나리오에 국한되지 않고 임의의 시스템에서 수행될 수 있다. 또한, 도 3의 흐름도는 블록들을 연결하는 라인으로 도시되어 있는 바와 같은 특정 순서로 프로세스의 단계들이 수행되는 예를 나타내고 있지만, 이 도면에 도시되어 있는 다양한 단계들은 임의의 순서, 또는 임의의 조합 또는 부분 조합으로 수행될 수 있다.
302에서, 사용자는 사진을 캡처할 수 있다. 예를 들어, 사용자는 카메라를 구비하는 무선 전화기를 휴대할 수 있으며, 그 카메라로 사진을 찍을 수 있다. 304에서, 사진에 있는 사람이 검출된다. 예를 들어, 얼굴 검출 알고리즘은 사진의 어느 영역이 사람의 얼굴을 포함하는지를 검출하기 위해 사진에 적용될 수 있다. 이 단계에서, 얼굴의 "검출"은 누구의 얼굴이 사진에 나타나는지에 대한 지식을 암시하지는 않는다. 그 보다, 304에서 수행된 동작에서의 얼굴 검출은 얼굴을 포함하지 않는 영역으로부터 얼굴을 포함하는 사진의 영역을 구분하는 동작을 지칭한다. (얼굴의 검출은 클라이언트 또는 서버에서 수행될 수 있다.) 또한, 얼굴 검출이 적용되는 사진은 사용자의 카메라에 의해 캡쳐된 사진일 수 있지만, 다른 시점에서, 및/또는 다른 장소에서 및/또는 다른 사람에 의해 촬영된 다른 사진일 수 있다. 예를 들어, 사용자는 무선 전화기를 휴대할 수 있지만, (멀티미디어 메시징 서비스(MMS), WiFi 업로드 등을 통해) 사진을 얻을 수 있고, 사진이 사용자에 의해 촬영된 것처럼 도 3에 설명된 프로세스에서 해당 사진을 사용할 수 있다. 본 발명은 사용자가 자신의 장치를 이용하여 사진을 찍고 그 장치를 이용하여 소정의 동작을 수행하는 시나리오에 한정되지 않고, 오히려 사진은 어디에서 입수가능하다.
318에서, 사진에 있는 사람의 얼굴의 표현은 소셜 네트워크 서버로 전송된다. 일례로, 전체의 사진은 (사진에 있는 사람이 요청의 대상이라는 소정의 표시와 함께) 소셜 네트워크에 전송될 수 있다. 다른 예에서, 사진으로부터 얼굴들이 추출될 수 있고, 별개로 전송될 수 있다. 또 다른 예에서는, 얼굴의 특징을 나타내는 메트릭이 계산될 수도 있고, 그 메트릭이 전송될 수 있다.
322에서, 후보의 얼굴이 선택된다. 후보 얼굴을 선택하는 프로세스는 (도 1 및 도 2에서 상술한) 선택 컴포넌트(130)에 의해 수행될 수 있고, 도 2와 관련하여 전술한 바와 다양한 유형의 선택 요인을 사용하여 수행될 수 있다. 선택 프로세스는 각 얼굴에 대해, 하나의 후보를 생성할 수도 있고, 복수의 후보를 생성할 수도 있다. 후보(들)은 사용자가 요청을 개시한 장치에 전송될 수 있다. (324에서 결정된 바와 같이) 둘 이상의 후보가 있다면, 구별 프로세스(326)가 수행될 수 있다. 예를 들어, 사용자가 두 후보 아이덴티티(도 3의 예에서 Joe와 Tom)에서 후보 중 하나를 선택하는 라디오 버튼(330)을 사용함으로써 선택할 수 있도록 해주는 인터페이스(328)가 사용자에게 제시될 수 있다. 도시된 예에서, 사용자에게 후보의 이름이 도시되지만, 앞서 설명한 바와 같이, 후보의 프라이버시 설정에 따라, 사용자는 이름 대신에 후보의 공개 프로필 사진을 볼 수도 있다.
후보의 선택이 명확히 구분되면(또는 324에서, 하나의 후보가 있는 것으로 판단되는 경우), 요청된 액션이 사용자로부터 수신될 수 있다(326). 사용자는 요청된 동작을 입력할 수 있고, 또는 메뉴로부터 그 동작을 선택할 수 있다. (기본 동작으로, 또는 복수의 동작으로부터 사용자가 선택한 결과로서) 요청될 수 있는 몇 가지 예시적인 동작은, 사람을 친구로 추가(블록 308), 사람에게 메시지를 전송(블록 310), 사람을 이벤트에 초대(블록 312), 또는 프로필을 유지하는 서비스(예를 들어, 페이스북)에서 사람의 프로필을 보기(블록 314), 또는 페이스북 "포크" 동작과 같은 동작을 사용하여 그 사람을 "포킹하기"(블록 315)이다. 이와 달리, 임의의 다른 동작이 요청될 수 있다(블록 316). 요청된 동작은 대상 사용자에 대해 수행될 수 있다(332). 예를 들어, 사용자가 사진에서 보인 특정 사용자를 친구로 추가하고 싶다는 것을 나타낼 경우, 친구 요청이 해당 사용자에게 전송될 수 있다.
도 4는 본원에 기술된 주제의 양상들이 전개될 수 있는 예시적인 환경을 도시한다.
컴퓨터(400)는 하나 이상의 프로세서(402) 및 하나 이상의 데이터 기억 컴포넌트(404)를 포함한다. 프로세서(들)(402)는 전형적으로 퍼스널 데스크탑 또는 랩탑 컴퓨터, 서버, 휴대용 컴퓨터, 또는 다른 종류의 컴퓨팅 장치에서 발견되는 것과 같은 마이크로 프로세서이다. 데이터 기억 컴포넌트(들)(404)는 단기 또는 장기간 데이터를 저장할 수 있는 컴포넌트이다. 데이터 기억 컴포넌트(들)(404)의 예는 하드 디스크, 이동식 디스크(광학 및 자기 디스크를 포함함), 휘발성 및 비 휘발성 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 플래시 메모리, 자기 테이프 등을 포함한다. 데이터 기억 컴포넌트(들)는 컴퓨터 판독 가능 저장 매체의 예이다. 컴퓨터(400)는 음극선 관(CRT) 모니터, 액정 디스플레이(LCD) 모니터 또는 임의의 유형의 모니터일 수 있는 디스플레이(412)를 포함하거나, 그와 연관될 수 있다.
소프트웨어는 데이터 기억 컴포넌트(들)(404)에 저장될 수 있고, 하나 이상의 프로세서(들)(402)에서 실행될 수 있다. 이러한 소프트웨어의 예는 도 1 내지 도 3과 관련하여 전술한 기능의 일부 또는 전부를 구현할 수 있는 사진 기반 동작 소프트웨어(406)이지만, 임의의 유형의 소프트웨어가 사용될 수 있다. 소프트웨어 (406)는 예를 들어, 분산 시스템 내의 컴포넌트, 별개의 파일, 별개의 기능, 별개의 객체, 별개의 코드 라인 등일 수 있는 하나 이상의 컴포넌트를 통해 구현될 수 있다. 프로그램이 하드디스크에 저장되고, RAM에 로딩되어 컴퓨터의 프로세서(들) 상에서 실행되는 컴퓨터(예를 들면, 퍼스널 컴퓨터, 서버 컴퓨터, 휴대용 컴퓨터 등)는 도 4에 도시된 시나리오를 대표하지만, 본 명세서에 기재된 주제는 이 예에 한정되지 않는다.
본 명세서에 기재된 주제는 데이터 기억 컴포넌트(들)(404) 중 하나 이상에 저장되고 프로세서(들)(402) 중 하나 이상에서 실행되는 소프트웨어로 구현될 수 있다. 다른 예로서, 본 주제는 하나 이상의 컴퓨터 판독 가능 매체에 저장된 명령어들로서 구현될 수 있다. 이러한 명령들은 컴퓨터 또는 다른 머신에 의해 실행되는 경우 컴퓨터 또는 다른 머신으로 하여금 방법의 하나 이상의 동작을 수행하게 할 수 있다. 동작을 수행하기 위한 명령어들은 하나의 매체에 저장될 수도 있고, 또는 명령어들이 모두 동일한 매체에 있는지 여부와 관계없이 명령어들이 하나 이상의 컴퓨터 판독 가능 매체에서 집합적으로 나타날 수 있도록 복수의 매체에 분산될 수 있다. "컴퓨터 판독 가능 매체"라는 용어는 본질적으로 신호를 포함하지 않을 뿐만 아니라, 전파 신호로서만 존재하는 정보도 포함하지 않는다. 청구 대상이 임의의 유형의 지속적인 저장소가 아닌 전파 신호의 형태로만 정보를 전달하는 매체를 지칭하는 경우, 그러한 청구 대상은 "일시적인" 또는 "임시" 문구를 사용할 것이다(예를 들어, "일시적인 컴퓨터 판독 가능 매체" 또는 "임시 컴퓨터 판독 가능 매체"). "일시적인" 또는 "임시"를 사용하여 매체를 명시적으로 설명하지 않는 임의의 청구대상은 전파 신호로만 존재하거나 또는 그 자체가 신호로 존재하는 정보를 설명하는 것으로 이해되어서는 안된다. 또한, "하드웨어 매체" 또는 "유형의 매체"는 물리적인 유형의 형태로 존재하는 RAM, ROM, 플래시 메모리 및 디스크와 같은 장치를 포함하고, 이러한 "하드웨어 매체" 또는 "유형의 매체"는 그 자체가 신호는 아니다. 또한, "저장 매체"는 정보를 저장하는 매체이다. "저장"이란 용어는 데이터의 영구 보존을 나타내는 데 사용된다. 본 발명의 목적을 위해, 전파 신호의 형태로만 존재하는 정보는 "영속적으로" 유지되는 것으로 간주되지 않는다. 따라서, "저장 매체"는 디스크, RAM, ROM 등을 포함하지만, 전파 신호의 형태로만 존재하는 정보는 포함하지 않는데, 그 이유는 이러한 정보는 "저장되지" 않기 때문이다.
또한, 본 명세서에 기술된 임의의 동작(도면에 도시되어 있거나 또는 도시되어 있지 않음)은 방법의 일부로서 프로세서(예를 들어, 프로세서(402) 중 하나 이상)에 의해 수행될 수 있다. 따라서, 본원에서 동작(A, B, 및 C)이 기술되는 경우, A, B, 및 C의 동작을 포함하는 방법이 수행될 수 있다. 또한, 본 명세서에서 A, B, 및 C의 동작이 기술되는 경우, A, B 및 C의 동작을 수행하도록 프로세서를 이용하는 것을 포함하는 방법이 수행될 수 있다.
하나의 예시적인 환경에서, 컴퓨터(400)는 네트워크(408)를 통해 하나 이상의 다른 장치에 통신가능하게 접속될 수 있다. 컴퓨터(400)와 구조가 유사할 수 있는 컴퓨터(410)는 컴퓨터(400)에 접속될 수 있는 장치의 일례일 뿐, 다른 유형의 장치도 접속될 수 있다.
본 발명은 구조적 특징 및/또는 방법론적 동작에 특정한 언어로 기술되었지만, 청구항에 정의된 본 발명은 전술한 바와 같은 특정 특징 또는 동작들에 반드시 국한될 필요는 없다. 그 보다, 전술한 특정 특징 및 동작들은 청구항을 구현하기 위한 예시적인 형식으로 개시되어 있다.

Claims (10)

  1. 사진을 이용하여 동작을 개시하는 방법으로서,
    사용자로부터, 사진에 있는 얼굴의 표시를 수신하는 단계와,
    상기 얼굴을 나타내는 정보를, 소셜 네트워크를 운영하는 서버에 전송하는 단계- 상기 서버는 상기 얼굴에 대한 하나 이상의 후보를 식별함 -와,
    상기 서버로부터 상기 하나 이상의 후보의 리스트를 수신하는 단계와,
    상기 후보의 리스트에 기초하여, 상기 얼굴과 연관된 사람을 소셜 네트워크에서의 연결관계(connection)로서 추가하라는 요청을 상기 사용자로부터 수신하는 단계와,
    상기 하나 이상의 후보 중 첫 번째 후보를 상기 소셜 네트워크에서 상기 사용자의 연결관계로서 추가하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 서버는 상기 서버에 저장된 사진 데이터베이스를 이용하여 상기 사진 데이터베이스에 저장된 얼굴에 대한 상기 얼굴의 시각적 유사성에 기초하여 상기 후보를 식별하는, 방법.
  3. 제1항에 있어서,
    상기 서버는 상기 소셜 네트워크의 사용자들 사이의 관계들에 대한 소셜 그래프를 유지하고, 상기 소셜 그래프는 상기 소셜 네트워크의 사용자들 각각에 대한 직장, 이해관계 및 나이를 나타내고, 상기 서버는 상기 후보의 직장, 이해관계 및 나이를 상기 소셜 그래프 내의 사용자들의 직장, 이해관계 및 나이와 비교한 것에 기초하여 상기 후보를 식별하는
    방법.
  4. 제1항에 있어서,
    상기 후보 중 상기 첫 번째 후보가 상기 서버에 의해 상기 후보 중 하나로서 식별되었다는 것에 기초하여 상기 후보 중 상기 첫 번째 후보에 이메일을 전송하는 단계를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 후보 중 상기 첫 번째 후보가 상기 서버에 의해 상기 후보 중 하나로서 식별되었다는 것에 기초하여 상기 후보 중 상기 첫 번째 후보를 이벤트에 초대하는 단계를 더 포함하는 방법.
  6. 청구항 제1항 내지 제5항 중 어느 한 항의 방법을 수행하는 컴퓨터 실행가능 명령어들을 구비한 컴퓨터 판독가능 매체.
  7. 사진에 기초하여 요청 대상을 식별하는 시스템으로서,
    메모리와,
    프로세서와,
    소셜 네트워크에 있는 사람들 사이의 관계를 정의하는 소셜 그래프와,
    사진들 및 상기 사진들에 관련된 메타데이터를 저장하는 사진 데이터베이스와,
    상기 메모리에 저장되고 상기 프로세서 상에서 실행되는 컴포넌트
    를 포함하되,
    상기 컴포넌트는 제1 얼굴 및 하나 이상의 제2 얼굴을 포함하는 사진을 수신하고, 상기 제1 얼굴, 상기 소셜 그래프 및 상기 사진 데이터베이스를 사용하여 대상자인 상기 소셜 그래프 내의 하나 이상의 후보를 식별하고, 상기 후보의 리스트를 사용자의 장치에 제공하며, 상기 소셜 그래프 내의 상기 대상자와 상기 사용자 간의 연결관계를 추가하라는 요청을 상기 사용자로부터 수신하고, 상기 사용자가 텍스트를 사용하여 상기 후보 중 첫 번째 후보를 식별하였다는 것에 기초하지 않고 상기 제1 얼굴에 기초하여 상기 후보 중 상기 첫 번째 후보가 상기 후보들 중 하나인 것으로 식별되었다는 사실에 기초하여 상기 사용자와 상기 후보의 상기 첫 번째 후보 간의 연결관계를 상기 소셜 그래프에 추가하는
    시스템.
  8. 제7항에 있어서,
    상기 컴포넌트는 상기 제1 얼굴과 연관된 아이덴티티와 상기 하나 이상의 제2 얼굴과 연관된 아이덴티티 간의 관계에 기초하여 상기 하나 이상의 후보를 식별하는, 시스템.
  9. 제7항에 있어서,
    상기 컴포넌트는 상기 후보와 상기 사용자 간, 또는 상기 사진을 촬영한 사진 작가와 상기 하나 이상의 후보 간의 사회적 거리에 기초하여 상기 하나 이상의 후보를 식별하는, 시스템.
  10. 제7항에 있어서,
    상기 소셜 그래프는 상기 소셜 그래프에 사람의 물리적 위치에 대한 데이터를 유지하고, 상기 사진은 상기 사진이 촬영된 장소 및 시간을 나타내는 메타데이터와 연관되며, 상기 컴포넌트는 상기 후보가 상기 장소 및 상기 시간에 있었는지에 기초하여 상기 하나 이상의 후보를 식별하는, 시스템.
KR1020147016684A 2011-12-19 2012-12-11 사진을 이용하여 동작을 개시 및 수행하는 기법 KR20140105478A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/329,327 2011-12-19
US13/329,327 US20130156274A1 (en) 2011-12-19 2011-12-19 Using photograph to initiate and perform action
PCT/US2012/068840 WO2013095977A1 (en) 2011-12-19 2012-12-11 Using photograph to initiate and perform action

Publications (1)

Publication Number Publication Date
KR20140105478A true KR20140105478A (ko) 2014-09-01

Family

ID=48062161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147016684A KR20140105478A (ko) 2011-12-19 2012-12-11 사진을 이용하여 동작을 개시 및 수행하는 기법

Country Status (7)

Country Link
US (1) US20130156274A1 (ko)
EP (1) EP2795570A4 (ko)
JP (1) JP2015510622A (ko)
KR (1) KR20140105478A (ko)
CN (1) CN103049520A (ko)
TW (1) TW201337795A (ko)
WO (1) WO2013095977A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170058541A (ko) * 2015-11-19 2017-05-29 세창인스트루먼트(주) 사진기반의 소셜네트워킹 서비스방법
KR20200007061A (ko) * 2015-11-19 2020-01-21 주식회사 웹웨어 사진기반의 소셜네트워킹 서비스방법
KR20210031652A (ko) * 2020-01-10 2021-03-22 주식회사 웹웨어 사진기반의 소셜네트워킹 서비스방법

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457366B2 (en) 2008-12-12 2013-06-04 At&T Intellectual Property I, L.P. System and method for matching faces
US8798401B1 (en) * 2012-06-15 2014-08-05 Shutterfly, Inc. Image sharing with facial recognition models
US20140032659A1 (en) * 2012-07-27 2014-01-30 BranchOut, Inc. Facilitating communications between users of multiple social networks
US9361626B2 (en) * 2012-10-16 2016-06-07 Google Inc. Social gathering-based group sharing
US20140105466A1 (en) * 2012-10-16 2014-04-17 Ocean Images UK Ltd. Interactive photography system and method employing facial recognition
US20140108530A1 (en) * 2012-10-17 2014-04-17 Matthew Nicholas Papakipos Person of Interest in Augmented Reality
US20140108501A1 (en) * 2012-10-17 2014-04-17 Matthew Nicholas Papakipos Presence Granularity with Augmented Reality
US20140108529A1 (en) * 2012-10-17 2014-04-17 Matthew Nicholas Papakipos Person Filtering in Augmented Reality
US10032233B2 (en) * 2012-10-17 2018-07-24 Facebook, Inc. Social context in augmented reality
US9330301B1 (en) * 2012-11-21 2016-05-03 Ozog Media, LLC System, method, and computer program product for performing processing based on object recognition
US9336435B1 (en) * 2012-11-21 2016-05-10 Ozog Media, LLC System, method, and computer program product for performing processing based on object recognition
US9600598B2 (en) * 2013-03-14 2017-03-21 Samsung Electronics Co., Ltd. Computing system with social interaction mechanism and method of operation thereof
US9282138B2 (en) * 2013-03-15 2016-03-08 Facebook, Inc. Enabling photoset recommendations
WO2014172827A1 (en) * 2013-04-22 2014-10-30 Nokia Corporation A method and apparatus for acquaintance management and privacy protection
US20150006669A1 (en) * 2013-07-01 2015-01-01 Google Inc. Systems and methods for directing information flow
CN103347032A (zh) * 2013-08-01 2013-10-09 赵频 一种交友的方法和系统
CN103412953A (zh) * 2013-08-30 2013-11-27 苏州跨界软件科技有限公司 基于增强现实的社交方法
US20150074206A1 (en) * 2013-09-12 2015-03-12 At&T Intellectual Property I, L.P. Method and apparatus for providing participant based image and video sharing
CN104572732A (zh) * 2013-10-22 2015-04-29 腾讯科技（深圳）有限公司 查询用户标识的方法及装置、获取用户标识的方法及装置
US9628986B2 (en) 2013-11-11 2017-04-18 At&T Intellectual Property I, L.P. Method and apparatus for providing directional participant based image and video sharing
US9972324B2 (en) 2014-01-10 2018-05-15 Verizon Patent And Licensing Inc. Personal assistant application
CN104202426B (zh) * 2014-09-23 2019-01-29 上海合合信息科技发展有限公司 网络帐户建立连接的方法及其网络终端设备、云端设备
US9572000B2 (en) * 2014-09-30 2017-02-14 Linkedin Corporation Facilitating social networking service connections via an ad hoc peer-to-peer network of mobile devices
US9491258B2 (en) 2014-11-12 2016-11-08 Sorenson Communications, Inc. Systems, communication endpoints, and related methods for distributing images corresponding to communication endpoints
US10102225B2 (en) * 2014-12-04 2018-10-16 Facebook, Inc. Systems and methods for time-based association of content and profile information
CN105847523A (zh) * 2015-01-14 2016-08-10 白云杰 添加联系人的方法和系统
CN106202071A (zh) 2015-04-29 2016-12-07 腾讯科技（深圳）有限公司 账户信息获取的方法、终端、服务器和系统
EP3091725B1 (de) * 2015-05-07 2018-08-29 Deutsche Telekom AG Verfahren zum zugriff eines nutzers auf die visuellen aufnahmen einer öffentlichen kamera
WO2017044910A1 (en) 2015-09-10 2017-03-16 I'm In It, Llc Methods, devices, and systems for determining a subset for autonomous sharing of digital media
CN105354746A (zh) * 2015-09-25 2016-02-24 天脉聚源（北京）教育科技有限公司 一种信息传输方法及装置
KR102474244B1 (ko) * 2015-11-20 2022-12-06 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US9934397B2 (en) * 2015-12-15 2018-04-03 International Business Machines Corporation Controlling privacy in a face recognition application
US10558815B2 (en) 2016-05-13 2020-02-11 Wayfair Llc Contextual evaluation for multimedia item posting
US10552625B2 (en) 2016-06-01 2020-02-04 International Business Machines Corporation Contextual tagging of a multimedia item
CN105897570B (zh) * 2016-06-29 2020-06-02 北京小米移动软件有限公司 推送方法及装置
US9986152B2 (en) 2016-08-02 2018-05-29 International Business Machines Corporation Intelligently capturing digital images based on user preferences
JP2018025855A (ja) * 2016-08-08 2018-02-15 ソニーモバイルコミュニケーションズ株式会社 情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラム
US9906610B1 (en) * 2016-09-01 2018-02-27 Fotoccasion, Inc Event-based media sharing
US10218898B2 (en) 2016-09-09 2019-02-26 International Business Machines Corporation Automated group photograph composition
CN108108012B (zh) * 2016-11-25 2019-12-06 腾讯科技（深圳）有限公司 信息交互方法和装置
TW201824172A (zh) * 2016-12-22 2018-07-01 創意點子數位股份有限公司（Ｂ．Ｖ．Ｉ） 標籤式社交方法及其系統
JP7020429B2 (ja) * 2016-12-27 2022-02-16 ソニーグループ株式会社 カメラ、カメラの処理方法、サーバ、サーバの処理方法および情報処理装置
US10248847B2 (en) 2017-02-10 2019-04-02 Accenture Global Solutions Limited Profile information identification
CN106991615A (zh) * 2017-03-09 2017-07-28 厦门盈趣科技股份有限公司 一种通过射击获得纸条的随机交友方法及系统
US10474899B2 (en) * 2017-04-03 2019-11-12 Facebook, Inc. Social engagement based on image resemblance
US10372234B2 (en) * 2017-05-09 2019-08-06 Lenovo (Singapore) Pte Ltd Calculating a social zone distance
CN107222388A (zh) * 2017-05-19 2017-09-29 努比亚技术有限公司 一种终端互动方法、终端及计算机可读存储介质
CN108307102B (zh) * 2017-06-16 2019-11-15 腾讯科技（深圳）有限公司 信息显示方法、装置及系统
CN107302492A (zh) * 2017-06-28 2017-10-27 歌尔科技有限公司 社交软件的交友请求方法、服务器、客户端装置和系统
CN109508523A (zh) * 2017-09-11 2019-03-22 金德奎 一种基于人脸识别的社交方法
CN111108539A (zh) * 2017-09-20 2020-05-05 日产自动车株式会社 行驶支持方法以及行驶支持装置
US10511763B1 (en) * 2018-06-19 2019-12-17 Microsoft Technology Licensing, Llc Starting electronic communication based on captured image
CN109388722B (zh) * 2018-09-30 2022-10-11 上海碳蓝网络科技有限公司 一种用于添加或查找社交联系人的方法与设备
CN111435278A (zh) * 2019-01-14 2020-07-21 金德奎 一种基于车牌识别的信息交互系统及信息交互方法
US20210248562A1 (en) * 2020-02-10 2021-08-12 The Boeing Company Method and system for communicating social network scheduling between devices

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1871602A (zh) * 2003-10-20 2006-11-29 罗吉加利斯公司 与使用启动远程函数调用的图像或音频的服务器一起使用的方法、系统、设备和机器可读媒体
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
KR20070031720A (ko) * 2005-09-15 2007-03-20 에스케이 텔레콤주식회사 지인 네트워크를 이용한 개인화 정보 서비스 방법 및시스템
US20090060289A1 (en) * 2005-09-28 2009-03-05 Alex Shah Digital Image Search System And Method
US8670597B2 (en) * 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
KR101157597B1 (ko) * 2010-01-28 2012-06-19 주식회사 팬택 모바일 단말 및 모바일 단말을 이용한 인맥 형성방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170058541A (ko) * 2015-11-19 2017-05-29 세창인스트루먼트(주) 사진기반의 소셜네트워킹 서비스방법
KR20200007061A (ko) * 2015-11-19 2020-01-21 주식회사 웹웨어 사진기반의 소셜네트워킹 서비스방법
KR20210031652A (ko) * 2020-01-10 2021-03-22 주식회사 웹웨어 사진기반의 소셜네트워킹 서비스방법

Also Published As

Publication number Publication date
WO2013095977A1 (en) 2013-06-27
US20130156274A1 (en) 2013-06-20
TW201337795A (zh) 2013-09-16
EP2795570A1 (en) 2014-10-29
JP2015510622A (ja) 2015-04-09
EP2795570A4 (en) 2015-08-05
CN103049520A (zh) 2013-04-17

Similar Documents

Publication Publication Date Title
KR20140105478A (ko) 사진을 이용하여 동작을 개시 및 수행하는 기법
US10582037B2 (en) Two-way permission-based directory of contacts
US10298537B2 (en) Apparatus for sharing image content based on matching
US9805060B2 (en) System and method for predicting a geographic origin of content and accuracy of geotags related to content obtained from social media and other content providers
US9619489B2 (en) View of a physical space augmented with social media content originating from a geo-location of the physical space
US9338242B1 (en) Processes for generating content sharing recommendations
US9275272B2 (en) Tag suggestions for images on online social networks
US10140517B2 (en) Event-based image classification and scoring
RU2562437C2 (ru) Создание и распространение аннотированной информации
US9531823B1 (en) Processes for generating content sharing recommendations based on user feedback data
US10171985B1 (en) Method and apparatus for data sharing
KR101686830B1 (ko) 온라인 소셜 네트워크 상의 이미지를 위한 태그 제안
US20150356121A1 (en) Position location-enabled, event-based, photo sharing software and service
US10218898B2 (en) Automated group photograph composition
US9405964B1 (en) Processes for generating content sharing recommendations based on image content analysis
WO2015061696A1 (en) Social event system
JP2019061541A (ja) 仲介装置、仲介方法及びプログラム
CN116401467A (zh) 交友匹配模型构建、好友推荐、用户匹配方法、电子设备
JP2015536491A (ja) 特定の画像のグループ化システム及び方法
WO2014172827A1 (en) A method and apparatus for acquaintance management and privacy protection
US20230206597A1 (en) Facilitating comparing (then, now, compare - thencomp) photo and / or video for viewing and sharing outcome / provide information
CN109462624B (zh) 一种网络相册的共享方法及系统
KR20240057083A (ko) 메신저에서의 영상 추천 방법, 컴퓨터 프로그램 및 컴퓨팅 디바이스
JP2016152593A (ja) サーバ装置、携帯装置、撮像支援方法、コンピュータプログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid