KR101490548B1 - 실시간 커널 - Google Patents

실시간 커널 Download PDF

Info

Publication number
KR101490548B1
KR101490548B1 KR1020117015551A KR20117015551A KR101490548B1 KR 101490548 B1 KR101490548 B1 KR 101490548B1 KR 1020117015551 A KR1020117015551 A KR 1020117015551A KR 20117015551 A KR20117015551 A KR 20117015551A KR 101490548 B1 KR101490548 B1 KR 101490548B1
Authority
KR
South Korea
Prior art keywords
delete delete
real
stream
network node
processing
Prior art date
Application number
KR1020117015551A
Other languages
English (en)
Other versions
KR20110106870A (ko
Inventor
위 데이비드 반
조셉 알트매이어
Original Assignee
소우셜 커뮤니케이션즈 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소우셜 커뮤니케이션즈 컴퍼니 filed Critical 소우셜 커뮤니케이션즈 컴퍼니
Publication of KR20110106870A publication Critical patent/KR20110106870A/ko
Application granted granted Critical
Publication of KR101490548B1 publication Critical patent/KR101490548B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • A63F13/12—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1059—Inter-group management mechanisms, e.g. splitting, merging or interconnection of groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시간 커널(20)은 각 네트워크 노드(12, 14)에서 동작하는 통신자들간 실시간 통신을 지원한다. 실시간 커널(20)은 통신자들, 가상 영역들(28) 및 다른 네트워크 자원에 접속하고 사용자 입력에 응답하여 그들 접속을 스위칭하고, 실시간 데이터 스트림을 믹싱하는 복잡한 태스크를 다룬다. 실시간 커널(20)은 개발자가 저 레벨 측정 코드 대신, 고 레벨 통신 기능을 개발하는 것에 집중하도록 한다. 실시간 커널(20)은 비교적 낮은 연산 자원 요건을 부과함으로써, 실시간 통신 수행이 현재 이용가능한 넓은 범위의 컴퓨팅 장치들과 네트워크 접속을 이용하여 달성될 수 있다.

Description

실시간 커널{REALTIME KERNEL}
높은 처리 능력과 높은 대역폭 네트워크 접속을 갖는 통신 시스템의 이용가능성이 증가됨에 따라 아바타 기반의 가상 현실 통신 시스템에 대한 관심이 증대되어 왔다. 그러한 가상 현실 시스템의 주요한 목표는 오디오, 비디오 및 텍스트 대화 스트림과 같은 실시간 데이터 스트림을 이용하여 사용자들이 상호작용 및 통신할 수 있는 가상 공간을 생성하는 것이다. 일반적으로 가상 공간은 공간의 시각적 기하 구조, 시각적 기하 구조에 매핑되는 색상 및 질감, 공간 내에서 사용자들이 어떻게 조종하는지를 제어하는 충돌 특성, 및 공간의 잔향 및 음향 흡수 특성과 같은 청각적 특성을 기술하는 컴퓨터 그래픽 사양에 의해 정의된다.
통상적인 가상 현실 시스템에서, 사용자들은 시스템에 의해 지원되는 실시간 데이터 스트림 중 하나 이상의 소스 또는 싱크 또는 양쪽 모두인 인터페이스를 통해서 각 컴퓨터와 통신한다. 사용자들의 컴퓨터 각각에서 구동되는 가상 현실 소프트웨어 애플리케이션은 가상 공간에서의 아바타의 위치를 기술하는 위치 정보를 기반으로 자체의 오디오 및 그래픽 렌더링(rendering)을 구성한다. 통상적으로 위치정보는 다른 사용자들의 컴퓨터로부터 직접적으로 또는 중앙 소재 서버로부터 간접적으로 수신된다. 기본적으로, 가상 현실 소프트웨어 애플리케이션은 통상적으로 가상 공간 내에서 전역 스위칭 규칙, 로컬 사용자 기호 및 객체의 특성에 특정되는 조건을 전제로 가상 공간에서 표현되는 각 소스를 가상 공간에서 표현되는 모든 싱크와 연결한다. 이러한 조건은 일반적으로 객체들 간의 상대적 거리로 특정된다. 예를 들어, 어떤 가상 현실 소프트웨어 애플리케이션은 아바타들 간의 이격 거리가 최대 임계 거리를 초과하면 실시간 데이터 스트림 접속이 설정되지 않도록 구성된다.
통상적으로, 성공적인 가상 현실 통신 시스템은 현재 이용가능한 컴퓨팅 장치들과 네트워크 대역폭 제약을 이용하여 실시간 통신 성능이 달성될 수 있도록 상대적으로 낮은 연산 자원 요건을 가져야 한다. 부가적으로, 그러한 시스템은 통상적으로 사용자에 의한 시스템 채택을 증가시키도록 하는 가상 영역을 영역 설계자로 하여금 개발하도록 장려하는 식으로 구현되어야 한다.
일 측면에서, 본 발명은 로컬 네트워크 노드에서, 원격 네트워크 노드로부터 하나 이상의 스트림 처리 명령어가 수신되는 방법을 특징으로 한다. 하나 이상의 스트림 처리 명령어는 적어도 하나의 실시간 데이터 스트림을 처리하기 위한 스트림 핸들러의 사양을 포함한다. 상기 로컬 네트워크 노드에서, 사양에 따라서 스트림 핸들러가 생성된다. 결과 데이터 스트림이 로컬 네트워크 노드에서 형성된다. 이러한 과정에서, 실시간 데이터 스트림은 생성된 스트림 핸들러를 통해서 처리된다.
다른 측면에서, 본 발명은 하나 이상의 스트림 처리 명령어로부터 실시간 스트림 핸들러의 사양을 분석되는 방법을 특징으로 한다. 이러한 과정에서, 입력 소스 식별자, 출력 싱크 식별자 및 하나 이상의 데이터 처리 객체들 각각의 식별자가 하나 이상의 스트림 처리 명령어로부터 분석된다. 식별자들 각각에 대응하는 실시간 스트림 처리 객체들이 인스턴트화된다. 사양에 따라서 인스턴트화된 실시간 스트림 처리 객체들을 포함하는 지시 그래프가 생성된다. 입력 소스 식별자에 대응하는 입력 소스로부터 실시간 데이터 스트림이 수신된다. 결과 데이터 스트림이 출력 싱크 식별자에 대응하는 출력 싱크에서 결과 데이터 스트림을 형성된다. 이러한 과정에서, 지시 그래프를 통해서 실시간 데이터 스트림이 처리된다.
다른 측면에서, 본 발명은 로컬 네트워크 노드와 적어도 하나의 원격 네트워크 노드 간에 적어도 하나의 실시간 데이터 스트림 접속이 설정되는 방법을 특징으로 한다. 로컬 네트워크 노드에서, 원격 네트워크 노드에 의해 공급받은 적어도 하나의 실시간 데이터 스트림이 처리된다. 이러한 과정에서, 결과 데이터 스트림을 형성하기 위해 하나 이상의 실시간 데이터 처리 동작을 통해서 적어도 하나의 실시간 데이터 스트림이 처리된다. 처리 단계가 감시된다. 감시를 기반으로 처리 단계가 수행 목표로부터 벗어난다는 결정에 응답하여, 실시간 수행 목표화 루틴에 따라서 처리 단계가 수정된다.
다른 측면에서, 본 발명은 로컬 네트워크 노드에서, 무접속 전송 프로트콜에 따라 전송 스트림에 대해 원격 네트워크 노드와의 제 1 세션이 설정되는 방법을 특징으로 한다. 로컬 네트워크 노드 상의 하나 이상의 소프트웨어 개체를 대신하여, 제 1 세션에서 로컬 네트워크 노드와 원격 네트워크 노드 사이에 데이터가 전송되는 하나 이상의 채널이 자동으로 개방된다. 제 1 세션에서, 테이블이 보유된다. 테이블은 개방된 채널을 식별하며 각각의 속성 값들을 식별된 채널들과 연관시킨다. 제 1 세션이 실패했다는 결정에 응답하여, 무접속 전송 프로토콜에 따라서 제 2 전송 스트림에 대해 원격 네트워크 노드와 제 2 세션을 설정하도록 자동으로 시도된다. 제 2 세션의 성공적인 설정에 응답하여, 테이블에서 식별된 채널들 각각이 자동으로 개방된다.
다른 측면에서, 본 발명은 하나 이상의 커널 서비스 구성요소들을 포함하는 커널 구성요소들의 리스트가 분석되는 방법을 특징으로 한다. 로컬 저장소로부터 분실된 분석된 리스트의 모든 커널 구성요소들이 결정된다. 분실된 것으로 결정되는 커널 구성요소들의 각각을 가져온다. 커널 서비스 구성요소들로부터 커널 서비스가 인스턴트화된다. 가상 영역에 대해서 정의된 통신 환경에서 하나 이상의 원격 네트워크 노드들과 통신하기 위해 인스턴트화된 커널 서비스가 실행된다.
다른 측면에서, 본 발명은 로컬 네트워크 노드에서 수행되는 방법을 특징으로 한다. 본 발명에 따르면, 가상 영역에 의해 정의되는 상황에서 적어도 하나의 원격 네트워크 노드와의 실시간 통신을 지원하기 위해 로컬 네트워크 노드가 구성된다. 구성 과정은 특정된 애플리케이션 프로그래밍 인터페이스(API)를 지원하는 모든 플러그인들을 나열하기 위한 호에 응답하여, 플러그인 데이터베이스에 존재하는 특정된 API와 연관된 모든 플러그인들의 식별자들을 포함하는 리스트를 반환하는 단계와, 플러그인들 중 식별된 플러그인에 의해 지원되는 주어진 API의 변형자들을 나열하기 위한 호에 응답하여, 식별된 플러그인에 의해 지원되는 주어진 API의 모든 변형자들의 식별자를 포함하는 리스트를 전달하는 단계와, 플러그인들 중 식별된 플러그인에 의해 지원되는 식별된 API의 변형자들 중 식별된 변형자를 인스턴스화하기 위한 호에 응답하여, 상기 식별된 플러그인을 로딩하고 상기 식별된 변형자의 인스턴스에 대한 포인터를 제공한다. 구성된 로컬 네트워크 노드 및 적어도 하나의 원격 네트워크 노드 사이에 적어도 하나의 실시간 데이터 스트림 접속이 설정된다.
또한, 본 발명은 전술한 발명의 방법을 구현하도록 작동되는 장치 및 컴퓨터가 전술한 발명의 방법을 구현하도록 하는 컴퓨터 판독가능 명령어들을 저장하는 컴퓨터 판독가능 매체를 제공하는 특징이 있다.
본 발명의 다른 특징 및 이점은 도면과 특허청구범위를 포함한 이하의 설명으로부터 명확해질 것이다.
도 1은 네트워크에 의해 서로 연결된 제 1 클라이언트 네트워크 노드, 제 2 클라이언트 네트워크 노드 및 영역 서버 네트워크 노드(16)를 포함하는 가상 영역 통신 환경의 실시예를 도시하는 도면이다.
도 2는 실시간 커널의 실시예에 의해 수행되는 방법의 실시예를 도시하는 플로우차트이다.
도 3a는 피어 투 피어(peer-to-peer) 방식으로 네트워크 노드가 통신하는 가상 영역 통신 환경의 실시예를 도시하는 도면이다.
도 3b는 네트워크 노드가 서버 중재 방식으로 통신하는 가상 영역 통신 환경의 실시예를 도시하는 도면이다.
도 4는 가상 영역을 묘사하는 그래픽 사용자 인터페이스를 포함하는 네트워크 노드의 실시예를 도시하는 도면이다.
도 5a는 가상 영역을 묘사하는 그래픽 사용자 인터페이스 상에 겹쳐 놓여진 헤드 업 디스플레이(heads-up display: HUD)의 실시예를 도시하는 도면이다.
도 5b는 도 5a에 도시된 HUD를 도시하는 도면이다.
도 5c는 도 5a에 도시된 HUD의 확대된 도면이다.
도 6은 영역 네트워크 기반구조 서비스의 실시예에 의해 구현되는 방법의 실시예를 도시하는 플로우차트이다.
도 7은 실시간 커널의 실시예에 의해 구현되는 방법의 실시예를 도시하는 플로우차트이다.
도 8은 실시간 커널의 실시예를 포함하는 클라이언트 네트워크 노드의 실시예를 도시하는 블록도이다.
도 9는 가상 영역에 대한 접속을 요청하는 실시간 커널 API 호에 응답하여 도 8의 실시간 커널의 실시예에 의해 구현되는 방법의 실시예를 도시하는 플로우차트이다.
도 10은 가상 영역으로의 진입을 요청하는 실시간 커널 API 호에 응답하여 도 8의 실시간 커널의 실시예에 의해 구현되는 방법의 실시예를 도시하는 플로우차트이다.
도 11은 영역 서비스로부터 수신되는 스트림 처리 명령에 응답하여 도 8의 실시간 커널의 실시예에 의해 구현되는 방법의 실시예를 도시하는 플로우차트이다.
도 12는 스트림 핸들러 구성 관리자에 의해 생성되는 스트림 핸들러의 실시예를 도시하는 블록도이다.
도 13은 실시간 커널에 의해 수행되는 태스크를 스케줄링하는 과정에서 도 8의 실시간 커널의 실시예에 의해 구현되는 방법의 실시예를 도시하는 플로우차트이다.
도 14는 적어도 하나의 실시간 데이터 스트림 처리의 감시를 토대로 도 8의 실시간 커널의 실시예에 의해 구현되는 방법의 실시예를 도시하는 플로우차트이다.
도 15는 도 8의 실시간 커널의 실시예를 도시하는 블록도이다.
도 16은 계정 서버가 자신의 보증서에 의해 인증되는 방법의 실시예를 도시하는 플로우차트이다.
도 17은 도 8의 실시간 커널의 실시예의 로더 구성요소에 의해 구현되는 방법의 실시예를 도시하는 플로우차트이다.
도 18은 도 8의 실시간 커널의 실시예의 STRAW 서비스 구성요소에 의해 구현되는 세션 관리 방법의 실시예를 도시하는 플로우차트이다.
도 19는 영역 네트워크 기반구조 서비스로부터 수신된 원격 스트림 처리 명령에 의해 응답하여 도 8의 실시간 커널의 실시예에 따른 구성요소들에 의해 구현되는 방법의 실시예를 도시하는 플로우차트이다.
도 20은 도 8의 실시간 커널의 실시예의 STRAW 서비스 구성요소에 의해 구현되는 전송 프로토콜의 구성요소들을 도시하는 도면이다.
도 21은 클라이언트 네트워크 노드(344)와 서버(346) 간에 서버 스트림이 설정되는 방법의 실시예를 도시한다.
도 22를 참조하면, 각 세션은 발급 서버에 의해 호출되는 새로운 GUID에 의해 식별된다.
도 23은 4-통신자 오디오 처리 그래프의 예시적인 실시예의 요소를 도시한다.
도 24는 비-가상(non-virtual) 영역 기반의 통신 애플리케이션을 통해서 사람이 가상 영역 통신자들과 통신하도록 하는 컴퓨터 시스템의 실시예를 도시한다.
도 25는 플러그인 클래스 계층 구조의 실시예를 도시하는 도면이다.
도 26은 각각이 하나 이상의 도출된 변형 클래스의 각 세트와 연관되는 플러그인 기본 클래스의 세트의 실시예를 도시하는 도면이다.
도 27은 플러그인 구조의 실시예를 도시하는 블록도이다.
도 28은 플러그인 관리자, 플러그인 컨테이너의 세트를 포함하는 플러그인 디렉토리, 플러그인 데이터베이스 및 호출자를 포함하는 플러그인 구조의 실시예를 도시하는 블록도이다.
도 29는 클라이언트 네트워크 노드에서 이용가능한 플러그인들을 등록하는 과정에서 도 28의 플러그인 관리자의 실시예에 의해 구현되는 방법의 실시예를 도시하는 플로우차트이다.
도 30은 플러그인 데이터베이스의 실시예를 도시하는 도면이다.
도 31은 호출자로부터의 API 호 수신에 응답하여 도 28의 플러그인 관리자의 실시예에 의해 구현되는 방법의 실시예를 도시하는 플로우차트이다.
이하의 설명에서, 유사한 참조부호들이 유사한 구성요소들을 식별하기 위해 사용된다. 또한, 도면은 도식적인 방식으로 예시적인 실시예의 주요한 특성을 도시하고자 한다. 도면은 실제 실시예의 모든 특성이나 묘사된 구성요소의 상대적인 크기를 묘사하고자 하는 것은 아니며, 축척에 따라서 도시되지는 않는다.
I. 용어의 정의
"컴퓨터"는 일시적 또는 영구적으로 컴퓨터 판독가능 매체에 저장된 컴퓨터 판독가능 명령어들에 따라서 데이터를 처리하는 임의의 기계, 디바이스 또는 장치이다.
"컴퓨터 구동 시스템"은 태스크의 수행 및 소프트웨어와 하드웨어 자원의 공유를 관리 및 조정하는 컴퓨터의 소프트웨어 구성요소이다. "커널"은 컴퓨터 자원(예를 들면, CPU, 메모리, 네트워크 링크 및 주변 자원들)에 접근하기 위한 특정 함수를 제공하기 위해 소프트웨어 애플리케이션에 의해 호출될 수 있는 소프트웨어 구성요소들의 집합이다. "소프트웨어 애플리케이션(소프트웨어, 애플리케이션, 컴퓨터 소프트웨어, 컴퓨터 애플리케이션, 프로그램 및 컴퓨터 프로그램으로도 지칭됨)"은 컴퓨터가 하나 이상의 태스크를 수행하기 위해 변환 및 실행할 수 있는 명령어들의 집합이다.
"애플리케이션 프로그래밍 인터페이스(또는 API)"는 소프트웨어 애플리케이션에 의해 생성되는 요청을 지원하기 위해 운영체제, 라이브러리, 또는 서비스가 제공하는 함수들(절차들)의 선언의 집합이다. API는 인터페이스 및 그 인터페이스에 특정된 식별자들의 행위를 특정한다. API의 구현은 API에 의해 기술되는 기능을 제공하는 소프트웨어 애플리케이션 코드를 나타낸다. "컴퓨터 데이터 파일"은 소프트웨어 애플리케이션에 의해 사용되도록 데이터를 견고하게 저장하는 정보의 블록이다.
"서비스"는 스스로의 책임으로 (다른 프로세스들과 독립적으로) 태스크를 수행하는 프로세스이다.
"관리자"는 태스크를 수행하기 위한 서비스의 게이트웨이이다. 관리자는 스스로의 책임으로 태스크를 수행하지 않는다.
"데이터베이스"는 컴퓨터에 의해 검색될 수 있는 표준화된 형식으로 제시되는 레코드들의 체계화된 집합이다. 데이터베이스는 하나의 컴퓨터 상의 하나의 컴퓨터 판독가능 데이터 저장 매체에 저장되거나, 하나 이상의 컴퓨터 상의 다수 컴퓨터 판독가능 데이터 저장 매체에 분배될 수 있다.
"데이터 싱크"(여기에서는 간략히 "싱크"라고도 지칭됨)는 데이터를 수신하는 장치, 장치의 일부(예를 들면, 컴퓨터) 또는 소프트웨어 중 어떤 것이다.
"데이터 소스"(여기에서는 간략히 "소스"라고도 지칭됨)는 데이터를 발생시키는 장치, 장치의 일부(예를 들면, 컴퓨터), 또는 소프트웨어 중 어떤 것이다.
"네트워크 노드"(간략히 "노드"라고도 지칭됨)는 통신 네트워크 내의 접합점 또는 접속점이다. 예시적인 네트워크 노드들은 단말기, 컴퓨터 및 네트워크 스위치를 포함하지만 그에 제한되지는 않는다. "서버 네트워크 노드"는 정보 또는 서비스에 대한 요청에 응답하는 네트워크 상의 호스트 컴퓨터이다. "클라이언트 네트워크 노드"는 서버로 정보 또는 서비스를 요청하는 네트워크 상의 컴퓨터이다. "네트워크 접속"은 두 개의 통신하는 네트워크 노드들 간의 링크이다. 용어 "로컬 네트워크 노드"는 현재 논의될 주요 과제인 네트워크 노드를 나타낸다. 용어 "원격 네트워크 노드"는 네트워크 통신 링크에 의해 로컬 네트워크 노드와 접속되는 네트워크 노드를 나타낸다.
"존재"는 통신하려는 네트워크 개체(예를 들어, 통신자, 서비스 또는 장치)의 능력 및 의향을 나타내며, 그러한 의향은 네트워크 상의 개체의 상태에 관한 정보를 검출 및 획득하는 능력과, 개체에 접속하는 능력에 영향을 미친다.
"실시간 데이터 스트림"은 연속적인 흐름으로 구성 및 처리되며 지연없이 또는 단지 미세한 지연을 가지고 수신되도록 설계된 데이터이다. 실시간 데이터 스트림은 예를 들면, 아바타 이동 명령, 텍스트 대화, 실시간 데이터 공급(가령 센서 데이터, 기계 제어 명령, 거래 스트림, 및 재고 시세 정보 공급), 및 파일 전송을 포함하여, 빠른 전송과 빠른 실행 중 어느 하나 또는 양쪽에 의해 이득을 얻을 수 있는 컴퓨팅 환경 내의 데이터 뿐만 아니라, 음성, 비디오, 사용자 움직임, 얼굴의 표정 및 다른 물리적 현상의 디지털 표현을 포함한다.
"스트림 믹스"는 동일하거나 또는 의미적으로 일관된 형태의 두 개 이상의 실시간 데이터 스트림(예를 들어, 오디오, 비디오, 대화 및 움직임 데이터)의 조합이다. 예를 들어, 음성 스트림의 세트는 하나의 음성 스트림으로 혼합되거나 하나의 음성 스트림이 비디오 스트림의 오디오 부분으로 혼합될 수 있다.
"스위칭 규칙"은 하나 이상의 선행 조건을 전제로 하나 이상의 실시간 데이터 소스와 하나 이상의 실시간 데이터 싱크의 접속 또는 접속 해제를 특정하는 명령어가다.
"가상 영역"("영역" 또는 "장소"로도 지칭됨)은 컴퓨터에 의해 관리되는 공간 또는 장면의 표현이다. 가상 영역들은 통상적으로 1차원, 2차원 또는 3차원 표현이다와, 그러나 일부 실시예에서 가상 영역은 하나의 점에 해당할 수 있다. 대체로, 가상 영역은 물리적인 실 세계 공간을 모의하도록 설계된다. 예를 들어, 전통적인 컴퓨터 모니터를 이용하여, 가상 영역은 3차원 컴퓨터 생성 공간의 2차원 그래픽으로 시각화될 수 있다. 그러나, 가상 영역들은 스위칭 규칙을 구현하기 위해 연관된 시각화를 필요로 하지 않는다. 가상 영역은 통상적으로 가상 영역 스키마의 인스턴스(instance)를 나타내며, 여기에서 스키마는 가상 영역의 구조 및 내용을 변수의 형태로 정의하고, 인스턴스는 가상 영역의 구조와 내용을 특정 상황으로부터 분석된 값의 형태로 정의한다.
"가상 영역 애플리케이션"("가상 영역 사양"이라고도 지칭됨)은 가상 영역 통신 환경을 생성하는데에 사용되는 가상 영역의 설명이다. 가상 영역 애플리케이션은 통상적으로 가상 영역의 하나 이상의 구역과 연관된 기하 구조, 물리적 성질 및 실시간 스위칭 규칙의 정의를 포함한다.
"가상 통신 환경"은 적어도 하나의 가상 영역을 포함하고 통신자 간의 실시간 통신을 지원하는, 컴퓨터에 의해 관리되는 공간의 표현이다.
"구역(zone)"은 적어도 하나의 스위칭 규칙 또는 통제 규칙과 연관되는 가상 영역의 지역이다. 스위칭 규칙은 가상 영역의 상황에서 통신하는 네트워크 노드들 간의 실시간 데이터 스트림을 스위칭(가령 라우팅, 접속 및 접속 해제)하는 것을 제어한다. 통제 규칙은 자원에 대한 통신자의 접근(예를 들어, 영역, 영역의 지역, 또는 그 영역 또는 지역의 내용), 그 접근의 범위, 및 그 접근의 후속 결과(가령 그 접근과 관계된 감사 레코드가 기록되어야 한다는 요건)를 제어한다.
가상 영역의 "위치"는 가상 영역의 점 또는 면적 또는 체적의 위치를 나타낸다. 점은 통상적으로 가상 영역의 지점(spot)을 한정하는 1차원, 2차원 또는 3차원 좌표(예를 들어, x, y, z)의 하나의 집합으로 표현된다. 면적은 가상 영역에서 폐쇄된 2차원 형상의 경계를 한정하는 세 개 이상의 공면 정점(coplanar vertices)의 3차원 좌표로 표현된다. 체적은 가상 영역에서 3차원 형상의 폐쇄된 경계를 한정하는 네 개 이상의 비-공면 정점들의 3차원 좌표로 표현된다.
가상 영역의 상황에 있어서, "객체"는 가상 영역의 기하 구조와 별도로 유용하게 취급될 수 있는 가상 영역 내의 임의 형태의 별개 요소이다. 예시적인 객체들은 문, 현관, 창문, 뷰 스크린 및 스피커 폰을 포함한다. 객체는 통상적으로 가상 영역의 속성 및 특성과는 별도이며 그와 다른 속성 및 특성을 갖는다. "아바타"는 가상 영역에서 통신자를 나타내는 객체이다.
"통신자(communicant)"는 가상 영역의 상황에서 통신이 일어나거나 또는 일어나지 않을 수 있는 네트워크 접속을 통해서 다른 사람과 통신하거나 상호 작용하는 사람이다. "사용자"는 서술적인 목적으로 특정 관점을 정의하는 특수한 네트워크 노드를 구동하는 통신자이다.
"영역 서버"는 가상 영역에서 객체들과 연관된 클라이언트 노드들의 세션을 관리함으로써 가상 영역 애플리케이션을 호스팅하는 가상 영역을 관리하는 영역 네트워크 기반구조 서비스를 포함하는 네트워크 노드이다.
여기에서 사용되는 바와 같이, 용어 "포함한다"는 포함하지만 그에 한정되지 않는다는 것을 의미하고, 용어 "포함하는"은 포함하는 것을 의미하지만 그에 한정되지 않는다는 것을 의미한다.
II. 서론
여기에서 설명된 실시예들은 각 네트워크 노드에서 동작하는 통신자들간 실시간 통신을 지원하는 실시간 커널을 제공한다. 실시간 커널은 통신자들, 가상 영역들 및 다른 네트워크 자원에 접속하고 사용자 입력에 응답하여 그들 접속을 스위칭하고, 실시간 데이터 스트림을 혼합하는 복잡한 태스크를 처리한다. 실시간 커널은 개발자가 저 레벨 측정 코드 대신, 고 레벨 통신 기능을 개발하는 것에 집중하도록 한다. 실시간 커널은 비교적 낮은 연산 자원 요건을 부과함으로써, 넓은 범위의 현재 이용가능한 컴퓨팅 장치들과 네트워크 접속을 이용하여 실시간 통신 수행이 달성될 수 있다.
일부 실시예에서, 실시간 커널은 원격 호스팅된 가상 영역 애플리케이션으로부터 수신된 명령(정의로도 지칭됨)에 응답하여 실시간 데이터 스트림의 스위칭 뿐만 아니라, 원격 구성 및 오디오와 그래픽 렌더링 엔진의 실행을 지원한다. 이러한 방식으로, 실시간 커널은 가상 영역 설계자가 원격 클라이언트 네트워크 노드 상에 몰입형(immersive) 가상 통신 환경을 제시함으로써 제어를 유지하도록 하며, 따라서 다양한 서로 다른 형태의 가상 영역을 개발하도록 장려하고 통신 시스템을 채택하고자하는 사람들의 수를 증가시키도록 한다.
일부 실시예에서, 실시간 커널은 실시간 데이터 스트림의 처리를 감시하고 수행 목표로부터 처리가 벗어난 것에 기반하여 처리를 조정한다. 이러한 식으로, 실시간 커널은 실시간 데이터 스트림 처리가 수행되는 컴퓨팅 환경에 관계없이 실시간 수행이 달성될 수 있는 가능성을 증가시킨다.
일부 실시예에서, 실시간 커널은 전송에서뿐만 아니라 접속 및 접속 해제에 효율적인 스트림 전송 프로토콜을 구현한다. 이러한 실시예 중 일부에서, 스트림 전송 프로토콜은 무접속(connectionless) 전송 프로토콜(가령, UDP)을 통해서 접속-지향의 암호화 접속을 제공한다. 실시간 커널은 클라이언트 애플리케이션에 의한 개입없이 실패한 접속을 재설정하도록 자동으로 시도하는 재접속 메카니즘을 클라이언트 애플리케이션과 전송 계층 사이에 부가적으로 제공함으로써, 본질적으로 신뢰할 수 없는 통신 프로토콜에 신뢰성을 부가할 수 있다.
일부 실시예에서, 실시간 커널은 커널 구성요소들의 기능이, 클라이언트 네트워크 노드들 상에 동적으로 로딩될 수 있는 하나 이상의 플러그인에 의해 제공되도록 하는 플러그인 구조를 갖는다. 이러한 식으로, 커널 구성요소들은 독립적으로 개발될 수 있고 원격으로 관리 및 갱신될 수 있다. 플러그인 구조는 부가적으로 실시간 커널의 설치 범위(footprint)가 실질적으로 감소되도록 함으로써, 중요한 컴퓨팅 및 메모리 자원 제약을 갖는 광범위한 클라이언트 장치들에 커널이 설치될 수 있도록 한다.
III. 개요
A. 서론
도 1은 예시적인 가상 영역 통신 환경(10)의 실시예를 도시하며, 이는 네트워크(18)에 의해 서로 연결되는 제 1 클라이언트 네트워크 노드(12), 제 2 클라이언트 네트워크 노드(14) 및 영역 서버 네트워크 노드(16)를 포함한다. 제 1 클라이언트 네트워크 노드(12)는 하나 이상의 구성가능한 스트림 핸들러(22)를 포함하는 실시간 커널(20)의 실시예 및 입/출력(I/O) 하드웨어(24)를 포함한다. 제 2 클라이언트 네트워크 노드(14)는 통상적으로 제 1 클라이언트 네트워크 노드(12)와 실질적으로 동일한 방식으로 구성된다. 영역 서버 네트워크 노드(16)는 가상 영역(28) 내에서 제 1 및 제 2 클라이언트 노드들(12, 14)의 세션을 관리함으로써 가상 영역(28)을 관리하는 영역 네트워크 기반구조 서비스(26)(간략히 "영역 서비스"로도 지칭됨)를 포함한다. 가상 영역(28)은 가상 영역 통신 환경을 생성하는데에 사용되는 가상 영역의 기술을 포함하는 가상 영역 애플리케이션(30)을 호스팅한다. 영역 서비스(26)는 가상 영역 애플리케이션(30)에 따라 가상 영역(28)을 관리한다.
공유 가상 영역 통신 환경을 생성하는 과정에서, 영역 서비스(26)는 가상 영역 애플리케이션(30) 상에 일련의 제약(32)을 받는 원격 가상 영역 애플리케이션(30)에 따라서 제 1 및 제 2 클라이언트 네트워크 노드들(12, 14)에 실시간 커널을 원격으로 구성한다. 제약(32)은 통상적으로 가상 영역으로의 접근에 대한 제어를 포함한다. 접근 제어는 통상적으로 하나 이상의 능력(접근이 적절한 능력 또는 허가를 가진 통신자들 또는 클라이언트 노드들에 허용되는 경우)과 접근 제어 리스트(접근이 리스트 상에 있는 신원을 갖는 통신자들 또는 클라이언트 노드들에 허용되는 경우)를 기반으로 한다. 일부 실시예에서, 제약(32)은 보안 네트워크 기반구조 서비스(하기에서 기술됨)에 의해 관리된다. 제 1 및 제 2 클라이언트 네트워크 노드들(12, 14)에서 구동되는 클라이언트 소프트웨어 애플리케이션은 실시간 커널(20)을 통해서 영역 서비스(26)로부터 수신된 데이터에 따라 가상 영역의 각각의 뷰(view)를 제시하고 통신자들로부터 명령어를 수신하기 위한 인터페이스를 제공함으로써 통신자가 공유 가상 영역 통신 환경에 접근하도록 한다. 통신자들은 통상적으로 각 아바타들에 의해 가상 영역에서 표현되며, 이러한 아바타들은 그들의 각 네트워크 노드에서 통신자에 의해 입력되는 명령에 응답하여 가상 영역에서 움직이게 된다. 가상 영역의 각 통신자의 뷰는 일반적으로 통신자의 아바타의 관점(perspective)에서 보여지며 이는 통신자가 경험하는 몰입의 레벨을 증가시킨다. 각 통신자는 통상적으로 자신의 아바타를 중심으로 가상 영역의 어떤 부분이든 볼 수 있다. 제 1 및 제 2 클라이언트 네트워크 노드들(12, 14)에서 구동되는 실시간 커널은 적어도 부분적으로는 가상 영역에 있는 통신자들의 아바타의 위치를 기반으로 가상 영역 통신환경을 공유하는 다른 네트워크 노드들과 실시간 데이터 스트림 접속을 설정한다.
도 2는 실시간 커널(20)에 의해 구현되는 방법의 예시적인 실시예를 도시한다. 이러한 방법에 따르면, 실시간 커널(20)은 영역 서비스(26)와의 세션을 설정한다(도 2의 블록(34)). 통신자 입력에 응답하여 또는 자동으로, 실시간 커널(20)은 가상 영역(28)의 인스턴스로 진입하는 것을 요청한다(도 2의 블록(36)). 통신자가 가상 영역 인스턴스로 접근하는 것에 대한 제약(32)이 만족되면, 영역 서비스(26)는 가상 영역에서 아바타의 위치를 포함하는 현재의 상태 정보를 포함하는 구성 데이터를 실시간 커널(20)로 전송한다. 실시간 커널(20)은 영역 서비스(26)로부터 구성 데이터를 수신한다(도 2의 블록(38)). 실시간 커널(20)은 영역 서비스(26)로부터 수신된 명령에 따라 사람이 인지할 수 있는 가상 영역 통신자 환경을 렌더링하기 위해 I/O 하드웨어(24)를 구성한다(도 2의 블록(40)).
일부 실시예에서, I/O 하드웨어(24)를 구성하는 과정은 원격 네트워크 노드(14)로부터 수신된 명령 및 위치 데이터에 따라서 스트림 핸들러(22) 중 적어도 하나를 동적으로 구성하는 것을 포함한다. 예를 들어, 가상 영역 애플리케이션(30)은 가상 영역 내에서 현재 객체들과 연관된 오디오 스트림에 적용되어야 하는 하나 이상의 오디오 효과를 특정할 수 있으며, 이러한 경우 영역 서비스(26)는 가상 영역에 있는 각 객체들의 위치에 따라 특정된 효과를 구현하기 위해 그들 각각의 오디오 스트림 핸들러를 구성하는 명령어를 제 1 및 제 2 클라이언트 네트워크 노드들(12, 14)에서 실행되는 실시간 커널로 전송한다.
실시간 커널(20)은 각 출력(33)을 산출하기 위해 각각 구성된 스트림 핸들러(22)를 통해서 통신자 객체와 연관된 실시간 데이터 스트림을 처리한다. 그 내용에 따라서, 출력(33)은 제 1 및 제 2 네트워크 노드들(12, 14)에서 구동되는 I/O 하드웨어에 의해 컴퓨터 판독가능 매체에 저장되거나 사람이 인지할 수 있는 출력으로 변환될 수 있다. 예를 들어, 오디오 출력 신호는 오디오 하드웨어(가령 사운드 카드 및 스피커)에 의해서 가청의 음향으로 변환되고, 그래픽 출력 신호는 그래픽 하드웨어(가령 비디오 카드 및 디스플레이)에 의해 가시적 영상으로 변환된다. 일부 실시예에서, 스트림 핸들러(22) 중 적어도 하나에 의해 산출되는 출력(33)은 컴퓨터 판독가능 매체에 저장되거나 사람이 인지할 수 있는 출력으로 변환될 수 있는 출력을 결과적으로 산출하는 하나 이상의 하류(downstream) 소프트웨어 구성요소들에 의해 처리된다.
B. 예시적 동작 환경
실시간 커널(20)은 네트워크(18) 및 영역 서비스(26)를 포함하는 다수의 네트워크 기반구조 서비스를 포함하는 네트워크 기반구조 서비스 환경을 포함하는 가상 영역 통신 환경(10)의 상황을 작동시킨다. 실시간 커널(20)과 네트워크 기반구조 서비스 환경은 통신자들을 위한 가상 영역 통신 환경을 생성하기 위한 플랫폼을 구성한다.
1. 네트워크 환경
네트워크(18)는 근거리 네트워크(LAN), 도시권 통신망(MAN) 및 광역 통신망(WAN)(가령 인터넷) 중 어느 것일 수 있다. 통상적으로 네트워크(18)는 네트워크 노드들 간에 다양한 서로 다른 매체 형태(예를 들면, 텍스트, 음성, 오디오 및 비디오)의 전송을 지원하는 다수의 서로 다른 컴퓨팅 플랫폼과 전송 시설을 포함한다.
실시간 커널(20)은 통상적으로 소프트웨어 및 하드웨어 자원을 포함하는 네트워크 노드 상에서 동작하며, 여기에서 소프트웨어 및 하드웨어 자원은 - 관리 정책, 사용자 기호(사용자 존재의 이출(exportation), 영역 및 접속 대상과 사용자의 접속에 관한 기호를 포함), 및 다른 설정 사항과 함께- 다른 네트워크 노드와의 실시간 접속 관리에 영향을 주는 로컬 구성을 정의한다. 네트워크 노드들 간의 접속은 P2P 구조, 서버-중재 구조, 및 P2P와 서버-중재 구조의 측면을 조합한 하이브리드 구조를 포함하는 다양한 서로 다른 스트림 처리 토폴로지로 배열된다.
도 3a는 P2P 구조로 통신 네트워크(18)에 의해 제 1 및 제 2 네트워크 노드들(12, 14)과 원격 네트워크 노드(16)가 서로 접속되는 가상 영역 통신 환경(10) 의 실시예(42)를 도시한다. 이러한 구조에서, 네트워크 노드들(12 내지 16) 각각은 상태 변화(예를 들면, 가상 영역(28) 내에서 아바타의 움직임)를 다른 각각의 네트워크 노드들로 전송한다. 네트워크 노드들 중 하나 (통상적으로는 통신 세션을 개시하는 네트워크 노드)가 "영역 서버"로서 동작한다. 도시된 실시예에서, 네트워크 노드(16)가 영역 서버의 역할을 맡게 된다. 영역 서버 네트워크 노드(16)는 전역 상태 정보를 보유하며 다른 네트워크 노드(12, 14)에 대한 데이터 서버의 역할을 한다. 전역 상태 정보는 가상 영역에 있는 객체들과 그들의 가상 영역 내의 위치에 대한 리스트를 포함한다. 영역 서버 네트워크 노드(16)는 다른 네트워크 노드들(12, 14)을 구성하는 명령어를 전송한다. 영역 서버 네트워크 노드(16)는 초기화 정보를 등록하고, 통신 세션에 참여하도록 요청하는 다른 네트워크 노드들에게 초기화 정보를 전송한다. 이러한 과정에서, 영역 서버 네트워크 노드(16)는 각 참여 클라이언트 네트워크 노드에게 가상 영역 애플리케이션(30)에 따라 클라이언트 네트워크 노드 상에서 가상 영역(28)을 렌더링하기 위해 필요한 구성 요소들(예를 들어, 플러그인들)의 리스트를 전송한다. 클라이언트 네트워크 노드(12, 14)의 실시간 커널은 통상적으로 리스트 상에서 임의의 분실된 구성요소들을 원격 서버(가령, 플러그인 서버)로부터 가져온다. 또한 영역 서버 네트워크 노드(16)는 통신 결함이 발생하는 경우 다른 네트워크 노드들(12, 14)이 전역 상태로 동기화될 수 있다는 것을 보장한다.
도 3b는 영역 서버(46)에 의해 중재되는 구조로 네트워크 노드들(12 내지 16)(이러한 구조에서는"영역 클라이언트" 네트워크 노드로도 지칭됨)이 통신하는 가상 영역 통신 환경(10)의 실시예(44)를 도시한다. 이러한 실시예에서, 영역 서버(46)는 도 3a에 도시된 P2P 구조 실시예에서 네트워크 노드(16)에 의해 수행되었던 영역 서버 기능을 맡게 된다. 이러한 점에서, 영역 서버(46)는 전역 상태 정보를 보유하며 영역 클라이언트 네트워크 노드(12 내지 16)에 대한 데이터 서버의 역할을 한다. 이러한 구조는 클라이언트 노드들(12 내지 16) 간의 실시간 데이터 스트림 스위칭이 다양한 토폴로지(topologies)로 처리되도록 하며, 이러한 다양한 토폴로지는 P2P 토폴로지, 영역 서버(46)가 네트워크 노드들(12 내지 16) 간 통신 중개인으로 동작하는 완전한 서버-중재 토폴로지, 및 P2P 토폴로지와 완전한 서버-중재 토폴로지의 측면을 조합한 하이브리드 토폴로지를 포함한다. 이러한 형태의 예시적인 토폴로지는 2007년 10월 24일에 출원된 미국 특허출원 제 11/923,629호 및 제 11/923,634호에 기재되어 있다.
2. 네트워크 기반구조 서비스
하나 이상의 네트워크 기반구조 서비스들은 통상적으로 다른 네트워크 노드들과의 네트워크 접속을 설정 및 관리하는 과정에서 실시간 커널(20)과 협력한다. 네트워크 기반구조 서비스는 하나의 네트워크 노드에서 실행될 수도 있고 다수의 네트워크 노드에 분배될 수도 있다. 네트워크 기반구조 서비스는 통상적으로 하나 이상의 전용 네트워크 노드(예를 들면, 라우팅 및 스위칭과 같은 부수적인 서비스를 수행하는 서버 컴퓨터 또는 네트워크 장치)에서 실행된다. 그러나, 일부 실시예에서, 네트워크 기반구조 서비스 중 하나 이상은 통신자의 네트워크 노드들 중 적어도 하나에서 실행된다. 가상 영역 통신 환경(10)의 예시적 실시예에 포함되는 네트워크 기반구조 서비스들 중에는 계정 서비스, 보안 서비스, 영역 서비스(26), 랑데부 서비스, 및 상호작용 서비스가 있다.
계정 서비스는 네트워크 기반구조 서비스 환경에서 통신자 계정을 관리한다. 계정 서비스는 또한 클라이언트 네트워크 노드들 자신을 네트워크 기반구조 서비스들 중 어느 것에 인증하기 위해 클라이언트 네트워크 노드들에 의해 사용될 수 있는 인증 토큰의 생성 및 게시을 관리한다.
보안 서비스는 가상 영역 통신 환경(10)의 자산 및 다른 자원에 대한 통신자의 접근을 제어한다. 보안 서비스에 의해 구현되는 접근 제어 방법은 통상적으로 하나 이상의 능력(적절한 능력과 허가를 가진 개체들에게 접근이 허용되는 경우)과 접근 제어 리스트(리스트 상에 있는 신원을 가진 개체들에게 접근이 허용되는 경우)를 기반으로 한다. 특정 통신자가 자원에 대한 접근이 허용된 후, 그 통신자는 통상적으로 가상 영역 통신 환경(10)에서 상호 작용하기 위해 다른 네트워크 기반구조 서비스들에 의해 제공되는 기능을 사용한다.
영역 서비스(26)는 가상 영역을 관리한다. 이러한 과정에서, 영역 서비스(26)는 요청하는 개체들의 능력을 전제로 가상 영역과 연관된 접속을 관리하고, 가상 영역을 위한 전역 상태 정보를 보유하며, 가상 영역에 의해 정의되는 상황에서 공유 통신 세션에 참여하는 클라이언트 네트워크 노드를 위한 데이터 서버의 역할을 한다. 전역 상태 정보는 가상 영역에 존재하는 모든 객체들과 그들의 가상 영역에서의 위치에 대한 리스트를 포함한다. 영역 서비스(26)는 클라이언트 네트워크 노드를 구성하는 명령어를 전송한다. 영역 서비스(26)는 또한 초기화 정보를 등록하고, 통신 세션에 참여하도록 요청하는 다른 클라이언트 네트워크 노드들로 초기화 정보를 전송한다. 이러한 과정에서, 영역 서비스(26)는 각 참여하는 클라이언트 네트워크 노드에게 가상 영역 애플리케이션(30)에 따라 클라이언트 네트워크 노드 상에서 가상 영역(28)을 렌더링하기 위해 필요한 구성 요소들(가령 플러그인들)의 리스트를 전송한다. 영역 서비스(26)는 통신 결함이 발생할 경우 클라이언트 네트워크 노드가 전역 상태로 동기화될 수 있다는 것을 보장한다.
랑데부 서비스는 존재 정보의 수립, 저장 및 분배를 관리하고, 요청하는 개체들의 능력을 전제로(예를 들어, 접속 코드명의 분배를 관리함으로써) 네트워크 노드들이 서로 통신하도록 하는 메카니즘을 제공한다. 랑데부 서비스는 통상적으로 존재 데이터베이스에 존재 정보를 저장한다.
상호작용 서비스는 통신자들 사이의 상호작용을 기록하는 상호작용 데이터베이스를 보유하며, 요청하는 개체들의 능력을 전제로 상호작용 데이터베이스에 대한 질의를 지원한다. 통신자들 사이의 모든 상호작용에 대해서, 가상 영역 통신 환경(10)의 하나 이상의 서비스(예를 들면, 영역 서비스(26))는 상호작용 서비스에 상호작용 데이터를 전송한다. 이에 응답하여, 상호작용 서비스는 하나 이상의 각 상호작용 레코드를 관계 데이터베이스에 생성한다. 각 상호작용 레코드는 상호작용의 상황을 기술한다. 예를 들어, 일부 실시예에서, 상호작용 레코드는 통신자들 각각에 대한 식별자, 상호작용의 장소(예를 들면, 가상 영역 인스턴스)에 대한 식별자, 상호작용 장소의 계층 구조에 대한 설명(예를 들어, 상호작용 공간이 더 큰 영역과 어떠한 관계가 있는지에 대한 설명), 상호작용의 시작 및 종료 시간, 및 상호작용이 수행되는 동안 공유되는 모든 파일과 다른 스트림의 리스트를 포함한다. 따라서, 각 실시간 상호작용에 대해서, 상호작용 서비스는 그것이 언제 발생하고, 어디에서 발생하며 상호작용 중에 어떤 일이 일어나는지를 관련된 (예를 들어, 들어오고 나가는) 통신자들, 활성화/비활성화된 객체들 및 공유되는 파일들에 대해서 추적한다.
상호작용 서비스는 장소에 기반한 정렬 순서(예를 들어, 가장 빈번한 또는 가장 최근의 순서)로 상호작용 데이터베이스 레코드에 대한 질의 결과를 제시할 수 있다. 질의 결과는 통신자가 가상 영역에 관계없이 만나는 사람들의 종류 및 통신자가 가장 자주 방문하는 가상 영역의 종류 뿐만 아니라, 가상 영역에서 통신자가 만나게 되는 관계자의 빈도 종류를 조정하기 위해 사용될 수 있다. 질의 결과는 또한 관계를 기반으로 일정한 태스크를 자동화하는 체험적 시스템의 일부로서 애플리케이션 개발자들에 의해 사용될 수 있다. 이러한 형태의 체험적 방법의 예에는 특정 가상 영역을 5번 넘게 방문한 통신자들이 기본적으로 노킹없이 진입할 수 있도록 허용하는 체험적 방법, 또는 특정 시간에 한 영역에 존재했던 통신자들이 동시에 동일한 영역에 존재했던 다른 통신자에 의해 생성된 파일을 수정 및 삭제할 수 있도록 하는 체험적 방법이 있다. 상호작용 데이터베이스에 대한 질의는 다른 검색과 조합될 수 있다. 예를 들면, 상호작용 데이터베이스에 있는 질의는 네트워크 기반구조 서비스 환경의 영역 밖에 있는 통신 시스템(예를 들면, 스카이프(Skype), 페이스북(Facebook) 및 플리커(Flickr))을 이용하여 관계자들과의 상호작용을 위해 생성된 관계자 이력 데이터에 대한 질의와 조합될 수 있다.
3. 가상 영역
실시간 커널(20)은 가상 영역의 인스턴스에 의해 정의된 통신 상황에서 네트워크 노드들과의 실시간 접속을 관리한다. 가상 영역 인스턴스는 추상적인 좌표에 대해서 정의된 추상적인(비 기하학적인) 가상 공간에 대응할 수 있다. 대안적으로, 가상 영역 인스턴스는 특정 시각화와 관련되는 1차원, 2차원 또는 3차원 기하학 좌표에 대해서 정의된 시각적인 가상 공간에 대응할 수 있다. 추상적인 가상 영역은 각각의 시각화와 관련될 수도 있고 그렇지 않을 수도 있는 반면, 시각적인 가상 영역은 각각의 시각화에 관련된다.
전술한 바와 같이, 통신자들은 통상적으로 관련된 시각화를 갖는 가상 영역에서 각각의 아바타에 의해 표현된다. 아바타들은 그들의 각 네트워크 노드에서 통신자들에 의해 입력된 입력 명령에 응답하여 가상 영역에서 이동하게 된다. 관련 가상화를 갖는 가상 영역 인스턴스를 통신자가 보는 것은 일반적으로 통신자의 아바타의 관점에서 나타나고, 각 통신자는 자신의 아바타를 중심으로 시각적 가상 영역의 어떤 부분이든지 볼 수 있으며, 이는 통신자가 경험하는 몰입의 레벨을 증가시킨다.
도 4는 컴퓨터 시스템(48)에 의해 구현되는 예시적인 네트워크 노드의 실시예를 도시한다. 컴퓨터 시스템(48)은 디스플레이 모니터(50), 컴퓨터 마우스(52), 키보드(554), 스피커(56, 58) 및 마이크(60)를 포함한다. 디스플레이 모니터(50)는 그래픽 사용자 인터페이스(62)를 디스플레이한다. 그래픽 사용자 인터페이스(62)는 다수의 창, 아이콘 및 포인터(64)를 포함할 수 있는 창 기반 그래픽 사용자 인터페이스이다. 도시된 실시예에서, 그래픽 사용자 인터페이스(62)는 미술관을 나타내는 3차원 가상화와 연관된 공유 가상 영역(66)의 2차원적 묘사를 나타낸다. 통신자들은 각 아바타들(68, 70, 72)에 의해 가상 영역(66)에서 표현되며, 아바타들 각각은 가상 영역(66)의 상황 내에서 각각의 역할(예를 들어, 큐레이터, 화가 및 방문자)을 가질 수 있다.
하기에 상세히 설명되는 바와 같이, 가상 영역(66)은 가상 영역(66)에서 아바타들(68 내지 72)로 표현되는 네트워크 노드들 간의 실시간 데이터 스트림의 스위칭을 관리하는 각 규칙과 연관된 구역(74, 76, 78, 80, 82)을 포함한다. (통상적인 통신 세션 중에, 도 4의 구역(74 내지 82)의 경계를 정하는 점선은 통신자들에게는 보이지 않으며, 대신 그러한 구역 경계와 결부된 시각적인 지시가 있을 수 있다). 스위칭 규칙은 네트워크 노드들 각각에서 실행되는 로컬 접속 과정이 가상 영역(66)의 구역(74 내지 82)에서 통신자들의 아바타(68 내지 72) 위치를 기반으로 어떻게 다른 네트워크 노드들과 통신을 설정하는지를 지시한다.
가상 영역은 가상 영역의 기하학적 요소들 및 스위칭 규칙과 관리 규칙을 포함하는 하나 이상의 규칙에 대한 설명을 포함하는 사양에 의해 정의된다. 스위칭 규칙은 네트워크 노드들간 실시간 스트림 접속을 관리한다. 관리 규칙은 가상 영역 자체, 가상 영역을 갖는 영역, 및 가상 영역 내의 객체와 같은 자원들에 대한 통신자의 접속을 제어한다. 일부 실시예에서, 가상 영역의 기하학적 요소들은 COLLADA-Digital Asset Schema Release 1.4.1 April 2006 specification (http://www.khronos.org/collada/로부터 이용가능함)에 따라서 기술되며, 스위칭 규칙은 미국 특허출원 제 11/923,629호 및 제 11/923,634호에 설명된 COLLADA 스트림 참조 명세서에 따라서 확장가능한 마크업 언어(extensible markup language:XML) 텍스트 형식(여기에서는 가상 공간 기술 형식(VSDL)으로 지칭됨)을 이용하여 기술된다.
가상 영역의 기하학적 요소들은 일반적으로 가상 영역의 물리적 기하 구조 및 충돌 기하 구조를 포함한다. 물리적 기하 구조는 가상 영역의 형상을 기술한다. 물리적 기하 구조는 통상적으로 삼각형, 다변형, 또는 다각형의 표면으로부터 형성된다. 색상과 질감은 가상 영역의 보다 실제적인 외형을 생성하기 위해 물리적 기하 구조 상에 매핑된다. 조명 효과는 예를 들어 시각적 기하 구조 상에 조명을 채색함으로써 그리고 조명 주변의 질감, 색상 또는 세기를 변경함으로써 제공될 수 있다. 충돌 기하 구조는 객체들이 가상 영역에서 이동할 수 있는 통로를 결정하는 눈에 보이지 않는 표면을 기술한다. 충돌 기하 구조는 시각적 기하 구조와 일치할 수 있고, 시각적 기하 구조의 보다 단순화된 근사법에 대응할 수 있고, 가상 영역 설계자의 애플리케이션-특화된 요구에 관련될 수 있다.
스위칭 규칙은 통상적으로 실시간 데이터 스트림의 소스와 싱크를 연결하기 위한 조건을 가상 영역 내의 위치에 대해서 기재하는 것을 포함한다. 통상적으로 각 규칙은 규칙이 적용되는 실시간 데이터 스트림 유형 및 규칙이 적용되는 가상 영역의 한 위치 또는 위치들을 정의하는 속성을 포함한다. 일부 실시예에서, 각 규칙은 소스의 필요한 역할, 싱크의 필요한 역할, 스트림의 우선 순위 레벨, 요청된 스트림 처리 토폴로지를 특정하는 하나 이상의 속성을 포함할 수 있다. 일부 실시예에서, 가상 영역의 특정 부분에 대해 정의되는 명시적인 스위칭 규칙이 존재하지 않는다면, 하나 이상의 함축적 또는 기본적인(default) 스위칭 규칙이 가상 영역의 그 부분에 적용될 수 있다. 하나의 예시적인 기본 스위칭 규칙은 정책 규칙을 전제로, 영역 내에서 모든 소스를 모든 호환되는 싱크와 연결하는 규칙이다. 정책 규칙은 영역 클라이언트들 간의 모든 접속에 대해서 전체적으로 또는 개별적인 영역 클라이언트와의 각 접속에 대해서만 적용될 수 있다. 정책 규칙의 예는 단지 소스들을 가상 영역 내에서 서로의 규정된 거리(또는 반경) 내에 있는 각 객체들과 연관된 호환되는 싱크와 접속하도록 허용하는 근접 정책 규칙이다.
일부 실시예에서, 관리(governance) 규칙은 누가 가상 영역에 접근하고, 누가 그 내용물에 접근하는지, 가상 영역의 내용물에 접근하는 범위가 어디인지(예를 들어, 사용자가 그 내용물로 무엇을 할 수 있는지), 그들 내용물에 접근하는 후속 결과가 무엇인지(예를 들어, 감사 데이터와 같은 레코드 보관 및 지불 요건)를 제어하기 위해 가상 영역과 연관된다. 일부 실시예에서, 전체적인 가상 영역 또는 가상 영역의 구역은 "관리 메시(mesh)"와 결부된다. 일부 실시예에서, 관리 메시는 미국 특허출원 제 11/923,629호 및 제 11/923,634호에 기재된 구역 메시의 구현과 유사한 방식으로 구현된다. 관리 메시는 소프트웨어 애플리케이션 개발자가 관리 규칙을 가상 영역 또는 가상 영역의 구역과 결부시킬 수 있도록 한다. 이는 가상 영역에 있는 모든 파일에 대한 각각의 허가를 부여할 필요성과, 상황에 따라서 동일한 문서를 다르게 취급해야 할 필요가 있는 경우 잠재적으로 일어날 수 있는 복잡성을 다룰 필요성을 피할 수 있도록 한다.
일부 실시예에서, 가상 영역은 가상 영역의 하나 이상의 구역을 디지털 저작권 관리(DRM) 기능과 관련시키는 관리 메시와 결부된다. DRM 기능은 하나 이상의 가상 영역, 또는 가상 영역 내에 있는 하나 이상의 구역, 또는 가상 영역 내의 객체들에 대한 접근을 제어한다. DRM 기능은 통신자가 가상 영역 내의 관리 메시 경계를 건널 때마다 트리거된다. DRM 기능은 트리거 동작이 허용되는지를 결정하고, 만일 그렇다면 허용되는 동작의 범위가 어디인지, 지불이 필요한지 그리고 감사 레코드가 생성되어야 하는지를 결정한다. 가상 영역의 예시적인 구현 예에서, 결부된 관리 메시는, 통신자가 가상 영역에 진입할 수 있다면 그 자신은 가상 영역과 결부된 모든 문서에 대해서 동작을 수행할 수 있도록 구성되며, 그 동작은 문서를 다루는 동작, 문서를 보는 동작, 문서를 다운로드하는 동작, 문서를 삭제하는 동작, 문서를 수정하는 동작 및 문서를 재 업로딩하는 동작을 포함한다. 이러한 식으로, 가상 영역은 가상 영역에 의해 정의되는 상황에서 공유되고 논의되는 정보에 대한 저장소가 될 수 있다.
가상 영역의 사양에 관한 부가적인 세부사항은 미국 특허출원 제 61/042714호 (2008년 4월 4일에 출원), 제 11/923,629호(2007 년 10월 24일에 출원) 및 제 11/923,634호(2007년 10월 24일에 출원)에 기재되어 있다.
4. 다른 플랫폼 구성요소
실시간 커널(20)은 클라이언트 소프트웨어 패키지의 일부로서 로컬 네트워크 노드의 구성요소로 기능하도록 설계되며, 클라이언트 소프트웨어 패키지는 부가적으로:
a. 헤드-업 디스플레이(HUD) 소프트웨어 애플리케이션와,
b. 로컬 휴먼 인터페이스 장치(HID) 및 오디오 재생 장치와,
c. So3D 그래픽 디스플레이, 아바타, 및 물리 엔진와,
d. 시스템 데이터베이스 및 저장 시설을 포함한다.
a. 헤드-업 디스플레이 (HUD)
헤드-업 디스플레이(HUD)는 각 클라이언트 네트워크 노드에서 동작하는 실시간 커널(20)과의 애플리케이션 인터페이스이다. HUD는 사용자가 자신의 데스크탑에서 계속적으로 구동시킬 수 있는 소형 경량의 인터페이스이다. 이는 가상 영역 애플리케이션을 시작하기 위한 사용자 인터페이스이며, 사용자에게 실시간 관계자 및 실시간 협력 장소(또는 영역)에 대한 즉각적인 접근을 제공한다. 가상 영역은 HUD와 실시간 커널(20)을 통해서 사용자의 데스크탑과 통합됨으로써, 사용자가 파일을 가상 영역 통신 환경으로 드래그 및 드롭하고 할 수 있고, 여전히 가상 영역에 존재하면서 가상 영역 통신 환경과는 독립적으로 고유의 클라이언트 소프트웨어 애플리케이션을 이용하여 가상 영역과 관련하여 저장된 파일을 사용할 수 있고, 여러 개의 애플리케이션 중 단 하나 보다는 다른 운영 체제 기능들과 유사한 동작 환경의 측면으로서 가상 영역 내에 존재 및 위치를 더 일반적으로 다룰 수 있다.
도 5a 및 5b는 통신자의 데스크탑의 우측 하단 코너에 도킹된 반투명의 사용자 인터페이스에 의해 구현되는 HUD의 실시예(84)를 도시한다. HUD(84)는 플랫폼에 대한 애플리케이션 인터페이스이다. HUD(84)의 특징은 다음을 포함한다:
Figure 112011051466817-pct00001
사용자의 데스크탑에서 항상 구동시키고자 하는 소형, 경량의 애플리케이션와,
Figure 112011051466817-pct00002
사용자에게 상호작용이 일어나는 가상 영역 뿐만 아니라 관계자를 보고 관계자와 소통하도록 하기 위한 쉬운 인터페이스를 제공한다.
이러한 실시예에서, HUD(84)는 지속적인 인터페이스 및 제어에 대한 접근을 제공하는 실질적으로 투명한(반투명한) 사용자 인터페이스 오버레이(overlay)에 의해 구현된다. 도 5a에 도시된 실시예에서, HUD(84)는 인터페이스의 다음과 같은 반투명 요소들 중 하나 이상의 제한된 세트를 제외하고는 투명하다:
Figure 112011051466817-pct00003
점진적 몰입 제어의 윤곽와,
Figure 112011051466817-pct00004
사용자의 현재 위치의 윤곽와,
Figure 112011051466817-pct00005
가상 영역(86)의 실시간 관계자를 나타내는 스프라이트(sprites)와,
Figure 112011051466817-pct00006
HUD 영역의 경계를 정하는 선.
통신자는 실시간 커널(260) 및 HUD(84)가 구동되어 실시간 통신 세션을 개시할 준비를 하는 동안 정상적인 데스크탑 컴퓨팅 환경에서 작업할 수 있다. 예를 들어, 통신자는 실시간 통신 세션에서 추후에 공유될 수 있는 문서를 생성하기 위해 마이크로소프트 엑셀(Microsoft®Excel®)과 같은 다른 애플리케이션으로 작업할 수 있다. 가상 영역(86)은 통신자의 데스크탑과 통합됨으로써, 통신자가 파일을 가상 영역으로 드래그 및 드롭하고 할 수 있고, 여전히 가상 영역에 존재하면서 가상 영역 통신 환경과는 독립적으로 고유의 클라이언트 소프트웨어 애플리케이션을 이용하여 가상 영역과 관련하여 저장된 파일을 사용할 수 있고, 여러 개의 애플리케이션 중 하나 보다는 다른 운영 체제 기능들과 유사한 동작 환경의 측면으로서 가상 영역 내의 존재 및 위치를 더 일반적으로 다룰 수 있다.
통신자가 가상 영역(86)에서 상호 작용하는 동안, HUD(84)는 자신이 원하는 시각화를 통해서 통신자에게 독립적인 제어를 제공한다. 예를 들어, 통신자는 가상 영역의 최소화된 뷰(데스크탑 화면의 우측 하단 코너에 최소화된 뷰)를 디스플레이할 수 있고 마이크로소프트 엑셀(Microsoft®Excel®)과 같은 다른 애플리케이션에서 작업하면서 가상 영역에서 다른 통신자와의 음성 대화에 참여할 수 있다. 통신자는 따라서 자신의 가상화 스키마를 변경할 수 있고 가상 영역(86)의 더 몰입적인 3차원 렌더링으로 진입할 수 있다. 이는 HUD(84)의 점진적 몰입형 슬라이더(88)의 설정을 "데스크탑"에서 "3D"의 범위로 변경함으로써 달성된다. 3D 가상화 모드에 진입하면, 통신자의 데스크탑은 가상 영역(86)의 3D 표현을 (도 5a에 도시된 바와 같이) 디스플레이한다. 통신자들(데스크탑 모드에서 스프라이트(90, 92, 94)로 표현됨)은 이제 도 5a에 도시된 바와 같이 3차원 아바타들(96, 98, 100)의 형태를 취하게 된다.
가상 영역(86)과 연관된 임의의 데이터는 뷰 스크린(102, 104, 106) 상에 디스플레이될 수 있다. 뷰 스크린은 어떤 임의의 데이터를 렌더링하기 위해 사용될 수 있는 포괄적인 데이터 렌더링 구성요소이다. 뷰 스크린 상에 렌더링될 수 있는 데이터 유형의 예는:
Figure 112011051466817-pct00007
마이크로소프트 파워포인트(Microsoft PowerPoint) 프리젠테이션
Figure 112011051466817-pct00008
비디오
Figure 112011051466817-pct00009
웹캠(Webcam)의 출력
Figure 112011051466817-pct00010
조직의 ERP 시스템으로부터 직접 획득한 실시간 데이터를 포함한다.
도 5c에 도시된 바와 같이, HUD(84)는 통신자의 디스플레이 모니터 상에 나타나는 그래픽 사용자 인터페이스(62)의 아래에 배치된 부분이 명확하지 않게 보이는 것을 최소화한 상태로 정보를 디스플레이하고 제어에 대한 접근을 제공하는 실제 인터페이스의 역할을 하도록 설계된다. HUD(84)는 다음과 같은 사항을 효율적으로 보여준다:
Figure 112011051466817-pct00011
현재 온라인 상에 있는 통신자의 각 실시간 관계자들,
Figure 112011051466817-pct00012
가상 영역(86)에서 통신자와 통신자의 실시간 관계자들이 현재 "위치"하는 장소,
Figure 112011051466817-pct00013
가상 영역(86)의 시각화를 제어하는 점진적인 몰입 제어, 및
Figure 112011051466817-pct00014
사용자가 특정 장소에 신속하게 접속하도록 하는 항법 제어
특히, HUD(84)는 통신자들에게 그들의 실시간 관계자와 실시간 협력이 일어나는 가상 영역에 대한 즉각적인 접근을 제공한다. HUD(84)는 가상 영역 내부로의 뷰 뿐만 아니라 사람들의 위치에 기반으로 영역을 통한 항법(navigation)을 허용한다. 가상 영역은 여러 가지 방식: 가장 빈번하게 사용되는 방식, 가장 최근에 사용된 방식 또는 애플리케이션 특정 방식으로 접근될 수 있다.
HUD(84)는 장소 타일들(108, 110, 112)의 순서적인 세트를 보여준다. 장소 타일 중 하나를 클릭하면, 사용자는 선택된 장소 타일에 의해 표현되는 가상 영역으로 진입하게 된다. 사람들에 대해서, Go(통신자의 영역으로 가는 경우) 및 Get(그들을 사용자의 영역으로 데려오는 경우)의 기본적인 상징을 가진다. 이는 통신자들이 "이동(moving)"하지 않고 텍스트 또는 음성을 통해서 사람들과 통신할 뿐 아니라, 가거나(go) 또는 데려오기(get) 위한 요청을 대기행렬에 넣도록 함으로써 HUD(84) 내에서 정교해진다. HUD(84)는 통신자에게 각 통신 요청이 다른 통신자로부터 언제 수신되는지를 통보한다. 통신자는 그 요청을 수락하거나, 무시하거나 또는 그것을 통신 큐에 추가할 수 있다. 이러한 방식으로, 통신자들은 추후에 비-우선순위(non-priority) 통신에 응답할 수 있다. 예를 들면, 통신자는 통신자가 통신 중에 있는 동안에(예를 들면, 현재의 통신 세션에 연결된 상태일 때) 수신된 통신을 대기 행렬에 넣을 수 있고, 통신자가 해제된 후 통신자는 통신 큐에 있는 통신 요청에 응답할 수 있다.
전술한 바와 같이, 상호작용 네트워크 기반구조 서비스는 통신자가 만나는 사람과 만나는 장소를 기록하는 상호작용 데이터베이스를 보유한다. 상호작용 서비스는 장소에 기반한 구분 순서(예를 들어, 가장 빈번하거나 또는 가장 최근의 순서)로 제시될 수 있는 질의 결과를 포함하는 관계 데이터베이스에 대해서 질의에 응답한다. 이러한 식으로, 관계 데이터베이스 정보는 통신자가 영역에 관계없이 만나게 되는 사람의 종류 및 통신자가 가장 자주 방문하는 영역의 종류 뿐만 아니라, 그 영역에서 통신자가 만나는 사람의 빈도 종류를 조정할 수 있다. 이러한 데이터는 HUD(84)에서 사용된다. 이러한 데이터는 체험적 시스템의 일부로서 가상 영역 애플리케이션 개발자들에 의해 사용될 수 있다(예를 들면, 특정 가상 영역을 5번 넘게 방문한 사람은 기본적으로 노킹없이 진입할 수 있도록 허용하거나, 또는 특정 시간에 한 가상 영역에 존재하는 사람들이 동시에 그 영역에 존재하는 다른 통신자에 의해 생성된 파일을 수정 및 삭제할 수 있도록 허용하는 규칙).
도 5c에서 HUD(84)는 각각의 가상 영역을 나타내는 일련의 장소 타일들(108, 110, 112)을 제시한다. 가상 영역들 각각은 관계 데이터베이스에 대한 질의에 관련되어 있다. 각 가상 영역에 대해서, 랑데부 서비스는 그 가상 영역에서 사용자가 만나게 되는 모든 관계자들에 대해서 관계 데이터베이스에 질의한다. 랑데부 서비스는 통상적으로 식별된 관계자를 빈도에 의해서 또는 상호작용의 최근성에 의해서 (예를 들면, 통신자가 마지막으로 소통했던 관계자) 구분되는 리스트로 제시한다. 다른 실시예에서, 관계자들은 어떤 다른 애플리케이션-의존적 방식으로 분류될 수 있다.
관계 데이터베이스에 대한 질의는 다른 검색과 조합될 수 있다. 예를 들어, 관계 데이터베이스에 대한 질의는 다른 통신 시스템(예를 들면, 스카이프, 페이스북 및 플리커)를 이용하여 관계자와의 상호 작용을 위해 생성된 관계자 이력 데이터에 대한 질의와 조합될 수 있다. 한 예에서, 스카이프 가상 영역(112)은 스카이프 가상 영역(112)과 연관된 사용자의 실시간 관계자들의 구분 리스트를 형성하기 위해 스카이프 가상 영역(112)과 연관된 통신자의 관계 데이터 및 통신자의 스카이프 이력 데이터에 대한 질의와 결부될 수 있다.
도 5c는 HUD(84) 내의 관계자 및 가상 영역들의 기본적인 항법을 도시한다. 가상 영역 타일들(108 내지 112)의 각각에 결부된 좌향 화살표를 클릭하면 주어진 장소에서 상호작용의 빈도로 구분된 실시간 관계자의 리스트가 디스플레이된다. 예를 들어, 주요 HUD 타일(84)("사무실"로 표시됨)의 좌향 화살표(114)를 클릭하면, 가상 영역(86) 내에서 사용자가 가장 빈번하게 통신하는 실시간 관계자들을 디스플레이한다. 관계자들(각 아이콘 타일로 표현됨)의 리스트는 빈도에 따라 구분된다. 리스트 상의 첫 번째 관계자(본 예에서는 DVW)는 가상 영역(86) 내에서 사용자가 가장 빈번하게 소통하는 관계자를 나타내며, 그 다음으로 PJB, Tim 등이 나타난다. 상향 화살표(116)를 클릭하면, 통신자가 방문해왔던 가상 영역의 일부 또는 모두를 나타내는 장소 타일의 세트가 디스플레이된다. 장소 타일의 세트는 통상적으로는 빈도, 최근성 또는 다른 순서로 구분된다. 가상 영역 장소 타일들은 대응하는 가상 영역에서 현재 일어나는 실시간 활동을 보여준다. 예를 들어, DVW, Kim 및 Joe(주요 가상 영역 타일(108)에서 각 스프라이트에 의해 표현됨)는 모두 주요 가상 영역에 존재하고 실시간 대화를 하는 반면, Jeff, Ann 및 Jane(가상 영역 타일(110) 내에서 각 스프라이트로 표현됨)은 Facebook 가상 영역 내에 존재한다.
임의의 통신자가 가상 영역을 나가거나 들어오는 경우, 그 가상 영역의 존재 지시자(즉, 통상적으로 이름 또는 다른 식별자와 관련되는 원으로 도시된 스프라이트들)는 자동으로 실시간으로 갱신될 것이다. 이러한 특성은 애플리케이션-특화된 실시간 데이터를 장소 타일 내에 삽입하는 가상 영역 설계자의 능력을 입증한다. 장소 타일은 통신자와 또는 통신자의 장소와 연관되어 나타날 수 있다. 예를 들어, 게임 개발자는 그들의 게임 환경에 통신자가 존재하는 맵을 이출할 수 있어서, 관계 데이터베이스를 통해서 그 통신자와 접속된 다른 사람들이 통신자의 현재 활동을 실시간으로 제공받는다. 이러한 사람들은 그 통신자를 조종하고, 그 통신자와 통신하고 그 통신자와 연락하기 위해(예를 들어, 가상 영역에 진입하도록 초청하기 위해) 이러한 가상 영역 타일을 이용할 수 있다. HUD(84)는 동시적으로 많은 서로 다른 가상 영역에 대해서 관계자들과 가상 영역들에 대한 인터페이스를 관리한다.
HUD 가상 영역 타일들(84, 108, 110, 112)에서 사용되는 실시간 데이터는 실시간 커널(20)을 통해서 해당 영역을 호스팅하는 영역 서비스에 의해 관리되는 인터페이스에 의해 제공된다. 각 영역 서비스는 호스팅된 가상 영역을 볼 수 있는 통신자들의 허가를 기반으로 통신자에게 제공된 각각의 서로 다른 HUD 가상 영역 타일 데이터 피드(feed)를 제공할 수 있다. 예를 들어, 통신자가 뷰에 대한 허가를 갖고 있지 않은 가상 영역에 통신자가 진입하면, HUD 가상 영역 타일은 제한된 정보를 보여주거나 상세한 정보를 보여주지 않을 수 있다. 부가적으로, 호스팅 영역 서비스에 의해 제공되는 HUD 가상 영역 타일 데이터 피드는 신청 HUD들에게 가상 영역의 애플리케이션-특화된 뷰를 제시하기 위해 그 영역 서비스를 동작시키는 가상 영역 제공자에 의해 맞춤화될 수 있다.
b. 로컬 휴먼 인터페이스 장치(HID) 및 오디오 재생 장치
로컬 HID 장치는 가상 영역 통신 세션에 참여하면서 통신자로 하여금 명령어와 다른 신호들을 클라이언트 네트워크 노드로 입력하도록 한다. 예시적인 HID 장치는 컴퓨터 키보드, 컴퓨터 마우스, 터치 스크린 디스플레이 및 마이크를 포함한다.
오디오 재생 장치는 통신자로 하여금 가상 영역 통신 세션 중에 수신된 오디오 신호를 재생하도록 한다. 예시적인 오디오 재생 장치는 오디오 신호를 조작하기 위한 (예를 들면, 특수 효과를 혼합 및 적용하기 위한) 오디오 처리 하드웨어(예를 들어, 사운드 카드) 및 음향을 출력하기 위한 스피커를 포함한다.
c. So3D 그래픽 디스플레이, 아바타, 및 물리 엔진
So3D 엔진은 디스플레이 모니터 상의 가상 영역과 가상 영역에 있는 객체들의 각각의 뷰를 제시하는 것을 제어하는 3차원 시각화 엔진이다. So3D 엔진은 통상적으로 가상 영역의 뷰를 나타내면서 통신자가 HUD 애플리케이션의 작동을 제어하도록 하기 위해 그래픽 사용자 인터페이스 드라이버 및 HID 장치들과 인터페이스한다.
일반적으로 So3D 엔진은 실시간 커널(20)을 통해서 영역 서비스(26)로부터 그래픽 렌더링 명령어를 수신한다. 일부 실시예에서, So3D 엔진은 또한 가상 영역에서 통신자의 아바타를 렌더링하기 위해 필요한 영상을 포함하는 통신자 아바타 데이터베이스를 읽어낸다. 이러한 정보를 토대로, So3D 엔진은 가상 영역 내에 있는 통신자의 아바타의 관점에서(위치 및 방위) 가상 영역과 가상 영역의 객체들의 시각적 표현(즉, 영상)을 생성한다. 시각적 표현은 통상적으로 클라이언트 네트워크 노드에서 가상 영역의 시각적 표현을 렌더링하기 위해 그래픽 렌더링 하드웨어를 구동하는 운영 체제의 그래픽 렌더링 구성요소들에 전달된다.
통신자는 HID 장치(예를 들어, 컴퓨터 마우스)로부터, 뷰 제어 명령어를 So3D 엔진으로 전송하는 실시간 커널(20)로 명령어를 전송함으로써 가상 영역의 제시된 뷰를 제어할 수 있다. So3D 엔진은 뷰 제어 명령에 따라서 가상 영역의 뷰를 갱신한다. So3D 엔진은 또한 실시간 커널(20)을 통해서 영역 서비스(26)로부터 수신된 갱신된 객체 위치 정보에 따라서 디스플레이 모니터 상에서 가상 영역의 그래픽 표현을 갱신한다.
d. 시스템 데이터베이스 및 저장 시설
시스템 데이터베이스 및 저장 시설은 플랫폼에 의해 사용되는 다양한 형태의 정보를 저장한다. 통상적으로 저장 시설에 의해 저장되는 예시적인 정보는 존재 데이터베이스, 상호작용 데이터베이스, 아바타 데이터베이스, 실제 사용자 id (RUID) 데이터베이스, 기술 캐시(art cache) 데이터베이스, 및 가상 영역 사양 데이터베이스를 포함한다. 이러한 정보는 하나의 네트워크 노드에 저장되거나 다수의 네트워크 노드를 통해서 분배될 수 있다.
C.예시적 통신 세션
다시 도 4를 참조하면, 통신 세션 동안에는 클라이언트 네트워크 노드들 각각이 실시간 데이터 스트림(예를 들어,움직임 데이터 스트림, 오디오 데이터 스트림, 대화 데이터 스트림, 파일 전달 데이터 스트림 및 비디오 데이터 스트림)의 각 세트를 생성한다. 예를 들어, 각 통신자는 가상 영역(66)에서 자신의 아바타의 움직임을 제어하는 움직임 데이터 스트림을 생성하는 하나 이상의 입력 장치(예를 들어, 컴퓨터 마우스(52) 및 키보드(54))를 조작한다. 부가적으로, 컴퓨터 시스템(48)의 주변에서 국부적으로 생성되는 통신자의 음성 및 다른 음향은 마이크(60)에 의해 획득된다. 마이크(60)는 실시간 오디오 스트림으로 변환되는 오디오 신호를 생성한다. 오디오 스트림의 각 복사본은 가상 영역(66)의 아바타들에 의해 표현되는 다른 네트워크 노드로 전송된다. 이들 다른 네트워크 노드에서 국부적으로 생성되는 음향은 실시간 오디오 신호로 변환되고 컴퓨터 시스템(48)으로 전송된다. 실시간 커널(20)은 다른 네트워크 노드들에 의해 생성되는 오디오 스트림을 스피커(56, 58)에 의해 렌더리링되는 오디오 신호로 변환한다. 움직임 데이터 스트림 및 오디오 스트림은 통신자 노드들 각각으로부터 다른 클라이언트 네트워크 노드로 직접적으로 또는 간접적으로 전송될 수 있다. 일부 스트림 처리 토폴로지에서, 클라이언트 네트워크 노드 각각은 다른 클라이언트 네트워크 노드에 의해 전송되는 실시간 데이터 스트림의 복사본을 수신한다. 다른 스트림 처리 토폴로지에서, 클라이언트 네트워크 노드들 중 하나 이상은 네트워크 노드들 중 다른 것들로부터 공급받은(또는 시작되는(originated)) 실시간 데이터 스트림으로부터 도출되는 하나 이상의 스트림 혼합물을 수신한다.
일부 실시예에서, 영역 서비스(26)는 가상 영역의 현재 사양, 가상 영역 내에 존재하는 객체들의 현재 목록, 영역 서비스(26)를 호스팅하는 네트워크 노드에 의해 현재 생성되는 임의의 스트림 혼합물의 리스트를 포함하는 전역 상태 정보를 보유한다. 객체 목록은 통상적으로 가상 영역에 있는 각 객체들에 대해서 각각의 객체 식별자(예를 들어, 객체를 고유하게 식별하는 라벨), 객체와 연관된 네트워크 노드와 네트워크 접속이 설정되도록 하는 접속명(예를 들어, IP 주소와 같은 URI), 및 객체와 연관된 실시간 데이터 소스들과 싱크들(예를 들어, 객체와 연관된 네트워크 노드의 소스들과 싱크들)을 식별하는 인터페이스 데이터를 포함한다. 객체 목록은 또한 일반적으로 각 객체에 대해서 하나 이상의 선택적인 역할 식별자를 포함하며, 이들은 통신자들 또는 영역 서비스(26)에 의해 객체에 명시적으로 부여될 수 있거나, 또는 객체들의 다른 속성으로부터 추정될 수 있다. 일부 실시예에서, 객체 목록은 또한 가상 영역 내에 있는 객체들과 연관된 네트워크 노드들로부터 수신된 실시간 움직임 데이터 스트림의 분석에 기반하여 영역 서비스(26)에 의해 결정되는 가상 영역의 각 객체의 현재 위치를 포함한다. 이러한 점에서, 영역 서비스(26)는 가상 영역 내에 있는 객체와 연관된 네트워크 노드들로부터 실시간 움직임 데이터 스트림을 수신하고, 움직임 데이터를 기반으로 가상 영역에 들어가고, 가상 영역으로부터 나오고 가상 영역에서 움직이는 통신자의 아바타들 및 다른 객체들을 추적한다. 영역 서비스(26)는 추적된 객체들의 현재 위치에 따라서 객체 목록을 갱신한다.
다른 네트워크 노드와의 실시간 데이터 스트림 접속을 관리하는 과정에서, 영역 서비스(26)는 클라이언트 네트워크 노드 각각에 대해서 가상 영역 내에 현재 존재하는 객체들의 인터페이스 데이터, 구역 리스트 및 위치를 포함하는 구성 데이터의 세트를 보유한다. 인터페이스 데이터는 클라이언트 네트워크 노드 각각과 연관된 각 객체에 대해서, 객체와 연관된 실시간 데이터 스트림 유형의 모든 소스와 싱크의 각 리스트를 포함한다. 구역 리스트는 대응하는 클라이언트 네트워크 노드와 연관된 아바타에 의해 현재 점유되는 가상 영역의 모든 구역들의 목록이다. 통신자가 가상 영역에 처음 진입하면, 영역 서비스(26)는 일반적으로 현재 객체 위치 데이터베이스를 위치 초기화 정보로 초기화한다. 이후에, 영역 서비스(26)는 현재 객체 위치 데이터베이스를, 가상 영역을 공유하는 다른 클라이언트 네트워크 노드들로부터 수신된 실시간 움직임 데이터 스트림의 분석에 기반하여 결정되는 바와 같이 가상 영역에 있는 객체들의 현재 위치로 갱신한다.
도 6은 사용자가 가상 영역에 진입하거나 가상 영역의 구역들 간의 경계를 건널 때 영역 서비스(26)의 실시예가 필요한 실시간 데이터 스트림 접속의 세트를 결정하는 방법의 실시예를 도시한다. 영역 서비스(26)는 가상 영역 사양과 가상 영역 인스턴스에 존재하는 통신자의 아바타 위치로부터 각 통신자에 대한 점유된 구역의 리스트를 형성한다(도 6의 블록(180)). 이러한 과정에서, 영역 서비스(26)는 가상 영역 인스턴스에 존재하는 사용자 아바타의 현재 위치를 현재 객체 위치 데이터베이스로부터 가져오며, 이러한 현재 객체 위치 데이터베이스는 가상 영역 인스턴스에 존재하는 아바타의 현재 위치의 좌표를 포함한다. 그 후 영역 서비스(26)는 통신자 아바타의 현재 위치를 가상 영역 사양에 있는 구역 정의와 비교한다. 영역 서비스(26)는 통신자 아바타의 현재 위치와 일치하는 가상 영역 사양의 모든 구역으로부터 점유 구역 리스트를 수립한다. 예를 들어, 일부 실시예에서, 점유 구역 리스트는 그들의 메시(mesh)가 통신자 아바타의 현재 위치를 포함하는 모든 구역으로 구성된다.
영역 서비스(26)는 점유 구역 리스트의 구역에 대해 정의되는 목표 실시간 데이터 스트림 유형의 세트를 결정한다(도 6의 블록(182)). 이후, 영역 서비스(26)는 목표 실시간 데이터 스트림 유형의 세트, 가상 영역 인스턴스에 존재하는 객체들의 위치, 및 가상 영역 사양에 정의된 스위칭 규칙으로부터 필요한 실시간 데이터 스트림 데이터의 세트를 결정한다(도 6의 블록(184)).
일부 예시적인 실시예에서, 영역 서비스(26)가 사용자로 하여금 공유된 가상 영역 인스턴스에 존재하는 다른 네트워크 노드들과의 협력 통신 세션에 참여하도록 하는 실시간 데이터 스트림 데이터의 세트를 결정한 후(도 6의 블록(184)), 영역 서비스(26)는 필요한 데이터 스트림 데이터를 컴퓨터 시스템(120)으로 전달하게 될 실시간 데이터 스트림 접속을 결정한다.
이러한 실시예들 중 일부에서, 영역 서비스(26)는 적어도 부분적으로는 컴퓨터 시스템(120)의 대역폭 능력에 기반하여 실시간 데이터 스트림의 세트를 컴퓨터 시스템(120)으로 전달하는 실시간 데이터 스트림 처리 토폴로지를 결정한다. 이러한 과정에서, 영역 서비스(26)는 혼합되지 않은 실시간 데이터 스트림 및 실시간 데이터 스트림의 조합에서 도출된 스트림 혼합물로부터 실시간 데이터 스트림 각각을 수신하기 위한 각각의 형태를 결정한다. 영역 서비스(26)는 또한 직접적인 P2P 네트워크 라우트 및 다른 네트워크 노드 중 하나 이상에 의해 중재되는 네트워크 라우트로부터 실시간 스트림 각각이 수신되는 네트워크 라우트를 결정한다. 스트림 처리 토폴로지가 결정된 후, 영역 서비스(26)는 컴퓨터 시스템(120) 상에서 동작하는 실시간 커널로 명령어를 전송한다. 명령어는 결정된 스트림 처리 토폴로지에 따라서, 컴퓨터 시스템(120)과 네트워크 노드들 중 다른 것들 사이에서 필요한 실시간 데이터 스트림 접속을 특정한다.
도 7은 필요한 데이터 스트림 데이터를 컴퓨터 시스템(120)으로 전달하는 실시간 데이터 스트림 접속의 토폴로지를 결정하는 과정에서 실시간 커널(20)에 의해 구현되는 방법의 실시예를 도시한다.
이러한 방법에 따르면, 실시간 커널(20)은 컴퓨터가 필요한 실시간 데이터 스트림 데이터(186)의 세트를 다른 네트워크 노드로부터 직접적으로 수신하기에 충분한 대역폭을 가지는지를 결정한다(도 7의 블록(188)). 이러한 과정에서, 다른 네트워크 노드들은 컴퓨터 시스템(120)으로 링크 요청을 전송한다. 링크 요청은 컴퓨터 시스템(120)에 의해 필요한 실시간 데이터 스트림의 각 세트를 전송하기 위한 각 대역폭 요건을 나타낸다. 실시간 커널(20)은 필요한 직접적인 접속을 설정하기 위해 요구되는 전체적인 대역폭을 현재 컴퓨터 시스템(120)에 이용가능한 다운로드 대역폭과 비교한다.
이용가능한 대역폭이 전체 필요한 대역폭과 적어도 동일하다면, 실시간 커널(20)은 필요한 실시간 데이터 스트림 데이터를 제공하는 다른 네트워크 노드들과 직접적인 접속을 설정한다(도 7의 블록(190)). 이러한 과정에서, 실시간 커널(20)은 컴퓨터 시스템(120)과 하나 이상의 다른 네트워크 노드들 간에 소켓(예를 들어, TCP 소켓 또는 성능에 대해 최적화된 특수 실시간 소켓)을 생성한다. 실시간 커널(20)은 실시간 데이터 스트림을 처리하며, 이는 실시간 데이터 스트림을 암호화하는 과정, 기록하는 과정, 및 처리된 데이터 스트림을 사용자 인터페이스로 렌더링하고 네트워크(18)를 통해서 전송하기 위해 필요한 하류 소프트웨어 구성요소로 전달하는 과정을 포함한다.
이용가능한 대역폭이 필요한 대역폭보다 작으면(도 7의 블록(188)), 실시간 커널(20)은 필요한 실시간 데이터 스트림 데이터를 제공하는 스트림 혼합물이 현재 영역 서비스(26)에 의해 생성되는지 결정하기 위해 스트림 혼합물 리스트를 검사한다(도 7의 블록(192)). 필요한 스트림 혼합물이 이용가능하다면, 실시간 커널(20)은 필요한 데이터 스트림 혼합물의 복사본이 영역 서버(28)로부터 컴퓨터 시스템(120)으로 전송되도록 하는 접속을 영역 서비스(26)와 설정한다(도 7의 블록(194)). 필요한 스트림 혼합물이 이용가능하지 않다면, 실시간 커널(20)은 스트림 혼합물 요청을 영역 서비스(26)로 전송한다(도 7의 블록(196)). 가능하다면, 영역 서비스(26)는 스트림 혼합 요청에 응답하여 필요한 스트림 혼합물을 생성한다.
IV. 시스템 구조
A. 서론
통상적으로, 통신자는 일반적으로 범용 컴퓨터 시스템 또는 전용 통신 컴퓨터 시스템(네트워크 기반 비디오 게임 콘솔과 같은 "콘솔")으로 구현되는 클라이언트 네트워크 노드로부터 네트워크(18)로 접속된다. 네트워크 노드는 다른 네트워크 노드들과 실시간 데이터 스트림 접속을 설정하는 통신 프로세스들을 실행하고, 일반적으로 통신자에 의해 진입된 각 가상 영역의 뷰를 제시하는 시각화 렌더링 프로세스들을 실행한다.
도 8은 컴퓨터 시스템(120)에 의해 구현되는 클라이언트 네트워크 노드의 실시예를 도시한다. 컴퓨터 시스템(120)은 처리부(122), 시스템 메모리(124) 및 처리부(122)를 컴퓨터 시스템(120)의 다양한 구성요소들과 결합시키는 시스템 버스(126)를 포함한다. 처리부(122)는 하나 이상의 데이터 프로세서들을 포함할 수 있으며, 이들 각각은 다양한 상업적으로 이용가능한 컴퓨터 프로세서들 중 어느 하나의 형태를 가질 수 있다. 시스템 메모리(124)는 컴퓨터 시스템(120)을 위한 시동 루틴을 포함하는 기본 입출력 시스템(BIOS)을 저장하는 롬(ROM)과, 램(RAM)을 포함할 수 있다. 시스템 버스(126)는 메모리 버스, 주변 장치 버스 또는 로컬 버스일 수 있고, PCI, VESA, MicroChannel, ISA, 및 EISA를 포함한 다양한 버스 프로토콜중 어느 것과 호환될 수 있다. 또한 컴퓨터 시스템(120)은 시스템 버스(126)와 연결되고 데이터, 데이터 구조 및 컴퓨터 실행 가능 명령어를 위한 비휘발성 또는 영구 저장 장치를 제공하는 하나 이상의 컴퓨터 판독가능 매체 디스크를 포함하는 영구 저장 메모리(128)(예를 들면, 하드 드라이브, 플로피 드라이브, CD ROM 드라이브, 자기 테이프 드라이브, 플래시 메모리 장치 및 디지털 비디오 디스크)를 포함할 수 있다.
통신자는 하나 이상의 입력 장치(130)(가령, 하나 이상의 키보드, 컴퓨터 마우스, 마이크, 카메라, 조이스틱, Wii 입력 장치와 같은 신체 움직임 센서, 및 터치 패드)를 이용하여 컴퓨터 시스템(120)과 상호 작용(가령 입력 명령 또는 데이터)할 수 있다. 정보는 디스플레이 컨트롤러(134)에 의해 제어되는 디스플레이 모니터 상에서 통신자에게 보여지는 그래픽 사용자 인터페이스(GUI)를 통해서 제시될 수 있다. 컴퓨터 시스템(120)은 다른 입/출력 하드웨어(136)(가령, 스피커 및 프린터와 같은 주변 출력 장치)도 포함할 수 있다. 컴퓨터 시스템(120)은 네트워크 어댑터(138)("네트워크 인터페이스 카드" 또는 NIC로도 지칭됨)를 통해서 다른 네트워크 노드들(138, 140 및 142)에 접속된다.
다수의 프로그램 모듈은 시스템 메모리(124)에 저장될 수 있으며, 시스템 메모리는 운영체제(OS)(144)(예를 들어, 미국 워싱턴, 레드몬드 소재 마이크로소프트 사에서 구입가능한 윈도우 XP(Windows XP®) 운영 체제), 실시간 커널(20), 드라이버(146)(예를 들면 GUI 드라이버), 네트워크 프로토콜(148), 로컬 소프트웨어 애플리케이션(150)(예를 들면, HUD(84)), 및 데이터(예를 들면, 입력 데이터, 출력 데이터, 프로그램 데이터, 레지스트리(156) 및 구성 설정(152))를 포함한다.
B. 운영 체제
운영 체제(144)는 컴퓨터 시스템(120) 상에 실행 시간(run-time) 실행 환경을 생성하기 위한 기본 운영 체제 서비스를 제공함으로써 소프트웨어 애플리케이션들을 호스팅한다. 운영체제에 의해 일반적으로 제공되는 예시적인 서비스의 형태에는 자원 관리, 파일 관리, 보안, 인증, 검증, 통지 및 사용자 인터페이스(가령 윈도잉, 메뉴, 대화 등)가 있다.
컴퓨터 시스템(120)의 자원(가령 메모리, 프로세서 및 I/O 장치)의 관리와 관련된 서비스는 일반적으로 운영 체제 커널에 의해 구현된다. 파일 관리는 운영 체제 커널에 의해 구현되거나 또는 별도의 파일 시스템 관리자(예를 들면, 일부 마이크로소프트 윈도즈(Microsoft® Windows®) 운영 체제에서 제공되는 설치가능한 파일 시스템)에 의해 구현될 수 있다. 파일(예를 들면, 컴퓨터 데이터 파일 또는 소프트웨어 애플리케이션 파일)을 여는 과정에서, 파일 시스템 관리자는 일반적으로 디스크 상의 파일의 저장 위치를 설계하는 데이터베이스(예를 들면, FAT, FAT98, VFAT, MFT 및 CDFS과 같은 파일 할당 테이블) 내에서 파일의 디스크 저장 위치를 검색하는 적절한 파일 시스템 드라이버를 호출한다. 보안, 인증, 검증, 통지 및 사용자 인터페이스와 같은 다른 운영 체제 기능은 운영 체제의 하나 이상의 다른 구성요소들에 의해 제공될 수 있다(가령 일부 마이크로소프트 윈도즈(Microsoft® Windows®) 운영 체제의 실행 서비스 계층).
운영체제 커널에 의해 일반적으로 제공되는 서비스의 예시적 형태에는 프로세스 관리, 메모리 관리, 장치 관리 및 시스템 호 처리가 있다. 프로세스 관리는 애플리케이션을 구동하는 것과 컴퓨터 시스템의 하드웨어 구성요소들로 애플리케이션 프로그램 인터페이스(API)를 제공하는 것을 포함한다. 소프트웨어 애플리케이션을 구동하는 과정에서, 운영체제 커널은 통상적으로 소프트웨어 애플리케이션을 위한 메모리에 주소 공간을 설정하고, 소프트웨어 애플리케이션 코드를 포함하는 파일을 주소 공간 내에 로딩하고, 로딩된 소프트웨어 애플리케이션 코드를 실행한다. 메모리 관리는 시스템 메모리(124)에 대한 소프트웨어 애플리케이션 접근을 관리하는 것을 포함한다. 장치 관리는 장치 드라이버를 통해서 하드웨어 장치에 대한 접근을 제공하는 것을 포함한다. 시스템 호 처리는 사용자 모드 소프트웨어 애플리케이션에 운영체제 커널 서비스를 노출하는 API를 제공하는 것을 포함한다. API를 호출함으로써 (가령 프로세스 간 통신 메카니즘 및 시스템 호를 통해서), 소프트웨어 애플리케이션은 운영체제 커널로 서비스를 요청할 수 있고, 파라미터를 전달할 수 있고, 요청에 응답하여 서비스에 의해 생성되는 결과를 수신할 수 있다.
운영 체제(144)는 통상적으로 하드웨어 및 소프트웨어 구성 정보, 사용자 기호 및 설정 정보를 레지스트리(156)에 저장한다. 예를 들어, 레지스트리(156)는 일반적으로 다음과 같은 정보: 시스템을 부팅하고 구성하기 위해 필요한 파라미터 값들와, 운영체제(144)의 동작을 제어하는 시스템 전역(system-wide) 소프트웨어 설정와, 보안 데이터베이스와, 사용자별 프로파일 설정을 포함한다. 일부 실시예에서, 접속 규칙(32)은 별도의 데이터베이스 대신에 레지스트리(156)에 저장된다.
C. 네트워크 프로토콜
네트워크 프로토콜(148)은 컴퓨터 시스템(120)과 다른 네트워크 노드들 간 접속, 통신 및 데이터의 전송을 제어하거나 가능하도록 한다. 네트워크 프로토콜의 예시적인 형태는 전송 제어 프로토콜/인터넷 프로토콜(Transmission Control Protocol/Internet Protocol: TCP/IP), 사용자 데이터그램 프로토콜/인터넷 프로토콜(User Datagram Protocol/Internet Protocol: UDP/IP), 실시간 전송 프로토콜(Realtime Transport Protocol: RTP), 및 세션 개시 프로토콜(Session Initiation Protocol: SIP)을 포함한다.
TCP/IP는 TCP 부분과 IP 부분을 포함한다. 프로토콜의 TCP 부분은 메시지를 작은 패킷들로 분리하고, 그 패킷들을 통신 네트워크의 다른 종단에서 재조립하고, 분실된 임의의 패킷을 경로를 따라 재전송함으로써 전송 기능을 제공한다. 프로토콜의 IP 부분은 목적지 네트워크와 목적지 네트워크에서의 목표 노드에 대한 주소를 데이터 패킷들에게 할당함으로써 라우팅 기능을 제공한다. TCP/IP를 이용하여 전달되는 각 데이터 패킷은 TCP 및 IP 정보를 포함하는 헤더 부분을 포함한다. IP는 통신 스택의 상위 계층에 패킷을 전달한다는 것을 보증하지는 않는다. 다른 한편으로는, TCP는 접속-지향, 종단 간(end-to-end) 전송 서비스에 보증된 순차적인(in-sequence) 패킷 전달 기능을 제공한다. 이러한 방식으로, TCP 프로토콜은 신뢰성있는 전송 계층 접속을 제공한다.
UDP는 응용 계층과 인터넷 계층 간의 인터페이스를 제공하는 메시지-지향 전송 계층 프로토콜이다. UDP는 응용 계층에 메시지를 전달한다는 것을 보증하지는 않는다. UDP는 전용의 종단 간 접속을 설정하기 위해 어떠한 노력도 기울이지 않는다는 점에서 무접속(connectionless) 프로토콜이다. UDP 송신기는 UDP 메시지들이 전송된 후 UDP 메시지들에 관한 상태 정보를 보유하지 않는다. 통신은 수신기의 상태를 확인하지 않고 출발지에서 목적지로 일방향으로 메시지를 전송하는 것을 기반으로 한다.
RTP는 네트워크 접속을 통해서 오디오 및 비디오를 전달하기 위한 표준화된 패킷 형식을 정의한다. 다양한 네트워크 프로토콜들이 P2P 네트워킹 구조, TCP 소켓을 단독으로 또는 UDP와 조합하여 사용하는 중앙 집중형 서버, 및 멀티캐스트 프로토콜을 포함하는 네트워크 노드들 간 RTP 데이터를 송신하고 수신하는데에 사용될 수 있다.
SIP는 사용자들이 서로 위치를 파악하고 통신 세션을 설정하고 활성 세션을 종료하도록 하는 수단을 제공한다. SIP 트랜잭션에 의해, 세션 협상 프로세스들은 세션 기술 프로토콜(Session Description Protocol: SDP)에 따라서 처리된다.
D. 장치 드라이버
장치 드라이버(146)는 일반적으로 다른 소프트웨어 애플리케이션들(가령 사용자-모드 소프트웨어 애플리케이션과 운영 체제)이, 컴퓨터 시스템(120)과 연결된 하드웨어 장치들과 상호 작용하도록 하는 소프트웨어 애플리케이션에 의해 구현된다. 장치 드라이버는 일반적으로 소프트웨어 프로세스들과 하드웨어 장치 간에 전달되는 명령어와 데이터를 변환하기 위해서 소프트웨어 프로세스들에 의해 생성되는 호에 의해 호출될 수 있는 함수를 위한 API를 제공한다.
E. 실시간 커널
1. 서론
실시간 커널(20)은 디스플레이 모니터(132) 상에 가상 영역 및 가상 영역에 존재하는 객체들의 각각의 뷰를 나타낼 뿐 아니라 가상 영역 통신 환경을 공유하는 컴퓨터 시스템(120) 및 다른 네트워크 노드들 간 실시간 데이터 스트림의 처리 및 스위칭을 제어하는 서비스를 포함한다. 이러한 과정에서, 실시간 데이터 스트림을 다른 네트워크 노드들과 교환하고 통신자에게 몰입형 가상 영역 통신 경험을 제공하기 위해서, 실시간 커널은 컴퓨터 시스템(120)의 하드웨어 구성요소로 전송되고 그 구성요소로부터 수신되는 명령 및 데이터를 변환하기 위한 드라이버(148)와 통신하는 운영 체제 기능과 인터페이스한다.
실시간 커널(20)의 구현은 어떤 특정 하드웨어, 펌웨어 또는 소프트웨어 구성으로 제한되지 않는 하나 이상의 분리된 모듈 또는 라이브러리(예를 들면, 동적 링크 라이브러리)를 포함한다. 일반적으로, 이러한 모듈들은 디지털 전자 회로(가령 디지털 신호 프로세서(DSP)와 같은 애플리케이션-특화된 집적 회로), 또는 컴퓨터 하드웨어, 펌웨어, 장치 드라이버 또는 소프트웨어를 포함하는 임의의 컴퓨팅 또는 데이터 처리 환경으로 구현될 수 있다. 일부 실시예에서, 모듈들의 기능은 하나의 데이터 처리 구성요소로 통합된다. 일부 실시예에서, 하나 이상의 모듈들 각각의 기능들은 다수의 데이터 처리 구성요소들의 각 세트에 의해 수행된다. 일부 구현 예에서, 실시간 커널(20)의 실시예에 의해 실행되는 방법이 생성하는 데이터 뿐만 아니라 그 방법을 구현하기 위한 프로세스 명령어(예컨대, 컴퓨터 소프트웨어와 같은 컴퓨터 판독가능 코드)가 하나 이상의 컴퓨터 판독가능 매체에 저장된다. 이러한 명령어와 데이터를 명확히 구현하기에 적합한 저장 장치들은 예를 들어, EPROM, EEPROM 및 플래시 메모리 장치와 같은 반도체 메모리 장치, 내장 하드 디스크 및 이동식 하드 디스크와 같은 자기 디스크, 광자기 디스크, DVD-ROM/RAM, 및 CD-ROM/RAM을 포함하는 모든 형태의 비휘발성 컴퓨터 판독가능 메모리를 포함한다.
2. 예시적인 실시간 커널 기능
실시간 커널(20)은 가상 영역 통신 환경을 공유하는 컴퓨터 시스템(120) 및 다른 네트워크 노드들 간 네트워크 접속을 설정하고 관리하는데에 있어서 네트워크 기반구조 서비스들 중 하나 이상과 협력한다. 네트워크 접속을 설정하고 관리하는 과정에 포함되는 예시적인 기능들에는 세션 관리, 원격 제어 스트림 처리 및 실시간 태스크 스케줄링이 있다.
e. 세션 관리(session administration)
도 9는 가상 영역과의 접속을 요청하는 실시간 커널 API 호에 응답하여 실시간 커널(20)에 의해 구현되는 방법의 실시예를 도시한다.
도 9의 방법에 따르면, 실시간 커널(20)은 가상 영역의 지정을 결정한다(도 9의 블록(160)). 일부 실시예에서, 실시간 커널(20)의 이러한 기능은 가상 영역 지정을 포함하는 실시간 커널 API 호를 실시간 커널 서비스로 게시함으로써 호출된다. 실시간 커널 API 호는 소프트웨어 애플리케이션 또는 운영 체제 서비스 중 어느 것에 의해 생성될 수 있다.
실시간 커널(20)은 설정된 가상 영역을 호스팅하는 네트워크 기반구조 서비스와의 세션을 설정한다(도 9의 블록(162)). 이러한 과정에서, 실시간 커널(20)은 영역 서비스(26)와의 세션을 설정한다. 이후에 실시간 커널(20)은 지정된 가상 영역으로 접속하기 위한 요청을 영역 서비스(26)로 전송한다. 영역 서비스(26)는 실시간 커널(20)로부터 수신된 요청에 지정된 가상 영역의 인스턴스를 결정한다. 가상 영역의 인스턴스를 결정한 후, 영역 서비스(46)는 사용자의 능력이 가상 영역 인스턴스와 관련된 능력 요건을 충족시키는지를 결정한다. 사용자의 능력이 능력 요건을 충족한다면, 영역 서비스(46)는 가상 영역 인스턴스의 현재 상태(가령 가상 영역 인스턴스에 현재 존재하는 객체들의 리스트 및 객체들과 연관된 통신자들의 이름)를 기술하는 상태 데이터의 이용가능성을 나타내는 메시지를 전송한다.
실시간 커널(20)은 가상 영역 인스턴스의 현재 상태를 기술하는 상태 데이터를 신청한다(도 9의 블록(164)). 신청 요청에 응답하여, 영역 서비스(26)는 실시간 커널(20)과 영역 서비스(26) 간 링크 상의 채널로 상태 데이터를 게시한다.
일부 실시예에서, 실시간 커널(20)의 So3D 엔진은 상태 데이터의 사람이 인지 가능한 뷰를 렌더링하기 위해 운영 체제(144)의 사용자 인터페이스 서비스를 호출한다. 예를 들어, So3D 엔진은 디스플레이(133) 상의 영역에 현재 존재하는 객체들과 연관된 통신자들 각각의 표현을 렌더링하기 위한 인터페이스 서비스를 호출할 수 있다. 일부 실시예에서, 통신자들은 아이콘, 작은 이미지 또는 선택적으로 통신자들의 이름이 표시된 다른 그래픽으로 표현될 수 있다. 일부 실시예에서, 상태 데이터는 실시간 커널(20)의 호출을 트리거시킨 소프트웨어 애플리케이션의 그래픽 인터페이스에 표시된다. 일부 실시예에서, 상태 데이터는 헤드-업 디스플레이(HUD) 인터페이스(84)의 실시예에 표시된다(도 5a 내지 5c 참조).
가상 영역 인스턴스와 접속이 설정되면, 실시간 커널(20)의 호출을 트리거시킨 소프트웨어 애플리케이션은 사용자에게 가상 영역 인스턴스로의 진입을 요청하는 선택권을 부여하거나 사용자를 대신하여 가상 영역 인스턴스로의 진입을 자동으로 요청할 수 있다.
도 10은 가상 영역으로의 진입을 요청하는 실시간 커널 API 호에 응답하여 실시간 커널(20)에 의해 구현되는 방법의 실시예를 도시한다.
도 10의 방법에 따르면, 실시간 커널(20)은 가상 영역을 호스팅하는 네트워크 기반구조 서비스에게 가상 영역에 진입하려는 의도를 선언한다(도 10의 블록(168)). 이러한 과정에서, 실시간 커널(20)은 선언을 포함하는 메시지를 영역 서비스(26)에 전송한다. 메시지는 영역 서비스(26)와의 기존 링크의 채널로 전송되거나 실시간 커널(20)에 의해 영역 서비스(26)와 설정된 새로운 링크를 통해서 전송될 수 있다. 이에 응답하여, 영역 서비스(26)는 사용자의 능력이 가상 영역 인스턴스와 연관된 능력 요건을 충족하는지 결정한다. 사용자의 능력이 능력 요건을 충족한다면, 영역 서비스(26)는 구성 데이터를 실시간 커널(20)로 반환한다. 구성 데이터는 일반적으로 가상 영역 인스턴스의 정의, 가상 영역 인스턴스에 현재 존재하는 객체들의 목록, 및 가상 영역 인스턴스의 사양에 따라서 가상 영역의 객체들과 연관된 실시간 데이터 스트림 소스 및 싱크의 세트를 포함한다.
실시간 커널(20)은 가상 영역에 존재하는 적어도 하나의 객체와 각각 연관된 적어도 하나의 실시간 데이터 스트림 소스와의 적어도 하나의 네트워크 접속을 통해서 적어도 하나의 실시간 데이터 스트림의 전송을 개시한다(도 10의 블록(170)). 이러한 과정에서, 실시간 커널(20)은 영역 서비스(26)로부터 수신된 구성 데이터를 토대로 가상 영역의 인스턴스와 연관된 하나 이상의 네트워크 노드를 확인한다. 이후에 실시간 커널(20)은 확인된 네트워크 노드들 중 적어도 하나와의 적어도 하나의 네트워크 접속을 통해서 적어도 하나의 실시간 데이터 스트림의 전송을 개시한다. 실시간 커널(20)과 다른 네트워크 노드들 간의 접속은 P2P 접속이거나 서버-중재 접속일 수 있다. P2P 접속에 대해서, 접속 대상 네트워크 노드 및 실시간 커널(20)은 일반적으로 서로를 인증하며, 그 이후에 접속 대상으로의 또는 접속 대상으로부터의 적어도 하나의 실시간 데이터 스트림을 전송하기 위한 링크를 설정한다. 링크는 일반적으로 일방향이며, 송신기에 의해 요청되고 수신기에 의해 수락 또는 거부된다.
도시된 실시예에서, 실시간 커널(20)은 가상 영역 인스턴스의 사양에 있는 적어도 하나의 스트림 처리 정의에 따라, 개시된 실시간 데이터 스트림을 처리한다(도 10의 블록(172)). 이러한 과정에서, 실시간 커널(20)은 가상 영역 사양에 정의된 스트림 처리 구성에 따라서 일련의 스트림 처리 객체들을 하나의 지시 그래프로 조합한다.
f. 원격 제어 스트림 처리
도 11은 영역 서비스(26)로부터 수신된 스트림 처리 명령에 응답하여 실시간 커널(20)에 의해 구현되는 방법의 실시예를 도시한다.
도 11의 방법에 따르면, 실시간 커널(20)은 원격 네트워크 노드에서 동작하는 영역 서비스(26)로부터 하나 이상의 스트림 처리 명령어를 수신하며, 여기에서 스트림 처리 명령어는 적어도 하나의 실시간 데이터 스트림을 처리하기 위한 스트림 핸들러의 사양을 포함한다(도 11의 블록(200)). 실시간 커널(20)은 스트림 핸들러 사양에 따라서 스트림 핸들러를 생성한다(도 11의 블록(202)). 스트림 핸들러는 통상적으로 하나 이상의 스트림 처리 명령어에서 특정된 믹싱 함수를 포함한다. 믹싱 함수는 실시간 데이터 스트림을 적어도 하나의 다른 실시간 데이터 스트림을 혼합하여 혼합된 실시간 데이터 스트림을 형성하기 위해 사용된다. 실시간 커널(20)은 생성된 스트림 핸들러를 통해서 실시간 데이터 스트림을 처리하는 것을 포함하는 과정에서 결과 데이터 스트림을 형성한다(도 11의 블록(204)). 일부 실시예에서, 이러한 과정은 하나 이상의 스트림 처리 명령어에서 특정된 실시간 상태 정보로부터 구성 파라미터 값을 결정하는 과정과 구성 파라미터 값으로 스트림 핸들러를 동적으로 구성하는 과정을 포함한다.
도 12는 영역 서비스(26)로부터 수신된 스트림 처리 명령(210)에 따라서 스트림 핸들러 구성 관리자(208)(실시간 커널(20)의 구성요소임)에 의해 생성되는 스트림 핸들러(206)의 실시예를 도시한다. 스트림 핸들러 구성 관리자(208)는 일반적으로 실시간 커널(20)의 하나 이상의 구성요소 서비스들 및 다른 구성요소들로 구성된다. 스트림 핸들러 구성 관리자(208)는 처리 객체들의 세트(처리 그래프 요소 또는 PGE로도 지칭됨)들로부터 스트림 핸들러(206)를 구성한다. 처리 객체들 각각은 데이터 스트림에 대해서 특정 기능(가령 변환 기능, 분할 기능 및 믹싱 기능) 을 수행할 수 있는 소프트웨어 객체이다. 스트림 핸들러 구성 관리자(208)는 사양에 따라서 하나 이상의 스트림 처리 명령어에서 특정된 처리 객체를 인스턴스화하고 인스턴스화된 처리 객체를 스트림 핸들러(206)의 하나의 지시 그래프 구성요소(212)로 조합한다. 일부 실시예에서, 스트림 처리 명령어는 각각의 고유 식별자로 처리 객체들을 특정하고, 스트림 핸들러 구성 관리자(208)는 식별자들 각각을 포함하는 호를 처리 객체 API로 게시함으로써 처리 객체를 예시한다. 스트림 핸들러(206)는 처리 객체들 각각으로 구성된 각 처리 체인들(216 내지 218)을 통해서 특정 데이터 유형(예를 들면, 오디오, 비디오 및 움직임 데이터 유형)의 다수의 데이터 스트림(214)을 처리하도록 구성된다. 스트림 핸들러(206)는 (하나 이상의 스트림 처리 명령에 특정되었던) 믹싱 객체(220)를 부가적으로 포함한다. 동작 중에, 스트림 핸들러(206)는 믹싱 객체(220)를 실행하여 처리된 실시간 데이터 스트림(216 내지 218)의 조합으로부터 혼합된 실시간 데이터 스트림(222)을 형성한다. 일부 실시예에서, 인스턴스화된 처리 객체들 중 적어도 하나는, 적어도 부분적으로는 결과 데이터 스트림(222)을 기반으로 로컬 네트워크 노드의 하드웨어 구성 요소를 제어하는 드라이버 모듈(224)로 각각의 호를 캡슐화한다.
g. 실시간 태스크 스케쥴링
도 13은 실시간 커널(20)에 의해 수행되는 태스크를 스케쥴링하는 과정에서 실시간 커널(20)에 의해 구현되는 방법의 실시예를 도시한다.
도 13의 방법에 따르면, 실시간 커널(20)은 적어도 하나의 원격 네트워크 노드와의 적어도 하나의 실시간 데이터 스트림 접속을 설정한다(도 13의 블록(230)).
실시간 커널(20)은 원격 네트워크 노드에 의해 공급받은 적어도 하나의 실시간 데이터 스트림을 처리한다(도 13의 블록(232)). 이러한 과정에서, 실시간 커널(20)은 하나 이상의 실시간 데이터 처리 동작을 통해서 적어도 하나의 실시간 데이터 스트림을 처리하여 결과 데이터 스트림을 산출한다.
실시간 커널(20)은 적어도 하나의 실시간 데이터 스트림의 처리를 감시한다(도 13의 블록(234)). 일부 실시예에서, 실시간 커널(20)은 다음의 파라미터들: 결과 데이터 스트림이 산출되는 속도와, 로컬 네트워크 노드의 적어도 하나의 프로세서의 활용도와, 로컬 네트워크 노드의 적어도 하나의 네트워킹 자원에 의한 대역폭 활용도, 중 하나 이상을 감시한다. 일부 실시예에서, 실시간 데이터 스트림은 프레임으로 패킷화되며 실시간 커널(20)은 로컬 클럭에 따라 설정된 각각의 연속적인 고정 길이 구간 동안 프레임들 각각의 처리를 감시하며, 그러한 로컬 클럭은 일반적으로 원격의 마스터 클럭 서비스와 동기된다. 감시를 토대로, 실시간 커널(20)은 실시간 데이터 스트림의 처리가 수행 목표로부터 벗어나는지를 결정한다. 일부 실시예에서, 수행 목표는 결과 데이터 스트림의 산출에 대한 시간-기반 임계값을 포함한다. 예를 들면, 일부 실시예에서, 수행 목표는 결과 데이터 스트림의 프레임들이 생성되는 속도에 대한 속성(즉, 조건)이다. 이러한 형태의 예시적인 수행 목표는 목표 임계값과 목표 범위를 포함한다.
적어도 하나의 실시간 데이터 스트림의 처리가 수행 목표로부터 변화된다는 결정에 응답하여, 실시간 커널(20)은 실시간 수행 목표화 루틴에 따라서 처리를 변경한다(도 13의 블록(236)).
도 14는 적어도 하나의 실시간 데이터 스트림의 처리 감시를 토대로 실시간커널(20)에 의해 수행되는 방법의 실시예를 도시한다. 적어도 하나의 실시간 데이터 스트림의 처리가 수행 목표를 충족하지 못한다는 결정에 응답하여(도 14의 블록(238)), 실시간 커널(20)은 연산 자원 부하를 저 레벨로 감소시킨다(도 14의 블록(240)). 실시간 수행 목표화 루틴의 설계에 따라서, 실시간 커널(20)은 통상적으로 다음의 방식들: 실시간 커널(20)이 실시간 데이터 스트림의 하나 이상의 부분들의 처리를 생략할 수 있고(도 14의 블록(242))와, 실시간 커널(20)이 실시간 데이터 처리 동작 중 하나 이상을 생략할 수 있고(도 14의 블록(244))와, 실시간 커널(20)이 실시간 데이터 처리 동작 중 적어도 하나를 서로 다른 각각의 데이터 처리 동작으로 대체할 수 있는(도 14의 블록(246)) 방식, 중 하나 이상으로 연산 자원을 감소시킨다. 실시간 데이터 스트림의 하나 이상의 부분에 대한 처리를 생략하는 과정에서(도 14의 블록(242)), 실시간 커널(20)은 통상적으로 다음 동작들: 수행 목표를 벗어난 각 수행 값에 의해 특징지어지는 데이터 처리 동작들 중 하나 이상을 생략하는 동작와, 데이터 처리 동작들에 각각 할당된 우선순위 값을 기반으로 데이터 처리 동작들 중 하나 이상을 우선적으로 생략하는 동작, 중 적어도 하나를 수행한다.
적어도 하나의 실시간 데이터 스트림의 처리가 수행 목표를 충족하고(도 14의 블록(238)), 연산 부하가 전술한 방법 중 어떤 것에 의해 저 레벨로 감소되었다면(도 14의 블록(248)), 실시간 커널(20)은 저 레벨로부터 연산 부하를 증가시킨다(도 14의 블록(250)). 실시간 커널(20)은 통상적으로 체험적인 방법에 따라 블록(240)에서 연산 자원 부하를 감소시키기 위해 사용되었던 동작들 중 하나 이상을 역으로 함으로써 연산 자원 부하를 증가시킨다. 적어도 하나의 실시간 데이터 스트림의 처리가 수행 목표를 충족하고(도 14의 블록(238)) 및 연산 부하가 전술한 방법 중 어떤 것에 의해서 저 레벨로 감소되지 않았다면(도 14의 블록(248)), 실시간 커널(20)은 실시간 데이터 스트림의 현재 처리를 유지한다.
일부 실시예에서, 실시간 커널(20)은 적어도 하나의 실시간 데이터 스트림에 대해 데이터 처리 동작 각각을 수행하는 처리 객체를 예시한다. 실시간 커널(20)은 인스턴스화된 처리 객체들로부터 지시 그래프를 구성하고, 지시 그래프를 통해서 적어도 하나의 실시간 데이터 스트림을 처리한다. 실시간 수행 목표화 루틴에 따라서, 실시간 커널(20)은 인스턴스화된 처리 객체들 중 하나 이상을 지시 그래프로부터 제거함으로써 실시간 데이터 스트림의 처리를 수정할 수 있다. 일부 실시예에서, 처리 객체들은 각 우선순위 값을 할당받으며, 실시간 커널(20)은 할당된 우선순위 값에 기반하여, 지시 그래프로부터 인스턴스화된 처리 객체들 각각을 삭제함으로써 처리 객체들을 제거한다. 예를 들어, 이러한 실시예들 중 일부에서, 제거하는 과정은 우선순위 임계값을 충족시키지 않는 각 우선순위 값을 할당받은 인스턴스화된 처리 객체들을 지시 그래프로부터 삭제하는 과정을 포함한다.
일부 실시예에서, 실시간 커널(20)은 로컬 네트워크 노드와 적어도 하나의 원격 네트워크 노드 중 하나에 의해 공급받은 제 2 실시간 데이터 스트림을 처리하기 위해 사용되는 제 2 지시 그래프를 인스턴스화된 처리 객체들 각각으로부터 구성한다. 이러한 실시예들 중 일부에서, 제 1 및 제 2 지시 그래프는 각 우선순위 값을 할당받으며, 실시간 커널은 할당된 우선순위 값에 기반하여 제 1 및 제 2 지시 그래프들 중 하나를 우선적으로 수정함으로써 제 1 및 제 2 실시간 데이터 스트림의 처리를 수정한다. 예를 들어, 실시간 커널은 가장 낮은 우선순위 값을 할당받은 제 1 및 제 2 지시 그래프들 중 하나를 해체할 수 있다.
일부 실시예에서, 실시간 커널(20)은 지시 그래프를 통해서 제 2 실시간 데이터 스트림을 처리하며, 여기에서 제 2 실시간 데이터 스트림은 로컬 네트워크 노드와 적어도 하나의 원격 네트워크 노드 중 하나에 의해 공급받는다. 이러한 실시예 중 일부에서, 제 1 및 제 2 실시간 데이터 스트림은 각 우선순위 값을 할당받으며, 실시간 커널(20)은 할당된 우선순위 값에 기반하여 제 1 및 제 2 실시간 데이터 스트림 중 하나의 처리를 우선적으로 수정한다.
일부 실시예에서, 실시간 커널(20)은 로컬 네트워크 노드와 다수의 원격 네트워크 노드들 간의 각 실시간 데이터 스트림 접속을 설정한다. 실시간 커널(20)은 원격 네트워크 노드들 각각에 의해 공급받은 실시간 데이터 스트림을 지시 그래프를 통해서 처리한다. 이러한 실시예들 중 일부에서, 실시간 데이터 스트림은 각 우선순위 값들을 할당받으며, 실시간 커널(20)은 할당된 우선순위 값에 기반하여 실시간 데이터 스트림 중 하나 이상의 처리를 우선적으로 수정한다. 지시 그래프는 일반적으로 인스턴스화된 처리 객체들 각각에 대한 다수의 지시 체인을 포함한다. 실시간 커널(20)은 통상적으로 지시 체인들 각각을 통해서 실시간 데이터 스트림 각각을 처리한다. 이러한 실시예들 중 일부에서, 실시간 커널(20)은 처리가 특정된 수행 목표 내에서 이루어질 때까지 실시간 데이터 스트림의 처리를 반복적으로 수정한다. 이러한 각 반복 중에, 수정 과정은 통상적으로 (i) 지시 그래프로부터 체인 중 하나 이상을 삭제하는 과정 및 (ii) 지시 그래프로부터 인스턴스화된 처리 객체들 중 하나 이상을 제거하는 과정, 중 하나 이상을 수행하는 것을 포함한다.
V. 예시적 실시간 커널 실시예
A. 서론
도 15는 실시간 커널(20)의 실시예(260)를 도시한다. 실시간 커널(260)은 둘 이상의 통신자들 간의 물리적 존재감을 생성하기 위해 서로 다른 네트워크 노드들에 대해 2D/3D 그래픽 렌더링 엔진과 오디오 믹싱 및 스위칭 엔진의 원격 구성 및 실행을 지원한다. 하나의 가상 영역 인스턴스에서 상호 작용하는 모든 통신자들을 한꺼번에 관리하는 과정에서, 영역 서비스(26)는 실시간 커널(260)의 패킷 전송 구성요소(여기에서는 STRAW 서비스(268)로도 지칭됨)를 통해서 실시간 커널(260) 및 다른 네트워크 노드들 간의 세션을 원격으로 구성한다. 일부 실시예에서, 실시간 커널(260)은 영역 서비스(26)와의 통신을 최소화하기 위해 데이터 스트림(가령 실시간 오디오 데이터 스트림)을 점 대 점(Point-to-point:P2P)으로 구성한다. 또한 영역 서비스(26)는 필요할 때 데이터 스트림을 혼합할 수 있고 그들을 클라이언트 네트워크 노드로 송신할 수 있다. 실시간 커널(260)은 영역 서비스(26)가 클라이언트 네트워크 노드를 위한 데이터 스트림을 언제 혼합할 것인지 결정할 수 있도록 P2P 접속 실패를 영역 서비스(26)에게 보고할 것이다. 실시간 커널(260)은 작은 초기 범위(footprint)를 가지며, 플러그인으로서의 네트워크 접속을 통해서 갱신 및 증량 기능을 로딩한다.
실시간 커널(260)은 관리자와 서비스의 세트를 포함한다. 실시간 커널 관리자들에는 접속 및 서비스 혼합 관리자(262), 영역/구역 관리자(264), 및 플러그인 관리자(266)가 있다. 실시간 커널 서비스에는 STRAW 서비스(268), SODA 핸들러 서비스(270), 매체 서비스(271), 오디오 스트림 서비스(272), So3D 인터페이스 서비스(274), 자산 캐시 서비스(275), 하나 이상의 사회적 프로세서들(277), 기록, 재생 및 전송 버스 서비스(276), 실시간 스케줄러 서비스(278), 시간 서비스(280), SIP 서비스(282), 로컬 HID/RDS 드라이버 핸들러 서비스(284), 및 로컬 오디오 재생(286), 로컬 스피커(288), 로컬 마이크(290) 및 스카이프 오디오(Skype® audio)를 포함하는 로컬 오디오 장치를 위한 인터페이스 서비스가 있다. 한 예시적인 실시예에서, 실시간 커널(260)은 다음의 실행 시간 패키지 구성 요소들에 의해 구현된다:
Figure 112011051466817-pct00015
Figure 112011051466817-pct00016
B. 실시간 커널 설계
도 15에 도시된 바와 같이, 실시간 커널(260)은 영역 서비스(26)로부터 수신된 명령에 따라 가상 영역 통신 환경을 렌더링하기 위한 플랫폼을 구성하는 서비스, 플러그인, 및 실시간 스케줄러의 집합으로서 설계된다. 서비스들은 오디오 및 그래픽 렌더링 구성을 통해서 네트워크 특성으로부터 서로 다른 레벨로 동작하는 플랫폼을 구현하기 위해 함께 작동한다. 플러그인은 다양한 클래스를 가지며, 이들 각각은 자체적인 클래스 API를 갖는 플러그인 관리(Plugin Management) API에 종속된다. 실시간 스케줄러(278)는 오디오 및 그래픽 렌더링이 프레임률에서도 나타난다는 것을 보증한다. 플랫폼은 STRAW UDP 소켓(SODA 레코드의 예시적인 세트에 대한 SODA 정의를 포함하는 Vl 절 참조)을 통해서 전송된 SODA 정의 레코드를 이용하여 영역 서비스(26)에 의해 가상 영역의 인스턴스에 따라 구성된다. STRAW 서비스(268)는 게시/신청 모델을 이용하여 SODA 레코드 스트림을 역 다중화한다. SODA 레코드는 STRAW 소켓의 다른 종단에 신청자가 존재할 때에만 전송된다. 수신된 SODA 레코드는 도착 즉시 하나 이상의 신청자들에게 전달된다. 서비스들은 So3D 그래픽 엔진과 HUD(84)에 의해 사용되도록 로컬 API들을 지원한다.
다음의 소구분은 실시간 커널(260) 및 그 구성요소들에 대한 실시예의 설치, 설계 및 동작을 기술한다.
1. 설치
a. 개요
일부 실시예에서, 가상 영역 기반의 렌더링 플랫폼은 인터넷을 통해서 설치 패키지로서 소프트웨어 패키지로 다운로드된다. 이는 다운로드 서버로부터 HTTP 다운로드에 의해 전달된다. 마이크로소프트 윈도즈(Microsoft® Windows®) 운영체제를 구동하는 클라이언트 네트워크 노드에서, 플랫폼 소프트웨어 패키지는 .msi 패키지이다. 초기 설치는 갱신이 이용가능해질 때 다운로드 서버 상에서 수정되는 하나의 패키지이다. 새로운 클라이언트 네트워크 노드가 현재의 설치를 수행하면, 추후 최신판이 생성되는 시간까지 다른 갱신은 요구되지 않는다.
실시간 커널(260)은 애플리케이션을 맞춤화(customize)하기 위해 플러그인을 사용한다. 필요한 플러그인들은 설치 패키지 내에 포함된다. 간혹, 구성 요소들은 독립적으로 갱신될 수 있다(예를 들면, 실시간 커널 서비스들은 포인트 해제될 수 있고 플러그인이 추가될 수 있다). 이러한 경우, 별도의 Windows® .msi 설치 패키지가 포인트 해제를 위해 생성되고 갱신 서버에 등록될 수 있다. 설치된 플랫폼 소프트웨어는 갱신을 통보받을 것이며, 통신자에게 업그레이드하는 선택권을 제공할 것이다. 일부 통신자들은 하나 이상의 갱신이 이용가능해질 때까지 업그레이드를 지연시킬 수 있다. 통신자들이 업그레이드에 최종적으로 동의하면, 모든 이용가능한 갱신 정보가 로딩되어 순차적으로 적용될 것이다.
플러그인의 다수의 버전들은 동시에 클라이언트 네트워크 노드에 존재할 수 있다. 이는 클라이언트 네트워크 노드가 일반적으로 특성을 결정하고 API 및 버전 요구에 적합한 플러그인을 선택하기 때문이다. 각 플러그인은 자신의 API 및 변형자를 통지한다. 플러그인들은 파일 시스템 내의 이름 충돌을 회피하기 위해 서로 다른 파일 이름을 갖게 될 것이다. 동일한 API와 서로 다른 변형자를 갖는 두 개의 플러그인들은 서로 다른 구현 예이며, 선택은 플러그인을 요청하는 서비스에 의해 (아마도 예를 들어 서버와의 협상에 의해서) 이루어진다. 플러그인이 기존의 플러그인과 동일한 API와 변형자로 로딩될 경우, 이는 오류 수정된 플러그인이다. 새로운 플러그인은 기존의 것을 대체한다. 서비스들은 항상 업그레이드에 의해 대체된다. 동일한 API를 갖는 두 개의 서비스들은 존재하지 않는다. 설치는 윈도즈(Windows®) 환경의 갱신 상태에 관계없이, 기능하는 제품을 보증하기 위해 명시되면서 패키지로 구성된 윈도즈-의존적인 DLL들을 이용한다. 다른 제품 설치 요건과 충돌하는 것을 피하기 위해, Windows®의 병렬식(side-by-side) 특성이 사용된다.
b. 갱신 서버
갱신 서버는 각각의 지원되는 호스트 동작 환경에 대한 설치 패키지 및 각각의 이전에 지원된 설치 패키지를 위한 업그레이드 패키지들을 포함한다.
클라이언트 네트워크 노드와 갱신 서버는 신뢰할 만한 STRAW 채널을 통해서 통신한다. 갱신 서버는 각각의 지원된 호스트 동작 환경에 대한 이용가능한 업그레이드 정의를 게시한다. 클라이언트 네트워크 노드 상에 설치된 가상 영역 기반의 렌더링 플랫폼 소프트웨어는 업그레이드를 신청할 수 있다. 갱신 서버는 원하는 소프트웨어를 단편적으로 전송하기 시작한다.
일부 실시예에서, 클라이언트 버전 및 업그레이드 툴은 각 클라이언트 네트워크 노드에 설치되어 사용자로 하여금 현재의 클라이언트 소프트웨어 버전을 확인하고, 이용가능한 업그레이드들을 나열하며 업그레이드 절차를 시작하고 감시할 수 있도록 한다. 클라이언트 네트워크 노드는 적용되어 왔던 업그레이드 패키지의 GUID들에 대한 테이블을 보유할 것이다. 이는 이러한 리스트를 갱신 서버에게 제시할 것이며, 그 회답으로 진행 중인 업그레이드 리스트를 GUID에 의해 적용 순서에 따라 얻게 된다. 이들은 첨부된 설명, 크기 및 날짜 속성을 갖게 될 것이다.
다운로드가 완료되어 자동 설치가 '성공'을 보고할 때에만 업그레이드는 "적용됨"으로 표시된다. 자동 설치 프로세스는 DLL이 덮어쓰여질 수 있도록 임의의 실행되는 SORK 서비스를 중지시키는 과정을 포함한다. 업그레이드를 다운로드하는 것은 일련의 SODA 레코드를 통해서 이루어지며, 이로 인해 프로세스는 임의의 데이터 전송을 반복하지 않고 중지되었다가 및 재개될 수 있다. 레코드는 업그레이드 GUID 및 오프셋을 포함한다.
롤백 또는 삭제에 대한 필요성이 없기 때문에, 임의의 마이크로소프트 윈도즈 (Microsoft® Windows®) "병렬식(side-by-side)" 라이브러리 목록도 필요하지 않다. 임의의 필요한 라이브러리들은 업그레이드의 일부로서 로딩될 수 있다.
업그레이드 툴은 레지스트리 항목을 만들거나, 임의의 현재 로딩하는 업그레이드의 GUID, 자신의 오프셋 및 "현재까지의" 데이터를 포함하는 디스크에서의 파일 참조 뿐만 아니라, 적용된 업그레이드의 GUID를 포함하는 파일을 보유할 것이다. 업그레이드 패키지는 일단 적용되면 삭제된다. 다수의 클라이언트 네트워크 노드들에 대한 업그레이드 패키지를 캐시 저장(cache)하는 것이 바람직하다면, 그들은 캐시 저장을 수행하게 될 동일한 클라이언트 프록시에서 각각 지시하도록 한다.
c. 갱신 로컬 데이터베이스
클라이언트 네트워크 노드는 가상 영역 기반의 렌더링 플랫폼 서비스와 플러그인들을 로컬 파일 시스템의 자산 디렉토리에 저장한다. 서비스와 플러그인들은 API와 첨부된 자원을 통해서 자가 기술(self-describing)한다. 더 이상의 정보가 클라이언트 네트워크 노드에서 소프트웨어 상태로 유지되지 않는다. 클라이언트 네트워크 노드가 가상 영역 기반의 렌더링 플랫폼 소프트웨어를 재설치하는 경우, 아마도 OS 업그레이드 이후에 기존의 플러그인들이 재확인된다. 신규의 설치는 모든 기본적인 서비스 및 플러그인들을 포함하지만, 통상적으로 삭제 또는 재확인되는 기계 선택적인(machine optional) 또는 애플리케이션 특정(application-specific) 플러그인들 상에 존재할 수 있다. 일부 실시예에서, 유효 플러그인들의 2진 컨텐츠는 해시되며 일방향으로 암호화되고, 결과적인 값은 플러그인이 신뢰할 만한 것인지 그렇지 않은지를 확인하기 위해 사용되는 첨부된 자원으로서 저장된다. 의심스러운 플러그인을 확증하기 위해, 현재의 플러그인 컨텐츠는 재 해시(rehashed)되고 암호화되며 결과적인 값은 기존의 자원과 비교된다. 컨텐츠가 자원과 일치하지 않으면, 플러그인은 무효하다.
d. 클라이언트 인증
네트워크 인증은 통상적으로는 실시간 커널(26)이 시작될 때마다 한 번씩 수행된다. 일부 실시예에서, 계정 네트워크 기반구조 서비스를 실행하는 계정 서버는 통신자를 인증하고 통신자에 대한 실제 사용자 식별자(RUID)를 설정하기 위해 사용된다. 계정 서버는 토큰(추후에 RUID의 일부로서 포함됨)을 생성하고 그것을 인증하기 위해 다른 서버들에 대해서 자신을 인증하기 위해 클라이언트 네트워크 노드로 그 토큰을 제공한다. 이러한 과정에서, 클라이언트 네트워크 노드는 설치 시에 보증서를 안전하게 발급받는다. 보증서는 일반적으로 인증 기관에 의해서 서명된 CA-명시 인증서이다. 인증서는 비밀 키 및 공개 키를 포함한다. 가상 영역 기반의 렌더링 플랫폼 설치 패키지는 단지 공개 키를 포함하는 새로운 보증서를 생성한다. 비밀 키는 클라이언트 네트워크 노드에 안전하게 저장된다. 가상 영역 기반의 렌더링 플랫폼 설치 패키지는 통신자-제공 패스워드의 다이제스트를 암호화하기 위해 비밀 키를 이용하여 서명을 생성하고, 그 서명을 안전하게 계정 서버로 전송한다. 계정 서버는 요약을 복구하고 그것을 클라이언트 식별 암호로서 저장한다.
접속을 설정할 때, 실시간 커널(260)은 계정 서버와 보증서를 공유한다. 계정 서버는 자신의 보증서(예를 들면, 서버 측 인증서)로 응답한다. 클라이언트 네트워크 노드와 계정 서버는 등록 기관을 이용하여 보증서를 검증한다. 일단 검증이 되면, 서버-측 보증서는 어떠한 서버에 대해서든 어디에서든 유효하게 된다.
일부 실시예에서, 계정 서버는 또한 클라이언트 네트워크 노드에게 임의의 128 비트의 사용 암호(challenge phrase)를 제공한다. 클라이언트 네트워크 노드는 그러한 사용 암호를 통신자-제공 패스워드의 암호 다이제스트로 해시하여 이를 응답으로서 반환한다. 또한 계정 서버는 사용 암호를 그 통신자의 이전에 획득한 다이제스트로 해시하고, 클라이언트 네트워크 노드로부터의 응답이 일치한다는 것을 확인한다. 네트워크 접속은 이제 인증되고 통신자는 비밀 키의 소유자로서 식별된다.
일부 실시예에서, 계정 서버는 통신자에게 서명이 첨부된 임의의 클라이언트 ID(Client ID)를 할당한다. 서명은 계정 서버 비밀 키를 이용하여 암호화된 클라이언트 ID의 128 비트 해시이다. 서명은 단지 계정 서버에 의해서만 생성될 수 있다. 토큰을 수신하는 누구든지 계정 서버에 의해 게시된 공개 키를 이용하여 다이제스트를 복호화하고 그것을 클라이언트 ID와 비교함으로써 통신자를 검증할 수 있다.
e. 계정 서버 인증
도 16은 계정 서버(296)가 자신의 보증서를 통해서 인증되는 방법의 실시예를 도시한다. 이러한 방법에 따르면, 클라이언트 네트워크 노드(294) 및 계정 서버(296)는 보증서를 교환한다(도 16의 블록(298, 300)). 클라이언트 네트워크 노드(294)는 나중에 클라이언트 네트워크 노드(294)에 대한 계정 서버(296)의 검증을 신속하게 하기 위해 서버 ID(Server ID)와 서버 토큰(Server Token)을 계정 서버(296)로 발급한다(도 16의 블록(302)). 계정 서버(296)는 이후에 클라이언트 ID와 첨부된 식별 토큰을 클라이언트 네트워크 노드(294)로 발급한다(도 16의 블록(304)). 계정 서버에 대한 스트림의 인증 단계는 참여자들의 공개 키를 이용하여 암호화된다.
2. 초기화 순서
도 17은 클라이언트 네크워크 노드 상의 운영 체제가 시작될 때마다 실시간 커널(260)의 로더(loader) 구성요소에 의해 구현되는 방법의 실시예를 도시한다. 이러한 과정에서, 로더는 하나 이상의 커널 서비스 구성요소들을 포함하는 커널 구성요소의 고정 리스트를 분석한다(도 17의 블록(320)). 로더는 로컬 저장소(예를 들어, 로컬 파일 시스템의 디렉토리)에서 분실된 분석 리스트 상의 모든 커널 구성요소들을 결정한다(도 17의 블록(322)). 로더는 분실된 것으로 결정되는 커널 구성요소들 각각을 가져온다(도 17의 블록(324)). 일부 실시예에서, 로더는 분실된 커널 구성요소들을 원격 네트워크 노드(가령 다운로드 서버 또는 갱신 서버)로부터 가져오는 갱신 서비스를 클라이언트 네트워크 노드에서 예시한다. 분실된 커널 구성요소들을 가져온 후, 로더는 커널 서비스 구성요소들의 각각으로부터 커널 서비스들을 예시한다(도 17의 블록(326)). 인스턴트화된 커널 서비스는 가상 영역에 대해서 정의된 통신 환경에서 하나 이상의 원격 네트워크 노드들과 통신하도록 실행된다(도 17의 블록(328)). 예를 들면, 일부 실시예에서, HUD(84)는 하기에서 상세히 설명되는 HUD 세션 또는 영역 세션을 설정하기 위해 커널 서비스를 호출하여영역 서버와 통신한다.
일부 실시예에서, 실시간 커널(260)의 다음 서비스들은 윈도즈(Windows®) 서비스 DLL로서 부팅 시 로딩된다:
Figure 112011051466817-pct00017
이러한 실시예들에서, 서비스는 GUID에 의해서가 아니라 명칭에 의해서 로딩된다. 각 서비스의 단 하나의 복사본이 클라이언트 네트워크 노드 상에 동시에 존재한다. 로딩 이후에, SODA 채널 서비스(270), 매체 서비스(271), 오디오 스트림 서비스(272), 영역/구역 관리자 및 실시간 스케줄러 서비스는 유휴 상태로 대기한다. 접속 및 서버 혼합 관리자는 오디오를 미구성(un-configured) 상태로 두고 영역 서버와의 접속에 대한 정의를 기다린다. 기본 플러그인들은 API 클래스 객체들로서 GUID로 등록된다. 그러한 플러그인들은 정의에 있어서 GUID에 의해 참조될 때 로딩된다. HUD(84)는 계정 서버와 연락하며 통신자를 인증 및 식별한다. HUD(84)는 랑데부 네트워크 기반구조 서비스 및 상호작용 네트워크 기반구조 서비스에 대한 스트림을 생성하며 가장 최근에 사용된 (Most Recently Used: MRU) 동료와 영역 리스트 및 그 빈도에 따른 동료와 영역 리스트를 배치한다. 자산 캐시 서비스(275)는 통상적으로 기술 데이터베이스 서버와 연락하며, 체험적 방식에 따라서 디지털 자원을 캐시 저장하기 시작하고 그 GUID 지도를 갱신하기 시작한다.
3. 세션
실시간 커널(260)은 클라이언트 네트워크 노드와 다른 네트워크 노드들 간의 세션을 관리한다. 세션 중에, SODA 정의가 STRAW 소켓 상에 기록됨에 따라 데이터는 서버와 클라이언트 네트워크 노드 사이에서 공유된다. 데이터는 게시/신청 모델로 공유된다. 실시간 커널(260)은 클라이언트 네트워크 노드가 필요로하는 데이터만을 신청한다. 신청을 위해, 실시간 커널(260)은 원하는 서버로의 STRAW 채널을 생성한다. STRAW 채널은 특정 가상 영역에 대한 공지의 GUID로 결정된다. 일부 실시예에서, STRAW 소켓들은 구성된 DNS를 통해서 제공되는 주소를 이용하여 접속된다.
영역 서비스는 이용가능한 데이터 스트림을 나타내는 게시 메시지를 각각 GUID 코드명으로 이름붙여서 통신자에게 전송할 것이다. 실시간 커널(260)은 이후에 원하는 데이터 스트림을 위한 신청 메시지를 전송한다. 신청 채널에 대한 영역 서비스 데이터에 가해지는 임의의 변경은 그들 채널을 신청했던 모든 클라이언트 네트워크 노드들에게 SODA 정의 레코드로서 전송된다.
두 개의 주요한 형태의 세션이 존재한다: (a) HUD(84) 내에 현재의 관계와 존재 정보를 디스플레이하는 것을 포함하는 HUD 세션와, (b) 가상 영역 인스턴스에 잠재되어 있거나 진입하는 것을 포함하는 영역 세션.
a. HUD 세션
HUD 세션에서, HUD(84)는 계정 서버, RUID 서버, 및 랑데부 서버와 연락하며, STRAW 채널을 통해서 통신자 자신의 계정 및 관계 정보를 신청한다. 이후에 HUD(84)는 밀접하게 관련된 관계자들과 가상 영역에 대한 존재 정보를 신청한다. 이러한 시점에서, HUD(84)는 밀접하게 관련된 관계자들에 대한 동적 존재 정보를 디스플레이할 수 있다.
b. 영역 세션
영역 세션에서, HUD(84)는 관련된 가상 영역에 관한 정보를 신청한다. 일부 실시예에서, 디렉토리 서버는 HUD에 의해 특정된 가상 영역을 호스팅하는 현재의 영역 서버를 결정하기 위해 참조된다. STRAW 스트림은 현재의 영역 서버로 생성된다.
HUD는 가상 영역과 연관된 존재 데이터를 신청하고 그 2D 헤드 업 디스플레이를 현재 가상 영역에 참여하고 있는 다른 통신자들의 이름으로 갱신한다. 이 시점에서, 통신자는 가상 영역에 "잠재(lurking)"하게 된다. 통신자의 존재는 팝-업 리스트에 디스플레이될 수 있으며, 아이콘은 HUD 영역 표현에 (예를 들면, 도 5a 내지 5c에 도시된 사무소(Office) 장소 타일 내에) 디스플레이된다.
통신자가 HUD(84)에게 가상 영역에 진입하도록 지시하면, 실시간 커널은 가상 영역에 진입하려는 통신자의 요청을 랑데부 서비스에게 알린다. 가상 영역과 연관된 존재 정보를 신청한 다른 통신자들은 가상 영역에 진입한 새로운 통신자를 통보받는다.
실시간 커널(260)은 So3D 엔진에게 대화형 환경을 시작하도록 지시한다. So3D 엔진은 영역 서버 환경 데이터(가령 렌더링 및 움직임 데이터)를 신청한다. 영역 서버는 요청된 영역 서버 환경 데이터를 실시간 커널(260)로 보내기 시작한다. 실시간 커널은 요청된 데이터를 So3D 엔진으로 전달하며, 이러한 So3D 엔진은 현재의 시각화 모드(가령 2D 오버헤드 뷰, 저 해상도 뷰, 또는 전체 몰입형 3D 뷰)에 따라 데이터를 렌더링한다.
영역 서버는 가상 영역 내의 객체들과 연관된 클라이언트 네트워크 노드들 사이에 미가공 마이크 오디오 매체 스트림을 정의한다. 또한 영역 서버는 가상 영역 사양에서 오디오 처리 명령(예를 들면, 공간 효과 정의 및 구역 정의)에 따라서 오디오 혼합 요소들의 정의를 생성한다. 접속 및 서버 혼합 관리자(262)는 각 P2P 오디오 스트림에 대한 GUID 코드명을 포함하는 오디오 정의를 듣게 되며, 각 정의에 대해서 매체 스트림을 생성한다. 매체 스트림들 각각은 로컬 전송 버스(276)에 등록되며, 적절한 오디오 혼합 구성요소들이 오디오 스트림 서비스(272)에 의해 생성된다. 영역/구역 관리자(264)는 오디오 및 아바타 움직임과 방위 데이터에 대한 SODA 정의를 신청한다. 영역/구역 관리자(264)는 통신자의 아바타가 가상 영역을 항행할 때 각 오디오 스트림의 이득/음소거를 제어한다.
일부 실시예에서, 영역/구역 관리자(264)는 부가적으로 영역/구역 관리자(264)가 사회적 프로세서들(277)(도 15 참조)을 통해서 가상 영역 내에서 아바타 방위/이동/자세를 제어하기 위해 사용하는 관계 데이터를 신청한다. 이러한 과정에서, 영역/구역 관리자(264)는 가상 영역 내의 아바타의 위치와 관계 데이터를 토대로 사회적 프로세서들(277)의 파라미터 값을 설정한다. 이러한 방식으로, 통신자가 말을 할 때 아바타의 머리의 위치와 방위를 변경함으로써 (예를 들면, 그 아바타가 가상 영역의 구역에 진입할 때 다른 아바타를 향하게 하도록 아바타를 회전시킴으로써 또는 가상 영역의 매체 구역이 진입될 때 뷰 스크린의 최적 보기를 위해 아바타의 방향을 맞춤으로써) 관계가 표시될 수 있다. 일부 실시예에서, 사회적 프로세서(277)는 제 3의 개발자에 의해 정의되며 플러그인을 통해서 클라이언트 네트워크 노드로 전달된다. 각 사회적 프로세서(277)는 특정 이벤트(예를 들어, 다른 아바타들과의 접근 또는 영역에서의 위치, 또는 양쪽 모두에 의해 트리거되는 자동 움직임)가 일어날 때 자동으로 실행되는 명령의 세트이다. 사회적 프로세서(277)는 가상 영역에서 아바타들 또는 객체들의 움직임을 제어하는 어떤 임의의 프로그램 루틴일 수 있다. 예컨대, 일부 실시예에서, 아바타가 뷰 스크린에 접근하면, 한 형태의 사회적 프로세서는 가상 영역 사양에 정의된 그리드로 아바타를 자동으로 스내핑하고 사용자가 뷰 스크린의 내용을 쉽게 볼 수 있도록 아바타를 뷰 스크린 앞에서 중심에 위치시킨다. 이러한 식으로, 아바타의 움직임을 복잡하게 조작할 필요가 없어진다. 다른 형태의 사회적 프로세서(277)는 다른 사용자의 존재를 인지하도록 아바타를 자동으로 회전시켜 방향을 변경한다. 예를 들어, 이러한 형태의 사회적 프로세서의 실시예는 가상 영역에 있는 아바타들이 서로 대향하는 위치에 있다가 새로운 통신자가 가상 영역 내로 진입하는 것에 응답하여 아바타들이 새로운 통신자의 아바타를 향하는 각각의 방향으로 아바타들의 방위를 자동으로 재조정하도록 구성된다. 이러한 경우, 가상 영역에 원래 존재하는 아바타들과 연관되는 통신자들은 수동으로 그들의 아바타를 조작할 필요가 없고, 대신 사회적 프로세서가 새로운 통신자의 존재를 인지하도록 아바타들의 머리를 자동으로 회전시킨다.
4. 관리 세션
도 18은 STRAW 서비스(268)에 의해 구현되는 세션 관리 방법의 실시예를 도시한다.
도 18의 방법에 따르면, 로컬 네트워크 노드에서 STRAW 서비스(268)는 무접속 전송 프로토콜(가령 UDP)에 따라 전송 스트림에 대해 원격 네트워크 노드와의 제 1 세션을 설정한다(도 18의 블록(362)). STRAW 서비스(268)는 세션의 정의를 생성하며, 여기에서 정의는 인터넷 프로토콜(IP) 주소, 포트 주소, 및 전송 프로토콜의 전역 고유 식별자(globally unique identifier)를 포함한다. STRAW 서비스(268)는 원격 네트워크 노드로 그 정의를 전송한다. STRAW 서비스(268)는 원격 네트워크 노드로 할당되는 제 1 스테이션 정의를 결정하며, 제 1 스테이션 정의를 개방 채널들 각각의 속성으로서 테이블에 저장한다. 이러한 과정에서, STRAW 서비스(268)는 원격 네트워크 노드로부터 수신되는 스테이션 정의 레코드를 분석한다. 스테이션 정의 레코드는 필드의 세트를 포함하며, 각 필드는 각각의 필드 유형 및 연관된 필드 값으로 정의되고, 각각의 필드 유형은 각 전역 고유 식별자(GUID)에 의해 식별된다.
로컬 네트워크 노드 상의 하나 이상의 소프트웨어 개체를 대신하여, STRAW 서비스(268)는 제 1 세션에서 로컬 네트워크 노드와 원격 네트워크 노드 사이에서 데이터가 전송되는 하나 이상의 채널을 자동으로 개방한다(도 18의 블록(364)). 이러한 과정에서, STRAW 서비스(268)는 로컬 게시 채널을 정의하는 레코드 및 원격 게시 채널들 중 하나의 식별자와 일치하는 식별자를 갖는 로컬 신청 채널 각각의 레코드를 원격 네트워크 노드로 전송한다.
제 1 세션에서, STRAW 서비스(268)는 채널 중 개방된 것들을 식별하고 각각의 속성값을 식별된 채널과 연관시키는 테이블을 보유한다(도 18의 블록(366)). STRAW 서비스(268)는 로컬 네트워크 노드로부터 이용가능한 로컬 게시 채널들, 하나 이상의 소프트웨어 개체에 의해 요청된 로컬 신청 채널들, 원격 네트워크 노드로부터 이용가능한 원격 게시 채널들, 및 원격 네트워크 노드에 의해 요청된 원격 신청 채널들의 속성을 기록한다. 이러한 과정에서, STRAW 서비스(268)는 로컬 게시 채널들 각각에 대해서, 로컬 게시 채널을 통해 데이터를 게시하는 능력을 나타내는 소프트웨어 개체들 중 하나의 식별자, 로컬 게시 채널을 신청하는 원격 네트워크 노드의 식별자, 및 로컬 게시 채널의 식별자를 포함하는 레코드를 보유한다. STRAW 서비스(268)는 로컬 신청 채널들 각각에 대해서, 로컬 신청 채널을 신청하는 소프트웨어 개체들 중 하나의 식별자, 로컬 신청 채널을 통해 데이터를 게시하는 능력을 나타내는 원격 네트워크 노드의 식별자, 로컬 신청 채널의 식별자, 및 로컬 신청 채널과 연관된 하나 이상의 네트워크 전송 파라미터들을 포함하는 레코드를 보유한다. STRAW 서비스(268)는 원격 게시 채널들 각각에 대해서 원격 게시 채널에 대한 데이터를 게시하는 능력을 나타내는 원격 네트워크 노드의 식별자와 원격 게시 채널의 식별자를 포함하는 레코드를 보유한다.
STRAW 서비스(268)는 세션 내에서 하나 이상의 개방 채널을 통해 로컬 네트워크 노드 및 원격 네트워크 노드 간에 데이터를 전송한다. 일부 실시예에서, 데이터는 레코드의 형태로 전송되며, 각 레코드는 필드의 세트를 포함한다. 레코드의 필드들 각각은 각 필드 유형 및 연관된 필드 값으로 정의되며, 각 필드 유형은 각 GUID에 의해 식별된다. 레코드들 중 일부는 매체 데이터를 포함하는 매체 레코드이며, 매체 데이터는 렌더링가능한 데이터의 패킷들을 포함한다. 다른 레코드들은 구성 설정의 정의를 포함하는 구성 데이터를 포함하는 구성 레코드이다. 매체 레코드와 구성 레코드는 통상적으로 전송 스트림을 통해서 전송 레코드로 캡슐화된다. 매체 레코드는 통상적으로 제 1 데이터 압축 서비스를 이용하여 압축되고, 구성 레코드는 제 2 데이터 압축 서비스를 이용하여 압축된다. 송신 시에, STRAW 서비스(268)는 전송 레코드들이 전송되는 채널들 각각의 식별자와 전송 레코드를 연관시키고, 전송 레코드를 암호화하며, 암호화된 전송 레코드들을 순차적으로 배치한다. 수신 시에, STRAW 서비스(268)는 전송 레코드를 복호화하고 복호화된 전송 레코드에 포함된 매체 레코드와 구성 레코드를 소프트웨어 개체들 중 신청 개체들로 발송한다.
제 1 세션이 실패했다는 결정에 응답하여, STRAW 서비스(268)는 무접속 전송 프로토콜에 따라 제 2 전송 스트림에 대해서 자동으로 원격 네트워크 노드와의 제 2 세션 설정을 시도한다(도 18의 블록(368)). 일부 실시예에서, STRAW 서비스(268)는 원격 네트워크 노드에 할당된 현재 스테이션 정의가 제 1 세션이 설정되었을 때 원격 네트워크 노드에 할당되었던 제 1 스테이션 정의와 다르다는 결정에 응답하여 제 1 세션이 실패했다고 결정한다.
제 2 세션의 성공적인 설정에 응답하여, STRAW 서비스(268)는 테이블에서 식별된 채널의 각각을 자동으로 개방한다(도 18의 블록(370)).
5. 처리 데이터 스트림
실시간 커널(260)은 다른 네트워크 노드들로부터 클라이언트 네트워크 노드에 의해 수신된 데이터 스트림을 처리하기 위한 스트림 핸들러의 원격 구성을 지원한다. 영역 서비스(26)로부터 수신된 명령에 응답하여, 실시간 커널(260)의 다양한 서비스와 다른 구성요소들은 처리 요소들의 지시 그래프를, 데이터 스트림을 처리하기 위해 사용되는 스트림 핸들러로 협력하여 구성 및 배치한다. 영역 서비스 명령어는 영역 서비스(26)에 의해 관리되는 가상 영역에 의해 호스팅된 가상 영역 애플리케이션에 따라 스트림 핸들러를 구성한다.
도 19는 영역 서비스(26)로부터 수신되는 원격 스트림 처리 명령에 응답하여 실시간 커널(260)의 구성요소들에 의해 구현되는 방법의 실시예를 도시한다.
도 19의 방법에 따르면, 실시간 커널(260)은 실시간 스트림 핸들러의 사양을 하나 이상의 스트림 처리 명령들로 분석한다(도 19의 블록(330)). 이러한 과정에서, STRAW 서비스(268)는 영역 서비스(26)로부터 스트림 핸들러를 구성하기 위한 SODA 정의를 수신한다. STRAW 서비스(268)는 SODA 정의를 접속 및 서버 혼합 관리자(262)와 영역/구역 관리자(264)로 발송한다. 접속 및 서버 혼합 관리자(262)는 하나 이상의 스트림 처리 명령어로부터 입력 소스 식별자, 출력 싱크 식별자 및 하나 이상의 데이터 처리 객체들 각각의 식별자를 분석한다.
접속 및 서버 혼합 관리자(262)는 식별자들 각각에 대응하는 실시간 스트림 처리 객체들을 예시한다(도 19의 블록(332)). 접속 및 서버 혼합 관리자(262)는 전송 버스(276)에 인스턴트화된 객체들을 등록한다.
전송 버스(276)는 사양에 따라 인스턴트화된 실시간 스트림 처리 객체들을 포함하는 지시 그래프를 생성한다(도 19의 블록(334)). 영역/구역 관리자(264)는 오디오 연산 SODA 정의를 지시 그래프의 특정된 오디오 연산 객체들로 전달한다.
STRAW 서비스(268)는 입력 소스 식별자에 대응하는 입력 소스로부터 실시간 데이터 스트림을 수신한다(도 19의 블록(336)). STRAW 서비스(268)는 실시간 데이터 스트림을 매체 서비스(271)로 전달하며, 매체 서비스는 그 스트림을 처리하여 전송 버스(276)로 전달한다. 전송 버스(276)는 실시간 데이터 스트림의 특정된 처리를 수행하기 위해 스트림 핸들러의 처리 그래프 요소들을 순서대로 실행한다.
스트림 핸들러는 출력 싱크 식별자에 대응하는 출력 싱크에서 결과 데이터 스트림을 형성한다(도 19의 블록(338)). 그 후 결과 데이터 스트림은 클라이언트 네트워크 노드의 렌더링 구성요소들로 전달된다.
6. 실시간 커널의 서비스 및 다른 구성 요소
실시간 커널(260)의 구성요소들은 서비스, 플러그인, 및 라이브러리를 포함한다.
a. 압축기 라이브러리
Figure 112011051466817-pct00018
압축기 라이브러리는 전송 데이터를 위한 선택적인 압축 계층을 구현한다. 이는 프로토콜 헤더 또는 링크 협상 교환물을 압축하고자 하는 것은 아니다.
압축기 라이브러리는 SODA 채널 서비스(270) 및 매체 서비스(271)에 의해 사용된다. 암호화가 구성되면, 이러한 서비스들(270, 271)은 두 압축기 인스턴스를 생성하고 채널 데이터를 그 압축기를 통해서 보낸다. 하나의 압축기 인스턴스는 송신을 위해 사용되고 다른 압축기 인스턴스는 수신을 위해 사용된다.
압축기 라이브러리는 여러 가지 형태로 구성되는 압축/압축 해제 플러그인을 사용한다. 이는 압축 변형을 결정하고 그것을 압축기에 제공하기 위한 서비스에 부응하는 것이다.
b. 오디오 스트림 서비스
Figure 112011051466817-pct00019
일부 실시예에서, 오디오 스트림 서비스(272)는 윈도즈(Windows®)서비스 DLL이다.
오디오 스트림 서비스(272)는 오디오 스트림 혼합(mixing)을 관리한다. 이는영역/구역 관리자(264)에 의해 조작되는 오디오 처리 그래프 요소(AudioComponent 객체로도 지칭됨)를 생성 및 구성하기 위한 API들을 정의한다. 오디오 스트림 서비스(272)는 전송 버스(276)의 클라이언트이다. 모든 오디오 처리 그래프 요소들은 전송 버스(276)에 등록된다.
오디오 처리 그래프 요소들은 다음의 API 호에 의하여 플러그인 관리자(266) (PluglnMgr)를 통해서 생성된다:
PluglnMgr::APIEnumerate(guiPluginApi)
PluglnMgr::VariantEnumerate(guidldentifier, guidPluginApi)
PluglnMgr::Createlnstance(guidldentifier, guidPluginApi, guidVariant)
PluglnMgr::Createlnstance() API의 호출은 API의 원하는 변형자의 인스턴스를 나타내는 guidPlugin을 산출한다.
플러그인 API들은 오디오 처리 그래프 요소들에 사용되며 다음과 같다:
오디오 믹스(Audio Mix)
오디오 소스(Audio Source)
오디오 삽입(Audio Insert)
오디오 전송(Audio Send)
호출자는 오디오 스트림 서비스(272)에 의해서 단지 전달되는 변형자를 제공한다. 변형자는 가상 영역 애플리케이션에서 정의되는 바와 같이 오디오 처리 그래프 요소의 구현을 나타낸다. 오디오 스트림 서비스(272)는 플러그인 인스턴스(guidPlugin)를 캡슐화하는 AudioComponent 객체를 생성한다. AudioComponent는 플러그인의 방법에 접근하기 위해 플러그인 관리자(266)를 사용한다. 오디오 스트림 서비스(272)는 각 오디오 API를 위한 도출된 AudioComponent의 올바른 유형을 생성한다:
AudioMix
AudioSource
Audiolnsert
AudioSend
AudioComponent 객체들은 전송 버스(276)에 등록된다. 전송 버스 API는 구성요소들을 그래프로 링크하기 위해 사용된다. AudioComponent API는 전송 버스(276)와 영역/구역 관리자(264)의 동작을 지원한다. 기본 클래스 AudioComponent는 양쪽 모두 동일한 플러그인의 양상인 AudioSource와 AudioSink의 API를 구비한다.
c. STRAW 서비스
Figure 112011051466817-pct00020
(i) 개요
일부 실시예에서, STRAW 서비스(268)는 윈도즈(Windows®) 서비스 DLL이다.
STRAW 서비스(268)는 무접속 전송 프로토콜(예를 들면 UDP)을 통해서 네트워크 노드들 간에 접속-지향의 암호화된 보안 소켓 접속을 가능하게 하는 STRAW 전송 프로토콜을 구현한다. STRAW 전송 프로토콜은 모든 레코드와 레코드에 존재하는 모든 필드 유형을 식별하기 위해 고정 길이의 전역 고유 식별자들(GUIDs)을 사용한다. 예컨대, 일부 실시예에서, 네트워크 노드(또는 스테이션)는 IP 주소(IP_Address)와 포트에 의해 정의된다. 이러한 실시예에서, STRAW 스테이션 식별 레코드는 다음의 GUI 집합:{GUID1, GUID2, GUID3, GUID4, GUID5, GUID6}을 구비하는 특정 네트워크 노드를 정의하며, 여기에서
Figure 112011051466817-pct00021
GUID1는 STRAW 레코드를 SODA 레코드로 식별하고,
Figure 112011051466817-pct00022
GUID2는 STRAW 레코드를 네트워크 노드 식별 레코드로 식별하고,
Figure 112011051466817-pct00023
GUID3는 IP 주소 필드 태그이고,
Figure 112011051466817-pct00024
GUID4는 네트워크 노드의 IP 주소이고,
Figure 112011051466817-pct00025
GUID5는 포트 번호 필드 태그이고,
Figure 112011051466817-pct00026
GUID6는 네트워크 노드의 포트 번호이다
이러한 실시예에서, 스테이션 식별 레코드는 작은 크기로 쉽게 압축될 수 있는 이진 데이터로 구성된다. 일부 실시예에서, STRAW 레코드의 하나 이상의 크기는 필드 태그를 생략함으로써 더 감소될 수 있다. 이러한 실시예에서, STRAW 레코드의 송신기와 수신기 양쪽은 어떠한 필드 태그도 참조하지 않고 필드 값의 의미를 알 수 있도록 STRAW 레코드의 형식을 알고 있다.
도 20을 참조하면, STRAW 서비스(268)는 전송 스트림(342)에 대한 세션(340)을 관리한다. 일부 실시예에서, STRAW 세션의 문맥에서의 스트림은 한 쌍의 {IP, 포트} 주소와 전송 GUID로 정의된다. 세션은 0 이상의 논리적 채널로 구성되며, 여기에서 채널은 특정 커널 관리자(가령 So3D 그래픽 엔진(274), 접속 및 서버 혼합 관리자(262), 및 영역/구역 관리자(264))에 적합한 일련의 레코드들이다. 하나 이상의 커널 관리자는 채널에 의해 식별되는 동일한 스트림으로부터 레코드를 수신할 수 있다.
STRAW 서비스(268)는 두 종류의 채널을 관리한다: 스트리밍 데이터(예를 들면, 오디오)를 포함하는 매체 채널와, 정의(또는 명령)의 SODA 레코드를 포함하는 SODA 채널. STRAW 레코드는 SODA 레코드와 매체 레코드를 스트림을 통해서 캡슐화한다. STRAW 레코드는 암호화되고 순차 배열되며, 메시지 무결성 필드를 포함한다. 순서는 레코드 소스 또는 목적과 별개이며-이것은 결함이 있거나 분실된 레코드를 검출하기 위해 사용되는 링크-레벨 특성이다.
STRAW 레코드는 채널에 의해 식별된다. GUID들은 채널 식별자로 사용된다. SODA 및 매체 레코드는 STRAW 레코드 캡슐화와 관계없는 스트림으로서 채널 레벨에서 압축될 수 있다. 각 SODA 레코드는 하나 이상의 SODA 정의(344)를 포함한다. SODA 정의의 예는 처리 그래프 요소(가령 AudioMix 및 AudioEffect), 3D 렌더링 자산(가령, 질감(texture) 및 메시(mesh)), 및 RDS(가령 아바타 움직임 검사점)을 포함한다. 각 매체 레코드는 하나의 매체 패킷(346)을 포함한다. 매체 패킷의 예는 오디오 코덱과 텍스트를 포함한다.
애플리케이션들은 공지의 GUID ID를 이용하여 세션에서 채널을 게시한다. 커널 관리자는 채널을 신청한다. 게시/신청 모델은 무접속이다. 채널을 신청하는 커널 관리자는 채널 상태 변경 및 그들이 도달했을 때의 채널 레코드를 통보받도록 등록된다.
(ii) 스트림 대 세션 대 채널 대 레코드
STRAW 세션의 문맥에서, 스트림은 두 개의 IP 주소/포트 쌍과 전송 GUID에 의해 정의되는 두 네트워크 노드들 간의 양방향 UDP 소켓이다. 스트림은 채널들의 세션을 지원한다. 세션은 논리적 노드 대 노드 접속이다. 세션들은 두 노드들에 대한 채널을 전송한다. 세션들은 하나 이상의 프록시 스테이션들을 통과할 수 있고 다수의 세션을 포함할 수 있는 스트림을 통해서 전송된다.
채널은 세션에서 두 네트워크 노드들 간에 SODA 또는 매체 레코드를 전송하는 논리적인 구조물이다. 채널은 신뢰성이 있거나 없을 수 있고 압축되거나 압축되지 않을 수 있다. 채널의 컨텐츠는 컨텐츠 GUID에 의해 식별된다. 채널 레코드는, 동일한 헤더 CHANNEL_CLIENT ID를 공유하면서 순차적인 패킷 번호와 MAC 필드를 갖는 STRAW 레코드들의 순서로 전송된다. MAC 연산은 일방향으로만 주어진 채널에 대해서 패킷 순서에 의존한다. 하나의 채널 상에서 전송되는 모든 레코드들은 구성 파라미터들의 한 집합을 공유한다(가령 {클라이언트(client), 신뢰성있는(reliable), 압축된(compressed)}). 한 채널 상의 레코드들은 연속적인 스트림으로서 압축된다. 단지 신뢰성있는 채널만이 정상적으로 압축될 수 있다. 일부 실시예에서, 신뢰할 수 없는 채널들은 각 키 프레임에서 압축이 재개되는 압축 과정을 이용하여 압축될 수 있다. 신뢰할 수 없는 채널 상에서 분실된 패킷의 경우, 그 채널 상의 레코드는 키 프레임이 도달할 때까지 폐기된다(레코드는 결함이 있는 상태로 압축 해제될 수 없기 때문에).
압축은 Compress.lib를 이용한다. 압축을 향상시키기 위해서, 채널 정의는 사전 설치 데이터를 포함할 수 있으며, 이는 압축기를 통해서 실행되긴 하나 전송은 되지 않는다. 그 목적은 통상적인 구문을 갖는 압축 상태 테이블을 준비하는 것이다. 압축 상태 테이블은 키 프레임이 수신될 때마다 리셋되고 수정된다.
Figure 112011051466817-pct00027
(iii) SODA 레코드(SODA records)
SODA 레코드는 초기의 GUID ID와 하나 이상의 SODA 정의를 갖는 서로 포개진(nested) 구조이다. SODA 정의는 정의 유형(definition type), 정의 길이(definition length) 및 하나 이상의 필드(fields)를 갖는다. 정의 유형은 주지의 GUID(가령 guidAsset). 길이는 필드의 전체 크기를 나타낸다. 필드는 유형-특화된 고정 필드들과 포개진(nested) SODA 정의들의 조합이다. 즉,
Figure 112011051466817-pct00028
예를 들면,
Figure 112011051466817-pct00029

SODA 레코드는 다음의 STRAW 레코드 내에 캡슐화된다:
Figure 112011051466817-pct00030

(iv) 채널 신뢰성과 링크-레벨 프로토콜
STRAW 레코드는 번호가 매겨지며 채널 ID를 포함한다. 패킷을 수신한 후 짧은 시간 지연 후에, 전송 수단은 각 채널에 대한 다음의 예측 패킷의 번호를 포함하는 ACK 레코드를 전송함으로써 송신자는 전송된 레코드들이 수신되었다는 것을 확인할 수 있고 국부적 자원을 해제할 수 있다. 이러한 ACK에 대해서 주기적인 전송 이외에는 신뢰성 특성이 존재하지 않는다. 이러한 구조는 거의 모든 레코드가 성공적으로 수신된다면, 신뢰성을 위해 최소한의 네트워크 자원을 사용한다.
MAC 필드는 전송되는 각 STRAW 레코드에 대해서 계산된다. 이는 수신 시 검사된다.
신뢰성있는 채널에 대하여:
채널의 레코드들이 무질서하게 수신되면, 분실한 레코드에 대해서 NACK가 전송된다. MAC 실패는 또한 예측된 레코드에 대해서 NACK이 전송되도록 한다. 하나의 레코드에 대해서 네 개의 NACK까지 허용되며, 전송 수단은 임의의 신청 커널 관리자들에 대한 실패 메시지를 대기행렬에 넣고, 채널 정의를 제거한다.
신뢰할 수 없는 채널에 대하여:
채널의 레코드들이 무질서하게 수신되면, 분실된 패킷 번호가 그 채널을 신청했던 임의의 관리자들에게 통보되고 NACK는 전송되지 않는다. MAC 실패는 또한 채널을 신청했던 임의의 커널 관리자들에게 분실된 패킷으로 표시되며, NACK는 전송되지 않는다. 분실된 패킷들에 대한 임계값은 존재하지 않으며 채널은 전송 수단에 의해 폐쇄되지 않는다.
채널은 "폐쇄"할 필요가 없다. 모든 커널 관리자들이 신청 해지한다면, 채널을 통한 데이터 전송은 중지된다. 채널은 논리적 개체이기 때문에, 운영 체제 자원은 사용되지 않는다.
(v) 게시/신청
STRAW 서비스(268)는 로컬 게시 및 신청 엔트리의 리스트를 보유한다. 각 엔트리는,
엔트리를 생성한 로컬 관리자
서버 식별자
채널 식별자
게시 또는 신청
(신청에 대한) 전송 파라미터들을 포함한다.
이러한 리스트는
{STRAW Service, GUID_NULL, Session, Subscribe, Reliable, Uncompressed}로 초기화된다.
이러한 식으로, STRAW 서비스(268)는 임의의 세션 채널에 도착한 모든 도착 SODA 레코드를 신청한다. 이들은 게시 및 신청 정의를 포함한다. GUID_NULL 채널은 모든 서버에 의해 게시되는 것은 아니며 모든 서버는 GUID_NULL 채널이 모든 스트림에 대해서 주지의 채널 ID로 신청된다고 가정하지는 않는다.
STRAW 서비스(268)는 또한 이후의 신청이 로컬 리스트에 등록된 경우에 사용될 수 있도록 모든 도달된 게시 정의의 테이블을 보유한다.
{ IDCIient, IDServer, IDChannel }
IDCIient가 채널이 의도하는 특정 클라이언트의 (아마도 NULL인) GUID 라면, IDServer는 채널 레코드의 원격 소스이고 IDChannel은 채널의 주지의 GUID이다.
STRAW 서비스(268)가 다른 스테이션과의 원하는 접속을 위한 세션 정의를 수신하면, STRAW 서비스(268)는 스트림을 설정하고, 세션 정의를 송신하고, 그 이후에 세션 채널을 통해서 SODA 레코드에 존재하는 모든 로컬 테이블 게시 엔트리를 송신한다. 게시 정의가 STRAW 서비스(268)에 도달하면, STRAW 서비스(268)는 그 정의를 게시 정의 테이블 내에 입력시키고 그 후 게시 레코드에 일치된 Channel ID를 가진 로컬 리스트의 각 신청 엔트리에 대해서 세션 채널을 통해 신청 정의를 송신한다. 신청 정의가 도달하면, STRAW 서비스(268)는 (게시 애플리케이션들로부터 보내진) 정의 갱신을 그 정의에 대한 SODA 레코드를 포함하는 STRAW 레코드로서 주어진 채널을 통해 송신하는 것을 시작한다. 레코드는 하나 이상의 채널을 통해서 전송될 수 있다.
커널 관리자가 서버와의 채널에 참여하고자 하면, 커널 관리자는 임의의 STRAW 스트림이 어떤 서버에 존재하는지에 관계없이 신청 요청을 정의한다. 가상 영역 애플리케이션이 나중에 (즉, 스트림이 설정된 후) 게시하면, 로컬 테이블의 변경 사항은 그 테이블의 게시 엔트리들을 재전송하도록 하며, 이는 링크의 다른 종단에서 잠재적인 신청을 자동으로 일으킨다. 커널 관리자가 추후에 신청하고 게시 테이블에 엔트리가 존재하면, STRAW 서비스(268)는 신청 요청을 자동으로 전송한다. 이러한 과정은 채널 데이터가 수신기에 의해 요구되는 경우에만 채널 데이터가 링크를 통해서 전송된다는 것을 보장한다.
(vi) 채널 레코드 발송(Channel Record Dispatching)
STRAW 레코드는 도착했을 때 복호화된다. 유효하다면, 그들의 내장된 레코드는 압축되지 않으며, 이후 모든 신청 커널 관리자들에게 발송된다. 로컬 신청 엔트리들의 리스트가 검사되고, Channel ID(신청 전송 정보에서의)와 일치하는 모든 엔트리들은 레코드의 복사본을 그들의 메시지 큐(queue)에서 수신한다.
신청 커널 관리자는 메시지들이 처리됨에 따라 그 메시지들을 제거할 책임이 있다. 메시지의 대부분의 데이터 부분은 복사되지 않지만, STRAW 레코드를 포함하는 원래의 네트워크 버퍼를 가리킨다. 각 커널 관리자는 메시지들이 모두 제거될 때 네트워크 버퍼가 재활용될 수 있도록 메시지를 제거한다.
(vii) STRAW 스트림의 설정
클라이언트 네트워크 노드는 스트림을 통해서 서버 및 피어(peer) 네트워크 노드와 세션을 접속한다. 이러한 과정에서, 각 측은 상대방에 대해서 자신을 인증한다.
STRAW 스트림은 신뢰할 수 있으며 안전하다. 이는 다음을 의미한다:
Figure 112011051466817-pct00031
클라이언트 네트워크 노드가 상대방의 신원을 확신하며와,
Figure 112011051466817-pct00032
메시지들이 비공개이고,
Figure 112011051466817-pct00033
수신된 메시지들은 (도중에 어딘가에서 변형되지 않고) 송신된 보증할 수 있는 메시지이고,
Figure 112011051466817-pct00034
메시지들이 양측에 의해 동일한 방식으로 해석가능할 것이다.
세션 정의의 일부는 스트림 전송 플러그인 GUID들의 리스트이다. 정의에 응답하는 클라이언트 네트워크 노드가 GUID들 중 적어도 하나를 지원한다면, 이는 플러그인을 로딩하고 플러그인을 사용하여 세션을 설정한다. 정의를 생성하는 서버는 관련된 각 클라이언트 네트워크 노드의 지원 리스트를 검사하고 어느 전송 플러그인 GUID를 정의에 포함시킬 것인지를 결정할 수 있다.
세션 정의 일부는 스트림 암호화 플러그인 GUID들의 리스트이다. 정의에 응답하는 클라이언트 네트워크 노드가 GUID들 중 적어도 하나를 지원한다면, 이는 플러그인을 로딩하고 플러그인을 사용하여 세션을 암호화한다. 정의를 생성하는 서버는 관련된 각 클라이언트 네트워크 노드의 지원 리스트를 검사하고 어떤 스트림 암호화 플러그인 GUID를 정의에 포함시킬 것인지를 결정할 수 있다.
(viii) 서버 스트림
일부 실시예에서, 클라이언트 네트워크 노드(344)로부터 서버(346)로의 스트림은 디렉토리 서버, 지도 서버 또는 영역 서버와 같은 서버로부터 얻은 주소를 이용하여 설정된다. 스트림의 예시적인 목적은 존재 정보를 얻는 것과, 지도 서버로부터의 렌더링 정의를 이용하여 공개 공간을 렌더링하는 것과, 영역 서버로부터의 렌더링 정의를 이용하여 가상 영역을 렌더링하는 것을 포함한다.
도 21은 클라이언트 네트워크 노드(344)와 서버(346) 간에 서버 스트림이 설정되는 방법의 실시예를 도시한다. 이러한 방법에 따르면, 클라이언트 네트워크 노드(344)는 클라이언트 보증서와 스트림 ID를 서버(346)로 전송한다(도 21의 블록(348)). 서버(346)는 서버 보증서와 사전 마스터(pre-master) 암호로 응답한다(도 21의 블록(350)). 스트림 생성 시, 접속하는 클라이언트 네트워크 노드(344)는 암호 세트를 결정하며, 따라서 이후에 증서에 의하여 자신의 식별 토큰을 인증한다(도 21의 블록(352)). 서버(346)는 클라이언트 네트워크 노드(344)에 적합한 서버 토큰(스트림 ID에 의해 선택되고 계정 서버에 의해 서버(346)로 전달됨)을 제시한다(도 21의 블록(354)).
(ix) 클라이언트 스트림
도 22를 참조하면, 각 세션은 발급 서버에 의해 생성된 새로운 GUID에 의해 식별된다. 스트림에 포함된 네트워크 노드들은 세션 정의를 통보받으며, 각 네트워크 노드는 세션 GUID 및 클라이언트 ID의 해시 값을 스트림 암호화 키로 이용하여 다른 네트워크 노드와 통신한다. 도 22에 도시된 예시적인 실시예에서, 영역 서버(356)는 두 클라이언트 네트워크 노드(358, 360) 간의 세션을 정의한다. 클라이언트 네트워크 노드들(358, 360) 각각은 영역 서버에 대해서 인증되며, 정의(세션 정의를 포함)를 전달하기 위해 암호화된 채널을 이용한다. 클라이언트 네트워크 노드(358, 360)는 서로 더 이상의 인증 정보를 공유할 필요가 없다. 각 클라이언트 네트워크 노드(358, 360)는 각각의 GUID로 서버(346)에 의해 식별된다. 각 세션 정의는 양쪽 클라이언트 네트워크 노드(358, 360)를 그들의 GUID로 식별한다. 클라이언트 네트워크 노드(358, 360)는 이러한 정보를 이용하여 세션 중에 어떤 채널을 게시할 것인가를 결정한다.
스트림 또는 세션이 클라이언트 네트워크 노드(358, 360) 중 하나에 대해 실패한다면, 그 클라이언트 네트워크 노드는 영역 서버(356)에게 SessionFailure SODA 정의를 이용하여 실패를 알린다. 실패의 원인은 예를 들어 호환되지 않는 전송, 이용 불가능한 채널 및 신뢰성있는 채널의 결함을 포함한다. 일부 실시예에서, 영역 서버(356)는 스트림의 리라우팅(re-route)을 시도함으로써(가령 대리인(proxy) 또는 서버를 통해서 오디오 스트림을 반사시킴으로써) SessionFailure SODA 정의에 응답한다.
일부 실시예에서, 클라이언트 네트워크 노드(358, 360)는 네트워크 주소 변환 장치(NAT)를 통한 UDP의 간단한 우회(Simple Traversal of UDP through Network Address Translators)(STUN로 약칭됨) 네트워크 프로토콜에 따라서 P2P 방식으로 통신한다. 이러한 실시예에서, 클라이언트들(358, 360)은 각 NAT들을 통해서 동작한다. 서버(가령 영역 서버(356))는 STUN 서버의 역할을 하며, 이는 NAT들의 공개 측에 있는 네트워크에서 두 개의 IP 주소들을 듣고 NAT들의 외부에서 매핑된 IP 주소와 포트들을 보고한다. 이러한 정보를 토대로, 클라이언트 네트워크 노드들(358, 360)은 NAT의 존재와 특성 형태를 발견할 수 있고, NAT가 원격 호스트와 클라이언트들의 UDP 접속을 위해 할당했던 매핑된(외부) IP 주소(NAT 주소) 및 포트 번호를 얻을 수 있다. 그에 따라 클라이언트 네트워크 노드(358, 360)는 UDP 프로토콜에 따라서 서로 P2P 방식으로 통신하기 위해 외부 IP 주소를 이용한다. STUN 프로토콜에 관한 부가적인 세부사항은 조나단 로젠버그(Jonathan Rosenberg) 등에 의한 인터넷 제안 표준(Internet proposed standard) RFC 3489 (March 2003)의 "STUN - Simple Traversal of User Datagram Protocol (UDP) Through Network Address Translators (NATs)," 로부터 얻을 수 있다.
(x) 활동 상태로 유지(keep-Alive)
일부 실시예에서, 스트림이 설정되면, 클라이언트 네트워크 노드의 전송 수단은 주기적인 유휴 StreamKeepAlive 정의를 발급한다. 상대방 네트워크 노드는 어떻게 추정하든 허용할 수 있는 최대 구간으로 설정된 타임아웃을 갖는 StreamKeepAlive 정의를 반환한다. 이러한 메시지의 목적은 임의의 NAT 방화벽 핀홀을 활성 상태로 유지하기 위한 것이다. 상대방 네트워크 노드는 원하는 타임아웃을 기록하고 구간을 매번 증가시킨다. 다음 메시지가 다른 IP 및 포트로부터 나온다면, NAT는 중지되고 새로운 핀홀이 킵얼라이브(keepalive)에 의해 생성된다. 따라서 구간은 짧아져야 한다.
유휴 타이머가 만료되어 메시지가 수신되지 않았거나 또는 킵얼라이브 메시지에 대해 응답이 수신되지 않아서 StreamKeepAlive가 분실되었다는 것을 클라이언트 네트워크 노드 또는 상대방 네트워크 노드가 통지하면, 그것은 매우 짧은 타임아웃을 갖는 즉각적인 StreamKeepAlive를 발급한다. 이는 탈락된 스테이션과 탈락된 UDP 패킷 사이를 구분하기 위해서이다. 여러 번의 재시도가 이루어질 수 있다. 재시도 후에 응답이 수신되지 않으면, 로컬 StreamFailure 이벤트가 실패된 세션 ID(들)로 발생되며, 스트림 정의는 삭제된다.
일부 실시예에서, STRAW 서비스(268)는 애플리케이션(또는 클라이언트)의 개입없이 로컬 게시 및 신청 테이블 엔트리를 토대로 자동으로 링크를 재설정하고 모든 신청과 데이터 플로우를 다시 연결함으로써 절단된 링크에 응답한다.
f. 매체 채널 서비스(Media Channel Service)
Figure 112011051466817-pct00035
일부 실시예에서, 매체 채널 서비스(271)는 윈도즈(Windows®) 서비스 DLL이다.
매체 채널 서비스(271)는 오디오 및 텍스트 대화를 P2P 방식으로 안전하게 전송하기 위해 사용된다. 매체 채널 서비스(271)는 그렇게 하도록 구성되어 있다면 스트림을 압축할 것이다. 압축기 라이브러리는 요청받은 대로 압축을 실행한다. 매체 채널 서비스는 다양하게 구성된 오디오 코덱 플러그인을 사용한다. 다양한 GUID가 스트림 정의로부터 취해진다.
g. SODA 채널 서비스
Figure 112011051466817-pct00036
일부 실시예에서, SODA 채널 서비스(270)는 윈도즈(Windows®) 서비스 DLL이다.
SODA 채널 서비스(270)는 SODA 정의를 안전하게 전달하기 위해 사용된다. SODA 채널 서비스(270)는 그렇게 하도록 구성되어 있다면 스트림을 압축할 것이다. 압축기 라이브러리는 요청받은대로 압축을 실행한다. 이는 데이터 구조가 네트워크 바이트 순서로 변환되는 장소이다. 일부 실시예에서, 리틀 엔디안(little-endian) (Intel) 네트워크 바이트 순서가 사용된다.
h. 접속 및 서버 혼합 관리자
Figure 112011051466817-pct00037
일부 실시예에서, 접속 및 서버 혼합 관리자(262)는 윈도즈(Windows®) 서비스 DLL이다.
일부 실시예에서, 접속 및 서버 혼합 관리자(262)는 영역 서버와의 세션을 개시하기 위해 로컬 협의 스케쥴링 툴에 이용가능한 절차상의 API를 이출(export)한다. 이러한 API는 세션을 생성하기 위한 초기 진입점이다. 접속 및 서버 혼합 관리자(262)는 활성 세션 정의를 게시한다. 영역 서버는 SODA 채널을 통해서 세션 정의를 수신한다.
접속 및 서버 혼합 관리자(262)는 또한 오디오 그래프 처리 요소들로부터 오디오 그래프를 구성한다. 오디오 그래프 처리 요소들은 SODA 레코드를 통해서 직접적으로 또는 VSDL 스크립트를 통해서 간접적으로 영역 서비스(26)에 의해 구성된다. 어떠한 경우에든, SODA 정의는 결과가 된다. 일부 실시예에서, 접속 및 서버 혼합 관리자(262)는 영역 서비스(26)에 의해 전송된 다음의 SODA 정의를 처리한다:
Figure 112011051466817-pct00038
오디오 장치(AudioDevice)
Figure 112011051466817-pct00039
오디오 스트림(AudioStream)
Figure 112011051466817-pct00040
오디오 혼합(AudioMix)
Figure 112011051466817-pct00041
오디오 효과(AudioEffect)
Figure 112011051466817-pct00042
오디오 연산(AudioCalculation)
Figure 112011051466817-pct00043
오디오 레코드(AudioRecord)
Figure 112011051466817-pct00044
오디오 재생(AudioPlayback)
이러한 SODA 정의들은 다음의 절에서 설명된다.
AudioDevice는 (전송 버스(276)의 구성 요소인) 오디오 전송 버스에 AudioSource로서 등록될 로컬 오디오 장치의 정의이다. 표준 로컬 오디오 소스(마이크, 헤드셋) 또는 등록된 로컬 오디오 녹음(파일, 스트리밍 CD 오디오)에 대한 주지의 ID가 인스턴스 ID(하나 이상이 이용가능한 경우 어떠한 헤드셋인지에 대하여)와 함께 제공된다. 장치는 오디오 전송 버스에서 사용되도록 새로운 ID를 부여받는다. 접속 및 서버 혼합 관리자(262)는 주지의 오디오 소스 ID를 이용하여 AudioDevice 플러그인의 적절한 변형 인스턴스를 생성하고, 이를 오디오 전송 버스로 핸드 오프한다.
AudioStream은 오디오 전송 버스에 AudioSource로서 등록될 입력 오디오 스트림의 정의이다. 입력 오디오 스트림은 그것이 전송되는 Channel ID에 의해 정의된다. (영역/구역 관리자(264)에 의해 수행되는) 동적 혼합을 위해, 스트림을 아바타 ID와 연관시키는 것이 필요하다. 장치는 Channel ID를 오디오 전송 버스 ID로 사용한다. 접속 및 서버 혼합 관리자(262)는 채널 유형 ID(Channel Type ID)를 기반으로 AudioStream 플러그인의 적절한 변형 인스턴스를 생성하고, 그것을 오디오 전송 버스로 핸드 오프한다.
AudioMix는 AudioSource와 AudioSink 조합 플러그인의 정의이다. 그러한 정의는 플러그인 API ID, 변형 ID, 하나 또는 두 개의 오디오 전송 버스(Audio Transport Bus) 소스 ID, 및 (영역/구역 관리자(264)를 위한) 관련 아바타 ID를 완전히 특정한다. 접속 및 서버 혼합 관리자(262)는 제공되는 ID들에 기반하여 AudioMix 플러그인의 지시된 변형자를 생성하고, 이를 오디오 전송 버스로 핸드 오프한다.
AudioEffect는 AudioSource와 AudioSink 조합 플러그인의 정의이다. 그러한 정의는 플러그인 API ID, 변형자 ID, 하나의 오디오 전송 버스 소스 ID (Source IDs), 및 (영역/구역 관리자(264)에 대한) 관련 아바타 ID를 완전하게 특정한다. 접속 및 서버 혼합 관리자(262)는 제공되는 ID들에 기반하여 AudioEffect 플러그인의 지시된 변형자를 생성하고, 이를 오디오 전송 버스로 핸드 오프한다.
AudioCalculation는 오디오 연산(AudioCalculation 플러그인의 정의이다. 그러한 정의는 플러그인 API ID, 변형자 ID, 관련 오디오 전송 버스 AudioSource 객체 ID, 구성요소 자체의 오디오 전송 버스 ID, 및 두 개의 상황-특화된 파라미터를 완전히 특정한다. AudioCalculation 객체들은 오디오 체인에서 직접적으로 오디오 데이터를 처리하고 있지 않다. 대신 AudioCalculation 객체들은 "영역 객체 모델"에 기반한 다른 오디오 그래프 구성요소들에 대한 설정, 수동 설정(HUD에서의 음 소거, 볼륨 제어)과 같은 외부 정보, 아바타 위치 및 이동, 및 음향 장치 공간 및 윈도즈(Windows®) 설정(예를 들면 제어 패널에서의 스피커 선택)을 계산한다. AudioCalculation 객체들은 서로 다른 렌더링 타이머 이벤트-일반적인 오디오 렌더링보다는 대체로 훨씬 적은-에서 실행된다. 이는 그러한 객체들이 연산에 대한 입력으로서 사용하는 데이터가 천천히 변화되기 때문이다. 접속 및 서버 혼합 관리자(262)는 제공되는 ID들을 기반으로 AudioCalculation 플러그인의 지시된 변형자를 생성하고, 이를 오디오 전송 버스로 핸드 오프한다.
AudioRecord는 오디오 싱크(AudioSink) 플러그인의 정의이다. 그러한 정의는 오디오 그래프의 포인트를 저장 구성요소와 링크시킨다. 렌더링 시점에, AudioRecord 구성요소는 렌더링 자체를 유발하지 않는다. 그러나, 렌더링이 다른 AudioSink 구성요소에 의해 유발되면, 렌더링된 오디오 데이터는 지시된 저장 구성요소로의 전달을 위해 AudioRecord 객체로 제공된다. 접속 및 서버 혼합 관리자(262)는 AudioSink 플러그인을 생성하고 이를 오디오 전송 버스로 핸드 오프한다.
AudioPlayback은 오디오 소스(AudioSource) 플러그인의 정의이다. 그러한 정의는 오디오 그래프 내의 포인트를 저장 구성요소와 링크시킨다. 오디오 체인은 이러한 구성요소를 배열하고, 그 후 프레임 준비 시점에서 1회 분의 오디오 데이터가 저장 구성요소로부터 인출되며 이러한 구성요소의 출력으로 제공된다. 접속 및 서버 혼합 관리자(262)는 AudioSource 플러그인을 생성하고 이를 오디오 전송 버스로 핸드오프한다.
접속 및 서버 혼합 관리자(262)는 영역 서버로부터 수신된 정의들에 따라 전송 버스(276)와 오디오 스트림 서비스(272)를 구성한다. 각 정의는 오디오 스트림 플러그인, 오디오 연산 플러그인, 또는 오디오 소스 플러그인인 오디오 처리 그래프 요소를 생성하도록 한다. 로컬 오디오 장치들(가령 마이크, 스피커(들) 및 스카이프 오디오)은 HID 구성 툴을 통해서 선택된 설정에 따라 구성될 수 있다. HID 구성 툴은 사용자로 하여금 3D 협력 공간을 항행하기 위한 키보드와 마우스 기능을 선택할 수 있도록 한다. 예를 들어, 단축 키가 정의될 수 있으며 마우스 동작이 곧 아바타 행위가 될 수 있다. 일부 실시예에서, 오디오 출력 선택은 오디오와 음성을 위한 윈도즈 제어 패널(Windows® Control Panel) "음향 및 오디오 장치(Sounds and Audio Device)" 설정을 따른다. 이는 일반적인 VOIP 대화를 위해 사용되는 것과 동일한 오디오 설정이 가상 영역 통신에 사용된다는 것을 보장한다.
영역 서버의 세션 전송이 실패인 경우, 접속 및 서버 혼합 관리자(262)는 복구를 시도한다. 이는 세션을 해체하고 다른 영역 서버에서 세션을 재개한다. 매체 스트림 실패의 경우, 접속 및 서버 혼합 관리자(262)는 복구를 시도한다. 이러한 과정에서, 접속 및 서버 혼합 관리자(262)는 클라이언트 네트워크 노드와의 재접속을 시도한다. 재접속 시도가 실패하면, 접속 및 서버 혼합 관리자(262)는 통신자 상태를 영역 서버에게는 들리지 않는 상태로 정의한다.
i. 영역/구역 관리자
Figure 112011051466817-pct00045
일부 실시예에서, 영역/구역 관리자(264)는 윈도즈(Windows®) 서비스 DLL이다.
영역/구역 관리자(264)는 구역 정의 및 아바타 위치 정의에 따라서 오디오 스트림 서비스(272) 혼합 파라미터들을 조정한다. 영역 서비스(26)는 영역/구역 관리자(264)에게 각 아바타를 그 아바타의 움직임에 응답하는 오디오 처리 그래프 요소와 관련시키는 SODA 정의를 게시한다. 아바타 위치 데이터는 국부적 구역 정의에 따라 각 통신자가 다른 통신자들을 적당한 오디오 위치에서 적당한 볼륨으로 들을 수 있도록 하는 식으로 가상 영역에 참여하는 클라이언트 네트워크 노드들 각각으로부터의 오디오 스트림을 혼합하기 위해 사용된다. 오디오 처리 그래프 요소들에 적용되는 파라미터 값들은 통상적으로 상대적 위치, 통신자들의 방위, 구역 정의, 가상 영역의 오디오 특성 및 통신자에 의해 구성되는 수동 설정(예를 들면, 음 소거, 볼륨)을 포함하는 연산에 따라 결정된다.
일부 실시예에서, 영역/구역 관리자(264)는 현재 오디오 그래프가 렌더링하는 모의 실험된 오디오 공간의 전체 특성에 관련된 다음과 같은 SODA 정의를 처리한다.
Figure 112011051466817-pct00046
오디오 잔향(AudioReverb)
Figure 112011051466817-pct00047
오디오 개구(AudioAperture)
Figure 112011051466817-pct00048
오디오 장애물(AudioObstruction)
이러한 SODA 정의는 다음 절에서 설명된다.
AudioReverb는 어떤 잔향 또는 에코 효과를 야기하는 "빈 공간"인 잔향 공간의 정의이다. 이러한 정의는 단순한 기하 구조를 위치와 동일시한다. 이러한 정의는 영역 객체 모델(DOM) 내에서 모든 AudioCalculation 객체들이 호출될 때 그 객체들에게 제공된다.
AudioAperture는 두 개의 잔향 공간들 사이의 접속에 대한 정의이다. 이는 두 개의 잔향 공간들을 ID로 식별하며, 그들 간 오디오 접속을 특정한다. 그러한 접속은 일정한 위치 및 방위에서의 원(circle)이 된다. 이러한 정의는 영역 객체 모델(DOM) 내에서 모든 AudioCalculation 객체들이 호출될 때 그 객체들에게 제공된다.
AudioObstruction는 음향 전파에 대한 물리적 장애물의 정의이다. 이는 한 위치에서 구(sphere)로 모델링된다. 이러한 정의는 영역 객체 모델(DOM) 내에서 모든 AudioCalculation 객체들이 호출될 때 그 객체들에게 제공된다.
전술한 SODA 정의는 AudioCalculation 객체들에 대한 입력이며, 이들은 다음의 파라미터들을 인수(argument)로 취하는 스크립트 가능한 연산 플러그인이다:
음향 소스와 싱크의 물리적 성질:
소스 및 싱크에 대한 구역 정의와,
수동 설정(개별 음소거, 볼륨/AGC)와,
주변 설정(전체 음소거, 볼륨)와,
실내 오디오 특성.
초기 오디오 연산(Initial Audio Calculation) 플러그인들은:
수동 음소거(Manual Mute)와,
수동 볼륨(Manual Volume)와,
위치(Location)와,
도플러 이동(Doppler shift)와,
방위(향하는 방향/외면하는 방향)와,
구역(Zone)와,
실내 잔향(Room Reverb)을 포함한다.
일부 연산은 개별적인 오디오 소스에 적합하고, 일부는 실내 전체의 최종 혼합물에 적합하다. 가상 영역 애플리케이션은 새로운 플러그인들을 오디오 정의에서 참조함으로써 그 플러그인들을 임의로 도입할 수 있다. 영역/구역 관리자(264)는 갖고있지 않은 플러그인들을 신청할 것이고 영역 서버로부터 그들의 정의를 수신할 것이다.
Figure 112011051466817-pct00049
도 23은 4-통신자 오디오 처리 그래프(380)의 예를 도시하며, 이는 영역 서버 애플리케이션에 의해 특정될 수 있다. 통상적으로 완전한 오디오 처리 그래프 에 존재하는 어떤 오디오 처리 그래프 요소들(가령 코덱, 네트워크, 필터링, 특수 효과, 및 에러 은닉 그래프 요소들)은 간략화를 위해 본 예에서 생략되었다.
화살표(382, 384, 386, 388, 390)는 모두 원래의 단음(dry mono) 오디오 소스인 AudioSources를 나타낸다. 아바타들 1, 2 및 3은 원격 클라이언트 네트워크 노드들로부터의 네트워크 스트림이다. 지정된 소스로부터 공급되는 선택적인 로컬 오디오는 작은 소리이다. 오디오 패너(Panner)들의 좌측에 있는 모든 것은 일련의 효과가 부가된 단음(mono)이다. 이러한 효과는 구역과 스피커 방위에 따라서 볼륨을 조정하는 것과 스피커와 청취자의 상대적인 속도를 고려하여 도플러 이동을 적용하는 것을 포함한다. 오디오 패너는 각각의 조정된 단음 신호를 가상 영역에서 현재 점유된 구역의 360도 오디오 공간에 위치시킨다. 청취자에 대한 스피커의 위치가 사용된다. 오디오 패너의 우측에 있는 모든 것은 5.1 오디오이다. 실내 오디오 처리 그래프 요소는 오디오 신호에 대한 실내 음향 효과의 영향을 계산한다. 이는 스피커와 청취자의 위치, 실내 특성 및 장애물을 고려한다. 최종 혼합 오디오 처리 그래프 요소들은 모든 처리된 오디오 신호들을 더하여 지정된 오디오 출력 장치(즉, 도시된 예에서 로컬 스피커(들)를 나타내는 SPKR)로 전송되는 결과 스트림을 형성한다.
어떤 오디오 처리 그래프 요소들(삽입물)은 고정된 파라미터를 가지며, 따라서 임의의 실행 시간 연산 플러그인 스크립트와 연관되지 않는다. 이러한 요소들은 에코 및 잡음 제거, 자동 이득 제어(AGC), 침묵 감지, 고정-소스 패너, 및 최종 혼합(Final Mix)을 포함한다.
j. 자산 캐시서비스(Asset Cache Service)
Figure 112011051466817-pct00050
일부 실시예에서, 자산 캐시 서비스(275)는 윈도즈(Windows®) 서비스 DLL이다.
자산은 GUID에 의해 색인되는 로컬 데이터베이스 또는 테이블 서비스에 등록된다. 자산 데이터는 무정형의 저장 풀에 보관된다. 특정 자산에 대한 ID는 절대 변화하지 않음으로써, 임의의 캐시 일관성에 대한 논점을 피한다. 자산은 SODA 레코드에 의해 캐시 저장된다. 이는 SODA 레코드가 크기에 있어서 UDP MTU(약 1000 바이트)로 제한되기 때문에 큰 자산이 많은 조각으로 저장될 수 있다는 것을 의미한다. 자산 캐시는 GUID와, SODA 레코드의 한 필드인 데이터 오프셋으로 레코드를 색인해야 한다.
(i) 자산 인덱스
자산은 클래스 테이블과 선택적 속성 테이블로 표현된다.
자산 클래스 테이블은 자산 GUID를 클래스 GUID 및 데이터 저장 참조에 매핑한다.
Figure 112011051466817-pct00051
자산 속성 테이블은 표지(tagged) 속성 스칼라 값을 자산에 첨부한다.
(ii) 데이터 저장
가상 영역 기반의 렌더링 플랫폼의 자산 저장 인터페이스는 데이터의 적층을 가능하게 하고, 별도의 인덱스를 업무적으로 저장하도록 하며, 재사용을 위해 사용되지 않는 자산 저장소를 탐색한다. 데이터베이스와 파일의 조합은 자산 저장을 위해 제공될 것이다. 데이터베이스는 두 개의 테이블:　저장소 할당 테이블과 GUID/오프셋 인덱스를 포함한다. 파일은 구성된 캐시 크기에 따라서 고정된 크기로 생성된다. 자산은 더미-버킷(heap-bucket) 알고리즘을 이용하여 파일 내에 저장된다.
자산 캐시 데이터 저장소는 GUID 및 오프셋에 의해 색인될 것이다. 더미(heap)는 데이터 크기에 따라 2의 거듭 제곱 개의 버킷들로 분할된다. 가장 작은 버킷은 32 바이트이고, 가장 큰 버킷은 7 킬로바이트(kilobytes)이며 이는 총 7개의 버킷을 형성한다. 각 버킷은 동일한 양의 저장 공간을 배분받으며, 이는 각 연속적인 버킷 내에 절반의 항목이 존재한다는 것을 의미한다. 각 버킷은 저장 공간 예산을 실행하기 위해 충분한 항목을 해시할 정도로 큰 더미 테이블이며, 이는 해시 충돌의 가능성을 합리적으로 줄이게 된다.
(iii) SODA 자산 정의 레코드
자산은 전송을 위한 SODA 레코드로 캡슐화된다. 이러한 정의는 자산 GUID, 그 내용(구성되지 않은 데이터), 하나의 레코드보다 더 큰 경우의 오프셋, 및 속성 테이블을 포함한다. 자산을 캡슐화하는 SODA 레코드는 저장 시스템에 대한 어떠한 참조도 포함하지 않는다.
Figure 112011051466817-pct00052
오프셋과 데이터 필드는 그들이 하나의 레코드에 맞추어진 한 반복될 수 있다.
자산을 위한 질의는 다음과 같은 정의이다.
Figure 112011051466817-pct00053
자산은 다음의 정의를 이용하여 망각된다.
Figure 112011051466817-pct00054
(iv) 속성 계층 구조
자산은 속성을 가지며, 이들 중 가장 중요한 것은 유형(Type)과 디폴트(Default)이다. 유형은 자산의 목적을 특정한다. 디폴트는 주어진 자산 대신에 사용될 수 있는 기본 자산을 특정한다. 예시적인 속성 계층 구조가 다음 테이블에 도시된다:
Figure 112011051466817-pct00055
이러한 예에서, SococoTable 질감을 포함한 가상 영역 장면이 SococoTable 에서부터 ConfTableWood을 통해서 TableTop1 등으로 검색하면서, 활용가능한 제 1 질감을 이용하여 렌더링될 것이다.
Artbase는 최종적으로는 모두 소수의 기본 자산을 기반으로 하는 디폴트 자산들에 기반하여 자산의 방대한 계층적 트리를 가질 것이다. 이러한 기본 자산들은 클라이언트 소프트웨어 패키지의 일부로서 설치된다. 이러한 특징은 특정 기술 자산이 호출되는 상태로 레벨을 설계하는 것을 가능하게 하고 이러한 기술 자산 모두가 실제로 설계되기 전에 그 레벨을 렌더링하는 것을 가능하게 하고자 함이다. 또한, 기술 자산 모두가 로딩되기 전에 가상 영역의 렌더링을 시작하는 것이 바람직할 수 있다.
선택적인 속성들은 디폴트(Default), 저자(Author), 애플리케이션(Application) 및 자산이 도출되는 Collada 소스에 대한 참조인 Collada ID를 포함한다. 저자 스테이션에서 구동되는 브라우징 툴은 임의의 및 모든 속성들에 의해 자산을 색인할 것이다.
k. 오디오 전송 버스
오디오 전송 버스는 오디오 스트림을 다루는 전송 버스(276)의 구성요소이다. 일부 실시예에서, 오디오 전송 버스는 구성요소 객체들의 집합으로서 오디오 그래프를 관리하는 라이브러리에 의해 구현된다. 오디오 그래프 객체들 모두는 고유의 ID로 오디오 전송 버스에 등록된다. 오디오 전송 버스는 오디오를 렌더링할 때 오디오 그래프 객체들을 관리할 책임이 있다. 오디오 전송 버스는 ID로 오디오 그래프 구성요소를 추적한다. 이러한 과정에서, 오디오 전송 버스는 차례로 각 오디오 그래프 구성요소를 호출함으로써, ID로 명명되는 입력 구성요소로부터 오디오 데이터를 제공한다.
오디오 전송 버스는 클라이언트 네트워크 노드 상에서 이용가능한 각 오디오 스트림의 1회 구간을 버퍼링한다. 오디오 전송 버스는 이러한 스트림들을 오디오 스트림 서비스(272)에 의해 구성되는 바와 같이 0 또는 그 이상의 신청자들에게 공급한다. 스트리밍 데이터는 풀(pull) 모델을 이용하며, 여기에서 최종 출력 단계는 필요한 경우 데이터를 위해 선행 단계를 호출한다. 각 단계는 원래의 오디오 스트림 소스가 도달될 때까지 하나의 단계를 호출한다. 소스가 속도(흐름 제어)를 제어할 필요가 있다면, 통상적으로 자신의 버퍼링을 수행하고 자신의 특정 시그널링 구조를 갖는다. 예를 들어, 로컬 파일 소스가 버퍼링을 이중으로 할 수 있고 선행하는 하나를 처리하면서 하나의 시간 구간을 먼저 읽을 수 있다. 네트워크 파일 소스는 네트워크를 통해서 서버로 흐름 속도와 버퍼 한계를 시그널링 할 수 있다. 다른 한편으로 로컬 마이크 소스는 흐름 속도를 제어할 능력을 전혀 갖지 않는다.
오디오 전송 버스는 두 양상으로 동작한다: 렌더링 타이머 이벤트 시에 오디오 전송 버스는 기존에 렌더링된 데이터를 AudioSink 구성 요소들로 제공하고, 오디오 전송 버스는 그 후 오디오 그래프를 횡단하여 다음의 시간 단위의 오디오 데이터가 렌더링 및 버퍼링되도록 한다. 이러한 기법은 가변-대기시간 오디오 소스 데이터가 존재할 때에도 연속적인 재생을 제공하는 좋은 기회를 오디오 그래프에 부여한다.
일부 실시예에서, 오디오 전송 버스는 각 오디오 그래프 구성요소의 렌더링 대기시간을 측정하고 모든 의존적인 (소스) 오디오 구성요소 대기시간들을 더함으로써 각 렌더링 체인 대기시간의 총합을 계산한다. 오디오 전송 버스는 렌더링 대기시간 통계를 수립 및 기록한다. 이러한 통계를 토대로, 실시간 스케줄러(278)는 오디오 그래프 처리 목표를 달성하기 위해 오디오 그래프가 언제 어떻게 수정되어야 하는지를 결정한다. 일부 실시예에서, 실시간 스케줄러(278)는 오디오 그래프 처리 목표를 달성하기 위해 오디오 그래프가 언제 어떻게 수정되어야 하는지를 결정하는 과정에서 도 13 및 14와 연계하여 전술한 방법의 하나 이상을 실행한다.
오디오 전송 버스의 다른 기능은 AudioCalculation 객체들을 주기적으로 호출하는 것이다. AudioCalculation 객체들은 오디오 그래프 처리 요소들 중 연관된 것들의 각각의 설정을 변경하기 위해 사용된다. 일반적으로 AudioCalculation 실행 주기는 오디오 그래프 렌더링 방법보다 훨씬 길다(간혹 적다).
오디오 전송 버스는 통상적으로 스트림을 기록하고 기록된 스트림을 재생하는 능력을 갖는다. 일반적으로 원래의 오디오 스트림이 기록됨으로써, 재생 중에 혼합물이 보는 사람의 관점에 따라 다시 렌더링될 수 있다. 일부 실시예는 원래의 오디오 스트림 모두를 수신하는 허브를 포함한다. 이러한 실시예에서, 허브는 통상적으로 세션의 기록을 다룬다. 세션을 다시 렌더링하는 것이 바람직하지 않다면, 오디오 전송 버스는 통상적으로 클라이언트 네트워크 노드에서 오디오 스트림을 기록만 한다.
AudioSource 객체는 모드 오디오 소스들에 대한 기초가 된다. 이러한 객체는 폴링될 때 데이터를 전달하고, 원하는 대기 시간과 채널을 정한다(예를 들면, 단음, 스테레오, 5.1). 도출된 객체들은 마이크(Microphone), 매체 스트림(MediaStream), 클립(Clip), 웨이브 파일(WaveFile), DirectX 오디오, 및 혼합(Mix) 플러그인들의 출력측을 포함한다.
AudioSink 객체는 오디오 출력 장치들에 대한 기본 객체이다. 이러한 객체는 폴링될 때 AudioSource에게 데이터를 요청한다. 도출된 객체들은 Speaker, MediaStream, 및 Mix 플러그인들의 입력 측을 포함한다.
(i) 오디오 플러그인 API
일부 실시예에서, 오디오 플러그인들은 스타인버그 미디어 테크놀러지(Steinberg Media Technologies GmbH)로부터 구입가능한 VST 오디오 효과 C++ 객체들을 병합한다. 특히, 오디오 플러그인들은 플러그인으로 래핑된 VST 객체들을 병합한다. 심 라이브러리는 VST 객체를 오디오 플러그인으로 래핑하기 위해 제공된다. 이러한 래퍼(wrapper)는 오디오 플러그인 API를 공급한다. VST 객체들의 API는 오디오 플러그인 클래스-특화된 API로 사용될 것이다. 이러한 API는:
Figure 112011051466817-pct00056
이러한 실시예에서, VST 플러그인은 오디오 소스(AudioSource) 및 오디오 싱크(AudioSink)로 래핑된다. 예를 들어, AudioSource::Frame(data&, size) 호는 선행하는 AudioSource::Frame(data&, size&)에 대한 호로서 구현될 것이고, 뒤이어 setupProcessing(process) 및 process(data&)가 이어질 것이다. Configuration(latency&, channelLayout&) 호는 각각의 지원 채널에 대한 getLatencySamples() 및 getBusArrangements(output, i, channelLayout&)의 형태로 구현된다. 래퍼의 존재는 기존의 VST 플러그인을 오디오 버스 내에 삽입하기 위해서 VST 소스 코드가 필요하다는 것을 의미한다.
(ii) OpenAL
대부분의 오디오 처리 그래프 혼합 및 효과 요소들은 www.openal.org로부터 구입가능한 OpenAL 교차-플랫폼 오디오 API를 이용하여 실행된다. OpenAL 라이브러리는 최적의 특성을 구현하기 위해 이용가능한 사운드 카드의 최적의 특성을 이용하여 영역/구역 관리자 절에서 상기에 나열된 모든 파라미터들을 계산할 수 있다. 특히, OpenAL 소스(Sources), 청취자(Listeners), 및 프로그램 버퍼(program Buffers)는 음소거로부터 최종 혼합까지 오디오 그래프의 각 동작에 대해서 생성된다. 각각의 갱신이 일어나기 전에, 버퍼 파라미터들은 연산 플러그인에 따라서 수정된다.
일부 실시예에서, 글로벌 IP 솔루션 사(Global IP Solutions, Inc.)로부터 구입가능한 GIPS 컴포넌트화된 오디오 라이브러리는 스트림-처리 구성요소(삽입물)를 구현하기 위해 사용된다. GIPS 오디오 라이브러리는 직접적으로 다음의 오디오 플러그인들: 코덱(Codecs), 오차 은폐(Error Concealment), 지터 제어(Jitter control), 에코 및 잡음 제거(Echo and Noise cancellation), 자동 이득 제어(AGC), 및 묵음 검출(Silence detection)을 지원한다.
Figure 112011051466817-pct00057
Figure 112011051466817-pct00058
l. 로컬 스트림 소스
로컬 스트림 소스는 마이크, 녹음된 wav 파일 및 음악과 같은 로컬 음향 소스, 및 음향 기술 자원이다. 윈도즈(Windows®) 운영 체제 API가 이들 소스들 각각을 첨부하고 그들을 분배용 오디오 전송 버스에 제공하기 위해 사용된다. 각 소스는 AudioSource에서 도출된 클래스로 "래핑(wrapped)"된다. 소스 객체 래퍼(wrapper)는 정의가 수신될 때 생성된다(VI 절의 오디오 장치 SODA 정의 참조). DirectSound API들은 마이크, 클립, 스카이프 및 CD 음향을 위한 윈도즈(Windows®) 기반 컴퓨팅 시스템에서 사용된다. RTP 스트리밍은 단순히 UDP 소켓을 통해서 스트리밍 데이터(가령 오디오)를 전달하기 위해 사용되는 실시간 프로토콜(Real-Time Protocol: RTP) 서비스 중심의 AudioSource 래퍼이다. 인터넷을 통한 스트리밍 오디오는 웹-기반의 다운로드-후-재생(web-based download-and-play)을 지원하며 또한 마이크로소프트 미디어 서버 스트림도 지원한다.
Figure 112011051466817-pct00059
일부 실시예에서, 실시간 커널(260)은 가상 영역 기반 통신과 비-가상 영역 기반 통신(가령 스카이프(Skype) 및 VOIP 오디오)의 세션들에 대한 공급 및 믹싱을 지원한다. 이러한 실시예에서, 실시간 커널은 비-가상 영역 기반 통신을 차단하고 이들을 로컬 오디오 소스로 제공한다. 비-가상 영역 기반 통신 세션은 비-가상 영역 기반 통신 세션의 원래 오디오를 다른 클라이언트 네트워크 노드들과 공유할 책임이 있는 클라이언트 네트워크 노드 상의 통신자들 중 하나에 의해 개시된다. 호스팅 클라이언트 네트워크 노드는 또한 비-가상 영역 기반 통신 애플리케이션을 통해서 통신하는 통신자를 위한 가상 영역 통신 환경과 연관된 오디오를 혼합한다.
도 24는 사람들이 서로 다른 통신 애플리케이션들(가령 스카이프 및 VOIP)을 통해서 가상 영역 통신자들과 통신하도록 하는 컴퓨터 시스템(389)("시스템 2"로 표시됨)의 실시예를 도시한다. 도 24에서, 오디오 통신 채널들이 가상 영역을 공유하는 4개의 네트워크 노드들(즉, 시스템 1, 시스템 2, 시스템 3 및 시스템 4) 사이에 설정된다. 시스템 1은 가상 영역 기반 통신 애플리케이션을 구동하지 않는 클라이언트 네트워크 노드를 나타내며와, 그 대신 시스템 1은 대안적인 통신 애플리케이션(가령 스카이프)을 동작시키도록 구성된다. 시스템 2는 실시간 커널(260)의 실시예를 구동하는 통신자의 네트워크 노드를 나타내며, 이러한 실시간 커널(260)은 시스템 1과의 가상 영역 기반 세션을 공급 및 혼합하는 스트림 핸들러(391)를 포함한다. 이러한 과정에서, 스트림 핸들러(391)는 시스템 1의 재생 및 오디오 캡처 스트림을 가상화하는 통합 구성요소(393)를 사용한다. 시스템 3 및 4는 가상 영역 기반 통신 애플리케이션을 구동하는 두 개의 다른 클라이언트 단말을 나타낸다. 도 24에 도시된 시스템의 구성 요소들은:
Figure 112011051466817-pct00060
다음의 오디오 그래프 처리 요소들로 구성되는 스트림 핸들러(391):
o 통합 구성요소(393)는 대체 재생 및 캡쳐 스트림을 가상화한다. 이러한 과정에서, 통합 구성요소(393)는 Microphone(Mic) 1을 가 상화된 대체 재생(Alternate Playback)으로부터 수신된 C 스플릿 (Split) 1로 전송하고, 마이크 2, 3 및 4 혼합물을 P 믹스(Mix)로부터 수신하고, 이를 시스템 1로의 전송을 위한 가상화된 대체 캡처로 전송 한다.
o C Split 1은 Microphone 1을 통합 구성요소(393)로부터 수신하고 마 이크 1을 P 루트(Route) 및 I/O 다중화기/역다중화기(Multiplexer/ Demultiplexer) 양쪽으로 전송한다.
o C Split 2는 시스템 2 캡처로부터 Microphone 1을 수신하고 Microphone 2를 P 믹스 및 I/O 다중화기/역다중화기로 전송한다.
o P 루트는 C Split 1으로부터 Microphone 1을 수신하고, I/O 다중화 기/역다중화기로부터 Microphones 2 및 3을 수신한다. P 루트는 또한 Microphones 1, 3 및 4를 시스템 2 Playback으로 전송하고, Microphones 3 및 4를 P Mix로 전송한다.
o P Mix는 Microphone 2를 C Split 2로부터 수신하고, Microphones 3 및 4 를 P 루트로부터 수신하고, Microphones 2, 3 및 4의 혼합물을 가상화 전송을 위한 스트림 핸들러(391)로 전송한다.
Figure 112011051466817-pct00061
C: 가상 영역 기반 통신 애플리케이션에 의한 오디오 캡처(Audio Capture)
Figure 112011051466817-pct00062
P: 가상 영역 기반 통신 애플리케이션에 의한 오디오 재생(Audio Playback)
Figure 112011051466817-pct00063
CA: 시스템 1의 대안 오디오 애플리케이션에 의한 오디오 캡쳐
Figure 112011051466817-pct00064
PA: 시스템 2의 대안 오디오 애플리케이션에 의한 오디오 재생
Figure 112011051466817-pct00065
V Mic: 시스템 2의 대체 오디오와 연관된 가상 마이크
Figure 112011051466817-pct00066
V Spkr: 시스템 2의 대체 오디오와 연관된 가상 스피커(들)
컴퓨터 시스템(389)의 동작에서, I/O 다중화기/역다중화기는 시스템 1 및 2로부터 수신된 오디오 신호 1 및 2를 시스템 3 및 4 양쪽으로 송신한다. I/O 다중화기/역다중화기는 또한 시스템 3 및 4에서 수신된 오디오 신호 3 및 4를 스트림 핸들러(391)의 P 루트 구성요소로 송신한다. P 루트 구성요소는 오디오 신호 1, 3, 4를 시스템 2의 재생 구성요소로 송신하고 오디오 신호 3 및 4를 시스템 2의 P 믹스 구성요소로 전달한다. 스트림 핸들러(391)의 P 믹스 구성 요소는 오디오 신호들 2, 3, 4를 혼합하고, 혼합된 신호를 시스템 2의 통합 구성요소로 전달한다. 통합 구성요소(393)는 혼합된 신호를, 시스템 2에서 구동되며 시스템 1에서 사용되는 통신 애플리케이션(395)(가령 스카이프)에 대응하는 대안적인 통신 애플리케이션(가령 스카이프)의 오디오 캡처 구성 요소로 전달한다. 대안적인 오디오 캡처 시스템(CA)은 캡처된 혼합 신호 2+3+4를 시스템 1에서 구동되는 대안적인 통신 애플리케이션(395)의 재생 구성 요소로 전달한다.
통신 기반구조(389)의 일부 실시예에서, P Mix는 시스템이 보다 대칭적이 되도록 I/O 다중화기/역다중화기를 직접 신청한다. 이러한 실시예에서, P Route는 P Mix 1이 되며, I/O로부터 3, 4를 수신하고 C Split 1으로부터 1을 수신한다. 이들은 독립적인 채널로서 전송되기 때문에, C Split 1의 출력은 재생(Playback) 구성요소로 직접 전송될 수 있지만, 그것은 그다지 유연하지는 않다(P Mix가 독립적인 채널들의 창구 대신에 실제 혼합을 수행할 수 있기 때문이며, 하기의 3 참조). 이러한 경우, P Mix는 P Mix 2가 되며, I/O로부터 3, 4를 수신하고 C Split 2로부터 2를 수신한다. 대안적인 오디오 시스템은 단일 채널 통신 시스템이기 때문에 이러한 믹서의 출력은 진정한 혼합물이 된다(채널이 스테레오라고 하더라도, 다수의 소스들로부터 수신된 신호를 조합하기 위해 다른 종단에는 멀티-트랙 믹서가 없다).
도 24는 시스템들 3 과 4 서로 간의 상호작용을 도시하지 않으며, 단지 시스템 2, 더 나아가 시스템 1과의 상호작용만이 도시된다. 전술한 바와 같이, 시스템들 3 과 4 사이의 상호작용은 P2P 이거나 서버 중재 상호작용일 수 있다.
도 24에서, 두 개의 스트림이 콤마(comma)로 경계가 정해질 때는 언제든지(다중채널 루트라는 것을 의미함), 시스템은 내부 통신 자원(가령 I/O 다중화기/역다중화기의 출력)을 보존하기 위해 혼합된 스트림을 전송할 수 있다. 혼합될 스트림은 플러스 부호로 표시된다(즉, 통합 구성요소(393)에 의해 대체 캡쳐 구성요소(CA)로 전송된 가상화된 마이크 신호).
m. 실시간 스케줄러
Figure 112011051466817-pct00067
일부 실시예에서, 실시간 스케줄러 서비스(278)는 윈도즈(Windows®) 서비스 DLL이다.
일부 실시예에서, 오디오와 3D 장면의 렌더링은 프레임 단위로 수행된다. 초기에, 스트림이 시작되며, 시간 지연 후에, 실시간 스케줄러 서비스(278)는 첫 번째 프레임의 처리를 시작한다. 지연은 각 오디오 및 비디오 처리 체인의 요구 대기시간을 합한 것에 의해 조정된다. 실시간 스케줄러 서비스(278)는 이전에 준비된 프레임의 소비를 개시하고, 이후에 50 밀리초(miliseconds)의 주기를 가진 시간에 정확히 다음 프레임을 처리한다.
각 체인에서의 최종 렌더링 객체는 실시간 스케줄러 서비스(278)에 등록된다. 객체들은 SoFrameRenderer 클래스로부터 도출되며, 이러한 클래스는 다음의 방법을 포함한다.
FrameRender(timeFrameMs)
이러한 방법은 렌더링 체인(오디오 및 비디오)에 특정된 데이터 소스들로부터, 표시된 시간을 위해서 하나의 프레임을 준비한다. SoFrameRenderer 클래스는 다음과 같은 다른 방법을 포함한다.
FrameDeliver()
이러한 방법은 이전에 준비된 프레임을 렌더링 체인에 특정된 최종 목적지에 전달한다. SoFrameRenderer 객체들은 하나 이상의 완전한 프레임을 버퍼링할 수 있도록 요구되지 않는다. 실시간 스케줄러 서비스(278)는 예정된 대로 이전에 준비된 프레임을 프레임-전달(FrameDeliver)할 것이며, 이후에 다음 구간을 위해 프레임을 준비하기 위해 FrameRender를 호출할 것이다.
윈도즈(Windows®) 운영 체제는 "경성 스케쥴링(hard scheduling)" 능력을 갖지 않는다. 일부 실시예에서, 실시간 스케줄러 서비스(278)는 오디오 프로세서, 그래픽 프로세서, 물리적 모델링 및 스크립트를 포함하는 하나 이상의 SoFrameRenderer 클래스를 호출하도록 구성된다. SoFrameRenderer 클래스는 클라이언트 네트워크 노드가 목표 처리 레벨에 따를 수 없다는 결정에 응답하여, 실시간 스케줄러 서비스(278)가 프레임 처리를 재조정할 수 있도록 한다. 일부 실시예에서, 실시간 스케줄러(278)는 도 13 및 14와 연계하여 전술한 방법들 중 하나 이상을 구현한다. 이러한 실시예들 중 일부에서, 실시간 스케줄러 서비스(278)는 모든 프레임에 대한 렌더링 시간을 측정하고, SODA 인터페이스를 통해서 통계를 활용할 수 있도록 한다. 통계가 범위를 벗어난다면(예를 들면, 프레임을 준비하는데에 너무 오래 걸린다면), 로그 이벤트가 발생된다. 프레임을 건너뛰거나, 범위를 벗어난 렌더링 체인(통상적으로 하드웨어 또는 네트워크 오차로 인해 범위를 벗어나는 렌더링 체인)을 탈락시키거나, 또는 낮은 우선순위의 렌더링 체인(들)을 탈락시킴으로써 체험적인 방식이 시동될 것이다. 우선순위-기반 스케줄링을 구현하기 위해서, SoFrameRenderer 클래스는 다음의 방법을 정의한다:
FramePriority()
이러한 방법은 낮은 숫자가 가장 중요함을 나타내도록 수를 반환한다. 체험적인 방법은 체인들의 대기시간 및 우선순위를 토대로 총 우선순위에 가장 영향을 주지 않으면서 최고의 이득을 얻기 위해서 어떠한 체인(들)이 탈락되어야 하는지를 결정할 수 있다.
일부 실시예에서, 실시간 스케줄러 서비스(278)는 부가적으로 체인 내에서 단계를 탈락시킬 수 있다. 이를 위해, 실시간 스케줄러 서비스(278)는 다음의 방법을 호출할 수 있다:
Latency=FramePrune(priority)
여기에서 처리 체인은 표시된 우선순위보다 낮은 "링크를 탈락"시킬 책임이 있다. 실시간 스케줄러 서비스(278)는 최고 우선순위에서 호출을 시작할 수 있고, 원하는 총 대기시간 내에서 모든 프레임이 렌더링될 때까지 역으로 카운트할 수 있다. 낮은 우선순위 체인을 반복적으로 탈락시키고 체인들 자체를 제거하는 조합 체험 방식은 통상적으로 어떤 우선순위 레벨에서 종료된다. 우선 순위레벨이 임계치보다 낮으면, 로그 엔트리가 생성될 수 있고, 어떤 경우에는 세션이 폐쇄된다.
실시간 스케줄러 서비스(278)는 또한 네트워크에서 클라이언트 네트워크 노드 클럭을 다른 클라이언트 네트워크 노드들의 클럭과 동기시키기 위해 SIS 시간 서비스(네트워크 자원)에 대한 인터페이스를 관리하는 책임이 있다. 일부 실시예에서 시간 서비스들은 하기에서 기술하는 바와 같이 플러그인에 의해 구현된다.
7. 결함 복구
실시간 커널(260)은 네트워크와 서버 결함이 있을 때 계속 동작하도록 최선의 노력으로 시도한다. 이러한 과정에서, 실시간 커널(260)은 2단 결함 복구 알고리즘을 구현한다. 첫 번째, SODA 채널 서비스(270)와 매체 서비스(271)는 결함 시 접속 재설정을 독립적으로 시도한다. 매체 복구는 각각의 오디오 채널 결함이 있을 때 협의가 계속되거나, NAT 타임아웃의 경우에 복구되도록 할 것이다. 두 번째, SODA 채널 서비스(270)와 매체 서비스(271)가 접속 재설정에 실패하면, 그들의 클라이언트에게 실패를 알릴 것이다. 일부 실시예에서, 다수의 통신자들이 동시에 복구를 시도하는 동작은 복구 시도를 동기시킬 수 있는 영역 저장 서버와의 클라이언트 노드 세션을 등록함으로써 조정된다.
일부 실시예에서, 영역/구역 관리자(264)는 또한 서버 결함의 경우 복구를 시도한다. 영역/구역 관리자(264)는 스트림 결함을 처리하고 이후에 세션을 분해하고 그 세션을 다른 영역 서버에서 재개한다.
8. 플러그인
일부 실시예에서, 실시간 커널(260)은 개발자들로 하여금 실시간 커널(260)의 구성요소들을 독립적으로 개발하고 원격으로 추가 및 갱신하도록 하는, 컴포넌트화되고 개방된 플랫폼-독립 구조를 갖는다.
a. 플러그인 설계
플러그인들은 플러그인 서버로부터 다운로드된 플랫폼-특화된 이진 영상들이다. 윈도즈(Windows®) 기반 컴퓨터 시스템 상에서 플러그인은 DLL들(가령, .NET 또는 COM 형식 플러그인들)로 구현된다. 플러그인은 그들이 로딩되는 방식에서일지라도 일반적인 동적 링크 라이브러리들과는 다르다. 특히, 로딩 중에, 플러그인 라이브러리와 링크될 필요가 없고, 소프트웨어 코드에 대한 어떠한 편집의 필요성도 없다. 대신, 플러그인 관리자(266)는 플러그인 디렉토리에 포함된 플러그인들을 단순히 로딩한다. 이런 식으로, 플러그인들은 스테이션의 어떤 추가적인 구성(가령 레지스트리 엔트리)을 필요로 하지 않고, 실행가능한 것들을 간단히 다운로드하거나 삭제함으로써 클라이언트 네트워크 노드로부터 추가되거나 제거될 수 있다. 플러그인은 바람직하게 정의되는 방식으로 각 플러그인 호스트에 접속된다.
도 25에 도시된 바와 같이, 플러그인(392)의 활성 인스턴스는 각각의 플러그인 기본 클래스(396)로부터 차례로 도출되는 각 플러그인 변형 클래스(394)로부터 도출된다. 일부 실시예에서, 플러그인 인스턴스(392)는 기본 플러그인 객체를 생성하고 그 기본 플러그인 객체를 상속을 통해 식별된 변형자에 제공함으로써 인스턴트화된다. 각 기본 클래스(396)와 변형 클래스(394)는 인터페이스를 구현한다는 것을 선언함으로써 서비스를 제공한다는 것을 알린다.
도 26은 플러그인 기본 클래스(398, 400)의 예시적인 세트를 도시하며, 이들 각각은 하나 이상의 도출된 변형 클래스들(402, 404 및 406, 408)의 각 세트와 연관된다. 플러그인 기본 클래스(398, 400)의 각각은 특정 범주의 기능을 정의하는 반면 각 플러그인 변형 클래스는 대응하는 기본 클래스 기능에 대한 특정 목적 또는 범주의 행위를 정의한다(가령, API = 휴먼 인터페이스 장치, 변형자(Variant) = 마우스). 플러그인들은 통상적으로 헤더 파일을 이용하여 인터페이스, 인터페이스 함수의 함수 표준 및 인터페이스 함수를 호출하기 위한 매크로를 정의한다.
플러그인들은 사람이 판독가능한 명칭 뿐만 아니라, GUID에 의해 식별된다. 하나의 플러그인은 동일한 API 상에 다수의 변형자 뿐만 아니라, 지원되는 다수의 API들을 가질 수 있다. 일부 실시예에서, 플러그인 API는 인터페이스에 의해 정의된 서비스를 구현하는 플러그인 함수에 대한 함수 포인터를 포함하는 C 언어 데이터 구조이다.
다음의 표는 guidPhysicsSet1로 식별되는 가상의 물리적 플러그인의 예를 도시한다.
Figure 112011051466817-pct00068
이러한 예에는, "관절(Joint)" API의 네 개의 변형자와 "충돌 감지(Collision Detection)" API의 두 개의 변형자가 존재한다. 파일명(file name)은 파일 시스템에 플러그인이 저장되는 이름이다. 내부명(Internal Name)은 전체적으로 플러그인을 설명하고자 하는 것이다. 식별자(Identifier)는 전체적인 플러그인 이진 영상을 식별하는 것이며, 플러그인 관리자(266)에 의해서만 사용된다. API는 플러그인에 의해 지원되는 절차상의 API를 특정하는 주지의 GUID이다. 변형자(Variant)는 특수한 목적을 위해 플러그인을 선택하기 위해서 클라이언트 애플리케이션이 사용할 수 있는 주지의 GUID이다. 예를 들어, SODA 채널 서비스(270)는 세션에서의 사용을 위해 압축 플러그인 변형자를 결정할 수 있다.
도 27은 Microsoft®COM(구성요소 객체 모델) 구조와 호환될 수 있는 플러그인(410)의 예시적 구조를 도시한다. 플러그인(410)은 진입점 함수들(412), 제 1 및 제 2 변형자(416, 418)를 포함하는 제 1 API 클래스(414), 및 제 2 API 클래스(420)의 세트를 포함한다. 플러그인(410)은 지원되는 모든 API 클래스들(414, 420)과 각 API 클래스 내의 모든 변형자에 존재하는 모든 함수를 구현한다. 각 API클래스와 API 클래스 내의 각 변형자는 각 진입점 함수("팩토리"로도 지칭됨)와 연관된다. 플러그인(410)이 로딩되면, 각 진입점 함수는 지원되는 API 클래스 각각에 대해서 플러그인 호스트에 등록된다. 플러그인 호스트는 API 클래스를 인스턴스화하고 그 lUnknown 인터페이스에 대한 포인터를 얻기 위해 API 클래스와 연관된 진입점 함수를 이용한다. 플러그인 호스트는 API 클래스에 의해 지원되는 변형자의 진입점 함수를 탐색하기 위해 lUnknown 인터페이스를 이용한다. 플러그인 호스트는 변형자를 인스턴스화하고 그 lUnknown 인터페이스에 대한 포인터를 얻기 위해 변형자와 연관된 진입점 함수를 이용한다. 플러그인 호스트는 변형자에게 그 인터페이스 함수 테이블에 대해서 질의하기 위해 lUnknown 인터페이스를 이용한다. 함수 테이블은 변형자의 API 구현에 대한 호스트 접근을 허가한다.
각 플러그인 실행가능물은 플러그인 관리자(266)가 플러그인을 관리하도록 하는 코어 플러그인 API를 지원한다. 코어 플러그인 API는 플러그인 실행가능물이자가 기술하도록 한다(self-describing). 특히, 각 플러그인은 플러그인이 자체를 등록하도록 플러그인 관리자(266)에 의해 호출될 수 있는 함수를 이출한다. 일부 실시예에서, 각 플러그인 실행가능물은 다음과 같은 코어 플러그인 API를 이출한다:
Figure 112011051466817-pct00069
(i) 플러그인 변형자
플러그인 변형자의 활성 인스턴스가 클래스 PlugInVariant로부터 도출된다. 이들은 항상 플러그인 객체를 이용하여 생성된다. 모든 유용한 플러그인들은 API-특화된 방법을 포함하도록 이러한 클래스를 확장한다. 가장 일반적인 방법은 포괄 구성 방법이다.
Figure 112011051466817-pct00070
(ii) 플러그인 관리자
도 28은 플러그인 관리자(266), 플러그인 컨테이너들(424)의 세트를 포함하는 플러그인 디렉토리(422), 플러그인 데이터베이스(426) 및 호출자(428)를 포함하는 플러그인 구조의 실시예를 도시한다. 플러그인 관리자(266)는 플러그인 디렉토리(422)의 플러그인 컨테이너들(424)에게 질의하고, 플러그인을 플러그인 데이터베이스(426)에 등록하고, 이용가능한 플러그인에 관한 정보를 전송 및 특정된 플러그인 변형자를 인스턴스화하기 위해서 호출자(428)로부터의 API 요청에 응답한다. 호출자(428)는 일반적으로 커널 구성요소(가령 설치 로더 구성요소, 접속 및 서버 혼합 관리자(262) 및 영역/구역 관리자(264)와 같은 커널 관리자, 및 커널 서비스)이다와, 그러나, 일부 실시예에서, 호출자(428)는 클라이언트 노드 또는 원격 네트워크 노드(가령 서버) 상에서 구동되는 소프트웨어 애플리케이션 또는 서비스에 해당할 수 있다.
도 29는 클라이언트 네트워크 노드에서 이용가능한 플러그인을 등록하는 과정에서 플러그인 관리자(266)에 의해 구현되는 방법의 실시예를 도시한다.
도 29의 방법에 따르면, 플러그인 관리자(266)는 클라이언트 네트워크 노드에서 이용가능한 플러그인들을 발견한다(도 29의 블록(430)). 일부 실시예에서, 모든 플러그인들은 클라이언트 네트워크 노드의 파일 시스템에서 생성된 공유 플러그인 디렉토리에 저정된다. 이러한 실시예에서, 플러그인 관리자(266)는 공유 플러그인 디렉토리를 검사함으로써 이용가능한 플러그인들을 발견한다. 다른 실시예에서, 플러그인 관리자(266)는 이용가능한 플러그인이 있는지 다른 파일 위치를 검사하도록 구성될 수 있다.
플러그인 관리자(266)는 발견된 플러그인에게 그들이 지원하는 모든 API에 대해서 질의한다(도 29의 블록(432)). 이러한 과정에서, 플러그인 관리자(266)는 이용가능한 플러그인들과 연관된 파라미터 값들을 열거하기 위해 코어 API를 호출한다. 예를 들어, 플러그인 관리자(266)는 플러그인의 GUID, 지원되는 API의 GUID 및 주어진 API에 대한 지원된 변형자의 GUID를 반환하는 코어 API 호를 이용하여 플러그인에 질의한다.
질의의 결과를 토대로, 플러그인 관리자(266)는 플러그인과 그들이 각각 지원하는 API 간의 연관성을 플러그인 데이터베이스(426)에 저장한다(도 29의 블록(434)). 이러한 과정에서, 플러그인 관리자(266)는 디렉토리(422)에 존재하는 모든 플러그인을 그 플러그인이 지원하는 API들에 의해 분류한다. 플러그인 관리자(266)는 모든 지원된 API 하에 플러그인을 플러그인 데이터베이스(426)로 자동으로 입력한다. 이러한 방식으로, 플러그인 데이터베이스(426)는 동일한 API를 가진 플러그인들이 변형자에 대해서 질의되도록 한다. 부가적으로, 플러그인 데이터베이스(426)에 존재하는 플러그인들은 API와 변형자, 및 가상 영역 애플리케이션에 의해 참조될 때 생성되는 인스턴스들에 의해 열거될 수 있다. 도 30은 플러그인 데이터베이스(436)의 예시적 실시예를 도시한다.
플러그인 관리자는 다음의 API를 이출한다:
Figure 112011051466817-pct00071
도 31은 호출자(428)로부터 API 호를 수신하는 것에 응답하여 플러그인 관리자(266)에 의해 구현되는 방법의 실시예를 도시한다. 이러한 방법에 따르면, API들 중 특정된 하나를 지원하는 모든 플러그인들을 나열하기 위한 호의 수신에 응답하여(도 31의 블록(440)), 플러그인 관리자(266)은 플러그인 데이터베이스에서 특정된 API와 연관되는 모든 플러그인들의 식별자를 포함하는 리스트를 반환한다(도 31의 블록(442)). 플러그인들 중 식별된 하나에 의해 지원되는 API들 중 식별된 API의 변형자를 나열하기 위한 호의 수신에 응답하여(도 31의 블록(444)), 플러그인 관리자(266)는 식별된 플러그인에 의해 지원되는 주어진 API의 모든 변형자의 식별자를 포함하는 리스트를 반환한다(도 31의 블록(446)). 플러그인 중 식별된 하나에 의해 지원되는 API들 중 식별된 API의 변형자 중 식별된 변형자를 인스턴스화하기 위한 호의 수신에 응답하여(도 31의 블록(448)), 플러그인 관리자(266)는 식별된 플러그인을 로딩하고 식별된 변형자의 인스턴스에 대한 포인터를 반환한다(도 31의 블록(450)). 이러한 과정에서, 특정된 변형자가 위치하고, 특정된 변형자는 호출자의 주소 공간에 로딩되며, 포인터의 내부 테이블에는 API에 의해 정의된 서비스를 구현하는 변형 함수들의 함수 테이블 주소가 위치하게 된다.
(iii) 플러그인 서버
플러그인들은 각각의 지원된 플랫폼에 대해 적절한 다운로드가능 형식으로 서버에 존재한다. 서버들은 암호화, 압축 및 인증 플러그인들의 최소한의 세트를 지원하기 때문에, 클라이언트 네트워크 노드는 서버 접속을 시도할 때 항상 성공한다.
제 3 개발자에 의해 서버에 처음 등록되면, 플러그인은 API 사양과 일치한다는 것을 보장하기 위해 자동화 툴에 의해 검사되며, 허용할 수 없는 클라이언트 스테이션 API 참조가 있는지 검사된다. 예를 들어, 어떠한 동적 결합도 플러그인 환경에서 준비되지 않은 임의의 고유의 인터페이스에 허용되지 않는다. 이후에, 플러그인은 바이러스가 있는지 조사된다. 따라서, 서버 상의 모든 영상은 바이러스로부터 안전하다.
플러그인들은 사용자를 인증함으로써 접근 제어된다. 이러한 방식으로, 접근에 대한 대가를 치른 사용자는 어떤 위치에서든 플러그인을 사용할 수 있다. 일부 실시예에서, 사용자는 전자 상거래 엔진을 통해서 플러그인 다운로드를 위해 인증된다.
b. 플러그인의 클래스
모든 플러그인들은 플러그인 API를 따른다. 일부 플러그인은 어떤 툴(예를 들어 OpenGL)에 특정되어 자체적인 표준을 갖는다. 플러그인의 각 클래스는 클래스-특화된 API들을 갖는다. 일부 실시예에서, 플러그인들은 모든 클라이언트 스테이션 접근을 위한 고유의 애플리케이션 실행시간에 의존한다. 플러그인이 사용되는 각각의 구성요소에서, 프로토콜은 GUID 명칭공간을 이용하여 특성의 결정을 가능하게 한다. 예를 들어, 일부 실시예에서, 네트워크 스트림을 접속할 때, 제공하는 클라이언트 네트워크 노드는 기호(preference) 순으로 그 암호화 플러그인 GUID 리스트를 제공하며, 수신하는 네트워크 노드는 제공된 것들 중에서 선택하도록 하며 선택 또는 거절로써 응답한다.
일부 예시적인 실시예에서, 플러그인들의 다음과 같은 클래스들이 정의되며 가상 영역 통신자 환경을 생성하는데에 사용하기 위한 플러그인을 개발하기 위해 개발자들에 의해 사용된다.
Figure 112011051466817-pct00072
암호화 알고리즘
Figure 112011051466817-pct00073
압축 알고리즘
Figure 112011051466817-pct00074
인증 알고리즘
Figure 112011051466817-pct00075
보증서
Figure 112011051466817-pct00076
그래픽 효과
Figure 112011051466817-pct00077
물리 확장
Figure 112011051466817-pct00078
스크립트 확장
Figure 112011051466817-pct00079
입력 장치 호스팅
Figure 112011051466817-pct00080
오디오 믹스
Figure 112011051466817-pct00081
오디오 소스
Figure 112011051466817-pct00082
오디오 삽입
Figure 112011051466817-pct00083
스트림 전송
Figure 112011051466817-pct00084
시간 서비스
이러한 플러그인 클래스들은 다음 단락에서 정의된다.
암호화 알고리즘
암호화는 스트림 전송 특성이며, 스트림 생성 시간에 결정된다. 세션 정의는 암호화 변형자 ID를 포함할 것이다. 예시적인 암호화 변형자는 AES와 RC4 블록 암호화를 포함한다.
압축 알고리즘
압축은 선택적인 채널 컨텐츠 특성이다. 채널은 전송 수단이 채널 정의를 결정할 때 압축을 선택한다. 신청 스테이션은 이용가능한 압축 선택사항을 제공하고 게시 스테이션은 게시이 제안될 때 자신의 선택을 표시한다. 오디오 코덱은 그들의 컨텐츠가 이미 압축된 것이기 때문에 압축을 생략하도록 선택할 수 있다. 예시적인 오디오 압축 플러그인 변형자는 ITU-T V.44 압축 프로세스를 채널-특화된 예비 스트림으로 구현할 수 있다.
인증 알고리즘
네트워크 기반구조 서버들은 접속을 위해서 일정한 인증 프로토콜을 필요로 한다. 제 3자 서버는 특정 인증 요건을 가질 수 있다. 인증 프로토콜은 경우에 따라서 보정될 수 있다. 코어 플러그인 API 외에도, 인증 플러그인은 인증 프로토콜을 실행하고 로컬 보증서에 접근하기 위한 API들을 갖는다. 예시적인 인증 플러그인 변형자는, 초기 서버를 위한 SSL 형태의 인증을 지원하고 서명된 ID를 토큰으로 사용하여 다음 번의 서버 로그인을 지원하는 플러그인 변형자를 포함한다.
보증서
보증서들은 인증 알고리즘에 의한 저장 및 사용을 위해 플러그인에서 생성될 수 있고 캡슐화되어야 한다. 예시적인 보증서들은 공개 키를 포함하는 인증서이다.
그래픽 효과
OpenGL 및 Collada는 스크립트 가능한 셰이더(shaders), 샘플러, 프로파일 및 주석을 지원한다. 일부 실시예들은 셰이더인 Collada cg_surface_type 및 glsl_surface_type를 지원하고, 샘플러인 gl_samplerX and cg_samplerX를 지원한다.
물리 확장
일부 실시예에서, 공개 동역학 엔진(Open Dynamics Engine: ODE)은 특정 훅(hook)을 동적 행위 루프 내에 포함시키도록 수정된다. 가상 영역 애플리케이션은 통상적으로 물리적 특성을 장면 그래프에 있는 개체에 적용함으로써 물리적 현상을 특정한다. 물리 확장 플러그인은 그 플러그인에 의해 처리되는 연관 특성 GUID(들)을 질의하기 위한 API를 갖는다. 이러한 방식으로, 물리 플러그인들은 단지 관련된 객체들과 가상 영역에 대해서 호출된다. 일부 실시예들은 모델의 관절인 Colloda rigid_constraint 및 아바타와 인공물을 위한 전역 움직임 알고리즘인 OpenGL 충돌 검출을 지원한다.
스크립트 확장
스크립트 확장 플러그인들은 부가적인 API를 구비하여 스크립팅 실행 시간(가령 자바(Java) 및 자바 스크립트(JavaScript))을 래핑(wrapping)하는 것을 허용하며 그 API에 고유의 애플리케이션 실행 시간을 제공하도록 한다. 스크립트들은 스크립트 확장 플러그인의 GUID를 포함하는 SODA 레코드를 통해서 정의된다.
입력 장치 호스팅
입력 장치 플러그인들은 애플리케이션 로직에 의해 처리되는 표준 입력 이벤트(가령 컴퓨터 키보드, 컴퓨터 마우스, Xbox® 컨트롤러, 및 Wii® 컨트롤러에 의해 생성된 이벤트)에 대한 SODA 레코드를 생성한다.
오디오 믹스 , 오디오 소스 및 오디오 삽입
오디오 처리는 출발지(가령 마이크)에서 바람직하며 효과 및 믹싱은 목적지(가령 스피커)에서 바람직하다. 일반적으로 오디오 플러그인들은 오디오 네트워크 라우팅이 다른 사용자의 체험에 영향을 주기 때문에 이를 변경할 수 없다. 윈도즈(Windows®) 플랫폼의 오디오 플러그인은 오디오 플러그인 API에 부합되는 DLL이다. 이들은 실시간 커널(260)에 등록되며 SODA에 의한 참조에 이용될 수 있다. 가상 영역 개발자들은 가상 영역 애플리케이션의 일부로서 (가령 확장된 Collada 필드 또는 VSDL 의미론을 이용하여) 오디오 플러그인을 요청할 수 있다.
아바타 스크립트도 마찬가지로 오디오 플러그인을 요청할 수 있다.
믹스 변형자는 에코, 에코 제거, 잔향 및 혼합물을 포함한다.
소스 변형자는 마이크, 클립, 미디어, 스카이프 및 스트리밍 파일을 포함한다.
삽입 변형자는 패너(panner), 볼륨, iLBC, RCU, iPCM-wb, 이퀄라이저, LPF, HPF, AGC, 잡음 제거, 오차 은폐, 지터 제어, 음소거, 지연, 묵음 검출, 통신 소음을 포함한다.
스트림 전송
STRAW는 네트워크 상에서 세션을 호스팅하기 위해 스트림 전송 플러그인을 사용한다. 스트림은 패킷들을 운반하며, 신뢰성, 인증 및 암호화를 제공한다.
시간 서비스
실시간 스케줄러(260)는 클라이언트 네트워크 노드들 사이에 시간을 동기시키는 것에 관여한다. 이러한 목적으로, 각 클라이언트 네트워크 노드는 SIS, 네크워크 시간 프로토콜(NTP), 또는 인터넷 시간 서비스(ITS)와 같은 인터넷 시간 표준에 동기될 것이다.
c. 플러그인 클래스 API
모든 플러그인 클래스 객체는 PluglnVariant를 기반으로 한다.
암호화 알고리즘
이러한 플러그인은 PluglnVariant를 기반으로 한다. 이는 키잉(keying)을 포함한 블록 암호화 알고리즘을 수행한다. 이러한 플러그인은 키를 제외하고는 상태가 보존되지 않는다. 즉, 각 암호화는 다른 것에 대해서 독립적이다.
Figure 112011051466817-pct00085
압축 알고리즘
이러한 플러그인은 PluglnVariant를 기반으로 한다. 이는 하나 이상의 무손실 압축/압축해제 알고리즘을 수행한다. 그 플러그인이 압축하는 것은 연속적인 스트림이며, 내부 상태 테이블을 보유할 수 있다. 알고리즘은 각 키 프레임(KeyFrame)에서 재개되며, 이는 방출되지 않지만 압축 상태에 기여하는 "시동(priming)" 블록을 처리하는 것을 포함한다.
Figure 112011051466817-pct00086
인증 알고리즘
이러한 플러그인은 PluglnVariant를 기반으로 한다. 이는 로컬 보증서에 접근하며, 하나 이상의 상태에 대한 클라이언트 인증 상태 머신을 구현한다. 인증 상태 머신은 인증 서버와의 통신 링크를 제어하지 "않는다". 이는 단지 메시지를 처리하고 다음 메시지들을 형성한다.
Figure 112011051466817-pct00087
보증서
이러한 플러그인은 PluglnVariant를 기반으로 한다. 이는 플랫폼-특화된 보증서 저장소에 접근한다.
Figure 112011051466817-pct00088
그래픽 효과 - 셰이더
이러한 플러그인은 PluglnVariant를 기반으로 한다. 이는 3D 렌더링에 영향을 준다.
셰이더(shader) API는 셰이더들(스크립트된 절차상 표면 발생기들)을 지원한다.
Figure 112011051466817-pct00089
그래픽 효과- 샘플러
샘플러 API는 PluglnVariant를 기반으로 한다. 이는 질감을 표면에 매핑하는 것을 지원한다.
Figure 112011051466817-pct00090
물리 확장-관절
이러한 플러그인은 PluglnVariant을 기반으로 한다. 이는 움직임의 역학을 확장한다.
관절 API는 아바타와 인공물의 하위 부품에 대한 관절 제약 및 역학을 지원한다.
Figure 112011051466817-pct00091
물리 확장-충돌
충돌 API는 PluglnVariant를 기반으로 한다. 이는 충돌 검출을 빠르게 계산하는 것을 지원한다. 일부 실시예에서, 충돌 플러그인 변형자는 공개 동역학 엔진(ODE)에서 4-트리 클래스 dxSpace 알고리즘을 구현할 수 있다.
Figure 112011051466817-pct00092
스크립트 확장
이러한 플러그인은 PluglnVariant을 기반으로 한다. 이는 가상 영역 애플리케이션에 의해 제공되는 코드의 실행을 지원한다. 이러한 코드는 이진 형태로 표현되며, 특정 코드 정의가 지원하는 언어 및 API에 의해 분류된다. 플러그인은 언어에 따라 변경된다. 플러그인은 특정 코드 정의를 로딩하고 그것을 호출하여 API에 적합한 고유 애플리케이션 실행시간 객체를 제공한다.
Figure 112011051466817-pct00093
입력 장치 호스팅
이러한 플러그인은 PluglnVariant를 기반으로 한다. 이는 (오디오가 아닌) 사용자 이벤트 캡처를 지원한다. 이는 마우스로부터 얼굴 인식 기능을 갖는 비디오 카메라까지의 모든 것을 포함한다. 플러그인은 사용자 이벤트를 큐에 생성한다.
Figure 112011051466817-pct00094
오디오 믹스
이러한 플러그인은 AudioComponent를 기반으로 한다. 이는 두 개의 오디오 스트림들을 합성한다.
Figure 112011051466817-pct00095
오디오 소스
이러한 플러그인은 AudioComponent를 기반으로 한다. 이는 폴링 가능한 오디오 스트림을 제공한다.
Figure 112011051466817-pct00096
오디오 삽입
이러한 플러그인은 AudioComponent를 기반으로 한다. 이는 오디오 스트림을 변환한다. 이는 스트림을 압축, 압축 해제 또는 단순히 수정할 수 있다.
Figure 112011051466817-pct00097
오디오 전송
이러한 플러그인은 AudioComponent를 기반으로 한다. 이는 오디오 스트림을 두 개의 동일한 스트림들로 나눈다(스트림을 복사함). 임의의 AudioSource는 어떤 다른 오디오 요소에 전송될 수 있다.
Figure 112011051466817-pct00098
스트림 전송( Stream Transport )
이러한 플러그인은 PluglnVariant를 기반으로 한다. 예시적인 스트림 전송 플러그인 변형자는 구성 가능한 인증 및 암호화로 IP UDP 전송을 지원한다.
Figure 112011051466817-pct00099
시간 서비스
이러한 플러그인은 PluglnVariant를 기반으로 한다. 이는 클라이언트 네트워크 노드 시간을 인터넷 표준과 동기시킨다.
Figure 112011051466817-pct00100
Vl. SODA 정의
세션
Figure 112011051466817-pct00101
세션 실패(SessionFailure)
Figure 112011051466817-pct00102
스테이션
Figure 112011051466817-pct00103
게시
Figure 112011051466817-pct00104
신청
Figure 112011051466817-pct00105
스트림 킵얼라이브(KeepAlive)
Figure 112011051466817-pct00106
스트림 실패(Failure)
Figure 112011051466817-pct00107
채널 결함(ChannelFailure)
Figure 112011051466817-pct00108
통신자 상태(CommunicantState)
Figure 112011051466817-pct00109
HID
Figure 112011051466817-pct00110
오디오 파라미터(AudioParameter)
Figure 112011051466817-pct00111
오디오 장치(AudioDevice)
Figure 112011051466817-pct00112
영역 세션(AreaSession)
Figure 112011051466817-pct00113
물리 검사점(PhysicsCheckpoint)
Figure 112011051466817-pct00114
구역(Zone)
Figure 112011051466817-pct00115
오디오 개구(AudioAperture)
Figure 112011051466817-pct00116
오디오 장애물(AudioObstruction)
Figure 112011051466817-pct00117
오디오 잔향(AudioReverb)
Figure 112011051466817-pct00118
오디오 믹스
Figure 112011051466817-pct00119
오디오 효과
Figure 112011051466817-pct00120
오디오 스트림(AudioStream)
오디오 연산(AudioCalculation)
Figure 112011051466817-pct00122
플러그인(Plugln)
Figure 112011051466817-pct00123
업그레이드 의존성 리스트(UpgradeDependencyList)
Figure 112011051466817-pct00124
업그레이드(Upgrade)
Figure 112011051466817-pct00125
오디오 레코드(AudioRecord)
Figure 112011051466817-pct00126
오디오 재생(AudioPlayback)
Figure 112011051466817-pct00127
네트워크 DNS(Network DNS)
Figure 112011051466817-pct00128
네트워크 프록시(NetworkProxy)
Figure 112011051466817-pct00129
디버그 정보(Debuglnfo)
Figure 112011051466817-pct00130
디버그 트랩(DebugTrap)
Figure 112011051466817-pct00131
HID
Figure 112011051466817-pct00132
VII. 결론
여기에서 설명된 실시예들은 각 네트워크 노드에서 동작하는 통신자들간 실시간 통신을 지원하는 실시간 커널을 제공한다. 실시간 커널은 통신자들, 가상 영역들 및 다른 네트워크 자원에 접속하고 사용자 입력에 응답하여 그들 접속을 스위칭하고, 실시간 데이터 스트림을 혼합하는 복잡한 태스크를 처리한다. 실시간 커널은 개발자가 저 레벨 측정 코드 대신, 고 레벨 통신 기능을 개발하는 것에 집중하도록 한다. 실시간 커널은 비교적 낮은 연산 자원 요건을 부과함으로써, 넓은 범위의 현재 이용가능한 컴퓨팅 장치들과 네트워크 접속을 이용하여 실시간 통신 수행이 달성될 수 있다.
다른 실시예들은 특허청구범위의 범위 내에 존재한다.

Claims (139)

  1. 적어도 하나의 서버 네트워크 노드에 의하여 구현된 네트워크 서비스(26)를 포함하며 하나 이상의 가상 영역(28)에서 사용자의 네트워크 노드(12)와 다른 통신자의 네트워크 노드(14) 사이의 실시간 통신을 지원하는 네트워크 통신 환경에서의 원격 제어형 실시간 데이터 스트림 처리 방법에 있어서,
    상기 네트워크 서비스(26)와의 세션을 확립하는 단계와,
    상기 네트워크 서비스(26)로부터 하나 이상의 스트림 처리 명령어를 수신하는 단계 - 상기 하나 이상의 스트림 처리 명령어는 적어도 하나의 실시간 데이터 스트림을 처리하기 위한 스트림 핸들러(22)의 사양(specification)을 포함함 - 와,
    상기 사양에 따라서 스트림 핸들러(22)를 생성하는 단계와,
    결과 데이터 스트림을 형성하는 단계 - 상기 형성 단계는 상기 생성된 스트림 핸들러(22)를 통해서 실시간 데이터 스트림을 처리하는 단계를 포함함 - 를 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  2. 제 1 항에 있어서,
    상기 형성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여,
    상기 하나 이상의 스트림 처리 명령어로 특정된 실시간 상태 정보로부터 구성 파라미터 값들(configuration parameter values)을 결정하는 단계와,
    상기 스트림 핸들러(22)를 상기 구성 파라미터 값들로 동적으로 구성하는 단계를 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  3. 제 1 항에 있어서,
    상기 생성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 하나 이상의 스트림 처리 명령어로 특정된 믹싱 함수로 상기 스트림 핸들러(22)를 구성하는 단계를 포함하고,
    상기 형성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 혼합된 실시간 데이터 스트림을 형성하기 위해 상기 믹싱 함수에 따라서 상기 실시간 데이터 스트림을 적어도 하나의 다른 실시간 데이터 스트림과 혼합하는 단계를 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  4. 제 1 항에 있어서,
    상기 생성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 하나 이상의 스트림 처리 명령어로 특정된 처리 객체들을 인스턴스화하고 상기 인스턴스화된 처리 객체들을 상기 사양에 따라 상기 스트림 핸들러(22)의 지시 그래프 구성요소(a directed graph component)로 조합하는(assembling) 단계를 포함하고,
    상기 처리 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 지시 그래프 구성요소를 통해서 상기 실시간 데이터 스트림을 처리하는 단계를 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  5. 제 4 항에 있어서,
    상기 형성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여,
    상기 하나 이상의 스트림 처리 명령어로 특정된 실시간 상태 정보로부터 상기 인스턴스화된 처리 객체들에 대한 구성 파라미터 값들을 결정하는 단계와,
    상기 처리 객체들을 상기 구성 파라미터 값들로 구성하는 단계를 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  6. 제 4 항에 있어서,
    상기 인스턴스화된 처리 객체들 중 적어도 하나는 적어도 부분적으로는 상기 결과 데이터 스트림에 기반하여 상기 사용자의 네트워크 노드(12)의 하드웨어 구성요소를 제어하는 드라이버 모듈에 각각의 호를 캡슐화하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  7. 제 1 항에 있어서,
    상기 하나 이상의 스트림 처리 명령어는 제 1 실시간 데이터 스트림과는 상이한 데이터 유형의 적어도 하나의 실시간 데이터 스트림을 처리하기 위한 제 2 스트림 핸들러(22)의 제 2 사양을 포함하고,
    상기 생성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 제 2 사양에 따라 제 2 스트림 핸들러(22)를 생성하는 단계를 포함하고,
    상기 형성 단계는 상기 제 2 스트림 핸들러(22)를 통해서 실시간 데이터 스트림을 처리하는 단계를 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  8. 제 1 항에 있어서,
    상기 사용자의 네트워크 노드(12)는 상기 하나 이상의 가상 영역(28) 중 하나의 특정 가상 영역 내의 제 1 객체와 연관되고,
    상기 방법은,
    상기 사용자 네트워크 노드(12)에 의하여, 상기 특정 가상 영역(28)의 제 2 객체와 연관된 상기 다른 통신자의 네트워크 노드 중의 제 1 노드(14)로부터 상기 실시간 데이터 스트림을 수신하는 단계를 더 포함하고,
    상기 하나 이상의 스트림 처리 명령어는 상기 특정 가상 영역(28)의 상기 제 1 객체 및 상기 제 2 객체의 각각의 위치를 기술하는 실시간 위치 정보를 포함하고,
    상기 형성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 실시간 위치 정보로부터 구성 파라미터 값들을 결정하고 상기 구성 파라미터 값들로 상기 스트림 핸들러(22)를 구성하는 단계를 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  9. 제 8 항에 있어서,
    상기 방법은,
    상기 사용자의 네트워크 노드(12)에 의하여, 상기 특정 가상 영역(28)의 제 3 객체와 연관된 상기 다른 통신자의 네트워크 노드 중 제 2 노드로부터 제 2 실시간 데이터 스트림을 수신하는 단계를 더 포함하고,
    상기 생성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 하나 이상의 스트림 처리 명령어로 특정된 믹싱 함수로 상기 스트림 핸들러(22)를 구성하는 단계를 포함하고,
    상기 형성 단계는 상기 믹싱 함수에 따라서 제 1 실시간 데이터 스트림과 상기 제 2 실시간 스트림을 결합하는 단계를 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  10. 제 8 항에 있어서,
    상기 하나 이상의 스트림 처리 명령어는 제 1 실시간 데이터 스트림과는 다른 데이터 유형의 적어도 하나의 실시간 데이터 스트림을 처리하기 위한 제 2 스트림 핸들러(22)의 제 2 사양을 포함하고,
    상기 방법은 상기 사용자의 네트워크 노드(12)에 의하여, 상기 제 3 원격 네트워크 노드로부터 제 2 실시간 데이터 스트림을 수신하는 단계를 더 포함하고,
    상기 생성 단계는 상기 사용자의 네트워크 노드(12)에 의하여, 상기 제 2 사양에 따라 제 2 스트림 핸들러(22)를 생성하는 단계를 포함하고,
    상기 형성 단계는 상기 구성 파라미터 값들 중 하나 이상에 따라서 상기 제 2 스트림 핸들러(22)를 구성하고 상기 제 2 스트림 핸들러(22)를 통해서 상기 제 1 실시간 데이터 스트림과 상기 제 2 실시간 데이터 스트림을 처리하는 단계를 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  11. 제 1 항에 있어서,
    상기 사용자의 네트워크 노드(12)는 상기 하나 이상의 가상 영역(28) 중 하나의 특정 가상 영역의 제 1 객체와 연관되고,
    상기 방법은,
    상기 사용자의 네트워크 노드(12)에 의하여, 상기 특정 가상 영역(28)의 제 2 객체와 연관된 상기 다른 통신자의 네트워크 노드 중 제 1 네트워크 노드(14)로부터 상기 실시간 데이터 스트림을 수신하는 단계를 더 포함하고,
    상기 하나 이상의 스트림 처리 명령어는 상기 특정 가상 영역(28)의 상기 제 1 객체 및 상기 제 2 객체의 각각의 위치를 기술하는 실시간 위치 정보를 포함하고,
    상기 생성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 하나 이상의 스트림 처리 명령어로 특정된 하나 이상의 객체 속성 처리 함수로 상기 스트림 핸들러(22)를 구성하는 단계를 포함하고,
    상기 형성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 실시간 위치 정보로부터 객체 구성 파라미터 값들을 결정하고 상기 결과 데이터 스트림을 형성하면서 상기 객체 구성 파라미터 값들로 상기 하나 이상의 객체 속성 처리 함수들을 동적으로 구성하는 단계를 포함하고,
    상기 형성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 적어도 부분적으로는 상기 결과 데이터 스트림에 기반하여 상기 가상 영역(28)의 상기 제 1 객체 및 상기 제 2 객체의 시각적 표현을 포함하는 가시적 출력을 렌더링하는 단계를 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  12. 제 1 항에 있어서,
    상기 실시간 데이터 스트림의 데이터 유형은 오디오이며,
    상기 형성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 가청 출력을 발생하는 단계를 포함하고,
    상기 생성하는 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 하나 이상의 스트림 처리 명령어로 특정된 하나 이상의 오디오 처리 함수로 상기 스트림 핸들러(22)를 구성하는 단계를 포함하고,
    상기 사용자의 네트워크 노드는 상기 하나 이상의 가상 영역(28) 중 하나의 특정 가상 영역의 제 1 객체와 연관되고,
    상기 방법은, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 특정 가상 영역(28)의 제 2 객체와 연관된 상기 다른 통신자의 네트워크 노드 중 제 1 네트워크 노드(14)로부터 상기 실시간 데이터 스트림을 수신하는 단계를 더 포함하고,
    상기 하나 이상의 스트림 처리 명령어는 상기 가상 영역(28)의 상기 제 1 객제 및 상기 제 2 객체의 각각의 위치를 기술하는 실시간 위치 정보를 포함하고,
    상기 형성 단계는, 상기 사용자의 네트워크 노드(12)에 의하여, 상기 실시간 위치 정보로부터 오디오 처리 구성 파라미터 값들을 결정하고 상기 오디오 처리 구성 파라미터 값들로 상기 스트림 핸들러(22)를 구성하는 단계를 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  13. 제 1 항에 있어서, 상기 사용자의 네트워크 노드(12)에 의하여,
    상기 네트워크 서비스(26)로부터 수신된 원격 게시 정의들(remote publish definitions)을 저장하되, 상기 정의들은 상기 다른 통신자의 네트워크 노드 중 하나 이상의 네트워크 노드로부터 이용가능한 실시간 데이터 스트림을 기술하는 단계와,
    상기 사용자의 네트워크 노드(12)의 로컬 실시간 커널 구성요소들에 의해 요청되는 실시간 데이터 스트림의 로컬 신청 정의들(local subscription definitions)을 저장하는 단계와,
    일치되는 원격 게시 정의를 갖는 상기 로컬 신청 정의들 각각에 대한 각 실시간 데이터 스트림 요청을 상기 다른 통신자의 네트워크 노드 중 하나 이상으로 전송하는 단계를 포함하는 동작을 수행하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  14. 제 13 항에 있어서, 상기 사용자의 네트워크 노드(12)에 의하여,
    상기 요청에 응답하여 상기 다른 통신자의 네트워크 노드 중 하나 이상의 네트워크 노드들로부터 수신된 실시간 데이터 스트림을 상기 로컬 신청 정의에 따라서 상기 사용자의 네트워크 노드(12)의 상기 로컬 실시간 커널 구성요소들 각각에 전달하는 단계를 더 포함하는
    원격 제어형 실시간 데이터 스트림 처리 방법.
  15. 적어도 하나의 서버 네트워크 노드에 의하여 구현된 네트워크 서비스(26)를 포함하며 하나 이상의 가상 영역(28)에서 장치(12)의 사용자와 다른 통신자의 각 네트워크 노드 사이의 실시간 통신을 지원하는 네트워크 통신 환경에서의 원격 제어형 실시간 데이터 스트림 처리 장치(12)에 있어서,
    컴퓨터 판독가능 명령어들을 저장하는 컴퓨터 판독가능 매체(124)와,
    상기 컴퓨터 판독가능 매체에 결합되고, 상기 명령어들을 실행하도록 작동하며, 적어도 부분적으로는 상기 명령어들의 실행에 기반하여 동작들을 수행하도록 작동할 수 있는 데이터 처리부(122)를 포함하되, 상기 동작들은 상기 장치(12)로 하여금,
    상기 네트워크 서비스(26)와의 세션을 확립하고,
    상기 네트워크 서비스(26)로부터 하나 이상의 스트림 처리 명령어를 수신 - 상기 하나 이상의 스트림 처리 명령어는 적어도 하나의 실시간 데이터 스트림을 처리하기 위한 스트림 핸들러(22)의 사양을 포함함 - 하고,
    상기 사양에 따라서 스트림 핸들러(22)를 생성하고,
    상기 생성된 스트림 핸들러(22)를 통해서 실시간 데이터 스트림을 처리함으로써 결과 데이터 스트림을 형성하도록 제어하는 동작을 포함하는
    장치(12).
  16. 적어도 하나의 서버 네트워크 노드에 의하여 구현된 네트워크 서비스(26)를 포함하며 하나 이상의 가상 영역(28)에서 사용자의 네트워크 노드(12)와 다른 통신자의 네트워크 노드(14) 사이의 실시간 통신을 지원하는 네트워크 통신 환경에서, 내부에 구현되는 컴퓨터 판독가능 프로그램 코드를 포함하며 상기 사용자의 네트워크 노드(12)와 연관된 적어도 하나의 컴퓨터 판독가능 매체에 있어서,
    상기 컴퓨터 판독가능 프로그램 코드는 방법을 구현하기 위해 상기 사용자의 네트워크 노드에 의해 실행되도록 구성되며, 상기 방법은,
    상기 네트워크 서비스(26)와의 세션을 확립하는 단계와,
    상기 네트워크 서비스(26)로부터 하나 이상의 스트림 처리 명령어를 수신하는 단계 - 상기 하나 이상의 스트림 처리 명령어는 적어도 하나의 실시간 데이터 스트림을 처리하기 위한 스트림 핸들러(22)의 사양을 포함함 - 와,
    상기 사양에 따라서 스트림 핸들러(22)를 생성하는 단계와,
    결과 데이터 스트림을 형성하는 단계 - 상기 형성 단계는 생성된 스트림 핸들러(22)를 통해서 실시간 데이터 스트림을 처리하는 단계를 포함함 - 를 포함하는
    컴퓨터 판독가능 매체.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
  89. 삭제
  90. 삭제
  91. 삭제
  92. 삭제
  93. 삭제
  94. 삭제
  95. 삭제
  96. 삭제
  97. 삭제
  98. 삭제
  99. 삭제
  100. 삭제
  101. 삭제
  102. 삭제
  103. 삭제
  104. 삭제
  105. 삭제
  106. 삭제
  107. 삭제
  108. 삭제
  109. 삭제
  110. 삭제
  111. 삭제
  112. 삭제
  113. 삭제
  114. 삭제
  115. 삭제
  116. 삭제
  117. 삭제
  118. 삭제
  119. 삭제
  120. 삭제
  121. 삭제
  122. 삭제
  123. 삭제
  124. 삭제
  125. 삭제
  126. 삭제
  127. 삭제
  128. 삭제
  129. 삭제
  130. 삭제
  131. 삭제
  132. 삭제
  133. 삭제
  134. 삭제
  135. 삭제
  136. 삭제
  137. 삭제
  138. 삭제
  139. 삭제
KR1020117015551A 2008-12-05 2009-12-04 실시간 커널 KR101490548B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12037208P 2008-12-05 2008-12-05
US61/120,372 2008-12-05
PCT/US2009/066764 WO2010065848A2 (en) 2008-12-05 2009-12-04 Realtime kernel

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020127031897A Division KR20130010910A (ko) 2008-12-05 2009-12-04 실시간 커널
KR1020127031898A Division KR20130010911A (ko) 2008-12-05 2009-12-04 실시간 커널

Publications (2)

Publication Number Publication Date
KR20110106870A KR20110106870A (ko) 2011-09-29
KR101490548B1 true KR101490548B1 (ko) 2015-02-05

Family

ID=42232283

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020127031897A KR20130010910A (ko) 2008-12-05 2009-12-04 실시간 커널
KR1020117015551A KR101490548B1 (ko) 2008-12-05 2009-12-04 실시간 커널
KR1020127031898A KR20130010911A (ko) 2008-12-05 2009-12-04 실시간 커널

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020127031897A KR20130010910A (ko) 2008-12-05 2009-12-04 실시간 커널

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127031898A KR20130010911A (ko) 2008-12-05 2009-12-04 실시간 커널

Country Status (7)

Country Link
US (6) US8578000B2 (ko)
EP (1) EP2377031A4 (ko)
JP (3) JP5721634B2 (ko)
KR (3) KR20130010910A (ko)
CN (2) CN102362269B (ko)
IL (1) IL213038A0 (ko)
WO (1) WO2010065848A2 (ko)

Families Citing this family (166)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130073707A1 (en) * 2011-09-16 2013-03-21 Social Communications Company Capabilities based management of virtual areas
US8407605B2 (en) 2009-04-03 2013-03-26 Social Communications Company Application sharing
US11876707B2 (en) * 2007-10-24 2024-01-16 Sococo, Inc. Routing virtual area based communications
US7769806B2 (en) 2007-10-24 2010-08-03 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US8397168B2 (en) 2008-04-05 2013-03-12 Social Communications Company Interfacing with a spatial virtual communication environment
US9514444B2 (en) 2009-01-15 2016-12-06 Sococo, Inc. Encapsulating virtual area based communicant assemblies
US9401937B1 (en) 2008-11-24 2016-07-26 Shindig, Inc. Systems and methods for facilitating communications amongst multiple users
US8405702B1 (en) 2008-11-24 2013-03-26 Shindig, Inc. Multiparty communications systems and methods that utilize multiple modes of communication
CN102362269B (zh) * 2008-12-05 2016-08-17 社会传播公司 实时内核
US20130283166A1 (en) 2012-04-24 2013-10-24 Social Communications Company Voice-based virtual area navigation
US9853922B2 (en) * 2012-02-24 2017-12-26 Sococo, Inc. Virtual area communications
TWI534633B (zh) * 2009-03-31 2016-05-21 萬國商業機器公司 管理一虛擬物件的方法、電腦程式產品及伺服器裝置
US9344745B2 (en) 2009-04-01 2016-05-17 Shindig, Inc. Group portraits composed using video chat systems
WO2010121945A2 (en) * 2009-04-21 2010-10-28 International Business Machines Corporation Method and system for interaction with unmodified 3d graphics applications
US8779265B1 (en) 2009-04-24 2014-07-15 Shindig, Inc. Networks of portable electronic devices that collectively generate sound
US8629866B2 (en) * 2009-06-18 2014-01-14 International Business Machines Corporation Computer method and apparatus providing interactive control and remote identity through in-world proxy
US8675019B1 (en) 2009-12-03 2014-03-18 Innoventions, Inc. View navigation guidance system for hand held devices with display
US8244754B2 (en) * 2010-02-01 2012-08-14 International Business Machines Corporation System and method for object searching in virtual worlds
US8949316B2 (en) * 2010-03-09 2015-02-03 Avistar Communications Corp. Scalable high-performance interactive real-time media architectures for virtual desktop environments
US9021390B1 (en) * 2010-05-05 2015-04-28 Zynga Inc. Methods and apparatus for optimized pausing of an embedded application to render pop-up window
JP5204155B2 (ja) * 2010-06-21 2013-06-05 株式会社スクウェア・エニックス ビデオゲームシステム
US9444620B1 (en) * 2010-06-24 2016-09-13 F5 Networks, Inc. Methods for binding a session identifier to machine-specific identifiers and systems thereof
US8782434B1 (en) 2010-07-15 2014-07-15 The Research Foundation For The State University Of New York System and method for validating program execution at run-time
US9593558B2 (en) 2010-08-24 2017-03-14 Exxonmobil Upstream Research Company System and method for planning a well path
WO2012034044A2 (en) * 2010-09-11 2012-03-15 Social Communications Company Relationship based presence indicating in virtual area contexts
US9100385B1 (en) * 2010-10-01 2015-08-04 Google Inc. Management and synchronization of electronic media content information
US8949717B2 (en) * 2010-10-18 2015-02-03 Yehonatan Rafael Maor Method of controlling avatars
US9276972B2 (en) 2010-12-14 2016-03-01 Microsoft Technology Licensing, Llc Real-time media optimization over remoted sessions
US9560141B2 (en) * 2010-12-29 2017-01-31 Open Invention Network, Llc Method and apparatus of performing peer-to-peer communication establishment
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
CA2823017A1 (en) 2011-01-26 2012-08-02 Exxonmobil Upstream Research Company Method of reservoir compartment analysis using topological structure in 3d earth model
EP2678802A4 (en) 2011-02-21 2017-12-13 Exxonmobil Upstream Research Company Reservoir connectivity analysis in a 3d earth model
WO2012118917A2 (en) 2011-03-03 2012-09-07 Social Communications Company Realtime communications and network browsing client
US8521860B2 (en) * 2011-03-29 2013-08-27 Microsoft Corporation Providing a witness service
KR101312954B1 (ko) * 2011-03-31 2013-10-01 주식회사 리코시스 3차원 테마를 표현하는 커버페이지를 제공하는 사용자 인터페이스 장치 및 그 구동 방법
CA2835120C (en) 2011-05-06 2019-05-28 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8799898B2 (en) * 2011-05-31 2014-08-05 Adobe Systems Incorporated Methods and apparatus for binding applications to a cloud computing environment
US8799788B2 (en) * 2011-06-02 2014-08-05 Disney Enterprises, Inc. Providing a single instance of a virtual space represented in either two dimensions or three dimensions via separate client computing devices
US9323871B2 (en) * 2011-06-27 2016-04-26 Trimble Navigation Limited Collaborative development of a model on a network
US20130166766A1 (en) * 2011-06-30 2013-06-27 The Board Of Trustees Of The University Of Illinois Streaming Service for Correlated Multi-Streaming
WO2013006226A1 (en) * 2011-07-01 2013-01-10 Exxonmobil Upstream Research Company Plug-in installer framework
US8984156B2 (en) * 2011-07-21 2015-03-17 Salesforce.Com, Inc. Multi-party mesh conferencing with stream processing
US20130097244A1 (en) 2011-09-30 2013-04-18 Clearone Communications, Inc. Unified communications bridging architecture
EP2780826B1 (en) 2011-11-15 2020-08-12 Trimble Inc. Browser-based collaborative development of a 3d model
WO2013074565A1 (en) 2011-11-15 2013-05-23 Trimble Navigation Limited Providing a real-time shared viewing experience in a three-dimensional modeling environment
EP2780892B1 (en) 2011-11-15 2016-10-05 Trimble Navigation Limited Controlling rights to a drawing in a three-dimensional modeling environment
WO2013078041A1 (en) 2011-11-22 2013-05-30 Trimble Navigation Limited 3d modeling system distributed between a client device web browser and a server
US8452901B1 (en) * 2011-12-30 2013-05-28 Emc Corporation Ordered kernel queue for multipathing events
US9654821B2 (en) 2011-12-30 2017-05-16 Sonos, Inc. Systems and methods for networked music playback
CN102571634A (zh) * 2012-01-18 2012-07-11 孙明昭 利用标识实现网络平台信息交互的系统
KR101335711B1 (ko) 2012-01-20 2013-12-04 연세대학교 산학협력단 서버, 연산 처리 방법 및 연산 처리 시스템
DE102012201505B4 (de) * 2012-02-02 2013-08-22 Siemens Aktiengesellschaft Authentisierungssystem für mobile Geräte zum Datenaustausch von medizinischen Daten
WO2013119802A1 (en) * 2012-02-11 2013-08-15 Social Communications Company Routing virtual area based communications
SE537794C2 (sv) * 2012-03-20 2015-10-20 Propellerhead Software Aktiebolag Förfaranden för att distribuera en dataprogramprodukt och ett datorsystem
US8954574B1 (en) 2012-05-23 2015-02-10 Amazon Technologies, Inc. Best practice analysis, migration advisor
US10740765B1 (en) 2012-05-23 2020-08-11 Amazon Technologies, Inc. Best practice analysis as a service
US8769059B1 (en) * 2012-05-23 2014-07-01 Amazon Technologies, Inc. Best practice analysis, third-party plug-ins
US9626710B1 (en) 2012-05-23 2017-04-18 Amazon Technologies, Inc. Best practice analysis, optimized resource use
WO2013181026A1 (en) 2012-06-02 2013-12-05 Social Communications Company Interfacing with a spatial virtual communications environment
US9674587B2 (en) 2012-06-26 2017-06-06 Sonos, Inc. Systems and methods for networked music playback including remote add to queue
TWI567563B (zh) * 2012-08-10 2017-01-21 A user input screen generation system and a method thereof
US9063721B2 (en) 2012-09-14 2015-06-23 The Research Foundation For The State University Of New York Continuous run-time validation of program execution: a practical approach
US9069782B2 (en) 2012-10-01 2015-06-30 The Research Foundation For The State University Of New York System and method for security and privacy aware virtual machine checkpointing
US9031953B2 (en) * 2012-11-19 2015-05-12 Realnetworks, Inc. Method and system to curate media collections
US20140195672A1 (en) * 2013-01-09 2014-07-10 Microsoft Corporation Automated failure handling through isolation
US9438638B2 (en) * 2013-03-15 2016-09-06 Silicon Graphics International Corp. Method for transparently connecting augmented network socket operations
US9432485B2 (en) * 2013-03-15 2016-08-30 Srinivasan Viswanathan Method and system of an accelerated application-oriented middlewarelayer
US20140278911A1 (en) * 2013-03-15 2014-09-18 Telemetry Limited Method and apparatus for determining digital media audibility
US20140285519A1 (en) * 2013-03-22 2014-09-25 Nokia Corporation Method and apparatus for providing local synchronization of information for augmented reality objects
US20140310606A1 (en) * 2013-04-11 2014-10-16 Xiaomi Inc. Method and device for providing plugin in contact list
US9361371B2 (en) 2013-04-16 2016-06-07 Sonos, Inc. Playlist update in a media playback system
US9247363B2 (en) 2013-04-16 2016-01-26 Sonos, Inc. Playback queue transfer in a media playback system
US9501533B2 (en) 2013-04-16 2016-11-22 Sonos, Inc. Private queue for a media playback system
EP3008281A2 (en) 2013-06-10 2016-04-20 Exxonmobil Upstream Research Company Interactively planning a well site
US10749761B1 (en) * 2013-09-27 2020-08-18 Amazon Technologies, Inc. Unique user session tracking in adaptive bitrate video delivery
US9864098B2 (en) 2013-09-30 2018-01-09 Exxonmobil Upstream Research Company Method and system of interactive drill center and well planning evaluation and optimization
JPWO2015059736A1 (ja) * 2013-10-23 2017-03-09 株式会社シナジードライブ Ｓｎｓユーザーインタフェースシステム
US10271010B2 (en) * 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
US9276959B2 (en) 2013-11-11 2016-03-01 Amazon Technologies, Inc. Client-configurable security options for data streams
CN104703049A (zh) * 2013-12-09 2015-06-10 中兴通讯股份有限公司 媒体流报文的nat穿越方法、mdu及iptv系统
US9462329B2 (en) * 2013-12-20 2016-10-04 Mediatek Inc. Method and apparatus for frame rate control in transmitter of wireless communications system
US9421461B2 (en) * 2013-12-26 2016-08-23 Microsoft Technology Licensing, Llc Player avatar movement assistance in a virtual environment
US9791485B2 (en) 2014-03-10 2017-10-17 Silver Spring Networks, Inc. Determining electric grid topology via a zero crossing technique
US9916188B2 (en) * 2014-03-14 2018-03-13 Cask Data, Inc. Provisioner for cluster management system
CN103877726B (zh) * 2014-04-10 2017-09-26 北京蚁视科技有限公司 一种虚拟现实组件系统
US9733333B2 (en) 2014-05-08 2017-08-15 Shindig, Inc. Systems and methods for monitoring participant attentiveness within events and group assortments
GB2530472A (en) * 2014-05-21 2016-03-30 Euronet Usa Llc Financial switching engine
US20150348177A1 (en) * 2014-05-29 2015-12-03 International Business Machines Corporation Managing lease transactions in distributed systems
US9396698B2 (en) * 2014-06-30 2016-07-19 Microsoft Technology Licensing, Llc Compound application presentation across multiple devices
US9749447B2 (en) * 2014-06-30 2017-08-29 Mark Spence Distributed Process Framework
CN105323534B (zh) * 2014-07-14 2019-04-23 深圳市潮流网络技术有限公司 一种第三方应用的会议处理方法和通讯设备
US20160042563A1 (en) * 2014-08-11 2016-02-11 Empire Technology Development Llc Augmented reality information management
CN104144221B (zh) * 2014-08-19 2017-07-14 湖北盛天网络技术股份有限公司 文件访问方法及装置
US10225245B2 (en) * 2014-11-18 2019-03-05 Auth0, Inc. Identity infrastructure as a service
WO2016105329A1 (en) * 2014-12-22 2016-06-30 Intel Corporation Multi-touch virtual mouse
US10609105B2 (en) * 2015-01-29 2020-03-31 Spotify Ab System and method for streaming music on mobile devices
US11516340B2 (en) * 2015-01-30 2022-11-29 Vonage America Llc System and method for playing buffered audio of a dropped telephone call
WO2016138486A1 (en) * 2015-02-26 2016-09-01 Kazanchian Armen E Low latency power efficient sensor to cloud data transmission
CN106034370B (zh) * 2015-03-20 2018-06-26 立锜科技股份有限公司 用于驱动led数组的驱动电路
FR3034608A1 (fr) * 2015-03-31 2016-10-07 Orange Procede de priorisation de flux medias dans un reseau de communications
KR101581776B1 (ko) * 2015-05-14 2015-12-31 주식회사 티맥스 소프트 웹 서버에서 파일 디스크립터를 분배하는 방법, 이를 사용한 웹 서버 및 컴퓨터 판독 가능한 기록 매체
US9900275B2 (en) * 2015-06-01 2018-02-20 Apple Inc. Tracking object across processes
US11290879B2 (en) 2015-07-02 2022-03-29 Telefonaktiebolaget Lm Ericsson (Publ) Method for obtaining initial access to a network, and related wireless devices and network nodes
KR20170010574A (ko) * 2015-07-20 2017-02-01 삼성전자주식회사 정보처리장치, 영상처리장치 및 그들의 제어방법
US10911503B2 (en) * 2015-08-27 2021-02-02 Drop In, Inc. Methods, devices, and systems for live video streaming from a remote location based on a received request utilizing keep alive messages
CN105187943B (zh) * 2015-09-21 2018-06-15 三星电子（中国）研发中心 电视频道追加方法和装置
US10482231B1 (en) * 2015-09-22 2019-11-19 Amazon Technologies, Inc. Context-based access controls
JP6659944B2 (ja) * 2015-11-18 2020-03-04 アイコム株式会社 データ設定システム、データ更新システムおよびデータ設定方法
US9699226B1 (en) 2015-12-17 2017-07-04 8X8, Inc. Display dependent analytics
US10095669B1 (en) * 2015-12-22 2018-10-09 Amazon Technologies, Inc. Virtualized rendering
WO2017220165A1 (en) * 2016-06-24 2017-12-28 Rwe International Se Augmented reality system
US10860347B1 (en) 2016-06-27 2020-12-08 Amazon Technologies, Inc. Virtual machine with multiple content processes
WO2018007369A1 (en) 2016-07-05 2018-01-11 Lego A/S Method for creating a virtual object
US11083968B2 (en) * 2016-07-05 2021-08-10 Lego A/S Method for creating a virtual object
US20180063205A1 (en) * 2016-08-30 2018-03-01 Augre Mixed Reality Technologies, Llc Mixed reality collaboration
US10680902B2 (en) * 2016-08-31 2020-06-09 At&T Intellectual Property I, L.P. Virtual agents for facilitation of network based storage reporting
US10133916B2 (en) 2016-09-07 2018-11-20 Steven M. Gottlieb Image and identity validation in video chat events
CN106452784B (zh) * 2016-09-28 2019-07-23 苏州超块链信息科技有限公司 一种数字资产原始属性的匿名对等互证方法
US11063758B1 (en) 2016-11-01 2021-07-13 F5 Networks, Inc. Methods for facilitating cipher selection and devices thereof
US11290572B2 (en) * 2016-11-07 2022-03-29 Constructive Labs System and method for facilitating sharing of virtual three-dimensional space
CN106708634B (zh) * 2016-12-09 2020-08-25 福建省天奕网络科技有限公司 Vr应用设备与厂家设备的通讯方法及其系统
US10764367B2 (en) * 2017-03-15 2020-09-01 Hewlett Packard Enterprise Development Lp Registration with a storage networking repository via a network interface device driver
JP6610610B2 (ja) * 2017-04-27 2019-11-27 トヨタ自動車株式会社 音声入出力装置、無線接続方法、音声対話システム
US10592215B1 (en) 2017-08-17 2020-03-17 NanoVMs, Inc. Unikernel cross-compilation
US10523453B2 (en) * 2017-12-07 2019-12-31 Mcom Media Communications Dmcc Managing content casting
US10897489B2 (en) 2017-12-07 2021-01-19 Mcom Media Comunications Dmcc Managing content casting
US20190260826A1 (en) * 2018-02-21 2019-08-22 Artem Gurtovoy P2p video communication with a third-parties
US10628177B1 (en) 2018-04-11 2020-04-21 NanoVMs, Inc. Unikernel provisioning
US11989569B2 (en) * 2018-04-11 2024-05-21 NanoVMs, Inc. Unikernel provisioning
US11017078B2 (en) * 2018-04-24 2021-05-25 Microsoft Technology Licensing, Llc Environmentally-trained time dilation
US10965444B2 (en) * 2018-04-24 2021-03-30 Microsoft Technology Licensing, Llc Mitigating timing attacks via dynamically triggered time dilation
CN111869186A (zh) 2018-05-07 2020-10-30 康维达无线有限责任公司 智能服务层请求抽象服务的机制
CN110633155A (zh) * 2018-05-31 2019-12-31 北京京东尚科信息技术有限公司 一种插件化框架的通信方法、装置、介质及电子设备
US20220101619A1 (en) * 2018-08-10 2022-03-31 Nvidia Corporation Cloud-centric platform for collaboration and connectivity on 3d virtual environments
WO2020061087A1 (en) * 2018-09-20 2020-03-26 Ocelot Laboratories Llc Method and device for attenuation of co-user interactions in simulated reality (sr) space
KR102119509B1 (ko) * 2018-10-02 2020-06-05 주식회사 한글과컴퓨터 안정적인 실행을 보장하는 OpenCL 가상화 실행환경 제공 방법 및 장치
US10963331B2 (en) * 2018-12-13 2021-03-30 Microsoft Technology Licensing, Llc Collecting repeated diagnostics data from across users participating in a document collaboration session
CN109739728B (zh) * 2019-01-08 2023-06-13 武汉益模科技股份有限公司 一种mes系统性能和日志数据监控方法
US11939856B2 (en) 2019-01-24 2024-03-26 Halliburton Energy Services, Inc. Operating wellbore equipment using data from mediator computing devices
US10554596B1 (en) * 2019-03-28 2020-02-04 Wormhole Labs, Inc. Context linked messaging system
CN111835684B (zh) * 2019-04-19 2023-01-20 厦门网宿有限公司 一种haproxy设备的网络隔离监控方法及系统
CN111835685B (zh) * 2019-04-19 2022-10-28 厦门网宿有限公司 一种监控Nginx网络隔离空间的运行状态的方法和服务器
US11667033B2 (en) * 2019-06-10 2023-06-06 Argos Labs Inc. Systems and methods for robotic process automation
CN110475272A (zh) * 2019-07-31 2019-11-19 苏州星际靶战网络信息技术有限公司 一种虚拟化网络设备库信息传输方法及系统
CN110365546B (zh) * 2019-08-22 2022-03-22 广州大学 节点数据流的监控方法、存储介质和计算设备
US11027197B2 (en) * 2019-09-30 2021-06-08 Sony Interactive Entertainment Inc. Serverless gaming through zero-knowledge proofs
US11297147B2 (en) * 2019-11-22 2022-04-05 Amazon Technologies, Inc. Managed data export to a remote network from edge devices
US11120702B2 (en) 2019-12-01 2021-09-14 Salesforce.Com, Inc. Systems and methods for validating localized assessments in an external system
SE2030252A1 (en) * 2020-08-13 2022-02-14 Nagoon AB Method performed by a computer system for creation of augmented reality experiences and connection of these to the real world
US11012482B1 (en) * 2020-08-28 2021-05-18 Tmrw Foundation Ip S. À R.L. Spatially aware multimedia router system and method
US11343136B2 (en) 2020-10-01 2022-05-24 Bank Of America Corporation System for real time recovery of resource transfers over a distributed server network
US11893541B2 (en) * 2020-10-15 2024-02-06 Prezi, Inc. Meeting and collaborative canvas with image pointer
US20220134222A1 (en) * 2020-11-03 2022-05-05 Nvidia Corporation Delta propagation in cloud-centric platforms for collaboration and connectivity
US20220147433A1 (en) * 2020-11-12 2022-05-12 New Relic, Inc. Automation solutions for event logging and debugging on kubernetes
CN112860345A (zh) * 2021-02-26 2021-05-28 中国银行股份有限公司 插件管理方法及装置
CN113082710B (zh) * 2021-04-23 2024-05-28 杭州雾联科技有限公司 一种音频播放方法、装置、电子设备及存储介质
CN113515255B (zh) * 2021-05-17 2023-02-07 英华达（上海）科技有限公司 音频播放控制方法、系统、电子设备及存储介质
US11743198B1 (en) * 2021-06-09 2023-08-29 T-Mobile Usa, Inc. Systems and methods for traffic classification
CN113590217B (zh) * 2021-07-26 2022-12-02 北京百度网讯科技有限公司 基于引擎的函数管理方法、装置、电子设备及存储介质
US20230222010A1 (en) * 2022-01-10 2023-07-13 Nvidia Corporation Application programming interface to indicate execution of graph nodes
US11871208B2 (en) * 2022-01-14 2024-01-09 Verizon Patent And Licensing Inc. Methods and systems for spatial rendering of multi-user voice communication
US20230310995A1 (en) * 2022-03-31 2023-10-05 Advanced Micro Devices, Inc. Detecting personal-space violations in artificial intelligence based non-player characters
US20230353401A1 (en) * 2022-04-29 2023-11-02 Zoom Video Communications, Inc. Providing presence in persistent hybrid virtual collaborative workspaces
US11995787B2 (en) * 2022-07-06 2024-05-28 Journee Technologies Gmbh Systems and methods for the interactive rendering of a virtual environment on a user device with limited computational capacity
US20240098122A1 (en) * 2022-09-16 2024-03-21 International Business Machines Corporation Unplanned remote collaboration
JP7281012B1 (ja) * 2022-12-26 2023-05-24 グリー株式会社 プログラム、情報処理方法及び情報処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020027319A (ko) * 1999-05-21 2002-04-13 트루채트, 인코퍼레이티드 에지포인트 믹싱을 이용한 통신회의 브리지
KR20060047792A (ko) * 2004-05-13 2006-05-18 소니 가부시끼 가이샤 오디오 신호 전송 시스템, 오디오 신호 전송 방법, 서버,네트워크 단말기 장치, 기록 매체
US20080046585A1 (en) * 2002-04-19 2008-02-21 Akamai Technologies, Inc. Method of, and system for, webcasting with just-in-time resource provisioning, automated telephone signal acquisition and streaming, and fully-automated event archival

Family Cites Families (232)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU650242B2 (en) * 1989-11-28 1994-06-16 International Business Machines Corporation Methods and apparatus for dynamically managing input/output (I/O) connectivity
JP2852817B2 (ja) 1991-02-04 1999-02-03 中小企業事業団 加熱炉
US5745711A (en) 1991-10-23 1998-04-28 Hitachi, Ltd. Display control method and apparatus for an electronic conference
JP2521016B2 (ja) * 1991-12-31 1996-07-31 インターナショナル・ビジネス・マシーンズ・コーポレイション マルチメディア・デ―タ処理システム
US5675746A (en) * 1992-09-30 1997-10-07 Marshall; Paul S. Virtual reality generator for use with financial information
US6594688B2 (en) * 1993-10-01 2003-07-15 Collaboration Properties, Inc. Dedicated echo canceler for a workstation
US5434913A (en) * 1993-11-24 1995-07-18 Intel Corporation Audio subsystem for computer-based conferencing system
US5491743A (en) 1994-05-24 1996-02-13 International Business Machines Corporation Virtual conference system and terminal apparatus therefor
US6343263B1 (en) * 1994-08-02 2002-01-29 Apple Computer, Inc. Real-time signal processing system for serially transmitted data
JP3183496B2 (ja) * 1995-06-16 2001-07-09 日本電信電話株式会社 仮想空間共有システム
US5903752A (en) * 1994-10-13 1999-05-11 Intel Corporation Method and apparatus for embedding a real-time multi-tasking kernel in a non-real-time operating system
US5721922A (en) * 1994-10-13 1998-02-24 Intel Corporation Embedding a real-time multi-tasking kernel in a non-real-time operating system
US5619733A (en) * 1994-11-10 1997-04-08 International Business Machines Corporation Method and apparatus for synchronizing streaming and non-streaming multimedia devices by controlling the play speed of the non-streaming device in response to a synchronization signal
US6260057B1 (en) * 1995-03-01 2001-07-10 Sun Microsystems, Inc. Apparatus and method for high performance implementation of system calls
US6466962B2 (en) * 1995-06-07 2002-10-15 International Business Machines Corporation System and method for supporting real-time computing within general purpose operating systems
US5874960A (en) 1995-07-05 1999-02-23 Microsoft Corporation Method and system for sharing applications between computer systems
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US5880731A (en) 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US5960173A (en) * 1995-12-22 1999-09-28 Sun Microsystems, Inc. System and method enabling awareness of others working on similar tasks in a computer work environment
IL116708A (en) * 1996-01-08 2000-12-06 Smart Link Ltd Real-time task manager for a personal computer
US6405255B1 (en) * 1996-07-01 2002-06-11 Sun Microsystems, Inc. Mixing and splitting multiple independent audio data streams in kernel space
US7145898B1 (en) 1996-11-18 2006-12-05 Mci Communications Corporation System, method and article of manufacture for selecting a gateway of a hybrid communication system architecture
US6335927B1 (en) 1996-11-18 2002-01-01 Mci Communications Corporation System and method for providing requested quality of service in a hybrid network
US5913038A (en) * 1996-12-13 1999-06-15 Microsoft Corporation System and method for processing multimedia data streams using filter graphs
US5995745A (en) * 1996-12-23 1999-11-30 Yodaiken; Victor J. Adding real-time support to general purpose operating systems
US6317774B1 (en) * 1997-01-09 2001-11-13 Microsoft Corporation Providing predictable scheduling of programs using a repeating precomputed schedule
US6006279A (en) * 1997-01-21 1999-12-21 Canon Information Systems, Inc. Plug-in module host framework
US6016515A (en) * 1997-04-04 2000-01-18 Microsoft Corporation Method, computer program product, and data structure for validating creation of and routing messages to file object
US5991836A (en) * 1997-05-02 1999-11-23 Network Computing Devices, Inc. System for communicating real time data between client device and server utilizing the client device estimating data consumption amount by the server
US6904110B2 (en) * 1997-07-31 2005-06-07 Francois Trans Channel equalization system and method
JP3753207B2 (ja) 1997-08-11 2006-03-08 富士ゼロックス株式会社 共同作業支援システムおよび共同作業支援方法
US5991402A (en) * 1997-09-23 1999-11-23 Aegisoft Corporation Method and system of dynamic transformation of encrypted material
GB9721667D0 (en) 1997-10-14 1997-12-10 Philips Electronics Nv Virtual environment navigation aid
US6349344B1 (en) * 1997-12-16 2002-02-19 Microsoft Corporation Combining multiple java class files into a run-time image
US6216173B1 (en) * 1998-02-03 2001-04-10 Redbox Technologies Limited Method and apparatus for content processing and routing
US6148336A (en) * 1998-03-13 2000-11-14 Deterministic Networks, Inc. Ordering of multiple plugin applications using extensible layered service provider with network traffic filtering
US6141686A (en) * 1998-03-13 2000-10-31 Deterministic Networks, Inc. Client-side application-classifier gathering network-traffic statistics and application and user names using extensible-service provider plugin for policy-based network control
US6380952B1 (en) 1998-04-07 2002-04-30 International Business Machines Corporation System for continuous display and navigation in a virtual-reality world
US7065553B1 (en) * 1998-06-01 2006-06-20 Microsoft Corporation Presentation system with distributed object oriented multi-user domain and separate view and model objects
US6243753B1 (en) * 1998-06-12 2001-06-05 Microsoft Corporation Method, system, and computer program product for creating a raw data channel form an integrating component to a series of kernel mode filters
US6604136B1 (en) * 1998-06-27 2003-08-05 Intel Corporation Application programming interfaces and methods enabling a host to interface with a network processor
US5999208A (en) 1998-07-15 1999-12-07 Lucent Technologies Inc. System for implementing multiple simultaneous meetings in a virtual reality mixed media meeting room
US6119147A (en) 1998-07-28 2000-09-12 Fuji Xerox Co., Ltd. Method and system for computer-mediated, multi-modal, asynchronous meetings in a virtual space
US6731314B1 (en) 1998-08-17 2004-05-04 Muse Corporation Network-based three-dimensional multiple-user shared environment apparatus and method
JP2000076487A (ja) 1998-09-03 2000-03-14 Sony Corp 情報処理装置および方法、並びに提供媒体
US7159222B1 (en) * 1998-09-09 2007-01-02 Microsoft Corporation Highly componentized system architecture with object mutation
US6807667B1 (en) * 1998-09-21 2004-10-19 Microsoft Corporation Method and system of an application program interface for abstracting network traffic control components to application programs
US6470397B1 (en) * 1998-11-16 2002-10-22 Qlogic Corporation Systems and methods for network and I/O device drivers
US6490611B1 (en) * 1999-01-28 2002-12-03 Mitsubishi Electric Research Laboratories, Inc. User level scheduling of inter-communicating real-time tasks
US6862735B1 (en) * 1999-02-11 2005-03-01 Sun Microsystems, Inc. Mechanism by which platform independent software may bind to and access platform dependent software
JP2000244487A (ja) * 1999-02-18 2000-09-08 Nippon Telegr & Teleph Corp <Ntt> 多人数参加型仮想空間コミュニケーションシステム
US7168048B1 (en) 1999-03-24 2007-01-23 Microsoft Corporation Method and structure for implementing a layered object windows
US6615278B1 (en) * 1999-03-29 2003-09-02 International Business Machines Corporation Cross-platform program, system, and method having a global registry object for mapping registry equivalent functions in an OS/2 operating system environment
US6493324B1 (en) * 1999-03-29 2002-12-10 Worldcom, Inc. Multimedia interface for IP telephony
US7007235B1 (en) 1999-04-02 2006-02-28 Massachusetts Institute Of Technology Collaborative agent interaction control and synchronization system
US6388688B1 (en) 1999-04-06 2002-05-14 Vergics Corporation Graph-based visual navigation through spatial environments
US6779027B1 (en) * 1999-04-30 2004-08-17 Hewlett-Packard Development Company, L.P. Intelligent management module application programming interface with utility objects
US6742176B1 (en) * 1999-06-14 2004-05-25 Lycos, Inc. Secure flexible plugin software architecture
US6292188B1 (en) 1999-07-28 2001-09-18 Alltrue Networks, Inc. System and method for navigating in a digital information environment
US6442748B1 (en) * 1999-08-31 2002-08-27 Accenture Llp System, method and article of manufacture for a persistent state and persistent object separator in an information services patterns environment
US7140015B1 (en) * 1999-09-29 2006-11-21 Network Appliance, Inc. Microkernel for real time applications
US20010044904A1 (en) * 1999-09-29 2001-11-22 Berg Ryan J. Secure remote kernel communication
US7581191B2 (en) 1999-11-15 2009-08-25 Xenogen Corporation Graphical user interface for 3-D in-vivo imaging
JP2001154966A (ja) 1999-11-29 2001-06-08 Sony Corp コンピュータ・ネットワーク上で構築・提供される共有仮想空間上で複数ユーザが参加可能な仮想会話を支援する会話支援システム及び会話支援方法、並びに、プログラム記憶媒体
US7213054B2 (en) * 1999-12-15 2007-05-01 Microsoft Corporation Methods and apparatuses for handling single-user applications in multi-user computing environments
US6708172B1 (en) 1999-12-22 2004-03-16 Urbanpixel, Inc. Community-based shared multiple browser environment
SE517156C2 (sv) * 1999-12-28 2002-04-23 Global Ip Sound Ab System för överföring av ljud över paketförmedlade nät
US7069590B1 (en) * 2000-02-17 2006-06-27 Microsoft Corporation System and method for protecting data streams in hardware components
US7240093B1 (en) 2000-02-29 2007-07-03 Microsoft Corporation Use of online messaging to facilitate selection of participants in game play
US6990669B1 (en) * 2000-03-21 2006-01-24 Microsoft Corporation Real-time scheduler
US6871345B1 (en) * 2000-04-04 2005-03-22 Motive, Inc. Self managing software agents with introspection
US8020176B2 (en) * 2000-04-06 2011-09-13 Infineon Technologies Ag Virtual machine interface for hardware reconfigurable and software programmable processors
JP3345600B2 (ja) 2000-04-10 2002-11-18 コナミ株式会社 ゲームシステムおよびコンピュータ読取可能な記憶媒体
US6961631B1 (en) * 2000-04-12 2005-11-01 Microsoft Corporation Extensible kernel-mode audio processing architecture
US6646195B1 (en) * 2000-04-12 2003-11-11 Microsoft Corporation Kernel-mode audio processing modules
US20060067500A1 (en) * 2000-05-15 2006-03-30 Christofferson Frank C Teleconferencing bridge with edgepoint mixing
EP1170673A1 (en) * 2000-07-05 2002-01-09 Sony International (Europe) GmbH Portal application
JP2002063601A (ja) * 2000-08-15 2002-02-28 Shinji Shimojo 仮想空間システム
US6763176B1 (en) * 2000-09-01 2004-07-13 Matrox Electronic Systems Ltd. Method and apparatus for real-time video editing using a graphics processor
US7599753B2 (en) * 2000-09-23 2009-10-06 Microsoft Corporation Systems and methods for running priority-based application threads on a realtime component
US7263550B1 (en) * 2000-10-10 2007-08-28 Juniper Networks, Inc. Agent-based event-driven web server architecture
US7203741B2 (en) 2000-10-12 2007-04-10 Peerapp Ltd. Method and system for accelerating receipt of data in a client-to-client network
JP2002123478A (ja) 2000-10-17 2002-04-26 Isao:Kk チャットシステム、チャット情報処理装置、チャット情報処理方法、および、記録媒体
US7313593B1 (en) * 2000-10-24 2007-12-25 International Business Machines Corporation Method and apparatus for providing full duplex and multipoint IP audio streaming
US6961942B1 (en) * 2000-11-06 2005-11-01 Microsoft Corporation Bluetooth TDI and winsock interface
US7149314B2 (en) * 2000-12-04 2006-12-12 Creative Technology Ltd Reverberation processor based on absorbent all-pass filters
US20020116458A1 (en) 2000-12-14 2002-08-22 Jonathan Bricklin Web-based dating service
US20020075305A1 (en) 2000-12-18 2002-06-20 Beaton Brian F. Graphical user interface for a virtual team environment
US7925703B2 (en) 2000-12-26 2011-04-12 Numedeon, Inc. Graphical interactive interface for immersive online communities
US7296226B2 (en) * 2001-02-15 2007-11-13 Accenture Gmbh XML-based multi-format business services design pattern
US7386356B2 (en) * 2001-03-05 2008-06-10 Microsoft Corporation Dynamic audio buffer creation
US7107110B2 (en) * 2001-03-05 2006-09-12 Microsoft Corporation Audio buffers with audio effects
US7376475B2 (en) * 2001-03-05 2008-05-20 Microsoft Corporation Audio buffer configuration
US20020165922A1 (en) 2001-04-13 2002-11-07 Songxiang Wei Application based screen sampling
US20020178072A1 (en) 2001-05-24 2002-11-28 International Business Machines Corporation Online shopping mall virtual association
US6996832B2 (en) * 2001-05-30 2006-02-07 Bea Systems, Inc. System and method for software component plug-in framework
US7562306B2 (en) * 2001-05-31 2009-07-14 International Business Machines Corporation System and method for reducing memory use associated with the graphical representation of a list control
US6918093B2 (en) * 2001-05-31 2005-07-12 International Business Machines Corp. Inheritance of background color in a containment hierarchy of objects in a graphical user interface
US7017162B2 (en) * 2001-07-10 2006-03-21 Microsoft Corporation Application program interface for network software platform
US20030043200A1 (en) 2001-08-09 2003-03-06 Urbanpixel Inc Interactive multi-level mapping in a multiple browser environment
JP2003058482A (ja) 2001-08-14 2003-02-28 Fujitsu Ltd エリアチャットルーム提供方法，端末側エリアチャット処理方法，エリアチャットルーム提供処理プログラム記録媒体，エリアチャットルーム提供装置
US20030065558A1 (en) 2001-09-12 2003-04-03 Cameron Shaw Method and apparatus for multi-vendor powered business portal with intelligent service promotion and user profile gathering
US7254610B1 (en) * 2001-09-19 2007-08-07 Cisco Technology, Inc. Delivery of services to a network enabled telephony device based on transfer of selected model view controller objects to reachable network nodes
US7254814B1 (en) * 2001-09-28 2007-08-07 Emc Corporation Methods and apparatus for managing plug-in services
US20030077561A1 (en) 2001-10-18 2003-04-24 Abraham Alsop Web server for printable whiteboards
US7415502B2 (en) 2001-11-16 2008-08-19 Sbc Technology Resources, Inc. Method and system for intelligent routing based on presence detection
US7673246B2 (en) 2001-12-12 2010-03-02 Canon Kabushiki Kaisha Image information processing apparatus and method, virtual space presentation apparatus, information administration apparatus, and control methods thereof
US6679848B2 (en) 2002-03-07 2004-01-20 Koninklijke Philips Electronics N.V. Method for allowing plug-in architecture for digital echocardiography lab image processing applications
US7418664B2 (en) 2002-04-03 2008-08-26 Microsoft Corporation Application sharing single document sharing
US7036089B2 (en) 2002-04-23 2006-04-25 Hewlett-Packard Development Company, L.P. Distribution of application windows in a computing device display
US7987491B2 (en) 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
US6935959B2 (en) * 2002-05-16 2005-08-30 Microsoft Corporation Use of multiple player real-time voice communications on a gaming device
KR100918782B1 (ko) 2002-05-17 2009-09-23 한라공조주식회사 열교환기용 핀
US7293243B1 (en) 2002-05-22 2007-11-06 Microsoft Corporation Application sharing viewer presentation
US8165959B2 (en) * 2002-06-24 2012-04-24 Siebel Systems, Inc. Method and apparatus for pricing calculation
JP4408635B2 (ja) * 2002-06-27 2010-02-03 ナヴィゲイション テクノロジーズ コーポレイション 経路情報と共に位置に基づく広告を提供する方法
US7631318B2 (en) * 2002-06-28 2009-12-08 Microsoft Corporation Secure server plug-in architecture for digital rights management systems
US6782424B2 (en) * 2002-08-23 2004-08-24 Finite State Machine Labs, Inc. System, method and computer program product for monitoring and controlling network connections from a supervisory operating system
US7035942B2 (en) 2002-09-17 2006-04-25 Bellsouth Intellectual Property Corp. Server-based message protocol translation
US7434167B2 (en) 2002-09-30 2008-10-07 Microsoft Corporation Accessibility system and method
US6724416B1 (en) 2002-10-01 2004-04-20 Jianxin Liu Image transceiving telephone with integrated digital camera
US20040064210A1 (en) * 2002-10-01 2004-04-01 Puryear Martin G. Audio driver componentization
US8176186B2 (en) * 2002-10-30 2012-05-08 Riverbed Technology, Inc. Transaction accelerator for client-server communications systems
US20040088704A1 (en) * 2002-10-30 2004-05-06 Advanced Simulation Technology, Inc. Method for running real-time tasks alongside a general purpose operating system
AU2002347129A1 (en) 2002-11-13 2004-06-03 Intel China Ltd. Multi-modal web interaction over wireless network
US20040179039A1 (en) 2003-03-03 2004-09-16 Blattner Patrick D. Using avatars to communicate
CA2525939C (en) 2003-05-16 2015-09-22 Picasa, Inc. Networked chat and media sharing systems and methods
US20050060137A1 (en) * 2003-09-12 2005-03-17 Lanus Mark S. Method and apparatus to emulate an execution environment
JP4284362B2 (ja) 2003-09-16 2009-06-24 リサーチ イン モーション リミテッド インスタントメッセージングサーバを使用せずにピア・ツー・ピアの迅速なメッセージングソリューションを作成するための方法
US7503006B2 (en) 2003-09-25 2009-03-10 Microsoft Corporation Visual indication of current voice speaker
US7813488B2 (en) 2003-09-29 2010-10-12 Siemens Enterprise Communications, Inc. System and method for providing information regarding an identity's media availability
US20090075642A1 (en) 2003-10-27 2009-03-19 Olli Rantapuska Method and devices for relayed peer-to-peer communications between terminals in mobile networks
WO2005059699A2 (en) 2003-12-15 2005-06-30 Quantum Matrix Holdings, Llc System and method for multi-dimensional organization, management, and manipulation of data
US7707503B2 (en) 2003-12-22 2010-04-27 Palo Alto Research Center Incorporated Methods and systems for supporting presentation tools using zoomable user interface
JP2005196286A (ja) * 2003-12-26 2005-07-21 Okuma Corp リアルタイムアプリケーションプログラムを動作可能なオペレーティングシステム及びその制御方法、共有ライブラリをロードする方法
US20100005531A1 (en) * 2004-12-23 2010-01-07 Kenneth Largman Isolated multiplexed multi-dimensional processing in a virtual processing space having virus, spyware, and hacker protection features
US7985138B2 (en) 2004-02-17 2011-07-26 International Business Machines Corporation SIP based VoIP multiplayer network games
KR100566263B1 (ko) 2004-03-26 2006-03-29 삼성전자주식회사 스케쥴 내용에 따라 메신저 상태 정보를 변경하는 메신저서비스 제공 시스템 및 방법
JP2005286749A (ja) * 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd 映像復号化装置およびそれを用いた映像伝送システム
US20060031779A1 (en) 2004-04-15 2006-02-09 Citrix Systems, Inc. Selectively sharing screen data
US7945619B1 (en) 2004-09-20 2011-05-17 Jitendra Chawla Methods and apparatuses for reporting based on attention of a user during a collaboration session
WO2006042300A2 (en) * 2004-10-12 2006-04-20 Mindego, Inc. System and method for creating, distributing, and executing rich multimedia applications
US7342587B2 (en) 2004-10-12 2008-03-11 Imvu, Inc. Computer-implemented system and method for home page customization and e-commerce support
WO2006053271A1 (en) 2004-11-12 2006-05-18 Mok3, Inc. Method for inter-scene transitions
US20060168114A1 (en) * 2004-11-12 2006-07-27 Arnaud Glatron Audio processing system
WO2006110952A1 (en) * 2005-04-19 2006-10-26 Fairlight.Au Pty Ltd Media processing system and method
US20070064851A1 (en) * 2005-09-02 2007-03-22 Sbc Knowledge Ventures Lp Method for synchronizing a customer edge router or customer premise equipment associated therewith
US20060244818A1 (en) * 2005-04-28 2006-11-02 Comotiv Systems, Inc. Web-based conferencing system
US7506264B2 (en) 2005-04-28 2009-03-17 International Business Machines Corporation Method and apparatus for presenting navigable data center information in virtual reality using leading edge rendering engines
JP2006012127A (ja) * 2005-05-16 2006-01-12 Sony Corp コンテンツ配信システム及びコンテンツ配信方法、並びに端末装置
US8606950B2 (en) * 2005-06-08 2013-12-10 Logitech Europe S.A. System and method for transparently processing multimedia data
KR100686382B1 (ko) 2005-07-08 2007-02-22 엔에이치엔(주) 싱크 서버를 이용한 메신저 알림 시스템 및 방법
US7734692B1 (en) 2005-07-22 2010-06-08 Oracle America, Inc. Network collaboration system with private voice chat
EP1750253B1 (en) * 2005-08-04 2012-03-21 Nuance Communications, Inc. Speech dialog system
WO2007022513A2 (en) * 2005-08-19 2007-02-22 Google Inc. Software architecture for displaying information content from plug-in modules in a user interface
JP2007072739A (ja) * 2005-09-07 2007-03-22 Hitachi Communication Technologies Ltd 多地点会議システム、多地点会議装置およびクライアント端末
US20080214204A1 (en) 2005-11-01 2008-09-04 Jorey Ramer Similarity based location mapping of mobile comm facility users
US8429630B2 (en) * 2005-09-15 2013-04-23 Ca, Inc. Globally distributed utility computing cloud
US9454735B2 (en) 2005-09-26 2016-09-27 Nokia Corporation Integrating data with a contact
US7509654B2 (en) * 2005-09-29 2009-03-24 Avaya Inc. Data-driven and plug-in defined event engine
US8498629B2 (en) * 2005-10-18 2013-07-30 Harris Corporation Extensible human machine interface (HMI) plugin architecture for radio software system and related method
US20070098238A1 (en) 2005-10-31 2007-05-03 Pere Obrador Imaging methods, imaging systems, and articles of manufacture
US20070127668A1 (en) * 2005-12-02 2007-06-07 Ahya Deepak P Method and system for performing a conference call
US7489772B2 (en) 2005-12-30 2009-02-10 Nokia Corporation Network entity, method and computer program product for effectuating a conference session
JP4643454B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 動画像復号装置及び動画像復号方法
US8185437B2 (en) 2007-07-12 2012-05-22 Utbk, Inc. Systems and methods to provide communication connections via partners
US20070184855A1 (en) 2006-02-03 2007-08-09 Research In Motion Limited Visual representation of contact location
US20070192427A1 (en) 2006-02-16 2007-08-16 Viktors Berstis Ease of use feature for audio communications within chat conferences
US20070240134A1 (en) * 2006-02-28 2007-10-11 Joydeep Buragohain Software packaging model supporting multiple entity types
JP4617268B2 (ja) 2006-03-14 2011-01-19 キヤノン株式会社 記憶装置および記憶装置の処理方法
US20070286366A1 (en) 2006-03-17 2007-12-13 Scott Deboy Chat presence system
US8199761B2 (en) * 2006-04-20 2012-06-12 Nokia Corporation Communications multiplexing with packet-communication networks
US20070250540A1 (en) 2006-04-20 2007-10-25 Hsu Mike S C A Computer System with File Attribute Extension
US20080052373A1 (en) 2006-05-01 2008-02-28 Sms.Ac Systems and methods for a community-based user interface
EP2367343B1 (en) * 2006-05-11 2017-03-22 Google, Inc. Audio mixing
US20070280206A1 (en) * 2006-05-31 2007-12-06 Samsung Electronics Co., Ltd. Method for consuming heterogeneous services on heterogeneous devices using script plugins
US7643459B2 (en) 2006-06-16 2010-01-05 Alcatel-Lucent Usa Inc. Methods, devices and architectures for establishing peer-to-peer sessions
US20070291034A1 (en) 2006-06-20 2007-12-20 Dones Nelson C System for presenting a navigable virtual subway system, and method for operating and using the same
US20070299778A1 (en) 2006-06-22 2007-12-27 Microsoft Corporation Local peer-to-peer digital content distribution
US20080005721A1 (en) * 2006-06-29 2008-01-03 Augusta Systems, Inc. Method and System for Rapidly Developing Sensor-Enabled Software Applications
US7469641B2 (en) * 2006-07-19 2008-12-30 Asf-Keystone, Inc. Bolster and spring pockets for use with rail truck
US8869027B2 (en) 2006-08-04 2014-10-21 Apple Inc. Management and generation of dashboards
US20080033941A1 (en) 2006-08-07 2008-02-07 Dale Parrish Verfied network identity with authenticated biographical information
US7991401B2 (en) 2006-08-08 2011-08-02 Samsung Electronics Co., Ltd. Apparatus, a method, and a system for animating a virtual scene
US8817668B2 (en) 2006-09-15 2014-08-26 Microsoft Corporation Distributable, scalable, pluggable conferencing architecture
US20080085502A1 (en) * 2006-10-04 2008-04-10 Ecollege.Com Web service api for student information and course management systems
WO2008067075A2 (en) 2006-10-20 2008-06-05 Citrix Systems, Inc. Systems and methods for responding to the occurrence of an event
CN101170572A (zh) 2006-10-23 2008-04-30 日电（中国）有限公司 基于p2p sip技术实现的多媒体网络通信系统
US20080133580A1 (en) 2006-11-30 2008-06-05 James Andrew Wanless Method and system for providing automated real-time contact information
US8706169B2 (en) 2006-12-28 2014-04-22 Yahoo! Inc. Interface overlay
US8280978B2 (en) 2006-12-29 2012-10-02 Prodea Systems, Inc. Demarcation between service provider and user in multi-services gateway device at user premises
US8554868B2 (en) 2007-01-05 2013-10-08 Yahoo! Inc. Simultaneous sharing communication interface
US7696992B2 (en) 2007-01-16 2010-04-13 Motorola, Inc. Method and apparatus to facilitate multi-setting virtual reality experiences
US20080209075A1 (en) 2007-02-22 2008-08-28 Yahoo! Inc. Synchronous delivery of media content and real-time communication for online dating
US20080215994A1 (en) 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
US8601386B2 (en) 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
US20080263460A1 (en) 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People for Virtual Meeting in Virtual Reality
EP2179549B1 (en) 2007-08-09 2012-03-21 Markport Limited Network resource management
CN101110780A (zh) * 2007-08-24 2008-01-23 张建中 一种传输控制数据流的方法和装置以及系统
US8245241B2 (en) 2007-10-02 2012-08-14 International Business Machines Corporation Arrangements for interactivity between a virtual universe and the world wide web
US7844724B2 (en) 2007-10-24 2010-11-30 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US9357025B2 (en) 2007-10-24 2016-05-31 Social Communications Company Virtual area based telephony communications
US8397168B2 (en) 2008-04-05 2013-03-12 Social Communications Company Interfacing with a spatial virtual communication environment
US7769806B2 (en) 2007-10-24 2010-08-03 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US20130073707A1 (en) 2011-09-16 2013-03-21 Social Communications Company Capabilities based management of virtual areas
US8407605B2 (en) 2009-04-03 2013-03-26 Social Communications Company Application sharing
US8095680B2 (en) * 2007-12-20 2012-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Real-time network transport protocol interface method and apparatus
CN101499080A (zh) 2008-02-01 2009-08-05 网秦无限（北京）科技有限公司 在移动终端上快捷获取信息服务的方法和系统
US20090222742A1 (en) 2008-03-03 2009-09-03 Cisco Technology, Inc. Context sensitive collaboration environment
KR101467767B1 (ko) 2008-03-31 2014-12-03 엘지전자 주식회사 단말기 및 이것의 인스턴트 메시징 서비스 수행 방법
US8531447B2 (en) 2008-04-03 2013-09-10 Cisco Technology, Inc. Reactive virtual environment
US8312380B2 (en) 2008-04-04 2012-11-13 Yahoo! Inc. Local map chat
KR101527993B1 (ko) 2008-04-05 2015-06-10 소우셜 커뮤니케이션즈 컴퍼니 가상 환경과의 인터페이스 방법
US20120246582A1 (en) 2008-04-05 2012-09-27 Social Communications Company Interfacing with a spatial virtual communications environment
US8042051B2 (en) 2008-05-30 2011-10-18 International Business Machines Corporation Apparatus for navigation and interaction in a virtual meeting place
US20100058202A1 (en) 2008-08-28 2010-03-04 Mohamed Rostom Method system and program product for providing enabling an interactive and social search engine
US7962627B2 (en) 2008-12-04 2011-06-14 Microsoft Corporation Peer-to-peer network address translator (NAT) traversal techniques
CN102362283A (zh) 2008-12-05 2012-02-22 社会传播公司 管理网络通信环境中的交互
CN102362269B (zh) * 2008-12-05 2016-08-17 社会传播公司 实时内核
US9124662B2 (en) 2009-01-15 2015-09-01 Social Communications Company Persistent network resource and virtual area associations for realtime collaboration
US8396960B2 (en) 2009-05-08 2013-03-12 Canon Kabushiki Kaisha Efficient network utilization using multiple physical interfaces
US9015280B2 (en) 2009-06-10 2015-04-21 Pioneer Corporation Communication terminal, address resolution server, and computer program
US7921150B1 (en) 2009-10-23 2011-04-05 Eastman Kodak Company Method for viewing videos on distributed networks
US8924261B2 (en) 2009-10-30 2014-12-30 Etsy, Inc. Method for performing interactive online shopping
US20110169927A1 (en) 2010-01-13 2011-07-14 Coco Studios Content Presentation in a Three Dimensional Environment
JP5969476B2 (ja) 2010-08-16 2016-08-17 ソーシャル・コミュニケーションズ・カンパニー ネットワーク通信環境における通信者対話の促進
WO2012034044A2 (en) 2010-09-11 2012-03-15 Social Communications Company Relationship based presence indicating in virtual area contexts
US8863256B1 (en) 2011-01-14 2014-10-14 Cisco Technology, Inc. System and method for enabling secure transactions using flexible identity management in a vehicular environment
US9270784B2 (en) 2011-02-16 2016-02-23 Masque Publishing, Inc. Peer-to-peer communications
WO2012135231A2 (en) 2011-04-01 2012-10-04 Social Communications Company Creating virtual areas for realtime communications
US8837483B2 (en) 2011-04-11 2014-09-16 Alcatel Lucent Mapping private and public addresses
US8612279B2 (en) 2011-06-27 2013-12-17 Cisco Technology, Inc. Ad hoc generation of work item entity for geospatial entity based on symbol manipulation language-based workflow item

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020027319A (ko) * 1999-05-21 2002-04-13 트루채트, 인코퍼레이티드 에지포인트 믹싱을 이용한 통신회의 브리지
US20080046585A1 (en) * 2002-04-19 2008-02-21 Akamai Technologies, Inc. Method of, and system for, webcasting with just-in-time resource provisioning, automated telephone signal acquisition and streaming, and fully-automated event archival
KR20060047792A (ko) * 2004-05-13 2006-05-18 소니 가부시끼 가이샤 오디오 신호 전송 시스템, 오디오 신호 전송 방법, 서버,네트워크 단말기 장치, 기록 매체

Also Published As

Publication number Publication date
US11882165B2 (en) 2024-01-23
KR20110106870A (ko) 2011-09-29
CN102362269A (zh) 2012-02-22
US20140136726A1 (en) 2014-05-15
CN106131178A (zh) 2016-11-16
US20150281348A1 (en) 2015-10-01
CN102362269B (zh) 2016-08-17
WO2010065848A2 (en) 2010-06-10
US10158689B2 (en) 2018-12-18
IL213038A0 (en) 2011-07-31
US20100146085A1 (en) 2010-06-10
US20190132373A1 (en) 2019-05-02
US10972523B2 (en) 2021-04-06
EP2377031A4 (en) 2012-11-21
JP2013084283A (ja) 2013-05-09
US8578000B2 (en) 2013-11-05
KR20130010911A (ko) 2013-01-29
JP2012511213A (ja) 2012-05-17
US20210185105A1 (en) 2021-06-17
US9055131B2 (en) 2015-06-09
US20240114064A1 (en) 2024-04-04
JP5721634B2 (ja) 2015-05-20
WO2010065848A3 (en) 2010-09-16
WO2010065848A9 (en) 2010-11-04
EP2377031A2 (en) 2011-10-19
JP2013065341A (ja) 2013-04-11
KR20130010910A (ko) 2013-01-29

Similar Documents

Publication Publication Date Title
US11882165B2 (en) Realtime kernel
US11418440B2 (en) Routing virtual area based communications
US20220278887A1 (en) Pervasive Realtime Framework
US11785056B2 (en) Web browser interface for spatial communication environments
US9813463B2 (en) Phoning into virtual communication environments
US20130132058A1 (en) Creating and managing virtual areas
US20240106747A1 (en) Routing Virtual Area Based Communications
US20230339816A1 (en) Visual Communications
Singhal et al. InVerse: Designing an interactive universe architecture for scalability and extensibility

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180104

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee