JP2016083225A - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP2016083225A
JP2016083225A JP2014218503A JP2014218503A JP2016083225A JP 2016083225 A JP2016083225 A JP 2016083225A JP 2014218503 A JP2014218503 A JP 2014218503A JP 2014218503 A JP2014218503 A JP 2014218503A JP 2016083225 A JP2016083225 A JP 2016083225A
Authority
JP
Japan
Prior art keywords
user
image
unit
display
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014218503A
Other languages
English (en)
Other versions
JP6396171B2 (ja
JP2016083225A5 (ja
Inventor
陽 徳永
Akira Tokunaga
陽 徳永
昌毅 高瀬
Masatake Takase
昌毅 高瀬
勇二 竹内
Yuji Takeuchi
勇二 竹内
藤原 雅宏
Masahiro Fujiwara
雅宏 藤原
朗 宮下
Akira Miyashita
朗 宮下
啓悟 田村
Keigo Tamura
啓悟 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2014218503A priority Critical patent/JP6396171B2/ja
Priority to KR1020177011615A priority patent/KR102413269B1/ko
Priority to PCT/JP2015/072872 priority patent/WO2016067712A1/ja
Priority to US15/508,206 priority patent/US11109108B2/en
Publication of JP2016083225A publication Critical patent/JP2016083225A/ja
Publication of JP2016083225A5 publication Critical patent/JP2016083225A5/ja
Application granted granted Critical
Publication of JP6396171B2 publication Critical patent/JP6396171B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/79Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/812Ball games, e.g. soccer or baseball
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/87Communicating with other players during game play, e.g. by e-mail or chat
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】効果的にユーザの様子を配信するための技術を提供する。【解決手段】撮像画像取得部120が、カメラ7から撮像画像を取得し、顔認識部122が、撮像画像において複数のユーザの顔画像を検出する。表示ユーザ決定部144は、表示画像に含めるユーザを決定する機能を有し、指示受付部146が切替指示を受け付けると、表示画像に含めるユーザを切り替える。顔画像切出部148は、撮像画像から、決定されたユーザの顔画像を含む領域を切り出し、表示画像生成部160は、切り出した領域を含む表示画像を生成する。【選択図】図4

Description

本発明は、ユーザのカメラ映像を配信する技術に関する。
近年、ユーザが作成またはキャプチャした動画を共有するサービスが普及している。またユーザの端末同士がピアトーピア(P2P)で接続して、互いに直接通信することも可能となっている。このような仕組みを利用して、ユーザはインターネットを介して様々なデータを他のユーザと共有できるようになっている。特許文献1は、配信元のゲーム装置が、受信側のゲーム装置に対してゲームのプレイ状況に関する情報を配信し、受信側のユーザが、配信元のゲーム装置で実行中のゲームに参加することのできるゲーム配信システムを提案している。
特開2012−34793号公報
動画配信サービスにおいて、ユーザは、自身がプレイしているゲーム画像とともに、カメラで撮影した自身の様子も一緒に配信することがある。いわゆる「顔出し」配信であるが、ユーザは顔出しすることで、視聴者との距離を縮めることができ、また視聴者数の獲得にもつなげられる。そのため、「顔出し」配信を効果的に行う技術に対するニーズが存在する。
そこで本発明は、効果的にユーザの様子を配信するための技術を提供することを目的とする。
上記課題を解決するために、本発明のある態様の情報処理装置は、撮像装置から撮像画像を取得する画像取得部と、撮像画像において複数のユーザの顔画像を検出する顔認識部と、表示画像に含めるユーザを決定する表示ユーザ決定部と、撮像画像から、決定されたユーザの顔画像を含む領域を切り出す顔画像切出部と、切り出した領域を含む表示画像を生成する表示画像生成部と、指示を受け付ける指示受付部と、を備える。指示受付部が受け付けた指示をもとに、表示ユーザ決定部が、表示画像に含めるユーザを決定して、顔画像切出部が、決定されたユーザの顔画像を含む領域を切り出す。
本発明の別の態様もまた、情報処理装置である。この装置は、撮像装置から撮像画像を取得する画像取得部と、撮像画像において複数のユーザの顔画像を検出する顔認識部と、所定の音声コマンドを、表示画像に含めるユーザの切替指示として受け付ける指示受付部と、切替指示をもとに、表示画像に含めるユーザを決定する表示ユーザ決定部と、撮像画像から、決定されたユーザの顔画像を含む領域を切り出す顔画像切出部と、切り出した領域を含む表示画像を生成する表示画像生成部と、を備える。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明の情報処理技術によると、効果的にユーザの様子を配信するための技術を提供することが可能となる。
本発明の実施例にかかる情報処理システムを示す図である。 入力装置の外観構成を示す図である。 情報処理装置の機能ブロックを示す図である。 情報処理装置の構成を示す図である。 ゲーム画面の一例を示す図である。 共有処理の選択肢を示す入力画面の一例を示す図である。 設定画面の一例を示す図である。 カメラ映像の重畳態様を設定する画面の一例を示す図である。 カメラによって撮影される空間の一例を示す図である。 顔認識部による顔識別結果を示す図である。 ユーザAのカメラ映像を重畳したゲーム画面を示す図である。 ユーザCのカメラ映像を重畳したゲーム画面を示す図である。 ユーザBのカメラ映像を重畳したゲーム画面を示す図である。 ユーザ名、識別ワードの画面表示例を示す図である。 顔認識部による顔識別結果を示す図である。 全てのユーザを含むカメラ映像を重畳したゲーム画面を示す図である。
図1は、本発明の実施例にかかる情報処理システム1を示す。情報処理システム1は、配信主となるユーザがプレイ中のゲーム画像をライブ配信し、別の視聴ユーザがゲーム画像を視聴する環境を実現する。情報処理システム1は、配信ユーザが利用する情報処理装置10と、ネットワークサーバ5と、共有サーバ11と、各種の端末装置9a、9bを備え、これらはインターネットやLAN(Local Area Network)、電話網などのネットワーク3を介して接続している。アクセスポイント(以下、「AP」とよぶ)8は、無線アクセスポイントおよびルータの機能を有し、情報処理装置10は、無線または有線経由でAP8に接続して、ネットワーク3上のネットワークサーバ5、共有サーバ11と通信可能に接続する。
情報処理装置10は、ユーザが操作する入力装置6と無線または有線で接続し、入力装置6はユーザが操作した情報を情報処理装置10に出力する。情報処理装置10は入力装置6から操作情報を受け付けるとシステムソフトウェアやアプリケーションソフトウェアの処理に反映し、出力装置4から処理結果を出力させる。情報処理システム1において情報処理装置10はゲームを実行するゲーム装置であり、入力装置6はゲームコントローラなど情報処理装置10に対してユーザの操作情報を供給する機器であってよい。情報処理装置10は、端末装置9a、9bに対して、プレイ中のゲーム画像データをストリーミング配信し、したがって実施例における情報処理システム1は、ゲーム画像配信システムとして動作する。
ネットワークサーバ5は情報処理装置10のユーザに対してゲームのネットワークサービスを提供する。ネットワークサーバ5はユーザを識別するネットワークアカウントを管理しており、ユーザは、ネットワークアカウントを用いて、ネットワークサーバ5が提供するネットワークサービスにサインインする。ユーザは情報処理装置10からネットワークサービスにサインインすることで、ネットワークサーバ5に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品(トロフィ)を登録できる。
この例では、3人のユーザA、B、Cが情報処理装置10で一緒にゲームをプレイしており、ユーザAは入力装置6aを、ユーザBは入力装置6bを、ユーザCは入力装置6cをそれぞれ操作している。出力装置4には、プレイ中のゲーム画像が表示されており、このゲーム画像は、共有サーバ11を通じて、視聴ユーザの端末装置9a、9bに配信されている。図1においては端末装置9aがパーソナルコンピュータであって、AP経由でネットワーク3に接続し、また端末装置9bがスマートフォンなどのモバイル機器であって、基地局を経由してネットワーク3に接続している様子を示しているが、視聴ユーザは、情報処理装置10と同じ端末装置で、ゲーム画像の配信を受けてもよい。なお別の例では、情報処理装置10と端末装置とがP2Pで接続して、互いにデータを送受信するようにしてもよい。以下、特に区別しない場合には、視聴ユーザの端末を「端末装置9」と総称する。
補助記憶装置2はHDD(ハードディスクドライブ)やフラッシュメモリなどの大容量記憶装置であり、USB(Universal Serial Bus)などによって情報処理装置10と接続する外部記憶装置であってよく、内蔵型記憶装置であってもよい。出力装置4は画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置4は、情報処理装置10に有線ケーブルで接続されてよく、無線接続されてもよい。
入力装置6は複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。撮像装置であるカメラ7は出力装置4の近傍に設けられ、出力装置4周辺の空間を撮像する。図1ではカメラ7が出力装置4の上部に取り付けられている例を示しているが、出力装置4の側方に配置されてもよく、いずれにしても出力装置4の前方でゲームをプレイするユーザA、B、Cを撮像できる位置に配置される。カメラ7は、ステレオカメラであってもよい。情報処理システム1では、ユーザを撮影したカメラ画像データが、ユーザがプレイするゲーム画像データとともに、視聴ユーザの端末装置9にリアルタイムで配信される。なおカメラ画像は、ゲーム画像に重畳されて合成され、又はカメラ画像とゲーム画像とは重ならないように合成されて、合成された画像データが端末装置9に配信される。
入力装置6のボタン構成について説明する。
[上面部の構成]
図2(a)は、入力装置上面の外観構成を示す。ユーザは左手で左側把持部78bを把持し、右手で右側把持部78aを把持して、入力装置6を操作する。入力装置6の筐体上面には、入力部である方向キー71、アナログスティック77a、77bと、4種の操作ボタン76が設けられている。筐体上面上において、方向キー71と操作ボタン76の間の平坦な領域には、タッチパッド79が設けられる。タッチパッド79は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。
2つのアナログスティック77a、77bの間に機能ボタン80が設けられる。機能ボタン80は、入力装置6の電源をオンし、同時に入力装置6と情報処理装置10とを接続する通信機能をアクティブにするために使用される。入力装置6が情報処理装置10と接続した後は、機能ボタン80は、情報処理装置10にホーム画面を表示させるためにも使用される。
SHAREボタン81は、タッチパッド79と方向キー71の間に設けられる。SHAREボタン81は、情報処理装置10におけるOSないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。OPTIONSボタン82は、タッチパッド79と操作ボタン76の間に設けられる。OPTIONSボタン82は、情報処理装置10において実行されるアプリケーション(ゲーム)に対するユーザからの指示を入力するために利用される。SHAREボタン81およびOPTIONSボタン82は、いずれもプッシュ式ボタンとして形成されてよい。
[奥側側面部の構成]
図2(b)は、入力装置奥側側面の外観構成を示す。入力装置6の筐体奥側側面の上側には、タッチパッド79が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部85が設けられる。発光部85は、赤(R)、緑(G)、青(B)のLEDを有し、情報処理装置10から送信される発光色情報にしたがって点灯する。図1に示すように、3台の入力装置6a、6b、6cが使用されている場合、情報処理装置10は、ユーザA、B、Cが各入力装置6を区別できるように、入力装置6a、6b、6cの発光部85の点灯色を異なる色、それぞれ青、赤、緑と定めてよい。これにより各ユーザは、自分が使用している入力装置6を発光部85の点灯色によって認識できるため、入力装置6を取り違える可能性が低減される。
筐体奥側側面において、上側ボタン83a、下側ボタン84aと、上側ボタン83b、下側ボタン84bとが長手方向の左右対称な位置に設けられる。上側ボタン83a、下側ボタン84aは、それぞれユーザ右手の人差し指、中指により操作され、上側ボタン83b、下側ボタン84bは、それぞれユーザ左手の人差し指、中指により操作される。図示されるように発光部85が、右側の上側ボタン83a、下側ボタン84aの並びと、左側の上側ボタン83b、下側ボタン84bの並びの間に設けられることで、各ボタンを操作する人差し指または中指によって隠れることはなく、カメラ7は、点灯した発光部85を好適に撮像できる。上側ボタン83はプッシュ式ボタンとして構成され、下側ボタン84は回動支持されたトリガー式のボタンとして構成されてよい。
図3は、情報処理装置10の機能ブロックを示す。情報処理装置10は、メイン電源ボタン20、電源ON用LED21、スタンバイ用LED22、システムコントローラ24、クロック26、デバイスコントローラ30、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60を有して構成される。
メインシステム60は、メインCPU(Central Processing Unit)、主記憶装置であるメモリおよびメモリコントローラ、GPU(Graphics Processing Unit)などを備える。GPUはゲームプログラムの演算処理に主として利用される。メインCPUはOSを起動し、OSが提供する環境下において、補助記憶装置2にインストールされたアプリケーションを実行する機能をもつ。サブシステム50は、サブCPU、主記憶装置であるメモリおよびメモリコントローラなどを備え、GPUを備えない。
メインCPUは補助記憶装置2やROM媒体44にインストールされているゲームプログラムを実行する機能をもつ一方で、サブCPUはそのような機能をもたない。しかしながらサブCPUは補助記憶装置2にアクセスする機能、ネットワークサーバ5との間でデータを送受信する機能を有している。サブCPUは、このような制限された処理機能のみを有して構成されており、したがってメインCPUと比較して小さい消費電力で動作できる。これらのサブCPUの機能は、メインCPUがスタンバイ状態にある際に実行される。実施例の情報処理装置10は、メインシステム60のスタンバイ時にはサブシステム50が稼働しているため、ネットワークサーバ5が提供するネットワークサービスに、常時サインインした状態を維持する。
メイン電源ボタン20は、ユーザからの操作入力が行われる入力部であって、情報処理装置10の筐体の前面に設けられ、情報処理装置10のメインシステム60への電源供給をオンまたはオフするために操作される。電源ON用LED21は、メイン電源ボタン20がオンされたときに点灯し、スタンバイ用LED22は、メイン電源ボタン20がオフされたときに点灯する。システムコントローラ24は、ユーザによるメイン電源ボタン20の押下を検出する。
クロック26はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ24やサブシステム50およびメインシステム60に供給する。
デバイスコントローラ30は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するLSI(Large-Scale Integrated Circuit)として構成される。図示のように、デバイスコントローラ30には、システムコントローラ24、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60などのデバイスが接続される。デバイスコントローラ30は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
メディアドライブ32は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したROM媒体44を装着して駆動し、ROM媒体44からプログラムやデータなどを読み出すドライブ装置である。ROM媒体44は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。
USBモジュール34は、外部機器とUSBケーブルで接続するモジュールである。USBモジュール34は補助記憶装置2およびカメラ7とUSBケーブルで接続してもよい。フラッシュメモリ36は、内部ストレージを構成する補助記憶装置である。無線通信モジュール38は、Bluetooth(登録商標)プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置6と無線通信する。なお無線通信モジュール38は、ITU(International Telecommunication Union;国際電気通信連合)によって定められたIMT−2000(International Mobile Telecommunication 2000)規格に準拠した第3世代(3rd Generation)デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール40は、外部機器と有線通信し、たとえばAP8を介してネットワーク3に接続する。
図4は、ストリーミングデータの配信装置として動作する情報処理装置10の構成を示す。情報処理装置10は処理部100、通信部102、受付部104、マイク110および登録ユーザ情報保持部170を備え、処理部100はアプリケーション実行部106、アプリケーション画像生成部108、撮像画像取得部120、顔認識部122、音声取得部130、音声認識部132、顔画像生成部140、表示画像生成部160および共有処理部162を備える。顔画像生成部140は、順序決定部142、表示ユーザ決定部144、指示受付部146および顔画像切出部148を有する。
図4において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
通信部102は、入力装置6の操作情報を受信し、また処理部100で生成したコンテンツを、共有サーバ11経由で他の端末装置9に配信する。端末装置9のユーザは、ネットワーク3に接続する共有サーバ11にアクセスして、情報処理装置10から配信されているコンテンツを視聴できる。ここでコンテンツは、ユーザA、B、Cがプレイしているゲーム画像である。通信部102は図3に示す無線通信モジュール38および有線通信モジュール40の機能を併せ持つ構成として表現している。なお通信部102は、他の端末装置9に直接コンテンツを配信してもよい。
受付部104は、通信部102と処理部100との間に設けられ、通信部102と処理部100との間でデータないしは情報を伝送する。受付部104は通信部102を介して入力装置6の操作情報を受け付けると、その操作情報を処理部100におけるアプリケーション実行部106、顔画像生成部140または共有処理部162などに供給する。また受付部104は、表示画像生成部160からコンテンツを受け付け、通信部102に提供する。
登録ユーザ情報保持部170は補助記憶装置2の記憶領域に形成されて、情報処理装置10に登録されているユーザに関する様々な情報を保持し、具体的には、ユーザアカウントに関連付けて、ログイン用パスコード、ネットワークサーバ5にサインインするためのサインインID、ネットワークアカウント、ユーザのオンラインID(ネットワーク上でのユーザ名)、またユーザを表現するためのユーザアイコンなどを、登録ユーザ情報として保持している。顔認識処理のために予め顔画像を登録している登録ユーザに関しては、登録ユーザ情報保持部170が、ユーザアカウントに関連付けて、顔識別用データを登録ユーザ情報として保持している。
ここで顔識別用データは、登録ユーザの顔画像の特徴量データであるが、顔画像データそのものであってもよい。顔識別用データは、顔認識部122による顔認識処理において比較対象とされるデータであり、顔認識部122が採用する顔認識アルゴリズムにしたがって生成される。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、顔画像の標準データからの差分データとして抽出したデータであってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まり、実施例では顔認識部122が既知の顔認識アルゴリズムを採用している。なお、顔画像を登録していない登録ユーザに関しては、当然のことながら、顔識別用データは、登録ユーザ情報保持部170に含まれていない。
実施例において、アプリケーション実行部106は、ゲームプログラムを実行する。アプリケーション実行部106は、ユーザA〜Cのそれぞれから入力装置6a〜6cに入力された操作情報をもとに、仮想空間においてゲームキャラクタを動かす演算処理を行う。ここでアプリケーション実行部106は、アプリケーション(ゲームプログラム)そのものであってよい。アプリケーション画像生成部108はレンダリング処理などを実行するGPU(Graphics Processing Unit)であってよく、アプリケーション実行部106による処理結果を受けて、アプリケーション(ゲーム)の画像データを生成する。表示画像生成部160は、後述する共有処理が開始される前、アプリケーション画像生成部108で生成されたゲーム画像を、そのまま表示画像として出力装置4から出力する。
図5は、出力装置4に表示されるゲーム画面の一例を示す。この例では、ユーザA〜Cが、一緒にサッカーゲームを楽しんでいる。なおアプリケーション実行部106が、ゲーム以外のアプリケーションを実行し、アプリケーション画像生成部108が、ゲーム以外のアプリケーション画像データを生成してもよい。
実施例の共有処理部162は、アプリケーション画像生成部108で生成されたゲーム画像データを他のユーザと共有するための機能を実現する。この共有処理は、情報処理装置10でゲームプレイをしているユーザA〜Cのいずれかが、自身の入力装置6に設けられた特定の入力部、ここではSHAREボタン81を操作したことを契機として実行される。ここで共有処理とは、出力装置4に表示される画面を、端末装置9にて別のユーザが視聴可能な状態にすること、または端末装置9にて別のユーザが実際に視聴することを意味する。以下、ユーザAが入力装置6aのSHAREボタン81を操作した場合について説明する。
ゲームプレイ中、受付部104が、ユーザAの入力装置6aからSHAREボタン81の操作情報を受け付けると、共有処理部162は、アプリケーション画像生成部108により生成されたゲーム画像データを他のユーザと共有するための処理を行う。まず最初に共有処理部162は、画像データの共有に関する選択肢を示す入力画像を生成する。
図6は、共有処理の選択肢を示す入力画面の一例を示す。この入力画面において、コンテンツ共有に関する3つの選択肢が示される。“ビデオクリップをアップロードする”は、補助記憶装置2に記録された画像データを共有サーバ11にアップロードすることを指定するGUI、“スクリーンショットをアップロードする”は、スクリーンショットの画像データを共有サーバ11にアップロードすることを指定するGUI、“ゲームプレイをブロードキャストする”は、ゲームのプレイ映像を共有サーバ11を介してライブ中継することを指定するGUIである。ユーザAは入力装置6aを操作して枠200を動かし、いずれかのGUIを選択して決定ボタンを押すことで、選択した共有処理が実行される。
図7は、“ゲームプレイをブロードキャストする”が選択された場合に表示される設定画面の一例を示す。この設定画面には、ブロードキャストの態様を設定するための項目が含まれる。実施例においてはユーザAが少なくとも“カメラの映像をブロードキャストに含める”ことに同意し、ゲームのプレイ映像とともに、カメラ7の映像が一緒に配信される。“カメラの映像をブロードキャストに含める”ことが選択されると、表示画像生成部160は、ゲーム画面とカメラ映像とを合成した表示画像を生成して出力装置4から出力し、また共有処理部162は、表示画像生成部160で生成された表示画像をエンコードして、配信画像として配信する。したがって共有処理では、プレイユーザが見る画面と同じ画面が視聴ユーザに配信されるようになる。なお実施例では、ゲーム画像が共有サーバ11を介して共有されるが、P2Pによりゲーム画像が端末装置9に配信されてもよい。
表示画像生成部160は、第1の領域にゲーム画像を配置し、第2の領域にカメラ画像を配置した表示画像を生成する。以下に説明するように、表示画像生成部160は、第2の領域を、第1の領域内に設定してもよく、また第1の領域と第2の領域とが重ならないように設定してもよい。第2の領域を、第1の領域に対してどの位置に設定するかは、カメラ映像の配信態様に依存する。
共有処理部162は、カメラ映像の配信態様をユーザが選択できるようにする。図7に示す設定画面において、ユーザが“画面にコメントを表示する”を選択すると、ゲーム画面には重ならない位置にコメント表示欄が作成される。つまり表示画像生成部160が生成する表示画像において、ゲーム画面が若干縮小表示され、縮小したことによる余白部分にカメラ映像とコメント表示欄とが配置される。なおユーザが“画面にコメントを表示する”を選択すると、“カメラの映像の重畳態様を設定する”が選択できないようにグレーアウト表示される。一方で、ユーザが“画面にコメントを表示する”を選択しなければ、全画面表示されるゲーム画面に、カメラ映像が重畳表示される。この場合、表示画像生成部160は、第1の領域を全画面としてゲーム画像を配置し、第1の領域内の第2の領域にカメラ映像を表示する。
“画面にコメントを表示する”が選択されない状態で、ユーザが“カメラの映像の重畳態様を設定する”を選択すると、共有処理部162は、カメラ映像の重畳態様をユーザに設定させる設定画面を出力装置4に表示する。
図8は、カメラ映像の重畳態様を設定する画面の一例を示す。この設定画面においては、ゲーム画面中にカメラ映像を埋め込む位置、サイズおよびアスペクト比が少なくとも選択できるようにされ、プレビュー画面において、選択した位置、サイズおよびアスペクト比に応じたカメラ映像が表示される。このようにカメラ映像をゲーム画面に重畳する場合には、全画面表示されるゲーム画面の一部の領域に、カメラ映像が埋め込まれる。たとえば“位置”の選択肢として、右上、右下、左上、左下の4つが用意され、“サイズ”の選択肢として、小、中、大の3つが用意され、“アスペクト比”の選択肢として、通常、ワイドの2つが用意されてよい。なおアスペクト比はカメラ映像の縦横比を表現し、たとえば“通常”は1:1、“ワイド”は9:16のカメラ映像枠を設定する。
また設定画面においては、カメラ映像の加工態様の選択肢が提供される。加工態様として“背景”と“エフェクト”の項目が用意され、“背景”項目は、カメラ映像に含まれるユーザの背景を変更するか否か、また“エフェクト”項目は、カメラ映像にエフェクトを施さないか、施す場合にはどのエフェクトを施すかを、ユーザが選択できるようにしている。なお“背景”項目を“変更しない”、“エフェクト”項目を“なし”に設定すると、ユーザに関して切り出したカメラ映像が、そのままゲーム画面に埋め込まれるようになる。
ユーザが決定ボタンを押すと、図7に示す設定画面に戻るが、ユーザにより設定されたカメラ映像の配信態様は、表示画像生成部160に提供され、表示画像生成部160は、この配信態様にしたがってカメラ映像をゲーム画面に埋め込んだ表示画像を生成する。なお図8に示す設定画面は、共有処理の開始後であっても、ユーザが機能ボタン80を操作して呼び出せるようにされ、共有処理中にカメラ映像の重畳態様が再設定できるようにしてもよい。以下の例では、ユーザが、カメラ映像をゲーム画面の右上領域に重畳することを選択した場合について説明する。
図7に示す設定画面において、ユーザが枠202を“ブロードキャストをはじめる”に配置して決定ボタンを押すと、受付部104が、ブロードキャストの開始を共有処理部162に通知する。図4に戻り、共有処理部162による共有処理が開始されると、顔認識部122による顔認識処理が開始される。
図9は、カメラ7によって撮影される空間の一例を示す。この撮影空間には、3人のユーザA〜Cが存在している。図9において3人のユーザを取り囲む四角の枠はカメラ7の撮像範囲(画角)を表現している。撮像画像取得部120は、カメラ7から撮像画像データを取得する。たとえばカメラ7は周期的(たとえば1/30秒ごと)に空間を撮像して、撮像画像をUSBモジュール34を経由して撮像画像取得部120に提供する。顔認識部122は、撮像画像において複数のユーザの顔画像を検出する。ここで顔認識部122は、撮像画像において、人の顔と推定される部分を検出して抜き出し、その部分の特徴量データを導出して、登録ユーザ情報保持部170に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であるか否かを判定する。
具体的に顔認識部122は、抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部170に保持されている全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、たとえば100点満点中の何点という形で一致度が導出される。登録された顔画像の特徴量データとの一致度が90点を超えていれば、顔認識部122は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。なお一致度が90点を超えるものが複数存在する場合には、顔認識部122は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が90点を超えるものがなければ、顔認識部122は、撮像画像に含まれるユーザが、顔画像を登録したユーザでないことを判定する。このように顔認識部122は、登録ユーザ情報保持部170に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この顔識別技術は、既知の技術を用いてよい。
図10は、顔認識部122による顔識別結果を示す。ここでは、左側のユーザがユーザAであること、真ん中のユーザがユーザBであること、右側のユーザがユーザCであることが判定されている。顔認識部122は、ユーザAの顔の撮像画像中の位置を示す顔領域204aと、ユーザBの顔の撮像画像中の位置を示す顔領域204bと、ユーザCの顔の撮像画像中の位置を示す顔領域204cとを、カメラ画像中の座標で設定する。各顔領域204は、ユーザの顔画像に外接する矩形領域として設定されてよい。
顔画像生成部140は、ゲーム画面に合成するための顔画像を生成する。実施例において、カメラ7により複数のユーザが撮影されている場合には、顔画像生成部140は、ユーザの顔画像を切り替えて、表示画像生成部160に提供する。切り替えるタイミングは、ユーザにより所定のコマンドが入力されたときであり、ユーザが所定のコマンドを入力すると、予め定めた表示順序にしたがって、顔画像が切り替えられる。
順序決定部142は、複数のユーザの表示順序を決定する。たとえば1番目は、共有処理を指示したユーザAに設定し、2番目以降は、顔領域204の大きい順から上位に設定する。実施例において、ゲームをプレイする全てのユーザは情報処理装置10にログインしており、したがって情報処理装置10は、各ユーザが操作する入力装置6と、そのユーザとを対応付けて管理している。そのため情報処理装置10は、SHAREボタン81を操作したユーザがユーザAであることを把握しており、順序決定部142は、ユーザAを、1番目の順序に設定する。続いて順序決定部142は、他のユーザ、すなわちユーザB、Cの顔領域204b、204cの大きさを比較し、大きい順に、上位の順序に設定する。たとえば顔領域204cが顔領域204bよりも大きければ、順序決定部142は、ユーザCを2番目の順序に、ユーザBを3番目の順序に設定する。顔領域204の大きさの比較は、面積を基準として行われてよい。顔領域204の大きいユーザの表示順序を上位とするのは、ゲームに熱くなるユーザほど出力装置4に近い位置でプレイする傾向があることを利用しており、顔領域204の大きいユーザは、それだけ出力装置4に近い位置でプレイしていると考えられるため、表示順序を上位としている。
なお、この例では、ユーザA〜Cの全てが顔画像を登録しているユーザであり、顔認識部122が各ユーザを特定しているが、ユーザによっては、顔画像を登録していないものもいる。そのため順序決定部142は、顔画像を登録しているユーザの順序が、顔画像を登録していないユーザの順序よりも高くなるように設定してもよい。また順序決定部142は、正面を向いているユーザの順序が、正面を向いていないユーザの順序よりも高くなるように設定してもよい。ユーザの顔の向きは、顔認識部122により検出されて、順序決定部142に通知されてよい。また順序決定部142は、カメラ7からの距離の実測値をもとに、距離の近い順に順序を設定してもよい。カメラ7はステレオカメラであるため、順序決定部142は2枚の撮像画像からカメラ7とユーザとの距離を求め、ユーザの順序を決定してもよい。
なお撮像画像には、プレイユーザ以外に、ゲームプレイをただ見ているだけのユーザが含まれていることもある。このようなユーザであっても、顔認識部122は撮像画像において顔画像を検出して顔領域204を設定し、順序決定部142は、表示順序付けの対象とする。顔認識部122は、顔検出されたユーザの顔の下方に入力装置6が存在するか検出し、存在していればプレイユーザであり、存在していなければ非プレイユーザであることを判定してもよい。このとき順序決定部142は、プレイユーザの順序が、非プレイユーザの順序よりも高くなるように設定してもよい。なお上記の例では、SHAREボタン81を操作したユーザAに、1番の表示順序が設定されることを説明したが、順序決定部142は、顔領域204の大きさの順、またはカメラ7との実測距離の近い順に、複数のユーザの表示順序を決定してもよい。
顔画像切出部148は、顔認識部122により設定された顔領域204a〜204cをもとに、各ユーザの切出領域206a〜206cを定める。この切出領域206は、ゲーム画面に重畳する際に撮像画像から切り出す領域であり、1人のユーザの顔領域204を含み、且つ顔領域204よりも広い領域に設定される。切出領域206は、顔領域204を上下左右方向に広げた矩形領域に設定されることが好ましい。顔領域204よりも広い領域とすることで、ユーザが多少顔を動かしても、切出領域206内で顔が確実に撮影されるようになる。
顔認識部122は、常時ユーザの顔を追跡処理(トラッキング)することが理想的であるが、顔認識処理には大きなCPU負荷がかかるため、CPUパワーによっては追跡処理が容易でないこともある。そのため顔認識部122が、ユーザの顔をトラッキングしない場合には、顔画像切出部148は、設定した切出領域206a〜206cを固定して、ユーザの顔画像を切り出すようにしてもよい。そのためにも顔画像切出部148は、切出領域206を広めに設定しておくことが好ましい。
以下、順序決定部142が、1番をユーザA、2番をユーザC、3番をユーザBと順序付けしたものとする。なお実施例では顔認識部122が、撮像画像中の左側のユーザがユーザAであること、真ん中のユーザがユーザBであること、右側のユーザがユーザCであることを特定しているため、順序決定部142が、1番をユーザA、2番をユーザC、3番をユーザBと順序付けできている。しかしながら既述したように、撮像画像中には、プレイしていないユーザや、顔画像を登録していないユーザも含まれることがあり、撮像されたユーザが誰であるか特定できないことも生じうる。そこで順序決定部142は、実際には、ユーザが誰であるかを特定する必要はなく、検出された顔領域204aのユーザを1番、顔領域204cのユーザを2番、顔領域204bのユーザを3番と順序付けすればよい。以下では、説明の便宜上、検出された顔領域204aのユーザをユーザA、顔領域204cのユーザをユーザC、顔領域204bのユーザをユーザBと呼んで説明を行う。
表示ユーザ決定部144は、表示画像生成部160で生成する表示画像に含めるユーザを決定する。ここで表示ユーザ決定部144は、順序決定部142で決定された表示順序にしたがって、ゲーム画面に重畳するユーザを決定する。顔画像切出部148は、撮像画像から、表示ユーザ決定部144により決定されたユーザの顔画像を含む領域を切り出し、表示画像生成部160は、切り出した領域を含む表示画像を生成する。
具体的に、共有処理が開始すると、まず表示ユーザ決定部144は、順序を1番に設定されたユーザAを表示ユーザとして決定し、顔画像切出部148に通知する。顔画像切出部148は、ユーザAの切出領域206aを撮像画像から切り出し、表示画像生成部160に提供する。表示画像生成部160は、アプリケーション画像生成部108からゲーム画像の提供も受ける。表示画像生成部160は、共有処理部162において設定されたカメラ映像の重畳態様にしたがって、ゲーム映像上の領域に、切り出したカメラ映像を重畳した表示画像を生成する。生成された表示画像は、出力装置4から出力されるとともに、共有処理部162により通信部102を介して共有サーバ11に配信される。
図11は、ユーザAのカメラ映像を重畳したゲーム画面を示す。カメラ映像の重畳態様により指定された表示領域210には、ユーザAに関して切り出されたカメラ映像が表示されている。このゲーム画面は、出力装置4において表示されるとともに、共有サーバ11を経由して端末装置9にも配信される。このように情報処理システム1においては、視聴ユーザが、ゲームプレイしているユーザと同じゲーム画面を見ることができる。
図4を参照して、音声取得部130は、マイク110に入力された音声を取得する。ゲームをプレイ中のユーザA〜Cは、コマンドを発声することで、表示領域210に表示されているカメラ映像を切り替えることができる。発声するユーザは、誰であってもよく、プレイユーザA〜C以外のユーザであってもよい。
音声認識部132は、音声取得部130で取得した音声を解析して、所定のコマンドであるか判定する。音声認識部132の音声認識機能は、ユーザによる所定のワード、たとえば“音声認識オン”の発声を検出するように構成されており、“音声認識オン”の発声を検出することで、所定時間、他の音声(ワード)も認識できるように構成されている。つまり音声認識部132は、“音声認識オン”の発声を検出することで、検出後、所定時間内に音声取得部130で取得した音声を音声解析する。たとえば、カメラ映像を切り替えるための音声コマンドは「顔を探す」であり、音声認識部132が、ユーザが「顔を探す」と発声したことを検出すると、音声コマンドであることを認識して、指示受付部146に、音声コマンドが入力されたことを通知する。指示受付部146は、音声コマンドの入力があったことを通知されると、その音声コマンドを、表示画像に含めるユーザの切替指示として受け付ける。指示受付部146が、切替指示を受け付けると、表示ユーザ決定部144が、切替指示をもとに、表示画像に含めるユーザを切り替えるように決定する。具体的に表示ユーザ決定部144は、順序決定部142で決定された表示順序にしたがって表示画像に含めるユーザを決定する。
表示ユーザ決定部144は、表示中のユーザの次順のユーザを表示ユーザとして決定し、具体的にはユーザAの次順であるユーザCを表示ユーザとして決定する。決定された表示ユーザは顔画像切出部148に通知され、顔画像切出部148は、ユーザCの顔画像を含む切出領域206cを撮像画像から切り出し、表示画像生成部160に提供する。表示画像生成部160は、ゲーム画面中の表示領域210に、撮像画像中の切出領域206cのカメラ映像を埋め込み、表示画像を生成する。
図12は、ユーザCのカメラ映像を重畳したゲーム画面を示す。表示領域210には、ユーザCに関して切り出されたカメラ映像が表示されている。このゲーム画面は、出力装置4において表示されるとともに、共有サーバ11を経由して端末装置9にも配信される。
図12に示すゲーム画面が表示されている状態で、音声認識部132が、音声取得部130で取得した音声が「顔を探す」であることを検出すると、指示受付部146に、音声コマンドが入力されたことを通知する。指示受付部146は、音声コマンドの入力があったことを通知されると、その音声コマンドを、表示画像に含めるユーザの切替指示として受け付け、表示ユーザ決定部144が、順序決定部142で決定された順序をもとに、表示画像に含めるユーザを切り替えるように決定する。表示ユーザ決定部144は、表示中のユーザの次順のユーザを表示ユーザとして決定し、具体的にはユーザCの次順であるユーザBを表示ユーザとして決定する。決定された表示ユーザは顔画像切出部148に通知され、顔画像切出部148は、ユーザBの顔画像を含む切出領域206bを撮像画像から切り出し、表示画像生成部160に提供する。表示画像生成部160は、ゲーム画面中の表示領域210に、撮像画像中の切出領域206bのカメラ映像を埋め込み、表示画像を生成する。
図13は、ユーザBのカメラ映像を重畳したゲーム画面を示す。表示領域210には、ユーザBに関して切り出されたカメラ映像が表示されている。この状態で、音声認識部132が、音声取得部130で取得した音声が「顔を探す」であることを検出すると、指示受付部146に、音声コマンドが入力されたことを通知する。指示受付部146は、音声コマンドの入力があったことを通知されると、その音声コマンドを、表示画像に含めるユーザの切替指示として受け付け、表示ユーザ決定部144が、順序決定部142で決定された順序をもとに、表示画像に含めるユーザを切り替えるように決定する。表示ユーザ決定部144は、次順のユーザを表示ユーザとして決定するが、次順のユーザがいない場合には、先頭に戻って表示ユーザを決定する。つまり表示中のユーザがユーザCである場合には、その次順のユーザがいないため、1番のユーザAが表示ユーザとして決定され、顔画像切出部148が、ユーザAの切出領域206aを撮像画像から切り出し、表示画像生成部160が、ゲーム画面中の表示領域210に、撮像画像中の切出領域206aのカメラ映像を埋め込み、表示画像を生成する。
このようにユーザは、表示するカメラ映像を簡単に切り替えることができる。これにより視聴ユーザは、プレイ環境にいる様々なユーザの様子を見ることができ、プレイ環境の雰囲気を感じられるようになる。また音声コマンドによりカメラ映像を切り替えるようにしたことで、ユーザは、入力装置6をゲーム操作に集中して使用でき、カメラ映像の切り替え作業を容易に実現できるようになる。特に、素早いゲーム操作が必要となるゲームにおいては、カメラ映像の切り替えを入力装置6で指示することは困難なことも想定されるため、音声コマンドで切替指示を生成できることは意義が高い。
一方で指示受付部146は、入力装置6の所定の操作を、カメラ映像の切替指示として受け付けてもよい。情報処理装置10がマイク110を備えておらず、音声認識部132が音声コマンドを受け付けられない場合に、入力装置6の所定の操作をカメラ画像の切替指示として利用することは、有効となる。
以上の説明においては、設定した切出領域206a〜206cの座標を固定して、カメラ映像の切替指示にしたがって、表示画像に含める切出領域206を順次切り替えていった。音声認識部132の音声認識機能が、ユーザが所定のワードを発声することで所定時間、他の発声も音声解析するように構成されている場合、音声認識機能の起動中に、ユーザが「顔を探す」と発声したことを検出すると、音声コマンドであることを認識して、表示画像に含める切出領域206が切り替えられる。一方、所定時間が経過して音声認識機能が終了し、あらためてユーザが所定のワードを発声することで音声認識機能が起動された後は、ユーザが「顔を探す」と発声したことを検出すると、顔認識部122に対して顔認識処理の実行指示を通知して、顔認識部122が、顔認識処理を再実行し、ユーザの顔領域204を再設定するようにしてもよい。このとき順序決定部142は、複数のユーザの表示順序を再決定し、顔画像切出部148が切出領域206を再設定してもよい。
なおCPUパワーが十分である場合には、顔認識部122は、ユーザの顔を追跡して、常時、顔領域204を更新していくことが好ましい。この場合、顔画像切出部148は、顔認識部122から顔領域204の座標を取得し、顔領域204に応じて動的に切出領域206を設定してもよい。追跡処理する場合であっても、順序決定部142が決定した表示順序は固定であり、ユーザA、ユーザC、ユーザBの順序でカメラ映像が切り替えられることに変わりはない。
なお追跡処理をする場合には、顔認識部122は、撮影されているユーザ構成に変化があったか検出できる。たとえばユーザCがカメラ7の画角内からいなくなったり、また新たなユーザDがカメラ7の画角内に入ってきたりすることがある。顔認識部122は、ユーザ構成に変化があった場合には、その変化の内容を顔画像生成部140に通知し、これにより順序決定部142は、表示順序を更新し、また顔画像切出部148が切出領域206を再設定することが好ましい。
また実施例では、複数人のユーザが撮影されている場合について説明したが、1人のユーザのみが撮影されることもある。顔認識部122による追跡処理を実行しない場合、音声認識部132が、音声取得部130で取得した音声が「顔を探す」であることを検出すると、指示受付部146に、音声コマンドが入力されたことを通知するとともに、顔認識部122に対して顔認識処理の実行指示を通知する。つまり撮影されているユーザが1人の場合には、適切な切出領域206を再設定するために、顔認識部122による顔認識処理を再実行して、顔画像切出部148が、更新された顔領域204をもとに、適切な切出領域206を設定するようにしてもよい。
なお顔画像切出部148は、切出領域206で撮像画像を切り出した後、その切出画像に加工を施してもよい。顔画像切出部148は、図8に示すカメラ映像の重畳態様の設定画面で入力された“背景”項目や“エフェクト”項目の内容にしたがって、切出領域206のカメラ映像を加工してもよい。
またユーザによっては、自分の顔画像の配信を希望しないものもいる。そのようなユーザは、予め配信を希望しない旨を登録ユーザ情報保持部170に登録しておき、表示ユーザ決定部144が、配信を希望しないユーザを表示ユーザとして決定した場合には、顔画像切出部148が、そのユーザの切出領域206の代わりに、そのユーザのアイコンやアバターなどを表示画像生成部160に提供してもよい。
なお上記の例では、ユーザの顔画像が、順序決定部142により決定された表示順序にしたがって切り替えられることを説明した。ユーザの顔画像の切替は、明示的にユーザを特定する情報を指定することで実行されてもよい。指示受付部146は、ユーザを指定する指示を受け付けると、表示ユーザ決定部144は、指定されたユーザを表示画像に含めることを決定する。
たとえば、ユーザAのユーザ名が“Kate”、ユーザBのユーザ名が“David”、ユーザCのユーザ名が“Lucy”であるとする。ユーザCのカメラ映像を配信したい場合、誰かが“Lucy”と発声すると、音声認識部132が、発声された音声が“Lucy”であることを検出し、指示受付部146に通知する。指示受付部146は、検出された“Lucy”を、ユーザを指定する指示として受け付け、表示ユーザ決定部144は、“Lucy”であるユーザCを表示ユーザとして決定し、顔画像切出部148が、ユーザCの切出領域206cを切り出して表示画像生成部160に提供する。これによりユーザは、表示したいユーザを自ら指定することができる。
なお表示ユーザ決定部144は、ユーザ名ではなく、撮影されているユーザに識別ワードを発行して、その識別ワードによって表示ユーザを決定してもよい。たとえばユーザAに対して“プレイヤ1”、ユーザBに対して“プレイヤ2”、ユーザCに対して“プレイヤ3”と識別ワードを設定する。たとえば、この番号は、入力装置6を情報処理装置10に接続した順で定められてもよい。音声認識部132が、発声された音声が“プレイヤ3”であることを検出し指示受付部146に通知すると、指示受付部146は、検出された“プレイヤ3”を、ユーザを指定する指示として受け付け、表示ユーザ決定部144は、“プレイヤ3”であるユーザCを表示ユーザとして決定する。識別ワードは、音声認識部132による認識精度が高いワードであることが好ましい。
なお、上記したユーザ名や、識別ワードは、ユーザが認識できるように、画面に表示されることが好ましい。
図14は、ユーザ名、識別ワードの画面表示例を示す。この画面は、たとえば顔認識部122による顔認識処理が終了した直後に、出力装置4に表示される。この例では、ユーザ名と、識別ワードの双方が表示されているが、いずれか一方だけであってもよい。ユーザは、この画面を見ることで、ユーザ名ないし識別ワードを確認することができ、ゲームプレイ中に、ユーザ名ないし識別ワードを発声することで、配信するユーザの顔画像を効率的に切り替えることができるようになる。
なお、ゲームプレイ中でもユーザがユーザ名ないしは識別ワードを確認できるように、ゲーム画面の下欄などの目立たない領域に、これらの情報が小さく表示されるようにしてもよい。
また実施例では、ユーザからの音声コマンド(ないしは入力装置6の操作情報)をもとに、表示ユーザの切替が行われることを説明したが、表示ユーザ決定部144は、ユーザからのコマンドによらずに、表示ユーザを決定することもできる。一例として、表示ユーザ決定部144は、順序決定部142で決定された複数ユーザの表示順序にしたがって、一定時間ごとに表示ユーザを決定してもよい。たとえば表示ユーザ決定部144は、10秒ごとに表示ユーザを切り替える。この場合、端末装置9の視聴ユーザは、ゲームプレイに関する全てのユーザの様子を満遍なく見ることができるため、ユーザがプレイしている環境の雰囲気を感じられるようになる。
なお共有処理部162は、表示画像生成部160で生成された表示画像に、様々な情報を付加して配信してもよい。たとえば、表示画像に含まれるユーザに関する情報として、ユーザID、ユーザ名や年齢、トロフィレベルなどの個人情報や、カメラ7で撮影されているユーザ数などの情報が付加されてもよい。これらの情報は、表示画像にテキスト出たとして重畳されて配信されてもよく、またメタデータとして付加されて配信されてもよい。
ユーザIDやユーザ名は、カメラ映像に含まれるユーザを特定する情報として役立つ。なおカメラ7に撮影されている全てのユーザIDやユーザ名も配信すると、視聴ユーザは、カメラ映像に含まれないユーザの存在も知ることができ、プレイ環境の雰囲気を伝えることにもつながる。またユーザ数の情報も同じく、何人が集まっているか視聴ユーザに知らせる情報となるため、大勢いる場合には、盛り上がった雰囲気にあることを視聴ユーザに推測させることができる。年齢やトロフィレベルは、視聴ユーザが自分と同レベルのユーザがプレイしているか判断するための情報になり、たとえばメタデータとして配信される場合には、共有サーバ11で視聴ユーザが配信ゲーム映像を選択する際に、検索キーとして使用されることも可能となる。
ユーザは、表示されているカメラ映像が気に入らなければ、別の画像に置き換えることを顔画像切出部148に指示できる。この指示は、音声コマンドや入力装置6の操作情報により行われてよく、たとえば過去に撮影した画像や、過去に配信したカメラ映像、また既述したユーザのアイコンやアバターなどで置換できるようにしてもよい。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、ユーザの顔画像がゲーム画面に重畳表示されることをメインに説明したが、ユーザの顔画像は、ゲーム画面とは別の領域に表示されてもよい。また切替指示は、音声コマンドないしは入力装置6の操作情報によって行われることを説明したが、ユーザの所定のジェスチャによって行われてもよい。
また実施例では、1人のユーザの顔画像を配信することを説明したが、プレイ中のユーザの雰囲気を効果的に伝えるために、複数のユーザの顔画像を配信してもよい。
図15は、顔認識部122による顔識別結果を示す。図10にも示したように、顔認識部122は、ユーザAの顔の撮像画像中の位置を示す顔領域204aと、ユーザBの顔の撮像画像中の位置を示す顔領域204bと、ユーザCの顔の撮像画像中の位置を示す顔領域204cとを、カメラ画像中の座標で設定する。
顔画像切出部148は、顔認識部122により設定された顔領域204a〜204cをもとに、全てのユーザの顔領域204a〜204cが含まれる切出領域212を定める。この切出領域212には、全てのユーザの顔画像が含まれているため、プレイ中の雰囲気を表現するのに相応しい。
図16は、全てのユーザを含むカメラ映像を重畳したゲーム画面を示す。視聴ユーザは、このカメラ映像を見ることで、どのような雰囲気でゲームがプレイされているか容易に想像できるようになる。なお全てのユーザを含むカメラ映像を重畳する場合には、図8に示す設定画面において、アスペクト比が“ワイド”に設定されていることが好ましい。
一つの例では、全てのユーザの顔画像を含む切出領域212は、各ユーザの切出領域206とともに、順序決定部142により表示順序を定められてもよい。実施例で説明したように順序決定部142は、1番をユーザA、2番をユーザC、3番をユーザBと順序付けしつつ、4番を全ユーザA、B、Cと設定する。これにより、ゲーム画面の右上には、ユーザAの切出領域206aのカメラ映像、ユーザCの切出領域206cのカメラ映像、ユーザBの切出領域206bのカメラ映像、ユーザA、B、Cの切出領域212のカメラ映像の順番で表示されるようになる。ユーザは「顔を探す」と発声するだけで、ユーザ個人のカメラ映像、また複数ユーザを含むカメラ映像を容易に切り替えることができる。
また別の例では、指示受付部146は、配信するカメラ映像に含めるユーザを1人とする(1人モード)か、全員とする(複数モード)かを定める音声コマンドを受け付ける。1人モードを指定する音声コマンドは「1人」であり、複数モードを指定する音声コマンドは「全員」である。音声認識部132が、発声された音声が「1人」であることを検出し、指示受付部146に通知すると、指示受付部146は、1人モードが選択されたことを受け付け、表示ユーザ決定部144が、1人モードで表示ユーザを決定する。1人モードにおける表示ユーザの決定方法については、実施例で説明したとおりである。一方、音声認識部132が、発声された音声が「全員」であることを検出し、指示受付部146に通知すると、指示受付部146は、複数モードが選択されたことを受け付け、表示ユーザ決定部144が、複数モードが選択されたことを顔画像切出部148に通知する。これにより顔画像切出部148は、図15に示す切出領域212を撮像画像から切り出して、表示画像生成部160に提供する。
実施例では、プレイしているユーザないしはプレイ環境にいるユーザが、音声コマンドや入力装置6の操作情報により、表示画像に含めるユーザを決定したが、変形例では、端末装置9のユーザが、表示画像に含めるユーザを決定できるようにしてもよい。特に端末装置9が、情報処理装置10と同じ端末であって、双方向通信をしているような場合には、端末装置9から情報処理装置10に直接コマンドを送信することができ、表示ユーザ決定部144に、外部からコマンドを入力することができる。
たとえば情報処理装置10と端末装置9とがボイスチャットをしている場合には、端末装置9とユーザが「顔を探す」と発声すると、情報処理装置10のスピーカから出力された音声がマイク110によりひろわれるため、指示受付部146は切替指示として受け付けて、表示ユーザ決定部144が、表示ユーザを切り替えてもよい。
また既述したように、配信画像に、ユーザIDやユーザ名などが付加されている場合には、端末装置9のユーザは、ユーザIDやユーザ名を指定した切替指示を情報処理装置10に送信してもよい。また端末装置9のユーザは、ユーザ名ではなく、ゲーム中のキャラクタを指定することで、切替指示を送信できるようにしてもよい。端末装置9のユーザがボイスチャットで「フォワードを探して」と発声すると、ゲームが、フォワードを操作しているユーザを特定し、そのユーザIDが指示受付部146を介して表示ユーザ決定部144に通知されることで、表示ユーザ決定部144が、フォワードを操作しているユーザを表示ユーザとして決定してもよい。このようにゲーム側に、ユーザ名を顔画像生成部140に通知する機能を搭載することで、視聴ユーザは、ゲーム中のキャラクタを指定することで、カメラ映像に含まれるユーザを指定できるようになる。
また情報処理装置10にリモートアクセスして、別の端末装置でゲームに参加しているリモートユーザがいる場合に、端末装置9のユーザは、リモートユーザを指定できてもよい。このリモートユーザは、カメラ7の撮像画像には含まれていないため、表示ユーザ決定部144は、リモートユーザの端末装置にカメラ起動要求を送信し、この端末装置がカメラ起動して撮影画像を情報処理装置10に転送することで、顔画像切出部148が、リモートユーザの顔画像を切り出して、表示画像生成部160に提供する。なお、リモートユーザは、スマートフォンなどの別の端末から撮影画像を情報処理装置10に送信してもよい。
1・・・情報処理システム、4・・・出力装置、6・・・入力装置、7・・・カメラ、9・・・端末装置、10・・・情報処理装置、11・・・共有サーバ、100・・・処理部、102・・・通信部、104・・・受付部、106・・・アプリケーション実行部、108・・・アプリケーション画像生成部、110・・・マイク、120・・・撮像画像取得部、122・・・顔認識部、130・・・音声取得部、132・・・音声認識部、140・・・顔画像生成部、142・・・順序決定部、144・・・表示ユーザ決定部、146・・・指示受付部、148・・・顔画像切出部、160・・・表示画像生成部、162・・・共有処理部、170・・・登録ユーザ情報保持部。

Claims (12)

  1. 撮像装置から撮像画像を取得する画像取得部と、
    撮像画像において複数のユーザの顔画像を検出する顔認識部と、
    表示画像に含めるユーザを決定する表示ユーザ決定部と、
    撮像画像から、決定されたユーザの顔画像を含む領域を切り出す顔画像切出部と、
    切り出した領域を含む表示画像を生成する表示画像生成部と、
    指示を受け付ける指示受付部と、を備え、
    前記指示受付部が受け付けた指示をもとに、前記表示ユーザ決定部が、表示画像に含めるユーザを決定して、前記顔画像切出部が、決定されたユーザの顔画像を含む領域を切り出すことを特徴とする情報処理装置。
  2. 前記顔画像切出部は、1人のユーザの顔画像を含む領域を切り出すことを特徴とする請求項1に記載の情報処理装置。
  3. 前記指示受付部は、表示画像に含めるユーザの切替指示を受け付け、前記表示ユーザ決定部は、切替指示をもとに、表示画像に含めるユーザを決定することを特徴とする請求項1または2に記載の情報処理装置。
  4. 複数のユーザの表示順序を決定する順序決定部を、さらに備え、
    前記指示受付部がユーザの切替指示を受け付けると、前記表示ユーザ決定部は、表示順序にしたがって、ユーザを決定することを特徴とする請求項3に記載の情報処理装置。
  5. 前記指示受付部が、ユーザを指定する指示を受け付けると、前記表示ユーザ決定部が、指定されたユーザを表示画像に含めることを決定する、ことを特徴とする請求項1から3のいずれかに記載の情報処理装置。
  6. 撮像装置から撮像画像を取得する画像取得部と、
    撮像画像において複数のユーザの顔画像を検出する顔認識部と、
    所定の音声コマンドを、表示画像に含めるユーザの切替指示として受け付ける指示受付部と、
    切替指示をもとに、表示画像に含めるユーザを決定する表示ユーザ決定部と、
    撮像画像から、決定されたユーザの顔画像を含む領域を切り出す顔画像切出部と、
    切り出した領域を含む表示画像を生成する表示画像生成部と、
    を備えることを特徴とする情報処理装置。
  7. 前記表示画像生成部は、第1の領域にアプリケーション画像を配置し、第2の領域に切り出した領域を配置した表示画像を生成することを特徴とする請求項1から6のいずれかに記載の情報処理装置。
  8. 前記表示画像生成部は、第2の領域を、第1の領域内に設定することを特徴とする請求項7に記載の情報処理装置。
  9. 前記表示画像生成部は、第1の領域と第2の領域とが重ならないように設定することを特徴とする請求項7に記載の情報処理装置。
  10. 前記顔画像切出部は、複数のユーザの顔画像を含む領域を切り出すことを特徴とする請求項1から9のいずれかに記載の情報処理装置。
  11. コンピュータに、
    撮像装置から撮像画像を取得する機能と、
    撮像画像において複数のユーザの顔画像を検出する機能と、
    指示を受け付ける機能と、
    受け付けた指示をもとに、表示画像に含めるユーザを決定する機能と、
    撮像画像から、決定されたユーザの顔画像を含む領域を切り出す機能と、
    切り出した領域を含む表示画像を生成する機能と、
    指示を受け付ける指示受付部と、
    を実現させるためのプログラム。
  12. 請求項11に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2014218503A 2014-10-27 2014-10-27 情報処理装置 Active JP6396171B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014218503A JP6396171B2 (ja) 2014-10-27 2014-10-27 情報処理装置
KR1020177011615A KR102413269B1 (ko) 2014-10-27 2015-08-12 정보 처리 장치
PCT/JP2015/072872 WO2016067712A1 (ja) 2014-10-27 2015-08-12 情報処理装置
US15/508,206 US11109108B2 (en) 2014-10-27 2015-08-12 Information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014218503A JP6396171B2 (ja) 2014-10-27 2014-10-27 情報処理装置

Publications (3)

Publication Number Publication Date
JP2016083225A true JP2016083225A (ja) 2016-05-19
JP2016083225A5 JP2016083225A5 (ja) 2016-12-28
JP6396171B2 JP6396171B2 (ja) 2018-09-26

Family

ID=55857059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014218503A Active JP6396171B2 (ja) 2014-10-27 2014-10-27 情報処理装置

Country Status (4)

Country Link
US (1) US11109108B2 (ja)
JP (1) JP6396171B2 (ja)
KR (1) KR102413269B1 (ja)
WO (1) WO2016067712A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019048043A (ja) * 2017-09-07 2019-03-28 Line株式会社 映像通話およびオブジェクト認識を基盤としたゲーム提供方法およびシステム
WO2019151117A1 (ja) 2018-01-31 2019-08-08 日本電気株式会社 情報処理装置
WO2022030383A1 (ja) * 2020-08-07 2022-02-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像表示方法
JP2022034965A (ja) * 2020-08-19 2022-03-04 株式会社カプコン システム、サーバ及びプログラム
US11985365B2 (en) 2019-09-24 2024-05-14 Sony Group Corporation Information processing device, information processing system, and information processing method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180152622A1 (en) * 2015-12-01 2018-05-31 Huizhou Tcl Mobile Communication Co., Ltd Mobile terminal-based photographing method and mobile terminal
US10471353B2 (en) * 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
KR20210009596A (ko) * 2019-07-17 2021-01-27 엘지전자 주식회사 지능적 음성 인식 방법, 음성 인식 장치 및 지능형 컴퓨팅 디바이스

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
JP2001305642A (ja) * 2000-04-25 2001-11-02 Fuji Photo Film Co Ltd 撮像装置
JP2008278458A (ja) * 2007-03-30 2008-11-13 Casio Comput Co Ltd 撮像装置、画像表示装置、及びそのプログラム
JP4832518B2 (ja) * 2005-11-02 2011-12-07 オリンパス株式会社 画像処理装置、その画像処理方法及び画像処理プログラム
JP2012239719A (ja) * 2011-05-20 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御方法、ならびに、プログラム
JP2013115527A (ja) * 2011-11-28 2013-06-10 Hitachi Consumer Electronics Co Ltd テレビ会議システム及びテレビ会議方法
JP2014155564A (ja) * 2013-02-14 2014-08-28 Namco Bandai Games Inc ゲームシステム及びプログラム
JP2014191647A (ja) * 2013-03-27 2014-10-06 Konami Digital Entertainment Co Ltd 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9138644B2 (en) * 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
EP1962497B1 (en) * 2005-11-25 2013-01-16 Nikon Corporation Electronic camera and image processing device
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
US8128503B1 (en) * 2008-05-29 2012-03-06 Livestream LLC Systems, methods and computer software for live video/audio broadcasting
KR101130564B1 (ko) * 2009-12-11 2012-03-30 한국과학기술원 비디오 게임 콘솔 장치, 그 구동방법 및 컴퓨터 판독가능 매체
WO2011112640A2 (en) * 2010-03-08 2011-09-15 Vumanity Media Llc Generation of composited video programming
JP2012034793A (ja) 2010-08-05 2012-02-23 Sony Computer Entertainment Inc ゲーム装置
KR101710626B1 (ko) * 2010-11-04 2017-02-27 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
JP2001305642A (ja) * 2000-04-25 2001-11-02 Fuji Photo Film Co Ltd 撮像装置
JP4832518B2 (ja) * 2005-11-02 2011-12-07 オリンパス株式会社 画像処理装置、その画像処理方法及び画像処理プログラム
JP2008278458A (ja) * 2007-03-30 2008-11-13 Casio Comput Co Ltd 撮像装置、画像表示装置、及びそのプログラム
JP2012239719A (ja) * 2011-05-20 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御方法、ならびに、プログラム
JP2013115527A (ja) * 2011-11-28 2013-06-10 Hitachi Consumer Electronics Co Ltd テレビ会議システム及びテレビ会議方法
JP2014155564A (ja) * 2013-02-14 2014-08-28 Namco Bandai Games Inc ゲームシステム及びプログラム
JP2014191647A (ja) * 2013-03-27 2014-10-06 Konami Digital Entertainment Co Ltd 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019048043A (ja) * 2017-09-07 2019-03-28 Line株式会社 映像通話およびオブジェクト認識を基盤としたゲーム提供方法およびシステム
WO2019151117A1 (ja) 2018-01-31 2019-08-08 日本電気株式会社 情報処理装置
US11335125B2 (en) 2018-01-31 2022-05-17 Nec Corporation Information processing device
US11727723B2 (en) 2018-01-31 2023-08-15 Nec Corporation Information processing device
US11985365B2 (en) 2019-09-24 2024-05-14 Sony Group Corporation Information processing device, information processing system, and information processing method
WO2022030383A1 (ja) * 2020-08-07 2022-02-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像表示方法
JP2022030870A (ja) * 2020-08-07 2022-02-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像表示方法
JP7390992B2 (ja) 2020-08-07 2023-12-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像表示方法
JP2022034965A (ja) * 2020-08-19 2022-03-04 株式会社カプコン システム、サーバ及びプログラム
JP7244768B2 (ja) 2020-08-19 2023-03-23 株式会社カプコン システム、サーバ及びプログラム

Also Published As

Publication number Publication date
US20170289633A1 (en) 2017-10-05
JP6396171B2 (ja) 2018-09-26
US11109108B2 (en) 2021-08-31
KR102413269B1 (ko) 2022-06-27
WO2016067712A1 (ja) 2016-05-06
KR20170072233A (ko) 2017-06-26

Similar Documents

Publication Publication Date Title
JP6396171B2 (ja) 情報処理装置
US11571620B2 (en) Using HMD camera touch button to render images of a user captured during game play
JP6545744B2 (ja) 頭部装着ディスプレイにおけるオペレーション・モード・スイッチング
JP6532490B2 (ja) 情報処理装置および情報処理システム
US10137361B2 (en) Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9908044B2 (en) Information processing system and information processing apparatus
JP6098691B1 (ja) 映像生成システム、制御装置および加工装置
WO2016080005A1 (ja) プログラムおよび情報処理装置
US11534687B2 (en) Information processing apparatus and application image distribution method
JP6000929B2 (ja) 情報処理装置
US11023599B2 (en) Information processing device, information processing method, and program
JP6148958B2 (ja) 携帯端末による照明の遠隔操作が可能な通信カラオケシステム
JP2017225509A (ja) 映像生成システムおよび映像生成プログラム
CN108184130B (zh) 模拟器系统、直播方法、装置及存储介质
JP2020098416A (ja) 情報処理装置および画像生成方法
KR20150004494A (ko) 증강 현실 기반 소셜 미디어 플랫폼 시스템 및 컨텐츠 제공 방법
JP2022068190A (ja) 情報処理装置およびゲーム画像表示方法
WO2017104578A1 (ja) 情報処理装置およびコンテンツ画像提供方法
CN116801063A (zh) 基于虚拟直播间的互动方法、装置、设备及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180829

R150 Certificate of patent or registration of utility model

Ref document number: 6396171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250