図１は、本発明の実施の形態に係るゲームシステム１の構成を示す。ゲームシステム１は、ゲーム装置１０と、ゲーム装置１０のユーザによって操作される入力装置６ａ、６ｂと、ゲーム装置１０のユーザによって操作される携帯端末装置９ａ、９ｂとを備える。ゲーム装置１０は、アクセスポイント（ＡＰ）８経由で、外部のネットワーク３に接続された配信サーバ５や他のユーザの携帯端末装置９ｃ、９ｄなどと通信可能に接続される。ゲーム装置１０には、複数のユーザが同時にログインすることができる。
FIG. 1 shows a configuration of a game system 1 according to an embodiment of the present invention. The game system 1 includes a game device 10, input devices 6 a and 6 b operated by a user of the game device 10, and portable terminal devices 9 a and 9 b operated by a user of the game device 10. The game apparatus 10 is communicably connected to the distribution server 5 connected to the external network 3 and the mobile terminal apparatuses 9c and 9d of other users via an access point (AP) 8. A plurality of users can log in to the game apparatus 10 simultaneously.
補助記憶装置２は、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリなどの大容量記憶装置であり、ＵＳＢ（Universal Serial Bus）などによってゲーム装置１０と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置４は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。ゲーム装置１０は、ユーザが操作する入力装置６と無線又は有線で接続し、入力装置６はユーザの操作結果を示す操作情報をゲーム装置１０に出力する。ゲーム装置１０は、更に、ユーザが操作する携帯端末装置９と無線又は有線で接続し、携帯端末装置９はユーザの操作結果を示す操作情報や、ゲーム装置１０において実行されるゲームプログラムなどにより使用されるデータなどをゲーム装置１０に送信する。ゲーム装置１０は、入力装置６又は携帯端末装置９からの操作情報を受け付けると、ＯＳ（システムソフトウェア）やゲームプログラムなどの処理に反映し、出力装置４から処理結果を出力させる。
The auxiliary storage device 2 is a large-capacity storage device such as an HDD (Hard Disk Drive) or a flash memory, and may be an external storage device connected to the game device 10 via a USB (Universal Serial Bus) or the like, or a built-in storage device. It may be. The output device 4 may be a television having a display for outputting an image and a speaker for outputting sound. The game device 10 is connected to the input device 6 operated by the user wirelessly or by wire, and the input device 6 outputs operation information indicating the operation result of the user to the game device 10. The game apparatus 10 is further connected to the mobile terminal device 9 operated by the user wirelessly or by wire, and the mobile terminal device 9 is used by operation information indicating the operation result of the user, a game program executed on the game apparatus 10 or the like. Transmitted data or the like is transmitted to the game apparatus 10. When the game apparatus 10 receives the operation information from the input device 6 or the mobile terminal device 9, the game apparatus 10 reflects the result in processing such as an OS (system software) or a game program, and causes the output device 4 to output a processing result.
撮像装置であるカメラ７は出力装置４の近傍に設けられ、出力装置４周辺の空間を撮像する。図１ではカメラ７が出力装置４の上部に取り付けられている例を示しているが、出力装置４の側方に配置されてもよく、いずれにしても出力装置４の前方でゲームをプレイするユーザを撮像できる位置に配置される。なおカメラ７はステレオカメラであってよいし、測距カメラであってもよい。
A camera 7 as an imaging device is provided in the vicinity of the output device 4 and images the space around the output device 4. Although FIG. 1 shows an example in which the camera 7 is attached to the upper part of the output device 4, the camera 7 may be arranged on the side of the output device 4, and in any case, the game is played in front of the output device 4. It is arranged at a position where the user can be imaged. The camera 7 may be a stereo camera or a distance measuring camera.
入力装置６は、ゲーム装置１０にユーザの操作情報を提供するゲームコントローラであってもよい。ゲームコントローラは、複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。
The input device 6 may be a game controller that provides user operation information to the game device 10. The game controller includes a plurality of input units such as a plurality of push-type operation buttons, an analog stick that can input an analog amount, and a rotary button.
携帯端末装置９は、スマートフォンやタブレットなどの携帯型情報端末であってもよいし、携帯型ゲーム装置であってもよい。携帯端末装置９は、ゲーム装置１０において実行されるゲームプログラムにユーザの操作情報やゲームのデータなどを送信するためのアプリケーションを実行する。
The portable terminal device 9 may be a portable information terminal such as a smartphone or a tablet, or may be a portable game device. The mobile terminal device 9 executes an application for transmitting user operation information, game data, and the like to a game program executed on the game device 10.
本実施の形態のゲーム装置１０は、カメラ７が撮像したユーザの周辺の実写画像を利用したゲームを提供するとともに、ユーザがプレイしているゲームの画面を他のユーザに対して配信する機能を有する。ゲーム装置１０は、ユーザＡ及びＢがゲームを実行しているときに、ユーザＡ又はＢからゲームの画面を配信する指示を受け付けると、ネットワーク３を介して配信サーバ５へゲームの画面のデータをアップロードする。ユーザＣ及びＤは、携帯端末装置９、ゲーム装置１０、パーソナルコンピュータなどを用いて、ネットワーク３を介して配信サーバ５にアクセスし、配信されているゲームの動画像を視聴することができる。ゲームの動画像は、配信サーバからストリーミング配信されてもよいし、配信サーバに蓄積された動画像がダウンロード配信されてもよい。
The game apparatus 10 according to the present embodiment provides a function that uses a live-action image around the user captured by the camera 7 and distributes the screen of the game that the user is playing to other users. Have. When the game device 10 receives an instruction to distribute the game screen from the user A or B while the users A and B are executing the game, the game device 10 sends the game screen data to the distribution server 5 via the network 3. Upload. Users C and D can access the distribution server 5 via the network 3 using the mobile terminal device 9, the game device 10, a personal computer, and the like, and view the moving image of the distributed game. The moving image of the game may be streamed from the distribution server, or the moving image stored in the distribution server may be downloaded and distributed.
入力装置６のボタン構成について説明する。
［上面部の構成］
図２（ａ）は、入力装置上面の外観構成を示す。ユーザは左手で左側把持部７８ｂを把持し、右手で右側把持部７８ａを把持して、入力装置６を操作する。入力装置６の筐体上面には、入力部である方向キー７１、アナログスティック７７ａ、７７ｂと、４種の操作ボタン７６が設けられている。４種のボタン７２〜７５には、それぞれを区別するために、異なる色で異なる図形が記されている。すなわち、○ボタン７２には赤色の丸、×ボタン７３には青色のバツ、□ボタン７４には紫色の四角形、△ボタン７５には緑色の三角形が記されている。筐体上面上において、方向キー７１と操作ボタン７６の間の平坦な領域には、タッチパッド７９が設けられる。タッチパッド７９は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。
The button configuration of the input device 6 will be described.
[Configuration of top surface]
FIG. 2A shows an external configuration of the upper surface of the input device. The user operates the input device 6 by holding the left grip 78b with the left hand and holding the right grip 78a with the right hand. On the upper surface of the casing of the input device 6, there are provided direction keys 71, analog sticks 77a and 77b, which are input units, and four types of operation buttons 76. In order to distinguish each of the four types of buttons 72 to 75, different figures with different colors are written. In other words, the ○ button 72 is marked with a red circle, the X button 73 is marked with a blue cross, the □ button 74 is marked with a purple square, and the Δ button 75 is marked with a green triangle. On the upper surface of the housing, a touch pad 79 is provided in a flat area between the direction key 71 and the operation button 76. The touch pad 79 also functions as a push-down button that sinks downward when pressed by the user and returns to the original position when the user releases the hand.
２つのアナログスティック７７ａ、７７ｂの間に機能ボタン８０が設けられる。機能ボタン８０は、入力装置６の電源をオンし、同時に入力装置６とゲーム装置１０とを接続する通信機能をアクティブにするために使用される。入力装置６がゲーム装置１０と接続した後は、機能ボタン８０は、ゲーム装置１０にメニュー画面を表示させるためにも使用される。
A function button 80 is provided between the two analog sticks 77a and 77b. The function button 80 is used to turn on the power of the input device 6 and simultaneously activate a communication function for connecting the input device 6 and the game device 10. After the input device 6 is connected to the game device 10, the function button 80 is also used for causing the game device 10 to display a menu screen.
ＳＨＡＲＥボタン８１は、タッチパッド７９と方向キー７１の間に設けられる。ＳＨＡＲＥボタン８１は、ゲーム装置１０におけるＯＳないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。またＯＰＴＩＯＮＳボタン８２は、タッチパッド７９と操作ボタン７６の間に設けられる。ＯＰＴＩＯＮＳボタン８２は、ゲーム装置１０において実行されるアプリケーション（ゲーム）に対するユーザからの指示を入力するために利用される。ＳＨＡＲＥボタン８１およびＯＰＴＩＯＮＳボタン８２は、いずれもプッシュ式ボタンとして形成されてよい。
The SHARE button 81 is provided between the touch pad 79 and the direction key 71. The SHARE button 81 is used to input an instruction from the user to the OS or system software in the game apparatus 10. The OPTIONS button 82 is provided between the touch pad 79 and the operation button 76. The OPTIONS button 82 is used to input an instruction from the user to an application (game) executed on the game apparatus 10. Both the SHARE button 81 and the OPTIONS button 82 may be formed as push buttons.
［奥側側面部の構成］
図２（ｂ）は、入力装置奥側側面の外観構成を示す。入力装置６の筐体奥側側面の上側には、タッチパッド７９が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部８５が設けられる。発光部８５は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、ゲーム装置１０から送信される発光色情報にしたがって点灯する。
[Configuration of back side]
FIG. 2B shows an external configuration of the back side surface of the input device. A touch pad 79 is extended from the upper surface of the casing on the upper side of the rear side surface of the input device 6, and a horizontally long light emitting unit 85 is provided on the lower side of the rear side surface of the casing. The light emitting unit 85 has red (R), green (G), and blue (B) LEDs, and lights up according to light emission color information transmitted from the game apparatus 10.
筐体奥側側面において、上側ボタン８３ａ、下側ボタン８４ａと、上側ボタン８３ｂ、下側ボタン８４ｂとが長手方向の左右対称な位置に設けられる。上側ボタン８３ａ、下側ボタン８４ａは、それぞれユーザ右手の人差し指、中指により操作され、上側ボタン８３ｂ、下側ボタン８４ｂは、それぞれユーザ左手の人差し指、中指により操作される。図示されるように発光部８５が、右側の上側ボタン８３ａ、下側ボタン８４ａの並びと、左側の上側ボタン８３ｂ、下側ボタン８４ｂの並びの間に設けられることで、各ボタンを操作する人差し指または中指によって隠れることはなく、カメラ７は、点灯した発光部８５を好適に撮像することができる。上側ボタン８３はプッシュ式ボタンとして構成され、下側ボタン８４は回動支持されたトリガー式のボタンとして構成されてよい。
On the rear side surface of the housing, the upper button 83a, the lower button 84a, the upper button 83b, and the lower button 84b are provided at symmetrical positions in the longitudinal direction. The upper button 83a and the lower button 84a are operated by the index finger and middle finger of the user's right hand, respectively, and the upper button 83b and the lower button 84b are operated by the index finger and the middle finger of the user's left hand, respectively. As shown in the drawing, the light emitting unit 85 is provided between the arrangement of the right upper button 83a and the lower button 84a and the arrangement of the left upper button 83b and the lower button 84b, so that an index finger for operating each button is provided. Or it is not hidden by the middle finger, and the camera 7 can suitably image the light-emitting unit 85 that is lit. The upper button 83 may be configured as a push-type button, and the lower button 84 may be configured as a trigger-type button that is rotatably supported.
図３は、ゲーム装置１０の機能ブロック図を示す。ゲーム装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。
FIG. 3 shows a functional block diagram of the game apparatus 10. The game apparatus 10 includes a main power button 20, a power ON LED 21, a standby LED 22, a system controller 24, a clock 26, a device controller 30, a media drive 32, a USB module 34, a flash memory 36, a wireless communication module 38, and a wired communication module. 40, a subsystem 50, and a main system 60.
メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵは補助記憶装置２に記録されたゲームプログラムを実行する機能をもつ。
The main system 60 includes a main CPU (Central Processing Unit), a memory and a memory controller that are main storage devices, a GPU (Graphics Processing Unit), and the like. The GPU is mainly used for arithmetic processing of game programs. These functions may be configured as a system on chip and formed on a single chip. The main CPU has a function of executing a game program recorded in the auxiliary storage device 2.
サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えず、ゲームプログラムを実行する機能をもたない。サブＣＰＵの回路ゲート数は、メインＣＰＵの回路ゲート数よりも少なく、サブＣＰＵの動作消費電力は、メインＣＰＵの動作消費電力よりも少ない。サブＣＰＵは、メインＣＰＵがスタンバイ状態にある間においても動作し、消費電力を低く抑えるべく、その処理機能を制限されている。
The subsystem 50 includes a sub CPU, a memory that is a main storage device, a memory controller, and the like, does not include a GPU, and does not have a function of executing a game program. The number of circuit gates of the sub CPU is smaller than the number of circuit gates of the main CPU, and the operation power consumption of the sub CPU is smaller than the operation power consumption of the main CPU. The sub CPU operates even while the main CPU is in the standby state, and its processing function is limited in order to keep power consumption low.
メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、ゲーム装置１０の筐体の前面に設けられ、ゲーム装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。
The main power button 20 is an input unit through which an operation input from the user is performed. The main power button 20 is provided on the front surface of the housing of the game apparatus 10 to turn on or off the power supply to the main system 60 of the game apparatus 10. Operated. The power ON LED 21 is lit when the main power button 20 is turned on, and the standby LED 22 is lit when the main power button 20 is turned off.
システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。
The system controller 24 detects pressing of the main power button 20 by the user. When the main power button 20 is pressed while the main power is off, the system controller 24 acquires the pressing operation as an “on instruction”, while when the main power is in the on state, the main power button 20 is pressed. When the button 20 is pressed, the system controller 24 acquires the pressing operation as an “off instruction”.
クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。
The clock 26 is a real-time clock, generates current date / time information, and supplies it to the system controller 24, the subsystem 50, and the main system 60.
デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
The device controller 30 is configured as an LSI (Large-Scale Integrated Circuit) that exchanges information between devices like a south bridge. As illustrated, devices such as a system controller 24, a media drive 32, a USB module 34, a flash memory 36, a wireless communication module 38, a wired communication module 40, a subsystem 50, and a main system 60 are connected to the device controller 30. The The device controller 30 absorbs the difference in electrical characteristics of each device and the difference in data transfer speed, and controls the timing of data transfer.
メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。
The media drive 32 is a drive device that loads and drives application software such as a game and a ROM medium 44 that records license information, and reads programs and data from the ROM medium 44. The ROM medium 44 is a read-only recording medium such as an optical disc, a magneto-optical disc, or a Blu-ray disc.
ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。なお無線通信モジュール３８は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール４０は、外部機器と有線通信し、たとえばＡＰ８を介してネットワーク３に接続する。
The USB module 34 is a module connected to an external device with a USB cable. The USB module 34 may be connected to the auxiliary storage device 2 and the camera 7 with a USB cable. The flash memory 36 is an auxiliary storage device that constitutes an internal storage. The wireless communication module 38 wirelessly communicates with, for example, the input device 6 using a communication protocol such as a Bluetooth (registered trademark) protocol or an IEEE802.11 protocol. The wireless communication module 38 corresponds to the 3rd generation digital mobile phone system conforming to the IMT-2000 (International Mobile Telecommunication 2000) standard defined by the ITU (International Telecommunication Union). It may also be compatible with another generation of digital mobile phone systems. The wired communication module 40 performs wired communication with an external device, and connects to the network 3 via, for example, the AP 8.
図４は、ゲーム装置１０の構成を示す。ゲーム装置１０は、通信部１０２、制御部１１０及びデータ保持部１６０を備える。図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
FIG. 4 shows the configuration of the game apparatus 10. The game apparatus 10 includes a communication unit 102, a control unit 110, and a data holding unit 160. In FIG. 4, each element described as a functional block for performing various processes can be configured by a circuit block, a memory, and other LSIs in terms of hardware, and loaded into the memory in terms of software. Realized by programs. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
通信部１０２は、図３に示す無線通信モジュール３８及び有線通信モジュール４０の機能を有し、ネットワーク３を介した通信を制御する。データ保持部１６０は、補助記憶装置２に設けられ、ゲームプログラムが使用するデータなどを格納する。制御部１１０は、画像生成部１１１、音声生成部１１２、配信制御部１１３、マスク制御部１１４、顔検出部１１５、バルーン制御部１１６、コントローラ検出部１１７、差分検出部１１８、ビルボード制御部１１９、鏡面画像制御部１２０及び投票制御部１２１を備える。
The communication unit 102 has functions of the wireless communication module 38 and the wired communication module 40 illustrated in FIG. 3 and controls communication via the network 3. The data holding unit 160 is provided in the auxiliary storage device 2 and stores data used by the game program. The control unit 110 includes an image generation unit 111, an audio generation unit 112, a distribution control unit 113, a mask control unit 114, a face detection unit 115, a balloon control unit 116, a controller detection unit 117, a difference detection unit 118, and a billboard control unit 119. A mirror image control unit 120 and a voting control unit 121 are provided.
画像生成部１１１は、制御部１１０の他の構成により制御されるゲームの画像を生成する。音声生成部１１２は、制御部１１０の他の構成により制御されるゲームの音声を生成する。画像生成部１１１及び音声生成部１１２は、生成した画像及び音声のデータを出力装置４に出力する。配信制御部１１３は、画像生成部１１１及び音声生成部１１２が生成したゲームの画像及び音声のデータを他のユーザに配信する指示をユーザから受け付けると、画像生成部１１１が生成した画像のデータ及び音声生成部１１２が生成した音声のデータを、通信部１０２を介して配信サーバ５へアップロードする。制御部１１０の他の構成の詳細については後述する。
The image generation unit 111 generates a game image controlled by another configuration of the control unit 110. The sound generation unit 112 generates a sound of a game controlled by another configuration of the control unit 110. The image generation unit 111 and the sound generation unit 112 output the generated image and sound data to the output device 4. When the distribution control unit 113 receives an instruction to distribute the image and sound data of the game generated by the image generation unit 111 and the sound generation unit 112 to another user, the distribution control unit 113 receives the image data generated by the image generation unit 111 and The voice data generated by the voice generation unit 112 is uploaded to the distribution server 5 via the communication unit 102. Details of other configurations of the control unit 110 will be described later.
図５は、携帯情報端末の構成を示す。携帯端末装置９は、通信部２０２、制御部２１０、データ保持部２６０、入力装置２６１、タッチパッド２６２、表示装置２６３及びスピーカ２６４を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。
FIG. 5 shows a configuration of the portable information terminal. The mobile terminal device 9 includes a communication unit 202, a control unit 210, a data holding unit 260, an input device 261, a touch pad 262, a display device 263, and a speaker 264. These functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
通信部２０２は、ネットワーク３を介した通信を制御する。データ保持部２６０は、記憶装置に設けられ、ゲーム装置１０において実行されるゲームプログラムを制御するために携帯端末装置９の制御部２１０において実行されるアプリケーションが使用するデータなどを格納する。表示装置２６３は、制御部２１０により生成された画像を表示する。スピーカ２６４は、制御部２１０により生成された音声を出力する。入力装置２６１は、ユーザからの指示を制御部２１０に入力する。タッチパッド２６２は、表示装置２６３に併設され、ユーザからの指示を制御部２１０に入力する。
The communication unit 202 controls communication via the network 3. The data holding unit 260 is provided in the storage device, and stores data used by an application executed in the control unit 210 of the mobile terminal device 9 in order to control a game program executed in the game device 10. The display device 263 displays the image generated by the control unit 210. The speaker 264 outputs the sound generated by the control unit 210. The input device 261 inputs an instruction from the user to the control unit 210. The touch pad 262 is provided in the display device 263 and inputs an instruction from the user to the control unit 210.
制御部２１０は、画像生成部２１１、音声生成部２１２、メニュー表示部２１３、マスク指示受付部２１４、バルーン指示受付部２１５、ビルボード指示受付部２１６、鏡面画像指示受付部２１７及び投票指示受付部２１８を備える。画像生成部２１１は、制御部２１０の他の構成により制御されるゲームの画像を生成して表示装置２６３に出力する。音声生成部２１２は、制御部２１０の他の構成により制御されるゲームの音声を生成してスピーカ２６４に出力する。制御部２１０の他の構成の詳細については後述する。
The control unit 210 includes an image generation unit 211, a sound generation unit 212, a menu display unit 213, a mask instruction reception unit 214, a balloon instruction reception unit 215, a billboard instruction reception unit 216, a specular image instruction reception unit 217, and a voting instruction reception unit. 218. The image generation unit 211 generates an image of a game controlled by another configuration of the control unit 210 and outputs it to the display device 263. The sound generation unit 212 generates a sound of a game controlled by another configuration of the control unit 210 and outputs it to the speaker 264. Details of other configurations of the control unit 210 will be described later.
（マスク表示）
実施の形態に係るゲーム装置１０は、ユーザの顔の位置を追跡し、ユーザの顔にマスクの画像を重畳して表示することにより、ユーザがマスクをかぶっているような映像を生成する機能を提供する。
(Mask display)
The game device 10 according to the embodiment has a function of generating an image in which the user is wearing a mask by tracking the position of the user's face and displaying the mask image superimposed on the user's face. provide.
携帯端末装置９のマスク指示受付部２１４は、メニュー表示部２１３が表示したメニュー画面を介して、マスクを表示する指示をユーザから受け付けると、ゲーム装置１０へ指示を送信する。ゲーム装置１０のマスク制御部１１４は、携帯端末装置９からマスクを表示する指示を受信すると、カメラ７により撮像された画像に含まれる人間の顔を顔検出部１１５に検出させる。
When receiving an instruction to display a mask from the user via the menu screen displayed by the menu display unit 213, the mask instruction receiving unit 214 of the mobile terminal device 9 transmits the instruction to the game device 10. When receiving an instruction to display a mask from the mobile terminal device 9, the mask control unit 114 of the game apparatus 10 causes the face detection unit 115 to detect a human face included in the image captured by the camera 7.
顔検出部１１５は、カメラ７により撮像された画像に含まれる人間の顔を検出する。顔検出部１１５は、所定のタイミングでカメラ７により撮像された画像のデータを取得し、既知の任意の顔認識技術を用いて人間の顔を検出する。マスクが表示されている間、顔検出部１１５は、カメラ７により撮像された全てのフレームについて顔認識を実行してもよいし、所定数のフレームごとに顔認識を実行してもよい。顔検出部１１５が、所定の時間間隔で連続して、カメラ７により撮像された画像に含まれる顔を検出することにより、撮像されている人の顔を追跡することができる。
The face detection unit 115 detects a human face included in an image captured by the camera 7. The face detection unit 115 acquires data of an image captured by the camera 7 at a predetermined timing, and detects a human face using any known face recognition technique. While the mask is displayed, the face detection unit 115 may execute face recognition for all frames captured by the camera 7 or may perform face recognition for every predetermined number of frames. The face detection unit 115 can track the face of the person being imaged by detecting the face included in the image imaged by the camera 7 continuously at predetermined time intervals.
マスク制御部１１４は、マスクをいずれのユーザの顔に表示するかの指示を受け付けるために、顔検出部１１５により検出された顔の画像のデータを携帯端末装置９へ送信する。マスク指示受付部２１４は、ゲーム装置１０から受信した顔の画像の一覧を表示装置２６３に表示し、マスクを表示する顔の選択指示をユーザから受け付ける。マスク指示受付部２１４は、入力装置２６１又はタッチパッド２６２を介してユーザから選択指示を受け付けると、受け付けた選択指示をゲーム装置１０へ送信する。
The mask control unit 114 transmits the image data of the face detected by the face detection unit 115 to the mobile terminal device 9 in order to accept an instruction as to which user's face the mask is displayed on. The mask instruction receiving unit 214 displays a list of face images received from the game apparatus 10 on the display device 263, and receives a face selection instruction for displaying a mask from the user. When receiving a selection instruction from the user via the input device 261 or the touch pad 262, the mask instruction reception unit 214 transmits the received selection instruction to the game apparatus 10.
マスク指示受付部２１４は、更に、マスクとして表示すべき画像の種類の選択指示をユーザから受け付ける。マスクとして表示すべき画像は、携帯端末装置９のデータ保持部２６０又はゲーム装置１０のデータ保持部１６０に格納された２次元画像データ又は３次元形状データの中から選択されてもよいし、ユーザにより描画された画像であってもよい。後者の場合、マスク指示受付部２１４は、描画画面を表示装置２６３に表示し、ユーザから画像の描画を受け付ける。マスク指示受付部２１４は、画像の選択指示を受け付けると、受け付けた選択指示をゲーム装置１０へ送信する。このとき、ユーザが描画した画像、又は、ゲーム装置１０のデータ保持部１６０にデータが格納されていない画像が選択された場合は、画像データもゲーム装置１０へ送信する。
The mask instruction receiving unit 214 further receives from the user an instruction to select the type of image to be displayed as a mask. The image to be displayed as the mask may be selected from the two-dimensional image data or the three-dimensional shape data stored in the data holding unit 260 of the mobile terminal device 9 or the data holding unit 160 of the game device 10, or the user It may be an image drawn by. In the latter case, the mask instruction receiving unit 214 displays a drawing screen on the display device 263 and receives image drawing from the user. When receiving an instruction to select an image, mask instruction receiving unit 214 transmits the received selection instruction to game device 10. At this time, when an image drawn by the user or an image in which no data is stored in the data holding unit 160 of the game apparatus 10 is selected, the image data is also transmitted to the game apparatus 10.
マスク制御部１１４は、顔検出部１１５により検出された人間の顔のうち、携帯端末装置９を介してユーザから指示された人の顔の位置に、指示された種類のマスクの画像を重畳して表示する。マスク制御部１１４は、顔検出部１１５が検出した顔の大きさに合わせて、表示すべきマスクの画像を拡大又は縮小し、検出された顔の位置に表示する。
The mask control unit 114 superimposes an image of the type of mask indicated on the position of the face of the person specified by the user via the mobile terminal device 9 among the human faces detected by the face detection unit 115. To display. The mask control unit 114 enlarges or reduces the mask image to be displayed in accordance with the size of the face detected by the face detection unit 115, and displays the image at the detected face position.
顔検出部１１５は、顔の輪郭の形状や目、鼻及び口の位置などを検出することにより、顔の向きを検出する。マスク制御部１１４は、顔検出部１１５により検出された顔の向きに合わせて、マスクの画像を回転させて表示する。マスクとして表示される画像が、３次元形状データをレンダリングすることにより生成される画像である場合は、マスク制御部１１４は、検出された顔の向きに合わせて３次元形状データを回転させてレンダリングする。このとき、顔の位置とカメラ７の位置とを結ぶ直線方向を基準方向として、検出された顔の回転角度よりも更に所定の角度回転させた角度をマスクの画像の回転角度としてもよい。すなわち、マスクが顔に表示されているユーザが、顔を傾けたり回転させたりしたときに、実際の傾き又は回転角度よりも大きくマスクの画像を傾けたり回転させてもよい。これにより、マスクの画像の回転をより強調し、マスクの画像が顔の回転に合わせて回転されたことを分かりやすく示すことができる。顔の基準方向からの回転角度が大きいほど、実際の回転角度よりも更に回転させる角度を大きくしてもよい。
The face detection unit 115 detects the orientation of the face by detecting the shape of the face outline, the positions of eyes, nose and mouth. The mask control unit 114 rotates and displays the mask image in accordance with the face orientation detected by the face detection unit 115. When the image displayed as the mask is an image generated by rendering the three-dimensional shape data, the mask control unit 114 performs the rendering by rotating the three-dimensional shape data according to the detected face orientation. To do. At this time, an angle obtained by rotating a predetermined angle further than the detected rotation angle of the face with the linear direction connecting the position of the face and the position of the camera 7 as the reference direction may be set as the rotation angle of the mask image. That is, when the user whose mask is displayed on the face tilts or rotates the face, the mask image may be tilted or rotated larger than the actual tilt or rotation angle. Thereby, the rotation of the mask image can be further emphasized, and it can be easily shown that the mask image is rotated in accordance with the rotation of the face. As the rotation angle from the reference direction of the face increases, the rotation angle may be further increased from the actual rotation angle.
マスクとして表示される画像が２次元画像である場合は、顔の位置とカメラ７の位置とを結ぶ直線の周りに顔が回転されたときには顔の回転に合わせてマスクを回転させる一方、顔の位置とカメラ７の位置とを結ぶ直線に垂直な直線の周りの顔の回転は無視してもよい。別の例においては、顔の位置とカメラ７の位置とを結ぶ直線に垂直な垂直の周りに顔が回転している場合は、マスクとして表示する画像を、その直線に垂直な方向に縮小して表示してもよい。更に別の例においては、頭をモデリングした立体、又は、球若しくは円筒などの立体の表面に、マスクとして表示される２次元画像をテクスチャとして貼り付け、顔の向きに合わせて立体を回転させることにより、マスクとして表示される画像を回転させてもよい。この場合も、実際の顔の回転角度よりも大きい角度でマスクとして表示される画像を回転させてもよい。
When the image displayed as a mask is a two-dimensional image, when the face is rotated around a straight line connecting the position of the face and the position of the camera 7, the mask is rotated in accordance with the rotation of the face. The rotation of the face around a straight line perpendicular to the straight line connecting the position and the position of the camera 7 may be ignored. In another example, when the face is rotated around a vertical line perpendicular to a straight line connecting the face position and the camera 7 position, the image displayed as a mask is reduced in a direction perpendicular to the straight line. May be displayed. In yet another example, a two-dimensional image displayed as a mask is pasted as a texture on the surface of a solid modeled as a head, or a solid such as a sphere or cylinder, and the solid is rotated according to the orientation of the face. Thus, the image displayed as a mask may be rotated. Also in this case, an image displayed as a mask may be rotated at an angle larger than the actual face rotation angle.
マスクを表示している人の顔がカメラ７の視野から外れたり、その人がカメラ７に背を向けたり顔を隠したりして、顔検出部１１５が顔を検出することができなくなったときは、マスク制御部１１４はマスクを消去する。このとき、マスクを表示していた領域にノイズが入る様子や、画面に表示しているキャラクタがマスクに対して邪魔をしている様子などを表示した後、マスクを消去してもよい。
When the face of the person displaying the mask is out of the field of view of the camera 7, or when the person turns away from the camera 7 or hides the face, the face detection unit 115 cannot detect the face. The mask controller 114 erases the mask. At this time, the mask may be erased after displaying the appearance of noise entering the area where the mask was displayed, or the character being displayed on the screen being in the way of the mask.
図６は、出力装置４のディスプレーに表示される画面４００の例を示す。出力装置４のディスプレーには、カメラ７により撮像された画像が表示されるとともに、撮像画像にキャラクタ３００が重畳されて表示されている。
FIG. 6 shows an example of a screen 400 displayed on the display of the output device 4. An image captured by the camera 7 is displayed on the display of the output device 4, and a character 300 is superimposed on the captured image.
図７は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。携帯端末装置９のマスク指示受付部２１４は、ユーザがマスクを描画するための描画画面５００を表示装置２６３に表示する。ユーザは、描画画面５００において、マスクとして表示すべき画像を描画することができる。この描画画面５００は、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。
FIG. 7 shows an example of a screen displayed on the display device 263 of the mobile terminal device 9. The mask instruction receiving unit 214 of the mobile terminal device 9 displays a drawing screen 500 for the user to draw a mask on the display device 263. The user can draw an image to be displayed as a mask on the drawing screen 500. The drawing screen 500 is displayed only on the display device 263 of the mobile terminal device 9 and is not displayed on the screen distributed from the distribution control unit 113.
図８は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。携帯端末装置９のマスク指示受付部２１４は、マスクを顔に表示するユーザの選択指示をユーザから受け付けるために、ゲーム装置１０の顔検出部１１５により検出された撮像画像中の全ての顔の画像データをゲーム装置１０から取得し、取得したユーザの顔の一覧５０２を表示装置２６３に表示する。ユーザは、顔の一覧５０２が表示された画面において、カメラ７により撮像され顔検出部１１５により検出された全ての人の顔の中から、いずれの人の顔にマスクを付けるのかを選択することができる。この顔の一覧５０２の画面も、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されないマスク指示受付部２１４は、表示された顔の一覧５０２の中からユーザによる選択指示を受け付けると、受け付けた選択指示をゲーム装置１０へ送信する。
FIG. 8 shows an example of a screen displayed on the display device 263 of the mobile terminal device 9. The mask instruction reception unit 214 of the mobile terminal device 9 receives all the face images in the captured image detected by the face detection unit 115 of the game device 10 in order to receive a user's selection instruction to display the mask on the face. Data is acquired from the game apparatus 10, and the acquired user face list 502 is displayed on the display device 263. On the screen on which the face list 502 is displayed, the user selects which person's face is to be masked from all the person's faces captured by the camera 7 and detected by the face detection unit 115. Can do. The face list 502 screen is also displayed only on the display device 263 of the mobile terminal device 9, and is not displayed on the screen distributed from the distribution control unit 113. When a selection instruction from the user is received from the inside, the received selection instruction is transmitted to the game apparatus 10.
図９は、出力装置４のディスプレーに表示される画面４００の例を示す。ゲーム装置１０のマスク制御部１１４は、携帯端末装置９からマスクを表示する顔の選択指示を取得すると、キャラクタ３００がその顔にマスクの素材を吹き付ける様子を表示する。
FIG. 9 shows an example of a screen 400 displayed on the display of the output device 4. When the mask control unit 114 of the game apparatus 10 obtains a face selection instruction for displaying a mask from the mobile terminal device 9, the mask 300 displays a state in which the character 300 sprays the mask material on the face.
図１０は、出力装置４のディスプレーに表示される画面４００の例を示す。キャラクタ３００が顔にマスクの素材を吹き付けるアニメーション表示が終了すると、マスク制御部１１４は、顔検出部１１５により検出された顔の位置にマスク３１０を表示する。
FIG. 10 shows an example of a screen 400 displayed on the display of the output device 4. When the animation display in which the character 300 sprays the mask material on the face is finished, the mask control unit 114 displays the mask 310 at the face position detected by the face detection unit 115.
図１１は、出力装置４のディスプレーに表示される画面４００の例を示す。顔にマスク３１２が表示されているユーザが顔を傾けると、マスク制御部１１４は、顔検出部１１５により検出された顔の傾きよりも大きくマスク３１２を傾けて表示する。
FIG. 11 shows an example of a screen 400 displayed on the display of the output device 4. When the user whose mask 312 is displayed on the face tilts the face, the mask control unit 114 tilts and displays the mask 312 larger than the face tilt detected by the face detection unit 115.
図１２は、出力装置４のディスプレーに表示される画面４００の例を示す。顔にマスク３１２が表示されているユーザが顔を手で覆って隠すと、顔検出部１１５はユーザの顔を検出できなくなる。このとき、マスク制御部１１４は、表示されていたマスク３１２が消えていく様子をアニメーション表示し、アニメーション表示が終了するとマスク３１２を消去する。
FIG. 12 shows an example of a screen 400 displayed on the display of the output device 4. When a user whose face is displayed with the mask 312 covers and hides his / her face with his / her hand, the face detection unit 115 cannot detect the user's face. At this time, the mask control unit 114 displays an animation of the disappearance of the displayed mask 312 and erases the mask 312 when the animation display ends.
（バルーン表示）
実施の形態に係るゲーム装置１０は、入力装置６の位置を追跡し、入力装置６の位置から伸びる紐と、紐に繋がれたオブジェクトを表示することにより、入力装置６にバルーンが繋がれているような映像を生成する機能を提供する。
(Balloon display)
The game device 10 according to the embodiment tracks the position of the input device 6 and displays a string extending from the position of the input device 6 and an object connected to the string, whereby the balloon is connected to the input device 6. Provide a function to generate such images.
携帯端末装置９のバルーン指示受付部２１５は、メニュー表示部２１３が表示したメニュー画面を介して、バルーンを表示する指示をユーザから受け付けると、ゲーム装置１０へ指示を送信する。ゲーム装置１０のバルーン制御部１１６は、携帯端末装置９からバルーンを表示する指示を受信すると、ゲーム装置１０により認識されている現在アクティブな入力装置６の識別情報を携帯端末装置９へ送信する。
The balloon instruction accepting unit 215 of the mobile terminal device 9 transmits an instruction to the game device 10 when an instruction to display a balloon is received from the user via the menu screen displayed by the menu display unit 213. When the balloon control unit 116 of the game apparatus 10 receives an instruction to display a balloon from the mobile terminal device 9, the balloon control unit 116 transmits identification information of the currently active input device 6 recognized by the game apparatus 10 to the mobile terminal device 9.
バルーン指示受付部２１５は、現在アクティブな入力装置６の中から、バルーンを繋ぐ入力装置６の選択指示をユーザから受け付ける。バルーン指示受付部２１５は、更に、バルーンとして表示すべき画像の種類の選択指示をユーザから受け付ける。バルーンとして表示すべき画像は、携帯端末装置９のデータ保持部２６０又はゲーム装置１０のデータ保持部１６０に格納された２次元画像データ又は３次元形状データの中から選択されてもよいし、ユーザにより描画された画像であってもよい。後者の場合、バルーン指示受付部２１５は、描画画面を表示装置２６３に表示し、ユーザから画像の描画を受け付ける。バルーン指示受付部２１５は、入力装置６の選択指示と画像の選択指示を受け付けると、受け付けた選択指示をゲーム装置１０へ送信する。このとき、ユーザが描画した画像、又は、ゲーム装置１０のデータ保持部１６０にデータが格納されていない画像が選択された場合は、画像データもゲーム装置１０へ送信する。バルーン制御部１１６は、バルーンの画像の種類と、そのバルーンが繋がれる入力装置６との対応関係を保持する。
The balloon instruction receiving unit 215 receives from the user an instruction to select the input device 6 that connects the balloons from the currently active input devices 6. The balloon instruction receiving unit 215 further receives from the user an instruction to select the type of image to be displayed as a balloon. The image to be displayed as the balloon may be selected from the two-dimensional image data or the three-dimensional shape data stored in the data holding unit 260 of the mobile terminal device 9 or the data holding unit 160 of the game device 10, or the user It may be an image drawn by. In the latter case, the balloon instruction receiving unit 215 displays a drawing screen on the display device 263 and receives drawing of an image from the user. Upon receiving the selection instruction of the input device 6 and the selection instruction of the image, the balloon instruction reception unit 215 transmits the received selection instruction to the game apparatus 10. At this time, when an image drawn by the user or an image in which no data is stored in the data holding unit 160 of the game apparatus 10 is selected, the image data is also transmitted to the game apparatus 10. The balloon control unit 116 maintains a correspondence relationship between the type of balloon image and the input device 6 to which the balloon is connected.
入力装置６のタッチパッド７９が押下されたとき、その入力装置６にバルーンが対応付けられている場合は、バルーン制御部１１６は、入力装置６の位置に、その入力装置６に対応付けられている画像を表示し、タッチパッド７９が押下されている間、画像を拡大する。タッチパッド７９から指が離されると、バルーン制御部１１６は、入力装置６に繋がれた紐の先端に、タッチパッド７９に対する入力時間に応じて拡大された画像を表示する。バルーン制御部１１６は、画像を元の大きさで表示してもよいし、所定の大きさにリサイズして表示してもよいし、画像を拡大又は縮小する指示をユーザから受け付けて画像を拡大又は縮小して表示してもよい。バルーン制御部１１６は、バルーンをモデリングした立体、又は、球若しくは回転楕円体などの立体の表面に、バルーンとして表示される２次元画像をテクスチャとして貼り付けて表示してもよい。立体の複数の面に同じ画像を貼り付けてもよい。バルーン制御部１１６は、タッチパッド７９に対する入力時間に応じて紐の長さを決定してもよいし、所定の長さにしてもよい。
When the touch pad 79 of the input device 6 is pressed and a balloon is associated with the input device 6, the balloon control unit 116 is associated with the input device 6 at the position of the input device 6. While the touch pad 79 is pressed, the image is enlarged. When the finger is released from the touch pad 79, the balloon control unit 116 displays an image enlarged according to the input time with respect to the touch pad 79 at the tip of the string connected to the input device 6. The balloon control unit 116 may display the image at the original size, may display the image after being resized to a predetermined size, or accepts an instruction to enlarge or reduce the image from the user and enlarges the image. Or you may reduce and display. The balloon control unit 116 may paste and display a two-dimensional image displayed as a balloon as a texture on the surface of a three-dimensional modeled balloon or a three-dimensional surface such as a sphere or a spheroid. The same image may be pasted on a plurality of three-dimensional surfaces. The balloon control unit 116 may determine the length of the string according to the input time to the touch pad 79 or may have a predetermined length.
コントローラ検出部１１７は、カメラ７により撮像された画像に含まれる入力装置６を検出する。コントローラ検出部１１７は、所定のタイミングでカメラ７により撮像された画像のデータを取得し、既知の画像解析技術を用いて発光部８５により発せられた光を検出する。コントローラ検出部１１７は、カメラ７により撮像された全てのフレームについて入力装置６の位置を検出してもよいし、所定数のフレームごとに入力装置６の位置を検出してもよい。コントローラ検出部１１７が、所定の時間間隔で連続して、カメラ７により撮像された画像に含まれる入力装置６の位置を検出することにより、撮像されている入力装置６の位置を追跡することができる。
The controller detection unit 117 detects the input device 6 included in the image captured by the camera 7. The controller detection unit 117 acquires data of an image captured by the camera 7 at a predetermined timing, and detects light emitted by the light emitting unit 85 using a known image analysis technique. The controller detection unit 117 may detect the position of the input device 6 for all frames captured by the camera 7, or may detect the position of the input device 6 for every predetermined number of frames. The controller detection unit 117 can track the position of the input device 6 being captured by detecting the position of the input device 6 included in the image captured by the camera 7 continuously at a predetermined time interval. it can.
バルーン制御部１１６は、バルーンに対して所定の浮力を設定し、入力装置６の移動に合わせてバルーンが移動する様子を物理計算によりシミュレーションして表示してもよい。バルーンと入力装置６とを繋ぐ紐の所定位置に制御点を設け、制御点の動きをシミュレーションすることにより紐全体の動きをシミュレーションしてもよい。バルーン制御部１１６は、物理現象の一部を簡略化した簡易なシミュレーションによりバルーンを移動させてもよい。
The balloon control unit 116 may set a predetermined buoyancy for the balloon, and display by simulating the movement of the balloon according to the movement of the input device 6 by physical calculation. The movement of the entire string may be simulated by providing a control point at a predetermined position of the string connecting the balloon and the input device 6 and simulating the movement of the control point. The balloon control unit 116 may move the balloon by a simple simulation in which a part of a physical phenomenon is simplified.
差分検出部１１８は、動画像においてフレーム間の差分を検出する。差分検出部１１８は、バルーンが表示されている間、少なくともバルーンの周囲におけるフレーム間の差分を検出する。バルーン制御部１１６は、差分検出部１１８により、バルーンの近傍の所定の領域よりも広い領域において、所定の期間にわたって、所定量以上の差分を検出したとき、差分が生じた領域の位置からバルーンの重心に向かう方向に、差分の量、差分が生じた領域の広さ、又は差分が生じた期間に応じた大きさの力をバルーンに作用させ、物理計算によりバルーンを移動させる。これにより、例えば、ユーザが手でバルーンを叩く動作をとることによりバルーンを動かすことができるので、娯楽性の高い相互作用を体験することが可能な環境を提供することができる。バルーン制御部１１６は、物理計算ではなく、簡易なシミュレーションによりバルーンを移動させてもよい。例えば、差分が生じた領域とは逆の方向に所定量バルーンを移動させてもよい。
The difference detection unit 118 detects a difference between frames in the moving image. The difference detection unit 118 detects a difference between frames at least around the balloon while the balloon is displayed. When the difference detection unit 118 detects a difference of a predetermined amount or more over a predetermined period in a region wider than the predetermined region near the balloon, the balloon control unit 116 detects the balloon from the position of the region where the difference has occurred. In the direction toward the center of gravity, a force having a magnitude corresponding to the amount of difference, the size of the area in which the difference has occurred, or the period in which the difference has occurred is applied to the balloon, and the balloon is moved by physical calculation. Thereby, for example, since the user can move the balloon by taking an action of hitting the balloon with his / her hand, it is possible to provide an environment in which a highly entertaining interaction can be experienced. The balloon control unit 116 may move the balloon by simple simulation instead of physical calculation. For example, the balloon may be moved by a predetermined amount in the direction opposite to the area where the difference has occurred.
バルーン制御部１１６は、動画像におけるフレーム間の差分の検出に代えて、又は、差分の検出に加えて、カメラ７により撮像された画像の解析によりユーザの体の動きを追跡し、ユーザの体の一部がバルーンに当たったと判定したときに、バルーンに力を作用させてバルーンを移動させてもよい。例えば、ユーザの手の形状を認識し、ユーザの手がバルーンに当たったときに、バルーンを移動させてもよい。
The balloon control unit 116 tracks the movement of the user's body by analyzing the image captured by the camera 7 instead of or in addition to detecting the difference between frames in the moving image. When it is determined that a part of the balloon hits the balloon, the balloon may be moved by applying a force to the balloon. For example, the shape of the user's hand may be recognized, and the balloon may be moved when the user's hand hits the balloon.
入力装置６がカメラ７の視野から外れたり、ユーザが入力装置６をカメラ７とは逆の方向に向けたり、発光部８５を手で覆ったりして、コントローラ検出部１１７が入力装置６を検出することができなくなったときは、バルーン制御部１１６はバルーンを消去する。このとき、バルーンを入力装置６に繋いでいた紐が切れて、バルーンが上方へ飛んでいく様子などを表示した後、バルーンを消去してもよい。
The controller detection unit 117 detects the input device 6 when the input device 6 is out of the field of view of the camera 7, the user points the input device 6 in the opposite direction to the camera 7, or the light emitting unit 85 is covered with a hand. When it becomes impossible to do so, the balloon control unit 116 erases the balloon. At this time, the balloon may be erased after displaying a state where the string connecting the balloon to the input device 6 is broken and the balloon is flying upward.
図１３は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。携帯端末装置９のバルーン指示受付部２１５は、ユーザがバルーンを描画するための描画画面５１０を表示装置２６３に表示する。ユーザは、描画画面５１０において、バルーンとして表示すべき画像を描画することができる。この描画画面５１０は、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。
FIG. 13 shows an example of a screen displayed on the display device 263 of the mobile terminal device 9. The balloon instruction receiving unit 215 of the mobile terminal device 9 displays a drawing screen 510 on which the user draws a balloon on the display device 263. The user can draw an image to be displayed as a balloon on the drawing screen 510. The drawing screen 510 is displayed only on the display device 263 of the mobile terminal device 9 and is not displayed on the screen distributed from the distribution control unit 113.
図１４は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。バルーン指示受付部２１５は、バルーンを表示する入力装置６の選択指示をユーザから受け付けるために、現在アクティブな入力装置６の識別情報をゲーム装置１０から取得し、取得したアクティブな入力装置６の一覧５１２を表示装置２６３に表示する。バルーン指示受付部２１５は、表示された入力装置６の一覧５１２の中からユーザによる選択指示を受け付けると、受け付けた選択指示をゲーム装置１０へ送信する。この一覧５１２の画面も、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。
FIG. 14 shows an example of a screen displayed on the display device 263 of the mobile terminal device 9. The balloon instruction receiving unit 215 acquires the identification information of the currently active input device 6 from the game device 10 in order to receive an instruction to select the input device 6 that displays the balloon from the user, and lists the acquired active input devices 6. 512 is displayed on the display device 263. When the balloon instruction receiving unit 215 receives a selection instruction by the user from the displayed list 512 of the input device 6, the balloon instruction receiving unit 215 transmits the received selection instruction to the game apparatus 10. The screen of the list 512 is also displayed only on the display device 263 of the mobile terminal device 9 and is not displayed on the screen distributed from the distribution control unit 113.
図１５は、出力装置４のディスプレーに表示される画面４００の例を示す。バルーン制御部１１６は、携帯端末装置９からバルーンを表示する入力装置６の選択指示を取得すると、キャラクタ３００がその入力装置６に光を照射する様子を表示し、キャラクタ３００が入力装置６にバルーンを表示する機能を付与したような演出を表示する。
FIG. 15 shows an example of a screen 400 displayed on the display of the output device 4. When the balloon control unit 116 obtains an instruction to select the input device 6 that displays a balloon from the mobile terminal device 9, the balloon control unit 116 displays a state in which the character 300 irradiates light to the input device 6. An effect that gives the function of displaying is displayed.
図１６は、出力装置４のディスプレーに表示される画面４００の例を示す。バルーン制御部１１６は、入力装置６からタッチパッド７９が押下されたことを示す情報を取得すると、その入力装置６に対応付けられた画像３２０が、その入力装置６の位置から膨らんでくる様子を表示する。
FIG. 16 shows an example of a screen 400 displayed on the display of the output device 4. When the balloon control unit 116 acquires information indicating that the touch pad 79 has been pressed from the input device 6, a state in which the image 320 associated with the input device 6 swells from the position of the input device 6. indicate.
図１７は、出力装置４のディスプレーに表示される画面４００の例を示す。バルーン制御部１１６は、入力装置６からタッチパッド７９から指が離されたことを示す情報を取得すると、その入力装置６に対応付けられた画像３２０が、その入力装置６に紐３２２で繋がれた様子を表示する。バルーンは、追跡対象である入力装置６の移動に追随するように、入力装置６が検出された位置に応じてバルーン制御部１１６により算出される位置に表示される第１の部分である紐３２２の根の部分と、紐３２２の根の部分の移動に従属してバルーン制御部１１６により移動される第２の部分である画像３２０とを含む。バルーン制御部１１６は、コントローラ検出部１１７により検出される入力装置６の位置に追随して紐３２２の根の部分を移動させ、紐３２２により引っ張られるようにバルーンの画像３２０を移動させる。また、差分検出部１１８によりバルーンの画像３２０の周囲で差分が検出された場合は、検出された差分に応じてバルーンの画像３２０を移動させる。
FIG. 17 shows an example of a screen 400 displayed on the display of the output device 4. When the balloon control unit 116 acquires information indicating that the finger is released from the touch pad 79 from the input device 6, the image 320 associated with the input device 6 is connected to the input device 6 with the string 322. Display the state. The balloon is a string 322 that is a first portion displayed at a position calculated by the balloon control unit 116 according to the position where the input device 6 is detected so as to follow the movement of the input device 6 that is the tracking target. , And an image 320 that is a second part moved by the balloon control unit 116 depending on the movement of the root part of the string 322. The balloon control unit 116 moves the root portion of the string 322 following the position of the input device 6 detected by the controller detection unit 117, and moves the balloon image 320 so as to be pulled by the string 322. When a difference is detected around the balloon image 320 by the difference detection unit 118, the balloon image 320 is moved according to the detected difference.
図１８は、出力装置４のディスプレーに表示される画面４００の例を示す。バルーン制御部１１６は、コントローラ検出部１１７から入力装置６の発光部８５を検出できないことを示す情報を取得すると、その入力装置６に繋がれていたバルーンの紐３２２を切断し、紐３２２の根の部分とバルーンの画像３２０を分離させる。ユーザは、バルーンの紐３２２の根の部分が入力装置６に追随して移動されることを、出力装置４に表示される画面から認識することができるので、追跡対象である入力装置６の発光部８５及び発光部８５に追随する紐３２２の根の部分を隠すことと、紐３２２に従属して移動されるバルーンの画像３２０を入力装置６から切り離すこととの関係性を容易に理解することができる。バルーン制御部１１６は、バルーンの浮力に応じて、紐３２２から切り離されたバルーンを上方に移動させてもよいし、空中をふわふわと浮遊させてもよい。
FIG. 18 shows an example of a screen 400 displayed on the display of the output device 4. When the balloon control unit 116 acquires information indicating that the light emitting unit 85 of the input device 6 cannot be detected from the controller detection unit 117, the balloon control unit 116 cuts the balloon string 322 connected to the input device 6 and the root of the string 322. And the balloon image 320 are separated. Since the user can recognize from the screen displayed on the output device 4 that the root portion of the balloon string 322 is moved following the input device 6, the light emission of the input device 6 that is the tracking target can be recognized. To easily understand the relationship between hiding the root portion of the string 322 that follows the unit 85 and the light emitting unit 85 and detaching the balloon image 320 that is moved depending on the string 322 from the input device 6. Can do. The balloon control unit 116 may move the balloon separated from the string 322 upward according to the buoyancy of the balloon, or may float the air softly.
（ビルボード表示）
実施の形態に係るゲーム装置１０は、ユーザが描画した文字や画像などを掲示したビルボードを画面に表示する機能を提供する。
(Billboard display)
Game device 10 according to the embodiment provides a function of displaying a billboard on which characters or images drawn by a user are posted on a screen.
携帯端末装置９のビルボード指示受付部２１６は、メニュー表示部２１３が表示したメニュー画面を介して、ビルボードを表示する指示をユーザから受け付けると、画像の描画画面を表示装置２６３に表示し、ビルボードとして表示すべき画像の描画を受け付ける。ビルボード指示受付部２１６は、ユーザが画像の描画を終了すると、ビルボードを表示する指示をゲーム装置１０へ送信する。このとき、ユーザが描画した画像のデータもゲーム装置１０へ送信する。また、ビルボードを表示する画面の位置の指示をユーザから受付、受け付けた表示位置をゲーム装置１０へ送信する。
When the billboard instruction receiving unit 216 of the mobile terminal device 9 receives an instruction to display the billboard from the user via the menu screen displayed by the menu display unit 213, the billboard instruction receiving unit 216 displays an image drawing screen on the display device 263. Accept drawing of an image to be displayed as a billboard. When the user finishes drawing the image, the billboard instruction receiving unit 216 transmits an instruction to display the billboard to the game apparatus 10. At this time, image data drawn by the user is also transmitted to the game apparatus 10. Also, an instruction for the position of the screen for displaying the billboard is received from the user, and the received display position is transmitted to the game apparatus 10.
ゲーム装置１０のビルボード制御部１１９は、携帯端末装置９から取得した画像を、ゲーム画面の指示された位置にビルボードとして表示する。ユーザがプレイ中の画面を配信している場合、画面に表示されたビルボードも配信される画面に表示されるので、ユーザは視聴者に対するメッセージなどをビルボードに掲示しておくことができる。例えば、配信しているゲームの内容、ゲームに関するコメント、配信している動画像のテーマ、視聴者に対する告知などをビルボードに掲示することができる。
The billboard control unit 119 of the game apparatus 10 displays the image acquired from the mobile terminal device 9 as a billboard at the designated position on the game screen. When the user is distributing the screen being played, the billboard displayed on the screen is also displayed on the distributed screen, so that the user can post a message to the viewer on the billboard. For example, the contents of the distributed game, comments about the game, the theme of the moving image being distributed, notice to the viewer, etc. can be posted on the billboard.
上述したバルーンの例と同様に、差分検出部１１８が、表示されているビルボードの近傍においてフレーム間の差分を検出すると、ビルボード制御部１１９は、検出された差分に応じて、表示されているビルボードに影響を与える。例えば、ビルボード制御部１１９は、差分検出部１１８により、ビルボードの近傍の所定の領域よりも広い領域において、所定の期間にわたって、所定量以上の差分を検出したとき、差分が生じた領域の位置からビルボードの重心に向かう方向に、差分の量、差分が生じた領域の広さ、又は差分が生じた期間に応じた大きさの力をビルボードに作用させ、物理計算によりビルボードを移動させる。これにより、例えば、ユーザが手でビルボードを叩く動作をとることによりビルボードを動かすことができるので、娯楽性の高い相互作用を体験することが可能な環境を提供することができる。ビルボード制御部１１９は、物理計算ではなく、簡易なシミュレーションによりビルボードを移動させてもよい。例えば、差分が生じた領域とは逆の方向に所定量ビルボードを移動させてもよい。ビルボードが半透明の画像として表示される場合、ビルボード制御部１１９は、差分が生じた領域において、ビルボードの画像にノイズが生じたり、ビルボードの背景に透過表示されている領域にノイズが生じたりする様子を表示してもよい。
Similar to the balloon example described above, when the difference detection unit 118 detects a difference between frames in the vicinity of the displayed billboard, the billboard control unit 119 is displayed according to the detected difference. Affects billboards. For example, when the billboard control unit 119 detects a difference of a predetermined amount or more over a predetermined period in a region wider than the predetermined region near the billboard by the difference detection unit 118, the billboard control unit 119 In the direction from the position toward the center of gravity of the billboard, the amount of difference, the size of the area in which the difference has occurred, or a force of a magnitude corresponding to the period in which the difference has occurred is applied to the billboard, and the billboard is Move. Thus, for example, the user can move the billboard by taking an action of hitting the billboard with his / her hand, so that it is possible to provide an environment in which a highly entertaining interaction can be experienced. The billboard control unit 119 may move the billboard not by physical calculation but by simple simulation. For example, the billboard may be moved by a predetermined amount in the direction opposite to the area where the difference has occurred. When the billboard is displayed as a translucent image, the billboard control unit 119 causes noise in the billboard image in the area where the difference occurs or noise in the area transparently displayed on the background of the billboard. You may display the state that occurs.
ビルボード制御部１１９は、動画像におけるフレーム間の差分の検出に代えて、又は、差分の検出に加えて、カメラ７により撮像された画像の解析によりユーザの体の動きを追跡し、ユーザの体の一部がビルボードに当たったと判定したときに、ビルボードに力を作用させてビルボードを移動させてもよい。例えば、ユーザの手の形状を認識し、ユーザの手がビルボードに当たったときに、ビルボードを移動させてもよい。
The billboard control unit 119 tracks the movement of the user's body by analyzing the image captured by the camera 7 instead of or in addition to detecting the difference between frames in the moving image. When it is determined that a part of the body has hit the billboard, the billboard may be moved by applying a force to the billboard. For example, the shape of the user's hand may be recognized, and the billboard may be moved when the user's hand hits the billboard.
図１９は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。携帯端末装置９のビルボード指示受付部２１６は、ユーザがビルボードを表示する位置を指示するための画面５２０を表示装置２６３に表示する。ユーザは、画面５２０において、ビルボードを表示すべき位置を指示する。このとき、ビルボード指示受付部２１６は、カメラ７による撮像画像、又は、画像生成部１１１により生成された表示画像をゲーム装置１０から取得して画面５２０に表示し、ビルボードを表示すべき位置及び大きさの指示を受け付ける。これにより、ユーザは、出力装置４や配信先の視聴者の端末などに表示される画像を確認しながら、ビルボードを表示する位置や大きさを調整することができる。既に他のビルボードが表示されている場合は、ビルボードに設定した画像を設定した位置に表示してもよい。この画面５２０は、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。
FIG. 19 shows an example of a screen displayed on the display device 263 of the mobile terminal device 9. The billboard instruction receiving unit 216 of the mobile terminal device 9 displays a screen 520 on the display device 263 for instructing a position where the user displays the billboard. The user instructs a position on the screen 520 where the billboard should be displayed. At this time, the billboard instruction receiving unit 216 acquires the image captured by the camera 7 or the display image generated by the image generation unit 111 from the game apparatus 10 and displays it on the screen 520, and the position where the billboard should be displayed. And a size instruction is received. Thus, the user can adjust the position and size of the billboard display while confirming the image displayed on the output device 4 or the terminal of the distribution destination viewer. If another billboard is already displayed, the image set on the billboard may be displayed at the set position. This screen 520 is displayed only on the display device 263 of the mobile terminal device 9 and is not displayed on the screen distributed from the distribution control unit 113.
図２０は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。ビルボード指示受付部２１６は、ユーザがビルボードを描画するための描画画面５２２を表示装置２６３に表示する。ユーザは、描画画面５２２において、ビルボードとして表示すべき画像を描画することができる。この描画画面５２２も、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。
FIG. 20 shows an example of a screen displayed on the display device 263 of the mobile terminal device 9. The billboard instruction receiving unit 216 displays a drawing screen 522 on which the user draws the billboard on the display device 263. The user can draw an image to be displayed as a billboard on the drawing screen 522. The drawing screen 522 is also displayed only on the display device 263 of the mobile terminal device 9 and is not displayed on the screen distributed from the distribution control unit 113.
図２１は、出力装置４のディスプレーに表示される画面４００の例を示す。ゲーム装置１０のビルボード制御部１１９は、携帯端末装置９からビルボードとして表示する画像のデータを取得すると、キャラクタ３００がビルボードの素材をビルボードの表示位置に吹き付ける様子を表示する。
FIG. 21 shows an example of a screen 400 displayed on the display of the output device 4. When the billboard control unit 119 of the game apparatus 10 acquires image data to be displayed as a billboard from the mobile terminal device 9, the billboard controller 119 displays a state in which the character 300 blows the billboard material onto the billboard display position.
図２２は、出力装置４のディスプレーに表示される画面４００の例を示す。キャラクタ３００がビルボードの素材を吹き付けるアニメーション表示が終了すると、ビルボード制御部１１９は、ユーザから指示された位置にビルボード３３０を表示する。ビルボード３３０は、両端を２つのオブジェクト３３２及び３３４により支持されている。
FIG. 22 shows an example of a screen 400 displayed on the display of the output device 4. When the animation display in which the character 300 blows the billboard material ends, the billboard control unit 119 displays the billboard 330 at the position instructed by the user. The billboard 330 is supported at both ends by two objects 332 and 334.
図２３は、出力装置４のディスプレーに表示される画面４００の例を示す。ビルボード３３０の両端を支持している２つのオブジェクト３３２及び３３４は、顔検出部１１５により検出されたユーザの顔の位置の方に向くように回転されて表示される。
FIG. 23 shows an example of a screen 400 displayed on the display of the output device 4. The two objects 332 and 334 that support both ends of the billboard 330 are rotated and displayed so as to face the position of the user's face detected by the face detection unit 115.
図２４は、出力装置４のディスプレーに表示される画面４００の例を示す。ビルボード３３０の左端を支持しているオブジェクト３３２の近傍でユーザが手を動かすと、差分検出部１１８がフレーム間の差分を検出する。ビルボード制御部１１９は、オブジェクト３３２の近傍で差分が検出されると、オブジェクト３３２を揺らし、差分の量が大きい場合にはオブジェクト３３２を落下させる。ビルボード制御部１１９は、左端の支持を失ったビルボード３３０が垂れ下がる様子を表示する。ビルボード制御部１１９は、オブジェクト３３２が落下してから所定時間が経過すると、オブジェクト３３２が元の位置に戻って再びビルボード３３０の左端を支持する様子を表示する。
FIG. 24 shows an example of a screen 400 displayed on the display of the output device 4. When the user moves his / her hand in the vicinity of the object 332 supporting the left end of the billboard 330, the difference detection unit 118 detects a difference between frames. The billboard control unit 119 shakes the object 332 when a difference is detected in the vicinity of the object 332, and drops the object 332 when the amount of the difference is large. The billboard control unit 119 displays a state in which the billboard 330 that has lost support at the left end hangs down. The billboard control unit 119 displays a state in which the object 332 returns to the original position and supports the left end of the billboard 330 again when a predetermined time elapses after the object 332 falls.
（鏡像画面左右反転機能）
実施の形態に係るゲーム装置１０は、画面を左右反転させる機能を提供する。
(Mirror image screen horizontal reversal function)
The game apparatus 10 according to the embodiment provides a function of horizontally flipping the screen.
ゲーム装置１０の画像生成部１１１は、画面に表示されたバルーン、ビルボード、キャラクタなどとユーザが相互作用することを容易にするために、カメラ７により撮像された画像を左右反転させた鏡像画像を用いて画面を生成する。しかし、ユーザが動画像を配信しているときに、カメラ７により文字などを撮像させて視聴者に見せたい場合は、文字が左右反転してしまって読みづらくなってしまう。したがって、視聴者に対するメッセージなどをカメラ７に撮像させて視聴者に配信するときなどのために、必要に応じてユーザの指示により画面を更に左右反転させ、カメラ７により撮像された元の画像を用いて生成された画面を配信する機能を提供する。
The image generation unit 111 of the game apparatus 10 is a mirror image obtained by horizontally inverting the image captured by the camera 7 in order to make it easy for the user to interact with a balloon, billboard, character, or the like displayed on the screen. Generate a screen using. However, when the user is distributing a moving image and wants the camera 7 to capture characters and the like to be shown to the viewer, the characters are reversed left and right and are difficult to read. Therefore, for example, when the message to the viewer is imaged by the camera 7 and delivered to the viewer, the screen is further horizontally reversed according to the user's instruction as necessary, and the original image captured by the camera 7 is restored. Provides a function to distribute the screen generated by using.
鏡面画像制御部１２０は、入力装置６又は携帯端末装置９の鏡面画像指示受付部２１７から、表示画面を左右反転させる指示、すなわち、鏡像画像ではなくカメラ７により撮像された元の画像を表示する指示を受け付けると、画像生成部１１１に表示画面を左右反転させるよう指示する。画像生成部１１１は、鏡面画像制御部１２０から表示画面を左右反転させる指示を受け付けると、カメラ７により撮像された元の画像を用いて画面を生成することにより、画面を左右反転させる。
The mirror image control unit 120 displays an instruction to reverse the display screen from the mirror image instruction receiving unit 217 of the input device 6 or the mobile terminal device 9, that is, the original image captured by the camera 7 instead of the mirror image. When the instruction is received, the image generation unit 111 is instructed to flip the display screen left and right. When the image generation unit 111 receives an instruction to flip the display screen left and right from the mirror image control unit 120, the image generation unit 111 generates the screen using the original image captured by the camera 7, thereby flipping the screen left and right.
鏡面画像制御部１２０は、表示画面を左右反転させる指示を受け付けたときに、動画像を配信しているユーザ自身が視聴する出力装置４のディスプレーに表示される画面と、配信サーバ５を介して配信される動画像の画面の双方を左右反転させてもよいし、いずれか一方のみを反転させてもよい。出力装置４のディスプレーに表示される画面を左右反転させる場合、顔検出部１１５、コントローラ検出部１１７及び差分検出部１１８は、顔、入力装置６及びフレーム間の差分を検出するために用いるカメラ７により撮像された画像を左右反転させてもよいし、左右反転させなくてもよい。左右反転させる場合は、顔、入力装置６及び差分が検出される位置と画面との対応関係が維持されるので、マスク、バルーン、ビルボードなどを違和感なく表示することができる。左右反転させない場合は、顔、入力装置６及び差分が検出される位置が画面上の位置と対応しなくなるが、顔、入力装置６及び差分が検出される位置が、画面が左右反転される前の位置から不連続的にジャンプすることはないので、滑らかに相互作用を続けることができる。また、顔、入力装置６及び差分が検出される位置が画面の位置と対応しないという斬新な楽しさを提供することができる。表示画面を左右反転させるときに、撮像画像のみを左右反転し、撮像画像に重畳表示されるキャラクタ、バルーン、ビルボードなどは左右反転しなくてもよいし、双方を左右反転させてもよい。前者の場合、ビルボードなどに表示された文字を読み取りやすくすることができる。後者の場合、表示画面が左右反転していることを視聴者にも分かりやすく示すことができる。なお、後者の場合、バルーンやビルボードなどのオブジェクトは左右反転し、オブジェクトに貼り付けられた、文字などを含むテクスチャは左右反転させなくてもよい。これにより、表示画面が左右反転していることを視聴者にも分かりやすく示しつつ、文字などを読み取りやすくすることができる。
The mirror surface image control unit 120 receives a screen displayed on the display of the output device 4 viewed by the user who distributes the moving image when receiving an instruction to flip the display screen left and right, and the distribution server 5. Both of the screens of the moving images to be distributed may be reversed left or right, or only one of them may be reversed. When the screen displayed on the display of the output device 4 is reversed left and right, the face detection unit 115, the controller detection unit 117, and the difference detection unit 118 are used for detecting the difference between the face, the input device 6, and the frame 7. The image picked up by the above may be reversed horizontally or may not be reversed horizontally. When left and right are reversed, the correspondence between the face, the input device 6 and the position where the difference is detected and the screen is maintained, so that masks, balloons, billboards, and the like can be displayed without a sense of incompatibility. If it is not flipped horizontally, the face, the input device 6 and the position where the difference is detected do not correspond to the position on the screen, but the face, input device 6 and the position where the difference is detected are before the screen is flipped horizontally. Since it does not jump discontinuously from the position of, the interaction can continue smoothly. Further, it is possible to provide a novel pleasure that the face, the input device 6 and the position where the difference is detected do not correspond to the position of the screen. When the display screen is reversed left and right, only the captured image is reversed left and right, and characters, balloons, billboards, and the like displayed superimposed on the captured image may not be reversed left and right, or both may be reversed left and right. In the former case, it is possible to make it easier to read characters displayed on a billboard or the like. In the latter case, the viewer can easily understand that the display screen is horizontally reversed. In the latter case, objects such as balloons and billboards are reversed horizontally, and textures including characters and the like attached to the objects need not be reversed horizontally. As a result, it is possible to make it easier to read characters and the like while easily showing to the viewer that the display screen is horizontally reversed.
（投票機能）
実施の形態に係るゲーム装置１０は、動画像を配信しているユーザから視聴者に対するアンケートの実施指示を受け付け、配信された動画像を視聴している他のユーザからアンケートに対する投票を受け付ける機能を提供する。
(Voting function)
The game apparatus 10 according to the embodiment has a function of receiving a questionnaire execution instruction for a viewer from a user who distributes a moving image, and receiving a vote for the questionnaire from another user who is viewing the distributed moving image. provide.
ゲーム装置１０の投票制御部１２１は、配信制御部１１３により表示画像が配信されている間、配信されている動画像に対する評価に関するアンケートの回答を視聴者から受け付ける。投票制御部１２１は、この常時回答を受付可能なデフォルトのアンケートのほかに、ユーザが独自に設定したアンケートの回答を視聴者から受付可能である。
While the display image is distributed by the distribution control unit 113, the voting control unit 121 of the game apparatus 10 receives a questionnaire response regarding the evaluation of the distributed moving image from the viewer. The voting control unit 121 can accept, from a viewer, a questionnaire answer uniquely set by the user, in addition to the default questionnaire that can accept a regular answer.
携帯端末装置９の投票指示受付部２１８は、ユーザが動画像を配信しているときに、メニュー表示部２１３が表示したメニュー画面を介して、視聴者に対するアンケートを実施する指示を受け付けると、アンケートの質問及び回答の選択肢をユーザから受け付けるための画面を表示装置２６３に表示し、アンケートの質問及び回答の選択肢をユーザから受け付ける。アンケートの回答の選択肢の数は予め定められた数であってもよい。例えば、入力装置６の操作ボタン７６の数である４つでもよい。投票指示受付部２１８は、受け付けたアンケートの質問及び回答の選択肢をゲーム装置１０へ送信する。投票指示受付部２１８は、受け付けたアンケートの質問及び回答の選択肢をデータ保持部２６０に格納しておき、データ保持部２６０に格納されているアンケートの実施をユーザから指示されたときに、データ保持部２６０からアンケートの質問及び回答の選択肢を読み出してゲーム装置１０へ送信してもよい。
When the voting instruction receiving unit 218 of the mobile terminal device 9 receives an instruction to conduct a questionnaire for the viewer via the menu screen displayed by the menu display unit 213 when the user distributes a moving image, A screen for accepting the question and answer options from the user is displayed on the display device 263, and the questionnaire question and answer options are accepted from the user. The number of options for answering the questionnaire may be a predetermined number. For example, the number of operation buttons 76 of the input device 6 may be four. The voting instruction reception unit 218 transmits the received questionnaire question and answer options to the game apparatus 10. The voting instruction accepting unit 218 stores the accepted questionnaire questions and answer options in the data holding unit 260, and holds the data when instructed by the user to execute the questionnaire stored in the data holding unit 260. Questionnaire questions and answer options may be read from unit 260 and transmitted to game device 10.
ゲーム装置１０の投票制御部１２１は、他のユーザに配信される画面に、携帯端末装置９から受け付けたアンケートの項目を掲示したビルボードを表示する。これにより、視聴者は、ユーザによるアンケートが実施されていることを知ることができる。投票制御部１２１は、他のユーザに配信する画面に、アンケートに対する投票を視聴者から受け付けるためのユーザインタフェースを含ませてもよい。このユーザインタフェースは、視聴者が動画像を視聴するために利用する携帯端末装置９、ゲーム装置１０又はパーソナルコンピュータに搭載されたブラウザにおいて実行可能なスクリプトなどにより実現されてもよい。このユーザインタフェースは、ゲーム装置１０から動画像を配信するサービスにおける標準機能として提供されてもよい。ユーザインタフェースは、視聴者からアンケートに対する投票を受け付けると、ゲーム装置１０に直接、又は、配信サーバ５を介してゲーム装置１０に、受け付けた投票の結果を送信する。
The voting control unit 121 of the game apparatus 10 displays a billboard displaying the questionnaire items received from the mobile terminal device 9 on a screen distributed to other users. Thereby, the viewer can know that the questionnaire by the user is being implemented. The voting control unit 121 may include a user interface for receiving a vote for a questionnaire from a viewer on a screen distributed to other users. This user interface may be realized by a script or the like that can be executed in a browser mounted on the mobile terminal device 9, the game device 10, or a personal computer used by the viewer to view a moving image. This user interface may be provided as a standard function in a service for distributing moving images from the game apparatus 10. When the user interface receives a vote for the questionnaire from the viewer, the user interface transmits the received vote result directly to the game apparatus 10 or to the game apparatus 10 via the distribution server 5.
投票制御部１２１は、視聴者の端末又は配信サーバ５から、視聴者による投票の結果を取得すると、投票の結果をデータ保持部１６０に格納する。投票制御部１２１は、アンケートの実施中に、携帯端末装置９の投票指示受付部２１８から途中経過の取得を要求されると、データ保持部１６０から投票の結果を読み出して携帯端末装置９へ送信する。投票指示受付部２１８は、ゲーム装置１０から取得した投票の途中経過を表示装置２６３に表示する。なお、投票の途中経過は、画像生成部１１１により生成される画面には表示されないので、出力装置４のディスプレーを視聴しているユーザや、配信サーバ５から配信される動画像を視聴しているユーザは、途中経過を見ることはできず、アンケートを作成した携帯端末装置９を使用しているユーザのみが途中経過を見ることができる。
When the vote control unit 121 acquires the result of the vote by the viewer from the viewer terminal or the distribution server 5, the vote control unit 121 stores the result of the vote in the data holding unit 160. When the voting control unit 121 is requested to obtain an intermediate process from the voting instruction receiving unit 218 of the portable terminal device 9 during the questionnaire, the voting control unit 121 reads the voting result from the data holding unit 160 and transmits the result to the portable terminal device 9. To do. The voting instruction receiving unit 218 displays the progress of voting acquired from the game apparatus 10 on the display device 263. Since the progress of voting is not displayed on the screen generated by the image generation unit 111, the user who is viewing the display of the output device 4 or the moving image distributed from the distribution server 5 is viewed. The user cannot see the progress, and only the user who uses the mobile terminal device 9 who created the questionnaire can see the progress.
投票指示受付部２１８は、ユーザからアンケートの終了を指示されると、受け付けた指示をゲーム装置１０へ送信する。投票制御部１２１は、アンケートの終了指示を受け付けると、表示していたアンケートの項目を画面から消去する。
The voting instruction reception unit 218 transmits the received instruction to the game apparatus 10 when the user instructs the end of the questionnaire. When receiving an instruction to end the questionnaire, the voting control unit 121 deletes the displayed questionnaire item from the screen.
投票指示受付部２１８は、ユーザからアンケートの結果の配信を指示されると、受け付けた指示をゲーム装置１０へ送信する。投票制御部１２１は、アンケートの結果の配信指示を受け付けると、データ保持部１６０からアンケートの結果を読み出して、画像生成部１１１により生成される画面に表示する。このように、特定の表示対象、例えば、配信制御部１１３から配信される動画像を視聴している他のユーザからゲーム装置１０が受け付けたアンケートへの回答などの情報は、アンケートの実施を要求したユーザの携帯端末装置９においては任意のタイミングで表示可能であるが、配信画像にはユーザの携帯端末装置９から公開の指示がない限りは表示されない。したがって、ユーザは動画像の配信中に、視聴者から非公開に情報を収集することができ、また、必要であればその情報を配信画像に表示して公開することもできる。
The voting instruction accepting unit 218 transmits the accepted instruction to the game apparatus 10 when instructed by the user to deliver the questionnaire result. Upon receiving a questionnaire result distribution instruction, the voting control unit 121 reads the questionnaire result from the data holding unit 160 and displays the result on the screen generated by the image generation unit 111. As described above, information such as a response to a questionnaire received by the game apparatus 10 from a specific display target, for example, another user who is viewing a moving image distributed from the distribution control unit 113 requires an implementation of the questionnaire. The user's mobile terminal device 9 can display the image at an arbitrary timing, but the distribution image is not displayed unless there is a public instruction from the user's mobile terminal device 9. Therefore, the user can collect information privately from the viewer during distribution of the moving image, and can display the information on the distribution image and publish it if necessary.
図２５は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。携帯端末装置９の投票指示受付部２１８は、ユーザからアンケートの項目を受け付けるための画面５３０を表示装置２６３に表示する。ユーザは、画面５３０において、アンケートの項目を設定する。投票指示受付部２１８は、受け付けたアンケートの項目をゲーム装置１０へ送信する。
FIG. 25 shows an example of a screen displayed on the display device 263 of the mobile terminal device 9. The voting instruction reception unit 218 of the mobile terminal device 9 displays a screen 530 for receiving questionnaire items from the user on the display device 263. The user sets a questionnaire item on the screen 530. The voting instruction receiving unit 218 transmits the received questionnaire items to the game apparatus 10.
図２６は、出力装置４のディスプレーに表示される画面４００の例を示す。ゲーム装置１０の投票制御部１２１は、携帯端末装置９からアンケートの項目を取得すると、キャラクタ３００がアンケート３４０をホログラムで表示する様子を表示する。
FIG. 26 shows an example of a screen 400 displayed on the display of the output device 4. When the voting control unit 121 of the game apparatus 10 acquires the item of the questionnaire from the mobile terminal device 9, the voting control unit 121 displays a state in which the character 300 displays the questionnaire 340 as a hologram.
図２７は、配信サーバ５により配信される動画像を視聴するユーザの端末の表示装置に表示される画面６００の例を示す。画面６００には、アンケートに回答するためのユーザインタフェースが設けられている。ユーザは、インタフェースを介して、アンケートに投票することができる。
FIG. 27 shows an example of a screen 600 displayed on the display device of the terminal of the user who views the moving image distributed by the distribution server 5. The screen 600 is provided with a user interface for answering a questionnaire. Users can vote for questionnaires via the interface.
図２８は、出力装置４のディスプレーに表示される画面４００の例を示す。投票制御部１２１は、配信している動画像を視聴しているユーザからアンケートに対する投票を取得すると、アンケートに対する投票を取得したことを示すアイコン３４２を画面４００に表示する。
FIG. 28 shows an example of a screen 400 displayed on the display of the output device 4. When the voting control unit 121 acquires a vote for a questionnaire from a user who views the distributed moving image, the voting control unit 121 displays an icon 342 indicating that the vote for the questionnaire has been acquired on the screen 400.
図２９は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。投票指示受付部２１８は、ユーザからアンケートの途中経過を取得する指示を受け付けると、受け付けた指示をゲーム装置１０へ送信する。投票制御部１２１は、アンケートの実施を要求した携帯端末装置９からアンケートの途中経過を取得する指示を受け付けると、データ保持部１６０からアンケートの結果を読み出して、携帯端末装置９へ送信する。投票指示受付部２１８は、アンケートの途中経過を示す画面５３２を表示装置２６３に表示する。この画面５３２は、アンケートの実施を要求した携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。すなわち、アンケートの実施を要求したユーザは、アンケートの結果を視聴者に公開することなく、途中経過を確認することができる。
FIG. 29 shows an example of a screen displayed on the display device 263 of the mobile terminal device 9. The voting instruction reception unit 218 transmits the received instruction to the game apparatus 10 when receiving an instruction to acquire the progress of the questionnaire from the user. When the voting control unit 121 receives an instruction to acquire the progress of the questionnaire from the portable terminal device 9 that has requested execution of the questionnaire, the voting control unit 121 reads the questionnaire result from the data holding unit 160 and transmits the result to the portable terminal device 9. The voting instruction reception unit 218 displays a screen 532 indicating the progress of the questionnaire on the display device 263. This screen 532 is displayed only on the display device 263 of the mobile terminal device 9 that has requested execution of the questionnaire, and is not displayed on the screen distributed from the distribution control unit 113. That is, the user who requested the implementation of the questionnaire can check the progress of the questionnaire without opening the results of the questionnaire to the viewer.
図３０は、出力装置４のディスプレーに表示される画面４００の例を示す。投票指示受付部２１８は、ユーザからアンケートの結果を配信する指示を受け付けると、受け付けた指示をゲーム装置１０へ送信する。投票制御部１２１は、アンケートの実施を要求した携帯端末装置９からアンケートの結果を配信する指示を受け付けると、データ保持部１６０からアンケートの結果を読み出して、集計したアンケートの結果３４４を画面４００に表示する。アンケートの結果３４４を表示した画面４００は、動画像を視聴しているユーザにも配信される。
FIG. 30 shows an example of a screen 400 displayed on the display of the output device 4. The voting instruction reception unit 218 transmits the received instruction to the game device 10 when receiving an instruction to distribute the result of the questionnaire from the user. When the voting control unit 121 receives an instruction to distribute the questionnaire result from the mobile terminal device 9 that has requested execution of the questionnaire, the voting control unit 121 reads the questionnaire result from the data holding unit 160 and displays the aggregated questionnaire result 344 on the screen 400. indicate. The screen 400 displaying the questionnaire result 344 is also distributed to the user who is viewing the moving image.
図３１は、実施の形態に係るゲーム制御方法の手順を示すフローチャートである。携帯端末装置９のマスク指示受付部２１４は、ユーザからマスク画像を表示する指示を受け付けると（Ｓ１００）、受け付けた指示をゲーム装置１０へ送信する（Ｓ１０２）。ゲーム装置１０のマスク制御部１１４は、携帯端末装置９からマスク画像を表示する指示を受け付けると、カメラ７により撮像された画像に含まれる顔を顔検出部１１５に検出させ（Ｓ１０４）、検出された顔画像を携帯端末装置９へ送信する（Ｓ１０６）。
FIG. 31 is a flowchart showing a procedure of the game control method according to the embodiment. When receiving an instruction to display a mask image from the user (S100), the mask instruction receiving unit 214 of the mobile terminal device 9 transmits the received instruction to the game apparatus 10 (S102). When receiving an instruction to display a mask image from the mobile terminal device 9, the mask control unit 114 of the game apparatus 10 causes the face detection unit 115 to detect the face included in the image captured by the camera 7 (S 104). The face image is transmitted to the mobile terminal device 9 (S106).
マスク指示受付部２１４は、マスクを顔に表示するユーザの選択指示をユーザから受け付けるために、ゲーム装置１０から送信された顔の画像の一覧を表示装置２６３に表示し（Ｓ１０８）、マスク画像を表示する顔の選択指示と（Ｓ１１０）、表示するマスク画像の選択指示をユーザから受け付け（Ｓ１１２）、受け付けた顔の選択指示と（Ｓ１１４）、マスク画像の選択指示をゲーム装置１０へ送信する（Ｓ１１６）。
The mask instruction accepting unit 214 displays a list of face images transmitted from the game apparatus 10 on the display device 263 in order to accept a user's selection instruction to display a mask on the face (S108). An instruction to select a face to be displayed (S110), an instruction to select a mask image to be displayed are received from the user (S112), an instruction to select a face to be received (S114), and an instruction to select a mask image are transmitted to the game apparatus 10 ( S116).
マスク制御部１１４は、携帯端末装置９からマスクを表示する顔及びマスク画像の選択指示を取得すると、キャラクタがその顔にマスクの素材を吹き付ける様子を表示し（Ｓ１１８）、アニメーション表示が終了すると、顔検出部１１５により検出された顔の位置にマスク画像を表示する（Ｓ１２０）。顔検出部１１５がユーザの顔を検出できている間は（Ｓ１２２のＮ）、マスク制御部１１４は、検出された顔の位置に重畳してマスク画像を表示する（Ｓ１２０）。ユーザが顔を手で覆って隠すなどして、顔検出部１１５がユーザの顔を検出できなくなると（Ｓ１２２のＹ）、マスク制御部１１４は、表示されていたマスク３１２が消えていく様子をアニメーション表示し（Ｓ１２４）、アニメーション表示が終了するとマスク画像を消去する（Ｓ１２６）。
When the mask control unit 114 obtains an instruction to select a face and mask image for displaying a mask from the mobile terminal device 9, the mask control unit 114 displays a state in which the character sprays the mask material on the face (S118). A mask image is displayed at the face position detected by the face detection unit 115 (S120). While the face detection unit 115 can detect the user's face (N in S122), the mask control unit 114 displays a mask image superimposed on the detected face position (S120). When the face detection unit 115 cannot detect the user's face by covering the face with a hand and hiding it (Y in S122), the mask control unit 114 shows that the displayed mask 312 disappears. An animation is displayed (S124), and when the animation display ends, the mask image is deleted (S126).
図３２は、実施の形態に係るゲーム制御方法の手順を示すフローチャートである。携帯端末装置９のバルーン指示受付部２１５は、ユーザからバルーンを表示する指示を受け付けると（Ｓ２００）、受け付けた指示をゲーム装置１０へ送信する（Ｓ２０２）。ゲーム装置１０のバルーン制御部１１６は、携帯端末装置９からバルーンを表示する指示を受け付けると、アクティブな入力装置６の識別情報を携帯端末装置９へ送信する（Ｓ２０６）。
FIG. 32 is a flowchart illustrating a procedure of the game control method according to the embodiment. When receiving an instruction to display a balloon from the user (S200), the balloon instruction accepting unit 215 of the mobile terminal device 9 transmits the accepted instruction to the game device 10 (S202). Upon receiving an instruction to display a balloon from the mobile terminal device 9, the balloon control unit 116 of the game device 10 transmits identification information of the active input device 6 to the mobile terminal device 9 (S206).
バルーン指示受付部２１５は、ゲーム装置１０から送信されたアクティブな入力装置６の一覧を表示装置２６３に表示し（Ｓ２０８）、バルーン表示を割り当てる入力装置６の選択指示と（Ｓ２１０）、表示するバルーン画像の選択指示をユーザから受け付け（Ｓ２１２）、受け付けた入力装置６の選択指示と（Ｓ２１４）、バルーン画像の選択指示をゲーム装置１０へ送信する（Ｓ２１６）。
The balloon instruction receiving unit 215 displays a list of the active input devices 6 transmitted from the game device 10 on the display device 263 (S208), selects the input device 6 to which the balloon display is assigned (S210), and displays the balloon to be displayed. An image selection instruction is received from the user (S212), the received selection instruction of the input device 6 (S214), and a balloon image selection instruction are transmitted to the game apparatus 10 (S216).
バルーン制御部１１６は、携帯端末装置９から入力装置６及びバルーン画像の選択指示を取得すると、その入力装置６にキャラクタが光を照射する様子をアニメーション表示する（Ｓ２１７）。バルーン制御部１１６は、バルーン表示が割り当てられた入力装置６のタッチパッド７９が押下されるまで待機し（Ｓ２１８のＮ）、タッチパッド７９が押下されると（Ｓ２１８のＹ）、タッチパッド７９の押下が終了するまでの間（Ｓ２２２のＮ）、その入力装置６に割り当てられたバルーン画像が入力装置６の位置から膨らむ様子を表示する（Ｓ２２０）。タッチパッド７９の押下が終了すると（Ｓ２２２のＹ）、バルーン制御部１１６は、コントローラ検出部１１７が入力装置６の位置を検出できている間は（Ｓ２２６のＮ）、バルーンが入力装置６に繋がれた様子を表示する（Ｓ２２４）。ユーザが入力装置６の発光部８５を手で覆って隠すなどして、コントローラ検出部１１７が入力装置６の位置を検出できなくなると（Ｓ２２６のＹ）、バルーン制御部１１６は、バルーンを入力装置６に繋いでいた紐が切れて、バルーンが飛んでいく様子をアニメーション表示し（Ｓ２２８）、アニメーション表示が終了するとバルーンを消去する（Ｓ２３０）。
When the balloon control unit 116 obtains an instruction to select the input device 6 and the balloon image from the mobile terminal device 9, the balloon control unit 116 displays an animation indicating that the character emits light to the input device 6 (S217). The balloon control unit 116 waits until the touch pad 79 of the input device 6 to which the balloon display is assigned is pressed (N in S218), and when the touch pad 79 is pressed (Y in S218), Until the pressing is completed (N in S222), a state in which the balloon image assigned to the input device 6 swells from the position of the input device 6 is displayed (S220). When the pressing of the touch pad 79 ends (Y in S222), the balloon control unit 116 connects the balloon to the input device 6 while the controller detection unit 117 can detect the position of the input device 6 (N in S226). The displayed state is displayed (S224). If the controller cannot detect the position of the input device 6 because the user covers and hides the light emitting unit 85 of the input device 6 (Y in S226), the balloon control unit 116 displays the balloon in the input device. When the string connected to 6 is cut and the balloon is flying, an animation is displayed (S228). When the animation display is completed, the balloon is erased (S230).
図３３は、実施の形態に係るゲーム制御方法の手順を示すフローチャートである。携帯端末装置９のビルボード指示受付部２１６は、ユーザからビルボードを表示する指示を受け付けると（Ｓ３００）、受け付けた指示をゲーム装置１０へ送信する（Ｓ３０２）。ゲーム装置１０のビルボード制御部１１９は、携帯端末装置９からビルボードを表示する指示を受け付けると、画像生成部１１１により生成されて出力装置４に表示されている表示画像を携帯端末装置９へ送信する（Ｓ３０６）。
FIG. 33 is a flowchart illustrating a procedure of the game control method according to the embodiment. When the billboard instruction receiving unit 216 of the mobile terminal device 9 receives an instruction to display a billboard from the user (S300), the billboard instruction receiving unit 216 transmits the received instruction to the game device 10 (S302). When the billboard control unit 119 of the game apparatus 10 receives an instruction to display the billboard from the mobile terminal device 9, the display image generated by the image generation unit 111 and displayed on the output device 4 is sent to the mobile terminal device 9. Transmit (S306).
ビルボード指示受付部２１６は、ゲーム装置１０から送信された表示画像を表示装置２６３に表示し（Ｓ３０８）、ビルボードを表示する位置の選択指示と（Ｓ３１０）、ビルボードとして表示する画像の選択指示をユーザから受け付け（Ｓ３１２）、受け付けた表示位置の選択指示と（Ｓ３１４）、ビルボード画像の選択指示をゲーム装置１０へ送信する（Ｓ３１６）。
The billboard instruction accepting unit 216 displays the display image transmitted from the game apparatus 10 on the display device 263 (S308), selects a position for displaying the billboard (S310), and selects an image to be displayed as the billboard. The instruction is received from the user (S312), the received display position selection instruction (S314), and the billboard image selection instruction are transmitted to the game apparatus 10 (S316).
ビルボード制御部１１９は、携帯端末装置９からビルボードの表示位置及びビルボードとして表示する画像の選択指示を取得すると、表示位置にビルボード画像の素材を吹き付ける様子をアニメーション表示し（Ｓ３１８）、アニメーション表示が終了すると、表示位置にビルボード画像を表示する（Ｓ３２０）。ビルボード制御部１１９は、差分検出部１１８により、ビルボードが表示されている領域の近傍において差分が検出されると（Ｓ３２２のＹ）、検出された差分に応じてビルボードの表示態様を変更する（Ｓ３２４）。差分が検出されない場合は（Ｓ３２２のＮ）、そのままビルボード画像を表示する（Ｓ３２０）。
When the billboard control unit 119 obtains the display position of the billboard and the selection instruction of the image to be displayed as the billboard from the mobile terminal device 9, the billboard control unit 119 displays an animation of spraying the material of the billboard image on the display position (S318). When the animation display ends, a billboard image is displayed at the display position (S320). When the difference detection unit 118 detects a difference in the vicinity of the area where the billboard is displayed (Y in S322), the billboard control unit 119 changes the display mode of the billboard according to the detected difference. (S324). If no difference is detected (N in S322), the billboard image is displayed as it is (S320).
図３４は、実施の形態に係るゲーム制御方法の手順を示すフローチャートである。ゲーム装置１０は、カメラ７から撮像画像を取得する（Ｓ４００）。鏡面画像制御部１２０は、表示画像を左右反転する指示を受け付けていない場合は（Ｓ４０２のＮ）、撮像画像を左右反転した鏡像を生成し、鏡像をもとに表示画像を生成させる（Ｓ４０４）。表示画像を左右反転する指示を受け付けている場合は（Ｓ４０２のＹ）、Ｓ４０４をスキップし、撮像画像を左右反転しないことにより、通常の表示画像とは左右が反転した表示画像を生成させる。
FIG. 34 is a flowchart showing a procedure of the game control method according to the embodiment. The game apparatus 10 acquires a captured image from the camera 7 (S400). If the mirror image control unit 120 has not received an instruction to flip the display image left and right (N in S402), the mirror image control unit 120 generates a mirror image obtained by horizontally inverting the captured image, and generates a display image based on the mirror image (S404). . When an instruction to horizontally flip the display image is received (Y in S402), S404 is skipped, and the captured image is not horizontally reversed, thereby generating a display image that is horizontally reversed from the normal display image.
鏡面画像制御部１２０は、差分検出部１１８がフレーム間の差分を検出するために用いる検出画像を左右反転する指示を受け付けていない場合は（Ｓ４０６のＮ）、撮像画像を左右反転して検出画像を生成し、生成した検出画像をもとに差分を検出させる（Ｓ４０８）。検出画像を左右反転する指示を受け付けている場合は（Ｓ４０６のＹ）、Ｓ４０８をスキップし、撮像画像を左右反転しないことにより、通常の検出画像とは左右が反転した検出画像をもとに差分を検出させる。
When the specular image control unit 120 has not received an instruction to horizontally flip the detection image used by the difference detection unit 118 to detect the difference between frames (N in S406), the mirror image control unit 120 reverses the captured image to the left and right to detect the detected image. And the difference is detected based on the generated detection image (S408). If an instruction to flip the detected image to the left and right is accepted (Y in S406), skip S408 and do not flip the captured image to the left or right, so that the difference from the normal detected image is based on the detected image that is reversed left and right Is detected.
差分検出部１１８は、左右反転した、又は、左右反転しない検出画像をもとに、フレーム間の差分を検出し、撮像された現実世界のユーザなどと、表示された仮想世界のキャラクタ、バルーン、ビルボードなどのオブジェクトとの間の相互作用を検出する（Ｓ４１０）。バルーン制御部１１６及びビルボード制御部１１９は、検出された相互作用に応じてバルーン及びビルボードを制御する（Ｓ４１２）。画像生成部１１１は、相互作用されたバルーン及びビルボードを含む配信画像を生成する（Ｓ４１４）。
The difference detection unit 118 detects a difference between frames based on a detection image that is horizontally reversed or not horizontally reversed, and the captured real world user, a displayed virtual world character, a balloon, An interaction with an object such as a billboard is detected (S410). The balloon control unit 116 and the billboard control unit 119 control the balloon and the billboard according to the detected interaction (S412). The image generation unit 111 generates a distribution image including the interacted balloon and billboard (S414).
図３５は、実施の形態に係るゲーム制御方法の手順を示すフローチャートである。携帯端末装置９の投票指示受付部２１８は、ユーザからアンケートを実施する指示を受け付けると（Ｓ５００）、更に、アンケートの質問と（Ｓ５０２）、質問に対する回答の選択肢をユーザから受け付け（Ｓ５０４）、受け付けた質問と回答の選択肢とともに、アンケートの実施指示をゲーム装置１０へ送信する（Ｓ５０６）。
FIG. 35 is a flowchart illustrating a procedure of the game control method according to the embodiment. When the voting instruction receiving unit 218 of the mobile terminal device 9 receives an instruction to conduct a questionnaire from the user (S500), the questionnaire question (S502) and the answer option for the question are received from the user (S504). A questionnaire execution instruction is transmitted to the game apparatus 10 together with the selected question and answer options (S506).
投票制御部１２１は、携帯端末装置９からアンケートの実施指示を取得すると、画像生成部１１１により配信される配信画像にアンケートの質問と回答の選択肢を表示させる（Ｓ５０８）。アンケートが表示された配信画像は、配信制御部１１３から配信サーバ５などを介して視聴者の端末に送信され（Ｓ５１０）、視聴者はアンケートに回答する（Ｓ５１２）。投票制御部１２１は、視聴者の端末からアンケートの回答を取得すると、取得した回答をデータ保持部１６０に格納する（Ｓ５１４）。このとき、投票制御部１２１は、アンケートの回答を取得した旨を示すアイコンなどを配信画像に表示する。
When the voting control unit 121 obtains a questionnaire execution instruction from the mobile terminal device 9, the voting control unit 121 displays the questionnaire question and answer options on the distribution image distributed by the image generation unit 111 (S508). The distribution image on which the questionnaire is displayed is transmitted from the distribution control unit 113 to the viewer's terminal via the distribution server 5 (S510), and the viewer answers the questionnaire (S512). When the voting control unit 121 acquires the questionnaire response from the viewer's terminal, the voting control unit 121 stores the acquired response in the data holding unit 160 (S514). At this time, the voting control unit 121 displays an icon or the like indicating that the questionnaire response has been acquired on the distribution image.
投票指示受付部２１８は、ユーザからアンケートの途中経過を取得する指示を受け付けると（Ｓ５１６）、受け付けた指示をゲーム装置１０へ送信する（Ｓ５１８）。投票制御部１２１は、アンケートの実施を要求した携帯端末装置９からアンケートの途中経過を取得する指示を受け付けると、データ保持部１６０からアンケートの結果を読み出して、携帯端末装置９へ送信する（Ｓ５２０）。投票指示受付部２１８は、アンケートの途中経過を示す画面を表示装置２６３に表示する（Ｓ５２２）。
When the voting instruction accepting unit 218 accepts an instruction to acquire the progress of the questionnaire from the user (S516), the voting instruction accepting unit 218 transmits the accepted instruction to the game device 10 (S518). When the voting control unit 121 receives an instruction to acquire the progress of the questionnaire from the portable terminal device 9 that has requested execution of the questionnaire, the voting control unit 121 reads the questionnaire result from the data holding unit 160 and transmits the result to the portable terminal device 9 (S520). ). The voting instruction reception unit 218 displays a screen indicating the progress of the questionnaire on the display device 263 (S522).
投票指示受付部２１８は、ユーザからアンケートの結果を公開する指示を受け付けると（Ｓ５２４）、受け付けた指示をゲーム装置１０へ送信する（Ｓ５２６）。投票制御部１２１は、アンケートの実施を要求した携帯端末装置９からアンケートの結果を配信する指示を受け付けると、データ保持部１６０からアンケートの結果を読み出して、集計したアンケートの結果を配信画像に表示する（Ｓ５２８）。アンケートの結果を表示した配信画像は、視聴者の端末に配信される（Ｓ５３０）。
When the voting instruction receiving unit 218 receives an instruction to publish the questionnaire result from the user (S524), the voting instruction receiving unit 218 transmits the received instruction to the game apparatus 10 (S526). When the voting control unit 121 receives an instruction to distribute the questionnaire result from the mobile terminal device 9 that has requested execution of the questionnaire, the voting control unit 121 reads the questionnaire result from the data holding unit 160 and displays the aggregated questionnaire result on the distribution image. (S528). The distribution image displaying the result of the questionnaire is distributed to the viewer's terminal (S530).
なお、配信制御部１１３から他の装置へ配信される配信画像と、出力装置４のディスプレーに表示される表示画像とは、同一であってもよいし、異なるものであってもよい。例えば、上述したマスク、バルーン、ビルボード、アンケートの結果などは、配信画像のみに表示されてもよいし、表示画像のみに表示されてもよいし、双方に表示されてもよい。
The distribution image distributed from the distribution control unit 113 to another device and the display image displayed on the display of the output device 4 may be the same or different. For example, the masks, balloons, billboards, questionnaire results, etc. described above may be displayed only on the distribution image, only on the display image, or on both.
以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
In the above, this invention was demonstrated based on the Example. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to each component and combination of processing processes, and such modifications are within the scope of the present invention.
