JP2020174971A - Highlight moving image generation program, highlight moving image generation method and information processing device - Google Patents
Highlight moving image generation program, highlight moving image generation method and information processing device Download PDFInfo
- Publication number
- JP2020174971A JP2020174971A JP2019080361A JP2019080361A JP2020174971A JP 2020174971 A JP2020174971 A JP 2020174971A JP 2019080361 A JP2019080361 A JP 2019080361A JP 2019080361 A JP2019080361 A JP 2019080361A JP 2020174971 A JP2020174971 A JP 2020174971A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- game
- moving image
- highlight
- excitement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 59
- 238000000034 method Methods 0.000 title claims description 53
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000010801 machine learning Methods 0.000 claims description 13
- 230000002860 competitive effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 24
- 230000005284 excitation Effects 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明の実施形態は、ハイライト動画生成プログラム、ハイライト動画生成方法および情報処理装置に関する。 Embodiments of the present invention relate to a highlight moving image generation program, a highlight moving image generation method, and an information processing apparatus.
近年、e−Sprotsを代表としたコンピュータゲームの観戦が盛り上がりを見せており、観戦時においては、ダイジェストとしてゲーム中で盛り上がりのある白熱したハイライトシーンの提示が行われている。このようなハイライトシーンを提示する従来技術としては、コンテンツの画像または音声データから抽出される特徴データに基づいて演算される評価値に基づいて、コンテンツの中のハイライトシーンを検出するものが知られている。 In recent years, watching computer games represented by e-Sprots has been booming, and at the time of watching games, exciting highlight scenes are presented as digests in the game. As a conventional technique for presenting such a highlight scene, a technique for detecting a highlight scene in the content is performed based on an evaluation value calculated based on feature data extracted from the image or audio data of the content. Are known.
しかしながら、上記の従来技術では、コンテンツの画像または音声データによりハイライトシーンを検出することから、コンピュータゲームの観衆側の盛り上がりとは無関係なものがハイライトシーンとして提示される場合があるという問題がある。 However, in the above-mentioned prior art, since the highlight scene is detected by the image or audio data of the content, there is a problem that something unrelated to the excitement on the audience side of the computer game may be presented as the highlight scene. is there.
1つの側面では、コンピュータゲームの観衆が盛り上がるハイライトシーンの提示を支援できるハイライト動画生成プログラム、ハイライト動画生成方法および情報処理装置を提供することを目的とする。 In one aspect, it is an object of the present invention to provide a highlight video generation program, a highlight video generation method, and an information processing device that can support the presentation of a highlight scene that excites a computer game audience.
第1の案では、ハイライト動画生成プログラムは、分割する処理と、算出する処理と、生成する処理と、出力する処理とをコンピュータに実行させる。分割する処理は、コンピュータゲームの動画像をシーンごとに分割する。算出する処理は、分割したシーンごとに、シーンに含まれるゲーム画像に基づき、コンピュータゲームのゲーム画像からゲーム画像を視聴した観衆の盛り上がり度を予測する予測モデルを用いて、シーンを観衆が視聴した場合の盛り上がり度を算出する。生成する処理は、算出した盛り上がり度に基づき、分割したシーンの中からハイライト動画に用いるシーンを選定してハイライト動画を生成する。出力する処理は、生成したハイライト動画を出力する。 In the first plan, the highlight moving image generation program causes a computer to execute a process of dividing, a process of calculating, a process of generating, and a process of outputting. The division process divides the moving image of the computer game for each scene. The calculation process is based on the game image included in the divided scene, and the audience viewed the scene using a prediction model that predicts the degree of excitement of the audience who viewed the game image from the game image of the computer game. Calculate the degree of excitement of the case. In the generation process, a scene to be used for the highlight movie is selected from the divided scenes based on the calculated degree of excitement, and the highlight movie is generated. The output process outputs the generated highlight video.
本発明の1実施態様によれば、コンピュータゲームの観衆が盛り上がるハイライトシーンの提示を支援できる。 According to one embodiment of the present invention, it is possible to support the presentation of a highlight scene in which an audience of a computer game is excited.
以下、図面を参照して、実施形態にかかるハイライト動画生成プログラム、ハイライト動画生成方法および情報処理装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明するハイライト動画生成プログラム、ハイライト動画生成方法および情報処理装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。 Hereinafter, the highlight moving image generation program, the highlight moving image generation method, and the information processing apparatus according to the embodiment will be described with reference to the drawings. Configurations having the same function in the embodiment are designated by the same reference numerals, and duplicate description will be omitted. The highlight moving image generation program, the highlight moving image generation method, and the information processing apparatus described in the following embodiments are merely examples, and the embodiments are not limited. In addition, the following embodiments may be appropriately combined within a consistent range.
[実施形態の概要について]
図1は、実施形態の概要を説明する説明図である。本実施形態では、例えばe−Sprotsなどのコンピュータゲームの動画像(以下、ゲーム動画と呼ぶ)をもとに、盛り上がりのある白熱したハイライトシーンをダイジェストとして見せるハイライト動画を作成する。このハイライト動画を作成する情報制御装置としては、例えばPC(パーソナルコンピュータ)などを適用することができる。
[Overview of the embodiment]
FIG. 1 is an explanatory diagram illustrating an outline of an embodiment. In the present embodiment, a highlight moving image showing a lively and incandescent highlight scene as a digest is created based on a moving image of a computer game such as e-Sprots (hereinafter referred to as a game moving image). As an information control device for creating the highlight moving image, for example, a PC (personal computer) or the like can be applied.
なお、ハイライト動画を作成するコンピュータゲームについては、シューティングゲーム、ストラテジーゲーム、格闘ゲーム、スポーツゲーム、レーシングゲーム、パズルゲームなどであり、特に限定しない。本実施形態では、一例として、複数のプレイヤーが対戦する対戦型ゲームであり、ゲーム上の各プレイヤーを上から俯瞰したゲーム画面のリアルタイムストラテジーゲームを例示する。 The computer games that create highlight videos are shooting games, strategy games, fighting games, sports games, racing games, puzzle games, and the like, and are not particularly limited. In the present embodiment, as an example, a real-time strategy game of a game screen in which a plurality of players play against each other and each player in the game is viewed from above is illustrated.
図1に示すように、情報処理装置は、まず、ハイライト作成に関するデータ入力を受け付ける(S1)。具体的には、情報制御装置は、ハイライトを作成したいゲーム動画と、作成したいハイライトのシーン数および1シーンあたりの秒数などの設定情報とのデータ入力を受け付ける。 As shown in FIG. 1, the information processing apparatus first accepts data input related to highlight creation (S1). Specifically, the information control device accepts data input of a game movie for which a highlight is to be created and setting information such as the number of scenes of the highlight to be created and the number of seconds per scene.
ゲーム動画については、ゲームの開始から終了までのゲーム画面に関する動画像であり、所定のフレームレート(例えば30fps)の動画データである。 The game moving image is a moving image related to the game screen from the start to the end of the game, and is moving image data having a predetermined frame rate (for example, 30 fps).
図2は、ゲーム動画の画面例を説明する説明図である。図2に示すように、ゲーム動画Gは、例えば、プレイ中のゲーム画面G1と、プレイヤーの様子やゲームに関する各種ステータスなどを表示するインフォメーション画面G2とを有する。ゲーム画面G1は、仮想的なカメラの映像として、ゲーム内のプレイヤーP1、P2を上方から俯瞰した構成となっている。なお、ゲーム画面G1の画面構成は、各プレイヤーP1、P2を上から俯瞰したものに限定するものではなく、ゲーム内のプレイヤーP1、P2としてゲームフィールドを眺めたものであってもよい。 FIG. 2 is an explanatory diagram illustrating a screen example of a game movie. As shown in FIG. 2, the game moving image G has, for example, a game screen G1 being played and an information screen G2 displaying various statuses related to the state of the player and the game. The game screen G1 has a configuration in which the players P1 and P2 in the game are viewed from above as a virtual camera image. The screen configuration of the game screen G1 is not limited to a bird's-eye view of each player P1 and P2, and may be a view of the game field as players P1 and P2 in the game.
また、ゲーム画面G1では、カメラ切替りにより、プレイヤーP1、P2に関する視点の切り替りが行われる。例えば、ゲーム画面G1は、プレイヤーP1を画面中心としたプレイヤーP1に関する視点の連続シーン(図中の上段)から、カメラ切替りにより、プレイヤーP2を画面中心としたプレイヤーP2に関する視点の連続シーン(図中の中段)に切り替わる。同様に、ゲーム画面G1は、カメラ切替りにより、プレイヤーP2に関する視点の連続シーン(図中の中段)からプレイヤーP1に関する視点の連続シーン(図中の下段)へと戻る。 Further, on the game screen G1, the viewpoints of the players P1 and P2 are switched by switching the cameras. For example, the game screen G1 is a continuous scene of the viewpoint related to the player P1 centered on the player P1 (upper part in the figure) to a continuous scene of the viewpoint related to the player P2 centered on the player P2 by switching cameras (FIG. Switch to (middle middle). Similarly, the game screen G1 returns from the continuous scene of the viewpoint related to the player P2 (middle row in the figure) to the continuous scene of the viewpoint related to the player P1 (lower row in the figure) by switching the camera.
次いで、情報処理装置は、ハイライト作成に関するデータ入力をもとに、ハイライト動画を作成する(S2)。具体的には、情報処理装置は、ゲーム動画をカメラ切り替りのタイミングでシーンごとに分割する(S2a)。ここで、情報処理装置は、分割した各シーンがゲームの前半・中盤・後半のどこのパートにあたるかをタグ付けする。 Next, the information processing device creates a highlight moving image based on the data input related to the highlight creation (S2). Specifically, the information processing device divides the game video into scenes at the timing of switching cameras (S2a). Here, the information processing device tags which part of the first half, the middle stage, or the second half of the game corresponds to each divided scene.
また、情報処理装置は、ゲーム動画を所定時間(例えば1秒)ごとの静止画像(以下、ゲーム画像)に分割する。具体的には、情報処理装置は、所定のフレームレートのゲーム動画について、例えば、1秒間隔でフレームの抽出を行う。 Further, the information processing device divides the game moving image into still images (hereinafter, game images) at predetermined time (for example, 1 second) intervals. Specifically, the information processing device extracts frames of a game moving image having a predetermined frame rate, for example, at 1-second intervals.
次いで、情報処理装置は、分割した各ゲーム画像について、ゲーム画像を視聴した観衆の盛り上がり度を予測する予測モデルを利用して、観衆が視聴した場合の盛り上がり度を計算する(S2b)。盛り上がり度の計算に利用する予測モデルは、ゲーム画像に対する観衆の盛り上がり度が正解として付与された教師データをもとに、ディープラーニングなどの機械学習により作成した学習モデルである(詳細は後述する)。 Next, the information processing device calculates the degree of excitement when the audience views the divided game image by using a prediction model that predicts the degree of excitement of the audience who viewed the game image (S2b). The prediction model used to calculate the degree of excitement is a learning model created by machine learning such as deep learning based on the teacher data given as the correct answer to the degree of excitement of the audience for the game image (details will be described later). ..
次いで、情報処理装置は、S2aで分割した各シーンについて、設定情報で指定した秒数に切り取る。次いで、情報処理装置は、S2bで計算した各ゲーム画像の盛り上がり度をもとに、切り取った各シーンを観衆が視聴した場合の盛り上がり度を計算(予測)する(S2c)。一例として、情報処理装置は、各シーンに含まれるゲーム画像の盛り上がり度の平均を求める。 Next, the information processing device cuts each scene divided in S2a into the number of seconds specified in the setting information. Next, the information processing device calculates (predicts) the degree of excitement when the audience views each of the cut out scenes based on the degree of excitement of each game image calculated in S2b (S2c). As an example, the information processing device obtains the average degree of excitement of the game images included in each scene.
次いで、情報処理装置は、各シーンの盛り上がり度に基づき、分割したシーンの中から指定したシーン数のシーンを選定してつなぎ合わせ、ハイライト動画を生成する(S2d)。例えば、情報処理装置は、盛り上がり度順にシーンを並べ、盛り上がり度が高いものから順に選定する。次いで、情報処理装置は、選定したシーンを時系列順に並べてつなぎ合わせることでハイライト動画を生成する。 Next, the information processing device selects and joins a specified number of scenes from the divided scenes based on the degree of excitement of each scene, and generates a highlight moving image (S2d). For example, in the information processing device, scenes are arranged in order of excitement, and scenes are selected in order from the one with the highest excitement. Next, the information processing device generates a highlight moving image by arranging and connecting the selected scenes in chronological order.
ここで、情報処理装置は、前半・中盤・後半のどこのパートのシーンであるかを示すタグを参照し、パートごとに少なくとも1つのシーンを選定するようにする。これにより、前半、中盤、後半それぞれにおいて盛り上がりのあるシーンを含む、ゲームの開始から終了までの一連のダイジェストにふさわしいハイライト動画を生成することができる。 Here, the information processing device refers to a tag indicating which part of the first half, the middle stage, or the second half is the scene, and selects at least one scene for each part. As a result, it is possible to generate a highlight video suitable for a series of digests from the start to the end of the game, including scenes with excitement in each of the first half, the middle stage, and the second half.
次いで、情報処理装置は、生成したハイライト動画のディプレイへの表示、ファイル出力などにより、ハイライト動画をユーザに出力する(S3)。これにより、ユーザは、コンピュータゲームのゲーム動画から、観衆が盛り上がるハイライトシーンのハイライト動画を容易に得ることができる。 Next, the information processing device outputs the highlight moving image to the user by displaying the generated highlight moving image on the display, outputting a file, or the like (S3). As a result, the user can easily obtain the highlight video of the highlight scene in which the audience is excited from the game video of the computer game.
[情報処理装置について]
図3は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。図3に示すように、情報処理装置1は、通信部10、記憶部20および制御部30を有する。
[About information processing equipment]
FIG. 3 is a block diagram showing a functional configuration example of the information processing apparatus according to the embodiment. As shown in FIG. 3, the
通信部10は、有線又は無線を問わず接続する外部機器との通信を制御する。通信部10は、例えばNIC(Network Interface Card)等の通信インタフェース等である。
The
記憶部20は、例えば制御部30が実行するプログラム、ゲーム動画情報21、設定情報22、予測モデル情報23およびシーン別情報DB24などの各種データを記憶する。記憶部20は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリなどの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
The
ゲーム動画情報21は、ハイライトを作成したいゲーム動画や、教師データを作成するためのゲーム動画など、各種ゲーム動画の情報である。具体的には、ゲーム動画情報21は、AVI形式、MPEG−4形式などの所定のファイルフォーマットの動画ファイルである。なお、教師データを作成するためのゲーム動画には、ゲーム動画の観客席における音量、すなわち観衆が発した音量が音量データとして含まれているものとする。 The game video information 21 is information on various game videos such as a game video for which a highlight is to be created and a game video for creating teacher data. Specifically, the game moving image information 21 is a moving image file having a predetermined file format such as an AVI format or an MPEG-4 format. It is assumed that the game video for creating the teacher data includes the volume of the game video in the audience seats, that is, the volume emitted by the audience as the volume data.
設定情報22は、例えば、ハイライト作成に関するデータ入力において受け付けた各種設定データである。具体的には、設定情報22には、作成したいハイライトのシーン数および1シーンあたりの秒数などが含まれる。
The setting
予測モデル情報23は、ゲーム画像を視聴した観衆の盛り上がり度を予測する予測モデルに関する情報である。
The
ここで、予測モデルは、例えば、ゲーム画像に対して観衆の盛り上がり度を予測するようにディープラーニングなどの機械学習により作成した学習モデルである。学習モデルとしては、例えば、脳のニューロンを模したユニットを入力層から中間層を経て出力層に至る間に階層的に結合したニューラルネットワークを適用できる。したがって、予測モデル情報23は、ディープラーニングなどの機械学習による学習済み学習モデル(予測モデル)に関する情報(例えば、ニューラルネットワークの各ノードにおけるパラメータ)などである。
Here, the prediction model is, for example, a learning model created by machine learning such as deep learning so as to predict the degree of excitement of the audience with respect to the game image. As a learning model, for example, a neural network in which units imitating neurons in the brain are hierarchically connected from an input layer to an output layer via an intermediate layer can be applied. Therefore, the
シーン別情報DB24は、ゲーム動画情報21のゲーム動画より分割した各シーンについての各種情報を格納するデータベースである(詳細は後述する)。 The scene-specific information DB 24 is a database that stores various information about each scene divided from the game video of the game video information 21 (details will be described later).
制御部30は、情報処理装置1の全体的な処理を司る処理部である。制御部30は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部30は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。
The control unit 30 is a processing unit that controls the overall processing of the
制御部30は、入力部31、分割部32、教師データ作成部33、予測モデル作成部34、盛り上がり度計算部35、ハイライト動画作成部36および出力部37を有する。なお、入力部31、分割部32、教師データ作成部33、予測モデル作成部34、盛り上がり度計算部35、ハイライト動画作成部36および出力部37は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
The control unit 30 includes an input unit 31, a division unit 32, a teacher
入力部31は、通信部10などを介して入力される各種データの入力処理を行う処理部である。例えば、入力部31は、ハイライトを作成したいゲーム動画や、教師データを作成するためのゲーム動画などの入力を受け付けてゲーム動画情報21として記憶部20に格納する。また、入力部31は、作成したいハイライトのシーン数およびシーンの秒数などの入力を受け付けて設定情報22として記憶部20に格納する。また、入力部31は、予測モデルを外部機器で作成する場合に入力される予測モデルに関する情報を予測モデル情報23として記憶部20に格納する。
The input unit 31 is a processing unit that performs input processing of various data input via the
分割部32は、ゲーム動画の分割に関する処理を行う処理部である。分割部32は、記憶部20に格納されたゲーム動画情報21を読み出し、所定の条件を満たすシーンの区切りでゲーム動画を分割する。例えば、分割部32は、1フレームごとに前後のフレームにおけるRGB値を比較し、所定値以上の差分があったところでゲーム動画を分割する。これにより、分割部32は、ゲーム動画をカメラ切り替りのタイミングで、シーンごとに分割する。
The division unit 32 is a processing unit that performs processing related to division of the game moving image. The dividing unit 32 reads out the game moving image information 21 stored in the
また、分割部32は、所定間隔のフレームを抽出することで、ゲーム動画を所定時間(例えば1秒)ごとのゲーム画像に分割する。次いで、分割部32は、抽出したゲーム画像を教師データ作成部33や盛り上がり度計算部35などに出力する。
Further, the dividing unit 32 divides the game moving image into game images at predetermined time intervals (for example, 1 second) by extracting frames at predetermined intervals. Next, the division unit 32 outputs the extracted game image to the teacher
また、分割部32は、分割したシーンに関する情報をシーン別情報DB24に格納する。具体的には、分割部32は、分割したシーンを識別するシーン名(例えばシーンA、シーンB…)ごとに、各シーンについて抽出したゲーム画像などの情報をシーン別情報DB24に格納する。 Further, the division unit 32 stores information about the divided scenes in the scene-specific information DB 24. Specifically, the division unit 32 stores information such as a game image extracted for each scene in the scene-specific information DB 24 for each scene name (for example, scene A, scene B ...) That identifies the divided scene.
教師データ作成部33は、教師データを作成するためのゲーム動画より、ゲーム画像と、ゲーム画像に対する観衆の盛り上がり度とを組み合わせたデータセット(教師データ)を作成する処理部である。
The teacher
予測モデル作成部34は、教師データ作成部33が作成した教師データをもとに、ディープラーニングなどの機械学習により予測モデルを作成する処理部である。
The prediction
ここで、予測モデルの作成について詳細に説明する。図4は、予測モデルの作成処理例を示すフローチャートである。 Here, the creation of the prediction model will be described in detail. FIG. 4 is a flowchart showing an example of a prediction model creation process.
図4に示すように、処理が開始されると、分割部32は、教師データを作成するためのゲーム動画について、所定時間(例えば1秒)ごとのゲーム画像と、音量(ゲーム動画の観客席における音量)とに分割する(S10)。 As shown in FIG. 4, when the process is started, the division unit 32 describes the game image for each predetermined time (for example, 1 second) and the volume (audience seat of the game video) for the game video for creating the teacher data. (Volume in) and (S10).
次いで、教師データ作成部33は、所定時間ごとに分割した音量について正規化を行う(S11)。具体的には、教師データ作成部33は、ゲーム動画より分割した全ての音量の中で、最大のものを1とし、最小のものを0として、音量に応じた値(0〜1)に正規化する。この正規化により、観衆が発した音量が最も大きく、盛り上がりが最大のところは1となり、盛り上がりが最小のところは0となる。
Next, the teacher
次いで、教師データ作成部33は、正規化した音量のデータを、音量に応じた複数のカテゴリに分類する(S12)。例えば、教師データ作成部33は、音量に応じて0〜3までのカテゴリに分類する場合、正規化した音量が0.8以上である場合に3(非常に盛り上がっている)とする。また、教師データ作成部33は、正規化した音量が0.6以上、0.8未満である場合に2(盛り上がっている)とする。また、教師データ作成部33は、正規化した音量が0.4以上、0.6未満である場合に1(少し盛り上がっている)とする。また、教師データ作成部33は、正規化した音量が0.4未満である場合に0(盛り上がっていない)とする。このように、教師データ作成部33は、観衆の盛り上がりに応じたカテゴリに分類する。
Next, the teacher
次いで、教師データ作成部33は、所定時間ごとに分割したゲーム画像がどのカテゴリであるかを判別する(S13)。具体的には、教師データ作成部33は、分割したゲーム画像のところの音量を、どのカテゴリに分類したかをもとにカテゴリを判別する。
Next, the teacher
次いで、教師データ作成部33は、分割した各ゲーム画像について、上記のS11〜S13の処理を行うことで、ゲーム画像と、ゲーム画像に対する音量データ(観衆の盛り上がりを示すカテゴリ値)のデータセット(教師データ)を作成する(S14)。
Next, the teacher
次いで、予測モデル作成部34は、作成したデータセットをもとに、ディープラーニングなどの機械学習により、盛り上がり度(観衆の盛り上がりを示すカテゴリ値)を予測する予測モデル2を作成する(S15)。次いで、予測モデル作成部34は、作成した予測モデル2に関する情報を予測モデル情報23として記憶部20に格納する。
Next, the prediction
例えば、予測モデル作成部34は、予測モデル2の入力層にゲーム画像を入力し、演算結果を示す出力値を出力層から出力させる。次いで、予測モデル作成部34は、ゲーム動画に付与された正解のラベル(観衆の盛り上がりを示すカテゴリ値)と、出力値との比較に基づいて、予測モデル2のニューラルネットワークの各ノードにおけるパラメータを学習する。具体的には、予測モデル作成部34は、出力値と正解のラベルとの比較結果を用いた誤差逆伝播(error Back Propagation:BP)法などによって、ニューラルネットワークのパラメータを学習する。次いで、予測モデル作成部34は、作成した予測モデル2における各ノードのパラメータ値などの情報を予測モデル情報23として記憶部20に格納する。
For example, the prediction
このように作成した予測モデル2を用いることで、情報処理装置1では、ゲーム画像から観衆の盛り上がり度を算出(予測)する。図5は、予測モデル2による盛り上がり度の算出例を説明する説明図である。
By using the
図5に示すように、予測モデル2は、例えば20万枚以上のゲーム画像と、ゲーム画像に対する盛り上がり度との組み合わせであるデータセット2aを用いたディープラーニングなどの機械学習が行われている。このため、情報処理装置1は、予測モデル2を用いることで、ゲーム動画Gから例えば1秒ごとに抽出した各ゲーム画像G10における盛り上がり度を算出することができる。具体的には、情報処理装置1は、予測モデル2に各ゲーム画像G10を入力することで、予測モデル2より盛り上がり度の出力を得る。
As shown in FIG. 5, the
図3に戻り、盛り上がり度計算部35は、分割部32が分割したシーンごとに、当該シーンに含まれるゲーム画像G10に基づき、予測モデル2を用いてシーンを観衆が視聴した場合の盛り上がり度を予測する処理部である。
Returning to FIG. 3, the excitement
ハイライト動画作成部36は、盛り上がり度計算部35が予測した盛り上がり度に基づき、分割したシーンの中からハイライト動画に用いるシーンを選定してハイライト動画を生成する処理部である。出力部37は、ハイライト動画作成部36が生成したハイライト動画を出力する処理部である。
The highlight moving
ここで、盛り上がり度計算部35、ハイライト動画作成部36および出力部37に関する処理の詳細について説明する。図6は、実施形態にかかる情報処理装置の動作例を示すフローチャートである。
Here, the details of the processing related to the excitement
図6に示すように、処理が開始されると、入力部31は、ハイライトを作成したいゲーム動画Gの入力を受け付ける(S20)。受け付けたゲーム動画Gについては、ゲーム動画情報21として記憶部20に格納される。
As shown in FIG. 6, when the process is started, the input unit 31 accepts the input of the game video G for which the highlight is to be created (S20). The received game video G is stored in the
次いで、分割部32は、ゲーム動画情報21を読み出して、ゲーム動画Gをシーンごとに分割する(S21)。また、分割部32は、ゲーム動画Gをゲームの開始から終了までの複数のパートに分割(区分)する(S22)。 Next, the dividing unit 32 reads out the game moving image information 21 and divides the game moving image G into each scene (S21). Further, the division unit 32 divides (divides) the game moving image G into a plurality of parts from the start to the end of the game (S22).
図7は、シーンごとの分割例を示す説明図である。図7に示すように、分割部32は、ゲーム動画Gにおけるゲーム画像G10a、G10b、…の前後のRGB値を比較する。次いで、分割部32は、前後のRGB値の変化が所定値より大きいところ(変化大)でカメラの切り替りが発生したと判断して、シーン分割を行う。図示例では、分割部32は、ゲーム画像G10bとゲーム画像G10cの間で変化大であったことから、シーンAと、シーンBとに分割している。分割部32は、分割した各シーン(シーンA、シーンB、…)について、シーン名などを付与した上でシーン別情報DB24に登録する。 FIG. 7 is an explanatory diagram showing an example of division for each scene. As shown in FIG. 7, the dividing unit 32 compares the RGB values before and after the game images G10a, G10b, ... In the game moving image G. Next, the division unit 32 determines that the camera switching has occurred at a place where the change in the RGB values before and after is larger than the predetermined value (large change), and divides the scene. In the illustrated example, the division portion 32 is divided into a scene A and a scene B because the change is large between the game image G10b and the game image G10c. The division unit 32 assigns a scene name and the like to each of the divided scenes (scene A, scene B, ...) And registers them in the scene-specific information DB 24.
また、分割部32は、ゲーム開始から終了までの複数のパートに分割(区分)した上で、各シーンがどのパートに含まれるかを示すシーンタグを付与する。例えば、分割部32は、ゲーム開始から終了までを3等分に区切り、各シーンについて、前半、中盤、後半の3パートのどのパートであるかを示すシーンタグを付与してもよい。なお、分割するパート数については、3パートに限定するものではなく、起承転結の4パートの分割など、任意の数であってもよい。また、分割方法も、等分割に限定するものではなく、所定時間(例えば10分)ごとの刻み幅での分割であってもよい。なお、各シーンにおけるシーンタグの情報は、シーン別情報DB24に格納する。 Further, the division unit 32 divides (divides) into a plurality of parts from the start to the end of the game, and then adds a scene tag indicating which part each scene is included in. For example, the division unit 32 may divide the game from the start to the end into three equal parts, and may give each scene a scene tag indicating which of the three parts, the first half, the middle stage, and the second half. The number of parts to be divided is not limited to 3 parts, and may be any number such as division of 4 parts of Kishōtenketsu. Further, the division method is not limited to equal division, and division may be performed at intervals of a predetermined time (for example, 10 minutes). The scene tag information in each scene is stored in the scene-specific information DB 24.
図6に戻り、S20に次いで、分割部32は、ゲーム動画Gを所定時間(例えば1秒)ごとのゲーム画像G10に分割する(S23)。なお、分割したゲーム画像G10についての情報(例えばファイル名(image名))は、S21において分割したシーンの中で対応するシーンのゲーム画像G10としてシーン別情報DB24に格納する。 Returning to FIG. 6, following S20, the division unit 32 divides the game moving image G into game images G10 at predetermined time (for example, 1 second) (S23). Information about the divided game image G10 (for example, a file name (image name)) is stored in the scene-specific information DB 24 as the game image G10 of the corresponding scene in the divided scene in S21.
次いで、盛り上がり度計算部35は、分割した各ゲーム画像G10について、予測モデル2に各ゲーム画像G10を入力することで、盛り上がり度を予測する(S24)。なお、S23、S24の処理は、S21、S22と並列に行われるものであってもよいし、直列に行われるものであってもよい。各ゲーム画像G10について予測した盛り上がり度の値は、各ゲーム画像G10の盛り上がり度としてシーン別情報DB24に格納する。
Next, the excitement
次いで、盛り上がり度計算部35は、各シーンに含まれるゲーム画像G10それぞれについて予測した盛り上がり度をもとに、シーンごとに盛り上がり度を算出する(S25)。
Next, the excitement
図8、図9は、各シーンの盛り上がり度の計算を説明する説明図である。図8に示すように、S21、S22の処理により、分割した各シーンにはシーンタグが付与されている。また、S23、S24の処理により、所定時間ごとに分割したゲーム画像G10については、盛り上がり度が予測されている。したがって、シーン別情報DB24には、上記の処理結果を組み合わせたデータが格納されている。具体的には、シーン別情報DB24には、シーンごとに、シーンタグ、シーンに含まれるゲーム画像G10および盛り上がり度が格納されている。 8 and 9 are explanatory views for explaining the calculation of the degree of excitement of each scene. As shown in FIG. 8, a scene tag is added to each of the divided scenes by the processing of S21 and S22. Further, the degree of excitement is predicted for the game image G10 divided at predetermined time by the processing of S23 and S24. Therefore, the scene-specific information DB 24 stores data in which the above processing results are combined. Specifically, the scene-specific information DB 24 stores a scene tag, a game image G10 included in the scene, and a degree of excitement for each scene.
このシーン別情報DB24を参照することで、盛り上がり度計算部35は、シーンごとの盛り上がり度を計算する。例えば、盛り上がり度計算部35は、シーンAの盛り上がり度を算出する場合、シーンAに該当するゲーム画像G10(001.img、002.img、003.img)の盛り上がり度を読み出し、シーンAの盛り上がり度(例えば合計値)を求める。
By referring to the scene-specific information DB 24, the excitement
次いで、ハイライト動画作成部36は、シーン別情報DB24における各シーンを、設定情報22において1シーンあたりの秒数として指定した時間に分割する(S26)。例えば、図8の右側に示すように、1シーンあたり10秒とされている場合、ハイライト動画作成部36は、シーン別情報DB24における各シーンについて、盛り上がり度がピークとなる時刻(t1)を中心に前後5秒の間を1シーンとする。
Next, the highlight moving
次いで、ハイライト動画作成部36は、時間指定により分割したことで、シーンが重複したか否かを判定する(S27)。シーンが重複した場合、ハイライト動画作成部36は、重複したシーンの中で、盛り上がり度の低い方のシーンをハイライト動画の選定対象(以下、選定対象と呼ぶ)から除外する(S28)。
Next, the highlight moving
例えば、図9の左側に示すように、シーンAについては、盛り上がり度がピークとなる時刻(t1)を中心に前後5秒を1シーンとしている。また、シーンBについては、盛り上がり度がピークとなる時刻(t2)を中心に前後5秒を1シーンとしている。ここで、互いの盛り上がり度のピークとなる時刻(t1、t2)が近いと、シーンに重複が生じる。 For example, as shown on the left side of FIG. 9, for scene A, one scene is set to 5 seconds before and after the time (t1) when the degree of excitement peaks. Further, for scene B, one scene is set to 5 seconds before and after the time (t2) when the degree of excitement peaks. Here, if the times (t1, t2) at which the peaks of each other's excitement peak are close, the scenes overlap.
このような重複が生じた場合、ハイライト動画作成部36は、各シーンにおける盛り上がり度のピーク値を比較し、盛り上がり度に低いシーンを選定対象から除外する。例えば、図示例では、シーンBが選定対象から除外される。
When such duplication occurs, the highlight moving
次いで、ハイライト動画作成部36は、シーンごとに、盛り上がり度の平均を算出する(S29)。例えば、図9の右側に示すように、シーンAについては、シーンに含まれる各ゲーム画像G10の盛り上がり度をもとに、(2+3)/2=2.5の平均値が得られる。ここで、ハイライト動画作成部36は、算出した平均の高い順に、設定情報22においてハイライトのシーン数として指定した数のシーンを選定対象とする。
Next, the highlight moving
次いで、ハイライト動画作成部36は、シーンタグを参照し、各パートに選定対象とした盛り上がりシーンがあるか否かを判定する(S30)。
Next, the highlight moving
盛り上がりシーンがないパートがある場合(S30:No)、ハイライト動画作成部36は、そのパート内で所定の閾値を超えた盛り上がり度のシーンを選定対象に入れる(S31)。なお、各パートに盛りシーンがある場合(S30:Yes)は、そのままS32へ処理を進める。
When there is a part without an exciting scene (S30: No), the highlight moving
図10は、ハイライト動画の生成を説明する説明図である。図10に示すように、ハイライト動画作成部36は、シーンA〜Iの中で、盛り上がり度(平均)の高い順に4シーンを選定対象としている(S31a)。ここで、中盤パートについては、選定対象となるシーンがない。このように、選定対象となるシーンがない中盤パートについて、ハイライト動画作成部36は、所定の閾値(例えば1.5以上)を超えた盛り上がり度のシーンEを選定対象に加える(S31b)。
FIG. 10 is an explanatory diagram illustrating the generation of the highlight moving image. As shown in FIG. 10, the highlight moving
なお、ハイライト動画作成部36は、選定対象を新たに加える場合、選定対象が複数あるパートの中で、盛り上がり度の低いシーンを選定対象から除外してもよい。例えば、ハイライト動画作成部36は、中盤パートのシーンEを新たに加える場合、選定対象が複数ある前半パートの中で、盛り上がり度の低いシーン(例えばシーンB)を選定対象から除外する。このように、ハイライト動画作成部36は、選定対象のシーン数を所定数に維持し、指定したシーン数となるようにしてもよい。
When adding a new selection target, the highlight moving
次いで、ハイライト動画作成部36は、選定対象のシーンを時系列順に並べてつなぎ合わせることでハイライト動画を生成する。次いで、出力部37は、ハイライト動画作成部36が生成したハイライト動画の表示出力、ファイル出力などを行って、ハイライト動画を出力する(S32)。
Next, the highlight moving
図11は、ハイライト動画の提供例を説明する説明図である。図11に示すように、ユーザ(例えば大会主催者)は、e−Sprotsの大会終了後、試合動画(ゲーム動画G)を情報処理装置1に入力する(S40)。情報処理装置1は、深層学習(ディープラーニング)による予測モデル2を利用することで、観衆側の盛り上がりに応じたシーンによるハイライト動画を作成する(S41)。次いで、情報処理装置1は、例えば観客席に向けて設置した大型ディスプレイに生成したハイライト動画を出力することで、ハイライト動画を観客に提供する(S42)。これにより、ユーザは、試合動画におけるハイライトシーンを容易に観客に提供することができる。
FIG. 11 is an explanatory diagram illustrating an example of providing a highlight moving image. As shown in FIG. 11, the user (for example, the tournament organizer) inputs the game video (game video G) to the
[効果について]
以上のように、情報処理装置1は、分割部32と、盛り上がり度計算部35と、ハイライト動画作成部36と、出力部37とを有する。分割部32は、コンピュータゲームの動画像をシーンごとに分割する。盛り上がり度計算部35は、分割したシーンごとに、当該シーンに含まれるゲーム画像G10に基づき、コンピュータゲームのゲーム画像から当該ゲーム画像を視聴した観衆の盛り上がり度を予測する予測モデル2を用いて、シーンを観衆が視聴した場合の盛り上がり度を算出する。ハイライト動画作成部36は、算出した盛り上がり度に基づき、分割したシーンの中からハイライト動画に用いるシーンを選定してハイライト動画を生成する。出力部37は、ハイライト動画作成部36が生成したハイライト動画を出力する。このため、情報処理装置1は、コンピュータゲームの各シーンより、観衆側の盛り上がりに応じたシーンによるハイライト動画を容易に提示できる。
[About the effect]
As described above, the
また、予測モデル2は、コンピュータゲームのゲーム画像G10に対し、当該ゲーム画像G10を視聴した観衆の音量に基づく盛り上がり度が正解として付与された教師データ(データセット2a)に基づく機械学習により作成される。したがって、情報処理装置1では、分割したシーンごとに、そのシーンに含まれるゲーム画像G10を機械学習により学習した予測モデル2に適用することで、観衆の盛り上がり度を算出することができる。
Further, the
また、ハイライト動画作成部36は、コンピュータゲームの開始から終了までを所定数で区分したパートごとに、少なくとも1シーンを選定する。これにより、情報処理装置1は、例えば、前半、中盤、後半などの3パートに区分した場合には、前半、中盤、後半それぞれにおいて盛り上がりのあるシーンを含むハイライト動画を作成することができる。
Further, the highlight moving
また、ハイライト動画作成部36は、選定したシーンを時系列順に並べてハイライト動画を生成する。このため、情報処理装置1は、コンピュータゲームの進行に合わせたハイライト動画を作成することができる。
In addition, the highlight moving
また、コンピュータゲームは、複数のプレイヤーが対戦する対戦型ゲームであってもよい。情報処理装置1は、例えば、コンピュータゲームをスポーツとして捉え、複数のプレイヤーが対戦するe−Sprotsなどのゲーム動画よりハイライト動画を作成してもよい。
Further, the computer game may be a competitive game in which a plurality of players compete against each other. The
また、分割部32は、複数のプレイヤーの中の第1のプレイヤーに関する視点から、第1のプレイヤーとは別の第2のプレイヤーに関する視点への切り替えをもとに、シーンの分割を行う。これにより、情報処理装置1は、複数のプレイヤーが対戦する対戦型ゲームにおける各プレイヤーの視点に応じて分割したシーンの中から、盛り上がりのあるシーンよりハイライト動画を作成することができる。
Further, the division unit 32 divides the scene based on the switching from the viewpoint regarding the first player among the plurality of players to the viewpoint regarding the second player different from the first player. As a result, the
また、情報処理装置1は、ハイライト動画に用いるシーンの数、および、シーンの時間の設定を受け付ける入力部31を更に有してもよい。ハイライト動画作成部36は、入力部31が受け付けたシーンの数、および、シーンの時間に応じたシーンの選定を行う。このように、情報処理装置1は、ハイライト動画に用いるシーンの数、および、シーンの時間をユーザが設定してもよい。
Further, the
[その他]
なお、上記の実施形態では、予測モデル2におけるニューラルネットワークの学習手法として、誤差逆伝播を例示したが、誤差逆伝播以外にも公知の様々な手法を採用することができる。また、ニューラルネットワークは、例えば入力層、中間層(隠れ層)、出力層から構成される多段構成であり、各層は複数のノードがエッジで結ばれる構造を有する。各層は、「活性化関数」と呼ばれる関数を持ち、エッジは「重み」を持ち、各ノードの値は、前の層のノードの値、接続エッジの重みの値、層が持つ活性化関数から計算される。なお、計算方法については、公知の様々な手法を採用できる。また、機械学習としては、ニューラルネットワーク以外にも、SVM(support vector machine)等の各種手法を用いてもよい。
[Other]
In the above embodiment, the error back propagation is illustrated as the learning method of the neural network in the
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each of the illustrated parts does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each part is not limited to the one shown in the figure, and all or part of them are functionally or physically distributed / integrated in arbitrary units according to various loads and usage conditions. Can be configured.
例えば、入力部31と分割部32、教師データ作成部33と予測モデル作成部34、または、盛り上がり度計算部35とハイライト動画作成部36を統合してもよい。また、情報処理装置1は、教師データ作成部33および予測モデル作成部34を有する構成でなくてもよく、外部で作成した予測モデル情報23を記憶部20に格納する構成であってもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
For example, the input unit 31 and the division unit 32, the teacher
さらに、各装置で行われる各種処理機能は、CPU(またはMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(またはMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。 Further, the various processing functions performed by each device may be executed in whole or in any part on the CPU (or a microcomputer such as an MPU or a MCU (Micro Controller Unit)). Further, various processing functions may be executed in whole or in any part on a program analyzed and executed by a CPU (or a microcomputer such as an MPU or MCU) or on hardware by wired logic. Needless to say, it's good. Further, various processing functions may be executed by a plurality of computers in cooperation by cloud computing.
[ハードウエア構成例について]
ところで、上記の各実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施形態と同様の機能を有する学習プログラムを実行するコンピュータの一例を説明する。図12は、ハイライト動画作成プログラムを実行するコンピュータの一例を示すブロック図である。
[About hardware configuration example]
By the way, various processes described in each of the above embodiments can be realized by executing a program prepared in advance on a computer. Therefore, in the following, an example of a computer that executes a learning program having the same functions as each of the above embodiments will be described. FIG. 12 is a block diagram showing an example of a computer that executes a highlight moving image creation program.
図12に示すように、コンピュータ100は、各種演算処理を実行するCPU101と、データ入力を受け付ける入力装置102と、モニタ103とを有する。また、コンピュータ100は、記憶媒体からプログラム等を読み取る媒体読取装置104と、各種装置と接続するためのインタフェース装置105と、他の情報処理装置等と有線または無線により接続するための通信装置106とを有する。また、コンピュータ100は、各種情報を一時記憶するRAM107と、ハードディスク装置108とを有する。また、各装置101〜108は、バス109に接続される。
As shown in FIG. 12, the
ハードディスク装置108には、図3に示した入力部31、分割部32、教師データ作成部33、予測モデル作成部34、盛り上がり度計算部35、ハイライト動画作成部36および出力部37の各処理部と同様の機能を有するハイライト動画作成プログラム108Aが記憶される。また、ハードディスク装置108には、ゲーム動画情報21、設定情報22、予測モデル情報23およびシーン別情報DB24に関する各種データが記憶される。入力装置102は、例えば、コンピュータ100の利用者から操作情報等の各種情報の入力を受け付ける。モニタ103は、例えば、コンピュータ100の利用者に対して表示画面等の各種画面を表示する。インタフェース装置105は、例えば印刷装置等が接続される。通信装置106は、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。
In the
CPU101は、ハードディスク装置108に記憶されたハイライト動画作成プログラム108Aを読み出して、RAM107に展開して実行することで、各種の処理を行う。また、このハイライト動画作成プログラム108Aは、コンピュータ100を入力部31、分割部32、教師データ作成部33、予測モデル作成部34、盛り上がり度計算部35、ハイライト動画作成部36および出力部37として機能させることができる。
The
なお、上記のハイライト動画作成プログラム108Aは、ハードディスク装置108に記憶されていなくてもよい。例えば、コンピュータ100が読み取り可能な記憶媒体に記憶されたハイライト動画作成プログラム108Aを、コンピュータ100が読み出して実行するようにしてもよい。コンピュータ100が読み取り可能な記憶媒体は、例えば、CD−ROMやDVD(Digital Versatile Disc)、USB(Universal Serial Bus)メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、LAN等に接続された装置にハイライト動画作成プログラム108Aを記憶させておき、コンピュータ100がこれらからハイライト動画作成プログラム108Aを読み出して実行するようにしてもよい。
The highlight moving image creation program 108A may not be stored in the
以上の実施形態に関し、さらに以下の付記を開示する。 Regarding the above embodiments, the following additional notes will be further disclosed.
(付記1)コンピュータゲームの動画像をシーンごとに分割し、
分割した前記シーンごとに、当該シーンに含まれるゲーム画像に基づき、前記コンピュータゲームのゲーム画像から当該ゲーム画像を視聴した観衆の盛り上がり度を予測する予測モデルを用いて、前記シーンを観衆が視聴した場合の盛り上がり度を算出し、
算出した前記盛り上がり度に基づき、分割した前記シーンの中からハイライト動画に用いるシーンを選定してハイライト動画を生成し、
生成した前記ハイライト動画を出力する、
処理をコンピュータに実行させることを特徴とするハイライト動画生成プログラム。
(Appendix 1) Divide the moving image of the computer game into each scene,
For each of the divided scenes, the audience viewed the scene using a prediction model that predicts the degree of excitement of the audience who viewed the game image from the game image of the computer game based on the game image included in the scene. Calculate the degree of excitement of the case,
Based on the calculated degree of excitement, a scene to be used for the highlight video is selected from the divided scenes to generate the highlight video.
Output the generated highlight video,
A highlight video generator that allows a computer to perform processing.
(付記2)前記予測モデルは、前記コンピュータゲームのゲーム画像に対し、当該ゲーム画像を視聴した観衆の音量に基づく盛り上がり度が正解として付与された教師データに基づく機械学習により作成される、
ことを特徴とする付記1に記載のハイライト動画生成プログラム。
(Appendix 2) The prediction model is created by machine learning based on teacher data in which the degree of excitement based on the volume of the audience who viewed the game image is given as the correct answer to the game image of the computer game.
The highlight moving image generation program according to
(付記3)前記生成する処理は、前記コンピュータゲームの開始から終了までを所定数で区分したパートごとに、少なくとも1シーンを選定する、
ことを特徴とする付記1または2に記載のハイライト動画生成プログラム。
(Appendix 3) In the process to be generated, at least one scene is selected for each part in which the start to the end of the computer game is divided by a predetermined number.
The highlight moving image generation program according to
(付記4)前記生成する処理は、選定した前記シーンを時系列順に並べて前記ハイライト動画を生成する、
ことを特徴とする付記1乃至3のいずれか一に記載のハイライト動画生成プログラム。
(Appendix 4) In the generation process, the selected scenes are arranged in chronological order to generate the highlight moving image.
The highlight moving image generation program according to any one of
(付記5)前記コンピュータゲームは、複数のプレイヤーが対戦する対戦型ゲームである、
ことを特徴とする付記1乃至4のいずれか一に記載のハイライト動画生成プログラム。
(Appendix 5) The computer game is a competitive game in which a plurality of players compete against each other.
The highlight moving image generation program according to any one of
(付記6)前記分割する処理は、前記複数のプレイヤーの中の第1のプレイヤーに関する視点から、前記第1のプレイヤーとは別の第2のプレイヤーに関する視点への切り替えをもとに、前記シーンの分割を行う、
ことを特徴とする付記5に記載のハイライト動画生成プログラム。
(Appendix 6) The division process is based on switching from a viewpoint relating to a first player among the plurality of players to a viewpoint relating to a second player different from the first player. To divide,
The highlight moving image generation program according to Appendix 5, characterized by the above.
(付記7)前記ハイライト動画に用いるシーンの数、および、当該シーンの時間の設定を受け付ける処理を更にコンピュータに実行させ、
前記生成する処理は、受け付けた前記シーンの数、および、前記シーンの時間に応じたシーンの選定を行う、
ことを特徴とする付記1乃至6のいずれか一に記載のハイライト動画生成プログラム。
(Appendix 7) The computer is further executed to accept the number of scenes used for the highlight movie and the time setting of the scene.
The generated process selects scenes according to the number of received scenes and the time of the scenes.
The highlight moving image generation program according to any one of
(付記8)コンピュータゲームの動画像をシーンごとに分割し、
分割した前記シーンごとに、当該シーンに含まれるゲーム画像に基づき、前記コンピュータゲームのゲーム画像から当該ゲーム画像を視聴した観衆の盛り上がり度を予測する予測モデルを用いて、前記シーンを観衆が視聴した場合の盛り上がり度を算出し、
算出した前記盛り上がり度に基づき、分割した前記シーンの中からハイライト動画に用いるシーンを選定してハイライト動画を生成し、
生成した前記ハイライト動画を出力する、
処理をコンピュータが実行することを特徴とするハイライト動画生成方法。
(Appendix 8) Divide the moving image of the computer game into each scene,
For each of the divided scenes, the audience viewed the scene using a prediction model that predicts the degree of excitement of the audience who viewed the game image from the game image of the computer game based on the game image included in the scene. Calculate the degree of excitement of the case,
Based on the calculated degree of excitement, a scene to be used for the highlight video is selected from the divided scenes to generate the highlight video.
Output the generated highlight video,
A highlight video generation method characterized by the processing being performed by a computer.
(付記9)前記予測モデルは、前記コンピュータゲームのゲーム画像に対し、当該ゲーム画像を視聴した観衆の音量に基づく盛り上がり度が正解として付与された教師データに基づく機械学習により作成される、
ことを特徴とする付記8に記載のハイライト動画生成方法。
(Appendix 9) The prediction model is created by machine learning based on teacher data in which the degree of excitement based on the volume of the audience who viewed the game image is given as the correct answer to the game image of the computer game.
The highlight moving image generation method according to Appendix 8, wherein the highlight moving image is generated.
(付記10)前記生成する処理は、前記コンピュータゲームの開始から終了までを所定数で区分したパートごとに、少なくとも1シーンを選定する、
ことを特徴とする付記8または9に記載のハイライト動画生成方法。
(Appendix 10) In the process of generating, at least one scene is selected for each part in which the start to the end of the computer game is divided by a predetermined number.
The highlight moving image generation method according to Appendix 8 or 9, wherein the highlight moving image is generated.
(付記11)前記生成する処理は、選定した前記シーンを時系列順に並べて前記ハイライト動画を生成する、
ことを特徴とする付記8乃至10のいずれか一に記載のハイライト動画生成方法。
(Appendix 11) In the generation process, the selected scenes are arranged in chronological order to generate the highlight moving image.
The highlight moving image generation method according to any one of Supplementary note 8 to 10, wherein the highlight moving image is generated.
(付記12)前記コンピュータゲームは、複数のプレイヤーが対戦する対戦型ゲームである、
ことを特徴とする付記8乃至11のいずれか一に記載のハイライト動画生成方法。
(Appendix 12) The computer game is a competitive game in which a plurality of players compete against each other.
The highlight moving image generation method according to any one of Supplementary note 8 to 11, wherein the highlight moving image is generated.
(付記13)前記分割する処理は、前記複数のプレイヤーの中の第1のプレイヤーに関する視点から、前記第1のプレイヤーとは別の第2のプレイヤーに関する視点への切り替えをもとに、前記シーンの分割を行う、
ことを特徴とする付記12に記載のハイライト動画生成方法。
(Appendix 13) The division process is based on switching from a viewpoint relating to a first player among the plurality of players to a viewpoint relating to a second player different from the first player. To divide,
The highlight moving image generation method according to Appendix 12, wherein the highlight moving image is generated.
(付記14)前記ハイライト動画に用いるシーンの数、および、当該シーンの時間の設定を受け付ける処理を更にコンピュータに実行させ、
前記生成する処理は、受け付けた前記シーンの数、および、前記シーンの時間に応じたシーンの選定を行う、
ことを特徴とする付記8乃至13のいずれか一に記載のハイライト動画生成方法。
(Appendix 14) A computer is further executed to accept the number of scenes used for the highlight moving image and the time setting of the scene.
The generated process selects scenes according to the number of received scenes and the time of the scenes.
The highlight moving image generation method according to any one of Supplementary note 8 to 13, wherein the highlight moving image is generated.
(付記15)コンピュータゲームの動画像をシーンごとに分割する分割部と、
分割した前記シーンごとに、当該シーンに含まれるゲーム画像に基づき、前記コンピュータゲームのゲーム画像から当該ゲーム画像を視聴した観衆の盛り上がり度を予測する予測モデルを用いて、前記シーンを観衆が視聴した場合の盛り上がり度を算出する予測部と、
算出した前記盛り上がり度に基づき、分割した前記シーンの中からハイライト動画に用いるシーンを選定してハイライト動画を生成する生成部と、
生成した前記ハイライト動画を出力する出力部と、
を有することを特徴とする情報処理装置。
(Appendix 15) A division unit that divides a moving image of a computer game for each scene,
For each of the divided scenes, the audience viewed the scene using a prediction model that predicts the degree of excitement of the audience who viewed the game image from the game image of the computer game based on the game image included in the scene. A prediction unit that calculates the degree of excitement in the case,
Based on the calculated degree of excitement, a generation unit that selects a scene to be used for the highlight video from the divided scenes and generates a highlight video,
An output unit that outputs the generated highlight video and
An information processing device characterized by having.
(付記16)前記予測モデルは、前記コンピュータゲームのゲーム画像に対し、当該ゲーム画像を視聴した観衆の音量に基づく盛り上がり度が正解として付与された教師データに基づく機械学習により作成される、
ことを特徴とする付記15に記載の情報処理装置。
(Appendix 16) The prediction model is created by machine learning based on teacher data in which the degree of excitement based on the volume of the audience who viewed the game image is given as the correct answer to the game image of the computer game.
The information processing apparatus according to Appendix 15, wherein the information processing device is characterized by the above.
(付記17)前記生成部は、前記コンピュータゲームの開始から終了までを所定数で区分したパートごとに、少なくとも1シーンを選定する、
ことを特徴とする付記15または16に記載の情報処理装置。
(Appendix 17) The generation unit selects at least one scene for each part in which the start to end of the computer game is divided by a predetermined number.
The information processing apparatus according to Appendix 15 or 16, characterized in that.
(付記18)前記生成部は、選定した前記シーンを時系列順に並べて前記ハイライト動画を生成する、
ことを特徴とする付記15乃至17のいずれか一に記載の情報処理装置。
(Appendix 18) The generation unit generates the highlight moving image by arranging the selected scenes in chronological order.
The information processing device according to any one of Supplementary note 15 to 17, wherein the information processing device is characterized by the above.
(付記19)前記コンピュータゲームは、複数のプレイヤーが対戦する対戦型ゲームである、
ことを特徴とする付記15乃至18のいずれか一に記載の情報処理装置。
(Appendix 19) The computer game is a competitive game in which a plurality of players compete against each other.
The information processing device according to any one of Supplementary note 15 to 18, wherein the information processing device is characterized by the above.
(付記20)前記分割部は、前記複数のプレイヤーの中の第1のプレイヤーに関する視点から、前記第1のプレイヤーとは別の第2のプレイヤーに関する視点への切り替えをもとに、前記シーンの分割を行う、
ことを特徴とする付記19に記載の情報処理装置。
(Appendix 20) The division portion of the scene is based on switching from a viewpoint relating to a first player among the plurality of players to a viewpoint relating to a second player different from the first player. Do the split,
The information processing apparatus according to Appendix 19, wherein the information processing device is characterized by the above.
(付記21)前記ハイライト動画に用いるシーンの数、および、当該シーンの時間の設定を受け付ける入力部を更に有し、
前記生成部は、受け付けた前記シーンの数、および、前記シーンの時間に応じたシーンの選定を行う、
ことを特徴とする付記15乃至20のいずれか一に記載の情報処理装置。
(Appendix 21) Further having an input unit for receiving the number of scenes used for the highlight moving image and the setting of the time of the scene.
The generation unit selects scenes according to the number of received scenes and the time of the scenes.
The information processing apparatus according to any one of Supplementary note 15 to 20, wherein the information processing device is characterized by the above.
1…情報処理装置
2…予測モデル
2a…データセット
10…通信部
20…記憶部
21…ゲーム動画情報
22…設定情報
23…予測モデル情報
24…シーン別情報DB
30…制御部
31…入力部
32…分割部
33…教師データ作成部
34…予測モデル作成部
35…盛り上がり度計算部
36…ハイライト動画作成部
37…出力部
100…コンピュータ
101…CPU
102…入力装置
103…モニタ
104…媒体読取装置
105…インタフェース装置
106…通信装置
107…RAM
108…ハードディスク装置
108A…ハイライト動画作成プログラム
109…バス
G…ゲーム動画
G1…ゲーム画面
G2…インフォメーション画面
G10、G10a〜G10d…ゲーム画像
P1、P2…プレイヤー
t1、t2…時刻
1 ...
30 ... Control unit 31 ... Input unit 32 ...
102 ...
108 ... Hard disk device 108A ... Highlight
Claims (9)
分割した前記シーンごとに、当該シーンに含まれるゲーム画像に基づき、前記コンピュータゲームのゲーム画像から当該ゲーム画像を視聴した観衆の盛り上がり度を予測する予測モデルを用いて、前記シーンを観衆が視聴した場合の盛り上がり度を算出し、
算出した前記盛り上がり度に基づき、分割した前記シーンの中からハイライト動画に用いるシーンを選定してハイライト動画を生成し、
生成した前記ハイライト動画を出力する、
処理をコンピュータに実行させることを特徴とするハイライト動画生成プログラム。 Divide the moving image of the computer game into each scene
For each of the divided scenes, the audience viewed the scene using a prediction model that predicts the degree of excitement of the audience who viewed the game image from the game image of the computer game based on the game image included in the scene. Calculate the degree of excitement of the case,
Based on the calculated degree of excitement, a scene to be used for the highlight video is selected from the divided scenes to generate the highlight video.
Output the generated highlight video,
A highlight video generator that allows a computer to perform processing.
ことを特徴とする請求項1に記載のハイライト動画生成プログラム。 The prediction model is created by machine learning based on teacher data in which the degree of excitement based on the volume of the audience who viewed the game image is given as the correct answer to the game image of the computer game.
The highlight moving image generation program according to claim 1.
ことを特徴とする請求項1または2に記載のハイライト動画生成プログラム。 In the process of generating, at least one scene is selected for each part in which the start to the end of the computer game is divided by a predetermined number.
The highlight moving image generation program according to claim 1 or 2.
ことを特徴とする請求項1乃至3のいずれか一項に記載のハイライト動画生成プログラム。 In the generation process, the selected scenes are arranged in chronological order to generate the highlight moving image.
The highlight moving image generation program according to any one of claims 1 to 3, characterized in that.
ことを特徴とする請求項1乃至4のいずれか一項に記載のハイライト動画生成プログラム。 The computer game is a competitive game in which a plurality of players compete against each other.
The highlight moving image generation program according to any one of claims 1 to 4, characterized in that.
ことを特徴とする請求項5に記載のハイライト動画生成プログラム。 The division process divides the scene based on switching from a viewpoint relating to the first player among the plurality of players to a viewpoint relating to a second player different from the first player. ,
The highlight moving image generation program according to claim 5.
前記生成する処理は、受け付けた前記シーンの数、および、前記シーンの時間に応じたシーンの選定を行う、
ことを特徴とする請求項1乃至6のいずれか一項に記載のハイライト動画生成プログラム。 Further, the computer is made to execute a process of accepting the number of scenes used for the highlight movie and the time setting of the scene.
The generated process selects scenes according to the number of received scenes and the time of the scenes.
The highlight moving image generation program according to any one of claims 1 to 6, characterized in that.
分割した前記シーンごとに、当該シーンに含まれるゲーム画像に基づき、前記コンピュータゲームのゲーム画像から当該ゲーム画像を視聴した観衆の盛り上がり度を予測する予測モデルを用いて、前記シーンを観衆が視聴した場合の盛り上がり度を算出し、
算出した前記盛り上がり度に基づき、分割した前記シーンの中からハイライト動画に用いるシーンを選定してハイライト動画を生成し、
生成した前記ハイライト動画を出力する、
処理をコンピュータが実行することを特徴とするハイライト動画生成方法。 Divide the moving image of the computer game into each scene
For each of the divided scenes, the audience viewed the scene using a prediction model that predicts the degree of excitement of the audience who viewed the game image from the game image of the computer game based on the game image included in the scene. Calculate the degree of excitement of the case,
Based on the calculated degree of excitement, a scene to be used for the highlight video is selected from the divided scenes to generate the highlight video.
Output the generated highlight video,
A highlight video generation method characterized by the processing being performed by a computer.
分割した前記シーンごとに、当該シーンに含まれるゲーム画像に基づき、前記コンピュータゲームのゲーム画像から当該ゲーム画像を視聴した観衆の盛り上がり度を予測する予測モデルを用いて、前記シーンを観衆が視聴した場合の盛り上がり度を算出する予測部と、
算出した前記盛り上がり度に基づき、分割した前記シーンの中からハイライト動画に用いるシーンを選定してハイライト動画を生成する生成部と、
生成した前記ハイライト動画を出力する出力部と、
を有することを特徴とする情報処理装置。 A division that divides the moving image of a computer game for each scene,
For each of the divided scenes, the audience viewed the scene using a prediction model that predicts the degree of excitement of the audience who viewed the game image from the game image of the computer game based on the game image included in the scene. A prediction unit that calculates the degree of excitement in the case,
Based on the calculated degree of excitement, a generation unit that selects a scene to be used for the highlight video from the divided scenes and generates a highlight video,
An output unit that outputs the generated highlight video and
An information processing device characterized by having.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080361A JP7302256B2 (en) | 2019-04-19 | 2019-04-19 | HIGHLIGHT MOVIE GENERATION PROGRAM, HIGHLIGHT MOVIE GENERATION METHOD, AND INFORMATION PROCESSING APPARATUS |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080361A JP7302256B2 (en) | 2019-04-19 | 2019-04-19 | HIGHLIGHT MOVIE GENERATION PROGRAM, HIGHLIGHT MOVIE GENERATION METHOD, AND INFORMATION PROCESSING APPARATUS |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020174971A true JP2020174971A (en) | 2020-10-29 |
JP2020174971A5 JP2020174971A5 (en) | 2022-01-28 |
JP7302256B2 JP7302256B2 (en) | 2023-07-04 |
Family
ID=72937566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019080361A Active JP7302256B2 (en) | 2019-04-19 | 2019-04-19 | HIGHLIGHT MOVIE GENERATION PROGRAM, HIGHLIGHT MOVIE GENERATION METHOD, AND INFORMATION PROCESSING APPARATUS |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7302256B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022230440A1 (en) * | 2021-04-27 | 2022-11-03 | オムロン株式会社 | Content evaluation device, content evaluation method, and content evaluation program |
WO2023032303A1 (en) * | 2021-09-03 | 2023-03-09 | ソニーグループ株式会社 | Video processing device, video processing method, and program |
WO2023120263A1 (en) * | 2021-12-20 | 2023-06-29 | ソニーグループ株式会社 | Information processing device and information processing method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000334168A (en) * | 1999-05-26 | 2000-12-05 | Namco Ltd | Game system and information storage medium |
JP2007336283A (en) * | 2006-06-15 | 2007-12-27 | Toshiba Corp | Information processor, processing method and program |
JP2010093584A (en) * | 2008-10-08 | 2010-04-22 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus and program for estimating viewing impression and computer-readable recording medium |
JP2010220089A (en) * | 2009-03-18 | 2010-09-30 | Sony Corp | Digest reproducing apparatus, digest reproducing method and program |
JP2011072735A (en) * | 2009-10-01 | 2011-04-14 | Konami Digital Entertainment Co Ltd | Game system, control method therefor, and program |
JP2017091558A (en) * | 2016-12-02 | 2017-05-25 | ヤフー株式会社 | Display program, display method, and terminal device |
-
2019
- 2019-04-19 JP JP2019080361A patent/JP7302256B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000334168A (en) * | 1999-05-26 | 2000-12-05 | Namco Ltd | Game system and information storage medium |
JP2007336283A (en) * | 2006-06-15 | 2007-12-27 | Toshiba Corp | Information processor, processing method and program |
JP2010093584A (en) * | 2008-10-08 | 2010-04-22 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus and program for estimating viewing impression and computer-readable recording medium |
JP2010220089A (en) * | 2009-03-18 | 2010-09-30 | Sony Corp | Digest reproducing apparatus, digest reproducing method and program |
JP2011072735A (en) * | 2009-10-01 | 2011-04-14 | Konami Digital Entertainment Co Ltd | Game system, control method therefor, and program |
JP2017091558A (en) * | 2016-12-02 | 2017-05-25 | ヤフー株式会社 | Display program, display method, and terminal device |
Non-Patent Citations (1)
Title |
---|
超高精細コンテンツの流通・利活用に関する調査研究 報告書, JPN6023003150, 31 March 2005 (2005-03-31), pages 23 - 24, ISSN: 0004976921 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022230440A1 (en) * | 2021-04-27 | 2022-11-03 | オムロン株式会社 | Content evaluation device, content evaluation method, and content evaluation program |
TWI815391B (en) * | 2021-04-27 | 2023-09-11 | 日商歐姆龍股份有限公司 | Content evaluation device, content evaluation method and content evaluation program |
WO2023032303A1 (en) * | 2021-09-03 | 2023-03-09 | ソニーグループ株式会社 | Video processing device, video processing method, and program |
WO2023120263A1 (en) * | 2021-12-20 | 2023-06-29 | ソニーグループ株式会社 | Information processing device and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP7302256B2 (en) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7302256B2 (en) | HIGHLIGHT MOVIE GENERATION PROGRAM, HIGHLIGHT MOVIE GENERATION METHOD, AND INFORMATION PROCESSING APPARATUS | |
CN114746159B (en) | Artificial Intelligence (AI) controlled camera view generator and AI broadcaster | |
US20230356081A1 (en) | Drama engine for dramatizing video gaming in a highlight reel including user reaction | |
US9852767B2 (en) | Method for generating a cyclic video sequence | |
CN114746158B (en) | Artificial Intelligence (AI) controlled camera view generator and AI broadcaster | |
CN106797498A (en) | Message processing device, information processing method and program | |
EP3800594A1 (en) | Apparatus and method for generating a recording | |
US11423944B2 (en) | Method and system for generating audio-visual content from video game footage | |
JP2020174971A5 (en) | ||
US20230334859A1 (en) | Prediction of NBA Talent And Quality From Non-Professional Tracking Data | |
JP7105380B2 (en) | Information processing system and method | |
US11504618B2 (en) | Server-based video help in a video game | |
US11900966B2 (en) | Method and electronic device for producing video summary | |
WO2022102550A1 (en) | Information processing device and information processing method | |
US20230352052A1 (en) | Information processing device, control method, and recording medium | |
KR20240095643A (en) | learning system and method for automatic observing service | |
JP2023133397A (en) | Image processing device, image processing method, and image processing system | |
US20080069542A1 (en) | Still image extracton apparatus, method, and program | |
Shao | User studies on real-time facial motion retargeting in online multiplayer games |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7302256 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |