JP2022053953A - 情報処理装置、エンドロール生成方法、及びプログラム - Google Patents

Abstract

【課題】 ゲームや映画等のエンドロールをカスタマイズすることが可能な情報処理装置等を提供する。【解決手段】 情報処理装置１は、カメラ１７によりゲーム実行中のユーザ（プレーヤー）の顔画像を撮影し、感情推定部２１により顔画像に基づいて感情を推定する。推定された感情スコアが所定値以上の場合に、キャプチャ部２２によりゲーム画面のキャプチャ画像１２２を記録し、記憶部１２に保存する。ゲームが終了すると、エンドロール生成部２３は、記録したキャプチャ画像１２２を使用してエンドロールを生成する。【選択図】図３

Description

本発明は、情報処理装置、エンドロール生成方法、及びプログラムに関し、詳細には、ゲームや映画等の映像コンテンツのエンドロールの生成に関する。

従来より、ＲＰＧ（ロールプレイングゲーム）にはストーリーの最後にエンドロールが付加されており、プレーヤーがゲームをクリアするとエンドロールが再生されるようになっている。エンドロールは、エンディングテーマ曲やゲーム内のシーン等とともに制作スタッフの名前等が流れるものであり、プレーヤーはゲームのストーリーを振り返りながら余韻を楽しむことができる。しかしながら、一般にエンドロールは定型的であり、どのユーザにも同じものが提供されていた。

映像コンテンツのエンドロール生成に関して、例えば特許文献１に、個人ユーザが生成したコンテンツを配信するシステムにおいて、コマーシャル映像コンテンツをコンテンツのストリームのフロントロールやエンドロール部分に付加することが提案されている。

特開２００６－３３８０８０号公報

しかしながら、映像コンテンツの余韻を楽しむためには、ユーザが感動したシーンや印象深いシーンが再現されるようなエンドロールが望ましい。そしてユーザ毎にそれは異なるものである。

本発明は上記の問題に鑑みてなされたものであり、ゲームや映画等の映像コンテンツのエンドロールをカスタマイズすることが可能な情報処理装置等を提供することを目的とする。

前述した課題を解決するための第１の発明は、映像コンテンツを再生する映像再生手段と、前記映像コンテンツのキャプチャ画像を保存するキャプチャ手段と、前記キャプチャ手段により保存されたキャプチャ画像を用いて前記映像コンテンツのエンドロールを生成するエンドロール生成手段と、を備えることを特徴とする情報処理装置である。

第１の発明の情報処理装置によれば、ゲーム、映画、動画等の映像コンテンツの画面を記録したキャプチャ画像を保存し、保存されたキャプチャ画像を用いて映像コンテンツのエンドロールを生成する。これにより、ゲームや映画等のエンドロールがカスタマイズされ、ユーザ毎にそれぞれ異なるエンドロールを再生することが可能となる。

第１の発明において、前記映像コンテンツを視聴しているユーザの感情を推定し、スコア化する感情推定手段を更に備え、前記キャプチャ手段は、前記感情推定手段により推定された感情のスコアが所定値以上となったタイミングで前記キャプチャ画像を記録することが望ましい。これにより、ユーザにとって印象的なシーンや感動的なシーンをキャプチャし、エンドロールに使用できる。また、ユーザが操作を行わなくてもユーザの感情の変化に応じてキャプチャ画像を記録することができる。

また、第１の発明において、前記ユーザの顔画像を撮影する撮影手段を備え、前記感情推定手段は、前記撮影手段により撮影された顔画像に基づいて前記ユーザの感情を推定することが望ましい。これにより、ユーザの顔の表情から感情を推定できる。

また、第１の発明において、キャプチャ指示を入力する入力手段を備え、前記キャプチャ手段は、前記入力手段によるキャプチャ指示に従って前記キャプチャ画像を記録してもよい。これにより、ユーザが好きなタイミングで映像コンテンツのキャプチャ画像を記録し、エンドロールに使用できる。

また、前記エンドロール生成手段は、特定の感情のときに取得したキャプチャ画像をエンドロールに挿入してもよいし、前記キャプチャ画像を取得した順にエンドロールに挿入してもよいし、取得したキャプチャ画像をランダムに選択し、エンドロールに挿入してもよい。これにより、キャプチャ画像を使用したエンドロールを自動生成可能となる。

また、前記エンドロール生成手段によるエンドロールの生成を行うか否かを選択する選択手段を更に備えることが望ましい。これにより、エンドロールをカスタマイズするか否かをユーザが選択できる。

また、前記キャプチャ画像を用いてフォトブックを生成するフォトブック生成手段を更に備えてもよい。これにより、ユーザにとって印象的なシーンや感動的なシーンを集めたフォトブックを生成できる。更に、ユーザを撮影し、記憶する撮影手段を備え、前記フォトブック生成手段は、前記撮影手段により撮影したユーザの画像を前記キャプチャ画像と並べて配置するようにしてもよい。これにより、キャプチャ画像のシーンにおけるユーザの画像も並べて配置することにより、思い出に残るフォトブックを提供できる。

また、楽曲に前記キャプチャ画像を組み合わせたフォトムービーを生成するフォトムービー生成手段を更に備えることが望ましい。これにより、例えば映像コンテンツのＢＧＭやテーマソング等の楽曲とキャプチャ画像とを組み合わせたオリジナルのフォトムービーを生成できる。

第２の発明は、コンピュータが、映像コンテンツを再生するステップと、前記映像コンテンツのキャプチャ画像を保存するステップと、保存されたキャプチャ画像を用いて前記映像コンテンツのエンドロールを生成するステップと、を含むことを特徴とするエンドロール生成方法である。

第２の発明により、再生される映像コンテンツの画面を記録したキャプチャ画像を保存し、保存されたキャプチャ画像を用いて映像コンテンツのエンドロールを生成する。これにより、ゲームや映画等のエンドロールがカスタマイズされ、ユーザ毎にそれぞれ異なるエンドロールを再生することが可能となる。

第３の発明は、コンピュータを、映像コンテンツを再生する映像再生手段、前記映像コンテンツのキャプチャ画像を保存するキャプチャ手段、前記キャプチャ手段により保存されたキャプチャ画像を用いて前記映像コンテンツのエンドロールを生成するエンドロール生成手段、として機能させるためのプログラムである。

第３の発明により、コンピュータを、第１の発明の情報処理装置として機能させることが可能となる。

本発明により、ゲームや映画等のエンドロールをカスタマイズすることが可能な情報処理装置等を提供できる。

情報処理装置１の外観構成を示す図 情報処理装置１のハードウェア構成を示す図 情報処理装置１の機能構成を示す図 感情推定の結果とキャプチャ動作について説明する図 キャプチャ画像１２２と感情との紐づけについて説明する図 記憶部１２のフォルダ構成例を示す図 エンドロールの生成方法の例 エンドロールの生成方法の例 エンドロールの生成方法の例 情報処理装置１が実行する処理の流れを示すフローチャート プレーヤーの操作と各部の動作の流れを示す図 第２の実施形態の情報処理装置１Ａの機能構成を示す図 プレーヤーの操作と各部の動作の流れを示す図 情報処理装置１Ａが実行する処理の流れを示すフローチャート 第３の実施形態の情報処理装置１Ｂの機能構成を示す図 フォトブック生成処理の流れを示すフローチャート 第４の実施形態の情報処理装置１Ｃの機能構成を示す図 フォトムービー生成処理の流れを示すフローチャート

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

［第１の実施形態］
図１は本発明の第１の実施形態に係る情報処理装置１の外観構成を示す図であり、図２は情報処理装置１のハードウェア構成を示す図である。情報処理装置１は、例えばＰＣやゲーム装置、ＤＶＤ／ＢＤプレーヤー、スマートフォン等の映像コンテンツを再生可能な装置である。図１の例では、情報処理装置１は、本体部１０、表示部１４、カメラ１７、入力部１５等を備えたＰＣにより構成される。本体部１０は、図２に示すように、制御部１１、記憶部１２、通信部１３、及び画像処理部１６を備える。また、情報処理装置１は情報処理装置１を周辺機器と接続するための周辺機器Ｉ／Ｆ部１８を備える。制御部１１、記憶部１２、通信部１３、及び画像処理部１６、表示部１４、入力部１５、カメラ１７、周辺機器Ｉ／Ｆ部１８はバス１９等により接続される。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１９を介して接続された各部を駆動制御する。ＲＯＭは、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部１１が各種処理を行うために使用するワークエリアを備える。制御部１１は、上記プログラムを読み出して実行することにより、情報処理装置１の各手段として機能する。

記憶部１２はハードディスクドライブやソリッドステートドライブ、フラッシュメモリ等の記憶装置であり、後述する処理に際し制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ等が格納される。これらのプログラムやデータは、制御部１１により必要に応じて読み出されＲＡＭに移され、ＣＰＵに読み出されて実行される。

記憶部１２には、映像データ１２１が記憶されている。映像データ１２１は、ゲームデータ（ゲームプログラム、ゲーム映像データを含む）や映画や動画等の映像コンテンツのデータである。映像データ１２１は、ＤＶＤやＢＤ等のメディアに記録されたものでもよいし、通信部１３を介してダウンロードしたものでもよい。

また、記憶部１２にはキャプチャ画像１２２が保存される。キャプチャ画像１２２は、映像データ１２１の画面録画データであり、ゲーム実行中（映像コンテンツ再生中）の画面を記録した画像であり、後述する処理において取得される。これらのデータの詳細については後述する。

通信部１３は、通信制御装置、通信ポート等を有し、情報処理装置１とネットワークとの間の通信を媒介する通信インタフェースである。ネットワークは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等のネットワークや、Bluetooth（登録商標）等の近距離無線通信を含む。接続の形態は、有線、無線（Wi-Fi）のいずれでもよい。

画像処理部１６は、ＧＰＵ（Graphics Processing Unit）等であり、主にコンピュータグラフィックス等の画像描写や映像再生に係る処理を実行する演算装置である。なお、画像処理部１６に代えて、制御部１１のＣＰＵが画像描写や映像コンテンツ再生に係る処理を行ってもよい。

表示部１４は、例えば液晶パネル等のディスプレイと、ディスプレイと連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１１の制御により入力された表示データや画像処理部１６により生成された映像データをディスプレイに表示させる。なお、表示部１４は、表示画面にタッチパネル等の入力装置を一体的に設けたタッチパネルディスプレイとしてもよい。

入力部１５は、例えば、タッチパネル、キーボード、マウス等のポインティング・デバイス、テンキー等の入力装置やゲームコントローラ等を含み、入力されたデータを制御部１１へ入力する。

カメラ１７は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を用いたビデオカメラであり、ユーザを撮影したユーザ画像を得る。ユーザ画像は制御部１１に入力され、ユーザの感情推定に用いられる。

周辺機器Ｉ／Ｆ（インタフェース）部１８は、周辺機器を接続させるためのポートである。周辺機器Ｉ／Ｆ部１８は、ＵＳＢや映像信号入出力インタフェース等で構成される。周辺機器との接続形態は有線、無線を問わない。
バス１９は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図３は、情報処理装置１の機能構成を示す図である。図３に示すように、情報処理装置１は、上述の記憶部１２、表示部１４、画像処理部１６、カメラ１７の他、感情推定部２１、キャプチャ部２２、及びエンドロール生成部２３を備える。感情推定部２１、キャプチャ部２２、エンドロール生成部２３の各機能は、情報処理装置１の制御部１１が処理を実行することにより実現する。これらの機能を実現するためのプログラムは記憶部１２に記憶され、制御部１１に読み出されて実行される。また、上記プログラムは、ゲームプログラムや映像コンテンツの一部としてもよく、ゲームプログラムや映像コンテンツとともにメディアに記録され、制御部１１に読み出されて実行されるようにしてもよい。

感情推定部２１は、ゲームを実行したり映像コンテンツを視聴しているユーザ（プレーヤー）の感情を推定し、スコア化する。具体的には、感情推定部２１は、カメラ１７により撮影されたユーザの画像を取得し、顔の表情の変化を解析する等の手法によりユーザの感情を推定する。感情の推定には、例えば、感情認識ＡＩ「Affdex」（https://affectiva.jp/）やＦＶＡＥｓ（Factorized Variational Autoencoders）と呼ばれるアルゴリズム（https://neurosciencenews.com/neuroscience-terms/fvaes/）等の公知の方法を利用できる。感情推定部２１は感情スコアの値に応じて、キャプチャ部２２に対しキャプチャ画像１２２を記録する指示を入力する。

図４は、感情スコアの例を示す図である。感情推定部２１は、ユーザの顔の表情を解析し、図４に示すように、「通常（無感情）」、「楽しい」、「悲しい」、「驚き」、「怒り」等の様々な感情についてそれぞれ数値化（スコア化）する。そして「通常（無感情）」以外の感情のスコアが所定値以上の場合に、その時の画面をキャプチャするよう指示する。例えば、図４（ａ）に示すように、「通常（無感情）」のスコアが大きく、その他の感情スコアが所定値に達していない時はキャプチャ指示を行わない。図４（ｂ）に示すように、「通常（無感情）」以外のスコアが所定値以上になるとキャプチャ指示を入力する。図４（ｂ）では、「楽しい」という感情のスコアが「９０％」となっているのでキャプチャ指示をキャプチャ部２２に入力する。なお、感情推定部２１は、「楽しい」の感情スコアが大きい場合のみならず、その他の「悲しい」、「驚き」、「怒り」等の感情スコアが所定値以上の場合にもキャプチャ指示をキャプチャ部２２に入力する。或いは、特定の感情のみに着目し、その特定の感情のスコアが所定値以上となった場合のみ、キャプチャ指示をキャプチャ部２２に入力するものとしてもよい。感情推定部２１により推定される感情として、「通常（無感情）」、「楽しい」、「悲しい」、「驚き」、「怒り」を例示しているが、その他の様々な感情（「悔しい」、「焦り」等）について推定してもよい。

キャプチャ部２２は、表示部１４に表示される映像コンテンツ（映像データ１２１）の１または複数フレーム（１画面～複数画面）分を静止画または動画として記録する。第１の実施形態では、感情推定部２１において「通常（無感情）」以外の感情スコアが所定値以上の場合に、キャプチャ指示がキャプチャ部２２に入力される。キャプチャ部２２は、キャプチャ指示を受けると、その時に表示部１４のディスプレイに表示されているフレームデータを録画（画面録画）する。キャプチャ部２２は、画面録画した画像（キャプチャ画像１２２）を記憶部１２に記憶する。

キャプチャ部２２は、キャプチャ画像１２２をその時の感情の情報と紐づけて記憶するようにしてもよい。図５は、感情とキャプチャ画像１２２との紐づけについて例示している。例えば、キャプチャ画像１２２ａは、感情「楽しい」と紐づけて記録され、キャプチャ画像１２２ｂは、感情「悲しい」と紐づけて記録され、キャプチャ画像１２２ｃは、感情「驚き」と紐づけて記録され、キャプチャ画像１２２ｄは、感情「怒り」と紐づけて記録される。

図６は、記憶部１２におけるキャプチャ画像１２２の保存フォルダの構造の一例を示す図である。図６に示すように、ゲームの「章」毎にそれぞれフォルダ（章フォルダ）が生成され、章フォルダ内に更にそれぞれ感情の種類毎にフォルダが生成される。例えば、ゲームの第２章において、ユーザの感情の「楽しい」のスコアが所定値以上のときに記録されたキャプチャ画像１２２ａは、第２章フォルダ内の「楽しい」フォルダに格納される。このようなフォルダ構成で保存することで、キャプチャ画像１２２がゲームストーリーのどの章で保存され、また、どのような感情で保存されたものであるかが識別される。また、フォルダを作成するのではなく、各キャプチャ画像１２２のファイル名を「章」及び「感情の種類」を示すものとしてもよい。例えば、第２章において楽しい感情のときに記録されたものであれば、「02_tanoshii」等のような文字列をファイル名に付加してキャプチャ画像１２２を保存してもよい。また更に、キャプチャ時刻をファイル名に記録してもよい。

エンドロール生成部２３は、キャプチャ部２２により保存されたキャプチャ画像１２２を用いて映像コンテンツのエンドロールを生成する。エンドロール生成部２３は、例えば図７に示すように、保存したキャプチャ画像１２２をランダムに選択し、予め用意された定型のエンドロール（スタッフロール等）の所定領域に挿入するようにしてエンドロールを生成する。

また、例えば図８に示すように、エンドロール生成部２３は、特定の感情のときに記録したキャプチャ画像１２２のみを選択し、定型のエンドロールに挿入するようにしてもよい。また、図９に示すように、ストーリー順（キャプチャ画像１２２の取得順）に保存したキャプチャ画像１２２を定型のエンドロールに挿入してもよい。

なお、エンドロールのカスタマイズ（エンドロール生成部２３によるエンドロールの生成）を行うか否かを、映像コンテンツのストーリーが始まる前にユーザに選択させることが望ましい。例えば、ゲームのスタート画面において、エンドロールのカスタマイズを行うか否かを選択可能とし、カスタマイズを行わないように選択された場合には、予め用意された通常の（定型の）エンドロールとし、カスタマイズを行うことが選択された場合は、本実施形態の感情推定部２１、キャプチャ部２２、エンドロール生成部２３の動作を実行して、オリジナルのエンドロールを生成する。

次に、フローチャートを参照しながら情報処理装置１において実行される処理の流れについて説明する。図１０は、情報処理装置１が実行する処理の流れを示すフローチャートであり、図１１はプレーヤーの操作と各部の動作の流れを示す図である。なお、以下の説明では、映像コンテンツがゲームの場合について説明するが、ゲームに限らず、映画等の映像コンテンツにも同様の処理を適用できる。

図１０に示すように、ゲームが開始されると、情報処理装置１の制御部１１は、ゲームのスタート画面を表示する（ステップＳ１０１）。スタート画面には、エンドロールのカスタマイズを行うか否かを選択するための選択欄（チェックボックスや選択ボタン等）やスタートボタン等が設けられる。スタート画面において、エンドロールのカスタマイズを行わないことが選択されてスタートボタンが操作された場合は（ステップＳ１０２；Ｎｏ）、制御部１１は通常のゲーム処理及び通常のエンドロール再生を行う（ステップＳ１０３～ステップＳ１０５）。すなわち、制御部１１は、ゲームプログラムに従ってゲーム処理を行う（ステップＳ１０３）。ゲーム処理では、プレーヤーの操作に従ってイベントを発生させたり、ゲーム映像コンテンツを再生しながらゲームのストーリーを進める。ゲームをクリアすると（ステップＳ１０４；Ｙｅｓ）、通常のエンドロールを再生する（ステップＳ１０５）。通常のエンドロールとは、ゲームデータに予め含まれて用意されている定型の映像コンテンツであり、制作スタッフ等の文字情報や、ゲームのシーンやエンディング用の映像等が楽曲（エンディングテーマ曲等）とともに表示されるものである。エンドロールが終了すると、スタート画面を表示して処理を終了する。

一方、スタート画面において、エンドロールのカスタマイズを行うことが選択されてスタートボタンが操作された場合は（ステップＳ１０２；Ｙｅｓ）、制御部１１はゲーム処理を実行しながらキャプチャ画像１２２を取得し、取得したキャプチャ画像１２２を用いてオリジナルのエンドロールを生成・再生する（ステップＳ１０６～ステップＳ１１４）。すなわち、制御部１１は、上述したようにゲームプログラムに従ってゲーム処理を行う（ステップＳ１０６）。ゲーム処理を実行中、制御部１１はカメラ１７でプレーヤーの画像を撮影し、所定の時間間隔で顔画像を取得する（ステップＳ１０７）。制御部１１（感情推定部２１）は、ステップＳ１０７で取得した顔画像に基づいて、プレーヤーの感情を推定する（ステップＳ１０８）。「通常（無感情）」以外の感情（楽しい、悲しい、驚き、怒り等）のスコアが一定値以上と推定された場合に（ステップＳ１０９；Ｙｅｓ）、制御部１１（キャプチャ部２２）はそのタイミングにおける表示画面をキャプチャする（ステップＳ１１０）。制御部１１は、キャプチャ画像１２２を記憶部１２の所定のフォルダに保存する（ステップＳ１１１）。例えば、該当する章フォルダ内の該当する感情のフォルダにキャプチャ画像１２２を保存する。制御部１１は、ステップＳ１０６～ステップＳ１１１の処理をゲームクリアするまで繰り返し実行する（ステップＳ１１２；Ｎｏ→ステップＳ１０６）。

図１１は、ゲームの進行中の制御部１１の動作手順を示している。図１１では図の左から右に向かって時間が進行するものとする。プレーヤーの操作によってゲームをスタートすると、制御部１１は、プレーヤーの入力操作に従ってゲーム演算を繰り返し実行しながら、ゲームエンドまでゲームを進行する。また、制御部１１は、ゲームを進行しながら、所定時間刻みにプレーヤーの顔画像をカメラ１７から取得し、取得した顔画像について感情推定演算を実行する。感情推定演算により得た感情スコアが所定値以上の場合にゲーム画面のキャプチャ処理を行う。

図１０の説明に戻る。
ステップＳ１１２において、ゲームクリアすると（ステップＳ１１２；Ｙｅｓ）、制御部１１（エンドロール生成部２３）はエンドロールを生成する（ステップＳ１１３）。ステップＳ１１３のエンドロール生成処理では、制御部１１は、保存したキャプチャ画像１２２を用いてエンドロールを生成する。例えば、図７に示すように、通常のエンドロール（ゲームデータに予め含まれて用意されている定型の映像コンテンツ）に、ランダムにキャプチャ画像１２２を挿入してもよいし、図８に示すように、挿入するキャプチャ画像１２２を特定の感情のものに絞って挿入してもよいし、図９に示すように、ストーリー順にキャプチャ画像１２２を挿入してもよい。

エンドロールの生成が完了すると、制御部１１は生成したエンドロールを再生する（ステップＳ１１４）。生成したエンドロールの再生が終了すると、スタート画面を表示してゲームを終了する。

以上説明したように、本発明の第１の実施形態の情報処理装置１によれば、ゲーム実行中のユーザ（プレーヤー）の感情の変化をトリガとしてゲーム画面のキャプチャ画像１２２を記録し、ゲームが終了すると記録したキャプチャ画像１２２を使用してエンドロールを生成する。これにより、ユーザ（プレーヤー）の気持ちが盛り上がったシーンや印象深いシーン等をエンドロールで再生することが可能となる。ゲーム進行中の感情は各ユーザ（プレーヤー）で異なるため、多様なエンドロールを生成・再生可能となる。また、ユーザ（プレーヤー）が操作しなくてもキャプチャ画像１２２を得ることができる。

［第２の実施形態］
次に、図１２～図１４を参照して本発明の第２の実施形態の情報処理装置１Ａについて説明する。第２の実施形態の情報処理装置１Ａのハードウェア構成は第１の実施形態と同様であるが、第２の実施形態は第１の実施形態と機能構成が異なる。

図１２は、第２の実施形態の情報処理装置１Ａの機能構成を示すブロック図である。図１２に示すように、情報処理装置１Ａは、記憶部１２、表示部１４、画像処理部１６、入力部１５、キャプチャ部２２、及びエンドロール生成部２３を備える。第１の実施形態と異なる点は、キャプチャ部２２へのキャプチャ指示を入力部１５から入力する点である。

すなわち、図１３に示すように、ゲーム進行中、ユーザ（プレーヤー）が入力部１５を介してキャプチャ指示を入力すると、キャプチャ部２２はゲーム実行中の表示画面を録画し、キャプチャ画像１２２として保存する。第１の実施形態と異なり、感情推定等を行わず、ユーザ（プレーヤー）が所望のシーンを所望のタイミングでキャプチャすることができる。エンドロール生成部２３によるエンドロールの生成は第１の実施形態と同様である。

次に、図１３及び図１４のフローチャートを参照しながら第２の実施形態の情報処理装置１Ａにおいて実行される処理の流れについて説明する。

図１４に示すように、ゲームが開始されると情報処理装置１の制御部１１は、ゲームのスタート画面を表示する（ステップＳ２０１）。スタート画面には、第１の実施形態と同様に、エンドロールのカスタマイズを行うか否かを選択するための選択欄（チェックボックスや選択ボタン等）やスタートボタン等が設けられる。スタート画面において、エンドロールのカスタマイズを行わないことが選択され、スタートボタンが操作された場合は（ステップＳ２０２；Ｎｏ）、制御部１１は通常のゲーム処理及び通常のエンドロール再生を行う（ステップＳ２０３～ステップＳ２０５）。ステップＳ２０３～ステップＳ２０５の処理は、図１０のステップＳ１０３～ステップＳ１０５と同様である。

一方、スタート画面において、エンドロールのカスタマイズを行うことが選択され、スタートボタンが操作された場合は（ステップＳ２０２；Ｙｅｓ）、制御部１１はゲーム処理を実行しながらキャプチャ画像１２２を取得し、取得したキャプチャ画像１２２を用いてオリジナルのエンドロールを生成・再生する（ステップＳ２０６～ステップＳ２１２）。すなわち、制御部１１は、上述したようにゲームプログラムに従ってゲーム処理を行う（ステップＳ２０６）。ゲーム処理を実行中、入力部１５を介してプレーヤーからキャプチャ指示操作が入力されると（ステップＳ２０７；Ｙｅｓ）、制御部１１（キャプチャ部２２）は、そのタイミングにおける表示画面をキャプチャする（ステップＳ２０８）。制御部１１は、キャプチャ画像１２２を記憶部１２の所定のフォルダに保存する（ステップＳ２０９）。例えば、該当する章フォルダ内にキャプチャ画像１２２を保存する。制御部１１は、ステップＳ２０６～ステップＳ２０９の処理をゲームクリアするまで繰り返し実行する（ステップＳ２１０；Ｎｏ→ステップＳ２０６）。

ステップＳ２１０においてゲームクリアすると（ステップＳ２１０；Ｙｅｓ）、制御部１１（エンドロール生成部２３）はエンドロールを生成する（ステップＳ２１１）。ステップＳ２１１のエンドロール生成処理では、制御部１１は、保存したキャプチャ画像１２２を用いてエンドロールを生成する。例えば、図７のように、通常のエンドロール（ゲームデータに予め含まれて用意されている定型の映像コンテンツ）に、ランダムにキャプチャ画像１２２を挿入したり、図９のように、ストーリー順にキャプチャ画像１２２を挿入したりする。

エンドロールの生成が完了すると、制御部１１は生成したエンドロールを再生する（ステップＳ２１２）。生成したエンドロールの再生が終了すると、スタート画面を表示してゲームを終了する。

以上説明したように、本発明の第２の実施形態の情報処理装置１Ａによれば、ゲーム実行中（映像再生中）にユーザ（プレーヤー）が画面のキャプチャ指示を行ってキャプチャ画像１２２を記録し、記録したキャプチャ画像１２２を用いてオリジナルのエンドロールを生成することができる。ユーザ（プレーヤー）は自分の操作で好きなシーンをキャプチャしておき、エンドロールで再び振り返ることが可能となる。

なお、第１の実施形態ではユーザ（プレーヤー）の感情をトリガとし、第２の実施形態ではユーザ（プレーヤー）の操作をトリガとしてキャプチャ指示を入力したが、本発明はこれに限定されず、例えば、ユーザの仕草（身体の動き）に基づいてキャプチャ指示を入力してもよい。この場合、カメラ１７によりユーザの全身または上半身を撮影し、制御部１１がユーザの腕や頭部等の動きを分析し、所定の動きと認識された場合に制御部１１がキャプチャ指示を行う。また、脈拍測定デバイス、心拍センサ、体温計等の生体情報測定装置を情報処理装置１に接続して映像コンテンツ視聴中のユーザの生体情報を計測し、測定値に所定の変化があった場合に制御部１１がキャプチャ指示を行うようにしてもよい。また、音声入力装置（マイク、発話認識処理部等）を備え、ユーザの声をトリガとしてキャプチャ指示を入力してもよい。

［第３の実施形態］
次に、図１５～図１６を参照して本発明の第３の実施形態の情報処理装置１Ｂについて説明する。第３の実施形態の情報処理装置１Ｂのハードウェア構成は第１の実施形態と同様であるが、第３の実施形態は第１の実施形態の情報処理装置１にフォトブック生成機能を付加したものである。

図１５は、第３の実施形態の情報処理装置１Ｂの機能構成を示すブロック図である。図１５に示すように、情報処理装置１Ｂは、第１の実施の形態の情報処理装置１（図３）と同様に、記憶部１２、表示部１４、画像処理部１６、カメラ１７、感情推定部２１、キャプチャ部２２、及びエンドロール生成部２３を備える他、フォトブック生成部２５及びユーザ画像取得部２６を備える。

フォトブック生成部２５は、記憶部１２に記憶されているキャプチャ画像１２２を用いてフォトブックを生成する。フォトブックはエンドロールとは異なり、制作スタッフ等の情報が入らないデジタルフォトブックである。例えば、キャプチャ画像１２２をランダムに並べたり、ゲームのストーリーに沿って並べたり、ユーザの特定の感情の時に記録されたキャプチャ画像１２２を並べたりして生成される。

ユーザ画像取得部２６は、カメラ１７により撮影されたユーザの画像（ユーザ画像１２３）を取得して記憶部１２に記憶する。例えば、ユーザの感情スコアが所定値以上となりキャプチャ部２２により画面のキャプチャ画像１２２が記録されるタイミングのユーザの画像をカメラ１７から取得して、ユーザ画像１２３として記憶部１２に記憶する。

フォトブック生成部２５は、キャプチャ画像１２２と並べてその時のユーザ画像１２３を配置してもよい。例えば、「楽しい」という感情のスコアが所定値以上となった時のゲーム画面（キャプチャ画像１２２）とユーザの表情（ユーザ画像１２３）とを並べて配置したフォトブックを生成できる。

図１６は第３の実施形態の情報処理装置１Ｂが実行するフォトブック生成処理の流れを示すフローチャートである。ユーザの指示によりメニューが表示され（ステップＳ３０１）、フォトブック生成メニューが選択されると（ステップＳ３０２；Ｙｅｓ）、制御部１１（フォトブック生成部２５）は、記憶部１２からキャプチャ画像１２２やユーザ画像１２３を取得して、フォトブックを生成する（ステップＳ３０３）。フォトブックは、制御部１１が自動的にキャプチャ画像１２２やその時のユーザ画像１２３をランダムに選択して並べたり、ゲームのストーリーに沿って並べたりして生成してもよいし、ユーザによる編集操作を受け付け、ユーザが所望のキャプチャ画像１２２やユーザ画像１２３を選択し、レイアウトしてもよい。フォトブックが生成されると、制御部１１は生成されたフォトブックを表示部１４に表示する（ステップＳ３０４）。

以上説明したように、第３の実施形態の情報処理装置１Ｂは、エンドロールの他に、キャプチャ画像１２２を用いてフォトブックを生成することも可能となる。

なお、上述の説明では情報処理装置１Ｂの構成を第１の実施形態の情報処理装置１の機能構成に、フォトブック生成部２５及びユーザ画像取得部２６を付加する構成としたが、本発明はこれに限定されず、第２の実施形態の情報処理装置１Ａの機能構成にフォトブック生成部２５、カメラ１７、及びユーザ画像取得部２６を付加する構成としてもよい。すなわち、情報処理装置１Ｂは、ユーザによるキャプチャ指示に従ってキャプチャ画像１２２を取得するとともにユーザ画像１２３を撮影して記憶し、フォトブック生成メニューがユーザにより選択されると、キャプチャ画像１２２やユーザ画像１２３を用いてフォトブックを生成する。

［第４の実施形態］
次に、図１７～図１８を参照して本発明の第４の実施形態の情報処理装置１Ｃについて説明する。第４の実施形態の情報処理装置１Ｃのハードウェア構成は第１の実施形態と同様であるが、第４の実施形態は第１の実施形態の情報処理装置１にフォトムービー生成機能を付加したものである。

図１７は、第４の実施形態の情報処理装置１Ｃの機能構成を示すブロック図である。図１７に示すように、情報処理装置１Ｃは、第１の実施形態の情報処理装置１（図３）の機能構成に、フォトムービー生成部２７を付加した構成である。

フォトムービー生成部２７は、記憶部１２に記憶されているキャプチャ画像１２２や楽曲データ１２４を用いてフォトムービーを生成する。フォトムービーは、エンドロールとは異なり、制作スタッフ等の情報が入らないムービー（映像コンテンツ）である。例えば、キャプチャ画像１２２をゲームのＢＧＭ等の楽曲に合わせて順次表示したり、画像の拡大、縮小、回転、移動、色調変化等の各種のエフェクトを加えたりして生成される。

図１８は第４の実施形態の情報処理装置１Ｃが実行するフォトムービー生成処理の流れを示すフローチャートである。ユーザの指示によりメニューが表示され（ステップＳ４０１）、フォトムービー生成メニューが選択されると（ステップＳ４０２；Ｙｅｓ）、制御部１１（フォトムービー生成部２７）は、記憶部１２から楽曲を選択し（ステップＳ４０３）、選択した楽曲とキャプチャ画像１２２を用いてフォトムービーを生成する（ステップＳ４０４）。フォトムービーは、制御部１１が自動的に楽曲を選択したり、キャプチャ画像１２２を選択して、ランダムに並べたり、ゲームのストーリーに沿って並べたりすることにより生成してもよいし、ユーザによる編集操作を受け付け、ユーザが所望の楽曲やキャプチャ画像１２２を選択し、所望のエフェクト処理を加えて生成してもよい。フォトムービーが生成されると、制御部１１は生成されたフォトムービーを表示部１４に表示する（ステップＳ４０５）。

以上説明したように、第４の実施形態の情報処理装置１Ｃでは、エンドロールの他に、キャプチャ画像１２２を楽曲と組み合わせてフォトムービーを生成することも可能となる。

なお、上述の説明では情報処理装置１Ｃの構成を第１の実施形態の情報処理装置１の機能構成に、フォトムービー生成部２７を付加する構成としたが、本発明はこれに限定されず、第２の実施形態の情報処理装置１Ｂや第３の実施形態の情報処理装置１Ｃの機能構成にフォトムービー生成部２７を付加する構成としてもよい。

以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１…………………情報処理装置
１０………………本体部
１１………………制御部
１２………………記憶部
１３………………通信部
１４………………表示部
１５………………入力部
１６………………画像処理部
１７………………カメラ
１８………………周辺機器Ｉ／Ｆ部
１９………………バス
２１………………感情推定部
２２………………キャプチャ部
２３………………エンドロール生成部
２５………………フォトブック生成部
２６………………ユーザ画像取得部
２７………………フォトムービー生成部

Claims (13)

1. 映像コンテンツを再生する映像再生手段と、
   前記映像コンテンツのキャプチャ画像を保存するキャプチャ手段と、
   前記キャプチャ手段により保存されたキャプチャ画像を用いて前記映像コンテンツのエンドロールを生成するエンドロール生成手段と、
   を備えることを特徴とする情報処理装置。
2. 前記映像コンテンツを視聴しているユーザの感情を推定し、スコア化する感情推定手段を更に備え、
   前記キャプチャ手段は、前記感情推定手段により推定された感情のスコアが所定値以上となったタイミングで前記キャプチャ画像を記録することを特徴とする請求項１に記載の情報処理装置。
3. 前記ユーザの顔画像を撮影する撮影手段を備え、
   前記感情推定手段は、前記撮影手段により撮影された顔画像に基づいて前記ユーザの感情を推定することを特徴とする請求項２に記載の情報処理装置。
4. キャプチャ指示を入力する入力手段を備え、
   前記キャプチャ手段は、前記入力手段によるキャプチャ指示に従って前記キャプチャ画像を記録することを特徴とする請求項１に記載の情報処理装置。
5. 前記エンドロール生成手段は、特定の感情のときに取得したキャプチャ画像をエンドロールに挿入することを特徴とする請求項２または請求項３に記載の情報処理装置。
6. 前記エンドロール生成手段は、前記キャプチャ画像を取得した順にエンドロールに挿入することを特徴とする請求項１から請求項５のいずれかに記載の情報処理装置。
7. 前記エンドロール生成手段は、取得したキャプチャ画像をランダムに選択し、エンドロールに挿入することを特徴とする請求項１から請求項５のいずれかに記載の情報処理装置。
8. 前記エンドロール生成手段によるエンドロールの生成を行うか否かを選択する選択手段を更に備えることを特徴とする請求項１から請求項７のいずれかに記載の情報処理装置。
9. 前記キャプチャ画像を用いてフォトブックを生成するフォトブック生成手段を更に備えることを特徴とする請求項１から請求項８のいずれかに記載の情報処理装置。
10. ユーザを撮影し、記憶する撮影手段を備え、
    前記フォトブック生成手段は、前記撮影手段により撮影したユーザの画像を前記キャプチャ画像と並べて配置することを特徴とする請求項９に記載の情報処理装置。
11. 楽曲に前記キャプチャ画像を組み合わせたフォトムービーを生成するフォトムービー生成手段を更に備えることを特徴とする請求項１から請求項１０のいずれかに記載の情報処理装置。
12. コンピュータが、
    映像コンテンツを再生するステップと、
    前記映像コンテンツのキャプチャ画像を保存するステップと、
    保存されたキャプチャ画像を用いて前記映像コンテンツのエンドロールを生成するステップと、
    を含むことを特徴とするエンドロール生成方法。
13. コンピュータを、
    映像コンテンツを再生する映像再生手段、
    前記映像コンテンツのキャプチャ画像を保存するキャプチャ手段、
    前記キャプチャ手段により保存されたキャプチャ画像を用いて前記映像コンテンツのエンドロールを生成するエンドロール生成手段、
    として機能させるためのプログラム。

Images