JP2010214028A - プログラム、情報記憶媒体、画像処理装置、画像処理方法及びデータ構造 - Google Patents

Abstract

【課題】リプレイデータと、そのリプレイデータに対応する期間に撮像手段により生成される動画像とを連携することができるプログラム、情報記憶媒体、画像処理装置、画像処理方法及びデータ構造を提供する。
【解決手段】リプレイデータ取得部６８が、プログラムの実行状況を再現するためのリプレイデータを取得する。撮像動画像取得部７０が、リプレイデータによりプログラムの実行状況が再現される再現期間の少なくとも一部を含む撮像期間に撮像手段により生成される撮像動画像を取得する。データ保持部７２が、リプレイデータと、撮像動画像と、を対応付けて保持する。
【選択図】図４

Description

本発明は、プログラム、情報記憶媒体、画像処理装置、画像処理方法及びデータ構造に関する。

ゲームのプレイ中に、ユーザがコントローラを操作したタイミングや操作されたボタンなどを示す操作データ（操作ログ）あるいは、各フレームにおけるキャラクタなどのオブジェクトの位置を示す位置データなどの、ゲームの実行状況を再現するためのリプレイデータを生成するゲーム装置が存在する。特許文献１には、ゲームのリプレイを行うことができるゲーム装置が開示されている。そして、このようなゲーム装置には、リプレイデータに基づいてゲームのリプレイ動画像を生成して、ディスプレイなどに表示するものがある。

米国特許第６７２４３８５号明細書

ゲームのリプレイ動画像がディスプレイなどに表示される際に、ユーザがゲームをしている様子を表す動画像が併せて表示されると、リプレイ動画像の鑑賞者は、ゲームのリプレイとともに、ユーザがゲームを楽しんでいたり、熱中していたりする様子も併せて楽しむことができる。

ゲーム装置に限らず画像処理装置一般においても、リプレイデータと、そのリプレイデータに対応する期間にカメラなどの撮像手段により生成される動画像とが連携されると、生成される動画像のおもしろさが向上することが期待される。

本発明は上記課題に鑑みてなされたものであって、リプレイデータと、そのリプレイデータに対応する期間に撮像手段により生成される動画像とを連携することができるプログラム、情報記憶媒体、画像処理装置、画像処理方法及びデータ構造を提供することを目的とする。

上記課題を解決するために、本発明に係るプログラムは、プログラムの実行状況を再現するためのリプレイデータを取得するリプレイデータ取得手段、前記リプレイデータにより前記プログラムの実行状況が再現される再現期間の少なくとも一部を含む撮像期間に撮像手段により生成される撮像動画像を取得する撮像動画像取得手段、前記リプレイデータと、前記撮像動画像と、を対応付けて保持手段に保持させる手段、としてコンピュータを機能させることを特徴とすることを特徴とする。

また、本発明に係る画像処理装置は、プログラムの実行状況を再現するためのリプレイデータを取得するリプレイデータ取得手段と、前記リプレイデータにより前記プログラムの実行状況が再現される再現期間の少なくとも一部を含む撮像期間に撮像手段により生成される撮像動画像を取得する撮像動画像取得手段と、前記リプレイデータと、前記撮像動画像と、を対応付けて保持する保持手段と、を含むことを特徴とする。

また、本発明に係る画像処理方法は、プログラムの実行状況を再現するためのリプレイデータを取得するリプレイデータ取得ステップと、前記リプレイデータにより前記プログラムの実行状況が再現される再現期間の少なくとも一部を含む撮像期間に撮像手段により生成される撮像動画像を取得する撮像動画像取得ステップと、前記リプレイデータと、前記撮像動画像と、を対応付けて保持手段に保持させるステップと、を含むことを特徴とする。

また、本発明に係るデータ構造は、プログラムの実行状況を再現するためのリプレイデータと、前記リプレイデータに対応する期間の少なくとも一部に撮像手段により生成される撮像動画像と、を有し、前記リプレイデータと前記撮像動画像とが対応付けられている、ことを特徴とする。

本発明によると、リプレイデータと撮像動画像とが対応付けて保持されるので、リプレイデータと、そのリプレイデータに対応する期間に撮像手段により生成される撮像動画像とを連携することができる。

本発明の一態様に係るプログラムでは、前記リプレイデータと、前記撮像動画像と、に基づいて、再生用動画像を生成する再生用動画像生成手段、として前記コンピュータをさらに機能させることを特徴とする。こうすれば、リプレイデータと撮像動画像とに基づいて再生用動画像が生成されるので、リプレイデータと、そのリプレイデータに対応する期間に撮像手段により生成される撮像動画像とを連携した動画像を生成することができる。

この態様に係るプログラムでは、前記再生用動画像生成手段が、前記リプレイデータと前記撮像動画像とに基づく動画像を再生することにより前記再生用動画像を生成してもよい。こうすれば、再生される動画像を再生用動画像の生成に活用することができる。

また、本発明の一態様に係るプログラムでは、前記再生用動画像生成手段が、前記リプレイデータに基づいて生成されるリプレイ動画像と、前記撮像動画像と、に基づいて、前記再生用動画像を生成することを特徴とする。こうすれば、再生用動画像の生成に、リプレイデータに基づく動画像を活用することができる。

この態様に係るプログラムでは、前記再生用動画像生成手段が、前記リプレイ動画像と前記撮像動画像とを所与の規則に従って合成して再生用動画像を生成してもよい。こうすれば、リプレイ動画像と撮像動画像とが所与の規則に従って合成された再生用動画像を生成することができる。

また、この態様に係るプログラムでは、前記再生用動画像生成手段が、前記リプレイ動画像と前記撮像動画像とを、前記リプレイ動画像に基づいて決定される規則に従って合成して再生用動画像を生成してもよい。こうすれば、リプレイ動画像に基づいて決定される規則に従ってリプレイ動画像と撮像動画像とが合成された再生用動画像を生成することができる。

また、この態様に係るプログラムでは、ユーザによる操作に応じて、前記リプレイ動画像と前記撮像動画像とを合成する規則を変更する規則変更手段、として前記コンピュータをさらに機能させてもよい。こうすれば、リプレイ動画像と撮像動画像との合成規則をユーザが制御することができる。

また、本発明の一態様に係るプログラムでは、動画像を出力する動画像出力サーバに、ユーザからの要求に応じて、前記再生用動画像を当該ユーザの識別子と関連付けて出力する再生用動画像出力手段、として前記コンピュータをさらに機能させることを特徴とする。こうすれば、動画像出力サーバにアクセス可能なユーザが、動画像出力サーバに出力された再生用動画像を閲覧することができる。

また、本発明の一態様に係るプログラムでは、前記リプレイデータが、ユーザによる操作の内容を少なくとも示すことを特徴とする。こうすれば、ユーザによる操作の内容に基づく再生用動画像を生成することができる。

また、本発明の一態様に係るプログラムでは、前記撮像期間が、前記再現期間よりも長い期間であることを特徴とする。こうすれば、再現期間に含まれない撮像期間に撮像された撮像動画像に基づく再生用動画像を生成することができる。

また、上記の各プログラムはコンピュータ読み取り可能な情報記憶媒体に記憶することもできる。

本実施形態に係る画像処理装置として用いられるエンタテインメントシステムのハードウェア構成の一例を示すハードウェア構成図である。 ＭＰＵの詳細の一例を示す詳細構成図である。 コントローラの一例を示す斜視図である。 コントローラの一例を示す上側面図である。 本実施形態に係るエンタテインメントシステムの機能の一例を示す機能ブロック図である。 ゲーム画面の一例を示す図である。 仮想３次元空間の一例を示す図である。 本実施形態に係るエンタテインメントシステムで行われる処理のフローの一例を示す図である。 再生用フレーム画像の一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本実施形態に係るエンタテインメントシステム（画像処理装置）１０のハードウェア構成を示す図である。図１に示すように、エンタテインメントシステム１０は、ＭＰＵ（Micro Processing Unit）１１と、メインメモリ２０と、画像処理部２４と、モニタ２６と、入出力処理部２８と、音声処理部３０と、スピーカ３２と、光ディスク読み取り部３４と、光ディスク３６と、ハードディスクドライブ３８と、インタフェース（Ｉ／Ｆ）４０，４４と、コントローラ４２と、カメラユニット４６と、ネットワークインタフェース４８と、を含んで構成されるコンピュータシステムである。

図２は、ＭＰＵ１１の構成を示す図である。図２に示すように、ＭＰＵ１１は、メインプロセッサ１２と、サブプロセッサ１４ａ，１４ｂ，１４ｃ，１４ｄ，１４ｅ，１４ｆ，１４ｇ，１４ｈと、バス１６と、メモリコントローラ１８と、インタフェース（Ｉ／Ｆ）２２と、を含んで構成される。

メインプロセッサ１２は、図示しないＲＯＭ（Read Only Memory）に記憶されるオペレーティングシステム、例えばＤＶＤ（Digital Versatile Disk）−ＲＯＭ等の光ディスク３６から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて、各種情報処理を行ったり、サブプロセッサ１４ａ乃至１４ｈに対する制御を行ったりする。

サブプロセッサ１４ａ乃至１４ｈは、メインプロセッサ１２からの指示に従って、各種情報処理を行ったり、エンタテインメントシステム１０の各部を、例えばＤＶＤ−ＲＯＭ等の光ディスク３６から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて制御したりする。

バス１６は、アドレス及びデータをエンタテインメントシステム１０の各部でやり取りするためのものである。メインプロセッサ１２、サブプロセッサ１４ａ乃至１４ｈ、メモリコントローラ１８、インタフェース２２は、バス１６を介して相互にデータ授受可能に接続される。

メモリコントローラ１８は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈからの指示に従って、メインメモリ２０へのアクセスを行う。メインメモリ２０には、光ディスク３６やハードディスクドライブ３８から読み出されたプログラム及びデータや、通信ネットワークを介して供給されたプログラム及びデータが必要に応じて書き込まれる。メインメモリ２０はメインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈの作業用としても用いられる。

インタフェース２２には画像処理部２４及び入出力処理部２８が接続される。メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈと、画像処理部２４又は入出力処理部２８と、の間のデータ授受はインタフェース２２を介して行われる。

画像処理部２４は、ＧＰＵ（Graphical Processing Unit）とフレームバッファとを含んで構成される。ＧＰＵは、メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈから供給される画像データに基づいてフレームバッファに各種画面を描画する。フレームバッファに形成された画面は、所定のタイミングでビデオ信号に変換されてモニタ２６に出力される。なお、モニタ２６には例えば家庭用テレビ受像機が用いられる。

入出力処理部２８には、音声処理部３０、光ディスク読み取り部３４、ハードディスクドライブ３８、インタフェース４０,４４が接続される。入出力処理部２８は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈと、音声処理部３０、光ディスク読み取り部３４、ハードディスクドライブ３８、インタフェース４０,４４、ネットワークインタフェース４８と、の間のデータ授受を制御する。

音声処理部３０は、ＳＰＵ（Sound Processing Unit）とサウンドバッファとを含んで構成される。サウンドバッファには、光ディスク３６やハードディスクドライブ３８から読み出されたゲーム音楽、ゲーム効果音やメッセージなどの各種音声データが記憶される。ＳＰＵは、これらの各種音声データを再生してスピーカ３２から出力させる。なお、スピーカ３２には例えば家庭用テレビ受像機の内蔵スピーカが用いられる。

光ディスク読み取り部３４は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈからの指示に従って、光ディスク３６に記憶されたプログラムやデータを読み取る。なお、エンタテインメントシステム１０は、光ディスク３６以外の他のコンピュータ読み取り可能な情報記憶媒体に記憶されたプログラムやデータを読み取り可能に構成してもよい。

光ディスク３６は例えばＤＶＤ−ＲＯＭ等の一般的な光ディスク（コンピュータ読み取り可能な情報記憶媒体）である。また、ハードディスクドライブ３８は一般的なハードディスク装置である。光ディスク３６やハードディスクドライブ３８には各種プログラムやデータがコンピュータ読み取り可能に記憶される。

インタフェース（Ｉ／Ｆ）４０，４４は、コントローラ４２やカメラユニット４６等の各種周辺機器を接続するためのインタフェースである。このようなインタフェースとしては、例えばＵＳＢ（Universal Serial Bus）インタフェースが用いられる。

コントローラ４２は汎用操作入力手段であり、ユーザが各種操作（例えばゲーム操作）を入力するために用いられる。入出力処理部２８は、所定時間（例えば１／６０秒）ごとにコントローラ４２の各部の状態をスキャンし、その結果を表す操作状態をメインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈに供給する。メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈは、ユーザによって行われた操作の内容をその操作状態に基づいて判断する。なお、エンタテインメントシステム１０は複数のコントローラ４２を接続可能に構成されており、各コントローラ４２から入力される操作状態に基づいて、メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈが各種処理を実行するようになっている。

カメラユニット４６は、例えば公知のデジタルカメラを含んで構成され、白黒、グレイスケール又はカラーの撮影画像を所定時間（例えば１／６０秒）ごとに入力する。本実施の形態におけるカメラユニット４６は、撮影画像をＪＰＥＧ（Joint Photographic Experts Group）形式の画像データとして入力するようになっている。また、カメラユニット４６は、例えばレンズをユーザに向けた状態でモニタ２６の上に設置され、ケーブルを介してインタフェース４４に接続される。なお、本実施形態では、カメラユニット４６は、マイクを備えており、外部の音声を音声データとして入力するようになっている。ネットワークインタフェース４８は入出力処理部２８とネットワークとに接続されており、エンタテインメントシステム１０がネットワークを介して他のエンタテインメントシステム１０とデータ通信するのを中継するようになっている。

図３Ａは、コントローラ４２の一例を示す斜視図である。図３Ｂは、コントローラ４２の一例を示す上側面図である。図３Ａに示すように、コントローラ４２は、コントローラケーブル６２によってエンタテインメントシステム１０に接続され、表面４２ａの左側に方向ボタン群６０（左方向ボタン６０Ｌ、右方向ボタン６０Ｒ、上方向ボタン６０Ｕ、及び、下方向ボタン６０Ｄ）及び左操作スティック５４が設けられ、右側にボタン群５８（左ボタン５８Ｌ、右ボタン５８Ｒ、上ボタン５８Ｕ、及び、下ボタン５８Ｄ）及び右操作スティック５６が設けられている。また、図３Ｂに示すように、コントローラ４２の奥側側面には、表面４２ａ側左右に第１の左ボタン５０Ｌ、第１の右ボタン５０Ｒがそれぞれ設けられており、裏面側左右に第２の左ボタン５２Ｌ、第２の右ボタン５２Ｒがそれぞれ設けられている。そして、コントローラ４２の筐体左右をユーザが両手で持つと、左手親指が方向ボタン群６０及び左操作スティック５４に位置し、右手親指がボタン群５８及び右操作スティック５６に位置するようになっており、右手人指し指又は中指のいずれか少なくとも一方が、第１の右ボタン５０Ｒ又は第２の右ボタン５２Ｒに位置し、左手人指し指又は中指のいずれか少なくとも一方が、第１の左ボタン５０Ｌ又は第２の左ボタン５２Ｌに位置するようになっている。

方向ボタン群６０、ボタン群５８、第１の左ボタン５０Ｌ、第１の右ボタン５０Ｒ、第２の左ボタン５２Ｌ、第２の右ボタン５２Ｒは感圧ボタンとして構成されており、圧力センサを備えている。そして、これらのボタンをユーザが押下すると、その押圧力に応じて０〜２５５の値を有する２５６段階のディジタル値がエンタテインメントシステム１０に入力されるようになっている。つまり、エンタテインメントシステム１０では、コントローラ４２から入力されるディジタル値が０の場合にはそのボタンが押下されておらず、２５５の場合には最大押圧力でボタンが押下されていること等を該ディジタル値から判断できるようになっている。

左操作スティック５４及び右操作スティック５６は、コントローラ４２の筐体表面に直立したスティック状の操作部材であり、この直立状態から全方位に所定角度だけ傾倒自在となっている。図３Ａに示すように、コントローラ４２の筐体長手方向をＸ軸方向（図３Ａにおいて右方向を正方向とする。）とし、このＸ軸方向に直交する筐体奥行き方向をＹ軸方向（図３Ａにおいて手前から奥に向かう方向を正方向とする。）とすると、左操作スティック５４の姿勢（操作状態）は、Ｘ軸方向及びＹ軸方向の傾き（姿勢データ（Ｘ，Ｙ））として、それぞれ０〜２５５のディジタル値がエンタテインメントシステム１０に入力されるようになっている。具体的には、Ｘ＝１２７やＸ＝１２８付近は、左操作スティック５４がＸ軸方向に傾いていないことを示す。また、Ｘ＝２５５は、左操作スティック５４がＸ軸の正方向（図３Ａにおいて右方向）に限界まで倒れていることを示す。さらに、Ｘ＝０は、左操作スティック５４がＸ軸の負方向（図３Ａにおいて左方向）に限界まで倒れていることを示す。Ｙ軸方向についても同様である。また、右操作スティック５６についても左操作スティック５４の場合と同様である。こうして、エンタテインメントシステム１０では、左操作スティック５４及び右操作スティック５６の現在の傾き状態（姿勢）を把握できるようになっている。また、左操作スティック５４及び右操作スティック５６は、方向ボタン群６０やボタン群５８等と同様の感圧ボタンとしても構成されており、スティックの軸方向に押下できるようになっている。

また、コントローラ４２は、内蔵振動子（バイブレータ）を備えている。そして、ＭＰＵ１１からの指示によって、このバイブレータは振動する。

ここで、本実施形態に係るエンタテインメントシステム１０で実現される機能について説明する。図４は、本実施形態に係るエンタテインメントシステム１０で実現される機能の一例を示す機能ブロック図である。

図４に示すように、この実施形態に係るエンタテインメントシステム１０は、機能的には、プログラム実行部６４、リプレイデータ生成部６６、リプレイデータ取得部６８、撮像動画像取得部７０、データ保持部７２、再生用動画像生成部７４、規則変更部７６、再生用動画像出力部７８、を含むものとして機能する。なお、エンタテインメントシステム１０がこれらの要素をすべて備えている必要はない。データ保持部７２は、メインメモリ２０やハードディスクドライブ３８などといった、エンタテインメントシステム１０が備える記憶装置を主として実現される。その他の要素は、ＭＰＵ１１や画像処理部２４などといった、エンタテインメントシステム１０が備える制御装置を主として実現される。

これらの要素は、コンピュータであるエンタテインメントシステム１０にインストールされたプログラムを、エンタテインメントシステム１０が備えるＭＰＵ１１などの制御装置で実行することにより実現されている。なお、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の情報伝達媒体を介して、あるいは、インターネット等の通信ネットワークを介してエンタテインメントシステム１０に供給される。

プログラム実行部６４は、例えば、エンタテインメントシステム１０にインストールされているゲームプログラムなどのプログラムを実行する。本実施形態では、例えば、プログラム実行部６４が図５に示すゲーム画面８０を生成して、モニタ２６などに表示出力する。本実施形態では、図５に示すゲーム画面８０は、図６に示す、ゲームプログラムが生成する仮想３次元空間８２を可視化したものである。図６に示すように、仮想３次元空間８２には、例えば、少なくとも１つのブロック８４（それぞれのブロック８４は、少なくとも１つのポリゴンを含んで構成される。）が配置されている。そして、プログラム実行部６４が視点８６から視線方向８８を見た様子を示す画像をゲーム画面８０として、モニタ２６に表示出力する。本実施形態では、プログラム実行部６４は、例えば、ユーザの操作に応じて、視点８６の位置や視線方向８８を変更する。もちろん、プログラム実行部６４が、ユーザの操作に応じて、仮想３次元空間８２内のブロック８４の生成、変形、移動、消去などを実行してもよい。

リプレイデータ生成部６６は、プログラムの実行中に、プログラムの実行状況を再現するためのリプレイデータを生成する。本実施形態では、リプレイデータ生成部６６は、ゲーム内の所定のステージに対応するゲームプログラムの実行中に、ユーザによるゲームのプレイ状況（例えば、ステージについてのプレイの進行状況）を再現するためのリプレイデータを生成する。本実施形態では、リプレイデータ生成部６６は、上述のステージに対応するゲームプログラムの実行中に受け付けるユーザによる操作の内容を示す操作データを含むリプレイデータを生成する。操作データには、ユーザによる操作が行われた順序を示す順序データが関連付けられていてもよい。また、操作データには、ユーザによる操作のタイミングを示す操作タイミングデータ（例えば、プログラムの実行開始からの経過フレーム数や、経過時間を示す操作タイミングデータ）が関連づけられていてもよい。なお、リプレイデータは、各フレーム又はある時間における、オブジェクト（ブロック８４やキャラクタなど）の位置（例えば、座標など）を示していてもよい。

本実施形態では、リプレイデータ生成部６６は、例えば、プログラム実行部６４によるプログラムの実行の開始から終了までの期間（実行期間）についてのリプレイデータを生成する。

また、リプレイデータ生成部６６は、プログラム実行部６４によるプログラムの実行中に発生するイベント（例えば、ゲームにおけるイベント（より具体的には、例えば、パズルが解けたことを示すイベントや、得点が入ったことを示すイベントや、ゲーム内のキャラクタが笑ったことを示すイベントなど）や、外部から受け付けるイベント（例えば、所定の音量以上の音声が、カメラユニット４６が備えるマイクから入力されたことを示すイベント）など）の内容を示すイベントデータを含むリプレイデータを生成してもよい。イベントデータには、そのイベントが発生したタイミングを示すイベントタイミングデータが関連づけられていてもよい。

リプレイデータ取得部６８は、リプレイデータ生成部６６が生成するリプレイデータを取得する。

撮像動画像取得部７０は、リプレイデータによりプログラムの実行状況が再現される再現期間の少なくとも一部を含む撮像期間にカメラユニット４６などの撮像手段により生成される撮像動画像を取得する。本実施形態では、撮像動画像取得部７０は、上述のステージをユーザがプレイしている様子などを撮像した動画像を取得する。本実施形態では、上述の再現期間は、リプレイデータに含まれる各操作データの生成タイミングを含む期間に対応している。本実施形態では、撮像動画像取得部７０は、例えば、カメラユニット４６により所定時間毎（例えば、１／６０秒毎）に生成される撮像フレーム画像を順次取得する。この場合、撮像動画像は、少なくとも１つの撮像フレーム画像を含むこととなる。なお、撮像動画像取得部７０は、取得した撮像動画像を、例えば、メインメモリ２０やハードディスクドライブ３８などの記憶装置に書き込むようにしてもよい。

なお、上述の撮像期間が、プログラムの実行期間に一致している必要はない。具体的には、例えば、ユーザによる上述のステージのプレイが終了した後の所定の長さの時間、又は、ユーザによる上述のステージのプレイが開始される前の所定の長さの時間、の少なくとも一方を含む期間について、撮像動画像取得部７０が、カメラユニット４６により撮像される動画像を取得するようにしてもよい。このように、カメラユニット４６による撮像期間が、プログラムの実行期間を含む、プログラムの実行期間より長い期間であってもよい。

データ保持部７２は、リプレイデータと撮像動画像とを対応付けて保持する。

再生用動画像生成部７４は、データ保持部７２に保持されているリプレイデータと、撮像動画像と、に基づいて、再生用動画像を生成する。本実施形態では、再生用動画像生成部７４は、リプレイデータと撮像動画像とに基づく動画像を再生することにより再生用動画像を生成する。

本実施形態では、再生用動画像生成部７４は、プログラム実行部６４に、上述のステージに対応するゲームプログラムを実行させる。そして、再生用動画像生成部７４は、例えば、データ保持部７２に保持されているリプレイデータをプログラム実行部６４に出力する。そして、プログラム実行部６４は、再生用動画像生成部７４により出力されるリプレイデータを取得する。そして、プログラム実行部６４は、このリプレイデータに基づいて、各フレームについて、上述のゲーム画面５０に対応するリプレイフレーム画像を生成する。プログラム実行部６４は、具体的には、例えば、リプレイデータに対応する操作信号を受け付けたとみなして（疑似操作信号として受け付けて）、各フレームについて、リプレイフレーム画像を生成する。このようにして、少なくとも１つのリプレイフレーム画像を含む、上述のステージをユーザがプレイしている様子を再現するリプレイ動画像（再現動画像）が生成される。再生用動画像生成部７４は、プログラム実行部６４に、画像の生成モードを変更する指示を与えてもよい。そして、プログラム実行部６４が、ゲーム画面５０が示す画像とは表示態様が異なる（例えば、仮想３次元空間８２内における視点８６や視線方向８８が異なる）リプレイフレーム画像を生成してもよい。具体的には、例えば、プログラム実行部６４がサッカーゲームのプログラムを実行している場合において、プログラム実行部６４が、プレイヤオブジェクトを俯瞰した様子を示すゲーム画面５０に対応する、シュートを放ったプレイヤオブジェクトにズームアップされたリプレイフレーム画像を生成するようにしてもよい。

再生用動画像生成部７４は、リプレイデータに基づいて生成される動画像（例えば、リプレイ動画像（再現動画像））と、撮像動画像と、に基づいて、再生用動画像を生成してもよい。そして、リプレイ動画像は、少なくとも１つのリプレイフレーム画像（例えば、ゲームプログラムのリプレイ画像（再現画像））を含んでいてもよい。

規則変更部７６は、ユーザによる操作に応じて、リプレイ動画像と撮像動画像とを合成する規則を変更する。規則変更部７６の詳細については後述する。

ここで、本実施形態におけるエンタテインメントシステム１０で所定時間毎に（例えば、１／６０秒毎に）実行される処理の流れの一例を、図７に示すフロー図を参照しながら説明する。

なお、本実施形態では、上述の実行期間の開始タイミングと上述の撮像期間の開始タイミングとは対応している。そして、上述の実行期間の終了タイミングと上述の撮像期間の終了タイミングとは対応している。そして、下記の処理例では、上述の実行期間の開始からｎ番目のフレーム（第ｎフレーム）に対応する処理の流れの一例を説明する。また、データ保持部７２には、予めリプレイデータと撮像動画像とが対応付けて保持されている。また、再生用動画像生成部７４は、プログラム実行部６４に、再現対象となるステージ対応するゲームプログラムを予め実行させている。そして、再生用動画像生成部７４は、データ保持部７２に保持されているリプレイデータをプログラム実行部６４に出力している。

まず、再生用動画像生成部７４は、プログラム実行部６４に、第ｎフレームにおけるリプレイフレーム画像（すなわち、実行期間の開始から（１／６０）×ｎ秒経過時点におけるリプレイフレーム画像）を生成させる（Ｓ１０１）。

そして、再生用動画像生成部７４は、データ保持部７２に保持されている、第ｎフレームにおける撮像フレーム画像（すなわち、撮像期間の開始から（１／６０）×ｎ秒経過時点における撮像フレーム画像）を取得する（Ｓ１０２）。

そして、再生用動画像生成部７４は、第ｎフレームにおけるリプレイフレーム画像と第ｎフレームにおける撮像フレーム画像とを合成して、第ｎフレームにおける再生用フレーム画像９０（図８参照）を生成する（Ｓ１０３）。図８に、再生用フレーム画像９０の一例を示す。Ｓ１０３に示す処理の詳細については後述する。

そして、再生用動画像生成部７４が、第ｎフレームにおける再生用フレーム画像９０を再生（例えば、再生用フレーム画像９０をモニタ２６に表示出力）する（Ｓ１０４）。

そして、再生用動画像生成部７４が、第ｎフレームにおける再生用フレーム画像９０をメインメモリ２０やハードディスクドライブ３８などの記憶装置に記録する（Ｓ１０５）。再生用フレーム画像９０は、例えば、再生開始時からの経過時間に対応するフレーム番号や、再生開始からの時間を示すデータなどと関連付けられている。このように、再生用動画像生成部７４が、再生する動画像を記録することにより再生用動画像を生成してもよい。

上述のＳ１０１〜Ｓ１０５に示す処理を、第１フレームから順次最終フレームまで実行する。このようにして、本実施形態では、少なくとも１つの再生用フレーム画像９０を含む再生用動画像がメインメモリ２０やハードディスクドライブ３８などの記憶装置に記録される。

再生用動画像生成部７４は、例えば、所与の規則に従って、リプレイフレーム画像と撮像フレーム画像とを合成する。再生用動画像生成部７４は、具体的には、例えば、リプレイフレーム画像内の所定の領域（例えば、リプレイフレーム画像内の右上の領域）に撮像フレーム画像の縮小画像９２を上書きすることによって、再生用フレーム画像９０を生成する。また、再生用動画像生成部７４は、例えば、リプレイフレーム画像内の領域に、低画質化した撮像フレーム画像の縮小画像９２を上書きして再生用フレーム画像９０を生成してもよい。また、再生用動画像生成部７４は、例えば、再生用フレーム画像９０の左下の領域にリプレイフレーム画像の縮小画像９２を配置して、再生用フレーム画像９０の右上の領域に撮像フレーム画像の縮小画像９２を配置することにより、再生用フレーム画像９０を生成してもよい。このように、再生用動画像生成部７４は、リプレイ動画像と撮像動画像とを所与の規則に従って合成して再生用動画像を生成してもよい。

なお、再生用動画像生成部７４は、公知の画像処理技術によりリプレイフレーム画像内の、プログラム（例えば、ゲームプログラム）に関する画像が表示されていない領域を特定して、その領域に撮像フレーム画像の縮小画像９２を重ね合わせて再生用フレーム画像を生成してもよい。また、再生用動画像生成部７４は、リプレイフレーム画像に含まれる画素の分布（例えば、色分布）に基づいて決定される色を決定して、その色になるよう加工した撮像フレーム画像の縮小画像９２をリプレイフレーム画像内の領域に上書きして再生用フレーム画像９０を生成してもよい。また、再生用動画像生成部７４は、リプレイフレーム画像に含まれる画素のバリエーション（例えば、色のバリエーション）に基づいて半透明度を決定して、その半透明度になるよう加工した撮像フレーム画像の縮小画像９２をリプレイフレーム画像内の領域に上書きして再生用フレーム画像９０を生成してもよい。このように、再生用動画像生成部７４は、リプレイ動画像と撮像動画像とを、リプレイ動画像に基づいて決定される規則に従って合成して再生用動画像を生成してもよい。

また、リプレイデータ生成部６６がイベントデータを生成する際には、再生用動画像生成部７４は、イベントデータが示すタイミング（例えば、イベント発生のタイミング）に対応する再生用フレーム画像９０に対して、そのイベントの内容に基づく画像効果を加えてもよい。再生用動画像生成部７４は、上述の場合に、例えば、再生用フレーム画像９０内において撮像フレーム画像の縮小画像９２が占める領域を大きくしてもよい。また、再生用動画像生成部７４は、上述の場合に、例えば、リプレイフレーム画像に撮像フレーム画像の縮小画像９２を上書きして再生用フレーム画像９０を生成してもよい。また、再生用動画像生成部７４は、上述の場合に、例えば、再生用フレーム画像９０に、色を付けたり、吹き出しをつけたり、ずらしたり、などといった加工を行ってもよい。また、再生用動画像生成部７４は、上述の場合に、例えば、スロー再生となるよう再生用フレーム画像９０を生成（例えば、所定のフレーム数だけ互いに共通する再生用フレーム画像９０を生成）してもよい。

また、再生用動画像生成部７４は、リプレイフレーム画像に基づいて、イベントが発生しているか否かを判断してもよい。そして、イベントが発生していると判断された際に、そのリプレイフレーム画像に対応する再生用フレーム画像９０に所定の画像効果を加えてもよい。

なお、プログラムの実行期間とカメラユニット４６による撮像期間とが対応しない場合には、リプレイフレーム画像に対応する撮像フレーム画像が存在しない場合や、撮像フレーム画像に対応するリプレイフレーム画像が存在しない場合が考えられる。この場合は、再生用動画像生成部７４が、存在しない撮像フレーム画像やリプレイフレーム画像を所与の規則に従って補完して（例えば、プログラムの実行期間内の最後のフレームに対応するリプレイフレーム画像や撮像フレーム画像を用いて）再生用フレーム画像９０を生成するようにしてもよい。

また、本実施形態では、規則変更部７６が、ユーザによる操作に応じて（例えば、所定のボタンを押下したことを示す操作信号を受け付けて、その操作に応じて）、リプレイ動画像と撮像動画像とを合成する規則を変更する。具体的には、例えば、規則変更部７６は、操作信号に応じて、撮像フレーム画像の縮小画像９２を一部に含む再生用フレーム画像９０を生成するか、撮像フレーム画像の縮小画像９２を含まない再生用フレーム画像９０を生成するかを切り替える。このようにすれば、再生用動画像生成部７４による動画像の再生中に、ユーザは、再生されている動画像を見ながら、再生用フレーム画像９０に撮像フレーム画像の縮小画像９２を含めるか否かを切り替えることができる。

また、規則変更部７６が、操作データに応じて、撮像フレーム画像の縮小画像９２を一部に含む再生用フレーム画像９０を生成するか、撮像フレーム画像の縮小画像９２を含まない再生用フレーム画像９０を生成するかを切り替えるようにしてもよい。このようにすれば、プログラム実行部６４によるプログラムの実行中に、ユーザが、再生用フレーム画像９０に撮像動画像に基づく画像を一部に含めるか否かを切り替えることができる。また、規則変更部７６が、ユーザによる操作に応じて、撮像フレーム画像が再生用フレーム画像９０内において配置される位置や大きさを変更するようにしてもよい。

再生用動画像出力部７８は、ユーザからの要求に応じて、記憶装置に記録される再生用動画像を、このユーザの識別子（例えば、ユーザＩＤやユーザ名）に関連付けて、ネットワークを介してエンタテインメントシステム１０と接続されている動画像出力サーバに出力する。再生用動画像出力部７８は、具体的には、例えば、動画像配信サイトである動画像出力サーバに、撮像動画像にゲームのリプレイ動画像が合成された再生用動画像をアップロードする。このようにすれば、動画像出力サーバに出力された再生用動画像を、他のユーザに提供することができるので、ゲームのリプレイ動画像を他のユーザも楽しむことができる。なお、このとき、出力を要求するユーザの識別子と、再生用動画像に関連付けられているユーザの識別子と、を比較して、再生用動画像の閲覧をユーザに許可するか否かを制御するようにしてもよい。

また、再生用動画像出力部７８が、他のユーザのエンタテインメントシステム１０に再生用動画像を出力するようにしてもよい。そして、他のユーザからの要求に応じて、そのエンタテインメントシステム１０でこの再生用動画像を再生する際に、カメラユニット４６が他のユーザがその再生用動画像を鑑賞している様子を撮像して、鑑賞動画像を生成するようにしてもよい。そして、エンタテインメントシステム１０が、この鑑賞動画像や、鑑賞動画像と再生用動画像の合成動画像などを再生用動画像の送信元のエンタテインメントシステム１０に出力するようにしてもよい。このようにすれば、再生用動画像を作成したユーザが、その再生用動画像を他のユーザが鑑賞している様子を楽しむことができる。なお、エンタテインメントシステム１０は、再生用動画像や、鑑賞動画像や、合成動画像を、サーバを介して送受信しても構わない。

なお、本発明は上記実施形態に限定されるものではない。

例えば、再生用動画像生成部７４が、リプレイデータに基づくリプレイ動画像を生成してから、このリプレイ動画像と撮像動画像を合成して再生用動画像を生成するようにしてもよい。

また、例えば、リプレイデータが撮像フレーム画像と関連づけられていてもよい。具体的には、例えば、生成されるリプレイデータのうちの少なくとも一部が、撮像動画像に含まれる撮像フレーム画像の順番を示すフレーム番号（例えば、撮像期間の開始からのフレーム数を示すフレーム番号）などと関連づけられていてもよい。そして、再生用動画像生成部７４が、リプレイデータに基づいて各フレームのリプレイフレーム画像を順次生成して、このリプレイフレーム画像と、このリプレイフレーム画像を生成する際の基礎となったリプレイデータに関連付けられている撮像フレーム画像と、を合成することにより、再生用フレーム画像９０を生成するようにしてもよい。また、撮像動画像に含まれる撮像フレーム画像の少なくとも一部がリプレイデータ（例えば、キャラクタの位置を示すリプレイデータ）の識別子などと関連づけられていてもよい。そして、再生用動画像生成部７４が、撮像フレーム画像に含まれるフレーム番号が示す順番に従って撮像フレーム画像を順次再生しつつ、再生される撮像フレーム画像と、この撮像フレーム画像に関連付けられているリプレイデータに基づいて決定される位置に各キャラクタが配置された様子を示すリプレイフレーム画像と、を合成することにより、再生用フレーム画像９０を生成するようにしてもよい。

また、例えば、再生用動画像生成部７４が、リプレイフレーム画像と、そのリプレイフレーム画像に対応するタイミングとは、所定のフレーム数だけタイミングがずれている撮像フレーム画像とに基づいて、再生用フレーム画像９０を生成するようにしてもよい。

また、例えば、撮像動画像取得部７０が、複数のカメラユニット４６により生成される複数の撮像動画像を取得するようにしてもよい。そして、規則変更部７６が、ユーザからの要求に応じて、合成対象となる撮像動画像（撮像フレーム画像）を切り替えて、再生用動画像生成部７４が、この撮像動画像（撮像フレーム画像）に基づく再生用動画像を生成するようにしてもよい。

また、再生用動画像生成部７４が、複数のエンタテインメントシステム１０それぞれで生成された、撮像動画像やリプレイ動画像に基づく再生用動画像を生成するようにしてもよい。再生用動画像生成部７４が、具体的には、例えば、複数のリプレイ動画像及び複数の撮像動画像を所与の規則に基づいて合成した再生用動画像を生成するようにしてもよい。

１０ エンタテインメントシステム、１１ ＭＰＵ、１２ メインプロセッサ、１４ａ〜１４ｈ サブプロセッサ、１６ バス、１８ メモリコントローラ、２０ メインメモリ、２２，４０，４４ インタフェース、２４ 画像処理部、２６ モニタ、２８ 入出力処理部、３０ 音声処理部、３２ スピーカ、３４ 光ディスク読み取り部、３６ 光ディスク、３８ ハードディスクドライブ、４２ コントローラ、４２ａ 表面、４６ カメラユニット、４８ ネットワークインタフェース、５０Ｌ 第１の左ボタン、５０Ｒ 第１の右ボタン、５２Ｌ 第２の左ボタン、５２Ｒ 第２の右ボタン、５４ 左操作スティック、５６ 右操作スティック、５８ ボタン群、５８Ｌ 左ボタン、５８Ｒ 右ボタン、５８Ｕ 上ボタン、５８Ｄ 下ボタン、６０ 方向ボタン群、６０Ｌ 左方向ボタン、６０Ｒ 右方向ボタン、６０Ｕ 上方向ボタン、６０Ｄ 下方向ボタン、６２ コントローラケーブル、６４ プログラム実行部、６６ リプレイデータ生成部、６８ リプレイデータ取得部、７０ 撮像動画像取得部、７２ データ保持部、７４ 再生用動画像生成部、７６ 規則変更部、７８ 再生用動画像出力部、８０ ゲーム画面、８２ 仮想３次元空間、８４ ブロック、８６ 視点、８８ 視線方向、９０ 再生用フレーム画像、９２ 縮小画像。

Claims (14)

1. プログラムの実行状況を再現するためのリプレイデータを取得するリプレイデータ取得手段、
   前記リプレイデータにより前記プログラムの実行状況が再現される再現期間の少なくとも一部を含む撮像期間に撮像手段により生成される撮像動画像を取得する撮像動画像取得手段、
   前記リプレイデータと、前記撮像動画像と、を対応付けて保持手段に保持させる手段、
   としてコンピュータを機能させることを特徴とするプログラム。
2. 前記リプレイデータと、前記撮像動画像と、に基づいて、再生用動画像を生成する再生用動画像生成手段、として前記コンピュータをさらに機能させる、
   ことを特徴とする請求項１に記載のプログラム。
3. 前記再生用動画像生成手段が、前記リプレイデータと前記撮像動画像とに基づく動画像を再生することにより前記再生用動画像を生成する、
   ことを特徴とする請求項２に記載のプログラム。
4. 前記再生用動画像生成手段が、前記リプレイデータに基づいて生成されるリプレイ動画像と、前記撮像動画像と、に基づいて、前記再生用動画像を生成する、
   ことを特徴とする請求項２又は３に記載のプログラム。
5. 前記再生用動画像生成手段が、前記リプレイ動画像と前記撮像動画像とを所与の規則に従って合成して再生用動画像を生成する、
   ことを特徴とする請求項４に記載のプログラム。
6. 前記再生用動画像生成手段が、前記リプレイ動画像と前記撮像動画像とを、前記リプレイ動画像に基づいて決定される規則に従って合成して再生用動画像を生成する、
   ことを特徴とする請求項５に記載のプログラム。
7. ユーザによる操作に応じて、前記リプレイ動画像と前記撮像動画像とを合成する規則を変更する規則変更手段、として前記コンピュータをさらに機能させる、
   ことを特徴とする請求項５又は６に記載のプログラム。
8. 動画像を出力する動画像出力サーバに、ユーザからの要求に応じて、前記再生用動画像を当該ユーザの識別子と関連付けて出力する再生用動画像出力手段、として前記コンピュータをさらに機能させる、
   ことを特徴とする請求項２から７のいずれか一項に記載のプログラム。
9. 前記リプレイデータが、ユーザによる操作の内容を少なくとも示す、
   ことを特徴とする請求項１から８のいずれか一項に記載のプログラム。
10. 前記撮像期間が、前記再現期間よりも長い期間である、
    ことを特徴とする請求項１から９のいずれか一項に記載のプログラム。
11. 請求項１から１０のいずれか一項に記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
12. プログラムの実行状況を再現するためのリプレイデータを取得するリプレイデータ取得手段と、
    前記リプレイデータにより前記プログラムの実行状況が再現される再現期間の少なくとも一部を含む撮像期間に撮像手段により生成される撮像動画像を取得する撮像動画像取得手段と、
    前記リプレイデータと、前記撮像動画像と、を対応付けて保持する保持手段と、
    を含むことを特徴とする画像処理装置。
13. プログラムの実行状況を再現するためのリプレイデータを取得するリプレイデータ取得ステップと、
    前記リプレイデータにより前記プログラムの実行状況が再現される再現期間の少なくとも一部を含む撮像期間に撮像手段により生成される撮像動画像を取得する撮像動画像取得ステップと、
    前記リプレイデータと、前記撮像動画像と、を対応付けて保持手段に保持させるステップと、
    を含むことを特徴とする画像処理方法。
14. プログラムの実行状況を再現するためのリプレイデータと、
    前記リプレイデータに対応する期間の少なくとも一部に撮像手段により生成される撮像動画像と、を有し、
    前記リプレイデータと前記撮像動画像とが対応付けられている、
    ことを特徴とするデータ構造。

Images