本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
本発明に係る情報処理装置の代表例として、以下では、コンピュータである携帯型のゲーム装置1について説明する。特に、本実施の形態に従うゲーム装置1は、後述するように、複数の表示デバイスを有し、その少なくとも1つの表示デバイスは、立体視表示が可能となっているものとする。但し、立体視表示が可能な表示デバイスを搭載していない情報処理装置であっても、本実施の形態に従うユーザインターフェイスを提供することが可能である。
また、本発明に係る情報処理装置の具現化例としては、ゲーム装置1に限られることなく、各種アプリケーションについても実行可能な、パーソナルコンピュータ、携帯電話、携帯端末などとして実装してもよい。さらに、本発明に係る情報処理プログラムは、パーソナルコンピュータなどで実行される各種アプリケーションの一部の機能として組み込まれてもよい。さらに、後述するように、本発明を情報処理プログラムを格納した記憶媒体と当該記憶媒体を装着可能な処理装置本体とを含む情報処理システムとして具現化してもよい。
<A.用語>
(1) 本明細書において、「立体視表示」、「3次元表示」、「3D表示」とは、ユーザが画像に含まれる少なくとも一部のオブジェクトを立体的に視認することができるように、当該画像を表現することを意味する。ユーザにオブジェクトを立体的に視認させるために、典型的には、人間の目や脳の生理的な働きを利用する。このような立体視表示は、ユーザにオブジェクトを立体的に視認させるために表示される画像(典型的には、ステレオ画像)を用いて実現される。
(2) 本明細書において、「平面表示」、「2次元表示」、「2D表示」とは、上述の「立体視表示」などと相対する用語であり、ユーザが画像に含まれるオブジェクトを立体的に視認できないような態様で、当該画像を表現することを意味する。
<B.概要>
本実施の形態に従うゲーム装置1は、第1の表示領域(典型的には、後述する上側LCD110)および第2の表示領域(典型的には、後述する下側LCD120)を有する表示手段を含んでおり、それぞれの表示領域に、少なくとも1つの第1のオブジェクトおよび少なくとも1つの第2のオブジェクトが表示される。さらに、ゲーム装置1は、第2の表示領域内における位置指示操作を受け付けるための構成(典型的には、タッチパネル)を有している。ユーザが第2の表示領域内における一連の位置指示操作を行うと、これに応答して、第2のオブジェクトが選択され、続いて、選択された第2のオブジェクトに対応する第2のデータが第1のデータに関連付けられる。
特に、本実施の形態に従うゲーム装置1は、ユーザがゲーム装置1を把持した場合に、上側LCD110の表示画面および下側LCD120の表示画面が上下方向に配列される。そして、位置指示操作を受け付けるための構成が下側LCD120に対応付けて配置されたタッチパネルを含む。
このような構成を採用することで、関連付けの対象とするオブジェクトを直接的に指定するのではなく、より直感的にオブジェクト間の関連付けを行うことができる。すなわち、下側LCD120に表示されるオブジェクトに対して、ユーザが上側LCD110に向けて移動させるという自然な操作をすることで、上側LCD110に表示されるオブジェクトに対応するデータと下側LCD120に表示されるオブジェクトに対応するデータとの関連付けが実行される。
以下、本実施の形態に従うゲーム装置1の詳細について説明する。
<C.装置の外観>
図1は、本発明の実施の形態に従うゲーム装置1の正面図(開状態)である。図2は、図1に示すゲーム装置1の上面側を中心とする投影図である。すなわち、図2(A)は、ゲーム装置1の正面図(閉状態)を示し、図2(B)は、ゲーム装置1の前面図を示し、図2(C)は、ゲーム装置1の左側面図を示し、図2(D)は、ゲーム装置1の右側面図を示す。図3は、図1に示すゲーム装置1の底面側を中心とする投影図である。すなわち、図3(A)は、ゲーム装置1の底面図を示し、図3(B)は、ゲーム装置1の背面図を示す。本明細書においては、便宜上、ゲーム装置1を図1に示すように配置した状態を基準として、「正面」、「前面」、「左側面」、「右側面」、「底面」、「背面」という用語を用いるが、これらの用語は形式的な呼称であり、ユーザによるゲーム装置1の使用形態の制約などを意図するものではない。
図1〜図3を参照して、本実施の形態に従う携帯型のゲーム装置1は、折り畳み可能に構成されている。ゲーム装置1は、開いた状態では、図1のような外観であり、閉じた状態では、図2(A)のような外観となっている。ゲーム装置1は、開いた状態であっても、ユーザが両手または片手で把持することができるようなサイズであることが好ましい。
ゲーム装置1は、上側ハウジング2と下側ハウジング3とを有する。上側ハウジング2と下側ハウジング3とは、開閉可能(折り畳み可能)に連結されている。図1に示す例では、上側ハウジング2および下側ハウジング3の各々は、長方形の板状に形成され、互いの長辺部分でヒンジ4を介して回転可能に連結されている。ゲーム装置1は、ユーザによって使用するときに、開状態に維持され、使用されないときに、閉状態に維持される。
また、ゲーム装置1では、上側ハウジング2と下側ハウジング3との間の角度を、閉状態の位置と開状態の位置との間(略0°〜略180°)の任意の角度で維持することもできる。言い換えれば、上側ハウジング2を下側ハウジング3に対して任意の角度で静止させることができる。このハウジング間の静止には、上側ハウジング2と下側ハウジング3との連結部分に発生する摩擦力などが用いられる。摩擦力に加えて、あるいは、摩擦力に代えて、上側ハウジング2と下側ハウジング3との連結部内にラッチ機構を採用してもよい。
上側ハウジング2には、立体視表示が可能な表示装置(表示手段)として、上側LCD(Liquid Crystal Display:液晶表示装置)110が設けられている。上側LCD110は、長方形状の表示領域を有し、その長辺方向が上側ハウジング2の長辺方向に一致するように配置される。本実施の形態に従うゲーム装置1では、ユーザが立体視表示をより楽しむことができるように、下側LCD120の画面サイズに比較してより大きな画面サイズを有する上側LCD110を採用する構成を示す。但し、必ずしも、このように画面サイズを異ならせる必要はなく、アプリケーションの用途やゲーム装置1のサイズなどに応じて、画面サイズは適宜設計することができる。上側LCD110の詳細な構成については、後述する。
上側ハウジング2には、何らかの被写体を撮像するための撮像装置(撮像手段)が設けられている。より具体的には、上側ハウジング2には、一対の外側カメラ131Lおよび131R(図2(A)参照)と、内側カメラ133(図1参照)とが設けられている。ここで、内側カメラ133は、上側LCD110の上部に配置されており、一対の外側カメラ131Lおよび131Rは、内側カメラ133が配置されている内側主面とは反対側の面、すなわち上側ハウジング2の外側主面(ゲーム装置1が閉状態となった場合に外側となる面に相当)に配置されている。
このような位置関係によって、一対の外側カメラ131Lおよび131Rは、上側ハウジング2の外側主面が向く方向に存在する被写体を撮像することができ、一方、内側カメラ133は、外側カメラ131Lおよび131Rの撮像方向の逆方向、すなわち、上側ハウジング2の内側主面が向く方向に存在する被写体を撮像することができる。
一対の外側カメラ131Lおよび131Rは、所定の間隔だけ離して配置されており、これらの外側カメラ131Lおよび131Rが取得する一対の画像データ(以下「入力画像」とも称す。)は、被写体を立体視表示として再現するために用いられる。すなわち、外側カメラ131Lおよび131Rは、いわゆるステレオカメラとして機能する。外側カメラ131Lおよび131Rの撮像によって取得される一対の入力画像の間には、外側カメラ131Lと外側カメラ131Rとの相対的な位置関係に応じた、所定の視差が存在する。
なお、後述するように、外側カメラ131Lおよび131Rの撮像によって取得された一対の入力画像のうち、ユーザ操作に応じて定められるそれぞれの範囲(部分画像)が立体視表示に用いられる場合もある。すなわち、一対の入力画像のうち、立体視表示に用いられる範囲は、ユーザ操作によって適宜変更される。
一方、内側カメラ133の撮像によって取得される入力画像は、基本的には、非立体視表示(平面表示、通常表示)に用いられる。したがって、本実施の形態に従うゲーム装置1においては、外側カメラ131Lおよび131Rを有効化すると、立体視表示をするための一対の入力画像を取得でき、内側カメラ133を有効化すると、非立体視表示をするための入力画像を取得できる。
さらに、上側ハウジング2には、上側LCD110の右側に立体視ボリューム145が設けられている。この立体視ボリューム145は、上側LCD110における立体視表示を調整するために用いられる。
なお、外側カメラ131Lおよび131Rと内側カメラ133との間の切り替え、すなわち、立体視表示と平面表示との切り替えは、ゲーム装置1で実行されるプログラム上でユーザが選択することも可能である。この際、立体視ボリューム145を立体視表示と平面表示との切り替えに用いてもよい。
上側ハウジング2には、音声発生装置(音声発生手段)としてのスピーカ(図4に示すスピーカ151)が収納されている。より具体的には、上側ハウジング2の内側主面中央部に配置されている上側LCD110に対して、左右両側に音抜き孔151Lおよび151Rがそれぞれ配置されている。スピーカ151で発生した音声は、スピーカ151と連通する音抜き孔151Lおよび151Rを通じて、ユーザへ向けて放射される。
一方、下側ハウジング3には、表示部(表示手段)として、下側LCD120が設けられている。下側LCD120は、長方形状の表示領域を有し、その長辺方向が下側ハウジング3の長辺方向と一致するように配置される。
下側LCD120としては、後述するような立体視表示が可能な表示装置を採用してもよいが、本実施の形態においては、各種情報などを非立体表示する通常の表示装置が採用される。そのため、下側LCD120としては、例えば、EL(Electro Luminescence:電界発光)を利用した表示装置というような、他の適切な形式の表示装置を採用してもよい。さらに、表示部(表示手段)の解像度は、実行されるアプリケーションなどに応じて適切に設計される。
下側ハウジング3には、ユーザなどからの入力操作を受け付ける入力手段(入力装置)として、コントロールパッド154と、十字ボタン161と、ボタン群142,162とが設けられている。これらの入力部は、上側ハウジング2と下側ハウジング3とを折り畳んだときに内側となる、下側ハウジング3の主面上に設けられている。特に、コントロールパッド154および十字ボタン161は、ユーザがゲーム装置1を把持した際に、その左手で容易に操作できる位置に配置され、ボタン群162は、ユーザがゲーム装置1を把持した際に、その右手で容易に操作できる位置に配置される。
コントロールパッド154は、主として、ゲーム装置1における立体視表示を調整するための操作を受け付ける。特に、コントロールパッド154は、少なくとも2自由度の入力を同時に受け付けることが可能なアナログデバイスの一例である。より具体的には、コントロールパッド154は、ユーザの操作を受け付ける突起部を有するとともに、下側ハウジング3に対する相対的な位置関係を、少なくとも紙面上下方向および紙面左右方向に変更することが可能な構造となっている。そして、コントロールパッド154は、所定の基準位置からの変位方向および変位量に応じた2次元のアナログ値を出力する。
典型例として、コントロールパッド154は、2つの軸にそれぞれ対応付けられた2つのポテンショメータを含んでおり、各ポテンショメータは、ユーザによる操作量および操作方向に応じた値のアナログ値(典型的には、電圧または電流)を出力する。ユーザがコントロールパッド154を基準位置(典型的には、下側ハウジング3に対して垂直方向)からより大きく変化させることで、コントロールパッド154は、より大きなアナログ値を出力する。
なお、図1に示すコントロールパッド154に代えて、アナログスティック、または、ジョイスティックなどを採用してもよい。
十字ボタン161は、2つの方向を独立して操作可能な入力部であり、ユーザがそれぞれの方向におけるボタン操作をすることで、それに応じた値をもつ2次元の値が出力される。但し、この十字ボタン161によって生成される2次元の値は、上述のコントロールパッド154とは異なり、各方向の別に「オン」または「オフ」となるデジタル値である。より具体的には、十字ボタン161は、ユーザが紙面上下方向および紙面左右方向に変位させることが可能であり、その変位方向に対応付けて、「オン」または「オフ」が出力される。
ボタン群162は、紙面上下左右方向にそれぞれ対応付けられた、4つの操作ボタン162A,162B,162X,162Yを含む。すなわち、ボタン群162についても、2つの方向を独立して操作可能な入力部に相当し、ユーザがそれぞれの方向に対応付けて配置された操作ボタン162A,162B,162X,162Yを操作することで、その操作状態を示す値が出力される。この操作状態を示す値も後述する「操作入力」として検出される。
十字ボタン161および/またはボタン群162が出力する操作入力は、ゲーム装置1における立体視表示の調整に用いられてもよい。あるいは、ゲーム装置1で実行される各種アプリケーションにおいては、これらの操作入力は、ゲーム進行などに係る、選択・決定・キャンセルといった操作に用いられる。
ボタン群142は、セレクトボタン142aと、HOMEボタン142bと、スタートボタン142cと、電源ボタン142dとを含む。セレクトボタン142aは、典型的には、ゲーム装置1で実行されるアプリケーションを選択するために用いられる。HOMEボタン142bは、典型的には、ゲーム装置1で実行されるメニューアプリケーションや各種アプリケーションを初期状態にするために用いられる。スタートボタン142cは、典型的には、ゲーム装置1においてアプリケーションの実行を開始するために用いられる。電源ボタン142dは、ゲーム装置1の電源をオン/オフするために用いられる。
下側ハウジング3内には、音声取得装置(音声取得手段)としてのマイク(図4に示すマイク153)が収納されている。そして、下側ハウジング3の主面上には、マイク153がゲーム装置1の周囲における音を取得するためのマイク用孔153aが設けられている。なお、マイク153が収納される位置、および、当該マイク153と連通するマイク用孔153aの位置は、下側ハウジング3の主面上に限られることなく、例えば、マイク153をヒンジ4内に収納するとともに、ヒンジ4の表面であって、マイク153の収納位置に対応する位置にマイク用孔153aを設けてもよい。
ゲーム装置1には、コントロールパッド154、十字ボタン161、および、ボタン群142,162に加えて、別の入力部(入力手段)であるポインティングデバイスとして、タッチパネル122がさらに設けられている。タッチパネル122は、下側LCD120の画面上を覆うように装着され、ユーザによる入力操作(位置指示操作、ポインティング操作)が行われた場合に、対応する2次元座標値を検出する。
すなわち、タッチパネル122は、下側LCD120の表示領域内におけるユーザによる位置指示操作(2次元座標値)を受け付けるとともに、その位置指示操作が継続している間の2次元座標値の時間的な変化、すなわち一連の位置指示操作を受け付ける。
タッチパネル122としては、典型的には、抵抗膜方式を採用することができる。但し、抵抗膜方式に限らず、各種の押圧式のタッチパネルを採用することもできる。また、タッチパネル122の解像度(検出精度)は、下側LCD120の解像度(表示精度)と同程度であることが好ましい。但し、タッチパネル122の解像度と下側LCD120の解像度とを完全に一致させる必要はない。
タッチパネル122に対するポインティング操作は、通常、ユーザがスタイラスペン177を用いることで行われるが、スタイラスペン177に代えて、ユーザ自身の指などでポインティング操作(入力操作)を行うことも可能である。図1,図3(C)に示すように、下側ハウジング3の背面には、スタイラスペン177の収納部176が設けられている。すなわち、タッチパネル122に対する入力操作を行うためのスタイラスペン177は、通常、収納部176に格納されており、ユーザが必要に応じて取り出すことになる。
なお、ユーザからの位置指示操作を受け付ける受付手段であるポインティングデバイスとしては、タッチパネル122に代えて、あるいは、これに加えて、マウス、トラックボール、ペンタブレットなどを用いてもよい。また、表示装置の表示面に対して遠隔から座標を指示できるポインタ装置(典型的には、Wii(登録商標)のコントローラなど)を採用してもよい。いずれのデバイスを用いた場合であっても、第2LCD120の表示領域内の位置に関連付けられた位置指示操作を受け付けるように構成されることが好ましい。
図2(C),図2(D),図3(A),図3(B)に示すように、下側ハウジング3の背面の左端部には、Lボタン162Lが設けられており、下側ハウジング3の背面の右端部には、Rボタン162Rが設けられている。Lボタン162LおよびRボタン162Rは、ユーザがゲーム装置1を把持した際に、左手人差し指および右手人差し指でそれぞれ容易に操作できる位置に配置される。Lボタン162LおよびRボタン162Rについては、ゲーム装置1で実行される各種のアプリケーションにおいて、選択などの操作に用いられる。
図2(C)に示すように、下側ハウジング3の左側面には、音量ボリューム144が設けられている。音量ボリューム144は、ゲーム装置1に搭載されているスピーカ(図4に示すスピーカ151)からの音量を調整するために用いられる。
図2(D)に示すようには、下側ハウジング3の右側面には、無線スイッチ143が設けられている。無線スイッチ143は、ゲーム装置1における無線通信をオン状態(有効化状態)またはオフ状態(無効化状態)に切り替える。
ゲーム装置1に対しては、ゲームカード171および/またはメモリカード173が装着可能となっている。
すなわち、図3(B)に示すように、下側ハウジング3の背面には、ゲームカード171を装着するためのゲームカードスロット170が設けられている。ゲームカードスロット170の奥側には、ゲーム装置1とゲームカード171との間を電気的に接続するためのインターフェイスが設けられている。ゲームカードスロット170は、ゲームカード171を着脱自在に構成されている。ゲームカード171は、アプリケーションプログラムやゲームプログラム(いずれも命令セットを含む)などを保持する。
また、図2(C)に示すように、下側ハウジング3の左側面には、メモリカード173を装着するためのメモリカードスロット172が設けられている。メモリカードスロット172の奥側には、ゲーム装置1とメモリカード173との間を電気的に接続するためのインターフェイスが設けられている。メモリカードスロット172は、メモリカード173を着脱自在に構成されている。メモリカード173は、他の情報処理装置・ゲーム装置から取得したプログラムや画像データの読出し、ならびに、ゲーム装置1によって撮像および/または画像処理された画像データの記憶(保存)などに用いられる。ゲームカード171は、例えば、SD(Secure Digital)カードなどの不揮発性記憶媒体からなる。
ゲーム装置1には、動作状態などをユーザに提示するための各種表示装置が設けられている。より具体的には、下側ハウジング3および上側ハウジング2には、表示装置(表示手段)として、複数のLED(Light Emitting Diode)からなるインジケータ群147が設けられている。インジケータ群147は、立体表示インジケータ147aと、お知らせインジケータ147bと、無線インジケータ147cと、電源インジケータ147dと、充電インジケータ147eとを含む。立体表示インジケータ147aは、上側ハウジング2の主面上に設けており、その他のインジケータは、下側ハウジング3の主面または側面に設けられている。
立体表示インジケータ147aは、上側LCD110において立体視表示が行われているか否かを通知する。典型的には、上側LCD110での立体視表示が有効化されているときに、立体表示インジケータ147aは点灯する。
お知らせインジケータ147bは、ユーザに通知すべき情報が存在するか否かを通知する。典型的には、ユーザに対して未読の電子メールが存在しているときや、各種のサーバから何らかのメッセージを受信しているときに、お知らせインジケータ147bは点灯する。
無線インジケータ147cは、ゲーム装置1における無線通信の状態を通知する。典型的には、無線通信が有効化されているときに、無線インジケータ147cは点灯する。
電源インジケータ147dは、ゲーム装置1における電源状態を通知する。ゲーム装置1は、図示しないバッテリを内蔵しており(典型的には、下側ハウジング3に収納される)、主として、このバッテリからの電力で駆動する。そのため、電源インジケータ147dは、ゲーム装置1における電源の投入状態、および/または、バッテリの残量の状態などを通知する。典型的には、ゲーム装置1の電源が投入状態(オン状態)であって、かつ、バッテリの残量が十分であるときに、電源インジケータ147dは、緑色に点灯し、ゲーム装置1の電源が投入状態(オン状態)であって、かつ、バッテリの残量が低下しているときに、赤色に点灯する。
充電インジケータ147eは、上述のバッテリに対する充電状態を通知する。典型的には、ゲーム装置1に対して充電アダプタ(図示しない)などが装着されて内蔵のバッテリが充電状態であるときに、充電インジケータ147eは点灯する。なお、充電アダプタは、図3(A)に示すように、ゲーム装置1の背面に設けられている充電端子174に接続される。
また、本実施の形態に従うゲーム装置1は、赤外線通信の機能を搭載しており、ゲーム装置1の背面には、赤外線ポート179が設けられている。この赤外線ポート179は、データ通信の搬送波である赤外線を投光/受光する。
さらに、ゲーム装置1の前面には、ゲーム装置1を吊り下げるためのストラップを接続するためのフック31,32が設けられている。
また、下側ハウジング3の前面には、ヘッドホンおよび/またはマイクを接続するための接続端子158が設けられている。
<D.装置の電気的構成>
図4は、本発明の実施の形態に従うゲーム装置1の電気的構成を示すブロック図である。
図4を参照して、ゲーム装置1は、演算処理部100と、上側LCD110と、下側LCD120と、タッチパネル122と、外側カメラ131L,131Rと、内側カメラ133と、無線モジュール134と、不揮発性メモリ136と、メインメモリ138と、マイコン140と、ボタン群142と、音量ボリューム144と、立体視ボリューム145と、電源管理IC(Integrated Circuit)146と、インジケータ群147と、加速度センサ148と、インターフェイス回路150と、スピーカ151と、ヘッドホン用アンプ152と、マイク153と、接続端子158と、十字ボタン161と、ボタン群162と、ゲームカードスロット170と、メモリカードスロット172と、赤外線モジュール178とを含む。また、ゲーム装置1は、図示しないバッテリおよび電源回路を含む。
演算処理部100は、ゲーム装置1の全体の制御を司る。より具体的には、演算処理部100は、不揮発性メモリ136に予め格納されているファームウェア(命令セット)、ゲームカードスロット170に装着されるゲームカード171から読出されるプログラム(命令セット)やデータ、メモリカードスロット172に装着されるメモリカード173から読出されるプログラム(命令セット)やデータなどを実行することで、上側LCD110における立体視表示の制御を含む各種処理を実現する。
なお、演算処理部100で実行されるプログラム(命令セット)がゲームカード171やメモリカード173を通じて提供される場合に加えて、CD−ROMやDVDなどの光学式の記憶媒体を通じて、ゲーム装置1へ提供されるようにしてもよい。さらに、ネットワークを通じて接続されるサーバ装置(図示しない)からプログラムが提供されるようにしてもよい。
より具体的には、演算処理部100は、CPU(Central Processing Unit)102と、GPU(Graphical Processing Unit)104と、VRAM(Video Random Access Memory)106と、DSP(Digital Signal Processor)108とを含む。これらの各部の処理については、後述する。また、演算処理部100は、各部との間でデータを遣り取りする。
外側カメラ131Lおよび131Rならびに内側カメラ133の各々は、演算処理部100に接続され、演算処理部100からの指示に応答して、撮像により取得した入力画像を演算処理部100へ出力する。これらのカメラの各々は、CCD(Charge Coupled Device)やCIS(CMOS Image Sensor)といった撮像素子と、撮像素子で取得された画像データ(入力画像)を読出すための周辺回路とを含む。
無線モジュール134は、他のゲーム装置1や何らかの情報処理装置との間で無線信号を介してデータを遣り取りする。一例として、無線モジュール134は、IEEE802.11a/b/g/nといった規格に準拠した無線LAN方式により、他の装置との間でデータ通信を行う。
不揮発性メモリ136は、ゲーム装置1の基本動作に必要なファームウェアなどを格納しており、そのファームウェアを記述するコードがメインメモリ138に展開される。演算処理部100のCPU102がメインメモリ138に展開されたコードを実行することで、ゲーム装置1での基本処理が実現される。また、不揮発性メモリ136には、ゲーム装置1において予め設定される各種パラメータに関するデータ(プリセットデータ)が格納されてもよい。一例として、不揮発性メモリ136は、フラッシュメモリからなる。
メインメモリ138は、演算処理部100が処理を実行するためのワーク領域またはバッファ領域として用いられる。すなわち、メインメモリ138は、演算処理部100での処理に必要なプログラム(コード)やデータを一時的に記憶する。一例として、メインメモリ138は、PSRAM(Pseudo-SRAM)からなる。
マイコン140は、主として、ユーザインターフェイスに係る処理を提供する。より具体的には、マイコン140は、演算処理部100と接続されるとともに、ボタン群142、音量ボリューム144、立体視ボリューム145、電源管理IC146、インジケータ群147、および、加速度センサ148と接続される。マイコン140は、ユーザによるボタン操作などを検知して、その検知結果を演算処理部100へ出力するとともに、演算処理部100からの信号に応答して、ユーザへ各種情報を通知するためのインジケータを点灯する。
また、マイコン140は、リアルタイムカウント(RTC:Real Time Clock)141を有している。リアルタイムカウンタ141は、計時機能を提供する部位であり、予め定まった周期で時間をカウントする。このカウント結果は、逐次、演算処理部100へ出力される。演算処理部100は、リアルタイムカウンタ141によってカウントされたカウント値に基づいて、現在時刻(日付)等を算出することもできる。
電源管理IC146は、ゲーム装置1に搭載される電源(典型的には、上述のバッテリ)から各部へ電力を供給するとともに、その供給量を制御する。
加速度センサ148は、ゲーム装置1の変位を検出し、その検出結果は、マイコン140を通じて演算処理部100へ出力される。加速度センサ148による検出結果は、ゲーム装置1で実行されるプログラム(ゲームアプリケーション)などに利用される。
赤外線モジュール178は、他のゲーム装置1との間で無線通信(赤外線通信)を行う。この赤外線モジュール178による無線通信は、無線モジュール134による無線通信に比較して到達可能距離が短くなっている。すなわち、赤外線モジュール178は、予め定められた通信プロトコルに従って、同種のゲーム装置1との間でデータの遣り取りを行うように設計される。なお、この赤外線通信の搬送波である赤外線は、赤外線ポート179(図3(B)参照)を通じて投光/受光される。
インターフェイス回路150は、演算処理部100と接続されるとともに、スピーカ151、ヘッドホン用アンプ152、マイク153、コントロールパッド154、および、タッチパネル122と接続される。より具体的には、インターフェイス回路150は、スピーカ151、ヘッドホン用アンプ152、マイク153の制御を行うための音声制御回路(図示しない)と、タッチパネル122の制御を行うためのタッチパネル制御回路(図示しない)とを含む。
スピーカ151は、インターフェイス回路150からの音声信号を増幅して、音抜き孔151Lおよび151Rから音声を出力する。ヘッドホン用アンプ152は、インターフェイス回路150からの音声信号を増幅して、接続されるヘッドホンから音声を出力する。マイク153は、ゲーム装置1に向かって発声されたユーザの音声などを検知して、検知した音声を示す音声信号をインターフェイス回路150に出力する。
以上のように、インターフェイス回路150を構成する音声制御回路は、マイク153で検知されたアナログの音声信号に対してA/D(アナログ/デジタル)変換を行い、その結果得られたデジタルの音声信号を演算処理部100へ出力するとともに、演算処理部100などで生成されたデジタルの音声信号に対してD/A(デジタル/アナログ)変換を行い、その結果得られたアナログの音声信号をスピーカ151および/または接続されるヘッドホンへ出力する。
また、インターフェイス回路150を構成するタッチパネル制御回路は、タッチパネル122からの検出信号に応答して、ユーザが入力操作(ポインティング操作)した位置を示すタッチ位置データを生成して演算処理部100へ出力する。すなわち、タッチパネル122は、そのタッチ面上でポインティングされた位置に対応する2次元座標値に応じた操作入力(タッチ位置データ)を出力する。
ゲームカードスロット170およびメモリカードスロット172は、それぞれ、演算処理部100と接続される。ゲームカードスロット170は、演算処理部100からの指令に応答して、コネクタを介して、装着されたゲームカード171との間でデータの読出しおよび書込みを行う。メモリカードスロット172は、演算処理部100からの指令に応答して、コネクタを介して、装着されたメモリカード173との間でデータの読出しおよび書込みを行う。
下側LCD120および上側LCD110は、演算処理部100からの指令に従って、それぞれ画像を表示する。ゲーム装置1の典型的な使用形態においては、下側LCD120に各種操作を受け付けるための画像が表示されるとともに、上側LCD110では、立体視表示が行われる。
<E.表示部の構成>
図5は、本発明の実施の形態に従うゲーム装置1での表示制御を実現するための電気的構成を示すブロック図である。図6は、図5に示す上側LCD110の断面模式図である。
図5を参照して、演算処理部100は、CPU102に加えて、主として、上側LCD110および下側LCD120においてそれぞれ画像を表示するための処理(画像処理)を行うためのGPU104を含む。GPU104は、画像処理に特化した処理回路を有しており、CPU102からの指令に応答して、上側LCD110および下側LCD120にそれぞれ表示すべき画像を逐次生成する。これらの画像は、上側LCD110用のVRAM106a、および、下側LCD120用のVRAM106bへそれぞれ転送される。
このとき、上側LCD110において立体視表示を行うための一対の画像(左目用画像および右目用画像)は互いに独立してVRAM106aへ書込まれる。これに対して、下側LCD120においては平面表示(非立体視表示)が行われるので、単一の画像がVRAM106bへ書込まれる。
上側LCD110は、LCDコントローラ111と、LCDパネル112と、バリア液晶113とを含む。これに対して、下側LCD120は、LCDコントローラ121と、LCDパネル123とを含む。
さらに、上側LCD110の構造について説明する。
図6には、上側LCD110の典型例として、パララックスバリア方式の液晶表示デバイスの構造を示す。上側LCD110は、ガラス基板118とガラス基板119との間に配置されたLCDパネル112を含む。
LCDパネル112は、左目用画素群112Lおよび右目用画素群112Rを含む。ガラス基板118のガラス基板119の側とは反対側に、図示しないバックライトが設けられており、このバックライトからの光は左目用画素群112Lおよび右目用画素群112Rに向けて照射される。そして、左目用画素群112Lおよび右目用画素群112Rは、バックライトからの光を調節するための空間光変調器として機能する。ここで、左目用画素群112Lの各画素と右目用画素群112Rの各画素とは交互に配置される。
ガラス基板118の左目用画素群112Lおよび右目用画素群112Rに接する側とは反対の側に、視差光学系であるバリア液晶113が設けられる。このバリア液晶113には、複数のスリット114が所定間隔で行列状に設けられている。各スリット114の中心位置を通り、かつガラス基板118の面に対して垂直方向の軸を基準として、左目用画素群112Lおよび右目用画素群112Rとが対称的に配置される。このように、各スリットに対応付けられる左目用画素群112Lおよび右目用画素群112Rの各組について、スリットとの間の位置関係を適切に設計することで、ユーザは、その左目で左目用画素群112Lだけを視認するとともに、その右目で右目用画素群112Rだけを視認することになる。
すなわち、バリア液晶113に含まれる各スリット114が、ユーザの右目および左目による視界をそれぞれ対応する角度に制限する。その結果、ユーザの左目の視線AXLには左目用画素群112Lのみが存在し、一方、ユーザの右目の視線AXRには右目用画素群112Rのみが存在することになる。
ここで、左目用画素群112Lおよび右目用画素群112Rに、所定の視差を有する一対の画像を表示させることで、所定の視差を有する画像をユーザに提示することができる。このような所定の視差を有する一対の画像を表示することで、ユーザから見れば、被写体を立体的に見ていると感じることになる。以下では、バリア液晶113のユーザ側の表面、すなわち、この画像が実際に表示される面を(上側LCD110の)表示面とも称す。
より具体的には、図5に示すように、GPU104は、左目用画像および右目用画像をVRAM106aのアドレスを指定して順次書込む。LCDコントローラ111は、VRAM106aに書込まれた左目用画像および右目用画像を構成する列方向の画像が、LCDパネル112に交互に並んで表示されるように、VRAM106aの対象となるアドレスから各列の画像データを順次読出して、LCDパネル112を駆動する。
なお、上側LCD110では、画像を平面表示、すなわち、非立体表示することもできる。この場合には、LCDコントローラ111に対して指令を与えることで、バリア液晶113を無効化する方法と、表示に用いられる左目用画像と右目用画像との間の視差を実質的にゼロとする方法とが存在する。
前者の方法の場合、バリア液晶113が提供する複数のスリット114が無効化されるので、ユーザの左目および右目には、実質的に、左目用画素群112Lおよび右目用画素群112Rからの光が入射することになる。なお、この場合には、ユーザから見た解像度は、立体視表示のときの解像度に比べて、実質的に2倍となる。
後者の方法の場合、ユーザの左目で視認される画像と、右目で視認される画像とが実質的に同一に制御されるので、ユーザは、同じ画像を左目および右目で視認することになる。
一方、下側LCD120においては、非立体表示がなされる。すなわち、GPU104は、表示すべき画像をVRAM106bのアドレスを指定して順次書込み、LCDコントローラ121は、VRAM106bに書込まれた画像を順次読出して、LCDパネル123を駆動する。
なお、図6には、立体視表示が可能な表示装置の典型例として、パララックスバリア方式の表示デバイスを例示したが、例えば、レンチキュラ方式の表示デバイスなどを採用することもできる。これらの方式は、左目用画像の表示エリアと右目用画像の表示エリアとが一定のパターンで(典型的には交互に)配置される。
代替的に、立体表示が可能な表示装置として、主波長成分が異なる2つの画像をそれぞれ独立に表示するとともに、透過波長範囲が異なる2つのカラーフィルタをそれぞれ組込んだメガネをユーザに装着させることで、立体表示を行う構成であってもよい。
類似の構成として、偏光方向を異ならせて2つの画像をそれぞれ表示するとともに、当該2つの偏光方向に対応する偏光フィルタがそれぞれ組込まれたメガネをユーザに装着させることで、立体表示を行う構成であってもよい。
さらに、シャッタメガネ(時分割方式)を利用した方法のように、左目用画像の表示エリアと右目用画像の表示エリアとを共通としつつ、左目用画像と右目用画像とを交互に表示する形態を採用することもできる。
<F.立体視表示>
次に、本実施の形態に従うゲーム装置1の上側LCD110において立体視表示を行うための処理について説明する。
図7は、本発明の実施の形態に従うゲーム装置1において立体視表示に用いられる視差を有する一対の画像を生成する方法の一例について説明するための図である。図8は、図7に示す方法によって生成された視差を有する一対の画像を用いて立体視表示を提供する方法について説明するための図である。
図7(A)には、ゲーム装置1から所定距離に被写体SBJ1として「りんご」が存在しており、この「りんご」を上側ハウジング2に搭載された一対の外側カメラ131Lおよび131Rを用いて撮像(ステレオ撮像)する場合を示す。
なお、以下の説明においては、一対の外側カメラ131Lおよび131Rは水平方向に整列配置されているものとする。このとき、水平方向をX方向と称し、垂直方向をY方向と称し、各外側カメラ131L,131Rのカメラ方向(撮像の光軸方向)をZ方向と称す(以下同様である)。
さらに、立体視を提供する一対の画像(左目用画像および右目用画像からなるステレオ画像)は、実質的に同一の表示領域に表示される。すなわち、図6に示すようなレンチキュラ方式では、左目用画素と右目用画素とが交互に配置されることで、対象の左目用画像および右目用画像は、画面横方向に空間的に交互に表示されることになる。あるいは、シャッタメガネ(時分割方式)では、同一の表示面を時間的に分割することで、対象の左目用画像および右目用画像が時間的に交互に表示されることになる。
したがって、立体視画像のうち、視差がゼロとなる領域は、ユーザから見れば表示面に存在しているように見える。すなわち、目的の領域についての視差をゼロとすることで、ユーザは、その領域に含まれるオブジェクトが表示装置の表示面あるいは表示面付近に位置しているように感じる。
図7(B)には、図7(A)に示すような位置関係において撮像することで得られた一対の画像(ステレオ画像)の一例を示す。すなわち、外側カメラ131Lが被写体SBJ1を撮像することにより、左目用の入力画像PIMGLが生成され、外側カメラ131Rが被写体SBJ1を撮像することにより、右目用の入力画像PIMGRが生成される。
この左目用の入力画像PIMGLと右目用の入力画像PIMGRとを比較すると、入力画像PIMGL内における被写体SBJ1を表す像の位置と、入力画像PIMGR内における被写体SBJ1を表す像の位置とは異なっていることがわかる。すなわち、入力画像PIMGLにおいては、被写体SBJ1を表す像の位置が相対的に右側に位置しており、入力画像PIMGRにおいては、被写体SBJ1を表す像の位置が相対的に左側に位置している。
このように取得された視差を有する一対の画像(ステレオ画像)を、上側LCD110の表示面に表示することで、ユーザは、その「りんご」の被写体SBJ1について、立体的に視認することができる。
なお、上側LCD110の表示面に、外側カメラ131Lおよび131Rの撮像によって生成された一対の画像を重ねて表示することもできるし、これらの画像間の相対的な位置関係を変更することもできる。すなわち、上側LCD110の表示面に、入力画像PIMGLと入力画像PIMGRとを重ねて表示した場合には、撮像時における外側カメラ131Lおよび131Rと被写体SBJ1との間の位置関係に応じた視差量が生じる。さらに、上側LCD110の表示面における、入力画像PIMGLと入力画像PIMGRとの間の相対的な表示位置を変更することで、被写体SBJ1についての視差量を調整することができる。このような視差量の調整によって、ユーザが視認する立体感(飛び出し量/引き込み量)が変化する。
すなわち、図8(A)に示すように、被写体SBJ1について視差量が増大する方向に、入力画像PIMGLと入力画像PIMGRとの間の相対的な位置関係を変更すると、ユーザは、上側LCD110の表示面よりユーザ側に被写体SBJ1が存在しているように感じる。いわば、ユーザは、被写体SBJ1の像が表示面から「飛び出し」ているように視認する。
これに対して、被写体SBJ1について視差量が減少する方向に、入力画像PIMGLと入力画像PIMGRとの間の相対的な位置関係を変更すると、ユーザは、上側LCD110の表示面に近い位置に被写体SBJ1が存在しているように感じる。いわば、ユーザは、被写体SBJ1の像が表示面へ「引き込み」されているように視認する。
このように、上側LCD110の表示面での、入力画像PIMGLと入力画像PIMGRとの間の相対的な表示位置を変更することで、ユーザが立体的に視認する被写体SBJ1の位置(ユーザと表示面とを結ぶ線上の位置)を調整することができる。この場合、上側LCD110の表示面に、視差を有する入力画像PIMGLおよびPIMGRの全部または一部を表示することで、立体視表示が行われることになる。
<G.処理モード>
次に、本実施の形態に従うゲーム装置1において提供される処理モードについて説明する。
図9は、本発明の実施の形態に従うゲーム装置1において提供される処理モードの遷移を説明するための図である。図9を参照して、ゲーム装置1では、ユーザが各種アプリケーションを選択可能な「HOMEメニューモード」(状態ST1)を有する。この「HOMEメニューモード」からは、ゲーム装置1にインストールされている各種のアプリケーションを実行可能であるが、図9には、「カメラメニューモード」(状態ST2)、「アルバム再生モード」(状態ST7)および「他のアプリケーション」への遷移が可能な例として示す。
この「カメラメニューモード」では、後述するような、カメラを用いた撮像によって画像を取得したり、取得した画像に対する編集といった各種操作をしたりすることが可能なアプリケーションのメニューが表示される。
また、「アルバム再生モード」(状態ST7)では、後述するような手順に従って作成されるアルバムを再生することが可能である。本明細書において「アルバム」とは、1つ以上の画像データの集合体を意味し、予め画像の再生順序などが定義されていてもよい。なお、「アルバム再生モード」では、アルバムに含まれる画像の表示順序などを任意に変更できるようにしてもよい。
「カメラメニューモード」からは、「撮像モード」(状態ST3)へ遷移が可能である。「撮像モード」では、一対の外側カメラ131Lおよび131R(図2(A)参照)、または、内側カメラ133(図1参照)を用いて入力画像を取得することが可能である。
「撮像モード」からは、「閲覧モード」(状態ST4)へ遷移が可能である。「閲覧モード」では、「撮像モード」において取得された画像の閲覧が可能である。
さらに、「閲覧モード」からは、「アルバム作成モード」(状態ST5)、または、「スライドショーモード」(状態ST6)に遷移が可能である。
「スライドショーモード」では、予め取得されている画像を時間的に切り替えて順次表示することができる。
「アルバム作成モード」では、「撮像モード」において取得された入力画像、または、メモリカード173(図1参照)に格納された画像データを用いて「アルバム」を作成することが可能である。さらに、「アルバム作成モード」では、作成されたアルバムのデータ(以下「アルバムデータ」とも称す。)を出力および保存することも可能である。この「アルバム作成モード」において作成されたアルバムデータは、「アルバム再生モード」において、表示手段(典型的には、図1に示す上側LCD110および/または下側LCD120)で表示することが可能である。
<H.閲覧モード>
まず、図9に示す「閲覧モード」(状態ST4)における処理について説明する。
図10は、図9に示す「閲覧モード」(状態ST4)の画面例を示す図である。なお、図10には、上側LCD110および下側LCD120に表示されるそれぞれの内容をその位置関係に対応付けて模式的に記載する。以下に示す図についても同様である。
図10(A)を参照して、「閲覧モード」(状態ST4)では、下側LCD120に、予め取得されている画像を示すオブジェクト(サムネイル画像)を含む一覧画像202Aが表示される。この一覧画像202Aに含まれるオブジェクト(サムネイル画像)は、撮像などによって取得された画像データに比較して、より少ない情報量であることが好ましい。
このようなサムネイル画像は、一対の外側カメラ131Lおよび131R(図2(A)参照)、または、内側カメラ133(図1参照)を用いた撮像時に、本質的に取得される画像(以下「サムネイル画像」と対比させる意味において「メイン画像」とも称す。)とは別に作成されてもよい。この場合には、1つの画像データのファイルに、サムネイル画像のデータとメイン画像のデータとが含まれるようにすることができる。さらに、一対の外側カメラ131Lおよび131Rを用いて、上側LCD110において立体視表示を行うための一対の画像(左目用画像および右目用画像)を取得した場合には、これらの一対の画像についても、1つの画像データのファイルに含めることが好ましい。
この一覧画像202A上に選択表示画像230が表示される。この選択表示画像230は、ユーザによる十字ボタン161(図1参照)の操作に応答して、一覧画像202Aの上での位置を変化させる。この選択表示画像230によって示されているオブジェクト(サムネイル画像)に対応するメイン画像が上側LCD110に表示される。すなわち、一覧画像202Aに含まれるサムネイル画像のうち、ユーザ操作によって選択された画像が上側LCD110に拡大表示されることになる。
ここで、選択されたサムネイル画像が立体視表示を行うための一対の画像である場合には、上側LCD110には当該画像が立体視表示され、選択されたサムネイル画像が平面表示を行うための画像である場合には、上側LCD110には当該画像が平面表示される。なお、立体視表示を行うための一対の画像が選択された場合であっても、当該画像を上側LCD110で平面表示させることもできる。
この「閲覧モード」においては、下側LCD120の画面下部に、スライダー画像220が表示されており、ユーザがスタイラスペン177などを用いて、このスライダー画像220を紙面左右方向にスライド操作する(タッチしたまま移動させる)と、上側LCD110に表示されるサムネイル画像を異ならせることができる。すなわち、サムネイル画像は所定の配列規則に従って(仮想的に)配列されており、ユーザは、スライダー画像220に対する操作を行うことで、下側LCD120に表示される内容(有効に表示されるサムネイル画像)を順次切り替えることができる。なお、サムネイル画像の切り替えは、表示される部分を連続的にスライドするようにしてもよいし、ページ単位で更新するようにしてもよい。
また、「閲覧モード」においては、下側LCD120の画面下部に、拡大表示アイコン222および縮小表示アイコン224が表示される。ユーザがスタイラスペン177などを用いて、この拡大表示アイコン222の上をタッチ操作すると、表示されているサムネイル画像が拡大される。その結果、1つのサムネイル画像が占める面積がより大きくなるので、下側LCD120には、より少ないサムネイル画像が一覧表示される。一方、ユーザがスタイラスペン177などを用いて、この縮小表示アイコン224の上をタッチ操作すると、表示されているサムネイル画像が縮小される。その結果、1つのサムネイル画像が占める面積がより小さくなるので、下側LCD120には、より多くのサムネイル画像が一覧表示される。
なお、図10(B)には、図10(A)に示す状態において、ユーザが縮小表示アイコン224の上をタッチ操作し、さらに、スライダー画像220を紙面左方向にスライドさせた状態を示す。すなわち、図10(A)に示す状態では、1シート毎に2行×3列のサムネイル画像が一覧表示されており(一覧画像202A)、一方、図10(B)に示す状態では、1シート毎に4行×5列のサムネイル画像が一覧表示されている(一覧画像202B)。さらに、図10(A)に示す状態では、仮想的に配置されるサムネイル画像のうち、左端から所定の位置にあるサムネイル画像が表示されている。一方、図10(B)に示す状態では、仮想的に配置されるサムネイル画像のうち、左端にあるサムネイル画像が表示されている。
さらに、下側LCD120には、「アルバム作成モード」(図9に示す状態ST5)への切り替えを指示する操作画像210と、「スライドショーモード」(図9に示す状態ST6)への切り替えを指示する操作画像212と、「撮像モード」(図9に示す状態ST3)への切り替えを指示する操作画像214と、各種設定を行うための操作画像216とを含む。
すなわち、ユーザがスタイラスペン177などを用いて、「アルバム」と表示された操作画像210をタッチ操作すると、後述の図11に示すような画面表示に遷移する。また、ユーザがスタイラスペン177などを用いて、「スライドショー」と表示された操作画像212をタッチ操作すると、下側LCD120に一覧表示されているサムネイル画像に対応するメイン画像が、所定の規則で、あるいは、ランダムに切り替えて上側LCD110上に表示される(すなわち、スライドショーが実行される)。この際、表示される画像に対して、各種の演出(イフェクト)を付加してもよい。さらに、ユーザがスタイラスペン177などを用いて、「カメラで撮る」と表示された操作画像214をタッチ操作すると、一対の外側カメラ131Lおよび131R(図2(A)参照)、または、内側カメラ133(図1参照)を用いて画像を撮像するための画面表示に遷移する。さらに、ユーザがスタイラスペン177などを用いて、「設定」と表示された操作画像216をタッチ操作すると、「閲覧モード」に関する各種設定を行うための画面表示に遷移する。
<I.アルバム作成モード>
次に、図9に示す「アルバム作成モード」(状態ST5)における処理について説明する。
上述したように、「アルバム作成モード」においては、ユーザが任意の画像を選択して、1つの「アルバム」として纏めることが可能である。このユーザが作成したアルバムは、アルバムデータとして出力される。このアルバムデータは、当該アルバムを作成したユーザが使用するゲーム装置1上で再生することもできるし、そのアルバムデータ自体を他のゲーム装置やパーソナルコンピュータなどへ渡すことも可能である。この場合には、当該アルバムを作成したユーザだけでなく、当該ユーザと関係する他のユーザも自身のゲーム装置1上で、当該アルバムを見ることができる。
特に、本実施の形態においては、アルバムを構成する各画像に再生時の音声(効果音)を関連付けることができる。すなわち、アルバムデータの再生時には、表示される画像が変化するたびに、各画像に関連付けられている効果音が再生される。この効果音は、各画像について独立に関連付けることができるので、ユーザから見れば、アルバム作成時の自由度を高めることができる。
より具体的には、「アルバム作成モード」においては、主として、以下の5つの処理が実行可能である。
(1)素材選択処理:アルバムに使用する画像の選択
(2)効果音関連付け処理:画像再生時にあわせて再生される音声の選択
(3)らくがき処理:画像に対するオブジェクトの付加
(4)プレビュー処理:作成中のアルバムのプレビュー表示
(5)アルバムデータ出力処理:アルバムデータの生成/出力
以下、これらの処理の詳細について説明する。
(i1:素材選択処理)
素材選択処理においては、アルバムに使用される画像が選択される。特に、本実施の形態においては、ユーザが全く任意に選択する機能に加えて、何らかの選択規則に従って、使用される画像(以下、非選択の他の画像との区別のために「対象画像」とも称す。)が自動的に初期選択される機能(自動画像選択)を有する。
図11は、図9に示す「アルバム作成モード」(状態ST5)の画面例を示す図である。図12は、図11に示す操作画像242がタッチ操作された後に表示される画面例を示す図である。図13は、図11に示す操作画像244がタッチ操作された後に表示される画面例を示す図である。
「アルバム作成モード」に遷移すると、図11に示すような画面表示に切り替わる。図11に示すように、下側LCD120には、まず、自動画像選択の実行要否をユーザに問い合わせるユーザインターフェイスが表示される。すなわち、「ぼくがアルバムをつくりましょうか?」というメッセージ画像240とともに、自動画像選択の実行を許可する操作画像242と、自動画像選択の実行をスキップする操作画像244と、「アルバム作成モード」の終了を指示する操作画像246とが表示される。
ユーザがスタイラスペン177などを用いて、「おねがいする」と表示された操作画像242をタッチ操作すると、予め設定された複数のテーマから1つのテーマが選択されて表示される(図示しない)。その後、当該選択されたテーマに基づいて、後述の図12に示すような画面表示に遷移する。また、ユーザがスタイラスペン177などを用いて、「自分で作る」と表示された操作画像244をタッチ操作すると、後述の図13に示すような画面表示に遷移する。
また、ユーザがスタイラスペン177などを用いて、「やめる」と表示された操作画像246をタッチ操作すると、図10に示すような画面表示に戻る。
図12を参照して、自動画像選択の処理が実行されると、ランダムに定められた、あるいは、ユーザが予め設定して選択規則に従って、ゲーム装置1に保存されている画像から所定数の画像がアルバムに用いられる対象画像として選択される。なお、自動画像選択の処理中においては、小鳥オブジェクト248が画像をくわえてアルバムに持っていくような演出をしてもよい。
たとえば、図12に示す例では、1つのアルバムに含めることのできる画像は最大で30枚であり、そのうち、5枚が初期選択されている状態を示す。そのため、上側LCD110には、アルバムに含めることのできる残りの画像の数が25枚であることを表示するメッセージ画像276が表示されている。なお、後述するように、アルバムに含まれている画像の数に応じて、メッセージ画像276に表示される数などは逐次更新される。
アルバムに用いられる対象画像として選択された画像は、上側LCD110に表示される。この上側LCD110においては、作成中のアルバムに含まれる対象画像のうち、選択されたものが最も大きく表示されるとともに、当該選択されている対象画像にそれぞれ隣接する2つの対象画像の少なくとも一部も上側LCD110に表示される。なお、アルバム作成の都合上、作成中のアルバムに含まれる対象画像には順序が付与されており、この順序に従って、表示などがなされる。
以下に示すような手順に従って、ユーザが所望する画像を作成中のアルバムに追加し、あるいは、作成中のアルバムから不要な対象画像を削除することができる。
下側LCD120には、図10に示す「閲覧モード」などと同様に、ゲーム装置1に保存されている画像に対応するサムネイル画像を含む一覧画像202が表示される。さらに、下側LCD120の上部には、選択されている対象画像を切り替える操作をガイドするための移動指示画像260Lおよび260Rが表示される。これらの移動指示画像260Lおよび移動指示画像260Rは、それぞれLボタン162LおよびRボタン162Rに対するユーザ操作に割当てられた指示の内容をグラフィカルに通知する。
ユーザがLボタン162Lを1回押下すると、上側LCD110に表示されている対象画像の列が全体として左側に移動する。そして、選択対象がタッチ操作前に選択されていた対象画像の右側に位置していた対象画像に表示位置が移る。すなわち、上側LCD110に表示されている対象画像の列は、ユーザがLボタン162Lを押下した回数分だけ左側に移動(シフト)する。同様に、ユーザがRボタン162Rを1回押下すると、上側LCD110に表示されている対象画像の列が全体として右側に移動する。そして、選択対象がタッチ操作前に選択されていた対象画像の左側に位置していた対象画像に表示位置が移る。
なお、ユーザによるタッチパネル122に対する操作によっても、Lボタン162LまたはRボタン162Rを押下する場合と同様の操作が可能である。すなわち、ユーザがスタイラスペン177などを用いて、左向きの矢印を示す移動指示画像260Lをタッチ操作すると、Lボタン162Lが押下された場合と同様に、上側LCD110に表示されている対象画像の列が全体として左側に移動する。また、ユーザがスタイラスペン177などを用いて、右向きの矢印を示す移動指示画像260Rをタッチ操作すると、Rボタン162Rが押下された場合と同様に、上側LCD110に表示されている対象画像の列が全体として右側に移動する。
上述のような作成中のアルバムに含まれる対象画像の選択とは独立して、ユーザは、一覧画像202の上に重ねて表示される選択表示画像230の位置を変更することができる。すなわち、ユーザは、十字ボタン161を操作することで選択表示画像230を移動させ、作成中のアルバムに対して追加を希望する対象画像(メイン画像)に対応するサムネイル画像を選択することができる。
目的とするサムネイル画像に対応する位置に選択表示画像230が設定された状態で、ユーザが操作ボタン162A(図1参照)を押下すると、選択されている対象画像に隣接する位置に、選択されているサムネイル画像に対応するメイン画像が新たな対象画像として追加される。なお、追加される対象画像(メイン画像)は、選択されている対象画像とその左隣に位置する対象画像との間に挿入される。あるいは、選択されている対象画像とその右隣に位置する対象画像との間に挿入されてもよい。
一方、ユーザは、Lボタン162LまたはRボタン162Rを押下して、作成中のアルバムから削除を希望する対象画像を選択した状態で、操作ボタン162B(図1参照)を押下すると、選択されている対象画像が作成中のアルバムから削除される。この対象画像の削除に伴って、作成中のアルバムに含まれる対象画像に付与されている順序が更新される。
なお、アルバムの対象画像に新たな対象画像(メイン画像)を追加する動作を実行するためのボタンは、操作ボタン162Aに限られず、他のボタンを利用するようにしてもよい。同様に、なお、アルバムから対象画像を削除する動作を実行するためのボタンは、操作ボタン162Bに限られず、他のボタンを利用するようにしてもよい。
さらに、ユーザがスタイラスペン177などを用いて、「はずす」と表示された操作画像272をタッチ操作すると、操作ボタン162Bが押下された場合と同様に、上側LCD110に表示中の選択されている対象画像が作成中のアルバムから削除される。一方、ユーザがスタイラスペン177などを用いて、「いれる」と表示された操作画像274をタッチ操作すると、操作ボタン162Aが押下された場合と同様に、下側LCD120において選択されているサムネイル画像に対応するメイン画像が作成中のアルバムに追加される。
なお、上側LCD110には、操作画像272および操作画像274にそれぞれ対応して、メイン画像の削除および追加に対応付けられた操作をユーザに知らせるインジケータ画像268および270が表示される。また、上側LCD110には、Lボタン162LおよびRボタン162Rにそれぞれ割当てられた動作の内容をユーザに知らせるインジケータ画像262Lおよび262Rが表示される。
さらに、下側LCD120には、素材選択処理を終了してメニュー画面(図11)へ戻ることを指示する操作画像250と、効果音関連付け処理の開始を指示する操作画像252と、らくがき処理の開始を指示する254と、アルバム作成処理の完了を指示する操作画像256とが表示される。
ユーザがスタイラスペン177などを用いて、音声ボックスの図柄が表示された操作画像252をタッチ操作すると、後述する効果音関連付け処理が開始される。また、ユーザがスタイラスペン177などを用いて、エンピツの図柄が表示された操作画像254をタッチ操作すると、後述するらくがき処理が開始される。
さらに、ユーザがスタイラスペン177などを用いて、「完成」と表示された操作画像256をタッチ操作すると、プレビュー処理およびアルバムデータ出力処理が開始される。このアルバムデータ出力処理については、後述する。
これに対して、図11において、自動画像選択の実行がスキップされると、図13に示すような画面表示に遷移する。自動画像選択がスキップされると、図13に示すように、アルバムの対象画像が全く選択されていない状態が初期状態となる。この時点では、作成中のアルバムに含まれる対象画像が存在しないので、Lボタン162LおよびRボタン162Rに対するユーザ操作は無効化されるとともに、図12に示すような、移動指示画像260Lおよび260R、ならびに、インジケータ画像262Lおよび262Rは表示されない。
但し、ユーザが上述したような手順に従って、作成中のアルバムに対象画像を追加すると、Lボタン162LおよびRボタン162Rに対するユーザ操作が有効化されるとともに、それに対応して、移動指示画像260Lおよび260R、ならびに、インジケータ画像262Lおよび262Rが表示される。
(i2:効果音関連付け処理)
効果音関連付け処理においては、アルバムを構成する各画像に再生時の音声(効果音)を関連付けることができる。
図14および図15は、本発明の実施の形態に従う効果音関連付け処理における画面例を示す図である。図12または図13に示す画面表示において、操作画像252がタッチ操作されると、図14または図15に示すような画面表示に切り替わる。
図14および図15に示す画面表示では、ユーザは、アルバムに含まれる対象画像のうち効果音関連付け処理の対象となる対象画像を選択し、各対象画像に関連付けられる音声を選択し、さらに、実際の関連付け処理を実行する。図14および図15においては、図12および図13に示すような画面表示に比較して、下側LCD120に表示される内容が変更されている。すなわち、図12および図13においては、下側LCD120に、対象画像と関連付けることのできる音声を示す音声アイコンを含む一覧表示286および288がそれぞれ表示される。
すなわち、上側LCD110の表示領域には、アルバムに含まれるメイン画像を示す対象画像(第1のオブジェクト)が表示され、下側LCD120の表示領域には、ゲーム装置1に保存されているメイン画像を示すサムネイル画像(第2のオブジェクト)が表示される。
本実施の形態においては、予めゲーム装置1に保存されている音声に加えて、ユーザが任意に録音した音声のうちから、任意に選択された音声をメイン画像に関連付けることができる。すなわち、図14に示す一覧表示286は、予めゲーム装置1に保存されている音声を二次元的に選択可能に表示するものであり、各音声アイコンの図柄は、対応する音声の内容を表現している。また、図15に示す一覧表示288は、ユーザが録音した音声を二次元的に選択可能に表示するものであり、各音声アイコンの図柄は、対応する音声の録音量を表現している。より具体的には、対応する音声の録音時間がより長いのであれば、一覧表示288に含まれる音声アイコンとしては、容器により多くの内容物が含まれているような図柄が用いられる。一方、対応する音声の録音時間がより短いのであれば、一覧表示288に含まれる音声アイコンとしては、容器に含まれる内容物がより少なくなるような図柄が用いられる。なお、ユーザによる音声の録音については、マイク153(図4参照)を用いて行うことができる。
このように、下側LCD120の表示領域内には、複数の音声アイコンが選択可能に表示される。
さらに、図14および図15に示す以外により多くの音声候補を用意してもよく、その場合には、音声の一覧表示を切り替えるための操作画像282または操作画像284が表示される。すなわち、図14に示す画面表示において、ユーザがスタイラスペン177などを用いて、操作画像284の上をタッチ操作すると、下側LCD120の表示内容は一覧表示286から図15に示す一覧表示288へ切り替わる。同様に、図15に示す画面表示において、ユーザがスタイラスペン177などを用いて、操作画像282の上をタッチ操作すると、下側LCD120の表示内容は一覧表示288から図14に示す一覧表示286へ切り替わる。
図14に示す一覧表示286および図15に示す一覧表示288の上には、選択表示画像290が重ねて表示される。この選択表示画像290は、ユーザによる十字ボタン161(図1参照)の操作に応答して、一覧表示286および288上での位置を変化させる。この選択表示画像290によって示されている音声アイコンに対応する音声が選択された音声となる。
なお、一覧表示286または288上で選択された音声アイコンに対応する音声を再生してもよい。すなわち、ユーザは、一覧表示286または288を表示させた状態で、選択表示画像290を任意に移動させて、アルバムに含まれる各画像に関連付ける音声を選択することになるが、この際、その内容が逐次再生されることで、音声を確認しながら適切な効果音を探すことでもきる。
次に、アルバムの各画像に関連付けられる音声の選択および関連付け処理の実行に係る、実際のユーザ操作について説明する。
本実施の形態に従うゲーム装置1においては、何らかの対象画像に効果音を関連付けしようとするユーザは、下側LCD120において、スタイラスペン177などを用いて、表示される一覧表示286または288に含まれる目的の音声アイコンを選択した後、当該選択した音声アイコンを上側LCD110に向けて「はじく」(flick)ような操作をする。すると、アルバムに含まれる対象画像のうち予め選択されている対象画像(上側LCD110に表示されている)に対応するメイン画像と選択された音声アイコンに対応する音声(効果音)とが関連付けられる。
すなわち、下側LCD120には、下側LCD120の表示領域内におけるユーザの一連の位置指示操作を受け付けるための受付手段であるタッチパネル122が装着されている。そして、このタッチパネル122によって受け付けられる、下側LCD120の表示領域内における一連の位置指示操作による指示位置に基づいて、一覧表示286または288に含まれる音声を示す音声アイコン(第2のオブジェクト)が選択される。さらに、タッチパネル122によって受け付けられる、その後に引き続く指示位置の変化に基づいて、上側LCD110に表示されている対象画像(第1のオブジェクト)に対応するメイン画像と選択された音声アイコンに対応する音声との関連付け処理が実行される。
なお、上側LCD110に表示されている対象画像は、このようなユーザによる一連の位置指示操作とは異なる入力操作の前に選択されていることになる。すなわち、関連付けがなされる対象画像が先に選択されるとともに、ユーザによる一連の位置指示操作によって、先に選択された対象画像(メイン画像)と音声との関連付けが実行される。
このようなスタイラスペン177などを用いた、関連付け処理を実行するための操作について図16および図17を参照してより詳細に説明する。
図16および図17は、本実施の形態に従う効果音関連付け処理における操作例を示す図である。図16を参照して、ユーザがスタイラスペン177などを用いて、下側LCD120に表示される一覧表示286に含まれる、目的の音声アイコンに対応する位置をタッチ(位置指示操作)すると、当該タッチされた位置に対応する音声アイコンが選択される。すなわち、ユーザがスタイラスペン177などを下側LCD120に装着されているタッチパネル122へのタッチを開始した位置、すなわち指示開始位置に基づいて、音声アイコンが選択される。このとき、新たな音声アイコンが選択されると、それを通知するために選択表示画像290の表示位置も更新される(移動する)。
但し、ユーザによる一連の位置指示操作において何らかの特徴的な動きに基づいて、音声アイコンを選択してもよい。たとえば、ユーザが位置指示操作を継続(タッチ状態を維持)したまま、所定期間以上にわたっていずれかの位置で静止した場合に、当該静止位置に対応する音声アイコンを選択してもよい。
なお、何らかの音声アイコンが選択されると、上述したように、その選択された音声アイコンに対応する音声を再生してもよい。この場合、再生された音声は、スピーカ151から発生される。
続いて、図17に示すように、ユーザがタッチ状態を維持したまま、スタイラスペン177などを移動させると、この引き続く指示位置の変化に基づいて、選択された音声アイコンが引き出される(ドラッグされる)。すなわち、選択された音声アイコンがスタイラスペン177に連れられて移動するような演出がなされる。
その後、ユーザがタッチ状態を維持したまま、スタイラスペン177などを上方向、すなわち上側LCD110の方向に移動させると、当該選択されている音声アイコンに対応する音声が上側LCD110に表示されている対象画像に対応するメイン画像と関連付けられる。
ユーザビリティの向上や誤操作の防止といった観点から、ユーザがタッチパネル122に対する操作を行うことで生じる、引き続く指示位置の変化が、所定条件を満たした場合に限って、音声アイコンに対応する音声をメイン画像に関連付けるようにしてもよい。
この所定条件としては、ユーザによる一連の位置指示操作(タッチパネル122上でタッチ状態を維持したまま行われる一回的な操作)ついての、移動速度および変位量の少なくとも一方に関する条件を含ませることができる。
たとえば、ユーザによる一連の位置指示操作において、下側LCD120の表示領域に対して上側LCD110の表示領域が存在する方向への指示位置の変化があるか否かという条件を含めてもよい。言い換えれば、ユーザが、タッチパネル122へのタッチ状態を維持したまま、そのタッチしている位置を上側LCD110の方向(紙面上方向)に時間的移動させた場合に限って、関連付け処理が実行されてもよい。
このような場合、何らかの音声を関連付けようとするユーザは、音声アイコンを選択した、続いて、上側LCD110に向けて「はじく」ような操作をして、一連の位置指示操作を完了するのが通常である。そのため、ユーザによる一連の位置指示操作の終了直前の所定期間において、下側LCD120の表示領域に対して上側LCD110の表示領域が存在する方向への指示位置の変化があったことを条件としてもよい。
具体的な実装方法としては、タッチパネル122によるユーザ操作の検出から終了までの検出される2次元座標値の時間的な変化を記憶しておき、ユーザ操作の検出が終了したとき(検出されていた状態から検出されなくなった状態に変化したタイミング)から、過去の所定期間の長さにおける2次元座標値について、その最低の値と最高の値との差が所定のしきい値を超えるか否かを判断するような処理を採用することができる。
大体的に、タッチパネル122によりユーザが操作が検出されている間における、検出される2次元座標値の時間的な変化量が所定のしきい値を超えるか否かを判断してもよい。
上述のような操作によって、作成中のアルバムに含まれるメイン画像に何らかの音声が関連付けられると、その関連付けられた状態を示すための通知画像であるアイコン294が対応する対象画像の上に重ねて表示される。大体的に、アイコン294を対象画像に近接して表示してもよい。
このアイコン294は、当該対象画像に関連付けられている音声に対応する音声アイコンと実質的に同じ図柄が好ましい。ユーザが対象画像にいずれの音声が対応付けられているかを一見して把握できるようにするためである。
本実施の形態に従うゲーム装置1においては、メイン画像に対して既に何らかの音声が関連付けられている場合であっても、ユーザによる新たな一連の位置指示操作に応答して、別の音声を関連付けることが可能である。すなわち、本実施のゲーム装置1においては、アルバムに含まれるメイン画像に対して既に他の音声が関連付けられている場合であっても、ユーザによる一連の位置指示操作に応答して、先に関連付けられている音声との関連付けを無効化するとともに、新たに選択された音声アイコンに対応する音声を対象のメイン画像と関連付ける。
これにより、ユーザは、関連付ける音声を自由に変更することができる。これらの処理について、図18および図19を参照してより詳細に説明する。
図18および図19は、本実施の形態に従う効果音関連付け処理における別の操作例を示す図である。図18を参照して、上述のようなユーザ操作によって、アルバムの対象画像に対して既に音声が関連付けられているとする。このとき、上側LCD110に表示される当該対象画像の上にアイコン294が重ねて表示されている。
この状態において、図19に示すように、ユーザが、スタイラスペン177などを用いて、表示される一覧表示288に含まれる別の音声アイコンを選択した後、当該選択した音声アイコンを上側LCD110に向けて「はじく」ような操作をしたとする。この操作が所定条件を満たしていれば、上側LCD110に表示される当該対象画像の上に重ねて表示されていたアイコン294が、画面下側に「落ちる」ような演出とともに、画面上から削除されるとともに、ユーザが選択した新たな音声アイコンに対応するアイコン295が対象画像の上に重ねて表示される。
本実施の形態に従うゲーム装置1においては、上述のようなユーザによるスタイラスペン177などを用いた一連の位置指示操作に加えて、他の入力方法も用意されている。
すなわち、再度図14〜図19を参照して、上述の図12および図13と同様に、下側LCD120には操作画像272および274が表示されている。そして、ユーザがスタイラスペン177などを用いて、「いれる」と表示された操作画像274をタッチ操作すると、下側LCD120において選択されている音声アイコンに対応する音声が上側LCD110に表示されている対象画像に対応するメイン画像と関連付けられる。一方、ユーザがスタイラスペン177などを用いて、「はずす」と表示された操作画像272をタッチ操作すると、上側LCD110に表示されている対象画像に対応するメイン画像に関連付けられている音声が削除される。すなわち、対象画像に対応するメイン画像に対する音声との関連付けが無効化される。
なお、一覧表示286または288の上に重ねて表示される選択表示画像290は、ユーザによる十字ボタン161(図1参照)に対する操作に応答して位置を変化させることができる。すなわち、ユーザは、十字ボタン161を操作することで、関連付ける音声(音声アイコン)を選択することができる。
さらに、ユーザが操作ボタン162Aを押下すると、「いれる」と表示された操作画像274がタッチ操作された場合と同様に、下側LCD120において選択されている音声アイコンに対応する音声が上側LCD110に表示されている対象画像に対応するメイン画像と関連付けられる。また、ユーザが操作ボタン162Aを押下すると、「はずす」と表示された操作画像272がタッチ操作された場合と同様に、上側LCD110に表示されている対象画像に対応するメイン画像に関連付けられている音声が削除される。
以上のような処理によって、ユーザは、作成中のアルバムに含まれる対象画像の各々に対して、自由に音声を関連付けることができる。
(i3:らくがき処理)
らくがき処理においては、ゲーム装置1に保存されている各画像にユーザが任意にオブジェクトを追加することができる。このらくがき処理は、図12または図13に示す画面表示において、操作画像254がタッチ操作されると開始される。
このらくがき処理によって生成された、オブジェクトが追加された画像は、元の画像に上書き保存されてもよいが、別のデータとして保存されることが好ましい。このようにユーザが変更した画像を別のデータとして保存することで、ユーザは、撮像などによって取得された画像を自由に加工して楽しむことができるとともに、元の画像に加えて、加工後の画像を含む候補から、アルバムを構成する画像を任意に選択することができる。
さらに、作成中のアルバムに用いられる対象画像に対してらくがき処理が実行された場合には、その加工後の画像(オブジェクトが追加された画像)を(元の対象画像を維持したまま)当該作成中のアルバムに用いられる新たな対象画像として追加してもよい。
このようならくがき処理の具体的な一例としては、ユーザがスタイラスペン177などを用いて、画像上に任意の図形や文字を追加することができる。この場合、追加する図形や文字の太さ・色・形状などを任意に変更できるユーザインターフェイスも併せて提供されることが好ましい。
別の例としては、ユーザがスタイラスペン177などを用いて、画像上の任意の位置にオブジェクト(スタンプ)を配置することができる。この場合、配置されるスタンプの種類などを任意に変更できるユーザインターフェイスも併せて提供されることが好ましい。
上述した内容に限られず、本実施の形態に従うらくがき処理においては、画像に対する各種の加工の形態を採用することができる。
(i4:プレビュー処理)
プレビュー処理においては、作成中のアルバムをプレビュー表示する。すなわち、ユーザは、作成中のアルバムから生成されるアルバムデータが再生された場合に表示される内容を事前に確認することができる。
図20および図21は、本発明の実施の形態に従うプレビュー処理における画面例を示す図である。プレビュー処理は、図12または図13に示す画面表示において、操作画像256がタッチ操作されると開始される。すなわち、図12または図13に示す画面表示において、操作画像256がタッチ操作されると、図20に示すような画面表示に切り替わる。
図20を参照して、上側LCD110には、作成中のアルバムの内容が表示される。すなわち、上側LCD110には、作成中のアルバムに含まれる画像が所定の順序で時間的に切り替えられて表示される。このとき、画像の表示にあわせて、効果音関連付け処理によって関連付けられた音声も再生される。なお、ユーザにプレビュー表示であることを通知するために、「おためし再生中・・・」というメッセージが上側LCD110に表示される。
また、下側LCD120には、「このアルバムを完成させますか?」というメッセージ画像とともに、アルバムの完成(アルバムデータの生成および出力)を指示する操作画像302と、プレビュー処理の中止を指示する操作画像304とが表示される。
すなわち、ユーザがスタイラスペン177などを用いて、「完成させる」と表示された操作画像302をタッチ操作すると、図21に示すような画面表示に遷移する。また、ユーザがスタイラスペン177などを用いて、「もどる」と表示された操作画像304をタッチ操作すると、図12または図13に示す画面表示に戻る。
図21に示す画面表示においては、後述するアルバムデータ出力処理によって生成されるアルバムデータの保存先をユーザに問い合わせる。すなわち、出力されるアルバムデータは、ゲーム装置1の本体内、または、ゲーム装置1に装着される記憶デバイスに保存される。
図21に示す画面表示においては、下側LCD120には、「アルバムの保存先を選んでください」というメッセージ画像とともに、ゲーム装置1に内蔵される不揮発性メモリ136(図4参照)を保存先に設定することを指示する操作画像306と、ゲーム装置1に装着されるメモリカード173(図1参照;典型的にはSDカード)を保存先に設定することを指示する操作画像308と、図20に示す画面表示に戻ることを指示する操作画像310とが表示される。
すなわち、ユーザがスタイラスペン177などを用いて、「本体」と表示された操作画像306をタッチ操作すると、アルバムデータの出力先(保存先)が不揮発性メモリ136に設定された上で、後述するアルバムデータ出力処理が開始される。また、ユーザがスタイラスペン177などを用いて、「SDカード」と表示された操作画像308をタッチ操作すると、アルバムデータの出力先(保存先)がメモリカード173に設定された上で、後述するアルバムデータ出力処理が開始される。
(i5:アルバムデータ出力処理)
アルバムデータ出力処理においては、作成されたアルバムからアルバムデータを生成し、予め設定されている保存先にそのアルバムデータを出力する。このアルバムデータの生成時には、各アルバムデータについての属性情報(典型的には、作成日時、タイトル、表示用アイコンなど)をユーザが任意に指定することができる。
図22〜図26は、本発明の実施の形態に従うアルバムデータ出力処理における画面例を示す図である。図21に示す画面表示において、操作画像306または操作画像308がタッチ操作されると、図22に示す画面表示に遷移してアルバムデータ出力処理が開始される。
図22に示す画面表示においては、生成されるアルバムデータに付与される属性情報を示すメッセージ画像360およびアイコン318が上側LCD110に表示される。このメッセージ画像360は、作成日時および当該アルバムのタイトルを表示する。アイコン318は、図示しないHOMEメニューにおいて、アルバムデータが選択可能に表示される際のアイコンに対応する。
下側LCD120は、これらのタイトルおよびアイコンを変更するためのユーザインターフェイスを提供する。より具体的には、下側LCD120には、タイトルの変更を指示する操作画像312と、アイコンの変更を指示する操作画像314と、アルバムデータ出力処理の完了を指示する操作画像316とが表示される。
すなわち、ユーザがスタイラスペン177などを用いて、「タイトルを変更する」と表示された操作画像312をタッチ操作すると、図23に示すような画面表示に遷移する。また、ユーザがスタイラスペン177などを用いて、「アイコンを変更する」と表示された操作画像314をタッチ操作すると、図24または図25に示す画面表示に遷移する。また、ユーザがスタイラスペン177などを用いて、「決定」と表示された操作画像316をタッチ操作すると、アルバムデータの生成および出力が実行され、その後、図26に示す画面表示に遷移する。
図23に示す画面表示においては、下側LCD120がタイトルを変更するための文字入力インターフェイスを提供する。より具体的には、下側LCD120には、キーボードライクな文字入力画像320と、タイトル変更処理の中断を指示する操作画像322と、タイトル変更の確定を指示する操作画像324とが表示される。
すなわち、ユーザがスタイラスペン177などを用いて、文字入力画像320に含まれる、所望するタイトルを構成する各文字をタッチ操作すると、その入力された文字はメッセージ画像321に反映される。また、ユーザがスタイラスペン177などを用いて、「やめる」と表示された操作画像322をタッチ操作すると、それまで入力されていた文字列(メッセージ画像321に表示される文字列)はクリアされ、図22に示すような画面表示に戻る。また、ユーザがスタイラスペン177などを用いて、「決定」と表示された操作画像324をタッチ操作すると、タイトルに入力された文字列(メッセージ画像321に表示される文字列)が入力され、図22に示すような画面表示に戻る。この際、メッセージ画像360の表示内容についても、変更後のタイトルが反映される。
図24および図25に示す画面表示においては、下側LCD120がアルバムデータに付与するアイコンを選択するための入力インターフェイスを提供する。より具体的には、下側LCD120には、アルバムデータに付与可能なアイコンからなる一覧画像330または340が表示される。図24に示す一覧画像330は、対応のアルバムに含まれる対象画像から得られたアイコン(サムネイル画像)を含み、図25に示す一覧画像340は、予め用意されているアイコンを含む。そして、これらの一覧画像330および340上に選択表示画像342が表示される。この選択表示画像342は、ユーザによるスタイラスペン177などの操作、または、ユーザによる十字ボタン161(図1参照)の操作に応答して、その位置を変化させる。アイコンデータに付与されるアイコンは、この選択表示画像342によって選択される。
図24と図25との間は、相互に切り替え可能である。より具体的には、図24に示す画面表示においては、図25の画面表示への切り替えを指示する操作画像336が下側LCD120に表示され、図25に示す画面表示においては、図24の画面表示への切り替えを指示する操作画像328が下側LCD120に表示される。
すなわち、ユーザがスタイラスペン177などを用いて、図24に示す「イラストから選ぶ」と表示された操作画像336をタッチ操作すると、図25に示すような画面表示に遷移する。一方、ユーザがスタイラスペン177などを用いて、図25に示す「写真から選ぶ」と表示された操作画像338をタッチ操作すると、図24に示すような画面表示に遷移する。
また、図24および図25に示す画面表示においては、アイコン変更処理の中断を指示する操作画像332と、アイコン変更の確定を指示する操作画像334とが下側LCD120に表示される。
すなわち、ユーザがスタイラスペン177などを用いて、「もどる」と表示された操作画像332をタッチ操作すると、アイコンの変更は反映されず、図22に示すような画面表示に戻る。また、ユーザがスタイラスペン177などを用いて、「決定」と表示された操作画像334をタッチ操作すると、選択されているアイコンがアルバムデータの属性値として反映された上で、図22に示すような画面表示に戻る。
さらに、図22に示す画面表示において、ユーザがスタイラスペン177などを用いて、「決定」と表示された操作画像316をタッチ操作すると、アルバムデータが生成されるとともに、図21に示す画面表示において選択された保存先に生成されたアルバムデータが保存される。続いて、図26に示す画面表示に遷移する。
図26に示す画面表示においては、アルバムデータの作成および出力が完了したことを示す「アルバムを作成しました。」とのメッセージが下側LCD120に表示される。また、下側LCD120には、作成されたアルバムデータの再生方法をガイドする「HOMEメニューから見ることができます」とのメッセージも表示される。
また、図26に示す画面表示においては、「OK」と表示された操作画像350も表示されており、ユーザがスタイラスペン177などを用いて、この操作画像350をタッチ操作すると、図10に示すような画面表示に戻る。
(i6:アルバムデータのデータ構造)
図27は、本実施の形態に従うゲーム装置1において生成されるアルバムデータのデータ構造を示す図である。
図27を参照して、各アルバムデータ400は、メタデータ401と、画像データ群402と、音声データ群403と、アルバム設定データ404と、アルバム管理データ405とを含む。
メタデータ401は、対応するアルバムデータがHOMEメニューに表示される際に必要な情報を含む。
画像データ群402群は、アルバムを構成する対象画像を表示するデータを含み、実質的には、ゲーム装置1に予め保存されている対象画像についての画像データをコピーしたものに相当する。同様に、音声データ群403は、アルバムを構成する対象画像の各々に関連付けられた効果音を表示するためのデータを含み、実質的には、ゲーム装置1に予め保存されている音声データをコピーしたものに相当する。画像データ群402群および音声データ群403群にそれぞれ含まれる画像データおよび音声データには、順序付けされており、この順序を通じて、対象画像と効果音との関連付けが実現される。
なお、いずれの環境であっても再生できるように、アルバムに同一の画像または音声が含まれている場合であっても、アルバムデータには、それらの画像または音声のデータを重複して含めることが好ましい。
アルバム設定データ404は、アルバムに対して設定されている属性情報(タイトルやアイコン)などを含む。アルバム管理データ405は、アルバムを構成する対象画像の再生順序などを管理するための情報を含む。
<J.処理手順>
図28〜図30は、本発明の実施の形態に従うゲーム装置1において提供される表示制御処理に係るメインルーチンのフローチャートである。図31は、関連付け処理判断サブルーチンのフローチャートである。
図28〜図31に示す各フローチャートの各ステップは、典型的には、演算処理部100(図4)がプログラム(命令セット)を実行することで提供される。なお、演算処理部100で実行されるプログラムは、単一でなくともよく、基本的なOS(Operating System)を提供するプログラム(あるいは、ファームウェア)とともに、一または複数のアプリケーションが実行されてもよい。さらに、以下に示す処理の全部または一部をハードウェアによって実現してもよい。
(j1.メインルーチン)
図28〜図30を参照して、演算処理部100は、HOMEメニューに相当する画像(図示しない)を画面表示する(ステップS2)。すなわち、初期状態として、図9に示す「HOMEメニューモード」(状態ST1)にあるとする。続いて、演算処理部100は、「カメラメニューモード」の実行が指示されたか否かを判断する(ステップS4)。「カメラメニューモード」の実行が指示された場合(ステップS4においてYESの場合)には、処理はステップS14へ進む。
「カメラメニューモード」の実行が指示されていない場合(ステップS4においてNOの場合)には、演算処理部100は、「アルバム再生モード」の実行が指示されたか否かを判断する(ステップS6)。「アルバム再生モード」の実行が指示された場合(ステップS6においてYESの場合)には、演算処理部100は、「アルバム再生モード」を実行する(ステップS8)。すなわち、図9に示す「アルバム再生モード」(状態ST7)へ遷移する。「アルバム再生モード」の終了後、処理はステップS2へ戻る。
「アルバム再生モード」の実行が指示されていない場合(ステップS6においてNOの場合)には、他のアプリケーションの実行が指示されたか否かを判断する(ステップS10)。他のアプリケーションの実行が指示された場合(ステップS10においてYESの場合)には、演算処理部100は、指示されたアプリケーションを実行する(ステップS12)。当該アプリケーションの終了後、処理はステップS2へ戻る。
他のアプリケーションの実行が指示されていない場合(ステップS10においてNOの場合)には、ステップS2以下の処理が繰返される。
ステップS14において、演算処理部100は、一対の外側カメラ131Lおよび131R(図2(A)参照)、または、内側カメラ133(図1参照)を用いて入力画像を取得するための処理に係る内容を画面表示する(ステップS14)。すなわち、演算処理部100は、「撮像モード」の実行に必要なユーザインターフェイスを提供する。そして、演算処理部100は、ユーザ操作に応じて撮像処理などを実行する(ステップS16)。
あわせて、演算処理部100は、「閲覧モード」(状態ST4)の実行が指示されたか否かを判断する(ステップS18)。「閲覧モード」(状態ST4)の実行が指示された場合(ステップS18においてYESの場合)には、ステップS20以下の処理が実行される。これに対して、「閲覧モード」(状態ST4)の実行が指示されていない場合(ステップS18においてNOの場合)には、ステップS16以下の処理が実行される。
ステップS20において、演算処理部100は、ゲーム装置1に保存されている画像を読出すとともに、図10に示すような内容を上側LCD110および下側LCD120に表示する。続いて、演算処理部100は、一覧画像202Aとして表示されているサムネイル画像のうち現在選択されているサムネイル画像とは異なるサムネイル画像を選択する指示を受けたか否かを判断する(ステップS22)。現在選択されているサムネイル画像とは異なるサムネイル画像を選択する指示を受けた場合(ステップS22においてYESの場合)には、演算処理部100は、選択されたサムネイル画像を上側LCD110に拡大表示する(ステップS24)。そして、ステップS22以下の処理が繰返される。
これに対して、現在選択されているサムネイル画像とは異なるサムネイル画像を選択する指示を受けていない場合(ステップS22においてNOの場合)には、演算処理部100は、「スライドショーモード」(図9に示す状態ST6)へ切り替える指示を受けたか否かを判断する(ステップS26)。すなわち、図10に示す操作画像212に対する座標指示が与えられたか否かが判断される。「スライドショーモード」へ切り替える指示を受けた場合(ステップS26においてYESの場合)には、演算処理部100は、ゲーム装置1に保存されている画像に対してランダムに順序付するとともに、当該順序付に従って、上側LCD110に各画像を所定時間毎に切り替えて表示する。演算処理部100は、予め指定された設定内容に基づいて演出(イフェクト)を付加する。すなわち、演算処理部100は、「スライドショーモード」に係る処理を実行する(ステップS28)。当該「スライドショーモード」に係る処理の終了後、ステップS22以下の処理が繰返される。
これに対して、「スライドショーモード」へ切り替える指示を受けていない場合(ステップS26においてNOの場合)には、演算処理部100は、「撮像モード」(図9に示す状態ST3)へ切り替える指示を受けたか否かを判断する(ステップS30)。すなわち、図10に示す操作画像214に対する座標指示が与えられたか否かが判断される。「撮像モード」へ切り替える指示を受けた場合(ステップS30においてYESの場合)には、演算処理部100は、「撮像モード」に係る処理を実行する(ステップS32)。当該「撮像モード」に係る処理の終了後、ステップS22以下の処理が繰返される。
これに対して、「撮像モード」へ切り替える指示を受けていない場合(ステップS30においてNOの場合)には、演算処理部100は、「閲覧モード」に関する各種設定処理へ切り替える指示を受けたか否かを判断する(ステップS34)。すなわち、図10に示す操作画像216に対する座標指示が与えられたか否かが判断される。「閲覧モード」に関する各種設定処理へ切り替える指示を受けた場合(ステップS34においてYESの場合)には、演算処理部100は、「閲覧モード」に関する各種設定処理を実行する(ステップS36)。当該「閲覧モード」に関する各種設定処理の終了後、ステップS22以下の処理が繰返される。
これに対して、「閲覧モード」に関する各種設定処理へ切り替える指示を受けていない場合(ステップS34においてNOの場合)には、演算処理部100は、「アルバム作成モード」(図9に示す状態ST5)へ切り替える指示を受けたか否かを判断する(ステップS38)。すなわち、図10に示す操作画像210に対する座標指示が与えられたか否かが判断される。「アルバム作成モード」へ切り替える指示を受けていない場合(ステップS38においてNOの場合)には、ステップS22以下の処理が繰返される。
「アルバム作成モード」へ切り替える指示を受けた場合(ステップS38においてYESの場合)には、演算処理部100は、図11に示すような内容を上側LCD110および下側LCD120に表示する(ステップS40)。すなわち、演算処理部100は、ユーザに対して、アルバムに使用される対象画像を自動的に初期選択する機能(自動画像選択)の実行要否を問い合わせる。続いて、演算処理部100は、自動画像選択を実行する指示を受けたか否かを判断する(ステップS42)。すなわち、図11に示す操作画像242に対する座標指示、および、図11に示す操作画像244に対する座標指示のいずれが与えられたか否かが判断される。
自動画像選択を実行する指示を受けた場合(ステップS42においてYESの場合)には、演算処理部100は、予め用意された複数のテーマのうち1つのテーマをランダムに選択し、当該選択したテーマに対応する選択規則に従って、ゲーム装置1に保存されている画像から1つ以上の画像を対象画像として抽出する(ステップS44)。なお、演算処理部100は、アルバムに含まれる対象画像を示す情報をメインメモリ138(図4参照)に保持する。この情報には、アルバム内における順序に関連付けて、各対象画像を示す画像データを特定するための情報(フォルダ名およびファイル名など)が保持されている。
これに対して、自動画像選択を実行しないとの指示を受けた場合(ステップS42においてNOの場合)には、演算処理部100は、ステップS44の処理をスキップする。
その後、演算処理部100は、図12または図13に示すような内容を上側LCD110および下側LCD120に表示する(ステップS46)。
演算処理部100は、上側LCD110に表示される作成中のアルバムに含まれる対象画像のうち現在選択されている対象画像とは異なる対象画像を選択する指示を受けたか否かを判断する(ステップS48)。現在選択されている対象画像とは異なる対象画像を選択する指示を受けた場合(ステップS48においてYESの場合)には、演算処理部100は、新たに選択された対象画像を表示するように上側LCD110の表示内容を更新する(ステップS50)。そして、処理はステップS52へ進む。
これに対して、現在選択されている対象画像とは異なる対象画像を選択する指示を受けていない場合(ステップS48においてNOの場合)には、演算処理部100は、ステップS50の処理をスキップする。
続いて、演算処理部100は、下側LCD120に表示される一覧画像202として表示されている画像のうち現在選択されているサムネイル画像とは異なるサムネイル画像を選択する指示を受けたか否かを判断する(ステップS52)。現在選択されているサムネイル画像とは異なるサムネイル画像を選択する指示を受けた場合(ステップS52においてYESの場合)には、演算処理部100は、新たに選択されたサムネイル画像がユーザに示されるように下側LCD120の表示内容を更新する(ステップS54)。
これに対して、現在選択されているサムネイル画像とは異なるサムネイル画像を選択する指示を受けていない場合(ステップS52においてNOの場合)には、演算処理部100は、ステップS54の処理をスキップする。
続いて、演算処理部100は、選択されているサムネイル画像に対応するメイン画像を、アルバムへ追加する指示を受けたか否かを判断する(ステップS56)。アルバムへ追加する指示を受けた場合(ステップS56においてYESの場合)には、演算処理部100は、作成中のアルバムに選択されているサムネイル画像に対応するメイン画像を新たな対象画像として追加する(ステップS58)。そして、演算処理部100は、この対象画像の追加に伴って、上側LCD110での表示内容を更新する。
より具体的には、演算処理部100は、メインメモリ138に保持されているアルバムに含まれる対象画像を示す情報を更新する。この際、新たに追加されたメイン画像を含めてアルバムに含まれるすべての対象画像に対して順序付けが更新される。そのため、新たに追加されたメイン画像の後に位置していた対象画像については、それぞれの順序が繰下がることになる。
これに対して、アルバムへ追加する指示を受けていない場合(ステップS56においてNOの場合)には、演算処理部100は、ステップS58の処理をスキップする。
続いて、演算処理部100は、選択されている対象画像を作成中のアルバムから削除する指示を受けたか否かを判断する(ステップS60)。アルバムから削除する指示を受けた場合(ステップS60においてYESの場合)には、演算処理部100は、作成中のアルバムから選択されている対象画像を削除する(ステップS62)。そして、演算処理部100は、この対象画像の削除に伴って、上側LCD110での表示内容を更新する。
より具体的には、演算処理部100は、メインメモリ138に保持されているアルバムに含まれる対象画像を示す情報を更新する。この際、新たに削除された対象画像を除く残りの対象画像に対して順序付けが更新される。そのため、削除された対象画像の後に位置していた対象画像については、それぞれの順序が繰上がることになる。
これに対して、アルバムから削除する指示を受けていない場合(ステップS60においてNOの場合)には、演算処理部100は、ステップS62の処理をスキップする。
上述したステップS42〜S62は、上述した素材選択処理の内容に相当する。
続いて、演算処理部100は、効果音関連付け処理を開始する指示を受けたか否かを判断する(ステップS64)。すなわち、図12または図13に示す操作画像252に対する座標指示が与えられたか否かが判断される。
効果音関連付け処理を開始する指示を受けた場合(ステップS64においてYESの場合)には、演算処理部100は、図14または図15に示すような内容を上側LCD110および下側LCD120に表示する(ステップS66)。
続いて、演算処理部100は、タッチパネル122(図1など参照)においてユーザ操作が受け付けられたか否かを判断する(ステップS68)。タッチパネル122においてユーザ操作が受け付けられた場合(ステップS68においてYESの場合)には、演算処理部100は、関連付け処理判断サブルーチンを実行する(ステップS70)。この関連付け処理判断サブルーチンは、ユーザがスタイラスペン177などを用いて、一連の位置指示操作をした場合に、選択されている対象画像に対して何らかの効果音の関連付けを実行する否かを判断する処理である。この関連付け処理判断サブルーチンの詳細については、後述する。そして、処理はステップS74へ進む。
これに対して、タッチパネル122においてユーザ操作が受け付けられていない場合(ステップS68においてNOの場合)には、演算処理部100は、ステップS70の処理をスキップする。
続いて、演算処理部100は、下側LCD120に表示される一覧表示286または288として表示されている音声アイコンのうち現在選択されている音声アイコンとは異なる音声アイコンを選択する指示を受けたか否かを判断する(ステップS74)。現在選択されている音声アイコンとは異なる音声アイコンを選択する指示を受けた場合(ステップS74においてYESの場合)には、演算処理部100は、新たに選択された音声アイコンがユーザに示されるように下側LCD120の表示内容を更新するとともに、新たに選択された音声アイコンに対応する音声を再生する(ステップS76)。
これに対して、現在選択されている音声アイコンとは異なる音声アイコンを選択する指示を受けていない場合(ステップS74においてNOの場合)には、演算処理部100は、ステップS76の処理をスキップする。
続いて、演算処理部100は、選択されている音声アイコンに対応する音声を、選択されている対象画像に対応するメイン画像と関連付ける指示を受けたか否かを判断する(ステップS78)。音声をメイン画像と関連付ける指示を受けた場合(ステップS78においてYESの場合)には、演算処理部100は、選択されている対象画像に対応するメイン画像に選択されている音声アイコンに対応する音声を関連付ける(ステップS80)。そして、演算処理部100は、この効果音関連付け処理の実行に伴って、上側LCD110での表示内容を更新する。
より具体的には、演算処理部100は、メインメモリ138に保持されているアルバムに含まれる対象画像を示す情報を更新する。この際、音声データを特定するための情報(フォルダ名およびファイル名など)と、関連付けた対象画像の画像データを特定するための情報とが関連付けられた態様で保持される。
これに対して、音声をメイン画像と関連付ける指示を受けていない場合(ステップS78においてNOの場合)には、演算処理部100は、ステップS80の処理をスキップする。
続いて、演算処理部100は、選択されている対象画像に対応するメイン画像に関連付けられている音声を削除する指示を受けたか否かを判断する(ステップS82)。メイン画像に関連付けられている音声を削除する指示を受けた場合(ステップS82においてYESの場合)には、演算処理部100は、選択されている対象画像に対応するメイン画像に関連付けられている音声を削除する(ステップS84)。そして、演算処理部100は、この関連付けられている音声の削除に伴って、上側LCD110での表示内容を更新する。
より具体的には、演算処理部100は、メインメモリ138に保持されているアルバムに含まれる対象画像を示す情報を更新する。この際、当該情報のうち、対象の音声データを特定するための情報(フォルダ名およびファイル名など)が削除される。
これに対して、メイン画像に関連付けられている音声を削除する指示を受けていない場合(ステップS83においてNOの場合)には、演算処理部100は、ステップS84の処理をスキップする。
続いて、演算処理部100は、効果音関連付け処理を終了する指示を受けたか否かを判断する(ステップS86)。すなわち、図14〜図19に示す操作画像280に対する座標指示が与えられたか否かが判断される。
効果音関連付け処理を終了する指示を受けた場合(ステップS86においてYESの場合)には、処理はステップS90へ進む。また、効果音関連付け処理を開始する指示を受けた場合(ステップS64においてNOの場合)にも、処理はステップS90へ進む。
これに対して、効果音関連付け処理を終了する指示を受けていない場合(ステップS86においてNOの場合)には、ステップS66以下の処理が繰返される。
上述したステップS66〜S86は、上述した効果音関連付け処理の内容に相当する。
ステップS90において、演算処理部100は、らくがき処理を開始する指示を受けたか否かを判断する(ステップS90)。すなわち、図12または図13に示す操作画像254に対する座標指示が与えられたか否かが判断される。
らくがき処理を開始する指示を受けた場合(ステップS90においてYESの場合)には、演算処理部100は、ユーザ操作に応じてらくがき処理を実行する(ステップS92)。そして、演算処理部100は、らくがき処理を終了する指示を受けたか否かを判断する(ステップS94)。らくがき処理を終了する指示を受けた場合(ステップS94においてYESの場合)には、処理はステップS96へ進む。これに対して、らくがき処理を終了する指示を受けていない場合(ステップS94においてNOの場合)には、ステップS92以下の処理が繰返される。
これに対して、らくがき処理を開始する指示を受けていない場合(ステップS90においてNOの場合)には、処理はステップS98へ進む。
上述したステップS92〜S96は、上述したらくがき処理の内容に相当する。
ステップS96において、演算処理部100は、アルバム作成処理を完了する指示を受けたか否かを判断する(ステップS96)。すなわち、図12または図13に示す操作画像256に対する座標指示が与えられたか否かが判断される。アルバム作成処理を完了する指示を受けていない場合(ステップS96においてNOの場合)には、ステップS22以下の処理が繰返される。
アルバム作成処理を完了する指示を受けた場合(ステップS96においてYESの場合)には、演算処理部100は、作成中のアルバムの内容を上側LCD110に表示する(ステップS98)。さらに、演算処理部100は、アルバムの完成の指示を受けたか否かを判断する(ステップS100)。すなわち、図20に示す操作画像302に対する座標指示が与えられたか否かが判断される。アルバムの完成の指示を受けていない場合(ステップS100においてNOの場合)には、ステップS98以下の処理が繰返される。
アルバムの完成の指示を受けた場合(ステップS100においてYESの場合)には、演算処理部100は、生成されるアルバムデータの保存先をユーザに問い合わせる内容を画面表示する(ステップS102)。すなわち、演算処理部100は、図21に示すような内容を上側LCD110および下側LCD120に表示する。
続いて、演算処理部100は、アルバムデータの保存先の指示を受けたか否かを判断する(ステップS104)。すなわち、図21に示す操作画像306および操作画像308のいずれに対して座標指示が与えられたか否かが判断される。
アルバムデータの保存先として不揮発性メモリ136(図4参照)が指示された場合(ステップS104において「本体」の場合)には、演算処理部100は、アルバムデータの保存先として不揮発性メモリ136に設定する(ステップS106)。そして、処理はステップS110へ進む。
これに対して、アルバムデータの保存先として不揮発性メモリ136(図4参照)が指示された場合(ステップS104において「SDカード」の場合)には、演算処理部100は、アルバムデータの保存先としてメモリカード173(図1参照)に設定する(ステップS108)。そして、処理はステップS110へ進む。
上述したステップS96〜S108は、上述したプレビュー処理の内容に相当する。
ステップS110において、演算処理部100は、対象のアルバムに関する属性情報を取得するとともに、当該収集した属性情報を初期値としてアルバムデータ出力処理をユーザに通知する(ステップS110)。すなわち、演算処理部100は、図22に示すような内容を上側LCD110および下側LCD120に表示する。続いて、演算処理部100は、アルバムデータの属性情報の内容を変更する指示を受けたか否かを判断する(ステップS112)。すなわち、図22に示す操作画像312および操作画像314のいずれに対して座標指示が与えられたか否かが判断される。
アルバムデータの属性情報のうちタイトルの変更が指示された場合(ステップS112において「タイトル」の場合)には、演算処理部100は、新たなタイトルの入力を受け付ける(ステップS114)。すなわち、演算処理部100は、図23に示すような内容を上側LCD110および下側LCD120に表示するとともに、タッチパネル122において受け付けられた位置指示操作に応答して、対応する文字列の入力を受け付ける。文字列の入力が完了すると、処理はステップS118へ進む。
アルバムデータの属性情報のうちアイコンの変更が指示された場合(ステップS112において「アイコン」の場合)には、演算処理部100は、アイコンの変更指示を受け付ける(ステップS116)。すなわち、演算処理部100は、図24または図25に示すような内容を上側LCD110および下側LCD120に表示するとともに、タッチパネル122において受け付けられた位置指示操作に応答して、選択されるアイコンの入力を受け付ける。アイコンの選択が完了すると、処理はステップS118へ進む。
ステップS118において、演算処理部100は、アルバムデータ出力処理の完了の指示を受けたか否かを判断する(ステップS118)。すなわち、図22に示す操作画像316に対して座標指示が与えられたか否かが判断される。
アルバムデータ出力処理の完了の指示を受けた場合(ステップS118においてYESの場合)には、演算処理部100は、メインメモリ138(図4参照)に保持されている情報(対象画像を示す画像データを特定するための情報(フォルダ名およびファイル名など)や、各対象画像に関連付けられている音声データを特定するための情報(フォルダ名およびファイル名など))に基づいて、アルバムデータを生成する(ステップS120)。すなわち、演算処理部100は、図27に示すようなデータ構造を有するアルバムデータを生成する。さらに、演算処理部100は、生成されたアルバムデータをステップS106またはステップS108において設定された保存先に出力(保存)する(ステップS122)。
これに対して、アルバムデータ出力処理の完了の指示を受けていない場合(ステップS118においてNOの場合)には、ステップS112以下の処理が繰返される。
上述したステップS110〜S120は、上述したアルバムデータ出力処理の内容に相当する。
そして、処理を終了する。
(j2.関連付け処理判断サブルーチン)
次に図31を参照して、上述のステップS70において実行される関連付け処理判断サブルーチンの処理内容について説明する。なお、図16〜図19に示す操作例についても併せて参照されたい。
まず、演算処理部100は、タッチパネル122によりユーザ操作の検出が開始されたタイミングで検出された2次元座標値(指示位置)、すなわち指示開始位置を取得する(ステップS701)。続いて、演算処理部100は、ステップS701において取得された指示開始位置に対応する位置に音声アイコンが存在するか否かを判断する(ステップS702)。ステップS701において取得された指示開始位置に対応する位置に音声アイコンが存在しない場合(ステップS702においてNOの場合)には、演算処理部100は、関連付け処理判断サブルーチンについての処理を終了し、メインルーチンにリターンする。
ステップS701において取得された指示開始位置に対応する位置に音声アイコンが存在する場合(ステップS702においてYESの場合)には、演算処理部100は、対応する音声アイコンを選択状態にする(ステップS703)。そして、演算処理部100は、選択状態にされた音声アイコンに対応する音声を再生する(ステップS704)。
続いて、演算処理部100は、タッチパネル122によりユーザ操作の検出が継続しているか否かを判断する(ステップS705)。
タッチパネル122によりユーザ操作の検出が継続している場合(ステップS705においてYESの場合)には、演算処理部100は、現在の検出サイクル(現フレーム)において検出されている2次元座標値(指示位置)を格納する(ステップS706)。この格納される2次元座標値(指示位置)は、後述の効果音関連付け処理を実行するか否かの判断に用いられる。続いて、演算処理部100は、対応する音声アイコンをタッチパネル122において検出される2次元座標値の変化(引き続く指示位置の変化)に応じて、当該音声アイコンの位置を更新する(ステップS707)。すなわち、ユーザによるスタイラスペン177などの操作に応じて、演算処理部100は、選択された音声アイコンが引き出される(ドラッグされる)ような演出を提供する。そして、演算処理部100は、次の検出サイクル(次フレーム)まで待ち(ステップS708)、ステップS705以下の処理を繰返す。
これに対して、タッチパネル122によりユーザ操作の検出が継続していない場合(ステップS705においてNOの場合)、すなわち、ユーザによる一連の位置指示操作が終了した場合には、演算処理部100は、過去の所定数の検出サイクルにおける2次元座標値(指示位置)の変化に基づいて、関連付け処理を実行すべきか否かを判断する(ステップS709)。より具体的には、演算処理部100は、連続する所定回数の検出サイクルにそれぞれ対応する2次元座標値のうち、下側LCD120において最も下側に位置する座標値(紙面上下方向の最小値)と最も上側に位置する座標値(紙面上下方向の最大値)との差を算出し、さらに、算出した座標値の差が予め定められたしきい値を超えたか否かを判断する。
関連付け処理を実行すべきと判断された場合(ステップS709においてYESの場合)には、演算処理部100は、ステップS703において選択された音声アイコンに対応する音声を、選択されている対象画像に対応するメイン画像に関連付ける(ステップS710)。そして、演算処理部100は、関連付け処理判断サブルーチンについての処理を終了し、メインルーチンにリターンする。
関連付け処理を実行すべきではないと判断された場合(ステップS709においてNOの場合)には、関連付け処理判断サブルーチンについての処理を終了し、メインルーチンにリターンする。
<K.変形例>
(k1.変形例1)
上述の実施の形態においては、上側LCD110と下側LCD120とが回転軸を介して互いに対面するような折り畳み構造を採用するゲーム装置1について例示したが、この形態に限られるものではない。たとえば、上側LCD110を収納するハウジングと下側LCD120を収納するハウジングとがスライド式に係合するような形態であってもよい。さらに、同一のハウジングに、複数のLCDが配置されているのような形態であってもよい。
複数のLCDの相対的な位置関係は、縦方向に限られず、横方向に複数のLCDが並べられた構成を採用することもできる。
さらに、同一の表示装置内に、複数の表示領域を設けてもよい。たとえば、相対的に大きな表示装置を採用するとともに、その表示面内に、互いに識別可能に区分された複数の表示領域を設けてもよい。この際、第1の表示領域および/または第2の表示領域を複数設けてもよい。たとえば、表示装置の表示面の中心部に第2の表示領域を配置するとともに、その上下左右のうち複数の方向(たとえば、上方向と下方向)に複数の第1の表示領域を配置することができる。このような構成を採用した場合には、第2の表示領域に対するユーザ操作の方向に応じて、関連付け先を、上方向に位置する第1の表示領域に表示されるオブジェクトおよび下方向に位置する第1の表示領域のいずれであるかを判断してもよい。
(k1.変形例2)
上述の実施の形態においては、本発明のある実施形態として、情報処理装置の一例であるゲーム装置1として具現化した例を示すが、これ以外の態様をとることもできる。
たとえば、本発明は、何らかの情報処理装置(上述したような、ゲーム装置1)に内蔵された固定の(non-transitory)コンピュータ読取可能な記憶媒体、あるいは、情報処理装置と着脱可能な固定のコンピュータ読取可能な記憶媒体に格納される情報処理プログラム(命令セット)として具現化することもできる。
前者の場合には、第1および第2の表示領域を有する表示手段を有する処理装置に当該情報処理プログラムが読み込まれて、その処理がコンピュータで実行される。
後者の場合には、ゲーム装置や携帯端末のようなコンピュータを有する処理装置本体と、当該処理装置本体に情報処理プログラムを提供する記憶媒体とを含む情報処理システムとして構成される。
なお、いずれの場合であっても、コンピュータ読取可能な記憶媒体に格納される情報処理プログラムは、上述したゲーム装置1によって提供される処理に必要なプログラムのすべてを含む必要はない。すなわち、ゲーム装置1などの処理装置本体が本来的に有している命令セットやライブラリを利用して、上述したような本実施の形態に従うゲーム装置1が提供する処理を実現してもよい。
さらに、上述の実施の形態においては、一連の処理が単一のゲーム装置1において実行される場合を説明したが、上記一連の処理が複数の情報処理装置において分散的に実現されてもよい。例えば、端末装置と、当該端末装置とネットワークを介して通信可能なサーバ装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ装置によって実行されてもよい。さらに、端末装置と、当該端末装置とネットワークを介して通信可能なサーバ装置とを含む情報処理システムにおいて、上記一連の処理のうちの主要な処理がサーバ装置によって実行され、当該端末装置では一部の処理が実行されてもよい。
なお、本発明は、複数のデータ間の関連付けを行うためのユーザインターフェイスに関するものであり、関連付けの対象となるデータの種類は問わないことは言うまでもない。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。