JP2013106288A - 電子機器、表示制御方法、およびプログラム - Google Patents

Abstract

【課題】動画像を構成するフレームに異常があっても、再生時において動画像の乱れを低減可能にする電子機器を提供する。
【解決手段】電子機器は、複数の３次元画像フレームの各々をディスプレイに表示する前に、当該複数の３次元画像フレームの各々を構成する左目用フレームと右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断する。電子機器は、複数の３次元画像フレームを前記予め定められた順序および時間間隔でディスプレイに表示するに際し、３次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方に物体の画像が含まれていると判断すると、当該３次元画像フレームをディスプレイに表示する代わりに、左目用フレームと右目用フレームとのうち、物体の画像が含まれていないと判断された他方のフレームに基づく２次元画像をディスプレイに表示する。
【選択図】図３

Description

本発明は、電子機器、表示制御方法、およびプログラムに関する。特に、本発明は、立体画像データを生成する電子機器、当該電子機器における表示制御方法、および当該電子機器を制御するためのプログラムに関する。

従来、デジタル撮像を行なうデジタル方式の撮像装置が知られている。特許文献１には、上記撮像装置として、光電変換を用いて被写体の画像を取得する画像取得手段と、当該画像取得手段により時系列的に取得される複数の画像に基づいて、撮影者の手指が撮影対象領域内に含まれているか否かを判定する判定手段とを備える装置が開示されている。また、当該撮像装置は、指が写っていると判定した場合、撮像画像から指が写っている領域を削除する。さらに、撮像装置は、当該削除により得られた画像を記録媒体に記録する。

また、従来、撮像により得られた左目用画像データと右目用画像データとに基づいて、立体画像を表示するための立体画像データを生成する複眼式の撮像装置が知られている。

特許文献２には、上記複眼式の撮像装置として、複眼カメラが開示されている。複眼カメラは、２つの撮影部が取得した視点画像の画角に障害物が含まれているか否かを判定する。具体的には、複眼カメラは、視点画像の周囲の所定範囲の領域に障害物が含まれるか否かを判定する。複眼カメラは、障害物が含まれていると判定された場合、障害物が含まれる障害物領域を立体視可能なように、２つの撮影部が取得した視点画像を修正する。さらに、複眼カメラは、修正された視点画像を用いて３次元処理を行い、立体表示用画像を生成する。

特許文献３には、上記複眼式の撮像装置として、複眼デジタルカメラが開示されている。当該複眼デジタルカメラは、複数の撮像手段と、縦撮りか否かを検出する検出手段と、複数の撮像手段のうちの一部又は全部の撮像手段から得られる画像を記録媒体に記録する記録手段と、撮影を指示するシャッタボタンと、検出手段により縦撮りが検出され、かつシャッタボタンにより撮影が指示された場合に、複数の撮像手段のうちの一部の撮像手段から得られる画像を記録媒体に記録するように記録手段を制御する制御手段とを備える。

特開２００４−４０７１２号公報 特開２０１０−２８８２５３号公報 特開２００８−１４１５１４号公報

しかしながら、特許文献１の撮像装置は、上述したように、指写り領域の判定に加えて、撮像画像から指写り領域を削除するためのデータ処理を行なう必要があるため、データ処理に時間を要する。また、特許文献１には、指写り領域の判定については開示しているが、立体画像データを得るための構成については、なんら言及されていない。

また、特許文献２の複眼カメラは、立体画像を得るために、２つの撮影部が取得した視点画像を修正する構成である。しかしながら、当該複眼カメラは、障害物が含まれるか否かを判断するためのデータ処理と、２つの撮像部が取得した視点画像の少なくとも一方を修正するためのデータ処理とが必要であるため、データ処理に時間を要する。

また、特許文献３の複眼式のデジタルカメラは、縦撮りの場合、複数の撮像手段のうち予め定められた撮像手段からの得られる画像のみを記録媒体に記録する。このため、当該予め定められた撮像手段のレンズにユーザの指や当該複眼式デジタルカメラのストラップ等の物体がかかった場合、ユーザは、物体が写った画像しか得られない。

さらに、特許文献１〜３の各装置は、静止画像を対象としており、動画像の一部のフレームに指等の物体（障害物）が含まれるときのデータ処理については、なんら言及されていない。

本願発明は、上記の問題点に鑑みなされたものであって、その目的は、動画像を構成するフレームに異常があっても、再生時において動画像の乱れを低減可能にする電子機器、表示制御方法、およびプログラムを提供することにある。

本発明のある局面に従うと、電子機器は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる。電子機器は、プロセッサと、複数の左目用フレームを含む左目用画像データと、複数の右目用フレームを含む右目用画像データとを格納するためのメモリとを備える。プロセッサは、複数の３次元画像フレームの各々をディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する左目用フレームと右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断する。プロセッサは、複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、３次元画像フレームを構成する左目用フレームと右目用フレームとの両方に物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームをディスプレイに表示させ、３次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方に物体の画像が含まれていると判断された場合には、当該３次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、物体の画像が含まれていないと判断された他方のフレームに基づく２次元画像をディスプレイに表示させる。

本発明の他の局面に従うと、電子機器は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる。電子機器は、プロセッサと、複数の左目用フレームを含む左目用画像データと、複数の右目用フレームを含む右目用画像データとを格納するためのメモリとを備える。プロセッサは、複数の３次元画像フレームの各々をディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する左目用フレームと右目用フレームとが、デコード可能であるか否かを判断する。プロセッサは、複数の３次元画像フレームを予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、３次元画像フレームを構成する左目用フレームと右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームをディスプレイに表示させ、３次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該３次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく２次元画像をディスプレイに表示させる。

好ましくは、メモリは、フレーム数に関する閾値を予め格納している。プロセッサは、複数の３次元画像フレームの各々をディスプレイに表示させる前に、ディスプレイに２次元画像フレームを閾値以上連続して表示させることになるか否かを判断する。プロセッサは、複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、２次元画像フレームを閾値以上連続して２次元表示させることになると判断された場合、複数の他方のフレームに基づく２次元画像をディスプレイに動画像表示させ、２次元画像フレームを閾値以上連続して２次元表示させることにならないと判断された場合、複数の一方のフレームと他方のフレームとに基づく３次元画像フレームをディスプレイに表示させる。

好ましくは、メモリは、時間に関する閾値を予め格納している。プロセッサは、複数の３次元画像フレームの各々をディスプレイに表示させる前に、ディスプレイに２次元画像フレームを閾値以上連続して表示させることになるか否かを判断する。プロセッサは、複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、２次元画像を閾値以上連続して２次元表示させることになると判断された場合に、複数の他方のフレームに基づく２次元画像をディスプレイに動画像表示させ、２次元画像を閾値以上連続して２次元表示させることにならないと判断された場合、複数の一方のフレームと他方のフレームとに基づく３次元画像フレームをディスプレイに表示させる。

好ましくは、プロセッサは、他方のフレームをメモリから消去する。
好ましくは、プロセッサは、左目用画像データと右目用画像データとから構成されるコンテンツを最初に再生する場合に、複数の３次元画像フレームの各々を構成する左目用フレームと右目用フレームとに物体の画像が含まれているか否かを判断する。プロセッサは、コンテンツを再度再生する場合には、最初の再生時における判断の結果を利用する。

好ましくは、プロセッサは、左目用画像データと右目用画像データとから構成されるコンテンツを最初に再生する場合に、複数の３次元画像フレームの各々を構成する左目用フレームと右目用フレームとがデコード可能であるか否かを判断する。プロセッサは、コンテンツを再度再生する場合には、最初の再生時における判断の結果を利用する。

本発明のさらに他の局面に従うと、表示制御方法は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器に用いられる。表示制御方法は、電子機器のプロセッサが、複数の３次元画像フレームの各々をディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する左目用フレームと右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断するステップと、プロセッサが、複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、３次元画像フレームを構成する左目用フレームと右目用フレームとの両方に物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームをディスプレイに表示させるステップと、３次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方に物体の画像が含まれていると判断された場合には、当該３次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、物体の画像が含まれていないと判断された他方のフレームに基づく２次元画像をディスプレイに表示させるステップとを備える。

本発明のさらに他の局面に従うと、表示制御方法は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器に用いられる。表示制御方法は、電子機器のプロセッサが、複数の３次元画像フレームの各々をディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する左目用フレームと右目用フレームとが、デコード可能であるか否かを判断するステップと、プロセッサが、複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、３次元画像フレームを構成する左目用フレームと右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームをディスプレイに表示させるステップと、３次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該３次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく２次元画像をディスプレイに表示させるステップとを備える。

本発明のさらに他の局面に従うと、プログラムは、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器を制御する。プログラムは、複数の３次元画像フレームの各々をディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する左目用フレームと右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断するステップと、複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、３次元画像フレームを構成する左目用フレームと右目用フレームとの両方に物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームをディスプレイに表示させるステップと、３次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方に物体の画像が含まれていると判断された場合には、当該３次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、物体の画像が含まれていないと判断された他方のフレームに基づく２次元画像をディスプレイに表示させるステップとを、電子機器のプロセッサに実行させる。

本発明のさらに他の局面に従うと、プログラムは、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器を制御する。プログラムは、複数の３次元画像フレームの各々をディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する左目用フレームと右目用フレームとが、デコード可能であるか否かを判断するステップと、複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、３次元画像フレームを構成する左目用フレームと右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームをディスプレイに表示させるステップと、３次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該３次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく２次元画像をディスプレイに表示させるステップとを、電子機器のプロセッサに実行させる。

本発明によれば、動画像を構成するフレームに異常があっても、再生時において動画像の乱れを低減可能となる。

電子機器の外観を示した図である。 電子機器とは異なる撮像装置を用いて被写体を撮像したときに得られる画像を説明するための図である。 電子機器が撮像装置から動画像データを取得した場合における、電子機器のデータ処理を説明するための図である。 図３（ｄ）に示した３次元画像データに基づく動画をディスプレイに表示した場合における、画面遷移を説明するための図である。 電子機器のハードウェア構成を示した図である。 左目用フレームと対応する右目用フレームとで構成されるフレーム対のデコード処理のタイミングと、3次元画像フレームに基づく３次元画像の表示処理のタイミングとの関係を説明するための図である。 電子機器における処理の流れを示したフローチャートである。 電子機器における図７の処理とは異なる処理の流れを示したフローチャートである。 電子機器がフレームを消去する処理を説明するための図である。 電子機器が撮像装置から動画像データを取得した場合における、電子機器のデータ処理の他の例を説明するための図である。 図１０に基づいて説明した処理の流れを示したフローチャートである。 電子機器が撮像装置から動画像データを取得した場合における、電子機器のデータ処理のさらに他の例を説明するための図である。 実施の形態２の電子機器が撮像装置から動画像データを取得した場合における、電子機器のデータ処理を説明するための図である。 実施の形態２における電子機器における処理の流れを示したフローチャートである。 実施の形態１の処理と実施の形態２の処理とを組み合わせたときのデータ処理を説明するための図である。

以下、図面を参照しつつ、本発明の実施の形態に係る電子機器について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

本発明の実施の形態に係る電子機器は、動画像を再生可能な機器である。当該電子機器としては、スマートフォンを含む携帯型電話機、ＰＤＡ（Personal Digital Assistant）、タブレット型のコンピュータ、ラップトップ型のコンピュータ、デスクトップ型のコンピュータ、デジタルフォトアルバム（デジタルフォトフレーム）、電子辞書、電子ブックリーダ、デジタルカメラ等が挙げられる。また、電子機器は、ディスプレイを備えておらず、他の装置のディスプレイに画像を出力する装置であってもよい。以下では、電子機器として、ディスプレイを備える機器を例に挙げて説明する。

［実施の形態１］
＜Ａ．外観＞
図１は、本実施の形態に係る電子機器１の外観を示した図である。図１を参照して、電子機器１は、ディスプレイ１０５と、操作キー１０７とを備える。電子機器１は、２次元表示と３次元表示とが可能に構成されている。電子機器１は、３次元表示の方法として視差バリア方式を用いている。電子機器１は、ディスプレイ１０５に、右目用画像と左目用画像とを、ｘまたはｙ方向において交互に表示する。なお、３次元表示の方法は、視差バリア方式に限定されるものではなく、たとえば、レンチキュラ方式、偏光板方式、液晶アクティブシャッターメガネ方式等の各種の方式を用いることもできる。

詳細については後述するが、電子機器１は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成する。電子機器１は、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイ１０５に表示させる。なお、図面においては、説明の便宜上、３次元を「３Ｄ」と表記し、２次元を「２Ｄ」として表記する。

＜Ｂ．データ処理の概要＞
（ｂ１．データ処理の対象物）
図２は、電子機器１とは異なる撮像装置７００を用いて被写体を撮像したときに得られる画像を説明するための図である。詳しくは、図２は、撮像装置７００の２つのカメラ７１１，７１２を用いて被写体の動画を撮像したときに得られる左目用画像データと右目用画像データとを説明するための図である。より詳しくは、図２は、一方の視点画像データである左目用画像データを構成する一つの画像フレーム（以下、「左目用フレーム」と称する）と、他方の視点画像データである右目用画像データを構成する一つの画像フレーム（以下、「右目用フレーム」と称する）とを説明するための図である。

図２（ａ）は、撮像装置７００のユーザが、被写体の撮像のために、両手で撮像装置７００を把持した状態であって、右手の指９０１がカメラ７１１のレンズの一部にかかっている状態を示した図である。図２（ｂ）は、図２（ａ）の状態での撮像によって、右目用フレーム８１２に指９０１が写り込んだ状態を表した図である。

図２（ｃ）は、撮像装置７００のユーザが、被写体の撮像のために、両手で撮像装置７００を把持した状態であって、左手の指９０２がカメラ７１２のレンズの一部にかかっている状態を示した図である。図２（ｄ）は、図２（ｃ）の状態での撮像によって、左目用フレーム８２１に指９０２が写り込んだ状態を表した図である。

以下では、主として、動画像データである左目用画像データおよび右目用画像データを構成する一部のフレームに指等の障害物が写り込んでしまった場合を説明する。具体的には、電子機器１が、撮像装置７００が撮像した上記動画像データを取得して、当該動画像データを表示（再生）する場合におけるデータ処理について説明する。なお、電子機器１が撮像装置７００から動画像データを取得する方法としては、たとえば、有線もしくは無線による直接的な通信による取得、記録媒体を介した取得、またはネットワークを介した取得等が挙げられる。

「障害物」とは、撮像装置７００における撮像素子への外光の入射を遮った物体を意味する。障害物としては、指以外にも、撮像装置７００のストッラップ等が挙げられる。以下では、説明の便宜上、障害物として、手の指を例に挙げて説明する。

（ｂ２．データ処理）
図３は、電子機器１が撮像装置７００から動画像データを取得した場合における、電子機器１のデータ処理を説明するための図である。

図３（ａ）は、左目用画像データ８０１と右目用画像データ８０２との各々に、指が写りこんだフレームが存在していない場合を表した図である。図３（ａ）を参照して、Ｌ（１）〜Ｌ（１０）は左目用フレームを表しており、Ｒ（１）〜Ｒ（１０）は右目用フレームを表している。なお、括弧「（）」内の数字は、再生順序を表している。

図３（ｂ）は、電子機器１が、図３（ａ）の左目用画像データ８０１と右目用画像データ８０２とを用いて３次元画像データ８０３を生成し、当該生成された３次元画像データ８０３に基づく３次元画像をディスプレイ１０５に表示する場合における、電子機器１のデータ処理を説明するための図である。図３（ｂ）を参照して、電子機器１は、左目用フレームＬ（１）と右目用フレームＲ（１）とから、３次元画像フレームを生成する。また、電子機器１は、他の左目用フレームＬ（２）〜Ｌ（１０）と右目用フレームＲ（２）〜Ｒ（１０）とについても、各々対応するフレーム同士から３次元画像フレームを生成する。

電子機器１は、当該生成された複数の３次元画像フレームに基づく複数の３次元画像を、図３（ｂ）に示す順序（予め定められた順序）および時間間隔で、ディスプレイ１０５に表示する。これにより、電子機器１のユーザは、左目用画像データ８０１と右目用画像データ８０２とに基づく３次元の動画像を視認することができる。

図３（ｃ）は、左目用画像データ８０１と右目用画像データ８０２との各々に、指が写りこんだフレームが存在している場合を表した図である。図３（ｃ）を参照して、左目用画像データ８０１における７番目の左目用フレームＬ（７）に指が写りこんでいる。つまり、左目用フレーム８２１に指の画像が含まれている。また、右目用画像データ８０２における３番目の右目用フレームＲ（３）に指が写りこんでいる。つまり、右目用フレーム８１２に指の画像が含まれている。なお、左目用フレームＬ（７）は、図２（ｄ）の左目用フレーム８２１に対応し、右目用フレームＲ（３）は、図２（ｂ）の右目用フレーム８１２に対応する。

図３（ｄ）は、電子機器１が、図３（ｃ）の左目用画像データ８０１と右目用画像データ８０２とを用いて３次元画像データ８０３を生成し、当該生成された３次元画像データ８０３に基づく３次元画像をディスプレイ１０５に表示する場合における、電子機器１のデータ処理を説明するための図である。図３（ｄ）を参照して、電子機器１は、左目用フレームＬ（１）と右目用フレームＲ（１）とから、３次元画像フレームを生成する。次に、電子機器１は、左目用フレームＬ（２）と右目用フレームＲ（２）とから、３次元画像フレームを生成する。

次に、電子機器１は、右目用フレームＲ（３）には指が写っているため、左目用フレームＬ（３）と右目用フレームＲ（３）とに基づく３次元画像フレームを生成しない。つまり、電子機器１は、右目用フレームＲ（３）を用いた表示は行なわない。電子機器１は、左目用フレームＬ（３）のみを表示対象とする。また、電子機器１は、左目用フレームＬ（４）〜Ｌ（６）と右目用フレームＲ（４）〜Ｒ（６）とについては、各々対応するフレーム同士から３次元画像フレームを生成する。

次に、電子機器１は、左目用フレームＬ（７）には指が写っているため、左目用フレームＬ（７）と右目用フレームＲ（７）とに基づく３次元画像フレームを生成しない。つまり、電子機器１は、左目用フレームＬ（７）を用いた表示は行なわない。電子機器１は、右目用フレームＲ（７）のみを表示対象とする。また、電子機器１は、左目用フレームＬ（８）〜Ｌ（１０）と右目用フレームＲ（８）〜Ｒ（１０）とについては、各々対応するフレーム同士から３次元画像フレームを生成する。

電子機器１は、当該生成された複数の３次元画像フレームに基づく複数の３次元画像と左目用フレームＬ（３）と、右目用フレームＲ（７）とを、図３（ｄ）に示す順序（予め定められた順序）および時間間隔でディスプレイ１０５に表示する。これにより、電子機器１のユーザは、指が含まれた３次元画像フレームに基づく３次元画像を視認しなくてもよくなる。つまり、電子機器１は、動画像の一部のフレームに指の画像が含まれている場合（フレームに異常がある場合）に、指による動画像の乱れを低減できる。その結果、指が含まれた３次元画像を視認する場合に比べて、電子機器１のユーザへ負担を軽減することができる。また、フレーム飛びが生じないため、フレーム飛びが生じる構成よりも、高品質な映像（動画像）を電子機器１のユーザに提供することができる。

図４は、図３（ｄ）に示した３次元画像データ８０３に基づく動画をディスプレイ１０５に表示した場合における、画面遷移を説明するための図である。図４（ａ）を参照して、１番目のフレームは３次元画像フレームであるため、電子機器１は、当該３次元画像フレームに基づく３次元画像をディスプレイ１０５に表示する。次に、図４（ｂ）を参照して、２番目のフレームは３次元画像フレームであるため、電子機器１は、当該３次元画像フレームに基づく３次元画像をディスプレイ１０５に表示する。次に、図４（ｃ）を参照して、３番目のフレームは２次元画像フレームであるため、電子機器１は、当該２次元画像フレームに基づく２次元画像をディスプレイ１０５に表示する。つまり、電子機器１は、３次元画像データ８０３における表示態様を３次元表示から２次元表示に切り替える。

次に、図４（ｄ）を参照して、４番目のフレームは３次元画像フレームであるため、電子機器１は、当該３次元画像フレームに基づく３次元画像をディスプレイ１０５に表示する。つまり、電子機器１は、３次元画像データ８０３における表示態様を２次元表示から３次元表示に切り替える。

以下同様に、図４（ｅ），（ｆ）を参照して、電子機器１は、５番目および６番目の３次元画像フレームに基づく３次元画像の各々をディスプレイ１０５に順番に表示する。次に、図４（ｇ）を参照して、７番目のフレームは２次元画像フレームであるため、電子機器１は、当該２次元画像フレームに基づく２次元画像をディスプレイ１０５に表示する。さらに、図４（ｈ）〜（ｊ）を参照して、電子機器１は、８番目〜１０番目の３次元画像フレームに基づく３次元画像の各々をディスプレイ１０５に順番に表示する。

＜Ｃ．ハードウェア構成＞
図５は、電子機器１のハードウェア構成を示した図である。図５を参照して、電子機器１は、プログラムを実行するＣＰＵ（Central Processing Unit）１０１と、データを不揮発的に格納するＲＯＭ（Read Only Memory）１０２と、データを揮発的に格納するＲＡＭ（Random Access Memory）１０３と、フラッシュメモリ１０４と、ディスプレイ１０５と、スピーカ１０６と、電子機器１のユーザによる指示の入力を受ける操作キー１０７と、通信ＩＦ（Interface）１０８と、ＩＣ（Integrated Circuit）カードリーダライタ１０９と、電源ユニット１１０とを備える。

フラッシュメモリ１０４は、不揮発性の半導体メモリである。フラッシュメモリ１０４は、ＣＰＵ１０１が実行するプログラム、後述する各種データを格納している。また、フラッシュメモリ１０４は、電子機器１が生成したデータ、電子機器１の外部装置から取得したデータ等の各種データを揮発的に格納する。

スピーカ１０６は、プロセッサ１０１からの指令に応じて音を発生させる。通信ＩＦ１０８は、他の装置と通信を行なうための用いられるインターフェースである。通信ＩＦ１０８は、無線および／または有線にてデータを送信するための処理を行なう。

各構成要素１０１〜１１０は、相互にデータバスによって接続されている。ＩＣカードリーダライタ１０９には、メモリカード１０９１が装着される。

電子機器１における処理は、各ハードウェアおよびＣＰＵ１０１により実行されるソフトウェアによって実現される。このようなソフトウェアは、フラッシュメモリ１０４に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１０９１その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、ＩＣカードリーダライタ１０９その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦを介してダウンロードされた後、フラッシュメモリ１０４に一旦格納される。そのソフトウェアは、ＣＰＵ１０１によってフラッシュメモリ１０４から読み出され、さらにフラッシュメモリ１０４に実行可能なプログラムの形式で格納される。ＣＰＵ１０１は、そのプログラムを実行する。

同図に示される電子機器１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、フラッシュメモリ１０４、メモリカード１０９１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器１の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、記録媒体としては、ＤＶＤ-ＲＯＭ、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。また、記録媒体は、当該プログラム等をコンピュータが読取可能な一時的でない媒体である。

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

＜Ｄ．デコードと表示とのタイミング＞
図６は、左目用フレームと対応する右目用フレームとで構成されるフレーム対のデコード処理のタイミングと、3次元画像フレームに基づく３次元画像の表示処理のタイミングとの関係を説明するための図である。なお、上述した図３においては、たとえば、左目用フレームＬ（１）と右目用フレームＲ（１）とで、１つのフレーム対が構成される。

図６（ａ）は、デコードと表示とのタイミングについての第１の例を示した図である。図６（ａ）を参照して、電子機器１は、デコード処理が完了したフレーム対から順に３次元画像フレームを生成し、当該生成された３次元画像フレームに基づく３次元画像および指が含まれていない方のフレームに基づく２次元画像をディスプレイ１０５に表示させる。つまり、電子機器１は、デコード処理と表示処理とを並列で処理する。

図６（ｂ）は、デコードと表示とのタイミングについての第２の例を示した図である。図６（ｂ）を参照して、電子機器１は、全てのフレーム対についてのデコードが完了した後に、３次元画像フレームを生成し、当該生成された３次元画像フレームに基づく３次元画像および指が含まれていない方のフレームに基づく２次元画像をディスプレイ１０５に表示させる。つまり、電子機器１は、デコード処理を行なった後に表示処理を行なう。

なお、図６（ａ）に示したタイミングで処理を行なうか、図６（ｂ）に示したタイミングで処理を行なうかは、電子機器１において予め定められている。

＜Ｅ．制御構造＞
図７は、電子機器１における処理の流れを示したフローチャートである。具体的には、図７は、デコード処理と、２次元画像を表示させるか３次元画像を表示させるかの判定処理とを説明するための図である。

図７を参照して、ステップＳ２において、電子機器１は、変数ｉの値を１とする。ステップＳ４において、電子機器１は、ｉ番目のフレーム対に含まれる左目用フレームＬ（ｉ）と右目用フレームＲ（ｉ）とをデコードする。

ステップＳ６において、電子機器１は、デコードされた両フレームの一方に指の画像が含まれているか否かを判断する。当該判断は、たとえば、背景技術として記載した技術を用いることができる。あるいは、ＣＰＵ１０１は、左目用画像データに基づく左目用画像において、予め定められた広さにわたり輝度が閾値以下となる領域が存在する場合に、左目用画像データに障害物の画像が含まれていると判断してもよい。あるいは、ＣＰＵ１０１は、左目用画像データに基づく左目用画像において予め定められた広さにわたり輝度が閾値以下となる領域が存在し、かつ、右目用画像データに基づく右目用画像において予め定められた広さにわたり輝度が閾値以下となる領域が存在しない場合に、左目用画像データに障害物の画像が含まれていると判断してもよい。障害物の画像が含まれているか否かの手法は、特に限定されるものではない。

両フレームの一方に指の画像が含まれていると判断された場合には（ステップＳ６においてＹＥＳ）、ステップＳ８において、ｉ番目のフレーム対を、指が含まれていないフレームを用いて２次元表示するフレーム対であると特定する。一方、両フレームの一方に指の画像が含まれていない（正確には、いずれかのフレームにも指の画像が含まれていない）と判断された場合には（ステップＳ６においてＮＯ）、ステップＳ１２において、ｉ番目のフレーム対を、両フレームを用いて３次元表示するフレーム対であると決定する。

ステップＳ１０において、電子機器１は、全てのフレーム対をデコードしたか否かを判断する。全てのフレーム対がデコードされていないと判断された場合（ステップＳ１０においてＮＯ）、電子機器１は、ステップＳ１４において、ｉの値をインクリメントする。つまり、変数ｉの値を１増加させる。一方、全てのフレーム対がデコードされたと判断された場合（ステップＳ１０においてＹＥＳ）、一連の処理を終了する。

図８は、電子機器１における図７の処理とは異なる処理の流れを示したフローチャートである。具体的には、図８は、図７の判定処理に基づく表示処理を説明するための図である。

図８を参照して、ステップＳ１０２において、電子機器１は、変数ｉの値を１とする。ステップＳ１０４において、電子機器１は、ｉ番目のフレーム対が３次元表示するフレーム対であるか否かを判断する。

電子機器１は、３次元表示するフレーム対であると判断した場合（ステップＳ１０４においてＹＥＳ）、ステップＳ１０６において、ｉ番目のフレーム対に含まれる左目用フレームと右目用フレームとを用いて３次元表示を行なう。電子機器１は、３次元表示するフレーム対でないと判断した場合（ステップＳ１０４においてＮＯ）、ステップＳ１１０において、ｉ番目のフレーム対に含まれる指の含まれていないフレームを用いて２次元表示する。

ステップＳ１０８において、電子機器１は、全てのフレーム対を表示したか否かを判断する。電子機器１は、全てのフレーム対を表示していないと判断した場合（ステップＳ１０８においてＮＯ）、ステップＳ１１２においてｉの値をインクリメントする。電子機器１は、全てのフレーム対を表示したと判断した場合（ステップＳ１０８においてＹＥＳ）、一連の処理を終了する。

以上のように、電子機器１は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイ１０５に表示させる。電子機器１は、ＣＰＵ１０１と、複数の左目用フレームを含む左目用画像データ８０１と、複数の右目用フレームを含む右目用画像データ８０２とを格納するためのフラッシュメモリ１０４とを備える。

ＣＰＵ１０１は、複数の３次元画像フレームの各々をディスプレイ１０５に表示させる前に、当該複数の３次元画像フレームの各々を構成する左目用フレームと右目用フレームとに、撮像装置７００の撮像素子への外光の入射を遮った指（物体，障害物）の画像が含まれているか否かを判断する。ＣＰＵ１０１は、複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイ１０５に表示させるに際し、（i）３次元画像フレームを構成する左目用フレームと右目用フレームとの両方に指の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームをディスプレイ１０５に表示させ、（ii）３次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方に指の画像が含まれていると判断された場合には、当該３次元画像フレームをディスプレイ１０５に表示させる代わりに、左目用フレームと右目用フレームとのうち、指の画像が含まれていないと判断された他方のフレームに基づく２次元画像をディスプレイ１０５に表示させる。

したがって、電子機器１は、指が含まれたフレームを用いた３次元画像データに基づく３次元画像をディスプレイ１０５に表示しない。また、指が含まれているフレームと対をなすフレームを用いた２次元画像を、３次元画像の代わりにディスプレイ１０５に表示する。それゆえ、電子機器１は、上述したように、動画像の一部のフレームに指の画像が含まれている場合（フレームに異常がある場合）に、当該指による動画像の乱れを低減可能となる。

また、動画像の乱れを低減できるため、電子機器１のユーザへ負担を軽減することができる。また、電子機器１では、フレームについての指の削除や修正等に関する画像処理が不要となり、データ処理量を低減できる。さらに、電子機器１は、フレーム飛びが生じないため、フレーム飛びが生じる構成よりも、高品質な映像（動画像）をユーザに提供できる。

＜Ｆ．変形例＞
（ｆ１．第１の変形例）
図９は、電子機器１がフレームを消去する処理を説明するための図である。図９（ａ）は、図３（ｃ）と同様、右目用画像データ８０２を構成する３番目の右目用フレームＲ（３）と、左目用画像データ８０１を構成する７番目の左目用フレームＬ（７）とに、指の画像が含まれている場合を示している。図９（ｂ）は、電子機器１が、左目用フレームＬ（１）〜Ｌ（１０）と、右目用フレームＲ（１）〜（１０）とをデコードした後の処理を説明するための図である。

図９（ｂ）を参照して、電子機器１は、指が含まれている左目用フレームＬ（７）を左目用画像データ８０１から消去する。また、電子機器１は、指が含まれている右目用フレームＲ（３）を右目用画像データ８０２から消去する。このように指が含まれている画像データを消去することにより、電子機器１におけるメモリ使用量を減少させることができる。

（ｆ２．第２の変形例）
電子機器１は、３次元画像データ８０３に基づく３次元表示をディスプレイ１０５に表示させた後は、３次元画像データ８０３をフラッシュメモリ１０４に格納し続けてもよいし、フラッシュメモリ１０４から消去してもよい。

フラッシュメモリ１０４から３次元画像データを生成する場合には、どのフレームに指の画像が含まれていたかをデータとしてフラッシュメモリ１０４に記憶しておき、２回目の再生時には当該データを利用することにより指が含まれているか否かの判断を行なわなくても済むように、電子機器１を構成してもよい。つまり、電子機器１は、左目用画像データ８０１と右目用画像データ８０２とから構成されるコンテンツ（３次元画像データ８０３）を最初に再生する場合に、複数の３次元画像フレームの各々を構成する左目用フレームと右目用フレームとに指の画像が含まれているか否かを判断する。電子機器１は、上記コンテンツを再度再生する場合には、最初の再生時における上記判断の結果を利用する。当該構成により、２回目以降の３次元画像の再生時において電子機器１の処理負担を低減できる。

（ｆ３．第３の変形例）
上記においては、たとえば図３（ｃ），（ｄ）に示したように、左目用画像データ８０１および右目用画像データ８０２の各々において、指が含まれているフレームが１つあれば２次元表示を行なう構成を例に挙げて説明した。しかしながら、これに限定されるものではない。以下では、指の画像を含むフレームを含むフレーム対が閾値Ｔｈ以上連続した場合に、２次元表示を行なう構成を説明する。以下では、閾値Ｔｈの一例として、“３”を挙げて説明する。なお、閾値Ｔｈは、フラッシュメモリ１０４に格納されている。

図１０は、電子機器１が撮像装置７００から動画像データを取得した場合における、電子機器１のデータ処理の他の例を説明するための図である。図１０（ａ）は、左目用画像データ８０１と右目用画像データ８０２との各々に、指が写りこんだフレームが存在している場合を表した図である。図１０（ａ）を参照して、左目用画像データ８０１における６番目，７番目，および９番目の３つの左目用フレームＬ（６），Ｌ（７），Ｌ（９）に指の画像が含まれている。また、右目用画像データ８０２における２番目，３番目，および８番目の右目用フレームＲ（２），Ｒ（３），Ｒ（８）に指の画像が含まれている。

図１０（ｂ）は、電子機器１が、図１０（ａ）の左目用画像データ８０１と右目用画像データ８０２とを用いて３次元画像データ８０３を生成し、当該生成された３次元画像データ８０３に基づく３次元画像をディスプレイ１０５に表示する場合における、電子機器１のデータ処理を説明するための図である。図１０（ｂ）を参照して、電子機器１は、左目用フレームＬ（１）と右目用フレームＲ（１）とから、３次元画像フレームを生成する。

次に、電子機器１は、右目用フレームＲ（２）と右目用フレームＲ（３）とが指の画像を含むフレームであって、かつ左目用フレームＬ（４）と右目用フレームＲ（４）とが指の画像を含まないフレームであるため、ディスプレイ１０５に２次元画像フレームが閾値Ｔｈ以上連続して表示されることはないと判断する。したがって、電子機器１は、左目用フレームＬ（２）と右目用フレームＲ（２）とから３次元画像フレームを生成し、左目用フレームＬ（３）と右目用フレームＲ（３）とから、３次元画像フレームを生成する。

また、電子機器１は、左目用フレームＬ（４），Ｌ（５）と右目用フレームＲ（４），Ｒ（５）とについては、各々対応するフレーム同士から３次元画像フレームを生成する。

さらに、電子機器１は、左目用フレームＬ（６），Ｌ（７），Ｌ（９）と右目用フレームＲ（８）とが指の画像を含むフレームであって、かつ左目用フレームＬ（１０）と右目用フレームＲ（１０）とが指の画像を含まないフレームであるため、ディスプレイ１０５に２次元画像フレームが閾値Ｔｈ以上連続して表示されてしまうと判断する。したがって、電子機器１は、左目用フレームＬ（６）〜Ｌ（９）と右目用フレームＲ（６）〜Ｒ（９）とについては、各々対応するフレーム同士から３次元画像フレームを生成しない。つまり、電子機器１は、各々指の画像が含まれていない、右目用フレームＲ（６）、右目用フレームＲ（７）、左目用フレームＬ（８）、および右目用フレームＲ（９）を、この順でディスプレイ１０５に表示させる。

また、電子機器１は、左目用フレームＬ（１０）と右目用フレームＲ（１０）とについては、当該両フレームを用いて３次元画像フレームを生成する。

図１１は、図１０に基づいて説明した処理の流れを示したフローチャートである。図１１を参照して、ステップＳ２０２において、電子機器１は、変数ｉの値を１とする。ステップＳ２０４において、電子機器１は、変数ｋの値を１とする。ステップＳ２０６において、電子機器１は、変数ｊの値を０とする。

ステップＳ２０８において、電子機器１は、ｉ番目のフレーム対に含まれる左目用フレームと右目用フレームとをデコードする。ステップＳ２１０において、電子機器１は、ｉ番目のフレーム対に関し、デコードされた両フレームの一方のフレームに指の画像が含まれているか否かを判断する。電子機器１は、一方のフレームに指の画像が含まれていると判断した場合（ステップＳ２１０においてＹＥＳ）、ステップＳ２２６において、変数ｊの値をインクリメントする。ステップＳ２２８において、変数ｉの値をインクリメントする。

電子機器１は、一方のフレームに指の画像が含まれていないと判断（正確には、両方のフレームに指の画像が含まれていない）した場合（ステップＳ２１０においてＮＯ)、ステップＳ２１２において、変数ｊの値が閾値Ｔｈ以上であるか否かを判断する。電子機器１は、変数ｊの値が閾値Ｔｈ以上であると判断した場合（ステップＳ２１２においてＹＥＳ）、ステップＳ２１４において、ｋ番目からｉ−１番目のフレーム対を、指の含まれていないフレームを用いて２次元表示するフレームと決定する。ステップＳ２１６において、電子機器１は、ｉ番目のフレーム対を、両フレームを用いて３次元表示するフレーム対と決定する。一方、電子機器１は、変数ｊの値が閾値Ｔｈ未満であると判断した場合（ステップＳ２１２においてＮＯ）、ステップＳ２３０において、ｋ番目からｉ番目のフレーム対を、各フレーム対に含まれる両フレームを用いて３次元表示するフレーム対であると決定する。

ステップＳ２１８において、電子機器１は、変数ｋにｉ＋１の値を代入する。ステップＳ２２０において、電子機器１は、変数ｊの値を０に設定する。ステップＳ２２２において、電子機器１は、全てのフレーム対をデコードしたか否かを判断する。電子機器１は、全てのフレーム対をデコードしていないと判断した場合（ステップＳ２２４においてＮＯ）、ステップＳ２３２において、変数ｉの値をインクリメントする。電子機器１は、全てのフレーム対をデコードしたと判断した場合（ステップＳ２２４においてＹＥＳ）、一連の処理を終了する。

以上のように、フラッシュメモリ１０４は、フレーム数に関する閾値を予め格納している。ＣＰＵ１０１は、複数の３次元画像フレームの各々をディスプレイ１０５に表示させる前に、ディスプレイ１０５に２次元画像フレームを閾値Ｔｈ以上連続して表示させることになるか否かを判断する。ＣＰＵ１０１は、複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、（i）２次元画像フレームを閾値Ｔｈ以上連続して２次元表示させることになると判断された場合、指の画像が含まれていないと判断された複数のフレーム（他方のフレーム）に基づく２次元画像をディスプレイ１０５に動画像表示させ、（ii）２次元画像フレームを閾値Ｔｈ以上連続して２次元表示させることにならないと判断された場合、複数のフレーム対（一方のフレームと他方のフレーム）に基づく３次元画像フレームをディスプレイ１０５に表示させる。

短い時間であれば、指の画像を含んだ３次元画像がディスプレイ１０５に表示されても、ユーザは気にならない場合もある。したがって、ユーザへの負担を抑えつつも、指が含まれているフレームが１つでもあれば２次元表示を行なう構成に比べて電子機器１の処理負担を軽減することができる。

（ｆ４．第４の変形例）
上記の第３の変形例においては、ディスプレイ１０５に２次元画像フレームを予め定められたフレーム数（閾値Ｔｈ）以上連続して表示させることになるか否かに応じて処理を切り替える構成について説明した。以下では、ディスプレイ１０５に２次元画像フレームを予め定められた時間以上連続して表示させることになるか否かに応じて処理を切り替える構成について説明する。

図１２は、電子機器１が撮像装置７００から動画像データを取得した場合における、電子機器１のデータ処理のさらに他の例を説明するための図である。図１２は、図１０と同様に、左目用画像データ８０１と右目用画像データ８０２との各々に、指が写りこんだフレームが存在している場合を表した図である。

図１２を参照して、電子機器１は、複数の３次元画像フレームの各々をディスプレイ１０５に表示させる前に、ディスプレイ１０５に２次元画像フレームを予め定められた時間（閾値）以上連続して表示させることになるか否かを判断する。なお、ＣＰＵ１０１は、図示しないタイマにより時間をカウントすることにより上記判断を行なう。たとえば、図１２の場合には、電子機器１は、２次元画像を時間ｔ１（＜Ｔｈ）だけ表示させ、次に、２次元画像をｔ２（≧Ｔｈ）表示させることになると判断する。

電子機器１は、２次元画像を予め定められた時間（閾値Ｔｈ）以上連続して２次元表示させることになると判断した場合には、複数の指が含まれていないと判断されたフレームに基づく２次元画像をディスプレイ１０５に動画像表示させる。一方、電子機器１は、２次元画像を閾値以上連続して２次元表示させることにならないと判断された場合、複数のフレーム対（一方のフレームと他方のフレーム）とに基づく３次元画像フレームをディスプレイ１０５に表示させる。

このような構成によっても、上記第３の変形例で述べた効果と同様の効果を得ることができる。

（ｆ５．第５の変形例）
上記においては、電子機器１が撮像装置７００から動画像データを取得する構成を例に挙げて説明したが、これに限定されるものではない。３次元画像を撮像するための機能を電子機器１自身が備えていてもよい。

（ｆ６．第６の変形例）
上記においては、電子機器１は、自身のディスプレイ１０５に画像を出力する構成を例に挙げて説明したが、これに限定されるものではない。電子機器１は外部の出力装置に画像を出力する構成であってもよい。電子機器１は、必ずしもディスプレイ１０５を備えていなくてもよい。

［実施の形態２］
実施の形態１では、左目用フレームと右目用フレームとに指の画像が含まれているか否かに応じて電子機器１が処理を切り替える構成を説明した。本実施の形態では、左目用フレームと右目用フレームとがデコードできるか否かに応じて電子機器１が処理を切り替える構成を説明する。

＜Ｇ．データ処理の概要＞
図１３は、電子機器１が撮像装置７００から動画像データを取得した場合における、電子機器１のデータ処理を説明するための図である。図１３（ａ）は、左目用画像データ８０１と右目用画像データ８０２との各々に、デコードができないフレームが存在している場合を表した図である。図１３（ａ）を参照して、左目用画像データ８０１における４番目の左目用フレームＬ（４）がデコードできないフレームである。また、右目用画像データ８０２における８番目の右目用フレームＲ（８）がデコードできないフレームである。

図１３（ｂ）は、電子機器１が、図１３（ａ）の左目用画像データ８０１と右目用画像データ８０２とを用いて３次元画像データ８０３を生成し、当該生成された３次元画像データ８０３に基づく３次元画像をディスプレイ１０５に表示する場合における、電子機器１のデータ処理を説明するための図である。図１３（ｂ）を参照して、電子機器１は、左目用フレームＬ（１）と右目用フレームＲ（１）とから、３次元画像フレームを生成する。次に、電子機器１は、左目用フレームＬ（２）と右目用フレームＲ（２）とから、３次元画像フレームを生成する。次に、電子機器１は、左目用フレームＬ（３）と右目用フレームＲ（３）とから、３次元画像フレームを生成する。

次に、電子機器１は、左目用フレームＬ（４）はデコードできなかったフレームであるため、左目用フレームＬ（４）と右目用フレームＲ（４）とに基づく３次元画像フレームを生成しない。つまり、電子機器１は、左目用フレームＬ（４）を用いた表示は行なわない。電子機器１は、右目用フレームＲ（４）のみを表示対象とする。また、電子機器１は、左目用フレームＬ（５）〜Ｌ（７）と右目用フレームＲ（５）〜Ｒ（７）とについては、各々対応するフレーム同士から３次元画像フレームを生成する。

次に、電子機器１は、右目用フレームＲ（８）はデコードできなかったフレームであるため、左目用フレームＬ（８）と右目用フレームＲ（８）とに基づく３次元画像フレームを生成しない。つまり、電子機器１は、右目用フレームＲ（８）を用いた表示は行なわない。電子機器１は、左目用フレームＬ（８）のみを表示対象とする。また、電子機器１は、左目用フレームＬ（９），Ｌ（１０）と右目用フレームＲ（９），Ｒ（１０）とについては、各々対応するフレーム同士から３次元画像フレームを生成する。

電子機器１は、当該生成された複数の３次元画像フレームに基づく複数の３次元画像と右目用フレームＲ（４）と、左目用フレームＬ（８）とを、図１３（ｂ）に示す順序（予め定められた順序）および時間間隔でディスプレイ１０５に表示する。これにより、電子機器１のユーザは、デコードできた一方のフレームのみを用いた３次元画像を視認しなくてもよくなる。つまり、ユーザは、図１に示したｘ方向またはｙ方向にスジ模様の入った画像を視認しなくてもよくなる。それゆえ、電子機器１は、フレーム対を構成する一方のフレームがデコードできない場合（フレームが異常）において、一方のフレームのみが視差バリア方式により表示されてしまう構成に比べて、動画像の乱れを低減可能となる。

また、動画像の乱れを低減できるため、電子機器１のユーザへ負担を軽減することができる。また、フレーム飛びが生じないため、フレーム飛びが生じる構成よりも、高品質な映像（動画像）を電子機器１のユーザに提供することができる。

図１４は、本実施の形態における電子機器１における処理の流れを示したフローチャートである。具体的には、図１４は、図７と同様、デコード処理と、２次元画像を表示させるか３次元画像を表示させるかの判定処理とを説明するための図である。

図１４を参照して、ステップＳ３０２において、電子機器１は、変数ｉの値を１とする。ステップＳ３０４において、電子機器１は、ｉ番目のフレーム対に含まれる左目用フレームＬ（ｉ）と右目用フレームＲ（ｉ）とをデコードする。

ステップＳ３０６において、電子機器１は、ｉ番目のフレーム対に含まれる両フレーム関し、いずれか一方のフレームをデコードできなかったか否かを判断する。いずれか一方のフレームがデコードできなかったと判断された場合には（ステップＳ３０６においてＹＥＳ）、ステップＳ３０８において、ｉ番目のフレーム対を、デコードできたフレームを用いて２次元表示するフレーム対であると特定する。一方、いずれか一方のフレームがデコードできた（正確には、いずれのフレームもデコードできた）と判断された場合には（ステップＳ３０６においてＮＯ）、ステップＳ３１２において、ｉ番目のフレーム対を、両フレームを用いて３次元表示するフレーム対であると決定する。

ステップＳ３１０において、電子機器１は、全てのフレーム対にデコードを試みたか否かを判断する。全てのフレーム対にデコードを試みていないと判断された場合（ステップＳ３１０においてＮＯ）、電子機器１は、ステップＳ１４において、ｉの値をインクリメントする。つまり、変数ｉの値を１増加させる。一方、全てのフレーム対にデコードが試みられたと判断された場合（ステップＳ３１０においてＹＥＳ）、一連の処理を終了する。

＜Ｈ．変形例＞
（１）本実施の形態においても、実施の形態１で述べた変形例「つまり、＜Ｆ．変形例＞の（第１の変形例）〜（第６の変形例）の記載」を適用可能である。

（２）実施の形態１に本実施の形態を組み合わせることも可能である。つまり、左目用フレームと右目用フレームとに指の画像が含まれているか否かに応じて電子機器１が処理を切り替える構成と、左目用フレームと右目用フレームとがデコードできるか否かに応じて電子機器１が処理を切り替える構成とを組み合わせることも可能である。

図１５は、実施の形態１の処理と実施の形態２の処理とを組み合わせたときのデータ処理を説明するための図である。図１５（ａ）は、左目用画像データ８０１と右目用画像データ８０２との各々に、指が写りこんだフレームと、デコードできないフレームとが存在している場合を表した図である。図１５（ａ）を参照して、左目用画像データ８０１における４番目の左目用フレームＬ（４）はデコードできないフレームである。左目用画像データ８０１における７番目の左目用フレームＬ（７）に指の画像が含まれている。また、右目用画像データ８０２における３番目の右目用フレームＲ（３）に指の画像が含まれている。右目用画像データ８０２における８番目の右目用フレームＲ（８）はデコードできないフレームである。

図１５（ｂ）は、電子機器１が、図１５（ａ）の左目用画像データ８０１と右目用画像データ８０２とを用いて３次元画像データ８０３を生成し、当該生成された３次元画像データ８０３に基づく３次元画像をディスプレイ１０５に表示する場合における、電子機器１のデータ処理を説明するための図である。図１５（ｂ）を参照して、電子機器１は、左目用フレームＬ（１）と右目用フレームＲ（１）とから、３次元画像フレームを生成する。次に、電子機器１は、左目用フレームＬ（２）と右目用フレームＲ（２）とから、３次元画像フレームを生成する。

次に、電子機器１は、右目用フレームＲ（３）は指が写っているフレームであるため、左目用フレームＬ（３）と右目用フレームＲ（３）とに基づく３次元画像フレームを生成しない。つまり、電子機器１は、右目用フレームＲ（２）を用いた表示は行なわない。電子機器１は、左目用フレームＬ（３）のみを表示対象とする。

次に、電子機器１は、左目用フレームＬ（４）はデコードできなかったフレームであるため、左目用フレームＬ（４）と右目用フレームＲ（４）とに基づく３次元画像フレームを生成しない。つまり、電子機器１は、左目用フレームＬ（４）を用いた表示は行なわない。電子機器１は、右目用フレームＲ（４）のみを表示対象とする。

また、電子機器１は、左目用フレームＬ（５），Ｌ（６）と右目用フレームＲ（５），Ｒ（６）とについては、各々対応するフレーム同士から３次元画像フレームを生成する。

次に、電子機器１は、左目用フレームＬ（７）は指が写っているフレームであるため、左目用フレームＬ（７）と右目用フレームＲ（７）とに基づく３次元画像フレームを生成しない。つまり、電子機器１は、左目用フレームＬ（７）を用いた表示は行なわない。電子機器１は、右目用フレームＲ（７）のみを表示対象とする。

次に、電子機器１は、右目用フレームＲ（８）はデコードできなかったフレームであるため、左目用フレームＬ（８）と右目用フレームＲ（８）とに基づく３次元画像フレームを生成しない。つまり、電子機器１は、右目用フレームＲ（８）を用いた表示は行なわない。電子機器１は、左目用フレームＬ（８）のみを表示対象とする。

また、電子機器１は、左目用フレームＬ（９），Ｌ（１０）と右目用フレームＲ（９），Ｒ（１０）とについては、各々対応するフレーム同士から３次元画像フレームを生成する。

電子機器１は、当該生成された複数の３次元画像フレームに基づく複数の３次元画像と、左目用フレームＬ（３）と、右目用フレームＲ（４）と、右目用フレームＲ（７）と、左目用フレームＬ（８）とを、図１５（ｂ）に示す順序（予め定められた順序）および時間間隔でディスプレイ１０５に表示する。これにより、実施の形態１，２で述べた効果と本実施の形態とで述べた効果とを得ることができる。また、このような構成の電子機器１に、実施の形態１で述べた変形例「つまり、＜Ｆ．変形例＞の（第１の変形例）〜（第６の変形例）の記載」を適用してもよい。

今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 電子機器、１０１ プロセッサ、１０４ フラッシュメモリ、１０５ ディスプレイ、１０９ カードリーダライタ、７００ 撮像装置、７１１，７１２ カメラ、８０１ 左目用画像データ、８０２ 右目用画像データ、８０３ 次元画像データ、８１１，８１２，Ｌ 左目用フレーム、８２１，Ｒ 右目用フレーム、９０１，９０２ 指、１０９１ メモリカード。

Claims (11)

1. 複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器であって、
   プロセッサと、
   前記複数の左目用フレームを含む左目用画像データと、前記複数の右目用フレームを含む右目用画像データとを格納するためのメモリとを備え、
   前記プロセッサは、
   前記複数の３次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断し、
   前記複数の３次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
   前記３次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方に前記物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームを前記ディスプレイに表示させ、
   前記３次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方に前記物体の画像が含まれていると判断された場合には、当該３次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、前記物体の画像が含まれていないと判断された他方のフレームに基づく２次元画像を前記ディスプレイに表示させる、電子機器。
2. 複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器であって、
   プロセッサと、
   前記複数の左目用フレームを含む左目用画像データと、前記複数の右目用フレームを含む右目用画像データとを格納するためのメモリとを備え、
   前記プロセッサは、
   前記複数の３次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとが、デコード可能であるか否かを判断し、
   前記複数の３次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
   前記３次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームを前記ディスプレイに表示させ、
   前記３次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該３次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく２次元画像を前記ディスプレイに表示させる、電子機器。
3. 前記メモリは、フレーム数に関する閾値を予め格納しており、
   前記プロセッサは、
   前記複数の３次元画像フレームの各々を前記ディスプレイに表示させる前に、前記ディスプレイに前記２次元画像フレームを前記閾値以上連続して表示させることになるか否かを判断し、
   前記複数の３次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
   前記２次元画像フレームを前記閾値以上連続して２次元表示させることになると判断された場合、前記複数の他方のフレームに基づく２次元画像を前記ディスプレイに動画像表示させ、
   前記２次元画像フレームを前記閾値以上連続して２次元表示させることにならないと判断された場合、複数の前記一方のフレームと前記他方のフレームとに基づく３次元画像フレームを前記ディスプレイに表示させる、請求項１または２に記載の電子機器。
4. 前記メモリは、時間に関する閾値を予め格納しており、
   前記プロセッサは、
   前記複数の３次元画像フレームの各々を前記ディスプレイに表示させる前に、前記ディスプレイに前記２次元画像フレームを前記閾値以上連続して表示させることになるか否かを判断し、
   前記複数の３次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
   前記２次元画像を前記閾値以上連続して２次元表示させることになると判断された場合に、前記複数の他方のフレームに基づく２次元画像を前記ディスプレイに動画像表示させ、
   前記２次元画像を前記閾値以上連続して２次元表示させることにならないと判断された場合、複数の前記一方のフレームと前記他方のフレームとに基づく３次元画像フレームを前記ディスプレイに表示させる、請求項１または２に記載の電子機器。
5. 前記プロセッサは、前記他方のフレームを前記メモリから消去する、請求項１〜４のいずれか１項に記載の電子機器。
6. 前記プロセッサは、
   前記左目用画像データと前記右目用画像データとから構成されるコンテンツを最初に再生する場合に、前記複数の３次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとに前記物体の画像が含まれているか否かを判断し、
   前記コンテンツを再度再生する場合には、前記最初の再生時における前記判断の結果を利用する、請求項１に記載の電子機器。
7. 前記プロセッサは、
   前記左目用画像データと前記右目用画像データとから構成されるコンテンツを最初に再生する場合に、前記複数の３次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとがデコード可能であるか否かを判断し、
   前記コンテンツを再度再生する場合には、前記最初の再生時における前記判断の結果を利用する、請求項２に記載の電子機器。
8. 複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器における表示制御方法であって、
   前記電子機器のプロセッサが、前記複数の３次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断するステップと、
   前記プロセッサが、前記複数の３次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
   前記３次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方に前記物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームを前記ディスプレイに表示させるステップと、
   前記３次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方に前記物体の画像が含まれていると判断された場合には、当該３次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、前記物体の画像が含まれていないと判断された他方のフレームに基づく２次元画像を前記ディスプレイに表示させるステップとを備える、表示制御方法。
9. 複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器における表示制御方法であって、
   前記電子機器のプロセッサが、前記複数の３次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとが、デコード可能であるか否かを判断するステップと、
   前記プロセッサが、前記複数の３次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
   前記３次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームを前記ディスプレイに表示させるステップと、
   前記３次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該３次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく２次元画像を前記ディスプレイに表示させるステップとを備える、表示制御方法。
10. 複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器を制御するためのプログラムであって、
    前記複数の３次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断するステップと、
    前記複数の３次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
    前記３次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方に前記物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームを前記ディスプレイに表示させるステップと、
    前記３次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方に前記物体の画像が含まれていると判断された場合には、当該３次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、前記物体の画像が含まれていないと判断された他方のフレームに基づく２次元画像を前記ディスプレイに表示させるステップとを、前記電子機器のプロセッサに実行させる、プログラム。
11. 複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の３次元画像フレームを生成し、当該生成された複数の３次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器を制御するためのプログラムであって、
    前記複数の３次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の３次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとが、デコード可能であるか否かを判断するステップと、
    前記複数の３次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
    前記３次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく３次元画像フレームを前記ディスプレイに表示させるステップと、
    前記３次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該３次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく２次元画像を前記ディスプレイに表示させるステップとを、前記電子機器のプロセッサに実行させる、プログラム。

Images