JP2015192362A - 画像再生装置，画像再生方法およびその制御プログラム - Google Patents

Abstract

【課題】合焦させたい撮影距離を比較的簡単に指定できる画像再生装置，画像再生方法，その制御プログラムを提供する。
【解決手段】第１の物体である親指Ｔで被写体像53をタッチすると，その被写体像53のぼけが解消されて合焦する。親指Ｔがタッチされている状態で，第２の物体である人差し指Ｆが親指のタッチ位置から離れるようなタッチ操作が行われると，被写体像53が表わす被写体の撮影距離よりも大きい第１の距離およびその撮影距離よりも小さい第２の距離が大きくされる。第１の距離と第２の距離との間に存在する被写体を表わす被写体像52および54もぼけが解消させられて合焦する。
【選択図】図12

Description

この発明は，画像再生装置，画像再生方法およびその制御プログラムに関する。

ライトフィールドカメラと呼ばれるカメラが実現されている。ライトフィールドカメラでは，撮像素子から得られる画像データに，受光面における光の強度分布に加えて，その光の進行方向の情報も含まれる。これにより，複数の視点，方向からの観察画像を再構築できる。ライトフィールドカメラでは，撮像後にリフォーカスをすることにより，所望の部分がぼけの無い画像を再構築できる。たとえば，画像を表示した画面をタッチして合焦させたい位置が指定される（特許文献１）。また，ピントを合わせたい奥行き範囲を画面上のスライドバーによって指定するものもある（特許文献２）。

特開2013-255172号公報 特開2012-95186号公報

しかしながら，特許文献１においては，合焦させたい撮影距離を指定することは考えられていない。また，特許文献２においては，２つのバーアイコンにより，被写界深度の近距離点と遠距離点とを指定しているが，２つの操作を行わなければならず，操作が煩雑である。さらに，スライダバーを表示するためのスペースが必要であるので，特にカメラや携帯端末などのモニタが小さい装置においては，被写体像が小さくなったり，スライダバーが重畳表示されたりして被写体像が観察しづらいことがある。

この発明は，画面上に操作部を表示するスペースを必要とすることなく，合焦させたい撮影距離を比較的簡単に指定できるようにすることを目的とする。

この発明による画像再生装置は，タッチパネルが設けられている表示画面に，合焦部分が変更可能な画像を表示する表示装置，第１の物体がタッチパネルにタッチされた第１のタッチ位置を検出する第１の位置検出手段，表示画面に表示されている画像のうち，第１の位置検出手段によって検出された第１のタッチ位置に表示されている被写体像が表わす被写体の撮影距離よりも大きい第１の距離と撮影距離よりも小さい第２の距離との間に存在する被写体を表わす部分を合焦させる合焦手段，第１のタッチ位置に第１の物体がタッチされている状態で第２の物体がタッチパネルにタッチされたかどうかを判定するタッチ判定手段，タッチ判定手段によって第２の物体が上記タッチパネルにタッチされたと判定されたことにより，第１のタッチ位置に第１の物体がタッチされている状態で第２の物体のタッチ位置の変化方向を検出する変化方向検出手段，ならびに変化方向検出手段によって検出された変化方向に応じて，第１の距離および第２の距離を変更させて，表示画面に表示されている画像のうち，第１の距離と第２の距離との間に存在する被写体を表わす部分を合焦手段に合焦させる合焦制御手段を備えていることを特徴とする。

この発明は，画像再生方法も提供している。すなわち，表示装置が，タッチパネルが設けられている表示画面に，合焦部分が変更可能な画像を表示し，第１の検出手段が，第１の物体がタッチパネルにタッチされた第１のタッチ位置を検出し，合焦手段が，表示画面に表示されている画像のうち，第１の位置検出手段によって検出された第１のタッチ位置に表示されている被写体像が表わす被写体の撮影距離よりも大きい第１の距離と撮影距離よりも小さい第２の距離との間に存在する被写体を表わす部分を合焦させ，タッチ判定手段が，第１のタッチ位置に第１の物体がタッチされている状態で第２の物体がタッチパネルにタッチされたかどうかを判定し，変化方向検出手段が，タッチ判定手段によって第２の物体がタッチパネルにタッチされたと判定されたことにより，第１のタッチ位置に第１の物体がタッチされている状態で第２の物体のタッチ位置の変化方向を検出し，合焦制御手段が，変化方向検出手段によって検出された変化方向に応じて，第１の距離および第２の距離を変更させて，表示画面に表示されている画像のうち，第１の距離と第２の距離との間に存在する被写体を表わす部分を合焦手段に合焦させるものである。

また，この発明は，画像再生装置を制御するプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。

第１の位置検出手段によって第１のタッチ位置が非検出となったことにより合焦制御手段による制御を停止させる合焦範囲変更停止手段をさらに備えてもよい。

合焦制御手段は，たとえば，変化方向検出手段によって検出された変化方向に応じて第１の距離および第２の距離の増減を決定するものである。

合焦制御手段は，たとえば，変化方向検出手段によって検出された変化方向が，第１のタッチ位置から離間する方向である場合には第１の距離を増大させ，かつ第２の距離を減少させ，第２のタッチ位置に接近する方向である場合には第１の距離を減少させ，かつ第２の距離を増大させるものでもよい。

合焦制御手段は，たとえば，変化方向検出手段によって検出された変化方向が，第１のタッチ位置を中心に時計回りの方向である場合には第１の距離を増大させ，かつ第２の距離を減少させ，第１のタッチ位置を中心に反時計回りの方向である場合には第１の距離を減少させ，かつ第２の距離を増大させるものでもよいし，変化方向検出手段によって検出された変化方向が，第１のタッチ位置を中心に時計回りの方向である場合には第１の距離を減少させ，かつ第２の距離を増大させ，第１のタッチ位置を中心に反時計回りの方向である場合には第１の距離を増大させ，かつ第２の距離を減少させるものでもよい。

第１のタッチ位置に第１の物体がタッチされた状態で第２の物体のタッチ位置の変化量を検出する変化量検出手段をさらに備えてもよい。その場合，変化量検出手段によって検出された変化量に応じた大きさで第１の距離および第２の距離を変更するようにしてもよい。

合焦手段によって合焦させられた画像部分の表示形態と非合焦の画像部分の表示形態とを変えて表示画面に画像を表示させる第１の表示制御手段をさらに備えてもよい。

合焦範囲変更停止手段によって合焦部分の変更が停止させられた，同一の被写体像を含む複数の画像を，並べて表示画面に表示させる，あるいは切り替えて表示画面に表示させる第２の表示制御手段をさらに備えてもよい。

この発明によると，第１の物体の第１のタッチ位置が検出されると，第１のタッチ位置に表示されている被写体像が表わす被写体の撮影距離よりも大きい第１の距離と第１の距離よりも小さい第２の距離との間に存在する被写体を表わす画像部分が合焦させられる。第１のタッチ位置に第１の物体がタッチされている状態で第２の物体がタッチパネルにタッチされると，第２の物体の変化方向が検出される。第２の物体の変化方向に応じて，第１の距離と第２の距離とが変化させられる。第１の距離と第２の距離との間にある被写体を表わす画像部分が合焦させられる。比較的簡単に画像部分の合焦範囲を変えることができる。しかも，操作部を表示するスペースも必要無いので，被写体像の観賞の邪魔になることもない。

ライトフィールドカメラの電気的構成を示すブロック図である。 ファイルの構造を示している。 撮影範囲を示している。 画像に点光源の像が含まれている様子を示している。 ライトフィールドカメラの処理手順を示すフローチャートである。 ライトフィールドカメラの処理手順を示すフローチャートである。 ライトフィールドカメラの処理手順を示すフローチャートである。 被写体像の一例である。 撮像時の被写体の位置関係を示している。 被写体像の一例である。 撮像時の被写体の位置関係を示している。 被写体像の一例である。 被写体像の一例である。 撮像時の被写体の位置関係を示している。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 スマートフォンの斜視図である。 スマートフォンの電気的構成を示すブロック図である。

図１は，この発明の実施例を示すもので，ライトフィールドカメラ（画像再生装置）１の電気的構成を示すブロック図である。

ライトフィールドカメラ１の全体の動作は，ＣＰＵ10によって統括される。

ライトフィールドカメラ１には，指令等を出力するスイッチ，ボタン，操作機器等のユーザインターフェイス13が設けられている。ユーザインターフェイス13から出力された指令等は，ＣＰＵ10に与えられる。

ライトフィールドカメラ１には，撮像装置４が含まれている。この撮像装置４には，多数の光電変換素子を含む撮像素子，メインレンズおよびメインレンズと撮像素子との間に設けられたマイクロレンズアレイ（いずれも図示略）が含まれている。マイクロレンズアレイには，多数のマイクロレンズが形成されており，一つのマイクロレンズに対応して複数の光電変換素子が対応付けられている。このような撮像装置４を用いて被写体を撮像することにより，複数の視点位置から被写体を撮像でき，ライトフィールドデータ（多視点画像データ）が得られる。ライトフィールドデータを用いて，リフォーカス処理が行われることにより，所望の部分が合焦した画像（所望の画像部分がぼけていないような画像）を生成できる。すなわち，撮像範囲の中に存在する所望の被写体にピントを合わせて撮像した場合に得られる画像（ピント面に相当する画像）を，ライトフィールドデータを用いて撮像後に生成できるようになる。

図３および図４を参照して，合焦の意味を説明する。図３に示すように，撮像装置４の撮影範囲内に，理想的な点光源16が被写体として含まれている状態を想定する。撮像装置４において，点光源16からの入射光は光学系（図示略）を介して結像点にて結像するが，その結像点が撮像装置４の撮像素子の撮像面上にあるとき，撮像面上における点光源16の像の直径は実質的にゼロであって撮像素子の許容錯乱円径よりも小さい。一方，その結像点が撮像素子の撮像面上にない場合，撮像面上において点光源16の光学像はぼけ，結果，撮像面上における点光源16の像の直径が許容錯乱円径よりも大きくなりうる。撮像面上における点光源16の像の直径が許容錯乱円径以下であるとき，点光源16としての被写体は撮像面上で合焦しており，撮像面上における点光源16の像の直径が許容錯乱円径よりも大きいとき，点光源16としての被写体は撮像面上で合焦していないということとなる。

同様に考えて，図４に示すように，注目画像17に点光源16の像16Ａが被写体の像として含まれている場合において，像16Ａの直径が許容錯乱円径に相当する基準径以下であるとき，注目画像17において点光源16としての被写体は合焦しており，像16Ａの直径が基準径よりも大きいとき，注目画像17において点光源16としての被写体は合焦していない。ある被写体が注目画像17の被写界深度内に位置している場合（ある被写体の被写体距離が注目画像17の被写界深度に属している場合），その被写体は注目画像17上において合焦被写体（合焦している画像部分）である。ある被写体が注目画像17の被写界深度内に位置していない場合（ある被写体の被写体距離が注目画像17の被写界深度に属していない場合），その被写体は注目画像17上において非合焦被写体（合焦しておらず，ぼけている画像部分）である。

図１に戻って，撮像装置４から出力されたライトフィールドデータは，メモリ制御装置７の制御のもとに，メモリカードのような外部メモリ（記録媒体）５に記録される。ライトフィールドデータからは，画素ごとに位相差を表すデータが得られることとなるから，その位相差を表すデータから，被写体までの距離を算出できる。

図１に示すライトフィールドカメラ１は再生機能も有している。ユーザインターフェイス13によって再生モードが指定され，かつ再生する画像が指定されると，その指定された画像に対応するライトフィールドデータが外部メモリ５から読み取られる。読み取られたライトフィールドデータは，リフォーカス演算装置11においてリフォーカス処理される。リフォーカス処理により，あらかじめ定められた距離に存在する被写体にピントを合わせた画像を表わす画像データが得られる。リフォーカス処理により得られた画像データによって表わされる画像が，グラフィックプロセッサ８により，表示装置９の表示画面に表示される。もちろん，あらかじめ定められた距離に存在する被写体にピントを表わせた画像が表示されるのではなく，その他の被写体にピントを合わせた画像が表示されるようにしてもよいのはいうまでもない。また，画像解析装置６によって，画像の中に含まれる特定の被写体（人物，顔，動物，建物など）を検出し，検出された特定の被写体にピントを合わせた画像が表示されるようにしてもよい。さらに，ライトフィールドデータは，所望の部分を合焦させることができ，合焦させる部分を変更することもできる。

また，ライトフィールドカメラ１には，インターネットなどと接続するためのネットワークインターフェイス２，データを一時的に記憶するＲＡＭ３，メモリ14，タイマ15なども含まれている。後述する動作を制御するプログラムが外部メモリ５に格納されている場合には，そのプログラムが外部メモリ５から読み出され，ライトフィールドカメラ１にインストールされるようにしてもよい。また，そのようなプログラムは，ネットワークを介してライトフィールドカメラ１において受信し，ライトフィールドカメラ１にインストールされるようにしてもよい。もっとも，カメラ機能を持たない再生装置に後述する動作を行わせるようにしてもよい。

図２は，外部メモリ５に記録されたファイルのファイル構造（データ構造）の一例である。

ファイルには，ヘッダ領域および画像データ記録領域が含まれている。ヘッダ領域には，ファイルを管理するデータが記録される。画像データ記録領域には，上述したライトフィールドデータが記録される。

図５から図７は，ライトフィールドカメラ１の再生処理手順を示すフローチャートである。この処理手順は，ユーザのタッチ操作にもとづいて，合焦する部分が変更されるものである。

所望の画像がユーザインターフェイス13によって指定され，その指定された画像を表わすライトフィールドデータが，メモリ制御装置７によって読み取られる（ステップ21）。読み取られたライトフィールドデータから，所定部分が合焦する（ぼけていない，ピントがあっている，鮮鋭さのある）画像がリフォーカス演算装置11において生成される（ステップ22）。生成された画像がグラフィックプロセッサ８によって表示装置９の表示画面に表示される（ステップ23）。表示画面に表示される画像はライトフィールドデータによって表わされる画像であるから，合焦部分が変更可能な画像であり，そのような画像が，タッチパネル12が設けられている表示画面に表示されることとなる。

図８は，表示装置９の表示画面50に表示された画像51Ａの一例である。

画像51Ａには，被写体像52，53および54が含まれている。被写体像52は山の画像であり，被写体像53は人物の画像であり，被写体像54は花の画像である。この実施例においては，合焦している（ぼけていない）被写体像については実線で表現され，ぼけている被写体像については破線で表現されている。図８においては，被写体像52および53が破線で表現されているから被写体像52および53はぼけており，被写体像54は実線で表現されているから被写体像54はぼけていない。

図９は，被写体像51Ａを表わすライトフィールドデータを得た時の撮像状況を示している。

ライトフィールドカメラ１を用いて被写体52，53および54を撮像して，上述した被写体像52，53および54を含む被写体像51Ａを表わすライトフィールドデータが得られたものとする。分りやすくするために，被写体と，その被写体に対応する被写体像とを同じ符号で表わすこととする。花54はライトフィールドカメラ１から撮影距離Ｌｆの位置にあり，人間53はライトフィールドカメラ１から撮影距離Ｌｈの位置にあり，山52はライトフィールドカメラ１から撮影距離Ｌｍの位置にあったものとする。

ユーザによって指定された画像を表わすライトフィールドデータが読み出され，最初に表示画面50に表示される場合には，ライトフィールドカメラ１からの距離がもっとも近い被写体（主要被写体）を表わす被写体像（主要被写体像）が合焦するようにリフォーカス演算装置11が制御される。図９に示す例では，花54がもっともカメラ１に近いから，その花54の画像54が合焦した画像51Ａが表示画面50に表示されている。カメラ１にもっとも近い被写体を表わす被写体像が合焦されるのではなく，その他の被写体像，例えば，カメラ１から最も遠い被写体像，中央に位置する被写体像，または人物検出もしくは顔検出により検出された被写体像などが最初に合焦されるようにしてもよい。

所望の被写体像を合焦させるためには，合焦させたい被写体像上が親指Ｔ（第１の物体。親指Ｔでなくともよい）でタッチされる。ここでは，図８の画像51Ａに含まれる被写体像53（タッチパネル12）が親指Ｔでタッチされたものとする（ステップ24でＹＥＳ）。第１のタッチ位置がＣＰＵ10（第１の位置検出手段）によって検出される（ステップ25）。すると，表示画面50に表示されている画像51Ａのうち，ＣＰＵ10によって検出された第１のタッチ位置に表示されている被写体像53が表わす人物の被写体53の撮影距離Ｌｈよりも大きな第１の距離Ｌ１およびその撮影距離よりも小さな第２距離Ｌ２との間に存在する被写体を表わす部分が合焦する画像がリフォーカス演算装置11（合焦手段）によって生成される（ステップ26）。

図10は，被写体像53が親指Ｔによってタッチされた様子を示している。図11は，撮影時におけるカメラ１と被写体52，53および54との位置関係を示している。

図11に示すように，被写体53は，カメラ１から撮影距離Ｌｍの位置に存在する。その被写体53の撮影距離Ｌｍよりも大きい第１の距離Ｌ１と撮影距離Ｌｍよりも小さな第２の距離Ｌ２との間に存在する被写体を表わす部分が合焦するようになる。図10に示すように，画像51Ｂは，タッチされた被写体像53が合焦し，その他の被写体像52および54はぼけることとなる。

このようにして生成された画像51Ｂが表示画面50に表示される（ステップ27）。

親指Ｔ（第１の物体）がタッチされると，その親指Ｔ（第１の物体）がタッチされている状態にあるかどうかがＣＰＵ10によって判定される（ステップ28）。親指Ｔが画像51Ｂの第１のタッチ位置（被写体像53）から離れると（ステップ28でＮＯ），再びステップ23からの処理が繰り返される。表示画面には，図10に示すように，タッチされた被写体像53が合焦している画像51Ｂが表示されている状態でステップ23からの処理が繰り返されるが，図８に示すように被写体像54が合焦している画像51Ａが表示されてもよい。

親指Ｔが画像51Ｂの第１のタッチ位置（被写体像53）にタッチされている状態で（ステップ28でＹＥＳ），人差し指（第２の物体）がタッチパネル12（画像51Ｂ）にタッチされたかどうかがＣＰＵ10によって判定される（ステップ29）（タッチ判定手段）。

人差し指（第２の物体）がタッチパネル12にタッチされたと判定されると（ステップ29でＹＥＳ），第１のタッチ位置に親指Ｔがタッチされている状態で，人差し指のタッチ位置の変化方向が，ＣＰＵ10によって検出される（タッチ方向検出手段）。その変化方向が検出されると（ステップ30でＹＥＳ），変化量もＣＰＵ10によって検出される（ステップ31）（変化量検出手段）。

変化方向が，図12に示すように親指Ｔ（第１のタッチ位置）から人差し指Ｆが離間する方向（図12では上方向）または図13に示すように親指Ｔ（第１のタッチ位置）を中心に人差し指Ｆが時計回りの方向の場合には（ステップ32でＹＥＳ），図14に示すように，第１の距離Ｌ１を増大させ，かつ第２の距離Ｌ２が減少させられる（ステップ34）。すると，合焦する範囲が広がり，被写体53だけでなく，被写体52および54も合焦するような画像が生成されるようにリフォーカス演算装置11がＣＰＵ10によって制御される（ステップ34）（合焦制御手段）。図12および図13に示すように，被写体像52，53および54が合焦している画像51Ｃが表示画面９に表示されるようになる（ステップ36）。

変化方向が，図15に示すように親指（第１のタッチ位置）から人差し指Ｆが接近する方向（図15では下方向）または図16に示すように親指Ｔ（第１のタッチ位置）を中心に人差し指Ｆが反時計回りの方向の場合には（ステップ32でＮＯ），図11に示すように，第１の距離Ｌ１を減少させ，かつ第２の距離Ｌ２が増大させられる（ステップ35）。すると，合焦する範囲が狭まり，合焦していた被写体52および54はぼけるようになり，被写体53のみが合焦するような画像が生成されるようにリフォーカス演算装置11がＣＰＵ10によって制御される（ステップ35）（合焦制御手段）。図15および図16に示すように，被写体像53は合焦しているが，被写体像52および54はぼけている画像51Ｂが表示画面50に表示されるようになる。

第１のタッチ位置（被写体像53）にタッチされている親指Ｔ（第１の物体）がＣＰＵ10によって非検出となると（ステップ37でＹＥＳ），上述したように合焦部分を変える処理がＣＰＵ10によって停止させられる（合焦範囲変更停止手段）。すると，第１のタッチ位置にタッチされていた状態で，合焦部分の変更が停止させられた同一の被写体像を服務複数の画像である画像51Ｂおよび51Ｃが表示画面50に表示される並列表示用の画像がＣＰＵ10によって生成される（ステップ38）。すると，図17に示すように，グラフィックプロセッサ８によって画像の並列表示が行なわれる（ステップ39）（第２の表示制御手段）。他の処理の指令がカメラに与えられると，その指令に応じた処理が行われる（ステップ40）。画像の並列表示は必ずしも行なわれなくともよく，画像51Ｂと51Ｂとが一定時間で切り替わるようにしてもよい。

上述の実施例においては，親指Ｔと人差し指Ｆとを用いて合焦する部分を変えているが，親指Ｔと人差し指Ｆとを用いずに他の物を利用して合焦する部分を変えてもよい。第１の物体が第１のタッチ位置にタッチされている状態で，第２の物体に変化方向を検出し，その変化方向に応じて，第１の距離および第２の距離を変更させ（増減を決定し），表示画面50に表示されている画像のうち，第１の距離と第２の距離との間に存在する被写体を表わす画像部分が合焦させられればよい。

また，上述の実施例では，図13に示すように時計回りとなることにより第１の距離が増大し，第２の距離が減少し，図16に示すように反時計回りとなることにより第１の距離が減少し，第２の距離が増大しているが，それらの逆に，時計回りとなることにより第１の距離が減少し，第２の距離が増大し，反時計回りとなることにより第１の距離が増大し，第２の距離が減少するようにしてもよい。さらに，第２の物体のタッチ位置の変化方向は，上述したように，接近，離間，時計回り，反時計回りに限らず，その変化方向に応じて第１の距離および第２の距離の増減が決定されればよい。さらに，第２の物体のタッチ位置の変化量に応じた大きさで，第１の距離および第２の距離が増減されるようにしてもよい。

図18は，表示画面50に表示される画像の一例である。

図18においては，合焦している被写体像53とぼけている被写体像52および54とは表示の態様が異なっている。表示の態様が異なっていることを示すために，図18においては，ぼけている被写体像52および54にはハッチングが付され，被写体像53にはハッチングが付されていない。たとえば，被写体像52および54は被写体像53よりも暗くされたり，被写体像52および54は白黒画像とし，被写体像53はカラー画像とされたりしてもよい。このように明るさ，色調による表示の態様を異ならせてもよい。

以上，本発明の実施形態として，ライトフィールドカメラについて説明してきたが，画像再生装置の構成はこれに限定されない。本発明のその他の画像再生装置としては，例えば，内蔵型又は外付け型のPC用カメラ，または，以下に説明するような，撮影機能を有する携帯端末装置とすることができる。

本発明の画像再生装置の一実施形態である携帯端末装置としては，例えば，携帯電話機やスマートフォン，PDA(Personal Digital Assistants)，携帯型ゲーム機が挙げられる。以下，スマートフォンを例に挙げ，図面を参照しつつ，詳細に説明する。

図19は，本発明の撮影装置の一実施形態であるスマートフォン61の外観を示すものである。

図19に示すスマートフォン61は，平板状の筐体62を有し，筐体62の一方の面に表示部としての表示パネル71と，入力部としての操作パネル72とが一体となった表示入力部70を備えている。また，係る筐体62は，マイクロフォン82，スピーカ81，操作部90，およびカメラ部91を備えている。なお，筐体62の構成はこれに限定されず，例えば，表示部と入力部とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図20は，図19に示すスマートフォン61の構成を示すブロック図である。

図20に示すように，スマートフォン61の主たる構成要素として，無線通信部96と，表示入力部70と，通話部80と，操作部90と，カメラ部91と，記憶部92と，外部入出力部97と，ＧＰＳ(Global Positioning System)受信部98と，モーションセンサ部95と，電源部99と，主制御部100とを備える。また，スマートフォン61の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部96は，主制御部100の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部70は，主制御部100の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル71と，操作パネル72とを備える。

表示パネル71は，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル72は，表示パネル71の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御部100に出力する。次いで，主制御部100は，受信した検出信号に基づいて，表示パネル71上の操作位置（座標）を検出する。

図19に示すように，本発明の撮影装置の一実施形態として例示しているスマートフォン61の表示パネル71と操作パネル72とは一体となって表示入力部70を構成しているが，操作パネル72が表示パネル71を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル72は，表示パネル71外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル72は，表示パネル71に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル71に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。

なお，表示領域の大きさと表示パネル71の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル72が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体62の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル72で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。

通話部80は，スピーカ81やマイクロフォン82を備え，マイクロフォン82を通じて入力されたユーザの音声を主制御部100にて処理可能な音声データに変換して主制御部100に出力したり，無線通信部96あるいは外部入出力部97により受信された音声データを復号してスピーカ81から出力するものである。また，図19に示すように，例えば，スピーカ81を表示入力部70が設けられた面と同じ面に搭載し，マイクロフォン82を筐体62の側面に搭載することができる。

操作部90は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図19に示すように，操作部90は，スマートフォン61の筐体62の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部92は，主制御部100の制御プログラムや制御データ，アプリケーションソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶部92は，スマートフォン内蔵の内部記憶部93と着脱自在な外部メモリスロットを有する外部記憶部94により構成される。なお，記憶部92を構成するそれぞれの内部記憶部93と外部記憶部94とは，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部97は，スマートフォン61に連結される全ての外部機器とのインターフェースの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサルシリアルバス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ，ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン61に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナルコンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナルコンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン61の内部の各構成要素に伝達することや，スマートフォン61の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部98は，主制御部100の指示にしたがって，GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン61の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信部98は，無線通信部96や外部入出力部97（例えば，無線ＬＡＮ）から位置情報を取得できる場合には，その位置情報を用いて位置を検出することもできる。

モーションセンサ部95は，例えば，３軸の加速度センサなどを備え，主制御部100の指示にしたがって，スマートフォン61の物理的な動きを検出する。スマートフォン61の物理的な動きを検出することにより，スマートフォン61の動く方向や加速度が検出される。係る検出結果は，主制御部100に出力されるものである。

電源部99は，主制御部100の指示にしたがって，スマートフォン61の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部100は，マイクロプロセッサを備え，記憶部92が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン61の各部を統括して制御するものである。また，主制御部100は，無線通信部96を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。

アプリケーション処理機能は，記憶部92が記憶するアプリケーションソフトウェアにしたがって主制御部100が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力部97を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。

また，主制御部100は，受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力部70に表示する等の画像処理機能を備える。画像処理機能とは，主制御部100が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力部70に表示する機能のことをいう。

更に，主制御部100は，表示パネル71に対する表示制御と，操作部90，操作パネル72を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により，主制御部100は，アプリケーションソフトウェアを起動するためのアイコンや，スクロールバーなどのソフトウェアキーを表示したり，あるいは電子メールを作成するためのウィンドウを表示する。なお，スクロールバーとは，表示パネル71の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また，操作検出制御の実行により，主制御部100は，操作部90を通じたユーザ操作を検出したり，操作パネル72を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に，操作検出制御の実行により主制御部100は，操作パネル72に対する操作位置が，表示パネル71に重なる重畳部分（表示領域）か，それ以外の表示パネル71に重ならない外縁部分（非表示領域）かを判定し，操作パネル72の感応領域や，ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また，主制御部100は，操作パネル72に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部91は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また，カメラ部91は，主制御部100の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶部50に記録したり，入出力部97や無線通信部96を通じて出力することができる。図19に示すスマートフォン61において，カメラ部91は表示入力部70と同じ面に搭載されているが，カメラ部91の搭載位置はこれに限らず，表示入力部70の背面に搭載されてもよいし，あるいは，複数のカメラ部91が搭載されてもよい。なお，複数のカメラ部91が搭載されている場合には，撮影に供するカメラ部91を切り替えて単独にて撮影したり，あるいは，複数のカメラ部91を同時に使用して撮影することもできる。

また，カメラ部91はスマートフォン61の各種機能に利用することができる。例えば，表示パネル71にカメラ部91で取得した画像を表示することや，操作パネル72の操作入力のひとつとして，カメラ部91の画像を利用することができる。また，ＧＰＳ受信部98が位置を検出する際に，カメラ部91からの画像を参照して位置を検出することもできる。更には，カメラ部91からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン61のカメラ部91の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ部91からの画像をアプリケーションソフトウェア内で利用することもできる。

その他，静止画又は動画の画像データにＧＰＳ受信部98により取得した位置情報，マイクロフォン82により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーションセンサ部90により取得した姿勢情報等などを付加して記録部92に記録したり，入出力部97や無線通信部96を通じて出力したりすることもできる。

このようなスマートフォン61において上述したようにライトフィールドデータによって表わされる画像を再生し，タッチ操作により所望の部分を合焦させることもできる。

１ ライトフィールドカメラ（画像再生装置）
８ グラフィックプロセッサ（第１の表示制御手段，第２の表示制御手段）
９ 表示装置
10 ＣＰＵ（第１の位置検出手段，変化方向検出手段，合焦制御手段，合焦範囲変更停止手段，変化量検出手段）
11 リフォーカス演算装置（合焦手段）

Claims (10)

1. タッチパネルが設けられている表示画面に，合焦部分が変更可能な画像を表示する表示装置，
   第１の物体が上記タッチパネルにタッチされた第１のタッチ位置を検出する第１の位置検出手段，
   上記表示画面に表示されている画像のうち，上記第１の位置検出手段によって検出された第１のタッチ位置に表示されている被写体像が表わす被写体の撮影距離よりも大きい第１の距離と撮影距離よりも小さい第２の距離との間に存在する被写体を表わす部分を合焦させる合焦手段，
   上記第１のタッチ位置に上記第１の物体がタッチされている状態で第２の物体が上記タッチパネルにタッチされたかどうかを判定するタッチ判定手段，
   上記タッチ判定手段によって上記第２の物体が上記タッチパネルにタッチされたと判定されたことにより，上記第１のタッチ位置に上記第１の物体がタッチされている状態で上記第２の物体のタッチ位置の変化方向を検出する変化方向検出手段，ならびに
   上記変化方向検出手段によって検出された変化方向に応じて，上記第１の距離および上記第２の距離を変更させて，上記表示画面に表示されている画像のうち，上記第１の距離と上記第２の距離との間に存在する被写体を表わす部分を上記合焦手段に合焦させる合焦制御手段，
   を備えた画像再生装置。
2. 上記第１の位置検出手段によって第１のタッチ位置が非検出となったことにより上記合焦制御手段による制御を停止させる合焦範囲変更停止手段，
   をさらに備えた請求項１に記載の画像再生装置。
3. 上記合焦制御手段は，
   上記変化方向検出手段によって検出された変化方向に応じて上記第１の距離および上記第２の距離の増減を決定するものである，
   請求項１または２に記載の画像再生装置。
4. 上記合焦制御手段は，
   上記変化方向検出手段によって検出された変化方向が，上記第１のタッチ位置から離間する方向である場合には上記第１の距離を増大させ，かつ上記第２の距離を減少させ，第１のタッチ位置に接近する方向である場合には上記第１の距離を減少させ，かつ上記第２の距離を増大させるものである，
   請求項３に記載の画像再生装置。
5. 上記合焦制御手段は，
   上記変化方向検出手段によって検出された変化方向が，上記第１のタッチ位置を中心に時計回りの方向である場合には上記第１の距離を増大させ，かつ上記第２の距離を減少させ，上記第１のタッチ位置を中心に反時計回りの方向である場合には上記第１の距離を減少させ，かつ上記第２の距離を増大させるものである，あるいは，
   上記変化方向検出手段によって検出された変化方向が，上記第１のタッチ位置を中心に時計回りの方向である場合には上記第１の距離を減少させ，かつ上記第２の距離を増大させ，上記第１のタッチ位置を中心に反時計回りの方向である場合には上記第１の距離を増大させ，かつ上記第２の距離を減少させるものである，
   請求項３に記載の画像再生装置。
6. 上記第１のタッチ位置に上記第１の物体がタッチされた状態で上記第２の物体のタッチ位置の変化量を検出する変化量検出手段をさらに備え，
   上記変化量検出手段によって検出された変化量に応じた大きさで上記第１の距離および上記第２の距離を変更するものである，
   請求項１から５のうち，いずれか一項に記載の画像再生装置。
7. 上記合焦手段によって合焦させられた画像部分の表示形態と非合焦の画像部分の表示形態とを変えて上記表示画面に画像を表示させる第１の表示制御手段，
   をさらに備えた請求項１から６のうち，いずれか一項に記載の画像再生装置。
8. 上記合焦範囲変更停止手段によって合焦部分の変更が停止させられた，同一の被写体像を含む複数の画像を，並べて表示画面に表示させる，あるいは切り替えて表示画面に表示させる第２の表示制御手段，
   をさらに備えた請求項２に記載の画像再生装置。
9. 表示装置が，タッチパネルが設けられている表示画面に，合焦部分が変更可能な画像を表示し，
   第１の検出手段が，第１の物体が上記タッチパネルにタッチされた第１のタッチ位置を検出し，
   合焦手段が，上記表示画面に表示されている画像のうち，上記第１の位置検出手段によって検出された第１のタッチ位置に表示されている被写体像が表わす被写体の撮影距離よりも大きい第１の距離と撮影距離よりも小さい第２の距離との間に存在する被写体を表わす部分を合焦させ，
   タッチ判定手段が，上記第１のタッチ位置に上記第１の物体がタッチされている状態で第２の物体が上記タッチパネルにタッチされたかどうかを判定し，
   変化方向検出手段が，上記タッチ判定手段によって上記第２の物体が上記タッチパネルにタッチされたと判定されたことにより，上記第１のタッチ位置に上記第１の物体がタッチされている状態で上記第２の物体のタッチ位置の変化方向を検出し，
   合焦制御手段が，上記変化方向検出手段によって検出された変化方向に応じて，上記第１の距離および上記第２の距離を変更させて，上記表示画面に表示されている画像のうち，上記第１の距離と上記第２の距離との間に存在する被写体を表わす部分を上記合焦手段に合焦させる，
   画像再生方法。
10. 画像再生装置のコンピュータを制御するコンピュータが読み取り可能なプログラムでぁって，
    タッチパネルが設けられている表示画面に，合焦部分が変更可能な画像を表示させ，
    第１の物体が上記タッチパネルにタッチされた第１のタッチ位置を検出させ，
    上記表示画面に表示されている画像のうち，検出された第１のタッチ位置に表示されている被写体像が表わす被写体の撮影距離よりも大きい第１の距離と撮影距離よりも小さい第２の距離との間に存在する被写体を表わす部分を合焦させ，
    上記第１のタッチ位置に上記第１の物体がタッチされている状態で第２の物体が上記タッチパネルにタッチされたかどうかを判定させ，
    上記第２の物体が上記タッチパネルにタッチされたと判定されたことにより，上記第１のタッチ位置に上記第１の物体がタッチされている状態で上記第２の物体のタッチ位置の変化方向を検出させ，
    検出された変化方向に応じて，上記第１の距離および上記第２の距離を変更させて，上記表示画面に表示されている画像のうち，上記第１の距離と上記第２の距離との間に存在する被写体を表わす部分を合焦させるように画像再生装置のコンピュータを制御するプログラム。

Images