JP2014220598A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2014220598A
JP2014220598A JP2013097114A JP2013097114A JP2014220598A JP 2014220598 A JP2014220598 A JP 2014220598A JP 2013097114 A JP2013097114 A JP 2013097114A JP 2013097114 A JP2013097114 A JP 2013097114A JP 2014220598 A JP2014220598 A JP 2014220598A
Authority
JP
Japan
Prior art keywords
image
light field
refocus
field data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013097114A
Other languages
English (en)
Other versions
JP6087719B2 (ja
Inventor
辰哉 日下田
Tatsuya Kusakada
辰哉 日下田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013097114A priority Critical patent/JP6087719B2/ja
Publication of JP2014220598A publication Critical patent/JP2014220598A/ja
Application granted granted Critical
Publication of JP6087719B2 publication Critical patent/JP6087719B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】ライトフィールドカメラで撮影した静止画や動画の検索性を向上させる。
【解決手段】被写体空間の3次元的な情報であるライトフィールドデータを取得する第1の取得手段と、前記第1の取得手段により取得されるライトフィールドデータに対応し、前記ライトフィールドデータを任意の焦点位置の画像となるように再構成することで得られる複数のリフォーカス画像を取得する第2の取得手段と、複数のライトフィールドデータに対応する画像を表示する指示がなされたとき、1つのライトフィールドデータに対応する複数のリフォーカス画像を順次表示してから、次のライトフィールドデータに対応する複数のリフォーカス画像を表示するよう表示手段を制御する制御手段と、を有する。
【選択図】 図1

Description

本発明は、ライトフィールドデータの処理を行う画像処理装置に関する。
近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報も取得可能(被写体空間の3次元的な情報を得ることが可能)な撮像装置(ライトフィールドカメラ)が提案されている。ライトフィールドは、遮蔽物のない空間を飛び交う光線の「場」と言える。ライトフィールド中の1本の光線を特定するには、例えば図2に示すようなかたちで2つの平行な平面を設定し、各平面と光線との交点(x’,y’)、(u,v)を指定すればよい。ライトフィールドカメラは、この光線情報の場を撮像素子で捉え、記録するカメラである。
例えば非特許文献1では、撮影レンズと撮像素子との間にマイクロレンズアレイが配置されており、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光が複数の画素によって入射方向別に取得される(図3)。したがって撮像素子のそれぞれの画素の出力値Lは光線としての情報を持ち、出力値L(x’,y’,u,v)がライトフィールド情報として記録される。ここで、通常の撮像装置の場合は、マイクロレンズアレイの位置に撮像素子が配置され、レンズ面(u,v)に対してL(x’,y’,u,v)が積分されたものが、それぞれの画素の出力値E(x’,y’)として記録されており、入射方向の情報が失われている。
上記のように取得されたライトフィールド情報に対して、従来の撮像装置では光学的に行われているu, vの積分を、ライトフィールドカメラでは、演算処理によって行う。これにより、通常の撮影画像を生成するほかに、「Light Field Photography」と呼ばれる手法を適用することで、任意の仮想像面(リフォーカス面)にピントを合わせた2次元画像を撮影後に再構成することができる。
Ren.Ng、他7名,「Light Field Photography with a Hand-Held Plenoptic Camera」,Stanford Tech Report CTSR 2005-02
ライトフィールドカメラで撮影した静止画や動画をユーザーが検索目的で再生する際、静止画の場合はスライドショー再生、動画の場合は時間軸上に所定間隔で飛び飛びに1画面ずつ再生するサーチ再生を行う。
スライドショー再生やサーチ再生を行う際、リフォーカス面は複数存在するリフォーカス面のうちどれか一つになり、ある一つのリフォーカス面にピントを合わせたスライドショー再生、サーチ再生を行う。そのため、ユーザーが検索したいリフォーカス面の画像が見つけられず検索性が悪くなる。
本発明は上述した課題に鑑みてなされたものであり、その目的は、ライトフィールドカメラで撮影した静止画や動画の検索性を向上させることである。
本発明に係わる画像処理装置は、被写体空間の3次元的な情報であるライトフィールドデータを取得する第1の取得手段と、前記第1の取得手段により取得されるライトフィールドデータに対応し、前記ライトフィールドデータを任意の焦点位置の画像となるように再構成することで得られる複数のリフォーカス画像を取得する第2の取得手段と、複数のライトフィールドデータに対応する画像を表示する指示がなされたとき、1つのライトフィールドデータに対応する複数のリフォーカス画像を順次表示してから、次のライトフィールドデータに対応する複数のリフォーカス画像を表示するよう表示手段を制御する制御手段と、を有することを特徴とする。
本発明によれば、ライトフィールドカメラで撮影した静止画や動画の検索性を向上させることが可能となる。
本発明の第1の実施形態に係わる撮像装置の構成を示すブロック図。 光線を特定する座標系の説明図。 ライトフィールドカメラの光学系を示す図。 撮像素子とマイクロレンズアレイの構成を示す図。 撮影レンズ、マイクロレンズアレイ、撮像素子の構成を示す図。 撮影レンズの瞳領域と受光画素の対応関係を示す図。 リフォーカス画像生成光線の通過領域の説明図。 静止画撮影動作を示すフローチャート。 静止画におけるリフォーカス位置情報と被写体画像を関連付けた情報を示す図。 静止画スライドショー再生動作を示すフローチャート。 静止画スライドショー再生の表示例を示す図。 リフォーカス位置情報選択後の静止画スライドショー再生動作を示すフローチャート。 サーチ再生の概要を示す図。 動画におけるリフォーカス位置情報と被写体画像を関連付けた情報を示す図。 サーチ再生の表示例を示す図。 リフォーカス位置情報選択後のサーチ再生の表示例を示す図。 動画サーチ再生動作を示すフローチャート。 リフォーカス位置情報選択後の動画再生動作を示すフローチャート。
以下、本発明の実施形態について添付図面を参照して詳細に説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置100の構成を示すブロック図である。図1において、101は撮影レンズ、102はマイクロレンズアレイ、103は撮像素子である。撮影レンズ101を通過した光は撮影レンズ101の焦点位置近傍に結像する。マイクロレンズアレイ102は複数のマイクロレンズから構成されており、撮影レンズ101の焦点位置近傍に配置されることで、撮影レンズ101の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。撮像素子103はCMOSイメージセンサやCCDイメージセンサに代表される光電変換素子である。複数のマイクロレンズのうちの一つに対して複数の画素が対応するように配置されることで、マイクロレンズで瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換することができる。
104はアナログ信号処理回路(AFE)、105はデジタル信号処理回路(DFE)である。アナログ信号処理回路104は、撮像素子103から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、A/D変換処理等を行う。デジタル信号処理回路105は、アナログ信号処理回路104から出力される画像信号に対して基準レベル調整等のデジタル画像処理を行う。
106は画像処理回路、107はコーデック部、108はDRAM、109はユーザーとのインタフェースとなる各種操作キーを備える操作部、116は記録媒体である。画像処理回路106はデジタル信号処理回路105から出力された画像信号に対して所定の画像処理やライトフィールドカメラ特有のリフォーカス演算を施す。コーデック部107は画像データの符号化や符号化された符号化データを復号化する。DRAM108は画像データを一時保持する揮発性のメモリであり、高速でランダムなアクセス性に優れる。
110は、LCD等の表示部である。111は、撮像装置100全体の制御を行うメインのCPUである。112はCPU111のプログラムが格納されているROM(Read Only Memory)、113はCPU111のワークメモリであるRAM(Random Access Memory)である。ROM113には後述するプログラムが格納されており、CPU111によって実行可能である。114は、撮影時に記録媒体116に符号化データを書き込むことが可能で、さらに再生時に記録媒体116から符号化データをDRAM108へ読み込むことが可能なMediaI/Fである。115は、撮像装置100全体を接続するバスである。
次に、本実施形態の撮像装置における撮影レンズ101、マイクロレンズアレイ102および撮像素子103の構成について説明する。なお、本実施形態では、以下で図4に示すような光学系によってライトフィールドデータ(被写体空間の3次元的な光線情報)を取得しているが、撮像手段としてはこれに限らない。例えば特開2011−22796号公報のように、複数の視点の異なるカメラをまとめて撮像部1002とみなす構成でもよい。また、図4の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ(一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる)、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク(ゲイン変調素子)を撮影光学系の光路中に挿入する方法も利用できる。
図4は、撮像素子103およびマイクロレンズアレイ102を図1の光軸Z方向から観察した図である。複数の分割画素401に対して1つのマイクロレンズが対応するように配置されている。1つのマイクロレンズの後方にある複数の分割画素401をまとめて画素配列(光電変換素子配列)400と定義する。なお、本実施形態では画素配列400には、分割画素401が5行5列の計25個(所定数)あるものとする。
図5は、撮影レンズ101から出射された光が1つのマイクロレンズを通過して撮像素子103で受光される様子を光軸Zに対して垂直方向から観察した図である。撮影レンズ101の各瞳領域a1〜a5から出射され、マイクロレンズを通過した光は、後方の対応する分割画素p1〜p5にそれぞれ結像される。
図6(a)は、図5で示した撮影レンズ101での光の通過領域(瞳分割領域)と撮像素子103での受光領域の様子をさらに詳しく説明するために、撮影レンズ101の開口を光軸Z方向から見た図である。図6(b)は、1つのマイクロレンズとその後方に配置された画素配列400を光軸Z方向から見た図である。
図6(a)に示すように撮影レンズ101の瞳領域を1つのマイクロレンズの後方にある画素と同数の領域に分割した場合、1つの画素には撮影レンズ101の1つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ101とマイクロレンズのFナンバーがほぼ一致しているものとする。
図6(a)に示す撮影レンズ101の瞳分割領域a11〜a55と、図6(b)に示す画素p11〜p55との対応関係は光軸Z方向から見て点対称となる。したがって、撮影レンズ101の瞳分割領域a11から出射した光はマイクロレンズ後方にある画素配列400のうち、画素p11に結像する。これと同様に、瞳分割領域a11から出射し、別のマイクロレンズを通過する光も、そのマイクロレンズ後方にある画素配列400の中の画素p11に結像する。図4のような撮像素子とマイクロレンズの場合、瞳分割数は、1つのマイクロレンズ内に入る画素数(5*5=25)となる。そして、瞳分割位置を(u,v)、u=0,1,2,3,4、v=0,1,2,3,4、マイクロレンズ位置座標を(x’,y’)、x’=0,1,2,3,4、y’=0,1,2,3,4とすると、撮像素子の画素座標(p, q)、p=0〜24, q=0〜24は、上記の瞳分割位置座標(u, v), マイクロレンズ位置座標(x’, y’)で表現でき、
p(x’,u)、q(y’,v) …(1)
と表すことができる。
ここで、画面内の任意の被写体位置に対応した焦点位置の算出方法(被写体焦点位置算出手段)について説明する。
図6で説明したように、画素配列400の各画素は、撮影レンズ101に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。
式(2)は、ある画素配列400の各画素について、撮影レンズ101の射出瞳の左側領域(瞳領域a11〜a51およびa12〜a52)を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列400に適用し、これらの出力信号群で構成した被写体像をA像とする。また、式(3)は、ある画素配列400の各画素について、撮影レンズ101の射出瞳の右側領域(瞳領域a14〜a54およびa15〜a55)を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列400に適用し、これらの出力信号群で構成した被写体像をB像とする。A像とB像に対して相関演算を施し、像のずれ量(瞳分割位相差)を検出する。さらに、像のずれ量に対して撮影レンズ101の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置(被写体距離情報)に対応した焦点位置を算出することができる。
次に、上記撮影レンズ101、マイクロレンズアレイ102および撮像素子103の構成によって取得された撮像データ(ライトフィールド情報、撮影情報取得、リフォーカス情報取得)に対して、任意に設定した焦点位置(リフォーカス面)での画像の再構成処理について説明する。
図7は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Zに対して垂直方向から見て表わした図である。図7において、撮影レンズの瞳分割領域の位置座標を(u,v)、リフォーカス面上の画素座標を(x,y)、マイクロレンズアレイ上のマイクロレンズの位置座標を(x’,y’)、撮影レンズからマイクロレンズアレイまでの距離をF、撮影レンズからリフォーカス面までの距離をαFとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが任意に設定できる。なお図7では、u, x, x’の方向のみを示し、v, y, y’については省略した。図7に示すように、座標(u,v)と座標(x,y)を通過した光は、マイクロレンズアレイ上の座標(x’,y’)に到達する。この座標(x’,y’)は式(4)のように表すことができる。
そして、この光を受光する画素の出力をL(x’,y’,u,v)とすると、リフォーカス面上の座標(x,y)で得られる出力E(x,y)は、L(x’,y’,u,v)を撮影レンズの瞳領域に関して積分したものとなるため、式(5)のようになる。
式(4)において、リフォーカス係数αが定まれば、リフォーカス面上の座標(x,y)、瞳分割領域位置座標(u,v)を与えることで、光の入射するマイクロレンズの位置(x’,y’)が求まる。そして、そのマイクロレンズに対応する画素配列400から(u,v)の位置に対応する撮像素子上の画素p, qが式(1)より求まり、この撮像素子の画素出力がL(x’,y’,u,v)=L(p, q)となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでE(x,y)が算出できる。なお、(u,v)を撮影レンズの瞳分割領域の代表座標とすれば、式(5)の積分は、単純加算により計算することができる。
図8はCPU111の静止画撮影動作フローであり、撮影モードに入り、シャッターを押し、撮像画像を撮影するまでのフローとなっている。なお、後述のリフォーカス位置情報(リフォーカス係数)は予めユーザーにより複数設定されてもよい。
S801で撮影を継続するかを判断する。ユーザーからの撮影終了の指示を操作部109が検出すると終了する。そうでなければS802に進む。S802で撮像レンズ101、マイクロレンズアレイ102、撮像素子103、AFE104、DFE105を介し、被写体画像をDRAM108に保持し、S803に進む。S803ではS802で保持した被写体画像を表示部110に表示し、S804に進む。
S804では撮影を行うか否かを判断する。ユーザーからのシャッター押下を操作部109が検出し、撮影を行うと判断されるとS805に進み、そうでなければS801に戻る。S805ではS802でDRAM108に保持した被写体画像を画像処理部106で所定の静止画サイズに加工しS806に進む。尚、この際に画像処理回路106で被写体の位置を解析し、後述のリフォーカス位置情報(リフォーカス係数)を被写体の数分設定してもよい。
S806ではリフォーカス位置情報(リフォーカス係数)と被写体画像を関連付け(図9)、S807に進む。S807ではS805で加工した画像をコーデック部107で符号化し、S808に進む。S808ではS806で関連付けたリフォーカス位置情報とS807で生成した符号化データを記録媒体116に記録し、S801に戻る。
次に撮影レンズ101、マイクロレンズアレイ102および撮像素子103によって取得されたリフォーカス位置情報と被写体画像を関連付けた情報を図9に示す。
図9は静止画を3枚撮影したときの情報で、901の列が静止画1(被写体画像)の情報、902の列が静止画2(被写体画像)の情報、903の列が静止画3(被写体画像)の情報である。それぞれの情報ごとにリフォーカス位置情報を4つ持ち、904の行がリフォーカス位置情報Aの情報で、リフォーカス位置情報A1、A2、A3となる。905の行がリフォーカス位置情報Bの情報で、リフォーカス位置情報B1、B2、B3となり、906の行がリフォーカス位置情報Cの情報で、リフォーカス位置情報C1、C2、C3となる。さらに、907の行がリフォーカス位置情報Dの情報で、リフォーカス位置情報D1、D2、D3となる。908の行は記録媒体116に記録される静止画のファイル名であり、符号化データが記録されている位置がわかる。
静止画1枚に対し、リフォーカス位置情報A、B、C、Dの4つ分リフォーカス画像を生成(リフォーカス画像生成)することができる。静止画を1枚撮影するごとに静止画(被写体画像)の情報とリフォーカス位置情報を付加する。
図10はCPU111の静止画スライドショー再生動作フローである。ユーザーからの再生開始指示を操作部109が検出し、再生が開始されたときからの図である。
S1001で記録媒体116から被写体画像とリフォーカス位置情報を関連付けた情報(図9)を読み出し、DRAM108に格納し、S1002に進む。S1002で再生を継続するかを判断する。ユーザーからの再生終了の指示を操作部109が検出すると終了する。そうでなければS1003に進む。
S1003では再生するファイル名を更新し、S1004に進む。ファイル名を記憶しておき、前回読み込んだファイル名をS1001で読み込んだ情報から検索する。S1004ではS1003で更新したファイル名の符号化データを記録媒体116から読み込み、DRAM108に格納し、S1005に進む。
S1005ではS1004で読み込んだ符号化データをコーデック部107で復号化し、画像データをDRAM108に格納し、S1006に進む。S1006ではS1001で読み出した情報からS1005で生成した画像データに対応するリフォーカス位置情報を取得し、リフォーカス位置情報数(図9の例では4)をセットし、S1007に進む。
S1007ではリフォーカス位置情報数が0か否かを判断する。リフォーカス位置情報数が0であればS1002に戻り、そうでなければS1008に進む。S1008ではS1006で取得した画像データに対応するリフォーカス位置情報をもとに画像処理部106でリフォーカス演算を行いリフォーカス画像を生成し、表示部110に画像データを表示し、S1009に進む。S1009ではリフォーカス位置情報数を−1してS1007に戻る。
図11は静止画スライドショー再生動作の表示部110に順次表示される画像の例を示している。
1101から1112へ昇順に表示され、1101から1104が静止画1のリフォーカスした画像、1105から1108が静止画2のリフォーカスした画像、1109から1112が静止画3のリフォーカスした画像である。
1101、1105、1109が図9のリフォーカス位置情報Aをもとにリフォーカスした画像で、1102、1106、1110が図9のリフォーカス位置情報Bをもとにリフォーカスした画像である。また、1103、1107、1111が図9のリフォーカス位置情報Cをもとにリフォーカスした画像で、1104、1108、1112が図9のリフォーカス位置情報Dをもとにリフォーカスした画像となる。
静止画1のリフォーカスした画像を全て画像処理回路106で生成し、CPU111が表示部110に表示したあと、静止画2のリフォーカスした画像、静止画3のリフォーカスした画像と表示される。なお、静止画1(ライトフィールドデータ1)から静止画2(ライトフィールドデータ2)と、次の静止画に表示が遷移する際に表示画の枠色を変えるなどして元のデータが変わったことをユーザが認識可能とする表示を行ってもよい。また、必ずしもライトフィールドデータに関連付けられたリフォーカス位置情報の全てを参照してリフォーカス画像を生成、再生する必要はなく、一部を取捨選択してもよい。例えば、画像処理部106は、被写体検出技術により1つの被写体しか検出できていないライトフィールドデータは、検出された被写体にピントのあったリフォーカス画像と背景にピントのあったリフォーカス画像の2つ(表示枚数)を最低限生成する。一方、複数の被写体が検出されたライトフィールドデータは、各被写体にピントのあった複数のリフォーカス画像と、必要に応じて背景にピントのあったリフォーカス画像を生成する。
また例えば、各ライトフィールドデータに対応する画像の合計の再生時間を統一するため、リフォーカス位置情報を所定数ずつ取捨選択してリフォーカス画像を生成、表示するなどしてもよい。取捨選択方法としては、予め撮影時の被写体検出情報などからつけられた優先順位や、過去の再生時にユーザーから付与されたレーティング情報等に従って選択しても良いし、リフォーカス面を広角端から望遠端にかけて再生される数分だけほぼ均等な間隔で選択するようにしても良い。また、過去にリフォーカス画像を生成し、表示したことが有る場合、その履歴情報があるリフォーカス位置情報に基づいて再生画像を選択しても良い。これらの設定は、操作部109からの指示、あるいは画像処理回路106、CPU111の演算等によって行われる。
また、過去にリフォーカス画像を生成し、表示したことがある場合、そのまま記録されているリフォーカス画像、またはその履歴情報に基づき生成されるリフォーカス画像のみを表示させてもよい。既にリフォーカス画像が生成されていてリフォーカス画像が記録されているものについては、再度リフォーカス画像を生成せず、記録された、あるいは個々のライトフィールドデータに対応づけられたリフォーカス画像を読み出して表示すればよい。この場合、S1008のリフォーカス画像の生成ステップが省略される。
さらに、上述した実施形態では、記録されたリフォーカス位置情報の参照順は特に規定していないが、たとえば前述した優先順位、レーティング情報で高評価なものから表示したり、広角端あるいは望遠端から順に表示すると言う規則を以て表示させたりしてもよい。これらの設定は、操作部109からの指示、あるいは画像処理回路106、CPU111の演算等によって行われる。
図12は静止画スライドショー再生動作のあと、リフォーカス位置情報を選択し、静止画スライドショー再生動作を再開する動作フローである。
S1002で再生を継続しないと判断するとS1201に進む。再生を継続しない判断はユーザーからのライトフィールド選択モード移行の指示を操作部109が検出したことで判断してもよい。
S1201ではユーザーからリフォーカス位置情報の選択指示を操作部109が検出したか否かを判断し、検出したらS1202に進み、そうでなければS1201に進む。S1202で再生を継続するかを判断する。ユーザーからの再生終了の指示を操作部109が検出すると終了する。そうでなければS1203に進む。
S1203では再生するファイル名を更新し、S1204に進む。ファイル名を記憶しておき、前回読み込んだファイル名をS1001で読み込んだ情報から検索する。S1204ではS1203で更新したファイル名の静止画ファイルの符号化データを記録媒体116から読み込み、DRAM108に格納し、S1205に進む。
S1205ではS1204で読み込んだ符号化データをコーデック部107で復号化し、画像データをDRAM108に格納し、S1206に進む。S1206ではS1001で読み出した情報からS1205で生成した画像データに対応するS1201で選択したリフォーカス位置情報を取得し、S1207に進む。S1207ではS1206で取得した画像データに対応するリフォーカス位置情報をもとに画像処理部106でリフォーカス演算を行い、表示部110に表示し、S1202に進む。
S1201でリフォーカス位置情報Aを選択したとすると1101、1105、1109の順に表示され、リフォーカス位置情報Bを選択したとすると1102、1106、1110の順に表示される。また、リフォーカス位置情報Cを選択したとすると1103、1107、1111の順に表示され、リフォーカス位置情報Dを選択したとすると1104、1108、1112の順に表示される。
(第2の実施形態)
次に、第2の実施形態について説明する。第2の実施形態は、動画を撮影し、撮影した動画をサーチ再生する場合の実施形態である。
図13にサーチ再生の概要を示す。1301は通常の再生において画像表示の様子を示したものであり、1302はサーチ再生において画像表示の様子を示したものである。四角内の数字は撮影された動画の画像の番号である。なお、1つの画像の表示時間は一般的な表示時間の約33msecとしている。1301の通常再生の場合、画像1から1ずつ昇順に表示される。
1302のサーチ再生の場合、画像1の表示を15枚分の約33msec×15≒0.5sec行い、その後、画像80の表示を同じく約0.5sec行っている。これは1つの画像の静止表示期間を0.5secに固定し、5倍速サーチ再生を想定したもので、画像1の表示のあと本来は画像16が表示される状態に対し、画像16×5倍=画像80の表示が行われる。1つの画像の静止表示期間及びサーチ倍速をどのようにするかによって表示される画像の位置は変わり、図13はその一例を示したものである。
第2の実施形態での撮像装置100のブロック図は図1と同じであるため説明は省略する。
CPU111の動画撮影動作フローは図8と同じであり、差異のあるS804、S806のみ説明する。S804では撮影を行うか否かを判断する。ユーザーからの撮影開始指示を操作部109が検出すると、ユーザーからの撮影終了指示を操作部109が検出するまではS805に進む。また、ユーザーからの撮影終了指示を操作部109が検出すると、ユーザーからの撮影開始指示を操作部109が検出するまではS801に戻る。
S806では撮影レンズ101、マイクロレンズアレイ102および撮像素子103によって取得されたリフォーカス位置情報と被写体画像を関連付け(図14)、S807に進む。
次に撮影レンズ101、マイクロレンズアレイ102および撮像素子103によって取得されたリフォーカス位置情報と被写体画像を関連付けた情報を図14に示す。
図14は動画を撮影したときの情報で、動画中に画像1、画像2、画像3、…、画像Nがあり、1401の列が画像1(被写体画像)の情報、1402の列が画像2(被写体画像)の情報、1403の列が画像3(被写体画像)の情報、1404の列が画像N(被写体画像)の情報である。それぞれの情報ごとにリフォーカス位置情報を4つ持ち、1405の行がリフォーカス位置情報Aの情報で、リフォーカス位置情報A1、A2、A3となる。1406の行がリフォーカス位置情報Bの情報で、リフォーカス位置情報B1、B2、B3となり、1407の行がリフォーカス位置情報Cの情報で、リフォーカス位置情報C1、C2、C3となる。さらに、1408の行がリフォーカス位置情報Dの情報で、リフォーカス位置情報D1、D2、D3となる。1409の行は記録媒体116に記録されている動画画像それぞれの符号化データの位置であり、再生する際、この情報を参照して読み込む符号化データの位置を判断することができる。
動画中の画像1枚に対し、リフォーカス位置情報A、B、C、Dの4つ分リフォーカス画像を生成することができる。動画中の画像を1枚符号化するごとに画像(被写体画像)の情報とリフォーカス位置情報を付加する。尚、画像(被写体画像)の情報には記録媒体116に記録される画像のファイル名やファイル上の位置等が含まれる。
CPU111の動画サーチ再生動作フローを図17に示す。図17は図10と同様なフローであり、差異のあるS1701、S1703、S1704、S1708のみ説明する。
S1701で記録媒体116から被写体画像とリフォーカス位置情報を関連付けた情報(図14)を読み出し、DRAM108に格納し、S1702に進む。
S1703では再生する画像の位置を更新し、S1704に進む。撮像装置100にあらかじめ設定されているサーチ倍速や静止表示期間をもとに再生する画像を動画画像中から算出し、画像の位置を更新する。
S1704ではS1701で読み込んだ情報を見てS1703で更新した画像の位置の符号化データを記録媒体116から読み込み、DRAM108に格納し、S1705に進む。
S1708ではS1706で取得した画像データに対応するリフォーカス位置情報をもとに画像処理部106でリフォーカス演算を行い、表示部110に画像データを静止表示期間表示し、S1709に進む。
図15は動画サーチ再生動作において表示部110に表示される画像の例を示している。
1501から1516へ昇順に表示され、1501から1504がサーチ再生で表示する画像のリフォーカスした画像、1505から1508が次の表示する画像のリフォーカスした画像である。さらに、1509から1512が次の表示する画像のリフォーカスした画像、1513から1516が次の表示する画像のリフォーカスした画像である。
1501、1505、1509、1513が図14のリフォーカス位置情報Aをもとにリフォーカスした画像で、1502、1506、1510、1514が図14のリフォーカス位置情報Bをもとにリフォーカスした画像である。また、1503、1507、1511、1515が図14のリフォーカス位置情報Cをもとにリフォーカスした画像で、1504、1508、1512、1516が図14のリフォーカス位置情報Aをもとにリフォーカスした画像となる。サーチ再生の画像のリフォーカスした画像を全て表示したあと、次のサーチ再生の画像のリフォーカスした画像の表示と、サーチ再生のたびにリフォーカスした画像を表示する。
動画サーチ再生動作のあと、リフォーカス位置情報を選択し、通常の再生動作を開始する動作フローを図18に示す。図18は図12と同様のフローであり、差異のあるS1803のみ説明する。
S1803では再生する画像の位置を更新し、S1804に進む。再生する画像の位置は前回表示された画像の次の画像とする。
図16は動画サーチ再生動作後、ユーザーがリフォーカス位置情報を選択し、通常の再生動作を行ったときの表示部110に表示される画像の例を示している。動画サーチ再生で1514を選択すると、リフォーカス位置情報Bが選択され、その後通常の再生が開始される。1601から1605は通常の再生で表示される画像で、いずれもリフォーカス位置情報Bをもとにリフォーカスされた画像である。

Claims (17)

  1. 被写体空間の3次元的な情報であるライトフィールドデータを取得する第1の取得手段と、
    前記第1の取得手段により取得されるライトフィールドデータに対応し、前記ライトフィールドデータを任意の焦点位置の画像となるように再構成することで得られる複数のリフォーカス画像を取得する第2の取得手段と、
    複数のライトフィールドデータに対応する画像を表示する指示がなされたとき、1つのライトフィールドデータに対応する複数のリフォーカス画像を順次表示してから、次のライトフィールドデータに対応する複数のリフォーカス画像を表示するよう表示手段を制御する制御手段と、を有することを特徴とする画像処理装置。
  2. 前記ライトフィールドデータのリフォーカスに関するリフォーカス情報を取得するリフォーカス情報取得手段と、
    前記ライトフィールドデータを、前記リフォーカス情報に基づいてリフォーカス画像に変換する生成手段と、を有することを特徴とする請求項1に記載の画像処理装置。
  3. 前記リフォーカス情報とは、被写体距離情報、所定の焦点位置の像面における被写体の位置情報及びリフォーカス係数のうちの少なくとも1つであることを特徴とする請求項2に記載の画像処理装置。
  4. 前記制御手段は、ライトフィールドデータに応じて、該ライトフィールドデータに対応するリフォーカス画像の表示枚数を制御することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記制御手段は、ライトフィールドデータに関連付けられた被写体検出情報に基づいて、該ライトフィールドデータに対応するリフォーカス画像の表示枚数を制御することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記制御手段は、ライトフィールドデータに関連付けられた被写体検出情報に基づいて、検出された各被写体に対応するリフォーカス画像と、背景に対応するリフォーカス画像を表示させることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記制御手段は、複数のライトフィールドデータに対応する画像を表示する指示がなされたとき、前記複数のライトフィールドデータに対応するリフォーカス画像の表示枚数を揃えて表示手段に順次表示させることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記制御手段は、ライトフィールドデータに対応づけられた被写体検出情報の優先順位に基づいて、該ライトフィールドデータに対応するリフォーカス画像を表示させることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 前記制御手段は、ライトフィールドデータあるいはライトフィールドデータに対応するリフォーカス画像に対応づけられたレーティング情報に基づいて、該ライトフィールドデータに対応するリフォーカス画像を表示させることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  10. 前記制御手段は、ライトフィールドデータに対応づけられたリフォーカスに関するリフォーカス情報に基づいて、広角端から望遠端まで均等にリフォーカス画像を表示させることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  11. 前記制御手段は、ライトフィールドデータに対応する画像を表示する指示がなされたとき、当該指示に従って表示するべき画像が既に記憶されている場合、前記記憶されているリフォーカス画像を用いて前記表示手段に表示させることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  12. 前記生成手段は、ライトフィールドデータに対応する画像を表示する指示がなされたとき、当該指示に従って表示するべき画像が既に記憶されている場合、当該リフォーカス画像を改めて生成しないことを特徴とする請求項2に記載の画像処理装置。
  13. 複数のライトフィールドデータに対応する画像を表示する指示とは、静止画スライドショー再生の指示であることを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
  14. 複数のライトフィールドデータに対応する画像を表示する指示とは、動画サーチ再生の指示であることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
  15. 前記制御手段によってライトフィールドデータを再生する場合に、複数の前記ライトフィールドデータのリフォーカスに関するリフォーカス情報から1つを選択する選択手段をさらに備え、
    前記制御手段は、前記選択手段で選択した前記リフォーカス情報に対応するリフォーカス画像を表示手段に表示させることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
  16. 前記制御手段は、前記1つのライトフィールドデータに対応するリフォーカス画像から次のライトフィールドデータに対応するリフォーカス画像に遷移することを認識可能な表示を行うように前記表示手段を制御することを特徴とする請求項1乃至14のいずれか1項に記載の画像処理装置。
  17. 被写体空間の3次元的な情報であるライトフィールドデータを取得する第1の取得工程と、
    前記第1の取得工程にて取得されるライトフィールドデータに対応し、前記ライトフィールドデータを任意の焦点位置の画像となるように再構成することで得られる複数のリフォーカス画像を取得する第2の取得工程と、
    複数のライトフィールドデータに対応する画像を表示する指示がなされたとき、1つのライトフィールドデータに対応する複数のリフォーカス画像を順次表示してから、次のライトフィールドデータに対応する複数のリフォーカス画像を表示するよう表示手段を制御する制御工程と、を有することを特徴とする画像処理方法。
JP2013097114A 2013-05-02 2013-05-02 画像処理装置及び画像処理方法 Active JP6087719B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013097114A JP6087719B2 (ja) 2013-05-02 2013-05-02 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013097114A JP6087719B2 (ja) 2013-05-02 2013-05-02 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2014220598A true JP2014220598A (ja) 2014-11-20
JP6087719B2 JP6087719B2 (ja) 2017-03-01

Family

ID=51938708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013097114A Active JP6087719B2 (ja) 2013-05-02 2013-05-02 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP6087719B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016163235A (ja) * 2015-03-03 2016-09-05 キヤノン株式会社 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体
WO2016167436A1 (ko) * 2015-04-17 2016-10-20 삼성전자 주식회사 이미지 촬영 장치 및 이미지 촬영 방법
US9955111B2 (en) 2015-07-01 2018-04-24 Canon Kabushiki Kaisha Electronic apparatus and display control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219878A (ja) * 2007-02-09 2008-09-18 Olympus Imaging Corp 復号方法、復号装置、復号プログラム、及び電子カメラ
JP2009224982A (ja) * 2008-03-14 2009-10-01 Sony Corp 画像処理装置、画像処理プログラムおよび表示装置
JP2013110556A (ja) * 2011-11-21 2013-06-06 Olympus Corp プレノプティックカメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219878A (ja) * 2007-02-09 2008-09-18 Olympus Imaging Corp 復号方法、復号装置、復号プログラム、及び電子カメラ
JP2009224982A (ja) * 2008-03-14 2009-10-01 Sony Corp 画像処理装置、画像処理プログラムおよび表示装置
JP2013110556A (ja) * 2011-11-21 2013-06-06 Olympus Corp プレノプティックカメラ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016163235A (ja) * 2015-03-03 2016-09-05 キヤノン株式会社 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体
US10382676B2 (en) 2015-03-03 2019-08-13 Canon Kabushiki Kaisha Image display apparatus, image capturing apparatus, image display method, and storage medium
WO2016167436A1 (ko) * 2015-04-17 2016-10-20 삼성전자 주식회사 이미지 촬영 장치 및 이미지 촬영 방법
US9955111B2 (en) 2015-07-01 2018-04-24 Canon Kabushiki Kaisha Electronic apparatus and display control method

Also Published As

Publication number Publication date
JP6087719B2 (ja) 2017-03-01

Similar Documents

Publication Publication Date Title
RU2523083C2 (ru) Устройство съемки изображений, устройство обработки изображений и способ обработки изображений для формирования вспомогательной информации для снятого изображения
US9451148B2 (en) Image recording apparatus and image reproducing apparatus
JP5947548B2 (ja) 撮像装置、その制御方法、画像処理装置、画像生成方法、プログラム
CN103685920A (zh) 图像处理设备及方法以及具有图像处理设备的摄像设备
JP6202910B2 (ja) 映像処理装置およびその制御方法、プログラム
JP2013201752A5 (ja)
US20140226039A1 (en) Image capturing apparatus and control method thereof
JP6095266B2 (ja) 画像処理装置及びその制御方法
JP5094070B2 (ja) 撮像装置、撮像方法、プログラム、及び記憶媒体
CN103813094A (zh) 捕捉图像的方法、电子装置与机器可读存储介质
JP6211137B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP6087719B2 (ja) 画像処理装置及び画像処理方法
JP6761230B2 (ja) 画像処理装置、その制御方法、プログラム及び撮像装置
US20190281225A1 (en) Focus detection device and focus detection method
JP6210836B2 (ja) 撮像装置、撮像制御装置、その制御方法およびプログラム
JP6491442B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6406804B2 (ja) 画像処理装置、画像処理方法およびプログラム並びに撮像装置
JP6757245B2 (ja) 動画再生装置、撮像装置、動画再生方法及びプログラム
JP6097587B2 (ja) 画像再生装置及びその制御方法
JP2014064214A5 (ja)
JP6291605B2 (ja) 画像処理装置及びその制御方法
JP6106026B2 (ja) 画像処理装置、撮像装置、再生装置、制御方法、及びプログラム
US20240089578A1 (en) Image pickup apparatus capable of processing subject detection in multiple-exposure image with high precision and high speed, control method for image pickup apparatus, and storage medium
JP6580172B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6377225B2 (ja) 画像処理装置およびその制御方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170202

R151 Written notification of patent or utility model registration

Ref document number: 6087719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151