JP2023184677A - 電子機器 - Google Patents

Abstract

【課題】一連のリフォーカス画像の各々の合焦位置と再生位置との関係を明確にすること。【解決手段】電子機器は、合焦位置が変更可能な動画を表示画面の第１表示領域に再生する再生部と、前記動画を構成する画像の合焦位置と再生位置との関係を示す情報を前記表示画面の第２表示領域に表示させる表示制御部と、前記第２表示領域に表示される前記関係を示す情報のうちの一部と、前記第１表示領域に対する操作により前記第１表示領域に表示されている前記動画の被写体と、の指定を受付ける指定部と、前記指定部が受け付けた指定結果に基づいて前記動画を編集する編集部と、を備える。【選択図】図４

Description

本発明は、電子機器およびプログラムに関する。

従来、画像の合焦位置を変更したリフォーカス画像を生成する撮像装置が開示されている（たとえば、下記特許文献１を参照）。この従来技術では、一連のリフォーカス画像の各々の合焦位置と、一連のリフォーカス画像を再生した再生位置との関係が不明である。

特開２０１３－２４７４７８号公報

本願において開示される発明の一側面となる電子機器は、合焦位置が変更可能な動画を表示画面の第１表示領域に再生する再生部と、前記動画を構成する画像の合焦位置と再生位置との関係を示す情報を前記表示画面の第２表示領域に表示させる表示制御部と、前記第２表示領域に表示される前記関係を示す情報のうちの一部と、前記第１表示領域に対する操作により前記第１表示領域に表示されている前記動画の被写体と、の指定を受付ける指定部と、前記指定部が受け付けた指定結果に基づいて前記動画を編集する編集部と、を備える。また、本願において開示される発明の他の側面となる電子機器は、合焦位置が変更可能な動画を表示画面に再生する再生部と、前記再生部によって再生される動画を第１表示領域に表示させ、前記動画を構成する画像の合焦位置と再生位置との関係を示す情報を前記第１領域と異なる第２領域に表示させ、前記動画の合焦位置を調整するスライダを前記第１領域の動画に表示させる表示制御部と、を備える。

図１は、リフォーカス動画像の表示画面の一例を示す説明図である。 図２は、リフォーカス動画像の表示画面での操作例を示す説明図である。 図３は、線グラフの線幅の変更例を示す説明図である。 図４は、再生装置の構成例を示すブロック図である。 図５は、マイクロレンズアレイと撮像素子との関係を示す説明図である。 図６は、視差画像の一例を示す説明図である。 図７は、リフォーカス画像の生成例を示す説明図である。 図８は、再生装置によるリフォーカス動画像の記録処理手順例を示すフローチャートである。 図９は、リフォーカス動画像の間引き処理手順例を示すフローチャート１である。 図１０は、リフォーカス動画像の間引き処理手順例を示すフローチャート２である。 図１１は、表示制御部による第２表示領域に表示された線グラフの変更例１を示す説明図である。 図１２は、表示制御部による第２表示領域に表示された線グラフの変更例２を示す説明図である。 図１３は、表示制御部による第２表示領域に表示された線グラフの変更例３を示す説明図である。 図１４は、表示制御部による第２表示領域に表示された線グラフの変更例４を示す説明図である。 図１５は、表示制御部による第２表示領域に表示された線グラフの変更例５を示す説明図である。 図１６は、表示制御部による第２表示領域に表示された線グラフの変更例６を示す説明図である。 図１７は、リフォーカス画像の再合成処理手順例を示すフローチャートである。 図１８は、被写界深度の更新後におけるリフォーカス画像の再合成例を示す説明図である。 図１９は、他のデバイスでの表示例を示す説明図である。 図２０は、２画面表示例を示す説明図である。 図２１は、１フレーム切り出しの表示例を示す説明図である。 図２２は、１フレーム切り出し処理手順例を示すフローチャートである。 図２３は、描画線グラフからのリフォーカス動画像の生成処理手順例を示すフローチャートである。 図２４は、動画ファイルでのサムネイル表示例を示す説明図である。 図２５は、サムネイル画像表示処理手順例を示すフローチャートである。

＜リフォーカス動画像における一連のフレームの合焦位置と再生位置との関係＞
図１～図３を用いて、リフォーカス動画像における一連のフレームの合焦位置と再生位置との関係について説明する。

図１は、リフォーカス動画像の表示画面の一例を示す説明図である。リフォーカス動画像とは、時系列な一連のリフォーカス画像である。リフォーカス画像とは、ある被写体を撮影した複数の画像を合成した合成画像である。視差画像を用いる場合、リフォーカス画像とは、ある被写体を撮影した視差が異なる複数の画像を合成した合成画像である。リフォーカス画像は、撮影後に合焦位置を変更して再合成することが可能な合成画像である。

図１において、表示画面１００は、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、携帯ゲーム機や、パーソナルコンピュータのディスプレイに表示される。ディスプレイは、たとえば、タッチパネル式である。

表示画面１００は、第１表示領域１０１と、第２表示領域１０２と、を有する。第１表示領域１０１は、一連のリフォーカス画像を再生して表示する領域である。第１表示領域１０１には、ある再生位置における合成画像（リフォーカス画像ＲＦ４）として、オブジェクトＯ１～Ｏ３を含むものが表示されている。なお、ここでは、オブジェクトＯ１～Ｏ３のうち、オブジェクトＯ１は最も撮影元に近接しており、オブジェクトＯ３は、最も撮影元から離間しているものとする。

第２表示領域１０２は、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報を表示する領域である。一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報は、たとえば、一連のリフォーカス画像の再生位置を示す時間軸１２１（ｔ軸）と、一連のリフォーカス画像の合焦位置を示す距離軸１２２（ｚ軸）と、により構成される座標系１２０に表示される。距離軸１２２は、合焦位置、たとえば、撮像素子と撮像レンズとの焦点距離を示す。

座標系１２０には、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報の一例として、一連のリフォーカス画像の再生位置による合焦位置の変化を示す線グラフＷＦが表示される。すなわち、線グラフＷＦは、ある再生位置でのリフォーカス画像の合焦位置を示す。操作者は、たとえば、ユーザインタフェースにより、線グラフＷＦの形状を指で変更可能である。点Ｐ１～Ｐ４は、線グラフＷＦ上の点（以下、総称して点Ｐ）であり、たとえば、所定の再生位置間隔または合焦位置が変更される都度、あるいは、ユーザの指定により生成される。

また、第２表示領域１０２には、リフォーカス動画像の再生位置を示すバーＢが表示される。バーＢは、リフォーカス動画像の再生にしたがって左から右に移動する。図１のバーＢは、再生位置ｔ４を示す。第１表示領域１０１に表示されるリフォーカス画像ＲＦ４は、再生位置ｔ４のリフォーカス画像である。このときの合焦位置はｄ２であり、オブジェクトＯ２に合焦するものとする。

また、第１表示領域１０１には、どの時刻に表示画像のどの位置（座標）にプロットしたかを示す関連情報１１１が表示される。たとえば、関連情報１１１（Ｐ１、時刻t１）は、線グラフＷＦ上の点Ｐ１に対応する情報であり、関連情報１１１（Ｐ４、時刻t４）は、線グラフＷＦ上の点Ｐ４に対応する情報であり、関連情報１１１（Ｐ２、時刻t２）は、線グラフＷＦ上の点Ｐ２に対応する情報である。なお、点Ｐに対応する関連情報１１１については、関連情報１１１に第２表示領域１０２の点Ｐの色または形状のマークと同一の色または形状のマークを表示してもよい。たとえば、第２表示領域１０２において、点Ｐ１のマークを白丸とした場合、点Ｐ１に対応するオブジェクトＯ１の関連情報１１１も同一色および同一形状となる白丸とする。この場合、関連情報１１１を示す文字列（Ｐ１、時刻ｔ１）は削除されてもよい。また、点Ｐ２は、点Ｐ１と異なる色または形状とすればよい。たとえば、たとえば、第２表示領域１０２において、点Ｐ２のマークを白三角とした場合、点Ｐ２に対応するオブジェクトＯ２の関連情報１１１も同一色および同一形状となる白三角とする。この場合、関連情報１１１を示す文字列（Ｐ４、時刻ｔ４）は削除されてもよい。点Ｐ２についても同様である。

このように、一連のリフォーカス画像の各々の合焦位置と再生位置との関係が明確になり、ユーザは、どの再生位置のリフォーカス画像内のどの被写体がどの合焦位置で合焦しているかを直感的に視認することができる。

具体的には、たとえば、ユーザは、線グラフＷＦ上の点Ｐの生成およびポインタ点Ｐの奥行き位置調整をタッチフォーカスで行うことにより、被写体をタップまたはクリックすることで、線グラフＷＦ上で点Ｐがピントの合った位置に更新される。したがって、ピントを合わせたい被写体にいちいち線グラフＷＦの微調整をする必要がなくなり、利便性の向上を図ることができる。

たとえば、点Ｐを新規生成する場合について説明する。第１表示領域１０１上にはタッチオートフォーカス機能があるものとする。タッチオートフォーカス機能は、タッチインターフェースを使用して合焦位置を指示できるオートフォーカス機能である。ユーザが、動画の再生時刻ｔ１で、第１表示領域１０１上のある位置（ｘ１，ｙ１）に焦点を合わせたい場合、第１表示領域１０１上の位置（ｘ１，ｙ１）（たとえば、オブジェクトＯ１内の位置）にタッチすることで、当該位置（ｘ１，ｙ１）を含むオブジェクトＯ１がオートフォーカスされる。このとき、オブジェクトＯ１の合焦位置が更新されるため、オブジェクトＯ１の更新後の合焦位置および再生時刻ｔ１で特定される線グラフ上の位置に点Ｐ１を生成する。そして、位置（ｘ１，ｙ１）と点Ｐ１とを関連付けることにより、再生時刻ｔ１でのリフォーカス画像と線グラフＷＦとの同期をとることができる。

また、点Ｐの位置を調整する場合について説明する。第１表示領域１０１上にはタッチオートフォーカス機能があるものとする。線グラフＷＦ上の再生時刻ｔ２に点Ｐ２が生成されており、第１表示領域１０１上の位置とは、関連付けられていないものとする。ユーザが、再生時刻ｔ２で位置（ｘ２，ｙ２）にピントを合わせたい場合、ユーザは線グラフＷＦ上の点Ｐ２を選択した上で、第１表示領域１０１のピントを合わせたい被写体（たとえば、位置（ｘ２，ｙ２）を含むオブジェクトＯ３）にタップやクリックする。これにより、オブジェクトＯ３にピントが合った合成画像となる。このとき、オブジェクトＯ３の合焦位置が更新されるため、線グラフＷＦ上での点Ｐ２の合焦位置の更新とともに、点Ｐと位置（ｘ２，ｙ２）が関連付けられる。

なお、上記処理のあと、ユーザが点Ｐ１、Ｐ２について、線グラフＷＦ上でピント位置や時間位置を変更した場合、変更前の時刻および座標でピントが合っていないことになるが、（１）ユーザが、タッチフォーカスでプロット後、線グラフＷＦで点Ｐの編集を全くしない場合や（２）タッチフォーカスでプロット後、線グラフＷＦで点Ｐの編集をした際、変更前後の差分情報も保持させる場合に、利用することができる。特に、（２）については、変更後の点Ｐを元の位置に戻す場合に、有用である。

なお、ここでは、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報の一例として、線グラフＷＦを例に挙げたが、棒グラフなど、合焦位置と再生位置との関係が視覚的にユーザに理解できるような情報であればよい。

図２は、リフォーカス動画像の表示画面１００での操作例を示す説明図である。（Ａ）～（Ｃ）において、（Ａ）～（Ｃ）では、第１表示領域１０１に再生位置ｔ４のリフォーカス画像が表示されている。なお、バーＢは、ユーザの操作により、時間軸１２１の方向にスライド可能である。

（Ａ）の点Ｐ４は、図１に示したように、バーＢ上の再生位置ｔ４における合焦位置ｄ２を示す。合焦位置ｄ２の場合、再生位置ｔ４における視差が異なる複数の画像を合成すると、オブジェクトＯ２に合焦したリフォーカス画像ＲＦ４１が生成される。

（Ｂ）は、再生位置ｔ４において、ユーザの操作により、合焦位置ｄ２を合焦位置ｄ１（＜ｄ２）に変更した例である。合焦位置ｄ１の場合、再生位置ｔ４における視差が異なる複数の画像を合成すると、オブジェクトＯ１に合焦したリフォーカス画像ＲＦ４２が生成される。また、変更後の点Ｐ４と１つ手前の点Ｐ１とにより、Ｐ４，Ｐ１間の線分が線形補間される。同様に、変更後の点Ｐ４と１つ先の点Ｐ２とにより、Ｐ４，Ｐ２間の線分が線形補間される。

（Ｃ）は、再生位置ｔ４において、ユーザの操作により、合焦位置ｄ２を合焦位置ｄ３（＞ｄ２）に変更した例である。合焦位置ｄ３の場合、再生位置ｔ４における視差が異なる複数の画像を合成すると、オブジェクトＯ３に合焦したリフォーカス画像ＲＦ４３が生成される。また、変更後の点Ｐ４と１つ手前の点Ｐ１とにより、Ｐ４，Ｐ１間の線分が線形補間される。同様に、変更後の点Ｐ４と１つ先の点Ｐ２とにより、Ｐ４，Ｐ２間の線分が線形補間される。

このように、ユーザは、どの再生位置においてもリフォーカス画像の合焦位置を自由に変更することができる。また、合焦位置が変更された点とその隣接する点との間を線形補間することにより、急激な合焦位置の変更を抑制する。すなわち、合焦位置が徐々に変更されるため、線形補間された線分上の再生位置の各々で視差が異なる複数の画像を合成すると、違和感のないリフォーカス動画像を再生することができる。なお、上述の例では、線形補間を例に挙げたが、曲線補間でもよい。

図３は、線グラフの線幅の変更例を示す説明図である。なお、図３に示す各符号において、変更前の符号には末尾にａを付し、変更後の符号には末尾にｂを付す。（Ａ）は、線幅の変更前の線グラフＷＦａを示し、図２の（Ａ）と同一内容である。線グラフＷＦａの線幅ｗａは、被写界深度に対応する。この場合の画像は、リフォーカス画像ＲＦ４ａである。たとえば、ユーザの操作により、線グラフＷＦａをピンチアウトすることにより、線グラフＷＦａの線幅ｗａが広がり、線幅ｗｂを有する線グラフＷＦｂになる。被写界深度が線幅ｗに対応して深くなるため、再生位置ｔ４のリフォーカス画像ＲＦ４ｂでは、（Ｂ）に示すように、一点鎖線で示す変更後の被写界深度の範囲に合焦した画像になる。

また、（Ｂ）の状態で、ユーザの操作により、たとえば、線グラフＷＦｂをピンチインすることにより、線グラフＷＦの線幅ｗが狭まり、線幅ｗａの線グラフＷＦａに戻る。これにより、被写界深度が浅くなるため、再生位置ｔ４のリフォーカス画像では、（Ａ）に示すように、変更後の被写界深度の範囲で合焦した画像になる。すなわち、（Ａ）では、オブジェクトＯ１，Ｏ３のボケが大きくなる。

このように、ユーザは、線グラフＷＦの線幅ｗを自由に変更することで、被写界深度を変更することができる。なお、図３では、線グラフＷＦ全体の線幅ｗを変更する例について説明したが、線グラフＷＦのうちピンチインまたはピンチアウトした位置を挟む２点間の線分について線幅ｗを変更してもよい。たとえば、（Ａ）において、点Ｐ１，Ｐ２間でピンチアウトすると、（Ｂ）において、点Ｐ１，Ｐ２間の線分の線幅がｗａからｗｂになる。同様に、（Ａ）において、点Ｐ１，Ｐ２間でピンチアウトすると、（Ｂ）において、点Ｐ１，Ｐ２間の線分の線幅がｗｂからｗａになる。

＜再生装置のハードウェア構成例＞
図４は、再生装置の構成例を示すブロック図である。（Ａ）は、再生装置のハードウェア構成例を示すブロック図である。再生装置４００は、リフォーカス動画像を再生、表示する。再生装置４００は、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、携帯ゲーム機や、パーソナルコンピュータである。再生装置４００は、リフォーカス画像およびリフォーカス動画像の撮影機能を有してもよい。図４では、再生装置４００がデジタルカメラである場合を例に挙げて説明する。

再生装置４００は、レンズユニット４０１とカメラボディ４０２とを有する。レンズユニット４０１とカメラボディ４０２は着脱自在でもよく、一体型でもよい。レンズユニット４０１は、撮像レンズ４１１と、マイクロレンズアレイ４１２と、フォーカス調整部４１３と、を有する。

撮像レンズ４１１は、たとえば、フォーカスレンズまたはズームレンズを含む光学系であり、被写体からの光を集光してマイクロレンズアレイ４１２に出射する。マイクロレンズアレイ４１２は、マトリクス状に配列されたマイクロレンズの集合体である。各マイクロレンズは、対応する撮像レンズ４１１の瞳領域からの光を集光して、撮像素子４２１内の対応する領域に出射する。フォーカス調整部４１３は、ユーザの操作またはオートフォーカス機能により、撮像レンズ４１１の合焦位置を調整する。

カメラボディ４０２は、撮像素子４２１と、プロセッサ４２２と、記憶デバイス４２３と、処理回路４２４と、駆動回路４２５と、入力デバイス４２７と、表示デバイス４２８と、通信Ｉ／Ｆ４２９と、を含む。これらは、バス４３０により接続される。撮像素子４２１は、撮像レンズ４１１からマイクロレンズアレイ４１２を介して入射する光を受光して、電気信号に変換し、当該電気信号から得られるＲＡＷデータを記憶デバイス４２３に記憶する。撮像素子４２１としては、たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ‐Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサが採用される。プロセッサ４２２は、再生装置４００を統括制御する。記憶デバイス４２３は、再生プログラムを記憶し、プロセッサ４２２は記憶デバイス４２３に記憶される再生プログラムを実行する。

処理回路４２４は、データを処理する回路であり、たとえば、データを圧縮及び伸張する圧縮伸張処理回路と、画像処理機能としての画像処理回路と、音声データを処理する音声処理回路と、を含む。圧縮伸張処理回路は、たとえば、ＲＡＷデータをＪＰＥＧ形式の画像データに変換したり、圧縮動画像を生成したり、圧縮動画像を伸張したりする。画像処理回路は、たとえば、シーンの解析、被写体の画像の形状変化、被写体の画像の位置変化（被写体の追尾）、露出補正、顔認識、色温度検出、リフォーカス画像の生成、を実行する。音声処理回路は、たとえば、音声の音量を解析する。なお、圧縮伸張処理回路、画像処理回路および音声処理回路は、それぞれプロセッサ４２２に実行させる圧縮伸張処理プログラム、画像処理プログラム、および音声処理プログラムとして記憶デバイス４２３に実装されてもよい。

駆動回路４２５は、シャッター、絞り機構、および、レンズユニット４０１を駆動制御する。記録デバイスは、画像データや動画データを保存する。記録デバイスは、カメラボディ４０２と着脱自在である。入力デバイス４２７は、ユーザからの操作入力や外界からの音声の入力を受け付ける。入力デバイス４２７は、たとえば、シャッターボタンやその他撮影に必要なボタン、タッチパネル、ダイヤル、リング、レバーを含む。表示デバイス４２８は、被写体のスルー画や撮影したリフォーカス画像、リフォーカス動画像を表示する。通信Ｉ／Ｆ４２９は、外部装置とデータを送受信する。

（Ｂ）は、再生装置４００の機能的構成例を示すブロック図である。再生装置４００は、撮影部４３１と、検出部４３２と、集音部４３３と、生成部４３４と、再生部４３５と、表示制御部４３６と、を有する。撮影部４３１は、たとえば、レンズユニット４０１と、撮像素子４２１と、処理回路４２４と、により構成される。撮影部４３１は、被写体について視差が異なる画像群を撮像し、ＲＡＷデータとして記憶デバイス４２３に格納する。

検出部４３２は、フォーカス調整部４１３による撮像レンズ４１１の合焦位置を検出する。また、検出部４３２は、線グラフＷＦ上の特定の合焦位置の移動や線グラフＷＦ上の点の線幅の変化を検出する。また、検出部４３２は、表示画面１００上の座標系１２０において線グラフＷＦの描画を検出する。また、検出部４３２は、リフォーカス動画像の動画ファイルの再生指示やサムネイル画像の表示指示を検出する。検出部４３２は、記憶デバイス４２３に記憶された再生プログラムをプロセッサ４２２に実行させることで、その機能を実現する。集音部４３３は、入力デバイス４２７の一例である指向性マイクにより音源からの音声を取得する。

生成部４３４は、ＲＡＷデータから一連のリフォーカス画像を生成し、また、一連のリフォーカス画像からリフォーカス動画像を生成し、記憶デバイス４２３に格納する。たとえば、生成部４３４は、検出部４３２によって特定の合焦位置の距離軸１２２の方向への移動が検出された場合、特定の合焦位置に対応する特定の再生位置のリフォーカス画像の合成元である視差が異なる複数の画像（後述する視差画像）を、特定の合焦位置の移動後の合焦位置に合焦するように再合成する。生成部４３４は、処理回路４２４で構成されてもよく、また、記憶デバイス４２３に記憶された再生プログラムをプロセッサ４２２に実行させることで、その機能を実現してもよい。

再生部４３５は、記憶デバイス４２３に格納されたリフォーカス動画像やリフォーカス画像を記憶デバイス４２３から取得して表示画面１００に再生する。表示制御部４３６は、表示画面１００を制御して、または、入力デバイス４２７からの入力や表示画面１００でのユーザの操作があった場合、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報（たとえば、線グラフＷＦやバーＢ）を表示画面１００に表示する。この場合、生成部４３４は、更新後の情報に基づいて、リフォーカス画像を再合成し、リフォーカス動画像を再構成する。表示制御部４３６は、関連情報１１１を表示画面１００に表示したり、消去したりする。

＜リフォーカス画像の生成例＞
図５は、マイクロレンズアレイ４１２と撮像素子４２１との関係を示す説明図である。（Ａ）は、マイクロレンズアレイ４１２と撮像素子４２１との対応関係を示す。（Ｂ）は、マイクロレンズアレイ４１２を構成するマイクロレンズＬｉｊ（ｉ，ｊは、１以上の整数。本例では、１≦ｉ≦５、１≦ｊ≦５）と画素Ｐｉｊｋｌ（ｋ，ｌは、１以上の整数。本例では、１≦ｋ≦５、１≦ｌ≦５）の対応関係を示す。各円形図形は、マイクロレンズＬｉｊを示す。円形図形で示したマイクロレンズＬｉｊの集合がマイクロレンズアレイ４１２である。撮像素子４２１は、複数の画素Ｐｉｊｋｌを有する。例として、２５×２５画素の撮像素子４２１である。なお、太枠で囲まれた５×５画素の領域を画素領域Ｃｉｊと称す。１つの画素領域Ｃｉｊは、１つのマイクロレンズＬｉｊに対応する。画素領域Ｃｉｊは、画素Ｐｉｊｋｌの集合である。

図６は、視差画像の一例を示す説明図である。視差画像ＰＩｋｌとは、同一被写体を撮影した視差が異なる複数の画像の各々の画像である。具体的には、視差画像ＰＩｋｌは、各画素領域Ｃｉｊの画素Ｐｉｊｋｌを、マイクロレンズＬｉｊの配列位置にしたがって配列した画像である。たとえば、視差画像ＰＩ１１は、各画素領域Ｃｉｊの画素Ｐｉｊ１１を、マイクロレンズＬｉｊの配列位置にしたがって配列した画像であり、視差画像ＰＩ５５は、各画素領域Ｃｉｊの画素Ｐｉｊ５５を、マイクロレンズＬｉｊの配列位置にしたがって配列した画像である。

図７は、リフォーカス画像の生成例を示す説明図である。視差画像ＰＩ１１～ＰＩ５５は、たとえば、オブジェクトＯ１にピントが合っている画像群とする。生成部４３４である処理回路４２４または画像処理プログラムを実行するプロセッサ４２２が、視差画像ＰＩ１１～ＰＩ５５を合成することにより、オブジェクトＯ１にピントが合ったリフォーカス画像ＲＦを生成する。

＜動作処理手順例＞
図８は、再生装置４００によるリフォーカス動画像の記録処理手順例を示すフローチャートである。まず、再生装置４００は、検出部４３２により、フォーカス調整部４１３から合焦位置を検出して、記憶デバイス４２３に保持する（ステップＳ８０１）。つぎに、再生装置４００は、検出した合焦位置での当該時刻におけるＲＡＷデータを、検出した合焦位置に関連付けて記憶デバイス４２３に保持する（ステップＳ８０２）。これにより、時刻ごとに合焦位置に関連付けられた一連のＲＡＷデータが得られる。再生装置４００は、ユーザの操作入力またはタイマにより、記録終了であるか否かを判断する（ステップＳ８０３）。記録終了でない場合（ステップＳ８０３：Ｎｏ）、ステップＳ８０１に戻る。

一方、記録終了である場合（ステップＳ８０３：Ｙｅｓ）、再生装置４００は、生成部４３４により、取得した一連のＲＡＷデータから一連のリフォーカス画像を生成する（ステップＳ８０４）。具体的には、たとえば、再生装置４００は、取得した一連のＲＡＷデータの各ＲＡＷデータを、ＪＰＥＧなどの画像データに変換する。変換された一連の画像データの各々は、視差が異なる複数の画像データを含む。再生装置４００は、当該複数の画像データを、ステップＳ８０２で関連付けされた合焦位置で合成することで、ある時刻におけるリフォーカス画像を生成する。これにより、取得した一連のＲＡＷデータごとにリフォーカス画像が得られる。再生装置４００は、この一連のリフォーカス画像を動画形式に圧縮する（ステップＳ８０５）。そして、再生装置４００は、動画形式に圧縮した圧縮データをリフォーカス動画像として記憶デバイス４２３に保持する（ステップＳ８０６）。

図９および図１０は、リフォーカス動画像の間引き処理手順例を示すフローチャートである。図９では、処理回路４２４の負荷軽減のため、再生装置４００は、所定間隔ごとに選択されたリフォーカス画像の合焦位置を時系列に配置し、選択リフォーカス画像間については、線形補間（曲線補間でもよい）をおこなう。これにより、合焦位置と再生位置との関係を示す線グラフＷＦを生成することが可能となる。

まず、再生装置４００は、ｎ＝１に設定する（ステップＳ９０１）。図９および図１０において、ｎはリフォーカス画像の出現順となるリフォーカス画像の出現位置、すなわち、再生位置を示す。再生装置４００は、検出部４３２により、出現位置ｎのＲＡＷデータＲＤｎを読み込む（ステップＳ９０２）。再生装置４００は、ステップＳ９０５で表示するために、フォーカス調整部４１３から現在の合焦位置ｆｎを検出して記憶デバイス４２３に保持する（ステップＳ９０３）。

再生装置４００は、生成部４３４により、ステップＳ９０３で検出した合焦位置ｆｎで、ステップＳ９０２で読み込んだＲＡＷデータＲＤｎからリフォーカス画像ＲＦｎを生成する（ステップＳ９０４）。再生装置４００は、生成したリフォーカス画像ＲＦｎを表示画面１００の第１表示領域１０１に表示する（ステップＳ９０５）。第１表示領域１０１には、再生終了信号が検出されるまで、再生中のリフォーカス動画像が表示される。

このあと、再生装置４００は、再生開始信号の検出を待ち受ける（ステップＳ９０６：Ｎｏ）。再生開始信号が検出された場合（ステップＳ９０６：Ｙｅｓ）、再生装置４００は、リフォーカス画像ＲＦｎおよびその合焦位置ｆｎを関連付けて保持する（ステップＳ９０７）。再生装置４００は、ｎにａを加算することでｎを更新する（ステップＳ９０８）。ａ（≧１）は、あらかじめ設定された固定値（整数）であり、つぎに合成対象となるＲＡＷデータを決める値である。ａが１の場合、再生装置４００は、間引きせずにリフォーカス画像ＲＦｎを生成する。ａが２以上の値の場合、再生装置４００は、間引きしながらリフォーカス画像ＲＦｎを生成する。

このあと、再生装置４００は、ステップＳ９０８で更新後のリフォーカス画像位置ｎのＲＡＷデータＲＤｎを読み込む（ステップＳ９０９）。再生装置４００は、検出部４３２により、フォーカス調整部４１３から現在の合焦位置ｆｎを検出して記憶デバイス４２３に保持する（ステップＳ９１０）。再生装置４００は、生成部４３４により、ステップＳ９１０で検出した合焦位置ｆｎで、ステップＳ９０９で読み込んだＲＡＷデータＲＤｎからリフォーカス画像ＲＦｎを生成する（ステップＳ９１０）。

このあと、再生装置４００は、再生終了信号が検出されない場合（ステップＳ９１２：Ｎｏ）、ステップＳ９０７に戻る。一方、再生終了信号が検出された場合（ステップＳ９１２：Ｙｅｓ）、図１０のステップＳ１００１に移行する。これにより、リフォーカス画像群の合成が完了する。

図１０において、再生装置４００は、ａが２以上の値であるか否かを判断する（ステップＳ１００１）。ａが２以上の値でない場合（ステップＳ１００１：Ｎｏ）、ａ＝１であるため、ステップＳ１００４に移行する。

一方、ａが２以上の値である場合（ステップＳ１００１：Ｙｅｓ）、再生装置４００は、表示制御部４３６により、ステップＳ９０３およびＳ９１０で検出された合焦位置を用いて、間引かれたことで合成されていないリフォーカス画像（間引きリフォーカス画像）の合焦位置を補間する（ステップＳ１００２）。このように、補間された合焦位置を補間合焦位置と称す。再生装置４００は、生成部４３４により、間引かれていない残存リフォーカス画像に対応するＲＡＷデータＲＤｎごとに、リフォーカス画像ＲＦｎを生成する（ステップＳ１００３）。

そして、再生装置４００は、再生部４３５により、一連のリフォーカス画像ＲＦｎを動画形式に圧縮して（ステップＳ１００４）、圧縮したリフォーカス動画像を記憶デバイス４２３に保持する（ステップＳ１００５）。これにより、リフォーカス動画像の間引き処理が終了する。

このあと、再生装置４００は、ステップＳ１００５で生成されたリフォーカス動画像の再生開始信号を検出した場合、再生部４３５により、表示画面１００の第１表示領域１０１にリフォーカス動画像を再生するとともに、表示制御部４３６により、合焦位置と再生位置との関係を示す線グラフＷＦを生成して第２表示領域１０２に表示する。

＜線グラフの変更例＞
図１１～図１６は、表示制御部４３６による第２表示領域１０２に表示された線グラフＷＦの変更例を示す説明図である。図１１において、（Ａ）は、初期状態を示す。線グラフＷＦは、点Ｐ１０～Ｐ１４間を線分ｌｓ１～ｌｓ４で繋いだ線群を含む。また、線グラフＷＦは線幅ｗを有する。また、第１表示領域１０１には、シフトボタン１１００が表示される。図１１では、シフトボタン１１００は、ＯＦＦの状態である。ＯＦＦの状態では、線グラフＷＦ上の点Ｐ１０～Ｐ１４の位置が変更可能である。したがって、図１１では、被写界深度に変更はない。なお、図１１～図１６の各符号において、線グラフＷＦの変更前の符号には末尾にａを付し、変更後の符号には末尾にｂを付す。

（Ｂ）は、ドラッグ操作により、（Ａ）の状態から点Ｐ１１ａを上方、すなわち、距離軸１２２の奥行方向に移動させた状態を示す。点Ｐ１１ａをドラッグすることで、点Ｐ１０および点Ｐ１１ａ間の線分ｌｓ１が時間軸１２１と平行な状態から右肩上がりに変化して、点Ｐ１０および点Ｐ１１ｂ間の線分ｌｓ１ｂとなる。同様に、点Ｐ１１ａおよび点Ｐ１２間の線分ｌｓ２が時間軸１２１と平行な状態から右肩下がりに変化して、点Ｐ１１ｂおよび点Ｐ１２間の線分ｌｓ２ｂとなる。線幅ｗは変化しない。すなわち、被写界深度に変更はない。

（Ｃ）は、ドラッグ操作により、（Ａ）の状態から点Ｐ１２ａを時間軸１２１と平行に左方に移動させた状態を示す。点Ｐ１２ａをドラッグすることで、点Ｐ１２ａおよび点Ｐ１３間の線分ｌｓ３ａの傾きが変化して、点Ｐ１２ｂおよび点Ｐ１３間の線分ｌｓ３ｂとなる。線幅ｗは変化しない。すなわち、被写界深度に変更はない。

（Ｄ）は、ドラッグ操作により、（Ａ）の状態から点Ｐ１２ａを時間軸１２１と平行に右方に移動させた状態を示す。点Ｐ１２ａをドラッグすることで、点Ｐ１２ａおよび点Ｐ１３間の線分ｌｓ３ａの傾きが変化して、点Ｐ１２ｂおよび点Ｐ１３間の線分ｌｓ３ｂとなる。線幅ｗは変化しない。すなわち、被写界深度に変更はない。

（Ｅ）は、ドラッグ操作により、（Ａ）の状態から点Ｐ１１ａを時間軸１２１と平行に右方に移動させ、かつ、上方、すなわち、距離軸１２２の奥行方向に移動させた状態を示す。点Ｐ１１ａをドラッグすることで、点Ｐ１０および点Ｐ１１ａ間の線分ｌｓ１ａが時間軸１２１と平行な状態から右肩上がりに変化する。同様に、点Ｐ１１ａおよび点Ｐ１２間の線分ｌｓ２ａが時間軸１２１と平行な状態から右肩下がりに変化する。線幅ｗは変化しない。すなわち、被写界深度に変更はない。

図１２は、ＯＦＦ状態のシフトボタン１１００をドラッグする例である。図１２において、（Ａ）は、図１１の（Ａ）と同様、初期状態を示す。（Ｂ）は、ドラッグ操作により、（Ａ）の状態からシフトボタン１１００を上方に移動させた状態を示す。シフトボタン１１００をドラッグすることで、点Ｐ１０ａ～Ｐ１４ａは、シフトボタン１１００の移動方向と同じ方向に移動する。この場合、点Ｐ１０～Ｐ１４は、上方向、すなわち、距離軸１２２の奥行方向に移動して、点Ｐ１０ｂ～Ｐ１４ｂとなる。これにともない、線分ｌｓ１ａ～ｌｓ４ａも上方に移動して、線分ｌｓ１ｂ～ｌｓ４ｂとなる。線幅ｗは変化しない。これにより、線グラフＷＦａから線グラフＷＦｂに変更され、時間軸１２１の全範囲で合焦位置を一括調整することができる。なお、シフトボタン１１００を下方向にドラッグすることで、（Ｂ）から（Ａ）の状態に戻る。

（Ｃ）は、ドラッグ操作により、（Ａ）の状態からシフトボタン１１００を右方向に移動させた状態を示す。シフトボタン１１００をドラッグすることで、点Ｐ１０ａ～Ｐ１４ａは、シフトボタン１１００の移動方向と同じ方向に移動する。この場合、点Ｐ１０ａ～Ｐ１４ａは、時間軸１２１の右方向に移動して、点Ｐ１０ｂ～Ｐ１４ｂとなる。これにともない、線分ｌｓ１ａ～ｌｓ４ａも右方に移動して、線分ｌｓ１ｂ～ｌｓ４ｂとなる。線幅ｗは変化しない。これにより、線グラフＷＦａから線グラフＷＦｂに変更され、時間軸１２１の全範囲で合焦位置を一括調整することができる。なお、シフトボタン１１００を左方向にドラッグすることで、（Ｃ）から（Ａ）の状態に戻る。

図１３は、シフトボタン１１００がＯＮ状態での線幅ｗの変更例１を示す。（Ａ）は、図１１の（Ａ）の状態から、再生装置４００がシフトボタン１１００の押下を検出して、シフトボタン１１００がＯＮに変化した状態を示す。

（Ｂ）は、（Ａ）の状態から点Ｐ１１において、下方、すなわち、距離軸１２２の手前方向にドラッグ操作した状態を示す。点Ｐ１１をドラッグすることで、点Ｐ１０，Ｐ１１間で線幅ｗａが点Ｐ１０から点Ｐ１１に向かって狭くなるように変化し、点Ｐ１１で線幅ｗｂ（＜ｗａ）となる。同様に、点Ｐ１１，Ｐ１２間で線幅ｗａが点Ｐ１２から点Ｐ１１に向かって狭くなるように変化し、点Ｐ１１で線幅ｗｂ（＜ｗａ）となる。これにより、点Ｐ１１において被写界深度が浅くなるように調整することができる。

（Ｃ）は、（Ａ）の状態から点Ｐ１１において、上方、すなわち、距離軸１２２の奥行方向にドラッグ操作した状態を示す。点Ｐ１１をドラッグすることで、点Ｐ１０，Ｐ１１間で線幅ｗａが点Ｐ１０から点Ｐ１１に向かって広くなるように変化し、点Ｐ１１で線幅ｗｂ（＞ｗａ）となる。同様に、点Ｐ１１，Ｐ１２間で線幅ｗａが点Ｐ１２から点Ｐ１１に向かって狭くなるように変化し、点Ｐ１１で線幅ｗｂ（＞ｗａ）となる。これにより、点Ｐ１１において被写界深度が深くなるように調整することができる。

図１４は、シフトボタン１１００がＯＮ状態での線幅ｗの変更例２を示す。（Ａ）は、図１３の（Ａ）の状態から、点Ｐ１１を時間軸１２１の左方向にドラッグ操作した状態を示す。左方向にドラッグすることにより、点Ｐ１０，Ｐ１１間で線幅ｗａが点Ｐ１１から点Ｐ１０に向かって広くなるように変化し、点Ｐ１０で線幅ｗｂ（＞ｗａ）となる。

（Ｂ）は、図１３の（Ａ）の状態から、点Ｐ１１を時間軸１２１の右方向にドラッグ操作した状態を示す。右方向にドラッグすることにより、点Ｐ１１，Ｐ１２間で線幅ｗａが点Ｐ１１から点Ｐ１２に向かって広くなるように変化し、点Ｐ１２で線幅ｗｂ（＞ｗａ）となる。また、これにより、点Ｐ１２，Ｐ１３間で線幅ｗｂが点Ｐ１２から点Ｐ１３に向かって狭くなるように変化し、点Ｐ１３で線幅ｗａとなる。

（Ｃ）は、図１３の（Ａ）の状態から、点Ｐ１１を時間軸１２１の左方向にドラッグ操作してから折り返して右方向にドラッグ操作した状態を示す。このようなドラッグ操作をすることにより、点Ｐ１０，Ｐ１１間で線幅ｗａが点Ｐ１１から点Ｐ１０に向かって狭くなるように変化し、点Ｐ１０で線幅ｗｂ（＜ｗａ）となる。

（Ｄ）は、図１３の（Ａ）の状態から、点Ｐ１１を時間軸１２１の右方向にドラッグ操作してから折り返して右方向にドラッグ操作した状態を示す。このようなドラッグ操作をすることにより、点Ｐ１１，Ｐ１２間で線幅ｗａが点Ｐ１１から点Ｐ１２に向かって狭くなるように変化し、点Ｐ１２で線幅ｗｂ（＜ｗａ）となる。また、これにより、点Ｐ１２，Ｐ１３間で線幅ｗｂが点Ｐ１２から点Ｐ１３に向かって広くなるように変化し、点Ｐ１３で線幅ｗａとなる。

図１５は、シフトボタン１１００がＯＮ状態での線幅ｗの変更例３を示す。図１５は、図１３の（Ａ）の状態から、点Ｐ１１を右斜め上方向にドラッグ操作した状態を示す。上方向成分のドラッグ操作をすることで、点Ｐ１０，Ｐ１１間で線幅ｗａが点Ｐ１０から点Ｐ１１に向かって広くなるように変化し、点Ｐ１１で線幅ｗｂ（＞ｗａ）となる。同様に、点Ｐ１１，Ｐ１２間の線幅ｗｂが点Ｐ１１から点Ｐ１２に向かって狭くなるように変化し、点Ｐ１１で線幅ｗｂｂ（＞ｗａ）となる。また、これにより、点Ｐ１２，Ｐ１３間で線幅ｗｂｂが点Ｐ１２から点Ｐ１３に向かって狭くなるように変化し、点Ｐ１３で線幅ｗａとなる。

図１６は、ＯＮ状態のシフトボタン１１００をドラッグする例である。（Ａ）は、図１３の（Ａ）の状態からシフトボタン１１００を上方にドラッグした状態を示す。シフトボタン１１００をドラッグすることで、線グラフＷＦの線幅ｗがｗａからｗｂに広がって、線グラフＷＦａから線グラフＷＦｂに変更される。これにより、全再生区間にわたって被写界深度を調整することができる。

（Ｂ）は、（Ａ）の状態からシフトボタン１１００を下方にドラッグした状態を示す。シフトボタン１１００をドラッグすることで、線グラフＷＦの線幅ｗがｗａからｗｂに狭くなって、線グラフＷＦａから線グラフＷＦｂに変更される。全再生区間にわたって被写界深度を調整することができる。

（Ｃ）は、（Ａ）の状態から、シフトボタン１１００を時間軸１２１の右方向にドラッグ操作した状態を示す。右方向にドラッグすることにより、点Ｐ１１～Ｐ１４間で線幅ｗａが点Ｐ１１から点Ｐ１４に向かって広くなるように変化し、点Ｐ１２で線幅ｗｂ（＞ｗａ）、点Ｐ１３で線幅ｗｂｂ（＞ｗｂ）、点Ｐ１４で線幅ｗｂｂｂ（＞ｗｂｂ）となる。これにより、線グラフＷＦａから線グラフＷＦｂに変更される。

（Ｄ）は、（Ａ）の状態から、シフトボタン１１００を時間軸１２１の右方向にドラッグ操作してから折り返して左方向にドラッグ操作した状態を示す。このようなドラッグ操作をすることにより、点Ｐ１１～Ｐ１４間で線幅ｗａが点Ｐ１１から点Ｐ１４に向かって狭くなるように変化し、点Ｐ１２で線幅ｗｂ（＜ｗａ）、点Ｐ１３で線幅ｗｂｂ（＜ｗｂ）、点Ｐ１４で線幅ｗｂｂｂ（＜ｗｂｂ）となる。これにより、線グラフＷＦａから線グラフＷＦｂに変更される。

＜リフォーカス画像の再合成処理手順例＞
つぎに、図１１～図１６で示した変更操作をした場合のリフォーカス画像の再合成処理例について説明する。

図１７は、リフォーカス画像の再合成処理手順例を示すフローチャートである。再生装置４００は、シフトボタン１１００のＯＮまたはＯＦＦを検出する（ステップＳ１７０１）。ＯＦＦ状態である場合（ステップＳ１７０１：ＯＦＦ）、再生装置４００は、図１１または図１２に示したように、表示制御部４３６により、ＯＦＦ状態でのドラッグ操作に応じて線グラフＷＦを更新する（ステップＳ１７０２）。そして、再生装置４００は、ステップＳ１７０２により、合焦位置が更新された再生区間を特定する（ステップＳ１７０３）。

このあと、再生装置４００は、ステップＳ１７０３において、再生区間内の線グラフ上の点で示されている再生位置のうち、合焦位置が更新された未選択の再生位置があるか否かを判断する（ステップＳ１７０４）。合焦位置が更新された未選択の再生位置がある場合（ステップＳ１７０４：Ｙｅｓ）、再生装置４００は、合焦位置が更新された未選択の再生位置のＲＡＷデータＲＤｎおよび更新後の合焦位置を選択する（ステップＳ１７０５）。そして、再生装置４００は、更新後の合焦位置でリフォーカス画像を再合成し（ステップＳ１７０６）、ステップＳ１７０４に戻る。

ステップＳ１７０４において、合焦位置が更新された未選択の再生位置がない場合（ステップＳ１７０４：Ｎｏ）、再生装置４００は、生成部４３４により、再合成したリフォーカス画像と、合焦位置が更新されなかった残存するリフォーカス画像と、を用いて、圧縮したリフォーカス動画像を再構成する（ステップＳ１７１２）。これにより、再生装置４００は、リフォーカス画像の再合成処理を終了する。

また、ステップＳ１７０１において、シフトボタン１１００がＯＮ状態である場合（ステップＳ１７０１：ＯＦＦ）、再生装置４００は、図１３～図１６に示したように、表示制御部４３６により、ＯＮ状態でのドラッグ操作に応じて線グラフＷＦを更新する（ステップＳ１７０７）。そして、再生装置４００は、ステップＳ１７０７により、線幅が更新された再生区間を特定する（ステップＳ１７０３）。

このあと、再生装置４００は、未選択の更新された再生位置があるか否かを判断する（ステップＳ１７０９）。未選択の更新された再生位置がある場合（ステップＳ１７０９：Ｙｅｓ）、再生装置４００は、未選択の更新された再生位置のＲＡＷデータＲＤｎ、合焦位置および更新後の線幅を選択する（ステップＳ１７０５）。そして、再生装置４００は、生成部４３４により、更新後の線幅となる被写界深度でリフォーカス画像を再合成し（ステップＳ１７１１）、ステップＳ１７０９に戻る。

ステップＳ１７０９において、未選択の再生位置がない場合（ステップＳ１７０９：Ｎｏ）、再生装置４００は、生成部４３４により、再合成したリフォーカス画像と、線幅が更新されなかった残存するリフォーカス画像と、を用いて、圧縮したリフォーカス動画像を再構成する（ステップＳ１７１２）。これにより、再生装置４００は、リフォーカス画像の再合成処理を終了する。

＜被写界深度の更新後におけるリフォーカス画像の再合成＞
つぎに、上述のように生成されたリフォーカス画像をパンフォーカスにする場合の再合成例について説明する。

図１８は、被写界深度の更新後におけるリフォーカス画像の再合成例を示す説明図である。図１８において、仮想絞り１８００は、撮像レンズ４１１から撮像素子４２１への光の出射を制限する。撮像素子４２１において、ハッチングが施された画素は、受光された画素であり、ハッチングが施されていない画素は、仮想絞り１８００により受光されていない画素である。なお、仮想絞り１８００であるため、実際には、ハッチングが施されていない画素でも受光されるが、出力信号が採用されない。

（Ａ）において、仮想絞り１８００は、撮像レンズ４１１の瞳領域ＰＲ１～ＰＲ５のうち、瞳領域ＰＲ２～ＰＲ４からの光を通過させる。すなわち、再生装置４００は、撮像素子４２１が瞳領域ＰＲ１、ＰＲ５からの光を受光して光信号を出力しても、リフォーカス画像の合成処理で用いない。（Ｂ）において、仮想絞り１８００は、撮像レンズ４１１の瞳領域ＰＲ１～ＰＲ５のうち、瞳領域ＰＲ３からの光を通過させる。すなわち、再生装置４００は、撮像素子４２１が瞳領域ＰＲ１、ＰＲ２、ＰＲ４、ＰＲ５からの光を受光して光信号を出力しても、リフォーカス画像の合成処理で用いない。

（Ａ）と（Ｂ）では、仮想絞り１８００の開口１８０１がより閉じている（Ｂ）の方が、被写界深度は深い。すなわち、パンフォーカスにしたい場合は、ユーザが線グラフＷＦの線幅ｗを太くする操作をおこなうことにより、（Ｂ）のように、再生装置４００は、生成部４３４により、仮想絞り１８００の開口１８０１を狭くする。すなわち、ユーザが線グラフの線幅ｗを太くすることにより、被写界深度を無限遠にすることができる。このようにして、撮影後において、被写界深度の変更に対応したリフォーカス画像を生成することができる。

＜他のデバイスでの表示例＞
図１９は、他のデバイスでの表示例を示す説明図である。図１９は、スマートフォンまたはタブレットにおける表示例を示す。スマートフォンやタブレットの場合、表示画面１００の広さに制約があるため、第１表示領域１０１に、調整領域１９０１が表示される。点を指定してから、調整領域１９０１のスライダ１９０２を上下にドラッグすることで、指定した点を距離軸１２２の方向に移動させることができる。

＜２画面表示例＞
図２０は、２画面表示例を示す説明図である。図２０では、第１表示領域１０１に２つのウィンドウ１０１Ａ，１０１Ｂを有する。再生装置４００は、再生部４３５により、第１ウィンドウ１０１Ａに、現在の再生位置におけるリフォーカス動画像を再生する。再生装置４００は、再生部４３５により、第２ウィンドウ１０１Ｂに、現在の再生位置よりも所定時間進んだ先行するリフォーカス動画像を再生する。この場合、再生装置４００は、表示制御部４３６により、第２表示領域１０２に、第１ウィンドウ１０１ＡのバーＢ１と第２ウィンドウ１０１ＢのバーＢ２とを表示する。

たとえば、フォーカス調整部４１３を用いて、リフォーカス動画像を再生しながら合焦位置を変更する場合、被写体が前後どちらかに動いてからフォーカス調整部４１３を操作していては、ピントずれが生じる。そのため、あらかじめ所定時間（たとえば、数秒）先のリフォーカス動画像を第２ウィンドウ１０１Ｂに表示させることで、ユーザは、つぎに被写体が前後どちらに動くかを把握することができ、ピントずれを防止することができる。

また、再生装置４００は、再生部４３５により、現在の再生位置におけるリフォーカス画像と先行するリフォーカス画像を第１表示領域１０１に重畳表示してもよい。これにより、ユーザは、時間差がある被写体の動作の差分を直感的に把握することができ、どの被写体に合焦するかを予測することができる。また、この場合、いずれか一方のリフォーカス動画像を、たとえば、有色透明で表示してもよい。これにより、ユーザは、両方のリフォーカス動画像を容易に区別することができる。

また、再生部４３５は、第２ウィンドウ１０１Ｂにおいて、先行するリフォーカス動画像を構成する一連のリフォーカス画像を、例えば、図１８に示した手法により、パンフォーカスなリフォーカス画像にしてもよい。これにより、先行するリフォーカス動画像の被写体はボケずに表示されるため、ユーザは、先行するリフォーカス動画像を参照して、合焦させる被写体を確認することができる。

また、再生部４３５は、第１ウィンドウ１０１Ａで再生されるリフォーカス動画像について、当該リフォーカス動画像と合焦位置が異なるリフォーカス動画像を再生してもよい。この場合、再生部４３５は、両リフォーカス動画像を、同期して、すなわち、同じ再生位置のリフォーカス動画像を表示するように、再生してもよい。

＜被写体追尾＞
また、図４の（Ｂ）において、撮影部４３１は、処理回路４２４により、被写体を追尾しながら撮像してもよい。この場合、生成部４３４は、撮影された一連の被写体の各々について、複数の視差画像ＰＩ１１～ＰＩ５５を合成することにより、被写体までの距離に対応する合焦位置となる一連のリフォーカス画像を生成することになる。これにより、リフォーカス動画像と、追尾した被写体の合焦位置を示す時系列な線グラフＷＦと、を自動生成し、かつ、表示することができる。また、これにより、どの被写体が追尾されていたかを確認することができる。

また、入力デバイス４２７の一例として、２個以上のマイクで構成される集音部４３３を用いてもよい。この場合、２個のマイクは、音源となる被写体の方向を特定する。そして、撮影部４３１は、２個のマイクで特定された被写体の方向を追尾してもよい。これにより、音源の合焦位置を示す時系列な線グラフＷＦを表示することができる。また、これにより、どの被写体が音源として追尾されていたかを確認することができる。

＜１フレーム切り出し＞
図２１は、１フレーム切り出しの表示例を示す説明図である。１フレーム切り出しとは、リフォーカス動画像を構成する一連のリフォーカス画像のうち、いずれかのリフォーカス画像を選択し、選択リフォーカス画像の合成元となる複数の視差画像ＰＩｋｌを表示する処理である。再生装置４００は、たとえば、選択リフォーカス画像の合成元となるＲＡＷデータを、ｊｐｅｇなどの画像に変換して、再生部４３５により、複数の視差画像ＰＩ１１～ＰＩ５５として表示する。リフォーカス動画像の再生中に、選択リフォーカス画像について同一再生位置である複数の視差画像ＰＩ１１～ＰＩ５５を表示することにより、あたかもスローモーションで再生するかのような映像を異なる視線方向で提供することができる。なお、再生装置４００は、切り出したリフォーカス画像についての複数の視差画像ＰＩ１１～ＰＩ５５をすべて表示する必要はなく、所定枚数間引いて表示してもよい。

図２２は、１フレーム切り出し処理手順例を示すフローチャートである。再生装置４００は、ユーザの操作入力により、リフォーカス画像を切り出す再生位置を１以上指定する（ステップＳ２２０１）。つぎに、再生装置４００は、再生部４３５により、再生開始信号を待ち受ける（ステップＳ２２０２：Ｎｏ）。再生開始信号が検出された場合（ステップＳ２２０２：Ｙｅｓ）、再生装置４００は、再生部４３５により、リフォーカス動画像の再生を開始する。そして、再生装置４００は、切り出し再生位置に到達していない場合（ステップＳ２２０３：Ｎｏ）、ステップＳ２２０６に移行する。

一方、切り出し再生位置に到達した場合（ステップＳ２２０３：Ｙｅｓ）、再生装置４００は、再生部４３５により、切り出し再生位置のリフォーカス画像の合成元となる複数の視差画像ＰＩ１１～ＰＩ５５を記憶デバイス４２３から取得し（ステップＳ２２０４）、表示画面１００（たとえば、第１表示領域１０１）に表示する（ステップＳ２２０５）。この場合、リフォーカス動画像の再生を一定時間停止してもよい。これにより、ユーザは、一定期間の間、複数の視差画像ＰＩ１１～ＰＩ５５に集中して見ることができる。そして、再生装置４００は、再生終了信号を検出していない場合（ステップＳ２２０６：Ｎｏ）、ステップＳ２２０３に戻る。

なお、ステップＳ２２０５で複数の視差画像ＰＩ１１～ＰＩ５５を表示する場合、再生装置４００は、マイクロレンズアレイ４１２におけるマイクロレンズＬｉｊの配列順に対応する順序で、複数の視差画像ＰＩ１１～ＰＩ５５を表示してもよい。これにより、視差が連続的に変化するように複数の視差画像ＰＩ１１～ＰＩ５５を表示することができる。このように、１フレーム切り出しにより、あたかもスローモーションで再生するかのような映像を異なる視線方向で提供することができる。

また、当該１フレーム切り出しにおいて、複数の視差画像ＰＩ１１～ＰＩ５５の中からユーザ操作により任意の視差画像ＰＩｋｌが選択された場合、再生装置４００は、生成部４３４により、選択した視差画像ＰＩｋｌを合焦位置として、選択リフォーカス画像を再合成してもよい。これにより、ユーザは、意図した視差画像にピントが合うリフォーカス画像を得ることができる。

＜描画線グラフからのリフォーカス動画像の生成例＞
上述した例では、一連のリフォーカス画像を生成してから、各リフォーカス画像の再生位置および合焦位置を示す線グラフＷＦを生成する例について説明したが、再生装置４００は、先にユーザ操作により線グラフＷＦを描画して、その後、描画した線グラフＷＦの各再生位置における合焦位置で、生成部４３４により、一連のリフォーカス画像を生成してもよい。これにより、ユーザが意図した連続的な合焦位置で一連のリフォーカス画像を生成することができる。

図２３は、描画線グラフからのリフォーカス動画像の生成処理手順例を示すフローチャートである。まず、再生装置４００は、第２表示領域１０２において線グラフＷＦの描画を検出する（ステップＳ２３０１）。つぎに、再生装置４００は、線グラフＷＦ上のポイントである再生位置および合焦位置の組み合わせを記録する（ステップＳ２３０２）。そして、再生装置４００は、当該組み合わせにおいて、未選択の再生位置があるか否かを判断する（ステップＳ２３０３）。未選択の再生位置がある場合（ステップＳ２３０３：Ｙｅｓ）、再生装置４００は、未選択の再生位置を選択し（ステップＳ２３０４）、選択再生位置に対応する合焦位置を描画した線グラフＷＦから取得する（ステップＳ２３０５）。そして、再生装置４００は、生成部４３４により、選択再生位置のＲＡＷデータを記憶デバイス４２３から読み出し、当該ＲＡＷデータを取得合焦位置で合成して、リフォーカス画像を生成する（ステップＳ２３０６）。

具体的には、たとえば、再生装置４００は、取得したＲＡＷデータを、ＪＰＥＧなどの複数の画像データに変換する。変換された複数の画像データは、視差が異なる画像データ群である。再生装置４００は、当該画像データ群を、関連付けされた合焦位置で合成することで、リフォーカス画像を生成する。これにより、取得したＲＡＷデータからリフォーカス画像が得られる。この後、ステップＳ２３０２に戻る。

ステップＳ２３０３において、未選択の再生位置がない場合（ステップＳ２３０３：Ｎｏ）、再生装置４００は、再生部４３５により、ステップＳ２３０６で生成された一連のリフォーカス画像を動画形式に圧縮する（ステップＳ２３０７）。そして、再生装置４００は、動画形式に圧縮した圧縮データをリフォーカス動画像として記憶デバイス４２３に保持する（ステップＳ２３０８）。このように、図２２および図２３によれば、ユーザが意図した連続的な合焦位置で一連のリフォーカス画像を生成することができる。

＜サムネイル表示＞
図２４は、動画ファイルでのサムネイル表示例を示す説明図である。図２４の（Ａ）では、再生装置４００は、表示制御部４３６により、表示画面１００において、リフォーカス動画像の動画ファイルのアイコンＩＣを、フォルダ２４００内に表示する。アイコンＩＣは、リフォーカス動画像の再生指示およびサムネイル画像の表示指示を受け付けるシンボルである。ユーザ操作により、あるアイコンＩＣをマウスカーソルＭＣで再生指示（たとえば、シングルクリックまたはダブルクリック）をすると、再生装置４００は、再生部４３５により、リフォーカス動画像を再生する。

一方、ユーザ操作により、あるアイコンＩＣをマウスカーソルＭＣでサムネイル画像の表示指示（たとえば、アイコンＩＣでポイント）をすると、（Ｂ）に示すように、再生装置４００は、表示指示されたアイコンＩＣで再生されるリフォーカス動画像において、表示制御部４３６により、被写体に合焦しているリフォーカス画像の当該被写体に関するサムネイル画像Ｓを表示する。サムネイル画像Ｓは、当該リフォーカス画像の縮小画像でもよく、合焦している被写体の縮小画像でもよい。これにより、動画ファイルをオープンする前に、どのような被写体にピントが合ったリフォーカス画像が表示されるかを確認することができる。

また、表示対象となるサムネイル画像Ｓは、合焦位置が異なる複数のサムネイル画像（例として３枚のサムネイル画像Ｓａ，Ｓｂ，Ｓｃ）でもよい。たとえば、表示対象となる複数のサムネイル画像Ｓａ，Ｓｂ，Ｓｃは、再生位置および合焦位置が異なる複数のリフォーカス画像のサムネイル画像でもよい。これにより、動画ファイルをオープンする前に、異なる再生位置で、それぞれ、どのような被写体にピントが合ったリフォーカス画像が表示されるかを確認することができる。また、表示対象となる複数のサムネイル画像Ｓａ，Ｓｂ，Ｓｃは、再生位置が同一で、かつ、合焦位置が異なる複数のリフォーカス画像のサムネイル画像でもよい。これにより、動画ファイルをオープンする前に、同じ再生位置で合焦位置を変更したらどのようなリフォーカス画像になるかを確認することができる。

図２５は、サムネイル画像表示処理手順例を示すフローチャートである。再生装置４００は、サムネイル画像の表示指示を待ち受ける（ステップＳ２５０１）。表示指示が検出された場合（ステップＳ２５０１：Ｙｅｓ）、再生装置４００は、表示指示されたアイコンＩＣに対応する動画ファイルを特定し（ステップＳ２５０２）、当該アイコンＩＣ近傍に、合焦位置が異なる１以上のサムネイル画像を表示する（ステップＳ２５０３）。そして、ステップＳ２５０１に戻る。

ステップＳ２５０１において、サムネイル表示指示が検出されていない場合（ステップＳ２５０１：Ｎｏ）、再生装置４００は、動画ファイルの再生指示を待ち受ける（ステップＳ２５０４）。再生指示がない場合（ステップＳ２５０４：Ｎｏ）、ステップＳ２５０１に戻る。

一方、再生指示がある場合（ステップＳ２５０４：Ｙｅｓ）、再生装置４００は動画ファイルを再生する。そして、再生装置４００は、リフォーカス動画像から、合焦位置が異なる１以上のリフォーカス画像を取得する（ステップＳ２５０５）。そして、再生装置４００は、取得したリフォーカス動画像をサムネイル画像に変換して記憶デバイス４２３に保持する（ステップＳ２５０６）。そして、ステップＳ２５０１に戻る。このように、サムネイル表示処理によれば、動画ファイルをオープンする前に、どのような被写体にピントが合ったリフォーカス画像が表示されるかを確認することができる。

このように、本実施例にかかる再生装置４００は、視差が異なる複数の画像（視差画像ＰＩ１１～ＰＩ５５）を合成したリフォーカス画像の時系列な集合である一連のリフォーカス画像によって構成される動画を表示画面１００に再生する再生部４３５と、表示画面１００を制御して、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報を表示画面１００に表示する表示制御部４３６と、を有する。これにより、再生された一連のリフォーカス画像の各々の合焦位置を直感的に把握することができる。

また、表示制御部４３６は、リフォーカス画像の再生位置を示す情報を当該リフォーカス画像の合焦位置に関連付けて表示してもよい。これにより、どのリフォーカス画像のどの被写体がどの合焦位置にあるかを特定することができる。したがって、リフォーカス動画像において合焦位置の連続的な変化を特定することができる。

また、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報は、たとえば、再生位置を示す第１軸（時間軸１２１２）と合焦位置を示す第２軸（距離軸１２２）とにより構成される座標系１２０において、一連のリフォーカス画像の再生位置による合焦位置の変化を示す線グラフＷＦである。これにより、再生された一連のリフォーカス画像の各々の合焦位置を直感的かつ明示的に把握することができる。

また、再生装置４００は、線グラフ上の特定の合焦位置の移動を検出する検出部４３２と、検出部４３２によって特定の合焦位置の第２軸（距離軸１２２）の方向への移動が検出された場合、特定の合焦位置に対応する特定の再生位置のリフォーカス画像の合成元である視差が異なる複数の特定画像（視差画像ＰＩ１１～ＰＩ５５）を、移動後の合焦位置に合焦するように再合成する生成部４３４と、を有する。そして、再生部４３５は、生成部４３４によって再合成されたリフォーカス画像を表示画面１００に再生し、表示制御部４３６は、表示画面１００を制御して、移動後の合焦位置に基づいて線グラフＷＦを補間して補間後の線グラフＷＦを表示画面１００に表示する。これにより、ユーザが操作していない再生位置のリフォーカス画像についても合焦位置を変更することができる。したがって、合焦位置の連続的な変化を維持することができる。

また、再生部４３５は、動画を構成する第１のリフォーカス画像を表示画面１００に再生し、第１リフォーカス画像よりも時間的に先行する第２のリフォーカス画像を表示画面１００に再生してもよい。具体的には、再生部４３５は、第１のリフォーカス画像と第２のリフォーカス画像を表示画面１００の異なる領域に再生する。これにより、ユーザは、つぎに被写体が前後どちらに動くかを把握することができ、線グラフＷＦを変更する際のピントずれを防止することができる。

また、再生部４３５は、第１のリフォーカス画像と第２のリフォーカス画像を表示画面１００の同一領域に再生してもよい。これにより、ユーザは、時間差がある被写体の動作の差分を直感的に把握することができ、どの被写体に合焦するかを予測することができる。

また、生成部４３４は、第２のリフォーカス画像の合焦位置を無限遠にすることにより第２のリフォーカス画像のパンフォーカス画像を生成し、再生部４３５は、パンフォーカス画像を表示画面１００に再生してもよい。これにより、先行するリフォーカス動画像の被写体はボケずに表示されるため、ユーザは、先行するリフォーカス動画像を参照して、合焦させる被写体を確認することができる。

また、表示制御部４３６は、表示画面１００を制御して、線グラフＷＦの第２軸（距離軸１２２）の方向の線幅ｗをリフォーカス画像の被写界深度として表示し、再生部４３５は、被写界深度に基づいてリフォーカス画像を表示画面１００に表示してもよい。これにより、ユーザは、一連のリフォーカス画像の各々の被写界深度がどの程度あるかを直感的に把握することができる。

また、再生装置４００は、線グラフＷＦの第２軸（距離軸１２２）の方向の線幅ｗの変更を検出する検出部４３２と、検出部４３２によって第２軸（距離軸１２２）の方向の線幅ｗの変更が検出された再生位置の特定のリフォーカス画像の被写界深度を、変更後の幅ｗに基づいて変更することにより、特定のリフォーカス画像の合成元である複数の視差画像ＰＩ１１～ＰＩ５５を再合成する生成部４３４と、を有する。そして、再生部４３５は、生成部４３４による再合成後の特定のリフォーカス画像を表示画面１００に再生し、表示制御部４３６は、表示画面１００を制御して、変更後の線幅ｗに基づいて線グラフＷＦを補間して補間後の線グラフＷＦを表示画面１００に表示する。これにより、簡単な操作で特定のリフォーカス画像の被写界深度を変更することができる。

また、再生装置４００は、被写体を追尾して撮影する撮影部４３１と、撮影部４３１によって撮影された一連の被写体の各々について、複数の視差画像ＰＩ１１～ＰＩ５５を合成することにより、被写体までの距離に対応する合焦位置となる一連のリフォーカス画像を生成する生成部４３４と、を有する。そして、再生部４３５は、生成部４３４によって生成された一連のリフォーカス画像により構成される動画（リフォーカス動画像）を表示画面１００に再生し、表示制御部４３６は、表示画面１００を制御して、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報（たとえば、線グラフＷＦ）を表示画面１００に表示する。これにより、リフォーカス動画像と、追尾した被写体の合焦位置を示す時系列な線グラフＷＦと、を自動生成し、かつ、表示することができる。また、これにより、どの被写体が追尾されていたかを確認することができる。

また、再生装置４００は、音源を特定する指向性の集音部４３３を有し、撮影部４３１は、集音部４３３によって特定された音源となる被写体を追尾してもよい。これにより、音源の合焦位置を示す時系列な線グラフを表示することができる。また、これにより、どの被写体が音源として追尾されていたかを確認することができる。

また、再生部４３５は、動画の再生中に特定の再生位置に到達した場合、一連のリフォーカス画像のうち特定の再生位置の特定のリフォーカス画像の合成元となる複数の視差画像ＰＩ１１～ＰＩ５５を表示画面１００に再生してもよい。これにより、あたかもスローモーションで再生するかのような映像を異なる視線方向でユーザに提供することができる。

また、再生部４３５は、動画の再生中に特定の再生位置に到達した場合、動画の再生を一定時間停止して、複数の視差画像ＰＩ１１～ＰＩ５５を表示画面１００に再生してもよい。これにより、ユーザは、一定期間の間、複数の視差画像ＰＩ１１～ＰＩ５５に集中して見ることができる。

また、再生装置４００は、表示画面１００上の座標系１２０において線グラフＷＦの描画を検出する検出部４３２と、検出部４３２によって線グラフＷＦの描画が検出された場合、線グラフＷＦの各再生位置において、線グラフＷＦが示す合焦位置に合焦するように一連のリフォーカス画像を生成する生成部４３４と、を有する。そして、再生部４３５は、生成部４３４によって生成された一連のリフォーカス画像によって構成される動画（リフォーカス動画像）を表示画面１００に再生する。これにより、ユーザが意図した連続的な合焦位置で一連のリフォーカス画像を生成することができる。

また、動画（リフォーカス動画像）の再生指示およびサムネイル表示指示を表示画面１００で受け付けるアイコンが表示されており、再生装置４００は、再生指示およびサムネイル表示指示を検出する検出部４３２を有する。そして、再生部４３５は、検出部４３２によって再生指示が検出された場合、動画を表示画面１００に再生し、表示制御部４３６は、検出部４３２によってサムネイル表示指示が検出された場合、合焦位置における被写体のサムネイル画像を表示する。これにより、動画ファイルをオープンする前に、どのような被写体にピントが合ったリフォーカス画像が表示されるかを確認することができる。

また、表示制御部４３６は、合焦位置が異なる複数の被写体のサムネイル画像を表示してもよい。たとえば、表示対象となる複数のサムネイル画像が、再生位置および合焦位置が異なる複数のリフォーカス画像のサムネイル画像であれば、動画ファイルをオープンする前に、異なる再生位置で、それぞれ、どのような被写体にピントが合ったリフォーカス画像が表示されるかを確認することができる。また、表示対象となる複数のサムネイル画像が、再生位置が同一で、かつ、合焦位置が異なる複数のリフォーカス画像のサムネイル画像であれば、動画ファイルをオープンする前に、同じ再生位置で合焦位置を変更したらどのようなリフォーカス画像になるかを確認することができる。

なお、上述した実施の形態では、複数の視差画像を用いてリフォーカス画像を生成したが、再生装置４００は、２眼カメラから得られる同一被写体のカラーイメージ画像とモノクロイメージ画像を用いて、リフォーカス画像を生成してもよい。より具体的には、たとえば、再生装置４００は、カラーイメージ画像とモノクロイメージ画像との視差量を算出し、視差量を用いてカラーイメージ画像とモノクロイメージ画像との合成画像を生成し、視差量を用いて被写体までの距離を算出し、フォーカス対象となる特定の被写体までの距離に応じたフィルタ処理を合成画像に施すことで、特定の被写体にピントが合ったリフォーカス画像を生成する。

また、再生装置４００は、光線追跡を行ってレンダリングすることにより、リフォーカス画像を生成してもよい。これにより、視差画像を合成する場合よりも、高精細なリフォーカス画像を生成することができる。このように、視差画像や合成画像を用いないリフォーカス画像を本実施例に適用してもよい。

Ｂ バー、ＷＦ 線グラフ、１００ 表示画面、４００ 再生装置、４１２ マイクロレンズアレイ、４１３ フォーカス調整部、４２１ 撮像素子、４３１ 撮影部、４３２ 検出部、４３３ 集音部、４３４ 生成部、４３５ 再生部、４３６ 表示制御部

Claims (1)

1. 合焦位置が変更可能な動画を表示画面の第１表示領域に再生する再生部と、
   前記動画を構成する画像の合焦位置と再生位置との関係を示す情報を前記表示画面の第２表示領域に表示させる表示制御部と、
   前記第２表示領域に表示される前記関係を示す情報のうちの一部と、前記第１表示領域に対する操作により前記第１表示領域に表示されている前記動画の被写体と、の指定を受付ける指定部と、
   前記指定部が受け付けた指定結果に基づいて前記動画を編集する編集部と、
   を備える電子機器。

Images