JP2018157607A - 記録装置、記録方法及び記録プログラム - Google Patents

Abstract

【課題】撮影で取得した該画像の各ブロックの関連情報を記録する記録装置の提案。【解決手段】記録装置は、第１の画像データの取得の前後に、第１の画像データの分割された領域の何れかと対応していて第１の画像データと異なる態様で取得された第２の画像データをファイルとして記録する記録装置であって、第１の画像データの名称と、第２の画像データが前記第１の画像データのどの領域に対応するかを表す情報と、第２の画像データが取得されたタイミングを示す情報とを第２の画像データとともにファイルとして記録する制御部１を備える。【選択図】図１

Description

本発明は、記録装置、記録方法及び記録プログラムに関する。

一般的な電子カメラでは、撮影で取得された画像データは、電子カメラ内のメモリカード（記録部）に記録される。ユーザは、その画像データを任意に再生することができる。ここで例えば、表示されている被写体についてさらに知ろうとしても、ユーザは、その被写体の情報を該画像データから読み取り難い。

特許文献１の電子カメラは、被写体を撮影した一枚の画像データと、該画像データから読み取り可能な被写体の関連情報とを関連付けて記録する。記録された各情報を読み出すことで、該電子カメラは、該画像データを再生しながら被写体の関連情報を再生することができる。

特開２００８−２５２９３０号公報

撮影で取得した該画像の各ブロックの関連情報を記録する記録装置を提案する。

本発明の一態様の記録装置は、第１の画像データの取得の前後に、前記第１の画像データの分割された領域の何れかと対応していて前記第１の画像データと異なる態様で取得された第２の画像データをファイルとして記録する記録装置であって、前記第１の画像データの名称と、前記第２の画像データが前記第１の画像データのどの領域に対応するかを表す情報と、前記第２の画像データが取得されたタイミングを示す情報とを前記第２の画像データとともにファイルとして記録する制御部を具備する。

本発明の一態様の記録方法は、第１の画像データの取得の前後に、前記第１の画像データの分割された領域の何れかと対応していて前記第１の画像データと異なる態様で取得された第２の画像データをファイルとして記録するための記録方法であって、前記第１の画像データの名称と、前記第２の画像データが前記第１の画像データのどの領域に対応するかを表す情報と、前記第２の画像データが取得されたタイミングを示す情報とを前記第２の画像データとともにファイルとして記録することを具備する。

本発明の一態様の記録プログラムは、第１の画像データの取得の前後に、前記第１の画像データの分割された領域の何れかと対応していて前記第１の画像データと異なる態様で取得された第２の画像データをファイルとして記録するための記録プログラムであって、前記第１の画像データの名称と、前記第２の画像データが前記第１の画像データのどの領域に対応するかを表す情報と、前記第２の画像データが取得されたタイミングを示す情報とを前記第２の画像データとともにファイルとして記録することをコンピュータに実行させる。

本発明によれば、撮影で取得した該画像の各ブロックの関連情報を記録することができる。

図１は、本発明の一実施形態に係る撮像装置の撮像機能を概念的に示す図である。 図２は、本発明の一実施形態にかかる撮像装置の構成例を示すブロック図である。 図３は、撮影例を示す図である。 図４は、主画像の関連情報の例を示す図である。 図５は、本発明の一実施形態の撮影動作例を示すフローチャートである。 図６は、関連情報の取得を決定するためのフローチャートである。 図７は、動画データである副画像データの再生例を示す図である。 図８は、動画データの再生タイミングの例を示す図である。 図９は、露出補正のための副画像データの再生例を示す図である。 図１０は、露出補正のための副画像データの再生タイミングの例を示す図である。 図１１は、ピント補正のための副画像データの再生例を示す図である。 図１２は、ピント補正のための副画像データの再生タイミングの例を示す図である。 図１３は、本発明の一実施形態の主画像ファイルと、副画像ファイルとの構成例を示す図である。 図１４は、本発明の一実施形態に係る撮像装置の再生機能を概念的に示す図である。 図１５は、本発明の一実施形態に係る撮像装置の再生モードに関わる動作例を示す図である。 図１６は、本発明の一実施形態の変形例の撮影動作例を示す図である。 図１７は、本発明の一実施形態の変形例の再生動作例を示す図である。 図１８は、本発明の一実施形態の変形例の主画像ファイルと、副画像ファイルとの構成例を示す図である。

以下、本発明の一実施形態に係る撮像装置について、撮影し画像データを取得する撮影モードと、画像データを再生する再生モードとに分けて説明する。図１は、本発明の一実施形態に係る撮像装置の撮像機能を概念的に示す図である。撮像装置１００は、撮像部１１１と、連続撮影部１１０とを有する。撮像部１１１は、被写体を撮影して被写体に係る画像データを取得する。連続撮影部１１０は、画像領域分類部１１２と、領域別撮影条件変更部１１３と、領域別再取得部１１４と、撮像結果関連付け記録部１１５とを有する。画像領域分類部１１２は、撮像部１１１により取得された画像データを複数のブロックに分割し、分割したブロック毎に再撮影を行うべきか否かを判定する。領域別撮影条件変更部１１３は、画像領域分類部１１２により分割された各ブロックの再撮影の条件を設定する。領域別再取得部１１４は、領域別撮影条件変更部１１３の設定を基に再撮影を行って画像データを再取得する。撮像結果関連付け記録部１１５は、再取得された画像データと、最初に取得された画像データとを関連付けて記録する。

本発明の一実施形態に係る撮像装置の具体的な構成例を図２のブロック図に示す。図２の撮像装置１００は、ネットワーク２１を介してサーバ２３に通信自在に接続されている。また、ネットワーク２１には、スマートフォン（スマホ）２２も通信自在に接続されている。スマホ２２は、ネットワーク２１を介して受信した画像データや音データなどを再生可能な携帯端末の一例である。

本発明の一実施形態において、再取得された画像データは、撮影時に取得される。しかしながら、撮影時に再取得された画像データに加えて、サーバ２３やスマホ２２を使用して外部から画像データ若しくはテキストデータなどの関連情報をさらに取得しても良い。また、後述する方位センサ７ｂ若しくは場所検出部１０などから取得された位置情報をさらに関連付けても良い。

撮像装置１００は、撮像部１１１と、制御部１と、表示部８と、タッチパネル８ｂと、記録部４と、操作判定部５と、通信部６と、アイセンサ３ｂと、接眼表示部３と、姿勢センサ７ａと、方位センサ７ｂと、場所検出部１０と、時計９とを有する。制御部１は、連続撮影部１１０と対応する機能を有し、撮影及び再生を制御する。表示部８は、画像データに基づく画像を表示する。タッチパネル８ｂは、タッチを検出して信号を出力する。記録部４は、画像データなどの各種データを記録する。操作判定部５は、撮像装置１００を動作させるための操作を判定する。この操作は、例えば、表示部８に表示する画像の切り替え、モードの変更若しくは画像データの送受信などの操作に対応している。通信部６は、撮像装置１００とサーバ２３との間のデータの送受信を介する。アイセンサ３ｂは、接眼表示部３へのユーザの接眼状態を検出する。接眼表示部３は、接眼式のファインダ用の表示部である。姿勢センサ７ａは例えば、撮像装置１００の加速度を検出して撮像装置１００の姿勢を検出する。方位センサ７ｂは、地磁気の方向に対する傾きから撮像装置１００の方位を検出する。場所検出部１０は、例えばＧＰＳであり、撮影時の位置を検出する。時計９は時刻情報を算出する。

撮像部１１１は、被写体から発せられる光を入射させ像を結ばせるレンズ２６と、レンズ２６から入射した光を受光面で受けて、光を電気信号（アナログ信号）に変換する撮像素子２とを有する。

レンズ２６は、図示しない被写体からの撮影光束を、撮像素子２の受光面上に導くための光学系である。このレンズ２６は、フォーカスレンズ等の複数のレンズを有している。撮像素子２は、多数の画素が配列されて構成される受光面を有し、レンズ２６を介して受光した被写体からの像を電気的な信号に変換する。

表示部８は、例えば液晶ディスプレイ（ＬＣＤ）又は有機ＥＬディスプレイである。この表示部８は、撮像装置１００の背面に設置され、画像データに基づいてライブビュー用の画像及び記録部４に記録された画像及び各種の情報を表示する。表示部８に表示される画像データは複数のブロックに分割される。本実施形態においては、ユーザは複数のブロックから注目するブロックを選別する。このとき、ブロックが可視化させていれば、ユーザは再撮影された画像データの表示の選択が容易になる。そのため例えば、ブロックの分割区画に対応する線を画像に重ねて表示させても良い。

タッチパネル８ｂは、表示部８の表示画面上に重なるように形成されており、表示画面上へのユーザの指等によるタッチを検出し、その検出結果を制御部１へ入力する。また、タッチパネルの各タッチ位置は表示部上の各表示位置に対応している。本実施形態においては例えば、タッチパネル８ｂがタッチされたとき、タッチ位置を含むブロックに対応した表示部８上の表示位置に再撮影された画像データなどを表示する。また、タッチパネル８ｂは、画像を分割したブロックを指定するための方法の一つであって、ブロックの指定は、タッチによって指定するタッチパネル８ｂ以外の部材によってなされても良い。ブロックを指定するためのタッチパネル８ｂなどの部材を、指定部と呼ぶことにする。

制御部１は、ピントの位置を調節するか否かを判定するピント判定部１ｃと、被写体が特定の被写体であるか否かを判定する被写体判定部１ｈと、画像の陰影を判定する陰影判定部１ｂと、画像データを表示部８に表示させるための画像処理を制御する表示制御部１ｅと、画像領域分類部１１２と領域別撮影条件変更部１１３とに対応し、画像を複数のブロックに分割し、各ブロックへの関連情報の付与を制御する部位情報部１ｄと、被写体が動いたか否かを判定する動き判定部１ｆと、通信部６と外部とのデータの送受信を制御する通信制御部１ｇとを有する。

記録部４は、撮影で取得された画像データが保存された画像ファイルを記録する。また、記録部４は、サーバ２３を含む外部から取得された画像データが記録されている接続先ＤＢ４ｂと、画像に表示される被写体の種類を特定するために参照される画像データが記録されている対象物ＤＢ４ｃとを有する。

サーバ２３は、サーバ２３が有する画像データを端末に送信したとき、画像データの送信先での表示を制御する表示制御部２３ｂと、撮像装置１００及びスマホ２２などからアクセスされたことを判定するアクセス判定部２３ｃと、撮像装置１００から求められる画像データに関連する画像を選択する関連づけ部２３ｄと、サーバ２３内の画像を記録するサーバ記録部２３ｅとを有する。

撮影例を図３に示す。ユーザが図３に示されたシーンにおいて人物を撮影するとき、他の被写体も同時に画像に写りこむことがある。図３の例における他の被写体とは例えば、飛んでいる鳥Ａと、留まっている鳥Ｂである。また、図３に示す暗い空間のように、画像上では被写体の状態が分からないような場合もある。撮影の結果、これらの被写体が写りこんだ図４に示すような画像が取得される。通常、人物に適したピントや露出で撮影が行われると、撮影後に得られる画像において他の被写体のピントや露出は適切なものではなくなる。例えば、鳥Ｂにはピントが合っていない。図４では、鳥Ｂのピントが合っていないことは点線で示されている。また、暗い空間内の露出は、その内部の花瓶が可視され難い程度になってしまう。ユーザは、ピントが合っていない被写体や露出が合っていない被写体が撮影後に気になったとしても、後から気になった被写体にピント及び露出を合わせて撮影するのは困難である。

本発明の一実施形態では、ユーザが最初に気になった被写体を写した主画像と、その主画像内でユーザが気になると考えられる被写体の画像を関連情報として写した副画像とが取得される。本発明の一実施形態に係る撮像装置１００は、被写体の動画の副画像、ピント補正された被写体の副画像及び適正な露出の被写体を示す副画像を取得することができる。

撮像装置１００の動作例を図５のフローチャートで説明する。制御部１は、撮影モードが選択されたか否かを判定する（ステップＳ２０１）。撮影モードが選択されなかったと判定するとき（ステップＳ２０１でＮＯのとき）、制御部１は、再生モードを選択する。一方、撮影モードが選択されたと判定するとき（ステップＳ２０１でＹＥＳのとき）、制御部１は、撮像部１１１に撮影を開始させまた、被写体の判定を開始する（ステップＳ２０２）。この被写体の判定は、後述する後で気になる部位判定に用いる。その後、制御部１は、後で気になる部位判定を図６に示すように行う（ステップＳ２０４）。

後で気になる部位判定は、副画像データを取得すべきブロックの位置情報と、各ブロックで取得する副画像データの種類とを決定する処理である。後で気になる部位判定を図６を使用して説明する。図６（ａ）は動作例を示すフローチャートであり、図６（ｂ）は副画像データを取得すべきブロックを示す。まず、部位情報部１ｄは、取得された画像データを複数のブロックに分割する（ステップＳ１０１）。本発明の一実施形態では、画像データを矩形の１５個のブロックに図６（ｂ）に示すように分割する。その後、部位情報部１ｄは、該画像データに対する副画像データを取得するか否かを判定するための情報を各ブロックから取得する（ステップＳ１０２）。該情報は例えば、ブロックの画像が、所定の画像データであるか否かの情報などである。次に、部位情報部１ｄは、所定露出よりもアンダー露出であるブロック若しくは所定露出よりもオーバー露出であるブロックがあるか否かを判定する（ステップＳ１０３）。少なくとも一つのブロックが、オーバーの露出であると判定するとき若しくは、アンダー露出であると判定するとき（ステップＳ１０３でＹＥＳのとき）、部位情報部１ｄは、オーバー露出若しくはアンダー露出であると判定されるブロックの位置情報と、このブロックについて後で取得される副画像が露出用として使用される旨を示す情報とを記録部４に記録する（ステップＳ１０６）。この情報は、後述する主画像データと副画像データとを関連付けるための情報である。ブロックの位置情報では例えば、図６（ｂ）に示すように２行目のＢ列目のブロックをＢ２と呼称する。一方、Ａ１からＥ３までのすべてのブロックが、オーバー露出若しくはアンダー露出ではなかったと判定するとき（ステップＳ１０３でＮＯのとき）又はステップＳ１０６の処理の後、部位情報部１ｄは、少なくとも一つのブロックが、被写体のピントがボケているブロックであるか否かを判定する（ステップＳ１０４）。被写体のピントがボケているブロックがあったと判定するとき（ステップＳ１０４でＹＥＳのとき）、部位情報部１ｄは、被写体のピントがボケているブロックの位置情報と、このブロックについて後で取得される副画像データがピント用として使用される旨を示す情報とを記録部４に記録する（ステップＳ１０７）。ステップＳ１０７の後若しくは、Ａ１からＥ３までのすべてのブロックが、被写体のピントがボケていなかったと判定するとき（ステップＳ１０４でＮＯのとき）、部位情報部１ｄは、被写体が動いているブロックがあるか否かを判定する（ステップＳ１０５）。被写体が動いているか否かの判定は例えば、主画像の被写体と、その前後に撮影された画像の該被写体の形状の比較によってなされる。被写体が動いているブロックがあると判定するとき（ステップＳ１０５でＹＥＳのとき）、部位情報部１ｄは、被写体が動いているブロックの位置情報と、このブロックについて後で取得される副画像データが動画用として使用される旨を示す用途情報とを記録部４に記録する（ステップＳ１０８）。ステップ１０８の後若しくは、被写体が動いているブロックがなかったと判定するとき（ステップＳ１０５でＮＯのとき）、部位情報部１ｄは、後で気になる部位判定の処理を終了する。

ところで、図５において、制御部１は、動画用ブロックが、後で気になる部位判定で取得した各情報を参照した結果あるか否かを判定する（ステップＳ２０５）。動画用ブロックがなかったと判定するとき（ステップＳ２０５でＮＯのとき）、制御部１は、主画像データを撮影するか否かを判定する（ステップＳ２１１）。主画像データは、副画像データが関連付けられる画像データであって、ユーザが意図して取得しようとしている画像データである。主画像データを撮影しないと判定するとき（ステップＳ２１１でＮＯのとき）、例えばレリーズ操作が所定時間なされなかったとき、制御部１は、処理をステップＳ２０１に戻す。一方、主画像データを撮影すると判定するとき（ステップＳ２１１でＹＥＳのとき）、制御部１は、主画像データを撮影する（ステップＳ２１２）。その後、制御部１は、で気になる部位判定で取得した各情報を参照し、副画像データを取得するブロックがあるか否かを判定する（ステップＳ２１３）。すなわち、副画像データを取得するブロックは、動画用、露出用及びピント用である。副画像データを取得するブロックがなかったと判定するとき（ステップＳ２１３でＮＯのとき）、制御部１は、主画像データを主画像ファイルとして記録部４に記録する。その後、制御部１は、処理をステップＳ２０１に戻す（ステップＳ２１４）。

ところで、動画用ブロックがあると判定するとき（ステップＳ２０５でＹＥＳのとき）、制御部１は、該ブロックにおいて、主画像データの取得前に取得された画像データを動画用副画像データとして記録する（ステップＳ２０６）。その後、制御部１は、処理をステップＳ２１１に移行させる。

ところで、副画像データを取得するブロックがあると判定するとき（ステップＳ２１３でＹＥＳのとき）、制御部１は、まず、動画用ブロックがあるか否かを判定する（ステップＳ２２１）。ステップ２２１において、動画用ブロックとして判定された場合、主画像データの取得後の画像データが、動画用副画像データとして取得される。動画用ブロックがあったと判定するとき（ステップＳ２２１でＹＥＳのとき）、制御部１は、該ブロックの画像データを動画用副画像データとして所定時間取得する（ステップＳ２２２）。

動画用副画像データの取得について図７及び図８を使用してさらに説明する。図７（ａ）は、主画像データ内の動画用ブロックを示す。すなわち、飛んでいる鳥Ａが含まれているブロックＡ１及びＢ１が、動画用副画像データを取得するブロックである。各ブロックにおける動画用副画像データの取得のタイミングチャート例を図８に示す。横軸方向は時間経過であって、Ｔ１、Ｔ２、Ｔ３・・・というタイミングで、副画像データの像１、像２、像３・・・が取得される。まず、図７（ｂ）のブロックＢ１に鳥Ａが含まれているので、主画像データのブロックＢ１を動画用の副画像データに置き換えるための副画像データを取得する。時間が進むと、図７（ｂ）に示すように、ブロックＢ１及びＡ１に鳥Ａが含まれる。したがって、図８（ａ）に示すようにブロックＢ１及びブロックＡ１の動画用の副画像データを同時のタイミングで取得する。つまり、制御部１は、時系列順に取得した複数の画像データを互いに比較することで、動画用の副画像データは取得されるか否かを判定される。また、制御部１は、隣接するブロックを時系列順に取得した複数の画像データを隣接するブロックと互いに比較しても良い。その後、ブロックＡ１のみに鳥Ａが含まれているので、ブロックＡ１の動画用の副画像データのみが取得される。ここで、図８（ａ）は、鳥Ａが含まれている動画用の副画像データだけが取得される例を示している。これに対し、図８（ｂ）のように鳥Ａが含まれているブロックの周辺のブロックも動画用の動画像データとして取得しても良い。このように、本発明の一実施形態では、四辺形の主画像データは、１５分割された単純な四辺形のブロックを結合したものとして説明されている。しかしながら、主画像データは、より細かなブロックに分割され、それらのブロックを結合して取得しても良い。若しくは、主画像データは分割されなくとも良い。また、主画像データは、四辺形のブロックを結合した円形若しくは楕円形であっても良い。また、ブロックの形状は、四辺形に限らず例えば、別の多角形若しくは被写体の形状のような主画像データ内の特定の領域であってもよい。すなわち、人物や鳥の輪郭内のブロックの露出用若しくはピント変更用などの副画像データを取得しても良い。ただし、輪郭の検出は難しい。そこで、例えば、ブロックの形状は、輪郭に近似した楕円形であってもよい。

ところで、動画用ブロックがなかったと判定するとき（ステップＳ２２１でＮＯのとき）、制御部１は、動画用の副画像データを取得しない。そして、動画用の副画像データを取得した後若しくは、動画用の副画像データを取得するブロックがなかったと判定するとき（ステップＳ２２１でＮＯのとき）、制御部１は、後で気になる部位判定で取得した各情報を参照し、露出用のブロックがあるか否かを判定する（ステップＳ２２３）。露出用のブロックがあると判定するとき（ステップＳ２２３でＹＥＳのとき）、制御部１は、露出用の副画像データを取得する（ステップＳ２２４）。

ここで、露出用の副画像データ、まず、アンダー露出用の副画像データの取得例について、図９及び図１０を使用して説明する。図９（ａ）は、主画像データ内のアンダー露出用のブロックを示す。すなわち、暗い空間が表示されているブロックＤ１、Ｄ２及びＤ３が、アンダー露出用画像データを取得するブロックである。アンダー露出を補正したブロックは例えば、同一ブロックについて撮影された複数の副画像データを重ねて輝度を上げることで取得される。各ブロックにおけるアンダー露出用の副画像データの取得のタイミングチャート例を図１０に示す。図１０の上部では、横軸は、露出用の副画像データ取得のタイミングを示しており、縦軸は、重ね合わせ前の副画像データの輝度を表す。一方、図１０の下部は、重ね合わせ後の副画像データの輝度を表す。すなわち、重ね合わせる副画像データの数が多くなるほど、副画像データの輝度が上がる。例えば、副画像データの図９（ｂ）の像１及び図９（ｃ）の像２が重ねられることで、図９（ｄ）の像１＋像２のような露出が補正された副画像データが取得される。なお、副画像データの重ね合わせの場合、露出はオーバーに補正される。これに対し、露出がオーバーなブロックの輝度を下げる場合例えば、図１に示すブロック図にアンプをさらに追加して、そのアンプによって輝度を下げるようにしても良い。

ところで、露出用の副画像データを取得した後又は、露出用ブロックがなかったと判定されるとき、制御部１は、後で気になる部位判定によって記録された各情報を参照して、ピント変更用のブロックがあるか否かを判定する（ステップＳ２２５）。ピント変更用のブロックがあると判定するとき（ステップＳ２２６でＹＥＳのとき）、制御部１は、ブロック内のピント位置を変えながら撮影を行い、その撮影で取得したピント変更用の副画像データを記録する（ステップＳ２２６）。このように、主画像データ内のブロックすなわち特定の領域内の露出量若しくはコントラスト量の特徴に応じて、ブロック内の被写体が十分な描写が得られていないことが判定され、副画像データの取得が行われる。この判定は、時系列で取得された複数の画像に対してなされても良い。この判定は、各ブロック間の距離分布情報若しくは被写界深度の情報などの特徴を比較することでなされても良い。つまり、上記再取得判断は、上述の特徴に従って判定される若しくは、時系列に取得された複数の画像の比較に従って判定されても良い。各ブロックの各特徴をそれぞれ判定することで、それぞれのブロックに取得すべき副画像データの種類が決定される。

ここで、ピント変更用の副画像データの取得例について図１１及び図１２を使用してさらに説明する。図１１（ａ）は、主画像データ内のピント変更用のブロックを示す。すなわち、鳥Ｂが表示されているブロックＢ２及びＢ３が、ピント変更用副画像データを取得するブロックである。図１１（ｂ）、（ｃ）及び（ｄ）は、ピントを変更して取得した各ブロックの画像データを示す。各ブロックにおけるピント変更用の副画像データの取得のタイミングチャート例を図１２に示す。撮像装置１００は、山登りＡＦ（オートフォーカス）式に、ピント位置を例えば近方から遠方にかけて順次変更していく。

ところで、ピント変更用副画像データの取得が行われた後（ステップＳ２２６）若しくは、ピント変更用ブロックがなかったと判定するとき（ステップＳ２２５でＮＯのとき）、制御部１は、主画像データを主画像ファイル化する。主画像ファイルの構成例を図１３（ａ）に示す。主画像ファイルには、主画像データと、部位別タグ情報と、部位情報とが格納されている。部位別タグ情報は、各ブロックと、各ブロックに再生する副画像データの種類とを対応付ける情報である。例えば、主画像データのブロックＡ１は、動画用の副画像データと対応付けられている。対応付ける副画像データの種類は複数であっても良い。部位情報は、後で気になる部位判定で分割された主画像データの各ブロックが、どのような大きさのブロックであるかを示す情報である。例えば、ブロックＡ１は、主画像データを横方向に５分割し、縦方向に３分割したときの一ブロックである。それぞれのブロックの大きさは、被写体の大きさなどに応じて非画一であっても良い。

主画像データを主画像ファイル化した後（ステップＳ２２７）、制御部１は、副画像データを副画像ファイルとして記録部４に記録する（ステップＳ２２８）。副画像ファイルには、副画像データと、タグ情報とが保存されている。タグ情報は、主画像データのブロックと副画像データとを関連付けるための情報である。図１３（ｂ）は、副画像ファイルの構成例である。図１３（ｂ）に示す副画像ファイルｋ及び副画像ファイルｌは、副画像データと、タグ情報とを格納している。副画像ファイルｋのタグ情報は、副画像データｋが対応する主画像データの名称及びその主画像データのブロックと、副画像データを再生するタイミングと、副画像データの用途とに関する情報を有する。例えば、副画像データｋは、タグ情報に示されるように図１３（ａ）の主画像データｉｍｇ１のブロックＢ１に対応している。主画像データｉｍｇ１のブロックＢ１の副画像データｋを再生するとき、副画像データｋは、図８（ａ）に示すタイミングＴ１すなわち、動画再生の最初に再生される。一方、副画像ファイルｌの副画像データｌにおいて、用途情報は、副画像データが露出用であることを示す。また、タイミング情報は、主画像データｉｍｇ１のブロックＤ２にＴ１のタイミングで再生されることを示す。なお、副画像ファイルには、複数対の副画像データ及びタグ情報を格納しても良い。例えば、複数の動画の副画像及びタグ情報が、副画像ファイルとしてまとめられて扱われることで、ユーザは、動画の副画像ファイルを管理しやすくなる。撮像装置１００は、時系列に得られた副画像データを順次に再生する。露出用副画像データでは、ユーザは、見づらかった被写体をだんだん見えるようになる。また、動画用画像データでは、ユーザは、被写体の動きの再現を見ることができる。副画像データをだんだんに再生することによって、撮像装置１００は、ユーザの期待感を盛り上げたり、ユーザに興奮を伴わせることができる。つまり、上述のような時系列に沿った再生は、付随情報を単に表示する場合と異なり、ユーザに感覚的な味付けを与えることができる。時系列に沿った再生をスローモーション若しくは早送りに再生しても良い。または、時系列に再生される副画像データを、対応するブロックとは別ブロックにずらして再生しても良い。

以上、本発明の一実施形態における撮像装置１００の撮影モードでは、ユーザが求める主画像データと、主画像データの撮影時の関連情報を示す副画像データとを取得し、それぞれの画像データを関連付けて記録する。副画像データは、動画用途、露出用途若しくはピント変更用途として、主画像データの撮影前後に取得される。ユーザは、主画像データの撮影操作のみによって、主画像データの取得時の関連情報を容易に取得することができる。このように、撮像装置１００は、主画像データの四辺形である各ブロックにおいて、露出やピントについて、十分な描写が得られていないことを判定して、各ブロックの画像表現を補足するための副画像データを取得する。この判定の要素は、露出量やコントラスト量である。また、この判定は、時系列で取得された複数の画像の比較によって判定されても良い。各ブロックの形状は、四辺形以外の形状の特定領域であっても良い。この判定の要素は、各部位の距離情報の差異や被写界深度の情報、距離分布情報若しくは画像の特徴量などであってもよく、山登りＡＦ式にピント位置をずらした画像データから再撮影を推奨する判定（再取得判定）をしても良い。

次に、本発明の一実施形態に係る撮像装置１００の再生機能ついて図１４及び図１５を使用して説明する。再生モードでは、主画像のブロックの位置のタッチ操作によって、ユーザは、そのブロックに再生される副画像データを見ることができる。

図１４は、本発明の一実施形態に係る撮像装置の再生機能を概念的に示す図である。本発明の第１の実施形態に係る再生装置を備える撮像装置１００は、撮像部１１１と、連写結果記録部１１６と、指定部１２０と、再生制御部１３０と、再生部１２１とを有する。撮像部１１１は、被写体を撮影し画像データを取得する。連写結果記録部１１６は、複数の画像データ及び複数の画像データを関連付けるための情報を記録する。指定部１２０は、主画像データを分割して形成された複数のブロックから所定のブロックを指定する。再生制御部１３０は、制御部１に対応しており、画像領域分類部１１２と、領域切り出し部１１７と、再生方法変更部１１８と、取捨選択部１１９とを有する。画像領域分類部１１２は、部位情報部１ｄに対応し、連写結果記録部１１６から主画像データを読み出して複数のブロックに分割し、各ブロックに関連付けられている副画像データがあるか否かを判定する。領域切り出し部１１７は、表示制御部１ｅと対応しており、指定部１２０に指定されたブロックの位置を切り出す。再生方法変更部１１８は、部位情報部１ｄに対応しており、切り出されたブロックの位置に再生する撮影条件（用途）の副画像データを選択する。取捨選択部１１９は、表示制御部１ｅに対応しており、再生方法変更部１１８に選択された撮影条件の副画像データを連写結果記録部１１６から読み出して、第２の画像データを再生部１２１に出力する。再生部１２１は、表示部８に対応しており、画像データを再生し、画像を表示する。撮像装置１００は、切り出された四辺形のブロックの位置に再生する撮影条件（用途）の副画像データを記録している。副画像データは、主画像データに対して、露出やピントにおける描写が十分ではないことを判定して、画像表現を補足するために取得される。副画像データの判定の要素は、各ブロックの露出量やコントラスト量から判定される。この判定の対象となる四辺形ブロックの形状は、別の形状の特定領域であっても良い。また、この判定は、時系列で取得された複数の画像の比較によって行われても良い。副画像データの判定の要素は、各部位の距離情報の差異や被写界深度の情報をであっても良く、山登りＡＦ式にピント位置をずらした画像データから再撮影を推奨する判定（再取得判定）をしても良い。

次に、本発明の一実施形態に係る撮像装置の再生モードの動作例を図１５で説明する。まず、制御部１は、記録部４に記録されている複数の図１３（ａ）に示す主画像ファイルを読み込んで、複数の主画像データを表示部８に一覧させるように再生する（ステップＳ３０１）。その後、制御部１は、タッチパネル８ｂへのタッチの検出によって再生する主画像データを判定し、タッチ位置に応じた主画像データを再生する（ステップＳ３０２）。その後、制御部１は、再生されている主画像データへのタッチが検出されたか否かを判定する（ステップＳ３０３）。再生されている主画像データへのタッチが検出されなかったと判定するとき（ステップＳ３０３でＮＯのとき）、制御部１は、操作判定部５への操作を検出したときに、表示部８に表示する画像の切り替え操作、モードの変更操作若しくは画像データの送受信操作などを行う（ステップＳ３１５）。一方、再生されている主画像データへのタッチが検出されたと判定するとき（ステップＳ３０３でＹＥＳのとき）、制御部１は、主画像ファイルの部位別タグ情報に基づいて、主画像データを複数のブロックに分割する。制御部１は、部位別タグ情報から、ステップＳ３０３でタッチが検出された主画像データの位置が、動画用の副画像データと関連付けられているか否かを判定する（ステップＳ３０４）。ステップＳ３０３でタッチが検出された主画像データの位置例えばブロックＢ１が、動画用の副画像データと関連付けられていると判定するとき（ステップＳ３０４でＹＥＳのとき）、制御部１は、図１３（ｂ）の副画像ファイルｋを読み込んだ後、タッチが検出された位置のブロックＢ１を切り取って、切り取られたブロックＢ１に副画像データｋを再生する（ステップＳ３１１）。この副画像データｋの再生のタイミングは、副画像ファイルｋのタイミング情報Ｔ１である。なお、制御部１は、主画像データを切り取らずに、主画像データのレイヤに副画像データのレイヤを重ねて再生しても良い。

一方、ステップＳ３０３でタッチが検出された主画像データの位置が、動画用の副画像データと関連付けられていないと判定するとき（ステップＳ３０４でＮＯのとき）、制御部１は、タッチが検出された主画像データの位置が、露出用の副画像データと関連付けられているか否かを判定する（ステップＳ３０５）。タッチが検出された主画像データの位置例えばブロックＤ２が、露出用の副画像データと関連付けられていると判定するとき（ステップＳ３０５でＹＥＳのとき）、制御部１は、図１３（ｂ）の副画像ファイルｌを読み込んだ後、ブロックＤ２を切り取って、切り取られたブロックＤ２に副画像データｌを再生する（ステップＳ３１２）。副画像データｌの再生のタイミングは、副画像データｌのタイミング情報Ｔ１である。一方、副画像データｌが再生された後若しくは、タッチが検出された主画像データの位置が、露出用の副画像データと関連付けられていなかったと判定するとき（ステップＳ３０５でＮＯのとき）、制御部１は、タッチが検出された主画像データの位置が、ピント変更用の副画像データと関連付けられているか否かを判定する（ステップＳ３０６）。タッチが検出された主画像データの位置が、ピント変更用の副画像データと関連付けられていると判定するとき（ステップＳ３０６でＹＥＳのとき）、制御部１は、図示しないピント変更用の副画像データを読み込んだ後、タッチが検出された主画像データのブロックを切り取って、切り取られたブロックにピント変更用の副画像データを再生する（ステップＳ３１３）。一方、ピント変更用の副画像データが再生された後若しくは、タッチが検出された主画像データの位置が、ピント変更用の副画像データと関連付けられていなかったと判定するとき（ステップＳ３０６でＮＯのとき）、再生制御部１３０は、該位置に主画像データを再生する（ステップＳ３１４）。

以上、本発明の一実施形態にかかる撮像装置１００の再生モードでは、主画像データと、前記主画像データと関連付けられている副画像データとを再生する。ユーザは、再生される主画像データへのタッチによって主画像データの位置を指定すると、主画像データの取得時の関連情報を容易に見ることができる。撮像装置１００は、時系列に得られた副画像データを順次に再生する。露出用副画像データでは、ユーザは、見づらかった被写体をだんだん見えるようになる。また、動画用画像データでは、ユーザは、被写体の動きの再現を見ることができる。副画像データをだんだんに再生することによって、撮像装置１００は、ユーザの期待感を盛り上げたり、ユーザに興奮を伴わせることができる。つまり、上述のような時系列に沿った再生は、付随情報を単に表示する場合と異なり、ユーザに感覚的な味付けを与えることができる。時系列に沿った再生をスローモーション若しくは早送りに再生しても良い。または、時系列に再生される副画像データを、対応するブロックとは別ブロックにずらして再生しても良い。

次に、本発明の位置実施形態に係る撮像装置１００の撮影モード及び再生モードの変形例を図１６、図１７及び図１８を使用して説明する。変形例における副画像データの大きさは、主画像データと同じ大きさである。なお、撮影モード及び再生モードの構成は、図１、図２及び図１４に示す構成例と同一である。

変形例の撮影モードの動作例を図１６で説明する。撮影モードが選択され（ステップＳ２０１）、撮像部１１１による撮影が開始された後（ステップＳ２０２）、制御部１は、動画用の副画像データを仮記録する（ステップＳ４０６）。ここで、変形例における副画像データは、一実施形態とは異なり、画角内の位置及び大きさを限定せずに撮影される。その後、制御部１は、撮影するか否かを判定する（ステップＳ２１１）。撮影すると判定するとき（ステップＳ２１１でＹＥＳのとき）、制御部１は、撮影し主画像データを取得する（ステップＳ２１２）。その後、制御部１は、動画用の副画像データを取得する（ステップＳ４２２）。その後、制御部１は、露出用の副画像データを取得する（ステップＳ４２４）。その後、制御部１は、ピント変更用の複数の副画像データを取得する（ステップＳ４２６）。その後、主画像データを主画像ファイルとして記録する（ステップＳ２２７）。その後、制御部１は、副画像データを副画像ファイルとして記録する（ステップＳ２２８）。

以上、図１６に示した変形例における撮影の動作例では、全画角の副画像データを記録するので、画像データの取得時において後で気になる部位判定が行われないすなわち、主画像データに対応する副画像データの位置及び大きさは、撮影モードで決定されない。

主画像データに対応する副画像データの位置及び大きさは、再生モードで決定される。そこで、変形例の再生モードの動作例を図１７で説明する。

記録部４に記録されている主画像ファイルが読み込まれて、主画像データが表示部８に再生され（ステップＳ３０１）、制御部１、選択された主画像データを再生する（ステップＳ３０２）。その後、制御部１は、後で気になる部位判定を行う（ステップＳ２０４）。変形例では、再生モードにおいて、後で気になる部位判定により、主画像データの位置と、副画像データとが対応付けられる。変形例では、副画像データが再生される位置、大きさ、形状などを、１５個のブロックに分割した場合として説明する。当然ながら、副画像データの形状は、被写体を型取った形状であっても良い。したがって、主画像ファイルと副画像ファイルに格納される各情報は、変形例では、後で気になる部位判定の判定に基づいて主画像ファイルの部位別タグ情報と副画像ファイルの部位情報及び候補用途情報を更新される。

変形例における主画像ファイル及び副画像ファイルの図１８に示す構成例は、図１３に示す構成例と同一である。例えば、図１３では、副画像ファイルｍのタグ情報は、副画像データｍが対応する主画像データの情報と、副画像データｍのＴ１のタイミングでの再生を示すタイミング情報と、副画像データｍが動画用かつ露出用の候補用途であることを示す情報とを有する。

副画像ファイルｎのタグ情報は、副画像データｎが対応する主画像データの情報と、副画像データｎがＴ８のタイミングで再生されるタイミング情報と、副画像データｎがピント変更用である候補用途の情報とを有する。

ところで、後で気になる部位判定が行われた後（ステップＳ２０４）、再生制御部１３０は、主画像へタッチが検出されたか否かを判定する（ステップＳ３０３）。主画像へのタッチが検出されたと判定するとき（ステップＳ３０３でＹＥＳのとき）、再生制御部１３０は、画像領域分類部１１２によって、タッチが検出された主画像データの位置が、動画用の副画像データと関連付けられているか否かを判定する（ステップＳ３０４）。タッチされた主画像データの位置が、動画用の副画像データと関連付けられていると判定するとき（ステップＳ３０４でＹＥＳのとき）、再生制御部１３０は、動画用の副画像データを、タッチされた位置のブロックの大きさに対応するように切り取って、切り取られた副画像データを主画像データのブロックに重ねてタイミング順に再生する（ステップＳ５１１）。

一方、動画用の副画像データが再生されたあと若しくは、タッチが検出された主画像データの位置が、動画用の副画像データと関連付けられていなかったと判定するとき（ステップＳ３０４でＮＯのとき）、再生制御部１３０は、タッチが検出されたブロックの位置が、露出用の副画像データと関連付けられているか否かを判定する（ステップＳ３０５）。タッチが検出された主画像データの位置が、露出補正された副画像データに関連付けられていると判定するとき（ステップＳ３０５でＹＥＳのとき）、再生制御部１３０は、露出用の副画像データを、タッチされた主画像の大きさに対応するように切り取って、切り取られた副画像データを主画像データのブロックに重ねてタイミング順に再生する（ステップＳ５１２）。一方、露出用の副画像データが再生された後若しくは、タッチされた主画像データのブロックの位置が露出用の副画像データと関連付けられていなかったと判定するとき（ステップＳ３０５でＮＯのとき）、再生制御部１３０は、タッチされた主画像データの位置がピント用の副画像データと関連付けられているか否かを判定する（ステップＳ３０６）。タッチされた主画像データの位置が、ピント用の副画像データと関連付けられていると判定するとき（ステップＳ３０６でＹＥＳのとき）、再生制御部１３０は、ピント用の副画像データを、タッチされた主画像のブロックの大きさに対応するように切り取って、切り取られた副画像データを主画像データのブロックに重ねて再生する（ステップＳ５１３）。

以上、図１７に示した変形例における再生の動作例では、主画像データの位置と、その位置に対応する副画像データの判定が行われる。再生部１２１へのタッチにより、副画像データが対応している主画像データの位置が選択されたとき、副画像データは、主画像ファイルと副画像ファイルとに格納されている各情報に基づいて、選択された位置に所定の大きさに切り取られて再生される。

以上、本発明の一実施形態の変形例では、撮影モードにおいて、主画像データと、主画像データと同じ大きさの副画像データとが取得される。そして、再生モードにおいて、主画像データの位置と、副画像データとを関連付ける情報が取得される。その情報は、主画像ファイル及び副画像ファイルに格納される。

なお、副画像の表示は、主画像に重ねて表示しても良いし、主画像のブロックを切り取って、副画像と置き換えても良い。また、本発明の一実施形態では、副画像データとして動画、露出若しくはピントを補正した画像データを例とした。しかしながら、ユーザが後から見たい副画像データはこれらに限らず例えば、ブロックを光学ズームした副画像データであっても良い。ブロック内を光学ズームで拡大した副画像データを取得しておく。ブロックがタッチされたとき、そのブロックにその副画像データを再生することで、より高解像度の拡大画像をユーザに示すことができる。

加えて、上述した一実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れも制御部１に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

１…制御部、 １ｂ…陰影判定部、 １ｃ…ピント判定部、 １ｄ…部位情報部、 １ｅ…表示制御部、 １ｆ…動き判定部、 １ｇ…通信制御部、 １ｈ…被写体判定部、 ２…撮像素子、 ３…接眼表示部、 ３ｂ…アイセンサ、 ４…記録部、 ４ｂ…接続先ＤＢ、 ４ｃ…対象物ＤＢ、 ５…操作判定部、 ６…通信部、 ７ａ…姿勢センサ、 ７ｂ…方位センサ、 ８…表示部、 ８ｂ…タッチパネル、 ９…時計、 １０…場所検出部、 ２１…ネットワーク、 ２２…スマホ、 ２３…サーバ、 ２３ｂ…表示制御部、 ２３ｃ…アクセス判定部、 ２３ｄ…関連付け部、 ２３ｅ…サーバ記録部、 ２６…レンズ、 １００…撮像装置、 １１０…連続撮影部、 １１１…撮像部、 １１２…画像領域分類部、 １１３…領域別撮影条件変更部、 １１４…領域別再取得部、 １１５…撮像結果関連付け記録部、 １１６…連射結果記録部、 １１７…領域切り出し部、 １１８…再生方法変更部、 １１９…再生方法変更部、 １２０…指定部、 １２１…再生部、 １３０…再生制御部

Claims (5)

1. 第１の画像データの取得の前後に、前記第１の画像データの分割された領域の何れかと対応していて前記第１の画像データと異なる態様で取得された第２の画像データをファイルとして記録する記録装置であって、
   前記第１の画像データの名称と、前記第２の画像データが前記第１の画像データのどの領域に対応するかを表す情報と、前記第２の画像データが取得されたタイミングを示す情報とを前記第２の画像データとともにファイルとして記録する制御部を具備する記録装置。
2. 前記制御部は、前記第２の画像データがどのような用途で使用されるかを示す情報をさらに前記ファイルに記録する請求項１に記載の記録装置。
3. 前記第２の画像データは、前記第１の画像データの領域毎のコントラスト量、領域毎の距離情報の差異又は領域毎の被写界深度の情報に基づいて被写体の十分な描写が得られていないことが判定された前記領域について取得される請求項１に記載の記録装置。
4. 第１の画像データの取得の前後に、前記第１の画像データの分割された領域の何れかと対応していて前記第１の画像データと異なる態様で取得された第２の画像データをファイルとして記録するための記録方法であって、
   前記第１の画像データの名称と、前記第２の画像データが前記第１の画像データのどの領域に対応するかを表す情報と、前記第２の画像データが取得されたタイミングを示す情報とを前記第２の画像データとともにファイルとして記録することを具備する記録方法。
5. 第１の画像データの取得の前後に、前記第１の画像データの分割された領域の何れかと対応していて前記第１の画像データと異なる態様で取得された第２の画像データをファイルとして記録するための記録プログラムであって、
   前記第１の画像データの名称と、前記第２の画像データが前記第１の画像データのどの領域に対応するかを表す情報と、前記第２の画像データが取得されたタイミングを示す情報とを前記第２の画像データとともにファイルとして記録することをコンピュータに実行させるための記録プログラム。