JP2017005325A - 撮像装置、撮像方法、および、そのプログラム - Google Patents

Abstract

【課題】画像回復データを保持するストレージを接続する撮像装置において、画像回復データの読み出しエラーが発生した場合でも、画像回復を可能にする。【解決手段】レンズマウントに装着された前記レンズに対応する画像回復データのファイルをストレージから検索して読み取る際、読み取りエラーを検出したら、画像回復データ取得部から画像回復データをダウンロードし、ストレージへ画像回復データを書き込む。【選択図】図１

Description

本発明は、撮影画像の画像回復処理を行う画像処理装置に関し、特に撮像装置に画像回復処理のためのデータを保持して画像回復処理を行う撮像装置および方法に関する。

近年、撮影画像を電子データとして保持することが一般的になり、画像処理によって光学系による画像劣化を補正する技術が提案されている。

撮影時に、画像回復フィルタを用いたフィルタ処理による画像の劣化補正を行う場合、画像回復フィルタを作成するための光学伝達関数の情報（以下、画像回復データ）を画素ごとに撮像装置に保持しておく必要がある。しかしながら、画像回復データは、撮像素子と撮像光学系のそれぞれの情報によって算出されるため、非常に膨大な量となる。

このため、画像回復データを再構成するための係数データを保持しておき、レンズの情報などの撮影条件を基に画像回復データを再構成することによって、画像回復データの記憶量を低減させる技術が特許文献１で開示されている。

特開２０１２−７３６９１号公報

ところで、画像回復データは光学系によって異なるため、レンズごとに必要になる。このため、複数のレンズの画像回復データの記憶や、新しいレンズの画像回復データの追加のためには、一定量の容量を持つストレージが必要になる。これは、たとえば撮像装置に一定量の容量を持つストレージ接続しておくことによって実現できる。ストレージに対して、メディアのフォーマット形式であるＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）を適用して管理すれば、画像回復データはファイルとして管理できる。

このように、ストレージを用いれば複数のレンズの画像回復データを記憶したり、新しい画像回復データを追加したりすることができる。

ここで、ストレージに対して繰り返して画像回復データを読み出したり、新しいレンズの画像回復データを追加したりすると、ストレージの記憶域には劣化が生じることになる。撮影開始時や撮影中に、画像回復データの読み出しエラーが突然発生するということが考えられる。読み出しエラーが発生すると、画像回復データが使用できず、画像回復できない。つまり、画像回復できている画像と画像回復できていない画像が混在して生成されていく状態となる。

画像回復できない画像が生成されてしまうときは、ＲＡＷ画像で保存しておくなど、後工程で画像回復データを用いた画像回復ができるようにすればよいが、ユーザの作業が煩雑になるため、できるだけ画像回復できる状態に復帰させることが望ましい。

そこで、本発明は、画像回復データを保持するストレージを接続する撮像装置において、画像回復データが読み出せない間に撮影を行っても、画像回復データを復元して画像回復できる状態になるよう制御する撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
撮像素子と、前記撮像素子から画像データを生成する撮像手段と、画像回復データから画像回復フィルタを生成するフィルタ生成手段と、前記画像データに前記画像回復フィルタを適用して画像回復する画像回復手段と、前記画像データから画像ファイルを生成するファイル生成部と、前記画像ファイルをメディアに記録するメディア記録手段と、レンズマウントに装着されたレンズを識別するレンズ識別部と、前記画像回復データを保持するストレージと、前記識別したレンズに対応した前記画像回復データのファイル名を管理するファイル名管理部と、ネットワークへ接続して前記画像回復データをダウンロードする画像回復データ取得部と、を備え、前記レンズマウントに装着された前記レンズに対応する前記画像回復データのファイルを前記ストレージから検索して前記ストレージから前記画像回復データを読み取る際、読み取りエラーを検出したら前記画像回復データ取得部から前記画像回復データをダウンロードし、前記ストレージへ前記画像回復データを書き込むことを特徴とする。

本発明によれば、画像回復データを保持するストレージを接続する撮像装置において、画像回復データが読み出せない間に撮影を行っても、画像回復データを復元して画像回復できる状態になり、あとから画像回復の作業を行う煩わしさが軽減される。

本発明における撮像装置の構成図である。 本発明で作成する、ストレージ上のＦＡＴおよび画像回復データファイルの保存構成を説明する図である。 本発明における、画像回復データファイルの保存フローを説明する図である。 本発明における、画像回復データファイルの復元フローを説明する図である。 本発明における、画像回復データファイルの復元フローを説明する図である。

［実施例１］
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は本発明の実施形態にかかわる撮像装置１００の概略構成図である。

図１において、１１０は電源であり、撮像装置１００内の各回路に電源を供給する。１７２はカードスロットであり、メモリカード（着脱可能な記録媒体）１７３を差し込める。メモリカード１７３をカードスロット１７２に差し込んだ状態で、メモリカード１７３は、カード入出力部１７１と電気的に接続する。カード入出力部１７１は、メモリカード１７３へデータ転送できる。

なお、本実施形態では記録媒体としてメモリカード１７３を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを使用してもよい。

１０１は被写体の光学像を撮像素子１０３に結像させる撮像レンズで、レンズ駆動部１４１にマウントされ、ズーム制御、フォーカス制御、絞り制御などがおこなわれる。１０２はメカニカルシャッタでシャッタ制御部１４２によって制御される。

撮像素子１０３は、ＣＭＯＳ撮像素子等で構成される光電変換手段である。撮像素子１０３は、撮像レンズ１０１、シャッタ１０２からなる撮像光学系で形成された被写体像を光電変換し、画像信号を出力することができる。

メモリ１３２は、画像処理部１２１の出力画像データの他、ＣＰＵ１０５が各種処理を行なう際にデータを一時的に記憶する。バス１５０には、レンズ駆動部１４１、シャッタ駆動部１４２、ストレージ１４３、撮像素子１０３、画像処理部１２１、フィルタ生成部１２２、ＣＰＵ１３１、電源１１０、メモリ１３２、表示制御装置１５１、メインスイッチ１６１、第１レリーズスイッチ１６２、第２レリーズスイッチ１６３、上下左右選択ボタン１６４、決定ボタン１６５、カード入出力部１７１、通信制御部１８１が接続される。

ＣＰＵ１３１は、撮像素子１０３の画像信号読み出しを制御し、撮像素子１０３〜メモリ１３２の動作タイミングを制御する。表示制御装置１５１は、液晶表示素子からなるＴＦＴ１５２、ＶＩＤＥＯ出力端子１５３、ＨＤＭＩ（登録商標）端子の駆動および制御をする。また、表示制御装置１５１は、メモリ１３２に表示用の画像フォーマットで配置された画像データをそれぞれの表示装置へ出力する。ここでメモリ１３２に配置された表示用画像データ領域をＶＲＡＭと呼ぶ。

ユーザがメインスイッチ１６１をオンにすると、ＣＰＵ１３１は所定のプログラムを実行する。メインスイッチ１６１をオフにすると所定のプログラムを実行し、カメラをスタンバイモードにする。第１レリーズスイッチ１６２は、レリーズボタンの第１ストローク（半押し状態）でオンになり、第２レリーズスイッチ１６３は、レリーズボタンの第２ストローク（全押し状態）でオンとなる。また、ＣＰＵ１３１は、上下左右選択ボタン１６４、設定ボタン１６５の押下と撮像装置１００の動作状態に応じて制御を行なう。

例えば、上下左右選択ボタン１６４と設定ボタン１６５により、グラフィカルユーザインタフェースでの選択と設定を行なうことで、画像回復処理のオンオフを切り替えたり、画像ファイルの保存設定を行うことができる。

１８１はネットワークとの接続を管理して、データの送受信を行う通信制御部である。１８２は通信端子であり、ＬＡＮなどの通信端子を差し込んだ状態で、通信制御部１８１と電気的に接続する。通信制御部１８１は、通信端子１８２を介してネットワークとデータの送受信ができる。

レンズ１０１の画像回復データはストレージ１４３に保存される。フィルタ生成部１２２は、レンズ駆動部１４１、シャッタ駆動部１４２および撮像素子１０３から取得される撮影情報、レンズ情報を照合して、画像回復フィルタの作成に必要な画像回復データをストレージ１４３から読み出し、画像回復フィルタを生成する。画像処理部１２１は、フィルタ生成部１２２が生成したフィルタを用いて被写体画像を補正する。

＜ストレージへの画像回復データ保存＞
次に、図２と図３を参照して、本実施例に係わる画像回復データの保存について説明する。図２は本実施形態で扱うストレージ１４３への画像回復データの保存例である。本実施例では、ＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）ファイルフォーマットを使ってストレージをフォーマットし、画像回復データはレンズごとにファイルとして管理（以下、画像回復データファイル）するものとする。

図２に示すように、ストレージはＦＡＴ、ディレクトリエントリ、クラスタという単位で管理される。レンズ１というレンズＩＤのレンズに対して、“ＬＥＮＳ１．ＯＴＦ”という画像回復データファイルのファイル名を付与し、ＦＡＴフォーマットされたストレージに保存する。ディレクトリエントリにファイル名を記録し、ＦＡＴとクラスタを使って画像回復データファイルの実体を記録する。画像回復データは、同じレンズでも撮影条件ごとに異なるため、撮影条件ごとのデータが含まれる。

画像回復データの読み出しをするときは、ディレクトリエントリからファイルを検索し、ＦＡＴ、クラスタを使ってデータを読み出す。このとき、ＦＡＴ、ディレクトリエントリ、クラスタのいずれかを読み取っているときに読み出せない領域があったり、読み出したデータが不適合であったりする場合は、読み取りエラーとなる。

次に、図２の画像回復データファイル保存構成をつくるステップについて説明する。図３の処理はＣＰＵ１３１が各部を制御することにより実行される、画像回復データファイル保存のフローである。

まずステップＳ３０１にて、レンズ駆動部１４１から、マウントしているレンズのレンズＩＤを取得する。レンズＩＤから画像回復データファイルのファイル名を生成する（ステップＳ３０２）。本実施例ではファイル名を“ＬＥＮＳ１．ＯＴＦ”とする。ステップＳ３０３にて、ファイル名を検索キーにして、ストレージを検索する。このとき図２のディレクトリエントリに格納されているファイル名を検索する。ステップＳ３０４にてファイルが存在するとき、フローを終了する。

ステップＳ３０５にて、通信制御部１８１は通信端子１８２を介して不図示のネットワーク上のデータベースに接続する。ステップＳ３０６にて、データベースにファイル“ＬＥＮＳ１．ＯＴＦ”が存在するか問い合わせる。ステップＳ３０７にてファイルが存在しないとき、フローを終了する。

ステップＳ３０８にて、通信制御部１８１が通信端子１８２を介してデータベースより画像回復データファイルを取得する。通信制御部は画像回復データファイルをメモリ１３２に一時保存しておき、画像回復データファイルの取得が完了したらＣＰＵ１３１がＦＡＴフォーマットに従いストレージ１４３に記録する（ステップＳ３０９）。

このように、画像回復データファイルはレンズごとにファイルとしてストレージ１４３に保存管理される。ファイルとして管理しているので検索や、読み取り、書き込み操作ができる。

このとき、ＦＡＴ、ディレクトリエントリ、クラスタに対する読み取りなどの操作は繰り返し行われることになる。このような繰り返し操作がストレージ１４３に対してなされるため、ストレージ１４３の記憶域には劣化が生じる。このため、撮影開始時や撮影中に、画像回復データの読み出しがエラーになる場合が考えられる。

＜撮影と画像回復データの修復＞
以下、図４ａ、図４ｂを参照して、本実施例に係わる画像回復データの修復処理について説明する。図４ａ、図４ｂの処理はＣＰＵ１３１が各部を制御することにより実行される、画像回復データファイルを修復する方法を説明するフローである。

ステップＳ４０１で、レリーズ操作が行われると、ＣＰＵ１３１はレンズ駆動部１４１よりレンズ１０１のレンズＩＤ、およびレンズ１０１のズームなどの状態を取得する（ステップ４０２）。ステップＳ４０３にて、ストレージ１４３に記憶されたファイルのうちレンズＩＤに対応した画像回復データファイルを検索し、画像回復データを取得する。

ステップＳ４０３にて、ＦＡＴ、ディレクトリエントリ、クラスタを用いた画像回復データファイルの読み取りに際しエラーが発生していた場合、ステップＳ４０５にて撮像装置１００の記録モードをＲＡＷモードに変更し、画像回復データファイルの再取得を開始する（ステップＳ４０６）。

撮像装置１００をＲＡＷモードにするとき、もとからＲＡＷモードである場合はモードが変わらないが、Ｊｐｅｇモードである場合は、Ｊｐｅｇを記録しておく必要があるため、ＲＡＷに加えてＪｐｅｇも保存する。保存されたＪｐｅｇは画像回復していないので、後述の画像回復データファイルの再取得が完了したら、ＲＡＷに対して画像回復処理を行ってＪｐｅｇを生成し上書きする。このときＲＡＷは不要になるため、削除する。また、ＲＡＷモードに変更する場合は、保存する画像ファイルのサイズがＲＡＷの分大きくなるため、記録媒体１７３の空き容量や撮影可能な残り枚数の管理は、ＲＡＷのサイズ分加味したもので行う。

画像回復データファイルの再取得は、先述の、画像回復データファイルの保存フロー（図３）を行う。このとき、読み取りエラーの発生した画像回復データファイルは、今後使われないようにするためリネームしておく。ステップＳ４０７にて、画像取り込みを開始し画像ファイルの生成を行う。

このように、撮影操作を行うたびにストレージ１４３に対する読み取りが繰り返し実施される。よって、図４ａで示すように撮影中であってもエラー検知を行い、もしエラーが検知されたならばＲＡＷモードにするなどして後から画像回復できるようにしておく。また、このときに画像回復データファイルの再取得を開始しておく。

図４ａでは画像回復データファイルの読み取りエラーを検知し、画像回復データファイルの再取得を開始するフローを説明した。図４ｂでは、画像回復データファイルの再取得が完了したときの撮影動作を説明する。

ステップＳ４０８で、レリーズ操作が行われると、ＣＰＵ１３１はレンズ駆動部１４１よりレンズ１０１のレンズＩＤ、およびレンズ１０１のズームなどの状態を取得する（ステップＳ４０９）。ステップＳ４１０にて、画像回復データファイルの再取得が完了していたら、ステップＳ４１１にて撮像装置１００の記録モードをＲＡＷモードから通常モードに戻す。ステップＳ４１２で、ＲＡＷモードで撮影されたＲＡＷに対して画像回復処理を開始する。ＲＡＷに対して画像回復処理を行ってＪｐｅｇを生成したら、画像回復されていないＪｐｅｇに上書き保存し、ＲＡＷの削除を行う。

ステップＳ４１３にて、ストレージ１４３に記憶されたファイルのうちレンズＩＤに対応した画像回復データファイルを検索し、画像回復データを取得する。ステップＳ４１４にて、画像取り込みを開始し、画像ファイルの生成を行う。

このように、ストレージ１４３に保存された画像回復データが取得できなくなったとき、画像回復データファイルの再取得を開始し、画像回復データファイルが修復され次第、もともとの記録モードで画像回復が出来る状態に復帰する。また、画像回復データファイルの再取得中に撮影したＲＡＷを自動的に画像回復する。これらの処理を撮像装置１００が行うことにより、ユーザがあとから画像回復の作業を行う煩わしさが軽減される。

［実施例２］
実施例１では、撮影中に画像回復データファイルの読み取りエラーを検知し、画像回復データファイルを修復し、画像回復していないＪｐｅｇに対してＲＡＷから画像回復処理して上書き保存を行う方法を説明した。

実施例１の方法を用いても、画像回復処理ができない場合がある。すなわち、ＲＡＷに対して画像回復を行ってＪｐｅｇを上書き保存する前にユーザが電源１１０を切るなどの操作を行うと、画像回復されない状態で撮像装置１００の電源が切られる。

このような場合、電源１１０が入ったときに、画像回復されていない画像ファイルが残っていたら画像回復を再開すればよい。画像回復処理を行ってＪｐｅｇを上書き保存し、ＲＡＷの削除を行う工程を順次行う。

また、画像回復されない状態で撮像装置１００から通信制御部１８１を通して画像ファイルを不図示の外部ＰＣなどに転送することが考えられる。このような場合、画像ファイルを転送する前に画像回復処理を行ってもよいし、ＲＡＷを転送してＰＣ側で画像回復処理を行ってもよい。

このように、画像回復データファイルの修復が完了し、ＲＡＷに対して画像回復処理を行う前に撮像装置１００が電源オフの状態になったら、撮像装置１００が電源オンになり次第、画像回復処理を自動的に開始する。また、画像回復データファイルの修復が完了し、ＲＡＷに対して画像回復処理を行う前に画像ファイルに対して操作を開始する場合、撮像装置１００が自動的に画像回復処理を行ってから画像ファイルの操作を行う。これらの処理を撮像装置１００が行うことにより、ユーザがあとから画像回復の作業を行う煩わしさが軽減される。

本発明に係る撮像装置は、実施例１、実施例２で説明した撮像装置１００に限定されるものではない。本発明に係る撮像装置は、例えば、複数の装置から構成されるシステムにより実現することも可能である。

さらに、実施例１、実施例２において説明した構成及び機能は、コンピュータで実行可能なコンピュータプログラムによって実現することもできる。この場合、当該コンピュータプログラムは、コンピュータ読取可能な記録媒体から当該コンピュータによって読み出され、当該コンピュータで実行される。またこの場合、当該コンピュータ読取可能な記録媒体には、ハードディスク装置、光ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＲＯＭ等を用いることができる。なお、当該コンピュータプログラムは、通信インターフェースを介して外部装置から当該コンピュータに提供され、当該コンピュータで実行されるようにしてもよい。

１００ 撮像装置本体、１０１ 撮像レンズ、１０２ シャッタ、１０３ 撮像素子、
１１０ 電源、１２１ 画像処理部、１３１ ＣＰＵ、１３２ メモリ、
１４１ レンズ駆動部、１４２ シャッタ駆動部、１４３ ストレージ、１５０ バス、
１５１ 表示制御装置、１５２ ＴＦＴ、１５３ ＶＩＤＥＯ出力端子、
１５４ ＨＤＭＩ（登録商標）端子、１６１ メインスイッチ、
１６２ 第１レリーズスイッチ、１６３ 第２レリーズスイッチ、
１６４ 上下左右選択ボタン、１６５ 設定ボタン、１７１ カード入出力部、
１７２ カードスロット、１７３ メモリカード、１７４ カードスロット、
１８１ 通信制御部、１８２ 通信端子

Claims (3)

1. 撮像素子と、
   前記撮像素子から画像データを生成する撮像手段と、
   画像回復データから画像回復フィルタを生成するフィルタ生成手段と、
   前記画像データに前記画像回復フィルタを適用して画像回復する画像回復手段と、
   前記画像データから画像ファイルを生成するファイル生成部と、
   前記画像ファイルをメディアに記録するメディア記録手段と、
   レンズマウントに装着されたレンズを識別するレンズ識別部と、
   前記画像回復データを保持するストレージと、
   前記識別したレンズに対応した前記画像回復データのファイル名を管理するファイル名管理部と、
   ネットワークへ接続して前記画像回復データをダウンロードする画像回復データ取得部と、
   を備え、
   前記レンズマウントに装着された前記レンズに対応する前記画像回復データのファイルを前記ストレージから検索して前記ストレージから前記画像回復データを読み取る際、読み取りエラーを検出したら前記画像回復データ取得部から前記画像回復データをダウンロードし、前記ストレージへ前記画像回復データを書き込むことを特徴とする撮像装置。
2. 前記ファイル生成部はさらに、画像回復データ取得部から画像回復データをダウンロードし、ストレージへ画像回復データを書き込むまでの間に撮影操作が行われると、画像回復していないＲＡＷファイルを生成することを特徴とする請求項１に記載の撮像装置。
3. 前記画像回復手段はさらに、画像回復データ取得部から画像回復データをダウンロードし、ストレージへ画像回復データを書き込む処理が完了したら、前記画像回復していないＲＡＷファイルに対して画像回復処理を適用して画像ファイルを生成し、ＲＡＷファイルを削除することを特徴とする請求項１に記載の撮像装置。