JP2017224915A - 撮像装置、再生装置および画像処理装置 - Google Patents

Abstract

【課題】記録画像時に使用した装着レンズが画像ごとに異なる場合でも、各々の画像で必要な画像補正を行ってから画像を合成して１つの動画を記録できるようにする撮像装置を提供すること。【解決手段】レンズユニットが着脱可能であり、撮影された画像に光学補正値を用いた画像処理を適用することにより、撮影に用いたレンズユニットの光学特性が画像に与える影響を補正する光学補正機能を有する撮像装置であって、装着されたレンズユニットから、画像処理に使用するための光学補正パラメータを取得する取得手段と、撮像装置内の記録領域から、再生用の静止画像を取得する画像取得手段と、前記画像から、記録する際に使用した補正パラメータなどの記録情報を確認する画像確認手段と、前記レンズユニットから取得されたレンズ情報と前記画像から得られた記録情報を比較する比較手段と、を有し、前記比較結果に応じて、画像補正に使用する補正パラメータを決定し、前記再生用の画像に補正を実施することを特徴とする。【選択図】図４

Description

本発明は、交換レンズが利用可能な撮像装置において、画像再生時に複数の静止画から一つの動画を記録する際の画像処理技術に関する。

交換レンズが利用可能な撮像装置は、ユーザが撮影目的によってレンズを交換できるため、同じ撮像装置で記録した複数の画像の中に、異なるレンズで撮影されたことにより異なる光学補正パラメータで補正された画像が混在する。このように異なるレンズで撮影された画像を合成して一つの動画を記録する場合、光学補正パラメータの補正の効き具合はレンズにより異なるため、同じ動画に含まれる画像の中で画像補正のレベルに一貫性を持たせることが出来ず、動画再生時の見栄えが良くなかった。

特許文献１には、装着されたレンズユニットが第１のレンズユニットの場合は第１の光学パラメータを、前記装着されたレンズユニットが第２のレンズユニットの場合、第２のレンズユニットが有する撮影倍率を変化させる機構の位置情報を含む第２の光学パラメータを取得し、撮影された画像に対し、光学補正値を用いた画像処理を適用することにより、当該撮影された画像を補正する技術が開示されている。光学パラメータには、焦点距離、撮影距離、絞り値を使用し、異なるレンズユニットを使用した時の撮影倍率を換算し、光学補正値を用いて画像処理を行うものである。

特開２０１４−０２３０７０号公報

ところが、特許文献１では、レンズユニットを交換した時のレンズの光学特性の差異が撮影倍率の換算に限定されているため、撮影倍率以外の光学補正、例えば魚眼レンズで撮影した時の歪曲収差補正には対応しておらず、不十分であった。さらにまた、光学パラメータの補正処理は画像記録時に限定されているため、記録済みの静止画像を再生する際の画像補正には適用できなかった。

本発明は、記録画像時に使用した装着レンズが画像ごとに異なる場合でも、各々の画像で必要な画像補正を行ってから画像を合成して１つの動画を記録できるようにする撮像装置、再生装置および画像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
レンズユニットが着脱可能であり、撮影された画像に光学補正値を用いた画像処理を適用することにより、撮影に用いたレンズユニットの光学特性が画像に与える影響を補正する光学補正機能を有する撮像装置であって、
装着されたレンズユニットから、画像処理に使用するための光学補正パラメータを取得する取得手段と、
撮像装置内の記録領域から、再生用の静止画像を取得する画像取得手段と、
前記画像から、記録する際に使用した補正パラメータなどの記録情報を確認する画像確認手段と、
前記レンズユニットから取得されたレンズ情報と前記画像から得られた記録情報を比較する比較手段と、
を有し、
前記比較結果に応じて、画像補正に使用する補正パラメータを決定し、前記再生用の画像に補正を実施することを特徴とする。

本発明の交換レンズが利用可能な撮像装置によれば、装着しているレンズの光学特性に応じて個々の画像に画像処理変換を施すことにより、装着しているレンズに最適な動画を記録することができる。

本実施例のレンズ交換型撮像装置の構成を示すブロック図 本実施例のレンズＡ、レンズＢ装着時の光学特性および撮影画像の一例を示す図 本実施例の装着レンズの光学特性に応じた補正処理の一例を示す図 本実施例のフローチャートを説明するための図 本実施例のレンズ補正データの管理テーブルの一例を示す図 複数の画像データを合成して１つの動画を記録する、アルバム動画の説明図 レンズＡ装着時にアルバム動画を作成した時の、画像補正前、画像補正後の説明図

以下、図面を参照して本発明の実施例を詳細に説明する。この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。

（実施例１）
以下、本発明の例示的な実施形態について図面を参照して説明する。

図１は本発明の第１の実施形態に係る撮像装置の一例としてのレンズ交換式デジタルカメラシステムの機能構成例を示すブロック図である。

カメラシステムは撮像装置１０と、撮像装置１０に着脱可能なレンズユニットである交換レンズ１００とから構成される。マウント１は、撮像装置１０に対して交換レンズ１００を着脱可能に装着するための機構であり、撮像装置１０から交換レンズ１００に電源を供給したり、撮像装置１０と交換レンズ１００との間で相互に通信したりするための電気的接点を備える。マウント１は、撮像装置１０が有する部分と交換レンズ１００が有する部分とに分かれるが、図１では便宜上まとめて記載している。

イメージセンサ（撮像素子）１１は複数の画素を有する光電変換デバイスである。イメージセンサ１１は、交換レンズ１００内の撮像レンズ１０１により形成された被写体像を各画素で光電変換して被写体像に対応したアナログ電気信号を出力する。

Ａ／Ｄ変換部１２は、イメージセンサ１１から出力されたアナログ電気信号をデジタル信号に変換する。

画像処理部１３は、Ａ／Ｄ変換部１２の出力するデジタル信号に対して各種の画像処理を適用し、画像データを生成する。画像処理部１３は、撮像レンズ１０１の光学特性が画像に与える影響を画像処理によって補正する光学補正機能を提供する光学補正部１３０と、画素補間処理や輝度信号処理、色信号処理など、いわゆる現像処理を行うその他画像処理部１３１とを有する。画像処理部１３にて生成された画像データは表示部１４に表示されたり、メモリカードなどの記録媒体１５に記録されたりする。

メモリ１６は、画像処理部１３の処理バッファや、後述するカメラ制御部１８が実行するプログラムの記憶装置として利用される。メモリ１６は、光学補正部１３０が使用する光学補正値が定義された後述の光学補正データの記憶装置や、撮像装置１０が表示部１４に表示するメニュー画面などのＧＵＩデータの記憶装置としても用いられる。

操作入力部１７は、電源のオン／オフを行うための電源スイッチ、画像の記録を開始させる撮影スイッチおよび、各種メニューの設定を行うための選択／設定スイッチ等、ユーザがカメラ１０に指示を入力するための入力デバイス群である。

カメラ制御部１８は、マイクロコンピュータを有し、メモリ１６に記憶されたプログラムを実行し、画像処理部１３の制御や交換レンズ１００との通信制御など、カメラシステム全体の動作制御を行う。

交換レンズ１００が有するレンズ駆動部１０２は、レンズ制御部１０３の制御に従い、撮像レンズ１０１のアクチュエータやモータを駆動する。撮像レンズ１０１のアクチュエータやモータは、撮像レンズ１０１が有するフォーカスレンズ、ズームレンズ、絞りおよび防振レンズなどを移動または動作させる。レンズ制御部１０３はマイクロコンピュータを有し、カメラ制御部１８からマウント１を通じて受信した制御信号に応じてレンズ駆動部１０２を制御する。メモリ１０４は、レンズ制御部１０３が用いる各種データの記憶装置として用いられる。

図６は複数の画像データを合成して１つの動画を記録する、アルバム動画の説明図である。

まず始めに静止画１が指定された場合、５秒間の動画として記録する。画像をただ表示しても良いし、フェードイン／フェードアウトしながら表示しても良い。次に静止画２が指定された場合、さらに５秒間の動画を追加記録する。次に動画１が指定された場合、動画を追加記録する。このように、複数の画像を合成して１つのアルバム動画を記録する。

図４は本実施例における画像処理のフローチャートを示す。

撮像装置１０の電源起動時、もしくは撮像装置１０電源起動後にレンズを交換した時に、装着レンズ１００を検知して（Ｓ４０１）、レンズ情報を取得する（Ｓ４０２）。装着レンズ１００のレンズ情報とは、レンズ名、Ｆ値、焦点距離、画角、像高情報、歪曲収差情報、周辺光量情報、色にじみ情報、ズームレンズで有ればズーム位置、などを指す。

次に、撮像装置１０の記録媒体１５もしくはメモリ１６から画像を取得する（Ｓ４０３）。 画像の取得に成功すれば次の処理Ｓ４０５に進み、画像の取得に失敗すれば、これ以上処理する画像が無いと判断しフローを終了する（Ｓ４０４）。

次に、取得した画像のヘッダ情報もしくはカメラ１０内の画像管理情報から画像情報を確認する（Ｓ４０５）。

次に、前記確認した画像情報に含まれるレンズ情報が、装着レンズと一致するかどうかを比較し（Ｓ４０６）、一致するなら画像補正を実施せず（Ｓ４０７）、一致しなければ画像補正を実施して（Ｓ４０８）、アルバム動画に画像を追加して合成し（Ｓ４０９）、次の画像を取得する処理に戻る（Ｓ４０９）。

本実施例では、周辺光量特性が異なるレンズを装着して画像を撮影した時の撮影画像への影響と、周辺光量補正の例を挙げる。なお、前記画像補正は、周辺光量補正に限らず、光学補正に絡むものであれば、エッジ強調処理、明るさ補正、倍率色収差補正、色にじみ補正、色温度補正などでも適用可能である。

図２はレンズＡ、レンズＢ装着時の光学特性および撮影画像の一例を示す。

補正対象の画像データの各画素について、まず画像中心からの距離である像高を求め、補正曲線から像高に対応する光量を得る。次に光量の逆数に応じたゲインを画素値に適用する。これらの処理を画像データの全画素に対して実行することで周辺減光の補正ができる。

レンズＡを装着して撮影した画像Ａ１、画像Ａ２、画像Ａ３は、レンズの中心と周辺で光量差が少ないため、周辺光量落ちは小さい。

一方、レンズＢを装着して撮影した画像Ｂ１、画像Ｂ２、画像Ｂ３は、レンズの中心と周辺で光量差が大きいため、周辺光量落ちがレンズＡに比べて大きくなる。なお、撮影時に光を取り込んでから画像を記憶媒体１５へと記録するまでの間に、光学補正部１３０で交換レンズ１００の特性に合わせた光学補正が行われて周辺光量落ちが軽減されるが、ノイズが多くなることを考慮して補正をしない。

図３は図２で説明した２つの交換レンズ１００を互いに装着し、記録媒体１５に記録した画像を画像補正しながら合成し、アルバム動画を作成する際の例を示す。

レンズＡ装着時は、レンズＡで撮影した画像は画像補正を行わず、レンズＢで撮影した画像は、レンズＡの光学特性に合わせるよう、レンズＢで撮影した画像の光学特性をゲインアップ補正してから合成し、アルバム動画を作成する。レンズＡに対して周辺光量落ちの目立つレンズＢで撮影した画像を、ゲイン補正したＢ１’、Ｂ２’、Ｂ３’に変更することで、アルバム動画の見栄えを向上している。
＞画像Ａ１⇒画像Ｂ１’⇒画像Ａ２⇒画像Ｂ２’⇒画像Ａ３⇒画像Ｂ３’
レンズＢ装着時は、レンズＢで撮影した画像は画像補正を入行わず、レンズＡで撮影した画像は、レンズＢの光学特性に合わせるよう、レンズＡで撮影した画像の光学特性をゲインダウン補正してから合成し、アルバム動画を作成する。レンズＢに対して周辺光量落ちが目立たたないレンズＡで撮影した画像を、ゲイン補正したＡ１’、Ａ２’、Ａ３’に変更することで、アルバム動画の見栄えを向上している。
＞画像Ａ１’⇒画像Ｂ１⇒画像Ａ２’⇒画像Ｂ２⇒画像Ａ３’⇒画像Ｂ３
図７は図３でレンズＡ装着時にアルバム動画を作成した時の、画像補正前（画像を補正しなかった場合：画像Ｂ１、画像Ｂ２，画像Ｂ３）と画像補正後（画像を補正した場合：画像Ｂ１’、画像Ｂ２’，画像Ｂ３’）の差を説明する説明図を示す。

画像補正前に比べ、画像補正後はアルバム動画の見えが向上していることが分かる。

図５は本実施例のレンズ補正データの管理テーブルのテーブル構造の一例を示す。

本実施形態の撮像装置１０には、複数の種類の交換レンズ１００が装着されうる。交換レンズの「種類」と、光学補正値を特定するために必要な光学パラメータの種類とは、予め対応付けて例えばメモリ１６に記憶しておくことができ、図５の例では３種類のレンズＡ、レンズＢ、レンズＣを登録している。

本実施形態においてレンズＡでは、光学補正値を特定するために必要な光学パラメータが、焦点距離（単位はｍｍ）、撮影距離（単位はｃｍ）、および絞り値のそれぞれを特定可能な情報である交換レンズである。焦点距離を特定可能な情報は、例えば焦点距離の値や、ズームレンズの位置である。撮影距離を特定可能な情報は、例えば撮影距離の値や、フォーカスレンズの位置である。絞り値を特定可能な情報は、例えば絞り値や絞り値に対応する数値である。

一方、レンズＢは、光学補正値を特定するために必要なパラメータが、絞り値と撮影倍率のそれぞれを特定可能な情報である交換レンズである。撮影倍率を特定可能な情報は、例えば撮影倍率の値や、撮影倍率を制御する光学部材の位置情報である。

マクロレンズは交換レンズの一例である。マクロレンズの撮影倍率は、倍率変更用リングの回転によって位置が変化する光学部材によって変化する。そのため、撮影倍率を特定可能な情報として、倍率変更用リングのような撮影倍率変更機構の位置情報を、撮影倍率を制御する光学部材の位置情報として用いてもよい。

メモリ１６は、複数の交換レンズの機種について光学補正データを保持する、図５に示すような構造の光学補正データテーブルを保持している。テーブルの先頭に設けられたアドレス情報領域には、交換レンズ１００の機種識別情報であるレンズＩＤと、対応する光学補正データが格納された先頭アドレスを特定するための情報が記録されている。補正データ領域には、各レンズＩＤに対応した光学補正データが順次格納されている。まず、光学補正部１３０は、撮影時に使用された交換レンズのＩＤをアドレス情報領域で検索し、アドレス情報領域で得られたアドレスから格納された光学補正データを取得する。

なお、焦点距離や撮影距離のように、実質的に連続値を取りうる値の情報については、所定の離散値を配列値として記憶しておくことができる。

レンズＡについては、アドレス情報領域に、これら３つの光学パラメータの各組み合わせと、その組み合わせに対応する光学補正値の格納アドレスを特定するための情報が設定されている。格納アドレスは、補正値領域内のアドレスである。補正値領域には、光学パラメータの各組み合わせに対応した光学補正値が順次格納されている。

従って、撮影時に用いられた第１の光学パラメータを用いてアドレス情報領域を参照し、補正値領域から光学補正値を取得することができる。

レンズＢについては、アドレス情報領域に、これら２つの光学パラメータの各組み合わせと、その組み合わせに対応する光学補正値の格納アドレスを特定するための情報が設定されている。格納アドレスは、補正値領域内のアドレスである。補正値領域には、光学パラメータの各組み合わせに対応した光学補正値が順次格納されている。

従って、撮影時に用いられた第２の光学パラメータを用いてアドレス情報領域を参照し、補正値領域から光学補正値を取得することができる。

このように、レンズ種別およびレンズの機種（ＩＤ）に応じて、光学補正量を特定するために必要な光学パラメータの組み合わせごとに光学補正値を記憶しておく。

なお、アドレス情報領域に記憶する光学パラメータの組み合わせについても離散的な組み合わせとしておき、記憶されていない組み合わせについては、近い値の組み合わせに対応する複数の補正値を補間して光学補正値を生成してもよい。

このように、本実施形態によれば、光学補正値の特定に必要な光学パラメータの組み合わせが異なるレンズユニットの種類を判別し、レンズユニットの種類に応じた適切な光学パラメータを取得し、光学補正値を特定する。そのため、レンズユニットの種類によらず共通した種類の光学パラメータの組み合わせから光学補正値を求めていた従来技術と比較して、精度の良い光学補正を実現することができる。

なお、本実施形態では説明及び理解を容易にするため、判別するレンズユニット（または光学補正値を特定するために必要な光学パラメータの組み合わせ）が２種類である場合について説明した。

しかし、レンズユニットの種類や光学パラメータの組み合わせは２種類の場合に限定されず、より多くの種類に対しても同様に適用可能である。例えば、本実施形態では周辺減光を例に周辺光量補正による画像処理を説明したが、魚眼レンズや広角レンズなどにおける樽型歪補正に適用しても良い。レンズＡを魚眼レンズ、レンズＢを標準レンズにした場合、レンズＡ装着時には、レンズＢで撮影したＢ１，Ｂ２，Ｂ３の画像を、レンズＡの歪に合わせるよう補正し、レンズＢ装着時には、レンズＡで撮影したＡ１，Ａ２，Ａ３の画像を、レンズＢの歪に合わせるよう補正する。

以上、本発明を特定の構成を有する撮像装置に適用した実施形態を示したが、本発明は特許請求の範囲の記載範囲内で種々の変形及び変更が可能である。

本実施例では、再生用の静止画像を補正して得られた複数の画像を、一つの動画にして記録することを説明したが、静止画像だけでなく動画を含めることも可能である。

本実施例の再生処理を実行することができるものであれば、本発明を適用することができる。例えば、コンピュータ、タブレット型端末、スマートフォン、携帯電話、テレビ、等であっても良い。また、本実施例の削除処理をコンピュータに実行させる為のプログラムも本発明の思想に含まれる。

（実施例２）
実施例２では、撮像装置内の記録領域から、再生用の静止画像を取得する画像取得手段において、装着しているレンズの特性に応じて、選抜する画像を変更するものである。例えば、撮像装置内の記録領域に存在する再生用の画像から、装着しているレンズと同じ特性の画像だけを選抜して、アルバム動画を合成することを可能とするものである。また、撮像装置内の記録領域に存在する再生用の画像に、装着しているレンズと同じ特性の画像が、数が少ない場合、装着しているレンズと同じ特性の画像を優先して選抜するものとし、追加する分は、異なる特性の画像に画像変換処理をかけたものを選抜し、アルバム動画を合成するものとする。アルバム動画再生時において、装着しているレンズの特性に応じた効果をアルバム動画全体にかけられるようにする。装着しているレンズの特性に応じて画像処理変換をかけ、効果の掛け具合を変えることができるようにする。

１ マウント、１０ 撮像装置、１１ センサ、１２ Ａ／Ｄ、１３ 画像処理部、
１４ 表示部、１５ 記録媒体、１６ メモリ、１７ 操作入力部、
１８ カメラ制御部、１００ 交換レンズ、１０１ 撮像レンズ、
１０２ レンズ駆動部、１０３ レンズ制御部、１０４ メモリ、１３０ 光学補正部、
１３１ その他画像処理部

Claims (7)

1. レンズユニットが着脱可能であり、撮影された画像に光学補正値を用いた画像処理を適用することにより、撮影に用いたレンズユニットの光学特性が画像に与える影響を補正する光学補正機能を有する撮像装置であって、
   装着されたレンズユニットから、画像処理に使用するための光学補正パラメータを取得する取得手段と、
   撮像装置内の記録領域から、再生用の静止画像を取得する画像取得手段と、
   前記画像から、記録する際に使用した補正パラメータの記録情報を確認する画像確認手段と、
   前記レンズユニットから取得されたレンズ情報と前記画像から得られた記録情報を比較する比較手段と、
   を有し、
   前記比較結果に応じて、画像補正に使用する補正パラメータを決定し、前記再生用の画像に補正を実施することを特徴とする撮像装置。
2. 前記再生用の静止画像を補正して得られた複数の画像を、一つの動画にして記録することを特徴とする請求項１に記載の撮像装置。
3. 前記再生用の複数の画像は、静止画だけでなく、動画も含めることができることを特徴とする請求項１に記載の撮像装置。
4. 前記レンズユニットから取得されたレンズ情報とは、レンズ名、Ｆ値、焦点距離、画角、像高情報、歪曲収差情報、周辺光量情報、色にじみ情報、ズームレンズのズーム位置、を含むことを特徴とする請求項１に記載の撮像装置。
5. 前記画像から得られた記録情報は、画像のヘッダもしくは撮像装置内の画像管理情報に含まれ、画像を記録した時に使用されたレンズ情報および補正パラメータを含むことを特徴とする請求項１に記載の撮像装置。
6. 前記画像処理に使用するための光学補正パラメータとは、エッジ強調処理、明るさ補正、倍率色収差、周辺光量の歪曲補正、色にじみ補正、色温度補正を含むことを特徴とする請求項１に記載の撮像装置。
7. 前記画像取得手段において取得する画像は、装着したレンズユニットに応じて選抜することを特徴とする請求項１に記載の撮像装置。