JP2019068306A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】 撮影時にストロボを仮想光源とするリライティング処理を行うことによってライブビューでストロボの効果を確認することを可能とする技術を提供する。【解決手段】 被写体を撮像する撮像手段と、前記撮像手段が撮像して得られた画像に対して仮想的なストロボからの光照射の影響を付与する画像処理を施して発光画像を生成する画像処理手段と、前記画像処理手段によって生成された発光画像をライブビュー表示する表示手段と、を備えることを特徴とする撮像装置である。【選択図】 図１

Description

ライブビュー表示する画像として仮想的にストロボ照射の影響を付与した画像を生成する技術に関する。

従来、ストロボ撮影においてストロボの位置や向き、光量が適切で無い場合、撮影を行ったときに意図通りに照明が当たった画像を得られないことがある。ストロボ光の当たり具合を確認するためにはストロボを発光させる必要があるが、ストロボの設定を変えながら常にストロボ光の当たり具合を確認したくても、ストロボをプリ発光し続けるのは難しい。

また、撮影場所の環境に依っては何度もストロボ撮影を繰り返すのがはばかられる場合がある。これに対し、特許文献１では複数のストロボを用いた多灯撮影において、事前にそれぞれのストロボのみを用いて光量を変えながら複数枚ストロボ撮影した画像を用意しておき、異なるストロボで撮影した撮影画像を重み付け合成する。これにより複数のストロボから光が当たった時のシミュレーション画像を生成することができる。

特開２００２−２７３１６号公報

しかしながら、上記特許文献１では、ストロボを用いて事前に撮影しておく必要がある。また、その事前撮影に手間がかかるうえ、ストロボを何度も発光させるため電力も消費してしまう。さらに、実際の撮影時にストロボの向きが変わった場合や、被写体が少しでも動いた場合には、シミュレーション画像を正しく生成できないという問題がある。

そこで本発明は、上記の問題点に鑑み、ストロボを仮想光源とするリライティング処理を行うことにより、ライブビューでストロボの効果を確認することを可能とする技術を提供する。

本発明の１実施態様によれば、被写体を撮像する撮像手段と、前記撮像手段が撮像して得られた画像に対して仮想的なストロボからの光照射の影響を付与する画像処理を施して発光画像を生成する画像処理手段と、前記画像処理手段によって生成された発光画像をライブビュー表示する表示手段と、を備えることを特徴とする撮像装置である。

本発明によれば、ストロボを仮想光源とするリライティング処理を行うことにより、ライブビューでストロボの効果を確認することが可能となる。

本発明の第１実施形態の撮像装置１００の構成例を示すブロック図である。 第１実施形態における仮想光源の照射による反射を説明する図である。 第１実施形態における動作を説明するフローチャートである。 第１実施形態における撮像装置と被写体とストロボの位置関係の例を示す図である。 本発明の第２実施形態の撮像装置５００の構成例を示すブロック図である。 第２実施形態における動作を説明するフローチャートである。 第２実施形態における撮像装置と被写体とストロボの位置関係の例を示す図である。 本発明の第３実施形態の撮像装置８００の構成例を示すブロック図である。 第３実施形態における動作を説明するフローチャートである。 第３実施形態における撮像装置の表示部に表示される画像の例を示す図である。

（第１の実施形態）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、本発明をデジタルカメラに適用した実施形態を用いて説明するが、デジタルカメラは一例であって、本発明は他の撮像装置においても適用することができる。

第１の実施形態は、カメラに内蔵されたストロボを用いたストロボ撮影において、仮想的なストロボからの光照射の影響を付与する画像処理（リライティング処理）を施してライブビュー画像を生成して表示する形態を述べる。

まず、図１を参照して、第１実施形態における撮像装置１００の構成について説明する。

撮像装置１００は、レンズ光学系部品１０１と撮像素子１０２とＡ／Ｄ変換部１０３と画像信号処理部１０４と一時記憶メモリ１０５と被写体検出部１０６と距離分布生成部１０７とリライティング処理部１０８とストロボ光量取得部１０９とＣＰＵ１１１と表示部１１０とストロボ１１２とバス１１３によって構成されている。

ここで、Ａ／Ｄ変換部１０３、画像信号処理部１０４、一時記憶メモリ１０５、被写体検出部１０６、距離分布生成部１０７、リライティング処理部１０８、ストロボ光量取得部１０９、ＣＰＵ１１１、表示部１１０は、バス１１３を介して接続されている。

レンズ光学系部品１０１は、ズームレンズやフォーカシングレンズ、絞りなどによって構成される。

撮像素子１０２は、レンズ光学系部品１０１にて結像された被写体像を光電変換して画像信号を生成し、生成した画像信号を出力する。また、撮像素子１０２は光電変換部に光を効率的に集光するためのマイクロレンズを備える。

通常の撮像素子は１つのマイクロレンズに対して１つのフォトダイオードを有しているが、本実施形態の撮像素子１０２は１つのマイクロレンズに対してフォトダイオードが２つ配置された構造を有している。このように２つのフォトダイオードが１つのマイクロレンズを共有する構造にすることで瞳分割像（左視点画像、右視点画像）を取得することができる。

Ａ／Ｄ変換部１０３は、撮像素子１０２が出力する画像信号をアナログ信号からデジタル信号に変換する。

画像信号処理部１０４は、Ａ／Ｄ変換部１０３によりデジタル信号に変換された画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの各種信号処理を行う。

一時記憶メモリ１０５は、画像信号処理部１０４で信号処理された画像やリライティング処理部１０８で生成されるリライティング画像、後述する各処理の中間データ等を一時的に記憶する。

被写体検出部１０６は、画像信号処理部１０４で処理した画像を一時記憶メモリ１０５から読み出し、画像中の人物や動物等の被写体から主要被写体の検出を行う。

距離分布生成部１０７は、撮像素子１０２で取得した瞳分割画像（左視点画像、右視点画像）を用いて、ステレオマッチング処理により２つの画像の位相差を算出する。ステレオマッチング処理による位相差検出は、特開２００９−１６５１１５に記載されており、詳細の説明は省略する。算出された位相差を用いて、撮像素子１０２から被写体までの距離の分布情報である距離分布を生成する。

リライティング処理部１０８は、画像処理手段として機能し、画像信号処理部１０４で信号処理された画像に対して仮想的に配置した光源からの光照射の影響を付加するリライティング処理を行う。

ストロボ光量取得部１０９は、ＣＰＵ１１１で設定しているストロボ１１２の光量を取得する。

表示部１１０は、表示手段として機能し、画像信号処理部１０４やリライティング処理部１０８によって処理された画像を一時記憶メモリ１０５から読み出して表示する。

ＣＰＵ１１１は、上記で説明した各種処理の制御を行っている。

ストロボ１１２は、内蔵ストロボなどの光源装置であり、撮像装置１００に固定して設けられている。ストロボ１１２は、照射角内において光度（単位時間当たりに通過する光量の単位立体角内の密度）が均一な点光源であるとする。

次に、リライティング処理部１０８で行うリライティング処理について説明する。

まず、リライティング処理部１０８は、距離分布生成部１０７が生成した被写体までの距離情報を用いて法線マップを算出する。被写体距離情報から法線マップを生成する方法について、図２を用いて説明する。

図２は、カメラ撮影座標と被写体の関係を示す図である。

図２において、２０１は被写体を示し、２０２は設置した仮想光源の位置を示している。例えば、図２に示すようにある被写体２０１に対して、撮影画像の水平方向の差分ΔＨに対する距離Ｄの差分ΔＤから勾配情報を算出し、そこから被写体の単位法線ベクトルＮを算出することが可能である。これと同様に撮影画像の各画素に対応して法線情報を法線マップとして生成することが出来る。

次に被写体中の各画素における仮想光源による光の照度を算出する。ここでは、一例として仮想光源は光度（単位時間当たりに通過する光量の単位立体角内の密度）があらゆる方向において均一である点光源であるとする。

撮像装置１００で撮影された撮影画像の水平画素位置Ｈ１（垂直画素位置は説明の簡略化のため省略）において、法線マップから取得した被写体単位法線ベクトルＮ１と、仮想光源２０２と被写体２０１の距離Ｋ１、仮想光源２０２から被写体２０１の水平画素位置Ｈ１までの単位方向ベクトルＬ１、仮想光源の光量αに基づき照度を算出する。

具体的には、光量αに比例し、距離Ｋ１の二乗に反比例し、仮想光源による光の被写体への入射角を考慮して被写体単位法線ベクトルＮ１と光源方向単位ベクトルＬ１の内積に比例するように、被写体２０１の水平画素位置Ｈ１の照度を算出する。同様に被写体中の各画素における照度を算出できる。

算出した照度と予め取得しておいた仮想光源の色を制御するパラメータから設置した仮想光源が被写体に拡散反射して撮像装置１００の光学系に入射する成分を算出し、仮想光源による被写体反射成分を元の撮影画像のＲＧＢデータに加算することにより、仮想光源の影響を付加した画像信号（発光画像）を生成する。

以上が、リライティング処理部１０８で行うリライティング処理である。

次に、図３を用いて、撮像装置１００で被写体画像を取得し、リライティング処理を行った画像をライブビュー表示するフローを説明する。

ステップＳ３０１において、レンズ光学系部品１０１と撮像素子１０２で被写体をキャプチャし、Ａ／Ｄ変換部１０３と画像信号処理部１０４で各種信号処理を行った後、入力画像として一時記憶メモリ１０５に記憶する。

ステップＳ３０２において、ＣＰＵ１１１で、ストロボ１１３が撮影時に発光する設定になっているかを判定する。ストロボの設定情報を参照し、ストロボを発光する設定になっている場合はステップＳ３０３へ進む。またストロボが非発光の設定になっている場合はステップＳ３０８へ進む。

ステップＳ３０３において、被写体検出部１０６で、入力画像に対して主要な被写体の検出を行う。被写体検出部１０６は、画像中から人物の顔などの画像パターンをテンプレートマッチングによって検出する。なお、被写体検出部１０６は１フレーム前の画像との比較により動き量や変化量の大きい領域を検出するようにしてもよい。

ステップＳ３０４において、距離分布生成部１０７で、入力画像に関する距離情報である距離分布を生成する。

ステップＳ３０５において、ストロボ光量取得部１０９で、ストロボ１１２を発光させる際の光量情報を取得する。

ステップＳ３０６において、リライティング処理部１０８で、ステップＳ３０４で生成した距離分布とステップＳ３０５で取得したストロボ光量を用いて、ステップＳ３０３で検出した被写体に対してリライティング処理を行う。

ここで、図４を参照して、リライティング処理部１０８でリライティング処理を行うための照度の求め方を説明する。図４は、撮像装置１００と被写体４０１とストロボ１１２の位置関係を示した図である。

ストロボ１１２は撮像装置１００の内蔵ストロボであり、ストロボ１１２と被写体４０１との距離は、撮像装置１００と被写体４０１との距離と等価である。つまり、仮想光源をストロボ１１２と同じ位置、光量で設置した場合、撮像装置１００でキャプチャされた入力画像の水平画素位置Ｈ４（垂直画素位置は説明の簡略化のため省略）における仮想光源の寄与する照度は、光量α４に比例し、距離Ｋ４の二乗に反比例し、被写体法線ベクトルＮ４と光源方向ベクトルＬ４の内積に比例するように算出することができる。

ここで、α４はステップＳ３０５において取得した光量、Ｋ４はストロボ１１２と水平画素位置Ｈ４との距離、Ｌ４は水平画素位置Ｈ４への仮想光源の３次元方向ベクトル、Ｎ４は水平画素位置Ｈ４における被写体の３次元法線ベクトルである。

このように、被写体の各画素位置で算出した照度に基づき被写体に対するリライティング処理を行い、入力画像にリライティング処理を施したリライティング画像を生成する。

再び図３を参照して、ステップＳ３０７において、表示部１１０は、ステップＳ３０６で生成したリライティング画像（発光画像）をライブビュー表示する。

Ｓ３０８において、表示部１１０は入力画像をライブビュー表示する。ステップＳ３０２でストロボは非発光の設定と判定されているので、リライティング処理は行わずに、ステップＳ３０１でキャプチャした入力画像をそのまま表示部１１０に表示する。

本実施形態の撮像装置によれば、内蔵ストロボを仮想光源としてリライティング処理を行うことで、ストロボを発光させる撮影前にストロボが当たった被写体の様子を仮想的にライブビューで確認することができる。

（第２の実施形態）
本発明の実施形態２では、撮像装置と空間的に離れた位置に設けられたストロボを用いたストロボ撮影において、ライブビューでストロボを仮想光源とするリライティング処理を行う。

まず、図５を参照して、実施形態２における撮像装置５００の構成について説明する。なお以下の説明において、実施形態１の構成と同一の構成であるものについては説明を省略する。

撮像装置５００は、実施形態１のストロボを内蔵していた撮像装置１００に対し、ストロボ１１２の代わりにストロボ方向取得部５０１とストロボ位置取得部５０２とＩ／Ｆ５０３を有する。

ストロボ位置取得部５０１は、外部ストロボ５０３の位置を取得し、外部ストロボ５０３と被写体との相対的な位置関係を算出する。

ストロボ光量取得部１０９は、撮像装置１００とは異なり、Ｉ／Ｆ５０２を介して外部ストロボ５０３の光量を取得する。

Ｉ／Ｆ５０２は、外部ストロボ５０３と通信してストロボの各種設定情報を受信し、外部ストロボ５０３の発光タイミングを制御するためのインターフェースである。

外部ストロボ５０３は、撮像装置５００と空間的に離れて設置され、Ｉ／Ｆ５０２を介して外部ストロボ５０３の設定値を撮像装置５００へ送信し、撮像装置５００の撮影タイミングと同期して発光する光源装置である。外部ストロボ５０３は、ストロボ１１２と同様に、一例として照射角内において光度（単位時間当たりに通過する光量の単位立体角内の密度）が均一な点光源である。

次に、図６を用いて、撮像装置５００で被写体画像を取得し、リライティング処理を行った画像をライブビュー表示するフローを説明する。

なお、実施形態１と同様の処理内容に関しては説明を省略し、差分となる処理についてのみ説明を行う。ステップＳ３０１からステップＳ３０５まで、およびステップＳ３０７、ステップＳ３０８の処理は実施形態１と同様である。

ステップＳ６０２において、ストロボ位置取得部５０１で、外部ストロボ５０３の位置を取得する。これについては図７を用いて説明する。図７は撮像装置５００と被写体７０１と外部ストロボ５０３の位置関係を示した図である。例えば、事前に被写体７０１と外部ストロボ５０３が同時に収まる画角で撮影し、距離分布から被写体７０１の位置（Ｈｘ，Ｈｙ）と外部ストロボ５０３の位置（Ｓｘ，Ｓｙ）を求めておくことで、外部ストロボ５０３から被写体７０１の水平画素位置Ｈｘへの方向ベクトルＬ７を算出できる。また外部ストロボ側にもカメラが付いている構成であれば、外部ストロボで撮影した画像からストロボと被写体との距離を算出し撮像装置に送信することもできる。また、超音波通信やＧＰＳ等のセンサによって撮像装置とストロボの位置関係を取得する構成でも良い。

ステップＳ３０６において、リライティング処理部１０８で、ステップＳ３０４で生成した距離分布とステップＳ３０５で取得したストロボ光量とステップＳ６０１で取得したストロボ位置を用いて、ステップＳ３０３で検出した被写体に対してリライティング処理を行う。

仮想光源を外部ストロボ５０３と同じ位置、光量で設置した場合の、撮像装置５００でキャプチャされた入力画像の水平画素位置Ｈｘ（垂直画素位置は説明の簡略化のため省略）における仮想光源の寄与する照度は、光量α７に比例し、距離Ｋ７の二乗に反比例し、被写体法線ベクトルＮ７と光源方向ベクトルＬ７の内積に比例するように算出できる。

ここで、α７はステップＳ３０５において取得した光量、Ｎ７は水平画素位置Ｈｘにおける被写体の３次元法線ベクトル、Ｋ７は仮想光源と被写体の水平画素位置Ｈｘとの距離である。距離Ｋ７は被写体７０１の位置（Ｈｘ，Ｈｙ）と外部ストロボ５０３の位置（Ｓｘ，Ｓｙ）から算出できる。

このように、被写体の各画素位置で算出した照度に基づき被写体に対するリライティング処理を行い、入力画像にリライティング処理を施したリライティング画像を生成する。

本実施形態の撮像装置によれば、外部ストロボを仮想光源としてリライティング処理を行うことで、ストロボを発光させる撮影前にストロボが当たった被写体の様子を仮想的にライブビューで確認することができる。

（第３の実施形態）
本発明の実施形態３では、ストロボを複数使用する撮影において、リライティング処理に適用するストロボをユーザが選択し、ライブビューで選択されたストロボを仮想光源とするリライティング処理を行う。

まず、図８を参照して、実施形態３における撮像装置８００の構成について説明する。実施形態１または２の構成と同一の構成であるものに関しては説明を省略する。

撮像装置８００は、実施形態２における撮像装置５００が１つの外部ストロボ５０３と通信するのに対し、２つの外部ストロボと通信を行う。

表示部１１０は、タッチパネル式の表示装置であり、ユーザからのタッチ操作を受け付ける。

第一の外部ストロボ８０１は外部ストロボ５０３と同様の構成である。また第二の外部ストロボ８０２は外部ストロボ５０３と同様の構成である。本実施形態では、何れの外部ストロボも同一であるが、それぞれ異なる特性を有するものであってもよい。

次に、図９を用いて、撮像装置８００で被写体画像を取得し、リライティング処理するストロボをユーザが選択して、リライティング処理を行った画像をライブビュー表示するフローを説明する。なお、実施形態１または実施形態２と同様の処理内容に関しては説明を省略し、差分となる処理についてのみ説明を行う。

ステップＳ３０１からステップＳ３０４までの処理は実施形態１と同様である。

ステップＳ３０５において、第一の外部ストロボ８０１および第二の外部ストロボ８０２の光量の情報を取得する。

ステップＳ６０１において、第一の外部ストロボ８０１および第二の外部ストロボ８０２の位置の情報を取得する。

ステップＳ９０１において、表示部１１０で、撮像装置８００と被写体と第一の外部ストロボ８０１と第二の外部ストロボ８０２の位置関係を示す画像を表示する。これについては図１０を用いて説明する。

図１０は、表示部１１０においてライブビュー画像に重畳されて表示される、撮像装置と被写体とストロボの位置関係画像を示す図である。図１０において、１００１は被写体、１００２は撮像装置８００のアイコン、１００３は被写体１００１のアイコン、１００４は第一の外部ストロボ８０１のアイコン、１００５は第二の第二の外部ストロボ８０２のアイコンを示している。１００２から１００５のアイコンは、ステップＳ３０４で生成した距離分布とステップＳ６０１で取得したストロボ位置から算出した、撮像装置８００と被写体１００１と第一の外部ストロボ８０１と第二の外部ストロボ８０２の間の相対位置に応じて配置される。

ステップＳ９０２において、表示部１１０で、ストロボの選択手段として機能し、ユーザがストロボのアイコンをタッチすることによりリライティング処理を行うストロボを選択する。

ステップＳ９０２において、ＣＰＵ１１１で、リライティング処理を行う設定になっているストロボがあるかを判定する。ユーザは、ステップＳ９０１において表示部１１０に表示された位置関係画像を見て、表示部１１０でストロボのアイコンをタッチすることによりリライティング処理を行うストロボを選択することができる。ユーザが操作した状態に応じて、リライティング処理を行う設定になっているストロボがある場合、ステップＳ３０６へ進む。リライティング処理を行う設定になっているストロボが無い場合は、ステップＳ３０８へ進む。

ステップＳ３０６において、リライティング処理部１０８で、リライティング処理を行う設定になっているストロボについて実施例２と同様にリライティング処理を行い、リライティング画像を生成する。

例えば、第一の外部ストロボ８０１および第二の外部ストロボ８０２とも発光する設定であっても、第一の外部ストロボ８０１のみを発光させた時の効果をリライティング処理してライブビュー表示したい場合がある。その場合、ステップＳ９０２においてユーザが第一の外部ストロボ８０１のアイコン１００４をタッチ操作してリライティング処理を行う設定にする。さらに第二の外部ストロボ８０２のアイコン１００５をタッチ操作してリライティング処理を行わない設定にする。これらの操作により、第一の外部ストロボ８０１のみを仮想光源としたリライティング処理を行い、所望のリライティング画像を生成することが出来る。

本実施形態の撮像装置によれば、複数のストロボからリライティング処理を適用したいストロボをユーザが選択することで、選択結果に応じて選択されたストロボのみの光が当たった被写体の様子を撮影前に仮想的にライブビューで確認することができる。

以上、本発明の実施形態について説明したが、図１、図５、図８に示した撮像装置の構成は一例であり、各実施形態の動作を実行できるのであれば、図１、図５、図８に示した構成に限定されるものではない。

また、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１００ 撮像装置
１０２ 撮像素子
１０４ 画像信号処理部
１０５ 一時記憶メモリ
１０６ 被写体検出部
１０７ 距離分布生成部
１０８ リライティング処理部
１０９ ストロボ光量取得部
１１０ 表示部
１１２ ストロボ

Claims (6)

1. 被写体を撮像する撮像手段と、
   前記撮像手段が撮像して得られた画像に対して仮想的なストロボからの光照射の影響を付与する画像処理を施して発光画像を生成する画像処理手段と、
   前記画像処理手段によって生成された発光画像をライブビュー表示する表示手段と、を備えることを特徴とする撮像装置。
2. 前記画像処理手段は、前記撮像装置に設けられたストロボの情報を取得し、当該情報に基づいて前記発光画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記情報は、前記ストロボの光量に関する情報を含むことを特徴とする請求項２に記載の撮像装置。
4. 前記情報は、前記被写体と前記ストロボの相対的な位置関係を示す情報を含むことを特徴とする請求項２または３に記載の撮像装置。
5. 前記撮像装置に設けられたストロボは複数であり、
   前記画像処理に適用されるストロボを選択させる選択手段を備え、
   前記画像処理手段は、選択結果に応じて前記発光画像を生成することを特徴とする請求項１から４の何れか１項に記載の撮像装置。
6. 被写体を撮像する撮像工程と、
   前記撮像工程で撮像して得られた画像に対して仮想的なストロボからの光照射の影響を付与する画像処理を施して発光画像を生成する画像処理工程と、
   前記画像処理工程で生成された発光画像をライブビュー表示する表示工程と、を備えることを特徴とする撮像方法。

Images