JP2020145594A5

JP2020145594A5 -

Info

Publication number: JP2020145594A5
Application number: JP2019040881A
Authority: JP
Filing date: 2019-03-06
Publication date: 2022-03-16
Anticipated expiration: 2039-03-06

Description

上記目的を達成するために、本発明の画像処理装置は、画像と、前記画像の被写体の奥行方向を示す距離情報とを取得する取得手段と、前記画像から、主被写体を検出する検出手段と、前記主被写体の距離情報に基づいて、前記画像の平面方向において前記主被写体から所定の範囲内の領域から、他の被写体を抽出する抽出手段と、前記主被写体および前記抽出された他の被写体に対して、仮想的な光を照射する１以上の仮想光源のパラメータを設定する設定手段と、前記設定手段により設定されたパラメータを用いて、前記画像から、前記主被写体および前記他の被写体に仮想的な光を照射した画像を生成する処理手段とを有する。

しかしながら、特許文献１に挙げた方法では、検出された被写体の陰影の状態を検出し、その被写体に適した仮想光源の特性を決定する。そのため、検出された被写体に対してはリライティング処理をするが、検出されなかった被写体に対してはリライティング処理がされない。例えば、人物の顔検出を用いた被写体検出の場合は、顔検出された人物以外の被写体に対しては、リライティング処理がされないという課題がある。

図５は、カメラ撮影座標と被写体の関係を示す図である。例えば、図５に示すようにある被写体５０１に対して、撮影画像の水平方向の差分ΔＨに対する、距離Ｄの差分ΔＤＨと、不図示ではあるが、垂直方向（図５の紙面に対して垂直な方向）の差分ΔＶに対する距離Ｄの差分ΔＤＶとから、被写体の一部分における勾配情報を算出する。そして、求めた被写体の一部分における勾配情報から法線Ｎを算出することが可能である。撮影した各画素に対して上記の処理を行うことで、撮影画像の各画素に対応する法線Ｎを算出することが可能である。法線算出部４０４は、撮影画像の各画素に対応する法線Ｎの情報を法線マップとして仮想光源反射成分算出部４０６に出力する。

本発明の第１の実施形態におけるリライティング処理部１１４によるリライティング処理について、図９のフローチャートに沿って説明する。この処理は、操作部１２０を介したユーザからの操作によってリライティング処理が選択されている場合に、画像処理部１０５により処理され、画像メモリ１０６に記憶された画像（輝度信号Ｙ及び色差信号Ｒ－Ｙ、Ｂ－Ｙ）に対して実施される。

Ｓ９０４では、仮想光源設定部４０５は、Ｓ９０１において被写体情報検出部２０８から取得した主被写体の被写体情報と、Ｓ９０２にて距離算出部４０３で算出した距離による重み付けマップ（mapＫ）とから、主被写体及び被写体領域の周辺の評価値を取得する。具体的には、図１１（ａ）に示すように、距離による重み付けマップ（mapＫ）の全体をブロック分割し、ブロック毎に平均距離値を取得する。そして、主被写体の顔領域１１００内（x座標：xb～xc、y座標：yb～yc）に含まれるブロックの平均距離値の総和を顔領域１１００内のブロック数で除算した値を、主被写体の評価値とする。一方、主被写体周辺については、被写体情報検出部２０８が推定した被写体領域の周辺（以下、「被写体周辺領域」と呼ぶ。）、つまり図１１（ａ）では、被写体領域１１０１の外のブロック毎の平均距離値をそのまま評価値とする。

Ｓ９０６では、仮想光源設定部４０５において、Ｓ９０５で判定された顔領域の評価値±δの範囲内にある別の被写体を抽出し、主被写体と抽出した別の被写体とが照射範囲に含まれるように、仮想光の重み付けマップを生成する。具体的には、仮想光源の光源方向ベクトル－Ｌを画素単位で算出し、その各座標軸方向に対する方向余弦を求める。そして、画素単位で、求めた方向余弦を任意のビット幅で表現して、仮想光源による重み付けマップ（mapＬ）とする。図１０（ｂ）は、上述したように主被写体である人物と主被写体の隣に位置する犬の両方を含めて仮想光を当てるように照射範囲を設定した例を示す図である。

また、本実施形態では、被写体情報検出部２０８は、顔・顔器官検出部１１３の検出結果の情報を基に被写体情報を検出する例を用いて説明したが、これに限るものではなく、他の被写体領域検出手段を用いても構わない。顔・顔器官検出部１１３のみだと、顔・顔器官検出結果を基に被写体情報検出部２０８において被写体領域を推定している為、正確な被写体領域を検出出来ない場合がある。例えば、被写体が逆立ちしている場合や、身体がねじれているポーズの場合に、正しく照射範囲を決定できないことになる。他の検出手段として、機械学習などの公知の技術を用いて、被写体領域を身体部分まで検出する被写体領域検出手段を備える構成としてもよい。その様な構成にすれば、正確な被写体領域を検出することが可能となり、逆立ちや身体がねじれているポーズのシーンにおいても仮想光源の照射範囲を正確に決定することが可能となる。

Claims

画像と、前記画像の被写体の奥行方向を示す距離情報とを取得する取得手段と、
前記画像から、主被写体を検出する検出手段と、
前記主被写体の距離情報に基づいて、前記画像の平面方向において前記主被写体から所定の範囲内の領域から、他の被写体を抽出する抽出手段と、
前記主被写体および前記抽出された他の被写体に対して、仮想的な光を照射する１以上の仮想光源のパラメータを設定する設定手段と、
前記設定手段により設定されたパラメータを用いて、前記画像から、前記主被写体および前記他の被写体に仮想的な光を照射した画像を生成する処理手段と
を有することを特徴とする画像処理装置。
前記抽出手段は、前記主被写体の距離情報に基づいて、前記主被写体までの距離から前記奥行方向において予め決められた範囲内にある他の被写体を抽出することを特徴とする請求項１に記載の画像処理装置。
前記抽出手段により他の被写体が抽出されなかった場合に、前記設定手段は、前記主被写体に対して仮想的な光を照射する１以上の仮想光源のパラメータを設定し、前記処理手段は、前記主被写体に仮想的な光を照射した画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
前記処理手段は、前記主被写体および前記抽出された他の被写体の形状、前記距離情報、および前記仮想光源のパラメータに基づいて、前記画像を処理して、前記仮想光源により前記主被写体および前記抽出された他の被写体に光を照射した画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記検出手段により複数の主被写体が検出された場合に、前記抽出手段は、前記複数の主被写体の各主被写体の距離情報に基づいてそれぞれ他の被写体を抽出し、前記設定手段は、前記各主被写体ごとに、前記各主被写体および前記抽出された他の被写体に対して、仮想的な光を照射する１以上の仮想光源のパラメータを設定し、前記処理手段は、前記各主被写体ごとに得られる前記パラメータによる前記仮想的な光を照射する効果を、前記複数の主被写体について合成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記主被写体および前記他の被写体の少なくともいずれかを選択する選択手段を更に有し、
前記設定手段は、前記選択手段により選択された前記主被写体および／または前記抽出された他の被写体に対して、仮想的な光を照射する１以上の仮想光源のパラメータを設定することを特徴とする請求項１または２に記載の画像処理装置。
表示手段に、前記主被写体および前記他の被写体を示す表示を、前記画像に重畳して表示するように制御する制御手段と、
前記表示手段に表示された前記主被写体および前記他の被写体を示す表示に基づいて、前記主被写体および前記他の被写体を選択する操作を行うための操作手段と、を更に有し、
前記選択手段は、前記操作手段による操作に基づいて、前記主被写体および前記他の被写体の少なくともいずれかを選択することを特徴とする請求項６に記載の画像処理装置。
前記仮想光源のパラメータは、前記仮想光源の位置と、仮想光の照射範囲及び強度とを含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記仮想光源のパラメータは、被写体を明るくする加算光、被写体を暗くする減算光、被写体に鏡面反射を付加する鏡面反射光を含む、複数の種類の仮想光のいずれかを示すパラメータを含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記検出手段と異なる方法で、被写体を検出する第２の検出手段を更に有し、
前記抽出手段は、前記主被写体の距離情報と、前記第２の検出手段により検出された被写体の距離情報とに基づいて、前記他の被写体を抽出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
画像と、前記画像の奥行方向の距離情報とを取得する取得手段と、
前記画像から特定の被写体を検出する検出手段と、
前記画像の少なくとも一部領域を照射する仮想光の効果を付与する処理手段と、を有し、
前記奥行方向の所定の範囲内に前記検出手段により検出可能な第１の被写体と前記検出手段により検出できない第２の被写体とを含む画像に対して、前記処理手段は、
（ａ）前記画像の平面方向における前記第１の被写体までの距離と前記第２の被写体までの距離との差が第１の値である場合、前記第１の被写体と前記第２の被写体に対して前記仮想光の効果を付与し、
（ｂ）前記画像の平面方向における前記第１の被写体までの距離と前記第２の被写体までの距離との差が、前記第１の値よりも大きい第２の値である場合、前記第１の被写体に対して前記仮想光の効果を付与し、前記第２の被写体に対して前記仮想光の効果を付与しない
ことを特徴とする画像処理装置。
画像と、前記画像の奥行方向の距離情報とを取得する取得手段と、
前記画像から特定の被写体を検出する検出手段と、
前記画像の少なくとも一部領域を照射する仮想光の効果を付与する処理手段と、
ユーザ操作にしたがって前記画像から特定の被写体を選択する選択手段と、を有し、
前記奥行方向の所定の範囲内に前記検出手段により検出可能な第１の被写体と前記検出手段により検出できない第２の被写体とを含む前記画像において、前記第１の被写体が前記選択手段により選択された場合、前記処理手段は、
（ａ）前記画像の平面方向における前記第１の被写体までの距離と前記第２の被写体までの距離との差が第１の値である場合、前記第１の被写体と前記第２の被写体に対して前記仮想光の効果を付与し、
（ｂ）前記画像の平面方向における前記第１の被写体までの距離と前記第２の被写体までの距離との差が、前記第１の値よりも大きい第２の値である場合、前記第１の被写体に対して前記仮想光の効果を付与し、前記第２の被写体に対して前記仮想光の効果を付与しない
ことを特徴とする画像処理装置。
被写体を撮影して、画像を出力する撮像手段と、
請求項１乃至１２のいずれか１項に記載の画像処理装置と
を有することを特徴とする撮像装置。
前記画像の距離情報を検出する距離情報検出手段を更に有することを特徴とする請求項１３に記載の撮像装置。
取得手段が、画像と、前記画像の被写体の奥行方向を示す距離情報とを取得する取得工程と、
検出手段が、前記画像から、主被写体を検出する検出工程と、
抽出手段が、前記主被写体の距離情報に基づいて、前記画像の平面方向において前記主被写体から所定の範囲内の領域から、他の被写体を抽出する抽出工程と、
設定手段が、前記主被写体および前記抽出された他の被写体に対して、仮想的な光を照射する１以上の仮想光源のパラメータを設定する設定工程と、
処理手段が、前記設定手段により設定されたパラメータを用いて、前記画像から、前記主被写体および前記他の被写体に仮想的な光を照射した画像を生成する処理工程と
を有することを特徴とする画像処理方法。
取得手段が、画像と、前記画像の奥行方向の距離情報とを取得する取得工程と、
検出手段が、前記画像から特定の被写体を検出する検出工程と、
処理手段が、前記画像の少なくとも一部領域を照射する仮想光の効果を付与する処理工程と、を有し、
前記奥行方向の所定の範囲内に前記検出手段により検出可能な第１の被写体と前記検出手段により検出できない第２の被写体とを含む画像に対して、前記処理工程では、
（ａ）前記画像の平面方向における前記第１の被写体までの距離と前記第２の被写体までの距離との差が第１の値である場合、前記第１の被写体と前記第２の被写体に対して前記仮想光の効果を付与し、
（ｂ）前記画像の平面方向における前記第１の被写体までの距離と前記第２の被写体までの距離との差が、前記第１の値よりも大きい第２の値である場合、前記第１の被写体に対して前記仮想光の効果を付与し、前記第２の被写体に対して前記仮想光の効果を付与しない
ことを特徴とする画像処理方法。
取得手段が、画像と、前記画像の奥行方向の距離情報とを取得する取得手工程と、
検出手段が、前記画像から特定の被写体を検出する検出工程と、
処理手段が、前記画像の少なくとも一部領域を照射する仮想光の効果を付与する処理工程と、
選択手段が、ユーザ操作にしたがって前記画像から特定の被写体を選択する選択工程と、を有し、
前記奥行方向の所定の範囲内に前記検出手段により検出可能な第１の被写体と前記検出手段により検出できない第２の被写体とを含む前記画像において、前記第１の被写体が前記選択手段により選択された場合、前記処理工程では、
（ａ）前記画像の平面方向における前記第１の被写体までの距離と前記第２の被写体までの距離との差が第１の値である場合、前記第１の被写体と前記第２の被写体に対して前記仮想光の効果を付与し、
（ｂ）前記画像の平面方向における前記第１の被写体までの距離と前記第２の被写体までの距離との差が、前記第１の値よりも大きい第２の値である場合、前記第１の被写体に対して前記仮想光の効果を付与し、前記第２の被写体に対して前記仮想光の効果を付与しない
ことを特徴とする画像処理方法。
コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
請求項１８に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。