JP2020071719A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 従来のリライティングは、ユーザが所望の照明条件を設定するために、仮想光源の位置、強度等のパラメータを細かく設定する必要があり、十分な知識を持たないユーザにとっては、所望の照明条件を設定するため、パラメータ調整に多くの時間を要するという課題があった。【解決手段】 入力画像のアスペクト比を取得し、そのアスペクト比に基づいて、シーンにおける光源を仮想的に変化させて得られる修正画像を前記入力画像から生成する。【選択図】 図４

Description

本発明は、シーンにおける光源を仮想的に変化させて得られる画像を生成する画像処理装置に関する。

シーンの撮影時における実際の光源とは異なる光源（仮想光源）を仮想的に設定することにより得られる画像を生成する技術がある（特許文献１）。このように照明条件を変更して新たな画像を得る技術は、「リライティング」と呼ばれている。このリライティングにより、ユーザは光源や照明条件を実際の撮影現場で変更しなくとも、光源を仮想的に変化させたシーンの画像を得ることができる。

特開２０１８−０１０４９７号公報

しかしながら、従来のリライティングは、ユーザが所望の照明条件を設定するために、仮想光源の位置、強度等のパラメータを細かく設定する必要があった。そのため、十分な知識を持たないユーザにとっては、所望の照明条件を設定するため、パラメータ調整に多くの時間を要するという課題があった。

そこで、本発明は、リライティングに関する専門的な知識を持たない一般ユーザであっても、容易に効果的なリライティングを行う手法を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、シーンを撮像して得られる入力画像を入力する画像入力手段と、前記入力画像のアスペクト比を取得する取得手段と、前記アスペクト比に基づいて、前記シーンにおける光源を仮想的に変化させて得られる修正画像を前記入力画像から生成する生成手段と、を有することを特徴とする。

更に本発明にかかる画像処理方法は、シーンを撮像して得られる入力画像を入力する画像入力工程と、前記入力画像のアスペクト比を取得する取得工程と、前記アスペクト比に基づいて、前記シーンにおける光源を仮想的に変化させて得られる修正画像を前記入力画像から生成する生成工程とを有することを特徴とする。

本発明によれば、リライティングに関する専門的な知識を持たない一般ユーザであっても、容易に効果的なリライティングを行うことが可能となる。

情報処理装置のハードウェア構成を示す図。 情報処理装置の外観の一例を示す図。 情報処理装置の論理構成を示すブロック図。 第１実施形態に係る情報処理装置が実行する処理の流れを示すフローチャート。 第１実施形態に係る仮想光源の設定方法の一例を示す図。 第１実施形態に係る処理の効果の一例を示す図。 第１実施形態に係る仮想光源の設定処理を詳細に説明するフローチャート。 情報処理装置の論理構成を示すブロック図。 第２実施形態に係る情報処理装置が実行する処理の流れを示すフローチャート。 第２実施形態に係るＧＵＩの一例を示す図。

以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
＜情報処理装置１のハードウェア構成＞
図１（ａ）は、本実施形態の画像処理を実現する画像処理装置として機能する情報処理装置１のハードウェア構成の一例を示す図である。この情報処理装置１により本実施形態の画像処理方法が実現される。

情報処理装置１は、スマートフォンやタブレットＰＣ（パーソナルコンピュータ）等の通信機能及び／又は撮像機能を備えた機器により実現される。情報処理装置１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、入出力インタフェース（Ｉ／Ｆ）１０４と、タッチパネルディスプレイ１０５と、撮像部１０６と、通信Ｉ／Ｆ１０７と、を有する。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、外部記憶装置１１０などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２や外部記憶装置１１０などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。入出力Ｉ／Ｆ１０４には、シリアルバス１０９を介して、外部記憶装置１１０が接続される。外部記憶装置１１０は、ＨＤＤ（ハードディスクドライブ）である。タッチパネルディスプレイ１０５は、画像の表示を行うディスプレイと、指などの指示体によるタッチの位置を検出するタッチパネルと、が一体となった入出力部である。撮像部１０６は、撮像対象であるシーンの画像を取得する撮像部である。

図２に本実施形態における情報処理装置１の外観の一例を示す。図２（ａ）に、情報処理装置１のタッチパネルディスプレイ１０５を有する面（以下、ディスプレイ面と呼ぶ）を示し、図２（ｂ）に情報処理装置１のディスプレイ面と反対の面（以下、背面と呼ぶ）を示す。本実施形態における撮像部１０６は、情報処理装置１の背面に備えられるメインカメラ２０２及び情報処理装置１のディスプレイ面に備えられるインカメラ２０１である。インカメラ２０１は、ディスプレイ（表示画面）を閲覧しようとするユーザの顔を撮像可能な位置及び方向に設置されている。通信Ｉ／Ｆ１０７は、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。本実施形態における通信Ｉ／Ｆ１０７は、無線ＬＡＮ（ローカルエリアネットワーク）を介して通信相手とのデータの送受信が可能である。また、通信Ｉ／Ｆ１０７は、他の通信機器との間では、直接の通信以外に、中継装置を介した間接的な通信も可能である。

＜情報処理装置１の論理構成＞
情報処理装置１の論理構成例を説明する。図３は、本実施形態における情報処理装置１の論理構成を示すブロック図である。情報処理装置１は、ＣＰＵ１０１がＲＡＭ１０３をワークメモリとして用い、ＲＯＭ１０２に格納されたプログラムを実行することによって、図３に示す論理構成として機能する。尚、以下に示す処理の全てが必ずしもＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように情報処理装置１が構成されていてもよい。

情報処理装置１は、画像入力部３０１と、アスペクト比取得部３０２と、仮想光源設定部３０３と、ＧＵＩ表示部３０４と、リライティング処理部３０５と、画像出力部３０６と、を有する。画像入力部３０１は、撮像部１０６または外部記憶装置１１０より、撮影画像を入力画像として情報処理装置１に読み込む。アスペクト比取得部３０２は、入力画像のアスペクト比を取得する。仮想光源設定部３０３は、入力画像のアスペクト比に応じて、仮想光源を設定する。ＧＵＩ表示部３０４は、ユーザがリライティング処理を実行するか否かを選択するためのＧＵＩを表示する。リライティング処理部３０５は、入力画像に対して、リライティング処理を行う。画像出力部３０６は、リライティング処理を行った画像を出力する。

＜情報処理装置１が実行する処理＞
図４は、情報処理装置１が実行する処理の流れを示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ４０１において、画像入力部３０１は、撮像部１０６より撮影されたシーンの画像、または、外部記憶装置１１０より入力されたシーンの画像を入力画像として情報処理装置１に入力する。

Ｓ４０２において、ＧＵＩ表示部３０４より、タッチパネルディスプレイ１０５にリライティング処理を行うか否かをユーザが選択するためのＧＵＩを表示し、ユーザの選択結果を情報処理装置１に入力する。ここで、ユーザがリライティング処理を行うことを選択した場合、Ｓ４０３に進み、選択しなかった場合には、Ｓ４０６に進む。このように、ユーザがリライティングを行うか否かを明示するステップを設けることにより、ユーザが意図していない画像処理（リライティング）が行われることを防止する。

Ｓ４０３において、アスペクト比取得部３０２にて、Ｓ４０１で入力した入力画像のメタ領域に記載された情報（メタ情報）を用いて、入力画像のアスペクト比を取得する。

Ｓ４０４において、仮想光源設定部３０３にて、Ｓ４０３で取得したアスペクト比に応じて、仮想光源（照明条件）を設定する（詳細は後述）。

Ｓ４０５において、リライティング処理部３０５にて、Ｓ４０４で設定した仮想光源情報を用い、シーンにおける光源を仮想的に変化させて得られる修正画像を入力画像から生成する（詳細は後述）。

Ｓ４０６において、画像出力部３０６より、リライティング処理後の修正画像又は入力画像を出力し、ＲＡＭ１０３、あるいは外部記憶装置１１０に出力画像を記憶する。

＜仮想光源の設定＞
ここでは、Ｓ４０４にて仮想光源設定部３０３が実施する仮想光源の設定方法に関して詳細に述べる。

一般的な写真撮影において、シーン中の被写体に応じて撮影画像のアスペクト比を変えることがある。たとえば、人物を撮影するポートレートでは縦長のアスペクト比、風景の撮影では、横長のアスペクト比で撮影されることが多い。また、近年、ＳＮＳに投稿する目的で撮影する際には、正方形のアスペクト比（或いは略正方形のアスペクト比）で撮影する機会も増加してきている。

そこで、取得した撮影画像のアスペクト比から、縦長の場合には、ポートレート撮影と判断し、図５（ａ）に示すような、天井バウンス光を想定した仮想光源を設定する。かかる仮想光源の強度や位置は、バウンス光を再現できるように適切に調整されている。

また、アスペクト比が正方形の場合には、物撮りとみなし、図５（ｂ）に示すような、注目被写体の陰影を強調するような、斜めからの仮想光源がされる。

アスペクト比が横長の場合には、風景撮影であると判断し、仮想光源を設定しない。といった仮想光源の設定方法が考えられる。

ただし、アスペクト比と仮想光源の設定方法に関しては、この方法に限定されるものではなく、想定される被写体と、付加したい仮想光源の効果を考慮し、ユーザ、または設計者が任意に変更しても良い。例えば、パノラマ撮影（横長で縦横比が１対２以上等の撮影）では、光源の影響を低減するような設定をしても良い。また仮想光源の設定においては、光源の色味（色温度）や光源の大きさをアスペクト比に応じて設定してもよい。

図６の模式図に示すように、リライティング処理前のシーンでは、人物に強い陰影が生じてしまい、好ましくない撮影画像となってしまう場合がある。これに対して、リライティング処理後のシーンでは、仮想光源の設定により、天井バウンス光が当たっているような効果が生じ、より好ましい撮影画像が得られる。

図７は、前記Ｓ４０４にて実施する仮想光源の設定方法の詳細を示すフローチャートである。Ｓ７０１において、アスペクト比が縦長か否かを判断し、縦長であればＳ７０２に進み、そうでなければＳ７０３に進む。Ｓ７０２において、図５（ａ）に示すようなポートレート用の仮想光源を設定する。Ｓ７０３において、アスペクト比が正方形か否かを判断し、正方形であればＳ７０４に進み、そうでなければＳ７０５に進む。Ｓ７０４において、図５（ｂ）に示すような物撮り用の仮想光源を設定する。Ｓ７０５において、撮影画像は、縦長、正方形の何れでもないため、風景撮影であると判断し、仮想光源を設定しない。

＜リライティング処理＞
Ｓ４０５でのリライティング処理による修正画像の生成方法に関して詳述する。

Ｓ４０４にて仮想光源を設定したのち、設定された仮想光源の位置から光線が被写体に到達しているかのような画像処理を施す。具体的には以下のような処理が考えられる。
（１）入力画像のシーンにおける仮想光源に近い位置とみなさる領域の明度を高くすることで修正画像を生成する（光源の強度を強くする）。
（２）画像認識やステレオカメラによる距離情報取得により、入力画像のシーンにおけるオブジェクトの位置・形状情報を取得する。そして取得された位置・形状情報と仮想光源の位置や強度の情報に基づいて、レイトレーシング法等の手法を使って、光源を仮想的に変化させて得られる修正画像を生成する。

＜別形態＞
以上の実施形態においては、画像入力がなされた際にリライティング処理を行うとしたが、これに限らない。例えば、ユーザが拡縮処理やクロッピング処理により入力画像のアスペクト比を変更した場合にリライティング処理を実行しても良い。

また、Ｓ４０３において、メタ領域に基づいてアスペクト比を取得したが、これに限らない。例えば、入力画像のメディア情報を解析することによりアスペクト比を取得しても良い。

＜第１実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、入力画像のアスペクト比に応じた仮想光源を設定し、リライティング処理を実行する。これにより、ユーザが仮想光源のパラメータを設定することなく、入力画像に応じた照明条件でリライティング処理を実行することができる。

［第２実施形態］
第１実施形態においては、入力画像のアスペクト比に応じて、自動的に仮想光源を設定する方法について説明した。本実施形態においては、撮影シーンのカテゴリをユーザが選択し、選択したカテゴリ設定に応じて、アスペクト比と仮想光源を設定する方法について説明する。（尚、本実施形態における情報処理装置１のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。）以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。

＜情報処理装置８０１の論理構成＞
情報処理装置８０１の論理構成例を説明する。図８は、本実施形態における情報処理装置８０１の論理構成を示すブロック図である。情報処理装置８０１は、ＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３をワークメモリとして実行することによって、図８に示す論理構成として機能する。尚、以下に示す処理の全てが必ずしもＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように情報処理装置７０１が構成されていてもよい。

情報処理装置８０１は、画像入力部３０１と、撮影条件設定部８０２と、仮想光源設定部３０３と、ＧＵＩ表示部３０４と、リライティング処理部３０５と、画像出力部３０６と、を有する。撮影条件設定部８０２は、ＧＵＩ表示部３０４にて表示されるＧＵＩを用いて、ユーザが撮影被写体のカテゴリを選択可能とし、ユーザが選択した被写体カテゴリを情報処理装置８０１に入力する。

＜情報処理装置８０１が実行する処理＞
図９は、情報処理装置８０１が実行する処理の流れを示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ９０１において、撮影条件設定部８０２は、ＧＵＩ表示部３０４を介し、ユーザが被写体カテゴリを選択するためのＧＵＩを表示する。図１０は、この時表示するＧＵＩの一例であり、ユーザが被写体のカテゴリを選択することにより、選択されたカテゴリ情報が情報処理装置８０１に入力される。Ｓ９０２では、Ｓ９０１にて入力された被写体のカテゴリ設定に応じたアスペクト比が設定される。以下、Ｓ９０３からＳ９０５は、前記第１実施形態におけるＳ４０４からＳ４０６と同様の処理であるため、説明を省略する。

＜被写体カテゴリとアスペクト比、仮想光源の設定＞
ここでは、Ｓ９０１にて選択する被写体のカテゴリと、撮影画像のアスペクト比、および仮想光源の対応について説明する。

例えば、ポートレートが選択された場合には、アスペクト比を縦長に設定し、かつ、仮想光源を図５（ａ）の通り設定する。風景が選択された場合には、アスペクト比を横長に設定し、仮想光源は設定しない。ＳＮＳが設定された場合には、アスペクト比を正方形に設定し、かつ、仮想光源を図５（ｂ）の通り設定する。

ただし、前記第１実施形態と同様に、被写体のカテゴリと、アスペクト比、および仮想光源の設定方法に関しては、この方法に限定されるものではなく、想定される被写体と、付加したい仮想光源の効果を考慮し、ユーザ、または設計者が任意に変更しても良い。

＜第２実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、ユーザが選択した被写体カテゴリに基づき、撮影画像のアスペクト比、および、仮想光源を設定する。これにより、ユーザが画像のアスペクト比や、仮想光源のパラメータを設定することなく、被写体に応じたアスペクト比、および照明条件でリライティング処理を実行することができる。

［変形例］
上述した実施形態において、情報処理装置１のハードウェア構成は、図１（ａ）に示した構成であったが、情報処理装置１のハードウェア構成は上記の例に限られない。例えば、情報処理装置１のハードウェア構成は、図１（ｂ）に示す構成であってもよい。情報処理装置１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＶＣ（ビデオカード）１１１と、汎用Ｉ／Ｆ１１４と、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１１８と、を有する。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、外部記憶装置１１０などに格納されたＯＳや各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。汎用Ｉ／Ｆ１１４には、シリアルバス１１５を介して、マウスやキーボードなどの入力デバイス１１６や撮像装置１１７が接続される。ＳＡＴＡＩ／Ｆ１１８には、シリアルバス１１９を介して、外部記憶装置１１０が接続される。ＶＣ１１１には、シリアルバス１１２を介して、ディスプレイ１１３が接続される。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインタフェース）をディスプレイ１１３に表示し、入力デバイス１１６を介して得られたユーザの指示を表す入力情報を受信する。図１（ｂ）に示す情報処理装置１は、例えば、デスクトップ型のＰＣによって実現される。尚、情報処理装置１は、撮像装置１１７と一体となったデジタルカメラや、ディスプレイ１１３と一体となったＰＣなどによっても実現される。

また、上述した実施形態においては、情報処理装置１は撮像部１０６としてメインカメラ２０２とインカメラ２０１との２つのカメラを有していたが、撮像部１０６は上記の例に限られない。例えば、情報処理装置１は、メインカメラ２０２のみであってもよい。

また、上述した実施形態における外部記憶装置１１０はＨＤＤであったが、外部記憶装置１１０は上記の例に限られない。例えば、ＳＳＤ（ソリッドステートドライブ）であってもよい。また、外部記憶装置１１０は、メディア（記録媒体）と、当該メディアへのアクセスを行うための外部記憶ドライブとによっても実現される。メディアには、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリなどを用いることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、上述した実施形態においては、リライティング処理の詳細については省略したが、その処理方法は、一般的なリライティング処理方法を用いることができ、特定の方法に限定されるものではない。

１ 情報処理装置
３０１ 画像入力部
３０２ アスペクト比取得部
３０３ 仮想光源設定部
３０４ ＧＵＩ表示部
３０５ リライティング処理部
３０６ 画像出力部

Claims (14)

1. シーンを撮像して得られる入力画像を入力する画像入力手段と、
   前記入力画像のアスペクト比を取得する取得手段と、
   前記アスペクト比に基づいて、前記シーンにおける光源を仮想的に変化させて得られる修正画像を前記入力画像から生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記生成手段は、前記シーンにおける光源の強度を仮想的に変化させて得られる修正画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記シーンにおける仮想的な光源の強度を設定する第一の設定手段を更に有し、
   前記生成手段は、前記アスペクト比と前記仮想的な光源の強度とに基づいて、前記シーンにおける光源の強度を仮想的に変化させて得られる修正画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記シーンにおける光源の位置を仮想的に変化させて得られる修正画像を生成することを特徴とする請求項１に記載の画像処理装置。
5. 前記シーンにおけるオブジェクトの形状の情報を入力する入力手段と、
   前記仮想的な光源の位置を設定する第二の設定手段とを更に有し、
   前記生成手段は、前記アスペクト比と前記オブジェクトの形状の情報と前記光源の位置とに基づいて、前記シーンにおける光源の位置を仮想的に変化させて得られる修正画像を前記入力画像から生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記生成手段は、レイトレーシング法を用いて修正画像を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記取得手段は、前記アスペクト比を前記入力画像のメタ情報を用いて取得することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記取得手段は、前記アスペクト比を前記入力画像のメディア情報を解析することにより取得することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
9. 前記修正手段は、前記アスペクト比により入力画像が縦長であると判断される場合は、前記シーンにおける光源を天井からのバウンス光に仮想的に変化させて得られる修正画像を生成することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記修正手段は、前記アスペクト比により入力画像が略正方形であると判断される場合は、前記シーンにおける光源を注目被写体の斜め上にあると仮想的に変化させて得られる修正画像を生成することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. シーンのカテゴリを設定するカテゴリ設定手段を更に有し、
    前記アスペクト比は前記カテゴリに基づいて設定されることを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. 前記入力画像のアスペクト比を変更する変更手段を更に有し、
    前記取得手段は、前記変更手段が前記アスペクト比を変更した場合に、変更されたアスペクト比を取得することを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. シーンを撮像して得られる入力画像を入力する画像入力工程と、
    前記入力画像のアスペクト比を取得する取得工程と、
    前記アスペクト比に基づいて、前記シーンにおける光源を仮想的に変化させて得られる修正画像を前記入力画像から生成する生成工程と、
    を有することを特徴とする画像処理方法。
14. コンピュータを請求項１乃至請求項１２のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。