JP2021077300A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 撮像画像上の任意の領域に対応する物体がどの方向から光が照射されているかをユーザに知らせるための処理を提供することを目的とする。【解決手段】 情報処理装置であって、光源から光が照射された物体を含むシーンを撮像して得られる撮像画像データを取得する取得手段と、ユーザにより指定された、前記撮像画像データが表す撮像画像における領域を表す領域情報を受け付ける受付手段と、前記撮像画像データに基づいて、前記ユーザにより指定された領域に対応する前記物体に光を照射する前記光源の方向を推定する推定手段と、前記推定された光源の方向を特定するための情報を、前記撮像画像と併せて表示手段に表示する表示制御手段と、を有することを特徴とする。【選択図】 図６

Description

本発明は、物体に光を照射する光源に関する情報を推定するための技術に関する。

従来、物体の周囲の環境における光源の方向や位置を推定する技術がある。特許文献１は、撮像画像と環境マップとを用いて光源の方向を推定し、ＣＧ画像を生成する技術を開示している。

特開２０１４−１６４４９７号公報

しかし、特許文献１では、どの方向から光が照射されているかを知りたい物体がある場合に、ＣＧ画像を見るだけでは該方向をユーザが知ることは難しかった。

本発明は、上記課題を鑑みてなされたものであり、撮像画像上の任意の領域に対応する物体がどの方向から光が照射されているかをユーザに知らせるための処理を提供することを目的とする。

上記課題を解決するために、本発明に係る情報処理装置は、光源から光が照射された物体を含むシーンを撮像して得られる撮像画像データを取得する取得手段と、ユーザにより指定された、前記撮像画像データが表す撮像画像における領域を表す領域情報を受け付ける受付手段と、前記撮像画像データに基づいて、前記ユーザにより指定された領域に対応する前記物体に光を照射する前記光源の方向を推定する推定手段と、前記推定された光源の方向を特定するための情報を、前記撮像画像と併せて表示手段に表示する表示制御手段と、を有することを特徴とする。

本発明によれば、撮像画像上の任意の領域に対応する物体がどの方向から光が照射されているかをユーザに知らせることができる。

生徒データを得るための撮像の様子を示す図 光の当たり方に応じた色の変化を説明するための図 教師データを得るための撮像の様子を示す図 撮像された画像内の鏡面球に写り込む光源を説明するための図 光源推定システムのハードウェア構成を示すブロック図 光源推定システムの機能構成を示すブロック図 ニューラルネットワークを説明するための図 光源の方向を表示する際の表示例を示す図 情報処理装置が実行する処理を示すフローチャート 光源ベクトルを導出する処理を説明するための図 光の当たり方に応じた色の変化を説明するための図 ユーザの指定を受け付ける方法を説明するための図

以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
光源の方向を推定する技術として、対象の物体と鏡面球とを同じ撮像範囲に含めて撮像を行うことにより、対象の物体に光を照射する光源の方向を推定する技術がある。しかしこの技術では、光源の方向を推定する度に鏡面球を画像内に写り込ませる必要がある。そこで、本実施形態においては、人物や車などの物体を含むシーンを撮像して得られる画像データと、鏡面球を撮像して得られる画像データと、を学習データとして学習モデルを予め生成しておく。予め生成しておいた学習モデルから出力される情報を基に、画像上の任意の領域に対応する物体に光を照射する光源の方向を推定する。これにより、鏡面球を毎度用意することなく、画像上の任意の領域に対応する光源の方向を知ることができる。

学習モデルに学習させる入力用の画像データ（以下、生徒データと呼ぶ）は、人物や車などの物体を含むシーンを撮像して得られる画像データである。図１は、生徒データを得るための撮像の様子を示す図である。箱Ａ、箱Ｂ、車Ｃ、人物Ｄを含むシーン３は、光源４の方向を変化させながら撮像装置５により撮像される。箱Ａ、箱Ｂ、車Ｃ、人物Ｄはいずれも、光源４の位置に応じて色が変化しやすい物体であるものとする。例えば、車のボディは、一般的に金属で作られているため、入射した光を鏡面反射しやすい。このため、車のボディに対する光の当たり方に応じて鏡面反射光がどの程度観察されるかが変わる。図２に光の当たり方に応じた色の見え方を示す。また、人物の場合、図１１のように、髪や肌、衣服の色が光源の位置に応じて変化する。

また、学習モデルに学習させる出力用の画像データ（以下、教師データと呼ぶ）は、鏡面球をシーン３と同じ撮像条件において撮像して得られる画像データである。図３は、教師データを得るための撮像の様子を示す図である。鏡面球Ｅ、鏡面球Ｆ、鏡面球Ｇ、鏡面球Ｈはそれぞれ、箱Ａ、箱Ｂ、車Ｃ、人物Ｄと同一の位置に配置されている。以下、鏡面球Ｅ、鏡面球Ｆ、鏡面球Ｇ、鏡面球Ｈをまとめて鏡面球６と呼ぶ。鏡面球６は、光源４の方向を変化させながら撮像装置５により撮像される。撮像により得られる画像内の鏡面球には、図４のように光源が写り込む。写り込んだ鏡面球内の光源の位置を基に、光源の方向を推定することができる。鏡面球に対する光の当たり方とシーンに含まれる物体の色味の変化との相関関係を学習モデルに学習させることによって、光源の方向を推定する学習モデルを生成する。具体的には、本実施形態における学習モデルは、物体の撮像画像データを入力とした場合に、該物体に光を照射する光源の方向を推定するために用いられる鏡面球の画像データを出力する学習モデルである。尚、本実施形態においては、光源の方向を変化させながら物体と鏡面球とを同一位置に配置して撮像を行い、同じ撮像条件の生徒データと教師データとをセットとして機械学習に用いる。尚、本実施形態においては、物体と鏡面球とを同一位置に配置したが、撮像の環境が同じであれば多少位置が異なっていてもよい。

＜光源推定システムの構成＞
本実施形態における光源推定システムは、図５（ａ）に示すように、学習モデルを生成する情報処理装置１と、学習モデルから出力される画像データを基に光源情報推定を行う情報処理装置２と、から構成される。

＜情報処理装置のハードウェア構成＞
図５（ｂ）は、情報処理装置１のハードウェア構成を示すブロック図である。情報処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、情報処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１３などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１３などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１５が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０や撮像装置１１１が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１２を介して、ＨＤＤ１１３や各種記録メディアの読み書きを行う汎用ドライブ１１４が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１３や汎用ドライブ１１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインターフェース）をディスプレイ１１５に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。尚、情報処理装置２も情報処理装置１と同様のハードウェア構成であるため説明を省略する。

＜光源推定システムの機能構成＞
図６は、情報処理装置１と情報処理装置２とを含む光源推定システムの機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１１３に格納されたプログラムを読み出して実行することによって、図６に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように光源推定システムが構成されていても良い。

情報処理装置１は、学習画像取得部２０１、学習モデル生成部２０２を有する。学習画像取得部２０１は、学習モデルを生成するための学習に用いる生徒データと教師データとの複数のセットを取得する。生徒データは、上述したように、光源の位置を変化させながら複数の物体を含むシーンを複数回撮像して得られる画像データである。尚、シーンに含まれる物体は箱や車、人物に限られず、光源４の位置に応じて色が変化しやすい物体であれば建造物など他の物体でもよい。また、物体の数及び配置も図１の例に限られず、鏡面球が各物体と略同一位置に配置できればどのような配置であってもよい。教師データは、上述したように、光源の位置を変化させながらシーンに含まれる各物体と同一位置に配置された複数の鏡面球を複数回撮像して得られる画像データである。学習画像取得部２０１は、光源の位置が同じ条件において撮像された画像データをセットとして取得する。学習モデル生成部２０２は、生徒データと教師データとの複数のセットに基づいて、光源を含む環境に関する情報を推定するための学習モデルを生成する。本実施形態における学習モデルは、入力画像データから、入力画像データに対応する鏡面球の画像データを出力するニューラルネットワークに基づくネットワーク構造とそのパラメータである。

ここでニューラルネットワークについて説明する。尚、ニューラルネットワークの原理自体は公知であるため、簡単に説明する。図７は、ニューラルネットワークを説明する図である。図７では中間層を１層としているが、２層以上で中間層を構成することが望ましい。図７に示すニューラルネットワークでは、入力層はＭｉ個のノード（ｎ１１、ｎ１２、…、ｎ１Ｍｉ）を有し、中間層はＭｈ個のノード（ｎ２１、ｎ２２、…、ｎ２Ｍｈ）を有し、出力層（最終層）はＭｏ個のノード（ｎ３１、ｎ３２、…、ｎ３Ｍｏ）を有している。そして、各層のノードは隣接する層の全てのノードと結合しており、階層間で情報伝達を行う３層の階層型ニューラルネットワークを構成している。

入力層に画像を入力する場合、該入力層には、画素とノードとが１対１となるように、画素数分のノードを設ける。また、出力層においても出力する画素数分のノードが設定されている。例えば、１６画素×１６画素の画像が入力される場合、１６画素×１６画素の画素値を出力するため、入力層および出力層におけるノードは２５６個である。データは、図７の左から右へ、即ち、入力層、中間層、出力層の順で受け渡される。入力層の各ノードは中間層のすべてのノードに接続され、ノード間の接続はそれぞれ重みを持っている。一方のノードから結合を通して他方のノードに伝達される際の出力値は、結合の重みによって増強あるいは減衰される。このような接続に定められた重み係数、バイアス値の集合は学習モデルのパラメータである。なお活性化関数については特に限定しないが、ロジスティックシグモイド関数やＲｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ（ＲｅＬＵ）関数などを用いれば良い。学習方法としては、種々提案されているニューラルネットワークの学習方法を適用すれば良い。例えば、入力層に生徒データを入力してニューラルネットワークを動作させた場合に出力層から得られる出力と、該生徒データに予め対応づけられている教師データと、の差分を計算し、該差分を極小化するように、重み係数及びバイアス値を調整する。

情報処理装置２は、入力画像取得部２１１、球画像生成部２１２、指定受付部２１３、抽出部２１４、推定部２１５、表示制御部２１６を有する。入力画像取得部２１１は、複数の物体を含むシーンを撮像して得られる入力画像データを取得する。本実施形態においては、生徒データと同様に、箱Ａ、箱Ｂ、車Ｃ、人物Ｄを含むシーンが撮像されることにより入力画像データが得られる。尚、シーンに含まれる物体は、人物や車に限られないが、学習に用いられた物体が含まれていることが望ましい。球画像生成部２１２は、情報処理装置１が生成した学習モデルを用いて、鏡面球画像データを生成する。具体的には、学習モデルに入力画像取得部２１１が取得した入力画像データを入力することによって、学習モデルから出力される鏡面球画像データを取得する。指定受付部２１３は、ユーザが指定した領域を表す領域情報を取得する。具体的には、指定受付部２１３は、ディスプレイ１１５に表示された入力画像においてユーザが指定した領域の座標を領域情報として取得する。図１２は、ユーザの指定を受け付ける方法を説明するための図である。ディスプレイ１１５に表示された入力画像１２０１は４つの領域に区切られており、ユーザにより箱Ａを含む領域が指定されている。以下、入力画像において箱Ａを含む領域を領域Ａと呼ぶ。枠１２０２は、指定されている領域を示している。ＯＫボタン１２０３は、指定が完了した場合に押下されるボタンである。抽出部２１４は、領域情報に基づいて、入力画像においてユーザが指定した領域と同じ座標の領域を鏡面球画像から抽出する。つまり、領域情報が領域Ａを表す場合、抽出部２１４は、鏡面球画像における鏡面球Ｅを含む領域（以下、領域Ｅと呼ぶ）を抽出する。推定部２１５は、鏡面球画像データに基づいて、複数の物体を含むシーンを撮像する際の環境に含まれる光源の情報を推定する。本実施形態において推定する光源の情報は、入力画像データを得るための撮像の際に、ユーザに指定された領域に対応する物体に光を照射する光源の方向である。ユーザに指定された領域に対応する物体に光を照射する光源の方向を推定する方法は後述する。

表示制御部２１６は、入力画像データが表す入力画像と、推定部２１５により推定された光源の方向を特定する情報と、を併せてディスプレイ１１５に表示させる。光源の方向を表示する際の表示例を図８（ａ）に示す。入力画像８１と指定された領域Ａを示す枠８２とが表示されている。また、光源の方向を表す矢印８３が領域Ａに重畳して表示されている。尚、光源の方向を示す方法は矢印に限られない。例えば、図８（ｂ）のように、光源に近い位置を明るく、光源から遠い位置を暗くするグラデーションを指定された領域に付加してもよい。

＜情報処理装置１が実行する処理（学習モデルの生成）＞
図９（ａ）は、情報処理装置１が実行する処理を示すフローチャートである。以下、図９（ａ）を参照して情報処理装置１の処理の詳細を説明する。図９（ａ）のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３０１において、学習画像取得部２０１は、生徒データと教師データとの複数のセットを取得する。Ｓ３０２において、学習モデル生成部２０２は、生徒データと教師データとの複数のセットに基づいて、光源の方向を推定するために用いられる学習モデルを生成する。Ｓ３０３において、学習モデル生成部２０２は、生成した学習モデルを情報処理装置２に出力する。

＜情報処理装置２が実行する処理（光源情報の推定）＞
図９（ｂ）は、情報処理装置１が実行する処理を示すフローチャートである。以下、図９（ｂ）を参照して情報処理装置１の処理の詳細を説明する。図９（ｂ）のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３１１において、入力画像取得部２１１は、入力画像データを取得する。Ｓ３１２において、指定受付部２１３は、ユーザが指定した領域を表す領域情報を取得する。Ｓ３１３において、球画像生成部２１２は、入力画像データと学習モデルとに基づいて、鏡面球画像データを生成する。Ｓ３１４において、抽出部２１４は、領域情報に基づいて、入力画像においてユーザが指定した領域と同じ座標の領域を鏡面球画像から抽出する。Ｓ３１５において、推定部２１５は、鏡面球画像から抽出された領域に基づいて、ユーザに指定された領域に対応する物体に光を照射する光源の方向を推定する。以下に光源の方向を推定する方法の詳細を説明する。

鏡面球画像データが表す画像内の鏡面球には、図４のように光源が写り込んでいる。図１０は、光源４から対象の物体へ照射する光の方向を表す光源ベクトルを導出する処理を説明するための図である。円１００１は、鏡面球画像における鏡面球６であり、対象の物体の表面に対して方位角方向のどの角度に光源が存在するかを示している。半円１００２は、対象の物体の表面に対して仰角方向のどの角度に光源が存在するかを示している。Ｓ３１５において、推定部２１５は、まず、鏡面球画像における鏡面球６に対応する領域の中心の画素位置を導出する。具体的には、鏡面球画像の画素値を２値化する。この２値化処理は、所定の閾値以上の画素値を有する画素を白、所定の閾値未満の画素値を有する画素を黒とする２値化処理である。２値化処理後の鏡面球画像において公知のキャニー法を用いてエッジ位置を抽出し、８つの近傍画素にエッジ位置がある画素を同一の輪郭とみなしてグループ化する輪郭抽出を行う。抽出した複数の輪郭グループの中から円又は楕円の輪郭を選択する。円又は楕円の輪郭が１つである場合は、その１つを鏡面球６に対応する領域とし、エッジ位置上において所定の距離以上離れた３点の重心を、鏡面球６に対応する領域の中心の画素位置とする。尚、重心の導出の方法は、エッジ位置上の少なくとも３点を用いればよく、より多くの点を用いることによって、より高精度に鏡面球６に対応する領域の中心の画素位置を導出できる。円又は楕円の輪郭が複数ある場合は、輪郭内の平均輝度が最も高い輪郭を、鏡面球６に対応する領域とする。次に、鏡面球６に映り込んだ光源４の中心の画素位置を導出する。ここでは、鏡面球画像における鏡面球６に対応する領域の中で、輝度が最も大きい画素を光源４の中心の画素位置とする。

次に、推定部２１５は、図１０に示すｘｌ、ｙｌを算出する。ｘｌ、ｙｌはそれぞれ、鏡面球６に対応する領域の中心の画素位置から、光源４の中心の画素位置までのｘ方向、ｙ方向の画素数である。次に、式（１）を用いて、ｚｌを導出する。

ここで、ｒは鏡面球画像における鏡面球６の半径である。半径ｒは、鏡面球６に対応する領域の中心の画素位置から、鏡面球６に対応する領域のエッジ位置までの画素数とする。以上の処理により、光源の方向を示す光源ベクトル（ｘｌ，ｙｌ，ｚｌ）が得られる。

Ｓ３１６において、表示制御部２１６は、入力画像データが表す入力画像と、推定部２１５により推定された光源の方向を特定する情報と、を併せてディスプレイ１１５に表示させる。

＜第１実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、光源から光が照射された物体を含むシーンを撮像して得られる撮像画像データを取得する。ユーザにより指定された、撮像画像データが表す撮像画像における領域を表す領域情報を受け付ける。撮像画像データに基づいて、ユーザにより指定された領域に対応する物体に光を照射する光源の方向を推定する。推定した光源の方向を特定するための情報を、撮像画像と併せて表示部に表示する。これにより、撮像画像上の任意の領域に対応する物体がどの方向から光が照射されているかをユーザに知らせることができる。

［変形例］
上述した実施形態においては、情報処理装置１と情報処理装置２とが別々の装置であったが、１つの情報処理装置が、学習モデルの生成、光源情報の推定を行っても良い。

上述した実施形態においては、生成した学習モデルから出力された鏡面球画像を基に光源の方向を推定したが、光源の位置や、物体の周囲にある光源の数、光源の色温度を推定しても良い。

上述した実施形態においては、ユーザに指定された領域は１つであったが、複数の領域が指定されてもよい。この場合、光源の方向はユーザに指定された領域毎に導出される。

上述した実施形態においては、光源の方向を表示して処理を終了したが、ユーザに指定された領域に対してリライティング処理をさらに行ってもよい。リライティング処理には公知の方法を用いることができる。これにより、任意の領域において、仮想的に光源の方向を変えることによる陰影を付加することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２ 情報処理装置
２１１ 入力画像取得部
２１３ 指定受付部
２１５ 推定部
２１６ 表示制御部

Claims (10)

1. 光源から光が照射された物体を含むシーンを撮像して得られる撮像画像データを取得する取得手段と、
   ユーザにより指定された、前記撮像画像データが表す撮像画像における領域を表す領域情報を受け付ける受付手段と、
   前記撮像画像データに基づいて、前記ユーザにより指定された領域に対応する前記物体に光を照射する前記光源の方向を推定する推定手段と、
   前記推定された光源の方向を特定するための情報を、前記撮像画像と併せて表示手段に表示する表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記受付手段は、前記撮像画像における複数の領域に対応する前記領域情報を取得し、
   前記推定手段は、前記ユーザにより指定された領域毎に、前記光源の方向を推定することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記推定された光源の方向を表す矢印を、前記撮像画像に重畳して前記表示手段に表示することを特徴とする請求項１又は請求項２に記載の情報処理装置。
4. 前記表示制御手段は、前記推定された光源の方向を特定するためのグラデーションを、前記撮像画像に付加することを特徴とする請求項１又は請求項２に記載の情報処理装置。
5. 前記ユーザにより指定された領域に対してリライティング処理を行うリライティング手段をさらに有することを特徴とする請求項１乃至請求項４のいずれか一項に記載の情報処理装置。
6. 前記推定手段は、前記光源の方向を機械学習により推定することを特徴とする請求項１乃至請求項５のいずれか一項に記載の情報処理装置。
7. 鏡面球を撮像して得られる画像データを用いて前記光源の方向を推定するための学習モデルを生成する生成手段をさらに有することを特徴とする請求項６に記載の情報処理装置。
8. 撮像画像を表示する表示手段と、
   前記表示されている撮像画像において、ユーザからの領域の指定を受け付ける受付手段と、を有し、
   前記表示手段は、前記ユーザから指定された領域に対応する物体に光を照射する光源の方向を表す矢印を、前記撮像画像に重畳して表示することを特徴とする情報処理装置。
9. コンピュータを請求項１乃至請求項７のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
10. 光源から光が照射された物体を含むシーンを撮像して得られる撮像画像データを取得する取得ステップと、
    ユーザにより指定された、前記撮像画像データが表す撮像画像における領域を表す領域情報を受け付ける受付ステップと、
    前記撮像画像データに基づいて、前記ユーザにより指定された領域に対応する前記物体に光を照射する前記光源の方向を推定する推定ステップと、
    前記推定された光源の方向を特定するための情報を、前記撮像画像と併せて表示手段に表示する表示制御ステップと、
    を有することを特徴とする情報処理方法。

Images