JP2023021670A - 画像処理装置、撮像システム、及び照明装置 - Google Patents

Abstract

【課題】撮影された画像においてユーザの意図に沿った照明効果を実現し易くすることができる画像処理装置、撮像システム及び照明装置を提供する。【解決手段】画像処理装置（３００）は、撮影環境（１５）において撮像装置（１００）により被写体（１１）が撮像された元画像を示す第１画像データを取得する第１取得部（３５０）と、撮影環境における照明装置（２００）から被写体に照射した照明光による分布を示す照度分布情報を取得する第２取得部（３５０）と、仮想的な照明を設定するユーザ操作を受け付ける操作部（３３０）と、照度分布情報を参照して、ユーザ操作により設定された仮想的な照明に応じた照明効果を元画像に付与するように第１画像データを補正して、補正結果の画像を示す第２画像データを生成する制御部（３１０）とを備える。【選択図】図１

Description

本開示は、撮影された画像に対する後処理を行う画像処理装置、撮像システム、及び照明装置に関する。

特許文献１は、画像の高輝度領域を補正した上で、立体感のある自然な画像を生成することを目的とした画像処理装置を開示する。この画像処理装置は、距離画像データに基づいて、補正の対象とする画像に対応する法線情報を取得しており、画像に含まれる被写体の高輝度領域に基づいて、実照明パラメータを推定している。さらに、この画像処理装置は、推定した実照明パラメータに基づいて、仮想照明の向きと実照明の向きとの成す角度が所定の角度以上、大きくならないように、仮想照明パラメータを設定する。こうした法線情報と仮想照明パラメータに基づいて、画像に対してライティング処理が実行されている。

特開２０１８－１６３６４８号公報

本開示は、撮影された画像においてユーザの意図に沿った照明効果を実現し易くすることができる画像処理装置、撮像システム及び照明装置を提供する。

本開示における画像処理装置は、撮影環境において撮像装置により被写体が撮像された元画像を示す第１画像データを取得する第１取得部と、撮影環境における照明装置から被写体に照射した照明光による分布を示す照度分布情報を取得する第２取得部と、仮想的な照明を設定するユーザ操作を受け付ける操作部と、照度分布情報を参照して、ユーザ操作により設定された仮想的な照明に応じた照明効果を元画像に付与するように第１画像データを補正して、補正結果の画像を示す第２画像データを生成する制御部とを備える。

本開示における撮像システムは、被写体を撮像して、第１画像データを生成する撮像装置と、画像処理装置とを備える。画像処理装置は、撮像装置によって生成された第１画像データが示す元画像に、照明効果を付与するように第１画像データを補正して、第２画像データを生成する。

本開示における照明装置は、被写体の撮影環境に照明光を照射して、撮影結果の元画像を補正する画像処理のための照度分布情報を生成する。照明装置は、互いに異なる複数の光源位置から照明光を個別に発光する発光部と、複数の光源位置から照射された各照明光の反射光をそれぞれ受光して、被写体に照射された照明光による分布を含む照度分布情報を生成する受光部とを備える。

本開示における画像処理装置、撮像システム及び照明装置によると、撮影された画像においてユーザの意図に沿った照明効果を実現し易くすることができる。

本開示の実施形態１に係る撮像システムを説明するための図 撮像システムにおけるデジタルカメラの構成を示す図 撮像システムにおける照明装置の構成を例示する図 照明装置の構造を例示する前面図 撮像システムにおける映像編集ＰＣの構成を例示する図 撮像システムにおける照明編集画面の表示例を示す図 撮像システムの映像編集ＰＣにおける処理を例示するフローチャート 撮像システムにおける仮想照明の画像処理を説明するためのフローチャート 撮像システムの照明装置による照度分布データを例示する図 撮像システムの照明装置の動作を説明するための図 仮想照明の画像処理における反射率マップを例示する図 仮想照明の画像処理における座標変換を説明するための図 仮想照明の画像処理における照明効果の演算を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態１）
実施形態１では、本開示に係る撮像システムを映像制作の現場に適用した例について説明する。

１．構成
本開示の実施形態１に係る撮像システムについて、図１を用いて説明する。

本実施形態に係る撮像システム１０は、例えば図１に示すように、デジタルカメラ１００と、照明装置２００と、映像編集ＰＣ（パーソナルコンピュータ）３００とを備える。本システム１０は、例えば撮影者などのユーザが所望の演出において被写体１１の動画又は静止画といった各種の映像を制作する用途に適用可能である。図１では、こうした映像制作の用途において被写体１１が撮影される撮影現場１５に、本システム１０が配置された一例を示す。

従来より、映像制作の撮影現場１５において、撮影者等が所望の雰囲気を演出したり、被写体１１の影を除去したりする照明効果を得るために、種々の照明機材が用いられている。従来の照明技術では、所望の照明効果を得るために適切な照明機材を入手し、照明機材を適切な位置に配置するといった準備を、映像の撮影前に行う必要があった。こうした準備は、適切に行うためには照明技術に関する高度な専門知識を必要としている。例えば、照明機材の配置等が不適切であった場合には映像の撮影をやり直すといった手戻りが生じる等、照明効果の制約が自由度の高い映像制作を実現し難くしていた。

そこで、本実施形態に係る撮像システム１０は、従来の照明機材とは異なる新たな照明装置２００を、デジタルカメラ１００による映像の撮影時に用いることで、映像を撮影してから事後的に、映像編集ＰＣ３００において照明効果を付与することを可能にする。本システム１０によると、特に高難度な照明機材の準備を行う必要なく、後処理で所望の照明効果を編集できるといった自由度の高い映像制作を実現可能にすることができる。

本システム１０は、例えば図１に示すように、撮影現場１５にデジタルカメラ１００及び照明装置２００を配置して用いられる。例えば、図１の配置例では、本システム１０のデジタルカメラ１００が、撮影現場１５において被写体１１を撮影するための位置に配置されている。

本システム１０の照明装置２００は、こうした撮影現場１５において、例えばデジタルカメラ１００により撮影される画角範囲を含む広範囲に照明光を照射できる程度の位置に配置される。本システム１０のユーザは、特に従来の照明機材のように、被写体１１の影を無くすなどの精密な配置を行わずに、照明装置２００を利用できる。

本システム１０において、デジタルカメラ１００、照明装置２００及び映像編集ＰＣ３００のうちの一部又は全ては、相互に有線又は無線通信によりデータ通信可能に接続されてもよい。例えば、デジタルカメラ１００が、照明装置２００の動作を同期制御してもよいし、映像編集ＰＣ３００に撮影結果などのデータを自動転送してもよい。又、例えば映像編集ＰＣ３００は、特に通信接続しなくてもよく、例えばユーザが可搬性を有する記憶媒体を用いて、デジタルカメラ１００等から得た各種データを映像編集ＰＣ３００に入力してもよい。

以下、本システム１０における各装置１００，２００，３００の構成について説明する。

１－１．デジタルカメラの構成
本実施形態におけるデジタルカメラ１００の構成について、図２を用いて説明する。

図２は、本システム１０におけるデジタルカメラ１００の構成を例示する図である。デジタルカメラ１００は、本実施形態における撮像装置の一例である。本実施形態のデジタルカメラ１００は、イメージセンサ１１５と、画像処理エンジン１２０と、表示モニタ１３０と、制御部１３５とを備える。さらに、デジタルカメラ１００は、バッファメモリ１２５と、カードスロット１４０と、フラッシュメモリ１４５と、操作部１５０と、通信モジュール１５５とを備える。また、デジタルカメラ１００は、例えば光学系１１０及びレンズ駆動部１１２を備える。

光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ）、絞り、シャッタ等を含む。フォーカスレンズは、イメージセンサ１１５上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズ等は、それぞれ１枚又は複数枚のレンズで構成される。

レンズ駆動部１１２は、光学系１１０におけるフォーカスレンズ等を駆動する。レンズ駆動部１１２はモータを含み、制御部１３５の制御に基づいてフォーカスレンズを光学系１１０の光軸に沿って移動させる。レンズ駆動部１１２においてフォーカスレンズを駆動する構成は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。

イメージセンサ１１５は、光学系１１０を介して形成された被写体像を撮像して、撮像データを生成する。撮像データは、イメージセンサ１１５による撮像画像を示す画像データを構成する。イメージセンサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。イメージセンサ１１５における、撮像データの生成タイミングおよび電子シャッタ動作は、制御部１３５によって制御される。イメージセンサ１１５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。

イメージセンサ１１５は、静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが静止画像の撮像のための構図を決めるために表示モニタ１３０に表示される。スルー画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。イメージセンサ１１５は、本実施形態における撮像部の一例である。

画像処理エンジン１２０は、イメージセンサ１１５から出力された撮像データに対して各種の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ１３０に表示するための画像を生成したりする。各種処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理エンジン１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。

表示モニタ１３０は、種々の情報を表示する表示部の一例である。例えば、表示モニタ１３０は、イメージセンサ１１５で撮像され、画像処理エンジン１２０で画像処理された画像データが示す画像（スルー画像）を表示する。また、表示モニタ１３０は、ユーザがデジタルカメラ１００に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ１３０は、例えば、液晶ディスプレイデバイスまたは有機ＥＬデバイスで構成できる。

操作部１５０は、デジタルカメラ１００の外装に設けられた操作ボタンや操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部１５０は、例えば、レリーズボタン、モードダイヤル、タッチパネルを含む。操作部１５０はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号を制御部１３５に送信する。

制御部１３５は、デジタルカメラ１００全体の動作を統括制御する。制御部１３５はＣＰＵ等を含み、ＣＰＵがプログラム（ソフトウェア）を実行することで所定の機能を実現する。制御部１３５は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、制御部１３５は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。制御部１３５は１つまたは複数のプロセッサで構成してもよい。また、制御部１３５は、画像処理エンジン１２０などと共に１つの半導体チップで構成してもよい。

バッファメモリ１２５は、画像処理エンジン１２０や制御部１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ(Dynamic Random Access Memory)などにより実現される。フラッシュメモリ１４５は不揮発性の記録媒体である。また、図示していないが、制御部１３５は各種の内部メモリを有してもよく、例えばＲＯＭを内蔵してもよい。ＲＯＭには、制御部１３５が実行する様々なプログラムが記憶されている。また、制御部１３５は、ＣＰＵの作業領域として機能するＲＡＭを内蔵してもよい。

カードスロット１４０は、着脱可能なメモリカード１４２が挿入される手段である。カードスロット１４０は、メモリカード１４２を電気的及び機械的に接続可能である。メモリカード１４２は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード１４２は、画像処理エンジン１２０で生成される画像データなどのデータを格納できる。

通信モジュール１５５は、有線又は無線通信における所定の通信規格に従って外部機器に接続するモジュール（回路）である。所定の通信規格は、例えばＵＳＢ、ＨＤＭＩ（登録商標）、ＩＥＥＥ８０２．１１、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等を含む。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と通信することができる。

１－２．照明装置の構成
本実施形態における照明装置２００の構成について、図３～４を用いて説明する。

図３は、本システム１０における照明装置２００の構成を例示する図である。照明装置２００は、例えば図３に示すように、発光部２１０と、受光部２２０と、制御部２３０と、記憶部２４０と、通信部２５０とを備える。照明装置２００の構造を図４に例示する。

図４は、照明装置２００におけるヘッド部２０１を、照明光が出射する方向から見た前面図を例示する。ヘッド部２０１は、照明装置２００において発光部２１０及び受光部２２０が組み付けられた部分である。照明装置２００は、例えば、ヘッド部２０１を支持するアーム部２０２などをさらに備える。

照明装置２００において、発光部２１０は、例えば可視領域の各種波長を有する照明光を発光するように、各種光源装置で構成される。発光部２１０は、例えば図４に示すように、複数の照明光源２１１～２１３を含む。図４では、発光部２１０が３個の照明光源２１１～２１３で構成される例を示す。照明装置２００の発光部２１０はこれに限らず、例えば４個以上の照明光源２１１～２１３を含んでもよい。以下、照明光源２１１～２１３の総称を照明光源２１という。

照明光源２１は、例えば波長可変式のＬＥＤであり、所定の配光角においてＲＧＢ等の複数色の照明光を発光する。照明光源２１は、それぞれ複数色の単色ＬＥＤ等を含んでもよい。照明光源２１の配光角は、例えば撮影現場１５において被写体１１を含む空間範囲に照明光が照射されるように設定される。互いに同じ波長を有する照明光を発光可能に構成される。発光部２１０は、照明光源２１から照明光として白色光を発光してもよい。

例えば発光部２１０における第１～第３の照明光源２１１～２１３は、ヘッド部２０１において受光部２２０の周囲を囲むように配置される。こうした配置により、発光部２１０は、第１～第３の照明光源２１１～２１３において互いに異なる光源位置を有する。第１～第３の照明光源２１１～２１３は、それぞれ共通の空間範囲に照明光を照射する向きに配置される。

受光部２２０は、発光部２１０の照明光に対応する可視領域の光を受光可能に構成された受光面を有する。受光部２２０は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ又はＮＭＯＳイメージセンサ等の各種の撮像素子で構成される。受光部２２０は、例えばモノクロ画像を撮像して、受光結果として照度の空間分布を示すデータを生成する。受光部２２０はモノクロに限らず、ＲＧＢ等のカラーフィルタを含んでもよい。受光部２２０は、各色の画像を、各色光における受光結果としてデータ出力してもよい。

制御部２３０は、例えば照明装置２００の全体動作を制御する。制御部２３０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを含む。制御部２３０、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部２３０は、ＣＰＵ、ＭＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。

記憶部２４０は、照明装置２００の機能を実現するために必要なプログラム及びデータを記憶するＲＯＭやＲＡＭを含む。記憶部２４０は、例えば各照明光源２１１～２１３と、受光部２２０との位置関係を示す情報を格納する。

通信部２５０は、有線又は無線通信における所定の通信規格に従って外部機器に接続するモジュール（回路）である。所定の通信規格は、例えばＵＳＢ、ＨＤＭＩ、ＩＥＥＥ８０２．１１、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等を含む。

１－３．映像編集ＰＣの構成
本実施形態における映像編集ＰＣ３００の構成について、図５を用いて説明する。

図５は、映像編集ＰＣ３００の構成を例示する図である。映像編集ＰＣ３００は、パーソナルコンピュータで構成される画像処理装置の一例である。図５に例示する映像編集ＰＣ３００は、制御部３１０と、記憶部３２０と、操作部３３０と、表示部３４０と、通信部３５０とを備える。

制御部３１０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを含む。制御部３１０は、例えば映像編集ＰＣ３００の全体動作を制御する。制御部３１０は、記憶部３２０に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。

制御部３１０は、例えば上記各機能を実現するための命令群を含んだプログラムを実行する。上記のプログラムは、通信ネットワーク１３から提供されてもよいし、可搬性を有する記録媒体に格納されていてもよい。また、制御部３１０は、上記各機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部３１０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＧＰＧＰＵ、ＴＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。

記憶部３２０は、映像編集ＰＣ３００の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部３２０は、図５に示すように、格納部３２１及び一時記憶部３２２を含む。

格納部３２１は、所定の機能を実現するためのパラメータ、データ及び制御プログラム等を格納する。格納部３２１は、例えばＨＤＤ又はＳＳＤで構成される。例えば、格納部３２１は、上記のプログラム、及び各種の画像データなどを格納する。

一時記憶部３２２は、例えばＤＲＡＭ又はＳＲＡＭ等のＲＡＭで構成され、データを一時的に記憶（即ち保持）する。例えば、一時記憶部３２２は、編集途中の画像データなどを保持する。また、一時記憶部３２２は、制御部３１０の作業エリアとして機能してもよく、制御部３１０の内部メモリにおける記憶領域で構成されてもよい。

操作部３３０は、ユーザが操作を行う操作部材の総称である。操作部３３０は、例えば、キーボード、マウス、タッチパッド、タッチパネル、ボタン及びスイッチ等であってもよい。操作部３３０は、表示部３４０上に表示される仮想的なボタンやアイコン、カーソル、オブジェクトといった各種のＧＵＩも含む。

表示部３４０は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイで構成される出力部の一例である。表示部３４０は、操作部３３０を操作するための各種ＧＵＩ及び操作部３３０から入力された情報など、各種の情報を表示してもよい。

通信部３５０は、有線又は無線通信における所定の通信規格に従って外部機器に接続するモジュール（回路）である。所定の通信規格は、例えばＵＳＢ、ＨＤＭＩ、ＩＥＥＥ８０２．１１、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等を含む。通信部３５０は、インターネット等の通信ネットワークに映像編集ＰＣ３００を接続してもよい。通信部３５０は、外部機器または通信ネットワークから諸情報を受信する取得部の一例である。

以上のような映像編集ＰＣ３００の構成は一例であり、映像編集ＰＣ３００の構成はこれに限らない。例えば、映像編集ＰＣ３００における取得部は、制御部３１０等における各種ソフトウェアとの協働によって実現されてもよい。映像編集ＰＣ３００における入力部は、各種記憶媒体（例えば格納部３２１）に格納された諸情報を制御部３１０の作業エリア（例えば一時記憶部３２２）に読み出すことによって、諸情報の取得を行うものであってもよい。

また、映像編集ＰＣ３００の表示部３４０には、プロジェクタおよびヘッドマウントディスプレイなど各種の表示デバイスが用いられてもよい。また、例えば外付けの表示デバイスを用いる場合、映像編集ＰＣ３００の表示部３４０は、例えばＨＤＭＩ規格などに準拠した映像信号等の出力インタフェース回路であってもよい。

２．動作
以上のように構成される撮像システム１０の動作について、以下説明する。

本システム１０では、例えばユーザが撮影現場１５においてデジタルカメラ１００により被写体１１の映像を撮影する際に、照明装置２００が、被写体１１を含む撮影現場１５における照度の空間分布を示す照度分布データを取得する。

例えば、デジタルカメラ１００は、ユーザの操作に応じて撮影現場１５において被写体１１の映像を撮影して、撮影結果の画像データを生成する。又、照明装置２００は、発光部２１０において第１～第３の照明光源２１１～２１３を順番に発光させ、受光部２２０において時分割で各照明光源２１１～２１３の反射光を受光して、照明光源２１毎に照度分布データを生成する。

本システム１０の映像編集ＰＣ３００は、例えば上記のような撮影結果の画像データと共に照度分布データを入力し、仮想的な照明を設定するためのユーザ操作に応じて画像データの照明効果を編集する後処理を実行する。映像編集ＰＣ３００の表示部３４０における表示例を図６に示す。

図６は、本システム１０における照明編集画面の表示例を示す。例えば、映像編集ＰＣ３００の表示部３４０に表示される照明編集画面は、仮想照明の設定領域Ｒ１と、元画像領域Ｒ２と、補正画像領域Ｒ３とを含む。

仮想照明の設定領域Ｒ１は、ユーザが所望の仮想照明を設定するための操作を受け付ける領域である。図６に例示する仮想照明の設定領域Ｒ１においては、仮想的な照明機材Ｅａ，Ｅｂが、環境画像Ｇ１上に、ユーザ操作に応じて配置される。環境画像Ｇ１は、例えばデジタルカメラ１００の画角範囲を含む広範囲において撮影現場１５を示す。

元画像領域Ｒ２は、デジタルカメラ１００により撮像された、編集の対象とする画像、即ち元画像が表示される領域である。補正画像領域Ｒ３は、仮想照明の設定領域Ｒ１において設定された仮想の照明機材Ｅａ，Ｅｂによる照明効果を元画像に反映した画像、即ち補正画像が表示される領域である。各画像領域Ｒ２，Ｒ３は、例えば動画を表示可能である。

こうした照明編集画面においては、仮想照明の設定領域Ｒ１にユーザ操作が入力されると、これに対応する照明効果が、元画像領域Ｒ２と補正画像領域Ｒ３間の変化として確認できる。本システム１０のユーザは、例えば撮影現場１５の環境画像Ｇ１上で仮想の照明機材Ｅａ，Ｅｂの配置等を調整しながら、各画像領域Ｒ２，Ｒ３を確認することにより、所望の照明効果を容易に得ることができる。

本システム１０においては、上記のような編集の後処理において、撮影現場１５の照明装置２００により得られる照度分布データを用いることにより、現実の撮影結果の画像データに対する仮想照明の照明効果を精度良くすることができる。本システム１０の動作の詳細を以下、説明する。

２－１．動作の詳細
本システム１０において仮想照明の照明効果を得る動作について、図７を用いて説明する。

図７は、本システム１０の映像編集ＰＣ３００における処理を例示するフローチャートである。図７のフローチャートに示す各処理は、例えば、撮影現場１５における撮影後に、映像編集ＰＣ３００の制御部３１０によって実行される。

まず、映像編集ＰＣ３００の制御部３１０は、例えばデジタルカメラ１００から、通信部３５０によるデータ通信を介して、デジタルカメラ１００が生成した撮影結果の画像データを取得する（Ｓ１）。デジタルカメラ１００の撮影結果の画像データは、例えばメモリカード等の記憶媒体など、他の機器を介して取得されてもよい。

また、制御部３１０は、例えば照明装置２００から、通信部３５０によるデータ通信を介して、照明装置２００が生成した照度分布データを取得する（Ｓ２）。例えば静止画の撮影時に、照明装置２００の制御部２３０は、デジタルカメラ１００による画像撮影前に、照度分布データを生成する動作を実行する。照度分布データの生成は、例えばＲＧＢ等の色別に行われる。例えば、照明装置２００は、各照明光源２１から色別の照明光を順次、発光する。

上記のような照明装置２００の動作は、特に撮影現場１５における被写体１１とその環境が適宜許容誤差の範囲内で変化しない程度の撮影前後に行われてもよい。又、照明装置２００の動作は、デジタルカメラ１００等によって外部から制御されてもよい。又、照度分布データは、デジタルカメラ１００が照明装置２００とのデータ通信により受信して、対応する画像データとまとめて管理してもよい。映像編集ＰＣ３００は、照明装置２００による照度分布データを、他の各種機器を介して取得してもよい。

また、デジタルカメラ１００において動画が撮影される場合、上記の照明装置２００の動作は、例えば動画の撮影中に、デジタルカメラ１００の動作と同期制御することによって行われる。例えば、デジタルカメラ１００のフレーム毎の画像撮影用の露光期間（例えば数十ｍｓ）と、照度の情報取得用の露光期間（例えば数十ｍｓ）とが排他的に制御されてもよい。或いは、ＴＯＦセンサ等を併用することにより、照度分布データを一旦取得してから、その後の動的な変化を推定するように時刻毎の照度分布データが生成されてもよい。

制御部３１０は、例えば上記のように取得される各種データに基づき照明編集画面（図６）を表示部３４０に表示させ、操作部３３０における照明編集画面のユーザ操作に応じて、仮想照明の各種設定を示す設定情報を取得する（Ｓ３）。

例えば、ステップＳ３において制御部３１０は、デジタルカメラ１００の撮影結果として取得した画像データ（Ｓ１）を元画像として、照明編集画面における元画像領域Ｒ２に表示させる。又、制御部３１０は、照明装置２００の受光結果として取得した照度分布データ（Ｓ２）に基づいて、環境画像Ｇ１を生成して、仮想照明の設定領域Ｒ１に表示させる。制御部３１０は、こうして表示される照明編集画面に対する各種のユーザ操作を、操作部３３０において受け付ける。ユーザ操作の入力前において、補正画像領域Ｒ３は、元画像領域Ｒ２と同じ元画像を表示してもよいし、空欄表示であってもよい。

例えばステップＳ３において、制御部３１０は、仮想照明の設定領域Ｒ１において撮影現場１５を示す環境画像Ｇ１上で、仮想の照明機材Ｅａ，Ｅｂの位置および向きといった配置を設定するユーザ操作を受け付ける。こうした仮想の照明機材Ｅａ，Ｅｂの配置は、例えば広角の環境画像Ｇ１により、元画像（及び補正画像）の範囲外においても容易に調整できる。

また、ステップＳ３においては、仮想の照明機材Ｅａ，Ｅｂの個数を増減したり、個々の照明機材Ｅａ，Ｅｂの設定パラメータを調整するユーザ操作も入力可能である。図６の例では、仮想の照明機材Ｅａについての設定パラメータの入力欄Ｗ１が表示されている。設定パラメータは、例えば照明光の強度、色温度、および配光角などを含む。制御部３１０は、以上のような各種のユーザ操作に応じて、各照明機材Ｅａ，Ｅｂの配置及び設定パラメータを、仮想照明の設定情報として取得する（Ｓ３）。

次に、制御部３１０は、以上のように取得される画像データ、照度分布データ、及び仮想照明の設定情報に基づいて、仮想照明の照明効果を元画像に付与する画像処理を行う（Ｓ４）。仮想照明の画像処理（Ｓ４）では、照明装置２００による照度分布データが示す、別々の光源位置に対する撮影現場１５の照度分布の間の差異に基づいて、実際に撮像された元画像が補正され、ユーザ操作に応じた仮想照明の照明効果を有する補正画像が得られる。仮想照明の画像処理（Ｓ４）の詳細については後述する。

制御部３１０は、例えば、照明編集画面における補正画像領域Ｒ３に、仮想照明の画像処理（Ｓ４）の結果の補正画像を表示させた状態で各種のユーザ操作を受け付けて、例えば編集の終了操作が入力されたか否かを判断する（Ｓ５）。例えば、ユーザが仮想の照明機材Ｅａ，Ｅｂの各種設定を変更するように仮想照明の設定領域Ｒ１を操作すると、制御部３１０は、ステップＳ５でＮＯに進み、変更された仮想照明の設定に応じてステップＳ３以降の処理を再び行う。

編集の終了操作が入力されると（Ｓ５でＹＥＳ）、制御部３１０は、例えば最終的に仮想照明の画像処理（Ｓ４）で得られた補正画像を示す画像データを、編集結果として記憶部３２０に格納する（Ｓ６）。

制御部３１０は、例えば編集結果の画像データの記録（Ｓ６）により、図７のフローチャートに示す処理を終了する。

以上の本システム１０の動作によると、撮影時に取得された撮影現場１５の被写体１１の照度分布を利用して、映像編集ＰＣ３００において事後的に仮想照明の照明効果をユーザに確認させながら調整可能な後処理を実現できる。

２－２．仮想照明の画像処理
図７のステップＳ４における仮想照明の画像処理について、図８～１３を用いて説明する。図８は、本システム１０における仮想照明の画像処理（Ｓ４）を説明するためのフローチャートである。

まず、本システム１０の制御部３１０は、図７のステップＳ２で取得された照度分布データを参照する（Ｓ１１）。照度分布データは、例えば撮影現場１５において本システム１０の照明装置２００により生成される。図９は、本システム１０の照明装置２００による照度分布データＤ１～Ｄ３を例示する。図１０は、図９の照度分布データＤ１を生成する際の照明装置２００の動作を説明するための図である。

図１０では、撮影現場１５において照明装置２００が発光する照明光の光路の一例を示している。図１０の例では、発光部２１０における第１の照明光源２１１から発光強度Ｌ１で発光された照明光が、光線方向Ｓ_１に出射して、被写体１１の表面位置Ｐａにおいて反射されている。こうした照明光の反射光は、被写体１１の表面位置Ｐａの法線方向Ｎ及び反射係数ρに依存した照度Ｉにおいて、受光部２２０における受光位置ｐａにて観測される。

光線方向Ｓ_１及び法線方向Ｎは、それぞれ３次元空間における単位ベクトルで表され、図中ではベクトルを意味する矢印を付している。光線方向Ｓ_１は、例えば照明光源２１毎に予め設定され、既知の設定値とする。被写体１１の表面位置Ｐａ毎の法線方向Ｎ及び反射係数ρは、未知の推定対象である。本実施形態の照明装置２００は、例えば第１の照明光源２１１からの照明光の反射光の照度Ｉ１を受光位置ｐａ毎に取得して、受光部２２０の受光面全体における照度Ｉ１の分布を示す照度分布データＤ１を生成する。

図９（Ａ）は、第１の照明光源２１１の発光に応じた受光結果の照度分布データＤ１を例示する。図９（Ｂ）は第２の照明光源２１２の発光に応じた照度分布データＤ２を例示し、図９（Ｃ）は第３の照明光源２１３の発光に応じた照度分布データＤ３を例示する。図９（Ａ）～（Ｃ）では、照度が大きいほど灰色を淡くするように、濃淡によって照度の大きさを示している。

図９（Ａ）に例示する照度分布データＤ１は、撮影現場１５の環境下で受光部２２０が観測可能な空間範囲にわたり、第１の照明光源２１１からの照明光が被写体１１における各種の表面位置Ｐａで反射された反射光の照度分布を示す。こうした照度分布においては、被写体１１の各表面位置Ｐａの照度が、照明装置２００の受光部２２０における受光面上の座標系すなわち受光座標（ｘ，ｙ）において、対応する受光位置ｐａに分布する。

図９（Ｂ）の照度分布データＤ２では、図９（Ａ）と同じ環境の空間範囲に対して、第１の照明光源２１１の代わりに第２の照明光源２１２から照射した照明光に基づき、図９（Ａ）とは異なる照度分布が得られている。図９（Ｃ）の照度分布データＤ３も同様に、第３の照明光源２１３からの照明光に基づき、図９（Ａ），（Ｂ）とは異なる照度分布が得られている。例えば、図９（Ａ）～（Ｃ）の間で同じ受光位置ｐａにおいて観測される照度は、対応する被写体１１の表面位置Ｐａの法線方向Ｎ及び反射係数ρに応じて、互いに異なっている。

本システム１０は、例えば照度差ステレオ法により、こうした複数の照明光源２１１～２１３による照度分布データＤ１～Ｄ３の間の差異を解析することで、撮影現場１５における被写体１１の各表面位置Ｐａの法線方向Ｎ及び反射係数ρを推定する。なお、法線方向Ｎは、３次元のベクトル成分に対して単位ベクトルの正規化条件より、推定対象として２変数の自由度を有する。

例えば、本システム１０における制御部３１０は、各照明光源２１１～２１３の照度分布データＤ１～Ｄ３を参照して（Ｓ１１）、法線方向Ｎの２変数ｐ，ｑを用いた反射率マップを作成する（Ｓ１２）。各照明光源２１１～２１３に応じた反射率マップＭ１～Ｍ３を図１１に例示する。

図１１（Ａ）は、図９（Ａ）の照度分布データＤ１に対応する反射率マップＭ１を例示する。図１１（Ｂ）は図９（Ｂ）に対応する反射率マップＭ２を例示し、図１１（Ｃ）は図９（Ｃ）に対応する反射率マップＭ３を例示する。反射率マップＭ１～Ｍ３は、例えばｐｑ平面において、特定の光源位置からの照明光の反射光が受光される割合の分布を示し、反射光の明るさについての等高線を含む。ｐｑ平面は、例えばガウス写像により種々の法線方向Ｎに対応する２変数ｐ，ｑの座標系で規定される。

制御部３１０は、こうした複数の照明光源２１１～２１３による照度分布データＤ１～Ｄ３と対応する反射率マップＭ１～Ｍ３から、例えば照度差ステレオ法により被写体１１の表面位置Ｐａの法線方向Ｎ（即ち表面の傾き）と反射係数ρとを推定する演算処理を行う（Ｓ１３）。制御部３１０は、例えばランバート面を仮定した次式（１）～（３）を演算する。

上式（１）～（３）において、Ｌｎは、第ｎの照明光源２１１～２１３による照明光の発光強度を示す（ｎ＝１，２，３）。Ｓｎは、第ｎの照明光源２１１～２１３からの光線方向を単位ベクトルとして示す。Ｉｎは、第ｎの照明光源２１１～２１３による照度分布データＤ１～Ｄ３として受光された照度を示す。又、上式（１）～（３）中の「×」は乗算を示し、「・」はベクトル間の内積を示す。上式（１），（２），（３）は、それぞれ図９（Ａ）～（Ｃ）の反射率マップＭ１，Ｍ２，Ｍ３に対応する。

上式（１）～（３）においては、例えば法線方向Ｎの２変数ｐ，ｑと反射係数ρとの３変数が、推定対象となることから、第１～第３の照明光源２１１～２１３による受光結果の情報に基づき、各変数の推定値が求められる。例えば、制御部３１０は、受光座標（ｘ，ｙ）における受光位置ｐａ毎に、上式（１）～（３）の演算を実行する（Ｓ１３）。

次に、制御部３１０は、以上のような被写体１１の法線方向Ｎ及び反射係数ρの推定結果を示す推定情報を、受光座標（ｘ，ｙ）から撮像座標（Ｘ，Ｙ）へ変換する（Ｓ１４）。撮像座標（Ｘ，Ｙ）は、補正対象の画像データが示す撮像画像上の位置を示す座標系であり、デジタルカメラ１００のイメージセンサ１１５における撮像面上の位置を示す。図１２（Ａ），（Ｂ）に、それぞれステップＳ１４における変換前後の受光座標（ｘ，ｙ）と撮像座標（Ｘ，Ｙ）とを示す。

ステップＳ１４の座標変換は、例えば、本システム１０において撮影現場１５におけるデジタルカメラ１００と照明装置２００との位置関係に応じた三角測量により演算される。この際、被写体距離として、デジタルカメラ１００の撮像または照明装置２００の受光における焦点距離が用いられてもよい。例えば制御部３１０は、こうした本システム１０における座標変換のための各種情報を、図７のステップＳ１，Ｓ２等で予め取得して、ステップＳ１４の処理を実行する。

制御部３１０は、上記のように撮像座標（Ｘ，Ｙ）に変換された被写体１１の推定情報に基づいて、図７のステップＳ３で取得した仮想照明の設定情報に応じた照明効果を演算して、補正画像を生成する（Ｓ１５）。ステップＳ１５の処理について、図１３を用いて説明する。

図１３では、デジタルカメラ１００の撮像座標（Ｘ，Ｙ）に対応する三次元の座標系（Ｘ，Ｙ，Ｚ）において、図６の照明編集画面においてユーザ操作により設定された仮想の照明機材Ｅａ，Ｅｂを例示している。制御部３１０は、例えば図７のステップＳ３においてユーザ操作に応じて取得した仮想照明の設定情報から、仮想の照明機材Ｅａ，Ｅｂの発光強度Ｌａ，Ｌｂ及び光線方向Ｓａ，Ｓｂを特定する。例えば、制御部３１０は、仮想照明の設定領域Ｒ１（図６）上で仮想の照明機材Ｅａ，Ｅｂを配置するユーザ操作を受け付けると、ステップＳ１４と同様の座標変換を行う。

制御部３１０は、こうした仮想の照明機材Ｅａ，Ｅｂの各種パラメータＬａ，Ｌｂ，Ｓａ，Ｓｂ及び被写体１１の推定結果の法線方向Ｎ及び反射係数ρに基づき、例えば次式（１０）のように、仮想照明の照明効果を演算する（Ｓ１５）。

上式（１０）において、Ｉｏは補正前の元画像の明るさを示し、Ｉｅは補正画像の明るさを示し、例えばそれぞれ（単色の）画素値である。制御部３１０は、例えば撮像座標（Ｘ，Ｙ）における画素位置毎に、上式（１０）の演算を行う。これにより、制御部３１０は、元画像に仮想照明の照明効果を付加する補正を行って、補正画像を生成する（Ｓ１５）。

制御部３１０は、以上のように補正画像を生成することにより（Ｓ１５）、仮想照明の画像処理（Ｓ４）を終了する。その後、制御部３１０は、例えば照明編集画面の補正画像領域Ｒ３（図６）に、生成した補正画像を表示させて、図７のステップＳ５に進む。

以上の仮想照明の画像処理（Ｓ４）によると、撮影現場１５で照明装置２００における複数の照明光源２１１～２１３を用いて得られた照度分布データＤ１～Ｄ３により、撮影現場１５の被写体１１の法線方向Ｎ及び反射係数ρが推定される（Ｓ１３）。これにより、ユーザ所望の仮想照明の照明効果を精度良く算出できる（Ｓ１５）。

上記のステップＳ１３では、照度差ステレオ法の推定の演算式（１）～（３）を例示した。本システム１０において、ステップＳ１３における推定演算は、特に上式（１）～（３）に限らず、種々の変更が可能である。例えば、照明光源２１の個数を４個以上に増やすと共に、連立する演算式を増やしてもよい。

又、上式（１）～（３）ではランバート面の仮定を用いたが、特にこの仮定に限らない種々の演算式が適用されてもよいし、機械学習モデルなどのＡＩ技術が適用されてもよい。制御部３１０は、ステップＳ１３の推定演算と同様の演算をステップＳ１５に適用して、各種の推定手法に応じた仮想照明の照明効果を算出できる。

上記のステップＳ１４では照明装置２００の受光座標（ｘ，ｙ）とデジタルカメラ１００の撮像座標（Ｘ，Ｙ）の座標変換に、三角測量を用いる一例を説明した。ステップＳ１４の処理は特に上記に限らず、例えばデジタルカメラ１００においてＤＦＤ（Depth From Defocus）等により測距が行われてもよい。又、ＴＯＦ（Time Of Flight）センサ等の測距センサが本システム１０において用いられてもよい。また、例えば照明装置２００の照度分布データＤ１～Ｄ３に対応する画像とデジタルカメラ１００の撮像画像とから、互いの位置関係を推定する各種の画像認識手法が用いられてもよい。こうした画像認識の機械学習モデルなどの各種ＡＩ技術を用いてステップＳ１４が実現されてもよい。

上記のステップＳ１３～Ｓ１４において、制御部３１０は、被写体１１の推定情報を、立体形状を示すモデルデータとして管理してもよい。例えば、モデルデータにおける各部に、法線方向Ｎと共に反射係数ρを対応付けて管理されてもよい。

上記のステップＳ１１～Ｓ１４の処理は、図７のステップＳ３～Ｓ５の繰り返し周期において、毎回は行われなくてもよい。例えば、初回のステップＳ１１～Ｓ１４の結果を次回以降の処理に利用して、適宜処理が省略されてもよい。

３．まとめ
以上のように、本実施形態において、画像処理装置の一例である映像編集ＰＣ３００は、第１及び第２取得部の一例の通信部３５０と、操作部３３０と、制御部３１０とを備える。第１取得部としての通信部３５０は、撮影現場１５等の撮影環境においてデジタルカメラ１００により被写体１１が撮像された元画像を示す画像データ（即ち第１画像データ）を取得する（Ｓ１）。第２取得部としての通信部３５０は、撮影現場１５における照明装置２００から被写体１１に照射した照明光による分布を示す照度分布情報の一例である照度分布データＤ１～Ｄ３を取得する（Ｓ２）。操作部３３０は、仮想的な照明を設定するユーザ操作を受け付ける（Ｓ３）。制御部３１０は、照度分布情報を参照して、ユーザ操作により設定された仮想的な照明に応じた照明効果を元画像に付与するように第１画像データを補正して、補正結果の画像を示す画像データ（即ち第２画像データ）を生成する（Ｓ４）。

以上の画像処理装置によると、照明装置２００により得られる撮影現場１５の照度分布データＤ１～Ｄ３を用いることによって、デジタルカメラ１００により撮影された画像において、ユーザの意図に沿った照明効果を実現し易くすることができる。

本実施形態において、照明装置２００は、複数の照明光源２１１～２１３により互いに異なる複数の光源位置から照明光を個別に発光する。照度分布データＤ１～Ｄ３は、複数の光源位置からの各照明光の反射光がそれぞれ受光された複数の照度分布を含む。制御部３１０は、照度分布データＤ１～Ｄ３における複数の照度分布の間の差異に基づいて、仮想的な照明の照明効果を元画像に付与する（Ｓ１１～Ｓ１５）。これにより、撮影現場１５で得られた被写体１１の照度分布の差異に応じた照明効果を元画像に付与でき、ユーザの意図に沿った照明効果を精度良く得られる。

本実施形態において、照明装置２００は、複数の光源位置から照射された各照明光の反射光を受光する受光面を有する受光部２２０を含む。照度分布データＤ１～Ｄ３は、複数の照度分布として、受光部２２０が複数の光源位置からの各照明光の反射光をそれぞれ受光面において受光した結果を示す。これにより、別々の光源位置からの照明光が、共通の受光位置ｐａにおいて受光された照度分布データＤ１～Ｄ３が得られ、例えば照度差ステレオ法による解析を容易に実現できる。

本実施形態において、制御部３１０は、照度分布データＤ１～Ｄ３における複数の照度分布の間の差異に基づいて、被写体１１における法線方向Ｎ及び反射率を示す反射係数ρを算出し（Ｓ１３）、被写体１１における法線方向Ｎ及び反射係数ρの算出結果に基づいて、仮想的な照明の照明効果を元画像に付与する（Ｓ１５）。これにより、撮影現場１５の照度分布データＤ１～Ｄ３に基づき、実際の被写体１１に合わせた自然な照明効果を得やすくすることができる。

本実施形態において、映像編集ＰＣ３００は、撮影現場１５を示す環境情報を表示する表示部３４０をさらに備える。操作部３３０は、表示部３４０に表示された環境情報の一例の環境画像Ｇ１において撮影現場１５における仮想的な照明の配置を設定するユーザ操作を受け付ける（図６参照）。これにより、ユーザが撮影現場１５において所望の仮想照明を指定し易くすることができる。

本実施形態において、環境画像Ｇ１は、元画像よりも広い範囲において撮影現場１５を示す。これにより、ユーザは元画像の画角範囲の外部に仮想の照明機材Ｅａ，Ｅｂ等を配置するような指定が行え、所望の照明効果を得やすくすることができる。こうした環境画像Ｇ１は、例えば照明装置２００による照度分布データＤ１～Ｄ３から生成できる。なお、こうした環境情報は、画像情報でなくてもよく、例えば撮影現場１５を適宜、モデル化した情報であってもよい。

本実施形態において、撮像システム１０は、被写体１１を撮像して、第１画像データを生成するデジタルカメラ１００と、映像編集ＰＣ３００等の画像処理装置とを備える。画像処理装置は、デジタルカメラ１００によって生成された第１画像データが示す元画像に、照明効果を付与するように第１画像データを補正して、第２画像データを生成する。こうした撮像システム１０により、撮影された画像においてユーザの意図に沿った照明効果を実現し易くすることができる。

本実施形態において、照明装置２００は、被写体１１の撮影現場１５に照明光を照射して、撮影結果の元画像を補正する画像処理のための照度分布データＤ１～Ｄ３を生成する装置である。照明装置２００は、互いに異なる複数の光源位置から照明光を個別に発光する発光部２１０と、複数の光源位置から照射された各照明光の反射光をそれぞれ受光して、被写体１１に照射された照明光による分布を含む照度分布データＤ１～Ｄ３を生成する受光部２２０とを備える。こうした照明装置２００によると、撮影現場１５で撮影された画像においてユーザの意図に沿った照明効果を実現し易くすることができる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

上記の実施形態１では、発光部２１０が複数の照明光源２１を備える照明装置２００の構成例を説明した。本実施形態において、照明装置２００の発光部２１０は、複数の照明光源２１を備えなくてもよく、例えば１つの照明光源２１により、複数の光源位置から照明光を照射可能に構成されてもよい。例えば、照明装置２００の発光部２１０は、光源位置を変更可能なスリット等の構造を備えてもよい。こうした照明装置２００によっても、複数の光源位置からの照明光に応じた照度分布データを得られ、本システム１０の仮想照明の画像処理（Ｓ４）等に適用可能である。

上記の各実施形態では、画像処理装置の一例として映像編集ＰＣ３００を例示した。本実施形態において、画像処理装置は、特に映像編集ＰＣ３００に限らず、例えばタブレット端末、又はスマートフォンなどの各種の情報処理装置であってもよい。また、デジタルカメラ１００が、制御部１３５等により画像処理装置の機能を有してもよい。この場合、デジタルカメラ１００は、撮像システムの一例であり、当該システムにおける撮像装置の一例としてイメージセンサ１１５が機能してもよい。

また、上記の各実施形態では、光学系１１０及びレンズ駆動部１１２を備えるデジタルカメラ１００を例示した。本実施形態の撮像装置は、光学系１１０及びレンズ駆動部１１２を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。

また、上記の各実施形態では、撮像装置（及び撮像システム）の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置（及び撮像システム）は、画像撮影機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、種々の撮影環境において撮影された画像に事後的に照明効果を付与する用途に適用可能であり、例えば映像制作用途に適用可能である。

１０ 撮像システム
１１ 被写体
１５ 撮影現場
１００ デジタルカメラ
２００ 照明装置
２１０ 発光部
２２０ 受光部
３００ 映像編集ＰＣ
３１０ 制御部
３２０ 記憶部
３３０ 操作部
３４０ 表示部
３５０ 通信部

Claims (8)

1. 撮影環境において撮像装置により被写体が撮像された元画像を示す第１画像データを取得する第１取得部と、
   前記撮影環境における照明装置から前記被写体に照射した照明光による分布を示す照度分布情報を取得する第２取得部と、
   仮想的な照明を設定するユーザ操作を受け付ける操作部と、
   前記照度分布情報を参照して、前記ユーザ操作により設定された仮想的な照明に応じた照明効果を前記元画像に付与するように前記第１画像データを補正して、補正結果の画像を示す第２画像データを生成する制御部とを備える
   画像処理装置。
2. 前記照明装置は、互いに異なる複数の光源位置から前記照明光を個別に発光し、
   前記照度分布情報は、前記複数の光源位置からの各照明光の反射光がそれぞれ受光された複数の照度分布を含み、
   前記制御部は、前記照度分布情報における前記複数の照度分布の間の差異に基づいて、前記仮想的な照明の照明効果を前記元画像に付与する
   請求項１に記載の画像処理装置。
3. 前記照明装置は、前記複数の光源位置から照射された各照明光の反射光を受光する受光面を有する受光部を含み、
   前記照度分布情報は、前記複数の照度分布として、前記受光部が前記複数の光源位置からの各照明光の反射光をそれぞれ前記受光面において受光した結果を示す
   請求項２に記載の画像処理装置。
4. 前記制御部は、
   前記照度分布情報における前記複数の照度分布の間の差異に基づいて、前記被写体における法線方向及び反射率を算出し、
   前記被写体における法線方向及び反射率の算出結果に基づいて、前記仮想的な照明の照明効果を前記元画像に付与する
   請求項２に記載の画像処理装置。
5. 前記撮影環境を示す環境情報を表示する表示部をさらに備え、
   前記操作部は、前記表示部に表示された環境情報において前記撮影環境における前記仮想的な照明の配置を設定するユーザ操作を受け付ける
   請求項１に記載の画像処理装置。
6. 前記環境情報は、前記元画像よりも広い範囲において前記撮影環境を示す
   請求項５に記載の画像処理装置。
7. 被写体を撮像して、第１画像データを生成する撮像装置と、
   請求項１に記載の画像処理装置とを備え、
   前記画像処理装置は、前記撮像装置によって生成された第１画像データが示す元画像に、前記照明効果を付与するように前記第１画像データを補正して、前記第２画像データを生成する
   撮像システム。
8. 被写体の撮影環境に照明光を照射して、撮影結果の元画像を補正する画像処理のための照度分布情報を生成する照明装置であって、
   互いに異なる複数の光源位置から前記照明光を個別に発光する発光部と、
   前記複数の光源位置から照射された各照明光の反射光をそれぞれ受光して、前記被写体に照射された照明光による分布を含む照度分布情報を生成する受光部と
   を備える照明装置。

Images