JP2020057037A - 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム - Google Patents
変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2020057037A JP2020057037A JP2018184973A JP2018184973A JP2020057037A JP 2020057037 A JP2020057037 A JP 2020057037A JP 2018184973 A JP2018184973 A JP 2018184973A JP 2018184973 A JP2018184973 A JP 2018184973A JP 2020057037 A JP2020057037 A JP 2020057037A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- changed
- dimensional coordinate
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Generation (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】素材や色データを変換する対象の領域の各々に撮像画像を予め区分しておく必要がなく、かつユーザが素材や色データを変更する対象の領域を簡易に選択できる変更画素領域抽出装置を提供する。【解決手段】本発明は、被写体を撮像した入力画像から、被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出装置であり、入力画像において選択された１以上の画素からなる初期画素領域を、入力画像の被写体の３次元形状モデルに対して初期領域として投影する投影変換部と、初期領域において画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと画素の反射率成分との各々に基づき、初期領域を含む変更画素領域を、３次元形状モデルから抽出する変更画素領域抽出部とを備える。【選択図】図１
Description
本発明は、変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラムに関する。
近年、消費者（ユーザ）が住宅のリフォームや衣服の購入を検討する際、自宅のパーソナルコンピュータ（ＰＣ：personal computer）、タブレット端末及びスマートフォンなどの電子通信機器を用いることが一般的になってきている。
そして、電子通信機器上におけるシミュレーションにより、リフォーム対象の住宅のリフォーム後の外観や内観の観察、あるいは購入対象の衣服の試着などを仮想的に行ない、リフォームの依頼や衣服の購入の意思決定の要素とする場合がある。
そして、電子通信機器上におけるシミュレーションにより、リフォーム対象の住宅のリフォーム後の外観や内観の観察、あるいは購入対象の衣服の試着などを仮想的に行ない、リフォームの依頼や衣服の購入の意思決定の要素とする場合がある。
上述したシミュレーションには、仮想環境上に構築した３次元形状モデルや３次元空間に対する第１の処理と、現実環境を撮像した撮像画像に対する第２の処理との２種類の方法がある。
第１の処理のシミュレーションは、物体の３次元形状モデルや３次元空間を仮想環境上にＣＧ（computer graphics）等で構築して、仮想的に復元して行なう。
そして、復元した３次元形状モデルの素材の変更や３次元空間における３次元形状モデルの位置の変更などを行なう。
第１の処理のシミュレーションは、物体の３次元形状モデルや３次元空間を仮想環境上にＣＧ（computer graphics）等で構築して、仮想的に復元して行なう。
そして、復元した３次元形状モデルの素材の変更や３次元空間における３次元形状モデルの位置の変更などを行なう。
仮想環境に再現した３次元形状モデルや３次元空間においては、光が照射された際の反射、屈折及び透過などの状態や、光を照射する光源の位置、照射する光の波長及び強度などのパラメータを任意に調整することができる。
上述したように、現実環境を仮想的に再現する際のパラメータを自由に調整することができるため、再現したい現実環境の見え方と等しい仮想環境の構築を可能とする。
上述したように、現実環境を仮想的に再現する際のパラメータを自由に調整することができるため、再現したい現実環境の見え方と等しい仮想環境の構築を可能とする。
例えば、部屋の内装のリフォームを行なう際、内装の見えのシミュレーションを行う部屋に対応する仮想空間を構築し、ユーザが選択した内装の素材（壁の壁紙など）を仮想的に変更する（例えば、特許文献１参照）。
これにより、仮想的に変更された内装、すなわち仮想的に再現されたリフォーム後の内装を、ユーザが仮想空間において観察することができる。
これにより、仮想的に変更された内装、すなわち仮想的に再現されたリフォーム後の内装を、ユーザが仮想空間において観察することができる。
しかし、上記第１の処理のシミュレーションにおいて、仮想環境に再現する３次元形状モデル及び３次元空間を構築する場合、作成者がコンピュータの画面上で、必要な形状となるように図形などを、全て手作業で組み合わせて構築する必要がある。
また、構築した３次元形状モデルや３次元空間が、現実環境に近い状態で観察されるように、細かな形状の作り込みや、すでに説明したパラメータの微調整が必要となる。このため、第１の処理のシミュレーションにおける３次元形状モデル及び３次元空間の構築の際には、作成者の手間や労力が非常に大きい。
また、構築した３次元形状モデルや３次元空間が、現実環境に近い状態で観察されるように、細かな形状の作り込みや、すでに説明したパラメータの微調整が必要となる。このため、第１の処理のシミュレーションにおける３次元形状モデル及び３次元空間の構築の際には、作成者の手間や労力が非常に大きい。
第２の処理のシミュレーションは、撮像装置により現実環境を撮像した撮像画像に対して、この撮像画像の所定の領域の形状に素材画像や色データを加工して、所定の領域に重ね合わせて置き換えて表示するシミュレーションを行なう。
この第２の処理のシミュレーションは、基本的に撮像画像の加工を行なうのみであるため、第１の処理のシミュレーションにおける３次元形状モデルや３次元空間の構築に比較して、手間や労力を少なくすることができる。
この第２の処理のシミュレーションは、基本的に撮像画像の加工を行なうのみであるため、第１の処理のシミュレーションにおける３次元形状モデルや３次元空間の構築に比較して、手間や労力を少なくすることができる。
また、撮像画像における所定の領域の形状に対応させて素材等を加工して重ね合わせただけでは、撮像した画像と重ねて描画する素材画像との合成後に違和感が生じる。
このため、撮像した撮像画像上における陰影成分を取得し、合成した撮像画像に付与することにより、違和感がない撮像画像の変更のシミュレーションが行なえる。
例えば、建物の外壁の素材を変更するシミュレーションにおいて、リフォームの対象となる壁面の日向部分と日陰部分とをユーザが選択し、仮想的なリフォーム後に日陰を合成することで、リフォーム後として表示される壁面における違和感を低減している（例えば、特許文献２参照）。
このため、撮像した撮像画像上における陰影成分を取得し、合成した撮像画像に付与することにより、違和感がない撮像画像の変更のシミュレーションが行なえる。
例えば、建物の外壁の素材を変更するシミュレーションにおいて、リフォームの対象となる壁面の日向部分と日陰部分とをユーザが選択し、仮想的なリフォーム後に日陰を合成することで、リフォーム後として表示される壁面における違和感を低減している（例えば、特許文献２参照）。
また、第２の処理のシミュレーションにより、衣類の試着を行なうシミュレーションを行なう場合も、撮像時の服の陰影成分を分離し、試着する服の素材（テクスチャ）を、ユーザの選択した素材と交換した後、この陰影成分を反映させる。
これにより、ユーザが素材を交換した後において、仮想的に試着する服における体の曲線による陰影成分が付与されるため、ユーザが違和感のないシミュレーション結果を観察することができる（例えば、特許文献３参照）。
これにより、ユーザが素材を交換した後において、仮想的に試着する服における体の曲線による陰影成分が付与されるため、ユーザが違和感のないシミュレーション結果を観察することができる（例えば、特許文献３参照）。
しかしながら、特許文献１及び特許文献２の各々は、画面上において対象となる素材や色データを交換する領域を選択する機能がないため、ユーザが撮像画像における変換する領域を選択することができない。
そのため、特許文献１及び特許文献２の各々は、線を描画して囲むなどの処理により選択する機能を追加しなければ、対象となる領域をユーザが簡易に、撮像画像から選択することができない。
そのため、特許文献１及び特許文献２の各々は、線を描画して囲むなどの処理により選択する機能を追加しなければ、対象となる領域をユーザが簡易に、撮像画像から選択することができない。
また、特許文献３は、特許文献１及び特許文献２の各々と異なり、撮像画像において予め対象となる領域が形成されており、ユーザが対象となる領域を自身で指定する必要はない。しかし、変更領域が予め撮像画像の所定の領域として設定されているため、ユーザが任意に変更する領域を設定することができない。
すなわち、特許文献３の場合、変更領域が設定されてはいるが、ユーザが指定したい領域と、予め設定された変更領域とが一致しない場合、ユーザは自身の指定したい領域を選択することができない。
すなわち、特許文献３の場合、変更領域が設定されてはいるが、ユーザが指定したい領域と、予め設定された変更領域とが一致しない場合、ユーザは自身の指定したい領域を選択することができない。
このため、ユーザが素材や色データを変更する対象の領域を、任意にかつ簡易に選択できるように構成するためには、特許文献１から特許文献３の各々において、撮像画像における領域を予め全て区分して、個々に選択できるようにしておく必要がある。
しかし、撮像画像における変更する対象の領域として考えられる領域の各々を、ユーザが簡易に選択するように、撮像画像上で予め区分して設定する加工を行なうためには、システムの開発者や、リフォーム及び服の各々のデザイナが、非常な大きな手間や時間を要してしまう。
しかし、撮像画像における変更する対象の領域として考えられる領域の各々を、ユーザが簡易に選択するように、撮像画像上で予め区分して設定する加工を行なうためには、システムの開発者や、リフォーム及び服の各々のデザイナが、非常な大きな手間や時間を要してしまう。
本発明は、このような状況に鑑みてなされたもので、素材や色データを変換する対象の領域の各々に撮像画像を予め区分しておく必要がなく、かつユーザが素材や色データを変更する対象の領域を簡易に選択できる変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラムを提供する。
本発明の変更画素領域抽出装置は、被写体を撮像した入力画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出装置であり、入力画像において選択された１以上の画素からなる初期画素領域を、前記入力画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換部と、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出部とを備えることを特徴とする。
本発明の変更画素領域抽出装置は、前記変更画素領域抽出部が、前記投影３次元座標点の前記法線ベクトル及び所定の直線との各々の成す第１角度が所定の角度閾値以下の際に、前記３次元形状モデルにおける３次元座標点の前記法線ベクトル及び前記初期画素領域の投影３次元座標点における前記法線ベクトルの成す角度が前記所定の角度閾値以下であり、かつ当該投影３次元座標点に対応する前記画素の反射率成分と類似している反射率成分を有する３次元座標点に対応する画素を前記入力画像から抽出し、抽出された当該画素の各々からなる領域を前記変更画素領域とすることを特徴とする。
本発明の変更画素領域抽出装置は、前記変更画素領域抽出部が、前記投影３次元座標点の前記法線ベクトル及び所定の直線に垂直な平面の各々の成す第２角度が所定の角度閾値以下の際に、前記３次元形状モデルにおける３次元座標点の前記法線ベクトル及び前記所定の直線に垂直な平面の成す角度が前記所定の角度閾値以下であり、かつ当該投影３次元座標点に対応する前記画素の反射率成分と類似している反射率成分を有する３次元座標点に対応する画素を前記入力画像から抽出し、抽出された当該画素の各々を前記変更画素領域とすることを特徴とする。
本発明の画像処理システムは、上述したいずれかに記載の変更画素領域抽出装置と、種類の異なる前記素材の素材画像の各々を蓄積するデータベースと、前記素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記入力画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成部と、前記入力画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成部とを備えることを特徴とする。
本発明の画像処理システムは、前記入力画像を陰影成分画像と反射率成分画像とに分離する反射率・陰影分離部をさらに備え、前記加工画像生成部が、テクスチャマッピング後の３次元形状モデルを前記入力画像と同一の視点の２次元平面に投影して生成した２次元画像に対し、前記陰影成分画像の画素の画素値を乗算することにより、前記加工画像を生成することを特徴とする。
本発明の画像処理システムは、前記被写体を異なる撮像方向から撮像した複数の撮像画像から前記３次元形状モデルを復元し、前記撮像画像の撮像に用いた撮像装置のカメラパラメータとから、前記３次元座標点の各々の前記法線ベクトルを算出する３次元形状復元部をさらに備え、前記陰影成分画像が前記入力画像と前記反射率成分画像との差分であることを特徴とする。
本発明の画像処理システムは、画像を表示する画像表示部と、前記画像表示部に表示された前記入力画像において選択された初期画素領域を入力する初期画素領域入力部と、前記変更画像を前記画像表示部に表示する変更画像表示制御部とをさらに備えることを特徴とする。
本発明の変更画素領域抽出方法は、被写体を撮像した入力画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出方法であり、投影変換部が、入力画像において選択された１以上の画素からなる初期画素領域を、前記入力画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換過程と、変更画素領域抽出部が、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出過程とを含むことを特徴とする。
本発明の画像処理方法は、被写体を撮像した入力画像から、前記被写体における素材を変更する対象の変更画素領域を抽出し、当該変更画素領域における前記素材を変更する画像処理方法であり、投影変換部が、入力画像において選択された１以上の画素からなる初期画素領域を、前記入力画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換過程と、変更画素領域抽出部が、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出過程と、加工画像生成部が、種類の異なる前記素材の素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記入力画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成過程と、変更画像生成部が、前記入力画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成過程とを含むことを特徴とする。
本発明のプログラムは、被写体を撮像した入力画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出装置の機能をコンピュータに実行させるプログラムであり、前記コンピュータを、入力画像において選択された１以上の画素からなる初期画素領域を、前記入力画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換手段、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出手段として機能させるプログラムである。
本発明のプログラムは、被写体を撮像した入力画像から、前記被写体における素材を変更する対象の変更画素領域を抽出し、当該変更画素領域における前記素材を変更する画像処理装置の機能をコンピュータに実行させるプログラムであり、入力画像において選択された１以上の画素からなる初期画素領域を、前記入力画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換手段、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出手段、種類の異なる前記素材の素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記入力画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成手段、前記入力画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成手段として機能させるプログラムである。
以上説明したように、本発明によれば、素材や色データを変換する対象の領域の各々に撮像画像を予め区分しておく必要がなく、かつユーザが素材や色データを変更する対象の領域を簡易に選択できる変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラムを提供することが可能となる。
以下、図１における画像処理システムの構成例について、図面を参照して説明する。
図１は、本発明の一実施形態による画像処理システムの構成例を示すブロック図である。図１において、画像処理システム１００は、初期画素領域入力部１０１、３次元形状復元部１０２、反射率・陰影分離部１０３、変更画素領域抽出部１０４、加工画像生成部１０５、変更画像生成部１０７、変更画像表示制御部１０８、画像記憶部１０９、撮像画像入力部１１０、画像表示部１１１及び素材データベース１１２の各々を備えている。ここで、画像処理システム１００は、パーソナルコンピュータ、タブレット端末、スマートフォンなどに、以下に説明する各機能部より画像処理を行なうアプリケーションをインストールすることにより構成される。
図１は、本発明の一実施形態による画像処理システムの構成例を示すブロック図である。図１において、画像処理システム１００は、初期画素領域入力部１０１、３次元形状復元部１０２、反射率・陰影分離部１０３、変更画素領域抽出部１０４、加工画像生成部１０５、変更画像生成部１０７、変更画像表示制御部１０８、画像記憶部１０９、撮像画像入力部１１０、画像表示部１１１及び素材データベース１１２の各々を備えている。ここで、画像処理システム１００は、パーソナルコンピュータ、タブレット端末、スマートフォンなどに、以下に説明する各機能部より画像処理を行なうアプリケーションをインストールすることにより構成される。
初期画素領域入力部１０１は、画像記憶部１０９に記憶されている撮像画像の各々を画像表示部１１１の表示画面に表示し、この表示画面においてユーザが複数の撮像画像のなかから選択した（例えば、パーソナルコンピュータであればマウスを用いて選択した、またタブレット端末であればタッチパネルにおけるユーザの指を用いて選択した）撮像画像を入力画像とする。
また、初期画素領域入力部１０１は、ユーザが画像表示部１１１に表示された上記入力画像において選択した初期画素領域の情報を画像記憶部１０９に一旦記憶する。この初期画素領域は、１個あるいは複数個の画素を含む領域である。ここで、初期画素領域入力部１０１は、上記初期画素領域の情報として、入力画像（２次元画像）における初期画素領域に含まれる画素（以下、２次元座標点と示す）を、初期画素領域の情報として、画像記憶部１０９に書き込んで記憶させる。
また、初期画素領域入力部１０１は、ユーザが画像表示部１１１に表示された上記入力画像において選択した初期画素領域の情報を画像記憶部１０９に一旦記憶する。この初期画素領域は、１個あるいは複数個の画素を含む領域である。ここで、初期画素領域入力部１０１は、上記初期画素領域の情報として、入力画像（２次元画像）における初期画素領域に含まれる画素（以下、２次元座標点と示す）を、初期画素領域の情報として、画像記憶部１０９に書き込んで記憶させる。
３次元形状復元部１０２は、画像記憶部１０９に記憶されている複数の撮像画像から、撮像した被写体の３次元形状モデルを復元する。ここで、３次元形状復元部１０２は、被写体を複数の視点から被写体が撮像された撮像画像から、公知の画像ベース３次元復元技術に基づいた、３次元空間における被写体の形状及びカメラパラメータの推定によって、３次元形状モデルの復元、法線ベクトルの算出が行われる（例えば、G.Klein et al,"Parallel Tracking and Mapping for Small AR Workspace",ISMAR 2007を参照）。ここで、公知の画像ベース３次元復元技術とは、必ずしも特定の手法として限定される訳ではないが、例えば、Ｖｉｓｕａｌ−ＳＬＡＭ（Simultaneous localization and mapping）やＳｆＭ(Structure from Motion)／ＭＶＳ(Multi-View Stereo)である。また、撮像画像をＲＧＢＤ画像とし、当該ＲＧＢＤ画像に含まれる深度情報を利用して上記推定を行う手法であっても良い。(例えば、Izadi, Shahram, et al. "KinectFusion: real-time 3D reconstruction and interaction using a moving depth camera." Proceedings of the 24th annual ACM symposium on User interface software and technology. ACM, 2011.)。また、機械学習や制約条件（撮影条件や被写体の性質など）を利用し、一枚の撮像画像から上記推定を行う手法であっても良い（例えば、Saxena, Ashutosh, Sung H. Chung, and Andrew Y. Ng. "3-d depth reconstruction from a single still image." International journal of computer vision 76.1 (2008): 53-69.）。
ここで、復元される３次元形状モデルは、上記公知の画像ベース３次元復元技術によって、仮想３次元空間において復元される点群や深度マップ、あるいはこの点群から生成されるメッシュなどのモデルデータである。また、法線ベクトルは、撮像画像の各画素（以下、２次元座標系における２次元座標値で示される２次元座標点）に対応する３次元形状モデル上の座標点（以下、３次元座標系における３次元座標値で示される３次元座標点と示す）のデータとして、３次元形状モデルとカメラパラメータ（撮像装置２００のカメラパラメータ）から計算される。
そして、３次元形状復元部１０２は、復元した３次元形状モデルのデータと、３次元形状モデルの画素（３次元座標点）の各々における法線ベクトルを画像記憶部１０９に書き込んで記憶させる。
そして、３次元形状復元部１０２は、復元した３次元形状モデルのデータと、３次元形状モデルの画素（３次元座標点）の各々における法線ベクトルを画像記憶部１０９に書き込んで記憶させる。
反射率・陰影分離部１０３は、一枚の入力画像を反射率成分画像と陰影成分画像との各々の１枚づつに分離し、画像記憶部１０９に書き込んで記憶させる。このとき、反射率・陰影分離部１０３は、例えば、Ｉｎｔｒｉｎｓｉｃ Ｉｍａｇｅ Ｐｒｏｂｌｅｍのアルゴリズム（例えば、H.G.Barrow et al,"Recovering Intrinsic Scene from Imges",Computer Vision Systems,pages3-26,1978を参照）に基づく反射率・陰影分離を行う。すなわち、反射率・陰影分離部１０３は、入力画像を反射率成分画像及び陰影成分画像の各々に分離する際、Ｉｎｔｒｉｎｓｉｃ Ｉｍａｇｅ Ｐｒｏｂｌｅｍのアルゴリズムに基づき、「画像Ｉは反射率成分Ｒと陰影成分Ｓの積で表すことができる」という仮定を基とし、入力画像Ｉを反射率成分画像Ｒと陰影成分画像Ｓとの各々に分離する。反射率成分画像は、入力画像における２次元座標値で示される２次元座標点で示される各画素の反射率成分がＲＧＢ（Red Green Blue）の画素値として示されている。陰影成分画像は、入力画像における２次元座標値で示される各２次元座標点の陰影成分、すなわち撮像画像を撮像した際の環境光に依存するデータが画素値として示されている。
図２は、本実施形態における撮像画像の撮像及び３次元形状モデルの復元を説明する概念図である。
ユーザが被写体である室内４００を撮像装置２００により、異なる視点（位置及び方向）において撮像する。
撮像画像入力部１１０は、撮像装置２００から、撮像装置２００が撮像した撮像画像を入力し、画像記憶部１０９に対して撮像画像のデータを書き込んで記憶させる。
ユーザが被写体である室内４００を撮像装置２００により、異なる視点（位置及び方向）において撮像する。
撮像画像入力部１１０は、撮像装置２００から、撮像装置２００が撮像した撮像画像を入力し、画像記憶部１０９に対して撮像画像のデータを書き込んで記憶させる。
そして、反射率・陰影分離部１０３は、撮像した撮像画像の各々を反射率成分画像、陰影成分画像それぞれに分離し、画像記憶部１０９に対して書き込んで記憶させる。
また、３次元形状復元部１０２は、撮像画像の各々を用いて復元した３次元形状モデル、カメラパラメータ及び法線ベクトルの各々を、画像記憶部１０９に対して書き込んで記憶させる。
また、３次元形状復元部１０２は、撮像画像の各々を用いて復元した３次元形状モデル、カメラパラメータ及び法線ベクトルの各々を、画像記憶部１０９に対して書き込んで記憶させる。
図３は、画像記憶部１０９に書き込まれている撮像画像テーブルの構成例を示す図である。図３に示す撮像画像テーブルは、３次元形状モデルを復元する際に用いた撮像画像毎に設けられている。また、撮像画像テーブルは、撮像画像の２次元座標点、すなわち撮像画像の画素毎にレコードが設けられており、各２次元座標点に対応した３次元座標点、法線ベクトル、反射率成分の欄が設けられている。３次元座標点は、３次元形状モデルにおける、撮像画像の２次元座標点に対応する座標点を示している。法線ベクトルは、３次元形状モデルの曲面上の３次元座標点における法線のベクトルを示している。反射率成分は、入力画像における２次元座標点の反射率を示す画素値を示している。
図１に戻り、変更画素領域抽出部１０４は、初期画素領域に基づき、素材を異なる他の素材に変更する変更画素領域を抽出する。変更画素領域は、上記初期画素領域を含む画像領域（３次元形状モデルにおける平面及び曲面の各々を含む）、例えば、被写体が室内であれば、入力画像（複数の撮像画像から選択された１個の撮像画像）における天井、床、壁、扉などの画像領域を示す。また、変更画素領域抽出部１０４は、投影変換部１０４１及び変更画素領域選択部１０４２の各々を備えている。
投影変換部１０４１は、初期画素領域に含まれる画素の各々の２次元座標点（以下、単に２次元座標点と示す、画素が一個の場合、その画素の２次元座標点）を、３次元形状モデルの対応する３次元座標点に投影する。
変更画素領域選択部１０４２は、初期画素領域に含まれる２次元座標点における反射率成分の画素値を、画像記憶部１０９の入力画像として選択された撮像画像に対応する撮像画像テーブルを参照して読み出す。
また、変更画素領域選択部１０４２は、同様に、画像記憶部１０９の撮像画像テーブルから、初期画素領域の２次元座標点が投影された領域における法線ベクトルを読み出し、この法線ベクトルと、所定の直線（例えば、３次元形状モデルを復元した際における３次元座標系におけるＹ軸）との成す角度αを求める。
変更画素領域選択部１０４２は、同様に、画像記憶部１０９の撮像画像テーブルから読み出した法線ベクトルと、所定の直線と垂直な平面との成す角度βを求める。
ここで、変更画素領域選択部１０４２は、角度αあるいは角度βのいずれかにおいて、予め設定された角度閾値以下である方を選択する。
また、変更画素領域選択部１０４２は、同様に、画像記憶部１０９の撮像画像テーブルから、初期画素領域の２次元座標点が投影された領域における法線ベクトルを読み出し、この法線ベクトルと、所定の直線（例えば、３次元形状モデルを復元した際における３次元座標系におけるＹ軸）との成す角度αを求める。
変更画素領域選択部１０４２は、同様に、画像記憶部１０９の撮像画像テーブルから読み出した法線ベクトルと、所定の直線と垂直な平面との成す角度βを求める。
ここで、変更画素領域選択部１０４２は、角度αあるいは角度βのいずれかにおいて、予め設定された角度閾値以下である方を選択する。
変更画素領域選択部１０４２は、画像記憶部１０９の入力画像における撮像画像テーブルから、初期画素領域の反射率と所定の色差の反射率を有する（類似した色差の）２次元座標点を抽出する。
そして、変更画素領域選択部１０４２は、角度αが選択された場合、類似した色差を有するとして抽出した２次元座標点に対応する３次元座標点の法線ベクトルを、入力画像の撮像画像テーブルから読み出し、初期画素領域に対応する３次元座標点の法線ベクトルとの成す角度θ１を求める。
変更画素領域選択部１０４２は、角度θ１が予め設定した角度閾値以下の法線ベクトルを有する３次元座標点を抽出する。
そして、変更画素領域選択部１０４２は、角度αが選択された場合、類似した色差を有するとして抽出した２次元座標点に対応する３次元座標点の法線ベクトルを、入力画像の撮像画像テーブルから読み出し、初期画素領域に対応する３次元座標点の法線ベクトルとの成す角度θ１を求める。
変更画素領域選択部１０４２は、角度θ１が予め設定した角度閾値以下の法線ベクトルを有する３次元座標点を抽出する。
また、変更画素領域選択部１０４２は、角度βが選択された場合、類似した色差の２次元座標点に対応する３次元座標点の法線ベクトルと、所定の直線に対して垂直な平面との成す角度θ２を求める。
変更画素領域選択部１０４２は、角度θ２が予め設定した上記角度閾値以下の法線ベクトルを有する３次元座標点を抽出する。
そして、変更画素領域選択部１０４２は、抽出した３次元座標点を入力画像に対して重畳させて、抽出した３次元座標点が投影された２次元座標点及び初期画素領域の２次元座標点を含む領域を、変更画素領域とする。
変更画素領域選択部１０４２は、角度θ２が予め設定した上記角度閾値以下の法線ベクトルを有する３次元座標点を抽出する。
そして、変更画素領域選択部１０４２は、抽出した３次元座標点を入力画像に対して重畳させて、抽出した３次元座標点が投影された２次元座標点及び初期画素領域の２次元座標点を含む領域を、変更画素領域とする。
図４は、入力画像における初期画素領域から変更画素領域を抽出する処理を説明する概念図である。以下、ドラッグ操作やクリック操作の各々は、パーソナルコンピュータにおけるマウスを用いて行なう。また、スワイプ操作やタッチ操作の各々は、タブレット端末やスマートフォンにおいては、表示画面に対して指で行なう。
ユーザは、画像表示部１１１に表示されている入力画像５００において、ドラッグ（スワイプ）操作あるいはクリック（タッチ）操作により初期画素領域の設定を行なう。
ユーザは、画像表示部１１１に表示されている入力画像５００において、ドラッグ（スワイプ）操作あるいはクリック（タッチ）操作により初期画素領域の設定を行なう。
図４（ａ）において、例えば、入力画像５００における壁の画像領域５１０＿１をユーザがドラッグ操作することにより、初期画素領域入力部１０１は、ドラッグ操作された領域（複数画素からなる領域）を初期画素領域５００Ａとして入力する。
一方、入力画像５００における床の画像領域５２０をユーザがクリック操作することにより、初期画素領域入力部１０１は、クリック操作された領域（一個の画素あるいは複数画素からなる領域）を初期画素領域５００Ｂとして入力する。
一方、入力画像５００における床の画像領域５２０をユーザがクリック操作することにより、初期画素領域入力部１０１は、クリック操作された領域（一個の画素あるいは複数画素からなる領域）を初期画素領域５００Ｂとして入力する。
図４（ｂ）において、変更画素領域抽出部１０４は、入力画像５００において選択された初期画素領域５００Ａあるいは初期画素領域５００Ｂを、３次元形状モデル５０１に対して投影する。ここで、画像領域５１０＿１の初期画素領域５００Ａが壁５３０＿１に対して、初期画素領域５０１Ａとして投影される。
あるいは、画像領域５２０の初期画素領域５００Ｂが床５４０に対して、初期画素領域５０１Ｂとして投影される。
あるいは、画像領域５２０の初期画素領域５００Ｂが床５４０に対して、初期画素領域５０１Ｂとして投影される。
変更画素領域抽出部１０４は、角度βが選択された場合、初期画素領域５０１Ａの３次元座標点の反射率と所定の色差の反射率を有する３次元座標点の法線ベクトルと、３次元形状モデルを復元した３次元座標系のＹ軸（所定の直線）に対して垂直な平面との成す角度θ２を求める。
そして、変更画素領域抽出部１０４は、角度θ２が角度閾値以下の３次元座標点を、図４（ｃ）に示す変更画素領域５５０として抽出する。ここで、図４（ａ）に示す絵画の画像領域５１１及び扉の画像領域５１２は、初期画素領域５００Ａにおける２次元座標点の反射率と異なるため、変更画素領域５５０において除外領域５５１及び除外領域５５２の各々として除外される。
そして、変更画素領域抽出部１０４は、角度θ２が角度閾値以下の３次元座標点を、図４（ｃ）に示す変更画素領域５５０として抽出する。ここで、図４（ａ）に示す絵画の画像領域５１１及び扉の画像領域５１２は、初期画素領域５００Ａにおける２次元座標点の反射率と異なるため、変更画素領域５５０において除外領域５５１及び除外領域５５２の各々として除外される。
変更画素領域抽出部１０４は、角度αが選択された場合、初期画素領域５０１Ｂの３次元座標点の反射率と所定の色差の反射率を有する３次元座標点の法線ベクトルと、初期画素領域５０１Ｂの３次元座標点の法線ベクトルとのなす角度θ１を求める。
そして、変更画素領域抽出部１０４は、角度θ１が角度閾値以下の３次元座標点を、図４（ｄ）に示す変更画素領域５６０として抽出する。ここで、図４（ａ）に示す床の敷物の画像領域５２５は、初期画素領域５００Ｂにおける２次元座標点の反射率と異なるため、変更画素領域５６０において除外領域５７０として除外される。
そして、変更画素領域抽出部１０４は、角度θ１が角度閾値以下の３次元座標点を、図４（ｄ）に示す変更画素領域５６０として抽出する。ここで、図４（ａ）に示す床の敷物の画像領域５２５は、初期画素領域５００Ｂにおける２次元座標点の反射率と異なるため、変更画素領域５６０において除外領域５７０として除外される。
変更画素領域選択部１０４２は、抽出した３次元座標点を入力画像５００に対して投影させる。
そして、変更画素領域選択部１０４２は、抽出した３次元座標点の変更画素領域５５０及び変更画素領域５６０の各々が投影された２次元座標点の領域（初期画素領域の２次元座標点を含む領域）を、入力画像５００における変更画素領域とする。
そして、変更画素領域選択部１０４２は、抽出した３次元座標点の変更画素領域５５０及び変更画素領域５６０の各々が投影された２次元座標点の領域（初期画素領域の２次元座標点を含む領域）を、入力画像５００における変更画素領域とする。
図１に戻り、加工画像生成部１０５は、画像表示部１１１の表示画面に表示された複数の異なる種類の素材画像から選択された素材画像を、素材データベース１１２から読み出す。
加工画像生成部１０５は、読み出した素材画像の２次元座標点の各々の画素値を、３次元形状モデルの対応する３次元座標点に対してテクスチャマッピングする。
そして、加工画像生成部１０５は、テクスチャマッピングされた３次元形状モデルを、入力画像のカメラパラメータに基づき、入力画像と同一視点の２次元平面に対して投影して２次元画像を生成する。
加工画像生成部１０５は、読み出した素材画像の２次元座標点の各々の画素値を、３次元形状モデルの対応する３次元座標点に対してテクスチャマッピングする。
そして、加工画像生成部１０５は、テクスチャマッピングされた３次元形状モデルを、入力画像のカメラパラメータに基づき、入力画像と同一視点の２次元平面に対して投影して２次元画像を生成する。
また、加工画像生成部１０５は、画像記憶部１０９から入力画像に対応する陰影成分画像を読み出す。
そして、加工画像生成部１０５は、読み出した陰影成分画像における２次元座標点の各々の画素値を、生成した２次元画像の２次元座標点における画素値のそれぞれ対して乗算し、加工画像を生成する。
そして、加工画像生成部１０５は、読み出した陰影成分画像における２次元座標点の各々の画素値を、生成した２次元画像の２次元座標点における画素値のそれぞれ対して乗算し、加工画像を生成する。
変更画像生成部１０７は、入力画像における変更画素領域の２次元座標点の画素値を、加工画像生成部１０５が生成した加工画像の２次元座標点の画素値に変更し、変更画像を生成する。
変更画像表示制御部１０８は、変更画像生成部１０７が生成した変更画像を、画像表示部１１１に対して表示する。
また、変更画像表示制御部１０８は、素材を異なる他の素材に変更する処理を継続するか否かの確認を促し、異なる他の素材の変更を継続する場合、加工画像生成部１０５に対して通知する。
また、変更画像表示制御部１０８は、素材を異なる他の素材に変更する処理を継続するか否かの確認を促し、異なる他の素材の変更を継続する場合、加工画像生成部１０５に対して通知する。
図５は、入力画像に対して加工画像を合成して、変更画素領域の素材を異なる他の素材に変更した変更画像の生成を説明する概念図である。
加工画像生成部１０５は、生成した２次元画像の全ての２次元座標点の各々の画素値に対して、陰影成分画像の２次元座標点の画素値それぞれを乗算することにより、加工画像６０１を生成する。
加工画像生成部１０５は、生成した２次元画像の全ての２次元座標点の各々の画素値に対して、陰影成分画像の２次元座標点の画素値それぞれを乗算することにより、加工画像６０１を生成する。
変更画像生成部１０７は、入力画像５００に対して重畳された素材変更領域、例えば図５に示す壁の変更画素領域７００の２次元座標点に対応する、加工画像６０１の２次元座標点の画素値を抽出する。
そして、変更画像生成部１０７は、抽出した加工画像６０１の２次元座標点の画素値に、この２次元座標点に対応する入力画像５００における２次元座標点の画素値を変更し、入力画像５００の変更画素領域の素材を他の異なる素材に変更した変更画像８００を生成する。
そして、変更画像生成部１０７は、抽出した加工画像６０１の２次元座標点の画素値に、この２次元座標点に対応する入力画像５００における２次元座標点の画素値を変更し、入力画像５００の変更画素領域の素材を他の異なる素材に変更した変更画像８００を生成する。
上述した実施形態においては、撮像装置２００を画像処理システム１００に備えられた構成（例えば、携帯端末やスマートフォンの撮像機能を利用する構成）としても良い。
また、実施形態においては、画像表示部１１１を画像処理システム１００に備えられた構成としたが、他のパーソナルコンピュータあるいはタブレット端末からなる画像表示装置として分離し、画像表示部１１１の除いた構成を、例えばサーバなどのコンピュータシステムとして運用しても良い。この構成の場合、画像処理システム１００、画像表示装置及び撮像装置２００の各々は、インターネットを含む情報通信網に接続され、データの送受信を行なう。
また、実施形態においては、画像表示部１１１を画像処理システム１００に備えられた構成としたが、他のパーソナルコンピュータあるいはタブレット端末からなる画像表示装置として分離し、画像表示部１１１の除いた構成を、例えばサーバなどのコンピュータシステムとして運用しても良い。この構成の場合、画像処理システム１００、画像表示装置及び撮像装置２００の各々は、インターネットを含む情報通信網に接続され、データの送受信を行なう。
また、実施形態においては、変更画素領域抽出部１０４が初期画素領域における２次元座標点における反射率成分の画素値と、類似した反射率成分の画素値を有する入力画像における２次元座標点を抽出する構成を説明した。
しかしながら、本実施形態においては、素材画像に模様などの反射率成分の画素値が点在する場合を考慮し、変更画素領域内に予め設定した面積（あるいは面積比）以下で存在する領域も変更画素領域に含める構成としても良い。
しかしながら、本実施形態においては、素材画像に模様などの反射率成分の画素値が点在する場合を考慮し、変更画素領域内に予め設定した面積（あるいは面積比）以下で存在する領域も変更画素領域に含める構成としても良い。
図６は、本実施形態による画像処理システムにおいて、選択された初期画素領域に基づき、入力画像（撮像画像）から変更画素領域を抽出し、この変更画素領域の素材を変更する処理の動作例を示すフローチャートである。以下、図１、図２、図４、図５及び図６を用いて、画像処理システムによる変更画素領域の抽出と、変更画素領域の素材を他の異なる種類の素材に変更する処理を説明する。
ステップＳ１：
ユーザは、図２に示したように、被写体である建物の室内を複数視点から、撮像装置２００により撮像し、異なる視点から撮像した撮像画像の各々を画像処理システム１００に対して入力する。
撮像画像入力部１１０は、撮像装置２００が撮像した撮像画像を画像記憶部１０９に対して書き込んで記憶させる。
ユーザは、図２に示したように、被写体である建物の室内を複数視点から、撮像装置２００により撮像し、異なる視点から撮像した撮像画像の各々を画像処理システム１００に対して入力する。
撮像画像入力部１１０は、撮像装置２００が撮像した撮像画像を画像記憶部１０９に対して書き込んで記憶させる。
ステップＳ２：
３次元形状復元部１０２は、画像記憶部１０９から撮像画像の各々を読み出し、これらの撮像画像から３次元形状モデルを復元する。
また、３次元形状復元部１０２は、３次元形状モデルを生成する際、それぞれの撮像画像の撮像時のカメラパラメータ（内部パラメータ及び外部パラメータを含む）と、各３次元座標点における法線ベクトルを求める。
そして、３次元形状復元部１０２は、復元した３次元形状モデル、カメラパラメータ及び法線ベクトルの各々のデータを、画像記憶部１０９に書き込んで記憶させる。
３次元形状復元部１０２は、画像記憶部１０９から撮像画像の各々を読み出し、これらの撮像画像から３次元形状モデルを復元する。
また、３次元形状復元部１０２は、３次元形状モデルを生成する際、それぞれの撮像画像の撮像時のカメラパラメータ（内部パラメータ及び外部パラメータを含む）と、各３次元座標点における法線ベクトルを求める。
そして、３次元形状復元部１０２は、復元した３次元形状モデル、カメラパラメータ及び法線ベクトルの各々のデータを、画像記憶部１０９に書き込んで記憶させる。
ステップＳ３：
初期画素領域入力部１０１は、例えば、画像記憶部１０９から撮像画像を順次読み出し、画像表示部１１１に対してサムネイル画像として一覧表示し、ユーザに対して撮像画像から入力画像の選択を行なうことを促す。
そして、ユーザが表示された撮像画像の何れを選択すると、初期画素領域入力部１０１は、この選択された撮像画像を入力画像として、再度、画像記憶部１０９から読み出す。
初期画素領域入力部１０１は、例えば、画像記憶部１０９から撮像画像を順次読み出し、画像表示部１１１に対してサムネイル画像として一覧表示し、ユーザに対して撮像画像から入力画像の選択を行なうことを促す。
そして、ユーザが表示された撮像画像の何れを選択すると、初期画素領域入力部１０１は、この選択された撮像画像を入力画像として、再度、画像記憶部１０９から読み出す。
初期画素領域入力部１０１は、読み出した入力画像を画像表示部１１１に表示し、ユーザに対して初期画素領域の選択を行なうことを促す。
これにより、ユーザが初期画素領域の選択を行なうことにより、初期画素領域入力部１０１は、初期画素領域の含む２次元座標点（画素）を変更画素領域抽出部１０４に対して出力する。
これにより、ユーザが初期画素領域の選択を行なうことにより、初期画素領域入力部１０１は、初期画素領域の含む２次元座標点（画素）を変更画素領域抽出部１０４に対して出力する。
ステップＳ４：
反射率・陰影分離部１０３は、入力画像を反射率成分画像及び陰影成分画像の各々に分離し、反射率成分画像、陰影成分画像それぞれを画像記憶部１０９に書き込んで記憶させる。また、反射率・陰影分離部１０３は、反射率成分画像における２次元座標点の各々の画素値（ＲＧＢで示された反射率成分）を、撮像画像テーブルに書き込んで記憶させる。
また、変更画素領域抽出部１０４は、入力画像の２次元座標点に対応する３次元座標点と、この３次元座標点における法線ベクトルを、撮像画像テーブルに書き込んで記憶させる。
反射率・陰影分離部１０３は、入力画像を反射率成分画像及び陰影成分画像の各々に分離し、反射率成分画像、陰影成分画像それぞれを画像記憶部１０９に書き込んで記憶させる。また、反射率・陰影分離部１０３は、反射率成分画像における２次元座標点の各々の画素値（ＲＧＢで示された反射率成分）を、撮像画像テーブルに書き込んで記憶させる。
また、変更画素領域抽出部１０４は、入力画像の２次元座標点に対応する３次元座標点と、この３次元座標点における法線ベクトルを、撮像画像テーブルに書き込んで記憶させる。
ステップＳ５：
変更画素領域抽出部１０４は、３次元形状モデルのデータを画像記憶部１０９から読み出し、読み出した３次元形状モデルに対して初期画素領域の２次元座標点を投影する。
そして、変更画素領域抽出部１０４は、投影された２次元座標点に対応する３次元座標点を取得する。
変更画素領域抽出部１０４は、３次元形状モデルのデータを画像記憶部１０９から読み出し、読み出した３次元形状モデルに対して初期画素領域の２次元座標点を投影する。
そして、変更画素領域抽出部１０４は、投影された２次元座標点に対応する３次元座標点を取得する。
ステップＳ６：
変更画素領域抽出部１０４は、画像記憶部１０９の撮像画像テーブルを参照して、初期画素領域における２次元座標点の反射率成分の画素値と類似する画素値を有する、入力画像の２次元座標点それぞれを抽出する。
そして、変更画素領域抽出部１０４は、画像記憶部１０９の撮像画像テーブルを参照して、上記類似する画素値を有する２次元座標点に対応する３次元座標点の法線ベクトルを読み出す。
変更画素領域抽出部１０４は、画像記憶部１０９の撮像画像テーブルを参照して、初期画素領域における２次元座標点の反射率成分の画素値と類似する画素値を有する、入力画像の２次元座標点それぞれを抽出する。
そして、変更画素領域抽出部１０４は、画像記憶部１０９の撮像画像テーブルを参照して、上記類似する画素値を有する２次元座標点に対応する３次元座標点の法線ベクトルを読み出す。
このとき、変更画素領域抽出部１０４は、初期画素領域における２次元座標点が投影された３次元形状モデルにおける３次元座標点における法線ベクトルと、所定の直線（Ｙ軸）及び当該所定の直線に垂直な平面の各々との成す角度α、角度βのそれぞれを求める。
また、変更画素領域抽出部１０４は、例えば、角度αが所定の角度閾値以下である場合、すなわち、図４（ａ）において初期画素領域５００Ｂが選択された場合、入力画像が投影される３次元形状モデルにおける３次元座標点の各々の法線ベクトルと、初期画素領域５００Ｂの３次元座標点５０１Ｂにおける法線ベクトルとの成す角度θ１を求める。
また、変更画素領域抽出部１０４は、例えば、角度αが所定の角度閾値以下である場合、すなわち、図４（ａ）において初期画素領域５００Ｂが選択された場合、入力画像が投影される３次元形状モデルにおける３次元座標点の各々の法線ベクトルと、初期画素領域５００Ｂの３次元座標点５０１Ｂにおける法線ベクトルとの成す角度θ１を求める。
そして、変更画素領域抽出部１０４は、角度θ１が所定の角度閾値以下の法線ベクトルを有する３次元座標点を、画像記憶部１０９の撮像画像テーブルから抽出する。
これにより、変更画素領域抽出部１０４は、反射率成分の画素値が類似し、かつ法線ベクトルの方向が同様の３次元座標点に対応する２次元画素座標点からなる領域を、入力画像における変更画素領域として抽出する。
これにより、変更画素領域抽出部１０４は、反射率成分の画素値が類似し、かつ法線ベクトルの方向が同様の３次元座標点に対応する２次元画素座標点からなる領域を、入力画像における変更画素領域として抽出する。
一方、変更画素領域抽出部１０４は、例えば、角度βが所定の角度閾値以下である場合、すなわち、図４（ａ）において初期画素領域５００Ａが選択された場合、入力画像が投影される３次元形状モデルにおける３次元座標点の各々の法線と所定の直線（Ｙ軸）に垂直な平面との成す角度θ２を求める。
そして、変更画素領域抽出部１０４は、角度θ２が所定の角度閾値以下の法線ベクトルを有する３次元座標点を、画像記憶部１０９の撮像画像テーブルから抽出する。
これにより、変更画素領域抽出部１０４は、反射率成分の画素値（反射率）が類似し、かつ法線ベクトルと所定の直線に垂直な平面との成す角が閾値以下である３次元座標点に対応する２次元画素座標点からなる領域を、入力画像における変更画素領域として抽出する。
そして、変更画素領域抽出部１０４は、角度θ２が所定の角度閾値以下の法線ベクトルを有する３次元座標点を、画像記憶部１０９の撮像画像テーブルから抽出する。
これにより、変更画素領域抽出部１０４は、反射率成分の画素値（反射率）が類似し、かつ法線ベクトルと所定の直線に垂直な平面との成す角が閾値以下である３次元座標点に対応する２次元画素座標点からなる領域を、入力画像における変更画素領域として抽出する。
ステップＳ７：
加工画像生成部１０５は、素材データベース１１２に記憶されている素材画像を読み出し、サムネイル画像として画像表示部１１１に表示し、ユーザに対して、変更に用いる素材を選択する処理を行なうことを促す。
ユーザは、画像表示部１１１に表示された素材画像のサムネイル画像のなかから、素材の変更に用いる素材画像を選択する。
加工画像生成部１０５は、素材データベース１１２から、再度、ユーザが選択した素材画像のデータを読み出す。
加工画像生成部１０５は、素材データベース１１２に記憶されている素材画像を読み出し、サムネイル画像として画像表示部１１１に表示し、ユーザに対して、変更に用いる素材を選択する処理を行なうことを促す。
ユーザは、画像表示部１１１に表示された素材画像のサムネイル画像のなかから、素材の変更に用いる素材画像を選択する。
加工画像生成部１０５は、素材データベース１１２から、再度、ユーザが選択した素材画像のデータを読み出す。
ステップＳ８：
加工画像生成部１０５は、素材画像の２次元座標点の画素値を、３次元形状モデルに対してテクスチャマッピングする。
そして、加工画像生成部１０５は、入力画像と同一の視点における２次元平面に３次元形状モデルを投影し、２次元画像を生成する。
加工画像生成部１０５は、２次元画像における２次元座標点の各々の画素値に対し、陰影画像における２次元座標点それぞれの画素値を乗算し、加工画像を生成する。
加工画像生成部１０５は、素材画像の２次元座標点の画素値を、３次元形状モデルに対してテクスチャマッピングする。
そして、加工画像生成部１０５は、入力画像と同一の視点における２次元平面に３次元形状モデルを投影し、２次元画像を生成する。
加工画像生成部１０５は、２次元画像における２次元座標点の各々の画素値に対し、陰影画像における２次元座標点それぞれの画素値を乗算し、加工画像を生成する。
ステップＳ９：
変更画像生成部１０７は、図５に示すように、入力画像５００における変更画素領域７００の２次元座標点の画素値を、この２次元座標点と対応する加工画像における２次元座標点の画素値に変換する。
そして、変更画像生成部１０７は、上述した画素値を変更した入力画像を、変更画像として出力する（変更画像を生成する）。
変更画像生成部１０７は、図５に示すように、入力画像５００における変更画素領域７００の２次元座標点の画素値を、この２次元座標点と対応する加工画像における２次元座標点の画素値に変換する。
そして、変更画像生成部１０７は、上述した画素値を変更した入力画像を、変更画像として出力する（変更画像を生成する）。
ステップＳ１０：
変更画像表示制御部１０８は、変更画像生成部１０７が入力画像における変更画素領域の素材を異なる種類の素材に変更して生成した変更画像を、画像表示部１１１に対して表示する。
また、変更画像表示制御部１０８は、入力画像において抽出された変更画素領域における素材を異なる種類の素材に変更する処理を継続するか否かの確認を促す。
変更画像表示制御部１０８は、変更画像生成部１０７が入力画像における変更画素領域の素材を異なる種類の素材に変更して生成した変更画像を、画像表示部１１１に対して表示する。
また、変更画像表示制御部１０８は、入力画像において抽出された変更画素領域における素材を異なる種類の素材に変更する処理を継続するか否かの確認を促す。
ステップＳ１１：
変更画像表示制御部１０８は、入力画像において抽出された変更画素領域における素材を異なる種類の素材に変更する処理を、ユーザが継続するか否かの判定を行なう。
変更画像表示制御部１０８は、変更画素領域における素材を異なる種類の素材に変更する処理をユーザが継続する入力を行った場合、処理をステップＳ７へ進める。
一方、変更画像表示制御部１０８は、変更画素領域における素材を異なる種類の素材に変更する処理をユーザが継続しない入力を行った場合、処理を終了する。
変更画像表示制御部１０８は、入力画像において抽出された変更画素領域における素材を異なる種類の素材に変更する処理を、ユーザが継続するか否かの判定を行なう。
変更画像表示制御部１０８は、変更画素領域における素材を異なる種類の素材に変更する処理をユーザが継続する入力を行った場合、処理をステップＳ７へ進める。
一方、変更画像表示制御部１０８は、変更画素領域における素材を異なる種類の素材に変更する処理をユーザが継続しない入力を行った場合、処理を終了する。
上述した本実施形態においては、変更画素領域を抽出する際、一例として、入力画像において、初期画素領域の２次元座標点の反射率成分の画素値と類似する画素値を有する２次元座標点を求め、求めた２次元座標点に対応する３次元座標点のなかから、初期画素領域の２次元座標点が３次元形状モデルに投影された３次元座標点の法線ベクトルと方向が類似している３次元座標点を抽出している。
しかしながら、本実施形態においては、初期画素領域の２次元座標点の反射率成分の画素値が類似し、かつ法線ベクトルの方向が同様の３次元座標点に対応する２次元画素座標点からなる領域を、変更画素領域として抽出するため、初期画素領域の２次元座標点の反射率成分の画素値と類似する２次元座標点の検出、あるいは同様の方向の法線ベクトルを有する３次元座標点のいずれを先に検出する構成としても良い。
上述したように、本実施形態によれば、素材（テクスチャ及び色データを含む）を変換する対象の領域である変更画素領域を、ユーザが変更画素領域を示すために入力する初期画素領域に基づき、入力画像における初期画素領域の反射率成分の画素値と類似し、かつ法線ベクトルの方向が類似した３次元座標点に対応する２次元座標点を変更画素領域として抽出する。
これにより、本実施形態によれば、ユーザが枠で囲むなどの手間を掛けずに、かつ撮像画像を予め変更画素領域が選択し易いように予め区分しておく必要がなく、ユーザが素材や色データを異なる種類に変更する対象の変更画素領域を簡易に選択できる。
これにより、本実施形態によれば、ユーザが枠で囲むなどの手間を掛けずに、かつ撮像画像を予め変更画素領域が選択し易いように予め区分しておく必要がなく、ユーザが素材や色データを異なる種類に変更する対象の変更画素領域を簡易に選択できる。
また、本実施形態によれば、ユーザが素材や色データを変更する対象の変更画素領域を抽出する際、この変更画素領域が３次元形状モデルにおいて、初期画素領域における２次元座標点に対応した３次元座標点の法線ベクトルと同様の法線ベクトルを有する３次元座標点として求めている。
このため、本実施形態によれば、３次元形状モデルの曲面形状の境界に高い精度で対応させて変更画素領域を抽出することが可能となり、ユーザが素材を異なる種類の素材に変更した変更画素領域を鑑賞する場合、壁の素材が床にはみ出したり、逆に床の素材が壁にはみ出したりなどの、境界の不明確さによる違和感を抑制することができる。
このため、本実施形態によれば、３次元形状モデルの曲面形状の境界に高い精度で対応させて変更画素領域を抽出することが可能となり、ユーザが素材を異なる種類の素材に変更した変更画素領域を鑑賞する場合、壁の素材が床にはみ出したり、逆に床の素材が壁にはみ出したりなどの、境界の不明確さによる違和感を抑制することができる。
なお、本発明における図１の画像処理システム１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより入力画像から簡易に変更画素領域を抽出し、この変更画素領域における素材を変更するシミュレーションの処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
１００…画像処理システム
１０１…初期画素領域入力部
１０２…３次元形状復元部
１０３…反射率・陰影分離部
１０４…変更画素領域抽出部
１０５…加工画像生成部
１０７…変更画像生成部
１０８…変更画像表示制御部
１０９…画像記憶部
１１０…撮像画像入力部
１１１…画像表示部
１１２…素材データベース
２００…撮像装置
１０４１…投影変換部
１０４２…変更画素領域選択部
１０１…初期画素領域入力部
１０２…３次元形状復元部
１０３…反射率・陰影分離部
１０４…変更画素領域抽出部
１０５…加工画像生成部
１０７…変更画像生成部
１０８…変更画像表示制御部
１０９…画像記憶部
１１０…撮像画像入力部
１１１…画像表示部
１１２…素材データベース
２００…撮像装置
１０４１…投影変換部
１０４２…変更画素領域選択部
Claims (11)
- 被写体を撮像した入力画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出装置であり、
入力画像において選択された１以上の画素からなる初期画素領域を、前記入力画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換部と、
前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出部と
を備えることを特徴とする変更画素領域抽出装置。 - 前記変更画素領域抽出部が、
前記投影３次元座標点の前記法線ベクトル及び所定の直線との各々の成す第１角度が所定の角度閾値以下の際に、前記３次元形状モデルにおける３次元座標点の前記法線ベクトル及び前記初期画素領域の投影３次元座標点における前記法線ベクトルの成す角度が前記所定の角度閾値以下であり、かつ当該投影３次元座標点に対応する前記画素の反射率成分と類似している反射率成分を有する３次元座標点に対応する画素を前記入力画像から抽出し、抽出された当該画素の各々からなる領域を前記変更画素領域とする
ことを特徴とする請求項１に記載の変更画素領域抽出装置。 - 前記変更画素領域抽出部が、
前記投影３次元座標点の前記法線ベクトル及び所定の直線に垂直な平面の各々の成す第２角度が所定の角度閾値以下の際に、前記３次元形状モデルにおける３次元座標点の前記法線ベクトル及び前記所定の直線に垂直な平面の成す角度が前記所定の角度閾値以下であり、かつ当該投影３次元座標点に対応する前記画素の反射率成分と類似している反射率成分を有する３次元座標点に対応する画素を前記入力画像から抽出し、抽出された当該画素の各々を前記変更画素領域とする
ことを特徴とする請求項１または請求項２に記載の変更画素領域抽出装置。 - 請求項１から請求項３のいずれか一項に記載の変更画素領域抽出装置と、
種類の異なる前記素材の素材画像の各々を蓄積するデータベースと、
前記素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記入力画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成部と、
前記入力画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成部と
を備える
ことを特徴とする画像処理システム。 - 前記入力画像を陰影成分画像と反射率成分画像とに分離する反射率・陰影分離部
をさらに備え、
前記加工画像生成部が、
テクスチャマッピング後の３次元形状モデルを前記入力画像と同一の視点の２次元平面に投影して生成した２次元画像に対し、前記陰影成分画像の画素の画素値を乗算することにより、前記加工画像を生成する
ことを特徴とする請求項４に記載の画像処理システム。 - 前記被写体を異なる撮像方向から撮像した複数の撮像画像から前記３次元形状モデルを復元し、前記撮像画像の撮像に用いた撮像装置のカメラパラメータとから、前記３次元座標点の各々の前記法線ベクトルを算出する３次元形状復元部
をさらに備え、
前記陰影成分画像が前記入力画像と前記反射率成分画像との差分である
ことを特徴とする請求項５に記載の画像処理システム。 - 画像を表示する画像表示部と、
前記画像表示部に表示された前記入力画像において選択された初期画素領域を入力する初期画素領域入力部と、
前記変更画像を前記画像表示部に表示する変更画像表示制御部と
をさらに備える
ことを特徴とする請求項４から請求項６のいずれか一項に記載の画像処理システム。 - 被写体を撮像した入力画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出方法であり、
投影変換部が、入力画像において選択された１以上の画素からなる初期画素領域を、前記入力画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換過程と、
変更画素領域抽出部が、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出過程と
を含むことを特徴とする変更画素領域抽出方法。 - 被写体を撮像した入力画像から、前記被写体における素材を変更する対象の変更画素領域を抽出し、当該変更画素領域における前記素材を変更する画像処理方法であり、
投影変換部が、入力画像において選択された１以上の画素からなる初期画素領域を、前記入力画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換過程と、
変更画素領域抽出部が、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出過程と、
加工画像生成部が、種類の異なる前記素材の素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記入力画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成過程と、
変更画像生成部が、前記入力画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成過程と
を含む
ことを特徴とする画像処理方法。 - 被写体を撮像した入力画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出装置の機能をコンピュータに実行させるプログラムであり、
前記コンピュータを、
入力画像において選択された１以上の画素からなる初期画素領域を、前記入力画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換手段、
前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出手段
として機能させるプログラム。 - 被写体を撮像した入力画像から、前記被写体における素材を変更する対象の変更画素領域を抽出し、当該変更画素領域における前記素材を変更する画像処理装置の機能をコンピュータに実行させるプログラムであり、
入力画像において選択された１以上の画素からなる初期画素領域を、前記入力画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換手段、
前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出手段、
種類の異なる前記素材の素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記入力画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成手段、
前記入力画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成手段
として機能させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018184973A JP7119853B2 (ja) | 2018-09-28 | 2018-09-28 | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018184973A JP7119853B2 (ja) | 2018-09-28 | 2018-09-28 | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020057037A true JP2020057037A (ja) | 2020-04-09 |
| JP7119853B2 JP7119853B2 (ja) | 2022-08-17 |
Family
ID=70107241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018184973A Active JP7119853B2 (ja) | 2018-09-28 | 2018-09-28 | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7119853B2 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015501044A (ja) * | 2011-12-01 | 2015-01-08 | クアルコム，インコーポレイテッド | 実世界オブジェクトの３ｄモデルおよび正しい縮尺のメタデータをキャプチャし移動させるための方法およびシステム |
| JP2015162708A (ja) * | 2014-02-26 | 2015-09-07 | Kddi株式会社 | 空間共有装置、空間共有システム、空間共有方法、およびプログラム |
| JP2017033317A (ja) * | 2015-07-31 | 2017-02-09 | 凸版印刷株式会社 | 建築素材画像処理システム、方法、及びプログラム |
-
2018
- 2018-09-28 JP JP2018184973A patent/JP7119853B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015501044A (ja) * | 2011-12-01 | 2015-01-08 | クアルコム，インコーポレイテッド | 実世界オブジェクトの３ｄモデルおよび正しい縮尺のメタデータをキャプチャし移動させるための方法およびシステム |
| JP2015162708A (ja) * | 2014-02-26 | 2015-09-07 | Kddi株式会社 | 空間共有装置、空間共有システム、空間共有方法、およびプログラム |
| JP2017033317A (ja) * | 2015-07-31 | 2017-02-09 | 凸版印刷株式会社 | 建築素材画像処理システム、方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7119853B2 (ja) | 2022-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9007422B1 (en) | Method and system for mutual interaction using space based augmentation | |
| JP7403528B2 (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
| KR101453815B1 (ko) | 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치 | |
| US8655052B2 (en) | Methodology for 3D scene reconstruction from 2D image sequences | |
| US11694313B2 (en) | Computer-generated image processing including volumetric scene reconstruction | |
| CN109906600B (zh) | 模拟景深 | |
| JP7353782B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US11228707B1 (en) | Scene capture for reconstruction of obscured views | |
| JP2018026064A (ja) | 画像処理装置、画像処理方法、システム | |
| CN112270736A (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
| JP2022077148A (ja) | 画像処理方法、プログラムおよび画像処理システム | |
| CN114399610A (zh) | 基于引导先验的纹理映射系统和方法 | |
| JP6011567B2 (ja) | 情報処理装置、その制御方法、及びプログラム | |
| JP7119854B2 (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム | |
| JP7119853B2 (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム | |
| Saran et al. | Augmented annotations: Indoor dataset generation with augmented reality | |
| JP2017215706A (ja) | 映像合成方法、映像取得装置、映像合成装置、映像合成システム及びコンピュータプログラム。 | |
| Kolivand et al. | Livephantom: Retrieving virtual world light data to real environments | |
| US11228706B2 (en) | Plate reconstruction of obscured views of a main imaging device using capture device inputs of the same scene | |
| JP2002312810A (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP2017084214A (ja) | 情報処理システム、その制御方法、及びプログラム | |
| WO2022075860A1 (en) | Method for editing computer-generated images to maintain alignment between objects specified in frame space and objects specified in scene space | |
| CA3186957A1 (en) | Operating animation controls using evaluation logic | |
| Bhowmik et al. | Advances in 3D‐Sensing Technologies and Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210825 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220718 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7119853 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |