以下に添付図面を参照して、画像処理装置、方法、及びプログラムの一の実施形態を詳細に説明する。
(実施の形態1)
図1は、本実施の形態の画像処理装置10の機能的構成を示すブロック図である。画像処理装置10は、記憶部12(記憶手段)、撮像部14(撮像手段)、選択部16(選択手段)、第1算出部18(第1算出手段)、抽出部20(抽出手段)、第2算出部22(第2算出手段)、決定部24(決定手段)、生成部26(生成手段)、及び提示部28(提示手段)を備える。
撮像部14は、衣服を試着する対象の被写体を撮像する。撮像部14としては、公知のデジタルカメラ、デジタルビデオカメラ等が挙げられる。撮像部14は、被写体の撮像によって、被写体を含む第1画像を取得する。撮像部14は、第1画像を、第1算出部18、抽出部20、及び生成部26へ出力する。
衣服を試着する対象の被写体は、人物に限られず、犬や猫等のペット、及び人体やペットの形状を模したマネキン等も含む。また、衣服とは、被写体が着用可能な品物である。衣服としては、例えば、上着、スカート、ズボン、靴、帽子等が挙げられる。
第1算出部18は、撮像部14によって得られた第1画像から、被写体の姿勢情報を算出する。姿勢情報とは、被写体の身体の構え方を示し、被写体の向きや動き等を示す。被写体の向きとは、撮像部14に対する撮像時の被写体の向きを示す。例えば、被写体の向きとしては、顔及び身体が撮像部14に対して正面を向いている正面方向、顔及び身体が撮像部14に対して側面を向いている側面方向、正面方向及び側面方向以外の他の方向等がある。被写体の身体の動きとは、被写体の関節の角度の集合によって定まる身体の形を示す。
本実施の形態では、第1算出部18は、姿勢情報として、被写体の向きを示す姿勢情報を算出する場合を説明するがこれに限られない。
第1算出部18による姿勢情報の算出には、公知の方法を適用することができる。例えば、姿勢情報の算出には、第1画像における顔領域を公知の方法により抽出し、顔領域の向きを公知の方法により判別することによって、被写体の向きを示す姿勢情報を算出する方法を用いることができる。また、第1画像における被写体の輪郭の大きさや形状を示す情報に対応づけて姿勢情報を予め記憶する。そして、第1算出部18は、第1画像の輪郭を公知の方法により抽出し、該輪郭の大きさや形状を示す情報に対応する姿勢情報を読み取ることによって、姿勢情報を算出してもよい。また、複数領域に分割した領域毎に印の着いた衣服を着用した状態の被写体を撮像部14で撮像する。そして、撮像によって得られた第1画像における該印を示す印画像の各位置を算出した算出結果を用いて、姿勢情報を算出してもよい。
また、特開2006−249618号公報に示される姿勢推定方法を用いて姿勢情報を算出してもよい。具体的には、被写体の三次元体型形状を示す情報に対応づけて姿勢情報を予め記憶する。そして、撮像部14の撮像によって得られた第1画像の輪郭を公知の方法により抽出する。そして、各姿勢情報に対応する三次元体型形状を示す情報の各々について被写体モデルを生成し、被写体モデルを二次元画像に投影して輪郭を抽出する。そして、第1画像の輪郭に一致または最も類似する輪郭の被写体モデルに対応する姿勢情報を、読取ることによって、姿勢情報を算出する方法を用いてもよい。
記憶部12は、第2画像を示す第2画像情報を記憶する。第2画像情報は、衣服の試着対象の被写体、または被写体を模した形状のマネキン等の人形に試着された状態で撮像された衣服の画像を示すことが好ましい。
本実施の形態では、記憶部12は、第2画像情報を格納したテーブルを記憶する場合を説明する。図2には、記憶部12に記憶される、第2画像情報を格納したテーブルのデータ構造の一例を示した。
図2に示すように、第2画像情報を格納したテーブルは、例えば、衣服番号と、姿勢情報と、第2画像情報と、衣服情報と、を対応づけて格納する。衣服番号は、衣服毎に一意に割り当てられた番号等の情報である。このため、姿勢情報が異なっていても、同じ衣服については、同じ衣服番号を割り当てるものとして説明する。姿勢情報は、上述したため説明を省略する。第2画像情報は、第2画像を示す画像情報である。衣服情報は、衣服を示す情報であり、例えば、衣服名、色、サイズ、素材、値段等の情報が含まれる。
なお、記憶部12は、1種類の衣服(衣服番号)について、姿勢の異なる複数種類の姿勢情報及び各姿勢情報に対応する第2画像情報や衣服情報を格納してもよいし、1種類の衣服について、1種類の姿勢の姿勢情報を格納してもよい。
記憶部12が、1種類の衣服について姿勢の異なる複数種類の姿勢情報及び各姿勢情報に対応する第2画像情報を格納する場合には、例えば、記憶部12は、図3(A)に示すように、同じ衣服について側面側から撮像された第2画像31Aと、側面方向を示す姿勢情報と、が該衣服を示す衣服番号に対応づけて格納する。また、記憶部12は、図3(B)に示すように、同じ衣服について正面側から撮像された第2画像31Bと、正面方向を示す姿勢情報と、を、該衣服を衣服番号に対応づけて格納する。
なお、記憶部12における、第2画像情報を格納したテーブルは、衣服を識別するための衣服番号と、姿勢情報と、第2画像情報と、を少なくとも格納すればよく、衣服情報を格納しない形態であってもよい。
図1に戻り、説明を続ける。選択部16は、第1算出部18から受け付けた姿勢情報に対応する第2画像情報を記憶部12から選択する。なお、姿勢情報に対応する第2画像情報が記憶部12に複数記憶されている場合、すなわち、同じ姿勢情報に対応する異なる種類の衣服が記憶部12に記憶されている場合には、選択部16は、これらの複数の第2画像情報の内の1の第2画像情報を選択する。
なお、画像処理装置10に図示を省略する操作部を設けた構成とし、選択部16は、ユーザによる操作部の操作指示によって選択された衣服番号の第2画像情報の内の、第1算出部18から受け付けた姿勢情報に対応する第2画像情報を選択してもよい。なお、操作部としては、各種情報を入力する公知の入力装置が挙げられ、例えば、キーボードやタッチパネル等が挙げられる。
選択部16は、選択した第2画像情報を、抽出部20及び生成部26へ出力する。
抽出部20は、第1画像の輪郭(第1輪郭と称する)を抽出し、該第1輪郭から被写体の第1特徴を抽出する。また、抽出部20は、第2画像の輪郭(第2輪郭と称する)を抽出し、該第2輪郭から第2特徴を抽出する。
第1特徴及び第2特徴とは、被写体を特徴づける部分を示す。第1特徴及び第2特徴は、具体的には、少なくとも被写体の肩部及び腰部の何れか一方を示す。なお、第1特徴及び第2特徴としては、被写体を特徴づける部分であればよく、例えば、首部、胸部、脇部、膝部、大腿部、頭部、足首部、足先部等を含んでもよい。なお、以下では、第1特徴及び第2特徴を総称する場合には、単に特徴と称して説明する場合がある。
抽出部20は、公知のエッジ抽出方法を用いたエッジ抽出法を用いて、第1画像の第1輪郭、及び第2画像の第2輪郭を抽出する。具体的には、エッジ抽出法としては、キャニー(Canny)法、ソーベルオペレータ法、Prewittオペレータ法、Roberts cross法等が挙げられるが、これらに限られない。
第1輪郭から第1特徴を抽出する方法、及び第2輪郭から第2特徴を抽出する方法としては、以下の方法を用いる。例えば、抽出部20は、輪郭における特徴を示す線画像部分を識別するための識別情報を予め記憶する。この識別情報としては、例えば、曲率を示す情報が挙げられるがこれに限られない。
曲率を識別情報として用いて第1特徴及び第2特徴を抽出する方法の一例を説明する。例えば、抽出部20は、肩部、腰部等の特徴毎に、各特徴に対応する曲率の範囲を示す情報を予め記憶する。具体的には、抽出部20は、肩部に相当する曲線の曲率の取りうる範囲を、肩部を示す情報に対応づけて記憶する。抽出部20は、腰部やその他の部位についても同様にして、曲率の範囲を予め記憶する。
そして、抽出部20は、第1特徴及び第2特徴を複数領域に分割した各領域について曲率を算出し、算出した曲率に対応する特徴を示す情報が記憶されている場合に、該曲率を示す領域を線画像(第1特徴、第2特徴)として抽出する。
なお、曲率の算出には、公知の方法を用いる。例えば、抽出部20は、下記方法により曲率を算出する。具体的には、抽出部20は、まず、注目画素の近傍領域S(p)の輪郭(第1輪郭、第2輪郭)の共分散行列M(式(1))を求める。
式(1)中、Mは、輪郭(第1輪郭、第2輪郭)の共分散行列を示し、S(p)は、注目画素の近傍領域を示す。また、式(1)中、dI/dxは、水平方向の微分オペレータを示し、dI/dyは垂直方向の微分オペレータを示す。
そして、抽出部20は、共分散行列Mの固有値(λ1,λ2)を用いて、下記式(2)により曲率を算出する。
曲率=αλ1+βλ2 ・・・式(2)
式(2)中、αは、定数であり、固有値λ1の重要度を表す。また、式(2)中、βは、定数であり、固有値λ2の重要度を表す。
なお、輪郭における特徴を示す線画像部分を識別するための識別情報としては、上記曲率に加えて、被写体の奥行を示す奥行情報や、画像の色情報を用いてもよい。
上記識別情報として、上記曲率に加えて奥行情報を用いる場合には、撮像部14を、被写体の奥行きを示す奥行情報を更に取得する構成とする。この場合には、撮像部14を、奥行きを取得する公知の装置を備えた構成とする。この奥行を取得する公知の装置としては、アクティブセンサーやステレオカメラ等が挙げられる。そして、この場合、撮像部14は、第1画像とともに奥行情報を抽出部20に出力する。
この場合、抽出部20では、肩部、腰部等の特徴毎に、各特徴に対応する曲率の範囲、及び奥行情報を示す情報を予め記憶する。そして、抽出部20は、第1特徴及び第2特徴を複数領域に分割した各領域について曲率を算出すると共に奥行情報を読み取り、算出した曲率及び読み取った奥行情報に対応する特徴を示す情報が記憶されている場合に、該曲率及び奥行を示す領域を特徴(第1特徴、第2特徴)として抽出する。
上記識別情報として、上記曲率に加えて色情報を用いる場合には、抽出部20では、肩部、腰部等の特徴毎に、各特徴に対応する、曲率の範囲及び隣接する画素間の色値の差の範囲を示す情報を予め記憶する。具体的には、抽出部20は、肩部に相当する曲線の曲率の取りうる範囲、及び肩部に相当する色値の差の範囲を、肩部を示す情報に対応づけて記憶する。抽出部20は、腰部やその他の部位についても同様にして、曲率の範囲及び色値の差の範囲を予め記憶する。そして、抽出部20は、第1特徴及び第2特徴を複数領域に分割した各領域について曲率を算出するとともに、隣接する画素間の色値の差を算出する。そして、抽出部20は、算出した曲率及び色値の差に対応する特徴を示す情報が記憶されている場合に、該曲率及び色値の差を示す領域を特徴(第1特徴、第2特徴)として抽出する。
第1特徴および第2特徴を抽出する処理としては、他の方法を用いてもよい。例えば、撮像部14が、肩部等の特徴に第1印の付与された衣服、及び第2印の付与されたベルト状の衣服を着用した状態の被写体を撮像する。そして、抽出部20は、撮像によって得られた第1画像情報における該第1印の第1位置を基準に、肩部を抽出し、該第2印の第2位置を基準に腰部を抽出することによって、第1特徴および第2特徴を抽出してもよい。
図4には、本実施の形態の画像処理装置10における画像合成の一例を示した。例えば、図4(A)に示すように、撮像部14で撮像した第1画像が、第1画像30であり、選択部16が選択した第2画像情報が図4(D)に示す第2画像36であったとする。この場合、抽出部20は、例えば、第1画像30の第1輪郭として、例えば、図4(B)に示す第1輪郭32を抽出する。また、抽出部20は、例えば、第2画像36の第2輪郭として、図4(E)に示す第2輪郭38を抽出する。
そして、抽出部20は、第1輪郭32における、特徴点である、例えば肩部32Aに相当する第1特徴34を抽出する(図4(C)参照)。同様に、抽出部20は、第2輪郭38における、肩部38Aに相当する第2特徴40を抽出する(図4(F)参照)。そして、後述する生成部26が、透過度を変更された第2画像と第1画像とを合成した合成画像42を生成する(図4(G)参照)。
図1に戻り、説明を続ける。抽出部20は、第1画像の第1輪郭から抽出した第1特徴、及び第2画像の第2輪郭から抽出した第2特徴を、第2算出部22へ出力する。
第2算出部22は、抽出部20から受け付けた第1特徴と第2特徴のずれ量(以下、第1ずれ量と称する)を算出する。
この第1特徴と第2特徴とのずれ量の算出には、公知の算出方法を用いる。例えば、この第1特徴と第2特徴とのずれ量の算出方法としては、Chamfer Matching法、レベルセット法、及び単純類似度法等を用いる。
より具体的には、例えば、第2算出部22は、第1特徴を構成する各画素の画素位置と、第2特徴を構成する各画素の画素位置と、の差の合計値を、第1ずれ量として算出する。
なお、第2算出部22は、この第1ずれ量の算出時には、まず、第1特徴と第2特徴の合わせ込みを行うことが好ましい。具体的には、第2算出部22は、第1特徴及び第2特徴の何れか一方を拡大、縮小、または位置変更を行い、拡大、縮小、または位置変更を行う毎に変更した後の第1特徴と第2特徴のずれ量を算出する。そして、この変更処理及びずれ量算出処理を予め定められた回数繰り返し、算出したずれ量の内の最小値を、第1特徴と第2特徴の第1ずれ量として算出する。なお、この変更処理及びずれ量算出処理の繰り返し回数は、予め定めて第2算出部22に予め記憶しておけばよい。
第2算出部22は、算出した第1ずれ量を、決定部24へ出力する。
決定部24は、第1ずれ量が大きいほど高い透過度を、第2画像の透過度として決定する。例えば、決定部24は、第1ずれ量に対する透過度として、第1ずれ量が大きいほど高い透過度を算出する計算式または第1ずれ量と透過度を定めたテーブルを予め記憶する。そして、決定部24は、第2算出部22から受け付けた第1ずれ量を該計算式に代入することによって透過度を算出、または該第1ずれ量に対応する透過度を読み取ることによって透過度を決定する。
なお、決定部24は、第1ずれ量が大きいほど高い透過度を決定すればよく、第1ずれ量と透過度との関係が一次直線によって示される式やテーブルを用いて透過度を決定してもよいし、該関係が二次曲線によって示される式やテーブルを用いて透過度を決定してもよい。また、決定部24は、第1ずれ量が大きいほど連続的に高い透過度を決定してもよく、また、第1ずれ量が大きいほど、段階的に高い透過度を決定してもよい。
決定部24は、第2画像の透過度として決定した透過度を、生成部26へ出力する。
生成部26は、決定部24から透過度を示す透過度情報を受け付ける。また、生成部26は、選択部16から第2画像情報を受け付ける。また、生成部26は、撮像部14から第1画像を受け付ける。
そして、生成部26は、選択部16から受け付けた第2画像情報の透過度を、決定部24から受け付けた透過度に変更する。そして、生成部26は、変更した透過度の第2画像情報の第2画像を、撮像部14から受け付けた第1画像情報の第1画像に合成し、合成画像を生成する。
詳細には、生成部26は、合成画像における、第2画像と第1画像との重なる領域の画素値を、下記式(3)を用いて算出することによって、合成画像を生成する。
Io=α・β・Ih+(1−α)(1−β)・Ic ・・・式(3)
式(3)中、Ioは、合成画像における第2画像と第1画像との重なる領域の画素値を示す。また、Ihは、第1画像における該重なる領域の画素値を示す。Icは、第2画像における該重なる領域の画素値を示す。また、式(3)中、αは、決定部24が決定した透過度を示す。また、式(3)中、βは、合成対象の第2画像の透過度(合成前の透過度)を示す。
なお、式(3)中、α及びβは、透過度の最大値を「1」とし、透過度の最小値を「0」としたときの透過度を示している。
そして、生成部26は、生成した合成画像の合成画像情報を、提示部28へ出力する。
提示部28は、生成部26から合成画像情報を受け付ける。提示部28は、合成画像を提示する装置である。なお、提示とは、本実施の形態では、表示、印刷、及び送信等を示す。提示部28としては、液晶表示装置等の表示装置や、画像を印刷する印刷装置や、有線通信や無線通信等により外部装置へ情報を送信する公知の通信装置が挙げられる。提示部28が、表示装置である場合には、提示部28は、受け付けた合成画像情報の合成画像を表示する。また、提示部28が通信装置である場合には、提示部28は、合成画像情報を外部装置へと送信する。また、提示部28が印刷装置である場合には、提示部28は、合成画像情報の合成画像を印刷する。
次に、本実施の形態の画像処理装置10で実行する画像処理を説明する。
図5は、本実施の形態の画像処理装置10で実行する画像処理の手順を示すフローチャートである。
まず、撮像部14が被写体の撮像によって第1画像を取得する(ステップS100)。次いで、第1算出部18が、撮像部14の撮像によって得られた第1画像の第1画像情報から、被写体の姿勢情報を算出する(ステップS102)。
次に、抽出部20が、ステップS100の撮像によって得られた第1画像情報の第1輪郭を抽出し、第1輪郭から第1特徴を抽出する(ステップS104、ステップS106)。
次に、選択部16が、上記ステップS102で算出された姿勢情報に対応する1の第2画像情報を記憶部12から選択する(ステップS108)。
次に、抽出部20が、ステップS108で選択された第2画像情報の第2輪郭を抽出し、第2輪郭から第2特徴を抽出する(ステップS110、ステップS112)。
次に、第2算出部22は、ステップS106で抽出された第1特徴、及びステップS112で抽出された第2特徴の合わせ込みを行い、合わせ込み(第1特徴及び第2特徴の拡大、縮小、位置変更)によって算出したずれ量の内の最小値を算出する(ステップS114、ステップS116)。
次に、第2算出部22は、上記ステップS110で第2輪郭の抽出に用いた第2画像情報の衣服番号と同じ衣服番号に、異なる姿勢情報に対応する、ずれ量未算出の第2画像情報が記憶部12に格納されているか否かを判断する(ステップS118)。同じ衣服番号に、異なる姿勢情報に対応する、ずれ量未算出の第2画像情報が格納されている場合には、第2算出部22は、肯定判断(ステップS118:Yes)する。そして、第2算出部22は、ステップS110で第2輪郭の抽出に用いた第2画像情報の衣服番号に対応する、該第2画像情報とは異なる姿勢情報に対応する1の第2画像情報を記憶部12から選択した後に上記ステップS110へ戻る(ステップS120)。
一方、ステップS118で否定判断すると(ステップS118:No)第2算出部22は、上記ステップS110〜ステップS120の処理で算出したずれ量の内の最小値を、第1ずれ量として算出する(ステップS122)。
次に、決定部24が、ステップS122で算出された第1ずれ量に基づいて、第1ずれ量が大きいほど高い透過度を決定する(ステップS124)。
次に、生成部26が、上記ステップS122の処理によって算出した第1ずれ量の算出時に用いた第2特徴に対応する第2画像情報の透過度を、ステップS124で決定した透過度に変更し、透過度を変更した第2画像情報と、第1画像情報と、を合成した合成画像を生成する(ステップS126)。
次に、提示部28が、ステップS126で生成された合成画像を提示する(ステップS128)。
なお、上記ステップS108〜ステップS112の処理は、上記ステップS100〜ステップ106の処理時に所定時間毎に割り込む割り込み処理として実行してもよい。
上記ステップS100〜ステップS128に示す画像処理を行うことによって、画像処理装置10は、例えば、図6に示す合成画像を生成し、提示部28に提示する。
図6には、本実施の形態の画像処理装置10における画像合成の一例を示した。例えば、図6(C)に示すように、撮像部14で撮像した第1画像が、被写体を正面方向から撮影した第1画像50であり、選択部16が選択した第2画像情報が図6(B)に示すように第2画像を正面方向から撮影した第2画像46であったとする。そして、第2算出部22の算出した第1ずれ量が、透過度「0」(透過度の最小値)に対応する値であったとする。なお、撮像部14による撮像によって得られた第1画像の透過度は、透過度「0」であったとする。この場合には、画像処理装置10は、上記画像処理を実行することによって、例えば、透過度「0」の第1画像50上に、透過度「0」の第2画像46を重ねた合成画像52を生成し、提示部28に提示する(図6(E)参照)。
一方、図6(A)に示すように、撮像部14で撮像した第1画像が、被写体を側面方向から撮影した第1画像44であり、選択部16が選択した第2画像情報が図6(B)に示すように第2画像を正面方向から撮影した第2画像46であったとする。この場合、第1特徴と第2特徴との第1ずれ量は、図6(E)に示す合成画像の生成時に用いた第1ずれ量より大きくなる。例えば、この場合、第2算出部22の算出した第1ずれ量が、透過度「1」(透過度の最大値)に対応する値であったとする。なお、撮像部14による撮像によって得られた第1画像の透過度は、透過度「0」であったとする。この場合には、画像処理装置10は、上記画像処理を実行することによって、例えば、透過度「0」の第1画像44上に、透過度「1」の第2画像46Aを重ねた合成画像48を生成し、提示部28に提示する(図6(D)参照)。このため、図6(D)に示すように、合成画像48には、第2画像46Aが透明な状態で提示される。
そして、さらに、図示は省略するが、第1ずれ量が大きくなるほど、第1画像に合成する第2画像の透過度は高くなることから、第1ずれ量が大きくなるほど、合成画像52から合成画像48に向かって高い透過度の第2画像が第1画像に合成されることとなる。
以上説明したように、本実施の形態の画像処理装置10では、第1画像の第1輪郭から抽出した第1特徴と、第2画像の第2輪郭から抽出した第2特徴と、のずれ量を示す第1ずれ量が大きいほど、高い透過度を決定し、第1画像と、決定した透過度に変更した第2画像と、を合成した合成画像を提示する。
従って、本実施の形態の画像処理装置10では、着用した状態の衣服の姿勢と、被写体の姿勢とが異なると、この姿勢が異なるほど、すなわち第1ずれ量が大きいほど、第2画像の透過度を高くして第1画像に合成するので、自然な見え方の合成画像を提示することができる。
なお、本実施の形態では、第2算出部22は、第1特徴と第2特徴との第1ずれ量を算出する場合を説明した。しかし、第2算出部22は、第1特徴と第2特徴の各々を複数の線領域に分割し、線領域毎に第1ずれ量を算出してもよい。そして、決定部24は、第2画像における上記各線領域を含む複数の各領域について、各領域に含まれる線領域の第1ずれ量が大きいほど高い透過度を、領域毎に決定する。そして、生成部26は、第2画像の該各領域の透過度を、決定された透過度に変更した第2画像を、第1画像に合成した合成画像を生成してもよい。
図7には、本実施の形態の画像処理装置10における画像合成の一例を示した。抽出部20が、第1画像の第1輪郭として、例えば、図7(A)に示す第1輪郭53を抽出し、図7(B)に示す第1特徴54を抽出したとする。また、抽出部20が、第2画像の第2輪郭として、例えば、図7(D)に示す第2輪郭56を抽出し、図7(E)に示す第2特徴57を抽出したとする。
そして、第2算出部22は、第1特徴54を複数の線領域55に分割し(図7(C)参照)、第2特徴57を複数の線領域58に分割する(図7(F)参照)。そして、決定部24は、第2画像における上記各線領域を含む複数の各領域について、各領域に含まれる線領域の第1ずれ量が大きいほど高い透過度を、領域毎に決定する。
すると、例えば、第1特徴及び第2特徴を複数の線領域に分割した各線領域の第1ずれ量が透過度の最小値「0」に対応するずれ量である場合には、生成部26は、透過度「0」の第2画像を透過度「0」の第1画像に合成した合成画像59を生成する(図7G)参照)。一方、第1特徴及び第2特徴を複数の線領域に分割した各線領域の内、被写体の肘から先の部分に相当する線領域の第1ずれ量が透過度の最大値「1」に対応するずれ量であったとする。そして、その他の線領域については、透過度の最小値「0」に対応するずれ量であったとする。この場合には、生成部26は、第2画像における肘から先の部分に相当する線領域を含む領域の透過度を透過度「1」に変更し、その他の領域の透過度を透過度「0」とした第2画像を、透過度「0」の第1画像に合成した合成画像60を生成する(図7(H)参照)。このため、例えば、被写体の肘から先の部分の第2画像からの第1ずれ量が大きい場合には、その部分の透過度が第1ずれ量に応じて高い第2画像を第1画像に合成した合成画像となる。このため、さらに、自然な見え方の合成画像を提示することができる。
なお、本実施の形態では、上述のように、抽出部20は、公知のエッジ抽出方法を用いたエッジ抽出法を用いて、第1画像の第1輪郭、及び第2画像の第2輪郭を抽出する。そして、抽出部20は、第1輪郭の曲率に基づいて第1特徴を抽出し、第2輪郭の曲率に基づいて第2特徴を抽出するとして説明した。
このエッジ抽出時に用いるフィルタサイズや、曲率算出時に用いる近傍領域は、固定であってもよいが、下記割合に応じて調整することが好ましい。具体的には、抽出部20では、撮像部14の撮像によって得られた撮像画像における被写体を示す第1画像の占める割合が大きいほど、フィルタサイズ及び近傍領域の大きさの少なくとも一方を大きくすることが好ましい。
撮像画像における第1画像の占める割合が大きいほど、フィルタサイズ及び近傍領域の大きさの少なくとも一方を大きくすることによって、被写体の移動等によって撮像画像における第1画像の占める割合が変化した場合であっても、精度よく第1輪郭、第2輪郭、第1特徴、及び第2特徴の各々を抽出することができる。
(実施の形態2)
本実施の形態では、撮像時間の異なる複数の第1画像を取得し、被写体に動き有りと判断したときに、連続する第1画像間における第1特徴のずれ量に応じて、透過度を更に調整する。
図8は、本実施の形態の画像処理装置10Bの機能的構成を示すブロック図である。画像処理装置10Bは、記憶部12(記憶手段)、撮像部14B(撮像手段)、選択部16(選択手段)、第1算出部18(第1算出手段)、検出部19B(検出手段)、抽出部20(抽出手段)、第2算出部22(第2算出手段)、決定部24B(決定手段)、生成部26B(生成手段)、及び提示部28(提示手段)を備える。
なお、実施の形態1における画像処理装置10と同じ機能の部分には同じ符号を付与して詳細な説明を省略する。画像処理装置10Bでは、撮像部14B、検出部19B、決定部24B、及び生成部26Bを備えた点が、実施の形態1と異なる。
撮像部14Bは、衣服を試着する対象の被写体を撮像し、撮像時間の異なる複数の第1画像を得る。なお、この複数の第1画像は、撮像部14Bが時間に応じて撮像した複数の静止画像であってもよいし、撮像部14Bによって撮像された動画像を構成する各フレームであってもよい。
撮像部14Bは、得られた複数の第1画像を、撮像によって第1画像を取得する毎に、順次、第1算出部18、抽出部20、検出部19B、及び生成部26Bへ出力する。
検出部19Bは、撮像部14Bから順次受け付ける第1画像から、前回の撮像時から被写体に動きがあったことを検出する。この被写体に動きがあったことの検出は、以下の方法により行う。具体的には、検出部19Bは、時系列的に連続する第1画像の各々について、実施の形態1における抽出部20と同様にして、第1画像の第1輪郭から第1特徴を算出する。そして、検出部19Bは、さらに、時系列的に連続する第1画像の第1特徴間のずれを示す第2ずれ量を算出する。そして、この第2ずれ量が、被写体に動きがあったことを示す予め定めた値以上であるときに、検出部19Bは、被写体に動きがあったと検出する。
そして、検出部19Bは、被写体に動きがあったと検出すると、算出した第2ずれ量を決定部24Bへ送信する。また、検出部19Bは、被写体に動きがあったことを示す信号と、動きがあったことを検出された最新の第1画像(第2ずれ量の算出に用いた最新の第1画像)を生成部26Bへ出力する。
決定部24Bでは、実施の形態1の決定部24と同様の処理を行うと共に、さらに、第2ずれ量が大きいほど高い透過度を決定する。具体的には、決定部24Bでは、第2ずれ量が大きいほど高い透過度を算出する計算式または第2ずれ量と透過度を定めたテーブルを予め記憶する。そして、決定部24Bは、第2ずれ量を該計算式に代入することによって透過度を算出、または該第2ずれ量に対応する透過度を読み取ることによって透過度を決定する。そして、決定した透過度を、生成部26Bへ出力する。
生成部26Bは、実施の形態1の生成部26と同様の処理を行う。また、生成部26Bは、検出部19Bから第2ずれ量を受け付けた場合には、選択部16から受け付けた第2画像情報の透過度を、決定部24Bから受け付けた透過度に変更する。そして、生成部26Bは、変更した透過度の第2画像情報の第2画像を、動きがあったことを検出された最新の第1画像(第2ずれ量の算出に用いた最新の第1画像)に合成し、合成画像を生成する。そして、生成した合成画像を、提示部28へ出力する。
次に、本実施の形態の画像処理装置10Bで実行する画像処理を説明する。
画像処理装置10Bでは、実施の形態1における画像処理と同様の処理を行う(図5参照)。そしてさらに、図9に示す割り込み処理を所定時間毎に実行する。図9は、画像処理装置10Bで実行する割り込み処理の手順を示すフローチャートである。
検出部19Bが、被写体に動きが有ったか否かを判断する(ステップS200)。被写体に動きがあったことを検出しなかった場合には(ステップS200:No)、本ルーチンを終了する。一方、検出部19Bが、被写体に動きがあったことを検出すると(ステップS200:Yes)、検出部19Bは、動き有りと検出した、時系列的に連続する第1画像の第1特徴間のずれを示す第2ずれ量を決定部24Bへ出力する(ステップS204)。
次に、決定部24Bが、第2ずれ量が大きいほど高い透過度を決定する(ステップS206)。そして、生成部26Bが、検出部19Bから第2ずれ量を受け付けると、選択部16から受け付けた第2画像情報の透過度を、決定部24Bから受け付けた透過度に変更する。そして、生成部26Bは、変更した透過度の第2画像情報の第2画像を、動きがあったことを検出された最新の第1画像(第2ずれ量の算出に用いた最新の第1画像)に合成し、合成画像を生成する(ステップS208)。
提示部28は、ステップS208で生成された合成画像を提示する(ステップS210)。
図10には、本実施の形態の画像処理装置10Bにおける合成画像の一例を示した。
例えば、図10(A)に示すように、撮像部14Bで最初に撮像した第1画像が、被写体を正面方向から撮影した第1画像62Aであり、選択部16が選択した第2画像情報が図10(A)に示すように第2画像を正面方向から撮影した第2画像62Bであったとする。そして、第2算出部22の算出した第1ずれ量が、透過度「0」(透過度の最小値)に対応する値であったとする。なお、撮像部14Bによる撮像によって得られた第1画像の透過度は、透過度「0」であったとする。この場合には、画像処理装置10Bは、上記画像処理を実行することによって、例えば、透過度「0」の第1画像上に、透過度「0」の第2画像を重ねた合成画像62を生成し、提示部28に提示する(図10(A)参照)。
そして、検出部19Bによって被写体に動きがあったことが検出されると、時系列的に連続する第1画像62A(図10(A)参照)と第1画像62D(図10(B)参照)とから算出した第2ずれ量が大きいほど、高い透過度を決定する。例えば、被写体が正面を向いた状態(第1画像62A)から側面を向いた状態(第1画像62D)に瞬時に動いたとする。そして、この第2ずれ量が、透過度「1」(透過度の最大値)に対応する値であったとする。この場合には、画像処理装置10Bは、上記図9に示す割り込み処理を実行することによって、透過度「0」の第1画像62D上に、透過度「1」の第2画像62Cを重ねた合成画像68を生成し、提示部28に提示する(図10(B)参照)。このため、図10(B)に示すように、合成画像68には、第2画像62Cは提示されず、第1画像62Dが提示された状態となる。
以上説明したように、本実施の形態の画像処理装置10Bでは、撮像時間の異なる複数の第1画像を取得し、被写体に動き有りと判断したときに、連続する第1画像間における第1特徴の第2ずれ量に応じて、第2画像情報の透過度を更に調整する。
従って、実施の形態1における効果に加えてさらに、自然な見え方の合成画像を提示することができる。
(実施の形態3)
本実施の形態では、第2画像情報を作成すると共に第2特徴を作成する作成部を更に備えた場合を説明する。
図11は、本実施の形態の画像処理装置10Cの機能的構成を示すブロック図である。画像処理装置10Cは、記憶部12(記憶手段)、撮像部14(撮像手段)、選択部16(選択手段)、第1算出部18(第1算出手段)、抽出部20C(抽出手段)、第2算出部22(第2算出手段)、決定部24(決定手段)、生成部26(生成手段)、及び提示部28(提示手段)を備える。そして、更に、画像処理装置10Cは、撮像部11、及び作成部13を備える。
なお、実施の形態1における画像処理装置10と同じ機能の部分には同じ符号を付与して詳細な説明を省略する。画像処理装置10Cでは、実施の形態1の画像処理装置10(図1参照)の構成に加えて更に、撮像部11及び作成部13を備えた点が、実施の形態1と異なる。また、画像処理装置10Cでは、抽出部20に代えて抽出部20Cを備えた点が、画像処理装置10とは異なる。
撮像部11は、衣服を撮像し、第2画像を含む画像情報を取得する。撮像部11は、取得した画像情報を作成部13へ出力する。
撮像部11としては、公知のデジタルカメラ、デジタルビデオカメラ等が挙げられる。なお、本実施の形態では、衣服を撮像する撮像部11と、被写体を撮像する撮像部14と、を別体として設けた構成である場合を説明するが、これらの撮像部を一体的に設けた構成としてもよい。すなわち、撮像部14で衣服を更に撮像し、第2画像を含む画像情報を作成部13へ出力してもよい。
作成部13は、撮像部11から受け付けた画像情報の画像に含まれる第2画像を抽出し、第2画像の第2画像情報を生成する。また、作成部13は、第2画像の第2輪郭を抽出し、第2輪郭から第2特徴を抽出する。この第2輪郭の抽出及び第2特徴の抽出は、実施の形態1で説明した抽出部20と同様にして行なう。また、作成部13は、第1算出部18と同様にして、第2画像情報から姿勢情報を算出する。
作成部13は、第2画像情報と、第2特徴を含む衣服情報と、姿勢情報と、を、衣服番号に対応づけて記憶部12のテーブルに格納する(図2も参照)。
このため、記憶部12は、衣服番号と、姿勢情報と、第2画像情報と、衣服情報と、を対応づけて格納したテーブルを記憶する。そして、この衣服情報として、実施の形態1で説明した衣服名、色、サイズ、素材、値段等の情報に加えて、更に、第2特徴を格納する。
ここで、衣服が、被写体に着用されたときに被写体の肩部の全体を覆わない形状であったとする。すなわち、衣服が、被写体の肩部の一部を覆う形状であったとする。この場合には、撮像部11は、衣服の試着対象の被写体、または被写体を模した形状のマネキン等の人形に試着された状態の衣服を撮像することが好ましい。この場合、作成部13では、撮像部11から受け付けた画像情報の画像に含まれる第2画像及び該被写体または人形を示す画像(第1画像と称する)を抽出し、該第2画像及び該第1画像から、第2輪郭を抽出し、第2輪郭から第2特徴を抽出する。
抽出部20Cは、実施の形態1で説明した抽出部20の処理と同様の処理を行う。なお、抽出部20Cでは、選択部16で選択された第2画像情報に対応する第2特徴を記憶部12から読み取ることによって、第2画像情報の第2特徴の抽出を行う点が、抽出部20と異なる。
次に、本実施の形態の画像処理装置10Cで実行する、衣服情報生成処理を説明する。
画像処理装置10Cでは、実施の形態1における画像処理と同様の処理を行う(図5参照)。そして、この画像処理を実行する前、または該画像処理中の割り込み処理として、図12に示す衣服情報生成処理を実行する。
図12は、画像処理装置10Cで実行する衣服情報生成処理の手順を示すフローチャートである。
撮像部11が、衣服を撮像し、第2画像を含む画像情報を取得する(ステップS300、ステップS302)。次に、作成部13が、衣服情報を生成すると共に、姿勢情報を生成する(ステップS304)。次いで、作成部13は、第2画像情報と、第2特徴を含む衣服情報と、姿勢情報と、を、衣服番号に対応づけて記憶部12のテーブルに格納する(ステップS306)。
以上説明したように、本実施の形態の画像処理装置10Cでは、第2画像情報を作成すると共に第2特徴を作成する作成部13を備える。このため、効率良く画像処理を行うことができる。
従って、実施の形態1における効果に加えてさらに、自然な見え方の合成画像を提示することができる。
また、本実施の形態の画像処理装置10Cの作成部13では、上述のように、被写体、または被写体を模した形状の人形に試着された状態の衣服の撮像によって得られた画像から、第2画像及び該被写体または人形を示す第1画像を抽出する。そして、作成部13では、該第2画像及び該第1画像から第2輪郭を抽出し、第2輪郭から第2特徴を抽出する。
このため、試着対象の第2画像が、図13(A)に示すように、肩部の全体を覆わない形状の第2画像70である場合であっても、図13(B)に示すように、第2画像70及び被写体を示す第1画像73から、肩部72を含む第1特徴を抽出することができる。このため、第1のずれ量の算出時に誤差が生じることを抑制することができる。
なお、画像処理装置10Cでは、作成部13が第2特徴も生成する場合を説明したが、作成部13では第2画像情報及び特徴情報を作成し、記憶部12に記憶してもよい。そして、さらに、作成部13は、第1画像の第1画像情報を記憶部12に記憶してもよい。この場合には、抽出部20Cでは、選択部16で選択された第2画像情報及び第1画像情報から、抽出部20と同様にして第2特徴を抽出する。
(実施の形態4)
本実施の形態では、被写体を映す対象の鏡のアスペクト比に応じて第2画像及び第1画像の少なくとも一方のアスペクト比を調整する。
図14は、本実施の形態の画像処理装置10Dの機能的構成を示すブロック図である。画像処理装置10Dは、記憶部12(記憶手段)、撮像部14(撮像手段)、選択部16(選択手段)、第1算出部18(第1算出手段)、調整部21D(調整手段)、抽出部20(抽出手段)、第2算出部22(第2算出手段)、決定部24(決定手段)、生成部26D(生成手段)、及び提示部28(提示手段)を備える。
なお、実施の形態1における画像処理装置10と同じ機能の部分には同じ符号を付与して詳細な説明を省略する。画像処理装置10Dでは、調整部21Dを更に備え、生成部26に代えて生成部26Dを備えた点が、実施の形態1と異なる。
調整部21Dは、被写体を映す対象の鏡のアスペクト比を予め格納する。また、調整部21Dは、撮像部14から受け付けた第1画像のアスペクト比、及び選択部16から受け付けた第2画像のアスペクト比の少なくとも一方を、鏡のアスペクト比に調整する。
なお、鏡のアスペクト比とは、鏡の縦方向(垂直方向)の最大長と、鏡の横方向(水平方向)の最大長と、の比を示す。また、第1画像のアスペクト比とは、第1画像における被写体の縦方向(重力方向)の最大長と、第1画像における被写体の横方向(水平方向)の最大長と、の比を示す。また、第2画像のアスペクト比とは、第2画像における衣服の縦方向の最大長と、第2画像における衣服の横方向の最大長と、の比を示す。なお、第2画像における衣服の縦方向とは、被写体に試着された状態の衣服の垂直方向(重力方向)と一致する。また、第2画像における衣服の横方向とは、被写体に試着された状態の衣服の水平方向と一致する。
なお、画像処理装置10Dは、図示を省略する操作部を設けた構成としてもよい。なお、操作部としては、各種情報を入力する公知の入力装置が挙げられ、例えば、キーボードやタッチパネル等が挙げられる。そして、ユーザによる操作部の操作指示によって、該操作部から調整部21Dに、第1画像及び第2画像のアスペクト比の調整の有無、及びアスペクト比を示す情報が出力されるようにしてもよい。
そして、調整部21Dでは、ユーザによる該操作部の操作によってアスペクト比の調整が指示されたときに、操作部から受け付けたアスペクト比となるようにアスペクト比の調整を行ってもよい。
調整部21Dは、アスペクト比を調整した第1画像及び第2画像を抽出部20へ出力する。
生成部26Dは、調整部21Dでアスペクト比を調整された第1画像と、調整部21Dでアスペクト比を調整され、決定部24で決定した透過度に変更した第2画像と、を合成した合成画像を生成し、提示部28へ出力する。なお、生成部26Dによる合成画像の生成は、実施の形態1で説明した生成部26と同様にして行う。
次に、本実施の形態の画像処理装置10Dで実行する画像処理を説明する。
図15は、本実施の形態の画像処理装置10Dで実行する画像処理の手順を示すフローチャートである。なお、図15では、調整部21Dには、予め鏡のアスペクト比を示す情報、及び第1画像と第2画像の双方のアスペクト比の調整の実行を示す情報が記憶されているものとして説明する。なお、これらの情報は、上述したように、図示を省略する操作部のユーザによる操作指示によって変更可能である。
まず、撮像部14が被写体の撮像によって第1画像を取得する(ステップS400)。次いで、第1算出部18が、撮像部14の撮像によって得られた第1画像の第1画像情報から、被写体の姿勢情報を算出する(ステップS402)。
次に、調整部21Dが、ステップS400で取得した第1画像のアスペクト比を、被写体を映す対象の鏡のアスペクト比に調整する(ステップS403)。
次に、抽出部20が、調整部21DによるステップS403の処理によってアスペクト比を調整された第1画像情報の第1輪郭を抽出し、第1輪郭から第1特徴を抽出する(ステップS404、ステップS406)。
次に、選択部16が、上記ステップS402で算出された姿勢情報に対応する1の第2画像情報を記憶部12から選択する(ステップS408)。
次に、調整部21Dが、ステップS408で選択された第2画像情報のアスペクト比を、被写体を映す対象の鏡のアスペクト比に調整する(ステップS409)。
次に、抽出部20が、アスペクト比を調整された第2画像情報の第2輪郭を抽出し、第2輪郭から第2特徴を抽出する(ステップS410、ステップS412)。
次に、第2算出部22は、ステップS406で抽出された第1特徴、及びステップS412で抽出された第2特徴の合わせ込みを行い、合わせ込み(第1特徴及び第2特徴の拡大、縮小、位置変更)によって算出したずれ量の内の最小値を算出する(ステップS414、ステップS416)。
次に、第2算出部22は、上記ステップS410で第2輪郭の抽出に用いた第2画像情報の衣服番号と同じ衣服番号に、異なる姿勢情報に対応する、ずれ量未算出の第2画像情報が記憶部12に格納されているか否かを判断する(ステップS418)。同じ衣服番号に、異なる姿勢情報に対応する、ずれ量未算出の第2画像情報が格納されている場合には、第2算出部22は、肯定判断する(ステップS418:Yes)。そして、第2算出部22は、ステップS410で第2輪郭の抽出に用いた第2画像情報の衣服番号に対応する、該第2画像情報とは異なる姿勢情報に対応する1の第2画像情報を記憶部12から選択する(ステップS420)。
次に、調整部21Dが、ステップS420で選択された第2画像情報のアスペクト比を、被写体を映す対象の鏡のアスペクト比に調整する(ステップS421)。そして、上記ステップS410へ戻る。
一方、ステップS418で否定判断すると(ステップS418:No)、第2算出部22は、上記ステップS410〜ステップS421の処理で算出したずれ量の内の最小値を、第1ずれ量として算出する(ステップS422)。
次に、決定部24が、ステップS422で算出された第1ずれ量に基づいて、第1ずれ量が大きいほど高い透過度を決定する(ステップS424)。
次に、生成部26Dが、上記ステップS422の処理によって算出した第1ずれ量の算出時に用いた第2特徴に対応する、アスペクト比調整後の第2画像情報の透過度を、ステップS424で決定した透過度に変更する。そして、アスペクト比及び透過度を変更した第2画像情報と、アスペクト比を調整した第1画像情報と、を合成した合成画像を生成する(ステップS426)。
次に、提示部28が、ステップS426で生成された合成画像を提示する(ステップS428)。
なお、上記ステップS408〜ステップS412の処理は、上記ステップS400〜ステップ406の処理時に所定時間毎に割り込む割り込み処理として実行してもよい。
上記ステップS400〜ステップS428に示す画像処理を行うことによって、画像処理装置10Dは、例えば、図16に示す合成画像を生成し、提示部28に提示する。
図16には、本実施の形態の画像処理装置10Dにおける画像合成の一例を示した。アスペクト比の調整を行わない場合には、例えば、図16(A)に示すように、被写体74のアスペクト比(Y2:X2)と、被写体74を映す鏡上に積層された提示部28としての表示部(鏡)のアスペクト比(Y1:X1)と、が異なる状態の合成画像78が提示される。
一方、アスペクト比の調整を行う場合には、例えば、図16(B)に示すように、被写体74のアスペクト比(Y2:X2)と、被写体74を映す鏡上に積層された提示部28としての表示部(鏡)のアスペクト比(Y1:X1)と、が同じ合成画像80が提示される。
従って、本実施の形態の画像処理装置10Dでは、実施の形態1における効果に加えて、更に自然な見え方の合成画像を提示することができる。
次に、本実施の形態1〜実施の形態4の画像処理装置10、画像処理装置10B、画像処理装置10C、及び画像処理装置10Dのハードウェア構成について説明する。図17は、本実施の形態の画像処理装置10のハードウェア構成例を示すブロック図である。
実施の形態1〜実施の形態4の画像処理装置10、画像処理装置10B、画像処理装置10C、及び画像処理装置10Dは、提示部80、通信I/F部82、撮像部84、CPU(Central Processing Unit)86、ROM(Read Only Memory)88、RAM(Random Access Memory)90、及びHDD92等がバス94により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
CPU86は、画像処理装置10、画像処理装置10B、画像処理装置10C、及び画像処理装置10Dの全体の処理を制御する演算装置である。RAM90は、CPU86による各種処理に必要なデータを記憶する。ROM88は、CPU86による各種処理を実現するプログラム等を記憶する。HDD92は、上述した各記憶部に格納されるデータを記憶する。通信I/F部82は、外部装置や外部端末に通信回線等を介して接続し、接続した外部装置や外部端末との間でデータを送受信するためのインタフェースである。提示部80は、上述した提示部28に相当する。撮像部84は、上述した撮像部14、撮像部11、及び撮像部14Bに相当する。
本実施の形態1〜実施の形態4の画像処理装置10、画像処理装置10B、画像処理装置10C、及び画像処理装置10Dで実行される上記各種処理を実行するためのプログラムは、ROM88等に予め組み込んで提供される。
なお、本実施の形態1〜実施の形態4の画像処理装置10、画像処理装置10B、画像処理装置10C、及び画像処理装置10Dで実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
また、本実施の形態1〜実施の形態4の画像処理装置10、画像処理装置10B、画像処理装置10C、及び画像処理装置10Dで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態1〜実施の形態4の画像処理装置10、画像処理装置10B、画像処理装置10C、及び画像処理装置10Dにおける上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
本実施形態1〜実施の形態4の画像処理装置10、画像処理装置10B、画像処理装置10C、及び画像処理装置10Dで実行される上記各種処理を実行するためのプログラムは、上述した各部(選択部16、第1算出部18、抽出部20(抽出部20C)、第2算出部22、決定部24(決定部24B)、生成部26(生成部26B、生成部26D)、検出部19B、調整部21D)を含むモジュール構成となっている。実際のハードウェアとしてはCPU(プロセッサ)が上記ROM88等の記憶媒体から各プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、選択部16、第1算出部18、抽出部20(抽出部20C)、第2算出部22、決定部24(決定部24B)、生成部26(生成部26B、生成部26D)、検出部19B、調整部21Dが主記憶装置上に生成されるようになっている。
なお、上記HDD92に格納されている各種情報、すなわち記憶部12に格納されている各種情報は、外部装置(例えばサーバ)に格納してもよい。この場合には、該外部装置とCPU86と、を、ネットワーク等を介して接続した構成とすればよい。
なお、上記には、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。