JP2001148021A - 画像処理方法、３次元モデルデータ生成方法およびそれらの装置 - Google Patents
画像処理方法、３次元モデルデータ生成方法およびそれらの装置Info
- Publication number
- JP2001148021A JP2001148021A JP33160099A JP33160099A JP2001148021A JP 2001148021 A JP2001148021 A JP 2001148021A JP 33160099 A JP33160099 A JP 33160099A JP 33160099 A JP33160099 A JP 33160099A JP 2001148021 A JP2001148021 A JP 2001148021A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- background
- image processing
- image
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 被写体の色彩等に影響されず、正確に背景と
被写体のセグメンテーションができる画像処理方法と装
置、３次元モデル生成方法と装置を提供する。 【解決手段】 スイッチＳの値により色彩と輝度の一方
または両方が変化するテーブルＴを設け、その背景に同
様にスイッチＳの値により色彩と輝度の一方または両方
が変化する背景表示装置ＢＤを配置する。この状態で、
被写体物体ＯをテーブルＴ上に乗せ、スイッチＳの値を
変えて、撮影装置ＣＭにより複数の撮影データを得る。
比較装置ＳＣは、その複数の撮影画像データを比較し
て、画素毎の特性値の差を予め定めた閾値と比較し、閾
値より大きい部分を背景と認識し、それ以外の部分を被
写体物体Ｏのシルエットとして抽出する。金属のように
背景が写り込むような被写体物体Ｏに対しては、模様を
変化させて同様に複数の撮影画像データを得て、被写体
物体Ｏのシルエットを抽出する。
被写体のセグメンテーションができる画像処理方法と装
置、３次元モデル生成方法と装置を提供する。 【解決手段】 スイッチＳの値により色彩と輝度の一方
または両方が変化するテーブルＴを設け、その背景に同
様にスイッチＳの値により色彩と輝度の一方または両方
が変化する背景表示装置ＢＤを配置する。この状態で、
被写体物体ＯをテーブルＴ上に乗せ、スイッチＳの値を
変えて、撮影装置ＣＭにより複数の撮影データを得る。
比較装置ＳＣは、その複数の撮影画像データを比較し
て、画素毎の特性値の差を予め定めた閾値と比較し、閾
値より大きい部分を背景と認識し、それ以外の部分を被
写体物体Ｏのシルエットとして抽出する。金属のように
背景が写り込むような被写体物体Ｏに対しては、模様を
変化させて同様に複数の撮影画像データを得て、被写体
物体Ｏのシルエットを抽出する。
Description
【０００１】
【発明の属する技術分野】本発明は、３次元モデリング
システム等で用いられる、背景付被写体画像情報から被
写体と背景を切り分ける画像処理方法及びその装置、並
びに３次元モデルデータ生成方法及びその装置に関する
ものである。
システム等で用いられる、背景付被写体画像情報から被
写体と背景を切り分ける画像処理方法及びその装置、並
びに３次元モデルデータ生成方法及びその装置に関する
ものである。
【０００２】
【従来の技術】近年、インターネットの普及や画像処理
能力の向上に伴い、商品等のプレゼンテーションに３次
元モデルデータが用いられるようになってきた。３次元
モデルデータを商品紹介に用いることにより、顧客は、
実際に目の前に商品がなくても、パーソナルコンピュー
タ等の画面上で、商品を好きな角度／方向から見ること
ができる。しかし、商品の３次元モデルデータを生成す
るには、その形状データと表面の画像データを求める３
次元モデリング装置が必要となる。
能力の向上に伴い、商品等のプレゼンテーションに３次
元モデルデータが用いられるようになってきた。３次元
モデルデータを商品紹介に用いることにより、顧客は、
実際に目の前に商品がなくても、パーソナルコンピュー
タ等の画面上で、商品を好きな角度／方向から見ること
ができる。しかし、商品の３次元モデルデータを生成す
るには、その形状データと表面の画像データを求める３
次元モデリング装置が必要となる。
【０００３】３次元モデルデータ生成手法の一つとし
て、Ｓｈａｐｅ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅとい
う手法がある。この手法は、被写体物体をｎ個所から撮
影し、その撮影画像からｎ枚の被写体物体のシルエット
を抽出する。ここで、シルエットとは、撮影画像上被写
体物体の部分を示す２値データである。図７のように、
このシルエット（１，…，ｌ，…，ｍ，…，ｎ）を、仮
想空間上で撮影したポイントから投影し、重なりあった
部分を求めることにより、被写体物体の３次元形状デー
タを得ることができる。この形状に、撮影画像から得ら
れる被写体物体の表面の色彩データを加えることによ
り、３次元モデルデータを得ることができる。この手法
では、正確な物体のシルエットが必要であり、撮影画像
から被写体と背景を切り分ける、セグメンテーションが
重要となる。
て、Ｓｈａｐｅ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅとい
う手法がある。この手法は、被写体物体をｎ個所から撮
影し、その撮影画像からｎ枚の被写体物体のシルエット
を抽出する。ここで、シルエットとは、撮影画像上被写
体物体の部分を示す２値データである。図７のように、
このシルエット（１，…，ｌ，…，ｍ，…，ｎ）を、仮
想空間上で撮影したポイントから投影し、重なりあった
部分を求めることにより、被写体物体の３次元形状デー
タを得ることができる。この形状に、撮影画像から得ら
れる被写体物体の表面の色彩データを加えることによ
り、３次元モデルデータを得ることができる。この手法
では、正確な物体のシルエットが必要であり、撮影画像
から被写体と背景を切り分ける、セグメンテーションが
重要となる。
【０００４】一般的なセグメンテーション手法の一つ
に、クロマキー法がある、これは、背景をある決められ
た単色にして撮影して、背景と同色の部分を切り取る手
法である。しかしながら、この手法では、撮影環境等に
より背景に色むらが生じたり、また、被写体に背景色に
近い色が使われている場合、うまく切り抜けない問題が
ある。また、他のセグメンテーション手法として、被写
体を置かない状態で、あらかじめ背景を撮影しておき、
その画像と被写体が写っている画像とを比較して、抜き
出す手法もある。この方法では、背景が単色でなくても
抜き出しが行えるメリットがあるが、クロマキー手法と
同様、被写体の影等が背景に写った場合や、背景と同様
な部分が物体にある場合には、うまく抜き出すことがで
きない。また、背景の照明光を換えて撮影した画像を比
較して抜き出す手法も特開平１０−９３８５９号に提案
されているが、照明光が被写体に影響を与えたり、輝度
差が十分に取れないため、正確なセグメンテーションは
やはり難しい。また、被写体全体の形状データを得よう
とする場合に、被写体を置いた台も含めて被写体と認識
してしまう問題がある。
に、クロマキー法がある、これは、背景をある決められ
た単色にして撮影して、背景と同色の部分を切り取る手
法である。しかしながら、この手法では、撮影環境等に
より背景に色むらが生じたり、また、被写体に背景色に
近い色が使われている場合、うまく切り抜けない問題が
ある。また、他のセグメンテーション手法として、被写
体を置かない状態で、あらかじめ背景を撮影しておき、
その画像と被写体が写っている画像とを比較して、抜き
出す手法もある。この方法では、背景が単色でなくても
抜き出しが行えるメリットがあるが、クロマキー手法と
同様、被写体の影等が背景に写った場合や、背景と同様
な部分が物体にある場合には、うまく抜き出すことがで
きない。また、背景の照明光を換えて撮影した画像を比
較して抜き出す手法も特開平１０−９３８５９号に提案
されているが、照明光が被写体に影響を与えたり、輝度
差が十分に取れないため、正確なセグメンテーションは
やはり難しい。また、被写体全体の形状データを得よう
とする場合に、被写体を置いた台も含めて被写体と認識
してしまう問題がある。
【０００５】違うアプローチとして、撮影画像の色彩等
の変化を求め、これにより輪郭を求め、物体を切り抜く
手法がある。この手法では、被写体内部に背景に近い色
彩があっても、物体と背景の境界に変化を見出せさえす
れば輪郭を抽出することができ、前記手法より有効であ
る。しかしながら、物体内部に空洞がある場合は、この
手法では、空洞部分を手動で指定しないと、そこの部分
を抜き取ることはできない。また、影等で、背景の色彩
が変化した場合も、その部分を被写体の一部であると判
断する可能性もあり、正確なセグメンテーションは難し
い。
の変化を求め、これにより輪郭を求め、物体を切り抜く
手法がある。この手法では、被写体内部に背景に近い色
彩があっても、物体と背景の境界に変化を見出せさえす
れば輪郭を抽出することができ、前記手法より有効であ
る。しかしながら、物体内部に空洞がある場合は、この
手法では、空洞部分を手動で指定しないと、そこの部分
を抜き取ることはできない。また、影等で、背景の色彩
が変化した場合も、その部分を被写体の一部であると判
断する可能性もあり、正確なセグメンテーションは難し
い。
【０００６】
【発明が解決しようとする課題】前述したように、従来
のセグメンテーション手法では、被写体の影等により背
景に色彩変化が生じたり、被写体と背景の色彩が近い場
合や、物体内部に空洞がある場合等には、正確に、背景
と被写体を切り分けることができない。また、背景の照
明光を変更する方法による前記従来技術では、照明光に
よる被写体への影響などのため、正確なセグメンテーシ
ョンは困難である。また、被写体全体のセグメンテーシ
ョンを行うことも困難である。
のセグメンテーション手法では、被写体の影等により背
景に色彩変化が生じたり、被写体と背景の色彩が近い場
合や、物体内部に空洞がある場合等には、正確に、背景
と被写体を切り分けることができない。また、背景の照
明光を変更する方法による前記従来技術では、照明光に
よる被写体への影響などのため、正確なセグメンテーシ
ョンは困難である。また、被写体全体のセグメンテーシ
ョンを行うことも困難である。
【０００７】本発明は、上記条件でも正確にセグメンテ
ーションを行うことができる画像処理方法とその装置、
並びに３次元モデル生成方法とその装置を提供すること
にある。
ーションを行うことができる画像処理方法とその装置、
並びに３次元モデル生成方法とその装置を提供すること
にある。
【０００８】
【課題を解決するための手段】本発明は、以下に列記す
る手段により上記の課題を解決する。
る手段により上記の課題を解決する。
【０００９】その一手段は、複数の背景付被写体画像を
画像処理することにより被写体のみの画像を得る画像処
理方法において、背景と被写体と被写体保持手段を含む
二次元画像を撮影する第１のステップと、前記背景全体
の、あるいは前記背景全体と被写体保持手段の色彩と輝
度の一方または両方を変化させる第２のステップと、前
記背景と被写体と被写体保持手段を含む二次元画像を再
び撮影する第３のステップと、前記撮影した複数の二次
元画像の対応する画素毎にその特性値を比較する第４の
ステップと、前記画素毎の特性値の差が予め定めた閾値
より小さい画素を被写体画素と認識する第５のステップ
とを、含むことを特徴とする画像処理方法である。
画像処理することにより被写体のみの画像を得る画像処
理方法において、背景と被写体と被写体保持手段を含む
二次元画像を撮影する第１のステップと、前記背景全体
の、あるいは前記背景全体と被写体保持手段の色彩と輝
度の一方または両方を変化させる第２のステップと、前
記背景と被写体と被写体保持手段を含む二次元画像を再
び撮影する第３のステップと、前記撮影した複数の二次
元画像の対応する画素毎にその特性値を比較する第４の
ステップと、前記画素毎の特性値の差が予め定めた閾値
より小さい画素を被写体画素と認識する第５のステップ
とを、含むことを特徴とする画像処理方法である。
【００１０】あるいは、前記第２のステップおよび第３
のステップを複数回繰り返し行うことを特徴とする画像
処理方法である。
のステップを複数回繰り返し行うことを特徴とする画像
処理方法である。
【００１１】あるいは、前記第２のステップにおいて、
模様付背景を変化させることを特徴とする画像処理方法
である。
模様付背景を変化させることを特徴とする画像処理方法
である。
【００１２】あるいは、以上のうちのいずれかの画像処
理方法を用いて、前記被写体を複数の視点から撮影した
複数の被写体のみの画像を得るステップと、前記得られ
た複数の被写体のみの画像をもとに３次元モデルデータ
を生成するステップとを、有することを特徴とする３次
元モデルデータ生成方法である。
理方法を用いて、前記被写体を複数の視点から撮影した
複数の被写体のみの画像を得るステップと、前記得られ
た複数の被写体のみの画像をもとに３次元モデルデータ
を生成するステップとを、有することを特徴とする３次
元モデルデータ生成方法である。
【００１３】また、他の一手段は、複数の背景付被写体
画像を撮影し、前記複数の背景付被写体画像を画像処理
することにより被写体のみの画像を得る画像処理装置に
おいて、背景全体の色彩と輝度の一方または両方を変化
させる自発光型の背景表示手段及び色彩と輝度の一方ま
たは両方を変化させる自発光型の被写体保持手段のうち
少なくとも背景表示手段と、前記背景表示手段の、ある
いは前記背景表示手段及び前記被写体保持手段の色彩と
輝度の一方または両方を変化させる前後について、被写
体と背景と被写体保持手段を含む二次元画像を撮影する
撮影手段と、前記撮影手段により撮影した複数の二次元
画像を、対応する画素毎に比較し、画素毎の特性値の差
が予め定めた閾値より小さい画素を被写体画素と認識す
る画像処理手段とを、含むことを特徴とする画像処理装
置である。
画像を撮影し、前記複数の背景付被写体画像を画像処理
することにより被写体のみの画像を得る画像処理装置に
おいて、背景全体の色彩と輝度の一方または両方を変化
させる自発光型の背景表示手段及び色彩と輝度の一方ま
たは両方を変化させる自発光型の被写体保持手段のうち
少なくとも背景表示手段と、前記背景表示手段の、ある
いは前記背景表示手段及び前記被写体保持手段の色彩と
輝度の一方または両方を変化させる前後について、被写
体と背景と被写体保持手段を含む二次元画像を撮影する
撮影手段と、前記撮影手段により撮影した複数の二次元
画像を、対応する画素毎に比較し、画素毎の特性値の差
が予め定めた閾値より小さい画素を被写体画素と認識す
る画像処理手段とを、含むことを特徴とする画像処理装
置である。
【００１４】あるいは、前記自発光型の被写体保持手段
に代えて、前記自発光型の背景表示手段を透過して撮影
可能な透明材料で構成した被写体保持手段を用いること
を特徴とする画像処理装置である。
に代えて、前記自発光型の背景表示手段を透過して撮影
可能な透明材料で構成した被写体保持手段を用いること
を特徴とする画像処理装置である。
【００１５】あるいは、前記自発光型の背景表示手段
が、ＥＬパネル、液晶パネル、液晶シャッター、投影型
スクリーン、プラズマディスプレイ、ＣＲＴのいずれか
一つであることを特徴とする画像処理装置である。
が、ＥＬパネル、液晶パネル、液晶シャッター、投影型
スクリーン、プラズマディスプレイ、ＣＲＴのいずれか
一つであることを特徴とする画像処理装置である。
【００１６】あるいは、前記自発光型の被写体保持手段
が、その表面にＥＬパネル、液晶パネル、液晶シャッタ
ー、投影型スクリーン、プラズマディスプレイ、ＣＲＴ
のいずれか一つを具備したものであることを特徴とする
画像処理装置である。
が、その表面にＥＬパネル、液晶パネル、液晶シャッタ
ー、投影型スクリーン、プラズマディスプレイ、ＣＲＴ
のいずれか一つを具備したものであることを特徴とする
画像処理装置である。
【００１７】あるいは、以上のうちのいずれかの画像処
理装置と、被写体を前記画像処理装置に対して相対的に
移動または回転あるいはその両方を行う撮影方向変更手
段と、前記撮影方向変更手段により撮影視点を変更して
前記画像処理装置により撮影して得られた複数の被写体
のみの画像をもとに被写体の３次元モデルデータを生成
する３次元モデリング手段とを、具備することを特徴と
する３次元モデルデータ生成装置である。
理装置と、被写体を前記画像処理装置に対して相対的に
移動または回転あるいはその両方を行う撮影方向変更手
段と、前記撮影方向変更手段により撮影視点を変更して
前記画像処理装置により撮影して得られた複数の被写体
のみの画像をもとに被写体の３次元モデルデータを生成
する３次元モデリング手段とを、具備することを特徴と
する３次元モデルデータ生成装置である。
【００１８】本発明では、被写体部分と背景を切り分け
る被写体物体（Ｏ）と、２以上の整数をｎとし、ｎ値の
電気的信号（Ｓ）等によりその色彩と輝度の一方または
両方が変化する背景表示手段（ＢＤ）と、背景表示手段
（ＢＤ）と同じように変化し被写体物体を乗せる被写体
保持手段（Ｔ）と、電気的信号（Ｓ）等を変えて背景表
示手段（ＢＤ）や被写体保持手段（Ｔ）の色彩と輝度の
一方または両方を変化させながら被写体物体、背景表示
手段および被写体保持手段を含むｎ枚の画像Ｐ１〜Ｐｎ
を撮影する撮影手段（ＣＭ）と、この撮影手段（ＣＭ）
で撮影した背景表示手段（ＢＤ）や被写体保持手段
（Ｔ）の色彩と輝度の一方または両方を変化させたｎ枚
の画像Ｐ１〜Ｐｎの特性値を比較する画像処理手段（Ｓ
Ｃ）とを含ませ、前記画像処理手段（ＳＣ）により特性
値の変化の大きい部分を背景とし、少ない部分を被写体
物体（Ｏ）のシルエットとして抽出する。このように、
背景表示手段として自発光型の表示手段を用いることに
より、背景の輝度や色彩の変化量を被写体物体（Ｏ）の
変化量よりも大きくし、被写体物体（Ｏ）に背景に近い
色彩があったり、被写体物体（Ｏ）の色彩が変化したり
しても、正確に背景と被写体とをセグメンテーションす
ることを可能とする。
る被写体物体（Ｏ）と、２以上の整数をｎとし、ｎ値の
電気的信号（Ｓ）等によりその色彩と輝度の一方または
両方が変化する背景表示手段（ＢＤ）と、背景表示手段
（ＢＤ）と同じように変化し被写体物体を乗せる被写体
保持手段（Ｔ）と、電気的信号（Ｓ）等を変えて背景表
示手段（ＢＤ）や被写体保持手段（Ｔ）の色彩と輝度の
一方または両方を変化させながら被写体物体、背景表示
手段および被写体保持手段を含むｎ枚の画像Ｐ１〜Ｐｎ
を撮影する撮影手段（ＣＭ）と、この撮影手段（ＣＭ）
で撮影した背景表示手段（ＢＤ）や被写体保持手段
（Ｔ）の色彩と輝度の一方または両方を変化させたｎ枚
の画像Ｐ１〜Ｐｎの特性値を比較する画像処理手段（Ｓ
Ｃ）とを含ませ、前記画像処理手段（ＳＣ）により特性
値の変化の大きい部分を背景とし、少ない部分を被写体
物体（Ｏ）のシルエットとして抽出する。このように、
背景表示手段として自発光型の表示手段を用いることに
より、背景の輝度や色彩の変化量を被写体物体（Ｏ）の
変化量よりも大きくし、被写体物体（Ｏ）に背景に近い
色彩があったり、被写体物体（Ｏ）の色彩が変化したり
しても、正確に背景と被写体とをセグメンテーションす
ることを可能とする。
【００１９】
【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。
て図を用いて詳細に説明する。
【００２０】図１に、本発明の一実施形態例である画像
処理方法を実施する撮影システムＳＰの構成図を示す。
本撮影システムＳＰは、スイッチＳの値により色彩と輝
度の一方または両方が変化する背景表示装置ＢＤと、背
景表示装置ＢＤと同じようにスイッチＳの値により色彩
と輝度の一方または両方が変化し被写体物体Ｏを乗せる
テーブルＴ（被写体保持手段）と、被写体物体Ｏ及び背
景表示装置ＢＤ、テーブルＴを撮影する撮影装置ＣＭか
らなり、被写体物体ＯをテーブルＴ上に乗せ、スイッチ
Ｓの値を変えて、撮影装置ＣＭにより複数の撮影画像デ
ータを得る。ＳＣはその複数の撮影画像データを比較し
て画素の特性値の変化の少ない部分を被写体物体Ｏのシ
ルエットを抽出する比較装置である。
処理方法を実施する撮影システムＳＰの構成図を示す。
本撮影システムＳＰは、スイッチＳの値により色彩と輝
度の一方または両方が変化する背景表示装置ＢＤと、背
景表示装置ＢＤと同じようにスイッチＳの値により色彩
と輝度の一方または両方が変化し被写体物体Ｏを乗せる
テーブルＴ（被写体保持手段）と、被写体物体Ｏ及び背
景表示装置ＢＤ、テーブルＴを撮影する撮影装置ＣＭか
らなり、被写体物体ＯをテーブルＴ上に乗せ、スイッチ
Ｓの値を変えて、撮影装置ＣＭにより複数の撮影画像デ
ータを得る。ＳＣはその複数の撮影画像データを比較し
て画素の特性値の変化の少ない部分を被写体物体Ｏのシ
ルエットを抽出する比較装置である。
【００２１】図２にスイッチＳを暗側にしたときの撮影
画像データＤ１を、図３にスイッチＳを明側にしたとき
の撮影画像データＤ２を示す。撮影画像データＤ１とＤ
２を比較装置ＳＣにて比較して輝度の変わってない部分
を取り出した画像データＤ３を図４に示す。なお、比較
装置ＳＣは、比較する撮影画像データの対応する画素毎
に輝度、色彩等を比較する。
画像データＤ１を、図３にスイッチＳを明側にしたとき
の撮影画像データＤ２を示す。撮影画像データＤ１とＤ
２を比較装置ＳＣにて比較して輝度の変わってない部分
を取り出した画像データＤ３を図４に示す。なお、比較
装置ＳＣは、比較する撮影画像データの対応する画素毎
に輝度、色彩等を比較する。
【００２２】以上に述べた画像処理装置による本発明の
画像処理方法の一実施形態例の概略を図５のフローチャ
ートに示す。
画像処理方法の一実施形態例の概略を図５のフローチャ
ートに示す。
【００２３】まず、撮影装置ＣＭを用いて、被写体保持
具であるテーブルＴに被写体物体Ｏを乗せ、背景表示装
置ＢＤと被写体物体ＯとテーブルＴを含む二次元画像Ａ
を撮影する（ステップ１）。次に、スイッチＳの値によ
り、背景表示装置ＢＤとテーブルＴの色彩と輝度の一方
または両方を変化させ（ステップ２）、ステップ１と同
様の、背景表示装置ＢＤと被写体物体ＯとテーブルＴを
含む二次元画像Ｂを撮影する（ステップ３）。次に、二
次元画像Ａと二次元画像Ｂについて、対応する画素毎に
二次元画像Ａの特性値ＸAと二次元画像Ｂの特性値ＸBの
差を予め設定した閾値ｃと比較する（ステップ４）。そ
の比較の結果、｜ＸA−ＸB｜＞ｃであればその画素は背
景であると認識し、それ以外であればその画素は被写体
であると認識する（ステップ５）。以上のステップ４と
ステップ５を二次元画像Ａ，Ｂの全画素について行うこ
とで、被写体画像をシルエットとして抽出する。
具であるテーブルＴに被写体物体Ｏを乗せ、背景表示装
置ＢＤと被写体物体ＯとテーブルＴを含む二次元画像Ａ
を撮影する（ステップ１）。次に、スイッチＳの値によ
り、背景表示装置ＢＤとテーブルＴの色彩と輝度の一方
または両方を変化させ（ステップ２）、ステップ１と同
様の、背景表示装置ＢＤと被写体物体ＯとテーブルＴを
含む二次元画像Ｂを撮影する（ステップ３）。次に、二
次元画像Ａと二次元画像Ｂについて、対応する画素毎に
二次元画像Ａの特性値ＸAと二次元画像Ｂの特性値ＸBの
差を予め設定した閾値ｃと比較する（ステップ４）。そ
の比較の結果、｜ＸA−ＸB｜＞ｃであればその画素は背
景であると認識し、それ以外であればその画素は被写体
であると認識する（ステップ５）。以上のステップ４と
ステップ５を二次元画像Ａ，Ｂの全画素について行うこ
とで、被写体画像をシルエットとして抽出する。
【００２４】図２〜図４から明らかなように、被写体物
体Ｏ以外の部分は輝度が大きく変わっているので切り抜
かれており、本方法により、被写体物体Ｏと背景のセグ
メンテーションが行えることがわかる。この方法では、
背景の色彩と輝度の一方または両方が大きく変わるた
め、外部照明の変化等で被写体物体Ｏの色彩や輝度が多
少変化したり、被写体物体Ｏの影が背景に写ったりして
も、これらに影響されることなく、セグメンテーション
を行うことができる。
体Ｏ以外の部分は輝度が大きく変わっているので切り抜
かれており、本方法により、被写体物体Ｏと背景のセグ
メンテーションが行えることがわかる。この方法では、
背景の色彩と輝度の一方または両方が大きく変わるた
め、外部照明の変化等で被写体物体Ｏの色彩や輝度が多
少変化したり、被写体物体Ｏの影が背景に写ったりして
も、これらに影響されることなく、セグメンテーション
を行うことができる。
【００２５】背景表示装置ＢＤやテーブルＴは、ＥＬパ
ネルや液晶パネル等を表面に貼り付けることにより、実
現することができる。また、テーブルＴを背景が透過す
る透明な物質で構成することもでき、この方法では、よ
り簡易に本システムを実現することができる。表示装置
ＢやテーブルＴの色彩や輝度の変化を２種類でなく３種
類以上変化させて撮影し（図５のステップ２とステップ
３をその変化の種類数だけ繰り返す）、それらを比較し
てセグメンテーション処理を行うことにより、さらに精
度良く、被写体の切り出しを行うことができる。
ネルや液晶パネル等を表面に貼り付けることにより、実
現することができる。また、テーブルＴを背景が透過す
る透明な物質で構成することもでき、この方法では、よ
り簡易に本システムを実現することができる。表示装置
ＢやテーブルＴの色彩や輝度の変化を２種類でなく３種
類以上変化させて撮影し（図５のステップ２とステップ
３をその変化の種類数だけ繰り返す）、それらを比較し
てセグメンテーション処理を行うことにより、さらに精
度良く、被写体の切り出しを行うことができる。
【００２６】被写体物体Ｏが金属等であって、背景が写
り込む物体である場合、上記の方法では、背景あるいは
テーブルＴが写り込んだ部分は背景の変化とともに変化
するため、背景とて認識してしまい、正確なセグメンテ
ーションが行えない場合がある。この場合、背景表示装
置ＢＤおよびテーブルＴは、その色彩や輝度だけでなく
模様を変化させ、さらに被写体の写っていない背景表示
装置ＢＤとテーブルＴのみを撮影したデータと比較する
ことにより、正確なセグメンテーションを行うことがで
きる。
り込む物体である場合、上記の方法では、背景あるいは
テーブルＴが写り込んだ部分は背景の変化とともに変化
するため、背景とて認識してしまい、正確なセグメンテ
ーションが行えない場合がある。この場合、背景表示装
置ＢＤおよびテーブルＴは、その色彩や輝度だけでなく
模様を変化させ、さらに被写体の写っていない背景表示
装置ＢＤとテーブルＴのみを撮影したデータと比較する
ことにより、正確なセグメンテーションを行うことがで
きる。
【００２７】この場合、比較装置ＳＣにおける処理は以
下の通りである。まず、模様ａの背景と被写体を含む二
次元画像Ａを撮影し、次にａとは異なる模様ｂの背景と
被写体を含む二次元画像Ｂを撮影する。二次元画像Ａと
二次元画像Ｂを画素毎に比較し、二次元画像Ａについ
て、変化の無い部分の画素を一定値で置換する。次に、
この置換した二次元画像と、二次元画像Ａに対応する背
景のみを撮影した二次元画像Ｃを比較し、変化の無い画
素部分を背景データとする。最後に二次元画像Ａ、また
は二次元画像Ｂから、求めた背景データ部分を切り取れ
ば、被写体部分を抽出することができる。なお、背景を
模様とすることによって、被写体物体に背景が写り込ん
だ部分の模様は、その部分が透明である場合に見える背
景の模様とは異なるように設定できるため、被写体に写
り込みがあっても背景と区別することができ、セグメン
テーションが可能となるものである。
下の通りである。まず、模様ａの背景と被写体を含む二
次元画像Ａを撮影し、次にａとは異なる模様ｂの背景と
被写体を含む二次元画像Ｂを撮影する。二次元画像Ａと
二次元画像Ｂを画素毎に比較し、二次元画像Ａについ
て、変化の無い部分の画素を一定値で置換する。次に、
この置換した二次元画像と、二次元画像Ａに対応する背
景のみを撮影した二次元画像Ｃを比較し、変化の無い画
素部分を背景データとする。最後に二次元画像Ａ、また
は二次元画像Ｂから、求めた背景データ部分を切り取れ
ば、被写体部分を抽出することができる。なお、背景を
模様とすることによって、被写体物体に背景が写り込ん
だ部分の模様は、その部分が透明である場合に見える背
景の模様とは異なるように設定できるため、被写体に写
り込みがあっても背景と区別することができ、セグメン
テーションが可能となるものである。
【００２８】図６に、被写体物体Ｏの３次元モデルデー
タを生成する画像処理装置（３次元モデルデータ生成装
置）の一実施形態例を示す。
タを生成する画像処理装置（３次元モデルデータ生成装
置）の一実施形態例を示す。
【００２９】本画像処理装置は、上記撮影システムＳＰ
及び比較装置ＳＣと、モデリング装置ＳＭからなる。撮
影システムＳＰのテーブルＴは、その上に載せた被写体
物体Ｏを回転させることができるターンテーブルにする
ことにより、被写体物体Ｏを複数の視点から撮影したデ
ータを得ることができる。これらのデータは、比較装置
ＳＣによりセグメンテーションを行うことにより、複数
の視点から被写体物体Ｏを見たときのシルエットを得る
ことができ、得られたシルエットをモデリング装置ＳＭ
に与える。モデリング装置ＳＭは、従来から提案されて
いるＳｈａｐｅｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ等のア
ルゴリズムを実現する装置である。本モデリング装置Ｓ
Ｍでは、比較装置ＳＣにより被写体物体Ｏの正確なシル
エットを得ることができるため、正確な３次元モデルデ
ータを生成することができる。
及び比較装置ＳＣと、モデリング装置ＳＭからなる。撮
影システムＳＰのテーブルＴは、その上に載せた被写体
物体Ｏを回転させることができるターンテーブルにする
ことにより、被写体物体Ｏを複数の視点から撮影したデ
ータを得ることができる。これらのデータは、比較装置
ＳＣによりセグメンテーションを行うことにより、複数
の視点から被写体物体Ｏを見たときのシルエットを得る
ことができ、得られたシルエットをモデリング装置ＳＭ
に与える。モデリング装置ＳＭは、従来から提案されて
いるＳｈａｐｅｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ等のア
ルゴリズムを実現する装置である。本モデリング装置Ｓ
Ｍでは、比較装置ＳＣにより被写体物体Ｏの正確なシル
エットを得ることができるため、正確な３次元モデルデ
ータを生成することができる。
【００３０】
【発明の効果】以上に述べた様に、本発明によれば、背
景を自発光させ、その輝度や色彩を大きく変化させるこ
とができるため、正確なセグメンテーションが可能とな
る。また、併せて被写体を置くテーブルなどの被写体保
持手段も自発光させるか、あるいは透明としておけば、
被写体全体のセグメンテーションも可能である。さら
に、背景を適宜、模様とし、この模様を変化させると金
属物体等の光反射性の被写体についてもセグメンテーシ
ョンを行うことが可能となる。これらのセグメンテーシ
ョンにより得られた画像データを３次元モデリングに用
いれば、従来より高精度で、かつ被写体全体を対象と
し、また金属物体等も含めた３次元モデルデータを生成
することができる。
景を自発光させ、その輝度や色彩を大きく変化させるこ
とができるため、正確なセグメンテーションが可能とな
る。また、併せて被写体を置くテーブルなどの被写体保
持手段も自発光させるか、あるいは透明としておけば、
被写体全体のセグメンテーションも可能である。さら
に、背景を適宜、模様とし、この模様を変化させると金
属物体等の光反射性の被写体についてもセグメンテーシ
ョンを行うことが可能となる。これらのセグメンテーシ
ョンにより得られた画像データを３次元モデリングに用
いれば、従来より高精度で、かつ被写体全体を対象と
し、また金属物体等も含めた３次元モデルデータを生成
することができる。
【図１】本発明による画像処理装置の一実施形態例を示
す図である。
す図である。
【図２】本実施形態例において、スイッチＳを暗側にし
て撮影した撮影画像データを示す図である。
て撮影した撮影画像データを示す図である。
【図３】本実施形態例において、スイッチＳを明側にし
て撮影した撮影画像データを示す図である。
て撮影した撮影画像データを示す図である。
【図４】本実施形態例において、比較装置ＳＣにより得
られたデータを示す図である。
られたデータを示す図である。
【図５】本発明による画像処理方法の一実施形態例を示
すフローチャートである。
すフローチャートである。
【図６】本発明の３次元モデルデータを生成する画像処
理装置（３次元モデルデータ生成装置）の構成を示すブ
ロック図である。
理装置（３次元モデルデータ生成装置）の構成を示すブ
ロック図である。
【図７】従来の３次元モデルデータの作成手法を説明す
る図である。
る図である。
ＢＤ…背景表示装置 ＣＭ…撮影装置 Ｏ…被写体物体 Ｔ…テーブル ＳＣ…比較装置 ＳＰ…撮影システム ＳＭ…モデリング装置 １〜５…ステップ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 13/02 Ｇ０６Ｆ 15/62 ４１５ ５Ｌ０９６ 15/70 ３１０ Ｆターム(参考） 2F065 AA51 BB05 DD04 FF01 FF02 GG00 GG18 JJ03 JJ26 KK01 PP13 QQ25 QQ38 RR07 SS02 SS13 UU04 UU05 5B057 AA01 BA02 BA19 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB13 CB16 CB17 CC03 DA08 DA17 DB02 DB06 DB09 DC22 DC32 5C022 AB62 CA01 CA02 5C023 AA06 AA10 AA16 AA37 BA02 CA01 5C061 AA20 AA25 AB03 AB08 5L096 AA02 AA06 BA08 CA04 CA05 CA07 DA01 DA05 FA19 GA08 GA51
Claims (9)
- 【請求項１】 複数の背景付被写体画像を画像処理する
ことにより被写体のみの画像を得る画像処理方法におい
て、 背景と被写体と被写体保持手段を含む二次元画像を撮影
する第１のステップと、 前記背景全体の、あるいは前記背景全体と被写体保持手
段の色彩と輝度の一方または両方を変化させる第２のス
テップと、 前記背景と被写体と被写体保持手段を含む二次元画像を
再び撮影する第３のステップと、 前記撮影した複数の二次元画像の対応する画素毎にその
特性値を比較する第４のステップと、 前記画素毎の特性値の差が予め定めた閾値より小さい画
素を被写体画素と認識する第５のステップとを、 含むことを特徴とする画像処理方法。 - 【請求項２】 前記第２のステップおよび第３のステッ
プを複数回繰り返し行うことを特徴とする請求項１記載
の画像処理方法。 - 【請求項３】 前記第２のステップにおいて、模様付背
景を変化させることを特徴とする請求項１または２記載
の画像処理方法。 - 【請求項４】 請求項１，２，３のいずれか１項記載の
画像処理方法を用いて、前記被写体を複数の視点から撮
影した複数の被写体のみの画像を得るステップと、 前記得られた複数の被写体のみの画像をもとに３次元モ
デルデータを生成するステップとを、 有することを特徴とする３次元モデルデータ生成方法。 - 【請求項５】 複数の背景付被写体画像を撮影し、前記
複数の背景付被写体画像を画像処理することにより被写
体のみの画像を得る画像処理装置において、 背景全体の色彩と輝度の一方または両方を変化させる自
発光型の背景表示手段及び色彩と輝度の一方または両方
を変化させる自発光型の被写体保持手段のうち少なくと
も背景表示手段と、 前記背景表示手段の、あるいは前記背景表示手段及び前
記被写体保持手段の色彩と輝度の一方または両方を変化
させる前後について、被写体と背景と被写体保持手段を
含む二次元画像を撮影する撮影手段と、 前記撮影手段により撮影した複数の二次元画像を、対応
する画素毎に比較し、画素毎の特性値の差が予め定めた
閾値より小さい画素を被写体画素と認識する画像処理手
段とを、 含むことを特徴とする画像処理装置。 - 【請求項６】 前記自発光型の被写体保持手段に代え
て、前記自発光型の背景表示手段を透過して撮影可能な
透明材料で構成した被写体保持手段を用いることを特徴
とする請求項５記載の画像処理装置。 - 【請求項７】 前記自発光型の背景表示手段が、ＥＬパ
ネル、液晶パネル、液晶シャッター、投影型スクリー
ン、プラズマディスプレイ、ＣＲＴのいずれか一つであ
ることを特徴とする請求項５または６記載の画像処理装
置。 - 【請求項８】 前記自発光型の被写体保持手段が、その
表面にＥＬパネル、液晶パネル、液晶シャッター、投影
型スクリーン、プラズマディスプレイ、ＣＲＴのいずれ
か一つを具備したものであることを特徴とする請求項５
または７記載の画像処理装置。 - 【請求項９】 請求項５，６，７，８のいずれか１項記
載の画像処理装置と、 被写体を前記画像処理装置に対して相対的に移動または
回転あるいはその両方を行う撮影方向変更手段と、 前記撮影方向変更手段により撮影視点を変更して前記画
像処理装置により撮影して得られた複数の被写体のみの
画像をもとに被写体の３次元モデルデータを生成する３
次元モデリング手段とを、 具備することを特徴とする３次元モデルデータ生成装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33160099A JP2001148021A (ja) | 1999-11-22 | 1999-11-22 | 画像処理方法、３次元モデルデータ生成方法およびそれらの装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33160099A JP2001148021A (ja) | 1999-11-22 | 1999-11-22 | 画像処理方法、３次元モデルデータ生成方法およびそれらの装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001148021A true JP2001148021A (ja) | 2001-05-29 |
Family
ID=18245476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33160099A Pending JP2001148021A (ja) | 1999-11-22 | 1999-11-22 | 画像処理方法、３次元モデルデータ生成方法およびそれらの装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001148021A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003115042A (ja) * | 2001-10-05 | 2003-04-18 | Minolta Co Ltd | ３次元形状モデルの評価方法および生成方法並びに装置 |
| JP2003274097A (ja) * | 2002-03-12 | 2003-09-26 | Sony Corp | 商品受注システム及び商品受注方法 |
| JP2004133888A (ja) * | 2002-06-17 | 2004-04-30 | Mitsubishi Electric Research Laboratories Inc | ３ｄオブジェクトをモデル化する方法 |
| US7071953B2 (en) | 2001-11-02 | 2006-07-04 | Nippon Telegraph And Telephone Corporation | Image processing method and image processing apparatus for obtaining overlaid image |
| JP2007114233A (ja) * | 2005-10-18 | 2007-05-10 | Intec Web & Genome Informatics Corp | 撮影方法と装置 |
| JPWO2006095779A1 (ja) * | 2005-03-10 | 2008-08-14 | 富士フイルム株式会社 | 撮影システム |
| JP2010061539A (ja) * | 2008-09-05 | 2010-03-18 | Omron Corp | 基板外観検査のためのモデルデータの登録方法および基板外観検査装置 |
| CN101929849A (zh) * | 2010-07-30 | 2010-12-29 | 浙江大学 | 一种香菇外形检测方法 |
| JP2014240823A (ja) * | 2013-06-12 | 2014-12-25 | パイオニア株式会社 | 検出装置 |
| JP2015040856A (ja) * | 2013-08-23 | 2015-03-02 | 三緯國際立體列印科技股▲フン▼有限公司 | ３ｄスキャナ |
| CN115420196A (zh) * | 2022-08-30 | 2022-12-02 | 天津大学 | 一种通用型物体三维测量方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05135155A (ja) * | 1991-11-14 | 1993-06-01 | A T R Tsushin Syst Kenkyusho:Kk | 連続シルエツト画像による３次元モデル構成装置 |
| JPH06258048A (ja) * | 1993-03-05 | 1994-09-16 | Toshiba Corp | 物体入力装置 |
| JPH1093859A (ja) * | 1996-09-18 | 1998-04-10 | Konica Corp | 画像処理装置及び画像処理方法 |
| JP2000188745A (ja) * | 1998-12-22 | 2000-07-04 | Minolta Co Ltd | 画像抽出装置 |
-
1999
- 1999-11-22 JP JP33160099A patent/JP2001148021A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05135155A (ja) * | 1991-11-14 | 1993-06-01 | A T R Tsushin Syst Kenkyusho:Kk | 連続シルエツト画像による３次元モデル構成装置 |
| JPH06258048A (ja) * | 1993-03-05 | 1994-09-16 | Toshiba Corp | 物体入力装置 |
| JPH1093859A (ja) * | 1996-09-18 | 1998-04-10 | Konica Corp | 画像処理装置及び画像処理方法 |
| JP2000188745A (ja) * | 1998-12-22 | 2000-07-04 | Minolta Co Ltd | 画像抽出装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003115042A (ja) * | 2001-10-05 | 2003-04-18 | Minolta Co Ltd | ３次元形状モデルの評価方法および生成方法並びに装置 |
| US7071953B2 (en) | 2001-11-02 | 2006-07-04 | Nippon Telegraph And Telephone Corporation | Image processing method and image processing apparatus for obtaining overlaid image |
| JP2003274097A (ja) * | 2002-03-12 | 2003-09-26 | Sony Corp | 商品受注システム及び商品受注方法 |
| JP2004133888A (ja) * | 2002-06-17 | 2004-04-30 | Mitsubishi Electric Research Laboratories Inc | ３ｄオブジェクトをモデル化する方法 |
| JP4689662B2 (ja) * | 2005-03-10 | 2011-05-25 | 富士フイルム株式会社 | 撮影システム |
| JPWO2006095779A1 (ja) * | 2005-03-10 | 2008-08-14 | 富士フイルム株式会社 | 撮影システム |
| JP2007114233A (ja) * | 2005-10-18 | 2007-05-10 | Intec Web & Genome Informatics Corp | 撮影方法と装置 |
| JP2010061539A (ja) * | 2008-09-05 | 2010-03-18 | Omron Corp | 基板外観検査のためのモデルデータの登録方法および基板外観検査装置 |
| CN101929849A (zh) * | 2010-07-30 | 2010-12-29 | 浙江大学 | 一种香菇外形检测方法 |
| JP2014240823A (ja) * | 2013-06-12 | 2014-12-25 | パイオニア株式会社 | 検出装置 |
| JP2015040856A (ja) * | 2013-08-23 | 2015-03-02 | 三緯國際立體列印科技股▲フン▼有限公司 | ３ｄスキャナ |
| US9432655B2 (en) | 2013-08-23 | 2016-08-30 | Xyzprinting, Inc. | Three-dimensional scanner based on contours from shadow images |
| CN115420196A (zh) * | 2022-08-30 | 2022-12-02 | 天津大学 | 一种通用型物体三维测量方法及装置 |
| CN115420196B (zh) * | 2022-08-30 | 2023-11-14 | 天津大学 | 一种通用型物体三维测量方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3018903B1 (en) | Method and system for projector calibration | |
| CN108141547B (zh) | 将图像与另一图像数字化叠加 | |
| JP7003994B2 (ja) | 画像処理装置および方法 | |
| Raskar et al. | Non-photorealistic camera: depth edge detection and stylized rendering using multi-flash imaging | |
| EP3218878B1 (en) | Image to item mapping | |
| US7999862B2 (en) | Method and apparatus for an automated background lighting compensation system | |
| JP2009074836A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| Kilner et al. | Objective quality assessment in free-viewpoint video production | |
| Darrell et al. | A virtual mirror interface using real-time robust face tracking | |
| Mori et al. | Efficient use of textured 3D model for pre-observation-based diminished reality | |
| CN110910452B (zh) | 一种基于深度学习的低纹理工业零件位姿估计方法 | |
| JP2001148021A (ja) | 画像処理方法、３次元モデルデータ生成方法およびそれらの装置 | |
| US11941729B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
| JP2019186762A (ja) | 映像生成装置、映像生成方法、プログラム、およびデータ構造 | |
| CN111199573A (zh) | 一种基于增强现实的虚实互反射方法、装置、介质及设备 | |
| US20040095484A1 (en) | Object segmentation from images acquired by handheld cameras | |
| CN111951333A (zh) | 六维姿态数据集自动生成方法、系统、终端以及存储介质 | |
| JP7163049B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20210297650A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US10965887B2 (en) | Methods and systems for image layer separation | |
| Planche et al. | Physics-based differentiable depth sensor simulation | |
| JP2007315777A (ja) | 三次元形状計測システム | |
| JP2023153534A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2001092971A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP2021047468A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040906 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041005 |