JP2010152771A - マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム - Google Patents

マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム Download PDF

Info

Publication number
JP2010152771A
JP2010152771A JP2008331762A JP2008331762A JP2010152771A JP 2010152771 A JP2010152771 A JP 2010152771A JP 2008331762 A JP2008331762 A JP 2008331762A JP 2008331762 A JP2008331762 A JP 2008331762A JP 2010152771 A JP2010152771 A JP 2010152771A
Authority
JP
Japan
Prior art keywords
images
voxel data
mask
dimensional voxel
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008331762A
Other languages
English (en)
Other versions
JP5218034B2 (ja
Inventor
Hiroshi Sanko
浩嗣 三功
Tehrani Mehrdad Panahpour
パナヒプル テヘラニ メヒルダド
Hitoshi Naito
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2008331762A priority Critical patent/JP5218034B2/ja
Priority to US12/630,497 priority patent/US8363941B2/en
Priority to DE102009058349A priority patent/DE102009058349A1/de
Publication of JP2010152771A publication Critical patent/JP2010152771A/ja
Application granted granted Critical
Publication of JP5218034B2 publication Critical patent/JP5218034B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】手作業や特別な撮影環境を用いることなく、比較的単純な処理により精度の高いマスク画像を抽出する。
【解決手段】複数の被写体画像と複数の背景画像とから背景差分により、複数の第1のマスク画像を抽出し、複数の第1のマスク画像から視体積交差法により、3次元ボクセルデータを構築し、3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、再度3次元ボクセルデータを構築し、この3次元ボクセルデータから、複数のマスク画像を抽出する。
【選択図】図1

Description

本発明は、マスク画像を抽出する方法及びプログラム、並びにボクセルデータを構築する方法及びプログラムに関する。より詳細には、被写体を撮影した画像と背景のみを撮影した画像からマスク画像を抽出するマッティング方法及びプログラム、並びに上記で抽出された複数枚のマスク画像から視体積交差法を適用しボクセルデータを構築するモデリングの方法及びプログラムに関する。
従来、被写体を撮影した画像から被写体の存在を表すマスク画像を抽出するマッティング(matting)と複数枚のマスク画像に視体積交差法を適用し3次元ボクセルデータを構築するモデリング(modeling)は、別々に行われていた。このため、高精度なボクセルデータを構築するためには、まず高精度なマスク画像を抽出しなければならず、ブルーバックなどの特別な環境が必要であった。特許文献1及び非特許文献1では、背景差分に工夫をこらし、ボクセルデータの色情報を用いてマスク画像の欠損を埋めるマスク画像精度向上の方法を開示している。
特開2007−17364号公報 豊浦正広他 ランダムパターン背景を用いた視体積交差法のためのシルエット修復手法 2005 年 電子情報通信学会総合大会 D−12−133
従来の方法では、精度の高いボクセルデータを構築するためには、初めに十分精度の高いマスク画像が必要であった。そのため、手作業や、ブルーバックなどの特別な撮影環境を用いて、複雑な計算処理を行い、精度の高いマスク画像を抽出しなければならないという課題があった。
従って、本発明は、手作業や特別な撮影環境を用いることなく、比較的単純な処理により精度の高いマスク画像を抽出する方法及びプログラム、並びに上記マスク画像からボクセルデータを構築する方法及びプログラムを提供することを目的とする。
上記目的を実現するため本発明による複数のマスク画像を抽出する方法は、被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、被写体の存在を表す複数のマスク画像を抽出する方法であって、前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像を抽出する第1の抽出ステップと、前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータを構築する第1の構築ステップと、前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータを構築する第2の構築ステップと、前記第2の3次元ボクセルデータから、複数の第2のマスク画像を抽出する第2の抽出ステップとを含む。
また、前記複数の第2のマスク画像を、前記第1の構築ステップにおける複数の第1のマスク画像とすることで、前記第1の構築ステップから前記第2の抽出ステップまでを所定の回数繰り返すことも好ましい。
また、前記第2の構築ステップは、前記第1の3次元ボクセルデータの複数の第1のスライス画像を、x軸、y軸及びz軸方向から獲得するサブステップと、前記複数の第1のスライス画像にフィルタ処理を施し、該フィルタ処理の結果に基づき第2の3次元ボクセルデータを構築するサブステップとを含むことも好ましい。
また、前記第2の3次元ボクセルデータを構築するサブステップは、前記複数の第1のスライス画像にフィルタ処理を施し、該フィルタ処理により白色になった画素を求め、該画素に対応する前記第1の3次元ボクセルデータの3次元座標を埋めることで、第2の3次元ボクセルデータを構築するステップであることも好ましい。
また、前記第2の抽出ステップは、前記複数の第1のスライス画像にフィルタ処理を施し、該フィルタ処理により白色になった画素を求め、該画素をマスク画像に射影変換し、複数の第3のマスク画像を抽出するサブステップと、前記第2の3次元ボクセルデータの複数の第2のスライス画像を、y軸方向から獲得するサブステップと、前記複数の第2のスライス画像の白色である画素を求め、該画素をマスク画像に射影変換し、複数の第4のマスク画像を抽出するサブステップと、前記複数の第4のマスク画像にフィルタ処理を施し、フィルタ処理された複数の第4のマスク画像と前記複数の第3のマスク画像の両画像共に白色である画素を白色とし、それ以外の画素を黒色とすることで、複数の第2のマスク画像を抽出するサブステップとを含むことも好ましい。
また、前記第2の抽出ステップ後に、前記複数の第2のマスク画像にフィルタ処理を施すステップをさらに含むことも好ましい。
上記目的を実現するため本発明による複数のマスク画像を抽出するプログラムは、被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、被写体の存在を表す複数のマスク画像を抽出するためのコンピュータを、前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像を抽出する第1の抽出手段と、前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータを構築する第1の構築手段と、前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータを構築する第2の構築手段と、前記第2の3次元ボクセルデータから、複数の第2のマスク画像を抽出する第2の抽出手段ととして機能させる。
上記目的を実現するため本発明による3次元ボクセルデータを構築する方法は、被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、3次元ボクセルデータを構築する方法であって、前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像を抽出する第1の抽出ステップと、前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータを構築する第1の構築ステップと、前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータを構築する第2の構築ステップと、前記第2の3次元ボクセルデータから、複数の第2のマスク画像を抽出する第2の抽出ステップと、前記複数の第2のマスク画像から視体積交差法により、第3の3次元ボクセルデータを構築する第3の構築ステップとを含む。
上記目的を実現するため本発明による3次元ボクセルデータを構築することを特徴とするプログラムは、被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、3次元ボクセルデータを構築するためのコンピュータを、前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像を抽出する第1の抽出手段と、前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータを構築する第1の構築手段と、前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータを構築する第2の構築手段と、前記第2の3次元ボクセルデータから、複数の第2のマスク画像を抽出する第2の抽出手段と、前記複数の第2のマスク画像から視体積交差法により、第3の3次元ボクセルデータを構築する第3の構築手段として機能させる。
本発明のマスク画像を抽出する方法及びプログラムは、ボクセルデータの情報をマスク画像に反映させることで、マスク画像とボクセルデータの精度向上を補間的に行う。初めに高精度なマスク画像を必要とせず、さらに複雑な計算処理を行わずに高精度のマスク画像を抽出でき、この高精度のマスク画像から高精度のボクセルデータを構築できる。さらに、本発明は、特別な撮影環境に依らず、一般的な映像に対して適用可能である。
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図1は、本発明によるマスク画像の抽出とボクセルデータの構築方法を示すフローチャートである。以下、本フローチャートに基づいて説明する。
ステップ1:円周配置の複数枚の被写体画像と背景画像を取得する。キャリブレーション済みのカメラを複数台円周上に配置して、該複数台のカメラで被写体と背景を含む被写体画像と背景のみを含む背景画像とを撮影し、複数の異なった方向から撮影した被写体画像と背景画像を取得する。例えば、カメラが30台配置された場合、被写体画像画像及び背景画像はそれぞれ30枚取得される。
ステップ2:上記の被写体画像画像と、背景画像とから、背景差分を行うことにより、複数枚のマスク画像を抽出する。本マスク画像は、従来技術の単純な背景差分により抽出されるため、精度は高くない。マスク画像はカメラの台数分抽出される。例えば、カメラが30台配置された場合、30枚のマスク画像が抽出される。
ステップ3:複数枚のマスク画像に、視体積交差法を適用することにより、3次元ボクセルデータを構築する。ボクセルデータの精度は、マスク画像の精度に依存するため、ステップ2で抽出されたマスク画像を用いる場合、構築されたボクセルデータの精度は高くない。
ステップ4:上記で獲得されたボクセルデータをスライス画像として獲得する。3次元ボクセルデータをある方向からのスライス画像の集まりと考えて、ボクセルデータをスライス画像としてx軸、y軸及びz軸方向から獲得する。スライス画像は各軸とも座標範囲の枚数分を獲得する。例えば、ボクセルデータのy軸座標範囲が−256〜255であった場合は、512枚のスライス画像を獲得する。なお、y軸は鉛直方向であり、x軸及びz軸は、それぞれ水平方向である。
ステップ5:穴を埋めたボクセルデータを構築する。ステップ4のスライス画像は精度が高くないボクセルデータから獲得されている場合があるため、黒色である箇所が白色となり穴が空いている欠損や、逆に白色の部分に黒色が表れるノイズが含まれていることもある。そのため、各方向(x軸、y軸、z軸)から獲得されたスライス画像に対してフィルタ処理を施す。例えば、ガウスフィルタを適用し欠損を充填することで穴の部分を埋め、メディアンフィルタを適用し不要なノイズを除去する。このようにして、フィルタ済スライス画像を得る。次に、フィルタ済スライス画像とフィルタされる前のスライス画像とを比較し、新たに白色となった画素(つまり、フィルタ処理により穴が埋められた画素)を求め、本画素に対応するボクセルデータの3次元座標を埋める。例えば、x軸の座標x1で獲得されたスライス画像において、白色となった画素が、y座標y1、z座標z1であった場合、ボクセルデータの3次元座標(x1、y1、z1)を埋める。以上の処理を全スライス画像に行い、穴を埋めたボクセルデータを獲得する。
ステップ6:複数枚の穴を埋めたマスク画像を抽出する。ステップ5での3次元座標を各マスク画像に射影変換し、各マスク画像における対応画素を白色にする。つまり、スライス画像の3次元座標を射影変換して、各マスク画像を撮影した位置から見た画像を作成し、該画像においてステップ5の3次元座標に対応する画素を白色にする。これにより、穴が埋められたマスク画像が抽出される。
ステップ7:上記ステップ5で獲得されたボクセルデータをy軸方向からスライス画像として獲得する。スライス画像はステップ4と同じく座標範囲の枚数分を獲得する。
ステップ8:不要部を除去した複数枚のマスク画像を抽出する。ステップ7で獲得されたy軸方向からのスライス画像の白色画素に対応する3次元座標をマスク画像に射影変換し、各マスク画像における対応画素を白色にする。これにより得られたマスク画像にフィルタ処理を施す。ここで得られたマスク画像とステップ6で抽出されたマスク画像とを比較して、両画像ともに白色である場合のみ白色とし、それ以外の場合は該当箇所を黒色にする。以上の処理を全マスク画像に行い、不要部を除去したマスク画像を抽出する。
ステップ9:複数枚の穴を埋めたマスク画像を抽出する。上記で得られたマスク画像にフィルタ処理を施すことによりさらに穴を埋める。このように、穴を埋め(ステップ6)、不要な部分を削除し(ステップ8)、穴を埋める(ステップ9)処理を施すことで、より高精度なマスク画像が抽出される。
ステップ10:マスク画像の精度が十分であった場合、本マスク画像から視体積交差法を用いることにより、高精度なボクセルデータが構築される。マスク画像の精度が十分でなかった場合、ステップ9で得られたマスク画像をステップ3の入力とすることにより、ステップ3からステップ9を繰り返し、マスク画像とボクセルデータの精度を漸次更新していく。
一般に、視体積交差法を用いる場合、マスク画像における影や背景の不要部分は、ボクセルデータの生成にあまり影響を与えないが、人物マスク内の穴・欠損は、ボクセルデータの生成に大きな影響を与えるため、人物マスク内の穴・欠損を埋める必要がある。
また、ボクセルデータのスライス画像において人物が存在している画素(すなわち黒色でなく白色の画素)は、各マスク画像の該当画素においても必ず白色となるが、対象物体が存在していない画素(黒色の画素)は、各マスク画像において必ずしも黒色とは限らない。
よって、スライス画像における白色の画素が重要であり、スライス画像の精度の向上は、徐々に欠損・穴を埋めていくことになる。上記のステップ3からステップ9を繰り返すことで、スライス画像の精度が向上し、ボクセルモデルの欠損が徐々に埋まっていく。
次に、マスク画像の精度が向上していくことを実際の画像により示す。図2は、カメラ画像から得られたマスク画像の一例である。図2は、ステップ2で単純な背景差分により生成されたマスク画像であり、見て分かる通り、精度は高くない。
図3は、図2のマスク画像から構築されたボクセルデータの一例を示す。ボクセルデータは3次元であるため、水平方向(x軸方向)から見た画像(a)と、鉛直方向(y軸方向)から見た画像(b)と、水平方向(z軸方向)から見た画像(c)を示す。なお、図3bは、図3a,cに比べて50%縮小されている。本ボクセルデータは、精度が高くない図2のマスク画像から構築されたため、精度が高くない。本来白色であるはずのところが黒色で埋まっていなかったり、本来黒色のところが白色であったりする。
図4は、図3のボクセルデータの穴を埋めたボクセルデータの一例を示す。図3のボクセルデータをステップ5により穴を埋めた後のボクセルデータである。本図もx軸方向から見た画像(a)、y軸方向から見た画像(b)、z軸方向から見た画像(c)を示し、画像(b)は50%縮小されている。図3と図4を比較すると、例えば、x軸方向の左から2番目の人物において穴が埋まっていることが分かる。
図5は、図2のマスク画像の穴を埋めたマスク画像を示す。図5はステップ5及びステップ6の処理が施されたマスク画像であり、図5と図2を比較すると人物の部分において穴が埋まっている。つまり、黒色のところが白色になっていることが分かる。
図6は、図5のマスク画像から不要部を除去したマスク画像を示す。図6はステップ8の処理が施されたマスク画像であり、図6と図5を比較すると不要な部分が除去されていることが分かる。なお、図6のマスク画像は、ステップ7のy軸方向から抽出されたスライス画像と図5のマスク画像の両方とも白い部分を抽出しているため、背景部分が除去されている。
図7は、図6のマスク画像にフィルタ処理を施したマスク画像を示す。図7はステップ9の処理が施されたマスク画像であり、図7と図6を比較するとフィルタ処理により、さらに穴埋めがなされていることが分かる。
なお、図2、図5、図6及び図7のマスク画像は、複数枚のマスク画像の1枚であり、実際にはカメラ台数分のマスク画像の処理が行われることになる。
図2のマスク画像と図7のマスク画像を比較すると、本発明のステップ3からステップ9を1回実行することにより、マスク画像の精度が大幅に向上することが分かる。
本発明のステップ3からステップ9は、複数回実行して、さらにマスク画像の精度を高めることができる。図8は、本発明のステップ3からステップ9を3回実行することにより抽出されたマスク画像を示し、図9は、本発明のステップ3からステップ9を5回実行することにより抽出されたマスク画像を示す。図10は、本発明のステップ3からステップ9を7回実行することにより抽出されたマスク画像を示す。図11は、本発明のステップ3からステップ9を9回実行することにより抽出されたマスク画像を示す。図7、図8、図9、図10、図11のマスク画像を比較すると、マスク画像の精度が漸次向上していくことが見て取れる。例えば、矢印1で指摘される箇所は、本来白色であるはずの人物内の箇所である。図7と図8を比較すると、穴が小さくなっていることが分かり、図9、図10、図11では穴が完全にふさがっていることが分かる。また、矢印2で指摘される箇所は、本来黒色であるはずの背景の箇所である。図7、図8、図9を比較すると、白色の箇所が小さくなっていることが分かり、図10、図11では白色の箇所が完全になくなっていることが分かる。
最後に、上記の図7、図8、図9、図10、図11のマスク画像から構築されたボクセルデータを示す。それぞれ、図12は、図7のマスク画像から構築されたボクセルデータを示し、図13は、図8のマスク画像から構築されたボクセルデータを示し、図14は、図9のマスク画像から構築されたボクセルデータを示し、図15は、図10のマスク画像から構築されたボクセルデータを示し、図16は、図11のマスク画像から構築されたボクセルデータを示す。各図は、x軸方向から見た画像(a)、y軸方向から見た画像(b)、z軸方向から見た画像(c)を示し、画像(b)は50%縮小されている。それぞれ、マスク画像の精度向上と共にボクセルデータの精度の向上していることが分かる。例えば、x軸方向の左から2番目の人物において、図12、図13、図14と進むにつれて、次第に穴が小さくなっていき、図15、図16では穴が完全に埋まっていることが分かる。また、右から2番目の人物の足下の(背景であり黒色であるべき)白色の部分が、図12、図13、図14、図15と進むにつれて、小さくなっていき、図16で完全になくなっていることが分かる。このように精度の向上したマスク画像から精度の向上したボクセルデータが構築されることが分かる。
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。
本発明によるマスク画像の抽出とボクセルデータの構築方法を示すフローチャートである。 カメラ画像から得られたマスク画像の一例である。 図2のマスク画像から構築されたボクセルデータの一例を示す。 図3のボクセルデータの穴を埋めたボクセルデータの一例を示す。 図2のマスク画像の穴を埋めたマスク画像を示す。 図5のマスク画像から不要部を除去したマスク画像を示す。 図6のマスク画像にフィルタ処理を施したマスク画像を示す。 本発明のステップ3からステップ9を3回実行することにより抽出されたマスク画像を示す。 本発明のステップ3からステップ9を5回実行することにより抽出されたマスク画像を示す。 本発明のステップ3からステップ9を7回実行することにより抽出されたマスク画像を示す。 本発明のステップ3からステップ9を9回実行することにより抽出されたマスク画像を示す。 図7のマスク画像から構築されたボクセルデータを示す。 図8のマスク画像から構築されたボクセルデータを示す。 図9のマスク画像から構築されたボクセルデータを示す。 図10のマスク画像から構築されたボクセルデータを示す。 図11のマスク画像から構築されたボクセルデータを示す。

Claims (9)

  1. 被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、被写体の存在を表す複数のマスク画像を抽出する方法であって、
    前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像を抽出する第1の抽出ステップと、
    前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータを構築する第1の構築ステップと、
    前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータを構築する第2の構築ステップと、
    前記第2の3次元ボクセルデータから、複数の第2のマスク画像を抽出する第2の抽出ステップと、
    を含むことを特徴とする複数のマスク画像を抽出する方法。
  2. 前記複数の第2のマスク画像を、前記第1の構築ステップにおける複数の第1のマスク画像とすることで、前記第1の構築ステップから前記第2の抽出ステップまでを所定の回数繰り返すことを特徴とする請求項1に記載の複数のマスク画像を抽出する方法。
  3. 前記第2の構築ステップは、
    前記第1の3次元ボクセルデータの複数の第1のスライス画像を、x軸、y軸及びz軸方向から獲得するサブステップと、
    前記複数の第1のスライス画像にフィルタ処理を施し、該フィルタ処理の結果に基づき第2の3次元ボクセルデータを構築するサブステップと、
    を含むことを特徴とする請求項1または2に記載の複数のマスク画像を抽出する方法。
  4. 前記第2の3次元ボクセルデータを構築するサブステップは、
    前記複数の第1のスライス画像にフィルタ処理を施し、該フィルタ処理により白色になった画素を求め、該画素に対応する前記第1の3次元ボクセルデータの3次元座標を埋めることで、第2の3次元ボクセルデータを構築するステップであることを特徴とする請求項3に記載の複数のマスク画像を抽出する方法。
  5. 前記第2の抽出ステップは、
    前記複数の第1のスライス画像にフィルタ処理を施し、該フィルタ処理により白色になった画素を求め、該画素をマスク画像に射影変換し、複数の第3のマスク画像を抽出するサブステップと、
    前記第2の3次元ボクセルデータの複数の第2のスライス画像を、y軸方向から獲得するサブステップと、
    前記複数の第2のスライス画像の白色である画素を求め、該画素をマスク画像に射影変換し、複数の第4のマスク画像を抽出するサブステップと、
    前記複数の第4のマスク画像にフィルタ処理を施し、フィルタ処理された複数の第4のマスク画像と前記複数の第3のマスク画像の両画像共に白色である画素を白色とし、それ以外の画素を黒色とすることで、複数の第2のマスク画像を抽出するサブステップと、
    を含むことを特徴とする請求項1から4のいずれか1項に記載の複数のマスク画像を抽出する方法。
  6. 前記第2の抽出ステップ後に、前記複数の第2のマスク画像にフィルタ処理を施すステップをさらに含むことを特徴とする請求項1から5のいずれか1項に記載の複数のマスク画像を抽出する方法。
  7. 被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、被写体の存在を表す複数のマスク画像を抽出するためのコンピュータを、
    前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像を抽出する第1の抽出手段と、
    前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータを構築する第1の構築手段と、
    前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータを構築する第2の構築手段と、
    前記第2の3次元ボクセルデータから、複数の第2のマスク画像を抽出する第2の抽出手段と、
    として機能させ、複数のマスク画像を抽出することを特徴とするプログラム。
  8. 被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、3次元ボクセルデータを構築する方法であって、
    前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像を抽出する第1の抽出ステップと、
    前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータを構築する第1の構築ステップと、
    前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータを構築する第2の構築ステップと、
    前記第2の3次元ボクセルデータから、複数の第2のマスク画像を抽出する第2の抽出ステップと、
    前記複数の第2のマスク画像から視体積交差法により、第3の3次元ボクセルデータを構築する第3の構築ステップと、
    を含むことを特徴とする3次元ボクセルデータを構築する方法。
  9. 被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、3次元ボクセルデータを構築するためのコンピュータを、
    前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像を抽出する第1の抽出手段と、
    前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータを構築する第1の構築手段と、
    前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータを構築する第2の構築手段と、
    前記第2の3次元ボクセルデータから、複数の第2のマスク画像を抽出する第2の抽出手段と、
    前記複数の第2のマスク画像から視体積交差法により、第3の3次元ボクセルデータを構築する第3の構築手段と、
    として機能させ、3次元ボクセルデータを構築することを特徴とするプログラム。
JP2008331762A 2008-12-26 2008-12-26 マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム Active JP5218034B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008331762A JP5218034B2 (ja) 2008-12-26 2008-12-26 マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム
US12/630,497 US8363941B2 (en) 2008-12-26 2009-12-03 Method and program for extracting silhouette image and method and program for constructing three dimensional model
DE102009058349A DE102009058349A1 (de) 2008-12-26 2009-12-15 Verfahren und Programm zum Extrahieren eines Silhouettenbildes und Verfahren und Programm zum Erstellen eines dreidimensionalen Modells

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008331762A JP5218034B2 (ja) 2008-12-26 2008-12-26 マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2010152771A true JP2010152771A (ja) 2010-07-08
JP5218034B2 JP5218034B2 (ja) 2013-06-26

Family

ID=42234799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008331762A Active JP5218034B2 (ja) 2008-12-26 2008-12-26 マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム

Country Status (3)

Country Link
US (1) US8363941B2 (ja)
JP (1) JP5218034B2 (ja)
DE (1) DE102009058349A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021140594A (ja) * 2020-03-06 2021-09-16 Kddi株式会社 画像処理装置、方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021055732A1 (en) * 2019-09-20 2021-03-25 Kansas State University Research Foundation Methods and apparatus for contactless orthographic imaging of aerosol particles

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236522A (ja) * 1999-12-17 2001-08-31 Canon Inc 画像処理装置
JP2002236909A (ja) * 2001-02-09 2002-08-23 Minolta Co Ltd 画像データ処理方法およびモデリング装置
JP2003067725A (ja) * 2001-08-23 2003-03-07 Sanyo Electric Co Ltd 三次元画像作成装置及び三次元画像作成方法
JP2005278690A (ja) * 2004-03-26 2005-10-13 Hiroshima Industrial Promotion Organization コンピュータを用いた3次元胸部ct画像から結節状陰影を検出する方法およびその装置並びにコンピュータプログラム
JP2008191072A (ja) * 2007-02-07 2008-08-21 Nippon Telegr & Teleph Corp <Ntt> 3次元形状復元方法,3次元形状復元装置,その方法を実装した3次元形状復元プログラム及びそのプログラムを記録した記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196374A (ja) * 1997-07-23 1999-04-09 Sanyo Electric Co Ltd 3次元モデリング装置、3次元モデリング方法および3次元モデリングプログラムを記録した媒体
JP3813343B2 (ja) * 1997-09-09 2006-08-23 三洋電機株式会社 3次元モデリング装置
JP2000090290A (ja) * 1998-07-13 2000-03-31 Sony Corp 画像処理装置および画像処理方法、並びに媒体
JP2000090289A (ja) * 1998-07-13 2000-03-31 Sony Corp 画像処理装置および画像処理方法、並びに媒体
US6674430B1 (en) * 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
JP2002092646A (ja) * 2000-09-14 2002-03-29 Minolta Co Ltd 3次元形状データから面を抽出する方法および装置並びに記録媒体
JP4043258B2 (ja) * 2002-03-13 2008-02-06 オリンパス株式会社 3次元画像撮影装置
GB2399703B (en) * 2003-02-04 2006-09-27 British Broadcasting Corp Method and system for providing a volumetric representation of a three-dimensional object
GB2405775B (en) * 2003-09-05 2008-04-02 Canon Europa Nv 3D computer surface model generation
US8059153B1 (en) * 2004-06-21 2011-11-15 Wyse Technology Inc. Three-dimensional object tracking using distributed thin-client cameras
JP2007017364A (ja) 2005-07-11 2007-01-25 Kyoto Univ シルエット抽出装置及び該方法並びに3次元形状データ生成装置及び該方法
KR100721536B1 (ko) * 2005-12-09 2007-05-23 한국전자통신연구원 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236522A (ja) * 1999-12-17 2001-08-31 Canon Inc 画像処理装置
JP2002236909A (ja) * 2001-02-09 2002-08-23 Minolta Co Ltd 画像データ処理方法およびモデリング装置
JP2003067725A (ja) * 2001-08-23 2003-03-07 Sanyo Electric Co Ltd 三次元画像作成装置及び三次元画像作成方法
JP2005278690A (ja) * 2004-03-26 2005-10-13 Hiroshima Industrial Promotion Organization コンピュータを用いた3次元胸部ct画像から結節状陰影を検出する方法およびその装置並びにコンピュータプログラム
JP2008191072A (ja) * 2007-02-07 2008-08-21 Nippon Telegr & Teleph Corp <Ntt> 3次元形状復元方法,3次元形状復元装置,その方法を実装した3次元形状復元プログラム及びそのプログラムを記録した記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021140594A (ja) * 2020-03-06 2021-09-16 Kddi株式会社 画像処理装置、方法及びプログラム
JP7211994B2 (ja) 2020-03-06 2023-01-24 Kddi株式会社 画像処理装置、方法及びプログラム

Also Published As

Publication number Publication date
JP5218034B2 (ja) 2013-06-26
US8363941B2 (en) 2013-01-29
US20100166296A1 (en) 2010-07-01
DE102009058349A1 (de) 2010-07-08

Similar Documents

Publication Publication Date Title
JP6501348B2 (ja) 自由視点画像生成装置、方法およびプログラム
CN109409335B (zh) 图像处理方法、装置、计算机可读介质及电子设备
KR102273438B1 (ko) 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법
US8917317B1 (en) System and method for camera calibration
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
JP7052880B2 (ja) 画像作成装置、画像作成方法および学習済みモデルの作成方法
WO2019167453A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5295044B2 (ja) マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
US8633926B2 (en) Mesoscopic geometry modulation
JP2018133110A (ja) 画像処理装置及び画像処理プログラム
JP2011043879A (ja) マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム
JP5218034B2 (ja) マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム
Mao et al. Robust surface reconstruction of teeth from raw pointsets
CN117501313A (zh) 基于深度神经网络的毛发渲染系统
CN117173232A (zh) 深度图像的获取方法、装置及设备
JP2007315777A (ja) 三次元形状計測システム
KR20120118462A (ko) 이미지 기반의 비주얼 헐에서의 오목 표면 모델링
JP2020149174A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN115457206A (zh) 三维模型生成方法、装置、设备及存储介质
CN115034988A (zh) 一种基于rgbd相机的两阶段主体点云滤波方法
KR101775110B1 (ko) 고품질 텍스처 획득 방법 및 이를 위한 장치
CN113167568A (zh) 坐标计算装置、坐标计算方法和计算机可读记录介质
GB2564715A (en) Systems and methods of forming virtual models
JP2008079897A (ja) 医用画像処理システム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100823

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5218034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150