JP2021033682A - 画像処理装置、方法及びプログラム - Google Patents
画像処理装置、方法及びプログラム Download PDFInfo
- Publication number
- JP2021033682A JP2021033682A JP2019153696A JP2019153696A JP2021033682A JP 2021033682 A JP2021033682 A JP 2021033682A JP 2019153696 A JP2019153696 A JP 2019153696A JP 2019153696 A JP2019153696 A JP 2019153696A JP 2021033682 A JP2021033682 A JP 2021033682A
- Authority
- JP
- Japan
- Prior art keywords
- visual
- region
- image
- visual hull
- density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
Description
前処理部1は、入力としてのN視点の多視点画像の各々より、撮影されている対象物の領域を前景とし、これ以外の領域を背景として区別したシルエット画像を得て、当該得られたN枚のシルエット画像を第一生成部2及び第二生成部4へと出力する。このシルエット画像は例えば、前景に該当する画素には値「1」を、背景に該当する画素には値「0」を付与した二値マスク画像の形式で与えることができるものである。
第一生成部2は、前処理部1で得たN枚のシルエット画像に対して視体積交差法を適用することにより、当該シルエット画像に表現されている対象物(当初の多視点画像における前景としての被写体に相当する対象物)の3次元モデルとしての第一ビジュアルハルを生成し、当該第一ビジュアルハルを第一設定部3へと出力する。
第一設定部3は、第一生成部2で得た第一ビジュアルハルを解析して、第一ビジュアルハルにおいて当初のN視点の多視点画像に撮像されている個別の対象物がそれぞれ存在していると推定される空間領域を、第一領域として設定し、当該設定された第一領域を第二生成部4へと出力する。後述するように、第二生成部4では、第一領域のみを対象として、すなわち、第一領域のみにボクセルグリッドを配置して、視体積交差法を適用する。
識別部31は、第一生成部2で得た第一ビジュアルハルに対して連結成分ラベリング(connected components labeling)を適用し、この結果として連結成分として識別された第一ビジュアルハルをフィルタ部32へと出力する。ここで、第一生成部2で得られた第一ビジュアルハルは、図2の模式例でも示したように、N個の全画像において前景と判定されたボクセルグリッドの点集合であるので、ボクセルグリッドとしての隣接関係にあるような点同士に同一ラベルを付与するように、識別部31では連結領域ラベリングを行う。
前処理部1で得たN枚のシルエット画像は必ずしも完全なものとは限らず、想定している本来の被写体以外のものをノイズとして前景に含んでいることもありうる。フィルタ部32ではこのノイズの影響を除外するために、識別部31で得たラベル付与されて識別された第一ビジュアルハルのうち、本来の被写体に該当しないノイズ由来のラベルに該当するものを判定して除外し、除外されなかったもののみを、識別され且つ選別された第一ビジュアルハルとして領域設定部33へと出力する。
領域設定部33は、フィルタ部32から得られた、識別され且つ選別された第一ビジュアルハルの各々(個別の被写体に相当するボクセル点群の各々)について、3次元空間(R3)内で当該ボクセル点群を包含する直方体としての囲み領域(バウンディングボックス、bounding box)を第一領域として求め、当該求めた第一領域を第二生成部4へと出力する。この囲み領域は、3次元空間(R3)のx軸、y軸、z軸のそれぞれにおいて、各々のボクセル点群に属する点の中で最小値及び最大値を(xmin,xmax), (ymin,ymax), (zmin,zmax)として求め、当該最小値及び最大値で囲まれる領域(xmin,xmax)×(ymin,ymax)×(zmin,zmax)として求めればよい。
第二生成部4は、以上の第一設定部3(領域設定部33)より得た第一領域、すなわち、第一ビジュアルハルにおける各々の被写体を包含する囲み領域を、3次元逆投影(あるいは投影)を行う対象空間として利用して、前処理部1で得たN枚のシルエット画像を用いて視体積交差法を適用することにより、第二ビジュアルハルを生成する。例えば、図6の例に示される第一領域であれば、第二生成部4は3次元空間(R3)の全体のうち、囲み領域b1〜b13のみにボクセルグリッドを配置して、視体積交差法を適用する。また、既に言及したように、視体積交差法を適用するに際して、第二生成部4では第一生成部2で用いた第一密度よりも高い第二密度で設定されたボクセルグリッドを用いる。
既に言及した通り、画像処理装置10におけるオプション構成としての追加処理部6では、第二生成部4で得た第二ビジュアルハルを用いて任意の追加処理を行うことができる。例えば、ボクセル点群としての第二ビジュアルハルに対してマーチングキューブ法を適用して、ポリゴンモデルを得るようにしてもよいし、ユーザ指定される自由視点において当該ポリゴンモデルに元のN視点の多視点画像のテクスチャを貼り付けてレンダリングし、自由視点画像を生成するようにしてもよい。多視点映像の各時刻のフレームに以上の画像処理装置10での処理を行うことで、自由視点映像を生成するようにしてもよい。
L1[k]>L2[k]>L1[k+1]>L2[k+1] …(3A)
L1[1]>L2[1]>L1[2]>L2[2]>L1[3]>L2[3]>… …(3B)
Claims (8)
- 多視点画像の各視点の画像に前景及び背景の区別が付与されたシルエット画像に対して、第一密度のボクセルグリッドを用いて視体積交差法を適用して第一ビジュアルハルを生成する第一生成部と、
前記第一ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして第一領域を設定する第一設定部と、
前記シルエット画像に対して、前記第一領域に配置された、前記第一密度よりも高い第二密度のボクセルグリッドを用いて視体積交差法を適用して第二ビジュアルハルを生成する第二生成部と、を備えることを特徴とする画像処理装置。 - 前記第一設定部は、前記第一ビジュアルハルを構成する点群に対して連結領域ラベリングを適用してラベル付与された各々の点群に対して、個別の対象物の空間領域を推定することを特徴とする請求項1に記載の画像処理装置。
- 前記第一設定部は、前記第一ビジュアルハルを構成する点群に対して連結領域ラベリングを適用してラベル付与された各々の点群を包含する領域として、前記第一領域を設定することを特徴とする請求項1または2に記載の画像処理装置。
- 前記第一設定部は、前記連結領域ラベリングを適用してラベル付与された各々の点群のうち、属する点の個数が所定範囲内にあるもののみを、個別の対象物の空間領域に該当するものとして推定することを特徴とする請求項2または3に記載の画像処理装置。
- 前記属する点の個数の所定範囲は、前記多視点画像に撮影されている被写体のサイズに基づいて予め設定されていることを特徴とする請求項4に記載の画像処理装置。
- 前記第二ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして第二領域を設定する第二設定部をさらに備え、
前記第一生成部はさらに、前記シルエット画像に対して、前記第二領域に配置された2回目の第一密度のボクセルグリッドを用いて視体積交差法を適用して、2回目の第一ビジュアルハルを生成し、
前記第一設定部はさらに、前記2回目の第一ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして2回目の第一領域を設定し、
前記第二生成部はさらに、前記シルエット画像に対して、前記2回目の第一領域に配置された、前記2回目の第一密度よりも高い2回目の第二密度のボクセルグリッドを用いて視体積交差法を適用して2回目の第二ビジュアルハルを生成することを特徴とする請求項1ないし5のいずれかに記載の画像処理装置。 - 多視点画像の各視点の画像に前景及び背景の区別が付与されたシルエット画像に対して、第一密度のボクセルグリッドを用いて視体積交差法を適用して第一ビジュアルハルを生成する第一生成段階と、
前記第一ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして第一領域を設定する第一設定段階と、
前記シルエット画像に対して、前記第一領域に配置された、前記第一密度よりも高い第二密度のボクセルグリッドを用いて視体積交差法を適用して第二ビジュアルハルを生成する第二生成段階と、を備えることを特徴とする画像処理方法。 - 多視点画像の各視点の画像に前景及び背景の区別が付与されたシルエット画像に対して、第一密度のボクセルグリッドを用いて視体積交差法を適用して第一ビジュアルハルを生成する第一生成部と、
前記第一ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして第一領域を設定する第一設定部と、
前記シルエット画像に対して、前記第一領域に配置された、前記第一密度よりも高い第二密度のボクセルグリッドを用いて視体積交差法を適用して第二ビジュアルハルを生成する第二生成部と、を備える画像処理装置としてコンピュータを機能させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019153696A JP7177020B2 (ja) | 2019-08-26 | 2019-08-26 | 画像処理装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019153696A JP7177020B2 (ja) | 2019-08-26 | 2019-08-26 | 画像処理装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021033682A true JP2021033682A (ja) | 2021-03-01 |
JP7177020B2 JP7177020B2 (ja) | 2022-11-22 |
Family
ID=74678702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019153696A Active JP7177020B2 (ja) | 2019-08-26 | 2019-08-26 | 画像処理装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7177020B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114115119A (zh) * | 2022-01-24 | 2022-03-01 | 广州中望龙腾软件股份有限公司 | 基于三角网格的刀具扫掠体生成方法、装置及存储介质 |
JP7456959B2 (ja) | 2021-03-02 | 2024-03-27 | Kddi株式会社 | 3dモデル生成装置、方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03220677A (ja) * | 1990-01-26 | 1991-09-27 | Toshiba Corp | 3次元物体ピック方式 |
JP2001307073A (ja) * | 2000-04-24 | 2001-11-02 | Matsushita Electric Ind Co Ltd | 三次元空間再構成装置及び三次元空間再構成方法 |
JP2008191072A (ja) * | 2007-02-07 | 2008-08-21 | Nippon Telegr & Teleph Corp <Ntt> | 3次元形状復元方法,3次元形状復元装置,その方法を実装した3次元形状復元プログラム及びそのプログラムを記録した記録媒体 |
WO2010126071A1 (ja) * | 2009-04-28 | 2010-11-04 | 日本電気株式会社 | 物体位置推定装置、物体位置推定方法及びプログラム |
JP2013047662A (ja) * | 2011-07-27 | 2013-03-07 | Ihi Corp | 対象物体の検出方法、検出装置及びプログラム |
-
2019
- 2019-08-26 JP JP2019153696A patent/JP7177020B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03220677A (ja) * | 1990-01-26 | 1991-09-27 | Toshiba Corp | 3次元物体ピック方式 |
JP2001307073A (ja) * | 2000-04-24 | 2001-11-02 | Matsushita Electric Ind Co Ltd | 三次元空間再構成装置及び三次元空間再構成方法 |
JP2008191072A (ja) * | 2007-02-07 | 2008-08-21 | Nippon Telegr & Teleph Corp <Ntt> | 3次元形状復元方法,3次元形状復元装置,その方法を実装した3次元形状復元プログラム及びそのプログラムを記録した記録媒体 |
WO2010126071A1 (ja) * | 2009-04-28 | 2010-11-04 | 日本電気株式会社 | 物体位置推定装置、物体位置推定方法及びプログラム |
JP2013047662A (ja) * | 2011-07-27 | 2013-03-07 | Ihi Corp | 対象物体の検出方法、検出装置及びプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7456959B2 (ja) | 2021-03-02 | 2024-03-27 | Kddi株式会社 | 3dモデル生成装置、方法及びプログラム |
CN114115119A (zh) * | 2022-01-24 | 2022-03-01 | 广州中望龙腾软件股份有限公司 | 基于三角网格的刀具扫掠体生成方法、装置及存储介质 |
CN114115119B (zh) * | 2022-01-24 | 2022-05-06 | 广州中望龙腾软件股份有限公司 | 基于三角网格的刀具扫掠体生成方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7177020B2 (ja) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113096234B (zh) | 利用多张彩色图片生成三维网格模型的方法及装置 | |
CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
Lazebnik et al. | Projective visual hulls | |
CN106910242A (zh) | 基于深度相机进行室内完整场景三维重建的方法及系统 | |
CN104504760B (zh) | 实时更新三维图像的方法和系统 | |
CN110176064B (zh) | 一种摄影测量生成三维模型的主体对象自动识别方法 | |
Song et al. | Volumetric stereo and silhouette fusion for image-based modeling | |
Leizea et al. | Real-time deformation, registration and tracking of solids based on physical simulation | |
Liu et al. | A complete statistical inverse ray tracing approach to multi-view stereo | |
CN111783798A (zh) | 基于显著性特征的模拟残缺点云的遮罩生成方法 | |
JP7177020B2 (ja) | 画像処理装置、方法及びプログラム | |
Pacheco et al. | Reconstruction of high resolution 3D objects from incomplete images and 3D information | |
EP1507220A1 (en) | Boundary data inside/outside judgment method and program thereof | |
Deepu et al. | 3D Reconstruction from Single 2D Image | |
PP et al. | Efficient 3D visual hull reconstruction based on marching cube algorithm | |
CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
JP2020035216A (ja) | 画像処理装置、方法及びプログラム | |
Lin et al. | 3D Pose estimation using genetic-based iterative closest point algorithm | |
Matsuda et al. | Direct shape carving: Smooth 3D points and normals for surface reconstruction | |
JP7197526B2 (ja) | 画像処理装置、方法及びプログラム | |
Wang et al. | Identifying and filling occlusion holes on planar surfaces for 3-D scene editing | |
CN117541755B (zh) | 一种基于rgb-d三维重建的刚性物体虚实遮挡方法 | |
Cooper | Robust generation of 3D models from video footage of urban scenes | |
Zuraimi et al. | 3D Human Face Surface Reconstruction from Unstructured Point Cloud Face Images | |
Chou et al. | Fast octree construction endowed with an error bound controlled subdivision scheme |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7177020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |