JP2022140119A - 点群ノイズ除去装置及びプログラム - Google Patents
点群ノイズ除去装置及びプログラム Download PDFInfo
- Publication number
- JP2022140119A JP2022140119A JP2021040780A JP2021040780A JP2022140119A JP 2022140119 A JP2022140119 A JP 2022140119A JP 2021040780 A JP2021040780 A JP 2021040780A JP 2021040780 A JP2021040780 A JP 2021040780A JP 2022140119 A JP2022140119 A JP 2022140119A
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- point
- consistency
- camera
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims description 27
- 230000008030 elimination Effects 0.000 claims description 15
- 238000003379 elimination reaction Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 8
- 238000010276 construction Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
グラフ構築部11では、複数の撮影装置から得られた点群を入力とし、そのグラフを生成する。ここで、グラフとは図2に模式例を示すように、ノード集合V∋piとエッジ集合E∋ei,jからなる集合をさす。点群を構成する各点をノードpiとし、ノード(点)piとノードpj間をつなぐエッジをei,jとすることで、グラフ化した点群を得ることができる。
カメラ対応点算出部12では、後段の処理に必要となる情報として、グラフ化点群の各点とカメラ映像との対応関係を算出し、各点にこの対応関係(カメラ対応点の情報)を紐づけて一貫性算出部13へと出力する。
カメラ対応点算出部12において算出された点群pの各点piのカメラインデックスfiを用いて、各点piの近傍点とのカメラインデックスの差異を算出する。ここで、近傍点とはグラフ構築部11において生成されたグラフ構造において、エッジによって当該点piに接続されている点を用いてよい。
画素値一貫性算出部132は、カメラ対応点算出部12において前記算出された点群pの各点piに対応するカメラ映像内の座標情報vi=[o1 i,o2 i,…,oM i]に基づき、カメラ間の画素値の一貫性(誤差)を算出する。ここで、密な点群が「理想的に正しい3D座標」に配置され、かつカメラのホワイトバランス等の設定が適切にされておりカメラ間の色味が調整されている場合、(また、異なるカメラ映像における同一箇所の光沢の有無などのような形で光源方向の影響が大きく現れる状況にはない場合、)すべてのカメラ映像からひとつの点にマッピングされる画素値はおおむね近い値になることが想定される(当該点を映していないカメラ映像は除く)。
グラフ重み更新部14は、インデックス一貫性算出部131及び画素値一貫性算出部132にて算出された指標di,j及びgi,jを用いて、点群のグラフの重みwi,jを以下の式(5a)の通りw'i,jへと更新する。このとき、グラフ構造は変化しない。(すなわち、重みの値がwi,jからw'i,jへと更新されるのみであり、グラフ化点群を構成する各点pi及びその3D座標値pi=[xi,yi,zi]や各エッジei,jの変化(追加や削除など)はない。)
点群座標更新部15は、グラフ重み更新部14でエッジの重みが更新されたグラフを用いて、点群の座標を更新する。この更新には非特許文献1にて提案された方法(この方法をそのままではなく、本実施形態で更新された重みw'i,jを利用する)を用いて、下記の手順(1)~(3)のように実施してよい。
Claims (13)
- 複数のカメラ画像から算出されている入力点群に対して、当該入力点群の各点をノードとし、近傍の点との間にエッジを設けることでグラフ化点群を得るグラフ構築部と、
前記グラフ化点群の各エッジについて、前記複数のカメラ画像における見え方の一貫性が大きいほど値が小さい一貫性重みを付与する一貫性算出部と、
前記グラフ化点群の各点の位置に少なくとも基づくコスト関数であって、各エッジに対応する各点について、当該エッジに付与された一貫性重みが課されるコスト関数を最小化するように各点の座標を更新することにより、前記複数のカメラ画像における局所的な見え方の一貫性を増大させたものとして前記入力点群からノイズ除去した出力点群を得る点群座標更新部と、を備えることを特徴とする点群ノイズ除去装置。 - 前記一貫性算出部では、前記グラフ化点群の各エッジの両端点において、前記複数のカメラ画像のそれぞれにおいて映っている状態または映っていない状態のいずれに該当するかを表すカメラインデックスを算出し、当該両端点におけるカメラインデックス同士が類似しているほど値が小さいものとして、前記一貫性重みを付与することを特徴とする請求項1に記載の点群ノイズ除去装置。
- 前記一貫性算出部では、前記複数のカメラ画像に対応する各カメラの画角の範囲内にあるか否かによって、各点が映っている状態または映っていない状態のいずれに該当するかを判定することを特徴とする請求項2に記載の点群ノイズ除去装置。
- 前記一貫性算出部では、前記入力点群に対応する3次元モデルの情報を利用して、オクルージョンが発生している場合には映っていない状態に該当するものとして判定することを特徴とする請求項2または3に記載の点群ノイズ除去装置。
- 前記一貫性算出部では、前記複数のカメラ画像のそれぞれにおいて映っている状態または映っていない状態のいずれに該当するかを2値で列挙したベクトルとしてカメラインデックスを算出し、当該カメラインデックス同士のハミング距離をカメラ台数で正規化することで前記一貫性重みを付与することを特徴とする請求項2ないし4のいずれかに記載の点群ノイズ除去装置。
- 前記一貫性算出部では、前記グラフ化点群の各エッジの近傍領域が、前記複数のカメラ画像において画素値として撮影されている、当該画素値の異なるカメラ間での類似性が高いほど値が小さいものとして、前記一貫性重みを付与することを特徴とする請求項1ないし5のいずれかに記載の点群ノイズ除去装置。
- 前記一貫性算出部では、前記グラフ化点群の各エッジの近傍領域として各エッジの両端点を用いることを特徴とする請求項6に記載の点群ノイズ除去装置。
- 前記一貫性算出部では、各エッジの両端点につき、前記複数のカメラ画像の各々へとマッピングされる画素値のばらつきに基づいて、前記一貫性重みを付与することを特徴とする請求項7に記載の点群ノイズ除去装置。
- 前記一貫性算出部では、前記グラフ化点群の各エッジの近傍領域として各エッジを1つの辺として含む、前記グラフ化点群における少なくとも1つのポリゴンを用いることを特徴とする請求項6に記載の点群ノイズ除去装置。
- 前記一貫性算出部では、前記ポリゴンが前記複数のカメラ画像の各々へとマッピングされる画素値のばらつきに基づいて、前記一貫性重みを付与することを特徴とする請求項9に記載の点群ノイズ除去装置。
- 前記点群座標更新部で用いる前記コスト関数は、各エッジの両端点における法線の向きを揃えるように作用する正則化の項を有することを特徴とする請求項1ないし10のいずれかに記載の点群ノイズ除去装置。
- 前記複数のカメラ画像は、RGBチャネル等で構成される通常画像、または、深度カメラで取得されたデプス画像であることを特徴とする請求項1ないし11のいずれかに記載の点群ノイズ除去装置。
- コンピュータを請求項1ないし12のいずれかに記載の点群ノイズ除去装置として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021040780A JP7429666B2 (ja) | 2021-03-12 | 2021-03-12 | 点群ノイズ除去装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021040780A JP7429666B2 (ja) | 2021-03-12 | 2021-03-12 | 点群ノイズ除去装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022140119A true JP2022140119A (ja) | 2022-09-26 |
JP7429666B2 JP7429666B2 (ja) | 2024-02-08 |
Family
ID=83399884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021040780A Active JP7429666B2 (ja) | 2021-03-12 | 2021-03-12 | 点群ノイズ除去装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7429666B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024176077A1 (en) * | 2023-02-22 | 2024-08-29 | Kubota Corporation | Agricultural cutting system and cut-point method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4468019B2 (ja) | 2004-03-08 | 2010-05-26 | 独立行政法人産業技術総合研究所 | 画像処理装置 |
JP2008002848A (ja) | 2006-06-20 | 2008-01-10 | Tateyama Machine Kk | 棒状回転工具の欠陥検査装置と欠陥検査方法 |
JP2014102243A (ja) | 2012-10-24 | 2014-06-05 | Nikon Corp | 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及びそのプログラム |
CN111788602B (zh) | 2017-12-29 | 2024-05-28 | 泰立戴恩菲力尔有限责任公司 | 点云去噪系统和方法 |
JP7026029B2 (ja) | 2018-08-30 | 2022-02-25 | Kddi株式会社 | 画像処理装置、方法及びプログラム |
-
2021
- 2021-03-12 JP JP2021040780A patent/JP7429666B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024176077A1 (en) * | 2023-02-22 | 2024-08-29 | Kubota Corporation | Agricultural cutting system and cut-point method |
Also Published As
Publication number | Publication date |
---|---|
JP7429666B2 (ja) | 2024-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111598998B (zh) | 三维虚拟模型重建方法、装置、计算机设备和存储介质 | |
CN107945267B (zh) | 一种用于人脸三维模型纹理融合的方法和设备 | |
CN111353506B (zh) | 自适应的视线估计方法和设备 | |
WO2022001236A1 (zh) | 三维模型生成方法、装置、计算机设备及存储介质 | |
JP6843237B2 (ja) | シーンのポイントクラウドを表現するシステム及び方法 | |
CN109035388A (zh) | 三维人脸模型重建方法及装置 | |
WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
CN101866497A (zh) | 基于双目立体视觉的智能三维人脸重建方法及系统 | |
CN109636890B (zh) | 纹理融合方法和装置、电子设备、存储介质、产品 | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
CN113269862A (zh) | 场景自适应的精细三维人脸重建方法、系统、电子设备 | |
US9542733B2 (en) | Image processing method, imaging processing apparatus and image processing program for correcting density values between at least two images | |
CN113111861A (zh) | 人脸纹理特征提取、3d人脸重建方法及设备及存储介质 | |
CN111862299A (zh) | 人体三维模型构建方法、装置、机器人和存储介质 | |
CN111382618B (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
CN108550167B (zh) | 深度图像生成方法、装置及电子设备 | |
CN112785562A (zh) | 一种基于神经网络模型进行评估的系统和相关产品 | |
CN113724391A (zh) | 三维模型构建方法、装置、电子设备和计算机可读介质 | |
CN107958489B (zh) | 一种曲面重建方法及装置 | |
CN113706431B (zh) | 模型优化方法及相关装置、电子设备和存储介质 | |
JP2023527438A (ja) | リアルタイム深度マップを用いたジオメトリ認識拡張現実効果 | |
JP7429666B2 (ja) | 点群ノイズ除去装置及びプログラム | |
CN117115358B (zh) | 数字人自动建模方法及装置 | |
JP4887491B2 (ja) | 医用画像処理方法及びその装置、プログラム | |
CN114387392A (zh) | 一种根据人影重建三维人体姿态的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7429666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |