JP2019168862A - 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 - Google Patents
処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 Download PDFInfo
- Publication number
- JP2019168862A JP2019168862A JP2018055315A JP2018055315A JP2019168862A JP 2019168862 A JP2019168862 A JP 2019168862A JP 2018055315 A JP2018055315 A JP 2018055315A JP 2018055315 A JP2018055315 A JP 2018055315A JP 2019168862 A JP2019168862 A JP 2019168862A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light source
- input image
- rendering
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 63
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000009877 rendering Methods 0.000 claims abstract description 100
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims description 47
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000002184 metal Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 3
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
104a 入力画像取得部
104b 法線情報取得部
104c 第一レンダリング部
104d 領域検出部
Claims (24)
- 入力画像を取得する入力画像取得部と、
法線情報を取得する法線情報取得部と、
前記入力画像が撮像された際の光源条件と前記法線情報とに基づいて第一レンダリング画像を生成する第一レンダリング部と、
前記入力画像と前記第一レンダリング画像とに基づいて対象領域を検出する領域検出部と、を有することを特徴とする処理装置。 - 前記入力画像取得部は、前記入力画像として、互いに異なる複数の位置の光源からの光を被写体に順次照射して撮像された前記被写体の複数の入力画像を取得し、
前記法線情報取得部は、前記複数の入力画像に基づいて前記法線情報を取得することを特徴とする請求項1に記載の処理装置。 - 前記第一レンダリング画像は、前記入力画像が撮像された前記光源条件と同一の光源条件でレンダリングされた画像であることを特徴とする請求項1または2に記載の処理装置。
- 前記領域検出部は、前記入力画像と前記第一レンダリング画像との差分に基づいて前記対象領域を検出することを特徴とする請求項1乃至3のいずれか1項に記載の処理装置。
- 前記領域検出部は、更に前記入力画像と前記第一レンダリング画像との前記差分の符号に基づいて前記対象領域を検出することを特徴とする請求項4に記載の処理装置。
- 前記領域検出部は、複数の前記入力画像と複数の前記第一レンダリング画像とのそれぞれの複数の差分の最大値または平均値に基づいて前記対象領域を検出することを特徴とする請求項4または5に記載の処理装置。
- 前記領域検出部は、前記入力画像と前記第一レンダリング画像とに基づく差分を反射率または前記入力画像に基づく画像で除した正規化差分に基づいて前記対象領域を検出することを特徴とする請求項4または5に記載の処理装置。
- 前記領域検出部は、前記入力画像と前記第一レンダリング画像とに基づく前記差分が所定の閾値以上である領域を前記対象領域として検出することを特徴とする請求項4乃至7のいずれか1項に記載の処理装置。
- 前記領域検出部は、前記入力画像と前記第一レンダリング画像との前記差分および前記入力画像における影領域に基づいて、前記対象領域を検出することを特徴とする請求項4乃至8のいずれか1項に記載の処理装置。
- 任意の光源条件における第二レンダリング画像を生成する第二レンダリング部と、
前記第二レンダリング画像における前記対象領域を前記入力画像を用いて置き換え処理を行う置換部と、を更に有することを特徴とする請求項1乃至9のいずれか1項に記載の処理装置。 - 前記置換部は、第二レンダリング画像を生成した際の光源条件である画像を、複数の入力画像を補間して生成した画像を用いて置き換え処理を行うことを特徴とする請求項10に記載の処理装置。
- 前記置換部は、複数の前記入力画像のうち第二レンダリング画像を生成した際の光源条件に最も近い光源条件である入力画像を用いて前記置き換え処理を行うことを特徴とする請求項10に記載の処理装置。
- 前記置換部は、
前記入力画像および第二レンダリング画像における前記対象領域の周囲の輝度値に基づいて調整係数を決定し、
前記調整係数に基づいて前記入力画像における前記対象領域の明るさを調整して前記置き換え処理を行うことを特徴とする請求項10に記載の処理装置。 - 前記置換部は、第二レンダリング画像における前記対象領域の境界に対してぼかし処理を行うことを特徴とする請求項10に記載の処理装置。
- 前記法線情報における前記対象領域に対して補間処理を行う補間部と、
前記補間処理により得られた前記対象領域の前記法線情報に基づいて、任意の光源条件における第二レンダリング画像を生成する第二レンダリング部と、を更に有することを特徴とする請求項1乃至9のいずれか1項に記載の処理装置。 - 前記対象領域は、前記法線情報の誤差が所定の誤差よりも大きい領域であることを特徴とする請求項1乃至15のいずれか1項に記載の処理装置。
- 光源部と、
請求項1乃至16のいずれか1項に記載の処理装置と、を有することを特徴とする処理システム。 - 前記光源部は1つの光源を含み、
前記入力画像取得部は、前記光源を移動して互いに異なる複数の位置の前記光源からの光を被写体に順次照射して撮像された前記被写体の複数の入力画像を取得することを特徴とする請求項17に記載の処理システム。 - 前記光源部は、互いに位置が異なる少なくとも3つの光源を含み、
前記入力画像取得部は、前記少なくとも3つの光源からの光を被写体に順次照射して撮像された前記被写体の複数の入力画像を取得することを特徴とする請求項17に記載の処理システム。 - 被写体を撮像する撮像部を更に有することを特徴とする請求項17乃至19のいずれか1項に記載の処理システム。
- 撮像光学系を介して形成された光学像を光電変換して入力画像に対応する画像データを出力する撮像素子と、
請求項1乃至20のいずれか1項に記載の処理装置と、を有することを特徴とする撮像装置。 - 入力画像を取得するステップと、
法線情報を取得するステップと、
前記入力画像が撮像された際の光源条件と前記法線情報とに基づいて第一レンダリング画像を生成するステップと、
前記入力画像と前記第一レンダリング画像とに基づいて対象領域を検出するステップと、を有することを特徴とする処理方法。 - 請求項22に記載の処理方法をコンピュータに実行させることを特徴とするプログラム。
- 請求項23に記載のプログラムを記憶していることを特徴とする記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018055315A JP7179472B2 (ja) | 2018-03-22 | 2018-03-22 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 |
US16/352,952 US10902570B2 (en) | 2018-03-22 | 2019-03-14 | Processing apparatus, processing system, imaging apparatus, processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018055315A JP7179472B2 (ja) | 2018-03-22 | 2018-03-22 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019168862A true JP2019168862A (ja) | 2019-10-03 |
JP2019168862A5 JP2019168862A5 (ja) | 2021-04-30 |
JP7179472B2 JP7179472B2 (ja) | 2022-11-29 |
Family
ID=67985477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018055315A Active JP7179472B2 (ja) | 2018-03-22 | 2018-03-22 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10902570B2 (ja) |
JP (1) | JP7179472B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222918A (zh) * | 2021-04-29 | 2021-08-06 | 桂林理工大学 | 多边形语义匹配检测高分辨率正射影像阴影方法 |
JP2021124835A (ja) * | 2020-02-03 | 2021-08-30 | 株式会社Cg工房 | 建築物表示システム、建築物表示方法及びプログラム |
JP7490457B2 (ja) | 2020-06-09 | 2024-05-27 | キヤノン株式会社 | 処理装置、処理システム、撮像装置、処理方法、およびプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529996B (zh) * | 2020-12-16 | 2024-02-23 | 网易(杭州)网络有限公司 | 生成模型的方法、装置和电子设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04289978A (ja) * | 1991-03-19 | 1992-10-14 | Chugoku Nippon Denki Software Kk | 2次元カラー画像の材質感変換方法 |
JP2004264907A (ja) * | 2003-02-17 | 2004-09-24 | Sony Computer Entertainment Inc | 画像生成システム、画像生成装置、画像生成方法 |
JP2005341569A (ja) * | 2004-05-17 | 2005-12-08 | Mitsubishi Electric Research Laboratories Inc | 物体を含むシーンの様式化された画像を生成する方法 |
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
JP2012248183A (ja) * | 2011-05-09 | 2012-12-13 | Toshiba Corp | 3d表面形状をキャプチャーするための方法およびシステム |
JP2016133396A (ja) * | 2015-01-20 | 2016-07-25 | キヤノン株式会社 | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム |
JP2016223911A (ja) * | 2015-05-29 | 2016-12-28 | リコーエレメックス株式会社 | 検査システム |
JP2017076033A (ja) * | 2015-10-14 | 2017-04-20 | キヤノン株式会社 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 |
JP2017134561A (ja) * | 2016-01-27 | 2017-08-03 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
WO2017205537A1 (en) * | 2016-05-25 | 2017-11-30 | Kla-Tencor Corporation | Generating simulated images from input images for semiconductor applications |
US20180023947A1 (en) * | 2016-07-20 | 2018-01-25 | Mura Inc. | Systems and methods for 3d surface measurements |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122158A (ja) | 2008-11-21 | 2010-06-03 | Juki Corp | 物体表面法線ベクトルマップ作成方法 |
JP6380972B2 (ja) * | 2014-05-02 | 2018-08-29 | オリンパス株式会社 | 画像処理装置および撮像装置 |
JP6869652B2 (ja) * | 2016-07-01 | 2021-05-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
EP3485464B1 (en) * | 2016-07-18 | 2023-09-06 | Universität Basel | Computer system and method for improved gloss representation in digital images |
US11295514B2 (en) * | 2018-11-16 | 2022-04-05 | Nvidia Corporation | Inverse rendering of a scene from a single image |
-
2018
- 2018-03-22 JP JP2018055315A patent/JP7179472B2/ja active Active
-
2019
- 2019-03-14 US US16/352,952 patent/US10902570B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04289978A (ja) * | 1991-03-19 | 1992-10-14 | Chugoku Nippon Denki Software Kk | 2次元カラー画像の材質感変換方法 |
JP2004264907A (ja) * | 2003-02-17 | 2004-09-24 | Sony Computer Entertainment Inc | 画像生成システム、画像生成装置、画像生成方法 |
JP2005341569A (ja) * | 2004-05-17 | 2005-12-08 | Mitsubishi Electric Research Laboratories Inc | 物体を含むシーンの様式化された画像を生成する方法 |
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
JP2012248183A (ja) * | 2011-05-09 | 2012-12-13 | Toshiba Corp | 3d表面形状をキャプチャーするための方法およびシステム |
JP2016133396A (ja) * | 2015-01-20 | 2016-07-25 | キヤノン株式会社 | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム |
JP2016223911A (ja) * | 2015-05-29 | 2016-12-28 | リコーエレメックス株式会社 | 検査システム |
JP2017076033A (ja) * | 2015-10-14 | 2017-04-20 | キヤノン株式会社 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 |
JP2017134561A (ja) * | 2016-01-27 | 2017-08-03 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
WO2017205537A1 (en) * | 2016-05-25 | 2017-11-30 | Kla-Tencor Corporation | Generating simulated images from input images for semiconductor applications |
US20180023947A1 (en) * | 2016-07-20 | 2018-01-25 | Mura Inc. | Systems and methods for 3d surface measurements |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021124835A (ja) * | 2020-02-03 | 2021-08-30 | 株式会社Cg工房 | 建築物表示システム、建築物表示方法及びプログラム |
JP7490457B2 (ja) | 2020-06-09 | 2024-05-27 | キヤノン株式会社 | 処理装置、処理システム、撮像装置、処理方法、およびプログラム |
CN113222918A (zh) * | 2021-04-29 | 2021-08-06 | 桂林理工大学 | 多边形语义匹配检测高分辨率正射影像阴影方法 |
CN113222918B (zh) * | 2021-04-29 | 2022-07-01 | 桂林理工大学 | 多边形语义匹配检测高分辨率正射影像阴影方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190295235A1 (en) | 2019-09-26 |
US10902570B2 (en) | 2021-01-26 |
JP7179472B2 (ja) | 2022-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6786225B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6556013B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP7179472B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 | |
US10939090B2 (en) | Control apparatus, imaging apparatus, illumination apparatus, image processing apparatus, image processing method, and storage medium | |
JP6877936B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP6353233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP2017134561A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6679289B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、処理プログラムおよび記録媒体 | |
JP6716295B2 (ja) | 処理装置、撮像装置、処理方法、プログラム、および記録媒体 | |
US10721395B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP6682184B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP6362070B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP6827782B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体 | |
JP7213686B2 (ja) | 形状計測装置、制御方法及びプログラム | |
JP7311995B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP7490457B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、およびプログラム | |
JP2020129313A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP2019149719A (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2021093694A (ja) | 情報処理装置およびその制御方法 | |
JP7309425B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、および、プログラム | |
US11997396B2 (en) | Processing apparatus, processing system, image pickup apparatus, processing method, and memory medium | |
JP6611509B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2021117884A (ja) | 画像処理装置、画像処理システム、撮像装置および画像処理方法 | |
JP2019129469A (ja) | 画像処理装置 | |
JP2020095454A (ja) | 処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210311 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221116 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7179472 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |