JP2022012897A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2022012897A JP2022012897A JP2020115058A JP2020115058A JP2022012897A JP 2022012897 A JP2022012897 A JP 2022012897A JP 2020115058 A JP2020115058 A JP 2020115058A JP 2020115058 A JP2020115058 A JP 2020115058A JP 2022012897 A JP2022012897 A JP 2022012897A
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- image processing
- substantially flat
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000003672 processing method Methods 0.000 title claims 2
- 238000011156 evaluation Methods 0.000 claims abstract description 110
- 241000951471 Citrus junos Species 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 18
- 239000006185 dispersion Substances 0.000 claims description 8
- 238000000034 method Methods 0.000 description 47
- 230000008569 process Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 22
- 238000005259 measurement Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000010422 painting Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 240000004307 Citrus medica Species 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30156—Vehicle coating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/021—Flattening
Abstract
Description
自動車などの工業製品の表面における色ムラやゆず肌(オレンジピール)などを測定する場合、評価領域にはデザイン上のくぼみなどがない略平坦な領域を指定する必要がある。これは、デザイン上のくぼみを評価領域に含めた場合、塗装による色ムラだけでなく、くぼみによる色合いの変化も測色値に影響を与えてしまうためである。同様に、ゆず肌評価においても、略平坦な領域以外を評価領域に指定してしまうと、微細な凹凸による光のボケ度合いを正しく評価できず、適切なゆず肌評価値を得ることができない。そこで、本実施形態においては、対象物体において評価領域に適した領域として略平坦な領域を特定し、特定した評価領域に対して表面特性の評価を行う。尚、本実施形態における略平坦な領域は、デザインや機能性に関するくぼみなどの形状を含まない領域であって、塗装による色ムラやゆず肌を生じさせる微細な凹凸を含む領域であるものとする。
図1は、本実施形態における測色システムの構成を示す図である。測色システムは、画像処理装置101、撮像装置102、投影装置103を含む。画像処理装置101は、投影装置103を制御して、対象物体104にパターン光105を照射する。画像処理装置101は、撮像装置102を制御して、パターン光105が照射された対象物体104を撮像し、撮像により得られた画像データを基に色差マップの生成に適した領域として対象物体104の略平坦な領域を決定する。
図2は、画像処理装置101のハードウェア構成を示すブロック図である。CPU201は、RAM203をワークメモリとして、ROM202やハードディスクドライブ(HDD)205に格納されたオペレーティングシステム(OS)や各種プログラムを実行する。CPU201は、PCI(peripheral component interconnect)バスなどのシステムバス210を介して各構成を制御する。CPU201は、システムバス210及びHDDインタフェース(I/F)204を介してHDD205にアクセスする。HDDI/F204は、HDD205や光ディスクドライブなどの二次記憶装置を接続するためのインタフェースであり、例えばシリアルATA(SATA)インタフェースがある。CPU201は、HDDI/F204を介して、HDD205からのデータ読み出し、及びHDD205へのデータ書き込みが可能である。また、CPU201は、ユーザインタフェース(UI)や処理結果を、グラフィックアクセラレータ208を介してディスプレイ209に表示する。さらに、CPU201は、ユーザからの指示を、USBI/F206に接続されたマウスやキーボードなどの入力デバイス207を介して受け付ける。
まず、HDD205に格納されている画像処理プログラムが、入力デバイス207を介したユーザの指示に応じてCPU201により実行され、図3に示すアプリケーションウィンドウ301がディスプレイ209上に表示される。画像表示ウィンドウ302は、撮像装置102の撮像により得られた撮像画像を表示するウィンドウである。評価領域決定ボタン303は、評価領域を決定する処理の実行開始をユーザが指示するためのボタンである。評価領域決定ボタン303が押下された後、撮像装置102及び投影装置103を用いて対象物体の3次元形状が取得され、対象物体の3次元形状を基に評価領域が決定される。測定ボタン304は、測定処理の実行開始をユーザが指示するためのボタンである。測定ボタン304が押下された後、決定された評価領域に対して色差マップが生成され、画像表示ウィンドウ302に表面特性の評価結果として色差マップが表示される。
図4は、画像処理装置101の機能構成を示す図である。画像処理装置101は、画像取得部401、形状取得部402、領域決定部403、評価部404を有する。画像取得部401は、撮像装置102及び投影装置103を制御する制御部として機能し、投影装置103に対象物体に対してパターン光を照射させ、撮像装置102にパターン光が照射された対象物体を撮像させる。画像取得部401は、撮像装置102から、撮像により得られた画像データを取得する。尚、パターン光の照射及び撮像が予め行われていた場合、画像取得部401は、HDD205などの記憶装置から画像データを取得するのみであってもよい。
以下においては、評価領域決定ボタン303が押下された後の、評価領域を決定する処理の流れについて、図5(a)及び図5(b)のフローチャートを用いて説明する。図5(a)のフローチャートが示す処理は、ユーザによって入力デバイス207を介して指示が入力され、CPU201が入力された指示を受け付けることにより開始する。以下、各ステップ(工程)は符号の前にSをつけて表す。
以下においては、測定ボタン304が押下された後の、測定処理の流れについて、図7(a)及び図7(b)のフローチャートを用いて説明する。図7(a)のフローチャートが示す処理は、ユーザによって入力デバイス207を介して指示が入力され、CPU201が入力された指示を受け付けることにより開始する。S701において、画像取得部401は、撮像装置102を制御して、パターン光が照射されていない対象物体を撮像する。
以上説明したように、本実施形態における画像処理装置は、物体を撮像して得られる画像データを取得する。画像データに基づいて、物体の3次元形状を取得する。物体の3次元形状に基づいて、物体における略平坦な領域を決定する。物体における略平坦な領域の表面特性を評価する。表面特性の評価に適した略平坦な領域を特定することにより、デザインや機能性に関するくぼみやふくらみなどの形状が表面特性の評価に与える影響を低減することができる。このため、表面特性を評価する対象物体が複雑な形状を有する場合であっても、対象物体の表面特性を高精度に評価することができる。
本実施形態においては、評価領域を決定する処理と測定処理とをユーザの指示に応じて別々に行ったが、S501からS704までを一連の処理として実行してもよい。図9は、一連の処理を示すフローチャートである。S701をS501の前に行うことにより、パターン光照射を行わない撮像処理とパターン光照射を行う撮像処理とをまとめて行うことができる。
第1実施形態においては、対象物体の表面特性として、塗装による色ムラを評価した。本実施形態においては、対象物体の表面特性として、ゆず肌を評価する。尚、本実施形態における画像処理装置101のハードウェア構成及び機能構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
以下においては、測定ボタン304が押下された後の、測定処理の流れについて、図10(a)のフローチャートを用いて説明する。図10(a)のフローチャートが示す処理は、ユーザによって入力デバイス207を介して指示が入力され、CPU201が入力された指示を受け付けることにより開始する。
以下においては、ゆず肌評価用のパターン光を決定する処理の流れについて、図10(b)のフローチャートを用いて説明する。S10011において、画像取得部401は、撮像領域とパターン光の照射領域との対応関係を取得する。図11は、対象物体における撮像領域とパターン光の照射領域との対応関係を示す模式図である。画像取得部401は、該対応関係として、図11における座標(TLx,TLy)及び座標(BRx,BRy)を取得する。図11において、撮像領域は、左上の座標が(0,0)であり、右下の座標が(Wc,Hc)である。パターン光の照射領域は、左上の座標が(0,0)であり、右下の座標が(Wp,Hp)である。点線に囲まれた領域は、パターン光の照射領域における撮像領域の位置を表している。撮像領域における左上の座標(0,0)は、パターン光の照射領域においては座標(TLx,TLy)に相当する。また、撮像領域における右下の座標(Wc,Hc)は、パターン光の照射領域においては座標(BRx,BRy)に相当する。撮像領域とパターン光の照射領域との対応関係を表す情報として、座標(TLx,TLy)及び座標(BRx,BRy)は予めROM202に格納されている。
以下においては、ゆず肌評価値を算出する処理の流れについて、図10(c)のフローチャートを用いて説明する。S10051において、評価部404は、S1004において切り出された画像を取得する。S10052において、評価部404は、切り出された画像において1つの直線を指定することにより、ゆず肌評価値の算出対象範囲を決定する。図14(a)は、切り出された画像におけるゆず肌評価値の算出対象範囲を模式的に示しており、画像表示ウィンドウ302に表示される。評価部404は、ユーザの指示に基づいて、切り出された画像1401において、ゆず肌評価値の算出対象範囲を決めるための直線の始点1402及び終点1403を指定する。始点1402及び終点1403を結ぶ直線に対して、予め設定された値wを用い、左右に±w画素の幅で広げた範囲1404を算出対象範囲として決定する。尚、本実施形態においてはユーザに直線の始点と終点とを指定させたが、算出対象範囲の4つの頂点を指定させてもよい。また、ユーザの指示を受け取らず、評価領域とパターン画像との相対位置に応じて自動で決定してもよい。
以下においては、評価結果を表示する処理の流れについて、図10(d)のフローチャートを用いて説明する。S10061において、評価部404は、S1003においてパターン光が照射されていない対象物体を撮像して得られた画像データを取得する。S10062において、評価部404は、画像データが表す画像に対して、評価領域を表す点線及びゆず肌評価値を重畳する。S10063において、評価部404は、S10062において生成された合成画像をユーザに提示する。具体的には、画像表示ウィンドウ302に合成画像を表示する。図15は、評価結果の表示例を示す図である。
以上説明したように、本実施形態における画像処理装置は、対象物体の3次元形状に基づいて決定された評価領域のサイズや位置に応じて、ゆず肌評価用のパターン光を変更する。これにより、ゆず肌を評価する対象物体が複雑な形状を有する場合であっても、適切な位置にゆず肌評価用のパターン光を照射し、対象物体のゆず肌を高精度に評価できる。
本実施形態においては、対象物体のゆず肌の度合いを評価したが、第1実施形態において行った色ムラの評価も同時に行ってもよい。この場合、評価結果として、色差マップとゆず肌評価値とを併せてディスプレイ209に表示する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
401 画像取得部
402 形状取得部
403 領域決定部
404 評価部
Claims (12)
- 物体を撮像して得られる画像データを取得する第1取得手段と、
前記画像データに基づいて、前記物体の3次元形状を取得する第2取得手段と、
前記物体の3次元形状に基づいて、前記物体における略平坦な領域を決定する決定手段と、
前記物体における前記略平坦な領域の表面特性を評価する評価手段と、
を有することを特徴とする画像処理装置。 - 前記第2取得手段は、前記物体の3次元形状を表す情報として奥行き情報を取得し、
前記決定手段は、前記奥行き情報に基づいて、前記略平坦な領域を決定することを特徴とする請求項1に記載の画像処理装置。 - 前記決定手段は、前記奥行き情報の分散値に基づいて、前記略平坦な領域を決定することを特徴とする請求項2に記載の画像処理装置。
- 前記決定手段は、前記分散値が所定の閾値以下である領域を前記略平坦な領域として決定することを特徴とする請求項3に記載の画像処理装置。
- 前記評価手段は、前記略平坦な領域の色値と基準値との色差を算出することを特徴とする請求項1乃至請求項4のいずれか一項に記載の画像処理装置。
- 前記評価手段は、前記色差を各画素に有する色差マップを表示手段に表示することを特徴とする請求項5に記載の画像処理装置。
- 前記評価手段は、前記画像データが表す画像における前記略平坦な領域に対応する領域を前記色差マップに置き換えて、前記画像を表示することを特徴とする請求項6に記載の画像処理装置。
- 前記評価手段は、前記略平坦な領域におけるゆず肌の度合いを評価することを特徴とする請求項1乃至請求項7のいずれか一項に記載の画像処理装置。
- 前記評価手段は、前記画像データが表す画像と前記ゆず肌の度合いを表すゆず肌評価値とを併せて表示手段に表示することを特徴とする請求項8に記載の画像処理装置。
- 前記第2取得手段は、パターン光が照射された前記物体を撮像して得られる前記画像データに基づいて、前記物体の3次元形状を取得することを特徴とする請求項1乃至請求項9のいずれか一項に記載の画像処理装置。
- コンピュータを請求項1乃至請求項10のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 物体を撮像して得られる画像データを取得する第1取得ステップと、
前記画像データに基づいて、前記物体の3次元形状を取得する第2取得ステップと、
前記物体の3次元形状に基づいて、前記物体における略平坦な領域を決定する決定ステップと、
前記物体における前記略平坦な領域の表面特性を評価する評価ステップと、
を有することを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020115058A JP2022012897A (ja) | 2020-07-02 | 2020-07-02 | 画像処理装置、画像処理方法及びプログラム |
US17/358,893 US11842506B2 (en) | 2020-07-02 | 2021-06-25 | Apparatus, method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020115058A JP2022012897A (ja) | 2020-07-02 | 2020-07-02 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022012897A true JP2022012897A (ja) | 2022-01-17 |
JP2022012897A5 JP2022012897A5 (ja) | 2023-07-06 |
Family
ID=79167796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020115058A Pending JP2022012897A (ja) | 2020-07-02 | 2020-07-02 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11842506B2 (ja) |
JP (1) | JP2022012897A (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5686731A (en) * | 1996-04-30 | 1997-11-11 | Ati Systems, Inc. | Multi-parameter scanning system with moveable field mask |
JP6038965B2 (ja) * | 2014-01-14 | 2016-12-07 | 有限会社パパラボ | 着色検査装置および着色検査方法 |
JP6384183B2 (ja) | 2014-08-05 | 2018-09-05 | 株式会社リコー | 試料測定装置および試料測定プログラム |
JP6701640B2 (ja) | 2015-08-07 | 2020-05-27 | コニカミノルタ株式会社 | 測色装置、測色システム、および測色方法 |
US20190096057A1 (en) * | 2017-05-11 | 2019-03-28 | Jacob Nathaniel Allen | Object inspection system and method for inspecting an object |
US20210299879A1 (en) * | 2018-10-27 | 2021-09-30 | Gilbert Pinter | Machine vision systems, illumination sources for use in machine vision systems, and components for use in the illumination sources |
US20210201513A1 (en) * | 2019-12-31 | 2021-07-01 | Axalta Coating Systems Ip Co., Llc | Systems and methods for matching color and appearance of target coatings |
-
2020
- 2020-07-02 JP JP2020115058A patent/JP2022012897A/ja active Pending
-
2021
- 2021-06-25 US US17/358,893 patent/US11842506B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220005213A1 (en) | 2022-01-06 |
US11842506B2 (en) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6745173B2 (ja) | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP4160258B2 (ja) | 勾配ベースの局部輪郭線検出のための新しい知覚的しきい値決定 | |
JP5684505B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6055228B2 (ja) | 形状計測装置 | |
JP2018128309A (ja) | ひび割れ検出方法 | |
JP2014197243A (ja) | パターン処理装置、パターン処理方法、パターン処理プログラム | |
JP5705711B2 (ja) | ひび割れ検出方法 | |
JP2021163190A5 (ja) | ||
EP3904865A1 (en) | Image processing device, image processing method, and image processing program | |
JP6045429B2 (ja) | 撮像装置、画像処理装置及び画像処理方法 | |
JP5249813B2 (ja) | Mtf測定用チャート、mtf測定装置およびmtf測定プログラム | |
US20170061649A1 (en) | Image measuring apparatus and non-temporary recording medium on which control program of same apparatus is recorded | |
JP6776004B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2022012897A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6867766B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
JP5157575B2 (ja) | 欠陥検出方法 | |
JP7451611B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR100825960B1 (ko) | 두부계측 방사선사진 상에 계측점을 지정하는 방법 | |
US20230393080A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP4171354B2 (ja) | カラー画像処理装置及び方法 | |
JP7289727B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5945188B2 (ja) | 形状計測装置 | |
TWI450572B (zh) | 影像邊界掃描的電腦系統及方法 | |
JP2020160681A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2024030043A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20200731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230628 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |