JP2022025236A

JP2022025236A - 塗色識別装置

Info

Publication number: JP2022025236A
Application number: JP2020127943A
Authority: JP
Inventors: 有平小阪; Yuhei Kosaka
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-07-29
Filing date: 2020-07-29
Publication date: 2022-02-10

Abstract

【課題】塗装面を有する製品に対して、より精度の高い塗色の識別を可能とする塗色識別装置の提供。【解決手段】塗料が付与された塗装面を撮像する撮像手段と、撮像した画像に含まれる前記塗料の構成成分毎に色情報に関する特徴量を抽出して、該特徴量に基づいて、前記塗装面の色情報を識別する識別手段と、を備えることを特徴とする塗色識別装置。【選択図】図１

Description

本発明は、塗色識別装置に関する。

塗装面を有する製品の塗色を正確に識別することは、製品を修理する際や検品により不良品を排除する際に、とても重要となる。このため、これまでに、様々な塗装面の塗色識別方法が提案されている。

特許文献１には、車両を修理等する際に、車両の塗装面の塗色を測色計もしくは分光光度計を用いて計測し、当該塗色と類似した色を実現可能な塗料の配合を提案する方法が開示されている。

国際公開第２００５／０５９８４１号

しかしながら、特許文献１に記載の方法では、計測の際に塗装面に照射される、自然光を除く光源となる照明器具の経年劣化等の影響によって、得られる塗装面の色情報にバラツキが生じる恐れがあった。さらに、メタリック塗装やパール塗装等の異方性塗色塗装の場合には、その傾向が顕著に見られた。このため、塗装面を有する製品に対して、より精度の高い塗色識別の開発が求められていた。

本発明は、このような課題を鑑みてなされたものであり、塗装面を有する製品に対して、より精度の高い塗色の識別を可能とする塗色識別装置を提供することを目的とする。

上記目的を達成するための一態様は、塗料が付与された塗装面を撮像する撮像手段と、撮像した画像に含まれる前記塗料の構成成分毎に色情報に関する特徴量を抽出して、該特徴量に基づいて、前記塗装面の色情報を識別する識別手段と、を備えることを特徴とする塗色識別装置である。

本発明に係る塗色識別装置（以下、本塗色識別装置とも言う）を用いた場合は、塗装面に付与される塗料の各構成成分（例えば、ソリッド部分及びフレーク部分）に対して、色情報を特徴量化し、これらの特徴量に基づいて、塗装面（全体）の色情報を識別する。このため、光源（照明器具）からの光を利用する特許文献１に記載の方法と比較して、製品塗料とは関係のない光源の経年劣化等による影響を非常に小さくすることができ、計測された塗料の色情報にバラツキが生じることを抑制できる。
また、本塗色識別装置では、光の当たる方向や強さ（照度）などによって、色合いが異なる、金属片などのフレークを用いた異方性塗色であっても、塗料の構成成分毎にその色情報を識別できるため、誤った塗色識別を行うことを回避できる。このように、本発明では、従来と比較して、識別精度を飛躍的に向上させた塗色識別を提供できる。

本発明によれば、塗装面を有する製品に対して、より精度の高い塗色の識別を可能とする塗色識別装置を提供できる。

本発明に係る塗色識別装置の一実施形態を説明するための概略図である。従来の塗色識別方法の２つの例を説明するための概略図であり、光源として（ａ）は経年したライト（暗い光源）、（ｂ）は新品ライト（明るい光源）を用いた場合の概略図である。従来の塗色識別方法の一例を説明するための概略図である。

製品の塗装面に、生産指示通りの塗料が塗布されているか判別することは、出荷前に不良品（誤品）を排除する検品の際や修理の際において、重要な検査項目の１つである。
従来のように、色差計や分光光度計等の計測装置を用いて、塗装面の塗色を識別する際には、製品塗料とは関係がない、計測時に用いる光源の経年劣化度合いや種類等によって、塗装面の色成分が影響を受けて、計測結果（例えば、色差）が変動することがあった。例えば、図２（ａ）に示すように、光源（照明器具）として経年したライト（暗い光源）７を計測対象部品Ａに照射して、色差計６で、計測対象部品Ａの塗色の識別を行うと、計測結果として、Ｒ（赤色成分）：３０、Ｇ（緑色成分）：３５、Ｂ（青色成分）：２５が得られる。一方、図２（ｂ）に示すように、光源として新品ライト（明るい光源）８を用いて、同一の計測対象部品Ａの計測を行うと、Ｒ：１００、Ｇ：１４５、Ｂ：９５という計測結果が得られ、用いる光源の経年劣化度合いによって、得られる計測結果が異なってしまうことがある。このように、従来の色差計等を用いた塗色識別方法では、正しい計測結果を得るために、使用する光源(照明器具)に応じて電力量などを調整して照明環境を厳密に管理し、頻繁に計測値等を補正する必要がある。
照明環境は、通常、撮像する時間帯（例えば、朝、夕方、夜）によって撮像画像が影響を受けることを回避するため、撮像する際には、図１及び図２に示すように、自然光１１を遮蔽膜１０（カーテン）などで遮断するようにする。そして、図１に示すように、特定の照明器具９を使用し、計測対象部品に照射される光を安定させた状態で撮像を行うようにする。なお、図１は、本塗色識別装置の一実施形態を説明するための概略図である。図２は、従来の塗色識別方法の２つの例を説明するための概略図であり、光源として（ａ）は経年したライト７（暗い光源）、（ｂ）は新品ライト（明るい光源）を用いた場合の概略図である。

ここで、光輝材として金属粉やパール顔料を用いたメタリック塗装やパール塗装等の異方性塗色塗装を用いた場合は、塗装面に異方性を付与する微細なフレーク（金属片等）が、ランダムに散らばっている。このため、色差計などの計測装置では、これらを巨視的に色差として識別してしまう恐れがある。具体的には、例えば、図３に示すように、異方性塗色部品５のソリッド部分５ａ（単色部分）のみ計測を行った場合は、Ｒ：４０～６０、Ｇ：４０～６０、Ｂ：４０～６０という計測結果が得られる。一方、フレーク部分５ｂのみ計測を行った場合では、Ｒ：２００～２５５、Ｇ：２００～２５５、Ｂ：２００～２５５という計測結果が得られる。しかしながら、色差計６では、異方性塗色部品５を計測した際に、これらを巨視的に色差として識別するため、計測する箇所によって、Ｒ：４０～２５５、Ｇ：４０～２５５、Ｂ：４０～２５５という非常に幅のある計測結果が得られてしまう可能性がある。従って、従来の色差計などの計測装置を用いた塗色識別方法では、塗装面の正確な塗色の識別が難しい場合があった。なお、図３は、従来の塗色識別方法の一例を説明するための概略図である。

また、色差計等を用いた塗色識別方法では、異方性塗色と単色との色識別、例えば、パールホワイトとホワイトとの色識別、シルバーメタリックとグレーとの色識別は、難しく、識別検査の自動化は困難であった。

一方、本塗色識別装置を用いた場合には、塗装面に付与される塗料の構成成分（例えば、フレーク部分及ソリッド部分）毎に色情報に関する特徴量を個別に抽出し分析して、塗装面の塗色を識別する。その際、例えば、識別手段として、ＣＮＮ（Convolutional Neural Network）系ＡＩ（人工知能）を搭載したコンピュータを用いる場合には、判定モデルを作製する際に、ＡＩに意図的に照明光を暗く（弱く）または明るく（強く）した環境下で、計測対象部品の画像を撮像し、その画像を学習させる。このため、撮像の際に、例えば、経年劣化などで、照明光の強さが変化していたとしても、ＡＩが学習した画像データ群に基づき、撮像データを補完して判断できる。よって、本塗色識別装置は、従来と比較すると、照明環境の変化に対する影響、例えば、塗装面に照射される光源の経年劣化度合いや種類による影響を非常に小さくすることができ、照明環境の管理や計測値の補正作業を大幅に軽減できる。また、本塗色識別装置では、単色塗装製品だけでなく、メタリック塗装、パール塗装などの異方性塗色製品の識別をバラツキなく精度良く行うことができる。さらに、本塗色識別装置では、単色塗装製品と、異方性塗色製品との色識別も可能となり、識別検査の自動化も可能となる。

＜塗色識別装置＞
以下、本発明を適用した具体的な実施形態について、図面を参照しながらより詳細に説明する。なお、本発明は、以下の実施形態に限定されることはなく、趣旨を逸脱しない範囲で適宜変更できる。また、説明を明確にするため、以下の記載及び図面は、適宜、省略及び簡略化されている。

本塗色識別装置は、撮像した画像の特徴量を分析することによって、計測対象物に塗布された塗料の色を推定できるものであり、少なくとも撮像手段と、識別手段とを備える。また、本塗色識別装置は、計測対象物を撮像する際に、当該計測対象物を照射する照明手段を備えることもできる。

図１では、塗装面を有する計測対象物として、単色塗色部品４と、パールやメタリック色の異方性塗色部品５とを用いている。そして、当該計測対象物の画像データを取り込む撮像手段として、計測面に付与された塗料の各構成成分（例えば、金属片等のフレーク）を特徴量として取り込むための拡大レンズ２（例えば、拡大倍率：×２～３００倍）を備えたカメラ１を用いている。また、図１では、撮像した画像から当該特徴量に基づき、計測対象物の塗装面の色情報を識別する識別手段として、ＣＮＮ系ＡＩを搭載したコンピュータ３を用いている。
以下に、本塗色識別装置の構成要素について、詳しく説明する。

本塗色識別装置が塗色を識別する計測対象物は、塗料が付与された塗装面を有する物であれば、特に限定されず使用できる。計測対象物としては、例えば、単色塗色塗装面又は異方性塗色塗装面（例えば、ボディやバンパー等）を有する車両を挙げることができ、塗装面を有する他の物品（例えば、建築設備や機械）に対しても同様に適用できる。単色塗色塗装（ソリッド塗装）の塗膜は、一部波長の光を吸収する顔料などで構成されており、均一な色として認識される。一方、メタリック塗装やパール塗装などの異方性塗色塗装は、前記塗膜の中に、光反射性の金属粉（例えば、アルミニウムやチタン）や光透過性の物質（例えば、マイカ）を含んでいる。このため、見る角度や光の当たる方向などによって、色や光沢感が変わって見える。
ここで、車両とは、自動車や飛行機、船など、塗料で被覆された塗装面を有する輸送形態を含むものである。図１では、単色塗色部品４のソリッド部分４ａで構成される一部と、異方性塗色部品５のソリッド部分５ａ及びランダムに分散されているフレーク部分５ｂで構成される一部の塗色の識別を行っている。なお、塗装面は、計測対象物の一部であってもよく、全体であってもよい。すなわち、計測対象物の少なくとも一部に塗装面が備えられてばよい。

照明手段として、従来公知のものを適宜用いることができ、特に限定されない。照明手段としては、例えば、純正色の蛍光灯などの照明器具を用いることができる。照明手段は、環境照明、例えば、部屋に備え付けられた照明器具であってもよい。

撮像手段は、塗料が付与された塗装面を撮像できるものであれば、特に限定することなく使用できる。撮像手段としては、例えば、レンズ（拡大鏡）を装着したカメラ（例えば、ＣＣＤカメラやＣＭＯＳカメラ）を用いることができる。拡大レンズを用いることで、塗装面に付与された塗料の構成成分（個体成分：例えば、ソリッド部分やフレーク部分）を精度良く撮像できる。その結果、塗料の構成成分毎の色情報に関する特徴量を識別手段で、精度良く処理及び解析することが可能となり、塗装面における塗色の識別精度を一層向上できる。なお、レンズの拡大倍率は適宜設定することができ、特に限定されないが、例えば、２～３００倍とすることができる。
ＣＣＤカラーカメラやＣＭＯＳカラーカメラからの画像信号は、Ａ／Ｄ変換器（不図示）によりデジタル信号に変換でき、コンピュータに接続されたフレームメモリ（不図示）に蓄積できる。

識別手段は、撮像した画像信号に含まれる塗料の構成成分毎に色情報（例えば、ソリッド部分の色やフレーク部分の色）に関する特徴量（例えば、フレークのエッジ）を抽出して取り込み、当該特徴量に基づいて、計測対象物の塗装面の色情報を識別する。ここで、抽出される構成成分の色情報は、ＣＮＮ系ＡＩを用いた場合、Ｒ（赤色成分）、Ｇ（緑色成分）、Ｂ（青色成分）となる。そして、本塗色識別装置は、識別手段によって抽出された構成成分の色毎に抽出された特徴量に基づいて、計測対象物に塗布された塗料の色情報を推定できる。その際、画像（デジタル写真）は、ピクセル毎にＲ，Ｇ，Ｂのデータが保存されていると考えられ、ＣＮＮ系ＡＩがこの画像データから特徴量を自動的に抽出する。ＣＮＮ系ＡＩは、例えば、ホワイトの塗料を用いた場合は、特徴量として、全体の色が白及び縞が存在しないと判断し得るデータを抽出すると考えられる。また、例えば、ホワイトパールの塗料を用いた場合は、特徴量として、全体の色が白及び（ソリッド部分及びフレーク部分に）縞が存在すると判断し得るデータを抽出すると考えられる。
このように、識別手段としては、例えば、ＣＮＮ系ＡＩを搭載したコンピュータを用いることができる。コンピュータは、色情報に基づく全体的なデータ管理等を行うことができ、画像処理専用プロセッサ（不図示）等を任意で設けることができる。画像処理専用プロセッサは、算術論理演算ユニットやルックアップテーブル等を含むことができ、近傍処理等をハードウエアで高速に実行できる。コンピュータは、画像処理専用プロセッサによる処理結果に対する解析やデータの記憶及び転送等を行うことができる。

本発明では、このように、塗装面全体として巨視的に識別するのでなく、ＡＩにより、構成成分毎の色成分を特徴量化することで、識別精度を飛躍的に向上でき、塗装面の塗色が生産指示による色と一致又は近似しているか否かの確認を容易に行うことができる。さらに、今まで困難であった単色と異方性塗色との判別も可能となる。

＜塗色識別方法＞
本塗色識別装置を用いた塗色識別方法は、例えば、以下の工程を有することができる。
・塗料が付与された塗装面を撮像する工程（撮像工程）。
・撮像した画像に含まれる前記塗料の構成成分毎に色情報に関する特徴量を抽出する工程（抽出工程）。
・得られた前記特徴量に基づいて、前記塗装面の色情報を識別する工程（識別工程）。

また、上記塗色識別方法は、以下の工程を有することもできる。
・塗料が付与された塗装面を有する計測対象物を用意する工程（対象物用意工程）。
・前記塗装面に照明を照射する工程（照射工程）。
・塗装面の塗色と、所望の色とを比較する工程（比較工程）。
・得られた識別情報をフィードバックする工程（フィードバック工程）。
これらの工程の順序は特に限定されず、順次行ってもよいし、複数の工程（例えば、抽出工程及び識別工程）を並行して行ってもよい。

具体的には、まず、塗料が付与された塗装面を有する計測対象物を用意する（対象物用意工程）。計測対象物としては、上述したものを適宜用いることができる。そして、当該計測対象物の塗装面を蛍光灯等の照明を照射した状態で（照射工程）、拡大レンズを装備したカメラなどにより、塗装面の撮像を行う（撮像工程）。そして、得られた画像データに含まれる塗料の構成成分（例えば、フレーク）の特徴量（例えば、フレークのエッジ）を、ＣＮＮ系ＡＩを搭載したコンピュータに特徴量として抽出して取り込む（抽出工程）。次いで、得られた特徴量に基づいて、計測対象物の色情報を識別する（識別工程）。その際、生産指示による所望の色と、前記塗装面の塗色とが、一致又は近似しているか否かを比較してもよい（比較工程）。そして得られた計測対象物の塗色識別情報を、製品（計測対象物）の生産や修理等にフィードバックする（フィードバック工程）。
以上より、塗装面を有する製品に対して、光源からの影響を非常に小さく抑えた、より精度の高い塗色の識別を行うことができ、さらに、その情報を製品にフィードバックできる。

本塗色識別装置は、車両等の様々な物品の塗色識別に用いることができる。また、本発明の趣旨を逸脱しない範囲で、本実施形態における構成要素を他の周知の構成要素に適宜置き換えることができる。

１カメラ
２レンズ
３コンピュータ
４単色塗色部品
４ａソリッド部分
５異方性塗色部品
５ａソリッド部分
５ｂフレーク部分
６色差計
７経年したライト（暗い光源）
８新品ライト（明るい光源）
９照明器具
１０遮蔽膜
１１自然光
Ａ計測対象部品

Claims

塗料が付与された塗装面を撮像する撮像手段と、
撮像した画像に含まれる前記塗料の構成成分毎に色情報に関する特徴量を抽出して、該特徴量に基づいて、前記塗装面の色情報を識別する識別手段と、
を備えることを特徴とする塗色識別装置。