JP2018189420A - 色柄判別プローブ、色柄判別装置 - Google Patents

色柄判別プローブ、色柄判別装置 Download PDF

Info

Publication number
JP2018189420A
JP2018189420A JP2017089915A JP2017089915A JP2018189420A JP 2018189420 A JP2018189420 A JP 2018189420A JP 2017089915 A JP2017089915 A JP 2017089915A JP 2017089915 A JP2017089915 A JP 2017089915A JP 2018189420 A JP2018189420 A JP 2018189420A
Authority
JP
Japan
Prior art keywords
color pattern
unit
illumination
discrimination
probe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017089915A
Other languages
English (en)
Other versions
JP6981618B2 (ja
Inventor
高木 太郎
Taro Takagi
高木  太郎
智潮 西川
Chishio Nishikawa
智潮 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IMAGEOM KK
Nishitec Co Ltd
Original Assignee
IMAGEOM KK
Nishitec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IMAGEOM KK, Nishitec Co Ltd filed Critical IMAGEOM KK
Priority to JP2017089915A priority Critical patent/JP6981618B2/ja
Publication of JP2018189420A publication Critical patent/JP2018189420A/ja
Application granted granted Critical
Publication of JP6981618B2 publication Critical patent/JP6981618B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】目視では判別困難な材料や部品の色柄を、光学的な環境の安定していない現場でも非破壊で高精度に判別でき、低価格で提供できる色柄判別装置を提供する。【解決手段】色柄判別装置1Aは、対象物2の表面に光を照射するように配設されたLED22と、対象物2の表面に対向して配置され、LED22によって光を照射された対象物2の表面を撮影するカメラ23と、対象物2の表面と、LED22と、カメラ23とを外部から光学的に遮蔽するハウジング21およびスカート24とを備え、LED22は、対象物2の表面に光を照射するパターンとしての照明パターンを複数保持し、所定の制御信号の入力を受けて複数の照明パターンを切り替え可能に構成され、カメラ23は、LED22の発する光が照射された対象物2の表面を撮影し、色柄の判別に用いるための画像データを取得する機能を備える。【選択図】図2

Description

本発明は、対象面の色柄を視覚的に判別することのできる色柄判別装置に関し、特に目視では判別することの困難な色柄を高精度に判別することのできる色柄判別プローブ、および色柄判別装置に関する。
建築・家具・内装・服飾・印刷など、使用者の生活に密着した製品を扱う分野では、色柄(色彩・模様・反射光沢・凹凸・質感など、視覚的な特徴の総称。後述)が製品の価値に大きな影響を与えることが多い。誤ってわずかでも色柄の異なる材料を使用したり、色柄の異なる部品を組み合わせたりすると、完成した製品が使用者の期待から外れてその価値が大きく低下し、場合によっては作り直しが迫られる。こうした分野では、使用者の嗜好に応じて材料や部品にさまざまなバリエーションが用意されており、中には一見して区別の難しいものも少なくない。そのためこうした製品を製造・設置・販売する現場では、色柄の異なる材料や部品の取り違えを予防することが大きな課題となっている。人間の目視で取り違えのチェックを行う方法では、一定の確率で取り違えが生じることは避けられない。
そのための方法として、材料や部品に、その色柄を示す標識を付加する方法が知られていた。具体的には、使用者から見えない部分に、バーコードを印刷したり、無線ICタグを取り付けたりする方法が知られている(特許文献1参照)。
また別の方法として、カメラを使って材料や部品を画像化し、画像処理を行ってその色柄を判別しようとする方法も知られている(特許文献2参照)。
特開2008−79899公報 特開2014−202700公報
上記特許文献1に記載の発明においては、材料を裁断すると標識が失われたり、部品を製品に組み込むと標識が隠されたりして、判別ができなくなるという問題があった。
また上記特許文献2に記載の発明は、撮影のための構成が外部に露出しており、工場内の製造ラインのように、光学的に安定した環境で使用されることを前提としている。そのためこの発明を、たとえば屋外や屋内の建設・建築現場、あるいは商店の店舗内の販売現場など、光の量や差し込む向きが変化しやすい場所で使用した場合、光学的な環境の変化によって判別性能が大きく左右され、色柄を正しく判別することが難しいという問題があった。この問題を解決するため、特殊な機材を使用したり、難しいアルゴリズムを研究したりするアプローチもあったが、それでは装置が大規模で高額になりやすいという課題が生じた。
本発明は上記課題に鑑みてなされたもので、目視では判別することの困難な材料や部品の色柄を高精度に判別することができ、かつ次のような要件を満たす色柄判別装置を提供することを課題としている。
1.材料を裁断したり、部品を製品に組み込んだりしてもその色柄を判別できる。
2.光学的な環境の安定していない現場でも高い判別精度を保つことができる。
3.特殊なハードウェアや複雑な画像処理方法に依存せず、低価格で提供できる。
かかる課題を解決するため、請求項1に記載の発明は、対象物の表面の色柄の判別に用いられる色柄判別プローブであって、前記対象物の表面に光を照射するように配設された照明手段と、前記対象物の表面に対向して配置され、前記照明手段によって光を照射された前記対象物の表面を撮影する撮影手段と、前記対象物の表面と、前記照明手段と、前記撮影手段とを外部から光学的に遮蔽する遮蔽手段とを備え、前記照明手段は、前記対象物の表面に光を照射するパターンとしての照明パターンを複数保持し、所定の制御信号の入力を受けて前記複数の照明パターンを切り替え可能に構成され、前記撮影手段は、前記照明手段の発する光が照射された前記対象物の表面を撮影し、前記色柄の判別に用いるための画像データを取得する機能を備えることを特徴とする。
請求項2に記載の発明は、請求項1に記載の構成に加え、前記撮影手段、前記照明手段および前記遮蔽手段を一体化した本体部を備え、前記遮蔽手段が、前記対象物の表面に対向して光学的に開口形成された開口部を有することを特徴とする。
請求項3に記載の発明は、請求項1に記載の構成に加え、前記撮影手段、前記照明手段および前記遮蔽手段を一体化した本体部を備え、前記本体部の少なくとも一部が、前記色柄判別プローブの使用者が把持可能に形成されており、前記遮蔽手段の少なくとも一部が、弾性変形可能な材質によって前記対象物の表面に密着可能に形成されていることを特徴とする。
請求項4に記載の発明は、請求項1ないし3のいずれか一つに記載の構成に加え、前記照明手段が、制御信号の入力を受けて光学的な特性を変化させる機能を持つ光学的素子を備え、前記光学的素子は、前記光学的な特性を変化させることで、前記複数の照明パターンを切り替えることができるように配置されていることを特徴とする。
請求項5に記載の発明は、請求項1ないし4のいずれか一つに記載の構成に加え、前記照明手段が、前記対象物の表面に照射される光の照度が異なる前記複数の照明パターンを有し、前記照明パターンの違いによる前記照度の変化が、前記撮影手段の明度分解能を下回るように構成されていることを特徴とする。
請求項6に記載の発明は、請求項1ないし5のいずれか一つに記載の構成に加え、前記照明手段が前記対象物の表面に対して斜め方向から光を照射し、前記撮影手段は、前記照明手段の発する光が前記対象物の表面の凹凸に照射されることによって生じる影を含む画像データを取得することを特徴とする。
請求項7に記載の発明は、色柄判別装置であって、請求項1ないし6のいずれか一つに記載の色柄判別プローブと、前記照明手段に、前記複数の照明パターンを切り替えさせる制御信号を送信する照明制御手段と、前記撮影手段の、前記対象物の表面を撮影して画像データを取得する動作を制御する撮影制御手段と、前記撮影手段の撮影によって取得された画像データを取得する画像取得手段と、前記複数の照明パターンを切り替えながら前記撮影手段が取得した複数の前記画像データから、複数の特徴量を取得する特徴量取得手段と、前記特徴量取得手段によって取得された、前記特徴量に対する統計処理を行って前記対象物の表面の属するカテゴリを判別するカテゴリ判別手段とを備えることを特徴とする。
請求項8に記載の発明は、請求項7に記載の構成に加え、前記の画像データから所定の方法で指標を算出する指標算出手段を備え、前記撮影手段が、同一の前記照明パターン、前記対象物の表面の同一の撮影位置での撮影を異なる時刻に行って複数の画像データを取得し、前記指標算出手段によって前記複数の画像データから算出された前記指標が、所定の基準から逸脱した場合に判別を不可とする指標判定手段を備えることを特徴とする。
請求項9に記載の発明は、請求項7または8に記載の構成に加え、前記色柄判別プローブを前記対象物の表面に押し当てるプローブ駆動手段と、単一の前記対象物の表面に複数の撮影位置を設定しており、所定の制御信号によって前記プローブ駆動手段を駆動させて、対応する前記撮影位置に前記色柄判別プローブを押し当てる駆動制御手段を有し、前記撮影手段が、前記色柄判別プローブの押し当てられた前記撮影位置ごとに複数の前記画像データを取得し、前記特徴量取得手段が、前記複数の撮影位置で取得された複数の前記画像データから複数の特徴量を取得することを特徴とする。
請求項1に記載の発明によれば、複数の照明パターンを切り替えつつ、照明パターンごとに対象物の表面から画像データを取得することができる。そのため照明パターンを切り替えない場合よりも多くの情報を取得することができるので、より高い精度で対象物の表面の色柄を判別することができる。また遮蔽手段を設けたことにより、照明手段、撮影手段、対象物の表面を含む光学系を、光の状態が不安定な外界の環境から遮断することができるので、さらに高い精度で対象物の表面の色柄を判別することができる。
請求項2に記載の発明によれば、撮影手段、照明手段、遮蔽手段を一体化させたことで、色柄判別プローブを小型に形成することが可能となる。すなわち本体部の内面部に、撮影手段、照明手段、遮蔽手段を堅牢に固定し、それぞれの位置関係や光の進み方を規定することができるので、小型かつ取り扱いが容易でありながら、充分な機能・性能を有する色柄判別プローブを形成することができる。そして遮蔽手段が光学的に開口形成された開口部を有することにより、小型の色柄判別プローブの開口部を対象物の表面に押し当てて色柄を判別する使い方ができるようになり、取り扱いが容易になる。
請求項3に記載の発明によれば、色柄の判別を行う使用者が、色柄判別プローブの本体部の一部を把持して移動させたり、遮蔽手段の一部を対象物の表面に押し当て、弾性変形させて密着させたりする使い方ができるようになり、色柄判別プローブの取り扱いが容易になる。
請求項4ないし請求項6に記載の発明によれば、照明パターンの切り替えによって多くの情報を取得することができるので、より高い精度で物体の色柄を判別することができる。
請求項7に記載の発明によれば、特徴量の数が多いほど高い精度でカテゴリを判別することのできる統計処理を活用し、高い精度で対象物の表面の色柄を判別することができる。
請求項8に記載の発明によれば、撮影中に色柄判別プローブの位置がずれたり、光学系に外乱光が射し込んだりするといった擾乱の影響を排除することができるので、より高い精度で対象物の表面の色柄を判別することができる。
請求項9に記載の発明によれば、複数の撮影位置ごとに対象物の表面から画像データを取得することができ、そのため撮影位置を変えない場合よりも多くの情報を取得することができるので、より高い精度で対象物の表面の色柄を判別することができる。
そして上記各請求項に記載の発明によれば、次のような効果が得られる。
1.バーコード・無線ICタグなどの標識を使わず、対象物の外観のみで色柄を判別する。そのため材料を裁断したり、部品を製品に組み込んだりしても、もとの材料や部品の色柄を判別することができる。
2.発光部である光源と受光部であるカメラを近接させ、かつ外界と光学的に遮蔽している。そのため光学的な環境の安定していない現場でも高い判別精度を保つことができる。
3.照明パターンを時間的に切り替えながら複数の画像を撮影するので、汎用の光源・カメラを使っても多くの光学的情報を得ることができ、その分判別アルゴリズムも容易になる。また光源とカメラの位置関係を固定したことで、現場での調整が必要なくなり、判別アルゴリズムも容易になる。そのため特殊なハードウェアや複雑な画像処理方法に依存せず、低価格で提供することができる。
実施の形態1の色柄判別装置1Aのハードウェア構成を示す図である。 実施の形態1の色柄判別プローブ11の概略構成を示す図である。 実施の形態1の色柄判別プローブ11の第1の変形例の概略構成を示す図である。 実施の形態1の色柄判別プローブ11の第2の変形例の概略構成を示す図である。 実施の形態1の色柄判別プローブ11の第3の変形例の概略構成を示す図である。 実施の形態1の色柄判別装置1Aを構成する、色柄判別プローブ11と本体装置12の機能概略を示す機能ブロック図である。 実施の形態1の色柄判別装置1Aにおいて判別されるカテゴリを模式的に示す図である。 実施の形態1の色柄判別装置1Aにおける、照明パターンと特徴量との対応例を示す図である。 照明パターン201の切り替えによるLED22の輝度の変化量が、カメラ23に固有の明度分解能を下回るように構成されている場合を説明する図である。 LED22が、ピーク波長の異なる複数のLED22で構成されている場合を説明する図である。 実施の形態1の色柄判別装置1Aの処理手順を示すフローチャートである 実施の形態2の色柄判別装置のシステム構成の概略図である 実施の形態2の色柄判別装置1Bの本体部61と本体装置12との機能概略を示す機能ブロック図である。 実施の形態2の色柄判別装置1Bの処理手順を示すフローチャートである。 実施の形態2の色柄判別装置1Bにおけるプローブ位置、照明パターンと特徴量の対応例を示す図である。
[発明の実施の形態1]
図1ないし図11に、この発明の実施の形態1を示す。
[基本構成]
図1は、この発明の実施の形態1の色柄判別装置1Aのハードウェア構成を示す図である。色柄判別装置1Aは、対象物2の表面の色柄をもとに、対象物2の属するカテゴリを判別するための装置である。対象物2およびカテゴリの具体的な内容については後述する。
図1に示すとおり、色柄判別装置1Aは、色柄判別プローブ11と、本体装置12と、接続ケーブル13で構成されている。
色柄判別プローブ11は、色柄判別装置1Aの使用者(図示せず)が対象物2の表面に接触させ、対象物2の表面から色柄に関する情報を取得するために用いられる小型の機器である。色柄判別プローブ11の具体的な構成については後述する。なお本明細書では「色柄」という言葉を、「視覚的に観察することができる特徴」の総称として用いる。具体的には、色彩、模様、反射光沢、凹凸、質感といったものが「色柄」に含まれる。
本体装置12は、各種の信号やデータの送受信、記憶・保存、プログラムによる処理を行うための構成を有する。本体装置12は、色柄判別プローブ11が取得した色柄に関する情報を取り込み、それらの情報に対して所定の処理を行って、対象物2の属するカテゴリを判別する機能を持つ。この実施の形態1の本体装置12はパソコンであるが、本体装置12は同様の機能を有する他の機器、たとえば携帯端末、マイコン内蔵機器などであってもよい。
接続ケーブル13は、たとえばUSBケーブルやLANケーブルであり、色柄判別プローブ11と本体装置12を有線で通信可能に接続してデータや信号を送受信させる、フレキシブルなケーブルである。なお有線通信を行う接続ケーブル13に替え、Wi−Fi、無線LAN、赤外線通信、Bluetooth(登録商標)などの無線通信(図示せず)を使用してもよい。
[色柄判別プローブの構成]
図2は、この実施の形態1の色柄判別プローブ11の概略構成を示す図である。
同図に示すとおり、この実施の形態1の色柄判別プローブ11の本体部10は、「筐体」としてのハウジング21の内部に、「照明手段」としてのLED22と「撮影手段」としてのカメラ23が組み込まれ、ハウジング21の下方にスカート24を備えて一体に形成されている。ハウジング21とスカート24は光を通さないよう相互に接合され、一体で「遮蔽手段」として機能する。ハウジング21は、使用者(図示せず)が片手でも把持可能な大きさ・形状に形成されている。
ハウジング21は、樹脂や金属などの剛性の高い材質で、略円筒形に形成され、本体部10の外形の大半部分を形成している。ハウジング21の上面部25は蓋状に形成され、光を通さないように密閉されている。ハウジング21は、対象物2に上から押し当てて使うことを想定し、下方(図2における下方。以下本明細書において同じ。)に開口した略凹状に形成されている。具体的には、ハウジング21の下端には開口部26が開口形成され、ハウジング21の内側には、開口部26から上方(図2における上方。以下本明細書において同じ。)にかけて縮径した内面部27が形成されている。ハウジング21の開口部26よりも下方側は、スカート24を介して光学的に開口形成され、ハウジング21の内面部27は開口部26、ならびにスカート24の内面および密着部29(後述)を介して外部に開放されている。
なお上記の「光学的に開口形成され」た状態とは、物理的に開口された状態だけでなく、物理的には閉鎖されているが光が透過する状態も含む。この実施の形態1では、ハウジング21の開口部26もスカート24の密着部29(後述)も物理的に開口された構成であるが、これに限らず、たとえば開口部26や密着部29(後述)の一方または双方のうち、一部または全部が、光を透過させる透明または半透明の部材(ガラス、樹脂など)の板材で物理的に閉鎖された構成であってもよい。
この実施の形態1の色柄判別プローブ11では、ハウジング21の内部にLED22とカメラ23が近接して配設されている。すなわち内面部27にはLED22が配設され、色柄判別プローブ11が対象物2の表面に載置されたときに対象物2の表面に対向する位置である内面部27の上端部には、カメラ23が配設されている。
LED22は対象物2の表面に光を照射する。図2において、LED22は2個のみ記載されているが、内面部27のカメラ23を中心とする同心円に沿っては、他のLED(図示せず)が複数設けられていてもよい。またその同心円に沿った位置以外の位置に、他のLED(図示せず)が1個以上設けられていてもよい。なおLED22の詳細な構成については、後の[LEDの構成詳細]の項において詳述する。
カメラ23は、たとえばCMOSカメラなどのディジタルカメラであり、色柄判別プローブ11に対向する対象物2の表面を撮影する。この実施の形態1では、カメラ23は静止画を撮影するものであるが、動画を撮影するものであってもよい。撮影によって取得される画像データは「ピクセル」と呼ばれる空間単位が2次元的に配列したものであり、個々のピクセルは対応する点の明度を、カメラ23によって決まる階調、たとえば0〜255の256階調で保持している。
スカート24は、ハウジング21の下端の開口部26に配設されており、ゴムなど柔軟性のある弾性変形可能な材質で、下方に拡開した略円筒形に形成されている。スカート24は、水平方向の段差部28が設けられた蛇腹状に形成されている。スカート24の下端部には、開口形成されており、対象物2と柔軟に接触して密着可能な密着部29が形成されている。スカート24は、色柄判別プローブ11を対象物2に押し当てる際、弾性変形しつつ対象物2の表面に密着し、剛性の高いハウジング21が対象物2に直接接触して傷つけることを避けながら、ハウジング21の中に外乱光が入射するのを防ぐ役割を果たす。
[LEDの構成詳細]
この実施の形態1におけるLED22は、カメラ23の取得する画像データからより多くの情報を取り出すため、照明パターンを変化させるための構成を有する。
たとえば図2に示すとおり、それぞれのLED22は、対象物2の表面に対して斜め方向D1に光を照射するように配設されている。それぞれのLED22は、照明パターン切り替え部41(図6参照)の制御により、それぞれ独立に点灯/消灯を切り替えることができる。点灯されるLED22を切り替えると、対象物2に照射される光の向きが変化し、対象物2の表面に凹凸があれば、その影のでき方も変化する。そのため色柄判別プローブ11を使うと、対象物2の表面にある凹凸を画像データに反映させることができる。
LED22として、3原色(赤・緑・青)の光を配合した白色光を発するとともに、配合比率によって光の色が変化するカラーLEDを使うことができる。また一部のLED22に、紫外線や赤外線を発するものを使うこともできる。ハウジング21の内部に4個以上のLED22を設け、それぞれのLED22のピーク波長が相違するように構成されていてもよい。そのようにすれば、カメラ23のイメージセンサが赤・緑・青の3原色にしか分光することができなくても、4色以上に分光された画像データを取得することが可能となる。
それぞれのLED22は、照明パターン切り替え部41(図6参照)の制御により、発光時の輝度が変化するように構成されていてもよい。LED22の輝度を変化させることにより、カメラ23から取得される画像データを構成するピクセルの明度階調が有限であることに起因する量子化誤差を排除し、階調の数を上回る多くの情報を取り出すことができる。
それぞれのLED22は、照明パターン切り替え部41(図6参照)の制御情報によって光の照射角度が変化するように配設されていてもよい。たとえば照明パターン切り替え部41(図6参照)の制御情報を受けて、内部に設けられた反射鏡(図示せず)やレンズ(図示せず)の位置や向きを変化させる手段を設け、図2に示すような、対象物2の表面に対して斜め方向D1に光を照射するモードと、垂直方向D2に光を照射するモードとを切り替える構成であってもよい。また照射角度を、斜め方向D1と垂直方向D2との間で、多段階に変化させるような構成であってもよい。
なおこの実施の形態1では、照明手段としてLED22を使用しているが、少なくとも一部のLED22を他の発光素子、たとえばELパネル、レーザ、放電灯などに替えてもよい。
[色柄判別プローブの変形例構成]
図2に示す色柄判別プローブ11における、ハウジング21の内面部27の形状、および内面部27における、LED22やカメラ23を含む各種光学部品の配設位置は、LED22から発せられた光が対象物2の表面を良好に照射し、カメラ23が対象物2の表面を適切に撮影して必要な品質の画像データを取得することができるのであれば、他のどのようなものであってもよい。
図3ないし図5に、この実施の形態1の色柄判別プローブ11の変形例を示す。これらの図に示す色柄判別プローブ11は、「照明手段」の一部を構成する種々の光学的素子を備えている。これらの色柄判別プローブ11は、複数の照明パターンを切り替えながら、対象物2の表面を撮影し、必要な品質の画像データを取得することが可能であるような多種多様の構成のうち、代表的なものにすぎない。したがって図3ないし図5における各種光学部品の配設位置や個数は例示にすぎず、図示したもののみに限定されない。
図3は、この実施の形態1の色柄判別プローブ11の第1の変形例の概略構成を示す図である。この構成例は、「照明手段」の一部を構成する導光材30を使い、複数のLED22が発した光を対象物2の表面に導く構造の色柄判別プローブ11である。導光材30はアクリル樹脂などの透明な材質で作られた部材で、一端から入射された光を他端に導くものである。これを適切に配設して光の照射位置や照射角度を切り替え可能とすることで、自由度の高い照明設計が可能になる。この例では、対象物2の表面に対して垂直に近い方向D3に入射する光や、斜めの方向D4に入射する光や、水平に近い方向D5に入射する光を切り替えて使い分けることができる。そのため対象物2の表面が持っている、光沢や反射指向性を画像データに反映させることができる。
図4は、この実施の形態1の色柄判別プローブ11の第2の変形例の概略構成を示す図である。この構成例は、「照明手段」の一部を構成する内面部27を使い、複数のLED22が発した光を対象物2の表面に導く構造の色柄判別プローブ11である。同図の色柄判別プローブ11において、内面部27は金属でドーム型に形成され、その内側には光を吸収せずに乱反射させる白い塗装がなされている。LED22は、ハウジング21の下端の設置部31に、光を略上方に向けて照射するように配設されている。図4に示すようにLED22から発せられた光は、上方向D6に照射され、少なくとも1回は内面部27に反射されてから、対象物2の表面方向D7に照射される間接照明となる。対象物2の表面に凹凸があっても影ができにくくなるので、対象物2の表面の光沢や反射指向性による影響を排除し、材質本来の色彩や模様を忠実に画像データに反映させることができる。またピーク波長の異なる複数種類のLED22を混在させれば、微妙な色彩や模様の違いも高精度に画像データに反映させることができる。図4には拡散光による照明のみが可能な構成を示したが、図2に示すような、対象物2に光を直接照射するLED22(図示せず)を追加し、間接照明と直接照明とを切り替えることができるように構成してもよい。
図5は、この実施の形態1の色柄判別プローブ11の第3の変形例の概略構成を示す図である。この構成例は、「照明手段」の一部を構成する光学的素子がLED22等の光学的な特性を変化させることで、照明パターンを切り替えることのできるような、光学的素子の配置ならびに構成を備えている。具体的には、図5の色柄判別プローブ11は、LED22の前に「照明手段」の一部を構成する液晶フィルタ32を複数配設した構造の色柄判別プローブ11である。同図の色柄判別プローブ11においては、ハウジング21の内面部27の上方に、下方向に向けて光を照射するようにLED22が配設され、LED22の下方の内面部27には光透過性の液晶フィルタ32が配設され、液晶フィルタ32の下方には、開口部33が開口形成されている。液晶フィルタ32は、電気回路(図示せず)によって電圧を印加されると、電圧に依存して光の透過率や透過方向を変化させることができる。図5の変形例において、LED22が発した光は液晶フィルタ32を透過し、変調されてから対象物2の表面に照射される。そのため液晶フィルタ32の透過率を電気的に変化させれば、液晶フィルタ32を透過する光の照射方向が方向D8、方向D9のように変化し、その結果、対象物2の表面に照射される光の向きを方向D10、方向D11のように変化させることができる。「照明手段」の一部を構成する、光を変調させる光学的素子には、液晶フィルタ、バリフォーカルレンズなどの透過素子だけでなく、ガルバノミラー、ディジタルミラーデバイス(DMD)などの反射素子を使ってもよい。
以上、図2〜図5で示した色柄判別プローブ11では、本体部10の一部であるハウジング21の形状および大きさを使用者が把持可能に形成したが、これに限定されずに本体部10の他の部分を、使用者が把持可能な形状および大きさに形成してもよい。たとえば本体部10を構成するスカート24が、使用者が把持可能な形状及び大きさに形成されていてもよい。また本体部10が、ハウジング21やスカート24の一部に突設された、使用者が把持可能な形状および大きさの取っ手を有する構成であってもよい。その場合の取っ手は、光を透過させる透明な部材で構成されていても、不透明な部材で構成されていてもよい。
いずれにせよ、図2〜図5で示した色柄判別プローブ11の構成はすべて例にすぎず、他の原理に基づく構成や、複数の原理を組み合わせた構成があり得ることは言うまでもない。
[本体装置の構成]
図6は、この実施の形態1の色柄判別装置1Aを構成する、色柄判別プローブ11と本体装置12の機能概略を示す機能ブロック図である。同図に基づいて、この実施の形態1の本体装置12の機能概略を説明する。
本体装置12は、CPUなどの制御手段、CPUなどが作業領域や一時記憶領域として使用するRAMやキャッシュメモリ、データやプログラムが記録されたROMやEEPROMやハードディスクなどの補助記憶媒体(いずれも図示せず)を備える。本体装置12の、ROMやEEPROMなど(図示せず)によって構成される記録部20には、この色柄判別装置1Aに用いられる色柄判別プログラム40がセットアップされている。色柄判別プログラム40は、色柄判別装置1Aを構成する各種のハードウェアを制御し、対象物2の属するカテゴリを判別する機能を持つ。また本体装置12はユーザインタフェースとして、色柄判別装置1Aに判別動作の開始を指示したりするのに使われる操作部と、色柄判別装置1Aによる判別結果を表示したりするのに使われる表示部を持つ。操作部はキーボード14(図1参照)、マウス(図示せず)、タッチパネル(図示せず)などによって構成され、表示部はディスプレイ15(図1参照)、プリンタ(図示せず)などによって構成される。
図6に示すとおり、本体装置12には、色柄判別プログラム40が実行された結果実現される機能手段として、「照明制御手段」としての照明パターン切り替え部41、「撮影制御手段」としての撮影制御部42、画像取得部43、「特徴量取得手段」としての特徴量抽出部44、「カテゴリ判別手段」としてのカテゴリ判別部45、統括制御部46を備えている。照明パターン切り替え部41、画像取得部43、特徴量抽出部44、カテゴリ判別部45は、統括制御部46からの動作指示55を受けて連動して動作する。
照明パターン切り替え部41は、照明手段またはそのドライバ(ハードウェアを制御するための専用プログラム)に照明制御信号51を送り、複数のLED22の点灯/消灯を個別に切り替えたり、個々のLED22の点灯する輝度を調節したり、LED22の発する光を変調させる光学的素子を駆動したりして、対象物2の表面に照射される照明のパターンを切り替える機能を持つ。照明パターン切り替え部41は、個々の照明パターンに対応する照明制御信号51の組み合わせを記述するテーブル(図示せず)を持っており、統括制御部46からの動作指示55によって照明パターンが切り替えられると、それに対応する組み合わせの照明制御信号51をLED22に送る。
撮影制御部42は、カメラ23が行う撮影動作を制御する。具体的には、カメラ23に撮影動作を開始・終了させる撮影信号を送信する。
画像取得部43は、対象物2の表面を撮影しているカメラ23からの映像52を動画として常時取り込んでおり、統括制御部46から動作指示55を受けると、その時点で映像52から静止画(フレーム)を切り出して、画像53を作成する機能を持つ。
特徴量抽出部44は、画像取得部43の取得した画像53を定量的に評価し、その結果としての特徴量ベクトル54を求める機能を持つ。特徴量ベクトル54は、画像53を特徴づける数値である特徴量を所定の数だけ集め、ベクトルとしたものである。汎用的に使うことのできる特徴量としては、ピクセルの明度・彩度・色相、移動相関係数、空間的周波数、領域の異方性や真円度といったものが挙げられる。これらの特徴量の値が画像53の部位ごとに異なる場合、あらかじめ設定された複数の興味領域ごとに平均値や分散値を求め、それぞれ別個の特徴量とすることもできる。
カテゴリ判別部45は、対象物2から得られた特徴量ベクトル54を、カテゴリが既知である参照特徴量ベクトルと統計的に比較し、対象物2が属すると考えられるカテゴリと、それに対する所属確率を推定することで、対象物2の属するカテゴリを判別する機能を持つ。なおここでの「判別」には、所属確率が1である唯一のカテゴリを求める処理だけでなく、不確かさを許容して、所属確率が1未満である複数のカテゴリを求める処理も含まれる。個々のカテゴリに対する所属確率を推定する具体的な方法としては、クラスタ分析法、分布検定法、MT法などの統計的アルゴリズムが使える。
参照特徴量ベクトルは、事前の学習によってカテゴリが既知であるような対象物2から得られ、カテゴリ判別部45にあらかじめ登録される特徴量ベクトルであり、カテゴリが未知の対象物2から得られた特徴量ベクトル54と比較するために用いられる。なおカテゴリ判別部45に参照特徴量ベクトルを登録する作業は「教示」と呼ばれる。具体的にはこの作業は、特別なモードで色柄判別装置1Aを動作させ、カテゴリが既知であるような対象物2を使って特徴量ベクトルを得るとともに、対象物2の属するカテゴリを入力するものである。これによって特徴量ベクトルとカテゴリの対応関係を、カテゴリ判別部45が解釈可能な形で記録する。
統括制御部46は、照明パターン切り替え部41、撮影制御部42、画像取得部43、特徴量抽出部44、カテゴリ判別部45に動作指示55を送って所定の順番で動作させ、色柄判別の目的に合わせて連動させる機能を持つ。また照明パターン切り替え部41、画像取得部43、特徴量抽出部44、カテゴリ判別部45に委ねることのできない一部の処理を直接実行する機能も持つ。
[判別対象物]
この実施の形態1の色柄判別装置1Aによって色柄を判別するべき対象物2としては、家屋、ビルディング、建造物、車両、船舶、外壁、内壁、床、柱、木材、じゅうたん、壁紙、ドア、サッシ、机、椅子、たんす、布団、衣服、布地、包装紙、特殊紙、家電製品、電子部品、文房具、玩具、食品など、多種多様な有体物が考えられる。有体物は固体に限らず、一部または全部が液体や気体であってもよいし、一部または全部が無体物、たとえばディスプレイの表示状態などであってもよい。また対象物2の判別する「色柄」には、色彩、模様、反射光沢、凹凸、質感といった「視覚的に観察することができる特徴」のすべてが含まれる。色彩は有彩色でも無彩色でもよく、有色透明や無色透明でもよい。また人間が視覚によって認知する特徴に限らず、凹凸や質感など、通常は触覚によって認知する特徴であってもよい。
[カテゴリ]
この実施の形態1の色柄判別装置1Aが判別する「カテゴリ」とは、対象物2を所定のルールによって分類したそれぞれのグループである。たとえば木目であれば木の種類、壁紙であればその製品番号、布地であれば繊維の種類といったカテゴリが定義できる。カテゴリは製品やメーカに固有のガイドラインによって決まるものであり、必ずしも定量的、客観的なものではない。また対象物2の視覚的な特徴が、必ず一つのカテゴリに対応するとは限らない。視覚的には区別のできない複数の対象物2が、別個のカテゴリに属することもあり得る。
図7は、この実施の形態1の色柄判別装置1Aにおいて判別されるカテゴリを模式的に示す図である。なお、同図に示すサンプルは下記サイトに表示されたものを例示として用いている。
一般財団法人
日本木材総合情報センター「木net」ホームページ
http://www.jawic.or.jp/woods/sch.php
府中家具工業協同組合「木材図鑑」ホームページ
http://www.fuchu.or.jp/~kagu/mokuzai/mokuji.htm
図7は対象物2の表面が木目模様を有する場合を示し、この場合には木の種類をカテゴリにすることができる。すなわち木の種類がスギである第1のカテゴリ100、木の種類がアカマツである第2のカテゴリ100、木の種類がヒノキである第3のカテゴリ100、木の種類がチークである第4のカテゴリ100、木の種類がアガチスである第5のカテゴリ100がそれぞれ異なるカテゴリ100を形成しており、それぞれのカテゴリ100には2個以上のサンプルが属している。なお以下では説明を簡単にするため、特に区別の必要がある場合を除き、第1〜第5のカテゴリ100,100,100,100,100を総称してカテゴリ100と記載する(本明細書において同じ)。
それぞれのサンプルからは、視覚的な特徴量を複数取得することができる。たとえば明度の平均値や分散値、彩度の平均値や分散値、色相の平均値や分散値、木目の平行度や直線性、木目による明暗の比、反射率や拡散率といった特徴量を得ることができる。またこれらの特徴量の移動平均や移動相関係数、二つの特徴量の間の相関係数なども、別の特徴量と見なすことができる。そのため数十から数千に及ぶ多数の特徴量を取得することも可能である。
カテゴリ判別部45は、カメラ23の撮影した対象物2が、これらの第1のカテゴリ100〜第5のカテゴリ100のどれに属するかを判別する。一つのカテゴリ100を選び、そのカテゴリ100に属する多数のサンプルから特徴量を得ると、それぞれの特徴量はカテゴリ100ごとに決まった分布に従う。属するカテゴリ100が未知である対象物2のサンプルに対しては、あらかじめカテゴリ100ごとに求められた特徴量の分布を使うことで、そのサンプルがそれぞれのカテゴリ100に属する可能性を統計的に算出することが可能である。特徴量の分布がほぼ重なる複数のカテゴリ100が存在し、特徴量だけからカテゴリを判別することが難しいこともあるが、その場合でも第1のカテゴリ100〜第5のカテゴリ100に対し、それぞれにサンプルが属する可能性を算出することは可能である。また可能性の高い複数のカテゴリ100を抽出し、そのサンプルが属するカテゴリ100の候補として挙げることも可能である。
[照明パターンと特徴量との対応]
図8に、この実施の形態1の色柄判別装置1Aにおける、照明パターンと特徴量との対応例を示す。
図8の表200に示すとおり、この実施の形態1では、照明パターン切り替え部41が、LED22についてNとおりの照明パターン201,201,……,201を切り替える。なお以下では説明を簡単にするため、特に区別の必要がある場合を除き、照明パターン201,201,・・・,201を総称して照明パターン201と記載する(本明細書において同じ)。
撮影制御部42は、それぞれの照明パターン201ごとにカメラ23に撮影を行わせ、1枚ずつ画像53を取得する。特徴量抽出部44は、それぞれの画像53からM個の特徴量C(たとえば照明パターン201のもとで撮影された画像53から特徴量C11,C12,……,C1M、照明パターン201のもとで撮影された画像53から特徴量CN1,CN2,……,CNM)を抽出する。したがって全体としてはN×M個の特徴量Cが抽出されることになる。照明パターン201の切り替えを行わない従来の手法では、M個の特徴量Cしか得られないのに比べ、本発明による色柄判別装置1Aでは非常に多くの特徴量Cを抽出することができる。一般に統計的な判別アルゴリズムでは、特徴量の数(特徴量ベクトルの次元)が高いほど判別精度が向上する。そのため本発明による色柄判別装置1Aでは、従来の手法に比べて判別の精度を著しく高めることができる。
[照明パターンの切り替えと特徴量]
この実施の形態1の色柄判別装置1Aでは、対象物2の表面から多くの特徴量を得る方法として、照明パターン切り替え部41がLED22の照明パターン201を切り替えながら、カメラ23が複数回の撮影を行うアプローチを採っている。
対象物2の表面から得られる特徴量を増やす方法としては、他にもいくつかの方法が知られている。光学解像度の高いカメラを使い、取得される画像53を構成するピクセルの数を増やす方法、高ダイナミックレンジのカメラを使い、取得される画像53を構成するピクセルの階調の数を増やす方法、カラー型やマルチスペクトル型のカメラを使い、取得される画像53を構成するピクセルの原色数を増やす方法などである。たとえば30万ピクセルのカメラを200万ピクセルのものに替えたり、8ビット(256)階調のカメラを16ビット(65,536)階調のものに替えたり、モノクロのカメラをカラーのものに替えたりすれば、1回の撮影でより多くの特徴量を得ることができる。
しかし従来のアプローチを取る場合、色柄判別装置1Aのアプローチに比べて多くのコストがかかることが多かった。光学解像度の高いカメラ、ハイダイナミックレンジ型のカメラ、マルチスペクトル型のカメラはいずれも、この実施の形態1の色柄判別装置1Aで使用している汎用のカメラ23よりも相当高価である。またこれらの特殊なカメラは、汎用のカメラよりも大型である場合が多く、色柄判別装置1Aの使い勝手の点でも課題が残る。
これに対して色柄判別装置1Aでは、汎用のカメラ23を使用しているにもかかわらず、これらの特殊なカメラを使用するのと同様の効果を得ることができる。
一つの例として、照明パターン201の切り替えによるLED22の輝度の変化量が、カメラ23に固有の明度分解能を下回るように構成されている場合を考え、以下図9を使って説明する。ここでの説明をわかりやすくするため、カメラ23が1〜9の9段階の明度スケールを持ち、9とおりの明度しか区別することができないものとする。そしてこのカメラ23が撮影している対象物2の表面の明度が、第1の対象物2では5.8、第2の対象物2では6.2であったとする(図9のア)。この場合、第1の対象物2と第2の対象物2の表面の明度の違いは画像53に現れない。これらの表面は画像53の上で、いずれも明度が6であるようなピクセルとして現れるからである。しかしLED22の輝度を、90%から110%まで、5%刻みで5段階に変えてみる(図9のイ〜ウ)。すると対象物2の表面の明度はLED22の輝度に比例して変化するので、画像53に現れるピクセルの明度は、第1の対象物2では(5,6,6,6,6)、第2の対象物2では(6,6,6,7,7)となり、5回の平均値に違いが現れることがわかる。すなわちLED22の輝度を段階的に変えることにより、本来は区別することができなかった、対象物2の表面の微妙な明度の違いが区別できるようになる。色柄判別装置1Aが実際に使用するカメラ23は、8ビット(256)階調の汎用品であるが、このように照明パターン201を切り替えることで、高価なハイダイナミックレンジ型のカメラ23を使うのと同様の効果を得ることができる。
もう一つの例として、LED22が、ピーク波長の異なる複数のLED22で構成されている場合を考え、以下図10を使って説明する。ここでも説明をわかりやすくするため、カメラ23が波長500nmにピーク感度を持つモノクロのカメラであるとする。また対象物2の表面が反射する光が同じ形の波長分布を持ち、そのピーク波長は異なっていて、第1の対象物2では480nm、第2の対象物2では520nmであったとする。なお図10の説明においては、区別の必要がある場合、第1の対象物2を対象物2、第2の対象物2を対象物2と記載する(第1の対象物2、第2の対象物2はいずれも図示せず)。
LED22から発せられる光が白色光である場合、二つの対象物2の表面の明度の違いは画像53に現れない(図10のアの(a),(b))。それぞれの対象物2が反射する光のピーク波長である480nmと520nmは、カメラ23の感度のピーク波長である500nmを中心として対称な位置にあるからである。
しかしピーク波長が480nmであるLED22と、ピーク波長が520nmであるLED22を切り替えて照射するようにすると、第1の対象物2と第2の対象物2で画像53に違いが現れる。すなわち前者のLED22が点灯する時には、第1の対象物2の表面の画像53(図10のイの(a))の方が、第2の対象物2の表面の画像53(図10のイの(b))よりも明るくなる。これに対し、後者のLED22が点灯する時には、第2の対象物2の表面の画像53(図10のウの(a))の方が、第1の対象物2の表面の画像53(図10のウの(b))よりも明るくなる。つまりモノクロのカメラ23と白色光の組み合わせでは区別することができない対象物2の色の違いも、ピーク波長の異なる複数のLED22を使えば見分けることができる。
図10に関する上記の記載と同様の考え方は、ピーク感度を持つ波長の数が二つ以上であっても当てはまる。一般的なカラーカメラは、3原色(赤、緑、青)に対応する3種類のイメージセンサしか持っていないが、ピーク波長の異なる4個以上のLED22を使い、照明パターン201を切り替えることで、高価なマルチスペクトル型のカメラを使うのと同様の効果を得ることができる。
[処理手順]
図11は、この実施の形態1の色柄判別装置1Aの処理手順を示すフローチャートである。以下、同図に基づいて、この実施の形態1の色柄判別装置1Aの処理手順を説明する。
まず使用者は、色柄判別プローブ11の密着部29を、対象物2の表面に押し当て、本体装置12のキーボード14などを用いて判別処理を開始させる。
処理が開始されると、照明パターン切り替え部41は、LED22に照明制御信号51を送り、LED22の照明パターンを最初の照明パターン201に設定する(ステップS1)。この状態で画像取得部43は、カメラ23から画像53を取得する(ステップS2)。
次に照明パターン切り替え部41は、LED22を次の照明パターン201に切り替える(ステップS3の「いいえ」〜ステップS4)。この状態で画像取得部43は、再びカメラ23から画像53を取得する(ステップS2)。以上の動作は、画像取得部43が、LED22のすべての照明パターン201,201,……,201に対応する画像53を取得するまで繰り返される。
LED22のすべての照明パターン201,201,……,201に対応する画像53を取得した(ステップS3の「はい」)画像取得部43は、それらの画像53を特徴量抽出部44に送る。特徴量抽出部44ではそれらの画像53から特徴量ベクトル54を求め(ステップS5)、カテゴリ判別部45に送る。カテゴリ判別部45では、あらかじめ決められた統計処理を行い、対象物2のカテゴリを判別する(ステップS6)。
[実施の形態1の効果]
以上、この実施の形態1の色柄判別装置1Aでは、上記ステップS1〜ステップS6の処理を行うことにより、対象物2の属するカテゴリを判別するために多くの特徴量を使うことができるので、従来の手法に比べて高い精度が得られる。
具体的には、この実施の形態1では、ステップS2〜ステップS4の処理が照明パターン201の数だけ繰り返される。そのため図8の表200に模式的に示したように、照明パターン切り替え部41にNとおりの照明パターン201、すなわち照明パターン201,201,……,201が用意されているとすると、1回の判別を行うのにN枚の異なる画像53を使用することができる。すなわち画像53を1枚しか使用しない場合に比べ、多くの情報をカテゴリの判別に役立てることができる。以上の効果を得るのに、特殊で高価なカメラを使う必要性はない。そのため製造コストの高騰を抑止し、低価格な色柄判別プローブ11を形成することができる。
すなわちこの実施の形態1においては、複数の照明パターンを切り替えつつ、照明パターンごとに対象物2の表面から画像データを取得することができる。そのため照明パターンを切り替えない場合よりも多くの情報を取得することができるので、より高い精度で対象物2の表面の色柄を判別することができる。
この実施の形態1においては、ハウジング21とスカート24とを設けたことにより、LED22、カメラ23、対象物2の表面を含む光学系を、光の状態が不安定な外界の環境から遮断することができるので、さらに高い精度で対象物2の表面の色柄を判別することができる。
この実施の形態1においては、ハウジング21、LED22、カメラ23とを一体化させたことで、色柄判別プローブ11を小型に形成することが可能となる。すなわちハウジング21の内面部27に、LED22やカメラ23や各種の光学部品を堅牢に固定し、それぞれの位置関係や光の進み方を規定することができるので、小型かつ取り扱いが容易でありながら、充分な機能・性能を有する色柄判別プローブ11を形成することができる。そしてスカート24が光学的に開口形成された開口部を有することにより、小型の色柄判別プローブ11の開口部を対象物2の表面に押し当てて色柄を判別する使い方ができるようになり、取り扱いが容易になる。
この実施の形態1においては、色柄の判別を行う使用者が、色柄判別プローブ11のハウジング21の一部を把持して移動させたり、スカート24の一部を対象物2の表面に押し当て、弾性変形させて密着させたりする使い方ができるようになり、色柄判別プローブ11の取り扱いが容易になる。
この実施の形態1においては、照明パターン201の切り替えによって多くの情報を取得することができるので、より高い精度で物体の色柄を判別することができる。
この実施の形態1においては、特徴量の数が多いほど高い精度でカテゴリを判別することのできる統計処理を活用し、高い精度で対象物2の表面の色柄を判別することができる。
[発明の実施の形態2]
図12ないし図15に、この発明の実施の形態2を示す。
[基本構成]
図12は、この発明の実施の形態2の色柄判別装置のシステム構成の概略図である。この実施の形態2の「色柄判別装置」としての色柄判別装置1Bは、この発明の実施の形態1に記載した色柄判別装置1Aの構成(図1参照)に加え、本体部61にプローブ駆動機構62を備えている。すなわちこの実施の形態2の色柄判別装置1Bは、本体部61と本体装置12と接続ケーブル13とを備え、本体部61は色柄判別プローブ11とプローブ駆動機構62とを備えた構成である。
この実施の形態2において、画像取得部43は、実施の形態1の機能に加え、「指標算出手段」としての機能と「指標判定手段」としての機能を有する。「指標算出手段」として、画像取得部43は、撮影により取得された画像データから所定の方法で指標を算出する(具体的には後述する。)。また「指標判定手段」として、画像取得部43は、異なる時刻に取得された複数の画像データから取得された指標に基づいて、カテゴリの判別の可否を判定する(具体的には後述する。)。
なお図12に記載の実施の形態においては、色柄判別プローブ11と本体装置12を分離させた構成としたが、色柄判別プローブ11に小型のコンピュータを搭載し、色柄判別プログラム40(図6参照)と同等の機能を持つプログラムを動作させる構成としてもよい。そのようにすれば、色柄判別プローブ11と本体装置12が一体化された構成となり、ハードウェアとしての本体装置12と接続ケーブル13は不要になる。
[本体部の構成]
図12に示すとおり、この実施の形態2の色柄判別装置1Bにおいて、本体部61はプローブ駆動機構62を備える。このプローブ駆動機構62は、移送部63と連結部64とを備える。またプローブ駆動機構62と本体装置12とは、アクチュエータ(図示せず)などを駆動させる制御信号を伝達するためのケーブル(図示せず)などによって接続されている。
移送部63は、色柄判別プローブ11を水平方向(図12の左右方向)に移動させるレール部(図示せず)と、サーボモータやエアシリンダなどのアクチュエータ(図示せず)とを備える。
連結部64は、色柄判別プローブ11と移送部63とを連結させるもので、たとえば複数の中空の円柱状の部材が入れ子構造になった構成を備え、アクチュエータ(図示せず)の動力によって上下方向(図12の上下方向)に伸縮自在に構成されている。
プローブ駆動機構62は、本体装置12からの動作指示を受け、所定の経路に沿って色柄判別プローブ11を移動させながら、対象物2の表面にあらかじめ設定された複数の箇所に押し当てていく動作を行う。
[本体装置の構成]
図13は、この実施の形態2の色柄判別装置1Bの本体部61と本体装置12との機能概略を示す機能ブロック図である。同図に基づいて、この実施の形態2の本体装置12の機能概略を説明する。
図13に示すとおり、この実施の形態2の色柄判別装置1Bにおいて、本体装置12は、実施の形態1の色柄判別装置1Aの本体装置12の構成に加え、プローブ駆動部47を備えている。また実施の形態1の統括制御部46に代え、プローブ駆動部47の追加に合わせて機能を拡張して、「駆動制御手段」としての構成も備えた統括制御部46aを備えている。
プローブ駆動部47は、プローブ駆動機構62にプローブ駆動信号56を送って動作させ、対象物2の表面の所定の位置に色柄判別プローブ11を移動させる機能を持つ。プローブ駆動部47も、統括制御部46aの動作指示55を受け、照明パターン切り替え部41、撮影制御部42、画像取得部43、特徴量抽出部44、カテゴリ判別部45と連動して動作する。
[処理手順]
図14は、この実施の形態2の色柄判別装置1Bの処理手順を示すフローチャートである。以下、同図に基づいてこの実施の形態2の処理手順を説明する。なお以下の本体装置12の機能手段による制御は、統括制御部46aの制御によって行われる。
まず使用者は、本体部61を対象物2の上に置き、本体装置12のキーボード14などを用いて判別処理を開始させる。
処理が開始されると、プローブ駆動部47はプローブ駆動機構62に制御信号を送り、プローブ駆動機構62のアクチュエータ(図示せず)を駆動させて、あらかじめ設定された最初の位置(たとえば図12において、連結部64が移送部63の一番左端にくる位置)に色柄判別プローブ11を押し当てる(ステップS11)。その後に照明パターン切り替え部41は、LED22に照明制御信号を送信し、LED22をあらかじめ設定された最初の光の照射状態に設定する(ステップS12)。この状態で画像取得部43は、カメラ23から画像53を取得する(ステップS13)。
次に照明パターン切り替え部41は、LED22を次の照明パターンに切り替える(ステップS14の「いいえ」〜ステップS15)。この状態で画像取得部43は、再びカメラ23から画像53を取得する(ステップS13)。以上の動作は、画像取得部43が、LED22のすべての照明パターンに対応する画像53を取得するまで繰り返される。
LED22のすべての照明パターンに対応する画像53を取得した(ステップS14の「はい」)画像取得部43は、統括制御部46aに制御を戻し、プローブ駆動部47への動作指示55を送らせる。動作指示55を受けたプローブ駆動部47は、プローブ駆動機構62のアクチュエータ(図示せず)を駆動し、色柄判別プローブ11を次の所定の位置に押し当てる(ステップS16の「いいえ」〜ステップS17)。そして再度ステップS12〜S15の処理を行う。以上の動作は、プローブ駆動部47が、所定の位置すべてに色柄判別プローブ11を押し当て、それぞれの位置でステップS12〜S15の処理が完了するまで繰り返される。
プローブ駆動部47が所定の位置すべてに色柄判別プローブ11を押し当て、それぞれの位置でステップS12〜S15の処理が完了すると(ステップS16の「はい」)、プローブ駆動部47は、あらかじめ設定された最初の位置に色柄判別プローブ11を移動させる(ステップS18)。その後に照明パターン切り替え部41は、LED22を最初の照明パターンに切り替える(ステップS19)。この状態で画像取得部43は、カメラ23から画像53を取得する(ステップS20)。
画像取得部43は、最後に取得した(ステップS20)画像53と、最初に取得した(ステップS13)画像53から、それぞれ所定の対比指標を算出し、両者を比較する。ここで対比指標とは、画像53の同一性を検証するための指標であり、特徴量ベクトル54の一部または全部であってもかまわない。
二つの対比指標の差が所定の基準範囲内である場合(ステップS21の「はい」)、画像取得部43は、最初に取得した画像53と最後に取得した画像53に大きな違いがない、すなわち判別中に対象物2の位置がずれたり、色柄判別プローブ11の内部に外乱光が入射したりする擾乱は発生しなかったと判断し、それまでに画像取得部43が取得したすべての画像53から特徴量を抽出する(ステップS22)。カテゴリ判別部45は、抽出されたすべての特徴量に対して統計的な判別処理を行い、対象物2が属すると考えられるカテゴリと、そのカテゴリに対象物2が属する確度を算出して(ステップS23)、処理は終了する。
一方、二つの対比指標の差が所定の基準範囲を逸脱した場合(ステップS21の「いいえ」)、画像取得部43は判別に支障をきたすような擾乱が発生したと判断し、取得したすべての画像53を破棄する(ステップS24)。そしてステップS11から始まる一連の処理をやり直すよう、統括制御部46aに要求する。
[実施の形態2の効果]
この実施の形態2においては、プローブ駆動部47が対象物2の表面に沿って色柄判別プローブ11を移動させてカメラ23で撮影することで、色柄判別プローブ11を対象物2の1ヶ所に固定して対象物2の表面を撮影するよりもさらに多くの特徴量を取得することができる。すなわち対象物2の表面の1ヶ所において複数の照明パターンで繰り返し画像53を取得する(ステップS14)ことに加え、対象物2の表面の複数箇所でも繰り返し画像53を取得する(ステップS16)ことになる。たとえば対象物2の表面のKヶ所に色柄判別プローブ11を押し当てる位置が設定され、それぞれの位置ごとにNとおりの照明パターンが用意されている場合、1回の判別を行うのにK×N枚の異なる画像53を使用することができる。すなわち画像53を1枚しか使用しない場合に比べ、はるかに多くの情報を判別処理に役立てることが可能になる。このように取得された大量の特徴量は、判別の確度をさらに高めるのに役立つ。
図15は、この実施の形態2の色柄判別装置1Bにおけるプローブ位置、照明パターンと特徴量の対応例を示す図である。図15の表300に模式的に示すとおり、この実施の形態2では、対象物2の表面のKヶ所に色柄判別プローブ11を押し当てる位置(位置1、位置2,……,位置K)を設定し、それぞれの位置ごとにNとおりの照明パターン201(第1の照明パターン201,第2の照明パターン201,……,第Nの照明パターン201)を切り替える。図15に示すように、それぞれの位置と照明パターン201との組み合わせ301(組み合わせ30111,組み合わせ30112,……,組み合わせ301KN)ごとに画像53を取得し、それぞれの画像53からM個の特徴量C(たとえば位置1と照明パターン1の組み合わせ30111のもとで撮影された画像53から特徴量C111,C112,……,C11M、位置Kと照明パターンNの組み合わせ301KNのもとで撮影された画像53から特徴量CKN1,CKN2,……,CKNM)を抽出する。したがって全体としてはK×N×M個の特徴量Cが抽出されることになる。実施の形態1の色柄判別装置1Aでは、N×M個の特徴量Cしか得られないのに比べ、この実施の形態2の色柄判別装置1Bでは、より多くの特徴量Cを抽出することができる。先にも述べたように、一般に統計的な判別アルゴリズムでは、特徴量の数(特徴量ベクトルの次元)が高いほど判別精度が向上する。そのためこの実施の形態2の色柄判別装置1Bでは、実施の形態1の色柄判別装置1Aと比べても、判別の精度を著しく高めることができる。
またこの実施の形態2においては、プローブ駆動部47の制御に基づき、プローブ駆動機構62のアクチュエータ(図示せず)によって色柄判別プローブ11を対象物2の表面に沿って色柄判別プローブ11を移動させながら対象物2の画像53を撮影することにより、使用者が手動で対象物2の表面に沿って色柄判別プローブ11を移動させながら画像53を撮影する場合に比べ、色柄判別プローブ11の移動量や移動位置を正確に制御することができる。そのため、カテゴリの判別の確度を高められる画像53を高い精度で取得することが可能になり、判別の確度をより一層高めることができる。
この実施の形態2においては、異なる時間に撮影された複数の画像53から求めた対比指標の差が所定の基準範囲を逸脱した場合(ステップS21の「いいえ」〜ステップS24)、判別に支障をきたすような擾乱が発生したと判断することができる。これにより、撮影状態の悪い画像53が色柄の判別に用いられて判別精度を低下させることを抑止し、高い精度で対象物2の色柄を判別することができる。なお同様の擾乱検出方法を、実施の形態1の色柄判別装置1Aに対して適用することも可能であるが、この実施の形態2の色柄判別装置1Bではより効果的である。
なお上記各実施の形態は本発明の例示であり、本発明が上記各実施の形態のみに限定されることを意味するものでないことは言うまでもない。
1A,1B・・・色柄判別装置
2,2,2・・・対象物
10・・・(色柄判別プローブの)本体部
11・・・色柄判別プローブ
12・・・本体装置
13・・・接続ケーブル
14・・・キーボード
15・・・ディスプレイ
20・・・記録部
21・・・ハウジング(遮蔽手段)
22,22,22・・・LED(照明手段)
23・・・カメラ(撮影手段)
24・・・スカート(遮蔽手段)
25・・・上面部
26・・・開口部
27・・・内面部
28・・・段差部
29・・・密着部
30・・・導光材
31・・・設置部
32・・・液晶フィルタ
33・・・開口部
40・・・色柄判別プログラム
41・・・照明パターン切り替え部(照明制御手段)
42・・・撮影制御部(撮影制御手段)
43・・・画像取得部(指標算出手段、指標判定手段)
44・・・特徴量抽出部(特徴量抽出手段)
45・・・カテゴリ判別部(カテゴリ判別手段)
46・・・統括制御部
46a・・・統括制御部(駆動制御手段)
47・・・プローブ駆動部
51・・・照明制御信号
52・・・映像
53・・・画像(画像データ)
55・・・動作指示
56・・・プローブ駆動信号
61・・・(色柄判別プローブとプローブ駆動機構からなる)本体部
62・・・プローブ駆動機構
63・・・移送部
64・・・連結部
100,100〜100・・・カテゴリ
200,300・・・表
201,201〜201・・・照明パターン
301,30111〜301KN・・・(位置と照明パターンの)組み合わせ
C,C11〜CNM,C111〜CKNM・・・特徴量
D1・・・斜め方向
D2・・・垂直方向
D3・・・垂直に近い方向
D4・・・斜めの方向
D5・・・水平に近い方向
D6・・・上方向
D7・・・表面方向
D8,D9,D10,D11・・・方向
S1〜S6,S11〜S24・・・ステップ

Claims (9)

  1. 対象物の表面の色柄の判別に用いられる色柄判別プローブであって、
    前記対象物の表面に光を照射するように配設された照明手段と、
    前記対象物の表面に対向して配置され、前記照明手段によって光を照射された前記対象物の表面を撮影する撮影手段と、
    前記対象物の表面と、前記照明手段と、前記撮影手段とを外部から光学的に遮蔽する遮蔽手段とを備え、
    前記照明手段は、前記対象物の表面に光を照射するパターンとしての照明パターンを複数保持し、所定の制御信号の入力を受けて前記複数の照明パターンを切り替え可能に構成され、
    前記撮影手段は、前記照明手段の発する光が照射された前記対象物の表面を撮影し、前記色柄の判別に用いるための画像データを取得する機能を備える
    ことを特徴とする色柄判別プローブ。
  2. 請求項1に記載の色柄判別プローブであり、
    前記撮影手段、前記照明手段および前記遮蔽手段を一体化した本体部を備え、
    前記遮蔽手段が、前記対象物の表面に対向して光学的に開口形成された開口部を有する
    ことを特徴とする色柄判別プローブ。
  3. 請求項1に記載の色柄判別プローブであり、
    前記撮影手段、前記照明手段および前記遮蔽手段を一体化した本体部を備え、
    前記本体部の少なくとも一部が、前記色柄判別プローブの使用者が把持可能に形成されており、
    前記遮蔽手段の少なくとも一部が、弾性変形可能な材質によって前記対象物の表面に密着可能に形成されている
    ことを特徴とする色柄判別プローブ。
  4. 請求項1ないし3のいずれか一つに記載の色柄判別プローブであり、
    前記照明手段が、制御信号の入力を受けて光学的な特性を変化させる機能を持つ光学的素子を備え、
    前記光学的素子は、前記光学的な特性を変化させることで、前記複数の照明パターンを切り替えることができるように配置されている
    ことを特徴とする色柄判別プローブ。
  5. 請求項1ないし4のいずれか一つに記載の色柄判別プローブであり、
    前記照明手段が、前記対象物の表面に照射される光の照度が異なる前記複数の照明パターンを有し、
    前記照明パターンの違いによる前記照度の変化が、前記撮影手段の明度分解能を下回るように構成されている
    ことを特徴とする色柄判別プローブ。
  6. 請求項1ないし5のいずれか一つに記載の色柄判別プローブであり、
    前記照明手段が前記対象物の表面に対して斜め方向から光を照射し、
    前記撮影手段は、前記照明手段の発する光が前記対象物の表面の凹凸に照射されることによって生じる影を含む画像データを取得する
    ことを特徴とする色柄判別プローブ。
  7. 請求項1ないし6のいずれか一つに記載の色柄判別プローブと、
    前記照明手段に、前記複数の照明パターンを切り替えさせる制御信号を送信する照明制御手段と、
    前記撮影手段の、前記対象物の表面を撮影して画像データを取得する動作を制御する撮影制御手段と、
    前記撮影手段の撮影によって取得された画像データを取得する画像取得手段と、
    前記複数の照明パターンを切り替えながら前記撮影手段が取得した複数の前記画像データから、複数の特徴量を取得する特徴量取得手段と、
    前記特徴量取得手段によって取得された、前記特徴量に対する統計処理を行って前記対象物の表面の属するカテゴリを判別するカテゴリ判別手段とを備える
    ことを特徴とする色柄判別装置。
  8. 請求項7に記載の色柄判別装置であり、
    前記の画像データから所定の方法で指標を算出する指標算出手段を備え、
    前記撮影手段が、同一の前記照明パターン、前記対象物の表面の同一の撮影位置での撮影を異なる時刻に行って複数の画像データを取得し、
    前記指標算出手段によって前記複数の画像データから算出された前記指標が、所定の基準から逸脱した場合に判別を不可とする指標判定手段を備える
    ことを特徴とする色柄判別装置。
  9. 請求項7または8に記載の色柄判別装置であり、
    前記色柄判別プローブを前記対象物の表面に押し当てるプローブ駆動手段と、
    単一の前記対象物の表面に複数の撮影位置を設定しており、所定の制御信号によって前記プローブ駆動手段を駆動させて、対応する前記撮影位置に前記色柄判別プローブを押し当てる駆動制御手段を有し、
    前記撮影手段が、前記色柄判別プローブの押し当てられた前記撮影位置ごとに複数の前記画像データを取得し、
    前記特徴量取得手段が、前記複数の撮影位置で取得された複数の前記画像データから複数の特徴量を取得する
    ことを特徴とする色柄判別装置。
JP2017089915A 2017-04-28 2017-04-28 色柄判別プローブ、色柄判別装置 Active JP6981618B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017089915A JP6981618B2 (ja) 2017-04-28 2017-04-28 色柄判別プローブ、色柄判別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017089915A JP6981618B2 (ja) 2017-04-28 2017-04-28 色柄判別プローブ、色柄判別装置

Publications (2)

Publication Number Publication Date
JP2018189420A true JP2018189420A (ja) 2018-11-29
JP6981618B2 JP6981618B2 (ja) 2021-12-15

Family

ID=64478413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017089915A Active JP6981618B2 (ja) 2017-04-28 2017-04-28 色柄判別プローブ、色柄判別装置

Country Status (1)

Country Link
JP (1) JP6981618B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144421A (zh) * 2019-12-10 2020-05-12 深圳市优必选科技股份有限公司 一种物体颜色识别方法、装置及投掷设备
CN111811653A (zh) * 2019-04-10 2020-10-23 中国石油天然气股份有限公司 彩色沥青色彩评价装置及其评价方法
CN114062367A (zh) * 2020-08-07 2022-02-18 华晨宝马汽车有限公司 用于对零件上的数据矩阵码进行等级评定的设备和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05231837A (ja) * 1991-12-25 1993-09-07 Toshiba Corp 形状測定方法及び装置
JPH0814849A (ja) * 1994-06-27 1996-01-19 Matsushita Electric Works Ltd ハンダ立体形状検出方法
JP2005115599A (ja) * 2003-10-07 2005-04-28 National Printing Bureau 画像判別器具
JP2006047290A (ja) * 2004-06-30 2006-02-16 Omron Corp 基板検査用の画像生成方法、基板検査装置、および基板検査用の照明装置
JP2013007589A (ja) * 2011-06-23 2013-01-10 Aisin Seiki Co Ltd 欠陥検出装置およびその方法
WO2014167566A1 (en) * 2013-04-08 2014-10-16 Vibe Technologies Apparatus for inspection and quality assurance of material samples

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05231837A (ja) * 1991-12-25 1993-09-07 Toshiba Corp 形状測定方法及び装置
JPH0814849A (ja) * 1994-06-27 1996-01-19 Matsushita Electric Works Ltd ハンダ立体形状検出方法
JP2005115599A (ja) * 2003-10-07 2005-04-28 National Printing Bureau 画像判別器具
JP2006047290A (ja) * 2004-06-30 2006-02-16 Omron Corp 基板検査用の画像生成方法、基板検査装置、および基板検査用の照明装置
JP2013007589A (ja) * 2011-06-23 2013-01-10 Aisin Seiki Co Ltd 欠陥検出装置およびその方法
WO2014167566A1 (en) * 2013-04-08 2014-10-16 Vibe Technologies Apparatus for inspection and quality assurance of material samples

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111811653A (zh) * 2019-04-10 2020-10-23 中国石油天然气股份有限公司 彩色沥青色彩评价装置及其评价方法
CN111144421A (zh) * 2019-12-10 2020-05-12 深圳市优必选科技股份有限公司 一种物体颜色识别方法、装置及投掷设备
CN111144421B (zh) * 2019-12-10 2024-02-13 深圳市优必选科技股份有限公司 一种物体颜色识别方法、装置及投掷设备
CN114062367A (zh) * 2020-08-07 2022-02-18 华晨宝马汽车有限公司 用于对零件上的数据矩阵码进行等级评定的设备和方法

Also Published As

Publication number Publication date
JP6981618B2 (ja) 2021-12-15

Similar Documents

Publication Publication Date Title
CN110945561B (zh) 高光谱成像分光光度计和系统
KR102242460B1 (ko) 표면의 색상 및 스펙트럼의 측정 및 범주화를 위한 시스템 및 방법
JP2018189420A (ja) 色柄判別プローブ、色柄判別装置
US9070192B1 (en) Implementing rich color transition curve tracking for applications
CN101730896B (zh) 视觉系统、安装视觉系统的方法和制造视觉系统的方法
CN105122943A (zh) 特性化光源和移动设备的方法
JP2022522822A (ja) コンピュータビジョンアプリケーションを介する物体認識方法及びシステム
CN116797528A (zh) 检查被涂覆表面的方法、系统和创建封闭空间的装置
AU2020286971A1 (en) System and method for object recognition using three dimensional mapping tools in a computer vision application
CN108235831B (zh) 灯具的控制方法和控制系统以及电子设备
US8526717B2 (en) Rich color transition curve tracking method
CN105954205B (zh) 基于光谱成像的青梅糖度与酸度快速无损检测装置
JP7196640B2 (ja) 情報システムおよび特定方法
CN113811890A (zh) 用于使用荧光和抗反射表面构造进行对象识别的系统和方法
KR20220004740A (ko) 자연 광 및/또는 인공 광 하에서의 객체 인식을 위한 시스템 및 방법
JP7306673B2 (ja) 評価システム及び評価方法
CN207215690U (zh) 一种高光谱食品检测系统
CN109254239B (zh) 键盘电路板检测系统
TWI726538B (zh) 具有創作素材擷取功能的電子系統以及輸入裝置
CN109308430A (zh) 对彩色条形码进行解码
CN113066137B (zh) 具有创作素材撷取功能的电子系统以及输入装置
WO2023002464A1 (en) A method and apparatus for grain analysis
JP7463247B2 (ja) 光学式情報読取装置及び光学式情報読取方法
US20220334053A1 (en) Optical spectroscopy scanner
JP6813749B1 (ja) 対象物の色を数値化する方法、信号処理装置、および撮像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211110

R150 Certificate of patent or registration of utility model

Ref document number: 6981618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150