JP2023104034A - 画像処理装置、工作機械および撮像ユニット - Google Patents

Abstract

【課題】工作機械に取り付けられる撮像部のフォーカス調整を正確に行えるようにする。【解決手段】ある態様の画像処理装置は、ワークを保持するための保持部と、ワークを撮像するための撮像部を取り付け可能な取付部とを有する工作機械の取付部に撮像部が取り付けられた状態で撮像した画像を処理する。画像処理装置は、撮像部の撮像領域内にワークのエッジ部が含まれた状態で取付部が所定の軸線方向に移動されるごとに撮像画像を取得する画像処理部と、各撮像画像についてエッジ部の輝度変化を算出する輝度変化算出部と、取付部が所定の軸線方向に移動して順次取得される撮像画像について算出された輝度変化の最大値が増加から減少に転じたときに、信号を出力する信号出力部と、を備える。【選択図】図１１

Description

本発明は、工作機械において撮像される撮像画像のフォーカス調整に関する。

工作機械には、回転するワークに対して工具を移動させるターニングセンタ、回転する工具をワークに対して移動させるマシニングセンタ、材料をレーザで溶かしながら積層加工する付加加工機、およびこれらの機能を複合的に備える複合加工機などがある。工作機械には、ＡＴＣ（Automatic Tool Changer）と呼ばれる工具交換装置が備えられ、機械加工の過程で主軸に取り付けられる工具を交換しながらワークが所望の形状に加工される。ＡＴＣは、工具収容部（マガジン等）と工具保持部（主軸等）との間で工具交換を実行する。

近年、主軸に工具のみならず撮像ユニットを交換可能に取り付け、ワークを観察する機能を有する工作機械も提案されている（特許文献１参照）。撮像ユニットのカメラにより撮像された画像を処理することにより、ワークの表面形状を計測でき、加工精度の評価等を行うことができる。

特開２０１７－１４６９５５号公報

ところで、このような工作機械では一般に、カメラの倍率とワーキングディスタンス（カメラと被写体との距離）との関係が固定されている。このため、撮像処理に先立ってカメラのフォーカス調整を行う必要がある。このフォーカス調整は、オペレータにより手動で行われている。すなわち、オペレータは、操作盤等のモニタに表示される撮像画像を見ながら主軸を手動操作で移動させ、画像のボケ具合に基づいてカメラとワークとの距離を調整する。そして、フォーカスが合ったと判断した位置で主軸を停止させる。しかしながら、このような人の肉眼による調整では、正確なフォーカス調整は難しい。

本発明のある態様は画像処理装置である。この画像処理装置は、ワークを保持するための保持部と、ワークを撮像するための撮像部を取り付け可能な取付部とを有する工作機械の取付部に撮像部が取り付けられた状態で撮像した画像を処理する。画像処理装置は、撮像部の撮像領域内にワークのエッジ部が含まれた状態で取付部が所定の軸線方向に移動されるごとに撮像画像を取得する画像処理部と、各撮像画像についてエッジ部の輝度変化を算出する輝度変化算出部と、取付部が所定の軸線方向に移動して順次取得される撮像画像について算出された輝度変化の最大値が増加から減少に転じたときに、信号を出力する信号出力部と、を備える。

本発明の別の態様は工作機械である。この工作機械は、ワークを保持するための保持部と、ワークを撮像するための撮像部と、撮像部を取り付け可能な取付部と、取付部に撮像部が取り付けられた状態で撮像した画像を処理する画像処理装置と、を備える。画像処理装置は、撮像部の撮像領域内にワークのエッジ部が含まれた状態で取付部が所定の軸線方向に移動されるごとに撮像画像を取得する画像処理部と、各撮像画像についてエッジ部の輝度変化を算出する輝度変化算出部と、取付部が所定の軸線方向に移動して順次取得される撮像画像について算出された輝度変化の最大値が増加から減少に転じたときに、信号を出力する信号出力部と、を含む。

本発明によれば、工作機械に取り付けられる撮像部のフォーカス調整を正確に行うことができる。

実施形態に係る工作機械の外観を表す斜視図である。 工作機械および画像処理装置のハードウェア構成図である。 加工装置の構成を概略的に表す斜視図である。 撮像ユニットの主軸への取付構造を表す部分拡大図である。 操作盤を概略的に表す正面図である。 画像処理装置の機能ブロック図である。 フォーカス調整方法を模式的に表す図である。 フォーカス値の算出方法の一例を表す図である。 フォーカス値の算出方法の一例を表す図である。 カメラの位置とフォーカス値との関係を表す図である。 フォーカス値の表示例を表す図である。 フォーカス調整処理を表すフローチャートである。 変形例に係るフォーカス調整のための画面例を表す図である。 他の変形例に係るフォーカス調整方法を示す図である。 ＬＥＤの取付構造の例を表す図である。 変形例に係るフォーカス調整処理を表すフローチャートである。 他の変形例に係るフォーカス調整処理を表すフローチャートである。

以下、図面を参照しつつ、本発明の一実施形態について説明する。
なお、以下の実施形態およびその変形例について、ほぼ同一の構成要素については同一の符号を付し、その説明を適宜省略する。

図１は、実施形態に係る工作機械の外観を表す斜視図である。
工作機械１は、工具を適宜交換しながらワークを所望の形状に加工するマシニングセンタとして構成されている。工作機械１は、装置筐体の内部にワークを加工する加工装置２を備える。装置筐体の前面には、加工装置２を操作するための操作盤４が設けられる。

操作盤４は、画像処理装置１００と接続される。オペレータは、画像処理装置１００により工作機械１の作動状況を遠隔監視できる。工作機械１と画像処理装置１００とは本実施形態では有線ケーブルを介して接続されるが、無線接続されてもよい。画像処理装置１００は、工作機械１の内部、例えば操作盤４の内部装置として形成されてもよい。

図２は、工作機械１および画像処理装置１００のハードウェア構成図である。
工作機械１は、操作制御装置１０１、加工制御装置１０２、加工装置２、ツール交換部１０４およびツール格納部１０６を含む。操作制御装置１０１は、操作盤４を含み、オペレータの操作入力に基づいて加工制御装置１０２に制御指令を出力する。

加工制御装置１０２は、数値制御部として機能し、加工プログラム（ＮＣプログラム）にしたがって加工装置２に制御信号を出力する。加工装置２は、加工制御装置１０２からの指示にしたがって工具主軸（図示略：以下、単に「主軸」という）を動かしてワークを加工する。

ツール格納部１０６は工具および撮像ユニット（後述）を格納する。ツール交換部１０４は、いわゆるＡＴＣ（Automatic Tool Changer）に対応し、加工制御装置１０２からの交換指示にしたがって、ツール格納部１０６から工具を取り出し、主軸にある工具と取り出した工具とを交換する。ツール交換部１０４は、また、画像処理装置１００の指令に基づく加工制御装置１０２からの交換指示にしたがって、ツール格納部１０６から撮像ユニットを取り出し、主軸にある工具と撮像ユニットとを交換する。

画像処理装置１００は、撮像ユニットによる撮像画像に基づき、ワーク形状を計測するための画像処理を行う。画像処理装置１００は、また、オペレータにより行われるカメラのフォーカス調整を支援するための画像処理を行うが、その詳細については後述する。画像処理装置１００は、一般的なラップトップＰＣ（Personal Computer）あるいはタブレット・コンピュータであってもよい。

図３は、加工装置２の構成を概略的に表す斜視図である。
ここでは説明の便宜上、加工装置２を正面からみて左右方向，前後方向，上下方向を、それぞれＸ軸方向，Ｙ軸方向，Ｚ軸方向とする。

工作機械１は、縦型のマシニングセンタであり、加工装置２を備える。加工装置２は、ベッド１０と、ベッド１０に立設されたコラム１２と、コラム１２に対して上下に移動自在に設けられた主軸ヘッド１４と、ベッド１０上に前後左右に移動自在に設けられたテーブル１６を備える。主軸ヘッド１４は、主軸１８を回転可能に支持する。

コラム１２の前面にガイドレール２０が設けられ、主軸ヘッド１４がＺ軸方向に移動可能に支持されている。主軸ヘッド１４の移動は、図示略の送り機構とそれを駆動するサーボモータにより実現される。この送り機構は、例えばボールねじを用いたねじ送り機構である。

主軸ヘッド１４は、Ｚ軸方向の軸線Ｌを有し、その軸線Ｌを中心に主軸１８を回転可能に支持する。主軸ヘッド１４には、主軸１８を回転駆動するための図示略のスピンドルモータが設けられている。主軸１８は、図示略の工具ホルダに保持された工具を同軸状に取り付け可能である。また、主軸１８は、図示のように、撮像ユニット３０を同軸状に取り付け可能である。撮像ユニット３０は、後述のカメラを含み、ワークＷを撮像するための「撮像部」として機能する。主軸１８は、主軸ヘッド１４が駆動されることによりＺ軸方向に移動自在である。

一方、ベッド１０の上面にガイドレール２４が設けられ、サドル２６がＹ軸方向に移動可能に支持される。サドル２６の上面にガイドレール２８が設けられ、テーブル１６がＸ軸方向に移動可能に支持される。サドル２６およびテーブル１６の移動は、それぞれ図示略の送り機構とそれを駆動するサーボモータにより実現される。この送り機構は、例えばボールねじを用いたねじ送り機構である。

テーブル１６には、図示略の治具を介してワークＷが固定される。テーブル１６は、ワークを保持するための「保持部」として機能する。ワークＷは、サドル２６およびテーブル１６が駆動されることによりＸ軸方向およびＹ軸方向に移動自在である。すなわち、以上の構成により、工具や撮像ユニット３０とワークＷとの相対位置を三次元的に調整することができる。

図４は、撮像ユニット３０の主軸１８への取付構造を表す部分拡大図である。
撮像ユニット３０は、主軸１８に着脱可能に取り付けられ、ワークＷの撮像に用いられる画像プローブである。主軸１８は「取付部」として機能する。撮像ユニット３０は、工作機械１とコネクタを介して電気的に接続されるため、有線による給電および通信が可能である。

撮像ユニット３０は、撮像機能を有する機能部３２と、主軸１８と同軸状に連結される接続部３４と、機能部３２および接続部３４を回転可能に支持する支持部３６を備える。機能部３２には、カメラや照明機器などが内蔵されている。接続部３４の基端側（機能部３２とは反対側）には、工具と同様にテーパ状のシャンク３８が設けられている。シャンク３８を主軸１８の先端に嵌合させることで、撮像ユニット３０が主軸１８に取り付けられる。

支持部３６は、機能部３２と接続部３４との連結体を同軸状に挿通し、その連結体を軸線Ｌの周りに回転可能に支持する。支持部３６の内周面と連結体の外周面との間には軸受が設けられている。軸線Ｌは、カメラの光軸と一致する。支持部３６の外周面にはコネクタ部４０が設けられる。一方、主軸ヘッド１４の端面にもコネクタ部４２が設けられており、コネクタ部４０とコネクタ部４２とが軸線方向に接続されることで、支持部３６が主軸ヘッド１４に固定される。

すなわち、支持部３６は、主軸ヘッド１４と一体に固定された状態で機能部３２を回転自在に支持する。主軸１８の回転により機能部３２の回転角度（つまりカメラの撮像角度）を変化させることができる。

コネクタ部４０とコネクタ部４２との接続部には、電気的な接点構造が設けられる。この接点構造により信号線および電力線が確保される。本実施形態では、工作機械１と撮像ユニット３０との通信および電力供給が、ＰｏＥ（Power over Ethernet）の規格に従って実現される。

図５は、操作盤４を概略的に表す正面図である。
操作盤４は、オペレータに各種情報を表示するとともにタッチ操作を受け付けるモニタ５０と、オペレータの操作入力を受け付ける物理的な操作パネル５２を含む。モニタ５０は、オペレータによるタッチ操作やキー入力等の操作入力を受け付ける各種操作画面を表示する「表示部」として機能する。操作パネル５２として、ＮＣ操作パネル５４および機械操作パネル５６が含まれる。

ＮＣ操作パネル５４には、オペレータが制御プログラムを作成・編集する際に押下する各種キーが含まれる。機械操作パネル５６には、オペレータが工作機械１の動作モードを切り替えたり、手動操作をする際に押下する各種ボタンやダイヤルなどが含まれる。モニタ５０のタッチパネルによる操作デバイスを「ソフトデバイス」とよび、ＮＣ操作パネル５４や機械操作パネル５６による操作デバイスを「ハードデバイス」ともよぶ。これらの操作デバイスは、オペレータの操作入力を受け付ける「入力部」として機能する。

機械操作パネル５６には、モード選択ボタン６０、ＮＣ機能ボタン６２、自動運転ボタン６４、手動軸送りボタン６６、原点復帰ボタン６８、非常停止ボタン７０などが含まれる。モード選択ボタン６０は、モードを切り替えるための複数のボタンを含む。具体的には、メモリモードへ移行させるためのＭＥＭボタン、ＭＤＩモードへ移行させるためのＭＤＩボタン、ＤＮＣモードへ移行させるためのＤＮＣボタン、編集モードへ移行させるためのＥＤＩＴボタン、ジョグモードへ移行させるためのＪＯＧボタン、および原点復帰モードへ移行させるためのＺＲＮボタンが含まれる。なお、本実施形態では、操作パネル５２をハードデバイスで実現したが、変形例においては、タッチ操作を受け付けるモニタ（ソフトデバイス）としてもよい。

「メモリモード」は、予め用意された制御プログラムにしたがって加工装置２を作動させる自動運転モードである。「ＭＤＩモード」は、簡単なプログラム指令を手動で入力して加工装置２を作動させるモードである。「ＤＮＣモード」は、外部端末に格納されている制御プログラムを受信しながら、加工装置２を制御するモードである。「編集モード」は、制御プログラムを作成・編集するモードである。「ジョグモード」は、主に手動軸送りボタン６６の操作により主軸などの制御対象を軸移動させる手動運転モードである。「原点復帰モード」は、主軸などの制御対象を機械原点に復帰させるモードである。オペレータは、いずれかのボタンを押下することで選択したモードへ移行させることができる。

ＮＣ機能ボタン６２は、数値制御部の機能を切り替えるための複数のボタンを含む。具体的には、ＰＣＫボタン、ＤＲＮボタンなどが含まれる。ＰＣＫボタンは、いわゆるプログラムチェックに際して主軸の回転やクーラントの吐出を非動作とするときに押下される。ＤＲＮボタンは、設定された速度で制御対象の軸移動を行うときに押下される。空運転でプログラムチェックするときの時間短縮のために使用される。このとき、プログラムで指定されている速度は無視される。

自動運転ボタン６４は、ＳＴＡＲＴボタンおよびＳＴＯＰボタンを含む。ＳＴＡＲＴボタンは、自動運転を開始（「サイクルスタート」ともいう）させるときに押下される。ＳＴＡＲＴボタンの押下は「制御開始入力」となる。ＳＴＯＰボタンは、自動運転中に一時的に軸移動を停止させるときに押下される。

手動軸送りボタン６６は、ジョグ送り操作、ジョグ早送り操作、原点復帰操作を手動で行う際に押下する選択キーや方向キーを含む。手動軸送りボタン６６は、ジョグモードにおいて主軸を移動させるための操作入力を受け付ける。ジョグモードでは、ジョグ送りとジョグ早送りのいずれかの操作を選択可能である。

原点復帰ボタン６８は、ワンタッチで原点復帰操作を行うときに押下される。このボタンを押すと、全軸が順次に機械原点に戻る。非常停止ボタン７０は、機械を緊急停止させるときに押下される。手動運転と自動運転のいずれであるかに関わらず、加工装置２の全ての動作が即時にその場所で停止する。

図６は、画像処理装置１００の機能ブロック図である。
画像処理装置１００の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コンピュータプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。

なお、操作制御装置１０１および加工制御装置１０２の各構成要素も、プロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され演算器に処理命令を供給するソフトウェアにより実現されてもよい。操作制御装置１０１および加工制御装置１０２は、画像処理装置１００とは別個の装置として構成されてもよい。

画像処理装置１００は、ユーザインタフェース処理部１１０、データ処理部１１２、データ格納部１１４および通信部１１６を含む。
ユーザインタフェース処理部１１０は、ユーザからの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。通信部１１６は、操作制御装置１０１や加工制御装置１０２との通信を担当する。データ処理部１１２は、ユーザインタフェース処理部１１０により取得されたデータおよびデータ格納部１１４に格納されているデータに基づいて各種処理を実行する。データ処理部１１２は、ユーザインタフェース処理部１１０、データ格納部１１４および通信部１１６のインタフェースとしても機能する。データ格納部１１４は、各種プログラムと設定データを格納する。

ユーザインタフェース処理部１１０は、入力部１２０および出力部１２２を含む。
入力部１２０は、タッチパネル、各種キーあるいはハンドル等のハードデバイスを介してユーザからの入力を受け付ける。出力部１２２は、画像表示あるいは音声出力を介して、ユーザに各種情報を提供する。

通信部１１６は、操作制御装置１０１や加工制御装置１０２からデータを受信する受信部１５０と、操作制御装置１０１や加工制御装置１０２にデータおよびコマンドを送信する送信部１５２を含む。受信部１５０は、操作盤４を介したオペレータの操作入力に基づく情報を操作制御装置１０１から受信する。すなわち、受信部１５０は、操作制御装置１０１を介してオペレータの操作入力を受け付ける「入力部」としても機能する。

データ処理部１１２は、制御指令部１３０、画像処理部１３２、輝度変化算出部１３４、信号出力部１３６および表示処理部１３８を含む。制御指令部１３０は、フォーカス調整の際、撮像ユニット３０が取り付けられた主軸１８の移動を制御する制御指令を操作制御装置１０１ひいては加工制御装置１０２へ出力する。すなわち、制御指令部１３０は「取付部制御部」として機能する（詳細後述）。

画像処理部１３２は、フォーカス調整の際、主軸１８に撮像ユニット３０が取り付けられた状態でカメラが撮像した画像を処理する。表示処理部１３８は、そのカメラによる撮像画像をモニタ５０（表示部）に表示させる。画像処理部１３２は、主軸１８が軸線方向へ移動されるごとに撮像ユニット３０の撮像画像を取得する。

輝度変化算出部１３４は、各撮像画像に表示されるエッジ部の輝度変化を算出する。「輝度変化」は、隣接する画素間の輝度値の変化量（微分値）に基づいて算出されてよい。その輝度変化の大きさに基づいてフォーカス値の大きさが算出される。信号出力部１３６は、主軸１８の移動に伴って順次取得される撮像画像について算出されたその輝度変化の最大値が増加から減少に転じたときに、カメラのフォーカス値が最大となる位置を通り過ぎたことを示す信号を出力する。このフォーカス調整の詳細については後述する。

データ格納部１１４は、輝度情報格納部１４０を含む。輝度情報格納部１４０は、輝度変化算出部１３４により算出される輝度情報を一時記憶する。この輝度情報は、カメラの位置とフォーカス値とが対応づけられた情報を含む。データ格納部１１４は、また、撮像画像を一時記憶するとともに、データ処理部１１２において演算処理が行われる際のワークエリアとしても機能する。

次に、実施形態におけるフォーカス調整処理について詳細に説明する。
図７は、フォーカス調整方法を模式的に表す図である。図７（Ａ）～（Ｄ）は、その調整過程を示す。各図の下段はワークＷに対するカメラ（撮像ユニット３０）の位置を示し、上段はそのカメラによる撮像画像Ｐ０を示す。この例では、ワークＷの表面（上面）に形成された穴ｈを利用してフォーカス調整が行われる。穴ｈは円形の開口縁（つまりエッジ部）を有する。

オペレータは、このフォーカス調整に際して操作盤４の手動軸送りボタン６６（図５参照）を操作して主軸１８をＸ，Ｙ方向に移動させ、カメラをワークＷの上方に位置させる。表示処理部１３８は、カメラによる撮像画像Ｐ０をモニタ５０の画面に表示させる。オペレータは、さらに主軸１８をＺ方向に移動させることで、カメラの画角（つまり撮像領域内）に穴ｈを収めるようにする。本実施形態では、カメラを下降させながらフォーカス調整を行うため、オペレータは、フォーカスが合うと想定される位置よりも若干高い位置（基準位置）にてカメラを一時停止せる（図７（Ａ））。このとき、仮にカメラの位置（高さ位置）Ｐａにおいてフォーカス値が６００であり、穴ｈのエッジ部がボケている、つまりフォーカス調整が正確ではなかったとする。フォーカス値の具体的算出方法については後述する。

オペレータは、この状態から手動軸送りボタン６６を操作して主軸１８をＺ軸方向に徐々に下降させる。それにより、フォーカス値がカメラの位置Ｐｂにおいて８００（図７（Ｂ））、位置Ｐｃにおいて１０００（図７（Ｃ））、位置Ｐｄにおいて９００（図７（Ｄ））と変化したとする。この場合、フォーカス値が最大となる位置Ｐｃにおいて穴ｈのエッジ部が最もクリアとなり、ピントが合っていると判断できる。オペレータがカメラの高さ位置を位置Ｐｃに設定することでフォーカス調整を完了できる。

図８および図９は、フォーカス値の算出方法の一例を表す図である。
ワークＷの表面を撮像すると、その表面形状のエッジ部において輝度が大きく変化する。「エッジ部」は、表面形状の段差、内周縁、外周縁などに現れる。その輝度変化の最大値は、エッジ部の画像がクリアであるほど、つまりエッジ部へのフォーカスが正確であるほど大きくなる。そこで、本実施形態では撮像画像に対してソーベルフィルタを用いることにより、フォーカス値を算出する。

図８に概念的に示すように、輝度変化算出部１３４は、撮像画像Ｐ０の各画素に対して横方向と縦方向のソーベルフィルタ処理を実行する。すなわち、各画素の輝度値に対して横カーネル係数を用いた畳み込み演算と、縦カーネル係数を用いた畳み込み演算を実行する。カメラの輝度値の範囲が０～２５５の場合、「０」が黒、「２５５」が白を示す。そして、それぞれの畳み込み演算結果を合成する（つまり二乗和平方根をとる）。これらの合成結果のうち最大となる画素の値を「フォーカス値」とする。このフォーカス値は、輝度変化の最大値を示す。ノイズ除去などの目的で、単純な最大値ではなく、上位数％の値を除いた中の最大値をフォーカス値としてもよい。

図９は、ボケがないクリアな画像（図９（Ａ））、ややボケた画像（図９（Ｂ））、ボケが大きい画像（図９（Ｃ））について、ソーベルフィルタ処理を実行した結果を示す。図示のように、ボケが少ないクリアな画像ほどフォーカス値の値は大きくなる。本実施形態ではこれを利用し、カメラの位置をフォーカス値が最大となるように設定することで、フォーカス調整を実現する。

図１０は、カメラの位置とフォーカス値との関係を表す図である。
以下では説明の便宜上、フォーカスが合うカメラの位置を「フォーカスポイント」とも称す。図１０（Ａ）に示すように、カメラがフォーカスポイントに近づく方向に移動を開始した場合（白矢印参照）、フォーカス値は徐々に増加し、フォーカスポイントにおいて最大となる。そして、フォーカスポイントを通り過ぎると、フォーカス値は減少に転じる。言い換えれば、カメラがフォーカスポイントを通り過ぎることで、フォーカス値の最大値が定まることとなる。

そこで、画像処理部１３２は、オペレータの手動操作により主軸１８が軸線方向に移動されるごとに撮像画像を取得する。このとき、オペレータは、撮像領域内にワークＷのエッジ部が含まれる状態を維持する。輝度変化算出部１３４は、各撮像画像について上述のようにフォーカス値を算出する。このフォーカス値は、ワークＷにおけるエッジ部の輝度変化の最大値に対応する。信号出力部１３６は、主軸１８の移動に伴って順次算出されるフォーカス値が増加から減少に転じたときに、その旨を示す信号（以下「第１アラート信号」ともいう）を出力する。第１アラート信号の出力は、主軸１８の移動方向を反転させる契機となる（詳細後述）。

一方、図１０（Ｂ）に示すように、カメラがフォーカスポイントから離れる方向に移動を開始した場合（黒矢印参照）、フォーカス値は直後に減少し始める。これは、フォーカス調整のためにカメラを移動させるべき方向とは反対方向（つまり誤った方向）に主軸１８が移動していることを意味する。信号出力部１３６は、このように主軸１８の移動開始からフォーカス値が減少し始めたとき、その旨を示す信号（以下「第２アラート信号」ともいう）を出力する。第２アラート信号の出力は、主軸１８の移動方向を停止又は反転させる契機となる（詳細後述）。

図１１は、フォーカス値の表示例を表す図である。
フォーカス調整が行われる際、輝度変化算出部１３４により算出されたフォーカス値は、カメラの位置情報と対応づけられる形で輝度情報格納部１４０に順次格納される。表示処理部１３８は、逐次算出されるフォーカス値を撮像画像Ｐ０に重ねる態様でモニタ５０の画面に表示させる（図１１（Ａ）～（Ｄ））。

オペレータは、画面に表示されるフォーカス値を見ながら、そのフォーカス値が最大となるように主軸１８を移動させ、カメラの位置を調整する。具体的には図示のように、カメラの位置がＰａにある状態を基準位置として主軸１８の移動を開始したとする。このとき、画面からフォーカス値が６００であることを確認できる（図１１（Ａ））。

主軸１８が下降してカメラの位置が変化するにつれてフォーカス値が増加することを確認できる（図１１（Ｂ），（Ｃ））。ただし、カメラが位置Ｐｃに到達するだけでは、フォーカス位置が最大であることは判別できない。その後の位置Ｐｄにおいてフォーカス値が減少したことをもって、それ以前にフォーカス値が最大となる位置が存在したことを認識できる（図１１（Ｃ），（Ｄ））。

本実施形態では、フォーカス値が増加から減少に転じることで第１アラート信号が出力されると、表示処理部１３８は、画面にその旨を示す「ピーク通過」などのダイアログ（図示略）を表示させる（「第１アラート表示」ともいう）。表示処理部１３８は、オペレータに対してフォーカス値が最大となる位置を通り過ぎたことを報知する「報知部」として機能する。

オペレータは、画面上のフォーカス値を確認しながら主軸１８の移動を操作するが、この第１アラート表示がなされることで、直近のフォーカス値が最大値であると認識できる。オペレータは、このとき主軸１８の移動を反転させる。その反転移動によりフォーカス値が最大となったときに主軸１８を停止させる。つまり、フォーカス値が最大となる位置Ｐｃで主軸１８を停止させることでフォーカス調整を完了できる。

本実施形態のようにオペレータの手動操作によりフォーカス調整を行う場合、主軸１８を一度反転するだけではフォーカス値の最大値を直ちに認知できないことも想定される。その場合、オペレータが主軸１８の反転を複数回繰り返すことで第１アラート表示が複数回なされることもあり得るが、その都度主軸１８の速度を緩めるなどしてフォーカス値の最大値を認知できるようになる。なお、表示処理部１３８は、フォーカス値が最大となったタイミングでそのフォーカス値とともに「最大」などのダイアログを画面に表示させてもよい。オペレータは、フォーカス値が最大となる位置で主軸１８を停止させればよい。

なお、フォーカス調整の開始直後にフォーカス値が減少し始めることで第２アラート信号が出力されると、表示処理部１３８は、画面にその旨を示す「移動方向が逆！」などのダイアログ（図示略）を表示させる（「第２アラート表示」ともいう）。オペレータは、この第２アラート表示がなされることで、カメラが移動すべき方向とは反対方向が移動していることを把握でき、主軸１８の移動を直ちに反転させることができる。

図１２は、フォーカス調整処理を表すフローチャートである。
本処理は、主軸１８に撮像ユニット３０が取り付けられた状態でオペレータの手動操作がなされることを契機に実行される。まず、オペレータの手動操作に基づいて操作制御装置１０１が制御指令を出力し、加工制御装置１０２が主軸１８の移動制御を開始する（Ｓ１０）。画像処理部１３２は、主軸１８の移動とともに撮像画像を取得し（Ｓ１２）、モニタ５０の画面に表示させる（Ｓ１４）。

輝度変化算出部１３４は、順次取得される撮像画像についてフォーカス値を算出する（Ｓ１６）。表示処理部１３８は、算出されたフォーカス値を撮像画像に重ねて表示する（Ｓ１８）。このフォーカス値が主軸１８の移動開始時のものであってその値が減少した場合（Ｓ２０のＹ）、信号出力部１３６が第２アラート信号を出力する。このとき、表示処理部１３８は、主軸１８に移動方向が逆であることをオペレータに報知するための第２アラート表示を実行する（Ｓ２２）。移動開始時のフォーカス値の減少でなければ（Ｓ２０のＮ）、Ｓ２２の処理をスキップする。

また、フォーカス値が増加から減少に転じた場合には（Ｓ２４のＹ）、カメラがフォーカスポイントを通過したことをオペレータに報知するための第１アラート表示を実行する（Ｓ２６）。フォーカス値が増加中の場合には（Ｓ２４のＮ）、Ｓ２６の処理をスキップする。オペレータは、第１アラート表示がなされると主軸１８の移動を反転させる。

以上の処理をフォーカス調整の終了条件が成立するまで繰り返す（Ｓ２８のＮ）。この終了条件については適宜設定できる。例えば、フォーカス調整終了ボタンを設け、そのボタンが選択されることを終了条件としてもよい。あるいは、フォーカス値が最大の位置で１８が停止されることを終了条件としてもよい。フォーカス調整の終了条件が成立すれば（Ｓ２８のＹ）、本処理を終了する。

以上、実施形態に基づき工作機械１について説明した。
本実施形態によれば、内部的に算出されるフォーカス値が数値として画面に明示されるため、オペレータはその数値を見ながら正確にフォーカス調整を行うことができる。人間の肉眼に頼ることなくフォーカス状態を正確かつ迅速に把握できるため、フォーカス調整の作業効率を高めることができる。

以上、本発明の好適な実施形態について説明したが、本発明はその特定の実施形態に限定されるものではなく、本発明の技術思想の範囲内で種々の変形が可能であることはいうまでもない。

［変形例１］
図１３は、変形例に係るフォーカス調整のための画面例を表す図である。
上記実施形態では述べなかったが、ワークＷの表面に複数の凹凸がある場合など、ワークＷの形状によってはフォーカス調整の対象部分を絞り込む必要がある場合が想定される。本変形例では、このような場合に対応可能な処理が含まれる。

本変形例では、撮像領域に対象部Ｆ１および対象部Ｆ２の複数のフォーカス対象が含まれている。対象部Ｆ１は平面視円形状の穴であり、対象部Ｆ２は平面視三角形状の突起である。いずれの対象部もエッジ部を有する。オペレータは画面上の操作により、いずれかの対象部をフォーカス対象として選択することができる。

具体的には、図１３（Ａ）に示すように、画面上の２点を指定することにより、その２点を含む領域Ｒｅを指定できる。図示の例では、画面上の点Ａと点Ｂの座標値を入力することで、これらの２点を対角上に含む正方形の領域Ｒｅが指定される。領域Ｒｅが、撮像画像Ｐ０におけるフォーカス値の算出領域、つまり「輝度変化の算出領域」となる。あるいは、カーソルキーなどで画面上の２点を指定することで同様の領域指定がなされてもよい。それにより、その領域に含まれる対象部Ｆ２がフォーカス対象として設定される。フォーカス調整においては、対象部Ｆ２のエッジ部についてフォーカス値が算出され、上記実施形態と同様の処理が行われる。

あるいは、モニタ５０がタッチパネルとして機能する場合、図１３（Ｂ）に示すように、オペレータが自身の指等で画面にタッチすることで領域指定を行えるようにしてもよい。例えば、画面にタッチした状態でいずれかの対象部を取り囲むように指等を操作することで領域指定されるようにしてもよい。あるいは、画面をドラッグすることで、ドラッグの起点と終点を対角上に含む正方形が領域指定されるようにしてもよい。

［変形例２］
図１４は、他の変形例に係るフォーカス調整方法を示す図である。
上記実施形態では述べなかったが、撮像ユニット３０又はその周辺に光源を設け、その光源の表示態様によりフォーカス値を示唆してもよい。具体的には、撮像ユニット３０の外周面にＬＥＤ２１０を取り付け、表示処理部１３８がその表示態様を制御してもよい。

例えば、フォーカス調整の開始時にＬＥＤ２１０を第１色（例えば緑）で点滅させる（図１４（Ａ））。そして、カメラがフォーカスポイントに近づくにつれてＬＥＤ２１０の点滅周期を短くする（図１４（Ｂ））。フォーカス値が最大になったとき、つまりカメラがフォーカスポイントに位置したときにＬＥＤ２１０を点灯状態とする（図１４（Ｃ））。カメラの位置がフォーカスポイントを通り過ぎると、ＬＥＤ２１０を第２色（例えば赤）で点滅させてオペレータに報知する（図１４（Ｄ））。表示処理部１３８は、信号出力部１３６が第１アラート信号を出力したときに第２色による点滅表示（「第１アラート表示」ともいう）を行う。

なお、フォーカス調整の開始直後にカメラが移動すべき方向とは反対方向が移動することでフォーカス値が減少し始めた場合には、信号出力部１３６が第２アラート信号を出力する。表示処理部１３８は、信号出力部１３６が第２アラート信号を出力したときに第２色による点灯表示（「第２アラート表示」ともいう）を行う。

フォーカス値とＬＥＤ２１０の表示態様との対応関係は、輝度情報格納部１４０に格納される。ただし、既に述べたように、フォーカス値の最大値はカメラの位置がフォーカスポイントを通り過ぎた後でなければ定まらない。このため、図１４（Ｃ）に示す表示がなされるのは、図１４（Ｄ）に示す第１アラート表示に基づいてオペレータが主軸１８の移動を反転させた後ということになる。

図１５は、ＬＥＤ２１０の取付構造の例を表す図である。
本変形例では、複数のＬＥＤ２１０が撮像ユニット３０の外周面に沿って等間隔で配設される。例えば、図１５（Ａ）に示すように、ＬＥＤ２１０として４つのＬＥＤ２１０ａを設けてもよい。これらのＬＥＤ２１０ａは、機能部３２の外周面に軸線を中心に９０度の間隔をあけて配設される。このような構成により、オペレータは、主軸１８の回転角度にかかわらずＬＥＤ２１０ａの表示態様を確認できる。すなわち、フォーカス値を認識できる。なお、ＬＥＤ２１０ａの設置数は４つ（４方向）に限らず、８つ（８方向）とするなど適宜設定できる。

あるいは、図１５（Ｂ）に示すように、ＬＥＤ２１０としてシート状のＬＥＤ２１０ｂを設けてもよい。ＬＥＤ２１０ｂは、撮像ユニット３０の外周面に巻き付けられる。このような構成であっても、オペレータは、主軸１８の回転角度にかかわらずＬＥＤ２１０ｂの表示態様を確認できる。

図１６は、変形例に係るフォーカス調整処理を表すフローチャートである。
本処理は、主軸１８に撮像ユニット３０が取り付けられた状態でオペレータの手動操作がなされることを契機に実行される。なお、Ｓ１０～Ｓ１６は上記実施形態と同様であるため、説明を省略する。

表示処理部１３８は、輝度変化算出部１３４により算出されたフォーカス値に応じた態様でＬＥＤ２１０を表示させる（Ｓ１７）。このフォーカス値が主軸１８の移動開始時のものであってその値が減少した場合（Ｓ２０のＹ）、信号出力部１３６が第２アラート信号を出力する。このとき、表示処理部１３８は、主軸１８に移動方向が逆であることを報知するための第２アラート表示を実行する（Ｓ２２）。移動開始時のフォーカス値の減少でなければ（Ｓ２０のＮ）、Ｓ２２の処理をスキップする。

また、フォーカス値が増加から減少に転じれば、つまりカメラの位置が、フォーカス値が最大となるフォーカスポイントを通過すれば（Ｓ２４のＹ）、信号出力部１３６が第１アラート信号を出力する。このとき、表示処理部１３８は、カメラがフォーカスポイントを通過したオペレータに報知するための第１アラート表示を実行する（Ｓ２６）（図１４（Ｄ）参照）。また、輝度変化算出部１３４は、それまで逐次記憶されたフォーカス値の最大値を特定する（Ｓ２７）。これによりそれ以降、カメラがフォーカスポイントに到達したタイミングでその旨を報知するＬＥＤ２１０の表示がなされる（図１４（Ｃ）参照）。オペレータは、第１アラート表示がなされると主軸１８の移動を反転させる。フォーカス値が増加中の場合には（Ｓ２４のＮ）、Ｓ２６およびＳ２７の処理をスキップする。

以上の処理をフォーカス調整の終了条件が成立するまで繰り返す（Ｓ２８のＮ）。この終了条件については、上記実施形態と同様に適宜設定できる。フォーカス調整の終了条件が成立すれば（Ｓ２４のＹ）、本処理を終了する。

本変形例によれば、オペレータは、主軸１８と一体に動作するＬＥＤ２１０を観察することでフォーカス調整を行えるようになる。このため、主軸１８とモニタ５０の画面の双方に注意を振り向ける必要がなくなる。すなわち、オペレータは、フォーカス調整の際に撮像ユニット３０とワークＷとが衝突しないよう注意を払う必要があるところ、上記実施形態の構成では、主軸１８と画面の双方を見ながら作業を行わなければならない。この点、本変形例では主軸１８側のみに意識を集中させればよいため、作業性を高めることができる。

なお、本変形例に上記実施形態の表示を併用させてもよいことは言うまでもない。オペレータは、主軸１８側に意識を集中させつつ必要に応じて適宜画面を参照し、フォーカス値そのものを確認してもよい。

［変形例３］

図１７は、他の変形例に係るフォーカス調整処理を表すフローチャートである。
本変形例では、オペレータの手動操作ではなく、自動でフォーカス調整を行う。本処理は、例えばオペレータの操作入力により図示略のオートフォーカスボタンが選択されたことを契機に実行される。なお、本変形例のようにオートフォーカスを実現する場合、図２に示した画像処理装置１００は、操作制御装置１０１を介することなく、加工制御装置１０２に直接接続されてもよい。

オートフォーカスボタンが操作されると、制御指令部１３０がフォーカス調整の実行を指令する。制御指令部１３０が制御指令を出力し、加工制御装置１０２が主軸１８を基準位置に移動させて一旦待機させる（Ｓ１１０）。続いて、主軸１８の一方向（軸線方向下方）への移動を開始する（Ｓ１１２）。画像処理部１３２は、主軸１８の移動とともに所定周期で撮像画像を取得する（Ｓ１１４）。表示処理部１３８は、撮像画像をモニタ５０の画面に表示させる（Ｓ１１６）。

輝度変化算出部１３４は、順次取得される撮像画像についてフォーカス値を算出し（Ｓ１１８）、輝度情報格納部１４０に記憶させる（Ｓ１２０）。そして、フォーカス値が増加から減少に転じると（Ｓ１２２のＹ）、制御指令部１３０は、主軸１８の移動を停止させる（Ｓ１２４）。輝度変化算出部１３４は、それまで逐次記憶されたフォーカス値の最大値を特定して記憶する（Ｓ１２６）。そして、制御指令部１３０は、主軸１８の反対方向（軸線方向上方）への移動を開始させる（Ｓ１２８）。フォーカス値が増加中の間は（Ｓ１２２のＮ）、Ｓ１２４～Ｓ１２８の処理をスキップする。

そして、フォーカス値が最大値となるまでＳ１１４～Ｓ１２８の処理を繰り返す（Ｓ１３０のＮ）。フォーカス値が最大であるか否かは、Ｓ１２６で記憶された最大値に基づいて判定される。フォーカス値が最大値となると（Ｓ１３０のＹ）、主軸１８の移動を停止させる（Ｓ１３２）。これにより、フォーカス調整が完了する。

より詳細には、フォーカス値が増加から減少に転じることで信号出力部１３６が第１アラート信号を出力した時点で、制御指令部１３０が主軸１８の停止指令を出力してもよい。輝度変化算出部１３４は、第１アラート信号が出力されたときに演算対象としていた撮像画像の一つ前の撮像画像にフォーカスが合っていると判定してもよい。制御指令部１３０は、その一つ前の撮像画像が撮像された位置に主軸１８を反転移動させるよう移動指令を出力してもよい。

本変形例によれば、フォーカス調整が自動で行われるため、オペレータの作業負担がほとんどない。フォーカス値を画面に表示する必要もなく、フォーカス調整を正確に行うことができる。

［その他の変形例］
上記実施形態では、画像処理装置１００を工作機械１の外部コンピュータとして例示した。変形例においては、画像処理装置を工作機械の内部に組み込んだ内部コンピュータとしてもよい。具体的には、操作制御装置１０１と一体に組み込むなどしてもよい。

上記実施形態では、主軸の軸線とカメラの光軸とを一致させ、フォーカス調整の際に主軸をその軸線方向に移動させる構成を例示した。変形例においては、カメラの光軸を主軸の軸線からずらし、主軸をカメラの光軸方向に移動させてもよい。例えば、カメラの光軸が主軸の軸線と直角となるように撮像ユニットを構成し、主軸をＺ軸方向ではなく、Ｘ軸方向やＹ軸方向に移動させてもよい。

上記実施形態では、フォーカス値が増加から減少に転じたときの「第１アラート表示」、およびフォーカス調整の開始直後にフォーカス値が減少し始めたときの「第２アラート表示」のそれぞれについてダイアログを表示させる例を示した。変形例においては、例えば表示中のフォーカス値やその背景部分をハイライト表示するなどを採用してもよい。具体的には、図１１に示す画面において、フォーカス値を囲む領域をハイライト表示してもよい。第１アラート表示についてはそのハイライト表示を点滅表示とし、第２アラート表示についてはそのハイライト表示を点灯表示とするなどしてもよい。

上記実施形態や変形例２では、表示処理部１３８が「報知部」として機能し、フォーカス値が最大となる位置を通り過ぎたことを表示によって報知する構成を例示した。他の変形例においては、「報知部」としてスピーカやブザーを音源とする音声出力部を設け、人の声や効果音等の音声により報知してもよい。上記変形例２では、図１４に示したように光源の表示態様によりフォーカス値の大きさを報知する構成を例示した。他の変形例においては、その表示態様を音声態様に置き換えてもよい。

具体的には、フォーカス調整の開始時に特定の時間間隔で音を出力し、カメラがフォーカスポイントに近づくにつれてその音の周期を短くしてもよい。フォーカス値が最大になったとき、つまりカメラがフォーカスポイントに位置したときに周期が最短の断続音としてもよい。カメラの位置がフォーカスポイントを通り過ぎると、連続音とすることでオペレータに注意を喚起してもよい。

上記実施形態では、フォーカス調整の際にカメラをフォーカスポイントよりも上方で待機させ、調整開始とともに下方へ移動させる例を示した。変形例においては、カメラをフォーカスポイントよりも下方で待機させ、調整開始とともに上方へ移動させるようにしてもよい。また、横型のマシニングセンタなどの場合には、カメラを横方向（Ｘ，Ｙ軸方向）に移動させてフォーカス調整してもよい。

上記実施形態では、図１２に示したように、フォーカス調整の開始直後にフォーカス値が減少し始めた場合に第２アラート表示をするものの、主軸１８の停止および反転をオペレータの手動操作に委ねる例を示した。変形例においては、第２アラート表示の実行とともに主軸１８を自動停止させてもよい。すなわち、制御指令部１３０が操作制御装置１０１又は加工制御装置１０２に対して主軸停止指令を出力するようにしてもよい。

上記変形例１（図１３参照）では、オペレータの操作画面をモニタ５０の画面とする例を示したが、画像処理装置１００の画面（ユーザインタフェース処理部１１０の入力部１２０：図６参照）としてもよい。

上記実施形態では、フォーカス値の算出に際してソーベルフィルタを用いる例を示した。変形例においては、プレヴィットフィルタ、ラプラシアンフィルタその他のフィルタを用いてもよい。

上記実施形態では、工作機械として、回転する工具をワークに対して移動させるマシニングセンタを例示したが、回転するワークに対して工具を移動させるターニングセンタであってもよいし、材料をレーザで溶かしながら積層加工する付加加工機であってもよい。また、これらの機能を複合的に備える複合加工機であってもよい。

工作機械がターニングセンタである場合、タレットが「取付部」として機能する。タレットに撮像部を取り付けてワークを撮像する。また、工作機械内のアームロボットに取付部を設けてもよい。いずれにしても、撮像ユニット３０（撮像部）は、「工作機械の取付部」に着脱可能に取り付けられる。

なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。

１ 工作機械、２ 加工装置、４ 操作盤、１４ 主軸ヘッド、１６ テーブル、１８ 主軸、３０ 撮像ユニット、３２ 機能部、３８ シャンク、５０ モニタ、５２ 操作パネル、６４ 自動運転ボタン、６６ 手動軸送りボタン、１００ 画像処理装置、１０１ 操作制御装置、１０２ 加工制御装置、１０４ ツール交換部、１０６ ツール格納部、１１０ ユーザインタフェース処理部、１１２ データ処理部、１１４ データ格納部、１１６ 通信部、１３０ 制御指令部、１３２ 画像処理部、１３４ 輝度変化算出部、１３６ 信号出力部、１３８ 表示処理部、１４０ 輝度情報格納部、２１０ ＬＥＤ、Ｗ ワーク、ｈ 穴。

Claims (7)

1. ワークを保持するための保持部と、前記ワークを撮像するための撮像部を取り付け可能な取付部とを有する工作機械の前記取付部に前記撮像部が取り付けられた状態で撮像した画像を処理する画像処理装置であって、
   前記撮像部の撮像領域内に前記ワークのエッジ部が含まれた状態で前記取付部が所定の軸線方向に移動されるごとに撮像画像を取得する画像処理部と、
   各撮像画像について前記エッジ部の輝度変化を算出する輝度変化算出部と、
   前記取付部が前記所定の軸線方向に移動して順次取得される撮像画像について算出された前記輝度変化の最大値が増加から減少に転じたときに、信号を出力する信号出力部と、
   を備える、画像処理装置。
2. 前記撮像部が取り付けられた前記取付部の移動を制御する取付部制御部をさらに備える、請求項１に記載の画像処理装置。
3. 前記撮像画像を表示部に表示させる表示処理部と、
   オペレータの操作入力を受け付ける入力部と、
   をさらに備え、
   前記輝度変化算出部は、オペレータの操作入力に基づいて前記撮像画像における輝度変化の算出領域を限定する、請求項１又は２に記載の画像処理装置。
4. 前記信号が出力されるときに、オペレータに対して前記撮像部のフォーカス値が最大となる位置を通り過ぎたことを示す報知を行う報知部をさらに備える、請求項１～３のいずれかに記載の画像処理装置。
5. 前記報知部は、前記取付部が軸線方向一方向へ移動する過程で前記報知を行った後、前記取付部が軸線方向反対方向に移動された場合、その移動過程で各撮像画像について算出される前記輝度変化の最大値に応じて報知の態様を変化させる、請求項４に記載の画像処理装置。
6. 前記信号出力部は、前記取付部の軸線方向への移動開始後に各撮像画像について算出された前記輝度変化の最大値が増加することなく減少したときにその旨を示す信号を出力する、請求項１～５のいずれかに記載の画像処理装置。
7. ワークを保持するための保持部と、前記ワークを撮像するための撮像部と、前記撮像部を取り付け可能な取付部と、前記取付部に前記撮像部が取り付けられた状態で撮像した画像を処理する画像処理装置と、を備える工作機械であって、
   前記画像処理装置は、
   前記撮像部の撮像領域内に前記ワークのエッジ部が含まれた状態で前記取付部が所定の軸線方向に移動されるごとに撮像画像を取得する画像処理部と、
   各撮像画像について前記エッジ部の輝度変化を算出する輝度変化算出部と、
   前記取付部が前記所定の軸線方向に移動して順次取得される撮像画像について算出された前記輝度変化の最大値が増加から減少に転じたときに、信号を出力する信号出力部と、
   を含む、工作機械。

Images