JP2022051155A - プレスブレーキ、画像出力装置及び画像出力方法 - Google Patents

Abstract

【課題】撮像画像の中から注視物体を効率よく視認することができるプレスブレーキを提供する。【解決手段】カメラ５０は、プレスブレーキ本体１０において上部テーブル２６及び下部テーブル２２が曲げ加工を行う作業領域を撮像して、撮像画像ＩＤを出力する。測距装置５５は、撮像画像ＩＤに映し出される物体までの距離を検出して、物体と距離とが関連付けられた距離データＤＤを生成する。映像処理装置６０は、距離データＤＤに基づいて、作業領域の中で注視すべき物体である注視物体を撮像画像ＩＤから切り出した注視画像ＣＤを生成し、ユーザが利用可能な対象機器に注視画像ＣＤを出力する。【選択図】図３

Description

本発明は、プレスブレーキ、画像出力装置及び画像出力方法に関する。

特許文献１には、プレスブレーキの作業領域を複数の撮像装置で撮像し、複数の撮像装置で撮像した撮像画像を表示手段に表示することが開示されている。

米国特許出願公開第２０１９／０１７６２０１号明細書

しかしながら、プレスブレーキの構造は複雑であるため、撮像装置で撮像される撮像画像には、ユーザが注視したい物体である注視物体の他に、様々な物体が映り込んでいる。加えて、プレスブレーキは、全体的に同系色で構成されている。そのため、ユーザが表示手段を確認したときに、撮像画像の中から注視物体を効率よく注視することが困難であるという不都合がある。

本発明は、上記問題に鑑みて成されたものであり、その目的は、撮像画像の中から注視物体を効率よく視認することができるプレスブレーキ、画像出力装置及び画像出力方法を提供する。

１又はそれ以上の実施形態の第１の態様によれば、プレスブレーキ本体と、撮像装置と、測距装置と、映像処理装置と、を有するプレスブレーキが提供される。プレスブレーキ本体は、上部金型を保持する上部テーブルと下部金型を保持する下部テーブルとを備え、上部テーブルが下部テーブルに対して相対的に上下動することで板状のワークに対して曲げ加工を行う。撮像装置は、プレスブレーキ本体において上部テーブル及び下部テーブルが曲げ加工を行う作業領域を撮像して、撮像画像を出力する。測距装置は、撮像画像に映し出される物体までの距離を検出して、物体と距離とが関連付けられた距離データを生成する。映像処理装置は、距離データに基づいて、作業領域の中で注視すべき物体である注視物体を撮像画像から切り出した注視画像を生成し、ユーザが利用可能な対象機器に注視画像を出力する。

１又はそれ以上の実施形態の第２の態様によれば、撮像装置と、測距装置と、映像処理装置と、を有する画像出力装置が提供される。撮像装置は、上部金型を保持する上部テーブルが、下部金型を保持する下部テーブルに対して相対的に上下動することで板状のワークに対して曲げ加工を行う作業領域を撮像して、撮像画像を出力する。測距装置は、撮像画像に映し出される物体までの距離を検出して、物体と距離とが関連付けられた距離データを生成する。映像処理装置は、距離データに基づいて、作業領域の中で注視すべき物体である注視物体を撮像画像から切り出した注視画像を生成し、ユーザが利用可能な対象機器に注視画像を出力する。

１又はそれ以上の実施形態の第３の態様によれば、以下の工程を実行する画像出力方法が提供される。第１の工程は、プレスブレーキ本体において、上部テーブル及び下部テーブルが曲げ加工を行う作業領域を撮像装置で撮像して、撮像画像を出力する。第２の工程は、撮像画像に映し出される物体までの距離を検出して、物体と距離とが関連付けられた距離データを生成する。第３の工程は、距離データに基づいて、作業領域の中で注視すべき物体である注視物体を撮像画像から切り出した注視画像を生成し、第４の工程は、ユーザが利用可能な対象機器に注視画像を出力する。

本発明によれば、撮像画像の中から注視物体を効率よく視認することができる。

図１は、第１の実施形態に係るプレスブレーキの全体構成を模式的に示す正面図である。 図２は、第１の実施形態に係るプレスブレーキの全体構成を模式的に示す側面図である。 図３は、第１の実施形態に係るプレスブレーキの制御系の構成を示すブロック図である。 図４は、測距装置から注視領域の上端面及び下端面までの距離を示す説明図である。 図５は、上端面の距離分布及び下端面の距離分布を示す説明図である。 図６は、注視領域を定義する定義情報の説明図である。 図７は、第１の実施形態に係るプレスブレーキの動作を示すフローチャートである。 図８は、撮像画像と距離データとの位置合わせの概念を示す説明図である。 図９は、撮像画像と、切出処理によって撮像画像から生成される注視画像を示す説明図である。 図１０は、注視画像の別の形態を示す説明図である。 図１１は、第２の実施形態に係るプレスブレーキの全体構成を模式的に示す側面図である。 図１２は、注視領域を定義する定義情報を示す説明図である。 図１３は、定義情報の補正概念を示す説明図である。 図１４は、定義情報の補正概念を示す説明図である。 図１５は、撮像画像と距離データとを１ユニットのセンサで構成したプレスブレーキの制御系の構成を示すブロック図である。

（第１の実施形態）
図面を参照して、本実施形態に係るプレスブレーキを説明する。プレスブレーキは、プレスブレーキ本体１０と、ＮＣ装置４０と、カメラ５０と、測距装置５５と、映像処理装置６０と、表示装置７０とを備えている。

図１から図３を用いて、プレスブレーキ本体１０の構成を説明する。図面に示される「ＦＦ」、「ＦＲ」、「Ｌ」、「Ｒ」及び「Ｕ」は、「Ｄ」は、前方向、後方向、左方向、右方向及び下方向をそれぞれ指している。

図１又は図２において、プレスブレーキ本体１０は、一対の金型により板状のワーク（板金）Ｗに対して曲げ加工を行う加工機である。プレスブレーキ本体１０は、下部テーブル２２と、上部テーブル２６と、を備えている。

下部テーブル２２は、本体フレーム１６の下部に設けられ、左右方向に延在している。下部テーブル２２は、下部金型であるダイ１４を保持する。下部テーブル２２の上端側には、下部金型ホルダ２４が取り付けられ、下部金型ホルダ２４には、ダイ１４が装着されている。

上部テーブル２６は、本体フレーム１６の上部に設けられ、左右方向に延在している。上部テーブル２６は、下部テーブル２２の上方に、下部テーブル２２と対向するように設けられている。上部テーブル２６は、上部金型であるパンチ１２を保持する。上部テーブル２６の下端側には、上部金型ホルダ２８が取り付けられ、上部金型ホルダ２８には、パンチ１２が装着されている。

上部テーブル２６は、左右に設けた一対の油圧シリンダ３０の昇降駆動によって、下部テーブル２２に対して上下動するように構成されている。個々の油圧シリンダ３０は、ポンプ及びモータを主体に構成されるアクチュエータを動作させることにより昇降駆動される。上部テーブル２６の上下方向の位置は、図示されていないリニアエンコーダなどの位置検知センサによって検知される。位置検知センサによって検知された位置情報は、ＮＣ装置４０に供給される。

プレスブレーキ本体１０は、上部テーブル２６を上下動させる構成に代わりに、下部テーブル２２を上下動させる構成であってもよい。すなわち、上部テーブル２６は、下部テーブル２２に対して相対的に上下動する構成であればよい。

本体フレーム１６には、上部テーブル２６をカバーする、図示されていないテーブルカバーが固定的に取り付けられている。上部テーブル２６が上下動しても、テーブルカバーは上下動せずに、静止した状態を維持する。

プレスブレーキ本体１０において、ワークＷは、例えばダイ１４上に載置される。上部テーブル２６を下降させると、ワークＷはパンチ１２とダイ１４とによって挟まれて折り曲げられる。

下部テーブル２２の前方には、作業者Ｍによって足踏み操作が行われるフットスイッチ３６が設置されている。作業者Ｍが足踏み操作を行うと、フットスイッチ３６は、起動信号を出力する。起動信号は、上部テーブル２６の下降動作を開始するための信号である。

下部テーブル２２の後方には、ワークＷをダイ１４に対して前後方向に位置決めするためのバックゲージ３８が設けられている。バックゲージ３８は、ワークＷの端面を突き当て可能な突き当て部材３９を有している。突き当て部材３９は、バックゲージ３８から前方に向かって突き出している。突き当て部材３９の前後方向の位置は調節可能である。

プレスブレーキ本体１０において、下部テーブル２２及びその周囲、並びに上部テーブル２６及びその周囲を含む３次元空間は、下部テーブル２２と上部テーブル２６とが曲げ加工を行う作業領域に相当する。この作業領域の中に、作業領域の中でも注視すべき注視領域ＧＲが定義される。

注視領域ＧＲは、左右方向、前後方向及び前後方向に広がった略立方体の３次元空間である。図１及び図２に示すように、注視領域ＧＲの上端面Ｆａ１は、注視領域ＧＲの下端面Ｆａ２よりも小さいサイズに設定されており、注視領域ＧＲは、上方に向かって窄んだ形状を有している。注視領域ＧＲの上端面Ｆａ１が、注視領域ＧＲの下端面Ｆａ２よりも小さいサイズに設定されている理由は、カメラ５０及び測距装置５５の画角に準じているためである。

例えば、注視領域ＧＲにおける左右方向の範囲は、下部金型ホルダ２４に装着されたダイ１４と、上部金型ホルダ２８に装着されたパンチ１２とを含むように設定されている。また、注視領域ＧＲにおける上下方向の範囲は、下部テーブル２２の上端側と、上部テーブル２６の下端側とを含むように設定されている。上下方向の範囲は、上部テーブル２６が最も上昇した位置（全開位置）にあるときを基準としている。

また、注視領域ＧＲにおける前後方向の範囲は、下部テーブル２２及び上部テーブル２６を中心に前後にそれぞれ所定距離が確保されるように設定される。所定距離は、前後方向におけるワークＷの長さ、下部テーブル２２からバックゲージ３８までの距離などを考慮して決定されている。

このように設定される注視領域ＧＲには、作業領域の中で注視すべき物体である注視物体が含まれる。注視物体は、例えば、パンチ１２、ダイ１４、バックゲージ３８、プレスブレーキ本体１０に載置されるワークＷ、並びに作業者Ｍの手及び腕などである。

注視領域ＧＲは、ワークＷのサイズ、パンチ１２及びダイ１４のレイアウト、並びに突き当て部材３９の位置に係わらず一定の範囲及び位置に設定してもよい。もっとも、注視領域ＧＲは、パンチ１２及びダイ１４のレイアウト、突き当て部材３９の位置に応じた範囲及び位置に設定してもよい。

ＮＣ装置４０は、プレスブレーキ本体１０を制御する制御装置である。ＮＣ装置４０は、一対の油圧シリンダ３０を昇降駆動して、上部テーブル２６の上下動を制御する。ＮＣ装置４０は、位置検知部によって検知される位置情報に基づいて、上部テーブル２６の上下方向の位置を制御する。

カメラ５０は、注視領域ＧＲを中心とする作業領域を撮像して、撮像画像ＩＤを出力する撮像装置である。カメラ５０は、上部テーブル２６のテーブルカバーに取り付けられており、上部テーブル２６の後方に配置されている。カメラ５０は、注視領域ＧＲの上方から、注視領域ＧＲ及びその周囲の領域を撮像する。テーブルカバーに取り付けられたカメラ５０は、上部テーブル２６が上下動したとしても上下動することなく、同じ位置を維持する。

作業者Ｍが作業する場合、作業者Ｍはプレスブレーキ本体１０と正対するように、プレスブレーキ本体１０の前方に起立する。作業者Ｍの視線は、上部テーブル２６、パンチ１２、下部テーブル２２、ダイ１４などによって妨げられるため、上部テーブル２６及び下部テーブル２２よりも後方の作業領域の視認性が低下する。上部テーブル２６及び下部テーブル２２よりも後方の作業領域には、パンチ１２及びダイ１４の裏面側、バックゲージ３８、バックゲージ３８に突き当てられるワークＷの後方領域などが存在する。カメラ５０で上部テーブル２６の上方かつ後方から作業領域を撮像することで、作業者Ｍの視認性が低い後方の作業領域をカメラ５０の撮像範囲でカバーすることができる。

ここで、カメラ５０が作業領域を撮像するという状況は、カメラ５０の撮像範囲、すなわち画角内に注視領域ＧＲが含まれていればよい。したがって、カメラ５０から観測した際に、上部テーブル２６、上部金型ホルダ２８、パンチ１２、下部テーブル２２、下部金型ホルダ２４、ダイ１４などのプレスブレーキ本体１０の構造物によって注視領域ＧＲの一部が遮られるような状況であってもよい。

カメラ５０は、ＣＣＤ(Charge Coupled Device)、又はＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を備えている。カメラ５０は、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。カメラ５０は、映像処理装置６０からの制御信号に応じて作業領域を撮像して、撮像画像ＩＤを取得する。カメラ５０は、取得した撮像画像ＩＤを映像処理装置６０に対して出力する。

図３に示すように、測距装置５５は、観測範囲に含まれる物体までの距離を検出して、物体と距離とが関連付けられた距離データＤＤを生成する測距センサである。測距装置５５は、例えば、観測範囲に対して光を投光するＬＥＤなどの投光器と、撮像素子とを備えている。測距装置５５は、投光器が光を発してから、その光が物体で反射して撮像素子で受光されるまでの時間であるＴＯＦ(Time Of Flight)を、画素毎に計測する。測距装置５５は、画素毎の計測結果に基づいて、物体までの距離を画素毎に検出する。測距装置５５によって生成される距離データＤＤは、観測範囲における距離の２次元分布に相当する。

図３に示すように、測距装置５５は、カメラ５０と同様、上部テーブル２６のテーブルカバーに取り付けられており、上部テーブル２６の後方に配置されている。測距装置５５は、カメラ５０と概ね同じ位置に配置されており、測距装置５５の観測範囲も、カメラ５０の撮像範囲と概ね一致している。これにより、測距装置５５は、注視領域ＧＲの上方から、注視領域ＧＲ及びその周囲の領域に存在する物体までの距離を検出する。換言すれば、測距装置５５は、カメラ５０の撮像画像ＩＤに映し出される物体までの距離を検出して、距離データＤＤを生成する。

測距装置５５は、カメラ５０と同様、映像処理装置６０からの制御信号に応じて距離データＤＤを取得し、取得した距離データＤＤを映像処理装置６０に対して出力する。

測距装置５５によって生成される距離データＤＤの解像度（画素数）は、カメラ５０から出力される撮像画像ＩＤの解像度（画素数）と同じである。しかしながら、距離データＤＤの解像度（画素数）は、撮像画像ＩＤの解像度（画素数）と異なっていてもよい。

図３において、映像処理装置６０は、カメラ５０によって撮像した撮像画像ＩＤを表示装置７０に表示する。映像処理装置６０は、プレスブレーキ本体１０が曲げ加工を行う状況を撮像した撮像画像ＩＤをそのまま表示するのではなく、撮像画像ＩＤから注視物体を切り出した注視画像ＣＤを表示する。

映像処理装置６０は、カメラ５０及び測距装置５５に対して所定の周期で制御信号を出力し、カメラ５０から撮像画像ＩＤを周期的に取得するとともに、映像処理装置６０から距離データＤＤを周期的に取得する。映像処理装置６０からカメラ５０及び測距装置５５に出力される制御信号は同期している。したがって、カメラ５０による撮像タイミングと、測距装置５５による測距タイミングとは同期している。

映像処理装置６０は、ＣＰＵ、ＲＯＭ、ＯＢＭ、及びＩ／Ｏインターフェースなどを主体に構成されるマイクロコンピュータで構成される。映像処理装置６０のＣＰＵがＲＯＭなどから処理内容に応じた各種プログラム及びデータを読み出し、ＲＡＭに展開し、展開した各種プログラムを実行することにより、マイクロコンピュータは、映像処理装置６０が備える複数の情報処理回路として機能する。本実施形態では、ソフトウェアによって映像処理装置６０が備える複数の情報処理回路を実現する例を示すが、各情報処理回路を実行するための専用のハードウェアを用意してもよい。

映像処理装置６０は、複数の情報処理回路として、記憶部６１と、物体特定部６２と、画像切出部６３と、画像出力部６４とを備えている。

記憶部６１は、注視領域ＧＲの範囲を定義する定義情報を記憶している。定義情報は、測距装置５５からの距離によって注視領域ＧＲの範囲を定義している。図１及び２に示すように、注視領域ＧＲの上端面Ｆａ１は、注視領域ＧＲの上端に対応する水平面である。上下方向を基準とした場合、測距装置５５と上端面Ｆａ１との間の距離は、上端面Ｆａ１のいずれの場所でも距離Ｄ１となる。一方、注視領域ＧＲの下端面Ｆａ２は、注視領域ＧＲの下端に対応する水平面である。上下方向を基準とした場合、測距装置５５と下端面Ｆａ２との間の距離は、下端面Ｆａ２のいずれの場所でも距離Ｄ２となる。

図４に示すように、上端面Ｆａ１に、上端面Ｆａ１と同一サイズの基準板を配置し、測距装置５５によって基準板までの距離を測定する。測距装置５５は、距離データＤＤを構成する画素毎に、基準板上の観測点ＯＢijで反射した反射光を受光し、観測点ＯＢijと測距装置５５との間の直線距離Ｄijを計測する。このような計測が行われることにより、測距装置５５により上端面Ｆａ１の距離分布が計測される。上端面Ｆａ１の距離分布は、上端面Ｆａ１の位置、すなわち観測点ＯＢij毎に固有の距離Ｄijを有する。下端面Ｆａ２の距離分布についても同様である。

記憶部６１に記憶される情報には、上端面Ｆａ１の距離分布と、下端面Ｆａ２の距離分布とが含まれている。図５に示すように、上端面Ｆａ１の距離分布は、測距装置５５から注視領域ＧＲの上端面Ｆａ１を観測したときの２次元的な距離分布を示す情報であり、画素毎に距離Ｄijが関連付けられている。下端面Ｆａ２の距離分布は、測距装置５５から注視領域ＧＲの下端面Ｆａ２を観測したときの２次元的な距離分布を示す情報であり、画素毎に距離Ｄijが関連付けられている。

記憶部６１に記載される情報により、注視領域ＧＲの上端面Ｆａ１までの距離と、注視領域ＧＲの下端面Ｆａ２までの距離とをそれぞれ認識することができる。したがって、図６に示すように、注視領域ＧＲの上端面Ｆａ１までの距離以上、注視領域ＧＲの下端面Ｆａ２までの距離以下の範囲が、注視領域ＧＲの範囲を示す定義情報として機能する。

なお、上端面Ｆａ１の距離分布及び下端面Ｆａ２の距離分布の取得方法は、上端面Ｆａ１及び下端面Ｆａ２に基準板を配置して基準板までの距離を実際に計測する以外にも、別の方法で取得してもよい。例えば、注視領域ＧＲと測距装置５５との位置的な関係を考慮することにより、幾何学な計算により上端面Ｆａ１の距離分布及び下端面Ｆａ２の距離分布を求めてもよい。

物体特定部６２は、定義情報と、測距装置５５から出力された距離データＤＤとに基づいて、注視物体を特定する。物体特定部６２は、撮像画像ＩＤに映し出された物体の中で、物体までの距離Ｄijが注視領域ＧＲ内にある物体を注視物体として特定する。

画像切出部６３は、注視物体を撮像画像ＩＤから切り出した注視画像ＣＤを生成する。画像切出部６３によって生成された注視画像ＣＤは、画像出力部６４に出力される。

画像出力部６４は、注視画像ＣＤを表示装置７０に出力する。また、画像出力部６４は、注視画像ＣＤを画像記憶装置８０に出力してもよい。画像記憶装置８０は、所定容量の注視画像ＣＤを記憶することができる。作業者Ｍを含むユーザは、コンピュータを介して画像記憶装置８０に記憶された注視画像ＣＤを利用することができる。

表示装置７０は、情報を表示する表示パネル７１を備えている。表示装置７０は、フットスイッチ３６を操作する作業者Ｍから視認可能な位置に配置されている。表示装置７０の表示パネル７１には、画像出力部６４から出力される注視画像ＣＤが表示される。なお、表示装置７０は、作業者Ｍの操作に応じて、画像出力部６４から出力される注視画像ＣＤと、撮像画像ＩＤとを切り替えて表示してもよい。また、表示装置７０の表示パネル７１には、注視画像ＣＤ以外にも、ＮＣ装置４０から出力される情報などを表示することもできる。

図７に記載されるフローチャートを参照し、本実施形態に係る画像出力方法を説明する。このフローチャートに示す処理は、映像処理装置６０によって所定の周期で実行される。

ステップＳ１０において、画像切出部６３は、制御信号をカメラ５０に出力して、カメラ５０から撮像画像ＩＤを取得する。

ステップＳ１１において、物体特定部６２は、制御信号を測距装置５５に出力して、測距装置５５から距離データＤＤを取得する。

説明の便宜上、ステップＳ１０の処理とステップＳ１１の処理とを分けているが、ステップＳ１０の処理とステップＳ１１の処理とは、撮像画像ＩＤの撮像タイミングと、物体に対する測距タイミングとが同期するように実行されることが望ましい。

測距装置５５から出力される距離データＤＤは、撮像画像ＩＤと対応するように、予め前処理が施される。カメラ５０と測距装置５５との位置がオフセットしている場合、図８に示すように、同一物体に対応する撮像画像ＩＤの画素ＰＡijの位置（座標）と、距離データＤＤの画素ＰＢijの位置（座標）とがずれていることがある。物体特定部６２は、座標変換などの周知の画像処理技術を用い、距離データＤＤを補正する。これにより、距離データＤＤの画素ＰＢijの座標は、撮像画像ＩＤの画素ＰＡijの座標と対応する画素ＰＣijの座標へと補正される。

距離データＤＤの補正処理は、特定の画素だけではなく、距離データＤＤを構成する全ての画素を対象に行われる。これにより、同一物体についての距離データＤＤの座標と、撮像画像ＩＤの座標とが一致する。したがって、距離データＤＤは、撮像画像ＩＤと対応する画素ＰＣij毎に、画素ＰＣijに映し出された物体と距離とが関連付けられたデータに相当する。距離データＤＤの補正処理は、測距装置５５が行う必要はなく、距離データＤＤを取得した物体特定部６２が実行してもよい。

ステップＳ１２において、物体特定部６２は、距離データＤＤを構成する画素ＰＣijの中から、処理対象となる対象画素ＰＣijを抽出する。ステップＳ１２の処理を初めて実行する場合、物体特定部６２は、距離データＤＤの中で左上に位置する画素ＰＣijといったように、予め設定されている画素ＰＣijを対象画素ＰＣijとして抽出する。一方、ステップＳ１２の処理を２回目以降に実行する場合には、後述するステップＳ１７で更新される処理座標情報に従って、対象画素ＰＣijを抽出する。

ステップＳ１３において、物体特定部６２は、記憶部６１に記憶された定義情報を参照し、対象画素ＰＣijの座標と対応する注視領域ＧＲの範囲を特定する。

ステップＳ１４において、物体特定部６２は、対象画素ＰＣijの距離Ｄijが注視領域ＧＲ内にあるか否かを判断する。具体的には、物体特定部６２は、対象画素ＰＣijの距離Ｄijが、注視領域ＧＲの上端面Ｆａ１までの距離以上、且つ、注視領域ＧＲの下端面Ｆａ２までの距離以内であるか否かを判断する。対象画素ＰＣijの距離が注視領域ＧＲ内にある場合には、ステップＳ１４で肯定されるので、ステップＳ１５の処理に進む。一方、対象画素ＰＣijの距離が注視領域ＧＲの外にある場合には、ステップＳ１４で否定されるので、ステップＳ１５の処理をスキップしてステップＳ１６の処理に進む。

ステップＳ１５において、物体特定部６２は、対象画素ＰＣijを注視物体として特定する。物体特定部６２は、対象画素ＰＣijの座標情報を、注視物体の座標情報として画像切出部６３に出力する。

ステップＳ１６において、物体特定部６２は、処理完了か否かを判断する。距離データＤＤを構成する全ての画素ＰＣijが対象画素ＰＣijとして抽出されていない場合、物体特定部６２は、処理未完了と判断する。この場合、ステップＳ１６で否定されるので、ステップＳ１７の処理に進む。一方、距離データＤＤを構成する全ての画素ＰＣijが対象画素ＰＣijとして抽出されている場合、物体特定部６２は、処理完了と判断する。この場合、ステップＳ１６で肯定されるので、ステップＳ１８の処理に進む。

ステップＳ１７において、物体特定部６２は、処理座標情報を更新する。処理座標情報は、ステップＳ１２の処理において対象画素ＰＣijとして抽出する画素ＰＣijを指定する情報である。物体特定部６２は、距離データＤＤの中で未だ抽出されていない画素ＰＣijが対象画素ＰＣijとなるように、処理座標情報を更新する。

ステップＳ１８において、画像切出部６３は、図９に示すように、撮像画像ＩＤから注視対象を切り出す処理を行い、切り出した画像を注視画像ＣＤとして生成する。画像切出部６３は、物体特定部６２によって特定された注視物体の座標情報を参照し、撮像画像ＩＤの中から、注視物体の情報と対応する画素ＰＡijを抽出する。画像切出部６３は、抽出した画素ＰＡijで構成された画像を、注視画像ＣＤとして生成する。画像切出部６３は、注視画像ＣＤを画像出力部６４に出力する。

ステップＳ１９において、画像出力部６４は、表示装置７０に対して注視画像ＣＤを出力する。注視画像ＣＤが入力された表示装置７０は、注視画像ＣＤを表示パネル７１に表示する。

このように本実施形態に係るプレスブレーキは、距離データＤＤに基づいて、作業領域の中で注視すべき物体である注視物体を撮像画像ＩＤから切り出した注視画像ＣＤを生成し、ユーザが利用可能な対象機器に注視画像ＣＤを出力する映像処理装置６０を備えている。

この構成によれば、距離データＤＤを生成することで、撮像画像ＩＤに映し出された物体までの距離を認識することができる。距離データＤＤは、物体と距離とが関連付けられたデータであるため、映像処理装置６０は、距離データＤＤを参照することで、カメラ５０で撮像された物体のうち、注視領域ＧＲ内に存在する注視物体と、注視領域ＧＲ外に存在する物体とを切り分けることができる。これにより、映像処理装置６０は、カメラ５０から注視物体を切り出した注視画像ＣＤを生成することができる。そして、映像処理装置６０が注視画像ＣＤを対象機器に出力することで、ユーザは対象機器を介して注視画像ＣＤを利用することができる。注視画像ＣＤは、注視物体を切り出した画像であるため、撮像画像ＩＤをそのまま視認する場合と比較して、注視物体を簡単に視認することができる。その結果、画像を観察した際に、注視物体を効率よく視認することができる。

本実施形態において、対象機器は、プレスブレーキ本体１０の作業者Ｍによって視認される表示装置７０である。この構成によれば、表示装置７０を利用することで、作業者Ｍはリアルタイムで注視画像ＣＤを確認することができる。そして、画像を観察した際に、注視物体を効率よく視認することができる。

もっとも、対象機器は、作業者Ｍなどのユーザがコンピュータを介して利用可能な画像記憶装置８０であってもよい。この構成によれば、コンピュータを介して画像記憶装置８０を利用することで、ユーザは必要なタイミングで注視画像ＣＤを確認することができる。そして、画像を観察した際に、注視物体を効率よく視認することができる。

本実施形態において、注視領域ＧＲは、上部テーブル２６の下端側と下部テーブル２２の上端側との間に設定される３次元空間である。

この構成によれば、曲げ加工に関与する物体が、注視領域ＧＲに含まれることとなる。これにより、映像処理装置６０は、曲げ加工に関与する物体が切り出された注視画像ＣＤを適切に生成することができる。注視画像ＣＤは、注視物体を切り出した画像であるため、撮像画像ＩＤをそのまま視認する場合と比較して、注視物体を簡単に視認することができる。その結果、画像を観察した際に、注視物体を効率よく視認することができる。

本実施形態において、注視領域ＧＲは、パンチ１２、ダイ１４、ワークＷを突き当てるバックゲージ３８、及びワークＷを含むように設定されている。

この構成によれば、映像処理装置６０は、パンチ１２、ダイ１４、バックゲージ３８、及びワークＷといった注視物体が切り出された注視画像ＣＤを適切に生成することできる。注視画像ＣＤは、注視物体を切り出した画像であるため、撮像画像ＩＤをそのまま視認する場合と比較して、注視物体を簡単に視認することができる。その結果、画像を観察した際に、注視物体を効率よく視認することができる。

注視領域ＧＲは、ワークＷを保持する作業者Ｍの手及び腕を含むように設定されていてもよい。この構成によれば、作業者Ｍは、表示装置７０に表示される手及び腕を把握することで、作業者Ｍ自身の体とワークＷとの位置関係などを把握し易くなる。これにより、作業性の向上を図ることができる。

距離データＤＤは、撮像画像ＩＤと対応する複数の画素ＰＣij毎に、物体（すなわち、撮像画像ＩＤに映し出された物体と対応する画素ＰＣij）と距離とが関連付けられたデータである。この構成によれば、距離データＤＤには、画素ＰＣij毎に物体と距離とが関連付けられている。映像処理装置６０は、距離データＤＤに基づいて撮像画像ＩＤの切り出しを行うことで、画素単位で注視物体を切り出すことができる。これにより、映像処理装置６０は、注視物体に対応する注視画像ＣＤを簡素な処理で切り出すことができる。

なお、本実施形態において、距離データＤＤは、画素ＰＣij毎に物体と距離とが関連付けられている。しかしながら、距離データＤＤは、単一の画素ＰＣijに限らず、複数の隣接画素ＰＣijからなる画素ブロック毎に物体と距離とが関連付けられたデータであってもよい。また、距離データＤＤは、画像処理技術により認識される物体毎にグルーピングされる画素ブロック毎に物体と距離とが関連付けられたデータであってもよい。加えて、距離データＤＤは、撮像画像ＩＤを構成する全ての画素ＰＡijと対応している必要はない。距離データＤＤは、撮像画像ＩＤを構成する全画素ＰＡijの中から選択される特定の画素ＰＡijのみを対象として、画素毎に物体と距離とが関連付けられているデータであってもよい。

本実施形態において、映像処理装置６０は、定義情報と距離データＤＤとに基づいて、撮像画像ＩＤに映し出される物体の中で注視物体を特定している。この構成によれば、映像処理装置６０は、定義情報を参照することで、注視領域ＧＲの範囲を測距装置５５からの距離で認識することができる。したがって、映像処理装置６０は、定義情報と距離データＤＤとを参酌して物体までの距離を比較することで、注視物体を特定することができる。これにより、注視物体を適切に特定することができる。

本実施形態において、定義情報は、注視領域ＧＲの上端面Ｆａ１の距離分布と、注視領域ＧＲの下端面Ｆａ２の距離分布と、を含んでいる。この構成によれば、映像処理装置６０は、上端面Ｆａ１の距離分布から認識される距離以上、且つ下端面Ｆａ２の距離分布から認識される距離以下となる物体を、注視物体として認識することができる。これにより、映像処理装置６０は、注視物体を適切に特定することができる。

なお、本実施形態では、注視領域ＧＲに存在する物体を注視物体と認識し、この注視物体に対応する注視画像ＣＤを生成している。しかしながら、画像切出部６３は、注視画像ＣＤの中から、より特徴的な部位のみを切り出した画像を生成してもよい。例えば図１０に示すように、画像切出部６３は、ワークＷとバックゲージ３８の突き当て部材３９との突き当て位置に注目した切り出し画像ＣＤ１、ＣＤ２、及びワークＷに対するパンチ１２の当接位置に注目した切り出し画像ＣＤ３を生成してもよい。この場合、画像切出部６３は、注目すべき位置に対応する座標の情報を保持し、注視物体に対応する注視画像ＣＤからさらに画像の切り出しを行えばよい。

（第２の実施形態）
図１１を参照し、第２の実施形態に係るプレスブレーキについて説明する。第２の実施形態に係るプレスブレーキは、上部テーブル２６の後方に配置されたカメラ５０及び測距装置５５の他に、上部テーブル２６の前方に配置されたカメラ５１及び測距装置５６を備えている。以下、上部テーブル２６の後方に配置されたカメラ５０及び測距装置５５を第１カメラ５０及び第１測距装置５５といい、上部テーブル２６の前方に配置されたカメラ５１及び測距装置５６を第２カメラ５１及び第２測距装置５６という。

第１カメラ５０及び第１測距装置５５は、上部テーブル２６の後方に配置されている。そのため、注視領域ＧＲのうち、下部テーブル２２及び上部テーブル２６よりも前方に位置する物体は、上部テーブル２６、パンチ１２、下部テーブル２２、ダイ１４などの構造物によって遮られ、第１カメラ５０及び第１測距装置５５から捉えることができないことがある。また、第１カメラ５０及び第１測距装置５５の画角によっては、注視領域ＧＲの全域をカバーできないことがある。そこで、上部テーブル２６の前方に第２カメラ５１及び第２測距装置５６を配置し、注視領域ＧＲの全域をカバーしている。

図１２に示すように、第１測距装置５５により注視領域ＧＲの上端面Ｆａ１を検出することで、第１測距装置５５の観測範囲に対応する上端面Ｆａ１の距離分布が取得される。第１測距装置５５により注視領域ＧＲの下端面Ｆａ２を検出することで、第１測距装置５５の観測範囲に対応する下端面Ｆａ２の距離分布が生成される。そして、２つの距離分布より、第１測距装置５５の観測範囲に対応する注視領域ＧＲの範囲である第１定義情報が定義される。

同様に、第２測距装置５６により注視領域ＧＲの上端面Ｆａ１を検出することで、第２測距装置５６の観測範囲に対応する上端面Ｆａ１の距離分布が取得される。第２測距装置５６により注視領域ＧＲの下端面Ｆａ２を検出することで、第２測距装置５６の観測範囲に対応する下端面Ｆａ２の距離分布が生成される。そして、２つの距離分布より、第１測距装置５５の観測範囲に対応する注視領域ＧＲの範囲である第２定義情報が定義される。

このような構成のプレスブレーキにおいて、映像処理装置６０の物体特定部６２は、第１及び第２定義情報と、第１測距装置５５及び第２測距装置５６の距離データＤＤとに基づいて、注視領域ＧＲに存在する注視物体を特定する。映像処理装置６０の画像切出部６３は、注視物体を撮像画像ＩＤから切り出した注視画像ＣＤを生成する。

注視物体を特定する処理、及び注視画像ＣＤを生成する処理は、例えば、次に示すような方法が挙げられる。すなわち、第１カメラ５０及び第１測距装置５５と、第２カメラ５１及び第２測距装置５６とで個別に処理を行い、それぞれ切り出した注視画像ＣＤを最終的に合成する方法である。

具体的には、物体特定部６２は、第１定義情報及び第１測距装置５５の距離データＤＤに基づいて、注視物体を特定する。そして、画像切出部６３は、第１測距装置５５から特定した注視物体を、第１カメラ５０の撮像画像ＩＤから切り出した注視画像ＣＤを生成する。同様に、物体特定部６２は、第２定義情報及び第２測距装置５６の距離データＤＤに基づいて、注視物体を特定する。そして、画像切出部６３は、第２測距装置５６から特定した注視物体を、第２カメラ５１の撮像画像ＩＤから切り出した注視画像ＣＤを生成する。最後に、画像切出部６３は、第１カメラ５０と第２カメラ５１との撮像範囲が重複する領域同士で画像同士が重なるように、第１カメラ５０の撮像画像ＩＤから切り出した注視画像ＣＤと、第２カメラ５１の撮像画像ＩＤから切り出した注視画像ＣＤとを合成する。これにより、画像切出部６３は、注視画像ＣＤを生成する。

この構成によれば、複数のカメラ５０、５１及び複数の測距装置５５、５６を併用することで、注視領域ＧＲの全域を効率的にカバーすることができる。

（第３の実施形態）
図１３及び図１４を参照し、第３の実施形態に係るプレスブレーキについて説明する。第３の実施形態に係るプレスブレーキは、プレスブレーキ本体１０の動作に応じて、映像処理装置６０が注視領域ＧＲの範囲を補正することにある。

図１３に示すように、上部テーブル２６のテーブルカバー３２に測距装置５５が取り付けられている構成を考える。この場合、テーブルカバー３２に取り付けられた測距装置５５は、上部テーブル２６が上下動したとしても上下動することなく、同じ位置を維持する。

上部テーブル２６が上下動すると、注視すべき領域は実質的に変化する。なぜなら、注視領域ＧＲには、パンチ１２、ダイ１４、バックゲージ３８、ワークＷ及び作業者Ｍの手などの注視物体が含まれていればよいからである。そこで、物体特定部６２は、定義情報を補正することで、注視領域ＧＲの範囲を補正することとしている。

測距装置５５と上部テーブル２６の下端側との間の距離を「Ｄ１」とした場合、記憶部６１が保有する上端面Ｆａ１の距離分布は、上部テーブル２６が全開位置にあるときの距離Ｄ１に基づいて設定されている。そこで、物体特定部６２は、上部テーブル２６の上下動に応じて、記憶部６１から読み出した上端面Ｆａ１の距離分布を補正する。具体的には、物体特定部６２は、上部テーブル２６が上下動すると、上部テーブル２６の移動量に合わせて距離Ｄ１が変動する、すなわち、上端面Ｆａ１が上下動するものとして、上端面Ｆａ１の距離分布を補正する。

つぎに、図１４に示すように、上部テーブル２６に測距装置５５が取り付けられている構成を考える。この場合、上部テーブル２６に取り付けられた測距装置５５は、上部テーブル２６の上下動に合わせて上下動する。

測距装置５５が上下動すると、注視すべき領域は実質的に変化する。なぜなら、注視領域ＧＲには、パンチ１２、ダイ１４、バックゲージ３８、ワークＷ及び作業者Ｍの手などの注視物体が含まれていればよいからである。そこで、物体特定部６２は、定義情報を補正することで、注視領域ＧＲの範囲を補正することとしている。

測距装置５５と下部テーブル２２の上端側との間の距離を「Ｄ２」とした場合、記憶部６１が保有する下端面Ｆａ２の距離分布は、上部テーブル２６が全開位置にあるときの距離Ｄ２に基づいて設定されている。そこで、物体特定部６２は、測距装置５５の上下動に応じて、記憶部６１から読み出し下端面Ｆａ２の距離分布を補正する。具体的には、物体特定部６２は、測距装置５５が上下動すると、測距装置５５の移動量に合わせて距離Ｄ２が変動する、すなわち、下端面Ｆａ２が上下動するものとして、下端面Ｆａ２の距離分布を補正する。

このように本実施形態において、映像処理装置６０は、上部テーブル２６の上下動に応じて、下端面Ｆａ２の距離分布を補正することができる。この構成によれば、映像処理装置６０は、上部テーブル２６と連動する測距装置５５の上下動に応じて、下端面Ｆａ２の距離分布を補正している。これにより、測距装置５５の上下動に応じて注視領域ＧＲの範囲を最適化することができるので、必要な注視物体のみを注視画像として切り出すことができる。

また、本実施形態において、映像処理装置６０は、上部テーブル２６の上下動に応じて、上端面Ｆａ１の距離分布を補正することができる。この構成によれば、映像処理装置６０は、上部テーブル２６の上下動に応じて、上端面Ｆａ１の距離分布を補正している。これにより、上部テーブル２６の上下動に応じて注視領域ＧＲの範囲を最適化することができるので、必要な注視物体のみを注視画像として切り出すことができる。

なお、上述した実施形態では、カメラ５０と測距装置５５とを別々の装置で構成した。図１５に示すように、カメラ５０と測距装置５５とを１ユニットのセンサ５２により構成してもよい。

例えば、センサ５２は、撮像素子５２ａと、投光器５２ｂとを備えている。センサ５２は、撮像素子５２ａが受光した反射光の強さを示す輝度信号を受信し、輝度信号に基づいて、反射信号の強さを示す輝度からなる撮像画像ＩＤを出力する画像出力部５２ｃを備える。また、センサ５２は、輝度信号に基づき、画素毎に、発光タイミングに対する受光タイミングの遅延時間を測定して、物体までの距離を示す距離データＤＤを生成する。

この構成によれば、カメラ５０と測距装置５５とを共用することができるので、装置の簡素化を図ることができる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

例えば、測距装置は撮像素子を用いる構成に限らず、レーザレーダ又は超音波センサなどを利用して２次元的な距離分布を生成する構成であってもよい。また、プレスブレーキ本体１０は、作業者ＭがワークＷを載置する構成であるが、搬送ロボットによってワークＷを載置する構成でもよい。

また、上述したプレスブレーキのみならず、撮像画像及び距離データから注視画像を出力する画像出力装置及び画像出力方法も本発明の一部として機能する。

１０ プレスブレーキ本体
１２ パンチ（上部金型）
１４ ダイ（下部金型）
２２ 下部テーブル
２６ 上部テーブル
３８ バックゲージ
５０、５１ カメラ（撮像装置）
５５、５６ 測距装置
６０ 映像処理装置
６１ 記憶部
６２ 物体特定部
６３ 画像切出部
６４ 画像出力部
７０ 表示装置
８０ 画像記憶装置
ＩＤ 撮像画像
ＤＤ 距離データ
ＣＤ 注視画像
ＧＲ 注視領域

Claims (11)

1. 上部金型を保持する上部テーブルと下部金型を保持する下部テーブルとを備え、前記上部テーブルが前記下部テーブルに対して相対的に上下動することで板状のワークに対して曲げ加工を行うプレスブレーキ本体と、
   前記プレスブレーキ本体において前記上部テーブル及び前記下部テーブルが前記曲げ加工を行う作業領域を撮像して、撮像画像を出力する撮像装置と、
   前記撮像画像に映し出される物体までの距離を検出して、前記物体と距離とが関連付けられた距離データを生成する測距装置と、
   前記距離データに基づいて、前記作業領域の中で注視すべき物体である注視物体を前記撮像画像から切り出した注視画像を生成し、ユーザが利用可能な対象機器に前記注視画像を出力する映像処理装置と、
   を有するプレスブレーキ。
2. 前記映像処理装置は、前記撮像画像に映し出される前記物体の中で、所定の注視領域内にある物体を前記注視物体として特定し、
   前記注視領域は、前記上部テーブルの下端側と前記下部テーブルの上端側との間に設定される３次元空間である
   請求項１記載のプレスブレーキ。
3. 前記注視領域は、前記上部金型、前記下部金型、前記ワークを突き当てるバックゲージ、及び前記プレスブレーキ本体に載置される前記ワークを含むように設定されている
   請求項２記載のプレスブレーキ。
4. 前記距離データは、
   前記撮像画像と対応する１又は複数の画素毎に前記物体と距離とが関連付けられたデータである
   請求項１から３のいずれか一項記載のプレスブレーキ。
5. 前記映像処理装置は、
   前記測距装置からの距離によって前記注視領域の範囲を定義する定義情報を保持し、
   前記定義情報と前記距離データとに基づいて、前記撮像画像に映し出される前記物体の距離が前記注視領域内にある前記物体を、前記注視物体として特定する
   請求項２又は３記載のプレスブレーキ。
6. 前記撮像装置は、
   前記注視領域の上方から前記注視領域を撮像し、
   前記測距装置は、
   前記注視領域の上方から前記物体までの距離を検出して前記距離データを生成し、
   前記定義情報は、
   前記測距装置から前記注視領域の上端面を観測したときの２次元的な距離分布を示す上端面の距離分布と、
   前記測距装置から前記注視領域の下端面を観測したときの２次元的な距離分布を示す下端面の距離分布と、を含む
   請求項５記載のプレスブレーキ。
7. 前記上部テーブルは、上下動可能に構成され、
   前記測距装置は、前記上部テーブルに固定されて前記上部テーブルの上下動に応じて上下動し、
   前記映像処理装置は、
   前記上部テーブルの上下動に応じて、前記下端面の距離分布を補正する
   請求項６記載のプレスブレーキ。
8. 前記上部テーブルは、上下動可能に構成され、
   前記測距装置は、前記上部テーブルの上下動に係わらず不動に固定され、
   前記映像処理装置は、
   前記上部テーブルの上下動に応じて、前記上端面の距離分布を補正する
   請求項６記載のプレスブレーキ。
9. 前記対象機器は、
   前記ユーザである前記プレスブレーキ本体の作業者によって視認される表示装置、又は前記ユーザがコンピュータを介して利用可能な記憶装置である
   請求項１から８いずれか一項記載のプレスブレーキ。
10. プレスブレーキ本体が備える上部テーブル及び下部テーブルが相対的に上下動することで板状のワークに対して曲げ加工を行う作業領域を撮像して、撮像画像を出力する撮像装置と、
    前記撮像画像に映し出される物体までの距離を検出して、前記物体と距離とが関連付けられた距離データを生成する測距装置と、
    前記距離データに基づいて、前記作業領域の中で注視すべき物体である注視物体を前記撮像画像から切り出した注視画像を生成し、ユーザが利用可能な対象機器に前記注視画像を出力する映像処理装置と、
    を有する画像出力装置。
11. 撮像装置が、プレスブレーキ本体が備える上部テーブル及び下部テーブルが相対的に上下動することで板状のワークに対して曲げ加工を行う作業領域を撮像して、撮像画像を出力し、
    前記撮像画像に映し出される物体までの距離を検出して、前記物体と距離とが関連付けられた距離データを生成し、
    前記距離データに基づいて、前記作業領域の中で注視すべき物体である注視物体を前記撮像画像から切り出した注視画像を生成し、
    ユーザが利用可能な対象機器に前記注視画像を出力する
    画像出力方法。
    

Images