JP2009218933A - Smart camera and robot vision system - Google Patents

Smart camera and robot vision system Download PDF

Info

Publication number
JP2009218933A
JP2009218933A JP2008061451A JP2008061451A JP2009218933A JP 2009218933 A JP2009218933 A JP 2009218933A JP 2008061451 A JP2008061451 A JP 2008061451A JP 2008061451 A JP2008061451 A JP 2008061451A JP 2009218933 A JP2009218933 A JP 2009218933A
Authority
JP
Japan
Prior art keywords
data
image
robot
smart camera
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008061451A
Other languages
Japanese (ja)
Other versions
JP2009218933A5 (en
Inventor
Nobuyuki Setsuda
信之 説田
Original Assignee
Seiko Epson Corp
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp, セイコーエプソン株式会社 filed Critical Seiko Epson Corp
Priority to JP2008061451A priority Critical patent/JP2009218933A/en
Publication of JP2009218933A publication Critical patent/JP2009218933A/en
Publication of JP2009218933A5 publication Critical patent/JP2009218933A5/ja
Application status is Pending legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a smart camera for achieving efficient data transfer with the high degree of freedom through a network in variously controlling a robot, and to provide a robot vision system equipped with the smart camera. <P>SOLUTION: A smart camera includes a first command interface CIF1(CIF1) and a second command interface CIF2(CIF2). In an image processing process DP, image processing is applied to image pickup data DT1 based on a command to be input from the CIF1, and result data DT3 configured of information beneficial for the control of a robot are generated, stored in a result data buffer DB3, and output to the CIF1. Meanwhile, either the image pickup data DT1 or the processed image data DT2 are selected as monitor image databased on a command to be input from the CIF2 by an image selector SW, and output from the CIF2. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮像した画像から情報を抽出するスマートカメラ、及びそのスマートカメラによる視覚機能を備えたロボットビジョンシステムに関する。 The invention, a smart camera to extract information from the captured image, and to a robot vision system with a visual function due to the smart camera.

一般に産業用ロボットは、その先端の機能部を所定の目標位置に順次移動させることで、その機能部にて被搬送物を把持して搬送することや被加工物に種々の作業を行なうことを可能にしている。 Industrial robots are typically a function of its tip that is sequentially moved to a predetermined target position, to make various operations to or workpiece conveying gripping the conveyed object by the function unit It is possible. そして、こうしたロボットの機能部の移動は、予めティーチングなどでその機能部が目標位置を順次移動するように作成された制御プログラムに基づいて行なわれることが多い。 Then, the movement of the functional portion of such a robot is often carried out based on the control program created as its functional unit taught in advance or the like moves sequentially the target position. 例えば、複数のアームが回動可能に順に連結されたロボットでは、制御プログラムによって各アームの連結部の回転角度が逐次指定された回転角度に制御されることによりその機能部が所定の位置に位置決めされる。 For example, in a robot having a plurality of arms are connected in order to rotatably positioned by the control program in the function unit is a predetermined position by the rotation angle of the connecting portion is controlled to sequentially specified angle of rotation of each arm It is.

ところで、このように予め定められた制御プログラムに基づいて制御されるロボットの機能部に所定の作業を行なわせるためには、ロボットと被加工物や被搬送物との相対的な位置関係が制御プログラムを作成したときの位置関係と同様でなければならない。 Incidentally, in this manner in order to perform a predetermined operation to the function of the robot which is controlled on the basis of a predetermined control program, the robot and the relative positional relationship control the workpiece and the conveyed object It must be the same as the positional relationship when the program was created. 詳述すると、例えば部品を基板に配置させるような場合、ロボットは所定の位置及び向きで供給された部品をその機能部の所定の位置に所定の向きで把持するとともに、その機能部を所定の向きで所定の位置に移動させることによって、本来所定の位置及び向きに配置されているはずの基板に対する部品の配置を行なうこととなる。 In detail, for example, when as to place the components on a substrate, the robot with gripping in a predetermined orientation in a predetermined position of the functional unit components supplied at a predetermined position and orientation, the function unit specified by moving to a predetermined position in the direction, and to perform the arrangement of the components to the substrate which should be arranged originally in position and orientation. そのため逆に、部品の供給位置や供給向き、あるいは部品とロボットとの相対位置、さらには基板の配置位置や向き等のいずれか一つでもそれらの関係にずれが生じるだけで、基板に対する部品の配置精度が確保できなくなる。 Conversely therefore, the supply position and the supply-facing part, or the relative positions of the parts and the robot, and even at any one of positions and orientations of the substrate only it is shifted in their relationship occurs, the part with respect to the substrate placement accuracy can not be secured.

そこで従来は、部品等の位置や向きに多少のずれがあってもロボット等が搬送する部品を基板に対して正確に配置させるために、例えば特許文献1に記載のようなシステム、すなわち画像処理をカメラと一体となった処理部にて行なうスマートカメラを用いたシステムも提案されている。 Therefore conventionally, a part of a robot or the like even if there is some deviation in the position or orientation of the part or the like is conveyed in order to accurately position the substrate, for example a system as described in Patent Document 1, that is, the image processing has also been proposed a system using a smart camera for in the processing unit became camera integrated. このシステムは基本的に、イメージセンサとそのイメージセンサの撮像した周辺画像をデータ処理する処理部としての制御モジュールとを有するスマートカメラと、駆動装置(ロボット等)を駆動制御する制御モジュールを有する駆動制御装置と、これらスマートカメラ及び駆動制御装置間での通信に供されるネットワークとによって構成されている。 In this system basically driven with a smart camera and a control module of the peripheral image captured in the image sensor and the image sensor as a processing unit for data processing, a control module that drives and controls the drive device (robot or the like) a control device is constituted of a network to be used for communication between these smart cameras and the drive control unit. すなわち、スマートカメラは、その制御モジュールにてイメージセンサを通じて撮像された部品及び基板の画像データを画像処理して基板に対する部品の相対位置のずれ量等の駆動装置の制御に必要な情報を生成するとともに、その生成した情報を駆動制御装置に伝達する。 That is, the smart camera generates information necessary for controlling the drive of the deviation amount of the relative position of the component relative to the substrate by image processing the image data of the imaged parts and the substrate through the image sensor at the control module together, and it transmits the generated information to the drive control device. また、駆動制御装置は、ネットワークを介してスマートカメラから伝達された情報に基づいて位置補正などを行い、この補正した位置に部品を搬送するなどの動作を行なう。 The drive control apparatus performs such positional correction on the basis of the information transmitted from the smart camera via the network, it performs operations such as transporting the component to the corrected position. これにより、部品の搬送位置などもリアルタイムに補正され、駆動装置による部品の位置決め精度も自ずと向上されるようになる。 Thus, even such transport position of the component is corrected in real time, so that component positioning accuracy by the driving device is also naturally improved.
米国特許第6985780号 US Patent No. 6985780

ところで、上記特許文献1に記載のシステムも含め、スマートカメラは通常、図7に示すような機能ブロックを有して、コマンドインタフェースCIFaから入力される各種指令に応答して画像処理やネットワークを介したデータ転送をはじめとする各種処理を実行する。 Incidentally, including system described in Patent Document 1, the smart camera usually has a function block as shown in FIG. 7, through the image processing or network in response to various instructions input from the command interface CIFa to execute the various processes, including data transfer. すなわち、こうしたスマートカメラでは、ネットワークに接続されたコマンドインタフェースCIFaを介して入力される「画像処理指令」や「結果データ取得指令」、「 That is, in such a smart camera, is input via the connected command interface CIFa network "image processing instruction" and "result data acquisition command", "
モニタ画像取得指令」等の各種指令に対応する所要の処理が画像処理プロセスDPaを通じて総括的に実行される。 Required processing corresponding to various instructions such as a monitor image acquisition command "is executed comprehensively through the image processing processes DPa. 例えば、「画像処理指令」の入力された画像処理プロセスDPaは、撮像データバッファDB1aから撮像データDT1aが転送された処理画像バッファDB2a中の処理画像データDT2aを取得して所要の画像処理を行なう。 For example, the input image processing process DPa of the "image processing command", the imaging data DT1a may acquire the processed image data DT2a being processed image buffer DB2a transferred performing required image processing from the imaging data buffer DB 1 a. こうした画像処理としては例えば次のような処理がある。 As such an image processing is the processing for example, as follows. すなわち、処理画像データDT2aを取得した画像処理プロセスDPaは、先の撮像データDT1aを元にしてその撮像対象物の輪郭を抽出するなどした後、これを再び処理画像データDT2aとして処理画像バッファDB2aに保存する。 That is, the image processing process DPa acquired processed image data DT2a, after such based on the previous imaging data DT1a extracts a contour of the imaged object, which the processed image buffer DB2a as again processed image data DT2a save. そして、この保存した処理画像データDT2aを基準輪郭データと比較するなどしてその適否を示す情報等から生成される結果データDT3aを求め、これを結果データバッファDB3aに保存する。 Then, the result data DT3a generated from information indicating the appropriateness determined by, for example, comparing the saved processed image data DT2a the reference outline data, and stores this result into the data buffer DB3a. その後、上記コマンドインタフェースCIFaを介して例えば「結果データ取得指令」がこの画像処理プロセスDPaに入力されると、該画像処理プロセスDPaは、結果データバッファDB3aから上記求めた結果データDT3aをコマンドインタフェースCIFaを介して出力させる。 Thereafter, when the example via a command interface CIFa "result data acquisition command" is input to the image processing process DPa, the image processing process DPa may result data buffer DB3a command interface results data DT3a obtained above from CIFa through to output.

また一方、このような視覚機能を有するロボットビジョンシステムにあっては、制御プログラムの作成や保守のための開発環境としてのコンピュータのモニタ装置等に、カメラが撮像したそのままの撮像データDT1aを表示させることもある。 On the other hand, in the robot vision system having such a visual functions, such as the computer monitor apparatus as a development environment for creating and maintaining a control program to display the raw imaging data DT1a camera is captured Sometimes. そのようなときには、コマンドインタフェースCIFaを介して画像処理プロセスDPaには「モニタ画像取得指令」が入力される。 In such a case, the image processing process DPa through the command interface CIFa "monitor image acquisition command" is input. そしてこの場合、コマンドインタフェースCIFaでは、撮像データDT1aから撮像データDT1aが転送された処理画像データDT2a中の処理画像データDT2aを取り込み、これをコマンドインタフェースCIFaを介して出力する。 Then, in this case, the command interface CIFA, captures the processed image data DT2a being processed image data DT2a the imaging data DT1A has been transferred from the imaging data DT1A, so as to output it via the command interface CIFA. ただしこの場合には、画像データのデータ量が他種のデータと比較して膨大であることから、ネットワークを通じた画像データの転送にも比較的多くの時間を要する。 In this case, however, since the amount of image data is enormous compared to other types of data, it requires a relatively large amount of time to transfer the image data through the network. すなわち、画像処理プロセスDPaによる「モニタ画像取得指令」に対する処理には通常、多くの時間を要することとなる。 That is, normally, it takes a lot of time to process for "monitor image acquisition command" by the image processing process DPa. しかも、こうした画像処理プロセスDPa自体が通常、1つの指令に基づく処理を終了してから次の指令に基づく処理を実行するようになっていることから、時間を要する処理が実行されている場合には、その次の指令に対する処理も自ずと遅延するようになる。 Moreover, such an image processing process DPa itself normally, since the consist to end the process based on one instruction to execute a process based on the next command, if the process takes a long time is running It will be delayed naturally also processing for the next command. 例えば、画像処理プロセスDPaが「モニタ画像取得指令」に基づいて画像データを転送する処理を実行している最中に「結果データ取得指令」が入力されたような場合、この「結果データ取得指令」に対する応答は、先に実行中の「モニタ画像取得指令」に対する処理が終了するまで得られない。 For example, if the image processing process DPa is "result data acquisition command" while based on the "monitor image acquisition command" running process of transferring image data as inputted, the "result data acquisition command response to "is not obtained until the processing for the" monitor image acquisition command "running ahead is completed. このため、特に「結果データ取得指令」に対する処理により取得される結果データDT3aに基づいてフィードバック制御等される駆動装置にあっては、その位置決め等にかかる精度の低下なども招きかねないこととなる。 Therefore, in the driving device is feedback-controlled and the like based on the result data DT3a acquired especially by the process for "result data acquisition command", so that the may lead well as decrease in accuracy according to the position or the like .

なお、モニタ画像を表示させる方法としては、モニタ画像をスマートカメラと専用ケーブルで接続されたモニタ専用装置に表示させることも考えられるが、小型化が要求されるスマートカメラに専用ケーブルを接続するための接続端子等を設けること自体が容易ではない。 As a method for displaying the monitor image, it is conceivable to display a monitor image on a monitor connected to a dedicated device with smart camera dedicated cables, that connect the dedicated cable to the smart camera miniaturization is required It is not easy itself providing the connection terminals and the like. また、モニタ専用装置を設けるにせよ、そのための設置スペースの確保も含めてコストアップが避けられない。 Also, whether to provide a monitor dedicated device, it can not be avoided cost, including also ensure the installation space for the.

本発明は、こうした実情に鑑みてなされたものであって、その目的は、ロボットの各種制御等に際し、ネットワークを介してのより自由度の高い、しかもより効率のよいデータ授受を可能とするスマートカメラ、及び該スマートカメラを備えるロボットビジョンシステムを提供することにある。 The present invention was made in view of these circumstances, and its object is, when various controls such as a robot, a high degree of freedom than the via the network, yet allows for more efficient data transfer Smart camera, and to provide a robot vision system with the smart camera.

本発明のスマートカメラは、イメージセンサにより撮像される撮像データを逐次データ処理して各種視覚機能の実現に必要とされる情報を含む結果データを出力するスマートカメラであって、前記撮像データが一時的に記憶保持される撮像データバッファと、前記撮像データに対する画像処理の要求指令である画像処理指令に基づいて前記撮像データバッファに保持されている撮像データから前記結果データを生成するとともに、同撮像データを所要に処理した処理画像データを生成する画像処理手段と、前記処理画像データが一時的に記憶保持される処理画像データバッファと、前記撮像データバッファ及び前記処理画像データバッファの双方にアクセス可能に構成され、前記撮像データ及び前記処理画像データの選択指令である画像選択 Smart camera of the present invention is a smart camera for outputting result data are sequentially data processing imaging data taken by an image sensor including the information needed for the implementation of the various visual functions, the imaging data temporary to the imaging data buffer to be stored and held, and generates the result data from the imaging data stored in the imaging data buffer based on the image processing command is a request command for image processing on the imaging data, the imaging image processing means for generating processed image data obtained by processing the data in a required, the processed image data buffer the processed image data is temporarily stored and held, accessible to both the imaging data buffer and the processed image data buffer is configured, an image selection the selective command for the imaging data and the processed image data 令に基づいて前記撮像データ及び前記処理画像データの一方を選択的に出力する画像選択手段と、外部から入力される前記画像処理指令を前記画像処理手段に与えるとともに、その結果生成された結果データを外部に出力する第1コマンドインタフェースと、外部から入力される前記画像選択指令を前記画像選択手段に与えるとともに、この画像選択手段から選択的に出力される前記撮像データ及び前記処理画像データの一方をモニタ画像データとして外部に出力する第2コマンドインタフェースと、を備えることを要旨とする。 An image selection means for selectively outputting one of the imaging data and the processed image data based on the decree, together with providing the image processing command input from the outside to the image processing means, the results the results generated data a first command interface for outputting to the outside, along with providing the image selection instruction input from the outside to the image selection unit, one of the imaging data and the processed image data is selectively output from the image selection means a second command interface to output to the outside as the monitor image data, and summarized in that comprises a.

スマートカメラとしてのこのような構成によれば、結果データは第1コマンドインタフェースから、また処理画像データもしくは撮像データは第2コマンドインタフェースからそれぞれ独立して出力されるようになる。 According to such a configuration as a smart camera, the result data is as a first command interface, also processes the image data or the image pickup data is output independently from the second command interface. このことにより、例えば第2コマンドインタフェースから処理画像データや撮像データといったモニタ画像データの出力中であれ、第1コマンドインタフェースからはロボット等の制御に用いられる結果データを遅延なくリアルタイムに出力することができるようになる。 Thus, for example, it is output in the monitor image data such processing image data and the imaging data from the second command interface, it is the first command interface for outputting in real time without delay result data used for controlling the robot or the like become able to.

また、撮像データを撮像データバッファに、処理画像データを処理画像バッファにそれぞれ一時的に保持させておくとともに、それらバッファから直接、撮像データまたは処理画像データがモニタ画像データとして画像選択手段から選択出力されるようにする。 Further, the imaging data in the imaging data buffer, along with previously temporarily held respectively processed image data to the processed image buffer, directly from the buffers, selecting an output from the image selection unit imaging data or processed image data as a monitor image data is is so. すなわち、第2コマンドインタフェースからのモニタ画像データの出力には画像処理手段を介す必要がなくなるため、画像処理手段は画像処理指令等に対してリアルタイムに応答できるようにもなる。 That is, since there is no need the intervention of the image processing means to the output of the monitor image data from the second command interface, the image processing means also to respond in real time to the image processing command and the like.

また本発明のスマートカメラは、上記スマートカメラにおいて、前記第1コマンドインタフェースから外部に出力される前記結果データと、前記第2コマンドインタフェースから外部に出力される前記モニタ画像データとは、バス型のネットワークからなる同一の通信経路に対して出力されることを要旨とする。 The smart camera of the present invention, in the smart camera, wherein the result data is output to the outside from the first command interface, and the monitor image data outputted to the outside from the second command interface is a bus-type and gist to be output to the same communication route from the network.

このような構成によれば、第1及び第2コマンドインタフェースといった2つのインタフェースを必要とする場合であれ、1つの物理的なネットワークポートなどによりこれらインタフェースを実現することができるようになる。 According to such a configuration, in the case that requires two interfaces such first and second command interface, it is possible to implement these interfaces by such single physical network ports. これにより、スマートカメラに要求される小型化も容易となり、例えばロボットに搭載されるような小型のスマートカメラの実現も容易になる。 Accordingly, downsizing required to the smart camera is facilitated also facilitates the realization of compact smart camera, such as is mounted on, for example, a robot.

また本発明のスマートカメラは、上記スマートカメラにおいて、前記処理画像データバッファは、前記処理画像データを複数保持可能に構成されてなり、前記画像選択手段は、それら複数の処理画像データのうちから前記画像選択指令に適合する1つを選択して出力するものであることを要旨とする。 The smart camera of the present invention, in the smart camera, the processed image data buffer, the result processed image data with a plurality held configured to be able to, said image selection means, said out of the plurality of processed image data and summarized in that in which selects and outputs one conforming to the image selection command.

このような構成によれば、第2コマンドインタフェースを通じて複数の処理画像データのうちの任意のデータを参照することができるようになる。 According to such a configuration, it is possible to refer to any data of a plurality of processed image data via the second command interface. すなわち、処理状況の検証なども容易として、スマートカメラとしての利用価値を更に高めることとができるようにもなる。 That is, as easily, such as verification of the processing status, also allow a further increase the utility value as a smart camera.

また本発明のスマートカメラは、上記スマートカメラにおいて、前記画像処理手段によって生成された前記結果データが一時的に保持される結果データバッファを更に備え、前記第1コマンドインタフェースは、前記結果データを前記結果データバッファから読み出してこれを外部に出力するものであることを要旨とする。 The smart camera of the present invention, in the smart camera, further comprising a results data buffer the result data produced by said image processing means is temporarily stored, the first command interface, the said result data results are read from the data buffer and summarized in that and outputs it to the outside.

このような構成によれば、画像処理手段が他の画像処理指令に基づく画像処理中であったとしても、それ以前の結果データを直ちに得ることが可能となり、スマートカメラとしての応答性を高めることができるようになる。 According to such a configuration, even the image processing unit was in the image processing based on the other image processing instructions, it is possible to obtain the previous result data immediately possible to enhance the response of the smart camera so that it is.

本発明のロボットビジョンシステムは、ロボットと、該ロボットに設けられてワークに対する所定の処理を行う機能部と、前記ワークを含むロボットの周辺画像を撮像しつつその撮像データを逐次データ処理して前記ロボットの視覚機能の実現に必要とされる情報を含む結果データを出力するスマートカメラと、前記ロボットの動作を制御する制御プログラムを有し、この制御プログラムと前記スマートカメラから出力される情報である結果データとに基づき前記機能部の位置決めを含めて前記ロボットの動作を制御するロボットコントローラとを備えるロボットビジョンシステムであって、前記スマートカメラが、上記記載のスマートカメラからなることを要旨とする。 Robot vision system of the present invention, a robot, a function unit for performing predetermined processing for the provided work on the robot, and successively data processing the imaging data while captured surrounding image of the robot, including the work the a smart camera for outputting a result of data including information needed for the implementation of a robot of visual function, a control program for controlling the operation of the robot is the information output control program from the smart camera results a robotic vision system and a robot controller for controlling the operation of the robot, including the positioning of the functional unit on the basis of the data, the smart camera, and summarized in that consists smart camera described above.

このような構成によれば、スマートカメラは、結果データを第1コマンドインタフェースから、また処理画像データもしくは撮像データを第2コマンドインタフェースからそれぞれ独立してロボットコントローラに出力するようになる。 According to such a configuration, the smart camera, the result data from the first command interface, also made to output to the robot controller independently processed image data or captured image data from the second command interface. このことにより、例えば第2コマンドインタフェースから処理画像データや撮像データといったモニタ画像データの出力中であれ、第1コマンドインタフェースからはロボット等の制御に用いられる結果データをロボットコントローラに遅延なくリアルタイムに出力することができるようになる。 Thus, for example, it is the second processing from the command interface image data and in the output of the monitor image data such as imaging data, from the first command interface outputs a result data used for control of the robot or the like in real time without any delay to the robot controller so that it is able to.

また、スマートカメラは、撮像データを撮像データバッファに、処理画像データを処理画像バッファにそれぞれ一時的に保持させておくとともに、それらバッファから直接、撮像データまたは処理画像データがモニタ画像データとして画像選択手段から選択出力されるようにする。 Further, the smart camera, an image selects the imaging data in the imaging data buffer, along with previously temporarily held respectively processed image data to the processed image buffer, directly from the buffers, the imaging data or the processed image data as a monitor image data to be selectively output from the means. すなわち、第2コマンドインタフェースからのモニタ画像データの出力には画像処理手段を介する必要がなくなるため、画像処理手段はロボットコントローラからの画像処理指令等に対してリアルタイムに応答できるようにもなる。 That is, the output of the monitor image data from the second command interface since it is not necessary through the image processing unit, the image processing means also to respond in real time to the image processing command and the like from the robot controller.

さらに、スマートカメラは、第1及び第2コマンドインタフェースといった2つのインタフェースを必要とする場合であれ、1つの物理的なネットワークポートなどによりこれらインタフェースを実現することができるようになる。 Furthermore, the smart camera, in the case that requires two interfaces such first and second command interface, it is possible to implement these interfaces by such single physical network ports. これにより、スマートカメラに要求される小型化も容易となり、ロボットに小型のスマートカメラを搭載するようなロボットビジョンシステムの実現も容易になる。 Accordingly, downsizing required to the smart camera is facilitated also facilitates implementation of robot vision systems, such as mounting a small smart cameras to the robot.

また、第2コマンドインタフェースを通じて複数の処理画像データのうちの任意のデータを参照することができるようになる。 Further, it is possible to refer to any data of a plurality of processed image data via the second command interface. すなわち、処理状況の検証なども容易として、このスマートカメラを用いたロボットビジョンシステムとしての利用価値を更に高めることとができるようにもなる。 That is, as easily, such as verification of the processing status, also allow a further increase the utility value as robot vision system using the smart camera.

さらにまた、スマートカメラが例えば上述した画像処理をしている場合であれ、ロボットコントローラからの結果データの要求にはリアルタイムに応答することができるようになる。 Furthermore, in the case you are smart camera, for example, the image processing described above, it is possible to respond in real time to a request for result data from the robot controller. このことから、スマートカメラによる画像データの出力の有無に影響を受けることのない制御精度の向上されたロボットビジョンシステムを提供することができる。 Therefore, it is possible to provide an enhanced robot vision system that no control accuracy affected by the presence or absence of the output of the image data by the smart camera.

また、スマートカメラからはいつでもモニタ画像データを取得することができるようにもなり、別途にモニタ専用装置等を設けなくとも、ロボットコントローラを通じてスマートカメラからのモニタ画像データをコンピュータ等のモニタ装置に表示させることができるようになる。 It also becomes possible to acquire the monitoring image data at any time from the smart camera, without separately providing a monitor dedicated apparatus or the like, displays the monitor image data from the smart camera to a monitor device such as a computer through the robot controller it is possible to. すなわち、ロボットビジョンシステムとして不要なコストアップにつながる懸念もない。 In other words, there is no concern that lead to unnecessary costs up as robot vision system.

また、本発明のロボットビジョンシステムは、上記ロボットビジョンシステムにおいて、前記ロボットビジョンシステムには前記ロボットもしくは前記スマートカメラのプログラムを作成するための開発環境が接続され、前記開発環境には前記スマートカメラからのモニタ画像データを表示可能に構成されてなることを要旨とする。 The robot vision system of the present invention, in the robot vision system, said robot vision system development environment for creating the robot or the smart camera program is connected, the the development environment from the smart camera It consists of the monitor image data can be displayed and summarized in that comprising.

このような構成によれば、ロボットやスマートカメラのプログラム作成時には必然的にロボットビジョンシステムに接続される開発環境にてスマートカメラからのモニタ画像データを表示させることができ、開発環境を含めたより効率的な統合環境の構築も容易となる。 According to this structure, efficient than when creating robot or the smart camera program inevitably can display monitor image data from the smart camera in the development environment to be connected to a robot vision system, including development environment it is easy to build integration environment.

以下、本発明にかかるスマートカメラ及びロボットビジョンシステムを具体化した一実施形態を図面に従って説明する。 Hereinafter, an embodiment of the smart camera and robot vision system according to the present invention is embodied in accordance with the accompanying drawings.
図1は、本実施形態にかかるロボットビジョンシステムについてその概要をブロック図として示したものである。 Figure 1 is a diagram showing an overview as a block diagram for a robot vision system according to the present embodiment.

図1に示すように、このロボットビジョンシステムは、ロボットシステム2と該ロボットシステム2に接続されるスマートカメラ12を中心に構成されている。 As shown in FIG. 1, the robot vision system is configured around a smart camera 12 connected to the robot system 2 and the robot system 2. そして、ロボットシステム2は、大きくはロボット10とロボットコントローラ11とを備える構成となっている。 The robotic system 2 is largely has a structure and a robot 10 and the robot controller 11. ここで、このロボットシステム2は、複数のアームがそれぞれ関節部にて連結された多関節型のロボット10を有するシステムであり、ロボット10自体は、それぞれの関節部において連結されたアーム同士を所定の相対角度に回動させてその先端の機能部Tを目標位置まで移動させることによりワークWの加工や搬送を行なう部分である。 Here, the robot system 2 has a plurality of arms is a system having a robot 10 of the articulated connected at the respective joints, the robot 10 itself, given the arms each other are connected in each of the joint portions by moving is pivoted relative angle a functional unit T of the distal end to the target position is a part for processing or conveyance of the workpiece W. なお、ロボット10の関節部には、モータやエンコーダが設けられている。 Note that the joint portion of the robot 10, the motor and the encoder is provided. また、ロボット10(機能部T)を位置制御等するロボットコントローラ11には、ロボット10の周辺画像Imを撮影するとともに、その撮像された周辺画像Imのデータを処理してロボット10の位置制御等、視覚機能の実現に必要な情報を与えるスマートカメラ12が接続されている。 Further, the robot controller 11 for position control such as the robot 10 (functional unit T) is configured to photograph the surrounding image Im of the robot 10, the position control of the robot 10 by processing the data of the captured peripheral image Im smart camera 12 to provide the information necessary to achieve the visual function is connected. さらに、ロボットコントローラ11には、ロボット10の動作を制御する制御プログラムの開発に必要な開発環境としての開発用コンピュータ13やロボット10に対する教示による制御プログラムの作成に際してティーチングの指示を入力するティーチングペンダント14等が必要に応じて接続可能になっている。 Further, the robot controller 11, a teaching pendant 14 for inputting an instruction teaching in preparing a control program according to the teachings for the development computer 13 and the robot 10 as a development environment required for the development of control programs for controlling the operation of the robot 10 etc. is made to be connected if necessary.

図2は、上記ロボットコントローラ11のハードウェア的な構成を示したものである。 Figure 2 is a diagram showing a hardware configuration of the robot controller 11. この図2に示されるように、ロボットコントローラ11には、CPUボード20、ロボット制御ボード21、デジタル入出力ボード22及びシリアル通信ボード23がそれぞれ一つのISAバス24に接続される態様にて設けられている。 As this is shown in Figure 2, the robot controller 11, CPU board 20, provided in a manner robot control board 21, a digital input and output boards 22 and the serial communication board 23 is connected to one of the ISA bus 24, respectively ing.

ここで、CPUボード20は、図3に示すように、いわゆる小型コンピュータからなり、CPU30、ROM31、RAM32、SRAM33、ISAバスインタフェース34、イーサネット(登録商標)コントローラ35及びシリアル入出力(SIO)コントローラ36のそれぞれが一つのメインバス37に接続される態様にて設けられている。 Here, CPU board 20, as shown in FIG. 3, made from a so-called small computer, CPU 30, ROM 31, RAM 32, SRAM 33, ISA bus interface 34, an Ethernet (registered trademark) controller 35 and a serial input-output (SIO) controller 36 It provided in a manner to be connected to one of the main bus 37 each have. CPU30はいわゆる中央演算処理装置であって、CPU30がRAM32をデータメモリとして用いつつROM31やSRAM33に記憶されたOS(オペレーティングシステム)や各種アプリケーションプログラム等に基づいて所定の演算を行なうことにより、ロボット10に対する位置制御指令等の生成が行なわれる。 CPU30 is a so-called central processing unit, by performing a predetermined calculation on the basis of the CPU30 is an OS (operating system) stored in the ROM31 and SRAM33 while using the RAM32 as the data memory and various application programs, the robot 10 generation of such position control command to is performed. なお、ROM31としては、保存されているOSや各種アプリケーションプログラム等を必要に応じて開発用コンピュータ13等から変更できるように、フラッシュROM等のような書き換え可能なROMを採用することが望ましい。 As the ROM 31, if necessary the OS and various application programs stored to be able to change from the development computer 13 or the like, it is desirable to employ a rewritable ROM such as a flash ROM. SRAM33は、ロボットコントローラ11の電源が遮断された場合にも図示しない電源からの電力の供給によりROM31よりも大量のデータ等を保存する事が可能なメモリであり、CPU30の処理に供される各種アプリケーションプログラムや各種データ等が保存されるとともにCPU30の演算結果も保存される。 SRAM33 is the power memory capable of storing large amounts of data such than ROM31 by supply of from a power source (not shown) when the power supply of the robot controller 11 is cut off, the various to be subjected to processing CPU30 calculation results of CPU30 with an application program and various data may be saved are saved. ISAバスインタフェース34は、メインバス37及びロボットコントローラ11のISAバス24の両方に接続されていて、CPUボード20とロボットコントローラ11のISAバス24に接続された他の各ボード21〜23との通信を可能にするインタフェースである。 ISA bus interface 34, which is connected to both the ISA bus 24 of the main bus 37 and the robot controller 11, communication with the CPU board 20 and each of the other boards 21 to 23 connected to the ISA bus 24 of the robot controller 11 is an interface that allows for. すなわち、CPUボード20にて算出された各ボード21〜23に伝達する必要のあるデータ、例えばロボット10に対する位置制御指令等は、ISAバス24を介して他の各ボード21〜23からも参照できるようになっている。 That is, data that must be transmitted to each board 21-23 calculated by the CPU board 20, for example, the position control command and the like with respect to the robot 10, can be referenced from each of the other boards 21 to 23 via the ISA bus 24 It has become way. イーサネット(登録商標)コントローラ35は、ロボットコントローラ11と他の機器とをバス型のネットワークとしてのイーサネット(登録商標)にて通信させるものであり、第1のポートP1に接続されたイーサネット(登録商標)ケーブルを介して他の機器との通信を可能とする。 Ethernet controller 35 is intended to communicate with the robot controller 11 and other devices in the Ethernet (registered trademark) as a bus type network, connected Ethernet to a first port P1 (registered trademark ) through a cable to enable communication with other devices. なお、本実施形態では、この第1のポートP1に、スマートカメラ12や開発用コンピュータ13が接続されることとなる。 In the present embodiment, in the first port P1, so that the smart camera 12 and the development computer 13 is connected. 特にスマートカメラ12は常時接続されている。 In particular smart camera 12 is always connected. 一方、開発用コンピュータ13は制御プログラムの作成時など必要に応じて接続される。 On the other hand, development computer 13 is connected as needed such as when creating the control program. なお、イーサネット(登録商標)による通信には、各機器に設定された固有のアドレスが必要であり、イーサネット(登録商標)コントローラ35やスマートカメラ12や開発用コンピュータ13にはそれぞれ別々の固有のアドレスが予め設定されている。 Incidentally, Ethernet communication over (R), a unique address set in each device requires Ethernet respective separate unique address to the controller 35 and the smart camera 12 and the development computer 13 There has been set in advance. SIOコントローラ36は、ロボットコントローラ11と他の機器とをシリアル通信させるものであり、第2のポートP2に接続された機器とのシリアル通信を可能とする。 SIO controller 36, which is a serial communication between the robot controller 11 and other equipment, enabling serial communication with a device connected to the second port P2. 本実施形態では、この第2のポートP2には、ティーチングペンダント14が接続されるが、このティーチングペンダント14は、ロボット10に対するティーチング作業を行なうとき以外は接続されていないことが通常である。 In the present embodiment, this second port P2, although the teaching pendant 14 is connected, the teaching pendant 14, except when performing teaching work for the robot 10 is generally that they are not connected.

次に、ロボット制御ボード21は、いわゆる制御コントローラからなり、図4に示すように、DSP(デジタル信号処理装置)40、ROM41、RAM42、ISAバスインタフェース43、モータ制御回路部44、ポジションカウンタ45のそれぞれが一つのメインバス46に接続される態様にて設けられている。 Next, the robot control board 21 is made a so-called controller, as shown in FIG. 4, DSP (digital signal processor) 40, ROM 41, RAM 42, ISA bus interface 43, the motor control circuit part 44, the position counter 45 each are provided in a manner to be connected to one of the main bus 46. ロボット制御ボード21では、DSP40がRAM42をデータメモリとして用いつつROM41に記憶されているファームウェアや各種プログラム及びCPUボード20の算出した位置制御指令等に基づいた所定の演算を行ない、これによってロボット10を制御するための制御信号の生成が行なわれる。 In the robot control board 21 performs a predetermined operation DSP40 is based on the calculated position control command such as the ROM41 firmware and stored in the various programs and the CPU board 20 while using the RAM42 as the data memory, whereby the robot 10 generation of a control signal for control. なお、ROM41としても、保存されたファームウェア等を必要に応じて開発用コンピュータ13等から変更できるように、フラッシュROM等のような書き換え可能なROMを採用することが望ましい。 Even a ROM 41, so that it can be changed from the development computer 13 or the like as necessary the stored firmware or the like, it is desirable to employ a rewritable ROM such as a flash ROM. ISAバスインタフェース43は、メインバス46及びロボットコントローラ11のISAバス24の両方に接続されていて、ロボット制御ボード21をロボットコントローラ11のISAバス24に接続された他の各ボード20,22,23と通信可能にするインタフェースである。 ISA bus interface 43, which is connected to both the ISA bus 24 of the main bus 46 and the robot controller 11, each of the other boards connected to the robot control board 21 to the ISA bus 24 of the robot controller 11 20, 22, 23 an interface that can communicate with. すなわち、ロボット制御ボード21は、CPUボード20にて算出された位置制御指令等を参照できるとともに、ロボット制御ボード21が算出した各種情報を他の各ボード20,22,23に参照させることができる。 That is, the robot control board 21, it is possible to see the calculated position control command and the like by the CPU board 20, it is possible to refer to various information the robot control board 21 is calculated to each of the other boards 20, 22, 23 . モータ制御回路部44には、同じくロボット制御ボード21に設けられているパワードライブ部47が接続されている。 The motor control circuit 44, the power drive unit 47 which is likewise provided in the robot control board 21 is connected. モータ制御回路部44では、DSP40にて生成された上記制御信号に基づいてロボット10に設けられたモータMに与えるべき電力を算出しつつパワードライブ部47を介してモータMに与えられる供給電力を制御する。 In the motor control circuit part 44, the supply power provided to the motor M via the power drive unit 47 while calculating the power to be supplied to the motor M provided in the robot 10 based on the control signal generated by the DSP40 Control. また、モータMに設けられた図示しないセンサにて検出された電流量等の情報がモータ制御回路部44に入力されて、モータMに与えるべき電力の算出に対するフィードバックが行なわれている。 The information of the current amount or the like which is detected by the sensor (not shown) provided in the motor M is input to the motor control circuit 44, feedback for power calculation of to be applied to the motor M is performed. ポジションカウンタ45は、ロボット10に設けられた関節部の回転角度を検出するエンコーダENに接続され、そのエンコーダENから入力される回転角度信号に基づいてロボット10の関節部の回転角度を検出する。 Position counter 45 is connected to an encoder EN to detect the rotation angle of the joint portion provided on the robot 10 detects the rotation angle of the joint portion of the robot 10 based on the rotation angle signal inputted from the encoder EN. そして、ロボット制御ボード21はその検出された回転角度を上記制御信号の生成にフィードバックさせるとともに、同ポジションカウンタ45により検出された回転角度はまた、ロボットコントローラ11のISAバス24を介してCPUボード20に取り込まれて上記位置制御指令の生成に利用される。 Then, the rotation angle robot control board 21 which is the detected causes fed back to generate the control signals, the rotation angle detected by the position counter 45 also, CPU board 20 via the ISA bus 24 of the robot controller 11 the captured and used to generate the position control command. なお、ここでは便宜上、ロボット10が有するモータM及びエンコーダENはそれぞれ1つとして説明したが、ロボット10にはこれらモータM及びエンコーダENがそれぞれ複数備えられていることが一般的である。 Note that for convenience, the motor M and an encoder EN with the robot 10 has been described respectively as one, and the robot 10 it is common that the motors M and the encoder EN are a plurality, respectively.

また、図1に示したロボットコントローラ11において、デジタル入出力ボード22は、CPUボード20から指示された情報に対応したデジタル信号を出力するとともに、入力したデジタル信号に基づいた情報をCPUボード20が取り込めるようにするボードである。 Further, the robot controller 11 shown in FIG. 1, a digital input and output boards 22 outputs the digital signal corresponding to the information instructed by the CPU board 20, the information based on the inputted digital signal is CPU board 20 it is a board to make capture. さらに、シリアル通信ボード23は、CPUボード20から指示された情報に基づいたシリアル通信用のデータをポートから出力するとともに、ポートに入力されたシリアル通信用のデータに基づいた情報をCPUボード20が取り込めるようにするボードである。 Moreover, the serial communication board 23 outputs the data for serial communication based on information instructed from the CPU board 20 from the port, the information based on the data for serial communication which is input to the port CPU board 20 it is a board to make capture.

図5は、スマートカメラ12のハードウェア的な構成を示したものである。 Figure 5 is a diagram showing a hardware configuration of the smart camera 12. スマートカメラ12は、いわゆる小型コンピュータからなる制御部12Cを内蔵する構成となっており、CPU50、ROM51、RAM52、イーサネット(登録商標)コントローラ53、ビデオインタフェース54のそれぞれが一つのメインバス55に接続される態様で設けられている。 Smart camera 12 has a structure with a built-in control unit 12C formed of a so-called small computer, CPU 50, ROM 51, RAM 52, an Ethernet (registered trademark) controller 53, each of the video interface 54 is connected to one of the main bus 55 that it is provided in a manner. CPU50はこれもいわゆる中央演算処理装置であって、CPU50がRAM52をデータメモリとして用いつつROM51に記憶されているOSや各種アプリケーションプログラムに基づいて所要の処理、例えば画像処理プロセスプログラムを実行することにより、画像データに対するデータ処理等が逐次行われる。 CPU50 can also be a so-called central processing unit, the required processing based on the OS and various application programs CPU50 is stored in the ROM51 while using the RAM52 as the data memory, for example, by executing the image processing process program , the data processing and the like for the image data is performed sequentially. なお、ROM51としては、これも保存されているOSや各種アプリケーションプログラム等を必要に応じて開発用コンピュータ13等から変更できるように、フラッシュROM等のような書き換え可能なROMを採用することが望ましい。 As the ROM 51, as also can be changed from the development computer 13 or the like according the like required an OS and various application programs are stored, it is desirable to employ a rewritable ROM such as a flash ROM . また、本実施形態において、RAM52には、所定の画像データを一時記憶保存するための撮像データバッファDB1としての領域や、処理画像バッファDB2としての領域が確保されている。 Further, in the present embodiment, the RAM 52, and the region of the imaging data buffer DB1 for storing temporarily storing predetermined image data, a region of a processed image buffer DB2 is secured. さらに、RAM52には、画像データのデータ処理により算出された情報に基づくデータを記憶するための結果データバッファDB3としての領域も確保されている。 Further, the RAM 52, also areas of the resulting data buffer DB3 for storing data based on the information calculated by the data processing of the image data is secured. イーサネット(登録商標)コントローラ53は、スマートカメラ12と他の機器とをイーサネット(登録商標)により通信させるものであり、イーサネット(登録商標)ケーブルを介して他の機器との通信を可能とする。 Ethernet controller 53 is intended to communicate the smart camera 12 and other devices through Ethernet (registered trademark), via an Ethernet cable to enable communication with other devices. 本実施形態では、このイーサネット(登録商標)コントローラ53には、ロボットコントローラ11が常時接続されている。 In the present embodiment, this Ethernet controller 53, the robot controller 11 is connected at all times. なお、イーサネット(登録商標)における通信に用いられる固有のアドレスは上述のように、このイーサネット(登録商標)コントローラ53(スマートカメラ12)自身に予め設定されている。 Incidentally, the unique address used for communication in Ethernet as described above, the Ethernet (registered trademark) controller 53 is previously set to a (smart camera 12) itself. また、イーサネット(登録商標)コントローラ53には、第1コマンドインタフェースCIF1、及び第2コマンドインタフェースCIF2がそれぞれ設けられている。 Also, the Ethernet controller 53, the first command interface CIF1, and the second command interface CIF2, respectively. これら各コマンドインタフェースCIF1,CIF2は、それぞれイーサネット(登録商標)コントローラ53により仮想的に実現されるインタフェース部であり、それぞれへの通信はイーサネット(登録商標)コントローラ53が通信データに含まれる所定のIDを判別することにより行なわれるようになっている。 Each of these command interface CIF1, CIF2 is an interface unit that is virtually implemented by the respective Ethernet controller 53, a predetermined ID communication Ethernet (registered trademark) controller 53 is included in the communication data to each adapted to be performed by determining the. すなわち、スマートカメラ12としてはイーサネット(登録商標)コントローラ53は1つであるものの、仮想的には上記2つのインタフェース部が設けられている。 That is, although the smart camera 12 Ethernet (registered trademark) controller 53 is one, the two interface units is provided in virtually. ビデオインタフェース54には、同じくスマートカメラ12に設けられているイメージセンサ56が接続されている。 The video interface 54 is also connected the image sensor 56 is provided in the smart camera 12. イメージセンサ56は、例えばCCDを撮像素子として用いたカメラであり、ロボット10の周辺画像Im、例えばロボット10が加工や把持するワークWの画像や、ロボット10の先端の機能部Tの画像を撮像してそのデータSimをビデオインタフェース54に出力する。 The image sensor 56 is a camera using such as CCD as an imaging device, capturing peripheral images Im of the robot 10, for example, an image or the workpiece W by the robot 10 to processing and gripping, the image of the functional portion T of the end of the robot 10 and it outputs the data Sim to the video interface 54. そして、ビデオインタフェース54は、イメージセンサ56を通じて撮像されたデータSimをRAM52に転送する部分であり、CPU50では、こうしてRAM52に転送されたデータ、すなわち撮像データに対して上述した所要の処理を行なうこととなる。 The video interface 54 is a portion that transfers data Sim captured through the image sensor 56 to the RAM 52, the CPU 50, thus the data transferred to the RAM 52, i.e., to perform the required processing described above to the imaging data to become.

図6は、スマートカメラ12の主に制御部12Cにおいて上記撮像データに対して所要の処理を行なうための機能の概略を機能ブロック図として示したものである。 Figure 6 is a diagram showing an outline of a function for performing a required process on the captured image data in the main control unit 12C of the smart camera 12 as a functional block diagram. なお、本実施形態では、制御部12Cには、画像処理手段としての画像処理プロセスDP及び画像選択手段としてのイメージセレクタSWが設けられている。 In the present embodiment, the control unit 12C, the image selector SW as an image processing process DP and the image selecting means as an image processing means. これら画像処理プロセスDP及びイメージセレクタSWは、RAM52に保存された画像処理プロセスプログラムまたはイメージセレクタプログラムが制御部12CのCPU50にて実行されることにより実現される機能である。 These image processing processes DP and image selector SW is a function of the stored image processes program or image selector program RAM52 are realized by being executed by CPU50 of the control unit 12C. また、スマートカメラ12の各コマンドインタフェースCIF1,CIF2には、イーサネット(登録商標)を通じてロボットコントローラ11(図1)からの各種指令(「画像処理指令」、「結果データ取得指令」、「モニタ画像データ取得指令」等)が入力されるものとする。 In addition, each command interface CIF1, CIF2 smart camera 12, Ethernet various commands from the robot controller 11 (FIG. 1) through (R) ( "image processing command", "result data acquisition command", "monitor image data shall acquire command ", etc.) is input.

次に、この図6を参照して、スマートカメラ12の制御部12Cにおける画像処理の一例について説明する。 Next, referring to FIG. 6, illustrating an example of image processing in the control unit 12C of the smart camera 12. なお、撮像データバッファDB1には、イメージセンサ56から入力されたデータSimに基づいて形成された撮像データDT1が適宜に更新されながら保存されているものとする。 Note that the imaging data buffer DB1, it is assumed that imaging data DT1 formed based on the data Sim input from the image sensor 56 is stored while being updated as appropriate.

まず、スマートカメラ12の制御部12Cにおいて、ロボットコントローラ11(図1)からの上記撮像データDT1に対する画像処理の要求指令である「画像処理指令」が第1コマンドインタフェースCIF1を介して画像処理プロセスDPに入力される。 First, the control unit 12C of the smart camera 12, the robot controller 11 (FIG. 1) is a request command for image processing on the imaging data DT1 "image processing command" via the first command interface CIF1 from the image processing process DP It is input to. そして、「画像処理指令」の入力された画像処理プロセスDPには撮像データバッファDB1に保存されている撮像データDT1が取り込まれる。 The "image processing command" imaging data DT1 to the input image processing process DP stored in the imaging data buffer DB1 of captured. 撮像データDT1が取り込まれると、画像処理プロセスDPではその取り込まれた撮像データDT1に予め定められた所要のデータ処理、いわゆる画像処理が行なわれる。 When imaging data DT1 is taken, the image processing process DP required data processing predetermined for the captured imaging data DT1, the so-called image processing is performed. そして、この画像処理を通じて、処理済の画像データである処理画像データDT2と上記視覚機能の実現に必要とされる情報を含む結果データDT3とが生成される。 Then, the through image processing, and result data DT3 including information needed for the implementation of which is the processed image data processed image data DT2 and the visual function is generated. ここで、処理画像データDT2は撮像データDT1を元に生成された画像データであり、例えば撮像データDT1として撮像された撮像対象物の輪郭情報や中心位置情報等が付加された画像データである。 Here, the processing image data DT2 are image data generated based on imaging data DT1, for example, image data contour information and center position information of the imaged object to be imaged and the like is added as the imaging data DT1. また、結果データDT3は、撮像データDT1として撮像された撮像対象物から取得される各種の情報を含むものである。 Also, result data DT3 is intended to include various types of information to be acquired from the imaging object imaged as the imaging data DT1. 具体的には、ワークW(図1)の位置や向きを示す座標情報、ワークWの形状を示す形状情報、ワークWの色合いや明暗を示す色彩情報、複数のワークW間における重なりや接触などの関係を示す配列情報、ロボット10先端の機能部T(図1)の向きや座標を示すロボット情報等などのロボット10の位置制御等に有益な数値データを含む情報である。 Specifically, coordinate information indicating the position and orientation of the workpiece W (FIG. 1), the shape information indicating the shape of the workpiece W, color information indicating a color and brightness of the workpiece W, such as overlapping and contact between a plurality of workpieces W sequence information indicating the relationship is information including beneficial numerical data to the position control of the robot 10 such as a robot information indicating the direction and coordinates of the robot 10 the tip of the functional unit T (Fig. 1). そして、画像処理プロセスDPにおいて生成された処理画像データDT2は処理画像バッファDB2に保存され、結果データDT3は結果データバッファDB3に保存される。 Then, the image processing process DP processing image data generated in DT2 is stored in the processed image buffer DB2, result data DT3 is stored result to the data buffer DB3. なお、処理画像バッファDB2には所定の複数の処理画像データDT2が保存可能であり、新たなデータが保存されるときには、既存のデータがメモリの後方位置にシフトされるとともに最後のデータは破棄されて、このシフト操作により空いた先頭の位置に新たなデータ、すなわち最新の処理画像データDT2が保存されるようになっている。 Incidentally, the processed image buffer DB2 is storable predetermined plurality of processing image data DT2, when new data is stored is the last data with existing data is shifted to the rear position of the memory are discarded Te, new data at the beginning of the position vacated by the shift operation, i.e., the most recent of the processed image data DT2 is adapted to be stored.

その後、外部のロボットコントローラ11(図1)から「結果データ取得指令」が第1コマンドインタフェースCIF1を介して画像処理プロセスDPに入力されると、該画像処理プロセスDPでは、上記結果データバッファDB3に保存した結果データDT3を同結果データバッファDB3から第1コマンドインタフェースCIF1に出力させる。 Thereafter, when the external robot controller 11 (FIG. 1) is "the result data acquisition command" is input to the image processing process DP via the first command interface CIF1, in the image processing process DP, the above results data buffer DB3 the saved results data DT3 is outputted from the result data buffer DB3 to the first command interface CIF1. それにより、ロボットコントローラ11には、スマートカメラ12からの結果データDT3が入力され、該結果データDT3に基づいてロボット10の機能部T(図1)の位置決め制御などが実行されるようになる。 Thereby, the robot controller 11 is the result data DT3 is input from the smart camera 12, so that such positioning control function section T of the robot 10 (FIG. 1) is performed based on the result data DT3.

一方、本実施形態では、ロボットコントローラ11(図1)には開発用コンピュータ13(図1)が接続されていて、そのモニタ装置にはスマートカメラ12からのモニタ画像データが表示されるようになっている。 On the other hand, in this embodiment, so the robot controller 11 (FIG. 1) have been connected to the development computer 13 (FIG. 1), the monitor image data from the smart camera 12 is displayed on the monitor device ing. すなわち、開発用コンピュータ13(図1)からスマートカメラ12に向けて発行された「モニタ画像データ取得指令」はロボットコントローラ11(図1)とスマートカメラ12の第2コマンドインタフェースCIF2を介してイメージセレクタSWに与えられる。 That is, the development computer 13 is issued toward the smart camera 12 (FIG. 1) "monitor image data acquisition command" Image selector via the robot controller 11 second command interface CIF2 (Figure 1) and the smart camera 12 It is given to the SW. この「モニタ画像データ取得指令」には、撮像データDT1と処理画像データDT2とのいずれを取得したいのかを示すモード情報が含まれていて、「実画像モード」の場合には撮像データDT1が、「処理画像モード」の場合には処理画像データDT2が、それぞれイメージセレクタSWによってモニタ画像データとして選択されるようになっている。 The "monitor image data acquisition command", the mode information indicating whether you want to get one of the imaging data DT1 and processing image data DT2 contain a, the imaging data DT1 in the case of the "real image mode", processing the image data DT2 in the case of "processing image mode", and is selected as the monitoring image data by the respective image selector SW. さらに、「処理画像モード」の場合には、何番目の処理画像データを選択したいのかを示す情報の設定も可能となっているが、特に設定されなければ、イメージセレクタSWでは処理画像バッファDB2から最新の処理画像データDT2を選択してこれを出力する。 Furthermore, in the case of "processing image mode", although a possible setting information indicating what number of the processed image data you want to select, unless specifically set, from the image selector SW in the processed image buffer DB2 select latest processing image data DT2 is output.

このため、例えばイメージセレクタSWに与えられた「モニタ画像データ取得指令」が「実画像モード」であれば、イメージセレクタSWは撮像データバッファDB1に保存されている撮像データDT1を選択し、それをモニタ画像データとして第2コマンドインタフェースCIF2から出力する。 Thus, for example, if the given image selector SW "monitor image data acquisition command" is "real image mode", the image selector SW selects the imaging data DT1 stored in the imaging data buffer DB1, it and outputs as a monitor image data from the second command interface CIF2. そして、第2コマンドインタフェースCIF2から出力されたモニタ画像データは、ロボットコントローラ11(図1)を介して開発用コンピュータ13(図1)に転送され、そのモニタ装置に表示されるようになる。 The monitor image data outputted from the second command interface CIF2 is transferred to the robot controller 11 for development through (Fig. 1) computer 13 (FIG. 1), it will be displayed on the monitor device. ちなみに、開発用コンピュータ13(図1)からスマートカメラ12に対し、このような「実画像モード」による「モニタ画像データ取得指令」の付与が逐次繰り返えされる場合、開発用コンピュータ13のモニタ装置には、スマートカメラ12を通じて撮像された撮像データDT1からなるモニタ画像データが動画のようなかたちで表示されるようになる。 Incidentally, with respect to the smart camera 12 from the development computer 13 (FIG. 1), in such a case the grant according to the "real image mode", "monitoring image data acquisition command" is sequentially repeated Kaee, a monitor device of a development computer 13 the monitor image data composed of imaging data DT1 captured through smart camera 12 is to be displayed in the form, such as video.

一方、「モニタ画像データ取得指令」が「処理画像モード」である場合には、イメージセレクタSWは処理画像バッファDB2に保存されている指定された順番の処理画像データDT2を選択しこれをモニタ画像データとして第2コマンドインタフェースCIF2から出力する。 On the other hand, when the "monitor image data acquisition command" is "processed image mode", the image selector SW is processed image buffer selected processed image data DT2 of the specified order are stored in DB2 which monitor image output from the second command interface CIF2 as data. そして、第2コマンドインタフェースCIF2から出力されたモニタ画像データは、これも同様にロボットコントローラ11を介して開発用コンピュータ13に転送され、そのモニタ装置に表示されるようになる。 The monitor image data outputted from the second command interface CIF2 is also transferred similarly to the development computer 13 through the robot controller 11, it will be displayed on the monitor device.

以上説明したように、本実施形態のスマートカメラ及びロボットビジョンシステムによれば、以下に列記するような効果が得られるようになる。 As described above, according to the smart camera and robot vision system of the present embodiment, so that effects can be obtained as listed below.
(1)結果データDT3は第1コマンドインタフェースCIF1から、また処理画像データDT2もしくは撮像データDT1は第2コマンドインタフェースCIF2からそれぞれ独立して出力されるようにした。 (1) Result data DT3 is as the first command interface CIF1, also processes the image data DT2 or imaging data DT1 are outputted independently from the second command interface CIF2. このことにより、例えば第2コマンドインタフェースCIF2から処理画像データDT2や撮像データDT1といったモニタ画像データの出力中であれ、第1コマンドインタフェースCIF1からはロボット10等の制御に用いられる結果データDT3を遅延なくリアルタイムに出力することができるようになる。 Thus, for example, it is output in the monitor image data such processing image data DT2 and the imaging data DT1 from the second command interface CIF2, without delay result data DT3 used for control such as the robot 10 from the first command interface CIF1 it is possible to output in real time.

(2)また、撮像データDT1を撮像データバッファDB1に、処理画像データDT2を処理画像バッファDB2にそれぞれ一時的に保持させておくとともに、それらバッファDB1,DB2から直接、撮像データDT1または処理画像データDT2がモニタ画像データとしてイメージセレクタSWから選択出力されるようにする。 (2) In addition, the imaging data DT1 in the imaging data buffer DB1, along with previously temporarily held respectively processed image data DT2 to the processed image buffer DB2, the buffers DB1, directly from DB2, imaging data DT1 or processing image data DT2 is to be selectively output from the image selector SW as a monitor image data. すなわち、第2コマンドインタフェースCIF2からのモニタ画像データの出力には画像処理プロセスDPを介する必要がなくなるため、画像処理プロセスDPは「画像処理指令」等に対してリアルタイムに応答できるようにもなる。 That is, since the need through the image processing process DP is eliminated in the output of the monitor image data from the second command interface CIF2, the image processing process DP also be able to respond in real time corresponding to such as "Image processing instructions".

(3)第1及び第2コマンドインタフェースCIF1,CIF2といった2つのインタフェースを必要とする構成を、1つの物理的なイーサネット(登録商標)コントローラ53により実現した。 (3) a configuration that requires two interfaces such first and second command interface CIF1, CIF2, was realized by a single physical Ethernet controller 53. これにより、スマートカメラ12に要求される小型化も容易となり、ロボット10に搭載されるような小型のスマートカメラ12の実現も容易になる。 Accordingly, downsizing required to the smart camera 12 is facilitated, realization of a small smart camera 12 as mounted on the robot 10 is facilitated.

(4)処理画像バッファDB2に複数の処理画像データDT2を保存しておくことにより、第2コマンドインタフェースCIF2を通じて複数の処理画像データDT2のうちの任意のデータを参照することができるようになる。 (4) the processed image buffer DB2 by storing a plurality of processed image data DT2, it becomes possible to refer to any data of a plurality of processed image data DT2 through a second command interface CIF2. すなわち、処理状況の検証なども容易として、スマートカメラ12としての利用価値を更に高めることとができるようにもなる。 That is, as easily, such as verification of the processing status, also allow a further increase the utility value as smart camera 12.

(5)結果データバッファDB3に先に生成された結果データDT3を保存しておくことにより、画像処理プロセスDPが他の「画像処理指令」に基づく画像処理中であったとしても、それ以前の結果データDT3を直ちに得ることが可能となり、スマートカメラ12としての応答性を高めることができるようになる。 (5) by previously results store results data DT3 generated earlier in the data buffer DB3, the image processing process DP is another even though being an image processing based on the "image processing command", earlier it can obtain results data DT3 immediately and becomes, it is possible to enhance the response of the smart camera 12.

(6)イーサネット(登録商標)コントローラ53の第2コマンドインタフェースCIF2から撮像データDT1もしくは処理画像データDT2をモニタ画像データとして出力するようにした。 (6) the Ethernet and the second command interface CIF2 (registered trademark) controller 53 to output the image pickup data DT1 or processed image data DT2 as a monitor image data. これにより、スマートカメラ12からはいつでもモニタ画像データを取得することができるようにもなり、別途にモニタ専用装置等を設けなくとも、ロボットコントローラ11を通じてスマートカメラ12からのモニタ画像データを開発用コンピュータ13のモニタ装置に表示させることができるようになる。 Thus, also becomes possible to acquire the monitoring image data at any time from the smart camera 12, without separately providing a monitor dedicated device, the development computer monitor image data from the smart camera 12 through the robot controller 11 it is possible to display on the monitor device 13. すなわち、ロボットビジョンシステムとして不要なコストアップにつながる懸念もない。 In other words, there is no concern that lead to unnecessary costs up as robot vision system.

(7)ロボット10やスマートカメラ12のプログラム作成時には必然的にロボットビジョンシステムに接続される開発用コンピュータ13にてスマートカメラ12からのモニタ画像データを表示させることができ、開発用コンピュータ13を含めたより効率的な統合環境の構築も容易となる。 (7) at the time of programming the robot 10 or a smart camera 12 inevitably at development computer 13 connected to a robot vision system can display the monitoring image data from the smart camera 12, including the development computer 13 construction of relying efficient integration environment is facilitated.

なお、上記実施形態は、例えば以下のような態様にて実施することもできる。 The above-described embodiment, for example, also be carried out in the following manner.
・上記実施形態では、データ転送機構としてイーサネット(登録商標)を用いたが、データ転送機構はイーサネット(登録商標)には限られず、その他の通信手段、例えば、シリアル通信やUSB、IEEE1394などのデータ転送機構を採用するようにしてもよい。 In the above embodiment uses an Ethernet (registered trademark) as a data transfer mechanism, the data transfer unit is not limited to the Ethernet (registered trademark), and other communication means, for example, data such as a serial communication or USB, IEEE1394 it is also possible to employ a transfer mechanism.

・上記実施形態では、イメージセンサ56の撮影素子としてCCDを採用したが、こうしたイメージセンサとしては、撮像した画像をビデオインタフェースに入力できるものであればどのようなものであってもよい。 In the above embodiment employs a CCD as an imaging element of the image sensor 56, as such a image sensor, may be any as long as it can input the captured image to the video interface.

・上記実施形態では、スマートカメラ12としてイメージセンサ56を一体に備えるものを採用したが、こうしたスマートカメラとしては、CPU等を備えた筐体部とイメージセンサを備えたカメラ部とが分離されたものを専用のケーブルにて接続するなど、これら筐体部とカメラ部とが離間されたものを採用するようにしてもよい。 In the above embodiment employs what comprises an image sensor 56 together as a smart camera 12, as such a smart camera, and a camera unit having a casing and an image sensor having a CPU or the like has been separated including connecting objects in special cable, it may be with these housing portion and the camera portion to adopt a spaced. そのようにすれば、比較的小さいカメラ部にあってはその配設の自由度が高められ、例えばロボットの先端部にカメラ部を配設するような構成も容易となる。 That way, in the relatively small camera unit increased flexibility of the arrangement, it is easy to configure such as, for example, arranging the camera unit to the tip of the robot.

・上記実施形態では、スマートカメラ12の画像処理による処理情報に基づいてロボットコントローラ11がロボット10の機能部Tの位置決め制御を行うことを想定した。 In the above embodiment, the robot controller 11 based on the processing information by image processing of the smart camera 12 is assumed to perform the positioning control of the functional unit T of the robot 10. しかし、上記ロボットビジョンシステムとしての用途はこれに限らない。 However, use of as the robot vision system is not limited to this. すなわち、スマートカメラ12の画像データ処理によりワークの位置や向き、ワークの形状、ワークの色合いや明暗、複数のワーク間における重なりや接触などの関係、ロボット10先端の機能部Tの向きや座標等の処理情報が算出される場合には、ロボットコントローラ11にこれら処理情報に基づく各種の制御を行なわせることができる。 That is, the position and orientation of the workpiece by the image data processing of the smart camera 12, the shape of the workpiece, workpiece color and brightness, relationships such as overlapping and contact between a plurality of workpieces, the orientation and the coordinates of the feature portion T of the robot 10 tip or the like If the processing information is calculated, it is possible to perform various controls based on these processing information to the robot controller 11. 例えば、ワークの形状や色合いの情報からは、当該ワークが目的の部品であるか否かの判定を行い、その結果を機能部の位置決め制御に反映させるようにすることができる。 For example, from the shape and color information of the workpiece, the workpiece is a judgment of whether the object part can be made to reflect the result to the positioning control of the function unit. また、ワークの重なり情報からは、機能部をワークへアプローチさせる特殊な軌道の算出や、機能部に複数のワークを分離させる作業などを行なわせるようにすることができる。 Also, from the overlap information of the workpiece, it can be a functional unit to carry out calculation and special trajectory to approach to the work, the work etc. to separate the plurality of workpiece functional unit. また、ロボット10に各種の制御を行う場合においても、多様な情報に基づいた制御が行えることから、より自由度の高い制御を行うこともできる。 Further, in the case of performing various kinds of control to the robot 10 also can be conducted with the control based on various information, it can be performed with higher degree of freedom control.

・その他、スマートカメラ12が処理の対象とする画像の内容も上述の内容に限られることなく任意である。 And other is any without the contents of the image smart camera 12 is to be processed are limited to the contents described above. 例えばワークの搬送装置、ワークの加工装置、他のロボットや周辺機器等に関する画像等に基づいてそれぞれ必要とされる処理を行ない、それらの物の向きや座標、形状等の情報を算出するようにしてもよい。 For example workpiece transport device, the processing device of a work, performs a process that is required respectively on the basis of the image concerning such other robots and peripherals, so as to calculate the orientation and the coordinates of those objects, the information such as the shape it may be. これらの情報を制御に用いることで、ロボットコントローラ11は、ロボット10の機能部Tに周囲にある物との干渉や接触を防ぐなどの制御を行うことができるようにもなる。 By using this information to control the robot controller 11, also it is possible to perform a control such as to prevent interference or contact with objects located around the functional portion T of the robot 10. すなわち、ロボットビジョンシステムを構成するロボットの動作を周辺環境、すなわち他の生産設備等に対してより調和したものとすることもできる。 That is, it is possible environment the operation of the robot constituting the robot vision system, i.e., be provided with more harmonious to other production facilities.

・上記実施形態では、開発用コンピュータ13のモニタ装置にスマートカメラ12からのモニタ画像データを表示させるようにした。 In the above embodiment, so as to display the monitoring image data from the smart camera 12 to a monitor device of a development computer 13. しかしこれに限らず、モニタ画像データをそのほかのコンピュータのモニタ装置やモニタ専用装置に表示させてもよい。 However, the present invention is not limited thereto, may display the monitor image data to a monitor device or a monitor-only apparatus of the other computers.

・上記実施形態では、結果データDT3を保持する結果データバッファDB3を備えたが、画像処理プロセスが画像処理に基づいて生成した結果データをコマンドインタフェースに直接出力するようにすることで結果データバッファDB3を用いない構成とすることもできる。 In the above embodiment, with a result data buffer DB3 to hold the result data DT3, the image processing process result data buffer by the outputs directly to the command interface results generated data based on the image processing DB3 It can be configured without using.

・上記実施形態では、処理画像バッファDB2には複数の処理画像データDT2を保持するようにしたが、処理画像バッファDB2には最新の処理画像データDT2のみを保存されるようにしてもよい。 In the above embodiment, the processed image buffer DB2 was to hold a plurality of processed image data DT2, the processed image buffer DB2 may be stored only the most recent of the processed image data DT2. そうすれば、必要とするメモリ量も少なくなり、上記スマートカメラの実現もより容易となる。 That way, the amount of memory required is also reduced, the realization of the smart camera also becomes easier.

・上記実施形態では、1つのイーサネット(登録商標)コントローラ35に、2つの仮想的な第1コマンドインタフェースCIF1と、仮想的な第2コマンドインタフェースCIF2を設けた。 In the above embodiment, a single Ethernet controller 35, and two virtual first command interface CIF1, provided a virtual second command interface CIF2. しかしこれに限らず、2つのイーサネット(登録商標)コントローラを用いて、それぞれに1つのコマンドインタフェースを設けてもよい。 But not limited to this, using two Ethernet controller may be provided with one command interface, respectively. すなわち、スマートカメラの画像処理プロセスとイメージセレクタとのそれぞれにリアルタイムに各種指令を独立して伝達できる構成であればよい。 That may be a structure capable of independently transmitting various commands in real time to each of the image processing process and image selector smart camera.

・上記実施形態では、画像処理プロセスDPが「画像処理指令」の付与により撮像データDT1に画像処理を施して結果データDT3を生成し、それを結果データバッファDB3に保存した。 In the above embodiment, the image processing process DP generates the result data DT3 by performing image processing on the imaging data DT1 by the application of the "image processing command", and stored it results in the data buffer DB3. また、その後の「結果データ取得指令」の付与により結果データバッファDB3に保存されている先に生成された結果データDT3を第1コマンドインタフェースCIF1に出力させた。 Further, after which the "result data acquisition command" result data DT3 generated previously stored result to the data buffer DB3 by the application of is output to the first command interface CIF1. しかしこれに限らず、「画像処理指令」の付与により画像処理プロセスが撮像データDT1に画像処理を施して、その結果生成された結果データDT3を第1コマンドインタフェースCIF1から出力するようにしてもよい。 But not limited to this, "the image processing command" image processing process by the application of by carrying out image processing on the imaging data DT1, may be the result generated results data DT3 to be output from the first command interface CIF1 . そのようにすれば、一つの指令で結果データDT3が取得できるようになるとともに、最新の撮像データDT1に施された画像処理に基づいて生成される結果データDT3が出力されるようになる。 By doing so, with the results data DT3 will be able to acquire a single command, so the results data DT3 generated on the basis of the image processing performed on the latest captured image data DT1 is outputted.

本発明にかかるロボットビジョンシステムの一実施形態についてその概略構成を示すブロック図。 Block diagram showing the schematic configuration for an embodiment of a robot vision system according to the present invention. 同実施形態のロボットコントローラの構成を示すブロック図。 Block diagram showing the configuration of a robot controller of the embodiment. 同実施形態のCPUボードの構成を示すブロック図。 Block diagram showing the configuration of a CPU board of the embodiment. 同実施形態のロボット制御ボードの構成を示すブロック図。 Block diagram showing the configuration of the robot control board of the embodiment. 同実施形態のスマートカメラの構成を示すブロック図。 Block diagram showing the configuration of a smart camera of the embodiment. 同実施形態のスマートカメラの機能を示す機能ブロック図。 Functional block diagram showing functions of a smart camera of the embodiment. 従来のスマートカメラの機能を示す機能ブロック図。 Functional block diagram showing functions of a conventional smart camera.

符号の説明 DESCRIPTION OF SYMBOLS

2…ロボットシステム、10…ロボット、11…ロボットコントローラ、12…スマートカメラ、12C…制御部、13…開発用コンピュータ、14…ティーチングペンダント、20…CPUボード、21…ロボット制御ボード、22…デジタル入出力ボード、23…シリアル通信ボード、24…ISAバス、30,50…CPU、31,41,51…ROM、32,42,52…RAM、33…SRAM、34,43…ISAバスインタフェース、35,53…イーサネット(登録商標)コントローラ、36…シリアル入出力コントローラ、37,46,55…メインバス、40…DSP、44…モータ制御回路部、45…ポジションカウンタ、47…パワードライブ部、54…ビデオインタフェース、56…イメージセンサ、CIF1… 2 ... robot system, 10 ... robot, 11 ... robot controller, 12 ... smart camera, 12C ... control unit, 13 ... development computer, 14 ... teaching pendant, 20 ... CPU board, 21 ... robot control board, 22 ... digital input output board, 23 ... serial communication board, 24 ... ISA bus, 30,50 ... CPU, 31,41,51 ... ROM, 32,42,52 ... RAM, 33 ... SRAM, 34,43 ... ISA bus interface, 35, 53 ... Ethernet controller, 36 ... a serial input-output controllers, 37,46,55 ... main bus, 40 ... DSP, 44 ... motor control circuit part, 45 ... position counter, 47 ... power drive unit, 54 ... video interface, 56 ... image sensor, CIF1 ... 1コマンドインタフェース、CIF2…第2コマンドインタフェース、DB1…撮像データバッファ、DB2…処理画像バッファ、DB3…結果データバッファ、DT1…撮像データ、DT2…処理画像データ、DT3…結果データ、M…モータ、T…機能部、W…ワーク、EN…エンコーダ、P1…第1のポート、P2…第2のポート。 1 command interface, CIF2 ... second command interface, DB1 ... imaging data buffer, DB2 ... processed image buffer, DB3 ... result data buffer, DT1 ... imaging data, DT2 ... processing image data, DT3 ... result data, M ... motor, T ... functional unit, W ... workpiece, EN ... encoder, P1 ... first port, P2 ... second port.

Claims (6)

  1. イメージセンサにより撮像される撮像データを逐次データ処理して各種視覚機能の実現に必要とされる情報を含む結果データを出力するスマートカメラであって、 A smart camera for outputting result data including information needed for the implementation of the sequential data processing to various visual functions imaging data captured by the image sensor,
    前記撮像データが一時的に記憶保持される撮像データバッファと、 And imaging data buffer in which the imaging data is temporarily stored and held,
    前記撮像データに対する画像処理の要求指令である画像処理指令に基づいて前記撮像データバッファに保持されている撮像データから前記結果データを生成するとともに、同撮像データを所要に処理した処理画像データを生成する画像処理手段と、 And it generates the result data from the imaging data stored in the imaging data buffer based on the image processing command is a request command for image processing on the imaging data, generating processed image data obtained by processing the same imaging data to the required image processing means for,
    前記処理画像データが一時的に記憶保持される処理画像データバッファと、 And processing the image data buffer the processed image data is temporarily stored and held,
    前記撮像データバッファ及び前記処理画像データバッファの双方にアクセス可能に構成され、前記撮像データ及び前記処理画像データの選択指令である画像選択指令に基づいて前記撮像データ及び前記処理画像データの一方を選択的に出力する画像選択手段と、 The imaging data buffer and is configured to be accessible to both the processing image data buffer, selecting one of the imaging data and the processed image data based on the image selection instruction the a selection instruction of the image data and the processed image data an image selection means for outputting to,
    外部から入力される前記画像処理指令を前記画像処理手段に与えるとともに、その結果生成された結果データを外部に出力する第1コマンドインタフェースと、 Together provide the image processing command input from the outside to the image processing unit, a first command interface for outputting the result data as a result generated externally,
    外部から入力される前記画像選択指令を前記画像選択手段に与えるとともに、この画像選択手段から選択的に出力される前記撮像データ及び前記処理画像データの一方をモニタ画像データとして外部に出力する第2コマンドインタフェースと、 Together provide the image selection instruction input from the outside to the image selection means, the output of one of the imaging data and the processed image data is selectively output from the image selection means to the outside as a monitor image data 2 and command interface,
    を備えることを特徴とするスマートカメラ。 Smart camera, characterized in that it comprises a.
  2. 前記第1コマンドインタフェースから外部に出力される前記結果データと、前記第2コマンドインタフェースから外部に出力される前記モニタ画像データとは、バス型のネットワークからなる同一の通信経路に対して出力される 請求項1に記載のスマートカメラ。 Wherein the result data is output to the outside from the first command interface, and the monitor image data outputted to the outside from the second command interface is output to the same communication path comprising the bus type network smart camera according to claim 1.
  3. 前記処理画像データバッファは、前記処理画像データを複数保持可能に構成されてなり、 The processed image data buffer becomes configured the processed image data to a plurality holdable,
    前記画像選択手段は、それら複数の処理画像データのうちから前記画像選択指令に適合する1つを選択して出力するものである 請求項1または2に記載のスマートカメラ。 Wherein the image selection means, the smart camera according to claim 1 or 2 among the plurality of processing the image data and outputs selected one conforming to the image selection command.
  4. 請求項1〜3のいずれか一項に記載のスマートカメラにおいて、 In smart camera according to any one of claims 1 to 3,
    前記画像処理手段によって生成された前記結果データが一時的に保持される結果データバッファを更に備え、 Further comprising a results data buffer the result data generated by the image processing unit is temporarily held,
    前記第1コマンドインタフェースは、前記結果データを前記結果データバッファから読み出してこれを外部に出力するものである ことを特徴とするスマートカメラ。 The first command interface, smart camera, wherein the at result data and outputs it reads from the result data buffer to the outside.
  5. ロボットと、 And the robot,
    該ロボットに設けられてワークに対する所定の処理を行う機能部と、 A function unit for performing predetermined processing with respect to the workpiece disposed on said robot,
    前記ワークを含むロボットの周辺画像を撮像しつつその撮像データを逐次データ処理して前記ロボットの視覚機能の実現に必要とされる情報を含む結果データを出力するスマートカメラと、 A smart camera for outputting result data including information needed for the implementation of sequentially data processing the imaging data while captured surrounding image of the robot visual function of the robot including the workpiece,
    前記ロボットの動作を制御する制御プログラムを有し、この制御プログラムと前記スマートカメラから出力される情報である結果データとに基づき前記機能部の位置決めを含めて前記ロボットの動作を制御するロボットコントローラとを備えるロボットビジョンシステムであって、 A control program for controlling the operation of the robot, a robot controller for controlling the operation of the robot, including the positioning of the functional unit on the basis of the results and data which is information output control program from the smart camera a robot vision system with a,
    前記スマートカメラが、請求項1〜4のいずれか一項に記載のスマートカメラからなる ことを特徴とするロボットビジョンシステム。 The smart camera, robot vision systems, comprising the smart camera according to any one of claims 1-4.
  6. 前記ロボットビジョンシステムには前記ロボットもしくは前記スマートカメラのプログラムを作成するための開発環境が接続され、 Wherein the robot vision system development environment for creating the robot or the smart camera program is connected,
    前記開発環境には前記スマートカメラからのモニタ画像データを表示可能に構成されてなる 請求項5に記載のロボットビジョンシステム。 Robot vision system of claim 5 wherein the development environment of being configured to display the monitoring image data from the smart camera.
JP2008061451A 2008-03-11 2008-03-11 Smart camera and robot vision system Pending JP2009218933A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008061451A JP2009218933A (en) 2008-03-11 2008-03-11 Smart camera and robot vision system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008061451A JP2009218933A (en) 2008-03-11 2008-03-11 Smart camera and robot vision system

Publications (2)

Publication Number Publication Date
JP2009218933A true JP2009218933A (en) 2009-09-24
JP2009218933A5 JP2009218933A5 (en) 2011-04-28

Family

ID=41190354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008061451A Pending JP2009218933A (en) 2008-03-11 2008-03-11 Smart camera and robot vision system

Country Status (1)

Country Link
JP (1) JP2009218933A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132324A1 (en) 2013-02-26 2014-09-04 富士機械製造株式会社 Communication system and electronic component mounting device
EP2998079A2 (en) 2014-09-16 2016-03-23 Seiko Epson Corporation Image processing apparatus, robot system and method for processing an image
JP2016063306A (en) * 2014-09-16 2016-04-25 セイコーエプソン株式会社 Image processing system and robot system
WO2016203605A1 (en) * 2015-06-18 2016-12-22 三菱電機株式会社 Robot controller

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0911176A (en) * 1995-06-21 1997-01-14 Aichi Corp Magnet hand device of manipulator
WO1997024206A1 (en) * 1995-12-27 1997-07-10 Fanuc Ltd Composite sensor robot system
JPH09183088A (en) * 1995-12-28 1997-07-15 Matsushita Electric Ind Co Ltd Robot device with visual sensor
JP2000135689A (en) * 1998-10-30 2000-05-16 Fanuc Ltd Image processor for robot
JP2001121458A (en) * 1999-10-22 2001-05-08 Denso Corp Robot controller
JP2005142772A (en) * 2003-11-05 2005-06-02 Honda Motor Co Ltd Frame grabber
JP2007313624A (en) * 2006-05-29 2007-12-06 Fanuc Ltd Device and method for taking out workpiece

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0911176A (en) * 1995-06-21 1997-01-14 Aichi Corp Magnet hand device of manipulator
WO1997024206A1 (en) * 1995-12-27 1997-07-10 Fanuc Ltd Composite sensor robot system
JPH09183088A (en) * 1995-12-28 1997-07-15 Matsushita Electric Ind Co Ltd Robot device with visual sensor
JP2000135689A (en) * 1998-10-30 2000-05-16 Fanuc Ltd Image processor for robot
JP2001121458A (en) * 1999-10-22 2001-05-08 Denso Corp Robot controller
JP2005142772A (en) * 2003-11-05 2005-06-02 Honda Motor Co Ltd Frame grabber
JP2007313624A (en) * 2006-05-29 2007-12-06 Fanuc Ltd Device and method for taking out workpiece

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132324A1 (en) 2013-02-26 2014-09-04 富士機械製造株式会社 Communication system and electronic component mounting device
EP2998079A2 (en) 2014-09-16 2016-03-23 Seiko Epson Corporation Image processing apparatus, robot system and method for processing an image
JP2016063306A (en) * 2014-09-16 2016-04-25 セイコーエプソン株式会社 Image processing system and robot system
US10127622B2 (en) 2014-09-16 2018-11-13 Seiko Epson Corporation Image processing apparatus and robot system
WO2016203605A1 (en) * 2015-06-18 2016-12-22 三菱電機株式会社 Robot controller
JPWO2016203605A1 (en) * 2015-06-18 2017-07-06 三菱電機株式会社 Robot controller

Similar Documents

Publication Publication Date Title
JP3577028B2 (en) Coordinated control system of the robot
JP3002097B2 (en) Visual tracking method
EP0291966B1 (en) Control method of a robot system and apparatus for realizing the same
US7386367B2 (en) Workpiece conveying apparatus
US20050080515A1 (en) Manual-mode operating system for robot
KR100802200B1 (en) Robot controlling system
EP0400624B1 (en) Distribution control apparatus
JP4174517B2 (en) Teaching position correcting apparatus and a teaching position correction method
CN104827469B (en) Robot control apparatus, a robot system, a robot and a robot control method
CN101092035B (en) Robot control apparatus
CN100415460C (en) Robot system
EP1488893A2 (en) Connector gripping device, connector inspection system comprising the device, and connector connection system
EP2865495B1 (en) Control synchronization for high-latency teleoperation
JP2007030087A (en) Physical distribution tracking device
CN102189548B (en) Robot system comprising visual sensor
CN103501969B (en) The control method of teaching a robot apparatus, the robot apparatus, and a robot teaching device
CN104699122B (en) A robot motion control system
CN1734379A (en) Machining program generating means
CN100408282C (en) Robot system with vision sensor
JP4167954B2 (en) Robot and robot moving method
CN1277684A (en) Robot controller and control method
US20070073444A1 (en) Offline teaching apparatus for robot
US20100017033A1 (en) Robotic systems with user operable robot control terminals
CN1154897C (en) Remote controlled measuring system
EP1734425A2 (en) Robot controller

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110310

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120402

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120625

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121016