JP2006235699A - Simulation device and simulation method - Google Patents

Simulation device and simulation method Download PDF

Info

Publication number
JP2006235699A
JP2006235699A JP2005045407A JP2005045407A JP2006235699A JP 2006235699 A JP2006235699 A JP 2006235699A JP 2005045407 A JP2005045407 A JP 2005045407A JP 2005045407 A JP2005045407 A JP 2005045407A JP 2006235699 A JP2006235699 A JP 2006235699A
Authority
JP
Japan
Prior art keywords
movable part
simulation
unit
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005045407A
Other languages
Japanese (ja)
Inventor
Yasuhiro Kaneko
康宏 金子
Takashi Murozaki
隆 室崎
Haruo Murakami
春夫 村上
Hiroaki Yokoyama
宏昭 横山
Isao Nagata
功 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2005045407A priority Critical patent/JP2006235699A/en
Publication of JP2006235699A publication Critical patent/JP2006235699A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a simulation device useful for design of a facility or device which uses a photographed image of a movable part and support of installation and adjustment. <P>SOLUTION: The simulation device of the facility or device has a movable part with an imaging part capable of photographing the movable part and a control part which acquires positional information of the movable part based on image data pictured by the imaging part and determines whether the positional information satisfies a predetermined condition or not and, in the case that it determines that the condition is satisfied, outputs a control signal for starting up the movable part. The simulation device has an image processing part 120 for acquiring positional information of a model of the movable part occupying within an image for simulation based on the image data for simulation including the model of the movable part and a display part 140 for displaying the positional information of the model acquired by the image processing part. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、可動部を撮影した画像を用いて可動部を制御する設備又は装置のシミュレーション装置に関するものであり、より詳しくは、可動部のモデルを含む画像を用いてシミュレーションを行うシミュレーション装置、及びシミュレーション方法に関する。   The present invention relates to a facility or apparatus simulation apparatus that controls a movable part using an image obtained by photographing the movable part, and more specifically, a simulation apparatus that performs a simulation using an image including a model of the movable part, and The present invention relates to a simulation method.

近年、様々な機械、装置の製造工程や検査工程において、自動化が益々進展し、様々な自動組み立て装置や自動検査装置といった設備が使用されるに至っている。例えば自動組み立て装置では、搬送されてくる部品を捕捉し、捕捉した部品を所定の組み立て位置へ搬送し、そして組み立て位置へ搬送された部品に、別の部品を組み込み、出来上がったものを排出するといった動作を行う。このようなそれぞれの動作を行うために、搬送ユニット、組み立てユニットといった複数の可動部が存在し、それらが所定の位置へ向けて、所定のタイミングで正確に動作することが求められる。   2. Description of the Related Art In recent years, automation has been increasingly progressed in manufacturing processes and inspection processes of various machines and devices, and facilities such as various automatic assembly apparatuses and automatic inspection apparatuses have been used. For example, in an automatic assembling apparatus, a captured part is captured, the captured part is transported to a predetermined assembly position, another part is incorporated into the part transported to the assembly position, and the finished product is discharged. Perform the action. In order to perform each of such operations, there are a plurality of movable parts such as a transport unit and an assembly unit, and they are required to operate accurately at a predetermined timing toward a predetermined position.

このような設備、又は装置の設計や設置の段階において、可動部を撮影した画像や可動部をモデル化した画像を用いて可動部の位置決め等の調整を行うことが出来れば、視覚的に捉えられるため、容易に正確な調整を行い得る。特に、対象物を撮影した画像から、その対象物に関する情報を取得し、その情報に基づいて制御を行う装置（特許文献１参照）において、対象物を撮影した画像、若しくは対象物のモデル画像を用いることができれば、画像から取得する情報の精度の確認も可能であり、非常に有用である。   At the stage of design and installation of such equipment or equipment, if adjustments such as positioning of the movable part can be performed using an image obtained by photographing the movable part or an image obtained by modeling the movable part, it is visually recognized. Therefore, accurate adjustment can be easily performed. In particular, in an apparatus that acquires information on an object from an image obtained by photographing the object and performs control based on the information (see Patent Document 1), an image obtained by photographing the object or a model image of the object is obtained. If it can be used, the accuracy of information acquired from the image can be confirmed, which is very useful.

一方、ロボットアームといった可動部を撮影した画像を用いて、ロボットの動作をシミュレートし、そのシミュレーションで行った操作指示と同じ指示をロボットに与えて動作させる技術が知られている（特許文献２参照）。また、ＣＡＤ上でロボットのモデルを作成し、そのモデルを実機同様に動かして調整を行う技術が知られている（特許文献３参照）。   On the other hand, there is known a technique for simulating the operation of a robot using an image obtained by capturing a movable part such as a robot arm and giving the robot the same instruction as the operation instruction performed in the simulation (Patent Document 2). reference). In addition, a technique is known in which a robot model is created on a CAD and the model is moved and adjusted in the same manner as an actual machine (see Patent Document 3).

しかしながら、画像から可動部の位置情報を取得して、その情報を制御に利用して一連の動作を行う装置の設計支援に適用可能なシミュレーション装置は開示されておらず、そのようなシミュレーション装置やシミュレーション方法の開発が望まれている。   However, there is no disclosure of a simulation apparatus that can be applied to design support for an apparatus that acquires position information of a movable part from an image and uses that information for control to perform a series of operations. Development of a simulation method is desired.

特開２００１−１９７４８３号公報Japanese Patent Laid-Open No. 2001-197483 特開平２−１１６４９４号公報Japanese Patent Laid-Open No. 2-116494 特開平５−２８９７３６号公報Japanese Patent Laid-Open No. 5-289737

上記の問題点に鑑み、本発明は、可動部を有し、その可動部を撮影した画像データに基づいて可動部に対する制御信号を出力する設備または装置に適したシミュレーション装置、又はシミュレーション方法を提供することを目的とする。   In view of the above problems, the present invention provides a simulation apparatus or a simulation method suitable for equipment or an apparatus that has a movable part and outputs a control signal for the movable part based on image data obtained by photographing the movable part. The purpose is to do.

また本発明の別の目的として、実機を用いることなく、制御部の調整が可能なシミュレーション装置、又はシミュレーション方法を提供することを目的とする。   Another object of the present invention is to provide a simulation device or a simulation method capable of adjusting a control unit without using an actual machine.

また本発明のさらに別の目的として、可動部を撮影した画像データに基づいて、可動部の位置情報取得の精度向上に有用なシミュレーション装置、又はシミュレーション方法を提供することを目的とする。   Still another object of the present invention is to provide a simulation apparatus or a simulation method useful for improving the accuracy of position information acquisition of a movable part based on image data obtained by photographing the movable part.

上記の目的を達成するために、本発明に係るシミュレーション装置は、可動部を撮影可能な撮像部と、撮像部で撮影した画像データに基づいて、可動部の位置情報を取得し、且つ位置情報が所定の条件を満たしているか否かを判定し、その条件を満たしていると判定した場合、可動部を起動させるための制御信号を出力する制御部とを有する可動部を備えた設備又は装置をシミュレーションするものであり、可動部のモデルを含むシミュレーション用の画像データに基づいて、可動部のモデルがシミュレーション用画像内に占める位置情報を取得する画像処理部と、画像処理部が取得した上記位置情報を表示する表示部と、を有することを特徴とする。なお、可動部は複数存在してもよい。   In order to achieve the above object, a simulation apparatus according to the present invention obtains positional information of a movable part based on an imaging unit capable of photographing the movable part and image data photographed by the imaging unit, and the positional information. Or a device having a movable part having a control unit that outputs a control signal for activating the movable part when it is determined whether or not the predetermined condition is satisfied. Based on the image data for simulation including the model of the movable part, the image processing unit that acquires the position information that the model of the movable part occupies in the simulation image, and the above acquired by the image processing unit And a display unit for displaying position information. There may be a plurality of movable parts.

さらに、上記のモデルがシミュレーション用画像内に占める位置情報の取得に使用する条件を調整する画像処理調整部を有することが好ましく、又、シミュレーション用画像を修正するための画像修正部を有することが好ましい。   Furthermore, it is preferable to have an image processing adjustment unit that adjusts the conditions used to acquire the position information that the above model occupies in the simulation image, and also to have an image correction unit to correct the simulation image. preferable.

実機を用いることなく、設置環境等の外乱要因を考慮した制御部の調整が可能なためである。   This is because the control unit can be adjusted in consideration of disturbance factors such as the installation environment without using an actual machine.

また、表示部は、画像処理部が取得した位置情報とともに、可動部のモデルの真の位置を表示することが好ましい。可動部の位置についての認識結果の精度評価を容易にするためである。   Moreover, it is preferable that a display part displays the true position of the model of a movable part with the positional information which the image process part acquired. This is to facilitate the accuracy evaluation of the recognition result for the position of the movable part.

また、可動部は、位置情報を特定するための少なくとも１つの検出マークを有し、且つ可動部のモデルは、検出マークのモデルを有し、画像処理部は、検出マークのモデルに基づいて可動部のモデルの位置情報を取得することが好ましい。可動部の位置をより正確に捉えることが可能となり、シミュレーションの精度も向上するためである。   The movable part has at least one detection mark for specifying position information, the movable part model has a detection mark model, and the image processing part is movable based on the detection mark model. It is preferable to acquire the position information of the model of the part. This is because the position of the movable part can be grasped more accurately and the accuracy of the simulation is improved.

なお、可動部の位置情報とは、可動部の動作終了後の位置情報、又は可動部の動作開始前の位置情報であることが好ましい。可動部が静止状態にあるため、正確な位置評価が可能なためである。   In addition, it is preferable that the positional information on a movable part is the positional information after completion | finish of operation | movement of a movable part, or the positional information before the operation | movement start of a movable part. This is because the movable portion is in a stationary state, so that accurate position evaluation is possible.

さらに、画像処理部は、シミュレーション用画像データの一部に関心領域を設定し、その関心領域に含まれる画像データのみに基づいてモデルの位置情報を取得することが好ましい。不必要なデータ処理を避け、高速に処理を行うことを可能とするためである。   Furthermore, it is preferable that the image processing unit sets a region of interest in a part of the image data for simulation, and acquires model position information based only on the image data included in the region of interest. This is to avoid unnecessary data processing and to perform processing at high speed.

また、本発明に係る、可動部を撮影した画像データに基づいて、当該可動部の制御を行う設備又は装置のシミュレーション方法は、可動部のモデルを含むシミュレーション用の画像データに基づいて、可動部のモデルがシミュレーション用画像内に占める位置情報を取得するステップと、位置情報が所定の条件を満たしているか否かを判定するステップと、条件を満たしていると判定した場合、可動部を起動させるための制御信号を模擬的に生成するステップと、を有することを特徴とする。   Further, according to the present invention, a simulation method for a facility or an apparatus for controlling a movable part based on image data obtained by photographing the movable part is based on image data for simulation including a model of the movable part. Acquiring position information that the model occupies in the image for simulation, determining whether the position information satisfies a predetermined condition, and activating the movable unit when it is determined that the condition is satisfied Generating a control signal for simulation.

本発明によれば、可動部を有し、その可動部を撮影した画像データに基づいて可動部に対する制御信号を出力する設備または装置に好適なシミュレーション装置、又はシミュレーション方法を提供することが可能となる。   According to the present invention, it is possible to provide a simulation apparatus or a simulation method suitable for a facility or apparatus that has a movable part and outputs a control signal for the movable part based on image data obtained by photographing the movable part. Become.

また、実機を用いることなく、制御部の調整が可能なシミュレーション装置、又はシミュレーション方法を提供することが可能となる。   In addition, it is possible to provide a simulation device or a simulation method capable of adjusting the control unit without using an actual machine.

さらに、可動部を撮影した画像データに基づいて、可動部の位置情報取得の精度向上に有用なシミュレーション装置、又はシミュレーション方法を提供することが可能となる。   Furthermore, it is possible to provide a simulation apparatus or a simulation method that is useful for improving the accuracy of acquiring positional information of the movable part based on image data obtained by photographing the movable part.

以下、図面を参照しつつ本発明に係るシミュレーション装置について詳細に説明する。   Hereinafter, a simulation apparatus according to the present invention will be described in detail with reference to the drawings.

図１に、本発明に係るシミュレーション装置１００の構成ブロック図を示す。   FIG. 1 shows a configuration block diagram of a simulation apparatus 100 according to the present invention.

本発明に係るシミュレーション装置１００は、画像入力装置１１０、コントローラ１２０、メモリ１３０、及びモニタ１４０を備える。   The simulation apparatus 100 according to the present invention includes an image input device 110, a controller 120, a memory 130, and a monitor 140.

画像入力装置１１０は、シミュレーション用の画像データをシミュレーション装置に入力する入力部として機能し、例えばシミュレーション対象となる設備又は装置を撮影するカメラや、ネットワーク入出力デバイス、ＣＤ−Ｒ／ＲＷ／ＲＯＭやＤＶＤ／ＤＶＤ＋／−ＲＷ等の大容量メディアドライブといった機器で構成する。   The image input device 110 functions as an input unit that inputs image data for simulation to the simulation device. For example, a camera, a network input / output device, a CD-R / RW / ROM, It is composed of devices such as a large capacity media drive such as DVD / DVD +/− RW.

なお、シミュレーション用の画像データとして、例えば設置調整中の設備又は装置をカメラで撮影して得られた画像や、そのような画像に変更を加えた画像が用いられる。また、上記の設備又は装置が設計途中の段階においては、実際の設備又は装置の画像データを取得することが不可能なため、コンピュータグラフィックス（ＣＧ）により作成した画像データを使用してもよい。いずれの画像データにおいても、位置情報を取得する対象となる可動部のモデルを含んでいる必要がある。また、ここでいう可動部のモデルとは、画像上での可動部に相当する像のことであり、ＣＧで作成した可動部の像だけでなく、実際の設備又は装置を撮影して得た画像上に写っている可動部の像や、可動部の像に修正や変更を加えたものも含む。   Note that as the image data for simulation, for example, an image obtained by photographing a facility or apparatus being adjusted for installation with a camera, or an image obtained by changing such an image is used. In addition, since it is impossible to acquire image data of actual equipment or devices during the design stage of the equipment or devices, image data created by computer graphics (CG) may be used. . In any image data, it is necessary to include a model of the movable part from which position information is acquired. Further, the movable part model here is an image corresponding to the movable part on the image, and obtained by photographing not only the movable part image created by CG but also the actual equipment or apparatus. It includes the image of the movable part shown in the image and the image of the movable part that has been modified or changed.

コントローラ１２０は、画像処理部として機能し、画像入力装置１１０から取得した画像データ、若しくはメモリ１３０に保存されている画像データに対して、その画像データに含まれている、着目する可動部に相当する可動部のモデルの画像上の位置を認識し、その認識結果に基づいて、着目する可動部が仕様に定められた所定の位置にいるか否かといった判定を行う。そして、認識した可動部のモデルの画像上の位置、及び可動部が所定の位置にいるか否かの判定結果を、画像データとともにメモリ１３０に保存し、若しくはモニタ１４０に出力する。また、コントローラ１２０に、シミュレーション対象となる装置又は設備（実機）に対して制御信号を出力するシーケンサやモータドライバを接続してもよい。この場合、実機の制御部が可動部の動作を制御するために出力する制御信号を、コントローラ１２０が模擬的に生成し、出力するように構成する。そして、上記可動部のモデルの位置認識結果に基づいて出力される制御信号を上記シーケンサ又はモータドライバに送信し、それらからのコールバック信号をモニタするように構成してもよい。   The controller 120 functions as an image processing unit and corresponds to the movable unit of interest included in the image data acquired from the image input device 110 or the image data stored in the memory 130. The position of the movable part model on the image is recognized, and based on the recognition result, it is determined whether or not the movable part of interest is at a predetermined position defined in the specification. Then, the position of the recognized model of the movable part on the image and the determination result as to whether or not the movable part is at a predetermined position are stored in the memory 130 together with the image data or output to the monitor 140. Further, the controller 120 may be connected to a sequencer or a motor driver that outputs a control signal to a simulation target apparatus or facility (actual machine). In this case, the controller 120 is configured to generate and output a control signal that is simulated so that the control unit of the actual machine controls the operation of the movable unit. A control signal output based on the position recognition result of the model of the movable part may be transmitted to the sequencer or the motor driver, and a callback signal from them may be monitored.

なお、着目する可動部のモデルの位置認識、及びその可動部が所定の位置にいるか否かの判定は、シミュレーション対象となる装置又は設備（実機）の制御部において使用される方法と同じであることが好ましく、以下に説明する方法で行うことができる。   Note that the position recognition of the model of the movable part of interest and the determination of whether or not the movable part is at a predetermined position are the same as the method used in the control unit of the apparatus or facility (actual machine) to be simulated. Preferably, it can be performed by the method described below.

まず、解析対象の画像データから、着目する可動部中の特徴ある部分について、２値化処理でその特徴ある部分に相当する画素だけを抽出する。そして、抽出された画素の重心を求める。この重心位置と可動部の位置との関係は固定であるため、求めた重心位置で可動部の位置を特定できる。また、２値化処理の代わりに、エッジ検出処理を行って、上記部分の境界に相当するエッジ画素を抽出し、エッジ画素の重心等を求めてもよい。ここで特徴ある部分とは、位置認識用として、可動部に設けた検出マークや、その可動部自体が持つ特有の形状で、実際にカメラで撮影した画像上で、他の部分と明確に区別できる程、周辺と濃度差があるような部分をいう。このような特徴ある部分を画像上で認識することにより、正確な位置検出が可能となる。さらに、上記の２値化処理やエッジ検出処理を、着目する可動部が写っている部分を含む、一部の領域（関心領域）に限定して行ってもよい。このように関心領域に限定して処理を行えば、処理に使用するデータ量を減ずることができるため、高速な処理が可能となる。   First, from the image data to be analyzed, only a pixel corresponding to the characteristic part is extracted from the characteristic part in the movable part of interest by binarization processing. Then, the center of gravity of the extracted pixel is obtained. Since the relationship between the position of the center of gravity and the position of the movable part is fixed, the position of the movable part can be specified by the obtained position of the center of gravity. Further, instead of the binarization process, an edge detection process may be performed to extract edge pixels corresponding to the boundary of the part, and the center of gravity of the edge pixels or the like may be obtained. Here, the characteristic part is a detection mark provided on the movable part or a unique shape of the movable part for position recognition, and is clearly distinguished from other parts on the image actually captured by the camera. The part where there is a density difference with the surroundings. By recognizing such a characteristic portion on the image, accurate position detection can be performed. Further, the above binarization processing and edge detection processing may be limited to a part of the region (region of interest) including the portion where the movable part of interest is shown. If processing is limited to the region of interest in this way, the amount of data used for processing can be reduced, so that high-speed processing is possible.

次に、可動部が所定の位置にいるか否かの判定方法を説明する。   Next, a method for determining whether or not the movable part is at a predetermined position will be described.

まず、設計仕様通りに可動部が配置されている、実機の理想状態を撮影した画像データ、若しくはその理想状態をＣＧにより作成した画像データに基づいて、目視測定等により、その特徴ある部分の真の位置である基準位置を決定する。そして、認識した特徴ある部分の画像データ上の位置と、基準位置との距離を求める。その距離が予め定められた許容範囲内に収まる場合、着目する可動部は所定の位置にいると判定する。なお、許容範囲は、実機の製造、設置等における許容公差に基づいて決定される。   First, based on image data obtained by photographing the ideal state of an actual machine, or image data created by CG of the ideal state, where the movable part is arranged according to the design specification, The reference position which is the position of is determined. Then, the distance between the position of the recognized characteristic part on the image data and the reference position is obtained. If the distance falls within a predetermined allowable range, it is determined that the movable part of interest is in a predetermined position. The allowable range is determined based on the allowable tolerance in manufacturing, installation, etc. of the actual machine.

上述した判定方法の代わりとして、理想状態にある装置又は設備を撮影した画像データと、解析対象となっている画像データとのマッチング処理を行い、マッチングの結果を表す相関度が所定の閾値以上の場合、着目する可動部が所定の位置にいると判定する判定方法を用いてもよい。この判定方法を用いる場合においても、上述した関心領域に限定して処理を行うことが好ましい。   As an alternative to the determination method described above, image data obtained by photographing an apparatus or facility in an ideal state is matched with image data to be analyzed, and the degree of correlation indicating the result of matching is equal to or greater than a predetermined threshold value. In this case, a determination method that determines that the focused movable part is in a predetermined position may be used. Even in the case of using this determination method, it is preferable to perform the processing only in the region of interest described above.

メモリ１３０は、データ記録部として機能し、コントローラ１２０により保存する指示を受けた画像データを保存する。また、画像データと関連付けて、着目する可動部の位置検出結果等についても保存する。   The memory 130 functions as a data recording unit, and stores image data that has been instructed to be stored by the controller 120. In addition, the position detection result of the movable part of interest is stored in association with the image data.

なお、コントローラ１２０及びメモリ１３０は、市販のパーソナルコンピュータ及び内蔵プログラムとして構成することができる。また、専用のハードウェアやファームウェアとして構成してもよい。   The controller 120 and the memory 130 can be configured as a commercially available personal computer and a built-in program. Alternatively, it may be configured as dedicated hardware or firmware.

モニタ１４０は、コントローラ１２０が認識した可動部のモデルの位置（すなわち、可動部の位置情報）を画像データとともに表示する。また、上述した可動部の位置判定方法の調整を行うためのユーザインターフェースとしても機能する。さらに、シミュレーション対象となる設備又は装置の設置環境等の外乱要因を評価できるようにするため、画像データ自体に、明暗やコントラストの変更、画像の一部置き換え、及びシャープネスの調整といった画像修正用のユーザインターフェースを備えても良い。このユーザインターフェースを通じて入力された修正データは、コントローラ１２０に送られ、コントローラ１２０は対象となる画像データに修正を加える。   The monitor 140 displays the position of the model of the movable part recognized by the controller 120 (that is, position information of the movable part) together with the image data. It also functions as a user interface for adjusting the position determination method of the movable part described above. Furthermore, in order to be able to evaluate disturbance factors such as the installation environment of the equipment or device to be simulated, the image data itself can be used for image correction such as changes in brightness and contrast, partial replacement of images, and adjustment of sharpness. A user interface may be provided. The correction data input through this user interface is sent to the controller 120, and the controller 120 corrects the target image data.

以下に、本発明をより詳しく説明するため、本発明に係るシミュレーション装置を組み立て装置のシミュレーションに使用した場合について説明する。   Hereinafter, in order to describe the present invention in more detail, a case where the simulation apparatus according to the present invention is used for simulation of an assembly apparatus will be described.

図２に、本発明に係るシミュレーション装置のシミュレーション対象となる組み立て装置２００の構成ブロック図を示す。また図３に、組み立て装置２００の概略上面図を示す。   FIG. 2 shows a configuration block diagram of an assembling apparatus 200 to be simulated by the simulation apparatus according to the present invention. FIG. 3 shows a schematic top view of the assembling apparatus 200.

組み立て装置２００は、一例として、直径５０ｍｍ、高さ５０ｍｍの円筒形をした基幹部品（ワーク）の中心に、直径２０ｍｍ、高さ１０ｍｍの円筒形の部品を上方から嵌め込んで完成品を製造するものである。また、本実施形態に係るシミュレーション装置１００は、組み立て装置２００の制御部としてそのまま動作させることも可能である。   As an example, the assembling apparatus 200 manufactures a finished product by fitting a cylindrical part having a diameter of 20 mm and a height of 10 mm from above into the center of a cylindrical basic part (work) having a diameter of 50 mm and a height of 50 mm. Is. Further, the simulation apparatus 100 according to the present embodiment can be operated as it is as the control unit of the assembly apparatus 200.

組み立て装置２００は、搬送ユニット２１０、上下ユニット２２０、ワーク搬入部２３０、部品投入部２４０、組み立て部２５０及びワーク排出部２６０を備え、ＣＣＤカメラ１１０、コントローラ１２０、メモリ１３０及びモニタ１４０とで、本発明に係るシミュレーション装置としても機能する、制御部１００を構成する。   The assembling apparatus 200 includes a transport unit 210, an upper / lower unit 220, a work loading unit 230, a component loading unit 240, an assembling unit 250, and a work discharging unit 260, and the CCD camera 110, controller 120, memory 130, and monitor 140 The control part 100 which functions also as the simulation apparatus which concerns on invention is comprised.

組み立て装置２００では、図３及び図４に示すように、ワーク２０２は、ワーク搬送路２０１に沿ってワーク搬入部２３０から搬入され、ワーク排出部２６０により排出される。一方、部品２０３は、部品投入部２４０により、ワーク搬入部２３０と略直交する方向から投入され、ワーク搬入部２３０とワーク排出部２６０の中間にある組み立て部２５０で、ワーク２０２に組み付けられる。   In the assembling apparatus 200, as shown in FIGS. 3 and 4, the work 202 is carried in from the work carry-in section 230 along the work conveyance path 201 and is discharged by the work discharge section 260. On the other hand, the component 203 is input by the component input unit 240 from a direction substantially orthogonal to the work carry-in unit 230 and is assembled to the work 202 by the assembly unit 250 between the work carry-in unit 230 and the work discharge unit 260.

ワーク搬入部２３０は、前工程から送られてきたワークを連続的に組み立て装置２００に搬入可能なように、ワークを載せて運ぶベルトコンベアで構成する。部品投入部２４０は、部品投入側から組み立て部２５０側へ緩やかな下降傾斜路であって、振動により、投入された部品２０３が徐々に組み立て部２５０側へ搬送される。ワーク排出部２６０は、ワーク搬入部２３０同様、ベルトコンベアで構成する。そして、搬送ユニット２１０が部品組み付け済みのワーク（完成品）２０４を組み立て部２５０側に最も近いワーク排出部２６０の出口２６１に排出すると、その完成品を載せて次工程へ搬送する。   The workpiece carry-in unit 230 is configured by a belt conveyor that carries the workpieces so that the workpieces sent from the previous process can be continuously carried into the assembling apparatus 200. The component loading unit 240 is a gentle downward slope from the component loading side to the assembly unit 250 side, and the loaded component 203 is gradually conveyed to the assembly unit 250 side by vibration. The workpiece discharge unit 260 is configured by a belt conveyor, like the workpiece carry-in unit 230. Then, when the transport unit 210 discharges the work (finished product) 204 with the assembled parts to the outlet 261 of the work discharge unit 260 closest to the assembly unit 250 side, the completed product is placed and transported to the next process.

搬送ユニット２１０は、ワーク搬送路２０１と略平行に取り付けられ、ワーク搬入部２３０の終端付近の入口２３１にあるワーク２０２を捕捉し、ワーク排出部２６０の方へ平行移動して組み立て部２５０へ搬送する。さらに部品組み付け済みのワーク（完成品）２０４をワーク排出部２６０に存在する出口２６１へと搬送する。組み立て部２５０に配置した上下ユニット２２０は、上部ユニット２２１が部品２０３を捕捉して上下運動し、下部ユニット２２２がワーク２０２を固定することにより、ワーク２０２に部品２０３を組み付けて完成品２０４を製造する。   The transport unit 210 is attached substantially parallel to the work transport path 201, captures the work 202 at the entrance 231 near the end of the work carry-in section 230, moves in parallel toward the work discharge section 260, and transports it to the assembly section 250. To do. Further, the work (finished product) 204 with the assembled parts is conveyed to an outlet 261 existing in the work discharge unit 260. The upper and lower unit 220 arranged in the assembly unit 250 manufactures a finished product 204 by assembling the part 203 to the work 202 by the upper unit 221 capturing the part 203 and moving up and down, and the lower unit 222 fixing the work 202. To do.

搬送ユニット２１０は、ワーク搬送方向と略並行方法の長さ１５０ｍｍ、略垂直方向の幅５０ｍｍからなる部材２１１と、部材２１１の下部に取り付けられたグリッパ２１２及び駆動用のサーボモータを備える。グリッパ２１２は、ワーク搬送方向にワークの幅とほぼ等しい間隔で配置した２本の爪で構成し、同時に２つのワークを保持可能なように、ワーク搬送路２０１に沿って２セット配置する。   The transport unit 210 includes a member 211 having a length of 150 mm and a width of 50 mm in a substantially vertical direction substantially parallel to the workpiece transport direction, a gripper 212 attached to the lower portion of the member 211, and a drive servo motor. The gripper 212 is composed of two claws arranged at an interval substantially equal to the width of the workpiece in the workpiece conveyance direction, and two sets are arranged along the workpiece conveyance path 201 so that two workpieces can be held at the same time.

また搬送ユニット２１０は、ワーク搬送路２０１の存在する平面内で、ワーク搬送路２０１と直交する方向、及びワーク搬送路２０１と平行方向に移動可能である。また搬送ユニット２１０の原点位置を、搬送ユニット２１０がワーク搬送路２０１上にあるワーク２０２と接触しないよう、ワーク搬送路２０１から約３０ｍｍ後方に離れた位置に設定する。そして、原点位置にある搬送ユニット２１０に送り動作を指示すると、ワーク搬送路２０１に沿って、ワーク排出方向へ向けて約７０ｍｍ移動する（この移動先を便宜上送り位置と呼ぶ）。さらに、送り位置にある搬送ユニット２１０に、戻り動作が指示されると、原点位置へ戻るように、ワーク搬送路２０１に沿って、ワーク搬入方向に約７０ｍｍ移動する。一方、原点位置若しくは送り位置にある搬送ユニット２１０に前進動作が指示されると、搬送ユニット２１０は、ワーク搬送路２０１上にあるワーク２０２又は完成品２０４を捕捉するため、若しくは保持しているワーク２０２又は完成品２０４をワーク搬送路２０１上にリリースするため、ワーク搬送路２０１に近づく方向に約３０ｍｍ移動する。逆に、ワーク搬送路２０１に近接した位置にある搬送ユニット２１０に対し、後退動作が指示されると、搬送ユニット２１０はワーク搬送路２０１から離れる方向に約３０ｍｍ移動する。   Further, the transport unit 210 can move in a direction orthogonal to the work transport path 201 and in a direction parallel to the work transport path 201 in a plane where the work transport path 201 exists. Further, the origin position of the transport unit 210 is set at a position about 30 mm behind the work transport path 201 so that the transport unit 210 does not contact the work 202 on the work transport path 201. Then, when a feeding operation is instructed to the transport unit 210 at the origin position, the transport unit 210 moves about 70 mm along the work transport path 201 in the work discharge direction (this destination is referred to as a feed position for convenience). Further, when a return operation is instructed to the transport unit 210 at the feed position, the transport unit 210 moves about 70 mm along the work transport path 201 in the work transport direction so as to return to the origin position. On the other hand, when a forward operation is instructed to the transport unit 210 at the origin position or the feed position, the transport unit 210 captures or holds the work 202 or the finished product 204 on the work transport path 201. In order to release the 202 or the finished product 204 onto the work conveyance path 201, it moves about 30 mm in a direction approaching the work conveyance path 201. On the contrary, when the backward movement operation is instructed to the transport unit 210 located in the vicinity of the work transport path 201, the transport unit 210 moves about 30 mm in the direction away from the work transport path 201.

上下ユニット２２０は、上部ユニット２２１、及び下部ユニット２２２で構成される。下部ユニット２２２は組み立て部２５０へ搬送されてきたワーク２０２を固定する。一方、上部ユニット２２１は、開閉可能な爪からなるワークチャック２２３、及びワークチャック２２３が取り付けられるチャックシリンダ２２４、及びこれらを駆動するサーボモータを備えている。   The upper / lower unit 220 includes an upper unit 221 and a lower unit 222. The lower unit 222 fixes the workpiece 202 conveyed to the assembly unit 250. On the other hand, the upper unit 221 includes a work chuck 223 composed of a claw that can be opened and closed, a chuck cylinder 224 to which the work chuck 223 is attached, and a servo motor that drives them.

上部ユニット２２１は、初期状態では、組み立て部２５０に搬送されてくるワーク２０２、部品２０３と衝突しないように、組み立て部２５０の上方に退避しておく。組み立て部２５０に部品２０３が来ると、上部ユニット２２１を下降させ、ワークチャック２２３を閉じて部品２０３を保持する。部品２０３を保持すると、上部ユニット２２１は上方に移動する。その後ワーク２０２が組み立て部２５０へ搬送されてくると、再び上部ユニット２２１は下降し、ワーク２０２に部品２０３を挿入し、組み付ける。部品の組み付けが終わると、ワークチャック２２３は開いて部品をリリースし、再び上部ユニット２２１は上方に移動する。この上下方向の移動距離は、組み立て部２５０にワーク２０２が存在する場合、約１０ｍｍであり、ワーク２０２が存在しない場合約６０ｍｍである。   In the initial state, the upper unit 221 is retracted above the assembly unit 250 so as not to collide with the workpiece 202 and the parts 203 conveyed to the assembly unit 250. When the part 203 comes to the assembling unit 250, the upper unit 221 is lowered, the work chuck 223 is closed, and the part 203 is held. When the component 203 is held, the upper unit 221 moves upward. Thereafter, when the workpiece 202 is conveyed to the assembly unit 250, the upper unit 221 descends again, and the component 203 is inserted into the workpiece 202 and assembled. When the assembly of the parts is completed, the work chuck 223 opens to release the parts, and the upper unit 221 moves upward again. The movement distance in the vertical direction is about 10 mm when the work 202 is present in the assembly portion 250, and is about 60 mm when the work 202 is not present.

本実施形態によると、可動部に検出マークが形成される。すなわち、搬送ユニット２１０の部材２１１の搬入部２３０側端部の上面に検出マーク２１３を、及び排出部２６０側端部の上面に検出マーク２１４を取り付ける。検出マーク２１３及び２１４は、直径５ｍｍの赤い円形シールであり、ＣＣＤカメラ１１０で撮影する画像において、搬送ユニット２１０がどの位置にあっても、どちらかの検出マークが写り込むようになっている。なお、検出マーク２１３及び２１４は上記のものに限られるわけではなく、画像上で明確に判別可能なものであればよく、部材２１１自体の特有の形状等で代用することも可能である。   According to this embodiment, the detection mark is formed on the movable part. That is, the detection mark 213 is attached to the upper surface of the end portion on the carry-in portion 230 side of the member 211 of the transport unit 210, and the detection mark 214 is attached to the upper surface of the end portion on the discharge portion 260 side. The detection marks 213 and 214 are red circular stickers having a diameter of 5 mm, and one of the detection marks is reflected in the image taken by the CCD camera 110 regardless of the position of the transport unit 210. Note that the detection marks 213 and 214 are not limited to those described above, and any detection marks can be used as long as they can be clearly discriminated on the image.

また、上下ユニット２２０の上部ユニット２２１においても、チャックシリンダ２２４の上面に検出マーク２２５、及びワークチャック２２３の上面に検出マーク２２６が取り付けられている。検出マーク２２５、２２６は、搬送ユニットに取り付けた検出マーク同様、直径５ｍｍの赤い円形シールである。さらに、ＣＣＤカメラ１１０で撮影する画像において、上部ユニット２２１が如何なる位置にあっても、またチャックの開閉によらず、検出マーク２２５、２２６が写り込むよう構成されている。なお、検出マーク２２５、２２６は、検出マーク２１３、２１４と同じマークである必要は無く、画像上で明確に判別可能なものであればよい。   Also in the upper unit 221 of the vertical unit 220, the detection mark 225 is attached to the upper surface of the chuck cylinder 224 and the detection mark 226 is attached to the upper surface of the work chuck 223. The detection marks 225 and 226 are red circular seals having a diameter of 5 mm, like the detection marks attached to the transport unit. Further, in the image photographed by the CCD camera 110, the detection marks 225 and 226 are reflected regardless of the position of the upper unit 221 and whether the chuck is opened or closed. The detection marks 225 and 226 do not have to be the same marks as the detection marks 213 and 214, and may be any marks that can be clearly distinguished on the image.

また、制御部（又はシミュレーション装置）１００の構成要素であるＣＣＤカメラ１１０は、上述した組み立て部２５０の斜め上方、部品投入部側に約３０°の方向に配置する。そして、搬送ユニット２１０、上下ユニット２２０、ワーク搬入部２３０、部品投入部２４０、ワーク排出部２６０を全て１枚の画像に収めるとともに、搬送ユニット２１０、上下ユニット２２０の各部の動作範囲も全て収めることができる。コントローラ１２０は、ＣＣＤカメラ１１０からの画像信号を受信して、所定の条件を満たす画像データをメモリ１３０に保存する。また、コントローラ１２０は、組み立て装置２００の駆動制御も行うため、搬送ユニット２１０、上下ユニット２２０それぞれのサーボモータへ制御信号を送信する。   The CCD camera 110, which is a component of the control unit (or simulation apparatus) 100, is disposed in a direction of about 30 ° obliquely above the assembly unit 250 and on the component input unit side. The transport unit 210, the upper / lower unit 220, the workpiece carry-in unit 230, the component loading unit 240, and the workpiece discharge unit 260 are all stored in one image, and the operation ranges of the respective units of the transport unit 210 and the upper / lower unit 220 are also stored. Can do. The controller 120 receives the image signal from the CCD camera 110 and stores image data satisfying a predetermined condition in the memory 130. The controller 120 also transmits a control signal to the servo motors of the transport unit 210 and the upper and lower units 220 in order to perform drive control of the assembly apparatus 200.

コントローラ１２０及びメモリ１３０は、本実施形態においては、パーソナルコンピュータ（ＰＣ）に内蔵のプログラム、メモリ、ＲＳ２３２Ｃといった外部出力ポート等によって構成する。また、本実施形態においては、コントローラ１２０は組み立て装置２００の駆動制御用に、組み立て装置２００の可動部（搬送ユニット２１０、上下ユニット２２０）のサーボモータを制御するモータドライバを内蔵する。なお、コントローラ１２０及びメモリ１３０はこれに限られるものではなく、専用のハードウェア、ファームウェア等で構成してもよい。また、コントローラ１２０及びメモリ１３０と、モータドライバを、別個のハードウェアとして構成し、互いに通信可能な構成としてもよい。例えば、コントローラ１２０及びメモリ１３０をＰＣ及び内蔵プログラムで構成し、モータドライバをプログラマブルロジックコントローラ（ＰＬＣ）で構成してもよい。   In this embodiment, the controller 120 and the memory 130 are configured by a program built in a personal computer (PC), a memory, an external output port such as RS232C, and the like. In the present embodiment, the controller 120 incorporates a motor driver for controlling the servo motors of the movable parts (the transport unit 210 and the upper and lower unit 220) of the assembly apparatus 200 for driving control of the assembly apparatus 200. The controller 120 and the memory 130 are not limited to this, and may be configured with dedicated hardware, firmware, or the like. Further, the controller 120, the memory 130, and the motor driver may be configured as separate hardware so that they can communicate with each other. For example, the controller 120 and the memory 130 may be configured by a PC and a built-in program, and the motor driver may be configured by a programmable logic controller (PLC).

ＣＣＤカメラ１１０は、組み立て装置２００の作動中、搬送ユニット２１０、上下ユニット２２０、及び搬送されてくるワークや部品、排出される組み立て済みワークを全て１枚の画像に収めた静止画を、ビデオレート（３０Ｈｚ）で連続して取得し、コントローラ１２０へ送信する。この目的のため、ＣＣＤカメラ１１０として、１／４インチ４１万画素ＣＣＤ、焦点距離４．３ｍｍ（画角６９．８°）、２４ビット（ＲＧＢ各８ビット）出力のものを用いる。しかし、ＣＣＤカメラ１１０としては、これに限られるものではなく、組み立て装置２００の各部を１枚の画像に収めることが可能で、且つ検出マーク等の判別ができるものであればよい。   During the operation of the assembling apparatus 200, the CCD camera 110 converts a still image in which the transport unit 210, the upper and lower unit 220, the work and parts being transported, and the assembled work to be discharged are all contained in one image into a video rate. (30 Hz) is continuously acquired and transmitted to the controller 120. For this purpose, a CCD camera 110 having a 1/4 inch 410,000 pixel CCD, a focal length of 4.3 mm (viewing angle 69.8 °), and a 24-bit (RGB each 8 bits) output is used. However, the CCD camera 110 is not limited to this, and any CCD camera 110 may be used as long as each part of the assembling apparatus 200 can be contained in one image and a detection mark or the like can be discriminated.

またコントローラ１２０は、ＣＣＤカメラ１１０から画像データを受信すると、検出マークの動きによる位置の変化を示す変化後の画像データを解析し、搬送ユニット２１０や上下ユニット２２０等の位置を認識し、認識結果に応じて内蔵のモータドライバを経て、搬送ユニット２１０又は上下ユニット２２０に内蔵されたサーボモータに対して制御信号を送信する。このようにして、本実施形態によれば、検出マークの位置の変化により、組み立て装置２００をシーケンス動作させることができる。   When the controller 120 receives the image data from the CCD camera 110, the controller 120 analyzes the changed image data indicating the change of the position due to the movement of the detection mark, recognizes the positions of the transport unit 210, the upper and lower units 220, and the recognition result. Accordingly, a control signal is transmitted to the servo motor built in the transport unit 210 or the vertical unit 220 via the built-in motor driver. In this way, according to the present embodiment, the assembly apparatus 200 can be operated in sequence by changing the position of the detection mark.

さらに、搬送ユニット２１０や上下ユニット２２０の各動作ステップ終了時の位置を検出マークの位置により認識し、その動作ステップ終了時に相当する画像データをメモリ１３０に保存する。   Further, the position of the transport unit 210 and the upper and lower units 220 at the end of each operation step is recognized from the position of the detection mark, and the corresponding image data is stored in the memory 130 at the end of the operation step.

次に、組み立て装置２００の動作フローの概略を以下に示す。   Next, an outline of the operation flow of the assembling apparatus 200 is shown below.

組み立て装置２００では、可動部の少なくとも一つが移動する各動作ステップと、その動作ステップにおいて移動した可動部が所定の位置で停止したか否かを確認する動作終了判定ステップを交互に実行する。   In the assembling apparatus 200, each operation step in which at least one of the movable parts moves, and an operation end determination step for confirming whether or not the movable part moved in the operation step has stopped at a predetermined position are alternately executed.

そして、動作終了判定ステップでは、直前の動作ステップで移動した可動部が所定の位置で停止したか否かについて、ＣＣＤカメラ１１０で撮影した画像を用いてコントローラ１２０が判定する。その可動部が所定の位置に停止しており、動作が終了したと判定されれば、コントローラ１２０より組み立て装置２００の可動部へ制御信号が送信され、次の動作ステップが実行される。逆に動作終了と認められない限り、次の動作ステップは実行されない。   Then, in the operation end determination step, the controller 120 determines whether or not the movable part moved in the immediately previous operation step has stopped at a predetermined position using an image taken by the CCD camera 110. If it is determined that the movable part is stopped at a predetermined position and the operation is finished, a control signal is transmitted from the controller 120 to the movable part of the assembly apparatus 200, and the next operation step is executed. Conversely, the next operation step is not executed unless it is recognized that the operation has ended.

一例として、搬送ユニット２１０が、入口２３１にあるワーク２０２を捕捉するために、前進動作を行った後の動作終了判定を以下に説明する。   As an example, the operation end determination after the transport unit 210 performs the forward movement operation to capture the workpiece 202 at the entrance 231 will be described below.

係る判定は、搬送ユニット２１０に付された検出マーク２１３の重心位置及び面積が所定の条件を満たすか否かを判定することによって行う。   This determination is performed by determining whether or not the position of the center of gravity and the area of the detection mark 213 attached to the transport unit 210 satisfy a predetermined condition.

事前準備として、搬送ユニット２１０の前進動作終了時点に相当する参照画像データを取得する。図４に示すように、取得した参照画像データから、搬送ユニット２１０の前進動作終了時点における検出マーク２１３の存在すべき位置を含む関心領域１０１を設定し、メモリ１３０にその位置・範囲を記憶させておく。ここで関心領域１０１は、検出マーク２１３の位置検出に使用する領域であるため、正確な位置認識を行うために検出マーク２１３を完全に収めることができる大きさであることが好ましい。一方、位置認識の処理に必要な計算時間を減らすため、関心領域１０１は狭い方が好ましい。具体的には、関心領域１０１は、検出マーク２１３の画像上における面積の５倍〜１００倍程度の大きさに設定することが好ましい。さらに参照画像データに基づいて、搬送ユニット２１０の前進動作終了時点における検出マーク２１３を示す画素の重心位置、画像中の面積をそれぞれ基準重心Ｇorg、基準面積Ｄorgとして算出する。そして基準重心Ｇorg、基準面積Ｄorgを予めメモリ１３０に記憶させておく。 As advance preparation, reference image data corresponding to the end of the forward movement operation of the transport unit 210 is acquired. As shown in FIG. 4, the region of interest 101 including the position where the detection mark 213 should exist at the end of the forward movement operation of the transport unit 210 is set from the acquired reference image data, and the position / range is stored in the memory 130. Keep it. Here, since the region of interest 101 is a region used for detecting the position of the detection mark 213, it is preferable that the region of interest 101 has a size that can completely accommodate the detection mark 213 for accurate position recognition. On the other hand, the region of interest 101 is preferably narrow in order to reduce the calculation time required for the position recognition process. Specifically, the region of interest 101 is preferably set to a size of about 5 to 100 times the area of the detection mark 213 on the image. And based on reference image data, and calculates the center of gravity of the pixels indicating the detection mark 213 in forward motion end of the transport unit 210, the area in the image of each reference centroid G org, as reference area D org. Then, the reference center of gravity G org and the reference area D org are stored in the memory 130 in advance.

図５に、ステップＳ０２の動作手順のフローチャートを示す。   FIG. 5 shows a flowchart of the operation procedure of step S02.

組み立て装置２００の稼動時においては、コントローラ１２０がＣＣＤカメラ１１０から受信した画像について、関心領域１０１のみに限定して検出マーク２１３の重心位置Ｇ・面積Ｄを調べ、基準重心、基準面積との比較で動作が完了したか否かを判定する。まず、関心領域の位置、範囲、及び基準重心Ｇorg、基準面積Ｄorgをメモリ１３０から取得する（ステップＳ２０１）。次に、判定を行う画像データを取得する（ステップＳ２０２）。その後、関心領域１０１内の画像データを、検出マークとそれ以外に分離可能なように２値化する（ステップＳ２０３）。２値化の閾値は組み立て装置２００の設置環境等を勘案して経験的に設定する。 When the assembling apparatus 200 is in operation, the image received by the controller 120 from the CCD camera 110 is checked only in the region of interest 101, and the barycentric position G / area D of the detection mark 213 is checked and compared with the reference barycentric and reference area. It is determined whether or not the operation is completed. First, the position, range, reference centroid G org , and reference area D org of the region of interest are acquired from the memory 130 (step S201). Next, image data to be determined is acquired (step S202). After that, the image data in the region of interest 101 is binarized so that it can be separated from the detection mark (step S203). The threshold for binarization is set empirically in consideration of the installation environment of the assembling apparatus 200 and the like.

本実施形態では、１画素あたりのデータが赤（Ｒ）、緑（Ｇ）、青（Ｂ）各８ビットで表される。そこで関心領域１０１中の任意の画素の値Ｐ（＝（Ｒ, Ｇ, Ｂ））とし、対応する２値化画像の任意の画素値をＰbinとすると、検出マーク２１３は赤色であることから、例えば
Ｐbin ＝ １ （Ｒ≧Thdr、Ｇ＜Thdg、Ｂ＜Thdb） （１）
Ｐbin ＝ ０ （上記以外のとき）
とすることができる。ただし、Thdr、Thdg、Thdbはそれぞれ、Ｒ、Ｇ、Ｂに対する閾値であり、例えばThdr ＝ 128、Thdg ＝ 32、Thdb ＝ 32である。また、Ｐbin＝１となる画素は、検出マーク２１３に相当し、Ｐbin＝０の画素は、それ以外の画素であることを示す。 In the present embodiment, data per pixel is represented by 8 bits each of red (R), green (G), and blue (B). Therefore, if the value P (= (R, G, B)) of an arbitrary pixel in the region of interest 101 and the arbitrary pixel value of the corresponding binarized image is P bin , the detection mark 213 is red. For example, P bin = 1 (R ≧ Thd r , G <Thd g , B <Thd b ) (1)
P bin = 0 (other than above)
It can be. However, Thd r , Thd g , and Thd b are thresholds for R, G, and B, for example, Thd r = 128, Thd g = 32, and Thd b = 32. Further, a pixel with P bin = 1 corresponds to the detection mark 213, and a pixel with P bin = 0 indicates other pixels.

２値化が終了すると、検出マーク２１３に相当する（Ｐbin＝１）画素の重心Ｇ、画素数の合計（面積）Ｄを算出する（ステップＳ２０４）。次に、重心Ｇと、メモリ１３０に記憶された基準重心Ｇorgとの距離ΔＧ（＝((Ｇx−Ｇorgx)2+(Ｇy−Ｇorgy)2)1/2）を求める（ただし、Ｇx、Ｇyはそれぞれ重心Ｇの水平座標、垂直座標であり、一方Ｇorgx、Ｇorgyはそれぞれ基準重心Ｇorgの水平座標、垂直座標である）。同様に、面積Ｄと、基準面積Ｄorgとの面積の差の絶対値ΔＤ（＝｜Ｄ−Ｄorg｜）を求める（ステップＳ２０５）。ΔＧ、ΔＤそれぞれについて許容誤差範囲（例えば１画素以内）か否か判定する（ステップＳ２０６）。共に許容誤差範囲内であれば、搬送ユニット２１０は正常に前進動作（Ｓ０１）を終了したと判定する。この場合、コントローラ１２０は、モータドライバを通じて、次の動作を実行させるための制御信号となる、同期信号を出力する（ステップＳ２０７）。 When the binarization is completed, the centroid G of the pixel corresponding to the detection mark 213 (P bin = 1) and the total (area) D of the number of pixels are calculated (step S204). Next, a distance ΔG (= ((G x −G orgx ) 2 + (G y −G orgy ) 2 ) 1/2 ) between the centroid G and the reference centroid G org stored in the memory 130 is obtained (however, , G x , and G y are the horizontal and vertical coordinates of the center of gravity G, respectively, while G orgx and G orgy are the horizontal and vertical coordinates of the reference center of gravity G org , respectively). Similarly, an absolute value ΔD (= | D−D org |) of an area difference between the area D and the reference area D org is obtained (step S205). It is determined whether ΔG and ΔD are within an allowable error range (for example, within one pixel) (step S206). If both are within the allowable error range, it is determined that the transport unit 210 has normally finished the forward movement operation (S01). In this case, the controller 120 outputs a synchronization signal as a control signal for executing the next operation through the motor driver (step S207).

また、搬送ユニット１０の前進動作が終了したと判定された画像データをメモリ１３０に保存する（ステップＳ２０８）。   Further, the image data determined to have completed the forward movement operation of the transport unit 10 is stored in the memory 130 (step S208).

一方、ΔＧ、ΔＤのどちらか一方でも、許容誤差範囲を超えた場合、搬送ユニット２１０の前進動作は完了していないと判断し、判定に使用した画像データを廃棄するとともに、次にＣＣＤカメラ１１０から送られてくる画像に対して同様の判定手順を繰り返す。   On the other hand, if one of ΔG and ΔD exceeds the allowable error range, it is determined that the forward operation of the transport unit 210 is not completed, and the image data used for the determination is discarded, and then the CCD camera 110 is used. The same determination procedure is repeated for the image sent from.

上述した動作終了判定方法は、他の各動作終了判定ステップにおいても同様に使用する。ただし、着目する検出マーク、設定する関心領域、及び基準となる重心位置Ｇorg、面積Ｄorgは、各動作終了判定ステップについて最適化する。この最適化についても、上述した事前準備と同様の方法で、動作終了判定を行う可動部の動作終了時を示す参照画像データを予め取得しておき、その参照画像データから着目する検出マークの重心、面積を調べておけばよい。 The above-described operation end determination method is similarly used in each of the other operation end determination steps. However, the detection mark of interest, the region of interest to be set, and the center-of-gravity position G org and area D org as the reference are optimized for each operation end determination step. Also for this optimization, reference image data indicating the end of the operation of the movable part that performs the operation end determination is acquired in advance by the same method as the above-described preparation, and the center of gravity of the detection mark of interest from the reference image data Check the area.

また、同時に搬送ユニット２１０と上下ユニット２２０が動作するステップに対する動作終了判定ステップであっても、上述した方法で同様に動作終了判定を行うことができる。この場合、各ユニットに付された検出マークが写る領域近傍にそれぞれ関心領域を設定し、上述した方法によってそれぞれの検出マークの重心・面積を求めて判定を行う。   Further, even in the operation end determination step for the step in which the transport unit 210 and the upper / lower unit 220 operate at the same time, the operation end determination can be similarly performed by the method described above. In this case, a region of interest is set in the vicinity of the region where the detection mark attached to each unit is shown, and the center of gravity / area of each detection mark is obtained by the above-described method for determination.

本発明に係るシミュレーション装置１００は、上述した動作終了判定ステップの最適化に使用する。特に、組み立て装置２００の設置状態や周辺環境の差違によらず、検出マークを正確に抽出できるように、上述した２値化の閾値の最適化を達成できることが重要である。   The simulation apparatus 100 according to the present invention is used for optimizing the operation end determination step described above. In particular, it is important that the above-described binarization threshold optimization can be achieved so that detection marks can be accurately extracted regardless of differences in the installation state of the assembly apparatus 200 and the surrounding environment.

次に、本発明に係るシミュレーション装置１００により、組み立て装置２００の動作シミュレーションを行う場合の動作について説明する。   Next, an operation in the case where an operation simulation of the assembly apparatus 200 is performed by the simulation apparatus 100 according to the present invention will be described.

図６に、モニタ１４０の画面の概略構成図を示す。   FIG. 6 shows a schematic configuration diagram of the screen of the monitor 140.

画像表示部１４１は、画像入力装置から取得された、若しくはメモリ１３０から呼び出した画像データを表示する。データ表示部１４２は、画像表示部１４１に表示された画像に関連する情報（例えば、動作終了判定の対象となる可動部についての位置認識結果、モータドライバからのコールバック信号等）を表示する。また、操作部１４３は、動作終了判定方法のアルゴリズムで使用する閾値の調整、動作終了判定の模擬的な実行等の機能をユーザに提供する。さらに、画像コントラストやブライトネスの調整、意識的なピンボケ状態の創出といった、画像を変更する機能をユーザに提供する。   The image display unit 141 displays image data acquired from the image input device or called from the memory 130. The data display unit 142 displays information related to the image displayed on the image display unit 141 (for example, a position recognition result for the movable unit that is the target of the operation end determination, a callback signal from the motor driver, and the like). In addition, the operation unit 143 provides a user with functions such as adjustment of a threshold value used in the algorithm of the operation end determination method and simulation execution of the operation end determination. Furthermore, it provides the user with functions for changing the image, such as adjusting the image contrast and brightness, and creating a conscious defocused state.

なお、モニタ１４０は、タッチパネルといったポインティングデバイスを備え、画面上に表示された操作ボタンに触れると、その操作ボタンに関連付けられた機能が作動するように構成されている。また、タッチパネルの代わりに、マウス等の公知のポインティングデバイスを使用してもよい。   Note that the monitor 140 includes a pointing device such as a touch panel, and is configured such that a function associated with an operation button is activated when the operation button displayed on the screen is touched. Further, a known pointing device such as a mouse may be used instead of the touch panel.

ユーザは、組み立て装置２００の設計段階においては、３次元ＣＡＤデータ等に基づいて作成したコンピュータグラフィック（ＣＧ）画像データを本発明に係るシミュレーション装置の入力画像として用いることができる。この場合、組み立て装置２００の全てを詳細に表現する必要はなく、着目する可動部（搬送ユニット２１０、チャック部２２３、チャックシリンダ２２４の何れか）に相当する部分だけが表現されていればよい。また、組み立て装置２００の設置調整段階においては、実際に組み立て装置２００を設置し、ＣＣＤカメラ１１０で撮影した画像を入力画像として用いることができる。   The user can use computer graphic (CG) image data created based on three-dimensional CAD data or the like as an input image of the simulation apparatus according to the present invention at the design stage of the assembly apparatus 200. In this case, it is not necessary to express all of the assembly apparatus 200 in detail, and only a portion corresponding to the movable part of interest (any one of the transport unit 210, the chuck part 223, and the chuck cylinder 224) may be expressed. Further, in the installation adjustment stage of the assembling apparatus 200, the assembling apparatus 200 can be actually installed and an image photographed by the CCD camera 110 can be used as an input image.

シミュレーション装置１００は、上記画像を取得すると、画像表示部１４１にその画像を表示する。次に、ユーザが実行ボタン１４４にタッチすると、上述した動作終了判定方法と同じ方法を実現するアルゴリズムが機能し、画像上に表現された可動部に付された検出マークに基づいて、可動部の位置を検出する。検出された可動部の位置は、検出マークの重心１４７で示し、表示された画像と重ねて表示される。また、データ表示部１４２に、検出マークの重心座標１４８が示される。さらに、検出マークの真の重心を別途測定等により予め算出し、その位置を当該画像データに関連付けてメモリ１３０に保存しておき、当該画像データの表示の際に表示するようにしてもよい。さらに、関心領域１４９を画像データと重ねて表示してもよい。また、対象となる可動部が複数ある場合は、それぞれの可動部に付された検出マークの重心を表示する。   When the simulation apparatus 100 acquires the image, the simulation apparatus 100 displays the image on the image display unit 141. Next, when the user touches the execution button 144, an algorithm that realizes the same method as the operation end determination method described above functions, and based on the detection mark attached to the movable part represented on the image, Detect position. The detected position of the movable part is indicated by the center of gravity 147 of the detection mark, and is displayed so as to overlap with the displayed image. Further, the barycentric coordinate 148 of the detection mark is shown on the data display unit 142. Further, the true center of gravity of the detection mark may be calculated in advance by measurement or the like, and the position may be stored in the memory 130 in association with the image data and displayed when the image data is displayed. Further, the region of interest 149 may be displayed so as to overlap with the image data. When there are a plurality of target movable parts, the center of gravity of the detection mark attached to each movable part is displayed.

ユーザは、それら表示結果を参考にして、操作部１４３内の閾値調整ボタン１４５を操作して、（１）式に示した２値化閾値を変更すること等により、動作終了判定アルゴリズムの調整を行うことが可能である。例えば、図６において、２値化の閾値は赤（Ｒ）、緑（Ｇ）、青（Ｂ）に対応した、上述のThdr、Thdg、Thdb毎に調整することが可能である。具体的には、左端部にＲと示された部分の左側矢印部にタッチすると、赤に対する閾値Thdrは低く（数値が小さく）なる。逆に、左端部にＲと示された部分の右側矢印部にタッチすると、赤に対する閾値Thdrは高く（数値が大きく）なる。同様に、左端部にＧと表示された長方形領域内の矢印部にタッチすることで、緑に対する閾値Thdgを調整可能であり、左端部にＢと表示された長方形領域内の矢印部にタッチすることで、青に対する閾値Thdbを調整可能である。さらに、「inverse」と表記された部分の下部にある円形のチェックにタッチすることで、閾値の上側を選択するか、下側を選択するかを切り替えることが可能である。 The user operates the threshold adjustment button 145 in the operation unit 143 with reference to the display results, and adjusts the operation end determination algorithm by changing the binarization threshold shown in the equation (1). Is possible. For example, in FIG. 6, the threshold value for binarization can be adjusted for each of the above-described Thd r , Thd g , and Thd b corresponding to red (R), green (G), and blue (B). Specifically, by touching the left arrow of the portion indicated as R in the left end portion, the threshold value Thd r for the red decreases (number small). Conversely, by touching the right arrow of the portion indicated as R in the left end portion, the threshold value Thd r for the red increases (figures larger). Likewise, by touching the arrow portion of the rectangular area labeled G to the left end, it is possible to adjust the threshold value Thd g for green, touch the arrow portion of the rectangular area labeled B on the left end portion doing, it is possible to adjust the threshold Thd b for blue. Furthermore, it is possible to switch between selecting the upper side of the threshold value or selecting the lower side by touching a circular check at the bottom of the portion labeled “inverse”.

なお、閾値調整による結果を把握し易くするために、検出マークとして抽出した２値化画像の画素値Ｐbin＝１となる画素を、画像データと重ねて表示するようにしてもよい。 In order to make it easier to grasp the result of the threshold adjustment, the pixel having the pixel value P bin = 1 of the binarized image extracted as the detection mark may be displayed so as to overlap with the image data.

また、操作部１４３に含まれる画像調整機能１４６により、画像データのブライトネスやコントラスト等変更し、その上で再度動作終了判定の模擬的実行を行い、さらに２値化閾値を調整する、といった手順を繰り返すことにより、動作終了判定方法の最適化が達成される。   In addition, the image adjustment function 146 included in the operation unit 143 is used to change the brightness, contrast, and the like of the image data, perform simulation execution of the operation end determination again, and further adjust the binarization threshold. By repeating, the optimization of the operation end determination method is achieved.

上述した手順を、仕様が固まった動作終了判定ステップから順に行うことができる。また上述したように、各動作終了判定ステップの調整を行う際、実機を用いる必要なく、各可動部の動作が正常に行われるか否か、またその判定について調整することが可能であり、設備又は装置の設計時、及び設置時における調整等の時間を大幅に短縮することができる。   The above-described procedure can be sequentially performed from the operation end determination step in which the specification is fixed. Moreover, as described above, when adjusting each operation end determination step, it is possible to adjust whether or not the operation of each movable part is normally performed without using an actual machine, and to adjust the determination. Alternatively, it is possible to greatly shorten the time for adjustment at the time of designing and installing the apparatus.

なお、上述してきた実施形態は、本発明を説明するためのものであり、本発明は、これらの実施形態に限定されるものではない。   The embodiments described above are for explaining the present invention, and the present invention is not limited to these embodiments.

本発明に係るシミュレーション装置の構成ブロック図である。1 is a configuration block diagram of a simulation apparatus according to the present invention. 本発明に係るシミュレーション装置のシミュレーション対象となる組み立て装置の構成ブロック図である。It is a block diagram of the configuration of an assembling apparatus to be simulated by the simulation apparatus according to the present invention. 本発明に係るシミュレーション装置のシミュレーション対象となる組み立て装置の概略上面図である。It is a schematic top view of the assembly apparatus used as the simulation object of the simulation apparatus which concerns on this invention. 関心領域の設定範囲、及び検出マークの重心の概要を示す図である。It is a figure which shows the outline of the setting range of a region of interest, and the gravity center of a detection mark. 組み立て装置の各可動部の動作終了判定方法のフローチャートである。It is a flowchart of the operation | movement completion determination method of each movable part of an assembly apparatus. 本発明の実施形態に係るシミュレーション装置のモニタ画面の概略構成図である。It is a schematic block diagram of the monitor screen of the simulation apparatus which concerns on embodiment of this invention.

符号の説明Explanation of symbols

１００ シミュレーション装置
１１０ カメラ
１２０ コントローラ
１３０ メモリ
１４０ モニタ
１４１ 画像表示部
１４２ データ表示部
１４３ 操作部
２００ 組み立て装置
２１０ 搬送ユニット
２２０ 上下ユニット
２１３、２１４、２２５、２２６ 検出マーク
１０１ 関心領域 DESCRIPTION OF SYMBOLS 100 Simulation apparatus 110 Camera 120 Controller 130 Memory 140 Monitor 141 Image display part 142 Data display part 143 Operation part 200 Assembly apparatus 210 Conveyance unit 220 Vertical unit 213, 214, 225, 226 Detection mark 101 Area of interest

Claims (9)

可動部を撮影可能な撮像部と、前記撮像部で撮影した画像データに基づいて、前記可動部の位置情報を取得し、且つ当該位置情報が所定の条件を満たしているか否かを判定し、当該条件を満たしていると判定した場合、前記可動部を起動させるための制御信号を出力する制御部とを有する可動部を備えた設備又は装置のシミュレーション装置であって、
前記可動部のモデルを含むシミュレーション用の画像データに基づいて、前記可動部のモデルが前記シミュレーション用画像内に占める位置情報を取得する画像処理部と、
前記画像処理部が取得した前記モデルの位置情報を表示する表示部と、
を有することを特徴とするシミュレーション装置。 Based on the imaging unit capable of capturing the movable unit and the image data captured by the imaging unit, the positional information of the movable unit is acquired, and it is determined whether or not the positional information satisfies a predetermined condition. When it is determined that the condition is satisfied, it is a facility or apparatus simulation apparatus including a movable unit having a control unit that outputs a control signal for activating the movable unit,
Based on image data for simulation including the model of the movable part, an image processing unit for acquiring position information occupied by the model of the movable part in the simulation image;
A display unit for displaying position information of the model acquired by the image processing unit;
A simulation apparatus comprising: さらに、前記モデルが前記シミュレーション用画像内に占める位置情報の取得に使用する条件を調整する画像処理調整部を有する請求項１に記載のシミュレーション装置。   The simulation apparatus according to claim 1, further comprising an image processing adjustment unit that adjusts a condition used to acquire position information occupied by the model in the simulation image. さらに、前記シミュレーション用画像を修正するための画像修正部を有する請求項１又は２に記載のシミュレーション装置。   The simulation apparatus according to claim 1, further comprising an image correction unit for correcting the simulation image. 前記表示部は、前記画像処理部が取得した前記モデルの位置情報とともに、前記可動部のモデルの真の位置を表示する請求項１〜３の何れか一項に記載のシミュレーション装置。   The simulation device according to any one of claims 1 to 3, wherein the display unit displays a true position of the model of the movable unit together with the position information of the model acquired by the image processing unit. 前記可動部は、前記の可動部の位置情報を特定するための少なくとも１つの検出マークを有し、
且つ前記可動部のモデルは、前記検出マークのモデルを有し、
前記画像処理部は、前記検出マークのモデルに基づいて前記可動部のモデルの位置情報を取得する、請求項１〜４の何れか一項に記載のシミュレーション装置。 The movable part has at least one detection mark for specifying position information of the movable part,
And the model of the movable part has a model of the detection mark,
5. The simulation apparatus according to claim 1, wherein the image processing unit acquires position information of a model of the movable unit based on a model of the detection mark. 前記可動部の位置情報は、前記可動部の動作終了後の位置情報である請求項１〜５の何れか一項に記載のシミュレーション装置。   The simulation apparatus according to claim 1, wherein the position information of the movable part is position information after the operation of the movable part is completed. 前記可動部の位置情報は、前記可動部の動作開始前の位置情報である請求項１〜５の何れか一項に記載のシミュレーション装置。   The simulation apparatus according to claim 1, wherein the position information of the movable part is position information before the operation of the movable part is started. 前記画像処理部は、前記シミュレーション用画像データの一部に関心領域を設定し、当該関心領域に含まれる画像データのみに基づいて前記モデルの位置情報を取得する請求項１〜７の何れか一項に記載のシミュレーション装置。   The image processing unit sets a region of interest in a part of the image data for simulation, and acquires position information of the model based only on image data included in the region of interest. The simulation apparatus according to item. 可動部を撮影した画像データに基づいて、当該可動部の制御を行う設備又は装置のシミュレーション方法であって、
前記可動部のモデルを含むシミュレーション用の画像データに基づいて、前記可動部のモデルが前記シミュレーション用画像内に占める位置情報を取得するステップと、
前記位置情報が所定の条件を満たしているか否かを判定するステップと、
前記条件を満たしていると判定した場合、前記可動部を起動させるための制御信号を模擬的に生成するステップと、
を有することを特徴とするシミュレーション方法。 A facility or apparatus simulation method for controlling the movable part based on image data obtained by photographing the movable part,
Based on image data for simulation including the model of the movable part, obtaining position information occupied by the model of the movable part in the simulation image;
Determining whether the position information satisfies a predetermined condition;
If it is determined that the condition is satisfied, a step of generating a control signal for activating the movable part,
A simulation method characterized by comprising:
JP2005045407A 2005-02-22 2005-02-22 Simulation device and simulation method Pending JP2006235699A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005045407A JP2006235699A (en) 2005-02-22 2005-02-22 Simulation device and simulation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005045407A JP2006235699A (en) 2005-02-22 2005-02-22 Simulation device and simulation method

Publications (1)

Publication Number Publication Date
JP2006235699A true JP2006235699A (en) 2006-09-07

Family

ID=37043315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005045407A Pending JP2006235699A (en) 2005-02-22 2005-02-22 Simulation device and simulation method

Country Status (1)

Country Link
JP (1) JP2006235699A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103921274A (en) * 2013-01-15 2014-07-16 株式会社安川电机 Recognition program evaluation device and method for evaluating recognition program
JP2015114722A (en) * 2013-12-09 2015-06-22 キヤノン株式会社 Information processing apparatus, control method thereof, information processing system, and program
JP2016042378A (en) * 2015-11-12 2016-03-31 オムロン株式会社 Simulation device, simulation method, and simulation program
KR101785778B1 (en) * 2014-09-26 2017-10-16 가부시키가이샤 스크린 홀딩스 Position detection apparatus, substrate processing apparatus, position detection method and substrate processing method
WO2020017266A1 (en) * 2018-07-19 2020-01-23 オムロン株式会社 Simulation device, simulation program, and simulation method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0523981A (en) * 1991-07-15 1993-02-02 Agency Of Ind Science & Technol Robot assembler
JP2002140693A (en) * 2000-10-31 2002-05-17 Keyence Corp Image processing parameter determination device, its method and recording medium with recorded image processing parameter determination program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0523981A (en) * 1991-07-15 1993-02-02 Agency Of Ind Science & Technol Robot assembler
JP2002140693A (en) * 2000-10-31 2002-05-17 Keyence Corp Image processing parameter determination device, its method and recording medium with recorded image processing parameter determination program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103921274A (en) * 2013-01-15 2014-07-16 株式会社安川电机 Recognition program evaluation device and method for evaluating recognition program
JP2014137644A (en) * 2013-01-15 2014-07-28 Yaskawa Electric Corp Recognition program evaluation apparatus and recognition program evaluation method
JP2015114722A (en) * 2013-12-09 2015-06-22 キヤノン株式会社 Information processing apparatus, control method thereof, information processing system, and program
US10234844B2 (en) 2013-12-09 2019-03-19 Canon Kabushiki Kaisha Information processing apparatus, control method thereof, information processing system, and non-transitory computer-readable storage medium
KR101785778B1 (en) * 2014-09-26 2017-10-16 가부시키가이샤 스크린 홀딩스 Position detection apparatus, substrate processing apparatus, position detection method and substrate processing method
US9975247B2 (en) 2014-09-26 2018-05-22 SCREEN Holdings Co., Ltd. Position detection apparatus, substrate processing apparatus, position detection method and substrate processing method
JP2016042378A (en) * 2015-11-12 2016-03-31 オムロン株式会社 Simulation device, simulation method, and simulation program
WO2020017266A1 (en) * 2018-07-19 2020-01-23 オムロン株式会社 Simulation device, simulation program, and simulation method
JP2020011340A (en) * 2018-07-19 2020-01-23 オムロン株式会社 Simulation device, simulation program and simulation method
JP7124509B2 (en) 2018-07-19 2022-08-24 オムロン株式会社 SIMULATION DEVICE, SIMULATION PROGRAM AND SIMULATION METHOD

Similar Documents

Publication Publication Date Title
US10190873B1 (en) Shape measuring device and shape measuring method
Nerakae et al. Using machine vision for flexible automatic assembly system
JP4776034B2 (en) Automatic cutting device and manufacturing method of groove processed product
EP1881383A2 (en) Simulation device of robot system
US9453716B2 (en) Method of measurement and apparatus for measurement of tool dimensions
WO2018066576A1 (en) Appearance inspecting method
EP2667145A1 (en) Image processing device, and image processing program
JP2006235699A (en) Simulation device and simulation method
JP4462161B2 (en) Monitoring control apparatus and monitoring control method
JP2018144159A (en) Robot setting device, robot system, robot setting method, robot setting program and recording medium readable by computer as well as equipment with the same recorded
US11378520B2 (en) Auto focus function for vision inspection system
JP5686012B2 (en) Surface defect inspection apparatus and method
CN114746213A (en) Display device, machine tool, and liquid discharge method
JP2006228029A (en) Monitor control device and method
JP7215218B2 (en) SPECTROSCOPY INSPECTION METHOD, IMAGE PROCESSING DEVICE, AND ROBOT SYSTEM
JP2010052060A (en) Automatic operation device
JPWO2018158888A1 (en) Backup pin recognition method and component mounting apparatus
JP4544117B2 (en) Control information generator
JP4449862B2 (en) MOVING UNIT OPERATION DEVICE AND OPERATION METHOD
WO2019106987A1 (en) Work assisting system, work assisting method, and program
JP2006221238A (en) Drive control device and drive control method
JP2006293695A (en) Monitoring and controlling device, and monitoring and controlling method
JP4844172B2 (en) Automatic driving device
JP2006243875A (en) Operation device and method for movable section
JP7440975B2 (en) Imaging device and identification method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100615