JP2016063309A - Image processor and robot system - Google Patents

Image processor and robot system Download PDF

Info

Publication number
JP2016063309A
JP2016063309A JP2014188127A JP2014188127A JP2016063309A JP 2016063309 A JP2016063309 A JP 2016063309A JP 2014188127 A JP2014188127 A JP 2014188127A JP 2014188127 A JP2014188127 A JP 2014188127A JP 2016063309 A JP2016063309 A JP 2016063309A
Authority
JP
Japan
Prior art keywords
imaging device
connection unit
unit
setting information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014188127A
Other languages
Japanese (ja)
Other versions
JP6375810B2 (en
Inventor
西谷 正信
Masanobu Nishitani
正信 西谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014188127A priority Critical patent/JP6375810B2/en
Priority to CN201510578893.2A priority patent/CN105430255A/en
Priority to EP15185232.4A priority patent/EP2998079B1/en
Priority to US14/854,499 priority patent/US10127622B2/en
Publication of JP2016063309A publication Critical patent/JP2016063309A/en
Application granted granted Critical
Publication of JP6375810B2 publication Critical patent/JP6375810B2/en
Priority to US16/157,840 priority patent/US20190043150A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processor and a robot system capable of automatically setting relevant to a network on a network compatible imaging apparatus.SOLUTION: The image processor includes: a connection part for connecting to an imaging apparatus; a determination section that determines whether or not the set information on the imaging apparatus should be changed using the set information of the imaging apparatus and the set information of the connection part; and a changing part that, when the determination section determines the set information of the imaging apparatus should be changed, changes the set information of the imaging apparatus.SELECTED DRAWING: Figure 2

Description

本発明は、画像処理装置、及びロボットシステムに関する。   The present invention relates to an image processing apparatus and a robot system.

撮像装置によって撮像された画像を用いて作業対象の位置や姿勢を算出し、算出した位置や姿勢に基づいてロボットに所定の作業を行わせるロボットシステムが提案されている。
このようなロボットシステムは、撮像装置、画像処理装置、ロボットコントローラ、ロボットを含んで構成されている。画像処理装置は、撮像装置によって撮像された画像を用いて作業対象の中心位置を算出する。そして、ロボットコントローラは、画像処理装置によって算出された作業対象の中心位置を示す情報に基づいて、作業対象の位置や姿勢を認識する。そして、ロボットコントローラは、認識された各作業対象の位置や姿勢に基づいて、ロボットが有するハンド機構を適切な位置および姿勢に位置決めするための指令を生成して、ロボットの把持動作を制御する(例えば、特許文献1参照)。
There has been proposed a robot system that calculates the position and orientation of a work target using an image captured by an imaging apparatus and causes the robot to perform a predetermined operation based on the calculated position and orientation.
Such a robot system includes an imaging device, an image processing device, a robot controller, and a robot. The image processing apparatus calculates the center position of the work target using the image captured by the imaging apparatus. Then, the robot controller recognizes the position and orientation of the work target based on information indicating the center position of the work target calculated by the image processing apparatus. Then, the robot controller generates a command for positioning the hand mechanism of the robot to an appropriate position and posture based on the recognized position and posture of each work target, and controls the gripping operation of the robot ( For example, see Patent Document 1).

また、従来のロボットシステムでは、撮像装置がUSB(Universal Serial Bus)またはLAN(Local Area Network(ローカル・エリア・ネットワーク))ケーブルを介して、画像処理装置に接続されていた。
撮像装置と画像処理装置とが、LANケーブルを介して接続される場合、利用者が撮像装置に対するネットワークに関する設定を行っていた。または、従来のロボットシステムでは、DHCP(Dynamic Host Configuration Protocol(ダイナミック ホスト コンフィギュレーション プロトコル))サーバーをネットワーク中に設けることで、撮像装置のネットワークに関する設定を自動で行っていた。
In the conventional robot system, the imaging apparatus is connected to the image processing apparatus via a USB (Universal Serial Bus) or a LAN (Local Area Network) cable.
When the imaging apparatus and the image processing apparatus are connected via a LAN cable, the user has made settings related to the network for the imaging apparatus. Alternatively, in a conventional robot system, a DHCP (Dynamic Host Configuration Protocol (Dynamic Host Configuration Protocol)) server is provided in the network, so that settings relating to the network of the imaging apparatus are automatically performed.

特開2012−242281号公報JP 2012-242281 A

しかしながら、従来の画像処理装置では、撮像装置のネットワークに関する設定を自動で行うには、DHCPサーバーが必要であった。DHCPサーバーを用いない場合、利用者は、撮像装置のネットワークに関する設定を手動で行う必要があった。この場合、利用者は、ロボットシステムに接続されている画像処理装置やロボットコントローラのネットワークに関する設定内容を把握しておく必要があった。   However, in the conventional image processing apparatus, a DHCP server is necessary to automatically perform settings related to the network of the imaging apparatus. When the DHCP server is not used, the user has to manually perform settings related to the network of the imaging apparatus. In this case, the user has to know the setting contents related to the network of the image processing apparatus and the robot controller connected to the robot system.

本発明は、前記の点に鑑み為されたものであり、撮像装置に対してネットワークに関する設定を自動で行うことができる画像処理装置、及びロボットシステムを提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus and a robot system that can automatically perform network-related settings for an imaging apparatus.

本発明の一態様は、撮像装置と接続する接続部と、前記撮像装置の設定情報と前記接続部の設定情報とを用いて、前記撮像装置の前記設定情報を変更する必要があるか否かを判定する判定部と、前記判定部による判定によって前記撮像装置の前記設定情報を変更する必要があると判定された場合には、前記撮像装置の前記設定情報を変更する変更部と、を含む画像処理装置である。
この構成により、画像処理装置は、撮像装置と接続する接続部と、撮像装置の設定情報と接続部の設定情報とを用いて、撮像装置の設定情報を変更する必要があると判定された場合に撮像装置の設定情報を変更することができる。これにより、画像処理装置では、撮像装置に対してネットワークに関する設定を自動で設定することができる。
According to one embodiment of the present invention, it is necessary to change the setting information of the imaging device using a connection unit connected to the imaging device, the setting information of the imaging device, and the setting information of the connection unit. And a change unit that changes the setting information of the imaging device when it is determined by the determination by the determination unit that the setting information of the imaging device needs to be changed. An image processing apparatus.
With this configuration, when it is determined that the image processing apparatus needs to change the setting information of the imaging device using the connection unit connected to the imaging device, the setting information of the imaging device, and the setting information of the connection unit The setting information of the imaging device can be changed. As a result, the image processing apparatus can automatically set the network settings for the imaging apparatus.

本発明の一態様において、前記撮像装置の前記設定情報及び前記接続部の前記設定情報は、それぞれ、ネットワークに関する設定情報であり、ネットワークセグメントを示すネットワークセグメント情報及び前記ネットワークセグメント情報を含むIPアドレスを含み、前記判定部は、前記撮像装置の前記設定情報に含まれる前記ネットワークセグメント情報と前記接続部の前記設定情報に含まれる前記ネットワークセグメント情報とを比較し、これらが一致する場合に、前記撮像装置の前記設定情報に含まれる前記IPアドレスと前記接続部の前記設定情報に含まれる前記IPアドレスとを比較し、これらが一致する場合に、前記撮像装置の前記設定情報に含まれる前記IPアドレスの第4セグメントを変更する必要があると判定するようにしてもよい。
この構成により、画像処理装置は、接続部のネットワークセグメントと撮像装置のネットワークセグメントとが一致し、かつ接続部のIPアドレスと撮像装置のIPアドレスとが一致する場合、撮像装置のIPアドレスの第4セグメントを変更することができる。これにより、画像処理装置では、接続部と撮像装置とのIPアドレスが一致する場合であっても、撮像装置に対してネットワークに関する設定を自動で設定することができる。
In one aspect of the present invention, the setting information of the imaging device and the setting information of the connection unit are setting information related to a network, respectively, and include network segment information indicating a network segment and an IP address including the network segment information. And the determination unit compares the network segment information included in the setting information of the imaging device with the network segment information included in the setting information of the connection unit, and if they match, the imaging The IP address included in the setting information of the imaging apparatus is compared with the IP address included in the setting information of the connection unit when the IP address included in the setting information of the apparatus matches the IP address. To determine that the fourth segment of needs to be changed It may be.
With this configuration, when the network segment of the connection unit and the network segment of the imaging device match, and the IP address of the connection unit and the IP address of the imaging device match, the image processing device has the first IP address of the imaging device. Four segments can be changed. Thereby, in the image processing apparatus, even when the IP addresses of the connection unit and the imaging apparatus match, settings relating to the network can be automatically set for the imaging apparatus.

本発明の一態様において、前記判定部は、前記撮像装置の前記設定情報に含まれる前記ネットワークセグメント情報と前記接続部の前記設定情報に含まれる前記ネットワークセグメント情報とが一致しない場合に、前記撮像装置の前記設定情報と前記接続部の設定情報とで前記IPアドレスの前記ネットワークセグメント情報が一致し且つ第4セグメントが異なるように変更する必要があると判定するようにしてもよい。
この構成により、画像処理装置は、接続部のネットワークセグメントと撮像装置のネットワークセグメントとが一致しない場合、撮像装置のIPアドレスを、接続部のネットワークセグメントと一致し且つ第4セグメントが異なるように変更することができる。これにより、画像処理装置では、接続部と撮像装置とのネットワークセグメントが一致する場合であっても、撮像装置に対してネットワークに関する設定を自動で設定することができる。
1 aspect of this invention WHEREIN: The said determination part is the said imaging, when the said network segment information contained in the said setting information of the said connection part and the said network segment information contained in the said setting information of the said imaging device do not correspond It may be determined that the setting information of the device and the setting information of the connection unit need to be changed so that the network segment information of the IP address matches and the fourth segment is different.
With this configuration, when the network segment of the connection unit does not match the network segment of the imaging device, the image processing device changes the IP address of the imaging device so that it matches the network segment of the connection unit and the fourth segment is different. can do. Thereby, in the image processing apparatus, even when the network segment of the connection unit and the imaging apparatus match, settings relating to the network can be automatically set for the imaging apparatus.

本発明の一態様において、ロボットを制御する制御装置または他の画像処理装置と接続する外部通信接続部を含み、前記判定部は、前記外部通信接続部の設定情報を用いて、前記撮像装置の前記設定情報を変更する必要があるか否かを判定するようにしてもよい。
この構成により、画像処理装置は、撮像装置と接続する接続部と、外部通信接続部の設定情報と接続部の設定情報とを用いて、撮像装置の設定情報を変更する必要があると判定された場合に撮像装置の設定情報を変更することができる。これにより、画像処理装置では、撮像装置に対してネットワークに関する設定を自動で設定することができる。
One aspect of the present invention includes an external communication connection unit connected to a control device that controls a robot or another image processing device, and the determination unit uses setting information of the external communication connection unit to It may be determined whether or not the setting information needs to be changed.
With this configuration, it is determined that the image processing apparatus needs to change the setting information of the imaging device using the connection unit connected to the imaging device, the setting information of the external communication connection unit, and the setting information of the connection unit. In this case, the setting information of the imaging device can be changed. As a result, the image processing apparatus can automatically set the network settings for the imaging apparatus.

本発明の一態様において、前記撮像装置の前記設定情報及び前記外部通信接続部の前記設定情報は、それぞれ、ネットワークに関する設定情報であり、ネットワークセグメントを示すネットワークセグメント情報及び前記ネットワークセグメント情報を含むIPアドレスを含み、前記判定部は、前記撮像装置の前記設定情報に含まれる前記ネットワークセグメント情報と前記外部通信接続部の前記設定情報に含まれる前記ネットワークセグメント情報とを比較し、これらが一致する場合に、前記撮像装置の前記設定情報に含まれる前記IPアドレスの前記ネットワークセグメント情報を変更する必要があると判定するようにしてもよい。
この構成により、画像処理装置は、接続部のネットワークセグメントと外部通信接続部のネットワークセグメントとが一致する場合、撮像装置のネットワークセグメントを変更することができる。これにより、画像処理装置では、外部通信接続部のIPアドレスアドレスが変更された場合、外部通信接続部と撮像装置とのネットワークセグメントが一致する場合であっても、撮像装置に対してネットワークに関する設定を自動で設定することができる。
In one aspect of the present invention, the setting information of the imaging device and the setting information of the external communication connection unit are setting information related to a network, respectively, and include network segment information indicating a network segment and the network segment information. An address is included, and the determination unit compares the network segment information included in the setting information of the imaging device with the network segment information included in the setting information of the external communication connection unit, and they match In addition, it may be determined that the network segment information of the IP address included in the setting information of the imaging device needs to be changed.
With this configuration, the image processing apparatus can change the network segment of the imaging apparatus when the network segment of the connection unit matches the network segment of the external communication connection unit. Thereby, in the image processing apparatus, when the IP address address of the external communication connection unit is changed, even if the network segment of the external communication connection unit and the imaging device is the same, the setting related to the network for the imaging device is performed. Can be set automatically.

本発明の他の態様は、本発明の一態様の画像処理装置と、ロボット本体部と、前記画像処理装置の前記変更部により変更された設定情報を用いて通信を行い、前記ロボット本体部の駆動制御を行うロボット制御装置と、を備えるロボットシステムである。
この構成により、ロボットシステムは、画像処理装置が撮像装置と接続する接続部と、撮像装置の設定情報と接続部の設定情報とを用いて、撮像装置の設定情報を変更する必要があると判定された場合に撮像装置の設定情報を変更することができる。これにより、ロボットシステムは、画像処理装置が撮像装置に対してネットワークに関する設定を自動で設定した結果を用いて、ロボットを制御することができる。
According to another aspect of the present invention, communication is performed using the image processing apparatus according to one aspect of the present invention, a robot main body, and setting information changed by the changing unit of the image processing apparatus. And a robot control device that performs drive control.
With this configuration, the robot system determines that the setting information of the imaging device needs to be changed using the connection unit that connects the image processing device to the imaging device, the setting information of the imaging device, and the setting information of the connection unit. In such a case, the setting information of the imaging device can be changed. As a result, the robot system can control the robot using the result of the image processing apparatus automatically setting the network settings for the imaging apparatus.

本発明の各態様によれば、撮像装置のネットワーク設定情報と、この撮像装置が接続される接続部、または他の装置が接続される外部通信接続部のネットワーク設定情報とを用いて、撮像装置のネットワーク設定情報を変更する必要があるか否かを判定し、変更する必要がある場合に、撮像装置のネットワーク設定情報を変更するようにしたため、撮像装置に対してネットワークに関する設定を自動で設定することができる。   According to each aspect of the present invention, using the network setting information of the imaging device and the network setting information of the connection unit to which the imaging device is connected or the external communication connection unit to which another device is connected, the imaging device When it is necessary to change the network setting information of the image pickup device, the network setting information of the image pickup device is changed. can do.

第1実施形態に係るロボットシステムの一例を示す構成図である。It is a lineblock diagram showing an example of a robot system concerning a 1st embodiment. 第1実施形態に係る画像処理装置の構成を示す概略ブロック図である。1 is a schematic block diagram illustrating a configuration of an image processing apparatus according to a first embodiment. 第1実施形態に係るネットワークセグメントを説明する図である。It is a figure explaining the network segment which concerns on 1st Embodiment. 第1実施形態に係る記憶部に記憶されている第1撮像装置接続部〜第4撮像装置接続部に予め割り当てられているIPアドレスと、ネットワークセグメントの関係の一例を説明する図である。It is a figure explaining an example of the relationship between the IP address previously allocated to the 1st imaging device connection part-the 4th imaging device connection part memorize | stored in the memory | storage part which concerns on 1st Embodiment, and a network segment. 第1実施形態に係る記憶部に記憶されている第1撮像装置接続部〜第4撮像装置接続部に接続される撮像装置に予め割り当てられているIPアドレスの一例を説明する図である。It is a figure explaining an example of the IP address previously allocated to the imaging device connected to the 1st imaging device connection part-the 4th imaging device connection part memorize | stored in the memory | storage part which concerns on 1st Embodiment. 第1実施形態に係る撮像装置通信部が行う処理手順のフローチャートである。It is a flowchart of the process sequence which the imaging device communication part which concerns on 1st Embodiment performs. 第1実施形態に係る第n撮像装置接続部と撮像装置とのネットワークセグメントが異なる場合のネットワークセグメントとIPアドレスの一例を説明する図である。It is a figure explaining an example of a network segment and IP address in case the network segment of the nth imaging device connection part and imaging device which concern on 1st Embodiment differs. 第1実施形態に係る第n撮像装置接続部と撮像装置とのネットワークセグメントが同じであり、かつIPアドレスアドレスが同じである場合のネットワークセグメントとIPアドレスの一例を説明する図である。It is a figure explaining an example of a network segment and an IP address in case the network segment of the nth imaging device connection part and imaging device which concern on 1st Embodiment is the same, and an IP address address is the same. 第2実施形態に係る撮像装置通信部が行う処理手順のフローチャートである。It is a flowchart of the process sequence which the imaging device communication part which concerns on 2nd Embodiment performs. 第2実施形態に係る外部通信接続部と第n撮像装置接続部と撮像装置とのネットワークセグメントが同じである場合のネットワークセグメントとIPアドレスの一例を説明する図である。It is a figure explaining an example of a network segment and an IP address in case the network segment of the external communication connection part which concerns on 2nd Embodiment, an nth imaging device connection part, and an imaging device is the same.

<第1実施形態>
以下、本発明の第1実施形態について、図面を参照して説明する。図1は、第1実施形態に係るロボットシステム1の一例を示す構成図である。ロボットシステム1は、情報処理装置5と、撮像装置10と、ロボット20と、制御装置30と、画像処理装置40を備える。
<First Embodiment>
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a configuration diagram illustrating an example of a robot system 1 according to the first embodiment. The robot system 1 includes an information processing device 5, an imaging device 10, a robot 20, a control device 30, and an image processing device 40.

ロボットシステム1は、情報処理装置5により利用者からの操作を受け付け、受け付けられた操作に基づいてロボット20に所定の作業を行わせる。所定の作業とは、例えば、図1に示したように、作業台TBの上面に配置された作業対象Mを所定位置に再配置させる作業を示すが、他の作業であってもよい。作業台TBは、例えば、テーブル等の台であるが、これに代えて、作業対象Mを配置することが可能であれば、床面や壁面等であってもよい。   The robot system 1 receives an operation from a user by the information processing apparatus 5 and causes the robot 20 to perform a predetermined operation based on the received operation. For example, as shown in FIG. 1, the predetermined work indicates a work for rearranging the work target M arranged on the upper surface of the work table TB to a predetermined position, but may be another work. The work table TB is, for example, a table or the like, but may be a floor surface, a wall surface, or the like as long as the work object M can be arranged instead.

作業対象Mは、ロボット20により把持可能な物体であり、例えば、ネジやボルト等の工業製品の部品であるが、他の物体であってもよい。図1において、作業対象Mは、直方体形状の物体として示す。ロボットシステム1は、画像処理装置40により算出された作業対象Mの位置及び姿勢に基づいてロボット20に所定の作業を行わせる。   The work target M is an object that can be gripped by the robot 20, and is, for example, a part of an industrial product such as a screw or bolt, but may be another object. In FIG. 1, the work object M is shown as a rectangular parallelepiped object. The robot system 1 causes the robot 20 to perform a predetermined work based on the position and posture of the work target M calculated by the image processing device 40.

情報処理装置5は、例えば、ノートPC(Personal Computer)やデスクトップPC、タブレットPC、多機能携帯電話端末(スマートフォン)等、ロボット20を制御するためのアプリケーションプログラムをインストールすることが可能なディスプレイを備えた装置である。このアプリケーションプログラムは、ロボット20を制御する制御プログラムを作成するためのGUI(Graphical User Interface)や、ロボットシステム1の状態を表示するためのGUI等、各種の機能を有するGUIを情報処理装置5の表示部に表示させる。   The information processing apparatus 5 includes a display capable of installing an application program for controlling the robot 20 such as a notebook PC (Personal Computer), a desktop PC, a tablet PC, or a multi-function mobile phone terminal (smartphone). Device. This application program uses a GUI (Graphical User Interface) for creating a control program for controlling the robot 20 and a GUI having various functions such as a GUI for displaying the state of the robot system 1. Display on the display.

情報処理装置5は、表示部に表示されたGUIを介して利用者からの操作を受け付け、受け付けられた操作に基づいて前述の制御プログラムを作成し、それをコンパイルする。このコンパイルにより、制御プログラムは、制御装置30により実行可能な形式のオブジェクトコードに変換される。情報処理装置5は、表示部に表示されたGUIを介して利用者からの操作を受け付け、受け付けられた操作に基づいて、このオブジェクトコードを制御装置30に出力する。このオブジェクトコードには、例えば複数の処理手順が記述されている。そして、このオブジェクトコードを実行する装置が外部の装置との通信を行う処理手順には、処理毎に、処理の要求の送信元(このオブジェクトコードを実行する装置)を示す情報と送信先(前記した外部の装置)を示す情報とが関連付けられて記述されている。送信元を示す情報とは、情報処理装置5または制御装置30に設定されているIP(Internet Protocol;インターネットプロトコル)アドレスである。送信先を示す情報とは、制御装置30または画像処理装置40の外部通信接続部41(図2)に設定されているIPアドレスである。
情報処理装置5は、ケーブルによって制御装置30と通信可能に接続されている。ケーブルを介した有線通信は、イーサネット(登録商標)の規格によって行われる。
The information processing apparatus 5 accepts an operation from the user via the GUI displayed on the display unit, creates the above-described control program based on the accepted operation, and compiles it. By this compilation, the control program is converted into an object code that can be executed by the control device 30. The information processing device 5 accepts an operation from the user via the GUI displayed on the display unit, and outputs this object code to the control device 30 based on the accepted operation. In this object code, for example, a plurality of processing procedures are described. A processing procedure in which a device that executes this object code communicates with an external device includes, for each processing, information indicating a transmission source of a processing request (device that executes this object code) and a transmission destination (the above-described device). The information indicating the external device) is described in association with it. The information indicating the transmission source is an IP (Internet Protocol) address set in the information processing apparatus 5 or the control apparatus 30. The information indicating the transmission destination is an IP address set in the external communication connection unit 41 (FIG. 2) of the control device 30 or the image processing device 40.
The information processing device 5 is communicably connected to the control device 30 via a cable. Wired communication via a cable is performed according to the Ethernet (registered trademark) standard.

撮像装置10は、例えば、集光された光を電気信号に変換する撮像素子であるCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を備えたカメラである。撮像装置10は、ケーブルによって画像処理装置40と通信可能に接続されている。ケーブルを介した有線通信は、例えば、LANケーブル経由で撮像装置10へ電力が供給可能なGigE(ギガイーサネット(登録商標))の規格によって行われる。なお、撮像装置10と画像処理装置40との通信は、イーサネット(登録商標)の規格によって行われるようにしてもよい。この場合、撮像装置10には、別途電力を供給するようにしてもよい。また、画像処理装置40が複数の撮像装置10と接続可能な場合、撮像装置10は、複数であってもよい。
撮像装置10は、作業対象Mを含む範囲を撮像画像として撮像可能な位置に設置される。撮像装置10は、静止画像を撮像画像として撮像する構成であるとするが、これに代えて、動画像を撮像画像として撮像する構成であってもよい。
The imaging device 10 is, for example, a camera including a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like that is an imaging element that converts collected light into an electrical signal. The imaging device 10 is connected to the image processing device 40 via a cable so as to be communicable. Wired communication via a cable is performed, for example, according to the standard of GigE (Giga Ethernet (registered trademark)) that can supply power to the imaging device 10 via a LAN cable. The communication between the imaging device 10 and the image processing device 40 may be performed according to the Ethernet (registered trademark) standard. In this case, power may be separately supplied to the imaging device 10. Further, when the image processing apparatus 40 can be connected to a plurality of imaging apparatuses 10, the imaging apparatus 10 may be plural.
The imaging device 10 is installed at a position where a range including the work target M can be captured as a captured image. The imaging device 10 is configured to capture a still image as a captured image, but may be configured to capture a moving image as a captured image instead.

ロボット20は、作業対象Mの位置及び姿勢に基づいた制御信号を制御装置30から取得し、取得した制御信号に基づいて所定の作業を行う。ロボット20は、例えば、物体(この一例では、作業対象M)を把持可能な爪部を備えるエンドエフェクターENDと、マニピュレーターMNPと、図示しない複数のアクチュエーターを備えた単腕のロボットである。単腕のロボットとは、エンドエフェクターENDとマニピュレーターMNP(又は、マニピュレーターMNPのみ)により構成される1本の腕を有するロボットを示す。   The robot 20 acquires a control signal based on the position and orientation of the work target M from the control device 30, and performs a predetermined work based on the acquired control signal. The robot 20 is, for example, a single-arm robot including an end effector END having a claw portion that can grip an object (in this example, the work target M), a manipulator MNP, and a plurality of actuators (not shown). The single-arm robot refers to a robot having one arm constituted by the end effector END and the manipulator MNP (or only the manipulator MNP).

なお、ロボット20は、単腕のロボットである構成に代えて、スカラーロボット(水平多関節ロボット)や双腕のロボット等であってもよい。スカラーロボットとは、マニピュレーターが水平方向にのみ動き、マニピュレーターの先端のスライド軸のみが上下に動くロボットである。また、双腕のロボットとは、エンドエフェクターENDとマニピュレーターMNP(又は、マニピュレーターMNPのみ)によりそれぞれ構成される2本の腕を有するロボットを示す。   The robot 20 may be a scalar robot (horizontal articulated robot), a double-arm robot, or the like instead of the single-arm robot. A scalar robot is a robot in which the manipulator moves only in the horizontal direction and only the slide shaft at the tip of the manipulator moves up and down. The dual-arm robot refers to a robot having two arms each constituted by an end effector END and a manipulator MNP (or only the manipulator MNP).

ロボット20の腕は、図1に示す例では6軸垂直多関節型となっており、支持台とマニピュレーターMNPとエンドエフェクターENDとがアクチュエーターによる連携した動作よって6軸の自由度の動作を行うことができる。なお、ロボット20の腕は、5自由度(5軸)以下で動作するものであってもよく、7自由度(7軸)以上で動作するものであってもよい。以下では、エンドエフェクターEND及びマニピュレーターMNPを備えた腕によって行われるロボット20の動作について説明する。   The arm of the robot 20 is a 6-axis vertical articulated type in the example shown in FIG. 1, and the support base, the manipulator MNP, and the end effector END perform an operation with 6 degrees of freedom by a coordinated operation by an actuator. Can do. Note that the arm of the robot 20 may operate with 5 degrees of freedom (5 axes) or less, or may operate with 7 degrees of freedom (7 axes) or more. Hereinafter, the operation of the robot 20 performed by the arm having the end effector END and the manipulator MNP will be described.

ロボット20は、例えばケーブルによって制御装置30と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット(登録商標)やUSB等の規格によって行われる。なお、ロボット20と制御装置30とは、Wi−Fi(登録商標)等の通信規格により行われる無線通信によって接続されてもよい。なお、ロボット20は、図1に示したようにロボット20の外部に設置された制御装置30と接続される構成とするが、この構成に代えて、制御装置30がロボット20に内蔵される構成であってもよい。   The robot 20 is communicably connected to the control device 30 by a cable, for example. Wired communication via a cable is performed according to standards such as Ethernet (registered trademark) and USB, for example. The robot 20 and the control device 30 may be connected by wireless communication performed according to a communication standard such as Wi-Fi (registered trademark). The robot 20 is configured to be connected to the control device 30 installed outside the robot 20 as shown in FIG. 1. However, instead of this configuration, the control device 30 is built in the robot 20. It may be.

制御装置30は、情報処理装置5からオブジェクトコードを取得し、取得したオブジェクトコードに基づいて、所定の作業を行うようにロボット20を制御する。より具体的には、この一例において、制御装置30は、オブジェクトコードに基づいて画像処理装置40に対し、撮像装置10により作業対象Mを含む範囲が撮像された撮像画像を取得し、取得された撮像画像に基づいて作業対象Mの位置及び姿勢を算出する画像処理を行う要求を出力する。なお、制御装置30が画像処理装置40に出力する要求には、後述する画像処理装置40が備える外部通信接続部41(図2)及び撮像装置10それぞれのネットワークに関する設定を示す情報が送信先を示す情報として含まれている。   The control device 30 acquires the object code from the information processing device 5 and controls the robot 20 to perform a predetermined operation based on the acquired object code. More specifically, in this example, the control device 30 acquires and acquires a captured image in which the range including the work target M is captured by the imaging device 10 from the image processing device 40 based on the object code. A request to perform image processing for calculating the position and orientation of the work target M based on the captured image is output. In addition, in the request output from the control device 30 to the image processing device 40, information indicating the settings related to the networks of the external communication connection unit 41 (FIG. 2) and the imaging device 10 included in the image processing device 40 to be described later indicates the transmission destination. It is included as information to show.

制御装置30は、LANケーブルによって画像処理装置40と通信可能に接続されている。LANケーブルを介した有線通信は、例えば、イーサネット(登録商標)等の規格によって行われる。制御装置30は、画像処理装置40の起動時に画像処理装置40から出力される外部通信接続部41(図2)及び撮像装置10それぞれのネットワークに関する設定を示す情報を、情報処理装置5に出力することで、情報を共有する。
そして、制御装置30は、画像処理装置40によって前述の画像処理が終了した後、作業対象Mの位置及び姿勢を示す情報を画像処理装置40から取得する。制御装置30は、取得された作業対象Mの位置及び姿勢に基づく制御信号を生成し、生成された制御信号をロボット20に出力することでロボット20が所定の作業を行うように制御する。
The control device 30 is communicably connected to the image processing device 40 via a LAN cable. Wired communication via a LAN cable is performed according to a standard such as Ethernet (registered trademark), for example. The control device 30 outputs, to the information processing device 5, information indicating the network settings of the external communication connection unit 41 (FIG. 2) and the imaging device 10 that are output from the image processing device 40 when the image processing device 40 is activated. To share information.
Then, after the image processing is completed by the image processing device 40, the control device 30 acquires information indicating the position and orientation of the work target M from the image processing device 40. The control device 30 generates a control signal based on the acquired position and orientation of the work target M, and outputs the generated control signal to the robot 20 so that the robot 20 performs a predetermined work.

画像処理装置40は、オブジェクトコードに基づく制御装置30からの要求に応じて、撮像装置10から作業対象Mを含む範囲が撮像された撮像画像を取得する。そして、画像処理装置40は、撮像装置10から撮像画像を取得した後、取得された撮像画像に基づいて作業対象Mの位置及び姿勢を算出する画像処理を行う。画像処理装置40は、画像処理の結果として得られた作業対象Mの位置及び姿勢を示す情報を、LANケーブルを介して制御装置30に出力する。   In response to a request from the control device 30 based on the object code, the image processing device 40 acquires a captured image in which a range including the work target M is captured from the imaging device 10. Then, after acquiring the captured image from the imaging device 10, the image processing device 40 performs image processing for calculating the position and orientation of the work target M based on the acquired captured image. The image processing device 40 outputs information indicating the position and orientation of the work target M obtained as a result of the image processing to the control device 30 via the LAN cable.

画像処理装置40は、自装置の起動時に、撮像装置接続部48(図2)に接続されている撮像装置10を認識する。なお、外部通信接続部41(図2)には、後述するようにIPアドレス(第3設定情報)が初期設定されている。また、撮像装置接続部48には、後述するようにIPアドレス(第1設定情報)が初期設定されている。画像処理装置40は、撮像装置10を認識できた場合、撮像装置10に設定されているIPアドレス(第2設定情報)を取得する。画像処理装置40は、取得した第2設定情報と、第1設定情報とを比較して、第2設定情報を変更する必要があるか否かを判定する。第2設定情報を変更する必要があると判定した場合、画像処理装置40は、第2設定情報を後述する変更規則に基づいて変更する。なお、各初期設定は、利用者が任意に設定するようにしてもよい。
画像処理装置40は、外部通信接続部41(図2)のネットワークに関する設定を示す情報、第1設定情報、及び第2設定情報を、制御装置30に出力する。
The image processing device 40 recognizes the imaging device 10 connected to the imaging device connection unit 48 (FIG. 2) when the own device is activated. Note that an IP address (third setting information) is initially set in the external communication connection unit 41 (FIG. 2), as will be described later. In addition, an IP address (first setting information) is initially set in the imaging device connection unit 48 as described later. When the image processing apparatus 40 can recognize the imaging apparatus 10, the image processing apparatus 40 acquires an IP address (second setting information) set in the imaging apparatus 10. The image processing apparatus 40 compares the acquired second setting information with the first setting information and determines whether or not the second setting information needs to be changed. When it is determined that the second setting information needs to be changed, the image processing apparatus 40 changes the second setting information based on a change rule described later. Each initial setting may be arbitrarily set by the user.
The image processing device 40 outputs information indicating the settings related to the network of the external communication connection unit 41 (FIG. 2), first setting information, and second setting information to the control device 30.

なお、画像処理装置40は、オブジェクトコードに基づく制御装置30からの要求に応じてこれらの処理を行う構成に代えて、撮像装置10から周期的に撮像画像を取得し、撮像画像が取得される度に、取得された撮像画像に対して前述の画像処理を行うことで作業対象Mの位置及び姿勢を算出する構成であってもよい。この場合、画像処理装置40は、制御装置30からの要求に応じて算出された作業対象Mの位置及び姿勢を示す情報を制御装置30に出力する。   Note that the image processing device 40 periodically acquires captured images from the imaging device 10 instead of a configuration that performs these processes in response to a request from the control device 30 based on the object code, and acquires the captured images. The position and orientation of the work target M may be calculated by performing the above-described image processing on the acquired captured image each time. In this case, the image processing apparatus 40 outputs information indicating the position and orientation of the work target M calculated in response to a request from the control apparatus 30 to the control apparatus 30.

次に、画像処理装置40の概略構成を説明する。
図2は、本実施形態に係る画像処理装置40の構成を示す概略ブロック図である。図2に示すように、画像処理装置40は、外部通信接続部41と、外部通信部42と、入力受付部43と、制御部44と、記憶部45と、画像処理部46と、撮像装置制御部47、撮像装置接続部48(接続部)と、撮像装置通信部49とを備えている。また、撮像装置接続部48は、第1撮像装置接続部481〜第4撮像装置接続部484を備えている。なお、本実施形態において、第n撮像装置接続部48n(nは、1〜4の整数)を撮像装置ポートともいう。撮像装置通信部49は、取得部491と、判定部492と、変更部493とを備えている。また、画像処理装置40には、表示部50と、入力部60とが接続されている。
Next, a schematic configuration of the image processing apparatus 40 will be described.
FIG. 2 is a schematic block diagram illustrating the configuration of the image processing apparatus 40 according to the present embodiment. As illustrated in FIG. 2, the image processing device 40 includes an external communication connection unit 41, an external communication unit 42, an input reception unit 43, a control unit 44, a storage unit 45, an image processing unit 46, and an imaging device. A control unit 47, an imaging device connection unit 48 (connection unit), and an imaging device communication unit 49 are provided. The imaging device connection unit 48 includes a first imaging device connection unit 481 to a fourth imaging device connection unit 484. In the present embodiment, the n-th imaging device connection unit 48n (n is an integer of 1 to 4) is also referred to as an imaging device port. The imaging device communication unit 49 includes an acquisition unit 491, a determination unit 492, and a change unit 493. In addition, a display unit 50 and an input unit 60 are connected to the image processing apparatus 40.

表示部50は、制御部44が出力した画像情報を表示する。表示部50は、例えば、液晶ディスプレイ装置である。表示部50に表示される画像情報は、例えば撮像装置10−1〜撮像装置10−4が撮像した画像、ネットワークの設定画面の画像(以下、ネットワーク設定画像という)等の画像の情報である。   The display unit 50 displays the image information output from the control unit 44. The display unit 50 is, for example, a liquid crystal display device. The image information displayed on the display unit 50 is image information such as an image captured by the imaging device 10-1 to the imaging device 10-4, an image of a network setting screen (hereinafter referred to as a network setting image), and the like.

入力部60は、利用者によって操作される入力装置であり、例えばマウス、キーボード、ポインティングデバイス、表示部50上に設けられたタッチパネル等である。入力部60は、操作された結果を示す操作情報を画像処理装置40に出力する。   The input unit 60 is an input device operated by a user, and is, for example, a mouse, a keyboard, a pointing device, a touch panel provided on the display unit 50, or the like. The input unit 60 outputs operation information indicating the operation result to the image processing apparatus 40.

外部通信接続部41には、LANケーブルが接続される。外部通信接続部41は、LANコネクタを含む。外部通信接続部41には、IPアドレスが初期設定されている。
外部通信接続部41は、LANケーブルを介して制御装置30から受信した要求を、外部通信部42に出力する。また、外部通信接続部41は、外部通信部42の制御に応じて、外部通信部42が出力した画像処理結果及び画像情報を、LANケーブルを介して制御装置30に送信する。なお、外部通信接続部41が受信する要求、及び送信する画像処理結果及び画像情報には、送信先を示す情報及び送信元を示す情報が含まれている。
A LAN cable is connected to the external communication connection unit 41. The external communication connection unit 41 includes a LAN connector. An IP address is initially set in the external communication connection unit 41.
The external communication connection unit 41 outputs the request received from the control device 30 via the LAN cable to the external communication unit 42. Further, the external communication connection unit 41 transmits the image processing result and the image information output by the external communication unit 42 to the control device 30 via the LAN cable in accordance with the control of the external communication unit 42. Note that the request received by the external communication connection unit 41, the image processing result to be transmitted, and the image information include information indicating the transmission destination and information indicating the transmission source.

外部通信部42は、画像処理装置40が起動されたとき、LANケーブルと外部通信接続部41とを介して接続されている外部機器のIPアドレスを取得することで共有する。外部機器とは、情報処理装置5、ロボット20、制御装置30、及び他の画像処理装置40のうち、いずれかの装置である。   When the image processing apparatus 40 is activated, the external communication unit 42 is shared by acquiring the IP address of the external device connected via the LAN cable and the external communication connection unit 41. The external device is any one of the information processing device 5, the robot 20, the control device 30, and another image processing device 40.

外部通信部42は、外部通信接続部41が出力した要求を受け取る。外部通信部42は、受け取った要求に含まれる送信先を示す情報を抽出する。外部通信部42は、抽出した要求の送信先を示す情報と、外部通信接続部41、撮像装置接続部48それぞれに設定されているIPアドレスを示す情報と一致するか否か判別する。外部通信部42は、抽出した要求の送信先を示す情報と、外部通信接続部41または、撮像装置接続部48に設定されているIPアドレスとが一致する場合、受け取った要求と送信元を示す情報とを制御部44に出力する。
また、外部通信部42は、制御部44が出力した画像処理結果及び画像情報に含まれる送信先へ、LANケーブルを介して画像処理結果及び画像情報を出力する。
The external communication unit 42 receives the request output from the external communication connection unit 41. The external communication unit 42 extracts information indicating the transmission destination included in the received request. The external communication unit 42 determines whether the information indicating the transmission destination of the extracted request matches the information indicating the IP addresses set in the external communication connection unit 41 and the imaging device connection unit 48, respectively. The external communication unit 42 indicates the received request and the transmission source when the information indicating the transmission destination of the extracted request matches the IP address set in the external communication connection unit 41 or the imaging device connection unit 48. Information is output to the control unit 44.
The external communication unit 42 outputs the image processing result and the image information to the transmission destination included in the image processing result and the image information output from the control unit 44 via the LAN cable.

入力受付部43は、入力部60から入力された情報を受け付け、受け取った操作情報を制御部44に出力する。   The input receiving unit 43 receives information input from the input unit 60 and outputs the received operation information to the control unit 44.

制御部44には、外部通信部42が出力する要求と、入力受付部43が出力する操作情報と、画像処理部46が出力する画像処理結果とが入力される。制御部44は、外部通信部42が出力する要求が画像処理及び撮像装置に対する要求の場合、入力された要求を画像処理部46に出力する。   The control unit 44 receives a request output from the external communication unit 42, operation information output from the input receiving unit 43, and an image processing result output from the image processing unit 46. When the request output from the external communication unit 42 is a request for image processing and the imaging apparatus, the control unit 44 outputs the input request to the image processing unit 46.

制御部44には、画像処理部46が出力した画像処理結果及び撮像された画像の画像情報が入力される。画像処理結果には、作業対象Mの位置及び姿勢を示す情報が含まれている。制御部44は、画像処理部46が出力した画像処理結果に、要求に含まれる要求の送信元を示す情報を付けて外部通信部42に出力する。また、制御部44は、画像処理部46が出力した画像情報に、要求に含まれる要求の送信元を示す情報を付けて外部通信部42に出力する。   The control unit 44 receives the image processing result output from the image processing unit 46 and the image information of the captured image. The image processing result includes information indicating the position and orientation of the work target M. The control unit 44 adds information indicating the transmission source of the request included in the request to the image processing result output by the image processing unit 46 and outputs the result to the external communication unit 42. In addition, the control unit 44 adds information indicating the transmission source of the request included in the request to the image information output from the image processing unit 46 and outputs the information to the external communication unit 42.

記憶部45には、制御部44が画像処理装置40の各部を制御するための制御プログラムが記憶されている。記憶部45には、外部通信接続部41に予め割り当てられているIPアドレス、例えば「192.168.0.3」が記憶されている。記憶部45には、図4に示す第1撮像装置接続部481〜第4撮像装置接続部484に予め割り当てられているIPアドレスが記憶されている。記憶部45には、図5に示す第1撮像装置接続部481〜第4撮像装置接続部484に接続される撮像装置10−1〜10−4に予め割り当てられているIPアドレスが記憶されている。   The storage unit 45 stores a control program for the control unit 44 to control each unit of the image processing apparatus 40. The storage unit 45 stores an IP address previously assigned to the external communication connection unit 41, for example, “192.168.0.3”. The storage unit 45 stores IP addresses assigned in advance to the first imaging device connection unit 481 to the fourth imaging device connection unit 484 shown in FIG. The storage unit 45 stores IP addresses assigned in advance to the imaging devices 10-1 to 10-4 connected to the first imaging device connection unit 481 to the fourth imaging device connection unit 484 shown in FIG. Yes.

ここで、ネットワークセグメントについて図3を用いて説明する。図3は、本実施形態に係るネットワークセグメントを説明する図である。図3において、符号g21で示す「192.168.11.11」がIPアドレスの一例である。符号g1で示す「192」を第1セグメント、符号g2で示す「168」を第2セグメント、符号g3で示す「11」を第3セグメント、符号g4で示す「11」を第4セグメント(ホスト部もしくはホストアドレス)という。また、符号g11で示す第1セグメント〜第3セグメントである「192.168.11」をネットワークセグメント(ネットワーク部もしくはネットワークアドレス)という。   Here, the network segment will be described with reference to FIG. FIG. 3 is a diagram for explaining a network segment according to the present embodiment. In FIG. 3, “192.168.11.11” indicated by reference sign g21 is an example of an IP address. "192" indicated by reference numeral g1 is the first segment, "168" indicated by reference numeral g2 is the second segment, "11" indicated by reference numeral g3 is the third segment, and "11" indicated by reference numeral g4 is the fourth segment (host part) (Or host address). In addition, “192.168.11”, which is the first segment to the third segment indicated by reference sign g11, is referred to as a network segment (network portion or network address).

図4は、本実施形態に係る記憶部45に記憶されている第1撮像装置接続部481〜第4撮像装置接続部484に予め割り当てられているIPアドレスと、ネットワークセグメントの関係の一例を説明する図である。図4に示す例では、第1撮像装置接続部481に割り当てられているIPアドレスは「192.168.11.1」であり、ネットワークセグメントが「192.168.11」である。第2撮像装置接続部482に割り当てられているIPアドレスは「192.168.12.1」であり、ネットワークセグメントが「192.168.12」である。第3撮像装置接続部483に割り当てられているIPアドレスは「192.168.13.1」であり、ネットワークセグメントが「192.168.13」である。第4撮像装置接続部484に割り当てられているIPアドレスは「192.168.14.1」であり、ネットワークセグメントが「192.168.14」である。図4の例では、第1撮像装置接続部481〜第4撮像装置接続部484に予め割り当てられているIPアドレスにおけるネットワークセグメントは、外部通信接続部41に予め割り当てられているネットワークセグメントと異なるように設定されている。また、第1撮像装置接続部481〜第4撮像装置接続部484それぞれのネットワークセグメントも、各々異なるように設定されている。   FIG. 4 illustrates an example of a relationship between an IP address pre-assigned to the first imaging device connection unit 481 to the fourth imaging device connection unit 484 stored in the storage unit 45 according to the present embodiment and a network segment. It is a figure to do. In the example illustrated in FIG. 4, the IP address assigned to the first imaging device connection unit 481 is “192.168.11.1”, and the network segment is “192.168.11”. The IP address assigned to the second imaging device connection unit 482 is “192.168.12.1”, and the network segment is “192.168.12”. The IP address assigned to the third imaging device connection unit 483 is “192.168.13.1”, and the network segment is “192.168.13”. The IP address assigned to the fourth imaging device connection unit 484 is “192.168.14.1”, and the network segment is “192.168.14”. In the example of FIG. 4, the network segment at the IP address previously assigned to the first imaging device connection unit 481 to the fourth imaging device connection unit 484 is different from the network segment previously assigned to the external communication connection unit 41. Is set to The network segments of the first imaging device connection unit 481 to the fourth imaging device connection unit 484 are also set differently.

図5は、本実施形態に係る記憶部45に記憶されている第1撮像装置接続部481〜第4撮像装置接続部484に接続される撮像装置10−1〜10−4に予め割り当てられているIPアドレスの一例を説明する図である。図5に示す例では、第1撮像装置接続部481に接続される撮像装置10−1に割り当てられているIPアドレスは「192.168.11.11」である。第2撮像装置接続部482に接続される撮像装置10−2に割り当てられているIPアドレスは「192.168.12.11」である。第3撮像装置接続部483に接続される撮像装置10−3に割り当てられているIPアドレスは「192.168.13.11」である。第4撮像装置接続部484に接続される撮像装置10−4に割り当てられているIPアドレスは「192.168.14.11」である。図5に示すように、第1撮像装置接続部481〜第4撮像装置接続部484に接続される撮像装置10−1〜10−4に予め割り当てられているIPアドレスのネットワークセグメントは、第1撮像装置接続部481〜第4撮像装置接続部484のネットワークセグメントと一致している。そして、第4セグメントの値のみが異なるように設定されている。   FIG. 5 is assigned in advance to the imaging devices 10-1 to 10-4 connected to the first imaging device connection unit 481 to the fourth imaging device connection unit 484 stored in the storage unit 45 according to the present embodiment. It is a figure explaining an example of the existing IP address. In the example illustrated in FIG. 5, the IP address assigned to the imaging device 10-1 connected to the first imaging device connection unit 481 is “192.168.11.11”. The IP address assigned to the imaging device 10-2 connected to the second imaging device connection unit 482 is “192.168.12.11”. The IP address assigned to the imaging device 10-3 connected to the third imaging device connection unit 483 is “192.168.13.11.” The IP address assigned to the imaging device 10-4 connected to the fourth imaging device connection unit 484 is “192.168.14.11.” As shown in FIG. 5, the network segment of the IP address pre-assigned to the imaging devices 10-1 to 10-4 connected to the first imaging device connection unit 481 to the fourth imaging device connection unit 484 is the first. It matches the network segment of the imaging device connection unit 481 to the fourth imaging device connection unit 484. And only the value of the fourth segment is set to be different.

図2に戻って、画像処理装置40の説明を続ける。
画像処理部46は、制御部44から入力された要求に応じて、撮像装置制御部47が出力する画像情報に対して周知の手法を用いて画像処理を行って、作業対象Mの位置及び姿勢を算出する。画像処理部46は、算出した作業対象Mの位置及び姿勢を示す情報を制御部44に出力する。また、画像処理部46は、制御部44が出力した情報に撮像装置制御部47に対する要求が含まれている場合、この要求を撮像装置制御部47に出力する。また、画像処理部46は、撮像装置制御部47が出力した画像情報を制御部44に出力する。
Returning to FIG. 2, the description of the image processing apparatus 40 will be continued.
In response to a request input from the control unit 44, the image processing unit 46 performs image processing on the image information output from the imaging device control unit 47 using a well-known method, and the position and orientation of the work target M. Is calculated. The image processing unit 46 outputs information indicating the calculated position and orientation of the work target M to the control unit 44. Further, when the information output from the control unit 44 includes a request for the imaging device control unit 47, the image processing unit 46 outputs this request to the imaging device control unit 47. Further, the image processing unit 46 outputs the image information output by the imaging device control unit 47 to the control unit 44.

撮像装置制御部47は、画像処理部46から入力された要求に応じて、撮像装置通信部49から入力される画像情報を選択し、選択した画像情報を画像処理部46に出力する。なお、撮像装置制御部47は、画像処理部46から入力された要求に応じて、撮像装置10−1〜撮像装置10−4の撮像の感度、撮像する領域の選択、撮像する画角等を、撮像装置通信部49及び撮像装置接続部48を介して制御するようにしてもよい。   The imaging device control unit 47 selects the image information input from the imaging device communication unit 49 in response to the request input from the image processing unit 46, and outputs the selected image information to the image processing unit 46. The imaging device control unit 47 determines the imaging sensitivity of the imaging device 10-1 to the imaging device 10-4, the selection of the area to be captured, the angle of view to be captured, and the like according to the request input from the image processing unit 46. Control may be performed via the imaging device communication unit 49 and the imaging device connection unit 48.

第1撮像装置接続部481〜第4撮像装置接続部484それぞれは、撮像装置10−1〜撮像装置10−4それぞれに電力を供給する。第1撮像装置接続部481〜第4撮像装置接続部484は、例えばPoE(Power over Ethernet;パワーオブイーサネット(登録商標))規格のコネクタを含む。第1撮像装置接続部481〜第4撮像装置接続部484それぞれには、図4に示したIPアドレスが予め設定されている。   Each of the first imaging device connection unit 481 to the fourth imaging device connection unit 484 supplies power to the imaging device 10-1 to the imaging device 10-4. The first imaging device connection unit 481 to the fourth imaging device connection unit 484 include, for example, a PoE (Power over Ethernet) standard connector. The IP addresses shown in FIG. 4 are set in advance in each of the first imaging device connection unit 481 to the fourth imaging device connection unit 484.

第1撮像装置接続部481には、撮像装置10−1が接続される。第1撮像装置接続部481は、撮像装置10−1が出力した画像情報を取得し、取得した画像情報を撮像装置通信部49に出力する。
第2撮像装置接続部482には、撮像装置10−2が接続される。第2撮像装置接続部482は、撮像装置10−2が出力した画像情報を取得し、取得した画像情報を撮像装置通信部49に出力する。
The imaging device 10-1 is connected to the first imaging device connection unit 481. The first imaging device connection unit 481 acquires the image information output by the imaging device 10-1 and outputs the acquired image information to the imaging device communication unit 49.
The imaging device 10-2 is connected to the second imaging device connection unit 482. The second imaging device connection unit 482 acquires the image information output by the imaging device 10-2 and outputs the acquired image information to the imaging device communication unit 49.

第3撮像装置接続部483には、撮像装置10−3が接続される。第3撮像装置接続部483は、撮像装置10−3が出力した画像情報を取得し、取得した画像情報を撮像装置通信部49に出力する。
第4撮像装置接続部484には、撮像装置10−4が接続される。第4撮像装置接続部484は、撮像装置10−4が出力した画像情報を取得し、取得した画像情報を撮像装置通信部49に出力する。なお、画像情報には、撮像装置10−n(nは、1〜4の整数)を示す撮像装置識別情報が含まれる。
The imaging device 10-3 is connected to the third imaging device connection unit 483. The third imaging device connection unit 483 acquires the image information output by the imaging device 10-3, and outputs the acquired image information to the imaging device communication unit 49.
The imaging device 10-4 is connected to the fourth imaging device connection unit 484. The fourth imaging device connection unit 484 acquires the image information output by the imaging device 10-4 and outputs the acquired image information to the imaging device communication unit 49. The image information includes imaging device identification information indicating the imaging device 10-n (n is an integer of 1 to 4).

なお、撮像装置識別情報には、撮像装置10−1〜撮像装置10−4それぞれに図5に示したように予め設定されているIPアドレスを示す情報が含まれている。ただし、撮像装置10−1〜撮像装置10−4は、初期状態においてIPアドレスが設定されていないものもある。IPアドレスが設定されていない場合、および予め設定されているものと異なっている場合、撮像装置通信部49がIPアドレスを変更または設定する。   Note that the imaging device identification information includes information indicating IP addresses set in advance as shown in FIG. 5 for each of the imaging devices 10-1 to 10-4. However, the imaging devices 10-1 to 10-4 may not have IP addresses set in the initial state. When the IP address is not set and when the IP address is different from the preset one, the imaging device communication unit 49 changes or sets the IP address.

取得部491は、画像処理装置40の電源がオン状態になったとき、第1撮像装置接続部481〜第4撮像装置接続部484それぞれに接続されている撮像装置10−1〜撮像装置10−4を検出する。その後、取得部491は、第1撮像装置接続部481〜第4撮像装置接続部484それぞれのIPアドレス(第1設定情報)と、検出された撮像装置10−1〜10−4それぞれのIPアドレス(第2設定情報)とを取得する。取得部491は、取得した第1撮像装置接続部481〜第4撮像装置接続部484それぞれのIPアドレスと、撮像装置10−1〜10−4それぞれのIPアドレスとを判定部492に出力する。   When the power of the image processing device 40 is turned on, the acquisition unit 491 acquires the imaging devices 10-1 to 10- connected to the first imaging device connection unit 481 to the fourth imaging device connection unit 484, respectively. 4 is detected. Thereafter, the acquisition unit 491 obtains the IP addresses (first setting information) of the first imaging device connection unit 481 to the fourth imaging device connection unit 484 and the detected IP addresses of the imaging devices 10-1 to 10-4. (Second setting information). The acquisition unit 491 outputs the acquired IP addresses of the first imaging device connection unit 481 to the fourth imaging device connection unit 484 and the IP addresses of the imaging devices 10-1 to 10-4 to the determination unit 492.

判定部492は、取得部491が出力した第1撮像装置接続部481〜第4撮像装置接続部484それぞれのIPアドレスと、撮像装置10−1〜10−4それぞれのIPアドレスとを比較し、撮像装置10−1〜10−4それぞれのIPアドレスを変更する必要があるか否かを判定する。判定部492は、変更の必要があると判定した場合、取得した第1撮像装置接続部481〜第4撮像装置接続部484それぞれのIPアドレスと、撮像装置10−1〜10−4それぞれのIPアドレスとを変更部493に出力する。   The determination unit 492 compares the IP addresses of the first imaging device connection unit 481 to the fourth imaging device connection unit 484 output by the acquisition unit 491 with the IP addresses of the imaging devices 10-1 to 10-4, It is determined whether or not the IP addresses of the imaging devices 10-1 to 10-4 need to be changed. If the determination unit 492 determines that there is a need for change, the acquired IP addresses of the first imaging device connection unit 481 to the fourth imaging device connection unit 484 and the IP addresses of the imaging devices 10-1 to 10-4, respectively. The address is output to the changing unit 493.

変更部493には、判定部492から第1撮像装置接続部481〜第4撮像装置接続部484それぞれのIPアドレスと、撮像装置10−1〜10−4それぞれのIPアドレスとが入力される。変更部493は、変更の必要のある撮像装置10のIPアドレスを変更し、変更したIPアドレスを記憶部45に記憶させる。また、変更部493は、変更したIPアドレスを示す情報を、撮像装置接続部48、LANケーブルを介して撮像装置10に送信し、これにより、撮像装置10のIPアドレスを設定または変更する。   The changing unit 493 receives the IP addresses of the first imaging device connection unit 481 to the fourth imaging device connection unit 484 and the IP addresses of the imaging devices 10-1 to 10-4 from the determination unit 492. The changing unit 493 changes the IP address of the imaging apparatus 10 that needs to be changed, and causes the storage unit 45 to store the changed IP address. Further, the changing unit 493 transmits information indicating the changed IP address to the imaging device 10 via the imaging device connection unit 48 and the LAN cable, thereby setting or changing the IP address of the imaging device 10.

次に、撮像装置通信部49が行う処理について説明する。
なお、以下の説明において、第1撮像装置接続部481〜第4撮像装置接続部484のうち1つを特定しない場合、第n撮像装置接続部48n(nは、1〜4の整数)、撮像装置10−1〜10−4のうち1つを特定しない場合、撮像装置10−n(nは、1〜4の整数)という。
図6は、本実施形態に係る撮像装置通信部49が行う処理手順のフローチャートである。
(ステップS1)取得部491は、画像処理装置40の電源がオン状態になったとき、第n撮像装置接続部48nそれぞれに接続されている撮像装置10−nを検出する。
Next, processing performed by the imaging device communication unit 49 will be described.
In the following description, when one of the first imaging device connection unit 481 to the fourth imaging device connection unit 484 is not specified, the nth imaging device connection unit 48n (n is an integer of 1 to 4), imaging When one of the devices 10-1 to 10-4 is not specified, the imaging device 10-n (n is an integer of 1 to 4).
FIG. 6 is a flowchart of a processing procedure performed by the imaging device communication unit 49 according to the present embodiment.
(Step S1) The acquisition unit 491 detects the imaging device 10-n connected to each of the n-th imaging device connection unit 48n when the power of the image processing device 40 is turned on.

(ステップS2)取得部491は、第n撮像装置接続部48nそれぞれのIPアドレスと、検出された撮像装置10−nそれぞれのIPアドレスとを取得する。次に、取得部491は、第n撮像装置接続部48nそれぞれのIPアドレスから、各々、ネットワークセグメントを抽出する。次に、取得部491は、検出された撮像装置10−nそれぞれのIPアドレスから、各々、ネットワークセグメントを抽出する。 (Step S2) The acquisition unit 491 acquires each IP address of the n-th imaging device connection unit 48n and each detected IP address of the imaging device 10-n. Next, the acquisition unit 491 extracts a network segment from each IP address of the n-th imaging device connection unit 48n. Next, the acquisition unit 491 extracts network segments from the detected IP addresses of the respective imaging devices 10-n.

(ステップS3)判定部492は、取得部491が出力した第n撮像装置接続部48nそれぞれのネットワークセグメントと、撮像装置10−nそれぞれのネットワークセグメントとを比較し、ネットワークセグメントが同じであるか否かを判定する。判定部492は、ネットワークセグメントが同じであると判定した場合(ステップS3;YES)、ステップS4に進み、ネットワークセグメントが異なると判定した場合(ステップS3;NO)、ステップS7に進む。 (Step S3) The determination unit 492 compares each network segment of the n-th imaging device connection unit 48n output from the acquisition unit 491 with each network segment of the imaging device 10-n, and determines whether the network segments are the same. Determine whether. If the determination unit 492 determines that the network segments are the same (step S3; YES), the process proceeds to step S4. If the determination unit 492 determines that the network segments are different (step S3; NO), the process proceeds to step S7.

(ステップS4)判定部492は、第n撮像装置接続部48nそれぞれのIPアドレスと、撮像装置10−nそれぞれのIPアドレスとを比較し、IPアドレスが同じであるか否かを判定する。判定部492は、IPアドレスが同じであると判定した場合(ステップS4;YES)、ステップS5に進み、IPアドレスが異なると判定した場合(ステップS4;NO)、ステップS6に進む。 (Step S4) The determination unit 492 compares each IP address of the n-th imaging device connection unit 48n with each IP address of the imaging device 10-n, and determines whether or not the IP addresses are the same. When determining that the IP addresses are the same (step S4; YES), the determining unit 492 proceeds to step S5, and when determining that the IP addresses are different (step S4; NO), the determining unit 492 proceeds to step S6.

(ステップS5)変更部493は、第n撮像装置接続部48nとIPアドレスが同じである撮像装置10−nのIPアドレスを、(例えば、予め設定されている)IPアドレスに変更する。この場合、変更部493は、ネットワークセグメントを変更せず、第4セグメントのみを変更して、IPアドレスを変更する。変更部493は、変更後、処理を終了する。
(ステップS6)変更部493は、撮像装置10−nのIPアドレスを変更せずに、処理を終了する。
(Step S5) The changing unit 493 changes the IP address of the imaging device 10-n having the same IP address as that of the n-th imaging device connection unit 48n to an IP address (for example, set in advance). In this case, the changing unit 493 changes the IP address by changing only the fourth segment without changing the network segment. The changing unit 493 ends the process after the change.
(Step S6) The changing unit 493 terminates the process without changing the IP address of the imaging device 10-n.

(ステップS7)変更部493は、第n撮像装置接続部48nとネットワークセグメントが異なる撮像装置10−nのIPアドレスを、(例えば、予め設定されている)ネットワークセグメント及びIPアドレスに変更する。変更部493は、変更後、処理を終了する。
以上で、撮像装置通信部49が行う処理を終了する。
(Step S7) The changing unit 493 changes the IP address of the imaging device 10-n having a different network segment from the n-th imaging device connection unit 48n to a network segment and an IP address (for example, set in advance). The changing unit 493 ends the process after the change.
Above, the process which the imaging device communication part 49 performs is complete | finished.

<<アドレスの変更例1>>
ここで、第n撮像装置接続部48nと撮像装置10−nとのネットワークセグメントが異なる場合の処理の一例を説明する。この例では、画像処理装置40の外部通信接続部41のネットワークに関する設定が予め設定されている。ここで、ネットワークに関する設定とは、IPアドレス、IPアドレスサブネットマスク、ゲートウェイのアドレス等の設定である。この例では、外部通信接続部41に、第n撮像装置接続部48n及び撮像装置10−nのネットワークセグメントとは異なるIPアドレス「192.168.0.3」が予め設定されている例を説明する。
<< Address change example 1 >>
Here, an example of processing when the network segment of the n-th imaging device connection unit 48n and the imaging device 10-n are different will be described. In this example, settings related to the network of the external communication connection unit 41 of the image processing apparatus 40 are set in advance. Here, the settings relating to the network are settings such as an IP address, an IP address subnet mask, and a gateway address. In this example, an example in which an IP address “192.168.0.3” different from the network segments of the n-th imaging device connection unit 48n and the imaging device 10-n is preset in the external communication connection unit 41 will be described. To do.

図7は、本実施形態に係る第n撮像装置接続部48nと撮像装置10−nとでネットワークセグメントが異なる場合のネットワークセグメントとIPアドレスの一例を説明する図である。
図7の符号g101で示す領域の図は、取得された第n撮像装置接続部48nと撮像装置10−nとのネットワークセグメントとIPアドレスを説明する図である。また、図7の符号g111で示す領域の図は、撮像装置10−nのネットワークセグメントとIPアドレスとの変更を説明する図である。
FIG. 7 is a diagram illustrating an example of a network segment and an IP address when the network segment is different between the n-th imaging device connection unit 48n and the imaging device 10-n according to the present embodiment.
The diagram of the area indicated by reference numeral g101 in FIG. 7 is a diagram for explaining the acquired network segments and IP addresses of the n-th imaging device connection unit 48n and the imaging device 10-n. Also, the diagram of the area indicated by reference numeral g111 in FIG. 7 is a diagram for explaining the change of the network segment and the IP address of the imaging device 10-n.

図7の符号g101で示す例では、第n撮像装置接続部48nのネットワークセグメントが「192.168.11」であり、IPアドレスが「192.168.11.1」である。また、第n撮像装置接続部48nに接続されている撮像装置10−nのネットワークセグメントが「192.168.50」であり、IPアドレスが「192.168.50.1」である。   In the example indicated by reference sign g101 in FIG. 7, the network segment of the n-th imaging device connection unit 48n is “192.168.11” and the IP address is “192.168.11.1”. The network segment of the imaging device 10-n connected to the n-th imaging device connection unit 48n is “192.168.50” and the IP address is “192.168.50.1”.

図7の符号g101で示す例では、第n撮像装置接続部48nと撮像装置10−nとのネットワークセグメントが異なっている。このため、撮像装置10−nのネットワークセグメントとIPアドレスとは、図7の符号g111及びg112で示す領域のように予め設定されている値に変更部493によって変更される。具体的には、撮像装置10−nのネットワークセグメント「192.168.50」は、第n撮像装置接続部48nのネットワークセグメント「192.168.11」に変更部493によって変更される。その後、撮像装置10−nのIPアドレスは、第4セグメントが予め定められた値である「192.168.11.11」に変更部493によって変更される。   In the example indicated by reference sign g101 in FIG. 7, the network segments of the n-th imaging device connection unit 48n and the imaging device 10-n are different. For this reason, the network segment and the IP address of the imaging apparatus 10-n are changed by the changing unit 493 to values set in advance as in the areas indicated by the symbols g111 and g112 in FIG. Specifically, the network segment “192.168.50” of the imaging device 10-n is changed to the network segment “192.168.11” of the n-th imaging device connection unit 48n by the changing unit 493. Thereafter, the IP address of the imaging device 10-n is changed by the changing unit 493 to “192.168.11.11”, which is a value for which the fourth segment is determined in advance.

<<アドレスの変更例2>>
次に、第n撮像装置接続部48nと撮像装置10−nとのネットワークセグメントが同じであり、かつIPアドレスが同じである場合の処理の一例を説明する。この例においても、外部通信接続部41にはIPアドレス「192.168.0.3」が予め設定されている例を説明する。
<< Address change example 2 >>
Next, an example of processing when the network segment of the n-th imaging device connection unit 48n and the imaging device 10-n are the same and the IP address is the same will be described. Also in this example, an example in which the IP address “192.168.0.3” is preset in the external communication connection unit 41 will be described.

図8は、本実施形態に係る第n撮像装置接続部48nと撮像装置10−nとのネットワークセグメントが同じであり、かつIPアドレスが同じである場合のネットワークセグメントとIPアドレスの一例を説明する図である。
図8の符号g121で示す領域の図は、取得された第n撮像装置接続部48nと、撮像装置10−nとのネットワークセグメントとIPアドレスを説明する図である。また、図8の符号g131で示す領域の図は、撮像装置10−nのIPアドレスの変更を説明する図である。
FIG. 8 illustrates an example of a network segment and an IP address when the network segment of the n-th imaging device connection unit 48n and the imaging device 10-n according to the present embodiment have the same network segment and the same IP address. FIG.
The diagram of the area indicated by reference numeral g121 in FIG. 8 is a diagram for explaining the acquired network segment and IP address of the n-th imaging device connection unit 48n and the imaging device 10-n. Further, the diagram of the area indicated by reference numeral g131 in FIG. 8 is a diagram for explaining the change of the IP address of the imaging device 10-n.

図8の符号g121で示す例では、第n撮像装置接続部48nのネットワークセグメントが「192.168.11」であり、IPアドレスが「192.168.11.1」である。また、第n撮像装置接続部48nに接続されている撮像装置10−nのネットワークセグメントが「192.168.11」であり、IPアドレスが「192.168.11.1」である。   In the example indicated by reference sign g121 in FIG. 8, the network segment of the n-th imaging device connection unit 48n is “192.168.11”, and the IP address is “192.168.11.1”. The network segment of the imaging device 10-n connected to the n-th imaging device connection unit 48n is “192.168.11”, and the IP address is “192.168.11.1”.

図8の符号g121で示す例では、第n撮像装置接続部48nと撮像装置10−nとでネットワークセグメントが同じである。このため、撮像装置10−nのネットワークセグメントとIPアドレスとは、図8の符号g122で示す領域から符号g132で示す領域のように予め設定されている値に変更部493によって変更される。具体的には、撮像装置10−nのIPアドレスは、第4セグメントが予め定められた値である「192.168.11.11」に変更部493によって変更される。   In the example indicated by reference numeral g121 in FIG. 8, the network segment is the same between the n-th imaging device connection unit 48n and the imaging device 10-n. For this reason, the network segment and the IP address of the imaging apparatus 10-n are changed by the changing unit 493 from a region indicated by reference sign g122 in FIG. 8 to a preset value such as a region indicated by reference sign g132. Specifically, the IP address of the imaging device 10-n is changed by the changing unit 493 to “192.168.11.11”, which is a value for which the fourth segment is determined in advance.

なお、図7及び図8を用いて説明した撮像装置10−nの第4セグメントの「11」は、一例であり、予め定められている値が、第n撮像装置接続部48nの第4セグメントの値と異なっていればよい。例えば、撮像装置10−nのIPアドレスにおける第4セグメントの値は、変更部493が、ランダムに割り当ててもよく、または順番に割り当ててもよい。また、例えば、変更後における撮像装置10−nの第4セグメントの値が第n撮像装置接続部48nの第4セグメントの値と同じになると判定される場合には、異なる値となるように、さらに変更してもよい。   Note that “11” of the fourth segment of the imaging device 10-n described with reference to FIGS. 7 and 8 is an example, and a predetermined value is the fourth segment of the n-th imaging device connection unit 48n. It may be different from the value of. For example, the value of the fourth segment in the IP address of the imaging device 10-n may be assigned randomly by the changing unit 493 or may be assigned in order. For example, when it is determined that the value of the fourth segment of the imaging device 10-n after the change is the same as the value of the fourth segment of the n-th imaging device connection unit 48n, Further changes may be made.

以上説明した本実施形態の画像処理装置40及びロボットシステム1によれば、撮像装置10−nのネットワーク設定情報と、この撮像装置10−nが接続される第n撮像装置接続部48nのネットワーク設定情報とを用いて、撮像装置10−nのネットワーク設定情報を変更する必要があるか否かを判定する。そして、本実施形態の画像処理装置40及びロボットシステム1によれば、変更する必要がある場合に、撮像装置10−nのネットワーク設定情報を変更するようにしたため、撮像装置10−nに対してネットワークに関する設定を自動で行うことができる。   According to the image processing device 40 and the robot system 1 of the present embodiment described above, the network setting information of the imaging device 10-n and the network setting of the nth imaging device connection unit 48n to which the imaging device 10-n is connected. The information is used to determine whether or not the network setting information of the imaging device 10-n needs to be changed. Then, according to the image processing apparatus 40 and the robot system 1 of the present embodiment, the network setting information of the imaging apparatus 10-n is changed when it is necessary to change it. Network settings can be made automatically.

これにより、利用者は、画像処理装置40に接続される撮像装置10−nや、撮像装置10−nが接続される第n撮像装置接続部48nの設定を意識せずにロボットシステム1を使用することができる。また、撮像装置10−nを複数利用する場合、撮像装置10−n毎の設定を、画像処理装置40が自動で行うので、利用者のネットワークに関する設定の手間を低減することができる。
さらに、本実施形態によれば、例えば、他のロボットシステムや他の画像処理装置に接続して使用していた撮像装置を、本実施形態の画像処理装置40に接続することで、撮像装置10−n毎の設定を、画像処理装置40が自動で行う。この結果、本実施形態によれば、接続する撮像装置10−nに設定されているIPアドレスにかかわらず、撮像装置10−n毎の設定を自動的に行うことができる。このように、利用者は、撮像装置10−nを画像処理装置40に接続するだけで、ネットワークに関する設定を行わずに、画像処理装置40では撮像装置10−nを使用することができる。
Accordingly, the user uses the robot system 1 without being aware of the settings of the imaging device 10-n connected to the image processing device 40 and the n-th imaging device connection unit 48n to which the imaging device 10-n is connected. can do. Further, when a plurality of imaging devices 10-n are used, the setting for each imaging device 10-n is automatically performed by the image processing device 40, so that it is possible to reduce the time and effort for setting the user's network.
Furthermore, according to the present embodiment, for example, by connecting an imaging apparatus that has been connected to another robot system or another image processing apparatus to the image processing apparatus 40 of the present embodiment, the imaging apparatus 10 The image processing apparatus 40 automatically performs setting for each −n. As a result, according to the present embodiment, the setting for each imaging device 10-n can be automatically performed regardless of the IP address set for the imaging device 10-n to be connected. In this way, the user can use the imaging device 10-n in the image processing device 40 without connecting to the image processing device 40 by simply connecting the imaging device 10-n to the image processing device 40.

<第2実施形態>
第1実施形態では、画像処理装置40の外部通信接続部41のネットワークに関する設定が予め設定されている例を説明した。
本実施形態では、外部通信接続部41のIPアドレスが、例えば利用者によって変更された場合を説明する。なお、画像処理装置40の構成は、第1実施形態の図2と同じである。
Second Embodiment
In the first embodiment, the example in which the settings related to the network of the external communication connection unit 41 of the image processing apparatus 40 are set in advance has been described.
In the present embodiment, a case will be described in which the IP address of the external communication connection unit 41 is changed by, for example, a user. The configuration of the image processing device 40 is the same as that of FIG. 2 of the first embodiment.

図9は、本実施形態に係る撮像装置通信部49が行う処理手順のフローチャートである。なお、以下の処理において、第n撮像装置接続部48n及び撮像装置10−nそれぞれにおいて、設定されているネットワークセグメントが同じであり、IPアドレスが異なっているとする。
(ステップS11)取得部491は、画像処理装置40の電源がオン状態になったとき、外部通信接続部41、第n撮像装置接続部48n、及び撮像装置10−nそれぞれに設定されているネットワークセグメントを取得する。
FIG. 9 is a flowchart of a processing procedure performed by the imaging device communication unit 49 according to the present embodiment. In the following processing, it is assumed that the set network segment is the same and the IP address is different in each of the n-th imaging device connection unit 48n and the imaging device 10-n.
(Step S11) When the power of the image processing device 40 is turned on, the acquisition unit 491 is a network set in each of the external communication connection unit 41, the n-th imaging device connection unit 48n, and the imaging device 10-n. Get a segment.

(ステップS12)判定部492は、外部通信接続部41のネットワークセグメントが、第n撮像装置接続部48nのネットワークセグメントと同じであるか否かを判定する。判定部492は、外部通信接続部41のネットワークセグメントと第n撮像装置接続部48nのネットワークセグメントとが同じであると判定した場合(ステップS12;YES)、ステップS13に進む。判定部492は、外部通信接続部41のネットワークセグメントと第n撮像装置接続部48nのネットワークセグメントとが異なっていると判定した場合(ステップS12;NO)、第n撮像装置接続部48n及び撮像装置10−nそれぞれのIPアドレスを変更せずに処理を終了する。 (Step S12) The determination unit 492 determines whether or not the network segment of the external communication connection unit 41 is the same as the network segment of the n-th imaging device connection unit 48n. If the determination unit 492 determines that the network segment of the external communication connection unit 41 and the network segment of the n-th imaging device connection unit 48n are the same (step S12; YES), the determination unit 492 proceeds to step S13. When the determination unit 492 determines that the network segment of the external communication connection unit 41 is different from the network segment of the n-th imaging device connection unit 48n (step S12; NO), the n-th imaging device connection unit 48n and the imaging device The processing ends without changing the IP addresses of 10-n.

(ステップS13)変更部493は、第n撮像装置接続部48nに対して、外部通信接続部41のネットワークセグメントと異なるネットワークセグメントに変更する処理を行う。変更部493は、例えば、外部通信接続部41のネットワークセグメントの第3セグメントの値に10を加算した値を、第n撮像装置接続部48nの新たなネットワークセグメントとして設定(変更)する。次に、変更部493は、撮像装置10−nのネットワークセグメントを、第n撮像装置接続部48nに対して新たに設定したネットワークセグメントと同じネットワークセグメントに変更する。 (Step S13) The changing unit 493 performs processing for changing to a network segment different from the network segment of the external communication connecting unit 41 for the n-th imaging device connecting unit 48n. For example, the changing unit 493 sets (changes) a value obtained by adding 10 to the value of the third segment of the network segment of the external communication connection unit 41 as a new network segment of the n-th imaging device connection unit 48n. Next, the changing unit 493 changes the network segment of the imaging device 10-n to the same network segment as the network segment newly set for the n-th imaging device connection unit 48n.

以下に、外部通信接続部41のIPアドレスが利用者によって変更された場合に撮像装置通信部49が行う処理の具体例を説明する。
図10は、本実施形態に係る外部通信接続部41と第n撮像装置接続部48nと撮像装置10−nとのネットワークセグメントが同じである場合のネットワークセグメントとIPアドレスの一例を説明する図である。
図10の符号g141で示す領域の図は、取得された外部通信接続部41と、第n撮像装置接続部48nと、撮像装置10−nのネットワークセグメントとIPアドレスを説明する図である。また、図10の符号g151で示す領域の図は、第n撮像装置接続部48n及び撮像装置10−nのネットワークセグメントの変更を説明する図である。
A specific example of processing performed by the imaging device communication unit 49 when the IP address of the external communication connection unit 41 is changed by the user will be described below.
FIG. 10 is a diagram illustrating an example of a network segment and an IP address when the external communication connection unit 41, the n-th imaging device connection unit 48n, and the imaging device 10-n according to the present embodiment have the same network segment. is there.
10 is a diagram for explaining the acquired external communication connection unit 41, the n-th imaging device connection unit 48n, and the network segments and IP addresses of the imaging device 10-n. Further, the diagram of the region indicated by reference numeral g151 in FIG. 10 is a diagram for explaining the change of the network segments of the n-th imaging device connection unit 48n and the imaging device 10-n.

図10の符号g141で示す例では、外部通信接続部41のネットワークセグメントが「192.168.11」であり、IPアドレスが「192.168.11.3」である。また、第n撮像装置接続部48nのネットワークセグメントが「192.168.11」であり、IPアドレスが「192.168.11.1」である。また、第n撮像装置接続部48nに接続されている撮像装置10−nのネットワークセグメントが「192.168.11」であり、IPアドレスが「192.168.11.11」である。   In the example indicated by reference numeral g141 in FIG. 10, the network segment of the external communication connection unit 41 is “192.168.11” and the IP address is “192.168.11.3”. The network segment of the n-th imaging device connection unit 48n is “192.168.11” and the IP address is “192.168.11.1”. The network segment of the imaging device 10-n connected to the n-th imaging device connection unit 48n is “192.168.11” and the IP address is “192.168.11.11”.

図10の符号g141で示す例では、外部通信接続部41のネットワークセグメントが、第n撮像装置接続部48n及び撮像装置10−nのネットワークセグメントと同じである。このため、第n撮像装置接続部48nのネットワークセグメントは、図10の符号g142で示す領域から符号g152で示す領域のように、外部通信接続部41のネットワークセグメントの値に10を加算した値「192.168.21」に変更部493によって変更する。この場合、図10の符号g142で示す領域から符号g152で示す領域のように、第4セグメント「1」は変更されない。
さらに、撮像装置10−nのネットワークセグメントは、図10の符号g143で示す領域から符号g153で示す領域のように、第n撮像装置接続部48nに新たに設定したネットワークセグメントと同じの値に変更部493によって変更する。この場合、図10の符号g143で示す領域から符号g153で示す領域のように、第4セグメント「11」は変更されない。
In the example indicated by reference sign g141 in FIG. 10, the network segment of the external communication connection unit 41 is the same as the network segment of the n-th imaging device connection unit 48n and the imaging device 10-n. For this reason, the network segment of the n-th imaging device connection unit 48n is a value obtained by adding 10 to the value of the network segment of the external communication connection unit 41 like the region indicated by the symbol g152 from the region indicated by the symbol g142 in FIG. It is changed by the changing unit 493 to “192.168.21”. In this case, the fourth segment “1” is not changed from the area indicated by reference sign g142 in FIG. 10 to the area indicated by reference sign g152.
Further, the network segment of the imaging device 10-n is changed to the same value as the network segment newly set in the n-th imaging device connection unit 48n from the area indicated by reference numeral g143 in FIG. 10 to the area indicated by reference numeral g153. It changes by the part 493. In this case, the fourth segment “11” is not changed from the area indicated by reference numeral g143 in FIG. 10 to the area indicated by reference numeral g153.

以上のように、本実施形態によれば、第n撮像装置接続部48n及び撮像装置10−nのネットワークセグメントの設定を、外部通信接続部41のネットワークに関する設定に応じて、動的に変更する。これにより、利用者によって、外部通信接続部41のネットワークに関する設定が変更された場合であっても、利用者は、第n撮像装置接続部48n及び撮像装置10−nのIPアドレスを変更せずに済む。この結果、本実施形態によれば、画像処理装置40において、撮像装置10が接続される第n撮像装置接続部48nのIPアドレスと、撮像装置10のIPアドレスを自動的に設定することができる。   As described above, according to the present embodiment, the network segment settings of the n-th imaging device connection unit 48n and the imaging device 10-n are dynamically changed according to the network settings of the external communication connection unit 41. . Thereby, even if it is a case where the setting regarding the network of the external communication connection unit 41 is changed by the user, the user does not change the IP addresses of the n-th imaging device connection unit 48n and the imaging device 10-n. It will end. As a result, according to the present embodiment, in the image processing device 40, the IP address of the n-th imaging device connection unit 48n to which the imaging device 10 is connected and the IP address of the imaging device 10 can be automatically set. .

以上説明した本実施形態の画像処理装置40及びロボットシステム1によれば、画像処理装置40の外部通信接続部41のIPアドレスが変更された場合であっても、外部通信接続部41のネットワーク設定情報と、撮像装置10−nのネットワーク設定情報とを用いて、撮像装置10−nのネットワーク設定情報を変更する必要があるか否かを判定する。そして、本実施形態の画像処理装置40及びロボットシステム1によれば、変更する必要がある場合に、撮像装置10−nのネットワーク設定情報を変更するようにしたため、撮像装置10−nに対してネットワークに関する設定を自動で行うことができる。   According to the image processing apparatus 40 and the robot system 1 of the present embodiment described above, even if the IP address of the external communication connection unit 41 of the image processing apparatus 40 is changed, the network setting of the external communication connection unit 41 is performed. The information and the network setting information of the imaging device 10-n are used to determine whether or not the network setting information of the imaging device 10-n needs to be changed. Then, according to the image processing apparatus 40 and the robot system 1 of the present embodiment, the network setting information of the imaging apparatus 10-n is changed when it is necessary to change it. Network settings can be made automatically.

なお、本実施形態では、画像処理装置40が4つの第n撮像装置接続部48nを備える例を説明したが、第n撮像装置接続部48nの数は1つ以上であればよい。
また、本実施形態では、画像処理装置40が1つの外部通信接続部41を備える例を説明したが、外部通信接続部41の数は2つ以上であってもよい。
In the present embodiment, the example in which the image processing device 40 includes the four nth imaging device connection units 48n has been described. However, the number of the nth imaging device connection units 48n may be one or more.
In the present embodiment, the example in which the image processing apparatus 40 includes one external communication connection unit 41 has been described, but the number of external communication connection units 41 may be two or more.

また、以上に説明した装置(例えば、画像処理装置40)における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD(Compact Disc)(登録商標)−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー(例えば、RAM)のように、一定時間プログラムを保持しているものも含むものとする。   Further, a program for realizing the functions of arbitrary components in the above-described apparatus (for example, the image processing apparatus 40) is recorded on a computer-readable recording medium, and the program is read into a computer system and executed. You may make it do. Here, the “computer system” includes hardware such as an OS (Operating System) and peripheral devices. The “computer-readable recording medium” is a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD (Compact Disc) (registered trademark) -ROM, or a storage device such as a hard disk built in the computer system. I mean. Further, the “computer-readable recording medium” means a volatile memory (for example, RAM) inside a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. As described above, it is assumed that the program is held for a certain period of time.

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
In addition, the above program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
Further, the above program may be for realizing a part of the functions described above. Further, the program may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.

1…ロボットシステム、5…情報処理装置、10、10−1〜10−4、10−n…撮像装置、20…ロボット、30…制御装置、40…画像処理装置、41…外部通信接続部、42…外部通信部、43…入力受付部、44…制御部、45…記憶部、46…画像処理部、47…撮像装置制御部、48…撮像装置接続部、481…第1撮像装置接続部、482…第2撮像装置接続部、483…第3撮像装置接続部、484…第4撮像装置接続部、48n…第n撮像装置接続部、49…撮像装置通信部、491…取得部、492…判定部、493…変更部、50…表示部、60…入力部 DESCRIPTION OF SYMBOLS 1 ... Robot system, 5 ... Information processing apparatus, 10, 10-1 to 10-4, 10-n ... Imaging apparatus, 20 ... Robot, 30 ... Control apparatus, 40 ... Image processing apparatus, 41 ... External communication connection part, 42 ... external communication unit, 43 ... input receiving unit, 44 ... control unit, 45 ... storage unit, 46 ... image processing unit, 47 ... imaging device control unit, 48 ... imaging device connection unit, 481 ... first imaging device connection unit 482 ... second imaging device connection unit 483 ... third imaging device connection unit 484 ... fourth imaging device connection unit 48n ... n-th imaging device connection unit 49 ... imaging device communication unit 491 ... acquisition unit 492 ... Determination part, 493 ... Change part, 50 ... Display part, 60 ... Input part

Claims (6)

撮像装置と接続する接続部と、
前記撮像装置の設定情報と前記接続部の設定情報とを用いて、前記撮像装置の前記設定情報を変更する必要があるか否かを判定する判定部と、
前記判定部による判定によって前記撮像装置の前記設定情報を変更する必要があると判定された場合には、前記撮像装置の前記設定情報を変更する変更部と、
を含む画像処理装置。
A connection unit connected to the imaging device;
A determination unit that determines whether the setting information of the imaging device needs to be changed using the setting information of the imaging device and the setting information of the connection unit;
When it is determined by the determination by the determination unit that the setting information of the imaging device needs to be changed, a changing unit that changes the setting information of the imaging device;
An image processing apparatus.
前記撮像装置の前記設定情報及び前記接続部の前記設定情報は、それぞれ、ネットワークに関する設定情報であり、ネットワークセグメントを示すネットワークセグメント情報及び前記ネットワークセグメント情報を含むIPアドレスを含み、
前記判定部は、
前記撮像装置の前記設定情報に含まれる前記ネットワークセグメント情報と前記接続部の前記設定情報に含まれる前記ネットワークセグメント情報とを比較し、これらが一致する場合に、前記撮像装置の前記設定情報に含まれる前記IPアドレスと前記接続部の前記設定情報に含まれる前記IPアドレスとを比較し、これらが一致する場合に、前記撮像装置の前記設定情報に含まれる前記IPアドレスの第4セグメントを変更する必要があると判定する請求項1に記載の画像処理装置。
The setting information of the imaging device and the setting information of the connection unit are setting information related to a network, respectively, including network segment information indicating a network segment and an IP address including the network segment information,
The determination unit
The network segment information included in the setting information of the imaging device is compared with the network segment information included in the setting information of the connection unit, and if they match, they are included in the setting information of the imaging device The IP address included in the setting information of the connection unit is changed, and if they match, the fourth segment of the IP address included in the setting information of the imaging device is changed. The image processing apparatus according to claim 1, wherein the image processing apparatus determines that it is necessary.
前記判定部は、
前記撮像装置の前記設定情報に含まれる前記ネットワークセグメント情報と前記接続部の前記設定情報に含まれる前記ネットワークセグメント情報とが一致しない場合に、前記撮像装置の前記設定情報と前記接続部の設定情報とで前記IPアドレスの前記ネットワークセグメント情報が一致し且つ第4セグメントが異なるように変更する必要があると判定する請求項2に記載の画像処理装置。
The determination unit
When the network segment information included in the setting information of the imaging device does not match the network segment information included in the setting information of the connection unit, the setting information of the imaging device and the setting information of the connection unit The image processing apparatus according to claim 2, wherein it is determined that the network segment information of the IP address matches and the fourth segment needs to be changed.
ロボットを制御する制御装置または他の画像処理装置と接続する外部通信接続部を含み、
前記判定部は、
前記外部通信接続部の設定情報を用いて、前記撮像装置の前記設定情報を変更する必要があるか否かを判定する請求項1から請求項3のいずれか1項に記載の画像処理装置。
Including an external communication connection unit connected to a control device or other image processing device for controlling the robot,
The determination unit
The image processing apparatus according to claim 1, wherein it is determined whether the setting information of the imaging apparatus needs to be changed using setting information of the external communication connection unit.
前記撮像装置の前記設定情報及び前記外部通信接続部の前記設定情報は、それぞれ、ネットワークに関する設定情報であり、ネットワークセグメントを示すネットワークセグメント情報及び前記ネットワークセグメント情報を含むIPアドレスを含み、
前記判定部は、
前記撮像装置の前記設定情報に含まれる前記ネットワークセグメント情報と前記外部通信接続部の前記設定情報に含まれる前記ネットワークセグメント情報とを比較し、これらが一致する場合に、前記撮像装置の前記設定情報に含まれる前記IPアドレスの前記ネットワークセグメント情報を変更する必要があると判定する請求項4に記載の画像処理装置。
The setting information of the imaging apparatus and the setting information of the external communication connection unit are setting information related to a network, respectively, including network segment information indicating a network segment and an IP address including the network segment information,
The determination unit
The network segment information included in the setting information of the imaging device is compared with the network segment information included in the setting information of the external communication connection unit, and when these match, the setting information of the imaging device The image processing apparatus according to claim 4, wherein it is determined that the network segment information of the IP address included in the information needs to be changed.
請求項1から請求項5のうちいずれか1項に記載の画像処理装置と、
ロボット本体部と、
前記画像処理装置の前記変更部により変更された設定情報を用いて通信を行い、前記ロボット本体部の駆動制御を行うロボット制御装置と、
を備えるロボットシステム。
The image processing apparatus according to any one of claims 1 to 5,
The robot body,
A robot controller that performs communication using the setting information changed by the changing unit of the image processing apparatus and performs drive control of the robot body; and
A robot system comprising:
JP2014188127A 2014-09-16 2014-09-16 Image processing apparatus and robot system Active JP6375810B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014188127A JP6375810B2 (en) 2014-09-16 2014-09-16 Image processing apparatus and robot system
CN201510578893.2A CN105430255A (en) 2014-09-16 2015-09-11 Image processing apparatus and robot system
EP15185232.4A EP2998079B1 (en) 2014-09-16 2015-09-15 Image processing apparatus, robot system and method for processing an image
US14/854,499 US10127622B2 (en) 2014-09-16 2015-09-15 Image processing apparatus and robot system
US16/157,840 US20190043150A1 (en) 2014-09-16 2018-10-11 Image Processing Apparatus And Robot System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014188127A JP6375810B2 (en) 2014-09-16 2014-09-16 Image processing apparatus and robot system

Publications (2)

Publication Number Publication Date
JP2016063309A true JP2016063309A (en) 2016-04-25
JP6375810B2 JP6375810B2 (en) 2018-08-22

Family

ID=55798326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014188127A Active JP6375810B2 (en) 2014-09-16 2014-09-16 Image processing apparatus and robot system

Country Status (1)

Country Link
JP (1) JP6375810B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020153299A1 (en) * 2019-01-25 2020-07-30 株式会社ソニー・インタラクティブエンタテインメント Robot control system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193600A (en) * 2007-02-07 2008-08-21 Hitachi Kokusai Electric Inc Information transmitting apparatus
US20120098969A1 (en) * 2010-10-22 2012-04-26 Alcatel-Lucent Usa, Inc. Surveillance Video Router
JP2013172382A (en) * 2012-02-22 2013-09-02 Seiko Epson Corp Imaging device management system, imaging controller, controller and robot

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193600A (en) * 2007-02-07 2008-08-21 Hitachi Kokusai Electric Inc Information transmitting apparatus
US20120098969A1 (en) * 2010-10-22 2012-04-26 Alcatel-Lucent Usa, Inc. Surveillance Video Router
WO2012054191A1 (en) * 2010-10-22 2012-04-26 Alcatel Lucent Surveillance video router
CN103181166A (en) * 2010-10-22 2013-06-26 阿尔卡特朗讯公司 Surveillance video router
KR20130090903A (en) * 2010-10-22 2013-08-14 알까뗄 루슨트 Surveillance video router
EP2630792A1 (en) * 2010-10-22 2013-08-28 Alcatel Lucent Surveillance video router
JP2014502072A (en) * 2010-10-22 2014-01-23 アルカテル−ルーセント Surveillance video router
JP2013172382A (en) * 2012-02-22 2013-09-02 Seiko Epson Corp Imaging device management system, imaging controller, controller and robot

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020153299A1 (en) * 2019-01-25 2020-07-30 株式会社ソニー・インタラクティブエンタテインメント Robot control system
JP2020116711A (en) * 2019-01-25 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント Robot control system
JP7309371B2 (en) 2019-01-25 2023-07-18 株式会社ソニー・インタラクティブエンタテインメント robot control system

Also Published As

Publication number Publication date
JP6375810B2 (en) 2018-08-22

Similar Documents

Publication Publication Date Title
KR102189271B1 (en) Apparatus and method for controlling lighting
US20150260333A1 (en) Robotic stand and systems and methods for controlling the stand during videoconference
EP2998079A2 (en) Image processing apparatus, robot system and method for processing an image
TW201601060A (en) Method and apparatus for sharing display frame
WO2018121193A1 (en) Vr device control method, apparatus, and remote controller
US9615053B2 (en) Systems and methods for controlling robotic stands during videoconference operation
JP2017164876A (en) Control device, robot and robot system
JP2018015857A (en) Control device, and robot
EP3112984A1 (en) Hand gesture recognition method, device, system, and computer storage medium
JP2014003510A (en) Video transmitter, video display device, video transmission method and program, and video display method and program
JP6375810B2 (en) Image processing apparatus and robot system
JP2015023476A (en) Imaging apparatus, external apparatus, imaging system, imaging apparatus control method, external apparatus control method, imaging system control method, and program
US20180234613A1 (en) Image pickup apparatus
JP6488571B2 (en) Teaching apparatus and robot system
EP3603480A1 (en) Control device, external device, medical observation system, control method, display method, and program
JP2016059982A (en) Image processing apparatus and robot system
JP6428081B2 (en) Image processing apparatus and robot system
JP2019030935A (en) Robot control device, robot, robot system, and robot control method
JP7467865B2 (en) Information processing system and information processing method
JP2016013590A (en) Teaching device, and robot system
JP6398509B2 (en) Image processing system and robot system
JP2011145336A (en) Video-displaying device and video-displaying system
KR102082433B1 (en) Remote collaboration system with projector-camera based robot device and head mounted display and remote interaction method using the same
JP2009017252A (en) Connection system for wireless network household electric appliance
JP2007288671A (en) Meeting method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180709

R150 Certificate of patent or registration of utility model

Ref document number: 6375810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150