JP2022546999A - ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体 - Google Patents
ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体 Download PDFInfo
- Publication number
- JP2022546999A JP2022546999A JP2022513882A JP2022513882A JP2022546999A JP 2022546999 A JP2022546999 A JP 2022546999A JP 2022513882 A JP2022513882 A JP 2022513882A JP 2022513882 A JP2022513882 A JP 2022513882A JP 2022546999 A JP2022546999 A JP 2022546999A
- Authority
- JP
- Japan
- Prior art keywords
- identifier
- target
- product
- slot
- pick
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000000047 product Substances 0.000 claims description 216
- 230000004807 localization Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 239000000706 filtrate Substances 0.000 claims description 4
- 239000000284 extract Substances 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 208000037805 labour Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
- B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
- G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31028—Selecting workpieces from one or more containers by robot with vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45063—Pick and place manipulator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Electromagnetism (AREA)
- Toxicology (AREA)
- Economics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
前記カメラは、ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得するように配置されている。前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
前記画像処理モジュールは、前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するように配置されている。
前記位置特定モジュールは、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている。
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されている。
前記カメラは、ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するように配置されている。
前記画像処理モジュールは、前記目標画像から商品識別子を選別するように配置されている。
前記位置特定モジュールは、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている。
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップように配置されている。
前記カメラは、前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するように配置されている。
前記画像処理モジュールは、前記目標画像からスロット識別子を選別するように配置されている。
前記位置特定モジュールは、前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するように配置されている。
前記保管部材は、前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるように配置されている。
ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得する。前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別する。
前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップする。
前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得する。
前記目標画像からスロット識別子を選別する。
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定する。
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させる。
前記カメラ110は、商品が保管されている各スロット位置にピックアップ部材130が移動したときに撮像した目標画像を取得するように配置されている。ここで、前記目標画像には、現在スロット位置に対応するスロット識別子を含む。 前記画像処理モジュール1201は、前記スロット識別子に基づいて現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するように配置されている。前記位置特定モジュール1202は、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている。 前記ピックアップ部材130は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されている。
画像処理モジュール1201は、目標画像を二値化処理し、二値化画像を得る。
二値化画像を取得後、当該二値化画像から予め設定されたグレー値を有するピクセルを抽出し、即ちスロット識別子を位置決めるための位置決め識別子のピクセルを抽出する。図2に示すように、具体的に実施する際に、スロット識別子の位置決め識別子は特定の幅を有する黒枠21であれば、このステップでは、画像処理モジュール1201は黒色のピクセルを抽出する。
画像処理モジュール1201は位置決め識別子のピクセルを抽出した後、直線をフィッティングし、特定の幅を有する黒枠を得る。このステップで得られた黒枠は候補位置決め識別子であり、当該黒枠がスロット識別子を位置決める目標位置決め識別子であるか否かをさらに検証する必要がある。フィッティングされた直線の交点は位置決め識別子のコーナーポイントである。
画像処理モジュール1201は、フィッティングにより候補位置決め識別子を得た後、予め設定された条件により、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であるか否かを検証する。例えば、候補位置決め識別子の線幅が予め設定された幅であるか、或いは候補位置決め識別子が予め設定された形状を有するかなどについて検証する。
候補位置決め識別子が予め設定された条件を満たすと、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であると特定する。
画像処理モジュール1201は目標位置決め識別子を特定した後、当該目標位置決め識別子とスロット識別子の予め設定された相対的な位置関係に基づいて、スロット識別子の位置決めを実現し、即ち、目標画像でのスロット識別子の位置情報を特定する。
目標画像でのスロット識別子の位置情報を特定すれば、スロット識別子を解析し、目標画像での現在スロット位置は取り出すべき商品を保管している目標スロット位置であるかを特定することができる。
具体的に実施する際に、商品識別子が取り出すべき商品上に設けられ、その位置がスロット識別子より高く設定されているので、このステップでは、スロット識別子の上方の画像領域を関心領域として商品識別子を選別する。また、スロット識別子を算出する際にそのサイズが得られるので、予め設定された情報に基づいて、商品識別子のサイズを特定することができる。
具体的に実施する際に、図2に示すように、商品識別子は、予め設定された形状を有する識別子22であり得るので、このステップでは、関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。前記予め設定された形状は、円形、三角形、四角形等であり得るが、本出願では商品識別子の形状を限定しない。
勿論、商品識別子は、予め設定された色を有する識別子であってもよいし、二次元コード等であってもよい。本出願では、商品識別子の具体的な形態を制限せず、商品識別子を選別するときに商品識別子の実際の具体的な形態に応じて選別すればよい。
関心領域に予め設定された形状を有する識別子を含む場合、画像処理モジュール1201は当該識別子を前記商品識別子として取り扱う。
商品識別子が商品上に設けられているので、画像処理モジュール1201により前記商品識別子が選別されなかった場合に、目標スロット位置には取り出すべき商品が存在せず、今回のピックアップ作業が失敗したことが分かる。
位置特定モジュール1202は画像解析等の技術により、前記目標画像での商品識別子の中心の位置情報を特定する。
S320:前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別する。
S330:前記商品識別子が選別により得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
S340:前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップする。
前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出するステップと、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を得るステップと、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含むことができる。
前記ピックアップ方法は、さらに、前記スロット識別子に対応するスロット位置が前記取り出すべき商品を保管している目標スロット位置であるか否かを特定するステップを含む。即ち、
前記目標画像での前記二次元コードの位置情報に基づいて、前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報が前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置は前記目標スロット位置であると特定する。
前記目標画像での前記商品識別子の中心位置情報を特定するステップと、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップとを含む。
画像処理モジュールは、目標画像を二値化処理し、二値化画像を得る。
二値化画像を取得後、当該二値化画像から予め設定されたグレー値を有するピクセルを抽出し、即ちスロット識別子を位置決めるための位置決め識別子のピクセルを抽出する。図2に示すように、具体的に実施する際に、スロット識別子の位置決め識別子が特定の幅を有する黒枠21であれば、このステップでは、画像処理モジュールは黒色のピクセルを抽出する。
画像処理モジュールは位置決め識別子のピクセルを抽出した後、直線をフィッティングし、特定の幅を有する黒枠を得る。このステップで得られた黒枠は候補位置決め識別子であり、当該黒枠がスロット識別子を位置決める目標位置決め識別子であるか否かをさらに検証する必要がある。フィッティングされた直線の交点は位置決め識別子のコーナーポイントである。
画像処理モジュールは、フィッティングにより候補位置決め識別子を得た後、予め設定された条件により、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であるか否かを検証する。例えば、候補位置決め識別子の線幅が予め設定された幅であるか、或いは候補位置決め識別子が予め設定された形状を有するかなどについて検証する。
候補位置決め識別子が予め設定された条件を満たすと、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であると特定する。
画像処理モジュールは目標位置決め識別子を特定した後、当該目標位置決め識別子とスロット識別子の予め設定された相対的な位置関係に基づいて、スロット識別子の位置決めを実現し、即ち、目標画像でのスロット識別子の位置情報を特定する。
目標画像でのスロット識別子の位置情報を特定すれば、スロット識別子を解析し、目標画像での現在スロット位置は取り出すべき商品を保管している目標スロット位置であるかを特定することができる。
具体的に実施する際に、商品識別子が取り出すべき商品に設けられ、その位置がスロット識別子より高く設定されているので、このステップでは、スロット識別子の上方の画像領域を関心領域とし商品識別子を選別する。また、スロット識別子を算出する際にそのサイズが得られるので、予め設定された情報に基づいて、商品識別子のサイズを特定することができる。
具体的に実施する際に、図2に示すように、商品識別子は、予め設定された形状を有する識別子22であり得るので、このステップでは、関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。前記予め設定された形状は、円形、三角形、四角形等であり得るが、本出願では商品識別子の形状を限定しない。
勿論、商品識別子は、予め設定された色を有する識別子であってもよいし、二次元コード等であってもよい。本出願では、商品識別子の具体的な形態を制限せず、商品識別子を選別するときに商品識別子の実際の具体的な形態に応じて選別すればよい。
関心領域に予め設定された形状を有する識別子を含む場合、画像処理モジュールは当該識別子を前記商品識別子として取り扱う。
商品識別子が商品上に設けられているので、画像処理モジュールにより前記商品識別子が選別されなかった場合に、目標スロット位置には取り出すべき商品が存在せず、今回のピックアップ作業が失敗したことが分かる。
位置特定モジュールは画像解析等の技術により、前記目標画像での商品識別子の中心の位置情報を特定する。
ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像から商品識別子を選別するステップと、
前記商品識別子が選別により得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含むことができる。
前記目標画像から商品識別子を選別するステップは、
前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するステップを含む。
前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出するステップと、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を得るステップと、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含む。
前記ピックアップ方法は、さらに、前記スロット識別子に対応するスロット位置が、前記取り出すべき商品を保管している目標スロット位置であるかを特定するステップを含む。即ち、
前記目標画像での前記二次元コードの位置情報に基づいて、前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報は前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定する。
前記目標画像での前記商品識別子の中心位置情報を特定するステップと、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品位置情報を特定するステップとを含む。
前記カメラは、前記保管ロボットが商品を保管すべきスロット位置に移動したときに撮像した目標画像を取得するように配置され、
画像処理モジュールは、前記目標画像からスロット識別子を選別するように配置され、
前記位置特定モジュールは、前記スロット識別子に対応する目標スロット位置を特定した場合に、前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するように配置され、
前記保管部材は、前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるように配置されている。
前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像からスロット識別子を選別するステップと、
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるステップとを含む。
Claims (25)
- カメラと、画像処理モジュール及び位置特定モジュールを有するプロセッサと、ピックアップ部材とを備え、
前記カメラは、ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得するように配置され、前記目標画像には、現在スロット位置に対応するスロット識別子が含まれており、
前記画像処理モジュールは、前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するように配置され、
前記位置特定モジュールは、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置され、
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されている、ことを特徴とするピックアップロボット。 - 前記画像処理モジュールは、さらに、
前記目標画像を二値化処理し、二値化処理された画像から、予め設定されたグレー値を有するピクセルを抽出し、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得し、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定し、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するように配置されている、ことを特徴とする請求項1に記載のピックアップロボット。 - 前記スロット識別子は二次元コードであり、
前記画像処理モジュールは、さらに、
前記目標画像における前記二次元コードの位置情報に基づいて、前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報が前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定するように配置されている、ことを特徴とする請求項2に記載のピックアップロボット。 - 前記画像処理モジュールは前記目標画像から商品識別子を選別する場合に、具体的に、
前記目標画像において前記スロット識別子の上方にある画像領域を関心領域とし、
前記関心領域に予め設定された形状を有する識別子が含まれているか否かを検出し、
前記関心領域に予め設定された形状を有する識別子が含まれていると検出された場合に、当該識別子を前記商品識別子とするように配置されている、ことを特徴とする請求項1に記載のピックアップロボット。 - 前記位置特定モジュールは前記商品識別子に基づいて前記目標スロット位置における前記取り出すべき商品の位置情報を特定する場合に、具体的に、
前記目標画像における前記商品識別子の中心位置情報を特定し、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品の相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている、ことを特徴とする請求項1に記載のピックアップロボット。 - 前記画像処理モジュールは、さらに
前記商品識別子が選別で得られなかった場合に、前記目標スロット位置に前記取り出すべき商品が存在しないと特定するように配置されている、ことを特徴とする請求項1に記載のピックアップロボット。 - カメラと、画像処理モジュール及び位置特定モジュールを有するプロセッサと、ピックアップ部材とを備え、
前記カメラは、ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するように配置され、
前記画像処理モジュールは、前記目標画像から商品識別子を選別するように配置され、
前記位置特定モジュールは、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置され、
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップように配置されている、ことを特徴とするピックアップロボット。 - 前記目標画像には、現在スロット位置に対応するスロット識別子が含まれており、
前記画像処理モジュールは、さらに、前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するように配置されている、ことを特徴とする請求項7に記載のピックアップロボット。 - 前記画像処理モジュールは、さらに、
前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出し、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得し、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定し、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するように配置されている、ことを特徴とする請求項8に記載のピックアップロボット。 - 前記スロット識別子は二次元コードであり、
前記画像処理モジュールは、さらに、
前記目標画像における前記二次元コードの位置情報に基づいて、前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報が前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定するように配置されている、ことを特徴とする請求項8に記載のピックアップロボット。 - 前記画像処理モジュールは前記目標画像から商品識別子を選別する場合に、具体的に、
前記目標画像において前記スロット識別子の上方にある画像領域を関心領域とし、
前記関心領域に予め設定された形状を有する識別子が含まれているか否かを検出し、
前記関心領域に予め設定された形状を有する識別子が含まれていると検出した場合に、当該識別子を前記商品識別子とするように配置されている、ことを特徴とする請求項8に記載のピックアップロボット。 - 前記位置特定モジュールは前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する場合に、具体的に、
前記目標画像における前記商品識別子の中心位置情報を特定し、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品の相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている、ことを特徴とする請求項7に記載のピックアップロボット。 - 前記画像処理モジュールは、さらに、
前記商品識別子が選別で得られなかった場合に、前記目標スロット位置に前記取り出すべき商品が存在しないと特定するように配置されている、ことを特徴とする請求項7に記載のピックアップロボット。 - カメラと、画像処理モジュール及び位置特定モジュールを有するプロセッサと、保管部材とを備え、
前記カメラは、保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するように配置され、
前記画像処理モジュールは、前記目標画像からスロット識別子を選別するように配置され、
前記位置特定モジュールは、前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するように配置され、
前記保管部材は、前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるように配置されている、ことを特徴とする保管ロボット。 - ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得するステップであって、前記目標画像には、現在スロット位置に対応するスロット識別子が含まれているステップと、
前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定された場合に、前記目標画像から商品識別子を選別するステップと、
前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含む、ことを特徴とするピックアップ方法。 - 前記目標画像を取得した後、前記ピックアップ方法は、さらに、
前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出するステップと、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得するステップと、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含む、ことを特徴とする請求項15に記載のピックアップ方法。 - 前記スロット識別子は二次元コードであり、
前記ピックアップ方法は、さらに、前記スロット識別子に対応するスロット位置が前記取り出すべき商品を保管している目標スロット位置であるか否かを特定するステップを含み、即ち、
前記目標画像における前記二次元コードの位置情報に基づいて、前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報は前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定する、ことを特徴とする請求項16に記載のピックアップ方法。 - 前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップは、
前記目標画像における前記商品識別子の中心位置情報を特定するステップと、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品の相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップとを含む、ことを特徴とする請求項15に記載のピックアップ方法。 - ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像から商品識別子を選別するステップと、
前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含む、ことを特徴とするピックアップ方法。 - 前記目標画像には、現在スロット位置に対応するスロット識別子が含まれており、
前記目標画像から商品識別子を選別するステップは、
前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定すると、前記目標画像から商品識別子を選別するステップを含む、ことを特徴とする請求項19に記載のピックアップ方法。 - 前記目標画像を取得した後、前記ピックアップ方法は、さらに、
前記目標画像を二値化処理し、二値化処理された画像から、予め設定されたグレー値を有するピクセルを抽出するステップと、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得するステップと、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含む、ことを特徴とする請求項20に記載のピックアップ方法。 - 前記スロット識別子は二次元コードであり、
前記ピックアップ方法は、さらに、前記スロット識別子に対応するスロット位置が前記取り出すべき商品を保管している目標スロット位置であるか否かを特定するステップを備え、即ち、
前記目標画像における前記二次元コードの位置情報に基づいて、前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報は前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定する、ことを特徴とする請求項20に記載のピックアップ方法。 - 前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップは、
前記目標画像における前記商品識別子の中心位置情報を特定するステップと、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品の相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップとを含む、ことを特徴とする請求項19に記載のピックアップ方法。 - 保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像からスロット識別子を選別するステップと、
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるステップとを含む、ことを特徴とする保管方法。 - コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されるときに、請求項15~24のいずれか1項に記載のピックアップ又は保管方法を実行する、ことを特徴とするコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911368940.5 | 2019-12-26 | ||
CN201911368940.5A CN113052517A (zh) | 2019-12-26 | 2019-12-26 | 取货机器人、取货方法、计算机可读存储介质 |
PCT/CN2020/138291 WO2021129608A1 (zh) | 2019-12-26 | 2020-12-22 | 取货机器人、取货方法、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022546999A true JP2022546999A (ja) | 2022-11-10 |
JP7392116B2 JP7392116B2 (ja) | 2023-12-05 |
Family
ID=76505548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022513882A Active JP7392116B2 (ja) | 2019-12-26 | 2020-12-22 | ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220315337A1 (ja) |
EP (1) | EP4002243A4 (ja) |
JP (1) | JP7392116B2 (ja) |
KR (1) | KR20220069929A (ja) |
CN (2) | CN113128501A (ja) |
AU (1) | AU2020414142B2 (ja) |
WO (1) | WO2021129608A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113945063A (zh) * | 2021-10-15 | 2022-01-18 | 福建瑞雪制冷设备有限公司 | 一种基于物联网的冷库控制方法、系统及其存储介质 |
CN117088023B (zh) * | 2023-07-26 | 2024-09-13 | 中核核电运行管理有限公司 | 货物搬运方法及相关装置 |
CN117146828B (zh) * | 2023-10-30 | 2024-03-19 | 网思科技股份有限公司 | 拣货路径引导方法、装置、存储介质及计算机设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004196439A (ja) * | 2002-12-16 | 2004-07-15 | Fuji Photo Film Co Ltd | 在庫管理システム |
JP2005083984A (ja) * | 2003-09-10 | 2005-03-31 | Neomax Co Ltd | 物品位置確認システム |
JP2009015684A (ja) * | 2007-07-06 | 2009-01-22 | Komatsu Utility Co Ltd | 配車システム及び方法 |
JP2017097622A (ja) * | 2015-11-24 | 2017-06-01 | ワム・システム・デザイン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2018039668A (ja) * | 2016-09-05 | 2018-03-15 | 株式会社東芝 | ピッキング装置 |
JP2018513822A (ja) * | 2015-04-16 | 2018-05-31 | インヴィア ロボティクス、インコーポレイテッド | 自律的な注文履行及び在庫制御ロボット |
JP2019163172A (ja) * | 2017-02-10 | 2019-09-26 | 日鉄ソリューションズ株式会社 | システム、情報処理装置、情報処理方法、プログラム及び記録媒体 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010056313A1 (en) * | 2000-05-08 | 2001-12-27 | Osborne William Joseph | Object locating and retrieving system utilizing labels |
JP2007090448A (ja) * | 2005-09-27 | 2007-04-12 | Honda Motor Co Ltd | 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット |
CN104008361B (zh) * | 2014-06-16 | 2017-05-31 | 北京握奇智能科技有限公司 | 一种二维码扫描定位提示方法及系统 |
US9908702B2 (en) * | 2016-02-05 | 2018-03-06 | Invia Robotics, Inc. | Robotic navigation and mapping |
CA3051473A1 (en) * | 2017-01-30 | 2018-08-02 | Walmart Apollo, Llc | Distributed autonomous robot systems and methods |
WO2019021058A2 (en) * | 2017-07-25 | 2019-01-31 | Mbl Limited | SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS |
CN108182417B (zh) * | 2017-12-29 | 2020-07-10 | 广东安居宝数码科技股份有限公司 | 出货检测方法、装置、计算机设备及自动售货机 |
CN110097304B (zh) * | 2018-01-30 | 2024-01-16 | 北京京东乾石科技有限公司 | 信息生成方法和装置 |
US10678228B2 (en) * | 2018-04-04 | 2020-06-09 | Invia Robotics, Inc. | Autonomous robots performing concerted operation based on shared sensory access and holistic flow of information |
WO2019200012A1 (en) * | 2018-04-10 | 2019-10-17 | Cairl Brian | System and method for robot-assisted, cart-based workflows |
CN110020605A (zh) * | 2018-09-18 | 2019-07-16 | 北京无线体育俱乐部有限公司 | 提示方法、装置及系统 |
CN109344928B (zh) * | 2018-09-19 | 2020-05-15 | 中国科学院信息工程研究所 | 一种大型仓库中基于无人机的货物精确盘点方法及系统 |
CN109636269B (zh) * | 2018-11-14 | 2022-08-23 | 深圳市海柔创新科技有限公司 | 货物处理方法、装置、存储介质和计算机设备 |
CN110148257A (zh) * | 2019-04-01 | 2019-08-20 | 厦门鲜喵网络科技有限公司 | 一种取货方法及系统 |
-
2019
- 2019-12-26 CN CN202110430586.5A patent/CN113128501A/zh active Pending
- 2019-12-26 CN CN201911368940.5A patent/CN113052517A/zh active Pending
-
2020
- 2020-12-22 JP JP2022513882A patent/JP7392116B2/ja active Active
- 2020-12-22 WO PCT/CN2020/138291 patent/WO2021129608A1/zh unknown
- 2020-12-22 AU AU2020414142A patent/AU2020414142B2/en active Active
- 2020-12-22 US US17/634,906 patent/US20220315337A1/en active Pending
- 2020-12-22 EP EP20907071.3A patent/EP4002243A4/en active Pending
- 2020-12-22 KR KR1020227007044A patent/KR20220069929A/ko not_active Application Discontinuation
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004196439A (ja) * | 2002-12-16 | 2004-07-15 | Fuji Photo Film Co Ltd | 在庫管理システム |
JP2005083984A (ja) * | 2003-09-10 | 2005-03-31 | Neomax Co Ltd | 物品位置確認システム |
JP2009015684A (ja) * | 2007-07-06 | 2009-01-22 | Komatsu Utility Co Ltd | 配車システム及び方法 |
JP2018513822A (ja) * | 2015-04-16 | 2018-05-31 | インヴィア ロボティクス、インコーポレイテッド | 自律的な注文履行及び在庫制御ロボット |
JP2017097622A (ja) * | 2015-11-24 | 2017-06-01 | ワム・システム・デザイン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2018039668A (ja) * | 2016-09-05 | 2018-03-15 | 株式会社東芝 | ピッキング装置 |
JP2019163172A (ja) * | 2017-02-10 | 2019-09-26 | 日鉄ソリューションズ株式会社 | システム、情報処理装置、情報処理方法、プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
KR20220069929A (ko) | 2022-05-27 |
JP7392116B2 (ja) | 2023-12-05 |
CN113052517A (zh) | 2021-06-29 |
WO2021129608A1 (zh) | 2021-07-01 |
US20220315337A1 (en) | 2022-10-06 |
AU2020414142B2 (en) | 2023-07-27 |
EP4002243A1 (en) | 2022-05-25 |
CN113128501A (zh) | 2021-07-16 |
EP4002243A4 (en) | 2023-11-22 |
AU2020414142A1 (en) | 2022-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022546999A (ja) | ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体 | |
US11774735B2 (en) | System and method for performing automated analysis of air samples | |
Rennie et al. | A dataset for improved rgbd-based object detection and pose estimation for warehouse pick-and-place | |
US11232589B2 (en) | Object recognition device and object recognition method | |
US20170185985A1 (en) | Sales registration apparatus, program, and sales registration method | |
CA2976771A1 (en) | Barcode tag detection in side view sample tube images for laboratory automation | |
CN113894799B (zh) | 机器人及辅助环境定位的标识物识别方法和装置 | |
CN110533654A (zh) | 零部件的异常检测方法及装置 | |
WO2016085552A1 (en) | System for real-time moving target detection using vision based image segmentation | |
Sansoni et al. | Optoranger: A 3D pattern matching method for bin picking applications | |
US11772271B2 (en) | Method and computing system for object recognition or object registration based on image classification | |
WO2024012463A1 (zh) | 一种定位方法及装置 | |
US20230381971A1 (en) | Method and computing system for object registration based on image classification | |
CN114004899B (zh) | 一种栈板位姿识别方法、存储介质及设备 | |
US9846949B2 (en) | Determine the shape of a representation of an object | |
CN109191546B (zh) | 地图生成法、信息获取方法、装置及系统 | |
JP2018081629A (ja) | 判定装置、判定方法および判定プログラム | |
CN105930813B (zh) | 一种在任意自然场景下检测行文本的方法 | |
JP2014174628A (ja) | 画像認識方法 | |
EP2509028B1 (en) | Method and system for optically detecting and localizing a two-dimensional, 2D, marker in 2D scene data, and marker therefor | |
CN111986169A (zh) | 门窗检测方法、系统、终端以及介质 | |
WO2019108117A1 (en) | Systems, methods and computer programs for container space allocation monitoring | |
CN115830026A (zh) | 基于视觉的工件表面质量检测方法及装置 | |
CN118536530A (zh) | 一种信息显示方法、信息显示装置、电子设备及存储介质 | |
Mensa et al. | Camera Alignment System for Passive Safety Crash Tests |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7392116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |