CN112215132A - 用于自适应智慧厨房系统的生成物品信息的方法及装置 - Google Patents
用于自适应智慧厨房系统的生成物品信息的方法及装置 Download PDFInfo
- Publication number
- CN112215132A CN112215132A CN202011077394.2A CN202011077394A CN112215132A CN 112215132 A CN112215132 A CN 112215132A CN 202011077394 A CN202011077394 A CN 202011077394A CN 112215132 A CN112215132 A CN 112215132A
- Authority
- CN
- China
- Prior art keywords
- information
- image
- target
- target object
- article
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003044 adaptive effect Effects 0.000 title claims description 5
- 238000004458 analytical method Methods 0.000 claims abstract description 47
- 238000010191 image analysis Methods 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000009286 beneficial effect Effects 0.000 description 13
- 230000036544 posture Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 235000021419 vinegar Nutrition 0.000 description 2
- 239000000052 vinegar Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 235000011194 food seasoning agent Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于自适应智慧厨房系统的生成物品信息的方法及装置，用以实现自动认识物品，构建适用于机械臂的物品信息。所述方法，包括：获取目标物品的图像；通过对所述图像的分析，获得所述目标物品的物品图像特征信息；通过对所述图像特征信息的分析，获得所述目标物品的语义信息；根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息；根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息；将所述物品信息输入到机械臂控制系统。
Description
技术领域
本发明涉及计算机及通信技术领域，特别涉及一种生成物品信息的方法及装置。
背景技术
随着计算机和人工智能技术的发展，机器人和机械臂技术得到了快速发展和广泛应用。若想要机械臂在某环境下工作，需要人为的向机械臂输入各种姿态信息和指令。由机械臂来完成各指令下的姿态和动作，以实现机械臂代替人类行为的目的。但是，由于机械臂的应用环境不同，若由技术人员针对各种应用环境来手动输入相应的姿态信息和指令，则该过程较为繁琐。同时，在与用户长期交互的过程中，智慧厨房不仅需要存储交互记录(包括声音，图像，视频等等)，并且需要基于交互历史为下一次交互进行合理的推断，建立交互上下文。这部分功能无法在机器人出厂前针对用户进行个性化定制，使得自主学习算法在机器人领域成了不可或缺的模块。
发明内容
本发明提供一种生成物品信息的方法及装置，用以实现自动认识物品，构建适用于机械臂的物品信息。
本发明提供一种生成物品信息的方法，包括：
获取目标物品的图像；
通过对所述图像的分析，获得所述目标物品的物品图像特征信息；
通过对所述图像特征信息的分析，获得所述目标物品的语义信息；
根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息；
根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息；
将所述物品信息输入到机械臂控制系统。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例通过图像分析生成了适用于机械臂的物品信息，实现了自动学习认识物品，便于机械臂后续识别和夹取物品。
可选的，所述图像包括所述目标物品的多个角度的图像；
所述获取目标物品的图像，包括：
控制机械臂的前端围绕所述目标物品运动，以驱动机械臂前端的摄像头对所述目标物品进行多角度拍摄，获取所述目标物品的多个角度的图像。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例实现了自动拍摄多角度的图像，有助于后续通过多角度的图像可以更准确的识别出物品。
可选的，所述图像包括所述目标物品在多种光照环境下的图像；
所述通过对所述图像的分析，获得所述目标物品的物品图像特征信息，包括：
对多种光照环境下的图像进行非线性灰度变换处理，得到归一化后的图像；
通过对归一化后的图像的分析，获得所述目标物品的物品图像特征信息。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例通过多种光照环境下的图像，有助于去除光照对图像特征的影响，可以更准确的识别出物品本身的图像特征。
可选的，所述位置信息至少包括下列之一：坐标信息和与其它目标物品的位置关系信息。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例可确定物品的坐标信息和物品之间的位置关系信息，通过多种方式表达物品的位置，有助于后续控制机械臂更好的抓取物品。
可选的，所述图像包括多个目标物品；
所述根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息，包括：
根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的坐标信息；和/或
根据多个目标物品在图像中的位置关系，获取多个目标物品之间的位置关系信息。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例提供了确定坐标信息和位置关系信息的实现方式。
可选的，所述方法还包括：
在获得所述目标物品的语义信息后，确定所述目标物品的抓取点信息；
所述根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息，包括：
根据所述物品图像特征信息、所述语义信息、所述位置信息和所述抓取点信息，构建所述目标物品的物品信息。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例实现了抓取点的确定，有助于后续控制机械臂抓取物品的位置和姿态。
可选的，所述方法还包括：
向用户输出所述物品信息；
接收用户输入的针对所述物品信息的反馈信息。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例通过输出物品信息和接收用户反馈的方式，实现对物品信息的确认和修正。
可选的，所述方法还包括：
在向用户输出所述物品信息时，控制机械臂的前端移动到所述目标物品附近，以指向所述目标物品。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例通过控制机械臂指向目标物品，以提示用户需要对哪个物品进行确认和反馈。
可选的，所述向用户输出所述物品信息，包括：
通过语音播报和/或显示屏显示的方式，向用户输出所述物品信息；
所述接收用户输入的针对所述物品信息的反馈信息，包括：
通过语音、手势、触摸屏操作、表情和肢体动作中至少一种方式，收用户输入的针对所述物品信息的反馈信息。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例支持多种方式的输出和接收反馈。
本发明提供一种生成物品信息的装置，包括：
获取模块，用于获取目标物品的图像；
图像分析模块，用于通过对所述图像的分析，获得所述目标物品的物品图像特征信息；
语义分析模块，用于通过对所述图像特征信息的分析，获得所述目标物品的语义信息；
位置分析模块，用于根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息；
构建模块，用于根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息；
输入模块，用于将所述物品信息输入到机械臂控制系统。
可选的，所述图像包括所述目标物品的多个角度的图像；
所述获取模块包括：
获取子模块，用于控制机械臂的前端围绕所述目标物品运动，以驱动机械臂前端的摄像头对所述目标物品进行多角度拍摄，获取所述目标物品的多个角度的图像。
可选的，所述图像包括所述目标物品在多种光照环境下的图像；
所述图像分析模块包括：
归一化子模块，用于对多种光照环境下的图像进行非线性灰度变换处理，得到归一化后的图像；
图像分析子模块，用于通过对归一化后的图像的分析，获得所述目标物品的物品图像特征信息。
可选的，所述位置信息至少包括下列之一：坐标信息和与其它目标物品的位置关系信息。
可选的，所述图像包括多个目标物品；
所述位置分析模块包括：
第一位置分析子模块，用于根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的坐标信息；和/或
第二位置分析子模块，用于根据多个目标物品在图像中的位置关系，获取多个目标物品之间的位置关系信息。
可选的，所述装置还包括：
抓取点模块，用于在获得所述目标物品的语义信息后，确定所述目标物品的抓取点信息；
所述构建模块包括：
构建子模块，用于根据所述物品图像特征信息、所述语义信息、所述位置信息和所述抓取点信息，构建所述目标物品的物品信息。
可选的，所述装置还包括：
输出模块，用于向用户输出所述物品信息；
接收模块，用于接收用户输入的针对所述物品信息的反馈信息。
可选的，所述装置还包括：
指向模块，用于在向用户输出所述物品信息时，控制机械臂的前端移动到所述目标物品附近，以指向所述目标物品。
可选的，所述输出模块包括：
输出子模块，用于通过语音播报和/或显示屏显示的方式，向用户输出所述物品信息；
所述接收模块包括：
接收子模块，用于通过语音、手势、触摸屏操作、表情和肢体动作中至少一种方式，收用户输入的针对所述物品信息的反馈信息。
本发明提供一种生成物品信息的装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取目标物品的图像；
通过对所述图像的分析，获得所述目标物品的物品图像特征信息；
通过对所述图像特征信息的分析，获得所述目标物品的语义信息；
根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息；
根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息；
将所述物品信息输入到机械臂控制系统。
本发明提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现所述方法的步骤。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中生成物品信息的方法流程图；
图2为本发明实施例中生成物品信息的方法流程图；
图3为本发明实施例中生成物品信息的方法流程图；
图4为本发明实施例中生成物品信息的装置结构图；
图5为本发明实施例中获取模块的结构图；
图6为本发明实施例中图像分析模块的结构图；
图7为本发明实施例中位置分析模块的结构图；
图8为本发明实施例中生成物品信息的装置结构图；
图9为本发明实施例中构建模块的结构图；
图10为本发明实施例中生成物品信息的装置结构图；
图11为本发明实施例中生成物品信息的装置结构图；
图12为本发明实施例中输出模块的结构图；
图13为本发明实施例中接收模块的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
相关技术中，若想要机械臂在某环境下工作，需要人为的向机械臂输入各种目标位置和姿态。由机械臂来完成各指令下的姿态和动作，以实现机械臂代替人类行为的目的。但是，由于机械臂的应用环境不同，目标位置和姿态都可能不同，若每次安装机械臂均由技术人员针对各种应用环境来手动输入相应的目标位置和姿态，则该过程较为繁琐。
为解决上述问题，本实施例通过对目标物品进行拍摄和图像分析，自动分析得到目标物品的物品信息，该物品信息包括图像特征信息、语义信息和位置信息等。将物品信息输入到机械臂控制系统中，便可在后续基于该物品信息来控制机械臂，减少了技术人员的手动输入。
参见图1，本实施例中生成物品信息的方法包括：
步骤101：获取目标物品的图像。
步骤102：通过对所述图像的分析，获得所述目标物品的物品图像特征信息。
步骤103：通过对所述图像特征信息的分析，获得所述目标物品的语义信息。
步骤104：根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息。
步骤105：根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息。
步骤106：将所述物品信息输入到机械臂控制系统。
本实施例可以由机械臂控制系统实现，也可以由其它处理系统实现。在由机械臂控制系统实现时，步骤106可以理解为对物品信息进行打包封装并固定存储的过程。
本实施例以厨房环境为例，目标物品可以是厨房内的橱柜、灶具、烟机、水槽等固定位置的物品，也可以是锅、碗、盘、刀、食材等可变位置的物品。
本实施例中，摄像头可以安装在厨房中的某个固定位置，也可以安装在机械臂的前端，随着机械臂的移动而移动，摄像头可以有一个或多个。
本实施例中，对周围环境进行拍摄，拍摄到的图像包括一个或多个目标物品。若有多个目标物品，则通过图像识别，首先从图像中分割出各个目标物品，然后再针对每个目标物品，逐个进行图像分析。获得每个目标物品的图像特征信息，图像特征信息包括颜色信息、纹理信息等。本实施例中的图像特征信息可以主要表征目标物品的轮廓和形状。图像特征信息还可以包括目标物品上的包装图案和文字等。有助于表征和识别目标物品的图像特征信息均适用于本实施例。
本实施例中的语义信息是人可理解的信息，如物品的名称(如盘子)、型号(如菜刀、水果刀、某品牌某型号的电饭锅等)和类别(如器皿)等。在获得语义信息时，可以将获得的图像特征信息与预设的样品库中的图像特征信息进行匹配，在匹配一致时(如相似度高于预设的阈值时)，确定该匹配一致的图像特征信息中样品库中对应的语义信息。若获得的图像特征信息包括文字信息，也可以根据该文字信息确定语义信息。例如，包装上有“醋”这样的字样，则可以将目标物品的语义信息确定为调料“醋”。本实施例中的图像特征信息不仅用于获得对应的语义信息，还用于在后续控制机械臂抓取目标物品时，对目标物品的识别。本实施例中的语义信息可用在对机械臂的控制命令和适用于机械臂的数字菜谱中。例如，控制命令为抓取碗，则获取碗对应的图像特征，然后将周围环境中的图像特征与碗的图像特征进行匹配，在匹配一致时，识别出周围环境中的碗，然后控制机械臂抓取该碗。以碗为例，碗的结构和形状多种多样，各个用户家里的碗的样子都可能不同。通过图像特征信息和语义信息的获取，可以学习和认识机械臂所在用户家里的碗，使得后续抓取碗时可以识别和抓取更准确。该机械臂控制系统存储该用户家里的碗的图像特征即可，不用存储碗的所有可能的图像特征，节省了存储空间，提高了识别的匹配效率。
本实施例在机械臂所在环境中设置有基准位置信息，例如，将机械臂的底座作为基准位置，已知底座的三维坐标。如果是固定位置的摄像头，那么可以确定摄像头所在位置的三维坐标。如果摄像头安装在机械臂的前端，那么可以根据机械臂的姿态信息确定摄像头当前位置的三维坐标。在已知摄像头的位置坐标和拍摄焦距等信息后，便可确定拍摄到的图像中各像素点的位置坐标，即可获得目标物品的位置坐标，其中，可以将目标物品的中心点作为目标物品的位置坐标。在控制机械臂抓取目标物品时，控制机械臂的前端(即有夹爪的一端)移动到该位置坐标，便可夹取目标物品。在抓取目标物品的过程中，识别出目标物品的图像特征可验证该位置坐标。
本实施例中建立所述物品图像特征信息、所述语义信息和所述位置信息的对应关系，生成预设格式的物品信息。将该物品信息存储到机械臂控制系统中。有了该物品信息，使得机械臂控制系统实现了对周围环境物品的学习和认识，便于后续将物品信息与机械臂控制命令结合，或者与数字菜谱结合等。例如，机械臂控制系统在出厂时包括通用的且上位的控制命令，例如控制命令只包括语义信息，不包括位置信息。控制命令如：抓取碗，这样的控制命令适用于多个用户的家庭，具有通用性，碗这样的语义信息是比较上位的概念，是人可以理解的逻辑，但是不是机械臂可执行的逻辑。将“抓取碗”这样的控制命令与用户家里的物品信息结合，便可确定碗在该用户家里的位置信息。有了位置信息，便可控制机械臂执行动作，这样的控制命令才是机械臂可执行的控制命令。因此，本实施例可以为所有的机械臂控制系统出厂配置通用的控制命令。安装到用户环境后，自动对周围环境中的目标物品进行识别，获得物品信息，将物品信息与通用的控制命令结合，得到适用于该环境的机械臂可执行的控制命令。相当于实现了机械臂控制系统在目标环境中的自动初始化，简化了人为初始化的过程。从另一个角度，技术人员编写通用的控制命令即可，不需要编写机械臂可执行的控制命令，简化了编程过程。本实施例将机械臂可执行的控制命令拆分为通用的控制命令和物品信息两个部分，并对两个部分分别封装打包，又可以在实际应用时将两个部分结合。
本实施例不仅适用于初始认识环境中目标物品的过程，也适用于环境中增加新的目标物品时的认识过程。在进行物品图像特征信息的匹配时，可以与预设的样品库(如网络中的通用样品库)中的物品图像特征信息匹配，还可以与本地已认识的目标物品的物品图像特征信息进行匹配，也就是说与本地个性化的样品库中的物品图像特征信息匹配。
可选的，所述图像包括所述目标物品的多个角度的图像。
所述步骤101包括：步骤A1。
步骤A1：控制机械臂的前端围绕所述目标物品运动，以驱动机械臂前端的摄像头对所述目标物品进行多角度拍摄，获取所述目标物品的多个角度的图像。
本实施例通过多个角度的图像，可以更完整、准确的构建出目标物品的轮廓和形状，识别出目标物品。可以由用户手持目标物品，将目标物品旋转，在目标物品旋转的过程中，摄像头进行连续拍摄，获得目标物品的多个角度的图像。或者，如步骤A1描述的方式，驱动机械臂移动，使摄像头围绕目标物品进行多角度拍摄。机械臂(即摄像头)的移动路径可以预先配置。该移动路径可以是针对单一目标物品的移动路径。例如，将目标物品置于操作台上，机械臂前端绕目标物品移动一周。又如，该移动路径可以是针对整个周围环境的移动路径，以厨房为例，可以从橱柜的左上角开始，由左至右，由上至下逐行移动。还可以在一个位置上调整摄像头的多个拍摄角度。在步骤102中，可以对多个角度的图像进行仿射变换等处理，获得角度归一化的图像特征信息。
可选的，所述图像包括所述目标物品在多种光照环境下的图像。
所述步骤102包括：步骤B1-步骤B2。
步骤B1：对多种光照环境下的图像进行非线性灰度变换处理，得到归一化后的图像。
步骤B2：通过对归一化后的图像的分析，获得所述目标物品的物品图像特征信息。
本实施例中，光照的角度、亮度、颜色等都对图像特征产生影响。本实施例可以在一天的多个时段，环境中多个灯的多种开关组合的情况下，对目标物品进行拍摄，得到所述目标物品在多种光照环境下的图像。在图像分析过程中，可以得到在各种光照环境下是图像特征信息，便于后续在抓取和识别目标物品时的图像特征信息匹配。还可以有另外一种实现方式，即步骤B1-步骤B2所描述的方式，通过非线性灰度变换处理，得到灰度归一化的图像，去除光照对图像特征信息的影响，尽可能的仅包括目标物品的轮廓、形状、本身颜色等图像特征，有助于提高图像特征信息匹配时的准确度。
可选的，所述位置信息至少包括下列之一：坐标信息和与其它目标物品的位置关系信息。
本实施例中的坐标信息表征的是绝对位置。与其它目标物品的位置关系信息是一种位置逻辑，表征的是两个目标物品之间的相对位置关系，位置关系信息可以是两个目标物品之间的上、下、左、右、内、外等位置方向信息，也可以是两个目标物品之间的距离信息(可以是有方向的距离信息)。例如，刀插入刀架内，刀的位置信息包括刀架中插槽的坐标信息，还包括“在刀架内”这样的位置关系信息。根据这样的位置信息，可以从刀架的取刀，还可以将刀插回到刀架内。
可选的，所述图像包括多个目标物品。
所述步骤104包括：步骤C1和/或步骤C2。
步骤C1：根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的坐标信息。
本实施例中，可以根据基准位置信息确定图像中各像素点的坐标信息。再根据物品图像特征信息所覆盖的像素点，可以确定目标物品的坐标信息。
步骤C2：根据多个目标物品在图像中的位置关系，获取多个目标物品之间的位置关系信息。
本实施例中，可以通过两个目标物品在图像中的上下左右的位置关系，彼此部分特征覆盖的位置关系，可以确定两个目标物品之间的位置关系信息。
本实施例中，在获取目标物品的图像时，可以先针对单一的目标物品获取图像，此时可获取目标物品较为完整的物品图像特征信息，有助于在确定语义信息时较为完善的进行物品图像特征信息匹配。再获取包含多个目标物品的图像，此时两个目标物品之间可能存在遮挡，可获得目标物品局部的物品图像特征信息。这种遮挡情况，是目标物品实际摆放时的常态，该局部的物品图像特征信息在抓取目标物品时的物品图像特征信息匹配过程，起较为重要的作用。同时，该局部的物品图像特征信息用于确定多个目标物品之间的位置关系信息。或者，本实施例也可以直接获得包含多个目标物品的图像。
在认识新增的目标物品的过程中，以及在确定位置信息的过程中，还可以将获得的物品图像特征信息与本地个性化的样品库中的物品图像特征信息匹配，在匹配一致时，根据该物品图像特征信息在本地个性化样品库中的位置信息，为新增的目标物品配置位置信息。例如，本地个性化样品库中有菜刀的物品图像特征信息、语义信息和位置信息。新增水果刀时，水果刀与菜单相似。菜刀插在刀架内，那么确定水果刀也插在刀架内。
可选的，所述方法还包括：步骤D1。
步骤D1：在获得所述目标物品的语义信息后，确定所述目标物品的抓取点信息。
所述步骤105包括：步骤D2。
步骤D2：根据所述物品图像特征信息、所述语义信息、所述位置信息和所述抓取点信息，构建所述目标物品的物品信息。
本实施例中的抓取点信息表征机械臂抓取目标物品的位置，可以包括该位置的局部的物品图像特征信息，相对于目标物品中心点的相对位置信息，机械臂抓取目标物品时的姿态信息。姿态信息可以是六维坐标信息，包括三维坐标信息和旋转角信息。例如，碗的抓取点是碗的上边沿上的一点，炒锅的抓取点是锅把上的一点，灶具的抓取点是灶具上的旋钮。在抓取目标物品时，本实施例可以根据位置信息控制机械臂移动到目标物品的附近，再根据抓取点信息寻找目标物品上的抓取点并进行抓取。或者，将位置信息与抓取点信息结合，共同确定机械臂所要移动到的位置。
可选的，所述方法还包括：步骤E1-步骤E2。
步骤E1：向用户输出所述物品信息。
步骤E2：接收用户输入的针对所述物品信息的反馈信息。
本实施例中可以向用户输出物品信息，可以输出语义信息、位置信息和抓取点信息(可以语义描述)中的至少一项。用户输入的反馈信息可以包括确认信息或更正信息。确认信息表示输出的物品信息正确。更正信息表示输出的物品信息有误，以及更正后的物品信息。本实施例通过与用户这样的交互方式，增加了用户对物品信息的校验，使得得到的物品信息更准确。
可以在步骤103、步骤104及步骤D1后，均执行一次该交互过程，进行相应信息的确认。也可以在步骤105之后对多个信息进行一次性的确认过程。
可选的，所述方法还包括：步骤F1。
步骤F1：在向用户输出所述物品信息时，控制机械臂的前端移动到所述目标物品附近，以指向所述目标物品。
本实施例中可以根据位置信息控制机械臂靠近目标物品，以提示用户当前输出的物品信息所对应的目标物品，便于用户更好的进行确认。
可选的，所述步骤E1包括：步骤E11。
步骤E11：通过语音播报和/或显示屏显示的方式，向用户输出所述物品信息。
所述步骤E2包括：步骤E21。
步骤E21：通过语音、手势、触摸屏操作、表情和肢体动作中至少一种方式，收用户输入的针对所述物品信息的反馈信息。
本实施例支持多种形式输出物品信息，也支持多种形式接收反馈信息。
下面通过几个实施例详细介绍实现过程。
参见图2，本实施例中生成物品信息的方法包括：
步骤201：在多种光照环境下，控制机械臂的前端围绕所述目标物品运动，以驱动机械臂前端的摄像头对所述目标物品进行多角度拍摄，获取所述目标物品的多个角度的图像。
步骤202：对多种光照环境下的图像进行非线性灰度变换处理，得到归一化后的图像。
步骤203：通过对归一化后的图像的分析，获得所述目标物品的物品图像特征信息。
步骤204：通过对所述图像特征信息的分析，获得所述目标物品的语义信息。
步骤205：根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的坐标信息。
步骤206：根据多个目标物品在图像中的位置关系，获取多个目标物品之间的位置关系信息。
步骤207：在获得所述目标物品的语义信息后，确定所述目标物品的抓取点信息。
步骤208：根据所述物品图像特征信息、所述语义信息、所述位置信息和所述抓取点信息，构建所述目标物品的物品信息。
步骤209：将所述物品信息输入到机械臂控制系统。
参见图3，本实施例中生成物品信息的方法包括：
步骤301：获取目标物品的图像。
步骤302：通过对所述图像的分析，获得所述目标物品的物品图像特征信息。
步骤303：通过对所述图像特征信息的分析，获得所述目标物品的语义信息。
步骤304：根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息。
步骤305：根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息。
步骤306：向用户输出所述物品信息。
步骤307：在向用户输出所述物品信息时，控制机械臂的前端移动到所述目标物品附近，以指向所述目标物品。
步骤308：接收用户输入的针对所述物品信息的反馈信息。
步骤309：将所述物品信息输入到机械臂控制系统。
上述实施例可根据实际需要进行自由组合。
通过以上描述介绍了生成物品信息的实现过程，该过程可由装置实现，下面对该装置的内部结构和功能进行介绍。
参见图4，本实施例中生成物品信息的装置包括：获取模块401、图像分析模块402、语义分析模块403、位置分析模块404、构建模块405和输入模块406。
获取模块401，用于获取目标物品的图像。
图像分析模块402，用于通过对所述图像的分析，获得所述目标物品的物品图像特征信息。
语义分析模块403，用于通过对所述图像特征信息的分析，获得所述目标物品的语义信息。
位置分析模块404，用于根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息。
构建模块405，用于根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息。
输入模块406，用于将所述物品信息输入到机械臂控制系统。
可选的，所述图像包括所述目标物品的多个角度的图像。
如图5所示，所述获取模块401包括：获取子模块501。
获取子模块501，用于控制机械臂的前端围绕所述目标物品运动，以驱动机械臂前端的摄像头对所述目标物品进行多角度拍摄，获取所述目标物品的多个角度的图像。
可选的，所述图像包括所述目标物品在多种光照环境下的图像。
如图6所示，所述图像分析模块402包括：归一化子模块601和图像分析子模块602。
归一化子模块601，用于对多种光照环境下的图像进行非线性灰度变换处理，得到归一化后的图像。
图像分析子模块602，用于通过对归一化后的图像的分析，获得所述目标物品的物品图像特征信息。
可选的，所述位置信息至少包括下列之一：坐标信息和与其它目标物品的位置关系信息。
可选的，所述图像包括多个目标物品。
如图7所示，所述位置分析模块404包括：第一位置分析子模块701和/或第二位置分析子模块702。
第一位置分析子模块701，用于根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的坐标信息。
第二位置分析子模块702，用于根据多个目标物品在图像中的位置关系，获取多个目标物品之间的位置关系信息。
可选的，如图8所示，所述装置还包括：抓取点模块801。
抓取点模块801，用于在获得所述目标物品的语义信息后，确定所述目标物品的抓取点信息；
如图9所示，所述构建模块405包括：构建子模块901。
构建子模块901，用于根据所述物品图像特征信息、所述语义信息、所述位置信息和所述抓取点信息，构建所述目标物品的物品信息。
可选的，如图10所示，所述装置还包括：输出模块1001和接收模块1002。
输出模块1001，用于向用户输出所述物品信息。
接收模块1002，用于接收用户输入的针对所述物品信息的反馈信息。
可选的，如图11所示，所述装置还包括：指向模块1101。
指向模块1101，用于在向用户输出所述物品信息时，控制机械臂的前端移动到所述目标物品附近，以指向所述目标物品。
可选的，如图12所示，所述输出模块1001包括：输出子模块1201。
输出子模块1201，用于通过语音播报和/或显示屏显示的方式，向用户输出所述物品信息；
如图13所示，所述接收模块1002包括：接收子模块1301。
接收子模块1301，用于通过语音、手势、触摸屏操作、表情和肢体动作中至少一种方式，收用户输入的针对所述物品信息的反馈信息。
本实施例中，一种生成物品信息的装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取目标物品的图像；
通过对所述图像的分析，获得所述目标物品的物品图像特征信息；
通过对所述图像特征信息的分析，获得所述目标物品的语义信息；
根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息；
根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息；
将所述物品信息输入到机械臂控制系统。
本实施例中，一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现上述方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (20)
1.一种用于自适应智慧厨房系统的生成物品信息的方法，其特征在于，包括：
获取目标物品的图像；
通过对所述图像的分析，获得所述目标物品的物品图像特征信息；
通过对所述图像特征信息的分析，获得所述目标物品的语义信息；
根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息；
根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息；
将所述物品信息输入到机械臂控制系统。
2.如权利要求1所述的方法，其特征在于，所述图像包括所述目标物品的多个角度的图像；
所述获取目标物品的图像，包括：
控制机械臂的前端围绕所述目标物品运动，以驱动机械臂前端的摄像头对所述目标物品进行多角度拍摄，获取所述目标物品的多个角度的图像。
3.如权利要求1所述的方法，其特征在于，所述图像包括所述目标物品在多种光照环境下的图像；
所述通过对所述图像的分析，获得所述目标物品的物品图像特征信息，包括：
对多种光照环境下的图像进行非线性灰度变换处理，得到归一化后的图像；
通过对归一化后的图像的分析，获得所述目标物品的物品图像特征信息。
4.如权利要求1所述的方法，其特征在于，所述位置信息至少包括下列之一：坐标信息和与其它目标物品的位置关系信息。
5.如权利要求4所述的方法，其特征在于，所述图像包括多个目标物品；
所述根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息，包括：
根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的坐标信息；和/或
根据多个目标物品在图像中的位置关系，获取多个目标物品之间的位置关系信息。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
在获得所述目标物品的语义信息后，确定所述目标物品的抓取点信息；
所述根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息，包括：
根据所述物品图像特征信息、所述语义信息、所述位置信息和所述抓取点信息，构建所述目标物品的物品信息。
7.如权利要求1或6所述的方法，其特征在于，所述方法还包括：
向用户输出所述物品信息；
接收用户输入的针对所述物品信息的反馈信息。
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
在向用户输出所述物品信息时，控制机械臂的前端移动到所述目标物品附近，以指向所述目标物品。
9.如权利要求7所述的方法，其特征在于，所述向用户输出所述物品信息，包括：
通过语音播报和/或显示屏显示的方式，向用户输出所述物品信息；
所述接收用户输入的针对所述物品信息的反馈信息，包括：
通过语音、手势、触摸屏操作、表情和肢体动作中至少一种方式，收用户输入的针对所述物品信息的反馈信息。
10.一种用于自适应智慧厨房系统的生成物品信息的装置，其特征在于，包括：
获取模块，用于获取目标物品的图像；
图像分析模块，用于通过对所述图像的分析，获得所述目标物品的物品图像特征信息；
语义分析模块，用于通过对所述图像特征信息的分析，获得所述目标物品的语义信息；
位置分析模块，用于根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息；
构建模块，用于根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息；
输入模块，用于将所述物品信息输入到机械臂控制系统。
11.如权利要求10所述的装置，其特征在于，所述图像包括所述目标物品的多个角度的图像；
所述获取模块包括：
获取子模块，用于控制机械臂的前端围绕所述目标物品运动，以驱动机械臂前端的摄像头对所述目标物品进行多角度拍摄，获取所述目标物品的多个角度的图像。
12.如权利要求10所述的装置，其特征在于，所述图像包括所述目标物品在多种光照环境下的图像；
所述图像分析模块包括：
归一化子模块，用于对多种光照环境下的图像进行非线性灰度变换处理，得到归一化后的图像；
图像分析子模块，用于通过对归一化后的图像的分析，获得所述目标物品的物品图像特征信息。
13.如权利要求10所述的装置，其特征在于，所述位置信息至少包括下列之一：坐标信息和与其它目标物品的位置关系信息。
14.如权利要求13所述的装置，其特征在于，所述图像包括多个目标物品；
所述位置分析模块包括：
第一位置分析子模块，用于根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的坐标信息；和/或
第二位置分析子模块，用于根据多个目标物品在图像中的位置关系，获取多个目标物品之间的位置关系信息。
15.如权利要求10所述的装置，其特征在于，所述装置还包括：
抓取点模块，用于在获得所述目标物品的语义信息后，确定所述目标物品的抓取点信息；
所述构建模块包括：
构建子模块，用于根据所述物品图像特征信息、所述语义信息、所述位置信息和所述抓取点信息，构建所述目标物品的物品信息。
16.如权利要求10或15所述的装置，其特征在于，所述装置还包括：
输出模块，用于向用户输出所述物品信息；
接收模块，用于接收用户输入的针对所述物品信息的反馈信息。
17.如权利要求16所述的装置，其特征在于，所述装置还包括：
指向模块，用于在向用户输出所述物品信息时，控制机械臂的前端移动到所述目标物品附近，以指向所述目标物品。
18.如权利要求16所述的装置，其特征在于，所述输出模块包括：
输出子模块，用于通过语音播报和/或显示屏显示的方式，向用户输出所述物品信息；
所述接收模块包括：
接收子模块，用于通过语音、手势、触摸屏操作、表情和肢体动作中至少一种方式，收用户输入的针对所述物品信息的反馈信息。
19.一种用于自适应智慧厨房系统的生成物品信息的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取目标物品的图像；
通过对所述图像的分析，获得所述目标物品的物品图像特征信息；
通过对所述图像特征信息的分析，获得所述目标物品的语义信息；
根据所述物品图像特征信息和预设的基准位置信息，确定所述目标物品的位置信息；
根据所述物品图像特征信息、所述语义信息和所述位置信息，构建所述目标物品的物品信息；
将所述物品信息输入到机械臂控制系统。
20.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现权利要求1至9中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011077394.2A CN112215132A (zh) | 2020-10-10 | 2020-10-10 | 用于自适应智慧厨房系统的生成物品信息的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011077394.2A CN112215132A (zh) | 2020-10-10 | 2020-10-10 | 用于自适应智慧厨房系统的生成物品信息的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112215132A true CN112215132A (zh) | 2021-01-12 |
Family
ID=74052997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011077394.2A Pending CN112215132A (zh) | 2020-10-10 | 2020-10-10 | 用于自适应智慧厨房系统的生成物品信息的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215132A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977625A (zh) * | 2017-11-30 | 2018-05-01 | 速感科技（北京）有限公司 | 一种可寻物的智能可移动设备及智能寻物方法 |
| JP2018202550A (ja) * | 2017-06-05 | 2018-12-27 | 株式会社日立製作所 | 機械学習装置、機械学習方法、および機械学習プログラム |
| CN109176521A (zh) * | 2018-09-19 | 2019-01-11 | 北京因时机器人科技有限公司 | 一种机械臂及其抓取控制方法和系统 |
| CN209850931U (zh) * | 2019-03-15 | 2019-12-27 | 长沙智能机器人研究院有限公司 | 自动抓取机器人 |
| CN111145257A (zh) * | 2019-12-27 | 2020-05-12 | 深圳市越疆科技有限公司 | 物品抓取方法、系统及物品抓取机器人 |
| CN111168686A (zh) * | 2020-02-25 | 2020-05-19 | 深圳市商汤科技有限公司 | 物体的抓取方法、装置、设备及存储介质 |
-
2020
- 2020-10-10 CN CN202011077394.2A patent/CN112215132A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018202550A (ja) * | 2017-06-05 | 2018-12-27 | 株式会社日立製作所 | 機械学習装置、機械学習方法、および機械学習プログラム |
| CN107977625A (zh) * | 2017-11-30 | 2018-05-01 | 速感科技（北京）有限公司 | 一种可寻物的智能可移动设备及智能寻物方法 |
| CN109176521A (zh) * | 2018-09-19 | 2019-01-11 | 北京因时机器人科技有限公司 | 一种机械臂及其抓取控制方法和系统 |
| CN209850931U (zh) * | 2019-03-15 | 2019-12-27 | 长沙智能机器人研究院有限公司 | 自动抓取机器人 |
| CN111145257A (zh) * | 2019-12-27 | 2020-05-12 | 深圳市越疆科技有限公司 | 物品抓取方法、系统及物品抓取机器人 |
| CN111168686A (zh) * | 2020-02-25 | 2020-05-19 | 深圳市商汤科技有限公司 | 物体的抓取方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11407111B2 (en) | Method and system to generate a 3D model for a robot scene | |
| US20210205988A1 (en) | Task embedding for device control | |
| US20120053728A1 (en) | Object-learning robot and method | |
| JP6640060B2 (ja) | ロボットシステム | |
| EP4025393A1 (en) | Systems and methods for robotic picking | |
| JP2021030407A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN107635104A (zh) | 一种在应用中显示特效的方法和装置 | |
| CN113696178B (zh) | 一种机器人智能抓取的控制方法及系统、介质、设备 | |
| US11911903B2 (en) | Systems and methods for robotic picking and perturbation | |
| Petersson et al. | Systems integration for real-world manipulation tasks | |
| US20210069908A1 (en) | Three-dimensional computer vision system for robotic devices | |
| JP2015044257A (ja) | ロボット、ロボット制御方法、及びロボット制御プログラム | |
| CN111723760B (zh) | 一种适用于智慧厨房系统的数字菜谱生成方法及装置 | |
| JP6424432B2 (ja) | 制御装置、ロボットシステム、ロボット及びロボット制御方法 | |
| US20220288777A1 (en) | Parameterized Waypoint Generation on Dynamically Parented Non-Static Objects for Robotic Autonomous Tasks | |
| CN112215132A (zh) | 用于自适应智慧厨房系统的生成物品信息的方法及装置 | |
| US20210233258A1 (en) | Identifying scene correspondences with neural networks | |
| CN112633187B (zh) | 基于图像分析的机器人自动搬运方法、系统和存储介质 | |
| US20230150142A1 (en) | Device and method for training a machine learning model for generating descriptor images for images of objects | |
| CN108602190A (zh) | 使用交互式命令控制工业机器人 | |
| CN112016407B (zh) | 一种适用于智慧厨房系统的数字菜谱生成方法及装置 | |
| WO2020173564A1 (en) | Method and system for robotic assembly | |
| Hafiane et al. | 3D hand recognition for telerobotics | |
| Grigorescu et al. | ROVIS: Robust machine vision for service robotic system FRIEND | |
| Kulecki | Intuitive robot programming and interaction using RGB-D perception and CNN-based objects detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |