CN112383685A - 一种盛放装置及控制方法、控制装置 - Google Patents
一种盛放装置及控制方法、控制装置 Download PDFInfo
- Publication number
- CN112383685A CN112383685A CN202011202789.0A CN202011202789A CN112383685A CN 112383685 A CN112383685 A CN 112383685A CN 202011202789 A CN202011202789 A CN 202011202789A CN 112383685 A CN112383685 A CN 112383685A
- Authority
- CN
- China
- Prior art keywords
- light
- target object
- image
- camera
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种盛放装置及控制方法,用以改进盛放装置的结构,适用于机械臂的操作环境。所述盛放装置,包括:电源结点、摄像头和处理器;所述盛放装置的盛放面包括盛放区域,所述盛放区域采用硬质且透明材料;所述摄像头位于所述盛放装置内部,且拍摄方向朝向所述盛放区域;所述处理器与所述摄像头通信连接,从所述摄像头获取拍摄到的图像,并对图像进行分析;所述电源结点与所述摄像头和处理器电连接。
Description
技术领域
本发明涉及计算机及通信技术领域,特别涉及一种盛放装置及控制方法、控制装置。
背景技术
随着人工智能技术的发展,机器人和机械臂技术发展迅速。在机械臂工作的环境中,一般离不开摄像头,摄像头可作为机械臂的眼睛。摄像头一般固定安装在环境中偏高的位置,机械臂操作的对象在下方,操作的对象与摄像头之间的空间即为机械臂的活动空间。这就导致机械臂在运动过程中可能遮挡摄像头,进而影响机械臂的操作。
发明内容
本发明提供一种盛放装置及控制方法、控制装置,用以改进盛放装置的结构,适用于机械臂的操作环境。
本发明提供一种盛放装置,包括:电源结点、摄像头和处理器;
所述盛放装置的盛放面包括盛放区域,所述盛放区域采用硬质且透明材料;
所述摄像头位于所述盛放装置内部,且拍摄方向朝向所述盛放区域;
所述处理器与所述摄像头通信连接,从所述摄像头获取拍摄到的图像,并对图像进行分析;
所述电源结点与所述摄像头和处理器电连接。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例将摄像头安装在盛放装置内部,可直接对盛放装置所盛放的物品进行拍摄,不会受到机械臂等其它物体的遮挡。
可选的,所述盛放装置还包括:发光模组;
所述发光模组位于所述盛放装置内部,且发光方向朝向所述盛放区域;
所述处理器与所述发光模组通信连接,控制所述发光模组发光;
所述电源结点与所述发光模组电连接。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例利用发光模组对盛放装置所盛放的物品进行照射,使得摄像头拍摄到的图像更有利于分析,得到更准确的分析结果。
可选的,所述发光模组包括多个不同颜色的发光件。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例提供多种颜色的发光件,以供选择,可以选择合适颜色的发光件对盛放装置所盛放的物品进行照射,使得摄像头拍摄到的图像更有利于分析,得到更准确的分析结果。
可选的,所述盛放装置还包括:调光板;
所述调光板位于所述盛放装置内部,且靠近所述盛放区域,所述调光板的透明度可调节;
所述处理器与所述调光板通信连接,控制所述调光板的透明度;
所述电源结点与所述调光板电连接。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例通过调光板来调整透明度,对于一些带有些许透明的物体,有利于像头拍摄到的图像的分析,得到更准确的分析结果。
可选的,所述盛放装置还包括:定位件;
所述定位件位于所述盛放面,且所述盛放区域以外的区域;所述定位件与所述盛放装置外部的机械臂的末端相配合。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例通过定位件可以将盛放装置的位置与机械臂控制系统的坐标系关联,便于确定盛放装置所盛放的物品的位置。
本发明提供一种控制方法,应用于所述的盛放装置,所述控制方法包括:
控制摄像头进行拍摄,获取摄像头拍摄到的第一图像;
对所述第一图像进行分析;
在分析出所述第一图像包括目标物体时,确定所述目标物体的轮廓信息。
可选的,所述方法还包括:
在分析出所述第一图像包括目标物体时,控制发光模组开始发光;
在确定出所述目标物体的轮廓信息时,控制发光模组结束发光。
可选的,所述控制发光模组开始发光,包括:
控制发光模组中的各个发光件依次发光;
所述方法还包括:
在每个发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第二图像;
所述确定所述目标物体的轮廓信息,包括:
根据多个光照条件下的所述第二图像,确定所述目标物体的轮廓信息。
可选的,所述方法还包括:
在分析出所述第一图像包括目标物体时,确定所述目标物体的颜色;
所述控制发光模组开始发光,包括:
控制发光模组中与所述目标物体的颜色对应的发光件发光;
所述方法还包括:
在对应的发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第三图像;
所述确定所述目标物体的轮廓信息,包括:
根据所述第三图像,确定所述目标物体的轮廓信息。
可选的,所述方法还包括:
在分析出所述第一图像包括目标物体时,确定所述目标物体的透明度;
根据所述目标物体的透明度,控制调光板的透明度。
可选的,所述方法还包括:
将所述轮廓信息发送给机械臂控制系统,以便机械臂控制系统根据所述轮廓信息确定出所述目标物体的抓取点和抓取点的位姿信息。
本发明提供一种控制装置,应用于所述的盛放装置,所述控制装置包括:
第一控制模块,用于控制摄像头进行拍摄,获取摄像头拍摄到的第一图像;分析模块,用于对所述第一图像进行分析;
轮廓模块,用于在分析出所述第一图像包括目标物体时,确定所述目标物体的轮廓信息。
可选的,所述装置还包括:
第二控制模块,用于在分析出所述第一图像包括目标物体时,控制发光模组开始发光;
第三控制模块,用于在确定出所述目标物体的轮廓信息时,控制发光模组结束发光。
可选的,所述第二控制模块,包括:
第一控制子模块,用于控制发光模组中的各个发光件依次发光;
所述装置还包括:
第四控制模块,用于在每个发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第二图像;
所述轮廓模块包括:
第一轮廓子模块,用于根据多个光照条件下的所述第二图像,确定所述目标物体的轮廓信息。
可选的,所述装置还包括:
颜色模块,用于在分析出所述第一图像包括目标物体时,确定所述目标物体的颜色;
所述第二控制模块包括:
第二控制子模块,用于控制发光模组中与所述目标物体的颜色对应的发光件发光;
所述装置还包括:
第五控制模块,用于在对应的发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第三图像;
所述轮廓模块包括:
第二轮廓子模块,用于根据所述第三图像,确定所述目标物体的轮廓信息。
可选的,所述装置还包括:
透明度模块,用于在分析出所述第一图像包括目标物体时,确定所述目标物体的透明度;
第六控制模块,用于根据所述目标物体的透明度,控制调光板的透明度。
可选的,所述装置还包括:
发送模块,用于将所述轮廓信息发送给机械臂控制系统,以便机械臂控制系统根据所述轮廓信息确定出所述目标物体的抓取点和抓取点的位姿信息。
本发明提供一种控制装置,应用于所述的盛放装置,所控制装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
控制摄像头进行拍摄,获取摄像头拍摄到的第一图像;
对所述第一图像进行分析;
在分析出所述第一图像包括目标物体时,确定所述目标物体的轮廓信息。
本发明提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现所述方法的步骤。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中盛放装置的俯视图;
图2为本发明实施例中盛放装置的结构示意图;
图3为本发明实施例中盛放装置的结构示意图;
图4为本发明实施例中盛放装置的结构示意图;
图5为本发明实施例中盛放装置的结构示意图;
图6为本发明实施例中控制方法的流程图;
图7为本发明实施例中控制方法的流程图;
图8为本发明实施例中控制方法的流程图;
图9为本发明实施例中控制装置的结构图;
图10为本发明实施例中控制装置的结构图;
图11为本发明实施例中第二控制模块的结构图;
图12为本发明实施例中控制装置的结构图;
图13为本发明实施例中轮廓模块的结构图;
图14为本发明实施例中控制装置的结构图;
图15为本发明实施例中第二控制模块的结构图;
图16为本发明实施例中控制装置的结构图;
图17为本发明实施例中轮廓模块的结构图;
图18为本发明实施例中控制装置的结构图;
图19为本发明实施例中控制装置的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
相关技术中,摄像头一般固定安装在环境中偏高的位置,机械臂操作的对象在下方,操作的对象与摄像头之间的空间即为机械臂的活动空间。这就导致机械臂在运动过程中可能遮挡摄像头,进而影响机械臂的操作。
为解决上述问题,本实施例改进了盛放装置,在盛放装置的内部安装有摄像头,摄像头可由内而外的对盛放装置所盛放的物品进行拍摄,不受外部机械臂等物体的遮挡。
参见图1和图2,本实施例中盛放装置包括:电源结点101、摄像头102和处理器103;
所述盛放装置的盛放面104包括盛放区域1041,所述盛放区域1041采用硬质且透明材料;
所述摄像头102位于所述盛放装置内部,且拍摄方向朝向所述盛放区域1041;
所述处理器103与所述摄像头102通信连接,从所述摄像头102获取拍摄到的图像,并对图像进行分析;
所述电源结点101与所述摄像头102和处理器103电连接。
本实施例中的盛放装置可以应用在厨房等环境中,可以是橱柜操作台或者是橱柜操作台的一部分,位置固定。或者,盛放装置可以是菜板等,位置可变。盛放装置可以是平板形、碗形或盘形等。
盛放装置中用于盛放物品的面为盛放面104,以平板形为例,顶面为盛放面104。盛放面104可以采用硬质材料,以便较好的盛放物品,硬质材料可以是硬质塑料、金属、钢化玻璃等。盛放面104的全部或部分可作为盛放区域1041。为了便于盛放区域1041下方的摄像头102透过盛放区域1041,拍摄盛放区域1041上方的物品,盛放区域1041采用透明材料,如钢化玻璃等。
处理器103可以控制摄像头102拍摄,例如,控制摄像头102按照预设频率进行周期性拍摄。或者,处理器103在收到外部设备的通知消息时控制摄像头102开始拍摄。例如,外部设备检测到有人进入厨房时发出通知消息,或者外部设备接收到用户触发按钮操作表示开始烹饪时发出通知消息,或者机械臂控制系统接收到数字菜谱及开始烹饪的触发命令时发出通知消息等。
处理器103还可以对拍摄到的图像进行分析,分析盛放区域1041上是否有物品,是什么物品,对物品的名称、类别、颜色、纹理、轮廓等方面进行分析,获得相应的信息。
处理器103在获得相应的信息后,可以控制摄像头102结束拍摄。或者,处理器103在收到外部设备再次发出的通知消息时控制摄像头102结束拍摄。例如,外部设备检测到厨房内没有人时发出通知消息,或者外部设备接收到用户触发按钮操作表示结束烹饪时发出通知消息,或者机械臂控制系统发出的表示烹饪结束的触发通知消息等。
本实施例中处理器103获得的信息服务于机械臂控制系统,以便机械臂控制系统控制机械臂夹取盛放装置中的物品。处理器103还可以与机械臂控制系统进行通信连接,将获取到的信息发送给机械臂控制系统。
本实施例中摄像头102与盛放的物品之间无遮挡,摄像头102可以拍摄到较清晰的图像,摄像头102的拍摄过程也不需要等待。处理器103对图像进行分析,可以较容易准确的获取关于物品的各项信息。可以及时的将物品的信息发送给机械臂控制系统,便于机械臂控制系统及时准确的控制机械臂对该物品进行操作。
可选的,如图3所示,所述盛放装置还包括:发光模组105;
所述发光模组105位于所述盛放装置内部,且发光方向朝向所述盛放区域1041;
所述处理器103与所述发光模组105通信连接,控制所述发光模组105发光;
所述电源结点101与所述发光模组105电连接。
本实施例在盛放装置内部安装有发光模组105,发光模组105的发光方向朝向所述盛放区域1041,用于对盛放区域1041上的物品进行照明。处理器103可以在控制摄像头102开始拍摄的同时,控制发光模组105发光,或者在识别出盛放区域1041上的物品时控制发光模组105发光。在得到该物品的轮廓信息后,可以控制发光模组105结束发光。或者,在控制摄像头102结束拍摄的同时,控制发光模组105结束发光。
本实施例中的发光模组105可以为摄像头102提供较好的拍摄光照环境,有助于得到更清晰的图像,进而得到更准确的图像分析结果。
可选的,所述发光模组105包括多个不同颜色的发光件1051。
本实施例中,一个发光件1051可发出一种单色光。多个不同颜色的发光件1051,可以提供多种单色光。
处理器103可以控制多个发光件1051逐一发光,每个发光件1051发光时,控制摄像头102获取包含物品的图像至少一次。这样,可以获得在各种光照颜色环境下的图像,处理器103将各图像的分析结果融合,可以得到更准确的分析结果。
或者,处理器103通过图像分析出物品的颜色,控制与物品颜色差异较大的发光件1051对物品进行照射,得到该发光条件下的图像,通过对该图像的分析,可以较容易且准确的得到物品的轮廓信息。例如,物品是红色的苹果,可以选择与红色差异较大的蓝色或绿色的发光件1051对苹果进行照射。该选择发光件1051的策略可以依据通用的颜色盘,选择颜色盘中对角或对边的颜色即可。
可选的,如图4所示,所述盛放装置还包括:调光板106;
所述调光板106位于所述盛放装置内部,且靠近所述盛放区域1041,所述调光板106的透明度可调节;
所述处理器103与所述调光板106通信连接,控制所述调光板106的透明度;
所述电源结点101与所述调光板106电连接。
本实施例在盛放区域1041的下层安装有调光板106,调光板106可以不具有颜色,可改变透明度。
处理器103可以根据盛放区域1041所盛放的物品的特点来确定调光板106的透明度,使得在该透明度下对物品拍摄的图像,更有利于准确的分析出物品的轮廓信息。例如,处理器103识别出物品是银耳,银耳具有一定的透光性,此时将调光板106的透明度调整为10%-30%中的某一值(其中,0%为完全透明,100%为完全不透明),使摄像头102拍摄到更清晰的银耳的图像,进而更容易且准确的得到银耳的轮廓信息。
可选的,如图5所示,所述盛放装置还包括:定位件107;
所述定位件107位于所述盛放面104,且所述盛放区域1041以外的区域;所述定位件107与所述盛放装置外部的机械臂的末端相配合。
本实施例在盛放面104的边缘区域,也就是盛放区域1041以外的区域,安装有定位件107,定位件107可以与机械臂的末端相配合,便于机械臂控制系统对盛放装置进行定位。机械臂控制系统配置有以机械臂底座为基准的坐标系,在定位件107与机械臂的末端相配合时,机械臂控制系统可以根据此时机械臂的位姿信息确定出盛放装置与机械臂底座的相对位置,进而可以确定盛放装置在该坐标系下的坐标。定位件107可以有多个,有助于机械臂控制系统确定出盛放装置中各个点的坐标。有了定位件107,盛放装置的位置可以随意移动,机械臂控制系统都可以确定出盛放装置的位置和坐标,以及将盛放装置的位置和坐标与摄像头102拍摄到的图像的像素点坐标进行对应。也就是说,机械臂控制系统可以精准的控制机械臂对盛放装置所盛放的物品进行操作。
本实施例中所述定位件107可以是法兰盘等器件,取决于机械臂末端的结构。所述定位件107可以有一个或多个,可位于盛放面104的边角处,便于机械臂控制系统确定机械臂末端在定位件所在位置的位姿信息,从各定位件与机械臂的位姿关系,即可标定及动态计算出该盛放区域平面的各个位置上的机械臂操作的对应位姿信息。
本实施例中,盛放装置上盛放区域1041以外的区域还可以印刷有二维码108,通过其它摄像头对二维码108进行扫描,机械臂控制系统可以通过该扫描得到盛放装置的相关信息,如盛放装置的各种尺寸,盛放区域1041的尺寸,摄像头102的图像坐标与盛放区域1041的对应关系等。
以上介绍了盛放装置的结构,其中处理器103对盛放装置内部的各电子器件可以进行各种控制,这就涉及到控制方法,下面对控制方法的实现过程进行介绍。
参见图6,本实施例中控制方法包括:
步骤601:控制摄像头进行拍摄,获取摄像头拍摄到的第一图像。
步骤602:对所述第一图像进行分析。
步骤603:在分析出所述第一图像包括目标物体时,确定所述目标物体的轮廓信息。
本实施例可以由前述的处理器103实现。处理器103可以控制摄像头102拍摄,例如,控制摄像头102按照预设频率进行周期性拍摄。或者,处理器103在收到外部设备的通知消息时控制摄像头102开始拍摄。例如,外部设备检测到有人进入厨房时发出通知消息,或者外部设备接收到用户触发按钮操作表示开始烹饪时发出通知消息,或者机械臂控制系统接收到数字菜谱及开始烹饪的触发命令时发出通知消息等。
处理器103还可以对第一图像进行分析,分析盛放区域1041上是否有物品(也就是目标物体),是什么物品,对物品的颜色和纹理进行分析,进而确定是什么物品,什么类别的物品等。在确定出是什么物品后,也就是说在确定有目标物体后,可以进一步对轮廓等方面进行分析,获得轮廓信息等相应的信息。
处理器103可以将轮廓信息等信息发送给机械臂控制系统,便于机械臂控制系统根据这些信息控制机械臂对目标物体进行操作。
处理器103可以控制摄像头102拍摄一张第一图像后便结束拍摄,也可以在获得相应的信息后,可以控制摄像头102结束拍摄,在此过程中可能获得多张第一图像,处理器103可以对多张第一图像进行分析。或者,处理器103在收到外部设备再次发出的通知消息时控制摄像头102结束拍摄,在此过程中可能获得多张第一图像,处理器103可以对多张第一图像进行分析。其中,可以在多种情况下收到通知消息,例如,外部设备检测到厨房内没有人时发出通知消息,或者外部设备接收到用户触发按钮操作表示结束烹饪时发出通知消息,或者机械臂控制系统发出的表示烹饪结束的触发通知消息等。
可选的,所述方法还包括:步骤A1-步骤A2。
步骤A1:在分析出所述第一图像包括目标物体时,控制发光模组开始发光。
步骤A2:在确定出所述目标物体的轮廓信息时,控制发光模组结束发光。
本实施例中处理器103可以在控制摄像头102开始拍摄的同时,控制发光模组105发光或者在识别出盛放区域1041上的目标物体时控制发光模组105发光。在得到该物品的轮廓信息后,可以控制发光模组105结束发光。或者,在控制摄像头102结束拍摄的同时,控制发光模组105结束发光。
本实施例中的发光模组105可以为摄像头102提供较好的拍摄光照环境,有助于得到更清晰的图像,进而得到更准确的图像分析结果。
可选的,所述步骤A1包括:步骤A11。
步骤A11:控制发光模组中的各个发光件依次发光。
所述方法还包括:步骤A12。
步骤A12:在每个发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第二图像。
所述步骤603包括:步骤A13。
步骤A13:根据多个光照条件下的所述第二图像,确定所述目标物体的轮廓信息。
本实施例中,处理器103可以控制多个不同颜色的发光件1051逐一发光,可以在拍摄时便控制发光件1051逐一发光,也可以在识别出目标物体时控制发光件1051逐一发光。每个发光件1051发光时,控制摄像头102获取包含目标物体的第二图像至少一次。这样,可以获得在各种光照颜色环境下的图像,处理器103将各图像的分析结果融合,可以得到更准确的分析结果。其中,第一图像与第二图像可能是同一图像,也可能是不同的图像。
可选的,所述方法还包括:步骤B1。
步骤B1:在分析出所述第一图像包括目标物体时,确定所述目标物体的颜色。
所述步骤A1包括:步骤B2。
步骤B2:控制发光模组中与所述目标物体的颜色对应的发光件发光。
所述方法还包括:步骤B3。
步骤B3:在对应的发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第三图像;
所述步骤603包括:步骤B4。
步骤B4:根据所述第三图像,确定所述目标物体的轮廓信息。
本实施例中处理器103通过第一图像分析出目标物体的颜色,控制与目标物体颜色差异较大的发光件1051对目标物体进行照射,得到该发光条件下的第三图像,通过对该第三图像的分析,可以较容易且准确的得到物品的轮廓信息。例如,目标物体是红色的苹果,可以选择与红色差异较大的蓝色或绿色的发光件1051对苹果进行照射。该选择发光件1051的策略可以依据通用的颜色盘,选择颜色盘中对角或对边的颜色即可。
可选的,所述方法还包括:步骤C1-步骤C2。
步骤C1:在分析出所述第一图像包括目标物体时,确定所述目标物体的透明度。
步骤C2:根据所述目标物体的透明度,控制调光板的透明度。
本实施例中,处理器103可以根据盛放区域1041所盛放的目标物体的特点来确定调光板106的透明度,使得在该透明度下对目标物体拍摄的图像,更有利于准确的分析出目标物体的轮廓信息。例如,处理器103识别出目标物体是银耳,银耳具有一定的透光性,此时将调光板106的透明度调整为10%-30%中的某一值(其中,0%为完全透明,100%为完全不透明),使摄像头102拍摄到更清晰的银耳的图像,进而更容易且准确的得到银耳的轮廓信息。
可选的,所述方法还包括:步骤D1。
步骤D1:将所述轮廓信息发送给机械臂控制系统,以便机械臂控制系统根据所述轮廓信息确定出所述目标物体的抓取点和抓取点的位姿信息。
本实施例中处理器103可以与机械臂控制系统进行通信。处理器103将所述轮廓信息发送给机械臂控制系统,还可以将目标物体的名称等信息发给机械臂控制系统。机械臂控制系统可以根据轮廓信息等确定出适合于机械臂操作的抓取点和抓取点的位姿信息。
处理器103还可以向机械臂控制系统发送通知消息,机械臂控制系统控制机械臂末端与定位件配合。以便对盛放装置进行定位。其中,处理器103可以在识别出目标物体时发送该通知消息,也可以在摄像头开始拍摄时发送该通知消息,也可以选择其它发送时机。
下面通过几个实施例详细介绍实现过程。
参见图7,本实施例中控制方法包括:
步骤701:控制摄像头进行拍摄,获取摄像头拍摄到的第一图像。
步骤702:对所述第一图像进行分析。
步骤703:在分析出所述第一图像包括目标物体时,确定所述目标物体的透明度。
步骤704:根据所述目标物体的透明度,控制调光板的透明度。
步骤705:控制发光模组中的各个发光件依次发光。
步骤706:在每个发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第二图像。
步骤707:根据多个光照条件下的所述第二图像,确定所述目标物体的轮廓信息。
步骤708:将所述轮廓信息发送给机械臂控制系统,以便机械臂控制系统根据所述轮廓信息确定出所述目标物体的抓取点和抓取点的位姿信息。
参见图8,本实施例中控制方法包括:
步骤801:控制摄像头进行拍摄,获取摄像头拍摄到的第一图像。
步骤802:对所述第一图像进行分析。
步骤803:在分析出所述第一图像包括目标物体时,确定所述目标物体的透明度。
步骤804:根据所述目标物体的透明度,控制调光板的透明度。
步骤805:确定所述目标物体的颜色。
步骤806:控制发光模组中与所述目标物体的颜色对应的发光件发光。
步骤807:在对应的发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第三图像。
步骤808:根据所述第三图像,确定所述目标物体的轮廓信息。
步骤809:将所述轮廓信息发送给机械臂控制系统,以便机械臂控制系统根据所述轮廓信息确定出所述目标物体的抓取点和抓取点的位姿信息。
上述实施例可根据实际需要进行自由组合。
通过以上描述介绍了控制方法的实现过程,该过程可由装置实现,下面对该装置的内部结构和功能进行介绍。
参见图9,本实施例中控制装置,控制装置可以由处理器103实现,包括:第一控制模块901、分析模块902和轮廓模块903。
第一控制模块901,用于控制摄像头进行拍摄,获取摄像头拍摄到的第一图像。
分析模块902,用于对所述第一图像进行分析。
轮廓模块903,用于在分析出所述第一图像包括目标物体时,确定所述目标物体的轮廓信息。
可选的,如图10所示,所述装置还包括:第二控制模块1001和第三控制模块1002。
第二控制模块1001,用于在分析出所述第一图像包括目标物体时,控制发光模组开始发光。
第三控制模块1002,用于在确定出所述目标物体的轮廓信息时,控制发光模组结束发光。
可选的,如图11所示,所述第二控制模块1001,包括:第一控制子模块1101。
第一控制子模块1101,用于控制发光模组中的各个发光件依次发光。
如图12所示,所述装置还包括:第四控制模块1201。
第四控制模块1201,用于在每个发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第二图像。
如图13所示,所述轮廓模块903包括:第一轮廓子模块1301。
第一轮廓子模块1301,用于根据多个光照条件下的所述第二图像,确定所述目标物体的轮廓信息。
可选的,如图14所示,所述装置还包括:颜色模块1401。
颜色模块1401,用于在分析出所述第一图像包括目标物体时,确定所述目标物体的颜色。
如图15所示,所述第二控制模块1001包括:第二控制子模块1501。
第二控制子模块1501,用于控制发光模组中与所述目标物体的颜色对应的发光件发光。
如图16所示,所述装置还包括:第五控制模块1601。
第五控制模块1601,用于在对应的发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第三图像。
如图17所示,所述轮廓模块903包括:第二轮廓子模块1701。
第二轮廓子模块1701,用于根据所述第三图像,确定所述目标物体的轮廓信息。
可选的,如图18所示,所述装置还包括:透明度模块1801和第六控制模块1802。
透明度模块1801,用于在分析出所述第一图像包括目标物体时,确定所述目标物体的透明度。
第六控制模块1802,用于根据所述目标物体的透明度,控制调光板的透明度。
可选的,如图19所示,所述装置还包括:发送模块1901。
发送模块1901,用于将所述轮廓信息发送给机械臂控制系统,以便机械臂控制系统根据所述轮廓信息确定出所述目标物体的抓取点和抓取点的位姿信息。
一种控制装置,应用于所述的盛放装置,所控制装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
控制摄像头进行拍摄,获取摄像头拍摄到的第一图像;
对所述第一图像进行分析;
在分析出所述第一图像包括目标物体时,确定所述目标物体的轮廓信息。
一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现所述方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (19)
1.一种盛放装置,其特征在于,包括:电源结点、摄像头和处理器;
所述盛放装置的盛放面包括盛放区域,所述盛放区域采用硬质且透明材料;
所述摄像头位于所述盛放装置内部,且拍摄方向朝向所述盛放区域;
所述处理器与所述摄像头通信连接,从所述摄像头获取拍摄到的图像,并对图像进行分析;
所述电源结点与所述摄像头和处理器电连接。
2.如权利要求1所述的盛放装置,其特征在于,所述盛放装置还包括:发光模组;
所述发光模组位于所述盛放装置内部,且发光方向朝向所述盛放区域;
所述处理器与所述发光模组通信连接,控制所述发光模组发光;
所述电源结点与所述发光模组电连接。
3.如权利要求1所述的盛放装置,其特征在于,所述发光模组包括多个不同颜色的发光件。
4.如权利要求1所述的盛放装置,其特征在于,所述盛放装置还包括:调光板;
所述调光板位于所述盛放装置内部,且靠近所述盛放区域,所述调光板的透明度可调节;
所述处理器与所述调光板通信连接,控制所述调光板的透明度;
所述电源结点与所述调光板电连接。
5.如权利要求1所述的盛放装置,其特征在于,所述盛放装置还包括:定位件;
所述定位件位于所述盛放面,且所述盛放区域以外的区域;所述定位件与所述盛放装置外部的机械臂的末端相配合。
6.一种控制方法,其特征在于,应用于权利要求1-5中任一项所述的盛放装置,所述控制方法包括:
控制摄像头进行拍摄,获取摄像头拍摄到的第一图像;
对所述第一图像进行分析;
在分析出所述第一图像包括目标物体时,确定所述目标物体的轮廓信息。
7.如权利要求6所述的控制方法,其特征在于,所述方法还包括:
在分析出所述第一图像包括目标物体时,控制发光模组开始发光;
在确定出所述目标物体的轮廓信息时,控制发光模组结束发光。
8.如权利要求7所述的控制方法,其特征在于,所述控制发光模组开始发光,包括:
控制发光模组中的各个发光件依次发光;
所述方法还包括:
在每个发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第二图像;
所述确定所述目标物体的轮廓信息,包括:
根据多个光照条件下的所述第二图像,确定所述目标物体的轮廓信息。
9.如权利要求7所述的控制方法,其特征在于,所述方法还包括:
在分析出所述第一图像包括目标物体时,确定所述目标物体的颜色;
所述控制发光模组开始发光,包括:
控制发光模组中与所述目标物体的颜色对应的发光件发光;
所述方法还包括:
在对应的发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第三图像;
所述确定所述目标物体的轮廓信息,包括:
根据所述第三图像,确定所述目标物体的轮廓信息。
10.如权利要求6所述的控制方法,其特征在于,所述方法还包括:
在分析出所述第一图像包括目标物体时,确定所述目标物体的透明度;
根据所述目标物体的透明度,控制调光板的透明度。
11.如权利要求6所述的控制方法,其特征在于,所述方法还包括:
将所述轮廓信息发送给机械臂控制系统,以便机械臂控制系统根据所述轮廓信息确定出所述目标物体的抓取点和抓取点的位姿信息。
12.一种控制装置,其特征在于,应用于权利要求1-5中任一项所述的盛放装置,所述控制装置包括:
第一控制模块,用于控制摄像头进行拍摄,获取摄像头拍摄到的第一图像;
分析模块,用于对所述第一图像进行分析;
轮廓模块,用于在分析出所述第一图像包括目标物体时,确定所述目标物体的轮廓信息。
13.如权利要求12所述的控制装置,其特征在于,所述装置还包括:
第二控制模块,用于在分析出所述第一图像包括目标物体时,控制发光模组开始发光;
第三控制模块,用于在确定出所述目标物体的轮廓信息时,控制发光模组结束发光。
14.如权利要求13所述的控制装置,其特征在于,所述第二控制模块,包括:
第一控制子模块,用于控制发光模组中的各个发光件依次发光;
所述装置还包括:
第四控制模块,用于在每个发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第二图像;
所述轮廓模块包括:
第一轮廓子模块,用于根据多个光照条件下的所述第二图像,确定所述目标物体的轮廓信息。
15.如权利要求13所述的控制装置,其特征在于,所述装置还包括:
颜色模块,用于在分析出所述第一图像包括目标物体时,确定所述目标物体的颜色;
所述第二控制模块包括:
第二控制子模块,用于控制发光模组中与所述目标物体的颜色对应的发光件发光;
所述装置还包括:
第五控制模块,用于在对应的发光件发光时,控制摄像头进行拍摄,获取在该光照条件下的第三图像;
所述轮廓模块包括:
第二轮廓子模块,用于根据所述第三图像,确定所述目标物体的轮廓信息。
16.如权利要求12所述的控制装置,其特征在于,所述装置还包括:
透明度模块,用于在分析出所述第一图像包括目标物体时,确定所述目标物体的透明度;
第六控制模块,用于根据所述目标物体的透明度,控制调光板的透明度。
17.如权利要求12所述的控制装置,其特征在于,所述装置还包括:
发送模块,用于将所述轮廓信息发送给机械臂控制系统,以便机械臂控制系统根据所述轮廓信息确定出所述目标物体的抓取点和抓取点的位姿信息。
18.一种控制装置,其特征在于,应用于权利要求1-5中任一项所述的盛放装置,所控制装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
控制摄像头进行拍摄,获取摄像头拍摄到的第一图像;
对所述第一图像进行分析;
在分析出所述第一图像包括目标物体时,确定所述目标物体的轮廓信息。
19.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述指令被处理器执行时实现权利要求6至11中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011202789.0A CN112383685B (zh) | 2020-11-02 | 2020-11-02 | 一种盛放装置及控制方法、控制装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011202789.0A CN112383685B (zh) | 2020-11-02 | 2020-11-02 | 一种盛放装置及控制方法、控制装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112383685A true CN112383685A (zh) | 2021-02-19 |
CN112383685B CN112383685B (zh) | 2023-05-02 |
Family
ID=74577845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011202789.0A Active CN112383685B (zh) | 2020-11-02 | 2020-11-02 | 一种盛放装置及控制方法、控制装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112383685B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103997982A (zh) * | 2011-11-30 | 2014-08-20 | 法国医疗科技公司 | 将手术器械相对患者身体进行定位的机器人辅助装置 |
CN104083217A (zh) * | 2014-07-03 | 2014-10-08 | 北京天智航医疗科技股份有限公司 | 一种手术定位装置和方法以及机器人手术系统 |
CN105682865A (zh) * | 2013-08-27 | 2016-06-15 | 康格尼博提克斯股份公司 | 确定机械臂的至少一个特性的方法和系统 |
CN107948538A (zh) * | 2017-11-14 | 2018-04-20 | 广东欧珀移动通信有限公司 | 成像方法、装置、移动终端和存储介质 |
CN207563187U (zh) * | 2017-10-17 | 2018-07-03 | 东莞微宏新材料科技有限公司 | 一种用于光电器件的点胶机 |
CN109409352A (zh) * | 2018-12-17 | 2019-03-01 | 高磊 | 印章电子化采集装置及印章电子化采集方法 |
CN110420421A (zh) * | 2019-07-12 | 2019-11-08 | 东南大学 | 一种电缆通道巡检灭火机器人 |
CN110581910A (zh) * | 2019-09-17 | 2019-12-17 | Oppo广东移动通信有限公司 | 图像采集方法、装置、终端及存储介质 |
CN110772320A (zh) * | 2018-07-30 | 2020-02-11 | 上海术凯机器人有限公司 | 一种配准方法、配准装置及计算机可读存储介质 |
CN110936184A (zh) * | 2019-12-11 | 2020-03-31 | 湖南三一快而居住宅工业有限公司 | 零件加工设备及方法 |
-
2020
- 2020-11-02 CN CN202011202789.0A patent/CN112383685B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103997982A (zh) * | 2011-11-30 | 2014-08-20 | 法国医疗科技公司 | 将手术器械相对患者身体进行定位的机器人辅助装置 |
CN105682865A (zh) * | 2013-08-27 | 2016-06-15 | 康格尼博提克斯股份公司 | 确定机械臂的至少一个特性的方法和系统 |
CN104083217A (zh) * | 2014-07-03 | 2014-10-08 | 北京天智航医疗科技股份有限公司 | 一种手术定位装置和方法以及机器人手术系统 |
CN207563187U (zh) * | 2017-10-17 | 2018-07-03 | 东莞微宏新材料科技有限公司 | 一种用于光电器件的点胶机 |
CN107948538A (zh) * | 2017-11-14 | 2018-04-20 | 广东欧珀移动通信有限公司 | 成像方法、装置、移动终端和存储介质 |
CN110772320A (zh) * | 2018-07-30 | 2020-02-11 | 上海术凯机器人有限公司 | 一种配准方法、配准装置及计算机可读存储介质 |
CN109409352A (zh) * | 2018-12-17 | 2019-03-01 | 高磊 | 印章电子化采集装置及印章电子化采集方法 |
CN110420421A (zh) * | 2019-07-12 | 2019-11-08 | 东南大学 | 一种电缆通道巡检灭火机器人 |
CN110581910A (zh) * | 2019-09-17 | 2019-12-17 | Oppo广东移动通信有限公司 | 图像采集方法、装置、终端及存储介质 |
CN110936184A (zh) * | 2019-12-11 | 2020-03-31 | 湖南三一快而居住宅工业有限公司 | 零件加工设备及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112383685B (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2997390B2 (ja) | コンピュータ化されたミシン | |
US20190126487A1 (en) | Robot assisted object learning vision system | |
JP6780682B2 (ja) | 情報取得システム、制御装置及び情報取得方法 | |
JP2012193873A (ja) | 収納装置 | |
CN101479690A (zh) | 使用摄像机来生成位置信息 | |
CN111612839B (zh) | 一种彩灯位置识别方法、系统、装置及存储介质 | |
CN110740549A (zh) | 一种利用人工智能技术自动调节照明装置照明区域和照度的系统及方法 | |
US10713520B2 (en) | Method of taking a picture without glare | |
US11743418B2 (en) | Multi-lighting conditions rapid onboarding system for visual item classification | |
WO2019080812A1 (zh) | 一种帮助确认目标物体上的目标区域的装置及包括该装置的设备 | |
US11205094B2 (en) | Multi-angle rapid onboarding system for visual item classification | |
JP2017202911A (ja) | ピッキングシステム | |
CN107977694B (zh) | 一种样品拍照录入及识别的自动分析系统 | |
JP6601264B2 (ja) | 照明条件設定装置、照明条件設定方法及び照明条件設定用コンピュータプログラム | |
US9335275B2 (en) | Device and method for identifying anomalies on instruments | |
CN112383685A (zh) | 一种盛放装置及控制方法、控制装置 | |
CN212845064U (zh) | 一种图纹照明检测系统 | |
WO2020027647A1 (en) | Apparatus and method for imaging | |
CN110695964A (zh) | 一种轮毂车标装配方法、系统、装置及存储介质 | |
JP2002048731A (ja) | 実装基板の外観検査装置および外観検査方法 | |
EP3647890A1 (en) | Assembly system and method for operating an assembly system | |
US11575814B2 (en) | Image capturing device and appearance inspecting device including the same | |
CN109214372B (zh) | 姿态确定方法、装置和计算机可读存储介质 | |
CN111842184B (zh) | 不良led处理方法、系统、设备及计算机可读存储介质 | |
JP3766151B2 (ja) | 電子部品認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |