CN112492197B - 图像处理方法及相关设备 - Google Patents

图像处理方法及相关设备 Download PDF

Info

Publication number
CN112492197B
CN112492197B CN202011296431.9A CN202011296431A CN112492197B CN 112492197 B CN112492197 B CN 112492197B CN 202011296431 A CN202011296431 A CN 202011296431A CN 112492197 B CN112492197 B CN 112492197B
Authority
CN
China
Prior art keywords
image
reference line
light source
image processing
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011296431.9A
Other languages
English (en)
Other versions
CN112492197A (zh
Inventor
姚秀军
桂晨光
许哲涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202011296431.9A priority Critical patent/CN112492197B/zh
Publication of CN112492197A publication Critical patent/CN112492197A/zh
Priority to EP21893723.3A priority patent/EP4207741A1/en
Priority to US18/252,981 priority patent/US20230421905A1/en
Priority to PCT/CN2021/127539 priority patent/WO2022105575A1/zh
Priority to JP2023530038A priority patent/JP2023550399A/ja
Application granted granted Critical
Publication of CN112492197B publication Critical patent/CN112492197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像处理方法、控制器、图像处理机器人及非瞬时性计算机可读存储介质，涉及机器人技术领域。其中的图像处理方法包括：控制参考光源在拍摄对象的长度方向上投射参考线；控制相机在拍摄对象的长度方向上移动，以对拍摄对象的不同分段进行拍摄并获得拍摄对象的各个分段的图像，每张图像中包含参考线的不同参考线分段；以图像中包含的参考线分段为基准，将图像进行对齐；拼接对齐后的图像，获得拍摄对象的整张图像。本公开能够使拍摄对象的各个分段的图像对齐，从而提升拼接图像的图像质量。

Description

图像处理方法及相关设备
技术领域
本公开涉及机器人技术领域，特别涉及一种图像处理方法、控制器、图像处理机器人及非瞬时性计算机可读存储介质。
背景技术
信息技术的发展催生了互联网数据机房的大规模建设。互联网数据机房中通常部署42U机柜，该机柜高约2米，每个机柜内部署有数十个计算机。
机房的巡检机器人是辅助或者替代人工执行机房内巡检任务的智能化设备。巡检机器人通常利用相机对机柜内的计算机进行拍摄，并通过指示灯识别、OCR(OpticalCharacter Recognition，光学字符识别)等图片识别技术来判断计算机的工作状态。
由于相机视角的限制，识别一个机柜内计算机的工作状态，通常需要从下到上移动相机来拍摄机柜在不同高度位置的各张图像，才能覆盖整个机柜内的全部计算机。拍摄完整个机柜后，在生成计算机工作状态的报告时，需要将机柜在不同高度位置的各张图像进行拼接，来生成完整的机柜图像。
发明内容
本公开解决的一个技术问题是，如何提升拼接图像的图像质量。
根据本公开的第一个方面，提供了一种图像处理方法，包括：控制参考光源在拍摄对象的长度方向上投射参考线；控制相机在拍摄对象的长度方向上移动，以对拍摄对象的不同分段进行拍摄并获得拍摄对象的各个分段的图像，每张图像中包含参考线的不同参考线分段；以图像中包含的参考线分段为基准，将图像进行对齐；拼接对齐后的图像，获得拍摄对象的整张图像。
在一些实施例中，参考光源为近红外光源，参考线为近红外参考线；以图像中包含的参考线分段为基准，将图像进行对齐包括：将图像转换为灰度图；以灰度图中包含的近红外参考线分段为基准，将灰度图进行对齐；将对齐后的灰度图转换为彩色图。
在一些实施例中，参考线分段位于图像的边缘；图像处理方法还包括：沿参考线分段对图像进行裁剪。
在一些实施例中，拍摄对象的长度方向为竖直方向；控制相机在拍摄对象的长度方向上移动包括：向升降机构电机驱动器发送第一控制指令，控制升降机构电机驱动器驱动升降机构工作，使升降机构带动工作台上的相机在竖直方向上移动。
在一些实施例中，控制参考光源在拍摄对象的长度方向上投射参考线包括：向光源驱动电路发送第二控制指令，控制光源驱动电路驱动参考光源，使参考光源透过狭缝在拍摄对象的长度方向上投射参考线。
根据本公开的第二个方面，提供了一种控制器，包括：参考线投射模块，被配置为控制参考光源在拍摄对象的长度方向上投射参考线；相机控制模块，被配置为控制相机在拍摄对象的长度方向上移动，以对拍摄对象的不同分段进行拍摄并获得拍摄对象的各个分段的图像，每张图像中包含参考线的不同参考线分段；图像对齐模块，被配置为以图像中包含的参考线分段为基准，将图像进行对齐；图像拼接模块，被配置为拼接对齐后的图像，获得拍摄对象的整张图像。
在一些实施例中，参考光源为近红外光源，参考线为近红外参考线；图像对齐模块被配置为：将图像转换为灰度图；以灰度图中包含的近红外参考线分段为基准，将灰度图进行对齐；将对齐后的灰度图转换为彩色图。
在一些实施例中，参考线分段位于图像的边缘；控制器还包括图像裁剪模块，被配置为沿参考线分段对图像进行裁剪。
在一些实施例中，拍摄对象的长度方向为竖直方向；相机控制模块被配置为：向升降机构电机驱动器发送第一控制指令，控制升降机构电机驱动器驱动升降机构工作，使升降机构带动工作台上的相机在竖直方向上移动。
在一些实施例中，参考线投射模块被配置为：向光源驱动电路发送第二控制指令，控制光源驱动电路驱动参考光源，使参考光源透过狭缝在拍摄对象的长度方向上投射参考线。
根据本公开的第三个方面，提供了一种图像处理机器人，包括：参考光源；相机；控制器，与参考光源和相机电连接，被配置为：控制参考光源在拍摄对象的长度方向上投射参考线；控制相机在拍摄对象的长度方向上移动，以对拍摄对象的不同分段进行拍摄并获得拍摄对象的各个分段的图像，每张图像中包含参考线的不同参考线分段；以图像中包含的参考线分段为基准，将图像进行对齐；拼接对齐后的图像，获得拍摄对象的整张图像。
在一些实施例中，参考光源为近红外光源，参考线为近红外参考线；控制器被配置为：将图像转换为灰度图；以灰度图中包含的近红外参考线分段为基准，将灰度图进行对齐；将对齐后的灰度图转换为彩色图。
在一些实施例中，参考线分段位于图像的边缘；控制器还被配置为：沿参考线分段对图像进行裁剪。
在一些实施例中，图像处理机器人还包括：与控制器电连接的升降机构电机驱动器；与升降机构电机驱动器电连接的升降机构；与升降机构机械连接的工作台，相机固定在工作台上；其中，拍摄对象的长度方向为竖直方向；控制器被配置为：向升降机构电机驱动器发送第一控制指令，控制升降机构电机驱动器驱动升降机构工作，使升降机构带动工作台上的相机在竖直方向上移动。
在一些实施例中，图像处理机器人还包括：与控制器电连接的光源驱动电路；位于所述图像处理机器人的机壳上的狭缝；其中，控制器被配置为：向光源驱动电路发送第二控制指令，控制光源驱动电路驱动参考光源，使参考光源透过狭缝在拍摄对象的长度方向上投射参考线。
在一些实施例中，狭缝的长度方向为竖直方向。
在一些实施例中，图像处理机器人还包括：与控制器电连接的底盘电机驱动器；与底盘电机驱动器电连接的运动电机；与运动电机电连接的动力轮；其中，控制器还被配置为：向底盘电机驱动器发送第三控制指令，控制底盘电机驱动器驱动运动电机，使运动电机旋转并带动动力轮转动。
在一些实施例中，图像处理机器人还包括与控制器电连接的激光雷达；控制器还被配置为：通过激光雷达进行定位。
在一些实施例中，图像处理机器人还包括与控制器电连接的惯性导航单元；控制器还被配置为：通过惯性导航单元，将图像处理机器人导航至巡检坐标点。
根据本公开的第四个方面，提供了又一种图像处理机器人，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的图像处理方法。
根据本公开的第五个方面，提供了一种非瞬时性计算机可读存储介质，其中，非瞬时性计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的图像处理方法。
本公开能够使拍摄对象的各个分段的图像对齐，从而提升拼接图像的图像质量。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了巡检机器人在机房内进行巡检的示意图。
图2示出了巡检机器人拼接出机柜的整张图像的示意图。
图3示出了本公开一些实施例的图像处理方法的流程示意图。
图4示出了将拍摄对象的各个分段的图像进行对齐拼接的示意图。
图5示出了本公开一些实施例的控制器的结构流程示意图。
图6示出了本公开一些实施例的图像处理机器人的结构示意图。
图7示出了图像处理机器人的实物示意图。
图8示出了利用参考光源投射参考线的示意图。
图9示出了图像处理机器人在机房巡检的示意图。
图10示出了本公开另一些实施例的图像处理机器人的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
图1示出了巡检机器人在机房内进行巡检的示意图。如图1所示，由于巡检机器人的相机在上升和下降(纵向移动)的过程中存在轻微抖动，导致相机在横向上存在位移。这样一来，对机柜在不同高度位置的各张图像进行纵向拼接时，各张图像之间存在横向错位的现象，使得拼接出机柜的整张图像的图像质量较差，影像视觉效果。图2示出了巡检机器人拼接出机柜的整张图像的示意图。
为解决上述问题，本公开提供了一种图像处理方法，能够使拍摄对象的各个分段的图像对齐，从而提升拼接图像的图像质量。下面进行详细介绍。
首先结合图3描述本公开图像处理方法的一些实施例。
图3示出了本公开一些实施例的图像处理方法的流程示意图。如图3所示，该方法包括步骤S301～步骤S304。
在步骤S301中，控制参考光源在拍摄对象的长度方向上投射参考线。
例如，控制参考光源在竖直方向上向机柜投射参考线。投射参考线时，通过向光源驱动电路发送控制指令，控制光源驱动电路驱动参考光源，可以使参考光源透过狭缝在拍摄对象的长度方向上投射参考线。
在步骤S302中，控制相机在拍摄对象的长度方向上移动，以对拍摄对象的不同分段进行拍摄并获得拍摄对象的各个分段的图像，每张图像中包含参考线的不同参考线分段。
在一些实施例中，拍摄对象的长度方向为竖直方向。相应的，在步骤S302中，可以向升降机构电机驱动器发送第一控制指令，控制升降机构电机驱动器驱动升降机构工作，使升降机构带动工作台上的相机在竖直方向上移动。
在步骤S303中，以拍摄对象的各个分段的图像中包含的参考线分段为基准，将拍摄对象的各个分段的图像进行对齐。
在一些实施例中，参考光源为近红外光源，参考线为近红外参考线。图4示出了将拍摄对象的各个分段的图像进行对齐拼接的示意图。如图4所示，假设图像处理机器人对拍摄对象的各个分段进行拍摄，获得A、B、C、D四张图像。然后，图像处理机器人将拍摄对象的各个分段的图像转换为灰度图，并在灰度转换的过程中保留拍摄对象的各个分段的图像的彩色信息(例如RGB颜色信息)。经灰度转换后，近红外光源投射出的参考线分段与其它区域差别非常明显，图像处理机器人以灰度图中包含的近红外参考线分段为基准，将灰度图进行对齐，例如将在不同高度拍摄的机柜照片进行对齐。
在步骤S304中，拼接对齐后的图像，获得拍摄对象的整张图像。
拼接对齐后的图像时，利用灰度变化前保留的彩色信息将对齐后的灰度图转换为彩色图，从而得到机柜的整张彩色图像。
在一些实施例中，图像处理方法还包括步骤S305。在步骤S305中，沿参考线分段对拍摄对象的各个分段的图像进行裁剪。其中，参考线分段位于拍摄对象的各个分段的图像的边缘。如图4所示，对拼接后的图像进行裁剪时，例如可以裁剪掉参考线左侧的区域。
上述实施例中，在通过相机对拍摄对象进行拍摄时，控制参考光源向拍摄对象投射参考线。这样一来，相机能够拍摄到拍摄对象的各个分段的图像，且各个分段的图像中都包含参考线分段。基于参考线分段对拍摄对象的各个分段的图像进行拼接，能够使拍摄对象的各个分段的图像更加精准地对齐，从而提升拼接图像的图像质量。
下面结合图5描述本公开控制器的一些实施例。
图5示出了本公开一些实施例的控制器的结构流程示意图。如图5所示，控制器50包括：参考线投射模块501，被配置为控制参考光源在拍摄对象的长度方向上投射参考线；相机控制模块502，被配置为控制相机在拍摄对象的长度方向上移动，以对拍摄对象的不同分段进行拍摄并获得拍摄对象的各个分段的图像，每张图像中包含参考线的不同参考线分段；图像对齐模块503，被配置为以图像中包含的参考线分段为基准，将图像进行对齐；图像拼接模块504，被配置为拼接对齐后的图像，获得拍摄对象的整张图像。
在一些实施例中，参考光源为近红外光源，参考线为近红外参考线；图像对齐模块503被配置为：将图像转换为灰度图；以灰度图中包含的近红外参考线分段为基准，将灰度图进行对齐；将对齐后的灰度图转换为彩色图。
在一些实施例中，参考线分段位于图像的边缘；控制器50还包括图像裁剪模块505，被配置为沿参考线分段对图像进行裁剪。
在一些实施例中，拍摄对象的长度方向为竖直方向；相机控制模块502被配置为：向升降机构电机驱动器发送第一控制指令，控制升降机构电机驱动器驱动升降机构工作，使升降机构带动工作台上的相机在竖直方向上移动。
在一些实施例中，参考线投射模块501被配置为：向光源驱动电路发送第二控制指令，控制光源驱动电路驱动参考光源，使参考光源透过狭缝在拍摄对象的长度方向上投射参考线。
上述实施例中，控制器在控制相机对拍摄对象进行拍摄时，控制参考光源向拍摄对象投射参考线。这样一来，相机能够拍摄到拍摄对象的各个分段的图像，且各个分段的图像中都包含参考线分段。基于参考线分段对拍摄对象的各个分段的图像进行拼接，能够使拍摄对象的各个分段的图像更加精准地对齐，从而提升拼接图像的图像质量。
下面结合图6描述本公开图像处理机器人的一些实施例。
图6示出了本公开一些实施例的图像处理机器人的结构示意图。如图6所示，图像处理机器人60包括：参考光源601；相机602；控制器603，与参考光源601和相机602电连接，被配置为：控制参考光源601在拍摄对象的长度方向上投射参考线；控制相机602在拍摄对象的长度方向上移动，以对拍摄对象的不同分段进行拍摄并获得拍摄对象的各个分段的图像，每张图像中包含参考线的不同参考线分段；以图像中包含的参考线分段为基准，将图像进行对齐；拼接对齐后的图像，获得拍摄对象的整张图像。
在一些实施例中，参考光源601为近红外光源，参考线为近红外参考线；控制器603被配置为：将图像转换为灰度图；以灰度图中包含的近红外参考线分段为基准，将灰度图进行对齐；将对齐后的灰度图转换为彩色图。
在一些实施例中，参考线分段位于图像的边缘；控制器603还被配置为：沿参考线分段对图像进行裁剪。
在一些实施例中，图像处理机器人60还包括：与控制器603电连接的升降机构电机驱动器604；与升降机构电机驱动器604电连接的升降机构605；与升降机构605机械连接的工作台606，相机602固定在工作台606上；其中，拍摄对象的长度方向为竖直方向；控制器603被配置为：向升降机构电机驱动器604发送第一控制指令，控制升降机构电机驱动器604驱动升降机构605工作，使升降机构605带动工作台606上的相机602在竖直方向上移动。
在一些实施例中，图像处理机器人60还包括：与控制器603电连接的光源驱动电路607；位于图像处理机器人的机壳上的狭缝608；其中，控制器603被配置为：向光源驱动电路607发送第二控制指令，控制光源驱动电路607驱动参考光源601，使参考光源601透过狭缝608在拍摄对象的长度方向上投射参考线。本领域技术人员能够理解，控制器603向光源驱动电路607发送不同的控制指令，可以控制近红外光源的打开或关闭。
在一些实施例中，狭缝608的长度方向为竖直方向。
上述实施例中，图像处理机器人在控制相机对拍摄对象进行拍摄时，控制参考光源向拍摄对象投射参考线。这样一来，相机能够拍摄到拍摄对象的各个分段的图像，且各个分段的图像中都包含参考线分段。基于参考线分段对拍摄对象的各个分段的图像进行拼接，能够使拍摄对象的各个分段的图像更加精准地对齐，从而提升拼接图像的图像质量。
图7示出了图像处理机器人的实物示意图。如图7所示，参考光源601和控制器603设置在图像处理机器人的机壳内部。在参考光源601具体为近红外光源的情况下，参考光源601能够投射出近红外参考线。升降机构电机驱动器604既可以设置在图像处理机器人的机壳内部，也可以设置在图像处理机器人的机壳外部。与升降机构电机驱动器604电连接的升降机构605设置在图像处理机器人的机壳外部，例如设置在图像处理机器人的机壳的侧方。相机602安装在可升降的工作台606上，工作台606依靠升降机构605可实现上下运动。控制器603通过向升降机构电机驱动器604发送第一控制指令，能够控制升降机构电机驱动器604驱动升降机构605工作，使升降机构605带动工作台606上的相机602在竖直方向上移动，完成对拍摄对象的分段拍摄(例如对整个机柜不同高度进行图像拍摄)。
与控制器603电连接的光源驱动电路607也设置在图像处理机器人的机壳内部。机壳上设置有狭缝608，狭缝608的长度方向为竖直方向。控制器603通过向光源驱动电路607发送第二控制指令，能够控制光源驱动电路607驱动参考光源601，使参考光源601透过狭缝608在竖直方向上投射参考线。其中，参考光源601透过狭缝608投射参考线的投射方向与相机的拍摄方向相同。本领域技术人员能够理解，控制器603向光源驱动电路607发送不同的控制指令，可以控制近红外光源的打开或关闭。
图8示出了利用参考光源投射参考线的示意图。如图8所示，当图像处理机器人位于机房中的巡检点时，近红外光源透过狭缝可以在机柜上投射出竖直参考线，参考线所在的平面可以垂直于机柜表面。本领域技术人员能够理解，人眼看不到人眼看不到近红外光源投射的参考线，但是相机能够拍摄到近红外光源投射的参考线。然后，控制器向相机发送拍摄指令，相机拍摄完成后，控制器向升降机构驱动器发送控制指令使工作台向上移动固定距离，并再次向相机发送拍摄指令，直到拍摄完拍摄对象的各个分段的照片。
在一些实施例中，图像处理机器人60还包括：与控制器603电连接的底盘电机驱动器609；与底盘电机驱动器609电连接的运动电机610；与运动电机610电连接的动力轮611；其中，控制器603还被配置为：向底盘电机驱动器609发送第三控制指令，控制底盘电机驱动器609驱动运动电机610，使运动电机610旋转并带动动力轮611转动。
底盘电机驱动器609、运动电机610、动力轮611组成图像处理机器人的动力系统，控制器向底盘电机驱动器609发送控制指令，底盘电机驱动器609控制运动电机610旋转，可实现图像处理机器人的前进、后退、转弯等动作。
在一些实施例中，图像处理机器人60还包括与控制器603电连接的激光雷达612；控制器603还被配置为：通过激光雷达612进行定位。
在一些实施例中，图像处理机器人60还包括与控制器603电连接的惯性导航单元613；控制器603还被配置为：通过惯性导航单元613将图像处理机器人60导航至巡检坐标点。
激光雷达612和惯性导航单元613组成巡检机器人的导航系统，用于图像处理机器人在机房中进行自身定位和导航。图9示出了图像处理机器人在机房巡检的示意图。如图9所示，图像处理机器人按照规划路径在机房内执行巡检任务，当图像处理机器人到达巡检点坐标(xn，yn)时(即需要巡检的机柜正前方)，图像处理机器人执行前述图像处理方法。在完成当前巡检点坐标执行完前述图像处理方法后，控制器向光源驱动电路发送控制指令以关闭参考光源，并控制图像处理机器人移动至下一巡检点坐标。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
下面结合图10描述本公开图像处理机器人的另一些实施例。
图10示出了本公开另一些实施例的图像处理机器人的结构示意图。如图10所示，图像处理机器人100包括：存储器1010以及耦接至该存储器1010的处理器1020，处理器1020被配置为基于存储在存储器1010中的指令，执行前述任意一些实施例中的图像处理方法。
其中，存储器1010例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图像处理机器人100还可以包括输入输出接口1030、网络接口1040、存储接口1050等。这些接口1030、1040、1050以及存储器1010和处理器1020之间例如可以通过总线1060连接。其中，输入输出接口1030为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口1040为各种联网设备提供连接接口。存储接口1050为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种非瞬时性计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的图像处理方法。
前述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (21)

1.一种图像处理方法，包括：
控制参考光源在拍摄对象的长度方向上投射参考线；
控制相机在拍摄对象的长度方向上移动，以对拍摄对象的不同分段进行拍摄并获得拍摄对象的各个分段的图像，每张所述图像中包含所述参考线的不同参考线分段；
以所述图像中包含的所述参考线分段为基准，将所述图像进行对齐；
拼接对齐后的所述图像，获得拍摄对象的整张图像。
2.根据权利要求1所述的图像处理方法，其中，所述参考光源为近红外光源，所述参考线为近红外参考线；
所述以所述图像中包含的所述参考线分段为基准，将所述图像进行对齐包括：
将所述图像转换为灰度图；
以所述灰度图中包含的近红外参考线分段为基准，将所述灰度图进行对齐；
将对齐后的所述灰度图转换为彩色图。
3.根据权利要求1所述的图像处理方法，其中，所述参考线分段位于所述图像的边缘；
所述图像处理方法还包括：沿所述参考线分段对所述图像进行裁剪。
4.根据权利要求1所述的图像处理方法，其中，所述拍摄对象的长度方向为竖直方向；
所述控制相机在拍摄对象的长度方向上移动包括：
向升降机构电机驱动器发送第一控制指令，控制升降机构电机驱动器驱动升降机构工作，使升降机构带动工作台上的相机在竖直方向上移动。
5.根据权利要求1所述的图像处理方法，其中，所述控制参考光源在拍摄对象的长度方向上投射参考线包括：
向光源驱动电路发送第二控制指令，控制光源驱动电路驱动参考光源，使参考光源透过狭缝在拍摄对象的长度方向上投射参考线。
6.一种控制器，包括：
参考线投射模块，被配置为控制参考光源在拍摄对象的长度方向上投射参考线；
相机控制模块，被配置为控制相机在拍摄对象的长度方向上移动，以对拍摄对象的不同分段进行拍摄并获得拍摄对象的各个分段的图像，每张所述图像中包含所述参考线的不同参考线分段；
图像对齐模块，被配置为以所述图像中包含的所述参考线分段为基准，将所述图像进行对齐；
图像拼接模块，被配置为拼接对齐后的所述图像，获得拍摄对象的整张图像。
7.根据权利要求6所述的控制器，其中，所述参考光源为近红外光源，所述参考线为近红外参考线；
所述图像对齐模块被配置为：将所述图像转换为灰度图；以所述灰度图中包含的近红外参考线分段为基准，将所述灰度图进行对齐；将对齐后的所述灰度图转换为彩色图。
8.根据权利要求6所述的控制器，其中，所述参考线分段位于所述图像的边缘；
所述控制器还包括图像裁剪模块，被配置为沿所述参考线分段对所述图像进行裁剪。
9.根据权利要求6所述的控制器，其中，所述拍摄对象的长度方向为竖直方向；
所述相机控制模块被配置为：向升降机构电机驱动器发送第一控制指令，控制升降机构电机驱动器驱动升降机构工作，使升降机构带动工作台上的相机在竖直方向上移动。
10.根据权利要求6所述的控制器，其中，所述参考线投射模块被配置为：向光源驱动电路发送第二控制指令，控制光源驱动电路驱动参考光源，使参考光源透过狭缝在拍摄对象的长度方向上投射参考线。
11.一种图像处理机器人，包括：
参考光源；
相机；
控制器，与所述参考光源和所述相机电连接，被配置为：控制参考光源在拍摄对象的长度方向上投射参考线；控制相机在拍摄对象的长度方向上移动，以对拍摄对象的不同分段进行拍摄并获得拍摄对象的各个分段的图像，每张所述图像中包含所述参考线的不同参考线分段；以所述图像中包含的所述参考线分段为基准，将所述图像进行对齐；拼接对齐后的所述图像，获得拍摄对象的整张图像。
12.根据权利要求11所述的图像处理机器人，其中，所述参考光源为近红外光源，所述参考线为近红外参考线；
所述控制器被配置为：将所述图像转换为灰度图；以所述灰度图中包含的近红外参考线分段为基准，将所述灰度图进行对齐；将对齐后的所述灰度图转换为彩色图。
13.根据权利要求11所述的图像处理机器人，其中，所述参考线分段位于所述图像的边缘；
所述控制器还被配置为：沿所述参考线分段对所述图像进行裁剪。
14.根据权利要求11所述的图像处理机器人，还包括：
与所述控制器电连接的升降机构电机驱动器；
与所述升降机构电机驱动器电连接的升降机构；
与所述升降机构机械连接的工作台，所述相机固定在所述工作台上；
其中，所述拍摄对象的长度方向为竖直方向；所述控制器被配置为：向所述升降机构电机驱动器发送第一控制指令，控制所述升降机构电机驱动器驱动所述升降机构工作，使所述升降机构带动所述工作台上的所述相机在竖直方向上移动。
15.根据权利要求11所述的图像处理机器人，还包括：
与所述控制器电连接的光源驱动电路；
位于所述图像处理机器人的机壳上的狭缝；
其中，所述控制器被配置为：向所述光源驱动电路发送第二控制指令，控制所述光源驱动所述电路驱动参考光源，使所述参考光源透过所述狭缝在拍摄对象的长度方向上投射参考线。
16.根据权利要求15所述的图像处理机器人，其中，所述狭缝的长度方向为竖直方向。
17.根据权利要求11所述的图像处理机器人，还包括：
与所述控制器电连接的底盘电机驱动器；
与所述底盘电机驱动器电连接的运动电机；
与所述运动电机电连接的动力轮；
其中，所述控制器还被配置为：向所述底盘电机驱动器发送第三控制指令，控制所述底盘电机驱动器驱动所述运动电机，使所述运动电机旋转并带动所述动力轮转动。
18.根据权利要求11所述的图像处理机器人，还包括与所述控制器电连接的激光雷达；
所述控制器还被配置为：通过所述激光雷达进行定位。
19.根据权利要求18所述的图像处理机器人，还包括与所述控制器电连接的惯性导航单元；
所述控制器还被配置为：通过所述惯性导航单元，将所述图像处理机器人导航至巡检坐标点。
20.一种图像处理机器人，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至5中任一项所述的图像处理方法。
21.一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法。
CN202011296431.9A 2020-11-18 2020-11-18 图像处理方法及相关设备 Active CN112492197B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011296431.9A CN112492197B (zh) 2020-11-18 2020-11-18 图像处理方法及相关设备
EP21893723.3A EP4207741A1 (en) 2020-11-18 2021-10-29 Image processing method and related device
US18/252,981 US20230421905A1 (en) 2020-11-18 2021-10-29 Image processing method and related devices
PCT/CN2021/127539 WO2022105575A1 (zh) 2020-11-18 2021-10-29 图像处理方法及相关设备
JP2023530038A JP2023550399A (ja) 2020-11-18 2021-10-29 画像処理方法および関連デバイス

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011296431.9A CN112492197B (zh) 2020-11-18 2020-11-18 图像处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN112492197A CN112492197A (zh) 2021-03-12
CN112492197B true CN112492197B (zh) 2022-01-07

Family

ID=74931525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011296431.9A Active CN112492197B (zh) 2020-11-18 2020-11-18 图像处理方法及相关设备

Country Status (5)

Country Link
US (1) US20230421905A1 (zh)
EP (1) EP4207741A1 (zh)
JP (1) JP2023550399A (zh)
CN (1) CN112492197B (zh)
WO (1) WO2022105575A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492197B (zh) * 2020-11-18 2022-01-07 京东科技信息技术有限公司 图像处理方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4613983A (en) * 1984-05-25 1986-09-23 Thomson Csf Method for processing X-ray images
JPH09161068A (ja) * 1995-12-12 1997-06-20 Furukawa Electric Co Ltd:The 画像撮影方法とそれを用いた画像編集装置
EP0919858A1 (en) * 1997-12-01 1999-06-02 Agfa-Gevaert N.V. Method for reconstructing a radiation image of a body from partial radiation images
US5986279A (en) * 1997-03-21 1999-11-16 Agfa-Gevaert Method of recording and reading a radiation image of an elongate body
WO2019045089A1 (ja) * 2017-09-04 2019-03-07 日本電気株式会社 情報処理装置、長さ測定システム、長さ測定方法およびプログラム記憶媒体
CN110781903A (zh) * 2019-10-12 2020-02-11 中国地质大学（武汉） 基于网格优化和全局相似性约束的无人机图像拼接方法
WO2020220158A1 (zh) * 2019-04-28 2020-11-05 深圳市大疆创新科技有限公司 一种无人机的控制方法、无人机及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6895106B2 (en) * 2001-09-11 2005-05-17 Eastman Kodak Company Method for stitching partial radiation images to reconstruct a full image
JP5347890B2 (ja) * 2009-10-09 2013-11-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6091923B2 (ja) * 2013-02-22 2017-03-08 株式会社日立製作所 マルチカメラ撮影装置およびマルチカメラ撮影方法
CN107220933B (zh) * 2017-05-11 2021-09-21 上海联影医疗科技股份有限公司 一种参考线确定方法和系统
CN107464215B (zh) * 2017-07-31 2020-07-28 努比亚技术有限公司 一种基于电子地图的图像处理方法及终端
CN108683849B (zh) * 2018-05-15 2021-01-08 维沃移动通信有限公司 一种图像获取方法及终端
CN112492197B (zh) * 2020-11-18 2022-01-07 京东科技信息技术有限公司 图像处理方法及相关设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4613983A (en) * 1984-05-25 1986-09-23 Thomson Csf Method for processing X-ray images
JPH09161068A (ja) * 1995-12-12 1997-06-20 Furukawa Electric Co Ltd:The 画像撮影方法とそれを用いた画像編集装置
US5986279A (en) * 1997-03-21 1999-11-16 Agfa-Gevaert Method of recording and reading a radiation image of an elongate body
EP0919858A1 (en) * 1997-12-01 1999-06-02 Agfa-Gevaert N.V. Method for reconstructing a radiation image of a body from partial radiation images
WO2019045089A1 (ja) * 2017-09-04 2019-03-07 日本電気株式会社 情報処理装置、長さ測定システム、長さ測定方法およびプログラム記憶媒体
WO2020220158A1 (zh) * 2019-04-28 2020-11-05 深圳市大疆创新科技有限公司 一种无人机的控制方法、无人机及计算机可读存储介质
CN110781903A (zh) * 2019-10-12 2020-02-11 中国地质大学（武汉） 基于网格优化和全局相似性约束的无人机图像拼接方法

Also Published As

Publication number Publication date
JP2023550399A (ja) 2023-12-01
CN112492197A (zh) 2021-03-12
EP4207741A1 (en) 2023-07-05
US20230421905A1 (en) 2023-12-28
WO2022105575A1 (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
US10023311B2 (en) Automatic painting system with drone, user interface and computer vision
CA3016539C (en) Image processing method, display device, and inspection system
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
US10895868B2 (en) Augmented interface authoring
CN1957374A (zh) 确定与ar－物体光学重叠的方法和装置
Huy et al. See-through and spatial augmented reality-a novel framework for human-robot interaction
CN110187720B (zh) 无人机导引方法、装置、系统、介质及电子设备
CN110146098A (zh) 一种机器人地图扩建方法、装置、控制设备和存储介质
CN112492197B (zh) 图像处理方法及相关设备
CN107316272A (zh) 用于图像处理的方法及其设备
CN111242847B (zh) 基于闸道的图像拼接方法、系统、设备及存储介质
KR101502275B1 (ko) 무인 헬기 자동 제어 장치 및 제어 방법
CN112732075B (zh) 一种面向教学实验的虚实融合机器教师教学方法及系统
CN207976755U (zh) 一种基于机器视觉和plc的钢材仓储控制系统
US9317136B2 (en) Image-based object tracking system and image-based object tracking method
CN115847384B (zh) 机械臂安全平面信息显示方法及相关产品
CN117162109A (zh) 建筑喷涂机器人及其喷涂方法
WO2017155005A1 (en) Image processing method, display device, and inspection system
CN116476074A (zh) 基于混合现实技术的远程机械臂操作系统及人机交互方法
CN110751109A (zh) 用于采集人脸图像的设备、方法、装置及介质
CN112651983B (zh) 拼接图识别方法、装置、电子设备和存储介质
US20220161438A1 (en) Automatic control method of mechanical arm and automatic control system
CN112449162A (zh) 利用智能终端对激光异物清除设备进行控制的方法与装置
JP2021182721A (ja) 撮影装置及びプログラム
CN105538307A (zh) 控制装置、系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: Jingdong Shuke Haiyi Information Technology Co., Ltd

GR01 Patent grant
GR01 Patent grant