CN110378854A - 机器人图像增强方法及装置 - Google Patents

机器人图像增强方法及装置 Download PDF

Info

Publication number
CN110378854A
CN110378854A CN201910645990.7A CN201910645990A CN110378854A CN 110378854 A CN110378854 A CN 110378854A CN 201910645990 A CN201910645990 A CN 201910645990A CN 110378854 A CN110378854 A CN 110378854A
Authority
CN
China
Prior art keywords
image
feature data
processed
obtains
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910645990.7A
Other languages
English (en)
Other versions
CN110378854B (zh
Inventor
牛临潇
李�诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201910645990.7A priority Critical patent/CN110378854B/zh
Publication of CN110378854A publication Critical patent/CN110378854A/zh
Priority to KR1020217014996A priority patent/KR20210079331A/ko
Priority to PCT/CN2020/091905 priority patent/WO2021008233A1/zh
Priority to JP2021526286A priority patent/JP2022507399A/ja
Priority to TW109122654A priority patent/TWI777185B/zh
Application granted granted Critical
Publication of CN110378854B publication Critical patent/CN110378854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种机器人图像增强方法及装置。该方法包括：通过机器人的摄像头获取待处理图像；对所述待处理图像进行特征提取处理，得到第一特征数据；对所述第一特征数据进行解码处理，得到增强后的图像。还公开了相应的装置。本申请通过对待处理图像进行特征提取处理，得到第一特征数据，再通过训练学习到的特征数据与增强后的图像的映射关系对第一特征数据进行解码，得到增强后的图像，可提高摄像头拍摄效果不佳采集到的图像的质量。

Description

机器人图像增强方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种机器人图像增强方法及装置。
背景技术
机器人在自主控制方面的应用越来越广，基于机器人的摄像头拍摄的图像可实现对机器人的自主控制，但在拍摄的图像的质量较低的情况下，对机器人的控制精度较低，通过更换拍摄效果更好的摄像头可提高拍摄的图像的质量，但会增加机器人的成本。
发明内容
本申请提供一种机器人图像增强方法及装置。
第一方面，提供了一种机器人图像增强方法，包括：通过机器人的摄像头获取待处理图像；对所述待处理图像进行特征提取处理，得到第一特征数据；对所述第一特征数据进行解码处理，得到增强后的图像。
在一种可能实现的方式中，所述增强后的图像包括预设路线的路线标识；所述方法还包括：对所述增强后的图像进行特征提取处理，得到第二特征数据；所述第二特征数据包括所述预设路线的路线标识的特征；根据所述第二特征数据和第一映射关系，得到控制信息；所述第一映射关系为特征数据与控制信息之间的映射关系；所述控制信息包括速度和转向角。
在另一种可能实现的方式中，所述增强后的图像包括球；所述方法还包括：根据所述增强后的图像，得到所述球的运动轨迹；根据所述运动轨迹，得到控制信息，所述控制信息包括速度和转向角。
在又一种可能实现的方式中，所述增强后的图像包括手、人脸或目标物体中的任意一种；所述方法还包括：对所述增强后的图像进行以下至少一种识别：人脸识别、手势识别、目标物识别；根据识别结果，得到控制信息，所述控制信息包括速度和转向角。
在又一种可能实现的方式中，所述对所述待处理图像进行特征提取处理，得到第一特征数据，包括：对所述待处理图像进行卷积处理，得到第三特征数据；将所述待处理图像与所述第三特征数据进行融合处理，得到所述第一特征数据。
在又一种可能实现的方式中，所述对所述第一特征数据进行解码处理，得到增强后的图像，包括：获取所述待处理图像的前一帧图像；对所述前一帧图像进行卷积处理，得到第四特征数据；将所述第一特征数据与所述第四特征数据进行合并处理，得到第五特征数据；对所述第五特征数据进行解码处理，得到所述增强后的图像。
在又一种可能实现的方式中，所述对所述第五特征数据进行解码处理，得到所述增强后的图像，包括：对所述第五特征数据进行反卷积处理，得到所述增强后的图像。
在又一种可能实现的方式中，所述对所述待处理图像进行特征提取处理，得到第一特征数据之前，所述方法还包括：对所述待处理图像依次进行卷积处理、归一化处理、线性变换、非线性变换，确定所述待处理图像中的对象所属类别；根据所述类别和第二映射关系，确定阈值；所述第二映射关系为类别与分辨率阈值之间的映射关系；在所述待处理图像的分辨率小于或等于所述阈值的情况下，执行所述对所述待处理图像进行特征提取处理，得到第一特征数据的步骤。
第二方面，提供了一种机器人图像增强装置，包括：图像采集单元，用于通过机器人的摄像头获取待处理图像；第一特征提取单元，用于对所述待处理图像进行特征提取处理，得到第一特征数据；解码处理单元，用于对所述第一特征数据进行解码处理，得到增强后的图像。
在一种可能实现的方式中，所述增强后的图像包括预设路线的路线标识；所述机器人图像增强装置还包括：第二特征提取单元，用于对所述增强后的图像进行特征提取处理，得到第二特征数据；所述第二特征数据包括所述预设路线的路线标识的特征；第一处理单元，用于根据所述第二特征数据和第一映射关系，得到控制信息；所述第一映射关系为特征数据与控制信息之间的映射关系；所述控制信息包括速度和转向角。
在另一种可能实现的方式中，所述增强后的图像包括球；所述机器人图像增强装置还包括：第二处理单元，用于根据所述增强后的图像，得到所述球的运动轨迹；第三处理单元，用于根据所述运动轨迹，得到控制信息，所述控制信息包括速度和转向角。
在又一种可能实现的方式中，所述增强后的图像包括手、人脸或目标物体中的任意一种；所述机器人图像增强装置还包括：识别单元，用于对所述增强后的图像进行以下至少一种识别：人脸识别、手势识别、目标物识别；第四处理单元，用于根据识别结果，得到控制信息，所述控制信息包括速度和转向角。
在又一种可能实现的方式中，所述第一特征提取单元包括：第一卷积处理子单元，用于对所述待处理图像进行卷积处理，得到第三特征数据；融合处理子单元，用于将所述待处理图像与所述第三特征数据进行融合处理，得到所述第一特征数据。
在又一种可能实现的方式中，所述解码处理单元包括：获取子单元，用于获取所述待处理图像的前一帧图像；第二卷积处理子单元，用于对所述前一帧图像进行卷积处理，得到第四特征数据；合并处理子单元，用于将所述第一特征数据与所述第四特征数据进行合并处理，得到第五特征数据；解码处理子单元，用于对所述第五特征数据进行解码处理，得到所述增强后的图像。
在又一种可能实现的方式中，所述解码处理子单元具体用于：对所述第五特征数据进行反卷积处理，得到所述增强后的图像。
在又一种可能实现的方式中，所述机器人图像增强装置还包括：第五处理单元，用于对所述待处理图像依次进行卷积处理、归一化处理、线性变换、非线性变换，确定所述待处理图像中的对象所属类别；第六处理单元，用于根据所述类别和第二映射关系，确定阈值；所述第二映射关系为类别与分辨率阈值之间的映射关系；所述第一特征提取单元，还用于在所述待处理图像的分辨率小于或等于所述阈值的情况下，执行所述对所述待处理图像进行特征提取处理，得到第一特征数据的步骤。
第三方面，提供了一种处理器，所述处理器用于执行上述第一方面及其任一种可能的实现方式的方法。
第四方面，提供了一种电子设备，包括：处理器、输入装置、输出装置和存储器，所述处理器、输入装置、输出装置和存储器相互连接，所述存储器中存储有程序指令；所述程序指令被所述处理器执行时，使所述处理器执行上述第一方面及其任一种可能的实现方式的方法。
第五方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本申请实施例提供的一种机器人图像增强方法的流程示意图；
图2为本申请实施例提供的另一种机器人图像增强方法的流程示意图；
图3为本申请实施例提供的一种机器人图像增强装置的结构示意图；
图4为本申请实施例提供的一种机器人图像增强装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1，图1是本申请实施例提供的一种图像增强方法的流程示意图。
101、通过机器人的摄像头获取待处理图像。
在本申请实施例中，机器人为可进行自主控制的机器，上述自主控制包括：人物跟踪，循迹行走，自主避障行走。需要理解的是，本申请实施例对机器人的形状不做限定，可以是智能小车，也可以是人形机器人。
机器人上装载有摄像头，通过摄像头可对机器人周围的环境进行实时拍摄，其中，拍摄的方式可以为拍摄视频，也可以为拍摄图像。
在本申请实施例中，待处理图像可以是通过摄像头拍摄得到的图像，也可以是从拍摄的视频中截取的图像，本申请对此不做限定。
可选地，图像尺寸可以为预定大小，例如：后续处理对图像的尺寸要求为256*256*3，则可将待处理图像的尺寸调整为256*256*3，调整方式可以是对待处理图像进行缩放，也可以是对待处理图进行裁剪，还可以是对待处理图像中进行特征提取，截取包含后续处理所需对象的图像区域得到预定大小的图像，本申请对调整待处理图像的方式不做限定。
102、对待处理图像进行特征提取处理，得到第一特征数据。
在本申请实施例中，第一特征数据包括待处理图像中的对象(包括目标人物或目标物体)的特征数据，以及待处理图像中的背景(除目标人物或目标物体之外的图像内容)的特征数据。
对待处理图像进行特征提取处理，得到待处理图像的特征数据。其中，特征提取处理可以为卷积处理。在一种可能实现的方式中，对待处理图像中的任意一个像素点，使卷积模板的中心点和该像素点重合，卷积模板上的点与待处理图像上对应的像素点相乘，最后再将每个像素点的积相加，得到该像素点的卷积值，通过对待处理图像中每个像素点进行上述卷积处理，将待处理图像缩小，并提取出第一特征数据。
需要理解的是，上述特征提取处理由机器人执行。
103、对第一特征数据进行解码处理，得到增强后的图像。
在本申请实施例中，增强后的图像相较于待处理图像，图像内容不变，但图像质量(包括图像分辨率、解析度、清晰度等)更好。
通过对第一特征数据进行解码处理，可得到增强后的图像，解码处理可以为一下任意一种：反卷积处理、双线性插值处理、反池化处理。在一种可能实现的方式中，运行于机器人上的图像增强网络包括卷积层(用于对待处理图像进行特征提取处理，得到第一特征数据)，以及反卷积层(用于对第一特征数据进行解码处理)。其中，图像增强网络为预先训练好的，通过训练使图像增强网络学习到特征数据与增强后的图像的映射关系，因此，可通过图像增强网络对第一特征数据进行解码处理，得到增强后的图像。
本申请实施例通过对待处理图像进行特征提取处理，得到第一特征数据，再通过训练学习到的特征数据与增强后的图像的映射关系对第一特征数据进行解码，得到增强后的图像，可提高摄像头拍摄效果不佳采集到的图像的质量。
机器人通过对摄像头采集到的图像进行处理，可实现包括：人物跟踪，循迹行走，自主避障行走等控制，但摄像头采集的图像的质量将极大的影响控制效果，低质量图像(如：图像噪声多、图像分辨率低、图像清晰度低等等)甚至无法实现上述控制。因此，本申请实施例提供一种神经网络，用于对低质量图像进行增强处理，以提高图像质量。
请参阅图2，图2是本申请实施例提供的另一种机器人的图像增强方法的流程示意图。
201、通过机器人的摄像头获取待处理图像。
具体可参见步骤101，此处将不再赘述。
202、对待处理图像进行卷积处理，得到第一特征数据。
可选地，在对待处理图像进行卷积处理之前，可根据待处理图像的质量判断是否需要对待处理图像进行卷积处理。在一些可能实现的方式中，对待处理图像依次进行卷积处理、归一化处理、线性变换、非线性变换，确定待处理图像中的对象所属类别，根据类别和第二映射关系，确定阈值，其中，第二映射关系为类别与分辨率阈值之间的映射关系。在待处理图像的分辨率小于或等于阈值的情况下，对待处理图像进行卷积处理。举例来说，第二映射关系为预先设定的，具体可参见表1。
类别 分辨率阈值
人脸 150PPI
手 100PPI
球 50PPI
表1
其中，若后续处理需要识别人脸，则需要更多特征，对图像质量要求较高，因此，分辨率阈值较高；若后续处理需要识别球，则需要的特征较少，对图像质量要求较低，因此分辨率阈值较低。对待处理图像依次进行卷积处理、归一化处理、线性变换、非线性变换，确定待处理图像中的对象为人脸。通过获取图像分辨率的算法确定待处理图像的分辨率为102PPI(Pixels Per Inch)，由于待处理图像的分辨率小于分辨率阈值，因此，需要对待处理图像进行卷积处理，需要理解的是，获取图像分辨率的算法可以是双重循环法，也可以是连续扫描法，本申请对此不做限定。
需要理解的是，第二映射关系为预先设定的，而第二映射关系中的分辨率阈值可替换为像素阈值，即以待处理图像的像素为依据，判断待处理图像是否需要进行卷积处理。第二映射关系中的分辨率阈值还可替换为清晰度阈值，即以待处理图像的清晰度为依据，判断待处理图像是否需要进行卷积处理，本申请对此不做限定。
在本申请实施例中，图像增强网络是预先训练得到的，可选地，训练所用的图像集均为与机器人上装载的摄像头同一型号的摄像头采集得到，包括：低质量图像，以及与低质量图像对应的高质量图像。其中，高质量图像可通过对低质量图像进行图像增强处理获得，该图像增强处理可以包括以下一种或多种：对低质量图像进行去模糊处理，对低质量图像进行超分辨率处理，对低质量图像进行补光处理，该图像增强处理可以通过机器人之外的其他设备(如电脑)完成，对每一张低质量图像进行该图像增强处理均可获得一张对应高质量图像。通过将低质量图像与高质量图像作为训练集对图像增强网络进行训练，可使图像增强网络学习到低质量图像的特征与高质量图像的特征之间的映射关系。需要理解的是，通过以特定型号(与机器人上装载的摄像头同一型号)采集的图像为训练集对增强网络进行训练，可使训练后的增强网络更适配于该型号的摄像头，对应于不同型号的摄像头，可通过重新训练，提高图像增强的效果。
神经网络的深度越深，训练起来的难度就越大，优化神经网络的难度也就越大，如果不能很好的通过训练学习到合适的权重，深的神经网络的效果反而不如相对较浅的网络，而通过在神经网络中加入残差块可解决上述训练难度大和优化难度大的问题，并提升神经网络的效率。因此，增强网络中包含有一个或多个残差块，其中，残差块中可以是多层卷积层，也可以是多层全连接层，对此，本申请不做具体限定。
在一种可能实现的方式中，增强网络包含1个残差块，残差块包含2层卷积层，且这2层卷积层之间串联，即上一层卷积层的输出为下一层卷积层的输入，这2卷积层依次对待处理图像进行卷积处理，得到第三特征数据，再将待处理图像与第三特征数据进行融合处理，得到第一特征数据。可选地，上述融合处理可以为特征数据相加。
在另一种可能实现的方式中，增强网络包含34个残差块，每个残差块包含2层卷积层，所有卷积层之间串联，即上一层卷积层的输出为下一层卷积层的输入，且对每个残差块的输入和输出进行融合处理，并将融合处理后的特征数据作为下一个残差块的输入。如：待处理图像经过第一个残差块的处理，得到第六特征数据，将待处理图像与第六特征数据进行融合处理，得到第七特征数据，第二个残差块再对第七特征数据进行处理，得到第八特征数据，对第七特征数据与第八特征数据进行融合处理，得到第九特征数据，第三个残差块再对第九特征数据进行处理，…，直到第34个残差块输出第三特征数据。
需要理解的是，待处理图像为向量，上述所有特征数据也为向量，因此，待处理图像与特征数据的融合即为向量的融合。
203、获取待处理图像的前一帧图像。
在本申请实施例中，当待处理图像为摄像头拍摄的图像时，摄像头在拍摄待处理图像之前拍摄得到的图像即为待处理图像的前一帧图像。当待处理图像为视频中截取的图像时，待处理图像的前一帧图像即为待处理图像在视频中的前一帧图像。
204、对前一帧图像进行特征提取处理，得到第四特征数据。
机器人通过图像增强网络中的卷积层对前一帧图像进行特征提取处理，以从前一帧图像中提取出第四特征数据。在一些可能实现的方式中，图像增强网络包括多层卷积层，通过图像增强网络对前一帧图像逐层进行卷积处理完成对前一帧图像的特征提取处理。其中，每个卷积层提取出的特征内容及语义信息均不一样，具体表现为，特征提取处理一步步地将图像的特征抽象出来，同时也将逐步去除相对次要的特征，因此，越到后面提取出的特征尺寸越小，内容及语义信息就越浓缩。通过多层卷积层逐级对前一帧图像进行卷积处理，并提取相应的特征，最终得到固定大小的特征数据。这样可在获得前一帧图像主要内容信息(即前一帧图像的特征数据)的同时，将图像尺寸缩小，减小系统的计算量，提高运算速度。在另一些可能实现的方式中，通过增强网络中的残差块对前一帧图像进行特征提取处理，得到第四特征数据，残差块对前一帧图像的处理过程可参见202，此处将不再赘述。
205、将第一特征数据与第四特征数据进行合并处理，得到第五特征数据。
在本申请实施例中，合并处理可以理解为特征向量的扩充。例如：假设第一特征数据和第四特征数据中分别包含7个特征向量，将第一特征数据与第四特征数据进行合并处理，得到的第五特征数据包含14个特征向量，且不对向量中的元素做任何处理。
通过将前一帧的图像的特征数据与待处理图像的特征数据进行合并，可丰富特征信息，更有利于图像增强，提高增强后的图像的质量。
206、对第五特征数据进行反卷积处理，得到增强后的图像。
卷积层的前向传播过程相当于反卷积层的反向传播过程，卷积层的反向传播过程相当于反卷积层的前向传播过程，因此可通过对上述第五特征数据进行反卷积处理，可实现对第五特征数据的解码，并得到增强后的图像。需要指出的是，反卷积层的数量与202中卷积层的数量一致。
可选地，由于机器人的硬件配置有限，因此，可通过对适用于硬件配置较高的平台(如电脑)的神经网络进行压缩得到图像增强网络，压缩方式可以是知识蒸馏、神经网络剪枝、神经网络量化等等，这样，图像增强网络可在机器人上运行，并提高整个本实施例的处理速度。在一种可能实现的方式中，获取训练数据和第一神经网络；以所述训练数据对所述第一神经网络进行训练，得到第二神经网络；对所述第二神经网络进行剪枝处理，得到第三神经网络；以所述训练数据对所述第三神经网络进行训练，得到图像增强网络。其中，训练数据包括图像质量低的图像和图像质量低的图像对应的图像质量高的图像，第一神经网络为压缩前的神经网络(即适用于硬件配置较高的平台的神经网络)
应用本实施例，机器人可通过图像增强网络提高待处理图像的质量，如：降低图像的噪声、提高图像分辨率、提升图像的清晰度(如因机器人的移动导致拍摄对象不清晰)等等，整个过程均是在获取到待处理图像后实时完成的，因此，可提高后续基于增强后的图像进行相应处理的速度。
本实施例提供了一种应用于机器人上的图像增强网络，通过图像增强网络对低质量图像进行卷积处理，提取出图像的特征数据，并根据预先训练学习到的低质量图像的特征与高质量图像的特征之间的映射关系，对低质量图像的特征数据进行反卷积处理，得到增强后的图像，整个过程通过图像增强网络自主、快速实现，无需通过更换摄像头等硬件配置来提高采集到的待处理图像的质量，可降低成本。
基于增强后的图像可对机器人进行后续处理，如：人物跟踪、循迹行走自主避障行走。此外，若将本申请实施例应用于教育机器人，还可对机器人的整个行动过程进行存储，以便复盘。以下实施例为本申请提供的一些可能实现的方式。
通过机器人内部的深度神经网络(与图像增强网络不同)基于增强后的图像进行进一步的控制，提高机器人的控制精度。在一种可能实现的方式中，深度神经网络对增强后的图像进行人脸特征提取，根据人脸特征提取的结果，判断机器人前方是否有人，如若有人，则通过机器人内部的语音系统发出如“您好，欢迎光临”之类的问候语。
可选地，机器人可作为足球比赛中的守门员，根据增强后的图像，得到球的运动轨迹，并根据球的运动轨迹预得到控制信息。在一种可能实现的方式中，对机器人拍摄的视频中的每一帧图像进行图像增强，得到多帧增强后的图像，对每一帧增强后的图像进行特征提取处理，确定每一帧增强后的图像中球的位置。再根据每一帧增强后的图像中球位置，确定球的位置的变化，最终确定球的运动轨迹，并预测球的运动速度，根据球的预测速度以及球的位置，得到控制信息，控制机器人做出扑救等动作。在另一种可能实现的方式中，对机器人拍摄的视频中的每一帧图像进行图像增强，得到多帧增强后的图像，根据每一帧增强后的图像中的灰度值的变化确定球的位置，再根据每一帧增强后的图像中球位置，确定球的位置的变化，最终确定球的运动轨迹，并预测球的运动速度，根据球的预测速度以及球的位置，得到控制信息，控制机器人做出扑救等动作。
在另一些可能实现的方式中，深度神经网络对增强后的图像进行手势特征提取，所述手势包括以下至少一种：停止手势、左转弯手势、右转弯手势、调头手势。根据提取到的手势特征，判断手势的意义，并根据手势的意义对机器人进行下一步控制，如：急停、左转弯、右转弯、调头，具体地，根据识别结果，得到第一控制信息，所述第一控制信息包括速度和转向角，然后根据速度和转向角控制机器人运动。
在又一些可能实现的方式中，深度神经网络对增强后的图像进行目标物特征提取，根据提取到的目标物特征，判断目标物所处的位置，并控制机器人完成相应的任务，如：机器人在增强后的图像中提取出垃圾桶的相关特征，判定拍摄的图像中包含目标物：垃圾桶，根据机器人当前位置与垃圾桶之间的距离及智能机器人与垃圾桶之间的夹角，调整机器人行驶的速度即转向角，使机器人达到垃圾桶前，并将垃圾倒入垃圾桶。
在又一些可能实现的方式中，对于用于教学的循迹机器人而言，机器人的行走路线及路线周围的环境都是确定的，通过对路线和路线周围的环境进行图像采集，并将采集到的图像作为训练集，以期望的转向角和速度对深度神经网络得到的转向角和速度进行监督对深度神经网络进行训练，整定深度神经网络的参数，使深度神经网络在预设路线中的每个位置与第二控制信息之间建立第二映射关系，其中，第二控制信息包括：速度和转向角。将完成训练的机器人用于同一个环境(指采集用于训练的图像的环境)下进行自主循迹行走时，深度神经网络对实时拍摄到的图像进行特征提取，得到特征图像，并根据特征图像确定智能机器人此时所处的位置，并根据得到的位置与第三映射关系得到机器人的速度和转向角，依据速度和转向角完成对机器人的控制。
可选地，机器人还可将上述任意一种实现方式中的视频或图像进行存储，如：做守门员的机器人可将正常比赛(小朋友的足球比赛)的视频存储下来，后续可通过其他处理平台(如：电脑)对视频进行进一步增强处理，以提高视频的质量。
应用本实施例，基于增强后的图像对机器人进行后续控制。由于图像增强网络对待处理图像的图像增强处理的速度快，且增强后的图像质量高，因此，可基于增强后的图像实现一些响应速度快的控制，如：人物跟踪，目标物跟踪，手势识别等。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
请参阅图3，图3为本申请实施例提供的一种机器人图像增强装置的结构示意图，该机器人图像增强装置1包括：图像采集单元11、第一特征提取单元12、解码处理单元13、第二特征提取单元14、第一处理单元15、第二处理单元16、第三处理单元17、识别单元18、第四处理单元19、第五处理单元20以及第六处理单元21。其中：
图像采集单元11，用于通过机器人的摄像头获取待处理图像；
第一特征提取单元12，用于对所述待处理图像进行特征提取处理，得到第一特征数据；
解码处理单元13，用于对所述第一特征数据进行解码处理，得到增强后的图像；
第二特征提取单元14，用于对所述增强后的图像进行特征提取处理，得到第二特征数据；所述第二特征数据包括所述预设路线的路线标识的特征；
第一处理单元15，用于根据所述第二特征数据和第一映射关系，得到控制信息；所述第一映射关系为特征数据与控制信息之间的映射关系；所述控制信息包括速度和转向角；
第二处理单元16，用于根据所述增强后的图像，得到所述球的运动轨迹；
第三处理单元17，用于根据所述运动轨迹，得到控制信息，所述控制信息包括速度和转向角；
识别单元18，用于对所述增强后的图像进行以下至少一种识别：人脸识别、手势识别、目标物识别；
第四处理单元19，用于根据识别结果，得到控制信息，所述控制信息包括速度和转向角；
第五处理单元20，用于对所述待处理图像依次进行卷积处理、归一化处理、线性变换、非线性变换，确定所述待处理图像中的对象所属类别；
第六处理单元21，用于根据所述类别和第二映射关系，确定阈值；所述第二映射关系为类别与分辨率阈值之间的映射关系；
所述第一特征提取单元12，还用于在所述待处理图像的分辨率小于或等于所述阈值的情况下，执行所述对所述待处理图像进行特征提取处理，得到第一特征数据的步骤。
进一步地，所述第一特征提取单元12包括：第一卷积处理子单元121，用于对所述待处理图像进行卷积处理，得到第三特征数据；融合处理子单元122，用于将所述待处理图像与所述第三特征数据进行融合处理，得到所述第一特征数据。
进一步地，所述解码处理单元13包括：获取子单元131，用于获取所述待处理图像的前一帧图像；第二卷积处理子单元132，用于对所述前一帧图像进行卷积处理，得到第四特征数据；合并处理子单元133，用于将所述第一特征数据与所述第四特征数据进行合并处理，得到第五特征数据；解码处理子单元134，用于对所述第五特征数据进行解码处理，得到所述增强后的图像。
进一步地，所述解码处理子单元134具体用于：对所述第五特征数据进行反卷积处理，得到所述增强后的图像。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
图4为本申请实施例提供的一种机器人图像增强的硬件结构示意图。该图像增强装置3包括处理器31，还可以包括输入装置32、输出装置33和存储器34。该输入装置32、输出装置33、存储器34和处理器31之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
可以理解的是，图4仅仅示出了一种机器人图像增强装置的简化设计。在实际应用中，机器人图像增强装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的机器人图像增强装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种机器人图像增强方法，其特征在于，包括：
通过机器人的摄像头获取待处理图像；
对所述待处理图像进行特征提取处理，得到第一特征数据；
对所述第一特征数据进行解码处理，得到增强后的图像。
2.根据权利要求1所述的方法，其特征在于，所述增强后的图像包括预设路线的路线标识；所述方法还包括：
对所述增强后的图像进行特征提取处理，得到第二特征数据；所述第二特征数据包括所述预设路线的路线标识的特征；
根据所述第二特征数据和第一映射关系，得到控制信息；所述第一映射关系为特征数据与控制信息之间的映射关系；所述控制信息包括速度和转向角。
3.根据权利要求1所述的方法，其特征在于，所述增强后的图像包括球；所述方法还包括：
根据所述增强后的图像，得到所述球的运动轨迹；
根据所述运动轨迹，得到控制信息，所述控制信息包括速度和转向角。
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述增强后的图像包括手、人脸或目标物体中的任意一种；所述方法还包括：
对所述增强后的图像进行以下至少一种识别：人脸识别、手势识别、目标物识别；
根据识别结果，得到控制信息，所述控制信息包括速度和转向角。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述对所述待处理图像进行特征提取处理，得到第一特征数据，包括：
对所述待处理图像进行卷积处理，得到第三特征数据；
将所述待处理图像与所述第三特征数据进行融合处理，得到所述第一特征数据。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述对所述第一特征数据进行解码处理，得到增强后的图像，包括：
获取所述待处理图像的前一帧图像；
对所述前一帧图像进行卷积处理，得到第四特征数据；
将所述第一特征数据与所述第四特征数据进行合并处理，得到第五特征数据；
对所述第五特征数据进行解码处理，得到所述增强后的图像。
7.一种机器人图像增强装置，其特征在于，包括：
图像采集单元，用于通过机器人的摄像头获取待处理图像；
第一特征提取单元，用于对所述待处理图像进行特征提取处理，得到第一特征数据；
解码处理单元，用于对所述第一特征数据进行解码处理，得到增强后的图像。
8.一种处理器，其特征在于，所述处理器用于执行如权利要求1至6任意一项所述的方法。
9.一种电子设备，其特征在于，包括：处理器、输入装置、输出装置和存储器，所述处理器、输入装置、输出装置和存储器相互连接，所述存储器中存储有程序指令；所述程序指令被所述处理器执行时，使所述处理器执行如权利要求1至6任一项权利要求所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行权利要求1至6任意一项所述的方法。
CN201910645990.7A 2019-07-17 2019-07-17 机器人图像增强方法及装置 Active CN110378854B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910645990.7A CN110378854B (zh) 2019-07-17 2019-07-17 机器人图像增强方法及装置
KR1020217014996A KR20210079331A (ko) 2019-07-17 2020-05-22 로봇 이미지 증강 방법 및 장치, 프로세서, 기기, 매체 및 프로그램
PCT/CN2020/091905 WO2021008233A1 (zh) 2019-07-17 2020-05-22 机器人图像增强方法及装置、处理器、设备、介质和程序
JP2021526286A JP2022507399A (ja) 2019-07-17 2020-05-22 ロボット画像強調方法及び装置、プロセッサ、機器、媒体及びプログラム
TW109122654A TWI777185B (zh) 2019-07-17 2020-07-03 機器人圖像增強方法、處理器、電子設備、電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910645990.7A CN110378854B (zh) 2019-07-17 2019-07-17 机器人图像增强方法及装置

Publications (2)

Publication Number Publication Date
CN110378854A true CN110378854A (zh) 2019-10-25
CN110378854B CN110378854B (zh) 2021-10-26

Family

ID=68253674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910645990.7A Active CN110378854B (zh) 2019-07-17 2019-07-17 机器人图像增强方法及装置

Country Status (5)

Country Link
JP (1) JP2022507399A (zh)
KR (1) KR20210079331A (zh)
CN (1) CN110378854B (zh)
TW (1) TWI777185B (zh)
WO (1) WO2021008233A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991457A (zh) * 2019-11-26 2020-04-10 北京达佳互联信息技术有限公司 二维码处理方法、装置、电子设备及存储介质
CN111027403A (zh) * 2019-11-15 2020-04-17 深圳市瑞立视多媒体科技有限公司 手势估计方法、装置、设备及计算机可读存储介质
CN111340137A (zh) * 2020-03-26 2020-06-26 上海眼控科技股份有限公司 图像识别方法、装置及存储介质
WO2021008233A1 (zh) * 2019-07-17 2021-01-21 上海商汤智能科技有限公司 机器人图像增强方法及装置、处理器、设备、介质和程序

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177486B (zh) * 2021-04-30 2022-06-03 重庆师范大学 基于区域建议网络的蜻蜓目昆虫识别方法
CN116362976A (zh) * 2021-12-22 2023-06-30 北京字跳网络技术有限公司 一种模糊视频修复方法及装置
CN114463584B (zh) * 2022-01-29 2023-03-24 北京百度网讯科技有限公司 图像处理、模型训练方法、装置、设备、存储介质及程序

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132149A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Accelerating machine optimisation processes
CN106056562A (zh) * 2016-05-19 2016-10-26 京东方科技集团股份有限公司 一种人脸图像处理方法、装置及电子设备
CN106650690A (zh) * 2016-12-30 2017-05-10 东华大学 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN108305236A (zh) * 2018-01-16 2018-07-20 腾讯科技（深圳）有限公司 图像增强处理方法及装置
CN108475415A (zh) * 2015-12-21 2018-08-31 商汤集团有限公司 用于图像处理的方法和系统
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN108830816A (zh) * 2018-06-27 2018-11-16 厦门美图之家科技有限公司 图像增强方法及装置
CN108986050A (zh) * 2018-07-20 2018-12-11 北京航空航天大学 一种基于多分支卷积神经网络的图像和视频增强方法
CN109685709A (zh) * 2018-12-28 2019-04-26 深圳市商汤科技有限公司 一种智能机器人的照明控制方法及装置
CN109902723A (zh) * 2019-01-31 2019-06-18 北京市商汤科技开发有限公司 图像处理方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235858B2 (ja) * 1999-05-07 2009-03-11 ソニー株式会社 ロボット装置及びロボット装置の障害物マップ生成方法
JP3930366B2 (ja) * 2002-04-18 2007-06-13 株式会社デンソー 白線認識装置
JP2005242759A (ja) * 2004-02-27 2005-09-08 National Institute Of Information & Communication Technology 行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5441626B2 (ja) * 2009-11-06 2014-03-12 日立オートモティブシステムズ株式会社 車載用マルチアプリ実行装置
CN102789234B (zh) * 2012-08-14 2015-07-08 广东科学中心 基于颜色编码标识的机器人导航方法及系统
JP2015002401A (ja) * 2013-06-14 2015-01-05 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP6313646B2 (ja) * 2014-04-24 2018-04-18 日立オートモティブシステムズ株式会社 外界認識装置
JP6409680B2 (ja) * 2015-05-29 2018-10-24 株式会社デンソー 運転支援装置、運転支援方法
JP6727642B2 (ja) * 2016-04-28 2020-07-22 株式会社朋栄 学習型アルゴリズムによるフォーカス補正処理方法
CN107219850A (zh) * 2017-05-25 2017-09-29 深圳众厉电力科技有限公司 一种基于机器视觉的机器人自动寻路系统
CN108053447A (zh) * 2017-12-18 2018-05-18 纳恩博（北京）科技有限公司 基于图像的重定位方法、服务器及存储介质
CN109453500B (zh) * 2018-11-14 2020-10-27 长春理工大学 捡球机器人
CN109993715A (zh) * 2019-04-11 2019-07-09 杨勇 一种机器人视觉图像预处理系统及图像处理方法
CN110378854B (zh) * 2019-07-17 2021-10-26 上海商汤智能科技有限公司 机器人图像增强方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132149A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Accelerating machine optimisation processes
CN108475415A (zh) * 2015-12-21 2018-08-31 商汤集团有限公司 用于图像处理的方法和系统
CN106056562A (zh) * 2016-05-19 2016-10-26 京东方科技集团股份有限公司 一种人脸图像处理方法、装置及电子设备
CN106650690A (zh) * 2016-12-30 2017-05-10 东华大学 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN108305236A (zh) * 2018-01-16 2018-07-20 腾讯科技（深圳）有限公司 图像增强处理方法及装置
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN108830816A (zh) * 2018-06-27 2018-11-16 厦门美图之家科技有限公司 图像增强方法及装置
CN108986050A (zh) * 2018-07-20 2018-12-11 北京航空航天大学 一种基于多分支卷积神经网络的图像和视频增强方法
CN109685709A (zh) * 2018-12-28 2019-04-26 深圳市商汤科技有限公司 一种智能机器人的照明控制方法及装置
CN109902723A (zh) * 2019-01-31 2019-06-18 北京市商汤科技开发有限公司 图像处理方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021008233A1 (zh) * 2019-07-17 2021-01-21 上海商汤智能科技有限公司 机器人图像增强方法及装置、处理器、设备、介质和程序
CN111027403A (zh) * 2019-11-15 2020-04-17 深圳市瑞立视多媒体科技有限公司 手势估计方法、装置、设备及计算机可读存储介质
CN110991457A (zh) * 2019-11-26 2020-04-10 北京达佳互联信息技术有限公司 二维码处理方法、装置、电子设备及存储介质
CN110991457B (zh) * 2019-11-26 2023-12-08 北京达佳互联信息技术有限公司 二维码处理方法、装置、电子设备及存储介质
CN111340137A (zh) * 2020-03-26 2020-06-26 上海眼控科技股份有限公司 图像识别方法、装置及存储介质

Also Published As

Publication number Publication date
KR20210079331A (ko) 2021-06-29
WO2021008233A1 (zh) 2021-01-21
JP2022507399A (ja) 2022-01-18
TWI777185B (zh) 2022-09-11
CN110378854B (zh) 2021-10-26
TW202105241A (zh) 2021-02-01

Similar Documents

Publication Publication Date Title
CN110378854A (zh) 机器人图像增强方法及装置
Villegas et al. Neural kinematic networks for unsupervised motion retargetting
CN110135243B (zh) 一种基于两级注意力机制的行人检测方法及系统
US20200143138A1 (en) Machine vision with dimensional data reduction
EP2430614B1 (de) Verfahren zur echtzeitfähigen, rechnergestützten analyse einer eine veränderliche pose enthaltenden bildsequenz
CN110062164A (zh) 视频图像处理方法及装置
DE112019006278T5 (de) Vollständig interaktiver, virtueller sport- und wellnesstrainer in echtzeit und physiotherapiesystem
CN109214366A (zh) 局部目标重识别方法、装置及系统
CN108791302B (zh) 驾驶员行为建模系统
CN113065645A (zh) 孪生注意力网络、图像处理方法和装置
CN107145870A (zh) 一种视频中人脸的识别系统
CN108334878A (zh) 视频图像检测方法和装置
CN112037263A (zh) 基于卷积神经网络和长短期记忆网络的手术工具跟踪系统
WO2020228767A1 (zh) 基于视频融合的场景动态模拟方法、系统及存储介质
CN110321956A (zh) 一种基于人工智能的牧草病虫害治理方法及装置
CN112418296A (zh) 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法
CN112712068A (zh) 一种关键点检测方法、装置、电子设备及存储介质
CN112418032A (zh) 一种人体行为识别方法、装置、电子设备及存储介质
CN115482523A (zh) 轻量级多尺度注意力机制的小物体目标检测方法及系统
CA3061908C (en) Ball trajectory tracking
CN107766803A (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
Zhou et al. A deep learning algorithm for fast motion video sequences based on improved codebook model
CN110956097A (zh) 遮挡人体提取方法及模块、场景转换方法及装置
CN108629121B (zh) 基于避免恐怖谷效应的虚拟现实人群仿真方法和系统
KR102542878B1 (ko) 영상 내의 모션 인식 방법, 서버 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40016336

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant