CN111667398B - 图像处理方法、装置和计算机可读存储介质 - Google Patents

图像处理方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111667398B
CN111667398B CN201910170972.8A CN201910170972A CN111667398B CN 111667398 B CN111667398 B CN 111667398B CN 201910170972 A CN201910170972 A CN 201910170972A CN 111667398 B CN111667398 B CN 111667398B
Authority
CN
China
Prior art keywords
original image
image
distortion
joint
point connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910170972.8A
Other languages
English (en)
Other versions
CN111667398A (zh
Inventor
贾海晶
伊红
刘丽艳
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201910170972.8A priority Critical patent/CN111667398B/zh
Priority to US16/807,589 priority patent/US11216919B2/en
Priority to JP2020036057A priority patent/JP7024812B2/ja
Priority to EP20160896.5A priority patent/EP3706039A1/en
Publication of CN111667398A publication Critical patent/CN111667398A/zh
Application granted granted Critical
Publication of CN111667398B publication Critical patent/CN111667398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

本发明实施例提供图像处理方法、图像处理装置和计算机可读存储介质。根据本发明实施例的图像处理方法包括：获取原始图像；将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值；对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像；对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象。

Description

图像处理方法、装置和计算机可读存储介质
技术领域
本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置和计算机可读存储介质。
背景技术
在诸如等距柱状投影图(由360度全景图像转换的平面图像)之类的图像的成像过程中，可能会因为图像采样方式、成像透视误差或图像转换方式等因素，导致形成具有扭曲、拉伸、挤压等变形的畸变图像。畸变图像可以通过校正来消除畸变，并且可以进一步利用校正后的图像来进行针对人或物体的对象识别过程。
在通常的畸变图像校正和对象识别过程中，一般需要对整个畸变图像进行校正，随后基于校正后的图像所识别的对象获取检测框，将检测框映射回畸变图像并重定位，最后对重叠的检测框进行处理，以获取最终的对象识别结果。然而，这种图像校正和对象识别的方式需要对所识别的物体的检测框进行多次融合和处理，这样会导致处理步骤繁琐，对象识别精度不高的问题。此外，如果不对畸变图像进行校正而直接进行对象识别，则会导致对象识别的精度过低。
因此，需要一种能够进一步提高对象识别的精度，简化图像处理步骤的图像处理方法和装置。
发明内容
为解决上述技术问题，根据本发明的一个方面，提供了一种图像处理方法，包括：获取原始图像；将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值；对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像；对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象。
根据本发明的另一个方面，提供了一种图像处理装置，包括：获取单元，配置为获取原始图像；划分单元，配置为将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值；校正单元，配置为对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像；识别单元，配置为对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象。
根据本发明的另一个方面，提供一种图像处理装置，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取原始图像；将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值；对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像；对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象。
根据本发明的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取原始图像；将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值；对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像；对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象。
根据本发明的上述图像处理方法、装置和计算机可读存储介质，能够将所获取的原始图像进行划分，并仅针对其中原始图像的第二部分进行校正，以提供给后续的对象识别过程。这种图像处理方法、装置和计算机可读存储介质能够减少图像校正的处理步骤，提高图像处理效率，改善对象识别的精度。
此外，根据本发明实施例的图像处理方法、装置和计算机可读存储介质，避免了在对图像进行对象识别时的检测框融合和处理过程，而是利用训练数据，通过神经网络在细粒度的向量级别识别物体，进一步提升了对象识别的精度。
附图说明
通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。
图1示出根据本发明一个实施例的图像处理方法的流程图；
图2(a)示出根据本发明一个实施例的全景相机距离地面高度的示例；图2(b)示出根据本发明一个实施例通过全景相机的位置对原始图像进行划分的示例；
图3示出根据本发明一个实施例的对全景图像进行透视投影变换的示例；
图4示出根据本发明一个实施例的对全景图像进行小行星投影变换的示例；
图5示出根据本发明一个实施例的原始图像的第一部分与畸变校正图像拼接而成的待处理的图像的示例；
图6示出根据本发明一个实施例，将原始图像的第一部分和畸变校正图像拼接后的图像中的一种关节点映射回原始图像的示意图；
图7示出在畸变校正图像得到的关节点连接向量场中，所表示的一个关节点连接向量的示意图；
图8示出了针对图7所示的向量所构建的搜索网格的一个示例；
图9示出根据本发明一个实施例，将畸变校正图像中的一个关节点连接向量映射回原始图像的第二部分的示意图；
图10(a)示出根据本发明一个实施例，所获取的原始图像中的候选关节点的集合的示意图；图10(b)示出了在图10(a)的基础上，获取关节点连接关系的置信度的示意图；图10(c)示出所确定的关节点连接关系的示意图；图10(d)示出针对原始图像的对象的识别结果；
图11示出根据本发明一个实施例的图像处理装置的框图；
图12示出根据本发明一个实施例的图像处理装置的框图。
具体实施方式
下面将参照附图来描述根据本发明实施例的图像处理方法、装置和计算机可读存储介质。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。
下面将参照图1描述根据本发明实施例的图像处理方法。本发明实施例的图像处理方法既可以应用于静态图像，也可以应用于随时间变化的视频中的视频帧等，在此不做限制。图1示出该图像处理方法100的流程图。
如图1所示，在步骤S101中，获取原始图像。
在本步骤中，所获取的原始图像可以是利用诸如照相机、摄像机等图像采集装置所获取的二维图像或者视频中截取的二维帧图像。优选地，当所述图像采集装置为全景相机，其所获取的图像为360度全景图像时，所述原始图像可以为此全景图像通过坐标变换所映射成的二维图像。例如，这里的原始图像可以为所述全景图像通过经纬度坐标系的转换所映射成的等距柱状投影图。
在步骤S102中，将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值。
在本步骤中，可以根据所述预设阈值将原始图像划分出第一部分和第二部分。所述预设阈值可以根据原始图像的拍摄场景或所需识别的对象类型等进行设定。在一个示例中，所述原始图像中的第一部分和第二部分可以互不重叠。在另一个示例中，所述原始图像中的第一部分和第二部分也可以彼此具有一部分重叠，可选地，所重叠的这部分可以非常小，例如，可以仅为几条线或一些点。此外，在一个示例中，原始图像可以仅包括互不重叠或仅有小部分重叠的所述第一部分和第二部分。在另一个示例中，原始图像还可以包括与第一部分、第二部分均不重叠或仅有小部分重叠的第三部分等，例如，所述第三部分中可以不包括需识别的对象，从而可以无需对第三部分进行后续对象识别的处理，以进一步减少图像处理的计算步骤，提高图像处理效率。
例如，当所述原始图像为等距柱状投影图时，可以根据用于获取所述等距柱状投影图的全景相机的位置，将所述原始图像划分出第一部分和第二部分。图2(a)示出根据本发明一个实施例的全景相机距离地面高度的示例，在图2(a)中，全景相机距离地面的高度H可以分别为H1和H2，并且高度H1小于高度H2。图2(b)示出通过全景相机的位置对原始图像进行划分的示例。在图2(b)示出的通过全景相机所获取的等距柱状投影图中，纵坐标表示纬度，范围为-90°至90°；横坐标表示经度，范围为-180°至180°。在图2(b)中，可选地，当全景相机距离地面的高度小于或等于图2(a)中所示的高度H1时，可以将此等距柱状投影图中纬度u°及其以上(例如至90°)的部分划分为原始图像的第二部分，而将原始图像的其余部分划分为原始图像的第一部分。可选地，当全景相机距离地面的高度大于或等于图2(a)中所示的高度H2时，可以将此等距柱状投影图中纬度v°及其以下(例如至-90°)的部分划分为原始图像的第二部分，而将原始图像的其余部分划分为原始图像的第一部分。其中，这里的H1、H2可以是基于全景相机的摆放位置预先输入的，而u、v可以是基于输入的高度计算得出。在另一个示例中，还可以通过全景相机识别出特定对象，如灯，桌子在全景图像中的位置，从而推测出全景相机的高度，而无需预先输入全景相机的高度。上述对原始图像的第一部分和第二部分的划分方式可以使得原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值。由于本示例中考虑了当全景相机高度不同时，所需识别的对象(例如站在地面上的人)在等距柱状投影图中的分布位置(如在等距柱状投影图中的高度)的不同，从而可以使得利用对全景图像的不同划分方式，尽可能地节省图像处理资源，提高处理效率。以上利用全景相机的高度对原始图像进行划分的实施方式仅为示例，在实际应用中，还可以采用其他标准(如全景相机的分布方式、所识别对象的类型、感兴趣区域的位置等)对原始图像进行划分，在此不做限制。
在步骤S103中，对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像。
在本步骤中，可以对所述原始图像的第二部分进行投影变换，获取所述畸变校正图像。可选地，可以通过对所述原始图像的第二部分进行透视投影变换，以获取相应的全景透视图。在图3所示示例中，可以首先将所述原始图像的第二部分从经纬度坐标系还原至球心为C，半径为R的球坐标系，并将此球坐标系中的某个点P投射至任意一个经线垂直的平面上。具体地，可以将给定点O(在图3中，所示O点与球心C点重合)和球面上一点P相连接，并将延伸至O’所在平面的点P’作为相应的透视点。其中，点O’也可以位于球面上，如图3所示。
此外，还可以通过对所述原始图像的第二部分进行小行星投影变换，以获取相应的小行星投影图，作为畸变校正图像。图4示出根据本发明一个实施例的对全景图像进行小行星投影变换的示例。在图4所示示例中，可以首先将所述原始图像的第二部分从经纬度坐标系还原至球心为C，半径同样为R的球坐标系，并将此球坐标系中的某个点投射至点Q’所在的平面上。在小行星投影变换中，如图4所示，点Q’可以为球坐标系中的一个极点。具体地，可以将给定点O和球面上一点相连接，并将延伸至Q’所在的平面(即过此球坐标系的一个极点的平面)的点作为相应的透视点。在图4中，例如，球坐标系中的点M2的投影点可以为E2，球坐标系中的点S2的投影点可以为I2，球坐标系中的点R2的投影点可以为J2，球坐标系中的点L2的投影点可以为P2。
以上对所述原始图像的第二部分进行投影变换以获得畸变校正图像的方式仅为示例。在实际应用中，可以采取任何对原始图像的第二部分进行投影变换的方式，在此不做限制。
在步骤S104中，对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象。
在本步骤中，可选地，可以分别在所述原始图像的第一部分和所述畸变校正图像中识别所述原始图像中的对象。可选地，还可以将所述原始图像的第一部分和所述畸变校正图像进行拼接，以获取拼接图像，并在所获取的拼接图像中识别所述原始图像中的对象，这种识别方式可以进一步减少对象识别所需的步骤。
具体地，所述对所述原始图像的第一部分以及所述畸变校正图像进行识别可以包括：对所述原始图像的第一部分以及所述畸变校正图像进行特征点的识别和/或特征点连接关系的识别；根据对所述原始图像的第一部分的识别结果，获得所述原始图像的第一部分的特征点和/或特征点连接关系；以及根据对所述畸变校正图像的识别结果，获得所述畸变校正图像的特征点和/或特征点连接关系。根据上述内容，在获取到畸变校正图像的特征点置信度和/或特征点连接向量场之后，还可以将所获取的畸变校正图像的特征点置信度和/或特征点连接向量场，映射回所述原始图像的第二部分中，以获取相应的原始图像的第二部分的特征点置信度和/或特征点连接向量场。
其中，对所述原始图像的第一部分以及所述畸变校正图像进行特征点的识别和/或特征点连接关系的识别还可以包括：根据训练数据，利用神经网络获取所述原始图像的第一部分以及所述畸变校正图像的特征点置信度和/或特征点连接向量场，其中，所述训练数据为所述对象的特征点和/或特征点连接关系的数据。
最后，在分别得到原始图像的第一部分和第二部分的特征点置信度和/或特征点连接向量场之后，可以据此识别原始图像中的对象。例如，可以生成原始图像中的对象的检测框(如，人脸识别框、人体识别框、物体识别框等等)。
根据本发明的一个实施例，原始图像中需识别的对象可以是图像中的人或物。例如，当所需识别的对象是包含各种关节点和关节点的相应连接关系的人、机器人或动物时，可选地，本发明实施例中的特征点可以为关节点，特征点连接关系可以为关节点连接关系。下面以此为示例说明在原始图像为等距柱状投影图时，针对原始图像中的人来进行对象识别的具体方式。
在具体识别过程中，可以利用人的关节点和关节点连接关系的数据作为训练数据，使用神经网络来获取原始图像的第一部分以及畸变校正图像的关节点置信度和关节点连接向量场。图5示出根据本发明一个实施例的原始图像的第一部分及畸变校正图像拼接而成的待处理的图像的示例。在图5中，拼接的左侧部分为无需校正的原始图像的第一部分，拼接的右侧部分为对原始图像的第二部分进行投影变换后的畸变校正图像。可选地，可以预设待识别的人的关节点一共包括：脖子、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯共9种关节；待识别的人的关节点连接关系一共包括：脖子-左肩、脖子-右肩、左肩-左肘、右肩-右肘、左肘-左腕、右肘-右腕、脖子-左胯、脖子-右胯共8种关节点连接关系，也即相应产生8种关节点连接向量。相应地，利用神经网络进行关节点和关节点连接关系的识别时，所采用的训练数据可以为预先采集和获取的人的上述9种关节、8种关节点连接关系的训练数据。也就是说，在所采用的训练数据和识别的结果中，关节点种类Num_joints＝9，关节点连接种类Num_connections＝8。
在使用上述训练数据对神经网络进行训练之后，可以使用训练后的神经网络对原始图像的第一部分以及畸变校正图像进行特征点的识别和/或特征点连接关系的识别，从而得到原始图像的第一部分以及畸变校正图像的关节点置信度和由关节点连接向量组成的关节点连接向量场。例如，所获取的关节点置信度可以表示为矩阵jcm[H,W,Num_joints]，由关节点连接向量组成的关节点连接向量场可以表示为矩阵jaf[H,W,2Num_connections]。其中，考虑到关节点连接向量场中的每个关节点连接向量存在2维表示，因此在相应的表示矩阵中也可以用2倍于关节点连接种类的矩阵维度来表示关节点连接向量场。例如，在存在8种关节点连接种类时，可以针对每个种类的关节点连接向量存储2维的关节点连接向量的表示矩阵(例如，可以利用其中的一维表示矩阵，存储x方向的向量坐标；而利用另一维表示矩阵，存储y方向的向量坐标)，从而，8种关节点连接向量可以采用16维的表示矩阵来存储。当然，上述关节点置信度和关节点连接向量的存储方式仅为示例，在此不做限制。在一个示例中，关节点连接向量的长度可以表示相应关节点连接关系的置信度，例如，当关节点连接向量较长时，可以表示相应关节点连接关系的置信度较高；反之，当关节点连接向量较短时，可以表示相应关节点连接关系的置信度较低。此外，在上述矩阵中，H和W分别可以为需要进行对象识别的图像的高度和宽度。例如，当对图5所示的原始图像的第一部分和畸变校正图像拼接后的图像进行处理时，H和W可以分别为此拼接后的图像的高度和宽度；当对原始图像的第一部分和畸变校正图像分别进行处理时，则可以具有分别对应于原始图像的第一部分和畸变校正图像的关节点置信度矩阵和关节点连接向量的表示矩阵，矩阵中也可以分别具有相应的不同的H和W。
在获取到畸变校正图像的关节点置信度和关节点连接向量场之后，还可以将所获取的畸变校正图像的关节点置信度和关节点连接向量场，映射回所述原始图像的第二部分中，以获取相应的原始图像的第二部分的关节点置信度和关节点连接向量场。具体地，可以根据畸变校正图像和原始图像的第二部分的映射关系，将畸变校正图像的关节点置信度映射回原始图像的第二部分。图6示出根据本发明一个实施例，将原始图像的第一部分和畸变校正图像拼接后的图像中的一种关节点(左肩)映射回原始图像的示意图，映射过程由空心箭头示出。其中，对于原始图像的第一部分，由于未进行投影变换，因此在原始图像的第一部分所获取的关节点置信度没有改变。而对于畸变校正图像，可以根据畸变校正图像和原始图像的第二部分的映射关系，将畸变校正图像的左肩的关节点置信度映射回原始图像的第二部分，所获取的整个原始图像中的左肩关节点的示意由黑点表示。
图7示出在畸变校正图像得到的关节点连接向量场中，所表示的一个关节点连接向量的示意图。图7所示的向量vec自畸变校正图像的像素位置Ap(i,j)处起始(i、j分别为ij坐标系中沿i方向和j方向的像素的绝对坐标)，向图7所示(vecx,vecy)方向延伸。根据本发明实施例，图7中畸变校正图像的关节点连接向量vec需映射回原始图像的第二部分。在映射过程中，可以将Ap(i,j)作为原点，图7中的x轴和y轴作为坐标轴，首先计算向量vec与x轴方向的夹角θ和长度l，具体表示为：
其中，vecx表示将Ap(i,j)作为原点时，关节点连接向量vec在x方向的投影距离，即x方向的像素坐标值；vecy表示将Ap(i,j)作为原点时，关节点连接向量vec在y方向的投影距离，即y方向的像素坐标值。
随后，可以自Ap(i,j)处为原点，创建一个搜索网格。搜索网格可以为任意形状，例如可以为长方形网格，也可以为正方形网格。在搜索网格的具体创建过程中，可选地，如果关节点连接向量在第一象限(即关节点连接向量在x方向和y方向的像素坐标值均为正值)，可以将Ap(i,j)置于左上角来创建搜索网格；如果关节点连接向量在第二象限(即关节点连接向量在x方向的像素坐标值为负值，y方向的像素坐标值为正值)，可以将Ap(i,j)置于右上角来创建搜索网格；如果关节点连接向量在第三象限(即关节点连接向量在x方向和y方向的像素坐标值均为负值)，可以将Ap(i,j)置于右下角来创建搜索网格；如果关节点连接向量在第四象限(即关节点连接向量在x方向的像素坐标值为正值，y方向的像素坐标值为负值)，可以将Ap(i,j)置于左下角来创建搜索网格。图8示出了针对图7所示的向量vec，以Ap(i,j)处为原点，长度为k像素的正方形的搜索网格的一个示例，其中k是正整数，每个网格代表1个像素点。在这个搜索网格中，考虑到向量vec在第一象限，可以将Ap(i,j)置于左上角来创建搜索网格。在本实施例中，如果将原点Ap(i,j)在xy坐标系中的像素坐标表示为Ap(0,0)，则与其在x方向相邻的右侧像素点，可以例如表示为(0,1)，与其在y方向相邻的下侧像素点，可以例如表示为(1,0)，其余像素点的表示方式依次类推。
对于图8中所创建的搜索网格，可以在其中找到一个像素点Bp(iBP,jBP)，使得向量ApBp的夹角最接近于图7中所示的θ。在确定像素点Bp(iBP,jBP)的过程中，可选地，可以在Ap(i,j)点的附近的像素区域找到一个像素点，并计算向量ApBp与x轴的夹角，使得此夹角与θ值最为接近。例如，可以遍历Ap(i,j)点附近的特定像素区域内的所有像素点，并分别计算所遍历的每个像素点与Ap(i,j)点组成的向量与x轴的夹角的值，并使得夹角与θ值的差值最小。
以下详细描述了在本发明一个实施例中，在搜索网格中对像素点Bp(iBP,jBP)进行搜索的具体步骤。
首先，可以将由Ap(i,j)点指向搜索网格中任意一个像素点的位置的向量与x方向的夹角保存到一个(k-1)×(k-1)的矩阵Theta_template中，并且可以将此矩阵理解为向合格搜索网格的模板：
在公式(3)中，矩阵Theta_template的每个元素中的下标表示待搜索的每个像素点与原点Ap(i,j)分别在横轴x和纵轴y上的像素距离，例如θ1,1可以表示像素点(1,1)、(-1,1)、(1,-1)、(-1,-1)中的任意一个与原点Ap(0,0)之间的夹角。在上述(k-1)×(k-1)矩阵中，仅考虑了待搜索的像素点并不位于横轴x或纵轴y上的情况，因为若向量vec沿横轴或者纵轴(即夹角为0°、90°、180°或270°时)，一般可以直接确定此向量的起点和终点的像素位置，而无需利用公式(3)中的矩阵进行搜索。
随后，可以再创建一个矩阵theta，并使其维度与矩阵Theta_template相同(即也为(k-1)×(k-1)矩阵)。例如，在以公式(3)为矩阵Theta_template示例的本发明实施例中，当关节点连接向量vec在如图8所示的第一象限，或者例如位于第三象限时，可以将矩阵theta的所有元素赋值为θ；而当关节点连接向量vec在第二或第四象限时，可以将矩阵theta的所有元素赋值为-θ。
之后，可以在矩阵(Theta_template-theta)中，找到矩阵中绝对值最小的某个元素，并得到此像素点在整个搜索网格中相应的行索引为n，列索引为m。
上述搜索网格创建和像素点搜索过程均是以Ap(i,j)为xy坐标系的原点所构建的。在实际应用中，需要得到矩阵中绝对值最小的元素的对应像素点Bp(iBP，jBP)，在以i、j为坐标轴所表示的ij坐标系中的绝对的像素坐标。可选地，可以根据上述获得的行索引n和列索引m，计算像素点Bp(iBP，jBP)的绝对的像素坐标，具体方式可以为：
如果前述关节点连接向量在第一象限，Bp(iBP，jBP)的像素坐标可以为：
(iBp，jBp)＝(i+n，j+m) (4)；
此外，在其他实施例中，如果关节点连接向量在第二象限，Bp(iBP，jBP)的像素坐标可以为：
(iBp，jBp)＝(i-n，j+m) (5)；
如果关节点连接向量在第三象限，Bp(iBP，jBP)的像素坐标可以为：
(iBp，jBp)＝(i-n，j-m) (6)；
如果关节点连接向量在第四象限，Bp(iBP，jBP)的像素坐标可以为：
(iBp，jBp)＝(i+n，j-m) (7)。
此外，如果存在两个或以上的像素点使得对应的矩阵(Theta_template-theta)中的元素的最小绝对值相等时，可以选择此矩阵中行索引和/或列索引较大的元素，并得到对应的像素点作为像素点Bp(iBP，jBP)。
最后，在得到畸变校正图像中的像素点Bp(iBP，jBP)及其代表的关节点连接向量之后，可以将所获取的畸变校正图像的关节点连接向量映射回所述原始图像的第二部分中，以获取相应的原始图像的第二部分的关节点连接向量。在将畸变校正图像的关节点连接向量映射回原始图像的第二部分时，如果关节点连接向量的长度l代表关节点连接关系的置信度时，可以使得映射前后的关节点连接向量的长度相同，以体现相同的关节点连接关系的置信度。例如，可以根据畸变校正图像中的像素点Ap(i，j)、Bp(iBP，jBP)，计算映射回原始图像的第二部分的相对应的像素点Ae(iAe，jAe)和Be(iBe，jBe)，并得到对应的原始图像的第二部分中的关节点连接向量，使得此向量的方向为Ae(iAe，jAe)指向Be(iBe，jBe)，而长度与l相同。这样可以使得映射得到的原始图像的第二部分中的关节点连接向量保持相同的置信度。
图9示出根据本发明一个实施例，将畸变校正图像中的一个关节点连接向量(中间人的左肩到左肘)映射回原始图像的第二部分的示意图，映射过程由空心箭头示出。其中，可以根据畸变校正图像和原始图像的第二部分的映射关系，将畸变校正图像的左肩到左肘的关节点连接向量映射回原始图像的第二部分，所获取的关节点连接向量由图像中的黑色箭头所示。
在通过上述过程，分别得到原始图像的第一部分和第二部分的关节点置信度和关节点连接向量场之后，可以据此识别原始图像中的人。例如，首先可以对所获取的原始图像的第一部分和第二部分的关节点置信度，进行非极大值抑制处理，以获取原始图像中离散的候选关节点的集合。随后，可以针对当前实施例中所采用的所有关节点的种类和关节点连接向量的种类，标示出在所得到的原始图像中候选关节点的集合中，所有可能的关节点连接关系。另外，可以根据所获取的原始图像的第一部分和第二部分的关节点连接向量来确定原始图像的关节点连接关系。例如，可以根据所获取的原始图像的相应的关节点连接向量的长度，确定各个关节点连接关系的置信度，从而保留置信度高于某个特定阈值的关节点连接关系，而去除置信度较低的关节点连接关系。最后，可以根据所得到的原始图像的各个关节点连接关系，判断可能对应于一个对象的一系列关节点及其连接关系，并识别出原始图像中的对象。
图10示出根据本发明一个实施例的对象识别过程的示意图。其中，图10(a)示出所获取的原始图像中的两种候选关节点的集合的示意图，在图10(a)所示的原始图像中，分别包括两个左肩关节点和两个左肘关节点。此外，图10(a)还示出了根据采用的左肩-左肘的关节点连接向量的种类，标示出的所有可能的左肩-左肘关节点连接关系，由黑线所示。图10(b)示出了在图10(a)所获取的原始图像的候选关节点的集合及相应的所有关节点连接关系的基础上，对关节点连接关系进行置信度的计算，以确定每个关节点连接关系的置信度。具体地，可以根据所获取的原始图像中的相应种类的关节点连接向量的长度，沿所有左肩-左肘的连接方向对相应的关节点连接向量进行线积分，以得到每个关节点连接关系的置信度。如图10(b)所示出的，分别由连续两个长箭头所示的左肩-左肘的关节点连接关系置信度较高，而其他的关节点连接关系的相应箭头较短，对应的置信度较低，因此，可以保留置信度较高的关节点连接关系，得到如图10(c)所示的左肩-左肘连接关系示意图。可见，图10(c)所示的两个左肩-左肘的关节点连接关系代表了两个不同的对象，即不同的两个人。最后，可以针对其他种类的关节点和关节点连接关系进行相类似的计算，并绘制出如图10(d)所示的原始图像的对象的识别结果，对应于两个对象(两个人)的各个关节及其连接，得到原始图像的对象的识别结果。可选地，也可以将这两个人分别用检测框进行框选，以示出对象识别结果。
根据本发明的上述图像处理方法，能够将所获取的原始图像进行划分，并仅针对其中原始图像的第二部分进行校正，以供后续的对象识别过程。这种图像处理方法和装置能够减少图像校正的处理步骤，提高图像处理效率，改善对象识别的精度。
此外，根据本发明实施例的图像处理方法，避免了对图像进行对象识别时的检测框的融合和处理过程，而是利用训练数据，通过神经网络在细粒度的向量级别识别物体，进一步提升了对象识别的精度。
下面，参照图11来描述根据本发明实施例的图像处理装置。图11示出了根据本发明实施例的图像处理装置1100的框图。如图11所示，图像处理装置1100包括获取单元1110、划分单元1120、校正单元1130和识别单元1140。除了这些单元以外，图像处理装置1100还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的图像处理装置1100执行的下述操作的具体细节与在上文中参照图1-图10描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。
图11中的图像处理装置1100的获取单元1110获取原始图像。
获取单元1110所获取的原始图像可以是利用诸如照相机、摄像机等图像采集装置所获取的二维图像或者视频中截取的二维帧图像。优选地，当所述图像采集装置为全景相机，其所获取的图像为360度全景图像时，所述原始图像可以为此全景图像通过坐标变换所映射成的二维图像。例如，这里的原始图像可以为所述全景图像通过经纬度坐标系的转换所映射成的等距柱状投影图。
划分单元1120将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值。
划分单元1120可以根据所述预设阈值将原始图像划分出第一部分和第二部分。所述预设阈值可以根据原始图像的拍摄场景或所需识别的对象类型等进行设定。在一个示例中，所述原始图像中的第一部分和第二部分可以互不重叠。在另一个示例中，所述原始图像中的第一部分和第二部分也可以彼此具有一部分重叠，可选地，所重叠的这部分可以非常小，例如，可以仅为几条线或一些点。此外，在一个示例中，原始图像可以仅包括互不重叠或仅有小部分重叠的所述第一部分和第二部分。在另一个示例中，原始图像还可以包括与第一部分、第二部分均不重叠或仅有小部分重叠的第三部分等，例如，所述第三部分中可以不包括需识别的对象，从而可以无需对第三部分进行后续对象识别的处理，以进一步减少图像处理的计算步骤，提高图像处理效率。
例如，当所述原始图像为等距柱状投影图时，划分单元1120可以根据用于获取所述等距柱状投影图的全景相机的位置，将所述原始图像划分出第一部分和第二部分。图2(a)示出根据本发明一个实施例的全景相机距离地面高度的示例，在图2(a)中，全景相机距离地面的高度H可以分别为H1和H2，并且高度H1小于高度H2。图2(b)示出通过全景相机的位置对原始图像进行划分的示例。在图2(b)示出的通过全景相机所获取的等距柱状投影图中，纵坐标表示纬度，范围为-90°至90°；横坐标表示经度，范围为-180°至180°。在图2(b)中，可选地，当全景相机距离地面的高度小于或等于图2(a)中所示的高度H1时，划分单元1120可以将此等距柱状投影图中纬度u°及其以上(例如至90°)的部分划分为原始图像的第二部分，而将原始图像的其余部分划分为原始图像的第一部分。可选地，当全景相机距离地面的高度大于或等于图2(a)中所示的高度H2时，划分单元1120可以将此等距柱状投影图中纬度v°及其以下(例如至-90°)的部分划分为原始图像的第二部分，而将原始图像的其余部分划分为原始图像的第一部分。其中，这里的H1、H2可以是基于全景相机的摆放位置预先输入的，而u、v可以是基于输入的高度计算得出。在另一个示例中，还可以通过全景相机识别出特定对象，如灯，桌子在全景图像中的位置，从而推测出全景相机的高度，而无需预先输入全景相机的高度。上述对原始图像的第一部分和第二部分的划分方式可以使得原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值。由于本示例中考虑了当全景相机高度不同时，所需识别的对象(例如站在地面上的人)在等距柱状投影图中的分布位置(如在等距柱状投影图中的高度)的不同，从而可以使得利用对全景图像的不同划分方式，尽可能地节省图像处理资源，提高处理效率。以上利用全景相机的高度对原始图像进行划分的实施方式仅为示例，在实际应用中，还可以采用其他标准(如全景相机的分布方式、所识别对象的类型、感兴趣区域的位置等)对原始图像进行划分，在此不做限制。
校正单元1130对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像。
校正单元1130可以对所述原始图像的第二部分进行投影变换，获取所述畸变校正图像。可选地，可以通过对所述原始图像的第二部分进行透视投影变换，以获取相应的全景透视图。在图3所示示例中，可以首先将所述原始图像的第二部分从经纬度坐标系还原至球心为C，半径为R的球坐标系，并将此球坐标系中的某个点P投射至任意一个经线垂直的平面上。具体地，可以将给定点O(在图3中，所示O点与球心C点重合)和球面上一点P相连接，并将延伸至O’所在平面的点P’作为相应的透视点。其中，点O’也可以位于球面上，如图3所示。
此外，还可以通过对所述原始图像的第二部分进行小行星投影变换，以获取相应的小行星投影图，作为畸变校正图像。图4示出根据本发明一个实施例的对全景图像进行小行星投影变换的示例。在图4所示示例中，可以首先将所述原始图像的第二部分从经纬度坐标系还原至球心为C，半径同样为R的球坐标系，并将此球坐标系中的某个点投射至点Q’所在的平面上。在小行星投影变换中，如图4所示，点Q’可以为球坐标系中的一个极点。具体地，可以将给定点O和球面上一点相连接，并将延伸至Q’所在的平面(即过此球坐标系的一个极点的平面)的点作为相应的透视点。在图4中，例如，球坐标系中的点M2的投影点可以为E2，球坐标系中的点S2的投影点可以为I2，球坐标系中的点R2的投影点可以为J2，球坐标系中的点L2的投影点可以为P2。
以上对所述原始图像的第二部分进行投影变换以获得畸变校正图像的方式仅为示例。在实际应用中，可以采取任何对原始图像的第二部分进行投影变换的方式，在此不做限制。
识别单元1140对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象。
可选地，识别单元1140可以分别在所述原始图像的第一部分和所述畸变校正图像中识别所述原始图像中的对象。可选地，识别单元1140还可以将所述原始图像的第一部分和所述畸变校正图像进行拼接，以获取拼接图像，并在所获取的拼接图像中识别所述原始图像中的对象，这种识别方式可以进一步减少对象识别所需的步骤。
具体地，识别单元1140可以对所述原始图像的第一部分以及所述畸变校正图像进行特征点的识别和/或特征点连接关系的识别；根据对所述原始图像的第一部分的识别结果，获得所述原始图像的第一部分的特征点和/或特征点连接关系；以及根据对所述畸变校正图像的识别结果，获得所述畸变校正图像的特征点和/或特征点连接关系。根据上述内容，在获取到畸变校正图像的特征点置信度和/或特征点连接向量场之后，还可以将所获取的畸变校正图像的特征点置信度和/或特征点连接向量场，映射回所述原始图像的第二部分中，以获取相应的原始图像的第二部分的特征点置信度和/或特征点连接向量场。
其中，对所述原始图像的第一部分以及所述畸变校正图像进行特征点的识别和/或特征点连接关系的识别还可以包括：根据训练数据，利用神经网络获取所述原始图像的第一部分以及所述畸变校正图像的特征点置信度和/或特征点连接向量场，其中，所述训练数据为所述对象的特征点和/或特征点连接关系的数据。
最后，在分别得到原始图像的第一部分和第二部分的特征点置信度和/或特征点连接向量场之后，可以据此识别原始图像中的对象。例如，可以生成原始图像中的对象的检测框(如，人脸识别框、人体识别框、物体识别框等等)。
根据本发明的一个实施例，原始图像中需识别的对象可以是图像中的人或物。例如，当所需识别的对象是包含各种关节点和关节点的相应连接关系的人、机器人或动物时，可选地，本发明实施例中的特征点可以为关节点，特征点连接关系可以为关节点连接关系。下面以此为示例说明在原始图像为等距柱状投影图时，针对原始图像中的人来进行对象识别的具体方式。
在具体识别过程中，可以利用人的关节点和关节点连接关系的数据作为训练数据，使用神经网络来获取原始图像的第一部分以及畸变校正图像的关节点置信度和关节点连接向量场。图5示出根据本发明一个实施例的原始图像的第一部分及畸变校正图像拼接而成的待处理的图像的示例。在图5中，拼接的左侧部分为无需校正的原始图像的第一部分，拼接的右侧部分为对原始图像的第二部分进行投影变换后的畸变校正图像。可选地，可以预设待识别的人的关节点一共包括：脖子、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯共9种关节；待识别的人的关节点连接关系一共包括：脖子-左肩、脖子-右肩、左肩-左肘、右肩-右肘、左肘-左腕、右肘-右腕、脖子-左胯、脖子-右胯共8种关节点连接关系，也即相应产生8种关节点连接向量。相应地，利用神经网络进行关节点和关节点连接关系的识别时，所采用的训练数据可以为预先采集和获取的人的上述9种关节、8种关节点连接关系的训练数据。也就是说，在所采用的训练数据和识别的结果中，关节点种类Num_joints＝9，关节点连接种类Num_connections＝8。
在使用上述训练数据对神经网络进行训练之后，可以使用训练后的神经网络对原始图像的第一部分以及畸变校正图像进行特征点的识别和/或特征点连接关系的识别，从而得到原始图像的第一部分以及畸变校正图像的关节点置信度和由关节点连接向量组成的关节点连接向量场。例如，所获取的关节点置信度可以表示为矩阵jcm[H,W,Num_joints]，由关节点连接向量组成的关节点连接向量场可以表示为矩阵jaf[H,W,2Num_connections]。其中，考虑到关节点连接向量场中的每个关节点连接向量存在2维表示，因此在相应的表示矩阵中也可以用2倍于关节点连接种类的矩阵维度来表示关节点连接向量场。例如，在存在8种关节点连接种类时，可以针对每个种类的关节点连接向量存储2维的关节点连接向量的表示矩阵(例如，可以利用其中的一维表示矩阵，存储x方向的向量坐标；而利用另一维表示矩阵，存储y方向的向量坐标)，从而，8种关节点连接向量可以采用16维的表示矩阵来存储。当然，上述关节点置信度和关节点连接向量的存储方式仅为示例，在此不做限制。在一个示例中，关节点连接向量的长度可以表示相应关节点连接关系的置信度，例如，当关节点连接向量较长时，可以表示相应关节点连接关系的置信度较高；反之，当关节点连接向量较短时，可以表示相应关节点连接关系的置信度较低。此外，在上述矩阵中，H和W分别可以为需要进行对象识别的图像的高度和宽度。例如，当对图5所示的原始图像的第一部分和畸变校正图像拼接后的图像进行处理时，H和W可以分别为此拼接后的图像的高度和宽度；当对原始图像的第一部分和畸变校正图像分别进行处理时，则可以具有分别对应于原始图像的第一部分和畸变校正图像的关节点置信度矩阵和关节点连接向量的表示矩阵，矩阵中也可以分别具有相应的不同的H和W。
在获取到畸变校正图像的关节点置信度和关节点连接向量场之后，还可以将所获取的畸变校正图像的关节点置信度和关节点连接向量场，映射回所述原始图像的第二部分中，以获取相应的原始图像的第二部分的关节点置信度和关节点连接向量场。具体地，可以根据畸变校正图像和原始图像的第二部分的映射关系，将畸变校正图像的关节点置信度映射回原始图像的第二部分。图6示出根据本发明一个实施例，将原始图像的第一部分和畸变校正图像拼接后的图像中的一种关节点(左肩)映射回原始图像的示意图，映射过程由空心箭头示出。其中，对于原始图像的第一部分，由于未进行投影变换，因此在原始图像的第一部分所获取的关节点置信度没有改变。而对于畸变校正图像，可以根据畸变校正图像和原始图像的第二部分的映射关系，将畸变校正图像的左肩的关节点置信度映射回原始图像的第二部分，所获取的整个原始图像中的左肩关节点的示意由黑点表示。
图7示出在畸变校正图像得到的关节点连接向量场中，所表示的一个关节点连接向量的示意图。图7所示的向量vec自畸变校正图像的像素位置Ap(i,j)处起始(i、j分别为ij坐标系中沿i方向和j方向的像素的绝对坐标)，向图7所示(vecx,vecy)方向延伸。根据本发明实施例，图7中畸变校正图像的关节点连接向量vec需映射回原始图像的第二部分。在映射过程中，可以将Ap(i,j)作为原点，图7中的x轴和y轴作为坐标轴，首先计算向量vec与x轴方向的夹角θ和长度l，具体表示为前述公式(1)和(2)。
其中，vecx表示将Ap(i,j)作为原点时，关节点连接向量vec在x方向的投影距离，即x方向的像素坐标值；vecy表示将Ap(i,j)作为原点时，关节点连接向量vec在y方向的投影距离，即y方向的像素坐标值。
随后，可以自Ap(i,j)处为原点，创建一个搜索网格。搜索网格可以为任意形状，例如可以为长方形网格，也可以为正方形网格。在搜索网格的具体创建过程中，可选地，如果关节点连接向量在第一象限(即关节点连接向量在x方向和y方向的像素坐标值均为正值)，可以将Ap(i,j)置于左上角来创建搜索网格；如果关节点连接向量在第二象限(即关节点连接向量在x方向的像素坐标值为负值，y方向的像素坐标值为正值)，可以将Ap(i,j)置于右上角来创建搜索网格；如果关节点连接向量在第三象限(即关节点连接向量在x方向和y方向的像素坐标值均为负值)，可以将Ap(i,j)置于右下角来创建搜索网格；如果关节点连接向量在第四象限(即关节点连接向量在x方向的像素坐标值为正值，y方向的像素坐标值为负值)，可以将Ap(i,j)置于左下角来创建搜索网格。图8示出了针对图7所示的向量vec，以Ap(i,j)处为原点，长度为k像素的正方形的搜索网格的一个示例，其中k是正整数，每个网格代表1个像素点。在这个搜索网格中，考虑到向量vec在第一象限，可以将Ap(i,j)置于左上角来创建搜索网格。在本实施例中，如果将原点Ap(i,j)在xy坐标系中的像素坐标表示为Ap(0,0)，则与其在x方向相邻的右侧像素点，可以例如表示为(0,1)，与其在y方向相邻的下侧像素点，可以例如表示为(1,0)，其余像素点的表示方式依次类推。
对于图8中所创建的搜索网格，可以在其中找到一个像素点Bp(iBP,jBP)，使得向量ApBp的夹角最接近于图7中所示的θ。在确定像素点Bp(iBP,jBP)的过程中，可选地，可以在Ap(i,j)点的附近的像素区域找到一个像素点，并计算向量ApBp与x轴的夹角，使得此夹角与θ值最为接近。例如，可以遍历Ap(i,j)点附近的特定像素区域内的所有像素点，并分别计算所遍历的每个像素点与Ap(i,j)点组成的向量与x轴的夹角的值，并使得夹角与θ值的差值最小。
以下详细描述了在本发明一个实施例中，在搜索网格中对像素点Bp(iBP,jBP)进行搜索的具体步骤。
首先，可以将由Ap(i,j)点指向搜索网格中任意一个像素点的位置的向量与x方向的夹角保存到一个(k-1)×(k-1)的矩阵Theta_template中，并且可以将此矩阵理解为向合格搜索网格的模板。矩阵的具体表示方式如前述公式(3)所示。
在公式(3)中，矩阵Theta_template的每个元素中的下标表示待搜索的每个像素点与原点Ap(i,j)分别在横轴x和纵轴y上的像素距离，例如θ1,1可以表示像素点(1,1)、(-1,1)、(1,-1)、(-1,-1)中的任意一个与原点Ap(0,0)之间的夹角。在上述(k-1)×(k-1)矩阵中，仅考虑了待搜索的像素点并不位于横轴x或纵轴y上的情况，因为若向量vec沿横轴或者纵轴(即夹角为0°、90°、180°或270°时)，一般可以直接确定此向量的起点和终点的像素位置，而无需利用公式(3)中的矩阵进行搜索。
随后，可以再创建一个矩阵theta，并使其维度与矩阵Theta_template相同(即也为(k-1)×(k-1)矩阵)。例如，在以公式(3)为矩阵Theta_template示例的本发明实施例中，当关节点连接向量vec在如图8所示的第一象限，或者例如位于第三象限时，可以将矩阵theta的所有元素赋值为θ；而当关节点连接向量vec在第二或第四象限时，可以将矩阵theta的所有元素赋值为-θ。
之后，可以在矩阵(Theta_template-theta)中，找到矩阵中绝对值最小的某个元素，并得到此像素点在整个搜索网格中相应的行索引为n，列索引为m。
上述搜索网格创建和像素点搜索过程均是以Ap(i,j)为xy坐标系的原点所构建的。在实际应用中，需要得到矩阵中绝对值最小的元素的对应像素点Bp(iBP,jBP)，在以i、j为坐标轴所表示的ij坐标系中的绝对的像素坐标。可选地，可以根据上述获得的行索引n和列索引m，计算像素点Bp(iBP,jBP)的绝对的像素坐标，具体方式可以为：
如果前述关节点连接向量在第一象限，Bp(iBP,jBP)的像素坐标可以表示为前述公式(4)；此外，在其他实施例中，如果关节点连接向量在第二象限，Bp(iBP,jBP)的像素坐标可以表示为前述公式(5)；如果关节点连接向量在第三象限，Bp(iBP,jBP)的像素坐标可以表示为前述公式(6)；如果关节点连接向量在第四象限，Bp(iBP,jBP)的像素坐标可以表示为前述公式(7)。
此外，如果存在两个或以上的像素点使得对应的矩阵(Theta_template-theta)中的元素的最小绝对值相等时，可以选择此矩阵中行索引和/或列索引较大的元素，并得到对应的像素点作为像素点Bp(iBP,jBP)。
最后，在得到畸变校正图像中的像素点Bp(iBP,jBP)及其代表的关节点连接向量之后，可以将所获取的畸变校正图像的关节点连接向量映射回所述原始图像的第二部分中，以获取相应的原始图像的第二部分的关节点连接向量。在将畸变校正图像的关节点连接向量映射回原始图像的第二部分时，如果关节点连接向量的长度l代表关节点连接关系的置信度时，可以使得映射前后的关节点连接向量的长度相同，以体现相同的关节点连接关系的置信度。例如，可以根据畸变校正图像中的像素点Ap(i,j)、Bp(iBP,jBP)，计算映射回原始图像的第二部分的相对应的像素点Ae(iAe,jAe)和Be(iBe,jBe)，并得到对应的原始图像的第二部分中的关节点连接向量，使得此向量的方向为Ae(iAe,jAe)指向Be(iBe,jBe)，而长度与l相同。这样可以使得映射得到的原始图像的第二部分中的关节点连接向量保持相同的置信度。
图9示出根据本发明一个实施例，将畸变校正图像中的一个关节点连接向量(中间人的左肩到左肘)映射回原始图像的第二部分的示意图，映射过程由空心箭头示出。其中，可以根据畸变校正图像和原始图像的第二部分的映射关系，将畸变校正图像的左肩到左肘的关节点连接向量映射回原始图像的第二部分，所获取的关节点连接向量由图像中的黑色箭头所示。
在通过上述过程，分别得到原始图像的第一部分和第二部分的关节点置信度和关节点连接向量场之后，可以据此识别原始图像中的人。例如，首先可以对所获取的原始图像的第一部分和第二部分的关节点置信度，进行非极大值抑制处理，以获取原始图像中离散的候选关节点的集合。随后，可以针对当前实施例中所采用的所有关节点的种类和关节点连接向量的种类，标示出在所得到的原始图像中候选关节点的集合中，所有可能的关节点连接关系。另外，可以根据所获取的原始图像的第一部分和第二部分的关节点连接向量来确定原始图像的关节点连接关系。例如，可以根据所获取的原始图像的相应的关节点连接向量的长度，确定各个关节点连接关系的置信度，从而保留置信度高于某个特定阈值的关节点连接关系，而去除置信度较低的关节点连接关系。最后，可以根据所得到的原始图像的各个关节点连接关系，判断可能对应于一个对象的一系列关节点及其连接关系，并识别出原始图像中的对象。
图10示出根据本发明一个实施例的对象识别过程的示意图。其中，图10(a)示出所获取的原始图像中的两种候选关节点的集合的示意图，在图10(a)所示的原始图像中，分别包括两个左肩关节点和两个左肘关节点。此外，图10(a)还示出了根据采用的左肩-左肘的关节点连接向量的种类，标示出的所有可能的左肩-左肘关节点连接关系，由黑线所示。图10(b)示出了在图10(a)所获取的原始图像的候选关节点的集合及相应的所有关节点连接关系的基础上，对关节点连接关系进行置信度的计算，以确定每个关节点连接关系的置信度。具体地，可以根据所获取的原始图像中的相应种类的关节点连接向量的长度，沿所有左肩-左肘的连接方向对相应的关节点连接向量进行线积分，以得到每个关节点连接关系的置信度。如图10(b)所示出的，分别由连续两个长箭头所示的左肩-左肘的关节点连接关系置信度较高，而其他的关节点连接关系的相应箭头较短，对应的置信度较低，因此，可以保留置信度较高的关节点连接关系，得到如图10(c)所示的左肩-左肘连接关系示意图。可见，图10(c)所示的两个左肩-左肘的关节点连接关系代表了两个不同的对象，即不同的两个人。最后，可以针对其他种类的关节点和关节点连接关系进行相类似的计算，并绘制出如图10(d)所示的原始图像的对象的识别结果，对应于两个对象(两个人)的各个关节及其连接，得到原始图像的对象的识别结果。可选地，也可以将这两个人分别用检测框进行框选，以示出对象识别结果。
根据本发明的上述图像处理装置，能够将所获取的原始图像进行划分，并仅针对其中原始图像的第二部分进行校正，以供后续的对象识别过程。这种图像处理方法和装置能够减少图像校正的处理步骤，提高图像处理效率，改善对象识别的精度。
此外，根据本发明实施例的图像处理装置，避免了对图像进行对象识别时的检测框的融合和处理过程，而是利用训练数据，通过神经网络在细粒度的向量级别识别物体，进一步提升了对象识别的精度。
下面，参照图12来描述根据本发明实施例的图像处理装置。图12示出了根据本发明实施例的图像处理装置1200的框图。如图12所示，该装置1200可以是计算机或服务器。
如图12所示，图像处理装置1200包括一个或多个处理器1210以及存储器1220，当然，除此之外，图像处理装置1200还可能包括输入装置、输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图12所示的图像处理装置1200的组件和结构只是示例性的，而非限制性的，根据需要，图像处理装置1200也可以具有其他组件和结构。
处理器1210可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器1220中所存储的计算机程序指令以执行期望的功能，可以包括：获取原始图像；将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值；对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像；对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象。
存储器1220可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1210可以运行所述程序指令，以实现上文所述的本发明的实施例的图像处理装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的图像处理方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
下面，描述根据本发明实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取原始图像；将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值；对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像；对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象。
当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。
注意，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。
以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)或处理器。
可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。
结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
在此发明的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光盘。
因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。
软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。
此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软碟等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。
其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本发明的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (9)

1.一种图像处理方法，包括：
获取原始图像；
将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值；
对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像；
对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象；
其中，所述原始图像为等距柱状投影图；
所述将所述原始图像划分出第一部分和第二部分包括：根据用于获取所述等距柱状投影图的全景相机距离地面的高度，将所述原始图像划分出第一部分和第二部分。
2.如权利要求1所述的方法，其中，所述对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像包括：
对所述原始图像的第二部分进行投影变换，获取所述畸变校正图像。
3.如权利要求1所述的方法，其中，所述对所述原始图像的第一部分以及所述畸变校正图像进行识别包括：
对所述原始图像的第一部分以及所述畸变校正图像进行特征点的识别和/或特征点连接关系的识别；
根据对所述原始图像的第一部分的识别结果，获得所述原始图像的第一部分的特征点和/或特征点连接关系；以及
根据对所述畸变校正图像的识别结果，获得所述畸变校正图像的特征点和/或特征点连接关系。
4.如权利要求3所述的方法，其中，所述对所述原始图像的第一部分以及所述畸变校正图像进行特征点的识别和/或特征点连接关系的识别包括：
根据训练数据，利用神经网络获取所述原始图像的第一部分以及所述畸变校正图像的特征点置信度和/或特征点连接向量场，其中，所述训练数据为所述对象的特征点和/或特征点连接关系的数据。
5.如权利要求4所述的方法，其中，所述对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象进一步包括：
将所述畸变校正图像的特征点置信度和/或特征点连接向量场映射为所述原始图像的第二部分的特征点置信度和/或特征点连接向量场。
6.如权利要求5所述的方法，其中，所述对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象进一步包括：
根据所述原始图像的第一部分和原始图像的第二部分的特征点置信度和/或特征点连接向量场，识别所述原始图像中的对象。
7.一种图像处理装置，包括：
获取单元，配置为获取原始图像；
划分单元，配置为将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值；
校正单元，配置为对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像；
识别单元，配置为对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象；
其中，所述原始图像为等距柱状投影图；
所述划分单元根据用于获取所述等距柱状投影图的全景相机距离地面的高度，将所述原始图像划分出第一部分和第二部分。
8.一种图像处理装置，包括：
处理器；
和存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取原始图像；
将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值；
对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像；
对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象；
其中，所述原始图像为等距柱状投影图；
所述将所述原始图像划分出第一部分和第二部分包括：根据用于获取所述等距柱状投影图的全景相机距离地面的高度，将所述原始图像划分出第一部分和第二部分。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：
获取原始图像；
将所述原始图像划分出第一部分和第二部分，其中，所述原始图像的第一部分中的至少部分的图像畸变小于预设阈值，所述原始图像的第二部分中的至少部分的图像畸变大于或等于预设阈值；
对所述原始图像的第二部分进行校正，以获取与所述第二部分对应的畸变校正图像；
对所述原始图像的第一部分以及所述畸变校正图像进行识别，以识别所述原始图像中的对象；
其中，所述原始图像为等距柱状投影图；
所述将所述原始图像划分出第一部分和第二部分包括：根据用于获取所述等距柱状投影图的全景相机距离地面的高度，将所述原始图像划分出第一部分和第二部分。
CN201910170972.8A 2019-03-07 2019-03-07 图像处理方法、装置和计算机可读存储介质 Active CN111667398B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910170972.8A CN111667398B (zh) 2019-03-07 2019-03-07 图像处理方法、装置和计算机可读存储介质
US16/807,589 US11216919B2 (en) 2019-03-07 2020-03-03 Image processing method, apparatus, and computer-readable recording medium
JP2020036057A JP7024812B2 (ja) 2019-03-07 2020-03-03 画像処理方法、装置及びコンピュータ読み取り可能な記憶媒体
EP20160896.5A EP3706039A1 (en) 2019-03-07 2020-03-04 Image processing method, apparatus, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910170972.8A CN111667398B (zh) 2019-03-07 2019-03-07 图像处理方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111667398A CN111667398A (zh) 2020-09-15
CN111667398B true CN111667398B (zh) 2023-08-01

Family

ID=69770603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910170972.8A Active CN111667398B (zh) 2019-03-07 2019-03-07 图像处理方法、装置和计算机可读存储介质

Country Status (4)

Country Link
US (1) US11216919B2 (zh)
EP (1) EP3706039A1 (zh)
JP (1) JP7024812B2 (zh)
CN (1) CN111667398B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396558B (zh) * 2019-08-15 2024-07-23 株式会社理光 图像处理方法、装置及计算机可读存储介质
CN112561807B (zh) * 2020-11-26 2022-08-26 北京大学 一种基于卷积神经网络的端到端径向畸变校正方法
CN112819725B (zh) * 2021-02-05 2023-10-03 广东电网有限责任公司广州供电局 一种径向畸变的快速图像校正方法
CN114677684A (zh) * 2022-03-23 2022-06-28 平安普惠企业管理有限公司 扭曲图像校正方法、装置、设备及计算机可读存储介质
CN115937010B (zh) * 2022-08-17 2023-10-27 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及介质
WO2024079782A1 (ja) * 2022-10-11 2024-04-18 日本電信電話株式会社 人物識別装置、方法およびプログラム
CN117541517B (zh) * 2024-01-05 2024-03-08 深圳市欧冶半导体有限公司 Cms的双曲率成像方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246590A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 星载相机空间畸变图像几何校正方法
CN105740792A (zh) * 2016-01-25 2016-07-06 浙江生辉照明有限公司 目标检测方法和装置
CN109166152A (zh) * 2018-07-27 2019-01-08 深圳六滴科技有限公司 全景相机标定的校正方法、系统、计算机设备和存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4197994B2 (ja) 2003-06-19 2008-12-17 コニカミノルタオプト株式会社 撮像装置
JP4185468B2 (ja) * 2004-03-29 2008-11-26 富士フイルム株式会社 露光装置及び撮影画像の補正方法
JP2005311875A (ja) 2004-04-23 2005-11-04 Nikon Corp 電子カメラ、カメラシステムおよび画像処理プログラム
US8872887B2 (en) * 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
US8437506B2 (en) * 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
CN104424649B (zh) 2013-08-21 2017-09-26 株式会社理光 检测运动物体的方法和系统
CN104574433A (zh) 2013-10-14 2015-04-29 株式会社理光 对象跟踪方法和设备、跟踪特征选择方法
US9196039B2 (en) 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
CN105096259B (zh) 2014-05-09 2018-01-09 株式会社理光 深度图像的深度值恢复方法和系统
CN106406507B (zh) 2015-07-30 2020-03-27 株式会社理光 图像处理方法以及电子设备
US9911213B2 (en) * 2015-12-18 2018-03-06 Ricoh Co., Ltd. Panoramic image stitching using objects
JP6738240B2 (ja) 2016-08-30 2020-08-12 アルパイン株式会社 車載用スピーカシステム
GB2560387B (en) * 2017-03-10 2022-03-09 Standard Cognition Corp Action identification using neural networks
JP6819514B2 (ja) * 2017-08-28 2021-01-27 トヨタ自動車株式会社 画像処理装置及び撮像装置
WO2019049331A1 (ja) * 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP6831769B2 (ja) * 2017-11-13 2021-02-17 株式会社日立製作所 画像検索装置、画像検索方法、及び、それに用いる設定画面
JP7135339B2 (ja) 2018-02-28 2022-09-13 株式会社デンソー 車両に搭載される撮像システム、対象物識別装置、および対象物識別方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246590A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 星载相机空间畸变图像几何校正方法
CN105740792A (zh) * 2016-01-25 2016-07-06 浙江生辉照明有限公司 目标检测方法和装置
CN109166152A (zh) * 2018-07-27 2019-01-08 深圳六滴科技有限公司 全景相机标定的校正方法、系统、计算机设备和存储介质

Also Published As

Publication number Publication date
US20200286212A1 (en) 2020-09-10
US11216919B2 (en) 2022-01-04
JP7024812B2 (ja) 2022-02-24
CN111667398A (zh) 2020-09-15
JP2020144864A (ja) 2020-09-10
EP3706039A1 (en) 2020-09-09

Similar Documents

Publication Publication Date Title
CN111667398B (zh) 图像处理方法、装置和计算机可读存储介质
CN107301620B (zh) 基于相机阵列的全景成像方法
CN111750820B (zh) 影像定位方法及其系统
CN109064404A (zh) 一种基于多相机标定的全景拼接方法、全景拼接系统
CN108122191B (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
WO2019192358A1 (zh) 一种全景视频合成方法、装置及电子设备
CN112767542A (zh) 一种多目相机的三维重建方法、vr相机和全景相机
US20120114224A1 (en) System and method of image processing
Mistry et al. Image stitching using Harris feature detection
CN105701837A (zh) 一种相机几何标定处理方法及装置
CN104994367B (zh) 一种图像矫正方法以及摄像头
JP2007048290A (ja) 画像のセットから合成画像を生成するための方法
WO2014110954A1 (en) Method, device and computer-readable storage medium for panoramic image completion
CN107333064B (zh) 一种球形全景视频的拼接方法及系统
US20190197734A1 (en) Calibration for multi-camera systems
CN111292413A (zh) 图像模型的处理方法及装置、存储介质、电子装置
CN106952219B (zh) 一种基于外参数修正鱼眼像机的图像生成方法
US10482571B2 (en) Dual fisheye, hemispherical image projection and stitching method, device and computer-readable medium
CN112950528A (zh) 证件姿态确定方法、模型训练方法、装置、服务器及介质
CN117541629A (zh) 基于可穿戴头盔的红外图像和可见光图像配准融合方法
CN106131498B (zh) 全景视频拼接方法及装置
CN106296580A (zh) 一种图像拼接的方法及装置
CN114463170A (zh) 一种针对agv应用的大场景图像拼接方法
CN115147885A (zh) 脸型对比方法、装置、设备及存储介质
CN102110291B (zh) 一种变焦镜头的标定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant