CN113706609A - 图像处理方法及装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法及装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113706609A
CN113706609A CN202111013410.6A CN202111013410A CN113706609A CN 113706609 A CN113706609 A CN 113706609A CN 202111013410 A CN202111013410 A CN 202111013410A CN 113706609 A CN113706609 A CN 113706609A
Authority
CN
China
Prior art keywords
coordinate system
image
point
pixel
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111013410.6A
Other languages
English (en)
Inventor
刘思成
朱烽
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202111013410.6A priority Critical patent/CN113706609A/zh
Publication of CN113706609A publication Critical patent/CN113706609A/zh
Priority to PCT/CN2022/112538 priority patent/WO2023029969A1/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法及装置、电子设备及计算机可读存储介质。该方法包括：获取目标场景的第一待处理图像和三维数据，所述三维数据包括所述目标场景在世界坐标系下的三维坐标；对所述第一待处理图像和所述三维数据进行匹配处理，得到至少一个匹配点对；依据所述至少一个匹配点对，得到所述第一待处理图像的第一像素坐标系与所述世界坐标系之间的第一转换关系。

Description

图像处理方法及装置、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、电子设备及计算机可读存储介质。
背景技术
依据成像设备的参数(包括成像设备的内参和成像设备的外参)，可得到成像设备采集到的图像的像素坐标系与世界坐标系之间的转换关系，进而可以据该转化关系和像素点在成像设备采集到的图像的像素坐标系中的坐标，得到该像素点所对应的物点在世界坐标系下的坐标。但成像设备的参数需要通过对成像设备进行标定得到，而对成像设备进行标定所带来的人力成本和时间成本较高。
发明内容
本申请提供一种图像处理方法及装置、电子设备及计算机可读存储介质。
第一方面，提供了一种图像处理方法，所述方法包括：
获取目标场景的第一待处理图像和三维数据，所述三维数据包括所述目标场景在世界坐标系下的三维坐标；
对所述第一待处理图像和所述三维数据进行匹配处理，得到至少一个匹配点对；
依据所述至少一个匹配点对，得到所述第一待处理图像的第一像素坐标系与所述世界坐标系之间的第一转换关系。
结合本申请任一实施方式，所述第一待处理图像包括第一像素点，所述方法还包括：
依据所述第一转换关系和所述第一像素点在所述第一像素坐标系下的坐标，得到第一物点的三维坐标，所述第一物点为所述第一像素点所对应的物点。
结合本申请任一实施方式，所述目标场景包括第一平面，所述方法还包括：
获取所述第一平面在所述世界坐标系下的方程；
依据所述方程和所述至少一个匹配点对，得到所述第一像素坐标系与投影坐标系之间的第二转换关系，所述投影坐标系所在的平面为所述第一平面，所述第二转换关系表征第二像素点的坐标与第一投影点的坐标之间的转换关系，所述第二像素点为所述第一待处理图像中的像素点，所述第一投影点为第二物点在所述第一平面的投影点，所述第二物点为所述第二像素点所对应的物点。
结合本申请任一实施方式，所述第一平面包括所述世界坐标系的任意两个坐标轴；
所述依据所述方程和所述至少一个匹配点对，得到所述第一像素坐标系与投影坐标系之间的第二转换关系，包括：
依据所述至少一个匹配点对，得到所述第一待处理图像的第一像素坐标系与所述世界坐标系之间的第一转换关系；
去除所述第一转换关系中的至少一列元素，得到所述第一像素坐标系与所述投影坐标系之间的第二转换关系。
结合本申请任一实施方式，所述方法还包括：
获取所述目标场景的第二待处理图像，所述第二待处理图像与所述第一待处理图像由同一成像设备采集得到，所述第二待处理图像包括所述第一平面和对象框，所述对象框包含目标对象，所述对象框所包含的像素点区域包括第三像素点；
依据所述第二转换关系和所述第三像素点在所述第二待处理图像的第二像素坐标系下的坐标，得到第二投影点在所述投影坐标系下的坐标，所述第二投影点为所述目标对象在所述第一平面上的投影点；
依据所述第二投影点在所述投影坐标系下的坐标，得到所述第二投影点在所述第一平面中的第一位置。
结合本申请任一实施方式，所述对象框包括人物框，所述目标对象包括目标人物，所述第一平面为所述目标场景中的地面。
结合本申请任一实施方式，所述第三像素点为所述对象框的下底边上的像素点，所述下底边为所述对象框中与所述第一平面相交的边。
结合本申请任一实施方式，所述第三像素点为所述下底边的中点。
结合本申请任一实施方式，所述方法还包括：
获取所述第一平面的地图；
依据所述第一位置，在所述地图中显示所述目标对象的第二位置。
结合本申请任一实施方式，所述方法还包括：
获取所述目标对象在所述地图中的第三位置，所述第三位置与所述第二位置不同；
依据所述第二位置和所述第三位置，显示所述目标对象在所述地图中的轨迹。
结合本申请任一实施方式，所述目标场景为室内场景。
第二方面，提供了一种图像处理装置，所述装置包括：
获取单元，用于获取目标场景的第一待处理图像和三维数据，所述三维数据包括所述目标场景在世界坐标系下的三维坐标；
匹配处理单元，用于对所述第一待处理图像和所述三维数据进行匹配处理，得到至少一个匹配点对；
第一处理单元，用于依据所述至少一个匹配点对，得到所述第一待处理图像的第一像素坐标系与所述世界坐标系之间的第一转换关系。
结合本申请任一实施方式，所述第一待处理图像包括第一像素点，所述图像处理装置还包括：
第二处理单元，用于依据所述第一转换关系和所述第一像素点在所述第一像素坐标系下的坐标，得到第一物点的三维坐标，所述第一物点为所述第一像素点所对应的物点。
结合本申请任一实施方式，所述目标场景包括第一平面，所述获取单元，还用于获取所述第一平面在所述世界坐标系下的方程；
所述第一处理单元，还用于依据所述方程和所述至少一个匹配点对，得到所述第一像素坐标系与投影坐标系之间的第二转换关系，所述投影坐标系所在的平面为所述第一平面，所述第二转换关系表征第二像素点的坐标与第一投影点的坐标之间的转换关系，所述第二像素点为所述第一待处理图像中的像素点，所述第一投影点为第二物点在所述第一平面的投影点，所述第二物点为所述第二像素点所对应的物点。
结合本申请任一实施方式，所述第一平面包括所述世界坐标系的任意两个坐标轴；
所述第一处理单元，用于：
依据所述至少一个匹配点对，得到所述第一待处理图像的第一像素坐标系与所述世界坐标系之间的第一转换关系；
去除所述第一转换关系中的至少一列元素，得到所述第一像素坐标系与所述投影坐标系之间的第二转换关系。
结合本申请任一实施方式，所述获取单元，还用于获取所述目标场景的第二待处理图像，所述第二待处理图像与所述第一待处理图像由同一成像设备采集得到，所述第二待处理图像包括所述第一平面和对象框，所述对象框包含目标对象，所述对象框所包含的像素点区域包括第三像素点；
所述第一处理单元，还用于依据所述第二转换关系和所述第三像素点在所述第二待处理图像的第二像素坐标系下的坐标，得到第二投影点在所述投影坐标系下的坐标，所述第二投影点为所述目标对象在所述第一平面上的投影点；
所述第一处理单元，还用于依据所述第二投影点在所述投影坐标系下的坐标，得到所述第二投影点在所述第一平面中的第一位置。
结合本申请任一实施方式，所述对象框包括人物框，所述目标对象包括目标人物，所述第一平面为所述目标场景中的地面。
结合本申请任一实施方式，所述第三像素点为所述对象框的下底边上的像素点，所述下底边为所述对象框中与所述第一平面相交的边。
结合本申请任一实施方式，所述第三像素点为所述下底边的中点。
结合本申请任一实施方式，所述获取单元，还用于获取所述第一平面的地图；
所述第一处理单元，还用于依据所述第一位置，在所述地图中显示所述目标对象的第二位置。
结合本申请任一实施方式，所述获取单元，还用于获取所述目标对象在所述地图中的第三位置，所述第三位置与所述第二位置不同；
所述第一处理单元，还用于依据所述第二位置和所述第三位置，显示所述目标对象在所述地图中的轨迹。
结合本申请任一实施方式，所述目标场景为室内场景。
第三方面，提供了一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种像素坐标系示意图；
图2为本申请实施例提供的一种图像处理方法的流程示意图；
图3为本申请实施例提供的一种双目图像示意图；
图4为本申请实施例提供的一种下底边示意图；
图5为本申请实施例提供的一种图像处理装置的结构示意图；
图6为本申请实施例提供的一种图像处理装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。字符“/”还可表示数学运算中的除号，例如，a/b＝a除以b；6/3＝2。“以下至少一项(个)”或其类似表达。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了增强工作、生活或者社会环境中的安全性，会在各个区域场所内安装摄像监控设备，以便根据视频流信息进行安全防护。随着公共场所内摄像头数量的快速增长，如何有效的通过海量视频流确定包含目标对象的图像，并根据该图像的信息确定目标对象在世界坐标系下的位置，以及目标对象在世界坐标系下的轨迹具有重要意义。
传统方法通常将采集包含目标对象的图像的摄像头在世界坐标系下的位置，作为目标对象在世界坐标系下的位置。但由于摄像头的拍摄不仅包含目标对象还包含其他物体，通过这种方法得到的目标对象在世界坐标系下的位置显然误差较大。
为降低误差，目前的技术在确定图像包含目标对象后，依据目标对象在图像的像素坐标系下的坐标和摄像头的参数(包括摄像头的内参和摄像头的外参)，得到目标对象在世界坐标系下的位置。
这种方法虽然可以提高目标对象在世界坐标系下的位置的精度，但是摄像头的参数需要通过对摄像头进行标定得到，而在摄像头的使用过程中，摄像头的参数处于不断变换的状态。这就导致通过该种方法得到世界坐标系下的位置需要经常对摄像头进行标定，进而带来非常高的人力成本和时间成本。
基于此，本申请实施例提供了一种图像处理方法，以减少得到图像的像素坐标系与世界坐标系之间的转换关系所带来的人力成本和时间成本。
本申请实施例中的像素坐标系的横坐标用于表示像素点所在的列数，像素坐标系下的纵坐标用于表示像素点所在的行数。例如，在图1所示的图像中，以图像的左上角为坐标原点O、平行于图像的行的方向为X轴的方向、平行于图像的列的方向为Y轴的方向，构建像素坐标系为XOY。横坐标和纵坐标的单位均为像素点。例如，图1中的像素点A11的坐标为(1，1)，像素点A23的坐标为(3，2)，像素点A42的坐标为(2，4)，像素点A34的坐标为(4，3)。
本申请实施例的执行主体为图像处理装置，其中，图像处理装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的，图像处理装置可以是以下中的一种：手机、计算机、平板电脑、可穿戴智能设备。
应理解，本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图2，图2是本申请实施例提供的一种图像处理方法的流程示意图。
201、获取目标场景的第一待处理图像和三维数据，上述三维数据包括上述目标场景在世界坐标系下的三维坐标。
本申请实施例中，目标场景可以是任意场景。例如，目标场景是教室内的场景；又例如，目标场景是商场内的场景；再例如，目标场景是地下停车场；再例如，目标场景是露天运动场。
本申请实施例中，目标场景的第一待处理图像为对目标场景进行拍摄得到的图像。例如，假设目标场景是商场内的场景。通过对商场内进行拍摄得到的图像为第一待处理图像。又例如，目标场景是露天运动场。通过对露天运动场进行拍摄得到的图像为第一待处理图像。
在一种获取第一待处理图像的实现方式中，图像处理装置接收用户通过输入组件输入的第一待处理图像获取第一待处理图像。上述输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取第一待处理图像的实现方式中，图像处理装置接收终端发送的第一待处理图像获取第一待处理图像。上述终端可以是以下任意一种：手机、计算机、平板电脑、服务器。
本申请实施例中，三维数据包括目标场景在世界坐标系下的三维坐标指，三维数据包括目标场景中任意一个点在世界坐标系下的三维坐标。
在一种可能实现的方式中，三维数据是三维地图。在另一种可能实现的方式中，三维数据是三维模型，例如，三维数据可以是三维点云；又例如，三维数据可以是三维计算机辅助设计(computer aided design，CAD)模型。
在一种获取三维数据的实现方式中，图像处理装置包括激光雷达。图像处理装置通过激光雷达扫描目标场景，得到目标场景的三维数据。
在另一种获取三维数据的实现方式中，图像处理装置接收用户通过输入组件输入的三维数据获取三维数据。
在又一种获取三维数据的实现方式中，图像处理装置接收终端发送的三维数据获取三维数据。
应理解，在本申请实施例中，获取第一待处理图像和获取三维数据可以分开执行，也可以同时执行。
202、对上述第一待处理图像和上述三维数据进行匹配处理，得到至少一个匹配点对。
本申请实施例中，匹配点对包括第一待处理图像中的一个像素点和三维数据中的一个数据点，且该像素点所对应的物点与该数据点所对应的物点相同。
在一种可能实现的方式中，图像处理装置通过以下算法中的一个实现对第一待处理图像和三维数据进行匹配处理：二维图像与三维数据的匹配方法(learned cross-domain descriptors、LCD)、二维图像与三维数据的匹配网络(2D3D-MatchNet)。
本申请实施例中，至少一个匹配点对指，匹配点对的数量可以是一个，匹配点对的数量也可以超过一个。可选的，匹配点对的数量等于6，或大于6。
203、依据上述至少一个匹配点对，得到上述第一待处理图像的第一像素坐标系与上述世界坐标系之间的第一转换关系。
本申请实施例中，第一像素坐标系为第一待处理图像的像素坐标系。通过第一转换关系可将第一待处理图像中的像素点在第一像素坐标系下的坐标转换为与该像素点对应的物点在世界坐标系下的坐标。
在一种可能实现的方式中，图像处理装置将第一转换关系取为第一未知转换关系，依据一个匹配点对中的像素点在第一像素坐标系下的坐标、该匹配点对中数据点在世界坐标系下的坐标以及第一未知转换关系之间的关系，得到一个坐标转换方程。
例如，假设第一未知转换关系为p，p为一个3*4的矩阵。匹配点对a包括像素点b和数据点c，其中，像素点b在第一像素坐标系下的坐标为(x1，y1)，数据点c在世界坐标系下的坐标为(x2，y2，z1)。那么，(x1，y1)、(x2，y2，z1)、p满足下式：(x1，y1)×p＝(x2，y2，z1)。
图像处理装置依据至少一个匹配点对可得到至少一个坐标转换方程。通过将至少一个方程联立，可计算得到p作为第一转换关系。可选的，图像处理装置通过对联立至少一个方程得到的方程组进行奇异值分解计算得到p。
在一个场景中，相关人员可在构建目标场景的三维数据并采集目标场景的二维图像的情况下，基于本实施例提供的技术方案，得到二维图像的像素坐标系与世界坐标系之间的转换关系，进而可依据该转换关系确定二维图像中任意一个像素点所对应的物点在世界坐标系下的坐标。
例如，为了增强工作、生活或者社会环境中的安全性，会在各个区域场所内安装摄像监控设备，以便根据视频流信息进行安全防护。随着公共场所内摄像头数量的快速增长，如何有效的通过海量视频流确定包含目标对象的图像，并根据该图像的信息确定目标对象在世界坐标系下的位置，以及目标对象在世界坐标系下的轨迹具有重要意义。
基于本实施提供的技术方案得到摄像头采集到的图像的像素坐标系与世界坐标系之间的转换关系后，可依据目标对象在摄像头采集到的图像中的坐标确定目标对象在世界坐标系下的位置，进而可得到目标对象在世界坐标系下的轨迹。
在另一个场景中，基于本实施例提供的技术方案，可确定双目图像中的同名点之间的位移(下文简称为视差位移)，其中，双目图像指通过两个不同的成像设备(下文将称为双目成像设备)在同一时刻从不同位置对同一物体进行拍摄获得的两张图像，同一个物点对应双目图像中的不同图像中的像素点互为同名点。图3所示为双目图像中的两张图像，其中，像素点A与像素点C互为同名点，像素点B与像素点D互为同名点。
具体的，若双目图像包括第一图像和第二图像，基于本实施例提供的技术方案可确定第一图像的像素坐标系与世界坐标系之间的第一中间转换关系，并可确定第二图像的像素坐标系与世界坐标系之间的第二中间转换关系。获取像素点a在第一图像的像素坐标系中的第一坐标。依据第一中间转换关系确定与像素点a对应的物点b在世界坐标系下的第二坐标。依据第二坐标和第二中间转换关系确定像素点c在第二图像的像素坐标系下的第三坐标，其中，像素点c为第二图像中与物点b对应的像素点，即像素点b与像素点c互为同名点。依据第一坐标和第三坐标，得到像素点b与像素点c之间的视差位移。同理，可确定第一图像和第二图像中任一一对同名点之间的视差位移。进一步的，依据第一图像和第二图像中所有同名点之间的视差位移确定第一图像和第二图像的视差位移。
本实施例中，图像处理装置通过对第一待处理图像和三维数据进行匹配处理，得到至少一个匹配点对。进而依据至少一个匹配点对得到第一待处理图像的像素坐标系与世界坐标系之间的转换关系(即第一转换关系)。
这样，即使采集第一待处理图像的摄像头的参数发生变化，也无需再对摄像头进行标定，从而可减少人力成本和时间成本。
作为一种可选的实施方式，上述第一待处理图像包括第一像素点，图像处理装置还执行以下步骤：
1、依据上述第一转换关系和上述第一像素点在上述第一像素坐标系下的坐标，得到第一物点的三维坐标，上述第一物点为上述第一像素点所对应的物点。
本步骤中，第一物点的三维坐标指第一物点在世界坐标系下的坐标。例如，假设第一像素点在第一像素坐标系下的坐标为无人机在第一像素坐标系下的坐标，那么第一物点的三维坐标为该无人机在世界坐标系下的坐标。
应理解，本实施方式中的第一像素点仅为示例，不应理解为第一待处理图像仅包括一个像素点以及仅可依据第一转换关系得到第一待处理图像中的一个像素点所对应的物点在世界坐标系下的坐标。在实际应用中，第一待处理图像可包括s个像素点，其中，s为正整数。图像处理装置可依据第一转换关系得到第一待处理图像中的一个或一个以上像素点所对应的一个或一个以上物点在世界坐标系下的坐标。
作为一种可选的实施方式，上述目标场景包括第一平面。本申请实施例中，第一平面为目标场景中的任意一个平面。例如，第一平面可以是目标场景中的地面；又例如，第一平面可以是目标场景中的桌面；再例如，第一平面可以是目标场景中的墙面。
在该种实施方式中，图像处理装置还执行以下步骤：
2、获取上述第一平面在上述世界坐标系下的方程。
在另一种获取第一平面在世界坐标系下的方程的实现方式中，图像处理装置接收用户通过输入组件输入的平面方程获取第一平面在世界坐标系下的方程。
在又一种获取第一平面在世界坐标系下的方程的实现方式中，图像处理装置接收终端发送的平面方程获取第一平面在世界坐标系下的方程。
3、依据上述方程和上述至少一个匹配点对，得到上述第一像素坐标系与投影坐标系之间的第二转换关系，上述投影坐标系所在的平面为上述第一平面，上述第二转换关系表征第二像素点的坐标与第一投影点的坐标之间的转换关系，上述第二像素点为上述第一待处理图像中的像素点，上述第一投影点为第二物点在上述第一平面的投影点，上述第二物点为上述第二像素点所对应的物点。
本申请实施例中，第二像素点为第一待处理图像中的任意一个像素点。第二像素点与第一像素点可以相同，第二像素点也可以与第一像素点不同。
为表述方便，下文将第一待处理图像中的像素点所对应的物点在第一平面上的投影点称为像素投影点。
本步骤中，通过第二转换关系可得到第一待处理图像中任意一个像素点所对应的像素投影点在投影坐标系下的坐标，其中，投影坐标系为平面坐标系，投影坐标系所在的平面即为第一平面。第一平面中的点在投影坐标系下的坐标可用于表示该点在第一平面中的位置。
例如，第一待处理图像包括像素点a和像素点b，其中，像素点a所对应的物点为物点A，像素点b所对应的物点为物点B，物点A在第一平面上的投影点为投影点c，物点B在第一平面上的投影点为投影点d。依据第二转换关系和像素点a在第一像素坐标系下的坐标可得到投影点c在投影坐标系下的坐标，依据第二转换关系和像素点b在第一像素坐标系下的坐标可得到投影点d在投影坐标系下的坐标。
若第一平面为地面，投影坐标系的原点为地面上的C点，投影坐标系的横轴的正方向为正东方向，投影坐标系的纵轴的正方向为正南方向，投影坐标系的横轴的单位刻度表示一米，投影坐标系的纵轴的单位刻度表示一米。
若投影点c在投影坐标系下的坐标为(0，4)，投影点d在投影坐标系下的坐标为(6，0)，那么投影点d在C点的正东方向，且距离C点6米。
在一种可能实现的方式中，假设世界坐标系为oxyz，其中，o为原点，ox为横轴，oy为纵轴，oz为竖轴。图像处理装置依据第一平面在世界坐标系下的方程和世界坐标系，得到第一平面与参考平面之间的第一旋转关系，其中，参考平面为以下中的一个：xoy平面、xoz平面、yoz平面。
图像处理装置依据至少一个匹配点对得到像素坐标系到参考平面之间的第三转换关系，其中，第三转换关系表征参考像素点的坐标与参考投影点的坐标之间的转换关系，参考像素点为第一待处理图像中的像素点，参考投影点为参考物点在参考平面的投影点，参考物点为参考像素点所对应的物点。图像处理装置将第三转换关系与第一旋转关系相乘，可得到第二转换关系。
在一个场景中，图像处理装置通过执行步骤2和步骤3得到第二转换关系，进而可依据第二转换关系得到第一待处理图像中任意一个像素点所对应的像素投影点在投影坐标系下的坐标。进一步的，依据像素投影点在投影坐标系下的坐标，可从第一平面的二维地图中确定像素投影点的位置。
例如，假设第一平面为地面，第一像素点在第一像素坐标系下的位置为人在第一像素坐标系下的坐标。图像处理装置依据第一像素点在第一像素坐标系下的位置和第二转换关系，可得到第一像素点所对应的像素投影点在地面中的位置。依据该位置可在地面的二维地图上人在地面的投影点。
又例如，假设第一平面为地面，第一像素点在第一像素坐标系下的位置为无人机在第一像素坐标系下的坐标。图像处理装置依据第一像素点在第一像素坐标系下的位置和第二转换关系，可得到第一像素点所对应的像素投影点在地面中的位置。依据该位置，可在地面的二维地图上显示无人机在地面的投影点。
在另一个场景中，在第一平面为地面，且基于本申请实施例提供的技术方案得到第二转换关系的情况下，可依据第二转换关系转换图像视角。例如，在第一待处理图像中，图像视角与地面平行。依据第二转换关系对转换第一待处理图像的图像视角得到转换后的图像，在转换后的图像中，图像视角与地面垂直。
在又一个场景中，第一待处理图像由目标成像设备采集得到。在基于本申请实施例提供的技术方案得到第二转换关系的情况下，可依据第二转换关系对第一待处理图像进行校正，以校正目标成像设备的成像畸变。
作为一种可选的实施方式，第一平面包括世界坐标系的任意两个坐标轴。例如，世界坐标系为oxyz。若第一平面包括x轴和y轴，那么第一平面为xoy平面；若第一平面包括x轴和z轴，那么第一平面为xoz平面；若第一平面包括y轴和z轴，那么第一平面为yoz平面。
在该种实施方式，图像处理装置在执行步骤3的过程中执行以下步骤：
4、依据上述至少一个匹配点对，得到上述第一待处理图像的第一像素坐标系与上述世界坐标系之间的第一转换关系。
本步骤的实现方式可参见步骤203，此处将不再赘述。
5、去除上述第一转换关系中的至少一列元素，得到上述第一像素坐标系与上述投影坐标系之间的第二转换关系。
在一种可能实现的方式中，在第一平面包括x轴和y轴，即第一平面为xoy平面的情况下，图像处理装置通过将第一转换关系下的第三列去除得到第二转换关系。例如，假设第一转换关系为
Figure BDA0003239110820000121
将第一转换关系的第三列去除得到
Figure BDA0003239110820000122
即为第二转换关系。
在一种可能实现的方式中，在第一平面包括x轴和z轴，即第一平面为xoz平面的情况下，图像处理装置通过将第一转换关系下的第二列去除得到第二转换关系。例如，假设第一转换关系为
Figure BDA0003239110820000123
将第一转换关系的第二列去除得到
Figure BDA0003239110820000124
即为第二转换关系。
在一种可能实现的方式中，在第一平面包括y轴和z轴，即第一平面为yoz平面的情况下，图像处理装置通过将第一转换关系下的第一列去除得到第二转换关系。例如，假设第一转换关系为
Figure BDA0003239110820000125
将第一转换关系的第一列去除得到
Figure BDA0003239110820000126
即为第二转换关系。
图像处理装置通过执行步骤4和步骤5得到第二转换关系，可减少数据处理量，提高处理速度。
应理解，图像处理装置在第一平面包括世界坐标系的任意两个坐标轴，且图像处理装置通过执行步骤203得到第一转换关系的情况下，图像处理装置通过执行步骤5得到第二转换关系。即图像处理装置依次执行步骤201、步骤202、步骤203、步骤5得到第二转换关系。
作为一种可选的实施方式，图像处理装置还执行以下步骤：
6、获取所述目标场景的第二待处理图像，上述第二待处理图像与上述第一待处理图像由同一成像设备采集得到，上述第二待处理图像包括第一平面和对象框，上述对象框包含目标对象，上述对象框所包含的像素点区域包括第三像素点。
本申请实施例中，第二待处理图像与第一待处理图像可以是同一张图像，也可是同一成像设备采集到的不同图像。例如，第一待处理图像由监控摄像头a在2021年8月27日采集得到，第二待处理图像由监控摄像头a在2021年8月28日采集得到。
本申请实施例中，第三像素点为对象框所包含的像素点区域中的任意一个像素点。第三像素点可以与第一像素点相同，第三像素点也可以与第二像素点相同，第三像素点也可以与第一像素点、第二像素点均不同。
例如，第二待处理图像包括像素点a、像素点b和像素点c。第一像素点可以是像素点a，第二像素点可以是像素点b，第三像素点可以是像素点c。第一像素点和第二像素点可以是像素点a，第三像素点可以是像素点b。第一像素点和第三像素点可以是像素点a，第二像素点可以是像素点b。第二像素点和第三像素点可以是像素点a，第一像素点可以是像素点b。第一像素点、第二像素点和第三像素点均可以是像素点a。
在该种实施方式中，图像处理装置还执行以下步骤：
7、依据上述第二转换关系和上述第三像素点在第二待处理图像的第二像素坐标系下的坐标，得到第二投影点在上述投影坐标系下的坐标，上述第二投影点为上述目标对象在上述第一平面上的投影点。
因为第二转换关系表征第一像素坐标系与投影坐标系之间的转换关系，所以依据第二转换关系可确定目标图像的像素坐标系与投影坐标系之间的转换关系。本申请实施例中，目标图像为由目标成像设备采集到的图像，目标成像设备为采集第一待处理图像的成像设备。
因此，图像处理装置依据第二转换关系可确定第二待处理图像的像素坐标系(即第二像素坐标系)与投影坐标系之间的第四转换关系。依据第四转换关系和第三像素点在第二像素坐标系下的坐标，得到第二投影点在投影坐标系下的坐标。
例如，目标对象为人，第一平面为地面，人在地面上的投影点为地面上的A点，此时投影坐标系为地面所在平面的二维坐标系。图像处理装置通过执行步骤7可确定A点在投影坐标系中的坐标。
8、依据上述第二投影点在上述投影坐标系下的坐标，得到上述第二投影点在上述第一平面中的第一位置。
由于第一平面中的点在投影坐标系下的坐标，可用于表示该点在第一平面中的位置，图像处理装置依据第二投影点在投影坐标系下的坐标，可得到第二投影点在第一平面中的位置。本申请实施例中，将第二投影点在第一平面中的位置称为第一位置。
例如，第一平面为地面，投影坐标系的原点为地面上的A点，投影坐标系的横轴的正方向为正东方向，投影坐标系的纵轴的正方向为正南方向，投影坐标系的横轴的单位刻度表示一米，投影坐标系的纵轴的单位刻度表示一米。
若第二投影点在投影坐标系下的坐标为(0，8)，那么目标对象在地面上的投影点在A点的正南方向，且距离A点8米。
图像处理装置通过执行步骤6～步骤8，可确定目标对象在第一平面上的投影点。即依据步骤6～步骤8，可依据目标对象在目标图像的像素坐标系下的坐标，确定目标对象在投影坐标系下的坐标，即确定目标对象在第一平面中的位置。
这样，在基于前文所提供的技术方案得到第二转换关系后，即可依据第一转换关系和目标图像实现对目标对象的定位。例如，第一平面是商场二楼的地面，目标成像设备为二楼的监控摄像头。使用该监控摄像头对商场二楼进行拍摄得到第一待处理图像。利用前文所提供的技术方案，对第一待处理图像和商场二楼的三维数据进行处理，得到第一待处理图像的像素坐标系与投影坐标系之间的第二转换关系。
在得到第二转换关系后，将监控摄像头采集到的图像作为第二待处理图像，进而可依据第二转换关系和第二待处理图像，确定第二待处理图像中任意物体在二楼地面上的位置。如，在顾客A出现在监控摄像头的拍摄范围内的情况下，监控摄像头采集一张包括顾客A的图像作为第二待处理图像，进而可依据第二转换关系和第二待处理图像确定顾客A在二楼地面上的位置。
可选的，目标成像设备采集第一待处理图像的采集条件和目标成像设备采集第二待处理图像的采集条件相同。采集条件包括：采集位置和拍摄角度。其中，采集位置为目标成像设备采集图像时的位置，拍摄角度是目标成像设备采集图像时的拍摄角度。
例如，在采集条件包括采集位置的情况下，目标成像设备在a处采集得到第一待处理图像和第二待处理图像。在采集条件包括拍摄角度的情况下，目标成像设备采集第一待处理图像的拍摄角度与目标成像设备采集第二待处理图像的拍摄角度相同。
在目标成像设备采集第一待处理图像的采集条件和目标成像设备采集第二待处理图像的采集条件相同的情况下，可使第一像素坐标系与第二像素坐标系相同。其中，第一像素坐标系与第二像素坐标系相同指，第一像素坐标系与世界坐标系之间的转换关系，与第二像素坐标系与世界坐标系之间的转换关系相同，即第二像素坐标系与世界坐标系之间的转换关系为第一转换关系。
这样，第一像素坐标系与投影坐标系之间的转换关系，与第二像素坐标系与投影坐标系之间的转换关系相同。因此，图像处理装置可将第二转换关系作为第二像素坐标系与投影坐标系之间的转换关系。由此，可减少确定第二像素坐标系与投影坐标系之间的转换关系的数据处理量，进而减少得到第一位置的数据处理量。
作为一种可选的实施方式，图像处理装置在得到第一位置后，还执行以下步骤：
9、获取第一平面的地图。
本申请实施例中，第一平面的地图为二维地图。可选的，第一平面的地图包括第一平面的二维CAD图。
在另一种获取第一平面的地图的实现方式中，图像处理装置接收用户通过输入组件输入的第一平面的地图获取第一平面的地图。
在又一种获取第一平面的地图的实现方式中，图像处理装置接收终端发送的第一平面的地图获取第一平面的地图。
10、依据上述第一位置，在地图中显示目标对象的第二位置。
图像处理装置依据第一位置可确定目标对象在地图中的位置(即上述第二位置)，进而可通过在地图中显示目标对象的第二位置实现对目标对象在第一平面内的位置进行可视化显示。
在一种可能实现的方式中，图像处理装置将第一位置作为第二位置。
例如，目标场景为放置零配件(如螺钉、螺母、扳手)的仓库，仓库内有多个置物架。多个置物架中的置物架a共有3层置物层。图像处理装置将仓库进行拍摄得到的图像作为第二待处理图像(第二待处理图像包含置物架a)，并将仓库的三维点云作为三维数据，并将置物架a的第二层置物层所在的平面作为第一平面。基于前文所提供的技术方案，可得到第二待处理图像的像素坐标系与投影坐标系之间的转换关系，即第二转换关系，其中，投影坐标系所在的平面为第一平面。
在目标对象为放置于置物架a的第二层置物层上的螺钉b的情况下，图像处理装置可依据螺钉b在第二待处理图像的像素坐标系下的坐标和第二转换关系，得到第二投影点在投影坐标系下的坐标。进而可依据第二投影点在投影坐标系下的坐标，得到第二投影点在第二层置物架中的第一位置。
进一步的，图像处理装置可获取第二层置物架的地图，并将第二投影点在第二层置物架中的位置作为螺钉b在第二层置物架中的位置。依据螺钉b在第二层置物架中的位置，在第二层置物架的地图中显示螺钉b。
可选的，图像处理装置在执行完步骤9的过程中还执行以下步骤：
11、获取上述目标对象在上述地图中的第三位置，上述第三位置与上述第二位置不同。
可选的，第三位置的时间戳和第二位置的时间戳不同。在一种获取第三位置的实现方式中，图像处理装置接收用户通过输入组件输入的第三位置。
在另一种获取第三位置的实现方式中，图像处理装置接收终端发送的第三位置。
12、依据上述第二位置和第三位置，显示上述目标对象在上述地图中的轨迹。
在一种可能实现的方式中，图像处理装置将第二位置和第三位置分别作为轨迹的两个端点，确定目标对象在地图中的轨迹。
在另一种可能实现的方式中，图像处理装置在地图中确定过第二位置和第三位置的轨迹作为目标对象的轨迹。
图像处理装置通过在地图中显示目标对象的轨迹，可实现对目标对象在第一平面内的轨迹进行可视化显示。
作为一种可选的实施方式，上述对象框包括人物框，上述目标对象包括目标人物，上述第一平面为上述目标场景中的地面。
在该种实施方式中，图像处理装置可确定目标人物在地面上的投影点，进而可在地面的地图上显示目标人物的位置。
例如，A大厦是一栋20层高的建筑物。图像处理装置将对第8层的场景进行拍摄得到的图像作为第二待处理图像，并将第8层的场景的三维点云作为三维数据，并将第8层的所在的平面作为第一平面。基于前文所提供的技术方案，可得到第二待处理图像的像素坐标系与投影坐标系之间的转换关系，即第二转换关系。
这样，图像处理装置可依据目标人物在第二待处理图像的像素坐标系下的坐标和第二转换关系，得到第二投影点在投影坐标系下的坐标。进而可依据第二投影点在投影坐标系下的坐标，得到第二投影点在第8层中的位置。
进一步的，图像处理装置可获取第8层的地图，并依据将第二投影点在第8层中的位置作为目标人物在第8层中的位置，并在第8层的地图中显示目标人物的位置。由此实现在地图上显示目标人物在室内的位置。
作为一种可选的实施方式，第三像素点为对象框的下底边上的像素点，下底边为对象框中与第一平面相交的边。
在下底边与第一平面相交的情况下，图像处理装置在第三像素点为对象框的下底边上的像素点的情况下，依据第三像素点在第二待处理图像的像素坐标系下的坐标和第二转换关系得到第二投影点在投影坐标系下的坐标，可提高第二投影点在投影坐标系下的坐标的准确度。
作为一种可选的实施方式，上述第三像素点为上述对象框的下底边上的像素点，上述下底边为纵坐标最大的横边，上述横边为上述对象框中平行于上述第二像素坐标系的横轴的边。
例如，在图4所示的第一待处理图像中，对象框为人物框，即人物框包括行人。该人物框的横边包括AB和CD。由于CD的纵坐标比AB的纵坐标大，CD为下底边。
作为一种可选的实施方式，上述第三像素点为上述下底边的中点。在对象框的下底边上，中点为目标对象与第一平面相交的像素点的概率，比其他像素点(下底边上除中点之外的像素点)为目标对象与第一平面相交的像素点的概率大。
因此，图像处理装置在第三像素点为下底边的中点的情况下，依据第三像素点在第二像素坐标系下的坐标和第二转换关系得到第二投影点在投影坐标系下的坐标，可提高第二投影点在投影坐标系下的坐标的准确度。
作为一种可选的实施方式，上述目标场景为室内场景。由于构建室内场景的三维数据所需的数据处理量比构建室外场景所需的数据处理量小，在目标场景为室内场景的情况下，构建目标场景的三维数据可减少数据处理量。
例如，在图像处理装置使用激光雷达对目标场景进行扫描得到目标场景的三维数据的情况下，若目标场景为室内场景，可减少数据处理量。
基于本申请实施例提供的技术方案，本申请实施例还提供了几种可能的应用场景。
场景1：目前，为了增强工作、生活或者社会环境中的安全性，会在各个区域场所内安装摄像监控设备，以便根据视频流信息进行安全防护。随着公共场所内摄像头数量的快速增长，如何有效的通过海量视频流确定包含目标对象的图像，并根据该图像的信息确定目标对象的轨迹等信息具有重要意义。
基于本申请实施例提供的技术方案，可在地图上显示目标对象的位置以及目标对象的轨迹，以便相关人员获知目标对象的行踪信息。
具体的，A地区的工作人员将服务器作为图像处理装置，并在服务器与A地区的监控摄像头之间建立通信连接。
以A地区的B监控摄像头为例，服务器获取B监控摄像头采集到的图像作为第一待处理图像，服务器获取B监控摄像头的拍摄场景的三维模型作为三维数据。服务器基于本申请实施例提供的技术方案，可得到B监控摄像头采集到的图像的像素坐标系与世界坐标系之间的第一转换关系。
服务器将B监控摄像头的拍摄场景中地面作为第一平面，并通过执行步骤3得到B监控摄像头采集到的图像的像素坐标系与投影坐标系之间的第二转换关系，其中，投影坐标系所在的平面为地面。具体的，地面所在的平面为世界坐标系中的xoy平面，服务器去除第一转换关系中的第三列得到第二转换关系。
现A地区的工作人员想要找寻张三。A地区的工作人员通过服务器将张三的人脸图像与A地区的监控摄像头采集到的图像进行人脸比对，确定B监控摄像头采集到的图像C中包含张三。
服务器依据张三在图像C的像素坐标系下的坐标和第二转换关系得到张三在地面上的位置。进而可依据该位置在地面的地图上显示张三的位置。
与得到B监控摄像头采集到的图像的像素坐标系与投影坐标系之间的转换关系的实现方式相同，服务器可得到A地区内任意一个监控摄像头采集到的图像的像素坐标系与投影坐标系之间的转换关系。服务器进而可依据所有包含张三的图像以及采集包含张三的图像所对应的转换关系确定张三在A地区出现过的位置，进而可依据包含张三的图像的采集时间在A地区的地图上显示张三的轨迹。
场景2：大型商场内的顾客众多，如何确定顾客心仪的商品，并向顾客推荐心仪的商品对提高商品的销售量具有非常重要的意义。
基于本申请实施例提供的技术方案，可确定顾客在商场内的行踪，进而可依据该行踪确定顾客可能喜欢的商品。
具体的，A商场的工作人员将服务器作为图像处理装置，并在服务器与A商场的监控摄像头之间建立通信连接。
以A商场的B监控摄像头为例，服务器获取B监控摄像头采集到的图像作为第一待处理图像，服务器获取B监控摄像头的拍摄场景的三维模型作为三维数据。服务器基于本申请实施例提供的技术方案，可得到B监控摄像头采集到的图像的像素坐标系与世界坐标系之间的第一转换关系。
服务器将B监控摄像头的拍摄场景中地面作为第一平面，并通过执行步骤3得到B监控摄像头采集到的图像的像素坐标系与投影坐标系之间的第二转换关系，其中，投影坐标系所在的平面为地面。具体的，地面所在的平面为世界坐标系中的xoy平面，服务器去除第一转换关系中的第三列得到第二转换关系。
现A商场的工作人员想要找寻张三。A商场的工作人员通过服务器将张三的人脸图像与A商场的监控摄像头采集到的图像进行人脸比对，确定B监控摄像头采集到的图像C中包含张三。
服务器依据张三在图像C的像素坐标系下的坐标和第二转换关系得到张三在地面上的位置。进而可依据该位置在地面的地图上显示张三的位置。
与得到B监控摄像头采集到的图像的像素坐标系与投影坐标系之间的转换关系的实现方式相同，服务器可得到A商场内任意一个监控摄像头采集到的图像的像素坐标系与投影坐标系之间的转换关系。服务器进而可依据所有包含张三的图像以及采集包含张三的图像所对应的转换关系确定张三在A商场出现过的位置，进而可依据包含张三的图像的采集时间在A商场的地图上显示张三的行踪。应理解，上述行踪包括张三出现的位置，以及张三在该位置的逗留时长。
服务器进而可依据张三的行踪得到张三的购物喜好。例如，服务器依据张三的行踪确定张三在运动鞋专区的逗留时长为1.5个小时，张三在女士服饰专区的逗留时长为3分钟，张三在零食专区的逗留时长为0.5个小时。由于张三在运动鞋专区的逗留时长最长，服务器确定张三对运动鞋的感兴趣程度最高。相应的，服务器确定张三对零食的感兴趣程度比对运动鞋的感兴趣程度低，以及张三对女士服饰不感兴趣。这样，服务器在确定张三进入A商场时，可向张三推送关于运动鞋的信息以及关于零食的信息，其中，关于运动鞋的信息数量比关于零食的信息数量多。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
请参阅图5，图5为本申请实施例提供的一种图像处理装置的结构示意图，该图像处理装置1包括获取单元11、匹配处理单元12、第一处理单元13。可选的，图像处理装置1还包括第二处理单元14。具体的：
获取单元11，用于获取目标场景的第一待处理图像和三维数据，所述三维数据包括所述目标场景在世界坐标系下的三维坐标；
匹配处理单元12，用于对所述第一待处理图像和所述三维数据进行匹配处理，得到至少一个匹配点对；
第一处理单元13，用于依据所述至少一个匹配点对，得到所述第一待处理图像的第一像素坐标系与所述世界坐标系之间的第一转换关系。
结合本申请任一实施方式，所述第一待处理图像包括第一像素点，所述图像处理装置还包括：
第二处理单元14，用于依据所述第一转换关系和所述第一像素点在所述第一像素坐标系下的坐标，得到第一物点的三维坐标，所述第一物点为所述第一像素点所对应的物点。
结合本申请任一实施方式，所述目标场景包括第一平面，所述获取单元11，还用于获取所述第一平面在所述世界坐标系下的方程；
所述第一处理单元13，还用于依据所述方程和所述至少一个匹配点对，得到所述第一像素坐标系与投影坐标系之间的第二转换关系，所述投影坐标系所在的平面为所述第一平面，所述第二转换关系表征第二像素点的坐标与第一投影点的坐标之间的转换关系，所述第二像素点为所述第一待处理图像中的像素点，所述第一投影点为第二物点在所述第一平面的投影点，所述第二物点为所述第二像素点所对应的物点。
结合本申请任一实施方式，所述第一平面包括所述世界坐标系的任意两个坐标轴；
所述第一处理单元13，用于：
依据所述至少一个匹配点对，得到所述第一待处理图像的第一像素坐标系与所述世界坐标系之间的第一转换关系；
去除所述第一转换关系中的至少一列元素，得到所述第一像素坐标系与所述投影坐标系之间的第二转换关系。
结合本申请任一实施方式，所述获取单元11，还用于获取所述目标场景的第二待处理图像，所述第二待处理图像与所述第一待处理图像由同一成像设备采集得到，所述第二待处理图像包括所述第一平面和对象框，所述对象框包含目标对象，所述对象框所包含的像素点区域包括第三像素点；
所述第一处理单元13，还用于依据所述第二转换关系和所述第三像素点在所述第二待处理图像的第二像素坐标系下的坐标，得到第二投影点在所述投影坐标系下的坐标，所述第二投影点为所述目标对象在所述第一平面上的投影点；
所述第一处理单元13，还用于依据所述第二投影点在所述投影坐标系下的坐标，得到所述第二投影点在所述第一平面中的第一位置。
结合本申请任一实施方式，所述对象框包括人物框，所述目标对象包括目标人物，所述第一平面为所述目标场景中的地面。
结合本申请任一实施方式，所述第三像素点为所述对象框的下底边上的像素点，所述下底边为所述对象框中与所述第一平面相交的边。
结合本申请任一实施方式，所述第三像素点为所述下底边的中点。
结合本申请任一实施方式，所述获取单元11，还用于获取所述第一平面的地图；
所述第一处理单元13，还用于依据所述第一位置，在所述地图中显示所述目标对象的第二位置。
结合本申请任一实施方式，所述获取单元11，还用于获取所述目标对象在所述地图中的第三位置，所述第三位置与所述第二位置不同；
所述第一处理单元13，还用于依据所述第二位置和所述第三位置，显示所述目标对象在所述地图中的轨迹。
结合本申请任一实施方式，所述目标场景为室内场景。
在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
图6为本申请实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器21是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。
存储器22可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件，也可以是一个整体的器件。
可理解，本申请实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关数据，如该存储器22可用于存储通过输入装置23获取的待处理图像和三维数据，又或者该存储器22还可用于存储通过处理器21得到的第一转换关系等等，本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是，图6仅仅示出了一种图像处理装置的简化设计。在实际应用中，图像处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：
获取目标场景的第一待处理图像和三维数据，所述三维数据包括所述目标场景在世界坐标系下的三维坐标；
对所述第一待处理图像和所述三维数据进行匹配处理，得到至少一个匹配点对；
依据所述至少一个匹配点对，得到所述第一待处理图像的第一像素坐标系与所述世界坐标系之间的第一转换关系。
2.根据权利要求1所述的方法，其特征在于，所述第一待处理图像包括第一像素点，所述方法还包括：
依据所述第一转换关系和所述第一像素点在所述第一像素坐标系下的坐标，得到第一物点的三维坐标，所述第一物点为所述第一像素点所对应的物点。
3.根据权利要求1或2所述的方法，其特征在于，所述目标场景包括第一平面，所述方法还包括：
获取所述第一平面在所述世界坐标系下的方程；
依据所述方程和所述至少一个匹配点对，得到所述第一像素坐标系与投影坐标系之间的第二转换关系，所述投影坐标系所在的平面为所述第一平面，所述第二转换关系表征第二像素点的坐标与第一投影点的坐标之间的转换关系，所述第二像素点为所述第一待处理图像中的像素点，所述第一投影点为第二物点在所述第一平面的投影点，所述第二物点为所述第二像素点所对应的物点。
4.根据权利要求3所述的方法，其特征在于，所述第一平面包括所述世界坐标系的任意两个坐标轴；
所述依据所述方程和所述至少一个匹配点对，得到所述第一像素坐标系与投影坐标系之间的第二转换关系，包括：
依据所述至少一个匹配点对，得到所述第一待处理图像的第一像素坐标系与所述世界坐标系之间的第一转换关系；
去除所述第一转换关系中的至少一列元素，得到所述第一像素坐标系与所述投影坐标系之间的第二转换关系。
5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：
获取所述目标场景的第二待处理图像，所述第二待处理图像与所述第一待处理图像由同一成像设备采集得到，所述第二待处理图像包括所述第一平面和对象框，所述对象框包含目标对象，所述对象框所包含的像素点区域包括第三像素点；
依据所述第二转换关系和所述第三像素点在所述第二待处理图像的第二像素坐标系下的坐标，得到第二投影点在所述投影坐标系下的坐标，所述第二投影点为所述目标对象在所述第一平面上的投影点；
依据所述第二投影点在所述投影坐标系下的坐标，得到所述第二投影点在所述第一平面中的第一位置。
6.根据权利要求5所述的方法，其特征在于，所述对象框包括人物框，所述目标对象包括目标人物，所述第一平面为所述目标场景中的地面。
7.根据权利要求5或6所述的方法，其特征在于，所述第三像素点为所述对象框的下底边上的像素点，所述下底边为所述对象框中与所述第一平面相交的边。
8.根据权利要求7所述的方法，其特征在于，所述第三像素点为所述下底边的中点。
9.根据权利要求5至8中任意一项所述的方法，其特征在于，所述方法还包括：
获取所述第一平面的地图；
依据所述第一位置，在所述地图中显示所述目标对象的第二位置。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
获取所述目标对象在所述地图中的第三位置，所述第三位置与所述第二位置不同；
依据所述第二位置和所述第三位置，显示所述目标对象在所述地图中的轨迹。
11.根据权利要求1至10任意一项所述的方法，其特征在于，所述目标场景为室内场景。
12.一种图像处理装置，其特征在于，所述装置包括：
获取单元，用于获取目标场景的第一待处理图像和三维数据，所述三维数据包括所述目标场景在世界坐标系下的三维坐标；
匹配处理单元，用于对所述第一待处理图像和所述三维数据进行匹配处理，得到至少一个匹配点对；
第一处理单元，用于依据所述至少一个匹配点对，得到所述第一待处理图像的第一像素坐标系与所述世界坐标系之间的第一转换关系。
13.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如权利要求1至11中任意一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至11中任意一项所述的方法。
CN202111013410.6A 2021-08-31 2021-08-31 图像处理方法及装置、电子设备及计算机可读存储介质 Withdrawn CN113706609A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111013410.6A CN113706609A (zh) 2021-08-31 2021-08-31 图像处理方法及装置、电子设备及计算机可读存储介质
PCT/CN2022/112538 WO2023029969A1 (zh) 2021-08-31 2022-08-15 图像处理方法及装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111013410.6A CN113706609A (zh) 2021-08-31 2021-08-31 图像处理方法及装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113706609A true CN113706609A (zh) 2021-11-26

Family

ID=78658100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111013410.6A Withdrawn CN113706609A (zh) 2021-08-31 2021-08-31 图像处理方法及装置、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113706609A (zh)
WO (1) WO2023029969A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029969A1 (zh) * 2021-08-31 2023-03-09 上海商汤智能科技有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN116091475A (zh) * 2023-02-17 2023-05-09 七海行(深圳)科技有限公司 一种喷洒效果的确认方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116625385B (zh) * 2023-07-25 2024-01-26 高德软件有限公司 路网匹配方法、高精地图构建方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6121063B1 (ja) * 2014-11-04 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ カメラ較正方法、デバイス及びシステム
CN111223053A (zh) * 2019-11-18 2020-06-02 北京邮电大学 基于深度图像的数据增强方法
CN111899307B (zh) * 2020-07-30 2023-12-29 浙江大学 一种空间标定方法、电子设备及存储介质
CN113706609A (zh) * 2021-08-31 2021-11-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029969A1 (zh) * 2021-08-31 2023-03-09 上海商汤智能科技有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN116091475A (zh) * 2023-02-17 2023-05-09 七海行(深圳)科技有限公司 一种喷洒效果的确认方法及装置

Also Published As

Publication number Publication date
WO2023029969A1 (zh) 2023-03-09

Similar Documents

Publication Publication Date Title
CN113706609A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN111127655B (zh) 房屋户型图的构建方法及构建装置、存储介质
US20210112238A1 (en) Method and system of image processing with multi-object multi-view association
US8787700B1 (en) Automatic pose estimation from uncalibrated unordered spherical panoramas
US20210056751A1 (en) Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method
CN113240769B (zh) 空间链接关系识别方法及装置、存储介质
CN110473293B (zh) 虚拟对象处理方法及装置、存储介质和电子设备
CN103858148A (zh) 用于移动设备的平面映射和跟踪
CA2564262A1 (en) Apparatus and method for detecting a pointer relative to a touch surface
US10438405B2 (en) Detection of planar surfaces for use in scene modeling of a captured scene
Pintore et al. Effective mobile mapping of multi-room indoor structures
CN113077548A (zh) 针对物体的碰撞检测方法、装置、设备和存储介质
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
CN103544492A (zh) 基于深度图像三维曲面几何特征的目标识别方法和装置
CN114926316A (zh) 距离测量方法、装置、电子设备及存储介质
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN112197708B (zh) 测量方法及装置、电子设备及存储介质
CN111091117B (zh) 用于二维全景图像的目标检测方法、装置、设备、介质
CN111161138B (zh) 用于二维全景图像的目标检测方法、装置、设备、介质
Cui et al. Plane-based external camera calibration with accuracy measured by relative deflection angle
US20220114746A1 (en) Method and apparatus for obtaining pose information, method and apparatus for determining symmetry of object, and storage medium
CN112150527B (zh) 测量方法及装置、电子设备及存储介质
CN111739086A (zh) 测量面积的方法及装置、电子设备及存储介质
WO2022120135A1 (en) Collaborative augmented reality measurement systems and methods
KR20210149658A (ko) 3d 투어 내에서 실제 거리 측정 방법 및 그를 위한 3d 투어 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40055841

Country of ref document: HK

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211126