CN116823590A - 数据获取方法、装置、设备及系统 - Google Patents

数据获取方法、装置、设备及系统 Download PDF

Info

Publication number
CN116823590A
CN116823590A CN202210274652.9A CN202210274652A CN116823590A CN 116823590 A CN116823590 A CN 116823590A CN 202210274652 A CN202210274652 A CN 202210274652A CN 116823590 A CN116823590 A CN 116823590A
Authority
CN
China
Prior art keywords
image
coordinate system
label
data acquisition
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210274652.9A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cambricon Technologies Corp Ltd
Original Assignee
Cambricon Technologies Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cambricon Technologies Corp Ltd filed Critical Cambricon Technologies Corp Ltd
Priority to CN202210274652.9A priority Critical patent/CN116823590A/zh
Priority to PCT/CN2023/079307 priority patent/WO2023174068A1/zh
Publication of CN116823590A publication Critical patent/CN116823590A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明实施例公开一种数据获取方法、装置、设备及系统。该数据获取设备，包括：处理器和存储器，所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码。该方案极大地降低了数据采集成本，为ISP可学习的新型感知网络架构提供数据支持。同时，本方案可显著减少算法迭代时间，避免繁重的标注工作，快速迭代算法版本。

Description

数据获取方法、装置、设备及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种数据获取方法、装置、设备及系统。
背景技术
视觉AI算法中的智能感知技术使用人眼感觉良好的RGB图像作为训练数据，这些数据并不是各种相机传感器直接获得的数据，其还经过了图像信号处理(Image SignalProcess，ISP)模块的处理。其中，传统ISP的目的是获得符合人主观感受的图片，而这与机器视觉感知之间存在差距。
近年来，学术界提出一种将传统ISP模块改为可学习的形式，结合上层感知算法，从传感器直接输出的未经加工的raw数据出发的感知架构。然而，这种新形态的感知架构需要带标注的raw数据作为训练数据，数据集的获取多采用相机在真实世界中采集，并经过人工清洗和标注，该方式极大地消耗成本且效率低下。
发明内容
本发明实施例提供了一种数据获取方法、装置、设备及系统，不仅可以低成本、高效率的获取数据，同时还可以保证数据的有效性。
第一方面，本发明实施例提供了一种数据获取方法，包括：
对带标注的目标图像进行拍摄，以得到第一图像；
对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
本申请实施例，通过对带标注的目标图像进行拍摄，并进行重定向以及基于在真实场景中采集的raw图像用作监督，进行风格迁移处理，最大程度保证采集的训练数据的真实性，减小了所得到的带标注的raw图像与真实环境中采集的raw图像之间的差距，极大地降低了数据采集成本，为ISP可学习的新型感知网络架构提供数据支持。同时，本方案可显著减少算法迭代时间，避免繁重的标注工作，快速迭代算法版本。
第二方面，本发明实施例提供了一种数据获取装置，包括：
拍摄模块，用于对带标注的目标图像进行拍摄，以得到第一图像；
处理模块，用于对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
迁移模块，用于根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
第三方面，本发明实施例提供了一种数据获取设备，包括：处理器和存储器；所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如第一方面任一实现方式所述的数据获取方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如第一方面任一实现方式所述的数据获取方法。
第五方面，本发明实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面任一实现方式所述的数据获取方法。
第六方面，本发明实施例提供了一种芯片系统，所述芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如第一方面任一实现方式所述的数据获取方法。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据获取方法的流程示意图；
图2是本发明实施例提供的又一种数据获取方法的流程示意图；
图3是本发明实施例提供的一种风格迁移处理示意图；
图4是本发明实施例提供的一种数据获取方法的应用示意图；
图5是本发明实施例提供的一种数据获取装置的结构示意图；
图6是本发明实施例提供的一种数据获取设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
应当理解，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本发明所描述的实施例可以与其它实施例相结合。
请参见图1，图1是本发明实施例提供的一种数据获取方法的流程示意图。如图1所示，该方法包括步骤101-103，具体如下：
101、对带标注的目标图像进行拍摄，以得到第一图像；
其中，该目标图像可以显示在显示屏中，或者，还可以是目标图像的照片，或者还可以是打印显示的目标图像等，本方案对此不作具体限定。
上述目标图像可以是一个，也可以是多个，本方案对此不做具体限定。例如，该目标图像可以是拍摄真实世界采集到的少量图像。
上述带标注的目标图像，例如可以是带标注的RGB图像。
具体地，将现有带标注的RGB数据集(目标图像)播放到显示屏，用目标照相机等对准显示屏拍摄获取相应的raw数据，照相机拍摄得到的图像即为上述第一图像。
102、对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
由于第一图像和目标图像所处坐标系未必相同，因此对第一图像进行重定向，使得其所处坐标系与所述目标图像所处坐标系一致。
例如，可以通过坐标转换等手段实现重定向。
103、根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
通过对拍摄图像所处方位坐标系进行变换，得到与原目标图像坐标系一致的图像，然后还要对其进行风格迁移，进而减小所得到的训练数据(即带标注的raw图像)与真实环境中采集的raw图像之间的差距。
本申请实施例，通过对带标注的目标图像进行拍摄，并进行重定向，同时基于在真实场景中采集的图像用作监督，对得到的图像进行风格迁移处理，最大程度保证采集的训练数据的真实性，减小了所得到的带标注的raw图像与真实环境中采集的raw图像之间的差距，极大地降低了数据采集成本，为ISP可学习的新型感知网络架构提供数据支持。同时，本方案可显著减少算法迭代时间，避免繁重的标注工作，快速迭代算法版本。
请参见图2，是本发明实施例提供的又一种数据获取方法的流程示意图。如图2所示，该方法包括步骤201-206，具体如下：
201、对带标注的目标图像进行拍摄，以得到第一图像；
上述目标图像可以是一个，也可以是多个，本方案对此不做具体限定。
上述带标注的目标图像，例如可以是带标注的RGB图像。具体地，可以基于照相机等对显示在显示屏等设备中的图像进行拍摄，拍摄得到的照相机中的图像即为上述第一图像。
202、对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
由于第一图像和目标图像所处坐标系未必相同，因此对第一图像进行重定向，使得其所处坐标系与所述目标图像所处坐标系一致。
具体地，根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系；
例如，当目标图像显示在显示屏中时，根据显示在所述显示屏中的预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；对所述显示屏中的预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系。
根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
也就是说，通过坐标转换等手段实现重定向。
其中，上述角点在第一坐标系中的坐标，即为真实世界中棋盘格各角点坐标。角点在第二坐标系中的坐标，即为棋盘格各角点的像素坐标。通过计算出像素坐标和真实坐标之间的单应性矩阵(即转换矩阵)，利用此矩阵对拍摄的图片做仿射变换即达到调整相机传感器视角方向使其正对屏幕的目的。
203、对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
其中，图像中可能存在一些缺陷，例如镜头畸变、暗角、噪声、显示器导致的摩尔纹、水波纹等。
具体地，可采用张氏标定法进行畸变矫正、对数强度熵的约束最小化进行暗角校正，或者，针对噪声的空域时域降噪、多频段滤波等。
需要说明的是，该缺陷消除处理，可以针对不同的实施场景带来的不同缺陷需要而针对性的设计相应增强模块，以达到缺陷消除的效果。
其中，在图像的缺陷程度低于预设程度时，还可以不对图像进行缺陷消除，直接执行风格迁移处理等。例如，真实场景下拍摄的少量图像是不带有缺陷的，且生成式对抗网络(Generative Adversarial Networks,GAN)可对缺陷图像有一定的补偿能力，生成无缺陷数据。
上述仅为一种示例，本方案对此不作具体限定。
204、对所述更新后的第二图像进行裁剪，以得到仅包含所述目标图像的图像；
由于相机拍摄时拍摄的画面可能超出了目标图像，因此通过对第二图像进行裁剪，剪去超出目标图像的区域，进而得到仅包含目标图像的图像。
205、将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标注的第二图像；
可以理解的，该标注框即为上述带标注的目标图像中的标注框。
通过将目标图像中的标注框映射至裁剪后的第二图像中，进而得到带标注的第二图像。
其中，裁剪后的图像与目标图像之间具备相应的尺寸大小比例关系。该映射可基于该尺寸大小比例关系进行确定，进而得到带标注的第二图像。
206、根据第三图像对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
通过对拍摄图像所处方位坐标系进行变换，得到与原目标图像坐标系一致的图像，然后还要对其进行风格迁移，进而减小所得到的训练数据(即带标注的raw图像)与真实环境中采集的raw图像之间的差距。
其中，仿射变换(Affine Transformation或Affine Map)是一种二维坐标(x,y)到二维坐标(u,v)的线性变换。图像处理中，可应用仿射变换对二维图像进行平移、缩放、旋转等操作。
可选的，根据所述第二图像和所述第三图像得到生成器和判别器；
根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
例如，利用生成式对抗网络(Generative Adversarial Networks,GAN)将少量真实场景中采集的图像作为目标风格，在生成网络中引导拍摄的图像向目标风格迁移。
具体地，如图3所示，由于拍摄屏幕方式采集的raw数据(第二图像，记作X)与拍摄真实世界采集的raw数据(目标图像，记作Y)间存在明显的风格差异，本方案可基于循环CycleGAN网络，将X向Y的风格对齐，从而获得逼真的带标注raw数据。其中，G、F分别为生成器，DX、DY分别为判别器。X基于生成器G生成Y’，基于判别器DY不断进行监督学习，得到训练好的生成器G。相应地，Y基于生成器F生成X’，基于判别器DX不断进行监督学习，得到训练好的生成器F。
通过利用GAN网络将少量真实场景中采集的图像作为目标风格，进而实现在生成网络中引导拍摄的图像向目标风格迁移，进而获得逼真的带标注的raw图像，以减小所得到的raw图像(训练数据)与真实环境中采集的raw图像(目标图像)之间的差异。
本申请实施例，通过对带标注的目标图像进行拍摄，并进行重定向、缺陷消除、裁剪以及基于在真实场景中采集目标图像用作监督，进行风格迁移处理，最大程度保证采集的训练数据的真实性，减小了所得到的带标注的raw图像与真实环境中采集的raw图像之间的差距，极大地降低了数据采集成本，为ISP可学习的新型感知网络架构提供数据支持。同时，本方案可显著减少算法迭代时间，避免繁重的标注工作，快速迭代算法版本。
如图4所示，为本申请实施例提供的一种数据获取方法的应用示意图。其中，数据集中的数据(图像)显示在显示器中。相机传感器对显示在显示器中的图像进行拍摄，并对拍摄得到的图像进行重定向。然后，对重定向后的图像进行缺陷修复，并将数据集中的标签进行映射，以得到带标注的处理后的图像。为了使得上述处理后的图像与真实环境中的图像之间的差距较小，基于GAN网络进行风格迁移，进而得到带标注的raw图像，即为训练数据。
基于上述数据获取方法实施例的描述，本发明实施例还公开了一种数据获取装置。参考图5，图5是本发明实施例提供的一种数据获取装置的结构示意图，所述数据获取装置包括拍摄模块501、处理模块502和迁移模块503；其中：
拍摄模块501，用于对带标注的目标图像进行拍摄，以得到第一图像；
处理模块502，用于对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
迁移模块503，用于根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
其中，所述处理模块502，还用于：
根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系；
根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
所述迁移模块503，还用于：
根据所述第二图像和所述第三图像得到生成器和判别器；
根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
可选的，所述处理模块，还用于：
对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
所述迁移模块503，还用于：对所述更新后的第二图像进行风格迁移，以得到带标注的raw图像。
其中，所述缺陷包括以下至少一种：
镜头畸变、暗角、噪声、显示器导致的摩尔纹和/或水波纹。
进一步地，所述处理模块，还用于：
对所述第二图像进行裁剪，以得到仅包含所述目标图像的图像；
将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标注的第二图像；
所述迁移模块503，还用于：对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像。
值得指出的是，其中，数据获取装置的具体功能实现方式可以参见上述数据获取方法的描述，这里不再进行赘述。数据获取装置中的各个单元或模块可以分别或全部合并为一个或若干个另外的单元或模块来构成，或者其中的某个(些)单元或模块还可以再拆分为功能上更小的多个单元或模块来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元或模块是基于逻辑功能划分的，在实际应用中，一个单元(或模块)的功能也可以由多个单元(或模块)来实现，或者多个单元(或模块)的功能由一个单元(或模块)实现。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种数据获取设备。
请参见图6，是本发明实施例提供的一种数据获取设备的结构示意图。图6所示的数据获取设备600(该设备600具体可以是一种计算机设备)包括存储器601、处理器602、通信接口603以及总线604。其中，存储器601、处理器602、通信接口603通过总线604实现彼此之间的通信连接。
存储器601可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。
存储器601可以存储程序，当存储器601中存储的程序被处理器602执行时，处理器602和通信接口603用于执行本申请实施例的数据获取方法的各个步骤。
处理器602可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的数据获取装置中的单元所需执行的功能，或者执行本申请方法实施例的数据获取方法。
处理器602还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的数据获取方法的各个步骤可以通过处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器602还可以是通用处理器、数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器601，处理器602读取存储器601中的信息，结合其硬件完成本申请实施例的数据获取装置中包括的单元所需执行的功能，或者执行本申请方法实施例的数据获取方法。
通信接口603使用例如但不限于收发器一类的收发装置，来实现设备600与其他设备或通信网络之间的通信。例如，可以通过通信接口603获取数据。
总线604可包括在设备600各个部件(例如，存储器601、处理器602、通信接口603)之间传送信息的通路。
应注意，尽管图6所示的设备600仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，设备600还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，设备600还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，设备600也可仅仅包括实现本申请实施例所必须的器件，而不必包括图6中所示的全部器件。
本申请实施例还提供了一种芯片系统，所述芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行所述的数据获取方法。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应步骤过程的具体描述，在此不再赘述。
应理解，在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；其中A，B可以是单数或者复数。并且，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。同时，在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存取存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
依据以下条款可以更好地理解前述内容：
条款A1.一种数据获取方法，包括：
对带标注的目标图像进行拍摄，以得到第一图像；
对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
条款A 2.根据条款A1所述的方法，所述对所述第一图像进行重定向处理，以得到第二图像，包括：
根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系；
根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
条款A3.根据条款A1或A2所述的方法，所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的，包括：
根据所述第二图像和所述第三图像得到生成器和判别器；
根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
条款A4.根据条款A1至A3任一项所述的方法，所述方法还包括：
对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，包括：
根据第三图像对所述更新后的第二图像进行风格迁移，以得到带标注的raw图像。
条款A5.根据条款A4所述的方法，所述缺陷包括以下至少一种：
镜头畸变、暗角、噪声、显示器导致的摩尔纹和/或水波纹。
条款A6.根据条款A1至A5任一项所述的方法，所述方法还包括：
对所述第二图像进行裁剪，以得到仅包含所述目标图像的图像；
将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标注的第二图像；
所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，包括：
根据第三图像对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像。
条款A7.一种数据获取装置，包括：
拍摄模块，用于对带标注的目标图像进行拍摄，以得到第一图像；
处理模块，用于对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
迁移模块，用于根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
条款A8.根据条款A7所述的装置，所述处理模块，用于：
根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系；
根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
条款A9.根据条款A7或A8所述的装置，所述迁移模块，用于：
根据所述第二图像和所述第三图像得到生成器和判别器；
根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
条款A10.根据条款A7至A9任一项所述的装置，所述处理模块，还用于：
对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
所述迁移模块，还用于：
根据第三图像对所述更新后的第二图像进行风格迁移，以得到带标注的raw图像。
条款A11.根据条款A10所述的装置，所述缺陷包括以下至少一种：
镜头畸变、暗角、噪声、显示器导致的摩尔纹和/或水波纹。
条款A12.根据条款A7至A11任一项所述的装置，所述处理模块，还用于：
对所述第二图像进行裁剪，以得到仅包含所述目标图像的图像；
将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标注的第二图像；
所述迁移模块，还用于：
根据第三图像对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像。
条款A13.一种数据获取设备，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如条款A1-A6任一项所述的数据获取方法。
条款A14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如条款A1-A6任一项所述的数据获取方法。
条款A15.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如条款A1-A6任一项所述的数据获取方法。
条款A16.一种芯片系统，所述芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如条款A1至A6任意一项所述的数据获取方法。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种数据获取方法，其特征在于，包括：
对带标注的目标图像进行拍摄，以得到第一图像；
对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行重定向处理，以得到第二图像，包括：
根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系；
根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
3.根据权利要求1或2所述的方法，其特征在于，所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的，包括：
根据所述第二图像和所述第三图像得到生成器和判别器；
根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，包括：
根据第三图像对所述更新后的第二图像进行风格迁移，以得到带标注的raw图像。
5.根据权利要求4所述的方法，其特征在于，所述缺陷包括以下至少一种：
镜头畸变、暗角、噪声、显示器导致的摩尔纹和/或水波纹。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
对所述第二图像进行裁剪，以得到仅包含所述目标图像的图像；
将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标注的第二图像；
所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，包括：
根据第三图像对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像。
7.一种数据获取装置，其特征在于，包括：
拍摄模块，用于对带标注的目标图像进行拍摄，以得到第一图像；
处理模块，用于对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
迁移模块，用于根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
8.根据权利要求7所述的装置，其特征在于，所述处理模块，用于：
根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系；
根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
9.根据权利要求7或8所述的装置，其特征在于，所述迁移模块，用于：
根据所述第二图像和所述第三图像得到生成器和判别器；
根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
10.根据权利要求7至9任一项所述的装置，其特征在于，所述处理模块，还用于：
对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
所述迁移模块，还用于：
根据第三图像对所述更新后的第二图像进行风格迁移，以得到带标注的raw图像。
11.根据权利要求10所述的装置，其特征在于，所述缺陷包括以下至少一种：
镜头畸变、暗角、噪声、显示器导致的摩尔纹和/或水波纹。
12.根据权利要求7至11任一项所述的装置，其特征在于，所述处理模块，还用于：
对所述第二图像进行裁剪，以得到仅包含所述目标图像的图像；
将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标注的第二图像；
所述迁移模块，还用于：
根据第三图像对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像。
13.一种数据获取设备，其特征在于，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-6任一项所述的数据获取方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-6任一项所述的数据获取方法。
15.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的数据获取方法。
16.一种芯片系统，其特征在于，所述芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至6任意一项所述的数据获取方法。
CN202210274652.9A 2022-03-18 2022-03-18 数据获取方法、装置、设备及系统 Pending CN116823590A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210274652.9A CN116823590A (zh) 2022-03-18 2022-03-18 数据获取方法、装置、设备及系统
PCT/CN2023/079307 WO2023174068A1 (zh) 2022-03-18 2023-03-02 数据获取方法、装置、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210274652.9A CN116823590A (zh) 2022-03-18 2022-03-18 数据获取方法、装置、设备及系统

Publications (1)

Publication Number Publication Date
CN116823590A true CN116823590A (zh) 2023-09-29

Family

ID=88022353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210274652.9A Pending CN116823590A (zh) 2022-03-18 2022-03-18 数据获取方法、装置、设备及系统

Country Status (2)

Country Link
CN (1) CN116823590A (zh)
WO (1) WO2023174068A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389157A (zh) * 2018-01-11 2018-08-10 江苏四点灵机器人有限公司 一种三维全景图像快速拼接方法
CN110335307B (zh) * 2019-06-26 2021-07-09 Oppo广东移动通信有限公司 标定方法、装置、计算机存储介质和终端设备
CN113496235A (zh) * 2020-03-19 2021-10-12 阿里巴巴集团控股有限公司 图像处理方法、装置及系统、存储介质、计算设备
CN112232425B (zh) * 2020-10-21 2023-11-28 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及电子设备
CN112738487B (zh) * 2020-12-24 2022-10-11 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2023174068A1 (zh) 2023-09-21

Similar Documents

Publication Publication Date Title
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2020171373A1 (en) Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
US10924729B2 (en) Method and device for calibration
WO2018176938A1 (zh) 红外光斑中心点提取方法、装置和电子设备
CN113992861B (zh) 一种图像处理方法及图像处理装置
CN109474780B (zh) 一种用于图像处理的方法和装置
CN110675336A (zh) 一种低照度图像增强方法及装置
CN108055452A (zh) 图像处理方法、装置及设备
WO2017078847A1 (en) Fusion of panoramic background images using color and depth data
CN109005368B (zh) 一种高动态范围图像的生成方法、移动终端及存储介质
Brummer et al. Natural image noise dataset
CN110717942A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109247068A (zh) 用于滚动快门补偿的方法和设备
AU2016358299A1 (en) Method for generating high-dynamic range image, camera device, terminal and imaging method
CN109286758B (zh) 一种高动态范围图像的生成方法、移动终端及存储介质
An et al. Single-shot high dynamic range imaging via deep convolutional neural network
CN107704798A (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
Vijay et al. Non-uniform deblurring in HDR image reconstruction
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
CN114331902B (zh) 一种降噪方法、装置、电子设备及介质
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
CN113159229A (zh) 图像融合方法、电子设备及相关产品
CN114298942A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN107295261B (zh) 图像去雾处理方法、装置、存储介质和移动终端
CN109410308A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination