CN114520890A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN114520890A
CN114520890A CN202011306955.1A CN202011306955A CN114520890A CN 114520890 A CN114520890 A CN 114520890A CN 202011306955 A CN202011306955 A CN 202011306955A CN 114520890 A CN114520890 A CN 114520890A
Authority
CN
China
Prior art keywords
image
sub
frame
data
optimal frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011306955.1A
Other languages
English (en)
Other versions
CN114520890B (zh
Inventor
刘栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011306955.1A priority Critical patent/CN114520890B/zh
Priority to PCT/CN2021/130985 priority patent/WO2022105757A1/zh
Publication of CN114520890A publication Critical patent/CN114520890A/zh
Application granted granted Critical
Publication of CN114520890B publication Critical patent/CN114520890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法及装置，应用于分布式系统中的子设备，分布式系统包括主设备和多个子设备，该方法包括：采集预设时间段内的多帧图像的图像数据；对图像数据进行特征提取，获得各帧图像的特征数据；将各帧图像的特征数据输入预测模型进行预测，输出各帧图像的预测结果；根据预测结果，确定多帧图像中的至少一个最优帧图像；将最优帧图像发送到主设备，其中来自各子设备的最优帧图像用于生成合成图像。根据本申请实施例的图像处理方法，可以在提升分布式场景中的设备的处理能力的同时，节约硬件成本和数据传输成本。

Description

图像处理方法及装置
技术领域
本申请涉及终端技术领域，尤其涉及一种图像处理方法及装置。
背景技术
随着移动设备的普及，设备间的协作使用也更加方便，多个的设备的连接场景也越来越多地出现在人们的生活当中。例如，使用多个设备进行视频通话以及多人语音聊天等。在这些多设备的连接场景中，每个设备都需要接收其他设备采集到的大量图像数据和语音数据并进行即时处理，对每个设备的处理能力都有较高的要求，且设备之间传输的数据量也比较多，导致设备成本和数据传输的成本较高。
因此，在多设备的连接场景中，如何以较小的成本提升设备的数据处理能力成为亟待解决的问题。
发明内容
有鉴于此，提出了一种图像处理方法，可以在提升分布式场景中的设备的处理能力的同时，节约成本。
第一方面，本申请的实施例提供了一种图像处理方法，应用于分布式系统中的子设备，所述分布式系统包括主设备和多个子设备，所述方法包括：
采集预设时间段内的多帧图像的图像数据；对所述图像数据进行特征提取，获得各帧图像的特征数据；将各帧图像的所述特征数据输入预测模型进行预测，输出各帧图像的预测结果；根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像；将所述最优帧图像发送到主设备，其中来自各子设备的所述最优帧图像用于生成合成图像。
根据本申请实施例的图像采集方法，通过使用多个子设备采集多帧图像，并对多个子设备采集的图像进行特征提取，能够获得帧图像的特征数据，多个子设备分别将帧图像的特征数据输入到预测模型中，可以获得与帧图像的质量好坏相关的预测结果。使得子设备能够先根据预测结果确定出质量好的最优帧图像，在传输图像数据到主设备的时候，就可以仅传输最优帧图像，降低数据传输的成本；子设备传输的最优帧图像最终可合成图像，合成图像可具有更好的质量或更宽的视角，进一步提高分布式系统获得的图像的质量或视角范围。并且，子设备不需进行大量数据传输，对硬件成本要求不高，可以支持以较小的成本在小型应用场景中的使用，对于大型应用场景中，进行场景扩展的花费也较低，因此可以适用在多样化的应用场景中。
根据第一方面，在所述图像处理方法的第一种可能的实现方式中，所述特征数据包括由所述图像数据的多个特征的值组成的特征向量。通过这种方式，能够将帧图像的属性信息数值化，以便对帧图像对应的预测结果进行量化，通过多维度、适当的特征的选取，能够使得预测结果更准确地表达帧图像质量的优劣，通过准确地选取出质量高的最优帧图像，来保障最终合成图像的质量。
根据第一方面，在所述图像处理方法的第二种可能的实现方式中，所述预测结果为评分，根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像，包括：将评分最高的预测结果对应的图像确定为最优帧图像。
根据第一方面，或以上第一方面的任意一种可能的实现方式，在所述图像处理方法的第三种可能的实现方式中，所述特征数据包括明亮度和色度的比例和分布、图像分辨率、每帧图像数据大小中的一种或多种。
第二方面，本申请的实施例提供了一种图像处理方法，所述方法应用于分布式系统中的主设备，所述分布式系统包括主设备和多个子设备，所述方法包括：接收各子设备发送的最优帧图像，所述最优帧图像是子设备从采集的预设时间段内的多帧图像中确定的；将对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像。
根据第二方面，在所述图像处理方法的第一种可能的实现方式中，所述方法还包括：
采集预设时间段内的多帧图像的图像数据；对所述图像数据进行特征提取，获得各帧图像的特征数据；将各帧图像的所述特征数据输入预测模型进行预测，输出各帧图像的预测结果；根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像；将对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像，包括：将主设备确定的最优帧图像，与对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像。
通过这种方式，可以将主设备也用于图像采集，进一步降低了分布式场景的成本，并扩大了分布式场景的适用范围。
根据第二方面的第一种可能的实现方式，在所述图像处理方法的第二种可能的实现方式中，所述特征数据包括由所述图像数据的多个特征的值组成的特征向量。
根据第二方面的第一种可能的实现方式，在所述图像处理方法的第三种可能的实现方式中，所述预测结果为评分，根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像，包括：将评分最高的预测结果对应的图像确定为最优帧图像。
根据第二方面的第二种或第三种可能的实现方式中的任意一种，在所述图像处理方法的第四种可能的实现方式中，所述特征数据包括明亮度和色度的比例和分布、图像分辨率、每帧图像数据大小中的一种或多种。
根据第二方面的第一种可能的实现方式，在所述图像处理方法的第五种可能的实现方式中，将对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像，包括：对各最优帧图像对应位置的像素值进行加权求和，得到合成图像，或者对各最优帧图像进行拼接，得到合成图像。
合成图像可具有更好的质量或更宽的视角，进一步提高分布式系统获得的图像的质量或视角范围。
第三方面，本申请的实施例提供了一种图像处理装置，所述装置应用于分布式系统中的子设备，所述分布式系统包括主设备和多个子设备，所述装置包括：图像采集模块，用于采集预设时间段内的多帧图像的图像数据；特征提取模块，用于对所述图像数据进行特征提取，获得各帧图像的特征数据；预测模块，用于将各帧图像的所述特征数据输入预测模型进行预测，输出各帧图像的预测结果；最优帧确定模块，用于根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像；数据发送模块，用于将所述最优帧图像发送到主设备，其中来自各子设备的所述最优帧图像用于生成合成图像。
根据第三方面，在所述图像处理装置的第一种可能的实现方式中，所述特征数据包括由所述图像数据的多个特征的值组成的特征向量。
根据第三方面，在所述图像处理装置的第二种可能的实现方式中，所述预测结果为评分，所述最优帧确定模块，还用于将评分最高的预测结果对应的图像确定为最优帧图像。
根据第三方面，或以上第三方面的任意一种可能的实现方式，在所述图像处理装置的第三种可能的实现方式中，所述特征数据包括明亮度和色度的比例和分布、图像分辨率、每帧图像数据大小中的一种或多种。
第四方面，本申请的实施例提供了一种图像处理装置，所述装置应用于分布式系统中的主设备，所述分布式系统包括主设备和多个子设备，所述装置包括：数据接收模块，用于接收各子设备发送的最优帧图像，所述最优帧图像是子设备从采集的预设时间段内的多帧图像中确定的；合成模块，用于将对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像。
根据第四方面，在所述图像处理装置的第一种可能的实现方式中，所述装置还包括：
图像采集模块，用于采集预设时间段内的多帧图像的图像数据；特征提取模块，用于对所述图像数据进行特征提取，获得各帧图像的特征数据；预测模块，用于将各帧图像的所述特征数据输入预测模型进行预测，输出各帧图像的预测结果；最优帧确定模块，用于根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像；合成模块，还用于将主设备确定的最优帧图像，与对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像。
根据第四方面的第一种可能的实现方式，在所述图像处理装置的第二种可能的实现方式中，所述特征数据包括由所述图像数据的多个特征的值组成的特征向量。
根据第四方面的第一种可能的实现方式，在所述图像处理装置的第三种可能的实现方式中，所述预测结果为评分，所述最优帧确定模块还用于，将评分最高的预测结果对应的图像确定为最优帧图像。
根据第四方面的第二种或第三种可能的实现方式中的任意一种，在所述图像处理装置的第四种可能的实现方式中，所述特征数据包括明亮度和色度的比例和分布、图像分辨率、每帧图像数据大小中的一种或多种。
根据第四方面的第一种可能的实现方式，在所述图像处理装置的第五种可能的实现方式中，所述合成模块还用于，对各最优帧图像对应位置的像素值进行加权求和，得到合成图像，或者对各最优帧图像进行拼接，得到合成图像。
第五方面，本申请的实施例提供了一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；该装置可以执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的图像处理方法，或者执行上述第二方面或者第二方面的多种可能的实现方式中的一种或几种的图像处理方法。
第六方面，本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令在传输装置中运行时，所述图像处理装置中的处理器执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的图像处理方法，或者执行上述第二方面或者第二方面的多种可能的实现方式中的一种或几种的图像处理方法。
第七方面，本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的图像处理方法，或者执行上述第二方面或者第二方面的多种可能的实现方式中的一种或几种的图像处理方法。
本申请的这些和其他方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出现有技术的分布式相机框架的示意图。
图2示出根据本申请实施例的一个示例性应用场景。
图3示出根据本申请实施例的分布式场景的软件架构图。
图4示出根据本申请实施例的图像处理方法的流程图。
图5示出根据本申请实施例的一种采样格式的示意图。
图6示出根据本申请实施例的回归函数的曲线的示意图。
图7示出根据本申请实施例的图像处理方法的流程图。
图8示出根据本申请实施例的图像处理方法的流程图。
图9示出根据本申请实施例的图像处理装置的框图。
图10示出根据本申请实施例的图像处理装置的框图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
图1示出现有技术的分布式相机框架的示意图，如图1所示，整个分布式框架分为任务队列及调度服务、视频切割服务、算法分析服务、数据中心四个大部分，其中，任务队列及调度服务、视频切割服务以及数据中心基于存储视频数据的终端设备实现，算法分析服务由算法服务器实现。在视频文件内容输入终端设备之后首先会进入任务队列排队，等待调度服务处理。当有算法服务器空闲时，从队列中取出视频文件，基于视频切割服务处理视频文件，将视频文件切割成多个部分；空闲的算法服务器对切割后的视频文件进行分析，分析的结果回调至终端设备的数据中心，在数据中心中对分析结果进行合并处理，合并后的分析结果存储在数据中心中。缺点在于，单机处理视频资源的时候，使用算法，尤其是AI等较复杂算法进行处理的时候，对单个设备的处理器的处理能力有较高的要求，因此，对分布式场景进行扩展具有较大的成本；并且，对于个人用户以及预算较低的用户来说，设备成本太高，不适用于家庭等小范围的使用。
为了解决上述技术问题，本申请实施例提供了一种图像处理方法，本申请实施例的图像处理方法能够实现最优帧图像的分别获取与合成，该方法可以应用于终端设备，从而在提高设备的处理能力的同时节约成本。
图2示出根据本申请实施例的一个示例性应用场景。如图1所示，分布式场景中包括主设备201、子设备202、203、204，其中，每个子设备配备摄像头，用于获取周围环境的信息(例如，景物)，其中，摄像头具有视频拍摄或照片拍摄的功能。
主设备和子设备可以是具有图像采集、处理和传输功能的任意类型的设备，例如，子设备可以是摄像头，主设备可以是计算机、服务器、智能终端等计算设备，主设备和子设备可以是相同或不同类型的设备。
在一种可能的实现方式中，每个子设备包括训练好的预测模型，使得子设备可以从拍摄视频或照片时采集到的多帧图像中确定最优帧图像。其中，最优帧图像表示质量最好的帧图像。每个子设备将自身选取的最优帧图像输出到主设备，主设备可以对多个最优帧图像进行合成，使得展示给用户的照片、或者视频的每一帧都是合成后的帧图像。
在一种可能的实现方式中，主设备包括摄像头和预测模型时，主设备也可以用于确定最优帧图像。主设备确定的最优帧图像可以与主设备接收到的子设备确定的最优帧图像进行合成。
合成方式可以有多种选择。可以对角度相近的设备输出的最优帧图像相应像素点的值进行加权求和，以提高图像质量，对角度差别较大的最优帧图像，可以采用拼接的合成方式显示，形成广角或全景的效果。
图3示出根据本申请实施例的分布式场景的软件架构图。如图3所示，实现本实施例的图像处理方法的软件架构中，分为主设备的软件架构和子设备的软件架构，主设备的软件架构包括：
相机应用层，用于提供多个相机应用程序供用户进行拍摄选择。
相机框架层，用于对外界提供相机功能。
相机服务层，用于控制相机完成不同的拍摄功能并获取相机采集的数据；还可用于注册虚拟相机，即，将子设备的摄像头虚拟为硬件抽象层的虚拟相机，或者，将子设备的摄像头支持的拍摄功能虚拟为相机服务层的虚拟相机服务。其中，虚拟相机的能力与子设备的物理相机的能力对应，虚拟相机服务的能力与子设备的相机服务层的能力对应。
硬件抽象层，包括相机(物理相机和虚拟相机)，通过硬件抽象层既可以访问主设备的物理相机(比如：前置摄像头的数据、后置摄像头的数据等)，也可以访问基于子设备的物理相机确定的虚拟相机。硬件抽象层也可包括算法单元，用于储存与物理相机拍摄的图像数据的处理相关的算法。
会话层，包括控制会话单元和数据会话单元，控制会话单元用于进行控制信息(例如，指令)的传输，数据会话单元用于进行数据信息(例如，帧图像数据)传输，在本申请实施例中，可以是主设备的控制会话单元输出控制子设备的相机的指令，并接收子设备的数据会话单元传输的最优帧图像的图像数据。
子设备的软件架构包括：
相机应用层，用于提供相机代理服务，控制主设备与子设备之间的数据传输，包括：能力采集单元、数据处理单元、相机安全单元、QOS策略单元、相机命令通道、控制会话单元、数据会话单元和相机控制单元。
相机框架层，用于对外界提供相机功能。
相机服务层，用于控制相机完成不同的拍摄功能并获取相机采集的数据。
硬件抽象层，包含相机(物理相机)，通过硬件抽象层可以访问子设备的物理相机(比如：前置摄像头的数据、后置摄像头的数据等)。硬件抽象层也可包括算法单元，用于储存与物理相机拍摄的图像数据的处理相关的算法。
在一种可能的实现方式中，本申请实施例的分布式场景中可能包括多个设备，主设备通过连接多个子设备，可以在主设备中注册多个虚拟相机。在使用主设备的相机功能时，先向主设备的系统查询是否存在虚拟相机，在存在虚拟相机时，通过主设备的相机服务层获取主设备的虚拟相机的相关信息。虚拟相机与物理相机可具有不同的标签，可以基于虚拟相机的标签准确获取虚拟相机的视频数据。
在一种可能的实现方式中，主设备的会话层还用于发现可供连接的其他设备，并与发现的子设备通过认证授权建立连接。认证授权的方式可以为弹框授权，例如，弹出要求密码验证的控件，通过PIN码验证的方式进行认证授权。本领域技术人员应理解，认证授权可以有多种实施方式，本申请对此不做限制。
在一种可能的实现方式中，认证授权通过的两个设备之间可以进行数据交换，在一方是计算能力较强的主设备时，可以获取另一方的子设备的物理相机的参数，并在主设备的硬件抽象层注册与子设备的物理相机对应的虚拟相机。相机的参数获取可由主设备发出控制指令，通过相机命令通道传输至子设备的能力采集单元，获得相机具备的功能(例如：拍摄模式、可调焦距、分辨率等)。
在一种可能的实现方式中，用户在使用主设备的虚拟相机时，用户的操作请求会由主设备发送至子设备。子设备的相机安全单元检测到主设备的操作请求，可以触发访问提醒，以悬浮窗的形式显示；如果想要进一步地提升设备进行数据传输的安全性，可以设置二次校验，如果校验未通过，相机安全单元可限制子设备上的物理相机对操作请求的响应。
在一种可能的实现方式中，经过相机安全单元的保障，主设备的操作请求可以被子设备上的相机控制单元接收，其中，操作请求中可包括主设备希望子设备的物理相机完成的功能。子设备可以通过相机框架层将操作请求传递至相机服务层，由相机服务层对子设备的硬件抽象层的物理相机进行操控。
在一种可能的实现方式中，子设备的算法单元包括预测模型，根据该模型的预测结果，子设备可确定最优帧图像。其中，最优帧图像是一段时间内采集得到的质量最好的帧图像。最优帧图像的图像数据可以经子设备的硬件抽象层、相机服务层、相机框架层以及相机控制单元、数据处理单元，到达子设备的数据会话单元，再传输至主设备的数据会话单元。可通过QOS策略单元提高图像数据的传输质量。
主设备的数据会话单元接收到最优帧图像的图像数据后，可以经主设备的硬件抽象层、相机服务层、相机框架层，最终以图像形式在主设备的相机应用层的应用程序的界面进行显示。当上述过程以较高的频率重复进行时，用户就可以在主设备上看到由快速切换的图像形成的视频。
在一种可能的实现方式中，在主设备的物理相机参与图像采集时，主设备的算法单元的预测模型也进行预测；针对算法单元的输出的预测结果，主设备也可确定最优帧图像。针对主设备确定的最优帧图像和子设备确定的最优帧图像，主设备可以对获得的全部最优帧图像进行合成，得到质量更好的图像，再显示在应用程序的显示界面上。这样，用户可以看到质量更好的照片和视频。
图4示出根据本申请实施例的图像处理方法的流程图。如图4所示，本申请实施例的方法应用于分布式系统中的子设备，所述分布式系统包括主设备和多个子设备，该方法包括：
S41，采集预设时间段内的多帧图像的图像数据。
举例来说，在拍摄照片或视频时，可以控制子设备的相机的图像采集频率，使得子设备的相机能够在预设的时间段内采集到多帧图像的图像数据。预设时间段可以根据需要进行设置，例如可以在子设备上手动设置、或根据子设备的物理参数自动设置，也可以根据主设备发出的操作指令的指示进行设置。例如，如果用户设置每15帧选取一帧最优帧图像，而子设备拍摄视频的帧频是30帧/秒，则预设时间段为0.5秒。
在一种可能的实现方式中，拍摄指令可以为触发拍照应用的拍照按键或触发多个功能控件以及拍照按键的指令。用户可以打开主设备的相机应用，在相机应用中查看虚拟相机的拍摄功能，并发出指示虚拟相机(即子设备的物理相机)应用至少一种拍摄功能进行拍摄的指令，例如，选择相应的功能控件“柔光”+“30帧/秒”+“1秒”+“闪光灯开启”，子设备按照指令的明确指示进行拍摄，在柔光模式下开启闪光灯，以30帧/秒的频率进行图像采集，采集为时一秒。用户也可以进行模糊指示，例如，用户发出仅指示虚拟相机拍摄的简单拍摄指令，子设备可按照当前相机参数进行拍摄，也可自行对图像采集区域内可能存在的目标对象进行识别，并根据目标对象的状态，进行简单参数调整，例如，识别到的目标对象是处在阴影处的一株植物，子设备可自动进行对焦，调节曝光度等。本申请对此不做限制。
在一种可能的实现方式中，拍摄指令也可以是视频拍摄指令，预设时间段可以是预先设置的时间段，例如0.5秒，则子设备可以对连续拍摄的视频数据中，每个0.5秒内拍摄到的多个视频帧图像进行处理，得到每个0.5秒钟内拍摄到的多个视频帧图像中的最优帧图像。
S42，对所述图像数据进行特征提取，获得各帧图像的特征数据。
举例来说，子设备可包括能够实现特征提取的算法模型，用于对子设备采集到的多帧图像进行图像特征的提取。其中，特征提取的方式可与帧图像的特征工程有关。例如，特征工程可以确定采集到的图像的分辨率，数据大小以及像素的明亮度与色度的比例和分布等等与图像数据相关的属性(或特征)，并获得帧图像在相应的属性下的数值。特征工程所选取的属性可以是各子设备共同的、且能够反映图像质量的属性。特征数据可包括由图像数据的多个特征的值组成的特征向量，例如，子设备可将特征工程确定的每个属性作为向量的一个或多个维度，多个属性共同组成向量的多个维度，使得通过特征提取可以得到包含数值的特征向量，即特征数据。
在一种可能的实现方式中，特征工程可以根据具体应用场景确定，并在拍摄开始之前根据确定的特征工程对算法模型的参数作出调整。其中，可设置同一应用场景中的多个设备的特征工程相同。
在一种可能的实现方式中，所述特征数据包括明亮度和色度的比例和分布、图像分辨率、每帧图像数据大小中的一种或多种。
可经过特征工程选取包括明亮度和色度的比例和分布、图像分辨率、每帧图像数据等特征(或属性)来表示图像的质量，并以这些特征的值构成的特征向量作为特征数据，来预测最优帧图像，通过这种方式，能够将帧图像的属性信息数值化，以便对帧图像对应的预测结果进行量化，通过多维度、适当的特征的选取，能够使得预测结果更准确地表达帧图像质量的优劣，通过准确地选取出质量高的最优帧图像，来保障最终合成图像的质量。
举例来说，明亮度和色度的比例和分布可以通过YUV采样格式来表示。在YUV格式的帧图像中，"Y"表示明亮度(Luminance或Luma)，也就是灰阶值；而"U"和"V"表示的则是色度(Chrominance或Chroma)，作用是描述影像的色彩及饱和度，用于指定像素的颜色。人眼对UV的敏感度较低，在某些情况下，为了减少数据的传输量，可以对UV两个通道的采样的数量进行压缩。且对于图像而言，相邻的区域像素的色彩、饱和度一般非常接近，因此，可以使用4：2：0、4:1:1等采样格式进行采样。
在一种可能的实现方式中，在4：2：0的采样格式中，对每行像素点来说，只有一种色度分量是以2：1的抽样率来存储的。相邻的两行像素点存储着不同的色度分量，也就是说，如果某一行的Y:U:V是4:2:0,那么其下一行的Y:U:V就是4:0:2,再下一行Y:U:V就是4:2:0,以此类推。对于每个色度分量(U或V)来说，水平方向与竖直方向的采样率都是2：1，所以，在4：2：0的采样格式中，明亮度与色度的采样率的比例是4：1，使得每2*2的像素矩阵，存储4个Y值，1个U值，1个V值。图5示出4：2：0的采样格式的示意图。
在一种可能的实现方式中，图像的分辨率是图像中单位面积(例如每英寸)的水平像素数与竖直像素数的乘积，用来表现图像中存储的信息量。帧数据大小是该图像所占用的字节数，用来表示图像在存储时占用的体积。
在一种可能的实现方式中，所述特征数据包括由所述图像数据的多个特征的值组成的特征向量。
在一个示例中，特征数据可以为帧图像的分辨率以及帧图像的数据大小构成的特征向量。例如，帧图像的分辨率可以为768*692(结果为531456)，数据大小可以为114K，则特征向量可以为(531456,114)或者(768,692,114)。
又例如，特征数据可以为亮度和色度的比例和分布、帧图像的分辨率以及帧图像的数据大小构成的特征向量，比如帧图像的YUV采样格式为4:2:0，帧图像的分辨率可以为768*692(结果为531456)，数据大小可以为114K，则特征向量可以为(4,2,0，531456,114)。
S43，将各帧图像的所述特征数据输入预测模型进行预测，输出各帧图像的预测结果。
在一种可能的实现方式中，所述预测结果为评分，根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像，包括：将评分最高的预测结果对应的图像确定为最优帧图像。
举例来说，预测结果可以是针对各帧图像的评分，评分可表示对图像质量的评估结果，评分的高低可以与图像质量的好坏正相关，可以将评分最高的预测结果对应的图像确定为最优帧图像。
在一种可能的实现方式中，预测模型是根据作为样本的帧图像的特征数据进行训练得到的模型，训练好的预测模型可以对输入的特征数据进行预测，输出一个预测结果。其中，预测结果可以是预测模型对特征数据的打分，分数越高表示特征数据对应的帧图像质量越好，分数越低表示特征数据对应的帧图像的质量越差。
在一种可能的实现方式中，预设模型可以基于预设的样本图像集进行训练得到。其中，样本图像集可以是一组分数已知的帧图像，评分可以由人工标定。可采用交叉验证的方式，将样本图像集分为训练集和测试集两个部分，例如，可将样本图像集中80％的图像划分至训练集，将剩余的20％划分为测试集。其中，训练集和测试集的样本图像不同，分别用于预测模型训练阶段和测试阶段。
在一种可能的实现方式中，预测模型可以包括神经网络中的回归模型等任意形式的预测模型。本申请实施例不限制预测模型的类型。
举例来说，在预测模型的训练阶段，可根据神经网络中的回归模型，建立初始的预测模型。回归函数的公式的一个示例如公式(1)所示，
Figure BDA0002788580830000091
其中，z是回归函数的输入，g(z)是回归函数的输出，函数的曲线如图6所示。
结合图6可知，对于任意的z，其对应的g都是0-1之间的数值，预设一组参数向量θ，使z＝θTx，g(z)＝g(θTx)＝hθ(x)，则得到公式(2)所示的初始预测模型，
Figure BDA0002788580830000092
其中，x是输入的帧图像特征数据，h是对输入的特征数据对应的帧图像的好坏程度的评价，即预测结果，0<h<1。在h的值越大时，表示帧图像的质量越好。
在一种可能的实现方式中，θ可以是预测模型的一组超参数，训练预测模型的目的在于确定满足输入特征数据后能够获得有一定准确度的评分的预测模型的θ的值。在训练过程开始之前，先设置θ的值。在训练过程中，训练集的每个帧图像的h是已知的，每个帧图像在特征提取后的特征数据x输入初始预测模型后，可以得到一个h值，根据预测得到的h的值与真实的h值，可以对θ进行优化。例如，可通过网格搜索和贝叶斯搜索对θ的值进行调整。
在一种可能的实现方式中，网格搜索是通过对所有可能的θ值进行逐一搜索验证，以得到最优的θ的值。贝叶斯搜索是通过建立一个可以进行参数优化的目标函数，通过上一次的搜索的θ值以及该搜索结果下得到的准确率，更新用于本次搜索的目标函数的参数，使得本次搜索的θ值更优。本领域人员应理解，本申请使用的网格搜索和贝叶斯搜索仅为实现对参数的调整的一种实现方式，在实际应用中，可以采用多样化的调节参数的方式，对预测模型的参数进行调节，本申请对此不作限制。
在一种可能的实现方式中，在测试阶段，可以将测试集的样本图像的特征数据输入经训练集训练过的预测模型，对预测模型的预测的准确率进行测试。在测试集的全部样本图像进行预测完毕后，可以根据预测结果对应的分数与真实分数，对预测准确率进行计算。例如，可统计预测模型预测的测试集中每一帧样本图像的分数，与真实分数的差值的绝对值，再对测试集的样本图像的数量进行平均，得到一个数值，在该数值小于预设的阈值时，认为预测模型是准确的。本领域技术人员应理解，确定准确率的方式应不止上述方法，本申请对此不作限制。
在一种可能的实现方式中，在预测模型准确度达到要求后，预测模型可用于对采集得到的多帧图像的特征数据进行预测。在预测模型准确度未达到要求时，需要重新对预测模型进行训练。可以重新划分训练集和测试集，或者，选取另一个样本图像集进行训练和测试。本申请对此不作限制。
在一种可能的实现方式中，预设模型可以在训练完成后，下载至各子设备，并在需要时进行重新训练和更新。例如，训练好的预测模型可编译为so文件，部署在各子设备和/或主设备上。
预测模型可以选取基于AI算法的预测模型，以识别最优帧图像，可采用本地训练再部署至设备的方式，使得AI能力扩展到分布式框架中，提升了分布式相机框架的能力，后续可以在分布式框架的基础上构建对应的AI算法的能力，为后续扩展单设备的AI能力打下基础。提升单设备的性能，同时降低单设备的成本。
S44，根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像。
举例来说，子设备可以分别分析获得的多帧图像的特征数据，并根据多个特征数据获得多帧图像对应的预测结果。其中，预测结果用于表现帧图像的质量好坏的程度，子设备通过对得到的多个预测结果进行比较，可以确定质量最好的帧图像，即最优帧图像。其中，子设备确定的最优帧图像可以是该子设备在预设时间段内采集到的多个帧图像中预测结果最大的帧图像。在预测结果最大的帧图像不止一个时，子设备可将多个预测结果最大的帧图像均确定为最优帧图像，也可将多个预测结果最大的帧图像进行合成(例如加权求和)，得到最优帧图像。
在一种可能的实现方式中，可以设置一个阈值，使得成为最优帧的帧图像，在满足预测结果最大的同时，还须满足超出预设阈值的条件，进一步地提升最优帧图像的质量。本申请对确定最优帧图像的具体方式不作限制。
S45，将所述最优帧图像发送到主设备，其中来自各子设备的所述最优帧图像用于生成合成图像。
例如，子设备获得的最优帧图像可以发送到主设备，并且可以用于合成一张质量更好的合成图像，合成图像可以是根据子设备的预测结果生成对应的权值，并对多个最优帧图像的像素的值与权值进行加权求和后得到的图像，每个最优帧图像对应的权值可以与该最优帧图像对应的预测结果成正相关，预测结果表示图像质量越高时，对应的权值越大。又例如，如果某个子设备的硬件参数远超其他子设备，此时，再进行融合可能反而会降低及图像的质量，在确定权值时，可以将该子设备输出的最优帧图像的权值确定为1，其他最优帧图像的权值确定为0，保证合成后图像的质量。也可以将各子设备对应权值均设置为1，使得合成图像是各最优帧图像的均值。
合成图像也可以是对最优帧图像进行拼接得到的图像，例如，在同一场景中，各子设备可以设置为以不同的视角或拍摄方向进行拍摄，可以按照各子设备提供的最优帧图像的方位顺序进行拼接，以形成视角范围更大的合成图像。
在一种可能的实现方式中，也可以在同一个拍摄方向放置多个子设备，主设备可先对同一拍摄方向的子设备提供的最优帧图像进行加权求和，再按照拍摄方向进行拼接。本申请对生成合成图像的方式不做限制。
根据本申请实施例的图像采集方法，通过使用多个子设备采集多帧图像，并对多个子设备采集的图像进行特征提取，能够获得帧图像的特征数据，多个子设备分别将帧图像的特征数据输入到预测模型中，可以获得与帧图像的质量好坏相关的预测结果。使得子设备能够先根据预测结果确定出质量好的最优帧图像，在传输图像数据到主设备的时候，就可以仅传输最优帧图像，降低数据传输的成本；子设备传输的最优帧图像最终可合成图像，合成图像可具有更好的质量或更宽的视角，进一步提高分布式系统获得的图像的质量或视角范围。并且，子设备不需进行大量数据传输，对硬件成本要求不高，可以支持以较小的成本在小型应用场景中的使用，对于大型应用场景中，进行场景扩展的花费也较低，因此可以适用在多样化的应用场景中。
图7示出根据本申请实施例的图像处理方法的流程图。如图7所示，本申请实施例的方法应用于分布式系统中的主设备，该方法包括：
S51，接收各子设备发送的最优帧图像，所述最优帧图像是子设备从采集的预设时间段内的多帧图像中确定的；
S52，将对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像。
举例来说，子设备可以将根据预测结果确定的最优帧图像发送给主设备，由主设备进行接收。每个最优帧图像可以对应于子设备的标识，以及预设时间段的时间标识，以标识该最优帧图像由哪个子设备、在哪个预设时间段采集。主设备可以将来自不同子设备的、相同预设时间段中选取的最优帧图像进行合成，得到合成图像。在视频拍摄的场景下，各子设备提供的最优帧图像可存储在主设备中，例如各子设备提供每秒2个最优帧图像，主设备可将对应于相同预设时间段的最优帧图像形成合成图像，并将各合成图像按照视频要求的帧频(例如30帧/秒)的间隔形成视频数据。
在一种可能的实现方式中，主设备主要用于对最优帧图像进行合成，在主设备尚有余力，且能够完成图像采集的情况下，也可以使主设备也用于多帧图像的采集以及最优帧的确定。在子设备和主设备为相同类型或具有相同功能的设备时，也可以根据需要指定其中哪些设备作为子设备，哪些作为主设备。
图8示出根据本申请实施例的图像处理方法的流程图。如图8所示，所述方法还包括：
S501，采集预设时间段内的多帧图像的图像数据。
S502，对所述图像数据进行特征提取，获得各帧图像的特征数据。
S503，将各帧图像的所述特征数据输入预测模型进行预测，输出各帧图像的预测结果。
S504，根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像。
在一种可能的实现方式中，在主设备和子设备均用于图像采集时，主设备应用的特征工程得到的特征数据的种类和主设备使用的预测模型可以与子设备相同。主设备的特征数据、预测结果和最优帧的获得可以与S41-S44中子设备采用的技术手段相同，为了简洁，在此不再赘述。
在一种可能的实现方式中，在步骤S52中，可将主设备确定的最优帧图像，与对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像。
例如，可以对各最优帧图像对应位置的像素值进行加权求和，得到合成图像，或者对各最优帧图像进行拼接，得到合成图像。生成合成图像的示例性方式可参见上文。
通过这种方式，可以将主设备也用于图像采集，进一步降低了分布式场景的成本，并扩大了分布式场景的适用范围。
在一个示例性应用场景中，各子设备可以是车辆中布置的车载摄像头，各摄像头拍摄不同视角的车外环境画面，主设备可以是车辆中的控制器，例如VCU(整车控制器,vehicle control unit)，整车控制器可接收个摄像头拍摄的实时画面中选取的最优帧图像并进行拼接得到合成图像，形成360度摄像头拍摄的效果，扩展驾驶员全方位的视野，同时降低设备的成本。
在另一个示例性应用场景中，可以将比赛场地周围全覆盖摄像头，以不同视角采集比赛场地的实时视频图像，并选取最优帧图像发送给服务端设备，服务端设备可对最优帧图像进行合成形成合成图像，连续时间的合成图像构成视频流，可进行体育赛事的全景展示，达到身临其境的效果，可以全方位多角度对比赛的场景进行观看，同时能够保证最优的图像效果的展示。
图9示出根据本申请实施例的图像处理装置的框图。如图9所示，图像处理装置应用于分布式系统中的子设备，所述分布式系统包括主设备和多个子设备，所述装置包括：
图像采集模块901，用于采集预设时间段内的多帧图像的图像数据；特征提取模块902，用于对所述图像数据进行特征提取，获得各帧图像的特征数据；预测模块903，用于将各帧图像的所述特征数据输入预测模型进行预测，输出各帧图像的预测结果；最优帧确定模块904，用于根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像；数据发送模块905，用于将所述最优帧图像发送到主设备，其中来自各子设备的所述最优帧图像用于生成合成图像。
在一种可能的实现方式中，所述特征数据包括由所述图像数据的多个特征的值组成的特征向量。
在一种可能的实现方式中，所述预测结果为评分，所述最优帧确定模块，还用于将评分最高的预测结果对应的图像确定为最优帧图像。
在一种可能的实现方式中，所述特征数据包括明亮度和色度的比例和分布、图像分辨率、每帧图像数据大小中的一种或多种。
图10示出根据本申请实施例的图像处理装置的框图。如图10所示，图像处理装置应用于分布式系统中的主设备，所述分布式系统包括主设备和多个子设备，所述装置包括：数据接收模块1001，用于接收各子设备发送的最优帧图像，所述最优帧图像是子设备从采集的预设时间段内的多帧图像中确定的；合成模块1002，用于将对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像。
在一种可能的实现方式中，所述装置还包括：图像采集模块，用于采集预设时间段内的多帧图像的图像数据；特征提取模块，用于对所述图像数据进行特征提取，获得各帧图像的特征数据；预测模块，用于将各帧图像的所述特征数据输入预测模型进行预测，输出各帧图像的预测结果；最优帧确定模块，用于根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像。合成模块还用于将主设备确定的最优帧图像，与对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像。
在一种可能的实现方式中，所述特征数据包括由所述图像数据的多个特征的值组成的特征向量。
在一种可能的实现方式中，所述预测结果为评分，所述最优帧确定模块还用于，将评分最高的预测结果对应的图像确定为最优帧图像。
在一种可能的实现方式中，所述特征数据包括明亮度和色度的比例和分布、图像分辨率、每帧图像数据大小中的一种或多种。
在一种可能的实现方式中，所述合成模块还用于，对各最优帧图像对应位置的像素值进行加权求和，得到合成图像，或者对各最优帧图像进行拼接，得到合成图像。
本申请的实施例提供了一种图像处理装置，包括：处理器以及用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述方法。
本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述方法。
上述实施例的示例性说明可参见上文针对图1-图8的说明，这里不再重复描述。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Electrically Programmable Read-Only-Memory，EPROM或闪存)、静态随机存取存储器(Static Random-Access Memory，SRAM)、便携式压缩盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能盘(Digital Video Disc，DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(Local Area Network，LAN)或广域网(WideArea Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(Field-ProgrammableGate Array，FPGA)或可编程逻辑阵列(Programmable Logic Array，PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application SpecificIntegrated Circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其它变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种图像处理方法，其特征在于，应用于分布式系统中的子设备，所述分布式系统包括主设备和多个子设备，所述方法包括：
采集预设时间段内的多帧图像的图像数据；
对所述图像数据进行特征提取，获得各帧图像的特征数据；
将各帧图像的所述特征数据输入预测模型进行预测，输出各帧图像的预测结果；
根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像；
将所述最优帧图像发送到主设备，其中来自各子设备的所述最优帧图像用于生成合成图像。
2.根据权利要求1所述的方法，其特征在于，所述特征数据包括由所述图像数据的多个特征的值组成的特征向量。
3.根据权利要求1所述的方法，其特征在于，所述预测结果为评分，根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像，包括：
将评分最高的预测结果对应的图像确定为最优帧图像。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述特征数据包括明亮度和色度的比例和分布、图像分辨率、每帧图像数据大小中的一种或多种。
5.一种图像处理方法，其特征在于，所述方法应用于分布式系统中的主设备，所述分布式系统包括主设备和多个子设备，所述方法包括：
接收各子设备发送的最优帧图像，所述最优帧图像是子设备从采集的预设时间段内的多帧图像中确定的；
将对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
采集预设时间段内的多帧图像的图像数据；
对所述图像数据进行特征提取，获得各帧图像的特征数据；
将各帧图像的所述特征数据输入预测模型进行预测，输出各帧图像的预测结果；
根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像；
将对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像，包括：
将主设备确定的最优帧图像，与对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像。
7.根据权利要求6所述的方法，其特征在于，所述特征数据包括由所述图像数据的多个特征的值组成的特征向量。
8.根据权利要求6所述的方法，其特征在于，所述预测结果为评分，根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像，包括：
将评分最高的预测结果对应的图像确定为最优帧图像。
9.根据权利要求7至8中任一项所述的方法，其特征在于，所述特征数据包括明亮度和色度的比例和分布、图像分辨率、每帧图像数据大小中的一种或多种。
10.根据权利要求6所述的方法，其特征在于，将对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像，包括：
对各最优帧图像对应位置的像素值进行加权求和，得到合成图像，或者
对各最优帧图像进行拼接，得到合成图像。
11.一种图像处理装置，其特征在于，应用于分布式系统中的子设备，所述分布式系统包括主设备和多个子设备，所述装置包括：
图像采集模块，用于采集预设时间段内的多帧图像的图像数据；
特征提取模块，用于对所述图像数据进行特征提取，获得各帧图像的特征数据；
预测模块，用于将各帧图像的所述特征数据输入预测模型进行预测，输出各帧图像的预测结果；
最优帧确定模块，用于根据所述预测结果，确定所述多帧图像中的至少一个最优帧图像；
数据发送模块，用于将所述最优帧图像发送到主设备，其中来自各子设备的所述最优帧图像用于生成合成图像。
12.一种图像处理装置，其特征在于，所述装置应用于分布式系统中的主设备，所述分布式系统包括主设备和多个子设备，所述装置包括：
数据接收模块，用于接收各子设备发送的最优帧图像，所述最优帧图像是子设备从采集的预设时间段内的多帧图像中确定的；
合成模块，用于将对应于同一预设时间段的、各子设备发送的最优帧图像进行合成，得到合成图像。
13.一种图像处理装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令时实现权利要求1-10任意一项所述的方法。
14.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-10中任意一项所述的方法。
CN202011306955.1A 2020-11-19 2020-11-19 图像处理方法及装置 Active CN114520890B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011306955.1A CN114520890B (zh) 2020-11-19 2020-11-19 图像处理方法及装置
PCT/CN2021/130985 WO2022105757A1 (zh) 2020-11-19 2021-11-16 图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011306955.1A CN114520890B (zh) 2020-11-19 2020-11-19 图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN114520890A true CN114520890A (zh) 2022-05-20
CN114520890B CN114520890B (zh) 2023-07-11

Family

ID=81594914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011306955.1A Active CN114520890B (zh) 2020-11-19 2020-11-19 图像处理方法及装置

Country Status (2)

Country Link
CN (1) CN114520890B (zh)
WO (1) WO2022105757A1 (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110091125A1 (en) * 2009-10-15 2011-04-21 General Electric Company System and method for imaging with enhanced depth of field
CN102354449A (zh) * 2011-10-09 2012-02-15 昆山市工业技术研究院有限责任公司 基于车联网实现图像信息共享的方法、装置和系统
WO2014029231A1 (zh) * 2012-08-21 2014-02-27 中兴通讯股份有限公司 多个终端组网实现媒体拍摄的方法、系统、以及终端
CN105493501A (zh) * 2013-04-30 2016-04-13 微软技术许可有限责任公司 虚拟视觉相机
US20170109864A1 (en) * 2014-06-04 2017-04-20 Sony Interactive Entertainment Inc. Image processing apparatus, image processing system, imaging apparatus and image processing method
CN107273510A (zh) * 2017-06-20 2017-10-20 广东欧珀移动通信有限公司 照片推荐方法及相关产品
CN107945175A (zh) * 2017-12-12 2018-04-20 百度在线网络技术（北京）有限公司 图像的评价方法、装置、服务器及存储介质
CN108234870A (zh) * 2017-12-27 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、装置、终端及存储介质
CN109101646A (zh) * 2018-08-21 2018-12-28 北京深瞐科技有限公司 数据处理方法、装置、系统及计算机可读介质
CN109146856A (zh) * 2018-08-02 2019-01-04 深圳市华付信息技术有限公司 图像质量评定方法、装置、计算机设备及存储介质
CN110363735A (zh) * 2019-07-22 2019-10-22 广东工业大学 一种车联网图像数据融合方法及相关装置
CN110851095A (zh) * 2018-08-21 2020-02-28 迪士尼企业公司 虚拟和增强现实中的多屏幕交互
CN111062314A (zh) * 2019-12-13 2020-04-24 腾讯科技（深圳）有限公司 图像选取方法、装置、计算机可读存储介质及电子设备
CN111726533A (zh) * 2020-06-30 2020-09-29 RealMe重庆移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665130B1 (ko) * 2009-07-15 2016-10-25 삼성전자주식회사 복수의 인물에 대한 이미지 생성 장치 및 방법
CN103118230B (zh) * 2013-02-28 2016-06-22 腾讯科技（深圳）有限公司 一种全景图像采集方法、装置以及系统
CN106331454A (zh) * 2016-08-31 2017-01-11 北京寺库商贸有限公司 一种显微镜精密拍照系统和拍照方法
CN107809591B (zh) * 2017-11-13 2019-09-10 Oppo广东移动通信有限公司 拍摄图像的方法、装置、终端和存储介质
CN109905632A (zh) * 2017-12-07 2019-06-18 宿州安科迪智能技术有限公司 一种超高清阵列分布式显示系统及其显示方法
CN108540720B (zh) * 2018-04-14 2020-07-03 长沙全度影像科技有限公司 一种用于子弹时间自动选取最优图像的系统及方法
CN110390263A (zh) * 2019-06-17 2019-10-29 宁波江丰智能科技有限公司 一种视频图像处理方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110091125A1 (en) * 2009-10-15 2011-04-21 General Electric Company System and method for imaging with enhanced depth of field
CN102354449A (zh) * 2011-10-09 2012-02-15 昆山市工业技术研究院有限责任公司 基于车联网实现图像信息共享的方法、装置和系统
WO2014029231A1 (zh) * 2012-08-21 2014-02-27 中兴通讯股份有限公司 多个终端组网实现媒体拍摄的方法、系统、以及终端
CN105493501A (zh) * 2013-04-30 2016-04-13 微软技术许可有限责任公司 虚拟视觉相机
US20170109864A1 (en) * 2014-06-04 2017-04-20 Sony Interactive Entertainment Inc. Image processing apparatus, image processing system, imaging apparatus and image processing method
CN107273510A (zh) * 2017-06-20 2017-10-20 广东欧珀移动通信有限公司 照片推荐方法及相关产品
CN107945175A (zh) * 2017-12-12 2018-04-20 百度在线网络技术（北京）有限公司 图像的评价方法、装置、服务器及存储介质
CN108234870A (zh) * 2017-12-27 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、装置、终端及存储介质
CN109146856A (zh) * 2018-08-02 2019-01-04 深圳市华付信息技术有限公司 图像质量评定方法、装置、计算机设备及存储介质
CN109101646A (zh) * 2018-08-21 2018-12-28 北京深瞐科技有限公司 数据处理方法、装置、系统及计算机可读介质
CN110851095A (zh) * 2018-08-21 2020-02-28 迪士尼企业公司 虚拟和增强现实中的多屏幕交互
CN110363735A (zh) * 2019-07-22 2019-10-22 广东工业大学 一种车联网图像数据融合方法及相关装置
CN111062314A (zh) * 2019-12-13 2020-04-24 腾讯科技（深圳）有限公司 图像选取方法、装置、计算机可读存储介质及电子设备
CN111726533A (zh) * 2020-06-30 2020-09-29 RealMe重庆移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
翟亚宇;潘晋孝;刘宾;陈平;: "基于运动目标尺寸检测的实时图像处理与显示", 计算机测量与控制 *

Also Published As

Publication number Publication date
WO2022105757A1 (zh) 2022-05-27
CN114520890B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
US8045014B2 (en) Auto white balance correction value calculation device, method, program, and image pickup device
US9036072B2 (en) Image processing apparatus and image processing method
US11450013B2 (en) Method and apparatus for obtaining sample image set
CN112019739A (zh) 一种拍摄控制方法、装置、电子设备及存储介质
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN106651797B (zh) 一种信号灯有效区域的确定方法和装置
CN105516611A (zh) 摄像装置和摄影方法
CN112770042B (zh) 图像处理方法及装置、计算机可读介质、无线通信终端
CN112633313B (zh) 一种网络终端的不良信息识别方法及局域网终端设备
CN113411498A (zh) 图像拍摄方法、移动终端及存储介质
CN110868547A (zh) 拍照控制方法、拍照控制装置、电子设备及存储介质
CN112887610A (zh) 拍摄方法、装置、电子设备及存储介质
CN102088539A (zh) 一种预拍照画质评价方法和系统
JP5862071B2 (ja) 画像処理装置、撮像装置およびプログラム
WO2019179242A1 (en) Image processing method and electronic device
CN110933314B (zh) 追焦拍摄方法及相关产品
CN112367465A (zh) 图像输出方法、装置及电子设备
CN114520890B (zh) 图像处理方法及装置
CN108810326A (zh) 一种拍照方法、装置及移动终端
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质
US20190304070A1 (en) Image rectification method and device, and storage medium
CN109391769A (zh) 控制设备、控制方法和存储介质
CN113989387A (zh) 相机拍摄参数调整方法、装置及电子设备
CN115696027A (zh) 拍摄方法、装置、控制器、设备和计算机可读存储介质
CN113938671A (zh) 图像内容分析方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant