CN110602412B - Ipc、图像处理设备、图像处理的系统及方法 - Google Patents

Ipc、图像处理设备、图像处理的系统及方法 Download PDF

Info

Publication number
CN110602412B
CN110602412B CN201910817753.4A CN201910817753A CN110602412B CN 110602412 B CN110602412 B CN 110602412B CN 201910817753 A CN201910817753 A CN 201910817753A CN 110602412 B CN110602412 B CN 110602412B
Authority
CN
China
Prior art keywords
image
image frame
original image
algorithm module
isp algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910817753.4A
Other languages
English (en)
Other versions
CN110602412A (zh
Inventor
朱雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aixin Yuanzhi Semiconductor Ningbo Co ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910817753.4A priority Critical patent/CN110602412B/zh
Publication of CN110602412A publication Critical patent/CN110602412A/zh
Application granted granted Critical
Publication of CN110602412B publication Critical patent/CN110602412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种IPC、图像处理设备、图像处理的系统及方法。所述IPC包括图像传感器和主控芯片；所述主控芯片，用于向所述图像传感器发送图像采集指令；所述图像传感器，用于根据所述图像采集指令，连续地采集目标物体的多个原始图像帧，并将采集到的原始图像帧发送至所述主控芯片；所述主控芯片，还用于将所述原始图像帧发送至图像处理设备，以使所述图像处理设备根据预设的图像信号处理ISP算法对所述原始图像帧进行图像处理，得到所述原始图像帧对应的目标图像帧。采用本申请可以提高图像处理的效果。

Description

IPC、图像处理设备、图像处理的系统及方法
技术领域
本申请涉及图像处理技术领域，特别是涉及一种IPC、图像处理设备、图像处理的系统及方法。
背景技术
ISP(Image Signal Processor，图像信号处理)技术是一种提高图像信号的成像质量的技术。
在传统的图像处理中，技术人员每执行一次图像采集操作，则触发图像传感器采集目标物体的一帧原始图像帧。然后，图像传感器将采集到的各原始图像帧发送至图像处理设备。图像处理设备通过ISP技术对各原始图像帧进行图像处理(比如线性纠正处理、噪声去除处理、坏点去除处理、内插处理、白平衡处理、自动曝光控制处理等)，从而提高原始图像帧的成像质量。其中，图像处理设备在通过ISP技术对采集到的各原始图像帧进行某些图像处理(比如3DNR(3D Noise Reduction，三维降噪)处理)时，需要比对连续若干原始图像帧中的图像信息。
在ISP技术中，相邻原始图像帧之间的时间间隔越短，图像处理的效果越好。然而，由于技术人员手动进行图像采集操作，图像采集操作的时间间隔较长，导致图像传感器采集到的相邻原始图像帧之间的时间间隔较长，进而导致图像处理的效果较差。
发明内容
基于此，有必要针对上述技术问题，提供一种IPC、图像处理设备、图像处理的系统及方法。
第一方面，提供了一种IPC，所述IPC包括图像传感器和主控芯片；
所述主控芯片，用于向所述图像传感器发送图像采集指令；
所述图像传感器，用于根据所述图像采集指令，连续地采集目标物体的多个原始图像帧，并将采集到的原始图像帧发送至所述主控芯片；
所述主控芯片，还用于将所述原始图像帧发送至图像处理设备，以使所述图像处理设备根据预设的ISP算法对所述原始图像帧进行图像处理，得到所述原始图像帧对应的目标图像帧。
作为一种可选地实施方式，所述主控芯片，还用于根据预设的图像分辨率，对所述原始图像帧进行裁剪处理，得到裁剪后的原始图像帧，并将所述裁剪后的原始图像帧发送至所述图像处理设备。
作为一种可选地实施方式，所述主控芯片，还用于向所述图像传感器发送配置指令，所述配置指令中携带有配置参数，所述配置参数包括分辨率、模数转换比特数、工作模式以及帧率中的一种或多种；
所述图像传感器，还用于根据所述配置指令中携带的配置参数，配置所述图像传感器的工作参数，并根据所述工作参数和所述图像采集指令采集所述目标物体的连续的多个原始图像帧。
作为一种可选地实施方式，所述IPC还包括内存；
所述主控芯片，还用于将所述裁剪后的原始图像帧存储至所述内存中，以及当接收到所述图像处理设备发送的图像获取指令时，根据所述图像获取指令，从所述内存中获取所述裁剪后的原始图像帧，并将所述裁剪后的原始图像帧发送至所述图像处理设备。
第二方面，提供了一种图像处理设备，所述图像处理设备包括接收模块和ISP算法模块组，所述ISP算法模块组包含多个ISP算法模块；
所述接收模块，用于接收网络摄像机IPC发送的原始图像帧，并将所述原始图像帧发送至所述ISP算法模块组，所述原始图像帧是网络摄像机IPC中的图像传感器根据图像采集指令连续地采集目标物体的多个原始图像帧得到的；
所述ISP算法模块组，用于根据预设的ISP算法模块执行顺序，对所述原始图像帧进行图像处理，得到所述原始图像帧对应的目标图像帧。
作为一种可选地实施方式，所述ISP算法模块组，用于根据预设的ISP算法模块执行顺序，使所述多个ISP算法模块中的第一个ISP算法模块对所述原始图像帧进行图像处理，得到所述第一个ISP算法模块的输出图像帧，并使除所述第一个ISP算法模块以外的其他每一个ISP算法模块对该ISP算法模块的前一个ISP算法模块的输出图像帧进行图像处理，得到该ISP算法模块的输出图像帧；以及，针对所述多个ISP算法模块中的每一个ISP算法模块，根据针对该ISP算法模块的读写指令存储该ISP算法模块的输出图像帧和/或根据针对该ISP算法模块的显示指令显示该ISP算法模块的输出图像帧；
其中，最后一个ISP算法模块的输出图像帧为所述原始图像帧对应的目标图像帧。
作为一种可选地实施方式，所述ISP算法模块组包括：
黑电平校正模块，用于根据黑电平值调整所述原始图像帧的图像数据，得到第一输出图像帧；
多帧降噪模块，用于对所述第一输出图像帧进行去噪处理，得到第二输出图像帧；
色调映射模块，用于对所述第二输出图像帧进行高动态范围的色调映射处理，得到第三输出图像帧；
去马赛克模块，用于对所述第三输出图像帧进行色彩恢复处理，得到目标图像帧。
第三方面，提供了一种图像处理的系统，所述图像处理的系统包括如第一方面任一项所述的IPC和如第二方面任一项所述的图像处理设备。
第四方面，提供了一种图像处理的方法，所述方法应用于如第二方面任一项所述的图像处理设备，所述方法包括：
接收IPC发送的原始图像帧，所述原始图像帧是IPC中的图像传感器根据图像采集指令连续地采集目标物体的多个原始图像帧得到的；
根据预设的ISP算法执行顺序，对所述原始图像帧进行图像处理，得到所述原始图像帧对应的目标图像帧。
第五方面，提供了一种图像处理的方法，所述方法应用于图像处理的系统，所述图像处理的系统包括IPC和图像处理设备，所述IPC包括图像传感器和主控芯片，所述图像处理设备包括接收模块和ISP算法模块组，所述ISP算法模块组包含多个ISP算法模块，所述方法包括：
所述主控芯片向所述图像传感器发送图像采集指令；
所述图像传感器根据所述图像采集指令，采集目标物体的连续的多个原始图像帧，并将采集到的原始图像帧发送至所述主控芯片；
所述主控芯片将所述原始图像帧发送至图像处理设备；
所述接收模块接收IPC发送的所述原始图像帧，并将所述原始图像帧发送至所述ISP算法模块组；
所述ISP算法模块组根据预设的ISP算法模块执行顺序，对所述原始图像帧进行图像处理，得到所述原始图像帧对应的目标图像帧。
第六方面，提供了一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现第四方面所述方法的步骤。
第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第四方面所述的方法的步骤。
本申请实施例提供了一种IPC。由于IPC中的图像传感器能够根据主控芯片的图像采集指令，进行高频率、连续地采集目标物体的多个原始图像帧，从而可以保证相邻原始图像帧之间的时间间隔较短，提高图像处理的效果，同时，还可以保证原始图像帧采集的连续性和图像处理设备对原始图像帧的流水线化处理。
附图说明
图1为本申请实施例提供的一种IPC的结构示意图；
图2为本申请实施例提供的一种图像处理设备的结构示意图；
图3为本申请实施例提供的一种图像处理的系统的架构图；
图4为本申请实施例提供的一种图像处理的方法的流程图；
图5为本申请实施例提供的一种图像处理的方法的流程图；
图6为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供了一种IPC(IP Camera，网络摄像机)110，如图1所示，该IPC110包括图像传感器111和主控芯片112。
主控芯片112，用于向图像传感器111发送图像采集指令。
图像传感器111，用于根据图像采集指令，连续地采集目标物体的多个原始图像帧，并将采集到的原始图像帧发送至主控芯片112。
主控芯片112，还用于将原始图像帧发送至图像处理设备，以使图像处理设备根据预设的ISP算法对原始图像帧进行图像处理，得到原始图像帧对应的目标图像帧。
在实施中，如图1所示，该IPC110包括图像传感器111和主控芯片112。当需要获取某一物体(即目标物体)的图像时，主控芯片112可以向图像传感器111发送图像采集指令。图像传感器111接收到该图像采集指令后，可以根据该图像采集指令连续地采集目标物体的多个原始图像帧，并将采集到的多个原始图像帧发送至主控芯片112。主控芯片112接收到该目标物体的多个原始图像帧后，可以将该目标物体的多个原始图像帧发送至图像处理设备120(如图2所示)。这样，图像处理设备120接收到该目标物体的多个原始图像帧后，可以根据预设的ISP算法对该目标物体的多个原始图像帧进行图像处理，得到各原始图像帧对应的目标图像帧。其中，主控芯片112可以通过基于套接字(socket)协议的通信网络将该目标物体对应的原始图像帧发送至图像处理设备120，也可以通过其他类型的通信网络将该目标物体对应的原始图像帧发送至图像处理设备120，本申请实施例不作限定。
作为一种可选地实施方式，主控芯片112，还用于根据预设的图像分辨率，对原始图像帧进行裁剪处理，得到裁剪后的原始图像帧，并将裁剪后的原始图像帧发送至图像处理设备120。
在实施中，IPC110中可以预先存储有图像分辨率。该图像分辨率可以由技术人员根据IPC110与图像处理设备120之间的通信网络的传输带宽进行设定。主控芯片112接收到该目标物体的多个原始图像帧后，针对各原始图像帧中的每个原始图像帧，主控芯片112可以根据预设的图像分辨率，对该原始图像帧进行裁剪处理，得到裁剪后的该原始图像帧。然后，主控芯片112可以将裁剪后的多个原始图像帧发送至图像处理设备120。例如，针对各原始图像帧中的每个原始图像帧，主控芯片112可以将该原始图像帧裁剪为分辨率为1080p的图像帧。
作为一种可选地实施方式，主控芯片112，还用于向图像传感器111发送配置指令。其中，配置指令中携带有配置参数，配置参数包括分辨率、模数转换比特数、工作模式以及帧率中的一种或多种。
图像传感器111，还用于根据配置指令中携带的配置参数，配置图像传感器111的工作参数，并根据工作参数和图像采集指令采集目标物体的连续的多个原始图像帧。
在实施中，主控芯片112还可以向图像传感器111发送配置指令。其中，配置指令中携带有配置参数，配置参数包括分辨率、模数转换比特数、工作模式(比如线性模式或宽动态模式)以及帧率中的一种或多种。优选的，配置参数中分辨率可以为5M，模数转换比特数为14bit，工作模式为线性模式，帧率为30fps。图像传感器111接收到该配置指令后，可以根据配置指令中携带的配置参数，配置图像传感器111的工作参数。后续，图像传感器111接收到主控芯片112发送的图像采集指令后，可以根据该工作参数和图像采集指令连续地采集目标物体的多个原始图像帧。这样，主控芯片112通过配置指令配置图像传感器111的工作参数后，图像传感器111可以基于该工作参数采集目标物体的连续的多个原始图像帧，从而保证相邻原始图像帧之间的时间间隔较短，进而提高图像处理的效果。
作为一种可选地实施方式，IPC110还包括内存113。主控芯片112，还用于将裁剪后的原始图像帧存储至内存113中，以及当接收到图像处理设备120发送的图像获取指令时，根据图像获取指令，从内存113中获取裁剪后的原始图像帧，并将裁剪后的原始图像帧发送至图像处理设备120。
可选的，如图1所示，IPC110还可以包括内存113。其中，内存113可以为DDR(DoubleData Rate，双倍速率)类型的内存，也可以为其他类型的内存，本申请实施例不作限定。主控芯片112得到裁剪后的原始图像帧后，可以将裁剪后的原始图像帧存储至内存113中。后续，当主控芯片112接收到图像处理设备120发送的图像获取指令时，主控芯片112可以从内存113中读取裁剪后的原始图像帧，并将裁剪后的原始图像帧发送至图像处理设备120。
本申请实施例提供了一种IPC110。IPC110中的图像传感器111能够根据主控芯片112的图像采集指令，连续地采集目标物体的多个原始图像帧，从而保证了原始图像帧采集的连续性。
本申请实施例还提供了一种图像处理设备120，如图2所示，该图像处理设备120包括接收模块121和ISP算法模块组122，ISP算法模块组122包含多个ISP算法模块1221。
接收模块121，用于接收IPC110发送的原始图像帧，并将原始图像帧发送至ISP算法模块组122。其中，原始图像帧可以是IPC110中的图像传感器111根据图像采集指令连续地采集目标物体的多个原始图像帧得到的，也可以是IPC110中的主控芯片112根据预设的图像分辨率，对原始图像帧进行裁剪处理后得到的裁剪后的原始图像帧；接收模块121可以为基于python(一种计算机程序设计语言)的socket模块。
ISP算法模块组122，用于根据预设的ISP算法模块执行顺序，对原始图像帧进行图像处理，得到原始图像帧对应的目标图像帧。
在实施中，如图2所示，该图像处理设备120包括接收模块121和ISP算法模块组122，ISP算法模块组122包含多个ISP算法模块1221。图像处理设备120中可以预先存储有ISP算法(比如黑电平校正算法、多帧降噪算法、色调映射(Tone mapping)算法、去马赛克(Demosaic)算法等)。其中，该ISP算法可以由技术人员根据图像处理的需求进行选择。当图像处理设备120需要对目标物体的多个原始图像帧进行图像处理时，图像处理设备120可以向IPC110发送图像获取指令。IPC110则可以根据图像获取指令将该目标物体的多个原始图像帧发送至图像处理设备120。接收模块121接收到IPC110发送的原始图像帧后，可以将原始图像帧发送至ISP算法模块组122。其中，原始图像帧是IPC110中的图像传感器111根据图像采集指令连续地采集目标物体的多个原始图像帧得到的。ISP算法模块组122接收到该目标物体的原始图像帧后，可以根据预设的ISP算法模块执行顺序，对各原始图像帧进行图像处理，得到各原始图像帧对应的目标图像帧。其中，图像处理设备120可以通过流水线处理(pipeline)技术创建ISP算法模块组122，并在ISP算法模块组122中设置多个ISP算法模块1221的执行顺序(即预设的ISP算法模块执行顺序)。
作为一种可选地实施方式，ISP算法模块组122，用于根据预设的ISP算法模块执行顺序，使多个ISP算法模块1221中的第一个ISP算法模块对原始图像帧进行图像处理，得到第一个ISP算法模块的输出图像帧，并使除第一个ISP算法模块以外的其他每一个ISP算法模块对该ISP算法模块的前一个ISP算法模块的输出图像帧进行图像处理，得到该ISP算法模块的输出图像帧；以及，针对多个ISP算法模块中的每一个ISP算法模块，根据针对该ISP算法模块的读写指令存储该ISP算法模块的输出图像帧和/或根据针对该ISP算法模块的显示指令显示该ISP算法模块的输出图像帧；
其中，最后一个ISP算法模块的输出图像帧为原始图像帧对应的目标图像帧。
在实施中，ISP算法模块组122接收到该目标物体的原始图像帧后，可以根据预设的ISP算法模块执行顺序，将原始图像帧输入至第一个ISP算法模块，该第一个ISP算法模块则对原始图像帧进行图像处理，输出该第一个ISP算法模块的输出图像帧。然后，ISP算法模块组122将该第一个ISP算法模块的输出图像帧输入至第二个ISP算法模块，该第二个ISP算法模块则对该第一个ISP算法模块的输出图像帧进行图像处理，输出该第二个ISP算法模块的输出图像帧。直到ISP算法模块组122将倒数第二个ISP算法模块的输出图像帧输入至最后一个ISP算法模块，该最后一个ISP算法模块则对倒数第二个ISP算法模块的输出图像帧进行图像处理，得输出该最后一个ISP算法模块的输出图像帧。其中，最后一个ISP算法模块的输出图像帧为原始图像帧对应的目标图像帧。
同时，针对多个ISP算法模块中的每一个ISP算法模块，该ISP算法模块还可以根据用户输入的读写指令，将该ISP算法模块的输出图像帧存储至存储器中。其中，该存储器可以为USB(Universal Serial Bus，通用串行总线)存储器，也可以为SSD(Solid StateDrive，固态驱动器)存储器，还可以为其他类型的存储器，本申请实施例不作限定。后续，该ISP算法模块还可以根据用户输入的显示指令显示该ISP算法模块的输出图像帧，从而提高系统的可视性。其中，该ISP算法模块可以通过通用编程语言库函数(比如opencv(一种基于伯克利软件套件许可的跨平台视觉库))中的写文件函数将该ISP算法模块的输出图像帧存储至存储器；该ISP算法模块还可以通过通用编程语言库函数中的显示图像函数显示该ISP算法模块的输出图像帧。
作为一种可选地实施方式，ISP算法模块组122包括：
黑电平校正模块，用于根据黑电平值调整原始图像帧的图像数据，得到第一输出图像帧。多帧降噪模块，用于对第一输出图像帧进行去噪处理，得到第二输出图像帧。色调映射模块，用于对第二输出图像帧进行高动态范围的色调映射处理，得到第三输出图像帧。去马赛克模块，用于对第三输出图像帧进行色彩恢复处理，得到目标图像帧。
在实施中，如图2所示，ISP算法模块1为黑电平校正模块，ISP算法模块2为多帧降噪模块，ISP算法模块3为色调映射模块，ISP算法模块4为去马赛克模块。ISP算法模块组122接收到目标物体对应的原始图像帧后，可以首先将原始图像帧输入至ISP算法模块1，则ISP算法模块1可以将原始图像中每个像素点的像素值减去黑电平值，以调整原始图像帧的图像数据，得到第一输出图像帧。其中，黑电平值可以通过在全黑条件下拍摄多张原始图像帧，建立高斯噪声模型得到。然后，ISP算法模块组122将第一输出图像帧输入至ISP算法模块2，ISP算法模块2则利用多帧降噪算法对连续的多个第一输出图像帧进行降噪处理，得到第二输出图像帧。之后，ISP算法模块组122将第二输出图像帧输入至ISP算法模块3，ISP算法模块3则利用色调映射神经网络算法调整第二输出图像中高动态范围图像的灰度值，得到第三输出图像帧。最后，ISP算法模块组122将第三输出图像帧输入至ISP算法模块4，ISP算法模块4则利用去马赛克神经网络算法对第三输出图像帧进行色彩恢复处理(即根据某一像素点周围的像素点的像素值来确定该像素点中除显示通道以外的其他两个通道的值)，得到目标图像帧(即RGB(Red Greed Blue，红绿蓝)图像帧)。
本申请实施例提供了一种图像处理设备120。该图像处理设备120中的ISP算法模块组122可以根据预设的ISP算法模块执行顺序，对原始图像帧进行图像处理，得到原始图像帧对应的目标图像帧。这样，可以保证图像处理设备120对原始图像帧的流水线化处理。同时，图像处理设备120还可以通过通用编程语言库函数存储ISP算法模块的输出图像帧和/或通过通用编程语言库函数中的显示图像函数显示ISP算法模块的输出图像帧，以进行实时预览，从而保证了对原始图像帧进行图像处理过程的可视性。
本申请实施例还提供了一种图像处理的系统，如图3所示，该图像处理的系统包括IPC110和图像处理设备120。
本申请实施例还提供了一种图像处理的方法，该方法应用于上述的图像处理设备，如图4所示，该方法的处理过程如下：
步骤401，接收IPC110发送的原始图像帧。其中，原始图像帧是IPC110中的图像传感器111根据图像采集指令连续地采集目标物体的多个原始图像帧得到的。
步骤402，根据预设的ISP算法执行顺序，对原始图像帧进行图像处理，得到原始图像帧对应的目标图像帧。
步骤401至步骤402的处理过程与上述图像处理设备120的处理过程类似，此处不再赘述。
本申请实施例提供了一种图像处理的方法。该图像处理设备120中的ISP算法模块组122可以根据预设的ISP算法模块执行顺序，对原始图像帧进行图像处理，得到原始图像帧对应的目标图像帧。这样，可以保证图像处理设备120对原始图像帧的流水线化处理。
本申请实施例还提供了一种图像处理的方法，该方法应用于上述的图像处理的系统，该图像处理的系统包括IPC110和图像处理设备120，IPC110包括图像传感器111和主控芯片112，图像处理设备120包括接收模块121和ISP算法模块组122，ISP算法模块组122包含多个ISP算法模块1221，如图5所示，该方法的处理过程如下：
步骤501，主控芯片112向图像传感器111发送图像采集指令。
步骤502，图像传感器111根据图像采集指令，采集目标物体的连续的多个原始图像帧，并将采集到的原始图像帧发送至主控芯片112。
步骤503，主控芯片112将原始图像帧发送至图像处理设备120。
步骤504，接收模块121接收IPC110发送的原始图像帧，并将原始图像帧发送至ISP算法模块组122。
步骤505，ISP算法模块组122根据预设的ISP算法模块执行顺序，对原始图像帧进行图像处理，得到原始图像帧对应的目标图像帧。
步骤501至步骤503的处理过程与上述IPC110的处理过程类似，此处不再赘述。步骤504至步骤505的处理过程与上述图像处理设备120的处理过程类似，此处不再赘述。
本申请实施例提供了一种图像处理的方法。该方法应用于图像处理的系统，该图像处理的系统包括IPC和图像处理设备，IPC包括图像传感器和主控芯片，图像处理设备包括接收模块和ISP算法模块组，ISP算法模块组包含多个ISP算法模块，主控芯片向图像传感器发送图像采集指令；图像传感器根据图像采集指令，采集目标物体的连续的多个原始图像帧，并将采集到的原始图像帧发送至主控芯片；主控芯片将原始图像帧发送至图像处理设备；接收模块接收IPC发送的原始图像帧，并将原始图像帧发送至ISP算法模块组；ISP算法模块组根据预设的ISP算法模块执行顺序，对原始图像帧进行图像处理，得到原始图像帧对应的目标图像帧。由于IPC中的图像传感器能够根据主控芯片的图像采集指令，进行高频率、连续地采集目标物体的多个原始图像帧，从而可以保证相邻原始图像帧之间的时间间隔较短，提高图像处理的效果，同时，还可以保证原始图像帧采集的连续性和图像处理设备对原始图像帧的流水线化处理。
在一个实施例中，提供了一种计算机设备，如图6所示，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像处理的方法步骤。
在一个实施例中，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种网络摄像机IPC，其特征在于，所述IPC包括图像传感器和主控芯片；
所述主控芯片，用于向所述图像传感器发送图像采集指令；
所述图像传感器，用于根据所述图像采集指令，连续地采集目标物体的多个原始图像帧，并将采集到的原始图像帧发送至所述主控芯片；
所述主控芯片，还用于通过通信网络将所述原始图像帧发送至图像处理设备，以使所述图像处理设备的ISP算法模块组，根据预设的图像信号处理ISP算法模块执行顺序，对所述原始图像帧进行图像处理，得到所述原始图像帧对应的目标图像帧。
2.根据权利要求1所述的IPC，其特征在于，所述主控芯片，还用于根据预设的图像分辨率，对所述原始图像帧进行裁剪处理，得到裁剪后的原始图像帧，并将所述裁剪后的原始图像帧发送至所述图像处理设备。
3.根据权利要求1所述的IPC，其特征在于，所述主控芯片，还用于向所述图像传感器发送配置指令，所述配置指令中携带有配置参数，所述配置参数包括分辨率、模数转换比特数、工作模式以及帧率中的一种或多种；
所述图像传感器，还用于根据所述配置指令中携带的配置参数，配置所述图像传感器的工作参数，并根据所述工作参数和所述图像采集指令采集所述目标物体的连续的多个原始图像帧。
4.根据权利要求2所述的IPC，其特征在于，所述IPC还包括内存；
所述主控芯片，还用于将所述裁剪后的原始图像帧存储至所述内存中，以及当接收到所述图像处理设备发送的图像获取指令时，根据所述图像获取指令，从所述内存中获取所述裁剪后的原始图像帧，并将所述裁剪后的原始图像帧发送至所述图像处理设备。
5.一种图像处理设备，其特征在于，所述图像处理设备包括接收模块和图像信号处理ISP算法模块组，所述ISP算法模块组包含多个ISP算法模块；
所述接收模块，用于通过通信网络接收网络摄像机IPC发送的原始图像帧，并将所述原始图像帧发送至所述ISP算法模块组，所述原始图像帧是IPC中的图像传感器根据图像采集指令连续地采集目标物体的多个原始图像帧得到的；
所述ISP算法模块组，用于根据预设的ISP算法模块执行顺序，对所述原始图像帧进行图像处理，得到所述原始图像帧对应的目标图像帧。
6.根据权利要求5所述的图像处理设备，其特征在于，所述ISP算法模块组，用于根据预设的ISP算法模块执行顺序，使所述多个ISP算法模块中的第一个ISP算法模块对所述原始图像帧进行图像处理，得到所述第一个ISP算法模块的输出图像帧，并使除所述第一个ISP算法模块以外的其他每一个ISP算法模块对该ISP算法模块的前一个ISP算法模块的输出图像帧进行图像处理，得到该ISP算法模块的输出图像帧；以及，针对所述多个ISP算法模块中的每一个ISP算法模块，根据针对该ISP算法模块的读写指令存储该ISP算法模块的输出图像帧和/或根据针对该ISP算法模块的显示指令显示该ISP算法模块的输出图像帧；
其中，最后一个ISP算法模块的输出图像帧为所述原始图像帧对应的目标图像帧。
7.根据权利要求6所述的图像处理设备，其特征在于，所述ISP算法模块组包括：
黑电平校正模块，用于根据黑电平值调整所述原始图像帧的图像数据，得到第一输出图像帧；
多帧降噪模块，用于对所述第一输出图像帧进行去噪处理，得到第二输出图像帧；
色调映射模块，用于对所述第二输出图像帧进行高动态范围的色调映射处理，得到第三输出图像帧；
去马赛克模块，用于对所述第三输出图像帧进行色彩恢复处理，得到目标图像帧。
8.一种图像处理的系统，其特征在于，所述图像处理的系统包括如权利要求1至4任一项所述的网络摄像机IPC和如权利要求5至7任一项所述的图像处理设备。
9.一种图像处理的方法，其特征在于，所述方法应用于如权利要求5至7任一项所述的图像处理设备，所述方法包括：
接收网络摄像机IPC通过通信网络发送的原始图像帧，所述原始图像帧是IPC中的图像传感器根据主控芯片发送的图像采集指令连续地采集目标物体的多个原始图像帧得到的；
根据预设的图像信号处理ISP算法模块执行顺序，对所述原始图像帧进行图像处理，得到所述原始图像帧对应的目标图像帧。
10.一种图像处理的方法，其特征在于，所述方法应用于图像处理的系统，所述图像处理的系统包括网络摄像机IPC和图像处理设备，所述IPC包括图像传感器和主控芯片，所述图像处理设备包括接收模块和图像信号处理ISP算法模块组，所述ISP算法模块组包含多个ISP算法模块，所述方法包括：
所述主控芯片向所述图像传感器发送图像采集指令；
所述图像传感器根据所述图像采集指令，采集目标物体的连续的多个原始图像帧，并将采集到的原始图像帧发送至所述主控芯片；
所述主控芯片通过通信网络将所述原始图像帧发送至图像处理设备；
所述接收模块接收IPC通过通信网络发送的所述原始图像帧，并将所述原始图像帧发送至所述ISP算法模块组；
所述ISP算法模块组根据预设的ISP算法模块执行顺序，对所述原始图像帧进行图像处理，得到所述原始图像帧对应的目标图像帧。
11.一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求9所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求9所述的方法的步骤。
CN201910817753.4A 2019-08-30 2019-08-30 Ipc、图像处理设备、图像处理的系统及方法 Active CN110602412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910817753.4A CN110602412B (zh) 2019-08-30 2019-08-30 Ipc、图像处理设备、图像处理的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910817753.4A CN110602412B (zh) 2019-08-30 2019-08-30 Ipc、图像处理设备、图像处理的系统及方法

Publications (2)

Publication Number Publication Date
CN110602412A CN110602412A (zh) 2019-12-20
CN110602412B true CN110602412B (zh) 2022-04-29

Family

ID=68856621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910817753.4A Active CN110602412B (zh) 2019-08-30 2019-08-30 Ipc、图像处理设备、图像处理的系统及方法

Country Status (1)

Country Link
CN (1) CN110602412B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113519153B (zh) * 2020-02-12 2023-03-21 深圳元戎启行科技有限公司 图像采集方法、装置、控制装置、计算机设备、可读存储介质、图像采集设备和远程驾驶系统
CN113810593B (zh) * 2020-06-15 2023-08-01 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN113448623B (zh) * 2021-06-29 2022-12-02 北京紫光展锐通信技术有限公司 图像帧的处理方法、电子设备、芯片和存储介质
WO2023236115A1 (zh) * 2022-06-08 2023-12-14 北京小米移动软件有限公司 一种图像处理方法、装置及存储介质
CN115766976B (zh) * 2022-11-09 2023-10-13 深圳市南电信息工程有限公司 一种图像显示系统及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980697A (zh) * 2015-04-28 2015-10-14 杭州普维光电技术有限公司 一种网络摄像机视频传输方法
CN107613192A (zh) * 2017-08-09 2018-01-19 深圳市巨龙创视科技有限公司 一种基于摄像机模组的数字图像处理算法
CN109242757A (zh) * 2018-09-29 2019-01-18 南昌黑鲨科技有限公司 智能终端、图像处理方法及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079137A (ja) * 2006-09-22 2008-04-03 Canon Inc 画像処理装置およびその制御方法、コンピュータプログラム、記憶媒体
JP4853320B2 (ja) * 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
CN101216881B (zh) * 2007-12-28 2011-07-06 北京中星微电子有限公司 一种图像自动获取方法和装置
JP4492724B2 (ja) * 2008-03-25 2010-06-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8237787B2 (en) * 2009-05-02 2012-08-07 Steven J. Hollinger Ball with camera and trajectory control for reconnaissance or recreation
US9843743B2 (en) * 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
JP2011139282A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
CN202154665U (zh) * 2010-09-30 2012-03-07 株式会社Rf 医疗系统
JP2013046306A (ja) * 2011-08-25 2013-03-04 Sony Corp 情報処理装置、情報処理システムおよび情報処理方法
CN102708565A (zh) * 2012-05-07 2012-10-03 深圳市贝尔信智能系统有限公司 一种前景检测的方法、装置和系统
EP3182693B1 (en) * 2014-08-12 2022-11-30 Sony Group Corporation Information-processing device, information processing method, and program
CN205067521U (zh) * 2015-07-01 2016-03-02 珠江水利委员会珠江水利科学研究院 基于数字图像分析的流速仪
CN107770484A (zh) * 2016-08-19 2018-03-06 杭州海康威视数字技术股份有限公司 一种视频监控信息生成方法、装置及摄像机
JP6659611B2 (ja) * 2017-03-30 2020-03-04 西日本電信電話株式会社 多波長撮影カメラシステム、多波長撮影カメラの撮影方法、画像処理装置、画像処理方法およびプログラム
CN108833803A (zh) * 2018-09-20 2018-11-16 Oppo广东移动通信有限公司 成像方法、装置和电子设备
CN109672819B (zh) * 2018-12-10 2021-04-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980697A (zh) * 2015-04-28 2015-10-14 杭州普维光电技术有限公司 一种网络摄像机视频传输方法
CN107613192A (zh) * 2017-08-09 2018-01-19 深圳市巨龙创视科技有限公司 一种基于摄像机模组的数字图像处理算法
CN109242757A (zh) * 2018-09-29 2019-01-18 南昌黑鲨科技有限公司 智能终端、图像处理方法及计算机可读存储介质

Also Published As

Publication number Publication date
CN110602412A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110602412B (zh) Ipc、图像处理设备、图像处理的系统及方法
US10003740B2 (en) Increasing spatial resolution of panoramic video captured by a camera array
US11431915B2 (en) Image acquisition method, electronic device, and non-transitory computer readable storage medium
US20220166930A1 (en) Method and device for focusing on target subject, and electronic device
US8471934B2 (en) Computer readable storage medium, image correction apparatus, and image correction method
CN108769523B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110290323A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US7796806B2 (en) Removing singlet and couplet defects from images
CN108335272B (zh) 一种拍摄图片的方法及设备
CN111246052B (zh) 宽动态调整方法及装置、存储介质、电子装置
CN108737797B (zh) 白平衡处理方法、装置和电子设备
CN108810509B (zh) 一种图像色彩校正方法及装置
CN114998122A (zh) 一种低照度图像增强方法
CN111445487A (zh) 图像分割方法、装置、计算机设备和存储介质
CN111294522A (zh) Hdr图像成像方法、装置以及计算机存储介质
US20200154023A1 (en) Location estimation device, location estimation method, and program recording medium
CN111462021A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US10567644B2 (en) Image capturing device, image processing method and image processing device for stitching and blending operations
US8792612B2 (en) Radiation imaging system, control method for the same, and program
US20130089270A1 (en) Image processing apparatus
CN107770447B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
JP2016092513A5 (zh)
CN113132637B (zh) 图像处理方法、图像处理芯片、应用处理芯片及电子设备
CN104318531A (zh) 一种消除图片中漏光现象的方法及装置
JP2019036906A (ja) 映像処理装置、映像処理方法及び映像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230921

Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315200

Patentee after: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd.

Address before: 316-318, block a, Rongke Information Center, No.2, South Road, Academy of Sciences, Haidian District, Beijing, 100190

Patentee before: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd.