CN107220208A - 一种图像处理系统及方法 - Google Patents
一种图像处理系统及方法 Download PDFInfo
- Publication number
- CN107220208A CN107220208A CN201710576922.0A CN201710576922A CN107220208A CN 107220208 A CN107220208 A CN 107220208A CN 201710576922 A CN201710576922 A CN 201710576922A CN 107220208 A CN107220208 A CN 107220208A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- port
- chip
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 325
- 238000000034 method Methods 0.000 title claims description 60
- 238000003672 processing method Methods 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4004—Coupling between buses
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理系统，包括SOC芯片、第一端口以及位于SOC芯片外部的图像处理芯片；其中，SOC芯片，用于接收输入图像，并对输入图像进行处理，得到第一处理图像；第一端口，用于将SOC芯片得到的第一处理图像传输至图像处理芯片；图像处理芯片，用于对第一处理图像进行处理，得到第二处理图像；其中，第一端口为MIPI DSI端口或HDMI端口。通过本申请所提供的图像处理系统，能够克服在进行图像处理时使用SOC芯片不易引入新的功能的问题。另外，本申请还相应公开了一种图像处理方法。
Description
技术领域
本发明涉及图像处理技术，特别涉及一种图像处理系统及方法。
背景技术
近年来，SOC(SOC，System on Chip，片上系统)芯片广泛的应用于图像处理领域。
SOC芯片将系统关键部件，例如中央处理器、数字信号处理器以及图像处理器等集中在一块，也即，SOC芯片是一个微型系统，可以作为图像处理系统使用。
现有技术中的主流系统级SOC芯片，例如高通骁龙、英伟达tagra以及联发科中的图像处理系统的数据路径，参考图1所示，包括：存储器10、图像传感器11、输入端口12、实时图像处理器13、离线图像处理器14、显示处理器15、Jpeg编码器16、显示输出端口17以及外部存储18。
由于现有技术中的主流系统级SOC芯片的图像数据路径比较简单，均在芯片内部，对输入图像进行图像处理的过程不足以发挥图像处理器的全部性能，最终导致SOC芯片的图像处理能力受限。而使用同一种SOC芯片的对于不同设备的制造，会受限于同一种SOC芯片中的图像处理器而不能灵活添加各种功能。总的来说，现有技术中的SOC芯片受限于均在芯片内部的数据路径，使图像处理性能受限，不易引入新的功能。
发明内容
有鉴于此，本发明的目的在于提供一种图像处理系统及方法，在使用SOC芯片进行图像处理时，克服不易引入新功能的问题。其具体方案如下：
一种图像处理系统，包括SOC芯片、第一端口以及位于所述SOC芯片外部的图像处理芯片；其中，
所述SOC芯片，用于接收输入图像，并对所述输入图像进行处理，得到第一处理图像；
所述第一端口，用于将所述SOC芯片得到的所述第一处理图像传输至所述图像处理芯片；
所述图像处理芯片，用于对所述第一处理图像进行处理，得到第二处理图像；
其中，所述第一端口为MIPI DSI端口或HDMI端口。
优选地，所述SOC芯片，包括第二端口和实时ISP；其中，
所述第二端口，用于接收所述输入图像并发送至所述实时ISP，其中，所述第二端口为MIPI CSI端口或HDMI端口；
所述实时ISP，用于对所述输入图像进行处理，得到所述第一处理图像，并将所述第一处理图像发送至所述第一端口。
优选地，还包括：
DDR存储器，用于通过所述第二端口，接收所述图像处理芯片传输的所述第二处理图像，并对所述第二处理图像进行存储；
离线ISP，用于从所述DDR存储器中获取所述第二处理图像，并对所述第二处理图像进行处理，得到第三处理图像；
其中，所述离线ISP位于所述SOC芯片内部。
优选地，所述SOC芯片，包括第二端口、实时ISP和离线ISP；其中，
所述第二端口，用于接收所述输入图像并发送至所述实时ISP，其中，所述第二端口为MIPI CSI端口或HDMI端口；
所述实时ISP，用于对所述输入图像进行处理，得到实时处理图像，并将所述实时处理图像发送至预设的DDR存储器进行保存；
所述离线ISP，用于从所述DDR存储器中获取所述实时处理图像，并对所述实时处理图像进行处理，得到所述第一处理图像，并将所述第一处理图像发送至所述第一端口。
优选地，所述图像处理芯片，包括：
第一处理器，用于接收所述第一端口传输的所述第一处理图像，并对所述第一处理图像进行相应的图像处理，得到所述第二处理图像；
其中，所述第一处理器进行的相应的图像处理包括HDR处理和/或降噪处理和/或散景处理和/或基于深度学习的对象识别处理。
优选地，所述图像处理芯片，还包括第二处理器和第三端口；其中，
所述第二处理器，用于获取所述第三端口接收到的原始图像，并对所述原始图像进行预处理，得到所述输入图像；
所述第三端口，用于将所述第二处理器得到的所述输入图像传输至所述SOC芯片；其中，所述第三端口为MIPI CSI端口；
其中，所述预处理包括低光降噪处理和/或3A图像统计收集处理和/或基于深度学习的场景检测处理。
本发明还公开了一种图像处理方法，包括：
利用SOC芯片接收输入图像，并对所述输入图像进行处理，得到第一处理图像；
利用第一端口将所述SOC芯片得到的所述第一处理图像传输至图像处理芯片；
利用所述图像处理芯片对所述第一处理图像进行处理，得到第二处理图像；
其中，所述第一端口为MIPI DSI端口或HDMI端口。
优选地，所述利用SOC芯片接收输入图像，并对所述输入图像进行处理，得到第一处理图像的过程，包括：
利用所述SOC芯片内部的第二端口接收所述输入图像并发送至所述SOC芯片内部的实时ISP，其中，所述第二端口为MIPI CSI端口或HDMI端口；
利用所述实时ISP对所述输入图像进行处理，得到所述第一处理图像，并将所述第一处理图像发送至所述第一端口。
优选地，还包括：
利用DDR存储器通过所述第二端口，接收所述图像处理芯片传输的所述第二处理图像，并对所述第二处理图像进行存储；
利用离线ISP从所述DDR存储器中获取所述第二处理图像，并对所述第二处理图像进行处理，得到第三处理图像；
其中，所述离线ISP位于所述SOC芯片内部。
优选地，所述利用SOC芯片接收输入图像，并对所述输入图像进行处理，得到第一处理图像的过程，包括：
利用所述SOC芯片内部的第二端口接收所述输入图像并发送至所述SOC芯片内部的实时ISP，其中，所述第二端口为MIPI CSI端口或HDMI端口；
利用所述实时ISP对所述输入图像进行处理，得到实时处理图像，并将所述实时处理图像发送至预设的DDR存储器进行保存；
利用所述SOC芯片内部的离线ISP从所述DDR存储器中获取所述实时处理图像，并对所述实时处理图像进行处理，得到所述第一处理图像，并将所述第一处理图像发送至所述第一端口。
优选地，所述利用所述图像处理芯片对所述第一处理图像进行处理，得到第二处理图像的过程，包括：
利用所述图像处理芯片内部的第一处理器接收所述第一端口传输的所述第一处理图像，并对所述第一处理图像进行相应的图像处理，得到所述第二处理图像；
其中，所述第一处理器进行的相应的图像处理包括HDR处理和/或降噪处理和/或散景处理和/或基于深度学习的对象识别处理。
优选地，还包括：
利用所述图像处理芯片内部的第二处理器获取所述图像处理芯片内部的第三端口接收到的原始图像，并对所述原始图像进行预处理，得到所述输入图像；
利用所述第三端口将所述第二处理器得到的所述输入图像传输至所述SOC芯片；其中，所述第三端口为MIPI CSI端口；
其中，所述预处理包括低光降噪处理和/或3A图像统计收集处理和/或基于深度学习的场景检测处理。
本发明中，图像处理系统包括SOC芯片、第一端口以及位于SOC芯片外部的图像处理芯片；其中，SOC芯片，用于接收输入图像，并对输入图像进行处理，得到第一处理图像；第一端口，用于将SOC芯片得到的第一处理图像传输至图像处理芯片；图像处理芯片，用于对第一处理图像进行处理，得到第二处理图像；其中，所述第一端口为MIPI DSI端口或HDMI端口。可见，本发明在图像处理过程中，通过第一端口，使SOC芯片对输入图像处理后得到的第一处理图像能够传输至外部的图像处理芯片，从而可以利用外部的图像处理芯片灵活地添加各种定制功能。总的来说，利用本发明的图像处理系统能够克服在进行图像处理时使用SOC芯片不易引入新的功能的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为现有技术中的主流系统级SOC芯片进行图像处理时结构与数据路径示意图；
图2为本发明实施例公开的一种图像处理系统结构示意图；
图3为本发明实施例公开的一种具体的图像处理系统结构示意图；
图4为本发明实施例公开的另一种具体的图像处理系统结构示意图；
图5为本发明实施例公开的一种图像处理方法流程图；
图6为本发明实施例公开的一种具体的图像处理方法流程图；
图7为本发明实施例公开的另一种具体的图像处理方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种图像处理系统，参见图2所示，该系统包括SOC芯片21、第一端口22以及位于SOC芯片外部的图像处理芯片23。具体的：
SOC芯片21，用于接收输入图像，并对输入图像进行处理，得到第一处理图像。
本实施例中，上述SOC芯片21是一个微型的系统，由多个系统的部件组成，包括中央处理器、数字信号处理器以及图像处理器等，因此一些系统级的SOC芯片，例如高通骁龙、英伟达tagra以及联发科等SOC芯片可以应用于图像处理。SOC芯片21可以利用接收图像数据的端口接收来自传感器的图像，例如接收摄像头捕捉的图像等，然后通过SOC芯片21内部的数据路径把图像数据传输至一些图像处理器，利用图像处理器对图像数据进行处理，然后进行输出。
需要说明的是，在SOC芯片21内部是有多种图像处理器的，因此SOC芯片21对图像数据的处理也是多种多样的，例如对图像数据进行线性纠正、降噪、坏点去除、细节增强等处理，从而提高图像输出的质量。
第一端口22，用于将SOC芯片21得到的第一处理图像传输至图像处理芯片。
本发明实施例中，第一端口的主要功能是将经SOC芯片21处理后的图像数据传输至SOC芯片21外部的图像处理器23。而第一端口22可以是在SOC芯片21的内部原有的端口，通过利用安卓软件进行修改，赋予这些端口将SOC芯片21处理后的图像数据传输至外部的功能。第一端口22还可以是SOC芯片21外部新增的端口，新增的第一端口可以直接与SOC芯片21内部关键的图像处理器连接，对关键的图像处理器的安卓堆栈进行修改，使第一端口22直接获取这些关键的图像处理器处理后的图像数据，传输至SOC芯片21外部的图像处理器。
需要说明的是，第一端口22为MIPI DSI端口(MIPI DSI，Mobile IndustryProcessor Interface Display Serial Interface Specification，移动产业处理器接口显示器串行接口规范)或HDMI端口(HDMI，High Definition Multimedia Interface，高清晰多媒体接口)。
图像处理芯片23，用于对第一处理图像进行处理，得到第二处理图像。
本发明实施例中，图像处理芯片23通过第一端口22，接收来自SOC芯片21的第一处理图像，也就是经过SOC芯片21处理后的图像数据，对这些图像数据再做进一步的处理，再度提升图像数据的质量。SOC芯片21外部的图像处理芯片23主要是提供各种图像处理功能，这些功能一般在仅使用SOC芯片21进行图像处理时是没有的，或者不易实现的，例如低光降噪以及HDR(HDR，High-Dynamic Range，高动态光照渲染)等。
需要说明的是，为了实现各种图像功能，图像处理芯片23的选取是多种的，图像处理芯片23内部的图像处理器也是多种多样的，这里不做限定，使用SOC芯片21外部的图像处理芯片23对图像数据再度进行处理，可以再次提高图像数据的质量或者实现其它图像处理功能。
可见，本实施例在图像处理过程中，通过第一端口22，使SOC芯片21对输入图像处理后得到的第一处理图像能够传输至外部的图像处理芯片23，从而可以利用外部的图像处理芯片23灵活地添加各种定制功能。总的来说，利用本发明的图像处理系统能够克服在进行图像处理时使用SOC芯片21不易引入新的功能的问题。
本发明实施例公开了一种具体的图像处理系统，参见图3所示，图3为本实施例系统结构示意图，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
SOC芯片31中包括第二端口312和实时ISP 313(ISP，Image Signal Processing，图像信号处理单元)，其中：
第二端口312，用于接收输入图像并发送至实时ISP 313，其中，第二端口31为MIPICSI端口(MIPI CSI，即Mobile Industry Processor Interface COMS Sensor Interface，移动产业处理器接口传感摄像头接口)或HDMI端口。
本实施例中，第二端口312为SOC芯片31内部的数据接收端口，可以用于接收SOC芯片31外部图像传感器，例如摄像头的图像数据，还可以用于接收其它图像数据，例如图像处理芯片32的数据等。第二端口312在接收图像数据后可以将图像数据传输至SOC芯片31内部的部件进行相应的处理，例如传输至实时ISP 32进行处理，还可以将图像数据传输至SOC芯片31外部的部件，例如存储器等。
实时ISP 313，用于对输入图像进行处理，得到第一处理图像，并将第一处理图像发送至第一端口311。
本实施例中，实时ISP 313为SOC芯片31内部图像处理器的一种，用于对输入SOC芯片31的图像数据进行实时的处理。例如，在进行摄像头的图像数据的处理时，可以逐行或逐像素模式与摄像头传感器进行同步，然后对同步获取的图像数据进行处理，如进行线性纠正、降噪、坏点去除、内插、白平衡以及颜色转换等一些典型的ISP处理，提高图像数据的显示的质量。
需要说明的是，在本实施例中，从SOC芯片31发送至第一端口311的第一处理图像只经过实时ISP 313处理得到，在经过图像处理芯片32处理后的第二处理图像还需要再次经过SOC芯片31的其它处理，才可以输出，因此第二处理图像还需要经过第二端口312进入SOC芯片31。
图像处理芯片32，包括：
第一处理器321，用于接收第一端口311传输的第一处理图像，并对第一处理图像进行相应的图像处理，得到第二处理图像；
其中，第一处理器进行的相应的图像处理包括HDR处理和/或降噪处理和/或散景处理和/或基于深度学习的对象识别处理。
本实施例中，利用SOC芯片31外部的图像处理芯片32的第一处理器321，在SOC芯片31处理图像数据的过程中间，可以增加新的处理步骤。在SOC芯片31进行图像的实时处理后，通过第一端口311将第一处理图像，也就是实时处理后的图像传输至第一处理器321进行处理，以提高图像的质量，例如利用第一处理器33进行降噪、HDR以及散景处理。还可以通过第一处理器321进行处理，从而引进新的功能，例如对图像进行基于深度学习的对象识别处理，识别图像中的各种信息，如文字等，从而达到智能获取图像信息的功能。
其中，图像处理芯片32，还包括第二处理器322以及第三端口323，具体的：
第二处理器322，用于获取第三端口323接收到的原始图像，并对原始图像进行预处理，得到输入图像；
其中，预处理包括低光降噪处理和/或3A图像统计收集处理和/或基于深度学习的场景检测处理。
本实施例中，利用SOC芯片31外部的图像处理芯片32的第二处理器322，在SOC芯片31处理图像数据的过程之前，可以增加新的预处理步骤。在SOC芯片31进行图像的实时处理之前，通过图像处理芯片32的第三端口323接收原始图像，例如接收摄像头传感器发送的原始图像，进行图像的初步预处理。例如利用第二处理器322对原始图像进行低光降噪、3A图像统计收集等处理，以提高图像质量。还可以通过第二处理器322进行图像处理，从而引进新功能，例如对原始图像进行基于深度学习的场景检测，达到智能获取图像信息的功能。
第三端口323，用于将第二处理器得到的输入图像传输至SOC芯片31；其中，第三端口为MIPI CSI端口。
本实施例中，第三端口323除了可以接收原始图像并传输至第二处理器322，还可以将第二处理器322对原始图像进行预处理后的输入图像传输至SOC芯片31，再由SOC芯片31的上述各部件间进行图像的传输与处理。
需要说明的是，第三端口323为MIPI CSI端口。
本申请实施例中，还包括：
DDR存储器33，用于通过第二端口312，接收图像处理芯片32传输的第二处理图像，并对第二处理图像进行存储。
本申请实施例中，第二端口312除了可以接收输入图像并发送至实时ISP313，还可以接收来自图像处理芯片32的图像数据，例如接收经过图像处理芯片32的第一处理器321处理后的第二处理图像，以及接收第二处理器322处理后的输入图像。在接收第一处理器321处理后的第二处理图像，还可以利用第二端口312连接SOC芯片31外部的DDR存储器33进行图像的储存以及对图像的帧缓冲。
离线ISP 314，用于从DDR存储器33中获取第二处理图像，并对第二处理图像进行处理，得到第三处理图像；
本实施例中，离线ISP314位于SOC芯片31内部。
SOC芯片31除了对图像进行实时ISP图像处理，还需要进行图像的离线ISP处理，在图像处理芯片32进行处理后，SOC芯片31还需获取第二处理图像进行离线处理，这时可以使用SOC芯片31内部的离线ISP 314获取DDR存储器33中获取第二处理图像进行处理。离线ISP314会对第二处理图像进行典型的后置处理，例如暗光去噪、细节增强等，最终得到第三处理图像，整个图像处理过程结束。在系统级SOC芯片，例如在高通骁龙内，离线ISP具体为高通骁龙内的CPP(CPP，Camera Post Processor)。
上述实施例中SOC芯片31外部的图像处理芯片32支持透明模式，也即，在图像处理的过程中，图像可以直接进入SOC芯片31内进行处理，整个处理过程图像处理芯片32可以不参与。
本发明实施例公开了另一种具体的图像处理系统，参见图4所示，相对于上一实施例，本实施例对技术方案作了改进。具体的：
SOC芯片41中包括第二端口412和实时ISP 413以及离线ISP 414，其中：
第二端口412，用于接收输入图像并发送至实时ISP 413，其中，第二端口为MIPICSI端口或HDMI端口；
实时ISP 413，用于对输入图像进行处理，得到实时处理图像，并将实时处理图像发送至预设的DDR存储器43进行保存；
离线ISP 414，用于从DDR存储器43中获取实时处理图像，并对实时处理图像进行处理，得到第一处理图像，并将第一处理图像发送至第一端口411。
相对于上一实施例，本实施例中从SOC芯片41发送至第一端口411的第一处理图像是经过实时ISP 413以及离线ISP 414处理得到，因此再经过图像处理芯片42的第一处理器421处理，得到第二处理图像，整个图像处理过程结束。
图像处理芯片42，包括：
第一处理器421，用于接收第一端口411传输的第一处理图像，并对第一处理图像进行相应的图像处理，得到第二处理图像；
其中，第一处理器进行的相应的图像处理包括HDR处理和/或降噪处理和/或散景处理和/或基于深度学习的对象识别处理。
本实施例中，利用SOC芯片41外部的图像处理芯片42的第一处理器421，在SOC芯片41处理图像数据的过程之后，增加新的处理步骤。在SOC芯片41进行图像的实时以及离线处理后，通过第一端口411将第一处理图像，也就是实时处理后的图像传输至第一处理器421进行处理，以提高图像的质量，例如利用第一处理器421进行降噪、HDR以及散景处理。还可以通过第一处理器421进行处理，从而引进新的功能，例如对图像进行基于深度学习的对象识别处理，识别图像中的各种信息，如文字等，从而达到智能获取图像信息的功能。
本实施例经过上述步骤的处理后，得到的第二处理图像为最终的处理图像，整个图像处理过程结束。
其中，图像处理芯片42，还包括第二处理器422以及第三端口423，具体的：
第二处理器422，用于获取第三端口423接收到的原始图像，并对原始图像进行预处理，得到输入图像；
其中，预处理包括低光降噪处理和/或3A图像统计收集处理和/或基于深度学习的场景检测处理。
第三端口423，用于将第二处理器得到的输入图像传输至SOC芯片41；其中，第三端口为MIPI CSI端口。
上述实施例中SOC芯片41外部的图像处理芯片42支持透明模式，也即，在图像处理的过程中，图像可以直接进入SOC芯片41内进行处理，整个处理过程图像处理芯片42可以不参与。
关于上述各个部件更加详细的工作过程可以参考前述实施例中公开的相应内容，在此不再赘述。
本发明实施例还公开了一种图像处理方法，参见图5所示，该方法包括：
步骤S11：利用SOC芯片接收输入图像，并对输入图像进行处理，得到第一处理图像。
步骤S12：利用第一端口将SOC芯片得到的第一处理图像传输至图像处理芯片。
步骤S13：利用图像处理芯片对第一处理图像进行处理，得到第二处理图像；
其中，第一端口为MIPI DSI端口或HDMI端口。
可见，本实施例在图像处理过程中，通过第一端口，使SOC芯片对输入图像处理后得到的第一处理图像能够传输至外部的图像处理芯片，从而可以利用外部的图像处理芯片灵活地添加各种定制功能。总的来说，利用本发明的图像处理系统能够克服在进行图像处理时使用SOC芯片不易引入新的功能的问题。
关于上述各个步骤中使用的部件的更加详细的工作过程可以参考前述实施例中公开的相应内容，在此不再赘述。
本发明实施例公开了一种具体的图像处理方法，参见图6所示，该方法包括：
步骤S21：利用图像处理芯片内部的第二处理器获取图像处理芯片内部的第三端口接收到的原始图像，并对原始图像进行预处理，得到输入图像；
其中，预处理包括低光降噪处理和/或3A图像统计收集处理和/或基于深度学习的场景检测处理。
步骤S22：利用第三端口将第二处理器得到的输入图像传输至SOC芯片；其中，第三端口为MIPI CSI端口。
步骤S23：利用SOC芯片内部的第二端口接收输入图像并发送至SOC芯片内部的实时ISP，其中，第二端口为MIPI CSI端口或HDMI端口。
步骤S24：利用实时ISP对输入图像进行处理，得到第一处理图像，并将第一处理图像发送至第一端口。
步骤S25：利用图像处理芯片内部的第一处理器接收第一端口传输的第一处理图像，并对第一处理图像进行相应的图像处理，得到第二处理图像。
其中，第一处理器进行的相应的图像处理包括HDR处理和/或降噪处理和/或散景处理和/或基于深度学习的对象识别处理。
步骤S26：利用DDR存储器通过第二端口，接收图像处理芯片传输的第二处理图像，并对第二处理图像进行存储。
步骤S27：利用离线ISP从DDR存储器中获取第二处理图像，并对第二处理图像进行处理，得到第三处理图像；
其中，离线ISP位于SOC芯片内部。
关于上述各个步骤中使用的部件的更加详细的工作过程可以参考前述实施例中公开的相应内容，在此不再赘述。
本发明实施例公开了另一种具体的图像处理方法，参见图7所示，该方法包括：
步骤S31：利用图像处理芯片内部的第二处理器获取图像处理芯片内部的第三端口接收到的原始图像，并对原始图像进行预处理，得到输入图像；
其中，预处理包括低光降噪处理和/或3A图像统计收集处理和/或基于深度学习的场景检测处理。
步骤S32：利用第三端口将第二处理器得到的输入图像传输至SOC芯片；其中，第三端口为MIPI CSI端口。
步骤S33：利用SOC芯片内部的第二端口接收输入图像并发送至SOC芯片内部的实时ISP，其中，第二端口为MIPI CSI端口或HDMI端口。
步骤S34：利用实时ISP对输入图像进行处理，得到实时处理图像，并将实时处理图像发送至预设的DDR存储器进行保存。
步骤S35：利用SOC芯片内部的离线ISP从DDR存储器中获取实时处理图像，并对实时处理图像进行处理，得到第一处理图像，并将第一处理图像发送至第一端口。
步骤S36：利用图像处理芯片内部的第一处理器接收第一端口传输的第一处理图像，并对第一处理图像进行相应的图像处理，得到第二处理图像。
其中，第一处理器进行的相应的图像处理包括HDR处理和/或降噪处理和/或散景处理和/或基于深度学习的对象识别处理。
关于上述各个步骤中使用的部件的更加详细的工作过程可以参考前述实施例中公开的相应内容，在此不再赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种图像处理系统及方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种图像处理系统，其特征在于，包括SOC芯片、第一端口以及位于所述SOC芯片外部的图像处理芯片；其中，
所述SOC芯片，用于接收输入图像，并对所述输入图像进行处理，得到第一处理图像；
所述第一端口，用于将所述SOC芯片得到的所述第一处理图像传输至所述图像处理芯片；
所述图像处理芯片，用于对所述第一处理图像进行处理，得到第二处理图像；
其中，所述第一端口为MIPI DSI端口或HDMI端口。
2.根据权利要求1所述的系统，其特征在于，所述SOC芯片，包括第二端口和实时ISP；其中，
所述第二端口，用于接收所述输入图像并发送至所述实时ISP，其中，所述第二端口为MIPI CSI端口或HDMI端口；
所述实时ISP，用于对所述输入图像进行处理，得到所述第一处理图像，并将所述第一处理图像发送至所述第一端口。
3.根据权利要求2所述的系统，其特征在于，还包括：
DDR存储器，用于通过所述第二端口，接收所述图像处理芯片传输的所述第二处理图像，并对所述第二处理图像进行存储；
离线ISP，用于从所述DDR存储器中获取所述第二处理图像，并对所述第二处理图像进行处理，得到第三处理图像；
其中，所述离线ISP位于所述SOC芯片内部。
4.根据权利要求1所述的系统，其特征在于，所述SOC芯片，包括第二端口、实时ISP和离线ISP；其中，
所述第二端口，用于接收所述输入图像并发送至所述实时ISP，其中，所述第二端口为MIPI CSI端口或HDMI端口；
所述实时ISP，用于对所述输入图像进行处理，得到实时处理图像，并将所述实时处理图像发送至预设的DDR存储器进行保存；
所述离线ISP，用于从所述DDR存储器中获取所述实时处理图像，并对所述实时处理图像进行处理，得到所述第一处理图像，并将所述第一处理图像发送至所述第一端口。
5.根据权利要求1-4任一项所述的系统，其特征在于，所述图像处理芯片，包括：
第一处理器，用于接收所述第一端口传输的所述第一处理图像，并对所述第一处理图像进行相应的图像处理，得到所述第二处理图像；
其中，所述第一处理器进行的相应的图像处理包括HDR处理和/或降噪处理和/或散景处理和/或基于深度学习的对象识别处理。
6.根据权利要求5所述的系统，其特征在于，所述图像处理芯片，还包括第二处理器和第三端口；其中，
所述第二处理器，用于获取所述第三端口接收到的原始图像，并对所述原始图像进行预处理，得到所述输入图像；
所述第三端口，用于将所述第二处理器得到的所述输入图像传输至所述SOC芯片；其中，所述第三端口为MIPI CSI端口；
其中，所述预处理包括低光降噪处理和/或3A图像统计收集处理和/或基于深度学习的场景检测处理。
7.一种图像处理方法，其特征在于，包括：
利用SOC芯片接收输入图像，并对所述输入图像进行处理，得到第一处理图像；
利用第一端口将所述SOC芯片得到的所述第一处理图像传输至图像处理芯片；
利用所述图像处理芯片对所述第一处理图像进行处理，得到第二处理图像；
其中，所述第一端口为MIPI DSI端口或HDMI端口。
8.根据权利要求7所述的方法，其特征在于，所述利用SOC芯片接收输入图像，并对所述输入图像进行处理，得到第一处理图像的过程，包括：
利用所述SOC芯片内部的第二端口接收所述输入图像并发送至所述SOC芯片内部的实时ISP，其中，所述第二端口为MIPI CSI端口或HDMI端口；
利用所述实时ISP对所述输入图像进行处理，得到所述第一处理图像，并将所述第一处理图像发送至所述第一端口。
9.根据权利要求8所述的方法，其特征在于，还包括：
利用DDR存储器通过所述第二端口，接收所述图像处理芯片传输的所述第二处理图像，并对所述第二处理图像进行存储；
利用离线ISP从所述DDR存储器中获取所述第二处理图像，并对所述第二处理图像进行处理，得到第三处理图像；
其中，所述离线ISP位于所述SOC芯片内部。
10.根据权利要求7所述的系统，其特征在于，所述利用SOC芯片接收输入图像，并对所述输入图像进行处理，得到第一处理图像的过程，包括：
利用所述SOC芯片内部的第二端口接收所述输入图像并发送至所述SOC芯片内部的实时ISP，其中，所述第二端口为MIPI CSI端口或HDMI端口；
利用所述实时ISP对所述输入图像进行处理，得到实时处理图像，并将所述实时处理图像发送至预设的DDR存储器进行保存；
利用所述SOC芯片内部的离线ISP从所述DDR存储器中获取所述实时处理图像，并对所述实时处理图像进行处理，得到所述第一处理图像，并将所述第一处理图像发送至所述第一端口。
11.根据权利要求7-10任一项所述的方法，其特征在于，所述利用所述图像处理芯片对所述第一处理图像进行处理，得到第二处理图像的过程，包括：
利用所述图像处理芯片内部的第一处理器接收所述第一端口传输的所述第一处理图像，并对所述第一处理图像进行相应的图像处理，得到所述第二处理图像；
其中，所述第一处理器进行的相应的图像处理包括HDR处理和/或降噪处理和/或散景处理和/或基于深度学习的对象识别处理。
12.根据权利要求11所述的方法，其特征在于，还包括：
利用所述图像处理芯片内部的第二处理器获取所述图像处理芯片内部的第三端口接收到的原始图像，并对所述原始图像进行预处理，得到所述输入图像；
利用所述第三端口将所述第二处理器得到的所述输入图像传输至所述SOC芯片；其中，所述第三端口为MIPI CSI端口；
其中，所述预处理包括低光降噪处理和/或3A图像统计收集处理和/或基于深度学习的场景检测处理。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710551644 | 2017-07-07 | ||
| CN2017105516443 | 2017-07-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107220208A true CN107220208A (zh) | 2017-09-29 |
| CN107220208B CN107220208B (zh) | 2020-11-13 |
Family
ID=59952941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710576922.0A Active CN107220208B (zh) | 2017-07-07 | 2017-07-14 | 一种图像处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107220208B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109286742A (zh) * | 2018-10-19 | 2019-01-29 | 浙江大华技术股份有限公司 | 一种图像采集设备及方法 |
| CN110648273A (zh) * | 2019-09-27 | 2020-01-03 | 中国科学院长春光学精密机械与物理研究所 | 实时图像处理装置 |
| WO2020063506A1 (zh) * | 2018-09-29 | 2020-04-02 | 上海众链科技有限公司 | 智能终端、图像处理方法及计算机可读存储介质 |
| US10649012B1 (en) | 2018-11-28 | 2020-05-12 | Altek Semiconductor Corporation | Transmission interface module and signal transmission method |
| CN111601019A (zh) * | 2020-02-28 | 2020-08-28 | 北京爱芯科技有限公司 | 图像数据处理模组及电子设备 |
| CN112965922A (zh) * | 2021-03-03 | 2021-06-15 | 南昌黑鲨科技有限公司 | 一种用于增强智能终端的ai性能的方法及系统 |
| CN113873141A (zh) * | 2020-06-30 | 2021-12-31 | Oppo广东移动通信有限公司 | 电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009077301A (ja) * | 2007-09-21 | 2009-04-09 | Sharp Corp | 画像処理装置およびその制御方法 |
| CN102647600A (zh) * | 2011-02-16 | 2012-08-22 | 青岛海信电器股份有限公司 | 3d图像信号的处理方法和装置、显示面板及液晶显示器 |
| CN103412823A (zh) * | 2013-08-07 | 2013-11-27 | 格科微电子（上海）有限公司 | 基于超宽总线的芯片架构及其数据访问方法 |
| CN204316622U (zh) * | 2015-01-06 | 2015-05-06 | 上海青橙实业有限公司 | 图像处理装置及用户终端 |
-
2017
- 2017-07-14 CN CN201710576922.0A patent/CN107220208B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009077301A (ja) * | 2007-09-21 | 2009-04-09 | Sharp Corp | 画像処理装置およびその制御方法 |
| CN102647600A (zh) * | 2011-02-16 | 2012-08-22 | 青岛海信电器股份有限公司 | 3d图像信号的处理方法和装置、显示面板及液晶显示器 |
| CN103412823A (zh) * | 2013-08-07 | 2013-11-27 | 格科微电子（上海）有限公司 | 基于超宽总线的芯片架构及其数据访问方法 |
| CN204316622U (zh) * | 2015-01-06 | 2015-05-06 | 上海青橙实业有限公司 | 图像处理装置及用户终端 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020063506A1 (zh) * | 2018-09-29 | 2020-04-02 | 上海众链科技有限公司 | 智能终端、图像处理方法及计算机可读存储介质 |
| CN109286742A (zh) * | 2018-10-19 | 2019-01-29 | 浙江大华技术股份有限公司 | 一种图像采集设备及方法 |
| CN109286742B (zh) * | 2018-10-19 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种图像采集设备及方法 |
| US10649012B1 (en) | 2018-11-28 | 2020-05-12 | Altek Semiconductor Corporation | Transmission interface module and signal transmission method |
| CN110648273A (zh) * | 2019-09-27 | 2020-01-03 | 中国科学院长春光学精密机械与物理研究所 | 实时图像处理装置 |
| CN111601019A (zh) * | 2020-02-28 | 2020-08-28 | 北京爱芯科技有限公司 | 图像数据处理模组及电子设备 |
| CN113873141A (zh) * | 2020-06-30 | 2021-12-31 | Oppo广东移动通信有限公司 | 电子设备 |
| CN112965922A (zh) * | 2021-03-03 | 2021-06-15 | 南昌黑鲨科技有限公司 | 一种用于增强智能终端的ai性能的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107220208B (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107220208B (zh) | 一种图像处理系统及方法 | |
| EP3457680B1 (en) | Electronic device for correcting image and method for operating the same | |
| US9578224B2 (en) | System and method for enhanced monoimaging | |
| CN109756671B (zh) | 使用多个相机记录图像的电子装置及其操作方法 | |
| US12096134B2 (en) | Big aperture blurring method based on dual cameras and TOF | |
| US10212339B2 (en) | Image generation method based on dual camera module and dual camera apparatus | |
| US8947453B2 (en) | Methods and systems for mobile document acquisition and enhancement | |
| CN112602111A (zh) | 模糊基于深度信息组合多个图像而获得的图像的电子设备及驱动该电子设备的方法 | |
| US11290641B2 (en) | Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme | |
| US11516482B2 (en) | Electronic device and image compression method of electronic device | |
| KR20230098575A (ko) | 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들 | |
| CN110177215A (zh) | 图像处理方法、图像处理器、拍摄装置和电子设备 | |
| CN109756763B (zh) | 用于基于优先级处理图像的电子装置及其操作方法 | |
| CN112087569B (zh) | 一种摄像机及摄像机启动方法、装置 | |
| CN112188093B (zh) | 双模态信号融合系统和方法 | |
| US9826171B2 (en) | Apparatus and method for reconstructing high dynamic range video | |
| CN111742320A (zh) | 提供与应用有关的文本翻译管理数据的方法及其电子装置 | |
| US20180197282A1 (en) | Method and device for producing a digital image | |
| CN112085775A (zh) | 图像处理的方法、装置、终端和存储介质 | |
| CN111860530A (zh) | 电子设备、数据处理方法及相关装置 | |
| CN114298889A (zh) | 图像处理电路和图像处理方法 | |
| CN109309784B (zh) | 移动终端 | |
| CN112565603A (zh) | 图像处理方法、装置及电子设备 | |
| US11115605B2 (en) | Electronic device for selectively compressing image data according to read out speed of image sensor, and method for operating same | |
| US20210044775A1 (en) | Electronic device for compressing image acquired by using camera, and operation method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 Nanshan District, Shenzhen City, Guangdong Province, Guangdong Province, Yuehai Street High-tech Zone Community, No. 6 Sandao, Yuexing, Nanda Industry, Education and Research Building 3A Applicant after: SHENZHEN HAIPPI NANOOPTICAL TECHNOLOGY CO., LTD. Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant before: Shenzhen core Intelligent Technology Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |