CN109819139A - 一种智能电子设备和图像处理单元、装置、方法 - Google Patents

一种智能电子设备和图像处理单元、装置、方法 Download PDF

Info

Publication number
CN109819139A
CN109819139A CN201711171819.4A CN201711171819A CN109819139A CN 109819139 A CN109819139 A CN 109819139A CN 201711171819 A CN201711171819 A CN 201711171819A CN 109819139 A CN109819139 A CN 109819139A
Authority
CN
China
Prior art keywords
image
processing unit
control
acquisition units
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711171819.4A
Other languages
English (en)
Other versions
CN109819139B (zh
Inventor
简欢
罗宁
张善旭
韩江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Rockchip Electronics Co Ltd
Original Assignee
Fuzhou Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou Rockchip Electronics Co Ltd filed Critical Fuzhou Rockchip Electronics Co Ltd
Priority to CN201711171819.4A priority Critical patent/CN109819139B/zh
Priority to US16/754,752 priority patent/US11528400B2/en
Priority to PCT/CN2018/114547 priority patent/WO2019091423A1/en
Publication of CN109819139A publication Critical patent/CN109819139A/zh
Application granted granted Critical
Publication of CN109819139B publication Critical patent/CN109819139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种智能电子设备、图像处理单元、图像处理装置以及图像处理方法,图像处理单元通过第二数据线接收第一图像采集单元生成的第一图像;图像处理单元通过第一数据线接收应用处理单元发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线将第四图像传输给应用处理单元。由于图像采集单元生成的第一图像和应用处理单元发送的第三图像是在图像处理单元进行优化处理的,有效减轻了应用处理单元在进行图像处理时的负担,提升了图像处理效率,提高了系统性能。

Description

一种智能电子设备和图像处理单元、装置、方法
技术领域
本发明涉及图像采集处理领域,特别涉及一种智能电子设备和图像处理单元、装置、方法。
背景技术
目前,智能电子设备通过配置有摄像头,摄像头在采集图像数据后,通常由AP(application process)来完成对图像的进一步处理,如HDR处理、WDR处理、图像降噪处理等。由于图像采集控制以及对采集的图像进一步优化处理都需要通过AP来完成,加重了AP负担,影响系统在图像处理时的效率,导致图像处理效率低下、系统性能下降等问题。
发明内容
为此,需要提供一种图像处理的技术方案,用以解决现有的智能设备在对图像进行处理时,由于图像采集控制以及对采集的图像进一步优化处理都需要通过AP来完成,导致图像处理效率低下、系统性能下降等问题。
发明人提供了一种智能电子设备,所述设备包括图像采集单元、图像处理单元和应用处理单元;
图像处理单元通过第一数据线与应用处理单元相连;
图像处理单元通过第二数据线与第一图像采集单元相连;
所述图像处理单元用于通过第二数据线接收第一图像采集单元生成的第一图像;
所述图像处理单元用于通过第一数据线接收应用处理单元发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线将第四图像传输给应用处理单元。
进一步地,图像处理单元通过第一控制线与应用处理单元相连;
图像处理单元通过第二控制线与第一图像采集单元相连;
所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制线将第二控制指令发送给第一图像采集单元,所述第二控制指令用于控制采集图像。
进一步地,图像处理单元用于根据第一控制指令生成第二控制指令。
进一步地,应用处理单元通过第四控制线与第一图像采集单元相连;
应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第四控制线将第一控制指令发送给第一图像采集单元。
进一步地,图像处理单元用于通过第二数据线接收第一图像采集单元采集的采集参数,根据该采集参数生成第四控制指令,并通过第二控制线将第四控制指令发送给第一图像采集单元。
进一步地,所述设备还包括第二图像采集单元;
图像处理单元通过第三数据线与第二图像采集单元相连;
所述图像处理单元还用于通过第三数据线接收第二图像采集单元生成的第二图像;
图像处理单元用于根据第一图像和第三图像生成第四图像包括:图像处理单元用于根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。
进一步地,图像处理单元通过第一控制线与应用处理单元相连;
图像处理单元通过第二控制线与第一图像采集单元相连;
图像处理单元通过第三控制线与第二图像采集单元相连;
所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制线将第二控制指令发送给第一图像采集单元,并通过第三控制线将第三控制指令发送给第二图像采集单元。
进一步地,应用处理单元通过第五控制线与第二图像采集单元相连;
应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第五控制线将第一控制指令发送给第二图像采集单元。
进一步地,所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第四控制指令,根据第一控制指令通过第一数据线从应用处理单元接收第三图像,再根据第四控制指令通过第一数据线将第四图像传输给应用处理单元。
进一步地,所述图像处理单元用于通过第一数据线将第四图像传输给应用处理单元包括:
图像处理单元通过第一控制线接收从应用处理单元发出的第六控制指令,并根据第六控制指令通过第一数据线将第四图像传输给应用处理单元。
进一步地,图像处理单元用于根据第一控制指令生成第三控制指令。
进一步地,图像处理单元用于通过第三数据线接收第二图像采集单元采集的采集参数,根据该采集参数生成第五控制指令,并通过第三控制线将第五控制指令发送给第二图像采集单元。
进一步地,所述采集参数包括以下参数中的一项或多项:调节图像采集单元的光圈大小、快门时间和增益、曝光参数,调节图像采集单元所要采集的图像的大小、帧率,以及控制图像采集单元采集图像。
进一步地,图像处理单元生成第四图像后,还用于通过第一数据线接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据线将第六图像传输给应用处理单元。
进一步地,所述图像处理单元包括数字信号处理器和缓存模块;所述应用处理单元包括主控模块和存储模块,所述主控模块和存储模块连接;
所述存储模块用于存储图像采集单元控制插件;
所述主控模块用于在接收到第一启动指令后,通过第一数据线发送图像采集单元控制插件至图像处理单元,并用于发送第一控制指令至图像处理单元;
所述缓存模块用于缓存图像采集单元控制插件;
所述数字信号处理器用于通过第一数据线接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块中,并用于根据接收到的第一控制指令,获取缓存模块中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制线将包含上述参数配置信息的第二控制指令发送至第一图像采集单元;
所述第一图像采集单元用于接收第二控制指令,并将图像采集单元的采集参数调整为第二控制指令中参数配置信息对应的采集参数,并获取第一图像。
进一步地,所述应用处理单元还通过第四控制线直接与第一图像采集单元连接;
所述存储模块还存储有图像采集单元应用控制插件;
所述主控模块还用于获取存储模块中的图像采集单元应用控制插件并执行,以确定图像采集单元的参数配置信息,并通过第四控制线将包含有上述参数配置信息的第一控制指令发送至第一图像采集单元。
发明人还提供了一种图像处理单元,所述图像处理单元包括第一数据接口和第二数据接口;
所述第一数据接口用于与应用处理单元相连;
所述第二数据接口用于与第一图像采集单元相连;
所述图像处理单元用于通过第二数据接口接收第一图像采集单元生成的第一图像;
所述图像处理单元用于通过第一数据接口接收应用处理单元发送的第三图像,根据第一图像和第三图像生成第四图像,并通过第一数据接口传输第四图像至应用处理单元。
进一步地,所述图像处理单元还包括第一控制接口和第二控制接口;
所述第一控制接口用于与应用处理单元相连;
所述第二控制接口用于与第一图像采集单元相连;
所述图像处理单元用于通过第一控制接口接收从应用处理单元发出的第一控制指令,通过第二控制接口将第二控制指令发送给第一图像采集单元,所述第二控制指令用于控制采集图像。
进一步地,图像处理单元用于根据第一控制指令生成第二控制指令。
进一步地,图像处理单元用于通过第二数据接口接收第一图像采集单元采集的采集参数,根据该采集参数生成第四控制指令,并通过第二控制接口将第四控制指令发送给第一图像采集单元。
进一步地,所述图像处理单元还包括第三数据接口;
所述第三数据接口用于与第二图像采集单元相连;
所述图像处理单元还用于通过第三数据接口接收第二图像采集单元生成的第二图像;
图像处理单元用于根据第一图像和第三图像生成第四图像包括:图像处理单元用于根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。
进一步地,所述图像处理单元还包括第一控制接口、第二控制接口和第二控制接口;
所述第一控制接口用于与应用处理单元相连;
所述第二控制接口用于与第一图像采集单元相连;
所述第三控制接口用于与第二图像采集单元相连;
所述图像处理单元用于通过第一控制接口接收从应用处理单元发出的第一控制指令,通过第二控制接口将第二控制指令发送给第一图像采集单元,并通过第三控制接口将第三控制指令发送给第二图像采集单元。
进一步地,所述图像处理单元用于通过第一控制接口接收从应用处理单元发出的第四控制指令,根据第一控制指令通过第一数据接口从应用处理单元接收第三图像,再根据第四控制指令通过第一数据接口将第四图像传输给应用处理单元。
进一步地,所述图像处理单元用于通过第一数据接口将第四图像传输给应用处理单元包括:
图像处理单元通过第一控制接口接收从应用处理单元发出的第六控制指令,并根据第六控制指令通过第一数据接口将第四图像传输给应用处理单元。
进一步地,图像处理单元用于根据第一控制指令生成第三控制指令。
进一步地,图像处理单元用于通过第三数据接口接收第二图像采集单元采集的采集参数,根据该采集参数生成第五控制指令,并通过第三控制接口将第五控制指令发送给第二图像采集单元。
进一步地,所述采集参数包括以下参数中的一项或多项:调节图像采集单元的光圈大小、快门时间和增益、曝光参数,调节图像采集单元所要采集的图像的大小、帧率,以及控制图像采集单元采集图像。
进一步地,图像处理单元生成第四图像后,还用于通过第一数据接口接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据接口将第六图像传输给应用处理单元。
进一步地,所述图像处理单元包括第一控制接口、第二控制接口、数字信号处理器和缓存模块;
所述第一控制接口用于与应用处理单元相连;
所述缓存模块用于缓存图像采集单元控制插件;
所述数字信号处理器用于通过第一数据接口接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块中,并用于根据第一控制接口接收到的应用处理单元发送的第一控制指令,获取缓存模块中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制接口将包含上述参数配置信息的第二控制指令发送至第一图像采集单元。
发明人还提供了一种图像处理装置,所述装置包括图像处理单元和应用处理单元;所述图像处理单元包括第二数据接口;
图像处理单元通过第一数据线与应用处理单元相连;
所述第二数据接口用于与第一图像采集单元相连;
所述图像处理单元用于通过第二数据接口接收第一图像采集单元生成的第一图像;
所述图像处理单元用于通过第一数据线接收应用处理单元发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线将第四图像传输给应用处理单元。
进一步地,所述图像处理单元包括第二控制接口;
图像处理单元通过第一控制线与应用处理单元相连;
图像处理单元通过第二控制接口与第一图像采集单元相连;
所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制接口将第二控制指令发送给第一图像采集单元,所述第二控制指令用于控制采集图像。
进一步地,图像处理单元用于根据第一控制指令生成第二控制指令。
进一步地,所述应用处理单元包括第四控制接口;
应用处理单元通过第四控制接口与第一图像采集单元相连;
应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第四控制接口将第一控制指令发送给第一图像采集单元。
进一步地,图像处理单元用于通过第二数据接口接收第一图像采集单元采集的采集参数,根据该采集参数生成第四控制指令,并通过第二控制接口将第四控制指令发送给第一图像采集单元。
进一步地,所述图像处理单元还包括第三数据接口;
图像处理单元通过第三数据接口与第二图像采集单元相连;
所述图像处理单元还用于通过第三数据接口接收第二图像采集单元生成的第二图像;
图像处理单元用于根据第一图像和第三图像生成第四图像包括:图像处理单元用于根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。
进一步地,所述图像处理单元包括第二控制接口和第三控制接口;
图像处理单元通过第一控制线与应用处理单元相连;
所述第二控制接口用于与第一图像采集单元相连;
所述第三控制接口用于与第二图像采集单元相连;
所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制接口将第二控制指令发送给第一图像采集单元,并通过第三控制接口将第三控制指令发送给第二图像采集单元。
进一步地,所述应用处理单元还包括第五控制接口;
所述第五控制接口用于与第二图像采集单元相连;
应用处理单元用于在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第五控制接口将第一控制指令发送给第二图像采集单元。
进一步地,所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第四控制指令,根据第一控制指令通过第一数据线从应用处理单元接收第三图像,再根据第四控制指令通过第一数据线将第四图像传输给应用处理单元。
进一步地,所述图像处理单元用于通过第一数据线将第四图像传输给应用处理单元包括:
图像处理单元通过第一控制线接收从应用处理单元发出的第六控制指令,并根据第六控制指令通过第一数据线将第四图像传输给应用处理单元。
进一步地,图像处理单元用于根据第一控制指令生成第三控制指令。
进一步地,图像处理单元用于通过第三数据接口接收第二图像采集单元采集的采集参数,根据该采集参数生成第五控制指令,并通过第三控制接口将第五控制指令发送给第二图像采集单元。
进一步地,所述采集参数包括以下参数中的一项或多项:调节图像采集单元的光圈大小、快门时间和增益、曝光参数,调节图像采集单元所要采集的图像的大小、帧率,以及控制图像采集单元采集图像。
进一步地,图像处理单元生成第四图像后,还用于通过第一数据线接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据线将第六图像传输给应用处理单元。
进一步地,所述图像处理单元与应用处理单元通过第一控制线连接;所述图像处理单元包括第二控制接口、数字信号处理器和缓存模块;所述应用处理单元包括主控模块和存储模块,所述主控模块和存储模块连接;
所述存储模块用于存储图像采集单元控制插件;
所述主控模块用于在接收到第一启动指令后,通过第一数据线发送图像采集单元控制插件至图像处理单元,并用于发送第一控制指令至图像处理单元;
所述缓存模块用于缓存图像采集单元控制插件;
所述数字信号处理器用于通过第一数据线接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块中,并用于根据接收到的应用处理单元通过第一控制线发送的第一控制指令,获取缓存模块中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制接口将包含上述参数配置信息的第二控制指令发送至第一图像采集单元。
进一步地,所述应用处理单元还包括第四控制接口;
所述第四控制接口用于与第一图像采集单元连接;
所述存储模块还存储有图像采集单元应用控制插件;
所述主控模块还用于获取存储模块中的图像采集单元应用控制插件并执行,以确定图像采集单元的参数配置信息,并通过第四控制线将包含有上述参数配置信息的第一控制指令发送至第一图像采集单元。
发明人还提供了一种图像处理方法,所述方法应用于智能电子设备,所述设备包括第一图像采集单元、图像处理单元和应用处理单元;
图像处理单元通过第一数据线与应用处理单元相连;
图像处理单元通过第二数据线与第一图像采集单元相连;
所述方法包括以下步骤:
图像处理单元通过第二数据线接收第一图像采集单元生成的第一图像;
图像处理单元通过第一数据线接收应用处理单元发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线将第四图像传输给应用处理单元。
进一步地,图像处理单元通过第一控制线与应用处理单元相连;
图像处理单元通过第二控制线与第一图像采集单元相连;
所述方法包括步骤:
图像处理单元通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制线将第二控制指令发送给第一图像采集单元,所述第二控制指令用于控制采集图像。
进一步地,所述方法包括步骤:图像处理单元根据第一控制指令生成第二控制指令。
进一步地,应用处理单元通过第四控制线与第一图像采集单元相连;
所述方法包括步骤:
应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第四控制线将第一控制指令发送给第一图像采集单元。
进一步地,所述方法包括步骤:
图像处理单元通过第二数据线接收第一图像采集单元采集的采集参数,根据该采集参数生成第四控制指令,并通过第二控制线将第四控制指令发送给第一图像采集单元。
进一步地,所述设备还包括第二图像采集单元;图像处理单元通过第三数据线与第二图像采集单元相连;所述方法包括步骤:
图像处理单元通过第三数据线接收第二图像采集单元生成的第二图像;
步骤“图像处理单元根据第一图像和第三图像生成第四图像”包括:图像处理单元根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。
进一步地,图像处理单元通过第一控制线与应用处理单元相连;
图像处理单元通过第二控制线与第一图像采集单元相连;
图像处理单元通过第三控制线与第二图像采集单元相连;
所述方法包括步骤:
图像处理单元通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制线将第二控制指令发送给第一图像采集单元,并通过第三控制线将第三控制指令发送给第二图像采集单元。
进一步地,应用处理单元通过第五控制线与第二图像采集单元相连;
所述方法包括步骤:
应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第五控制线将第一控制指令发送给第二图像采集单元。
进一步地,所述方法包括步骤:
图像处理单元通过第一控制线接收从应用处理单元发出的第四控制指令,根据第一控制指令通过第一数据线从应用处理单元接收第三图像,再根据第四控制指令通过第一数据线将第四图像传输给应用处理单元。
进一步地,图像处理单元通过第一数据线将第四图像传输给应用处理单元包括:
图像处理单元通过第一控制线接收从应用处理单元发出的第六控制指令,并根据第六控制指令通过第一数据线将第四图像传输给应用处理单元。
进一步地,所述方法包括步骤:图像处理单元根据第一控制指令生成第三控制指令。
进一步地,所述方法包括步骤:图像处理单元通过第三数据线接收第二图像采集单元采集的采集参数,根据该采集参数生成第五控制指令,并通过第三控制线将第五控制指令发送给第二图像采集单元。
进一步地,所述采集参数包括以下参数中的一项或多项:调节图像采集单元的光圈大小、快门时间和增益、曝光参数,调节图像采集单元所要采集的图像的大小、帧率,以及控制图像采集单元采集图像。
进一步地,所述方法包括步骤:图像处理单元生成第四图像后,通过第一数据线接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据线将第六图像传输给应用处理单元。
进一步地,所述图像处理单元包括数字信号处理器和缓存模块;所述应用处理单元包括主控模块和存储模块,所述主控模块和存储模块连接;所述方法包括步骤:
存储模块存储图像采集单元控制插件;
主控模块在接收到第一启动指令后,通过第一数据线发送图像采集单元控制插件至图像处理单元,并发送第一控制指令至图像处理单元;
缓存模块缓存图像采集单元控制插件;
数字信号处理器通过第一数据线接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块中,并用于根据接收到的第一控制指令,获取缓存模块中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制线将包含上述参数配置信息的第二控制指令发送至第一图像采集单元;
第一图像采集单元接收第二控制指令,并将图像采集单元的采集参数调整为第二控制指令中参数配置信息对应的采集参数,并获取第一图像。
进一步地,所述应用处理单元还通过第四控制线直接与第一图像采集单元连接;所述方法包括步骤:
存储模块存储图像采集单元应用控制插件;
主控模块获取存储模块中的图像采集单元应用控制插件并执行,以确定图像采集单元的参数配置信息,并通过第四控制线将包含有上述参数配置信息的第一控制指令发送至第一图像采集单元。
上述技术方案所述的智能电子设备、图像处理单元、图像处理装置以及和图像处理方法,图像处理单元通过第一数据线与应用处理单元相连;图像处理单元通过第二数据线与第一图像采集单元相连。图像处理单元通过第二数据线接收第一图像采集单元生成的第一图像;图像处理单元通过第一数据线接收应用处理单元发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线将第四图像传输给应用处理单元。这样,通过应用处理单元与图像处理单元的双向数据交互,有效减轻了应用处理单元在进行图像处理时的负担,提升了图像处理效率,提高了系统性能。
附图说明
图1为本发明一实施方式涉及的智能电子设备的示意图;
图2-A为本发明另一实施方式涉及的智能电子设备的示意图;
图2-B为本发明另一实施方式涉及的智能电子设备的示意图;
图3为本发明一实施方式涉及的图像处理单元的示意图;
图4为本发明一实施方式涉及的图像处理装置的示意图;
图5为本发明一实施方式涉及的图像处理方法的流程图;
附图标记说明:
110、智能电子设备;
120、第一图像采集单元;125、第二图像采集单元;
130、图像处理单元;131、数字信号处理器;133、缓存模块;
140、应用处理单元;141、主控模块;143、存储模块;
160、图像处理装置;
152、第一控制线;151、第二控制线;156、第三控制线;158、第四控制线;159、第五控制线;
154、第一数据线;153、第二数据线;157、第三数据线;155、插件线;
211、第一数据接口;212、第二数据接口;213、第三数据接口;
311、第一控制接口;312、第二控制接口;313、第三控制接口;314、第四控制接口;315、第五控制接口。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
请参阅图1,为本发明一实施方式涉及的智能电子设备的示意图。所述智能电子设备110包括图像采集单元、图像处理单元130和应用处理单元140。图像采集单元包括第一图像采集单元120,图像采集单元为具有图像采集功能的电子元件,包括彩色摄像头、黑白摄像头、长短焦摄像头、深度摄像头、红外摄像头、运动感知摄像头;图像处理单元130为具有对图像采集单元进行控制以及对图像采集单元所采集的图像进行处理的电子元件,如包含有数字信号处理器的芯片等;应用处理单元140为具体对图像采集单元以及图像处理单元进行控制的电子元件,应用处理单元140可为应用处理器(Application Processor,简称AP)、中央处理器(Central Processing Unit,简称CPU)、或者系统芯片(System on Chip,简称SoC)。为了便于描述,图像采集单元也会被称为“摄像头”。
图像处理单元130通过第一数据线154与应用处理单元140相连;图像处理单元130通过第二数据线153与第一图像采集单元120相连。所述图像处理单元130用于通过第二数据线153接收第一图像采集单元120生成的第一图像,通过第一数据线154接收应用处理单元140发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线154将第四图像传输给应用处理单元140。由于第一图像采集单元120采集的第一图像和应用处理单元140发送的第三图像是在图像处理单元130进行处理,应用处理单元140在发出第三图像后,只需接收图像处理单元130传输的第四图像即可,有效减轻了应用处理单元140在进行图像处理时的负担,提升了图像处理效率,提高了系统性能。
在一些实施例中,连接图像处理单元130和应用处理单元140的第一数据线154,是一根可以双向传输的数据线。就是说,图像处理单元130可以利用第一数据线154来接收应用处理单元140传输出的数据,也可以利用同一根第一数据线154来将数据发送给应用处理单元140。同样的,应用处理单元140可以利用第一数据线154来将数据发送给图像处理单元130,也可以利用同一根第一数据线154来接收图像处理单元130传输来的数据。这样,应用处理单元140不但可以利用图像处理单元130来帮助其控制摄像头120,还能够将其不能处理的数据给图像处理单元130来处理,或者让图像处理单元130来分担一些其需要处理的数据。
在本实施方式中,图像处理单元130通过第一控制线152与应用处理单元140相连;图像处理单元130通过第二控制线151与第一图像采集单元120相连。所述图像处理单元130用于通过第一控制线152接收从应用处理单元140发出的第一控制指令,通过第二控制线151将第二控制指令发送给第一图像采集单元120,所述第二控制指令用于控制采集图像。优选的,图像处理单元130用于根据第一控制指令生成第二控制指令。例如现在需要第一图像采集单元120按照应用处理单元140发送的第一控制指令所包含的采集参数进行采集图像,并需要对采集后的图像以及应用处理单元140发送的图像进行合并处理,如果按照图像采集单元120与应用处理单元140直接相连的架构,采集完成后的图像仍需要在应用处理单元140进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元130在接收到第一控制指令后,将生成第二控制指令控制第一图像采集单元120进行采集图像,同时,图像处理单元130也可以接收应用处理单元140发送的图像,并对两者进行合并处理,再由图像处理单元130将合并后的图像发送给应用处理单元140,从而有效减轻了应用处理单元140的负担,提高了系统性能。
在一些实施例中,图像处理单元130或者应用处理单元140可以根据控制指令来控制第一控制线154的数据传输方向。假设数据从应用处理单元140传输到图像处理单元130的方向为“第一传输方向”,数据从图像处理单元130传输到应用处理单元140的方向为“第二传输方向”,应用处理单元140可以通过第一控制线152发送一个传输方向的控制指令给图像处理单元130,用于明确第一数据线154的数据传输是第一传输方向还是第二传输方向。这样,图像处理单元130可以听从这个传输方向的控制指令,来判断是利用第一控制线154来发送数据还是接收数据。
在另外一些实施例中,图像处理单元130或者应用处理单元140可以根据一种预先安排的“传输方案”,在不需要依赖控制指令的情况下,来自动判断第一控制线154的传输方向。比如,一种传输方案是在系统时间为奇数时间节点(毫秒)时,将第一控制线154用于第一传输方向的传输,在系统时间为偶数时间节点(毫秒)时,将第一控制线154用于第二传输方向的传输。另外,应用处理单元140可以将不同的传输方案嵌入一个控制指令内,并通过第一控制线152将该控制指令发送给图像处理单元130。
在一些实施例中,图像处理单元130和应用处理单元140可以利用双向传输的第一控制线154来完成一些同步执行或者异步执行的数据处理功能。通过第一控制线152传输的控制指令,应用处理单元140可以让图像处理单元130分担一些数据处理的任务。比如说,应用处理单元140在对一帧图像进行解码处理时,它可以将该帧图像的一部分通过第一数据线154发送给图像处理单元130。在图像处理单元130处理该部分图像的同时(或者几乎同时),应用处理单元140可以同步处理该帧图像的其他部分。图像处理单元130将处理完的一部分解码图像通过第一数据线154发送给应用处理单元140后,应用处理单元140可以将其与自己处理完的另外一部分解码图像合并,生成一帧完整的解码图像。
在一些实施例中,通过第一控制线152传输的控制指令,应用处理单元140可以让图像处理单元130来处理其无法完成的数据处理任务。比如说,应用处理单元140在对一帧H.265编码的图像进行解码处理时,发现其没有H.265的编码解码功能,而图像处理单元130有H.265编码解码的能力。在这种情况下,应用处理单元140可以将该帧图像通过第一数据线154发送给图像处理单元130,并通过控制指令来要求图像处理单元130代替它解码。在图像处理单元130根据控制指令将这帧图像解码,并将解码后的图像通过第一数据线154发送给应用处理单元140后,应用处理单元140可以再对该帧图像进行进一步的优化处理(比如色彩调整)。进一步的,应用处理单元140可以将优化处理后的图像通过第一数据线154发送给图像处理单元130,并通过控制指令让图像处理单元进行H.265编码。之后,图像处理单元130根据控制指令对收到的图像进行H.265编码,再将编码后的图像通过第一数据线154发送给应用处理单元140。
在一些实施例中,图像处理单元130也可以利用应用处理单元140来分担处理任务或者处理其无法完成的处理任务。比如说,图像处理单元130可以通过第一数据线154将“数据处理指令”或需要处理的数据发送给应用处理单元140。应用处理单元140根据收到的数据处理指令,与图像处理单元130一起合作,同步或者异步处理图像处理单元130发送给应用处理单元140的数据。与上述实施例相似,图像处理单元130可以与应用处理单元140同步处理同一帧图像的不同部分,或者图像处理单元130可以让应用处理单元140来异步完成其不能完成的H.265编码解码功能。
如图2-A所示,在某些实施例中,所述设备还包括第二图像采集单元125,图像处理单元130通过第三数据线157与第二图像采集单元125相连;所述图像处理单元130还用于通过第三数据线157接收第二图像采集单元生成的第二图像。图像处理单元130用于根据第一图像和第三图像生成第四图像包括:图像处理单元130用于根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。图像处理单元130通过第一控制线152与应用处理单元140相连;图像处理单元130通过第二控制线151与第一图像采集单元120相连;图像处理单元130通过第三控制线156与第二图像采集单元125相连。所述图像处理单元130用于通过第一控制线152接收从应用处理单元140发出的第一控制指令,通过第二控制线151将第二控制指令发送给第一图像采集单元120,并通过第三控制线156将第三控制指令发送给第二图像采集单元125。优选的,图像处理单元130根据第一控制指令生成第二控制指令或者第三控制指令。
例如现在需要第一图像采集单元120和第二图像采集单元125按照应用处理单元140发送的第一控制指令所包含的采集参数进行采集图像,并需要对采集后的图像与应用处理单元发送的图像进行合并处理,如果按照图像采集单元120或125与应用处理单元140直接相连的架构,采集完成后的图像均需要在应用处理单元140进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元130在接收到第一控制指令后,将生成第二控制指令控制第一图像采集单元120的采集参数,控制第一图像采集单元进行采集图像,并生成第三控制指令控制第二图像采集单元125的采集参数,控制第二图像采集单元125进行采集图像。
所述图像处理单元130用于通过第一控制线152接收从应用处理单元发出的第四控制指令,根据第一控制指令通过第一数据线154从应用处理单元接收第三图像,再根据第四控制指令通过第一数据线154将第四图像传输给应用处理单元140。图像处理单元130通过第一控制线152接收从应用处理单元140发出的第六控制指令,并根据第六控制指令通过第一数据线154将第四图像传输给应用处理单元140。当第一图像采集单元120所采集的第一图像以及第二图像采集单元125所采集的第二图像传输到图像处理单元130后,图像处理单元130将根据第二图像和第三图像生成第一合成图像,进而再将第一合成图像通过第一数据线154传输至应用处理单元140进行后续处理合成。当然,图像处理单元130在生成第一合成图像后,也可以接收应用处理单元140发送的第三图像,再根据第一合成图像和第三图像生成第四图像,进而再将第一合成图像通过第一数据线154传输至应用处理单元140。上述方案可以有效减轻了应用处理单元的负担,提高了系统性能。
图像处理单元130“根据第一图像和第二图像生成第一合成图像”包括但不限于以下几种方式:(1)图像处理单元根据第一图像和第二图像用于生成3D的第一合成图像;(2)第一图像为广角镜头所采集的图像,第二图像为长焦镜头所采集的图像,第一合成图像为第一图像中的增强细节后形成的图像;(3)第一图像为24帧/秒的视频帧图像,第二图像同样为24帧/秒的视频帧图像,第一图像和第二图像可以合并为48帧/秒的视频帧图像,即第一合成图像。
如图2-B,在某些实施例中,应用处理单元140通过第四控制线158与第一图像采集单元120相连。这样,应用处理单元140可以直接发送第一控制指令至第一图像采集单元120,设置第一图像采集单元120的采集参数,以使第一图像采集单元120按照第一控制指令中所包含的采集参数进行采集图像。应用处理单元140还通过第一控制线152以及第一数据线154与图像处理单元130相连,图像处理单元130还通过第二控制线151以及第二数据线153和第一图像采集单元120连接。其中,第四控制线158与第一控制线152两者相互独立。也就是说,应用处理单元140除了可以通过第四控制线158来控制第一图像采集单元120之外,也可以通过第一控制线152将第一控制指令发送给图像处理单元130,再由图像处理单元130根据第一控制指令来生成包含有图像采集参数的第二控制指令,并通过第二控制线151将第二控制指令发送给第一图像采集单元120。第一图像采集单元120所采集的第二图像将通过第二数据线153传输至图像处理单元130。
同理,应用处理单元140通过第五控制线159与第二图像采集单元125相连。应用处理单元140可以直接发送第一控制指令至第二图像采集单元125,设置第二图像采集单元125的采集参数,以使第二图像采集单元125按照第一控制指令中所包含的采集参数进行采集图像。应用处理单元140还通过第一控制线152以及第一数据线154与图像处理单元130相连,图像处理单元130还通过第三控制线156以及第三数据线157和第二图像采集单元125连接。其中,第五控制线159与第一控制线152两者相互独立。也就是说,应用处理单元140除了可以通过第五控制线159来控制第二图像采集单元之外,也可以通过第一控制线152将第一控制指令发送给图像处理单元130,再由图像处理单元130根据第一控制指令来生成包含有图像采集参数的第三控制指令,并通过第三控制线157将第三控制指令发送给第二图像采集单元125。第二图像采集单元125所采集的第三图像将通过第三数据线157传输至图像处理单元130。
在另一些实施方式中,第一控制指令、第二控制指令、第三控制指令相同。例如第一控制指令、第二控制指令、第三控制指令均为对图像采集单元的采集参数设置指令,则第一图像采集单元120和第二图像采集单元125的采集参数既可以由应用处理单元140发送第一控制指令进行控制,也可以由图像处理单元130发送第二控制指令和第三控制指令分别进行控制。这样,即使在图像处理单元130发生损坏的情况下,应用处理单元140仍然可以通过第四控制线和第五控制线分别对第一图像采集单元120和第二图像采集单元125进行直接控制,从而提高了智能电子设备整体的系统性能。
在本实施方式中,图像处理单元130用于通过第二数据线153接收第一图像采集单元120采集的采集参数,根据该采集参数生成第四控制指令,并通过第二控制线151将第四控制指令发送给第一图像采集单元120。同理,在另一些实施方式中,图像处理单元130用于通过第三数据线接收第二图像采集单元125采集的采集参数,根据该采集参数生成第五控制指令,并通过第三控制线将第五控制指令发送给第二图像采集单元125。优选的,所述采集参数包括以下参数中的一项或多项:调节图像采集单元的光圈大小、快门时间和增益、曝光参数,调节图像采集单元所要采集的图像的大小、帧率,以及控制图像采集单元采集图像。这样,图像处理单元130不仅可以主动设置第一图像采集单元120或第二图像采集单元125的采集参数,也可以根据第一图像采集单元120或第二图像采集单元125自身的反馈情况(如当前光照强弱、光圈大小等),对第一图像采集单元120或第二图像采集单元125的采集参数进行进一步调整,以便使得第一图像采集单元120所采集的第二图像或第二图像采集单元125所采集的第三图像效果更好。
在某些实施例中,图像处理单元130生成第四图像后,还用于通过第一数据线154接收应用处理单元140发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据线将第六图像传输给应用处理单元140。例如现在需要对第一图像处理单元120和第二图像采集单元125采集的图像、以及应用处理单元140的多个图像进行合成处理,如果按照图像采集单元120或125与应用处理单元140直接相连的架构,采集完成后的图像均需要在应用处理单元140进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元130生成第四图像后,可以再次接收应用处理单元130发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据线将第六图像传输给应用处理单元,从而有效减轻了应用处理单元的负担,提高了系统性能。在另一些实施例中,当第六图像生成后,图像处理单元130还可以再次接收应用处理单元140发送的第七图像,根据第六图像和第七图像生成第八图像,而后再将第八图像传输给应用处理单元140。当然,第八图像生成后,图像处理单元130也可以再次接收应用处理单元140发送的第九图像,根据据第八图像和第九图像生成第十图像,而后再将第十图像传输给应用处理单元,以此类推。
如图1-3所示,在本实施方式中,应用处理单元140还可通过插件线155与图像处理单元130相连。“控制线”、“数据线”、或“插件线”为用于传送电子信息的电子连线。“控制线”指用于传送一个或多个用于控制图像采集单元的控制指令的电子连线;“数据线”指用于传送一组或多组与图像采集单元相关的数据的电子连线;而“插件线”指用于传送一组或多组插件的电子连线。
根据不同的需求,电子连线可以设计为单向或双向传输。在单向传输时,电子连线的一端连接一个处理单元的“发送接口”,另一端连接另外一个处理单元的“接收接口”。电子信息从一个处理单元的发送接口传送到电子连线的一端,再通过电子连线传送到与其另一端相连的另一个电子单元的接收接口。在双向传输时,根据电子信息的传送方向,与电子连线接收电子信息的一端相连的可视为发送接口,与电子连线发送电子信息的一端相连的可视为接收接口。在另外一些实施例中,多根电子连线可以组成一个控制线、数据线、或插件线,多根控制线、数据线、和插件线也可以共用同一根电子连线,一根电子连线也可以在一个时间段用作控制线,在另外一个时间段用作数据线或者插件线。附图中的数据线、控制线、或插件线用箭头来标识其信息传输的方向。
在本实施方式中,图像处理单元130通过第一数据线(或插件线)接收从应用处理单元140发出的图像处理插件。所述图像处理单元130包括数字信号处理器131和缓存模块133;所述缓存模块133用于存储接收到的图像处理插件;所述数字信号处理器131用于运行存储于缓存模块133的图像处理插件。所述“插件”指以软件或者硬件形式存在的指令、代码、或程序。比如,相较于应用处理单元140接收图像采集单元的图像与自身图像进行合成为新的图像的方式而言,数字信号处理器131可以通过运行缓存模块133“图像处理插件”来处理从第一图像采集单元125接收的第一图像,根据第一图像和第三图像生成第四图像,再将第四图像发送至应用处理单元140。这样的做法有效减轻了应用处理单元140在进行数据处理时负担,提高了图像处理效率,优化了系统性能。在另一些实施例中,插件可以设计为图像处理单元130中的一个或者多个硬件模块,来实现相似的功能。
在本实施方式中,所述第一控制指令包括以下指令中的一项或多项:接收图像处理插件、初始化图像处理插件、运行图像处理插件。所述“接收图像处理插件”为使图像处理单元接收图像处理插件的指令,所述“初始化图像处理插件”为使图像处理单元初始化图像处理插件的指令,所述“运行图像处理插件”为使图像处理单元运行图像处理插件的指令。应用处理单元可以依次发送接收图像处理插件、初始化图像处理插件、运行图像处理插件至图像处理单元,让图像处理单元接收、初始化、运行图像插件,完成对第一图像的优化。
在本实施方式中,所述“根据第一图像和第三图像生成第四图像”包括:图像处理单元通过运行图像处理插件来处理第一图像和第四图像生成第一图像。所述图像处理插件包括WDR处理插件、HDR处理插件、Anti-shaking处理插件、或3DNR处理插件、深度计算处理插件、细节增强处理插件。例如数字信号处理器131可以通过运行深度计算处理插件,来对第一图像和第三图像进行深度计算进而生成第四图像;也可以通过运行细节增强处理插件对第二图像和第三图像的细节进行增强,并生成第四图像。
在本实施方式中,所述图像处理单元130包括数字信号处理器131和缓存模块133;所述应用处理单元140包括主控模块141和存储模块143,所述主控模块141和存储模块143连接;
所述存储模块143用于存储图像采集单元控制插件;
所述主控模块141用于在接收到第一启动指令后,通过第一数据线发送图像采集单元控制插件至图像处理单元,并用于发送第一控制指令至图像处理单元;
所述缓存模块133用于缓存图像采集单元控制插件;
所述数字信号处理器131用于通过第一数据线接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块中,并用于根据接收到的第一控制指令,获取缓存模块中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制线将包含上述参数配置信息的第二控制指令发送至第一图像采集单元120;所述第一图像采集单元120用于接收第二控制指令,并将图像采集单元的采集参数调整为第二控制指令中参数配置信息对应的采集参数,并获取第一图像;
而后图像处理单元130用于根据第一图像和应用处理单元140发送而来的第三图像生成第四图像,采用的方式可以通过运行缓存模块中的图像处理插件来实现,而缓存模块中的图像处理插件可以通过插件线或者第一数据线从应用处理单元那接收。当生成第四图像后,数字信号处理器再通过第一数据线将第四图像发送给应用处理单元,从而有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,设备还包括第二图像采集单元125,第二图像采集单元通过第三控制线、第三数据线与图像处理单元连接,图像处理单元在接收第一控制命令后,将根据第一控制命令生成第三控制命令,并通过第三控制线将包含上述参数配置信息的第三控制指令发送至第二图像采集单元125。所述第二图像采集单元125用于接收第三控制指令,并将第二图像采集单元的采集参数调整为第三控制指令中参数配置信息对应的采集参数,并获取第二图像。而后图像处理单元130用于根据第一图像、第二图像先生成第一合成图像,而后再根据第一合成图像和应用处理单元140发送而来的第三图像生成第四图像。优选的,第二图像采集单元还通过第五控制线直接与应用处理单元连接。这样,应用处理单元可以通过直接运行图像采集单元应用控制插件来直接控制第二图像采集单元进行采集图像。相较于图像采集的控制、处理均由应用处理单元来完成的方式,上述方案有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,所述应用处理单元还通过第四控制线直接与第一图像采集单元连接。所述存储模块还存储有图像采集单元应用控制插件;所述主控模块还用于获取存储模块中的图像采集单元应用控制插件并执行,以确定图像采集单元的参数配置信息,并通过第四控制线将包含有上述参数配置信息的第一控制指令发送至第一图像采集单元。这样,应用处理单元可以通过直接运行图像采集单元应用控制插件来直接控制第一图像采集单元进行采集图像。
请参阅图3,发明人还提供了一种图像处理单元130,所述图像处理单元130包括第一数据接口211和第二数据接口212。所述第一数据接口211用于与应用处理单元相连;所述第二数据接口212用于与第一图像采集单元相连。所述图像处理单元130用于通过第二数据接口212接收第一图像采集单元生成的第一图像;所述图像处理单元130用于通过第一数据接口211接收应用处理单元发送的第三图像,根据第一图像和第三图像生成第四图像,并通过第一数据接口211传输第四图像至应用处理单元。由于第四图像是在图像处理单元进行生成,相较于图像采集的控制、处理均由应用处理单元来完成的方式,上述方案有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,所述图像处理单元130还包括第一控制接口311和第二控制接口312;所述第一控制接口311用于与应用处理单元相连;所述第二控制接口312用于与第一图像采集单元相连;所述图像处理单元130用于通过第一控制接口311接收从应用处理单元发出的第一控制指令,通过第二控制接口312将第二控制指令发送给第一图像采集单元,所述第二控制指令用于控制采集图像。优选的,图像处理单元用于根据第一控制指令生成第二控制指令。这样,应用处理单元只需发送第一控制命令和第三图像至图像处理单元,待图像处理单元处理完成后接收第四图像即可,相较于图像采集的控制、处理均由应用处理单元来完成的方式,上述方案有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,所述图像处理单元130还包括第三数据接口213;所述第三数据接口213用于与第二图像采集单元相连;所述图像处理单元130还用于通过第三数据接口213接收第二图像采集单元生成的第二图像。图像处理单元130用于根据第一图像和第三图像生成第四图像包括:图像处理单元130用于根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。由于第四图像是在图像处理单元进行生成(具体是先将第二数据接口接收的第一图像采集单元采集的第一图像以及第三数据接口接收的第二图像采集单元采集的第二图像合成为第一合成图像,再根据第一合成图像和第三图像生成第四图像),相较于图像采集的控制、处理均由应用处理单元来完成的方式,上述方案有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,所述图像处理单元130还包括第一控制接口311、第二控制接口312和第二控制接口313;所述第一控制接口311用于与应用处理单元相连;所述第二控制接口312用于与第一图像采集单元相连;所述第三控制接口313用于与第二图像采集单元相连。所述图像处理单元130用于通过第一控制接口311接收从应用处理单元发出的第一控制指令,通过第二控制接口312将第二控制指令发送给第一图像采集单元,并通过第三控制接口313将第三控制指令发送给第二图像采集单元。优选的,图像处理单元用于根据第一控制指令生成第三控制指令。
例如现在需要第一图像采集单元和第二图像采集单元按照应用处理单元发送的第一控制指令所包含的采集参数进行采集图像,并需要对采集后的图像与应用处理单元发送的图像进行合并处理,如果按照现有图像采集单元与应用处理单元直接相连的架构,采集完成后的图像均需要在应用处理单元(如AP)进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元在接收到第一控制指令后,将生成第二控制指令控制第一图像采集单元的采集参数,控制第一图像采集单元进行采集图像,并生成第三控制指令控制第二图像采集单元的采集参数,控制第二图像采集单元进行采集图像。而后图像处理单元通过第二数据接口接收第一图像采集单元的第一图像、通过第三数据接口接收第一图像采集单元的第二图像、通过第一数据接口接收应用处理单元的第三图像,根据上述三个图像生成第四图像后,再通过第一数据接口发送至应用处理单元,从而有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,所述图像处理单元130用于通过第一控制接口312接收从应用处理单元发出的第四控制指令,根据第一控制指令通过第一数据接口211从应用处理单元接收第三图像,再根据第四控制指令通过第一数据接口211将第四图像传输给应用处理单元。所述图像处理单元130用于通过第一数据接口211将第四图像传输给应用处理单元包括:图像处理单元130通过第一控制接口311接收从应用处理单元发出的第六控制指令,并根据第六控制指令通过第一数据接口211将第四图像传输给应用处理单元。
在某些实施例中,图像处理单元130用于通过第二数据接口212接收第一图像采集单元采集的采集参数,根据该采集参数生成第四控制指令,并通过第二控制接口312将第四控制指令发送给第一图像采集单元。图像处理单元130用于通过第三数据接口213接收第二图像采集单元采集的采集参数,根据该采集参数生成第五控制指令,并通过第三控制接口313将第五控制指令发送给第二图像采集单元。所述采集参数包括以下参数中的一项或多项:调节图像采集单元的光圈大小、快门时间和增益、曝光参数,调节图像采集单元所要采集的图像的大小、帧率,以及控制图像采集单元采集图像。
在某些实施例中,图像处理单元130生成第四图像后,还用于通过第一数据接口211接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据接口211将第六图像传输给应用处理单元。例如现在需要对第一图像处理单元和第二图像采集单元采集的图像、以及应用处理单元的多个图像进行合成处理,如果按照现有图像采集单元与应用处理单元直接相连的架构,采集完成后的图像均需要在应用处理单元(如AP)进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元生成第四图像后,可以再次接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据线将第六图像传输给应用处理单元,从而有效减轻了应用处理单元的负担,提高了系统性能。在另一些实施例中,当第六图像生成后,图像处理单元还可以再次接收应用处理单元发送的第七图像,根据第六图像和第七图像生成第八图像,而后再将第八图像传输给应用处理单元。当然,第八图像生成后,图像处理单元也可以再次接收应用处理单元发送的第九图像,根据据第八图像和第九图像生成第十图像,而后再将第十图像传输给应用处理单元,以此类推。
在某些实施例中,所述图像处理单元130还包括第一控制接口311、第二控制接口312、数字信号处理器131和缓存模块133。所述第一控制接口131用于与应用处理单元相连;所述缓存模块133用于缓存图像采集单元控制插件。所述数字信号处理器131用于通过第一数据接口211接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块133中,并用于根据第一控制接口311接收到的应用处理单元发送的第一控制指令,获取缓存模块133中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制接口312将包含上述参数配置信息的第二控制指令发送至第一图像采集单元。相较于图像采集的控制、处理均由应用处理单元来完成的方式,上述方案有效减轻了应用处理单元的负担,提高了系统性能。
如图4所示,发明人还提供了一种图像处理装置160,所述装置包括图像处理单元130和应用处理单元140;所述图像处理单元130包括第二数据接口212;图像处理单元130通过第一数据线154与应用处理单元140相连;所述第二数据接口212用于与第一图像采集单元相连。所述图像处理单元130用于通过第二数据接口212接收第一图像采集单元生成的第一图像;所述图像处理单元用130于通过第一数据线154接收应用处理单元140发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线154将第四图像传输给应用处理单元140。相较于图像采集的控制、处理均由应用处理单元来完成的方式,上述方案有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,所述图像处理单元130包括第二控制接口312;图像处理单元130通过第一控制线152与应用处理单元相连;图像处理单元130通过第二控制接口312与第一图像采集单元相连。所述图像处理单元130用于通过第一控制线152接收从应用处理单元140发出的第一控制指令,通过第二控制接口312将第二控制指令发送给第一图像采集单元,所述第二控制指令用于控制采集图像。优选的,图像处理单元用于根据第一控制指令生成第二控制指令。这样,应用处理单元只需发送第一控制命令和第三图像至图像处理单元,待图像处理单元处理完成后接收第四图像即可,相较于图像采集的控制、处理均由应用处理单元来完成的方式,上述方案有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,所述应用处理单元包括第四控制接口314;应用处理单元通过第四控制接口314与第一图像采集单元相连;应用处理单元在通过第一控制线152将第一控制指令发送给图像处理单元的同时,还通过第四控制接口314将第一控制指令发送给第一图像采集单元。这样,在图像处理单元发生损坏的情况下,应用处理单元可以直接控制第一图像采集单元进行采集图像,有效提高了图像处理装置的适用场景。
在某些实施例中,所述图像处理单元还包括第三数据接口213;图像处理单元通过第三数据接口213与第二图像采集单元相连。所述图像处理单元130还用于通过第三数据接口213接收第二图像采集单元生成的第二图像;图像处理单元130用于根据第一图像和第三图像生成第四图像包括:图像处理单元130用于根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。相较于图像采集的控制、处理均由应用处理单元来完成的方式,上述方案有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,所述图像处理单元130包括第二控制接口312和第三控制接口313;图像处理单元130通过第一控制线152与应用处理单元140相连;所述第二控制接口312用于与第一图像采集单元相连;所述第三控制接口313用于与第二图像采集单元相连。所述图像处理单元130用于通过第一控制线152接收从应用处理单元140发出的第一控制指令,通过第二控制接口312将第二控制指令发送给第一图像采集单元,并通过第三控制接口313将第三控制指令发送给第二图像采集单元。例如现在需要第一图像采集单元和第二图像采集单元按照应用处理单元发送的第一控制指令所包含的采集参数进行采集图像,并需要对采集后的图像与应用处理单元发送的图像进行合并处理,如果按照现有图像采集单元与应用处理单元直接相连的架构,采集完成后的图像均需要在应用处理单元(如AP)进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元在接收到第一控制指令后,将生成第二控制指令控制第一图像采集单元的采集参数,控制第一图像采集单元进行采集图像,并生成第三控制指令控制第二图像采集单元的采集参数,控制第二图像采集单元进行采集图像。而后图像处理单元通过第二数据接口接收第一图像采集单元的第一图像、通过第三数据接口接收第一图像采集单元的第二图像、通过第一数据接口接收应用处理单元的第三图像,根据上述三个图像生成第四图像后,再通过第一数据接口发送至应用处理单元,从而有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,所述应用处理单元140还包括第五控制接口315;所述第五控制接口315用于与第二图像采集单元相连。应用处理单元140用于在通过第一控制线152将第一控制指令发送给图像处理单元的同时,还通过第五控制接口315将第一控制指令发送给第二图像采集单元。这样,应用处理单元既可以通过图像处理单元控制第二图像采集单元进行采集单元,也可以在图像处理单元发生损坏的情况下,应用处理单元直接控制第二图像采集单元进行采集图像,有效提高了图像处理装置的适用场景。
在某些实施例中,所述图像处理单元130与应用处理单元140通过第一控制线152连接;所述图像处理单元130包括第二控制接口312、数字信号处理器131和缓存模块133;所述应用处理单元140包括主控模块141和存储模块143,所述主控模块141和存储模块143连接;
所述存储模块143用于存储图像采集单元控制插件;
所述主控模块141用于在接收到第一启动指令后,通过第一数据线发送图像采集单元控制插件至图像处理单元,并用于发送第一控制指令至图像处理单元;
所述缓存模块133用于缓存图像采集单元控制插件;
所述数字信号处理器131用于通过第一数据线接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块中,并用于根据接收到的应用处理单元通过第一控制线发送的第一控制指令,获取缓存模块中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制接口将包含上述参数配置信息的第二控制指令发送至第一图像采集单元。相较于图像采集的控制、处理均由应用处理单元来完成的方式,上述方案有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,所述应用处理单元还包括第四控制接口314。所述第四控制接口314用于与第一图像采集单元连接;所述存储模块143还存储有图像采集单元应用控制插件;所述主控模块141还用于获取存储模块中的图像采集单元应用控制插件并执行,以确定图像采集单元的参数配置信息,并通过第四控制线将包含有上述参数配置信息的第一控制指令发送至第一图像采集单元。这样,在图像处理单元发生损坏的情况下,应用处理单元直接控制第二图像采集单元进行采集图像,有效提高了图像处理装置的适用场景。
如图5所示,发明人还提供了一种图像处理方法,所述方法应用于智能电子设备,所述设备包括第一图像采集单元、图像处理单元和应用处理单元;图像处理单元通过第一数据线与应用处理单元相连;图像处理单元通过第二数据线与第一图像采集单元相连。所述方法包括以下步骤:
首先进入步骤S501图像处理单元通过第二数据线接收第一图像采集单元生成的第一图像;
而后进入步骤S502图像处理单元通过第一数据线接收应用处理单元发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线将第四图像传输给应用处理单元。相较于图像采集的控制、处理均由应用处理单元来完成的方式,图像处理单元可以双向接收第一图像采集单元以及应用处理单元的发送的图像进行处理,有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,图像处理单元通过第一控制线与应用处理单元相连;图像处理单元通过第二控制线与第一图像采集单元相连。所述方法包括步骤:图像处理单元通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制线将第二控制指令发送给第一图像采集单元,所述第二控制指令用于控制采集图像。优选的,图像处理单元用于根据第一控制指令生成第二控制指令。这样,应用处理单元只需发送第一控制命令和第三图像至图像处理单元,待图像处理单元处理完成后接收第四图像即可,相较于图像采集的控制、处理均由应用处理单元来完成的方式,上述方案有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,应用处理单元通过第四控制线与第一图像采集单元相连。所述方法包括步骤:应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第四控制线将第一控制指令发送给第一图像采集单元。这样,应用处理单元既可以通过图像处理单元控制第一图像采集单元进行采集单元,也可以在图像处理单元发生损坏的情况下,应用处理单元直接控制第一图像采集单元进行采集图像,有效提高了图像处理装置的适用场景。
在某些实施例中,所述设备还包括第二图像采集单元;图像处理单元通过第三数据线与第二图像采集单元相连;所述方法包括步骤:图像处理单元通过第三数据线接收第二图像采集单元生成的第二图像;步骤“图像处理单元根据第一图像和第三图像生成第四图像”包括:图像处理单元根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。较于图像采集的控制、处理均由应用处理单元来完成的方式,上述方案有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,图像处理单元通过第一控制线与应用处理单元相连;图像处理单元通过第二控制线与第一图像采集单元相连;图像处理单元通过第三控制线与第二图像采集单元相连;所述方法包括步骤:图像处理单元通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制线将第二控制指令发送给第一图像采集单元,并通过第三控制线将第三控制指令发送给第二图像采集单元。例如现在需要第一图像采集单元和第二图像采集单元按照应用处理单元发送的第一控制指令所包含的采集参数进行采集图像,并需要对采集后的图像与应用处理单元发送的图像进行合并处理,如果按照现有图像采集单元与应用处理单元直接相连的架构,采集完成后的图像均需要在应用处理单元(如AP)进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元在接收到第一控制指令后,将生成第二控制指令控制第一图像采集单元的采集参数,控制第一图像采集单元进行采集图像,并生成第三控制指令控制第二图像采集单元的采集参数,控制第二图像采集单元进行采集图像。而后图像处理单元通过第二数据接口接收第一图像采集单元的第一图像、通过第三数据接口接收第一图像采集单元的第二图像、通过第一数据接口接收应用处理单元的第三图像,根据上述三个图像生成第四图像后,再通过第一数据接口发送至应用处理单元,从而有效减轻了应用处理单元的负担,提高了系统性能。
在某些实施例中,应用处理单元通过第五控制线与第二图像采集单元相连。所述方法包括步骤:应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第五控制线将第一控制指令发送给第二图像采集单元。这样,应用处理单元既可以通过图像处理单元控制第二图像采集单元进行采集单元,也可以在图像处理单元发生损坏的情况下,应用处理单元直接控制第二图像采集单元进行采集图像,有效提高了图像处理装置的适用场景。
在某些实施例中,所述方法包括步骤:图像处理单元生成第四图像后,通过第一数据线接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据线将第六图像传输给应用处理单元。例如现在需要对第一图像处理单元和第二图像采集单元采集的图像、以及应用处理单元的多个图像进行合成处理,如果按照现有图像采集单元与应用处理单元直接相连的架构,采集完成后的图像均需要在应用处理单元(如AP)进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元生成第四图像后,可以再次接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据线将第六图像传输给应用处理单元,从而有效减轻了应用处理单元的负担,提高了系统性能。在另一些实施例中,当第六图像生成后,图像处理单元还可以再次接收应用处理单元发送的第七图像,根据第六图像和第七图像生成第八图像,而后再将第八图像传输给应用处理单元。当然,第八图像生成后,图像处理单元也可以再次接收应用处理单元发送的第九图像,根据据第八图像和第九图像生成第十图像,而后再将第十图像传输给应用处理单元,以此类推。
在某些实施例中,所述图像处理单元包括数字信号处理器和缓存模块;所述应用处理单元包括主控模块和存储模块,所述主控模块和存储模块连接;首先存储模块存储图像采集单元控制插件,缓存模块缓存图像采集单元控制插件。所述方法包括步骤:
首先主控模块在接收到第一启动指令后,通过第一数据线发送图像采集单元控制插件至图像处理单元,并发送第一控制指令至图像处理单元。第一启动指令可以是启动应用处理单元的指令,也可以是启动智能电子设备的开机指令。
而后数字信号处理器通过第一数据线接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块中,并用于根据接收到的第一控制指令,获取缓存模块中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制线将包含上述参数配置信息的第二控制指令发送至第一图像采集单元;
而后第一图像采集单元接收第二控制指令,并将图像采集单元的采集参数调整为第二控制指令中参数配置信息对应的采集参数,并获取第一图像。
在某些实施例中,所述应用处理单元还通过第四控制线直接与第一图像采集单元连接;所述方法包括步骤:存储模块存储图像采集单元应用控制插件;主控模块获取存储模块中的图像采集单元应用控制插件并执行,以确定图像采集单元的参数配置信息,并通过第四控制线将包含有上述参数配置信息的第一控制指令发送至第一图像采集单元。
上述技术方案所述的智能电子设备、图像处理单元、图像处理装置以及和图像处理方法,图像处理单元通过第一数据线与应用处理单元相连;图像处理单元通过第二数据线与第一图像采集单元相连。图像处理单元通过第二数据线接收第一图像采集单元生成的第一图像;图像处理单元通过第一数据线接收应用处理单元发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线将第四图像传输给应用处理单元。这样,通过应用处理单元与图像处理单元的双向数据交互,有效减轻了应用处理单元在进行图像处理时的负担,提升了图像处理效率,提高了系统性能。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括……”或“包含……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外,在本文中,“大于”、“小于”、“超过”等理解为不包括本数;“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白,上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机设备可读取的存储介质中,用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备,包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等;所述的存储介质,包括但不限于:RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器,使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中,使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上,使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改,所以以上所述仅为本发明的实施例,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围之内。

Claims (61)

1.一种智能电子设备,其特征在于,所述设备包括第一图像采集单元、图像处理单元和应用处理单元;
图像处理单元通过第一数据线与应用处理单元相连;
图像处理单元通过第二数据线与第一图像采集单元相连;
所述图像处理单元用于通过第二数据线接收第一图像采集单元生成的第一图像;
所述图像处理单元用于通过第一数据线接收应用处理单元发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线将第四图像传输给应用处理单元。
2.如权利要求1所述的智能电子设备,其特征在于,
图像处理单元通过第一控制线与应用处理单元相连;
图像处理单元通过第二控制线与第一图像采集单元相连;
所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制线将第二控制指令发送给第一图像采集单元,所述第二控制指令用于控制采集图像。
3.如权利要求2所述的智能电子设备,其特征在于,图像处理单元用于根据第一控制指令生成第二控制指令。
4.如权利要求2所述的智能电子设备,其特征在于,
应用处理单元通过第四控制线与第一图像采集单元相连;
应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第四控制线将第一控制指令发送给第一图像采集单元。
5.如权利要求2所述的智能电子设备,其特征在于,图像处理单元用于通过第二数据线接收第一图像采集单元采集的采集参数,根据该采集参数生成第四控制指令,并通过第二控制线将第四控制指令发送给第一图像采集单元。
6.如权利要求1所述的智能电子设备,其特征在于,所述设备还包括第二图像采集单元;
图像处理单元通过第三数据线与第二图像采集单元相连;
所述图像处理单元还用于通过第三数据线接收第二图像采集单元生成的第二图像;
图像处理单元用于根据第一图像和第三图像生成第四图像包括:图像处理单元用于根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。
7.如权利要求6所述的智能电子设备,其特征在于,
图像处理单元通过第一控制线与应用处理单元相连;
图像处理单元通过第二控制线与第一图像采集单元相连;
图像处理单元通过第三控制线与第二图像采集单元相连;
所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制线将第二控制指令发送给第一图像采集单元,并通过第三控制线将第三控制指令发送给第二图像采集单元。
8.如权利要求6所述的智能电子设备,其特征在于,
应用处理单元通过第五控制线与第二图像采集单元相连;
应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第五控制线将第一控制指令发送给第二图像采集单元。
9.如权利要求2或7所述的智能电子设备,其特征在于,所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第四控制指令,根据第一控制指令通过第一数据线从应用处理单元接收第三图像,再根据第四控制指令通过第一数据线将第四图像传输给应用处理单元。
10.如权利要求2或7所述的智能电子设备,其特征在于,所述图像处理单元用于通过第一数据线将第四图像传输给应用处理单元包括:
图像处理单元通过第一控制线接收从应用处理单元发出的第六控制指令,并根据第六控制指令通过第一数据线将第四图像传输给应用处理单元。
11.如权利要求7所述的智能电子设备,其特征在于,图像处理单元用于根据第一控制指令生成第三控制指令。
12.如权利要求7所述的智能电子设备,其特征在于,图像处理单元用于通过第三数据线接收第二图像采集单元采集的采集参数,根据该采集参数生成第五控制指令,并通过第三控制线将第五控制指令发送给第二图像采集单元。
13.如权利要求5或12所述的智能电子设备,其特征在于,所述采集参数包括以下参数中的一项或多项:调节图像采集单元的光圈大小、快门时间和增益、曝光参数,调节图像采集单元所要采集的图像的大小、帧率,以及控制图像采集单元采集图像。
14.如权利要求1所述的智能电子设备,其特征在于,图像处理单元生成第四图像后,还用于通过第一数据线接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据线将第六图像传输给应用处理单元。
15.如权利要求1所述的智能电子设备,其特征在于,所述图像处理单元包括数字信号处理器和缓存模块;所述应用处理单元包括主控模块和存储模块,所述主控模块和存储模块连接;
所述存储模块用于存储图像采集单元控制插件;
所述主控模块用于在接收到第一启动指令后,通过第一数据线发送图像采集单元控制插件至图像处理单元,并用于发送第一控制指令至图像处理单元;
所述缓存模块用于缓存图像采集单元控制插件;
所述数字信号处理器用于通过第一数据线接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块中,并用于根据接收到的第一控制指令,获取缓存模块中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制线将包含上述参数配置信息的第二控制指令发送至第一图像采集单元;
所述第一图像采集单元用于接收第二控制指令,并将图像采集单元的采集参数调整为第二控制指令中参数配置信息对应的采集参数,并获取第一图像。
16.如权利要求15所述的智能电子设备,其特征在于,所述应用处理单元还通过第四控制线直接与第一图像采集单元连接;
所述存储模块还存储有图像采集单元应用控制插件;
所述主控模块还用于获取存储模块中的图像采集单元应用控制插件并执行,以确定图像采集单元的参数配置信息,并通过第四控制线将包含有上述参数配置信息的第一控制指令发送至第一图像采集单元。
17.一种图像处理单元,其特征在于,所述图像处理单元包括第一数据接口和第二数据接口;
所述第一数据接口用于与应用处理单元相连;
所述第二数据接口用于与第一图像采集单元相连;
所述图像处理单元用于通过第二数据接口接收第一图像采集单元生成的第一图像;
所述图像处理单元用于通过第一数据接口接收应用处理单元发送的第三图像,根据第一图像和第三图像生成第四图像,并通过第一数据接口传输第四图像至应用处理单元。
18.如权利要求17所述的图像处理单元,其特征在于,所述图像处理单元还包括第一控制接口和第二控制接口;
所述第一控制接口用于与应用处理单元相连;
所述第二控制接口用于与第一图像采集单元相连;
所述图像处理单元用于通过第一控制接口接收从应用处理单元发出的第一控制指令,通过第二控制接口将第二控制指令发送给第一图像采集单元,所述第二控制指令用于控制采集图像。
19.如权利要求18所述的图像处理单元,其特征在于,图像处理单元用于根据第一控制指令生成第二控制指令。
20.如权利要求18所述的图像处理单元,其特征在于,图像处理单元用于通过第二数据接口接收第一图像采集单元采集的采集参数,根据该采集参数生成第四控制指令,并通过第二控制接口将第四控制指令发送给第一图像采集单元。
21.如权利要求17所述的图像处理单元,其特征在于,所述图像处理单元还包括第三数据接口;
所述第三数据接口用于与第二图像采集单元相连;
所述图像处理单元还用于通过第三数据接口接收第二图像采集单元生成的第二图像;
图像处理单元用于根据第一图像和第三图像生成第四图像包括:图像处理单元用于根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。
22.如权利要求21所述的图像处理单元,其特征在于,所述图像处理单元还包括第一控制接口、第二控制接口和第二控制接口;
所述第一控制接口用于与应用处理单元相连;
所述第二控制接口用于与第一图像采集单元相连;
所述第三控制接口用于与第二图像采集单元相连;
所述图像处理单元用于通过第一控制接口接收从应用处理单元发出的第一控制指令,通过第二控制接口将第二控制指令发送给第一图像采集单元,并通过第三控制接口将第三控制指令发送给第二图像采集单元。
23.如权利要求18或22所述的图像处理单元,其特征在于,所述图像处理单元用于通过第一控制接口接收从应用处理单元发出的第四控制指令,根据第一控制指令通过第一数据接口从应用处理单元接收第三图像,再根据第四控制指令通过第一数据接口将第四图像传输给应用处理单元。
24.如权利要求18或22所述的图像处理单元,其特征在于,所述图像处理单元用于通过第一数据接口将第四图像传输给应用处理单元包括:
图像处理单元通过第一控制接口接收从应用处理单元发出的第六控制指令,并根据第六控制指令通过第一数据接口将第四图像传输给应用处理单元。
25.如权利要求22所述的图像处理单元,其特征在于,图像处理单元用于根据第一控制指令生成第三控制指令。
26.如权利要求22所述的图像处理单元,其特征在于,图像处理单元用于通过第三数据接口接收第二图像采集单元采集的采集参数,根据该采集参数生成第五控制指令,并通过第三控制接口将第五控制指令发送给第二图像采集单元。
27.如权利要求20或26所述的图像处理单元,其特征在于,所述采集参数包括以下参数中的一项或多项:调节图像采集单元的光圈大小、快门时间和增益、曝光参数,调节图像采集单元所要采集的图像的大小、帧率,以及控制图像采集单元采集图像。
28.如权利要求17所述的图像处理单元,其特征在于,图像处理单元生成第四图像后,还用于通过第一数据接口接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据接口将第六图像传输给应用处理单元。
29.如权利要求17所述的图像处理单元,其特征在于,所述图像处理单元包括第一控制接口、第二控制接口、数字信号处理器和缓存模块;
所述第一控制接口用于与应用处理单元相连;
所述缓存模块用于缓存图像采集单元控制插件;
所述数字信号处理器用于通过第一数据接口接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块中,并用于根据第一控制接口接收到的应用处理单元发送的第一控制指令,获取缓存模块中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制接口将包含上述参数配置信息的第二控制指令发送至第一图像采集单元。
30.一种图像处理装置,其特征在于,所述装置包括图像处理单元和应用处理单元;所述图像处理单元包括第二数据接口;
图像处理单元通过第一数据线与应用处理单元相连;
所述第二数据接口用于与第一图像采集单元相连;
所述图像处理单元用于通过第二数据接口接收第一图像采集单元生成的第一图像;
所述图像处理单元用于通过第一数据线接收应用处理单元发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线将第四图像传输给应用处理单元。
31.如权利要求30所述的图像处理装置,其特征在于,所述图像处理单元包括第二控制接口;
图像处理单元通过第一控制线与应用处理单元相连;
图像处理单元通过第二控制接口与第一图像采集单元相连;
所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制接口将第二控制指令发送给第一图像采集单元,所述第二控制指令用于控制采集图像。
32.如权利要求31所述的图像处理装置,其特征在于,图像处理单元用于根据第一控制指令生成第二控制指令。
33.如权利要求31所述的图像处理装置,其特征在于,所述应用处理单元包括第四控制接口;
应用处理单元通过第四控制接口与第一图像采集单元相连;
应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第四控制接口将第一控制指令发送给第一图像采集单元。
34.如权利要求31所述的图像处理装置,其特征在于,图像处理单元用于通过第二数据接口接收第一图像采集单元采集的采集参数,根据该采集参数生成第四控制指令,并通过第二控制接口将第四控制指令发送给第一图像采集单元。
35.如权利要求30所述的图像处理装置,其特征在于,所述图像处理单元还包括第三数据接口;
图像处理单元通过第三数据接口与第二图像采集单元相连;
所述图像处理单元还用于通过第三数据接口接收第二图像采集单元生成的第二图像;
图像处理单元用于根据第一图像和第三图像生成第四图像包括:图像处理单元用于根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。
36.如权利要求35所述的图像处理装置,其特征在于,所述图像处理单元包括第二控制接口和第三控制接口;
图像处理单元通过第一控制线与应用处理单元相连;
所述第二控制接口用于与第一图像采集单元相连;
所述第三控制接口用于与第二图像采集单元相连;
所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制接口将第二控制指令发送给第一图像采集单元,并通过第三控制接口将第三控制指令发送给第二图像采集单元。
37.如权利要求35所述的图像处理装置,其特征在于,所述应用处理单元还包括第五控制接口;
所述第五控制接口用于与第二图像采集单元相连;
应用处理单元用于在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第五控制接口将第一控制指令发送给第二图像采集单元。
38.如权利要求31或36所述的图像处理装置,其特征在于,所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第四控制指令,根据第一控制指令通过第一数据线从应用处理单元接收第三图像,再根据第四控制指令通过第一数据线将第四图像传输给应用处理单元。
39.如权利要求31或36所述的图像处理装置,其特征在于,所述图像处理单元用于通过第一数据线将第四图像传输给应用处理单元包括:
图像处理单元通过第一控制线接收从应用处理单元发出的第六控制指令,并根据第六控制指令通过第一数据线将第四图像传输给应用处理单元。
40.如权利要求36所述的图像处理装置,其特征在于,图像处理单元用于根据第一控制指令生成第三控制指令。
41.如权利要求36所述的图像处理装置,其特征在于,图像处理单元用于通过第三数据接口接收第二图像采集单元采集的采集参数,根据该采集参数生成第五控制指令,并通过第三控制接口将第五控制指令发送给第二图像采集单元。
42.如权利要求34或41所述的图像处理装置,其特征在于,所述采集参数包括以下参数中的一项或多项:调节图像采集单元的光圈大小、快门时间和增益、曝光参数,调节图像采集单元所要采集的图像的大小、帧率,以及控制图像采集单元采集图像。
43.如权利要求30所述的图像处理装置,其特征在于,图像处理单元生成第四图像后,还用于通过第一数据线接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据线将第六图像传输给应用处理单元。
44.如权利要求30所述的图像处理装置,其特征在于,所述图像处理单元与应用处理单元通过第一控制线连接;所述图像处理单元
包括第二控制接口、数字信号处理器和缓存模块;所述应用处理单元包括主控模块和存储模块,所述主控模块和存储模块连接;
所述存储模块用于存储图像采集单元控制插件;
所述主控模块用于在接收到第一启动指令后,通过第一数据线发送图像采集单元控制插件至图像处理单元,并用于发送第一控制指令至图像处理单元;
所述缓存模块用于缓存图像采集单元控制插件;
所述数字信号处理器用于通过第一数据线接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块中,并用于根据接收到的应用处理单元通过第一控制线发送的第一控制指令,获取缓存模块中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制接口将包含上述参数配置信息的第二控制指令发送至第一图像采集单元。
45.如权利要求44所述的图像处理装置,其特征在于,所述应用处理单元还包括第四控制接口;
所述第四控制接口用于与第一图像采集单元连接;
所述存储模块还存储有图像采集单元应用控制插件;
所述主控模块还用于获取存储模块中的图像采集单元应用控制插件并执行,以确定图像采集单元的参数配置信息,并通过第四控制线将包含有上述参数配置信息的第一控制指令发送至第一图像采集单元。
46.一种图像处理方法,其特征在于,所述方法应用于智能电子设备,所述设备包括第一图像采集单元、图像处理单元和应用处理单元;
图像处理单元通过第一数据线与应用处理单元相连;
图像处理单元通过第二数据线与第一图像采集单元相连;
所述方法包括以下步骤:
图像处理单元通过第二数据线接收第一图像采集单元生成的第一图像;
图像处理单元通过第一数据线接收应用处理单元发送的第三图像,并据第一图像和第三图像生成第四图像,并通过第一数据线将第四图像传输给应用处理单元。
47.如权利要求46所述的图像处理方法,其特征在于,
图像处理单元通过第一控制线与应用处理单元相连;
图像处理单元通过第二控制线与第一图像采集单元相连;
所述方法包括步骤:
图像处理单元通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制线将第二控制指令发送给第一图像采集单元,所述第二控制指令用于控制采集图像。
48.如权利要求47所述的图像处理方法,其特征在于,所述方法包括步骤:图像处理单元根据第一控制指令生成第二控制指令。
49.如权利要求47所述的图像处理方法,其特征在于,
应用处理单元通过第四控制线与第一图像采集单元相连;
所述方法包括步骤:
应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第四控制线将第一控制指令发送给第一图像采集单元。
50.如权利要求47所述的图像处理方法,其特征在于,所述方法包括步骤:
图像处理单元通过第二数据线接收第一图像采集单元采集的采集参数,根据该采集参数生成第四控制指令,并通过第二控制线将第四控制指令发送给第一图像采集单元。
51.如权利要求46所述的图像处理方法,其特征在于,所述设备还包括第二图像采集单元;图像处理单元通过第三数据线与第二图像采集单元相连;所述方法包括步骤:
图像处理单元通过第三数据线接收第二图像采集单元生成的第二图像;
步骤“图像处理单元根据第一图像和第三图像生成第四图像”包括:图像处理单元根据第一图像和第二图像生成第一合成图像,再根据第一合成图像和第三图像生成第四图像。
52.如权利要求51所述的图像处理方法,其特征在于,
图像处理单元通过第一控制线与应用处理单元相连;
图像处理单元通过第二控制线与第一图像采集单元相连;
图像处理单元通过第三控制线与第二图像采集单元相连;
所述方法包括步骤:
图像处理单元通过第一控制线接收从应用处理单元发出的第一控制指令,通过第二控制线将第二控制指令发送给第一图像采集单元,并通过第三控制线将第三控制指令发送给第二图像采集单元。
53.如权利要求51所述的图像处理方法,其特征在于,
应用处理单元通过第五控制线与第二图像采集单元相连;
所述方法包括步骤:
应用处理单元在通过第一控制线将第一控制指令发送给图像处理单元的同时,还通过第五控制线将第一控制指令发送给第二图像采集单元。
54.如权利要求47或52所述的图像处理方法,其特征在于,所述方法包括步骤:
图像处理单元通过第一控制线接收从应用处理单元发出的第四控制指令,根据第一控制指令通过第一数据线从应用处理单元接收第三图像,再根据第四控制指令通过第一数据线将第四图像传输给应用处理单元。
55.如权利要求47或52所述的图像处理方法,其特征在于,图像处理单元通过第一数据线将第四图像传输给应用处理单元包括:
图像处理单元通过第一控制线接收从应用处理单元发出的第六控制指令,并根据第六控制指令通过第一数据线将第四图像传输给应用处理单元。
56.如权利要求52所述的图像处理方法,其特征在于,所述方法包括步骤:图像处理单元根据第一控制指令生成第三控制指令。
57.如权利要求52所述的图像处理方法,其特征在于,所述方法包括步骤:图像处理单元通过第三数据线接收第二图像采集单元采集的采集参数,根据该采集参数生成第五控制指令,并通过第三控制线将第五控制指令发送给第二图像采集单元。
58.如权利要求50或57所述的图像处理方法,其特征在于,所述采集参数包括以下参数中的一项或多项:调节图像采集单元的光圈大小、快门时间和增益、曝光参数,调节图像采集单元所要采集的图像的大小、帧率,以及控制图像采集单元采集图像。
59.如权利要求46所述的图像处理方法,其特征在于,所述方法包括步骤:图像处理单元生成第四图像后,通过第一数据线接收应用处理单元发送的第五图像,根据第四图像和第五图像生成第六图像,并通过第一数据线将第六图像传输给应用处理单元。
60.如权利要求46所述的图像处理方法,其特征在于,所述图像处理单元包括数字信号处理器和缓存模块;所述应用处理单元包括主控模块和存储模块,所述主控模块和存储模块连接;所述方法包括步骤:
存储模块存储图像采集单元控制插件;
主控模块在接收到第一启动指令后,通过第一数据线发送图像采集单元控制插件至图像处理单元,并发送第一控制指令至图像处理单元;
缓存模块缓存图像采集单元控制插件;
数字信号处理器通过第一数据线接收图像采集单元控制插件,并将图像采集单元控制插件存储于缓存模块中,并用于根据接收到的第一控制指令,获取缓存模块中的图像采集单元控制插件并执行,以确定第一控制指令对应的图像采集单元的参数配置信息,并通过第二控制线将包含上述参数配置信息的第二控制指令发送至第一图像采集单元;
第一图像采集单元接收第二控制指令,并将图像采集单元的采集参数调整为第二控制指令中参数配置信息对应的采集参数,并获取第一图像。
61.如权利要求46所述的图像处理方法,其特征在于,所述应用处理单元还通过第四控制线直接与第一图像采集单元连接;所述方法包括步骤:
存储模块存储图像采集单元应用控制插件;
主控模块获取存储模块中的图像采集单元应用控制插件并执行,以确定图像采集单元的参数配置信息,并通过第四控制线将包含有上述参数配置信息的第一控制指令发送至第一图像采集单元。
CN201711171819.4A 2017-11-08 2017-11-22 一种智能电子设备和图像处理单元、装置、方法 Active CN109819139B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711171819.4A CN109819139B (zh) 2017-11-22 2017-11-22 一种智能电子设备和图像处理单元、装置、方法
US16/754,752 US11528400B2 (en) 2017-11-08 2018-11-08 Image-processing microprocessor for supporting an application processor and multiple cameras
PCT/CN2018/114547 WO2019091423A1 (en) 2017-11-08 2018-11-08 An image‐processing microprocessor for supporting an application processor and multiple cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711171819.4A CN109819139B (zh) 2017-11-22 2017-11-22 一种智能电子设备和图像处理单元、装置、方法

Publications (2)

Publication Number Publication Date
CN109819139A true CN109819139A (zh) 2019-05-28
CN109819139B CN109819139B (zh) 2022-01-07

Family

ID=66599807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711171819.4A Active CN109819139B (zh) 2017-11-08 2017-11-22 一种智能电子设备和图像处理单元、装置、方法

Country Status (1)

Country Link
CN (1) CN109819139B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204316622U (zh) * 2015-01-06 2015-05-06 上海青橙实业有限公司 图像处理装置及用户终端
US20150235335A1 (en) * 2014-02-20 2015-08-20 Google Inc. Methods and Systems for Detecting Frame Tears
CN106162141A (zh) * 2015-03-13 2016-11-23 钰立微电子股份有限公司 图像处理装置与图像处理方法
CN106231279A (zh) * 2016-07-26 2016-12-14 深圳众思科技有限公司 一种双摄像头白平衡同步方法、装置及终端
CN106341571A (zh) * 2016-08-18 2017-01-18 深圳市金立通信设备有限公司 一种图像处理方法以及终端
CN106686305A (zh) * 2016-12-22 2017-05-17 深圳众思科技有限公司 电子设备的图像处理方法及电子设备
CN107071291A (zh) * 2016-12-28 2017-08-18 深圳众思科技有限公司 图像处理方法、装置及电子设备
CN107147837A (zh) * 2017-06-30 2017-09-08 维沃移动通信有限公司 一种拍摄参数的设置方法和移动终端
CN107277351A (zh) * 2017-06-30 2017-10-20 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN107347137A (zh) * 2017-06-30 2017-11-14 维沃移动通信有限公司 一种图像数据的处理方法和移动终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150235335A1 (en) * 2014-02-20 2015-08-20 Google Inc. Methods and Systems for Detecting Frame Tears
CN204316622U (zh) * 2015-01-06 2015-05-06 上海青橙实业有限公司 图像处理装置及用户终端
CN106162141A (zh) * 2015-03-13 2016-11-23 钰立微电子股份有限公司 图像处理装置与图像处理方法
CN106231279A (zh) * 2016-07-26 2016-12-14 深圳众思科技有限公司 一种双摄像头白平衡同步方法、装置及终端
CN106341571A (zh) * 2016-08-18 2017-01-18 深圳市金立通信设备有限公司 一种图像处理方法以及终端
CN106686305A (zh) * 2016-12-22 2017-05-17 深圳众思科技有限公司 电子设备的图像处理方法及电子设备
CN107071291A (zh) * 2016-12-28 2017-08-18 深圳众思科技有限公司 图像处理方法、装置及电子设备
CN107147837A (zh) * 2017-06-30 2017-09-08 维沃移动通信有限公司 一种拍摄参数的设置方法和移动终端
CN107277351A (zh) * 2017-06-30 2017-10-20 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN107347137A (zh) * 2017-06-30 2017-11-14 维沃移动通信有限公司 一种图像数据的处理方法和移动终端

Also Published As

Publication number Publication date
CN109819139B (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
US11166047B2 (en) Apparatus and methods for video compression
US11228749B2 (en) Systems, methods and apparatus for compressing video content
CN107548557B (zh) 发送和接收虚拟现实流传输服务的图像数据的方法和装置
US11410275B2 (en) Video coding for machine (VCM) based system and method for video super resolution (SR)
CN111127304A (zh) 跨域图像转换
CN110519247B (zh) 一种一对多虚拟现实展示方法及装置
CN108063946A (zh) 图像编码方法和装置、存储介质及电子装置
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN114239717A (zh) 模型训练方法、图像处理方法及装置、电子设备、介质
CN110674918A (zh) 信息处理方法、设备、系统及存储介质
Aykut et al. Realtime 3D 360-degree telepresence with deep-learning-based head-motion prediction
KR20220002551A (ko) 움직임 전이 방법, 장치, 디바이스 및 저장 매체
Yang et al. Video Coding for Machines: Compact Visual Representation Compression for Intelligent Collaborative Analytics
CN109274983A (zh) 进行直播的方法和装置
CN115272565A (zh) 一种头部三维模型的重建方法及电子设备
CN108174084A (zh) 全景视频处理方法及终端设备
Yang et al. Development of a fast transmission method for 3D point cloud
CN115100707A (zh) 模型的训练方法、视频信息生成方法、设备以及存储介质
Cheng et al. Enriching Telepresence with Semantic-driven Holographic Communication
CN106358034A (zh) 录制、观看vr视频的装置、设备及vr视频录放系统
US20200294209A1 (en) Camera feature removal from stereoscopic content
CN113822114A (zh) 一种图像处理方法、相关设备及计算机可读存储介质
CN109819139A (zh) 一种智能电子设备和图像处理单元、装置、方法
CN109981969A (zh) 一种智能电子设备和图像处理单元、图像处理方法
CN114187173A (zh) 模型训练方法、图像处理方法及装置、电子设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 350003 building 18, No.89, software Avenue, Gulou District, Fuzhou City, Fujian Province

Applicant after: Ruixin Microelectronics Co., Ltd

Address before: 350003 building 18, No.89, software Avenue, Gulou District, Fuzhou City, Fujian Province

Applicant before: FUZHOU ROCKCHIP ELECTRONICS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant