CN109672869A - 一种分时复用图像处理装置、方法以及电子设备 - Google Patents

一种分时复用图像处理装置、方法以及电子设备 Download PDF

Info

Publication number
CN109672869A
CN109672869A CN201910110426.5A CN201910110426A CN109672869A CN 109672869 A CN109672869 A CN 109672869A CN 201910110426 A CN201910110426 A CN 201910110426A CN 109672869 A CN109672869 A CN 109672869A
Authority
CN
China
Prior art keywords
data
image processing
processing module
image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910110426.5A
Other languages
English (en)
Inventor
苏洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Goke Microelectronics Co Ltd
Original Assignee
Hunan Goke Microelectronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Goke Microelectronics Co Ltd filed Critical Hunan Goke Microelectronics Co Ltd
Priority to CN201910110426.5A priority Critical patent/CN109672869A/zh
Publication of CN109672869A publication Critical patent/CN109672869A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提出一种分时复用图像处理装置,涉及图像处理领域。该装置包括图像处理模块、至少两个数据通道,图像处理模块与数据通道连接,图像处理模块用于基于处理时序对每个数据通道的原始图像数据进行处理,以输出每个数据通道的图像输出数据,其中,处理时序表征至少两个数据通道之间的处理顺序。由于图像处理模块基于处理时序对每个数据通道的原始图像数据进行处理,实现了图像处理模块的分时复用功能,即一个图像处理模块能够处理多个数据通道中的原始图像数据,降低了硬件开销以及成本开销,减小芯片面积。

Description

一种分时复用图像处理装置、方法以及电子设备
技术领域
本发明涉及图像处理领域,具体而言,涉及一种分时复用图像处理装置、方法以及电子设备。
背景技术
在网络摄像机(IP Camera,IPC)芯片中,对于多角度视频监控、车辆前后多角度可视等需要多个镜头监控的场景,需要在IPC芯片中实现多个镜头传感器(Sensor)接入功能。
目前,主要通过在IPC芯片内部集成多个影像处理器(Image Signal Processor,ISP)与镜头接入装置(video in,VIN),从而达到在IPC芯片中接入多Sensor的目的,其中,每一组ISP以及VIN处理一路Sensor的输入数据。但是,在一个IPC芯片里集成多份ISP有着较大的硬件开销以及成本开销。
发明内容
有鉴于此,本发明实施例的目的在于提供一种分时复用图像处理装置、方法以及电子设备,以解决上述问题。
本发明实施例采用的技术方案如下:
第一方面,本发明实施例提出一种分时复用图像处理装置,该装置包括图像处理模块、至少两个数据通道,图像处理模块与数据通道连接,图像处理模块用于基于处理时序对每个所述数据通道的原始图像数据进行处理,以输出每个数据通道的图像输出数据,处理时序表征至少两个数据通道之间的处理顺序。
第二方面,本发明实施例还提出一种分时复用图像处理方法,应用于图像处理模块,图像处理模块与至少两个数据通道连接,该方法包括:基于处理时序对每个所述数据通道的原始图像数据进行处理,以输出每个数据通道的图像输出数据,处理时序表征至少两个数据通道之间的处理顺序。
第三方面,本发明实施例还提出一种电子设备,该电子设备包括至少两个镜头模组、图像处理模块、后端处理装置,实现上述分时复用图像处理方法。
本发明实施例所提供的一种分时复用图像处理装置、方法以及电子设备,该装置包括图像处理模块、至少两个数据通道,图像处理模块与数据通道连接。图像处理模块用于基于处理时序对每个所述数据通道的原始图像数据进行处理,以输出每个数据通道的图像输出数据,处理时序表征至少两个数据通道之间的处理顺序。该装置可以设置于该电子设备并实现该方法,由于图像处理模块基于处理时序对每个所述数据通道的原始图像数据进行处理,实现了图像处理模块的分时复用功能,即一个图像处理模块能够处理多个数据通道中的原始图像数据,降低了硬件开销以及成本开销,减小芯片面积,解决了现有技术的问题。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了现有四镜头图像处理装置的结构示意图。
图2示出了本发明实施例所提供的一种分时复用图像处理装置的结构示意图。
图3示出了本发明实施例所提供的另一种分时复用图像处理装置的结构示意图。
图4示出了本发明实施例所提供的第三种分时复用图像处理装置的结构示意图。
图5示出了本发明实施例所提供的多Sensor发送有效数据的时序示意图。
图6示出了本发明实施例所提供的一种分时复用图像处理方法的流程示意图。
图7示出了本发明实施例所提供的电子设备的结构框图。
图标:100-四镜头图像处理装置;111-Sensor;112-VIN;113-输出缓存单元;120-ISP;200-分时复用图像处理装置;201-数据通道;202-图像处理模块;300-分时复用图像处理装置;301-第一输入端;302-缓存单元;303-第一图像处理模块;304-第一输出端;400-分时复用图像处理装置;401-第二输入端;402-VIN;403-第二图像处理模块;404-第二输出端;500-电子设备;510-镜头模组;520-图像处理模块;530-后端处理装置。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
现有多镜头图像处理装置通常包括多个Sensor,每一个Sensor均依次与一个VIN、一个ISP以及一个输出缓存单元连接,并且,现有图像处理装置通常还与显示装置或后端处理装置连接。
以现有的四镜头图像处理装置为例,参见图1,为本发明实施例所提供的现有四镜头图像处理装置100的结构示意图。该四镜头图像处理装置100包括四个Sensor111,每个Sensor111均依次与一个VIN112、一个ISP120以及一个输出缓存单元113连接。Sensor111用于采集原始图像数据并将采集到的原始图像数据发送至VIN112;VIN112用于接收Sensor111输入的原始图像数据,并将原始图像数据发送至ISP120;ISP120用于接收并处理VIN112发送的原始图像数据,得到图像输出数据,以及将图像输出数据发送至输出缓存单元113,以便显示装置依据该图像输出数据显示图像,或者以便后端处理装置接收并进一步处理该图像输出数据。
其中,Sensor111可以但不限于是CMOS(Complementary Metal-Oxide-Semiconductor,互补金属氧化物半导体)传感器、CCD(Charge-coupled Device,电荷耦合元件)传感器;VIN112支持多种数据协议,可以接收多种不同类型的Sensor发送的图像数据,例如VIN112可以接收采用DVP(Digital Video Port,数字视频端口)、MIPI(MobileIndustry Processor Interface,移动行业处理器接口)以及ITU-RBT.656视频标准接口等数据协议类型的Sensor发送的原始图像数据,并将原始图像数据发送至ISP120。
基于图1所示的现有四镜头图像处理装置100,可以理解,现有的多镜头图像处理装置在实现多个镜头传感器接入功能时,每一个Sensor均对应一个ISP,一个ISP处理一个Sensor获取的原始图像数据。因此,现有的多镜头图像处理装置会设置多个ISP,以处理每个Sensor获取的原始图像数据,这会导致IPC芯片有着较大的硬件开销以及成本开销。
为了解决上述技术问题,下面给出一种分时复用图像处理装置的可能的实现方式,具体的,请参照图2,为本发明实施例所提供的一种分时复用图像处理装置200的结构示意图。该分时复用图像处理装置200包括至少两个数据通道201以及图像处理模块202,图像处理模块202与每个数据通道201均连接。
图像处理模块202,用于基于处理时序对每个数据通道201的原始图像数据进行处理,以输出每个数据通道201的图像输出数据,其中,处理时序表征至少两个数据通道201之间的处理顺序。
具体的,数据通道201用于获取原始图像数据。图像处理模块202在数据通道201获取到原始图像数据后,基于处理时序对每个数据通道201中的原始图像数据进行处理,得到图像输出数据并将图像输出数据发送至对应的数据通道201。其中,每一次处理完成对一个数据通道201的原始图像数据处理。例如,假设该处理时序表征的处理顺序为数据通道201的标号顺序,则图像处理模块202根据数据通道201的标号依次处理每个数通道中的原始图像数据。
需要说明的是,该处理时序可以但不限于是数据通道201的标号顺序。请参考图1,数据通道201可以但不限于包括图1所示的Sensor111、VIN112以及输出缓存单元113,图像处理模块202可以但不限于包括图1所示的ISP120。
基于上述图2所提供的实施例,由于图像处理模块202基于处理时序对每个数据通道201的原始图像数据进行处理,实现了图像处理模块202的分时复用功能,即一个图像处理模块202能够处理多个数据通道201中的原始图像数据,降低了硬件开销以及成本开销,减小芯片面积,解决了现有技术的问题。
基于图2所提供的实施例,本发明实施例还提供另一种可能的分时复用图像处理装置,请参照图3,为本发明实施例所提供的另一种分时复用图像处理装置300的结构示意图。该另一种分时复用图像处理装置300包括:至少两个第一输入端301、至少两个缓存单元302、第一图像处理模块303以及至少两个第一输出端304,可以理解,一个第一输入端301、一个缓存单元302以及一个第一输出端304可以对应上述图2所示的一个数据通道。也即是说,该另一种分时复用图像处理装置300包括:至少两个数据通道以及一个第一图像处理模块303,每个数据通道与第一图像处理模块303均连接,每个数据通道均包括一个第一输入端301、一个缓存单元302以及一个第一输出端304,每个数据通道与第一图像处理模块303连接的形式具体为:第一输入端301、缓存单元302、第一图像处理模块303以及第一输出端304依次连接。
第一输入端301用于获取原始图像数据,并将原始图像数据缓存至缓存单元302;第一图像处理模块303用于基于处理时序获取并处理缓存单元302中的所述原始图像数据,得到图像输出数据;第一图像处理模块303还用于将图像输出数据输出至第一输出端304。
在本实施例中,参考图1,第一输入端301可以包括Sensor111、VIN112,第一输出端304可以是输出缓存单元113,第一图像处理模块303可以是ISP120。其中,Sensor111、VIN112、缓存单元302、ISP120以及输出缓存单元113依次连接。也即是说,此时,包括Sensor111、VIN112的多个第一输入端301均分别通过一个缓存单元302与同一个ISP120连接。
具体的,Sensor111获取原始图像数据,并将原始图像数据发送至VIN112,VIN112将原始图像数据发送至缓存单元302,并且VIN112可以在接收到原始图像数据时向ISP120发送处理信号,以通知ISP120及时处理缓存单元302中的原始图像数据。ISP120基于处理时序获取缓存单元302中的原始图像数据,并对原始图像数据进行数据分析和处理,得到图像输出数据。例如,当缓存单元302中的原始图像数据是RAW域数据或者是YUV域数据时,ISP120可以对上述数据进行数据分析和处理,得到关于原始图像数据的参数信息以及YUV格式的图像数据,作为图像输出数据。
在本实施例中,ISP120在每次基于处理时序处理原始图像数据,得到图像输出数据后,将图像输出数据发送至第一输出端304,即输出缓存单元113。当输出图像数据包括参数信息以及YUV格式的图像数据时,ISP120将参数信息发送至输出缓存单元113的第一存储空间,将YUV格式的图像数据发送至输出缓存单元113的第二存储空间。需要说明的是,ISP120在将图像输出数据发送至第一输出端304后,才从下一个缓存单元302中获取并处理原始图像数据。
在本实施例中,处理时序可以是第一图像处理模块303接收第一输入端301发送的处理信号的到达时间,或者是第一图像处理模块303读取每个缓存单元302的读取顺序。
当处理时序为第一图像处理模块303接收第一输入端301发送的处理信号的到达时间时,具体的,VIN112在接收到Sensor111发送的原始图像数据后,在将原始图像数据发送给缓存单元302的同时,向ISP120发送一个处理信号以请求ISP120处理缓存单元302中的原始图像数据。ISP120用于根据处理信号的到达时间,读取并处理对应缓存单元302中的原始图像数据,得到图像输出数据。例如,Sensor1对应的VIN1发送给ISP的处理信号到达时间时1t,Sensor2对应的VIN2发送给ISP的处理信号到达时间时11t,Sensor3对应的VIN3发送给ISP的处理信号到达时间时3t,则第一图像处理模块303首先处理Sensor1对应的缓存单元中的原始图像数据,然后处理Sensor3对应的缓存单元中的原始图像数据,最后处理Sensor2对应的缓存单元中的原始图像数据。
可以理解,当多个第一输入端301不断地获取原始图像数据并向第一图像处理模块303发送处理信号时,第一图像处理模块303可以依据接收到的处理信号的到达时间,读取并处理对应缓存单元中的原始图像数据,得到图像输出数据,从而达到第一图像处理模块303分时复用地处理多个数据通道中的原始图像数据的目的。
当处理时序为第一图像处理模块303读取每个缓存单元302的读取顺序时,具体的,ISP依据预先设置的每个缓存单元302的读取顺序读取并处理对应缓存单元的原始图像数据,得到图像输出数据。例如,预先设置的每个缓存单元302的读取顺序为:缓存单元1、缓存单元2、缓存单元3。则ISP依次循环读取并处理缓存单元1、缓存单元2、缓存单元3中的原始图像数据。
可以理解,当多个第一输入端301不断地获取原始图像数据时,第一图像处理模块303可以依据预先设置的每个缓存单元302的读取顺序,读取并处理对应缓存单元302中的原始图像数据,得到图像输出数据,从而达到第一图像处理模块303的分时复用地处理多个数据通道中的原始图像数据的目的。
基于上述图3所提供的实施例,由于图像处理模块可以基于处理信号的到达时间在每个缓存单元中进行原始图像数据的处理,或者基于预先设置的读取顺序在每个缓存单元中进行原始图像数据的处理,从而实现了图像处理模块分时复用的功能,即一个图像处理模块能够分时复用地处理不同相位、不同帧率、不同分辨率、不同协议的Sensor发送的数据,显著降低了硬件开销以及成本开销,解决了现有技术的问题,并且能够有效提高图像处理模块的处理效率。
在本实施例中,基于图3所提供的实施例,本发明实施例还提供第三种可能的分时复用图像处理装置,请参照图4,为本发明实施例所提供的第三种分时复用图像处理装置400的结构示意图。该第三种分时复用图像处理装置400包括:至少两个第二输入端401、至少两个VIN402、第二图像处理模块403以及至少两个第二输出端404,可以理解,一个第二输入端401、一个VIN402、一个第二输出端404可以对应上述图2所示的数据通道。也即是说,该第三种分时复用图像处理装置400包括:至少两个数据通道以及一个第二图像处理模块403,每个数据通道与第二图像处理模块403均连接,每个数据通道均包括一个第二输入端401、一个VIN402、一个第二输出端404,每个数据通道与第二图像处理模块403连接的形式具体为:第二输入端401、VIN402、第二图像处理模块403以及第二输出端404依次连接。
第二输入端401用于获取原始图像数据;第二图像处理模块403具体用于根据预设时间顺序,逐次获取并处理每个第二输入端401通过VIN402发送的原始图像数据,得到图像输出数据;第二图像处理模块403还用于将图像输出数据输出至第二输出端404。
在本实施例中,参考图1,第二输入端401可以是Sensor111,VIN402对应上述的VIN112,第二图像处理模块403可以是ISP120,第二输出端404可以是输出缓存单元113。其中,Sensor111、VIN112、ISP120以及输出缓存单元113依次连接。也即是说,Sensor111能够通过VIN112直接与ISP120连接,而不必再通过VIN112以及缓存单元与ISP120连接。并且,该Sensor111可以调节发送数据的时序与相位,以使每个Sensor111发送原始图像数据的时间位于其他Sensor111的共同场消隐区,例如DVP数据协议类型的Sensor可以实现发送数据的时序与相位的调节。
具体的,Sensor111用于获取原始图像数据,并将原始图像数据发送至VIN112,VIN112用于将接收到的原始图像数据发送至ISP120。ISP120用于调整第二输入端401即Sensor111发送数据的时序与相位,使得每个Sensor111的发送有效数据的时间位于其他Sensor111的共同场消隐区,即其他Sensor111均不发送数据的区域。如图5所示,每个Sensor发送有效数据的时间位于其他Sensor的共同场消隐区,即Sensor1、Sensor2以及Sensor3的发送有效数据的时间互不冲突。由于每个Sensor111发送原始图像数据的时间互不冲突,ISP120可以逐次获取并处理每个Sensor111通过VIN112发送的原始图像数据,得到图像输出数据。
在本实施例中,ISP120在得到图像输出数据后,用于将图像输出数据发送至输出缓存单元113。例如,当输出图像数据包括参数信息以及YUV格式的图像数据时,ISP120将参数信息发送至输出缓存单元113的第一存储空间,将YUV格式的图像数据发送至输出缓存单元113的第二存储空间。需要说明的是,ISP120在将图像输出数据发送至第二输出端404后,才获取并处理下一个Sensor111通过VIN402发送的原始图像数据。
基于上述图4所提供的实施例,由于图像处理模块可以通过调节每个输入端发送原始图像数据的时间顺序,并根据该时间顺序逐次获取并处理每个输入端发送的原始图像数据,从而实现了图像处理模块分时复用的功能,即一个图像处理模块能够分时复用地处理多个不同Sensor发送的数据,显著降低了硬件开销以及成本开销,节省了缓存单元的占用,解决了现有技术的问题,并且能够有效提高图像处理模块的处理效率。
在实际应用中,上述的缓存单元以及输出缓存单元可以被包括于一个或多个的缓存装置中,其中,缓存装置可以是DRAM(Dynamic Random Access Memory,动态随机存取存储器),也即是说,本发明所提供的缓存单元以及输出缓存单元的具体实现形式可以是:由至少一个DRAM存储器包括上述的缓存单元以及输出缓存单元。例如,当只有一个DRAM存储器包括上述的缓存单元以及输出缓存单元时,输入端以及图像处理模块在需要使用缓存单元或者输出缓存单元时,直接与该DRAM存储器进行数据交互实现。
本发明实施例还给出一种分时复用图像处理方法的可能的实现方式,该方法的执行主体是上述实施例所提供的图像处理模块,方法包括如下步骤:
基于处理时序对每个数据通道的原始图像数据进行处理,以输出每个数据通道的图像输出数据;其中,处理时序表征至少两个数据通道之间的处理顺序。
具体的,图像处理模块与至少两个数据通道连接,数据通道在获取到原始图像数据后。图像处理模块基于处理时序对每个数据通道中的原始图像数据进行处理,得到图像输出数据并将图像输出数据发送至对应的数据通道。其中,每一次处理完成一个数据通道的原始图像数据处理。例如,假设该处理时序表征的处理顺序为数据通道的标号顺序,则图像处理模块根据数据通道的标号依次处理每个数通道中的原始图像数据。
需要说明的是,该处理时序可以但不限于数据通道的标号顺序。请参考图1,数据通道可以包括图1所示的Sensor、VIN以及输出缓存单元,图像处理模块可以是图1所示的ISP。
基于上述实施例,由于图像处理模块基于处理时序对每个所述数据通道的原始图像数据进行处理,实现了图像处理模块的分时复用功能,即一个图像处理模块能够处理多个数据通道中的原始图像数据,降低了硬件开销以及成本开销,减小芯片面积,解决了现有技术的问题。
本发明实施例还给出一种完整方案可能的实现方式,具体的,请参照图6,为本发明实施例所提供的另一种分时复用图像处理方法的流程示意图。需要说明的是,本发明实施例提供的分时复用图像处理方法并不以图6以及以下的具体顺序为限制,应当理解,在其它实施例中,本发明实施例提供的分时复用图像处理方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。该分时复用图像处理方法可应用于上述图2、图3及图4所示的图像处理模块,下面将对图6所示的具体流程进行详细阐述。
S111,基于处理时序获取并处理缓存单元中的原始图像数据,得到图像输出数据;其中,输入端用于获取所述原始图像数据,并将所述原始图像数据缓存至所述缓存单元。
具体的,请参考图3,每个数据通道均包括一个缓存单元、一个第一输入端以及一个第一输出端,图像处理模块可以是ISP。第一输入端用于获取原始图像数据,并将原始图像数据缓存至缓存单元。ISP用于基于处理时序获取缓存单元中的原始图像数据,并对原始图像数据进行数据分析和处理,得到图像输出数据。例如,当缓存单元中的原始图像数据是RAW域的数据或者是YUV域的数据时,ISP可以对上述数据进行数据分析和处理,得到关于原始图像数据的参数信息以及YUV格式的图像数据,作为图像输出数据。
其中,处理时序可以是图像处理模块接收第一输入端发送的处理信号的到达时间,或者是图像处理模块读取每个缓存单元的读取顺序。
当处理时序为图像处理模块接收第一输入端发送的处理信号的到达时间时,ISP具体用于根据到达时间,读取并处理缓存单元中的原始图像数据,得到图像输出数据。
当处理时序为图像处理模块读取每个缓存单元的读取顺序时,ISP具体用于根据读取顺序,逐次读取并处理每个缓存单元中的原始图像数据,得到图像输出数据。
本发明实施例还提供S111的另一种可能的实现方式:
根据预设时间顺序,逐次获取并处理每个输入端通过VIN发送的原始图像数据,得到图像输出数据。
具体的,请参考图4,每个数据通道包括第二输入端、第二输出端以及VIN,图像处理模块可以是ISP。第二输入端用于获取原始图像数据,并将原始图像数据发送至VIN。ISP用于调整第二输入端的每个Sensor的时序与相位,使得每个Sensor的发送有效数据的时间位于其他Sensor的共同场消隐区,即其他Sensor均不发送数据的区域。由于每个Sensor发送原始图像数据的时间互不冲突,ISP可以逐次获取并处理每个Sensor通过VIN发送的原始图像数据,得到图像输出数据。
请再参考图6,S112,将图像输出数据输出至输出端。
可以理解的是,以上的分时复用图像处理方法的具体实施方式可参考上述图2、图3及图4所示的分时复用图像处理装置。
本发明实施例还提供一种电子设备,如图7所示,为本发明实施例所提供的电子设备的结构框图。该电子设备500可以包括至少两个镜头模组510、图像处理模块520、后端处理装置530,该镜头模组510、图像处理模块520、后端处理装置530,各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
镜头模组510用于获取原始图像数据,并将原始图像数据发送至图像处理模块520,图像处理模块520用于实现本发明实施例所提供的分时复用图像处理方法,并将得到的图像输出数据发送至后端处理装置530。后端处理装置530可以是显示装置或者处理器,当后端处理装置530为显示装置时,用于依据该图像输出数据显示图像;当后端处理装置530为处理器时,用于接收并进一步处理该图像输出数据。优选的,图像处理模块520可以是图2、图3或图4所提供的分时复用图像处理装置。镜头模组510可以对应上述图3所提供的第一输入端,或者对应上述图4所提供的第二输入端以及VIN。可以理解,镜头模组510可以是上述的Sensor以及VIN。
该电子设备500还可以包括处理器以及存储器,图像处理模块520可以以硬件的形式设置在电子设备500中或者包括至少一个可以以软件形式存储于存储器或者是固化在电子设备500的操作系统(operating system,OS)中的软件功能模块。
当图像处理模块520以软件形式存储于存储器或者是固化在电子设备500的操作系统中的软件功能模块时,存储器可用于存储软件程序及模块,如本发明实施例所提供的分时复用图像处理模块520对应的程序指令/模块,处理器通过执行存储在存储器内的软件程序及模块,从而执行各种功能应用以及数据处理,即对多个镜头模组510输入的原始图像数据进行分时复用图像处理以得到对应的图像输出数据;当图像处理模块520以硬件的形式设置在电子设备500中时,图像处理模块520可以接收多个镜头模组510通过总线发送的原始图像数据,并对原始图像数据进行分时复用图像处理以得到对应的图像输出数据。
可以理解,图7所示的结构仅为示意,电子设备500还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。例如,本发明实施例所提供的电子设备500可以是多摄像头手机、应用于多角度视频监控、车辆前后多角度可视等需要多个镜头监控的场景的电子设备500等,具体的,以该电子设备500为多摄像头手机为例,该多摄像头手机可以包括本发明实施例所提供的至少两个镜头模组510、图像处理模块520、后端处理装置530,该镜头模组510、图像处理模块520、后端处理装置530,各元件相互之间直接或间接地电性连接,以实现数据的传输或交互,实现本发明实施例所提供的分时复用图像处理方法。
综上所述,本发明实施例所提供的一种分时复用图像处理装置、方法以及电子设备,该装置包括图像处理模块、至少两个数据通道,图像处理模块与数据通道连接。图像处理模块用于基于处理时序对每个所述数据通道的原始图像数据进行处理,以输出每个数据通道的图像输出数据,处理时序表征至少两个数据通道之间的处理顺序。该装置可以设置于该电子设备并实现该方法,由于图像处理模块基于处理时序对每个所述数据通道的原始图像数据进行处理,实现了图像处理模块的分时复用功能,即一个图像处理模块能够处理多个数据通道中的原始图像数据,降低了硬件开销以及成本开销,减小芯片面积,解决了现有技术的问题。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、设备。因此,本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、装置、设备的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的可选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种分时复用图像处理装置,其特征在于,包括图像处理模块、至少两个数据通道,所述图像处理模块与所述数据通道连接;
所述图像处理模块用于,基于处理时序对每个所述数据通道的原始图像数据进行处理,以输出每个所述数据通道的图像输出数据;所述处理时序表征所述至少两个数据通道之间的处理顺序。
2.如权利要求1所述的分时复用图像处理装置,其特征在于,每个所述数据通道均包括缓存单元、输入端以及输出端;
所述输入端用于,获取所述原始图像数据,并将所述原始图像数据缓存至所述缓存单元;
所述图像处理模块用于基于所述处理时序获取并处理所述缓存单元中的所述原始图像数据,得到所述图像输出数据;
所述图像处理模块还用于将所述图像输出数据输出至所述输出端。
3.如权利要求2所述的分时复用图像处理装置,其特征在于,所述图像处理模块还用于接收所述输入端发送的处理信号;所述处理时序为所述图像处理模块接收所述处理信号的到达时间;
所述图像处理模块,具体用于根据所述到达时间,读取并处理所述缓存单元中的原始图像数据。
4.如权利要求2所述的分时复用图像处理装置,其特征在于,所述处理时序为所述图像处理模块读取每个所述缓存单元的读取顺序;
所述图像处理模块,具体用于根据所述读取顺序,逐次读取并处理每个所述缓存单元中的原始图像数据。
5.如权利要求1所述的分时复用图像处理装置,其特征在于,每个所述数据通道包括输入端、输出端以及VIN,所述处理时序为预设时间顺序;
所述输入端,用于获取所述原始图像数据;
所述图像处理模块,具体用于根据所述预设时间顺序,逐次获取并处理每个所述输入端通过所述VIN发送的所述原始图像数据,得到所述图像输出数据;
所述图像处理模块,还用于将所述图像输出数据输出至所述输出端。
6.一种分时复用图像处理方法,其特征在于,应用于图像处理模块,所述图像处理模块与至少两个数据通道连接,所述方法包括:
基于处理时序对每个所述数据通道的原始图像数据进行处理,以输出每个所述数据通道的图像输出数据;所述处理时序表征所述至少两个数据通道之间的处理顺序。
7.如权利要求6所述的分时复用图像处理方法,其特征在于,每个所述数据通道均包括缓存单元、输入端以及输出端,所述基于处理时序在每个所述数据通道进行原始图像数据的处理,以输出每个所述数据通道的图像输出数据的步骤包括:
基于处理时序获取并处理所述缓存单元中的所述原始图像数据,得到所述图像输出数据,其中,所述输入端用于获取所述原始图像数据,并将所述原始图像数据缓存至所述缓存单元;
将所述图像输出数据输出至所述输出端。
8.如权利要求7所述的分时复用图像处理方法,其特征在于,所述处理时序为所述图像处理模块接收所述输入端发送的处理信号的到达时间,所述基于处理时序获取并处理所述缓存单元中的所述原始图像数据的步骤包括:
根据所述到达时间,读取并处理所述缓存单元中的原始图像数据。
9.如权利要求7所述的分时复用图像处理方法,其特征在于,所述处理时序为所述图像处理模块读取每个所述缓存单元的读取顺序,所述基于处理时序获取并处理所述缓存单元中的所述原始图像数据的步骤包括:
根据所述读取顺序,逐次读取并处理每个所述缓存单元中的原始图像数据。
10.一种电子设备,其特征在于,包括至少两个镜头模组、图像处理模块、后端处理装置,实现如权利要求6-9任一项所述的方法。
CN201910110426.5A 2019-02-11 2019-02-11 一种分时复用图像处理装置、方法以及电子设备 Pending CN109672869A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910110426.5A CN109672869A (zh) 2019-02-11 2019-02-11 一种分时复用图像处理装置、方法以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910110426.5A CN109672869A (zh) 2019-02-11 2019-02-11 一种分时复用图像处理装置、方法以及电子设备

Publications (1)

Publication Number Publication Date
CN109672869A true CN109672869A (zh) 2019-04-23

Family

ID=66151227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910110426.5A Pending CN109672869A (zh) 2019-02-11 2019-02-11 一种分时复用图像处理装置、方法以及电子设备

Country Status (1)

Country Link
CN (1) CN109672869A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901533A (zh) * 2020-06-30 2020-11-06 北京空间机电研究所 一种图像数据通道分时复用的采集方法和系统
CN112672034A (zh) * 2019-10-16 2021-04-16 北京中科慧眼科技有限公司 一种同步帧信号的分时传输方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1075581A (zh) * 1991-11-19 1993-08-25 亚特兰大科研公司 用于数字传输系统的首端处理
CN1081036A (zh) * 1992-03-16 1994-01-19 亚特兰大科研公司 用于在相关数字通信系统中减小传输差错的方法和装置
CN101867825A (zh) * 2010-06-25 2010-10-20 中国传媒大学 一种多路视频循环监控的装置及其方法
CN102164232A (zh) * 2011-01-30 2011-08-24 格科微电子(上海)有限公司 一种双摄像头之间数据通讯的方法及其实现装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1075581A (zh) * 1991-11-19 1993-08-25 亚特兰大科研公司 用于数字传输系统的首端处理
CN1081036A (zh) * 1992-03-16 1994-01-19 亚特兰大科研公司 用于在相关数字通信系统中减小传输差错的方法和装置
CN101867825A (zh) * 2010-06-25 2010-10-20 中国传媒大学 一种多路视频循环监控的装置及其方法
CN102164232A (zh) * 2011-01-30 2011-08-24 格科微电子(上海)有限公司 一种双摄像头之间数据通讯的方法及其实现装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672034A (zh) * 2019-10-16 2021-04-16 北京中科慧眼科技有限公司 一种同步帧信号的分时传输方法、装置及系统
CN112672034B (zh) * 2019-10-16 2022-06-21 北京中科慧眼科技有限公司 一种同步帧信号的分时传输方法
CN111901533A (zh) * 2020-06-30 2020-11-06 北京空间机电研究所 一种图像数据通道分时复用的采集方法和系统
CN111901533B (zh) * 2020-06-30 2022-02-01 北京空间机电研究所 一种图像数据通道分时复用的采集方法和系统

Similar Documents

Publication Publication Date Title
US9578224B2 (en) System and method for enhanced monoimaging
CN112259062B (zh) 特效展示方法、装置、电子设备及计算机可读介质
CN110475065B (zh) 图像处理的方法、装置、电子设备及存储介质
CN107220208B (zh) 一种图像处理系统及方法
CN107155093B (zh) 一种视频预览方法、装置及设备
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN109672869A (zh) 一种分时复用图像处理装置、方法以及电子设备
CN110445977B (zh) 图像信号处理器的参数设置方法及终端设备
CN112989894A (zh) 目标检测方法、任务处理方法、装置、设备及存储介质
CN113794844B (zh) 自由视角视频采集系统、方法、装置、服务器和介质
CN107113412B (zh) 显示装置、显示校正装置、显示校正系统和显示校正方法
CN108174084A (zh) 全景视频处理方法及终端设备
CN108540689B (zh) 图像信号处理器、应用处理器及移动装置
WO2023010755A1 (zh) 一种hdr视频转换方法、装置、设备及计算机存储介质
CN108492266A (zh) 图像处理方法、装置、存储介质及电子设备
CN105704465A (zh) 图像处理方法及终端
CN110069641B (zh) 图像处理方法、装置和电子设备
CN110399802B (zh) 处理面部图像眼睛亮度的方法、装置、介质和电子设备
CN110809166A (zh) 视频数据处理方法、装置和电子设备
CN109309784B (zh) 移动终端
CN106686323A (zh) 一种高速cmos相机成像方法及系统
CN112235563A (zh) 一种对焦测试方法、装置、计算机设备及存储介质
CN107197162B (zh) 拍摄方法、拍摄装置、视频存储设备以及拍摄终端
CN115644816A (zh) 一种三维扫描方法、装置、系统、设备及介质
CN109618207B (zh) 视频帧的处理方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190423

RJ01 Rejection of invention patent application after publication