CN108683866A - 图像处理及传输方法、图像处理器及相关存储介质和系统 - Google Patents

图像处理及传输方法、图像处理器及相关存储介质和系统 Download PDF

Info

Publication number
CN108683866A
CN108683866A CN201810541724.5A CN201810541724A CN108683866A CN 108683866 A CN108683866 A CN 108683866A CN 201810541724 A CN201810541724 A CN 201810541724A CN 108683866 A CN108683866 A CN 108683866A
Authority
CN
China
Prior art keywords
image
image data
row
picture frame
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810541724.5A
Other languages
English (en)
Other versions
CN108683866B (zh
Inventor
王明
孙杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Future Technology Co Ltd filed Critical Beijing Tusimple Future Technology Co Ltd
Priority to CN201810541724.5A priority Critical patent/CN108683866B/zh
Publication of CN108683866A publication Critical patent/CN108683866A/zh
Application granted granted Critical
Publication of CN108683866B publication Critical patent/CN108683866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像处理及传输方法、图像处理器及相关存储介质和系统。所述方法包括:在接收图像数据时,确定当前接收的图像数据是否为多级曝光图像中最后一个图像帧的设定行;当确定是时,在继续接收图像数据的过程中,启动已接收图像数据的图像处理过程;传输处理完成的图像数据。本发明使用边接收图像数据边处理的方式,节省了等待完全接收图像帧的时间,有效地缩短了在图像处理器端的处理时延,从而缩短了从图像传感器采集的图像到目标机的总传输延时。

Description

图像处理及传输方法、图像处理器及相关存储介质和系统
技术领域
本发明涉及图像传输技术领域,特别涉及一种图像处理及传输方法、图像处理器及相关存储介质和系统。
背景技术
随着机器视觉的应用越来越广泛,对图像质量的要求来越来越苛刻,为了适应亮度变化范围更大的应用场景,图像传感器例如互补金属氧化物半导体传感器(CMOS(Complementary Metal Oxide Semiconductor)sensor)厂商也推出了多级曝光技术(即对同一图像,采用两次曝光、三次曝光乃至更多次的曝光,后将多次曝光的图像数据进行处理得到一张图像帧)。以两级曝光为例,意味着图像数据量增大为原来的两倍,如果将所有的图像数据都传送给目标机(例如电脑),对传输带宽及传输延时都有挑战;因此需要将前期的图像处理及对COMS sensor的控制都在图像处理器例如现场可编程门阵列(FPGA,Field-Programmable Gate Array)端完成,只将处理结果传输到目标机,这样可大大降低传输带宽和传输延时。但是在FPGA端处理图像又会引入图像处理延时,而目标机往往会对总传输延时有限制,因此需要改进总传输延时。
以往多级曝光的图像采集与传输过程,参照图1所示,都是将多级曝光的图像帧从图像传感器例如COMS sensor传输到图像处理器之后,在图像处理器中多级曝光的图像帧进行各种各样的处理,再把最终的处理结果传输到目标机。以三级曝光为例,图像处理器需要采集完全部的三次曝光的图像帧,再对所接收的三个图像帧进行预设的图像算法的处理,最终输出这三个图像帧处理完成的一个图像帧的处理结果。
从图像传感器采集图像到目标机的总传输延时,参照图2所示,以图像传感器为CMOS sensor,图像处理器为FPGA为例,该总传输延时通常为三部分之和,第一部分是从CMOS sensor到FPGA端的时间t1,第二部分是FPGA图像处理的时间T0;第三部分是从FPGA到目标机传输的时间t2。对于从CMOS sensor到FPGA端的时间t1,往往与帧率相关,是不可避免且相对固定的,很难压缩,而从FPGA到目标机的传输时间t2,是由传输介质决定的,一旦传输介质固定,传输时间也固定了,较难有改进的空间。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像处理及传输方法、图像处理器及相关存储介质和系统。
第一方面,本发明实施例提供一种图像处理及传输方法,包括:
在接收图像数据时,确定当前接收的图像数据是否为多级曝光图像中最后一个图像帧的设定行;
当确定是时,在继续接收图像数据的过程中,启动已接收图像数据的图像处理过程;
传输处理完成的图像数据。
在一个实施例中,所述接收图像数据,包括:
依次接收传输过来的多级曝光图像中各图像帧组成的图像数据流,每个图像帧的图像数据流中又依次包含各行的图像数据;所述各图像帧是按曝光时间先后顺序传输过来的。
在一个实施例中,所述图像处理过程,包括:
从已接收的所述各图像帧的图像数据流中,将相同行进行融合处理,得到处理后的各行的图像数据;
所述传输处理完成的图像数据,包括:
针对每个处理后得到的行,在本行处理完成后即开始传输;或
待多级曝光图像中各图像帧的所有行均处理完成后,将所述所有行作为处理后的图像帧进行传输。
在一个实施例中,所述接收图像数据,包括:
依次接收传输过来的多级曝光图像中各对应行组成的图像数据流;所述各对应行是指多级曝光图像中不同图像帧中的相同行;所述各对应行是按照曝光的时间先后顺序传输过来的。
在一个实施例中,所述图像处理过程,包括:
从已接收的所述各对应行进行融合处理,得到处理后的各行的图像数据;
所述传输处理完成的图像数据,包括:
针对每个处理后得到的行,在本行处理完成后即开始传输;或
待所述各图像帧的所有行均处理完成后,将所述所有行作为处理后的图像帧进行传输。
在一个实施例中,所述设定行为第一行。
第二方面,本发明实施例提供一种图像处理器,包括:
接收模块,用于在接收图像数据时,确定当前接收的图像数据是否为多级曝光图像中最后一个图像帧的设定行;
图像处理模块,用于当所述接收模块确定是时,在所述接收模块继续图像数据的过程中,启动已接收图像数据的图像处理过程;
传输模块,用于传输处理完成的图像数据。
在一个实施例中,所述接收模块,具体用于依次接收传输过来的多级曝光图像中各图像帧组成的图像数据流,每个图像帧的图像数据流中又依次包含各行的图像数据;所述各图像帧是按曝光时间先后顺序传输过来的。
在一个实施例中,所述图像处理模块,具体用于从已接收的所述各图像帧的图像数据流中,将相同行进行融合处理,得到处理后的各行的图像数据;
相应地,所述传输模块,具体用于针对每个处理后得到的行,在本行处理完成后即开始传输;或待所述各图像帧的所有行均处理完成后,将所述所有行作为处理后的图像帧进行传输。
在一个实施例中,所述接收模块,具体用于依次接收传输过来的多级曝光图像中各对应行组成的图像数据流;所述各对应行是指不同图像帧中的相同行;所述各对应行是按照曝光的时间先后顺序传输过来的。
在一个实施例中,所述图像处理模块,具体用于从已接收的所述各对应行进行融合处理,得到处理后的各行的图像数据;
相应地,所述传输模块,具体用于针对每个处理后得到的行,在本行处理完成后即开始传输;或待多级曝光图像中各图像帧的所有行均处理完成后,将所述所有行作为处理后的图像帧进行传输。
在一个实施例中,所述设定行为第一行。
第三方面,本发明实施例提供一种图像处理器,包括:存储器、处理器及存储于存储器上并可在处理器上运行的计算机指令,其特征在于,所述指令被处理器执行时能够实现如前述的图像处理及传输方法。
第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如前述的图像处理及传输方法。
第五方面,本发明实施例提供一种图像处理系统,包括:图像传感器和图像处理器;其中:
所述图像传感器,用于采集多级曝光图像的图像数据,并传输给所述图像处理器;
所述图像处理器,用于在接收所述图像传感器传输过来的图像数据时,确定当前接收的图像数据是否为多级曝光图像中最后一个图像帧的设定行;当确定是时,在继续接收图像数据的过程中,启动已接收图像数据的图像处理过程;向目标机传输处理完成的图像数据。
在一个实施例中,所述图像传感器,具体用于根据曝光的先后顺序,将多级曝光图像中各图像帧的图像数据依次传输给所述图像处理器;每个图像帧的图像数据流中又依次包含各行的图像数据;或者按行曝光,并根据曝光的先后顺序,将所述多级曝光图像中各对应行的图像数据依次传输给所述图像处理器;所述各对应行是指不同图像帧中的相同行。
本发明实施例提供的上述技术方案的有益效果至少包括:
1、本发明实施例提供的上述图像处理及传输方法,图像处理器可以在接收图像数据的过程中,当接收到多级曝光图像中最后一个图像帧的设定行时,就开始将已接收到的最后一帧的图像数据与之前已经接收前两帧的图像数据进行预设的图像算法处理(例如进行融合处理),在接收图像数据的同时,就提前开启了图像处理过程。相对于现有技术中,图像处理器需要采集完成全部的曝光的图像帧,在对接收的图像帧进行预设算法处理的方式而言,这种边接收图像数据边处理的方式,节省了等待完全接收图像帧的时间,有效地缩短了在图像处理器端的处理时延,从而缩短了从图像传感器采集的图像到目标机的总传输延时。
2、在图像传感器是按照逐行输出(Line by line)的方式的情况下,对于图像处理器来说,依次接收图像传感器传输过来的各对应行组成的图像数据流,将相同行进行融合处理,最早可以在收到最后一帧的第一行的图像数据后,就可以开始图像的处理过程,并将处理完成的行图像数据传递给目标机,更大限度地压缩了总传输延时。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为现有技术中多级曝光的图像采集与传输过程的系统框图;
图2为从图像传感器到目标机的总传输延时的构成示意图;
图3为本发明实施例中图像处理及传输方法的流程图;
图4为本发明实施例中具体例子所对应的总传输延时的构成示意图;
图5为本发明实施例中图像处理器的结构框图;
图6为本发明实施例中图像处理系统的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
基于对图像传感器采集图像到目标机的总传输延时的改进需求,以及由于从图像传感器到图像处理器的时间和从图像处理器到目标机的传输时间相对固定改进空间有限,发明人发现图像处理器处理的时间在整个传输过程中占比较大,因此从图像处理器入手,优化其处理流程及其向外传输过程,可以有效缩短从图像传感器采集图像到目标机的总传输延时。
下面结合附图,对本发明实施例提供的图像处理及传输方法进行详细说明。
本发明实施例提供的图像处理及传输方法,可应用于图像处理器(例如FPGA、DSP(Digital Signal Processing,数字信号处理)或者其他任何具有图像处理能力的处理器等),其流程参照图3所示,包括下述步骤:
S31、在接收图像数据时,确定当前接收的图像数据是否为多级曝光图像中最后一个图像帧的设定行;当确定是时,执行下述步骤S32;
S32、在继续接收图像数据的过程中,启动已接收图像数据的图像处理过程;
S33、传输处理完成的图像数据。
本发明实施例中,上述多级曝光图像是指,对于同一个图像而言,图像传感器采用不低于两次的曝光技术而生成的图像。
上述图像传感器可以采用现有技术中任何一种具有影像感应功能的图像传感器,包括但不限于CMOS、电荷耦合器件图像传感器(Charge Coupled Device,CCD)等。
本发明实施例提供的上述图像处理及传输方法,图像处理器可以在接收图像数据的过程中,当接收到多级曝光图像中最后一个图像帧的设定行时,就开始将已接收到的最后一帧的图像数据与之前已经接收前两帧的图像数据进行预设的图像算法处理(例如进行融合处理),在接收图像数据的同时,就提前开启了图像处理过程。相对于现有技术中,图像处理器需要采集完成全部的曝光的图像帧,在对接收的图像帧进行预设算法处理的方式而言,这种边接收图像数据边处理的方式,节省了等待完全接收图像帧的时间,有效地缩短了在图像处理器端的处理时延,从而缩短了从图像传感器采集的图像到目标机的总传输延时。
需要说明的是,在上述步骤S31~S33与图像处理器接收图像数据的步骤是相互独立的,同时进行的,上述各步骤均发生在图像处理器接收图像数据的过程中,也就是图像处理器一边接收图像数据、一边处理图像数据,同时还可以将已处理完成的图像数据传输给目标机。当然还可以有一种情况,S31和S32发生在图像处理器接收图像数据的过程中,而S33是所有图像均处理完成之后。当然,后一种方式在缩短总传输延时的效果上较第一种稍差。
在一个实施例中,上述步骤S31中的设定行,可以预先设定,例如设定为第一行,在这种情况下,图像处理器当接收到多级曝光图像中最后一帧的第一行时,在接收完这一行的图像数据后,可立刻开启图像处理过程。当然,本发明实施例中,上述设定行也可以是其他行,比如第二行,亦或者是其他行(通常不是最后一行),只是启动图像处理过程会稍晚一些。但同样可实现边接收边处理,压缩总传输延时的目的。
在一个实施例中,由于图像传感器(例如CMOS)曝光和输出方式的差异,上述方法,具体还可以分为下述两种情况:
第一种情况:
图像传感器是按照逐帧输出的方式,也就是说,每曝光一图像帧,就输出一图像帧,按照曝光的时间先后输出,输出时采用数据流的方式,对每个帧的数据而言,其中又包含了各行的图像数据,基于此,对于图像处理器而言,其接收图像数据的过程为:依次接收传输过来的多级曝光图像中各图像帧组成的图像数据流,每个图像帧的图像数据流中又依次包含各行的图像数据。对于同一图像帧的图像数据而言,图像处理器先收到的是第一行的数据、紧跟着是第二行、第三行……直至接收完最后一行。
以设定行为第1行为例,图像处理器持续地接收多级曝光图像中的各个图像帧的数据流,在接收到多级曝光图像中的最后一个图像帧的第一行后,立即启动图像处理过程。
相应地,在第一种方式下,上述步骤S32中的图像处理过程,包括:
从已接收的所述各图像帧的图像数据流中,将相同行进行融合处理,得到处理后的各行的图像数据;
相应地,上述步骤S33中传输处理完成的图像数据,具体可以通过下述两种方式中的任一种:
1、针对每个处理后得到的行,在本行处理完成后即开始传输;
2、待各图像帧的所有行均处理完成后,将所有行作为处理后的图像帧进行传输。
从传输延时的角度,上述方式1较方式2更有利于压缩传输延时。
第二种情况:
图像传感器是按照逐行输出(Line by line)的方式,即按行曝光,按照曝光的先后顺序,将多级曝光图像中各图像帧中的各对应行(是指不同图像帧中的相同行)的图像数据依次传输给图像处理器,以三级曝光技术为例,传输完第一帧的第一行后,紧接着传输第二帧的第一行、最后传输第三帧的第一行。对于图像处理器来说,依次接收图像传感器传输过来的各对应行组成的图像数据流,将相同行进行融合处理,得到处理后的各行的图像数据;比如可在接收完第三帧的第一行之后,对第一帧、第二帧和第三帧的第一行进行处理,得到处理后的第一行的数据。
在第二种情况下,步骤S33中传输处理完成的图像数据,可以参照第一种情况的方式,在此不再赘述。
为了更好地说明本发明实施例提供的上述图像处理及传输方法所能够达到的技术效果,下面结合具体的例子进行进一步的说明。
下面以千兆网为传输介质进行传输延时的分析,以图像分辨率为1920*1080,每个像素占用8bit,千兆网的传输理论值按1Gbps为例进行计算,传输完一帧图像的时间约为16.6ms。
参照图4所示,如果加入图像产生时间,因为是三级曝光,所以每产生三帧图像才对目标机输出一帧图像,以输出30帧每秒为例,从曝光开始,经过33.33ms将图像信息从图像传感器传输到图像处理器,也就是t1=33.33ms。
当然这里也有传输时间,因为非常短,暂时忽略不计。参照图4所示,假设图像处理器自身的将三个图像帧进行图像处理时间是T0。总的传输延时等于33.33ms+T0+16.6ms,上式中,T0单位为ms。
前33.33ms与传感器的帧率有关,是不可避免的,而传输时间t2(从图像处理器传输到目标机)是由传输介质决定的,一旦传输介质固定,传输时间也就固定了。因此只能优化图像处理时间T0,通过减小T0来减小总的传输延时。
参照上述方法,如果对目标机输出图像的速率为30帧每秒,那么以三级曝光为例,图像传感器每秒要产生90帧图像,也就是每33.33ms要将三帧图像传输到图像处理器,那么每传输一帧图像需要花费11.11ms。当经过22.22ms后,图像处理器已经接收到了两帧图像,而图像处理操作并不需要把三帧图像全部接收完成才进行,而是可以逐行的对图像进行处理,所以可以在接收到第三帧图像的第一行(设定行)后,就进行相应的图像处理操作,而操作完的结果可以直接输出给目标机,这样实际上在第三帧图像只传输完成一行后,就进行图像处理,一行的传输时间为而处理一行图像的时间为的时长,因此使用此方法,整体传输延时可以节省的时长,可有效缩短传输延时,上式中,T0单位为ms。
以上是的分析是针对于图像传感器逐帧进行输出,即全部传输完第一帧,再传输第二帧的情况。
另一种情况,图像传感器使用line by line的传输方法,即传输完成第一帧的第一行后,紧接着就传输第二帧的第一行,最后传输第三帧的第一行,对于这种传输方式,上述图像处理和传输方法在传输延时上可以发挥更大的作用,这样在图像处理器接收到三帧图像的第一行数据就开始启动图像的处理,然后将处理后的结果直接传输给目标机,极大的减小了传输延时。理论上总共的传输延时为:上式中,T0单位为ms。
基于同一发明构思,本发明实施例还提供了一种图像处理器、计算机可读存储介质及相关图像处理系统,由于这些装置和系统所解决问题的原理与前述方法相似,因此该装置和系统的实施可以参见前述方法的实施,重复之处不再赘述。
本发明实施例提供的一种图像处理器,参照图5所示,包括:
接收模块51,用于在接收图像数据时,确定当前接收的图像数据是否为多级曝光图像中最后一个图像帧的设定行;
图像处理模块52,用于当所述接收模块确定是时,在所述接收模块继续图像数据的过程中,启动已接收图像数据的图像处理过程;
传输模块53,用于传输处理完成的图像数据。
在一个实施例中,上述接收模块51,具体用于依次接收传输过来的多级曝光图像中各图像帧组成的图像数据流,每个图像帧的图像数据流中又依次包含各行的图像数据;各图像帧是按曝光时间先后顺序传输过来的。
在一个实施例中,上述图像处理模块52,具体用于从已接收的各图像帧的图像数据流中,将相同行进行融合处理,得到处理后的各行的图像数据;
相应地,上述传输模块53,具体用于针对每个处理后得到的行,在本行处理完成后即开始传输;或待各图像帧的所有行均处理完成后,将所有行作为处理后的图像帧进行传输。
在一个实施例中,上述接收模块51,具体用于依次接收传输过来的多级曝光图像中各对应行组成的图像数据流;各对应行是指不同图像帧中的相同行;各对应行是按照曝光的时间先后顺序传输过来的。
在一个实施例中,上述图像处理模块52,具体用于从已接收的各对应行进行融合处理,得到处理后的各行的图像数据;
相应地,上述传输模块53,具体用于针对每个处理后得到的行,在本行处理完成后即开始传输;或待各图像帧的所有行均处理完成后,将所有行作为处理后的图像帧进行传输。
在一个实施例中,上述设定行为第一行。
在本发明实施例中,上述图像处理器可以是各种具有图像处理能力的处理器芯片,例如常见的FPGA、数字信号处理器(DSP,Digital Signal Processing)或者其他类似处理器。在该处理器中,可以包含程序模块,该程序模块可以包含上述接收模块51、图像处理模块52和传输模块53,以实现上述各程序模块的功能。
在一个实施例中,上述图像处理器,可以包括:存储器、处理器及存储于存储器上并可在处理器上运行的计算机指令,所述指令被处理器执行时能够实现如前述图像处理及传输方法。本发明实施例并不限定具体采用何种方式编写以及何种格式和语法的计算机指令。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时可实现前述图像处理及传输方法。上述结算及可读存储介质包括各种非易失性的存储介质,包括但不限于光盘、ROM、EEPROM、FLASH memory、各类磁盘等等。
本发明实施例还提供了一种图像处理系统,参照图6所示,包括:
图像传感器61和图像处理器62;其中:
图像传感器61,用于采集多级曝光图像的图像数据,并传输给图像处理器62;
图像处理器62,用于在接收图像传感器61传输过来的图像数据时,确定当前接收的图像数据是否为多级曝光图像中最后一个图像帧的设定行;当确定是时,在继续接收图像数据的过程中,启动已接收图像数据的图像处理过程;向目标机传输处理完成的图像数据。
在一个实施例中,上述图像传感器61,具体用于根据曝光的先后顺序,将多级曝光图像中各图像帧的图像数据依次传输给所述图像处理器;每个图像帧的图像数据流中又依次包含各行的图像数据;或者按行曝光,并根据曝光的先后顺序,将所述多级曝光图像中各对应行的图像数据依次传输给所述图像处理器;所述各对应行是指不同图像帧中的相同行。
上述图像处理系统可以适用于各种对图像传输延时要求较高的场景中,比如应用于无人驾驶系统、远程导航系统、影像辅助医疗系统等,本发明实施例并不限于上述列举的几种应用系统。在实施过程中,可将上述图像处理系统与其他必要的硬件设备进行系统集成即可。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种图像处理及传输方法,其特征在于,包括:
在接收图像数据时,确定当前接收的图像数据是否为多级曝光图像中最后一个图像帧的设定行;
当确定是时,在继续接收图像数据的过程中,启动已接收图像数据的图像处理过程;
传输处理完成的图像数据。
2.如权利要求1所述的方法,其特征在于,所述接收图像数据,包括:
依次接收传输过来的多级曝光图像中各图像帧组成的图像数据流,每个图像帧的图像数据流中又依次包含各行的图像数据;所述各图像帧是按曝光时间先后顺序传输过来的。
3.如权利要求2所述的方法,其特征在于,所述图像处理过程,包括:
从已接收的所述各图像帧的图像数据流中,将相同行进行融合处理,得到处理后的各行的图像数据;
所述传输处理完成的图像数据,包括:
针对每个处理后得到的行,在本行处理完成后即开始传输;或
待所述各图像帧的所有行均处理完成后,将所述所有行作为处理后的图像帧进行传输。
4.如权利要求1所述的方法,其特征在于,所述接收图像数据,包括:
依次接收传输过来的多级曝光图像中各对应行组成的图像数据流;所述各对应行是指多级曝光图像中不同图像帧中的相同行;所述各对应行是按照曝光的时间先后顺序传输过来的。
5.如权利要求4所述的方法,其特征在于,所述图像处理过程,包括:
从已接收的所述各对应行进行融合处理,得到处理后的各行的图像数据;
所述传输处理完成的图像数据,包括:
针对每个处理后得到的行,在本行处理完成后即开始传输;或
待多级曝光图像中各图像帧的所有行均处理完成后,将所述所有行作为处理后的图像帧进行传输。
6.如权利要求1-5任一项所述的方法,其特征在于,所述设定行为第一行。
7.一种图像处理器,其特征在于,包括:
接收模块,用于在接收图像数据时,确定当前接收的图像数据是否为多级曝光图像中最后一个图像帧的设定行;
图像处理模块,用于当所述接收模块确定是时,在所述接收模块继续图像数据的过程中,启动已接收图像数据的图像处理过程;
传输模块,用于传输处理完成的图像数据。
8.如权利要求7所述的图像处理器,其特征在于,所述接收模块,具体用于依次接收传输过来的多级曝光图像中各图像帧组成的图像数据流,每个图像帧的图像数据流中又依次包含各行的图像数据;所述各图像帧是按曝光时间先后顺序传输过来的。
9.如权利要求8所述的图像处理器,其特征在于,所述图像处理模块,具体用于从已接收的所述各图像帧的图像数据流中,将相同行进行融合处理,得到处理后的各行的图像数据;
相应地,所述传输模块,具体用于针对每个处理后得到的行,在本行处理完成后即开始传输;或待所述各图像帧的所有行均处理完成后,将所述所有行作为处理后的图像帧进行传输。
10.如权利要求7所述的图像处理器,其特征在于,所述接收模块,具体用于依次接收传输过来的多级曝光图像中各对应行组成的图像数据流;所述各对应行是指不同图像帧中的相同行;所述各对应行是按照曝光的时间先后顺序传输过来的。
11.如权利要求10所述的图像处理器,其特征在于,所述图像处理模块,具体用于从已接收的所述各对应行进行融合处理,得到处理后的各行的图像数据;
相应地,所述传输模块,具体用于针对每个处理后得到的行,在本行处理完成后即开始传输;或待多级曝光图像中各图像帧的所有行均处理完成后,将所述所有行作为处理后的图像帧进行传输。
12.如权利要求7-11任一项所述的图像处理器,其特征在于,所述设定行为第一行。
13.一种图像处理器,其特征在于,包括:存储器、处理器及存储于存储器上并可在处理器上运行的计算机指令,其特征在于,所述指令被处理器执行时能够实现如权利要求1-6任一项所述的图像处理及传输方法。
14.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-6任一项所述的图像处理及传输方法。
15.一种图像处理系统,其特征在于,包括:图像传感器和图像处理器;其中:
所述图像传感器,用于采集多级曝光图像的图像数据,并传输给所述图像处理器;
所述图像处理器,用于在接收所述图像传感器传输过来的图像数据时,确定当前接收的图像数据是否为多级曝光图像中最后一个图像帧的设定行;当确定是时,在继续接收图像数据的过程中,启动已接收图像数据的图像处理过程;向目标机传输处理完成的图像数据。
16.如权利要求15所述的图像处理系统,其特征在于,所述图像传感器,具体用于根据曝光的先后顺序,将多级曝光图像中各图像帧的图像数据依次传输给所述图像处理器;每个图像帧的图像数据流中又依次包含各行的图像数据;或者按行曝光,并根据曝光的先后顺序,将所述多级曝光图像中各对应行的图像数据依次传输给所述图像处理器;所述各对应行是指不同图像帧中的相同行。
CN201810541724.5A 2018-05-30 2018-05-30 图像处理及传输方法、图像处理器及相关存储介质和系统 Active CN108683866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810541724.5A CN108683866B (zh) 2018-05-30 2018-05-30 图像处理及传输方法、图像处理器及相关存储介质和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810541724.5A CN108683866B (zh) 2018-05-30 2018-05-30 图像处理及传输方法、图像处理器及相关存储介质和系统

Publications (2)

Publication Number Publication Date
CN108683866A true CN108683866A (zh) 2018-10-19
CN108683866B CN108683866B (zh) 2021-02-12

Family

ID=63808993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810541724.5A Active CN108683866B (zh) 2018-05-30 2018-05-30 图像处理及传输方法、图像处理器及相关存储介质和系统

Country Status (1)

Country Link
CN (1) CN108683866B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101878640A (zh) * 2007-11-30 2010-11-03 国立大学法人京都大学 图像噪声去除方法及装置
CN103096101A (zh) * 2011-11-07 2013-05-08 联想(北京)有限公司 视频合成方法、装置及电子设备
JP2014023067A (ja) * 2012-07-20 2014-02-03 Ricoh Imaging Co Ltd 画像合成装置
US20160191158A1 (en) * 2012-12-27 2016-06-30 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
CN106973188A (zh) * 2017-04-11 2017-07-21 北京图森未来科技有限公司 一种图像传输装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101878640A (zh) * 2007-11-30 2010-11-03 国立大学法人京都大学 图像噪声去除方法及装置
CN103096101A (zh) * 2011-11-07 2013-05-08 联想(北京)有限公司 视频合成方法、装置及电子设备
JP2014023067A (ja) * 2012-07-20 2014-02-03 Ricoh Imaging Co Ltd 画像合成装置
US20160191158A1 (en) * 2012-12-27 2016-06-30 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
CN106973188A (zh) * 2017-04-11 2017-07-21 北京图森未来科技有限公司 一种图像传输装置和方法

Also Published As

Publication number Publication date
CN108683866B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
US20240296534A1 (en) Image fusion method and apparatus, electronic device, and readable storage medium
US10348949B2 (en) Synchronization system and method thereof
TWI545388B (zh) 產生全景圖像的系統和方法
US8587684B2 (en) Imaging apparatus, image processing method, and image processing program
US20060050155A1 (en) Video camera sharing
US10846551B2 (en) Video data processing
CN104704808B (zh) 摄像显示系统、摄像装置、摄像方法和程序
CN108322650A (zh) 视频拍摄方法和装置、电子设备、计算机可读存储介质
US11323614B2 (en) Image-processing microprocessor with plug-in from an application processor
CN107220208A (zh) 一种图像处理系统及方法
WO2020103786A1 (zh) 多路视频流生成方法及装置
CN110177212A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR20210070746A (ko) Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치
JP6493454B2 (ja) 電子カメラ
TWI581632B (zh) 影像產生方法及影像拍攝裝置
CN107872558B (zh) 一种智能电子设备、图像处理单元、图像采集装置和图像采集方法
CN108683866A (zh) 图像处理及传输方法、图像处理器及相关存储介质和系统
CN111355882B (zh) 用于调整图像管线设置的方法和系统
JP6664240B2 (ja) 撮像システム並びに撮像装置及びその制御方法
CN116016942A (zh) 一种多路摄像头的图像数据处理方法及相关设备
CN109379535A (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
JP5906846B2 (ja) 電子カメラ
CN109309784B (zh) 移动终端
JP2011040801A (ja) 電子カメラ
CN110661785A (zh) 视频处理方法、装置、系统、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200422

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: TuSimple

GR01 Patent grant
GR01 Patent grant