CN108702443A - 图像处理方法、设备及无人机 - Google Patents

图像处理方法、设备及无人机 Download PDF

Info

Publication number
CN108702443A
CN108702443A CN201780004933.XA CN201780004933A CN108702443A CN 108702443 A CN108702443 A CN 108702443A CN 201780004933 A CN201780004933 A CN 201780004933A CN 108702443 A CN108702443 A CN 108702443A
Authority
CN
China
Prior art keywords
imaging sensor
type information
valid pixel
pixel
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780004933.XA
Other languages
English (en)
Inventor
麻军平
庹伟
张强
曹子晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN108702443A publication Critical patent/CN108702443A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

一种图像处理方法,在进行图像处理时通过依据图像传感器的类型信息将图像传感器输出的多路串行图像信号转换成有效像素,使得图像处理具有通用性,不再局限于固定某一款图像传感器,达到支持多款不同图像传感器的目的,这样,对于数字影像系统而言,只需要开发一套图像处理设备,就可以适配不同款的图像传感器,也能适用于不同应用场景下只需更换图像传感器即可满足应用需求,不需要更换数字影像系统,节省硬件开发成本。另外,还有运行上述图像处理方法的设备,以及搭载该设备的无人机。

Description

图像处理方法、设备及无人机
技术领域
本发明实施例涉及图像处理技术,特别涉及图像处理方法、设备及无人机。
背景技术
数字影像系统,诸如数码相机,数字摄像机,医学成像系统等,主要分为两部分:图像传感器和图像处理设备。图像传感器通过感光把亮度信息转换成电信号输出给图像处理设备。图像处理设备接收图像传感器输出的图像,并进行图像处理、压缩,然后存储至外部存储设备。
数字影像系统种类繁多,有的适用于高帧率,有的适用于高动态范围,有的适用于高分辨率,不同种类的数字影像系统使用不同的图像传感器,一套数字影像系统中的图像处理设备只能适配一款对应的图像传感器,如果更换了图像传感器,意味着需要重新开发一套图像处理设备,大大增加硬件开发成本。
发明内容
本发明实施例提供一种图像处理方法、设备及无人机,以实现同一套图像处理设备适配多款不同的图像传感器,节省硬件开发成本。
本发明实施例的一个方面是提供一种图像处理方法,包括:获取图像传感器的类型信息;获取图像传感器输出的多路串行图像信号;根据所述类型信息将所述多路串行图像信号转换成有效像素;将所述有效像素输出。
本发明实施例的另一个方面是提供一种图像处理设备,其特征在于,包括:接口电路、处理器,所述处理器,用于获取图像传感器的类型信息;所述接口电路,用于:获取图像传感器输出的多路串行图像信号;根据所述类型信息将所述多路串行图像信号转换成有效像素;并将所述有效像素输出。
本发明实施例的另一个方面是提供一种无人机,包括:机身;设置在机身上的动力系统,用于为无人机提供飞行动力;如上描述的所述的图像处理设备。
本实施例提供的图像处理方法、设备及无人机,在进行图像处理时通过依据图像传感器的类型信息将图像传感器输出的多路串行图像信号转换成有效像素,使得图像处理具有通用性,不再局限于固定某一款图像传感器,达到支持多款不同图像传感器的目的,这样,对于数字影像系统而言,只需要开发一套图像处理设备,就可以适配不同款的图像传感器,也能适用于不同应用场景下只需更换图像传感器即可满足应用需求,不需要更换数字影像系统,节省硬件开发成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像处理方法的流程图;
图2为本发明实施例提供的图像传感器输出串行图像信号示意图;
图3为本发明另一实施例提供的图像处理方法的流程图;
图4为本发明实施例提供的串行图像信号延时示意图
图5为本发明另一实施例提供的图像处理方法的流程图;
图6为本发明实施例提供的图像处理设备的结构图;
图7为本发明实施例提供的图像处理设备的具体结构图;
图8为本发明实施例提供的另一图像处理设备的结构图;
图9为本发明实施例提供的另一图像处理设备的结构图;
图10为本发明实施例提供的另一图像处理设备的结构图;
图11为本发明实施例提供的无人机的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
本发明实施例提供了图像处理方法。图1示出了本发明实施例提供的图像处理方法的流程图。如图1所示,本实施例中的方法,可以包括:
步骤101,获取图像传感器的类型信息。
在本发明实施例中,获取图像传感器的类型信息有多种实现方式,下面举例描述两种实现方式:
其中一种获取图像传感器的类型信息的实现方式为:与图像传感器进行通信以获取图像传感器的类型信息。在一个例子中,与图像传感器进行通信以获取图像传感器的类型信息具体可为:通过通信接口向图像传感器发送请求消息以请求图像传感器的类型信息,接收图像传感器返回的携带了图像传感器类型信息的响应消息,从接收的响应消息中获取图像传感器的类型信息。
另一种获取图像传感器的类型信息的实现方式为:接收外部输入的携带了图像传感器类型信息的指令,从接收的指令中获取图像传感器的类型信息。在一个例子中,指令可为管理平台发出的,也可为其他设备输出,本发明实施例并不具体限定。
需要说明的是,上述两种获取图像传感器的类型信息的实现方式只是举例,并非限定如何获取图像传感器的类型信息。
在本发明实施例中,步骤101获取的图像传感器的类型信息可包括图像传感器的身份ID、类型ID、像素的深度、串行图像数据的发送规则中的一种或多种。
步骤102,获取图像传感器输出的多路串行图像信号。
在应用中,不同图像传感器的区别主要在于高速通路的数量不一样、工作频率不一样、数据格式不一样,但共同点是:通过高速通路输出串行图像信号(也称高速串行图像信号)的,因此,一旦与图像传感器正常连接,很容易接收到图像传感器通过多个高速通路输出的串行图像信号(也称高速串行图像信号),即实现了步骤102中获取图像传感器输出的多路串行图像信号的目的。
步骤103,根据所述类型信息将所述多路串行图像信号转换成有效像素。
如图2所示,假如上述步骤102中获取的信号是图像传感器T1输出的多路串行图像信号,则执行到本步骤103时,根据图像传感器T1的类型信息将图像传感器T1输出的多路串行图像信号转换成有效像素;而之后若更换图像传感器T1为图像传感器T2,则上述步骤102中获取的信号就为图像传感器T2输出的多路串行图像信号,执行到本步骤103时,根据图像传感器T2的类型信息将图像传感器T2输出的多路串行图像信号转换成有效像素。
步骤104,将所述有效像素输出。
可以看出,在本发明实施例中,在进行图像处理时,通过根据图像传感器的类型信息自适应地将图像传感器输出的多路串行图像信号转换成有效像素,而非现有按照固定方式进行图像处理,使得不同图像传感器输出的多路串行图像信号转换成的有效像素最终都能正确匹配图像传感器,使得图像处理具有通用性,不再局限于固定某一款图像传感器,达到支持多款不同图像传感器的目的。
应用于本发明实施例,对于数字影像系统而言,只需要开发一套如图1所示的图像处理算法,就可以适配不同款的图像传感器,也能适用于不同应用场景下只需更换图像传感器即可满足应用需求,不需要更换数字影像系统,节省硬件开发成本。
本发明实施例提供一种图像处理方法。图3为本发明另一实施例提供的图像处理方法的流程图。如图3所示,在图1所示实施例的基础上,本实施例中的方法,可以包括:
步骤301,获取图像传感器的类型信息。
本步骤301与上述步骤101类似,不再赘述。
步骤302,获取图像传感器输出的多路串行图像信号。
本步骤302与上述步骤102类似,不再赘述。
步骤303,将获取的多路串行图像信号转换成并行图像数据。
本步骤303和下文的步骤304是上述步骤103中根据类型信息将多路串行图像信号转换成有效像素的具体实现步骤。
至于本步骤303中如何将获取的多路串行图像信号转换成并行图像数据,其可采用现有串行转并行的方法执行,简单描述为:每接收一路串行图像信号,暂时缓存比如缓存至计数器,等所有路的串行图像信号均接收,通过移位操作输出,即得到并行图像数据。将多路串行图像信号转换成并行图像数据,可提高数据传输效率。
在一个优选实施例中,为保证获取到的多路串行图像数据稳定且正确,本步骤303在将获取的串行图像信号转换成并行图像数据之前,调整每一路串行图像信号的延时。
因为不同图像传感器,其要求的延时时间是不同的,基于此,上述调整每一路串行图像信号的延时可根据步骤301获取的图像传感器的类型信息调整。
在本发明实施例中,根据步骤301获取的图像传感器的类型信息调整每一路串行图像信号的延时具体可为:在每一路插入延时器,控制插入的延时器按照图像传感器的类型调整本路串行图像信号的延时。如图4所示,假如图像传感器通过10个通路输出串行图像信号,则图4示出在每一路插入延时器的结构。在一个例子中,延时器有很多种实现方式,比如,简单的逻辑门比如与非门、FIFO或RAM、负时钟驱动DFF、合适的buffer、移位寄存器等。
步骤304,根据图像传感器的类型信息从所述并行图像数据中恢复出有效像素。
不同类型的图像传感器,其输出串行图像信号的方式不同,而不同图像传感器输出串行图像信号的方式不同,会引起从由不同图像传感器输出的多路串行图像信号转换成的并行图像数据中恢复出有效像素的方式也不同,基于此,本步骤304中,需要根据图像传感器的类型信息确定出与图像传感器对应的恢复有效像素的方式,根据确定出的方式从并行图像数据中恢复出有效像素。可以看出,本步骤304中依据图像传感器的类型信息恢复出的有效像素的方式能够自适应地实现将不同图像传感器输出的多路串行图像信号转换成有效像素,而非现有固定方式进行图像处理,使得图像处理具有通用性,不再局限于固定某一款图像传感器,达到支持多款不同图像传感器的目的。
不同类型的图像传感器,其要求的像素深度不一样,为了保证最终恢复出的有效像素与当前接入的图像传感器要求的像素深度匹配,在本发明一个实施例中,步骤304中根据图像传感器的类型信息从所述并行图像数据中恢复出有效像素述并行图像数据中恢复出有效像素可包括:根据所述类型信息确定图像传感器的有效像素的深度;根据所述有效像素的深度从所述并行图像数据中恢复有效像素。比如,确定出的图像传感器要求的有效像素的深度为24位(bit),则根据所述有效像素的深度从所述并行图像数据中恢复有效像素具体为:以有效像素的深度为24位(bit)的原则从所述并行图像数据中恢复有效像素,最终恢复出的各个有效像素均为24bit。
图像传感器输出的每一路串行图像信号中都携带图像传感器对应的同步字符,这里的同步字符至少包括开始同步字符、结束同步字符中的一种。不同图像传感器对应的开始同步字符、结束同步字符不同。基于此,在本发明另一实施例中,上述步骤304中根据类型信息从并行图像数据中恢复出有效像素可包括:根据图像传感器的类型信息确定与图像传感器的同步字符;搜索并行图像数据中的同步字符;根据搜索到的同步字符从并行图像数据中恢复成有效像素。以搜索到的同步字包括开始同步字符为例,假如确定的图像传感器的有效像素的深度为24bit,则从并行图像数据中搜索第一个开始同步字符,紧跟着搜索到的第一个开始同步字符的各字符就按照深度为24bit的原则组织成像素,当搜索到第二个开始同步字符时,紧跟着搜索到的第二个开始同步字符的各字符按照深度为24bit的原则组织成像素,依次类推,最终根据搜索到的同步字符从并行图像数据中恢复成有效像素。
在本发明又一实施例中,上述步骤304中根据类型信息从并行图像数据中恢复出有效像素可包括:根据类型信息确定图像传感器的有效像素的深度和图像传感器对应的同步字符,根据确定出的图像传感器的有效像素的深度和图像传感器对应的同步字符从所述并行图像数据中恢复出有效像素。下面以图像传感器对应的同步字符包括开始同步字符和结束同步字符为例,举例描述如何根据确定出的图像传感器的有效像素的深度和图像传感器对应的同步字符从所述并行图像数据中恢复出有效像素:
假如一对开始同步字符和结束同步字符之间的字符数量正好是图像传感器的有效像素的深度的整数倍,比如,确定的图像传感器的有效像素的深度为24bit,一对开始同步字符和结束同步字符之间的字符数量为240,则从并行图像数据中搜索开始同步字符(以搜索到第一个开始同步字符为例),将紧跟着搜索到的第一个开始同步字符的前24个字符组织为一个像素,依次类推,最终第一个开始同步字符与第一个结束同步字符之间的240个字符组织为10个像素。
再假如一对开始同步字符和结束同步字符之间的字符数量并非是图像传感器的有效像素的深度的整数倍,比如,确定的图像传感器的有效像素的深度为24bit,一对开始同步字符和结束同步字符之间的字符数量为100,则从并行图像数据中搜索开始同步字符(以搜索到第一个开始同步字符为例),将紧跟着搜索到的第一个开始同步字符的前24个字符组织为一个像素,依次类推,最终会剩余4个字符。此时,可将剩余的4个字符,与搜索的第二个开始同步字符后的20个字符组织为一个像素,依次类推。
步骤305,将有效像素输出。
步骤305类似步骤104描述,不再赘述。
可以看出,在本发明实施例中,在进行图像处理时,先根据图像传感器的类型信息调整每一路串行图像信号的延时,保证每一路串行图像信号的稳定接收,再将接收的多路串行图像信号转换成并行图像数据,以提高后续数据输出的效率,最后根据图像传感器的类型信息、图像传感器的同步字符和图像传感器的有效像素的深度从并行图像数据中恢复有效像素,自适应地实现将不同图像传感器输出的多路串行图像信号转换成有效像素,而非现有固定方式进行图像处理,使得图像处理具有通用性,不再局限于固定某一款图像传感器,达到支持多款不同图像传感器的目的。
应用于本发明实施例,对于数字影像系统而言,只需要开发一套如图3所示的图像处理算法,就可以适配不同款的图像传感器,也能适用于不同应用场景下只需更换图像传感器即可满足应用需求,不需要更换数字影像系统,节省硬件开发成本。
本发明实施例提供一种图像处理方法。图5为本发明再一实施例提供的图像处理方法的流程图。如图5所示,在图1所示实施例的基础上,本实施例中的方法,可以包括:
步骤501,获取图像传感器的类型信息。
步骤501的描述类似步骤101的描述,不再赘述。
步骤502,获取图像传感器输出的多路串行图像信号。
步骤502的描述类似步骤102的描述,不再赘述。
步骤503,根据所述类型信息将所述多路串行图像信号转换成有效像素。
步骤502的描述类似步骤103的描述,不再赘述。
步骤504,根据所述类型信息对恢复得到的有效像素进行整理,按顺序输出有效像素。
不同类型的图像传感器,其输出串行图像信号的方式不同,恢复有效像素的方式不同,最终恢复得到的有效像素的顺序可能也不同。这里的有效像素的顺序是指恢复得到的像素在存储单元比如存储器、缓存器等中的存放顺序。
基于此,本步骤504中在将有效像素输出前需要根据所述类型信息对恢复得到的有效像素进行整理,以保证最终有效像素是按照顺序输出,进一步地按照图像处理电路要求的顺序输出,即保证有效像素的输出顺序是与图像处理电路的要求的输入顺序匹配。
具体地,本步骤504中,根据所述类型信息对恢复得到的有效像素进行整理可为:先根据图像传感器的类型信息确定与图像传感器对应的有效像素整理的方式,根据确定出的方式对恢复得到的有效像素进行整理,保证了整理后的像素能够按照顺序输出。
在本发明实施例中,图像传感器对应的有效像素整理的方式与图像传感器的串行图像信号的发送规则相关,基于此,作为一个实施例,步骤504中根据所述类型信息对恢复得到的有效像素进行整理包括:根据所述类型信息确定图像传感器的串行图像信号的发送规则;根据所述发送规则对恢复得到的有效像素进行整理。
不同图像传感器,其针对串行图像信号的发送规则是不同的。这里的发送规则具体可包括:图像传感器有几个数据通路输出串行图像信号,图像传感器的像素排列顺序是怎么排列的。当确定出图像传感器的串行图像信号的发送规则,就可以根据所述发送规则对恢复得到的有效像素按顺序排列。比如,确定的图像传感器的有效像素的深度为24bit,图像传感器有24个数据通路输出串行图像信号,图像传感器的像素排列顺序是:同一个像素中的24个字符是在同一个数据通路中输出,如此,按照数据通路的先后顺序将从各个数据通路的串行图像信号中恢复得到的有效像素按照顺序排列并输出。
本发明实施例中,在进行图像输出时,根据图像传感器的类型信息对恢复得到的有效像素进行整理,按顺序输出有效像素,自适应地实现将不同图像传感器输出的多路串行图像信号转换成的有效像素进行整理并按顺序输出,这也使得图像处理具有通用性,不再局限于固定某一款图像传感器,达到支持多款不同图像传感器的目的。
应用于本发明实施例,对于数字影像系统而言,只需要开发一套如图5所示的图像处理算法,就可以适配不同款的图像传感器,也能适用于不同应用场景下只需更换图像传感器即可满足应用需求,不需要更换数字影像系统,节省硬件开发成本。
本发明实施例提供一种图像处理方法。在图1、3、5所示实施例的基础上,本实施例中的方法,还可以包括:根据图像传感器的类型信息确定需要运行的驱动程序;运行所述驱动程序对图像传感器进行控制。
根据图像传感器的类型信息确定需要运行的驱动程序有很多实现方式,下面列举一种实现方式:预先安装不同图像传感器的驱动程序,当如上描述的步骤101获取到当前接入的图像传感器的类型信息时,这里根据图像传感器的类型信息确定需要运行的驱动程序可包括:从预先安装的不同驱动程序中找到图像传感器的类型信息对应的驱动程序。比如,预先安装了如下3款传感器:1A、1B和1C的驱动程序,假如如上描述的步骤101获取到当前接入的图像传感器的类型信息为1A的类型信息,则从预先安装的所有驱动程序中找到1A的驱动程序并运行,即可对1A进行控制。
本发明实施例提供一种图像处理方法。在图1、3、5所示实施例的基础上,本实施例中的方法,还可以包括:对接收到的有效像素进行预设处理。这里的预设处理主要是依据基于需求而设的图像处理算法执行的。在一个例子中,图像处理算法可为去坏点、白平衡、伽马校正、自动曝光中的一种或多种。
本发明实施例提供一种图像处理方法。在图1、3、5所示实施例的基础上,本实施例中的方法,还可以包括:对所述预设处理后的有效像素进行编码。之后,可将编码后得到的视频流存入外部存储设备。在一个例子中,外部存储设备可为sd卡、CF卡中的一种。
以上对本发明实施例提供的图像处理方法进行了描述。需要说明的是,在本发明实施例中,可以基于FPGA具有的可编程性通过给FPGA烧写不同的编程文件,在兼容多款图像传感器的前提下实现图1、3、5所示的流程。比如,使用图像传感器A时,在FPGA中烧写一套图像传感器A的固件,以实现图1、3、5所示的流程,使用图像传感器B时,在FPGA中烧写一套图像传感器B的固件,以实现图1、3、5所示的流程,实现支持不同型号的图像传感器。
下面对本发明实施例提供的图像处理设备进行描述:
本发明实施例提供一种图像处理设备。本发明实施例提供的图像处理设备与图像传感器分离开。作为一个实施例,本发明实施例提供的图像处理设备可为专用芯片或可编程器件。
可选地,专用芯片为专用集成电路(ASIC)芯片。
所述可编程器件为现场可编程门阵列(FPGA)或者复杂可编程逻辑器件(CPLD)。
图6示出了本发明实施例提供的图像处理设备的结构图。如图6所示,本实施例中的图像处理设备600,可以包括:处理器601、接口电路602。
图6示出的图像处理设备600与外部的图像处理器(记为603)交互,图7示出了交互的示意图。
在本发明实施例中,处理器601,用于获取图像传感器603的类型信息。
在本发明实施例中,处理器601获取图像传感器603的类型信息包括图像传感器的身份ID、类型ID、像素的深度、串行图像数据的发送规则中的一种或多种。
当处理器601获取到图像传感器603的类型信息后,其会告知给接口电路602。
接口电路602,用于:
获取图像传感器603输出的多路串行图像信号;
根据所述类型信息将所述多路串行图像信号转换成有效像素;
并将所述有效像素输出。
本发明实施例提供的图像处理设备的具体原理和实现方式均与图1所示实施例类似,此处不再赘述。
在本发明实施例中,在进行图像处理时,通过根据图像传感器的类型信息自适应地将图像传感器输出的多路串行图像信号转换成有效像素,而非现有固定方式进行图像处理,使得不同图像传感器输出的多路串行图像信号转换成的有效像素最终都能正确匹配图像传感器,使得图像处理具有通用性,不再局限于固定某一款图像传感器,达到支持多款不同图像传感器的目的。
应用于本发明实施例,对于数字影像系统而言,只需要开发一套如图6所示的图像处理算法,就可以适配不同款的图像传感器,也能适用于不同应用场景下只需更换图像传感器即可满足应用需求,不需要更换数字影像系统,节省硬件开发成本。
本发明实施例提供一种图像处理设备。在图6所示实施例提供的技术方案的基础上,接口电路602包括转换电路602a和像素恢复电路602b,具体如图8所示。
转换电路602a,用于将所述多路串行图像数据转换成并行图像数据;
像素恢复电路602b,用于根据所述类型信息从所述并行图像数据中恢复出有效像素。
可选地,转换电路602a,还用于在将所述多路串行图像数据转换成并行图像数据之前,根据类型信息调整每一路串行图像信息的延时。
作为一个实施例,像素恢复电路602b,具体用于:根据类型信息确定图像传感器的有效像素的深度;根据所述有效像素的深度从所述并行图像数据中恢复有效像素。
作为另一个实施例,像素恢复电路602b,具体用于:根据所述类型信息确定与图像传感器的同步字符;搜索所述并行图像数据中的同步字符;根据搜索到的同步字符从所述并行图像数据中恢复成有效像素。可选地,所述同步字符至少包括开始同步字符、结束同步字符中的一种。
本发明实施例提供的图像处理设备的具体原理和实现方式均与图3所示实施例类似,此处不再赘述。
在本发明实施例中,在进行图像处理时,先根据图像传感器的类型信息调整每一路串行图像信号的延时,保证每一路串行图像信号的稳定接收,再将接收的多路串行图像信号转换成并行图像数据,以提高后续数据输出的效率,最后根据图像传感器的类型信息、图像传感器的同步字符和图像传感器的有效像素的深度从并行图像数据中恢复有效像素,自适应地实现将不同图像传感器输出的多路串行图像信号转换成有效像素,而非现有固定方式进行图像处理,使得图像处理具有通用性,不再局限于固定某一款图像传感器,达到支持多款不同图像传感器的目的。
应用于本发明实施例,对于数字影像系统而言,只需要开发一套如图3所示的图像处理算法,就可以适配不同款的图像传感器,也能适用于不同应用场景下只需更换图像传感器即可满足应用需求,不需要更换数字影像系统,节省硬件开发成本。
本发明实施例提供一种图像处理设备。在图6所示实施例提供的技术方案的基础上,接口电路602还包括像素整理电路602c,具体如图9所示。
像素整理电路602c,用于根据所述类型信息对恢复得到的有效像素进行整理,按顺序输出有效像素。
可选地,像素整理电路602c,具体用于:根据所述类型信息确定图像传感器的串行图像数据的发送规则;根据所述发送规则对对恢复得到的有效像素进行整理。
本发明实施例提供的图像处理设备的具体原理和实现方式均与图5所示实施例类似,此处不再赘述。
在本发明实施例中,在进行图像输出时,根据图像传感器的类型信息对恢复得到的有效像素进行整理,按顺序输出有效像素,自适应地实现将不同图像传感器输出的多路串行图像信号转换成的有效像素进行整理并按顺序输出,这也使得图像处理具有通用性,不再局限于固定某一款图像传感器,达到支持多款不同图像传感器的目的。
应用于本发明实施例,对于数字影像系统而言,只需要开发一套如图5所示的图像处理算法,就可以适配不同款的图像传感器,也能适用于不同应用场景下只需更换图像传感器即可满足应用需求,不需要更换数字影像系统,节省硬件开发成本。
本发明实施例提供一种图像处理设备。在图6所示实施例提供的技术方案的基础上,图像处理设备600还包括:图像处理电路604、编码电路605,具体如图10所示。
图像处理电路604,用于对接收到的有效像素进行预设处理。
可选地,所述预设处理包括去坏点、白平衡、伽马校正中的一种或多种。
编码电路605,用于对所述预设处理后的有效像素进行编码。
本发明实施例提供一种图像处理设备。在图6所示实施例提供的技术方案的基础上,处理器601,还用于:根据类型信息确定需要运行的驱动程序;运行所述驱动程序对所述图像传感器进行控制。
本发明实施例提供一种无人机。图11为本发明实施例提供的无人机的结构图,如图11所示,无人机700包括:机身701、动力系统702和如上描述的图像处理设备600。
动力系统702安装在所述机身,用于提供飞行动力。动力系统702包括如下至少一种:电机703、螺旋桨704和电子调速器705。
图像处理设备600的具体原理和实现方式均与上述实施例类似,此处不再赘述。
另外,如图11所示,无人机700还包括:支撑设备706、拍摄设备707。其中,支撑设备706具体可以是云台,拍摄设备707可以是摄像头,摄像头中可以包括图像传感器。
在本发明实施例中,在进行图像处理时,通过根据图像传感器的类型信息自适应地将图像传感器输出的多路串行图像信号转换成有效像素,而非现有固定方式进行图像处理,使得不同图像传感器输出的多路串行图像信号转换成的有效像素最终都能正确匹配图像传感器,使得图像处理具有通用性,不再局限于固定某一款图像传感器,达到支持多款不同图像传感器的目的。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (27)

1.一种图像处理方法,其特征在于,包括:
获取图像传感器的类型信息;
获取图像传感器输出的多路串行图像信号;
根据所述类型信息将所述多路串行图像信号转换成有效像素;
将所述有效像素输出。
2.根据权利要求1所述的方法,其特征在于,所述根据类型信息将所述多
路串行图像信号转换成有效像素包括:
将所述多路串行图像信号转换成并行图像数据;
根据所述类型信息从所述并行图像数据中恢复出有效像素。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在将所述多路串行图像信号转换成并行图像数据之前,根据所述类型信息调整每一路串行图像信号的延时。
4.根据权利要求2或3所述的方法,其特征在于,所述根据类型信息从所述并行图像数据中恢复出有效像素包括:
根据所述类型信息确定图像传感器的有效像素的深度;
根据所述有效像素的深度从所述并行图像数据中恢复有效像素。
5.根据权利要求2-4任一项所述的方法,其特征在于,所述根据类型信息从所述并行图像数据中恢复出有效像素包括:
根据所述类型信息确定与图像传感器的同步字符;
搜索所述并行图像数据中的同步字符;
根据搜索到的同步字符从所述并行图像数据中恢复成有效像素。
6.根据权利要求5所述的方法,其特征在于,
所述同步字符至少包括开始同步字符、结束同步字符中的一种。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述将所述有效像素输出包括:
根据所述类型信息对恢复得到的有效像素进行整理,按顺序输出有效像素。
8.根据权利要求7所述的方法,其特征在于,所述根据所述类型信息对恢复得到的有效像素进行整理包括:
根据所述类型信息确定图像传感器的串行图像信号的发送规则;
根据所述发送规则对恢复得到的有效像素进行整理。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述方法还包括:
根据类型信息确定需要运行的驱动程序;
运行所述驱动程序对所述图像传感器进行控制。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
对接收到的有效像素进行预设处理。
11.根据权利要求所述的方法,其特征在于,
所述预设处理包括去坏点、白平衡、伽马校正中的一种或多种。
12.根据权利要求10或11所述的方法,其特征在于,所述方法还包括:
对所述预设处理后的有效像素进行编码。
13.根据权利要求1-12任一项所述的方法,其特征在于,
所述类型信息包括图像传感器的身份ID、类型ID、像素的深度、串行图像数据的发送规则中的一种或多种。
14.一种图像处理设备,其特征在于,包括:接口电路、处理器,
所述处理器,用于获取图像传感器的类型信息;
所述接口电路,用于:
获取图像传感器输出的多路串行图像信号;
根据所述类型信息将所述多路串行图像信号转换成有效像素;
并将所述有效像素输出。
15.根据权利要求14所述的设备,其特征在于,所述接口电路包括转换电路和像素恢复电路,
所述转换电路,用于将所述多路串行图像数据转换成并行图像数据;
所述像素恢复电路,用于根据所述类型信息从所述并行图像数据中恢复出有效像素。
16.根据权利要求15所述的设备,其特征在于,
所述转换电路,还用于在将所述多路串行图像数据转换成并行图像数据之前,根据类型信息调整每一路串行图像信息的延时。
17.根据权利要求14或15所述的设备,其特征在于,所述像素恢复电路,具体用于:
根据类型信息确定图像传感器的有效像素的深度;
根据所述有效像素的深度从所述并行图像数据中恢复有效像素。
18.根据权利要求15-17任一项所述的设备,其特征在于,
所述像素恢复电路,还用于:
根据所述类型信息确定与图像传感器的同步字符;
搜索所述并行图像数据中的同步字符;
根据搜索到的同步字符从所述并行图像数据中恢复成有效像素。
19.根据权利要求18所述的设备,其特征在于,
所述同步字符至少包括开始同步字符、结束同步字符中的一种。
20.根据权利要求14至19任一项所述的设备,其特征在于,所述接口电路包括像素整理电路,
所述像素整理电路,用于根据所述类型信息对恢复得到的有效像素进行整理,按顺序输出有效像素。
21.根据权利要求20所述的设备,其特征在于,
所述像素整理电路,具体用于:
根据所述类型信息确定图像传感器的串行图像数据的发送规则;
根据所述发送规则对对恢复得到的有效像素进行整理。
22.根据权利要求14-21任一项所述的设备,其特征在于,
所述处理器,还用于:
根据类型信息确定需要运行的驱动程序;
运行所述驱动程序对所述图像传感器进行控制。
23.根据权利要求14-22任一项所述的设备,其特征在于,所述设备还包括图像处理电路,
所述图像处理电路,用于对接收到的有效像素进行预设处理。
24.根据权利要求23所述的设备,其特征在于,所述预设处理包括去坏点、白平衡、伽马校正中的一种或多种。
25.根据权利要求22或23所述的设备,其特征在于,所述设备还包括编码电路,所述编码电路,用于对所述预设处理后的有效像素进行编码。
26.根据权利要求14-25任一项所述的设备,其特征在于,
所述类型信息包括图像传感器的身份ID、类型ID、像素的深度、串行图像数据的发送规则中的一种或多种。
27.一种无人机,包括:
机身;
设置在机身上的动力系统,用于为无人机提供飞行动力;
权利要求14-26任一项所述的设备。
CN201780004933.XA 2017-08-24 2017-08-24 图像处理方法、设备及无人机 Pending CN108702443A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/098810 WO2019037022A1 (zh) 2017-08-24 2017-08-24 图像处理方法、设备及无人机

Publications (1)

Publication Number Publication Date
CN108702443A true CN108702443A (zh) 2018-10-23

Family

ID=63843754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780004933.XA Pending CN108702443A (zh) 2017-08-24 2017-08-24 图像处理方法、设备及无人机

Country Status (3)

Country Link
US (1) US20200193135A1 (zh)
CN (1) CN108702443A (zh)
WO (1) WO2019037022A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395496A (zh) * 2020-09-28 2021-09-14 腾讯科技(深圳)有限公司 图像处理装置、图像处理方法、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116043A (ja) * 2001-10-05 2003-04-18 Matsushita Electric Ind Co Ltd 撮像装置
CN1574885A (zh) * 2003-06-23 2005-02-02 三星电机株式会社 在图象传感器和图象处理器之间进行接口的装置和方法
CN102480601A (zh) * 2010-11-22 2012-05-30 佳能株式会社 图像拾取系统及其控制方法
CN105306882A (zh) * 2014-07-01 2016-02-03 安讯士有限公司 找出处理单元连接的传感器单元使用的设置的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3771368B2 (ja) * 1998-01-30 2006-04-26 ローム株式会社 イメージセンサチップの配置方法およびこの配置方法を用いた画像読み取り装置
JP4641926B2 (ja) * 2005-10-31 2011-03-02 ルネサスエレクトロニクス株式会社 画像処理用半導体集積回路
JP5258372B2 (ja) * 2008-05-08 2013-08-07 キヤノン株式会社 撮像装置及びその制御方法
JP2009225478A (ja) * 2009-07-07 2009-10-01 Sony Corp 固体撮像素子の駆動方法並びに固体撮像装置およびカメラシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116043A (ja) * 2001-10-05 2003-04-18 Matsushita Electric Ind Co Ltd 撮像装置
CN1574885A (zh) * 2003-06-23 2005-02-02 三星电机株式会社 在图象传感器和图象处理器之间进行接口的装置和方法
CN102480601A (zh) * 2010-11-22 2012-05-30 佳能株式会社 图像拾取系统及其控制方法
CN105306882A (zh) * 2014-07-01 2016-02-03 安讯士有限公司 找出处理单元连接的传感器单元使用的设置的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395496A (zh) * 2020-09-28 2021-09-14 腾讯科技(深圳)有限公司 图像处理装置、图像处理方法、电子设备以及存储介质
CN113395496B (zh) * 2020-09-28 2024-03-29 腾讯科技(深圳)有限公司 图像处理装置、图像处理方法、电子设备以及存储介质

Also Published As

Publication number Publication date
WO2019037022A1 (zh) 2019-02-28
US20200193135A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
CN102956027B (zh) 基于摄像头图像处理芯片的图像增强处理系统及处理方法
CN111340131B (zh) 图像的标注方法、装置、可读介质和电子设备
US9602710B2 (en) Automated parameter optimization for an image shooting system
CN106303269A (zh) 图像采集控制方法和装置、图像采集设备
CN106845470A (zh) 地图数据采集方法和装置
CN111047008B (zh) 一种卷积神经网络加速器及加速方法
CN105959620A (zh) 一种全景视频的同步显示方法及设备
CN105516542A (zh) 基于硬件编码器的多通道视频同步系统及其同步方法
CN114745514B (zh) 视频信号扩展方法、装置、计算机设备及存储介质
RU2013102854A (ru) Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой
CN112703689A (zh) 一种数据传输方法、装置、电子设备和存储介质
CN103049413A (zh) 基于FC与Camlink总线的数据转换与传输方法
CN108702443A (zh) 图像处理方法、设备及无人机
WO2022068631A1 (zh) 图片转视频的方法、装置、设备及存储介质
CN109919218A (zh) 混合连接的多任务fcn模型系统
CN104935885A (zh) 一种基于axi总线的可扩展多路图像采集装置
CN111432384B (zh) 用于具有录音功能设备的大数据量音频蓝牙实时传输方法
CN117036190A (zh) 图像去噪方法、装置及电子设备
EP4340374A1 (en) Picture quality adjustment method and apparatus, and device and medium
CN109672869A (zh) 一种分时复用图像处理装置、方法以及电子设备
CN202713455U (zh) 一种视频信号处理装置
CN115905067A (zh) 数据传输控制方法、芯片、装置及存储介质
CN109688314B (zh) 低延时少缓存且数据输出方式可控的摄像头系统及方法
CN113538269A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN112995557B (zh) 多通道影像的并行处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181023