CN107066987B - 摄像头数据直接传给gpu处理的方法 - Google Patents

摄像头数据直接传给gpu处理的方法 Download PDF

Info

Publication number
CN107066987B
CN107066987B CN201710281122.6A CN201710281122A CN107066987B CN 107066987 B CN107066987 B CN 107066987B CN 201710281122 A CN201710281122 A CN 201710281122A CN 107066987 B CN107066987 B CN 107066987B
Authority
CN
China
Prior art keywords
data
gpu
processing
transmitted
directly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710281122.6A
Other languages
English (en)
Other versions
CN107066987A (zh
Inventor
胡明建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710281122.6A priority Critical patent/CN107066987B/zh
Publication of CN107066987A publication Critical patent/CN107066987A/zh
Application granted granted Critical
Publication of CN107066987B publication Critical patent/CN107066987B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

摄像头数据直接传给GPU处理的设计方法，这技术领域是属于计算机、人工智能和机器人视觉处理技术领域，主要的技术是把摄像头的数据直接传递给GPU，而不是把数据传递给内存，然后通过CPU处理，传递给GPU进行计算，把摄像头的数据直接传递给GPU大大的提高了对摄像头数据的处理速度，对以后的智能视频图像处理，人工智能的发展，机器人的发展等等领域，会产生巨大作用。

Description

摄像头数据直接传给GPU处理的方法
技术领域
摄像头数据直接传给GPU处理的设计方法，这技术领域是属于计算机、人工智能和机器人视觉处理技术领域，主要的技术是把摄像头的数据直接传递给GPU，而不是把数据传递给内存，然后通过CPU处理，传递给GPU进行计算，把摄像头的数据直接传递给GPU大大的提高了对摄像头数据的处理速度，对以后的智能视频图像处理，人工智能的发展，机器人的发展等等领域，会产生巨大作用。
背景技术
现在的摄像头一般的连接方法有USB，并口连接，CSI连接，USB接口摄像头的工作原理大致为：景物通过镜头(LENS)生成的光学图像投射到图像传感器表面上，然后转为电信号，经过A/D(模数转换)转换后变为数字图像信号，再送到数字信号处理芯片(DSP)中加工处理，再通过USB接口传输到电脑的接口缓存，然后传给内存，再显示到显示屏上，这样的设计存在着2大缺点，1.这样的设计只能进行2根线传输数据，速度比较慢，2.数据要经过缓存和内存，速度比较慢，这样的数据一般不需要GPU加速作为一般视频使用，如果要通过GPU进行处理，那么就要把内存的数据倒入显存，然后写入线程的寄存器，这样十分麻烦，并且接口的速度更加的慢了，CSI接口的设计，大大的提高了数据传输的能了，也可以进行多路传输，但这样的传输路径一般是摄像头传出差分数据，然后通过CSI接口把数据传给SOC上的微分电路，然后通过AD转换，把模拟信号转变成数字信号，再存入寄存器，然后把这些数据传给ISP进行处理，再传给内存，再把内存的数据传给显存，然后进行运算，虽然这样的方法处理的速度相对比较快，而且经过ISP处理后图片的效果也可以，可是要把这样的设计用于更高层次的智能设备，就显得十分差劲了，1它要多次的调用存储器，2.根本没有办法直接把GPU寄存器的数据直接转到ISP里，因此有了本发明的设计方法。
发明内容
由于人工智能和机器人的快速发展，要求处理的信息速度要求越来越快，这样对摄像头提出更高的要求，因为摄像头如同人的眼睛，人对外部的信息传入，有大于百分之八十来自眼睛的输入，因此摄像头对人工智能和机器人十分重要，当然要设计处理图片的速度越快越好，因此产生了本发明，摄像头数据直接传给GPU处理的设计方法，其特征是，把摄像头的每一个像素的电压扫描出来，然后直接通过AD转换，把它们变成数字数据，这其中对像素的读出有很多方法，最重要的是分块读出，就是最大限度的设计AD转换器的个数，每个AD转换器平均管多少个像素，这样最快速度的把总像素读完，然后把AD转换后的数据，通过2种方法直接传递给GPU的寄存器，一种方法是直接传递给GPU的寄存器，另一种方法是把AD转换的数据先传给ISP，然后经过ISP处理，把处理后的数据直接传递给GPU，这样的设计就是把数据不经过计算机的内存，也不经过GPU的显存，由于摄像头的像素越来越大，因此数据越来越大，并且处理的方法十分简单，因此不需要通过内存调用，直接用GPU处理十分合适，并且人工智能或机器人对外部信息的识别，主要还是通过各种各样的摄像头，因此提高摄像头的处理能力是十分关键的，其中包括这样的技术，把AD转换后的数据直接传给GPU，让GPU快速的处理数据，GPU把处理好的数据直接加以使用，并直接把处理后的这些数据加以利用或保存，另一种使用方法把数据直接传给GPU寄存器并设置各种特定信息的阈值，如果这时GPU处理的的数据的变化率大于这些阈值数值时，需要对这些数据进行预处理，就让数据先传递给ISP，让ISP处理数据，然后传给GPU再处理，处理完后把需要保存的数据保存起来，再一种处理的方法是把AD转换的数据输入ISP，经过数据处理以后，把数据从ISP传给GPU寄存器，经过GPU处理后，直接使用或保存起来再用，上面这几种方法根据程序和数据的特性智能的进行选择，并且把不同方法的数据进行比较运算，得到想要的数据，进行最有效的处理数据。
附图说明
图1是现有的设计方法，1.2代表摄像头，当然不一定只有2个，可以根据设计需求安装多少个，3代表SCL，4代表SDA，5代表I2C，6代表HOST接口器，7代表摄像头连接交换器，8代表AD转换，这里也要根据设计要求设计多个AD转换器，9代表视频输入设备，10代表ISP1，11代表ISP2，这也可以设计多个ISP，12代表内存，13代表CPU，14代表显存，15.16代表显存，这里有很多的显存，因为画不下只能画2个代表，17.18.19.20代表寄存器，这里有很多的寄存器，因为画不下只能画2个代表，21.22.23.24代表处理单元，也就是核，这里有很多的处理单元，因为画不下只能画2个代表，图2是摄像头数据直接传给GPU处理设计方法的结构图，1.2代表摄像头，当然不一定只有2个，可以根据设计需求安装多少个，3代表SCL，4代表SDA，5代表I2C，6代表HOST接口器，7代表摄像头连接交换器，8代表AD转换，这里也要根据设计要求设计多个AD转换器，9代表视频输入设备，10代表ISP1，11代表ISP2，这也可以设计多个ISP，12代表内存，13代表CPU，14代表显存，15.16代表显存，这里有很多的显存，因为画不下只能画2个代表，17.18.19.20代表寄存器，这里有很多的寄存器，因为画不下只能画2个代表，21.22.23.24代表处理单元，也就是核，这里有很多的处理单元，因为画不下只能画2个代表，25代表直接把AD转换后的数据直接传递给GPU的寄存器，26.27代表ISP和GPU寄存器的数据直接交换。
具体实施方式
打开计算机，摄像头就输入电源，进行寄存器设计，给摄像头设定频率，这样摄像头就可以把数据读出来，这读数据的设计有很多种，当然设计的方法是让数据进行分块读出，这样有利于多个AD转换器同时进行转换，十分有利于后期对数据进行粗细度的处理，这样十分有利于快速，细致的，正确的处理数据，然后把AD转换的数据直接输入GPU的寄存器，进行对原始数据进行运算，这样的好处是十分快，如果这时处理的数据没有达到设定的要求，那么就把数据先传给ISP处理，然后再传给GPU处理，或者可以先直接进行GPU处理，对有用的数据进行保存，那么就把处理过的数据存入内存，然后通过ISP处理再保存，或再调到GPU里进行处理，这样就十分快的处理好数据，使处理的速度达到最快，或者先进行ISP处理，再GPU处理，上面这几种方法根据程序和数据的特性智能的进行选择，进行最有效的处理数据。

Claims (1)

1.一种摄像头数据传给GPU处理的方法，其特征在于，把摄像头的每一个像素的电压扫描出来，然后直接通过AD转换，把它们变成数字数据，再分块读出，最大限度的设计AD转换器的个数，每个AD转换器平均管多少个像素，以最快速度把总像素读完，然后把AD转换后的数据，通过以下3种方式直接传递给GPU的寄存器，一种方法是直接传递给GPU的寄存器；另一种方法是把AD转换的数据先传给ISP，然后经过ISP处理，把处理后的数据直接传递给GPU，把AD转换后的数据直接传给GPU，让GPU快速的处理数据，GPU把处理好的数据直接加以使用，并直接把处理后的这些数据加以利用或保存；还有一种使用方法把数据直接传给GPU寄存器并设置各种特定信息的阈值，如果这时GPU处理的的数据的变化率大于这些阈值数值时，需要对这些数据进行预处理，就让数据先传递给ISP，让ISP处理数据，然后传给GPU再处理，处理完后把需要保存的数据保存起来；上面这几种方法根据程序和数据的特性智能的进行选择，并且把不同方法的数据进行比较运算，得到想要的数据，进行最有效的处理数据；人工智能或机器人对外部信息的识别，主要还是通过各种各样的摄像头，因此提高摄像头的处理能力是十分关键的，这样的设计就是把数据不经过计算机的内存，也不经过GPU的显存，摄像头的像素越来越大，数据越来越大，但处理的方法十分简单，不需要通过内存调用，直接用GPU处理十分合适。
CN201710281122.6A 2017-04-26 2017-04-26 摄像头数据直接传给gpu处理的方法 Expired - Fee Related CN107066987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710281122.6A CN107066987B (zh) 2017-04-26 2017-04-26 摄像头数据直接传给gpu处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710281122.6A CN107066987B (zh) 2017-04-26 2017-04-26 摄像头数据直接传给gpu处理的方法

Publications (2)

Publication Number Publication Date
CN107066987A CN107066987A (zh) 2017-08-18
CN107066987B true CN107066987B (zh) 2020-12-15

Family

ID=59605460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710281122.6A Expired - Fee Related CN107066987B (zh) 2017-04-26 2017-04-26 摄像头数据直接传给gpu处理的方法

Country Status (1)

Country Link
CN (1) CN107066987B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873158A (zh) * 2021-09-30 2021-12-31 联想(北京)有限公司 一种电子设备及其控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857712A (zh) * 2011-06-09 2013-01-02 苹果公司 具有高动态范围捕捉能力的图像传感器
CN103106638A (zh) * 2011-11-14 2013-05-15 辉达公司 用于实时图像处理的图形处理装置
CN103916611A (zh) * 2012-12-28 2014-07-09 辉达公司 实现用于高动态范围图像的图像处理管线的系统和方法
CN106060374A (zh) * 2015-04-01 2016-10-26 三星电子株式会社 摄影装置、其控制方法以及非暂时性计算机可读记录介质
WO2019126546A1 (en) * 2017-12-20 2019-06-27 Texas Instruments Incorporated Multi camera image processing

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102438117B (zh) * 2010-09-29 2014-06-11 联芯科技有限公司 手持终端上的摄像头图像数据采集方法及手持终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857712A (zh) * 2011-06-09 2013-01-02 苹果公司 具有高动态范围捕捉能力的图像传感器
CN103106638A (zh) * 2011-11-14 2013-05-15 辉达公司 用于实时图像处理的图形处理装置
CN103916611A (zh) * 2012-12-28 2014-07-09 辉达公司 实现用于高动态范围图像的图像处理管线的系统和方法
CN106060374A (zh) * 2015-04-01 2016-10-26 三星电子株式会社 摄影装置、其控制方法以及非暂时性计算机可读记录介质
WO2019126546A1 (en) * 2017-12-20 2019-06-27 Texas Instruments Incorporated Multi camera image processing

Also Published As

Publication number Publication date
CN107066987A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN110708513B (zh) 一种8k视频多核异构处理装置
US8316164B2 (en) Universal serial bus (USB) to digital video
WO2016161563A1 (en) System and method for storing image data in parallel in a camera system
US10484690B2 (en) Adaptive batch encoding for slow motion video recording
WO2021101087A1 (en) Electronic apparatus and controlling method thereof
CN103248797A (zh) 一种基于fpga的视频分辨率增强方法及模块
US9508109B2 (en) Graphics processing
CN107066987B (zh) 摄像头数据直接传给gpu处理的方法
CN103780819A (zh) 一种智能工业相机
WO2022111717A1 (zh) 图像处理方法、装置及电子设备
CN113873158A (zh) 一种电子设备及其控制方法
CN205584318U (zh) 一种usb高清会议摄像机
CN204928981U (zh) 单像素照相拍摄系统
KR20080031103A (ko) 화상 처리 장치 및 그 방법
CN114298889A (zh) 图像处理电路和图像处理方法
EP4184423A1 (en) Electronic system, camera module, and system on chip
US20240069619A1 (en) Method and system of image processing with power reduction while using a universal serial bus camera
CN110177199A (zh) 图像传感器芯片、摄像头模组、电子设备以及影像拍摄方法
WO2018176392A1 (en) Optimization of multi-sink wi-fi display with intelligent multi-session encoding
US20070195168A1 (en) Web camera
CN212463335U (zh) 一种基于cx3的工业相机系统
CN201898563U (zh) 一种摄像装置
CN208353449U (zh) 一种数字摄像头
CN212324240U (zh) 高画质影像传输装置
CN112948303B (zh) 一种以u.2为传输接口适配服务器的音视频解码设备及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201215